Nvidia представила технологию создания 3D-сцен на основе фото

Новинка от Nvidia позволит всего за несколько секунд сгенерировать 3D-сцену, используя в качестве основы двухмерные изображения, то есть фотоснимки. Технология под названием Instant NeRF (Neural Radiance Fields) работает на основе искусственного интеллекта, а точнее нейросети. Она обрабатывает фотографии объекта, снятые с разных точек, и преобразовывает результат в полноценную объёмную модель.

Подобные методики от других производителей применялись и ранее, но их эксплуатация была сопряжена с потребностью в огромном ресурсном объёме. Поэтому использовать такие разработки удавалось только при наличии профессионального оснащения. Прогрессивность Instant NeRF как раз в том, что здесь вычислительных ресурсов понадобится гораздо меньше — настолько, что задействовать эту технологию смогут не только владельцы сверхмощных серверов, но и простые пользователи ноутбуков и настольных компьютеров.

Как сообщает производитель, обучать искусственный интеллект можно будет на оборудовании начального и среднего уровней, оснащённом Nvidia RTX и GeForce RTX. Можно будет загрузить программный код для самостоятельной компиляции, при наличии соответствующих навыков — или же задействовать новую технологию в формате готового приложения для операционной системы Windows. Разработчики детально описали работу новинки, её интерфейс, возможности по улучшению и анимированию моделей, так что проблем с освоением не возникнет.

Помимо создания статичных или динамичных 3D-сцен, есть перспективы задействовать Instant NeRF в проектировании виртуальных экспозиций. Используя VR-инструменты, можно будет, например, устраивать полноценные дистанционные показы квартир и других помещений на основе сделанных фотоснимков, а также презентовать произведения искусства, транспорт, товары для интернет-магазинов. За счёт обратного рендеринга готовая модель будет правильно освещена. Чем дольше нейросеть будет накапливать опыт, тем выше будет детализация получаемых сцен.