Исследователи Meta* и Оксфордского университета заявили, что создали настоящую технологию преобразования картинок в 3D-модели с помощью нейросетей. Авторы проекта рассказали, как работает фирменный ИИ-алгоритм, и продемонстрировали его возможности.
Технология называется VFusion3D. Её главная особенность — возможность работы с одним исходным изображением. На его основе ИИ генерирует объёмный объект даже с тех ракурсов, которые не попали на фото. Технически алгоритм «видит» объект на картинке, «вспоминает» похожий предмет из набора данных, на котором его обучали, и создаёт 3D-модель «по памяти».
По заявлению разработчиков, VFusion3D превосходит уже существующие аналоги (например, OpenLRM и LGM) по качеству готовых моделей. Во всяком случае, это следует из результатов опроса тестовой группы пользователей. По заявлению авторов проекта, с задачей ИИ справляется «за считаные секунды».
Нейросеть работает на базе модели EMU Video, разработанной Meta*. Изначальная цель её создания — генерация видео по текстовому описанию. Но разработчики смогли приспособить её и для создания 3D-моделей.
Опробовать VFusion3D в действии можно на сайте Hugging Face (обычно сервис перегружен), а скачать исходный код — на GitHub.
* Компания Meta признана экстремистской организацией в России
Источник:
нужна нейросеть, переводящая код на ASM, чтобы хоть что-то полезное это движение принесло в индустрию
там качество дно, но например для пропсов где то на заднем плане может и подойдёт
Так и интернет многие не знают как применить. Доступ к любой информации за все года за считанные секунды, но придумали тикток и фотки котиков
Так при чем тут "генератор картинок"? Она строит 3д-модели на основе исходных картинок. Две большие разницы.
вообще без разницы.
чувствуется глубокая экспертность в вопросе xd
Идея чудная.
Штука по одной картинке только строит молельки, незная что там у них сзади, сбоку и т.д. "Вспоминает" из того, чем её кормили на учёбе. Отсюда и квадратные объекты )) Это равносильно показать незнающему человеку, который никогда льва не видел в глаза и сказать "фантазируй". Показать только в профиль и дать додумать как он там сбоку выглядит. Окажется, что животина то не вся волосатая, а только в области головы :D
Задумка прикольная, но до адекватного инструмента ещё пилить и пилить.
(отредактирован)