Нейросеть VFusion3D превращает картинки в 3D-модели за несколько секунд

Нейросеть VFusion3D превращает картинки в 3D-модели за несколько секунд

Исследователи Meta* и Оксфордского университета заявили, что создали настоящую технологию преобразования картинок в 3D-модели с помощью нейросетей. Авторы проекта рассказали, как работает фирменный ИИ-алгоритм, и продемонстрировали его возможности.

VFusion3DИсходник 

Технология называется VFusion3D. Её главная особенность — возможность работы с одним исходным изображением. На его основе ИИ генерирует объёмный объект даже с тех ракурсов, которые не попали на фото. Технически алгоритм «видит» объект на картинке, «вспоминает» похожий предмет из набора данных, на котором его обучали, и создаёт 3D-модель «по памяти».

VFusion3DРезультат работы ИИ. Источник: neurohive.io

По заявлению разработчиков, VFusion3D превосходит уже существующие аналоги (например, OpenLRM и LGM) по качеству готовых моделей. Во всяком случае, это следует из результатов опроса тестовой группы пользователей. По заявлению авторов проекта, с задачей ИИ справляется «за считаные секунды».

VFusion3D

Нейросеть работает на базе модели EMU Video, разработанной Meta*. Изначальная цель её создания — генерация видео по текстовому описанию. Но разработчики смогли приспособить её и для создания 3D-моделей.

  • Результаты сравнения с конкурентами

Опробовать VFusion3D в действии можно на сайте Hugging Face (обычно сервис перегружен), а скачать исходный код — на GitHub.

* Компания Meta признана экстремистской организацией в России

Источник: tomshardware.com


  • Gorgonopsis
    Главное чтобы нейросеть Хомяка не давила в телеграмм...
    • =HACKERMAN=
      Gorgonopsis,
      нужна нейросеть, переводящая код на ASM, чтобы хоть что-то полезное это движение принесло в индустрию
    • Brennet
      Многие просто не знают как применять такие технологии в жизни и всё заканчивается баловством, которое быстро надоедает. Вот эта, например. Сходу – создание мокапов для любой более-менее стандартной продукции и последующее использование уже персонифицированной 3D-модели на витрине магазина. Свежо, оригинально и без больших затрат.
      • AI_AI_AI_
        Brennet,
        там качество дно, но например для пропсов где то на заднем плане может и подойдёт
        • Shurik8668
          Brennet,
          Так и интернет многие не знают как применить. Доступ к любой информации за все года за считанные секунды, но придумали тикток и фотки котиков
        • ASerzin1917
          Начало для настоящей виртуальной реальности?
          • Каплюхин
            слишком пафосно "нейросеть" ,а генератор картинок.
            • sakaba
              Каплюхин,
              Так при чем тут "генератор картинок"? Она строит 3д-модели на основе исходных картинок. Две большие разницы.
              • Каплюхин
                sakaba,
                вообще без разницы.
                • saizero0
                  Каплюхин,
                  чувствуется глубокая экспертность в вопросе xd
            • li1Prince
              попробовал раз 5 сгенерировать, говорит, что сервер занят. закрыл)
              • Eleman
                Вечно занята.
                • aronts
                  Хрень, подходит только для идеальных картинок с чистым фоном. И даже так может все полигоны искривить. Нарисовать снуля будет быстрее чем этотправить.
                  • Alex TOPMAN
                    Ужасно.
                    • FcTheSystem
                      Даже не переходит по ссылке
                      • ran4erep
                        спасибо за новую модель, но это дерево на гифке просто отвратительное. Я такое и сам в Блендере за 5 минут экструдирую. Обычно новые нейросети пытаются переплюнуть то что уже есть, но у этой не получилось
                        • Gish21
                          ran4erep,
                          Идея чудная.
                          Штука по одной картинке только строит молельки, незная что там у них сзади, сбоку и т.д. "Вспоминает" из того, чем её кормили на учёбе. Отсюда и квадратные объекты )) Это равносильно показать незнающему человеку, который никогда льва не видел в глаза и сказать "фантазируй". Показать только в профиль и дать додумать как он там сбоку выглядит. Окажется, что животина то не вся волосатая, а только в области головы :D
                          Задумка прикольная, но до адекватного инструмента ещё пилить и пилить.
                          • ran4erep
                            Gish21, комментарий чудный, но ты не понял о чём речь. Речь идёт о том, что конкретно эта нейросеть - мусор. Есть другая, которая сделает дерево гораздо лучше. По одной картинке, не зная что там сбоку и сзади. Адекватный инструмент не надо пилить и пилить, он уже существует, просто не этот. Погугли Meshy AI

                            (отредактирован)

                        Студия AiMation выпустила в открытый доступ на YouTube полнометражный анимационный фильм «Там, где растут роботы» (Where The Robots Grow). Он был создан небольшой командой и с рекордно низким бюджетом для проекта такого уровня. И это стало возможным благодаря применению генеративных нейросетей.

                         

                        Аналитики компании TD Cowen посчитали стоимость всех комплектующих новых iPhone 16-й серии. И хотя цены на смартфоны для пользователей никак не изменились по сравнению с прошлогодними моделями, их производство для Apple обходится дороже.

                         
                        <div></div><div></div><div></div><a href='/2024/12/12/9085085/' target='_blank'><img src='https://i.4pda.ws/s/as6ywue3S4wsjFGg0z2I2iyY7kHEE0EmiXkPLY783uK3Miqm98HafRECC.jpg' title='' /></a><div ><img src='https://4pda.to/s/as6yu42hlyXjD7kQLqbvVMOGid.gif' /></div><div></div><div></div>

                        Утечки исходного кода различных игр — до сих пор редкое явление. Когда такое случается, хакеры либо продают файлы за баснословные деньги, либо отправляют их в свободный доступ. Но с утечкой данных Crysis 3 хакеры поступили более изощрённо.

                         

                        Китайская компания Energy Singularity отчиталась об успешном запуске высокотемпературного сверхпроводящего токамака, с помощью которого удалось получить плазму. Это важный прорыв в области термоядерного синтеза, который открывает дорогу для получения энергии в огромных количествах.

                         

                        Разработчики компании «Яндекс» выпустили новый пакет обновлений для фирменного голосового помощника «Алиса». В его состав вошло обновление опции «Алиса Про», эмоциональное общение и ряд других полезных функций для «Станций» и «ТВ Станций».

                         

                        Аналитики компании Statcounter опубликовали свежий отчёт, отражающий текущую ситуацию на мировом рынке браузеров. Согласно новым данным, вслед за периодом укрепления своих позиций Microsoft Edge показал спад, а вот один из его конкурентов наоборот, нарастил аудиторию.

                         

                        Google призвала владельцев Android-смартфонов отключить сети второго поколения. Связано это с их низкой безопасностью, из-за чего мошенники могут отправлять на устройства поддельные текстовые сообщения от имени разных крупных компаний.

                         

                        Компания Sharp расширила серию фирменных смартфонов: новым флагманом линейки Aquos стала модель с индексом R9 Pro. Особенностями гаджета стали производительный процессор, дисплей с переменной частотой обновления и продвинутый набор датчиков камеры с настройкой Leica.

                         

                        HUAWEI представила мобильную операционную систему HarmonyOS NEXT. Её главной особенностью стало использование собственного ядра вместо элементов Google Android. В ходе презентации компания рассказала, что ещё изменилось в новой версии ОС.

                         

                        В ассортименте компании Ulefone появился новый защищённый смартфон Armor Mini 20 Pro. Одной из его главных особенностей стали компактные размеры. При этом у него ёмкий аккумулятор, мощный фонарь и камера ночного видения. Есть также модель Mini 20T Pro со встроенным тепловизором Flir. В течение недели аппараты можно приобрести по сниженной цене. 

                         

                        Кастомная прошивка LineageOS 21 вышла для нескольких новых, но устаревших смартфонов. В список попали гаджеты от LG, realme, Xiaomi и Motorola, и в некоторых случаях устройства уже давно не видели новых версий ОС.

                         

                        Sony решила от души заработать на своих фанатах: помимо PlayStation 5 Pro, компания продаёт дисковый привод от консоли отдельно. И, в случае РФ, это отнюдь не дешёвый товар.

                         
                        Мощный и недорогой POCO Pad с АКБ на 10 000 мАч и экраном 120 Гц доступен с хорошей скидкой Популярное

                        POCO делает скидку на фирменный планшет POCO Pad. Устройство имеет высокую производительность благодаря процессору Snapdragon 7s Gen 2, а ещё может похвастаться большим экраном с частотой 120 Гц и очень ёмким аккумулятором.

                         
                        Создатель GTA IV объяснил, почему в игре не дали управлять танком или самолётом Популярное

                        Четвёртая часть серии Grand Theft Auto во многих аспектах отличается от других игр франшизы. Помимо более мрачного тона, игра осталась без некоторых узнаваемых механик. Теперь стало известно, по какой причине.

                         
                        Пять причин, почему HUAWEI WATCH GT 5 — удачный выбор
                        130
                        10.10.24News

                        Раньше часы помогали следить за временем, а теперь и за здоровьем следить помогают, и спортом заниматься, и общаться, и оплачивать покупки в магазинах. Вдобавок публика предъявляет немало требований к дизайну носимых устройств. Образчиком современных смарт-часов стали HUAWEI WATCH GT 5 — рассказываем, почему на них стоит обратить внимание.

                         

                        В сети появились результаты тестирования нового флагманского мобильного процессора AMD Strix Halo в Geekbench. Судя по результатам испытаний, одной из сильных сторон чипа станет его встроенное графическое ядро — в «синтетике» оно проявило себя не хуже полноценной дискретной видеокарты серии GeForce RTX 40.

                         
                        Хакеры создали самый продвинутый способ взлома Windows и Microsoft Office Популярное

                        Группа хакеров Massgrave объявила о самом большом достижении в истории пиратства Windows и Office. Они уверяют, что созданный эксплойт позволяет обойти систему защиты Microsoft и активировать практически любые современные версии операционной системы и офисного пакета.

                         

                        Японская компания Sanyo Trading организовала у себя на родине выставку китайских электромобилей, где представлено более десятка моделей в разобранном виде. Благодаря этому специалистам Страны восходящего солнца удалось понять секрет дешевизны машин из Поднебесной.

                         

                        В бете предстоящего крупного обновления HyperOS было обнаружено изменение, которое может разочаровать давних фанатов смартфонов китайской компании. Оказалось, что Xiaomi удалила из системы уникальную функцию, которая была доступна на протяжение последних 10 лет.

                         

                        Аналитическая компания Omdia опубликовала рейтинг самых продаваемых в мире смартфонов по итогам первого полугодия 2024-го. Как обычно, в лидерах — устройства Apple, но в этом году в первую тройку также попал аппарат под управлением Android.

                         
                        Авторы Hogwarts Legacy попросили номинировать игру на премию Steam, но получили в ответ клоунов Популярное

                        Каждый год Steam устраивает собственную премию, на которой геймеры выбирают как полюбившиеся новинки, так и старые тайтлы, получающие постоянную поддержку. Многие разработчики, включая авторов Hogwarts Legacy, попросили фанатов проголосовать за их игру, вот только иногда это идёт не по плану.

                         
                        В России вернули подписку на гаджеты. Рассказываем, что изменилось и как она работает
                        91
                        10.12.24News

                        Обычно для покупки смартфона нужно либо выложить его полную стоимость, либо оформить кредит. Но для первого надо иметь на руках большую сумму денег, а второе подразумевает огромные переплаты. Особенно сейчас, когда кредитные ставки улетели в космос. Недавно появился третий путь — взять устройство в лизинг. Такой сервис предоставляет магазин Smartastore. Рассказываем, как это работает и в чём тут выгода.

                         

                        Знаменитую DOOM выпустили на множестве платформ, однако в глазах моддеров и программистов релизы на консолях, смартфонах и даже умных кольцах — это ещё цветочки. Умельцам всегда есть к чему стремиться, и недавно они покорили очередную вершину.

                         

                        Борьба YouTube за монетизацию, похоже, вышла на новый уровень. Пользователи сервиса начали жаловаться, что кнопка пропуска рекламы стала пропадать с экрана. Это подтвердили и журналисты профильных СМИ — но в ответ на их запрос представитель видеохостинга заявил, что жалобы аудитории сильно преувеличены.

                         
                        Samsung показала новые функции One UI 7 Популярное

                        Samsung до сих пор не выпустила новый пользовательский интерфейс One UI 7, но внезапно информация о нём появилась на официальном сайте компании. Теперь можно оценить визуальные изменения и ключевые нововведения.

                         

                        Электронные симки иностранных провайдеров пользуются спросом среди россиян. Об этом сообщает пресс-служба Wildberries и Russ. С января по август реализация таких решений подскочила на 770%, если сравнивать с 2023-м. Эксперты рассказали, чем вызван столь стремительный рост.

                         

                        Речь не о полноценной операционной системе, а одноимённом приложении. С 20 сентября программа Windows доступна на разных платформах. Она служит для удалённого управления компьютером со смартфона, планшета или другого ПК.

                         

                        Распродажа на AliExpress — отличная возможность приобрести то, что давно хотели, но откладывали на потом. Например, сейчас по сниженной цене доступен смартфон этого года POCO X6 Pro. У него качественный AMOLED-экран, производительный процессор и аккумулятор с поддержкой быстрой зарядки. А стоит устройство сейчас менее 20 000 рублей.

                         

                        Во время выступления на форуме «Спектр 2024» начальник радиочастотного центра «Роскосмоса» Антон Степанов объявил о разработке нового радиочастотного плана, позволяющего выделить мобильным операторам часть диапазона, необходимого под развёртывание сетей пятого поколения. Но компании снова не в восторге от предложенного спектра.

                         

                        Компания Microsoft представила новую версию знаменитого пакета Office. Как и его предшественники, набор приложений не требует оформления подписки и может полноценно работать без подключения компьютера к сети, но ценой такой «свободы» стало отсутствие современных ИИ-функций.

                         

                        Сотрудники Массачусетского технологического института разработали технологию, позволяющую печатать электронные схемы без использования традиционных для отрасли материалов. Для этого они использовали легированный медью пластик, по своим свойствам напоминающий классические полупроводники.

                         

                        Китайских гача-игр никогда не бывает мало — и в их полку в очередной раз прибыло. На этот раз речь идёт про игру в сеттинге альтернативной России с трейлером под Виктора Цоя.