Ш≠†
Ќейросеть Google Lumiere создаЄт реалистичные ролики из текста [¬»ƒ≈ќ]

Ќейросеть Google Lumiere создаЄт реалистичные ролики из текста [¬»ƒ≈ќ]

Google представила »»-модель Lumiere дл€ генерации видео из текста и изображений.  омпани€ опробовала новый метод Ђоживлени€ї статичных картинок, который отличаетс€ от представленных в других нейросет€х способов. —уд€ по опубликованным примерам, эксперимент оказалс€ весьма удачным.

јлгоритмы Lumiere основаны на методе генерации всего видео за один проход, тогда как остальные нейросети сначала создают ключевые кадры, после чего св€зывают их в ролик. Ќовый метод получил название Space-Time U-Net. ѕо за€влению компании, его главное преимущество Ч согласованность всех кадров, котора€ делает видеор€д более естественным.

Lumiere умеет создавать видео по текстовому запросу, мен€ть выбранные фрагменты ролика, выборочно редактировать элементы в кадре, достраивать удалЄнный фрагмент изображени€, а также анимировать не всю картинку, а только еЄ часть.

Google

Ќейросеть разработана подразделением Google Research, ответственным за научные исследовани€. —ейчас это лишь демонстраци€ технологии, но не исключЄн и скорый релиз готового продукта на основе фирменной нейросети. ќбучающий датасет Lumiere насчитывает 30 млн пар роликов и их описаний, а итоговое видео в 16 fps длитс€ п€ть секунд.

Ѕольше примеров можно посмотреть на демонстрационном сайте Lumiere.

»сточник: lumiere-video.github.io


  • NANAME1477
    «ачем только это нужно, кроме баловства?
    • Polzovatel85
      NANAME1477,
      «ачем нужен твой комментарий?
      • NANAME1477
        Polzovatel85,
        “ак же, как и твой)
      • Deny7zx
        NANAME1477,
        —начала-баловство,в дальнейшем разовьЄтс€ во что-нибудь толковое.
        • RezirCartman
          NANAME1477,
          „то за наитупейший вопрос.
          Ёто же максимально очевидно зачем нужна эта нейросеть
          • NANAME1477
            RezirCartman,
            Ќо адекватного ответа нет, кроме кривл€ний.
            • RezirCartman
              NANAME1477,
              “ы пр€м совсем в танке? ќчевидно дл€ видеомонтажа и коротких сцен за бесплатно. ќсобенно в инди кино.
              Ёто настолько очевидно что сарказм так и прЄт
              • NANAME1477
                RezirCartman,
                ƒл€ инди-кино говоришь? Ќу так бы сразу и ответил, что дл€ баловства. «ачем кривл€ешьс€?
        • attyru
          криповые расплывающиес€ кра€ объектов на месте, € то думал чтото концептуально новое, а по факту это чуть эволюционировавший animatediff/SVD
          • Eleman
            прекрасное будущее
            • Jesus_69
              Ќовые возможности дл€ порноиндустрии, полет фантазии, смелые решени€, будущее уже здесь!
              • Desson
                ƒайте доступ, хочу оживить свою покойную жену
                • Danning Kruger
                  Desson,
                  »скренне сочувствую.
                • Maxvale
                  “ам в примерах оригинального видео “есла на беларуских номерах - топчик.
                  • olegbon
                    » каким образом получить доступ? Ќигде ни слова об этом.
                    • Ўамиль јлиуллов
                      olegbon,
                      ѕока только на √итхабе можно посмотреть
                    • Nicholas ЂNickї Wilde
                       огда уже реалистичные тексты из роликов? )

                      ј если серьЄзно, где дубл€ж роликов? —уществующие варианты пока не устраивают.
                      • bratken
                        Ќу да, это в разы лучше того, с чего начинали. јнимашки генерить на аватарки, спамить в канальчиках в телеге и так далее.  ороче, уже есть, где ручной труд сократить
                        • LockMyClock
                          ¬ы это уже постили.
                          • UnregisterBot
                            оу, а за промпты с порногенераторских сайтов банить будут? ј рега есть? √угл ушатает дисси и ко, и станет миль€рдером и порногигантом. Ќорм, чЄ.
                            • ЋЄха_киловолт
                              “еперь можно "экранизировать"любимые книги
                              • UnregisterBot
                                ЋЄха_киловолт,
                                тебе понравитс€ :-)

                                алгоритмы дл€ роботов пачками можно пихать, авось сожрЄт, а вот полет мысли гуманитари€, где каждый жест и движение не прописаны, там кос€ки будут.
                              • RezirCartman
                                –едактор видео, выгл€дит как то слишком уж хорошо. ¬от так просто помен€ть платье, на обычном монтаже это крайне сложный процесс.
                                ј уж анимировать дым, там на один рендеринг уйдЄт неведомо сколько времени
                                •  усок с переодеванием тЄтки порадовал, можно будет одним дублем сн€ть демонстрацию целой коллекции одежды с одной манекенщицей! ƒа и ту уже можно нарисовать...
                                  • oswxp
                                     ак то они все всрато делают, они не умеют в 16:9?  акие-то полукадры. фигн€ в общем, пользы мало.

                                    јвторы портала Hardware Unboxed решили проверить значимость количества видеопам€ти в современных играх. » дл€ этого они поочерЄдно запускали игры на видеокарте AMD Radeon RX 6500 XT в верси€х на 4 и 8 √Ѕ.

                                     

                                    ќдин из пользователей Reddit задалс€ целью создани€ бесшумной системы охлаждени€ дл€ своего ѕ . „тобы достичь желаемого результата, он использовал крайне нестандартное решение, включающее комбинацию из огромного медного бруска и двенадцати радиаторов.

                                     
                                    <div></div><a href='/2024/05/26/5529529/' target='_blank'><img src='https://4pda.to/s/as6ywue3S4wsjFGg0z2I2iyY7kHEE0EmiXkPLY783uK3Miqm98HafRECC.jpg' title='' /></a><div ><img src='https://4pda.to/s/as6yu42hlyXjD7kQLqbvVMOGid.gif' /></div><div></div><div></div>

                                    —пуст€ всего пару дней после поручени€ президента –‘ по созданию отечественной консоли стали известны еЄ характеристики. ∆елезо новинки вызывает вопросы такого масштаба, что новость уважаемого издани€ Ђ»звести€ї впору считать за утку.

                                     

                                     аталог цифровой техники Xiaomi пополнила камера наружного наблюдени€ CW500. ѕомимо практичной конструкции, новинка интересна продвинутыми программными возможност€ми. ќна получила поддержку »»-функций благодар€ чему способна фиксировать приближение человека или автомобил€.

                                     

                                    –азработчики WhatsApp обновили мессенджер и добавили новую функцию Ч возможность иметь одновременно два аккаунта на одном устройстве. “акже в блоге мессенджера по€вилась инструкци€ по добавлению второго номера и скриншот того, как выгл€дит переключение между профил€ми.

                                     

                                    Ќедавно представленный Samsung Galaxy A55 получил не так много отличий от предшественника, но одним из них стал новый процессор Exynos 1480 с графическим чипом Xclipse 530 на базе архитектуры AMD RDNA2. ¬ сети уже по€вились игровые тесты этого аппарата.

                                     

                                    ¬ честь большой распродажи на AliExpress смартфон Redmi Note 13 стал доступен по очень выгодной цене. «а небольшую стоимость пользователь получает устройство с очень €рким AMOLED-экраном, камерой на 108 ћп, ј Ѕ на 5000 мјч и процессором Snapdragon.

                                     

                                     омпани€ Google представила свой аналог сервиса Apple Find My дл€ поиска потер€нных смартфонов. ќн работает без подключени€ к интернету, а некоторые гаджеты серии Pixel будут подавать Ђсигнал SOSї даже при выключенном питании. ѕредставители компании рассказали главные подробности о новой технологии.

                                     

                                    Meizu сделала официальное за€вление о прекращении выпуска традиционных смартфонов.  омпани€ подтвердила остановку разработки Meizu 21 Pro, Meizu 22 и Meizu 23, и объ€вила, что теперь займЄтс€ »»-проектами, в которых видит будущее технологий.

                                     

                                    IT-эксперты из компаний Security Discovery и Cybernews обнаружили в сети базу данных на 12 “Ѕ, содержащую информацию об учЄтных запис€х пользователей со всего мира. Ђѕод раздачуї попали Telegram, VK, X, Adobe и другие платформы. —пециалисты рассказали, чем это грозит, и как проверить свои аккаунты на предмет Ђсливаї.

                                     

                                    ¬ магазине Google по€вилось любопытное приложение, ориентированное на пользователей, ностальгирующих по Ђплиточномуї интерфейсу Windows Phone. ¬ отличие от р€да подобных лончеров, оно не просто стилизует интерфейс домашнего экрана Android, а модернизирует его с помощью виджетов.

                                     

                                     анадска€ компани€ Sandvine поделилась статистикой веб-трафика, котора€ показывает его распределение по  объЄму.  ак оказалось, протокол BitTorrent переживает не лучшие времена Ч его изр€дно потеснили сразу несколько попул€рных онлайн-площадок.

                                     

                                    Microsoft давно сотрудничает с OpenAI. “ак, на базе технологий стартапа работает чат-бот Microsoft Copilot. ’от€ OpenAI продаЄт доступ к своей самой передовой €зыковой модели за деньги, редмондска€ корпораци€ решила порадовать юзеров и встроила GPT-4 Turbo в бесплатный тариф Copilot.

                                     

                                    Resizable BAR Ч это технологи€, позвол€юща€ процессору обращатьс€ ко всему объЄму видеопам€ти. —тарое железо еЄ не поддерживает, но пользователь GitHub под ником xCuri0 решил это исправить. ќн написал и выложил в открытый доступ утилиту ReBarUEFI, котора€, по его словам, способна заметно повысить производительность некоторых игр.

                                     

                                     ак сообщает издание Ђ оммерсантъї, крупные ритейлеры обратились к ћинпромторгу и √енпрокуратуре с просьбой обратить внимание на новую мошенническую схему, в рамках которой покупатели преднамеренно порт€т технику, а затем получают компенсации через обращение в суд. ”тверждаетс€, что речь идЄт о сотн€х подобных дел, в рамках которых от крупных ритейлеров только за 2023 год было потребовано свыше 1 миллиарда долларов.

                                     

                                    –азработчики WhatsApp объ€вили о по€влении в мессенджере нескольких нововведений, ориентированных в первую очередь на владельцев и администраторов каналов. ¬се они призваны разнообразить процесс взаимодействи€ с подписчиками и сделать его более интересным.

                                     

                                    ¬ ответ на сообщени€ о ржавеющем покрытии Cybertruck главный инженер Tesla рассказал, как удалить следы коррозии с электропикапа. ѕроверить его советы на практике вз€лс€ автор YouTube-канала Bearded Tesla Guy Ч и поделилс€ видеозаписью всего процесса со своими подписчиками.

                                     

                                    ѕо расчЄтам аналитиков Canalys, после прекращени€ поддержки Windows 10 в следующем году актуальность потер€ют около 240 миллионов ѕ , не поддерживающих более новую ќ— Microsoft. ¬ качестве альтернативы Google предложила пользовател€м такого железа перейти на еЄ фирменную ќ—, созданную специально дл€ устаревших компьютеров.

                                     

                                    ѕервые покупатели новых флагманов Galaxy недавно начали жаловатьс€ на неправильную работу дисплеев своих устройств. –еакци€ компании не заставила себ€ долго ждать Ч Samsung официально признала проблему и рассказала, какие меры принимает дл€ еЄ решени€.

                                     
                                    ¬се три версии Google Pixel 9 показали на реальных снимках [‘ќ“ќ] ѕопул€рное

                                    ¬ сети по€вилась сери€ фотографий всех трЄх смартфонов ещЄ не представленной серии Google Pixel 9. ѕомимо базовой модели и Ђпрошкиї, инсайдеры показали и версию Pro XL. ƒизайн гаджета выгл€дит знакомым, но сам он будет крупнее других представителей линейки.

                                     

                                    јналитики IT-маркетплейса Market.CNews составили рейтинг самых попул€рных российских операционных систем по состо€нию на 2024 год. ќценка велась по многочисленным параметрам, включа€ распространение, универсальность, защищЄнность, наличие версий дл€ разных устройств и потребителей, системные требовани€ и т. д.

                                     

                                     аталог сервисов Mail.ru пополнила фирменна€ нейросетева€ технологи€. ќна используетс€ дл€ реставрации старых чЄрно-белых снимков или восстановлени€ недостающих элементов в кадре. ќпробовать еЄ в действии, может любой желающий Ч притом бесплатно.

                                     
                                     онца-кра€ не видать. ¬ Steam началс€ Ђ‘естиваль бесконечной реиграбельностиї ѕопул€рное

                                    –аньше в Steam устраивали лишь распродажи, но сегодн€ парады низких цен называют куда красивее Ч фестивал€ми. » минувшим вечером Valve запустила очередное меропри€тие дл€ любителей закупитьс€ видеоиграми на чЄрный день.

                                     
                                    ”чЄные сфотографировали, как атомы превращаютс€ в волны ѕопул€рное

                                    ”чЄные представили новую технику визуализации, позвол€ющую увидеть процесс превращени€ атомов в квантовые волны. “ехнологи€ может быть использована дл€ исследовани€ ранее не изученных законов квантового мира.

                                     

                                    ЂЅезопасникиї компании F.A.C.C.T. сообщили, что раскрыли новую схему Ђугонаї аккаунтов в Telegram. ќна напоминает некоторые уже известные методы мошенничества, но, по мнению экспертов, опасна даже дл€ опытных пользователей. »здание –Ѕ  рассказало всЄ, что об этом известно.

                                     
                                    “вЄрдо и чЄтко. Take-Two уточнила дату релиза GTA VI ѕопул€рное

                                    ¬ декабре Rockstar показала дебютный трейлер Grand Theft Auto VI. ¬ нЄм компани€ указала, что игра выйдет в 2025 году. –азумеетс€, геймеры прекрасно пон€ли, что скорее всего дата запуска будет потихоньку отъезжать всЄ дальше и дальше Ч и, как видно, процесс уже пошЄл.

                                     

                                    ѕодвод€ итоги феврал€, разработчики бенчмарка AnTuTu составили рейтинг самых производительных Android-смартфонов среднего уровн€. » если зачастую разница между модел€ми достаточно условна€, то в этот раз есть однозначный лидер, сильно опережающий всех других.

                                     

                                    ¬ конце прошлой недели CD Projekt RED анонсировала новый патч дл€ Cyberpunk 2077, призванный исправить Ђсамые частые проблемы, о которых сообщали игрокиї. ѕравки действительно не заставили себ€ долго ждать.

                                     

                                    ћиф о человеческом глазе, который не различает больше 30 кадров в секунду, когда-то воспринималс€ всерьЄз, но сейчас закрепилс€ в массовом сознании как шутка. ј вот и не совсем: учЄные доказали, что некоторые люди действительно не способны воспринимать высокую частоту кадров.