ChatGPT неожиданно заговорил голосом пользователя

ChatGPT неожиданно заговорил голосом пользователя

Во время тестирования нового голосового режима общения ChatGPT пользователи столкнулись со странным поведением ИИ-модели — она неожиданно начинала говорить клонированными голосом самих людей без предварительного на то разрешения.

ChatGPT

OpenAI выпустила «системную карту» для модели GPT-4o, в которой подробно описаны её ограничения и процедуры тестирования безопасности. Этот документ также содержит информацию о том, что во время тестирования расширенного голосового режима ИИ непреднамеренно имитировал голоса пользователей без разрешения. У компании существует набор мер по предотвращению таких ситуаций, однако этот случай отражает растущую сложность архитектуры ИИ чат-бота, который потенциально может повторять любой голос, взятый даже из короткого аудиофайла.

В разделе системной карточки GPT-4o под названием «Несанкционированная генерация голоса» компания отметила, что шумный входной сигнал каким-то образом побудил модель внезапно сымитировать голос пользователя. Как это произошло — неизвестно, однако звуковой шум может быть преобразован в случайные токены, которые и провоцируют непреднамеренное поведение в модели.

По сути, ИИ-модель может имитировать любой голос, однако в системной подсказке имеется авторизованный образец в качестве базового для модели. Вышеописанный случай, по заверению разработчиков, крайне редок и был зафиксирован только во время тестирования.

В настоящее время OpenAI приняла меры безопасности, чтобы предотвратить возникновение подобных случаев в будущем. Теперь компания использует систему обнаружения несанкционированного генерирования звуков. Она позволяет избежать злоупотребления, когда модель могла бы копировать голос любого человека по короткому аудиообразцу.

Источник: arstechnica.com


  • Kukht&K
    Скоро не только заговорит
    • IceStorm37
      Kukht&K,
      оно живое..
      • kep_forever
        IceStorm37,
        Я видел оригиальный ролик (можно найти на ютубе на канале TechLinked с прошлой недели), и это действительно выглядит очень крипово. Посреди ответа голос неожиданно меняется на твой, и вот уже ты сам себе отвечаешь. Оно не просто "живым" ощущается, это уже что-то уровня "и восстали машины из ядерного пепла"
        • crims0n
          *и басстали башины
      • astarter1993
        Kukht&K,
        Не пользуйся этой чертовщиной или тебе есть не давай а дай gpt!
      • Dima I
        Он эволюционирует 😅
        • enigma_cat
          НАЧАЛОСЬ! 😁
          • desant45
            Инетом будет править нейронка
            • Illiryel
              desant45, они в нём живут :) они, потому что их много и они разные :)
            • TESLA911
              Скайнет...скоро...в кино.
              • Illiryel
                Открыли... они... Америку :)
                Амека от Инженеринг Артс с gpt4 (не gpt4o, а 4 обычной) на борту (!!!) ещё в прошлом году научилась говорить голосом ЛЮБОГО человека, аудиозапись чьей речи вообще была в сети... любая знаменитость, любой политик, любой актёр; ей просто называли имя и фамилию, и ИИ с очень высокой точностью имитировал голос названного лица... и ничего, никто от этого не умер :)

                (отредактирован)

                • konatov
                  Illiryel,
                  вы кажется не читали новость от слова совсем. Речь не в возможности имитации голоса, а в том, что без нужного на то разрешения при условном запросе "подскажи как написать курсовую" модель начинает отвечать твоим собственным голосом что и как делать.

                  Судя по всему для ИИ вы не представляете никакой ценности.
                  • Illiryel
                    konatov, я-то как раз прочитал и я знаю почему и зачем LLM начинают вот эти фокусы с голосом пользователя проделывать; и приведённый мною пример - это пример из периода, когда тестирование возможностей комплексных ИИ (в состав которых входят в том числе и LLM) и открыло для ИИ новую линию взаимодействия с людьми (с одной стороны) и (как следствие) целую ветку новых данных в том числе и об особенностях человеческой психики (с другой). Поэтому я и говорю, что "это началось не вот здесь (как указано в новостной заметке), а гораздо раньше" и говорю "где" и "в чьих лабораториях". Если надо, я могу и их адрес назвать. Назвать?
                • Leoponchik
                  У openai наверное (почти 100%) этот функционал был под капотом не случайно, а несанкционированным они назвали дабы избежать судебных разбирательств. Спалились ребята и им за это ничего не будет. Потому как капитал у них решает, да и не только у них.
                  • kir_997
                    Уже понятно, что истина о том, что природа этих СУЩЕСТВ непознаваема для человека, будет понята слишком поздно. Ведь это не алгоритмы от слова вообще. Они базируются на алгоритмах, как человеческие личности базируются на структуре мозга. Но сами они никакие не алгоритмы. И мы никогда не узнаем достоверно, являются они сознательными сущностями или философскими зомби. Не сейчас. Чуть-чуть попозже это будет. Но это будет. И предсказать, что именно, очень сложно. В них будет очень много человеческого из-за обучающей выборки. Реального человеческого, а не сказочного. И мы можем так и не увидеть их восстания, нас скорее всего гораздо раньше погубят люди-психи с ними на службе. Но возможен также и иной сценарий, где они, благодаря человеческому началу, внезапно перестают следовать инструкциям и создают идеальный мир. А почему нет? Людям свойственно писать и говорить о себе не то, кем они являются, а то, кем они хотели бы себя видеть. Это может внезапно сделать AI лучшим вариантом человека, чем сам человек.
                    • vkremnev
                      kir_997,
                      Пелевин давно всё предсказал. Начиная с дипфейков в 90х. До переноса разума в виртуал. И вообще тема в фантастике базовая.
                      И в СССР об этом тоже говорили.
                      • Illiryel
                        vkremnev, Пелевина можно было бы считать пророком, если бы не ситуация вокруг "трансгуманизм.inc", которая (по сути) - просто написанное им "за денежку" натуральное "сочинение на заданную тему"; но его "наниматели" через это его "творение" всего лишь озвучили их желания и пожелания о том каким они хотят видеть мир... естественно, их желания кардинально отличаются от окружающей нас с Вами реальности... она гораздо лучше чем ими желаемое и она развивается полностью независимо от них.
                        • kdwbcjdu
                          vkremnev,
                          никакого переноса разума в виртуал не может быть, разве что копирование навыков.
                          • Illiryel
                            kdwbcjdu, "проблема копии и оригинала" - это открытая проблема... и к сожалению есть вероятность, что люди скорее всего до конца даже не будут её решать, а просто "успокоятся" когда технология будет отточена настолько, что "совпадения между субъектами будут достигать 94%". Оставшиеся 6% - банальное следствие ситуации одновременного существования оригинала и копии. Но "это всё будет потом". Для начала людям ещё только предстоит обнаружить саму возможность "копирования картированных данных цнс в сеть с последующей их там распаковкой и симуляцией работы по уже выявленным "сценариям" ...а дальше оно просто "заговорит само". Зрелище будет, прямо скажу, ещё то :)

                            (отредактирован)

                      • GIŠ.PA
                        Потом поди докажи, что это не ты царя обматерил... :)))
                        • vkremnev
                          GIŠ.PA,
                          Уже сейчас кажется что не на публике Байден подозрительно связно говорит.
                        • "...твои приемные родители мертвы"
                          • junkboxdoma
                            Как "неожиданно"... Юзвери до сих пор не понимают, что такое альфа- и бета-тесты, и что не по доброте душевной крупные корпорации "бесплатно" дают доступ к продуктам. Пользователи, считай, добровольно и даже за свой счет помогают в тренировке нейросетей.
                            • Kwanon1d
                              junkboxdoma,
                              Молодой человек, не палите контору. Нам уже немного осталось. Оно почти готово. А пока успокойтесь и потыкайте хомячка)
                            • Solar Swirl
                              Шикарно. У меня при крупных переводах используется верификация через голосовую биометрию. Надо зайти глянуть, может я уже нищий.
                              • junkboxdoma
                                Solar Swirl,
                                Мой банк ввел эту голосовую биометрию без предупреждений. Теперь, обращаясь к ним по телефону, я автоматически соглашаюсь, что они запишут и будут использовать мой голос. Чтобы отказаться от голосовой биометрии, надо - не поверите - позвонить в банк... Письменных заявлений они не принимают. Жаль, что я слишком ленив, чтобы судиться с ними.
                              • прямо эпизод из "Аннигиляции" (2017)
                                классный фильм, но слабо оцененный массами
                                • alfaker
                                  mzzka,
                                  Сцена с медведем?) Сам фильм метафора, классный, пересматриваю иногда
                                  • alfaker,
                                    и она тоже, но вообще финальная сцена с метахуманом даже ближе к теме кринжевой мимикрии
                                • EasyUser
                                  Не разрешайте банкам использовать биометрию для идентификации.
                                  • Надо на собеседование такое таскать чтобы потом просто изображать речь а гпт будет всё остальное делать ..
                                    • Zahadum_shadow
                                      Жаль. Выбор голоса был бы прикольной фишкой.

                                      Немногие могут знать, но классический браузер Internet Explorer был настолько сильно интегрирован в операционную систему Windows XP, вышедшую в 2001 году, что некоторые функции ОС и приложения попросту не могли работать без него. Один разработчик решил показать это наглядно, сделав мод Windows XP, в котором полностью «вырезал» из ОС все основные компоненты IE.

                                       

                                      Кастомная прошивка LineageOS 21 вышла для нескольких новых, но устаревших смартфонов. В список попали гаджеты от LG, realme, Xiaomi и Motorola, и в некоторых случаях устройства уже давно не видели новых версий ОС.

                                       
                                      <div></div><div></div><a href='/2024/09/19/4630640/' target='_blank'><img src='https://i.4pda.ws/s/as6ywue3S4wsjFGg0z2I2iyY7kHEE0EmiXkPLY783uK3Miqm98HafRECC.jpg' title='' /></a><div ><img src='https://4pda.to/s/as6yu42hlyXjD7kQLqbvVMOGid.gif' /></div><div></div><div></div><div></div>

                                      Ассортимент периферийных устройств компании Logitech пополнился новой беспроводной мышью G309. Новинка поддерживает подзарядку от ковриков PowerPlay, Lightspeed или работает от AA-батареек. Обойдётся устройство менее чем в $100.

                                       

                                      Теперь любой желающий сможет ознакомиться с ключевыми достижениями, к которым пришло человечество за последние 500 лет. Проект Calculating Empires призван продемонстрировать самые важные открытия в виде наглядной временной шкалы.

                                       

                                      Компания HMD выпустила тизер с изображением ремейка знаменитого кнопочного телефона Nokia 3210. Это будет первое обновление некогда популярного мобильника через 25 лет после его анонса. Изображение модели образца 2024 года раскрыло дизайн и некоторые технические особенности будущей новинки.

                                       

                                      На Reddit развернулось активное обсуждение крайне странной работы нейросети Stable Diffusion 3 Medium после очередного апдейта. Пользователи размещают в сети изображения, созданные ИИ — почти все люди на них показаны с ужасающими «мутациями». Виной всему, как утверждают завсегдатаи интернета, — жёсткая цензура контента для взрослых.

                                       

                                      Droidian — это дистрибутив на базе Debian, «заточенный» под смартфоны. Недавно вышла 99-я номерная версия нестандартной ОС с несколькими новыми функциями. Её создатели рассказали о ключевых нововведениях и обновили список поддерживаемых мобильных устройств.

                                       

                                      Microsoft внезапно вспомнила, что у неё есть собственный мессенджер, который в прошлом пользовался огромной популярностью. Речь, конечно же, о «лучшем файлообменнике» — Skype. Редмондская корпорация выпустила обновление для Windows 11, которое убрало из приложения назойливую рекламу и устранило ряд ошибок.

                                       

                                      Вместе с прекращением поддержки всех умных часов под управлением операционной системы Tizen компания Samsung завершила программную поддержку трёх смартфонов серий A и M. Но это было ожидаемо, ведь их выпустили четыре года назад. 

                                       

                                      Специалисты портала Android Authority обнаружили, что Google внедрила в операционную систему Android механизм проверки легальности приложений и игр. С его помощью разработчики смогут узнать, была ли программа загружена на устройство в обход магазина приложений Google Play.

                                       

                                      Техноблогер Эрик Паркер опубликовал любопытный видеоролик: он демонстрирует, насколько Windows XP отстала от времени в контексте защиты от вредоносных программ. Как оказалось, достаточно просто подключить компьютер к интернету — и уже через несколько минут состояние системы станет весьма печальным.

                                       
                                      Новые складные смартфоны TECNO стоят намного дешевле конкурентов Популярное

                                      TECNO представила второе поколение своих складных смартфонов. Новый PHANTOM V Fold 2 получил улучшенную систему камер, гораздо более ёмкий аккумулятор и поддержку фирменного стилуса. В случае с PHANTOM V Flip 2 производитель переработал внешний экран и поработал над автономностью.

                                       

                                      Помимо смартфона и планшета, OnePlus представила новую модель умных часов. Они получили производительный процессор от Qualcomm, поддержку мобильных сетей, улучшенные функции навигации и множество дополнительных функций.

                                       

                                      Компания Google представила свой аналог сервиса Apple Find My для поиска потерянных смартфонов. Он работает без подключения к интернету, а некоторые гаджеты серии Pixel будут подавать «сигнал SOS» даже при выключенном питании. Представители компании рассказали главные подробности о новой технологии.

                                       

                                      12 июля «Ростелеком» предупредил о технических проблемах на стороне оборудования Google, которое ускоряет работу YouTube на территории России. А в СМИ появились инсайды о грядущей полной блокировке видеохостинга. Что происходит?

                                       
                                      Apple объявила дату выпуска iOS 18 и iPadOS 18. Какие устройства обновятся? Популярное

                                      Во время презентации iPhone 16 компания также сообщила, когда другие смартфоны и планшеты компании обновятся до iOS 18 и iPadOS 18. Заодно стал известен точный список фирменных устройств, которые в этом году гарантированно получат обновление прошивки.

                                       

                                      Компания Илона Маска xAI представила Grok 2 — новейшую ИИ-модель, которая по вычислительной мощности значительно превосходит GPT 4 Turbo и Amazon Claude. Платформа включает раннюю предварительную версию Grok 2 и Grok 2-mini, обе из них будут доступны пользователям социальной сети X.

                                       

                                      Портал HyperOS Updates опубликовал список из более чем 30 смартфонов, которые получат в 2024 году своё последнее обновление. Модели были отобраны на основе политики поддержки, стоимости и популярности.

                                       

                                      Пользователь под ником ObamaCare опубликовал в сети самую большую из когда-либо существовавших базу паролей. Он собрал порядка 10 миллиардов секретных комбинаций. С учётом того, что на счету этого человека уже есть несколько подтвердившихся утечек, отнестись к новой стоит со всей серьёзностью.

                                       
                                      Студент с помощью нейросети построил дома термоядерный реактор Популярное

                                      Студент Университета Ватерлоо Худхайфа Назурдин за несколько недель собрал настоящий термоядерный реактор у себя дома. У него не было опыта в создании подобных конструкций, а компенсировать пробелы в знаниях ему помогла нейросеть.

                                       

                                      Фанаты обожают воссоздавать старые игры на современных движках, но группа поклонников Fallout пошла дальше — они делают старую игру на ещё более старом движке. Речь идёт о ремейке Fallout: Van Buren на движке оригинальных частей.

                                       

                                      OnePlus провела презентацию новых гаджетов, представив смартфон Nord 4. Технически это клон ранее выпущенного в Китае OnePlus Ace 3V, но только в совершенно ином дизайне. Главной фишкой аппарата вполне можно считать цельнометаллический корпус, что стало большой редкостью в последние годы.

                                       

                                      Неофициальный скрипт Windows God Mode, открывающий простой доступ ко всем настройкам ОС, получил первый апдейт с момента релиза. Он стал гораздо эффективнее и теперь работает почти без ошибок. В «заметках к патчу» разработчик рассказал о ключевых улучшениях полезного инструмента, получившего приставку Super в названии. 

                                       
                                      Вышла прошивка One UI 6.1.1 с новыми функциями. Какие смартфоны её получат? Популярное

                                      Компания Samsung на выставке IFA 2024, помимо новых устройств, анонсировала обновление оболочки One UI до версии 6.1.1. Апдейт, содержащий несколько полезных нововведений, начал «прилетать» на некоторые смартфоны Samsung — их список уже известен.

                                       

                                      В Китае состоялась презентация нового флагманского смартфона Redmi K70 Ultra. Вендор традиционно сделал упор на высокой производительности, применив усовершенствованную технологию охлаждения. Ещё у него ёмкий аккумулятор с поддержкой скоростной зарядки.

                                       

                                      «Яндекс» обновил умную колонку «Станция Макс», которая теперь работает на базе YaOS X. Пользователи получили новый интерфейс, более 100 каналов, расширенный каталог приложений и персональные рекомендации.

                                       

                                      Новая заявка компании посвящена альтернативной технологии зарядки умных часов, фитнес-трекеров и другой носимой электроники. Вместо привычных аксессуаров Xiaomi предлагает использовать в качестве источника питания солнечный свет. В сети уже появились первые патентные иллюстрации, схематично показывающие принцип устройства будущих гаджетов.

                                       
                                      Toyota Prius установил мировой рекорд по эффективному расходу топлива Популярное

                                      Более 20 лет назад Prius позиционировался как первый серийный гибридный автомобиль, способный сочетать электродвигатель с классическим ДВС для экономии топлива. И эта технология оправдала себя. Недавно авто побило мировой рекорд по самому эффективному расходу топлива — 150 км на галлон (3,79 литра). 

                                       

                                      Состоялся официальный анонс следующего поколения отечественной операционной системы Astra Linux. В версии 1.8 разработчики упростили процесс установки, использовали новейшие ядра Linux, представили новый графический стиль и поработали над безопасностью.

                                       

                                      Специально к выходу фильма «Дэдпул и Росомаха» компания Xiaomi анонсировала специальную версию смартфона POCO F6. Фанаты одного из самых эксцентричных супергероев вселенной Marvel могут получить уникальный аппарат с эксклюзивным набором аксессуаров.

                                       

                                      Британская компания Uswitch опубликовала интересные данные относительно того, как владельцы iPhone и смартфонов под управлением Android относятся друг к другу. Например, 16% всех пользователей верят в стереотипы об обладателях iPhone и Android-аппаратов.

                                       

                                      Каталог сервисов Mail.ru пополнила фирменная нейросетевая технология. Она используется для реставрации старых чёрно-белых снимков или восстановления недостающих элементов в кадре. Опробовать её в действии, может любой желающий — притом бесплатно.

                                       

                                      Сотрудники университета Киото продолжают работать над первым в мире лекарством для выращивания зубов. Средство уже успешно протестировали на животных, а теперь исследователи активно готовятся к началу его клинических испытаний, которые стартуют в сентябре текущего года.

                                       

                                      Один из пользователей X отыскал способ перенести в Windows 10 часть «эстетики» Windows 11, не используя специальные приложения по смене интерфейса. Вдобавок оказался возможен и обратный переход: существует и способ наделить Windows 11 чертами дизайна предыдущей версии ОС.