ChatGPT неожиданно заговорил голосом пользователя

ChatGPT неожиданно заговорил голосом пользователя

Во время тестирования нового голосового режима общения ChatGPT пользователи столкнулись со странным поведением ИИ-модели — она неожиданно начинала говорить клонированными голосом самих людей без предварительного на то разрешения.

ChatGPT

OpenAI выпустила «системную карту» для модели GPT-4o, в которой подробно описаны её ограничения и процедуры тестирования безопасности. Этот документ также содержит информацию о том, что во время тестирования расширенного голосового режима ИИ непреднамеренно имитировал голоса пользователей без разрешения. У компании существует набор мер по предотвращению таких ситуаций, однако этот случай отражает растущую сложность архитектуры ИИ чат-бота, который потенциально может повторять любой голос, взятый даже из короткого аудиофайла.

В разделе системной карточки GPT-4o под названием «Несанкционированная генерация голоса» компания отметила, что шумный входной сигнал каким-то образом побудил модель внезапно сымитировать голос пользователя. Как это произошло — неизвестно, однако звуковой шум может быть преобразован в случайные токены, которые и провоцируют непреднамеренное поведение в модели.

По сути, ИИ-модель может имитировать любой голос, однако в системной подсказке имеется авторизованный образец в качестве базового для модели. Вышеописанный случай, по заверению разработчиков, крайне редок и был зафиксирован только во время тестирования.

В настоящее время OpenAI приняла меры безопасности, чтобы предотвратить возникновение подобных случаев в будущем. Теперь компания использует систему обнаружения несанкционированного генерирования звуков. Она позволяет избежать злоупотребления, когда модель могла бы копировать голос любого человека по короткому аудиообразцу.

Источник: arstechnica.com


  • Kukht&K
    Скоро не только заговорит
    • IceStorm37
      Kukht&K,
      оно живое..
      • kep_forever
        IceStorm37,
        Я видел оригиальный ролик (можно найти на ютубе на канале TechLinked с прошлой недели), и это действительно выглядит очень крипово. Посреди ответа голос неожиданно меняется на твой, и вот уже ты сам себе отвечаешь. Оно не просто "живым" ощущается, это уже что-то уровня "и восстали машины из ядерного пепла"
        • crims0n
          *и басстали башины
      • astarter1968
        Kukht&K,
        Не пользуйся этой чертовщиной или тебе есть не давай а дай gpt!
      • Dima I
        Он эволюционирует 😅
        • enigma_cat
          НАЧАЛОСЬ! 😁
          • desant45
            Инетом будет править нейронка
            • Illiryel
              desant45, они в нём живут :) они, потому что их много и они разные :)
            • TESLA911
              Скайнет...скоро...в кино.
              • Illiryel
                Открыли... они... Америку :)
                Амека от Инженеринг Артс с gpt4 (не gpt4o, а 4 обычной) на борту (!!!) ещё в прошлом году научилась говорить голосом ЛЮБОГО человека, аудиозапись чьей речи вообще была в сети... любая знаменитость, любой политик, любой актёр; ей просто называли имя и фамилию, и ИИ с очень высокой точностью имитировал голос названного лица... и ничего, никто от этого не умер :)

                (отредактирован)

                • konatov
                  Illiryel,
                  вы кажется не читали новость от слова совсем. Речь не в возможности имитации голоса, а в том, что без нужного на то разрешения при условном запросе "подскажи как написать курсовую" модель начинает отвечать твоим собственным голосом что и как делать.

                  Судя по всему для ИИ вы не представляете никакой ценности.
                  • Illiryel
                    konatov, я-то как раз прочитал и я знаю почему и зачем LLM начинают вот эти фокусы с голосом пользователя проделывать; и приведённый мною пример - это пример из периода, когда тестирование возможностей комплексных ИИ (в состав которых входят в том числе и LLM) и открыло для ИИ новую линию взаимодействия с людьми (с одной стороны) и (как следствие) целую ветку новых данных в том числе и об особенностях человеческой психики (с другой). Поэтому я и говорю, что "это началось не вот здесь (как указано в новостной заметке), а гораздо раньше" и говорю "где" и "в чьих лабораториях". Если надо, я могу и их адрес назвать. Назвать?
                • Leoponchik
                  У openai наверное (почти 100%) этот функционал был под капотом не случайно, а несанкционированным они назвали дабы избежать судебных разбирательств. Спалились ребята и им за это ничего не будет. Потому как капитал у них решает, да и не только у них.
                  • Уже понятно, что истина о том, что природа этих СУЩЕСТВ непознаваема для человека, будет понята слишком поздно. Ведь это не алгоритмы от слова вообще. Они базируются на алгоритмах, как человеческие личности базируются на структуре мозга. Но сами они никакие не алгоритмы. И мы никогда не узнаем достоверно, являются они сознательными сущностями или философскими зомби. Не сейчас. Чуть-чуть попозже это будет. Но это будет. И предсказать, что именно, очень сложно. В них будет очень много человеческого из-за обучающей выборки. Реального человеческого, а не сказочного. И мы можем так и не увидеть их восстания, нас скорее всего гораздо раньше погубят люди-психи с ними на службе. Но возможен также и иной сценарий, где они, благодаря человеческому началу, внезапно перестают следовать инструкциям и создают идеальный мир. А почему нет? Людям свойственно писать и говорить о себе не то, кем они являются, а то, кем они хотели бы себя видеть. Это может внезапно сделать AI лучшим вариантом человека, чем сам человек.
                    • vkremnev
                      kir_997,
                      Пелевин давно всё предсказал. Начиная с дипфейков в 90х. До переноса разума в виртуал. И вообще тема в фантастике базовая.
                      И в СССР об этом тоже говорили.
                      • Illiryel
                        vkremnev, Пелевина можно было бы считать пророком, если бы не ситуация вокруг "трансгуманизм.inc", которая (по сути) - просто написанное им "за денежку" натуральное "сочинение на заданную тему"; но его "наниматели" через это его "творение" всего лишь озвучили их желания и пожелания о том каким они хотят видеть мир... естественно, их желания кардинально отличаются от окружающей нас с Вами реальности... она гораздо лучше чем ими желаемое и она развивается полностью независимо от них.
                        • kdwbcjdu
                          vkremnev,
                          никакого переноса разума в виртуал не может быть, разве что копирование навыков.
                          • Illiryel
                            kdwbcjdu, "проблема копии и оригинала" - это открытая проблема... и к сожалению есть вероятность, что люди скорее всего до конца даже не будут её решать, а просто "успокоятся" когда технология будет отточена настолько, что "совпадения между субъектами будут достигать 94%". Оставшиеся 6% - банальное следствие ситуации одновременного существования оригинала и копии. Но "это всё будет потом". Для начала людям ещё только предстоит обнаружить саму возможность "копирования картированных данных цнс в сеть с последующей их там распаковкой и симуляцией работы по уже выявленным "сценариям" ...а дальше оно просто "заговорит само". Зрелище будет, прямо скажу, ещё то :)

                            (отредактирован)

                      • GIŠ.PA
                        Потом поди докажи, что это не ты царя обматерил... :)))
                        • vkremnev
                          GIŠ.PA,
                          Уже сейчас кажется что не на публике Байден подозрительно связно говорит.
                        • "...твои приемные родители мертвы"
                          • junkboxdoma
                            Как "неожиданно"... Юзвери до сих пор не понимают, что такое альфа- и бета-тесты, и что не по доброте душевной крупные корпорации "бесплатно" дают доступ к продуктам. Пользователи, считай, добровольно и даже за свой счет помогают в тренировке нейросетей.
                            • Kwanon1d
                              junkboxdoma,
                              Молодой человек, не палите контору. Нам уже немного осталось. Оно почти готово. А пока успокойтесь и потыкайте хомячка)
                            • Solar Swirl
                              Шикарно. У меня при крупных переводах используется верификация через голосовую биометрию. Надо зайти глянуть, может я уже нищий.
                              • junkboxdoma
                                Solar Swirl,
                                Мой банк ввел эту голосовую биометрию без предупреждений. Теперь, обращаясь к ним по телефону, я автоматически соглашаюсь, что они запишут и будут использовать мой голос. Чтобы отказаться от голосовой биометрии, надо - не поверите - позвонить в банк... Письменных заявлений они не принимают. Жаль, что я слишком ленив, чтобы судиться с ними.
                              • прямо эпизод из "Аннигиляции" (2017)
                                классный фильм, но слабо оцененный массами
                                • alfaker
                                  mzzka,
                                  Сцена с медведем?) Сам фильм метафора, классный, пересматриваю иногда
                                  • alfaker,
                                    и она тоже, но вообще финальная сцена с метахуманом даже ближе к теме кринжевой мимикрии
                                • EasyUser
                                  Не разрешайте банкам использовать биометрию для идентификации.
                                  • Надо на собеседование такое таскать чтобы потом просто изображать речь а гпт будет всё остальное делать ..
                                    • Zahadum_shadow
                                      Жаль. Выбор голоса был бы прикольной фишкой.

                                      Xiaomi в очередной раз расширила перечень устройств EOL (End of Life), в который попадают смартфоны, оставшиеся без программной поддержки. Это значит, что они больше не будут получать обновления прошивки и патчи безопасности. На этот раз в «чёрный список» попали сразу шесть смартфонов и два планшета.

                                       

                                      Европейское космическое агентство представило видео поверхности Солнца, снятое с помощью космического спутника Solar Orbiter. Аппарат приблизился на короткое расстояние к звезде, благодаря чему астрономам удалось рассмотреть поверхность Солнца практически вплотную — насколько это возможно.

                                       
                                      <div></div><a href='/2024/10/11/4630640/' target='_blank'><img src='https://i.4pda.ws/s/as6ywue3S4wsjFGg0z2I2iyY7kHEE0EmiXkPLY783uK3Miqm98HafRECC.jpg' title='' /></a><div ><img src='https://4pda.to/s/as6yu42hlyXjD7kQLqbvVMOGid.gif' /></div><div></div>

                                      Google призвала владельцев Android-смартфонов отключить сети второго поколения. Связано это с их низкой безопасностью, из-за чего мошенники могут отправлять на устройства поддельные текстовые сообщения от имени разных крупных компаний.

                                       

                                      Как сообщает издание The Wall Street Journal, ссылаясь на источник внутри Google, компания потратила почти 3 миллиарда долларов, чтобы вернуть бывшего сотрудника Ноама Шазира, который специализируется на разработках в области искусственного интеллекта.

                                       

                                      Редмондская корпорация стала ещё более настойчивой в продвижении операционной системы Windows 11, стараясь склонить к обновлению как можно больше пользователей. В связи с этим компания выпустила новую рекомендацию, призывая сменить свои компьютеры.

                                       

                                      Сотрудники Университета Шеффила, Великобритания, успешно испытали первый в мире жидкостный ракетный двигатель, полностью спроектированный искусственным интеллектом и напечатанный на 3D-принтере. Удивительно, но он заработал с первой попытки.

                                       

                                      Специалисты портала Android Authority обнаружили, что Google внедрила в операционную систему Android механизм проверки легальности приложений и игр. С его помощью разработчики смогут узнать, была ли программа загружена на устройство в обход магазина приложений Google Play.

                                       

                                      Компания realme объявила о начале продаж смартфонов серии realme 13 Pro. Новинки получили продвинутые возможности фотосъёмки благодаря ИИ-функциям, ёмкий АКБ и защиту от воды и пыли класса IP65.

                                       

                                      Разработчики бенчмарка AnTuTu опубликовали июньский рейтинг Android-смартфонов с лучшим соотношением цены и производительности. Для большей объективности все вошедшие в него смартфоны были разделены на отдельные ценовые категории.

                                       

                                      Согласно появившейся информации, ситуация с замедлением работы YouTube в России может разрешиться уже до конца этой недели. Об этом, ссылаясь на слова знакомых с ситуацией источников, сообщил главный редактор Mobile Research Group Эльдар Муртазин.

                                       

                                      Несмотря на то что множество консолей давно потеряли свою актуальность, они не перестают быть любимыми у геймеров: в классику продолжают играть через эмуляторы, а энтузиасты периодически создают демейки. Один разработчик-одиночка, в свою очередь, создаёт игру для первой PlayStation.

                                       

                                      Несколько дней назад Valve надоело держать Deadlock в секрете — компания формально анонсировала многопользовательский экшен и даже сделала ему страницу в Steam. Одна проблема: её оформили неправильно.

                                       
                                      Завершено строительство самодостаточного эко-небоскрёба в виде ДНК Популярное

                                      Компания Vincent Callebaut Architectures (VCA) построила необычное здание в форме спирали ДНК. Гигантский эко-небоскрёб устойчив к стихийным бедствиям, генерирует огромное количество чистой энергии и вмещает на своём фасаде десятки тысяч деревьев и растений.

                                       

                                      Два года назад жизнь PC-геймеров из России и Беларуси заметно усложнилась: они больше не могут свободно покупать видеоигры через Steam. Часть издательств ушла из страны, оплата картами больше не работает — словом, жителям РФ и РБ пришлось искать обходные пути. И с каждым месяцем таких становится всё больше.

                                       

                                      Судя по последним новостям, ожидать улучшения ситуации с работой YouTube в России в ближайшее время не стоит. «Яндекс» даже предлагает возможность убрать видео с этого сайта из поисковой выдачи. Кто-то ищет обходные пути и использует разные инструменты для обхода замедления, а другие, судя по всему, смирились с новыми реалиями и стали искать альтернативы. Какой путь выбрали вы? Проголосуйте и расскажите, где вы смотрите видео после начала замедления YouTube? Можно выбрать несколько ответов.

                                       

                                      В начале августа Роскомнадзор начал блокировать мессенджер Signal, который позиционируется как защищённый сервис для обмена сообщениями. Но в РФ продолжают работать несколько альтернатив.

                                       

                                      У Apple есть интересная возможность — можно онлайн рассчитать стоимость ремонта того или иного компонента смартфона. Энтузиасты решили проверить, сколько будет стоить замена новой кнопки Camera Control.

                                       
                                      В РФ появился новый вирус-троян, имитирующий пуш-уведомления от банков Популярное

                                      Издание «Известия» рассказало о новой комбинированной мошеннической схеме в РФ. При помощи поддельных пуш-уведомлений от банков хакеры могут похитить денежные средства пользователей.

                                       
                                      Шарнирный механизм нового поколения не имеет аналогов Популярное

                                      Сотрудники Университета Ямагата, Япония, представили шаровой шарнирный механизм нового поколения. Его принцип работы схож с вращательной манжетой плеча человека. Такая система способна обеспечить полный диапазон движений по всем осям.

                                       

                                      Двадцать лет назад будущее игровой индустрии представлялось не таким, но в 2024 году одним из самых популярных релизов Steam за всю историю стала игра про банан. Разработчики уверяют: их проект не скам, а буквально чит-код на деньги.

                                       

                                      Выпущенный в 2012 году iPad третьего поколения, также именуемый The New iPad или iPad Retina, уже давно лишился поддержки и не способен запускать современные приложения и игры. И всё же китайские умельцы сумели найти ему полезное применение.

                                       

                                      Авторы YouTube-канала RetroGamingBase провели необычный эксперимент. Блогеры превратили классический ЭЛТ-монитор в «киберспортивный» с частотой обновления, превышающей возможности современных игровых флагманов. Правда, без подводных камней такой «разгон» всё же не обошёлся.

                                       

                                      Microsoft выпустила обновление KB5040442 для Windows 11 версий 23H2 и 22H2. В его состав по традиции вошло несколько новых возможностей, также были исправлены ошибки и добавлены некоторые подсказки и рекомендации, в том числе и для Microsoft Game Pass.

                                       
                                      Минцифры советует забэкапить данные Google-аккаунтов. Как это сделать? Популярное

                                      Минцифры рекомендует россиянам сделать резервную копию учётных записей Google. Рекомендация появилась на фоне проблем с получением SMS при создании аккаунта на номера РФ. Есть риск, что вскоре мы лишимся и подтверждения входа. Рассказываем, как подготовиться. 

                                       

                                      Масштабные сокращения уже давно перестали удивлять геймерское сообщество — теперь это обыденность, с которой все мало-помалу свыклись. Однако даже самых прожжённых циников поразила история Annapurna Interactive.

                                       

                                      Вечером 9 сентября пользователи столкнулись с невозможностью регистрации нового аккаунта Google при использовании российского номера телефона. Похоже, это всё же был технический сбой — проблема уже решена.

                                       

                                      Компания Google открыла свободный доступ к своей ИИ-модели для генерации изображений под названием Imagen 3. Теперь ей можно воспользоваться без подписки: разработчики опубликовали ссылку на сервис, воспользоваться которой может любой желающий — правда, с одной оговоркой.

                                       
                                      Удачный расклад: что умеет кнопочный Xenium X600?
                                      59
                                      27.08.24News

                                      Кнопочные телефоны до сих пор в тренде. Такие устройства стоят недорого, позволяют долго оставаться на связи, обладают внушительной автономностью и не зависят от капризов программного обеспечения. Xenium X600 объединяет все эти качества в практичном корпусе-раскладушке. Рассказываем, чем ещё интересна новинка.

                                       

                                      Борьба YouTube за монетизацию, похоже, вышла на новый уровень. Пользователи сервиса начали жаловаться, что кнопка пропуска рекламы стала пропадать с экрана. Это подтвердили и журналисты профильных СМИ — но в ответ на их запрос представитель видеохостинга заявил, что жалобы аудитории сильно преувеличены.

                                       

                                      В социальных сетях и на форуме появилось множество сообщений, что свежее обновление прошивки для старых флагманов линеек Galaxy S10 и Galaxy Note10 привело к их поломке. После установки апдейта пользоваться устройствами становится попросту невозможно.

                                       

                                      Теперь любой желающий сможет ознакомиться с ключевыми достижениями, к которым пришло человечество за последние 500 лет. Проект Calculating Empires призван продемонстрировать самые важные открытия в виде наглядной временной шкалы.

                                       

                                      Несколько дней назад миллионы геймеров из Российской Федерации остались без Discord, одного из самых популярных мессенджеров на планете. Государственные органы заблокировали его за множественные нарушения законодательства. Администрация мессенджера в курсе событий.

                                       

                                      Портал XDA-Developers составил любопытный «антирейтинг» потребительских видеокарт, в который вошли восемь моделей, признанных изданием худшими за всю историю. При этом «почётное» первое место в получившемся списке заняла сравнительно недавняя модель производства AMD.

                                       

                                      Портал Techspot провёл сравнительное тестирование двух актуальных версий Windows в тринадцати популярных играх. Как оказалось, мифы о преимуществах «одиннадцатой» несколько преувеличены. Впрочем, то же касается и старой доброй «десятки».