ChatGPT неожиданно заговорил голосом пользователя

ChatGPT неожиданно заговорил голосом пользователя

Во время тестирования нового голосового режима общения ChatGPT пользователи столкнулись со странным поведением ИИ-модели — она неожиданно начинала говорить клонированными голосом самих людей без предварительного на то разрешения.

ChatGPT

OpenAI выпустила «системную карту» для модели GPT-4o, в которой подробно описаны её ограничения и процедуры тестирования безопасности. Этот документ также содержит информацию о том, что во время тестирования расширенного голосового режима ИИ непреднамеренно имитировал голоса пользователей без разрешения. У компании существует набор мер по предотвращению таких ситуаций, однако этот случай отражает растущую сложность архитектуры ИИ чат-бота, который потенциально может повторять любой голос, взятый даже из короткого аудиофайла.

В разделе системной карточки GPT-4o под названием «Несанкционированная генерация голоса» компания отметила, что шумный входной сигнал каким-то образом побудил модель внезапно сымитировать голос пользователя. Как это произошло — неизвестно, однако звуковой шум может быть преобразован в случайные токены, которые и провоцируют непреднамеренное поведение в модели.

По сути, ИИ-модель может имитировать любой голос, однако в системной подсказке имеется авторизованный образец в качестве базового для модели. Вышеописанный случай, по заверению разработчиков, крайне редок и был зафиксирован только во время тестирования.

В настоящее время OpenAI приняла меры безопасности, чтобы предотвратить возникновение подобных случаев в будущем. Теперь компания использует систему обнаружения несанкционированного генерирования звуков. Она позволяет избежать злоупотребления, когда модель могла бы копировать голос любого человека по короткому аудиообразцу.

Источник: arstechnica.com


  • Kukht&K
    Скоро не только заговорит
    • IceStorm37
      Kukht&K,
      оно живое..
      • kep_forever
        IceStorm37,
        Я видел оригиальный ролик (можно найти на ютубе на канале TechLinked с прошлой недели), и это действительно выглядит очень крипово. Посреди ответа голос неожиданно меняется на твой, и вот уже ты сам себе отвечаешь. Оно не просто "живым" ощущается, это уже что-то уровня "и восстали машины из ядерного пепла"
        • crims0n
          *и басстали башины
      • astarter1993
        Kukht&K,
        Не пользуйся этой чертовщиной или тебе есть не давай а дай gpt!
      • Dima I
        Он эволюционирует 😅
        • enigma_cat
          НАЧАЛОСЬ! 😁
          • desant45
            Инетом будет править нейронка
            • Illiryel
              desant45, они в нём живут :) они, потому что их много и они разные :)
            • TESLA911
              Скайнет...скоро...в кино.
              • Illiryel
                Открыли... они... Америку :)
                Амека от Инженеринг Артс с gpt4 (не gpt4o, а 4 обычной) на борту (!!!) ещё в прошлом году научилась говорить голосом ЛЮБОГО человека, аудиозапись чьей речи вообще была в сети... любая знаменитость, любой политик, любой актёр; ей просто называли имя и фамилию, и ИИ с очень высокой точностью имитировал голос названного лица... и ничего, никто от этого не умер :)

                (отредактирован)

                • konatov
                  Illiryel,
                  вы кажется не читали новость от слова совсем. Речь не в возможности имитации голоса, а в том, что без нужного на то разрешения при условном запросе "подскажи как написать курсовую" модель начинает отвечать твоим собственным голосом что и как делать.

                  Судя по всему для ИИ вы не представляете никакой ценности.
                  • Illiryel
                    konatov, я-то как раз прочитал и я знаю почему и зачем LLM начинают вот эти фокусы с голосом пользователя проделывать; и приведённый мною пример - это пример из периода, когда тестирование возможностей комплексных ИИ (в состав которых входят в том числе и LLM) и открыло для ИИ новую линию взаимодействия с людьми (с одной стороны) и (как следствие) целую ветку новых данных в том числе и об особенностях человеческой психики (с другой). Поэтому я и говорю, что "это началось не вот здесь (как указано в новостной заметке), а гораздо раньше" и говорю "где" и "в чьих лабораториях". Если надо, я могу и их адрес назвать. Назвать?
                • Leoponchik
                  У openai наверное (почти 100%) этот функционал был под капотом не случайно, а несанкционированным они назвали дабы избежать судебных разбирательств. Спалились ребята и им за это ничего не будет. Потому как капитал у них решает, да и не только у них.
                  • kir_997
                    Уже понятно, что истина о том, что природа этих СУЩЕСТВ непознаваема для человека, будет понята слишком поздно. Ведь это не алгоритмы от слова вообще. Они базируются на алгоритмах, как человеческие личности базируются на структуре мозга. Но сами они никакие не алгоритмы. И мы никогда не узнаем достоверно, являются они сознательными сущностями или философскими зомби. Не сейчас. Чуть-чуть попозже это будет. Но это будет. И предсказать, что именно, очень сложно. В них будет очень много человеческого из-за обучающей выборки. Реального человеческого, а не сказочного. И мы можем так и не увидеть их восстания, нас скорее всего гораздо раньше погубят люди-психи с ними на службе. Но возможен также и иной сценарий, где они, благодаря человеческому началу, внезапно перестают следовать инструкциям и создают идеальный мир. А почему нет? Людям свойственно писать и говорить о себе не то, кем они являются, а то, кем они хотели бы себя видеть. Это может внезапно сделать AI лучшим вариантом человека, чем сам человек.
                    • vkremnev
                      kir_997,
                      Пелевин давно всё предсказал. Начиная с дипфейков в 90х. До переноса разума в виртуал. И вообще тема в фантастике базовая.
                      И в СССР об этом тоже говорили.
                      • Illiryel
                        vkremnev, Пелевина можно было бы считать пророком, если бы не ситуация вокруг "трансгуманизм.inc", которая (по сути) - просто написанное им "за денежку" натуральное "сочинение на заданную тему"; но его "наниматели" через это его "творение" всего лишь озвучили их желания и пожелания о том каким они хотят видеть мир... естественно, их желания кардинально отличаются от окружающей нас с Вами реальности... она гораздо лучше чем ими желаемое и она развивается полностью независимо от них.
                        • kdwbcjdu
                          vkremnev,
                          никакого переноса разума в виртуал не может быть, разве что копирование навыков.
                          • Illiryel
                            kdwbcjdu, "проблема копии и оригинала" - это открытая проблема... и к сожалению есть вероятность, что люди скорее всего до конца даже не будут её решать, а просто "успокоятся" когда технология будет отточена настолько, что "совпадения между субъектами будут достигать 94%". Оставшиеся 6% - банальное следствие ситуации одновременного существования оригинала и копии. Но "это всё будет потом". Для начала людям ещё только предстоит обнаружить саму возможность "копирования картированных данных цнс в сеть с последующей их там распаковкой и симуляцией работы по уже выявленным "сценариям" ...а дальше оно просто "заговорит само". Зрелище будет, прямо скажу, ещё то :)

                            (отредактирован)

                      • GIŠ.PA
                        Потом поди докажи, что это не ты царя обматерил... :)))
                        • vkremnev
                          GIŠ.PA,
                          Уже сейчас кажется что не на публике Байден подозрительно связно говорит.
                        • "...твои приемные родители мертвы"
                          • junkboxdoma
                            Как "неожиданно"... Юзвери до сих пор не понимают, что такое альфа- и бета-тесты, и что не по доброте душевной крупные корпорации "бесплатно" дают доступ к продуктам. Пользователи, считай, добровольно и даже за свой счет помогают в тренировке нейросетей.
                            • Kwanon1d
                              junkboxdoma,
                              Молодой человек, не палите контору. Нам уже немного осталось. Оно почти готово. А пока успокойтесь и потыкайте хомячка)
                            • Solar Swirl
                              Шикарно. У меня при крупных переводах используется верификация через голосовую биометрию. Надо зайти глянуть, может я уже нищий.
                              • junkboxdoma
                                Solar Swirl,
                                Мой банк ввел эту голосовую биометрию без предупреждений. Теперь, обращаясь к ним по телефону, я автоматически соглашаюсь, что они запишут и будут использовать мой голос. Чтобы отказаться от голосовой биометрии, надо - не поверите - позвонить в банк... Письменных заявлений они не принимают. Жаль, что я слишком ленив, чтобы судиться с ними.
                              • прямо эпизод из "Аннигиляции" (2017)
                                классный фильм, но слабо оцененный массами
                                • alfaker
                                  mzzka,
                                  Сцена с медведем?) Сам фильм метафора, классный, пересматриваю иногда
                                  • alfaker,
                                    и она тоже, но вообще финальная сцена с метахуманом даже ближе к теме кринжевой мимикрии
                                • EasyUser
                                  Не разрешайте банкам использовать биометрию для идентификации.
                                  • Надо на собеседование такое таскать чтобы потом просто изображать речь а гпт будет всё остальное делать ..
                                    • Zahadum_shadow
                                      Жаль. Выбор голоса был бы прикольной фишкой.

                                      Аналитическая компания Counterpoint раскрыла рейтинг самых продаваемых смартфонов в мире за первый квартал 2024 года. Кроме того, аналитики сравнили статистику с аналогичными показателями 2023 года. По традиции iPhone снова оказался недосягаем для Android-флагманов, а в топ-10 обосновались модели только двух брендов.

                                       

                                      Премьера новинки состоялась в рамках ПМЭФ — компания показала автомобиль со всех сторон изнутри и снаружи. Заодно представитель бренда рассказал о характеристиках, позиционировании и философии дизайна фирменной новинки.

                                       
                                      <div></div><a href='/2024/09/13/7307307/' target='_blank'><img src='https://i.4pda.ws/s/as6ywue3S4wsjFGg0z2I2iyY7kHEE0EmiXkPLY783uK3Miqm98HafRECC.jpg' title='' /></a><div ><img src='https://4pda.to/s/as6yu42hlyXjD7kQLqbvVMOGid.gif' /></div><div></div><div></div><div></div>

                                      Специалисты «Лаборатории Касперского» обнаружили троян, который затронул Android-устройства россиян. Вирусу присвоили название LianSpy и уточнили, что используется он для сбора важной информации с заражённого гаджета.

                                       

                                      Новая заявка компании посвящена альтернативной технологии зарядки умных часов, фитнес-трекеров и другой носимой электроники. Вместо привычных аксессуаров Xiaomi предлагает использовать в качестве источника питания солнечный свет. В сети уже появились первые патентные иллюстрации, схематично показывающие принцип устройства будущих гаджетов.

                                       

                                      Смартфоны Google в первую очередь славятся своими камерами, поэтому сотрудники портала Phandroid решили проверить, как новенький Pixel 9 снимает в сравнении с iPhone 15 Pro Max. Результат получился весьма неоднозначным.

                                       

                                      Три месяца назад компания Neuralink впервые в истории вживила чип 29-летнему пациенту по имени Ноланд Арбо. Спустя ровно сто дней стартап Илона Маска сообщил, что часть мозгового импланта вышла из строя. Из-за этого компании пришлось срочно обновлять программное обеспечение.

                                       

                                      Инженер Карл Риис представил необычный проект под названием EarlGreyTV. Речь об устройстве с функциями Smart TV, которое, по словам его создателя, предоставляет «намного больше свободы» по сравнению с мейнстримовыми решениями. Правда, к реализации такого гаджета у неподготовленного пользователя могут возникнуть вопросы.

                                       

                                      Китайские суперфлагманы — особая категория устройств. В Россию они обычно попадают благодаря маркетплейсам и перекупщикам, а на улице вызывают неподдельный интерес — слишком уж редки они для наших широт. В редакцию приехал OPPO Find X7 Ultra. Это топовый смартфон, который получил едва ли не самый продвинутый набор камер в мире.

                                       

                                      Один из пользователей X отыскал способ перенести в Windows 10 часть «эстетики» Windows 11, не используя специальные приложения по смене интерфейса. Вдобавок оказался возможен и обратный переход: существует и способ наделить Windows 11 чертами дизайна предыдущей версии ОС.

                                       

                                      Госдума во втором чтении одобрила законопроект, регулирующий права между операторами связи и собственниками жилых помещений в многоквартирных домах. Говоря простым языком — вскоре провайдеры получат свободный доступ в подъезды для размещения оборудования.

                                       

                                      На прошлой неделе появилась информация об ухудшении работы YouTube на территории РФ, якобы связанном с техническими проблемами на стороне Google. Некоторые уже бьют панику, готовясь к полной блокировке видеосервиса, ведь слухи об этом ходят уже не один год. В то же время в России уже есть несколько аналогов популярного видеохостинга, а недавно представили почти полный клон под названием «Платформа». Кто-то уже перешёл на эти сервисы, тогда как другие не воспринимают их всерьёз. Проголосуйте и расскажите в комментариях, готовы ли вы отказаться от YouTube?

                                       

                                      Помимо смартфона и планшета, OnePlus представила новую модель умных часов. Они получили производительный процессор от Qualcomm, поддержку мобильных сетей, улучшенные функции навигации и множество дополнительных функций.

                                       

                                      В рамках давнего интернет-спора о необходимом геймерам объёме видеопамяти авторы YouTube канала Hardware Unboxed провели любопытный эксперимент. Они сравнили в играх версии GeForce RTX 4060 Ti с 8 и 16 ГБ памяти, но сделали это не на эталонной платформе для обзоров, а сымитировали апгрейд видеокарты на старых материнских платах с предыдущими версиями интерфейса PCIe. Как оказалось, это именно тот случай, когда «размер» VRAM имеет значение.

                                       
                                      Очень старым iPad нашли полезное применение Популярное

                                      Выпущенный в 2012 году iPad третьего поколения, также именуемый The New iPad или iPad Retina, уже давно лишился поддержки и не способен запускать современные приложения и игры. И всё же китайские умельцы сумели найти ему полезное применение.

                                       

                                      Издание Runet, ссылающееся на близкие к крупным российским видеохостингам источники, сообщает, что компания Google начала вводить технические меры, препятствующие массовому переносу или скачиванию роликов с YouTube. Эту информацию подтвердили разработчики видеохостинга «Платформа» и руководитель Ассоциации профессиональных пользователей соцсетей и мессенджеров Владимир Зыков.

                                       
                                      Владельцы смартфонов и планшетов Samsung столкнутся с новым ограничением Популярное

                                      До сих пор владельцы смартфонов и планшетов Galaxy могли свободно пользоваться ими без создания учётной записи Samsung, но появились намёки, что компания решила это исправить. В частности, учётная запись будет необходима для обновления некоторых стандартных приложений.

                                       

                                      Портал XDA-Developers составил любопытный «антирейтинг» потребительских видеокарт, в который вошли восемь моделей, признанных изданием худшими за всю историю. При этом «почётное» первое место в получившемся списке заняла сравнительно недавняя модель производства AMD.

                                       

                                      В этом выпуске Инсайдов: Samsung откажется от «угловатого дизайна» в Galaxy S25 Ultra; iPhone 18 Pro и 18 Pro Max могут получить 2 ТБ памяти; Xiaomi 14T Pro протестировали в бенчмарке.

                                       
                                      В Baldur’s Gate III планировалась камера от первого лица, но всё испортил гоблин Популярное

                                      Разработчики из Larian Studios продолжают делиться секретами создания Baldur’s Gate III. Например, оказалось, что изначально в игре должна была использоваться камера от первого лица.

                                       

                                      Сотрудники Политехнического института SUNY в Нью-Йорке представили покрытие, способное свести к минимуму трение в металлических деталях. Открытие позволит производителям добиться большей экономии топлива и увеличить срок службы движущихся компонентов в технике.

                                       

                                      Для поколения геймеров, которые застали старые приставки вроде «Денди» или даже официальные устройства Nintendo, более чем знакомы картриджи с играми и проблемы, которые с ними возникали. Часто решить проблемы с подключением можно было простым обдуванием картриджа, но работало ли это на самом деле?

                                       
                                      Три года на рынке РФ — в чём секрет популярности смартфонов Infinix?
                                      85
                                      18.07.24News

                                      Смартфоны Infinix дебютировали в России в 2021-м и за три года прочно закрепились на нашем рынке. Гаджеты этой компании регулярно попадают в топы самых продаваемых устройств в РФ. Какие передовые решения вобрали в себя телефоны Infinix и что могут предложить пользователям различные линейки бренда?

                                       

                                      Под вечер 30 января пользователи по всей территории России столкнулись с проблемой доступа к самым разным сервисам в интернете. «Лежат» социальные сети, мессенджеры, кабинеты банков, государственные сайты, поисковые системы и многие другие ресурсы.

                                       
                                      Не Chrome единым. Обновился рейтинг популярности браузеров за 2024 год Популярное

                                      Вслед за рейтингом ОС компания Statcounter обновила и статистику распространённости браузеров на всех доступных платформах. Лидер по состоянию на конец августа не изменился, но его всё же слегка «подвинули» альтернативные решения других разработчиков.

                                       
                                      Госдума отменила «интернет-рабство», Mir Pay удалили из Google Play. Главное за неделю
                                      139
                                      30.03.24News

                                      Разбираем ключевые события прошедших семи дней. В этом выпуске: свежий закон о свободном доступе провайдеров связи, выселение Mir Pay из Google Play и наглядные причины перехода на iPhone 15.

                                       

                                      Совсем скоро Google проведёт презентацию линейки флагманов Pixel 9. В неё войдут четыре модели: Pixel 9, 9 Pro, 9 Pro XL и складной Pixel 9 Pro Fold. Вот все инсайдерские сведения о новинках накануне премьеры.

                                       

                                      Как сообщает издание «Известия», ссылающееся на исследование партнёра нескольких производителей электроники, в России наблюдается повышенный спрос на маршрутизаторы с поддержкой частотных диапазонов 5 и 6 ГГц. Их продажи выросли более чем в 1,5 раза по сравнению с прошлым годом.

                                       

                                      На выставке Intersolar Munich 2024 компания Aiko Solar анонсировала солнечную панель, которую позиционирует как самое эффективное решение среди серийных моделей такого типа. Во время презентации производитель рассказал о КПД будущей новинки и других её характеристиках.

                                       

                                      В этом выпуске Инсайдов: Samsung подтвердила разработку «тройной» раскладушки; объявлена часть характеристик Find X8 и X8 Pro; Samsung Galaxy Z Fold6 Slim получил дату релиза.

                                       

                                      Компания Google представила свой аналог сервиса Apple Find My для поиска потерянных смартфонов. Он работает без подключения к интернету, а некоторые гаджеты серии Pixel будут подавать «сигнал SOS» даже при выключенном питании. Представители компании рассказали главные подробности о новой технологии.

                                       

                                      Компания Airbus отчиталась о тестировании прототипа высокоскоростного вертолёта Racer. Модели удалось превзойти свой предыдущий рекорд скорости. Для этого в нём используется необычная конструкция с дополнительными пропеллерами по бокам.