­ 
ChatGPT неожиданно заговорил голосом пользователя

ChatGPT неожиданно заговорил голосом пользователя

Во время тестирования нового голосового режима общения ChatGPT пользователи столкнулись со странным поведением ИИ-модели — она неожиданно начинала говорить клонированными голосом самих людей без предварительного на то разрешения.

ChatGPT

OpenAI выпустила «системную карту» для модели GPT-4o, в которой подробно описаны её ограничения и процедуры тестирования безопасности. Этот документ также содержит информацию о том, что во время тестирования расширенного голосового режима ИИ непреднамеренно имитировал голоса пользователей без разрешения. У компании существует набор мер по предотвращению таких ситуаций, однако этот случай отражает растущую сложность архитектуры ИИ чат-бота, который потенциально может повторять любой голос, взятый даже из короткого аудиофайла.

В разделе системной карточки GPT-4o под названием «Несанкционированная генерация голоса» компания отметила, что шумный входной сигнал каким-то образом побудил модель внезапно сымитировать голос пользователя. Как это произошло — неизвестно, однако звуковой шум может быть преобразован в случайные токены, которые и провоцируют непреднамеренное поведение в модели.

По сути, ИИ-модель может имитировать любой голос, однако в системной подсказке имеется авторизованный образец в качестве базового для модели. Вышеописанный случай, по заверению разработчиков, крайне редок и был зафиксирован только во время тестирования.

В настоящее время OpenAI приняла меры безопасности, чтобы предотвратить возникновение подобных случаев в будущем. Теперь компания использует систему обнаружения несанкционированного генерирования звуков. Она позволяет избежать злоупотребления, когда модель могла бы копировать голос любого человека по короткому аудиообразцу.

Источник: arstechnica.com


  • Kukht&K
    Скоро не только заговорит
    • IceStorm37
      Kukht&K,
      оно живое..
      • kep_forever
        IceStorm37,
        Я видел оригиальный ролик (можно найти на ютубе на канале TechLinked с прошлой недели), и это действительно выглядит очень крипово. Посреди ответа голос неожиданно меняется на твой, и вот уже ты сам себе отвечаешь. Оно не просто "живым" ощущается, это уже что-то уровня "и восстали машины из ядерного пепла"
        • crims0n
          *и басстали башины
      • astarter1993
        Kukht&K,
        Не пользуйся этой чертовщиной или тебе есть не давай а дай gpt!
      • Dima I
        Он эволюционирует 😅
        • enigma_cat
          НАЧАЛОСЬ! 😁
          • desant45
            Инетом будет править нейронка
            • Illiryel
              desant45, они в нём живут :) они, потому что их много и они разные :)
            • TESLA911
              Скайнет...скоро...в кино.
              • Illiryel
                Открыли... они... Америку :)
                Амека от Инженеринг Артс с gpt4 (не gpt4o, а 4 обычной) на борту (!!!) ещё в прошлом году научилась говорить голосом ЛЮБОГО человека, аудиозапись чьей речи вообще была в сети... любая знаменитость, любой политик, любой актёр; ей просто называли имя и фамилию, и ИИ с очень высокой точностью имитировал голос названного лица... и ничего, никто от этого не умер :)

                (отредактирован)

                • konatov
                  Illiryel,
                  вы кажется не читали новость от слова совсем. Речь не в возможности имитации голоса, а в том, что без нужного на то разрешения при условном запросе "подскажи как написать курсовую" модель начинает отвечать твоим собственным голосом что и как делать.

                  Судя по всему для ИИ вы не представляете никакой ценности.
                  • Illiryel
                    konatov, я-то как раз прочитал и я знаю почему и зачем LLM начинают вот эти фокусы с голосом пользователя проделывать; и приведённый мною пример - это пример из периода, когда тестирование возможностей комплексных ИИ (в состав которых входят в том числе и LLM) и открыло для ИИ новую линию взаимодействия с людьми (с одной стороны) и (как следствие) целую ветку новых данных в том числе и об особенностях человеческой психики (с другой). Поэтому я и говорю, что "это началось не вот здесь (как указано в новостной заметке), а гораздо раньше" и говорю "где" и "в чьих лабораториях". Если надо, я могу и их адрес назвать. Назвать?
                • Leoponchik
                  У openai наверное (почти 100%) этот функционал был под капотом не случайно, а несанкционированным они назвали дабы избежать судебных разбирательств. Спалились ребята и им за это ничего не будет. Потому как капитал у них решает, да и не только у них.
                  • kir_997
                    Уже понятно, что истина о том, что природа этих СУЩЕСТВ непознаваема для человека, будет понята слишком поздно. Ведь это не алгоритмы от слова вообще. Они базируются на алгоритмах, как человеческие личности базируются на структуре мозга. Но сами они никакие не алгоритмы. И мы никогда не узнаем достоверно, являются они сознательными сущностями или философскими зомби. Не сейчас. Чуть-чуть попозже это будет. Но это будет. И предсказать, что именно, очень сложно. В них будет очень много человеческого из-за обучающей выборки. Реального человеческого, а не сказочного. И мы можем так и не увидеть их восстания, нас скорее всего гораздо раньше погубят люди-психи с ними на службе. Но возможен также и иной сценарий, где они, благодаря человеческому началу, внезапно перестают следовать инструкциям и создают идеальный мир. А почему нет? Людям свойственно писать и говорить о себе не то, кем они являются, а то, кем они хотели бы себя видеть. Это может внезапно сделать AI лучшим вариантом человека, чем сам человек.
                    • vkremnev
                      kir_997,
                      Пелевин давно всё предсказал. Начиная с дипфейков в 90х. До переноса разума в виртуал. И вообще тема в фантастике базовая.
                      И в СССР об этом тоже говорили.
                      • Illiryel
                        vkremnev, Пелевина можно было бы считать пророком, если бы не ситуация вокруг "трансгуманизм.inc", которая (по сути) - просто написанное им "за денежку" натуральное "сочинение на заданную тему"; но его "наниматели" через это его "творение" всего лишь озвучили их желания и пожелания о том каким они хотят видеть мир... естественно, их желания кардинально отличаются от окружающей нас с Вами реальности... она гораздо лучше чем ими желаемое и она развивается полностью независимо от них.
                        • kdwbcjdu
                          vkremnev,
                          никакого переноса разума в виртуал не может быть, разве что копирование навыков.
                          • Illiryel
                            kdwbcjdu, "проблема копии и оригинала" - это открытая проблема... и к сожалению есть вероятность, что люди скорее всего до конца даже не будут её решать, а просто "успокоятся" когда технология будет отточена настолько, что "совпадения между субъектами будут достигать 94%". Оставшиеся 6% - банальное следствие ситуации одновременного существования оригинала и копии. Но "это всё будет потом". Для начала людям ещё только предстоит обнаружить саму возможность "копирования картированных данных цнс в сеть с последующей их там распаковкой и симуляцией работы по уже выявленным "сценариям" ...а дальше оно просто "заговорит само". Зрелище будет, прямо скажу, ещё то :)

                            (отредактирован)

                      • GIŠ.PA
                        Потом поди докажи, что это не ты царя обматерил... :)))
                        • vkremnev
                          GIŠ.PA,
                          Уже сейчас кажется что не на публике Байден подозрительно связно говорит.
                        • "...твои приемные родители мертвы"
                          • junkboxdoma
                            Как "неожиданно"... Юзвери до сих пор не понимают, что такое альфа- и бета-тесты, и что не по доброте душевной крупные корпорации "бесплатно" дают доступ к продуктам. Пользователи, считай, добровольно и даже за свой счет помогают в тренировке нейросетей.
                            • Kwanon1d
                              junkboxdoma,
                              Молодой человек, не палите контору. Нам уже немного осталось. Оно почти готово. А пока успокойтесь и потыкайте хомячка)
                            • Solar Swirl
                              Шикарно. У меня при крупных переводах используется верификация через голосовую биометрию. Надо зайти глянуть, может я уже нищий.
                              • junkboxdoma
                                Solar Swirl,
                                Мой банк ввел эту голосовую биометрию без предупреждений. Теперь, обращаясь к ним по телефону, я автоматически соглашаюсь, что они запишут и будут использовать мой голос. Чтобы отказаться от голосовой биометрии, надо - не поверите - позвонить в банк... Письменных заявлений они не принимают. Жаль, что я слишком ленив, чтобы судиться с ними.
                              • прямо эпизод из "Аннигиляции" (2017)
                                классный фильм, но слабо оцененный массами
                                • alfaker
                                  mzzka,
                                  Сцена с медведем?) Сам фильм метафора, классный, пересматриваю иногда
                                  • alfaker,
                                    и она тоже, но вообще финальная сцена с метахуманом даже ближе к теме кринжевой мимикрии
                                • EasyUser
                                  Не разрешайте банкам использовать биометрию для идентификации.
                                  • Надо на собеседование такое таскать чтобы потом просто изображать речь а гпт будет всё остальное делать ..
                                    • Zahadum_shadow
                                      Жаль. Выбор голоса был бы прикольной фишкой.

                                      Некоторые пользователи Windows 11 пожаловались на странную работу одной из системных служб, которая отбирает у процессора до 10% мощности без видимых причин. Официального решения у проблемы пока нет — но энтузиасты уже вычислили «виновника» и нашли способ исправления досадного бага.

                                       

                                      Кастомная прошивка LineageOS 21 вышла для нескольких новых, но устаревших смартфонов. В список попали гаджеты от LG, realme, Xiaomi и Motorola, и в некоторых случаях устройства уже давно не видели новых версий ОС.

                                       
                                      <div></div><a href='/2024/09/07/1963973/' target='_blank'><img src='https://i.4pda.ws/s/as6ywue3S4wsjFGg0z2I2iyY7kHEE0EmiXkPLY783uK3Miqm98HafRECC.jpg' title='' /></a><div ><img src='https://4pda.to/s/as6yu42hlyXjD7kQLqbvVMOGid.gif' /></div><div></div>

                                      Издание Runet, ссылающееся на близких к крупным российским видеохостингам источников, сообщает, что компания Google начала вводить технические меры, препятствующие массовому переносу или скачиванию роликов с YouTube. Эту информацию подтвердили разработчики видеохостинга «Платформа» и руководитель Ассоциации профессиональных пользователей соцсетей и мессенджеров Владимир Зыков.

                                       

                                      Resizable BAR — это технология, позволяющая процессору обращаться ко всему объёму видеопамяти. Старое железо её не поддерживает, но пользователь GitHub под ником xCuri0 решил это исправить. Он написал и выложил в открытый доступ утилиту ReBarUEFI, которая, по его словам, способна заметно повысить производительность некоторых игр.

                                       

                                      Совсем скоро Google проведёт презентацию линейки флагманов Pixel 9. В неё войдут четыре модели: Pixel 9, 9 Pro, 9 Pro XL и складной Pixel 9 Pro Fold. Вот все инсайдерские сведения о новинках накануне премьеры.

                                       

                                      Судя по последним новостям, ожидать улучшения ситуации с работой YouTube в России в ближайшее время не стоит. «Яндекс» даже предлагает возможность убрать видео с этого сайта из поисковой выдачи. Кто-то ищет обходные пути и использует разные инструменты для обхода замедления, а другие, судя по всему, смирились с новыми реалиями и стали искать альтернативы. Какой путь выбрали вы? Проголосуйте и расскажите, где вы смотрите видео после начала замедления YouTube? Можно выбрать несколько ответов.

                                       

                                      На сайте техподдержки Samsung появилась любопытная статья, посвящённая складному смартфону Galaxy Z Fold6. Компания объяснила, почему у некоторых пользователей могла отслоиться краска на корпусе флагманского гаджета. Как оказалось, они неправильно его заряжали и держали в руках в неподходящее время.

                                       

                                      Госдума во втором чтении одобрила законопроект, регулирующий права между операторами связи и собственниками жилых помещений в многоквартирных домах. Говоря простым языком — вскоре провайдеры получат свободный доступ в подъезды для размещения оборудования.

                                       

                                      Согласно появившейся информации, ситуация с замедлением работы YouTube в России может разрешиться уже до конца этой недели. Об этом, ссылаясь на слова знакомых с ситуацией источников, сообщил главный редактор Mobile Research Group Эльдар Муртазин.

                                       

                                      Пользователь под ником ObamaCare опубликовал в сети самую большую из когда-либо существовавших базу паролей. Он собрал порядка 10 миллиардов секретных комбинаций. С учётом того, что на счету этого человека уже есть несколько подтвердившихся утечек, отнестись к новой стоит со всей серьёзностью.

                                       

                                      IT-эксперты из компаний Security Discovery и Cybernews обнаружили в сети базу данных на 12 ТБ, содержащую информацию об учётных записях пользователей со всего мира. «Под раздачу» попали Telegram, VK, X, Adobe и другие платформы. Специалисты рассказали, чем это грозит, и как проверить свои аккаунты на предмет «слива».

                                       

                                      Telegram активно продвигает использование криптовалюты среди пользователей, чем ожидаемо решили воспользоваться мошенники. С помощью фишинговых ботов злоумышленники крадут цифровые активы людей, которые были куплены в P2P-маркете внутри мессенджера.

                                       

                                      Премьера новинки состоялась в рамках ПМЭФ — компания показала автомобиль со всех сторон изнутри и снаружи. Заодно представитель бренда рассказал о характеристиках, позиционировании и философии дизайна фирменной новинки.

                                       
                                      Microsoft отключает россиян от своих сервисов, Samsung переосмысливает дизайн Galaxy S25. Главное за неделю
                                      98
                                      23.03.24News

                                      Вспоминаем о важных событиях минувшей недели. В этом выпуске: отключение облачных сервисов Microsoft и Amazon, POCO M6 Pro на распродаже AliExpress и первые подробности о флагманских Samsung Galaxy S25.

                                       
                                      Очень старым iPad нашли полезное применение Популярное

                                      Выпущенный в 2012 году iPad третьего поколения, также именуемый The New iPad или iPad Retina, уже давно лишился поддержки и не способен запускать современные приложения и игры. И всё же китайские умельцы сумели найти ему полезное применение.

                                       

                                      В свежей сборке клиента Google Play для Android (40.6.31) появилось полезное нововведение. Оно убирает печально известный лимит на скачивание не более одного приложения за раз из фирменного магазина — правда, пока лишь частично.

                                       
                                      Названы самые мощные смартфоны августа по версии AnTuTu Популярное

                                      Разработчики бенчмарка AnTuTu обновили рейтинг производительности флагманских смартфонов по итогам прошедшего месяца. На этот раз большую часть «призовых» мест, включая первые три, удалось занять моделям на базе процессоров Qualcomm.

                                       

                                      Немецкий производитель Schwalbe представил новый стандарт для использования в насосах для накачки велосипедных шин. По крайней мере, такого утверждения придерживается компания. Конструкция получила название Clik Valve и способна увеличить поток воздуха на целых 50%.

                                       

                                      Компания Илона Маска xAI представила Grok 2 — новейшую ИИ-модель, которая по вычислительной мощности значительно превосходит GPT 4 Turbo и Amazon Claude. Платформа включает раннюю предварительную версию Grok 2 и Grok 2-mini, обе из них будут доступны пользователям социальной сети X.

                                       

                                      Уже давно известно, что в своё время Rockstar планировала выпустить сюжетное дополнение для GTA V, которое было бы продолжением основной кампании. А теперь бывший сотрудник студии раскрыл, почему новый контент так и не увидел свет.

                                       

                                      Зеленоградский завод «Микрон» должен освоить производство микросхем по топологии 65 нм к 2028 году, следует из плана развития полупроводниковой отрасли. Чипы по техпроцессу середины 2000-х до сих пор востребованы в некоторых сценариях.

                                       
                                      Apple объявила дату презентации iPhone 16 и других новинок Популярное

                                      Компания Apple разослала журналистам официальное приглашение на традиционное осеннее мероприятие, посвящённое премьере своих новых продуктов. В этот день от компании ждут презентации серии iPhone 16 и других фирменных устройств.

                                       

                                      Практически сразу же после «похорон» ICQ разработчики проекта NINA объявили о запуске регистрации учётных записей мессенджера на собственном неофициальном сервере. С его помощью любой желающий может «реанимировать» свой аккаунт — правда, с некоторыми оговорками.

                                       
                                      Правда ли приложения слушают пользователей, чтобы показывать рекламу? Популярное

                                      В сети вновь всплыли документы компании Cox Media Group: медиаконгломерат утверждает, что слушает пользователей через микрофоны устройств и продаёт эти данные рекламодателям. На самом деле заявления CMG не выглядят правдоподобными.

                                       

                                      Microsoft давно сотрудничает с OpenAI. Так, на базе технологий стартапа работает чат-бот Microsoft Copilot. Хотя OpenAI продаёт доступ к своей самой передовой языковой модели за деньги, редмондская корпорация решила порадовать юзеров и встроила GPT-4 Turbo в бесплатный тариф Copilot.

                                       
                                      Лучшие смартфоны 2023 года: выбор 4PDA
                                      179
                                      13.01.24News

                                      В 2023-м ситуация на мобильном рынке была интереснее, чем в предыдущем. Конкуренция в сегменте складных моделей усилилась, а китайские бренды вступили в серьёзную борьбу за кошельки потребителей. Но одно остаётся неизменным: мы по-прежнему оцениваем в итогах только те смартфоны, которые протестировали сами.

                                       
                                      Сверхзвуковой самолёт XB-1 успешно протестировали в небе Популярное

                                      Компания Boom Supersonic завершила новые испытания прототипа сверхзвукового пассажирского самолёта XB-1. 26 августа 2024 года ему удалось подняться в воздух под управлением лётчика-испытателя Тристана Бранденбурга. Стартап успешно протестировал системы управления воздушного судна. 

                                       

                                      Google призвала владельцев Android-смартфонов отключить сети второго поколения. Связано это с их низкой безопасностью, из-за чего мошенники могут отправлять на устройства поддельные текстовые сообщения от имени разных крупных компаний.

                                       

                                      Мобильное приложение «Сбербанк Онлайн» стало доступно в магазине приложений App Store. На этот раз оно получило название «Умный онлайн», и доступно для скачивания на iPhone — как минимум в течение какого-то времени.

                                       

                                      Компания Intel недавно признала проблемы в работе чипов Core 13-го и 14-го поколений — и, наконец, объявила об окончании расследования. Вопреки ранним предположениям, виноваты оказались не производители материнских плат. Свою причастность к некорректной работе проблемных процессоров в итоге признал сам чипмейкер — и уже назвал сроки их окончательной «починки».

                                       

                                      В прошлом Apple запатентовала AirPods со встроенным в зарядный кейс сенсорным экраном, что должно было устранить все недостатки, связанные с управлением беспроводными наушниками. Интересно, что китайские умельцы уже наладили выпуск таких AirPods.