Во время тестирования нового голосового режима общения ChatGPT пользователи столкнулись со странным поведением ИИ-модели — она неожиданно начинала говорить клонированными голосом самих людей без предварительного на то разрешения.
OpenAI выпустила «системную карту» для модели GPT-4o, в которой подробно описаны её ограничения и процедуры тестирования безопасности. Этот документ также содержит информацию о том, что во время тестирования расширенного голосового режима ИИ непреднамеренно имитировал голоса пользователей без разрешения. У компании существует набор мер по предотвращению таких ситуаций, однако этот случай отражает растущую сложность архитектуры ИИ чат-бота, который потенциально может повторять любой голос, взятый даже из короткого аудиофайла.
В разделе системной карточки GPT-4o под названием «Несанкционированная генерация голоса» компания отметила, что шумный входной сигнал каким-то образом побудил модель внезапно сымитировать голос пользователя. Как это произошло — неизвестно, однако звуковой шум может быть преобразован в случайные токены, которые и провоцируют непреднамеренное поведение в модели.
По сути, ИИ-модель может имитировать любой голос, однако в системной подсказке имеется авторизованный образец в качестве базового для модели. Вышеописанный случай, по заверению разработчиков, крайне редок и был зафиксирован только во время тестирования.
В настоящее время OpenAI приняла меры безопасности, чтобы предотвратить возникновение подобных случаев в будущем. Теперь компания использует систему обнаружения несанкционированного генерирования звуков. Она позволяет избежать злоупотребления, когда модель могла бы копировать голос любого человека по короткому аудиообразцу.
Источник:
![Windows XP без Internet Explorer выглядит как совсем другая ОС [ВИДЕО]](https://i.4pda.ws/s/as6ywmueDRaLq6QoFJNUGVNggQPkIF5wr5z1H.jpg?v=1722515159 "Windows XP без Internet Explorer выглядит как совсем другая ОС [ВИДЕО]")
![«Я — Борат». Зрители издеваются над новым трейлером «Колец власти» [ВИДЕО]](https://i.4pda.ws/s/as6ywu83kjpHz1NnmAwmYMGlcqf7z0SqFBaUz2CMTL0SYY7.jpg?v=1722249400 "«Я — Борат». Зрители издеваются над новым трейлером «Колец власти» [ВИДЕО]")
![Блогеры доказали «бесполезность» видеокарт с 8 ГБ памяти на практике [ВИДЕО]](https://i.4pda.ws/s/as6yvxyfFUj2GyprZTiKX4jZz0UpFXHsaiATvdcz2XlS1n.jpg?v=1721613290 "Блогеры доказали «бесполезность» видеокарт с 8 ГБ памяти на практике [ВИДЕО]")
оно живое..
Я видел оригиальный ролик (можно найти на ютубе на канале TechLinked с прошлой недели), и это действительно выглядит очень крипово. Посреди ответа голос неожиданно меняется на твой, и вот уже ты сам себе отвечаешь. Оно не просто "живым" ощущается, это уже что-то уровня "и восстали машины из ядерного пепла"
Не пользуйся этой чертовщиной или тебе есть не давай а дай gpt!
Амека от Инженеринг Артс с gpt4 (не gpt4o, а 4 обычной) на борту (!!!) ещё в прошлом году научилась говорить голосом ЛЮБОГО человека, аудиозапись чьей речи вообще была в сети... любая знаменитость, любой политик, любой актёр; ей просто называли имя и фамилию, и ИИ с очень высокой точностью имитировал голос названного лица... и ничего, никто от этого не умер :)
(отредактирован)
вы кажется не читали новость от слова совсем. Речь не в возможности имитации голоса, а в том, что без нужного на то разрешения при условном запросе "подскажи как написать курсовую" модель начинает отвечать твоим собственным голосом что и как делать.
Судя по всему для ИИ вы не представляете никакой ценности.
Пелевин давно всё предсказал. Начиная с дипфейков в 90х. До переноса разума в виртуал. И вообще тема в фантастике базовая.
И в СССР об этом тоже говорили.
никакого переноса разума в виртуал не может быть, разве что копирование навыков.
(отредактирован)
Уже сейчас кажется что не на публике Байден подозрительно связно говорит.
Молодой человек, не палите контору. Нам уже немного осталось. Оно почти готово. А пока успокойтесь и потыкайте хомячка)
Мой банк ввел эту голосовую биометрию без предупреждений. Теперь, обращаясь к ним по телефону, я автоматически соглашаюсь, что они запишут и будут использовать мой голос. Чтобы отказаться от голосовой биометрии, надо - не поверите - позвонить в банк... Письменных заявлений они не принимают. Жаль, что я слишком ленив, чтобы судиться с ними.
классный фильм, но слабо оцененный массами
Сцена с медведем?) Сам фильм метафора, классный, пересматриваю иногда
и она тоже, но вообще финальная сцена с метахуманом даже ближе к теме кринжевой мимикрии