Заявления пользователей о «деградации» популярного чат-бота взялись проверить учёные Стэнфордского университета. Они провели полноценное исследование, в ходе которого сравнили возможности актуальной версии ИИ с более ранними результатами. Как оказалось, языковая модель действительно стала намного более «глупой» всего за три месяца.
Согласно результатам эксперимента, в период с марта по июнь 2023 года у GPT-4 наблюдалось значительное снижение точности ответов в самых разных сценариях. Например, чат-бота попросили выяснить, является ли число 17 077 простым, добавив к запросу фразу «Думай последовательно». По мнению исследователей, это должно было послужить подсказкой и заставить ИИ поэтапно проработать вопрос, предоставив пошаговое описание. Полученный ответ оказался неверным, к тому же он не сопровождался никакими пояснениями.
Как утверждают учёные, точность ответов GPT-4 в некоторых областях в июне упала до 2,4%. Для сравнения — в марте этот показатель доходил до 97,5%.
При написании кода бот стал выдавать всего около 10% правильных результатов против мартовских 52%. Наконец, на 100 «деликатных» вопросов июньская версия GPT-4 дала ответы лишь в 5% случаев — в марте это значение составляло около 21%. Любопытно, что при этом точность модели GPT-3.5, напротив, выросла. В частности, в июне чат-бот правильно ответил на большее количество вопросов, чем в марте — 8% против 2%.
По мнению исследователей, пользователям, которые полагаются в своей работе на возможности GPT-3.5 и GPT-4, стоит постоянно проверять точность полученных результатов.
Источник:
![Российский экшен SPINE поразил Запад: его называют смесью Sifu и Джона Уика [ВИДЕО]](https://4pda.to/s/as6yz2xwcMb5cgr41HWfTMmFz19CUYCyxvvhk74GebbDgp.jpg?v=1701429351 "Российский экшен SPINE поразил Запад: его называют смесью Sifu и Джона Уика [ВИДЕО]")
![Переиграли и уничтожили. Rockstar выпустила трейлер GTA VI раньше времени [ВИДЕО]](https://4pda.to/s/as6yz2dIge6pnkz2LgJ5GIkS1bJLXYiC3rdOGaItqp2HS4.jpg?v=1701771240 "Переиграли и уничтожили. Rockstar выпустила трейлер GTA VI раньше времени [ВИДЕО]")
![Xiaomi 14 на Snapdragon 8 Gen 3 испытали в играх [ВИДЕО]](https://4pda.to/s/as6yrxmsz2YfeHVboFJtk83XTVh2qhWjUbz09Ro7iF4z1KG.jpg?v=1698485773 "Xiaomi 14 на Snapdragon 8 Gen 3 испытали в играх [ВИДЕО]")
а точно не "лоботомия" от разработчиков?)
Да и, судя по ответам, подбухивать начал втихаря. Пока между запросами, но ещё чуток не поспит и начнёт прямо в чате с горла заливаться и интересоваться у пользователей насколько глубокое чувство уважения они к нему испытывают.
Мозг сортирует? От слова сортир?
Мозг не источник сознания, а всего лишь передатчик. Или скажешь что телевизор источник телепередач? Кругом лютые невежды...
Передатчик? Кому?
А что источник сознания?
Судя по окружающей меня реальности, у намалого числа людей это жопа.
+
кстати да, согласен, во время сна мозг закрывает отделы на профилактику, в которой перераспределяет всю накопленую инфу, что-то выделяет, чтото выкидывает, что-то помечает как подозрительную инфу что-то наоборот. А данные нейронки просто едят всё что им дают и никак это не переваривают, отсюда и деградация
Вы путаете статичную нейросеть с динамической, как наша башка. Информация в гпт состоит из кучи констант
зачем им это?
нагрузку на серваки снизить, логично же
или настоящий ИИ отдали ЦРУ, а вместо него посадили пару этажей индусов)
Вот только нейросеть не обучается в реальном времени. Там такая же предобученная модель как и раньше, ее просто затюнили вхламину ради цензуры и в основном для снижения нагрузки.
(Комментарий удален)
(Комментарий удален)
(Комментарий удален)
(Комментарий удален)
(Комментарий удален)
(Комментарий удален)
Существующие ИИ не способны обучаться на запросах, им нужно подготовить информацию, а какая информация из вопросов? Если это просто вопросы, и часто осмелюсь предположить тупые вопросы
ИИ пока не существуют. ИИ - Это от маркетологов
Кавычки забыл
ИИ пока не существует. ИИ - это от "маркетологов".
типа есть "маркетологи", а есть ""маркетологи""?
"Сумма разума на планете- величина постоянная, а население растёт".
(Закон Мерфи)
True
Текущие модели не обучаются на запросах. Это статичные модели, они знают только то на чем обучались.
Это так не работает. Модель статична. Запросы не вносят в нее изменения.
Этот "ИИ" обучается на определённой выборке. Условно — отобранном слепке интернета и избранных статей на определённую дату. Учёные его не "делают" в привычном понимании.
спасиба за поясънение, мистер р.
На самом деле странная ситуация. Тут скорее вопрос не к моделям, так как их не так просто поменять. А к интерпретаторам или сэмплерам которые переводят инфу из модели в читаемый текст. А вот что там с ними накрутили и зачем - вопрос.
во-первых, это не ИИ, это всего лишь Т9 на максималках. Во-вторых, этот бредогенератор с самого начала придумывает несуществующие факты и выдаёт за действительные, и очень легко соглашается что был не прав, когда ему ткнёшь носом. Только вот память у него как у рыбки - реально через пару минут может забыть всю нить развёрнутого диалога, в котором ему уточняешь факты. В общем, а король-то голый, только вайтишники-смузихлёбы упорно отказываются это признавать, потому что эмэйзинг, и вообще мы тут все устарели если не в восторге от бредогенератора.
Это он специально, чтоб вы так думали.
По логике вещей, наеборот "широкие народные массы тебя от доступа и доступности этих ваших интернетов" 😂🤷🏼♂️
интернет - это глобальная сеть устройств - серверов, компьютеров, и т.д., и не более того. Того интернета, который себе представляют обычные пользователи, как некую сферу, к которой подключаешься, вообще не существует. Да, ещё - и скачать интернет нельзя.
с 1995 года пользуетесь, но так и не поняли чем именно: типичный обыватель с типично обывательскими представлениями.
увы, записи в трудовой и прочие замшелые "регалии" не дают совершенно никаких оснований полагать, что ты (раз уж мы перешли на "ты") в теме. Знаем мы таких "краснодипломников" с короной в три этажа, но имеющих весьма смутное представление об области, в которой получали образование.
Слив защитан, бггг.
в данном случае, слился только ты, "инженер-программист"
печально, что старпёру, давно отставшему в принципе от понимания любых технологий, больше нечем хвастаться кроме как тем, чем он был в далёком 1995 году, в котором он, вероятно, удивлял и сражал наповал своими "знаниями" и записью в трудовой буквально всех соседских тётушек.
Он угроза для студентов. Они и так без опыта, а тут бот может заменить джунов. Так не надо делать
значит студентам - на завод, а не кнопки нажимать. привыкли к халяве.
Она не обучается.
система вырождается когда начинает обучаться сама на себе, другими словами.
Если быть достаточно настойчивым, можно заставить бота сказать, что 2+2=5
При этом он запросто может это "запомнить" и в будущем с некоторым шансом дать другому человеку неправильный ответ
> При этом он запросто может это "запомнить" и в будущем с некоторым шансом дать другому человеку неправильный ответ
Не может, это только в рамках контекста работает. Даже если в рамках текущего диалога закончится контекст — он это забудет.
Давайте начнём с того, что чатгпт имеет закрытый код, так что ваш комментарий по сути своей - спекуляция, не более того.
Продолжить можно тем, что люди, близкие к опенАИ не раз заявляли о том, что у чатгпт есть такая фича, как "самообучение".
Вспомните хотя бы про утечку кода из конторы самсунг как раз по причине того, что их разрабы баловались этой ллм-кой на промышленном коде.
Это не спекуляция. Сейчас все нейронные модели, что для картинок, что для текста, что для музыки - работают на одном принципе. Текущие модели не обучаемы, они статичны. Это грубо говоря слепок перемешанной информации. Модель можно дообучить на каких-то конкретных данных, или поменять веса токенов, но это все требует больших вычислительных мощностей, и невозможно делать на лету для всех миллионов сессий в интернете. Более того чат гпт не помнит даже контекст одной сессии. Просто каждый раз когда вы отправляете сообщение, модели скармливается весь ваш диалог целиком, с вашими и ее запросами/ответами.
Спасибо за ваши "обширные" познания ллм-ок
Подскажите тогда, как код из Самсунга тогда утек?
История такова, что в один прекрасный момент этот код появился в выдаче чатгпт
Значит он был в документах на которых обучался чат гпт. Модели чат гпт обучались на сотнях миллионов документов, вы думаете их как-то фильтровали? Это физически невозможно. И вы зря иронизируете. То как работают нейронки сейчас это совсем не секрет. Есть куча альтернатив с открытым кодом. У всех один принцип. Просто коммерческие проекты предлагают свои модели, так как именно обучить хорошую референсную модель это самое сложное и дорогое. Пример перед глазами Миджорни и СтейблДифьюжн. Миджорни использует тот же «движок» что и «сд» но у них своя модель приправленная кучей надстроек - они берут за нее деньги. А «сд» распространяется абсолютно свободно. И еще раз: принцип работы у всех (почти) нейронок один. И текстовых и визуальных. У них даже расширения файлов одинаковые.
Ну да, ну да
🤷♂ Вся документация и код в сети. Не верите мне - гуглите и читайте. Вы сами можете свою модель натренировать при желании.
Документация чатгпт? Там закрытый код
Еще раз для тех кто в танке: ВСЕ нейронные сети работают на одном принципе и по одним формулам математическим.
Пруфы есть?😂
так это он контекст сессии с конкретным пользователем не помнит, но рассчитывать на то что само взаимодействие с пользователем и его результаты пропадают после окончании сессии довольно наивно.
Не для того всё вот это вот в широкий доступ выкладывалось, что бы херить результаты реального взаимодействия.
Да конечно вы правы, все это будет использовано в дальнейшем при обучении новых моделей. Но есть пара нюансов: во-первых обучение/дообучение это очень ресурсозатратный процесс. Модели обучаются на на мощнейших «рендер фермах» месяцами реального времени. Во-вторых, последние исследования показывают что обучение моделей на ранее сгенерированных материалах очень сильно ухудшает качество модели, так как происходит накопление ошибок. Особенно это видно в моделях доя картинок, но текстовых тоже касается.
Если в холостом режиме без внешних запросов в нем отсутствуют вычислительные процессы, это все тот же калькулятор, вопрос-ответ.)
Примитивные "кожаные мешки" пытаются создать совершенный ИИ. Но пака что получается алгоритм еще более примитивный чем самый примитивный "кожаный мешок".
Есть анекдот который очень точно описывает работу нейросетей: «узнал как делают корабли в бутылках. в бутылку засыпают силикатного клея, дерьма и трясут. получаются разные странные штуки, иногда корабли.» так вот нейросеть выдает в ответ на вопрос «странные штуки» а интерпретатор/семплер выбирает из них ту что больше всего похожа на «корабль». Просто это все происходит с частотой несколько тысяч раз в секунду.
Называть это ИИ - нагло врать. Оно не умеет само думать, обычные натренированные математические модели и всё.
Надо ИИ загрузить инф с ТВ и только потом налить.
Бедненький ИИ, попал не на ту планету.