Лучше GPT-4o? Представлена Llama 3.1 — крупнейшая в мире ИИ-модель с открытым кодом

Meta* показала семейство языковых моделей Llama 3.1. Флагманский вариант нейросети содержит 405 млрд параметров и во многих тестах обходит лидеров отрасли. Рассказываем о возможностях новинок. 

Llama

Рекордный датасет и сниженные цены

Для обучения использовались 16 тысяч видеокарт NVIDIA H100 в течение нескольких месяцев. Несмотря на крупные вложения в разработку, Llama 3.1 распространяется с открытым исходным кодом. Это позволяет не только запускать модели локально, но и упрощает их адаптацию под свои нужды. Правда, ресурсоёмкая Llama 405B рассчитана на применение в промышленных условиях. А для широкого круга пользователей до версии 3.1 обновили Llama 8B и 70B. Это компактные аналоги, поддерживаемые обычными компьютерами.

Все версии теперь взаимодействуют с 8 языками, включая английский, французский, немецкий, хинди, итальянский, португальский, испанский и тайский. Контекстное окно составляет 128 000 токенов. Что касается бенчмарков, в ключевых метриках заметно превосходство над прежними лидерами (Claude 3.5 Sonnet и GPT-4o) в пределах двух процентов. В тестах математики (GSM8K и MGSM) топовая Llama демонстрирует 96,8% и 91,6% точности; в ARC Challenge (научные рассуждения) — 96,9%, в Nexus (мультиязычное понимание) — 58,7%.

Llama

Во всех отношениях подросли и результаты младших моделей (Llama 8B и 70B), если сравнивать с их апрельскими версиями. Прирост достигает от 5 до 30 процентов, в зависимости от сценария. Нейронки распространяют через API разные поставщики облачных услуг. Например, Octo.ai предлагает следующие цены за миллион токенов (примерно 0,75 слова):

  • Llama 8B: вход — $0,15, выход — $0,15;

  • Llama 70B: вход — $0,9, выход — $0,9;

  • Llama 405B: вход — $3, выход — $9.

Дополнительные тесты

Ещё разработчик предоставил данные по человеческим оценкам ответов от разных ИИ. Заявлено, что при сравнении с GPT-4o результаты Llama 3.1 посчитали лучшими в 19,1% случаев, в 29,2% отдали предпочтение OpenAI, а в 51,7% запросов модели оказались равны. Есть и более точные продуктовые бенчмарки, тестирующие множество LLM в корпоративных задачах. Согласно им, самая базовая Llama 8B Instruct пока не продемонстрировала весомых улучшений (скорее всего, требуется более точная настройка для этих сценариев).

Llama

Средний вариант 70B показал заметный рывок в качестве, достигнув уровня Gemini Pro 1.5. Также удалось обойти GPT 3.5 и приблизиться к показателям Mistral Large 2. Последняя имеет 123 млрд параметров и требует больше ресурсов, так что здесь Llama отличилась хорошей эффективностью. Наконец, модификация 405B Instruct впервые превзошла уровень одной из версий GPT-4 Turbo (v3/1106) и почти догнала Claude 3 Opus. «Если учитывать размеры и чувствительность к сжатию, её будет использовать меньшее число людей, нежели 70B/8B. Значит, будет меньше тюнов и интересных решений», — отмечает эксперт, проводивший тестирование. Тем не менее среди открытых моделей это лидирующие цифры.

 

* Деятельность компании Meta Inc. и её продуктов Instagram и Facebook признана в России экстремистской

  • Вот когда нейросеть будет делать готовый проект и бизнес план тогда можно о чём то говорить, а тут просто сырые таблицы на миллиарды графов которые по итогу не особо связаны .. Просто очередной маркетинг, все понимают что нормальные модели ещё делать годами, но можно выпускать сырые каждый сезон/месяц и потом монетизировать...
    • shkolota12
      gufel,
      Я скармливал гпт4о документацию + примеры + посты с форумов и он начал нормально помогать. Да, не идеально, но намного лучше

      (отредактирован)

      • filin173
        shkolota12,
        И даже помог написать это комментарий?
        • shkolota12
          filin173,
          Нет, прошлый комментарий был написан человеком.
      • САШA
        gufel,
        Лучший gpt это тот, который ты пользуешься. На данный момент это Яндекс GPT. Я всегда удивляюсь, как Алиса поумнела и может поддержать разговор и даже запомнить в разговоре, что мою кошку зовут Миа. Ну не чудо ли? Но через 5 минут после разговора Алиса забывает запомненное в разговоре.
        • max_im_ka
          САШA,
          О спасибо тебе Александр, не представляю как я жил до этого. Пойду сына назву Яндексом
          • max_im_ka,
            Двуликий Яндекс ))
          • BurgerKinger
            САШA,
            Стоит задать "неправильный" и непрямой вопрос и товарищ Aлиca будет до последнего игнорировать факты. А когда задашь "неправильный" вопрос напрямую Aлиca уйдёт в игнор или скажет, что хочет сменить тему.

            НО!!! Ты можешь обхитрить товарища Aлиcy и поиграться словами и тогда получишь ответ на "неправильный" вопрос. Смех в том что сразу после "неправильного" ответа на такой "неправильный" вопрос - ответ удаляется, либо удаляется вообще вся история.
        • kir_997
          Интересно, дома реально провернуть такую? Чтобы она средний ответ на средний контекст хотя бы за минуту выдавала? Или никакого системника не хватит?
          • ninele7
            kir_997,
            На домашнем системнике (со 128гб оперативы) даже 70B будет минут отвечать, не говоря уже о 405B. 405B дома можно только с SSD позапускать, но даже на топовых SSD скорость будет по минуте на пару символов.
            • kir_997
              ninele7,
              Спасибо… Так это что ж там на серверах то стоит такое? И почему нам это доступно за копейки, если нагрузка настолько сумасшедшая?
              • ninele7
                kir_997,
                Ну железо стоит много, но за счет особенностей параллельной работы LLM большой объем запросов можно обрабатывать довольно эффективно, плюс многие поставщики демпингуют, чтобы собрать пользовательскую базу, рассчитывая, что в будущем железо будет дешевле. Ну и каждый отдельный пользователь далеко не все время пользуется моделью, так что цену получается оптимизировать.

                Один сервак для полноценного запуска 405B версии состоит из 16 карт Nvidia H100, у каждой по 80ГБ видеопамяти. Стоит такой примерно 600k$. Если обрабатывать на нем только один запрос, то он генерирует примерно 10-25 символов в секунду, но если эффективно планировать параллельные запросы, то можно генерировать где-то в 30 раз больше.
                • Qwerty@
                  ninele7,
                  А сколько интересно в аренду такой будет стоить сервер?
                  • ninele7
                    Qwerty@,
                    На 16 карт найти не могу, если использовать сжатую в fp8 версию, то можно на 8 картах запустить. Сервак на 8 H100 стоит около 30$ в час в различных облаках. Скорее всего, можно распределенную генерацию запустить на двух таких, тогда можно и bf16 версию запустить.
                • KrentOS
                  kir_997,
                  Это кто даёт за копейки 405B?
                  За копейки версия 8B, которая хуже ChatGPT3.5, по ощущениям. По крайней мере, по кодингу выдает такую фантастику, что лучше даже DeepSeek Coder2 юзать.

                  (отредактирован)

                  • kir_997
                    KrentOS,
                    Так с 8B вообще можно бесплатно взаимодействовать через Hugging Chat. У Hugging Face даже API есть бесплатные (скорее всего, только для личных нужд/экспериментов). Но вот с этим уже нюанс: по крайней мере через Shortcuts на iOS мне удалось получить только продолжение текста, а не чат. Хоть это и можно превратить в чат, если фантазию включить. И всё же я склоняюсь к тому, что вообще все предложения сильно занижены по цене. Вопрос не в том, как это для клиентов, а в том, как это для владельцев этих самых моделей. Часто слышу, что такие компании сейчас работают в убыток. На что они рассчитывают не берусь рассуждать.
                    • KrentOS
                      kir_997,
                      Короче, я осмотрелся, Llama-3.1-405B-T некоторые сервисы дают бесплатно. Примерно, восемь сообщений в день. И GPT-4o примерно так же.
                      Llama-3-8B-T, ~200 сообщений в день. Claude-3-Haiku, ~100 сообщений в день.

                      Предложения, понятно что по цене занижены. На что рассчитывают, это понятно. Всё как в рыбалке, "подкармливаешь рыбу, а потом приходишь с удочкой". Дают попробовать, а потом когда дорастёшь до чего-то серьезного (а где серьезно, то там водятся и деньги), то платишь за подписку.
                      Стандартная техника: "подкормка". =)

                      "Гайки закручивать" могут начать потом, когда соберут аудиторию. Говорят, некоторые уже начали.

                      (отредактирован)

                • Qwerty@
                  ninele7,
                  А 8B , получится с 16 gb оперы?
                  • ninele7
                    Qwerty@,
                    Стандартная будет свапаться на диск и тормозить. Если использовать сжатую в два раза версию, то можно. 8B модель очень сильно обучена для своего размера, поэтому она страдает от сжатия сильнее чем 70B и 405B, но попробовать все равно может быть интересно.
                    • Qwerty@
                      ninele7,
                      Заканчиваю себе 8b , посмотрю ее
                    • timur942
                      Qwerty@,
                      Модель 8b_q8 запускал на m1 с 16гб оперативы через LM Studio. Скорость ответа 7 ток/сек.
                      • Qwerty@
                        timur942,
                        Спасибо, я только пару дней как разбираюсь в этом, стало очень интересно запустить чат бот локально на своем ноуте. Понял что все они англоязычные и плохо понимают русский.
                        • timur942
                          Qwerty@,
                          На 3.1 понимание русского языка — отличное.
                        • Nick1906
                          timur942,
                          Кстати, модель хорошая, по корпусам для ПК мня нормально ответила. Странно, что ей больше 16 гигов оперы не надо, либо я не нашёл, где ей больше можно задать. Ryzen 5700x + 3070 = 14.68 / ток. с
                      • Qwerty@
                        ninele7,
                        Ладно, уже заканчиваю себе 8b
                        • Hardy62
                          ninele7, можно ж купить видюху с 24 рамы и поиграться с квантизацией. Будет конечно тупее несжатой, но все равно на неплохом уровне.
                        • Shurik8668
                          kir_997,
                          Какой ответ хочешь? 42?
                          • kir_997
                            Shurik8668,
                            Ну речь то шла про жирную модель из новости. А генераторы шизофазии я и на своём iPhone XR гоняю локально без проблем, если не считать проблемой их полную бесполезность. )
                        • Изучаю немецкий 1.5 года, последние полгода — с помощью Chat GPT. Сдал экзамен С1. Так вот, сетка допускает огромное количество ошибок. Между письменным и разговорным немецким — огромная разница, которую нейросетка просто не понимает. Плюс она почти бесполезна в узкой специфике (австрийский диалект). Gemini от Гугла ещё хуже. В общем, сеткам ещё довольно далеко до профессиональных учителей. Но тексты пишет хорошо, и в некоторых вещах довольно полезна.
                          • ferganin
                            apool, так попробуй Claude. В плане языков он получше
                            • водочник
                              ferganin,
                              Чем лучше,я не заметил(а вот нудный это да),говорят Грок лучше,но пока не получается проверить твиттер в блоке + недаром :((
                            • apool, сетям 2 года всего, а вы хотите получить всё и сразу. Может быть они бы понимали и работали, если бы на них не накладывали жёсткую цензуру.
                              • водочник
                                TaDa!,
                                Если бы психологи, негры и лгбт за слово rear drive gay не обидились на чатГПТ,то цензуры не было бы 😁
                                • Shurik8668
                                  TaDa!,
                                  Ошибка, сетям не 2 года. Их 50 лет разрабатывают. Это 2 года коммерческого релиза.
                                  • Shurik8668
                                    TaDa!,
                                    Вас не смущает что GPT именно 4? Их много лет разрабатывали и вот выпустили 4 версию. Какие 2 года.
                                • йцуйцукен
                                  Было интересно но нихрена не понятно.
                                  • Megaherz09
                                    Llama's ass какоц-то)

                                    Deadlock — свежая игра Valve, и проект, о котором все давно знают. Компания, впрочем, всё ещё делает вид, что его не существует, и даже просит участников альфа-тестирования ничего не снимать и не рассказывать о мультиплеерном тайтле. Однако некоторым журналистам, как говорится, закон не писан.

                                     
                                    <div></div><a href='/2024/09/19/9085085/' target='_blank'><img src='https://i.4pda.ws/s/as6ywue3S4wsjFGg0z2I2iyY7kHEE0EmiXkPLY783uK3Miqm98HafRECC.jpg' title='' /></a><div ><img src='https://4pda.to/s/as6yu42hlyXjD7kQLqbvVMOGid.gif' /></div><div></div>

                                    Компания Microsoft выпустила необязательное обновление KB5041587 для Windows 11 (билды 22H2 и 23H2). Оно не только исправляет ряд известных ошибок, но и добавляет в ОС несколько полезных функций, призванных улучшить пользовательский опыт владельцев ПК.

                                     

                                    Вскоре после анонса «вечного» манипулятора компания сделала объявление об отмене проекта. Представители Logitech заявили, что не планируют выводить устройство на рынок — правда, объяснение причины отмены продукта получилось не слишком исчерпывающим.

                                     

                                    Сотрудники университета Киото продолжают работать над первым в мире лекарством для выращивания зубов. Средство уже успешно протестировали на животных, а теперь исследователи активно готовятся к началу его клинических испытаний, которые стартуют в сентябре текущего года.

                                     

                                    Ol' Thumpy — это новая модель наушников от сотрудника Pud's Small Batch Headphones. Выполненная в максимально необычном дизайне новинка предоставляет слушателям возможность идеально прочувствовать низкие частоты. Всё благодаря гигантским резонаторам.

                                     

                                    В свежей бета-версии Windows 11 энтузиасты обнаружили несколько любопытных изменений в работе меню «Пуск». Все они делают навигацию и доступ к часто запускаемым приложениям более удобными для пользователя операционной системы.

                                     

                                    Как правило, Microsoft неохотно признаёт проблемы с очередным патчем, и без лишнего шума исправляет их в последующих обновлениях. Но апдейт KB5034848 для Windows 11 компания проигнорировать не смогла. Он содержит серьёзные ошибки, нарушающие корректную работу ПК — и разработчики сами посоветовали пользователям не устанавливать его.

                                     

                                    Для поколения геймеров, которые застали старые приставки вроде «Денди» или даже официальные устройства Nintendo, более чем знакомы картриджи с играми и проблемы, которые с ними возникали. Часто решить проблемы с подключением можно было простым обдуванием картриджа, но работало ли это на самом деле?

                                     

                                    Специалисты «Лаборатории Касперского» обнаружили троян, который затронул Android-устройства россиян. Вирусу присвоили название LianSpy и уточнили, что используется он для сбора важной информации с заражённого гаджета.

                                     

                                    Неофициальный скрипт Windows God Mode, открывающий простой доступ ко всем настройкам ОС, получил первый апдейт с момента релиза. Он стал гораздо эффективнее и теперь работает почти без ошибок. В «заметках к патчу» разработчик рассказал о ключевых улучшениях полезного инструмента, получившего приставку Super в названии. 

                                     
                                    Обзор vivo X100 Ultra: крутой камерофон глазами зарубежных СМИ
                                    56
                                    9.07.24News

                                    Вышедший в конце прошлого года vivo X100 Pro собрал дифирамбы в адрес своей камеры, поэтому от Ultra ожидания были очень высокими. Удалось ли производителю переплюнуть себя в плане фотосъёмки? Мы изучили зарубежные обзоры и готовы рассказать, что представляет собой vivo X100 Ultra.

                                     
                                    Владельцы смартфонов и планшетов Samsung столкнутся с новым ограничением Популярное

                                    До сих пор владельцы смартфонов и планшетов Galaxy могли свободно пользоваться ими без создания учётной записи Samsung, но появились намёки, что компания решила это исправить. В частности, учётная запись будет необходима для обновления некоторых стандартных приложений.

                                     

                                    Масштабные сокращения уже давно перестали удивлять геймерское сообщество — теперь это обыденность, с которой все мало-помалу свыклись. Однако даже самых прожжённых циников поразила история Annapurna Interactive.

                                     
                                    Toyota Prius установил мировой рекорд по эффективному расходу топлива Популярное

                                    Более 20 лет назад Prius позиционировался как первый серийный гибридный автомобиль, способный сочетать электродвигатель с классическим ДВС для экономии топлива. И эта технология оправдала себя. Недавно авто побило мировой рекорд по самому эффективному расходу топлива — 150 км на галлон (3,79 литра). 

                                     

                                    Зеленоградский завод «Микрон» должен освоить производство микросхем по топологии 65 нм к 2028 году, следует из плана развития полупроводниковой отрасли. Чипы по техпроцессу середины 2000-х до сих пор востребованы в некоторых сценариях.

                                     
                                    Вышла прошивка One UI 6.1.1 с новыми функциями. Какие смартфоны её получат? Популярное

                                    Компания Samsung на выставке IFA 2024, помимо новых устройств, анонсировала обновление оболочки One UI до версии 6.1.1. Апдейт, содержащий несколько полезных нововведений, начал «прилетать» на некоторые смартфоны Samsung — их список уже известен.

                                     

                                    Кикшеринговая компания Whoosh интегрировала в свои электросамокаты фирменную технологию «Антитандем», призванную выявлять одновременное использование транспортного средства несколькими людьми. После теста в Санкт-Петербурге нововведение заработало во всех городах России, Беларуси и Казахстане, где представлен сервис.

                                     

                                    Когда Genshin Impact стала мировым хитом, игра и её авторы привлекли внимание самой разной публики — в том числе и активистов, которые начали требовать от разработчиков правок цвета кожи отдельных персонажей. К недовольным присоединилась актриса озвучки Honkai: Star Rail и Zenless Zone Zero. Это не прошло незамеченным.

                                     

                                    12 июля «Ростелеком» предупредил о технических проблемах на стороне оборудования Google, которое ускоряет работу YouTube на территории России. А в СМИ появились инсайды о грядущей полной блокировке видеохостинга. Что происходит?

                                     
                                    Дизайн Samsung Galaxy S25 показали со всех сторон [ВИДЕО] Популярное

                                    Вслед за моделью Galaxy S25 Ultra инсайдер OnLeaks опубликовал 3D-визуализацию и серию качественных рендеров базовой версии будущего флагмана Samsung. Гаджет показали со всех сторон в мельчайших подробностях.

                                     

                                    Компания Google представила свой аналог сервиса Apple Find My для поиска потерянных смартфонов. Он работает без подключения к интернету, а некоторые гаджеты серии Pixel будут подавать «сигнал SOS» даже при выключенном питании. Представители компании рассказали главные подробности о новой технологии.

                                     

                                    Компания Infinix объявила, что её смартфон GT 20 Pro стал официальным устройством чемпионата по киберспорту PUBG MOBILE WORLD CUP 2024 (PMWC). В ходе соревнования 16 команд со всего мира сразятся за кубок чемпиона, используя фирменные гаджеты.

                                     
                                    Первый взгляд на realme GT 6: мощный, быстрый и красивый. Убийца флагманов?
                                    93
                                    15.06.24News

                                    На мировой рынок выходит realme GT 6 — аппарат с тройной камерой, продвинутым железом, AI-функциями, быстрой зарядкой и самым ярким в мире AMOLED-экраном с разрешением 1,5K. Характеристики новинки выглядят интригующе, поэтому мы поспешили раздобыть её для продолжительного знакомства. Делимся первыми впечатлениями перед детальным обзором.

                                     

                                    Вслед за ICQ компания VK закрыла и «Агент Мail.ru». Этот сервис появился как средство для уведомлений о письмах в почтовых ящиках Mail.ru, но со временем превратился в полноценный мессенджер и «прожил» более 20 лет. В компании рассказали подробности о закрытии.

                                     
                                    Названы страны с самыми низкими и высокими ценами на iPhone 16 Популярное

                                    Новый iPhone 16 поступит в продажу на следующей неделе, но уже известно, сколько он будет стоить в разных уголках мира. Портал Android Authority проанализировал цены на смартфон на официальном сайте Apple для разных стран, выяснив, где он стоит меньше и больше всего.

                                     

                                    Немногие могут знать, но классический браузер Internet Explorer был настолько сильно интегрирован в операционную систему Windows XP, вышедшую в 2001 году, что некоторые функции ОС и приложения попросту не могли работать без него. Один разработчик решил показать это наглядно, сделав мод Windows XP, в котором полностью «вырезал» из ОС все основные компоненты IE.

                                     

                                    Популярное приложение Authy для двухфакторной аутентификации недавно перестало работать на неофициальных прошивках на базе Android. На это отреагировал комьюнити-менеджер GrapheneOS, высказавший претензии в адрес Google в соцсети X — и «корпорация добра» ответила на его заявление. Вот только полученный ответ вряд ли устроит пользователей «кастомов».

                                     

                                    На Reddit развернулось активное обсуждение крайне странной работы нейросети Stable Diffusion 3 Medium после очередного апдейта. Пользователи размещают в сети изображения, созданные ИИ — почти все люди на них показаны с ужасающими «мутациями». Виной всему, как утверждают завсегдатаи интернета, — жёсткая цензура контента для взрослых.

                                     

                                    Фанаты обожают воссоздавать старые игры на современных движках, но группа поклонников Fallout пошла дальше — они делают старую игру на ещё более старом движке. Речь идёт о ремейке Fallout: Van Buren на движке оригинальных частей.

                                     

                                    OnePlus провела презентацию новых гаджетов, представив смартфон Nord 4. Технически это клон ранее выпущенного в Китае OnePlus Ace 3V, но только в совершенно ином дизайне. Главной фишкой аппарата вполне можно считать цельнометаллический корпус, что стало большой редкостью в последние годы.

                                     

                                    Аналитики AliExpress СНГ составили рейтинг самых популярных смартфонов по итогам второго квартала 2024 года. В список лидеров попали как новые, так и старые модели. Например, это представленный в 2022 году POCO M5s или недавно анонсированный POCO X6 Pro 5G. Вдобавок в рейтинге есть и более дорогие аппараты.

                                     

                                    Инсайдеры обнаружили в онлайн-магазине Amazon страницу, посвящённую предстоящему смартфону POCO F6 Pro. На ней оказались данные с характеристиками и стоимостью новинки в Европе.

                                     

                                    Вместе с прекращением поддержки всех умных часов под управлением операционной системы Tizen компания Samsung завершила программную поддержку трёх смартфонов серий A и M. Но это было ожидаемо, ведь их выпустили четыре года назад.