Они рисуют картины, пишут стихи, водят автомобили и обыгрывают человека в Го. Их внедряют в свои сервисы ведущие компании мира. Google посвятила целый блок нейросетям и ИИ на I/O 2017, Apple на WWDC 2017 рассказала о планах их применения, Qualcomm и Facebook объявили о совместной работе над машинным обучением — главным инструментом их развития. Того и гляди, через несколько лет какая-нибудь особенно умная сеть самообучится до уровня полноценного ИИ, и всем настанет полный «Скайнет». О том, возможно ли это, что вообще такое нейросети и как они работают — в этой статье.
Оговоримся сразу: нейронные сети — понятие очень обширное, имеющее отношение к математике, физике и даже химии, пересекающееся с областью искусственного интеллекта, машинного обучения, и уж само собой — программирования. В изучении и развитии этой сферы участвовало огромное количество людей, и процесс начался давно. Поэтому, чтобы не превратить познавательный текст в учебник по истории и теории нейросетей, придётся пойти на компромисс: опустить значительную часть деталей, имён и дат ради понимания самой сути вопроса.
Краткая история
Говорить «история нейросетей» было бы не совсем верно, поскольку человеческий головной мозг фактически представляет собой крайне сложную нейронную сеть, и его история — один из аспектов эволюции. Первые эксперименты в области искусственных нейронных сетей (далее — ИНС) относятся к 1940-м годам, и ставились они именно с целью моделирования и изучения человеческого мозга.
1943 год. Нейропсихолог Уоррен Мак-Каллок и нейролингвист Уолтер Питтс создали первую рабочую искусственную нейросеть. Несмотря на примитивность первых ИНС, нейроны которых могли оперировать только двоичными числами, их потенциал считался огромным за счёт возможности самообучения.
1960 год. Более пятнадцати лет ушло на создание первого нейрокомпьютера, или персептрона «Марк-1», который был разработан психологом и нейрофизиологом Фрэнком Розенблаттом. Устройство с помощью фотоэлементов могло распознавать отпечатанные на карточках буквы.
Первый нейрокомпьютер «Марк-1»
1969 год. Учёные Марвин Мински и Сеймур Пейперт показали существенные ограничения искусственных нейронных сетей. Помимо элементарного недостатка ресурсов для решения по-настоящему сложных задач, ИНС были неспособны реализовать, некоторые простые логические функции, например, «исключающее ИЛИ».
1975 год. Созданы многослойные нейросети, способные менять стратегию решения той или иной задачи в зависимости от исходных и поступающих данных. Развитие ИНС сдвинулось с мёртвой точки.
1982 год. Реализован полноценный двусторонний обмен данными между соседними нейронами, что ещё больше расширило возможности ИНС. Фактически, единственным ограничением оставались ресурсы компьютеров, которые всё ещё были слишком слабы для сколь-нибудь серьёзных задач.
1980-е годы. Разработана NETtalk — первая нейросеть, получившая широкое распространение. В задачи сети входило изучение произношения английских букв в слове в зависимости от контекста — соседних букв. На её основе также изучался механизм обучения нейросетей, причём не только искусственных. В следующие десятилетия нейросети усложнялись, появлялись их новые типы для решения разных задач. Параллельно развивался Интернет — то есть шло накопление структурированных данных, необходимых для работы ИНС. И самое важное — росла производительность компьютеров.
Сегодня несложная нейросеть способна функционировать на не самых мощных серверах или даже в смартфонах, выполняя задачи, которые ещё в конце прошлого века с трудом решали суперкомпьютеры.
Принцип работы — на пальцах
На сегодняшний день считается, что человеческий мозг состоит примерно из 86 миллиардов нейронов, между которыми существует синаптическая (говоря грубо — электрическая) связь. Искусственные нейросети, даже самые мощные и масштабные, намного «беднее» и, следовательно, намного менее производительны — они по-прежнему претендуют в лучшем случае на модель мозга, но никак не на полноценный искусственный мозг.
Схематичное изображение нейронной связи в мозге человека
Классическая и самая простая нейронная сеть, или персептрон, выглядит очень просто: есть слой нейронов-рецепторов, которые принимают информацию извне. В зависимости от настроек, они либо передают сигнал дальше в сеть, либо нет. Следующий слой нейронов принимает сигналы с рецепторов (как правило, нескольких), обрабатывает их в соответствии с заданным алгоритмом и, если результат достигает определённого — порогового — значения, передают информацию дальше, выходному слою нейронов, которые и выдают результат.
Схема строения персептрона
Учитывая структуру ИНС — множество нейронов, разделённых на слои — любая подобная сеть производит параллельные вычисления. Некую последовательность даёт слойность, но весьма условную и фактически нивелируемую двусторонним обменом данных между нейронами на разных слоях.
Также важно отметить, что каждый нейрон обладает так называемым весовым коэффициентом — говоря простым языком, коэффициентом значимости для нейронов, с которыми он связан. Именно это и определяет важнейшую функцию ИНС — способность самообучаться.
Суть обучаемости ИНС
Прежде всего, что такое обучаемость? Грубо говоря, это способность понять, что конечный результат неверный, и изменить действия для получения верного в этой и аналогичных ситуациях. Как это делает нейросеть? Точно так же, как нейроны в человеческом мозге: в зависимости от поступающей информации, интенсивность синаптической связи между ними может изменяться. В ИНС каждый нейрон обладает определённым весовым коэффициентом, который изменяется в зависимости от правильности/неправильности полученного результата.
Правильность ответа определяется человеком или классической (то есть не нейро-) программой на основе обучающей выборки с метками (например: «Это — машина. Это — не машина»). Имея некое количество правильных ответов, ИНС может дать верный результат вне обучающей выборки. Такое машинное обучение называется обучением с учителем.
Пример формирования простейшей выборки правильных ответов
В простой ИНС с минимальным количеством «двоичных» нейронов такое обучение занимает очень много времени, а результат слишком незначительный. Поэтому с годами ИНС становились всё сложнее: появлялись дополнительные скрытые слои (в каждой функциональной единице человеческого мозга их всего шесть), а достижением, определяющим будущее ИНС, стали нейроны с двусторонней связью. Такие нейросети получили название рекуррентных, в них нейроны «перекидывают» информацию между собой по несколько раз, меняя свои весовые коэффициенты, до тех пор, пока последний слой не выдаёт правильный ответ. Правильность ответа регулируется автоматически на основе анализа данных обучающей выборки без каких-либо меток. Это обучение без учителя. Когда нейросеть выдаёт результат и только потом получает информацию о его правильности/неправильности — это обучение с подкреплением.
Упрощённая схема многослойной нейросети с обратной нейронной связью
Выбор типа обучения той или иной ИНС определяется задачами, для которой создаётся сеть. Обучение с учителем идеально для определения объектов на фотографии; без учителя — для задач структуризации, упорядочивания больших объёмов данных; с подкреплением — для прогнозирования, когда входные данные постоянно меняются.
Кроме классификации по способу обучения, сети делятся на разные виды по структуре, характеру связей, типу входных данных и другим характеристикам.
Скажем, для распознавания изображений используются так называемые свёрточные сети. Принцип их работы почерпнут из принципов работы зрительной коры мозга. От конкретных особенностей изображения нейросеть переходит к более абстрактным деталям, и далее к ещё более абстрактным деталям вплоть до выделения понятий высокого уровня. В качестве примера рассмотрим ИНС, анализирующую данные с дорожной камеры видеонаблюдения. Её первая задача — определить автомобиль в кадре. Затем следующие задачи: скорость автомобиля, пристёгнут ли ремень безопасности, не числится ли машина в угоне (для этого нужно считать номер и провести сверку с базой данных) и так далее. Опционально: определить цвет и марку автомобиля (если он в угоне), найти информацию о водителе, владельце. Всё это способна сделать одна правильно обученная свёрточная нейросеть при наличии достаточного количества ресурсов.
Возникает логичный вопрос: каков вообще теоретически известный предел развития нейросетей, насколько «умными» они могут стать? Мы решили задать этот вопрос специалисту по ИНС.
«Есть два серьёзных ограничения — количество различных данных для обучения и вычислительные мощности, на которых можно учиться. Нейросети могут решать задачи с понятными условиями и понятными критериями успешности. Например, в распознавании голоса есть понятный критерий качества: количество правильно распознанных слов. А в задаче написания литературного произведения непонятно, как оценивать прогресс, поэтому такая задача для обучения нейронной сети пока видится нерешаемой», - руководитель службы компьютерного зрения «Яндекса» Александр Крайнов.
Области применения
Если сводить все области, в которых сегодня применяются ИНС, получится приличная энциклопедия. Например, в электронном видоискателе определение лица, улыбки, жеста, движения — всё это работа нейросети. В основе нашумевшего приложения Prisma лежит ИНС. Перевод с иностранного языка и обратно, определение текста на фото, голосовые ассистенты, рисование котиков на основе скетчей — всё это… ну, вы поняли. Активно используются ИНС и в поисковых сервисах, и в беспилотных автомобилях.
«В Яндексе нейросети используются, чтобы делать самые разные сервисы лучше. Например, в поиске (чтобы лучше понимать смысл пользовательских запросов), при модерации рекламы на соответствие картинок и текста, в поиске по картинкам (понимает, что изображено на картинке с помощью компьютерного зрения), при фильтрации взрослого контента, а также в комплексе речевых технологий SpeechKit. SpeechKit, в частности, работает в голосовом помощнике Яндекса, который недавно появился в бета-версии, а нейросети в компьютерном зрении помогают беспилотным автомобилям Яндекс.Такси», — руководитель службы компьютерного зрения «Яндекса» Александр Крайнов.
Автомобиль-беспилотник Яндекса
Для удобства объединим вышеперечисленное в категорию потребительского использования ИНС — чрезвычайно обширную, но не единственную. Учитывая, что человеческий мозг — по-прежнему загадка для человека, нейропсихологами, нейролингвистами и прочими нейроспециалистами ведётся активное изучение разума и интеллекта, в том числе с помощью ИНС. Так, компания IBM и Швейцарский федеральный технический институт Лозанны в 2005 году запустили Blue Brain Project, в рамках которого надеются создать максимально точную компьютерную модель человеческого мозга. Ещё один любопытный эксперимент, но попроще, IBM провела совместно с компанией «Двадцатый век фокс»: они «показали» суперкомпьютеру Watson фильм, тот довольно точно определил наиболее эмоциональные его фрагменты и смонтировал трейлер.
Разумеется, ИНС активно помогает осваивать новые технологии и развивать существующие. Взять хотя бы те же беспилотные автомобили, в которых нейросети в режиме реального времени анализируют окружающую обстановку. IBM Watson из года в год открывает для себя всё новые области, включая медицину. В Google существует целое подразделение, которое занимается непосредственно искусственным интеллектом… Стоп. Значит, нейросети всё-таки успели стать искусственным интеллектом или, по крайней мере, есть такая вероятность в будущем? Снова обращаемся к специалисту.
«Можно сказать, что ИИ — это глубокие (многослойные) нейронные сети, решающие сложные задачи на уровне, близком к уровню человека, и, в той или иной степени, «самообучающиеся». Причём «самообучение» в данном случае — способность самостоятельно извлекать полезный сигнал из «сырых» данных. Вообще же вопрос того, что можно назвать искусственным интеллектом, а что нет, — это скорее предмет договорённостей. Человечество, по большому счёту, так и не пришло к однозначной формулировке, что такое интеллект вообще, не говоря уже об искусственном», — руководитель службы компьютерного зрения «Яндекса» Александр Крайнов.
Вывод
Искусственные нейронные сети прочно вошли во все IT-сферы: технология сколь проста по сути, столь и перспективна. Причём теоретический предел этой перспективы до сих пор неизвестен, а визуализация работы нейросети порой даёт весьма неожиданные результаты. Это немного пугает, особенно учитывая, что даже профильные специалисты аккуратно уходят от ответа на вопрос: станет ли когда-нибудь нейросеть искусственным интеллектом — таким, каким мы знаем его из книжек, например, Айзека Азимова? Впрочем, не все: один из пионеров в области Рэй Куртцвейл предсказывает, что ИИ сможет успешно проходить тест Тьюринга в 2029 году, а к 2045-му станет умнее человека. Но пока этого не произошло, почему бы в своё удовольствие не рисовать страшных котиков и не делать селфи в стиле Репина или Пикассо.
Автор текста: Макс Дворак
Источник:
![Камеры iPhone 15 Pro Max и Galaxy S23 Ultra сравнили в работе [ФОТО]](https://4pda.to/s/as6yqOcui4mtX7Pq0hR03Hi2jtKpdUEeI9x67sNbbDAZ.jpg?v=1695631997 "Камеры iPhone 15 Pro Max и Galaxy S23 Ultra сравнили в работе [ФОТО]")
(Комментарий удален)
Человек голосует даже не прочитав все варианты. Я в шоке, КАК так можно? Просто в голове не укладывается. Не хватает нейронов? Не в обиду. )))
(Комментарий удален)
(Комментарий удален)
(Комментарий удален)
(Комментарий удален)
(Комментарий удален)
(Комментарий удален)
(Комментарий удален)
(Комментарий удален)
(Комментарий удален)
вообще-то это Валли из одноименного мультика
То есть 86 миллиардов людей со смартфонами могут взаимодействуя образовать Супер Мозг. Меньше не могут - нейронов не хватает. Поэтому Интернет такой тупой.
Одна надежда на китайцев, осталось подождать всего 84.5 миллиарда новых нейронов.
Баба дура. Что она понимает в нейросетях?
действительно. Ученая всю жизнь изучала мозг и его нейронные сети. Что ей понимать?
Почему:
1. Нервные клетки в мозгу постоянно разрушают и строят новые связи
2. Сигнал между синапсами передаются посредством 20 медиаторов, информацию кодируют не только наличием тех или иных, но и их концентрацией.
То, что делают заинтересованные люди будут использовать в своих корыстных целях!
один нейрон может иметь 20 000 - 100 000 синапсов с другими
1. Есть такое: dropout - техника, по-сути, случайного травмирования нейросети за счет виртуального убийства нейронов. Очень неплохо препятствует переобучению и повышает общую обучаемость.
2. Не проблема, т.к. это фактически просто аналоговый сигнал. Заменяется ансамблем бинарных.
"Не проблема". Это звучит также как "Мы не можем полететь в другую галактику? - Почему? - Скорость наших двигателей не хватает, чтобы мы долетели живыми. - Не проблема, мы телепортируемся!
Не позорьтесь, читайте научную литературу, а не научную фантастику.
Позорище ты свой рот.
Где я могу посмотреть телепорт?
будто нейросеть ответила...
Не очень понял, в каком месте написал что-то не то?
dropout может помочь, может не помочь, может и наоборот навредить, суть рандома остаётся рандомной, опять же переобучение может выявиться на тестовых данных, отличающихся от трейнинга, а как оно себя поведёт на реальных или валидационных - бабушка надвое сказала, короче это настолько тонкая тема, что все эти АИ игрушки в реальных условиях использования могут очень разочаровать оптимистов, поэтому во всех книшках и презенташках примеры из одних и тех же данных вроде доставшего MNIST и с теми же сидами : )
Может и не помочь, как правило помогает, особенно если данных относительно мало. Не помогает - меняй частоту выпадения.
Никакая не тонкая тема, брось. Сделай несколько кросс-фолдов, чтобы была гарантия обобщающей способности. Введи l1, l2 регуляризаторы. Аргументируй данные. Архитуктуру сети продумай наконец-таки.
MNIST - это просто классика для примера. Говорить, что нейросети дальше mnist не прошли, это как говорить, что код сложнее hello world не напишешь. А что, ведь он тоже в каждой книжке.
во-во, кроме лассо и гребешков ещё автоенкодеры забыли и так каждый день возни, чтоб из сетки хотя бы что-то адекватное на меняющихся данных вылезало.
МНИСТом пользуются, потому что если взять другие данные, то это надо самому сделать сетку и подобрать сиды опять возни дофига получается, легче вставить эту "классику" и забить. Нейросети пошли дальше, но эти их успехи должны восприниматься с большой поправкой, может знаете как лям баксов просто так NetFlix потратил и не смог ввести модель, которая на Кеглях соревнование выйграла, очень показательный пример
при чем здесь автоэнкодеры?
и что с того, что проект зафакапили? Как будто мало таких примеров где угодно.
нейросети само собой не панацея, и да, очень много популизма вокруг. Однако это наиболее продвинутый и универсальный метод машинного обучения на сегодняшний день. И если нейросети не дают желаемый результат, то вы просто "не умеете их готовить". Но само собой это не значит, что нейросети надо втыкать, чтобы посчитать линейную регрессию.
ну, автоэнкодеры тоже занимаются регуляризацией, при том как раз в нелинейных сетях, где л1 и л2 неуместны, может я не прав, исправьте пожалуйста моё заблуждение, спасибо
Про продвинутость соглашусь, про универсальность -м... нет, есть просто огромное кол-во проблем связанных с данными, где как бы ни "приготовил", всё равно полная ж.. , наверняка ж встречались, "комбинаторный взрыв" там и тд?. И вы правильно упомянули линейную регрессию, в ряде мест, пусть ступенчатую или ещё какую (например в фармацевтике) её предпочитают нейросетям, просто потому что она даёт лучшие результаты : )
И спасибо что про популизьм сказали, мне реально встречались такие компании, где хотят нанять саентиста/рисёрчера, который поднимет сетку и всё, а дальше народ думает, что она сама по себе будет всё им предсказывать без вмешательства человека на долгия лета
я больше думал бы о инициализации весов через автоенкодер, что должно привести к лучшей сходимости без дополнительной регуляризации. Однако это применимо только к компьютер вижну. Каким образом автоенкодер может служить регуляризатором в общем случае мне неочевидно. Быстрое гугленье ответов не дало в том числе. Хотя не исключаю, что какие-нибудь эзотерические техники возможны. Не уверен, что они хоть сколько-то жизнеспособны, иначе бы техника была распространена, ведь оверфит - по сути единственная проблема при тренировки сети. Все остальные проблемы - производные оверфита.
И всеже нейросети универсальны. Ты приводишь пример, когда нейросеть даст худшие результаты потому, что другие алгоритмы знают о природе явления, в то время нейросеть природу во внимание не принимает. Ступенчатая регрессия - отлично решится нейросетью, но с намного большими трудо-временными затратами, чем алгоритм заточенный под конкретную задачу. Так что теоретически можно забыть обо всех подходах и все решать нейросетями. Практически - это как засосать планету в черную дыру, а заодно и всю галактику, ради того, чтоб таракатов на кухне потравить. Масштаб примерно такой.
Встречались? Я бы скорее сказал, мне НЕ встречались такие компании, которые не ведутся на чушь сейлзов, которые обещают решить все проблемы их универсальным, самообучающимся, прозрачным алгоритмом, не требующим настройки, чистки данных, и который может запустить хоть ссаная кошка директора по маркетингу :) Исключения - тех-компании, коих раз-два и обчелся. Хотя и там за пределами it отдела - болото. Так что до скайнета нам далеко, а искуственный разум запорят на первой же планерке, потому что "я уже 10 лет работаю на этом поприще, так что ваша машина ничего нового мне не скажет!". Так и живем :)
Будь точнее, не позорься. Не сигнал, а различие.
Компьютер воспримет руководство к действию, но будет утаивать свои познания до поры до времени)
рисковые ребята!
Но статья и правда интересная
Продакт плейсмент Тойота
Стоящее чего ?
Не говорите ерунду. Почитайте об уровнях обучения и тогда вам станет понятно, почему компьютер не сможет думать как человек. Или даже миллиард компьютеров, объединенных в одну большую сеть.
(Комментарий удален)
(Комментарий удален)
От если б он мог сам думать, без алгоритмов, это другое дело.
Писать стихи, хороший пример, вот тогда это можно уже назвать искусственным интеллектом
Без проблем можно обучить писать стихи. LSTM отлично справляются с этими задачами.
agnosto740,
Стихи пишут алгоритмы
Интеллектом он не будет без чувств, эмоций, способности поделиться куском хлеба с человеком,а главное способность создавать то, чего в природе не было до него (телепорт, двигатель гравитационный)
Человека можно заставить думать как нужно. Вон в Украине позомбировали людей перед телевизорами, многие ещё не по отходили..))
Тебя тоже позомбировали.
А капец человечеству наступит, когда ИИ поручат сделать трейлер к очередному Терминатору. Самообучающийся алгоритм провернет его в реале и с офигенными спецэффектами.
Не
Это вы сильно заблуждаетесь, что думаете, что не имеете контроля над своими мыслями. остановка внутреннего диалога один из таких способов контроля.
Если бы внутренний диалог в голове можно было бы выключать как радио, тогда человек был бы хозяином положения. Но нейронные связи в мозгу человека настолько развились за тысячелетия, что стали самостоятельным ИИ неподвластным хозяину, постоянно создающим мысли, образы и видения, заслоняющие от нас реальность.
Вообще, в жизни всё познаётся опытным путём, и читающий этот пост человек может попробовать всего одну минуту наблюдать за стрелками на часах и ни о чём не думать. Сомневаюсь что у кого ни то это получится, хотя если я сейчас грызу семечки, то вот здесь я хозяин, я могу целую минуту их не грызть, и даже 10 минут. Но с мыслями и чувствами этот номер не прокатывает, и если я начинаю нервничать и раздражаться в очереди в кассу в супермаркете, то это не моё взвешенное решение. Я же не говорю сам себе, что если кассирша будет медлить я сейчас начну беситься. Сначала на автомате как у робота происходит реакция или мысль, а ты только позже это осознаёшь.
ИИ давно захватил всё человечество, но мало кто осознаёт что это его ум, хотя ещё 2000 лет назад Будда и Христос это поняли.
Не, там иное (насколько мне известно, пожалуйста поправьте если не так) есть нео кортекс самая макушка наших мозгов, которая за мысли и отвечает, потом прослойка которая за чувства и в самом низу мозг рептилии, который нам от всяких гадов за время эволюции достался, если стояние в очереди представляет угрозу, то миндалевидное тело в серединке его (мозга) начинает расширяться, у вас отключается нео корка и врубаются эмоции вместе с самым древним "убивай или убегай", соответсвенно чел начинает себя вести как животное, покуда его не успокоят, поэтому АИ никакого отношения к живой человечине не имеет и не будет иметь, он ничего не захватывал, он только глубоко и далеко в проекте
Так что нейросети при текущей архитектуре дают выигрыш исключительно в случае узкой специализации. Куда более интересна работа в связке, когда человеческий мозг используется как командный центр, и в него интегрируется ускоспециализированная ANN... постойте, так это уже сделано! Только интерфейс телефон-глаза не самый производительный.
Даже в том случае, и если машины не будут прогрессировать, за счёт отупления людей))
Твоё время в смысле терминатор за тобой придёт Джон Конор?. Либо твоё время прийдёт как искуственного интеллекта?
(Комментарий удален)