История нейросетей: от перцептрона до генераторов картинок

Кратко. История нейросетей начинается в 1943 году с математической модели нейрона. В 1958-м появился перцептрон, потом были две «зимы ИИ», когда о нейросетях почти забыли. Перелом случился в 2012 году с глубоким обучением на видеокартах. Трансформеры 2017 года дали чат-ботов, диффузия 2020-х дала фотореалистичные картинки, массовыми они стали в 2022 году.

История нейросетей коротко: главные даты

Идее нейросети больше восьмидесяти лет, а генератору, который рисует тебя в костюме у окна кофейни, меньше пяти. Большую часть этого времени нейросети то обещали всё, то не могли почти ничего.

Что такое нейросеть сама по себе, разобрано в отдельной статье. Здесь хватит одной фразы: это программа из множества простых вычислительных элементов, которая учится находить закономерности на примерах. Дальше только хронология.

1943-1958: искусственный нейрон и перцептрон

Всё началось со статьи. В 1943 году нейрофизиолог Уоррен Маккаллок и математик Уолтер Питтс описали нейрон как логическое устройство: он получает сигналы, складывает их и срабатывает, если сумма выше порога. Никакого компьютера за этим не стояло, это была чистая теория.

В 1956 году в Дартмутском колледже прошёл летний семинар, в заявке на который Джон Маккарти и коллеги впервые употребили термин «искусственный интеллект». Нейросети были лишь одной из идей, которые там обсуждали.

Через два года, в 1958-м, психолог Фрэнк Розенблатт описал перцептрон, сеть, которая могла учиться: ей показывали примеры, и она сама подстраивала веса связей. Представь машину, которой показывают карточки с буквами и говорят «правильно» или «неправильно», а она постепенно перестаёт путать. Для конца 1950-х это звучало как фантастика, и пресса обещала думающие машины через пару лет.

История ИИ и нейросетей: зимы, когда о них забывали

Обещания не сбылись, и деньги ушли. Так бывало не раз, и такие периоды называют зимами искусственного интеллекта.

Для нейросетей первая зима связана с книгой. В 1969 году Марвин Минский и Сеймур Пейперт выпустили «Перцептроны», где строго показали, чего однослойный перцептрон не может в принципе. Например, простую логическую задачу «или то, или другое, но не оба сразу». Многослойные сети могли бы с этим справиться, но как их обучать, тогда толком не знали. Интерес к нейросетям надолго остыл.

Оттепель пришла в 1980-х. Физик Джон Хопфилд в 1982 году описал сеть с ассоциативной памятью, которая восстанавливает запомненный образ по его куску. А в 1986 году Дэвид Румельхарт, Джеффри Хинтон и Рональд Уильямс опубликовали в Nature работу про обратное распространение ошибки: способ, которым многослойную сеть можно учить, передавая ошибку от выхода назад по слоям. Это ответ на вопрос, который остался открытым после 1969 года.

Практический результат тоже появился. Ян Лекун с коллегами построил свёрточную сеть для чтения рукописных цифр, в итоговой работе 1998 года она называется LeNet-5. Такие системы применяли для чтения цифр на банковских чеках. А потом снова наступило затишье: компьютеры были медленными, данных не хватало, и другие методы машинного обучения давали результат проще и дешевле.

2012: глубокое обучение и видеокарты

Перелом случился на конкурсе. В 2012 году сеть AlexNet Алекса Крижевского, Ильи Суцкевера и Джеффри Хинтона выиграла соревнование по распознаванию изображений ImageNet с большим отрывом от второго места. Работа о ней вышла в том же году на конференции NeurIPS.

Идеи в AlexNet были в основном старые. Новыми были условия. Во-первых, данные: ImageNet содержал больше миллиона размеченных картинок. Во-вторых, видеокарты: сеть обучали на игровых графических процессорах, которые считают тысячи простых операций параллельно, как раз то, что нужно нейросети. Была и третья вещь, накопленный опыт обучения глубоких сетей.

Скажем, если бы в 1990 году у кого-то была готовая схема AlexNet, толку от неё бы не было. Обучение на тогдашних компьютерах заняло бы годы, а миллиона подписанных фотографий не существовало вовсе.

В 2019 году Хинтон, Лекун и Йошуа Бенджио получили за глубокое обучение премию Тьюринга за 2018 год, главную награду в информатике. А в 2024 году Хопфилд и Хинтон стали лауреатами Нобелевской премии по физике за работы, которые сделали возможным машинное обучение на нейросетях.

2014-2017: нейросети начали рисовать и говорить

После 2012 года события пошли быстрее. В 2014 году Иэн Гудфеллоу с коллегами предложил генеративно-состязательные сети, GAN. В них две сети соревнуются: одна рисует подделки, другая учится отличать их от настоящих. Представь фальшивомонетчика и эксперта, которые учатся друг у друга, пока подделку нельзя отличить от оригинала.

GAN научились делать правдоподобные лица людей, которых не существует. Но управлять ими было трудно: попросить GAN «мужчину в пальто на мосту вечером» обычными словами было почти невозможно.

В 2017 году группа исследователей Google опубликовала статью «Attention Is All You Need» с архитектурой трансформер. Она умела быстро обрабатывать длинные последовательности и понимать, какие слова в тексте связаны друг с другом. На трансформерах построены современные языковые модели и чат-боты, а в генераторах картинок они отвечают за понимание запроса.

История развития нейросетей в картинках: от GAN к диффузии

Следующий шаг сделали диффузионные модели. В 2020 году Джонатан Хо с коллегами показали DDPM, модель, которая учится убирать шум с картинки шаг за шагом. Запускаешь процесс с чистого шума, и из него постепенно проявляется изображение. Подробно и без формул это объяснено в тексте что такое диффузия.

У ранней диффузии была проблема: она работала с каждым пикселем и требовала огромных вычислений. Решение предложили авторы работы о латентной диффузии: картинку сначала сжимают в компактное представление, шум убирают там, а в конце разворачивают обратно. Это в разы дешевле.

Из этой работы выросла Stable Diffusion, которую открыли для всех в августе 2022 года. Её можно было скачать и запустить на домашнем компьютере с хорошей видеокартой. Как она устроена, разобрано в статье про Stable Diffusion. Весной того же 2022 года OpenAI показала DALL-E 2, а в конце ноября вышел ChatGPT, и о нейросетях заговорили все.

Почему фотореализм пришёл только недавно

Потому что для него нужно было всё сразу. Архитектура, которая рисует стабильно, а не как GAN, с капризами. Понимание текста, чтобы картинку можно было заказать словами. Данные в миллиарды картинок с подписями. И вычисления, которые подешевели настолько, что генерация занимает секунды, а не часы.

Каждая из этих частей появилась в своё время. Трансформеры в 2017 году, диффузия в 2020-м, дешёвая латентная диффузия к 2022-му. До этого не хватало то одного, то другого.

Было: ранние GAN выдавали небольшие картинки, где лицо ещё получалось, а фон и руки расплывались, и попросить их о конкретной сцене словами было нельзя. Стало: сегодня по фразе «мужчина за рулём старой машины, вечер, дождь на лобовом стекле» генератор выдаёт кадр, который трудно отличить от снимка.

С лицом конкретного человека история отдельная. Генератор рисует незнакомца, и чтобы на кадре был ты, модели нужны твои снимки. Мы делаем фотореалистичные портреты одного мужчины по его селфи: в каталоге больше 600 сцен, пакеты от 490 ₽, кадры вертикальные 3:4.

Частые вопросы