Машинное обучение что это: простыми словами и на бытовых примерах

Кратко. Машинное обучение это способ научить программу задаче на примерах вместо правил. Ей показывают тысячи случаев с ответами, и она сама находит закономерности: так работают спам-фильтр, рекомендации и разблокировка телефона лицом. Бывает с учителем, без учителя и с подкреплением. Нейросети это один из методов машинного обучения.

Машинное обучение что это такое

Попробуй написать правило, по которому отличается спам. «Если в письме есть слово "выигрыш"». Спамеры напишут «выйгрыш». «Если много восклицательных знаков». Нормальный друг тоже иногда радуется. Через неделю у тебя сто правил, и они всё равно пропускают половину мусора и режут письма от бабушки.

Машинное обучение заходит с другой стороны. Программе показывают сто тысяч писем, где люди уже нажали «это спам» или «не спам», и она сама подбирает признаки: слова, отправителей, ссылки, время отправки, их сочетания. Правила никто не пишет. Их находит программа, и находит такие, до которых человек не додумался бы.

Сам термин придумал Артур Сэмюэл, инженер IBM: в 1959 году он описал программу для шашек, которая играла всё лучше, анализируя свои партии. Идея с тех пор не изменилась, изменились объёмы данных и мощность компьютеров.

Где ты пользуешься машинным обучением каждый день

Машинное обучение работает у тебя в кармане чаще, чем кажется. Несколько мест, где оно почти наверняка трудится прямо сейчас:

• почта раскладывает письма по папкам и прячет спам;
• телефон узнаёт твоё лицо и снимает блокировку, а в темноте и в шапке всё равно узнаёт;
• лента видео и музыки подбирает следующее по тому, что ты досмотрел, а что пролистал;
• банк останавливает перевод, который выглядит непохоже на твои обычные траты;
• навигатор прикидывает время в пути по тому, как ехали машины в этот час на прошлой неделе;
• клавиатура подсказывает следующее слово.

Представь, что ты вечером включил пару роликов про ремонт машины. Утром лента полна гаражей и масляных фильтров. Никто в компании не писал правило «этому человеку показывать гаражи». Модель заметила, что люди, которые досматривают такие ролики, досматривают и похожие, и сделала ставку на тебя.

Искусственный интеллект и машинное обучение: что это и в чём разница

Эти слова часто путают, хотя они вложены друг в друга, как матрёшки.

Шахматная программа старой школы тоже считалась искусственным интеллектом, хотя её ходы перебирались по правилам, которые написали люди. Современный чат-бот это машинное обучение в чистом виде: его никто не учил отвечать, его учили на текстах. Что такое нейросеть и как она устроена внутри, разобрано в статье нейросеть простыми словами.

Методы машинного обучения: с учителем, без учителя, с подкреплением

Методы машинного обучения удобно делить по тому, какие примеры получает программа.

1. С учителем. У каждого примера есть правильный ответ: это письмо спам, на этом фото кошка, эта квартира продалась за такую сумму. Программа учится угадывать ответ, сверяется и поправляется. Так работает большинство полезных вещей вокруг.
2. Без учителя. Ответов нет, есть только данные. Программа сама ищет группы и закономерности. Магазин так делит покупателей на тех, кто приходит за скидками, и тех, кто берёт одно и то же каждую пятницу.
3. С подкреплением. Программа действует и получает награду или штраф. Шаг за шагом она учится действовать так, чтобы награды было больше. Так учатся игровые программы, а языковые модели так доводят до вежливых и полезных ответов, когда люди оценивают, какой ответ лучше.

Возьмём одну и ту же задачу «понять покупателя». С учителем программа предсказывает, купит ли человек, по истории прошлых покупок с ответом «купил / не купил». Без учителя она просто раскладывает покупателей по кучкам, а смысл кучкам дают люди. С подкреплением она пробует разные предложения и запоминает, какие сработали.

Какой метод выбрать, решает не мода, а то, что есть на руках. Есть история с правильными ответами, берут обучение с учителем. Если данных гора, а пометок нет, начинают с поиска групп. А когда есть среда, где можно пробовать и получать отклик, в ход идёт подкрепление. На практике их часто смешивают: сначала модель учится без учителя на огромном массиве текста, потом с учителем на примерах хороших ответов, потом с подкреплением по оценкам людей. Примерно так и готовят современные чат-боты.

Внутри этих групп живут конкретные алгоритмы. Для таблиц с цифрами часто хватает деревьев решений и их ансамблей, например открытой библиотеки CatBoost от Яндекса. Для текста, картинок и звука почти всегда берут нейросети.

Нейросети и машинное обучение: почему все говорят о нейросетях

Нейросети выиграли там, где данные сложные: фото, речь, текст. На таблице с ценами квартир простая модель часто работает не хуже нейросети и объясняет свой ответ понятнее. На задаче «что изображено на снимке» простая модель беспомощна.

Нейросети требуют много данных и много вычислений. Пока компьютеры были медленными, а размеченных фото мало, они проигрывали. Когда появились мощные видеокарты и огромные наборы данных, нейросети обогнали всё остальное в распознавании картинок, а потом в работе с текстом. Отсюда и ощущение, что машинное обучение это только они.

Скажем, у тебя интернет-магазин и нужно предсказать, какие товары закончатся к праздникам. Тут хватит простой модели на истории продаж. А если нужно по фото товара сразу заполнять описание, это уже работа для нейросети.

Почему данные важнее алгоритма

Модель знает только то, что было в примерах. Если в примерах перекос, он переедет в ответы, и никакой умный алгоритм этого не исправит.

Допустим, компания учит программу отбирать резюме по тем, кого она брала последние десять лет. Программа выучит и все старые привычки отдела кадров: если брали в основном людей из одного вуза, модель начнёт снижать оценку остальным. Злого умысла нет, просто так выглядели примеры.

Представь приложение, которое оценивает, насколько удачно ты вышел на фото. Если его учили на снимках людей двадцати лет в студийном свете, мужчине за сорок в вечерней кухне оно поставит низкую оценку, хотя фото нормальное. Модель честно повторяет то, что видела.

Поэтому люди, которые занимаются машинным обучением, большую часть времени проводят не за алгоритмами, а за данными: собирают, чистят, размечают, выкидывают дубли и проверяют, что в наборе есть разные случаи. С фото для обучения личной модели правило то же: разный свет, разные ракурсы, разная одежда, и никаких чужих лиц в кадре.

Как модель учится на примерах: переобучение и недообучение

У обучения на примерах есть две классические беды. Недообучение: модель слишком мало видела и промахивается везде. Переобучение: модель зазубрила свои примеры вместо того, чтобы понять закономерность, и на новых данных сыплется.

Переобучение легко представить. Студент выучил ответы на тридцать билетов наизусть, но не понял предмет. Попался новый вопрос, и он плывёт. Модель, которая училась на фото одного кота на одном диване, может решить, что «кот» это диван.

С портретами это выглядит конкретно: модель, обученная на двадцати селфи в одной куртке у одной стены, начинает рисовать эту куртку и эту стену в каждом кадре. Как такие признаки видны в готовых фото, разобрано в статье про переобучение модели. Лечится это разнообразием примеров, а не их количеством.

Как это связано с обучением модели на твоих фото

Обучение личной модели на твоих фото это машинное обучение с учителем в очень узкой задаче. Модель уже умеет рисовать людей, ей показывают пятнадцать-двадцать снимков одного человека и учат рисовать именно его. Обучают не всю модель, а небольшой адаптер к ней, это называется LoRA, подробнее в статье что такое LoRA.

В a-dam.photo так устроена Профи-фотосессия: 15-20 твоих фото, обучение личной модели и 60 кадров в 5 стилях за 3 490 ₽, всё вместе около 20 минут. По шагам этот процесс разобран в статье о том, как нейросеть учится на твоих фото.

Частые вопросы