Как нейросеть учится на твоих фото: разбор по шагам

Кратко. Обучение нейросети на своих фото идёт шестью этапами. Система готовит набор: вырезает лица, приводит снимки к одному размеру, выбрасывает брак. Дальше помечает, что на всех кадрах один человек, и запускает обучение примерно на сорок минут. Потом проверяет похожесть на пробных кадрах, генерирует сцены по текстовому описанию и доводит файлы апскейлом.

Что происходит с фото после загрузки

Ты выбрал папку, нажал кнопку и закрыл вкладку. Дальше работает конвейер, и волшебства в нём нет ни на одном шаге: каждый этап делает с твоими кадрами конкретную и довольно скучную вещь.

Вот вся карта.

Подготовка набора: что делают с твоими кадрами

Их режут и чистят. Модель не смотрит на фотографию целиком, ей нужно лицо крупно и в одном масштабе, поэтому загруженные файлы сначала приводят к общему виду.

Первым делом ищут лицо. Детектор обводит его рамкой и вырезает область с запасом на волосы, шею и плечи, чтобы в обучение попал человек, а не комната за ним. Если в кадре несколько лиц, главное выбирают по размеру и положению, остальные уходят за границу обрезки.

Дальше все вырезки приводят к одной стороне квадрата. Обучение работает с картинками фиксированного размера, так что и снимок с зеркалки, и кадр из мессенджера становятся файлами одного формата. Отсюда неприятное следствие: сжатая картинка от такого выравнивания чётче не станет, она просто растянется, и модель выучит мыло вместо кожи.

Последний шаг подготовки это отсев. Из набора выкидывают дубли (два кадра из одной серии несут одно и то же), смазанные снимки, фотографии, где голова занимает угол, и файлы, на которых детектор лица не нашёл вообще. Бывает, что из двадцати загруженных остаётся четырнадцать, и это рабочий расклад, а не авария.

Разметка: как модель понимает, что это один человек

Сами по себе вырезки для модели это просто стопка картинок. Связывает их подпись.

Каждому кадру дают текстовое описание, и во всех описаниях стоит одна общая метка: редкое слово или сочетание символов, которого модель раньше не встречала. Годится любое, лишь бы оно не тянуло за собой чужих ассоциаций. Через эту метку лицо и собирается в единый образ: раз она стоит на всех кадрах, значит всё общее у этих кадров относится к ней.

Повторяться, по замыслу, должно только лицо. Поэтому в подписях перечисляют переменное: фон, одежду, свет, поворот головы. Названное словами модель считает обстоятельствами съёмки и к метке не приклеивает. А то, что нигде не названо, она не различает. Двадцать снимков в одной серой футболке дают серой футболке хорошие шансы стать частью тебя.

Обучение: сорок минут одного и того же

Дальше начинается однообразная работа. Модель раз за разом портит твой кадр шумом, пробует восстановить исходник и подкручивает себя, когда результат расходится с оригиналом. Сама механика этого цикла разобрана отдельно, в тексте про то, что такое LoRA.

Практически важны здесь три вещи.

Первое: обучается не вся большая сеть, а маленькая надстройка рядом с ней. Переучивать ради одного лица модель, которая умеет рисовать людей, свет и улицы, никто не станет: она огромная, а нужное знание крошечное.

Второе: у процесса есть естественный конец. Расхождение с оригиналом сначала падает быстро, потом медленнее, потом выходит на полку и перестаёт меняться. Это и есть сигнал остановиться. Продолжать дальше вредно, и почему именно, видно в разделе про то, что портит обучение.

Третье: времени это занимает около сорока минут. Не потому, что сервер слабый, а потому, что циклов нужны тысячи, и каждый требует полного прохода по набору.

Проверка: похож или нет

Готовую надстройку пробуют на нескольких простых кадрах: ровный свет, нейтральный фон, прямой взгляд. Сцена нарочно скучная, задача у неё одна, показать лицо без помех.

Смотрят на четыре вещи:

1. Узнаётся ли человек с первого взгляда, без разглядывания деталей.
2. Держится ли лицо от кадра к кадру или на каждом снимке уезжает возраст.
3. Не тянется ли за лицом обстановка из исходников.
4. Не появились ли очки, борода или кепка, которых в заказе не было.

Если проверка не прошла, причина почти всегда в наборе, а не в настройках обучения. Сколько кадров нужно и почему двенадцать разных работают лучше двадцати одинаковых, разобрано в отдельной статье.

Генерация и постобработка

Дальше начинается сама съёмка, и работа делится надвое. Текстовое описание сцены (его называют промптом) отвечает за всё вокруг лица: место, свет, одежду, план, настроение. Обученная надстройка держит лицо. Модель собирает кадр из шума, ориентируясь на описание, а метка из разметки подтягивает в получившегося человека твои черты.

Отсюда видно, почему две частые претензии лечатся по-разному. «Лицо не моё» это про набор и обучение, тут помогает только новый набор. «Сцена не та, просил кабинет, получил переговорную» это про описание, и правится оно переписыванием промпта за пару минут.

Готовый кадр проходит доводку. Разрешение поднимают апскейлом: отдельная модель увеличивает картинку и дорисовывает детали, которых в маленьком файле физически не было. Потом снимок режут под форматы: квадрат для аватарки, вертикаль для анкеты, горизонталь для обложки. Границу кропа считают по лицу, иначе при обрезке улетает подбородок.

Что портит обучение и почему

Каждый пункт ниже ломает конкретный механизм из тех, что описаны выше.

• Одинаковые ракурсы. Модель видит одну проекцию лица и не знает, как выглядит твоя скула сбоку. При другом повороте головы она достроит её из среднего лица, и в кадре окажется чужой человек.
• Чужие лица в кадре. Детектор вырежет не того или подмешает вторые черты в твою метку, даже если человек попал в кадр краем плеча.
• Очки, кепки и капюшоны. Они повторяются на всех снимках, значит по логике разметки относятся к тебе. Потом очки приходят в кадры, где их никто не заказывал.
• Разные периоды жизни в одном наборе. Сеть усредняет полученное, а среднее между тобой в двадцать пять и тобой в тридцать пять не существовало ни в один год.
• Сильно сжатые файлы. Скриншоты и картинки, пересланные мессенджером, теряют мелкие детали лица ещё до загрузки, а восстановить их обучение не умеет.
• Фильтры и режимы красоты. Сглаженная кожа повторяется на всех кадрах так же исправно, как футболка, и выучится вместе с тобой.

Что именно снимать и в каком порядке, разобрано в инструкции по селфи для нейросети.

Чего обучение не делает

Три вещи, которых от него ждут зря.

Оно не улучшает внешность. Сеть тренируется повторять показанное, а не править его. Кожа на выходе окажется ровнее за счёт света и разрешения, но форма носа, посадка глаз и линия челюсти останутся твоими.

Возраст и вес оно тоже не трогает. Попроси в описании «моложе» или «стройнее», и модель начнёт отходить от выученного лица: чем настойчивее просьба, тем меньше сходства. В итоге получаешь похожего человека другой комплекции.

И оно не запоминает тебя для чужих заказов. Надстройка обучается под конкретный заказ, живёт внутри него и в генерациях для других людей не участвует, исходники в общий котёл не уходят. Как читать условия сервиса и на что смотреть до загрузки, разобрано в статье про безопасность AI-фото.

Как это устроено на a-dam.photo

Режима два, и обучение есть только в одном.

Профи-фотосессия: загружаешь 15-20 своих фото, дальше идёт весь описанный путь, обучение занимает около сорока минут, на выходе 60 кадров в пяти стилях за 3 490 ₽. Живёт на странице профи-фотосессии. Если набор оказался слабым и ты пересобрал его заново, повторное обучение стоит 2 290 ₽.

Быстрый режим: три селфи и выбор готовых сцен в каталоге, где их больше 900. Учиться тут нечему, поэтому и сорока минут ждать не надо: первые кадры приходят через пару минут после оплаты, весь пакет за 10-20 минут. Пакеты идут от 490 ₽ за десять снимков.

Подготовка, генерация и постобработка в обоих случаях работают одинаково, разница сидит в середине пути: либо под тебя тренируется отдельная надстройка, либо лицо переносится в заранее собранную сцену. Что каждый режим даёт на выходе, показано в обзоре AI-фотосессии. Если выбираешь впервые, начни с каталога: он покажет, как твоё лицо ложится в готовый кадр, ещё до разговора про сорок минут обучения.

Частые вопросы