Что такое LoRA простыми словами: как нейросеть учит лицо

Кратко. LoRA это небольшая надстройка поверх большой нейросети. Базовая модель уже умеет рисовать человека вообще: кожу, свет, позу, одежду. Твоего лица она не видела. LoRA обучается на 15-20 твоих фото, весит мегабайты против гигабайтов базы и учится за десятки минут. Дальше база рисует сцену, а надстройка подставляет твои черты.

Что такое базовая модель и почему она тебя не знает

Базовая модель это огромная нейросеть, которая училась на миллионах картинок с подписями. Она разобралась, как устроено человеческое лицо: где ложится тень от скулы, как блестит кожа у виска, как ткань пиджака заминается на плече. Родной язык ты выучил примерно так же, без учебника, по горе живых примеров.

Одного она не знает: тебя.

Напиши ей «мужчина тридцати пяти лет, тёмная рубашка, окно за спиной», и на экране появится хороший портрет незнакомца. Повтори запрос, и незнакомец окажется другим. База рисует усреднённого человека, собранного из всех, кого видела. Для обоев на рабочий стол сойдёт, для твоей аватарки нет.

Дальше есть два пути. Либо ты каждый раз суёшь модели свои селфи как образец и надеешься, что она срисует черты. Либо один раз учишь её твоему лицу, и потом она рисует тебя по памяти. Второй путь и называется LoRA. Какие ещё бывают инструменты под мужское фото, разобрано в статье про выбор нейросети.

Что такое LoRA и почему она весит так мало

LoRA это маленькая надстройка поверх базы, которая держит внутри себя одну концепцию. В нашем случае концепция это твоё лицо.

Ближайшая понятная аналогия это чип-тюнинг. Двигатель никто не разбирает, блок цилиндров остаётся прежним. Правят таблицы в прошивке, несколько килобайт данных, и машина едет иначе. Тут та же схема: гигабайты базовой модели остаются нетронутыми, рядом появляется крошечный файл поправок, который подмешивается в вычисления и разворачивает результат в сторону твоего лица.

Отсюда и разница в масштабе. База весит гигабайты, персональная надстройка это мегабайты, разрыв на пару порядков. Полное дообучение всей сети означает пересчёт всех весов: часы работы мощного железа и на выходе ещё одна гигабайтная копия, которую потом некуда девать. LoRA трогает небольшую часть параметров, поэтому обучение укладывается в десятки минут, а готовые надстройки можно хранить пачками и подключать по очереди.

Если бы каждому заказу требовалось полное дообучение, персональные AI-съёмки остались бы забавой для тех, у кого дома стоит стойка с видеокартами.

Что происходит, пока модель учится

Обучение это короткий цикл, повторённый много раз подряд.

Сеть берёт один твой кадр и заливает его шумом, пока от снимка почти ничего не остаётся. Дальше пробует восстановить исходник обратно. Свою версию она сравнивает с настоящей, видит расхождение и подкручивает ту самую небольшую часть весов, чтобы в следующий заход промахнуться слабее. Потом очередь следующего кадра.

Так учатся подделывать подпись: обводят образец сотни раз, пока рука не запомнит нажим и наклон. Разница в том, что вместо руки тут цифры в матрицах.

Из этого следует главное практическое правило. Модель запоминает не «твоё лицо» в человеческом смысле, а то общее, что есть во всех кадрах набора. Если во всех двадцати снимках ты стоишь у одного окна, общим окажется окно, и оно уедет в результат вместе с чертами.

Почему нужно 15-20 кадров с разными ракурсами

Модели надо понять, что в твоих фото твоё, а что случайное. Один снимок такой возможности не даёт.

Представь, что человека просят описать тебя по единственной фотографии. Он опишет фотографию. Свитер, свет из окна, кислое выражение лица, всё это попадёт в описание как часть тебя. Дай ему двадцать разных кадров, и случайное вычтется само: свитер каждый раз новый, значит свитер ни при чём, а нос везде один и тот же.

Пятьдесят однотипных кадров хуже пятнадцати разных. Больше файлов не равно больше данных: двадцать копий одного снимка несут ровно один снимок. Подробный разбор по размеру набора лежит в тексте про то, сколько фото нужно для обучения, а как их снять дома за вечер, расписано в инструкции по селфи для нейросети.

Что такое шаги обучения и где начинается переобучение

Шаг это один проход цикла: посмотрел, сравнил, поправил веса. Число шагов задают до старта, и оно решает, насколько глубоко сеть влезет в твой набор.

Шагов мало: лицо не выучено, сходство держится на уровне «вроде похож». Шагов много: наступает переобучение.

Выглядит оно так. Сеть перестаёт понимать твоё лицо и начинает помнить исходники целиком. Просишь портрет на улице, получаешь ту же серую стену из спальни. Просишь деловой кадр, из-под пиджака лезет воротник футболки, в которой ты снимался. Позы повторяются, фон повторяется, кадры становятся похожи друг на друга сильнее, чем на тебя. Школьная аналогия простая: человек вызубрил один билет и теперь отвечает им на любой вопрос.

Точное число шагов зависит от количества снимков и от базовой модели, поэтому его подбирают прогонами, а не берут с потолка. Осмысленный порядок величин это сотни и первые тысячи. Остановиться надо в точке, где сходство уже появилось, а фон исходников ещё не полез.

Сила LoRA при генерации и почему её крутят

Обученная надстройка подключается к базе с определённым весом. Это буквально ползунок, и от его положения зависит, чьё лицо ты увидишь.

Слабо: база забирает власть, черты расплываются в сторону усреднённого мужчины. Ты себя узнаёшь, мать нет.

Сильно: надстройка забивает базу. Кадр начинает разваливаться. Поза деревенеет, свет становится плоским, композиция сползает к тому, что было на исходниках, иногда вылезают куски их фона, которых ты в запросе не просил.

Со звуком понятнее. База это оркестр, надстройка это солист. Убавь его, солиста не слышно за оркестром. Выверни на максимум, оркестр превратится в кашу под крик.

Нормальный сервис подбирает вес под конкретную модель и конкретную сцену, а не ставит одно значение на всех. Студийный портрет на сером фоне и вечерняя улица требуют разной силы: чем сложнее и темнее сцена, тем аккуратнее приходится давить.

Чем LoRA отличается от подмены лица

Подмена (face swap) работает с готовой картинкой. Берут чужой кадр, вырезают из него лицо, на освободившееся место вставляют твоё, края сглаживают. Быстро, дёшево и почти всегда заметно.

Заметно по трём приметам:

1. Свет на лице не сходится со светом в сцене. На щеке блик слева, а окно в кадре справа.
2. Зерно и резкость лица отличаются от остального снимка, потому что это два разных изображения, склеенных по контуру.
3. Угол головы достаётся от донора. В профиль, при наклоне и в сложных поворотах всё разъезжается, а овал лица начинает жить своей жизнью.

LoRA рисует лицо внутри кадра с самого начала, одним изображением вместе со сценой. Склеивать нечего, шва не появляется. Тень от носа ложится от того же источника, что и тень от плеча, поворот головы генерируется, а не натягивается на чужой череп. Отсюда и ощущение съёмки вместо коллажа.

Где ещё используют LoRA, кроме лиц

Сама техника про лица ничего специального не знает. Она умеет быстро доучивать модель любой концепции, которой в базе не хватило.

• Стиль. Плёнка с конкретным зерном, манера одного иллюстратора, фирменная картинка бренда. Такую надстройку обучают на паре десятков изображений в нужной эстетике.
• Предмет. Кроссовки определённой модели, флакон, станок на производстве. Для карточек товара это способ получить одну и ту же вещь в сорока сценах без пересъёмки.
• Персонаж. Герой, который должен выглядеть одинаково во всей серии кадров или в комиксе.
• Кадрирование. Реже, но встречается: сеть приучают к съёмке сверху или к определённому построению кадра.

Несколько надстроек подключаются вместе и с разной силой. Твоё лицо и плёночный стиль в одном снимке это две LoRA, работающие одновременно. Именно так собирают наборы, где черты остаются твоими, а картинка выглядит снятой на конкретную оптику.

Как это устроено у нас

На a-dam.photo личная модель живёт в профи-фотосессии. Загружаешь 15-20 фото, обучение идёт около 40 минут, на выходе 60 кадров в пяти стилях за 3 490 ₽. По приглашению друга та же съёмка стоит 2 990 ₽. Если ты заметно изменился, сбрил бороду или поседел, старая модель об этом не в курсе, и понадобится повторное обучение за 2 290 ₽.

Второй режим обходится без обучения совсем: три селфи, выбор сцен в каталоге, где их больше 900, первые кадры через пару минут после оплаты. Пакеты начинаются от 490 ₽, весь набор собирается за 10-20 минут. Сходство здесь ниже, чем у личной модели, зато ждать почти нечего.

Что брать, зависит от задачи. Если нужна аватарка к утру, обучение избыточно. Если кадров нужно много и они должны быть узнаваемо твоими, без личной модели не обойтись. Сравнение режимов и мужская специфика разобраны в большой статье про AI-фотосессию.

Частые вопросы