Дообучение целиком или LoRA: в чём разница

Кратко. Оба способа учат нейросеть твоему лицу, но платят за это разную цену. Полное дообучение пересчитывает веса всей сети: нужны сотни изображений, часы работы и гигабайтный файл на выходе. LoRA правит узкую часть параметров и живёт отдельным маленьким адаптером: хватает 15-20 фото и десятков минут. На одном лице разница в сходстве почти незаметна, поэтому портретные сервисы берут второе.

Два способа научить модель твоему лицу

Базовая модель видела миллионы портретов и не видела тебя. Чтобы она нарисовала именно твоё лицо, в неё надо что-то вложить, и путей ровно два: переписать саму сеть или прицепить к ней поправку.

Полное дообучение (его же называют файн-тюнингом, а портретный вариант известен как DreamBooth) берёт готовую модель и продолжает её учить на твоих снимках. Меняться при этом может любой из миллиардов параметров. LoRA идёт иначе: базу не трогают вообще, рядом с частью её слоёв подвешивают маленькие матрицы поправок, и учатся только они.

Есть и третий, самый лёгкий приём: текстовая инверсия. Она не меняет ни одного веса, а подбирает новое слово, вектор которого указывает модели на нужное лицо. Сходство получается слабое, зато файл весит килобайты. В портретных задачах её почти не берут, но знать про неё полезно: это нижняя граница шкалы вмешательства. Что такое адаптер и как он подмешивается в вычисления, подробно разобрано в статье про то, что такое LoRA простыми словами.

Что происходит с весами в каждом случае

Разница не в интерфейсе, а в том, какая часть сети под ударом.

При полном дообучении обновляется вся матрица весов слоя. Сеть послушно двигается в сторону твоих фото и заодно теряет часть того, что знала раньше. У явления есть название: катастрофическое забывание. Обучи модель слишком усердно на двадцати своих селфи, и она начнёт подмешивать твои черты куда попало, включая кадры, где человека вообще не просили.

LoRA устроена экономнее. Вместо правки всей матрицы обучается пара узких матриц, произведение которых даёт поправку к исходной. Ширина этого горлышка называется рангом, и она задаёт, сколько информации адаптер способен удержать. База остаётся нетронутой, поэтому забывать ей нечего: поправку отключают одной строкой, и модель возвращается к прежнему поведению.

Отсюда растёт вся остальная разница: по объёму данных, по времени, по весу результата и по тому, что делать, когда человек пришёл во второй раз.

Дообучение целиком и LoRA: таблица различий

Таблица объясняет, почему рынок персональных AI-съёмок вообще появился. Если бы на каждый заказ требовалась своя гигабайтная модель и несколько часов вычислений, услуга стоила бы как съёмочный день у фотографа, а ждать её пришлось бы до вечера.

Сколько данных и времени нужно каждому способу

Полное дообучение голодное. Параметров в сети миллиарды, и чем больше степеней свободы, тем больше примеров надо, чтобы она выучила закономерность, а не конкретные картинки. На двадцати фото такая модель не обобщает, а запоминает: свитер, угол дивана, лампу над головой.

LoRA страдает от того же голода гораздо слабее просто потому, что учить в ней почти нечего. Узкое горлышко физически не вмещает обои спальни, и туда попадает то, что повторяется во всех кадрах набора, то есть твоё лицо. Какими должны быть снимки и сколько их брать, расписано в тексте про то, сколько фото нужно для обучения.

Наши цифры для личной модели: 2 500 шагов, скорость обучения 0,0001, мультиразрешение, когда набор учится сразу в нескольких размерах. Обучение занимает 25-35 минут, поэтому про профи-съёмку целиком мы говорим «около 40 минут». Полное дообучение под тот же результат не уложилось бы и в несколько часов, а клиент ждал бы кадры до следующего дня. Механику шагов мы разбирали отдельно в материале про то, как нейросеть учится на твоих фото.

Где LoRA проигрывает по качеству, а где нет

Честный ответ: теоретический потолок у полного дообучения выше. Когда меняется вся сеть, ей доступны любые тонкости, включая те, что не пролезают через узкое горлышко адаптера.

На практике этот потолок недостижим в портретной задаче. Чтобы его взять, нужны сотни кадров одного человека в разном свете, а у обычного мужчины столько приличных фото нет и не появится. На реальном наборе из двадцати селфи лишние параметры идут не в сходство, а в переобучение: готовые кадры повторяют исходники.

Где адаптер действительно уступает:

1. Сложные несимметричные детали. Шрам, редкая форма родинки, заметная асимметрия глаз проходят через поправку хуже, чем через полное дообучение.
2. Экстремальные ракурсы. Профиль и наклон головы держатся слабее фронтального кадра, потому что таких снимков в наборе обычно меньше всего.
3. Резкие перемены во внешности. Сбрил бороду, поседел, похудел на пятнадцать килограммов: старый адаптер об этом не знает, и подкрутить его нельзя, нужен новый.

У адаптера есть рабочий диапазон силы 0,7-1,1 при значении по умолчанию 1,0. Ниже черты уплывают к усреднённому мужчине, выше кадры залипают на позах и фонах из датасета. У полного дообучения такого регулятора нет вовсе: модель либо обучена так, либо переобучена, и лечится это только новым прогоном.

Когда полное дообучение действительно оправдано

Способ живой и нужный, просто задачи у него другие.

• Модель не знает целый класс объектов. Медицинские снимки, инженерные чертежи, спутниковые кадры: адаптером такую дыру не закрыть, базе надо доучить сам визуальный язык.
• Бренду нужна своя эстетика на всей продукции. Тысячи кадров в одном свете, одной цветовой схеме и одном построении кадра, дальше модель работает как штатный арт-директор.
• Результат должен быть автономным. Одна самодостаточная модель без привязки к чужой базе удобнее в поставке, чем связка из базы и набора поправок.
• Базовую сеть надо переучить на другую анатомию или другую манеру рисунка целиком.

Общее у всех четырёх случаев одно: меняется не деталь, а картина мира модели. Одно лицо на такую переделку не тянет.

Третий вариант: не учить модель вообще

Есть маршрут, где обучения нет совсем. Редактирующая модель получает несколько реальных снимков человека прямо в запрос и рисует новый кадр, опираясь на них как на образцы. Ждать нечего, платить за обучение тоже.

У нас так работает каталог сцен. В образцы идут 4 лучших реальных снимка из загрузки, отобранных по внутренней оценке качества лица: фронтальные и чёткие получают больший балл. Разрешение 2K, кадр вертикальный 3:4.

Тут стоит рассказать про грабли, на которые мы наступили сами. Раньше первым образцом шёл сгенерированный превью-кадр, и получался каскад искажений: живое лицо, потом его неточная копия, потом снимок, нарисованный по копии. Сходство сыпалось на третьем шаге. Сейчас в образцы попадают только настоящие фотографии, и узнаваемость заметно выросла.

Слабое место маршрута без обучения: сходство держится ровно до тех пор, пока сцена простая. Сложный свет, необычный ракурс, поворот головы, и модель принимается додумывать черты. Личный адаптер в этих условиях устойчивее, потому что лицо зашито в веса, а не подсмотрено сбоку.

Как это сделано у нас

На a-dam.photo работают оба маршрута, и это осознанный выбор.

Профи-фотосессия за 3 490 ₽ обучает личную модель на 15-20 твоих фото и отдаёт 60 кадров в пяти стилях примерно за 40 минут. Тренер специализированный, портретный: перед стартом кадры автоматически кропаются по человеку, а маска по субъекту заставляет сеть смотреть на лицо, а не на комнату за спиной. Датасет собирается в архив под конкретный заказ и уезжает на обучение по ссылке с коротким сроком жизни. По приглашению друга та же съёмка обойдётся в 2 990 ₽, повторное обучение на новых исходниках стоит 2 290 ₽.

Каталог сцен работает без обучения: три селфи, выбор из более чем 900 сцен, пакеты от 490 ₽. Первые кадры приходят через пару минут после оплаты, весь пакет собирается за 10-20 минут.

Чего в кабинете нет: ползунка силы адаптера, ручного выбора seed, горизонтальных кадров и встроенного редактора. Параметры подбираем мы, снимки приходят вертикальными 3:4. Весь маршрут от оплаты до готового кадра разложен по шагам в статье про устройство нашего пайплайна.

Что выбрать под свою задачу

Короткий разбор по ситуациям:

• Нужны твои портреты в разных сценах, и они должны быть узнаваемо твоими: личная модель, то есть LoRA.
• Нужна аватарка к утру и без возни: маршрут без обучения, каталог сцен.
• Нужен фирменный стиль на сотни карточек товара: полное дообучение, и это работа отдельного проекта.
• Внешность изменилась: новый адаптер, старый не чинится.

Правило простое. Учить модель целиком имеет смысл, когда меняешь ей взгляд на мир. Когда добавляешь одного человека, хватит поправки в мегабайт.

Частые вопросы