Переобучение LoRA: признаки в готовых кадрах

Кратко. Переобучение это когда личная модель запомнила не лицо, а всю съёмку целиком: ту же куртку, ту же стену, тот же наклон головы. Главный признак виден в пакете, а не в кадре: снимки похожи друг на друга сильнее, чем на тебя живого. Чинится подборкой исходников, а не ползунками.

Как это выглядит в готовых кадрах

Открой пакет целиком. Если в шестидесяти кадрах половина с одинаковым разворотом плеч и знакомым воротником, модель выучила твою съёмку, а не тебя. Отдельный снимок при этом может быть красивым, поэтому по одному кадру диагноз не ставят.

Типичная история звучит так. Заказ на пять стилей: кабинет, зал, улица, студия и путешествие. Кадры приходят вовремя, лицо на месте, но на трёх стилях из пяти человек в одной тёмной куртке с высоким воротом. В спортзале она смотрится дико. Дальше смотрим исходники и находим ту же куртку на одиннадцати снимках из семнадцати.

Шесть симптомов, по которым переобучение узнают сразу:

1. Одежда из набора. Промпт просит костюм, приходит серая толстовка или её силуэт: цвет сменился, крой остался.
2. Фон-призрак. В уличной сцене вылезает угол комнаты, дверной косяк, край шторы. Модель держится за то, что видела чаще всего.
3. Один ракурс на весь пакет. Голова повёрнута на три четверти влево в кабинете, в зале и на набережной.
4. Замороженное лицо. Одно и то же выражение, один прищур, одинаково поднятая бровь. Просьба улыбнуться проходит мимо.
5. Свет из кухни. Жёлтый тёплый оттенок от лампы над столом приезжает в студийный кадр, где должен стоять холодный рисующий источник.
6. Серия вместо разных снимков. Двенадцать кадров стиля выглядят как один кадр, которому перекрасили задник.

Шестой пункт самый показательный. Здоровая модель держит лицо и отпускает всё остальное, переобученная тянет за собой целый багаж деталей.

Чем это отличается от неудачного промпта

Ошибка запроса гуляет: в одном кадре пиджак не тот, в другом свет не тот, в третьем всё нормально. Переобучение возвращается с упрямством будильника.

Проверка занимает пару минут. Сгенерируй одну и ту же сцену три раза. Промпт даёт разброс, потому что каждый запуск идёт с другим случайным зерном. Если подозрительная деталь приходит во всех трёх кадрах, она приехала из набора, а не из текста запроса.

Второй способ отличить: посмотри на исходники. Найди в своих пятнадцати фотографиях ту самую куртку и ту самую стену. Обычно они находятся за десять секунд.

Откуда это берётся

Параметры обучения у нас одинаковые для всех: портретный тренер, 2 500 шагов, скорость 0,0001, автокроп по человеку и маски по субъекту, чтобы модель училась на тебе, а не на комнате за спиной. Люди разные, набор разный, а рецепт один. Значит, вся разница между хорошей моделью и залипшей приезжает из фотографий.

Механика простая. Адаптер маленький, места в нём мало, и он занимает это место самыми частыми признаками набора. Про устройство адаптера мы разбирали отдельно в тексте про то, что такое LoRA простыми словами. Если признак «серая толстовка» встречается в четырнадцати кадрах из пятнадцати, для модели он такая же часть тебя, как форма носа.

Счёт при этом идёт по повторам признака, а не по числу файлов. Двадцать кадров, из которых восемнадцать сняты в один вечер, модель видит как три-четыре разные ситуации. Пятнадцать кадров за полгода дают пятнадцать ситуаций, даже если сняты они хуже.

Отсюда следует неприятное: чем однообразнее съёмка, тем сильнее модель прилипает к ней. Двадцать отличных кадров с одного вечера работают хуже, чем пятнадцать средних за полгода.

Что в наборе даёт какой симптом

Таблицу удобно читать как чек-лист перед загрузкой. Подробный разбор размера набора лежит в статье про то, сколько фото нужно для обучения.

Привычки, которые незаметно ломают набор

Ни одна из них в момент загрузки не выглядит ошибкой.

• Папка из отпуска. Кадров много, но там две футболки, одно солнце и один загар. Разнообразия ноль.
• Заранее обрезанные квадраты под аватарку. Модель не видит ни плеч, ни шеи, ни посадки одежды, и потом дорисовывает их наугад.
• Скриншоты и пересланные через мессенджер файлы. Компрессия съедает фактуру кожи и волос, модель учит эту кашу и тащит её в каждый кадр.
• Пятнадцать селфи с вытянутой руки. Фронтальная камера с полуметра растягивает нос и сужает уши, и модель закрепляет именно это искажение.

Последний пункт лечится за вечер: половину набора снимает кто-то другой или штатив с расстояния в пару метров.

Что можно вытянуть настройками, а что нет

Сила адаптера отвечает за то, насколько крепко личная модель вмешивается в кадр. Рабочий диапазон 0,7-1,1, по умолчанию стоит 1,0. Опустишь до 0,8: куртка и фон отпускают хватку, вместе с ними слабеет и сходство. Ниже 0,7 лицо перестаёт быть твоим и уезжает к среднему мужчине подходящего типажа.

Получается качели без выигрыша. Переобученную модель можно только приглушить, вернуть ей свободу нечем: информации о тебе в других позах, другой одежде и другом свете в ней просто нет. Guidance, зерно и формулировка сцены тут тоже мимо: они управляют кадром, а не тем, что модель успела выучить.

Поэтому в кабинете ползунков силы модели и зерна нет. Человек с ними всё равно не победит плохой набор, зато легко испортит нормальный.

Обратная крайность

Недообученная модель ошибается зеркально. Кадры разнообразные, сцены выполняются честно, а лицо чужое: похожий типаж, похожая борода, но это не ты. Такое приезжает от маленького набора, от нечётких исходников или от кадров, где лицо занимает десяток пикселей.

Спутать две крайности сложно. Переобучение это скука и повтор, недообучение это свобода без сходства. Проверяется одним движением: положи рядом свою живую фотографию и кадр из пакета. В первом случае ты узнаёшь снимок из собственного альбома, во втором видишь незнакомца в правильной сцене.

Как устроено у нас

В каталоге сцен обучения нет вообще: человек грузит три селфи, а в каждый кадр уходят четыре его лучших реальных снимка как образцы. Переобучаться там нечему, зато остаётся родственный риск: редактирующая модель иногда тащит из образцов воротник или причёску. Лечится это выбором других исходных фотографий.

В профи-съёмке с обучением личной модели за 3 490 ₽ набор из 15-20 фотографий превращается в 60 кадров в пяти стилях. Здесь переобучение возможно, и единственный рычаг против него это сам набор. Если модель уже залипла, помогает повторное обучение на других исходниках за 2 290 ₽: старая модель никуда не денется, но новая соберётся с нормальным разбросом.

Перед обучением набор проходит автокроп по человеку, маски по субъекту и получает слово-ключ, которым потом вызывается именно это лицо. Фон эти приёмы придавливают неплохо. Разнообразие одежды и ракурсов они не придумают за тебя.

Честно про границу: идеального автоматического детектора залипания у нас нет. Первым залипание видит человек, который листает свой пакет.

Что делать, если пакет уже пришёл таким

Порядок действий короткий:

1. Пролистай весь пакет подряд, а не по одному кадру. Диагноз ставится по серии.
2. Найди повторяющуюся деталь и проверь её в своих исходниках.
3. Отбери кадры тех стилей, где деталь мешает меньше всего: тёмные и плотные сцены прощают чужой воротник, светлые студийные нет.
4. Собери новый набор по таблице выше и переобучи модель.

Отдельно про ожидания. Даже честно собранный набор не даёт полного разнообразия: одна-две детали, которые есть на всех твоих фотографиях, модель закрепит в любом случае. Очки, цепочка на шее, привычная стрижка приезжают в кадры чаще прочего. Если очки нужны не везде, половину исходников снимай без них.

Если дело не в повторах, а в сходстве как таковом, разбор другой: мы описали его в тексте про то, что делать, если кадр не похож. Там причины идут от качества исходных снимков, а не от однообразия.

И последнее. Набор для обучения собирается не как альбом лучших фотографий, а как описание человека с разных сторон. Кадр с плохим светом, но новым ракурсом полезнее ещё одного идеального портрета у той же стены.

Частые вопросы