Сила LoRA: вес адаптера и почему лицо то похоже, то нет

Кратко. Сила LoRA (её же называют весом адаптера) это число, с которым личная модель подмешивается к базовой. По умолчанию у нас стоит 1,0, рабочий коридор 0,7-1,1. Ниже 0,7 черты уплывают к усреднённому лицу, выше 1,1 кадр начинает копировать исходники: та же одежда, тот же фон, деревянная поза. Ползунка в кабинете нет, значение подбирается на нашей стороне.

Что это за число

Базовая модель это несколько миллиардов чисел, которые определяют, как из шума получается картинка. Личная модель, обученная на твоих снимках, хранит не копию этих чисел, а стопку поправок к ним. Сила это множитель, на который поправки умножают перед тем, как прибавить к базе.

При нуле поправки молчат, и в кадре окажется незнакомый мужчина. При 1,0 они применяются целиком, ровно такими, какими их посчитало обучение. Всё остальное это отступление в одну или другую сторону.

Единица стоит по умолчанию по простой причине: обучение считало поправки именно под неё. Любое другое значение это правка чужой работы задним числом, и смысл в ней есть ровно тогда, когда видна конкретная беда, лицо уплыло или кадр залип на исходниках.

Одинаково хорошо единица ведёт себя не у всех. Внешность, близкая к той, что базовая модель встречала чаще всего, собирается и на 0,9. Крупный шрам, сильная асимметрия, необычная форма черепа, ранние залысины требуют верхней части коридора: на 0,8 база аккуратно подотрёт всё перечисленное и вернёт в кадр приличного незнакомца.

Число похоже на регулятор громкости, отсюда и главное заблуждение: кажется, что больше значит похожее. Но обучение уже подобрало поправки под полное применение, и всё, что выше единицы, растягивает их за пределы проверенного. Устройство самой надстройки разобрано в статье про то, что такое LoRA простыми словами, дальше речь только про множитель.

Что видно на каждом значении

Границы условные и немного гуляют от модели к модели, но порядок картины такой:

Верхняя и нижняя строки нужны как ориентиры, в работе туда не заходят. У нас значение живёт внутри 0,7-1,1, и большую часть кадров отдаёт 1,0.

Что ломается внизу коридора

Ниже 0,7 власть возвращается к базе, а база знает не тебя, а среднего человека из своих обучающих данных. Она подтягивает симметрию, выпрямляет нос, скругляет челюсть, сглаживает кожу и снимает лет пять возраста.

Пропадает всё по очереди, от мелкого к крупному:

1. Родинки, шрамы, форма бровей, линия роста волос.
2. Асимметрия: разный разрез глаз, слегка кривой нос, перекошенная улыбка.
3. Пропорции: ширина челюсти, высота лба, посадка глаз.
4. Возраст и фактура кожи.

Узнаваемым вблизи лицо делают как раз первые два пункта, поэтому на 0,6 кадр читается как «похожий парень», а на 0,4 как «кто-то из той же породы».

Коварство в том, что кадр при этом выходит красивым. Человек смотрит на результат, и результат ему нравится, а те, кто видит его каждый день, говорят «это не ты». Поэтому падение силы почти никогда не бывает лекарством от «непохоже»: тянет оно ровно в обратную сторону.

Что ломается наверху

Выше 1,1 в кадр начинает лезть сам обучающий набор. Приметы простые: одна и та же куртка через десяток разных сцен, повторяющийся угол головы, задний план, подозрительно похожий на комнату, где снимали исходники. Кожа грубеет, потому что множитель усиливает заодно и шум твоих снимков.

Наверх уезжают обычно по той же логике, что и с громкостью: кадр непохож, значит надо прибавить. Первые десятые действительно добавляют сходства, а после единицы начинается обмен, и каждая следующая десятая забирает у сцены больше, чем отдаёт лицу.

Свет портится первым. Адаптер тянет освещение из набора, запрос требует другое, и складываются они в плоскую картинку без рисунка теней. На 1,3 разницу видит даже человек, который никогда не смотрел на AI-портреты.

Как отличить задранный вес от переобученной модели

Симптомы у них совпадают, поэтому одно регулярно лечат средством от другого. Проверка занимает один прогон: опустить силу до 0,8 и повторить кадр на том же запросе.

Смотреть при этом надо на десяток кадров, а не на один. Единичный снимок врёт в обе стороны, и на нём с равным успехом доказывается любая версия.

Куртка из набора ушла, а лицо осталось твоим, значит дело было в весе. Если та же куртка держится и на 0,8, а сходство при этом уже посыпалось, виноват набор, и множителем это не правится. Тут нужна новая модель на других исходниках.

Есть и третья причина, которую регулярно валят на вес. Набор разнообразный, значение в коридоре, а лицо всё равно чужое, потому что исходники сняты фронтальной камерой в упор. Широкий угол с двадцати сантиметров вытягивает нос и уводит уши назад, модель честно выучивает эту геометрию и повторяет её на любом множителе.

От чего зависит рабочее значение: набор и сцена

Узкий набор (одна футболка, одна комната, один ракурс, один источник света) даёт модель, которая выучила заодно футболку и комнату. Её рабочий коридор сползает вниз, к 0,7-0,8, и вместе с залипанием теряется часть сходства. Верхняя половина диапазона для такой модели просто закрыта.

Набор из 15-20 разных кадров (улица и помещение, день и вечер, с очками и без, крупно и по пояс) спокойно выдерживает 1,0, а часто и 1,1. Значит, разнообразие исходников открывает верхнюю половину коридора, где сходство максимальное. Что снимать и в каком количестве, разобрано в тексте про то, сколько фото нужно для обучения.

Вторая половина ответа лежит в самой сцене. Простая спорит с адаптером слабо: серый фон, ровный свет, фронтальный разворот. Единица проходит там без последствий.

Сложная требует от базы много: неоновая улица ночью, профиль, контровой свет, дождь на стекле. Адаптер и запрос тянут кадр в разные стороны, и первым обычно рассыпается свет. На таких сценах значение опускают до 0,85-0,95, жертвуя частью сходства ради того, чтобы картинка вообще собралась.

Силу путают с guidance

Guidance это второй числовой регулятор, и крутят его чаще всего по ошибке. Отвечает он за то, насколько жёстко модель обязана следовать тексту запроса. У нас стоит 3,5 при диапазоне от 1 до 10.

К сходству guidance отношения не имеет. Поднимешь до 7, получишь задранный контраст и пластмассовую кожу, лицо от этого твоим не станет. Опустишь до 1,5, модель начнёт вольничать со сценой: просил кабинет, получил размытый интерьер без признаков кабинета. Когда кадр непохож, трогать надо вес адаптера и качество исходников.

Ошибка обходится дорого. Человек выкручивает guidance до восьми, получает стерильную рекламную картинку и решает, что нейросеть не справляется с лицами. Справляется, просто регулятор был выбран не тот.

Чего сила не чинит

• Артефакты. Лишние пальцы, кривые зубы, оправа очков, съезжающая в висок: всё это родом из базовой модели, а вес адаптера тут ни при чём.
• Нехватку данных. Если все восемнадцать исходников сняты одной фронталкой в упор, никакой множитель не добавит в кадр то, чего модель не видела.
• Возраст и телосложение. Личная модель повторяет то, что было на входе, включая лишние семь килограммов и стрижку двухлетней давности.
• Мимику. Натянутая улыбка и стеклянный взгляд правятся отбором кадров и формулировкой запроса, числом их не выправить.
• Разброс внутри серии. Каждый кадр рождается отдельным запросом, лицо в двенадцати снимках одного стиля всё равно немного гуляет, и общий вес эту рябь не выравнивает.

Как это устроено у нас

Ползунка силы в кабинете нет, и решение это осознанное: регулятор один, а сломать им можно всю съёмку разом. По умолчанию стоит 1,0, коридор 0,7-1,1, внутри коридора значение выбирается под конкретную модель и стиль. Личная модель обучается в профи-фотосессии: 15-20 фото, около 40 минут работы, 60 кадров в пяти стилях за 3 490 ₽. Если ты заметно изменился, помогает не вес, а повторное обучение за 2 290 ₽.

В быстром режиме этого числа нет вовсе. Каталог сцен собран на редактирующей модели, которая ничему не учится: лицо держат четыре настоящих снимка из твоей загрузки, они идут образцами при каждом кадре. Регулятор сходства там один, и это качество селфи.

Один разобранный случай показывает, до какой степени тут всё завязано на исходниках. Раньше первым образцом шёл сгенерированный превью-кадр, и получался каскад: живое лицо, потом его неточная копия, потом кадр по этой копии. Сходство сыпалось на третьем шаге. Теперь в образцы уходят только настоящие снимки.

Частые вопросы