Face swap или LoRA: подмена лица против обучения модели

Кратко. Face swap меняет участок лица на готовой картинке: овал от бровей до подбородка. Череп, уши, линия волос, шея, свет и зерно остаются от чужого снимка, поэтому по границе видна накладка. Обучение личной модели работает иначе: твоё лицо рисуется внутри кадра вместе со сценой, склеивать нечего. Для портрета о себе берут второй путь.

Что вообще делает подмена лица

Подмена берёт готовую картинку и переписывает в ней один участок. Остальное на снимке остаётся чужим.

Порядок работы такой:

1. Детектор находит лицо на кадре-доноре и размечает опорные точки: углы глаз, крылья носа, линию губ, овал.
2. С твоей фотографии снимается компактное описание внешности: набор чисел про форму глаз, расстояние между ними, пропорции середины лица.
3. Модель рисует новый участок по этому описанию и разворачивает его под наклон головы донора.
4. Готовый участок вставляется по мягкой маске, края растушёвываются, чтобы не осталось резкой линии.
5. Цвет и яркость подгоняются под соседнюю кожу, сверху иногда идёт сглаживание, прячущее стык.

Всё вместе занимает секунды и требует одного твоего снимка. Отсюда популярность: порог входа почти нулевой. Отсюда же потолок качества.

Тут есть тонкость. Описание внешности это не фотография, а вектор признаков, сжатая выжимка из твоего лица. Новый участок сеть рисует по этой выжимке, как художник собирает фоторобот со слов свидетеля. Точной копии не выйдет никогда, выйдет узнаваемое приближение. Чем ближе твой типаж к тому, на чём училась сеть, тем приближение точнее.

Что переносится на кадр, а что остаётся от донора

Переносится середина лица. Не голова.

Дальше простая арифметика. Череп у донора уже, уши крупнее, шея толще, волосы растут по другой линии: человек на снимке выходит похожим на тебя и на кого-то ещё сразу. Знакомые ловят это за секунду, даже когда не могут объяснить, что именно их смущает.

Откуда берётся ощущение маски

Причин три, и все технические.

Первая: граница. Маска идёт по мягкому овалу, а кожа внутри и снаружи приходит из двух разных изображений. Даже при аккуратной растушёвке на висках и под подбородком остаётся переход, заметный при увеличении.

Вторая: разрешение. Участок лица собирается мелко, а потом растягивается под размер кадра. Мелкая фактура при этом теряется: поры пропадают, щетина мажется в серое пятно. Рядом воротник рубашки остаётся резким, и лицо на его фоне выглядит нарисованным.

Третья: усреднение. Сеть подмены училась на массиве чужих лиц и тянет результат к середине этого массива. Симметрия ровнее твоей, нос прямее, возраст меньше лет на пять. По этой же причине люди часто не узнают себя на сгенерированных кадрах, похожесть мы разбирали отдельно.

Почему свет и ракурс выдают подмену первыми

Свет. Модель подстраивает общую яркость и оттенок кожи, но сцену она не пересчитывает. Окно в кадре слева, а твоё исходное фото снято при лампе сверху: тень от носа ляжет не туда, куда её кладёт окно. На ровном пасмурном свете это сходит с рук. Контровой свет, жёсткое боковое солнце и неон в два цвета ломают подмену на первом же кадре.

Ракурс. Описание внешности снято с фронтального селфи, а голова донора повёрнута. Чем сильнее разворот, тем больше сети приходится домысливать. Профиль, взгляд снизу, наклон к плечу: в таких кадрах овал плывёт, а ухо и челюсть перестают сходиться в одну голову.

Перекрытия. Рука у подбородка, оправа очков, прядь поперёк лба, микрофон, воротник-стойка. Маска режется по этим предметам, и край подмены вылезает наружу: то очки лежат поверх нарисованной кожи, то дужка исчезает у виска.

Зерно. Кадр донора прошёл свою камеру, свою обработку и своё сжатие, у него есть шум и характерные следы формата. Нарисованный участок приходит чистым, и пачкать его приходится искусственно. Сходится редко: на ночном снимке с высокой чувствительностью подмена выглядит подозрительно гладким пятном посреди шума.

Мимика. Широкая улыбка с зубами достаётся донору почти целиком. Зубы не твои, форма рта не твоя, и на любом плане крупнее среднего это читается.

Обучение модели: другой принцип

Здесь ничего никуда не вставляют. Сеть учат твоему лицу, дальше она рисует его сама, одновременно с фоном, одеждой и светом.

Мы берём 15-20 твоих фотографий, автоматически обрезаем лишний фон, ставим маску по человеку, чтобы обучение шло на тебе, а не на кухне за спиной, и гоняем 2 500 шагов со скоростью 0,0001. Набор учится сразу в нескольких разрешениях. На выходе получается не папка с твоими снимками, а поправки к весам большой модели: теперь она умеет рисовать твои черты под любым углом. Устройство такой надстройки разобрано в тексте про то, что такое LoRA простыми словами.

Следствие одно, зато решающее. Свет в кадре общий на всё изображение. Тень от носа падает от того же источника, что и тень от плеча, потому что нарисованы они за один проход. Шва нет: сшивать нечего.

Вызывается такая модель словом-ключом, привязанным к твоему набору: по этому ключу приходит именно твоё лицо и ничьё больше.

Платишь за это временем. Обучение идёт 25-35 минут, вся профи-съёмка около сорока. И набор нужен приличный: пятнадцать разных кадров, а не двадцать селфи одного вечера в одной футболке.

Честности ради, обучение тоже не всесильно. Когда все исходники сняты в одном свете, с одной дистанции и с одного ракурса, модель выучивает ровно этот ракурс. Поверни голову в профиль, и кадр поедет примерно так же, как у подмены. Разнообразие набора тут решает больше, чем любые настройки.

Короткое сравнение

Третий вариант, который путают с подменой

Между этими крайностями есть промежуточный путь: редактирующая модель по образцам. Ты грузишь три селфи, они уходят в модель как образцы, и кадр рисуется заново со сверкой по лицу. Вырезания и вклейки нет, картинка генерируется целиком, просто внешность задана снимками, а не обученными весами.

Так работает наш быстрый маршрут по каталогу. В образцы идут четыре лучших реальных кадра из загрузки, отобранные по внутренней оценке качества лица: фронтальные и резкие получают больший балл.

Именно здесь мы наступили на показательные грабли. Раньше первым образцом шёл сгенерированный превью-кадр, и выстраивался каскад: живое лицо, потом его неточная копия, потом кадр по этой копии. Каждое звено добавляло свою ошибку, и к финалу от исходной внешности оставалось немного. Сейчас в образцы попадают только настоящие фотографии. Весь маршрут от оплаты до файла описан в разборе того, как устроен наш пайплайн.

Где подмена лица нормально работает

Задачи, под которые она сделана:

• Черновик и раскадровка. Посмотреть, как ты будешь смотреться в образе, до того как тратить на съёмку вечер.
• Шутки, мемы, поздравления. Тут заметный шов часть жанра, его никто не прячет.
• Примерка причёски или бороды по чужому фото, чтобы объяснить барберу словами и картинкой сразу.
• Кино и реклама. Там замену используют всерьёз, но кадр после неё доводят руками, покадрово, и стоит эта доводка заметно дороже самой подмены.

Где не работает: рабочий профиль, резюме, анкета знакомств, аватарка в мессенджере. В таких местах твоё фото смотрят вблизи, долго и потом сверяют с живым тобой. Если лицо на снимке не сходится с тем, что человек видит при встрече, вопросы будут к тебе, а не к нейросети.

Отдельная граница, про которую стоит помнить: своё лицо на своём же кадре это одно, чужое лицо без спроса совсем другое. Фильтры в сервисах генерации стоят ровно поэтому.

Как это сделано у нас

Двумя маршрутами, и ни в одном лицо не вклеивается.

Быстрый: три селфи, сцены из каталога, где их больше 900. Пакеты от 490 ₽ за 10 кадров и 1 990 ₽ за 56. Первые файлы приходят через пару минут после оплаты, весь пакет за 10-20 минут.

С обучением: профи-фотосессия за 3 490 ₽. Пятнадцать-двадцать исходников, 60 кадров в пяти стилях, около сорока минут работы. Сюда идут, когда нужна похожесть на сложных ракурсах и в тёмных сценах, где образцов уже мало.

Кадры приходят вертикальные, 3:4. Часть пакета увеличивается бесплатно настоящим апскейлером: он поднимает резкость и не перерисовывает лицо заново. Квадрат под аватарку вырезаешь сам, автоматических кропов под площадки у нас нет.

Частые вопросы