Почему нейросеть меняет черты лица: разбор механики

Кратко. Нейросеть не копирует лицо, а собирает его заново из шума. Всё, чего нет в подсказке, она достраивает по усреднённому лицу из обучающих данных: разглаживает кожу, выравнивает асимметрию, снимает возраст. Сверху ложится перекос твоих же исходников. Сильнее прочего страдают нос в профиль, линия челюсти и мелкие приметы вроде родинок. Отсюда знакомое ощущение «похож, но не я».

Что происходит с лицом внутри модели

Нейросеть не вырезает твоё лицо из селфи и не вклеивает его в новый фон. Она рисует кадр с нуля, шаг за шагом убирая шум, и на каждом шаге решает, что в этом месте картинки должно оказаться. Твои снимки для неё подсказка, а не оригинал.

Маршрута обычно два, и подсказка в них устроена по-разному. В быстром режиме четыре твоих реальных кадра идут в модель образцами при каждой генерации: она подглядывает в них, пока рисует. В профи-режиме на 15-20 фото обучается личная модель, и лицо зашивается в её веса. Как это устроено внутри, мы разобрали в тексте про то, что такое LoRA простыми словами.

Общее у обоих маршрутов одно: на выходе реконструкция, а не копия. Там, где данных о тебе не хватило, пустоту заполняет представление модели о человеческом лице вообще. Дальше по пунктам, откуда это представление берётся и куда именно оно тянет черты.

Тяга к среднему лицу

Базовая модель прошла через миллионы портретов и вывела из них усреднённого человека: нос такой-то длины, глаза на такой-то высоте, подбородок такой-то ширины. Твоё лицо для неё набор отклонений от этой нормы. Чем меньше в подсказке сведений о конкретном отклонении, тем увереннее модель возвращает черту к норме.

Работает это тихо. Нос становится на пару миллиметров прямее, скула чуть выше, расстояние между глазами чуть шире, линия роста волос ровнее. Каждое смещение по отдельности глазом не ловится, а вместе они дают тот самый эффект «кто-то из родни».

Заметнее всего тяга к среднему там, где твои исходники молчат. Три селфи в анфас ничего не сообщают о форме уха и о том, как выглядит нос сбоку. Значит, в кадре в три четверти модель нарисует ухо и профиль по норме, и они окажутся правильнее настоящих. Эта же логика объясняет, почему кадры в анфас обычно выходят похожее: там подсказка плотная.

Почему лицо получается симметричнее твоего

Живое лицо перекошено: один глаз выше, бровь поднимается сильнее, улыбка тянет рот вбок, ноздри разного размера. Усреднение тысяч портретов симметрию порождает само, потому что перекосы у всех разные и взаимно гасятся.

Для модели твоя асимметрия выглядит как редкий случай, который дешевле сгладить, чем воспроизвести. Поэтому на выходе лицо аккуратнее оригинала, и мозг зрителя ловит это раньше сознания. Знакомые говорят «вроде ты, но что-то не так» и почти никогда не показывают пальцем на причину.

Отдельная тонкость: симметричный кадр часто нравится самому человеку. Он кажется удачным, уходит главным в анкету, а на встрече возникает разрыв между фотографией и живым лицом. Похожесть важнее красоты, и при отборе стоит держать это в голове.

Почему нейросеть снимает возраст

Портреты в обучающих наборах почти поголовно прошли ретушь: стоки, глянец, обработанные студийные съёмки, селфи с бьюти-фильтрами. Модель выучила, что портрет означает чистую кожу, ровный тон и отсутствие складок, и теперь воспроизводит выученное.

Омоложение идёт пакетом: разглаживаются носогубные складки, светлеет седина на висках, подтягивается кожа шеи, пропадают тёмные круги под глазами. Мужчине сорока пяти лет на кадре легко достаётся тридцать пять, причём в каждой сцене по-разному, и серия рассыпается по возрасту.

Смотреть стоит три места: виски, кожу вокруг глаз и шею. Подмена вылезает там первой. Если кадр молодит на десять лет, дальше он работает против тебя, потому что человек на встрече сравнивает не с твоим представлением о себе, а с фотографией.

Откуда берётся пластмассовая кожа

Тут виноваты два разных шага, и путать их не надо.

Первый шаг это генерация. За «послушность» промпту отвечает guidance, у нас он стоит на 3,5 при рабочем диапазоне от 1 до 10. Выше по шкале модель начинает буквально исполнять описание и заодно наращивает контраст: кожа блестит, поры исчезают, лицо выглядит отлитым из пластика. Ниже картинка мягче, зато сцена выполняется кое-как.

Второй шаг это увеличение готового кадра, и разница тут принципиальная. Настоящий апскейлер (super resolution) поднимает разрешение и резкость, оставляя черты на месте. Диффузионный дорисовывает детали сам, то есть заново сочиняет кожу, ресницы и форму губ. У нас такой когда-то стоял, и он пересобирал лицо целиком: человек оставался собой на кадре до увеличения и переставал быть похожим после. Сейчас работает обычный апскейлер с увеличением в 2 раза по стороне, а подтяжка лица включена на половинной силе, потому что на полной кожа опять уходит в пластик.

Что модель наследует из твоих снимков

Половина искажений приезжает не из базовой модели, а из набора, который загрузил ты. Модель честно повторяет то, что видела чаще прочего.

• Пятнадцать селфи из одной комнаты при одном свете учат её, что твоё лицо бывает только в этом свете. В студийной сцене недостающее она достроит наугад.
• Одна дистанция и один угол дают искажённую геометрию: снятое с вытянутой руки лицо получает увеличенный нос и суженные виски, и эта оптика уезжает в модель как твоя черта.
• Очки, кепка, капюшон и маска закрывают то, что должно обучаться. Скрытое будет дорисовано по норме.
• Чужое лицо в кадре подмешивается в набор, а снимки из фильтров учат модель фильтру, а не тебе.

Есть ещё параметр силы личной модели: по умолчанию 1,0, рабочий коридор от 0,7 до 1,1. Ниже коридора сходство размывается, выше кадры начинают залипать на исходниках из набора. В кабинете такого ползунка нет, и это правильно: подбирать его вслепую, без сравнения десятков кадров, смысла мало. Качество набора решает больше любой настройки, а как его собрать, расписано в статье про селфи для нейросети.

Каскад копий: наш разобранный случай

Самая злая механика искажения включается, когда сгенерированный кадр возвращается в подсказку. У нас такое было: первым образцом для быстрого режима шёл превью-кадр, а не живой снимок. Дальше выстраивалась цепочка. Настоящее лицо, потом его приблизительная копия, потом кадр, нарисованный по этой копии.

Ошибка на каждом звене маленькая, но она множится. Через два шага нос, скулы и разрез глаз уезжали заметно, а виноватой выглядела последняя генерация. Чинится это не настройками: теперь в образцы идут только настоящие снимки человека, четыре штуки, отобранные по внутренней оценке качества лица. Фронтальные и чёткие получают балл выше и попадают в подсказку первыми.

Какие черты уезжают первыми

Полный список дефектов кадра со способами проверки лежит в справочнике артефактов, здесь только то, что относится к чертам лица.

Что мы делаем против этого

Честно: полностью убрать тягу к среднему нельзя, её получается только придавить. Меры у нас такие.

1. В образцы идут четыре реальных снимка человека, отобранные по оценке качества лица, и ни одного сгенерированного.
2. Личная модель учится 2 500 шагов при скорости обучения 0,0001, сразу в нескольких разрешениях, с автокропом по человеку и масками по субъекту: так она запоминает лицо, а не комнату за спиной.
3. Сила модели держится на 1,0, guidance на 3,5, то есть в середине коридора, где кожа ещё живая, а сцена уже выполняется.
4. Увеличивает кадры настоящий апскейлер с подтяжкой лица на половинной силе, 12 снимков пакета можно увеличить бесплатно.

Финальный судья тут человек. Никакая метрика не скажет, узнают тебя друзья или нет, поэтому отбор остаётся за тобой, а наша задача сделать так, чтобы брака в пакете было мало. Если лицо уехало сильно, порядок действий разобран отдельно в тексте про то, что делать, если кадр не похож. Посмотреть, как сцены ложатся на твоё лицо, можно в каталоге: пакет на 10 кадров стоит 490 ₽, профи-съёмка с обучением личной модели 3 490 ₽ за 60 фото в пяти стилях.

Частые вопросы