AI-фото и мимика: почему выражение лица выходит чужим

Кратко. Форму носа и линию челюсти модель копирует с твоих снимков точно, а выражение собирает заново, поэтому улыбка и взгляд уезжают первыми. Живая улыбка асимметрична и тянет за собой нижнее веко, генератор же рисует ровную и симметричную. Нужная мимика закладывается на загрузке селфи, а вытаскивается отбором: смотри на глаза, а не на рот.

Почему мимика даётся модели тяжелее, чем форма носа

Геометрию можно скопировать, выражение приходится собирать заново.

Ширина скул, линия челюсти, форма носа одинаковы на всех твоих снимках. Модель встречает их десятки раз и запоминает как устойчивый набор. С мимикой так не выходит: на трёх селфи у тебя разный рот, разный прищур и разный наклон головы, и ни один вариант не выглядит для модели твоим по умолчанию.

Дальше включается усреднение. Обучающие наборы набиты студийными портретами, где люди улыбаются одинаково: оба уголка рта подняты на одну высоту, брови ровные, взгляд в объектив. Такое лицо статистически безопасно, к нему генератор и тянется. В итоге твоя геометрия получает выражение из стокового каталога. Ощущение знакомое: вроде я, но лицо не моё. Где проходит честная граница похожести, разобрано в тексте про то, буду ли я похож на себя.

Мышц в лице больше сорока, и промах в каждой мелкий. Складываются они в целое выражение, поэтому единственный неправильный миллиметр века портит кадр сильнее, чем уехавшее на сантиметр ухо.

Мёртвые глаза: откуда берётся пустой взгляд

Самая частая претензия к AI-портрету звучит как «глаза неживые». За ней стоят три конкретные вещи.

Нижнее веко. Когда человеку действительно смешно, кольцевая мышца подтягивает веко вверх, глаз укорачивается по вертикали, у внешнего угла появляются лучики. Генератор строит рот и глаза как отдельные куски картинки, поэтому улыбается один рот, а глаз остаётся круглым и спокойным. Анатомия живой улыбки разобрана в статье про то, как улыбаться на фото, и разница между живым и поставленным лицом там ровно та же.

Блики. В настоящем портрете отражение источника стоит в обоих глазах в одной точке, потому что лампа одна. Модель рисует каждый глаз по своей логике, и блик уезжает: слева сверху, справа сбоку. Глаз без блика выглядит стеклянным, и чаще всего мёртвым взглядом называют именно это.

Кожа вокруг глаза. Мимика живёт в мелких складках у внешнего угла и на переносице. Потерять их легко на двух этапах. Первый: высокий guidance при генерации, из-за которого кожа уходит в пластик. У нас стоит значение 3,5, а не что-то бодрое сверху. Второй этап: апскейл. Когда-то мы пробовали диффузионный апскейлер, и он пересобирал лицо заново вместо увеличения. Сейчас работает настоящий super resolution с подтяжкой лица на половинной силе: на полной она вылизывает кожу до состояния манекена и вместе с порами стирает выражение.

Куда смотрит твой портрет

Направление взгляда складывается из двух деталей: положения радужки в глазной щели и разворота головы. Модель решает их по отдельности, и при расхождении в пару пикселей получается человек, который смотрит мимо камеры или сквозь неё.

Отсюда практическое правило: фронтальные сцены прощают больше. Чем сильнее повёрнута голова, тем выше шанс, что глаза разъедутся по двум разным точкам. Портрет в три четверти красивее, но взгляд ломается на нём чаще, и замечаешь ты это не сразу, а через день, когда открываешь кадр во второй раз.

Второй источник косого взгляда сидит в исходниках. Если на всех твоих селфи глаза уходят чуть вбок (обычная привычка снимать себя на телефон, глядя на экран, а не в камеру), модель считает это твоей нормой и повторит.

Улыбка ровная, а настоящая кривая

У живой улыбки один уголок рта выше другого, одна щека складывается иначе. Генератор эту разницу стирает, потому что симметричное лицо самый вероятный вариант из всех возможных. Кадр выходит аккуратным и одновременно неузнаваемым, а знакомые говорят «это не твоя улыбка».

Открытая улыбка ломается чаще закрытой. Причина в зубах: данных о том, как устроен именно твой ряд, у модели нет, поэтому она синтезирует его как текстуру. Полный разбор брака в зубах, глазах и ушах лежит в справочнике артефактов, а для отбора достаточно одного вывода: сомкнутая полуулыбка получается стабильно, открытую надо брать количеством и выбирать глазами.

Есть и обратная крайность. Когда в исходниках одно и то же натянутое выражение, модель принимает его за твоё лицо и ставит во все кадры пакета. Получается пятьдесят шесть фотографий человека, которому неловко.

Откуда модель берёт выражение: два маршрута

Мимика приезжает в кадр по-разному, и зависит это от режима.

В каталоге лицо держится на четырёх реальных снимках: система оценивает качество лиц в твоей загрузке и отправляет в образцы фронтальные и резкие. Раз выражение копируется оттуда, оно наследуется почти буквально.

Один старый случай это хорошо показывает. Раньше первым образцом шёл сгенерированный превью-кадр, и получался каскад: живое лицо, потом его неточная копия, потом кадр по копии. Мимика проседала быстрее всего, потому что копировалась уже не улыбка человека, а её пересказ. Теперь в образцы попадают только настоящие снимки.

В профи-режиме лицо зашивается в веса личной модели: 2 500 шагов обучения, скорость 0,0001, маски по субъекту, чтобы учился человек, а не комната за ним. На вход идёт весь твой набор, из которого выводится усреднённое представление о тебе. Мимика в этом усреднении растворяется первой: если на пятнадцати фото ты улыбаешься одинаково, ровно такую улыбку модель и запомнит как твою.

Как заложить нужную мимику ещё на загрузке

Самый дешёвый рычаг находится до оплаты, в исходниках. Порядок такой:

1. Снимай серией по десять-пятнадцать кадров, а не по одному. Первые всегда с каменным лицом, живое приходит к середине.
2. Дай хотя бы два снимка с открытой улыбкой и видимыми зубами. Без них модели неоткуда узнать, как ты улыбаешься.
3. Смотри прямо в объектив, а не на своё изображение на экране. Разница в пару градусов, но переезжает она во все кадры пакета.
4. Убери всё, что закрывает глаза: блик на очках, козырёк, прищур от солнца. Глаза это половина выражения.
5. Свет ровный, лучше от окна. Тень поперёк лица генератор иногда принимает за складку кожи и повторяет её как черту.
6. Для профи-набора собери 15-20 фото с разных дней и с разным настроением. Материал из одной съёмки даёт одно лицо.

Чек-лист по съёмке исходников с примерами кадров лежит в тексте про то, как снять селфи для нейросети.

Как просить эмоцию, если промпт зашит в сцену

У нас человек промпт не пишет: описание сцены вместе с выражением лица лежит в каталоге заранее. Значит, эмоция выбирается вместе со сценой. Деловой кабинет и студийный свет дают сдержанное лицо, улица, спорт и путешествие дают открытое. Нужна улыбка, бери сцену, где она уместна по смыслу, а не строгий кабинет с расчётом, что генератор сам догадается.

Второй рычаг это количество. За один запрос модель отдаёт до четырёх кадров, на стиль из двенадцати уходит три запроса с разными seed. Выражение внутри пакета гуляет само, и из десятка кадров два-три обычно приходят с живым лицом. Поэтому экономить на мимике маленьким пакетом плохая идея: чем меньше кадров, тем выше шанс, что все окажутся с одинаковым дежурным выражением.

Чего у нас нет: ползунка эмоции, ручного seed и локальной перерисовки кадра по клику. Инпейнтинг как индустриальный приём существует, но в потоке из пятидесяти шести кадров дешевле перегенерировать кадр целиком, чем возиться с маской вокруг рта.

Что смотреть при отборе

Отбор по мимике делается не по рту. Пять признаков, которые стоит проверить:

• Нижнее веко. Оно подтянуто вверх или лежит ровно, пока рот улыбается? Второй вариант это и есть мёртвый взгляд.
• Блики в глазах. Одна точка на одинаковой высоте в обоих глазах, а не два разных отражения.
• Асимметрия. Уголки рта на разной высоте хороший знак, идеально ровная линия губ почти всегда выдаёт машину.
• Зубы на увеличении вдвое. Слипшаяся белая полоса или чересчур ровный ряд означают, что кадр идёт в отбраковку.
• Миниатюра. Открой кадр размером с аватарку в списке чатов: выражение должно читаться без увеличения, иначе оно не сработает нигде.

Финальный судья тут человек, и это не фигура речи. Автоматическая оценка не отличит твою настоящую улыбку от чужой правдоподобной, сравнивать ей не с чем. Работает простой приём: отбери восемь кандидатов и покажи тому, кто видит тебя каждый день. Вопрос звучит не «какое красивее», а «где лицо моё».

Как это устроено у нас

На a-dam.photo мимика лежит на стороне сцены и отбора, поэтому пакет имеет смысл брать с запасом по кадрам. В каталоге больше 900 сцен, пакеты начинаются от 490 ₽ за 10 кадров, 56 кадров стоят 1 990 ₽. Профи-фотосессия с обучением личной модели стоит 3 490 ₽ и даёт 60 фото в пяти стилях: там выражение точнее, потому что модель видела тебя на 15-20 снимках.

Кадры приходят вертикальными, 3:4, других форматов нет. Двенадцать апскейлов в пакете бесплатные, увеличение идёт вдвое и лицо при этом не перерисовывается: подтяжка стоит на половинной силе как раз ради складок у глаз. Начать проще с малого пакета: выбери сцены в каталоге, загрузи три селфи с разными выражениями и посмотри, какое лицо получается у тебя в студийном свете, а какое на улице.

Частые вопросы