Открыть глаза на фото нейросетью: спасти кадр, где моргнул

Кратко. Открыть глаза на фото нейросетью можно: инпейнтинг закрашивает веки и рисует открытые глаза под свет и лицо. Лучше всего выходит, когда рядом есть второй снимок того же момента с открытыми глазами: его дают сети как образец. Взгляд всё равно может получиться не совсем твоим, поэтому надёжнее снимать серией.

Открыть глаза нейросетью: что вообще происходит

Классика: вечер, друзья, наконец-то нормальный свет и нормальная поза, и на этом единственном кадре ты моргнул. Остальные двенадцать снимков смазаны или там кто-то перекрыл тебя плечом.

Нейросеть не «открывает» глаза в буквальном смысле. Под закрытыми веками на фото нет никакой информации: ни цвета радужки, ни направления взгляда. Сеть закрашивает область век и рисует там новые открытые глаза, которые подходят к остальному лицу по свету, размеру и повороту головы. Этот приём называется инпейнтинг, перерисовка выделенного участка. Как он работает в целом и когда нужен, разобрано в статье про инпейнтинг.

Отсюда главный вывод: результат это правдоподобная догадка. Иногда она попадает в тебя почти идеально, иногда получается человек, очень похожий на тебя, с чужими глазами.

Почему взгляд выходит чужим

Глаза это место, по которому мы узнаём людей в первую очередь. Мелкие вещи вроде лёгкого прищура, чуть опущенного века с одной стороны, морщинок в уголках при улыбке и делают взгляд твоим. Сеть их не знает и рисует среднее.

Представь: у тебя от природы немного тяжёлые веки, и на всех фото вид слегка сонный и спокойный. Нейросеть дорисовывает широко открытые глаза с аккуратной складкой века. Каждый по отдельности скажет «ну вроде ты». Брат посмотрит и спросит, что с тобой случилось.

Типичные ошибки:

1. Взгляд смотрит мимо камеры или в разные стороны.
2. Радужка другого цвета, особенно если глаза светлые, а свет тёплый.
3. Глаза слишком открыты для выражения лица: рот улыбается, а глаза удивлены.
4. Нет морщинок у глаз, хотя на улыбке они должны быть.
5. Блики в зрачках не совпадают с источником света в кадре.

Проверить пятую ошибку просто: увеличь фото и посмотри на светлые точки в зрачках. Если окно было слева, блик тоже должен сидеть слева в обоих глазах. Нарисованные глаза часто получают блик по центру или вовсе без него, и взгляд становится стеклянным, как у куклы.

Третья и четвёртая ошибки самые заметные. Настоящая улыбка всегда задевает глаза, и лицо, где улыбается только рот, выглядит натянутым. Подробнее о том, как нейросети обращаются с мимикой, мы писали в тексте про AI-фото и мимику.

Референс из соседнего кадра: главный способ

Если у тебя есть хотя бы один снимок того же вечера, где глаза открыты, шансы резко растут. Даже если сам кадр неудачный: смазан, обрезан, ты смотришь в сторону. Нейросети нужен не весь снимок, а твои глаза при этом свете.

Было: ты просишь «открой глаза» и получаешь чьи-то глаза. Стало: ты прикладываешь соседний кадр с пометкой «возьми глаза отсюда», и сеть копирует форму век, цвет и прищур, а не придумывает их.

Где это работает:

• Редактирующие чат-боты, которые принимают несколько картинок в одном запросе. Загружаешь оба снимка и пишешь, что взять и куда.
• Редакторы с перерисовкой области, где можно указать образец.
• Смартфоны, которые умеют собирать лица из серии. У Google Pixel начиная с восьмой модели для этого есть функция Best Take: она берёт несколько похожих групповых снимков и даёт выбрать для каждого человека кадр, где он не моргнул. Это уже не дорисовка, а замена настоящими глазами из соседнего снимка, поэтому выглядит честнее.

Условие у всех способов одно: соседний кадр должен быть снят при том же свете и примерно под тем же углом. Глаза с дневного снимка на вечернем фото из бара будут светиться, как у кота в темноте.

Как открыть глаза на фото нейросетью онлайн: порядок

Порядок одинаковый почти для любого онлайн-инструмента.

1. Найди лучший исходник с открытыми глазами из той же серии, если он есть.
2. Загрузи основной кадр, где ты моргнул.
3. Выдели область обоих глаз с небольшим запасом: веки, брови до середины, уголки. Слишком узкое выделение оставляет шов.
4. Напиши запрос конкретно: «Открой глаза, взгляд прямо в камеру, спокойное выражение, сохрани форму век и цвет глаз как на втором фото. Остальное лицо не меняй».
5. Сделай три-четыре варианта и выбери лучший, а не первый.
6. Сравни результат с соседним кадром, где глаза настоящие. Смотри на уголки глаз и блики в зрачках.

Фраза «остальное лицо не меняй» обязательна. Без неё сеть охотно подправит кожу, нос и улыбку, и ты получишь идеальное фото незнакомца. Скажем, ты просил только глаза, а на выходе ещё и морщинка на лбу исчезла. Мелочь, но друзья заметят, что ты «какой-то отфотошопленный».

Когда лучше не спасать кадр

Бывают снимки, которые проще отпустить. Нейросеть справится хуже всего в трёх случаях:

• Лицо мелкое, на групповом фото издалека. На глаза там приходится десяток пикселей, и дорисовка превращается в угадайку.
• Глаза закрыты не морганием, а смехом: всё лицо сжато, щёки подняты. Открытые глаза на таком лице смотрятся жутко.
• Снимок нужен для документа. Фото на паспорт, визу и пропуск должны быть настоящими, правка лица там недопустима.

Для анкеты знакомств тоже подумай дважды. Представь, что она пришла на свидание и ищет глазами парня с фото: если взгляд на снимке был дорисован и заметно отличается от твоего, первые секунды встречи уйдут на сверку. Лучше честный кадр, где ты смотришь чуть в сторону, чем идеальный с чужими глазами.

Иногда кадр можно спасти вообще без нейросети. Если голова чуть наклонена, а глаза прикрыты не до конца, снимок читается как взгляд вниз: задумчиво смотришь в телефон, в чашку, на дорогу. Попробуй кадрировать так, чтобы в кадр попал предмет, на который ты «смотришь». Было: парень, который моргнул. Стало: парень, который читает меню. Для соцсетей такой кадр часто живее постановочного взгляда в камеру.

Как снимать, чтобы не пришлось дорисовывать

Самое дешёвое решение делается до съёмки. Моргание длится доли секунды, и вероятность поймать его на одном кадре заметна, особенно при вспышке и ярком солнце.

Что помогает:

1. Серийная съёмка. На айфоне сдвинь кнопку затвора влево, и камера снимает серию, пока держишь палец. Можно включить серию на кнопку громкости в настройках камеры. На Android серия обычно включается долгим нажатием на кнопку затвора, но зависит от модели.
2. Приём «закрой и открой». Закрой глаза, на счёт «три» открой их и смотри в камеру. Веки только что отдохнули, в следующую секунду моргнуть почти невозможно.
3. Мягкий свет. Солнце в лицо и вспышка провоцируют моргание и прищур. Облачный день или свет от окна сбоку решают обе проблемы.
4. Таймер вместо кнопки. Когда снимаешь себя сам, таймер на три-десять секунд с серией после него убирает момент, когда ты моргаешь от нажатия.
5. Проверка на месте. Перед тем как уйти с точки, пролистай серию и увеличь лица. Если в компании пять человек, найди хотя бы один кадр, где открыты глаза у тебя, и ещё один запасной. Переснять сразу занимает минуту, переснять через неделю уже невозможно: свет, настроение и люди разошлись.

Если снимаешь сам себя, пригодится разбор о том, как сфотографироваться самому: там про штатив, таймер и позы.

Если нормальных фото нет совсем

Мы не правим загруженные снимки и не открываем на них глаза: у нас нет редактора и перерисовки выделенной области. Сервис делает другое: новые фотореалистичные портреты одного мужчины по его селфи, в разных сценах. Если кадр с закрытыми глазами был единственным приличным и дело в том, что снимков у тебя просто нет, это решается с другой стороны.

Загружаешь три селфи с открытыми глазами и ровным светом, выбираешь сцены в каталоге, там их больше 600. Первые кадры через пару минут после оплаты, пакет целиком за 10-20 минут, 10 фото за 490 ₽. Для максимальной похожести есть Профи с обучением личной модели на 15-20 фото: 60 кадров в 5 стилях за 3 490 ₽, около 20 минут. Снимки для генерации уходят AI-сервисам kie.ai и fal.ai под конкретный заказ. Кадры вертикальные 3:4.

Источники

• Apple, серийная съёмка на iPhone: https://support.apple.com/ru-ru/guide/iphone/ipha42c55cd0/ios
• Google, функции Google Фото для Pixel: https://support.google.com/photos/answer/14674995

Частые вопросы