Оживить фото нейросетью: как это работает и где граница

Кратко. Оживить фото нейросетью значит превратить один снимок в короткое видео: модель берёт фото первым кадром и дорисовывает несколько секунд движения. Бесплатно это умеет, например, Алиса от Яндекса. Лицо в движении модель сочиняет по чужим лицам, поэтому улыбка и взгляд часто выходят чужими, а на снимках близких это заметно сильнее всего.

Как нейросеть оживляет фото

У модели на входе одна картинка и, обычно, текстовая подсказка вроде «он улыбается и поворачивает голову». На выходе ролик на несколько секунд, где твоя фотография стала первым кадром, а всё остальное нарисовано.

Работает это так же, как генерация видео из текста, только с жёсткой опорой. Видеомодель училась на огромном количестве роликов и знает, как обычно двигаются волосы на ветру, как моргают люди, как падает свет при повороте головы. Получив твоё фото, она предсказывает, каким был бы следующий кадр, потом следующий, и так до конца ролика. Сцена, одежда и фон держатся хорошо, потому что они видны на снимке целиком.

С лицом сложнее. На фото видно одно выражение и один угол. Как этот человек смеётся, какие у него зубы, что происходит с глазами, когда он щурится, модель не знает и берёт из среднего по всем лицам, которые видела. Отсюда главное свойство оживления: чем меньше движения, тем честнее результат.

Алиса, оживи фото: что умеет Яндекс

Самый простой вход для русскоязычного пользователя. В Алисе AI есть отдельный режим «Оживить» в Студии и кнопка «Оживи фото» в чате: загружаешь снимок, пишешь сюжет словами или берёшь готовую подсказку, ждёшь около полуминуты.

Ролик получается до четырёх секунд, в разрешении 480p, так написано в справке Яндекса. Работает на сайте Алисы, в приложениях Алиса AI и Яндекс с Алисой и в Яндекс Браузере. Базовые генерации бесплатные, но с лимитом, дальше предлагают докупить генерации или подписку.

Что это значит на экране. Четыре секунды в 480p хватает, чтобы бабушка на старой карточке улыбнулась и чуть повернула голову, или чтобы твой кот на подоконнике зевнул. Для ролика в сторис на весь экран картинка будет мыльной, для отправки в семейный чат нормально.

Представь: ты загружаешь фото с выпускного, где вы с другом стоите в обнимку, и пишешь «они смеются». Друг засмеётся, но с зубами, которых у него никогда не было, и это первое, что он заметит.

Шедеврум: оживить фото или картинку

Шедеврум тоже от Яндекса и тоже на моделях YandexART, но устроен как лента картинок. Справка описывает оживление так: берёшь картинку, уже опубликованную у себя в профиле, и добавляешь ей эффект движения, например приближение, отдаление, панораму или вращение. Получается видео, в котором двигается камера и сама сцена.

Свои снимки из галереи Шедеврум принимает через «Фильтрумы». Это режимы, которые перерисовывают фото в выбранном стиле с сохранением сходства. То есть путь от своей фотографии к ролику здесь длиннее, и по дороге снимок превращается в картинку YandexART. Если задача ровно «пусть дедушка на фото моргнёт», короче путь через Алису.

Оживить фото бесплатно: где подвох

Бесплатно оживить фото можно, но у бесплатного всегда есть рамка. У Алисы это лимит генераций и невысокое разрешение. У приложений обычно водяной знак на ролике, очередь по несколько минут или пробный период, после которого начинает списываться подписка.

Скажем, ты скачал приложение «оживи фото» с нейросетью, оживил три снимка и забыл про него. Через неделю в выписке появляется списание, потому что пробные дни закончились, а подписку ты не отменил. Это самая частая история с такими приложениями, и она лечится одной привычкой: отменять автопродление сразу после оформления пробного периода, в настройках подписок телефона.

Второй подвох тише. Бесплатный сервис должен на чём-то жить, и иногда это данные: загруженные лица могут идти в обучение. Если об этом написано в условиях, выбор за тобой, но семейные фото и детей в такие места лучше не отправлять.

Нейросеть для генерации видео из фото и приложения

Кроме Яндекса оживлять снимки умеют отдельные видеомодели и приложения на их основе. Технически они делают одно и то же: фото первым кадром, дальше предсказанное движение. Отличаются длиной ролика, разрешением, тем, насколько хорошо держат лицо, и ценой.

Приложений с кнопкой «оживи фото» в магазинах много, и перед установкой стоит проверить три вещи:

1. Кто разработчик и есть ли у него сайт с политикой конфиденциальности.
2. Что написано про загруженные снимки: хранятся ли, используются ли для обучения, как удалить.
3. Как устроена оплата. Частая схема: бесплатный пробный период, который через несколько дней сам превращается в подписку.

Если на любой пункт ответа нет, не загружай туда лица, особенно чужие и детские. Общий разбор того, что происходит с фото после загрузки в AI-сервис, есть в статье что делают с твоими селфи.

Почему мимика выходит чужой

Этот предел не исправляется ни подпиской, ни более дорогой моделью. На фото есть одно выражение лица, и всё остальное модель достраивает.

Вот что обычно выдаёт оживлённый ролик:

• Улыбка симметричная и ровная, а у живого человека она кривая и тянет за собой нижние веки.
• Зубы появляются идеальные и одинаковые, даже если на фото рот закрыт.
• Моргание слишком медленное или слишком частое.
• При повороте головы черты немного плывут: к концу ролика нос уже, скулы выше.
• Глаза смотрят в одну точку, пока голова двигается.

Было: на фото отец в пиджаке, спокойный и немного строгий. Стало в ролике: он широко улыбается и кивает, как ведущий утреннего эфира. Технически всё сделано чисто, но так он не улыбался никогда, и родные это видят сразу. Подробно о том, почему модели труднее всего даётся выражение лица, в тексте про AI-фото и мимику.

Лучшие результаты получаются с минимальной подсказкой: лёгкое движение головы, моргание, ветер в волосах. Чем меньше ты просишь сочинить, тем меньше модель соврёт.

Подсказку пиши как режиссёр одному актёру, короткими глаголами: «медленно поворачивает голову вправо и моргает», «ветер шевелит волосы, человек неподвижен», «камера плавно приближается». Сразу три действия в четыре секунды модель не уместит, и все три выйдут дёргаными.

Оживить фото умерших родственников: этика и согласие

Ради этого оживление чаще всего и ищут, и тут легче всего сделать больно, желая сделать приятно.

Ролик с умершим человеком не запись. Это догадка модели о том, как он мог бы двигаться, собранная из чужих лиц. Для кого-то в семье такая догадка станет тёплым моментом, для кого-то окажется тяжёлой: человек видит маму, которая улыбается не своей улыбкой, и это больно.

Несколько правил, которые помогают не ранить близких:

1. Сначала посмотри сам, одному, и реши, стоит ли показывать.
2. Спроси семью до того, как отправлять ролик в общий чат. Особенно тех, кто был ближе всех.
3. Не выкладывай ролик публично без согласия родных. В ленте его увидят люди, которые к такому не готовы.
4. Выбирай самое простое движение. Моргание и лёгкий поворот головы воспринимаются как воспоминание, широкая улыбка и речь как спектакль.
5. Подпиши, что это оживление нейросетью, если ролик уходит дальше семьи.

С живыми людьми граница та же: оживлять чужое лицо и публиковать результат без спроса это уже территория подделки. Где проходит эта линия, разобрано в статье про AI-фото и дипфейк.

Какое фото оживает лучше всего

Результат на две трети решается исходником. Модель лучше справляется, если на снимке:

• Одно лицо крупно, анфас или в лёгком повороте.
• Резкие глаза. Размытое лицо при движении начинает плыть уже на первой секунде.
• Ровный свет без глубоких теней, которые модели приходится додумывать.
• Нейтральное выражение или лёгкая улыбка. Закрытые глаза или открытый в разговоре рот сбивают модель.

Старые карточки перед оживлением стоит отсканировать, а не переснимать на телефон под лампой: блик на глянцевой бумаге модель примет за часть лица. Мятые, выцветшие снимки сначала восстанавливают, а потом оживляют, иначе трещины на бумаге начнут шевелиться вместе с лицом.

Групповые фото оживают хуже всего. Допустим, на свадебной карточке двадцать человек, и ты хочешь, чтобы все помахали. Модель сосредоточится на двух-трёх лицах в центре, а у остальных черты поплывут уже на второй секунде. Если нужен один человек, вырежи его крупно и оживляй отдельно.

Что делаем мы

Видео мы не делаем, оживления фото в сервисе нет. Мы делаем фотографические портреты одного мужчины по его фото: загружаешь свои селфи, выбираешь сцены в каталоге и получаешь готовые кадры, вертикальные 3:4, пакеты от 490 ₽.

Частые вопросы