Видео в Алисе и Шедевруме: как сделать ролик нейросетью

Кратко. У Яндекса видео делают в двух местах. В Алисе AI есть режим «Оживить»: загружаешь картинку, пишешь сюжет и через полминуты получаешь ролик до 4 секунд без звука. В Шедевруме видео рождается из текста: 4 секунды, четыре модели на выбор. Базовые режимы в обоих бесплатные. Лицо реального человека в движении модели дорисовывают сами.

Где у Яндекса делают видео нейросетью

Кнопки «сделай видео» в обычном чате с Алисой нет, и это первое, на чём спотыкаются. Видео живёт в двух местах, и работают они по-разному: одному нужна картинка, другому хватает слов.

Рисуют всё это картиночные модели Яндекса: YandexART и её новое поколение Alice AI ART. Как они устроены и чем Алиса отличается от Шедеврума на уровне модели, разобрано в статье про YandexART.

Представь, что тебе нужна заставка для сторис про поездку на Байкал. Есть фото с берега: иди в Алису, пусть по воде пойдёт рябь. Фото нет, есть только идея «лёд, трещины, закат»: иди в Шедеврум и пиши словами.

Алиса, нейросеть: как создать видео

В Алисе видео делается из картинки. Путь по справке Яндекса короткий:

1. Открой Студию в приложении Алиса AI, Яндекс с Алисой или в Яндекс Браузере.
2. Перейди на вкладку «Оживить» и загрузи изображение, JPEG или PNG до 10 МБ.
3. Опиши сюжет или возьми готовую подсказку.
4. Подожди около 30 секунд и скачай MP4.

Ролик выходит до 4 секунд в разрешении 480p. На экране телефона это смотрится нормально, а на ноутбуке уже видно мыло. Музыки нет, звук Алиса пока не добавляет.

Если картинки нет, её можно сначала попросить у той же Алисы, а потом оживить. Было: ты пишешь в чат «сделай видео, как самолёт взлетает над полем подсолнухов» и получаешь в ответ текст. Стало: сначала просишь Алису нарисовать поле и самолёт, сохраняешь картинку, загружаешь её в «Оживить» с сюжетом «самолёт набирает высоту, подсолнухи качаются». Два шага вместо одного, зато работает.

Подробно про оживление старых снимков и про то, почему мимика на них выходит странной, написано в тексте про то, как оживить фото нейросетью. Здесь повторять не будем.

Шедеврум: как создать видео

В Шедевруме всё начинается с текста. Внизу экрана кнопка создания, дальше «Видео», выбор модели, описание, «Создать». Модель предлагает первый кадр, ты выбираешь лучший, и уже из него получается ролик.

Моделей четыре, и отличаются они заметно:

• v.1 двигает камеру. Можно выбрать эффект: зум, таймлапс, отдаление, панорама, подъём, морфинг, вращение или ручную настройку по осям. Первых кадров на выбор четыре.
• v.2 Beta двигает то, что в кадре. Движение нужно подробно описать в запросе.
• v.3 даёт более детальный ролик и меньше дефектов, чем предыдущие версии.
• Wan2.2 это открытая модель компании Alibaba, доступна по подписке Про.

Разница между первой и остальными важнее, чем кажется. Допустим, ты хочешь «костёр на берегу реки ночью». Модель v.1 оставит пламя почти неподвижным и медленно наедет камерой: красиво, но это скорее живая открытка. Модели v.2 и v.3 попробуют заставить огонь плясать, и тогда качество зависит от того, как ты это движение описал.

Готовое видео можно озвучить музыкой из списка, добавить хештеги и настроить, кому видны пост и запрос. После кнопки «Готово» ролик уходит в профиль и в ленту других пользователей, об этом стоит помнить до нажатия.

Четырёх секунд мало для истории, и для этого в Шедевруме есть «Клипы». Там склеивают от 3 до 30 фрагментов, своих или чужих, общей длиной до 2 минут, кладут сверху трек из Яндекс Музыки и скачивают клип в MP4 после публикации.

Шедеврум: промт для видео

Промт для видео пишется короче, чем кажется нужным. Справка Шедеврума советует просто перечислить опорные слова: объект, его признаки, место и время, стиль. Грамматика не важна, важна конкретика.

Сравни два запроса. Было: «прогуливающийся по вечернему городу молодой человек в пальто на фоне багрового заката». Стало: «мужчина идёт, пальто, мокрая улица, багровый закат, фонари». Во втором случае модель не тратит силы на разбор причастий и не теряет половину сцены.

Что работает лучше всего:

1. Одно главное движение на ролик. «Листья падают» или «машина проезжает мимо», но не всё сразу за четыре секунды.
2. Конкретные признаки вместо оценок. «Дерево с шипами» модель поймёт, «необычное дерево» нет.
3. Стиль словом в конце: «аниме», «ретро», «в стиле 1990-х», «рекламный ролик».
4. Для v.2 и v.3 скорость движения прямо в тексте: «медленно», «резко», «камера статична».

В Алисе похожая логика, только формула записана иначе: объект, среда, действие, стиль. Там же совет, который сработает и в Шедевруме: «лёгкая естественная улыбка» даёт лучший результат, чем просто «улыбка».

Скажем, ты делаешь заставку для канала про рыбалку. «Рыбак, лодка, туман, рассвет, озеро, камера медленно отдаляется, плёночное кино». Семь слов, и у модели нет места для догадок.

Нейросеть Алиса бесплатно: видео и лимиты

Базовые генерации в обоих сервисах бесплатные. У Алисы на них стоит лимит, и о нём ты узнаёшь в момент, когда вместо ролика появляется экран с предложением доплатить.

На этом экране два варианта. Буст Студии стоит 100 ₽, действует месяц, даёт приоритет в очереди и 10 HD-генераций. Второй вариант это опция Алиса Плюс за 199 ₽ в месяц.

В Шедевруме платная часть называется подпиской Про. Первые 7 дней бесплатно, дальше 100 ₽ в месяц при наличии Яндекс Плюса. Для видео в неё входят модель Wan2.2, оживление фото из галереи, скачивание до публикации и файлы без логотипа Шедеврума. Там же разрешение на коммерческое использование без согласования. Права на всё, что сгенерировано в Шедевруме, принадлежат Яндексу, и без Про для рекламы нужно отправлять отдельный запрос.

Практический вывод: для ролика в чат друзьям хватит бесплатного. Если видео пойдёт в рекламу кофейни, сначала прочитай условия про права, потом монтируй.

Что будет, если дать своё фото

Лицо в ролике модель дорисовывает сама. Она видит один застывший кадр и не знает, как ты моргаешь, как у тебя морщится нос при улыбке и в какую сторону ты поворачиваешь голову. Движение она берёт из того, что видела на миллионах чужих лиц.

Представь, что ты загрузил в Алису своё селфи и попросил «улыбается и поворачивается к камере». Первая секунда это ты. К третьей скулы чуть шире, улыбка чуть симметричнее, взгляд чуть мягче. Друг, который смотрит ролик, скажет «похож», но с паузой.

Правила у двух сервисов разные:

• Алиса оживляет и одиночные, и групповые снимки, анимируя каждого человека в кадре. Фото без запрещённого контента, остальное на твоей совести.
• Шедеврум блокирует запросы, где упомянут конкретный человек. Написать «Иван Петров танцует» не выйдет, и знаменитость тоже не выйдет.

Отсюда простое правило: оживляй свои фото, а чужие только с согласия того, кто на них. Для закона это тоже не мелочь: обнародовать изображение человека по общему правилу можно только с его согласия, так записано в статье 152.1 Гражданского кодекса. Коллега, которого ты заставил подмигивать в общем чате, может и не посмеяться.

Почему лицо плывёт даже на статичных кадрах, мы разбирали в тексте про мимику на AI-фото.

Для чего хватает четырёх секунд

Четыре секунды это короткая петля, а не сюжет. Для некоторых задач этого ровно достаточно.

Лучше всего получаются сцены, где двигается мир вокруг: вода, дым, снег, огни города, облака. Хуже всего руки, волосы и лица крупным планом, об этом прямо предупреждает и справка Алисы.

Видео мы не делаем: a-dam.photo собирает только фотореалистичные портреты одного мужчины по его фото, а за роликом лучше идти в Алису или Шедеврум.

Частые вопросы