Нейросеть Wan: открытая видеомодель Alibaba и что с ней делать

Кратко. Wan это видеонейросеть Alibaba. Её главная особенность: версии 2.1 и 2.2 открыты, их можно скачать и запустить на своём компьютере бесплатно, в том числе через ComfyUI. Младшей модели хватает около 8 ГБ видеопамяти, 720p просит от 24 ГБ. Версии 2.5 и новее живут только в облаке, открытых весов у них нет.

Нейросеть Wan: что это

Почти все громкие видеонейросети работают как сервис: ты заходишь на сайт, платишь кредитами, получаешь ролик. Wan устроена иначе. Alibaba выложила часть версий целиком, с весами и кодом, и их можно поставить у себя дома.

Веса это сама обученная модель, файл, в котором зашито всё, что она умеет. Когда их выкладывают открыто, любой может скачать модель, запустить без интернета, дообучить и встроить в свою программу. Лицензия Apache 2.0, под которой вышли Wan 2.1 и 2.2, это разрешает, в том числе для коммерческих задач.

Отсюда и путаница в запросах. «Wan нейросеть» ищут и те, кто хочет поставить модель на свою видеокарту, и те, кто просто ищет сайт, где можно сделать ролик. Ответы у них разные, поэтому ниже по порядку.

Про нас одной строкой: видео мы не делаем. Здесь разбор чужой модели, о нашем продукте одна фраза в самом конце.

Wan 2.2, Wan 2.5 и остальные версии

Номер версии здесь решает главный вопрос: можно ли модель скачать. Открытые веса в официальном репозитории Wan-Video есть у 2.1 и 2.2, дальше линейка ушла в облако.

Буквы в названиях читаются просто. T2V значит текст в видео, I2V фото в видео, TI2V умеет и то и другое. S2V превращает речь в ролик с говорящим человеком. Animate оживляет персонажа по движению с другого видео или заменяет человека в уже снятом ролике.

Когда говорят «wan нейросеть видео», чаще всего имеют в виду Wan 2.2: это последняя версия, которую можно запустить у себя, и её же чаще всего встречаешь в готовых наборах для ComfyUI.

Какая видеокарта нужна для Wan

Требования к железу у Wan жёсткие, и ноутбук с офисной графикой её не потянет. Цифры ниже из официальных репозиториев, без оптимизаций вроде квантования.

1. Wan 2.1, модель 1.3B: около 8 ГБ видеопамяти. Ролик на 5 секунд в 480p на RTX 4090 считается примерно 4 минуты.
2. Wan 2.2, модель TI2V-5B: от 24 ГБ видеопамяти, например RTX 4090. Ролик на 5 секунд в 720p выходит меньше чем за 9 минут.
3. Wan 2.2, модели A14B: от 80 ГБ на одной карте. Это серверные ускорители, дома такие стоят редко.

В коде есть флаги, которые выгружают часть модели в обычную память и снижают нагрузку на видеокарту. Работает, но медленнее.

Представь: у тебя игровой компьютер с картой на 12 ГБ. Младшая Wan 2.1 на нём запустится, ролик в 480p будет считаться дольше, чем на 4090, но будет. TI2V-5B без ухищрений не влезет, а A14B не стоит и пробовать. Прежде чем качать десятки гигабайт весов, посмотри объём видеопамяти в диспетчере задач.

Где запускать Wan: компьютер, ComfyUI, облако

Вариантов три, и выбор зависит от того, есть ли у тебя мощная видеокарта и терпение.

Первый: запуск из кода. Официальный репозиторий даёт скрипты на Python. Путь для тех, кто не боится командной строки и хочет полный контроль.

Второй: ComfyUI. Это визуальный редактор, где модель собирается из блоков, соединённых линиями. Wan 2.2 в него встроена официально, как и в библиотеку Diffusers. Большинство людей, которые крутят Wan дома, делают это именно так: скачали готовую схему, подставили своё фото, нажали запуск. Принцип тот же, что у редакторов для Stable Diffusion, о них подробно в статье про то, что такое Stable Diffusion.

Третий: облако. У модели есть свой сайт wan.video, её подключают облако Alibaba и сторонние видеостудии, в том числе Runway. Здесь не нужна видеокарта, зато платишь кредитами и зависишь от доступности сервиса. Облачные сервисы могут быть недоступны из России, обходы мы не советуем.

Wan нейросеть бесплатно: в чём подвох

Открытые версии действительно бесплатны: лицензия не просит денег ни за скачивание, ни за запуск. Подвох только в том, что платишь ты другим.

• Железо. Карта уровня RTX 4090 стоит дороже многих ноутбуков целиком, а для A14B и её мало.
• Время. Пятисекундный ролик считается минутами, а удачный получается не с первой попытки.
• Электричество и шум. Видеокарта под нагрузкой в соседней комнате слышна.
• Твоё время на настройку: драйверы, версии библиотек, схемы в ComfyUI.

Отдельная осторожность с сайтами «Wan бесплатно онлайн». Модель открытая, поэтому поднять её у себя и навесить свою рекламу может кто угодно. Допустим, ты загрузил туда селфи, чтобы оживить его. Ролик получишь, а куда ушёл снимок твоего лица, сайт не скажет.

Первый ролик из своего фото: порядок

Если железо позволяет и хочется попробовать, путь через ComfyUI самый короткий. Порядок в общих чертах такой.

1. Проверь видеопамять и выбери модель под неё: на 8-12 ГБ младшая 2.1, на 24 ГБ TI2V-5B из 2.2.
2. Поставь ComfyUI и обнови его до свежей версии, иначе блоков для Wan может не оказаться.
3. Возьми готовую схему для фото в видео из официальных примеров, а не из случайного архива на форуме.
4. Скачай веса именно той модели, которую просит схема. Файлы большие, место на диске проверь заранее.
5. Подставь своё фото, коротко опиши движение и сначала посчитай короткий ролик в низком разрешении.
6. Если лицо держится, поднимай разрешение и длину.

Исходник решает больше настроек. Лицо крупно, ровный дневной свет, анфас или лёгкие три четверти, рот в том состоянии, которое нужно в ролике. Скажем, ты берёшь снимок со свадьбы приятеля, где тебя придётся вырезать из толпы гостей. Лицо там маленькое и мутное, и модель достроит его по своему вкусу. Простое селфи у окна почти всегда даёт результат лучше.

Движение в запросе проси маленькое: кивок, вдох, взгляд в сторону. Каждое крупное действие это новая порция лица, которую модель сочинит без тебя.

Что Wan делает с лицом человека

С портретом Wan ведёт себя как любая видеомодель: первый кадр похож, дальше лицо на каждом кадре рисуется заново, и ошибки копятся.

Было: селфи в полумраке, снизу, и запрос «он поворачивается и смеётся». К третьей секунде нос другой, зубы чужие. Стало: ровный дневной портрет в анфас и запрос «лёгкий кивок, неподвижная камера». Лицо держится весь ролик. Разница не в модели, а в том, сколько нейросети пришлось придумать за тебя. Почему так происходит, объяснено в статье о том, почему AI меняет лицо.

Отдельно про Animate. Эта модель умеет заменить человека в готовом видео на персонажа с картинки. Технически это то же, что делают дипфейки, поэтому граница простая: только своё лицо или лицо человека, который явно согласился. Подробнее, где проходит эта граница, в тексте про разницу между AI-фото и дипфейком.

Wan и Qwen: при чём здесь Alibaba

Wan и Qwen делает одна компания, Alibaba, и в запросах их часто путают. Qwen это семейство моделей, прежде всего чат-бот, а рядом с ним модели для картинок Qwen-Image. Wan отвечает за видео. Что Qwen умеет с фотографией человека и где теряет лицо, мы разбирали в статье про нейросеть Qwen.

Если нужен кадр, а не ролик

Wan хороша для тех, кто любит собирать инструменты сам и хочет ролики без подписки. Для неподвижного портрета она неудобна: стоп-кадр из видео мягче и менее похож, чем отдельно сделанная фотография.

Ставить Wan на свою видеокарту ради одного портрета не нужно: a-dam.photo делает фотопортреты одного мужчины по его селфи без всякого видео, пакеты от 490 ₽, а сцены выбираются в каталоге.

Источники

• Wan-Video, репозиторий Wan 2.1: https://github.com/Wan-Video/Wan2.1
• Wan-Video, репозиторий Wan 2.2: https://github.com/Wan-Video/Wan2.2
• Wan-Video, список репозиториев: https://github.com/Wan-Video
• Wan, официальная платформа: https://wan.video
• Runway, журнал обновлений с подключением Wan 3.0: https://runway.com/changelog

Частые вопросы