Waifu2x: что это и годится ли он для фото человека

Кратко. Waifu2x это открытая нейросеть, которая увеличивает картинку в два раза и убирает шум. Её учили на рисунках в аниме-стиле, поэтому на живом лице она часто рисует гладкую маску без пор и щетины. Для фото есть отдельная модель photo. Онлайн-версий у автора две, для Windows есть сборка Waifu2x Extension GUI.

Waifu2x: что это за нейросеть

Waifu2x делает две вещи: увеличивает картинку вдвое и чистит её от шума, по отдельности или сразу вместе. Сделал проект разработчик под ником nagadomi, код открыт на GitHub под лицензией MIT.

Название не случайное. В описании репозитория сказано прямо: увеличение для рисунков в аниме-стиле на свёрточных нейросетях, и дальше короткое «поддерживает и фото». Модель годами училась на ровных заливках, чётких линиях и больших глазах, и лучше всего она понимает именно такие картинки.

Отсюда и главная путаница. Люди находят Waifu2x в советах «как увеличить фото бесплатно» и загружают туда старый снимок с паспорта, выпускной или кадр с дачи. Нейросеть честно делает то, чему её учили: превращает фото в аккуратную иллюстрацию. Похожий по происхождению онлайн-сервис разобран в статье про Bigjpg, здесь только сам Waifu2x.

Почему на живом лице выходит гладкая маска

Потому что шумоподавление не различает зерно и кожу. Для модели, выученной на рисунках, поры, щетина и мелкие морщины выглядят как помехи на ровной заливке, и она их стирает.

Представь старое фото на паспорт, отсканированное с бумаги. Лицо на нём размером с почтовую марку, по нему идёт зерно, по краям пятна. Ты ставишь увеличение и сильное шумоподавление. Было: мутный, но живой человек с родинкой на щеке. Стало: чистое гладкое лицо, где родинка стала бледным пятном, брови превратились в два ровных штриха, а губы получили чёткий контур, как в комиксе. Картинка крупнее и чище, но это уже рисунок по мотивам фотографии.

Чем выше уровень шумоподавления, тем сильнее эффект. На самых высоких уровнях лицо теряет возраст: мужчина с морщинами у глаз выходит заметно моложе и заметно менее похожим на себя.

Waifu2x для фото: модель photo

Для фотографий в проекте есть отдельная модель, и её надо выбирать руками. Если оставить модель для рисунков, результат на портрете будет хуже почти всегда.

В браузерной версии модель выбирается в самом начале, там три варианта: арт, арт для сканов и фото. В программах на основе Waifu2x, например в Waifu2x-caffe, фото-модель тоже есть, она подписана отдельно от моделей для иллюстраций.

С моделью photo кожа сохраняет больше фактуры, а контуры не превращаются в обводку. Но чудес не жди: сеть та же по устройству и так же не знает, как выглядело твоё лицо. Если на исходнике глаза были размытыми пятнами, она нарисует аккуратные глаза, и это будут не совсем твои глаза.

Рабочие настройки для портрета выглядят так:

• модель photo;
• шумоподавление нет или слабое;
• увеличение в два раза, не больше.

Если после этого зерно всё ещё мешает, подними шумоподавление на одну ступень и сравни два результата. Поднимать дальше смысла мало: выигрыш в чистоте съест сходство.

Waifu2x online: где работает официально

Официальных онлайн-версий две, обе указаны в репозитории автора. Всё остальное, что называется похоже, к проекту отношения не имеет.

В браузерной версии три модели (арт, арт для сканов, фото), увеличение в 1, 2 или 4 раза и пять уровней шумоподавления, от «нет» до «максимум».

Разница в строке про файл. Браузерная версия, по описанию автора, экспериментальная и работает прямо на твоём компьютере: картинка никуда не загружается. Для семейных и документных фото это весомый довод. Цена за это скорость: на слабом ноутбуке крупный скан будет считаться долго, и вкладка может подвиснуть.

Скажем, ты оцифровываешь фото родителей из альбома. В облачную версию снимок уйдёт на чужой сервер. В браузерной он останется дома, и спрашивать разрешения у родителей на загрузку не придётся. Чужие снимки без согласия человека в облачные сервисы лучше вообще не отправлять.

Waifu2x Extension GUI: что это и когда нужна

Это отдельная программа для Windows, и сделал её другой автор. Waifu2x там один из движков, а рядом лежат ещё несколько, включая Real-ESRGAN, Real-CUGAN, SRMD и Anime4K.

Кроме картинок программа увеличивает GIF и видео и умеет достраивать промежуточные кадры, чтобы ролик шёл плавнее. Работает на видеокартах AMD, Nvidia и Intel. Для личного использования она бесплатна, для коммерческого автор продаёт отдельную премиум-версию.

Что это значит для твоего фото. Waifu2x Extension GUI удобна тем, что в одном окне можно прогнать один и тот же портрет через два-три движка и выбрать лучший. Для живого лица стоит начать с Real-ESRGAN: этот движок учили в том числе на фотографиях, и кожа у него обычно выходит естественнее. Скачивать программу стоит только со страницы релизов на GitHub, куда ведёт репозиторий автора.

Как увеличить старое фото и не потерять лицо

Большинство приходит к Waifu2x именно с этим: старое маленькое фото, которое хочется сделать крупнее. Порядок, при котором лицо пострадает меньше всего:

1. Отсканируй оригинал с максимальным разрешением сканера. Это даст больше, чем любая нейросеть.
2. Открой браузерную версию, выбери модель photo.
3. Поставь увеличение в два раза и шумоподавление «нет».
4. Сделай второй вариант со слабым шумоподавлением.
5. Открой исходник и оба результата при масштабе 100 % и найди на лице три приметы: родинку, шрам, форму бровей.
6. Оставь тот вариант, где приметы на месте.

Зачем два варианта, а не один. Разница между «нет» и «слабым» шумоподавлением на экране телефона почти не видна, а на отпечатке бросается в глаза. Допустим, ты хочешь напечатать дедушкин портрет в рамку к юбилею. На варианте без шумоподавления видно зерно старой плёнки, и это выглядит как настоящая старая фотография. На варианте со слабым зерна меньше, но щёки становятся ровными, как у восковой фигуры. Положи оба отпечатка рядом, и первый почти наверняка покажется живее, хотя на мониторе второй выглядел чище. Дедушка на нём остаётся дедушкой, со всеми морщинами, которые семья помнит.

Увеличение в четыре раза в браузерной версии тоже есть, но для портрета с ним стоит быть осторожнее. Каждый лишний шаг увеличения значит, что больше точек нейросеть придумала сама. Если двух раз не хватает под нужный размер печати, лучше заново отсканировать оригинал с большим разрешением, чем просить модель дорисовать ещё.

Трещины, пятна и выцветшие краски Waifu2x не лечит. Это задачи реставрации, про них отдельная статья о том, как восстановить старое фото нейросетью.

Когда лучше взять другой апскейлер

Если на фото живой человек и сходство для тебя важно, Waifu2x редко лучший выбор. Он хорош для рисунков, скриншотов и логотипов, а для портрета есть инструменты, которые делали под фотографию.

Самый близкий вариант на компьютере это Upscayl: бесплатная программа, модели на основе Real-ESRGAN, файл тоже не уходит в интернет. Чем увеличение отличается от перерисовки и почему «улучшенное» лицо бывает чужим, разобрано в статье про апскейл фото.

И ещё одна развилка, о которой легко забыть. Если фото нужно для анкеты или резюме, а приличного исходника нет вовсе, увеличитель проблему не решит. Из крошечного кадра с чужой свадьбы выйдет крупный кадр с чужой свадьбы, только гладкий. Тот же случайный ракурс, тот же тост в руке, тот же свет от люстры, просто в большем разрешении. Такой кадр проще переснять, чем чинить.

Где здесь мы

Мы делаем фотореалистичные портреты одного мужчины по его селфи. В каталоге сцен хватает трёх снимков, сцен больше 600, первые кадры приходят через пару минут после оплаты, пакет готов за 10-20 минут, от 490 ₽. Разрешение сразу 2K, формат вертикальный 3:4, дополнительное увеличение им не нужно. Апскейл есть только в профи-фотосессии: 12 кадров на заказ поднимаются в два раза по стороне. Профи стоит 3 490 ₽, это 60 фото в 5 стилях по 15-20 снимкам, около 20 минут. Исходники хранятся в Yandex Object Storage и передаются AI-сервисам kie.ai и fal.ai только под твой заказ.

Источники

• Waifu2x, репозиторий автора
• unlimited.waifu2x.net, браузерная версия
• Waifu2x-caffe, модели
• Waifu2x Extension GUI, репозиторий

Частые вопросы