Апскейл фото: зачем он нужен портрету и где ломает лицо

Кратко. Апскейл это увеличение разрешения готового снимка. Настоящий апскейлер достраивает резкость и мелкую фактуру поверх исходных точек, лицо при этом остаётся твоим. Диффузионный рисует кадр заново по мотивам исходника, и человек перестаёт быть похожим на себя. Мы ставим первый вариант, увеличение вдвое по стороне, 12 кадров пакета увеличиваются бесплатно.

Что делает апскейл

Апскейл поднимает разрешение готового файла. Кадр из каталога приходит в 2K, после увеличения сторона становится вдвое длиннее, а точек в изображении вчетверо больше. Нужно это ради одного: чтобы снимок не рассыпался на крупном размере, будь то печать, экран ноутбука во весь рост или обложка профиля.

Сложность в том, что новые точки брать неоткуда. Их приходится достраивать. Растянуть картинку умеет любой телефон, но выходит мыло: между двумя соседними пикселями вставляется усреднённый третий, и мелкая фактура смазывается. Поэтому увеличением давно занимаются обученные модели. Они видели миллионы снимков и представляют, как выглядит прядь волос, шов на рубашке и кромка века, если смотреть вблизи.

Вот здесь и проходит развилка. Модель может дорисовывать детали поверх твоего кадра, а может собрать кадр заново, взяв исходник за подсказку. Обе операции называют апскейлом. Для портрета они дают противоположный результат.

Увеличить и перерисовать: где проходит граница

Короткий ответ: апскейлер разрешения (в статьях его называют super resolution) уважает исходник, диффузионный сочиняет.

Для пейзажа второй способ часто выигрывает. Никто не помнит, сколько листьев было на дереве, а картинка после обработки выглядит богаче. С лицом всё наоборот. Человек узнаёт себя по миллиметрам: ширине переносицы, форме верхнего века, тому, как губа ложится на зубы. Диффузионная модель этих миллиметров не знает и подставляет усреднённый вариант, потому что он чаще попадался ей при обучении.

Случай, на котором мы это выучили

Когда-то в нашем маршруте стоял как раз диффузионный апскейлер. Логика казалась разумной: деталей он даёт больше, кадр после него смотрится дороже. Жалобы пришли быстро. Люди писали, что на увеличенных снимках они похожи на себя хуже, чем на исходных.

Мы разобрали несколько заказов по шагам и увидели ровно то, что описано выше. Генерация выдавала похожий портрет, а увеличение пересобирало лицо: чуть другой разрез глаз, сглаженный подбородок, новая форма ноздри. По отдельности каждая правка мелкая. Вместе они дают то самое ощущение «вроде я, а вроде нет», которое человек не формулирует словами, но ловит за полсекунды.

Поймать это на глаз в одиночном файле почти нельзя. Увеличенный кадр сам по себе красивый, придраться не к чему. Разница вылезает, когда кладёшь рядом два файла в одном масштабе и переключаешься между ними: лицо на месте, а мелкая геометрия под кожей едет. Именно так мы теперь и проверяем любую обработку, которая трогает портрет.

Мы заменили его на честный апскейлер разрешения. Деталей стало меньше, сходства больше. Для сервиса, который продаёт портреты, выбор тут простой. Остальной путь кадра от оплаты до файла разобран в тексте про наш пайплайн.

Почему кадр сначала делают меньше, а потом увеличивают

Вопрос напрашивается: если нужен большой файл, почему бы не сгенерировать сразу большой. Так пробуют многие и почти все возвращаются к двухступенчатой схеме.

Диффузионная модель училась на картинках определённого размера и композицию держит в том же масштабе. Попроси у неё вчетверо больше точек, и она начнёт мыслить кусками: на кадре вырастает вторая пара глаз, рука выходит из плеча под невозможным углом, фон рассыпается в повторяющийся орнамент. Время тоже растёт: шагов обратного процесса столько же, но каждый шаг считает вчетверо больше данных.

Отсюда и разделение труда. Кадр генерируется в том разрешении, где модель уверенно держит анатомию и композицию, а размер добирается отдельным инструментом. У нас это 2K по длинной стороне в пропорции 3:4, увеличение вдвое сверху. Одна модель отвечает за смысл снимка, другая за количество точек, и каждая делает то, что умеет.

Из этой схемы следует неприятное. Апскейл не возвращает то, чего в исходнике не было. Модель распределяет бюджет деталей по кадру: лицу достаётся максимум, кисти руки в углу почти ничего, вывеске на дальнем плане остаток. Если кисть вышла мутной, увеличение сделает из неё крупную мутную кисть. Резкость поднимается, информация никуда не прибавляется.

Подтяжка лица: почему она стоит на половине

Вместе с увеличением работает отдельная подтяжка лица (face enhancement). Она вычищает шум и грязь в самых мелких зонах: у ресниц, на кромке зубов, по границе волос и лба. У этой обработки есть сила, и мы держим её на половине от максимума.

На полной силе кожа превращается в пластик. Поры пропадают, блики выравниваются, лицо становится гладким, как на упаковке крема. Такой кадр читается как тяжело обработанный раньше, чем зритель успевает подумать про нейросети. Половинная сила даёт компромисс: мусор в мелочах убран, текстура жива.

Забавно, что жалобы на переобработку приходят ровно оттуда же, откуда и жалобы на «мыло». Это две стороны одного ползунка, и середина работает лучше обоих краёв.

Когда кадр стоит увеличивать, а когда нет

Правило простое: увеличивай то, что поедет в крупный размер или в печать. Остальное не трогай.

Есть и обратный случай. Мягкий кадр с лёгким шумом иногда выглядит живее вылизанного: зерно и небольшая нерезкость читаются глазом как «снято камерой, а не сгенерировано». Если снимок нравится именно таким, оставь исходник и не улучшай его.

Как апскейл устроен у нас

Двенадцать кадров из пакета увеличиваются бесплатно, дальше апскейл стоит 10 кредитов за кадр. Лимит связан с тем, что увеличение это отдельный прогон на видеокарте, а не галочка в интерфейсе.

Из пакета в 25 кадров в работу обычно уходит от пяти до восьми: аватарка, пара снимков для анкеты, один деловой, один-два про хобби. Двенадцати бесплатных увеличений на такой набор хватает с запасом, если не тратить их на промахи. Поэтому сначала отбор, потом увеличение, а не наоборот.

Файлы скачиваются в полном размере, вертикальные, в пропорции 3:4. Квадрат под аватарку ты вырезаешь сам: автоматических кропов под площадки и встроенного редактора у нас нет, и придумывать их в статье мы не станем. Сцены выбираются в каталоге, там больше 900 вариантов, пакеты начинаются от 490 ₽.

Чего апскейл не чинит

Увеличение не исправляет ошибки кадра. Оно показывает их крупнее. Шестой палец останется шестым, дужка очков, растворившаяся в воздухе, растворится отчётливее, а нечитаемая вывеска за спиной станет нечитаемой в высоком разрешении.

Отсюда и порядок действий: сначала проверка снимка, потом увеличение. Куда смотреть и в каком порядке, собрано в справочнике артефактов. Если поехало само лицо, апскейл тем более бесполезен: там работает другая инструкция, что делать, когда кадр не похож.

Как за двадцать секунд понять, что кадр перерисовали

Открой два файла рядом, исходник и увеличенный, и пройдись по пяти точкам.

1. Глаза. Разрез и складка верхнего века обязаны совпасть до мелочи. Веко «открылось», взгляд поменял направление: лицо пересобрано.
2. Кожа на скуле и у виска. Ищи родную неровность: поры, лёгкую красноту, пушок. Ровная матовая поверхность выдаёт генерацию.
3. Кромка волос у лба. Честное увеличение делает те же пряди чётче. Диффузионное сочиняет новые, и рисунок у линии роста меняется.
4. Зубы и губы. Форма зубов ломается первой, потому что на исходнике её почти не видно и модели проще выдумать.
5. Фон. Мелкие предметы за спиной поменяли форму или число: кадр собрали заново целиком.

Одного совпадения мало, смотри кластерами. Если поехали три точки из пяти, файл после увеличения лучше выбросить и оставить исходник: похожесть дороже резкости, а зритель сравнивает твоё фото не с идеалом, а с тобой живым.

Частые вопросы