Инпейнтинг фото: когда правят часть кадра

Кратко. Инпейнтинг это перерисовка одного куска кадра вместо всего снимка: ты закрашиваешь маской проблемную зону, модель достраивает её заново, опираясь на пиксели вокруг и на текст запроса. Приём хорошо убирает лишний предмет, обрывок надписи, пятно на фоне. С кистями и лицом он справляется плохо. В пакете из двадцати пяти кадров быстрее взять соседний снимок.

Термин пришёл из реставрации живописи: инпейнтингом называли дописывание утраченного фрагмента по соседним участкам холста. У генеративных моделей работа та же, только дыру в изображении делает сам оператор. Он отмечает область, которую надо переписать, и отдаёт модели остальное как подсказку.

В индустрии это рабочая лошадка. Так убирают провода из рекламных съёмок, чистят фон в каталогах одежды, меняют надпись на упаковке. В нашем кабинете такой кнопки нет, и ниже разобрано, почему для потока портретов это осознанное решение.

Чем инпейнтинг отличается от обычной ретуши

Ретушь меняет существующие пиксели, инпейнтинг рождает новые. Ретушёр клонирует соседний участок кожи, тянет точки кривой, размывает пятно штампом. Модель в режиме локальной перерисовки поступает иначе: содержимое маски зашумляется почти до нуля и собирается с нуля, как собирается целый кадр, но в границах выделения.

Отсюда первое свойство приёма. Внутри маски результат непредсказуем в деталях: два прохода по одной области дадут две разные вывески и две разные складки на рукаве. Ретушь повторяема, генерация нет.

Рядом живёт аутпейнтинг. Там маска лежит за пределами кадра, и модель дорисовывает то, чего в снимке никогда не было: комнату шире, небо выше, продолжение стены. Механика общая, направление обратное.

Третий способ моложе двух предыдущих. Редактирующие модели принимают снимок и словесную команду вроде «убери провод за спиной» вообще без маски: нужную зону они находят сами, по смыслу запроса. Удобнее, зато контроля меньше. Границу правки такая модель проводит на своё усмотрение и попутно трогает соседнее: подвинет складку рубашки, причешет фон, сдвинет оттенок кожи на полтона. В каталоге сцен мы держим редактирующую модель ради другого, ради сборки кадра по четырём реальным образцам лица, и там её вольность работает на нас.

Что происходит под маской

Модель получает три вещи: исходный кадр, чёрно-белую карту маски и текстовый запрос. Белое в карте перерисовывается, чёрное остаётся нетронутым. Дальше на результат влияют четыре настройки.

• Сила перерисовки. На малых значениях модель подправляет фактуру и оставляет форму, на высоких выбрасывает содержимое целиком и рисует новое.
• Растушёвка края. Жёсткая граница оставляет видимый шов, мягкая смешивает старое с новым, но съедает пару миллиметров исходника.
• Контекст. Модель смотрит на окно вокруг выделения, чтобы подхватить свет, зерно и глубину резкости. Без этого заплатка выходит чище остального кадра и сразу бросается в глаза.
• Масштаб работы. Крошечная маска на большом снимке приводит к объекту не того размера, поэтому фрагмент вырезают, перерисовывают в полном разрешении и вставляют обратно.

Контекст здесь и есть главное ограничение. Модель видит окно вокруг маски, а не замысел кадра целиком: она не знает, что источник света один и он слева за спиной, что кожа снята длинным фокусом, что зерно ровное по всей площади. Чем больше площадь заплатки, тем сильнее она расходится с остальным снимком по этим трём признакам.

Что приём чинит, а что нет

Закономерность простая: приём силён там, где у него много опоры и мало ответственности. Фон однороден, соседние пиксели подсказывают продолжение, ошибку никто не разглядит. Всё, на что человек смотрит в первую очередь, попадает в правый столбец. Полный список зон, по которым стоит проверять готовый снимок, лежит в справочнике артефактов.

Почему кисти и лицо даются тяжелее всего

Маска на кисти забирает у модели опору. Ей нужно придумать анатомию с нуля, при этом запястье, рукав и предмет в руке остались за границей выделения и жёстко задают угол, длину пальцев и точку хвата. Модель тянется к правдоподобной кисти вообще, а не к той, что продолжает именно это предплечье. Выходит вторая версия той же поломки, иногда хуже первой. Про эту зону есть отдельный текст о том, что делать с руками на фото.

С лицом ситуация другая и опаснее. Тут решает не анатомия, а сходство, и локальная перерисовка разрушает его незаметно для того, кто правит.

У нас есть свой разобранный случай. Раньше в пайплайне стоял диффузионный апскейлер: он поднимал разрешение не растягиванием, а пересборкой деталей заново на большем размере. Кадры выходили резче, а люди переставали узнавать себя, потому что поры, ресницы и кромку губ модель дорисовывала по своим представлениям о лице. Мы поменяли его на настоящий супер-резолюшн, который увеличивает снимок вдвое и добавляет резкость, но ничего не переписывает. Подтяжка лица там стоит на половинной силе: на полной кожа становится пластмассовой.

Инпейнтинг по лицу это та же ловушка на меньшей площади. Поправил уголок рта, и человек стал чуть-чуть другим, а заметишь ты это не в редакторе, а через неделю, когда знакомые спросят про фотошоп.

Почему в потоке кадров проще сгенерировать заново

Экономика правки и экономика генерации расходятся, как только кадров становится больше одного.

1. Снимки приходят пачками. За один запрос модель отдаёт до четырёх кадров, на стиль из двенадцати штук уходит три запроса с разными seed. Брак заменяется соседом по пачке, а не чинится.
2. Правка требует человека. Маску надо нарисовать, запрос под фрагмент подобрать, результат проверить на увеличении, а потом повторить, потому что с первого раза совпадает редко.
3. У правки есть цена в качестве. Каждый проход оставляет шов и локально меняет зерно, после третьей заплатки кадр начинает выглядеть склеенным.
4. Новый кадр стоит минуты. Пакет из каталога собирается за 10-20 минут целиком, первые снимки приходят через пару минут после оплаты.

Локальная правка оправдана там, где кадр единственный и переснять его нельзя: архивная фотография, событие, которое не повторится, готовый макет в печати. Портретная генерация устроена наоборот, тут исходников сколько угодно.

Чего нет в нашем кабинете и что есть вместо

Инпейнтинга по клику у нас нет, ползунка силы модели и выбора seed руками тоже. Встроенного редактора фотографий нет: файлы скачиваются в полном размере, дальше ты волен делать с ними что угодно в любой программе.

Ставка сделана на другое. Ты выбираешь сцены в каталоге, где их больше девятисот, и получаешь пакет: 10 кадров за 490 ₽, 25 за 990 ₽, 56 за 1 990 ₽. Профи-съёмка с обучением личной модели стоит 3 490 ₽ и даёт 60 фото в пяти стилях. Кадры вертикальные, 3:4, других ориентаций и автоматических кропов под площадки нет, квадрат под аватарку вырезается вручную за десять секунд.

Что мы всё-таки делаем с готовым снимком, так это увеличиваем его. Апскейл поднимает разрешение вдвое, первые 12 кадров пакета увеличиваются бесплатно. Весь маршрут от оплаты до готовой папки разобран отдельно, в статье про наш пайплайн.

Что сделать самому, если кадр почти хороший

• Кропни. Лишний предмет у края уходит вместе с краем, и на портрете это чаще всего незаметно.
• Возьми ластик объектов в телефонном редакторе. С проводом на стене и урной за спиной он справляется за полминуты.
• Открой генеративную заливку в тяжёлом редакторе, если фрагмент важный. Это тот же инпейнтинг, только маску рисуешь ты и видишь каждый вариант.
• Прогони кадр через апскейл, когда снимок нравится целиком, а не хватает резкости.
• Переключись на другой кадр пакета, если дефект сидит на лице или на кистях.

Править или брать следующий снимок

Правило короткое и укладывается в четыре вопроса.

1. Дефект дальше от лица и меньше ногтя? Кроп или ластик, тридцать секунд.
2. Дефект на кисти, зубах или глазах? Кадр в отбраковку, спорить с ним дороже.
3. Дефект повторяется в половине пакета? Причина сидит во входных данных или в сцене, разбор собран в тексте про то, что делать, если кадр не похож.
4. Всё устраивает, кроме мягкости? Апскейл, он бесплатный на первые 12 кадров.

Профессиональные ретушёры тратят на одну сложную заплатку минут двадцать и получают за это деньги. Твоя задача проще: выбрать из двадцати пяти снимков пять, которые пойдут в дело, и не пытаться воскресить остальные.

Частые вопросы