Нейросеть переодеть на фото: примерка одежды и её пределы

Кратко. Нейросеть переодевает человека на фото так: находит на снимке область одежды, стирает её и дорисовывает новую вещь под твою позу и свет. Цвет и силуэт такая примерка показывает сносно. Посадку, размер и поведение ткани она выдумывает, потому что не знает ни твоих мерок, ни кроя вещи. Для выбора образа годится, для покупки по размеру нет.

Как нейросеть переодевает людей на фото

Ты даёшь модели две вещи: своё фото и то, во что хочешь переодеться. Второе бывает картинкой вещи из магазина или просто описанием: «тёмно-синий пиджак, белая футболка». Дальше модель работает в три шага.

1. Находит на снимке тело и отделяет одежду от лица, рук и фона. Получается маска: область, которую можно перерисовать.
2. Стирает старую одежду внутри маски.
3. Дорисовывает новую вещь так, чтобы она легла на твою позу, повторила свет в кадре и стыковалась с шеей и руками.

Это частный случай локальной перерисовки, её ещё называют инпейнтингом. Разница в том, что модели для примерки дополнительно учили на парах «вещь отдельно» и «вещь на человеке», поэтому они лучше понимают, где должен быть воротник и как рукав идёт по локтю.

Кто ищет, какая нейросеть умеет переодевать, обычно хочет одного из двух: купить вещь без похода в магазин или понять, в чём сниматься. С первым у примерки плохо, со вторым заметно лучше, и дальше станет понятно почему.

Нейросеть, которая переодевает людей, по устройству ближе к художнику, чем к зеркалу. Она не надевает вещь на тебя, она рисует, как ты мог бы выглядеть в чём-то похожем.

Переодеть фото нейросетью: что получается хорошо

Хорошо получается то, что видно с трёх метров. Цвет, общий фасон и сочетание вещей между собой.

Представь, ты выбираешь между бежевым и тёмно-зелёным свитером для фото в анкету. Переодеваешь себя на одном и том же снимке в оба варианта и кладёшь картинки рядом. Сразу видно, что бежевый сливается с кожей и лицо становится бледнее, а зелёный держит контраст. Для такого вопроса примерка честно отвечает, и ответ совпадёт с реальностью.

Ещё три задачи, где она полезна:

• проверить, идёт ли тебе вообще пиджак, если ты его никогда не носил;
• посмотреть, как смотрится тёмный верх со светлым низом и наоборот;
• прикинуть образ под сцену: в чём ты будешь на фоне кирпичной стены, а в чём на набережной.

Один совет по цвету на все случаи: сравнивай варианты на одном и том же исходнике. Если менять и фото, и одежду сразу, ты сравниваешь свет, а не свитера.

Почему посадка и ткань на примерке врут

Главная проблема в том, что модель не знает двух вещей: твоих мерок и лекал одежды. У неё есть только плоская картинка тебя и плоская картинка вещи. Всё остальное она достраивает по тому, как обычно сидит похожая одежда на похожих людях.

Отсюда типовые ошибки, которые стоит знать заранее:

Было: на примерке рубашка сидит как на манекене. Стало: в примерочной она тянет на груди, потому что у тебя широкие плечи, а крой приталенный. Нейросеть этого не увидела и не могла увидеть. Поэтому для покупки размер по-прежнему решает таблица мерок продавца или примерочная, а картинка отвечает только на вопрос «нравится ли мне это на мне в принципе».

Где переодевание ломается

Кроме посадки, есть несколько мест, где результат разваливается чаще всего. Их легко заметить, если знаешь, куда смотреть.

Руки и границы. Если на исходнике рука лежит на груди или в кармане, модели приходится решать, что спереди: рука или новая куртка. Иногда она решает неправильно, и пальцы тонут в ткани. Кисть с шестью пальцами тоже родом отсюда.

Лицо. Слабые сервисы перерисовывают больше, чем нужно, и захватывают шею, волосы, а иногда весь кадр. Ты вроде бы в новом пиджаке, но нос уже чужой. Сходство проверяй первым делом, до того как рассматривать пуговицы.

Сложная одежда. Двубортный пиджак, куртка с капюшоном, свитер с косами, клетка: всё, где много мелкой структуры, модель упрощает. Косы на свитере превращаются в размытый узор, клетка теряет ритм.

Свет. Когда вещь снята на белом фоне в студии, а ты стоишь вечером у окна, модели приходится переносить её в другой свет. Часто вещь выглядит наклеенной: слишком чистой и плоской для твоего кадра.

Переодеть в костюм: самый частый запрос и самый капризный

Мужчины чаще всего переодевают себя именно в костюм, и именно на нём примерка ошибается заметнее всего. Костюм держится на крое: ширина плеча, длина рукава до косточки запястья, как лацкан лежит на груди. Всё это решают сантиметры, а нейросеть сантиметров не знает.

Допустим, ты переодел себя из худи в тёмно-серую двойку для фото в резюме. На картинке всё выглядит прилично: пиджак по плечам, рубашка белая, галстук ровный. Присмотрись к трём местам. Воротник рубашки часто нарисован слишком высоко или вообще срастается с шеей. Рукав пиджака закрывает манжету полностью, хотя по правилам манжета должна выглядывать. Пуговицы на пиджаке бывают в неожиданном количестве, иногда разном на двух соседних картинках.

Для анкеты или аватарки мелочи вроде пуговиц проходят незамеченными. Для делового портрета, который будут разглядывать, лучше взять кадр, где костюм снят или сгенерирован целиком в сцене, а не наклеен поверх худи. Как выглядит костюм, который сидит, и какие ошибки видны на фото сразу, разобрано в статье про фотосессию в костюме.

Какое фото брать, чтобы переодеть одежду нейросетью

Модель переодевает только то, что видит. Правильный исходник снимает половину проблем из предыдущего раздела.

1. Полный рост или по пояс, в зависимости от того, что меняешь. Для брюк нужны ноги в кадре.
2. Поза простая: стоишь прямо, руки вдоль тела или слегка отведены.
3. Своя одежда облегающая или простая, без объёмных курток и шарфов. Модели легче понять форму тела.
4. Ровный свет без жёсткой тени.
5. Лицо крупное и резкое, тогда его проще сохранить.
6. Фон без людей и зеркал.

Скажем, ты снимаешь себя в зеркале лифта в пуховике. Модели придётся угадывать фигуру под пуховиком, отражение и твою руку с телефоном сразу. Тот же ты в футболке у светлой стены даст результат заметно чище.

Переодеть нейросеть бесплатно: что реально доступно

Бесплатные попытки есть у многих генераторов и ботов, но условия у них меняются, поэтому по механике, без цифр. Обычно бесплатный режим даёт низкое разрешение, водяной знак, пару запросов в день или очередь. Для прикидки цвета этого хватает с запасом.

Перед загрузкой своего фото проверь две вещи в условиях: сколько сервис хранит снимки и можно ли их удалить. Если про это ни строчки, выбери другой. Своё лицо в полный рост лучше отдавать туда, где с тобой можно потом договориться. Какие ещё правки нейросеть умеет вносить в готовый снимок и где она перегибает, собрано в статье о том, как нейросетью изменить фото.

Когда примерка помогает подготовиться к съёмке

Больше всего примерка даёт перед фотосессией. Ты заранее видишь, какой образ тебе идёт, и не тащишь на съёмку три сумки одежды.

Порядок простой. Берёшь одно своё фото, переодеваешь его в четыре-пять вариантов: свитер, пиджак, рубашка с закатанными рукавами, куртка. Смотришь на картинки с утра свежим глазом и оставляешь два, в которых лицо выглядит лучше всего. С ними идёшь к фотографу или собираешь образ дома. Базовые правила выбора одежды перед съёмкой собраны в статье про то, что надеть на фотосессию.

Что можно сделать у нас

Примерки конкретной вещи у нас нет: загрузить фото куртки из магазина и увидеть её на себе не получится. Мы делаем другое: фотореалистичные портреты одного мужчины по его селфи.

В каталоге больше 600 сцен, и в каждой образ уже собран: деловой костюм в кабинете, свитер в кофейне, куртка на улице, форма в спортзале. Одежда подобрана под сцену и свет, поэтому не выглядит наклеенной. Загружаешь три селфи, выбираешь сцены, первые кадры приходят через пару минут после оплаты, пакет готов за 10-20 минут. Пакеты от 490 ₽, кадры вертикальные, 3:4.

Частые вопросы