Img2img: генерация по картинке и сила шума простыми словами

Кратко. Img2img это генерация по картинке: модель берёт твоё изображение, добавляет к нему шум и заново вычищает его, подглядывая в текст. Исходник задаёт композицию, а сила шума (denoising strength) решает, сколько от него останется. На 0.3 почти то же фото, на 0.6 новый кадр в той же позе, на 0.9 уже другой человек. Лицо через img2img держится плохо.

Img2img: что это и чем отличается от text2img

Обычная генерация по тексту, text2img, начинается с чистого случайного шума. Модель шаг за шагом вычищает из него картинку, подглядывая в описание. Ей не на что опереться, кроме слов, поэтому композицию, позу и цвета она выбирает сама.

В img2img стартовая точка другая. Модель берёт твою картинку, подмешивает к ней шум и дальше делает то же самое: вычищает. Но под шумом остались пятна, силуэты и цвета оригинала, и модель невольно следует за ними.

Представь рисунок карандашом, который наполовину затёрли ластиком. Художник видит, где была фигура, где окно, где тёмный угол, и дорисовывает по этим следам. Чем сильнее затёрли, тем больше он додумывает сам. Img2img это ровно такой художник, а ластик у него регулируется ползунком.

Идея старше самой Stable Diffusion. Её описали в работе SDEdit в 2021 году: добавить к изображению шум и восстановить его диффузионной моделью, чтобы грубый набросок превратился в реалистичную картинку. Потом приём стал стандартной вкладкой почти во всех интерфейсах.

Как модель вообще вычищает картинку из шума, разобрано в статье про диффузию простыми словами. Для img2img хватит понимать, что шум и шаги работают одинаково, разница только в том, с чего начинают.

Сила шума: главный ползунок img2img

Этот параметр называют по-разному: denoising strength в Stable Diffusion WebUI и Forge, denoise в ComfyUI, strength в библиотеке diffusers. Смысл один: какую долю пути от исходника к чистому шуму проходит картинка перед тем, как модель начнёт её восстанавливать.

Документация diffusers объясняет это через шаги. Если генерация идёт 50 шагов, а сила стоит на 0.8, к исходнику добавляют шум на 40 шагов, и модель 40 шагов его убирает. При силе 1.0 исходник почти игнорируется, и выходит обычная генерация по тексту.

Отсюда простое следствие. Слабая сила это мало шагов и мало изменений. Сильная это много шагов, и у модели больше времени увести картинку от оригинала.

На практике удобно начинать с середины, около 0.5, и двигаться шагом в одну десятую. Картинка слишком похожа на исходник, прибавь. Уехала в чужую сцену, убавь. Три-четыре пробы обычно показывают, где у конкретной модели проходит граница между «поправить» и «перерисовать».

Три сцены: 0.3, 0.6 и 0.9

Цифры ниже ориентировочные, у разных моделей границы сдвигаются, но общая картина везде похожа. Допустим, исходник у тебя один: фото на кухне, ты в серой футболке держишь кружку, свет из окна слева.

На 0.3 ты получаешь своё же фото, как будто прошедшее через хороший фильтр. Попросишь «кинематографичный вечерний свет», и кухня потеплеет, тени станут глубже. Лицо остаётся твоим, потому что шум почти не успел его стереть.

На 0.6 начинается интересное и опасное. Можно попросить «в белой льняной рубашке на веранде загородного дома», и поза с кружкой сохранится, а кухня превратится в веранду. Лицо при этом станет похожим на тебя примерно как фоторобот: общая форма головы та же, причёска та же, а нос, глаза и улыбка уже нарисованы моделью.

На 0.9 от кухни остаётся светлое пятно окна слева и тёмная фигура посередине. Модель рисует по тексту почти с нуля, и на картинке может оказаться человек другого возраста и другого телосложения. Знакомые тебя там не узнают, и не должны. Для обложки плейлиста это нормально, для аватарки провал.

Генерация img2img: для чего она хороша

Img2img лучше всего работает там, где исходник важен как композиция, а не как точная копия.

• Смена стиля. Фото города превращается в акварель или в кадр из старого фильма.
• Доработка наброска. Грубая картинка от руки или коллаж становятся чистой иллюстрацией.
• Вариации. Удачный сгенерированный кадр прогоняют на слабой силе, чтобы получить несколько похожих версий.
• Правка света и цвета. Дневной снимок получает вечерний свет без смены сцены.
• Подготовка к апскейлу. Небольшой проход на слабой силе добавляет мелких деталей перед увеличением.

Кнопка «по картинке» в онлайн-генераторах, которую ищут как img2img AI, часто устроена так же, просто без ползунка на виду. Сервис сам выбирает силу шума, и поэтому результат иногда почти повторяет исходник, а иногда уходит от него далеко. Если у сервиса есть настройка вроде «насколько следовать картинке», это она и есть, только названная по-человечески.

Скажем, ты нарисовал схему комнаты для ремонта из прямоугольников на планшете. Img2img на средней силе с описанием «скандинавский интерьер, светлое дерево, льняные шторы» превратит схему в правдоподобную картинку той же планировки.

Stable Diffusion img2img и ComfyUI: где это настраивается

В Stable Diffusion WebUI и Forge для этого есть отдельная вкладка img2img. Туда загружается картинка, пишется промпт, выставляется denoising strength. Рядом обычно есть режимы для перерисовки части кадра по маске, но это уже инпейнтинг, отдельный приём со своими правилами.

В ComfyUI img2img это не вкладка, а небольшая перестройка схемы. Вместо узла с пустым латентным изображением ставится загрузка картинки и её кодирование в латентное пространство. Дальше всё как обычно, только у семплера параметр denoise опускается ниже единицы. Если забыть его опустить, семплер сотрёт исходник целиком, и ты будешь долго искать, почему картинка не похожа ни на что.

Img2img часто совмещают с ControlNet. Исходник задаёт цвета и общую картинку, а ControlNet отдельно держит позу или контуры. Так можно поднять силу шума, чтобы сильнее сменить сцену, и при этом не потерять позу. Как ControlNet работает сам по себе, разобрано в статье про ControlNet.

Почему через img2img лицо уплывает

Модель не знает тебя. Она видит зашумлённую картинку, на которой лицо это несколько пятен: светлое пятно кожи, тёмные пятна глаз и бровей, линия рта. Всё, что шум стёр, она восстанавливает по памяти о миллионах чужих лиц, подстраиваясь под текст.

На слабой силе шум задевает немногое, и черты держатся. На средней исчезает ровно то, что делает тебя тобой: разрез глаз, форма носа, асимметрия улыбки. Эти детали мелкие, и шум съедает их первыми. Модель рисует на их месте что-то правдоподобное и среднее.

Второй подвох в повторах. Представь, что ты прогоняешь кадр через img2img, берёшь результат и прогоняешь ещё раз, чтобы поправить фон. Каждый проход немного сдвигает лицо, и сдвиги складываются. На четвёртом круге на картинке красивый мужчина, похожий на твоего двоюродного брата.

Отсюда рабочее правило: если важно лицо, держи силу низкой и не гоняй один кадр по кругу. Если нужна новая сцена, img2img для портрета просто неподходящий инструмент.

Img2img против обучения модели

Img2img пытается сохранить лицо из одной картинки, которую сам же зашумил. Обучение личной модели работает иначе: модель смотрит на 15-20 твоих фото с разных сторон и запоминает лицо в своих весах. После этого ей не нужен исходник, чтобы нарисовать тебя в новой сцене.

Разница видна на той же кухне. Img2img на средней силе даст веранду и примерно похожего человека. Обученная модель нарисует веранду с нуля, и лицо будет держаться, потому что оно берётся из выученного, а не из пятен на затёртом фото. Способы держать лицо по шагам сравниваются в статье про генерацию по фото.

Есть и третий путь, между этими двумя: дать модели несколько реальных снимков как образцы при каждом кадре, без обучения. Так работают редактирующие модели, и так устроен наш каталог.

Когда img2img подходит, а когда нет

Подходит для стиля, света, вариаций, набросков и для кадров, где человек далеко или не главный. Бесполезен, если нужен узнаваемый портрет в новой сцене, особенно серия кадров.

Если нужны именно твои портреты, у нас в каталоге больше 600 сцен: при каждом кадре модель получает 4 твоих реальных снимка, пакеты от 490 ₽.

Частые вопросы