TLDR: Че тут происходит вообще? Я тут делюсь своим опытом по работе с нейронками. Если тебе эта тема интересна, но ты только начал вникать загляни ко мне в профиль или в конец статьи, там есть полезные ссылки. Сейчас это может быть слишком сложным для тебя.
Сегодня расскажу про одну из самых вау фишек ControlNet.
Интересно что эта возможность была доступна со старта, но ее не сразу нашли.
Прежде чем начать, кратко для новоприбывших, как установить контролнет. В автоматике идем в Extension-Available жмем Load from. Ищем ControlNet, жмем Install. Скачиваем модели. Сегодня нам понадобится depth. И кидаем по пути ваша_папка_с_автоматиком\extensions\sd-webui-controlnet\models. Всё. Вы готовы. Можем начинать. Если не совсем готовы можете прочитать мою статью про ControlNet - полный контроль над позой и положением персонажа. И Установка и объяснение настроек Control Net. (Копирование позы, композиции и т.д.)
Запускаем наш automatic1111. Нам нужна сгенерированная картинка с которой будем работать.
Я возьму старую и закину в img2img через pngInfo чтобы применились все настройки генерации.
Теперь нужно активировать ControlNet и закинуть в него туже самую картинку. Препроцессор выбираем depth модель control_depth.
Что мы сделали? У нас все параметры генерации настроены так, чтобы сгенерировать ту же самую картинку. Но генерировать мы ее будем по карте глубины этой самой картинки. А теперь самая главная магия. Мы поменяем исходное изображение на что-нибудь интересное, например на чёрно-белую картинку с нарисованным светом (легко найти в интернете по запросу свет на черном фоне).
В итоге получаем наш промпт, который применен к карте обьема нашей же картинке в контролнете только ко всему этому мы подмешиваем еще одну картинку.
И это все так гладко ложится потому что у нас есть информация об объеме нашего изображения. Надеюсь понятно объяснил .
Но даже если не понятно, не важно. Это просто работает).
Сейчас настройки выглядят так
Теперь необходимо настроить Denoising strength. Тут все просто, чем ближе к левой части тем ближе вы будете к картинке вверху, в данный момент освещения. Чем ближе к правой, к картинке в контролнете.
В крайнем левом будет просто наша картинка со светом.
Ваша задача найти баланс для вашей сцены.
Для меня это где-то в диапазоне 0.5 до 0.9. Сделаю для вас сравнение через XYZ Plot. Как им пользоваться рассказывал у себя на канале.
0.3-1 [8] - Значит: сгенерируй 8 изображений с равным шагом в диапазоне межу ноль три и один.
И теперь самое интересное.
Мы можем использовать одно и то же изображение для получения разных результатов. Например, сейчас будем перемещать источник света.
Идем к нашему свету, нажимаем карандаш и указываем какую область картинки мы хотим использовать:
Внимание. На дату написания этого гайда 04.04.23 в актуальной версии автоматика, то что я показываю далее работает не корректно (картинка обрезается). Для записи гайда я откатился на более старое обновление. Как это делать рассказывал тут.
Можно уменьшать область и тем самым указать только верхний пучок или наоборот только низ.
Пример с другой картинкой:
Конечно же вы можете использовать как референс другие изображения:
Мы можем рисовать свет сами. Для этого выставляем все вот так. (Я взял другую картинку, более подходящую для того что сейчас будем делать)
И отправляем верхнюю картинку в скетч.
В скетче намечаем наш новый свет.
Да, я хз как правильно рисовать свет, поэтому я в нейронках
Хочу чтобы рефлекс от экрана проявлялся сильнее. Могу сгенерировать прямо отсюда, но это покрасит мне все волосы в рыжий.
Поэтому отправляю в инпейнт.
К сожалению, у меня получилась скорее гематома, этот инструмент для кого-то порукастее, чем я .
Попробую восстановить свою репутацию на другой картинке.
Ладно, всё, сдаюсь. Надеюсь в ваших руках этот инструмент будет полезней .
А на этом на сегодня всё.
Нейронная академия - мой канал для которого пишу гайды, новости, советы.
Наш чат - место где мы общаемся, делимся работами, помогаем друг другу с решением проблем.
Интенсив - где за 2 дня собираемся обучить всех желающих основам использования SD.
Челенджи - раз в день, неделю, месяц публикуем тему и выясняем кто справился лучше.
А так же ютуб канал и бусти с доп материалами.
