Горячее
Лучшее
Свежее
Подписки
Сообщества
Блоги
Эксперты

Stable Diffusion + Обучение

С этим тегом используют

Арты нейросетей Арт Нейронные сети Девушки Эротика Аниме Anime Art Образование Учеба Урок Программирование IT Английский язык YouTube Все
86 постов сначала свежее
33

Обучение модели с помощью LoRA (версия для десктопа). На примере датасета полученного из самой нейронки⁠⁠

TLDR: Че тут происходит вообще? Я тут делюсь своим опытом по работе с нейронкам. Если тебе эта тема интересна, но ты только начал вникать загляни ко мне в профиль или в конец статьи, там есть полезные ссылки. Сейчас это может быть слишком сложным для тебя.

В прошлый раз я делал что-то вроде этого:

Обучение модели с помощью LoRA (версия для десктопа). На примере датасета полученного из самой нейронки Обучение, Нейронные сети, Арты нейросетей, Stable Diffusion, Цифровой рисунок, Digital, 2D, Рисунок, Компьютерная графика, Искусственный интеллект, Длиннопост

Это расширение уже имеющейся статьи по обучению Лоры в гугл колабе. Я периодически буду ссылаться на нее. Полезно прочитать обе статьи. Все на примере Kohya ss.

Сегодня я научу вас тренировать модель на лицах, причем я буду использовать синтетический датасет, чтобы показать что это можно делать так же как и с фото людей.

Если в ходе установки или работы у вас возникнут какие-то проблемы вы можете обратиться за помощью в наш чат.

Установка:

Зависимости:

Предоставляем доступ для оболочки PowerShell, чтобы она могла работать со скриптами:

  • Запустите PowerShell от имени администратора (ПКМ по значку Windows - Windows PowerShell administrator)

  • Запустите команду Set-ExecutionPolicy Unrestricted ответьте 'A'

  • Закройте PowerShell

Если в ходе выдачи доступа возникает ошибка в предоставлении этого самого доступа. Что-то вроде этого:

Оболочка Windows PowerShell успешно обновила вашу политику выполнения, но данный параметр переопределяется политикой, определенной в более конкретной области. В связи с переопределением оболочка сохранит текущую политику выполнения "Unrestricted". Для просмотра параметров политики выполнения введите "Get-ExecutionPolicy -List". Для получения дополнительных сведений введите "Get-Help Set-ExecutionPolicy".

Нажмите Win + R. Введите gpedit.msc. Энтер. Пройдите по пути как на скрине, дважды нажмите на “Включить выполнение сценариев”:

Обучение модели с помощью LoRA (версия для десктопа). На примере датасета полученного из самой нейронки Обучение, Нейронные сети, Арты нейросетей, Stable Diffusion, Цифровой рисунок, Digital, 2D, Рисунок, Компьютерная графика, Искусственный интеллект, Длиннопост

Далее. Ставим включить. В политике выполнения выбираем “Разрешить все сценарии”.

Обучение модели с помощью LoRA (версия для десктопа). На примере датасета полученного из самой нейронки Обучение, Нейронные сети, Арты нейросетей, Stable Diffusion, Цифровой рисунок, Digital, 2D, Рисунок, Компьютерная графика, Искусственный интеллект, Длиннопост

Закройте PowerShell.

Перейдите в папку где вы хотели бы хранить файлы скрипта. Нажмите на путь и введите вместо него PowerShell. Энтер. Так мы будем выполнять скрипты из этой папки.

Обучение модели с помощью LoRA (версия для десктопа). На примере датасета полученного из самой нейронки Обучение, Нейронные сети, Арты нейросетей, Stable Diffusion, Цифровой рисунок, Digital, 2D, Рисунок, Компьютерная графика, Искусственный интеллект, Длиннопост

Скопируйте скрипт ниже и вставьте в ваш PowerShell. Энтер.

git clone https://github.com/bmaltais/kohya_ss.git

cd kohya_ss

python -m venv venv

.\venv\Scripts\activate

pip install torch==1.12.1+cu116 torchvision==0.13.1+cu116 --extra-index-url https://download.pytorch.org/whl/cu116

pip install --use-pep517 --upgrade -r requirements.txt

pip install -U -I --no-deps https://github.com/C43H66N12O12S2/stable-diffusion-webui/rel...

cp .\bitsandbytes_windows\*.dll .\venv\Lib\site-packages\bitsandbytes\

cp .\bitsandbytes_windows\cextension.py .\venv\Lib\site-packages\bitsandbytes\cextension.py

cp .\bitsandbytes_windows\main.py .\venv\Lib\site-packages\bitsandbytes\cuda_setup\main.py

accelerate config

Ждем пока не появится вот такая строка

Обучение модели с помощью LoRA (версия для десктопа). На примере датасета полученного из самой нейронки Обучение, Нейронные сети, Арты нейросетей, Stable Diffusion, Цифровой рисунок, Digital, 2D, Рисунок, Компьютерная графика, Искусственный интеллект, Длиннопост

Нажмите энтер, начнется настройка. Что вам нужно выбирать написано на скрине ниже.

Обучение модели с помощью LoRA (версия для десктопа). На примере датасета полученного из самой нейронки Обучение, Нейронные сети, Арты нейросетей, Stable Diffusion, Цифровой рисунок, Digital, 2D, Рисунок, Компьютерная графика, Искусственный интеллект, Длиннопост
Обучение модели с помощью LoRA (версия для десктопа). На примере датасета полученного из самой нейронки Обучение, Нейронные сети, Арты нейросетей, Stable Diffusion, Цифровой рисунок, Digital, 2D, Рисунок, Компьютерная графика, Искусственный интеллект, Длиннопост

Выбираем цифрами. 0 - это первый пункт, 1 - второй и т.д. Либо будет предложено ввести yes или no.

Опциональный блок для владельцев карт 30\40 серии:

Скачайте архив. Поместите папку из него (cudnn_windows) в корневую папку куда вы устанавливаете скрипты в данный момент. В командной строке, из корневой папки со скриптами выполните данные команды. По информации с гитхаба может дать значительный прирост скорости обучения.

.\venv\Scripts\activate

python .\tools\cudann_1.8_install.py

На этом установка и настройка завершены. Если вы хотите обновить скрипты. То опять же. Запуск командной строки из папки со скриптами. Вставить. Энтер

git pull

.\venv\Scripts\activate

pip install --use-pep517 --upgrade -r requirements.txt

На этом вообще можно было бы и закончить и отправить вас читать версию для коллаба, но я продолжу

Тренируем:

Запустите оболочку через gui.bat

Обучение модели с помощью LoRA (версия для десктопа). На примере датасета полученного из самой нейронки Обучение, Нейронные сети, Арты нейросетей, Stable Diffusion, Цифровой рисунок, Digital, 2D, Рисунок, Компьютерная графика, Искусственный интеллект, Длиннопост

После запуска переходим на http://127.0.0.1:7860/?__theme=dark (ну или http://127.0.0.1:7861/?__theme=dark если был запущен автоматик)

Сразу переходим во вкладку Dreamboot LoRA. Тут нужно либо выбрать модель на вашем ПК нажав на белый листик и указав путь. Либо модель из списка. Она будет скачана скриптом.

Обучение модели с помощью LoRA (версия для десктопа). На примере датасета полученного из самой нейронки Обучение, Нейронные сети, Арты нейросетей, Stable Diffusion, Цифровой рисунок, Digital, 2D, Рисунок, Компьютерная графика, Искусственный интеллект, Длиннопост

v2 - Ставите галку если тренируете на второй версии диффузии

v_parameterization - если на версии 2.1 с параметризацией то и эту

Save trained model as - в каком формате будет сохранена ваша модель. Для автоматика, на текущую дату, оставляйте safetensors.

После выбора модели идем на вкладку Folders. Я буду пробовать тренировать на Deliberate 2. Хотя обычно делаю это на SD 1.5.

Обучение модели с помощью LoRA (версия для десктопа). На примере датасета полученного из самой нейронки Обучение, Нейронные сети, Арты нейросетей, Stable Diffusion, Цифровой рисунок, Digital, 2D, Рисунок, Компьютерная графика, Искусственный интеллект, Длиннопост

Image folder - Тут указываем папку на ваш датасет, не прямо на картинки с описанием, а на папку, где эта самая папка лежит.

Обучение модели с помощью LoRA (версия для десктопа). На примере датасета полученного из самой нейронки Обучение, Нейронные сети, Арты нейросетей, Stable Diffusion, Цифровой рисунок, Digital, 2D, Рисунок, Компьютерная графика, Искусственный интеллект, Длиннопост

Как подготовить дата сет я писал в гайде по коллабу, так как эта инфа верна на 101% и для этого способа, чтобы не раздувать статью просто прочитайте часть про датасет в статье про колаб.

Output folder - папка куда будет сохранен файл модели

Regularisation folder - папка в регуляризационными фотографиями. Если кратко нужны, чтобы избавиться от стиля. Туда кладутся фотки без какой-то стилизации напоминающие то на что вы тренируете. Я ни разу не использовал. По идее если хотите натренировать на стилизованного персонажа можно выбрать туже папку с датасетом. Видел как так делают. Работает ли? Не знаю

Logging folder - укажите куда будут сохраняться логи.

Model output name - имя итогового файла модели. Только файла. К ключевому слову тригеру отношения не имеет. Тригер задается в датасете.

Training comment - просто комментарий который будет добавлен в метедату файла модели.

Идём на Training parameters:

Обучение модели с помощью LoRA (версия для десктопа). На примере датасета полученного из самой нейронки Обучение, Нейронные сети, Арты нейросетей, Stable Diffusion, Цифровой рисунок, Digital, 2D, Рисунок, Компьютерная графика, Искусственный интеллект, Длиннопост

Lora type - что-то новенькое. Судя по репозиторию LoCon должен обучать модель более эффективно. Но сегодня без экспериментов. (Для меня. Вы конечно попробуйте и поделитесь результатом)

LoRA network weights - указать путь к уже существующей Лора, чтобы продолжить тренировку.

Caption extension - расширение файлов подсказки. Те самые которые должны лежать у вас рядом с картинками вашем датасете. у меня это “.txt”.

Train batch size - Оставляю 1. Эта настройка может ускорить обучение, но в тоже время это происходит из за того что сеть берет сразу несколько картинок и берет как бы среднее значение между ними. Логично что жрет VRAM так что у кого мало много не выкрутить.

Epoch - сколько эпох. Если просто это кол-во проходов по вашему датасету. Например, у вас два варианта. Оставить тут 1, а папку с датасетом назвать 100_keyword, тогда сеть пройдет по картинкам 100 раз. А можно назвать папку 10_keyword. Поставить 10 эпох. Значит сеть пройдет 10 раз по 10 в итоге снова 100. Но эпохи можно сохранять в разделе Save every N epochs. Поставив например 2. У вас в итоге получится 5 файлов Лора каждый из которых натренирован на разном количестве проходов. Это удобный способ избежать недотренированности\перетренированности, вы просто проверяете все файлы и оставляете лучший.

Mixed precision и Save_precision - точность. Все ставят fp16 и я ставлю. Хотя моя карта поддерживает bf16 и она вроде как точнее и потребляет меньше памяти, но я что-то меняю когда что-то не получается. А тут все получается.

Number of CPU threads per core - количество потоков на ядро. У меня два. У вас гуглите.

Learning rate scheduler - кривая обучения. Не уверен, что вы захотите это читать. Кратко, по какой кривой менять скорость обучения. Мне нравится constant. То есть, не меняется.

seed - хорошая идея его фиксировать для обучения. Потому что например вы сделали Лору, а она не ок. Как можно быть уверенным что просто не повезло с сидом? Такое бывает. Сид не лег на тренировку. Поэтому можно оставить тот же сид, но поменять параметры. Или наоборот, поменять сид не меняя параметры.

Learning rate - он перекрывается Юнит леарнинг рейтом. Не трогаю.

LR warmup (% of steps) - разминочные проходы на низкой скорости. Для константы ставлю 0

Cache latent - кэширует некоторые файлы, что ускоряет обучение

Text Encoder learning rate - управляет тем как ИИ понимает текстовые подсказки. Если ваша модель выдает слишком много нежелательных объектов(могла нахвататься с вашего дата сета) уменьшите это значение. Если наоборот объекты плохо проявляются. Увеличьте или вместо этого увеличьте количество шагов обучения. Стандартное значение 5e-5 что равно 0.00005. Его и оставлю.

Unet learning rate - что-то вроде памяти, имеет информацию о том как элементы взаимодействуют друг с другом. Первое куда стоит смотреть если обучение не получилось. Сначала рекомендую пройтись со стандартными параметрами и что-то крутить только когда вроде все должно было получиться, но не получилось. Если итоговая модель выдает визуальный шум вместо нормального изображения то значение слишком высокое. попробуйте слегка уменьшить и повторить. Тоже не трогаю

Network Rank (Dimension) - ****во первых это повлияет на итоговый размер вашего файла Лора, примерно 1 за 1 мегабайт. Во вторых чем выше значение тем выше выразительность вашего обучения. 128 как по мне является хорошим соотношением. Его оставляем, но если вашей итоговой модели этой самой выразительности не хватает попробуйте увеличить. Быстрая скорость обучения развязывает руки для экспериментов.

Network Alpha - во первых это значение должно быть ниже либо равным network_dim и нужно для предотвращения ошибок точности. Чем ниже значение тем сильнее замедляет обучение. Зачем замедлять обучение? Это точно в другой раз, иначе эта статья не кончится 😅. Я ставлю равным Network Rank (Dimension).

Max resolution - Максимальное разрешение

Stop text encoder training - когда остановить кодер. Никогда не использовал и не видел чтобы кто-то как-то применял.

Enable buckets - даст возможность использовать изображения не квадратным соотношением сторон, обрезав их. Но лучше готовить датасет нормально.

Дополнительные настройки:

Flip augmentation - Если набор совсем маленький можно попробовать включить. Дополнительно создаст отраженные версии картинок

Clip skip - Нейросеть работает слоями. Эта цифра означает сколько последних слоев мы хотим пропустить, обычно она выбирает в зависимости от модели. Тут стоит два так как колаб был рассчитан на аниме модель. Чем раньше остановились тем меньше слоев нейросети обработали подсказку. Комментарий с вики: Некоторые модели были обучены с использованием такого рода настроек, поэтому установка этого значения помогает добиться лучших результатов на этих моделях. Я поставлю 1. Я не тренил на делиберейт и не знаю что тут на самом деле лучше.

Memory efficient attention - если не хватает памяти

Noise offset - Если коротко дает диффузии больше простора для внесения изменений. В основном влияет на яркость\затемненность картинки. Длинно тут. В прошлом гайде ставил 0, с того момента кое-что почитал, ставлю 0.1. Сможем делать более темные и светлые картинки чем по дефолту.

Resume from saved training state - если тренировка по какой-то причине была прервана тут вы можете ее продолжить. Чтобы такая возможность была, поставьте галку на Save training state.

Optimizer - В подробном объяснение будут такие слова как квантование, стохастические градиенты и так далее. Оставляем по умолчанию. Я видел тесты людей, и этот показывал себя хорошо. Думаю ничего не изменилось.

Все настройки можно сохранить чтобы не вбивать заново. В самом верху раскройте меню. Укажите папку куда хотите сохранить, имя файла и расширение json. Save

Обучение модели с помощью LoRA (версия для десктопа). На примере датасета полученного из самой нейронки Обучение, Нейронные сети, Арты нейросетей, Stable Diffusion, Цифровой рисунок, Digital, 2D, Рисунок, Компьютерная графика, Искусственный интеллект, Длиннопост

Итоговые настройки у меня будут такие(дополнительные по умолчанию):

Обучение модели с помощью LoRA (версия для десктопа). На примере датасета полученного из самой нейронки Обучение, Нейронные сети, Арты нейросетей, Stable Diffusion, Цифровой рисунок, Digital, 2D, Рисунок, Компьютерная графика, Искусственный интеллект, Длиннопост
Обучение модели с помощью LoRA (версия для десктопа). На примере датасета полученного из самой нейронки Обучение, Нейронные сети, Арты нейросетей, Stable Diffusion, Цифровой рисунок, Digital, 2D, Рисунок, Компьютерная графика, Искусственный интеллект, Длиннопост

Они зависят от того на чем и что тренируете, если что-то сработает для меня не значит что так же сработает и у вас.

Мой датасет выглядит вот так(выложил на своем бусти, 768х768). Он синтетический, то есть сгенерирован, я натренирую так чтобы бы это лицо я мог вызывать по желанию на разных моделях. Рекомендуется использовать 25-30 фотографий если речь о лице. Для стиля можно и 100, но их можно и не описывать. Посмотрим чего можно добиться с 8ю и с неидеально совпадающей внешностью.

Как видите моя версия файла настройки и название будущего файла Лора совпадает, рекомендую делать так же.

Обучение модели с помощью LoRA (версия для десктопа). На примере датасета полученного из самой нейронки Обучение, Нейронные сети, Арты нейросетей, Stable Diffusion, Цифровой рисунок, Digital, 2D, Рисунок, Компьютерная графика, Искусственный интеллект, Длиннопост

Колличество проходов по папке установлено в 20*5 эпох 100 проходов. Это по каждой картинке, а картинок у нас 8 итого получим 800 проходов. Для лица это нормальная цифра.

Процесс пошел:

Обучение модели с помощью LoRA (версия для десктопа). На примере датасета полученного из самой нейронки Обучение, Нейронные сети, Арты нейросетей, Stable Diffusion, Цифровой рисунок, Digital, 2D, Рисунок, Компьютерная графика, Искусственный интеллект, Длиннопост

Через несколько минут наши лора готовы. У меня они сразу лежат где надо так как я указал сохранять их в папку с лора.

Обучение модели с помощью LoRA (версия для десктопа). На примере датасета полученного из самой нейронки Обучение, Нейронные сети, Арты нейросетей, Stable Diffusion, Цифровой рисунок, Digital, 2D, Рисунок, Компьютерная графика, Искусственный интеллект, Длиннопост

Генерируем:

Rev Animated

Обучение модели с помощью LoRA (версия для десктопа). На примере датасета полученного из самой нейронки Обучение, Нейронные сети, Арты нейросетей, Stable Diffusion, Цифровой рисунок, Digital, 2D, Рисунок, Компьютерная графика, Искусственный интеллект, Длиннопост

Я слишком долго его писал чтобы угодить в клубничку из за пары картинок 😅. Так парюсь будто этот пост соберет больш 20 плюсов 🤔

Deliberate:

Обучение модели с помощью LoRA (версия для десктопа). На примере датасета полученного из самой нейронки Обучение, Нейронные сети, Арты нейросетей, Stable Diffusion, Цифровой рисунок, Digital, 2D, Рисунок, Компьютерная графика, Искусственный интеллект, Длиннопост

Модели разные, а лицо одинаковое. Чтд. Идеальны ли они? Конечно нет. Перечислю ошибки которые вам лучше не допускать чтобы результаты были лучше.

Подход к датасету. У меня он синтетический(это не плохо, просто я не готовил его специально, а взял первое попавшееся), они не супер похожи, он очень маленький и так же важно то что разрешение было 512, а лица на фото мелкие, для лица лучше тренировать на фотографиях примерно от верхней части груди это самое близкое и по пояс самое далекое. (Примерно!).

Тренировка на разрешении 768 чуть улучшило бы ситуацию. Но я этого делать не буду. Это был урок, о том как тренировать на ПК, так как многим не удобно пользоваться коллабом. Как это делать хорошо и на разных вещах таких как предметы, персонажи целиком, стили и тд. В следующих гайдах. Подписывайтесь 🙄.

Поделиться результатом или задать вопрос вы можете в нашем комьюнити.

Больше гайдов на моем канале, подписывайтесь чтобы не пропустить.

На моем бусти вы сможете найти датасеты для обучения, доп материалы к гайдам.

Показать полностью 19
[моё] Обучение Нейронные сети Арты нейросетей Stable Diffusion Цифровой рисунок Digital 2D Рисунок Компьютерная графика Искусственный интеллект Длиннопост
12
50

Попробовал модель ReV Animated⁠⁠

Попробовал модель ReV Animated Нейронные сети, Обучение, Арты нейросетей, Stable Diffusion, Digital, Цифровой рисунок, Рисунок, 2D, Длиннопост
Попробовал модель ReV Animated Нейронные сети, Обучение, Арты нейросетей, Stable Diffusion, Digital, Цифровой рисунок, Рисунок, 2D, Длиннопост
Попробовал модель ReV Animated Нейронные сети, Обучение, Арты нейросетей, Stable Diffusion, Digital, Цифровой рисунок, Рисунок, 2D, Длиннопост
Попробовал модель ReV Animated Нейронные сети, Обучение, Арты нейросетей, Stable Diffusion, Digital, Цифровой рисунок, Рисунок, 2D, Длиннопост
Попробовал модель ReV Animated Нейронные сети, Обучение, Арты нейросетей, Stable Diffusion, Digital, Цифровой рисунок, Рисунок, 2D, Длиннопост
Попробовал модель ReV Animated Нейронные сети, Обучение, Арты нейросетей, Stable Diffusion, Digital, Цифровой рисунок, Рисунок, 2D, Длиннопост
Попробовал модель ReV Animated Нейронные сети, Обучение, Арты нейросетей, Stable Diffusion, Digital, Цифровой рисунок, Рисунок, 2D, Длиннопост
Попробовал модель ReV Animated Нейронные сети, Обучение, Арты нейросетей, Stable Diffusion, Digital, Цифровой рисунок, Рисунок, 2D, Длиннопост
Попробовал модель ReV Animated Нейронные сети, Обучение, Арты нейросетей, Stable Diffusion, Digital, Цифровой рисунок, Рисунок, 2D, Длиннопост

Имеет интересный, своеобразный стиль. Очень тяготеет к раздеванию, лица часто уж слишком детские, делаю постарше через middle-aged. Может быть довольно деревянной на лица, которые как я заметил, привязаны к местности. Можно поменять половину промпта, но лицо будет практически тоже самое. На паре картинок смешал Меган Фокс и Кару Делевинь, с этим справляется хорошо. Фигуру тоже нужно прописывать, иначе будет практически одинаковая у всех.

Больше примеров и промпты в нашем чате нейроэнтузиастов (ссылка сразу на картинки). Внимание! Присутствует NSFW.

Если вас интересует как научиться делать подобное заходите на мой канал, где я абсолютно бесплатно делаю гайды для всех желающих.

Показать полностью 9
[моё] Нейронные сети Обучение Арты нейросетей Stable Diffusion Digital Цифровой рисунок Рисунок 2D Длиннопост
7
20

CFG Scale глазами художника⁠⁠

Как написано везде, показатель CFG Scale влияет на соответствие картинки промту. Чем ниже, тем креативнее, чем выше тем, точнее попадание. Возможно, именно такой смысл и был заложен разработчиками, но я, как художник, интерпретирую его иначе.

Данные, используемые при генерации: Размер 600*400 Алгоритм: Euler a  модель: sd-v1-4 Promt: digital, architecture, vibrant, landscape, James Gilleard

Давайте рассмотрим как влияет на арт CFG Scale, возьмем для начала Sampling steps:10

CFG Scale глазами художника Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Гайд, Инструкция, Обучение, Длиннопост

CFG Scale:1 Сначала все формы аморфны, нет четких границ, много мазков. Рисунок как будто нарисован мягкой кистью. Много градаций тона в среднем диапазоне (Brightness в графических редакторах), типа 50 оттенков серого =). Цвета блеклые (Saturation низкий). Можно сказать, что это близко к живописи, даже скорее к начальным стадиям работы над живописной работой до перехода к детализации.

CFG Scale глазами художника Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Гайд, Инструкция, Обучение, Длиннопост

CFG Scale:2 Формы начинают имеют более четкие очертания, как если бы мы взяли уже кисть пожестче. Проявляются детали. Тональных переходов меньше, появляются более темные и светлые участки. Цвета становятся насыщеннее. Появляются очертания объектов.

CFG Scale глазами художника Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Гайд, Инструкция, Обучение, Длиннопост

CFG Scale:3 Все эффекты усиливаются. Детали точнее, цвета еще насыщеннее, многие формы становятся геометричнее. Мягкие мазки все больше уступают жестким. Уже на этом этапе картинка выглядит законченной. Кажется дальше станет еще лучше?

CFG Scale глазами художника Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Гайд, Инструкция, Обучение, Длиннопост

CFG Scale:4  Формы начинают сливаться, цвета еще ярче. Идет укрупнение отдельных цветовых пятен, потому что эффект сокращения тональных переходов тоже продолжается, и те детали, что по тону (brightness) были близки к друг другу, начали сливаться в один шейп. Цветовая палитра таким образом становится все меньше. То есть можно сказать, что по стилю  мы движемся к векторной графике.

CFG Scale глазами художника Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Гайд, Инструкция, Обучение, Длиннопост

CFG Scale:5 Еще насыщеннее цвета, еще сильнее сливаются формы. Края шейпов становят геометричнее. Крайние значения тона увеличиваются - мы уже видим почти белые и черные участки. (На шкале Brightness захватываются все более крайние значения).

Давайте теперь повысим Sampling steps до 15. Так изменения будут нагляднее.

CFG Scale глазами художника Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Гайд, Инструкция, Обучение, Длиннопост

CFG Scale:8 Мало деталей, все слилось в общие крупные геометрические формы, насыщенность завышена. Правда, появились градиенты - неожиданно =). Очень похоже на векторную графику.

CFG Scale глазами художника Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Гайд, Инструкция, Обучение, Длиннопост

CFG Scale:20 Повышая еще CFG Scale и Sampling steps мы пришли  к абстракции. Остались самые крупные формы. Маленькая цветовая палитра. Почти нет тональных переходов.

Выводы:

Увеличивая CFG Scale:

  1. Мы движемся от живописности через реализм к абстракции.

  2. Насыщенность становится все выше. (Растет показатель Saturation для всех цветов)

  3. Крайние значения светлого и темного увеличиваются, а количество оттенков сокращается.

Очень неудобно, что цвета на высоких значениях CFG Scale слишком яркие и блеклые на низких значениях. Это момент сбивает с толку при работе.

Как мне кажется, это лишь какой-то побочный эффект, и его не стоит учитывать, меняя показатель CFG Scale во время генерации.

Все эти изменения цвета при повышении CFG Scale  равносильны тому, как двигать крайние значения в Уровнях (Levels) в фотошопе ближе к центру.

CFG Scale глазами художника Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Гайд, Инструкция, Обучение, Длиннопост

Теперь мы легко можем это исправить.

Лайфхак:

Закидываем пережаренную по цветам картинку в ФШ, создаем слой с коррекцией уровня над слоем с картинкой,  в окне свойства сдвигаем крайние точки на нижнем градиенте.

CFG Scale глазами художника Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Гайд, Инструкция, Обучение, Длиннопост

На значениях 20 и 235 я изменила цвета на картинке с  CFG Scale:5 до таких же, как на картинке с CFG Scale:4

CFG Scale глазами художника Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Гайд, Инструкция, Обучение, Длиннопост

А чтобы из блеклой картинки сделать яркую, двигаем крайние точки на диаграмме.

CFG Scale глазами художника Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Гайд, Инструкция, Обучение, Длиннопост

На тех же значениях 20 и 235 изменились цвета на картинке с  CFG Scale:4 до таких же, как на картинке с CFG Scale:5

CFG Scale глазами художника Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Гайд, Инструкция, Обучение, Длиннопост

Можно вообще не париться об эффекте с цветом, а использовать CFG Scale только как показатель влияющий на стиль картинки.

Диаграмма для запоминания:

CFG Scale глазами художника Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Гайд, Инструкция, Обучение, Длиннопост

Важно: на низких CFG Scale не стоит ставить высокий Sampling steps, художественные работы начинают выглядеть плохо.

Показать полностью 13
[моё] Нейронные сети Stable Diffusion Искусственный интеллект Арты нейросетей Гайд Инструкция Обучение Длиннопост
8
65

Спасаем генерацию за секунду⁠⁠

Бывало что картинка огонь, но вот веревочка не туда пошла? Хочется такую же картинку, но немного другую вариацию 🤔

Спасаем генерацию за секунду Нейронные сети, Stable Diffusion, Обучение, Арты нейросетей, Цифровой рисунок, Рисунок, 2D, Digital, Гифка, Длиннопост

Глаз заплыл, веревочка невнятная. Хочется вот то же самое, но без этих проблем и главное без инпента!

Примерно вот так:

Спасаем генерацию за секунду Нейронные сети, Stable Diffusion, Обучение, Арты нейросетей, Цифровой рисунок, Рисунок, 2D, Digital, Гифка, Длиннопост
Спасаем генерацию за секунду Нейронные сети, Stable Diffusion, Обучение, Арты нейросетей, Цифровой рисунок, Рисунок, 2D, Digital, Гифка, Длиннопост

Так как такое получить? А очень просто. Зафиксируйте сид. Добавьте в свой промпт бессмысленную информацию. Палочку, еще одну запятую, просто slkjdfs. Я использую "\", каждая палочка чуть другая картинка. Так что теперь можно не выбрасывать красивые генерации только из-за того что сложно или не хотите лезть в редактирование. Просто добавь палку 😏

Спасаем генерацию за секунду Нейронные сети, Stable Diffusion, Обучение, Арты нейросетей, Цифровой рисунок, Рисунок, 2D, Digital, Гифка, Длиннопост

Поделиться результатом или задать вопрос вы можете в нашем сообществе нейроманьяков. https://t.me/neuralphotoart_chat

Больше гайдов на моем канале. Подписывайтесь чтобы не пропустить:: https://t.me/neuralphotoart

Показать полностью 4
[моё] Нейронные сети Stable Diffusion Обучение Арты нейросетей Цифровой рисунок Рисунок 2D Digital Гифка Длиннопост
30
90

Обучение модели с помощью LoRA⁠⁠

Как обучить модель новому лицу, персонажу, стилю, за несколько минут.

Что я получил в итоге:

Обучение модели с помощью LoRA Обучение, Нейронные сети, Stable Diffusion, Арты нейросетей, Длиннопост

Из чего:

Обучение модели с помощью LoRA Обучение, Нейронные сети, Stable Diffusion, Арты нейросетей, Длиннопост

Гайд подойдет уже достаточно опытным пользователям стабильной диффузии или тем кто может внимательно повторять за всем что написано.

Low-rank adaptation (LoRA) - в последнее время стала крайне популярной из за того что всего за несколько минут можно обучить сеть отрисовывать предмет или следовать определенному стилю. На civitai новые LoRA появляются буквально сотнями в день.

В гайде будет использоваться пример с Google Colab, чтобы обучать мог каждый(позже выйдет версия для ПК). Так как на 6гиговых картах памяти может уже и не хватить. Да и не у всех есть даже такая.

Обучение модели с помощью LoRA Обучение, Нейронные сети, Stable Diffusion, Арты нейросетей, Длиннопост

Стабильная диффузия может рисовать только вещи основанные на концепциях на которых она была обучена. Она не может нарисовать концепцию которой в ней нет. То есть как выглядите вы, она не знает например, а значит никогда и не нарисует.

Вот тут нам и пригождается LoRA (дальше просто Лора). Это метод который позволяет нам обучать модель новой концепции.

Преимущество Лора в том что тренировка не требует много времени и сотен изображений.

Нам понадобится:

  1. Гугл аккаунт

  2. Аккаунт хаггингфейс (опционально, если вас не устроит набор уже встроенных моделей)

  3. Набор данных для обучения (изображения концепта или примеры стиля)

Готовим датасет:

Один из самых понятных пунктов, но это не делает его простым.

Рекомендуется использовать от 25 до 30 изображений. Но если у вас столько нет и не удается собрать вы уже видели какого результата можно добиться даже с семью которые были у меня.

Обучение модели с помощью LoRA Обучение, Нейронные сети, Stable Diffusion, Арты нейросетей, Длиннопост

Если вы хотите натренировать лицо то вот неплохой пример как нужно работать с ракурсом. Но плохой пример в том что желательно иметь разное освещение и одежду. Ну или отсекать ее.

Так же все фотографии должны иметь соотношение сторон 1 к 1 и быть в разрешении 512 х 512 ну или 768 x 768. Более высокое разрешение в первую очередь скажется на потреблении видеопамяти, но итоговый результат получится лучше.

В попытках добрать нужное количество изображений не стоит брать некачественные, это может наоборот ухудшить результат. Лучше пусть будет меньше, но хороших. Так же важный момент в том что на обучение можно отдавать фотографии сгенерированные самой нейросетью. Если у вас есть персонаж которого вы хотите “закрепить” это отличный способ сделать это. Или вы натренировали модель, но она выдает годноту редко. Берете удачные и тоже отправляете в датасет (Как генерировать похожих персонажей это тема для одной из будущих статей, так что не забудьте подписаться).

После подготовки изображений переименуйте их в 1.png, 2.png и т.д. Теперь нам нужно подготовить описание к ним. и положить рядом с нашими изображениями по шаблону 1.txt 2.txt и тд. Каждое описание соответствует своей картинке.

Внимание. Самый важный момент, читать вдумчиво и внимательно, никто и нигде нормально это не объясняет:

В описании должно быть ваше ключевое слово, которое должно быть уникальным, то есть модель не должна его знать и генерировать что-то конкретное или она справляется с этим очень плохо. Далее следует то что вы НЕ хотите чтобы нейросеть относила к вашему концепту.

Для своей я выбрал слово pechenya. (правда по этому запросу сеть генерирует какую-то рыбку, ну да ладно)

Например, случайная фотография из интернета(напоминаю что фотка должна быть квадратная):

Обучение модели с помощью LoRA Обучение, Нейронные сети, Stable Diffusion, Арты нейросетей, Длиннопост

Если нашим ключевым словом для активации будет pechenya то txt к этому изображению должен выглядеть примерно так:

pechenya, red dress, trees, street, outdoor, bench, sitting…

То есть, логика такая. Мы даем нейросети картинку, пишем что тут есть наше key_word и пишем то что не имеет прямого отношения к нашему key_word например если не написать red dress нейросеть решит что это часть образа и добавит его в обучение. Если описать все кроме него то мы обучим нейросеть как раз рисовать это самое платье. Лору можно тренировать сразу на несколько концептов за раз. Об этом чуть позже.

Вам нужно думать постоянный ли это признак или я хочу его менять? Постоянно ли ее глаза открыты? Постоянно ли она улыбается? Сидит, стоит? Всегда ли она блондинка с длинными волосами? Так же не советую так же слишком усердствовать и описывать вообще ВСЁ, типа: голубь, плитка, небо, асфальт. 5-8 достаточно

Так же! Не пишите вот так a woman in a white a plastic raincoat on her head and shoulders, holding a plastic bag over her head*. Это должно выглядеть так:* white plastic raincoat, plastic bag.

Я буду тренировать сеть на символе сайта пикабу и мой подготовленный датасет выглядит вот так:

Обучение модели с помощью LoRA Обучение, Нейронные сети, Stable Diffusion, Арты нейросетей, Длиннопост

Уже после того как с датасетом закончили..

Переходим в гугл колаб. Это среда для использования мощностей гугла в своих целях. Бесплатно.

Запустите секцию 1.1:

Обучение модели с помощью LoRA Обучение, Нейронные сети, Stable Diffusion, Арты нейросетей, Длиннопост

После того как стрипт отработал и скачал все зависмости(1-3 минуты), рядом с кнопкой плей появится зеленая галочка. Переходим к следующему пункту.

Пункт 2.1 - Выбор модели:

Тут опционально, если вас устраивают модели из списка, то выбираем одну из них и жмем плей.

Обучение модели с помощью LoRA Обучение, Нейронные сети, Stable Diffusion, Арты нейросетей, Длиннопост

Я выбираю Stable Diffusion 1.5 для аниме рекомендуется одна из Anything. Для арта можете попробовать OpenJourney. И пропускаю пункт 2.2

Если вы более опытный пользователь и у вас есть другая модель на примете на которой хотите тренировать, пропускаем 2.1, переходим к 2.2. Тут вам понадобится ссылка на модель с сайта хаггингфейс и токен оттуда же. Думаю если у вас возникла такая потребность то вы уже знаете как это сделать.

Пункт 2.3

Обучение модели с помощью LoRA Обучение, Нейронные сети, Stable Diffusion, Арты нейросетей, Длиннопост

Для дифузии 1.5 выбираю Sd vae, а для аниме, ну вы сами видите. И снова плей.

Пункт 3.1

Эта команда создаст папки для нашего концепта.

Обучение модели с помощью LoRA Обучение, Нейронные сети, Stable Diffusion, Арты нейросетей, Длиннопост

parent_directory - путь к папке. Оставьте так

reg_repeats - не знаю зачем он тут. Насколько мне известно регуляризационные изображения не требуют повторений. Оставляем 1. (Не использовал, но насколько знаю они нужны чтобы избавиться от отличительного стиля персонажа нам это не надо и мы это использовать не будем)

concept_name - имя папки, я называю ее ключевым словом. У меня будет pechenya

class_name - объединит разные концепты в один класс

Можем создать так несколько папок с разными концептами, просто меняйте ключевое слово и снова запускайте блок и заполняйте папки новыми датасетами с новыми ключевыми словами и концепциями. Так модель сможет выучить несколько концептов.

Нажмите на папку слева экрана и пройдите по пути content/LoRA/train_data/имя вашей папки.

Обучение модели с помощью LoRA Обучение, Нейронные сети, Stable Diffusion, Арты нейросетей, Длиннопост

Закиньте в нее весь ваш датасет.

Зайдите в папку pretrained_model. Там будет лежать модель которую мы скачивали в пунктах 2.1 и 2.2. Нажмите ПКМ и Скопировать путь.

А теперь летим сразу на пункт. 5.1

Обучение модели с помощью LoRA Обучение, Нейронные сети, Stable Diffusion, Арты нейросетей, Длиннопост

v2 - Ставите галку если тренируете на второй версии диффузии

v_parameterization - если на версии 2.1 то и эту

project_name - как будет называться файл Лоры (не влияет на ключевое слово)

pretrained_model_name_or_path - путь до модели, мы его только что копировали, вставляем после папки /content/. У меня будет так /content/pretrained_model/Stable-Diffusion-v1-5.safetensors

vae - путь до vae можно взять там же, в пункте 1.2, не забудьте про слеш в начале. У меня /content/vae/stablediffusion.vae.pt

Остальное не меняем. Это пути для датасетов и куда сохранится модель.

Переходим к 5.2

В целом, кто уже устал вникать можете просто нажить плей и идти дальше, стандартные настройки в целом окей и если что-то не получилось можно уже вникнуть во всё это дело. Остальные читаем.

Пожалуй самая техническая и самая сложная для объяснения вкладка. Буду говорить примитивно. И указывать что на что влияет

Обучение модели с помощью LoRA Обучение, Нейронные сети, Stable Diffusion, Арты нейросетей, Длиннопост

network_dim - во первых это повлияет на итоговый размер вашего файла Лора, примерно 1 за 1 мегабайт. Во вторых чем выше значение тем выше выразительность вашего обучения. 128 как по мне является хорошим соотношением. Его оставляем, но если вашей итоговой модели этой самой выразительности не хватает попробуйте увеличить. Быстрая скорость обучения развязывает руки для экспериментов.

network_alpha - во первых это значение должно быть ниже либо равным network_dim и нужно для предотвращения ошибок точности. Чем ниже значение тем сильнее замедляет обучение. Зачем замедлять обучение? Это точно в другой раз, иначе эта статья не кончится . Я ставлю равным network_dim.

network_train_on - какой текстовый раскодировщик использовать, оставьте both.

Обучение модели с помощью LoRA Обучение, Нейронные сети, Stable Diffusion, Арты нейросетей, Длиннопост

optimizer_type - выбор типа обучения так сказать. Оставляем по умолчанию. Я видел тесты людей, и этот показывал себя хорошо. Думаю ничего не изменилось.

unet_lr - что-то вроде памяти, имеет информацию о том как элементы взаимодействуют друг с другом. Первое куда стоит смотреть если обучение не получилось. Сначала рекомендую пройтись со стандартными параметрами и что-то крутить только когда вроде все должно было получиться, но не получилось. Если итоговая модель выдает визуальный шум вместо нормального изображения то значение слишком высокое. попробуйте слегка уменьшить и повторить.

text_encoder_lr - управляет тем как ИИ понимает текстовые подсказки. Если не указать возьмёт значение unet_lr. Если ваша модель выдает слишком много нежелательных объектов(могла нахвататься с вашего дата сета) уменьшите это значение. Если наоборот объекты плохо проявляются. Увеличьте или вместо этого увеличьте количество шагов обучения.

lr_scheduler - кривая обучения. Не уверен что вы захотите это читать.

lr_warmup_steps - насколько я вычитал это количество шагов на очень низкой скорости обучения. Не могу сказать наверняка. Как видите у меня тоже есть пробелы. Оставляю 0.

lr_scheduler_args - аргумент для lr_scheduler. Оставляем по умолчанию.

1e-4 это 0.0001 5e-5 это 0.00005 Не знаю зачем они выпендриваются с “e”

Всё, нажимаем на на кнопку плей.

5.3 Снимите галочку с enable_bucket и нажмите плей.

5.4

Обучение модели с помощью LoRA Обучение, Нейронные сети, Stable Diffusion, Арты нейросетей, Длиннопост

Тут я меняю только настройку train_batch_size опускаю до единицы**.** Эта настройка может ускорить обучение, но в тоже время это происходит из за того что сеть берет сразу несколько картинок и берет как бы среднее значение между ними больше подходит для тренировки стиля, для лица тоже может подойти, но для нового концепта как персонаж я предпочел выключить. И clip_skip меняю на 1.

  • Остальные настройки:

    noise_offset - Если коротко дает диффузии больше простора для внесения изменений. Заметно влияет на яркость\затемненность картинки, но так же изменяет поведени при обучении больших и мелких деталей. Длинно тут. Собираюсь активно экспериментировать с этой функцией но пока поставлю 0.

    max_train_type - проходим с помощью шагов или эпох. Эпохи позволяют делать чекпоинты, поэтому оставляю их.

    max_train_type_value - количество для предыдущего пункта. На скрине 20, получается 20 эпох. У нас в папке 7 картинок, папку мы назвали 5_pechenya. 5 значит количество проходов, все проходы одна эпоха. Получаем 7520 = 700 итераций будет пройдено. Рекомендации к общему количеству итераций очень разные и варьируются от 200 и до 10000. Разные настройки влияют на скорость обучения, при меньшей скорости нужно больше шагов еще зависит от тог отчо тренируете, стиль или персонажа и качества датасета. В общем нюансов много. Но через некоторое кол-во тренировок вы примерно найдете для себя середину для разных ситуаций.

    train_batch_size - разобрана выше

    save_n_epochs_type - по какому типу считать эпохи? Я если честно хз. Колаб у меня закончился пока статью писал, а на стационарном ПК у меня такой настройки нет. По молчанию значит.

    save_n_epochs_type_value - коэффициент для пункта выше.

    mixed_precision и save_precision - точность. Все ставят f16 и я ставлю.

    save_model_as - тип модели при сохранении, оставляйте safetensors остальные можно сказать устарели

    max_token_length - максимальная длина промпта

    clip_skip - сложно объяснить. Нейросеть работает слоями эта цифра означает сколько последних слоев мы хотим пропустить, обычно она выбирает в зависимости от модели. Тут стоит два так как колаб был рассчитан на аниме модель. Я работаю с СД 1.5 тут лучше поставить 1. Чем раньше остановились тем меньше слоев нейросети обработали подсказку. Комментарий с вики: Некоторые модели были обучены с использованием такого рода настроек, поэтому установка этого значения помогает добиться лучших результатов на этих моделях.

    gradient_accumulation_steps - это метод, при котором вы можете тренироваться на пакетах большего размера, чем ваша машина обычно может вместить в память. Это делается путем накопления градиентов в течение нескольких пакетов и только после выполнения определенного количества пакетов оптимизатор активизируется. У меня не было необходимости использовать

    seed - делает тоже что и всегда, подмешивает соль

    additional_argument - аргументы командной строки

Запускаем:

Обучение модели с помощью LoRA Обучение, Нейронные сети, Stable Diffusion, Арты нейросетей, Длиннопост

Процесс завершен, 5 минут 22 секунды, а не часы как тактовой инверсии например.

Можно скачать модель и тестировать или тестировать прямо в колабе перейдя к пункту 6.2(в поле model вставьте путь до модели как делали раньше). Она находится по адресу containt/LoRA/output рядом с папкой куда мы кидали наш датасет. Без доп цифр финальная версия с ними наши контрольные точки, если финальная окажется перетренированной пробуйте другие.

Обучение модели с помощью LoRA Обучение, Нейронные сети, Stable Diffusion, Арты нейросетей, Длиннопост

Пример из другого проекта, но я надеюсь вы нашли

Вот что у меня получилось. Промпт (plumber pechenya, <lora:pechenya:1>) Картинки не отбирал, что выдало на первой генерации, то и выдало.

Обучение модели с помощью LoRA Обучение, Нейронные сети, Stable Diffusion, Арты нейросетей, Длиннопост

Клево? Не совсем. У всех одно выражение лица.

В общем один признак слишком сильно прилип. Снизим количество проходов до 5. (max_train_type_value = 5). Нам не нужно повторять все что мы делали до этого момента, если вы этого боялись. Только пункт 5.4. Меняем значение снова плей. Все закончилось за 1 минуту 27 секунд! Карл! В других способах это снова заняло бы час!

Ну и более того нам вообще не нужно это все повторять так как настройка save_n_epochs_type_value создавала нам контрольную точку каждые 3 эпохи и у нас создался не один, а max_train_type_value деленное на 3 вариантов файлов. Так что мы можем взять файл чуть “помладше”.

Не забудьте скачать итоговую модель, иначе гугл колаб ее удалит через некоторое время как вы отключитесь

Результатобучения на проходах в начале поста. Пикабу не дает снова загрузить картинку...

Если посмотрите то увидете что уже намного разнообразней и как можете заметить пропала белая обводка, но тут еще не четко прослеживается стиль, так что истина у нас будет где-то посредине между 5 эпохами и 20ю. Это уже вопрос тонкой настройки, которой я для себя сейчас и занимаюсь чтобы сделать идеальный генератор печенек. Ждите =) Благо эксперимент занимает всего пару минут времени. Вот почему Лора настолько популярна и захватывает агрегаторы моделей. Теперь надеюсь увидеть там и ваши работы тоже. Увидимся в чате .

Обучение модели с помощью LoRA Обучение, Нейронные сети, Stable Diffusion, Арты нейросетей, Длиннопост

Нюансы:

  1. Лора должна хорошо работать на всех пользовательских моделях которые созданы на базе той модели на которой вы ее тренировали. Например я тренировал на 1.5, на 1.5 основана deliberate даже версия deliberate 2. На ней будет хорошо работать. Я мог бы тренировать на самом Deliberate и все было бы тоже самое в том плане что работало бы хорошо со всеми моделями основанными на 1.5.

  2. Если посмотреть на результаты генерации то можно увидеть что размер головы занимает примерно одно и тоже количество места. Прямо как в нашем датасете так что хотите больше разнообразия в размере делайте разнообразней датасет.

  3. Я много что упустил, возможно сделал ошибки, возможно фактические, просьба сообщать о них чтобы я мог внести исправление.

  4. 5,6,7,8,9,10,11,12 - нюансы про которые я забыл

Поделиться результатом или задать вопрос вы можете в нашем сообществе нейроманьяков. https://t.me/neuralphotoart_chat

Больше гайдов на моем канале, подписывайтесь чтобы не пропустить:: https://t.me/neuralphotoart

Надеюсь гайд был написан не зря и теперь вы можете собрать свой датасет, скачать мой на примере печени с картинками и главное текстовыми файлами вы можете поддержав меня на бусти.

Показать полностью 19
[моё] Обучение Нейронные сети Stable Diffusion Арты нейросетей Длиннопост
13
320

Управление источниками света и эффектами в Stable Diffusion с помощью многослойного ControlNet + 41 пресет освещения⁠⁠

Друзья, ControlNet творит чудеса. И сегодня я научу вас как творить чудеса с освещением и включать несколько слоев ControlNet одновременно, это даст нам огромный простор для творчества, а еще очень понравится фотографам.

Управление источниками света и эффектами в Stable Diffusion с помощью многослойного ControlNet + 41 пресет освещения Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Эффект, Свет, Фотография, Гайд, Инструкция, Обучение, Длиннопост

Вы научитесь делать так же

Что нам потребуется:
1. Актуальный Automatic 1111 с установленным и активированным ControlNet в коллабе или локально.
2. Изображение на котором мы будем менять свет, у меня Бунтарка, у вас может быть что угодно. 3. Пресеты для света бесплатно выложены на Бусти, просто нажми скачать. Можешь нажать "отслеживать" чтобы не пропустить мои новые стримы и видео 😜

Управление источниками света и эффектами в Stable Diffusion с помощью многослойного ControlNet + 41 пресет освещения Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Эффект, Свет, Фотография, Гайд, Инструкция, Обучение, Длиннопост

По всему интернету для вас собирал мои пирожочки

Первым делом нам понадобится сгенерировать то, с чем мы будем играться, я взял Бунтарку вот из этого сета.

Управление источниками света и эффектами в Stable Diffusion с помощью многослойного ControlNet + 41 пресет освещения Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Эффект, Свет, Фотография, Гайд, Инструкция, Обучение, Длиннопост

Бунтарка - обученная на синтетическом дата-сете текстовая инверсия.

Управление источниками света и эффектами в Stable Diffusion с помощью многослойного ControlNet + 41 пресет освещения Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Эффект, Свет, Фотография, Гайд, Инструкция, Обучение, Длиннопост

Вот что у меня получилось.

Теперь отправляем все кнопкой в img2img, чтобы перенести настройки и промпт.
И тут мы делаем непривычное - загружаем не ту фотографию с которой будем работать, а маску для света из пака выше.

Управление источниками света и эффектами в Stable Diffusion с помощью многослойного ControlNet + 41 пресет освещения Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Эффект, Свет, Фотография, Гайд, Инструкция, Обучение, Длиннопост

Я уже по-генерил, но у вас тут фоток справа не будет.

Затем опускаетесь в ControlNet, тут нам надо нажать галку Enable, для активации, выбрать препроцессор depth_leres и модель depth, разрешение анотатора LeReS Resolution ставьте такого же размера по самой большой стороне как и ваша фотография, у меня 768. И собственно загружаем нашу фото основу.

Управление источниками света и эффектами в Stable Diffusion с помощью многослойного ControlNet + 41 пресет освещения Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Эффект, Свет, Фотография, Гайд, Инструкция, Обучение, Длиннопост

Знаете ли вы, что с помощью настройки Remove Background % можно очень хорошо вырезать персонажа с фона? Теперь знаете, поиграйтесь.

Задаем наши любимые параметры генерации, у меня это будет 2м Карась, выставляем размеры равные размеру нашего изображения загруженного в ControlNet. Denoising strength ставим на 0.90.

Управление источниками света и эффектами в Stable Diffusion с помощью многослойного ControlNet + 41 пресет освещения Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Эффект, Свет, Фотография, Гайд, Инструкция, Обучение, Длиннопост

Настройки вполне стандартные

Теперь генерируем несколько вариаций с дефолтным светом и выбираем ту с которой будем играться, у меня будет вот эта

Управление источниками света и эффектами в Stable Diffusion с помощью многослойного ControlNet + 41 пресет освещения Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Эффект, Свет, Фотография, Гайд, Инструкция, Обучение, Длиннопост

Включаем свет

Теперь у нас есть отправная точка, фиксируем сид и изменяем свет. Для этого надо нажать на карандашик рядом с крестиком.

Управление источниками света и эффектами в Stable Diffusion с помощью многослойного ControlNet + 41 пресет освещения Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Эффект, Свет, Фотография, Гайд, Инструкция, Обучение, Длиннопост

Хватаем сетку за краюшек и двигаем куда хочется, мне хочется в лево.

Генерируем, теперь свет у нас с другой стороны.

Управление источниками света и эффектами в Stable Diffusion с помощью многослойного ControlNet + 41 пресет освещения Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Эффект, Свет, Фотография, Гайд, Инструкция, Обучение, Длиннопост

Электричество кончилось

Управление источниками света и эффектами в Stable Diffusion с помощью многослойного ControlNet + 41 пресет освещения Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Эффект, Свет, Фотография, Гайд, Инструкция, Обучение, Длиннопост

А теперь сделаем источник света уже и обрежем.

Управление источниками света и эффектами в Stable Diffusion с помощью многослойного ControlNet + 41 пресет освещения Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Эффект, Свет, Фотография, Гайд, Инструкция, Обучение, Длиннопост

Как будто-то свет из окна

Еще раз меняем конфигурацию света, чтобы получить полностью совещенный кадр.

Управление источниками света и эффектами в Stable Diffusion с помощью многослойного ControlNet + 41 пресет освещения Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Эффект, Свет, Фотография, Гайд, Инструкция, Обучение, Длиннопост

Включаем свет

Управление источниками света и эффектами в Stable Diffusion с помощью многослойного ControlNet + 41 пресет освещения Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Эффект, Свет, Фотография, Гайд, Инструкция, Обучение, Длиннопост

Теперь все освещено.

И если снова захотим выключить свет, то можем просто сдвинуть квадратик на черную область.

Управление источниками света и эффектами в Stable Diffusion с помощью многослойного ControlNet + 41 пресет освещения Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Эффект, Свет, Фотография, Гайд, Инструкция, Обучение, Длиннопост

И света снова нет.

Управление источниками света и эффектами в Stable Diffusion с помощью многослойного ControlNet + 41 пресет освещения Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Эффект, Свет, Фотография, Гайд, Инструкция, Обучение, Длиннопост

Кто балуется с выключателем?

А еще мы можем загрузить совсем другие карты освещения, например в виде сердечек и в один клик получить потрясающий эффект на фото. Настройки ControlNet даже не меняем.

Управление источниками света и эффектами в Stable Diffusion с помощью многослойного ControlNet + 41 пресет освещения Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Эффект, Свет, Фотография, Гайд, Инструкция, Обучение, Длиннопост

Просто меняем картинку уменьшаем деноизинг, чтобы сердечки проступали на фото

Управление источниками света и эффектами в Stable Diffusion с помощью многослойного ControlNet + 41 пресет освещения Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Эффект, Свет, Фотография, Гайд, Инструкция, Обучение, Длиннопост

Милота и как мы любим в один клик

Или можем например сделать луну из окна и свет свечи сбоку, надо просто выбрать карту освещения по интереснее, я сейчас как раз собираю пак разных карт, эффектов и фонов для ControlNet и тоже залью на бусти, так что подпишись, чтобы не пропустить.

Управление источниками света и эффектами в Stable Diffusion с помощью многослойного ControlNet + 41 пресет освещения Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Эффект, Свет, Фотография, Гайд, Инструкция, Обучение, Длиннопост

Собрал уже более сотни различных текстур и эффектов

Управление источниками света и эффектами в Stable Diffusion с помощью многослойного ControlNet + 41 пресет освещения Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Эффект, Свет, Фотография, Гайд, Инструкция, Обучение, Длиннопост

Луна сверху, свеча сбоку, как на карте.

Что мы еще можем сделать, например можем загрузить текстуру огня и устроить пожар.

Управление источниками света и эффектами в Stable Diffusion с помощью многослойного ControlNet + 41 пресет освещения Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Эффект, Свет, Фотография, Гайд, Инструкция, Обучение, Длиннопост

Этот и другие эффекты скоро тоже выложу

Управление источниками света и эффектами в Stable Diffusion с помощью многослойного ControlNet + 41 пресет освещения Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Эффект, Свет, Фотография, Гайд, Инструкция, Обучение, Длиннопост

Очень мягкий и уютный свет, как на закате

А если уменьшим деноизинг еще сильнее, до 0.5, то буквально сожжем Бунтарку, как Жанну Д`арк

Управление источниками света и эффектами в Stable Diffusion с помощью многослойного ControlNet + 41 пресет освещения Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Эффект, Свет, Фотография, Гайд, Инструкция, Обучение, Длиннопост

Гори, гори ясно

С учетом возможности включения многослойного ControlNet, это дает нам неограниченные возможности. Как вы не знали, что можно включить несколько слоев?

Сейчас расскажу, все очень просто. Идем в Settings, находим слева ControlNet, находим ползунок Multi ControlNet: Max models amount (requires restart), сдвигаем на сколько нам надо (помните что каждый слой это время и ресурсы видеокарты), мне пока хватает двух, но можно включить до 10 и комбинировать различные модели и препроцессоры. Для активация потребуется перезапуск web-ui.bat.

Что мы можем с этим сделать, а давайте включим еще один ControlNet, я возьму картинку из будущего пака с фонами, текстура листиков и открою её вместе с моделью depth и препроцессором depth_leres, уменьшу вес модели, выкручу вырезание фона у листиков.

Управление источниками света и эффектами в Stable Diffusion с помощью многослойного ControlNet + 41 пресет освещения Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Эффект, Свет, Фотография, Гайд, Инструкция, Обучение, Длиннопост

Это уже второй слой, вон сверху написано

И в качестве результата у меня будет свет загруженный в img2img, персонаж вытащенный картой глубины с первого СontrolNet и листики со второго.

Управление источниками света и эффектами в Stable Diffusion с помощью многослойного ControlNet + 41 пресет освещения Нейронные сети, Stable Diffusion, Искусственный интеллект, Арты нейросетей, Эффект, Свет, Фотография, Гайд, Инструкция, Обучение, Длиннопост

Легко и просто правда

А на этом у меня все друзья, скидывайте примеры ваших работ и ваши кейсы использования различных слоев ControlNet, возможности его применения просто поражают воображение, думаю мы еще долго будем открывать новые не стандартные методы применения ControlNet и различных вариаций препроцессоров и моделей. Увидимся на стримах.

----

Мой телеграм канал, все секреты и советы, мои работы, нейро-новости, промпты, ссылки на стримы и многое другое только в нем, подпишитесь!

В чате нейро-операторов, можно попросить картинку, поделиться опытом или задать вопрос.

Записи моих обучающих стримов доступны на Бусти, там же выложены ххх сеты и можно получить доступ в секретный чат, где я буду учить тебя генерить в ламповой и уютной атмосфере.

Мои видео уроки по Stable Diffusion можно посмотреть на YouTube, подпишитесь, чтобы не пропустить новые ролики.

Показать полностью 24
[моё] Нейронные сети Stable Diffusion Искусственный интеллект Арты нейросетей Эффект Свет Фотография Гайд Инструкция Обучение Длиннопост
29
11

Движение это жизнь. Создаем анимацию с помощью ControlNet⁠⁠

Что будем делать?

Движение это жизнь. Создаем анимацию с помощью ControlNet Нейронные сети, Обучение, Арты нейросетей, Stable Diffusion, Гифка, Длиннопост

Что нам понадобится?

Конечно же автоматик1111 если пропустили инструкция по установке есть здесь.

Если комп не тянет можете воспользоваться гугл коллабом. Так же инструкцию уже делал.

Расширение ControlNet. Для его установки зайдите в Extensions - Install from URL В поле URL вставьте https://github.com/Mikubill/sd-webui-controlnet.git и нажмите Install.

Движение это жизнь. Создаем анимацию с помощью ControlNet Нейронные сети, Обучение, Арты нейросетей, Stable Diffusion, Гифка, Длиннопост

Модели. Есть полные версии, а так же их уменьшенные версии, заметной разницы в качестве я не обнаружил и пользуюсь уменьшенными так как SSD не резиновый.

Я буду использовать hed. Он рисует контуры объекта которые мы будем использовать для генерации изображений по нашему запросу.

Движение это жизнь. Создаем анимацию с помощью ControlNet Нейронные сети, Обучение, Арты нейросетей, Stable Diffusion, Гифка, Длиннопост

После скачивания поместите модели по пути ваша_папка_с_автоматиком\extensions\sd-webui-controlnet\models

Вы можете преобразовывать ваши референсы в секвенции картинок с помощью редакторов и обрабатывать их пакетно, а затем склеивать. У этого способа есть преимущество, например можно перегенерировать один неудавшийся кадр и быстро заменить его, но сегодня мы делаем простым способом.

Способ установки тот же.

После того как все сделали полностью перезапустите стабильную диффузию.

Идем искать референс. Тут конечно дело каждого где брать. Я гифки беру тут https://giphy.com/, а видео соответственно на youtube.

На гифи я обычно ищу танцы, а на ютубе видео категории eye contact practic

Буду работать с этим:

Движение это жизнь. Создаем анимацию с помощью ControlNet Нейронные сети, Обучение, Арты нейросетей, Stable Diffusion, Гифка, Длиннопост

Как это работает?

ControlNet способен разметить объекты разными способами. Обвести линиями края, нарисовать маску глубины, определить позу человека и тд. Плюс в том что он делает это быстро и довольно точно. А так же то что мы имеем только позу, а значит можем изменить картинку полностью не зависимо от контента на ней. Переделать балерину в балетной стойке в орка? Пожалуйста. Ссылка на гитхаб для тех кто ищет подробностей: https://github.com/Mikubill/sd-webui-controlnet.

Часть 2. Настройка

После того как мы определились с референсом идем в автоматик.

Вкладка img2img возле скриптов внизу страницы у вас появился ControlNet. Раскройте его.

Движение это жизнь. Создаем анимацию с помощью ControlNet Нейронные сети, Обучение, Арты нейросетей, Stable Diffusion, Гифка, Длиннопост

Основные настройки:

Enable - вкл\выкл расширение

Low VRAM - ставьте если у вас меньше 6гб видеопамяти

Guess Mode - в этом режиме Control пытается распознать картинку и сделать что-то близкое. Должен игнорировать весь промпт. Может получиться что-то интересное.

Preprocessor- типа движок обработки

Model - модель для этого движка. Обычно вы хотите чтобы они совпадали, но вы можете поэкспериментировать.

Weight - Насколько сильно следовать промпту

Guidance strength - насколько точно следовать линиям полученным с референса. Дать чуть свободы бывает полезным.

Движение это жизнь. Создаем анимацию с помощью ControlNet Нейронные сети, Обучение, Арты нейросетей, Stable Diffusion, Гифка, Длиннопост

Подключаем наш скрипт в зависимости от того что у вас в заготовке, видео или гифка. У меня гиф поэтому его и выбираю. Загружаю гифку. Actual total frames - общее кол-во кадров, а значит и генераций.

Осталось прописать желаемый промпт и можно запускать генерацию. Не забудьте настроить ширину и высоту генерации. А так же хорошая идея зафиксировать сид. Тогда при не большом движении в кадре соседние кадры будут больше похожи друг на друга. Я этого делать не буду.

При использовании ControlNet стоит использовать высокий Denoising strength. Так как обычно нам нужны только общие черты изображения, обычно это поза и может быть геометрия окружения, в остальном мы хотим следовать нашему промпту.

Полученный в итоге результат будет ждет меня в img2img-images\gif2gif.

Но я вам ее не покажу, так как там голая женщина, а у нас семейный контент.

Почему я использовал HED, а не например openpose?

Openpose достаточно капризен и может легко потерять конечность, особенно на гифке как моя. Темная девушка на темном фоне. Перед HED же не стоит такой сложной задачи как поиск конечностей и их направление, но он способен распознать края, передать их дифузии и по нашей подсказке и по общему силуэту она без особого труда распознает человека и отрисует позу нормально(зачастую). Например, если вы примените к ней openpose, при стандартных настройках она будет терять руку когда потеряет локоть и иногда поворачиваться спиной, потому что он не нашел лица, увидел руки и ноги и решил что это вид со спины.

Пример с openpose. Остальные настройки те же:

Движение это жизнь. Создаем анимацию с помощью ControlNet Нейронные сети, Обучение, Арты нейросетей, Stable Diffusion, Гифка, Длиннопост

ControlNet имеет множество применений. Такие как изменение света на генерации. Смешивание препроцессоров. Так же для уменьшения мелькания можно использовать Lora. Но это все будет раскрываться в следующих статьях. На эту статью мы своей цели достигли.

Поделиться результатом или задать вопрос вы можете тут в комментариях или в нашем чате, где мы общаемся и помогаем с проблемами друг другу https://t.me/neuralphotoart_chat.

Показать полностью 6
[моё] Нейронные сети Обучение Арты нейросетей Stable Diffusion Гифка Длиннопост
7

Продвиньте ваш пост

Перейти
Партнёрский материал

Нужно больше внимания к постам? Есть способ!⁠⁠

Иногда даже самый интересный материал теряется в потоке новых записей. Если ваш пост остался незамеченным, измените ситуацию. Для этого на Пикабу есть продвижение.

Все просто: оставьте заявку в форме, добавьте ссылку на пост и выберите подходящий бюджет. Все. Ваш пост покажут во всех лентах на специальных позициях. Ну а вы получите дополнительную аудиторию и отклик пользователей.

Продвинуть пост

Продвижение Посты на Пикабу Текст
87

Как формулировать запросы для нейросети⁠⁠

Часть 1

Составляем простой запрос

Для генерации картинки на самом деле достаточно и одного-двух слов. И такие генерации тоже получаются качественными и красивыми. Но при этом нейросеть сама «додумает» все детали, сюжет и композицию.

Поэтому, если такой «случайный» результат вас не устраивает, необходимо запрос дополнять и дорабатывать, желательно, используя определенные базовые знания.

Как формулировать запросы для нейросети Нейронные сети, Компьютерная графика, Midjourney, Арты нейросетей, Цифровой рисунок, Stable Diffusion, Обучение, Длиннопост, Промты для нейросетей

  • Кот-художник / cat painter

Составляйте запросы на английском языке

Нейросети обучались на парах картинка-описание на английском языке, поэтому его они лучше всего и понимают. Нейросети могут воспринимать другие языки и даже понимать эмодзи, но результаты будут непредсказуемы. Я плохо владею английским, поэтому для перевода я использую он-лайн переводчик. Замечено, что нейросетевой переводчик DeepL понимает контекст лучше, чем Google Translate или Яндекс-переводчик.

Объект

Объект – основа практически любого запроса, именно он будет в центре всего рисунка. Очевидно, что в первую очередь надо придумать именно его. Например, кот, волшебник, священник, ангел, император, некромант, рок-звезда, город, королева, дом, храм, ферма, машина, пейзаж, гора, река.

Нейросети обучают на огромной базе изображений из сети. Картинок такого типа в интернете много, поэтому нейросети легко их сгенерируют. Правда, если вписывать в команду исключительно один объект, то результаты вряд ли порадуют разнообразием. Поэтому попробуйте, например, совместить два объекта и получить необычный концепт: кот-геймер, кот-бэтмен, кот-киберпанк-монах.

Как формулировать запросы для нейросети Нейронные сети, Компьютерная графика, Midjourney, Арты нейросетей, Цифровой рисунок, Stable Diffusion, Обучение, Длиннопост, Промты для нейросетей

  • кот-геймер / cat gamer

Как формулировать запросы для нейросети Нейронные сети, Компьютерная графика, Midjourney, Арты нейросетей, Цифровой рисунок, Stable Diffusion, Обучение, Длиннопост, Промты для нейросетей

  • кот-бэтмен / batman the cat --c 75 --s 750 --q 2

Как формулировать запросы для нейросети Нейронные сети, Компьютерная графика, Midjourney, Арты нейросетей, Цифровой рисунок, Stable Diffusion, Обучение, Длиннопост, Промты для нейросетей

  • кот-киберпанк-монах / cat cyberpunk monk --c 75 --s 750 --q 2

Объекты также можно совмещать через предлоги. «Кот, сделанный из фарфора», «Кот, как король Артур» или «Кот, похожий на Шрека».

Как формулировать запросы для нейросети Нейронные сети, Компьютерная графика, Midjourney, Арты нейросетей, Цифровой рисунок, Stable Diffusion, Обучение, Длиннопост, Промты для нейросетей

  • Кот, сделанный из фарфора - A cat made of porcelain

Как формулировать запросы для нейросети Нейронные сети, Компьютерная графика, Midjourney, Арты нейросетей, Цифровой рисунок, Stable Diffusion, Обучение, Длиннопост, Промты для нейросетей

  • Кот, как король Артур - A cat like King Arthur

Как формулировать запросы для нейросети Нейронные сети, Компьютерная графика, Midjourney, Арты нейросетей, Цифровой рисунок, Stable Diffusion, Обучение, Длиннопост, Промты для нейросетей

  • Кот, похожий на Шрека - A cat that looks like Shrek

Да, кстати, известных персонажей тоже можно смело использовать в качестве объектов. Внешность Гарри Поттера или Леголаса не будет повторять сыгравших их актеров, но героев вы сразу узнаете.

Как формулировать запросы для нейросети Нейронные сети, Компьютерная графика, Midjourney, Арты нейросетей, Цифровой рисунок, Stable Diffusion, Обучение, Длиннопост, Промты для нейросетей

  • Гарри Поттер в костюме супермена / Harry Potter with a scar on his forehead in a superman suit

Как формулировать запросы для нейросети Нейронные сети, Компьютерная графика, Midjourney, Арты нейросетей, Цифровой рисунок, Stable Diffusion, Обучение, Длиннопост, Промты для нейросетей

  • Брюс Уиллис – киберпанк-монах / Bruce Willis cyberpunk monk

Количество

Если хотите, чтобы на изображении было несколько объектов, то указывайте их количество. Вместо «коты за столом» напишите «три кота за столом». Если использовать множественное число без указания значения, то нейросеть сгенерирует случайное количество котиков.

Числительные можно указывать как словами, так и цифрами

С большим числом конкретных объектов, скажем, больше пяти-шести, нейросети справляются с трудом. Вероятность ошибки растет с каждым новым объектом в кадре. В таких случаях лучше уже сразу просить сгенерировать «толпу волшебников», но помните: чем больше объектов, особенно людей или животных, тем менее они детализированные.

Как формулировать запросы для нейросети Нейронные сети, Компьютерная графика, Midjourney, Арты нейросетей, Цифровой рисунок, Stable Diffusion, Обучение, Длиннопост, Промты для нейросетей

  • Один кот / 1 cat

Как формулировать запросы для нейросети Нейронные сети, Компьютерная графика, Midjourney, Арты нейросетей, Цифровой рисунок, Stable Diffusion, Обучение, Длиннопост, Промты для нейросетей

  • Два кота / 2 cats

Как формулировать запросы для нейросети Нейронные сети, Компьютерная графика, Midjourney, Арты нейросетей, Цифровой рисунок, Stable Diffusion, Обучение, Длиннопост, Промты для нейросетей

  • Три кота / 3 cats

Как формулировать запросы для нейросети Нейронные сети, Компьютерная графика, Midjourney, Арты нейросетей, Цифровой рисунок, Stable Diffusion, Обучение, Длиннопост, Промты для нейросетей

  • Четыре кота / 4 cats

Как формулировать запросы для нейросети Нейронные сети, Компьютерная графика, Midjourney, Арты нейросетей, Цифровой рисунок, Stable Diffusion, Обучение, Длиннопост, Промты для нейросетей

  • Пять котов / 5 cats - появляются ошибки в количестве

Как формулировать запросы для нейросети Нейронные сети, Компьютерная графика, Midjourney, Арты нейросетей, Цифровой рисунок, Stable Diffusion, Обучение, Длиннопост, Промты для нейросетей

  • Шесть котов / 6 cats - появляются ошибки, как и в предыдущем случае

Абстракции

Помимо реальных объектов нейросети могут генерировать абстрактные понятия вроде времени, судьбы, счастья или смысла жизни. Делают они это так же, как такие концепты обычно изображают в поп-культуре или искусстве. Сгенерируйте «когнитивный резонанс» или «создание времени» — результаты каждый раз будут удивлять.

Вот здесь есть пример подобного запроса: Midjourney рисует абстрактные понятия

В то же время не стоит увлекаться и пытаться генерировать концепции, которые предполагают обдумывание и самостоятельные выводы. Если есть возможность — выбирайте конкретные запросы, где абстрактные понятия заменяются объектами. Вместо «оптимистичного будущего» попробуйте «солнечный футуристичный город» или «киберпанк-город с голограммами», а вместо «моды в 2222 году» — «футуристичную одежду со светящимися и красочными деталями».

Как формулировать запросы для нейросети Нейронные сети, Компьютерная графика, Midjourney, Арты нейросетей, Цифровой рисунок, Stable Diffusion, Обучение, Длиннопост, Промты для нейросетей

  • Солнечный футуристичный город / Sunny Futuristic city

Как формулировать запросы для нейросети Нейронные сети, Компьютерная графика, Midjourney, Арты нейросетей, Цифровой рисунок, Stable Diffusion, Обучение, Длиннопост, Промты для нейросетей

  • Киберпанк-город с голограммами / Cyberpunk City with Holograms

Как формулировать запросы для нейросети Нейронные сети, Компьютерная графика, Midjourney, Арты нейросетей, Цифровой рисунок, Stable Diffusion, Обучение, Длиннопост, Промты для нейросетей

  • Футуристичная одежда со светящимися и красочными деталями / futuristic clothing with glowing and colorful details

От чего сразу стоит отказаться:

  1. Отрицания. Избегайте слов «не», «без», «исключая», «кроме» и подобных. Нейросети воспринимают всё буквально и не замечают отрицательных частиц. По запросу «мужчина без бороды» нейросеть наверняка сгенерирует бородатого мужчину, поэтому напишите «чисто выбритый мужчина», чтобы точно получить то, что вам нужно.

  2. Большое количество разных объектов. Велика вероятность, что нейросеть запутается, особенно если добавлять детали к каждому объекту.

  3. Желание в точности передать реальный объект. Если вы напишете «Москва», то это не будет реальная столица России — лишь вариация нейросети с похожими элементами. То же самое и с попытками указать конкретных людей: Генри Кавилл, Илон Маск, Марк Цукерберг.

Спасибо за просмотр!

Продолжение следует.

Больше моих работ и примеров промптов: https://t.me/LuckySweet001

Показать полностью 18
[моё] Нейронные сети Компьютерная графика Midjourney Арты нейросетей Цифровой рисунок Stable Diffusion Обучение Длиннопост Промты для нейросетей
15
Посты не найдены