Stable Diffusion + Обучение

Видосики:

И тд и тп. Если все что вас останавливало от творчества это не умение рисовать, фотографировать или анимировать, то эти дни позади.

Чуть времени убили, возвращаемся и листаем вниз. Нужно найти вот это(см. скриншот). Кликайте. (если еще не появилось, а там что-то бегает и крутится, подождите еще, сделайте чай я не знаю)

Вот в общем-то и все. Вводим свой запрос нажимаем большую оранжевую кнопку. Каждое нажатие новый котик ну или что вы там придумали? Уложился в 300 символов? Я не считал если честно. 😐

Удачные картинки может сохранять сразу на ПК или с чего вы там сидите. Мой краткий гайд по интерфейсу уже был на пикабу.

ㅤ

ㅤ

Вторая сложность.

И давайте попробуем конкурс чтоли? 😅

Зайдите во вкладку img2img

В самом низу раскройте выпадающее меню. (Вы видите эти стрелочки? Понимаете теперь почему я использую нейросети, а не рисую например?)

Делаем вот так. Галку на Enable. Выбирает препроцессор и модель. Щас увидите зачем все это.

Картинку сейчас дам. Или используйте свою

Вверху делаем вот так:

Снова большой и оранжевый Generate. (Если эффект слабоват найдите шкалу Denoising strange и выкрутите ее вправо)

Ссылка на оригинал картинки.

Делитесь тем что получилось в комментариях 😅.

ㅤ

ㅤ

Короче, пикабушник, я тебя научил и в благородство играть не буду, перейдешь по паре ссыл...

Ну вот и совсем все друзья. Если вам понравилось и вы хотите знать больше и видеть гайды чаще или у вас есть вопрос. Заглядывайте в нашу группу где мы собираем таких же любознательных. И канал где я делюсь своими гайдами и новостями. А так же посмотрите мой профиль на пикабу, это не первый мой пост на эту тему. Например, вот пост о том как сделать подарок для кого либо используя эту нейросеть.

Сразу по требованиям к фото которые сильно облегчат вам жизнь.

• Нормальное качество. 4к не нужно, но и сильное мыло и шум усложнят получение хорошего четкого результата да еще и чтобы похож был.

• Поза должна быть такая же которую вы хотите видеть на своем арте. Для других случаев мы заходим на территорию обучения модели на фотографиях.

Есть способы все это обойти, но мы уйдем от главной темы.

Гермиона, к доске!

Показывать буду на знаменитости чтобы было проще оценить похожесть итогового результата.

Сохраните эту фотографию или возьмите свою. Запускаем стабильную диффузию и идем на вкладку img2img.

Ах, да. Если вы впервые видите мои статьи, то я пытаюсь рассказать как работать с нейросетями не обладая каким либо техническим багажом. Вводная часть тут. Но если вот совсем не хотите с этим возиться можете обратиться в наш чат энтузиастов в основном тоже пикабушников возможно ради практики вам захотят помочь порадовать близких.

Итак, вкладка img2img:

Почти все то же самое что и на txt2img, но теперь у нас есть место для нашего изображения на основе которого мы и будем получать другое.

Так же появился блок Resize mode его пока не трогаем. А вот новый ползунок Denoising streinght мы будем трогать очень активно.

Помните что нейросеть генерирует фотографии из шума? Он регулирует, как много шума вы добавите на свою исходную фотографию.

0.1 - нейросети почти не с чем будет работать и изменения будут минимальными

0.9 - от вашего оригинального изображения почти ничего не останется.

Но, не забываем и другие параметры которые мы изучали до этого, они тут есть, а значит все точно так же работают.

Основы узнали. Приступим. Выберите фотографию которую хотите изменить. В поле промпт вбейте информацию о стиле, сюжете и тд который вы хотите получить. Все делаем как если бы вы работали в txt2img. Негативный промт так же рекомендую использовать. Вы же проходили урок где я вам его давал?

Если нет держите, но урок пройдите:

deformed, bad anatomy, disfigured, poorly drawn face, mutation, mutated, extra limb, ugly, disgusting, poorly drawn hands, missing limb, floating limbs, disconnected limbs, malformed hands, blurry, ((((mutated hands and fingers)))), watermark, watermarked, oversaturated, censored, distorted hands, amputation, missing hands, obese, doubled face, double hands, asian, b&w, black and white, sepia

Так как нам не просто нужно получить одно на основе другого, но и сохранить часть изображения для этого нам понадобится крутая штука. Называется inpaint если работали с масками в фотошопе то это ваш старый друг.

Нажав инпейнт картинка переносится в этот инструмент. Нажимаем на карандаш и закрашиваем ту часть картинки которую мы менять НЕ хотим (пока что).

Новая подвкладка новые галочки . Давайте разбирать.

Inpaint masked - изменять то что в маске. По умолчанию галка стоит тут. Переставьте как у меня.

Inpaint not masked - изменять то что НЕ в маске. Получается сейчас все кроме лица.

Fill - зальет картинку сильнее чем ориджинал

Original - постарается сохранить картинку

Пу-пу-пу. Рассказываю примитивно) Если ориджинал постарается сохранить цвета, то фил может забить на это хер. Можно использовать когда хотите получить лес, а на картинке вообще ничего зелёного нет, вам пригодится фил. Ориджин же изменяет картинку не так сильно. Но, филу понадобится намного больший уровень денойза, ведь он считай с нуля работает, а значит мы можем получить что-то такое. Другие 2 нам прямо совсем сейчас не нужны.

(Есть способ избежать этой ситуации, и изменить исходник прямо полностью сохранив позу, но это тема отдельной статьи. Если уже шарите то подсказка ControlNet)

В общем сегодня наш бро это original.

Whole picture и Only masked. Режим Only masked изменяет выбранную маску в более высоком разрешении, а потом вставляет его обратно. То есть на мелких объектах это повышает детализацию. На качество фона это почти не повлияет поэтому сейчас что выбирать не принципиально.

Используя все настройки как на скрине выше жманькаю генерацию.

Кто-то уже может назвать это результатом, но. Лицо слишком сильно не соответствует остальному стилю. Исправляем. Следите за руками. Хватаем мышкой устраивающий вас результат и тянем на наш исходник.

Вуаля, теперь мы работаем с ним.

Теперь нам нужно работать с лицом и не трогать остальное изображение. Поняли как это сделать? Верно. Переключиться на Inpaint masked.

Так же убедитесь что Inpaint area у вас стоит на Whole picture дело в том что оно обладает побочным свойством. Перенимает стиль и информацию всей картинки, тогда как only masked только то что входит в нее и на некоторое количество пикселей в стороны. Задается ползунком "Only masked padding, pixels" а так как мы поменяли стиль фотки и хотим сделать то же самое с лицом то нам больше подойдет нужен Whole picture.

Так же нам нужно уменьшить денойз ведь мы хотим сохранить узнаваемость. Мои итоговые настройки выглядят так.

А результат вот так.

Теперь лицо не так сильно выбивается их окружения. Насколько сильно это делать дело вкуса каждого. А теперь мы хотим порадовать Эмму и сделать билборд с этим изображением. Но разрешение картинки такое что даже на рабочий стол не поставишь.

К АПСКЕЙЛЕРУ!

В самом низу в выпадающем меню "Script" выберите SD Upscale.

Новые галочки и ползунки

Тут у нас нейросетевой апскейл. Отличие от обычного что он не просто увеличивает картинку, а увеличивает ее прогоняя через нашу нейросеть что может добавить деталей там где их вообще не было. Их тут дофига и можно скачать еще больше основные отличия в том что какие-то хороши с реализмом какие-то с аниме и тд. Для наших целей подойдет ESRGAN_4x. Не рекомендую сразу апскейлить более чем в два раза. Если нужно разрешение выше мы можем просто наш результат прогнать еще раз и так хоть до размера стадиона. Учтите что ваши настройки такие как денойз и кфг будут влиять на его работу! У нас стоит 0.29 и мне окей. Тут нужно балансировать между не потерять детали оригинала за которые вы его так любите \ получить высокое качество.

Смотрите как изменилась кожа. Обычный ресайз так не сделает.

Итог:

Изменения могут быть намного серьезней. Например, вот так:

На этом все. Остались конечно пробелы которые хотелось бы заполнить, но всему свое время.

Рассказываю что знаю тут. Вы рассказываете что знаете и делитесь результатом тут.

1. Читаем пост

   2. Делаем вот так 👇

Вот в таком новом мире мы живем. Когда-то это было шуткой

Внимание, дальше читать не имеет смысла если вы первые слышите про AUTOMATIC1111 и не читали хотя бы первую часть. Это плюсовое самоубийство, но что поделать. Прежде чем анимировать нейро танцы нужно показать основы.

Поехали.

Styles это способ сэкономить время на набор промпта. Пользоваться просто. Покажу на примере негативного. Заполняем только негативное поле(текст оставлю ниже). Нажимаем на дискету (на этом моменте олды пускают слезу), вбиваем желаемое имя. Ок.

deformed, bad anatomy, disfigured, poorly drawn face, mutation, mutated, extra limb, ugly, disgusting, poorly drawn hands, missing limb, floating limbs, disconnected limbs, malformed hands, blurry, ((((mutated hands and fingers)))), watermark, watermarked, oversaturated, censored, distorted hands, amputation, missing hands, obese, doubled face, double hands, asian, b&w, black and white, sepia

Теперь нам не нужно каждый раз вбивать все самому, просто в выпадающем меню выбираем наш стиль, удаляем то что писали, добавляем в запрос что мы хотим видеть. Генерируем

Советую запоминать что вы там понаписали. Потому что например там есть слово asian. Не потому что мы расисты, а потому что попробуйте убрать, 80% генераций в некоторых сценах будут с азиатами =). Но если вы хотите человека из этой этнической группы, то делаем вот что.

Нажмите на кнопку левее дискеты. Все что в ваших стилях перенесется в поле промптов. Удалите то что для вас сейчас лишнее, добавьте то что вам сейчас нужно. Удобно? Еще бы.

Теперь, когда мы обладаем этими знаниями, идем воровать. Воровать будем у меня.

Сразу хочется сказать. Делитесь своими промптами, используйте чужие, для этого они и выкладываются, экспериментируйте. Нейросетевой арт можно сказать только зарождаются и вместе мы сможем развивать его быстрее чем по одному. Каждый день кто-то находит удачный стиль, пишет скрипты, перемешивает модели между друг другом чтобы наши руки были развязаны, и мы могли бы получать в точности то что мы хотим с меньшими усилиями.

Дальше будет просто один из примеров, найти чужие нейроарты можно много где. Идем на сайт civitai.com помните его? Мы тут нашу модель качали. Идем на страницу с моделью(есть NSFW контент), листаем на работы пользователей которыми они поделились. Вот ссылка на мои. https://civitai.com/models/4823?modal=reviewThread&reviewId=10791

Листаем и вы такие, хммм, интересная цветовая палитра. Как он это сделал? 🤔🤔🤔. Следим за руками.

И что мы видим? Что генерируется совершенно другой результат? А почему? Потому что некоторые люди не очень внимательные, да это я про себя.

Внимательно посмотрим на то что скопировали. Проблемное место я выделил жирным:

(Rough Photo:1.3) of (Ultra detailed:1.3),(Proud:1.3) cyberpunk girl leaning a graffiti wall,(by Artist Gil Elvgren:1.3),Highly Detailed,(50s Art:1.3),(Blue hue:1.3), upper body, detailed skin, detailed eyes, realistic eyes, 20 megapixel, canon eos r3, detailed skin, detailed face, (TungstenDispo:1.2), raw photo, portrait of a business woman, (style by Flora Borsi), bold, bright colours, blue Mohawk haircut, ((Flora Borsi)), dslr, dramatic lighting, high quality, film grain, Fujifilm XT3, (strong backlight:1.1), analog style (liminal space), by Syd Mead, by Andr Kertsz, by Tadao Ando

Negative prompt: Amateur,Low rated, Phone, Wedding, Frame, Painting, tumblr, watermark, signature, 3d, ugly eyes, 2 people, deformed iris, deformed eyes, bad eyes, (disfigured), (bad art), (deformed), (poorly drawn), (extra limbs), (close up), strange colours, blurry, boring, sketch, lackluster, face portrait, signature, letters, watermark, grayscale, moody lighting, cartoon, busy, people

Size: 512x512, Seed: 3376955184, Model: realisticVisionV13_v13VAEIncluded, Steps: 20, Sampler: Euler a, CFG scale: 3, Model hash: c35782bad8, Hires upscale: 2, Hires upscaler: ESRGAN_4x, Denoising strength: 0.51

Мы на странице модели Deliberate, но я случайно загрузил туда картинку, которую генерировал на другой. Из-за чего результат и отличается. Так что когда у вас происходит подобное убедитесь что модели совпадают. Есть еще причины для отличий, но о них в другой раз.

Но мы пришли за стилем. Смотрим в промпт еще раз и копируем то что не относится к сюжету сцены:

(Rough Photo:1.3) of (Ultra detailed:1.3),(Proud:1.3) cyberpunk girl leaning a graffiti wall,(by Artist Gil Elvgren:1.3),Highly Detailed,(50s Art:1.3),(Blue hue:1.3), upper body, detailed skin, detailed eyes, realistic eyes, 20 megapixel, canon eos r3, detailed skin, detailed face, (TungstenDispo:1.2), raw photo, portrait of a business woman, (style by Flora Borsi), bold, bright colours, blue Mohawk haircut, ((Flora Borsi)), dslr, dramatic lighting, high quality, film grain, Fujifilm XT3, (strong backlight:1.1), analog style (liminal space), by Syd Mead, by Andr Kertsz, by Tadao Ando

Negative prompt: Amateur, Low rated, Phone, Wedding, Frame, Painting, tumblr, watermark, signature, 3d, ugly eyes, 2 people, deformed iris, deformed eyes, bad eyes, (disfigured), (bad art), (deformed), (poorly drawn), (extra limbs), (close up), strange colours, blurry, boring, sketch, lackluster, face portrait, signature, letters, watermark, grayscale, moody lighting, cartoon, busy, people

Size: 512x512, Seed: 3376955184, Model: realisticVisionV13_v13VAEIncluded, Steps: 20, Sampler: Euler a, CFG scale: 3, Model hash: c35782bad8, Hires upscale: 2, Hires upscaler: ESRGAN_4x, Denoising strength: 0.51

portrait of a business woman я бы тоже исключил, но не заметил во время создания гайда

Выставляем желаемые настройки, вписываем свой сюжет и вуаля. Можем сохранить как стиль и использовать.

Результат этой генерации:

Посмотрим что получили. Далеко не идеально. Лицо слишком игрушечное. Ну и руки... Про руки не влезем в статью, поэтому в другой раз, а пока давайте улучшать лицо.

Первое что нужно понять это как обучалась нейросеть. Упрощенно ей скормили кучу фотографий с размеченными данными что на ней изображено. cat, fur, table, window, pot. Вводим cat получаем представление как нейросеть видит cat.

Снова к промпту!

woman is sitting on a chair next to a big window, (by Artist Gil Elvgren:1.3), Highly Detailed,(50s Art:1.3),(Blue hue:1.3), upper body, detailed skin, detailed eyes, realistic eyes, 20 megapixel, canon eos r3, detailed skin, detailed face, (TungstenDispo:1.2), raw photo, portrait of a business woman, (style by Flora Borsi), bold, bright colours, blue Mohawk haircut, ((Flora Borsi)), dslr, dramatic lighting, high quality, film grain, Fujifilm XT3, (strong backlight:1.1), analog style (liminal space), by Syd Mead, by Andr Kertsz, by Tadao Ando

Кто видит тут преступление против реализма?

Вот оно "realistic eyes". Под какой картинкой нейросеть могла увидеть такой тег? Под рендером или под картиной. Никто не пишет под фотографией realistic eyes. Поэтому такие и подобные им лучше перемещать в негативный prompt. Photorealistic, render, 3d, painting, cgi, doll и подобное сделают вашу модель игрушечной и место им в негативном промпте.

Что еще поможет? Часто лица слишком идеальные. Это надо исправлять! Добавляйте дефекты. Например (freckles, moles, skin pores:0.9) (пер: веснушки, родинки, поры кожи). Так же рекомендую изменить семплер с дефолтного "Euler a" например на "DPM++ 2M Karras". Так как первый любит мылить картинку.

По поводу проблем. Если попытаетесь скопировать мой сюжет, то с высокой долей вероятностей будете получать перекрученных мутантов. Так как поза сидеть часто связана с перекрытием конечностей друг другом что для нейросети на данном этапе в общем-то проблема. НО несколько дней назад вышел инструмент который способен эту проблему решить(я ведь уже говорил что что-то появляется буквально каждый день?), но это тема для отдельной статьи. Затравка вот.

Нейросети меня неплохо увлекли, если вас тоже приглашаю в телеграмм группу где сможем обсуждать проблемы, нововведения, делиться своими работами, опытом и учиться друг у друга. https://t.me/neuralphotoart_chat.

И канал где я выкладываю гайды чуть раньше чем тут(просто потому что там начал раньше) и картинки, которые могут нарушать правила площадки https://t.me/neuralphotoart.

Приступим к новой теме, она легкая, но я хочу убедиться что все, все понимают и нет пробелов.

Интерфейс:

Пройдемся по настройкам основной вкладки. (Обозреваемая картинка в середине списка, чтобы постоянно не скролить)

1. Модель, которая используется для генераций. Если просто то отличаются друг от друга так называемыми весами, одна будет лучше выдавать аниме, другая реализм, третья голых девиц. Скачать модели можно на сайте https://civitai.com/

2. Позитивный промпт — это то, что мы ХОТИМ видеть на картинке. Например, A girl in a summer dress standing in a field

3. Негативный промпт — это то, что мы НЕ ХОТИМ видеть на картинке. Например, Asian. Попробуйте не поставить Asian и каждую генерацию будете получать азиата)

4. Семплер. Коротко то как будет интерпретироваться шум, из которого собственно модель и делает картинку. Как выбрать семплер будет в следующих статьях.

5. Сколько раз нужно пройтись по вашим промптам. Слишком маленькой значение выдаст артефакты, слишком большое часто бессмысленное, так как с каждым новым проходом шума на картинке все меньше, а значит и возможностей для вносимых изменений меньше. Значение в 20 шагов можно считать универсальных для большинства настроек. Но есть нюансы, о которых лучше расскажу в следующих статьях. Эта сильно всех влияет на время генерации. Так как каждая единица это дополнительный проход по изображению.

6. Размер выходного изображения. Обычно модели обучаются на картинках 512 на 512, 768 на 768, то есть на квадратных и чем больше вы будете отходить от этих значений тем больше вероятность задвоений. Будут создаваться близнецы и люди в людях. Я предпочитаю генерировать в 768 на 1024. Так же сильно влияет на время генерации.

7. Batch count – сколько картинок сгенерировать подряд. Batch size – сколько картинок генерировать единовременно. Не влияет на качество получаемых картинок.

8. CFG Scale. Очень влияет на качество картинок. Чем больше масштаб тебе ближе картинка должна быть к вашим промтам и казалось бы ставь на максимум и готово, но нет. Полученный результат проще всего будет назвать «Перестаралась». Например, если добавить веснушки, но на высоких значениях они будут размером с горох. Это значение дает большое поле для экспериментов. О том как его выбрать поговорим в следующих статьях. Рекомендуемые значения от 3 до 11.

9. Seed. Нейросеть генерирует картинку для шума. Если с одинаковыми настройками взять 2 одинаковые картинки с шумом то и результат получится одинаковым. Значение -1 каждую генерацию выбирает случайный набор шума. Можете задать свой, можете взять чужой, чтобы повторить его генерацию. Так же понадобится когда картинка вам понравилась, но вы хотите ее слегка изменить, например пройтись большим количеством семплов или с другим cfg. Спойлер, это может изменить ее довольно сильно. Как менять слегка расскажу в следующих статьях.

10. Когда все настройки выставлены можем генерировать нашу картинку.

Галочка Restore face – может исправить искривленное лицо. Справляется не всегда.

Галочка Hires. fix – увеличивает разрешение вашей картинки, но лучше это делать после, во вкладке Extras так как прилично увеличивает время генерации.

Галочка Tiling - для создания бесшовных текстур. Может пригодиться 3д модельерам и иллюстраторам.

Вот так выглядит типичный процесс генерации. Вбили промпты. Как это делать быстро расскажу в другой статье. Выбрали модель(Deliberate). Семплер(DPM++ 2M Karras), определились с количеством шагов (Sampler steps 24). Галочка на Restore face и Hires. fix чтобы получить картинку побольше и без косяков на лице. Ширина, высота CFG Scale.

Получаем Скарлет, царицу полей.

Промпт в текстовом виде:

Young Scarlett Johansson, ((slightly covered by a cloth huge breasts)), wear very short t-shirt, white hair and standing in a field of tall grass with a blue sky in the background and a green dress, portrait photography, a character portrait, art photography

Negative prompt: deformed, bad anatomy, disfigured, poorly drawn face, mutation, mutated, extra limb, ugly, disgusting, poorly drawn hands, missing limb, floating limbs, disconnected limbs, malformed hands, blurry, ((((mutated hands and fingers)))), watermark, watermarked, oversaturated, censored, distorted hands, amputation, missing hands, obese, doubled face, double hands, asian, b&w, black and white, sepia, anime, doll, 3d, render, double hands

Steps: 24, Sampler: DPM++ 2M Karras, CFG scale: 3.5, Seed: 2701198923, Face restoration: CodeFormer, Size: 512x512, Model hash: d8691b4d16, Model: deliberate_v11, Denoising strength: 0.7, Hires upscale: 2, Hires upscaler: Latent

В следующий раз расскажу как делать что-то на основе другого.

Нейросети меня неплохо увлекли, если вас тоже приглашаю в телеграмм группу где сможем обсуждать проблемы, нововведения, делиться своими работами, опытом и учиться друг у друга. https://t.me/neuralphotoart_chat.

И канал где я выкладываю гайды чуть раньше чем тут(просто потому что там начал раньше) и картинки, которые могут нарушать правила площадки https://t.me/neuralphotoart.

Проект не коммерческий, а построен на чистой любви к прекрасному и энтузиазме.