Sd + Stable Diffusion

Нейронные сети создают изображения из цифрового шума, они функционируют по четким алгоритмам. Это дает возможность генерировать изображения, следуя определенной последовательности действий.

Вот несколько подходов, которые помогут сохранить или воспроизвести черты лица персонажа:

• комбинирование визуальных эффектов для разработки уникальной «формулы»

• применение функции DeepFace (замена лиц)

• использование текстовых инверсий для сохранения ваших «формул» в виде отдельных промтов может оказаться не самым удобным способом для пользователей на практике

• применение "seed" не предназначено для сохранения изображения, а скорее для фиксации уникального отпечатка визуального элемента и его составляющих. Поэтому это не относится к текущей теме обсуждения.

В данной статье мы обсудим метод комбинирования изображений для формирования индивидуальной «формулы», так как этот способ является одновременно легким и эффективным.

Сам процесс достаточно прост: нужно объединить несколько изображений и/или фотографии известных личностей в одном запросе (промте), при этом задав соответствующие весовые коэффициенты.

Все эксперименты будут проводиться с помощью бота, который работает с Stable Diffusion в Telegram: @yes_ai_bot

Пример промпта:

(марго робби:0.6), (дейнерис:0.7), (ален де лон:0.8)

Сочетание людей разных полов может показаться не самым привлекательным вариантом, однако на практике это дает совершенно иной эффект. Важно отметить, что такие промты часто приводят к схожим чертам лица в различных вариантах. При разработке стандартных промтов вы можете без труда добавить элементы окружающей среды и разнообразные стили.

Пример промпта:

(марго робби:0.6), (дейнерис:0.7), (ален де лон:0.8) стоит на фоне дождя

Пример промпта:

(марго робби:0.6), (дейнерис:0.7), (ален де лон:0.8) скачет на ложади по луне

Есть ли у вас возможность выявить недостатки применения этой методики?

Сложности могут возникнуть, если вы перечисляете множество людей, разделяя их запятыми, что может привести к добавлению лишних элементов на картине.

Хотите разобраться, как избавиться от дублирующихся персонажей в нейросети Stable Diffusion?

Сначала стоит выбрать квадратные изображения для генерации (например, размеры 840x840 или 1024x1024 и т.д.). Кроме того, можно добавить в запрос слова «1woman» или «1man», чтобы указать нейросети, что на изображении должен быть только один человек, хотя этот способ не всегда гарантирует результат.

Если у вас есть картинка с нужным персонажем, но на ней присутствуют несколько фигур с идентичными чертами лица, существует традиционное решение:

INPAINT. Этот инструмент позволяет заменять дублирующиеся лица на другие, будь то случайно выбранные или взятые из вашей личной библиотеки DeepFace.

Подробности о работе с INPAINT можно найти в этом видео...

Вместо имен знаменитостей можно применять псевдонимы или другие названия персонажей, которые четко указывают на нужную личность.

В одной из игр на HypeHype у меня есть кнопки строительства активных объектов. Одна из них – катапульта в виде пушки. Сейчас для кнопки используется иконка очень плохого качества. Поэтому я решил, что нужно что-то получше, а главное – очень быстро и дешево. Требования к результату не строгие.

Решил привлечь на помощь Stable Diffusion и LoRA для создания игровых иконок (Game icon Institute 3Dmode от ConceptConnoisseur на Civitai).

Соответственно, использую img2img генерацию из исходной "плохой" иконки. Основной параметр для настройки – Denoising Strength (параметр, контролирующий степень изменения исходного изображения или шума при генерации). Вес LoRA – 0.5.

Результат представлен на слайде. Более-менее подходящими считаю варианты при DS 0.6 и 0.7. При увеличении параметра модель сильно уходит в реализм, а при понижении — результат так себе. Еще нужно будет править это в фотошопе, чтобы избавиться от артефактов.

Задача заняла 25 минут времени и стоила мне $0.2 серверного времени на RunDiffusion.

Можно еще ThinkDiffusion использовать, но мне показалось, что в RunDiffusion получше с чекпоинтами.