Stable Diffusion + Фотография

Недавно появилась новая модель с открытым исходным кодом под названием FLUX.1 от компании Black Forest Labs. Разработчики этой модели — бывшие создатели Stable Diffusion, которые решили создать лучший опенсорс генератор изображений.

Модель FLUX.1 имеет 12 миллиардов параметров и уже сейчас доступна в трех версиях:

• FLUX.1 [pro] — самая продвинутая модель с высокой детализацией и качеством. обеспечивает лучшую производительность и высокую детализацию изображений, подходит для профессионального использования. Она работает через API в Replicate и FAL.AI

• FLUX.1 [dev] — версия, которая в два раза быстрее, но с несколько ухудшенным качеством по сравнению с Pro, эдакий компромисс между скоростью и качеством, подходит для коммерческих проектов. Демоверсия и публичная модель доступны по следующим ссылкам:

  FAL.AI

  Hugging Face

  Replicate

• LUX.1 [schnell] — младшая модель, предназначенная для локального запуска на менее мощных устройствах. Подойдет для тех, кто хочет попробовать возможности модели на менее мощных устройствах.Она доступна для скачивания по ссылкам:

  Hugging Face

  Replicate

  FAL.AI

Мой обзор на FLUX.1 pro

Я сама потестила Pro версию.

В Pro версии дается на старте 2$ - с расчетом, что за 1 доллар вы можете запустить эту модель примерно 20 раз. На практике, каждое изображение мне стоило 5 центов. Надо авторизовываться через GitHub.

Хорошо генерирует знаменитостей, но иностранных, внешность Дурова не знает, без доп заморочек не сгенерировать. Генерит быстро, классно пишет текст. Цензуры вроде как нет, я постаралась задать провокационные задачки. Но голую натуру не генерирует ни с какой попытки на сайте.

Для этих целей стоит установить локально:

• Устанавливаем Forge (есть установка в один клик);

• Если у вас карточка серий RTX 30xx/40xx устанавливаем эту модель, а если GTX 10xx/RTX 20xx ставим эту модель

Функции Inpainting и Controlnet в FLUX.1

Но самое крутое, что во FLUX реализовали две крутые функции Inpainting - редактирвоание элементов и Controlnet - вообще пушка , можно дать фото референс и на основе делать изображения- на видео подробнее рассказала.

Inpainting

Помимо этого, теперь во FLUX можно перерисовывать объекты на изображениях благодаря инструменту Inpainting. Можно загрузить фото, обвести любой объект в кадре и текстом написать, что вы хотите дорисовать. Я загрузила изображения, генерированные во Flux, но все мои подсказки игнорировались, и генерироовалось все, что угодно, но не то, что я просила. А вот с фотографиями ситуация гораздо лучше - с первого раза все получилось.

Controlnet

Но самое крутое, к Flux прикрутили Controlnet, теперь можно дать фото референс, который сервис возьмет за основу, и дальше можно по просту менять цвета, фон, например товара какого-нибудь. Это заодно и хорошее решение для проблем с генерацией групп людей, текста, рук, глаз и других мелких деталей.

Flux — это мощный инструмент для генерации изображений, который сочетает в себе высокое качество и гибкость настройки. Хотите узнавать о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подписывайтесь на телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.