Годная реклама какого-нибудь ресторана, не правда ли? А ведь я полностью сгенерировала ролик в новой нейросети Dream Machine от Luma AI, которую уже окрестили убийцей Sora. Я протестировала новую нейросеть и ниже поделюсь своими выводами.
Кстати, кто не знает, что такое Sora, в своей статье я по полочкам разложила, что это и почему наделало столько шума.
Что такое Luma AI Dream Machine
Luma AI представила свою модель text2video Dream Machine - нейросеть для генерации видео, которая составит конкуренцию популярной нейросети Sora в реалистичности своих видеотворений.
Можно прописать текстом, что вы хотите видеть в конечном видео, а можно к этому еще и приложить изображение, для наглядности, что должно быть на видео
Предупрежу, что сервер иногда бывает перегружен, но, по крайней мере у меня, запросы обрабатывались, но видео не грузилось, просто черный экран, а сегодня все мои видео сохранились, и я смогла посмотреть результат, и он того стоил, скажу я вам, сами потестите. В месяц дается 30 бесплатных генераций.
В моем канале НейроProfit больше полезных нейросетей, о которых я рассказываю.
Как получить более реалистичное изображение в Luma AI Dream Machine
По моим наблюдениям, лучше всего получаются генерации с предоставлением изображения, а если это еще и крупный план-так вообще. Сами посудите, я взяла изображение крупного плана еды, который я сгенерировала в Midjourney:
Приложила это изображение в качестве референса и использовала структуру, как в Midjourney. Кстати, кто хочет научиться использовать Midjourney, вступайте в Закрытый клуб с видеоуроками и единомышленниками. Первый вариант того, что получилось, вы видели на превью, вот вам второй вариант того, что получилось:
Смотрите какое реалистичное качество, чтобы доказать, что лучше всего и реалистичнее получаются кадры именно из готовых изображений, ниже я сравню разные варианты.
Менее реалистичные варианты:
Вот например самый простой и беспроигрышный вариант - близкий кадр девушки, все генераторы видео справляются с этой задачей лучше, и результаты получаются реалистичными. Тут изображение я не прикладывала, а использовала вот такой промпт:
Extreme closeup footage of a young sailor woman with a concerned expression during a rainstorm. (Экстремальные кадры крупным планом молодой женщины-моряка с озабоченным выражением лица во время дождя.) - ну как вариант для какого-нибудь отрывка из фильма
В принципе неплохо, но мне какой-то резкости и четкости линий не хватает
Не идеал, но честно, на мой взгляд гораздо лучше Pika и Runway GEN-2.
Дальние планы
С дальними планами и несколькими людьми в кадре посложнее - появляются артефакты.
Я опять решила просто написать запрос:
three people conferring in an office, a girl on the left is touching her hair with her hand, a man in the center is tapping a pen on a desk (Три человека беседуют в офисе, девушка слева трогает рукой свои волосы, мужчина в центре постукивает ручкой по столу)
Тут я обозначила, что девушка должна быть изображена слева, и она должна трогать волосы, соответственно мужчина должен быть по центру, постукивать ручкой по столу, а выбор третьего персонажа я оставила за Dream Machine, вот что получилось.
Надо отдать должное, нейросеть наполовину выполнила мое задание, качество правда не очень, но будем реалистами- это уже что-то, ну и артефакты видно. Женщина действительно теребит волосы, а вот руки мужчины - это отдельный вид искусства )
Ну здесь тоже все верно расположены, руки мужчины-более менее, но никто не выполняет заданных в промпте действий.
А теперь давайте сделаем тоже самое, но приложим в качестве референса изображение:
И используем тот же промпт, вот, что получилось на выходе:
Благодаря тому, что я прикрепила реалистичное изображение, которое сгенерировала в Midjourney по своему запросу - с ручкой и поправлянием волос, получилась реалистичная генерация.
По моим наблюдениям, лучше всего получаются генерации, когда вы прикладываете еще и изображение референс, и чем оно реалистичнее и четче, тем лучше результат получится. Пока самая реалистичная нейросеть для генерации изображений - это Midjourney, сколько бы пока не выкатывали “убийц”, а воз и ныне там. Кто хочет научится пользоваться Midjourney, генерировать предсказуемо качественные результаты, использовать в дизайне и реалистичных фотосъемках - вступайте в Закрытый клуб Midjourney - с видеоуроками и чат с обратной связью. Кстати, скоро ребрендинг и изменение цен - а то руки не доходят 🙆🏻♀️ Кстати, как вариант и себя в качестве персонажа легко сгенерируете, чтобы самим в видео и фотосессиях не участвовать, экономит время нормально )
Хотите узнавать первыми о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпиcывайтесь на мой телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.
