Видеомонтаж + Полезное

Я поигралась, мне понравилось, получается реалистичней чем в D-ID, но с крупными планами такая же лажа - немного пиксельный рот.

Вышла новая нейросеть Hedra, которая составит конкуренцию HeyGen, Pika и D-ID, про который вообще в последнее время ничего не слышно.

Я сгенерировала в Midjourney всех персонажей, чтобы их оживить:

Кроме Дарт Вейдера оживила всех) Понравились изображения? Хотите научиться так же? Вступайте в Закрытый клуб Midjourney - доступ навсегда к видеоурокам, чату с участниками и обновлениям материалов.

Как работает

Принцип прост: вы загружаете изображение с персонажем, (либо описываете его текстом), загружаете свое аудио, (либо пишете текстом и выбираете из представленных голосов), и нейросеть анимирует ваше изображение.

Что может и не может:

По поводу мемов - загружала изображение Гомера Симпсона, Дарт Вейдера - упорно не видит лица, поэтому скорее всего мемы с мультяшками сделать будет проблематично.

Но главное, что бесплатная и поддерживает русский язык. Потому бегите тестить, пока еще сервера не упали

Хотите узнавать первыми о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпиcывайтесь на мой телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.

Framedrop - бесплатно и без кредитной карты можно нарезать видео просто и быстро и изменить формат, скажем на 9:16, хотя там представлено больше. Можно самим захватить кусок, который как раз будет умещаться в размер reels, TikTok, shorts, еще можно сгенерировать автоматические субтитры, причем выбрать их язык из множества представленных языков. Отличный способ расширить аудиторию.

2. CapCut

CapCut - бесплатно сделает то же самое, бонусом другие полезные фишки.

Я отдаю предпочтение ей, мне привычнее, что ли. Там заодно эффекты крутые сразу можно настроить и переходы.

Лично мне нравится работать в приложении, скачать можно на телефон и на ПК. Еще огромный плюс, как она автоматически нарезает рилс, шортс, тикток, видит движущийся объект и берет интересные кадры автоматически.

Единственное неудобство, чтобы скачать, необходимо воспользоваться VPN, но на сайте использовать тоже можно.

Плюсом, у них там свой генератор изображений и еще сервисы. Но это сугубо мое мнение, попробуйте поработать в обеих, вдруг вам не нужны многие функции CapCut.

Хотите узнавать первыми о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпиcывайтесь на мой телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.

Выпустили в открытый доступ бесплатно нейросеть V-Express - это технология создания видео портретов, разработанная Tencent AI Lab и Нанкинским университетом. Она позволяет преобразовать одно изображение в видео, используя текст, аудио и другие сигналы для управления.

Технология полезна для анимации портретов в различных приложениях, таких как виртуальные ассистенты и развлекательные платформы.

Иными словами, позволяет оживить любое фото и создать по нему дипфейк. Аватар будет очень реалистичный и максимально повторять все движения за человеком.

Вам потребуются только фото и аудиофайл с речью, которую будет произносить персонаж.

2. Argil

Argil - нейросеть для создания качественных дипфейков, которая способна скопировать стиль общения, язык тела и голос, плюс очень хорошо имитирует движение губ.

Для создания дипфейков достаточно загрузить пару минут видео с аудио и добавить текст. Чтобы получить дипфейк, как внизу - Цукерберг, Андриссен и Обама полностью сгенерированы, хоть в это и сложно поверить.

Вообще, изначально это сервис для создания своего AI клона, просто процедура такая же - загружаете видеоролик, где вы четко смотрите в камеру и говорите, на этом видео натренируют ии, чтоб вы могли уже без своего участия делать Shorts, Reels и другие видео с собой, просто написав текст. В случае с дипфейком нужно тогда загрузить короткое видео с персонажем в качестве референса. Озвучку так же можно сделать в сервисе

Короче, всем сервис хорош, кроме того, что нужно записаться в лист ожидания. Я уже записалась, там вообще коротенькая анкетка - имя, почта, зачем хотите потестить, где увидели - в основном, надо выбрать да/нет, у меня пол минуты, наверное, заняло

3. VideoReTalking

Проект VideoReTalking, представленный на конференции SIGGRAPH Asia 2022, предлагает систему для редактирования видео с говорящими головами в реальном времени на основе входного аудио.

VideoReTalking позволяет создавать видео высокого качества с синхронизацией движения губ даже при изменении эмоций, то есть так, чтобы человек на нём говорил заданный текст с учетом синхронизации движения губ и эмоций, соответствующих звучанию. Технология использует сложные алгоритмы машинного обучения и обработки изображений для достижения реалистичного результата без необходимости ручного вмешательства пользователя.

Процесс

Процесс включает в себя три этапа: генерация видео лица с каноническим выражением, синхронизация движения губ с аудио и улучшение фотореалистичности лица. Все этапы выполняются автоматически без вмешательства пользователя с использованием обучаемых подходов

Достаточно загрузить речь нужного человека и на выходе получить видео, где он говорит ваш текст.

Код на GitHub

4. Rope

Репозиторий Rope на GitHub — это проект, направленный на создание реалистичных замен лиц в видео с использованием модели inswapper_128 из проекта InsightFace.

Главная особенность Rope — это удобный графический интерфейс (GUI), который упрощает процесс работы с заменой лиц для пользователей, не имеющих глубоких технических знаний.

Основные функции Rope:

• Замена лиц: Основная задача Rope — это замена лиц на видео. В основном для киноиндустрии полезно, при создании визуальных эффектов, в виртуальной реальности и других творческих проектах.

• Поддержка различных разрешений: Программа позволяет выбирать разрешение для вывода — 128, 256, 512 пикселей, так что можно настроить качество конечного видео в зависимости от ваших потребностей.

• Улучшение качества изображений: В Rope интегрированы инструменты для повышения качества изображений, такие как GFPGAN и Codeformer, которые улучшают реалистичность замененных лиц.

• Графический интерфейс: Удобный GUI позволяет легко загружать видео, выбирать и заменять лица, а также настраивать различные параметры без необходимости писать код.

Подробнее про Rope в этой статье

Хотите узнавать первыми о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпиcывайтесь на мой телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.

При большом желании вы уже сейчас можете потестить китайский аналог Sora и почувствовать себя режиссером. Подробный гайд, как зарегистрироваться и записаться на бета тест, тут (понадобится китайский номер, можно бесплатно взять тут)

TG: NEUROHUB🔥👈 Ещё больше нейроконтента

На рынке видеогенерации происходит интенсивная движуха, сравнимая с февралем этого года, когда Open AI показали Sora и ее возможности. Так как было раньше, уже не будет.

Китай активно допилил свои нейросети, похожие по уровню качества на Sora, типа Open-sora или Kling. Последний, кстати, очень похож на Sora, но рассчитан на внутренний рынок, во всех смыслах - все на китайском, требуется китайская сим-карта и местное приложение, к тому же ходит слух, что европейцев она сгенерировать не сможет.

Как все-таки попробовать Kling бесплатно:

Энтузиаст из X (бывший Twitter) выложил гайд.

1. Устанавливаем приложение KwaiCut - для IOS , для Android;

2. Нажимаем кнопку "AI creation" и "apply for experience", чтобы подать заявку;

3. Далее понадобится китайский номер телефона, можно взять здесь бесплатно;

4. Также нужен Kuaishou ID, чтобы его получить регистрируемся в приложении - для IOS, для Android - приложения нет в playmarket, отсюда качаем на свой страх и риск;

5. Далее вы получите смс или push-уведомление, если вам дадут доступ.

На всё уходит около часа. Если у вас есть WeChat и вы в нем зарегистрированы, тогда вы через него можете авторизоваться. Но все на китайском.

Больше полезного в моем телеграм канале, присоединяйтесь)

Dream Machine от Luma

Это то, что у меня получилось

Luma выпустила Dream Machine, свой обзор, видео, которые получились у меня и советы по генерации я изложила в этой статье.

Пока мой топ. Вот официальное видео:

Как сгенерировать видео лучшего качества в Luma Dream Machine

Для получения лучших генераций от Dream Machine есть специальный гайд, который учит:

• Генерация видео с текста: как описывать сцены, действия персов и камеры, изменение текстур и других объектов.

• Оживление изображений: движение камеры, раскадровка.

• Правильное использование Enhance prompt — улучшатель запроса.

Там описано даже как можно следить за героем с помощью Tracking shot.

Для удобства, есть GPTs бот для Dream Machine. Суть - загружаете изображение и бот генерирует промт, который Dream Machine использует для оживления картинки.

Нейросеть уже обновилась и генерирует непрерывные видео до 60 секунд.

А скоро можно будет редактировать каждую генерацию — менять задний фон, главного героя и анимации. Появится библиотека генераций для вдохновения, а у платных подписчиков не будет вотермарок.

Записаться в ранний доступ тут.

Runway GEN-3 Alfa

Непонятно, кто кого опередил - либо Dream Machine первым выкатил обновление, либо Runway захотел нанести ответный удар и представил Gen-3 Alpha, а Luma в ответ обновила Dream Machine. В интернете завирусилось сравнение двух нейросетей:

Факт, что прошлая и эта - прям недели видеогенераторов. Было логично, что Runway срочно что-то придумают. В прошлом они были лучшие в своем деле очень долго.

Заявлено, что модель GEN-3 генерирует ультра-реалистичные видео в два раза дольше до 10 секунд, чем его предшественник GEN-2. К тому же, в видео будет высокая детализация, более плавные и креативные переходы, и фотореалистичная генерация людей. К тому же, обещают, что появится обучение на своих стилях. Больше видео примеров работ GEN-3 на их сайте - посмотрите, не разочаруетесь.

Доступ обещают дать в скором времени

Видео можно будет генерировать по тексту, так и используя изображения, а в будущем добавят инструменты для точечного контроля кадра - более сложные смены сцен.

Что сейчас годного из видеогенераторов, которые можно пощупать. Мой личный топ:

Dream Machine - пока мой топ, подробнее про него в этой статье

Haiper - на втором месте, если загрузить изображение хорошего качества, получается очень реалистично. Подробнее про него и примеры моих генераций в этой статье

Stable Video - на третьем месте из-за того, что бесплатный, в этой статье видео - пример того, что я сгенерировала. Подробнее про него в этой статье

Kaiber - хорошо подходит для мультяшных видео в стиле аниме, генерирует всегда годноту, хорошо переделывает видео в разные стили, но платный, без бесплатного периода. Подробнее про него здесь, про обновления здесь.

Pika - раньше был бесплатный, сейчас платный, в нем много фишек - можно загрузить аудио и нейросеть подстроит липсинк так, что персонаж будет разговаривать как настоящий. Еще можно "растягивать" видео в разные стороны, и сервис сам дополнит пустые места - подробнее в этой статье и заменит объекты на видео в реальном времени - подробнее в этой статье. Но по уровню генерации далеко до Sora и Dream Machine, ждем серьезного обновления от Pika, ведь еще недавно они перегнали Runway GEN-2 и были лучшим видеогенератором, а Runway уже выкатил GEN-3. Так что счет идет на дни.

Хотите узнавать первыми о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпиcывайтесь на мой телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.

Hedra — бесплатная нейросеть, которая создаст реалистичного говорящего персонажа с нуля или по вашему фото референсу. Вам останется лишь выбрать голос и добавить текст для озвучки. Кстати, они даже рэп вам смогут зачитать Поддерживает множество языков, включая русский.

NEUROHUB