Всем привет, сегодня я расскажу о том, как мы с группой сгенерировали видеоклип с помощью разработанной нами программы.
Думаю, будет интересно всем, кто интересуется созданием ИИ, разработкой алгоритмов, музыки и видео, погнали:
Весной этого года к нам пришла идея создать программу, видеоряд которой напрямую зависит от написанной нами музыки. Такое вот -кибер- музыкальное искусство. Получилось, что летом мы оказались в арт-резиденции в Оренбурге (фото оттуда), которая стала отличной возможностью реализовать долгожданную идею.
В качестве ЯП я выбрал Python: оказалось, на нем больше всего библиотек для обработки видео и звука - как раз то, что нам надо. Первым делом я научил программу распознавать различные параметры в музыке, например: спектральная ширина, спектральный центроид и т.д.
Затем на основе этих данных научил программу генерировать изображения, диаграммы, схемы, чтобы потом включить их в видеоклип.
Вот самые красивые:
Кроме того, что эти схемы попали в конечный клип, они помогли проанализировать данные, связав их с музыкальным восприятием: мы выбирали наиболее значимые скачки, сравнивали их со звуком и, немного позже, подбирали нужные эффекты для видеоряда.
Основными кадрами для видео стали фрагменты дома, в котором жили и творили, - старинном в особняке адвоката Городисского, который, как нам показалось, как нельзя лучше подходит для экспериментов с визуально-музыкальным искусством:
Подробно описывать процесс анализа и подробной разработки сейчас я не буду, чтобы вы не заскучали (если же кому-то интересно - напишите в комментариях, я обязательно сделаю отдельный пост). Пока расскажу в общих чертах поэтапную работу программы:
1. Программа определяет порядок видеоотрезков.
2. На основе характеристик музыки она обрезает, вставляет и соединяет видеоотрезки.
3. Так же на основе музыки она накладывает различные эффекты и схемы.
4. Выгружает конечный вариант видео.
В итоге получился вот такой результат:
Именно это видео мы представили на итоговой выставке арт-резиденции в Оренбурге.
Конечно, это только прототип, созданный за 10 дней пребывания в резиденции, однако мы планируем и дальше развивать программу, желательно, создать такую ее версию, которая позволила бы организовывать живые выступления с видеобработкой в режиме реального времени.
Спасибо за прочтение!
