Анимация и генеративная музыка: как работать с «нейронками»

В лайф-режиме в «Точке кипения-Омск» омские дизайнеры, музыканты и видеомейкеры провели мастер-класс по работе с нейросетями.

 

В «Точке кипения-Омск» состоялась встреча, посвящённая нейросетям «Осторожно, злые нейронки». Организаторы мероприятия – молодое омское дизайнерское сообщество «Мозаика». В городском пространстве собрались художники, музыканты, видеомейкеры, фотографы и дизайнеры, чтобы совместно сгенерировать нейронную музыку и анимировать 3D-модель в Rokoko studio.

 

– Кажется, что нейронные сети сегодня – это «поиграться». Однако за короткий промежуток времени они могут выдать кое-какой результат и немного упростить работу. Поэтому задача – научить пользоваться некоторыми фишками. Если хоть одну «нейронку» вы, придя домой, откроете и что-то попробуете, это будет круто! – говорит организатор мероприятия дизайнер Артём Косенков.

 

 

Нейронная музыка

 

Музыкант и визуальный художник Максим Рудой познакомил аудиторию с генеративной музыкой. То есть той, которая создана какой-либо системой. Молодой человек музыкой занимается ещё со школы, а в 19 лет собрал первый коллектив. Несмотря на то, что Максим исполняет живую музыку (ударник), он увлекается созданием электронной музыки на основе шумов.

 

Спикер отметил, что цифровую музыку сегодня создать просто. В этом помогут AIVA и SOUNDRAW. Пользователю лишь надо выбрать жанр (можно сделать микс жанров), настроение и даже продолжительность трека, а нейронная сеть сама уже выдаст готовый вариант. Здесь же можно самому даже обработать получившийся звук. В режиме реального времени спикер и гости сгенерировали электронные композиции в жанрах драм-н-бейс и рок.

 

 

– К 10-летию смерти Егора Летова, в 2018 году, вышел альбом «Нейронная оборона», полностью написанный с помощью нейросетей Яндекса. ИИ сам написал партии и тексты, которые после уже исполнились. А в 2004 году выходил новогодний альбом «Singular Christmas by Bryan Whitman». Сложно сказать, насколько это удачные альбомы, но я такое точно слушать бы не стал (смеется). Если говорить об удачных примерах использования алгоритмов, это, безусловно, «Autechre», мои любимые, – говорит Максим.

 

Нейронные анимации

 

Ведущий 3D-художник по окружению в студии «АртВосток» Дмитрий Рычков в лайф-режиме на основе ранее отснятого видеоролика сделал свою 3D-модель и анимировал её при помощи нейронных сетей. Тонкостями работы с новыми инструментами дизайнер поделился во время мастер-класса.

 

– Я сегодня показал, как использовать в работе такой инструмент, как Rokoko studio для риггинга, то есть для подготовки и создания 3D-модели персонажа к анимации. Так, с помощью этой «нейронки» на основе видеоролика ваше изображение можно «надеть» на любую модель, анимировать её и вставить в любое видео, – говорит Дмитрий Рычков.

 

 

Компьютерным 3D-моделированием Дмитрий начал увлекаться ещё на 1 курсе ОмГТУ, вступив в студенческую команду «Политех/Медиа». Ребята занимаются разработкой проекционных шоу и инсталляций, используя видеомэппинг (3D-проекция), 3D-графику и дизайн. По воспоминаниям молодого человека, он тогда попробовал уже сделать даже 3D-контент в рамках Дня открытых дверей для привлечения абитуриентов на факультет.

 

– Сначала год я очень активно делал всякие работы для себя, которые были больше похожи на что-то из разряда моушн-графики. Сейчас в студии «АртВосток» я координирую работу художников при разработке 3D-объектов окружения для компьютерной игры, ну и сам, конечно же, создаю их, – делится Дмитрий.

 

 

Помимо созданной им 3D-модели, на встрече Дмитрий продемонстрировал и уже готовые видеоролики с анимированным «собой». К примеру, персонаж качал ногами на крыше дома под звёздным небом или сражался с огромным крабом. Приглашённый спикер считает, что ИИ и нейронные сети не угроза, как полагают многие, а наоборот, – возможность.

 

– Может быть, моя позиция покажется кому-то категоричной, но я полностью за развитие ИИ. Вижу огромный потенциал в этом. Пока «нейронки» могут выдавать довольно неопределённый результат, но я вижу в них полезный инструмент. Судя по опыту, пока сложновато встроить в пайплайн индустрии большинство инструментов каких-либо «нейронок». Однако они в любом случае не стоят на месте, и в личных проектах, как вы могли видеть на выступлении, использовать их очень просто и интересно, – говорит Дмитрий Рычков.

 

 

«Нейронки» и видеопродакшен

 

Артём Косенков поделился с дизайнерами полезным сервисом для визуала – нейронная сеть Stable Diffusion. По словам спикера, это хороший аналого популярной Midjourney, которая, однако, имеет ограниченный функционал.

 

Но не всё прошло на встрече гладко, обратная сторона работы нейросетей – их техническая нестабильность. Поэтому из-за неполадок запустить её не удалось. Александр Лютов, руководитель дизайн-студии «Креативная лаборатория Александра Лютова», рассказал, как в уже готовый видеоролик быстро внести правки и сделать так, чтобы правка была на всех кадрах этого продукта. В программе DaVinci Resolve спикер продемонстрировал, как специалистам видеопродакшена можно очень быстро справиться с подобными задачами разной сложности.

 

– У нейросетей однозначно есть будущее, но будет это сильно нескоро, чем можно представить. Условно: есть люди, которые «генерят» картиночки в Midjourney для задач, где высокое качество не нужно, но со сложными заданиями не справляются. Есть промт-инженеры, которые долго и кропотливо шлифуют визуал, чтобы довести до результата. Только дело в том, что их работа не особо легче стандартного пайплайна. Может, где-то быстрее, но нюансов там столько же, если не больше, – говорит Артём.

 

По словам спикера, результат, который сегодня выдают нейронные сети, с трудом можно отправить в большой продакшен без доработок. Но для среднего сегмента рынка они вполне подходят, так как могут ускорить и упростить работу многим специалистам уже сегодня.

 

Автор: Мария Исаева

Фото: дизайнерское сообщество «Мозаика»

 

---