Российскую фиджитал-разработку, превращающую движение в звук, презентовала «Октава Дизайн и Маркетинг»
R&D-центр «Октава Дизайн и Маркетинг» представил уникальную технологию создания музыкальных произведений в реальном времени — цифровую систему «Танцгенератор». В основе разработки — фиджитал-телхнологии, объединяющие цифровое и физическое пространства. Программно-аппаратный комплекс без временной задержки создает музыку, используя алгоритмы обработки голоса и возможности компьютерного зрения, определяющего танцевальные движения людей в зале. Презентация проекта состоялась в историческом особняке «Дом Номер Один» на Якиманке в Москве. Вокальные партии исполнила меццо-сопрано Большого театра Элеонора Водянова.
Проект направлен на развитие отечественных фиджитал-технологий. Это особенно важно в свете грядущих «Игр Будущего» — масштабного спортивного события, построенного на концепции фиджитал и поддержанного Президентом Российской Федерации Владимиром Путиным.
Технически проект выглядит так: на танцпол направлена 2D-камера, изображение с нее анализируется алгоритмами компьютерного зрения, определяющими движения. Звуковая картина в помещении фиксируется при помощи радиосистемы Октава OWS-U1200H. Специально обученная нейросеть соединяет звучание окружающего пространства — фоновый шум, разговор гостей (без распознавания речи), шаги и т.д. — с движениями танцующего человека, а также голосом исполнителя. Вокал дополняет мелодическую основу генерируемого искусственным интеллектом в режиме реального времени музыкального произведения.
«Появление искусственного интеллекта дало толчок развитию во многих отраслях науки и технологий. Мы решили совместить искусство и технические решение, став идеологом создания первого программного продукта, который сможет генерировать музыку на основе собираемых „на ходу“ данных», — отметила генеральный директор компании «Октава Дизайн и Маркетинг» Любовь Стальнова.
«Октава Дизайн и Маркетинг» объединила несколько команд разработчиков, чтобы создать уникальную технологию написания музыки. В реализации интерактивного проекта применены алгоритмы компьютерного зрения, обработки голоса в реальном времени, алгоритмы генерации музыки и обработки видео, оригинальные синтезаторы и скрипты. Также была использована новая цифровая вокальная радиосистема Октава OWS-U1200H, отлично зарекомендовавшая себя на рынке аудиооборудования.
«Технология является воплощением философии живых пространств, главная идея которой заключается в принципиальной интерактивности любой современной техно-среды и возможности управлять параметрами данной среды с помощью голоса и физических действий», — рассказал один из разработчиков программы Андрей Лазоряк.
Техническим партнером проекта выступила компания «ОНТЕГРА», обеспечившая мероприятие современной техникой и ИТ-оборудованием. Также организация оказала содействие в создании специального программного обеспечения.
«Помимо реализации интеграционных проектов, мы стараемся делать что-то творческое. Например, организуем фестиваль электронной музыки. В коллаборации с ведущим производителем электроакустики — „Октавой“ — развиваем фиджитал-технологии, представленные проектом „Танцгенератор“. Такие инициативы на стыке культуры, искусства и технологий сейчас востребованы в России», — сказал генеральный директор компании «ОНТЕГРА» Сергей Романов.