Идея «научить» роботов играть музыку или с ней взаимодействовать возникла достаточно давно. Идея «механической» музыки — музыкальная шкатулка, оркестрион — обрела логическое продолжение в робототехнике. Много лет назад конструкторы и продюсеры демонстрировали робота-барабанщика, робота-гитариста, робота-скрипача. Музыка — тонкое искусство, требующее развитой моторики и выразительности, всегда оставалась вызовом для конструкторов и ярким и понятным способом продемонстрировать покупателям «развитость» их модели. За последние годы робототехника сделала значительные шаги вперед. Мы еще не живем в мире, где роботы заменили человека или стали повседневностью, вы не можете встретить робота на улице или в магазине. Но все может измениться в ближайшее десятилетие.
Терменвокс — один из самых сложных музыкальных инструментов, требующий неподвижности и точности — качеств, которые присущи роботам. Он не имеет клавиш или струн, и это упрощает взаимодействие робота с ним — как мы увидим из некоторых примеров, для простого управления высотой звука на терменвоксе достаточно довольно элементарного устройства. И это не может не привлекать компании и разработчиков роботов.
Недавно я экспериментировал с моделью робота, созданной в Китае, и она действительно могла легко повторять движения и создавать на терменвоксе звуки. Но буквально на днях мы стали свидетелями того, как один из самых передовых роботов сыграл дуэтом с человеком — не просто звуки, но мелодию.
29 мая 2026 года Каролина Эйк выложила видео, в котором сыграла дуэтом с роботом — на двух терменвоксах прозвучал «Цветочный дуэт» из оперы Лео Делиба.
«Прежде чем кто-то начнет беспокоиться о замене музыкантов-терменвоксистов роботами: гуманоидный робот настолько точен, насколько позволяют его моторы и контроль движения — и Амека все еще постигала, насколько требовательным может быть терменвокс 🙂 Окончательная аудиозапись включала немного редактирования и некоторые перезаписанные фрагменты на терменвоксе, чтобы сделать выступление максимально приятным для слушания»,— пишет Каролина
По ее словам, она познакомилась с роботом Ameca в 2023 году. Дуэт с терменвоксисткой Каролиной Эйк был создан по заказу для выставки умных городов в сотрудничестве с компаниями Waiys и SpiNNcloud.
«Мы рады представить вам демонстрационное видео, демонстрирующее передовые возможности взаимодействия человека и робота в системах искусственного интеллекта в реальном времени. В видео гуманоидный робот Ameca присоединяется к известной исполнительнице на терменвоксе Каролине Эйк в музыкальном дуэте, достигая точного, выразительного и высокоэффективного взаимодействия благодаря нашей гибридной архитектуре ИИ. Эта архитектура была разработана для инновационного проекта «умного города» и интегрирует нейроморфную обработку (Intel Loihi 2 и SpiNNaker 2) с глубоким обучением и символическим ИИ. Впечатляющая низкая задержка в этом проекте демонстрирует то, что WAIYS делает лучше всего: создание синергии в гибридных архитектурах, будь то робототехника или ИИ-помощники» — сообщает компания Waiys, на аккаунте которой это видео было опубликовано в январе.
Каролина рассказала некоторые подробности проекта:
«Ameca была запрограммирована с использованием моей системы восьми положений пальцев, полученной из моей техники игры и переведенной в последовательности движений. После калибровки терменвокса D-Lev информация о высоте звука MIDI была сопоставлена с положениями пальцев и соответствующими последовательностями движений. Часы обучения, программирования и мелких настроек — и Ameca наконец была готова к выступлению».
Ameca была создана инженерами Engineered Arts в их штаб-квартире в Фалмуте, Корнуолл, Великобритания. Engineered Arts была основана в 2004 году Уиллом Джексоном и изначально создавала интерактивные инсталляции для музеев. Идея Ameca зародилась в феврале 2021 года, а в декабре того же года первый видеотизер робота разошелся по соцсетям и собрал миллионы просмотров. Свой большой публичный дебют Ameca совершила на выставке CES 2022 в Лас-Вегасе. Разработчики специально придали Ameca андрогинную внешность с нейтральным выражением лица, чтобы не вызывать у людей чувство дискомфорта от слишком реалистичного «человеческого» облика. С 2021 года вышло три поколения робота. Версия Gen 2.6 была выпущена в 2024 году, а Ameca 3-го поколения была впервые представлена на конференции ICRA 2025.
Ameca — это сложный технологический комплекс, заключенный в реалистичное тело. Рост робота составляет 1870 мм (примерно 1,87 м), а вес — 62 кг. «Мимические мышцы»: у Ameca 61 привод двигателя (DoF), из которых 27 отвечают только за мимику лица. Это позволяет ей воспроизводить более 50 реалистичных выражений лица. За способность видеть отвечают две 8-мегапиксельные камеры, встроенные в глаза. Аудиосистема состоит из двух микрофонов в ушах и одного многоканального в груди. «Душой» Ameca является проприетарная операционная система Tritium robotOS. В последней версии Tritium 3 появилась поддержка и распознавание 55+ языков мира, в том числе русского и арабского. Робот также умеет считывать эмоции собеседника по выражению лица и тону голоса. Ameca регулярно участвует в престижных мероприятиях по всему миру. Ее можно было встретить на конференциях вроде MWC 2025 в Барселоне или даже в музеях будущего в Дублине. В 2022 году она даже зачитала альтернативное рождественское обращение на британском ТВ.
Мы от всей души поздравляем Каролину Эйк с этой коллаборацией! Терменвокс — инструмент, остающийся инновационным и в XXI веке, и интересно видеть, как он взаимодействует с новейшей робототехникой и искусственным интеллектом.
История человечества еще не пришла к той точке, когда робот становится настолько точным и «интеллектуальным», чтобы освоить моторику, необходимую для полноценной игры на терменвоксе. Но это интересная и важная попытка преодолеть ограничения технологий робототехники. Мысль о том, что робот сможет освоить терменвокс — инструмент, на котором играют без единого прикосновения — не так нова, как кажется. Задолго до Ameca исследователи уже начали изучать эту странную, захватывающую возможность: научить робота извлекать музыку с помощью изобретения Льва Термена. История роботов-терменвоксистов насчитывает уже почти три десятилетия и объединила исследователей из США, Японии, Германии и Великобритании.
Попробуем оглянуться назад и увидеть, как инженеры и ученые шаг за шагом «развивали» роботов с помощью терменвокса.
🇺🇸 США: Студенты, магия и робот, играющий «на слух»
Одними из первых к решению этой задачи приступили в Университете Вандербильта (Vanderbilt University), и их подход был удивительно элегантным. Уже в 1998 году студент Джейсон Барил и его научный руководитель, профессор Кадзухико Кавамура, представили двуногого робота ISAC с пневматическими «мышцами» (rubbertuators), который мог играть на терменвоксе. Главная инновация заключалась в том, что ISAC не заучивал позиции рук, а играл «на слух». Специальное программное обеспечение для распознавания высоты тона позволяло роботу в реальном времени слышать, какую ноту он издает, мгновенно вычислять ошибку и корректировать положение «руки». Благодаря своим «живым» пневматическим мышцам ISAC также умел добавлять в звучание выразительные приемы, такие как вибрато. Это был настоящий прорыв — от механического воспроизведения к подобию музыкального слуха.
🇯🇵 Япония: Музыкальный ансамбль с железным партнером
Японские исследователи из Киотского университета под руководством профессора Хироси Окуно задались еще более амбициозной целью. Они постарались создать не просто робота-солиста, а полноценного ансамблевого музыканта, который может подстраиваться под живого человека. Их инструментом стал робот-гуманоид HRP-2. Исследователи наделили HRP-2 тремя ключевыми функциями: он научился подавлять собственный звук, который создавал помехи для восприятия музыки партнера; разработал надежную систему слежения за музыкальным темпом; использовал управление с компенсацией, чтобы точно попадать в ноты.
В видео 2011 года, опубликованном на Synthtopia, музыкант Тацухико Итохара играет на гитаре, а робот HRP-2, отслеживая его движения и темп с помощью камер и микрофонов, играет на терменвоксе. По словам авторов: «HRP-2 может синхронизироваться со звуком акустической гитары». Это не просто игрушка, а серьезная научная работа, которая в 2014 году привела к получению совместного с Honda патента на «робота-терменвоксиста».
Главное новшество: робот не просто двигает руки по заранее заданной траектории, а использует обратную связь по звуку — слышит себя, калибруется перед игрой и корректирует положение рук в реальном времени. Это позволяет добиться чистой интонации на терменвоксе — инструменте, крайне чувствительном к внешним условиям. Без такой адаптации робот играет фальшиво и «смазанно».
🇩🇪🇬🇧 Германия и Великобритания: Гибкость, выразительность и искусственный интеллект
В Германии — Дрезденский университет, ученые пошли по пути, который в перспективе может сделать робота-музыканта полностью автономным. Они разработали систему распознавания нотной записи, которая позволяет механизму «видеть» партитуру и исполнять незнакомые мелодии без предварительного программирования каждого движения. Это важный шаг от запрограммированной игрушки к интеллектуальному исполнителю.
В 2010 году был представлен проект Robotic Theremin Ensemble в рамках ярмарки современного искусства Kinetica Art Fair в Лондоне. «Роботизированный терменвокс-ансамбль» — это Рэй Ли и три робота-ассистента, образующие квартет терменвоксов. Управляя роботизированными манипуляторами с помощью ножных переключателей и MIDI-сенсора, Ли создает четырехголосную гармонию — контрапункт взаимодействия робота и человека, извлекая музыку из эфира. В творчестве Ли сочетаются аналоговые технологии и цифровые процессы.
Его похожие на насекомых, сырые механические конструкции играют на настоящих терменвоксах, а музыкальное образование позволяет ему создавать подлинный синтез звука и визуального образа.
В Имперском колледже Лондона в 2010 году исследователи представили проект «антропоморфного робота-терменвоксиста». В отличие от многих предшественников, их робот использовал несколько степеней свободы для имитации руки человека. Это позволяло ему осваивать сложные техники, такие как «воздушная аппликатура», и, что еще важнее, добавлять в свою игру настоящую музыкальную выразительность.
🛠 DIY-движение: роботы из подручных материалов
Параллельно с серьезными лабораторными исследованиями развивалось и любительское направление. Робот Lev, собранный энтузиастом Ранджитом Бхатнагаром из старой лампы, консервных банок и микропроцессоров еще в 2007 году, то есть 19 лет назад, наглядно демонстрировал, что для создания играющего робота не нужен огромный бюджет — достаточно смекалки и страсти к музыке.
В 2007 году в Великобритании музыкант и инженер Сара Англисс создала куклу Clara 2.0, которая могла слушать игру человека и подстраиваться под нее. «Надеюсь, вам понравится наблюдать за ее талантами (или их отсутствием)», — сообщила она. Сейчас видеодокументация проекта удалена, само название — отсылка к виртуозу терменвокса Кларе Рокмор.
🧠 Новый этап: машинное обучение
Новый этап развития идеи робота-терменвоксиста наступил тогда, когда исследователи отказались от идеи заранее прописывать каждое движение робота. Группа ученых из Гамбургского университета предложила использовать обучение с подкреплением для освоения игры на терменвоксе. Вместо того чтобы рассчитывать положение руки для каждой ноты вручную, робот получал музыкальную цель и самостоятельно искал способ достичь нужной высоты звука в нужный момент времени.
К 2020 году они добились значительных результатов. Особенно важной стала работа «Reinforcement Learning with Time‑dependent Goals for Robotic Musicians», где была предложена концепция временно-зависимых целей. Такой подход позволил обучать робота исполнению целых мелодий, а не отдельных нот. В отличие от классических систем управления, подобные методы открывают возможность для дальнейшего самообучения, адаптации к новым инструментам и даже частичной музыкальной импровизации. Робот управлял двумя роботизированными манипуляторами, которые двигались около антенн терменвокса, чтобы извлекать звук. Ключевой задачей — обработкой цифровых сигналов для преобразования визуальной информации с нотного листа в движения рук — занималась группа профессора Кристины Кельбер.
Мы видим, что на протяжении нескольких десятков лет разными исследователями — учеными и разработчиками — проводятся эксперименты, призванные «научить» роботов играть на терменвоксе.
И кто знает: может быть, однажды мы увидим на сцене робота, создающего настоящее искусство.
