Нейросеть Facebook спрогнозировала действия музыкантов по аудиотреку

24.06.2018 22:48

Нейросеть Facebook спрогнозировала действия музыкантов по аудиотреку

Программа от американской компании послужит начальной точкой в освоении музыкальных инструментов с нуля. Она следит за действиями артистов, так и проецирует аватар.

Нейросеть от Facebook предсказывает передвижения музыкантов по аудиотреку. Механизм слушает музыкальную композицию и в то же время проецирует играющего треки аватара. В роли данных для обучения программисты применили видеоролики, где профессионалы играют на инструментах без аккомпанемента. На каждом кадре нейросеть определила нахождения конечностей артистов и строила модель, позже сравнив данные с частотным коэффициентом, используемым для характеристики аудиосигналов.

Аватар смог подражать музыкантам, но и даже так его движения смотрелись очень естественно. В дальнейшем технологию могут применять для обучения желающих освоить музыкальное искусство.

Источник

Следующая новость
Предыдущая новость

Император Японии не будет участвовать в публичных мероприятиях из-за плохого самочувствия Глава штаба ВВС Германии заявил о плохом состоянии авиапарка Браудер заявил, что не делал пожертвований Клинтон Испанское следствие: главный тренер "Локомотива" Семин и депутат Шаманов связаны с "солнцевской" ОПГ Экс-глава ФБР нарушил нормы ведомства при расследовании дела Клинтон

Лента публикаций