Компьютеры научились считывать «язык» человеческого тела

Исследователи из Института робототехники университета Карнеги-Мелоун (Carnegie Mellon University) изобрели программу, которая по определенному алгоритму позволяет компьютеру в режиме реального времени считывать движения человека: анализировать выражение лица, положение головы, туловища, ног и рук. Программа была разработана при помощи оборудования студии Panoptic Studio, в помещении высотой в два этажа, на стенах и крыше которого было установлено 500 видеокамер.

«Человек выражает свое состояние и эмоции при помощи выражения лица, движений и позы тела ярче, чем своим голосом, – рассказывает Ясер Шейх (Yaser Sheikh), ведущий исследователь, – Но компьютеры до последнего времени не могли расшифровать язык нашего тела».

Пять сотен камер студии Panoptic Studio дают огромное количество информации даже при съемке одного кадра, и для анализа такого массива визуальной информации требуются значительные вычислительные ресурсы. Поэтому исследователи решили ограничиться анализом потоков данных от 31 видеокамеры.

Следующими шагами оптимизации станет переработка программного кода системы так, чтобы для ее работы было достаточно одной единственной камеры и ноутбука. И при этом, система должна будет уметь расшифровывать язык тела не только одного человека, а целой группы людей, взаимодействующих друг с другом. Так как поведение человека в данном случае перестает быть индивидуальным и подчиняется линии поведения группы в целом.

Метод расшифровки языка тела человека и исходный код программного обеспечения находятся в открытом доступе. Это уже используется в практических целях более чем 20 группами, в том числе и компаниями автомобильной отрасли. Более детальную информацию о своей разработке можно узнать по итогам конференции Computer Vision and Pattern Recognition Conference (CVPR) 2017.