Отслеживание глаз для VR-гарнитур своими руками, от А до Я

Отслеживание взгляда — полезная функция в социальных пространствах виртуальной реальности (VR), поскольку она действительно улучшает присутствие и общение, когда аватар имеет реалистичный взгляд. У большинства гарнитур эта функция отсутствует, но у EyeTrackVR есть решение с полностью открытым исходным кодом, готовое для любого, кто захочет его собрать.

EyeTrackVR — это комбинация аппаратного, программного обеспечения и креплений для 3D-печати, позволяющих прикрепить пару плат микроконтроллера, камер и ИК-светодиодов практически к любой существующей VR-гарнитуре. Плата на базе ESP32 и крошечный модуль камеры наблюдают за каждым глазным яблоком, а при ИК-подсветке зрачок выглядит как легко узнаваемая круглая черная область. Программное обеспечение преобразует вид зрачка камеры в значение направления взгляда, которое можно подключить к другому программному обеспечению.

Проект все еще находится в активной разработке, но в своем нынешнем состоянии прекрасно подходит для создания функциональной системы, способной интегрироваться в различные существующие гарнитуры с печатными монтажными кронштейнами. Заинтересованы? Прочтите вступление и, если оно вам подходит, погрузитесь в руководство по сборке, в котором изложено все, что вам нужно знать. Посмотрите видео ниже, чтобы увидеть демонстрацию работы EyeTrackVR в VRChat, а также обзор поддержки программного обеспечения.

Мы видели гарнитуры, созданные по индивидуальным спецификациям и интегрирующие отслеживание взгляда, но даже если кто-то переупаковывает существующую гарнитуру, это прекрасная возможность включить эту функцию.

Большое спасибо [Summer] за то, что прислали это на нашу горячую линию!