Це дослідження вивчає моделі поведінки стрільців на основі подій, що спостерігаються в експериментах віртуальної реальності. Це має потенційні застосування в навчальних симуляціях, розробці більш реалістичних ШІ-противників та розумінні процесу прийняття рішень людиною під тиском.

Сучасні системи комп'ютерного зору, засновані на стандартних кадрових камерах, страждають від розмиття руху та високої затримки, що робить їх непридатними для аналізу швидкої рефлекторної поведінки людини, такої як прицілювання зброї або ігри з миттєвою реакцією.

Автори створили спеціальне середовище стрільбища у VR, де реєструвалися рухи рук і голови користувача. Потім вони використали симулятор 'Video-to-Event' для перетворення візуального виводу гри в дані потоку подій (позитивні/негативні зміни яскравості). Рекурентна нейронна мережа (RNN) була навчена на цьому синтетичному потоці регресувати точку прицілювання та прогнозувати події натискання курка, використовуючи дані контролера VR як мітки істини.

Запропонована модель на основі подій досягла зниження затримки відстеження на 40% порівняно з базовим кадровим підходом 60 fps. Система продемонструвала надійну роботу в сценаріях швидких 'ривків' (кутові швидкості > 300 град/с), де стандартні трекери втрачали когерентність через розмиття руху. Валідація перенесення Sim2Real показала зниження точності на 15%, підкреслюючи розрив у доменах, але залишалася придатною для загальної оцінки траєкторії.

Стаття вирішує справжню проблему розпізнавання дій — швидкість — використовуючи камери подій. Однак опора на синтетичні дані є палицею з двома кінцями: це дозволяє отримати ідеальні еталонні дані, але вводить 'синтетичний розрив', який не повністю вирішено. Моделі шуму в симуляторах часто не можуть відтворити хаотичні артефакти реальних датчиків при слабкому освітленні. Тим не менш, методологія використання VR як тренувального майданчика для нейроморфного зору є обґрунтованою та масштабованою.