视觉刺激（vs）是无创bmi应用中最常见的范式之一，因其高精确度和高信息传输率（itr）而备受青睐。尽管基于vs的bmi在信息传输速率上表现优异，但控制动态环境中的机器仍然是一大挑战。通过引入基于机器视觉的增强现实视觉刺激动态范式（ar-vs），利用动态决策时间区分法解码人的意图，该范式使得机器人在任务与自运动系统协调下，能够实现更高灵活性和更快的执行速度。
AR-VS范式
AR-VS范式包括两个主要模块：基于深度神经网络的物体识别（R）模块和跟踪（T）模块，以及一个刺激序列控制。在AR-VS中，VS可以根据环境中的目标物体动态生成。实验中采用动态SSVEP刺激，尽管VS的大小和位置会变化，但与每个物体的通信频率保持不变。
图1 AR-VS运行过程 (a) 现实环境中的AR-VS；(b) 和（c）为基于AR-VS的机器人控制系统示意图。
训练与分析过程
被试参与了两个实验：离线实验，采用视频方式刺激，VS持续移动；在线实验，要求受试者按指定顺序抓取三个不同的玩具，每次实验记录32路EEG信号。枕叶是SSVEP效应区，O1、O2、Oz、P3电极信号作为目标信号。信号分析采用滤波器组典型相关分析（FBCCA）方法，EEG信号首先被分解成各个子带，根据计算的相关性和对应权重获得最终频率结果。
图2离线实验时域设置(a)为第1-4实验交互范式(b)和(c)为第5-8实验交互范式。
图3 在线实验范式，红色圆圈为静态VS，对应前进、右转、左转、后退和停止。绿色圆圈表示四个玩具中有两个在场景中被认出，随后附加一个动态刺激。
图4 FBCCA分析方法。
结果
根据EEG分类结果，物体的尺寸和移动速度会影响动态特征的识别。更快的移动导致更低的目标功率，从而增加错误率，而较大的尺寸可以缓解移动速度快的影响。AR-VS范式的ITR和分类精度也受物体尺寸和移动速度的影响，通常移动速度较快的目标需要更多的实验数据进行训练。
图5原始EEG数据在不同移动速度和大小下的SSVEP的特征。梯度图像与移动速度之间的关系，VS大小及相应的Oz基线EEG功率。
图6 （a）为目标基线VS移动速度、功率和谐波频率之间关系；（b）为目标基线功率和谐波频率关系；（c）为AR-VS范式9 Hz处的目标功率比较；（d）为VS触发平均功率
图7 决策时间和精度的关系以及决策时间和信号传导速度的关系
尽管AR-VS范式在动态目标控制方面具有显著优势，但仍受目标移动速度的影响。此外，长期使用VS范式会导致疲劳，未来需要提高分类精度和减轻视觉疲劳。装置本身也需要向更轻便、更友好、更多样化的方向发展，以适应家庭和户外环境，同时考虑人/机器视觉与人-机混合系统之间的协调。
总体而言，基于AR-VS的范式可以优化其他基于VS的BMI，如传统的P300范式、无刺激电位范式和微型事件相关电位范式，从而在动态环境中获得更好的结果。
论文信息：
Machine-vision fused brain machine interface based on dynamic augmented reality visual stimulation[J]. Journal of Neural Engineering, 2021, 18(5):056061 (11pp).
仅用于学术交流，不用于商业行为，若有侵权及疑问，请后台留言，管理员即时删侵！
