团队作品：“行”随意动——面向增强现实交互场景的BCI脑控系统
参赛赛题：技术竞赛类-开放命题-人工智能类
获奖情况：技术竞赛类二等奖
学院：电气与信息工程学院
团队名称：如意如意
团队成员：朱启元、吴楠、庄宇锋
指导老师：张锐、张利朋
※作品介绍
一、作品背景
随着科技的飞速发展，元宇宙概念逐渐崭露头角，为了探索今后虚拟与现实世界的智能交互方向，同时解决传统的BCI系统存在的笨重、不便携、沉浸感差以及繁琐的直接控制策略等诸多问题，该团队设计了一种创新的系统，将增强现实、脑机接口和计算机视觉相结合，构建了面向增强现实交互场景的BCI脑控系统，做到了“行”随意动，是一种高级共享控制策略。
二、作品简介
基于稳态视觉诱发电位的脑机接口（Steady-State Visually Evoked Potential-based Brain-Computer Interface，SSVEP-BCI）技术在机械臂控制、智能家居控制和残疾人辅助等领域取得显著发展。然而，多数SSVEP-BCI的控制策略十分繁琐，还有依赖于显示器屏幕造成的便携性差、沉浸感弱等问题。为解决这些问题，同时为了更好地探索虚拟与现实世界的智能交互方向，本次设计了一种便携、新颖、操作灵活的脑机交互系统，该系统将增强现实（Augmented Reality，AR）、BCI和计算机视觉相结合，构建了一种面向增强现实交互场景的BCI脑控系统。
三、作品创新
该作品主要有4点创新：
1.虚实融合的刺激呈现策略：使用AR眼镜呈现全视野随动的闪烁刺激并与物体融合，直观便携地实现对外控制。
2.基于AR眼镜的识别与定位：在HoloLens2眼镜中部署YOLOv8，结合TOF测距算法实现目标识别和定位，迅速灵活地抓取任意位置的物体，实现了高级共享控制。
3.引入QR码进行虚实坐标转换：引入QR码解决虚拟世界和现实世界坐标转换的问题，而无需额外设备如深度相机，用时更短更加便捷。
4.集成多种受控设备与终端：系统不仅包括机械臂系统，还集成了单片机系统，满足了物体抓取和家居联控的多样化需求。
四、关键技术
1.基于头戴式AR眼镜的物体实时识别与准确定位技术：基于训练得到ONNX模型，通过Unity完成在HoloLens2的部署，并结合TOF测距算法获得目标物体的深度信息。具备直接在AR眼镜中进行目标识别与定位，提升了目标识别算法的计算效率，适用于AR眼镜计算平台摒弃了眼镜和电脑间的信息互传，降低信息延迟，实时性强等优势。
图1目标识别定位流程图
2.基于QR码引导的虚实坐标转换技术：针对每次开启识别后虚拟空间的坐标系都不固定的
问题引入QR码，作为锚点，作为连接虚拟和现实空间的桥梁。虚拟世界坐标经过QR码坐标系匹配，转换就能得到现实空间坐标，实验结果发现坐标转换的均方根误差为0.91cm。
图2目标识别与定位示意图
3.SSVEP脑电信号实时精准诱发及解码技术：该系统使用正弦波编码来诱发刺激，使用滤波器组典型相关分析（FBCCA）算法进行脑电信号的频率识别，具有准确诱发、快速处理、精准分类、及时控制等特点，平均解码准确率达到了96.30%。
图3识别算法流程图
五、系统方案设计
本脑控系统分为四个子系统：虚实融合与刺激呈现、BCI脑控、机械臂以及家居控制子系统。
使用HoloLens2眼镜构建虚实融合与刺激呈现子系统，并借助Unity软件制作HoloLens2应用程序。该应用程序旨在检测目标物体并获取其深度信息，同时实现SSVEP的闪烁刺激。在眼镜上直接进行目标识别，完成后触发闪烁刺激，并循环执行。刺激频率在每一轮都随机与物体匹配。在闪烁开始之前，将目标物体的标签，匹配的闪烁频率和位置信息传递给BCI脑控子系统。
图4系统框架图
BCI脑控子系统识别脑电信号并进行分类，得出用户的目标频率，将分类后的信号根据闪烁频率与物体信息进行匹配，根据不同的分类结果和物体标签向机械臂子系统或者单片机子系统发送指令。当得到指令时，机械臂子系统会对目标物体的位置信息进行坐标转换，将物体在眼镜下的坐标转换为机械臂坐标之后，进行抓取。家居控制系统得到指令之后，根据不同的指令控制舵机或者红外模块，进而控制灯、门和空调的开关。
本系统的各个子系统之间在同一个局域网之下，采用TCP/IP通信。
图5系统总体展示
总结
本团队针对传统BCI系统便携性差、沉浸感弱等缺点，设计了融合AR、BCI和计算机视觉的脑控系统，并提出了创新的融合控制策略。通过对比和在线实验验证系统性能，对比实验结果显示该系统在控制策略上相较于直接控制策略有显著提升，抓取单个物体所需的平均时间缩减了88.25%，平均控制指令减少10.31个，任务完成成功率提高8.34%，且在线测试中获得了96.30%的平均准确率。实验结果表明，本系统能高效、准确地完成与外界物体的交互控制，具有较高便携性，更易被残障人士和双手受限者采用，提高他们利用脑电信号直接控制周围环境的能力。此外，本研究有助于推动虚拟与现实世界的交互向更智能、自然的方向发展。
图6脑控机械臂与智能家居展示
※参赛心得
参加竞赛的初衷是希望通过竞赛锻炼自己的技能和知识水平、积累必要的比赛经验，在竞赛含金量、比赛主题与课题组研究方向的匹配程度以及老师大力支持等多方面因素的推动下，团队从初赛到全国总决赛，获得了荣誉和奖项。同时，通过与其他优秀团队的交流和竞争，团队成员深刻认识到自身学术水平的不足之处，并积极寻求改进方向。并从以下几方面归纳出竞赛经验：
1、技术论文写作：一是明确核心内容，凸显团队创新亮点；二是结合数据量化分析与理论支撑，增强说服力；三是紧扣比赛要求，精准定位创新点，进行针对性撰写。
2、讲演PPT制作：一是聚焦项目核心，清晰展示创新之处；二是设计简洁大方，图文搭配合理，提升视觉效果；三是严格把控展示时长与页数，确保内容精炼、重点突出。
3、评委评审标准：一是强调项目创新性及独特优势；二是评估项目成本效益及应用发展潜力；三是重视实物精密度，确保质量可靠；四是审查论文、实物与PPT的一致性，确保三者相辅相成。
4、队长角色定位：一是强化队长的项目核心角色，把握技术前沿热点，明确项目方向；二是统筹分工，根据成员特长和意愿合理分配工作模块和任务；三是定期向老师进行反馈，确保老师及时了解项目进展和需求；四是树立时间观念，注意赛程的每个节点确保按时提交相应资料并预留出改进时间；五是确保与团队成员紧密合作，共同完成团队论文整合和实物设计，强化论文和实物细节。
