发布时间:2022.04.21

张盛团队在3D人机交互智能传感器件领域取得重要进展


随着“元宇宙”概念的提出,虚拟现实/增强现实(VR/AR)再次引起了高科技公司和科学家的广泛关注和研究,而沉浸式VR/AR的体验离不开人机交互界面(HMI)。人机界面以前依赖单一的感知界面,无法实现三维(3D)交互和多场景的便捷准确交互。近日,清华大学深圳国际研究生院先进传感器件与集成系统重点实验室张盛副教授团队结合多年深耕石墨烯研究的基础,提出了一种视觉和触觉协同的人机交互界面,包括眼电(EOG)交互界面和可穿戴式的触觉感知界面,以实现快速准确的3D人机交互。其中EOG交互界面主要用于快速、便捷、非接触的2D(XY轴)交互,触觉感知界面主要用于复杂的2D运动控制和3D 人机交互中的Z轴控制。

眼动交互和触觉感知的协同界面

研究通过激光诱导工艺制备蜂窝状石墨烯,以用于EOG信号采集和触觉传感阵列的电极。EOG信号来源于眼睛视网膜和角膜之间的电位差,可以看作角膜和视网膜上分别由正电位差和负电位差组成的偶极子,通过设计超薄、柔性、透气的蜂窝状石墨烯电极可以实现高信噪比的EOG信号采集,以精准反应眼球的运动。与此同时,由提上睑肌和眼轮匝肌活动引起的眨眼信号也可由电极精准获取,眨眼的频率受大脑短期变化的影响,如疲劳、困倦或电脑、手机等引起的眼睛干涩症状,因此通过对眨眼信号的采集和分析,可以对长时间开车人群或连续工作人群的眼睛疲劳进行预警。研究通过对9种眼动信号如眼球向上、下、左、右等进行采集组建眼动信号数据库,并设计机器学习算法对信号处理如信号分割以消除基线影响,之后再进行训练和分类识别。该算法对9种眼动信号的分类识别准确率达到了92.6%,因此EOG信号采集传感器和算法在快速、便捷和非接触式的二维人机交互中显示出较大的应用价值。

EOG和眨眼监测

EOG信号可以实现快速、便捷、非接触的2D人机交互,例如控制四轴飞行器的上、下、左、右运动。然而,面对其在三维空间的飞行或复杂的飞行轨迹控制,EOG信号的交互控制在精度和维度上都有局限性。因此,开发一个辅助界面来实现精确可控的三维人机交互具有重要意义。基于此,团队开发了可以直接贴附到人体手臂上的柔性可穿戴触觉感知界面,该柔性触觉感知界面具有90μm超薄厚度,拉伸应变可以高达1000%,且触觉感知界面的感知单位——触觉传感器的灵敏度在0-300 Pa的小压力范围内可以到达1.428 kPa-1,可以实现单点触控、多点触控和滑动触控等功能,并且根据触觉传感器像素点的信号时序可以实现方向控制,如上、下、左、右等。因此,触觉感知界面在辅助EOG信号交互实现三维人机交互方面具有巨大潜力。

柔性可穿戴触觉感知界面

视觉与触觉协同的人机交互界面在未来具有广阔的应用前景,如作为元宇宙虚拟空间的输入交互技术,由于眼电信号界面和触觉感知界面均是柔性可穿戴的,因此通过柔性可穿戴触觉感知界面辅助眼电信号交互界面,可以为用户提供虚拟世界的三维空间的定位与便携式交互,而不需要手持笨重的交互控制器,并且通过EOG信号可以实现精准的眼动追踪,可以解放双手,让用户切身体验自由的视、听、触觉沉浸式虚拟世界;与此同时,在现实世界也可以作为人与机器的交互界面,如运动障碍人士通过眼球的运动可以实现控制轮椅的前、后、左、右移动。总而言之,柔性可穿戴的EOG交互与触觉感知的协同界面可以为虚拟世界和现实世界提供自由无束缚、沉浸式的人机交互体验。

相关研究成果近日以“用于三维人机交互的眼电与触觉感知协同界面”(Electrooculography and Tactile Perception Collaborative Interface for 3D Human–Machine Interaction)为题发表于《美国化学学会纳米》(ACS Nano)上。论文第一作者为清华大学深圳国际研究生院2018级博士研究生徐建东,通讯作者为清华大学深圳国际研究生院张盛副教授和清华大学集成电路学院任天令教授。本研究工作得到了国家自然科学基金委、深圳市科创委等部门的支持。

论文链接:

https://pubs.acs.org/doi/10.1021/acsnano.2c01310?fig=tgr1&ref=pdf

 



文/图:徐建东、张朝霞

编辑:叶思佳

封面设计:申巍