第三届虚拟现实技术及应用创新大赛 IVRTC 2020

第三届虚拟现实技术及应用创新大赛 IVRTC 2020 ×

应用于中小学实验的混合现实仿真平台

作品简介 虚拟化学实验与实体实验相比,不需要准备药品、试剂,能避免实验过程可能出现危险和环境污染,近年来被广泛采用。目前虚拟化学实验的交互大多都是基于键盘鼠标等非自然的交互方式,这不仅缺乏必要的空间体验,更达不到化学实验操作技能培养的教学目标。VR和AR都具有自然的交互环境及良好的空间体验,但是VR需要佩戴HMD,会带来一定的体力负荷及可能的晕眩感,对实验参与者来说很不友好。本团队采用适用于化学实验的AR呈现及交互技术,设计和开发了一套基于探究式学习的混合现实学习工具,该平台采用1个RGB-D相机与2个RGB相机协同进行三维空间感知追踪与注册,保证虚实空间遮挡关系的一致性,实现了多模态的实物和虚物的自然交互、错误操作反馈等功能。学生利用本系统,可以自然、自由地进行一系列自由探究的化学实验。
创新点 (1)设计了一种多相机协同技术,无论mark朝向哪个相机,都可以无死角地将位姿矩阵转换到主相机空间下进行混合现实。该技术取得的成果:团队负责人为第一作者的论文发表在国际会议ICVRV2018,ACM SIGGTAPH VRCAI2018,并有发明专利“一种基于多相机协同的无死角的混合现实方法”进入实质审查阶段。(2)提出了一种准确和实时的虚实对齐、虚实遮挡的呈现算法,使真实场景真正和虚拟场景进行空间一致地融合对齐,达到了较好的虚实融合。该技术取得的成果:团队负责人为第一作者的poster paper发表在顶会IEEE VR2019。

(3)研究了一种适用于AR化学实验的多模态自然交互方法,包括实物套件与虚物的直接交互和手与虚物的自然交互。该技术取得的成果:团队负责人为第一作者的论文投稿了顶会ACM CHI2020。