第三届虚拟现实技术及应用创新大赛 IVRTC 2020

第三届虚拟现实技术及应用创新大赛 IVRTC 2020 ×

千里眼-镜像世界(2019年优秀作品)


作品简介 作品为基于RTC传输的远程实时实景第一人称VR显示系统。实现RTC低延时传输支持下的远程双目视频实时采集、传输、合成,本地VR头显沉浸式即时呈显立体视频技术;基于上述实现,使用第一人称VR头控随动云台,VR手柄控制智能小车,使双目摄像头拍摄视角随VR使用者观看视角实时移动,提供有深度交互感真实感的远程实景观赏体验。
创新点 1. VR视频低延时传输。 相比起目前远程VR视频普遍存在的延时问题,本项目中音视频数据传输基于RTC技术,利用RTC通信技术低延时、高稳定的特点,提高高解析度视频的传输速度与稳定性,使千里之外的景象实时呈现在VR头显中。2.双目立体视觉。相比于普通VR视频,本项目使用模拟双目的摄像头获取图像,结合人眼视觉立体感生成原理,提出双目视差、自动机械对焦方案,生成有立体感深度感的实时视频,使观看视频更符合实际人眼观察效果,极大提高使用者的观看舒适度。

3.第一人称头控云台手柄控制小车。项目利用VR头显的头部运动信号控制开源云台,以第一人称主控方式,增强VR显示与用户的交互;使用VR手柄的控制面板控制树莓派小车,将云台搭载在小车上进行遥控移动,扩大VR观看景象范围,提高与用户之间的交互。

实用性 初步应用于远程旅游,满足残障人士、住院病人和行动不便的老年人的观景需求。并用于损毁文化古迹的修复还原及沉浸式体验。计划为圆明园做一套VR AR观景平台,运用智能车进行远程游览的同时,利用AR技术对古迹进行修复,重现往日的辉煌。甚至可以模拟那场大火,让体验者身临其境地感受国家瑰宝陨落的全过程。后期可以推广到其他文化古迹或者自然景象,利用VR呈现AR虚拟对象融入技术,打破常规游览的时空限制,让使用者随时随地地体验到场景的日月星辰、春夏秋冬乃至沧海桑田的时空变幻。

之后尝试应用于大型复杂装备的远程维修指导、医疗手术异地协同、医学康复病人的评估和训练等,助力VR医疗。