第三届虚拟现实技术及应用创新大赛 IVRTC 2020

第三届虚拟现实技术及应用创新大赛 IVRTC 2020 ×

基于虚拟场景智能生成的个体化意识康复交互训练系统

作品简介 颅脑损伤伴随的往往是意识和感知能力的缺失,而现有的意识术后康复过程需要经历单一且枯燥的机械性训练。为此,我们研发的《Sandbox意识康复系统》提供了一个共性的场景智能生成支撑平台,可根据意识康复患者的实际认知能力,因人而异地将日常生活常见的物件组合成特定的认知行为训练场景(例如起居室、卧室等)。特别地,该系统提供了物体识别、物体功能属性认知、物体间动态交互关系认知、训练过程量化评估报告生成等模块,在患者训练中可循序渐进的引导其做出正确的操作,例如替换同类型的物体,引导用户学习物件的类型和在场景中适合的摆放位置等。结合医师对训练时长、类型、项目和难度等内容的设置,该系统使得个性化患者可根据其实际认知水平进行安全、高效、灵活、趣味化的重复认知训练。
创新点 该系统了融合虚拟场景布局的逻辑表示、物体语义关系知识图谱构建、基于模板的场景实例自动生成、事件驱动的用户交互行为智能响应等关键技术,具体创新点如下:1. 不同于传统的放置类沙盘康复软件,该系统实现了物体语义关系知识图谱,物件和物件之间存在交互关系,例如包含、相互作用和摆放位置,能够更真实的还原实际生活中人与物体的互动逻辑。

2. 提出了程序化的场景生成和布局系统,能够根据物件的关系网络,只需指定一个主题即可以将所有适合的物件摆放成一个符合常识的生活场景,例如起居室和卧室,而每次重新生成同样的主题也会产生完全不一样的场景布局,增加多样性。

3. 系统提供了可针对患者情况进行个性化定制的训练系统,包括物体认知、物体相互作用关系和物体摆放。训练系统在患者做出不恰当的操作时会循序渐进的提示和教导用户操作的错误点和正确的操作方式,引导用户无障碍的完成训练流程。

4. 训练系统将允许用户对物体进行重新摆放,并根据关系网络判断摆放的空间位置和摆放的合理性,必要时提示合理的摆放位置、合理的容器选择,甚至动态更换相同种类物体配合用户训练。

实用性 随着VR的逐步跨界发展,在医疗领域,VR也为医师和患者带来了一种更为多样性和有效的康复训练手段,现在已经有很多基于VR的肢体活动、平衡性和心理康复系统被应用在康复环节之中。该系统依托着VR康复的优势,借鉴现有投入使用的VR康复产品,为需要进行意识和感知康复的患者构建了一个更加有效、安全且更具有趣味性的训练平台。该系统只需要患者在现有的保护器械中通过VR头盔或沉浸式显示器进行操作,在不会给患者带来明显的负担和学习曲线的同时,让患者在一个不会受到由于操作错误造成物理伤害的虚拟环境中进行训练。由于所使用的虚拟物件均为模型,该系统在一定程度上能够免去康复中心模拟真实环境所需真实物体所带来的空间和成本开销。该系统所使用的一切场景和训练均为独立功能模块并可高度定制,医师可根据患者的康复程度等信息为患者定制个性化的训练流程。依托北航虚拟现实国家重点实验室,目前该项目已经在康复医院进行试运行。