实验教学在高校教学中占有非常重要的地位，但在教学过程中存在危险性实验(例如：浓硫酸稀释)、仪器昂贵(例如：高精度显微镜)、三维结构不易观察(例如：心脏模型、物质的分子模型、数学几何模型)等问题，使得实验教学不易进行或被视频及PPT所代替。为了解决实验教学中存在的问题，科研人员将人机交互与虚拟现实技术用于实验教学中，打造虚拟实验教学系统。目前，多数用于实验教学的系统存在智能性不足、交互不自然及实验操作体验感不足的问题。

　　王智杰是虚拟现实(VR)技术领域的杰出研究者，他专注于VR与多模态学习(Multimodal learning)交互技术的创新与应用，他的研究涵盖了多模态融合方法、用户意图感知以及智能交互系统。多年来，他一直致力于通过自然交互提升虚拟现实体验的沉浸感和智能性。面对当前在实验教学中存在的问题，王智杰提出使用多模态融合方法感知用户的意图，极大地提升了虚拟现实系统的自然性和智能化水平。

　　王智杰认为，手势识别作为多模态信息之一在交互过程中具有重要的作用，因此，提高手势的识别率就是一个非常重要的科学问题。为此，他提出一种KEM动态手势识别算法。该算法首先使用K-means聚类算法进行聚类，将高维数据进行降维。然后，将降维后的数据放入基于欧几里得度量的模板匹配方法进行匹配，得到与所有模板匹配的距离。最后，根据匹配得到的距离识别出对应的手势。使用该方法对常用的13种手势进行测试，手势识别率达到99.42%。他将该算法应用在数学立体几何教学场景中，经测试，能够达到较好的识别与交互效果。

图：数据手套节点图

图：王智杰提出的模板匹配方法

　　在人机交互的过程中，以人为本是一项重要的设计原则，即以用户为中心。因此，从用户的行为表象中分析提取用户大脑中的意图就具有重要的科学意义。多模态信息相比于单一模态拥有更多的语义，与此同时也会产生大量的冗余。因此，建立多模态融合意图感知模型就非常重要。王智杰提出两个多模态融合模型用于解决意图感知问题，即基于监听序列的多模态融合意图感知方法(简称MF-GVM算法)和基于SVM和集合论的多模态融合意图感知方法(简称MSSN算法)。与MF-GVM算法相比，MSSN算法能够进一步感知用户更为复杂的操作意图，并且能够更好的支持双意图的感知，因此其能够较好的适用于操作更加复杂的实验场景。

　　为了增强虚拟现实系统的智能性和沉浸感，王智杰还提出了基于监听序列的多模态融合意图感知方法的生物实验系统(简称MF-GVM系统)。该系统支持用户通过手势与语音融合的方式与系统进行自然交互，使用户摆脱了鼠标键盘及手柄的束缚，增强了虚拟现实的沉浸感。此外，该系统使用了基于监听序列的多模态融合算法，能够识别用户较为简单的交互意图，从而弥补了虚拟实验系统智能性不足的缺陷，使用户获得更便捷和更自然的交互体验。

图：实验效果显示交互体验优良

　　为了进一步感知用户更加复杂的操作意图并进一步提高实验的真实操作感，王智杰提出基于SVM和集合论的多模态融合意图感知方法的化学实验系统(简称MSSN系统)。该系统首先能够通过其核心的MSSN算法感知用户较为复杂的意图，从而进一步提升系统的智能性。然后，其为用户提供一套实验仿真设备，用户可以使用这套实验仿真设备进行实验。这种实验方法最大程度的还原真实实验，既避免了危险实验的危害，又能够培养用户的动手能力，达到实验教学的目的。最后，多模态自然交互方式能够带给用户更强的体验感，导航式交互模式能够在实验全程对用户进行引导，因此能够更好的支持探究性实验并提高用户的实验效率。

　　王智杰认为，通过多模态意图感知方法，不但能弥补虚拟试验智能性不足的问题，而且能够通过自然交互的方式摆脱鼠标键盘及手柄的束缚，还原人手强大的功能。此外，在融入基于实验仿真设备的触觉模态信息后，还能够极大的增强用户的实验操作感，培养用户的动手能力。尽管王智杰团队已在这一领域取得了重要进展，但他也指出，现有方法仍有改进空间，特别是在数据库和知识库的设计上。未来的工作应进一步探寻对数据库和知识库依赖更少、算法性能更优的多模态融合方法并努力将多模态融合意图感知算法应用于更多的实验教学学科中。 (文/林龙青)