通常人机交互的方式往往是单一模态的，或基于视觉，或基于语音等其他方式。然而，人与人之间的交流则是多种方式的综合使用，为实现更加拟人化的人机交互方式，多模态人机交互是人机交互的重要发展方向。我们课题组研究内容包括情感机器人、多传感器定位技术、人脸表情识别与性别识别技术、视觉问答技术、语音情感识别技术以及多轮对话生成技术等。如对话生成方面的研究，传统单轮对话模式下机器人一问一答式、前后无联系的生硬回复会导致对话体验降低，而本课题组将其转化为多轮单语句生成、多轮多语句生成和意图识别语境构建模型相结合的模块化构建来提高对话流畅性。

通常人机交互的方式往往是单一模态的，或基于视觉，或基于语音等其他方式。然而，人与人之间的交流则是多种方式的综合使用，为实现更加拟人化的人机交互方式，多模态人机交互是人机交互的重要发展方向。我们课题组研究内容包括情感机器人、多传感器定位技术、人脸表情识别与性别识别技术、视觉问答技术、语音情感识别技术以及多轮对话生成技术等。如对话生成方面的研究，传统单轮对话模式下机器人一问一答式、前后无联系的生硬回复会导致对话体验降低，而本课题组将其转化为多轮单语句生成、多轮多语句生成和意图识别语境构建模型相结合的模块化构建来提高对话流畅性。