方案概述

AR虚拟增强技术给我们的生活带来更多的乐趣，3D Avatar是虹软当前给大家带来的极具互动性的AR特效应用。该应用可以响应用户面部表情，从三维空间识别人脸面部细微变化，并且用各种卡通模型（动物或者人物）呈现相应的表情动画，同时可以作为带声音的视频文件发送给朋友。其呈现出优异的人脸面部认知能力已得到了消费者广泛的认可。

基于虹软二维/三维人脸定位建模技术，能够精确捕捉人脸面部肌肉运动节点，标记人脸特征点（眼睛、口鼻、眉毛、面部轮廓等），获取面部表情系数并将表情同步至3D虚拟形象面部，从而驱动3D虚拟形象动画与人脸表情同步变化。

通过使用深度摄像头，虹软的3D Avatar能够基于人脸三维数据，以互动实时的速率捕捉并且实现模拟人脸表情克隆运动。

针对普通摄像头拍摄的二维图像，虹软同样可以实现人脸的三维定位及跟踪；这归功于我们积累大量真实的二维/三维人脸数据，通过机器学习算法重建人脸三维信息；随视频图像输入，不断对人脸特征和表情进行自适应；精确识别近百种面部肌肉运动。

新版本同时加入了对于身体关节以及运动检测和虚拟形象的人体驱动功能。

在算法性能优化上，虹软3D AR Avatar技术针对各种高中低端平台做了深度优化；具体的方案可根据厂商硬件平台能力和上层用户体验设计讨论而定。