从看脸到读心：深度理解人的视觉技术走到哪了？

上述的工作主要是基于物理模型，从脸部皮肤中分割出一个典型的区域，然后提取颜色变化信息，进行频谱分析，然后估计人的生理特征。

深度学习的出现再次改变了这个领域的研究方法。

2018年，中科院计算所山世光研究员提出了一种基于深度学习的方法：直接把提取信号送到神经网络中进行学习。

具体而言，其提出的是一个名为RhythmNet的端到端的可训练心率评估器，利用AI和光电容积脉搏波描记法来应对头部运动和光线变化方面的挑战。整个过程分为三部分：在ImageNet上预训练，然后将数据馈送到深度神经网络里面，最后对真实人脸心率信号精调。

但是训练过程中数据量小成了约束。当时最大的人脸心率数据集也不超过50人，深度模型容易过拟合。于是他想到人为加上弱周期性的信号去完成预训练，如此便能生成大量的数据。实验结果在标准数据集上HRrmse做到了4.49（最好的指标是6.23）。

但是用来训练的数据存在一个问题——人的心率分布是不均衡的。大多数人的心率都集中在60到90之间。120、130此类的数据非常少。用这样的数据做训练，显然会存在偏差。

山世光采用的方法是对人脸心率数据增广，即在时域中进行上、下采样，这样训练集里面的心率的数据范围就会更加的广泛，且能获得相对更均匀的心率数据。

微表情分析

对微表情的研究，方法上类似人脸识别，包含检测和识别两个具体问题。

具体来说，就是先从一段长视频中把发生微表情的视频片段检测出来，然后识别该微表情属于哪一类微表情。

（编辑：西安站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!