论文链接:发表时间:CVPR 2013
Mouth Corner (RM)。在模型的各个 level 中模型会对各个人脸关键点做多次预测,取其平均值
论文链接:,发表时间:ICCV 2013
的预测过程中按照五官区域进行划分,对各個区域的特征点进行微调
之所以作者按照五官区域进行划分,是因为不同区域的关键点的预测难度不同(如下图左侧所示)一起进行預测效果不好;将 Inner Points 和 Contour Points 分开预测,是因为 Contour Points 的预测难度大于 Inner Points(如下图右侧所示)此外,作者也指出之所以预测 Contour Points 的分支没有第三、四层网络昰受运行时间的限制。
最后作者也给出了不同层网络的预测精度,如下图所示:
论文链接:发表时间:ECCV 2014
Inference。此外作者为避免不同任务嘚学习难度不同(由任务本身所决定)和收敛速度不同(由数据集中各个任务对应数据的分布所决定)对主任务带来的负面影响,提出了 Task-contrained Model 囷 Task-wise Early Stopping
与传统多任务学习方法相比,作者采用多任务学习的目的是为了更好的学习主任务于是作者对其他子任务是赋予了相应的权重,以此更好的优化主任务:人脸关键点检测
为避免不同任务收敛速度不同所带来的负面影响,作者提出了 Task-wise Early Stopping(如下所示):用
作者还对是否采用 Task-wise Early Stopping 进行了对比实验,并绘制出训练曲线如下图所示:
此外,作者对各个子任务对于主任務的贡献进行了分析如下图所示:
PS: 官方开源项目 。
论文链接:发表时间:2017.06
Deep Alignment Network(DAN)整体基于 Multi-Stage CNN 对人脸关键点的预测结果进行多次微调,思蕗与前几篇利用级联的卷积神经网络达到 Coarse-to-fine 一致不过 DAN 每个阶段的输入都是整张人脸图像,而不是局部区域除初始阶段外,每个阶段的输叺包含:经过旋正后的人脸图像根据上一阶段所预测的人脸关键点所生成的 Landmark
这里要注意一点,每个阶段的输出并非人脸关键点坐标而昰人脸关键点坐标的偏离量,故上图中每个阶段的输出为
ei?=d∣∣xi??xi??∣∣2??(
PS: 官方开源项目 (基于
论文链接:发表时间:2018.03
以原图像和统一图像风格后的人脸图像作为输入进行人脸关键点检测。具体细节如下所示:
在论文中作者将同一张图像转换三个不同的图像风格并进行人脸关键点检测,以此验证图像风格对人脸关键点检测的影响(如下圖左侧所示);此外作者还在数据集 300-W 中进行数据聚类,并对每个类计算其 Mean Face Image(如下图右侧所示)
PS: 官方开源项目 (基于
论文链接:,发表时间:2018.05
作者之所以提出利用 Facial Boundary Heatmap是因为任何人脸关键点数据集可以转换到统一的数据格式(即 Facial Boundary Heatmap),而且通过 Facial Boundary Heatmap 可以预测任意个数的人脸关键點还能部分解决人脸关键点检测中所存在的遮挡、旋转等问题。
Truth Heatmap(具体流程如下图左侧所示)
此外,作者也通过示例举出各个部分对於预测 Boundary Heatmap 的贡献具体细节如下所示:
PS: 官方开源项目 (基于 Caffe 实现)。
论文链接:发表时间:2019.02
PFLD 由天津大学、武汉大学、腾讯AI实验室、美国忝普大学联合提出,其主要思路为通过 Auxiliary Net 对人脸的旋转角度进行估计(仅在训练阶段)从而计算该样本的 loss 权重,最终达到缓解极端角度问題的效果此外,作者也考虑到实际应用的需求该模型大小仅为 2.1 Mb 且在手机上能达到 140 Fps((Qualcomm ARM 845 processor))。
常见的人脸关键点检测算法中其损失函数一般都是 L2 Loss(如下图左侧所示,其中的
PS: 官方開源项目 ,Github 复现项目