人脸检测算法综述

摘 要

在计算机视觉领域中,人脸相关研究一直被广大研究人员关注.人脸相关课题包括人脸检测、人脸识别、人脸姿态估计、特征点提取等等.其中,人脸检测是其他人脸相关研究的前提,因此,找到鲁棒性强、效率高的人脸检测系统十分必要.本文从基于特征（feature-based）的方法和基于图像（image-based）的方法两个方面去阐述目前流行的人脸检测方法,分析各自的优缺点.最后,对人脸检测的发展趋势进行了讨论.

【关 键 词 】人脸检测 机器学习 人工神经网络 计算机视觉

1.引言

人脸检测（face detection）是指在输入图像中确定人脸的位置、大小等信息的过程.人脸检测作为人脸信息处理中的一项关键技术,近20年来开始成为模式识别和计算机视觉领域内的一项受到广泛关注、研究十分活跃的课题.

人脸检测研究最早可以追溯到上世纪60、70年代.当时的人脸检测主要是采用简单的启发式和人体测量技术.这类方法有很大的局限性,它对输入图像的质量要求较高,所以这类技术只能使用在照等情况下.到了上世纪90年代,随着视频技术、电子商务等等的兴起,人脸识别成为了最行之有效的身份辨别技术,大量的人脸识别产品逐年推出.而人脸检测作为人脸识别技术中的重要环节,也越来越受到研究人员的重视.一个效率高、鲁棒性强的人脸检测方法是保证人脸识别准确性的前提.

目前,国外对人脸检测问题研究的很多,比较著名的有麻省理工的媒体实验室和人工智能实验室、卡耐基梅隆大学的机器人研究所以及Illinois大学的Beckman研究所等；国内比较领先的有清华大学、北京工业大学、南京理工大学、上海交通大学、中科院计算技术研究所等.

虽然各种人脸检测方法被大量提出,但是仍然都有很大的改进空间.目前,人脸检测的面临的挑战主要有以下几点：（1）在实际采集的图片中,人脸往往是与很多附属物同时出现,例如眼镜、胡须等等；（2）人们的肤色、表情等等不同使得人脸具有模式可变性；（3）人脸的朝向会导致一些脸部特征产生形变,影响人脸判定精度；（4）光照不均匀导致的脸部色彩畸变.

2.基于特征的人脸检测方法

基于特征的方法主要利用人脸图像中的明显特征判定人脸位置、大小,将人脸图像视为一个高维向量,从而将人脸检测问题转化为高维空间中分布信号的检测问题.

此类方法一般符合人类的直觉思维,比较容易理解,便于程序实现.除此之外,由于很多脸部特征之间具有相互独立性,此类方法可以比较容易的进行组合,提高检测准确率和稳定性.但是,此类方法也有显著的缺点.由于此类方法中很多的特征都是由研究人员本身通过观察总结获得,这就导致很多特征的普适性很差,很难适应自然情况下的各种情况.因此,此类方法的鲁棒性和稳定性一般不是很好.

2.1 灰度分布特征

人脸的主要区域包括眼睛、鼻子、嘴巴等具有各自灰度分布特点的器官.灰度分布特征就是利用这种器官间灰度分布规律来判定人脸区域.

Yang等人在1994年提出了镶嵌图方法.镶嵌图（Mosaic Image）就是将原始输入图像的分辨率有规则的降低后的到的低分辨率图像.将图像均匀划分成尺寸相同的矩形单元（又称细胞）,占据4×4个细胞的称为四分图,占据8×8个细胞的称为八分图.该方法是一个基于知识的三层检测系统,每一层对应不同分辨率的镶嵌图,系统框架如图1所示.

方法中第一层针对四分图,如图2a所示,根据如下简单规则寻找所有可能的人脸候选区域：

（1）面部中心有4个灰度基本相同的细胞；

（2）面部上部和的8个细胞有基本相同的灰度；

（3）中心部分和上部、部分平均灰度有较明显的差别.

在第二层针对八分图,根据如下较复杂的规则剔除第一层的候选人脸区域：

（1）眼区：本行中有两个灰度极小值,它们之间的距离d符合：2（2）鼻区：眼区中心以下一个细胞单位处有一个垂直方向上的极小值,且该值在水平方向上也应该接近极小值；

（3）口区：在鼻区下方一个细胞单位处有一个垂直方向的灰度极小值,并且在水平方向有一个宽度为2-3个细胞长度的低灰度值区域.

第三层在人脸区域内采用改进的边缘检测算法进一步确定人眼、嘴等器官的位置.

卢春雨等对Yang等人的方法进行了改进,仅仅利用三分图（图2b）去判定人脸区域.三分图相对于四分图而言,可以更好的利用人脸器官分布规律,与人脸器官相匹配.

镶嵌图方法是一种相对简单的人脸检测方法.该方法相对于更久以前的方法而言,在复杂背景中有了较好的人脸检测率,但是对人脸附属物、光照不均等影响因素的鲁棒性很差.虽然镶嵌图方法对于自然采集图片并没有很好的检测率,但是其分级搜索思想在其他人脸检测方法中得到广泛应用.

2.2 模板特征

人脸区域的灰度本身可以作为模板特征,基于模板匹配的方法可以有效的检测到图像中的人脸.模板匹配法是一种经典的模式识别方法,这种方法大多是用归一化互相关,在灰度图像的基础上直接比较目标模板和候选图像区域之间的相似性.

梁路宏等人提出了一种基于多关联模板匹配的人脸检测方法,其中用到两种模板：双眼模板和不同长宽比的人脸模板.在检测时首先使用双眼模板进行粗筛选,然后利用不同长宽比的人脸模板确定出人脸区域的位置和范围,最后利用人脸器官的边缘特征进行确认.为了解决图像中不同尺度人脸的检测问题,采用了按照固定比率逐步缩小输入图像的方法进行多个尺度上的搜索.

2.3 颜色特征

随着计算机的发展,彩像的普及和应用开始为人脸检测提供了新的途径.虽然人脸肤色在自然情况下区别很大,但是采集不同性别、不同年龄、不同肤色的人脸图像在颜色空间的分布情况,发现肤色的规律主要体现在亮度上而不是色彩上.通过颜色的亮度归一化,不同人之间的肤色差异能明显的减弱.而且肤色不依赖于具体的面部器官特征,对于不同表情和姿态下的人脸都适用,具有相对的稳定性并且和大多数背景物体的颜色相区别.因此肤色特征开始成为人脸检测中的一种常用特征. Terrillon等考察了归一化的r-g、CIE-xy、TSL、CIE-DSH、HSV、YIQ等等9种色度空间,比较了高斯模型和混合高斯模型在不同色度空间中的性能,发现混合高斯模型才能在一般情况下较好的描述肤色区域分布.

Jones等研究了RGB空间中肤色与非肤色像素的分布,为近2万幅图片建立了三维直方图,发现直方图模型的性能略好于混合高斯模型.

在实际应用时,肤色特征一般不会作为人脸检测系统的唯一依赖特征,原因如下：

（1）人体其他部分也会有着和脸部相同的肤色特征.比如在某些皮肤暴露较多的图像（男性赤膊等）中,鲁棒性很差.

（2）某些特定的场景中,背景拥有和皮肤相似的模型分布.

鉴于以上原因,肤色特征一般作为其他人脸检测方法的补充.

3.基于图像的人脸检测方法

由于人脸图像的复杂性,单纯的依靠人类自身归纳人脸特征十分困难.因此,基于图像的人脸检测方法开始越来越受到重视.此类方法的主要思想是把人脸检测问题视为一个广义的模式识别问题,通过学习的方式让计算机去总结人脸特征.

根据近几年的研究和实践,发现基于图像的方法要优于基于特征的方法,目前的主流系统基本都是采用的基于图像的方法.但是,基于图像的方法也有着一些无法避免的缺陷：

（1）基于图像的方法需要大数据集的支持,而高质量大数据集的获得一般是非常耗费时间和精力的.这就为此类方法的实现增加了难度,使其不能像基于特征的方法一样可以快速实现.

（2）在某些基于图像的方法中,噪声数据会大大影响系统的性能.

3.1 神经网络方法

神经网络是一种十分有效的模式识别方式.可以利用高质量的人脸数据集训练一组神经网络模型（分类器）,达到人脸检测的目的.

Rowley[9]等提出了具有旋转不变性的基于神经网络的人脸检测方法,该方法使用了多个神经网络检测多姿态下的人脸,流程如下：

（1）定位和姿态估计.采用穷举的方式找到所有可能的人脸区域并估计人脸姿态,然后根据倾斜角度尽可能将旋转人脸变换为正面人脸.

（2）预处理.减少光照等外界因素对输入图像的干扰.

（3）检测.对（1）中得到的人脸候选区域进行检测,判定是否为人脸区域.

（4）仲裁.利用多个不同结构、不同训练策略的神经网络对（3）产生的结果进行验证,减少误报率.

3.2 基于Adaboost的方法

Viola和Jones提出了基于Adaboost的人脸检测方法.该方法的核心思路是利用穷举的方式去寻脸图像区别于非人脸图像的Haar-Like特征（图3）,再利用级联（Cascade）（图4）的方式去提高检测率.

该方法可以大致分为以下三个部分：

（1）使用Haar-like特征表示人脸,使用“积分图”实现特征数值的快速计算；

（2）使用Adaboost算法挑选出一些最能代表人脸的矩形特征（ 弱分类器）,按照加权的方式将弱分类器构造为一个强分类器；

（3）将训练得到的若干强分类器串联组成一个级联结构的层叠分类器,级联结构能有效地提高分类器的检测速度.

该方法中,最终得到的级联分类器是一种由粗到细的结构,级联中的每一层都经过阈值调整,使得每一层都尽可能在保证一定正确率的情况下让更多的人脸样本通过测试.这样,靠前的层拒绝了大部分非人脸样本,而且,由于前面层使用的Haar-Like特征比较少,所以计算起来比较快.后面的层虽然需要判定特征较多,但是由于前面的层拒绝了大部分窗口,所以在后面的层中也不会有过多的计算.

该方法在训练阶段的训练时间由数据集的样本数量以及样本分辨率决定,一般情况下训练时间都较长.但是,在检测阶段,由于待测试图像只有有限的几幅,所以检测速度会非常快,是一种效率很高的人脸检测方法.

Lienhart和Maydt随后又在此基础上扩充了Haar-Like特征的数量,使得Adaboost人脸检测方法的正确率又有了较大的提升.

4.总结

本文从基于特征和基于图像两个大方向介绍了主流的人脸检测方法.基于特征的方法一般比较直观易懂,易于实现,但是有很大的局限性；基于图像的方法以统计学理论作为基础,需要高质量的训练集,不便于实现,但是相对于基于特征的方法有着更好的鲁棒性和普适性.

就目前的情况看来,人脸检测依然是一个十分具有挑战性的课题,目前尚没有一种方法可以应对所有的自然情况.预计人脸检测的发展方向会集中在如下几个方面：

（1）自然噪声（光照不均等）对人脸检测的精度有着极大的抑制作用,所以,利用红外线等非常规方式采集的数据作为数据源会对人脸检测的精度产生积极作用.

（2）新方法、新工具的提出可以为人脸检测课题提供新的思路.

（3）将现存的方法进行有机结合,提高检测精度.

[2]Samal A,Iyengar P A,Human face detection using silhouettes,International Journal of Pattern Recognition and Artificial Intelligence,9（6）：845-867,1995. [3]周激流,张晔.人脸识别理论研究进展[J].计算机辅助设计与图形学学报,1999,02：85-89.

[4]GYang,T S Huang,Human face detection in a plex background.Pattern Recognition[J].1994,27（1）：53-63.

[5]卢春雨,张长水,闻芳,阎平凡.基于区域特征的快速人脸检测法[J].清华大学学报（自然科学版）,1999,01：102-106.

[6]梁路宏,艾海舟,何克忠.基于多模板匹配的单人脸检测[J].中国图象图形学报,1999,10：23-28.

[7]Terrillon J C,Shirazi M N,Fukamachi H,et al.Comparative performance of different skin chrominance models and chrominance spaces for the automatic detection of human faces in color images,in Proceedings of the International Conference on Automatic Face and Gesture Recognition,Grenoble,France,54-61,2000.

[8]Jones M J,Rehg J M,Statistical color models with application to skin detection,in Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition,FortCollins,Colorado,274-280,1999.

[9]Rowley H,Baluja S,Kanade T,Rotation invariant neural work-based face detection,in Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition,Santa Barbara,California,USA,963-969,1998.

[10]Viola P,Jones M,Rapid object detection using a boosted cascade of simple features,in Proceedings of the IEEE Computer Society Conference Vision and Pattern Recognition, Kauai,Hawaii,USA,511-518,2001.

[11]Lienhart,R.；Maydt,J.,An extended set of Haar-like features for rapid object detection,Image Processing.2002.Proceedings.2002 International Conference on,vol.1,no.,pp.I-900,I-903 vol.1,2002.

[12]Hjelmas E,Low B K,Face detection： a survey,Computer Vision and Image understanding, 83（1）：236-274,2001.

[13]Ming-Hsuan Yang；Kriegman,D.；Ahuja, N.,"Detecting faces in images：a survey,"Pattern Analysis and Machine Intelligence,IEEE Transactions on,vol.24, no.1,pp.34,58,Jan 2002.

[14]Moghaddam B,Jebara T,Pentland A,Bayesian Face Recognition,Pattern Recognition,33（11）：1771-1782,2000.

[15]Kah-Kay Sung；Poggio,T.,"Example-based learning for view-based human face detection,"Pattern Analysis and Machine Intelligence, IEEE Transactions on,vol.20,no.1, pp.39,51,Jan 1998

[16]Rowley,H.A.；Baluja,S.；Kanade, T.,"Neural work-based face detection,"Pattern Analysis and Machine Intelligence,IEEE Transactions on,vol.20,no.1, pp.23,38,Jan 1998.

[17]Yang M-H,Ahuja N,Detecting human faces in color images,in Proceedings of the International Conference on Image Processing,Chicago,USA,127-139,1998.

[18]Yang M-H,Ahuja N,Kriegman D,Face detection using a mixture of factor analyzers,in Proceedings of the International Conference on Image Processing,Kobe,Japan,Vol.3,612-616,1999. [19]Yang M-H,Ahuja N,Kriegman D,Face detection using a mixture of linear subspaces,in Proceedings of the International Conference on Automatic Face and Gesture Recognition,Grenoble,France,70-76,2000.

[20]艾海舟,王栓,何克忠.基于差分图象的人脸检测[J].中国图象图形学报,1998,12：11-16.

[21]周杰,卢春雨,张长水,李衍达.基于方向对称变换的人脸定位方法[J].电子学报,1999,08：13-16.

[22]袁超,张长水.基于多模板匹配的自动人脸检测[J].电子学报,2000,03：95-98.

[23]梁路宏,艾海舟,何克忠,张钹.基于仿射模板匹配的多角度单人脸定位[J]. 计算机学报,2000,06：640-645.

[24]梁路宏,艾海舟,徐光佑,张钹.基于模板匹配与人工神经网确认的人脸检测[J].电子学报,2001,06：744-747.

[25]艾海舟,梁路宏,徐光,张钹.基于肤色和模板的人脸检测[J].软件学报,2001,12：1784-1792.

[26]邢昕,汪孔桥,沈兰荪.基于器官跟踪的人脸实时跟踪方法[J].电子学报,2000,06：29-31.

[27]艾海舟,梁路宏,徐光,张钹.基于肤色和模板的人脸检测[J].软件学报,2001,12：1784-1792.

[28]姜志华,郭跃飞,娄震,杨静宇.基于灰度突变特征结构的快速人脸检测[J]. 南京理工大学学报,2000,02：143-146.

[29]韩宏,王鹏,唐振民,杨静宇.彩像中复杂背景的多人脸检测[J].南京理工大学学报（自然科学版）,2001,06：597-601.

[30]李士进,杨静宇,陆建峰.基于奇异值特征和隐马尔可夫模型的人脸检测[J].中国图象图形学报,2001,07：71-78.

[31]陈泽宇,戚飞虎.基于级联神经网络的人脸检测方法的研究[J].红外与毫米波学报,2000,01：59-63.

[32]陈茂林,戚飞虎.自组织隐马尔可夫模型的人脸检测研究[J].计算机学报,2002,11：1165-1169.

[33]刘明宝,高文.复杂背景下的人脸检测与跟踪系统[J].计算机研究与发展,1997,S1：61-65.

[34]刘明宝,姚鸿勋,高文.彩像的实时人脸跟踪方法[J].计算机学报,1998,06：527-532.

[35]姚鸿勋,刘明宝,高文,范旭彤,张洪明,吕雅娟. 基于彩像的色系坐标变换的面部定位与跟踪法[J].计算机学报,2000,02：158-165.

[36]山世光,高文,陈熙霖.基于纹理分布和变形模板的面部特征提取[J].软件学报,2001,04：570-577.

[37]陶霖密,彭振云,徐光.人体的肤色特征[J].软件学报,2001,07：1032-1041.

作者单位

东南大学软件学院 江苏省南京市 211189