多特征联合的稀疏跟踪方法

摘 要 ：针对目标跟踪中单一特征描述目标能力较弱的情况,提出一种多种特征联合的稀疏表示跟踪方法.在粒子滤波框架下,首先,提取目标模板和候选粒子的多种特征并对其进行核化处理；然后,用字典模板对各候选粒子进行联合稀疏表示,采用可核化的加速近端梯度（KAPG）方法求解稀疏系数并实现候选粒子的重构；最后,将具有最小重构误差的粒子作为跟踪结果.跟踪过程中,利用子空间学习的方法实现目标模板的更新.实验结果表明,与现有跟踪算法相比,该算法提高了跟踪精度,并在目标存在遮挡、光照变化、运动突变等情况时,均可以取得较好的跟踪效果.所提算法可以有效地应用于目标检测和跟踪中.

关 键 词 ：多特征联合；视觉跟踪；粒子滤波；核函数；稀疏表示

中图分类号： TN911.73； TP18

文献标志码：A

Abstract： This paper proposed a novel sparse tracking method based on multifeature fusion to pensate for inplete description of single feature. Firstly, to fuse various features, multiple feature descriptors of dictionary templates and particle candidates were encoded as the form of kernel matrices. Secondly, every candidate particle was sparsely represented as a linear bination of all atoms of dictionary. Then the sparse representation model was efficiently solved using a Kernelizable Accelerated Proximal Gradient （KAPG） method. Lastly, in the framework of particle filter, the weights of particles were determined by sparse coefficient reconstruction errors to realize tracking. In the tracking step, a template update strategy which employed incremental subspace learning was introduced. The experimental results show that, pared with the related stateoftheart methods, this algorithm improves the tracking accuracy under all kinds of factors such as occlusions, illumination changes, pose changes, background clutter and viewpoint variation. The proposal method can be effectively applied to target detection and tracking.

Key words： multifeature fusion； visual tracking； particle filter； kernel function； sparse representation

0引言

目标跟踪[1]问题是计算机视觉领域的一个突出问题.目前正日益广泛地应用到人机交互、车辆导航、电视监控、航空航天以及国防建设等众多领域.然而尽管经过十几年的研究发展,设计一个能够有效处理遮挡、光照变化、尺度变化、运动突变等因素的跟踪算法仍然是一个具有挑战性的问题.

一般地,基于目标外观模型[2-3]的跟踪方法可以分为生成跟踪方法和判别跟踪方法两大类.生成跟踪方法通过建立目标的外观模型来描述感兴趣的目标,其跟踪的目的是搜索目标的位置,将具有最小重构误差的图像区域作为跟踪的结果.流行的生成跟踪方法包括eigen tracker[4]、mean shift tracker[5]、IVT（Incremental Visual Tracking）这个IVT的缩写,是否应该为“Incremental Visual Tracking”?请明确.[6]、fragmentbased tracker[7]和VTD（Visual Tracking Deposition） tracker[8].判别跟踪方法将目标跟踪问题视为一个二元分类问题,也即将目标从背景中很好地分离出来.流行的判别跟踪包括OAB（Online AdaBoost）OAB的英文全称是否应该为“On-line AdaBoost”,请明确.[9]、semionline boosting[10]、ensemble tracking[11]、MIL（Multiple Instance Learning） tracking[12]、cotraining tracking[13]和online multiview forests for tracking[14].

鉴于稀疏表示[15-16]的方法在人脸识别[17]领域的成功运用,Mei等[18]在2009年第一次将稀疏表示的方法应用到目标跟踪中.用字典模板和遮挡模板的稀疏线性组合表示每一个候选粒子,将具有最小重构误差的粒子作为跟踪结果,同时将最新的跟踪结果更新到字典模板中以适应因光照改变、视角变化导致的目标外观的改变.经过几年的发展,基于稀疏表示方法的目标跟踪取得了很大的进步：稀疏原型[19]的方法通过对原始目标模板进行主成分分析得到目标模板的特征基向量,并用特征基向量与遮挡模板构建目标的外观模型；LRST（LowRank Sparse Tracking）[20]方法充分利用粒子之间的相关性,将跟踪问题作为低秩矩阵学习问题；MTT（MultiTask Tracking）和TT（Structured MultiTask Tracking）[21]方法将多任务学习方法引入到目标跟踪中提高了跟踪的效率；文献[22]用候选粒子表示单一的目标模板,大幅度降低了计算的复杂度；文献[23-25]充分考虑并利用目标图像的结构关系和空间信息,有效提高了跟踪的准确性和稳定性；SCM（Sparsitybased Collaborative Model tracking）方法[26]结合生成模型与判别模型的方法提高了跟踪的精度.然而目前大部分的跟踪方法在描述目标的特征选择上比较单一,大量研究表明,不同特征在描述目标的能力上有所差别,同时也没有任何一种跟踪方法能够适用于所有的视频序列.针对上述情况,本文提出一种基于稀疏表示的多种特征联合的目标跟踪方法,该方法能够克服单一特征描述目标能力较差的情况,充分发挥不同特征描述目标能力的优点. 4.1.4背景杂波

图3（f）展示了背景杂波,对比度很差的情况下的跟踪结果.animal的视频序列目标运动很快,导致了背景的变化也非常快.本文方法采用多种特征描述目标,并用子空间学习和稀疏表示的方法对字典进行更新,克服了背景杂波的影响,能够精确地跟踪目标.

4.2定量评价

本文用两种评价标准来定量评价跟踪算法的好坏.一种是通过计算跟踪结果与人工标定的目标真实值之间的目标中心位置的欧氏距离,即广泛使用的中心位置误差.

表1给出了每个视频序列的中心位置误差的平均值,越小的平均误差代表越准确的跟踪结果（加黑的数字代表最好的3个结果）.表1表明,本文算法与其他方法相比具有很强的竞争力,在许多视频上具有优势.

另外一种评价标准借鉴目标检测中的常用的重叠率.给定跟踪算法的跟踪结果RT和目标真实值RG,用score等于area（RT∩RG）area（RT∪RG）计算目标框的重叠率,score值越大代表跟踪精度越高.表2对比了各种跟踪方法的平均重叠率（加黑的数字代表最好的3个结果）.综合来看,本文跟踪方法要优于其他方法.

5结语

本文通过提取图像的多种特征,基于目前的稀疏表示的方法实现对目标的跟踪,不同的特征可以弥补单一特征描述目标能力较弱的缺点,实验结果表明本文方法取得了较好的跟踪效果.然而本文算法也有不足之处：1）算法不能根据视频属性自适应地选择合适的特征；2）没有具体度量出不同特征描述目标能力的大小.今后将从以下两个方面做工作：1）详细分析视频序列的属性,确定哪些特征适合描述何种属性的视频,即建立一个视频属性与描述特征的对应关系；2）在跟踪的过程中根据视频序列出现的不同情况能够自动地调整不同特征置信度权值的大小,以达到最佳的跟踪效果.

[13]YU Q, DINH T B, MEDIONI G. Online tracking and reacquisition using cotrained generative and discriminative trackers [C]// Proceedings of the 10th European Conference on Computer Vision, LNCS 5303. Berlin： Springer, 2008： 678-691.

[14]LEISTNER C, GODEC M, SAFFARI A, et al. Online multiview forests for tracking [C]// Proceedings of the 32nd DAGM Conference on Pattern Recognition. Berlin： Springer, 2010： 493-502.

[15]HAN Z, JIAO J, ZHANG B, et al. Visual object tracking via samplebased Adaptive Sparse Representation （AdaSR） [J]. Pattern Recognition, 2011, 44（9）： 2170-2183.

[16]ZHANG S P, YAO H X, SUN X, et al. Sparse coding based visual tracking： review and experimental parison [J]. Pattern Recognition, 2013, 46（7）： 1772-1788.

[17]WRIGHT J, YANG A Y, GANESH A, et al. Robust face recognition via sparse representation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31（2）： 210-227.

[18]MEI X, LING H B. Robust visual tracking using L1 minimization [C]// Proceedings of 2009 IEEE 12th International Conference on Computer Vision. Piscataway： IEEE Press, 2009： 1436-1443.

[19]WANG D, LU H C, YANG M H. Online object tracking with sparse prototypes [J]. IEEE Transactions on Image Processing, 2013, 22（1）： 314-325.

[20]ZHANG T Z, GHANEM B, LIU S, et al. Lowrank sparse learning for robust visual tracking [C]// Proceedings of the 12th European Conference on Computer Vision, LNCS 7577. Berlin： Springer, 2012： 470-484.

[21]ZHANG T Z, GHANEM B, LIU S, et al. Robust visual tracking via structured multitask sparse learning [J]. International Journal of Computer Vision, 2013, 101（2）： 367-383.

[22]LIU H P, SUN F C. Visual tracking using sparsity induced similarity [C]// Proceedings of the 2010 20th International Conference on Pattern Recognition. Piscataway： IEEE Press, 2010： 1702-1705.

[23]LIU B, HUANG J, YANG L, et al. Robust tracking using local sparse appearance model and kselection [C]// Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press, 2011： 1313-1320. [24]JIA X, LU H C, YANG M H. Visual tracking via adaptive structural local sparse appearance model [C]// Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press, 2012： 1822-1829.

[25]BAI T X, LI Y F. Robust visual tracking with structured sparse representation appearance model [J]. Pattern Recognition, 2012, 45（6）： 2390-2404.

[26]ZHONG W, LU H C, YANG M H. Robust object tracking via sparsitybased collaborative model [C]// Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press, 2012： 1838-1845.

[27]ZHANG K H, ZHANG L, YANG M H. Realtime pressive tracking [C]// Proceedings of the 12th European Conference on Computer Vision. Berlin： Springer, 2012： 864-877.

[28]ZHANG K H, ZHANG L, YANG M H. Realtime object tracking via online discriminative feature selection [J]. IEEE Transactions on Image Processing, 2013, 22（12）： 4664-4677.

[29]YUAN X T, LIU X B, YAN S C. Visual classification with multitask joint sparse representation [J]. IEEE Transactions on Image Processing, 2012, 21（10）： 4349-4360.

[30]KHAN Z, BATCH, T, DELLAERT F. A RaoBlackwellized particle filter for eigentracking [C]// Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press, 2004： 980-986.

[31]ZHOU S K, CHELLAPPA R, MOGHADDAM B. Visual tracking and recognition using appearanceadaptive models in particle filters [J]. IEEE Transactions on Image Processing, 2004, 13（11）： 1491-1506.

[32]OLSON C F. Maximumlikelihood template matching [C]// Proceedings of the 2000 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press, 2000： 52-57.

[33]MATTHEWS I, ISHIKAWA T, BER S. The template update problem [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26（6）： 810-815.

[34]BAO C, WU Y, LING H B. Real time robust 1 tracker using accelerated proximal gradient approach [C]// Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Press, 2012： 1830-1837.

[35]KALAL Z, MIKOLAJCZYK K, MATAS J. Trackinglearningdetection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34（7）： 1409-1422.