基于DSP的无人机编队视频跟踪技术

摘 要：无人机编队飞行可协同完成任务,比单机执行任务效率更高.队形控制是实现编队飞行的关键技术之一.视觉跟踪技术能从视频序列中获得感兴趣目标的状态参数,故在编队中可以利用视觉信息进行目标检测与跟踪来确定邻机方位及距离信息,从而实现队形控制.首先利用视觉传感器获取无人机的运动图像,然后基于DSP采用KLT算法,计算出无人机在图像上的相对位移,实现无人机的跟踪.实验证明,跟踪结果准确性较高,满足实际应用的精度要求,可用于无人机编队稳定跟踪,为进一步解决无人机相对定位问题提供位移信息.

关 键 词：编队飞行；无人机；视觉目标跟踪；DSP

中图分类号：TN91134文献标识码：A文章编号：1004373X(2012)06009903

DSPbasedvideotrackingtechnologyofUformation

JIURuibo,WANGBiao,CAOYunfeng

（CollegeofAutomation,NanjingUniversityofAeronauticsandAstronautics,Nanjing210016,China）

Abstract：UformationflighttaskcanbepletedmoreefficientlythanasingleUtoperformatask.Theformationcontrolisoneofthekeytechniquesinformationflight.Thevisualtrackingtechnologycanobtainthestateparametersofthetargetfromideosequence.Therefore,thevisualinformationcanbeappliedtotheformationtodetectandtrackthetarget,soastodeterminetheorientationanddistanceinformationoftheadjacentUsandrealizetheformationcontrol.ThemovingimagesofUsisobtainedbytheaidofvisualsensors,andthentheKLTalgorithmisadoptedtocalculatetherelativedisplacementofUsontheimagesaccordingtoDSP,andrealizethetrackingofUs.Experimentsshowthatthethetechnologyhashightrackingaccuracy,canmeettheaccuracyrequirementsofpracticalapplication,canbeusedforUformationstabletracking,andcanprovidedisplacementinformationforoveringthedifficultyofUrelativepositioning.

Keywords：formationflight,U,visualtargettracking,DSP

收稿日期：20111021

基金项目：航空基金（20110752005）0引言

无人机在军事和民用等多个领域都有非常重要的应用,如军事方面的编队飞行、空中攻击,民用方面的空中交通管制等.无人机编队飞行是指多架无人机为适应任务要求而进行的某种队形排列和任务分配的组织模式,它包括队形产生、保持和变化等.无人机协同编队飞行能够协同完成任务,有单机飞行无法比拟的优点,是无人机发展的一个重要趋势.但无人机实现编队飞行涉及到许多技术问题,其中队形控制是编队飞行的关键技术之一.无人机实现队形控制时,需获取自身及邻机的位置.传统上通过机间通信或地面通信站实现相对定位［1］.由于通信方式易受到干扰,而视觉传感方式低廉,获取的图片信息比较直观,能够动态记录目标连续运动图像,不受地面杂波干扰等的影响,还可以从视频序列中获得感兴趣目标的状态参数,如位置、尺寸、速度等,因此在编队中利用视觉信息进行目标检测与跟踪,获得无人机在图像上的距离和角度信息,从而确定邻机方位及距离信息,得到了学者的广泛关注与研究.

目前已有基于视觉的编队定位研究,如基于纹理图像的机器人编队定位［2］,但是要通过不同的纹理来标识不同的机器人；基于视觉传感器及激光扫描仪实现机器人编队定位［3］；基于红外标志灯的视觉编队方法［4］,但是如何正确的安放LED灯需要根据不同飞机的不同情况来定.本文通过基于视觉的目标跟踪技术解决无人机编队相对定位的问题,跟踪过程中避免了对无人机进行某种特征的标记,并且基于DSP实现跟踪系统,对跟踪的可靠性有所提高.近些年来提出了许多方法用于跟踪视频序列中的运动目标,主要有基于运动模型的［5］、基于光流的［6］、基于特征的［7］跟踪等几类方法.光流法的优点在于光流携带了运动物体的运动信息以及有关景物三维结构的丰富信息.在光流法跟踪中,跟踪性能最优的就是KLT算法［8］.

本文基于KLT算法,以TMS320DM642为图像处理平台,设计了一种基于DSP的运动目标跟踪系统,获取目标在图像上的位移量,及在每帧图像中的位置和大小,应用这些参数可以更新跟踪窗口,也可以对云台进行控制.

1跟踪算法

跟踪算法的基本思想是首先把彩像转化为灰度图像,然后图像去噪,利用KLT特征点提取算法提取图像的特征点,再利用KLT跟踪算法对下一帧图像求取匹配的特征点,从而实现跟踪.

1.1特征点跟踪

KLT算法是一种以待跟踪窗口w在图像帧间的灰度差平方和(SSD)作为度量的跟踪算法,目的是求出窗口中像素点的位移d等于(δ,η).但它不是直接对每个特征点进行跟踪,而是以每一个特征点为中心,选取合适的矩形特征窗口w,通过计算出窗口内像素点的水平位移δ和垂直位移η,得到输入图像特征点的位置［9］.在特征窗口w图像的SSD为:ε等于w［I(x－d)－J(x)］2w(x)dx（1）式中：J(x)和I(x－d)分别是t+1和t时刻在矩形特征窗口w内像素的灰度值；w(x)为对特征区域内不同像素点的加权方程.

对I(x－d)进行泰勒分解得到下式：ε等于w［h－gd］2w(x)dx（2）式中：g等于x(I)y(I)T,h等于I(x)－J(x).令εd等于0,检测设d在搜索窗口w和搜索范围内连续,wggTw(x)dAd等于Whgw(x)dA（3）

Gd等于e（4）1.2特征点选择

KLT算法的一个关键问题是特征点的提取,这里的特征点是相邻像素点的集合,即特征窗口w.对于320×240的图像,通常设置特征窗口为7×7个像素点［10］.对于大分辨率的图像,采用隔点采样生成较低分辨率的图像帧,以加快运算的速度.若梯度矩阵G的特征值λ1和λ2中较小者大于预定义的门限值λ,则该点为可选特征点.为了防止噪声影响,G的特征值必须足够大,λ通常设置为1［10］.

特征点经KLT跟踪后,由于噪声等影响,会存在少量错误的匹配点对.因此需要根据几何限制和其他附加约束消除错误的匹配,提高鲁棒性.随机抽样一致性(RANSAC)算法应用广泛,在失配率高的情况下也能保持有效.RANSAC算法将特征点分为内点和外点,其中内点是符合实际模型的点,外点是匹配错误的点.这里以实际匹配点与估计的匹配点之间的几何距离作为判据.设p和q为相邻两帧图像中的实际匹配点,点p1和q1为变换模型估计H在各自对应图像帧中估计出的对应点,s为实际匹配点和估计匹配点的距离,则s(p,p1)等于|p－Hq|和s(q,q1)等于|q－H－1p|.若s(p,p1)和s(q,q1)均小于给定阈值,则p和q为正确匹配点,否则为错误匹配点.

单一特征点不一定对应单一目标,而在单一目标上或许能发现多个特征点.被跟踪点是目标上的特征点,而不是图像上的任意特征点,因此利用聚类算法对特征点分类,一类是集中在目标上的特征点群,一类是远离目标中心的孤立点.聚类分析以相似性为基础,在一个聚类中的模式之间比不在同一聚类中的模式之间具有更多的相似性.这里选取欧式距离作为相似性的判断依据.当特征点与目标中心点的距离dis>Td（Td为目标窗口w的一半）,则认为该点为错误点,并剔除此点.筛选后的特征点的均值为目标中心点,用包含特征点群的矩形框估计出目标窗口大小w,二者都要随着特征点的变化动态更新.实验结果表明,使用聚类算法可淘汰掉目标中心以外的一些错误点.

1.3特征点更新

光线变化及运动模型与实际运动差异等因素会造成特征点丢失,从而给运动跟踪带来偏差,进而影响跟踪效果.为了跟踪的稳定性,需要更新特征点.当特征点数目较少,或跟踪N帧,则进行特征点重选.重新选取特征点时的选取范围w1等于m+k×Td,m为上一帧中的特征点中心,Td为上一帧窗口大小的一半,k>1,这样可选取更多的特征点,且聚类算法会导致初始目标区域缩小.

2跟踪系统的实现

系统硬件由DM642开发板、RS485和云台组成.DM642是TI公司针对视频图像处理设计的一款高速数字信号处理器,具有功能强大的乘加运算器和并行处理结构,在视频图像处理中广泛应用.云台上的摄像头既可以采集视频图像,也可以在控制信号的作用下跟踪运动目标.调试阶段DM642通过仿真器与主机的USB口相连,通过RS485转换器与云台相连.显示器与视频输出口相连,当DSP处理完一帧图像后显示跟踪结果.图1为系统硬件框图.

系统上电后,由FLASH完成DSP程序自举加载操作.程序加载结束后,将云台摄像头捕捉的模拟视频信号解码,转换为数字视频信号传递给DSP.DSP以DMA方式将原始图像数据存放到外部存储器SDRAM中.SDRAM存储原始图像和存储处理后的图像.待一帧图像数据完全接收后,DSP对其进行处理,利用跟踪算法获取运动飞机模型的目标区域,并计算目标中心相对图像中心的位移信息.

图1系统硬件框图跟踪算法由运动检测和运动跟踪组成.这里主要针对运动跟踪部分.首先对被跟踪目标在图像中的对应区域进行特征点检测,选择可靠的特征点作为跟踪点；然后在帧间进行目标的跟踪点的匹配,发现跟踪点在下一帧图像中的位置,用目标的所有可靠跟踪点计算出矩形框的位置和目标中心相对图像中心的位移信息.图2为运动跟踪算法流程图.

图2运动跟踪算法流程图3实验结果

云台摄像头采集的视频图像为576×720像素,本文对云台采集的视频图像隔点采样,即处理288×360的图像帧,特征窗口为7×7个像素点,特征点数量为20.图3为实验结果.

图3初始无人机模型区域图4所示分别为进行跟踪后的视频图像的目标区域.无人机模型在每一帧中出现的位置用矩形框表示.在第20帧图像中目标位于图像中心的右边,当目标向图像左侧运动时,矩形框随之运动,如第80帧所示.两帧之间使用RANSAC算法能淘汰误差较大的特征点对,避免了误差的逐帧累计,有利于稳定跟踪,由实验结果可知,结合KLT跟踪算法、RANSAC算法和聚类算法,该系统能够稳定跟踪运动目标.

图4跟踪后的视频图像序列4结语

实验结果表明：对KLT算法添加RANSAC算法和聚类算法,剔除错误点,能增强跟踪算法的稳定性和适应能力；同时当特征点数目过少时,更新特征点,保证了跟踪的稳定性；在图像存在光线变化、噪声等影响时表现出较强的鲁棒性.如果把目标和相机近似用中心点表示,那么根据目标和云台的初始相对位置以及焦距,就可以利用目标中心在图像上的位移,获取目标在实际空间中相对目标初始位置的位移,从而获取目标与相机的相对位置信息.但这种计算方法比较简单,其准确性需要在今后工作中加以提高.