面向引线框架缺陷识别的图像配准算法

摘 要： 为了降低引线框架缺陷识别的误检率,比较了基于灰度的模板匹配和基于特征的匹配算法之间的优缺点,并针对引线框架缺陷检测中参考图和检测图存在差异的特点,提出基于区域定位和不变矩的特征匹配算法.该算法通过边缘检测定位出特征区域,并用不变矩进行区域特征描述.在缺陷识别试验中,相比于模板匹配算法,该算法表现出更快的结算速度,更高的配准精度,更低的配准失败概率.结果表明,该配准算法适用于引线框架缺陷识别,降低误检率.

关 键 词 ： 引线框架； 机器视觉； 模板匹配； 特征匹配算法

中图分类号： TN911.7334 文献标识码： A 文章编号： 1004373X（2014）04010103

Image registration algorithm for lead frame defect detection

ZHAO Jingbo1, ZHAO Jianhui2, XU Xiaofan1,2

（1. Northwestern Polytechnical University, Xi’an 710129, China； 2. Unit 93995 of PLA, Xi’an 710306, China）

Abstract： To reduce the false detecting rate in lead frame defect recognition, the advantages and drawbacks of template matching based on gray and matching algorithm based on invariant moment. A feature matching algorithm based on area position and moment invariant is proposed according to the characteristic that the difference exists in conference image and sensed image during lead frame defect detection. The algorithn can ensure the feature area location by edge detection and describe the region feature by means of invariant moment. In the test of defect recognition, the algorithm showed up more rapid calculating speed, higher registration accuracy and lower registration false rate than the template matching algorithm. The results show that the image registration algrithm is suitable for lead frame defect detection and reduction of the false detecting rate.

Keywords： lead frame； machine vision； template matching； feature matching algorithm

引线框架作为集成电路的芯片载体,是一种借助于键合材料（金丝、铝丝、铜丝）实现芯片内部电路引出端与外引线的电气连接,形成电气回路的关键结构件[1].对于集成度高的芯片,其引线框架采用蚀刻工艺制造.在工艺实施过程中,产品中会出现一些特有的缺陷[2].目前,部分生产企业采用了基于机器视觉的缺陷检测系统,但是,此类检测系统普遍存在误检率过高的问题,导致产量很难提高.本文分析了误检率高的原因,针对图像配准环节提出了改进的算法,可有效改善检测效果.

1.缺陷检测流程

1.1 图像预处理

对于由光学传感器获得的数字图像,由于成像条件、光照条件及采集设备等的影响,往往使所采集图像中的有用信号淹没在噪声中.因此,图像预处理通常包括噪声去除滤波、二值化、图像边缘检测等几个方面,使图像特征更加明显[3].

1.2 子区域的矩比较或纹理特征比较

预处理后,最简单的找缺陷的方法就是点对点对比,这种单纯基于灰度的方法,在实际工作过程中,存在严重的误报现象.因此可以将图像分为自区域,对比相应区域的矩,如果相差在某一阈值范围外,便认为找到了缺陷.式（1）定义了区域的[p+q]阶矩.

[mpq等于（u,v）∈Fupyqf（u,v）] （1）

基于纹理的缺陷检测具有更高的稳定性和误检率.Sarkar. N给出了一种对比相应区域纹理特征矩阵的方法来检测产品缺陷,经证明,能有效避免因光线变化而带来的误检[4].

2.高误检率原因分析

被测引线框架是由与气泵相连机械手依次放置在摄像头前的.位置误差和振动会引起成像角度和距离的偏差,进而导致被测件图像与参考图像（无缺陷的标准件）没有对齐.由于两幅图像坐标的偏差,用来对比的区域之间无法建立起相应的联系,导致误检率偏高.为免于此,两个图像必须很好地对齐,对齐的过程称之为配准.另外,配准算法还必须对光照变化具有鲁棒性.配准的方法将在下节详细论述.

3.图像配准算法

3.1 图像配准的一般步骤

至今为止也没有一种能适应任何图像的通用配准算法,但是,几乎所有的算法都可以分为4个步骤[5]：

（1） 特征检测.人工或自动地检测出图像中的特殊对象（如边界闭合的区域、边缘、轮廓、线交点、角等等）.接下来,用特殊的点（重心、线端点、孤立点）表示出来,这些点在某些文献中称之为控制点（CPs）； （2） 特征匹配.运用各种特征描述子和相似性度量以及这些特征间的空间关系,来建立参考图像和获取图像之间的相关性.这是配准中的关键一步；

（3） 估计变换模型.对齐获得图像和参考图像需要知道它们之间的映射函数.所以这一步要估计映射函数的类型和参数.类型往往是仿射变换的一种,参数则由建立的特征相关性的均值计算得到；

（4） 图像重新采样和变换.用映射函数的均值变换获得图像.在非整数坐标处的图像的值由插值技术算出.

3.2 基于灰度的配准算法

鲁棒模板匹配是基于灰度的配准算法的代表,目前已经应用于IC芯片的封装中,已经是成熟的技术.

模板匹配技术原本是独立于图像配准之外的技术,其本意是在一副图像中搜索目标物体,用来描述目标物体的图像称之为模板图像.要进行模板匹配,首先要计算模板和图像之间的相似度,式（2）给出了一种差值绝对值（SAD）的相似性度量：

[SAD（r,c）等于1n（u,v）∈Tt（u,v）-f（r+u,c+v）] （2）

式中：[t（u,v）]为模板中某点灰度值；[f（r+u,c+v）]为ROI中的某点灰度值；SAD（r,c）为以SAD（差值绝对值）度量的相似度.

如果模板和图像的ROI相同,则SAD值为0,所以这种度量准确地说应为“不相似度”.根据具体情况,给SAD（r,c）设置一个阈值,来判断是否在此处找到了模板.

但是这种度量对于光照变化比较敏感,如果模板图像和被测图像不是在相同光照条件下取得的,将会得到很多错误位置找到模板.Carsten Steger等针对PCB板图像做的试验清楚地反映了这一点[6].随后,他给出了不随线性光照变化而变化的相似性度量：归一化互相关系数（NCC）,其计算方法由公式（3）给出：

[NCC（r,c）等于1n（u,v）∈Tt（u,v）-mts2tf（r+u,c+u）-mf（r,c）s2f（r,c）] （3）

式中：[mt]为模板平均灰度值；[s2t]为模板像素灰度方差；[mf（r,c）]为ROI的平均灰度值；[s2f（r,c）]为ROI的灰度方差.

为了实现对旋转的鲁棒性,需要创建多个方向的模板,然后依次匹配,直到找到模板位置为止.如果将参考图像的特征区域作为模板,那么被测图像中找到模板的位置就可认为是相应的特征区域,于是便实现了特征匹配.因为要沿图像中的每一点移动模板,并在每个位置按下列公式计算相似度,还有需要创建不同方向的模板,其计算量是比较大的（虽然可以用金字塔算法来提高模板搜索速度）,不利于产品的实时检测.更为严重的是,由于被测图像和参考图像并非是同一物体的成像,被测件的表面在模板对应区域如果出现缺陷,会出现模板的错误匹配,进而导致配准的失败.综上所述,鲁棒模板匹配算法并不适用于本应用.

3.3 基于不变矩的配准算法

为了寻找与区域位置无关的矩,可以在式（1）基础上构造中心矩：

[upq等于（u,v）∈F（u-u）p（v-v）qf（u,v）u等于m10m00,v等于m01m00] （4）

式中：[（u,v）]可以认为是区域的几何中心坐标.更进一步,MingKuei Hu将中心矩归一化,并由此构建出了7个不变矩,也称Hu矩.经证明,它们不但不受区域的平移影响,也不受旋转、缩放的影响[7].

[ηpq等于upquγ00, γ等于p+q2+1] （5）

[1等于η20+η022等于（η20-η02）2+4η2113等于（η30-3η12）2+（3η21-η03）24等于（η30+η12）2+（η21+η03）25等于（η30-3η12）（η21+η03）[（η30+η12）2-3（η21+η03）2]+ （3η21-η03）（η21+η03）[3（η30+η12）2-（η21+η03）2]6等于（η20-η02）[（η30+η12）2-（η21+η03）2]+ 4η11（η30+η12）（η21+η03）7等于（3η21-η03）（η30+η12）[（η30+η12）2-3（η21+η03）2]+ （3η12-η30）（η03+η21）[3（η30+η12）2-（η21+η03）2]] （6）

基于灰度的模板匹配之所以会造成配准失败,根本原因在于使用的图像信息过多,包括了缺陷的灰度信息.因此如果只是提取被测图像和参考图像的特征区域（不在可能出现缺陷的部位提取）,然后利用不变矩的不变性来进行特征匹配（两幅图中不变矩相等的区域认为是对应区域）,那么便可以完成图像配准.

4.试验及结论

设计仿真试验,分别采用模板匹配算法和基于区域定位及不变矩的算法,以检验本文提出算法的配准效果.选取××公司编号为××的一批引线框架50个,作为试验样本.其中,良好样本30个,缺陷样本20个（4种缺陷,每种各5个）.试验步骤如下：

（1） 使用如图1所示的“引线框架缺陷检测系统”的硬件系统获得如图2（a）所示的标准引线框架图像和被测框架产品图像,然后人工对产品图像进行平移和旋转,得到图2（c）,平移坐标和旋转角度作为实际值.

图1 引线框架缺陷检测硬件系统

（2） 选取图像中灰度分布较为特殊的的区域作为模板,如图2（b）所示（图2（a）中用黑色线框出了模板的范围）,采用3.2节所述的模板匹配法进行匹配,模板旋转步长选为5°.匹配结果如图2（d）所示,得到图像位置和角度偏差的测量值..

（3） 对标准图像图3（a）进行Canny边缘检测获得图像轮廓,得到如图3（b）的结果,对区域面积进行筛选得到特征区域,如图2（c）所示,并用3.3节所示方法进行Hu矩计算.对被测件也采用相同的步骤处理,如图3（d）～（f）所示.对于Hu矩相近的区域建立对应关系,并估算空间变换参数,得到如图3（g）所示的配准结果.

试验结果如表1所示.试验结果可见,由于被测图像和参考图像可能因为产品缺陷的原因而出现的灰度值不一致情况,模板匹配算法会有一定的配准失败率；而且,模板旋转角度的步长限制了图像配准角度误差的降低.基于不变矩方法的图像配准算法可以达到准确配准的效果,同时可以兼顾计算量和实时性的要求,为进一步降低引线框架检测系统的误检率提供了良好的基础.

图2 引线框架的模板匹配图像配准过程

图3 引线框架的特征配准算法