论文编码（原论文分类号）：TP39
首都师范大学本科毕业论文
红外热波检测中的图像
匹配研究
The research on image registration in infrared thermal wave nondestructive inspection
院 系 信息工程学院
专 业 计算机科学与技术
年 级 2001
学 号 1011000119
指导老师
论文作者
完成日期 2005年 5月 30日
中文提要
本文研究的内容是红外热波检测中的图像匹配，研究的背景是基于国家863计划项目excitation to detect the destruction. The destruction causes the unusual conduction of heat which would lead the heat reflection or scattering under most condition and then form infrared thermal wave images. It is impossible to obtain the complete image of the object when it is very big, so the reasonable solution is to acquire the images of parts of the object. However, the edge of the image may fail to be analyzed. Based on these problems above, the methodology of image registration and mosaic which is the content of the paper is required.
This paper introduces one of the image registration methodologies-template matching, a method use grey value to establish the template searching. There are two advantages in the paper's algorithm. Firstly, the new algorithm promotes the efficiency of the method, which is a shortcoming in the past. The new algorithm has the characteristic of high efficiency, easy and accurate which result from the changes of templates.
Secondly, the algorithm applies template matching to the rotating images. Generally, method of template matching is seldom to be used in the rotating image registration. The algorithm matches the image successfully by using of the method of template matching.
Additionally, the algorithm can be expanded to the field of colorful pictures' registration with good effect.
Key words: infrared thermal wave, grey value, template matching
目录
0引言 1
1 图像匹配方法综述 4
1.1基于图像灰度信息的匹配方法 4
1.1.1主要思想及方法特点 4
1.1.2基于灰度信息的模板匹配方法概述 4
1.2利用频域的方法――基于傅立叶变换方法 5
1.3基于图像特征的方法 5
2 对图像进行模板匹配 6
2.1 模板匹配总体算法设计 6
2.2模板匹配算法改进 8
2.3 程序实现模板匹配 10
3 对图像进行拼接 14
3.1 无旋转角度图像拼接算法设计 14
3.2 存在旋转角度图像拼接算法设计 15
4 实验及数据分析 16
4.1 算法改进前后实验分析比较 16
4.1.1 算法改进前进行匹配拼接 18
4.1.2 算法改进后进行匹配拼接 19
4.1.3 实验数据分析 20
4.2 不同位置关系的图像拼接 21
4.2.1 不存在旋转角度的两幅图像 21
4.2.2 存在旋转角度的两幅图像 22
4.3 存在图像亮度差异的图像拼接 24
4.3.1 样图1实验 24
4.3.2 样图2实验 29
4.3.3 实验小结 35
4.4 彩色图像拼接 36
4.5 实验程序运行界面 38
5 结论与设想 39
5.1 结论 39
5.2 对今后完善程序的设想 39
毕设期间参加过的项目 40
毕设期间完成的学术论文 40
收获体验及谢辞 41
参考文献 42
0引言
红外热波无损检测技术是用某种加热办法来激发内部缺陷这种技术在军事、工业等领域均有应用，在本项目中可应用到飞机铝蒙皮的加强筋开裂与锈蚀检测。
图0.1波音737飞机蒙皮的红外热波检测结果拼图
图0.2波音737飞机被测区的可见光照片
图0.3 图像获取
当被测物较大时，如上图0.1、图0.2飞机铝蒙皮的检测中不能一次获得整个被测物的红外热波图像，这时就需要多次获得被测物的各个部分的图像，如图0.3使用热像仪在平行于成像平面的方向上平移，相邻两张必须有部分重叠。而对于处在两张图片边缘处的图像就十分不利于检测分析，对此，本论文提出了对红外热波图像进行匹配拼接的技术。
该技术对红外图像进行图像匹配拼接处理流程是首先读入两幅待拼接的图像，进行图像匹配，并找到重叠区域的匹配点。然后根据重叠区域匹配点的位置进行图像拼接。最后显示拼接完成后的合成图像。如图0.3，其中笔者集中解决流程中1、2部分，其余3、4、5部分由刘瑶同学完成。
图0.4 图像匹配拼接处理流程
图像匹配技术在飞行器导航、人脸识别、文字识别、指纹识别、机器人视觉、航空图像分析、序列图像分析、视频图像分析、电子地图、信息的三维重构、导弹的地形和地图匹配制导、景象匹配、光学和雷达的目标跟踪与识别、自然资源分析、环境研究，气象预报、医疗诊断、图像拼接和图像融合等方面具有重要的作用[5]。为了能让计算机自动对准图像，并把几幅小的图像拼接成一幅大的图像，
2 对图像进行模板匹配
2.1 模板匹配总体算法设计
本论文采用模板匹配的思想寻找匹配点。两幅图进行拼接，首先需要被拼接的两幅图的边缘部分存在重叠区域。然后在第一幅图重叠区域中选取某个模板，并在第二幅图中寻找到此模板的位置，即可拼接。总体思想是：由于第一幅图的边缘必定会出现在第二幅图中，因此第一步先在第一幅图右边缘处选取两个正方形区域模板（比如包含像素为16*16），记录下其中每个点的灰度值并以其右下角点坐标作为标志。在右边缘区域取模板是保证所取模板必然会出现在第二幅图中。第二步是在第二幅图中从左边缘左上角取同样大小的一个模板，以一个像素为步长依次从左到右、从上到下开始搜索，计算所有模板点的两幅图像对应像素点的灰度值的差的平方和，记录最小的模板的位置（同样以右下角点坐标为标志），即认为是最佳匹配位置（即最佳匹配点）。
如图1，因为图像样本1和图像样本2具有重叠区域(阴影部分)，因此，理想情况下一定有两块模板S1和F1、S2和F2一致，则S1和F1、S2和F2像素灰度值之差为零。但由于光照条件、器件光电噪声等因素影响，二者之差不可能为零。所以，我们可以用最小平方
误差最小D1(i, j)、D2(i, j)来衡量F1和S1、F2和S2的相似程度。算法公式为：
D1(i, j)=∑ [S1(x,y)-F1(x,y)]2，D2(i, j)=∑ [S2(x,y)-F2(x,y)]2。 (公式2.1-1)
图2.1.1：两幅具有水平重叠区域的图像
图4.1.1.2 算法改进前样图2拼接结果图
(3) 小结
算法改进以前匹配位置比较准确但存在误差，且耗时很长且运算量很大。
4.1.2 算法改进后进行匹配拼接
(1) 算法改进前分别对两对样图进行匹配拼接，数据如下：
表4.1.2.1 算法改进后匹配数据
匹配模板数量匹配模板大小（长*宽）第2幅图搜索范围匹配运算时间匹配位置正确位置样图112*20图宽度的10%～50%1秒(37,206)
(37,206)
样图212*20图宽度的10%～50%
(2) 拼接结果图：
图4.1.2.1 算法改进后样图1拼接结果图
图4.1.2.2 算法改进后样图2拼接结果图
(3) 小结
算法改进后匹配位置准确，运算时间非常短，效率很高。
4.1.3 实验数据分析
从以上数据可以分析出，算法改进后，匹配运算时间提高了几十倍，匹配位置更加精确。充分地体现了改进后的算法的优越性。
4.2 不同位置关系的图像拼接
4.2.1 不存在旋转角度的两幅图像
对于不存在旋转角度的两幅图像，实验中选取样图1作为实验完整图像。待匹配拼接的两幅图像不存在角度旋转，但是有y方向位移。
图4.2.1.1 拼接图像1 图4.2.1.2 拼接图像2
图4.2.1.3 无旋转角度图像拼接结果图
从结果图中可以看出，对于无旋转角度且存在y方向位移的图像利用该算法得到的匹配位置准确。
图4.4.3 拼接结果图
从拼接结果图可以看出，匹配位置准确，拼接效果很好。
(2) 为了更具有真实性，下面选用两张真实景物照片进行匹配拼接。景物选取地点为首都师范大学北一区校园，实物为国际文化大厦。
图4.4.4拼接图1 图4.4.5拼接图2
图4.4.6 拼接结果图
从拼接结果图可以看出，匹配位置比较准确，效果真实。
4.5 实验程序运行界面
图4.5.1红外热波图像程序界面
图4.5.2彩色图像程序界面
5 结论与设想
5.1 结论
本文的主要任务是对红外热波图像进行图像匹配，提供匹配点以进行拼接。采用的主要方法是利用图像灰度信息进行模
板匹配，充分体现了此方法的简易可行性，或改进或克服了其运算量大、不适于旋转、对亮度敏感等不足之处。根据理论和对实验结果的分析，得出以下结论：
(1) 利用图像灰度信息可以成功地对红外热波图像进行图像匹配。
(2) 本文方法借鉴了基于块和网格的匹配方法[7]，参考了比值匹配的部分思想[6，7]，提出了将匹配模板改进的算法，克服了利用灰度信息处理图像速度慢的缺点，达到了提高匹配速度的效果。
(3) 本文方法借鉴了基于块和网格的匹配方法[7]，提出了将块匹配方法应用于有小角度旋转的红外热波图像匹配中。实验证明，图像旋转角度在-5~+5度范围内均可使用本文方法。
(4) 实验证明，本文方法可适用于有小范围亮度变化的图像，亮度变化范围一般在0~15左右。
(5) 实验证明， 本文方法可扩展到风景人物、彩色图像的匹配拼接。
(6) 实验证明，模板大小与匹配精度相关。模板过大或过小都不利于匹配。本文通过实验得出，对于无旋转与有旋转图像的匹配，模板大小分别为2*20和10*10时效果最好。
5.2 对今后完善程序的设想
本论文涉及的匹配方法适用于图像的水平匹配拼接，关于图像的垂直方向的拼接问题以及全方位图像的匹配拼接问题可以在今后的程序中加以完善。
本文所采用的方法适用于对于小范围亮度变化的图像，对于亮度差异较大的图像的匹配拼接问题仍需要今后进一步进行研究。
收获体验及谢辞
通过几个月的毕业设计，对大学四年来所学知识进行了巩固，并将理论知识运用到实践中去，使我获益匪浅。在工作中，通过葛老师、赵老师和其他研究生的指导，使我对图像匹配、图像拼接的重要性和相关理论有了更深入的理解。在这期间，我体会到了团队合作的重要性。老师同学之间互相交流，互相帮助，取长补短，才能更快更好地完成工作，并能扩充课堂上学到的知识，接触课堂外的知识领域，不断完善自己。培养这种团队合作精神对今后的工作会有很大的帮助。
在此，我要特别感谢我的指导老师葛庆平老师，每周定期为我们开会，讨论毕业设计中遇到的学术和程序问题。并且在百忙中，抽出时间为我们解答各种相关问题。
此外，还要感谢同组的研究生郭永刚、徐歆恺、姜长胜，他们也为我的毕业设计和论文给予了很大的帮助。
参考文献
(1) 张志佳，张瑜，史泽林，黄莎白．基于区域模板相关的图像匹配方法研究．红外与激光工程，2004年12月
(2) 王敬东，徐亦斌，沈春林．一种新的任意角度旋转的景象匹配方法．
南京航空航天大学学报，2005年2月
(3) 唐琎，谷士文，蔡自兴．图像拼接误差的理论分析．小型微型计算机系统，2003年12月
(4) 孙远，周刚慧，赵立初，施鹏飞．灰度图像匹配的快速算法．上海交通大学学报，2000年5月
(5) 阳方林，杨风暴，韦全芳，韩焱．一种新的快速图像匹配算法．中国期刊网：1002-8331-(2005)05-0051-02
(6) 钟力，胡晓峰．重叠图像拼接算．中国图像图形学报，1998年5月
(7) 程治国，陈芒，刘允才．一种数字地图自动生成系统及其拼接技术．中国期刊网，2003年3月
(8) 张世阳，王俊杰，胡运发．一种快速全景图像拼接技术．计算机应用与软件，2004年3月．
(9) 俞辉，侯在克，何旭莉，吴炎．一种基于轮廓特征的图像拼接算法设计与实现．石油大学学报(自然科学版)，2003年4月
(10) 张红民．基于模板匹配的彩色图像自动拼接方法．微机发展，2003年7月
(11) 强赞霞，彭嘉雄，王洪群. 基于傅立叶变换的遥感图像匹配算法. 红外与激光工程，2004年8月
(12) 梁运行，崔杜武．图像拼接的预处理算法研究．西安理工大学学报，2003年3月
I
论文编码（原论文分类号）：TP39
首都师范大学本科毕业论文
红外热波检测中的图像
匹配研究
The research on image registration in infrared thermal wave nondestructive inspection
院 系 信息工程学院
专 业 计算机科学与技术
年 级 2001
学 号 1011000119
指导老师
论文作者
完成日期 2005年 5月 30日
中文提要
本文研究的内容是红外热波检测中的图像匹配，研究的背景是基于国家863计划项目excitation to detect the destruction. The destruction causes the unusual conduction of heat which would lead the heat reflection or scattering under most condition and then form infrared thermal wave images. It is impossible to obtain the complete image of the object when it is very big, so the reasonable solution is to acquire the images of parts of the object. However, the edge of the image may fail to be analyzed. Based on these problems above, the methodology of image registration and mosaic which is the content of the paper is required.
This paper introduces one of the image registration methodologies-template matching, a method use grey value to establish the template searching. There are two advantages in the paper's algorithm. Firstly, the new algorithm promotes the efficiency of the method, which is a shortcoming in the past. The new algorithm has the characteristic of high efficiency, easy and accurate which result from the changes of templates.
Secondly, the algorithm applies template matching to the rotating images. Generally, method of template matching is seldom to be used in the rotating image registration. The algorithm matches the image successfully by using of the method of template matching.
Additionally, the algorithm can be expanded to the field of colorful pictures' registration with good effect.
Key words: infrared thermal wave, grey value, template matching
目录
0引言 1
1 图像匹配方法综述 4
1.1基于图像灰度信息的匹配方法 4
1.1.1主要思想及方法特点 4
1.1.2基于灰度信息的模板匹配方法概述 4
1.2利用频域的方法――基于傅立叶变换方法 5
1.3基于图像特征的方法 5
2 对图像进行模板匹配 6
2.1 模板匹配总体算法设计 6
2.2模板匹配算法改进 8
2.3 程序实现模板匹配 10
3 对图像进行拼接 14
3.1 无旋转角度图像拼接算法设计 14
3.2 存在旋转角度图像拼接算法设计 15
4 实验及数据分析 16
4.1 算法改进前后实验分析比较 16
4.1.1 算法改进前进行匹配拼接 18
4.1.2 算法改进后进行匹配拼接 19
4.1.3 实验数据分析 20
4.2 不同位置关系的图像拼接 21
4.2.1 不存在旋转角度的两幅图像 21
4.2.2 存在旋转角度的两幅图像 22
4.3 存在图像亮度差异的图像拼接 24
4.3.1 样图1实验 24
4.3.2 样图2实验 29
4.3.3 实验小结 35
4.4 彩色图像拼接 36
4.5 实验程序运行界面 38
5 结论与设想 39
5.1 结论 39
5.2 对今后完善程序的设想 39
毕设期间参加过的项目 40
毕设期间完成的学术论文 40
收获体验及谢辞 41
参考文献 42
0引言
红外热波无损检测技术是用某种加热办法来激发内部缺陷这种技术在军事、工业等领域均有应用，在本项目中可应用到飞机铝蒙皮的加强筋开裂与锈蚀检测。
图0.1波音737飞机蒙皮的红外热波检测结果拼图
图0.2波音737飞机被测区的可见光照片
图0.3 图像获取
当被测物较大时，如上图0.1、图0.2飞机铝蒙皮的检测中不能一次获得整个被测物的红外热波图像，这时就需要多次获得被测物的各个部分的图像，如图0.3使用热像仪在平行于成像平面的方向上平移，相邻两张必须有部分重叠。而对于处在两张图片边缘处的图像就十分不利于检测分析，对此，本论文提出了对红外热波图像进行匹配拼接的技术。
该技术对红外图像进行图像匹配拼接处理流程是首先读入两幅待拼接的图像，进行图像匹配，并找到重叠区域的匹配点。然后根据重叠区域匹配点的位置进行图像拼接。最后显示拼接完成后的合成图像。如图0.3，其中笔者集中解决流程中1、2部分，其余3、4、5部分由刘瑶同学完成。
图0.4 图像匹配拼接处理流程
图像匹配技术在飞行器导航、人脸识别、文字识别、指纹识别、机器人视觉、航空图像分析、序列图像分析、视频图像分析、电子地图、信息的三维重构、导弹的地形和地图匹配制导、景象匹配、光学和雷达的目标跟踪与识别、自然资源分析、环境研究，气象预报、医疗诊断、图像拼接和图像融合等方面具有重要的作用[5]。为了能让计算机自动对准图像，并把几幅小的图像拼接成一幅大的图像，
2 对图像进行模板匹配
2.1 模板匹配总体算法设计
本论文采用模板匹配的思想寻找匹配点。两幅图进行拼接，首先需要被拼接的两幅图的边缘部分存在重叠区域。然后在第一幅图重叠区域中选取某个模板，并在第二幅图中寻找到此模板的位置，即可拼接。总体思想是：由于第一幅图的边缘必定会出现在第二幅图中，因此第一步先在第一幅图右边缘处选取两个正方形区域模板（比如包含像素为16*16），记录下其中每个点的灰度值并以其右下角点坐标作为标志。在右边缘区域取模板是保证所取模板必然会出现在第二幅图中。第二步是在第二幅图中从左边缘左上角取同样大小的一个模板，以一个像素为步长依次从左到右、从上到下开始搜索，计算所有模板点的两幅图像对应像素点的灰度值的差的平方和，记录最小的模板的位置（同样以右下角点坐标为标志），即认为是最佳匹配位置（即最佳匹配点）。
如图1，因为图像样本1和图像样本2具有重叠区域(阴影部分)，因此，理想情况下一定有两块模板S1和F1、S2和F2一致，则S1和F1、S2和F2像素灰度值之差为零。但由于光照条件、器件光电噪声等因素影响，二者之差不可能为零。所以，我们可以用最小平方
误差最小D1(i, j)、D2(i, j)来衡量F1和S1、F2和S2的相似程度。算法公式为：
D1(i, j)=∑ [S1(x,y)-F1(x,y)]2，D2(i, j)=∑ [S2(x,y)-F2(x,y)]2。 (公式2.1-1)
图2.1.1：两幅具有水平重叠区域的图像
图4.1.1.2 算法改进前样图2拼接结果图
(3) 小结
算法改进以前匹配位置比较准确但存在误差，且耗时很长且运算量很大。
4.1.2 算法改进后进行匹配拼接
(1) 算法改进前分别对两对样图进行匹配拼接，数据如下：
表4.1.2.1 算法改进后匹配数据
匹配模板数量匹配模板大小（长*宽）第2幅图搜索范围匹配运算时间匹配位置正确位置样图112*20图宽度的10%～50%1秒(37,206)
(37,206)
样图212*20图宽度的10%～50%
(2) 拼接结果图：
图4.1.2.1 算法改进后样图1拼接结果图
图4.1.2.2 算法改进后样图2拼接结果图
(3) 小结
算法改进后匹配位置准确，运算时间非常短，效率很高。
4.1.3 实验数据分析
从以上数据可以分析出，算法改进后，匹配运算时间提高了几十倍，匹配位置更加精确。充分地体现了改进后的算法的优越性。
4.2 不同位置关系的图像拼接
4.2.1 不存在旋转角度的两幅图像
对于不存在旋转角度的两幅图像，实验中选取样图1作为实验完整图像。待匹配拼接的两幅图像不存在角度旋转，但是有y方向位移。
图4.2.1.1 拼接图像1 图4.2.1.2 拼接图像2
图4.2.1.3 无旋转角度图像拼接结果图
从结果图中可以看出，对于无旋转角度且存在y方向位移的图像利用该算法得到的匹配位置准确。
图4.4.3 拼接结果图
从拼接结果图可以看出，匹配位置准确，拼接效果很好。
(2) 为了更具有真实性，下面选用两张真实景物照片进行匹配拼接。景物选取地点为首都师范大学北一区校园，实物为国际文化大厦。
图4.4.4拼接图1 图4.4.5拼接图2
图4.4.6 拼接结果图
从拼接结果图可以看出，匹配位置比较准确，效果真实。
4.5 实验程序运行界面
图4.5.1红外热波图像程序界面
图4.5.2彩色图像程序界面
5 结论与设想
5.1 结论
本文的主要任务是对红外热波图像进行图像匹配，提供匹配点以进行拼接。采用的主要方法是利用图像灰度信息进行模
板匹配，充分体现了此方法的简易可行性，或改进或克服了其运算量大、不适于旋转、对亮度敏感等不足之处。根据理论和对实验结果的分析，得出以下结论：
(1) 利用图像灰度信息可以成功地对红外热波图像进行图像匹配。
(2) 本文方法借鉴了基于块和网格的匹配方法[7]，参考了比值匹配的部分思想[6，7]，提出了将匹配模板改进的算法，克服了利用灰度信息处理图像速度慢的缺点，达到了提高匹配速度的效果。
(3) 本文方法借鉴了基于块和网格的匹配方法[7]，提出了将块匹配方法应用于有小角度旋转的红外热波图像匹配中。实验证明，图像旋转角度在-5~+5度范围内均可使用本文方法。
(4) 实验证明，本文方法可适用于有小范围亮度变化的图像，亮度变化范围一般在0~15左右。
(5) 实验证明， 本文方法可扩展到风景人物、彩色图像的匹配拼接。
(6) 实验证明，模板大小与匹配精度相关。模板过大或过小都不利于匹配。本文通过实验得出，对于无旋转与有旋转图像的匹配，模板大小分别为2*20和10*10时效果最好。
5.2 对今后完善程序的设想
本论文涉及的匹配方法适用于图像的水平匹配拼接，关于图像的垂直方向的拼接问题以及全方位图像的匹配拼接问题可以在今后的程序中加以完善。
本文所采用的方法适用于对于小范围亮度变化的图像，对于亮度差异较大的图像的匹配拼接问题仍需要今后进一步进行研究。
收获体验及谢辞
通过几个月的毕业设计，对大学四年来所学知识进行了巩固，并将理论知识运用到实践中去，使我获益匪浅。在工作中，通过葛老师、赵老师和其他研究生的指导，使我对图像匹配、图像拼接的重要性和相关理论有了更深入的理解。在这期间，我体会到了团队合作的重要性。老师同学之间互相交流，互相帮助，取长补短，才能更快更好地完成工作，并能扩充课堂上学到的知识，接触课堂外的知识领域，不断完善自己。培养这种团队合作精神对今后的工作会有很大的帮助。
在此，我要特别感谢我的指导老师葛庆平老师，每周定期为我们开会，讨论毕业设计中遇到的学术和程序问题。并且在百忙中，抽出时间为我们解答各种相关问题。
此外，还要感谢同组的研究生郭永刚、徐歆恺、姜长胜，他们也为我的毕业设计和论文给予了很大的帮助。
参考文献
(1) 张志佳，张瑜，史泽林，黄莎白．基于区域模板相关的图像匹配方法研究．红外与激光工程，2004年12月
(2) 王敬东，徐亦斌，沈春林．一种新的任意角度旋转的景象匹配方法．
南京航空航天大学学报，2005年2月
(3) 唐琎，谷士文，蔡自兴．图像拼接误差的理论分析．小型微型计算机系统，2003年12月
(4) 孙远，周刚慧，赵立初，施鹏飞．灰度图像匹配的快速算法．上海交通大学学报，2000年5月
(5) 阳方林，杨风暴，韦全芳，韩焱．一种新的快速图像匹配算法．中国期刊网：1002-8331-(2005)05-0051-02
(6) 钟力，胡晓峰．重叠图像拼接算．中国图像图形学报，1998年5月
(7) 程治国，陈芒，刘允才．一种数字地图自动生成系统及其拼接技术．中国期刊网，2003年3月
(8) 张世阳，王俊杰，胡运发．一种快速全景图像拼接技术．计算机应用与软件，2004年3月．
(9) 俞辉，侯在克，何旭莉，吴炎．一种基于轮廓特征的图像拼接算法设计与实现．石油大学学报(自然科学版)，2003年4月
(10) 张红民．基于模板匹配的彩色图像自动拼接方法．微机发展，2003年7月
(11) 强赞霞，彭嘉雄，王洪群. 基于傅立叶变换的遥感图像匹配算法. 红外与激光工程，2004年8月
(12) 梁运行，崔杜武．图像拼接的预处理算法研究．西安理工大学学报，2003年3月
I