光电子 激光
第22卷第6期 2011年6月 JournalofOptoelectronics Laser
Vol.22No.6 Jun.2011
基于双目视觉的光束法平差新算法
薛俊鹏,苏显渝,肖永亮,刘晓青
(四川大学光电科学技术系,四川成都610064)
摘要:针对双目视觉中两摄像机的固定约束关系,提出了基于双目视觉的光束法平差新算法。对传统光束法平差法方程构造过程进行了改进,使每次迭代过程中只需对拍摄的两幅图像中一个摄像机的外参数进行优化,更好地将两个摄像机绑定为一个摄像机,使优化精度更高;新算法中,法化矩阵的维数比传统算法降低了,所以
每次迭代计算所需要的时间也会减少,对于迭代次数越多的优化过程,新算法和传统算法计算所需时间差越明显。模拟实验和实际测量均表明,新算法比传统算法优化精度高,计算所需时间短。关键词:双目视觉;数据拼接;光束法平差;误差方程;法方程中图分类号:TP391.4 文献标识码:A 文章编号:1005-0086(2011)06-0888-05
*
Anewalgorithmforbundleadjustmentbasedonstereovision
XUEJun-peng*,SUXian-yu,XIAOYong-liang,LIUXiao-qing
(OptoelectronicsDepartment,SichuanUniversity,Chengdu610064,China)
Abstract:Inthispaper,weproposeanewalgorithmforbundleadjustmentbasedonthefixedconstraintsbetweenthetwocamerasinstereovision.Thenewalgorithmimprovesthenormalequationoftraditionalbundleadjustment,anditonlyneedstooptimizeextrinsicparametersofonecameraineachiteration.Thetwocamerascanbebetterboundedasoneanditcanachieveahigheraccuracy.Thedimensionofthematrixinthenewalgorithmishalfofthatinthetraditionalalgorithm.Thereforeitwillreducethetimeofcalculationineachiteration.Simulationandactualmeasurementexperimentsbothprovethattheaccu-racyofthenewalgorithmishigherthanthatofthetraditionalalgorithmandthenewalgorithmcostsshortertime.
Keywords:stereovision;dataregistration;bundleadjustment;errorequation;normalequation
1 引 言
三维测量技术有着广泛的应用[1,2]。对于三维测量,测量仪器主要分为接触式测量和非接触式测量。光学测量中,主要应用非接触式测量,有光学传感法、激光扫描法、立体视觉和结构光法。双目视觉光栅投影方法融合了立体视觉和结构光[3,4]
法,对于每次扫面的点云数据主要通过拼接方法形成物体面型[5]。
对大物体进行测量时,扫描设备直接利用面型匹配会导致失败,所以需要在物体上粘贴标记点,在进行扫描前首先将标记点重建出来,形成物体的参考坐标系框架。然后,每次的局部扫描都在框架中搜索相应的坐标,将局部点群坐标转换到参考坐标。最后,形成完整的物体点群,实现数据拼接。对标记点坐标的精确计算需要用到光束法平差,通常利用摄影测量中
[6~9]
广泛采用的传统光束法平差算法,其中基于最小二乘的广
[10]
义逆求解方法比LM优化方法更容易找到全局最优[11,12]值,但基于单目测量的方法没有从光束法平差的法方程
* E-mail:[email protected]
收稿日期:2010-10-28 修订日期:2011-01-25(去研究利用双目视觉的约束关系,导致优化参数多,计算时间长。本文新算法构建了基于双目视觉光束法平差法方程,精度更高,优化所需时间更短。
2 基于双目视觉的光束法平差新算法
2.1 共线方程
在理想的情况下,摄像机是针孔模型,它的线性成像模型关系式[14~16]可以写成
XX
f su0YY
0fvv0[R T]=K[R T](1) v=
ZZ
0011
其中:(X Y Z)T为三维点的世界坐标,(u,v)T为图像点坐标; 为非零尺度因子;K为相机的内部参数;fu、fv分别是u、v轴上归一化焦距;s是u、v轴方向上的倾斜因子;(u0,v0)为主点坐标;三阶方阵R和三维向量T为摄像机的外部参数,分别表示摄像机坐标系相对世界坐标系的旋转矩阵和平移向量。一
[13]
第6期 薛俊鹏等:基于双目视觉的光束法平差新算法
889
般倾斜因子很小,可忽略不计,此时式(1)可以写为
u=fu+u0
r7X+r8Y+r9Z+Tz
456y
v=fv+v0
r7X+r8Y+r9Z+Tzcos cosksin sin cosk-cos sink
R=cos sinksin
sin sink+cos cosk
-sin sin cos
(2)
式(2)就是摄影测量中 R-T 模式的共线方程[13,14]。式(2)
中(Tx,Ty,Tz)为T的分量;(r1, ,r9)为R的元素,如果用欧拉旋转角( , ,k)表示摄像机旋转矩阵R,则有
cos sin cosk+sin sincos sin sink-sin cosk
cos cos
根据式(4)的约束关系,右相机的共线方程表示为2.2 双目视觉光束法平差新算法
X 在研究双目视觉光束法平差新算法时,将左摄像机的外参
ur
Y数视为待优化的光束法平差参数,所以左摄像机的误差方程按
vr=Kr[
RcRl Tc+RcTl](5)
Z照传统光束法平差的计算方法,由共线方程式(2)对相机外参
1[11,12,15]
1数和三维点求一阶偏导数,则误差方程为
T
由式(5),利用复合函数求偏导的方法,(ur,vr)对相机外 xl
Vl=[Bl Cl]-Ll(3)参数( l, 一阶偏导数,则误差方程为l,kl,Tlx,Tly,Tlz)求 t
l
(B1,C1)分别为(ul,vl)T对相机外参数(wl, l,kl,Tlx,Tly,Tlz)和三维点(X Y
ul l
Bl=
vll
Z)的一阶偏导数,则
ul ul ul ul kl Tlx Tlyl vll
vl
l
vllx
vlly
ul Tlz vllz
Vr=[Br Cr]
urll
Br=
xr
-Lr
tr
ur ur urllx
ll
l
lx
(6)
urlyly
urlzlz
ul ul ul Cl=
vl vl vlT
( xl, tl)为相机外参数和三维点的改正数,向量形式为 xl=[ l kl Tlx Tly Tlz]T
l tl=[ X Y Z]T Ll=
ul-ulvl-v其中,(u l,v l)为根据共线方程式(2)由初值计算得到的图像
坐标。
基于双目视觉的光束法平差就是为了利用两个摄像机间的固定关系,找到它们之间的复合函数,计算出用左摄像机外参数表示右摄像机共线方程的误差方程,得到每次拍摄两幅图像的法方程。双目视觉中,通过标定已知两个摄像机间的固定的几何关系为(Rc,Tc)。(Rl,Tl)、(Rr,Tr)分别表示左、右两个
[1]
根据式(7),对第m次拍摄的左右摄像机两幅图像和n个摄,则右相机的外参数用左相机外参数表
三维点的双目视觉光束法平差的法化矩阵为Rr=RcRl
示为 (4)
Tr=Tc+RcTl
x1 x1U1W11W21 Wn1
U2W12W22 Wn2 x2 x2
O O
UmW1mW2m Wnm xm= xm
WTWT WT(8)V111121m t t11TTT
W21W22 W2mV2 t2 t2 O O WTWT WTVnn1n2nm tn tnn
n;Wij=BTxj=ijCij,表示第i个三维点在第j次拍摄上的法化; T
其中:Uj= BijBij,表示第j次拍摄的摄像机的法化,j=1,n
i=1
mBT tj=ijLij;表示第j次拍摄的外参数改正数。 Ti=1
2, ,m;Vi= CijCij,表示第i个三维点的法化;i=1,2, ,
j=1
ur ur ur Cr=
vr vr vr xr= xl tr= tl
ur-ur
Lr=
vr-v 从上推导出的左右相机误差方程看,两个摄像机的外参数和三维点的参数改正数相同,所以两个相机的法化矩阵可以合并为一个矩阵。在进行循环迭代时,只需对左相机的外参数和三维坐标的参数改正数进行计算,省去了大量的右摄像机参数数据的计算。利用上面推导的两个摄像机的误差方程,则两个摄像机的法方程式为
BTBBT xBTL
-=0(7)TTT
tCBC C其中:B=[Bl Br]T;C=[Cl Cr]T;L=[Ll Lr]T; x= xl; t= tl。
890
光电子 激光 2011年 第22卷
j=1
CL
Tij
m
ij
,表示第j个三维点的改正数。
对式(8)用广义逆法求解出参数 xj、 ti,将其与初值相加作为新的初值,判断改正数是否达到设定的阈值,如果没有达到则继续迭代,直到满足条件。
从上述的法方程可以看出,传统光束法平差和本文基于双目视觉的光束法平差新算法在法方程的结构上相同,但新算法与传统算法相同维数的法方程能同时处理两幅图像。传统算法对于m次拍摄n个三维点的法化矩阵维数为2 (6m+3n)的方阵,而新算法维数为6m+3n。当拍摄次数越多,优化三维点数越多时这两个方阵维数相差越大,这就使新算法的处理速度更快,结果更精确。
3.1.1 新算法与传统算法精度的比较
以重建三维点作为初值分别用传统算法和本文新算法优化,重复50次实验,统计优化后三维点坐标。研究重建三维点初值以及分别通过传统算法和新算法对初值进行优化后三维坐标的精度,计算重建三维点以及两次不同优化算法三维点分别与三维点真实值的相对误差,如图2所示。
3 实验结果与分析
为了测试新算法在精度和效率上比传统算法的优越性,分别进行模拟实验和实际测量。软件平台采用WinXP系统,VisualC++编程平台编写程序,所用计算机配置为Celeron(R)CPU3.06GHz,1256MB内存。
3.1 模拟实验
模拟一个椭球半球形立体场景,场景大小为1000mm 1000mm,其场景的纵向深度为35mm,从场景中随机取73个三维点作为特征点,如图1
所示。
图2 不同方法产生的3-D误差比较
Fig.2 Comparetheresidual3-Derrorsofthedifferentmethods
从图2可看出,传统的光束法平差对重建的三维点有很好
的优化作用,新算法在精度上明显比传统算法有所提高。这是由于增加了固定约束的必然结果,使新算法比传统算法的精度提高了大约22%,使物体模型框架拼接三维点的精度更高。3.1.2 新算法与传统算法优化时间效率的比较
以重建三维点作为初值分别用传统算法和本文新算法优化,重复50次实验,统计每次优化过程中程序所耗费的时间。研究在不同的图像噪声情况下算法优化所需要的时间作为算法效率,如图3所示。
图1 椭球型场景三维点示意图
Fig.1 Schematicdiagramofellipsoidscenepoints
用相距100mm平行的两个模拟摄像机垂直场景方向,沿场景中部Z轴为1500mm的平面上等距离的移动10次,每次移动100mm并拍摄。模拟左右相机内参数相同,设定值见表1。
表1 模拟相机内部参数
Tab.1 TheIntrinsicparametersofsimulationcamera
fu/pixels2500
fv/pixels2500
u0/pixels640
v0/pixels512
s/pixels0
用表1中的模拟相机参数,对73个三维点在10次移动的站点拍摄10次,共产生图像20幅。将这些理想的投影图像坐标、三维点和相机外部参数作为真实值。对左右摄像机10次拍摄的20幅图像添加高斯噪声,高斯噪声方差从0~2pixels,其步长为0.1pixels。用加噪后的20幅图像进行三维点重建,
图3 算法效率的比较
Fig.3 Comparetheefficiencyofthealgorithms
由图3可见,新算法比传统算法计算时间少,效率高。这是因为新算法法方程矩阵维数比传统算法降低1倍,故每次迭
第6期 薛俊鹏等:基于双目视觉的光束法平差新算法
891
代对法化矩阵求解所需要的计算时间比传统算法短;在噪声较低时因为优化所需迭代次数少,所以新算法与传统算法所耗时间差距小,随着图像噪声的增加,当噪声超过1.0pixel时,优化所需要的迭代次数也在增加,新算法和传统算法所耗费时间差距也随之增大。
表3 传统算法和新算法光束法平差的效率Tab.3 Efficiencyoftraditionalandnew
algorithmsofbundleadjustment
MethodsTraditionalalgorithmNewalgorithm
Times/ms43724151
3.2 实际测量实验
实验中,对于拍照系统采用3DOE拍照式三维扫描仪
PTS-S200标准型,分辨率为1280 1024,镜头焦距为8mm。 为评定测量结果,对粘贴一些圆形标记点的标准长方体进行测量,测量时转动物体9个方位拍摄,对所有标记点三维坐标和相机参数分别用传统算法和新算法进行光束法平差优化。垂直长方体的一个横切面观察四周面上三维点,每个面则只能看到是一条线,如图4
所示。
机外参数个数都是传统算法的1/2。矩阵维数的减少,使每次迭代中对改正数求解所需要的计算时间减少。在法方程矩阵中,只计算一个相机的参数却实现了两个相机的优化,增加了强约束性故精度有所提高。模拟实验和实际测量均表明,新算法在优化性能上更快、更精确。
参考文献:
[1] ZHANGGuang-jun.VisionMeasurement[M].Beijing:Science
Press,2008,134-173.
张广军.视觉测量[M].北京:科学出版社,2008,134-173.[2] DENGWen-yi,LVNa-iguang,DONGMing-li,etal.Application
in3-Dmeasurementofdigitalphotogrammetry[J].JournalofOptoelectronics Laser,2001,12(7):697-700.
邓文怡,吕乃光,董明利,等.数字摄影测量技术在三维测量中的应用[J].光电子 激光,2001,12(7):697-700.
[3] WANGYing,SUXian-yu.Amodifiedthree-dimensionalobject
recognitionbasedonstructurelightprojection[J].JournalofOptoelectronics Laser,2008,19(11):1561-1565.
图4 长方体三维点横切面视图
Fig.4 Rectangularcros-ssectionviewof3Dpoints
王莹,苏显渝.改进的基于结构光投影的三维物体识别[J].光电子 激光,2008,19(11):1561-1565.
[4] SUXian-yu,ZHANGQ-ican,XIANGL-iqun.Optical3-Dshape
measurementfordynamicprocess[J].OptoelectronicsLe-tters,2008,4(1):55-58.
[5] HANJian-dong,LVNa-iguang,WANGFeng,etal.3-Ddata
registrationmethodbasedonopticallocationtrackingtechno-logy[J].OpticsandPrecisionEngineering,2009,17(1):45-51.韩建栋,吕乃光,王锋,等.采用光学定位跟踪技术的三维数
对图4中4条线所对应的4个面上的标记点三维坐标进
行平面拟合,计算左右两个面间距作为切面的宽,上下两个面间距作为切面的高,与真实值比较计算其绝对误差,结果见表2。
表2 传统算法和新算法光束法平差测量结果Tab.2 Measuringresultsoftraditionaland
newalgorithmsofbundleadjustment
Truevalue
HeightWidth
5050
TraditionalalgorithmMeasuredvalue50.221550.1665
Error0.22150.1665
Unit:mm
据拼接方法[J].光学精密工程,2009,17(1):45-51.
[6] MouragnonE,LhuillierM,DhomeM,etal.Genericandrea-l
timestructurefrommotionusinglocalbundleadjustment[J].ImageandVisionComputing,2009,27(8):1178-1193.[7] Mars kZ,TomsaK.Simultaneousbundleadjustmentofthe
quadruplet[J].StudiaGeophysicaetGeodaetica,1975,19(2):115-120.
[8] GonalvesN,ArajoH.Estimatingparametersofnoncentralcata-dioptricsystemsusingbundleadjustment[J].ComputVisIm-ageUnd,2009,113:11-28.
[9] HanY.Relationsbetweenbundle-adjustmentandepipola-rge-ometry-basedapproaches,andtheirapplicationstoefficientstructurefrommotion[J].Rea-lTimeImaging,2004,10:389-402.
[10]ZHANGJing-yu,DONGMing-li,LVNa-iguang,etal.Anewa-gtheing
NewalgorithmMeasured
value50.100850.0832
Error0.10080.0832
表2数据说明,光束法平差能够得到很好的精度,且新算法在精度上比传统算法更有优势。
上面的优化过程中,同时记录了两种光束法平差优化所需时间,见表3。
表3表明,在实际的测量中,新算法比传统算法在时间上更快,效率更高。
4 结 论
提出了基于双目视觉的光束法平差新算法。新算法从光束法平差法方程矩阵入手,加入了左右两个相机间固定关系。,
892
光电子 激光 2011年 第22卷
themethodofgeneralreversionofleastsquare[J].JournalofBeijingInstituteofMachinery,2001,16(1):36-39.
张靖瑜,董明利,吕乃光,等.用广义逆法解决摄影测量系统的线性问题[J].北京机械工业学院学报,2001,16(1):36-39.
[11]TriggsB,MclauchlanP,HartleyR,etal.Bundleadjustmen-tA
modernsynthesis[M].VisionAlgorithms:TheoryandPractice,2000,1883:298-372.
[12]LourakisMIA,ArgyrosAA.SBA:Asoftwarepackageforge-nericsparsebundleadjustment[J].ACMTrans.Math.Softw,2009,36(1):1-30.
[13]YUQ-ifeng,SHANGYang.Videometrics:PrinciplesandRe-searches[M].Beijing:SciencePress,2009,22-51.
于起峰,尚洋.摄影测量学原理与应用研究[M].北京:科学出版社,2009,22-51.
[14]YANGZhen,SUNJun-hua,WUZ-iyan,etal.Anewcameraca-l
ibrationmethodbasedontwo1-Dtargets[J].JournalofOpto-electronics Laser,2010,21(3):411-414.
杨珍,孙军华,吴子彦,等.基于双一维靶标的摄像机标定方法[J].光电子 激光,2010,21(3):411-414.
[15]ZHAORu-jin,ZHANGQ-iheng,ZUOHao-rui,etal.Amono-v-i
sionmethodofmeasuringposebasedonlinefeatures[J].JournalofOptoelectronics Laser,2010,21(6):894-897.赵汝进,张启衡,左颢睿,等.一种基于直线特征的单目视觉位姿测量方法[J].光电子 激光,2010,21(6):894-897.[16]JIANGGuang-wen,CHAOZh-ichao,FUS-ihua,etal.Studyon
deformationmeasurementofpositionandattitudebasedonmonocularvision[J].JournalofOptoelectronics Laser,2009,20(6):775-778.
姜广文,晁志超,伏思华,等.基于单摄像机的物体位置和姿态变形测量研究[J].光电子 激光,2009,20(6):775-778.[17]Predmore.Bundleadjustmentofmult-ipositionmeasurements
usingtheMahalanobisdistance[J].PrecisionEngineering,2010,34:113-123.
作者简介:
薛俊鹏 (1984-),男,山东日照人,博士研究生,主要从事机器视觉和近景摄影测量等领域的理论和应用研究
光电子 激光
第22卷第6期 2011年6月 JournalofOptoelectronics Laser
Vol.22No.6 Jun.2011
基于双目视觉的光束法平差新算法
薛俊鹏,苏显渝,肖永亮,刘晓青
(四川大学光电科学技术系,四川成都610064)
摘要:针对双目视觉中两摄像机的固定约束关系,提出了基于双目视觉的光束法平差新算法。对传统光束法平差法方程构造过程进行了改进,使每次迭代过程中只需对拍摄的两幅图像中一个摄像机的外参数进行优化,更好地将两个摄像机绑定为一个摄像机,使优化精度更高;新算法中,法化矩阵的维数比传统算法降低了,所以
每次迭代计算所需要的时间也会减少,对于迭代次数越多的优化过程,新算法和传统算法计算所需时间差越明显。模拟实验和实际测量均表明,新算法比传统算法优化精度高,计算所需时间短。关键词:双目视觉;数据拼接;光束法平差;误差方程;法方程中图分类号:TP391.4 文献标识码:A 文章编号:1005-0086(2011)06-0888-05
*
Anewalgorithmforbundleadjustmentbasedonstereovision
XUEJun-peng*,SUXian-yu,XIAOYong-liang,LIUXiao-qing
(OptoelectronicsDepartment,SichuanUniversity,Chengdu610064,China)
Abstract:Inthispaper,weproposeanewalgorithmforbundleadjustmentbasedonthefixedconstraintsbetweenthetwocamerasinstereovision.Thenewalgorithmimprovesthenormalequationoftraditionalbundleadjustment,anditonlyneedstooptimizeextrinsicparametersofonecameraineachiteration.Thetwocamerascanbebetterboundedasoneanditcanachieveahigheraccuracy.Thedimensionofthematrixinthenewalgorithmishalfofthatinthetraditionalalgorithm.Thereforeitwillreducethetimeofcalculationineachiteration.Simulationandactualmeasurementexperimentsbothprovethattheaccu-racyofthenewalgorithmishigherthanthatofthetraditionalalgorithmandthenewalgorithmcostsshortertime.
Keywords:stereovision;dataregistration;bundleadjustment;errorequation;normalequation
1 引 言
三维测量技术有着广泛的应用[1,2]。对于三维测量,测量仪器主要分为接触式测量和非接触式测量。光学测量中,主要应用非接触式测量,有光学传感法、激光扫描法、立体视觉和结构光法。双目视觉光栅投影方法融合了立体视觉和结构光[3,4]
法,对于每次扫面的点云数据主要通过拼接方法形成物体面型[5]。
对大物体进行测量时,扫描设备直接利用面型匹配会导致失败,所以需要在物体上粘贴标记点,在进行扫描前首先将标记点重建出来,形成物体的参考坐标系框架。然后,每次的局部扫描都在框架中搜索相应的坐标,将局部点群坐标转换到参考坐标。最后,形成完整的物体点群,实现数据拼接。对标记点坐标的精确计算需要用到光束法平差,通常利用摄影测量中
[6~9]
广泛采用的传统光束法平差算法,其中基于最小二乘的广
[10]
义逆求解方法比LM优化方法更容易找到全局最优[11,12]值,但基于单目测量的方法没有从光束法平差的法方程
* E-mail:[email protected]
收稿日期:2010-10-28 修订日期:2011-01-25(去研究利用双目视觉的约束关系,导致优化参数多,计算时间长。本文新算法构建了基于双目视觉光束法平差法方程,精度更高,优化所需时间更短。
2 基于双目视觉的光束法平差新算法
2.1 共线方程
在理想的情况下,摄像机是针孔模型,它的线性成像模型关系式[14~16]可以写成
XX
f su0YY
0fvv0[R T]=K[R T](1) v=
ZZ
0011
其中:(X Y Z)T为三维点的世界坐标,(u,v)T为图像点坐标; 为非零尺度因子;K为相机的内部参数;fu、fv分别是u、v轴上归一化焦距;s是u、v轴方向上的倾斜因子;(u0,v0)为主点坐标;三阶方阵R和三维向量T为摄像机的外部参数,分别表示摄像机坐标系相对世界坐标系的旋转矩阵和平移向量。一
[13]
第6期 薛俊鹏等:基于双目视觉的光束法平差新算法
889
般倾斜因子很小,可忽略不计,此时式(1)可以写为
u=fu+u0
r7X+r8Y+r9Z+Tz
456y
v=fv+v0
r7X+r8Y+r9Z+Tzcos cosksin sin cosk-cos sink
R=cos sinksin
sin sink+cos cosk
-sin sin cos
(2)
式(2)就是摄影测量中 R-T 模式的共线方程[13,14]。式(2)
中(Tx,Ty,Tz)为T的分量;(r1, ,r9)为R的元素,如果用欧拉旋转角( , ,k)表示摄像机旋转矩阵R,则有
cos sin cosk+sin sincos sin sink-sin cosk
cos cos
根据式(4)的约束关系,右相机的共线方程表示为2.2 双目视觉光束法平差新算法
X 在研究双目视觉光束法平差新算法时,将左摄像机的外参
ur
Y数视为待优化的光束法平差参数,所以左摄像机的误差方程按
vr=Kr[
RcRl Tc+RcTl](5)
Z照传统光束法平差的计算方法,由共线方程式(2)对相机外参
1[11,12,15]
1数和三维点求一阶偏导数,则误差方程为
T
由式(5),利用复合函数求偏导的方法,(ur,vr)对相机外 xl
Vl=[Bl Cl]-Ll(3)参数( l, 一阶偏导数,则误差方程为l,kl,Tlx,Tly,Tlz)求 t
l
(B1,C1)分别为(ul,vl)T对相机外参数(wl, l,kl,Tlx,Tly,Tlz)和三维点(X Y
ul l
Bl=
vll
Z)的一阶偏导数,则
ul ul ul ul kl Tlx Tlyl vll
vl
l
vllx
vlly
ul Tlz vllz
Vr=[Br Cr]
urll
Br=
xr
-Lr
tr
ur ur urllx
ll
l
lx
(6)
urlyly
urlzlz
ul ul ul Cl=
vl vl vlT
( xl, tl)为相机外参数和三维点的改正数,向量形式为 xl=[ l kl Tlx Tly Tlz]T
l tl=[ X Y Z]T Ll=
ul-ulvl-v其中,(u l,v l)为根据共线方程式(2)由初值计算得到的图像
坐标。
基于双目视觉的光束法平差就是为了利用两个摄像机间的固定关系,找到它们之间的复合函数,计算出用左摄像机外参数表示右摄像机共线方程的误差方程,得到每次拍摄两幅图像的法方程。双目视觉中,通过标定已知两个摄像机间的固定的几何关系为(Rc,Tc)。(Rl,Tl)、(Rr,Tr)分别表示左、右两个
[1]
根据式(7),对第m次拍摄的左右摄像机两幅图像和n个摄,则右相机的外参数用左相机外参数表
三维点的双目视觉光束法平差的法化矩阵为Rr=RcRl
示为 (4)
Tr=Tc+RcTl
x1 x1U1W11W21 Wn1
U2W12W22 Wn2 x2 x2
O O
UmW1mW2m Wnm xm= xm
WTWT WT(8)V111121m t t11TTT
W21W22 W2mV2 t2 t2 O O WTWT WTVnn1n2nm tn tnn
n;Wij=BTxj=ijCij,表示第i个三维点在第j次拍摄上的法化; T
其中:Uj= BijBij,表示第j次拍摄的摄像机的法化,j=1,n
i=1
mBT tj=ijLij;表示第j次拍摄的外参数改正数。 Ti=1
2, ,m;Vi= CijCij,表示第i个三维点的法化;i=1,2, ,
j=1
ur ur ur Cr=
vr vr vr xr= xl tr= tl
ur-ur
Lr=
vr-v 从上推导出的左右相机误差方程看,两个摄像机的外参数和三维点的参数改正数相同,所以两个相机的法化矩阵可以合并为一个矩阵。在进行循环迭代时,只需对左相机的外参数和三维坐标的参数改正数进行计算,省去了大量的右摄像机参数数据的计算。利用上面推导的两个摄像机的误差方程,则两个摄像机的法方程式为
BTBBT xBTL
-=0(7)TTT
tCBC C其中:B=[Bl Br]T;C=[Cl Cr]T;L=[Ll Lr]T; x= xl; t= tl。
890
光电子 激光 2011年 第22卷
j=1
CL
Tij
m
ij
,表示第j个三维点的改正数。
对式(8)用广义逆法求解出参数 xj、 ti,将其与初值相加作为新的初值,判断改正数是否达到设定的阈值,如果没有达到则继续迭代,直到满足条件。
从上述的法方程可以看出,传统光束法平差和本文基于双目视觉的光束法平差新算法在法方程的结构上相同,但新算法与传统算法相同维数的法方程能同时处理两幅图像。传统算法对于m次拍摄n个三维点的法化矩阵维数为2 (6m+3n)的方阵,而新算法维数为6m+3n。当拍摄次数越多,优化三维点数越多时这两个方阵维数相差越大,这就使新算法的处理速度更快,结果更精确。
3.1.1 新算法与传统算法精度的比较
以重建三维点作为初值分别用传统算法和本文新算法优化,重复50次实验,统计优化后三维点坐标。研究重建三维点初值以及分别通过传统算法和新算法对初值进行优化后三维坐标的精度,计算重建三维点以及两次不同优化算法三维点分别与三维点真实值的相对误差,如图2所示。
3 实验结果与分析
为了测试新算法在精度和效率上比传统算法的优越性,分别进行模拟实验和实际测量。软件平台采用WinXP系统,VisualC++编程平台编写程序,所用计算机配置为Celeron(R)CPU3.06GHz,1256MB内存。
3.1 模拟实验
模拟一个椭球半球形立体场景,场景大小为1000mm 1000mm,其场景的纵向深度为35mm,从场景中随机取73个三维点作为特征点,如图1
所示。
图2 不同方法产生的3-D误差比较
Fig.2 Comparetheresidual3-Derrorsofthedifferentmethods
从图2可看出,传统的光束法平差对重建的三维点有很好
的优化作用,新算法在精度上明显比传统算法有所提高。这是由于增加了固定约束的必然结果,使新算法比传统算法的精度提高了大约22%,使物体模型框架拼接三维点的精度更高。3.1.2 新算法与传统算法优化时间效率的比较
以重建三维点作为初值分别用传统算法和本文新算法优化,重复50次实验,统计每次优化过程中程序所耗费的时间。研究在不同的图像噪声情况下算法优化所需要的时间作为算法效率,如图3所示。
图1 椭球型场景三维点示意图
Fig.1 Schematicdiagramofellipsoidscenepoints
用相距100mm平行的两个模拟摄像机垂直场景方向,沿场景中部Z轴为1500mm的平面上等距离的移动10次,每次移动100mm并拍摄。模拟左右相机内参数相同,设定值见表1。
表1 模拟相机内部参数
Tab.1 TheIntrinsicparametersofsimulationcamera
fu/pixels2500
fv/pixels2500
u0/pixels640
v0/pixels512
s/pixels0
用表1中的模拟相机参数,对73个三维点在10次移动的站点拍摄10次,共产生图像20幅。将这些理想的投影图像坐标、三维点和相机外部参数作为真实值。对左右摄像机10次拍摄的20幅图像添加高斯噪声,高斯噪声方差从0~2pixels,其步长为0.1pixels。用加噪后的20幅图像进行三维点重建,
图3 算法效率的比较
Fig.3 Comparetheefficiencyofthealgorithms
由图3可见,新算法比传统算法计算时间少,效率高。这是因为新算法法方程矩阵维数比传统算法降低1倍,故每次迭
第6期 薛俊鹏等:基于双目视觉的光束法平差新算法
891
代对法化矩阵求解所需要的计算时间比传统算法短;在噪声较低时因为优化所需迭代次数少,所以新算法与传统算法所耗时间差距小,随着图像噪声的增加,当噪声超过1.0pixel时,优化所需要的迭代次数也在增加,新算法和传统算法所耗费时间差距也随之增大。
表3 传统算法和新算法光束法平差的效率Tab.3 Efficiencyoftraditionalandnew
algorithmsofbundleadjustment
MethodsTraditionalalgorithmNewalgorithm
Times/ms43724151
3.2 实际测量实验
实验中,对于拍照系统采用3DOE拍照式三维扫描仪
PTS-S200标准型,分辨率为1280 1024,镜头焦距为8mm。 为评定测量结果,对粘贴一些圆形标记点的标准长方体进行测量,测量时转动物体9个方位拍摄,对所有标记点三维坐标和相机参数分别用传统算法和新算法进行光束法平差优化。垂直长方体的一个横切面观察四周面上三维点,每个面则只能看到是一条线,如图4
所示。
机外参数个数都是传统算法的1/2。矩阵维数的减少,使每次迭代中对改正数求解所需要的计算时间减少。在法方程矩阵中,只计算一个相机的参数却实现了两个相机的优化,增加了强约束性故精度有所提高。模拟实验和实际测量均表明,新算法在优化性能上更快、更精确。
参考文献:
[1] ZHANGGuang-jun.VisionMeasurement[M].Beijing:Science
Press,2008,134-173.
张广军.视觉测量[M].北京:科学出版社,2008,134-173.[2] DENGWen-yi,LVNa-iguang,DONGMing-li,etal.Application
in3-Dmeasurementofdigitalphotogrammetry[J].JournalofOptoelectronics Laser,2001,12(7):697-700.
邓文怡,吕乃光,董明利,等.数字摄影测量技术在三维测量中的应用[J].光电子 激光,2001,12(7):697-700.
[3] WANGYing,SUXian-yu.Amodifiedthree-dimensionalobject
recognitionbasedonstructurelightprojection[J].JournalofOptoelectronics Laser,2008,19(11):1561-1565.
图4 长方体三维点横切面视图
Fig.4 Rectangularcros-ssectionviewof3Dpoints
王莹,苏显渝.改进的基于结构光投影的三维物体识别[J].光电子 激光,2008,19(11):1561-1565.
[4] SUXian-yu,ZHANGQ-ican,XIANGL-iqun.Optical3-Dshape
measurementfordynamicprocess[J].OptoelectronicsLe-tters,2008,4(1):55-58.
[5] HANJian-dong,LVNa-iguang,WANGFeng,etal.3-Ddata
registrationmethodbasedonopticallocationtrackingtechno-logy[J].OpticsandPrecisionEngineering,2009,17(1):45-51.韩建栋,吕乃光,王锋,等.采用光学定位跟踪技术的三维数
对图4中4条线所对应的4个面上的标记点三维坐标进
行平面拟合,计算左右两个面间距作为切面的宽,上下两个面间距作为切面的高,与真实值比较计算其绝对误差,结果见表2。
表2 传统算法和新算法光束法平差测量结果Tab.2 Measuringresultsoftraditionaland
newalgorithmsofbundleadjustment
Truevalue
HeightWidth
5050
TraditionalalgorithmMeasuredvalue50.221550.1665
Error0.22150.1665
Unit:mm
据拼接方法[J].光学精密工程,2009,17(1):45-51.
[6] MouragnonE,LhuillierM,DhomeM,etal.Genericandrea-l
timestructurefrommotionusinglocalbundleadjustment[J].ImageandVisionComputing,2009,27(8):1178-1193.[7] Mars kZ,TomsaK.Simultaneousbundleadjustmentofthe
quadruplet[J].StudiaGeophysicaetGeodaetica,1975,19(2):115-120.
[8] GonalvesN,ArajoH.Estimatingparametersofnoncentralcata-dioptricsystemsusingbundleadjustment[J].ComputVisIm-ageUnd,2009,113:11-28.
[9] HanY.Relationsbetweenbundle-adjustmentandepipola-rge-ometry-basedapproaches,andtheirapplicationstoefficientstructurefrommotion[J].Rea-lTimeImaging,2004,10:389-402.
[10]ZHANGJing-yu,DONGMing-li,LVNa-iguang,etal.Anewa-gtheing
NewalgorithmMeasured
value50.100850.0832
Error0.10080.0832
表2数据说明,光束法平差能够得到很好的精度,且新算法在精度上比传统算法更有优势。
上面的优化过程中,同时记录了两种光束法平差优化所需时间,见表3。
表3表明,在实际的测量中,新算法比传统算法在时间上更快,效率更高。
4 结 论
提出了基于双目视觉的光束法平差新算法。新算法从光束法平差法方程矩阵入手,加入了左右两个相机间固定关系。,
892
光电子 激光 2011年 第22卷
themethodofgeneralreversionofleastsquare[J].JournalofBeijingInstituteofMachinery,2001,16(1):36-39.
张靖瑜,董明利,吕乃光,等.用广义逆法解决摄影测量系统的线性问题[J].北京机械工业学院学报,2001,16(1):36-39.
[11]TriggsB,MclauchlanP,HartleyR,etal.Bundleadjustmen-tA
modernsynthesis[M].VisionAlgorithms:TheoryandPractice,2000,1883:298-372.
[12]LourakisMIA,ArgyrosAA.SBA:Asoftwarepackageforge-nericsparsebundleadjustment[J].ACMTrans.Math.Softw,2009,36(1):1-30.
[13]YUQ-ifeng,SHANGYang.Videometrics:PrinciplesandRe-searches[M].Beijing:SciencePress,2009,22-51.
于起峰,尚洋.摄影测量学原理与应用研究[M].北京:科学出版社,2009,22-51.
[14]YANGZhen,SUNJun-hua,WUZ-iyan,etal.Anewcameraca-l
ibrationmethodbasedontwo1-Dtargets[J].JournalofOpto-electronics Laser,2010,21(3):411-414.
杨珍,孙军华,吴子彦,等.基于双一维靶标的摄像机标定方法[J].光电子 激光,2010,21(3):411-414.
[15]ZHAORu-jin,ZHANGQ-iheng,ZUOHao-rui,etal.Amono-v-i
sionmethodofmeasuringposebasedonlinefeatures[J].JournalofOptoelectronics Laser,2010,21(6):894-897.赵汝进,张启衡,左颢睿,等.一种基于直线特征的单目视觉位姿测量方法[J].光电子 激光,2010,21(6):894-897.[16]JIANGGuang-wen,CHAOZh-ichao,FUS-ihua,etal.Studyon
deformationmeasurementofpositionandattitudebasedonmonocularvision[J].JournalofOptoelectronics Laser,2009,20(6):775-778.
姜广文,晁志超,伏思华,等.基于单摄像机的物体位置和姿态变形测量研究[J].光电子 激光,2009,20(6):775-778.[17]Predmore.Bundleadjustmentofmult-ipositionmeasurements
usingtheMahalanobisdistance[J].PrecisionEngineering,2010,34:113-123.
作者简介:
薛俊鹏 (1984-),男,山东日照人,博士研究生,主要从事机器视觉和近景摄影测量等领域的理论和应用研究