双目立体视觉系统的精度分析.pdf
- 文档编号:14651707
- 上传时间:2023-06-25
- 格式:PDF
- 页数:4
- 大小:1.37MB
双目立体视觉系统的精度分析.pdf
《双目立体视觉系统的精度分析.pdf》由会员分享,可在线阅读,更多相关《双目立体视觉系统的精度分析.pdf(4页珍藏版)》请在冰点文库上搜索。
双目立体视觉系统的精度分析双目立体视觉系统的精度分析刘俸材刘俸材1,谢明红,谢明红1,颜国霖,颜国霖2(1.华侨大学机电及自动化学院,福建泉州362021;2.黎明大学机电工程系,福建泉州362000)摘摘要:
要:
为提高双目立体视觉系统的测量精度,分析双目视觉系统的工作原理以及该系统各个环节的误差模型。
通过提高标定模板的精度、增加标定图像,可以减小标定误差及图像校正行对齐误差。
分析图像识别误差对视觉系统测量精度的影响,导入视觉系统的结构参数与测量误差之间的关系,从而确定结构参数对测量精度的作用。
讨论物距对测量精度的影响,并给出合适的物距范围。
关键词:
关键词:
立体视觉;精度分析;摄像机标定;立体校正;结构参数AccuracyAnalysisofBinocularStereoVisionSystemLIUFeng-cai1,XIEMing-hong1,YANGuo-lin2(1.CollegeofMechanicalEngineeringandAutomation,HuaqiaoUniversity,Quanzhou362021,China;2.DepartmentofElectromechanicalEngineering,LimingUniversity,Quanzhou362000,China)【Abstract】Toraisethemeasurementaccuracyofbinocularstereovisionsystem,workingprincipleofbinocularvisionsystemanderrormodelinallaspectsareanalyzed.Thecalibrationerrorandtheimagerectificationerrorcanbereducedbyimprovingtheaccuracyofcalibrationtemplateandincreasingcalibrationimages.Byanalyzingimagerecognitionerrorsinfluenceonthemeasurementaccuracyofthevisualsystem,therelationshipbetweenstructuralparametersofvisualsystemandmeasurementerrorsisintroduced.Theinfluenceofstructuralparameterstovisualsystemisdetermined.Theinfluenceofobjectdistanceonmeasurementaccuracyisdiscussedandaproperobjectdistancescopeisgiven.【Keywords】stereovision;accuracyanalysis;cameracalibration;stereorectification;structuralparameterDOI:
10.3969/j.issn.1000-3428.2011.19.092计算机工程ComputerEngineering第37卷第19期Vol.37No.192011年10月October2011开发研究与设计技术开发研究与设计技术文章编号:
文章编号:
10003428(2011)19028003文献标识码:
文献标识码:
A中图分类号:
中图分类号:
TP212.11概述概述双目立体视觉是计算机视觉的一个分支,利用2台摄像机同时对物体拍照,根据景物点在左右摄像机图像上的位置关系计算出景物点的三维坐标,从而可以实现三维测量和恢复。
由于结构简单、数据采集方便迅速、属于非接触式测量以及可以应用于各种复杂恶劣的环境中,双目视觉被广泛应用于三维检测、机器人导航、医学成像等领域1。
目前,已有许多学者对双目立体视觉进行了非常深入的研究,但大部分学者都将注意力集中在摄像机标定、特征提取、立体匹配等数学模型方面,而系统地论述双目视觉系统误差尤其是系统的结构参数对双目视觉系统的精度影响的著作较少。
文献2分析了数字量化效应对精度的影响,但没有研究结构参数和摄像机标定误差对视觉系统精度的影响。
文献3讨论了光轴与基线的夹角、基线长度、焦距等对系统测量精度的影响,但是没有联系实际论述物距对系统精度的影响。
本文论述摄像机标定、特征提取、结构参数等对测量精度的影响,对双目视觉系统的设计和使用均能起到指导性作用。
2双目视觉系统的测量原理双目视觉系统的测量原理双目立体视觉系统的工作原理是基于视差原理,图1为双目立体视觉系统的测量原理图。
其中,左摄像机的光心Ol为双目视觉系统坐标系的坐标原点;X轴和Y轴方向如图所示;Z轴可以通过右手定则确定。
两摄像机在同一时刻观看空间物体的同一特征点P(xc,yc,zc),在左右图像上可分别得到点P的对应点Pl=(xl,yl)和Pr=(xr,yr)。
图图1双目视觉原理双目视觉原理假定左右摄像机的图像在同一个平面上,则特征点P在2幅图像具有相同的Y坐标,即y=yl=yr,则由三角几何关系得到:
xl=fxc/zc,xr=f(Txc)/zc,y=fyc/zc
(1)令视差d=xlxr,根据三角形相似可以计算出特征点P在双目视觉系统坐标系下的坐标:
xc=Txl/d,yc=Ty/d,zc=Tf/d
(2)因此,左摄像机像面上的任意一点只要能在右摄像机像面上找到对应的匹配点,就可以确定出该点的三维坐标。
3视觉系统的各环节与误差分析视觉系统的各环节与误差分析对双目视觉系统测量精度有较大影响的主要有摄像机标基金项目:
基金项目:
福建省高校产学基金资助重大项目(2010H6016)作者简介:
作者简介:
刘俸材(1985),男,硕士研究生,主研方向:
计算机视觉;谢明红,研究员;颜国霖,讲师收稿日期:
收稿日期:
2011-03-28E-mail:
第37卷第19期281刘俸材,谢明红,颜国霖:
双目立体视觉系统的精度分析定、立体标定、特征提取等方面。
本文将逐一论述各环节对双目立体视觉系统测量精度的影响。
3.1摄像机标定及误差分析摄像机标定及误差分析摄像机标定,是指建立摄像机几何成像模型,描述空间坐标系中的景物点同它在图像平面上的像点之间的对应关系,并求取该模型的各参数的过程。
在计算机视觉领域,摄像机成像模型一般都采用针孔模型,如图2所示。
其中,xcyczcoc为摄像机坐标系,xuyuou为图像坐标系。
图图2摄像机成像模型摄像机成像模型世界坐标系中的点X(xc,yc,zc)与其在图像平面上的对应点(xu,yu)之间的关系如下:
00120010011cuxcuyccxxuysyvz=RTMMM(3)其中,M1为摄像机内参数矩阵;M2为外参数矩阵;R为世界坐标系到摄像机坐标系的旋转矩阵;T为世界坐标系到摄像机坐标系之间的平移向量。
由于摄像机镜头的制造误差,镜头存在一定的径向畸变。
在r=0处用泰勒级数展开的前3项定量描述:
246corrected123246123corrected
(1)
(1)xkkkxrrrykkkyrrr=+=+(4)镜头的安装误差将带来切向畸变,可以用2个额外的参数p1和p2描述:
22corrected1222corrected212
(2)2
(2)xyppxxryxyppyr=+=+(5)因此,可以用一个五维向量d=k1,k2,p1,p2,k3表示径向误差和切向误差4。
摄像机标定的目的就是求取内参数矩阵M1和畸变向量d。
首先采用张正友的灵活标定算法求取摄像机内参数。
然后,考虑到畸变的影响,建立如式(6)的畸变模型:
()221224612322212
(2)12
(2)iiiiiiiiiipypxxrxXkkkrrrypypyYxr+=+(6)提取模版图像上的角点坐标,利用畸变模型计算出相应角点的坐标,将这2组坐标值带入目标函数中进行数据拟合,最终算出相应的畸变参数值。
数据拟合函数如下:
2211min()()NNiiiiiiFyxXY=+(7)其中,r2=xi2+yi2;(xi,yi)为目标角点的实际坐标;(Xi,Yi)为目标角点规范化坐标。
由式(7)可以看出,该算法在精确求取摄像机内参数和畸变向量的时候采用最小二乘法,因此,单摄像机的标定结果与采集的标定图像数存在密切关系。
一般而言,采集的图像数越多,标定精度越高,但是标定过程耗时越长。
本文分别多次采集不同数目的标定图像,通过将空间坐标系中的景物点利用标定参数重投影到摄像机的图像平面,将其与实际图像上的对应位置进行比较,之差即为摄像机标定的绝对误差。
标定精度与采集的图像数目的关系如图3所示,从图3可以看出,随着标定图像的逐渐增多,标定误差逐渐减小。
但是当标定图像超过12幅后,误差趋于稳定。
在进行摄像机标定的时候,应该对标定模板采集12幅图像以上。
绝对误差/像素图图3标定图像数与标定精度的关系标定图像数与标定精度的关系3.2特征提取及误差分析特征提取及误差分析由于CCD的每一个像素都具有一定的面积,一个理想点(无大小)在CCD像素上的精确位置无法在图像上得到反映。
这就在根本上造成了像点坐标误差,即图像识别误差。
在三维恢复的过程中,一般都采用基于视差图的三维恢复,因此只需讨论在水平方向上,特征提取对三维恢复的误差即可5。
以本文实验所用的维视MV1300-UM摄像机为例,其像元尺寸为5.2m5.2m。
世界坐标系中的点P左右图像上的映射点分别为Pl和Pr,如图4所示。
图图4图像识别误差对测量精度的影响图像识别误差对测量精度的影响由于点在图像中的定位误差为2,则有:
|2lllrrxxxxx=(8)其中,表示像元的宽度。
由式(8)可得:
|lrlrdxxxx=(9)即视差值的最大误差为一个像素单位。
在式(9)中,xl和xr分别为点P在左右图像上的理想的X坐标值;lx和rx分别为点P对应在图像上的像素坐标。
当左右摄像机图像上的特征提取误差均为最大时,三维测量误差最大。
由图4可得:
(),ZfTdZfTdZTZT+=(10)由上式可得:
fTZd=,fTZd=+,则精度误差:
()ZZZZd=+(11)由式(11)可以看出,当物距越大,即景物点离摄像机越远时,误差越大。
当摄像机的像素尺寸越大时,误差越大。
当视差越大时,误差越小。
因此,在设计视觉系统结构的时候,适当增大左右摄像机之间的距离。
而在测量的时候,物体应当尽量靠近摄像机。
因为这样一方面可以减小景深Z,另一方面可以增大d,从而减小误差。
而对摄像机本身质量,282计算机工程2011年10月5日当然像元尺寸越小越好。
4结构参数的误差分析结构参数的误差分析4.1物距对测量误差的影响物距对测量误差的影响对于一个既定的双目视觉系统,由式(11)可知,物体距离摄像机越近,即Z越小,误差越小,精度越高。
但由图4可知,当物体过于接近摄像机的时候,不能实现2个摄像机同时拍摄6。
因此,在实际使用双目视觉系统的时候,如何确定物体与摄像机之间的距离是一个值得研究的问题。
通常情况下,左右摄像机对称布置,且各项参数比较接近,如图5所示。
图图5双目视觉系统的可视范围双目视觉系统的可视范围在图5中,和分别表示摄像机的视角和摄像机主光轴与z轴之间的夹角。
该双目视觉系统的可视范围如下:
2tg()ctg()2,(tg()tg()2tg()(tg()tg(),zBzBBWBzzB+=+(12)当测量精度要求比较高时,尽可能将物体放在距离摄像机的距离比图中Z略大的位置上。
如果精度要求不是很高,而需要提高测量效率的时候,可以适当扩大物距。
在本文针对物距对测量误差的实验中,固定基线长度和摄像机光轴与Z轴的夹角。
其中,基线长度为112.52mm,左右摄像机光轴始终保持平行,改变被测物体与基线中点的距离,结果如表1所示。
由表1可以看出,当物距越靠近Z时,测量精度越高。
表表1物距与测量精度之间的关系物距与测量精度之间的关系物距/mm3005007001000长211.48210.81210.42210.120塑料板1(212.20mm115.40mm)宽115.14115.08114.96114.810长175.42175.08174.83174.560塑料板2(176.10mm115.40mm)宽115.13115.05115.01114.890长175.41174.98174.79174.430塑料板3(176.10mm85.20mm)宽84.8784.6284.5084.380平均误差/mm0.490.800.981.2014.2相机主轴与相机主轴与Z轴夹角对测量精度的影响轴夹角对测量精度的影响为方便图像校正,可以让左右摄像机的光轴平行,但是这样2个摄像机的公共可视区域就很小,测量效率较低,而且对精度存在较大影响。
为分析左右摄像机的夹角对精度的影响,假定左右摄像机光轴Z轴的夹角为,空间中的点P(x,y,z)在左右图像上的对应点分别为U1、U2。
点P与左摄像机光心的连线与左摄像机主光轴的夹角为1,P与右摄像机光心的连线和右摄像机主光轴的夹角为2,如图5所示。
根据三角形相似,可得:
11cossinsincosfUfUzx+=(13)由式(13)可得:
11(cossin)sincosfUxzfU=+(14)现将该式对U1求偏导可得:
211(sincos)zxfUfU=+(15)又由式(14)可得:
1(cossin)cossinfxzUzx=+(16)将式(16)代入式(15)可得:
21(cossin)zzxUxf+=(17)由式(17)可知,对于一个特定的焦距和空间点,当与x、z满足如下关系时,误差可以取得最小值:
90arctan(/)zx=(18)本文实验使用系统主要用于扫描体积较小的工艺品,物体离摄像机比较近,X轴与Z轴坐标比较接近。
因此,在本文实验中,当左右摄像机与Z轴夹角在45左右时,可以获得较高的精度。
4.3基线长度对测量精度的影响基线长度对测量精度的影响基线长度是表征视觉系统中左右摄像机之间相互位置关系的重要参数,它的变化不仅会引起系统结构的改变,而且会直接影响测量精度。
由式(10)可得:
()fTfTfTzZZdddd=+(19)fTdz=(20)将式(20)带入式(19)可得:
2zzZZfTz=+(21)由式(21)可知,对于一个特定镜头和空间点,随着基线长度T的增大,测量误差减小,且焦距越大,测量误差越小。
在本文实验中,分别用焦距为4.5mm和10mm的2个镜头在不同位置测量精度较高、尺寸为30mm30mm且位置固定的塑料板。
在测量过程中,保证塑料板与基线之间的距离基本不变(500mm),只改变基线长度,测量结果如图6所示。
图图6测量误差与基线长度之间的关系测量误差与基线长度之间的关系5结束语结束语本文针对双目立体视觉系统的各个环节,包括摄像机标定、图像校正、结构参数的设计、测量物距等方面与测量精度之间的关系做了比较全面的分析。
此外,由于目前没有一种较好的办法测量左右摄像机光心之间的距离,因此在摄像机的立体标定与测量精度之间的关系方面,还没有一种较好的精度分析和衡量方法,有待于进一步研究。
(下转第285页)第37卷第19期285康宁,武小悦,陈杨:
航天TT&C调度的拉格朗日松弛策略tion(I)、ArgumentofPerigee(Ar)、RAAN(R)、TrueAnonaly(T)表示),测控需求配置参数见表3(用需求收益值(S)、测控任务持续时间(T)/m、每天升轨测控任务数(SN)、每天降轨测控任务数(JN)、卫星最小测控间隔时间(SM)/m)、设备最小切换时间(JM)/m表示),调度周期设为1天:
2010-11-260:
00:
00至2010-11-270:
00:
00。
表表1部分设备参数部分设备参数地面站设备经度/()纬度/()高度/mres175.939.50.0res2108.322.80.0res3109.534.50.0表表2部分卫星参数部分卫星参数卫星Ap/kmP/kmI/()Ar/()R/()T/()sat1700.0700.098.20.0265.80.0sat2700.0700.098.10.0355.80.0sat3488.1488.197.30.0287.4180.0sat4560.9560.997.60.0287.4180.0表表3场景配置参数场景配置参数配置ST/mSNJNSM/mJM/mcon14084400con240844600con34084403con440844603用文献6给出的综合优先度算法的可行解目标函数值作为问题下界对所求上界进行比较验证,限于篇幅,本文只列出场景1的调度结果,如表4所示。
表表4调度结果调度结果指标配置TSP(,)LR(,)LR(,)LR完全满足需求的收益值con1550.000595.043595.023595.038720con2545.000575.045575.012575.032720con3550.000590.101590.016590.078720目标函数值con4535.000565.043565.012565.027720con10.516103.46977.81247.484con20.526149.42280.172219.125con30.537120.71993.73443.890运算时间/scon40.511164.07895.172217.906由调度结果可以看出,在求解效果方面,经过充分迭代,3种松弛策略下运用次梯度优化算法得到的上界(目标函数值)几乎没有差别,都可以用来评价启发式算法可行解的优劣和场景配置的合理性。
以配置1(con1)为例,TSP可行解目标函数值(下界)与3种松弛策略所得上界相差约45,说明TSP可行解目标函数值与最优目标函数值之间还有一定差距,还应进一步优化。
同时,上界与完全满足该场景需求的收益值约相差125,说明在该场景需求配置下,即使得到最优解,也不能满足测控需求,若要满足测控需求,必须适当增加场景中的测控设备。
在运算时间方面,当场景配置没有卫星最小测控间隔时间和设备最小切换时间要求(con1)时,3种松弛策略求解上界的时间开销由大到小依次是(,)LR、(,)LR和(,)LR。
当在con1的基础上增加卫星最小测控间隔时间要求(con2)时,卫星可能冲突时刻会增多,因此,卫星乘子数量会增加,(,)LR中没有卫星乘子,其时间开销不受影响,(,)LR和(,)LR中有卫星乘子,其时间开销明显增大。
同理,当在con1的基础上增加设备最小切换时间要求(con3)时,设备乘子数量会增加,(,)LR的时间开销不受影响,(,)LR和(,)LR的时间开销增大。
当在con1的基础上同时增加卫星最小测控间隔时间和设备最小切换时间要求(con4)时,3种松弛策略的时间开销都增大,但(,)LR的时间开销增大最少,这是由于在工程实践中,卫星最小测控间隔时间远大于设备最小切换时间,con4中增加的卫星乘子数量远大于设备乘子数量。
6结束语结束语在航天测控调度上界求解过程中,需要根据测控需求配置情况选择松弛策略进行上界求解。
考虑到同一场景的不同测控需求配置,各种乘子数量不同,应选用使松弛问题的乘子总量尽可能小的松弛策略进行上界求解,具体为:
当配置中有卫星最小测控间隔时间要求(con2和con4)时,用(,)LR松弛策略进行上界求解效率最高;当配置中没有卫星最小测控间隔时间要求(con1和con3)时,用(,)LR松弛策略进行上界求解效率最高。
参考文献参考文献1刘洋,贺仁杰,谭跃进.基于约束满足的多卫星调度模型研究J.系统工程与电子技术,2004,26(8):
1076-1079.2金光.卫星地面站测控资源调度CSP模型J.系统工程与电子技术,2007,29(7):
1118-1120.3MonteZ,EugeneD,BrianD,etal.SchedulingandReschedulingwithIterativeRepairJ.IEEETransactionsonSystem,ManandCybernetics,1993,23(6):
1588-1596.4陈峰.带局部交互的多星TT&C调度合作协同进化J.计算机工程,2011,37(6):
250-252.5邢立宁,陈英武.基于混合蚁群优化的卫星地面站系统任务调度方法J.自动化学报,2008,34(4):
414-418.6凌晓冬.多星测控调度问题建模及算法研究D.长沙:
国防科学技术大学,2009.7康宁,武小悦.航天测控调度模型及其上界求解算法J.系统工程理论与实践,2010,30(9):
1695-1700.8靳肖闪,李军.基于拉格朗日松弛与最大分支算法的卫星成像调度算法J.宇航学报,2005,29
(2):
694-699.编辑张正兴(上接第282页)参考文献参考文献1BradskiG,KaeblerA.LearningOpenCVM.于仕琪,刘瑞祯,译.北京:
清华大学出版社,2009.2闫龙,赵正旭,周以齐.基于CCD的立体视觉测量系统精度分析与结构设计研究J.仪器仪表学报,2008,29
(2):
410-413.3刘琼,秦现生,印申舜,等.双目视觉测量系统结构参数设计及精度分析J.中国机械工程,2008,19(22):
2728-2732.4ZhangZhengyou.AFlexibleNewTechniqueforCameraCali-brationJ.IEEETransactionsonPatternAnalysisandMachineIntelligence,2000,22(11):
1330-1334.5田原媛,谭庆昌,张海波,等.亚像素边缘定位算法的稳定性分析J.计算机工程,2010,36(7):
211-213.6张广军.视觉测量M.北京:
科学出版社,2008.编辑顾逸斐
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 双目 立体 视觉 系统 精度 分析
![提示](https://static.bingdoc.com/images/bang_tan.gif)