多特征融合的在线更新目标跟踪算法资料下载.pdf
- 文档编号:5971207
- 上传时间:2023-05-05
- 格式:PDF
- 页数:9
- 大小:615.92KB
多特征融合的在线更新目标跟踪算法资料下载.pdf
《多特征融合的在线更新目标跟踪算法资料下载.pdf》由会员分享,可在线阅读,更多相关《多特征融合的在线更新目标跟踪算法资料下载.pdf(9页珍藏版)》请在冰点文库上搜索。
localbinarypattern;
incrementalFisherlineardiscriminant;
MonteCarlomethod;
particlefilter目标跟踪是计算机视觉研究的一个热门课题,广泛地应用于视频监控、目标识别、飞行器自主导航等领域,其中物体表观和光照变化是影响跟踪结果的2个主要因素被跟踪物体明显的外观变化往往导致跟踪任务的失败u1,因此外观变化成为了目标跟踪中的一个主要的难点为了解决这一问题,Ross等13和Lin等1对现有的Fisher线性判别分析进行了改进,提出了增量线性判别分析(incrementalFisherlineardiscriminant,IFLD)的概念该方法通过与主成分分析(principalcomponentanalysis,PCA)结合,在目标外观变化时进行目标跟踪,取得了良好的效果收稿日期:
2009-12-02;
修回日期:
20100304基金项目:
国家自然科学基金(60802043)孟钢(1982一),男。
博士研究生,主要研究方向为复杂背景下刚体目标检测与跟踪、嵌入式图像处理;
羹志国(1965一)男,博士,教授,博士生导师,主要研究方向为运动图像目标检测、跟踪与识别,遥感图像的处理、融合与识别,显微医学,材料图像的分析、识别及三维重建;
赵丹培(1977一),女,博士,讲师,硕士生导师,主要研究方向为天基空问目标监视系统中的信息处理技术,复杂背景下运动目标的检测、跟踪-与i,q别技术,基于DSP的实时图像处理系统的应用开发膏越(1987一),男,硕士,主要研究方向为复杂背景下目标检测与跟踪万方数据第10期孟钢,等:
多特征融合的在线更新目标跟踪算法】789然而,由于将背景的每个采样点都看作是个单独的新类别。
,因此非目标的类别将随着跟踪过程而显著增加;
同时由于涉及到大量的数学运算,该方法在速度方面略显不足影响跟踪准确性的另一个重要因素是光照,尤其在天基目标检测跟踪中,光照改变是导致检测跟踪失败的主要原因因此,如何在入射光强度和角度发生变化时依然能准确、鲁棒地跟踪目标是目标跟踪中的一个难点很多学者在这一方面进行了深入研究:
Freedman等1提出了一种基于亮度不变的光流场的跟踪方法,但由于光流计算的复杂性,其在实时性方面有着欠缺解决亮度变化的另一个常用方法是利用梯度特征H,但是容易受到噪声的干扰Meng等o提出将颜色不变量引入传统的跟踪算法中,并取得了良好的效果;
然而,由于颜色不变量的计算要使用到R,G,B3个通道的信息,使得该方法仅适用于彩色视频中的目标跟踪张笑微等o提出了一种融合结构信息的粒子滤波均值偏移方法,具有较好的鲁棒性和实时性;
但其未考虑尺度变化和目标外观改变等问题另一方面,Ojala等口制提出的局部二元模式(10calbinarypattern,LBP)是一种简单、有效的纹理特征提取方法,它作为一种灰度范围内的纹理度量方法,在纹理分类上取得了很大的成功近年来,LBP被作为一种图像特征的描述子广泛应用于人脸识别凹J、人脸检测一叫等图像处理中LBP特征的优势在于计算简单、运算量小,且对亮度变化具有较好的鲁棒性2007年Liao等o提出了MBLBP(multi-scaleblocklocalbinarypattern),进一步提高了LBP方法的鲁棒性在对刚体目标(如飞机、汽车、卫星等)进行跟踪的过程中,光照条件的改变是导致跟踪失败的一个主要原因如果能将LBP的优点与IFI,D相结合,无疑将进一步提高跟踪方法的鲁棒性本文工作正是基于这一思想展开的我们使用LBP特征与图像灰度信息相融合对目标进行描述,利用目标和背景区域的采样粒子,结合IFLD方法进行状态空间在线更新,并使用粒子滤波框架对目标进行跟踪为了叙述的方便,将本文方法称为基于局部二元模式的增量线性判别(10calbinarypatternbasedincrementalFisherlineardiscriminant,LBPIFLD)1LBPLBP特征Es3是近年来提出的一种有效的纹理描述方法,它通过将图像中每个像素与其邻域像素灰度值的大小相比较,并将结果表示为二进制模式来描述图像的纹理LBP特征的突出优点是对目标灰度变化不敏感,且计算简单迅速,其原理可以简述如下如图1所示,像素的局部区域用(P,R)来描述其中,R为中心像素与其相邻像素的距离,它反映了纹理在空间上的分辨率;
P为邻域像素的数目通过不同的P和R值可以获得目标在多尺度下的纹理描述,即LBPPR(y。
f1s(z)=【0P-1一s(gpg。
)2P=0z历zth
(1)其中,g。
表示中心点Y。
的灰度值;
gp表示以Y。
为中心、半径为R的圆环上第P个等分点的灰度值,对于不在图像像素点上的等分点可以通过插值获得;
th是为减少噪声和局部灰度变化影响设置的阈值通过式
(1)可以得到声位二进制代码,以此表示像素对应的LBP特征在得到区域每个像素的LBP特征后,可以通过直方图对区域LBP特征进行描述8本文方法未使用LBP直方图,而是直接利用各像素对应的LBP特征;
并借助相关优化方法,使图像中各区域LBP特征的计算可以达到实时2IFLD矿妒t西k毋吨图1LBP特征示意图(P=8,R一1)IFLD1屯1是对现有的Fisher线性判别分析提出的改进方法,其核心思想是通过一组迭代公式对目标特征进行在线更新,以实现稳定跟踪由于涉及到的数据量比较大,该方法采用了PCA等技巧来降低计算量、加速算法的运行IFLD的原理简述如下:
假设x=工1,工:
,工N)表示全部N个训练样本,每个样本为d维向量如果将样本分为P类,则经典的线性判别分析(1ineardiscriminantanalysis,LDA)的思想就是通过最大化类间离散度矩阵Se和最小化类内离散度矩阵s。
求最优的投影方向W万方数据计算机辅助设计与图形学学报第22卷这是通过最大化目标函数J(w)=黑实现的其中,sb=N。
(ii)(ii)T,两PNS。
=(勤一再)(勘一i)T;
f=lJ=1N,是训练样本中属于第i个类别的样本数,王是X的均值向量,而i是第i类样本的均值向量由LDA原理可知,最优投影方向W可以通过特征值分解求得S;
1S“W=WA假定使用V=(N,膏,P,Sw,Sb)来表示线性判别子空间,则可以把IFI。
D看作是得到M个新样本l,=y-,YM之后在线更新子空间的过程也就是说,在已知y和V的条件下,如何计算出新的线性判别子空间掣7=(N7,x7,P7,s0,s:
)显然存在以下关系:
新的样本数目N7一N+M;
新的均值向量王7一(Ni+M歹)(N+M);
新的类别数目P7一P+C另外,由相关证明口3可知:
_s:
=N:
(i7一王7)(i7一j7)t
(2)s:
一_s。
+善P蒜(if岖一再)7(3)其中,歹为新样本的均值向量;
Yi是新样本中第i类样本的均值向量;
C为新样本类别数;
Mi为M个新样本中属于类别i的样本数;
S。
,是新样本集的类内离散度矩阵借助式
(2)(3),IFLD方法得以实现目标特征在线更新3LBPIFLD算法为增强跟踪算法对光照的鲁棒性,并实现跟踪过程中目标状态的在线更新,本文将LBP和灰度特征相融合,结合IFLD方法对传统的粒子滤波方法进行改进与文献1方法不同的是,本文仅考虑目标与背景2类问题为了在初始阶段得到对目标较精确的描述,使用期望最大化(expectation-maximization,EM)算法对目标进行分割31算法总体框图算法的总体框图如图2所示1)初始阶段首先手工选定跟踪目标;
然后使手动选定目标初始化+l使用EM算法进行分割I叁Y目标跟踪之:
竺二N粒子集,;
。
k重采样、,+初始化l利用最优分类面矽求粒子权重+、r使用,;
k估计目标状态产生粒了集P口ackI。
l、1+产牛目标耳域粟样粒了集,T特征空间更新和背景区域采样粒子集+磊雪船碣I的+输出目标状态图2LBPIFLD算法总体流程图用EM算法对目标进行分割,以降低背景对目标描述的影响;
最后使用分割后的图像对跟踪器进行初始化2)目标跟踪阶段第一帧进行粒子滤波初始化,产生目标跟踪中用于状态估计的粒子集P。
t在随后的各帧中,首先进行P。
姒粒子重采样,然后利用最佳投影面w的和特征空间参数得到粒子权重,进而对目标状态进行估计3)特征空间更新阶段分别产生目标区域采样粒子集PT和背景区域采样粒子集Pn,用于对特征空间各个参数进行估计,然后使用蒙特卡洛方法通过产生的粒子更新特征空间参数和最优分类面W32初始化第一帧中目标的位置采用手动标记的方式获得为了对目标进行更为精确的描述,降低选择框中背景对目标描述的影响,本文使用EM算法口卜123先对目标进行分割,然后使用分割后的目标区域初始化跟踪器具体而言,把目标和背景像素看成符合2类多元高斯分布,通过求解PCri)一芝:
q,l(藏;
p,蜀)的,苎1极大似然估计,得到图像中各个像素属于目标区域和背景区域的概率;
然后通过比较每个像素属于2种分布的概率大小,判断各像素是否应该被划分为目标万方数据第10期孟钢等:
多特征融合的在线更新目标跟踪算法其中,z,c工;
儿,蜀,27靠exp一丢cxp)7耳1(x-p)是多元高斯分布;
x为像素值;
乃是目标或背景的先验概率,初始值均为05;
三为协方差矩阵,初始值选择为单位阵;
p,为均值x的均值,初始化时为随机值图3所示为使用不同算法进行分割的结果,可以看出,EM算法可以很好地避免过分割问题图3分割结果比较33目标跟踪基于颜色特征的粒子滤波跟踪算法H卜150通常采用颜色直方图作为目标的特征描述,然后利用Bhattacharyya距离作为相似性度量得到粒子的权重然而,实验结果表明,使用IFI,D进行在线特征更新时,选用直方图作为目标特征描述不能取得良好的跟踪结果因为各粒子区域有限,其对应的直方图大部分bin数为0因此,S。
矩阵将出现大量0元素,这会直接影响到逆矩阵的求取尽管可以使用正则化方法或借助伪逆求解,但是大量值为0的bin会增大粒子滤波中权重计算时的误差,从而影响最终跟踪结果因此,本文没有选用颜色直方图作为目标特征描述,而是选用了LBP特征与图像灰度特征相结合的方式;
在相似性度量方面,也没有使用Bhattacharyya距离,而是使用了自定义的距离函数331特征选择本文采用LBP特征与灰度信息相结合的方式对目标进行描述假设第一帧初始化时,目标区域宽度为训o,高度为h。
为了得到统一的特征向量,各粒子均被分为硼。
h。
的小块,通过插值的方法得到各小块对应的灰度值矩阵MG和LBP特征矩阵MLBP,均为叫。
矩阵;
然后将二者分别展开成为叫。
ho维的行向量M0和M凶为了针对不同视频改变2种特征的权重,设置了权重系数a和口最终目标特征描述表示为2伽oho维列向量31一口M毛,pMoT,中括号表示将二者直接连接在计算LBP特征时,Rl,P=8通过相应的优化手段,特征计算可以实现实时为了增强灰度信息的鲁棒性,先对灰度图像进行平滑,具体情况视图像质量及目标特点而定332相似性度量及粒子权重的确定相似性度量定义了候选区域与目标区域之间的一种距离本文采用如下距离定义diff:
Jl堡:
墨二五嵫Ilw丁工i一磊II2其中,w为得到的最优投影面,置为粒子对应的特征向量,w1置为各粒子特征向量在最优投影面上的投影,工。
为目标区域粒子集PJ的均值,工s为背景区域粒子集PB的均值在获得粒子集Pt后,求各粒子权重公式为weight=专e丁;
其中d为事先给定的参数值、Z7r盯34在线特征更新与IFI。
D不同,本文中将非目标区域全部作为背景对待,即在跟踪过程中仅考虑目标和背景2类问题特征空间参数的计算采用蒙特卡洛方法采样实现;
与目标跟踪过程中使用的粒子集P。
t不同,目标区域采样粒子集PT和背景区域采样粒子集PB中的粒子不涉及粒子传播的过程,即每次特征空间更新均重新产生采样粒子341采样粒子的生成图4所示为采样粒子产生方式示意图假设当前帧目标中心位置0的坐标为(zo,Yo);
目标区域的宽度为硼,高度为h;
粒子状态表示为s=z,Y,7ds,h,只),其中,z,和Y,为粒子区域的中心坐标;
硼,和h,为粒子区域的宽度和高度本文采用固定尺寸,硼,一18,h,一12;
以为粒子区域的偏转角度(以逆时针方向为正),使用Eo,2兀)区间符合均匀分布的随机数进行初始化图4采样粒子产生方式示意图万方数据1792计算机辅助设计与图形学学报第22卷如图4a所示,目标区域采样粒子的坐标可以表示为fz;
=zo+盯。
R。
1y鲁=YO+靠R。
其中,R。
表示产生正态分布的随机数;
“和盯一为事先定义的协方差参数,本文中取一巩=1如图4b所示,在以r,为半径的内圆和以吃为半径的外圆之间产生背景区域粒子,其坐标表示为,fD=(rzn)R+np=2丌RJ1z:
=zo+JDcos口【y:
一yo+Psin口为了方便计算,粒子相对。
的坐标用极坐标(D,口)表示其中,R表示产生(0,1)之间的随机数,rz=07L。
i。
,r2=18L。
,L。
一max(硼,h),L。
一rain(叫,h)342特征更新过程在特征更新的过程中,最新获取的采样数据显然比较早得到的数据更有意义为了强调当前数据对特征空间的贡献,本文在特征更新时加入了遗忘因子厂由于仅考虑背景和目标2类分类,相应的更新公式变更如下:
新的目标样本总数NT2,Nk+N_r,;
新的背景样本总数Ne一,Ne。
+NB。
;
新的目标样本均值工T一(,Nx+NTlXTl)NT;
新的背景样本均值XB一(厂NBoxB。
+NBl工B1)NBS:
=N;
(再一王)(xv-X一)T+N:
(石一j)(石一i)t,s:
哉坻+警(瓦一XT1)(瓦一XT1)t+警(XBoXB1)(五一i)T其中,NL和NBn为更新前目标和背景样本总数;
Nr,和NBl为新加入的目标和背景样本数;
x丁n和工B为更新前的目标和背景样本均值;
工T,和zB1为新加入的目标和背景样本均值;
工为更新后样本总均值处理第一帧图像时,NL=NBn=0;
一般取,O9利用第2节和本节的公式可以实现对特征空间和最优投影面W的更新4实验及结果分析下面通过3组实验验证本文算法的有效性实验环境为MatlabR2009a,采用手工方式逐帧标出原始视频目标位置及偏转角度;
位置误差和角度误差均为跟踪结果与原始视频目标参数之间的偏差为了提高算法的实时性,在线特征更新不用逐帧进行,一般每5帧左右进行一次效果较好实验1天基目标仿真视频跟踪实验在天基目标检测跟踪中,由于真实数据很难获得,因此主要以仿真结果为数据源本文针对卫星运动中由于自身旋转造成的目标亮度和外观变化等情况进行了仿真使用3DSMax模拟摄像机对卫星进行跟踪拍摄,原视频大小640480,卫星主体大小由3550左右渐变为2020左右为了显示的直观,将目标区域进行了放大图5a所示为直接使用灰度特征和IFLD在线更新方法得到的跟踪结果,P。
础粒子数一200,粒子传播半径20,PT粒子数80,Pe粒子数100由于灰度特征对目标亮度变化比较敏感,因此本组结果受目标亮度变化影响较大,跟踪结果不够稳定;
图5b所示为采用本文算法的跟踪结果,2组实验参数相同由于LBP本身对光照变化有较强的鲁棒性,因此融合了LBP特征后的跟踪结果显示出更好的稳定性另外,由于使用了在线更新的方法,当卫星外观和亮度发生变化时,跟踪框的位置依然能很好地逼近卫星的主体轮廓图6所示为跟踪结果误差曲线,可以看出,结合LBP特征的在线更新方法跟踪结果的平均误差更小,更加稳定图5天基目标仿真视频跟踪结果万方数据第10期孟钢,等:
多特征融合的在线更新目标跟踪算法17932520懈15强型1000帧数图6卫星仿真视频跟踪结果比较图实验2目标大角度机动视频跟踪实验本实验针对苏27飞机做眼镜蛇动作时的视频进行跟踪飞机的姿态持续发生较大改变,图像大小352288,30髅20骚jI|】j哪1004030剁魅20趟躲100目标大小5030左右图7a所示为单纯使用粒子滤波跟踪的结果,目标特征选用灰度直方图,bin的个数为256,粒子数300,传播半径15,没有使用在线特征更新;
图7b所示为采用本文算法的跟踪结果,P。
础粒子数300,粒子传播半径15,PT粒子数50,PB粒子数100,每5帧进行一次更新图8所示为跟踪结果位置误差曲线,图9所示为跟踪结果角度误差曲线,可以看出,由于使用了灰度信息与LBP特征结合的方式,本文算法对目标的定位更加准确;
而且由于融入了特征在线更新的策略,能更加有效地逼近目标的真实偏转角度因此,与传统粒子滤波方法相比,本文算法的跟踪结果对目标位置和
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 特征 融合 在线 更新 目标 跟踪 算法