基于视频粒子流和FTLE场的人群运动分割算法Word文档格式.docx
- 文档编号:6660178
- 上传时间:2023-05-07
- 格式:DOCX
- 页数:6
- 大小:21.73KB
基于视频粒子流和FTLE场的人群运动分割算法Word文档格式.docx
《基于视频粒子流和FTLE场的人群运动分割算法Word文档格式.docx》由会员分享,可在线阅读,更多相关《基于视频粒子流和FTLE场的人群运动分割算法Word文档格式.docx(6页珍藏版)》请在冰点文库上搜索。
aabstract:
tosegmentmovingcrowdwithdifferentdynamicsincomplexvideosurveillancescenes,thispaperproposedacrowdmotionsegmentationalgorithmwhichwasbasedonvideoparticleflowandfinitetimelyapunovexponent(ftle)field.firstly,videoparticleflowwasusedtorepresentthelong-rangeparticlemotionestimation.tooptimizetheseparticlestrajectories,anenergyfunctioncontainingpoint-basedappearancematchinganddistortionbetweentheparticleswasminimized.thenthespatialgradientoftheparticleflowmapwassolvedandtheftlefieldwasconstructed.finally,thelagrangiancoherentstructure(lcs)intheftlefieldwasusedtodivideflowintoregionsofqualitativelydifferentdynamics.theexperimentalresultsshowthattheproposedalgorithmcaneffectivelysegmentcrowdflowwithdifferentdynamicsincomplexvideosurveillancescenes,andithasstrongrobustness.keywords:
videoparticle;
particleflow;
lyapunovexponent;
motionsegmentation;
lagrangiancoherentstructure(lcs)0引言大型集会(如宗教朝圣、游行、音乐会、足球比赛等)中的人群管理[1],是公共安全管理领域中最亟待解决的问题。
通常这些集会涉及到人群在有限的空间内运动,如城市街道、高架桥或者是狭窄的通道,因而易于造成人群踩踏、四散堵塞事故发生。
为了减少在这些大型集会中灾难性事故的发生,智能视频人群监控技术已广泛地应用到各种监控领域如城市街道、地铁站、商场等。
其中对监控场景中运动目标的分割一直是图像处理和计算机视觉领域的重要研究课题。
目前大多数运动分割算法,仅限于视频序列中含有少数的目标个体的分割与跟踪。
如文献[2-3]提出的算法针对的是涉及低密度人群的目标检测与分割;
tu等[4]提出的人群分割同样不能处理异常拥挤的人群运动。
近年来,为了解决高密度场景下的分割和检测问题,计算机视觉研究人员已提出了不少涉及高密度人群下的人流分割与目标检测的算法。
如一些方法使用基于个体形状和颜色模型[5]、边界轮廓[6]、特征点轨迹[7]等运动表示方法去检测与分类复杂场景下的运动目标;
chan等[8]提出了使用基于动态纹理表示法分割拥挤场景的视频运动。
与上述方法不同,ali等[9]把动态人群视为一个整体,而不是着眼于分析其中的每个个体,然后利用有限时间李雅普诺夫指数(finitetimelyapunovexponent,ftle)场中的拉格朗日相干结构(lagrangiancoherentstructure,lcs)把流场分割成运动特性不同的几个区域。
该分割算法能有效地检测出流体的动态特性变化,且具有鲁棒性的特点。
对于上述这些方法,通常采用密集光流或者特征点跟踪来得到粒子的运动轨迹。
然而光流只适用于连续两帧之间的运动估计,在长时间序列(多帧)之间存在漂移问题。
视频粒子流算法[10]能有效地克服帧与帧之间的漂移,准确地得到长时间周期的粒子轨迹。
针对以上分析,本文提出了一种基于视频粒子流和ftle场的人群运动分割算法。
该算法首先使用视频粒子流算法来求解视频中粒子的运动轨迹。
它结合了特征点轨迹的粒子自适应性,同时克服了光流的短周期性;
接着运用ftle场中的拉格朗日相干结构分割运动特性不同的人群。
1视频粒子原理一个视频粒子是一个视频及其中相应的粒子集,任一粒子i具有一个随时间变化的位置(xi(t),yi(t)),为了准确地得到长时间周期的粒子轨迹,在对粒子扩散的同时,进行粒子联接和优化等过程,如图1所示。
1.1粒子扩散粒子通过光流场从相邻帧中扩散到给定帧中,粒子i从第t-1帧扩散第t帧可表示为:
xi=xi(t-1)+u(xi(t-1),yi(t-1),t-1)yi=yi(t-1)+v(xi(t-1),yi(t-1),t-1)
(1)1.2粒子联接为了量化粒子相对运动,本文采用约束delaunay三角形[11]来创建粒子间的联接(也可简化联接每个粒子与其最近的同一方向的n个邻域粒子)。
当粒子扩散时,粒子联接不断地消失与更新,可以减少时间上的变异性。
对于t帧上粒子i和j之间的联接,可以计算平均运动方差来得到:
d(i,j)=1|t|∑t∈t(ui(t)-uj(t))2+(vi(t)-vj(t))2
(2)其中:
ui(t)=xi(t)-xi(t-1),vi(t)=yi(t)-yi(t-1)。
为了增加联接鲁棒性采用文献[10]提出的零均值高斯先验参数(σl=1.5)计算联接权重值:
lij=n(d(i,j);
σl)(3)1.3粒子优化粒子视频算法的核心是粒子优化过程,如图1所示指代哪个图,请明确。
,优化过程就是在粒子扩散后对粒子位置的重新修正,从而减少长时间段扩散带来的漂移问题。
优化过程的实质就是最小化一个目标函数,该目标函数包含数据项和变形项。
第t帧粒子i的能量为:
e(i,t)=∑k∈ki(t)e[k]data(i,t)+α∑j∈li(t)edistort(i,j,t)(4)其中:
ki(t)表示图像的通道;
li(t)表示在帧t时刻与粒子i相联接的所有粒子。
通过对edata(i,t)和edistort(i,j,t)两部分权重取舍,在权值因子α=1.5最能合理优化粒子过程。
1.3.1数据能量数据项用来衡量粒子在视频扩散时的外观匹配,对于粒子i在时刻t,第k个图像通道的数据项为:
e[k]data(i,t)=ψ([i[k](xi(t),yi(t),t)-c[k]i]2)(5)其中ψ是鲁棒项,ψ(s2)=s2+ε2,ε=0.001。
1.3.2形变能量数据项并不能唯一约束粒子轨迹,形变项衡量粒子间的相对运动。
如果两个联接的粒子朝着不同的方向运动,它们会有一个较大的形变项;
反之如果它们朝向同一个方向运动,则该值就很小。
形变能量表示为:
edistort(i,j,t)=lijψ([ui(t)-uj(t)]2+[vi(t)-vj(t)]2)(6)其中:
1.3.3优化算法粒子轨迹的优化过程与brox等[12]求解光流方法类似,对稀疏线性系统进行两个嵌套循环,外层循环使用内层循环得到的dxi(t)和dyi(t)来更新xi(t)和yi(t)。
根据变分计算,方程(4)必需满足欧拉拉格朗日方程:
{edxi(t)=0,edyi(t)=0|i∈p,t=f}(7)对于数据项,根据文献[12]的线性化方式,得到:
e[k]data(i,t)dxi(t)≈2ψ′([i[k]z]2)i[k]zi[k]x(8)这个公式中没有iy[k]吗?
请明确。
i[k]z=i[k]xdxi(t)+i[k]ydyi(t)+i[k]-c[k]i(9)同理,变形项的x偏导为:
edistort(i,j,t)dxi(t)=2lij(t)ψ′([ui(t)+dui(t)-uj(t)-duj(t)]2+[ui(t)+dui(t)-uj(t)-duj(t)]2(ui(t)+dui(t)-uj(t)-duj(t))(10)其中:
dui(t)=dxi(t)-dxi(t-1)和dvi(t)=dyi(t)-dyi(t-1)。
2基于视频粒子流和ftle场的人群运动分割2.1算法流程本文研究的基于视频粒子流和ftle场的人群分割算法流程如图2所示。
2.2视频粒子流图根据流程图,首先利用brox光流算法求得相邻两帧之间的光流场,然后利用视频粒子流算法得到长周期的粒子运动轨迹。
给定一个定义在d上的时间相关速度场v(x,t),在时刻t0位置x0处开始的一条轨迹x(t:
t0,x0)是:
(t;
t0,x0)=v(x(t;
t0,x0),t);
x(t0;
t0,x0)=x0(11)方程(11)描述的动态系统的解可以视为一幅图,从在时刻t0位置x0处开始取值到时刻t,称之为流图,用φtt0表示,满足φtt0(x0)=x(t;
t0,x0)。
一对标记为φx和φy的流图,维持了每个时刻的粒子的轨迹:
φx记录了粒子x坐标上的变化轨迹,同样φy记录了y坐标上的轨迹。
2.3ftle场2.3.1有限时间lyapunov指数场有限时间指数依赖于轨迹的初始位置和整合轨迹的长度,有限时间指数依赖于轨迹的初始位置和整合轨迹的长度,是用于衡量无限接近的粒子间分离性的量。
当在粒子上使用有限时间lyapunov指数,它产生了一个ftle场,它反映了流体的特性。
2.3.2ftle场计算ftle场是从上述流图中计算而来的,首先计算φx和φy的梯度dφxdx,dφxdy,dφydx,dφydy,然后利用空间梯度求解柯西形变张量:
δ=dφt0+tt0(x)dx*dφt0+tt0(x)dx(12)在有限时间t内,ftle最大值为:
σtt0=1tlnλmax(δ)(13)ftle场是一个标量场,它反映了流体的特性。
当相邻粒子以不同运动特性运动时,会导致ftle场中出现突出的“脊”的结构。
这种结构称为拉格朗日相干结构(lcs)。
利用lcs可以分割不同运动特性的流,从而捕捉了潜在流场的动态力学和几何学特性。
分割过程包括两步骤:
首先是给定ftle场的过分割;
然后融合那些边界粒子在lyapunov意义上具有相似行为的部分。
3实验结果与分析本实验用来测试的视频数据来自图片库和谷歌视频中那些包含高密度人群或者高密集交通的场景。
给定一个视频或者图像序列求解其光流场。
为了防止噪声和光照变化等带来的干扰,本文采用brox方法求解光流。
如图3为来自繁忙交通场景视频的连续两帧图片,大小为188×
144。
图4则是来自ucf视频数据库中集市人群的流动图,大小为480×
360。
图4(a)、(b)与图5(a)、(b)分别是相应图像序列中的相邻两帧。
运用视频粒子算法求粒子轨迹,得到粒子流图。
实验中,粒子网格的分辨率与流场的像素个数保持相同。
图5(b)、(d)分别为图5(a)、(c)在时间周期t为5的粒子流图。
通过式(13)计算ftle场。
图6~7给出了人群分割的两个实验结果。
第一排为原始视频序列:
图6(a)为麦加人流视频,数千人围绕卡巴逆时针方向运动;
图7(a)为集市复杂人流视频,场景中的人群往不同方向运动。
第二排图6(b)、(c)和图7(b)、(c)为相应视频序列的ftle场,流场中的脊(即lcs)突显了脊两侧不同的运动特性。
其中左侧是根据文献[8]求解粒子流图得到的。
右侧的ftle场是应用本文的基于视频粒子流和ftle场人群分割算法得到的。
图6(d)、(e)和图7(d)、(e)为通过分水岭分割算法后得到的相应流场分割图。
实验结果表明,采用本文算法得到的ftle更为准确,对拥挤场景下的人群分割效果更佳。
4结语本文提出了一种基于视频粒子流和ftle场的动态人群分割方法。
粒子轨迹是图像采样点在一段时间内的位移位置。
为了更加准确地得到长时间周期的粒子轨迹,本文使用视频粒子算法来得到视频中粒子的运动轨迹。
该算法结合了特征点轨迹的粒子自适应性,同时克服了光流的短周期性,对于遮挡、和光照变化更具有鲁棒性。
在此基础上,利用混沌力学中拉格朗日表示法,求解ftle场,对运动区域实现初分割,最后用分水岭算法获得人流区域分割。
实验证实了该算法能有效分割拥挤场景下的人群运动。
在今后的工作中,将进一步结合其他分割算法,并把算法推广到更密集、更宽广的公共场所监控视频中。
参考文献:
[1]mehranr,moorebe,shahm.astreaklinerepresentationofflowincrowdedscenes[c]//proceedingsofthe11theuropeanconferenceoncomputervision.berlin:
springer-verlag,2010:
439-452.[2]nguyenht,jiq,smeuldersawm.spatio-temporalcontextforrobustmultitargettracking[j].ieeetransactionsonpatternanalysisandmachineintelligence,2007,29
(1):
52-64.[3]kumarmp,torrphs,zissermana.learninglayeredmotionsegmentationsofvideo[j].internationaljournalofcomputervision,2008,76(3):
301-319.[4]tup,sebastiant,dorettog,etal.unifiedcrowdsegmen-tation[c]//proceedingsofthe10theuropeanconferenceoncomputervision.berlin:
springer-verlag,2008:
691-704.[5]zhaot,nevatiar.bayesianhumansegmentationincrowdedsituations[c]//ieeecomputersocietyconferenceoncomputervisionandpatternrecognition.washington,dc:
ieeecomputersociety,2003:
459-466.[6]tup,rittscherj.crowdsegmentationthroughemergentlabeling[c]//europeanconferenceoncomputervisionworkshoponstatisticalmethodsinvideoprocessing.berlin:
springer-verlag,2004:
187-198.[7]brostowgj,cipollar.unsupervisedbayesiandetectionofindependentmotionincrowds[c]//ieeecomputersocietyconferenceoncomputervisionandpatternrecognition.washington,dc:
ieeecomputersociety,2006:
594-601.[8]chanab,vasconcelosn.mixturesofdynamictextures[c]//proceedingsofthetenthieeeinternationalconferenceoncomputervision.washington,dc:
ieeecomputersociety,2005:
641-647.[9]alis,shahm.alagrangianparticledynamicsapproachforcrowdflowsegmentationandstabilityanalysis[c]//ieeecomputersocietyconferenceoncomputervisionandpatternrecognition.washington,dc:
ieeecomputersociety,2007:
1-6.[10]sandp,tellers.particlevideo:
long-rangemotionestimationusingpointtrajectories[c]//ieeecomputersocietyconferenceoncomputervisionandpatternrecognition.washington,dc:
2195-2202.[11]lischinskid.chapterincrementaldelaunaytriangulation[m]//heckbertp.graphicsgemsiv.boston:
academicpress,1994.[12]broxt,bruhna,papenbergn,etal.highaccuracyopticalflowestimationbasedonatheoryforwarping[c]//europeanconferenceoncomputervision.berlin:
25-36.收稿日期:
2011-06-30;
修回日期:
2011-08-12。
基金项目:
浙江省自然科学基金资助项目(y1110506);
浙江省科技计划项目(2010c31010);
浙江省网络通信技术与应用重点实验室资助项目(2011z1001);
上海市信息安全综合管理技术研究重点实验室资助项目(agk2011002)。
作者简介:
童超(1987-),男,浙江衢州人,硕士研究生,主要研究方向:
计算机视觉;
章东平(1970-),男,江西波阳人,副教授,博士,主要研究方向:
图像处理、视频分析;
陈非予(1987-),男,浙江绍兴人,硕士研究生,主要研究方向:
计算机视觉。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 视频 粒子 FTLE 人群 运动 分割 算法
![提示](https://static.bingdoc.com/images/bang_tan.gif)