基于OpenCv的车牌识别研究.pdf
- 文档编号:18633661
- 上传时间:2023-08-23
- 格式:PDF
- 页数:4
- 大小:1.07MB
基于OpenCv的车牌识别研究.pdf
《基于OpenCv的车牌识别研究.pdf》由会员分享,可在线阅读,更多相关《基于OpenCv的车牌识别研究.pdf(4页珍藏版)》请在冰点文库上搜索。
F福建电脑U?
J?
I?
A?
N?
C?
O?
M?
P?
U?
T?
E?
R福建电脑2018年第12期F福建电脑U?
J?
I?
A?
N?
C?
O?
M?
P?
U?
T?
E?
RF福建电脑U?
J?
I?
A?
N?
C?
O?
M?
P?
U?
T?
E?
RF福建电脑U?
J?
I?
A?
N?
C?
O?
M?
P?
U?
T?
E?
RF福建电脑U?
J?
I?
A?
N?
C?
O?
M?
P?
U?
T?
E?
R基金项目:
在OpenCV中应用神经网络进行车牌识别(201812622006、CJDC2017023)引言
(一)研究目的及意义1.研究目的的近年来,随着国家经济的发展,越来越多的人都有着一台甚至一台以上的私家车。
私家车已经成为大多数人们外出的主要交通工具。
随之一个问题也接踵而至,人们由于图方便,不将车停在大型停车场,反而是直接停靠在人行道旁边。
从而导致社区路段拥挤、堵塞等问题。
随着一系列问题的出现,巨大的城市交通压力也随之摆在了我们面前。
通过以往的方法来识别车辆,联系车主,贴罚单的行为已经不太适用于现在的道路发展状况。
针对这些问题,运用先进的科学技术,研发出车牌识别系统,作用于其他智能交通系统,以便解决各种日益严重的交通问题。
2.研究意义车牌识别系统的建立将可以广泛地应用到各种交通系统,发挥着重要的作用,如下列系统:
1)交通管理监控系统通过发布在各个路口的视频采集单元,对道路上通过路口的车辆进行不间断的拍照,通过网络把车辆照片传送到后台进行分析处理,处理后能过得到车辆的车牌信息、违章信息、车主信息、购买保险等,如果车辆在通过路口时有违章信息,比如闯红灯、逆行等,那么会自动生成电子罚单,自动扣分。
2)高速路收费站自动扣费大大减少了过收费站的时间,记录你上高速的站名,在下高速的时候自动结算,通过关口后,自动扣除费用。
3)停车场等封闭环境的车辆管理可以实时记录是哪些车辆进出停车场,通过车牌识别获取车主信息以及更多的其他的作用。
车牌识别属于对图像处理范畴,研究车牌识别系统,可以同时对图像处理、模式识别等领域的发展起到一个推动的作用。
(二)国内外发展现状二十世纪八十年代,汽车工业日渐发达,一些外国的工程师们开始针对车牌号码自动识别进行相关技术的开发,由于当时的计算机技术不够发达导致图像处理技术不够发达以及自动识别的效率不高,此外由于相关理论的不足以及技术上的不完善导致自动识别车牌技术的相关体系还不够成熟。
这期间的自动识别技术首先是利用相机对车牌进行拍摄,随后将拍摄的图片输入到相关计算机系统中进行处理,最终还是要通过人工审核的方法来进行最后的处理然能才能输出有关车牌号码。
到了上个世纪90年代末,计算机技术取得了前所未有的发展,包括计算机视觉技术也是迅猛发展,因此有关车牌识别技术的发展也开始逐渐朝着系统化方向前进,比如说由英国某公司研发的RTVNPR系统,该系统针对不同天气条件下的车牌识别都具有很好的效果,因此被广泛应用于众多收费站点,有利于减少排队等待的时间。
至于在极端恶劣的环境工况下,位于美国的一家公司开发的相关技术车牌识别率达到了百分之九十五;上个世纪九十年代一位科学家首先利用统计学中的有关方法对车牌分布的相关状况进行分析,利用相关分析的结果确定车牌在图像中的具体位置,然后再利用有关识别模块对图中的字符进行识别。
与国外相比,中国在该领域相关技术研发的发展相对缓慢。
其中最大的原因是因为我国的车牌上的字符的相关特征和国外的车牌上的字符特征存在较大差异,通常国外的车牌字符就是数字和英文字母,但是我国的则不同,而且差异较大,通常我国的车牌字符包括一个汉字和一个英文字母以及五个数字等,特别是车牌中字符中的那个汉字不仅笔画众多而且结构较为复杂。
除此之外车牌上的字符分布也有单双排不同,并且车牌的颜色也不统一,有蓝色,黄色,黑色等几种颜色的车配。
因此针对国外的相关车牌识别技术对于我们而言仅仅具有参考和学习意义,不能直接拿来用在我国的相关场合中。
为了将以上这些问题妥善处理,我国众多的科研机构,高校以及相关公司投入了大量人力物力,在学习国外相关设计的经验上开发出了适合我们自己的相关识别技术。
一、车牌识别流程以及关键技术简介
(一)车牌识别流程
(二)关键技术简介1.图像预处理对于拍摄出来的车牌对象,不一定都是有着足够高的图像基于OpenCv的车牌识别研究洪传豪,丁兵兵,靳伟(广东海洋大学寸金学院计算机系广东湛江524000)【摘要】在当今世界,汽车牌照识别是制约交通管理重要的一部分。
随着信息化时代的发展以及图形图像技术的发展,车牌识别系统愈渐完善。
出于对计算机视觉这方面的好奇,依靠神经网络算法以及计算机视觉库OpenCv,对车牌识别进行了探索。
在此介绍车牌识别中最主要的三个部分:
车牌定位、字符分割以及字符识别。
【关键词】车牌识别系统;车牌定位;字符识别图1-1车牌识别系统处理流程图DOI:
10.16707/ki.fjpc.2018.12.0025F福建电脑U?
J?
I?
A?
N?
C?
O?
M?
P?
U?
T?
E?
R福建电脑2018年第12期F福建电脑U?
J?
I?
A?
N?
C?
O?
M?
P?
U?
T?
E?
RF福建电脑U?
J?
I?
A?
N?
C?
O?
M?
P?
U?
T?
E?
RF福建电脑U?
J?
I?
A?
N?
C?
O?
M?
P?
U?
T?
E?
RF福建电脑U?
J?
I?
A?
N?
C?
O?
M?
P?
U?
T?
E?
R质量,在系统里往往需要进行适当的预处理以提高图像质量。
图像预处理中包括灰度,滤波,边缘检测和二值化等操作。
这一系列操作实现了降噪的作用,并且减少了图像模糊以及减少了图像损失的可能性。
图像预处理是车牌识别的重要第一步,处理的效果影响后续的处理流程以及最终结果的精确度。
2.车牌定位车牌定位是车牌识别系统中最关键的部分也是最难的一部分,其决定了识别成功的准确度以及后续的操作。
由于牌照位置是基于人的视角,因此需要根据牌照的字符区域特征从图像中提取相应的特征,并找到最符合牌照特征的区域。
实际图像的噪声、模糊度以及背景很大程度决定了定位的难易程度。
当前车牌定位主要采用以下3种方法:
1)基于边缘检测的方法;2)基于水平灰度变化特征的方法;3)基于车牌颜色特征的方法。
方法1定位相比于其余两者准确,但也容易漏检。
方法2相比于方法1而言,漏检率低。
而方法3定位准确率在方法1跟方法2之间。
但是方法3有一个极大的问题,如若颜色相似性区域过多,容易出现定位错误的现象。
这三种方法各有各的优势与缺点,使用其中一个方法定位车牌都存在一定的局限性。
因此,对于车牌定位需要各种方法综合区实现。
3.车牌校正由于拍摄机与车牌角度有不同的变化,往往所拍摄的车牌图像不一定都是理想状态的矩形,这样的情况将会给字符分割带来不利的影响,增加了字符分割的难度,更增加了后续的字符识别的困难,造成识别率下降。
因此,在字符分割之前,需要进行对倾斜的车牌校正。
4.字符分割字符分割是从获得的车牌照区域分割出单个字符,以便于进行字符识别的过程。
无论是中国车牌还是外国车牌,在默认理想状态下,字符连通且互不相连,因此基于模板匹配的字符分割可用于字符分割。
或者,可以使用垂直投影法,因为字符在垂直方向上的投影必定接近字符之间或字符内的间隙的局部最小值,并且这个位置满足应满足车牌的字符书写格式、字符、大小限制以及满足车牌的一些条件。
垂直投影法在一些复杂环境下对车牌图像的字符分割有很好的效果。
5.字符识别字符识别是将分割的每一个字符进一步地转换成文本并显示或者存储的过程。
字符识别目前常用的方法主要有两种:
基于模板匹配算法、神经网络算法。
对于基于模板匹配算法,需要将分割后的字符二值化,然后调整其尺寸大小为字符集模板中的大小。
最后匹配所有模板并选择最佳匹配作为结果。
模板匹配方法简单,但很容易对有断裂和粘连等情况的字符做出错误的判断。
相反,神经网络算法对字符的识别率高。
神经网络算法首先获取要识别的字符的特征,然后使用获得的特征来训练神经网络分配器。
二、车牌识别具体模块
(一)图像预处理图像预处理包括对图像进行灰度化、图像去噪、边缘检测等处理,以克服图像干扰,改善识别效果。
1.灰度化处理彩色的车牌图像包含大量的颜色信息,如果不经过处理,将会影响识别的效率。
将彩色图转换成灰度图像,不仅不会损失大量车牌信息,处理效率大大提高。
在OpenCv中可以直接使用CV:
Cvtcolor直接转化为灰度图,这是最统一的处理方式。
还可以使用以下公式设置每个像素的灰度值:
其中,R_Value、G_Value、B_Value分别是读取的RGB三通道的分量值。
2.图像二值化处理并且去噪所谓的二值化图像是指整一幅图像中,仅有一个黑、白二值的图像。
进行二值化变换的作用是使字符和背景分割开,要想达到二值化变换,关键在于确定合适的阈值。
阈值处理的操作过程是先由算法生成一个阈值,如果图像中的某个像素点的灰度值低于该阈值,则设置其为0或255,否则灰度值设置为255或0。
即基于尽量不模糊车牌以及字符边缘的目的之上,利用中值滤波法除去图像中的噪声。
中值滤波是一种邻域运算的非线性滤波,首先确定一个以某像素点为中心点的领域,接着将邻域中的像素按灰度等级从小到大排序,然后计算出中间值,将中间值赋值给对应的中心位置的像素,最终达到平滑效果。
(二)车牌定位1.图像的边缘提取所谓边缘是指周围像素灰度值有阶跃变化或屋顶变化的那些像素点的集合,它是图像分割、纹理特征提取和形状特征提取等图像分析的基础。
提取边缘,即观察特定邻域中的图像的每个像素的灰度级的变化,并且利用与边缘相邻的一阶或二阶方向的导数定律。
通常目标物体形成边缘存在以下情形:
1)呈在图像中的不同物体上展示而且深度不连续。
2)物体本身平面不一而且表面的连续方向也不一。
3)它自身的材料分布不均导致反光特性不一致。
4)它受外部光的影响不一致。
2.图像的边缘检测
(1)边缘检测概述传统的相关检测方法是利用有关图像中灰色最剧烈的地方的有关特点,通过对图像中像素点的进行微分从而确定相关点的特性。
我们分析可知经过一阶微分处理后图像的峰值点就是图像的边缘点,经过二阶微分处理后图像的零点同时也是图像的边缘点。
一般图像边缘检测方法主要有以下四个过程:
1)图像滤波:
我们知道传统的有关检测是利用对图像强度的有关一阶和二阶导数,不过我们知道在信号处理中导数的计算对噪声是很敏感的,所以为了提高该设备的相关性能我们必须要使用滤波器进行滤波处理。
但是任何事物都有两面,滤波器虽然可以过滤掉噪音,同时也会致使有关强度的降低,所以在我们需要对整个检测的过程按照实际需求做一个折衷的选择。
2)图像增强:
我们只有在确定图像各点有关强度的变化值后才能进行增强边缘的处理。
我们可以通过相关算法的处理将有关领域的强度数值凸显出来。
6F福建电脑U?
J?
I?
A?
N?
C?
O?
M?
P?
U?
T?
E?
R福建电脑2018年第12期F福建电脑U?
J?
I?
A?
N?
C?
O?
M?
P?
U?
T?
E?
RF福建电脑U?
J?
I?
A?
N?
C?
O?
M?
P?
U?
T?
E?
RF福建电脑U?
J?
I?
A?
N?
C?
O?
M?
P?
U?
T?
E?
RF福建电脑U?
J?
I?
A?
N?
C?
O?
M?
P?
U?
T?
E?
R3)图像检测:
经过分析我们知道在图像中有很多点的梯度幅值相对比较大,但是恰恰这些点不属于边缘,因此我们使用这种方法无法明确边缘点的具体存在。
4)图像定位:
假设在某些场景中,需要明确边缘的具体位置,那么我们可以通过分析子像素来确定边缘的位置,同时可以计算其有关方位。
(2)Robert算子通常Robert算子是利用局部分差来寻找边缘的,其类型较为简单。
它主要是利用有关像素之差和梯度幅值来进行相关检测,他检测最优异的方向就是垂直方向,而且定位能力很强,缺点也很明显,那就是对噪声的抗干扰能力不足它主要被用在一些边缘较为明显而且噪声较低的场合中。
由于该算子利用的是分差进行计算,导致经过它处理后的图像边缘都不是很光滑。
此外经过它处理后常常在边缘处产生较大的响应,因此我们使用这类方法得到的图像后期还要在进行一些细化处理,这也导致它的相关定位不是精准。
Robert算子的梯度公式:
为了计算的方便性,将其近似为上式可以通过两个卷积之和来表示:
所以,Robert算子模板为:
通过该Robert算子模板计算出来的图像,车牌区域图像的轮廓完全突出显示,车牌的笔划轮廓清晰,而照片其他部分的轮廓线并不突出。
3.车牌的定位在图像预处理之后,需要获得原始灰度图像中的牌照的具体位置,并且从整个图像中分割包含牌照字符的子图像,以便有利于后续的车牌识别。
通过边缘检测来分割图像。
在这里定位可利用车牌的部分特征来判断车牌照,如:
1)车牌区域内的边缘灰度直方图统计特征车牌区域内的边缘灰度直方图具有两个明显且分离的分布中心。
2)牌照的几何特征,即牌照的高度,宽度和纵横比都在一定范围内。
3)车牌形状特征和字符排列格式特征车牌有矩形边框,车牌字符位于矩形边框中且有间隔。
根据上述的部分特征,可以使用灰度图像数学形态学运算法。
利用车牌形状特征、字符排列格式特征,对预处理后的灰度图像进行一系列的形态学运算,得到直线与一定数目的字符相邻的区域即认为是车牌。
(三)字符分割汽车牌照图像字符分割的含义是将牌照区域划分为单个字符区域,以便于后续的字符识别算法。
在字符分割环节需要准确定位出车牌照中每一个字符的边界框,令其能够以单个字符的形式分割出来。
在字符分割中,常用选择的方法大致有两种:
垂直投影法和连通域法。
1.垂直投影法投影法利用字符块在垂直方向上的投影,以在正确的分割位置(即,字符或字符之间的间隙)获得局部最小值。
而且这个位置需要符合车牌字符规则和字符大小限制。
在垂直方向上投射牌照区域,并在水平方向上从左到右检测每个坐标的垂直投影值,当找到第一个局部最小点的时候,认为这个点是最左面字符的边界。
在水平方向上从右至左检测坐标的垂直投影数值,当找到第一个局部最小点的时候,认为这个点是最右面字符的边界。
获取两个字符的边界后,可以以相同的方式找到每个字符的边界。
如果单独使用投影方法,则造成字符的分割将过多,并且一个字符的两个部分将被分开的情况。
我们可以做进一步的处理,我们可以通过最左边和最右边的字符之间的边界来估计整个牌照区域的宽度。
标准车辆牌照由7个字符组成,大约为8个字符宽。
我们可以估计出每个字符的近似宽度,然后合并过度分割的字符以实现更好的分割。
2.连通域法每一个字符或者字符的一部分构成一个连通域,把这些连通域分割出来,也就分割出单个字符了。
车牌上的字符一般都是除一个汉字外的所有字母或数字,也就是说,在理想状态下是全连通的,因此使用连通域的方法对车牌字符进行分割是一种常见的算法。
对于第一个字符,可以使用位置,大小等信息进行连通域的合并。
然而,在实际情况中,许多车牌的噪声非常大,而极端的情况是即使是人眼也无法区分它,单凭连通域很难取得让人满意的结果。
于是在其基础上加上了很多改进方法,例如二值化方法的改进,因为车牌是几种颜色的固定组合,利用彩色二值化更有目的性和针对性。
也可以考虑通过使用牌照本身的先验知识来合并或者分割连通域。
另外对字符粘连所产生的大的连通域可以考虑重新选取阈值再进行分割。
使用这些改进的方法也可以实现更好的分割结果。
(四)字符识别车牌识别隶属于模式识别领域的分支,对于一般的字符识别过程来说,从输入的样本点阵图形提取描述该字符的特征,然后根据一定的标准来确定样本所属的模式类别。
因此字符描述,特征提取与选择,分类判决,是字符识别的三个基本环节。
在本文中主要讨论特征提取。
1.特征提取1)什么是特征一幅图像中总存在着其独特的像素点,这些点我们可以认为就是这幅图像的特征,称为特征点。
计算机视觉领域中非常重要的图像特征匹配就是以特征点为基础而进行的,因此如何在一幅图像中定义和查找特征点非常重要。
2)HOG特征提取我们通过对图像进行相关计算和统计分析得到它的有关梯度方向直方图的特性。
该特征结合其他一些设备被大量使用到相关图形识别技术中,特别是针对有关行人的检测更是取得了显著的成果。
3)HOG原理及优点7F福建电脑U?
J?
I?
A?
N?
C?
O?
M?
P?
U?
T?
E?
R福建电脑2018年第12期F福建电脑U?
J?
I?
A?
N?
C?
O?
M?
P?
U?
T?
E?
RF福建电脑U?
J?
I?
A?
N?
C?
O?
M?
P?
U?
T?
E?
RF福建电脑U?
J?
I?
A?
N?
C?
O?
M?
P?
U?
T?
E?
RF福建电脑U?
J?
I?
A?
N?
C?
O?
M?
P?
U?
T?
E?
R方向梯度直方图特征常用于计算机视觉和图像处理中的目标物体检测与特征分析。
HOG原理是通过计算和统计图像局部区域的梯度方向直方图来实现特征描述的。
特征直方图反映出来的是某一特征的概率分布。
与其他的特征描述方法相比,HOG有很多优点:
它所表示的是边缘有关的结构特点,所以它可以将图像中的一些部分信息表达出来;通常由于平移和旋转带来的影响可以由方向的量化进行部分抵消;此外由于光照产生的影响则可以由将区域直方图进行统一规划处理得到。
与此同时由于我们将光线对图像的相关影响忽略了,也使得图像表面有关数据特征降低了。
此外由于这种处理方法本身的特点,导致被处理的图像上的像素点之间的相关关系很好的表达出来。
4)HOG特征提取步骤首先是归一化处理。
先将原图片转化为灰度图像,再采用Gamma校正。
目的是调节图像的对比度,可以将阴影和光线变化带来的有关影响降低,于此同时还可以降低有噪声带来的干扰。
对于图像H(x,y),计算图像在(x,y)处的水平方向和垂直方向的梯度,然后在根据以上的有关数据来进行下一步的计算;我们知道通过求导不仅仅可以获得图形的轮廓以及一些其它的细节信息,此外还可以降低光线变化带来的影响。
具体某点的梯度计算过程如下所示:
目前常用做法是:
计算水平与数值方向梯度只需要对图像进行模板卷积即可得到,水平模板为-1,0,1,竖直模板为1,0,-1T。
第三步,统计梯度方向,将图像划分为8x8个方格单元,2x2个单元组成一个块,然后对属于块内的像素点进行投票统计,计算每个方块单元的梯度特征,每个像素点梯度方向都采用线性插值,将每个方块单元梯度特征组合在一起。
然后,对特征向量进行归一化。
为了克服不均匀变化的光照一i及前景与背景的对比差异,需要对块内特征向量进行归一化处理。
第一步是对每个块内36维特征v进行L2-norn归一化,公式为:
采用L2-hys重新进行归一化,同时控制限制v的最大值是0.2。
因为相邻块之间可能出现重叠的可能,使得每个单元对块都有影响,所以要对梯度强度归一化,使得每个单元的特征在最终特征向量中呈现多次。
最后一步是生成特征向量,将图片上的每一个块特征组合在一起,得到图像HOG特征。
设定步长为8像素时,相邻快之间会有12个相邻单元重叠,每个单元对周围的4个块都有贡献。
对于特征维数计算,图像分为mn个方格单元,且一个方块单元由ss个方格单元组成,最后得到HOG维数为(m-s+1)(n-s+1)(ssN)。
N为单个块中的维数,将这么多的维特征当做测试样本,用Haar分类器来判别出,这些窗口的HOG特征是否有车牌信息,HOG车牌特征及所对应的Haar分类器的参数,在OpenCV中已经训练好了,我们只需要得到HOG特征,然后调用Haar即可得到判别结果。
结语本文主要阐述了OpenCv中的车牌识别理论知识,分别阐述了在不同的重点步骤中简单又准确的算法理论知识。
总结如下:
1)车牌定位方法:
边缘检测定位算法。
2)字符分割方法:
垂直投影法以及连通域法。
3)字符识别方法:
1.结构特征分析方法;2.模板匹配法;3.神经网络法。
在研究完这些理论知识后,也定下了往后的研究方向:
当图像中有多个车牌的处理、识别速度及准确度的提高、神经网络在其的应用以及决策树算法对图像识别的应用。
参考文献:
1张平.OpenCV算法精解.电子工业出版社,2017;122-179,223-292;2朱伟,赵春光,欧乐庆,王寿峰.OpenCV图像处理编程实例M.北京:
电子工业出版社,2016:
194-195,279,303-304.3袁义强.基于车牌识别的违章车辆智能检测D.南京:
南京邮电大学,2017:
1-58.4黄大光.车牌自动识别系统的设计与实现D.吉林:
吉林大学,2016:
1-375高聪.车牌识别系统中字符识别的研究D.广州:
广东工业大学,2017:
1-356马玲.基于图像处理技术的车牌定位与字符分割算法研究.东北大学硕士论文,2015.1-15;作者简介:
洪传豪(1997-),男(汉),广东汕尾市城区,学生,本科,主要研究方向:
计算机视觉E-mail:
;丁兵兵(1981-),女(汉),河南省许昌市魏都区,讲师,学士,主要研究方向:
计算机应用,图像处理等。
机时代,2015年5期:
26-282徐旨胜.移动IP切换技术研究D.南京邮电大学,2008年3赵陇;章早立.IPv6隐私保护及安全性分析J.福建电脑,2015年5期:
91,854雷正泓.基于IPv6协议的计算机网络安全性分析J.中国新通信,2018.17:
111-1125檀小璐,娄雨;基于IPv6环境下的网络安全关键技术研究J.电脑知识与技术,2016年34期:
47-48通信作者:
宋燕燕(1978-),女,浙江人,硕士,中国传媒大学南广学院副教授,数媒教研室主任,主要从事计算机应用的教学与研究。
E-mail:
so鄄mmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmmm(上接第24页)8
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 OpenCv 车牌 识别 研究