车牌自动识别 摘要——车牌自动识别（LPR ）在众多的应用程序和一些已经被提出的重要技术中扮演了重要的角色。然而，他们中的大多数工作在特定的约束条件下，如固定照明，有限的车辆速度，设计好的路线，和固定的背景。在这项研究中，考虑尽可能减少约束工作环境。LPR 技术包括两个主要模块：车牌定位模块和号码识别模块。前者是试图从的输入图像中提取车牌上模糊的字符，后者就神经学科概念化而言的目的是识别车牌的号码。各个模块已进行了实验。在定位车牌实验研究中，1088个图像从各种场景和不同的条件下拍摄得出。其中，23个图像未能在图像上找到车牌；车牌定位的成功率是97.9%。在识别车牌号码实验中，1065个被成功定位的车牌图像进行实验。其中，47个图像未能识别位于图像中车牌号码, 识别成功率是95.6%的。结合上述两个比率，对于我们的车牌识别算法的总体成功率是93.7%。
索引术语——色彩边沿探测器，模糊化，识别号码许可，车牌定位，车牌识别（LPR ），自行组织（SO ），字符识别，弹性模型、拓扑分类、两级模糊聚集。
一、引言
自动车牌识别（LPR ）在许多应用中占有重要的位置，，如无人值守的停车地段[ 31 ]，[ 35 ]安全控制限制区[ 8 ]交通执法[ 7 ]，[ 33 ]，和堵车调查[ 5 ]，，自动收费[ 20 ]。由于不同的工作环境，车牌识别技术的程序多种多样。大多数以前的技术从某些方面限制了他们的工作环境[ 9 ]，如限制他们只能在室内工
作，固定的背景[ 30 ]，固定的照明[ 7 ]，规定的车道[ 22 ]，[ 26 ]限定车辆速度[ 1 ]，或指定相机和车辆之间的距离范围[ 23 ]。的目标，这次研究的目的是减少这些限制。
在不同的工作条件下，室外场景和非平稳的背景这两个因素可能是最影响获得图像的质量并且在技术上的需要更加复杂的技术支持。在一个室外环境中，白天的照明条件变化虽然缓慢，但是由于天气条件和传递的对象（例如，汽车，飞机，云，和立交桥）的变化可能导致的迅速改变。此外，当他们移动或变焦时，定向相机会创建动态的场景。这个动态场景的图像可能包含多个牌照或无牌照。此外，当他们出现在一个图像中时，车牌可能以任意大小，方向和位置出现。而且，如果涉及复杂的背景，检测的车牌将会变成一个相当有挑战性的事情。
通常，一个车牌识别的过程包括两个主要阶段：1）车牌定位和2）识别车牌号码。在第一阶段，在候选车牌的基础上确定车牌特征。常用的特点来有自车牌格式数字和字符构成的车牌编号。该特征对于车牌格式包括形状，对称性
[ 15 ]，高度—宽比[ 23 ]，[ 25 ]，颜色[ 17 ]， 25 ]，灰度纹理[[ 2 ]，[ 25 ]，空间频率[ 26 ]，[ 8 ]和强度值的方差，[ 10 ]。字符特征包括线[ 34 ]，点[ 13 ]，梯度值过度标志，字符的纵横比[ 12 ]，[ 28 ]的字符之间的间隔分布，和字符对齐
【32】。在现实中，一小部分强大，可靠并且易于检测的对象特点是足能够胜任的。
候选车牌的定位是在车牌号码识别阶段。有参与识别阶段的两大过程，字符分割和字符识别。在过去已经完善的车牌分割技术有投影[ 11 ]，[ 30 ]，形态[ 2 ]，
[ 10 ]，[ 28 ]放宽标记，连接部件[ 25 ]，和斑点着色。每一个技术有自己的优点和缺点。由于投影方法是假设车牌定位，而另一种形态学方法需要知道字符的尺
寸，由于其所需的假设，所以这两种应用方法不适合我们的应用程序。放宽标记本质上会导致反复和耗时。在这项研究中，一种混合的连接部件和斑点着色技术被认为最适合字符分割。
已经有大量的字符识别技术报告。他们包括遗传算法 [17],人工神经网络 [2],
[16], [26], 模糊c-均值聚类 [25], 向量计算机支持[16], 马尔科夫过程 [6], 和有限时序机[1]。这些方法大致可分为迭代和非迭代方法。有一个权衡这两组的方法；迭代方法实现更好的精度，但在增加时间复杂度的成本。在这项研究中，当需要我们在两者中做出选择时，精度比时间复杂度需要我们投入更多的注意。为此，我们开发了我们自己的字符识别技术，它是基于人工神经网络和力学学科。
本文的其余部分安排如下，部分II 将基于车牌识别技术的思想来阐述车牌类型，所提出的技术的两个主要阶段，车牌定位和车牌号码识别，将分别在部分III 和IV 中详细讨论，而部分V 将展示新的实验结果，未来的工作想法则在部分VI 给出。
II. 车牌识别技术
在这一部分中，车牌的种类在这项研究中进行了讨论，其次简要描述了车牌识别过程。表一显示了在台湾车辆上车牌的不同种类。每一个种类都和一类特殊的车辆相关。这些种类包括私人汽车，出租车，旅游巴士，卡车，及政府车辆。其他类别的车辆，如汽车和军事外交车辆，都没有解决，因为他们很少看到。车牌样式可以很容易地基于属性区分：1）所使用的颜色组合，2）车牌号的成分语义。
如表所示I ，每个种类都有不同的前景和背景颜色。然而，在所有四个不同的颜色（白色，黑色，红色，绿色）被使用在这些车牌。当在输入图像中搜索车牌时，我们要注意这四种颜色。车牌号码成分中的语义提供了额外的信息来区分车牌样式。可以在表I 中看到，每一个车牌号码是由连字符分隔的两部分（例如，e1-2345）。第一部分是由两个字组成的，其中之一必须是一个字母字符（例如，E1，2F ，和EF ）。第二部分可能含有四（例如，2345）或三（例如，234）个数字，前者只用于私人汽车，后者被用在其他车辆类别。
图1显示了车牌识别过程。我们假设这个过程发生在一个事件检测系统中，例如，车辆检测器或交通执法系统。一旦系统检测到一个事件，那么相机会随着系统而激活，然后由相机获得的图像进入车牌识别过程中，从图像中我们提取潜在的车牌。如果没有牌照被发现，过程返回到等待另一个输入图像。然而，在通常情况下我们会检测到多个候选车牌，它们在车牌号码识别阶段被仔细检查。涉及这一阶段的有两个基本任务，字符分割和识别。这两个任务选择调用以实现分割和识别的最佳结果。字符从候选车牌在这个阶段，在确认验证阶段之后。字符组将被视为一个有效的车牌号码如果它符合在前文提到的车牌号码的语义成分。无论是有效的车牌号码还是相关的车辆类别将由车牌识别过程返回。然后所有的候选车牌重复进行识别和确认阶段。之后过程返回到等待图像输入阶段。
在部分III 和IV ，看看我们的车牌定位模块和车牌识别模块的细节。
III 车牌定位模块
A 、基本概念
一个车牌定位模块的流程图如图2所示。该模块的输入是RGB 彩色图像。记得，我们认为只有四种颜色（白，黑，红，绿）在牌照中使用。还注意到，有许多的边缘，这是密切的相互接近和分散在一个重复的方式，包含在一个车牌。上述的观察促使我们开发的彩色边缘检测。边缘检测是只有三种敏感的边缘，黑色和白色，红色和白色，绿白色（见最后一列
表1）。由于其他的车牌边缘检测对象很少，即使当图像的背景很混乱，也可以通过忽略图像中的其他类型的边缘来从输入图像的彩色边缘检测，并设E 计算表示地图的边缘。其次，在HSI 空间中对输入的彩色图像的RGB 空间转换。让(R,G,B)和(H,S,I)来 表示（红，绿，蓝）和（色调，饱和度，亮度）的图像值像素，分别从(R,G,B)到(H,S,I)[ 3 ]是
在那里，有一些有趣的特性与恒生指数相关的颜色模型是有用的应用程序，包括色调和光照阴影的不变性，以及饱和的不变性来观察方向和表面方向。让H.S 和I 分别保持映射的色相，饱和度，和变换后的图像的亮度分量。图像E,H,S 和I 对于噪音，误差和不完善处理方面的缺陷是不可避免的。为了弥补这个缺点，我们呼吁软计算技术植根于模糊（车牌定位）和神经（牌照号码识别）学科。让H,S,I 和E 是模糊版本的H,S,I 和E ，在模糊映射条目表示程度的属于一个车牌。一个两阶段的模糊集合引入到集成地图。在第一阶段，模糊地图H,S 和I 成为一体，由此产生的地图与E 在导致一个单一的地图第二阶段下结合，表示M 。使
用两阶段聚合的原因是因为固有的特性（颜色相关）的H ，S ，并且I 和E 是不同的（边缘的大小有关）。然后基于地图M ，其中在输入图像中感兴趣的区域是区域的最大值m 。然后确定候选车牌中那些感兴趣的区域的大小是足够大的。
B 、彩色边缘检测
彩色边缘检测器只针对三种边缘（即，黑的白的，红、白、绿白边）。考虑一个黑色白边，并假设输入的RGB 彩色图像被归一化到一个图像。理想情况下，该（r ，g ，b ）的一个白色像素和黑色像素值分别应该是（1,1,1）和（0,0,0）。
他们的区别是（1,1,1）和（0.0.0）所以所有的组成部分差矢量白
色和黑色像素之间会有相同的符号。这个属性是相当稳定的环境下的变化。黑白边缘像素是基于此属性如下定义。图像的像素被视为一个黑白边缘点，如果所有的像素和它的一个邻居是相同的之间的差异向量分量的迹象，例如
在N 是邻居像素的图像集。我们
也将它的边缘的大小定义为
边缘模糊的地图。
在类似的方式，一个图像的像素是一个边缘的是红白色的点，如果它的差分向量
1) 对于一些满足以下条件：；2）
，对边缘像素的大小被定义为
果对于一些和，最后，如边缘的大小被使用后产生一个图像像素的边缘像素是绿色和白色，那么1）
，
它的边缘的大小是由2）和决定，图像的像素，
不是边缘点的那个给出零边值。
C. 模糊图 生成一个模糊图的基本思想是从一个如下给定的地图（例如H,S,I 或E ），由于每个地图编码对场景的一些特征，在地图上的任何细胞进入细胞具有这种特性的表现程度。为了突出对应的感兴趣的对象的细胞（例如，车牌），我们将对这些细胞大条目是与对象的已知特征的兼容。这样大的作品显示了高度的一个有趣的对象存在。我们把得到的地图的原始地图的特征地图。
由于输入数据（包括给定的地图和对象的字符—特性）是不完美的，不确定性应考虑—计数的特征映射计算中。模糊集被称为建模提供了一个优雅的工具不确定性[ 14 ]，[ 18 ]，[ 27 ]。在这项研究中，我们引入了模糊—感的特征映射条目和指结果作为模糊的地图。有几种方法来实现模糊—性。我们定义了一个广义模糊集，称为“像一个车牌号码，在色调，饱和度，强度相应的设置，和边缘强度。每四组作为一种通用的设置模糊集合的。
考虑色调值的通用设置。假设对象感兴趣的颜色是C ，而C 的色
彩值对应的是
“对象”可以写作，在地图H 的入口，说h 的隶属度是 ，本条目属于模糊集的
那里是一个正的常数。如果给定的输入等于感兴趣的对象，然后隶属度为1。由于色彩之间的差异增加，会员减少至0的渐近值的程度。记得，有四种颜色（黑，白，红，绿）用于感兴趣的车牌。让和的色调值分别变为红色和绿色，请注意，消色差的颜色的色调（即，各级灰色，包括黑色和白色）没有定义由于色调方程的分母为零（1）。因此，我们将突出红色和绿色，而不是基于地图H 的黑和白。模糊隶属函数图最终被定义为
在这里，可以作为任意模糊联盟算子（任何模功能）。
2）地图：由于模糊地图只能表示颜色红色和绿色，我们需要其他的手段来处理黑色和白色。根据S 在（1），所有的消色差的颜色有相同的饱和度S 。此外，该值是小于任何颜色。基于这些事实，我们产生一个模糊地图
上区分的色差和消色差的颜色。隶属函数
这表明当较小的那个饱和值越大，它越有可能是来自无色的那个。
地图：虽然色差和消色差的颜色可以从对方根据其饱和值分开，黑白必从地图S 的定义为须进一步区别于其他消色差的颜色。为此，我们指望强度图。因为黑色和白色的亮度值对应的HSI 坐标系统的轴的强度的两个极端值，以下功能强调颜色和强度值接近两极
这个假定的工作环境，具有0.5的平均强度。然而，黑色和白色会被扭曲，在某些情况下。例如，一个白色的颜色可以在黑暗的环境中会出现灰色，在明亮的环境中黑色。为了补偿这种失真，上述方程中的常数0.5可能与平均值代替，地图。然后我们定义了模糊映射的隶属函数
地图：基于模糊映射和的的图像区域可以区分有黑，白，红或为绿颜色。然而，这些地区的大部分无关车牌。边缘图在鉴别中发挥了至关重要的作用对不相关的区域。因为有许多接近的边缘在车牌和分布在一个重复的方式，图像像素的邻居拥有大的边缘大小会一个高的可能性，它属于一个车牌。因此，
我们定义了模糊隶属度函数的边缘地图是
这里考虑的是图像像素水平附近像素，是像素在的边缘强度，是和像素点间的欧氏距离。以上功能我们不在乎
本身。
D. 模糊集合 的边缘大小和像素
每一个模糊的地图定位车牌提供的信息在输入图像板。有两种方法可以得出一个结论—
从一组映射的锡安。在第一个，中间的决定对个别地图的基础和最终的结论是从中间的决策制定。第二，多个地图是第一个集成到一个单一的地图，和最后的结论就从集成地图。因为第一种方法涉及到的数值计算和符号的决定，我们倾向于第二种方法，其中包括只有数值计算。在第二种方法，模糊图
集成到一个单一的地图
于这一目的。
在聚合的第一阶段，模糊图
作为模糊图，，通过细胞与细胞保持完整，让和，决定所根据，和。一个两阶段的模糊集合是介绍了用对应细胞的条目，汇集条目是
记得在一个模糊的地图一个大条目显示高度的可能性，进入属于定义一个车牌。然而，如果细胞有小的多数在输入的变化（即，具有几乎均匀的分布条目）是在一个模糊的地图，检测车牌，地图的实用性恶化。看到这，考虑图片在晚上或阴雨天了。总体上，图片将黯淡。图像的整体强度往往是小，这反过来又导致
大的饱和值在整个图片[见（1）]。无论是强度和饱和度的地图有点定位车牌因为条目相媲美。在所有的模糊的地图，这是可取的，比较小地图部分的具有大的条目，而其余的区内有小的值。这样的地图，将得到一个大体重反映程度高的地图的重要性。让
重要程度）是由 从N 中变成任意模糊图像M 的大小，它的重量（或
当
的最大值其中最小值的阈值是
和
表示在地图和的重量，这一点和（7）相同
四、车牌识别模块
A 、基本思想
图3给出了用于识别模块的程序流程图。有两个主要组件构成的模块，图3。对于车牌识别模块流程图。预处理与识别。预处理部分由三个任务组成，二值化，连接组件标记，并去除噪声，排列顺序。识别部件是由两个主要步骤，字符分割与识别。获得对于程序的优化结果，他们或者调用。由于相机可以滚和/或斜的对车牌图像，他们将是可取的在执行许可一个预定义的大小和方向号码识别。然而，没有信息的摄像机和工作环境之间的关系，这转换只能通过试验和错误，盲目地进行。在该方法中由于转换步骤略，在后续步骤中的困难是不可避免的将增加。考虑到车牌的候选，它是第一个跳。因为有些信息可能会丢失在二值化，可变阈值方法先前提出的中川和罗森菲尔德[ 24 ]采用。该技术确定局部最优阈值的每一个像素
以避免来自非均匀照明问题。虽然可变阈值不能完全弥补上述信息丢失，它至少保存信息，可以使用一个恒定的时候丢了二值化方法。有二值化步骤的目的有两个：突出人物和抑制背景。然而，无论是理想的（例如，字）和不需要的（例如，汽车板的噪声和边界）的图像区域经常出现在二值化。
为了消除不需要的图像区域，连通分量的算法应用到识别板的候选人。连接元件的纵横比的计算。其纵横比在规定的部件范围被删除。然后其余部件的对准是通过使用Hough 变换的中心重力分量。组件不同意对准被删除。如果剩余的部件的数目仍大于规定数量（八在实践中），连接的组件被删除的时间入手最小的。在这里，我们选择八作为规定数量因为车牌号码由五或六个字符，字符可能被打破。去除过程一直持续到两个条件得到满足。任何数量的剩余成分等于规定数目，或一个戏剧性的变化在大小从以前删除组件目前考虑的是遇到。我们假设噪声分量比人物小得多。上面的程序不保证每个幸存下来的部件将对应于一个个性。一个组件可能是由于噪声，一个不完整的字符，一个性格的扭曲，或出现接触特征。为了区分它们，我们利用车牌的属性，包括个别字符的纵横比，定期字符之间的字符和数字组成，车牌编号。我们称这些属性统称为车牌结构约束。我们还介绍了运营商删除，合并，分裂，恢复到字符分割程序。注意，字符可能会错过的车牌定位、二值化。恢复操作介绍了检索缺字。处理在分割过程中应用三个运营商（删除，合并，分裂）的组的生存组试图确定如果一个组件满足结构约束的车牌。如果这样的组件可以被确定，字符识别程序来识别组件的特性。的上述过程重复直到没有字符可以提取现存的组件集。此后，如果提取的字符数小于许可的字符数数字，恢复运营商开始在最外层的人物这些检测和搜索的知名人物角色的定位。继续搜索，直到没有人物可以在确定的程度字符的平均宽度和字符之间的间隔。其次，确定字符集验证确认阶段，其中成分的语义车牌编号起着重要的作用。字符集将被视为是否同意组成一个有效的车牌号码成分的语义。
B. 光学字符识别
本节我们讨论的字符识别程序。因为，正如已经提到的，车牌可弯曲和/或相对于摄像机倾斜，特征提取从这样的车牌可能会变形。此外，输入人物可以是嘈杂的，损坏或不完整。该字符识别技术能够容忍这些缺陷。在这图4。节点类型：（一）终点，（B ）三节点，和（c ）四节点。研究中，我们发展自己的字符识别方法适合我们的特殊应用。该方法包括
三个步骤：特征分类，拓扑排序，并自组织（SO ）的识别。在第一步骤中，输入的字符区分为数字或字母。这是很容易的参照车牌号成分的语义实现。在接下来的步骤中，该拓扑的特点输入的字符进行计算与比较预存的字符模板。兼容模板形式一个测试集，其中的字符模板的最佳匹配输入的字符被确定。模板测试通过一个字符识别程序。
1）拓扑排序：字符的拓扑特征利用在这项研究中包括的孔的数量，最后—点，三和四节点，节点（见图4他们定义）。这些功能是不变的空间变换（包括旋转，平移和尺度变化）。此外，这些特征，这是定性的，可以很容易地和可靠的检测与定量特征。然而，输入的字符通常是不完善的；额外的或丢失可能发生的特点。以下规则采用拓扑排序。一个字符模板与一个给定的兼容特点1）时在孔数差异的范围内，2）之间的差异任何类型的节点数的范围内。在这里，一个较小的范围内给出的孔特征因为它在检测通常是更可靠的比结。在我们的实验中不超过三的十个数值字符模板六出26个字母字符模板已通过拓扑排序在任何给定的字符。这大大减少在测试集模板的数量，因此其时间复杂度为字符识别。
2）模板的测试：在测试集的模板匹配对输入的字符和确定的最佳匹配。模板测试主要是使用这样的字符识别的方法来完成的，它是基于Kohonen 等神经网络[ 19 ]。该技术背后的思想如下。给定一个未知的字符和字符的模板，输入的字符是在突触权值编码在神经网络的层之间的联系。性格这里的模板作为一个刺激，反复支配神经网络，使神经突触权重网络逐渐改变。这个过程将一直持续到权重稳定。我们总结的突触权重的变化在加工过程中。
在某种意义上重总的变化反映了未知字符和之间的相异程度个性模
板。让文字模板河畔集合—生境与未知输入字符拓扑排序。让表示计算的差异是—未知字符和字符模板之间。这是自然，特征模板具有最小的相似与不同的未知字符是班这未知的特征属。
一）神经模型：在这一部分，我们简要的关键组件，Kohonen 神经网络模型，这将在以后的实际执行。参考图5，所以神经网络的基本结构是由两层组成，输入层和一个这样的层。
2002年11月manuscript ）；8月，修订，2003年。这 支持的工作是由国家科学委员会，中华民国。
根据合同的NSC - 89 - 2218 - 003 - 002。在本论文的副编辑 A 为吉。
第5场，L. 和C. Y. S. Chen，钟是与信息部 信息与计算机教育，国立台湾师范大学，台北市 台湾，中华民国
陈第W 是与学院计算机科学与信息
信息工程，国立台湾师范大学，台北，台湾，中华民国 （schen csie.ntnu.edu.tw电子邮件：@）。
数字对象标识符10.1109 / tits.2004.825086
车牌自动识别 摘要——车牌自动识别（LPR ）在众多的应用程序和一些已经被提出的重要技术中扮演了重要的角色。然而，他们中的大多数工作在特定的约束条件下，如固定照明，有限的车辆速度，设计好的路线，和固定的背景。在这项研究中，考虑尽可能减少约束工作环境。LPR 技术包括两个主要模块：车牌定位模块和号码识别模块。前者是试图从的输入图像中提取车牌上模糊的字符，后者就神经学科概念化而言的目的是识别车牌的号码。各个模块已进行了实验。在定位车牌实验研究中，1088个图像从各种场景和不同的条件下拍摄得出。其中，23个图像未能在图像上找到车牌；车牌定位的成功率是97.9%。在识别车牌号码实验中，1065个被成功定位的车牌图像进行实验。其中，47个图像未能识别位于图像中车牌号码, 识别成功率是95.6%的。结合上述两个比率，对于我们的车牌识别算法的总体成功率是93.7%。
索引术语——色彩边沿探测器，模糊化，识别号码许可，车牌定位，车牌识别（LPR ），自行组织（SO ），字符识别，弹性模型、拓扑分类、两级模糊聚集。
一、引言
自动车牌识别（LPR ）在许多应用中占有重要的位置，，如无人值守的停车地段[ 31 ]，[ 35 ]安全控制限制区[ 8 ]交通执法[ 7 ]，[ 33 ]，和堵车调查[ 5 ]，，自动收费[ 20 ]。由于不同的工作环境，车牌识别技术的程序多种多样。大多数以前的技术从某些方面限制了他们的工作环境[ 9 ]，如限制他们只能在室内工
作，固定的背景[ 30 ]，固定的照明[ 7 ]，规定的车道[ 22 ]，[ 26 ]限定车辆速度[ 1 ]，或指定相机和车辆之间的距离范围[ 23 ]。的目标，这次研究的目的是减少这些限制。
在不同的工作条件下，室外场景和非平稳的背景这两个因素可能是最影响获得图像的质量并且在技术上的需要更加复杂的技术支持。在一个室外环境中，白天的照明条件变化虽然缓慢，但是由于天气条件和传递的对象（例如，汽车，飞机，云，和立交桥）的变化可能导致的迅速改变。此外，当他们移动或变焦时，定向相机会创建动态的场景。这个动态场景的图像可能包含多个牌照或无牌照。此外，当他们出现在一个图像中时，车牌可能以任意大小，方向和位置出现。而且，如果涉及复杂的背景，检测的车牌将会变成一个相当有挑战性的事情。
通常，一个车牌识别的过程包括两个主要阶段：1）车牌定位和2）识别车牌号码。在第一阶段，在候选车牌的基础上确定车牌特征。常用的特点来有自车牌格式数字和字符构成的车牌编号。该特征对于车牌格式包括形状，对称性
[ 15 ]，高度—宽比[ 23 ]，[ 25 ]，颜色[ 17 ]， 25 ]，灰度纹理[[ 2 ]，[ 25 ]，空间频率[ 26 ]，[ 8 ]和强度值的方差，[ 10 ]。字符特征包括线[ 34 ]，点[ 13 ]，梯度值过度标志，字符的纵横比[ 12 ]，[ 28 ]的字符之间的间隔分布，和字符对齐
【32】。在现实中，一小部分强大，可靠并且易于检测的对象特点是足能够胜任的。
候选车牌的定位是在车牌号码识别阶段。有参与识别阶段的两大过程，字符分割和字符识别。在过去已经完善的车牌分割技术有投影[ 11 ]，[ 30 ]，形态[ 2 ]，
[ 10 ]，[ 28 ]放宽标记，连接部件[ 25 ]，和斑点着色。每一个技术有自己的优点和缺点。由于投影方法是假设车牌定位，而另一种形态学方法需要知道字符的尺
寸，由于其所需的假设，所以这两种应用方法不适合我们的应用程序。放宽标记本质上会导致反复和耗时。在这项研究中，一种混合的连接部件和斑点着色技术被认为最适合字符分割。
已经有大量的字符识别技术报告。他们包括遗传算法 [17],人工神经网络 [2],
[16], [26], 模糊c-均值聚类 [25], 向量计算机支持[16], 马尔科夫过程 [6], 和有限时序机[1]。这些方法大致可分为迭代和非迭代方法。有一个权衡这两组的方法；迭代方法实现更好的精度，但在增加时间复杂度的成本。在这项研究中，当需要我们在两者中做出选择时，精度比时间复杂度需要我们投入更多的注意。为此，我们开发了我们自己的字符识别技术，它是基于人工神经网络和力学学科。
本文的其余部分安排如下，部分II 将基于车牌识别技术的思想来阐述车牌类型，所提出的技术的两个主要阶段，车牌定位和车牌号码识别，将分别在部分III 和IV 中详细讨论，而部分V 将展示新的实验结果，未来的工作想法则在部分VI 给出。
II. 车牌识别技术
在这一部分中，车牌的种类在这项研究中进行了讨论，其次简要描述了车牌识别过程。表一显示了在台湾车辆上车牌的不同种类。每一个种类都和一类特殊的车辆相关。这些种类包括私人汽车，出租车，旅游巴士，卡车，及政府车辆。其他类别的车辆，如汽车和军事外交车辆，都没有解决，因为他们很少看到。车牌样式可以很容易地基于属性区分：1）所使用的颜色组合，2）车牌号的成分语义。
如表所示I ，每个种类都有不同的前景和背景颜色。然而，在所有四个不同的颜色（白色，黑色，红色，绿色）被使用在这些车牌。当在输入图像中搜索车牌时，我们要注意这四种颜色。车牌号码成分中的语义提供了额外的信息来区分车牌样式。可以在表I 中看到，每一个车牌号码是由连字符分隔的两部分（例如，e1-2345）。第一部分是由两个字组成的，其中之一必须是一个字母字符（例如，E1，2F ，和EF ）。第二部分可能含有四（例如，2345）或三（例如，234）个数字，前者只用于私人汽车，后者被用在其他车辆类别。
图1显示了车牌识别过程。我们假设这个过程发生在一个事件检测系统中，例如，车辆检测器或交通执法系统。一旦系统检测到一个事件，那么相机会随着系统而激活，然后由相机获得的图像进入车牌识别过程中，从图像中我们提取潜在的车牌。如果没有牌照被发现，过程返回到等待另一个输入图像。然而，在通常情况下我们会检测到多个候选车牌，它们在车牌号码识别阶段被仔细检查。涉及这一阶段的有两个基本任务，字符分割和识别。这两个任务选择调用以实现分割和识别的最佳结果。字符从候选车牌在这个阶段，在确认验证阶段之后。字符组将被视为一个有效的车牌号码如果它符合在前文提到的车牌号码的语义成分。无论是有效的车牌号码还是相关的车辆类别将由车牌识别过程返回。然后所有的候选车牌重复进行识别和确认阶段。之后过程返回到等待图像输入阶段。
在部分III 和IV ，看看我们的车牌定位模块和车牌识别模块的细节。
III 车牌定位模块
A 、基本概念
一个车牌定位模块的流程图如图2所示。该模块的输入是RGB 彩色图像。记得，我们认为只有四种颜色（白，黑，红，绿）在牌照中使用。还注意到，有许多的边缘，这是密切的相互接近和分散在一个重复的方式，包含在一个车牌。上述的观察促使我们开发的彩色边缘检测。边缘检测是只有三种敏感的边缘，黑色和白色，红色和白色，绿白色（见最后一列
表1）。由于其他的车牌边缘检测对象很少，即使当图像的背景很混乱，也可以通过忽略图像中的其他类型的边缘来从输入图像的彩色边缘检测，并设E 计算表示地图的边缘。其次，在HSI 空间中对输入的彩色图像的RGB 空间转换。让(R,G,B)和(H,S,I)来 表示（红，绿，蓝）和（色调，饱和度，亮度）的图像值像素，分别从(R,G,B)到(H,S,I)[ 3 ]是
在那里，有一些有趣的特性与恒生指数相关的颜色模型是有用的应用程序，包括色调和光照阴影的不变性，以及饱和的不变性来观察方向和表面方向。让H.S 和I 分别保持映射的色相，饱和度，和变换后的图像的亮度分量。图像E,H,S 和I 对于噪音，误差和不完善处理方面的缺陷是不可避免的。为了弥补这个缺点，我们呼吁软计算技术植根于模糊（车牌定位）和神经（牌照号码识别）学科。让H,S,I 和E 是模糊版本的H,S,I 和E ，在模糊映射条目表示程度的属于一个车牌。一个两阶段的模糊集合引入到集成地图。在第一阶段，模糊地图H,S 和I 成为一体，由此产生的地图与E 在导致一个单一的地图第二阶段下结合，表示M 。使
用两阶段聚合的原因是因为固有的特性（颜色相关）的H ，S ，并且I 和E 是不同的（边缘的大小有关）。然后基于地图M ，其中在输入图像中感兴趣的区域是区域的最大值m 。然后确定候选车牌中那些感兴趣的区域的大小是足够大的。
B 、彩色边缘检测
彩色边缘检测器只针对三种边缘（即，黑的白的，红、白、绿白边）。考虑一个黑色白边，并假设输入的RGB 彩色图像被归一化到一个图像。理想情况下，该（r ，g ，b ）的一个白色像素和黑色像素值分别应该是（1,1,1）和（0,0,0）。
他们的区别是（1,1,1）和（0.0.0）所以所有的组成部分差矢量白
色和黑色像素之间会有相同的符号。这个属性是相当稳定的环境下的变化。黑白边缘像素是基于此属性如下定义。图像的像素被视为一个黑白边缘点，如果所有的像素和它的一个邻居是相同的之间的差异向量分量的迹象，例如
在N 是邻居像素的图像集。我们
也将它的边缘的大小定义为
边缘模糊的地图。
在类似的方式，一个图像的像素是一个边缘的是红白色的点，如果它的差分向量
1) 对于一些满足以下条件：；2）
，对边缘像素的大小被定义为
果对于一些和，最后，如边缘的大小被使用后产生一个图像像素的边缘像素是绿色和白色，那么1）
，
它的边缘的大小是由2）和决定，图像的像素，
不是边缘点的那个给出零边值。
C. 模糊图 生成一个模糊图的基本思想是从一个如下给定的地图（例如H,S,I 或E ），由于每个地图编码对场景的一些特征，在地图上的任何细胞进入细胞具有这种特性的表现程度。为了突出对应的感兴趣的对象的细胞（例如，车牌），我们将对这些细胞大条目是与对象的已知特征的兼容。这样大的作品显示了高度的一个有趣的对象存在。我们把得到的地图的原始地图的特征地图。
由于输入数据（包括给定的地图和对象的字符—特性）是不完美的，不确定性应考虑—计数的特征映射计算中。模糊集被称为建模提供了一个优雅的工具不确定性[ 14 ]，[ 18 ]，[ 27 ]。在这项研究中，我们引入了模糊—感的特征映射条目和指结果作为模糊的地图。有几种方法来实现模糊—性。我们定义了一个广义模糊集，称为“像一个车牌号码，在色调，饱和度，强度相应的设置，和边缘强度。每四组作为一种通用的设置模糊集合的。
考虑色调值的通用设置。假设对象感兴趣的颜色是C ，而C 的色
彩值对应的是
“对象”可以写作，在地图H 的入口，说h 的隶属度是 ，本条目属于模糊集的
那里是一个正的常数。如果给定的输入等于感兴趣的对象，然后隶属度为1。由于色彩之间的差异增加，会员减少至0的渐近值的程度。记得，有四种颜色（黑，白，红，绿）用于感兴趣的车牌。让和的色调值分别变为红色和绿色，请注意，消色差的颜色的色调（即，各级灰色，包括黑色和白色）没有定义由于色调方程的分母为零（1）。因此，我们将突出红色和绿色，而不是基于地图H 的黑和白。模糊隶属函数图最终被定义为
在这里，可以作为任意模糊联盟算子（任何模功能）。
2）地图：由于模糊地图只能表示颜色红色和绿色，我们需要其他的手段来处理黑色和白色。根据S 在（1），所有的消色差的颜色有相同的饱和度S 。此外，该值是小于任何颜色。基于这些事实，我们产生一个模糊地图
上区分的色差和消色差的颜色。隶属函数
这表明当较小的那个饱和值越大，它越有可能是来自无色的那个。
地图：虽然色差和消色差的颜色可以从对方根据其饱和值分开，黑白必从地图S 的定义为须进一步区别于其他消色差的颜色。为此，我们指望强度图。因为黑色和白色的亮度值对应的HSI 坐标系统的轴的强度的两个极端值，以下功能强调颜色和强度值接近两极
这个假定的工作环境，具有0.5的平均强度。然而，黑色和白色会被扭曲，在某些情况下。例如，一个白色的颜色可以在黑暗的环境中会出现灰色，在明亮的环境中黑色。为了补偿这种失真，上述方程中的常数0.5可能与平均值代替，地图。然后我们定义了模糊映射的隶属函数
地图：基于模糊映射和的的图像区域可以区分有黑，白，红或为绿颜色。然而，这些地区的大部分无关车牌。边缘图在鉴别中发挥了至关重要的作用对不相关的区域。因为有许多接近的边缘在车牌和分布在一个重复的方式，图像像素的邻居拥有大的边缘大小会一个高的可能性，它属于一个车牌。因此，
我们定义了模糊隶属度函数的边缘地图是
这里考虑的是图像像素水平附近像素，是像素在的边缘强度，是和像素点间的欧氏距离。以上功能我们不在乎
本身。
D. 模糊集合 的边缘大小和像素
每一个模糊的地图定位车牌提供的信息在输入图像板。有两种方法可以得出一个结论—
从一组映射的锡安。在第一个，中间的决定对个别地图的基础和最终的结论是从中间的决策制定。第二，多个地图是第一个集成到一个单一的地图，和最后的结论就从集成地图。因为第一种方法涉及到的数值计算和符号的决定，我们倾向于第二种方法，其中包括只有数值计算。在第二种方法，模糊图
集成到一个单一的地图
于这一目的。
在聚合的第一阶段，模糊图
作为模糊图，，通过细胞与细胞保持完整，让和，决定所根据，和。一个两阶段的模糊集合是介绍了用对应细胞的条目，汇集条目是
记得在一个模糊的地图一个大条目显示高度的可能性，进入属于定义一个车牌。然而，如果细胞有小的多数在输入的变化（即，具有几乎均匀的分布条目）是在一个模糊的地图，检测车牌，地图的实用性恶化。看到这，考虑图片在晚上或阴雨天了。总体上，图片将黯淡。图像的整体强度往往是小，这反过来又导致
大的饱和值在整个图片[见（1）]。无论是强度和饱和度的地图有点定位车牌因为条目相媲美。在所有的模糊的地图，这是可取的，比较小地图部分的具有大的条目，而其余的区内有小的值。这样的地图，将得到一个大体重反映程度高的地图的重要性。让
重要程度）是由 从N 中变成任意模糊图像M 的大小，它的重量（或
当
的最大值其中最小值的阈值是
和
表示在地图和的重量，这一点和（7）相同
四、车牌识别模块
A 、基本思想
图3给出了用于识别模块的程序流程图。有两个主要组件构成的模块，图3。对于车牌识别模块流程图。预处理与识别。预处理部分由三个任务组成，二值化，连接组件标记，并去除噪声，排列顺序。识别部件是由两个主要步骤，字符分割与识别。获得对于程序的优化结果，他们或者调用。由于相机可以滚和/或斜的对车牌图像，他们将是可取的在执行许可一个预定义的大小和方向号码识别。然而，没有信息的摄像机和工作环境之间的关系，这转换只能通过试验和错误，盲目地进行。在该方法中由于转换步骤略，在后续步骤中的困难是不可避免的将增加。考虑到车牌的候选，它是第一个跳。因为有些信息可能会丢失在二值化，可变阈值方法先前提出的中川和罗森菲尔德[ 24 ]采用。该技术确定局部最优阈值的每一个像素
以避免来自非均匀照明问题。虽然可变阈值不能完全弥补上述信息丢失，它至少保存信息，可以使用一个恒定的时候丢了二值化方法。有二值化步骤的目的有两个：突出人物和抑制背景。然而，无论是理想的（例如，字）和不需要的（例如，汽车板的噪声和边界）的图像区域经常出现在二值化。
为了消除不需要的图像区域，连通分量的算法应用到识别板的候选人。连接元件的纵横比的计算。其纵横比在规定的部件范围被删除。然后其余部件的对准是通过使用Hough 变换的中心重力分量。组件不同意对准被删除。如果剩余的部件的数目仍大于规定数量（八在实践中），连接的组件被删除的时间入手最小的。在这里，我们选择八作为规定数量因为车牌号码由五或六个字符，字符可能被打破。去除过程一直持续到两个条件得到满足。任何数量的剩余成分等于规定数目，或一个戏剧性的变化在大小从以前删除组件目前考虑的是遇到。我们假设噪声分量比人物小得多。上面的程序不保证每个幸存下来的部件将对应于一个个性。一个组件可能是由于噪声，一个不完整的字符，一个性格的扭曲，或出现接触特征。为了区分它们，我们利用车牌的属性，包括个别字符的纵横比，定期字符之间的字符和数字组成，车牌编号。我们称这些属性统称为车牌结构约束。我们还介绍了运营商删除，合并，分裂，恢复到字符分割程序。注意，字符可能会错过的车牌定位、二值化。恢复操作介绍了检索缺字。处理在分割过程中应用三个运营商（删除，合并，分裂）的组的生存组试图确定如果一个组件满足结构约束的车牌。如果这样的组件可以被确定，字符识别程序来识别组件的特性。的上述过程重复直到没有字符可以提取现存的组件集。此后，如果提取的字符数小于许可的字符数数字，恢复运营商开始在最外层的人物这些检测和搜索的知名人物角色的定位。继续搜索，直到没有人物可以在确定的程度字符的平均宽度和字符之间的间隔。其次，确定字符集验证确认阶段，其中成分的语义车牌编号起着重要的作用。字符集将被视为是否同意组成一个有效的车牌号码成分的语义。
B. 光学字符识别
本节我们讨论的字符识别程序。因为，正如已经提到的，车牌可弯曲和/或相对于摄像机倾斜，特征提取从这样的车牌可能会变形。此外，输入人物可以是嘈杂的，损坏或不完整。该字符识别技术能够容忍这些缺陷。在这图4。节点类型：（一）终点，（B ）三节点，和（c ）四节点。研究中，我们发展自己的字符识别方法适合我们的特殊应用。该方法包括
三个步骤：特征分类，拓扑排序，并自组织（SO ）的识别。在第一步骤中，输入的字符区分为数字或字母。这是很容易的参照车牌号成分的语义实现。在接下来的步骤中，该拓扑的特点输入的字符进行计算与比较预存的字符模板。兼容模板形式一个测试集，其中的字符模板的最佳匹配输入的字符被确定。模板测试通过一个字符识别程序。
1）拓扑排序：字符的拓扑特征利用在这项研究中包括的孔的数量，最后—点，三和四节点，节点（见图4他们定义）。这些功能是不变的空间变换（包括旋转，平移和尺度变化）。此外，这些特征，这是定性的，可以很容易地和可靠的检测与定量特征。然而，输入的字符通常是不完善的；额外的或丢失可能发生的特点。以下规则采用拓扑排序。一个字符模板与一个给定的兼容特点1）时在孔数差异的范围内，2）之间的差异任何类型的节点数的范围内。在这里，一个较小的范围内给出的孔特征因为它在检测通常是更可靠的比结。在我们的实验中不超过三的十个数值字符模板六出26个字母字符模板已通过拓扑排序在任何给定的字符。这大大减少在测试集模板的数量，因此其时间复杂度为字符识别。
2）模板的测试：在测试集的模板匹配对输入的字符和确定的最佳匹配。模板测试主要是使用这样的字符识别的方法来完成的，它是基于Kohonen 等神经网络[ 19 ]。该技术背后的思想如下。给定一个未知的字符和字符的模板，输入的字符是在突触权值编码在神经网络的层之间的联系。性格这里的模板作为一个刺激，反复支配神经网络，使神经突触权重网络逐渐改变。这个过程将一直持续到权重稳定。我们总结的突触权重的变化在加工过程中。
在某种意义上重总的变化反映了未知字符和之间的相异程度个性模
板。让文字模板河畔集合—生境与未知输入字符拓扑排序。让表示计算的差异是—未知字符和字符模板之间。这是自然，特征模板具有最小的相似与不同的未知字符是班这未知的特征属。
一）神经模型：在这一部分，我们简要的关键组件，Kohonen 神经网络模型，这将在以后的实际执行。参考图5，所以神经网络的基本结构是由两层组成，输入层和一个这样的层。
2002年11月manuscript ）；8月，修订，2003年。这 支持的工作是由国家科学委员会，中华民国。
根据合同的NSC - 89 - 2218 - 003 - 002。在本论文的副编辑 A 为吉。
第5场，L. 和C. Y. S. Chen，钟是与信息部 信息与计算机教育，国立台湾师范大学，台北市 台湾，中华民国
陈第W 是与学院计算机科学与信息
信息工程，国立台湾师范大学，台北，台湾，中华民国 （schen csie.ntnu.edu.tw电子邮件：@）。
数字对象标识符10.1109 / tits.2004.825086