CN112818987B - 一种公交电子站牌屏显内容识别纠正方法及*** - Google Patents
一种公交电子站牌屏显内容识别纠正方法及*** Download PDFInfo
- Publication number
- CN112818987B CN112818987B CN202110124955.8A CN202110124955A CN112818987B CN 112818987 B CN112818987 B CN 112818987B CN 202110124955 A CN202110124955 A CN 202110124955A CN 112818987 B CN112818987 B CN 112818987B
- Authority
- CN
- China
- Prior art keywords
- image
- stop board
- content
- value
- identifying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 69
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 238000012937 correction Methods 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000003068 static effect Effects 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 150000003839 salts Chemical class 0.000 claims description 5
- 238000012550 audit Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000013518 transcription Methods 0.000 claims description 3
- 230000035897 transcription Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 235000002566 Capsicum Nutrition 0.000 claims description 2
- 239000006002 Pepper Substances 0.000 claims description 2
- 235000016761 Piper aduncum Nutrition 0.000 claims description 2
- 235000017804 Piper guineense Nutrition 0.000 claims description 2
- 244000203593 Piper nigrum Species 0.000 claims description 2
- 235000008184 Piper nigrum Nutrition 0.000 claims description 2
- 230000000630 rising effect Effects 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 4
- 238000000605 extraction Methods 0.000 abstract description 4
- RKWPMPQERYDCTB-UHFFFAOYSA-N ethyl n-[4-[benzyl(2-phenylethyl)amino]-2-(4-nitrophenyl)-1h-imidazo[4,5-c]pyridin-6-yl]carbamate Chemical compound N=1C(NC(=O)OCC)=CC=2NC(C=3C=CC(=CC=3)[N+]([O-])=O)=NC=2C=1N(CC=1C=CC=CC=1)CCC1=CC=CC=C1 RKWPMPQERYDCTB-UHFFFAOYSA-N 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Character Discrimination (AREA)
Abstract
本发明涉及一种公交电子站牌屏显内容识别纠正方法及***。它解决了现有技术中电子公交站牌内容的提取与纠错效率低下，导致公交信息无法实时更新和纠错，运营效率低的问题。它包括电子站牌，电子站牌连接识别对象集，识别对象集包括信息识别模块和图像处理单元，且信息识别模块与图像处理单元连接，识别对象集连接有用于存储电子站牌截图的原始截图库且通过文本识别模型连接有图像集，图像集连接有数据检测单元，数据检测单元通过操作指令库与电子站牌相连。本发明的优点在于：运营高效、内容提取快、纠错效率高。
Description
技术领域
本发明涉及智能交通技术领域，具体涉及一种公交电子站牌屏显内容识别纠正方法及***。
背景技术
目前，随着城市化进程的发展，城市人口、车辆剧增，道路拥堵情况逐年严峻，公共交通具有载运大、耗能少、节能环保等优点，是响应绿色环保出行的最佳选择方案。其中公交电子站牌是这个公交运行环中至关重要的结点，它解决了公交与乘客之间信息孤岛的问题，为乘客提供信息获取的门户，是乘客能够实时、准确获取公交运行信息的保障。所以实现可靠、准确的公交电子站牌信息显示，对于站牌运行、提高市民公交出行的满意率有着重要的意义。智能可靠的公交站牌显示内容识别与纠正方法，一方面可以及时发现、辅助纠正站牌显示偏差问题，保障站牌显示正确，减少人工参与，降低值班、巡检的人工成本；另一方面，显示内容正确的站牌，也可以令乘客及时、准确获取信息，减少因信息缺失带来的焦虑感，提升乘客的满意度。
首先，现有的公交站牌屏显监测方法主要是通过视频摄像头抓取的电子站牌图像为主，因受外部环境如强光、灰尘遮挡的影响大,导致无法精确识别电子站牌是否显示内容、内容是否正确，进而导致人工监控检查、人工巡检在整个运维体系比重较高；并且传统的OCR技术，在面对站牌显示内容、背景色彩日趋丰富的情况，识别模型复杂、效率不高的问题凸显。随着信息技术发展，通过站牌软件可以实现主动式、响应式的屏幕截屏图像上传，同时基于深度学习技术进行端到端的图像文本识别技术，使准确识别站牌显示内容成为可能。
因此，提供一种能够智能识别站牌显示内容、并下发指令纠正问题，保证乘客能获取可靠信息的公交电子站牌识别与纠正方法具有重要的社会价值和工程意义。
发明内容
本发明的目的是针对上述问题，提供一种成本合理、运营高效的公交电子站牌屏显内容识别纠正***。
本发明的另一个目的是针对上述问题，提供一种内容提取快、纠错效率高的公交电子站牌屏显内容识别纠正方法。
为达到上述目的，本发明采用了下列技术方案：一种公交电子站牌屏显内容识别纠正***，包括电子站牌，电子站牌连接识别对象集，识别对象集包括信息识别模块和图像处理单元，且信息识别模块与图像处理单元连接，识别对象集连接有用于存储电子站牌截图的原始截图库且通过文本识别模型连接有图像集，图像集连接有数据检测单元，数据检测单元通过操作指令库与电子站牌相连。
在上述的一种公交电子站牌屏显内容识别纠正***中，信息识别模块包括字母/数字型识别模块以及汉字/数字/字母形型识别模块中任意一种或两种组合。
上述的一种公交电子站牌屏显内容识别纠正***中，图像处理单元包括用于处理字母/数字型识别模块识别出的图像的第一图像处理模型以及用于处理汉字/数字/字母形型识别模块识别出的图像的第二图像处理模型。
根据上述的一种公交电子站牌屏显内容识别纠正***提供一种公交电子站牌屏显内容识别纠正方法，本方法包括以下步骤：
S1、建立识别对象集，设置识别对象对应的内容类别及识别区域坐标组；
S2、根据识别对象的内容类别，构建图像处理单元，处理原始截图库，标注图像对应文本标签，建立图像集；
S3、构建文本识别模型，使用图像集进行模型训练；
S4、获取t时刻的截图，约定识别对象，处理截图、识别内容，并通过数据检测单元与结构化数据比对，异常问题提交审核，并进行问题匹配与操作指令库指令选取，根据审核结果完成下发指令或用实际值标注该图像存入图像集；
在上述的一种公交电子站牌屏显内容识别纠正方法中，在步骤S1中，识别对象集包括识别对象主体、识别内容类别、识别对象对应在截图上的坐标区域，其中识别对象主体包括时间、天气、线路站点、到站信息；识别内容类别包括A:英文字母/数字型，B:汉字/数字/字母型，其中识别内容类别A通过字母/数字型识别模块进行识别，识别内容类别B通过汉字/数字/字母形型识别模块进行识别。
在上述的一种公交电子站牌屏显内容识别纠正方法中，在步骤S2中，根据识别对象的内容类别，组合第一图像处理模型和第二图像处理模型进行图像处理元操作，构建图像处理单元，处理原始截图库的历史截图，完成图像内容标签标注后，建立图像集，图像处理步骤包括：
1、输入数据：电子站牌截图、图像识别对象；
2、输出数据：处理后图像。
元操作包含的步骤如下，且根据识别对象的识别内容类别A和B进行组合：
A、图片分割、调整分割后的图片尺寸；
B、图像降噪，去除椒盐噪声；
C、灰度处理，将图片的一个像素点通过公式计算，得到该像素点对应的灰度值；
D、边缘增强，通过拉普拉斯运算，突出图像中不同灰度区域之间的边界和轮廓；
E、图像增强，放大图像的灰度级别，使图像细节更清晰，优化图像分割造成的图像清晰度不够的问题；
F、图像二值化，设置伐值，将灰度值转换为0或255；
G、图像降噪、去除干扰线，去除因边缘增强、图像二值化后被放大的细线和孤立噪声点；
H、对字符部分进行膨胀处理，得到较清晰的图像。
根据识别内容类别A和识别内容类别B的元操作组合顺序：
A:a→b→c→f→g→h
B:a→b→c→d→e→f→g。
在上述的一种公交电子站牌屏显内容识别纠正方法中，在步骤S3中，文本识别模型构建基于DenseNet-GRU-CTC，包括如下过程：
a、卷积层：特征序列提取，网络结构基于DenseNet-BC；
b、循环层：使用GRU预测特征序列标签分布；
c、转录层：通过CTC把从循环层获取的标签分布通过去重整合操作转换成最终的识别结果。
在卷积层完成特征提取后，通过在循环层引入GRU，在预测序列分布时，增加文字的前后依赖，加入语义分析作用，提高对形近字的识别能力。
在上述的一种公交电子站牌屏显内容识别纠正方法中，模型训练在电子站牌屏幕截图图像集中按比例划分，训练集：验证集：测试集＝8：1：1。
在上述的一种公交电子站牌屏显内容识别纠正方法中，在步骤S4中，电子站牌的截图通过下发指令到电子站牌主动获取，或通过原始截图库获取由电子站牌定时任务上传的最新截图；结构化数据为时刻t时电子站牌途径的线路静态信息、班次动态信息、公益信息结构化数据。
在上述的一种公交电子站牌屏显内容识别纠正方法中，线路静态信息包括线路名、线路、各站点名；班次动态信息包括班次状态，班次状态为发车、未发车、结束、车辆到当前站点距离及时间；公益信息包括天气、时间、宣传标语；数据对比结果包括内容是否缺失、显示是否过时、内容是否匹配，根据比对结果，异常内容通报审核，从操作指令库里获取对应指令，对应指令为重启、刷新程序、刷新缓存，根据审核结果完成下发指令或用真实值标注该图像存入图像集。
与现有的技术相比，本发明的优点在于：用于识别的图像通过前端软件截图功能获取，并保存于原始截图库，保证图片为实际显示内容，不会因为遮挡或者光线造成图片遮挡的情况；其次，根据图像上不同的识别区域的显示内容的不同，分别调用不同的图像识别模块，避免图像内容较单一时过多的处理操作，提高了图像处理速度，且识别纠错效率高；而且，利用根据识别内容调用不同的处理模型，提高了图片处理效率；同时，识别后的图片内容通过与数据检测单元检测审核、分析问题，并通过操作指令库下发至电子站牌，自动更改电子站牌上的信息，减少了人工运维的参与，提高了纠错效率，降低了运营成本。
附图说明
图1为本发明的方法步骤流程图；
图2为本发明的整体流程框图；
图3为本发明中的图像处理步骤流程图；
图4为本发明中的文本识别流程图；
图5为本发明方法的截图步骤流程图。
图中，电子站牌1、识别对象集2、信息识别模块21、字母/数字型识别模块211、汉字/数字/字母形型识别模块212、图像处理单元22、第一图像处理模型221、第二图像处理模型222、原始截图库3、文本识别模型4、图像集5、数据检测单元6、操作指令库7。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步详细的说明。
如图1-5所示，一种公交电子站牌屏显内容识别纠正***，包括电子站牌1，电子站牌1连接识别对象集2，识别对象集2包括信息识别模块21和图像处理单元22，且信息识别模块21与图像处理单元22连接，识别对象集2连接有用于存储电子站牌1截图的原始截图库3且通过文本识别模型4连接有图像集5，图像集5连接有数据检测单元6，数据检测单元6通过操作指令库7与电子站牌1相连。
其中，信息识别模块21包括字母/数字型识别模块211以及汉字/数字/字母形型识别模块212任意一种或两种组合。
具体地，图像处理单元22包括用于处理字母/数字型识别模块211识别出的图像的第一图像处理模型221以及用于处理汉字/数字/字母形型识别模块212识别出的图像的第二图像处理模型222。
一种公交电子站牌屏显内容识别纠正方法，本方法包括以下步骤：
S1、建立识别对象集2，设置识别对象对应的内容类别及识别区域坐标组；识别对象集U＝{Oi，Poi＝(HS，HE，WS，WE)，T},i∈N+，其中，Oi为识别对象主体；Poi为识别区域，HS为开始的高度值，HE为结束的高度值，WS为开始的宽度值，WE为结束的宽度值；T为定义识别内容类别T＝A|B，A型：字母/数字型，B型：汉字/数字/字母型。
S2、根据识别对象的内容类别，构建图像处理单元22，处理原始截图库3，标注图像对应文本标签，建立图像集5；
S3、构建文本识别模型4，使用图像集5进行模型训练；
S4、获取t时刻的截图，约定识别对象，处理截图、识别内容，并通过数据检测单元6与结构化数据比对，异常问题提交审核，并进行问题匹配与操作指令库7指令选取，根据审核结果完成下发指令或用实际值标注该图像存入图像集5。
其中，在步骤S1中，识别对象集2包括识别对象主体、识别内容类别、识别对象对应在截图上的坐标区域，其中识别对象主体包括时间、天气、线路站点、到站信息；识别内容类别包括A:英文字母/数字型，B:汉字/数字/字母型，其中识别内容类别A通过字母/数字型识别模块211进行识别，识别内容类别B通过汉字/数字/字母形型识别模块212进行识别。
进一步地，在步骤S2中，根据识别对象的内容类别，组合第一图像处理模型221和第二图像处理模型222进行图像处理元操作，构建图像处理单元22，处理原始截图库3的历史截图，完成图像内容标签标注后，建立图像集5，图像处理的步骤包括：
1、输入数据：电子站牌1截图、图像识别对象，
2、输出数据：处理后图像。
元操作包含的步骤如下，根据识别对象的识别内容类别A和B进行组合：
A、图片分割、调整分割后的图片尺寸；取识别区域Poi＝[HS：HE，WS：WE]作为切割区域
HS为切割的开始的像素的高度值
HE为切割的结束的像素的高度值
WS为切割的开始的像素的宽度值
WE为切割的结束的像素的宽度值
调整图像尺寸为256x256；
I为调整后的图像矩阵，H为高、W为宽，B,G,R为彩色图像每个像素的分量。
B、图像降噪，去除椒盐噪声；选用3*3的滤波核，用像素点邻域灰度值的中值来代替该像素点的灰度值，去除椒盐噪声，过程如下图所示：
C、灰度处理，将图片的一个像素点通过公式计算，得到该像素点对应的灰度值；Grey＝0.299*R+0.587*G+0.114*B，遍历I，将图片的一个像素点[B G R]通过上述公式进行计算，得到该像素点对应的灰度值；
D、边缘增强，通过拉普拉斯运算，突出图像中不同灰度区域之间的边界和轮廓；通过拉普拉斯运算，运算模板设定为突出图像中不同灰度区域之间的边界和轮廓，使图像更清晰；
E、图像增强，放大图像的灰度级别，使图像细节更清晰，优化图像分割造成的图像清晰度不够的问题；使用限制对比度的自适应直方图均衡化处理图像，增强图像对比度使图像更清晰的同时抑制噪声。过程如下：
计算图像的灰度直方图
其中hist为大小256的直方图数组，H为图像I的高度，W为图像I的宽度。通过该方法，计算图像每个灰度级在图像矩阵中的像素个数。直方图裁剪Greyi,i∈[0,255]为灰度值，如Grey150表示灰度值150，设裁剪值为γ，直方图中灰度值高于该值的部分的和/>将t均分给所有灰度级，直方图整体上升的高度l＝t/256，hist[Greyi]＝hist[Greyi]+l,i∈[0,255],以u＝t-l为界限对当前灰度直方图进行如下处理：
F、图像二值化，设置伐值，将灰度值转换为0或255；设置伐值ρ，将灰度值Grey转换为0或255；
G、图像降噪、去除干扰线，去除因边缘增强、图像二值化后被放大的细线和孤立噪声点；去除前几步操作而被放大的噪声及带来的细线。图像降噪：同B步骤，去除干扰线：遍历图像矩阵I，判断像素点Iij上下左右的像素点(Ii-1,j，Ii+1,j，Ii,j-1，Ii,j+1)是否有超过2个像素点的灰度值小于10，若是则Iij＝0；
H、对字符部分进行膨胀处理，得到较清晰的图像；遍历图像I的每一个像素，以当前遍历像素点为中心，取该3*3范围内像素的最大值，用这个最大值替换当前像素值
内容类别及元操作组合顺序为：
具体地，在步骤S3中，文本识别模型4构建基于DenseNet-GRU-CTC，包括如下过程：
a、卷积层：特征序列提取，网络结构基于DenseNet-BC；卷积层以DenseNet-BC作为基础网络，结构包括1个卷积层Conv1、3个DenseBlock与2个Transition交替，最后加Conv2拼接而成,计算结果最后经过ReShape由3维降为2维，然后用神经元数为5990的FC即全连接处理，传入循环层。
b、循环层：使用GRU预测特征序列标签分布；基于GRU网络构建，分为GRU1和GRU2两层，GRU1和GRU2里各自包含两次分开执行的GRU。其中GRU1里将传入的数据分别经过GRU1a和GRU1b处理，然后将GRU1a与GRU1b的结果，经过element-wise addition处理。输出后再传入GRU2，分别经过GRU2a和GRU2b处理，再将GRU2a与GRU2b的结果，经过concatenate处理，最后全连接操作，全连接有5990个神经元，激活函数选SoftMax，通过softmax获取不同分类上的分布概率。
c、转录层：通过CTC把从循环层获取的标签分布通过去重整合操作转换成最终的识别结果。其中优化器Optimizer为SGD。
整体网络结构及相关参数与输出如下表：
其中，Conv为Convolutions缩写，表示卷积操作，1x1Conv表示卷积核为1x1；
S为Stride缩写，表示步长；
F为Filters缩写，表示卷积核数量,或特征图数；
BN为Batch Normalization缩写，表示批标准化操作；
FC为Fully Connected缩写，表示全连接操作；
element-wise addition：矩阵里对应位置元素相加，操作如下：
Concatenate，表示两个矩阵连接，如下操作
参数说明：
图片传入尺寸256x256x1，高宽都为256，1通道；
DenseNet中DenseBlock的增长率GrowthRate k＝32
DenseNet中Transition层的压缩率θ＝0.5
GRU中的输出的维度NumUnits n＝32
优化器为SGD，学习率lr＝0.001，启用Nesterov动量，值为0.9，权值衰减率为0.000001，
字符字典选用char_std_5990,内含5990个字符，包括中文、英文大小写、数字。
详细地，模型训练在电子站牌1屏幕截图图像集5中按比例划分，训练集：验证集：测试集＝8：1：1。
优选地，在步骤S4中，电子站牌1的截图通过下发指令到电子站牌1主动获取，或通过原始截图库3获取由电子站牌1定时任务上传的最新截图；结构化数据为时刻t时电子站牌1途径的线路静态信息、班次动态信息、公益信息结构化数据。
对应关系如下表：
| 识别对象 | 对应结构化数据 |
| 时间 | 公益信息 |
| 天气 | 公益信息 |
| 线路站点 | 线路静态信息 |
| 到站信息 | 班次动态信息 |
更进一步地，线路静态信息包括线路名、线路、各站点名；班次动态信息包括班次状态，班次状态为发车、未发车、结束、车辆到当前站点距离及时间；公益信息包括天气、时间、宣传标语；数据对比结果包括内容是否缺失、显示是否过时、内容是否匹配，根据比对结果，异常内容通报审核，从操作指令库7里获取对应指令，对应指令为重启、刷新程序、刷新缓存，根据审核结果完成下发指令或用真实值标注该图像存入图像集5。审核及指令过程如下表：
本实施例的原理在于：首先建立识别对象集2，设置识别对象2对应的内容类别及识别区域坐标组，然后根据识别对象的内容类别，组合图像处理单元22进行元操作，其操作过程为：图像进行分割、放大、降噪、灰度处理、边缘增强、图像增强、图像二值化、图像降噪、去除干扰线、文字膨胀、构建图像处理模型，处理原始截图库3的历史截图，并标注处理后图像对应的文本标签，建立图像集5；再基于DenseNet+GRU+CTC构建文本识别模型4，完成模型训练；之后，对于新获取的截图，约定识别对象，通过图像处理单元22及文本识别模型4，识别最新获取到的电子站牌1截图对应的文本，并比对电子站牌1该识别区域内实际应显示数据即线路静态信息、班次动态信息、公益信息，根据数据对比结果，异常问题提交审核，并进行问题匹配，根据审核结果通过操作指令库7下发指令或用真实值标注该图像存入图像集5。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
尽管本文较多地使用了电子站牌1、识别对象集2、信息识别模块21、字母/数字型识别模块211、汉字/数字/字母形型识别模块212、图像处理单元22、第一图像处理模型221、第二图像处理模型222、原始截图库3、文本识别模型4、图像集5、数据检测单元6、操作指令库7等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。
Claims (5)
1.一种公交电子站牌屏显内容识别纠正***，包括电子站牌(1)，其特征在于，所述的电子站牌(1)连接识别对象集(2)，所述的识别对象集(2)包括信息识别模块(21)和图像处理单元(22)，且信息识别模块(21)与图像处理单元(22)连接，所述的识别对象集(2)连接有用于存储电子站牌(1)截图的原始截图库(3)且通过文本识别模型(4)连接有图像集(5)，所述的图像集(5)连接有数据检测单元(6)，所述的数据检测单元(6)通过操作指令库(7)与电子站牌(1)相连；所述的信息识别模块(21)包括字母/数字型识别模块(211)以及汉字/数字/字母形型识别模块(212)其中一种或两种组合；所述的图像处理单元(22)包括用于处理字母/数字型识别模块(211)识别出的图像的第一图像处理模型(221)以及用于处理汉字/数字/字母形型识别模块(212)识别出的图像的第二图像处理模型(222)；
所述一种公交电子站牌屏显内容识别纠正***执行如下公交电子站牌屏显内容识别纠正方法，所述方法包括以下步骤：
S1、建立识别对象集(2)，设置识别对象对应的内容类别及识别区域坐标组；识别对象集U＝{Oi，Poi＝(HS，HE，WS，WE)，T},i∈N+，其中，Oi为识别对象主体；Poi为识别区域，HS为开始的高度值，HE为结束的高度值，WS为开始的宽度值，WE为结束的宽度值；T为定义识别内容类别T＝A|B，A型：字母/数字型，B型：汉字/数字/字母型；
S2、根据识别对象的内容类别，构建图像处理单元(22)，处理原始截图库(3)，标注图像对应文本标签，建立图像集(5)；
S3、构建文本识别模型(4)，使用图像集(5)进行模型训练；
S4、获取t时刻的截图，约定识别对象，处理截图、识别内容，并通过数据检测单元(6)与结构化数据比对，异常问题提交审核，并进行问题匹配与操作指令库(7)指令选取，根据审核结果完成下发指令或用实际值标注该图像存入图像集(5)；
在步骤S1中，识别对象集(2)包括识别对象主体、识别内容类别、识别对象对应在截图上的坐标区域，其中，识别对象主体包括时间、天气、线路站点、到站信息；识别内容类别包括A:英文字母/数字型，B:汉字/数字/字母型，其中识别内容类别A通过字母/数字型识别模块(211)进行识别，识别内容类别B通过汉字/数字/字母形型识别模块(212)进行识别；
在步骤S2中，根据识别对象的内容类别，组合第一图像处理模型(221)和第二图像处理模型(222)进行图像处理元操作，构建图像处理单元(22)，处理原始截图库(3)的历史截图，完成图像内容标签标注后，建立图像集(5)，图像处理的步骤包括：
1、输入数据：电子站牌(1)截图、图像识别对象；
2、输出数据：处理后图像；
元操作包含的步骤如下，根据识别对象的识别内容类别A和B进行组合：
A、图片分割、调整分割后的图片尺寸；取识别区域Poi＝[HS：HE，WS：WE]作为切割区域
HS为切割的开始的像素的高度值；
HE为切割的结束的像素的高度值；
WS为切割的开始的像素的宽度值；
WE为切割的结束的像素的宽度值；
调整图像尺寸为256x256；
I为调整后的图像矩阵，H为高、W为宽，B,G,R为彩色图像每个像素的分量；
B、图像降噪，去除椒盐噪声；选用3*3的滤波核，用像素点邻域灰度值的中值来代替该像素点的灰度值，去除椒盐噪声，过程如下图所示：
C、灰度处理，将图片的一个像素点通过公式计算，得到该像素点对应的灰度值；Grey＝0.299*R+0.587*G+0.114*B，遍历I，将图片的一个像素点[B G R]通过上述公式进行计算，得到该像素点对应的灰度值；
D、边缘增强，通过拉普拉斯运算，突出图像中不同灰度区域之间的边界和轮廓；通过拉普拉斯运算，运算模板设定为突出图像中不同灰度区域之间的边界和轮廓，使图像更清晰；
E、图像增强，放大图像的灰度级别，使图像细节更清晰，优化图像分割造成的图像清晰度不够的问题；使用限制对比度的自适应直方图均衡化处理图像，增强图像对比度使图像更清晰的同时抑制噪声，过程如下：
计算图像的灰度直方图
其中hist为大小256的直方图数组，H为图像I的高度，W为图像I的宽度，通过该方法，计算图像
每个灰度级在图像矩阵中的像素个数，直方图裁剪Greyi,i∈[0,255]为灰度值，如Grey150表示灰度值150；
设裁剪值为γ，直方图中灰度值高于该值的部分的和将t均分给所有灰度级，直方图整体上升的高度l＝t/256，hist[Greyi]＝hist[Greyi]+l,i∈[0,255],以u＝t-l为界限对当前灰度直方图进行如下处理：
F、图像二值化，设置伐值，将灰度值转换为0或255；设置伐值ρ，将灰度值Grey转换为0或255；
G、图像降噪、去除干扰线，去除因边缘增强、图像二值化后被放大的细线和孤立噪声点；去除前几步操作而被放大的噪声及带来的细线；图像降噪：同B步骤，去除干扰线：遍历图像矩阵I，判断像素点Iij上下左右的像素点(Ii-1,j，Ii+1,j，Ii,j-1，Ii,j+1)是否有超过2个像素点的灰度值小于10，若是则Iij＝0；
H、对字符部分进行膨胀处理，得到较清晰的图像；遍历图像I的每一个像素，以当前遍历像素点为中心，取该3*3范围内像素的最大值，用这个最大值替换当前像素值
内容类别及元操作组合顺序为：
2.根据权利要求1所述的一种公交电子站牌屏显内容识别纠正***，其特征在于，在步骤S3中，文本识别模型(4)构建基于DenseNet-GRU-CTC，包括如下过程：
a、卷积层：特征序列提取，网络结构基于DenseNet-BC；
b、循环层：使用GRU预测特征序列标签分布；
c、转录层：通过CTC把从循环层获取的标签分布通过去重整合操作转换成最终的识别结果。
3.根据权利要求1所述的一种公交电子站牌屏显内容识别纠正***，其特征在于，模型训练在电子站牌(1)屏幕截图图像集(5)中按比例划分，训练集：验证集：测试集＝8：1：1。
4.根据权利要求1所述的一种公交电子站牌屏显内容识别纠正***，其特征在于，在步骤S4中，电子站牌(1)的截图通过下发指令到电子站牌(1)主动获取，或通过原始截图库(3)获取由电子站牌(1)定时任务上传的最新截图；结构化数据为时刻t时电子站牌(1)途径的线路静态信息、班次动态信息、公益信息结构化数据。
5.根据权利要求4所述的一种公交电子站牌屏显内容识别纠正***，其特征在于，线路静态信息包括线路名、线路、各站点名；班次动态信息包括班次状态，所述的班次状态为发车、未发车、结束、车辆到当前站点距离及时间；公益信息包括天气、时间、宣传标语；数据对比结果包括内容是否缺失、显示是否过时、内容是否匹配，根据比对结果，异常内容通报审核，从操作指令库(7)里获取对应指令，所述的对应指令为重启、刷新程序、刷新缓存，根据审核结果完成下发指令或用真实值标注该图像存入图像集(5)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110124955.8A CN112818987B (zh) | 2021-01-29 | 2021-01-29 | 一种公交电子站牌屏显内容识别纠正方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110124955.8A CN112818987B (zh) | 2021-01-29 | 2021-01-29 | 一种公交电子站牌屏显内容识别纠正方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112818987A CN112818987A (zh) | 2021-05-18 |
| CN112818987B true CN112818987B (zh) | 2024-05-14 |
Family
ID=75860163
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110124955.8A Active CN112818987B (zh) | 2021-01-29 | 2021-01-29 | 一种公交电子站牌屏显内容识别纠正方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112818987B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115620547B (zh) * | 2022-12-13 | 2024-02-02 | 江苏汉邦智能***集成有限公司 | 一种智能公交电子站牌 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH064675A (ja) * | 1992-06-23 | 1994-01-14 | Fuji Electric Co Ltd | 画像認識を行うニューラルネットワークの学習用画像データの作成方式、及び画像認識を行うニューラルネットワークへの画像データの入力方式 |
| CN101123516A (zh) * | 2006-08-09 | 2008-02-13 | 新世界（中国）科技传媒有限公司 | 一种基于专用短程通信的数字公交***及其工作方法 |
| JP2009210610A (ja) * | 2008-02-29 | 2009-09-17 | Ricoh Co Ltd | 画像処理装置、画像処理方法およびプログラム |
| CN102915437A (zh) * | 2011-08-02 | 2013-02-06 | 腾讯科技（深圳）有限公司 | 文本信息识别方法及*** |
| CN103106410A (zh) * | 2013-01-10 | 2013-05-15 | 北京万集科技股份有限公司 | 一种实现智能公交站牌的方法及*** |
| CN106128131A (zh) * | 2016-07-04 | 2016-11-16 | 俞萍初 | 一种模块化的智能电子公交站牌 |
| CN111930622A (zh) * | 2020-08-10 | 2020-11-13 | 中国工商银行股份有限公司 | 基于深度学习的界面控件测试方法及*** |
| CN112100063A (zh) * | 2020-08-31 | 2020-12-18 | 腾讯科技（深圳）有限公司 | 界面语言的显示测试方法、装置、计算机设备和存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11110480A (ja) * | 1997-07-25 | 1999-04-23 | Kuraritec Corp | テキストの表示方法およびその装置 |
| KR102561711B1 (ko) * | 2016-02-26 | 2023-08-01 | 삼성전자주식회사 | 컨텐트를 인식하는 방법 및 장치 |
-
2021
- 2021-01-29 CN CN202110124955.8A patent/CN112818987B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH064675A (ja) * | 1992-06-23 | 1994-01-14 | Fuji Electric Co Ltd | 画像認識を行うニューラルネットワークの学習用画像データの作成方式、及び画像認識を行うニューラルネットワークへの画像データの入力方式 |
| CN101123516A (zh) * | 2006-08-09 | 2008-02-13 | 新世界（中国）科技传媒有限公司 | 一种基于专用短程通信的数字公交***及其工作方法 |
| JP2009210610A (ja) * | 2008-02-29 | 2009-09-17 | Ricoh Co Ltd | 画像処理装置、画像処理方法およびプログラム |
| CN102915437A (zh) * | 2011-08-02 | 2013-02-06 | 腾讯科技（深圳）有限公司 | 文本信息识别方法及*** |
| CN103106410A (zh) * | 2013-01-10 | 2013-05-15 | 北京万集科技股份有限公司 | 一种实现智能公交站牌的方法及*** |
| CN106128131A (zh) * | 2016-07-04 | 2016-11-16 | 俞萍初 | 一种模块化的智能电子公交站牌 |
| CN111930622A (zh) * | 2020-08-10 | 2020-11-13 | 中国工商银行股份有限公司 | 基于深度学习的界面控件测试方法及*** |
| CN112100063A (zh) * | 2020-08-31 | 2020-12-18 | 腾讯科技（深圳）有限公司 | 界面语言的显示测试方法、装置、计算机设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 公交车辆全线运行状态的监督站牌及查询***;辛柯俊;张凯;龚莉莉;;南京信息工程大学学报(自然科学版)(第01期);第55-60页 * |
| 基于CRNN网络的公交电子站牌屏显识别及纠正;王朝晖 等;信息技术与信息化;20230731(第7期);第164-169页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112818987A (zh) | 2021-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111080620B (zh) | 一种基于深度学习的道路病害检测方法 | |
| US11429818B2 (en) | Method, system and device for multi-label object detection based on an object detection network | |
| CN111428556B (zh) | 一种基于胶囊神经网络的交通标志识别方法 | |
| CN111967313B (zh) | 一种深度学习目标检测算法辅助的无人机图像标注方法 | |
| CN112381788A (zh) | 一种基于双分支匹配网络的零部件表面缺陷增量检测方法 | |
| CN112766110A (zh) | 物体缺陷识别模型的训练方法、物体缺陷识别方法及装置 | |
| CN111488854A (zh) | 一种道路交通标志自动识别与分类方法 | |
| CN111008632A (zh) | 一种基于深度学习的车牌字符分割方法 | |
| CN113256624A (zh) | 连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质 | |
| CN113096085A (zh) | 基于两阶段卷积神经网络的集装箱表面损伤检测方法 | |
| CN112818987B (zh) | 一种公交电子站牌屏显内容识别纠正方法及*** | |
| CN114463767A (zh) | 信用证识别方法、装置、计算机设备和存储介质 | |
| CN112883795A (zh) | 一种基于深度神经网络的表格快速自动提取方法 | |
| CN116758545A (zh) | 一种基于深度学习的纸质医药包装钢印字符识别方法 | |
| CN111626145A (zh) | 一种简捷有效的残缺表格识别及跨页拼接方法 | |
| CN109508714B (zh) | 一种低成本多通道实时数字仪表盘视觉识别方法及*** | |
| CN112884741B (zh) | 一种基于图像相似性对比的印刷表观缺陷检测方法 | |
| CN116363655A (zh) | 一种财务票据识别方法及*** | |
| CN114882469A (zh) | 一种基于dl-ssd模型的交通标志检测方法及*** | |
| CN114627435A (zh) | 基于图像识别的智能灯光调节方法、装置、设备及介质 | |
| CN111401104B (zh) | 分类模型的训练方法、分类方法、装置、设备及存储介质 | |
| CN111950550A (zh) | 基于深度卷积神经网络的车架号识别*** | |
| CN112699841A (zh) | 一种基于行车视频的交通标志检测识别方法 | |
| CN117727059B (zh) | 汽车金融***信息核验方法、装置、电子设备及存储介质 | |
| Yashina et al. | Information technology for recognition of road signs using a neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |