CN113516110A - 基于图像分割的燃气表字轮坐标提取方法 - Google Patents

Abstract

本发明涉及基于图像分割的燃气表字轮坐标提取方法，包括步骤：图像采集终端采集燃气表的字轮窗图像，利用Faster‑Rcnn模型对字轮窗图像进行学***台，图像识别平台将压缩后的字轮窗图像还原后，将字轮窗图像的地址写入Redis监控队列；基于生成的特征参数文件对Redis监控队列中的字轮窗图像的坐标参数进行提取；图像识别平台将生成的坐标参数进行线性拟合后发送至图像采集终端，图像采集终端根据坐标参数对该字轮窗图像进行分割，获得字符，并将字符发送到图像识别平台进行识别处理。

Description

基于图像分割的燃气表字轮坐标提取方法

技术领域

本发明涉及字轮坐标识别技术领域，特别涉及一种基于图像分割的燃气表字轮坐标提取方法。

背景技术

为了获取燃气表上的字符，摄像采集终端根据字轮坐标，将采集的图片按照坐标从字轮窗中截取出字符图像，然后再将截取出的字符图像通过无线传输的方式上传到识别***进行识别，从而获得燃气表当前的字符。通过仅上传字符图像的方式，能够大大降低通讯的数据量，节约通讯传输时间、提高通讯可靠性、降低燃气表的功耗。

但是目前提取的字轮坐标是通过人为到现场获取到字轮图像后，利用切图工具把每个字符移动到指定的区域，然后将字符的坐标下发到摄像采集终端中，这样会存在以下问题：

1，需要人为到现场调解，才能确定摄像采集终端所要截取的坐标对应于燃气表字符，安装调试麻烦；

2，若因外界原因，比如刮风、人为等原因导致摄像采集终端或燃气表发生位移，那么摄像采集终端根据坐标截取的字符则不再准确，甚至会有很大的误差，此时则需要重新到现场进行调节，因此维护会非常的麻烦。

发明内容

本发明的目的在于准确的根据字轮坐标参数分割出字轮窗图像中的字符，提供一种基于图像分割的燃气表字轮坐标提取方法。

为了实现上述发明目的，本发明实施例提供了以下技术方案：

基于图像分割的燃气表字轮坐标提取方法，包括以下步骤：

步骤S1：图像采集终端采集燃气表的字轮窗图像，利用Faster-Rcnn模型对采集的字轮窗图像进行学习，生成字轮窗图像的特征参数文件；

步骤S2：将所述图像采集终端采集的燃气表的字轮窗图像压缩后上传到图像识别平台，图像识别平台将压缩后的字轮窗图像还原后，将字轮窗图像的地址写入Redis监控队列中；

步骤S3：基于Faster-Rcnn模型学习生成的特征参数文件对所述Redis监控队列中的字轮窗图像的坐标参数进行提取；

步骤S4：图像识别平台将生成的该字轮窗图像对应的坐标参数进行线性拟合后发送至图像采集终端，图像采集终端根据线性拟合后的坐标参数对采集的该字轮窗图像进行分割，获得字轮窗图像中的字符，并将获取的字符发送到图像识别平台进行识别处理。

在上述方案中，只需要首次使用或设备位置发生移动时，将采集的字轮窗图像压缩后发送至图像识别终端，以计算获取坐标参数，此后图像采集终端都根据该坐标参数对字轮窗图像进行字符分割，无需人员再现场调试设备的位置，也能够自动更新计算坐标参数，提高字符提取的准确性。

所述步骤S1具体包括以下步骤：

步骤S1-1：采集燃气表的字轮窗图像，使用labelImg图像标注对字轮窗图像中目标体的位置进行标注，标注后形成xml格式的数据文件；所述数据文件中记录了目标体的个数，以及每个目标体在字轮窗图像中的位置；

步骤S1-2：将采集的字轮窗图像和标注后形成的xml格式的数据文件输入Faster-Rcnn模型中，进行特征提取的训练，以提取字轮窗图像的特征，形成特征参数文件。

所述Faster-Rcnn模型包括卷积层、候选区推荐器、池化层；

所述卷积层采用VGG-16模型提取字轮窗图像的特征，先将大小为P×Q的原始字轮窗图像缩放剪裁为M×N的大小，经过13个卷积层后形成大小为(M/16)×(N/16)的特征向量；每个所述卷积层的卷积核为3×3的规模；

所述候选区推荐器采用RPN算法对卷积层输出的特征向量进行计算后，将特征向量分为两路，一路用于判断字轮窗图像为前景还是背景，另一路用于重构为一维特征向量，然后再使用逻辑回归算法来判断字轮窗图像为前景还是背景；两路计算结束后挑选出前景候选框，通过RPN算法计算得到候选框的位置；

所述池化层根据候选框的位置获取特征子图，经过4个池化层后形成字轮窗图像的特征，生成特征参数文件；每个所述池化层的卷积核为2×2的规模。

所述步骤S2具体包括以下步骤：

步骤S2-1：所述图像采集终端将采集的字轮窗图像压缩后，通过Spring boot服务器提供的接口上传到图像识别平台，在传输压缩后的字轮窗图像时，以二进制流的方式上传；

步骤S2-2：所述图像识别平台对上传的二进制流进行解析，获得灰度矩阵，依据灰度矩阵还原压缩后的字轮窗图像；

步骤S2-3：图像识别平台保存灰度矩阵为字轮窗图像，并将该字轮窗图像的地址写入Redis监控队列中。

所述步骤S3具体包括以下步骤：

步骤S3-1：图像识别平台调用步骤S1中Faster-Rcnn模型学习生成的特征参数文件，使用该特征参数文件监控Redis监控队列中地址；

步骤S3-2：使用特征参数文件对Redis监控队列中字轮窗图像的坐标参数进行提取。

在上述方案中，由于压缩后的字轮窗图像分辨率很低，图像模糊，可以减少图像数据传输量，但是该压缩后的字轮窗图像即使被图像识别平台还原后，也只能用来确定坐标，不能直接进行字符识别，所以图像识别平台会将坐标发送回图像采集终端，让图像采集终端来分割字符，最后将字符上传至图像识别平台。

所述步骤S4具体包括以下步骤：

生成的该字轮窗图像对应的坐标参数包括{(x1,y1),(x2,y2),...(xn,yn)}，其中n为字轮窗图像中字符的个数，x为字符的横坐标，y为字符的纵坐标；

且有函数y=f(x;b)，通过坐标参数x、y寻求参数b的最佳估计值，从而获得最佳的理论曲线y=f(x;b)，从中获得线性拟合后的坐标参数。

与现有技术相比，本发明的有益效果：

本发明根据图像采集终端上传的压缩图像，图像识别平台自动生成字符的坐标参数，图像采集终端根据图像识别平台下发的字符坐标参数上传切割后的字符到图像识别平台中，大大降低通讯的数据量，节约通讯传输时间、提高通讯可靠性、降低采集终端的功耗。当发现图像采集终端或燃气表的位置偏移时，可远程下发命令重新获取字符坐标参数，降低人为到现场维护的工作量。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍， 应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明方法流程图；

图2为本发明Faster-Rcnn模型结构示意图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

实施例：

本发明通过下述技术方案实现，如图1所示，基于图像分割的燃气表字轮坐标提取方法，包括以下步骤：

步骤S1：图像采集终端采集燃气表的字轮窗图像，利用Faster-Rcnn模型对采集的字轮窗图像进行学习，生成字轮窗图像的特征参数文件。

采集燃气表的字轮窗图像，比如原始采集的字轮窗图像大小为120*160，使用labelImg图像标注对字轮窗图像中目标体的位置进行标注，标注后形成xml格式的数据文件；所述数据文件中记录了目标体的个数，以及每个目标体在字轮窗图像中的位置，比如燃气表上有8个字轮，则可以记录8个目标体，同时也记录了目标体的位置。

将采集的字轮窗图像和标注后形成的xml格式的数据文件输入Faster-Rcnn模型中，进行特征提取的训练，以提取字轮窗图像的特征，形成特征参数文件。

请参见图2，所述Faster-Rcnn模型包括卷积层、候选区推荐器、池化层，卷积层有13个，池化层有4个，卷积层输出特征图，候选区推荐器的输出端是候选区。

所述卷积层采用VGG-16模型提取字轮窗图像的特征，先将大小为P×Q的原始字轮窗图像缩放剪裁为M×N的大小，经过13个卷积层后形成大小为(M/16)×(N/16)的特征向量；每个所述卷积层的卷积核为3×3的规模。

所述候选区推荐器采用RPN算法对卷积层输出的特征向量进行计算后，将特征向量分为两路，一路用于判断字轮窗图像为前景还是背景，另一路用于重构为一维特征向量，然后再使用逻辑回归算法来判断字轮窗图像为前景还是背景；两路计算结束后挑选出前景候选框，通过RPN算法计算得到候选框的位置，即可获取感兴趣的特征子图。

所述池化层根据候选框的位置获取特征子图，经过4个池化层后形成字轮窗图像的特征，生成特征参数文件；每个所述池化层的卷积核为2×2的规模。

Faster-Rcnn模型作为一个黑盒子实现了端对端的学习过程，集成了VGG-16模型的参数作为图像特征提起，集成了RPN算法来规划候选区，主要的学习参数有判断前景还是背景的逻辑回归参数，以及精确确定候选框位置的回归参数。

步骤S2：将所述图像采集终端采集的燃气表的字轮窗图像压缩后上传到图像识别平台，图像识别平台将压缩后的字轮窗图像还原后，将字轮窗图像的地址写入Redis监控队列中。

所述图像采集终端所采集的原始字轮窗图像大小为120*160，为了减少图像数据传输量，可以将图像压缩为60*80的大小，再将压缩后的字轮窗图像通过Spring boot服务器提供的接口上传到图像识别平台，在传输压缩后的字轮窗图像时，以二进制流的方式上传。

所述图像识别平台对上传的二进制流进行解析，获得灰度矩阵，依据灰度矩阵还原压缩后的字轮窗图像，将图像还原到120*160的大小。同时，图像识别平台保存灰度矩阵为字轮窗图像，并将该字轮窗图像的地址写入Redis监控队列中。

步骤S3：基于Faster-Rcnn模型学习生成的特征参数文件对所述Redis监控队列中的字轮窗图像的坐标参数进行提取。

图像识别平台调用步骤S1中Faster-Rcnn模型学习生成的特征参数文件，使用该特征参数文件监控Redis监控队列中地址，由于Redis监控队列中可能同时存在若干个字轮窗图像的地址，所以需要特征参数文件进行实时监控，使用特征参数文件对Redis监控队列中字轮窗图像的坐标参数进行提取。

由于压缩后的字轮窗图像分辨率很低，图像模糊，可以减少图像数据传输量，但是该压缩后的字轮窗图像即使被图像识别平台还原后，也只能用来确定坐标，不能直接进行字符识别，所以图像识别平台会将坐标发送回图像采集终端，让图像采集终端来分割字符，最后将字符上传至图像识别平台。

步骤S4：图像识别平台将生成的该字轮窗图像对应的坐标参数进行线性拟合后发送至图像采集终端，图像采集终端根据线性拟合后的坐标参数对采集的该字轮窗图像进行分割，获得字轮窗图像中的字符，并将获取的字符发送到图像识别平台进行识别处理。

由于燃气表上的字符基本在一条直线上，但每个字符的坐标参数可能不再一条直线上，比如以图1的各字符在二维坐标上来看，每个字符的横坐标x都不相等，纵坐标y也不相等，因此需要对这些字符的坐标参数进行线性拟合。

假设生成的该字轮窗图像对应的坐标参数包括{(x1,y1),(x2,y2),...(xn,yn)}，其中n为字轮窗图像中字符的个数，以字轮窗图像的左上角为原点，x为字符的横坐标，y为字符的纵坐标。

且有函数y=f(x;b)，通过坐标参数x、y寻求参数b的最佳估计值，从而获得最佳的理论曲线y=f(x;b)，从中获得线性拟合后的坐标参数，使字符坐标在同一纵坐标上。

然后图像采集终端按照接收到的字轮坐标参数将每个字符分割出来，最后发送到图像识别平台进行识别处理。

步骤S5：所述图像采集终端均以图像识别平台发送的坐标参数，对新采集的字轮窗图像进行字符分割；直到燃气表或图像采集终端的位置发生移动，或者需要重新调试燃气表或图像采集终端时，重复步骤S1~步骤S4，以获得新的坐标参数。

所述图像识别平台可以是搭载于燃气企业终端的程序，使得燃气企业终端具有图像识别平台的功能，人员通过燃气企业终端可以查看燃气表的字符。燃气企业终端即是燃气企业现有的终端，本方案保护的是字轮坐标提取的方法，最终目的是为获得字轮上的字符，图像识别平台亦是为了实现该方法，因此无需限定图像识别平台具体的结构等，此处仅是为了提供其中一种实现形式。

本方案的优势在于，任一燃气表对应的图像采集终端在首次使用时，需要采集字轮窗图像压缩后上传到图像识别平台中，根据Faster-Rcnn模型学***台中。直到设置的燃气表或图像采集终端被误移动后，导致燃气表或图像采集终端的位置发生了变化，那么这个时候可以通过远程传达指令的方式，使图像采集终端重新采集了字轮窗图像进行压缩后上传到图像识别平台中，以得到新的坐标参数，这样图像采集终端即可根据新得到的坐标参数对以后采集的字轮窗图像进行字符分割。

在本方案中，只需要首次使用或设备位置发生移动时，将采集的字轮窗图像压缩后发送至图像识别终端，以计算获取坐标参数，此后图像采集终端都根据该坐标参数对字轮窗图像进行字符分割，无需人员再现场调试设备的位置，也能够自动更新计算坐标参数，提高字符提取的准确性。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (6)

1.基于图像分割的燃气表字轮坐标提取方法，其特征在于：包括以下步骤：

步骤S1：图像采集终端采集燃气表的字轮窗图像，利用Faster-Rcnn模型对采集的字轮窗图像进行学习，生成字轮窗图像的特征参数文件；

步骤S2：将所述图像采集终端采集的燃气表的字轮窗图像压缩后上传到图像识别平台，图像识别平台将压缩后的字轮窗图像还原后，将字轮窗图像的地址写入Redis监控队列中；

步骤S3：基于Faster-Rcnn模型学习生成的特征参数文件对所述Redis监控队列中的字轮窗图像的坐标参数进行提取；

步骤S4：图像识别平台将生成的该字轮窗图像对应的坐标参数进行线性拟合后发送至图像采集终端，图像采集终端根据线性拟合后的坐标参数对采集的该字轮窗图像进行分割，获得字轮窗图像中的字符，并将获取的字符发送到图像识别平台进行识别处理。

2.根据权利要求1所述的基于图像分割的燃气表字轮坐标提取方法，其特征在于：所述步骤S1具体包括以下步骤：

步骤S1-1：采集燃气表的字轮窗图像，使用labelImg图像标注对字轮窗图像中目标体的位置进行标注，标注后形成xml格式的数据文件；所述数据文件中记录了目标体的个数，以及每个目标体在字轮窗图像中的位置；

步骤S1-2：将采集的字轮窗图像和标注后形成的xml格式的数据文件输入Faster-Rcnn模型中，进行特征提取的训练，以提取字轮窗图像的特征，形成特征参数文件。

3.根据权利要求2所述的基于图像分割的燃气表字轮坐标提取方法，其特征在于：所述Faster-Rcnn模型包括卷积层、候选区推荐器、池化层；

所述卷积层采用VGG-16模型提取字轮窗图像的特征，先将大小为P×Q的原始字轮窗图像缩放剪裁为M×N的大小，经过13个卷积层后形成大小为(M/16)×(N/16)的特征向量；每个所述卷积层的卷积核为3×3的规模；

所述候选区推荐器采用RPN算法对卷积层输出的特征向量进行计算后，将特征向量分为两路，一路用于判断字轮窗图像为前景还是背景，另一路用于重构为一维特征向量，然后再使用逻辑回归算法来判断字轮窗图像为前景还是背景；两路计算结束后挑选出前景候选框，通过RPN算法计算得到候选框的位置；

所述池化层根据候选框的位置获取特征子图，经过4个池化层后形成字轮窗图像的特征，生成特征参数文件；每个所述池化层的卷积核为2×2的规模。

4.根据权利要求1所述的基于图像分割的燃气表字轮坐标提取方法，其特征在于：所述步骤S2具体包括以下步骤：

步骤S2-1：所述图像采集终端将采集的字轮窗图像压缩后，通过Spring boot服务器提供的接口上传到图像识别平台，在传输压缩后的字轮窗图像时，以二进制流的方式上传；

步骤S2-2：所述图像识别平台对上传的二进制流进行解析，获得灰度矩阵，依据灰度矩阵还原压缩后的字轮窗图像；

步骤S2-3：图像识别平台保存灰度矩阵为字轮窗图像，并将该字轮窗图像的地址写入Redis监控队列中。

5.根据权利要求1所述的基于图像分割的燃气表字轮坐标提取方法，其特征在于：所述步骤S3具体包括以下步骤：

步骤S3-1：图像识别平台调用步骤S1中Faster-Rcnn模型学习生成的特征参数文件，使用该特征参数文件监控Redis监控队列中地址；

步骤S3-2：使用特征参数文件对Redis监控队列中字轮窗图像的坐标参数进行提取。

6.根据权利要求1所述的基于图像分割的燃气表字轮坐标提取方法，其特征在于：所述步骤S4具体包括以下步骤：

生成的该字轮窗图像对应的坐标参数包括{(x1,y1),(x2,y2),...(xn,yn)}，其中n为字轮窗图像中字符的个数，x为字符的横坐标，y为字符的纵坐标；

且有函数y=f(x;b)，通过坐标参数x、y寻求参数b的最佳估计值，从而获得最佳的理论曲线y=f(x;b)，从中获得线性拟合后的坐标参数。

Images