CN110796095B

CN110796095B - 仪表模板建立方法、终端设备以及计算机存储介质

Info

Publication number: CN110796095B
Application number: CN201911046359.1A
Authority: CN
Inventors: 李宁钏; 熊剑平
Original assignee: Zhejiang Dahua Technology Co Ltd
Current assignee: Zhejiang Dahua Technology Co Ltd
Priority date: 2019-10-30
Filing date: 2019-10-30
Publication date: 2022-08-09
Anticipated expiration: 2039-10-30
Also published as: CN110796095A

Abstract

本申请提供了一种仪表模板建立方法、终端设备以及计算机存储介质。该仪表模板建立方法包括：获取第一模板图像，并识别第一模板图像上的刻度点；基于刻度点生成拟合图形；基于拟合图形与预设图形对第一模板图像进行矫正，以获得第二模板图像；基于拟合图形对第二模板图像进行极坐标转换，获取极坐标图以及刻度点信息对应的极坐标值；保存极坐标图，以及刻度点与极坐标值的对应关系作为仪表模板；基于仪表模板对待测仪表图像进行识别，以得到待测仪表图像中指示的刻度值。本申请的仪表模板建立方法能够提高仪表度数的识别精度以及识别效率。

Description

仪表模板建立方法、终端设备以及计算机存储介质

技术领域

本申请涉及数字图像处理技术领域，特别是涉及一种仪表模板建立方法、终端设备以及计算机存储介质。

背景技术

指针式仪表作为一种传统的计量仪器，由于结构简单、价格便宜、维护方便、防腐蚀、不受磁场干扰、耐低温、可靠性高等诸多有点，目前仍广泛应用于电力、交通运输、科学实验和居民生活等各个领域。

指针式仪表需要定期对其进行抄表读数或者准确度鉴定。指针式仪表的鉴定技术发展到今天，现在可以采用机器视觉结合图像处理的手段来对仪表进行检测，所有的处理手段和方法最重要的就是仪表上指针位置的寻找，只有能够准确识别指针的位置才能实现对仪表度数的自动识别。目前的部分方法需要知道较多的先验知识，如标记旋转中心，即指针的旋转中心，或者其他信息。有些方法是直接通过图像处理加以识别，一步步去除干扰因素，然后才找到指针，但这些方法往往都是只能针对单一场景的仪表识别，不能做到通用。

发明内容

本申请提供了一种仪表模板建立方法、终端设备以及计算机存储介质，主要解决的技术问题是如何提高仪表度数的识别精度以及识别效率。

为解决上述技术问题，本申请提供了一种仪表模板建立方法，所述模板建立方法包括：

获取第一模板图像，并识别所述第一模板图像上的刻度点；

基于所述刻度点生成拟合图形；

基于所述拟合图形与预设图形对所述第一模板图像进行矫正，以获得第二模板图像；

基于所述拟合图形对所述第二模板图像进行极坐标转换，获取极坐标图以及所述刻度点信息对应的极坐标值；

保存所述极坐标图，以及所述刻度点与所述极坐标值的对应关系作为所述仪表模板；

基于所述仪表模板对待测仪表图像进行识别，以得到所述待测仪表图像中指示的刻度值。

为解决上述技术问题，本申请还提供了一种终端设备，所述终端设备包括存储器和处理器，其中，所述存储器与所述处理器耦接；

其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的仪表模板建立方法。

为解决上述技术问题，本申请还提供了一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如上述的仪表模板建立方法。

与现有技术相比，本申请的有益效果是：终端设备获取第一模板图像，并识别第一模板图像上的刻度点；基于刻度点生成拟合图形；基于拟合图形与预设图形对第一模板图像进行矫正，以获得第二模板图像；基于拟合图形对第二模板图像进行极坐标转换，获取极坐标图以及刻度点信息对应的极坐标值；保存极坐标图，以及刻度点与极坐标值的对应关系作为仪表模板；基于仪表模板对待测仪表图像进行识别，以得到待测仪表图像中指示的刻度值。本申请的仪表模板建立方法能够提高仪表度数的识别精度以及识别效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的仪表模板建立方法第一实施例的流程示意图；

图2是本申请对第一模板图像设置识别框的示意图；

图3是本申请提供的仪表模板建立方法第二实施例的流程示意图；

图4是本申请第一模板图像的椭圆信息和第二模板图像的正圆信息

的示意图；

图5是本申请第二模板图像的示意图。

图6是本申请提供的仪表模板建立方法第三实施例的流程示意图；

图7是本申请第二模板图像标记指针的示意图；

图8是本申请提供的仪表模板建立方法第四实施例的流程示意图；

图9是本申请提供的终端设备一实施例的结构示意图；

图10是本申请提供的终端设备另一实施例的结构示意图

图11是本申请计算机存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了解决上述的问题，本申请提出了一种仪表模板建立方法，具体请参阅图1，图1是本申请提供的仪表模板建立方法第一实施例的流程示意图。本申请的仪表模板建立方法应用于一种终端设备，可以为例如智能手机、平板电脑、笔记本电脑、电脑或者可穿戴设备等终端设备。

如图1所示，本实施例的仪表模板建立方法具体包括以下步骤：

S101：获取第一模板图像，并识别第一模板图像上的刻度点。

其中，终端设备可以与外部摄像装置建立通信连接，而摄像装置实时对通用指针式仪表场所的信息进行采集和录制，将采集到的信息作为仪表模板建立方法的源数据发送给终端设备。

另外，终端设备也可以接入外部存储设备，外部存储设备可以为移动硬盘、软盘驱动器、U盘或光盘驱动器等；其中，外部存储设备中存储有通用指针式仪表图像，终端设备可以直接从外部存储设备获取仪表图像。

通过上述方式，终端设备获取第一模板图像，对第一模板图像进行关键点识别，识别出第一模板图像中仪表盘的所有刻度点。

进一步地，在识别刻度点的之前，终端设备还可以在第一模板图像上建立框选矩形。如图2所示，具体过程如下：终端设备首先识别出第一模板图像中仪表盘21的位置和大小，然后根据仪表盘21的位置和大小设置识别框22。由于刻度点均出现在仪表盘21上，因此可以保证识别框22内包括所有刻度点；同时识别框22外包括环境信息，环境信息在仪表模板建立方法中输入干扰信息，因此终端设备在识别刻度点时可以只对识别框22内的内容进行识别，可以有效提高仪表模板建立方法的识别效率。

进一步地，在进行下一步的步骤之前，终端设备也可以根据识别框22对第一模板图像进行裁剪，只保存识别框22内的图像信息。同时，终端设备也可以保存识别框信息，以在后续识别过程中对待测仪表图像进行处理。保存方式可以为保存识别框22左上角点的坐标信息以及右下角点的坐标信息，也可以为保存识别框22左上角点的坐标信息以及识别框的宽度信息、高度信息。

S102：基于刻度点生成拟合图形。

其中，终端设备对识别框22中的刻度点进行标记，并记录每个刻度点对应的刻度值，如图2中的多个刻度点对应的刻度值从小到大记录为：0,10,20,30,40,50,60,70,80,90,100。

当标记的刻度点大于或等于5个时，终端设备可以利用标记的刻度点进行拟合，得到拟合图形，拟合图形的边界由多个刻度点组成，中心即为仪表指针旋转中心。

S103：基于拟合图形与预设图形对第一模板图像进行矫正，以获得第二模板图像。

其中，终端设备提取预设图形，并将预设图形与S102中的拟合图形进行比较，得到拟合图形与预设图形之间的变化关系。终端设备进一步根据变换关系对第一模板图像进行矫正，得到第二模板图像。

由于在获取仪表图像时，每张仪表图像的拍摄角度可能不相同，为了提高仪表度数的识别精度，终端设备需要将每张仪表图像都矫正到同一拍摄角度，即矫正后的仪表图像均可以根据刻度点拟合出预设图形。矫正步骤可以使得后续输入的待测仪表图像与模板图像相似度提高，可以直接进行关键点识别。

S104：基于拟合图形对第二模板图像进行极坐标转换，获取极坐标图以及刻度点信息对应的极坐标值。

其中，终端设备根据拟合图形的相关信息，如拟合图形的中心信息对第二模板图像进行极坐标转换。

具体地，第一模板图像和第二模板图像所使用的坐标系均为直角坐标系，第一模板图像和第二模板图像上的位置点均可以用(x,y)表示，也就是说要定位刻度点的位置，终端设备至少需要定位到两个维度的信息。因此，本实施例的仪表模板建立方法通过将模板图像进行极坐标转换，将直角坐标系的二维坐标转换为极坐标的一维坐标，即将刻度点坐标信息转化为极坐标图上的高度信息，或者角度信息。

S105：保存极坐标图，以及刻度点与极坐标值的对应关系作为仪表模板。

其中，终端设备保存极坐标图作为仪表模板，仪表模板中还包括模板图像中标记的刻度点与极坐标图中的极坐标值之间的对应关系。

S106：基于仪表模板对待测仪表图像进行识别，以得到待测仪表图像中指示的刻度值。

其中，终端设备获取待测仪表图像，并将待测仪表图像与预存的仪表模板进行关键点匹配，获得待测仪表图像在极坐标图中指示的极坐标值。终端设备进一步根据刻度点与极坐标值的对应关系获取待测仪表图像在极坐标图中指示的极坐标值对应的刻度点，最后根据刻度点获悉待测仪表图像指示的刻度值。

在本实施例中，终端设备获取第一模板图像，并识别第一模板图像上的刻度点；基于刻度点生成拟合图形；基于拟合图形与预设图形对第一模板图像进行矫正，以获得第二模板图像；基于拟合图形对第二模板图像进行极坐标转换，获取极坐标图以及刻度点信息对应的极坐标值；保存极坐标图，以及刻度点与极坐标值的对应关系作为仪表模板；基于仪表模板对待测仪表图像进行识别，以得到待测仪表图像中指示的刻度值。本申请的仪表模板建立方法能够提高仪表度数的识别精度以及识别效率。

对于图1所示实施例中的步骤S103，本申请进一步提出了另一种具体的方法。具体请参阅图3，图3是本申请提供的仪表模板建立方法第二实施例的流程示意图。其中，上述仪表模板建立方法第一实施例中的拟合图形可以为椭圆，而预设图形可以为正圆。

如图3所示，本实施例的仪表模板建立方法具体包括以下步骤：

S201：以椭圆心作为正圆的圆心，以长轴作为正圆的直径。

其中，终端设备在上实施例中根据第一模板图像标记的刻度点进行椭圆拟合，得到对应的椭圆信息。终端设备基于椭圆信息提取预设的正圆信息，具体地，以椭圆心作为正圆的圆心，以椭圆的长轴作为正圆的直径。

S202：基于圆心以及直径确定正圆上对应长轴和短轴的四个点。

S203：基于四个点以及长轴的端点、短轴的端点计算矫正过程需要的变换矩阵。

其中，在矫正过程中，终端设备先定位到椭圆上长轴的端点以及短轴的端点，然后定位椭圆心，即正圆圆心，正圆的半径长度为椭圆长轴长度的一般，从而得到正圆上对应长轴和短轴的四个点。终端设备将上述数据分别代入透视变换公式，从而计算出矫正过程中需要的变换矩阵，即单应性矩阵。如图4所示，P₁、P₂、P₃和P₄分别为椭圆的长轴端点和短轴端点，P₁'、P₂'、P₃'和P₄'分别为正圆的四个端点。

其中，椭圆的端点坐标为(x，y)，正圆的端点坐标为(x'，y')，椭圆与正圆的变换关系表现为：

其中，

为变换矩阵，变换矩阵中的参数a，参数b，参数d，参数e为旋转参数，参数c和参数f为平移参数。

S204：基于变换矩阵将第一模板图像矫正为第二模板图像。

其中，终端设备基于S203计算得到的变换矩阵将第一模板图像矫正为第二模板图像，如图5所示，矫正后的第二模板图像可以根据仪表盘上的刻度点拟合出正圆图形。

在本实施例中，终端设备只是利用了刻度点信息进行图形拟合和图像矫正，提高后续指针匹配和读数识别的准确度；相对于现有技术的图像矫正方法，减少获取的信息数量以及信息获取难度，能够有效提高仪表模板建立方法的识别效率。

对于图1所示实施例中的步骤S105，本申请进一步提出了另一种具体的方法。具体请参阅图6，图6是本申请提供的仪表模板建立方法第三实施例的流程示意图。

如图6所示，本实施例的仪表模板建立方法具体包括以下步骤：

S301：识别第二模板图像中的刻度点和刻度值。

其中，终端设备需要在第二模板图像中标记指针信息，这个过程同样可以发生在第一模板图像中，在此不再赘述。

具体地，对于一般的指针式仪表，指针指尖位置一般都会出现在刻度线上，而刻度线与刻度值之间会留有一定的空白区域。因此，在识别指针的过程中，终端设备可以通过识别仪表图像中的刻度点和刻度值来确定指针的位置。

在第二模板图像中，每一个刻度点对应有一个刻度值，而每一个刻度点和对应的刻度值之间存在一段空白区域。若指针没有指向某一刻度点，终端设备在该刻度点处识别到的就是空白区域；若指针指向某一刻度点，终端设备在该刻度点处识别到的就是黑色区域。

S302：在每一刻度点以及对应的刻度值之间识别指针。

其中，根据上述原理，终端设备只需要对第二模板图像中的部分区域进行识别，即每一个刻度点和对应的刻度值之间的空白区域。终端设备可以采用色度识别，若识别结果为白色，则说明该区域不存在指针；若识别结果为黑色，则说明该区域存在指针。

S303：根据指针对极坐标图进行切割，并保存切割后的极坐标图。

其中，在获取指针的位置后，终端设备在极坐标图中对标记指针信息，标记内容包括指针长度和宽度，如图7所示，终端设备只需要标记指针在刻度点和刻度值之间的长度。终端设备根据指针标记的长度对极坐标图进行切割，并保存切割后的极坐标图，即切割后的极坐标图至少包括标记的部分指针。其中，切割后的极坐标图用于匹配待测仪表图中的指针。

进一步地，由于大部分指针式仪表的指针形状和大小基本一致，因此，终端设备也可以通过根据标记的指针长度和宽度从极坐标图中切割出指针形状，并保存指针形状，用于后续识别过程中匹配待测仪表图中的指针。

在本实施例中，终端设备对极坐标图中的指针进行识别和标记，并通过标记的指针对极坐标图进行切割，进而保存切割后的极坐标图。通过这种方式，终端设备一方面可以减小存储极坐标图所需要的内存，另一方面也可以在识别之前尽可能减少极坐标图中的干扰信息。

对于图1所示实施例中的步骤S106，本申请进一步提出了另一种具体的方法。具体请参阅图8，图8是本申请提供的仪表模板建立方法第四实施例的流程示意图。

如图8所示，本实施例的仪表模板建立方法具体包括以下步骤：

S401：根据第一模板图像对待测仪表图像进行关键点匹配，以对待测仪表图像进行变换。

其中，终端设备获取待测仪表图像，获取方式请参阅第一实施例中的S101获取第一模板图像的过程，在此不再赘述。

终端设备首先将待测仪表图像与第一模板图像进行关键点匹配，从而根据第一模板图像对待测仪表图像进行相应的矫正，例如平移、缩放等，最终使得待测仪表图像与第一模板图像相似，即通过刻度点拟合的椭圆图形椭圆圆心位置相近，仪表大小相近。

通过本步骤的矫正过程，终端设备能够直接可以使用预存的仪表模板对待测仪表图像进行识别。

进一步地，终端设备还可以直接利用预存的识别框对待测仪表图像中的刻度点进行框选识别，提高识别的速度。

S402：根据预设图形对变换后的待测仪表图像进行矫正。

其中，终端设备可以直接利用建模时保存的椭圆图形对变换后的待测仪表图像进行透视变换。

S403：根据极坐标图对矫正后的待测仪表图像进行极坐标转换。

其中，终端设备可以直接利用建模时保存的极坐标图对矫正后的待测仪表图像进行极坐标转换。

S404：根据刻度点与极坐标值的对应关系在转换后的待测仪表图像识别指示的刻度值。

其中，终端设备截取建模时保存的极坐标图中指针目标区域，并将待测仪表图像的极坐标图与指针目标区域进行关键点匹配，得到指针在待测仪表图像的极坐标图的位置。然后，终端设备根据建模时保存的刻度点与极坐标值的对应关系将指针在待测仪表图像的极坐标图的位置换算为待测仪表图像中指示的刻度值信息。

进一步地，若终端设备在建模过程中保存的是指针形状，在本步骤中，终端设备可以直接根据建模时保存的指针形状与待测仪表图像的极坐标图进行关键点匹配。

具体地，终端设备获的待测仪表图像中指示的刻度值，即待测仪表图像的指针高度位置，然后根据匹配到的指针高度位置经过极坐标反变换得到指针在待测仪表图像上的指针位置。

例如，指针高度位置根据建模过程中保存的高度信息与刻度值信息就可以识别出待测仪表图像的刻度值读数，具体的公式表现为：

其中，h为匹配到的指针高度，reading为待测仪表图像的刻度值读数，H_n为指针上面一个刻度点高度位置，H_n+1为指针下面一个刻度点高度位置，read_n+1为H_n+1对应的刻度值读数，read_n为H_n对应的刻度值读数。

为实现上述实施例的仪表模板建立方法，本申请还提出了一种终端设备，具体请参阅图9，图9是本申请提供的终端设备一实施例的结构示意图。

本实施例的终端设备500包括获取模块51、转换模块52、建模模块53以及识别模块54。

其中，获取模块51，用于获取第一模板图像，并识别第一模板图像上的刻度点。

转换模块52，用于基于刻度点生成拟合图形。

转换模块52，还用于基于拟合图形与预设图形对第一模板图像进行矫正，以获得第二模板图像。

转换模块52，还用于基于拟合图形对第二模板图像进行极坐标转换，获取极坐标图以及刻度点信息对应的极坐标值。

建模模块53，用于保存极坐标图，以及刻度点与极坐标值的对应关系作为所述仪表模板。

识别模块54，用于基于仪表模板对待测仪表图像进行识别，以得到待测仪表图像中指示的刻度值。

为实现上述实施例的仪表模板建立方法，本申请还提出了一种终端设备，具体请参阅图10，图10是本申请提供的终端设备另一实施例的结构示意图。

本实施例的终端设备600包括存储器61和处理器62，其中，存储器61和处理器62耦接。

存储器61用于存储程序数据，处理器62用于执行程序数据以实现上述实施例的仪表模板建立方法。

在本实施例中，处理器62还可以称为CPU(Central Processing Unit，中央处理单元)。处理器62可能是一种集成电路芯片，具有信号的处理能力。处理器62还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器62也可以是任何常规的处理器等。

本申请还提供一种计算机存储介质，如图11所示，计算机存储介质700用于存储程序数据71，程序数据71在被处理器执行时，用以实现如本申请仪表模板建立方法实施例中所述的方法。

本申请仪表模板建立方法实施例中所涉及到的方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在装置中，例如一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims

1.一种仪表模板建立方法，其特征在于，所述模板建立方法包括：

获取第一模板图像，并识别所述第一模板图像上的刻度点；

基于所述刻度点生成拟合图形；

基于所述拟合图形与预设图形对所述第一模板图像进行矫正，以获得第二模板图像，其中，所述拟合图形为椭圆，所述预设图形为正圆；

基于所述仪表模板对待测仪表图像进行识别，以得到所述待测仪表图像中指示的刻度值；

所述获取极坐标图以及所述刻度点信息对应的极坐标值之后，所述建立方法包括：

识别所述第二模板图像中的刻度点和刻度值；

在每一所述刻度点以及对应的所述刻度值之间识别指针；

根据所述指针在刻度点和刻度值之间的长度，对所述极坐标图进行切割，并保存切割后的极坐标图，其中，所述切割后的极坐标图用于匹配所述待测仪表图像中的指针。

2.根据权利要求1所述的仪表模板建立方法，其特征在于，

所述拟合图形为椭圆，包括长轴和椭圆心；所述预设图形为正圆；

所述基于所述拟合图形与预设图形对所述第一模板图像进行矫正，以获得第二模板图像的步骤，包括：

以所述椭圆心作为所述正圆的圆心，以所述长轴作为所述正圆的直径，对所述第一模板图像进行矫正，以获得所述第二模板图像。

3.根据权利要求2所述的仪表模板建立方法，其特征在于，

所述以所述椭圆心作为所述正圆的圆心，以所述长轴作为所述正圆的直径，对所述第一模板图像进行矫正，以获得第二模板图像的步骤，包括：

基于所述圆心以及所述直径确定所述正圆上对应所述长轴和所述短轴的四个点；

基于所述四个点以及所述长轴的端点、所述短轴的端点计算矫正过程需要的变换矩阵；

基于所述变换矩阵将所述第一模板图像矫正为所述第二模板图像。

4.根据权利要求1所述的仪表模板建立方法，其特征在于，

所述获取第一模板图像，并识别所述第一模板图像上的刻度点的步骤，包括：

获取所述第一模板图像，基于所述第一模块图像建立识别框，所述识别框内包括所有刻度点，所述识别框外包括环境信息；

基于所述识别框对所述第一模板图像进行切割处理。

5.根据权利要求1所述的仪表模板建立方法，其特征在于，

所述在每一所述刻度点以及对应的所述刻度值之间识别指针的步骤之后，包括：

保存所述指针的形状，以及所述刻度点与所述极坐标值的对应关系作为所述仪表模板。

6.根据权利要求1所述的仪表模板建立方法，其特征在于，

所述基于所述仪表模板对待测仪表图像进行识别，以得到所述待测仪表图像中指示的刻度值的步骤，包括：

根据所述仪表模板中的极坐标图对所述待测仪表图像进行极坐标转换；

根据所述刻度点与所述极坐标值的对应关系在转换后的所述待测仪表图像识别指示的刻度值。

7.根据权利要求6所述的仪表模板建立方法，其特征在于，

所述仪表模板进一步包括所述第一模板图像；

所述根据所述仪表模板中的极坐标图对所述待测仪表图像进行极坐标转换的步骤，包括：

根据所述第一模板图像对所述待测仪表图像进行关键点匹配，以对所述待测仪表图像进行变换；

根据所述预设图形对变换后的所述待测仪表图像进行矫正；

根据所述极坐标图对矫正后的所述待测仪表图像进行极坐标转换。

8.一种终端设备，其特征在于，所述终端设备包括存储器和处理器，其中，所述存储器与所述处理器耦接；

其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1~7中任一项所述的仪表模板建立方法。

9.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如权利要求1~7中任一项所述的仪表模板建立方法。