CN115797934A - 仪表示数方法、装置、电子设备以及存储介质 - Google Patents

Abstract

本公开提供了一种仪表示数方法、装置、电子设备以及存储介质，涉及计算机视觉、深度学习和工业质检技术领域。具体实现方案为：根据对指针仪表的仪表图像进行检测得到的目标检测信息，从仪表图像中确定表盘图像；对表盘图像进行关键点检测，得到刻度检测信息，其中，刻度检测信息包括至少一个关键点的位置信息，关键点表征目标刻度的点，目标刻度具有与目标刻度对应的至少一个关键点，目标刻度是具有示数的刻度；根据对表盘图像进行图像分割得到的图像分割信息，得到指针识别信息；根据刻度检测信息、指针识别信息和与刻度检测信息对应的刻度示数信息，得到仪表示数识别信息。

Description

仪表示数方法、装置、电子设备以及存储介质

技术领域

本公开涉及人工智能技术领域，尤其涉及计算机视觉、深度学习和工业质检技术领域。具体地，涉及一种仪表示数方法、装置、电子设备以及存储介质。

背景技术

指针式仪表具有抗电磁干扰、抗震、耐油污和防冻防水等特点，因此，在电力、能源和航空等工业领域得到广泛应用。

随着图像处理技术的发展和工业制造技术的发展，可以利用巡检机器人搭载视觉传感器采集部署于工业现场的指针仪表的仪表图像，再利用图像处理技术确定仪表示数。

发明内容

本公开提供了一种仪表示数方法、装置、电子设备以及存储介质。

根据本公开的一方面，提供了一种仪表示数识别方法，包括：根据对指针仪表的仪表图像进行检测得到的目标检测信息，从上述仪表图像中确定表盘图像；对上述表盘图像进行关键点检测，得到刻度检测信息，其中，上述刻度检测信息包括至少一个关键点的位置信息，上述关键点表征目标刻度的点，上述目标刻度具有与上述目标刻度对应的至少一个关键点，上述目标刻度是具有示数的刻度；以及，根据上述刻度检测信息、上述指针识别信息和与上述刻度检测信息对应的刻度示数信息，得到仪表示数识别信息。

根据本公开的另一方面，提供了一种仪表示数识别装置，包括：第一确定模块，用于根据对指针仪表的仪表图像进行检测得到的目标检测信息，从上述仪表图像中确定表盘图像；第一获得模块，用于对上述表盘图像进行关键点检测，得到刻度检测信息，其中，上述刻度检测信息包括至少一个关键点的位置信息，上述关键点表征目标刻度的点，上述目标刻度具有与上述目标刻度对应的至少一个关键点，上述目标刻度是具有示数的刻度；第二获得模块，用于根据对上述表盘图像进行图像分割得到的图像分割信息，得到指针识别信息；以及，第三获得模块，用于根据上述刻度检测信息、上述指针识别信息和与上述刻度检测信息对应的刻度示数信息，得到仪表示数识别信息。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行如上上述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使上述计算机执行如上上述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现如上上述的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示意性示出了根据本公开实施例的可以应用仪表示数识别方法及装置的示例性***架构；

图2示意性示出了根据本公开实施例的仪表示数识别方法的流程图；

图3示意性示出了根据本公开实施例的指针仪表的示例示意图；

图4示意性示出了根据本公开实施例的对表盘图像进行M个阶段的特征提取，得到与第M阶段对应的至少一个关键点特征图的示例示意图；

图5示意性示出了根据本公开实施例的根据目标椭圆和外接圆，确定变换矩阵的示例示意图；

图6A示意性示出了根据本公开实施例的仪表示数识别方法的原理示意图；

图6B示意性示出了根据本公开实施例的仪表示数识别信息的示例示意图；

图7示意性示出了根据本公开实施例的仪表示数识别装置的框图；以及

图8示意性示出了根据本公开实施例的适于实现仪表示数识别方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1示意性示出了根据本公开实施例的可以应用仪表示数识别方法及装置的示例性***架构。

需要注意的是，图1所示仅为可以应用本公开实施例的***架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、***、环境或场景。

如图1所示，根据该实施例的***架构100可以包括巡检机器人101、电子设备102和网络103。网络103可以用以在巡检机器人101和电子设备102之间提供通信链路的介质。网络103可以包括各种连接类型。例如，有线和无线通信链路等中的至少之一。

工业现场的工业设备上可以设置有指针仪表。巡检机器人101可以设置视觉传感器。视觉传感器可以用于采集指针仪表的仪表图像。此外，巡检机器人101可以包括云台、底盘和工控机等。可以将位于巡检机器人上的视觉传感器称为移动视觉传感器。此外，工业现场还可以设置固定视觉传感器。固定视觉传感器也可以用于采集指针仪表的仪表图像。

电子设备102可以包括以下至少之一：终端设备1021和服务器1022。终端设备1021可以是具有显示屏并且支持网页浏览的各种电子设备。例如，终端设备102_1可以包括智能手机、平板电脑、膝上型便携计算机和台式计算机等中的至少之一。

服务器102_2可以是提供各种服务的服务器。例如，服务器102_2可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(Virtual Private Server，虚拟专用服务器)中，存在的管理难度大，业务扩展性弱的缺陷。

巡检机器人101可以用于在工业现场进行巡检，以及向电子设备102发送在巡检过程中采集的仪表图像。巡检机器人101也可以将采集得到的仪表图像存储于本地。

电子设备102可以根据对指针仪表的仪表图像进行检测得到的目标检测信息，从仪表图像中确定表盘图像。对表盘图像进行关键点检测，得到刻度检测信息。根据对表盘图像进行图像分割得到的图像分割信息，得到指针识别信息。根据刻度检测信息、指针识别信息和与刻度检测信息对应的刻度示数信息，得到仪表示数识别信息。

需要说明的是，本发明实施例所提供的仪表示数识别方法可以电子设备102执行。相应地，本发明实施例所提供的仪表示数识别装置也可以设置于电子设备102中。

应该理解，图1中的巡检机器人、电子设备和网络的数目仅仅是示意性的。根据实现需要，可以具有任意数目的巡检机器人、电子设备和网络。

应注意，以下方法中各个操作的序号仅作为该操作的表示以便描述，而不应被看作表示该各个操作的执行顺序。除非明确指出，否则该方法不需要完全按照所示顺序来执行。

图2示意性示出了根据本公开实施例的仪表示数识别方法的流程图。

如图2所示，该方法200包括操作S210～S240。

在操作S210，根据对指针仪表的仪表图像进行检测得到的目标检测信息，从仪表图像中确定表盘图像。

在操作S220，对表盘图像进行关键点检测，得到刻度检测信息。

在操作S230，根据对表盘图像进行图像分割得到的图像分割信息，得到指针识别信息。

在操作S240，根据刻度检测信息、指针识别信息和与刻度检测信息对应的刻度示数信息，得到仪表示数识别信息。

根据本公开的实施例，刻度检测信息可以包括至少一个关键点的位置信息。关键点可以表征目标刻度的点。目标刻度可以具有与目标刻度对应的至少一个关键点。目标刻度可以是具有示数的刻度。

根据本公开的实施例，指针仪表可以用于对工业现场的测量参数进行显示。测量参数可以包括以下至少之一：环境参数、生产指标参数和设备运行参数等。生产指标参数可以指与用于评估资源生产信息的指标参数。例如，环境参数可以包括以下至少之一：温度、湿度和压力等。设备运行参数可以包括以下至少之一：电流和电压等。生产指标参数可以包括以下至少之一：油量、燃气量和水量等。

根据本公开的实施例，根据测量参数的不同，指针仪表的仪表类型可以包括以下至少之一：与环境参数对应的指针仪表、与生产指标参数对应的指针仪表和与设备运行参数对应的指针仪表。例如，与环境参数对应的指针仪表可以包括以下至少之一：温度指针仪表、湿度指针仪表和压力指针仪表等。与生产指标对应的指针仪表可以包括以下至少之一：油量指针仪表、燃气量指针仪表和水量指针仪表等。与设备运行参数对应的指针仪表可以包括以下至少之一：电压指针仪表和电流指针仪表等。

根据本公开的实施例，指针仪表可以包括表盘。表盘可以包括刻度、刻度示数和指针。根据刻度的分布信息，指针仪表的类型可以包括以下至少之一：刻度均匀分布的指针仪表和刻度非均匀分布的指针仪表。此外，指针仪表具有与该指针仪表对应的刻度范围。例如，刻度范围可以大于或等于180°且小于或等于360°。刻度范围可以大于0°且小于或等于60°。

根据本公开的实施例，仪表图像可以包括表盘区域图像和非表盘区域图像。表盘区域图像可以指与表盘区域对应的图像。非表盘区域图像可以指与非表盘图像对应的图像。表盘区域可以包括文本区域和示数区域。文本区域可以指用于描述仪表信息的区域。仪表信息可以包括以下至少之一：生产者、仪表类型、仪表量程和序列号等。示数区域可以指能够获取示数的区域。示数区域可以包括指针区域、刻度区域和刻度示数区域。刻度区域可以包括至少一个刻度。刻度具有长度。刻度可以包括第一类型的刻度和第二类型的刻度。第一类型的刻度的长度大于第二类型的刻度的长度。此外，刻度还可以包括第三类型的刻度。第三类型的刻度的长度大于第二类型的刻度的长度且小于第一类型的刻度的长度。刻度示数区域可以包括至少一个示数。至少一个刻度中可以包括具有示数的刻度和不具有示数的刻度。例如，第一类型的刻度可以是具有示数的刻度。第三类型的刻度可以是具有示数的刻度。第二类型的刻度可以是不具有示数的刻度。

图3示意性示出了根据本公开实施例的指针仪表的示例示意图。

如图3所示，在300中，指针仪表301可以包括刻度3011、刻度3012、刻度3013、刻度3014、刻度3015、刻度3016、刻度3017、刻度3018和刻度3019。此外，指针仪表301还包括刻度30110。刻度3015可以包括点30151和点30152。

由于刻度3011至刻度3019是具有示数的刻度，因此，刻度3011至刻度3019可以是目标刻度。由于刻度30110是不具有示数的刻度，因此，刻度30110不是目标刻度。刻度3011至刻度3019可以是第一类型的刻度。刻度30110可以是第二类型的刻度。刻度301 5上的点30151和点30152可以是关键点。

根据本公开的实施例，目标检测信息可以用于确定对象的位置信息。对象可以包括表盘区域和非表盘区域。目标检测信息可以是对仪表图像进行目标检测得到的。刻度检测信息可以用于确定关键点的位置信息。刻度检测信息可以包括至少一个关键点的位置信息。关键点可以是目标刻度上的点。目标刻度可以是具有示数的刻度。例如，目标刻度可以包括第一类型的刻度和第三类型的刻度中的至少之一。目标刻度可以具有与该目标刻度对应的至少一个关键点。例如，目标刻度可以具有与该目标刻度对应的两个关键点。两个关键点可以是位于目标刻度的两端的点。与刻度检测信息对应的刻度示数信息可以包括与目标刻度对应的示数。示数与目标刻度可以具有对应关系。由于关键点是目标刻度上的点，因此，示数与关键点可以具有对应关系。指针识别信息可以包括至少一个指针。

根据本公开的实施例，目标刻度的确定和目标刻度的数目可以根据实际业务需求进行配置，在此不作限定。例如，目标刻度的数目可以是根据各种预定仪表类型的指针仪表的目标刻度的数目来确定的，能够满足各种预定仪表类型的指针仪表的指针示数识别需求即可。例如，目标刻度的数目可以是根据至少一个目标数目确定的。目标数目可以指预定仪表类型的指针仪表包括的目标刻度的数目。例如，目标刻度的数目可以是根据至少一个目标数目之和确定的。由于目标刻度的数目可以是根据各种预定类型的指针仪表的目标刻度的数目确定的，因此，能够保证刻度检测方法的通用性。

根据本公开的实施例，由于目标刻度的数目是根据与至少一个预定类型的指针仪表的目标刻度的数目确定的，例如，目标刻度的数目可以是与至少一个预定类型的指针仪表的目标刻度的数目之和，因此，指针仪表的目标刻度的实际数目小于或等于目标刻度的数目。在指针仪表的目标刻度的实际数目小于目标刻度的数目的情况下，可以将大于实际数目中的目标刻度用预定标识表征。预定标识表征该目标刻度具有不可见的属性。预定标识可以根据实际业务需求进行配置，在此不作限定，例如，预定标识可以是0。

根据本公开的实施例，由于目标刻度是具有示数的刻度，示数可以增加关键点的特征信息，因此，可以提高刻度检测信息的准确性和刻度检测方法的通用性。由于目标刻度是具有示数的刻度，因此，能够解决在针对刻度非均匀分布的指针仪表的情况下，利用较少数目的刻度难以得到准确的刻度检测信息的问题，由此提高刻度检测方法的通用性。

根据本公开的实施例，可以获取指针仪表的原始仪表图像。原始仪表图像可以是由固定视觉传感器采集得到的。备选地，原始仪表图像可以是由移动视觉传感器采集得到的。移动视觉传感器可以指位于巡检机器人上的视觉传感器。原始仪表图像可以存储于本地数据库和云数据库中的至少之一。

根据本公开的实施例，获取指针仪表的原始仪表图像，可以包括：响应于检测到示数识别指令，从数据源中获取指针仪表的原始仪表图像。数据源可以包括以下至少之一：本地数据库、云数据库和网络资源。从数据源中获取指针仪表的原始仪表图像，可以包括：调用数据接口。利用数据接口从数据源中获取指针仪表的原始仪表图像。

根据本公开的实施例，可以对仪表图像进行预处理，得到仪表图像。预处理可以包括以下至少之一：图像去噪和图像增强等。备选地，可以将原始仪表图像确定为仪表图像。

根据本公开的实施例，在获得仪表图像之后，可以对仪表图像进行目标检测，得到目标检测信息。例如，可以基于传统目标检测方法处理仪表图像，得到目标检测信息。备选地，可以基于深度学习的目标检测方法处理仪表图像，得到目标检测信息。传统目标检测方法可以包括以下至少之一：基于宏观特征的目标检测方法和基于特征点的目标检测方法。宏观特征可以包括以下至少之一：形状、颜色和尺寸等。例如，基于宏观特征的目标检测方法可以包括基于Hough圆变换的目标检测方法。基于特征点的目标检测方法可以包括以下至少之一：基于SIFT(Scale-invariant feature transform，尺度不变特征转换)的目标检测方法和基于SURF(Speeded Up Robust Features，加速稳健特征)的目标检测方法等。基于深度学习的目标检测方法可以包括以下至少之一：单阶段的目标检测方法和两阶段的目标检测方法。例如，两阶段的目标检测方法可以包括以下至少之一：R-CNN(即RegionConvolutional Neural Network)、Fast R-CNN、Faster R-CNN等。单阶段的目标检测方法可以包括以下至少之一：SSD(即Single Shot MultiBox Detector)和YOLO(即You OnlyLook Once)等。

根据本公开的实施例，对仪表图像进行目标检测，得到目标检测信息，可以包括：对仪表图像进行特征提取，得到至少一个尺度的仪表特征图。对至少一个尺度的仪表特征图进行融合，得到融合特征。根据融合特征，得到目标检测信息对。备选地，对仪表图像进行特征提取，得到仪表特征信息。根据仪表特征信息，得到至少一个候选框。根据至少一个候选框，得到目标检测信息。

根据本公开的实施例，在确定目标检测信息之后，可以根据目标检测信息，确定表盘区域的位置信息。根据表盘区域的位置信息，从仪表图像中确定表盘图像。仪表图像可以包括至少一个指针仪表的图像。在确定表盘图像之后，可以对表盘图像进行关键点检测，得到刻度检测信息。例如，对表盘图像进行关键点检测，得到刻度检测信息，可以包括：基于传统关键点检测方法处理表盘图像，得到刻度检测信息。备选地，可以基于深度学习的关键点检测方法处理表盘图像，得到刻度检测信息。传统关键点检测方法可以包括以下至少之一：基于ASM(即Active Shape Mode)的关键点检测方法、基于AAM(即Active AppearnceModel)的关键点检测方法和基于级联形状回归的关键点检测方法等。基于深度学习的关键点检测方法处理表盘图像，得到刻度检测信息，可以包括：对表盘图像进行特征提取，得到至少一个尺度的关键点特征图。根据至少一个尺度的关键点特征图，得到刻度检测信息。根据至少一个尺度的关键点特征图，得到刻度检测信息，可以包括：根据至少一个尺度的关键点特征图，得到与至少一个目标刻度对应的热力图。根据所述至少一个目标刻度对应的热力图，确定刻度检测信息。备选地，基于回归位置方法所述至少一个尺度的关键点特征图进行处理，得到刻度检测信息。

根据本公开的实施例，可以对表盘图像进行图像分割，得到图像分割信息。根据图像分割信息，得到指针识别信息。图像分割可以包括以下之一：语义分割、实例分割和场景分割。例如，可以对表盘图像进行图像分割，得到图像分割信息，可以包括：对表盘图像进行特征提取，得到第一骨干特征图。根据第一骨干特征图，得到语义分割信息和像素特征表征。根据语义分割信息和像素特征表征，得到图像分割信息。备选地，对表盘图像进行特征提取，得到第二骨干特征图。根据第二骨干特征图，得到至少一个尺度的第一中间特征图。根据第二骨干特征图和至少一个尺度的中间特征图，得到第二中间特征图。根据第二中间特征图，得到图像分割信息。可以根据图像分割信息，得到指针识别信息。

根据本公开的实施例，在获得刻度检测信息和指针识别信息之后，可以根据指针识别信息、刻度检测信息和与刻度检测信息对应的刻度示数信息，得到仪表示数识别信息。例如，可以根据与指针识别信息包括的至少一个指针对应的指针指向，确定指针所指向的刻度。在刻度是目标刻度的情况下，可以根据刻度示数信息中与目标刻度对应的示数，得到仪表示数识别信息。在刻度是非目标刻度的情况下，可以确定刻度与相邻两个目标刻度之间的距离，根据距离和相邻两个目标刻度各自的示数，确定仪表示数识别信息。此外，刻度示数信息可以包括各个刻度的示数。还可以预先存储各个刻度的位置信息。

根据本公开的实施例，在根据指针识别信息包括的至少一个指针

根据本公开的实施例，由于仪表示数识别信息是根据指针识别信息和刻度检测信息得到的，刻度检测信息是根据对表盘图像进行关键点检测得到的，刻度检测信息包括具有示数的目标刻度的位置信息，指针识别信息是根据对表盘图像进行图像分割得到的图像分割信息得到的，因此，能够适应于各种环境下的各种类型的指针仪表的示数识别，提高了仪表示数识别方法的通用性。

根据本公开的实施例，操作S210可以包括如下操作。

对指针仪表的仪表图像进行特征提取，得到至少一个尺度的仪表特征图。对至少一个尺度的仪表特征图进行融合，得到融合特征图。根据融合特征图，得到目标检测信息。根据置信度和类别信息，从至少一个区域中确定表盘区域。根据表盘区域的位置信息，从仪表图像中确定表盘图像。

根据本公开的实施例，目标检测信息可以包括至少一个区域的位置信息、类别信息和置信度。置信度可以表征类别信息的可信程度。类别信息可以包括表盘区域和非表盘区域。

根据本公开的实施例，可以对仪表图像进行特征提取，得到至少一个尺度的仪表特征图。例如，可以利用跨阶段局部提取方法处理仪表图像，得到至少一个尺度的仪表特征图。对至少一个尺度的仪表特征图进行融合的，得到融合特征图，可以包括：可以利用路径聚合方法处理至少一个尺度的仪表特征图，得到融合特征图。路径聚合方法可以指从小尺度到大尺度的聚合方法。路径聚合方法使得低层信息更容易传递到高层。

根据本公开的实施例，可以从至少一个类别信息中确定至少一个目标类别信息。在确定与目标类别信息对应的置信度大于或等于预定置信度阈值的情况下，将与目标类别信息对应的区域确定为表盘区域。目标类别信息可以表征区域是表盘区域的类别信息。根据表盘区域的位置信息，从仪表图像中确定表盘图像。

根据本公开的实施例，操作S220可以包括如下操作。

对表盘图像进行特征提取，得到至少一个尺度的关键点特征图。根据至少一个尺度的关键点特征图，得到刻度检测信息。

根据本公开的实施例，尺度可以指图像分辨率。每个尺度可以具有与该尺度对应的至少一个关键点特征图。

根据本公开的实施例，可以基于单阶段串联方法处理表盘图像，得到至少一个尺度的关键点特征图。备选地，基于多阶段串联方法处理表盘图像，得到至少一个尺度的关键点特征图。备选地，基于多阶段并联方法处理表盘图像，得到至少一个尺度的关键点特征图。

根据本公开的实施例，根据至少一个尺度的关键点特征图，得到刻度检测信息，可以包括：根据至少一个尺度的关键点特征图，得到至少一个目标刻度对应的热力图。根据与至少一个目标刻度对应的热力图，确定刻度检测信息。备选地，基于回归位置方法对至少一个尺度的关键点特征图进行处理，得到刻度检测信息。

根据本公开的实施例，由于至少一个尺度的关键点特征图能够提供更为丰富的信息，因此，利用至少一个尺度的关键点特征图来得到刻度检测信息，提高了刻度检测信息的准确性。

根据本公开的实施例，对表盘图像进行特征提取，得到至少一个尺度的关键点特征图，可以包括如下操作。

对表盘图像进行M个阶段的特征提取，得到与第M阶段对应的至少一个关键点特征图。根据与第M阶段对应的至少一个关键点特征图，得到至少一个尺度的关键点特征图。

根据本公开的实施例，第m阶段可以具有T_m个并联层级。同一并联层级的关键点特征图的图像分辨率相同。不同并联层级的关键点特征图的图像分辨率不同。

根据本公开的实施例，M可以是大于1或等于1的整数。m可以是大于或等于1且小于或等于M的整数。T_m可以是大于或等于1的整数。

根据本公开的实施例，M阶段可以包括输入阶段、中间阶段和输出阶段。输入阶段可以指第1阶段。输出阶段可以指第M阶段。中间阶段可以指第2阶段至第M-1阶段。各个阶段的并联层级的数目可以相同或不同。在第1阶段至第M-1阶段中，当前阶段可以比上一阶段多至少一个并联层级。第M阶段可以与第M-1阶段的并联层级的数目相同。M可以根据实际业务需求进行配置，在此不作限定。例如，M＝4。在第1阶段至第3阶段中，当前阶段可以比上一阶段多至少一个并联层级。第1阶段具有T1＝2个并联层级。第2阶段具有T₂＝3个并联层级。第3阶段具有T₃＝4个并联层级。第4阶段具有T₄＝4个并联层级。

根据本公开的实施例，同一并联层级的关键点特征图的图像分辨率相同。不同并联层级的关键点特征图的图像分辨率不同，例如，当前并联层级的关键点特征图的图像分辨率小于上一并联层级的关键点特征图的图像分辨率。当前阶段的当前并联层级的关键点特征图的图像分辨率可以是根据上一阶段的上一并联层级的关键点特征图的图像分辨率确定的。例如，当前阶段的当前阶段的关键点特征图的图像分辨率可以是将上一阶段的上一并联层级的关键点特征图的图像分辨率进行下采样得到的。

根据本公开的实施例，在M＞1的情况下，对表盘图像进行M个阶段的特征提取，得到与M个阶段对应的至少一个关键点特征图，可以包括：响应于m＝1，对表盘图像进行特征提取，得到与第1阶段对应的至少一个尺度的中间关键点特征图。根据与第1阶段对应的至少一个尺度的中间关键点特征图，得到与第1阶段对应的至少一个尺度的关键点特征图。响应于1＜m≤M，对与第m-1阶段对应的至少一个尺度的关键点特征图进行特征提取，得到与第m阶段对应的至少一个尺度的中间关键点特征图。根据与第m阶段对应的至少一个尺度的中间关键点特征图，得到与第m阶段对应的至少一个尺度的关键点特征图。

根据本公开的实施例，在M＝1的情况下，对表盘图像进行M个阶段的特征提取，得到与M个阶段对应的至少一个关键点特征图，可以包括：对表盘图像进行特征提取，得到与第1阶段对应的至少一个尺度的中间关键点特征图。根据与第1阶段对应的至少一个尺度的中间关键点特征图，得到与第1阶段对应的至少一个尺度的关键点特征图。

根据本公开的实施例，根据与第M阶段对应的至少一个关键点特征图，得到至少一个尺度的关键点特征图，可以包括：可以将与第M阶段对应的至少一个关键点特征图确定为至少一个尺度的关键点特征图。

根据本公开的实施例，由于同一并联层级的关键点特征图的图像分辨率相同，不同并联层级的关键点特征图的图像分辨率不同，因此，可以在整个特征提取的过程中保持高分辨率的特征表征，并逐步增加高分辨率到低分辨率的并联层级。在高分辨率的特征表征上直接提取深层语义信息而不是作为图像低层特征信息的补充，使其具备足够的分类能力，避免有效空间分辨率的损失。至少一个并联层级能够兼顾上下文信息的捕捉，获取丰富的全局和局部信息。此外，在并联层级上反复交换信息来实现特征的多尺度融合，能够获得更为准确的关键点的位置信息，由此提高了刻度检测信息的准确性。

根据本公开的实施例，在M是大于1的整数的情况下，对表盘图像进行M个阶段的特征提取，得到与第M阶段对应的至少一个关键点特征图，可以包括如下操作。

对与第m-1阶段对应的至少一个关键点特征图进行卷积处理，得到与第m阶段对应的至少一个中间关键点特征图。对与第m阶段对应的至少一个中间关键点特征图进行特征融合，得到与第m阶段对应的至少一个关键点特征图。

根据本公开的实施例，m可以是大于1且小于或等于M的整数。

根据本公开的实施例，针对第m-1阶段，针对至少一个关键点特征图中的关键点特征图，可以对该关键点特征图进行卷积处理，得到第m阶段的中间关键点特征图，由此，可以得到第m阶段的至少一个中间关键点特征图。

根据本公开的实施例，对与第m阶段对应的至少一个中间关键点特征图进行特征融合，得到与第m阶段对应的至少一个关键点特征图，可以包括：针对第m阶段对应的至少一个中间关键定特征图中的中间关键点特征图，将第m阶段的该中间关键点特征图和与第m阶段的除该中间关键点特征图所在并联层级以外的其他并联层级的中间关键点特征图进行融合，得到第m阶段的与该中间关键点特征图对应的关键点特征图。其他并联层级可以指第m阶段的除该中间关键点特征图所在并联层级以外的至少部分并联层级。

根据本公开的实施例，对与第m阶段对应的至少一个中间关键点特征图进行特征融合，得到与第m阶段对应的至少一个关键点特征图，可以包括如下操作。

针对T_m个并联层级中的第i个并联层级，根据与第i个并联层级对应的其他中间关键点特征图和与第i个并联层级对应的中间关键点特征图，得到与第i个并联层级对应的关键点特征图。

根据本公开的实施例，与第i个并联层级对应的其他中间关键点特征图是与T_m个并联层级中除第i个并联层级以外的至少部分并联层级对应的中间关键点特征图。i可以是大于或等于1且小于或等于T_m的整数。

根据本公开的实施例，在1＜i＜I的情况下，对至少一个第一其他中间关键点特征图进行上采样，得到与至少一个第一其他中间关键点特征图对应的上采样关键点特征图。对至少一个第二其他中间关键点特征图进行下采样，得到与至少一个第二其他中间关键点特征图对应的下采样关键点特征图。第一其他中间关键点特征图可以指T_m个并联层级中大于第i个并联层级的其他中间关键点特征图。第二其他中间关键点特征图可以指T_m个并联层级中小于第i个并联层级的其他中间关键点特征图。上采样关键点特征图的图像分辨率与第i个并联层级的该中间关键点特征图的分辨率相同。下采样关键点特征图的分辨率与i个并联层级的该中间关键点特征图的分辨率相同。

根据本公开的实施例，在i＝1的情况下，对至少一个第二其他中间关键点特征图进行上采样，得到与至少一个第一其他中间关键点特征图对应的下采样关键点特征图。第一其他中间关键点特征图可以指T_m个并联层级中大于第1个并联层级的其他中间关键点特征图。上采样关键点特征图的图像分辨率与第1个并联层级的该中间关键点特征图的分辨率相同。

根据本公开的实施例，在i＝I的情况下，对至少一个第二其他中间关键点特征图进行下采样，得到与至少一个第二其他中间关键点特征图对应的下采样关键点特征图。第二其他中间关键点特征图可以指T_m个并联层级中小于第i个并联层级的其他中间关键点特征图。下采样关键点特征图的分辨率与i个并联层级的该中间关键点特征图的分辨率相同。

根据本公开的实施例，根据与至少一个第一其他中间关键点特征图对应的上采样关键点特征图、与至少一个第二其他中间关键点特征图对应的下采样关键点特征图和第i个并联层级的中间关键点特征图，得到与第i个并联层级对应的关键点特征图。例如，可以将与至少一个第一其他中间关键点特征图对应的上采样关键点特征图、与至少一个第二其他中间关键点特征图对应的下采样关键点特征图和第i个并联层级的中间关键点特征图进行融合，得到与第i个并联层级对应的关键点特征图。融合可以包括以下至少之一：拼接和相加。

图4示意性示出了根据本公开实施例的对表盘图像进行M个阶段的特征提取，得到与第M阶段对应的至少一个关键点特征图的示例示意图。

如图4所示，在400中，M＝4，例如，第1阶段401、第2阶段402、第3阶段403和第4阶段404。第1阶段401具有两个并联层级，例如，第1并联层级405和第2并联层级406。第2阶段402具有三个并联层级，例如，第1并联层级405、第2并联层级406和第3并联层级407。第3阶段403具体四个并联层级，例如，第1并联层级405、第2并联层级406、第3并联层级407和第4并联层级408。

与第4阶段对应的至少一个关键点特征图可以包括关键点特征图409、关键点特征图410、关键点特征图411和关键点特征图412。此外，图4中每个阶段的最后两列之间的“右上箭头”表征“上采样”。“左下箭头”表征“下采样”。

根据本公开的实施例，对表盘图像进行特征提取，得到至少一个尺度的关键点特征图，可以包括如下操作。

对表盘图像进行N个级联层级的特征提取，得到至少一个尺度的关键点特征图。

根据本公开的实施例，N可以是大于1的整数。N可以根据实际业务需求进行配置，在此不作限定。例如，N＝4。

根据本公开的实施例，可以对表盘图像进行N个级联层级的特征提取，得到与N个级联层级对应的至少一个关键点特征图。根据与N个级联层级对应的至少一个关键点特征图，得到至少一个尺度的关键点特征图。例如，针对N个级联层级中的第n个级联层级，根据与其他级联层级的关键点特征图和与第n个级联层级对应的关键点特征图，得到与第n个级联层级所对应尺度的关键点特征图。其他级联层级可以指N个级联层级中除第n个级联层级以外的至少部分级联层级。

根据本公开的实施例，由于至少一个尺度的关键点特征图能够提供更为丰富的信息，因此，后续根据至少一个尺度的关键点特征图确定刻度检测信息，能够提高刻度检测信息的准确性。

根据本公开的实施例，根据至少一个尺度的关键点特征图，得到刻度检测信息，可以包括如下操作。

根据至少一个尺度的关键点特征图，得到与至少一个关键点对应的热力图。根据与至少一个关键点对应的热力图，确定刻度检测信息。

根据本公开的实施例，关键点可以具有与该关键点对应的热力图。热力图中像素的像素值可以表征像素是该关键点的概率值。

根据本公开的实施例，根据至少一个尺度的关键点特征图，得到与至少一个关键点对应的热力图，可以包括：可以从至少一个尺度的关键点特征图中确定第一目标关键点特征图。根据第一目标关键点特征图得到与至少一个关键点对应的热力图。第一目标关键点特征图可以是至少一个尺度的关键点特征图中最大图像分辨率的关键点特征图。备选地，可以将至少一个尺度的关键点特征图进行融合，得到第二目标关键点特征图。根据第二目标关键点特征图，得到与至少一个关键点对应的热力图。

根据本公开的实施例，针对至少一个关键点中的关键点，可以从与该关键点对应的热力图中确定概率值大于或等于预定概率阈值的像素。根据与该关键点对应的热力图中概率值大于或等于预定概率阈值的像素，得到与该关键点对应的位置信息。预定概率阈值可以根据实际业务需求进行配置，在此不作限定。例如，预定概率阈值可以是0.85。

根据本公开的实施例，根据至少一个尺度的关键点特征图，得到刻度检测信息，可以包括如下操作。

基于回归位置方法对至少一个尺度的关键点特征图进行处理，得到刻度检测信息。

根据本公开的实施例，回归位置方法可以指直接根据关键点特征图进行位置回归处理的方法。可以利用回归位置方法处理至少一个尺度的关键点，得到刻度检测信息。

根据本公开的实施例，基于回归位置方法对至少一个尺度的关键点特征图进行处理，得到刻度检测信息，可以包括：可以从至少一个尺度的关键点特征图中确定第三目标关键点特征图。基于回归位置方法对第三目标关键点特征图进行处理，得到刻度检测信息。第三目标关键点特征图可以是至少一个尺度的关键点特征图中最大图像分辨率的关键点特征图。备选地，可以将至少一个尺度的关键点特征图进行融合，得到第四目标关键点特征图。基于回归位置方法对第四目标关键点特征图进行处理，得到刻度检测信息。

根据本公开的实施例，操作S230可以包括如下操作。

根据对表盘图像进行图像分割得到的图像分割信息，得到第一中间指针识别信息。对第一中间指针识别信息进行骨架提取，得到第二中间指针识别信息。对第二中间指针信息进行直线拟合，得到指针识别信息。

根据本公开的实施例，第一中间指针识别信息可以包括至少一个指针区域。第二中间指针识别信息可以包括与至少一个指针区域对应的指针。

根据本公开的实施例，可以对表盘图像进行分割，得到图像分割信息。根据图像分割信息，得到第一中间指针识别信息。第一中间指针识别信息可以包括至少一个指针区域。在至少一个指针区域之后，可以利用形态学方法处理至少一个指针区域，得到第二指针识别信息。对第二指针识别信息进行直线拟合，得到指针识别信息。

根据本公开的实施例，利用形态学方法处理至少一个指针区域，得到第二指针识别信息，可以包括：可以利用骨架提取方法处理至少一个指针区域，得到第二指针识别信息。骨架提取(即二值图像细化)可以指将一个连通区域细化成一个像素的宽度，用于特征提取和目标拓扑表征。骨架提取方法可以包括以下至少之一：基于击中击不中变换的骨架提取算法和基于中轴变换的骨架提取算法。例如，K3M算法。设定从从二值图像中对象的边界处开始燃烧，对象就会被逐步细化，但在燃烧过程中需要保证满足预定条件的像素被保留或者被“烧掉”。在确定燃烧结束的情况下，最后剩下的二值图像即为二值图像的骨架。

根据本公开的实施例，可以利用骨架提取方法处理至少一个指针区域，得到第二指针识别信息，可以包括：根据至少一个指针区域，得到与至少一个指针区域对应的连通区域。利用骨架提取方法处理与至少一个指针区域对应的连通区域，得到第二指针识别信息。

根据本公开的实施例，在获得第二指针识别信息之后，可以基于直线拟合方法对第二指标识别信息包括的与至少一个指针区域对应的指针进行直线拟合，得到指针识别信息。

根据本公开的实施例，上述仪表示数识别方法还可以包括如下操作。

对表盘图像进行特征提取，得到骨干特征图。根据骨干特征图，得到语义分割信息和像素特征表征。根据语义分割信息和像素特征表征，得到图像分割信息。

根据本公开的实施例，语义分割信息可以表征粗略的语义分割信息。

根据本公开的实施例，可以对骨干特征图进行处理，得到语义分割信息和像素特征表征，再根据语义分割信息和像素特征表征，得到图像分割信息。

根据本公开的实施例，对骨干特征图进行处理，得到语义分割信息和像素特征表征，可以包括：对骨干特征图进行上采样，得到像素特征表征。像素特征表征的分辨率与骨干特征图的图像分辨率相同。对骨干特征图进行上采样和卷积，得到语义分割信息。

根据本公开的实施例，根据语义分割信息和像素特征表征，得到图像分割信息，可以包括如下操作。

根据语义分割信息和像素特征表征，得到对象区域特征表征。确定语义分割信息和对象区域特征表征之间的关系矩阵。根据关系矩阵和对象区域特征表征，得到对象上下文特征表征。将像素特征表征和对象上下文特征表征进行融合，得到对象增强上下文特征表征。根据对象增强上下文特征表征，得到图像分割信息。

根据本公开的实施例，根据关系矩阵和对象区域特征表征，得到对象上下文特征表征，可以包括：根据像素和对象区域特征表征在关系矩阵中的数值，将对象区域的特征进行加权求和，得到对象上下文特征表征。

根据本公开的实施例，将像素特征表征和对象上下文特征表征进行融合，得到对象增强上下文特征表征，可以包括：可以将像素特征表征和对象上下文特征表征进行拼接，再将拼接信息进行卷积之后得到对象增强上下文特征表征。

根据本公开的实施例，由于对象增强上下文特征表征是根据像素特征表征和对象上下文特征表征进行融合得到的，对象上下文特征表征是根据关系矩阵和对象区域特征表征确定的，对象区域特征表征是根据语义分割信息和像素特征表征得到的，关系矩阵是语义分割信息和对象区域特征表征之间的矩阵，因此，通过根据对象区域特征表征和像素特征表征将对象区域特征表征传播给像素，由此提高了图像分割信息的准确性。

根据本公开的实施例，根据对象增强上下文特征表征，得到图像分割信息，可以包括如下操作。

对表盘图像进行空洞卷积处理，得到空洞特征表征。根据对象增强上下文特征表征和空洞特征表征，得到图像分割信息。

根据本公开的实施例，可以将对象增强上下文特征表征和空洞特征表征进行融合，得到融合特征表征。根据融合特征表征，得到图像分割信息。例如，可以将对象增强上下文特征表征和空洞特征表征进行拼接，得到融合特征表征。将融合特征表征的通道数降低至预期通道数，得到图像分割信息。预期通道数可以根据实际业务需求进行配置，在此不作限定。

根据本公开的实施例，通过对表盘图像进行空洞卷积处理，得到空洞特征表征，再根据对象增强上下文特征表征和空洞特征表征，得到图像分割信息，实现了以多个比例捕捉表盘图像的上下文信息，空洞卷积可以用于缓解大感受野带来的计算量较大和损失图像分辨率之间的矛盾，由此提高了图像分割信息的准确性。

根据本公开的实施例，上述仪表示数识别方法还可以包括如下操作。

对表盘图像进行特征提取，得到第二骨干特征图。根据第二骨干特征图，得到至少一个尺度的第一中间特征图。根据第二骨干特征图和至少一个尺度的中间特征图，得到第二中间特征图。根据第二中间特征图，得到图像分割信息。

根据本公开的实施例，根据第二骨干特征图，得到至少一个尺度的第一中间特征图，可以包括：对第二骨干特征图进行池化处理，得到至少一个尺度的第三中间特征图。对至少一个尺度的第三中间特征图进行卷积处理，得到至少一个尺度的第四中间特征图。对至少一个尺度的第四中间特征图进行上采样，得到至少一个尺度的第五中间特征图。根据第二骨干特征图和至少一个尺度的第五中间特征图，得到图像分割信息。例如，可以将第二骨干图和至少一个尺度的第五中间特征图进行融合，得到第六中间特征图。根据第六中间特征图，得到图像分割信息。

根据本公开的实施例，上述仪表示数识别方法还可以包括如下操作。

在确定指针仪表是预定类型的指针仪表的情况下，根据刻度检测信息对表盘图像进行校正，得到校正后的表盘图像。

根据本公开的实施例，操作S230可以包括如下操作。

根据对校正后的表盘图像进行图像分割得到的图像分割信息，得到指针识别信息。

根据本公开的实施例，在理想情况下，视觉传感器的拍摄轴线与指针旋转中心重合，拍摄平面与表盘平面平行。在获取仪表图像的过程中，由于移动视觉传感器和固定视觉传感器都是基于云台拍摄指针仪表的，因此，存在拍摄倾角，由此导致存在仪表图像的倾斜畸变，影响仪表示数识别信息的准确性。

根据本公开的实施例，预定类别的指针仪表可以刻度范围大于或等于预定刻度范围的指针仪表。预定刻度范围可以根据实际业务需求进行配置，在此不作限定。例如，预定刻度范围可以是180°。

根据本公开的实施例，可以确定指针仪表是否是预定类型的指针仪表。在确定指针仪表是预定类型的指针仪表的情况下，可以根据刻度检测信息对表盘图像进行校正，得到校正后的表盘图像。例如，确定指针仪表的刻度范围是否大于或等于预定刻度范围。在确定指针仪表的刻度范围大于预定刻度范围的情况下，根据刻度检测信息对表盘图像进行校正，得到校正后的表盘图像，以便利用校正后的表盘图像对表盘图像确定指针识别信息。

根据本公开的实施例，通过在确定指针仪表是预定类型的指针仪表的情况下，根据刻度检测信息对表盘图像进行校正，提高了表盘图像的准确性，进而提高了仪表示数识别的准确性。

根本本公开的实施例，根据刻度检测信息对表盘图像进行校正，得到校正后的表盘图像，可以包括如下操作。

对至少一个关键点的位置信息进行椭圆拟合，得到目标椭圆。确定与目标椭圆对应的外接圆。根据目标椭圆和外接圆，确定变换矩阵。根据变换矩阵对表盘图像进行校正，得到校正后的表盘图像。

根据本公开的实施例，外接圆的圆心可以与目标椭圆的中心相一致。外接圆的直径可以与目标椭圆的长轴相一致。

根据本公开的实施例，可以基于椭圆拟合方法，根据至少一个关键点的位置信息，得到目标椭圆。例如，椭圆拟合方法可以包括以下至少之一：基于最小二乘法的椭圆拟合方法、基于直接计算方法的椭圆拟合方法和基于标准方程的椭圆拟合方法等。

根据本公开的实施例，在确定目标椭圆之后，可以确定与目标椭圆对应的最小外接圆。最小外接圆的圆心与目标椭圆的中心一致。最小外接圆的直径可以与目标椭圆的长轴一致。最小外接圆的直径可以与目标椭圆的长轴相重合。最小外接圆的直径还可以与目标椭圆的短轴相平行。

根据本公开的实施例，在确定目标椭圆和最小外接圆之后，可以根据目标椭圆和最小外接圆，确定至少四个交点。根据至少四个交点，确定变换矩阵。变换矩阵可以是透视变换矩阵。再根据透视变换矩阵对表盘图像进行校正，得到校正后的表盘图像。

根据本公开的实施例，根据目标椭圆和外接圆，确定变换矩阵，可以包括如下操作。

分别确定目标椭圆的长轴和短轴各自与外接圆的交点，得到多个交点。根据与多个交点对应的第一位置信息和第二位置信息，确定变换矩阵。

根据本公开的实施例，第一位置信息可以是交点位于目标椭圆的位置信息。第二位置信息可以是交点位于外接圆的位置信息。

根据本公开的实施例，透射变换矩阵可以包括8个待求解参数。可以确定目标椭圆的长轴与最小外接圆的交点，得到第一交点、第二交点、第三交点和第四交点。确定目标椭圆的短轴与最小外接圆的交点，得到第五交点、第六交点、第七交点和第八交点。第一交点和第二交点是交点对。第三交点和第四交点是交点对。第五交点和第六交点是交点对。第七交点和第八交点是交点对。根据第一交点的第一位置信息、第二交点的第二位置信息、第三交点的第一位置信息、第四交点的第二位置信息、第五交点的第一位置信息、第六交点的第二位置信息、第七交点的第一位置信息和第八交点的第二位置信息，确定透射变换矩阵。

图5示意性示出了根据本公开实施例的根据目标椭圆和外接圆，确定变换矩阵的示例示意图。

如图5所示，在500中，确定与目标椭圆501对应的最小外接圆502。确定目标椭圆501的长轴与最小外接圆502的交点，得到第一交点5011、第二交点5021、第三交点5012和第四交点5022。确定目标椭圆501的短轴与最小外接圆502的交点，得到第五交点5013、第六交点5023、第七交点5014和第八交点5024。根据第一交点5011、第二交点5021、第三交点5012、第四交点5022、第五交点5013、第六交点5023、第七交点5014和第八交点5024，确定变换矩阵。

根据本公开的实施例，指针识别信息可以包括至少一个指针。

根据本公开的实施例，上述仪表示数识别方法还可以包括如下操作。

根据外接圆的圆心确定指针中心。将指针直线平移至经过指针中心，得到校正后的指针直线。根据校正后的指针直线，得到校正后的指针识别信息。

根据本公开的实施例，操作S240可以包括如下操作。

根据刻度检测信息和校正后的指针识别信息，得到仪表示数识别信息。

根据本公开的实施例，指针直线可以是指针所在的直线。

根据本公开的实施例，在仪表图像存在倾斜畸变的情况下，表盘平面与指针不在同一平面，因此，会导致在将指针投影至表盘平面的情况下，指针指向与实际指针指向之间存在偏差。指针的实际指针指向是经过指针中心的。

根据本公开的实施例，可以将外接圆的圆心确定为指针中心。将指针直线平移至经过指针中心，得到校正后的指针直线。校正后的指针直线的指向即是实指针际指向。

根据本公开的实施例，可以根据校正后的刻度检测信息和校正后的指针识别信息，得到仪表示数识别信息。校正后的刻度检测信息可以是根据校正后的表盘图像得到的。

根据本公开的实施例，通过根据外接圆的圆心确定指针中心，将指针直线平移至经过指针中心，得到校正后的指针直线，提高了指针识别信息的准确性，进而提高了仪表示数识别的准确性。

图6A示意性示出了根据本公开实施例的仪表示数识别方法的原理示意图。

如图6A所示，在600A中，根据对指针仪表的仪表图像601进行检测得到的目标检测信息602，从仪表图像601中确定表盘图像603。对表盘图像603进行关键点检测，得到刻度检测信息604。根据对表盘图像603进行图像分割得到的图像分割信息，得到指针识别信息605。根据刻度检测信息604、指针识别信息605和与刻度检测信息604对应的刻度示数信息606，得到仪表示数识别信息607。

根据本公开的实施例，由于本公开实施例的仪表示数识别方法不需要进行现场的标定，因此，具有更高效的现场部署能力。此外，由于是基于数据驱动的仪表示数识别方法，因此，具有更好的迭代进化能力。

图6B示意性示出了根据本公开实施例的仪表示数识别信息的示例示意图。

如图6B所示，在600B中，仪表图像608可以是压力指针仪表的仪表图像。仪表图像609可以是温度指针仪表的仪表图像。仪表图像610可以是湿度指针仪表的仪表图像。

可以利用根据本公开实施例所述的仪表示数识别方法处理仪表图像608、仪表图像609和仪表图像610，得到压力指针仪表的仪表示数识别信息、温度指针仪表的仪表示数识别信息和湿度指针仪表的仪表示数识别信息。压力指针仪表的仪表示数识别信息是0.3MP。温度指针仪表的仪表示数识别信息是20℃。湿度指针仪表的仪表示数识别信息是80％RH。“RH”表征“相对湿度(即Relative Humidity)”。

以上仅是示例性实施例，但不限于此，还可以包括本领域已知的其他仪表示数识别方法，只要能够能够适应于各种环境下的各种类型的指针仪表的示数识别，提高示数识别方案的通用性即可。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

图7示意性示出了根据本公开实施例的仪表示数识别装置的框图。

如图7所示，仪表示数识别装置700可以包括第一确定模块710、第一获得模块720、第二获得模块730和第三获得模块740。

第一确定模块710，用于根据对指针仪表的仪表图像进行检测得到的目标检测信息，从仪表图像中确定表盘图像。

第一获得模块720，用于对表盘图像进行关键点检测，得到刻度检测信息。刻度检测信息包括至少一个关键点的位置信息。关键点表征目标刻度的点。目标刻度具有与目标刻度对应的至少一个关键点，目标刻度是具有示数的刻度。

第二获得模块730，用于根据对表盘图像进行图像分割得到的图像分割信息，得到指针识别信息。

第三获得模块740，用于根据刻度检测信息、指针识别信息和与刻度检测信息对应的刻度示数信息，得到仪表示数识别信息。

根据本公开的实施例，第一获得模块720可以包括第一获得子模块和第二获得子模块。

第一获得子模块，用于对表盘图像进行特征提取，得到至少一个尺度的关键点特征图。

第二获得子模块，用于根据至少一个尺度的关键点特征图，得到刻度检测信息。

根据本公开的实施例，第一获得子模块可以包括第一获得单元和第二获得单元。

第一获得单元，用于对表盘图像进行M个阶段的特征提取，得到与第M阶段对应的至少一个关键点特征图。

第二获得单元，用于根据与第M阶段对应的至少一个关键点特征图，得到至少一个尺度的关键点特征图；

根据本公开的实施例，第m阶段具有T_m个并联层级。同一并联层级的关键点特征图的图像分辨率相同。不同并联层级的关键点特征图的图像分辨率不同。

根据本公开的实施例，M是大于1或等于1的整数。m是大于或等于1且小于或等于M的整数。T_m是大于或等于1的整数。

根据本公开的实施例，在M是大于1的整数的情况下，第一获得单元，可以包括第一获得子单元和第二获得子单元。

第一获得子单元，用于对与第m-1阶段对应的至少一个关键点特征图进行卷积处理，得到与第m阶段对应的至少一个中间关键点特征图。

第二获得子单元，用于对与第m阶段对应的至少一个中间关键点特征图进行特征融合，得到与第m阶段对应的至少一个关键点特征图；

根据本公开的实施例，m是大于1且小于或等于M的整数。

根据本公开的实施例，第二获得子单元，可以用于：针对T_m个并联层级中的第i个并联层级，根据与第i个并联层级对应的其他中间关键点特征图和与第i个并联层级对应的中间关键点特征图，得到与第i个并联层级对应的关键点特征图。

根据本公开的实施例，与第i个并联层级对应的其他中间关键点特征图是与T_m个并联层级中除第i个并联层级以外的至少部分并联层级对应的中间关键点特征图。i是大于或等于1且小于或等于T_m的整数。

根据本公开的实施例，第一获得子模块可以包括第三获得单元。

第三获得单元，用于对表盘图像进行N个级联层级的特征提取，得到至少一个尺度的关键点特征图。N是大于1的整数。

根据本公开的实施例，第二获得子模块可以包括第四获得单元和第五获得单元。

第四获得单元，用于根据至少一个尺度的关键点特征图，得到与至少一个关键点对应的热力图。热力图中像素的像素值表征像素是关键点的概率值。

第五获得单元，用于根据与至少一个关键点对应的热力图，确定刻度检测信息。

根据本公开的实施例，第二获得子模块可以包括第六获得单元。

第六获得单元，用于基于回归位置方法对至少一个尺度的关键点特征图进行处理，得到刻度检测信息。

根据本公开的实施例，第二获得模块730可以包括第三获得子模块、第四获得子模块和第五获得子模块。

第三获得子模块，用于根据对表盘图像进行图像分割得到的图像分割信息，得到第一中间指针识别信息。第一中间指针识别信息包括至少一个指针区域。

第四获得子模块，用于对第一中间指针识别信息进行骨架提取，得到第二中间指针识别信息。第二中间指针识别信息包括与至少一个指针区域对应的指针。

第五获得子模块，用于对第二中间指针信息进行直线拟合，得到指针识别信息。

根据本公开的实施例，上述仪表示数识别装置700还可以包括第四获得模块、第五获得模块和第六获得模块。

第四获得模块，用于对表盘图像进行特征提取，得到骨干特征图。

第五获得模块，用于根据骨干特征图，得到语义分割信息和像素特征表征。

第六获得模块，用于根据语义分割信息和像素特征表征，得到图像分割信息。

根据本公开的实施例，第六获得模块可以包括第六获得子模块、第一确定子模块、第七获得自造模块、第八获得子模块和第九获得子模块。

第六获得子模块，用于根据语义分割信息和像素特征表征，得到对象区域特征表征。

第一确定子模块，用于确定语义分割信息和对象区域特征表征之间的关系矩阵。

第七获得子模块，用于根据关系矩阵和对象区域特征表征，得到对象上下文特征表征。

第八获得子模块，用于将像素特征表征和对象上下文特征表征进行融合，得到对象增强上下文特征表征。

第九获得子模块，用于根据对象增强上下文特征表征，得到图像分割信息。

根据本公开的实施例，第九获得子模块可以包括第七获得单元和第八获得单元。

第七获得单元，用于对表盘图像进行空洞卷积处理，得到空洞特征表征。

第八获得单元，用于根据对象增强上下文特征表征和空洞特征表征，得到图像分割信息。

根据本公开的实施例，上述仪表示数识别装置700还可以包括第七获得模块、第八获得模块、第九获得模块和第十获得模块。

第七获得模块，用于对表盘图像进行特征提取，得到第二骨干特征图。

第八获得模块，用于根据第二骨干特征图，得到至少一个尺度的第一中间特征图。

第九获得模块，用于根据第二骨干特征图和至少一个尺度的中间特征图，得到第二中间特征图。

第十获得模块，用于根据第二中间特征图，得到图像分割信息。

根据本公开的实施例，第一确定模块710可以包括第十获得子模块、第十一获得子模块、第十二获得子模块、第二确定子模块和第三确定子模块。

第十获得子模块，用于对指针仪表的仪表图像进行特征提取，得到至少一个尺度的仪表特征图。

第十一获得子模块，用于对至少一个尺度的仪表特征图进行融合，得到融合特征图。

第十二获得子模块，用于根据融合特征图，得到目标检测信息。目标检测信息包括至少一个区域的位置信息、类别信息和置信度。置信度表征类别信息的可信程度。类别信息包括表盘区域和非表盘区域。

第二确定子模块，用于根据置信度和类别信息，从至少一个区域中确定表盘区域。

第三确定子模块，用于根据表盘区域的位置信息，从仪表图像中确定表盘图像。

根据本公开的实施例，上述仪表示数识别装置700还可以包括第十一获得模块。

第十一获得模块，用于在确定指针仪表是预定类型的指针仪表的情况下，根据刻度检测信息对表盘图像进行校正，得到校正后的表盘图像。

根据本公开的实施例，第二获得模块730可以包括第十三获得子模块。

第十三获得子模块，用于根据对校正后的表盘图像进行图像分割得到的图像分割信息，得到指针识别信息。

根据本公开的实施例，第十一获得模块可以包括十四获得子模块、第四确定子模块、第五确定子模块和第十五确定子模块。

第十四获得子模块，用于对至少一个关键点的位置信息进行椭圆拟合，得到目标椭圆。

第四确定子模块，用于确定与目标椭圆对应的外接圆。外接圆的圆心与目标椭圆的中心相一致，外接圆的直径与目标椭圆的长轴相一致。

第五确定子模块，用于根据目标椭圆和外接圆，确定变换矩阵。

第十五获得子模块，用于根据变换矩阵对表盘图像进行校正，得到校正后的表盘图像。

根据本公开的实施例，第五确定子模块可以包括第九获得单元和确定单元。

第九获得单元，用于分别确定目标椭圆的长轴和短轴各自与外接圆的交点，得到多个交点。

确定单元，用于根据与多个交点对应的第一位置信息和第二位置信息，确定变换矩阵。第一位置信息是交点位于目标椭圆的位置信息。第二位置信息是交点位于外接圆的位置信息。

根据本公开的实施例，指针识别信息包括至少一个指针。

根据本公开的实施例，上述仪表示数识别装置700还可以包括第二确定模块、第十二获得模块和第十三获得模块。

第二确定模块，用于根据外接圆的圆心确定指针中心。

第十二获得模块，用于将指针直线平移至经过指针中心，得到校正后的指针直线，其中，指针直线是指针所在的直线。

第十三获得模块，用于根据校正后的指针直线，得到校正后的指针识别信息；

根据本公开的实施例，第三获得模块740可以包括第十六获得子模块。

第十六获得子模块，用于根据刻度检测信息、校正后的指针识别信息和与刻度检测信息对应的刻度示数信息，得到仪表示数识别信息。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本公开的实施例，一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上的方法。

根据本公开的实施例，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如上的方法。

根据本公开的实施例，一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如上的方法。

图8示意性示出了根据本公开实施例的适于实现仪表示数识别方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图8所示，电子设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储电子设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

电子设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如，仪表示数识别方法。例如，在一些实施例中，仪表示数识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到电子设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的仪表示数识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行仪表示数识别方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以是分布式***的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (22)

1.一种仪表示数识别方法，包括：

根据对指针仪表的仪表图像进行检测得到的目标检测信息，从所述仪表图像中确定表盘图像；

对所述表盘图像进行关键点检测，得到刻度检测信息，其中，所述刻度检测信息包括至少一个关键点的位置信息，所述关键点表征目标刻度的点，所述目标刻度具有与所述目标刻度对应的至少一个关键点，所述目标刻度是具有示数的刻度；

根据对所述表盘图像进行图像分割得到的图像分割信息，得到指针识别信息；以及

根据所述刻度检测信息、所述指针识别信息和与所述刻度检测信息对应的刻度示数信息，得到仪表示数识别信息。

2.根据权利要求1所述的方法，其中，所述对所述表盘图像进行关键点检测，得到刻度检测信息，包括：

对所述表盘图像进行特征提取，得到至少一个尺度的关键点特征图；以及

根据所述至少一个尺度的关键点特征图，得到所述刻度检测信息。

3.根据权利要求2所述的方法，其中，所述对所述表盘图像进行特征提取，得到至少一个尺度的关键点特征图，包括：

对所述表盘图像进行M个阶段的特征提取，得到与第M阶段对应的至少一个关键点特征图；以及

根据与所述第M阶段对应的至少一个关键点特征图，得到所述至少一个尺度的关键点特征图；

其中，第m阶段具有T_m个并联层级，同一并联层级的关键点特征图的图像分辨率相同，不同并联层级的关键点特征图的图像分辨率不同；

其中，M是大于1或等于1的整数，m是大于或等于1且小于或等于M的整数，T_m是大于或等于1的整数。

4.根据权利要求3所述的方法，其中，在M是大于1的整数的情况下，所述对所述表盘图像进行M个阶段的特征提取，得到与第M阶段对应的至少一个关键点特征图，包括：

对与第m-1阶段对应的至少一个关键点特征图进行卷积处理，得到与第m阶段对应的至少一个中间关键点特征图；以及

对与所述第m阶段对应的至少一个中间关键点特征图进行特征融合，得到与第m阶段对应的至少一个关键点特征图；

其中，m是大于1且小于或等于M的整数。

5.根据权利要求4所述的方法，其中，所述对与所述第m阶段对应的至少一个中间关键点特征图进行特征融合，得到与第m阶段对应的至少一个关键点特征图，包括：

针对所述T_m个并联层级中的第i个并联层级，

根据与所述第i个并联层级对应的其他中间关键点特征图和与所述第i个并联层级对应的中间关键点特征图，得到与所述第i个并联层级对应的关键点特征图；

其中，与所述第i个并联层级对应的其他中间关键点特征图是与所述T_m个并联层级中除所述第i个并联层级以外的至少部分并联层级对应的中间关键点特征图，i是大于或等于1且小于或等于T_m的整数。

6.根据权利要求2所述的方法，其中，所述对所述表盘图像进行特征提取，得到至少一个尺度的关键点特征图，包括：

对所述表盘图像进行N个级联层级的特征提取，得到所述至少一个尺度的关键点特征图，其中，N是大于1的整数。

7.根据权利要求2～6中任一项所述的方法，其中，所述根据所述至少一个尺度的关键点特征图，得到所述刻度检测信息，包括：

根据所述至少一个尺度的关键点特征图，得到所述至少一个关键点对应的热力图，其中，所述热力图中像素的像素值表征所述像素是所述关键点的概率值；以及

根据与所述至少一个关键点对应的热力图，确定所述刻度检测信息。

8.根据权利要求2～6中任一项所述的方法，其中，所述根据所述至少一个尺度的关键点特征图，得到所述刻度检测信息，包括：

基于回归位置方法对所述至少一个尺度的关键点特征图进行处理，得到所述刻度检测信息。

9.根据权利要求1～8中任一项所述的方法，其中，所述根据对所述表盘图像进行图像分割得到的图像分割信息，得到指针识别信息，包括：

根据对所述表盘图像进行图像分割得到的图像分割信息，得到第一中间指针识别信息，其中，所述第一中间指针识别信息包括至少一个指针区域；

对所述第一中间指针识别信息进行骨架提取，得到第二中间指针识别信息，其中，所述第二中间指针识别信息包括与所述至少一个指针区域对应的指针；以及

对所述第二中间指针信息进行直线拟合，得到所述指针识别信息。

10.根据权利要求1～9中任一项所述的方法，还包括：

对所述表盘图像进行特征提取，得到第一骨干特征图；

根据所述第一骨干特征图，得到语义分割信息和像素特征表征；以及

根据所述语义分割信息和所述像素特征表征，得到所述图像分割信息。

11.根据权利要求10所述的方法，其中，所述根据所述语义分割信息和所述像素特征表征，得到所述图像分割信息，包括：

根据所述语义分割信息和所述像素特征表征，得到对象区域特征表征；

确定所述语义分割信息和所述对象区域特征表征之间的关系矩阵；

根据所述关系矩阵和所述对象区域特征表征，得到对象上下文特征表征；

将所述像素特征表征和所述对象上下文特征表征进行融合，得到对象增强上下文特征表征；以及

根据所述对象增强上下文特征表征，得到所述图像分割信息。

12.根据权利要求11所述的方法，其中，所述根据所述对象增强上下文特征表征，得到所述图像分割信息，包括：

对所述表盘图像进行空洞卷积处理，得到空洞特征表征；以及

根据所述对象增强上下文特征表征和所述空洞特征表征，得到所述图像分割信息。

13.根据权利要求1～9中任一项所述的方法，还包括：

对所述表盘图像进行特征提取，得到第二骨干特征图；

根据所述第二骨干特征图，得到至少一个尺度的第一中间特征图；

根据所述第二骨干特征图和所述至少一个尺度的中间特征图，得到第二中间特征图；以及

根据所述第二中间特征图，得到所述图像分割信息。

14.根据权利要求1～13中任一项所述的方法，其中，所述根据对指针仪表的仪表图像进行测得到的目标检测信息，从所述仪表图像中确定表盘图像，包括：

对所述指针仪表的仪表图像进行特征提取，得到至少一个尺度的仪表特征图；

对所述至少一个尺度的仪表特征图进行融合，得到融合特征图；

根据所述融合特征图，得到所述目标检测信息，其中，所述目标检测信息包括至少一个区域的位置信息、类别信息和置信度，所述置信度表征所述类别信息的可信程度，所述类别信息包括表盘区域和非表盘区域；

根据所述置信度和所述类别信息，从所述至少一个区域中确定所述表盘区域；以及

根据所述表盘区域的位置信息，从所述仪表图像中确定所述表盘图像。

15.根据权利要求1～8中任一项所述的方法，还包括：

在确定所述指针仪表是预定类型的指针仪表的情况下，根据所述刻度检测信息对所述表盘图像进行校正，得到校正后的表盘图像；

其中，所述根据对所述表盘图像进行图像分割得到的图像分割信息，得到指针识别信息，包括：

根据对所述校正后的表盘图像进行图像分割得到的图像分割信息，得到所述指针识别信息。

16.根据权利要求15所述的方法，其中，所述根据所述刻度检测信息对所述表盘图像进行校正，得到校正后的表盘图像，包括：

对所述至少一个关键点的位置信息进行椭圆拟合，得到目标椭圆；

确定与所述目标椭圆对应的外接圆，其中，所述外接圆的圆心与所述目标椭圆的中心相一致，所述外接圆的直径与所述目标椭圆的长轴相一致；

根据所述目标椭圆和所述外接圆，确定变换矩阵；以及

根据所述变换矩阵对所述表盘图像进行校正，得到所述校正后的表盘图像。

17.根据权利要求16所述的方法，其中，所述根据所述目标椭圆和所述外接圆，确定变换矩阵，包括：

分别确定所述目标椭圆的长轴和短轴各自与所述外接圆的交点，得到多个交点；以及

根据与所述多个交点对应的第一位置信息和第二位置信息，确定所述变换矩阵，其中，所述第一位置信息是所述交点位于所述目标椭圆的位置信息，所述第二位置信息是所述交点位于所述外接圆的位置信息。

18.根据权利要求17所述的方法，其中，所述指针识别信息包括至少一个指针；

所述方法还包括：

根据所述外接圆的圆心确定指针中心；

将指针直线平移至经过所述指针中心，得到校正后的指针直线，其中，所述指针直线是所述指针所在的直线；以及

根据所述校正后的指针直线，得到校正后的指针识别信息；

其中，所述根据所述刻度检测信息、所述指针识别信息和与所述刻度检测信息对应的刻度示数信息，得到仪表示数识别信息，包括：

根据所述刻度检测信息、所述校正后的指针识别信息和与所述刻度检测信息对应的刻度示数信息，得到所述仪表示数识别信息。

19.一种仪表示数识别装置，包括：

第一确定模块，用于根据对指针仪表的仪表图像进行检测得到的目标检测信息，从所述仪表图像中确定表盘图像；

第一获得模块，用于对所述表盘图像进行关键点检测，得到刻度检测信息，其中，所述刻度检测信息包括至少一个关键点的位置信息，所述关键点表征目标刻度的点，所述目标刻度具有与所述目标刻度对应的至少一个关键点，所述目标刻度是具有示数的刻度；

第二获得模块，用于根据对所述表盘图像进行图像分割得到的图像分割信息，得到指针识别信息；以及

第三获得模块，用于根据所述刻度检测信息、所述指针识别信息和与所述刻度检测信息对应的刻度示数信息，得到仪表示数识别信息。

20.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～18中任一项所述的方法。

21.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1～18中任一项所述的方法。

22.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1～18中任一项所述的方法。

Images