CN110335273B - 检测方法、检测装置、电子设备和介质 - Google Patents

Abstract

本公开提供了一种检测方法、检测装置、电子设备和介质，该检测方法包括：获取图像，所述图像包括待检测对象；获取所述图像中包括所述待检测对象的待检测区域图像，所述待检测区域图像的面积小于所述图像的面积；对所述待检测区域图像进行连通域分析和形状分析，确定所述待检测对象在所述图像中的对象位置；确定并输出所述对象位置处的对象状态信息。

Description

检测方法、检测装置、电子设备和介质

技术领域

本公开涉及计算机技术领域，更具体地，涉及一种检测方法、检测装置、电子设备和介质。

背景技术

电子设备被越来越多地应用于工农业生产、建筑、物流、和日常生活等诸多领域。电子设备通常具有多个状态指示灯以指示电子设备的当前状态，可以通过自动检测电子设备的状态指示灯的图像来确定各状态指示灯的当前状态。

在实现本公开构思的过程中，发明人发现现有技术中至少存在如下问题：现有技术中利用图像检测状态指示灯时，可以通过标定等技术获得指示灯处的小区域截图，然后再对小区域截图进行状态指示灯的状态检测，而不能直接对整张设备图像直接进行指示灯定位与检测，检测效率不高。

发明内容

有鉴于此，本公开提供了一种可以对整张设备图像直接进行指示灯定位与检测的检测方法、检测装置、电子设备和介质。

本公开的一个方面提供了一种检测方法，可以包括如下操作，首先，获取图像，所述图像包括待检测对象，然后，获取所述图像中包括所述待检测对象的待检测区域图像，所述待检测区域图像的面积小于所述图像的面积，接着，对所述待检测区域图像进行连通域分析和形状分析，确定所述待检测对象在所述图像中的对象位置，然后，确定并输出所述对象位置处的对象状态信息。

本公开实施例提供的检测方法，通过获取图像中包括所述待检测对象的待检测区域图像，然后进行连通域分析和形状分析，可以克服不同电子设备样式不同、不同光线的干扰等影响因素，准确确定所述待检测对象在所述图像中的对象位置，进而可以输出图像中所述对象位置处的对象状态信息。

根据本公开的实施例，所述获取所述图像中包括所述待检测对象的待检测区域图像可以包括如下操作，首先，将所述图像转换到第一颜色空间，以获取所述图像中像素的亮度参数，然后，获取所述图像中像素的亮度参数的值均小于第一亮度阈值的第一区域图像，接着，将所述第一区域图像转换到第二颜色空间，以获取所述第一区域图像中像素的颜色参数，然后，基于所述第一区域图像的颜色参数的值，从所述第一区域图像中获取包括指定颜色参数的第二区域图像。使用多种颜色空间，如红绿蓝(Red Green Blue，检测RGB)颜色空间和色调-亮度-饱和度(Hue Lightness Saturation，简称HLS)颜色空间的预设阈值范围对原图像进行筛选，可以自动从图像中准确筛选出包括亮度较低的对象的待检测区域图像，无需进行人工标定，提升了检测的便捷度和准确度。

根据本公开的实施例，所述方法还可以包括如下操作，将所述图像转换到第一颜色空间之后，还获取所述图像中像素的亮度参数的值大于第二亮度阈值的第三区域图像，所述第二亮度阈值大于所述第一亮度阈值，这样可以自动从图像中准确筛选出包括亮度较高的对象的待检测区域图像，期间无需进行人工标定，提升了检测的便捷度和准确度。然后，将所述第二区域图像和所述第三区域图像作为所述待检测区域图像。这样就可以实现从一张图像中将亮度较高和亮度较低的对象的图像都提取出来，如处于点亮状态的指示灯和熄灭状态的指示灯的图像都提取出来，不会遗漏待检测对象，有助于提升待检测对象的检测自动化程度和准确度。

根据本公开的实施例，还可以包括如下操作，对所述第二区域的图像和/或所述第三区域的图像进行平滑处理。由于通过颜色空间筛选出的待检测区域图像中会存在一些粗糙的边缘和小的噪点，可以通过先进行“开运算”，然后进行“闭运算”的方式平滑图像中对象的轮廓。

根据本公开的实施例，所述对所述待检测区域图像进行连通域分析和形状分析，确定所述待检测对象在所述图像中的对象位置可以包括如下操作，首先，对所述待检测区域图像进行二值化处理，得到二值化待检测区域图像，然后，对所述二值化待检测区域图像进行连通域分析，得到连通域，接着，对所述连通域进行边缘检测，得到所述连通域的边缘，然后，获取具有预设形状的边缘的待选连通域，接着，基于连通域尺寸、连通域之间距离和连通域填充状态从所述待选连通域中确定所述待检测对象，然后，获取所述待检测对象在所述图像中的位置。在图像中除了待检测对象的连通域，可能还会有其他连通域被筛出，可以基于连通域的尺寸、形状、距离、填充状态等条件再次对连通域进行筛选，以得到准确的待检测对象的连通域，进而得到待检测对象在图像中的位置。

根据本公开的实施例，所述确定并输出所述对象位置处的对象状态信息可以包括如下操作，首先，基于所述待检测对象在所述图像中的对象位置的坐标对所述对象进行排序，然后，依序输出所述图像中的对象位置的坐标处的状态信息。这样就可以按照一定的顺序将图像中待检测对象的状态信息输出。

根据本公开的实施例，所述方法还可以包括如下操作，首先，获取电子设备在正常工作状态下对象的正常状态信息，然后，基于所述对象的正常状态信息和图像中所述对象位置的坐标处的状态信息确定所述电子设备的工作状态。这样就可以实现在获取一张包括电子设备的图像之后，直接根据图像和电子设备在正常工作状态下对象的正常状态信息，确定电子设备的当前工作状态，大大提升了电子设备状态检测的自动化程度和便捷度。

根据本公开的实施例，所述方法还可以包括如下操作，在获取图像之后，缩小所述图像的尺寸。由于本公开提供的检测方法不受图像尺寸的影响，因此，可以直接对缩小后的设备图像进行检测，避免对指示灯区域图片截取的步骤，同时由于缩小了图像的尺寸，降低了图像运算量，有助于加快检测速度。

本公开的另一个方面提供了一种检测装置，该检测装置可以包括图像获取模块、区域图像获取模块、分析模块和输出模块，其中，所述图像获取模块用于获取图像，所述图像包括待检测对象，所述区域图像获取模块用于获取所述图像中包括所述待检测对象的待检测区域图像，所述待检测区域图像的面积小于所述图像的面积，所述分析模块用于对所述待检测区域图像进行连通域分析和形状分析，确定所述待检测对象在所述图像中的对象位置，所述输出模块用于确定并输出所述对象位置处的对象状态信息。

根据本公开的实施例，所述区域图像获取模块可以包括第一转换单元、第一区域获取单元、第二转换单元和第二区域获取单元，其中，所述第一转换单元用于将所述图像转换到第一颜色空间，以获取所述图像中像素的亮度参数，所述第一区域获取单元用于获取所述图像中像素的亮度参数的值均小于第一亮度阈值的第一区域图像，所述第二转换单元将所述第一区域图像转换到第二颜色空间，以获取所述第一区域图像中像素的颜色参数，所述第二区域获取单元用于基于所述第一区域图像的颜色参数的值，从所述第一区域图像中获取包括指定颜色参数的第二区域图像。

根据本公开的实施例，所述区域图像获取模块还可以包括第三区域获取单元和待检测区域图像获取单元，其中，所述第三区域获取单元用于将所述图像转换到第一颜色空间之后，还获取所述图像中像素的亮度参数的值大于第二亮度阈值的第三区域图像，所述第二亮度阈值大于所述第一亮度阈值，所述待检测区域图像获取单元用于将所述第二区域图像和所述第三区域图像作为所述待检测区域图像。

根据本公开的实施例，所述区域图像获取模块还可以包括平滑处理单元，其中，该平滑处理单元用于对所述第二区域的图像和/或所述第三区域的图像进行平滑处理。

根据本公开的实施例，所述分析模块可以包括二值化处理单元、连通域分析单元、边缘检测单元、待选连通域获取单元、待检测对象确定单元和位置获取单元，其中，所述二值化处理单元用于对所述待检测区域图像进行二值化处理，得到二值化待检测区域图像，所述连通域分析单元用于对所述二值化待检测区域图像进行连通域分析，得到连通域，所述边缘检测单元用于对所述连通域进行边缘检测，得到所述连通域的边缘，所述待选连通域获取单元用于获取具有预设形状的边缘的待选连通域，所述待检测对象确定单元用于基于连通域尺寸、连通域之间距离和连通域填充状态从所述待选连通域中确定所述待检测对象，所述位置获取单元用于获取所述待检测对象在所述图像中的位置。

根据本公开的实施例，所述输出模块可以包括排序单元和输出单元，其中，所述排序单元用于基于所述待检测对象在所述图像中的对象位置的坐标对所述对象进行排序，所述输出单元用于依序输出所述图像中的对象位置的坐标处的状态信息。

根据本公开的实施例，所述输出模块还可以包括设备状态信息获取单元和设备状态确定单元，其中，所述设备状态信息获取单元用于获取电子设备在正常工作状态下对象的正常状态信息，所述设备状态确定单元用于基于所述对象的正常状态信息和图像中所述对象位置的坐标处的状态信息确定所述电子设备的工作状态。

根据本公开的实施例，所述装置还可以包括图像缩小模块，所述图像缩小模块用于在获取图像之后，缩小所述图像的尺寸。

本公开的另一方面提供了一种电子设备，包括一个或多个处理器以及存储装置，其中，所述存储装置用于存储可执行指令，所述可执行指令在被所述处理器执行时，实现如上所述的方法。

本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1A示意性示出了根据本公开实施例的检测方法、检测装置、电子设备和介质的应用场景；

图1B示意性示出了根据本公开实施例的适用检测方法、检测装置的***架构图；

图2示意性示出了根据本公开实施例的检测方法的流程图；

图3A示意性示出了根据本公开实施例的获取图像中包括所述待检测对象的待检测区域图像的流程图；

图3B示意性示出了根据本公开实施例的获取待检测区域图像的示意图；

图3C示意性示出了根据本公开实施例的确定待检测对象在所述图像中的对象位置的流程图；

图3D示意性示出了根据本公开实施例的确定待检测对象的示意图；

图3E示意性示出了根据本公开实施例的确定对象位置的示意图；

图4示意性示出了根据本公开实施例的检测装置的框图；以及

图5示意性示出了根据本公开实施例的电子设备的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。

为了获得状态指示灯当前的状态来对电子设备进行监控，可以通过以下方式实现。例如，通过人工标定的方式对图像中的指示灯进行标定，然后对标定点的图像进行分析得到状态指示灯的状态，但是，这种方法依赖于人工标定，且图像的尺寸发生改变时，标定的状态指示灯的位置会发生改变，且每种电子设备都需要分别进行标定，不便于推广。又例如，通过圆检测的方法直接对图像中圆形物体进行检测，定义为指示灯位置并进行颜色亮度判断。但是，这种方法要求图像中状态指示灯的图像较清晰，并且指示灯的面积在图像中所占比例较大，否则会检测出多余的圆形框，出现误检测的情况。此外，不同的光照条件对应的亮度值和颜色值可能不同，会影响最终的检测结果。又例如，通过RGB颜色空间对颜色通道进行筛选，获得不同颜色的指示灯，再进行圆形检测确定状态指示灯的位置，最后根据亮度值判断状态指示灯的状态，但是这种方法必须保证背景色彩单一，并且与状态指示灯的颜色有一定区别。此外，圆形检测后直接判断亮度值，不能避免光斑或其他相似颜色物体等因素的影响。

如上所述，为了保证检测结果的准确度，通常为先通过标定等技术获得状态指示灯处的小区域截图，然后根据小区域截图确定状态指示灯的状态，不能直接对整张电子设备的图像直接进行状态指示灯的定位与状态检测，用户体验不佳。

本公开的实施例提供了一种检测方法、检测装置、电子设备和介质。该检测方法包括位置确定过程和状态输出过程。在位置确定过程中，首先，获取图像中包括待检测对象的待检测区域图像，然后，对所述待检测区域图像进行连通域分析和形状分析，确定所述待检测对象在所述图像中的对象位置。在完成位置确定过程之后，进入状态输出过程，确定并输出所述对象位置处的对象状态信息。

图1A示意性示出了根据本公开实施例的检测方法、检测装置、电子设备和介质的应用场景。

如图1A所示，XX电子设备具有三个状态指示灯，用户可以通过观察这三个状态指示灯的状态确定XX电子设备的状态，如是否上电、是否在运行，是否在进行转储等。当然，电子设备还可以为具有更多的状态指示灯的各种电子设备，如汽车仪表、智能家居、生产设备等，可以具有多个状态指示灯，在此不做限定。为了便于用户检测状态指示灯的状态，如用户同时需要监控5台、10台或30台电子设备及其状态指示灯的状态，现有的依靠用户查看各指示灯的状态的方式已无法满足用户需求。如图1A所示，通过对包括状态指示灯的图像进行分析和检测，可以自动得到XX电子设备的各状态指示灯的状态，进而，还可以根据各状态指示灯的状态来确定XX电子设备的状态。

图1B示意性示出了根据本公开实施例的适用检测方法、检测装置的***架构图。需要注意的是，图1B所示仅为可以应用本公开实施例的***架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、***、环境或场景。

如图1B所示，根据该实施例的***架构100可以包括终端设备101、102、103，网络104、服务器105和具有图像拍摄功能的设备106、107。网络104用以在设备106、107和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103进行生产、日常使用等，终端设备101、102、103可以具有多个状态指示灯等，在运行过程中，状态指示灯会给出多种状态指示。终端设备101、102、103可以是具有待检测对象，如状态指示灯的各种电子设备，包括但不限于机床等生产设备、打印件等办公设备、仪表盘等信息显示设备、服务器、测试设备等等。

服务器105可以是能对图像进行处理和分析的各种计算设备，如台式机、刀片式服务器等。此外，服务器还可以具有显示器，以便于实现测试结果等。当然，服务器可以将测试结果发送给客户端以便于用户查看终端设备101、102、103的状态指示灯的状态。

应该理解，终端设备、网络、具有图像拍摄功能的设备和服务器的数目仅仅是示意性的。根据现实需要，可以具有任意数目的终端设备、网络和服务器。

图2示意性示出了根据本公开的实施例的用于多个机器人中每个机器人的通信方法的流程图。

如图2所示，该方法包括操作S201～操作S207。

在操作S201，获取图像，所述图像包括待检测对象。

在本实施例中，图像可以是由电子设备的摄像头等采集的，也可以是接收的其它电子设备发送的图像。所述待检测对象可以为具有指定颜色、指定亮度和指定形状中任意一种属性的对象，例如，状态指示灯、电子设备显示的指示图像等。在采集图像时，可以对待采集对象进行补光。

例如，可以通过摄像头采集图像，采集到的图像可以包括昏暗条件下采集的图像和补光条件下采集的图像。昏暗条件可以是指只开房屋内的顶灯时拍摄图像，补光条件可以是指在拍摄时对着待检测对象开补光灯进行补光。但是，补光条件下采集图像可能会在待检测对象(或具有待检测对象的电子设备)上产生反光区域，影响检测结果。对此，可以采用上下等补光条件下拍摄图像。其中，下补光可以是在要拍摄图像的时候开启位于待检测对象下方的下补光灯，如接收到采集图像的指令时控制下补光灯工作，或者根据采集图像的周期控制下补光灯开启，在此不做限定。

需要说明的是，在获取图像之后，所述方法还可以包括如下操作：缩小所述图像的尺寸，如将图像缩小到原图像尺寸的3/4、1/2、1/4、1/6等，只要能保证图像中细节清晰即可。由于本实施例提供的检测方法不受图像尺寸的影响，因此，可以直接对缩小后的设备图像进行检测，避免对指示灯区域图片截取的步骤，同时由于缩小了图像的尺寸，降低了图像运算量，有助于加快检测速度。

在操作S203，获取所述图像中包括所述待检测对象的待检测区域图像，所述待检测区域图像的面积小于所述图像的面积。

具体地，可以使用两种颜色空间：RGB颜色空间和HLS颜色空间的三种阈值范围对原图像进行筛选，得到待检测区域。

例如，将HLS颜色空间中亮度参数的值均小于第一亮度阈值、且颜色与预设颜色一致的像素组成的区域作为第一待检测区域。将HLS颜色空间中亮度参数的值均大于第二亮度阈值的像素组成的区域作为第二待检测区域。将第一待检测区域和第二待检测区域共同作为待检测区域。这样就可以实现基于图像中各像素的亮度参数的值和颜色参数的值确定各像素是否为待检测对象的像素，便于基于此确定待检测区域。

又例如，可以对图像包括的多个子区域进行筛选，得到待检测区域。例如，将图像划分为n*m个子区域，分别对每个子区域进行颜色空间转换，得到各子区域的亮度参数值、颜色参数值等。然后，基于各子区域的亮度参数的值、颜色参数的值判断各子区域中是否包括待检测对象。如果是，则将该子区域的图像作为待检测区域图像。其中，n和m可以相等或不等，n和m为正整数。例如子区域的面积的大小与待检测对象的尺寸相近时，效果较佳。

在操作S205，对所述待检测区域图像进行连通域分析和形状分析，确定所述待检测对象在所述图像中的对象位置。

在本实施例中，可以将待检测区域图像转换为二值图，这样就可以获取二值图中的连通域，该连通域可以指由多个具有相同的值的相邻的像素共同构成的区域。然后根据连通域的轮廓是否与预设形状(如实心且不重叠的圆形)相同，如果是，则可以确定该连通域的位置为待检测对象的对象位置。

在操作S207，确定并输出所述对象位置处的对象状态信息。

在本实施例中，由于图像与连通域之间具有位置关系，这样就可以确定连通域(如连通域的中心点或连通域的多个位于轮廓上的点)位于图像上的哪个坐标，如连通域的中心相对于图像的一个顶角的相对坐标。这样就可以确定所述对象位置处的图像的状态信息，如像素的亮度参数的值、颜色参数的值，便于基于此确定待测试对象的状态信息。

本公开提供的检测方法，通过获取图像中包括所述待检测对象的待检测区域图像，然后进行连通域分析和形状分析，可以克服不同电子设备样式不同、不同光线的干扰等影响因素，准确确定所述待检测对象在所述图像中的对象位置，进而可以输出各种电子设备的图像中所述对象位置处的对象状态信息。

以下结合图3A～图3E，对图2所示的方法做进一步说明。

图3A示意性示出了根据本公开实施例的获取图像中包括所述待检测对象的待检测区域图像的流程图。

如图3A所示，所述获取所述图像中包括所述待检测对象的待检测区域图像可以包括操作S301～操作S307。

在操作S301，将所述图像转换到第一颜色空间，以获取所述图像中像素的亮度参数。

在操作S303，获取所述图像中像素的亮度参数的值均小于第一亮度阈值的第一区域图像。

在操作S305，将所述第一区域图像转换到第二颜色空间，以获取所述第一区域图像中像素的颜色参数。

在操作S307，基于所述第一区域图像的颜色参数的值，从所述第一区域图像中获取包括指定颜色参数的第二区域图像。

通过以上操作可以初步从图像中筛选出处于亮度参数的值较小的对象的图像。实际使用中，一个图像中可能既包括亮度参数的值较小的待检测对象，也可能包括亮度参数的值较大的待检测对象，这些待检测对象都不能被遗漏，亮度参数的值较大的待检测对象可以通过操作S309来获取。

在操作S309，将所述图像转换到第一颜色空间之后，还获取所述图像中像素的亮度参数的值大于第二亮度阈值的第三区域图像，所述第二亮度阈值大于所述第一亮度阈值。

此外，还可以将所述第二区域图像和所述第三区域图像作为所述待检测区域图像。通过以上操作就可以实现将一幅图像中包括的亮度参数的值较小的待检测对象和亮度参数的值较大的待检测对象初步识别出来。

在一个具体实施例中，以待检测对象为未被点亮的状态指示灯为例进行说明。未被点亮的状态指示灯先通过HLS颜色空间抑制较亮的区域，得到HLS颜色空间的二值掩膜图，主要目的是将较亮的区域设为黑色，不进行检测。由于图像中环境(包括设备图像和房间背景图像等)的亮度通常与未被点亮状态指示灯的亮度相似，因此不能只通过亮度通道筛选出未被点亮的状态指示灯的大致区域，否则，会有很多非待检测对象的图像区域被筛选出。考虑到状态指示灯的颜色特性，可以在RGB颜色空间中对不同颜色灯对应的RGB通道通过预设的取值范围进行筛选，得到二值掩膜图，从而进一步筛选出未被点亮的状态指示灯的位置。例如，红色状态指示灯的红色(Red，简称R)值比较大，因此会加大R通道阈值，减小其他通道阈值，以得到RGB颜色空间的二值掩膜图，拍摄的图像中在红色R通道值大于阈值，且绿色(Green，简称G)通道值和蓝色(Blue，简称B)通道值小于一定阈值部分，对应掩膜图像为白色，其余区域为黑色，这样就可以得到RGB颜色空间针对红色的二值掩膜图。由于拍摄环境包括昏暗条件和补光条件，两种条件下对应的RGB通道取值范围不同，例如，红灯在两种条件下R值的范围不同，因此会得到两个RGB的二值掩膜图像。通过将两个RGB颜色空间的二值掩膜图进行“或”运算，然后再与HLS颜色空间的二值掩膜图和原图像进行“与”运算，就可以实现保留原图像在RGB颜色空间的二值掩膜图和HLS颜色空间的二值掩膜图中共同为白色的区域，而原图像其它区域为黑色，筛选出红色的未被点亮的状态指示灯的大致位置。如果还存在其它多种颜色的状态指示灯，则可以重复上述过程，分别得到其它多种颜色的状态指示灯的大致位置。

在另一个具体实施例中，以点亮状态的状态指示灯为例进行说明。将图像转换到HLS颜色空间。点亮状态的状态指示灯主要通过HLS颜色空间中的亮度(L)阈值进行过滤，得到亮度参数的值均大于亮度阈值的图像的像素作为HLS颜色空间的二值掩膜图，其中亮度参数的值大于亮度阈值的像素的二值化图像为白色，其余像素为黑色。将HLS颜色空间的二值掩膜图和原图像进行“与”运算，则原图像和HLS颜色空间的二值掩膜图中白色部分进行“与”运算之后，仍为原图像，原图像与HLS颜色空间的二值掩膜图中黑色部分进行“与”运算之后，原图像的该部分变为黑色。这样就可以筛选出原图像中亮度参数的值大于亮度阈值的像素，因为被点亮状态的状态指示灯的亮度与周围环境的亮度有较大区别，所以可以通过亮度阈值筛选出待检测对象的大致区域，如可以将原图像中亮度参数的值大于亮度阈值的像素所在区域作为待检测区域。

图3B示意性示出了根据本公开实施例的获取待检测区域图像的示意图。

如图3B所示，左图为拍摄的XX电子设备的图像，图像中具有待检测对象：三个状态指示灯，但是图像并未对状态指示灯的位置信息进行标定。此外，图像中还具有电子设备壳体图像、显示屏图像、圆圈形纹饰、椭圆形纹饰、格纹填充圆形纹饰等。在经过如图3A所示的多个操作之后，可以将左图的图像转变为如右图的图像。其中，椭圆形纹饰31、圆圈形纹饰34和格纹填充圆形纹饰35因像素的亮度参数的值小于第一亮度阈值(如未发光的亮度范围内)，且颜色参数的值与指定颜色参数的值相同或相近，被保留下来，其余像素点则被筛除。图像33可以因像素的亮度参数的值小于第一亮度阈值，且颜色参数的值与指定颜色参数的值相同或相近而被保留下来，也可以因图像33和显示屏图像32的像素的亮度参数的值大于第二亮度阈值而被保留下来。

图3C示意性示出了根据本公开实施例的确定待检测对象在所述图像中的对象位置的流程图。

如图3C所示，所述对所述待检测区域图像进行连通域分析和形状分析，确定所述待检测对象在所述图像中的对象位置可以包括操作S311～操作S321。

在操作S311，对所述待检测区域图像进行二值化处理，得到二值化待检测区域图像。

在操作S313，对所述二值化待检测区域图像进行连通域分析，得到连通域。

例如，对待检测区域的图像进行二值化，将其变为黑白图像，也可以是对原图像进行二值化，再获取待检测区域的二值化图像。然后，进行连通域分析，得到图像中的连通域。由于在图像中除了作为待检测对象的状态指示灯的连通域之外，可能还会有其他区域连通域被筛选出，如图3B中的椭圆形纹饰31、显示屏图像32、圆圈形纹饰34和格纹填充圆形纹饰35的连通域。

在操作S315，对所述连通域进行边缘检测，得到所述连通域的边缘。

例如，对连通域分析后得到的图像进行边缘检测，得到图中连通域的边缘，便于检测图像中的圆形。

在操作S317，获取具有预设形状的边缘的待选连通域。

在操作S319，基于连通域尺寸、连通域之间距离和连通域填充状态从所述待选连通域中确定所述待检测对象。

在本实施例中，可以通过限制连通域的面积大小和形状对连通域进行筛选，对面积大于最大阈值或面积小于最小阈值或长宽比较大的连通域进行滤除，以得到待检测对象的连通域。

例如，由于状态指示灯的形状为已知形状，如为圆形、长方形等，因此，可以对边缘检测后的图像进行形状检测，同时限制形状的大小、两个图像的中心的最短距离、状态指示灯的数量等，得到图像中符合要求的连通域。由于一个电子设备中可能同时存在点亮状态的状态指示灯和未被点亮的状态指示灯，即图像中存在不同状态的待检测对象的图像，由于点亮状态的状态指示灯的边缘亮度较暗，并且颜色与未被点亮的状态指示灯的颜色相似，可能会在检测未被点亮的状态指示灯时，将点亮状态的状态指示灯的边缘检测出，且由于轮廓形状相同，会存在将点亮状态的状态指示灯的边缘区域误检为未被点亮的状态指示灯的情况，因此在形状检测通过后，可以进一步判断该连通域的图像的填充状态，如图像是否为实心图像，对误检情况进行筛选。

图3D示意性示出了根据本公开实施例的确定待检测对象的示意图。

如图3D所示，通过上述操作，可以将如图3D左图所示的图像处理为如图3D的右图所示的图像，其中，椭圆形纹饰与预设形状不符被滤除，显示屏图像因与预设形状不符被滤除(如果显示屏中显示的图像与预设形状相符，则可以保留与预设形状相符的显示图像)，圆圈形纹饰和格纹填充圆形纹饰因填充状态不符被滤除，剩余的三个图像为待检测对象的图像。

在操作S321，获取所述待检测对象在所述图像中的位置。可以根据各像素在图像中的相对坐标确定待检测对象在所述图像中的位置。

图3E示意性示出了根据本公开实施例的确定对象位置的示意图。

如图3E所示，左图为仅保留待检测对象的图像，右图的图像的左下角设为坐标原点，其坐标可以表示为(0,0)，则待检测对象1的图像的中心坐标可以表示为(x1,y1)。当然，也可以表示为(x1,y1,R1)，其中，x1为x坐标值，y1为y坐标值，R1为圆形待检测对象的半径值(未图示)。此外，待检测对象1的图像还可以通过区域进行表示，如待检测对象1的图像的两个对角顶点的坐标范围可以表示为(xa,ya)，(xb,yb)，未图示。相类似的，待检测对象2的图像的坐标可以表示为(x2,y2)，待检测对象3的图像的坐标可以表示为(x3,y3)。

在另一个实施例中，所述确定并输出所述对象位置处的对象状态信息可以包括如下操作。

首先，基于所述待检测对象在所述图像中的对象位置的坐标对所述对象进行排序。

然后，依序输出所述图像中的对象位置的坐标处的状态信息。

参考图3E所示，如果按照x坐标从小到大的顺序进行排序，则可以将坐标(x1,y1)处的待检测对象排为待检测对象1，将坐标(x2,y2)处的待检测对象排为待检测对象2，将坐标(x3,y3)处的待检测对象排为待检测对象3。然后就可以依序输出所述图像中的对象位置的坐标处的状态信息。例如，待检测对象1(红色，点亮)，待检测对象2(绿色，点亮)，待检测对象3(黄色，熄灭)。

在另一个实施例中，所述方法还可以包括如下操作。

首先，获取电子设备在正常工作状态下对象的正常状态信息。

然后，基于所述对象的正常状态信息和图像中所述对象位置的坐标处的状态信息确定所述电子设备的工作状态。

例如，如图3B左图所示的电子设备，三个状态指示灯分别为电源指示灯、运行指示灯和转储指示灯，如果电源指示灯、运行指示灯正常点亮，则表明电子设备处于正常工作状态，如果电源指示灯、转储指示灯点亮，则表明电子设备处于转储状态，如果电源指示灯熄灭而其它任意一个状态指示灯点亮，则表明电子设备异常，如三个状态指示灯都熄灭，则电子设备处于关机状态。这些状态指示灯与电子设备的工作状态的信息可以是预先标定好的，不同的电子设备的状态指示灯与电子设备的工作状态的对应关系不同。

在获得了电子设备在正常工作状态下对象的正常状态信息的基础上，就可以基于所述对象的正常状态信息和图像中所述对象位置的坐标处的状态信息确定所述电子设备的工作状态。

在另一个实施例中，所述方法还可以包括如下操作：对所述第二区域的图像和/或所述第三区域的图像进行平滑处理。由于通过颜色空间筛选得到待检测区域存在一些粗糙的边缘和小的噪点，可以通过先进行“开运算”，再进行“闭运算”，以平滑图像中对象的轮廓和去除小的噪点。

其中，“开运算”为先进行腐蚀运算，再进行膨胀运算，实现把细微连在一起的对象分割开，“开运算”能去除孤立的小点、毛刺和小桥，而图像中各部分的位置和形状基本不变，“开运算”是基于几何运算对图像进行滤波的。

“闭运算”为先进行膨胀运算，再进行腐蚀运算，实现将细微连接在一起的对象连接起来，“闭运算”能够填平小孔，弥合小裂缝，而图像中各部分的位置和形状不变，“闭运算”是通过填充图像的凹角来对图像进行滤波的。

图4示意性示出了根据本公开实施例的检测装置的框图。

如图4所示，本公开的另一个方面提供了一种检测装置400，该检测装置400可以包括图像获取模块410、区域图像获取模块430、分析模块450和输出模块470。

其中，所述图像获取模块410用于获取图像，所述图像包括待检测对象。

所述区域图像获取模块430用于获取所述图像中包括所述待检测对象的待检测区域图像，所述待检测区域图像的面积小于所述图像的面积。

所述分析模块450用于对所述待检测区域图像进行连通域分析和形状分析，确定所述待检测对象在所述图像中的对象位置。

所述输出模块470用于确定并输出所述对象位置处的对象状态信息。

在一个实施例中，所述区域图像获取模块430可以包括第一转换单元、第一区域获取单元、第二转换单元和第二区域获取单元。

例如，所述第一转换单元用于将所述图像转换到第一颜色空间，以获取所述图像中像素的亮度参数。

所述第一区域获取单元用于获取所述图像中像素的亮度参数的值均小于第一亮度阈值的第一区域图像。

所述第二转换单元将所述第一区域图像转换到第二颜色空间，以获取所述第一区域图像中像素的颜色参数。

所述第二区域获取单元用于基于所述第一区域图像的颜色参数的值，从所述第一区域图像中获取包括指定颜色参数的第二区域图像。

此外，所述区域图像获取模块430还可以包括第三区域获取单元和待检测区域图像获取单元。

所述第三区域获取单元用于将所述图像转换到第一颜色空间之后，还获取所述图像中像素的亮度参数的值大于第二亮度阈值的第三区域图像，所述第二亮度阈值大于所述第一亮度阈值。

所述待检测区域图像获取单元用于将所述第二区域图像和所述第三区域图像作为所述待检测区域图像。

为了去除图像中毛刺、小孔等，所述区域图像获取模块还可以包括平滑处理单元，其中，该平滑处理单元用于对所述第二区域的图像和/或所述第三区域的图像进行平滑处理。

在另一实施例中，所述分析模块450可以包括二值化处理单元、连通域分析单元、边缘检测单元、待选连通域获取单元、待检测对象确定单元和位置获取单元。

所述二值化处理单元用于对所述待检测区域图像进行二值化处理，得到二值化待检测区域图像。

所述连通域分析单元用于对所述二值化待检测区域图像进行连通域分析，得到连通域。

所述边缘检测单元用于对所述连通域进行边缘检测，得到所述连通域的边缘。

所述待选连通域获取单元用于获取具有预设形状的边缘的待选连通域。

所述待检测对象确定单元用于基于连通域尺寸、连通域之间距离和连通域填充状态从所述待选连通域中确定所述待检测对象。

所述位置获取单元用于获取所述待检测对象在所述图像中的位置。

在另一个实施例中，所述输出模块470可以包括排序单元和输出单元。

其中，所述排序单元用于基于所述待检测对象在所述图像中的对象位置的坐标对所述对象进行排序。

所述输出单元用于依序输出所述图像中的对象位置的坐标处的状态信息。

在其它实施例中，所述输出模块470还可以包括设备状态信息获取单元和设备状态确定单元。

所述设备状态信息获取单元用于获取电子设备在正常工作状态下对象的正常状态信息。

所述设备状态确定单元用于基于所述对象的正常状态信息和图像中所述对象位置的坐标处的状态信息确定所述电子设备的工作状态。

为了减小图像处理占用的计算资源，所述装置400还可以包括图像缩小模块，其中，该图像缩小模块用于在获取图像之后，缩小所述图像的尺寸。

根据本公开的实施例的模块、单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，图像获取模块410、区域图像获取模块430、分析模块450和输出模块470中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，图像获取模块410、区域图像获取模块430、分析模块450和输出模块470中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上***、基板上的***、封装上的***、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，图像获取模块410、区域图像获取模块430、分析模块450和输出模块470中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图5示意性示出了根据本公开实施例的电子设备的方框图。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图5所示，根据本公开实施例的电子设备500包括处理器501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。处理器501例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器501还可以包括用于缓存用途的板载存储器。处理器501可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 503中，存储有***500操作所需的各种程序和数据。处理器501、ROM 502以及RAM 503通过总线504彼此相连。处理器501通过执行ROM 502和/或RAM 503中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 502和RAM 503以外的一个或多个存储器中。处理器501也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，***500还可以包括输入/输出(I/O)接口505，输入/输出(I/O)接口505也连接至总线504。***500还可以包括连接至I/O接口505的以下部件中的一项或多项：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被处理器501执行时，执行本公开实施例的***中限定的上述功能。根据本公开的实施例，上文描述的***、设备、装置、模块、单元等可以通过计算机程序模块来实现。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/***中所包含的；也可以是单独存在，而未装配入该设备/装置/***中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 502和/或RAM 503和/或ROM 502和RAM 503以外的一个或多个存储器。

附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (8)

1.一种检测方法，包括：

获取图像，所述图像包括待检测对象；

获取所述图像中包括所述待检测对象的待检测区域图像，所述待检测区域图像的面积小于所述图像的面积；

对所述待检测区域图像进行连通域分析和形状分析，确定所述待检测对象在所述图像中的对象位置；以及

确定并输出所述对象位置处的对象状态信息；

其中，所述获取所述图像中包括所述待检测对象的待检测区域图像包括：

将所述图像转换到第一颜色空间，以获取所述图像中像素的亮度参数；

获取所述图像中像素的亮度参数的值均小于第一亮度阈值的第一区域图像；

将所述第一区域图像转换到第二颜色空间，以获取所述第一区域图像中像素的颜色参数；以及

基于所述第一区域图像的颜色参数的值，从所述第一区域图像中获取包括指定颜色参数的第二区域图像；

还包括：

将所述图像转换到第一颜色空间之后，还获取所述图像中像素的亮度参数的值大于第二亮度阈值的第三区域图像，所述第二亮度阈值大于所述第一亮度阈值；以及

将所述第二区域图像和所述第三区域图像作为所述待检测区域图像。

2.根据权利要求1所述的方法，其中，所述对所述待检测区域图像进行连通域分析和形状分析，确定所述待检测对象在所述图像中的对象位置包括：

对所述待检测区域图像进行二值化处理，得到二值化待检测区域图像；

对所述二值化待检测区域图像进行连通域分析，得到连通域；

对所述连通域进行边缘检测，得到所述连通域的边缘；

获取具有预设形状的边缘的待选连通域；

基于连通域尺寸、连通域之间距离和连通域填充状态从所述待选连通域中确定所述待检测对象；以及

获取所述待检测对象在所述图像中的位置。

3.根据权利要求1所述的方法，其中，所述确定并输出所述对象位置处的对象状态信息包括：

基于所述待检测对象在所述图像中的对象位置的坐标对所述对象进行排序；以及

依序输出所述图像中的对象位置的坐标处的状态信息。

4.根据权利要求3所述的方法，还包括：

获取电子设备在正常工作状态下对象的正常状态信息；

基于所述对象的正常状态信息和图像中所述对象位置的坐标处的状态信息确定所述电子设备的工作状态。

5.一种检测装置，包括：

图像获取模块，用于获取图像，所述图像包括待检测对象；

区域图像获取模块，用于获取所述图像中包括所述待检测对象的待检测区域图像，所述待检测区域图像的面积小于所述图像的面积；

分析模块，用于对所述待检测区域图像进行连通域分析和形状分析，确定所述待检测对象在所述图像中的对象位置；以及

输出模块，用于确定并输出所述对象位置处的对象状态信息；

其中，所述区域图像获取模块包括：

第一转换单元，用于将所述图像转换到第一颜色空间，以获取所述图像中像素的亮度参数；

第一区域获取单元，用于获取所述图像中像素的亮度参数的值均小于第一亮度阈值的第一区域图像；

第二转换单元，将所述第一区域图像转换到第二颜色空间，以获取所述第一区域图像中像素的颜色参数；以及

第二区域获取单元，用于基于所述第一区域图像的颜色参数的值，从所述第一区域图像中获取包括指定颜色参数的第二区域图像；

所述区域图像获取模块还包括：

第三区域获取单元，用于将所述图像转换到第一颜色空间之后，还获取所述图像中像素的亮度参数的值大于第二亮度阈值的第三区域图像，所述第二亮度阈值大于所述第一亮度阈值；以及

待检测区域图像获取单元，用于将所述第二区域图像和所述第三区域图像作为所述待检测区域图像。

6.根据权利要求5所述的装置，其中，所述分析模块包括：

二值化处理单元，用于对所述待检测区域图像进行二值化处理，得到二值化待检测区域图像；

连通域分析单元，用于对所述二值化待检测区域图像进行连通域分析，得到连通域；

边缘检测单元，用于对所述连通域进行边缘检测，得到所述连通域的边缘；

待选连通域获取单元，用于获取具有预设形状的边缘的待选连通域；

待检测对象确定单元，用于基于连通域尺寸、连通域之间距离和连通域填充状态从所述待选连通域中确定所述待检测对象；以及

位置获取单元，用于获取所述待检测对象在所述图像中的位置。

7.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储可执行指令，所述可执行指令在被所述处理器执行时，实现根据权利要求1～4中任一项所述的方法。

8.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时实现根据权利要求1～4中任一项所述的方法。

Images