CN112991290B - 图像稳像方法、装置、路侧设备、云控平台 - Google Patents

Abstract

本申请公开了一种图像稳像方法、装置、路侧设备以及云控平台，涉及智能交通和计算机视觉等人工智能技术领域。该方法的一具体实施方式包括：对于夜间图像序列中的当前夜间图像，基于模板图像的信号灯位置，从当前夜间图像中分割信号灯感兴趣区域ROI；对信号灯ROI对应的灰度图像进行二值化，得到二值化图像；计算并保存二值化图像中的每个白色区域的质心位置；响应于保存质心位置的夜间图像的帧数等于第一预设数值，基于保存的质心位置之间的距离，将保存的质心位置划分到多个集合中；计算至少一个集合中的质心位置的平均值，得到当前夜间图像的信号灯位置。该实施方式提升了稳像效果的稳定性。

Description

图像稳像方法、装置、路侧设备、云控平台

技术领域

本申请实施例涉及计算机技术领域，具体涉及智能交通和计算机视觉等人工智能技术领域，尤其涉及图像稳像方法、装置、路侧设备以及云控平台。

背景技术

路侧感知是通过在路边架设传感器设备来捕获数据进行分析。例如，在信号灯杆或监控灯杆架设摄像头。由于在路侧感知中进行信号灯的灯色识别，信号灯相对于摄像头的位置保持不变，因此预先采集一帧该摄像头拍摄的信号灯的图像，并手工标注信号灯位置。在实际检测时，根据预先标注的信号灯位置，直接在图像中抠图进行识别。然而，若信号灯或摄像头发生轻微移动，都会导致摄像头与信号灯之间的相对位置发生变化。因此，需要一种图像稳像方法，来纠正发生的位置偏移。

目前，常用的图像稳像方法是基于特征点匹配的偏移矫正。具体地，对于某一帧历史图像，确定该历史图像中的信号灯位置(x1,y1,x2,y2)，提取信号灯位置对应的特征点(如SIFT特征，HOG特征等)。对于接下来的每一帧图像，将(x1,y1,x2,y2)向外扩展一部分，使用同样的特征提取方法提取特征点，之后进行特征点匹配。通过匹配的特征点，计算当前图像的信号灯位置相对于历史图像的信号灯位置的偏移量。

发明内容

本申请实施例提出了一种图像稳像方法、装置、路侧设备以及云控平台。

第一方面，本申请实施例提出了一种图像稳像方法，包括：对于夜间图像序列中的当前夜间图像，基于模板图像的信号灯位置，从当前夜间图像中分割信号灯感兴趣区域ROI；对信号灯ROI对应的灰度图像进行二值化，得到二值化图像；计算并保存二值化图像中的每个白色区域的质心位置；响应于保存质心位置的夜间图像的帧数等于第一预设数值，基于保存的质心位置之间的距离，将保存的质心位置划分到多个集合中；计算至少一个集合中的质心位置的平均值，得到当前夜间图像的信号灯位置。

第二方面，本申请实施例提出了一种图像稳像装置，包括：分割模块，被配置成对于夜间图像序列中的当前夜间图像，基于模板图像的信号灯位置，从当前夜间图像中分割信号灯感兴趣区域ROI；二值化模块，被配置成对信号灯ROI对应的灰度图像进行二值化，得到二值化图像；第一计算模块，被配置成计算并保存二值化图像中的每个白色区域的质心位置；划分模块，被配置成响应于保存质心位置的夜间图像的帧数等于第一预设数值，基于保存的质心位置之间的距离，将保存的质心位置划分到多个集合中；第二计算模块，被配置成计算至少一个集合中的质心位置的平均值，得到当前夜间图像的信号灯位置。

第三方面，本申请实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。

第四方面，本申请实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。

第五方面，本申请实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面中任一实现方式描述的方法。

第六方面，本申请实施例提供了一种路侧设备，包括如第三方面所述的电子设备。

第七方面，本申请实施例提供了一种云控平台，包括如第三方面所述的电子设备。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本申请可以应用于其中的示例性***架构图；

图2是根据本申请的图像稳像方法的一个实施例的流程图；

图3是根据本申请的图像稳像方法的又一个实施例的流程图；

图4是根据本申请的图像稳像装置的一个实施例的结构示意图；

图5是用来实现本申请实施例的图像稳像方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的图像稳像方法或图像稳像装置的实施例的示例性***架构100。

如图1所示，***架构100可以包括摄像头101、网络102和服务器103。网络102用以在摄像头101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

摄像头101可以通过网络102与服务器103交互，以接收或发送消息等。

摄像头101泛指架设在路边，且能够采集到信号灯的图像的摄像设备。例如，架设在交叉路口的信号灯杆或监控灯杆上的摄像头。摄像头架设在信号灯杆或监控灯杆上，可能会因为灯杆的热胀冷缩、地面下沉、摄像头安装松动等原因轻微移动，从而导致摄像头与信号灯之间的相对位置发生变化。本申请的目的就是提供一种图像稳像方法，来纠正发生的位置偏移。

服务器103可以提供各种服务。例如服务器103可以对从摄像头101中获取的夜间图像序列等数据进行分析等处理，生成处理结果(例如当前夜间图像的信号灯位置)。

需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。

此外，服务器103也可以由路侧设备(例如路侧计算设备RSCU)、云控平台等代替。

需要说明的是，本申请实施例所提供的图像稳像方法一般由服务器、路侧设备、云控平台等执行，相应地，图像稳像装置一般设置于服务器、路侧设备、云控平台等中。

应该理解，图1中的摄像头、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的摄像头、网络和服务器。

继续参考图2，其示出了根据本申请的图像稳像方法的一个实施例的流程200。该图像稳像方法包括以下步骤：

步骤201，对于夜间图像序列中的当前夜间图像，基于模板图像的信号灯位置，从当前夜间图像中分割信号灯感兴趣区域ROI。

在本实施例中，图像稳像方法的执行主体(例如图1所示的服务器103)可以从路边架设的摄像头(例如图1所示的摄像头101)实时接收其采集的夜间图像序列。对于夜间图像序列中的当前夜间图像，上述执行主体可以基于模板图像的信号灯位置，从当前夜间图像中分割信号灯感兴趣ROI(region of interest，感兴趣区域)。

其中，信号灯通常是指道路交通信号灯，安装在十字、丁字等交叉路口，由道路交通信号控制机控制，指导车辆和行人安全有序地通行。目前，信号灯的灯头主要有以下两种类型：一种是圆饼形状的灯头；另一种是剪头形状的灯头。这两种类型的灯头在夜间正常工作时都会表现为一个中心较亮，向外辐射式变暗的灯光范围。虽然不同类型的灯头的明暗程度不同，向周围辐射的范围不同，但是它们的灯光范围的质心都在原本信号灯的灯头的质心位置处，因此获取到灯头的灯光范围的质心位置，就可以获取到信号灯位置。

通常，摄像头架设在路边，能够采集到信号灯的图像。例如，架设在交叉路口的信号灯杆或监控灯杆上。摄像头可以周期性采集图像，并实时发送至上述执行主体。按照采集时间，摄像头采集的一系列图像可以组成图像序列。其中，摄像头夜间采集的一系列夜间图像可以组成夜间图像序列。上述执行主体可以按照采集时间，对夜间图像序列中的夜间图像依次进行处理。

对于夜间图像序列中的当前夜间图像，上述执行主体可以首先在当前夜间图像中，确定模板图像的信号灯位置对应的矩形框，然后基于矩形框从当前夜间图像中分割信号灯ROI。其中，模板图像可以是摄像头预先采集的信号灯的图像，并在图像上标注信号灯的位置和灯头数量。为了避免噪点和过度曝光的问题，保证标注准确度，模板图像可以是摄像头日间采集的图像。信号灯的位置可以是信号灯在预设坐标系下的坐标，例如，信号灯的边界框的左上角点和右下角点在像素坐标系下的坐标。其中，像素坐标系是指可视化后图片的坐标系，通常左上角为原点，向右向下为正方向。

通常，由于信号灯或摄像头发生轻微移动，导致摄像头与信号灯之间的相对位置发生变化，因此基于模板图像的信号灯位置在当前夜间图像上确定的矩形框不能将信号灯完全包括在内。为了使信号灯ROI完全包括信号灯，可以将矩形框向外扩充多个像素，并将扩充后的矩形框确定为信号灯ROI。由于信号灯或摄像头的移动方向不定，因此矩形框的四周均需要向外扩充。例如，将矩形框上下扩充h个像素，左右扩充w个像素。其中，h和w为正整数。

步骤202，对信号灯ROI对应的灰度图像进行二值化，得到二值化图像。

在本实施例中，上述执行主体可以对信号灯ROI对应的灰度图像进行二值化，得到二值化图像。

通常，摄像头采集的图像是RGB(red green blue，红绿蓝)图像。因此从当前夜间图像中分割的信号灯ROI也是RGB图像。将信号灯ROI的RGB值转换为对应的灰度值，即可得到信号灯ROI对应的灰度图像。通过适当的阈值(例如200)将灰度图像的灰度值设置为0或255，即可得到二值化图像。其中，二值化图像只有黑色和白色两种颜色。一个白的区域对应信号灯的一个灯头的灯光范围。

其中，选取的阈值应当满足以下至少一个条件：通过阈值二值化得到的二值化图像可以明显区分亮暗、通过阈值二值化得到的二值化图像可以消除信号灯的光晕等。

在本实施例的一些可选的实现方式中，二值化的阈值可以通过如下步骤确定：

首先，对于夜间图像序列中的任意一帧夜间图像，将其信号灯ROI对应的灰度图像均匀划分为多个子区域。

例如，对于横向的信号灯，可以将其灰度图像纵向均匀划分为多个子区域；对于纵向的信号灯，可以将其灰度图像横向均匀划分为多个子区域。其中，子区域的数目可以例如是3。

之后，计算每个子区域的平均亮度。

也就是说，计算每个子区域的平均灰度值。

然后，从多个子区域中选取出平均亮度最大的子区域。

也就是说，选取平均灰度值最大的子区域。

最后，基于平均亮度最大的子区域的亮度分布确定二值化的阈值。

通常，基于平均亮度最大的子区域的亮度分布，可以确定子区域的大部分像素点所分布的区间的左边界点，将左边界点乘以一个小于1的数值(例如0.8)，即可得到二值化的阈值。

步骤203，计算并保存二值化图像中的每个白色区域的质心位置。

在本实施例中，上述执行主体可以计算二值化图像中的每个白色区域的质心位置，并进行保存。

步骤204，响应于保存质心位置的夜间图像的帧数等于第一预设数值，基于保存的质心位置之间的距离，将保存的质心位置划分到多个集合中。

在本实施例中，上述执行主体可以确定保存质心位置的夜间图像的帧数与第一预设数值(例如500)的关系。若保存质心位置的夜间图像的帧数等于第一预设数值，上述执行主体可以计算保存的每对质心位置之间的距离。如果小于预设距离阈值，则认为这对质心大概率对应信号灯的同一灯头的质心，将这对质心位置加入到同一集合；反之，则认为这对质心大概率对应信号灯的不同灯头的质心，将这对质心位置分别加入到两个集合。这样，即可将保存的质心位置划分到多个集合中。

通常，需要保存质心位置的夜间图像的帧数积累到一定数量，才可以保证计算出的当前夜间图像的信号灯位置有较高的准确度。

步骤205，计算至少一个集合中的质心位置的平均值，得到当前夜间图像的信号灯位置。

在本实施例中，上述执行主体可以计算至少一个集合中的质心位置的平均值，得到当前夜间图像的信号灯位置。

通常情况下，集合数目等于信号灯的灯头数目，一个集合对应一个信号灯的灯头。计算一个集合中的质心位置的平均值，即可得到信号灯的一个灯头的位置。所有信号灯的灯头的位置组成的框就是信号灯位置。

本申请实施例提供的图像稳像方法，首先对于夜间图像序列中的当前夜间图像，基于模板图像的信号灯位置，从当前夜间图像中分割信号灯感兴趣区域ROI；之后对信号灯ROI对应的灰度图像进行二值化，得到二值化图像；而后计算并保存二值化图像中的每个白色区域的质心位置；然后响应于保存质心位置的夜间图像的帧数等于第一预设数值，基于保存的质心位置之间的距离，将保存的质心位置划分到多个集合中；最后计算至少一个集合中的质心位置的平均值，得到当前夜间图像的信号灯位置。提供了一种基于质心计算的夜间信号灯稳像方法，通过夜间正常工作的信号灯的质心位置相对于模板图像的信号灯位置的偏移量，来确定当前夜间图像的信号灯位置。无需对图像中的特征进行提取，减少对计算资源的消耗，缩短稳像耗时。几乎不会受到车辆车灯照射的影响，提升了稳像效果的稳定性。

进一步参考图3，图3示出了根据本申请的图像稳像方法的又一个实施例的流程300。该图像稳像方法包括以下步骤：

步骤301，对于夜间图像序列中的当前夜间图像，基于模板图像的信号灯位置，从当前夜间图像中分割信号灯感兴趣区域ROI。

步骤302，对信号灯ROI对应的灰度图像进行二值化，得到二值化图像。

步骤303，计算并保存二值化图像中的每个白色区域的质心位置。

在本实施例中，步骤301-303具体操作已在图2所示的实施例中步骤201-203进行了详细的介绍，在此不再赘述。

步骤304，保存质心位置的夜间图像的帧数与第一预设数值的关系。

在本实施例中，图像稳像方法的执行主体(例如图1所示的服务器103)可以确定保存质心位置的夜间图像的帧数与第一预设数值(例如500)的关系。若保存质心位置的夜间图像的帧数等于第一预设数值，则继续执行步骤305；保存质心位置的夜间图像的帧数小于第一预设数值，则返回执行步骤301，从夜间图像序列中获取下一帧夜间图像继续计算质心位置；若保存质心位置的夜间图像的帧数大于第一预设数值，则跳转执行步骤315。

通常，需要保存质心位置的夜间图像的帧数积累到一定数量，才可以保证计算出的当前夜间图像的信号灯位置有较高的准确度。

步骤305，基于保存的质心位置之间的距离，将保存的质心位置划分到多个集合中。

在本实施例中，上述执行主体可以计算保存的每对质心位置之间的距离。如果小于预设距离阈值，则认为这对质心大概率对应信号灯的同一灯头的质心，将这对质心位置加入到同一集合；反之，则认为这对质心大概率对应信号灯的不同灯头的质心，将这对质心位置分别加入到两个集合。这样，即可将保存的质心位置划分到多个集合中。

步骤306，集合数目是否小于信号灯的灯头数目。

在本实施例中，上述执行主体可以确定集合数目是否小于信号灯的灯头数目。若集合数目不小于信号灯的灯头数目，则继续执行步骤307；若集合数目小于信号灯的灯头数目，则跳转执行步骤313。

步骤307，进行集合遍历，选取信号灯的灯头数目对应的集合。

在本实施例中，若集合数目不小于信号灯的灯头数目，上述执行主体可以进行集合遍历，选取信号灯的灯头数目对应的集合。例如，集合数目是5，信号灯的灯头数目是4，则从5个集合中选取4个集合。

步骤308，计算选取的集合中的质心位置的平均值。

在本实施例中，上述执行主体可以计算选取的每个集合中的质心位置的平均值。

步骤309，选取的集合中的质心位置的平均值组成的框与模板图像的信号灯位置是否匹配。

在本实施例中，上述执行主体可以顺时针或逆时针连接选取的集合中的质心位置的平均值对应的点，得到对应的框。若这个框与模板图像的信号灯位置对应的矩形框匹配，则继续执行步骤310；若这个框与模板图像的信号灯位置对应的矩形框不匹配，则跳转执行步骤311。

通常，若选取的集合中的质心位置的平均值组成的框与模板图像的信号灯位置对应的矩形框之间满足一定的匹配条件，则说明选取的集合中的质心位置的平均值组成的框与模板图像的信号灯位置匹配。其中，匹配条件可以包括但不限于：面积相似、形状相似、重合度高于一定数值等等。

步骤310，将选取的集合中的质心位置的平均值确定为当前夜间图像的信号灯位置。

在本实施例中，若选取的集合中的质心位置的平均值组成的框与模板图像的信号灯位置匹配，上述执行主体可以将选取的集合中的质心位置的平均值确定为当前夜间图像的信号灯位置。其中，选取的集合中的质心位置的平均值可以是信号灯位置对应的框的角点。

通常情况下，集合数目等于信号灯的灯头数目，一个集合对应一个信号灯的灯头。若集合数目大于信号灯的灯头数目，说明存在图像过度曝光等问题。通过遍历集合的方式选取与模板图像的信号灯位置匹配的集合，能够排除图像过度曝光等的干扰，提升计算出的信号灯位置的准确度。

步骤311，集合是否遍历完毕。

在本实施例中，若选取的集合中的质心位置的平均值组成的框与模板图像的信号灯位置不匹配，上述执行主体可以确定集合是否遍历完毕。若未遍历完毕，则返回执行步骤307，继续进行集合遍历；若遍历完毕，且与模板图像的信号灯位置不匹配，则继续执行步骤312。

步骤312，增大第一预设数值。

在本实施例中，若集合遍历完毕，且与模板图像的信号灯位置不匹配，或者集合数目小于信号灯的灯头数目，上述执行主体可以增大第一预设数值(例如第一预设数值增加100，从500变为600)，返回执行步骤301，从夜间图像序列中获取下一帧夜间图像继续计算质心位置。

在集合遍历完毕的情况下，也未选取出与模板图像的信号灯位置匹配的集合，或者集合数目小于信号灯的灯头数目，说明保存质心位置的夜间图像的帧数积累不足，增大第一预设数值，继续积累，能够提升计算出的信号灯位置的准确度。

步骤313，保存质心位置的夜间图像的帧数是否小于第二预设数值。

在本实施例中，若集合数目小于信号灯的灯头数目，上述执行主体可以确定保存质心位置的夜间图像的帧数是否小于第二预设数值(例如1000)。若保存质心位置的夜间图像的帧数小于第二预设数值，则跳转执行步骤312，增大第一预设数值，以及从夜间图像序列中获取下一帧夜间图像继续计算质心位置；若保存质心位置的夜间图像的帧数不小于第二预设数值，则认为信号灯存在故障灯头，上报信号灯故障，并继续执行步骤314。

步骤314，计算每个集合中的质心位置的平均值，确定当前夜间图像的信号灯位置。

在本实施例中，若集合数目小于信号灯的灯头数目，且保存质心位置的夜间图像的帧数不小于第二预设数值，上述执行主体可以计算每个集合中的质心位置的平均值，确定当前夜间图像的信号灯位置。

在通常情况下，为了信号灯的美观，其灯头数目为双数，且灯头之间存在对称关系。因此，在存在少数灯头故障的情况，可以根据其对称关系，预估故障灯头的位置，从而得到信号灯位置。例如，对于4个灯头组成的信号灯，若存在一个灯头故障，可以计算3个集合中的质心位置的平均值对应的点，作为3个正常工作的灯头的位置。以3个正常工作的灯头的位置为角点的矩形框就是信号灯位置。

步骤315，删除最早保存的夜间图像的质心位置。

在本实施例中，若保存质心位置的夜间图像的帧数大于第一预设数值，上述执行主体可以删除最早保存的夜间图像的质心位置，并返回执行步骤305。

在保存质心位置的夜间图像的帧数积累过多的情况下，删除最早保存的夜间图像的质心位置，能够避免早期夜间图像的干扰，提升计算出的信号灯位置的准确度。

在保存的质心位置已经被划分到集合中的情况下，上述执行主体可以确定当前夜间图像的一个质心位置是否属于某一个集合。若是，则将这个质心位置加入到其所属的集合，并删除其所属的集合中最早保存的质心位置；若否，则创建新的集合，并将当前夜间图像的质心位置加入到新的集合。从而能够在已划分集合的情况下，快速地确定当前夜间图像的质心位置所属的集合。其中，若一个质心位置与一个集合中的质心位置的平均值的差小于一定数值，则确定这个质心位置属于这个集合。

在本实施例的一些可选的实现方式中，若新的集合被更新的次数等于第一预设数值，则返回执行步骤307，重新进行集合遍历。若信号灯位置由新选取的集合确定，则之后都使用新选取的集合计算信号灯位置；反之，则使用原有的集合计算信号灯位置。从而能够确定信号灯或摄像头是否再次发生移动。

从图3中可以看出，与图2对应的实施例相比，本实施例中的图像稳像方法突出了基于集合中的质心位置，确定当前夜间图像的信号灯位置的步骤。由此，本实施例描述的方案需要保存质心位置的夜间图像的帧数积累到一定数量，才可以保证计算出的当前夜间图像的信号灯位置有较高的准确度；在集合数目大于信号灯的灯头数目的情况下，通过遍历集合的方式选取与模板图像的信号灯位置匹配的集合，能够排除图像过度曝光的干扰，提升计算出的信号灯位置的准确度；在集合遍历完毕的情况下，也未选取出与模板图像的信号灯位置匹配的集合，或者集合数目小于信号灯的灯头数目，增大第一预设数值，继续积累，能够提升计算出的信号灯位置的准确度；在信号灯存在故障灯头的情况下，上报信号灯故障，并利用灯头之间存在对称关系，预估故障灯头的位置，从而得到信号灯位置；在保存质心位置的夜间图像的帧数积累过多的情况下，删除最早保存的夜间图像的质心位置，能够避免早期夜间图像的干扰，提升计算出的信号灯位置的准确度。

进一步参考图4，作为对上述各图所示方法的实现，本申请提供了一种图像稳像装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图4所示，本实施例的图像稳像装置400可以包括：分割模块401、二值化模块402、第一计算模块403、划分模块404和第二计算模块405。其中，分割模块401，被配置成对于夜间图像序列中的当前夜间图像，基于模板图像的信号灯位置，从当前夜间图像中分割信号灯感兴趣区域ROI；二值化模块402，被配置成对信号灯ROI对应的灰度图像进行二值化，得到二值化图像；第一计算模块403，被配置成计算并保存二值化图像中的每个白色区域的质心位置；划分模块404，被配置成响应于保存质心位置的夜间图像的帧数等于第一预设数值，基于保存的质心位置之间的距离，将保存的质心位置划分到多个集合中；第二计算模块405，被配置成计算至少一个集合中的质心位置的平均值，得到当前夜间图像的信号灯位置。

在本实施例中，图像稳像装置400中：分割模块401、二值化模块402、第一计算模块403、划分模块404和第二计算模块405具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-205的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，分割模块401进一步被配置成：在当前夜间图像中，确定模板图像的信号灯位置对应的矩形框；将矩形框向外扩充多个像素，以及将扩充后的矩形框确定为信号灯ROI。

在本实施例的一些可选的实现方式中，第二计算模块405包括：选取子模块，被配置成响应于集合数目不小于信号灯的灯头数目，进行集合遍历，选取信号灯的灯头数目对应的集合；计算子模块，被配置成计算选取的集合中的质心位置的平均值；第一确定子模块，被配置成若选取的集合中的质心位置的平均值组成的框与模板图像的信号灯位置匹配，将选取的集合中的质心位置的平均值确定为当前夜间图像的信号灯位置。

在本实施例的一些可选的实现方式中，第二计算模块405还包括：遍历子模块，被配置成若选取的集合中的质心位置的平均值组成的框与模板图像的信号灯位置不匹配，继续进行集合遍历。

在本实施例的一些可选的实现方式中，第二计算模块405还包括：第一增大子模块，被配置成若集合遍历完毕，且与模板图像的信号灯位置不匹配，增大第一预设数值，以及从夜间图像序列中获取下一帧夜间图像继续计算质心位置。

在本实施例的一些可选的实现方式中，第二计算模块405还包括：第二增大子模块，被配置成响应于集合数目小于信号灯的灯头数目，且保存质心位置的夜间图像的帧数小于第二预设数值，增大第一预设数值，以及从夜间图像序列中获取下一帧夜间图像继续计算质心位置。

在本实施例的一些可选的实现方式中，第二计算模块405还包括：第二确定子模块，被配置成响应于集合数目小于信号灯的灯头数目，且保存质心位置的夜间图像的帧数不小于第二预设数值，计算每个集合中的质心位置的平均值，确定当前夜间图像的信号灯位置。

在本实施例的一些可选的实现方式中，图像稳像装置400还包括：删除模块，被配置成响应于保存质心位置的夜间图像的帧数大于第一预设数值，删除最早保存的夜间图像的质心位置。

在本实施例的一些可选的实现方式中，删除模块进一步被配置成：若当前夜间图像的质心位置属于多个集合，将当前夜间图像的质心位置加入到所属的集合，并删除所属的集合中最早保存的质心位置；若当前夜间图像的质心位置不属于多个集合，创建新的集合，并将当前夜间图像的质心位置加入到新的集合。

在本实施例的一些可选的实现方式中，图像稳像装置400还包括：遍历模块，被配置成若新的集合被更新的次数等于第一预设数值，重新进行集合遍历。

根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图5示出了可以用来实施本申请的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图5所示，设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如图像稳像方法。例如，在一些实施例中，图像稳像方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行上文描述的图像稳像方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像稳像方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请的实施例，本申请还提供了一种路侧设备。路侧设备可以包括图5所示的电子设备。可选地，路侧设备除了包括电子设备，还可以包括通信部件等，电子设备可以和通信部件一体集成，也可以分体设置。电子设备可以获取感知设备(如路侧相机)的数据，例如图片和视频等，从而进行图像视频处理和数据计算。可选的，电子设备自身也可以具备感知数据获取功能和通信功能，例如是AI相机，电子设备可以直接基于获取的感知数据进行图像视频处理和数据计算。

根据本申请的实施例，本申请还提供了一种云控平台。云控平台可以包括图5所示的电子设备。可选地，云控平台在云端执行处理，云控平台包括的电子设备可以获取感知设备(如路侧相机)的数据，例如图片和视频等，从而进行图像视频处理和数据计算；云控平台也可以称为车路协同管理平台、边缘计算平台、云计算平台、中心***、云端服务器等。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (24)

1.一种图像稳像方法，包括：

对于夜间图像序列中的当前夜间图像，基于模板图像的信号灯位置，从所述当前夜间图像中分割信号灯感兴趣区域ROI；

对所述信号灯ROI对应的灰度图像进行二值化，得到二值化图像；

计算并保存所述二值化图像中的每个白色区域的质心位置；

响应于保存质心位置的夜间图像的帧数等于第一预设数值，基于保存的质心位置之间的距离，将保存的质心位置划分到多个集合中；

计算至少一个集合中的质心位置的平均值，得到所述当前夜间图像的信号灯位置，其中，集合数目等于信号灯的灯头数目，一个集合对应一个信号灯的灯头。

2.根据权利要求1所述的方法，其中，所述基于模板图像的信号灯位置，从所述当前夜间图像中分割信号灯感兴趣区域ROI，包括：

在所述当前夜间图像中，确定所述模板图像的信号灯位置对应的矩形框；

将所述矩形框向外扩充多个像素，以及将扩充后的矩形框确定为所述信号灯ROI。

3.根据权利要求1所述的方法，其中，所述计算至少一个集合中的质心位置的平均值，得到所述当前夜间图像的信号灯位置，包括：

响应于集合数目不小于信号灯的灯头数目，进行集合遍历，选取所述信号灯的灯头数目对应的集合；

计算选取的集合中的质心位置的平均值；

若选取的集合中的质心位置的平均值组成的框与所述模板图像的信号灯位置匹配，将选取的集合中的质心位置的平均值确定为所述当前夜间图像的信号灯位置。

4.根据权利要求3所述的方法，其中，所述计算至少一个集合中的质心位置的平均值，得到所述当前夜间图像的信号灯位置，还包括：

若选取的集合中的质心位置的平均值组成的框与所述模板图像的信号灯位置不匹配，继续进行集合遍历。

5.根据权利要求4所述的方法，其中，所述计算至少一个集合中的质心位置的平均值，得到所述当前夜间图像的信号灯位置，还包括：

若集合遍历完毕，且与所述模板图像的信号灯位置不匹配，增大所述第一预设数值，以及从所述夜间图像序列中获取下一帧夜间图像继续计算质心位置。

6.根据权利要求1所述的方法，其中，所述计算至少一个集合中的质心位置的平均值，得到所述当前夜间图像的信号灯位置，还包括：

响应于所述集合数目小于所述信号灯的灯头数目，且保存质心位置的夜间图像的帧数小于第二预设数值，增大所述第一预设数值，以及从所述夜间图像序列中获取下一帧夜间图像继续计算质心位置。

7.根据权利要求6所述的方法，其中，所述计算至少一个集合中的质心位置的平均值，得到所述当前夜间图像的信号灯位置，还包括：

响应于所述集合数目小于所述信号灯的灯头数目，且保存质心位置的夜间图像的帧数不小于所述第二预设数值，计算每个集合中的质心位置的平均值，确定所述当前夜间图像的信号灯位置。

8.根据权利要求1所述的方法，其中，所述方法还包括：

响应于保存质心位置的夜间图像的帧数大于所述第一预设数值，删除最早保存的夜间图像的质心位置。

9.根据权利要求8所述的方法，其中，所述删除最早保存的夜间图像的质心位置，包括：

若所述当前夜间图像的质心位置属于所述多个集合，将所述当前夜间图像的质心位置加入到所属的集合，并删除所属的集合中最早保存的质心位置；

若所述当前夜间图像的质心位置不属于所述多个集合，创建新的集合，并将所述当前夜间图像的质心位置加入到新的集合。

10.根据权利要求9所述的方法，其中，所述方法还包括：

若新的集合被更新的次数等于所述第一预设数值，重新进行集合遍历。

11.一种图像稳像装置，包括：

分割模块，被配置成对于夜间图像序列中的当前夜间图像，基于模板图像的信号灯位置，从所述当前夜间图像中分割信号灯感兴趣区域ROI；

二值化模块，被配置成对所述信号灯ROI对应的灰度图像进行二值化，得到二值化图像；

第一计算模块，被配置成计算并保存所述二值化图像中的每个白色区域的质心位置；

划分模块，被配置成响应于保存质心位置的夜间图像的帧数等于第一预设数值，基于保存的质心位置之间的距离，将保存的质心位置划分到多个集合中；

第二计算模块，被配置成计算至少一个集合中的质心位置的平均值，得到所述当前夜间图像的信号灯位置，其中，集合数目等于信号灯的灯头数目，一个集合对应一个信号灯的灯头。

12.根据权利要求11所述的装置，其中，所述分割模块进一步被配置成：

在所述当前夜间图像中，确定所述模板图像的信号灯位置对应的矩形框；

将所述矩形框向外扩充多个像素，以及将扩充后的矩形框确定为所述信号灯ROI。

13.根据权利要求11所述的装置，其中，所述第二计算模块包括：

选取子模块，被配置成响应于集合数目不小于信号灯的灯头数目，进行集合遍历，选取所述信号灯的灯头数目对应的集合；

计算子模块，被配置成计算选取的集合中的质心位置的平均值；

第一确定子模块，被配置成若选取的集合中的质心位置的平均值组成的框与所述模板图像的信号灯位置匹配，将选取的集合中的质心位置的平均值确定为所述当前夜间图像的信号灯位置。

14.根据权利要求13所述的装置，其中，所述第二计算模块还包括：

遍历子模块，被配置成若选取的集合中的质心位置的平均值组成的框与所述模板图像的信号灯位置不匹配，继续进行集合遍历。

15.根据权利要求14所述的装置，其中，所述第二计算模块还包括：

第一增大子模块，被配置成若集合遍历完毕，且与所述模板图像的信号灯位置不匹配，增大所述第一预设数值，以及从所述夜间图像序列中获取下一帧夜间图像继续计算质心位置。

16.根据权利要求11所述的装置，其中，所述第二计算模块还包括：

第二增大子模块，被配置成响应于所述集合数目小于所述信号灯的灯头数目，且保存质心位置的夜间图像的帧数小于第二预设数值，增大所述第一预设数值，以及从所述夜间图像序列中获取下一帧夜间图像继续计算质心位置。

17.根据权利要求16所述的装置，其中，所述第二计算模块还包括：

第二确定子模块，被配置成响应于所述集合数目小于所述信号灯的灯头数目，且保存质心位置的夜间图像的帧数不小于所述第二预设数值，计算每个集合中的质心位置的平均值，确定所述当前夜间图像的信号灯位置。

18.根据权利要求11所述的装置，其中，所述装置还包括：

删除模块，被配置成响应于保存质心位置的夜间图像的帧数大于所述第一预设数值，删除最早保存的夜间图像的质心位置。

19.根据权利要求18所述的装置，其中，所述删除模块进一步被配置成：

若所述当前夜间图像的质心位置属于所述多个集合，将所述当前夜间图像的质心位置加入到所属的集合，并删除所属的集合中最早保存的质心位置；

若所述当前夜间图像的质心位置不属于所述多个集合，创建新的集合，并将所述当前夜间图像的质心位置加入到新的集合。

20.根据权利要求19所述的装置，其中，所述装置还包括：

遍历模块，被配置成若新的集合被更新的次数等于所述第一预设数值，重新进行集合遍历。

21.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。

22.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-10中任一项所述的方法。

23.一种路侧设备，包括如权利要求21所述的电子设备。

24.一种云控平台，包括如权利要求21所述的电子设备。