CN114785955A - 复杂场景下动态相机运动补偿方法、***及存储介质 - Google Patents

Abstract

本发明提出了一种复杂场景下动态相机运动补偿方法、***及存储介质，首先，将运动相机捕获的图像序列经计算质心位置并将其传输至ARM处理器以跟踪目标，将目标维持在图像平面的中心。其次，通过图像质心位置的前后变化计算图像的偏移角；最后将传感器来获取三轴云台的姿态角，例如滚动角、俯仰角、偏航角与所述偏移角融合用来补偿三轴云台，使所述三轴云台保持稳定。这样提高控制三轴云台的精度，同时也节省了AVR处理器的资源。

Description

复杂场景下动态相机运动补偿方法、***及存储介质

技术领域

本文涉及图像领域，尤其涉及复杂场景下动态相机运动补偿方法、***及存储介质。

背景技术

无人驾驶车辆云台上的相机会因风和机器本身的运动等外部因素而移动和抖动，很难正确跟踪目标，有时目标无法停留在相机的视野中。由于相机移动和背景快速变化，车辆快速移动超出预测范围时，目标会在有效视野区域频繁进出。目前的研究集中在固定相机和静态背景场景中取得了显着的效果。但当相机快速移动或在遇到复杂的背景，目标跟踪的精度不高。如何使运动的相机在跟踪物体时保持稳定是目前研究的一个重要课题。

发明内容

为克服相关技术中存在的问题，本发明提供复杂场景下动态相机运动补偿方法、***及存储介质，将运动相机捕获的图像序列经计算质心位置并将其传输至ARM处理器以跟踪目标，将目标维持在图像平面的中心。通过图像质心位置的前后变化计算图像的偏移角以及获取三轴云台的滚动角、俯仰角、偏航角融合用来补偿三轴云台，使所述三轴云台保持稳定。这样提高控制三轴云台的精度，同时也节省了AVR处理器的资源。

根据本文的第一方面，提供一种复杂场景下动态相机运动补偿方法，包括将运动相机捕获的图像序列传输至ARM处理器；获取三轴云台的滚动角、俯仰角、偏航角传输至所述ARM处理器；所述ARM处理器计算所述图像序列的偏移角；所述ARM处理器基于所述图像序列的偏移角和所述三轴云台的滚动角、俯仰角、偏航角计算控制角度以控制所述三轴云台移动。

基于前述方案，所述将运动相机捕获的图像序列传输至ARM处理器，包括：将所述图像序列传输到目标跟踪***；所述目标跟踪***计算所述图像序列的质心位置；将所述图像序列的质心位置传输至所述ARM处理器。

基于前述方案，所述目标跟踪***计算所述图像序列的质心位置，包括：将每一帧图像序列的RGB图像转换为HSV图像；定义所述HSV图像的颜色及阈值；对所述HSV图像二值化处理；对所述二值化处理的HSV图像进行腐蚀、膨胀处理得到目标模板；划定所述目标模板的轮廓，将所述轮廓的做大外接圆的中心作为所述图像序列的质心位置。

基于前述方案，所述ARM处理器计算所述图像序列的偏移角，包括：根据所述图像序列的质心位置计算所述图像序列的偏移角；

x,y表示图像偏移后质心的坐标横向量和坐标纵向量，x₀,y₀表示图像偏移前质心的坐标横向量和坐标纵向量；h₀,v₀,θ表示图像水平偏移量，垂直偏移量，偏移角。

基于前述方案，所述ARM处理器基于所述图像序列的偏移角和所述三轴云台的滚动角、俯仰角、偏航角计算控制角度，包括：

Pulse.ω＝((θ+ω)*10+1500)/50

Pulse.κ＝((θ+κ)*10+1500)/50

Angle.ω＝(Pulse.ω-1500)/T

Angle.κ＝(Pulse.κ-1500)/T

Pulse.ω、

Pulse.κ分别表示滚动角、俯仰角、偏航角的脉冲信号宽度；Angle.ω、

Angle.κ表示滚动角、俯仰角、偏航角的补偿后的控制角度，T为定时器的周期。

根据本文的另一方面，提供一种复杂场景下动态相机运动补偿***，包括第一传输单元、第二传输单元、计算单元、控制单元；所述第一传输单元，用于将运动相机捕获的图像序列传输至ARM处理器；所述第二传输单元，用于获取三轴云台的滚动角、俯仰角、偏航角传输至所述ARM处理器；所述计算单元，用于所述ARM处理器计算所述图像序列的偏移角；所述控制单元，用于所述ARM处理器基于所述图像序列的偏移角和所述三轴云台的滚动角、俯仰角、偏航角计算控制角度以控制所述三轴云台移动。

根据本文的另一方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时减小***振动的***方法的步骤。

本发明提出了一种复杂场景下动态相机运动补偿方法、***及存储介质，将运动相机捕获的图像序列经计算质心位置并将其传输至ARM处理器以跟踪目标，将目标维持在图像平面的中心。其次，通过图像质心位置的前后变化计算图像的偏移角；最后将传感器来获取三轴云台的姿态角，例如滚动角、俯仰角、偏航角与所述偏移角融合用来补偿三轴云台，使所述三轴云台保持稳定。这样提高控制三轴云台的精度，同时也节省了AVR处理器的资源。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本文。

附图说明

构成本文的一部分的附图用来提供对本文的进一步理解，本文的示意性实施例及其说明用于解释本文，并不构成对本文的不当限定。

在附图中：

图1是根据一示例性实施例示出的一种复杂场景下动态相机运动补偿方法的流程图。

图2是根据一示例性实施例示出的利用质心跟踪算法跟踪目标的流程图。

图3是根据一示例性实施例示出的一种复杂场景下动态相机运动补偿***的框图。

图4是根据一示例性实施例示出的一种复杂场景下动态相机运动补偿设备的框图。

具体实施方式

为使本文实施例的目的、技术方案和优点更加清楚，下面将结合本文实施例中的附图，对本文实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本文一部分实施例，而不是全部的实施例。基于本文中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文保护的范围。需要说明的是，在不冲突的情况下，本文中的实施例及实施例中的特征可以相互任意组合。

除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。

图1是根据本发明第一实施例示出的一种复杂场景下动态相机运动补偿方法的流程图。参照图1，补偿方法至少包括：

S101：将运动相机捕获的图像序列传输至ARM处理器；

具体地说，运动相机是和车辆绑在一起的，可以是一体化的，也可以是两个实体绑定。运动相机按照固定的帧率拍摄视频，运动相机会检测视频中的目标物体进行跟踪。

值得一提的是，本文中的ARM处理器作为主控制器，优选的，S3C2440芯片；S3C2440芯片采用ARM9内核架构设计，是一种32位的高速处理器，很多嵌入式产品中都使用该芯片作为主控制器。其性能参数包括CPU、最高工作频率、内核电压、I/O输出电压、PWM定时器等。

进一步地，为了减轻ARM处理器的数据处理压力，同时能够提高跟踪目标物体的精度，在运动相机捕获的图像序列传输至ARM处理器之前，先将所述图像序列传输到目标跟踪***；所述目标跟踪***计算所述图像序列的质心位置；将所述图像序列的质心位置传输至所述ARM处理器。

所示目标跟踪***是车辆用于跟踪目标，目标跟踪***所采用的质心跟踪算法是使用OpenCV实现质心跟踪。具体的说，OpenCV(Open Source Computer Vision Library)是一个开源的计算机视觉和机器学习软件库。

可以说明的是，图2所示了本文中利用质心跟踪算法跟踪目标的一个具体实施例，具体包括：

S201：将每一帧图像序列的RGB图像转换为HSV图像；

S202：定义所述HSV图像的颜色及阈值；

S203：对所述HSV图像二值化处理；

S204：对所述二值化处理的HSV图像进行腐蚀、膨胀处理得到目标模板；

S205：划定所述目标模板的轮廓，将所述轮廓的做大外接圆的中心作为质心位置。

由于相机运动时会产生抖动，监控的目标物体也会频繁地进出相机的视野。为了能够保持三轴平台的稳定，采用上述质心跟踪算法，目标物体就一直保持在像平面坐标的中心，相机保持跟踪。并且使目标物体与周围环境区分开来，避免了复杂背景下跟踪精度低的问题，提高了目标物体的跟踪精度。

S102：获取三轴云台的滚动角、俯仰角、偏航角传输至所述ARM处理器；

具体地说，本发明的云台为三轴云台，三轴云台上设置有相应的传感器，可以实时获取车辆驾驶时的三轴姿态角、角速度和角加速度等数据。当传感器固定在平台上时，通过传感器获取三轴平台的滚动角、俯仰角、偏航角可视为车辆的状态。

本发明的传感器选取JY-901模块作为三轴平台的滚动角、俯仰角、偏航角都数据采集模块。其输出格式如下：

0x55

0x53

RollL

RollH

PitchL

PitchH

YawL

YawH

SUM

其中，0x55为传输数据头，用于判断是否为该模块的输出数据；0x53为角度数据的数据头；RollL与RollH分别为16位滚动角数据的低8位与高8位；PitchL与PitchH分别为16位俯仰角数据的低8位与高8位；YawL与YawH分别为16位偏航角数据的低8位与高8位；SUM为整组数据的校验和。由提取出的三轴平台的滚动角、俯仰角、偏航角的十六进制数据可通过计算转化为测量到的角度信息。

采集三轴平台的滚动角、俯仰角、偏航角数据的计算如下所示：

ω＝((RollH＜＜8)|RollL)/32768*180 式(1)

κ＝((YawH＜＜8)|YawL)/32768*180 式(3)

其中，ω、

κ分别表示为三轴平台的滚动角、俯仰角、偏航角。

S103：所述ARM处理器计算所述图像序列的偏移角；

具体地说，根据所述图像序列的质心位置计算所述图像序列的偏移角；由ARM处理器中定时器中断时产生的脉冲信号，通过两个脉冲信号的所对应图像的质心位置变化计算所述图像序列的偏移角。

可以说明的是，本发明中具体地一个实施例，计算图像序列的偏移角包括：

x,y表示图像偏移后质心的坐标横向量和坐标纵向量，x₀,y₀表示图像偏移前质心的坐标横向量和坐标纵向量；h₀,v₀,θ表示图像水平偏移量，垂直偏移量，偏移角。

S104：所述ARM处理器基于所述图像序列的偏移角和所述三轴云台的俯仰角、滚动角、偏航角计算控制角度以控制所述三轴云台移动。

具体地说，由于直接生成脉冲信号难以控制且精度不准确，本发明ARM处理器使用定时器和中断来生成脉冲信号，用ARM处理器的***时钟驱动定时器，调整定时器的周期来触发中断。通过生成脉冲信号的宽度来计算控制角度，从而根据控制角度来控制三轴云台移动。所述控制角度包括三轴云台的滚动角、俯仰角、偏航角三个方向补偿后的角度。

Pulse.ω＝((θ+ω)*10+1500)/50 式(5)

Pulse.κ＝((θ+κ)*10+1500)/50 式(7)

Pulse.ω、

Pulse.κ分别表示滚动角、俯仰角、偏航角的脉冲信号宽度。

Angle.ω＝(Pulse.ω-1500)/T 式(8)

Angle.κ＝(Pulse.κ-1500)/T 式(10)

Angle.ω、

Angle.κ表示滚动角、俯仰角、偏航角的补偿后的控制角度，T为定时器的周期。

本发明的第一实施例提出了一种复杂场景下动态相机运动补偿方法，首先，将运动相机捕获的图像序列经计算质心位置并将其传输至ARM处理器以跟踪目标，将目标维持在图像平面的中心。其次，通过图像质心位置的前后变化计算图像的偏移角；最后将传感器来获取三轴云台的姿态角，例如滚动角、俯仰角、偏航角与所述偏移角融合用来补偿三轴云台，使所述三轴云台保持稳定。这样提高控制三轴云台的精度，同时也节省了AVR处理器的资源。

图3是根据本发明示例性的第二具体实施例，示出的一种复杂场景下动态相机运动补偿***30。所述***30包括第一传输单元301、第二传输单元302、计算单元303、控制单元304；

所述第一传输单元301，用于将运动相机捕获的图像序列传输至ARM处理器；

所述第二传输单元302，用于获取三轴云台的俯仰角、滚动角、偏航角传输至所述ARM处理器；

所述计算单元303，用于所述ARM处理器计算所述图像序列的偏移角；

所述控制单元304，用于所述ARM处理器基于所述图像序列的偏移角和所述三轴云台的俯仰角、滚动角、偏航角计算控制角度以控制所述三轴云台移动。

不难发现，本实施方式为与第一实施方式相对应的***实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

图4是根据一示例性实施例示出的一种用于计算机设备40的框图。参照图4，设备40包括处理器401，处理器的个数可以根据需要设置为一个或者多个。设备40还包括存储器402，用于存储可由处理器401的执行的指令，例如应用程序。存储器的个数可以根据需要设置一个或者多个。其存储的应用程序可以为一个或者多个。处理器401被配置为执行指令，以执行上述方法。

存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

在另外的一个方面，本文提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现以上任意方法实施例所描述的一种复杂场景下动态相机运动补偿方法。

本领域技术人员应明白，本文的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本文可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本文可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质,包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质等。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

本文是参照根据本文实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本文的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本文范围的所有变更和修改。

显然，本领域的技术人员可以对本文进行各种改动和变型而不脱离本文的精神和范围。这样，倘若本文的这些修改和变型属于本文权利要求及其等同技术的范围之内，则本文的意图也包含这些改动和变型在内。

Claims (10)

1.一种复杂场景下动态相机运动补偿方法，其特征在于：

将运动相机捕获的图像序列传输至ARM处理器；

获取三轴云台的滚动角、俯仰角、偏航角传输至所述ARM处理器；

所述ARM处理器计算所述图像序列的偏移角；

所述ARM处理器基于所述图像序列的偏移角和所述三轴云台的滚动角、俯仰角、偏航角计算控制角度以控制所述三轴云台移动。

2.根据权利要求1所述的方法，其特征在于，所述将运动相机捕获的图像序列传输至ARM处理器，包括：

将所述图像序列传输到目标跟踪***；

所述目标跟踪***计算所述图像序列的质心位置；

将所述图像序列的质心位置传输至所述ARM处理器。

3.根据权利要求2所述的方法，其特征在于，所述目标跟踪***计算所述图像序列的质心位置，包括：

将每一帧图像序列的RGB图像转换为HSV图像；

定义所述HSV图像的颜色及阈值；

对所述HSV图像二值化处理；

对所述二值化处理的HSV图像进行腐蚀、膨胀处理得到目标模板；

划定所述目标模板的轮廓，将所述轮廓的做大外接圆的中心作为所述图像序列的质心位置。

4.根据权利要求3所述的方法，其特征在于，所述ARM处理器计算所述图像序列的偏移角，包括：根据所述图像序列的质心位置计算所述图像序列的偏移角；

x,y表示图像偏移后质心的坐标横向量和坐标纵向量，x₀,y₀表示图像偏移前质心的坐标横向量和坐标纵向量；h₀,v₀,θ表示图像水平偏移量，垂直偏移量，偏移角。

5.根据权利要求4所述的方法，其特征在于，所述ARM处理器基于所述图像序列的偏移角和所述三轴云台的滚动角、俯仰角、偏航角计算控制角度，包括：

Pulse.ω＝((θ+ω)*10+1500)/50

Pulse.κ＝((θ+κ)*10+1500)/50

Angle.ω＝(Pulse.ω-1500)/T

Angle.κ＝(Pulse.κ-1500)/T

Pulse.ω、

Pulse.κ分别表示滚动角、俯仰角、偏航角的脉冲信号宽度；Angle.ω、

Angle.κ表示滚动角、俯仰角、偏航角的补偿后的控制角度，T为定时器的周期。

6.一种复杂场景下动态相机运动补偿***，其特征在于，包括第一传输单元、第二传输单元、计算单元、控制单元；

所述第一传输单元，用于将运动相机捕获的图像序列传输至ARM处理器；

所述第二传输单元，用于获取三轴云台的滚动角、俯仰角、偏航角传输至所述ARM处理器；

所述计算单元，用于所述ARM处理器计算所述图像序列的偏移角；

所述控制单元，用于所述ARM处理器基于所述图像序列的偏移角和所述三轴云台的滚动角、俯仰角、偏航角计算控制角度以控制所述三轴云台移动。

7.根据权利要求6所述的***，其特征在于，所述第一传输单元用于将运动相机捕获的图像序列传输至ARM处理器，还包括：

将所述图像序列传输到目标跟踪***；

所述目标跟踪***计算所述图像序列的质心位置；

将所述图像序列的质心位置传输至所述ARM处理器。

8.根据权利要求7所述的***，其特征在于，所述计算单元根据所述图像序列的质心位置计算所述图像序列的偏移角；

x,y表示图像偏移后质心的坐标横向量和坐标纵向量，x₀,y₀表示图像偏移前质心的坐标横向量和坐标纵向量；h₀,v₀,θ表示图像水平偏移量，垂直偏移量，偏移角。

9.根据权利要求8所述的***，其特征在于，所述ARM处理器基于所述图像序列的偏移角和所述三轴云台的滚动角、俯仰角、偏航角计算控制角度，包括：

Pulse.ω＝((θ+ω)*10+1500)/50

Pulse.κ＝((θ+κ)*10+1500)/50

Angle.ω＝(Pulse.ω-1500)/T

Angle.κ＝(Pulse.κ-1500)/T

Pulse.ω、

Pulse.κ分别表示滚动角、俯仰角、偏航角的脉冲信号宽度；Angle.ω、

Angle.κ表示滚动角、俯仰角、偏航角的补偿后的控制角度，T为定时器的周期。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1-5中任意一项所述方法的步骤。

Images