CN114173058B - 视频图像稳定处理方法、装置及设备 - Google Patents

视频图像稳定处理方法、装置及设备 Download PDF

Info

Publication number
CN114173058B
CN114173058B CN202111441812.6A CN202111441812A CN114173058B CN 114173058 B CN114173058 B CN 114173058B CN 202111441812 A CN202111441812 A CN 202111441812A CN 114173058 B CN114173058 B CN 114173058B
Authority
CN
China
Prior art keywords
image
image frame
area
moving object
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111441812.6A
Other languages
English (en)
Other versions
CN114173058A (zh
Inventor
陈亚卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunkong Zhixing Technology Co Ltd
Original Assignee
Yunkong Zhixing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunkong Zhixing Technology Co Ltd filed Critical Yunkong Zhixing Technology Co Ltd
Priority to CN202111441812.6A priority Critical patent/CN114173058B/zh
Publication of CN114173058A publication Critical patent/CN114173058A/zh
Application granted granted Critical
Publication of CN114173058B publication Critical patent/CN114173058B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)

Abstract

本说明书实施例公开了视频图像稳定处理方法、装置及设备,可以包括:获取目标视频中的第一图像帧,第一图像帧是针对指定区域进行图像采集得到的;利用雷达传感器采集到的指定区域内的运动目标的位置信息,确定第一图像帧中运动目标的所在区域;从第一图像帧中删除运动目标所在区域,得到第一图像帧的背景区域;确定第一图像帧的背景区域的运动向量;根据运动向量,对第一图像帧的背景区域进行反向补偿,得到稳定处理后图像。在摄像视野发生抖震的情况下,对第一图像帧进行稳定处理可简化为对第一图像帧的背景区域进行稳定处理,并且,由于利用雷达传感器能够准确且快速采集运动目标,从而有利于提高图像稳定处理方***性及效率。

Description

视频图像稳定处理方法、装置及设备
技术领域
本申请涉及计算机视觉技术领域,尤其涉及视频图像稳定处理方法、装置及设备。
背景技术
近年来,随着移动通信技术、轻量化深度学习网络、车载高性能处理器等新技术的出现,网联自动驾驶技术得到了快速发展,而智能路侧***作为网联自动驾驶技术的重要支撑也正在逐渐普及。在实际应用,基于视觉的智能路侧***因其成本低廉,部署方便等优势,成为了较为常见的智能路侧***实现方案。然而,受安装部署条件和紧固方式影响,在道路晃动、大风等外界因素影响下,智能路侧***所在的杆件会产生轻微晃动,从而造成摄像机视野的抖震,影响***识别定位精度。因此,需要使用视频图像稳定技术进行处理。
目前,通常会沿用原车载或手机视频图像稳定技术,通过对智能路侧***采集的图像的全部特征进行提取,以基于图像的全部特征进行视频图像稳定处理。这种基于图像特征提取的视频图像稳定处理方案,耗时严重,无法满足网联自动驾驶技术对于路侧数据的实时性的需求。
发明内容
本说明书实施例提供的一种视频图像稳定处理方法、装置及设备,可以提升视频图像稳定处理效率,以解决现有的视频图像稳定处理过程耗时较长,无法满足网联自动驾驶技术对于路侧数据的实时性的需求的这一问题。
为解决上述技术问题,本说明书实施例是这样实现的:
本说明书实施例提供的一种视频图像稳定处理方法,包括:
获取目标视频中的第一图像帧,所述第一图像帧是针对指定区域进行图像采集得到的;
根据在所述第一图像帧的采集时刻利用雷达传感器采集到的所述指定区域内的运动目标的位置信息,确定所述第一图像帧中运动目标的所在区域;
从所述第一图像帧中删除所述运动目标所在区域,得到所述第一图像帧的背景区域;
确定所述第一图像帧的背景区域的运动向量;
根据所述运动向量,对所述第一图像帧的背景区域进行反向补偿,得到稳定处理后图像。
本说明书实施例提供的一种视频图像稳定处理装置,包括:
第一获取模块,用于获取目标视频中的第一图像帧;所述第一图像帧是针对指定区域进行图像采集得到的;
第一确定模块,用于根据在所述第一图像帧的采集时刻利用雷达传感器采集到的所述指定区域内的运动目标的位置信息,确定所述第一图像帧中运动目标的所在区域;
删除模块,用于从所述第一图像帧中删除所述运动目标所在区域,得到所述第一图像帧的背景区域;
第二确定模块,用于确定所述第一图像帧的背景区域的运动向量;
反向补偿模块,用于根据所述运动向量,对所述第一图像帧的背景区域进行反向补偿,得到稳定处理后图像。
本说明书实施例提供的一种视频图像稳定处理设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
获取目标视频中的第一图像帧,所述第一图像帧是针对指定区域进行图像采集得到的;
根据在所述第一图像帧的采集时刻利用雷达传感器采集到的所述指定区域内的运动目标的位置信息,确定所述第一图像帧中运动目标的所在区域;
从所述第一图像帧中删除所述运动目标所在区域,得到所述第一图像帧的背景区域;
确定所述第一图像帧的背景区域的运动向量;
根据所述运动向量,对所述第一图像帧的背景区域进行反向补偿,得到稳定处理后图像。
本说明书一个实施例实现了能够达到以下有益效果:
在目标视频对应的摄像视野发生抖震的情况下,在目标视频中针对指定区域进行图像采集得到第一图像帧,并利用雷达传感器采集到的该指定区域内的运动目标的位置信息,确定第一图像帧中运动目标的所在区域;从第一图像帧中删除运动目标所在区域,得到第一图像帧的背景区域,确定第一图像帧的背景区域的运动向量,根据运动向量,对第一图像帧的背景区域进行反向补偿,得到稳定处理后图像。即,第一图像帧包括运动目标和背景区域,在摄像视野发生抖震的情况下,由于抖震产生的运动向量相对于运动目标自身产生的运动向量可忽略不计,所以,对第一图像帧进行稳定处理可简化为对第一图像帧的背景区域进行稳定处理;并且在视频图像稳定处理过程中,利用雷达传感器能够准确且快速采集运动目标,从而有利于提高第一图像帧中背景区域提取的效率和准确率,进而提高图像稳定处理方***性及效率。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本说明书实施例中提供的一种视频图像稳定处理方法的整体方案示意图;
图2是本说明书实施例提供的一种视频图像稳定处理方法的流程示意图;
图3是本说明书实施例提供的一种视频图像稳定处理装置的结构示意图;
图4是本说明书实施例提供的一种视频图像稳定处理设备的结构示意图。
具体实施方式
为使本说明书一个或多个实施例的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本说明书一个或多个实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本说明书的一部分实施例,而不是全部的实施例。基于本说明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本说明书一个或多个实施例保护的范围。
以下结合附图,详细说明本说明书各实施例提供的技术方案。
现有技术中,基于原车载或手机视频图像稳定技术,需要对图像的全部特征进行提取,以基于图像的全部特征进行稳定处理。由于提取图像的全部特征时的计算量较大,从而导致这种视频图像稳定处理方案的运行效率低下、实时性较差。
基于运动传感器的视频图像稳定技术,通过运动传感器对摄像机的运动向量进行估计,实现对图像的运动向量的估计,从而可以根据运动传感器测量的运动向量对图像进行反向补偿,得到稳定处理后的图像。因此,该视频图像稳定处理方***性依赖于运动传感器的精度,但现有的运动传感器难以对轻微位移实现精确测量,从而导致视频图像稳定处理方***性较差。
基于粒子滤波的视频图像稳定技术,认为图像晃动是粒子运动导致的,因此,通过将图像内容无差别的粒子化,以采用粒子滤波对图像运动向量进行估计,进而基于确定出的图像运动向量进行图像稳定处理。在这种视频图像稳定处理方案中,由于会对图像中包含的车辆、行人等正常运动的物体粒子化,并对其进行运动向量估计,从而会影响图像运动向量估计精度,导致视频图像稳定处理结果的准确性较差。
为了解决现有技术中的缺陷,本说明书实施例中给出了以下实施例:
图1为本说明书实施例中提供的一种视频图像稳定处理方法的整体方案流程示意图。
如图1所示,在目标视频对应的摄像视野发生抖震的情况下,可以利用图像采集设备101(如摄像机)针对指定区域103进行视频采集以得到第一图像帧,以及在采集第一图像帧的同时,通过雷达传感器102采集所述指定区域内的运动目标104的位置信息,从而可以基于该运动目标104的位置信息,确定该运动目标104在第一图像帧中的所在区域103。从第一图像帧中删除该运动目标104的所在区域后,即可得到第一图像帧的背景区域105。后续,还需要确定第一图像帧的背景区域105的运动向量,以根据该运动向量,对第一图像帧的背景区域105进行反向补偿,从而得到稳定处理后图像。
本说明书实施例中提供的视频图像稳定处理方法,在目标视频对应的摄像视野发生抖震的情况下,由于抖震产生的运动向量相对于运动目标自身产生的运动向量可忽略不计,所以,对第一图像帧进行稳定处理可简化为对第一图像帧的背景区域进行稳定处理。并且,由于在视频图像稳定处理过程中,利用雷达传感器能够准确且快速采集运动目标,从而有利于提高第一图像帧中背景区域提取的效率和准确率,进而提高图像稳定处理方***性及效率。
接下来,将针对说明书实施例提供的一种视频图像稳定处理方法结合附图进行具体说明:
图2为本说明书实施例提供的一种视频图像稳定处理方法的流程示意图。从程序角度而言,该流程的执行主体可以终端,或者,终端处搭载的应用程序。如图2所示,该流程可以包括以下步骤:
步骤210:获取目标视频中的第一图像帧,所述第一图像帧是针对指定区域进行图像采集得到的。
本说明书实施例中,目标视频可以是通过图像采集设备针对指定区域进行图像采集得到的,例如,通过路侧监控设备、摄像头,摄像机等对指定区域内的环境、行人、非机动车、机动车、交通事件等进行成像以获得目标视频。其中,指定区域可以是指根据实际需要所固定的图像采集设备的拍摄视野,而第一图像帧可以为目标视频中的除首帧图像以外的任一帧图像。
步骤220:根据在所述第一图像帧的采集时刻利用雷达传感器采集到的所述指定区域内的运动目标的位置信息,确定所述第一图像帧中运动目标的所在区域。
本说明书实施例中,在第一图像帧成像的同时,可以利用雷达传感器采集图像采集设备所对应的固定视野(即指定区域)内的运动目标的位置信息。由于第一图像帧也是针对该指定区域采集得到的,因此,雷达传感器所检测到的运动目标通常也会出现在第一图像帧中,从而使得雷达传感器所检测到的运动目标即为第一图像帧中的运动目标。基于此,可以根据雷达传感器所检测到的运动目标的位置信息,确定第一图像帧中运动目标的所在区域。
步骤230:从所述第一图像帧中删除所述运动目标所在区域,得到所述第一图像帧的背景区域。
本说明书实施例中,可以将第一图像帧中的运动目标所在区域作为前景区域,以及将第一图像帧中删除所有运动目标所在区域后得到的剩余区域作为背景区域。之所以区分第一图像帧中的背景区域和前景区域是因为:前景区域对应的是运动目标,而摄像视野发生抖震(具体可指,图像采集设备晃动)产生的运动向量相对于运动目标产生运动向量可忽略不计,可以不对运动目标进行运动补偿;但背景区域通常应处于静止状态,因此,背景区域的运动向量通常是由图像采集设备晃动等因素导致的,从而需要进行反向补偿处理。
步骤240:确定所述第一图像帧的背景区域的运动向量。
本说明书实施例中,第一图像帧的背景区域是由若干目标像素点构成的,因此,确定第一图像帧的背景区域的运动向量,需要确定第一像帧的背景区域所包含的若干目标像素点的运动向量,而确定第一图像帧的背景区域所包含的若干目标像素点的运动向量,可以通过计算第一图像帧的背景区域的质心的运动向量,作为第一图像帧的背景区域所包含的若干目标像素点的运动向量。
步骤250:根据所述运动向量,对所述第一图像帧的背景区域进行反向补偿,得到稳定处理后图像。
本说明书实施例中,步骤250具体可以包括:根据所述运动向量,反向平移所述第一图像帧的背景区域。
其中,对第一图像帧的背景区域反向平移,平移的距离可以为运动向量所对应的距离,单位为像素,得到稳定后的第一图像帧。例如,第二图像帧到第一图像帧的运动向量的模为5,方向为东偏北37度,则针对第一图像帧的背景区域内像素坐标为(10,10)的像素点A,按照该运动向量进行反向平移后,即,将像素点A沿西偏南37度方向,移动距离为5,平移后像素点A的像素坐标变为(6,7)。
图2中方法,在对视频图像进行稳定处理时,可以利用图像传感器(如摄像机)采集针对指定区域进行视频采集以得到第一图像帧,以及在采集第一图像帧的同时,通过雷达传感器检测指定区域内的运动目标,确定运动目标在在第一图像帧中的所在区域,删除该运动目标的所在区域后,即可得到第一图像帧的背景区域,确定第一图像帧的背景区域的运动向量,根据该运动向量,对第一图像帧的背景区域进行反向补偿,得到稳定处理后图像。
在视频图像稳定处理过程中,由于摄像视野发生抖震(具体可指,图像采集设备晃动)产生的运动向量相对于运动目标产生运动向量可忽略不计,可以不对运动目标进行运动补偿;但图像中背景区域通常应处于静止状态,因此,背景区域的运动向量通常是由图像采集设备晃动等因素导致的,从而需要进行反向补偿处理。相比现有的视频图像稳定处理技术,需要提取图像中的全部特征,计算量大,效率低,本说明书实施例在目标视频对应的摄像视野发生抖震的情况下,对第一图像帧进行稳定处理可简化为对第一图像帧的背景区域进行稳定处理,并且,利用雷达传感器能够准确且快速采集运动目标,从而有利于提高第一图像帧中背景区域提取的效率和准确率,进而提高图像稳定处理方***性及效率。
基于图2中的方法,本说明书实施例还提供了该方法的一些具体实施方案,下面进行说明。
图2中的方案,步骤240:根据在第一图像帧的采集时刻利用雷达传感器采集到的指定区域内的运动目标的位置信息,确定第一图像帧中的运动目标所在区域,具体可以包括:
获取在第一图像帧的采集时刻利用雷达传感器采集到的指定区域内的运动目标的GPS坐标;获取第一图像帧中的预设像素坐标系与GPS坐标系之间的预设对应关系;基于预设像素坐标系与GPS坐标系之间的预设对应关系,根据运动目标的GPS坐标,确定运动目标在第一图像帧中的所在区域。
在获取所述第一图像帧中的预设像素坐标系与GPS坐标系之间的预设对应关系之前,还可以包括:确定样本图像中的目标像素点在预设像素坐标系中的像素坐标,样本图像是针对指定区域进行图像采集得到的;确定目标像素点对应的GPS坐标;根据目标像素点在预设像素坐标系中的像素坐标以及目标像素点对应的GPS坐标,从而建立预设像素坐标系与GPS坐标系之间的预设对应关系。
在本说明书实施例中,可以通过摄像机静态标定样本图像,以预先建立摄像机固定视野(即指定区域)内预设像素坐标系与GPS坐标系(Global Positioning System,全球定位***)之间的对应关系,该对应关系可以采用透视转换矩阵形式表示,例如,(像素坐标-GPS坐标)匹配点组方式。
具体的,需要建立样本图像对应的GPS坐标系,由于GPS坐标系为三维空间坐标系,而确定一个三维空间图形至少需要四个点,且这四个点中任意三个点均不能位于一条直线上,因此,建立样本图像对应的GPS坐标系至少需要四个目标像素点,且四个目标像素点中,任意三个不能位于一条直线上。
并且,由于预设像素坐标系与GPS坐标系之间的对应关系可以通过透视转换矩阵形式确定,而形成矩阵至少需要四个目标像素点,因此,建立预设像素坐标系与GPS坐标系之间的预设对应关系,至少需要选取样本图像中四个目标像素点,且四个目标像素点中任意三个不能位于一条直线上。
图2中的方案,步骤240:确定所述第一图像帧的背景区域的运动向量,具体可以包括:
获取所述第一图像帧的背景区域的质心的像素坐标。
获取第二图像帧的背景区域的质心的像素坐标;所述第二图像帧是所述目标视频中针对所述指定区域进行图像采集得到的,且所述第二图像帧的采集时刻早于所述第一图像帧的采集时刻。
确定从所述第二图像帧的背景区域的质心的像素坐标到所述第一图像帧的背景区域的质心的像素坐标的位移向量。
在本说明书实施例中,第二图像帧与第一图像帧均是目标视频中针对所述指定区域进行图像采集得到的,但所述第二图像帧的采集时刻早于所述第一图像帧的采集时刻。
以第二图像帧为基准,则第一图像帧的背景区域的运动向量可以为第二图像帧的背景区域的质心到第一图像帧的背景区域的质心的位移向量,该第一图像帧的背景区域的运动向量可以反映第一图像帧相对第二图像帧因视频采集设备晃动所产生的位移。
在本说明书实施例中,YcrCb是色彩空间的一种,而RGB表示颜色***。由于只考虑图像细节而不考虑色调,有利于提高第一图像帧的背景区域的质心的像素坐标的精确度,因此,若第一图像帧属于RGB图像,则所述获取第一图像帧的背景区域的质心的像素坐标,具体可以包括:
获取第一图像帧的背景区域的YCrCb颜色空间图像。
计算所述YCrCb颜色空间图像中Y通道图像的质心的像素坐标。
在本说明书实施例中,在获取第一图像帧的背景区域的YCrCb颜色空间图像时,可以将第一图像帧中的背景区域从RGB图像转换为YcrCb颜色空间图像,转换方法见公式1:
公式1中,R、G、B分别代表红、绿、蓝三个通道的颜色值;Cb,Cr指色彩,Y指亮度(luminance),表示光的浓度。
在本说明书实施例中,通过只基于第一图像帧的背景区域的Y通道图像去生成第一图像帧的背景区域的质心的像素坐标,从而可以只考虑图像细节而不考虑色调,有利于提高计算得到的第一图像帧的背景区域的质心的像素坐标的精确度,进而有利于提高确定出的第一图像帧的背景区域的运动向量的精确度。
图2中的方案,计算背景区域的YCrCb颜色空间图像中的Y通道图像的质心的像素坐标,具体可以包括:
对Y通道图像进行划分,得到预设数量的子图像;根据每个子图像中的像素点的像素坐标及像素点的灰度值,计算子图像的质心的像素坐标;根据各个子图像的质心的像素坐标,确定Y通道图像的质心的像素坐标。
在实际应用中,对获取的Y通道图像进行切分,切分得到m*n份子图像,优选的,m小于100,n小于200,例如,可选取m=20,n=30,具体切分方式本领域技术人员可根据背景区域实际情况而定,对此不作具体限定。
在本说明书实施例中,可以根据公式2计算每个背景区域的子图像的质心的像素坐标。
公式2中,Xc为子图像的质心的像素横坐标,Yc为子图像的质心的像素纵坐标,(xi,yi)为子图像中的第i个像素点的像素坐标,xi是第i个像素点的像素横坐标,yi是第i个像素点的像素纵坐标,li为第i个像素点的灰度值。
为便于理解,对于计算子图像的质心的像素坐标进行举例说明。例如,一子图像包含三个像素点A、B、C,像素点A、B、C对应的像素坐标分别是(1,0),(0,1)和(1,1),像素点A、B、C对应的灰度值分别为0,1,0,那么,按照公式(2)该子图像质心的像素横坐标为0,该子图像的质心的像素纵坐标为1,因此,可以确定该子图像的质心的像素坐标为(0,1)。
图2中的方案,子图像的质心的像素坐标可以包括:子图像的质心的横坐标与子图像的质心的纵坐标。
则根据各个子图像的质心的像素坐标,确定背景区域的Y通道图像的质心的像素坐标,具体可以包括:
计算预设数量的子图像的质心的横坐标的均值,得到Y通道图像的质心的横坐标;计算预设数量的子图像的质心的纵坐标的均值,得到Y通道图像的质心的纵坐标。
在本说明书实施例中,可以基于公式3去计算背景区域的Y通道图像的质心的横坐标及纵坐标时。
公式3中,Xmv为背景区域的Y通道图像的质心的像素横坐标、Ymv为背景区域的Y通道图像的质心的像素纵坐标、xci为背景区域的Y通道图像中的第i个子图像的质心的像素横坐标、yci为背景区域的Y通道图像中第i个子图像的质心的像素纵坐标,N为背景区域所包含的子图像的总数量。
在本说明书实施例中,第二图像帧的背景区域的质心的像素坐标的计算方法与第一图像帧的背景区域的质心的像素坐标计算方法相同,对此不作赘述。
本说明书实施例中,通过借助辅助传感器感知运动目标信息,可以高效且准确的确定图像前景区域,与传统图像增强方案相比提升了信息获取的维度,前景提取准确率远高于利用帧差法等纯图像算法。且由于不需要对相机的运动进行测量,不依赖运动传感器精度,对高频轻微震动场景也可以适用。以及,由于不需要提取全幅图像的特征向量进行匹配,计算量较小,适用于嵌入式应用场景。还有,通过仅根据不包含运动目标的背景区域的运动向量进行图像的反向补偿,与传统算法直接根据全幅图像(包含前景运动目标)的运动向量进行图像的反向补偿方法相比,准确性更好。
基于同样的思路,本说明书实施例还提供了上述方法对应的装置。图3为本说明书实施例提供的对应于图2中方法的一种视频图像稳定处理装置的结构示意图。如图3所示,该装置300可以包括:
第一获取模块310,用于获取目标视频中的第一图像帧;第一图像帧是针对指定区域进行图像采集得到的。
第一确定模块320,用于根据在第一图像帧的采集时刻利用雷达传感器采集到的指定区域内的运动目标的位置信息,确定第一图像帧中运动目标的所在区域。
删除模块330,用于从第一图像帧中删除运动目标所在区域,得到第一图像帧的背景区域。
第二确定模块340,用于确定第一图像帧的背景区域的运动向量。
反向补偿模块350,用于根据运动向量,对第一图像帧的背景区域进行反向补偿,得到稳定处理后图像。
基于图3中的装置,本说明书实施例还提供了该装置的一些具体实施方案,下面进行说明。
可选的,第一确定模块320,具体可以用于:获取在所述第一图像帧的采集时刻利用雷达传感器采集到的所述指定区域内的运动目标的GPS坐标;获取所述第一图像帧中的预设像素坐标系与GPS坐标系之间的预设对应关系;基于所述预设像素坐标系与所述GPS坐标系之间的预设对应关系,根据所述运动目标的GPS坐标,确定所述运动目标在所述第一图像帧中的所在区域。
可选的,第一确定模块320,还可以用于:所述获取所述第一图像帧中的预设像素坐标系与GPS坐标系之间的预设对应关系之前,确定样本图像中的目标像素点在所述预设像素坐标系中的像素坐标;所述样本图像是针对所述指定区域进行图像采集得到的;确定所述目标像素点对应的GPS坐标;根据所述目标像素点在所述预设像素坐标系中的像素坐标以及所述目标像素点对应的GPS坐标,建立所述预设像素坐标系与GPS坐标系之间的预设对应关系。
可选的,第二确定模块340,具体可以用于:获取所述第一图像帧的背景区域的质心的像素坐标;获取第二图像帧的背景区域的质心的像素坐标;所述第二图像帧是针对所述指定区域进行图像采集得到的,且所述第二图像帧的采集时刻早于所述第一图像帧的采集时刻;确定从所述第二图像帧的背景区域的质心的像素坐标到所述第一图像帧的背景区域的质心的像素坐标的位移向量。
可选的,第二确定模块340,具体可以用于:获取所述第一图像帧的背景区域的YCrCb颜色空间图像;计算所述YCrCb颜色空间图像中Y通道图像的质心的像素坐标。
可选的,第二确定模块340,具体可以用于:对所述Y通道图像进行划分,得到预设数量的子图像;根据每个所述子图像中的像素点的像素坐标及所述像素点的灰度值,计算所述子图像的质心的像素坐标;根据各个所述子图像的质心的像素坐标,确定所述Y通道图像的质心的像素坐标。
可选的,第二确定模块340,具体可以用于:计算所述预设数量的子图像的质心的横坐标的均值,得到所述Y通道图像的质心的横坐标;计算所述预设数量的子图像的质心的纵坐标的均值,得到所述Y通道图像的质心的纵坐标。
可选的,反向补偿模块350,具体可以用于:根据所述运动向量,反向平移所述第一图像帧的背景区域。
基于同样的思路,本说明书实施例还提供了上述方法对应的设备。
图4为本说明书实施例提供的对应于图2中方法的一种视频图像稳定处理设备的结构示意图。如图4所示,设备400可以包括:
至少一个处理器410;以及,
与至少一个处理器通信连接的存储器430;其中,
存储器430存储有可被至少一个处理器410执行的指令420,指令被至少一个处理器410执行,以使至少一个处理器410能够:
获取目标视频中的第一图像帧,所述第一图像帧是针对指定区域进行图像采集得到的;
根据在所述第一图像帧的采集时刻利用雷达传感器采集到的所述指定区域内的运动目标的位置信息,确定所述第一图像帧中运动目标的所在区域;
从所述第一图像帧中删除所述运动目标所在区域,得到所述第一图像帧的背景区域;
确定所述第一图像帧的背景区域的运动向量;
根据所述运动向量,对所述第一图像帧的背景区域进行反向补偿,得到稳定处理后图像。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于图4所示的设备而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字符***“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell UniversityProgramming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的***、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字符助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字符多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带式磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、***或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种视频图像稳定处理方法,其特征在于,包括:
获取目标视频中的第一图像帧,所述第一图像帧是针对指定区域进行图像采集得到的;
根据在所述第一图像帧的采集时刻利用雷达传感器采集到的所述指定区域内的运动目标的位置信息,确定所述第一图像帧中运动目标的所在区域;
从所述第一图像帧中删除所述运动目标所在区域,得到所述第一图像帧的背景区域;
确定所述第一图像帧的背景区域的运动向量;
根据所述运动向量,对所述第一图像帧的背景区域进行反向补偿,得到稳定处理后图像。
2.如权利要求1所述的方法,其特征在于,所述根据在所述第一图像帧的采集时刻利用雷达传感器采集到的所述指定区域内的运动目标的位置信息,确定所述第一图像帧中的运动目标所在区域,具体包括:
获取在所述第一图像帧的采集时刻利用雷达传感器采集到的所述指定区域内的运动目标的GPS坐标;
获取所述第一图像帧中的预设像素坐标系与GPS坐标系之间的预设对应关系;
基于所述预设像素坐标系与所述GPS坐标系之间的预设对应关系,根据所述运动目标的GPS坐标,确定所述运动目标在所述第一图像帧中的所在区域。
3.如权利要求2所述的方法,其特征在于,所述获取所述第一图像帧中的预设像素坐标系与GPS坐标系之间的预设对应关系之前,还包括:
确定样本图像中的目标像素点在所述预设像素坐标系中的像素坐标;所述样本图像是针对所述指定区域进行图像采集得到的;
确定所述目标像素点对应的GPS坐标;
根据所述目标像素点在所述预设像素坐标系中的像素坐标以及所述目标像素点对应的GPS坐标,建立所述预设像素坐标系与GPS坐标系之间的预设对应关系。
4.如权利要求1中所述的方法,其特征在于,所述确定所述第一图像帧的背景区域的运动向量,具体包括:
获取所述第一图像帧的背景区域的质心的像素坐标;
获取第二图像帧的背景区域的质心的像素坐标;所述第二图像帧是所述目标视频中针对所述指定区域进行图像采集得到的,且所述第二图像帧的采集时刻早于所述第一图像帧的采集时刻;
确定从所述第二图像帧的背景区域的质心的像素坐标到所述第一图像帧的背景区域的质心的像素坐标的位移向量。
5.如权利要求4中所述的方法,其特征在于,获取所述第一图像帧的背景区域的质心的像素坐标,具体包括:
获取所述第一图像帧的背景区域的YCrCb颜色空间图像;
计算所述YCrCb颜色空间图像中Y通道图像的质心的像素坐标。
6.如权利要求5中所述的方法,其特征在于,所述计算所述YCrCb颜色空间图像中的Y通道图像的质心的像素坐标,具体包括:
对所述Y通道图像进行划分,得到预设数量的子图像;
根据每个所述子图像中的像素点的像素坐标及所述像素点的灰度值,计算所述子图像的质心的像素坐标;
根据各个所述子图像的质心的像素坐标,确定所述Y通道图像的质心的像素坐标。
7.如权利要求6中所述的方法,其特征在于,所述子图像的质心的像素坐标包括:所述子图像的质心的横坐标与所述子图像的质心的纵坐标;
所述根据各个所述子图像的质心的像素坐标,确定所述Y通道图像的质心的像素坐标,具体包括:
计算所述预设数量的子图像的质心的横坐标的均值,得到所述Y通道图像的质心的横坐标;
计算所述预设数量的子图像的质心的纵坐标的均值,得到所述Y通道图像的质心的纵坐标。
8.如权利要求1所述的方法,其特征在于,所述根据所述运动向量,对所述第一图像帧进行反向补偿,具体包括:
根据所述运动向量,反向平移所述第一图像帧的背景区域。
9.一种视频图像稳定处理装置,其特征在于,包括:
第一获取模块,用于获取目标视频中的第一图像帧;所述第一图像帧是针对指定区域进行图像采集得到的;
第一确定模块,用于根据在所述第一图像帧的采集时刻利用雷达传感器采集到的所述指定区域内的运动目标的位置信息,确定所述第一图像帧中运动目标的所在区域;
删除模块,用于从所述第一图像帧中删除所述运动目标所在区域,得到所述第一图像帧的背景区域;
第二确定模块,用于确定所述第一图像帧的背景区域的运动向量;
反向补偿模块,用于根据所述运动向量,对所述第一图像帧的背景区域进行反向补偿,得到稳定处理后图像。
10.一种视频图像稳定处理设备,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够:
获取目标视频中的第一图像帧,所述第一图像帧是针对指定区域进行图像采集得到的;
根据在所述第一图像帧的采集时刻利用雷达传感器采集到的所述指定区域内的运动目标的位置信息,确定所述第一图像帧中运动目标的所在区域;
从所述第一图像帧中删除所述运动目标所在区域,得到所述第一图像帧的背景区域;
确定所述第一图像帧的背景区域的运动向量;
根据所述运动向量,对所述第一图像帧的背景区域进行反向补偿,得到稳定处理后图像。
CN202111441812.6A 2021-11-30 2021-11-30 视频图像稳定处理方法、装置及设备 Active CN114173058B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111441812.6A CN114173058B (zh) 2021-11-30 2021-11-30 视频图像稳定处理方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111441812.6A CN114173058B (zh) 2021-11-30 2021-11-30 视频图像稳定处理方法、装置及设备

Publications (2)

Publication Number Publication Date
CN114173058A CN114173058A (zh) 2022-03-11
CN114173058B true CN114173058B (zh) 2023-12-26

Family

ID=80481706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111441812.6A Active CN114173058B (zh) 2021-11-30 2021-11-30 视频图像稳定处理方法、装置及设备

Country Status (1)

Country Link
CN (1) CN114173058B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133969A (zh) * 2017-05-02 2017-09-05 中国人民解放***箭军工程大学 一种基于背景反投影的移动平台运动目标检测方法
CN109302545A (zh) * 2018-11-15 2019-02-01 深圳市炜博科技有限公司 视频稳像方法、装置及计算机可读存储介质
CN110401796A (zh) * 2019-07-05 2019-11-01 浙江大华技术股份有限公司 一种图像采集装置的抖动补偿方法和装置
CN111369469A (zh) * 2020-03-10 2020-07-03 北京爱笔科技有限公司 图像处理方法、装置及电子设备
CN112330531A (zh) * 2020-11-04 2021-02-05 广州博冠信息科技有限公司 图像处理方法、装置、电子设备及存储介质
CN112637500A (zh) * 2020-12-22 2021-04-09 维沃移动通信有限公司 图像处理方法及装置
WO2021115136A1 (zh) * 2019-12-10 2021-06-17 闻泰科技(深圳)有限公司 视频图像的防抖方法、装置、电子设备和存储介质
CN113486775A (zh) * 2021-07-02 2021-10-08 北京一维大成科技有限公司 一种目标追踪方法、***、电子设备及存储介质
CN113516680A (zh) * 2021-07-09 2021-10-19 南京荣新智能科技有限公司 一种移动背景下的运动目标跟踪与检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2384732B1 (es) * 2010-10-01 2013-05-27 Telefónica, S.A. Método y sistema para segmentación de primer plano de imágenes en tiempo real.
CN104519239A (zh) * 2013-09-29 2015-04-15 诺基亚公司 用于视频防抖的方法和装置
US20180293735A1 (en) * 2017-04-11 2018-10-11 Sony Corporation Optical flow and sensor input based background subtraction in video content

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133969A (zh) * 2017-05-02 2017-09-05 中国人民解放***箭军工程大学 一种基于背景反投影的移动平台运动目标检测方法
CN109302545A (zh) * 2018-11-15 2019-02-01 深圳市炜博科技有限公司 视频稳像方法、装置及计算机可读存储介质
CN110401796A (zh) * 2019-07-05 2019-11-01 浙江大华技术股份有限公司 一种图像采集装置的抖动补偿方法和装置
WO2021115136A1 (zh) * 2019-12-10 2021-06-17 闻泰科技(深圳)有限公司 视频图像的防抖方法、装置、电子设备和存储介质
CN111369469A (zh) * 2020-03-10 2020-07-03 北京爱笔科技有限公司 图像处理方法、装置及电子设备
CN112330531A (zh) * 2020-11-04 2021-02-05 广州博冠信息科技有限公司 图像处理方法、装置、电子设备及存储介质
CN112637500A (zh) * 2020-12-22 2021-04-09 维沃移动通信有限公司 图像处理方法及装置
CN113486775A (zh) * 2021-07-02 2021-10-08 北京一维大成科技有限公司 一种目标追踪方法、***、电子设备及存储介质
CN113516680A (zh) * 2021-07-09 2021-10-19 南京荣新智能科技有限公司 一种移动背景下的运动目标跟踪与检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
航拍图像序列的地面运动目标跟踪;崔武军;张桂林;;红外与激光工程(第01期);全文 *

Also Published As

Publication number Publication date
CN114173058A (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
US8417059B2 (en) Image processing device, image processing method, and program
CN111311709B (zh) 一种生成高精地图的方法及装置
CN111238450B (zh) 视觉定位方法及装置
CN112001456B (zh) 一种车辆定位方法、装置、存储介质及电子设备
CN114926514B (zh) 一种事件图像与rgb图像的配准方法及装置
CN111192303B (zh) 一种点云数据处理方法及装置
JPWO2017094140A1 (ja) 物体検出装置及び物体検出方法
US10540809B2 (en) Methods and apparatus for tracking a light source in an environment surrounding a device
JP2010226652A (ja) 画像処理装置、画像処理方法、および、コンピュータプログラム
CN114173058B (zh) 视频图像稳定处理方法、装置及设备
CN115235493B (zh) 一种基于矢量地图进行自动驾驶定位的方法及装置
CN111798489B (zh) 一种特征点跟踪方法、设备、介质及无人设备
CN112184901B (zh) 一种深度图确定方法及装置
CN111833384B (zh) 一种可见光和红外图像快速配准方法及装置
CN113643321A (zh) 一种无人驾驶设备的传感器数据采集方法及装置
CN112561961A (zh) 一种实例追踪的方法及装置
CN114612875A (zh) 目标检测方法、装置、存储介质及电子设备
CN111104908A (zh) 一种道路边沿确定方法及装置
CN113640823B (zh) 一种基于激光反射率底图进行地图绘制的方法及装置
CN113888611B (zh) 一种确定图像深度的方法、装置及存储介质
CN117078985B (zh) 一种景象匹配方法、装置、存储介质及电子设备
CN116597168B (zh) 车载激光点云与全景影像的匹配方法、装置、设备及介质
CN115128655B (zh) 自动驾驶车辆的定位方法和装置、电子设备和存储介质
CN113167578B (zh) 测距方法及装置
CN111160370B (zh) 车头位置估计方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant