CN114638856A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114638856A
CN114638856A CN202210224411.3A CN202210224411A CN114638856A CN 114638856 A CN114638856 A CN 114638856A CN 202210224411 A CN202210224411 A CN 202210224411A CN 114638856 A CN114638856 A CN 114638856A
Authority
CN
China
Prior art keywords
alignment module
current frame
module
foreground
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210224411.3A
Other languages
English (en)
Inventor
徐兴伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xiaopeng Autopilot Technology Co Ltd
Original Assignee
Guangzhou Xiaopeng Autopilot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xiaopeng Autopilot Technology Co Ltd filed Critical Guangzhou Xiaopeng Autopilot Technology Co Ltd
Priority to CN202210224411.3A priority Critical patent/CN114638856A/zh
Publication of CN114638856A publication Critical patent/CN114638856A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开一种图像处理方法、装置、电子设备及存储介质，该方法包括：将当前帧和过去帧输入至对齐模块；所述过去帧是时序上在所述当前帧之前的图像帧；所述对齐模块是图像处理模型中的处理模块，所述图像处理模型是利用样本数据进行训练得到的；通过所述对齐模块提取所述过去帧的第一前景区域；通过所述对齐模块确定所述第一前景区域相对于所述当前帧的移动偏移量；通过所述对齐模块根据所述移动偏移量对所述第一前景区域进行位置转移处理，得到与所述当前帧位置对齐的第二前景区域。实施本申请实施例，能够减少图像处理模型进行特征对齐操作时的计算量，从而降低模型的学习难度，提高特征对齐的准确性。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，具体涉及图像处理方法、装置、电子设备及存储介质。
背景技术
基于视觉的自动驾驶方案，往往需要对车辆拍摄到的图像进行处理，以将图像中的信息转换成车辆的处理器可以理解的数据。车辆一般是在行驶的过程中对周边路况进行持续拍摄，因此拍摄得到的图像中无论前景区域还是背景区域都会呈现运动状态。此时，一般需要对连续图像中的运动目标进行特征对齐，以便于进行后续的图像处理操作。
在现有技术中，可通过机器学习方法对神经网络、分类器等图像处理模型进行训练，并利用训练后的模型对连续图像中的运动目标进行特征对齐。然而，在实践中发现，当前基于图像处理模型的特征对齐方法计算量较大，容易导致模型学习难度过大，特征对齐错误率较高等问题。
发明内容
本申请实施例公开了一种图像处理方法、装置、电子设备及存储介质，能够减少图像处理模型进行特征对齐操作时的计算量，从而降低模型的学习难度，提高特征对齐的准确性。
本申请实施例一种图像处理方法，所述方法包括：
将当前帧和过去帧输入至对齐模块；所述过去帧是时序上在所述当前帧之前的图像帧；所述对齐模块是图像处理模型中的处理模块，所述图像处理模型是利用样本数据进行训练得到的；
通过所述对齐模块提取所述过去帧的第一前景区域；
通过所述对齐模块确定所述第一前景区域相对于所述当前帧的移动偏移量；
通过所述对齐模块根据所述移动偏移量对所述第一前景区域进行位置转移处理，得到与所述当前帧位置对齐的第二前景区域。
在一个实施例中，所述通过所述对齐模块提取所述过去帧的第一前景区域，包括：
通过所述对齐模块，以所述当前帧为参考识别所述过去帧的前景掩膜；
通过所述对齐模块利用所述前景掩膜从所述过去帧中提取出第一前景区域。
在一个实施例中，所述通过所述对齐模块以所述当前帧为参考，识别所述过去帧的第一前景区域，包括：
基于光流法对所述当前帧和所述过去帧进行处理，以识别出所述过去帧的前景掩膜；
或者，所述对齐模块包括：分类层；所述通过所述对齐模块，以所述当前帧为参考识别所述过去帧的前景掩膜，包括：
通过所述分类层对所述过去帧和所述当前帧进行处理，以识别出所述过去帧的前景掩膜。
在一个实施例中，所述对齐模块包括：卷积层；所述通过所述对齐模块确定所述第一前景区域相对于所述当前帧的移动偏移量，包括：
对所述第一前景区域与所述当前帧进行张量串联，并将张量串联后得到串联图像输入至所述卷积层；所述卷积层是利用所述样本数据进行训练得到的；
通过所述卷积层对所述串联图像进行处理，以确定所述第一前景区域相对于所述当前帧的移动偏移量。
在一个实施例中，在所述将当前帧和过去帧输入至对齐模块之后，所述方法还包括：
通过所述对齐模块提取所述过去帧的第一背景区域；
以及，在所述通过所述对齐模块根据所述移动偏移量对所述第一前景区域进行位置转移处理，得到与所述当前帧位置对齐的第二前景区域之后，所述方法还包括：
通过所述对齐模块抑制所述第一背景区域中被所述第二前景区域覆盖的像素点，得到第二背景区域；
通过所述对齐模块合并所述第二前景区域和所述第二背景区域，得到与所述当前帧对齐的特征图。
在一个实施例中，所述通过所述对齐模块抑制所述第一背景区域中被所述第二前景区域覆盖的像素点，得到第二背景区域，包括：
通过所述对齐模块根据所述第一背景区域包括的各个背景像素点的图像位置，以及所述第二前景区域包括的各个前景像素点的图像位置，确定所述第一前景区域中被所述第二前景区域覆盖的像素点；
通过所述对齐模块在所述第一背景区域中清空被覆盖的像素点对应的像素值，得到第二背景区域。
在一个实施例中，所述图像处理模型还包括：时序循环模块和延迟模块；以及，所述将当前帧和过去帧输入至对齐模块，包括：
在所述时序循环模块对输入的第一特征图进行处理，得到第二特征图之后，将所述时序循环模块在第一时刻输出的所述第二特征图输入至所述延迟模块；
将所述延迟模块在第二时刻输出的所述第二特征图作为过去帧输入至所述对齐模块，同时将在所述第二时刻获取到的当前帧输入至所述对齐模块；所述第二时刻在是时序上处于所述第一时刻之后；
以及，在所述通过所述对齐模块根据所述移动偏移量对所述第一前景区域进行位置转移处理，得到与所述当前帧位置对齐的第二前景区域之后，所述方法还包括：
将所述第二前景区域作为第一特征图输入至所述时序循环模块。
本申请实施例公开一种图像处理装置，包括：
输入单元，用于将当前帧和过去帧输入至对齐模块；所述过去帧是时序上在所述当前帧之前的图像帧；所述对齐模块是图像处理模型中的处理模块，所述图像处理模型是利用样本数据进行训练得到的；
提取单元，用于通过所述对齐模块提取所述过去帧的第一前景区域；
确定单元，用于通过所述对齐模块确定所述第一前景区域相对于所述当前帧的移动偏移量；
位移单元，用于通过所述对齐模块根据所述移动偏移量对所述第一前景区域进行位置转移处理，得到与所述当前帧位置对齐的第二前景区域。
本申请实施例公开一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现本申请实施例公开的任意一种图像处理方法。
本申请实施例公开一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例公开的任意一种图像处理方法。
与相关技术相比，本申请实施例具有以下有益效果：
通过图像处理模型的对齐模块，可以提取过去帧的第一前景区域，并确定第一前景区域相对于当前帧的移动偏移量，从而可以基于移动偏移量对第一前景区域进行位置转移处理，得到与当前帧位置对齐的第二对齐区域。也就是说，对齐模块可以使得图像处理模型专注于计算前景区域的移动偏移量，而非直接对图像中的所有区域都进行偏移量计算，从而可以减少图像处理模型的计算量，降低模型的学习难度，提高特征对齐的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A是一个实施例公开的一种经典循环模块的结构示意图；
图1B是一个实施例公开的一种包括对齐模块的图像处理模型的结构示意图；
图2是一个实施例公开的一种图像处理方法的方法流程示意图；
图3是一个实施例公开的另一种图像处理方法的方法流程示意图；
图4是一个实施例公开的另一种图像处理方法的示例图；
图5是一个实施例公开的一种图像处理装置的结构示意图；
图6是一个实施例公开的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例公开了一种图像处理方法、装置、电子设备及存储介质，能够减少图像处理模型进行特征对齐操作时的计算量，从而降低模型的学习难度，提高特征对齐的准确性。以下分别进行详细说明。
首先，对本申请实施例公开的图像处理模型进行介绍。本申请实施例公开的图像处理模型可包括对齐模块与任意一种现有的神经网络模块。对齐模块用于对当前帧和过去帧进行特征对齐，当前帧和过去帧可以是车辆的摄像装置拍摄到的任意两帧在时序上存在关联的图像帧，过去帧在时序上处于当前帧之前。
在一些实施例中，上述的任意一种现有的神经网络模块可包括时序循环模块与延迟模块。时序循环模块可以是RNN、LSTM、GRU等网络模块或者他们的变体，延迟模块可用于将输入的图像帧延迟一个或多个时间步的步长之后输出。也就是说，本申请实施例公开的图像处理模型可以在现有的神经网络结构上额外增加一个对齐模块，对齐模块可***任意一种现有的视频检测、目标识别模型，不需要修改已有神经网络模型的大部分模型结构。
示例性的，请参阅图1A，图1A是一个实施例公开的一种经典循环模块的结构示意图。如图1A所示，经典循环结构可包括延迟模块110和时序循环模块120。
其中，图1A所示的xt是t时刻的特征图，ht-1是t-1时刻的特征图，t可为大于或等于1的正整数。即，xt可作为当前帧，ht-1可作为过去帧，可以是延迟单元110输出的。
在经典循环模块中，当前帧xt和过去帧ht-1可以输入至时序循环模块120中，由时序循环模型120对当前帧xt和过去帧ht-1进行目标检测、目标提取、目标识别等一种或多种图像处理操作，并输出特征图ht，特征图ht可进一步输入至延迟单元110，延迟单元110可以延迟一个时间步(Time Step)的步长之后输出特征图ht，作为t+1时刻的过去帧。
请参阅图1B，图1B是一个实施例公开的一种包括对齐模块的图像处理模型的结构示意图。如图1B所示，可以在如图1A所示的延迟模块110和时序循环模块120之间***对齐模块130。
在图1B所示的图像处理模块中，延迟单元110输出的特征图ht-1可作为过去帧输入至对齐模块130中，同时，当前帧xt也可输入至对齐模块130中。对齐模块130可对当前帧xt和过去帧ht-1进行特征对齐处理，得到对齐后的特征图h′t-1。特征对齐后的特征图h′t-1以及当前帧xt可进一步输入至时序循环模块120中，由时序循环模块120对特征对齐后的特征图h′t-1和当前帧xt进行目标检测、目标提取、目标识别等一种或多种图像处理操作。
以上为本申请实施例公开的包括对齐模块的图像处理模型的一种示例，需要说明的是，在一些可能的实施例中，图像处理模型也可仅用于执行特征对齐任务，可以只包括对齐模块。
基于前述的图像处理模型，以下内容对本申请实施例公开的图像处理方法进行介绍。请参阅图2，图2是一个实施例公开的一种图像处理方法的方法流程示意图。该方法可应用于存储有前述图像处理模型的任意一种电子设备，例如车辆的处理器、个人电脑等，具体不做限定。如图2所示，该图像处理方法可包括以下步骤：
210、将当前帧和过去帧输入至对齐模块。
在一些实施例，当前帧和过去帧可以是车辆的摄像装置采集到的任意两帧在时序上存在关联的图像帧。
在另一些可能的实施例中，当前帧和过去帧也可以是图像处理模型中除对齐模块以外的其它处理模块输出的特征图。例如，当前帧可以是对齐模块的上游处理模块输出的特征图，过去帧可以是图像处理模型中的延迟模块输出的特征图。
示例性的，可继续参阅前述的图1B。在第一时刻(t-1时刻)，时序循环模块可输出第二特征图，该第二特征图是时序循环模块对输入的第一特征图进行处理后得到的。第一特征图可包括图1B所示的对齐模块在t-2时刻输出的特征对齐后的特征图h′t-2，以及与第一时刻(t-1时刻)对应的当前帧xt-1。
延迟模块在等待一个时间步的步长之后，可以在第二时刻(t时刻)输出第二特征图。延迟模块在第二时刻(t时刻)输出的第二特征图可作为与t时刻对应的过去帧ht-1。
220、通过对齐模块提取过去帧的第一前景区域。
在自动驾驶的应用场景中，前景区域一般包括汽车、自行车、行人等车辆需要留意或者躲避的目标，而背景区域一般包括道路、楼房、树木等。
在一些实施例中，对齐模块可对过去帧本身进行检测和识别，以提取出第一前景区域。例如，对齐模块可对过去帧进行汽车、自行车、行人等目标进行识别，以将汽车、自行车、行人等目标在过去帧中的图像区域识别为第一前景区域；或者，对齐模块也可以识别过去帧中像素点的深度，将深度值小于深度阈值的图像区域识别为第一前景区域。
在另一些实施例中，对齐模块以当前帧为参考，结合当前帧从过去帧中提取出第一前景区域。例如，汽车、自行车、行人等属于前景区域的物体往往也是移动的，而楼房、道路等属于背景区域的物体往往是静止的。因此，前景区域的物体在当前帧和过去帧的位置偏移可能小于背景区域的物体在当前帧和过去帧的位置偏移。对齐模块可通过当前帧和过去帧的对比，识别出过去帧的第一前景区域。
其中，对齐模块可先以当前帧为参考识别过去帧的前景掩膜，前景掩膜可用于指示第一前景区域在过去帧中的图像位置。因此，对齐模块可进一步利用前景掩膜从过去帧中提取出第一前景区域。
示例性的，对齐模块从过去帧中提取出第一前景区域，可通过以下公式进行表示：
hfore＝maskfore·ht-1；公式(1)
其中，hfore可用于表示第一前景区域，maskfore可用于表示前景掩膜，ht-1可用于表示过去帧。
作为一种可选的实施方式，对齐模块可包括分类层。分类层可以是神经网络中的一种网络层，可通过Sigmoid函数、Softmax函数等分类函数实现。分类层可包括一个或多个学习参数，利用样本数据对图像处理模型进行训练的过程可包括对分类层中的各个学习参数进行调整。在图像处理模型的训练结束时，分类层中的学习参数使得分类层能够准确地以当前帧为参考，识别出过去帧的前景掩膜。
示例性的，对齐模块通过分类层对过去帧和当前帧进行处理，以识别出过去帧的前景掩膜的操作可通过以下公式进行表示：
maskfore＝σ(U1xt+W1ht-1+b1)；公式(2)；
其中，maskfore可用于表示前景掩膜，σ(·)可用于表示Sigmoid函数，xt可用于表示当前帧，ht-1可用于表示过去帧；U1、W1可用于表示分类层中的学习参数，b1可用于表示偏置项。
作为另一种可选的实施方式，对齐模块也可通过非机器学习的方式识别过去帧的前景掩膜。例如，可通过光流法对过去帧和当前帧进行处理，以识别出过去帧的前景掩膜。光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。
因此，对齐模块可通过光流法识别出当前帧和过去帧之间的对应关系，从而识别出当前帧和过去帧之间的运动物体，并根据运动物体在过去帧中的图像位置确定过去帧的前景掩膜。
示例性的，对齐模块通过光流法对过去帧和当前帧进行处理，以识别出过去帧的前景掩膜的操作可通过以下公式进行表示：
maskfore＝optical_flow(ht-1,xt)；公式(3)；
其中，maskfore可用于表示前景掩膜，optical_flow(·)可用于表示光流法，xt可用于表示当前帧，ht-1可用于表示过去帧。
230、通过对齐模块确定第一前景区域相对于当前帧的移动偏移量。
在本申请实施例中，第一前景区域相对于当前帧的偏移量是指，过去帧中前景区域的每个像素点相对于当前帧中对应的像素点的位置偏移量。
作为一种可选的实施方式，对齐模块可包括卷积层，卷积层可以是神经网络中的一种网络层，可用于进行卷积操作。卷积层也可包括一种或多种学习参数，利用样本数据对图像处理模型进行训练的过程也可包括对卷积层中的各个学习参数进行调整。在图像处理模型的训练结束时，卷积层中的学习参数使得卷积层能够准确地计算出过去帧中前景区域的每个像素点相对于当前帧中对应的像素点的位置偏移量。
因此，对齐模块可以先对从过去帧中提取出第一前景区域与当前帧进行张量串联，得到串联图像；再将串联图像输入至卷积层，通过卷积层对所述串联图像进行处理，以确定第一前景区域相对于当前帧的移动偏移量。
示例性的，对齐模块通过对齐模块确定第一前景区域相对于当前帧的移动偏移量可通过以下公式进行表示：
offset＝Conv(Concat([hfore,xt]))；公式(4)；
其中，offset可用于表示移动偏移量，Conv(·)可用于表示卷积层，Concat(·)可用于表示张量串联的操作，hfore可用于表示第一前景区域，xt可用于表示当前帧。
240、通过对齐模块根据移动偏移量对第一前景区域进行位置转移处理，得到与当前帧位置对齐的第二前景区域。
在本申请实施例中，根据移动偏移量对第一前景区域进行位置转移处理，可指通过仿射变换、插值运算、扭曲运算等操作，按照移动偏移量对第一前景区域中的各个像素点进行位置转移。转移后得到的第二前景区域的图像位置与第二前景区域包括的图像内容在当前帧中的图像位置相同或相似，即第二前景区域与当前帧位置对齐。
示例性的，对齐模块根据移动偏移量对第一前景区域进行位置转移处理的操作可通过以下公式进行表示：
h′fore＝Warp(hfore,offset)； 公式(5)；
其中，h′fore可用于表示第二前景区域，Warp(·)可用于表示扭曲运算，hfore可用于表示第一前景区域，offset可用于表示移动偏移量。
综上所述，基于前述实施例公开的包括对齐模块的图像处理模型，以及前述实施例公开的图像处理方法，可以准确识别前景区域，并使图像处理模型更关注于前景区域的偏移量计算，而非直接对图像中的所有区域都进行偏移量计算，从而可以减少图像处理模型的计算量，降低模型的学习难度，提高特征对齐的准确性。并且，对齐模块可以方便地***任意一种已有的图像处理模型，对图像处理模型原有的网络结构修改较小，能够达到即插即用的效果。
此外，在自动驾驶等应用场景中，实际上更关心前景区域，背景区域的重要性相对而言低于前景区域的重要性。因此，即使只计算前景区域的偏移量，对当前帧和过去帧的前景区域进行对齐，对基于视觉的自动驾驶方案的安全性影像也较低。
请参阅图3，图3是一个实施例公开的另一种图像处理方法的方法流程示意图。该方法可应用于存储有前述图像处理模型的任意一种电子设备。如图3所示，该图像处理方法可包括以下步骤：
310、将当前帧和过去帧输入至对齐模块。
320、通过对齐模块提取过去帧的第一前景区域和第一背景区域。
在本申请实施例中，对齐模块除了可以提取过去帧的前景区域，还可提取过去帧的背景区域。
作为一种可选的实施方式，对齐模块可以在提取出第一前景区域之后，将过去帧中除第一前景区域以外的其余图像区域确定为第一背景区域。
其中，对齐模块可以先以当前帧为参考识别过去帧的前景掩膜，并利用前景掩膜从过去帧中提取出第一前景区域。相应地，对齐模块可对前景掩膜取反，得到过去帧的背景掩膜，背景掩膜可用于指示背景区域在过去帧中的图像位置，从而可以利用背景掩膜从过去帧中提取出第一背景区域。
示例性的，对齐模块从过去帧中提取出第一背景区域，可通过以下公式进行表示：
hback＝(1-maskfore)·ht-1； 公式(6)；
其中，hback可用于表示第一背景区域，maskfore可用于表示前景掩膜，ht-1可用于表示过去帧。
330、通过对齐模块确定第一前景区域相对于当前帧的移动偏移量。
340、通过对齐模块根据移动偏移量对第一前景区域进行位置转移处理，得到与当前帧位置对齐的第二前景区域。
步骤330-步骤340的实施方式可参见前述的步骤230-步骤240，以下内容不再赘述。
350、通过对齐模块抑制第一背景区域中被第二前景区域覆盖的像素点，得到第二背景区域。
在本申请实施例中，抑制第一背景区域中被第二前景区域覆盖的像素点可指降低或清空第一背景区域中被第二前景区域覆盖的像素点对应的像素值。
作为一种可选的实施方式，对齐模块可根据第一背景区域包括的各个背景像素点的图像位置，以及第二前景区域包括的各个前景像素点的图像位置，确定第一前景区域中被所述第二前景区域覆盖的像素点。例如，若某一背景像素点与某一前景像素点的图像位置相同，则该背景像素点是第一背景区域中被第二背景区域覆盖的像素点。进一步地，对齐模块可以清空第一背景区域被覆盖地像素点对应的像素值，得到第二背景区域。
示例性的，对齐模块抑制第一背景区域中被第二前景区域覆盖的像素点的操作可通过以下公式进行表示：
mask′fore＝Warp(maskfore,offset)； 公式(7)；
h′back＝(1-mask′fore)·hback； 公式(8)；
其中，h′back可用于表示第二背景区域，hback可用于表示第一背景区域，Warp(·)可用于表示扭曲运算，hfore可用于表示第一前景区域，offset可用于表示移动偏移量。mask′fore可用于表示位置偏移之后的前景掩膜，可相当于第二前景区域。
360、通过对齐模块合并第二前景区域和第二背景区域，得到与当前帧对齐的特征图。
在本申请实施例中，合并第二前景区域和第二背景区域可指将第二前景区域和第二背景区域进行叠加，叠加后得到的图像为与当前帧对齐的特征图。
示例性的，合并第二前景区域和第二背景区域的操作可通过以下公式进行表示：
h′t-1＝h′fore+h′back； 公式(9)；
其中，h′t-1可用于表示叠加后得到的特征图，h′fore可用于表示第二前景区域，h′back可用于表示第二背景区域。
可见，在前述实施例中，对齐模块在计算出前景区域在当前帧和过去帧之间的移动偏移量之后，可以进一步根据移动偏移量将当前帧和过去帧的前景区域和背景区域对齐，可以提高特征对齐的准确性。若基于特征对齐后得到的特征图进行后续的目标检测、目标识别等图像处理操作，前景区域和背景区域均对齐的特征图可以提高后续的图像处理操作的性能。
为了更清楚地说明本申请实施例公开的图像处理方法。示例性的，请参阅图4，图4是一个实施例公开的另一种图像处理方法的示例图。如图4所示，首先，对齐模块可先基于当前帧xt和过去帧ht-1区分前景区域和背景区域，得到过去帧的第一前景区域hfore和第一背景区域hback。然后，可根据第一前景区域hfore计算移动偏移量offset。利用移动偏移量offset可对第一前景区域进行位置转移处理，得到第二前景区域h′fore；同时，利用移动偏移量offset抑制第一背景区域hback中的部分像素点，得到第二背景区域h′back。最后，合并第二前景区域h′fore和第二背景区域h′back，得到与当前帧特征对齐的特征图h′t-1。
在一些实施例中，若图像处理模型包括时序循环模块，则对齐模块输出的特征图h′t-1可以与t时刻的当前帧xt作为输入至时序循环模块的第一特征图，由时序循环模块对特征图h′t-1和当前帧xt进行处理。
此外，在另一些实施例中，若对齐模块输出的是第二前景区域h′fore，也可以将第二前景区域h′fore与t时刻的当前帧xt作为输入至时序循环模块的第一特征图，由时序循环模块对第二前景区域h′fore和当前帧xt进行处理。
请参阅图5，图5是一个实施例公开的一种图像处理装置的结构示意图，该图像处理装置可应用于前述的任意一种电子设备。如图5所示，图像处理装置500可包括：输入单元510、提取单元520、确定单元530和位移单元540。
输入单元510，可用于将当前帧和过去帧输入至对齐模块；过去帧是时序上在当前帧之前的图像帧；对齐模块是图像处理模型中的处理模块，图像处理模型是利用样本数据进行训练得到的；
提取单元520，可用于通过对齐模块提取过去帧的第一前景区域；
确定单元530，可用于通过对齐模块确定第一前景区域相对于当前帧的移动偏移量；
位移单元540，可用于通过对齐模块根据移动偏移量对第一前景区域进行位置转移处理，得到与当前帧位置对齐的第二前景区域。
在一个实施例中，提取单元520，还可用于通过对齐模块，以当前帧为参考识别过去帧的前景掩膜；通过对齐模块利用前景掩膜从过去帧中提取出第一前景区域。
可选的，提取单元520，还可用于基于光流法对当前帧和过去帧进行处理，以识别出过去帧的前景掩膜。
可选的，对齐模块可包括分类层；提取单元520，还可用于通过分类层对过去帧和当前帧进行处理，以识别出过去帧的前景掩膜。
在一个实施例中，提取单元520，还可用于通过对齐模块提取过去帧的第一背景区域；
位移单元540，还可用于通过对齐模块抑制第一背景区域中被第二前景区域覆盖的像素点，得到第二背景区域；
以及，图像处理装置500还可包括：合并单元。
合并单元，可用于通过对齐模块合并第二前景区域和第二背景区域，得到与当前帧对齐的特征图。
在一个实施例中，位移单元540，还可用于通过对齐模块根据第一背景区域包括的各个背景像素点的图像位置，以及第二前景区域包括的各个前景像素点的图像位置，确定第一前景区域中被第二前景区域覆盖的像素点；以及，通过对齐模块在第一背景区域中清空被覆盖的像素点对应的像素值，得到第二背景区域。
在一个实施例中，图像处理模型还包括：时序循环模块和延迟模块。
输入单元510，还可用于在时序循环模块对输入的第一特征图进行处理，得到第二特征图之后，将时序循环模块在第一时刻输出的第二特征图输入至延迟模块；以及，将延迟模块在第二时刻输出的第二特征图作为过去帧输入至对齐模块，同时将在第二时刻获取到的当前帧输入至对齐模块；第二时刻在是时序上处于第一时刻之后。
输入单元510，还可用于在位移单元540通过对齐模块根据移动偏移量对第一前景区域进行位置转移处理，得到与当前帧位置对齐的第二前景区域之后，将第二前景区域作为第一特征图输入至时序循环模块。
可见，实施前述的图像处理装置，可以通过包括对齐模块的图像处理模型准确识别前景区域，并使图像处理模型更关注于前景区域的偏移量计算，而非直接对图像中的所有区域都进行偏移量计算，从而可以减少图像处理模型的计算量，降低模型的学习难度，提高特征对齐的准确性。
请参阅图6，图6是一个实施例公开的一种电子设备的结构示意图。如图6所示，该电子设备可以包括：
存储有可执行程序代码的存储器610；
与存储器610耦合的处理器620；
其中，处理器620调用存储器610中存储的可执行程序代码，执行本申请实施例公开的任意一种图像处理方法。
本申请实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行本申请实施例公开的任意一种图像处理方法。
本申请实施例公开一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行本申请实施例公开的任意一种图像处理方法。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在本申请的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本申请的各个实施例上述方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本申请实施例公开的图像处理方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
将当前帧和过去帧输入至对齐模块；所述过去帧是时序上在所述当前帧之前的图像帧；所述对齐模块是图像处理模型中的处理模块，所述图像处理模型是利用样本数据进行训练得到的；
通过所述对齐模块提取所述过去帧的第一前景区域；
通过所述对齐模块确定所述第一前景区域相对于所述当前帧的移动偏移量；
通过所述对齐模块根据所述移动偏移量对所述第一前景区域进行位置转移处理，得到与所述当前帧位置对齐的第二前景区域。
2.根据权利要求1所述的方法，其特征在于，所述通过所述对齐模块提取所述过去帧的第一前景区域，包括：
通过所述对齐模块，以所述当前帧为参考识别所述过去帧的前景掩膜；
通过所述对齐模块利用所述前景掩膜从所述过去帧中提取出第一前景区域。
3.根据权利要求2所述的方法，其特征在于，所述通过所述对齐模块以所述当前帧为参考，识别所述过去帧的第一前景区域，包括：
基于光流法对所述当前帧和所述过去帧进行处理，以识别出所述过去帧的前景掩膜；
或者，所述对齐模块包括：分类层；所述通过所述对齐模块，以所述当前帧为参考识别所述过去帧的前景掩膜，包括：
通过所述分类层对所述过去帧和所述当前帧进行处理，以识别出所述过去帧的前景掩膜。
4.根据权利要求1所述的方法，其特征在于，所述对齐模块包括：卷积层；所述通过所述对齐模块确定所述第一前景区域相对于所述当前帧的移动偏移量，包括：
对所述第一前景区域与所述当前帧进行张量串联，并将张量串联后得到串联图像输入至所述卷积层；所述卷积层是利用所述样本数据进行训练得到的；
通过所述卷积层对所述串联图像进行处理，以确定所述第一前景区域相对于所述当前帧的移动偏移量。
5.根据权利要求1-4任一项所述的方法，其特征在于，在所述将当前帧和过去帧输入至对齐模块之后，所述方法还包括：
通过所述对齐模块提取所述过去帧的第一背景区域；
以及，在所述通过所述对齐模块根据所述移动偏移量对所述第一前景区域进行位置转移处理，得到与所述当前帧位置对齐的第二前景区域之后，所述方法还包括：
通过所述对齐模块抑制所述第一背景区域中被所述第二前景区域覆盖的像素点，得到第二背景区域；
通过所述对齐模块合并所述第二前景区域和所述第二背景区域，得到与所述当前帧对齐的特征图。
6.根据权利要求5所述的方法，其特征在于，所述通过所述对齐模块抑制所述第一背景区域中被所述第二前景区域覆盖的像素点，得到第二背景区域，包括：
通过所述对齐模块根据所述第一背景区域包括的各个背景像素点的图像位置，以及所述第二前景区域包括的各个前景像素点的图像位置，确定所述第一前景区域中被所述第二前景区域覆盖的像素点；
通过所述对齐模块在所述第一背景区域中清空被覆盖的像素点对应的像素值，得到第二背景区域。
7.根据权利要求1-4任一项所述的方法，其特征在于，所述图像处理模型还包括：时序循环模块和延迟模块；以及，所述将当前帧和过去帧输入至对齐模块，包括：
在所述时序循环模块对输入的第一特征图进行处理，得到第二特征图之后，将所述时序循环模块在第一时刻输出的所述第二特征图输入至所述延迟模块；
将所述延迟模块在第二时刻输出的所述第二特征图作为过去帧输入至所述对齐模块，同时将在所述第二时刻获取到的当前帧输入至所述对齐模块；所述第二时刻在是时序上处于所述第一时刻之后；
以及，在所述通过所述对齐模块根据所述移动偏移量对所述第一前景区域进行位置转移处理，得到与所述当前帧位置对齐的第二前景区域之后，所述方法还包括：
将所述第二前景区域作为第一特征图输入至所述时序循环模块。
8.一种图像处理装置，其特征在于，包括：
输入单元，用于将当前帧和过去帧输入至对齐模块；所述过去帧是时序上在所述当前帧之前的图像帧；所述对齐模块是图像处理模型中的处理模块，所述图像处理模型是利用样本数据进行训练得到的；
提取单元，用于通过所述对齐模块提取所述过去帧的第一前景区域；
确定单元，用于通过所述对齐模块确定所述第一前景区域相对于所述当前帧的移动偏移量；
位移单元，用于通过所述对齐模块根据所述移动偏移量对所述第一前景区域进行位置转移处理，得到与所述当前帧位置对齐的第二前景区域。
9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至7任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一所述的方法。
CN202210224411.3A 2022-03-09 2022-03-09 图像处理方法、装置、电子设备及存储介质 Pending CN114638856A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210224411.3A CN114638856A (zh) 2022-03-09 2022-03-09 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210224411.3A CN114638856A (zh) 2022-03-09 2022-03-09 图像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114638856A true CN114638856A (zh) 2022-06-17

Family

ID=81946874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210224411.3A Pending CN114638856A (zh) 2022-03-09 2022-03-09 图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114638856A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1756312A (zh) * 2004-09-30 2006-04-05 中国科学院计算技术研究所 一种具有运动前景的视频合成方法
US20140132786A1 (en) * 2012-11-12 2014-05-15 Behavioral Recognition Systems, Inc. Image stabilization techniques for video surveillance systems
CN108510560A (zh) * 2018-04-11 2018-09-07 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备
CN109949335A (zh) * 2017-12-20 2019-06-28 华为技术有限公司 一种图像处理方法及装置
CN111353385A (zh) * 2020-01-23 2020-06-30 广东工业大学 一种基于掩膜对齐与注意力机制的行人再识别方法和装置
CN111709979A (zh) * 2020-05-15 2020-09-25 北京百度网讯科技有限公司 图像对齐的方法、装置、电子设备和存储介质
WO2020193703A1 (en) * 2019-03-28 2020-10-01 Interdigital Ce Patent Holdings Techniques for detection of real-time occlusion

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1756312A (zh) * 2004-09-30 2006-04-05 中国科学院计算技术研究所 一种具有运动前景的视频合成方法
US20140132786A1 (en) * 2012-11-12 2014-05-15 Behavioral Recognition Systems, Inc. Image stabilization techniques for video surveillance systems
CN109949335A (zh) * 2017-12-20 2019-06-28 华为技术有限公司 一种图像处理方法及装置
CN108510560A (zh) * 2018-04-11 2018-09-07 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质和计算机设备
WO2020193703A1 (en) * 2019-03-28 2020-10-01 Interdigital Ce Patent Holdings Techniques for detection of real-time occlusion
CN111353385A (zh) * 2020-01-23 2020-06-30 广东工业大学 一种基于掩膜对齐与注意力机制的行人再识别方法和装置
CN111709979A (zh) * 2020-05-15 2020-09-25 北京百度网讯科技有限公司 图像对齐的方法、装置、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蔡旭航等: "基于法线感知邻域的Kinect深度图修复算法", 《电子技术与软件工程》, no. 11, 31 December 2021 (2021-12-31), pages 142 - 144 *

Similar Documents

Publication Publication Date Title
US11176381B2 (en) Video object segmentation by reference-guided mask propagation
CN111814621B (zh) 一种基于注意力机制的多尺度车辆行人检测方法及装置
CN104392468B (zh) 基于改进视觉背景提取的运动目标检测方法
CN108388879B (zh) 目标的检测方法、装置和存储介质
CN108960211B (zh) 一种多目标人体姿态检测方法以及***
CN109791603B (zh) 通过预测对象的运动来捕获机动车辆的环境区域中的对象的方法、摄像机***以及机动车辆
JP2018523877A (ja) オブジェクト追跡のためのシステムおよび方法
CN112132156A (zh) 多深度特征融合的图像显著性目标检测方法及***
CN107944403B (zh) 一种图像中的行人属性检测方法及装置
US11804026B2 (en) Device and a method for processing data sequences using a convolutional neural network
KR101901487B1 (ko) 저사양 영상 기기에서의 실시간 객체 추적 시스템 및 방법
CN105741319B (zh) 基于盲目更新策略和前景模型的改进视觉背景提取方法
CN113343985B (zh) 车牌识别方法和装置
CN103093198A (zh) 一种人群密度监测方法及装置
CN115375736A (zh) 一种基于图像的行人轨迹跟踪方法和装置
CN114359669A (zh) 图片分析模型调整方法、装置以及计算机可读存储介质
US20070223785A1 (en) Image processor and method
CN113256683B (zh) 目标跟踪方法及相关设备
Tsai et al. Joint detection, re-identification, and LSTM in multi-object tracking
US20230237811A1 (en) Object detection and tracking
CN116434156A (zh) 目标检测方法、存储介质、路侧设备及自动驾驶***
CN114638856A (zh) 图像处理方法、装置、电子设备及存储介质
CN113221604B (zh) 目标识别方法、装置、存储介质及电子设备
CN114820699A (zh) 多目标跟踪方法、装置、设备及介质
JP2020181268A (ja) 物体対応付け装置、物体対応付けシステム、物体対応付け方法及びコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination