CN115272417A - 图像数据的处理方法、图像处理设备以及可读存储介质 - Google Patents

Abstract

本发明涉及数字图像处理技术领域，尤其涉及一种图像数据的处理方法、图像处理设备以及可读存储介质，其中，所述方法包括：获取相机采集的第一画面帧和第二画面帧；确定所述第一画面帧中各个物体的轮廓坐标，以及确定第一画面帧和所述第二画面帧之间所述各个物体的像素质心；根据所述轮廓坐标和/或所述像素质心，确定所述各个物体中的运动物体。通过确定画面中物体的轮廓坐标和像素质心，根据轮廓坐标和/或像素质心判断物体是否为动态物体，从而剔除图像中动态物体对后续算法的干扰，提升了定位的精确度的同时减少了对后续算法的计算量，解决了如何判断并剔除静态图像中的动态物体的问题。

Description

图像数据的处理方法、图像处理设备以及可读存储介质

技术领域

本发明涉及数字图像处理技术领域，尤其涉及一种图像数据的处理方法、图像处理设备以及可读存储介质。

背景技术

在当前的VR(Virtual Reality，虚拟现实)、AR(Augmented Reality，增强现实)领域的SLAM(Simultaneous Localization And Mapping，即时定位与地图构建)算法中，相机和IMU(Inertial Measurement Unit，惯性测量单元)之间联合构成的VIO(Visual-Inertial Odometry，视觉惯性里程计)追踪模式是一种比较普遍的实现方式。对于VIO追踪模式而言，其位姿(Pose)的定位精度和定位速率是目前AR、VR等产品的竞争点。

在相关技术方案中，传统的SLAM算法都是基于静态场景的假设，即整个场景都是静态的，不存在动态物体。然而，当场景中存在较为显著的动态物体时，传统的SLAM算法难以对动态物体进行处理，导致VIO追踪模式下位姿的定位精度降低。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种图像数据的处理方法，旨在解决如何判断并剔除静态图像中的动态物体的问题。

为实现上述目的，本发明提供的一种图像数据的处理方法，所述方法包括：

获取相机采集的第一画面帧和第二画面帧；

确定所述第一画面帧中各个物体的轮廓坐标，以及确定所述第一画面帧和所述第二画面帧之间之间所述各个物体的像素质心；

根据所述轮廓坐标和/或所述像素质心，确定所述各个物体中的运动物体。

可选地，所述根据所述轮廓坐标和/或所述像素质心，确定所述各个物体中的运动物体的步骤包括：

确定所述第一画面帧和所述第二画面帧之间对应的时间差内所述相机的偏转向量；

根据所述偏转向量，确定所述第一画面帧和所述第二画面帧之间所述相机的视场角度差；

基于所述视场角度差，确定所述各个物体的所述像素质心在所述第一画面帧和所述第二画面帧之间的质心位移量；

根据所述质心位移量确定所述各个物体中的所述运动物体，其中，当所述质心位移量大于位移阈值，判断所述物体为所述运动物体；

或者，根据所述轮廓坐标确定所述物体的轮廓模型；

根据所述轮廓模型和预设动态训练集中的参考轮廓模型之间的匹配度，确定所述各个物体中的所述运动物体，其中，当所述匹配度大于匹配阈值，判断所述物体为所述运动物体。

可选地，所述根据所述轮廓坐标和/或所述像素质心，确定所述各个物体中的运动物体的步骤之前，包括：

确定所述第一画面帧和所述第二画面帧之间的画面复杂度；

当所述画面复杂度大于或等于复杂度阈值，执行所述确定所述第一画面帧和所述第二画面帧之间对应的时间差内所述相机的偏转向量的步骤；

否则，执行所述根据所述轮廓坐标确定所述目标物体的轮廓模型的步骤。

可选地，所述确定所述第一画面帧和所述第二画面帧之间对应的时间差内所述相机的偏转向量的步骤包括：

获取惯性测量单元中的惯性数据；

根据所述惯性数据，确定所述偏转向量。

可选地，所述根据所述偏转向量，确定所述第一画面帧和所述第二画面帧之间所述相机的视场角度差的步骤之前，包括：

获取所述相机对应的视觉坐标系，以及所述第一画面帧和所述第二画面帧之间对应的画面坐标系；

根据所述视觉坐标系和所述画面坐标系，确定所述相机和所述第一画面帧和所述第二画面帧之间的坐标映射；

所述根据所述偏转向量，确定所述第一画面帧和所述第二画面帧之间所述相机的视场角度差的步骤包括：

基于所述坐标映射，根据所述偏转向量确定所述第一画面帧和所述第二画面帧之间的画面平移量和画面偏转量；

根据所述画面平移量和所述画面偏转量，确定所述视场角度差。

可选地，所述根据所述轮廓坐标和/或所述像素质心，确定所述各个物体中的运动物体的步骤包括：

根据所述轮廓坐标确定所述各个物体的轮廓模型；

根据所述轮廓模型和预设动态训练集中的参考轮廓模型之间的第一匹配度，确定所述物体中的第一运动物体；

确定所述第一画面帧和所述第二画面帧之间对应的时间差内所述相机的第一偏转向量；

根据所述第一偏转向量，确定所述第一画面帧和所述第二画面帧之间所述相机的第一视场角度差；

基于所述第一视场角度差，确定所述各个物体中除所述第一运动物体外的其它物体的第一像素质心在所述第一画面帧和所述第二画面帧之间的第一质心位移量；

根据所述第一质心位移量确定所述其它物体中的第二运动物体；

根据所述第一运动物体和所述第二运动物体，确定所述运动物体。

可选地，所述根据所述轮廓坐标和/或所述像素质心，确定所述物体是否为运动物体的步骤包括：

确定所述第一画面帧和所述第二画面帧之间对应的时间差内所述相机的第二偏转向量；

根据所述第二偏转向量，确定所述第一画面帧和所述第二画面帧之间所述相机的第二视场角度差；

基于所述第二视场角度差，确定所述各个物体的第二像素质心在所述第一画面帧和所述第二画面帧之间的第二质心位移量；

根据所述第二质心位移量确定所述各个物体中的第三运动物体；

根据所述第三运动物体的所述轮廓坐标，确定所述各个物体中除所述第三运动物体之外的其它物体的轮廓模型；

根据所述其它物体的所述轮廓模型和预设动态训练集中的参考轮廓模型之间的第二匹配度，确定所述其它物体中的第四运动物体；

根据所述第三运动物体和所述第四运动物体，确定所述运动物体。

可选地，所述根据所述轮廓坐标和/或所述像素质心，确定所述物体是否为运动物体的步骤之后，包括：

当判断所述物体为所述动态物体时，确定所述运动物体在所述第二画面帧中关联的坐标区域，作为动态物体坐标区域；

将所述第一画面帧和所述第二画面帧中，除所述动态物体坐标区域以外的区域，作为静态物体坐标区域；

确定所述静态物体坐标区域中的静态特征点；

将所述静态特征点输入目标算法，以得到去除所述动态物体的图像。

此外，为实现上述目的，本发明还提供一种图像处理设备，所述图像处理设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像数据的处理程序，所述图像数据的处理被所述处理器执行时实现如上所述的图像数据的处理方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有图像数据的处理程序，所述图像数据的处理程序被处理器执行时实现如上所述的图像数据的处理方法的步骤。

本发明实施例提供一种图像数据的处理方法、图像处理设备以及可读存储介质，其中，所述方法包括：获取相机采集的第一画面帧和第二画面帧；确定所述第一画面帧中各个物体的轮廓坐标，以及确定第一画面帧和所述第二画面帧之间所述各个物体的像素质心；根据所述轮廓坐标和/或所述像素质心，确定所述各个物体中的运动物体。通过确定画面中物体的轮廓坐标和像素质心，根据轮廓坐标和/或像素质心判断物体是否为动态物体，从而在后续的算法中剔除图像中动态物体对算法的干扰，提升了定位的精确度的同时减少了对后续算法的计算量，解决了如何判断并剔除静态图像中的动态物体的问题。

附图说明

图1为本发明实施例涉及的图像处理设备的硬件架构示意图；

图2为本发明图像数据的处理方法的第一实施例的流程示意图；

图3为本发明图像数据的处理方法的第一实施例中的标记物体的示意图；

图4为本发明图像数据的处理方法的第二实施例的流程示意图；

图5为本发明图像数据的处理方法的第二实施例中相机拍摄到的图片示意图；

图6为本发明图像数据的处理方法的第二实施例中3*3滑动框的区域内像素值分布示意图；

图7为本发明图像数据的处理方法的第二实施例中特征点标记示意图；

图8为本发明图像数据的处理方法的第二实施例中动态物体坐标区域标记示意图；

图9为本发明图像数据的处理方法的第二实施例中提取结果示意图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

本申请涉及一种通过识别捕捉视觉中的运动物体，通过抠图的方式，减少动态图像对特征点匹配误差的影响，从而增加SLAM算法的pose数据准确性。识别过程可以是AI识别动作姿态、IMU的运动与Camera图像之间的相对运动等判别；抠图主要涉及到运动物体轮廓的表征，通过稀疏像素值来删除特征点的捕捉；SLAM算法的输入都为静止的物体，减少特征点的误匹配剔除的算法逻辑，提高定位速率和精度。并且，由于惯性测量单元IMU的加入，能够确保相机在移动的同时，也能够准确的捕捉到图像中的动态物体。

为了更好的理解上述技术方案，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

作为一种实现方案，图像处理设备可以如图1所示。

本发明实施例方案涉及的是图像处理设备，所述图像处理设备包括：处理器101，例如CPU，存储器102，通信总线103。其中，通信总线103用于实现这些组件之间的连接通信。

存储器102可以是高速RAM存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。如图1所示，作为一种计算机可读存储介质的存储器102中可以包括图像数据的处理程序；而处理器101可以用于调用存储器102中存储的图像数据的处理程序，并执行以下操作：

获取相机采集的第一画面帧和第二画面帧；

确定所述第一画面帧中各个物体的轮廓坐标，以及确定所述第一画面帧和所述第二画面帧之间所述各个物体的像素质心；

根据所述轮廓坐标和/或所述像素质心，确定所述各个物体中的运动物体。

在一实施例中，处理器101可以用于调用存储器102中存储的图像数据的处理程序，并执行以下操作：

确定所述第一画面帧和所述第二画面帧之间对应的时间差内所述相机的偏转向量；

根据所述偏转向量，确定所述第一画面帧和所述第二画面帧之间所述相机的视场角度差；

基于所述视场角度差，确定所述各个物体的所述像素质心在所述第一画面帧和所述第二画面帧之间的质心位移量；

根据所述质心位移量确定所述各个物体中的所述运动物体，其中，当所述质心位移量大于位移阈值，判断所述物体为所述运动物体；

或者，根据所述轮廓坐标确定所述物体的轮廓模型；

根据所述轮廓模型和预设动态训练集中的参考轮廓模型之间的匹配度，确定所述各个物体中的所述运动物体，其中，当所述匹配度大于匹配阈值，判断所述物体为所述运动物体。

在一实施例中，处理器101可以用于调用存储器102中存储的图像数据的处理程序，并执行以下操作：

确定所述第一画面帧和所述第二画面帧之间的画面复杂度；

当所述画面复杂度大于或等于复杂度阈值，执行所述确定所述第一画面帧和所述第二画面帧之间对应的时间差内所述相机的偏转向量的步骤；

否则，执行所述根据所述轮廓坐标确定所述目标物体的轮廓模型的步骤。

在一实施例中，处理器101可以用于调用存储器102中存储的图像数据的处理程序，并执行以下操作：

获取惯性测量单元中的惯性数据；

根据所述惯性数据，确定所述偏转向量。

在一实施例中，处理器101可以用于调用存储器102中存储的图像数据的处理程序，并执行以下操作：

获取所述相机对应的视觉坐标系，以及所述第一画面帧和所述第二画面帧之间对应的画面坐标系；

根据所述视觉坐标系和所述画面坐标系，确定所述相机和所述第一画面帧和所述第二画面帧之间的坐标映射；

所述根据所述偏转向量，确定所述第一画面帧和所述第二画面帧之间所述相机的视场角度差的步骤包括：

基于所述坐标映射，根据所述偏转向量确定所述第一画面帧和所述第二画面帧之间的画面平移量和画面偏转量；

根据所述画面平移量和所述画面偏转量，确定所述视场角度差。

在一实施例中，处理器101可以用于调用存储器102中存储的图像数据的处理程序，并执行以下操作：

根据所述轮廓坐标确定所述各个物体的轮廓模型；

根据所述轮廓模型和预设动态训练集中的参考轮廓模型之间的第一匹配度，确定所述物体中的第一运动物体；

确定所述第一画面帧和所述第二画面帧之间对应的时间差内所述相机的第一偏转向量；

根据所述第一偏转向量，确定所述第一画面帧和所述第二画面帧之间所述相机的第一视场角度差；

基于所述第一视场角度差，确定所述各个物体中除所述第一运动物体外的其它物体的第一像素质心在所述第一画面帧和所述第二画面帧之间的第一质心位移量；

根据所述第一质心位移量确定所述其它物体中的第二运动物体；

根据所述第一运动物体和所述第二运动物体，确定所述运动物体。

在一实施例中，处理器101可以用于调用存储器102中存储的图像数据的处理程序，并执行以下操作：

确定所述第一画面帧和所述第二画面帧之间对应的时间差内所述相机的第二偏转向量；

根据所述第二偏转向量，确定所述第一画面帧和所述第二画面帧之间所述相机的第二视场角度差；

基于所述第二视场角度差，确定所述各个物体的第二像素质心在所述第一画面帧和所述第二画面帧之间的第二质心位移量；

根据所述第二质心位移量确定所述各个物体中的第三运动物体；

根据所述第三运动物体的所述轮廓坐标，确定所述各个物体中除所述第三运动物体之外的其它物体的轮廓模型；

根据所述其它物体的所述轮廓模型和预设动态训练集中的参考轮廓模型之间的第二匹配度，确定所述其它物体中的第四运动物体；

根据所述第三运动物体和所述第四运动物体，确定所述运动物体。

在一实施例中，处理器101可以用于调用存储器102中存储的图像数据的处理程序，并执行以下操作：

当判断所述物体为所述动态物体时，确定所述运动物体在所述第二画面帧中关联的坐标区域，作为动态物体坐标区域；

将所述第一画面帧和所述第二画面帧中，除所述动态物体坐标区域以外的区域，作为静态物体坐标区域；

确定所述静态物体坐标区域中的静态特征点；

将所述静态特征点输入目标算法，以得到去除所述动态物体的图像。

基于上述基于数字图像处理技术的图像处理设备的硬件架构，提出本发明图像数据的处理方法的实施例。

在当前的AR、VR的SLAM算法中，VIO(双目+IMU)追踪模式是一种比较普遍的实现方式，而POSE(位姿)的精度和速率是目前AR、VR等产品的竞争点，其中Camera作为算法中的主导逻辑，其精度和速率的提升才是整个算法提升的关键；而作为原始输入的图片处理，一般都是提取图片中的特征点，通过双目的共视关系或者前后帧的匹配关系，三角化计算当前深度信息，所以特征点作为关键的输入，输入的准确性决定了后续的算法计算复杂度。

而双目场景中，主要是对静态物体的特征点提取作为主输入，动态物体在此间是噪声，因此需要将这些动态运动的物体从帧图像中剔除，保证保留的信息都是静态且稳定的。

参照图2，在第一实施例中，所述图像数据的处理方法包括以下步骤：

步骤S10，获取相机采集的第一画面帧和第二画面帧；

在本实施例中，获取相机采集的第一画面帧和第二画面帧；

在本实施例中，首先获取相机采集的第一画面帧和所述第二画面帧。

可选地，所述相机可以是双目相机或者单目相机。当所述相机为双目相机时，可以根据双目相机采集的图像确定景深信息。当相机为单目相机时，也可以基于其它的装置或者方式确定单目相机采集的图像的景深信息。从而使得可以基于景深信息分辨出画面中成像物体的远近。

可选地，在一些实施方式中，以双目相机为例，其采集画面帧的原理为：首先对双目相机进行相机标定，得到左/右两个相机的内外参数、单应矩阵；根据标定结果对原始图像进行图像校正，校正后的两张同一时刻采集的图像位于同一平面且互相平行；然后双目匹配，对校正后的两张图像进行像素点匹配；根据匹配结果计算每个像素的深度，从而获得包含图像中各个物体的成像距离的画面帧。

对于单帧画面而言，无法判断画面内各个物体是否为动态物体或是否存在动态趋势，因此需要对比相邻两帧画面之间的各个物体来进行判断。需要说明的是，第一画面帧为第二画面帧的前一帧，第一画面帧和第二画面帧之间的采样间隔为开发人员根据实际需要所设定。

步骤S20，确定所述第一画面帧中各个物体的轮廓坐标，以及确定所述第一画面帧和所述第二画面帧之间所述各个物体的像素质心；

在本实施例中，根据画面帧中各个区域之间的像素均值的差异识别出画面中的各个物体，并对画面中的各个物体的轮廓进行标记。

可选地，轮廓标记方式可以为多边形轮廓标记。示例性地，参照图3，图3为一具体实施方式中对图像帧中识别出的目标物体，用平行四边形标记物体的示意图。标记后记录该多边形角点的像素信息，在后续的处理中，根据记录的像素信息即可剔除该目标物体。

需要说明的是，识别出的各个物体为第一画面帧和所述第二画面帧中均存在的物体，在一些实施例中，当一实际意义上的物体只在上一帧画面中出现，而在下一帧画面中消失时(例如，快速飞过的鸟)，则直接判断该物体为动态物体，不再做进一步的判断。当然，在大多数实施场景下，两帧之间的画面的采集时间间隔通常较短，大多数情况下目标物体为第一画面帧和所述第二画面帧中均存在的物体。

具体的，确定出第一帧画面中标记出的各个物体的轮廓坐标，轮廓坐标是基于物体模型勾勒的外接多变形的对应坐标组，基于该坐标组构成的图案形状能够反映出物体的外观模型。

具体的，再确定出第一画面帧和所述第二画面帧之间均出现的物体的像素质心，像素质心为该目标物体对应的图像区域的像素点质心，其表征为在该点处图像的水平方向和垂直方向的像素和相等，像素质心在后续计算中作为判断该像素质心对应的图像区域(即物体)是否发生移动的物体标识。

步骤S30，根据所述轮廓坐标和/或所述像素质心，确定所述各个物体中的运动物体。

在确定出第一帧图像中各个物体的轮廓坐标，以及相邻图像帧之间各个物体的像素质心之后。根据轮廓坐标和/或像素质心，判断各个物体中的运动物体。

可选地，在一些实施方式中，可以根据轮廓坐标确定出各个物体中的存在运动趋势的愈移动物体。将轮廓坐标输入到经过训练的AI动态训练模型中，AI动态训练模型是基于机器深度学习技术，将日常场景中可能运动的愈移动物体的模型，例如猫、狗、飞鸟、车辆、人等物体的模型，作为动态训练集输入，训练出能够基于该轮廓坐标所构成的模型判断该物体是否为可能运动的物体。根据轮廓模型和预设动态训练集中的参考轮廓模型之间的匹配度，确定各个物体中的运动物体。可选地，设定一个匹配阈值，当匹配度大于匹配阈值时，判断该物体为运动物体。这种识别方式在图像较为简单的场景下识别是快速有效的。

可选地，在一些实施方式中，可以根据像素质心确定出各个物体中的运动物体。首先，确定出第一画面帧和所述第二画面帧之间相机自身的变化量：确定出第一画面帧和所述第二画面帧之间对应的时间差内相机的偏转向量，其中，偏转向量包含偏移距离和的偏转角度，根据偏转向量，得到两个画面帧之间的视场角度之间的角度差，这种识别方式在图像较为复杂的场景下识别是较为准确的。

在一些具体实施方式中，可以根据惯性测量单元IMU来确定出物体的片状向量，IMU的特点在于，其在短时间内测量出的佩戴者的位置的变化量是较为准确的，但是在长时间的测量中会随着时间的增加而积累误差，即测量时间间隔越长，测量得到的精确度越低，而在本实施例中第一画面帧和所述第二画面帧之间间隔的时间差是较短的，因此引入IMU来测量相机的视场角度的变化量，得到的最终检测结果的精确度也较高。通过获取惯性测量单元中的惯性数据，根据惯性数据计算出在第一画面帧和所述第二画面帧之间对应的时间差内相机的视场角度的变化量。在一些具体实施方式中，确定视场角度差之前，还需要获取相机对应的视觉坐标系，以及第一画面帧和所述第二画面帧之间对应的画面坐标系，并确定出两个坐标系之间的坐标映射，确定坐标映射的目的在于，确定出物体在相机镜头下的实际移动距离和物体在第一画面帧和所述第二画面帧之间中的移动距离之间的相对位置关系。例如，在距离用户3米远的一个物体，其在空间内实际移动距离为1米，在画面中的移动距离为0.5厘米，即确定出在3米处的坐标映射关联的参数为200。基于该坐标映射，将相机的偏转向量转化为第一画面帧和所述第二画面帧之间画面平移量和画面偏转量，根据画面平移量和画面偏转量即可确定出第二画面帧相对于第一画面帧之间，画面的变化量，即视场角度差。

可选地，上述两种实施方式中，可以基于第一画面帧和所述第二画面帧之间的画面复杂度，来判断采用何种方式进行判断。画面复杂度表征为画面中物体模型的结构、物体的个数、和画面像素值差异度所共同定义出反映画面内容复杂程度的量化参数，其中，物体模型的多边形越多、物体的个数越多、画面中的相邻像素值之间的差异度越大，则对应的画面复杂度越高。当画面复杂度大于或等于预设的复杂度阈值时，判断为画面中场景较为复杂，则执行根据像素质心确定出各个物体中的运动物体的方案；否则，执行根据像素质心确定出各个物体中的运动物体。

进一步的，若两个画面帧之间的视场角度之间存在角度差，则基于该视场角度差，将后一帧的视场角度转换为前一帧相对应的视场角度，即转换后得到的相邻图像帧，二者之间的视场角度为一致的。在将前后两帧画面的视场角度转为一致之后，比较目标物体在两帧画面之间，其像素质心的移动量，即质心移动量，基于质心移动量判断目标物体是否为动态物体。可选地，在一些实施方式中，可以通过设定一个移动阈值，当质心移动量大于该移动阈值时，判断该物体为动态物体。可选地，在另一些实施方式中，也可以检测到第一画面帧和所述第二画面帧之间同一物体的像素质心的坐标不一致时，判断该物体为动态物体。

可选地，在一些实施方式中，可以根据轮廓坐标和像素质心共同判断物体是否为动态物体。需要说明的是，两种不同的判断方式的执行顺序不同，其带来的技术效果也不同，下面对不同执行顺序的方案分别做说明：

一、先根据轮廓坐标对第一帧画面中的物体模型进行识别，得到各个物体的轮廓模型，再确定轮廓模型和参考轮廓模型之间的第一匹配度，当第一匹配度大于阈值时，确定该物体为第一运动物体，即通过AI模型识别快速确定出画面中可能在后续的画面中发生移动的运动物体。然后，再根据像素质心对第一画面帧和所述第二画面帧之间除第一运动物体外的其他物体进行判断，得到第二运动物体，即通过像素质心判别对第一画面帧和所述第二画面帧中的物体作进一步的动态物体判断，得到的第一运动物体和第二运动物体均作为运动物体。这种方式适用于当画面中出现AI模型识别到的以外的物体发生移动时的剔除。

示例性地，当设备识别出相机采集到的画面中存在一张纸，对于AI模型识别而言，通过纸张的轮廓坐标对应的模型识别出的检测结果而言，该纸张应当是静止的，然而，当纸张由于外界因素(如被风吹动)的干扰，在下一帧画面中发生了移动，则纸张也应当被作为干扰后续算法定位的动态物体去除，而AI模型识别方案则无法识别出该纸张为动态物体。因此，在进一步的像素质心识别中，通过检测出纸张对应的像素质心发生了改变，因此通过像素质心识别即可识别出该纸张为动态物体。

二、先根据像素质心对第一画面帧和所述第二画面帧之间除第一运动物体外的其他物体进行判断，得到第三运动物体；再通过AI模型识别确定出除第三运动物体之外的其他物体中的运动物体，即第四运动物体，得到的第三运动物体和第四运动物体均作为运动物体。这种方式适用于当第一画面帧和所述第二画面帧之间对应的时间差之内未移动的物体，但在后续可能发生移动的物体的剔除。

示例性地，当设备识别出相机采集到的画面中存在一个以较慢速度移动的人，由于移动速度较慢，在第一画面帧和所述第二画面帧之间对应的时间差内采集到的画面中人的质心变化不明显，设备检测不到人对应的物体的像素质心发生改变，但该物体为应当剔除的动态物体，因此在进一步的AI模型识别中，识别出该物体的轮廓坐标对应的行走的人模型，通过AI模型识别出行走的人为动态物体。

在本实施例提供的方案中，获取相机采集的第一画面帧和第二画面帧，通过确定第一画面帧中各个物体的轮廓坐标，以及确定第一画面帧和所述第二画面帧之间所述各个物体的像素质心，根据轮廓坐标和/或像素质心，判断出各个物体中的运动物体，从而在后续的算法中剔除图像中动态物体对算法的干扰，提升了定位的精确度的同时减少了对后续算法的计算量，解决了如何判断并剔除静态图像中的动态物体的问题。

参照图4，在第二实施例中，基于第一实施例，所述步骤S30之后，包括：

步骤S40，当判断所述物体为所述动态物体时，确定所述运动物体在所述第二画面帧中关联的坐标区域，作为动态物体坐标区域；

步骤S50，将所述第一画面帧和所述第二画面帧中，除所述动态物体坐标区域以外的区域，作为静态物体坐标区域；

步骤S60，确定所述静态物体坐标区域中的静态特征点；

步骤S70，将所述静态特征点输入目标算法，以得到去除所述动态物体的图像。

在本实施例中，将判断为动态物体在第二画面帧中关联的坐标区域，作为动态物体坐标区域，除动态物体坐标区域以外的区域作为静态物体坐标区域，然后确定静态物体坐标区域对应的特征点，作为静态特征点，特征点表征为图像中某个与四周的像素值差别较大的点，将静态特征点作为自变量输入目标算法，以得到去除动态物体的图像。

示例性地，在一些具体实施方式中，目标算法为SLAM算法，下面对SLAM算法的提取过程用一个示例做解释说明：

假设相机拍摄到的图片如图5所示，采用特征点识别算法中，采用3*3滑动框在原始图像的内部从原点(0，0)位置延横向、纵向依次做滑动，其中3*3滑动框的区域内像素值分布如图6所示。

若C3减A1或A3减C1大于某一个值，就认为B2点是一个特征点。得到的特征点如图7所示。

进一步的，如果识别到圆球为动态物体，则动态物体坐标区域标记示意图如图8所示，其在算法过程中会记录动态物体的多变形角坐标，即圆球的最小外接矩形为动态物体坐标区域。

在向SLAM算法输入该图像的特征点的过程中，会忽略掉此标记物体，即圆球处的四个特征点会剔除，从而使本张图片记录的特征点都是静态物体所提取的，最后提取得到的结果如图9所示。

在本实施例提供的技术方案中，通过对图像中判断为动态物体进行识别、标记、剔除等操作，让特征点的提取结果更加的有效，且图像的预处理可以在前端模块执行，比如ISP、DSP等，从而达到更加准确且高频的位姿Pose输出。

此外，本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被图像处理设备中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。

因此，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有图像数据的处理程序，所述图像数据的处理程序被处理器执行时实现如上实施例所述的图像数据的处理方法的各个步骤。

其中，所述计算机可读存储介质可以是U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种图像数据的处理方法，其特征在于，所述方法包括：

获取相机采集的第一画面帧和第二画面帧；

确定所述第一画面帧中各个物体的轮廓坐标，以及确定所述第一画面帧和所述第二画面帧之间所述各个物体的像素质心；

根据所述轮廓坐标和/或所述像素质心，确定所述各个物体中的运动物体。

2.如权利要求1所述的图像数据的处理方法，其特征在于，所述根据所述轮廓坐标和/或所述像素质心，确定所述各个物体中的运动物体的步骤包括：

确定所述第一画面帧和所述第二画面帧之间对应的时间差内所述相机的偏转向量；

根据所述偏转向量，确定所述第一画面帧和所述第二画面帧之间之间所述相机的视场角度差；

基于所述视场角度差，确定所述各个物体的所述像素质心在所述第一画面帧和所述第二画面帧之间的质心位移量；

根据所述质心位移量确定所述各个物体中的所述运动物体，其中，当所述质心位移量大于位移阈值，判断所述物体为所述运动物体；

或者，根据所述轮廓坐标确定所述物体的轮廓模型；

根据所述轮廓模型和预设动态训练集中的参考轮廓模型之间的匹配度，确定所述各个物体中的所述运动物体，其中，当所述匹配度大于匹配阈值，判断所述物体为所述运动物体。

3.如权利要求2所述的图像数据的处理方法，其特征在于，所述根据所述轮廓坐标和/或所述像素质心，确定所述各个物体中的运动物体的步骤之前，包括：

确定所述第一画面帧和所述第二画面帧之间的画面复杂度；

当所述画面复杂度大于或等于复杂度阈值，执行所述确定所述第一画面帧和所述第二画面帧之间对应的时间差内所述相机的偏转向量的步骤；

否则，执行所述根据所述轮廓坐标确定所述物体的轮廓模型的步骤。

4.如权利要求2所述的图像数据的处理方法，其特征在于，所述确定所述第一画面帧和所述第二画面帧之间对应的时间差内所述相机的偏转向量的步骤包括：

获取惯性测量单元中的惯性数据；

根据所述惯性数据，确定所述偏转向量。

5.如权利要求2所述的图像数据的处理方法，其特征在于，所述根据所述偏转向量，确定所述第一画面帧和所述第二画面帧之间所述相机的视场角度差的步骤之前，包括：

获取所述相机对应的视觉坐标系，以及所述第一画面帧和所述第二画面帧之间对应的画面坐标系；

根据所述视觉坐标系和所述画面坐标系，确定所述相机和所述第一画面帧和所述第二画面帧之间的坐标映射；

所述根据所述偏转向量，确定所述第一画面帧和所述第二画面帧之间所述相机的视场角度差的步骤包括：

基于所述坐标映射，根据所述偏转向量确定所述第一画面帧和所述第二画面帧之间的画面平移量和画面偏转量；

根据所述画面平移量和所述画面偏转量，确定所述视场角度差。

6.如权利要求1所述的图像数据的处理方法，其特征在于，所述根据所述轮廓坐标和/或所述像素质心，确定所述各个物体中的运动物体的步骤包括：

根据所述轮廓坐标确定所述各个物体的轮廓模型；

根据所述轮廓模型和预设动态训练集中的参考轮廓模型之间的第一匹配度，确定所述物体中的第一运动物体；

确定所述第一画面帧和所述第二画面帧之间对应的时间差内所述相机的第一偏转向量；

根据所述第一偏转向量，确定所述第一画面帧和所述第二画面帧之间所述相机的第一视场角度差；

基于所述第一视场角度差，确定所述各个物体中除所述第一运动物体外的其它物体的第一像素质心在所述第一画面帧和所述第二画面帧之间的第一质心位移量；

根据所述第一质心位移量确定所述其它物体中的第二运动物体；

根据所述第一运动物体和所述第二运动物体，确定所述运动物体。

7.如权利要求1所述的图像数据的处理方法，其特征在于，所述根据所述轮廓坐标和/或所述像素质心，确定所述物体是否为运动物体的步骤包括：

确定所述第一画面帧和所述第二画面帧之间对应的时间差内所述相机的第二偏转向量；

根据所述第二偏转向量，确定所述第一画面帧和所述第二画面帧之间所述相机的第二视场角度差；

基于所述第二视场角度差，确定所述各个物体的第二像素质心在所述第一画面帧和所述第二画面帧之间的第二质心位移量；

根据所述第二质心位移量确定所述各个物体中的第三运动物体；

根据所述第三运动物体的所述轮廓坐标，确定所述各个物体中除所述第三运动物体之外的其它物体的轮廓模型；

根据所述其它物体的所述轮廓模型和预设动态训练集中的参考轮廓模型之间的第二匹配度，确定所述其它物体中的第四运动物体；

根据所述第三运动物体和所述第四运动物体，确定所述运动物体。

8.如权利要求1所述的图像数据的处理方法，其特征在于，所述根据所述轮廓坐标和/或所述像素质心，确定所述物体是否为运动物体的步骤之后，包括：

当判断所述物体为所述动态物体时，确定所述运动物体在所述第二画面帧中关联的坐标区域，作为动态物体坐标区域；

将所述第一画面帧和所述第二画面帧中，除所述动态物体坐标区域以外的区域，作为静态物体坐标区域；

确定所述静态物体坐标区域中的静态特征点；

将所述静态特征点输入目标算法，以得到去除所述动态物体的图像。

9.一种图像处理设备，其特征在于，所述图像处理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像数据的处理程序，所述图像数据的处理程序被所述处理器执行时实现如权利要求1至8中任一项所述的图像数据的处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像数据的处理程序，所述图像数据的处理程序被处理器执行时实现如权利要求1至8中任一项所述的图像数据的处理方法的步骤。

Images