CN113192109A - 在连续帧中识别物体运动状态的方法及装置 - Google Patents

Abstract

本公开是关于一种在连续帧中识别物体运动状态的方法及装置、电子设备和计算机可读存储介质。其中在连续帧中识别物体运动状态的方法包括：获取连续帧中的多物体的标注结果，标注结果为物体类别及区域，根据所述标注结果，确定当前帧的多个参照物，参照物为相对于地面静止的物体；获取待识别物体相对于多个参照物的移动距离；根据移动距离确定待识别物体在当前帧的运动状态。通过算法对物体的运动状态直接进行标注，减少了人工标注的工作量，极大提高了标注效率；通过自动选择多个参考物体、精准计算待识别物体的位移距离，提升了识别准确率。

Description

在连续帧中识别物体运动状态的方法及装置

技术领域

本公开涉及图像处理领域，尤其涉及在连续帧中识别物体运动状态的方法及装置、电子设备和计算机可读存储介质。

背景技术

运动目标检测是运动目标跟踪、行为识别和场景描述等技术的基础，检测的结果直接影响后续算法的准确性。因此，如何提高目标检测的准确性和鲁棒性，成为计算机视觉领域的主要研究方向之一。而在车辆辅助驾驶任务中对环境感知和运动目标检测有着强烈的需求，只有能准确地感知环境并精确地判断运动目标，才可能做出更安全、更合理的决策，然而，在车辆辅助驾驶过程中，会采集到许多帧的图像数据，对连续多帧中出现的所有物体进行标注并判断物体的运动状态是一项非常繁琐的工作。

目前很多自动驾驶技术均采集3D点云数据进行分析，点云是某个坐标系下的点的数据集。点包含了丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等。点云数据主要是通过三维激光扫描仪进行数据采集获取，其次通过二维影像进行三维重建，在重建过程中获取点云数据，另外还有一些，通过三维模型来计算获取点云。通常，使用LiDAR(Light Detection And Ranging)技术获取3D点云数据，LiDAR为激光探测与测量技术，在获取点云数据的同时也对点云数据进行处理加工以及应用。LiDAR获取数据的方式主要分为三大类：星载、机载和地面，对于自动驾驶所用的点云数据大多为车载地面获取。与RGB图像不同，LIDAR点云是3D的并且是非结构化的，面对车辆辅助驾驶任务要求的实时性，在标注过程中需快速准确完成运动目标判定的任务非常困难。目前来说，常见的检测方法是通过人工来进行标注，在实际标注过程中，标注员先根据框选区域，确认物体类型，然后确定物体的属性，其中，物体的运动状态是属性之一，需要根据标注员的判断确定物体的运动状态。判断物体运动状态是一项繁琐的事情，对于某一样物体，标注员需要对前后几帧中该物体的相对位置进行比较，选择该物体在某一帧是“静止”或“移动”。实际操作时，费时费力，且容易出错。

发明内容

为克服相关技术中存在的问题，本公开提供一种在连续帧中识别物体运动状态的方法及装置、电子设备和计算机可读存储介质。

根据本公开实施例的第一方面，提供一种在连续帧中识别物体运动状态的方法，方法包括：获取连续帧中的多物体的标注结果，标注结果为物体类别及区域；根据所述标注结果，确定当前帧的多个参照物，参照物为相对于地面静止的物体；获取待识别物体相对于多个参照物的移动距离；根据移动距离确定待识别物体在当前帧的运动状态。

在一实施例中，连续帧是利用3D雷达获取的点云数据。

在一实施例中，根据所述标注结果，确定当前帧的多个参照物，包括：根据标注结果，对连续帧中的多物体编号，不同帧中的相同物体对应相同且唯一的编号；根据物体的类别，划分出静止类物体及非静止类物体，静止类物体为相对于地面静止的物体；将当前帧与上一帧中相同的静止类物体作为当前帧的参照物。

在一实施例中，方法还包括：在确定连续帧中的多个参照物后，根据识别准确度及可移动程度对参照物进行分类；根据分类结果划分参照物的静止权值。

在一实施例中，所述获取待识别物体相对于所述多个参照物的移动距离，包括：若两个相邻帧中，含m个相同的参照物，m≥1，则基于m个参照物确定静止坐标系，得到相邻帧中待识别物体在静止坐标系中的坐标值；根据坐标值获得待识别物体的移动距离。

在一实施例中，获取待识别物体相对于多个参照物的移动距离，包括，若两个相邻帧中，包含m个相同的参照物，m≥1，则以第i个参照物为坐标原点(i＝1,…,m)，确定相邻帧中待识别物体的坐标值；根据坐标值获得待识别物体相对于第i个参照物的移动距离。

在一实施例中，获取待识别物体相对于多个参照物的移动距离，包括，若两个相邻帧中，不包含相同的参照物，则根据待识别物体的标注结果确定待识别物体的运动状态。

在一实施例中，根据移动距离确定待识别物体在当前帧的运动状态，包括：根据待识别物体相对于m个参照物的移动距离及m个参照物的静止权值，判定待识别物体的运动状态。

在一实施例中，根据待识别物体相对于m个参照物的移动距离及m个参照物的静止权值，判定待识别物体的运动状态，包括：获取待识别物体的加权运动值D：

其中m为相邻两帧中相同参照物的个数，d_i表示待识别物体相对于第i个参照物的移动值，若待识别物体相对于第i个参照物的移动距离小于预设距离阈值，则d_i＝0，若待识别物体相对于第i个参照物的移动距离大于预设距离阈值，则d_i＝1，ω_i表示第i个参照物的静止权值；若加权运动值大于设定运动阈值，则标记待识别物体为运动物体；若加权运动值小于或等于设定运动阈值，则标记待识别物体为静止物体。

在一实施例中，方法还包括，若所述待识别物体的运动状态连续两次的判断结果不同，则标记前一帧中所述待识别物体为运动物体。

根据本公开实施例的第二方面，提供一种在连续帧中识别物体运动状态的装置，装置包括：标注单元，用于获取连续帧中的多物体的标注结果，标注结果为物体类别及区域；参照物确定单元，用于根据所述标注结果，确定当前帧的多个参照物，参照物为相对于地面静止的物体；测距单元，用于获取待识别物体相对于多个参照物的移动距离；状态识别单元，用于根据移动距离确定待识别物体在当前帧的运动状态。

在一实施例中，连续帧是利用3D雷达获取的点云数据连续帧。

在一实施例中，参照物确定单元包括：根据标注结果，对连续帧中的多物体编号，不同帧中的相同物体对应相同且唯一的编号；根据物体的类别，划分出静止类物体及非静止类物体，静止类物体为相对于地面静止的物体；将当前帧与上一帧中相同的静止类物体作为当前帧的参照物。

在一实施例中，装置还包括：分类单元，用于根据识别准确度及可移动程度对参照物进行分类；根据分类结果划分参照物的静止权值。

在一实施例中，测距单元还包括：若两个相邻帧中，含m个相同的参照物，m≥1，则基于m个参照物确定静止坐标系，得到相邻帧中待识别物体在静止坐标系中的坐标值；根据坐标值获得待识别物体的移动距离。

在一实施例中，测距单元包括，当两个相邻帧中包含m个相同的参照物时，m≥1，以第i个参照物为坐标原点(i＝1,…,m)，确定相邻帧中待识别物体的坐标值；根据坐标值获得待识别物体相对于第i个参照物的移动距离。

在一实施例中，测距单元还包括，当两个相邻帧中不包含相同的参照物时，根据待识别物体的标注结果确定待识别物体的运动状态。

在一实施例中，状态识别单元包括：根据待识别物体相对于m个参照物的移动距离及m个参照物的静止权值，判定待识别物体的运动状态。

在一实施例中，状态识别单元还包括：获取待识别物体的加权运动值D，

其中m为相邻两帧中相同参照物的个数，d_i表示待识别物体相对于第i个参照物的移动值，若待识别物体相对于第i个参照物的移动距离小于预设距离阈值，则d_i＝0，若待识别物体相对于第i个参照物的移动距离大于预设距离阈值，则d_i＝1，ω_i表示第i个参照物的静止权值；若加权运动值大于设定运动阈值，则标记待识别物体为运动物体；若加权运动值小于或等于设定运动阈值，则标记待识别物体为静止物体。

在一实施例中，装置还包括，修正单元，用于当待识别物体的运动状态连续两次的判断结果不同时，标记前一帧中待识别物体为运动物体。

根据本公开实施例的第三方面，提供一种电子设备，包括：存储器，用于存储指令；以及处理器，用于调用存储器存储的指令执行第一方面的在连续帧中识别物体运动状态的方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，存储有指令，指令被处理器执行时，执行第一方面的在连续帧中识别物体运动状态的方法。

本公开的实施例提供的技术方案可以包括以下有益效果：本公开提出了一种在连续帧中识别物体运动状态的方法，通过算法对物体的运动状态直接进行标注，减少了人工标注的工作量，极大提高了标注效率；同时，能够自动选择参考物体，引入了多个参照物对物体运动状态进行投票，比人工单一目标参考更有可信度，更适用于车辆在行进过程中的物体运动状态识别任务；通过参照物的形式计算待识别物体的位移距离，较于肉眼观察更具有可信度，提升了识别效率的同时也提升了识别准确率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种在连续帧中识别物体运动状态的方法的流程示意图；

图2是根据一示例性实施例示出的点云数据图；

图3是根据一示例性实施例示出的另一种点云数据图；

图4是根据一示例性实施例示出的车载移动测量***的实际图像；

图5是根据一示例性实施例示出的通过车载移动测量***的采集的点云数据的标注后效果示意图；

图6是根据一示例性实施例示出的根据标注结果确定多个参照物的流程示意图；

图7是根据一示例性实施例示出的另一种在连续帧中识别物体运动状态的方法的流程示意图；

图8是根据一示例性实施例示出的根据移动距离确定待识别物体在当前帧的运动状态的流程示意图；

图9是根据一示例性实施例示出的另一种在连续帧中识别物体运动状态的方法的流程示意图；

图10是根据一示例性实施例示出的一种在连续帧中识别物体运动状态的装置的示意框图；

图11是根据一示例性实施例示出的另一种在连续帧中识别物体运动状态的装置的示意框图；

图12是根据一示例性实施例示出的另一种在连续帧中识别物体运动状态的装置的示意框图；

图13是根据一示例性实施例示出的一种装置的示意框图；

图14是根据一示例性实施例示出的一种电子装置的示意框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

运动目标检测任务中，常见的方法包括通过摄像头获取连续帧图像进行检测，主要有:帧间差分法、背景减除法和光流法。光流法是根据检测到的目标图像的亮度信息进行检测的方法，该方法计算复杂度高，抗干扰能力弱，故而一般不采用。帧间差分法是用连续视频帧图像进行差分运算，实现运动目标的提取，对背景变化的适应能力比较强，但是检测到的目标存在空洞现象，且对于运动缓慢的目标存在漏检。背景减除法是先建立背景模型，然后将当前帧图像与背景模型做差来提取运动目标，该方法主要依靠稳定的背景模型来得到比较完整的前景特征，通过比较当前帧和背景模型得到运动目标。而这些方法在应用至车辆驾驶过程中时，由于摄像头与待识别物体处于相对运动的状态，背景也在不断变换，对采集的图像进行光流、帧差法进行运动状态监测的误判率很高。

目前常见的检测方法是通过人工来进行标注，依赖人工反复查看数据后依经验判断确定。在实际标注过程中，标注员先根据框选区域，确认物体类型，然后确定物体的其他属性，包括运动状态。判断物体运动状态是一项繁琐的事情，对于某一样物体，标注员需要对前后几帧中该物体的相对位置进行比较，选择该物体在某一帧是“静止”或“移动”。实际操作时，费时费力，且容易出错。

而本公开为解决上述问题，提供一种在连续帧中识别物体运动状态的方法，参见图1，包括步骤S11-步骤S14，以下详细说明：

步骤S11，获取连续帧中的多物体的标注结果，标注结果为物体类别及区域。

首先使用人工或算法检测的方式，将每一帧中的物体进行标注分类。其中连续帧可以是由摄像机或双目摄像机获取的图像数据、3D雷达获取的点云数据等，标注结果可以是多目标的感兴趣区域及物体类别，物体类别包括：行人、小汽车、骑行非机动车、骑行摩托车、快递车、路灯、树木、指示牌、建筑物、垃圾桶等。目前的一些目标检测及识别方法均可以应用在本公开的标注过程中，例如通过预先训练好的的识别模型对各物体进行识别，或采用多个体学习的方法直接预测像素类别的方法等等。识别出物体的类别后再进行运动区域的判断，有助于增加先验知识，例如树木、交通标识等通常都是固定不动的目标物体，而车辆、行人均是值得高度关注的会移动的目标对象，通过增加先验分类信息，有助于进一步判断目标对象的运动情况，减少误判的情况。

在一实施例中，连续帧是利用3D雷达获取的点云数据。

目前很多自动驾驶技术均采集3D点云数据进行分析，点云是某个坐标系下的点的数据集，如图2所示。点包含了丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等，如图3所示。点云数据主要是通过三维激光扫描仪进行数据采集获取，其次通过二维影像进行三维重建，在重建过程中获取点云数据，另外还有一些，通过三维模型来计算获取点云。通常，使用LiDAR(Light Detection And Ranging)技术获取3D点云数据，LiDAR为激光探测与测量技术，在获取点云数据的同时也对点云数据进行处理加工以及应用。LiDAR获取数据的方式主要分为三大类：星载、机载和地面，对于自动驾驶所用的点云数据大多为车载地面获取，图4即为车载MMS移动测量***的实际图像。所谓的图像3D对象标注是指：针对图像中的目标对象，例如车辆、自行车、行人、路牌指示物等，利用3D激光扫描得到的同一时刻的激光点云数据，标注该对象在3D空间中的立体包围框，并投影至图像中的标注方法。当连续帧是利用3D雷达获取的点云数据，获取连续帧中的多物体的标注结果，获取的即为立体包围框及物体类别。

图5是通过车载MMS采集的点云数据的标注后效果，中间的圆形中心即为LiDAR采集设备所在位置，由此为中心向外发射探测激光。在标注物体时，在调整好物体包围框以后，还需要选择一系列参数，对于汽车来说，运动状态、是否开门、车型等都是常见的3D对象标注任务。在实际标注过程中，标注员获取的即为如图5所示的框选区域，在确认物体类型后，需要标注员然后逐一标注物体的属性，其中，物体的运动状态是属性之一。

本公开的方法更适用于3D雷达获取的点云数据，首先，目前的车辆辅助驾驶多采用3D雷达获取点云数据，然后再对数据进行标注，本公开的方法适用于上述场景；其次，点云数据会获取到相较于二维平面相机更丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等，在分类时的精度更高，而点云数据即包含三维坐标数据，在对点的位置进行测算时，计算会更加便捷。

步骤S12，根据标注结果，确定当前帧的多个参照物，参照物为相对于地面静止的物体。

目前的判断运动物体的算法中，都是基于摄像头固定不动时对运动物体的检测，因此往往取单一参照物或背景来进行运动检测，常见的方法包括帧差法、光流法、背景减除法。帧差法是利用临近两帧或者更多帧的图像差分，取得图像的运动区域，从而得到视频前景信息。这种方法速度快，运算简单，但在面对高速运动的前景对象时会出现较大的误差。光流法是通过计算光流场，根据图像的时空变化梯度估算视频中前景对象的运动，并对前景对象进行提取。这种方法的缺点在于运算量大，而且对于噪声的敏感度高，易受影响。背景减除法是利用图像信息，预构建出背景图像，再将当前帧与背景图像差分，从而实现运动区域与背景的区分，提取出视频前景信息。这种方法对人为构建的背景质量要求高，阈值的选择非常关键，阈值过高或过低都无法完整提取运动的前景对象，在操作中存在一定难度。因此，现有的运动检测方法在应用至车辆辅助驾驶任务的过程中时，由于车辆行驶速度快、变道转弯情况多，摄像头与待识别物体处于相对运动的状态，背景也在不断变换，应用单一参照物或背景来进行运动检测的效果不理想，而行进过程中，可以依靠路面上的参照物，来对其他运动物体进行判断，使用多个的参照物，可以进一步提升运动检测的精度，避免单一参照物容易带来的检测异常及误判。

在一实施例中，如图6所示，步骤S12包括：步骤S121，根据标注结果，对连续帧中的多物体编号，不同帧中的相同物体对应相同且唯一的编号。在标注时，每一个物体有一个唯一的tracking id，不同帧中的相同物体延用同一个id。可根据卡尔曼滤波算法预测或其他识别算法，将相同的物体划分相同的ID，便于标注管理及判断连续帧中的参照物是否相同的判断。

步骤S122，根据物体的类别，划分出静止类物体及非静止类物体，静止类物体为相对于地面静止的物体；步骤S123，将当前帧与上一帧中相同的静止类物体作为当前帧的参照物。

行进过程中，可以依靠路面上的参照物，来对其他运动物体进行判断。而根据车辆辅助驾驶任务的需求，相较于地面正在运动的目标是更值得检测的目标。因此，在选择参照物时，选择相对于地面静止的物体，例如树木、建筑物、交通灯、公交车站牌等，将静止类物体作为参照物符合运动检测的常识，可以通过算法自动选择参考物体，避免人工筛选，同时有效提升运动检测的置信度，及时检测到相较于地面在运动的目标。

在一实施例中，如图7所示，方法还包括：步骤S15，在确定连续帧中的多个参照物后，根据识别准确度及可移动程度对参照物进行分类。

可选地，在标注目标中将静止类物体，即不太可能移动的参照物划分为三个等级：

等级一：识别准确度高，完全不可能移动，例如：交通信号灯、交通指示牌、路灯。

等级二：识别准确度高，一般不太可能被移动，例如：锥桶、垃圾桶、停放的自行车。

等级三：识别准确度一般，完全不可能被移动，权值为0.5，例如：树木、长椅。

其中，识别准确度根据物体点云数据的特征度来判定，特征非常明显、不容易被混淆、不容易被漏标等都是判别标准。可根据专家经验知识进行判断，也可根据划分测试集的方式对识别模型进行检测，将识别率和召回率作为识别准确度的判断依据；是否可能被移动根据常识来判别。在筛选参照物时，对参照物的等级根据识别准确度和可移动程度对参照物进行分类，可以将识别准确率和先验知识融合至判断过程，对参照物进行分级，可以增加运动检测的置信度，将误判的概率进一步降低。

步骤S16，根据分类结果划分参照物的静止权值。

在本公开的一实施例中，将等级一的权值设置为1，等级2的权值为0.8，等级三的权值为0.5。识别准确度高，完全不可能移动的物体作为参照物，其置信度要高于识别准确度一般、一般不太可能被移动。而权值划分也是经过多次测试后得出的准确率最高的权值组合。赋予可信度高的参照物更高的权重，可以构建更加合理的运动状态评价体系，提升运动检测的准确率。

步骤S13，获取待识别物体相对于多个参照物的移动距离。

在运动状态判断时，移动距离的计算是最为迅速便捷的，依照参照物计算移动距离可以快速得出待检测物体相对于参照物是否移动了。计算位移距离的方式，相较于肉眼观测也更具有可信度。

在一实施例中，步骤S13还包括，若两个相邻帧中，含m个相同的参照物，m≥1，基于m个参照物确定静止坐标系，得到相邻帧中待识别物体在所述静止坐标系中的的坐标值；根据坐标值获得待识别物体的移动距离。

在上述实施例中，基于m个参照物可以确定静止坐标系原点。可选地，若存在稳定的单一静止参照物，例如路灯、交通指示牌，可以将指示牌作为固定参照物，其重心作为静止坐标系的原点，以点云数据中的X正向为构建的坐标轴X正向，Y正向为构建的坐标轴Y正向为准，Z正向为构建的坐标轴Y正向为准，计算物体在静止坐标系的坐标值，从而得到相邻帧中，待识别物体的移动距离，以此判断待识别物体的运动状态。在另一实施例中，若存在多个参照物，则可以对多个参照物进行筛选，例如选取距离最大的3个静止物体，确定静止坐标系。可选地，可以利用距离最大的3个静止物体确定一个重心作为静止坐标系的原点。或，通过对参照物进行稳定程度排序，选取排序值最靠前的参照物，确定静止坐标系。在获取距离后，假如计算结果小于0.1(经验值，误差容许范围)，则我们认为A相对于该静止坐标系保持静止，否则，我们认为A相对于该静止坐标系移动了。通过上述确立静止坐标系的方式，能够找到相对于地面静止的坐标系，从而更客观准确地判断出物体的运动状态。

在一实施例中，步骤S13包括，检测图像，若两个相邻帧中，包含m个相同的参照物，m≥1，则以第i个参照物为坐标原点(i＝1,…,m)，确定相邻帧中待识别物体的坐标值；根据坐标值获得待识别物体相对于第i个参照物的移动距离。其中，若图像数据为二维图像数据，则X、Y轴以摄像头成像平面坐标系的x轴和y轴为准，若图像数据为点云数据，则以点云数据中的X正向为构建的坐标轴X正向，Y正向为构建的坐标轴Y正向为准。而在车辆驾驶过程中，点云数据中的X正向、Y方向与车辆形式方向相关，判断物体是否运动更加符合车辆辅助驾驶任务中对物体运动检测的需求。

对每一帧操作时，假设现在对第n帧中的A物体进行运动状态判定。首先要计算第n帧中，A在每一个参照物(假设共有m个静止物体，分别为i＝1,…,m)的坐标轴中的坐标<X_n,i,Y_n,i>，该坐标的获取方式为：以当前参照物为坐标原点，以点云数据中的X正向为构建的坐标轴X正向，Y正向为构建的坐标轴Y正向，计算A物体在该坐标轴中的坐标。点云数据中包含Z方向数据，本公开中，也可对Z点坐标进行获取计算。但在实际监测中，相较于地面所形成的平面运动是更值得监测的，例如行人横穿马路、车辆并道形式，单纯延Z轴变化的运动重要性较低。因此，仅选用X、Y轴坐标可以更迅速计算出驾驶过程中需要检测到的移动。

对于相邻两帧n-1和n，基于两帧所有共有的m个静止物体j＝1,…,m，计算目标物体A在前后两帧坐标之差，计算公式如下：

可选地，可以直接利用距离值进行后续计算，也可以进行归一化处理后再计算，假如计算结果小于0.1(经验值，误差容许范围)，则我们认为A相对于该静止物体保持静止，记为0，否则，我们认为A相对于该静止物体移动了，记为1，可以将允许的误差考虑在内，将相对于多个参照物的运动距离检测结果进行归一化。

在一实施例中，步骤S13还包括，若两个相邻帧中，不包含相同的参照物，则根据待识别物体的标注结果确定待识别物体的运动状态。

在检测过程中，若出现不包含相同的参照物的情况，则依据标注结果，对物体进行分来，筛选出静止类物体和非静止类物体，直接进行运动状态的标定，通常的静止物体标注静止，可运动的物体标注运动，汽车、行人、宠物等。在没有相同的运动参照物时，将行人、车辆等标注为运动，而非缺省值，可根据运动状态提升预警等级，符合车辆辅助驾驶任务的安全需求。

可选地，对于第1帧的运动状态，由于没有第n-1帧作为参考，使用如下方法标注：将同时出现在第1帧与第2帧的物体的运动状态直接拷贝其第2帧或后续第一次出现时的状态；如果后续未出现或者参考静止物体完全不同，根据常识标定，以完善所采集的数据信息。

步骤S14，根据移动距离确定待识别物体在当前帧的运动状态。

在一实施例中，根据移动距离确定待识别物体在当前帧的运动状态，包括：根据待识别物体相对于m个参照物的移动距离及m个参照物的静止权值，判定待识别物体的运动状态。

每一个参照物的稳定性不同，在评判运动状态时重要程度不同，将多参照物的移动距离进行统一化，赋值以不同的权重，通过加权运算实现提高多参照物综合分析的置信度，提升运动检测的准确率。

在一具体的实施例中，若采取静止坐标系的方法获取待识别物体的坐标，则可根据静止权值对多个参照物进行筛选，例如。可选地，可以通过对参照物的静止权值排序，选取排序值最靠前的参照物，确定一个重心作为静止坐标系的原点，来获取待识别物体的运动距离，从而判定运动状态。

在一实施例中，如图8所示，步骤S14根据待识别物体相对于m个参照物的移动距离及m个参照物的静止权值，判定待识别物体的运动状态，包括：获取待识别物体的加权运动值D：

其中m为相邻两帧中相同参照物的个数，d_i表示待识别物体相对于第i个参照物的移动值，若待识别物体相对于第i个参照物的移动距离小于预设距离阈值，则d_i＝0，若待识别物体相对于第i个参照物的移动距离大于预设距离阈值，则d_i＝1，ω_i表示第i个参照物的静止权值；若加权运动值大于设定运动阈值，则标记待识别物体为运动物体；若加权运动值小于或等于设定运动阈值，则标记待识别物体为静止物体。在一个具体的实施例中，运动阈值可以取值0.5。

例如，对于目标物体A，若同时存在与第n帧和第n-1帧中的m个参照物，将所有基于m个静止物体的计算结果乘以步骤S16中设定的权值后相加，再除以静止物体总数m，若结果大于给定阈值0.5，则认为该物体在第n-1帧和第n帧中都是移动的，否则认为静止。通过上述运算，直接用算法对物体的运动状态直接进行标记，减少了人工标注的工作量，极大提高了标注效率。

在一实施例中，如图9所示，方法还包括，步骤S17，若所述待识别物体的运动状态连续两次的判断结果不同，则标记前一帧中所述待识别物体为运动物体。

例如，目标物体A在两次判断中出现分歧，在n-2帧和n-1帧中，通过上述步骤判断物体A为静止，在n-1帧和n帧中为判断为运动，则将n-1帧中，A物体的运动状态统一判定为运动。此时，n-2帧A物体静止，n-1帧时A物体确定为运动，n帧时，A物体为运动。上述情况可能发生在目标物体开始运动的时刻，也可能是连续运动情况下出现的偶然误判，将其状态标注为运动，可以有效避免误判情况，同时准确检测到物体的运动时刻，在处理时提前提升预警等级，提升车辆辅助驾驶任务的整体安全性。

根据本公开实施例的第二方面，如图10所示，提供一种在连续帧中识别物体运动状态的装置100，装置100包括：标注单元110，用于获取连续帧中的多物体的标注结果，标注结果为物体类别及区域；参照物确定单元120，用于根据所述标注结果，确定当前帧的多个参照物，参照物为相对于地面静止的物体；测距单元130，用于获取待识别物体相对于多个参照物的移动距离；状态识别单元140，用于根据移动距离确定待识别物体在当前帧的运动状态。

在一实施例中，连续帧是利用3D雷达获取的点云数据连续帧。

在一实施例中，参照物确定单元120包括：根据标注结果，对连续帧中的多物体编号，不同帧中的相同物体对应相同且唯一的编号；根据物体的类别，划分出静止类物体及非静止类物体，静止类物体为相对于地面静止的物体；将当前帧与上一帧中相同的静止类物体作为当前帧的参照物。

在一实施例中，如图11所示，装置100还包括：分类单元150，用于根据识别准确度及可移动程度对参照物进行分类；根据分类结果划分参照物的静止权值。

在一实施例中，测距单元130包括：若两个相邻帧中，含m个相同的参照物，m≥1，则基于m个参照物确定静止坐标系，得到相邻帧中待识别物体在静止坐标系中的坐标值；根据坐标值获得待识别物体的移动距离。

在一实施例中，测距单元130包括，当两个相邻帧中包含m个相同的参照物时，m≥1，以第i个参照物为坐标原点(i＝1,…,m)，确定相邻帧中待识别物体的坐标值；根据坐标值获得待识别物体相对于第i个参照物的移动距离。

在一实施例中，测距单元130还包括，当两个相邻帧中不包含相同的参照物时，根据待识别物体的标注结果确定待识别物体的运动状态。

在一实施例中，状态识别单元140包括：根据待识别物体相对于m个参照物的移动距离及m个参照物的静止权值，判定待识别物体的运动状态。

在一实施例中，状态识别单元140还包括：获取待识别物体的加权运动值D，

其中m为相邻两帧中相同参照物的个数，d_i表示待识别物体相对于第i个参照物的移动值，若待识别物体相对于第i个参照物的移动距离小于预设距离阈值，则d_i＝0，若待识别物体相对于第i个参照物的移动距离大于预设距离阈值，则d_i＝1，ω_i表示第i个参照物的静止权值；若加权运动值大于设定运动阈值，则标记待识别物体为运动物体；若加权运动值小于或等于设定运动阈值，则标记待识别物体为静止物体。

在一实施例中，如图12所示，装置100还包括，修正单元160，用于当待识别物体的运动状态连续两次的判断结果不同时，标记前一帧中待识别物体为运动物体。

参照图13，装置200可以包括以下一个或多个组件：处理组件202，存储器204，电源组件206，多媒体组件208，音频组件210，输入/输出(I/O)的接口212，传感器组件214，以及通信组件216。

处理组件202通常控制装置200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件202可以包括一个或多个处理器220来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件202可以包括一个或多个模块，便于处理组件202和其他组件之间的交互。例如，处理组件202可以包括多媒体模块，以方便多媒体组件208和处理组件202之间的交互。

存储器204被配置为存储各种类型的数据以支持在装置200的操作。这些数据的示例包括用于在装置200上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件206为装置200的各种组件提供电力。电源组件206可以包括电源管理***，一个或多个电源，及其他与为装置200生成、管理和分配电力相关联的组件。

多媒体组件208包括在所述装置200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件208包括一个前置摄像头和/或后置摄像头。当装置200处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。

音频组件210被配置为输出和/或输入音频信号。例如，音频组件210包括一个麦克风(MIC)，当装置200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器204或经由通信组件216发送。在一些实施例中，音频组件210还包括一个扬声器，用于输出音频信号。

I/O接口212为处理组件202和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件214包括一个或多个传感器，用于为装置200提供各个方面的状态评估。例如，传感器组件214可以检测到装置200的打开/关闭状态，组件的相对定位，例如所述组件为装置200的显示器和小键盘，传感器组件214还可以检测装置200或装置200一个组件的位置改变，用户与装置200接触的存在或不存在，装置200方位或加速/减速和装置200的温度变化。传感器组件214可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件214还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件214还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件216被配置为便于装置300和其他设备之间有线或无线方式的通信。装置200可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件216经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件216还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置200可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器204，上述指令可由装置200的处理器220执行以完成上述方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

图14是根据一示例性实施例示出的一种电子装置300的框图。例如，装置300可以被提供为一服务器。参照图14，装置300包括处理组件322，其进一步包括一个或多个处理器，以及由存储器342所代表的存储器资源，用于存储可由处理组件322的执行的指令，例如应用程序。存储器342中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件322被配置为执行指令，以执行上述方法。

装置300还可以包括一个电源组件326被配置为执行装置300的电源管理，一个有线或无线网络接口350被配置为将装置300连接到网络，和一个输入输出(I/O)接口358。装置300可以操作基于存储在存储器342的操作***，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (22)

1.一种在连续帧中识别物体运动状态的方法，其特征在于，所述方法包括：

获取连续帧中的多物体的标注结果，所述标注结果为物体类别及区域；

根据所述标注结果，确定当前帧的多个参照物，所述参照物为相对于地面静止的物体；

获取待识别物体相对于所述多个参照物的移动距离；

根据所述移动距离确定所述待识别物体在当前帧的运动状态。

2.根据权利要求1所述的在连续帧中识别物体运动状态的方法，其特征在于，所述连续帧是利用3D雷达获取的点云数据。

3.根据权利要求1所述的在连续帧中识别物体运动状态的方法，其特征在于，所述根据所述标注结果，确定当前帧的多个参照物，包括：

根据所述标注结果，对所述连续帧中的多物体编号，不同帧中的相同物体对应相同且唯一的编号；

根据所述物体的类别，划分出静止类物体及非静止类物体，所述静止类物体为相对于地面静止的物体；

将所述当前帧与上一帧中相同的静止类物体作为所述当前帧的参照物。

4.根据权利要求1所述的在连续帧中识别物体运动状态的方法，其特征在于，所述方法还包括：在确定所述连续帧中的多个参照物后，

根据识别准确度及可移动程度对所述参照物进行分类；

根据分类结果划分所述参照物的静止权值。

5.根据权利要求1所述的在连续帧中识别物体运动状态的方法，其特征在于，所述获取待识别物体相对于所述多个参照物的移动距离，包括：

若两个相邻帧中，含m个相同的参照物，m≥1，

则基于m个参照物确定静止坐标系，得到相邻帧中待识别物体在所述静止坐标系中的坐标值；

根据坐标值获得待识别物体的移动距离。

6.根据权利要求1所述的在连续帧中识别物体运动状态的方法，其特征在于，所述获取待识别物体相对于所述多个参照物的移动距离，包括：

若两个相邻帧中，包含m个相同的参照物，m≥1，

则以第i个参照物为坐标原点(i＝1,…,m)，确定相邻帧中所述待识别物体的坐标值；

根据所述坐标值获得所述待识别物体相对于第i个参照物的移动距离。

7.据权利要求6所述的在连续帧中识别物体运动状态的方法，其特征在于，所述获取待识别物体相对于所述多个参照物的移动距离，包括：

若两个相邻帧中，不包含相同的参照物，

则根据所述待识别物体的标注结果确定所述待识别物体的运动状态。

8.根据权利要求4所述的在连续帧中识别物体运动状态的方法，其特征在于，所述根据所述移动距离确定所述待识别物体在当前帧的运动状态，包括：

根据所述待识别物体相对于m个参照物的移动距离及所述m个参照物的静止权值，判定所述待识别物体的运动状态。

9.根据权利要求8所述的在连续帧中识别物体运动状态的方法，其特征在于，所述根据所述待识别物体相对于m个参照物的移动距离及所述m个参照物的静止权值，判定所述待识别物体的运动状态，包括：

获取所述待识别物体的加权运动值D：

其中m为相邻两帧中相同参照物的个数，d_i表示所述待识别物体相对于第i个参照物的移动值，若所述待识别物体相对于第i个参照物的移动距离小于预设距离阈值，则d_i＝0，若所述待识别物体相对于第i个参照物的移动距离大于预设距离阈值，则d_i＝1，ω_i表示第i个参照物的静止权值；

若所述加权运动值大于设定运动阈值，则标记所述待识别物体为运动物体；

若所述加权运动值小于或等于设定运动阈值，则标记所述待识别物体为静止物体。

10.根据权利要求1所述的在连续帧中识别物体运动状态的方法，其特征在于，所述方法还包括，

若所述待识别物体的运动状态连续两次的判断结果不同，则标记前一帧中所述待识别物体为运动物体。

11.一种在连续帧中识别物体运动状态的装置，其特征在于，所述装置包括：

标注单元，用于获取连续帧中的多物体的标注结果，所述标注结果为物体类别及区域；

参照物确定单元，用于根据所述标注结果，确定当前帧的多个参照物，所述参照物为相对于地面静止的物体；

测距单元，用于获取待识别物体相对于所述多个参照物的移动距离；

状态识别单元，用于根据所述移动距离确定所述待识别物体在当前帧的运动状态。

12.根据权利要求11所述的在连续帧中识别物体运动状态的装置，其特征在于，所述连续帧是利用3D雷达获取的点云数据连续帧。

13.根据权利要求12所述的在连续帧中识别物体运动状态的装置，其特征在于，所述参照物确定单元包括：

根据所述标注结果，对所述连续帧中的多物体编号，不同帧中的相同物体对应相同且唯一的编号；

根据所述物体的类别，划分出静止类物体及非静止类物体，所述静止类物体为相对于地面静止的物体；

将所述当前帧与上一帧中相同的静止类物体作为所述当前帧的参照物。

14.根据权利要求12所述的在连续帧中识别物体运动状态的装置，其特征在于，所述装置还包括：分类单元，

用于根据识别准确度及可移动程度对所述参照物进行分类；

根据分类结果划分所述参照物的静止权值。

15.根据权利要求11所述的在连续帧中识别物体运动状态的装置，其特征在于，所述获取待识别物体相对于所述多个参照物的移动距离，包括：

当两个相邻帧中，含m个相同的参照物时，m≥1，

基于m个参照物确定静止坐标系，得到相邻帧中待识别物体在所述静止坐标系中的坐标值；

根据坐标值获得待识别物体的移动距离。

16.根据权利要求12所述的在连续帧中识别物体运动状态的装置，其特征在于，所述测距单元包括：

当两个相邻帧中包含m个相同的参照物时，m≥1，

以第i个参照物为坐标原点(i＝1,…,m)，确定相邻帧中所述待识别物体的坐标值；

根据所述坐标值获得所述待识别物体相对于第i个参照物的移动距离。

17.据权利要求16所述的在连续帧中识别物体运动状态的装置，其特征在于，所述测距单元还包括：

当两个相邻帧中不包含相同的参照物时，

根据所述待识别物体的标注结果确定所述待识别物体的运动状态。

18.根据权利要求14所述的在连续帧中识别物体运动状态的装置，其特征在于，所述状态识别单元包括：

根据所述待识别物体相对于m个参照物的移动距离及所述m个参照物的静止权值，判定所述待识别物体的运动状态。

19.根据权利要求18所述的在连续帧中识别物体运动状态的装置，其特征在于，所述状态识别单元还包括：

获取所述待识别物体的加权运动值D：

其中m为相邻两帧中相同参照物的个数，d_i表示所述待识别物体相对于第i个参照物的移动值，若所述待识别物体相对于第i个参照物的移动距离小于预设距离阈值，则d_i＝0，若所述待识别物体相对于第i个参照物的移动距离大于预设距离阈值，则d_i＝1，ω_i表示第i个参照物的静止权值；

若所述加权运动值大于设定运动阈值，则标记所述待识别物体为运动物体；

若所述加权运动值小于或等于设定运动阈值，则标记所述待识别物体为静止物体。

20.根据权利要求11所述的在连续帧中识别物体运动状态的装置，其特征在于，所述装置还包括，

修正单元，用于当所述待识别物体的运动状态连续两次的判断结果不同时，标记前一帧中所述待识别物体为运动物体。

21.一种电子设备，其特征在于，包括：

存储器，用于存储指令；以及

处理器，用于调用所述存储器存储的指令执行如权利要求1至10中任一项所述的在连续帧中识别物体运动状态的方法。

22.一种计算机可读存储介质，其特征在于，存储有指令，所述指令被处理器执行时，执行如权利要求1至10中任一项所述的在连续帧中识别物体运动状态的方法。

Images