CN110378176A - 基于双目相机的物体标识方法、***、设备和存储介质 - Google Patents

Abstract

本发明公开了一种基于双目相机的物体标识方法、***、设备和存储介质，其中物体标识方法包括：双目相机拍摄获得原始图像；处理原始图像，获得对应的RGB图像和深度图像；对RGB图像进行机器学习，获得至少一个物体的至少一个原始像素点，进而生成每个物体的像素点集合；对于每一像素点集合，确定每一原始像素点在深度图像中对应位置处的原始深度点，并根据确定的原始深度点确定至少一个原始聚类中心，对深度图像进行聚类，获得多个深度点，进而获得已识别点集合，将已识别点集合标识为像素点集合所表示的物体。本发明以像素点集合为引在深度图像中分别进行聚类，以获得与像素点集合匹配的已识别点集合，如此十分准确地标识出图像中的物体。

Description

基于双目相机的物体标识方法、***、设备和存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于双目相机的物体标识方法、***、设备和存储介质。

背景技术

在无人驾驶技术领域，当前通常采用以下方案来标识物体：

基于单目相机来进行物体的标识，具体地，将单目相机获得的一帧RGB (三原色光模式)图像输入到经训练的学习网络中，以获得一系列的识别框，其中，每个识别框框示一个物体并标示该物体的种类。但是，在识别框中包括多个其他物体的情况下，对物体的种类的标识容易出错，造成标识准确率的降低。

基于双目相机来进行物体的标识，具体地，对双目相机获得的3D(3 dimensional，三维)点云数据进行欧式聚类或者其他聚类，以获得一系列的聚类BOX(长方体)框，其中，每个聚类BOX框包含一个聚类物体，进而根据BOX模型和先验库中典型BOX的尺寸匹配来识别聚类物体的种类。但是，对点云进行聚类处理其计算量较大，并且上述尺寸匹配的方式识别率较低，存在大量误识别以及漏识别的情况，进而标识准确率也比较低。

基于单目相机和激光雷达的组合来进行物体的标识，具体地，该方案仍需将RGB图像输入经训练的学习网络中，以获得一系列的识别框，从而该方案在识别框中包括多个其他物体的情况下，也容易造成标识准确率的降低。

发明内容

本发明要解决的技术问题是为了克服现有技术中对物体的标识准确率较低的缺陷，提供一种对物体的标识准确率较低。

本发明是通过下述技术方案来解决上述技术问题：

一种基于双目相机的物体标识方法，其特点在于，所述物体标识方法包括：

双目相机拍摄获得原始图像；

处理所述原始图像，获得RGB图像和深度图像，所述RGB图像的像素点与所述深度图像的深度点的位置相对应；

对所述RGB图像进行机器学习，获得所述RGB图像中至少一个物体的至少一个原始像素点，根据每个物体的原始像素点生成每个物体的像素点集合；

对于每一像素点集合，确定每一原始像素点在所述深度图像中对应位置处的原始深度点，并根据确定的原始深度点确定至少一个原始聚类中心，对所述深度图像进行聚类，获得多个深度点，进而获得包括所述多个深度点的已识别点集合，将所述已识别点集合标识为所述像素点集合所表示的物体。

较佳地，所述根据确定的原始深度点确定至少一个原始聚类中心的步骤具体包括：

检测每一原始深度点是否对应有深度值；

选取所有对应有深度值的原始深度点作为原始聚类中心。

较佳地，所述对所述深度图像进行聚类的步骤具体包括：

对于每一原始聚类中心，均执行聚类操作；

判断经由所述聚类操作是否产生新的聚类中心，所述新的聚类中心的深度值满足第一预设条件并且与当前聚类中心之间的距离满足第二预设条件；

若是，则对每一新的聚类中心均重复执行所述聚类操作，并返回所述判断经由所述聚类操作是否产生新的聚类中心的步骤。

较佳地，所述物体标识方法还包括：

对所述深度图像中不包括在所有已识别点集合中的深度点进行聚类，获得至少一个未识别点集合，并将所述未识别点集合标识为未知物体。

较佳地，所述物体标识方法还包括：

根据已识别点集合来进一步标识所述已识别点集合标识的物体的位置信息；

根据未识别点集合来进一步标识所述未识别点集合标识的未知物体的位置信息。

较佳地，所述物体标识方法还包括：

输出已识别点集合，以及所述已识别点集合标识的物体、物体的位置信息；

输出未识别点集合，以及所述未识别点集合标识的未知物体、未知物体的位置信息。

一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特点在于，所述处理器执行所述计算机程序时实现上述任一种基于双目相机的物体标识方法。

一种计算机可读存储介质，其上存储有计算机程序，其特点在于，所述计算机程序被处理器执行时实现上述任一种基于双目相机的物体标识方法的步骤。

一种基于双目相机的物体标识***，其特点在于，所述物体标识***包括：

双目相机，用于拍摄以获得原始图像；

处理模块，用于处理所述原始图像，获得RGB图像和深度图像，所述 RGB图像的像素点与所述深度图像的深度点的位置相对应；

学习模块，用于对所述RGB图像进行机器学习，获得所述RGB图像中至少一个物体的至少一个原始像素点，根据每个物体的原始像素点生成每个物体的像素点集合；

聚类模块，对于每一像素点集合，用于确定每一原始像素点在所述深度图像中对应位置处的原始深度点，并根据确定的原始深度点确定至少一个原始聚类中心，对所述深度图像进行聚类，获得多个深度点，进而获得包括所述多个深度点的已识别点集合，将所述已识别点集合标识为所述像素点集合所表示的物体。

较佳地，所述聚类模块包括：

检测单元，用于检测每一原始深度点是否对应有深度值；

选取单元，用于选取所有对应有深度值的原始深度点作为原始聚类中心。

较佳地，所述聚类模块包括：

聚类单元，对于每一原始聚类中心，均用于执行聚类操作；

判断单元，用于判断经由所述聚类操作是否产生新的聚类中心，所述新的聚类中心的深度值满足第一预设条件并且与当前聚类中心之间的距离满足第二预设条件；

若是，则调用所述聚类单元对每一新的聚类中心均重复执行所述聚类操作，并继续执行判断动作。

较佳地，所述聚类单元还用于对所述深度图像中不包括在所有已识别点集合中的深度点进行聚类，获得至少一个未识别点集合，并将所述未识别点集合标识为未知物体。

较佳地，所述物体标识***还包括：

位置信息标识模块，用于根据已识别点集合来进一步标识所述已识别点集合标识的物体的位置信息，以及用于根据未识别点集合来进一步标识所述未识别点集合标识的未知物体的位置信息。

较佳地，所述物体标识***还包括：

输出模块，用于输出已识别点集合，以及所述已识别点集合标识的物体、物体的位置信息，以及用于输出未识别点集合，以及所述未识别点集合标识的未知物体、未知物体的位置信息。

本发明的积极进步效果在于：本发明首先基于双目相机获得的一组RGB 图像和深度图像，进而对RGB图像进行机器学习以获得标识物体种类的像素点集合，再以像素点集合为引在深度图像中分别进行聚类，以获得与RGB 图像中像素点集合匹配的深度图像中的已识别点集合，如此十分准确地标识出图像中的物体。

附图说明

图1为根据本发明实施例1的基于双目相机的物体标识方法的流程图。

图2为根据本发明实施例1的基于双目相机的物体标识方法中步骤S4 的流程图。

图3为根据本发明实施例2的电子设备的硬件结构示意图。

图4为根据本发明实施例4的基于双目相机的物体标识方法的流程图。

图5为根据本发明实施例7的基于双目相机的物体标识***的模块示意图。

具体实施方式

下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。

实施例1

本实施例提供一种基于双目相机的物体标识方法，图1示出了本实施例的流程图。参见图1，本实施例的物体标识方法包括：

S1、双目相机拍摄获得原始图像；

S2、处理原始图像，获得RGB图像和深度图像；

在上述步骤中，双目相机中的左目相机用于拍摄以获得左图，右目相机同时用于拍摄以获得右图，该左图和右图经匹配之后，得到一组RGB图像和深度图像，从而同组RGB图像和深度图像中，RGB图像的像素点与深度图像的深度点的位置相对应。

S3、对RGB图像进行机器学习，获得RGB图像中至少一个物体的至少一个原始像素点，根据每个物体的原始像素点生成每个物体的像素点集合；

在该步骤中，可以利用机器学习的方法训练分类网络，对RGB图像进行行人、车辆、垃圾箱、树木等常见物体的识别，进而可以将RGB图像中的像素点表示为已识别的物体。其中，可以从表示同一已识别的物体的多个像素点中抽取至少一个像素点作为该已识别物体的关键点(原始像素点)，例如，已识别的物体是车辆，那么可以表示车灯、牌照处的像素点作为原始像素点。原始像素点可以像素点集合的形式输出，从而，每个像素点集合包括至少一个原始像素点并表示一个已识别的物体。进一步地，还可以计算并标识每一像素点集合的识别置信度。

S4、对于每一像素点集合，确定每一原始像素点在深度图像中对应位置处的原始深度点，并根据确定的原始深度点确定至少一个原始聚类中心，对深度图像进行聚类，获得多个深度点，进而获得包括多个深度点的已识别点集合，将已识别点集合标识为像素点集合所表示的物体。

具体地，参见图2，该步骤可以包括：

S41、检测每一原始深度点是否对应有深度值；

S42、选取所有对应有深度值的原始深度点作为原始聚类中心；

在上述步骤中，可以首先根据原始像素点确定深度图像中对应位置处的原始深度点，进而判断一原始深度点是否具有深度值，若具有深度值，那么该原始深度点是有效点，令该原始深度点为原始聚类中心；若不具有深度值，那么该原始深度点不是有效点，则继续检测另一原始深度点是否具有深度值，直至从所有原始深度点中选取出所有原始聚类中心。

参见图2，在步骤S42之后，步骤S4还可以包括：

S43、对于每一原始聚类中心，执行聚类操作；

S44、判断经由聚类操作是否产生新的聚类中心；

若是，则转至步骤S45；若否，则停止执行聚类操作；

S45、对每一新的聚类中心均重复执行聚类操作，并返回步骤S44。

在上述步骤中，基于原始聚类中心对深度图像进行聚类时，该原始聚类中心即为上述像素点集合表示的已识别物体的内点，可以对该原始聚类中心附近的深度点进行FLOODFILL(泛洪填充算法)填充，具体地，判断该原始聚类中心附近是否存在深度值满足第一预设条件(可以根据具体应用自定义设置)并且与当前聚类中心之间的距离满足第二预设条件(可以根据具体应用自定义设置)的新的聚类中心，其中，新的聚类中心与原始聚类中心同属上述像素点集合表示的已识别物体的内点。

之后，遍历各个新的聚类中心，重复执行上述聚类操作，并判断经由聚类操作是否产生新的聚类中心，如此继续对深度图像进行聚类，直至没有产生新的聚类中心，以实现对该已识别物体的聚类，获得所有被标识为上述已识别物体内点的深度点，进而获得包括所有被标识为上述已识别物体内点的深度点的已识别点集合。

进一步地，在该步骤中，可能存在一较佳的原始聚类中心，根据该原始聚类中心对深度图像进行聚类得到初始已识别点集合后，根据其他原始聚类中心进行聚类操作，无法产生新的聚类中心，也即，初始已识别点集合即为最终获得的已识别点集合。

当然，在该步骤中，也可能存在这样的原始聚类中心，根据该原始聚类中心对深度图像进行聚类后得到初始已识别点集合后，根据另一原始聚类中心进行聚类操作，产生了新的聚类中心，也即，对初始已识别点集合进行了更新，具体地，更新了并未包括所有实质上属于上述已识别物体内点的深度点的已识别点集合。例如，上述已识别物体是树木，其中间躯干部分被遮挡，那么以遮挡部分以下的深度点为聚类中心进行聚类时，其遮挡部分以上的部分可能因为与聚类中心之间的距离不满足第二预设条件而未被标识为树木的内点，但实际上遮挡部分以上的部分仍应当属于树木的内点。于是，本实施例能够使得对深度图像进行聚类后所获得的已识别点集合包括所有实质上属于上述已识别物体内点的深度点。

此外，已经在深度图像中匹配出与RGB图像中像素点集合对应的已识别点集合，那么，可以将已识别点集合标识为其对应的像素点集合所表示的物体，实现对物体种类的标识。

进一步地，在本实施例中，还可以根据已识别点集合，结合双目相机的参数等，将其中的深度点转换成三维坐标，从而标识该已识别点集合所标识的物体的位置信息，进而可以确定该物体的轮廓、体积等。

进一步地，在本实施例中，还可以输出已识别点集合，以及已识别点集合标识的物体、物体的位置信息。

在本实施例中，首先基于双目相机获得的一组RGB图像和深度图像，进而对RGB图像进行机器学习以获得标识物体种类的像素点集合，再以像素点集合为引在深度图像中分别进行聚类，以获得与RGB图像中像素点集合匹配的深度图像中的已识别点集合，如此十分准确地标识出图像中的物体种类、位置、体积等。

实施例2

本实施例提供一种电子设备，电子设备可以通过计算设备的形式表现 (例如可以为服务器设备)，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中处理器执行计算机程序时可以实现实施例 1提供的基于双目相机的物体标识方法。

图3示出了本实施例的硬件结构示意图，如图3所示，电子设备9具体包括：

至少一个处理器91、至少一个存储器92以及用于连接不同***组件(包括处理器91和存储器92)的总线93，其中：

总线93包括数据总线、地址总线和控制总线。

存储器92包括易失性存储器，例如随机存取存储器(RAM)921和/或高速缓存存储器922，还可以进一步包括只读存储器(ROM)923。

存储器92还包括具有一组(至少一个)程序模块924的程序/实用工具 925，这样的程序模块924包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

处理器91通过运行存储在存储器92中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1所提供的基于双目相机的物体标识方法。

电子设备9进一步可以与一个或多个外部设备94(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口95进行。并且，电子设备9还可以通过网络适配器96与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器96通过总线93与电子设备9的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备9使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)***、磁带驱动器以及数据备份存储***等。

应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

实施例3

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例1提供的基于双目相机的物体标识方法。

其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。

在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1中的基于双目相机的物体标识方法。

其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。

实施例4

本实施例提供的基于双目相机的物体标识方法是对实施例1的进一步改进，图4示出了本实施例的流程图。参见图4，本实施例较之实施例1的改进在于，在步骤S4之后，本实施例的物体标识方法还包括：

S5、对深度图像中不包括在所有已识别点集合中的深度点进行聚类，获得至少一个未识别点集合，并将未识别点集合标识为未知物体；

在该步骤之前，已经就RGB图像各像素点集合在深度图像中进行聚类得到各已识别点集合，从而对于深度图像中不包括在已识别点集合中的深度点，其在RGB图像中对应位置处的像素点即为经机器学习而未被识别出来的像素点，进而，在深度图像中，对于这些深度点进行聚类，可以将深度图像中未被识别出来的物体以未识别点集合的形式表现出来。之后，在该步骤中，可以将未识别点集合标识为未知物体，实现对未知物体的标识。

进一步地，在本实施例中，还可以根据未识别点集合，结合双目相机的参数等，将其中的深度点转换成三维坐标，从而标识该未识别点集合所标识的未知物体的位置信息，进而可以确定该未知物体的轮廓、体积等。

进一步地，在本实施例中，还可以输出未识别点集合，以及未识别点集合标识的未知物体、未知物体的位置信息。

本实施例在实施例1的基础上，对深度图像中不包括在已识别点集合中的深度点进行聚类，以获得标识为未知物体的未识别点集合，进而可以十分准确地标识出图像中未知物体的位置、体积等。

实施例5

本实施例提供一种电子设备，电子设备可以通过计算设备的形式表现 (例如可以为服务器设备)，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中处理器执行计算机程序时可以实现实施例 4提供的基于双目相机的物体标识方法。

实施例6

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例4提供的基于双目相机的物体标识方法。

实施例7

本实施例提供一种基于双目相机的物体标识***，图5示出了本实施例的模块示意图。参见图5，本实施例的物体标识***包括：双目相机1、处理模块2、学习模块3、聚类模块4、位置信息标识模块5、输出模块6。具体地：

双目相机1用于拍摄获得原始图像，处理模块2用于处理原始图像，获得RGB图像和深度图像。其中，双目相机1中的左目相机用于拍摄以获得左图，右目相机同时用于拍摄以获得右图，该左图和右图经匹配之后，得到一组RGB图像和深度图像，从而同组RGB图像和深度图像中，RGB图像的像素点与深度图像的深度点的位置相对应。

学习模块3用于对RGB图像进行机器学习，获得RGB图像中至少一个物体的至少一个原始像素点，根据每个物体的原始像素点生成每个物体的像素点集合。具体地，可以利用机器学习的方法训练分类网络，对RGB图像进行行人、车辆、垃圾箱、树木等常见物体的识别，进而可以将RGB图像中的像素点表示为已识别的物体。其中，可以从表示同一已识别的物体的多个像素点中抽取至少一个像素点作为该已识别物体的关键点(原始像素点)，例如，已识别的物体是车辆，那么可以表示车灯、牌照处的像素点作为原始像素点。原始像素点可以像素点集合的形式输出，从而，每个像素点集合包括至少一个原始像素点并表示一个已识别的物体。进一步地，还可以计算并标识每一像素点集合的识别置信度。

聚类模块4用于对于每一像素点集合，确定每一原始像素点在深度图像中对应位置处的原始深度点，并根据确定的原始深度点确定至少一个原始聚类中心，对深度图像进行聚类，获得多个深度点，进而获得包括多个深度点的已识别点集合，将已识别点集合标识为像素点集合所表示的物体。参见图 5，聚类模块4包括：检测单元41、选取单元42、聚类单元43、判断单元 44。

其中，检测单元41用于检测每一原始深度点是否对应有深度值，选取单元42用于选取所有对应有深度值的原始深度点作为原始聚类中心。具体地，可以首先根据原始像素点确定深度图像中对应位置处的原始深度点，进而判断一原始深度点是否具有深度值，若具有深度值，那么该原始深度点是有效点，令该原始深度点为原始聚类中心；若不具有深度值，那么该原始深度点不是有效点，则继续检测另一原始深度点是否具有深度值，直至从所有原始深度点中选取出所有原始聚类中心。

聚类单元43用于对于每一原始聚类中心，执行聚类操作，判断单元44 用于判断经由聚类操作是否产生新的聚类中心，若判断为是，则调用聚类单元43对每一新的聚类中心均重复执行上述聚类操作，并继续执行判断动作；若判断为否，则停止调用聚类单元43。

具体地，聚类单元43基于原始聚类中心对深度图像进行聚类时，该原始聚类中心即为上述像素点集合表示的已识别物体的内点，可以对该原始聚类中心附近的深度点进行FLOODFILL(泛洪填充算法)填充，具体地，判断单元44判断该原始聚类中心附近是否存在深度值满足第一预设条件(可以根据具体应用自定义设置)并且与当前聚类中心之间的距离满足第二预设条件(可以根据具体应用自定义设置)的新的聚类中心，其中，新的聚类中心与原始聚类中心同属上述像素点集合表示的已识别物体的内点。

之后，遍历各个新的聚类中心，聚类单元43重复执行上述聚类操作，判断单元44判断经由聚类操作是否产生新的聚类中心，如此继续对深度图像进行聚类，直至没有产生新的聚类中心，以实现对该已识别物体的聚类，获得所有被标识为上述已识别物体内点的深度点，进而获得包括所有被标识为上述已识别物体内点的深度点的已识别点集合。

进一步地，可能存在一较佳的原始聚类中心，根据该原始聚类中心对深度图像进行聚类得到初始已识别点集合后，根据其他原始聚类中心进行聚类操作，无法产生新的聚类中心，也即，初始已识别点集合即为最终获得的已识别点集合。

当然，也可能存在这样的原始聚类中心，根据该原始聚类中心对深度图像进行聚类后得到初始已识别点集合后，根据另一原始聚类中心进行聚类操作，产生了新的聚类中心，也即，对初始已识别点集合进行了更新，具体地，更新了并未包括所有实质上属于上述已识别物体内点的深度点的已识别点集合。例如，上述已识别物体是树木，其中间躯干部分被遮挡，那么以遮挡部分以下的深度点为聚类中心进行聚类时，其遮挡部分以上的部分可能因为与聚类中心之间的距离不满足第二预设条件而未被标识为树木的内点，但实际上遮挡部分以上的部分仍应当属于树木的内点。于是，本实施例能够使得对深度图像进行聚类后所获得的已识别点集合包括所有实质上属于上述已识别物体内点的深度点。

此外，已经在深度图像中匹配出与RGB图像中像素点集合对应的已识别点集合，那么，可以将已识别点集合标识为其对应的像素点集合所表示的物体，实现对物体种类的标识。

进一步地，在本实施例中，位置信息标识模块5可以根据已识别点集合，结合双目相机的参数等，将其中的深度点转换成三维坐标，从而标识该已识别点集合所标识的物体的位置信息，进而可以确定该物体的轮廓、体积等。

进一步地，在本实施例中，输出模块6可以用于输出已识别点集合，以及已识别点集合标识的物体、物体的位置信息。

在本实施例中，首先基于双目相机获得的一组RGB图像和深度图像，进而对RGB图像进行机器学习以获得标识物体种类的像素点集合，再以像素点集合为引在深度图像中分别进行聚类，以获得与RGB图像中像素点集合匹配的深度图像中的已识别点集合，如此十分准确地标识出图像中的物体种类、位置、体积等。

实施例8

本实施例提供的基于双目相机的物体标识***是对实施例7的进一步改进。

在实施例7的基础上，已经就RGB图像各像素点集合在深度图像中进行聚类得到各已识别点集合，从而对于深度图像中不包括在已识别点集合中的深度点，其在RGB图像中对应位置处的像素点即为经机器学习而未被识别出来的像素点。进而，在本实施例中，聚类模块4还用于对深度图像中的这些深度点进行聚类，以将深度图像中未被识别出来的物体以未识别点集合的形式表现出来，并将未识别点集合标识为未知物体，实现对未知物体的标识。

进一步地，在本实施例中，位置信息标识模块5还可以根据未识别点集合，结合双目相机的参数等，将其中的深度点转换成三维坐标，从而标识该未识别点集合所标识的未知物体的位置信息，进而可以确定该未知物体的轮廓、体积等。

进一步地，在本实施例中，输出模块6还可以用于输出未识别点集合，以及未识别点集合标识的未知物体、未知物体的位置信息。

本实施例在实施例7的基础上，对深度图像中不包括在已识别点集合中的深度点进行聚类，以获得标识为未知物体的未识别点集合，进而可以十分准确地标识出图像中未知物体的位置、体积等。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (14)

1.一种基于双目相机的物体标识方法，其特征在于，所述物体标识方法包括：

双目相机拍摄获得原始图像；

处理所述原始图像，获得RGB图像和深度图像，所述RGB图像的像素点与所述深度图像的深度点的位置相对应；

对所述RGB图像进行机器学习，获得所述RGB图像中至少一个物体的至少一个原始像素点，根据每个物体的原始像素点生成每个物体的像素点集合；

对于每一像素点集合，确定每一原始像素点在所述深度图像中对应位置处的原始深度点，并根据确定的原始深度点确定至少一个原始聚类中心，对所述深度图像进行聚类，获得多个深度点，进而获得包括所述多个深度点的已识别点集合，将所述已识别点集合标识为所述像素点集合所表示的物体。

2.如权利要求1所述的基于双目相机的物体标识方法，其特征在于，所述根据确定的原始深度点确定至少一个原始聚类中心的步骤具体包括：

检测每一原始深度点是否对应有深度值；

选取所有对应有深度值的原始深度点作为原始聚类中心。

3.如权利要求2所述的基于双目相机的物体标识方法，其特征在于，所述对所述深度图像进行聚类的步骤具体包括：

对于每一原始聚类中心，均执行聚类操作；

判断经由所述聚类操作是否产生新的聚类中心，所述新的聚类中心的深度值满足第一预设条件并且与当前聚类中心之间的距离满足第二预设条件；

若是，则对每一新的聚类中心均重复执行所述聚类操作，并返回所述判断经由所述聚类操作是否产生新的聚类中心的步骤。

4.如权利要求1所述的基于双目相机的物体标识方法，其特征在于，所述物体标识方法还包括：

对所述深度图像中不包括在所有已识别点集合中的深度点进行聚类，获得至少一个未识别点集合，并将所述未识别点集合标识为未知物体。

5.如权利要求4所述的基于双目相机的物体标识方法，其特征在于，所述物体标识方法还包括：

根据已识别点集合来进一步标识所述已识别点集合标识的物体的位置信息；

根据未识别点集合来进一步标识所述未识别点集合标识的未知物体的位置信息。

6.如权利要求5所述的基于双目相机的物体标识方法，其特征在于，所述物体标识方法还包括：

输出已识别点集合，以及所述已识别点集合标识的物体、物体的位置信息；

输出未识别点集合，以及所述未识别点集合标识的未知物体、未知物体的位置信息。

7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6中任一项所述的基于双目相机的物体标识方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的基于双目相机的物体标识方法的步骤。

9.一种基于双目相机的物体标识***，其特征在于，所述物体标识***包括：

双目相机，用于拍摄以获得原始图像；

处理模块，用于处理所述原始图像，获得RGB图像和深度图像，所述RGB图像的像素点与所述深度图像的深度点的位置相对应；

学习模块，用于对所述RGB图像进行机器学习，获得所述RGB图像中至少一个物体的至少一个原始像素点，根据每个物体的原始像素点生成每个物体的像素点集合；

聚类模块，对于每一像素点集合，用于确定每一原始像素点在所述深度图像中对应位置处的原始深度点，并根据确定的原始深度点确定至少一个原始聚类中心，对所述深度图像进行聚类，获得多个深度点，进而获得包括所述多个深度点的已识别点集合，将所述已识别点集合标识为所述像素点集合所表示的物体。

10.如权利要求9所述的基于双目相机的物体标识***，其特征在于，所述聚类模块包括：

检测单元，用于检测每一原始深度点是否对应有深度值；

选取单元，用于选取所有对应有深度值的原始深度点作为原始聚类中心。

11.如权利要求10所述的基于双目相机的物体标识***，其特征在于，所述聚类模块包括：

聚类单元，对于每一原始聚类中心，均用于执行聚类操作；

判断单元，用于判断经由所述聚类操作是否产生新的聚类中心，所述新的聚类中心的深度值满足第一预设条件并且与当前聚类中心之间的距离满足第二预设条件；

若是，则调用所述聚类单元对每一新的聚类中心均重复执行所述聚类操作，并继续执行判断动作。

12.如权利要求9所述的基于双目相机的物体标识***，其特征在于，所述聚类单元还用于对所述深度图像中不包括在所有已识别点集合中的深度点进行聚类，获得至少一个未识别点集合，并将所述未识别点集合标识为未知物体。

13.如权利要求12所述的基于双目相机的物体标识***，其特征在于，所述物体标识***还包括：

位置信息标识模块，用于根据已识别点集合来进一步标识所述已识别点集合标识的物体的位置信息，以及用于根据未识别点集合来进一步标识所述未识别点集合标识的未知物体的位置信息。

14.如权利要求13所述的基于双目相机的物体标识***，其特征在于，所述物体标识***还包括：

输出模块，用于输出已识别点集合，以及所述已识别点集合标识的物体、物体的位置信息，以及用于输出未识别点集合，以及所述未识别点集合标识的未知物体、未知物体的位置信息。