CN110081862B - 一种对象的定位方法、定位装置、电子设备和可存储介质 - Google Patents

Abstract

本发明实施例涉及智能定位领域，公开了一种对象的定位方法、定位装置、电子设备和可存储介质。本发明中提供了一种对象的定位方法，与目标对象相关的参考平面预设有特征图案，参考平面为有限大小，定位方法，包括：根据特征图案从采集到的图像中识别出参考平面；获取参考平面的中心位置；根据已知的偏移量和参考平面的中心位置，计算出目标对象的位置，其中，偏移量为参考平面的中心位置至目标对象的位置差。上述方案使得提供了一种新的定位方法，保证对目标对象定位的准确度和精确度。

Description

一种对象的定位方法、定位装置、电子设备和可存储介质

技术领域

本发明实施例涉及智能定位领域，特别涉及对象的定位方法、定位装置、电子设备和可存储介质。

背景技术

随着机器人技术的日新月异，人们越来越寄希望于看到机器人拥有和人类类似的外形，能够像正常人那样完成接咖啡、按电梯等自由操作。伴随着Boston robots(波士顿机器人)和日本的仿人类机器人不断推出，让机器人长得越来越像人已经基本实现了，但是要让机器人如同人一样去执行一些精细的操作，比如从杂乱的桌面上拿起一个苹果，拿着杯子去接咖啡等等还显得非常吃力，主要原因是机器人定位这些复杂的物体精度不高，机械结构执行也有累积误差导致。

现有技术中，定位目标对象时大致有两种方案：一种是通过二维图像(如RGB图)采集设备采集目标对象所在位置的图像，利用二维图像采集设备中设备的相差等参数计算采集设备到目标对象的距离，从而根据采集设备本身的坐标计算出目标对象的空间坐标；另一种是通过三维图像(如深度图)采集设备直接获取包括目标对象的图像，并根据目标对象的特征寻找出目标对象所在的位置。

本申请的发明人发现：现有第一种方案中，由于相差等参数存在一定误差，而且这种算法是估算，一系列误差累计后，使得无法获得目标对象的精确位置；现有第二种方案中，虽然直接获取的位置较为准确，但由于三维图像自身的特性，造成像素较低，在识别细小对象时，可能造成无法识别到，或者识别不准确等问题。

发明内容

本发明实施方式的目的在于提供一种对象的定位方法、定位装置、电子设备和可存储介质，使得提供了一种新的定位方法，保证对目标对象定位的准确度和精确度。

为解决上述技术问题，本发明的实施方式提供了一种对象的定位方法，与目标对象相关的参考平面预设有特征图案，所述参考平面为有限大小，所述定位方法，包括：根据所述特征图案从采集到的图像中识别出所述参考平面；获取所述参考平面的中心位置；根据已知的偏移量和所述参考平面的中心位置，计算出所述目标对象的位置，其中，所述偏移量为所述参考平面的中心位置至所述目标对象的位置差。

本发明的实施方式提供了一种对象的定位装置，与目标对象相关的参考平面预设有特征图案，所述参考平面为有限大小，所述定位装置，包括：参考平面确定模块，用于根据所述特征图案从采集到的图像中识别出所述参考平面；平面中心获取模块，用于获取所述参考平面的中心位置；位置确定模块，用于根据已知的偏移量和所述参考平面的中心位置，计算出所述目标对象的位置，其中，所述偏移量为所述参考平面的中心至所述目标对象的位置差。

本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述的对象的定位方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上述的对象的定位方法。

本发明实施方式相对于现有技术而言，利用预设的特征图案，较易定位到与对象相关的参考平面，之后获取参考平面的中心位置，根据已知的偏移量，求出按钮位置，由于先求出的参考平面中心位置，再利用已知的3D偏移量，直接求出目标对象的位置，没有中间累积误差，使得目标对象的定位结果稳定准确。本申请利用平面的位置信息和3D偏移量组合的方式，即保证深度距离准确，又保证识别时作为依据的图像像素足够，使得定位精准。再者，利用有限大小的参考平面进行定位，增大被识别目标的大小，更利于自动识别，即使应用于细小的目标对象的定位时也能保证准确性。

作为进一步改进，根据所述特征图案从采集到的图像中识别出所述参考平面，包括：根据特征点匹配的方式从采集到的图像中识别出所述特征图像，将所述特征图像所在平面确认为所述参考平面。本实施例明确参考平面识别的具体方法。

作为进一步改进，所述将所述特征图像所在平面确认为所述参考平面，包括：根据所述特征图案的灰度信息校准所述特征图案所在平面的位置，将校准后的平面确认为所述参考平面。本实施例利用灰度信息校准平面位置避免亮度的影响。

作为进一步改进，所述特征点匹配的方式包括：Sift算法和/或ORB算法。本实施例明确了特征点匹配的几种算法。

作为进一步改进，所述采集到的图像包括：二维图像和与所述二维图像对应的三维图像；所述根据所述特征图案从采集到的图像中识别出所述参考平面，具体为：根据所述特征图案从所述二维图像中识别出所述参考平面；所述获取所述参考平面的中心位置，具体为：从所述三维图像中获取所述参考平面的中心位置。本实施例利用二维图像识别特征图案，保证图案识别时的高像素，同时利用与二维图像对应的三维图像确认中心位置，保证确认出的空间位置的准确性。

作为进一步改进，所述从所述三维图像中获取所述参考平面的中心位置，具体为：利用区域生长算法从所述三维图像中获取所述参考平面的中心位置。本实施例在三维图像像素低的情况下，利用区域生长算法扩大参与计算的像素量，使计算结果更准确。

作为进一步改进，所述目标对象设置于第一平面；所述第一平面和所述参考平面的位置关系包括：所述参考平面为所述第一平面；或者，所述参考平面为所述第一平面上凸出部的顶面；或者，所述参考平面为所述第一平面上凹陷部的底面。本实施例明确参考平面和第一平面的位置关系，使得识别时更易找到参考平面，即使在目标对象较小的应用场景中，通过辨识度更好的参考平面作为定位参考，保证目标对象定位的准确。

作为进一步改进，所述偏移量由用户通过人机交互界面输入的指令获得。本实施例明确偏移量的来源。

作为进一步改进，所述目标对象的最长外径小于或等于预设值。本实施例明确应用于较小对象的场景。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是根据本发明第一实施方式中对象的定位方法流程图；

图2是根据本发明第一实施方式中对象的定位方法流程图中定位物体示意图；

图3是根据本发明第一实施方式中对象的定位方法流程图中另一定位物体示意图；

图4是根据本发明第一实施方式中对象的定位方法流程图中另一定位物体示意图；

图5是根据本发明第二实施方式中对象的定位方法流程图；

图6是根据本发明第三实施方式中对象的定位装置的示意图；

图7是根据本发明第四实施方式中电子设备的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

本发明的第一实施方式涉及一种对象的定位方法。本实施方式应用于一种包含图像采集装置的电子设备，如机器人，机器人在动作时，需要对目标对象进行定位，从而对目标对象进行操作，目标对象可以是面板上的按钮，如饮水机上的加热钮。其中，在目标对象的相关平面预设有特征图案，特征图案可以是二维码、自然图片，也可以是一张正常的具有纹理的任意图片。

本实施方式中对象的定位方法的流程如图1所示，具体如下：

步骤101，根据特征图案从采集到的图像中识别出参考平面。

具体的说，可以由电子设备自带的图像采集装置采集图像，也可以由独立于上述电子设备外的其他设备采集图像后发送至电子设备。电子设备获得采集到的图像后，根据预设的特征图案进行图像识别，目标对象所在的定位物体上有一块特征明显的参考平面。

本实施方式中以如图2所示的定位物体为例进行说明，定位物体包括第一平面1，第一平面上具有凸出部2，参考平面3为第一平面1上凸出部2的顶面，参考平面3上预设有特征图案4，目标对象可以是按钮5，按钮5设于第一平面1上，除按钮5以外，第一平面1上可能还有其他多个按钮。

更具体的说，本实施方式中采集到的图像可以是视频中的一帧，具体可以包括二维图像和与该二维图像对应的三维图像，本步骤具体根据特征图案从二维图像中识别出参考平面。

继续说明，根据特征点匹配的方式从采集到的图像中识别出特征图像，将特征图像所在平面确认为参考平面。其中，算法可以是SIFT(Scale-invariant featuretransform，尺度不变特征转换)算法或ORB(ORiented Brief)算法，也可以是上述两种算法的组合或其他特征匹配算法，在此不做限定。可见，本步骤基于传统的特征点匹配算子找到特征图案的大致区域，从而可以确定出图中哪部分为参考平面。

可以发现，本实施方式中的目标对象的最大外径小于或等于预设值(如2cm)，具体作为目标对象的按钮较为细小，如果直接对按钮进行识别，则需要图像具有较高的精度，本步骤识别参考平面上的特征图案，特征图案的尺寸相比按钮更大，识别时更容易被准确识别到。

步骤102，获取参考平面的中心位置。

具体的说，本步骤可以从上述三维图像中获取参考平面的中心位置。更具体的说，为避免三维图像像素点太少，影响定位准确度的问题，本实施方式可以利用区域生长算法从三维图像中获取参考平面的中心位置，具体计算方法如下：

step1:遍历特征图案区域，记录下所有3D点集s；

step2:根据s求得平面方程fs:Ax+By+Cz+D＝0；

step3:从s点集的中心开始，迭代遍历8邻域像素点到fs的距离：

如果|d|<ε(ε>0),将点(x,y,z)添加到3D平面点集S中；

step4:对S中的点执行空洞填充、边缘锐化等操作；

step5:取S的重心为参考平面的中心坐标M。

可见，在这个过程中，扩大了参与计算的像素量，使用更大面积参与计算，所以拥有更多数据量计算出的平面中心位置就更为准确稳定。

步骤103，根据已知的偏移量和参考平面的中心位置，计算出目标对象的位置。

具体的说，已知的偏移量可以预先收集，具体为参考平面的中心位置至目标对象的位置差。更具体的说，偏移量可以由用户通过人机交互界面输入的指令获得。

对预先收集方式进行举例说明：将采集到的图像显示于人机交互界面的显示屏，用户通过鼠标、触摸屏等交互设备在视频/图像上点击按钮图像坐标，电子设备在三维图像(如3D点云数据)中记录用户点击位置对应的3D坐标P1，记录下P1-M为按钮到参考平面的中心M的偏移坐标。上述过程为用户事先指定按钮相对于3D平面中心偏移量的过程即在***通过识别平面图案定位3D平面中心后，根据用户指令记录真实3D空间下按钮位置相对于3D平面坐标偏移量的过程。

此外，实际应用中还可以通过机器学***面中心M的偏移坐标。可见，偏移量的获取方式多样，在此不做限定。

继续说明，上述获得的偏移量可以存储于电子设备中，在需要定位按钮5时，就可以根据存储的偏移量和步骤102中计算出的参考平面的中心位置求出目标对象(即按钮5)的坐标。

继续说明，如果目标对象有多个，如需要定位多个按钮，则可以预先获得多个按钮的偏移量，在一个按钮的位置坐标计算完成后，继续根据其他按钮的偏移量计算其他按钮的位置坐标，直至所有按钮的位置坐标都获得，可见，这样在一次定位过程中，利用多个目标对象的偏移量，就可批量获取多个目标对象的位置坐标，准确方便，易于实现和推广。

从上述步骤101至步骤103来看，由于按钮5的实际位置不会移动，按钮5和参考平面的中心位置的偏移量固定，所以在识别按钮5时，只要能获得参考平面的中心位置，就可以通过偏移量计算出按钮5的位置。

可见，本实施方式相对于现有技术而言，利用预设的特征图案，较易定位到与对象相关的参考平面，之后获取参考平面的中心位置，根据已知的偏移量，求出按钮位置，由于先求出的参考平面中心位置，再利用已知的3D偏移量，直接求出目标对象的位置，没有中间累积误差，使得目标对象的定位结果稳定准确。本申请利用平面的位置信息和3D偏移量组合的方式，即保证深度距离准确，又保证识别时作为依据的图像像素足够，使得定位精准。再者，利用有限大小的参考平面进行定位，增大被识别目标的大小，更利于自动识别，即使应用于细小的目标对象的定位时也能保证准确性。另外，本实施方式中利用二维图像识别特征图案，保证图案识别时的高像素，同时利用与二维图像对应的三维图像确认中心位置，保证确认出的空间位置的准确性。再者，本实施例在三维图像像素低的情况下，利用区域生长算法扩大参与计算的像素量，使计算结果更准确。

此外，本实施方式中目标对象所在的定位物体如图2所示，参考平面为第一平面上凸出部的顶面，实际应用中，参考平面和第一平面的相对位置还可以是其他位置关系，如参考平面为第一平面上凹陷部的底面，或者，参考平面为第一平面(如图3所示)。此外，本实施方式中的凸出部以圆柱形凸出部为例，实际应用中也可以是方柱形凸出部(如图4所示)。

本发明的第二实施方式涉及一种对象的定位方法。第二实施方式是在第一实施方式的基础上进行了进一步改进，主要改进之处在于：在第一实施方式中，根据特征点匹配的方式从采集到的图像中识别出特征图像，将特征图像所在平面确认为参考平面。而在本发明第二实施方式中，在利用特征匹配出特征图像后，再利用特征图像的灰度信息校准特征图案所在平面的位置，将校准后的平面确认为参考平面，利用灰度信息校准，使得避免识别中亮度因素的影响，使得识别结果更为准确。

本实施方式中对象的定位方法的流程如图5所示，具体如下：

步骤501，根据特征点匹配的方式从采集到的图像中识别出特征图像。

具体的说，本步骤和第一实施方式中的步骤101相类似，基于传统的特征点匹配算子找到平面图案的大致区域。

步骤502，根据特征图案的灰度信息校准特征图案所在平面的位置，将校准后的平面确认为参考平面。

具体的说，本步骤对识别到的平面图案定位进行精细化处理，由于匹配过程容易受到光线变化的影响，提出一种亮度均衡的模板匹配算法，名为SND匹配，公式如下：

其中：f_(x-u,y-v)是搜索窗口灰度值，搜索窗口的范围可以是采集到的图像；

t^-1 _(x,y)＝255-t_(x,y)是特征图像的负片；

为搜索窗口与特征图像对应求和图像的平均值。

SND计算式考虑亮度对匹配的影响，将特征图像的灰度图取负片，然后与采集到的图像的灰度图上搜索窗口求和得到和图像，和图像上每个值与和图像的平均值之差代表了和图像数据的波动性，该波动越小说明匹配越准确，即SND匹配方法的值域为(0,1)，值越小越好。

如果SND_(u,v)<δ(δ>0)小于阈值，平面图案识别成功，继续执行下面步骤，如果识别不成功，可能发生未识别到或其他错误，则重新执行步骤501，再次识别。

上述步骤501至步骤502共同完成根据特征图案从采集到的图像中识别出参考平面的过程。

步骤503至步骤504与第一实施方式中的步骤102至步骤103相类似，在此不再赘述。

可见，本实施例在特征点识别的基础上利用灰度信息校准平面位置，避免亮度的影响，使得识别结果更为精准可靠。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明第三实施方式涉及一种对象的定位装置，如图6所示，具体如下：

本实施方式中与目标对象相关的参考平面预设有特征图案，参考平面为有限大小。

本实施方式中的定位装置，包括：

参考平面确定模块，用于根据特征图案从采集到的图像中识别出参考平面。

平面中心获取模块，用于获取参考平面的中心位置。

位置确定模块，用于根据已知的偏移量和参考平面的中心位置，计算出目标对象的位置，其中，偏移量为参考平面的中心至目标对象的位置差。

不难发现，本实施方式为与第一实施方式相对应的***实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本发明第四实施方式涉及一种电子设备，如图7所示，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述的第一实施方式或第二实施方式中对象的定位方法。

在一个例子中，本实施方式中的电子设备内置于机器人。

其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。

处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，***接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。

本发明第五实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (12)

1.一种对象的定位方法，其特征在于，与目标对象相关的参考平面预设有特征图案，所述参考平面为有限大小，所述定位方法，包括：

根据所述特征图案从采集到的图像中识别出所述参考平面；

获取所述参考平面的中心位置；

其中，所述获取所述参考平面的中心位置包括：

遍历所述特征图案区域，记录下所有3D点集s；

根据所述3D点集获取平面方程Ax+By+Cz+D＝0；

从所述3D点集的中心开始，迭代遍历8邻域像素点到所述平面方程的距离d，当所述距离满足预设条件时，将所述平面方程对应的点(x，y，z)添加到所述3D点集中，其中，距离d通过公式

获取；

对所述3D点集中的点进行空洞填充操作和边缘锐化操作获取所述3D点集的重心，将所述重心作为所述参考平面的中心位置；

根据已知的偏移量和所述参考平面的中心位置，计算出所述目标对象的位置，其中，所述偏移量为所述参考平面的中心位置至所述目标对象的位置差。

2.根据权利要求1所述的对象的定位方法，其特征在于，所述根据所述特征图案从采集到的图像中识别出所述参考平面，包括：根据特征点匹配的方式从采集到的图像中识别出所述特征图案，将所述特征图案所在平面确认为所述参考平面。

3.根据权利要求2所述的对象的定位方法，其特征在于，所述将所述特征图案所在平面确认为所述参考平面，包括：根据所述特征图案的灰度信息校准所述特征图案所在平面的位置，将校准后的平面确认为所述参考平面。

4.根据权利要求1至3中任意一项所述的对象的定位方法，其特征在于，所述采集到的图像包括：二维图像和与所述二维图像对应的三维图像；

所述根据所述特征图案从采集到的图像中识别出所述参考平面，具体为：根据所述特征图案从所述二维图像中识别出所述参考平面；

所述获取所述参考平面的中心位置，具体为：从所述三维图像中获取所述参考平面的中心位置。

5.根据权利要求4所述的对象的定位方法，其特征在于，所述从所述三维图像中获取所述参考平面的中心位置，具体为：利用区域生长算法从所述三维图像中获取所述参考平面的中心位置。

6.根据权利要求1所述的对象的定位方法，其特征在于，所述目标对象设置于第一平面；

所述第一平面和所述参考平面的位置关系包括：

所述参考平面为所述第一平面；或者，

所述参考平面为所述第一平面上凸出部的顶面；或者，

所述参考平面为所述第一平面上凹陷部的底面。

7.根据权利要求1所述的对象的定位方法，其特征在于，所述偏移量由用户通过人机交互界面输入的指令获得。

8.根据权利要求1所述的对象的定位方法，其特征在于，所述目标对象的最长外径小于或等于预设值。

9.一种对象的定位装置，其特征在于，与目标对象相关的参考平面预设有特征图案，所述参考平面为有限大小，所述定位装置，包括：

参考平面确定模块，用于根据所述特征图案从采集到的图像中识别出所述参考平面；平面中心获取模块，用于获取所述参考平面的中心位置；

其中，所述获取所述参考平面的中心位置包括：

遍历所述特征图案区域，记录下所有3D点集s；

根据所述3D点集获取平面方程Ax+By+Cz+D＝0；

从所述3D点集的中心开始，迭代遍历8邻域像素点到所述平面方程的距离d，当所述距离满足预设条件时，将所述平面方程对应的点(x，y，z)添加到所述3D点集中，其中，距离d通过公式

获取；

对所述3D点集中的点进行空洞填充操作和边缘锐化操作获取所述3D点集的重心，将所述重心作为所述参考平面的中心位置；

位置确定模块，用于根据已知的偏移量和所述参考平面的中心位置，计算出所述目标对象的位置，其中，所述偏移量为所述参考平面的中心至所述目标对象的位置差。

10.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8中任一所述的定位方法。

11.根据权利要求10所述的电子设备，其特征在于，所述电子设备内置于机器人。

12.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一所述的定位方法。

Images