CN115401689A - 基于单目相机的距离测量方法、装置以及计算机存储介质 - Google Patents

基于单目相机的距离测量方法、装置以及计算机存储介质 Download PDF

Info

Publication number
CN115401689A
CN115401689A CN202210919231.7A CN202210919231A CN115401689A CN 115401689 A CN115401689 A CN 115401689A CN 202210919231 A CN202210919231 A CN 202210919231A CN 115401689 A CN115401689 A CN 115401689A
Authority
CN
China
Prior art keywords
measured
point
distance
robot
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210919231.7A
Other languages
English (en)
Other versions
CN115401689B (zh
Inventor
李明军
唐明勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202210919231.7A priority Critical patent/CN115401689B/zh
Publication of CN115401689A publication Critical patent/CN115401689A/zh
Application granted granted Critical
Publication of CN115401689B publication Critical patent/CN115401689B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种基于单目相机的距离测量方法、装置以及计算机存储介质，该距离测量方法包括：在第一位置从所述单目相机的第一视野区域获取第一待测量图像，并确定所述第一待测量图像中的待测量点的图像坐标；基于所述机械臂的实际姿态信息，获取所述第一视野区域与所述机器人之间的相对位置信息；基于所述相对位置信息、所述第一待测量图像的尺寸信息以及所述待测量点的图像坐标，确定所述待测量点与所述机器人的第一实际距离。本申请的距离测量装置能够利用单目相机采集的图像，以及机器人与单目相机的相对位置关系测量视野范围内任意目标点与机器人的绝对距离，扩大了单目相机的应用能力和应用范围。

Description

基于单目相机的距离测量方法、装置以及计算机存储介质
技术领域
本申请涉及距离测量技术领域，特别是涉及一种基于单目相机的距离测量方法、装置以及计算机存储介质。
背景技术
目前，在自动汽车驾驶、扫地机器人等产品或领域，对目标物体进行较为精确的绝对距离的测量，是设备能否正常工作的前提条件。
目前测量距离的器件主要有如下几种：单目摄像头、双目摄像头、激光雷达、结构光摄像光以及超声波器件等。单目摄像头较其余几种器件而言，硬件成本较低，满足产品成本需求；然而，传统的针对单目摄像头的距离测量算法只能分辨出不同采集点的相对远近关系，无法得知采集点与单目摄像头之间的绝对距离，因此，单目摄像头在测量绝对距离时存在尺度不确定性问题。
发明内容
本申请提供一种基于单目相机的距离测量方法、装置以及计算机存储介质。
本申请采用的一个技术方案是提供一种基于单目相机的距离测量方法，所述距离测量方法应用于一种机器人，所述机器人的机械臂末端固定连接所述单目相机；
所述距离测量方法包括：
在第一位置从所述单目相机的第一视野区域获取第一待测量图像，并确定所述第一待测量图像中的待测量点的图像坐标；
基于所述机械臂的实际姿态信息，获取所述第一视野区域与所述机器人之间的相对位置信息；
基于所述相对位置信息、所述第一待测量图像的尺寸信息以及所述待测量点的图像坐标，确定所述待测量点与所述移动机器人的第一实际距离。
通过上述方式，距离测量装置仅需要根据单目相机采集的图像，以及机器人与单目相机的相对位置关系，即可测量视野范围内任意目标点与机器人的绝对距离，扩大了单目相机的应用能力和应用范围，且不需要增加额外部件、结构复杂性和硬件成本。
其中，所述确定所述待测量点与所述机器人的第一实际距离的步骤包括：
基于所述第一视野区域的尺寸信息、所述第一待测量图像的尺寸信息以及所述待测量点的图像坐标，确定所述待测量点投影到所述第一视野区域的投影光轴的第一测量距离；
基于所述第一视野区域的相对位置信息、所述第一待测量图像的尺寸信息、所述第一视野区域的尺寸信息以及所述待测量点的图像坐标，确定所述待测量点在所述投影光轴上的投影点到所述机器人的第二测量距离；
根据所述第一测量距离和所述第二测量距离，确定所述待测量点与所述机器人的第一实际距离；
其中，所述投影光轴为所述单目相机的主光轴在所述第一视野区域所在平面的投影线。
通过上述方式，距离测量装置确定待测量点到单目相机视野区域的投影光轴的距离，以及待测量点到待测量点在投影光轴的投影点到机器人的距离，然后，根据勾股定理即可简单计算得到待测量点到机器人的实际距离，计算方式简单且快速。
其中，所述基于所述相对位置信息、所述第一待测量图像的尺寸信息、所述第一视野区域的尺寸信息以及所述待测量点的图像坐标，确定所述待测量点在所述投影光轴上的投影点到所述机器人的第二测量距离，包括：
基于所述相对位置信息确定所述机器人到所述第一视野区域的最近测量距离；
基于所述第一视野区域的尺寸信息、所述待测量点的图像坐标以及所述第一待测量图像的尺寸信息，确定所述投影点到所述第一视野区域的上底边的第三测量距离，其中，所述上底边为所述投影点与所述机器人之间的一条边；
根据所述最近测量距离和所述第三测量距离确定所述投影点到所述机器人的第二测量距离。
通过上述方式，距离测量装置确定机器人到视野区域的上底边的距离，以及待测量点到视野区域的上底边的距离，从而可以简单计算得到待测量点在投影光轴上的投影点到移动机器人的测量距离。
其中，所述基于所述第一视野区域的尺寸信息、所述第一待测量图像的尺寸信息以及所述待测量点的图像坐标，确定所述待测量点投影到所述第一视野区域的投影光轴的第一测量距离，包括：
基于所述第一视野区域的尺寸信息、所述第一待测量图像的尺寸信息以及所述待测量点的图像坐标，确定所述投影点到所述第一视野区域中到与所述待测量点同一侧的侧边的第四测量距离；
基于所述待测量点的图像坐标和所述第一待测量图像的尺寸信息确定所述第一测量距离与所述第四测量距离的比例关系；
根据所述比例关系以及所述第四测量距离，确定所述待测量点到所述第一视野区域的投影光轴的第一测量距离。
通过上述方式，距离测量装置获取投影点到视野区域的侧边的测量距离，并利于相似三角形的简单数学变换，根据投影点到视野区域的侧边的测量距离计算出待测量点到投影光轴的测量距离。
其中，所述距离测量方法还包括：
在第二位置从单目相机的第二视野区域获取第二待测量图像，其中，所述待测量点处于所述第二待测量图像中；
获取所述移动机器人从所述第一位置移动到所述第二位置的移动信息；
根据所述移动信息与所述第一实际距离，确定所述待测量点与处于所述第二位置的机器人的第二实际距离。
通过上述方式，测量距离装置在确定初始位置的机器人与待测量点之间的实际距离之后，对于机器人移动到其他位置，但待测量点依然在单目相机的视野区域内的情况，测量距离装置可以根据初始位置的实际距离进一步计算移动位置的实际距离，能够有效简化计算流程以及计算复杂度。
其中，所述根据所述移动距离与所述第一实际距离，确定所述待测量点与处于所述第二位置的机器人的第二实际距离，包括：
获取所述待测量点到处于所述第一位置的机器人的第一方向，以及所述待测量点到处于所述第二位置的机器人的第二方向；
基于所述第一方向和所述第二方向，确定所述第一位置和所述第二位置的相对角度信息；
根据所述移动信息、所述第一实际距离以及所述相对角度信息，确定所述待测量点与处于所述第二位置的机器人的第二实际距离。
通过上述方式，距离测量装置具体利用初始位置的机器人与待测量点的实际距离，以及初始位置与移动位置的相对角度关系，能够直接快速确定移动位置的机器人与待测量点的实际距离。
其中，所述基于所述第一方向和所述第二方向，确定所述第一位置和所述第二位置的相对角度信息，包括：
获取所述机器人从所述第一位置移动到所述第二位置的移动角度；
基于所述第一测量距离和所述第二测量距离，确定所述待测量点和所述机器人的连线与所述投影光轴的夹角；
基于所述移动角度和所述夹角，确定所述第一位置和所述第二位置的相对角度信息。
通过上述方式，距离测量装置利用机器人上安装的里程计和/或其他测量仪器测量初始位置和移动位置之间的夹角，从而计算得到初始位置和移动位置的相对角度信息，不需要额外增加其他部件，能够有效降低硬件成本。
其中，所述距离测量方法，还包括：
在第三位置从单目相机的第三视野区域获取第三待测量图像，并确定所述第三待测量图像中其他待测量点的图像坐标，其中，从第一位置到第三位置的运动过程中，所述机器人保持不动，所述单目相机相对所述机器人的位置发生变化；
基于所述机械臂的更新实际姿态信息，获取所述第三视野区域与所述机器人之间的更新相对位置信息；
基于所述更新相对位置信息、所述第三待测量图像的尺寸信息以及所述其他待测量点的图像坐标，确定所述其他待测量点与所述机器人的第三实际距离。
通过上述方式，距离测量装置针对机器人位置保持不动，而单目相机的位置发生变化的情况，同样可以仅需要根据单目相机采集的图像，以及机器人与单目相机的相对位置关系，即可测量视野范围内任意目标点与机器人的绝对距离，有效扩大了距离测量方法的应用范围。
本申请采用的另一个技术方案是提供一种基于单目相机的距离测量装置，所述距离测量装置包括：采集模块，位置模块以及测量模块；其中，
所述采集模块，用于在第一位置从所述单目相机的第一视野区域获取第一待测量图像，并确定所述第一待测量图像中的待测量点的图像坐标；
所述位置模块，用于基于所述机械臂的实际姿态信息，获取所述第一视野区域与所述机器人之间的相对位置信息；
所述测量模块，用于基于所述相对位置信息、所述第一待测量图像的尺寸信息以及所述待测量点的图像坐标，确定所述待测量点与所述机器人的第一实际距离。
其中，所述测量模块，还用于基于所述第一视野区域的尺寸信息、所述第一待测量图像的尺寸信息以及所述待测量点的图像坐标，确定所述待测量点投影到所述第一视野区域的投影光轴的第一测量距离；基于所述第一视野区域的相对位置信息、所述第一待测量图像的尺寸信息、所述第一视野区域的尺寸信息以及所述待测量点的图像坐标，确定所述待测量点在所述投影光轴上的投影点到所述机器人的第二测量距离；根据所述第一测量距离和所述第二测量距离，确定所述待测量点与所述机器人的第一实际距离；其中，所述投影光轴为所述单目相机的主光轴在所述第一视野区域所在平面的投影线。
其中，所述测量模块，还用于基于所述第一视野区域的相对位置信息确定所述机器人到所述第一视野区域的最近测量距离；基于所述第一视野区域的尺寸信息、所述待测量点的图像坐标以及所述第一待测量图像的尺寸信息，确定所述投影点到所述第一视野区域的上底边的第三测量距离，其中，所述上底边为所述投影点与所述机器人之间的一条边；根据所述最近测量距离和所述第三测量距离确定所述投影点到所述机器人的第二测量距离。
其中，所述测量模块，还用于基于所述第一视野区域的尺寸信息、所述第一待测量图像的尺寸信息以及所述待测量点的图像坐标，确定所述投影点到所述第一视野区域到与所述待测量点同一侧的侧边的第四测量距离；
基于所述待测量点的图像坐标和所述第一待测量图像的尺寸信息确定所述第一测量距离与所述第四测量距离的比例关系；
根据所述比例关系以及所述第四测量距离，确定所述待测量点到所述第一视野区域的投影光轴的第一测量距离。
其中，所述测量模块，还用于在第二位置从单目相机的第二视野区域获取第二待测量图像，其中，所述待测量点处于所述第二待测量图像中；获取所述机器人从所述第一位置移动到所述第二位置的移动信息；根据所述移动信息与所述第一实际距离，确定所述待测量点与处于所述第二位置的机器人的第二实际距离。
其中，所述测量模块，还用于获取所述待测量点到处于所述第一位置的机器人的第一方向，以及所述待测量点到处于所述第二位置的机器人的第二方向；基于所述第一方向和所述第二方向，确定所述第一位置和所述第二位置的相对角度信息；根据所述移动信息、所述第一实际距离以及所述相对角度信息，确定所述待测量点与处于所述第二位置的机器人的第二实际距离。
其中，所述测量模块，还用于获取所述机器人从所述第一位置移动到所述第二位置的移动角度；基于所述第一测量距离和所述第二测量距离，确定所述待测量点和所述机器人的连线与所述投影光轴的夹角；基于所述移动角度和所述夹角，确定所述第一位置和所述第二位置的相对角度信息。
本申请采用的另一个技术方案是提供另一种单目相机的距离测量装置，所述距离测量装置包括存储器以及与所述存储器耦接的处理器；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的距离测量方法。
本申请采用的另一个技术方案是提供一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现如上述的距离测量方法。
本申请的有益效果是：距离测量装置在第一位置从所述单目相机的第一视野区域获取第一待测量图像，并确定所述第一待测量图像中的待测量点的图像坐标；基于所述机械臂的实际姿态信息，获取所述第一视野区域与所述机器人之间的相对位置信息；基于所述第一视野区域的相对位置信息、所述第一待测量图像的尺寸信息以及所述待测量点的图像坐标，确定所述待测量点与所述机器人的第一实际距离。本申请的距离测量装置能够利用单目相机采集的图像，以及机器人与单目相机的相对位置关系测量视野范围内任意目标点与机器人的绝对距离，扩大了单目相机的应用能力和应用范围。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的基于单目相机的距离测量方法一实施例的流程示意图；
图2是本申请提供的距离测量方法的第一场景的轴测图；
图3是本申请提供的距离测量方法第一场景的成像画面的示意图；
图4是本申请提供的距离测量方法的第一场景的俯视图；
图5是本申请提供的距离测量方法的第一场景的前视图；
图6是本申请提供的待测量点在成像画面中的示意图；
图7是本申请提供的待测量点与其他已知点的位置关系；
图8是本申请提供的基于单目相机的距离测量方法另一实施例的流程示意图；
图9是本申请提供的距离测量方法第二场景的轴测图；
图10是本申请提供的距离测量方法第三场景的轴测图；
图11是本申请提供的距离测量方法第三场景的前视图；
图12是本申请提供的基于单目相机的距离测量装置一实施例的结构示意图；
图13是本申请提供的单目相机的距离测量装置另一实施例的结构示意图；
图14是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
具体请参见图1，图1是本申请提供的基于单目相机的距离测量方法一实施例的流程示意图。
本申请实施例的距离测量方法可应用于机器人，例如扫地机器人、物流机器人、割草机器人、清洁机器人或者搬运机器人等其他类型的移动机器人，也可应用于移动机器人中搭载的处理***或处理器，或者移动机器人以外的控制***等。下文以移动机器人为例进行说明。
如图1所示，本申请实施例的距离测量方法具体可以包括以下步骤：
步骤S11：在第一位置从单目相机的第一视野区域获取第一待测量图像，并确定第一待测量图像中的待测量点的图像坐标。
在本申请实施例中，以扫地机器人以及安装于扫地机器人上的两个机械臂关节，机械臂末端的单目相机为例，来描述本申请的距离测量方法的具体场景，具体如图2至图5所示，图2是本申请提供的距离测量方法的场景的轴测图，图3是本申请提供的距离测量方法的成像画面的示意图，图4是本申请提供的距离测量方法的场景的俯视图，图5是本申请提供的距离测量方法的场景的前视图。
具体地，扫地机器人处于初始位姿状态，此时，扫地机器人位于第一位置。如图2所示，图中左侧的扫地机器人本体放置在平整的工作面上，如水平地面，扫地机器人本体上前方中间的点即为S，后续描述用用该点S表示扫地机器人的位置。本申请实施例中，该点S可表示第一位置。
扫地机器人本体上安装了两个机械臂关节，在其他实施例中，也可以安装一个或其他数量的机械臂关节，在此不一一列举。机械臂末端点O安装单目相机，单目相机的主光轴OP朝向为正前方偏下，点Q为单目相机视野区域中的某个物体，即图2所示中的待测量点Q。
根据单目相机的成像原理可知，当单目相机的主光轴OP与工作面的夹角小于90°时，单目相机的视野区域(如第一视野区域)为一个梯形区域ABCD，而单目相机所采集的对应画面则是如图3所示的矩形A′B′C′D′，即第一待测量图像，其尺寸为w×h，w为宽度，h为高度。在第一待测量图像A′B′C′D′中，待测量点Q的图像坐标可以表示为(,j)。
需要说明的是，为了观察上的方便，图2中将视野区域ABCD表示为一个带厚度的梯形，但视野区域ABCD作为工作面是没有厚度的，因此，在后续的讨论都假设视野区域ABCD是没有厚度的。在图4和图5中，点M是线段AB的中点，点T是线段CD的中点，而在成像画面A′B′C′D′中M′为点M对应的像点，T′为点T的像点，则M′是线段A′B′的中点，T′是线段C′D′的中点。
在图4中，其中γ、β分别是单目相机在图像宽度方向上的远端张角和近端张角，一般来说，这两个参数在制造出厂之后就固定下来了，因此可以算是已知值。由于点M是线段AB的中点，点T是线段CD的中点，且单目相机在图像宽度方向上的张角具有对称性，故OM、OT分别是∠AOB、∠COD的角平分线。
在图5中，ρ是单目相机在图像高度方向上的张角大小，一般来说，这个参数在摄像头制造出厂之后就固定下来了，因此可以算是已知值。由于OP是主光轴，且摄像头在图像高度方形上的张角具有对称性，因此OP是∠TOM的角平分线。
步骤S12：基于机械臂的实际姿态信息，获取第一视野区域与移动机器人之间的相对位置信息。
在本申请实施例中，机械臂的实际姿态信息包括机械臂的长度，以及机械臂与工作面的角度关系，如夹角角度等。距离测量装置根据机械臂的实际姿态信息，可以标定扫地机器人与视野区域的相对位置信息，包括扫地机器人到视野区域上任意一点的相对距离，如扫地机器人到视野区域ABCD上点T和点M的距离等。
可选地，为了方便说明，对于扫地机器人位于图2、图4和图5的初始位姿，本申请实施例先对扫机器人的相关数据进行标定：
扫地机器人本体的高度以及两节机械臂J1H2、J2O的长度是固定且已知的，分别记为l、l1、l2，单位可以选用厘米作为单位。其中，点J是点J1在工作面上的投影点。
两节机械臂与工作面的夹角已知，分别记为θ1和θ2。
OS0垂直工作面于S0，OS0和SS0的长度是已知的，分别记为l0、l3，单位厘米。
当单目相机的位置、角度和距离工作面的高度都是固定且已知的值时，单目相机的视野区域所在处与移动机器人本体的距离以及视野宽度也是固定且已知的，因此S0T、S0P和TM的长度都是已知的，分别记为l4、lp和l5，单位厘米，AB和CD的长度也是已知的，分别记为l6和l7，单位厘米。
步骤S13：基于相对位置信息、第一待测量图像的尺寸信息以及待测量点的图像坐标，确定待测量点与移动机器人的第一实际距离。
在本申请实施例中，经过步骤S11和步骤S12的数据标定后，距离测量装置可以基于上述步骤标定的数据，进一步计算待测量点与移动机器人之间的实际距离。
具体请继续参阅图6和图7，图6是本申请提供的待测量点在成像画面中的示意图，图7是本申请提供的待测量点与其他已知点的位置关系。
假设扫地机器人处于图7所示的状态，在步骤S12的标定过程中，已知l和lk(k＝0,1,…,7)均为已知值。图6所示的成像画面中的任一像素点Q′(i,j)，其中，i为横坐标，j为纵坐标。在图7中，像素点Q′为待测量点Q的像点，本申请的距离测量方法目的即求取待测量点Q与扫地机器人S之间的实际距离。
在图7中，QN平行于MB且与TM相交于点N、与CB交于点L。显然，QN与TM垂直，且垂足是点N。然后，延长BC，使之与S0T交于点K。
结合图6和图7，可以推导出以下线段比例关系：
Figure BDA0003776663130000111
TN+NM＝l5 (2)
根据上述式子(1)和式子(2)可以求解出：
Figure BDA0003776663130000112
在图7中，存在相似三角形△KTC～△KNL和△KMB～△KNL，因此，存在如下关系：
Figure BDA0003776663130000113
Figure BDA0003776663130000114
其中，式子(4)和式子(5)等号右侧的表达式是相等的，因此，可以推导出以下式子：
Figure BDA0003776663130000121
其中，式子(6)中TC＝CD/2＝l7/2，和MB＝AB/2＝l6/2，由于l7和l6是已知的，因此，TC和MB也是已知的。
并且，式子(7)中的l5也是已知的：
KM-KT＝TM＝l5 (7)
因此，上述式子(6)中仅存在一个未知数，即KN，由此解得：
KM＝l5l6/(l6-l7) (8)
KT＝l5l7/(l6-l7) (9)
将KN＝KT+TN代入上述式子(4)中，有：
Figure BDA0003776663130000122
将TC＝CD/2＝l7/2和式子(3)、式子(9)代入式子(10)，有：
Figure BDA0003776663130000123
求解上述式子(11)，可以解得：
Figure BDA0003776663130000124
由于点Q的成像点Q′在成像画面中的像素坐标为(i,j)，它与N的成像点N′之间的像素距离为|i-w/2|，而NL在成像画面中的长度为w/2像素，于是有：
Figure BDA0003776663130000125
需要注意的是，上式的成立需要一个前提——NL(包括它在TM另一侧的延长部分)上的点在成像画面上的对应部分N′L′(包括它在T′M′另一侧的延长部分)上的像点分布是均匀的。一般来说，对理想摄像头来说，这一前提是成立的，对真实摄像头来说，该前提也是近似成立的，误差很小。
基于此，联合上述式子(12)和式子(13)，解得：
Figure BDA0003776663130000131
为简化书写，本申请实施例在上述式子(14)中定义了符号lNQ。由于是Rt△SNQ直角三角形，由勾股定理可知：
SQ2＝(SS0+S0T+TN)2+NQ2 (15)
将SS0＝l3、S0T＝l4和式子(3)、式子(14)代入上式，可得：
Figure BDA0003776663130000132
由此，距离测量装置只需要将i、j、w、h代入上述式子(16)中，即可直接计算得到待测量点到扫地机器人的实际距离SQ。
其中，w、h为图像尺寸，在确定相机位置以及视野区域之后，图像尺寸即为标定的已知项；而i、j为图像上某一点的图像坐标。视野区域内需要测量的点与图像中的点的对应关系可以通过以下任一方式获取：第一、已知视野区域与图像的对应关系，可以先标定需要测量点在视野区域内的位置，然后按照视野区域与图像的对应关系，将测量点在视野区域内的位置映射到图像上，从而确定测量点的图像坐标；第二、对视野区域内的测量点进行标记，对图像中的已经标记的测量点进行识别，从而确定测量点在图像上的图像坐标。
在一种具体的实施方式中，距离测量装置基于所述第一视野区域ABCD的尺寸信息、所述第一待测量图像A′B′C′D′的尺寸信息以及所述待测量点的图像坐标(i,j)，可确定所述待测量点投影到所述第一视野区域的投影光轴的第一测量距离NQ；以及，基于所述第一视野区域ABCD与机器人之间的相对位置信息、所述第一待测量图像A′B′C′D′的尺寸信息、所述第一视野区域ABCD的尺寸信息以及所述待测量点的图像坐标(i,j)，确定所述待测量点在所述投影光轴上的投影点到所述移动机器人的第二测量距离SN。
其中，第一测量距离NQ的具体计算过程如下：
基于所述第一视野区域ABCD的尺寸信息、所述第一待测量图像A′B′C′D′的尺寸信息以及所述待测量点的图像坐标，确定所述投影点到所述第一视野区域中与所述待测量点同一侧的侧边的第四测量距离NL；基于所述待测量点的图像坐标和所述第一待测量图像的尺寸信息，确定所述第一测量距离与所述第四测量距离的比例关系
Figure BDA0003776663130000141
根据所述比例关系
Figure BDA0003776663130000142
以及所述第四测量距离NL，确定所述待测量点到所述第一视野区域的投影光轴的第一测量距离。计算第一测量距离NQ的公式如下：
Figure BDA0003776663130000143
其中，第二测量距离SN的具体计算过程如下：
基于所述第一视野区域的相对位置信息确定所述移动机器人到所述第一视野区域的最近测量距离ST；基于所述第一视野区域的尺寸信息、所述待测量点的图像坐标以及所述第一待测量图像的尺寸信息，确定所述投影点到所述第一视野区域的上底边的第三测量距离TN，其中，所述上底边为所述投影点与所述移动机器人之间的一条边；根据所述最近测量距离和所述第三测量距离确定所述投影点到所述移动机器人的第二测量距离SN。计算第二测量距离SN的公式如下：
SN＝l3+l4+jl5/h
然后，距离测量装置根据第一测量距离NL和第二测量距离SN，按照勾股定理，可以计算出待测量点到扫地机器人的实际距离，即如式子(16)所示。
在本申请实施例中，距离测量装置在第一位置从所述单目相机的第一视野区域获取第一待测量图像，并确定所述第一待测量图像中的待测量点的图像坐标；基于所述机械臂的实际姿态信息，获取所述第一视野区域与所述移动机器人之间的相对位置信息；基于所述第一视野区域的相对位置信息、所述第一待测量图像的尺寸信息以及所述待测量点的图像坐标，确定所述待测量点与所述移动机器人的第一实际距离。本申请实施例的距离测量装置能够利用单目相机采集的图像，以及移动机器人与单目相机的相对位置关系测量视野范围内任意目标点与移动机器人的绝对距离，扩大了单目相机的应用能力和应用范围。
以上实施例中，距离测量装置计算了扫地机器人在初始位姿状态时待测量点到扫地机器人的实际距离，进一步地，在扫地机器人从初始位姿状态变换到其他移动状态，即从第一位置移动到第二位置的情况下，若待测量点仍然在单目相机视野范围内，也可以确定待测量点与第二位置的实际距离。需要说明的是，此处的从第一位置移动到第二位置是指扫地机器人移动，但相对于扫地机器人，机械臂和单目相机的相对位姿并没有发生变化。
请继续参阅图8，图8是本申请提供的基于单目相机的距离测量方法另一实施例的流程示意图。
如图8所示，本申请实施例的距离测量方法具体可以包括以下步骤：
步骤S21：在第二位置从单目相机的第二视野区域获取第二待测量图像，其中，待测量点处于所述第二待测量图像中。
在本申请实施例中，此处的待测量点在实际空间内与图1所示实施例中的待测量点为同一个点，即在扫地机器人从第一位置移动至第二位置之后，待测量点依然落在单目相机的视野区域内。
其中，第二位置为扫地机器人从第一位置移动后的实际空间位置，第二视野区域为，扫地机器人到达第二位置之后，单目相机的图像采集范围投影到扫地机器人所在平面的区域。
步骤S22：获取机器人从第一位置移动到第二位置的移动信息。
其中，移动信息包括第一位置到第二位置移动机器人的移动距离，以及移动机器人从第一位置到第二位置，单目相机的拍摄角度变化情况。
在本申请实施例中，如上述实施例所示，l和lk(k＝0,1,…,7)都是已知的，图3所示成像画面的宽度w和高度h是已知的，现在扫地机器人从图2所处的第一位置(记为S)移动到另一个第二位置(记为S2)，如图9所示，通过扫地机器人上安装的里程计和/或其他硬件，可以计算出S2相对于S的位置和方向，即线段SS2的长度和∠NSS2的角度α。在两个位置下，待测量点Q都在单目相机的视野区域里，待测量点在位置S下的单目相机的成像画面中的像点为Q′，像素坐标为(i,j)。本申请的距离测量方法目的即求取扫地机器人在位置S2下与点Q之间的距离，即线段S2Q的长度。
步骤S23：根据移动信息与第一实际距离，确定待测量点与处于第二位置的机器人的第二实际距离。
在本申请实施例中，由SS0＝l3、S0T＝l4和式子(3)可知：
Figure BDA0003776663130000161
为简化书写，上述式子(17)中定义了符号lSN。由图1所示实施例可知，△SNQ是直角三角形，由式子(14)、式子(16)、式子(17)可知，该三角形的三条边NQ、SQ、SN都是可以计算出来的，故：
Figure BDA0003776663130000162
也可以计算得到，其中，lNQ定义与上述式子(14)，因此角度差∠QSS2＝α-∠NSQ也是可以计算出来的。
由上述内容可知，在△QSS2中，相邻边SQ和SS2的长度及其夹角都已经计算出来，那么，根据余弦定理，S2Q的长度计算如下：
Figure BDA0003776663130000163
由此，距离测量装置只需要将SQ、∠QSS2代入上述式子(19)中，即可直接计算得到待测量点到扫地机器人的实际距离S2Q。
在一种具体的实施方式中，距离测量装置获取所述待测量点到处于所述第一位置S的移动机器人的第一方向，以及所述待测量点到处于所述第二位置S2的移动机器人的第二方向；基于所述第一方向和所述第二方向，即可确定所述第一位置和所述第二位置的相对角度信息∠QSS2或cos∠QSS2；根据所述移动距离SS2、所述第一实际距离SQ以及所述相对角度信息∠QSS2或cos∠QSS2，可确定所述待测量点与处于所述第二位置S2的移动机器人的第二实际距离S2Q。
具体地，相对角度信息∠QSS2或cos∠QSS2的计算过程如下：获取所述移动机器人从所述第一位置移动到所述第二位置的移动角度α；基于所述第一测量距离NQ和所述第二测量距离SN，确定所述待测量点和所述移动机器人的连线与所述投影光轴的夹角∠NSQ；基于所述移动角度α和所述夹角∠NSQ，确定所述第一位置和所述第二位置的相对角度信息∠QSS2或cos∠QSS2。
在本申请实施例中，单目相机在完成图像采集的过程中，可以同时测量多个方向上视野范围内任一目标物体的绝对距离，扩大了单目相机的应用能力；相对于双目相机、结构光相机而言，单目相机的结构简单，成本低，因此本申请实施例可以用低成本的方案，获取与双目相机、结构光相机的类似效果；相对于雷达和超声波这两种装置在测量距离的同时，无法获取环境的视觉信息而言，单目相机可以同时实现距离测量和获取视觉信息，可以降低整个场景装置的成本。
进一步地，本申请的距离测量方法还可以应用于其他运动状态的扫地机器人。例如，在扫地机器人保持不变，单目相机与扫地机器人的相对位置发生变化，即从单目相机从第一位置移动到第三位置。
在本申请实施例中，所述距离测量方法，还包括：在第三位置从单目相机的第三视野区域获取第三待测量图像，并确定所述第三待测量图像中其他待测量点的图像坐标，其中，从第一位置到第三位置的运动过程中，所述机器人保持不动，所述单目相机相对所述机器人的位置发生变化；基于所述机械臂的更新实际姿态信息，获取所述第三视野区域与所述机器人之间的更新相对位置信息；基于所述更新相对位置信息、所述第三待测量图像的尺寸信息以及所述其他待测量点的图像坐标，确定所述其他待测量点与所述机器人的第三实际距离。
具体请参阅图10所示，为了方便说明问题，将两个状态下机械臂的角度和摄像头的视野绘制在同一个图里。
在图10中，在第一位置，即状态S下，单目相机位置为O，在工作面的投影为S0，此时单目相机的视野为梯形ABCD，梯形上底和下底的中点分别是T和M。移动机器人的位置不变，然后将单目相机向下调整，直至达到图10中O2位置，从而将单目相机从第一位置O移动到第三位置O2。
在第三位置，即状态S2下，单目相机位置为O2，机械臂关节1和机械臂关节2分别为J12J22和J22O2，O2在工作面的投影为S02，此时单目相机的视野为梯形A2B2C2D2，即第三视野区域，梯形上底和下底的中点分别是T2和M2。由于图10线条过多，未画出摄像头在两个状态下的主光轴，为此，绘制图10的前视图如图11所示。
在图11中，OP、O2P2分别是状态S、S2下单目相机的主光轴。关于图10和图11，以下几点说法是正确的：
由扫地机器人的硬件结构和相关元器件数据，能够计算出状态S2下两个机械臂关节J12J22和J22O2分别与工作面的夹角，记为θ12和θ22，即机械臂的更新实际姿态信息。
由于单目相机的安装方式相对于机械臂关节2是固定的，因此在两个状态下，机械臂关节2与单目相机的主光轴的夹角是相同的，即∠J2OP＝∠J22O2P2。
由于单目相机本身的结构是固定的，也即其视野角度是固定的，因此两个状态下的视野角度存在如下关系：∠TOM＝∠T2O2M2、∠AOB＝∠A2O2B2、∠COD＝∠C2O2D2。
由于单目相机的视野张角具有对称性，故O2M2、O2T2分别是∠A2O2B2、∠C2O2D2的角平分线。
由上述式子(16)可知，要想求得此时的SQ1，只需要知道
Figure BDA0003776663130000181
Figure BDA0003776663130000182
和
Figure BDA0003776663130000183
的值即可。其中，第三视野区域与机器人之间的更新相对位置包括l32、l42和l52。下面分几个小步骤来分别求取它们的值。
求取l32
由图5和图11可知：
l1cosθ1+l2cosθ2＝JS+SS0 (20)
l1cosθ12+l2cosθ22＝JS+SS02 (21)
将
Figure BDA0003776663130000194
代入式子(20)，可以计算出JS，然后将JS代入式子(21)，可以求得：
Figure BDA0003776663130000195
求取l42
由图5和图11已知：
∠J2OP＝∠J2OS0+∠S0OP＝(90°-θ2)+∠S0OP (23)
∠J22O2P2＝∠J22O2S02+∠S02O2P2＝(90°-θ22)+∠S02O2P2 (24)
因为∠J2OP＝∠J22O2P2，故：
Figure BDA0003776663130000191
由于
Figure BDA0003776663130000192
是已知的，且△OS0P是直角三角形，故有∠S0OP＝arctan(lp/l0)，代入式子(26)可得：
∠S02O2P2＝(θ22-θ2)+arctan(lp/l0) (27)
因为∠T2O2M2是单目相机在图像高度方向上的张角，因此有∠T2O2M2≡ρ。又因为O2P2是主光轴和摄像头在视野张角上的对称性，故它是∠T2O2M2的角平分线，所以有：
∠T2O2P2＝∠T2O2M2/2＝ρ/2 (28)
考虑直角三角形Rt△O2S02P2，有：
∠S02O2T2＝∠S02O2P2-∠T2O2P2 (29)
结合式子(27)至式子(29)，可得：
Figure BDA0003776663130000193
为了书写上的简便，定义符号
Figure BDA0003776663130000201
由图11可知：
Figure BDA0003776663130000202
为了书写上的方便，上式定义了符号
Figure BDA0003776663130000203
因为△O2S02P2是直角三角形，故结合式子(30)、式子(31)可知：
Figure BDA0003776663130000204
求取l52
在直角三角形△O2S02M2中，有：
∠S02O2M2＝∠S02O2T2+∠T2O2M2 (33)
将张角
Figure BDA0003776663130000205
和式子(30)代入式子(33)，可得：
Figure BDA0003776663130000206
在直角三角形△O2S02M2中运用式子(31)和式子(34)，可得：
Figure BDA0003776663130000207
结合式子(32)和式子(35)，有：
Figure BDA0003776663130000208
求取l62和l72
在直角三角形△O2S02M2中，利用勾股定理可知：
Figure BDA0003776663130000209
将式子(31)和式子(35)代入式子(37)，可得：
Figure BDA00037766631300002010
因为
Figure BDA00037766631300002011
是单目相机的固定视野角度且O2M2是∠A2O2B2的角平分线，且单目相机的视野是对称的，故△A2O2B2是等腰三角形，因此△O2M2A2是直角三角形，所以有：
Figure BDA00037766631300002012
将式子(38)代入式子(39)，可得：
Figure BDA0003776663130000211
在直角三角形△O2S02T2中，采用同样的推理步骤，可得：
Figure BDA0003776663130000212
借鉴式子(16)，对于第三待测量图像的其他待测量点的图像坐标，即像点Q’1(i,j)，其对应真实空间的点Q1与点S的距离，即第三实际距离为：
Figure BDA0003776663130000213
由第三位置的距离测量推导可知，扫地机器人的单目相机移动至第三位置，与处于第一位置时的距离测量过程基本相同，即扫地机器人从第一位置移动至第三位置仅是在单目相机与扫地机器人的相对位置发生变化，而待测量点到扫地机器人的实际距离并未发生变化。
综上分析，可知本申请的距离测量方法适用于移动机器人往不同方向移动，以及以不同状态移动时，同一个待测量点的简便、快捷运算，以及单目相机视野区域内不同待测量点的简便、快捷运算。
进一步地，本申请的距离测量方法通过准确识别机器人与待测量点在物理空间内的实际距离，能够有效解决机器人避障、机器人寻迹等问题。例如，对于扫地机器人而言，需要对房间内的障碍物进行避障，此时，扫地机器人可以通过对房间内的环境进行拍摄，从而从拍摄图像中识别出障碍物，并利用本申请的距离测量方法获取当前扫地机器人与障碍物的实际距离，最后根据实际距离实现准确的避障功能。
以上实施例，仅是对本申请的其中一种常见案例而已，并非对本申请的技术范围做任何限制，故凡是依据本申请方案的实质对以上内容所做的任何细微修改、等同变化或者修饰，均仍属于本申请技术方案的范围内。
请继续参见图12，图12是本申请提供的基于单目相机的距离测量装置一实施例的结构示意图。其中，距离测量装置30包括采集模块31，位置模块32以及测量模块33。
其中，所述采集模块31，用于在第一位置从所述单目相机的第一视野区域获取第一待测量图像，并确定所述第一待测量图像中的待测量点的图像坐标。
所述位置模块32，用于基于所述机械臂的实际姿态信息，获取所述第一视野区域与所述机器人之间的相对位置信息。
所述测量模块33，用于基于所述第一视野区域的相对位置信息、所述第一待测量图像的尺寸信息以及所述待测量点的图像坐标，确定所述待测量点与所述机器人的第一实际距离。
其中，所述测量模块33，还用于基于所述第一视野区域的尺寸信息、所述第一待测量图像的尺寸信息以及所述待测量点的图像坐标，确定所述待测量点投影到所述第一视野区域的投影光轴的第一测量距离；基于所述第一视野区域的相对位置信息、所述第一待测量图像的尺寸信息、所述第一视野区域的尺寸信息以及所述待测量点的图像坐标，确定所述待测量点在所述投影光轴上的投影点到所述机器人的第二测量距离；根据所述第一测量距离和所述第二测量距离，确定所述待测量点与所述机器人的第一实际距离；其中，所述投影光轴为所述单目相机的主光轴在所述第一视野区域所在平面的投影线。
其中，所述测量模块33，还用于基于所述第一视野区域的相对位置信息确定所述机器人到所述第一视野区域的最近测量距离；基于所述第一视野区域的尺寸信息、所述待测量点的图像坐标以及所述第一待测量图像的尺寸信息，确定所述投影点到所述第一视野区域的上底边的第三测量距离，其中，所述上底边为所述投影点与所述机器人之间的一条边；根据所述最近测量距离和所述第三测量距离确定所述投影点到所述机器人的第二测量距离。
其中，所述测量模块33，还用于基于所述第一视野区域的尺寸信息、所述第一待测量图像的尺寸信息以及所述待测量点的图像坐标，确定所述投影点到所述第一视野区域到与所述待测量点同一侧的侧边的第四测量距离；
基于所述待测量点的图像坐标和所述第一待测量图像的尺寸信息确定所述第一测量距离与所述第四测量距离的比例关系；
根据所述比例关系以及所述第四测量距离，确定所述待测量点到所述第一视野区域的投影光轴的第一测量距离。
其中，所述测量模块33，还用于在第二位置从单目相机的第二视野区域获取第二待测量图像，其中，所述待测量点处于所述第二待测量图像中；获取所述移动机器人从所述第一位置移动到所述第二位置的移动信息；根据所述移动信息与所述第一实际距离，确定所述待测量点与处于所述第二位置的机器人的第二实际距离。
其中，所述测量模块33，还用于获取所述待测量点到处于所述第一位置的机器人的第一方向，以及所述待测量点到处于所述第二位置的移动机器人的第二方向；基于所述第一方向和所述第二方向，确定所述第一位置和所述第二位置的相对角度信息；根据所述移动信息、所述第一实际距离以及所述相对角度信息，确定所述待测量点与处于所述第二位置的机器人的第二实际距离。
其中，所述测量模块33，还用于获取所述机器人从所述第一位置移动到所述第二位置的移动角度；基于所述第一测量距离和所述第二测量距离，确定所述待测量点和所述机器人的连线与所述投影光轴的夹角；基于所述移动角度和所述夹角，确定所述第一位置和所述第二位置的相对角度信息。
请继续参见图13，图13是本申请提供的单目相机的距离测量装置另一实施例的结构示意图。本申请实施例的距离测量装置500包括处理器51、存储器52、输入输出设备53以及总线54。
该处理器51、存储器52、输入输出设备53分别与总线54相连，该存储器52中存储有程序数据，处理器51用于执行程序数据以实现上述实施例所述的距离测量方法。
在本申请实施例中，处理器51还可以称为CPU(Central Processing Unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(DSP，Digital Signal Process)、专用集成电路(ASIC，Application Specific Integrated Circuit)、现场可编程门阵列(FPGA，FieldProgrammable Gate Array)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器51也可以是任何常规的处理器等。
本申请还提供一种计算机存储介质，请继续参阅图14，图14是本申请提供的计算机存储介质一实施例的结构示意图，该计算机存储介质600中存储有程序数据61，该程序数据61在被处理器执行时，用以实现上述实施例的距离测量方法。
本申请的实施例以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，方式利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种基于单目相机的距离测量方法，其特征在于，所述距离测量方法应用于机器人，所述机器人的机械臂末端固定连接所述单目相机；
所述距离测量方法包括：
在第一位置从所述单目相机的第一视野区域获取第一待测量图像，并确定所述第一待测量图像中的待测量点的图像坐标；
基于所述机械臂的实际姿态信息，获取所述第一视野区域与所述机器人之间的相对位置信息；
基于所述相对位置信息、所述第一待测量图像的尺寸信息以及所述待测量点的图像坐标，确定所述待测量点与所述机器人的第一实际距离。
2.根据权利要求1所述的距离测量方法，其特征在于，所述确定所述待测量点与所述机器人的第一实际距离的步骤包括：
基于所述第一视野区域的尺寸信息、所述第一待测量图像的尺寸信息以及所述待测量点的图像坐标，确定所述待测量点投影到所述第一视野区域的投影光轴的第一测量距离；
基于所述第一视野区域的相对位置信息、所述第一待测量图像的尺寸信息、所述第一视野区域的尺寸信息以及所述待测量点的图像坐标，确定所述待测量点在所述投影光轴上的投影点到所述机器人的第二测量距离；
根据所述第一测量距离和所述第二测量距离，确定所述待测量点与所述机器人的第一实际距离；
其中，所述投影光轴为所述单目相机的主光轴在所述第一视野区域所在平面的投影线。
3.根据权利要求2所述的距离测量方法，其特征在于，
所述基于所述相对位置信息、所述第一待测量图像的尺寸信息、所述第一视野区域的尺寸信息以及所述待测量点的图像坐标，确定所述待测量点在所述投影光轴上的投影点到所述机器人的第二测量距离，包括：
基于所述相对位置信息确定所述机器人到所述第一视野区域的最近测量距离；
基于所述第一视野区域的尺寸信息、所述待测量点的图像坐标以及所述第一待测量图像的尺寸信息，确定所述投影点到所述第一视野区域的上底边的第三测量距离，其中，所述上底边为所述投影点与所述机器人之间的一条边；
根据所述最近测量距离和所述第三测量距离确定所述投影点到所述机器人的第二测量距离。
4.根据权利要求2所述的距离测量方法，其特征在于，
所述基于所述第一视野区域的尺寸信息、所述第一待测量图像的尺寸信息以及所述待测量点的图像坐标，确定所述待测量点投影到所述第一视野区域的投影光轴的第一测量距离，包括：
基于所述第一视野区域的尺寸信息、所述第一待测量图像的尺寸信息以及所述待测量点的图像坐标，确定所述投影点到所述第一视野区域中与所述待测量点同一侧的侧边的第四测量距离；
基于所述待测量点的图像坐标和所述第一待测量图像的尺寸信息确定所述第一测量距离与所述第四测量距离的比例关系；
根据所述比例关系以及所述第四测量距离，确定所述待测量点到所述第一视野区域的投影光轴的第一测量距离。
5.根据权利要求2所述的距离测量方法，其特征在于，
所述距离测量方法还包括：
在第二位置从单目相机的第二视野区域获取第二待测量图像，其中，所述待测量点处于所述第二待测量图像中；
获取所述机器人从所述第一位置移动到所述第二位置的移动信息；
根据所述移动信息与所述第一实际距离，确定所述待测量点与处于所述第二位置的机器人的第二实际距离。
6.根据权利要求5所述的距离测量方法，其特征在于，
所述根据所述移动信息与所述第一实际距离，确定所述待测量点与处于所述第二位置的机器人的第二实际距离，包括：
获取所述待测量点到处于所述第一位置的机器人的第一方向，以及所述待测量点到处于所述第二位置的机器人的第二方向；
基于所述第一方向和所述第二方向，确定所述第一位置和所述第二位置的相对角度信息；
根据所述移动信息、所述第一实际距离以及所述相对角度信息，确定所述待测量点与处于所述第二位置的机器人的第二实际距离。
7.根据权利要求6所述的距离测量方法，其特征在于，
所述基于所述第一方向和所述第二方向，确定所述第一位置和所述第二位置的相对角度信息，包括：
获取所述机器人从所述第一位置移动到所述第二位置的移动角度；
基于所述第一测量距离和所述第二测量距离，确定所述待测量点和所述机器人的连线与所述投影光轴的夹角；
基于所述移动角度和所述夹角，确定所述第一位置和所述第二位置的相对角度信息。
8.根据权利要求1所述的距离测量方法，其特征在于，
所述距离测量方法，还包括：
在第三位置从单目相机的第三视野区域获取第三待测量图像，并确定所述第三待测量图像中其他待测量点的图像坐标，其中，从第一位置到第三位置的运动过程中，所述机器人保持不动，所述单目相机相对所述机器人的位置发生变化；
基于所述机械臂的更新实际姿态信息，获取所述第三视野区域与所述机器人之间的更新相对位置信息；
基于所述更新相对位置信息、所述第三待测量图像的尺寸信息以及所述其他待测量点的图像坐标，确定所述其他待测量点与所述机器人的第三实际距离。
9.一种基于单目相机的距离测量装置，其特征在于，所述距离测量装置包括：采集模块，位置模块以及测量模块；其中，
所述采集模块，用于在第一位置从所述单目相机的第一视野区域获取第一待测量图像，并确定所述第一待测量图像中的待测量点的图像坐标；
所述位置模块，用于基于所述机械臂的实际姿态信息，获取所述第一视野区域与所述机器人之间的相对位置信息；
所述测量模块，用于基于所述相对位置信息、所述第一待测量图像的尺寸信息以及所述待测量点的图像坐标，确定所述待测量点与所述机器人的第一实际距离。
10.一种基于单目相机的距离测量装置，其特征在于，所述距离测量装置包括存储器以及与所述存储器耦接的处理器；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1～8任一项所述的距离测量方法。
11.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现如权利要求1～8任一项所述的距离测量方法。
CN202210919231.7A 2022-08-01 2022-08-01 基于单目相机的距离测量方法、装置以及计算机存储介质 Active CN115401689B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210919231.7A CN115401689B (zh) 2022-08-01 2022-08-01 基于单目相机的距离测量方法、装置以及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210919231.7A CN115401689B (zh) 2022-08-01 2022-08-01 基于单目相机的距离测量方法、装置以及计算机存储介质

Publications (2)

Publication Number Publication Date
CN115401689A true CN115401689A (zh) 2022-11-29
CN115401689B CN115401689B (zh) 2024-03-29

Family

ID=84158789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210919231.7A Active CN115401689B (zh) 2022-08-01 2022-08-01 基于单目相机的距离测量方法、装置以及计算机存储介质

Country Status (1)

Country Link
CN (1) CN115401689B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117953043A (zh) * 2024-03-26 2024-04-30 北京云力境安科技有限公司 一种基于内镜图像的区域测量方法、装置及存储介质

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4314597A1 (de) * 1993-05-04 1994-11-10 Guido Dipl Ing Quick Meßanordnung zur Positionsbestimmung bei Manipulatoren
KR20080029080A (ko) * 2006-09-28 2008-04-03 부천산업진흥재단 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법
EP2622576A1 (en) * 2010-10-01 2013-08-07 Saab AB Method and apparatus for solving position and orientation from correlated point features in images
CN105518702A (zh) * 2014-11-12 2016-04-20 深圳市大疆创新科技有限公司 一种对目标物体的检测方法、检测装置以及机器人
US20160107310A1 (en) * 2014-10-17 2016-04-21 Honda Motor Co., Ltd. Controller for mobile robot
CN109189060A (zh) * 2018-07-25 2019-01-11 博众精工科技股份有限公司 移动机器人的点镇定控制方法及装置
CN109483516A (zh) * 2018-10-16 2019-03-19 浙江大学 一种基于空间距离和极线约束的机械臂手眼标定方法
CN110178157A (zh) * 2016-10-07 2019-08-27 富士胶片株式会社 自身位置估计装置、自身位置估计方法、程序及图像处理装置
CN110370286A (zh) * 2019-08-13 2019-10-25 西北工业大学 基于工业机器人和单目相机的定轴运动刚体空间位置识别方法
CN110749290A (zh) * 2019-10-30 2020-02-04 易思维（杭州）科技有限公司 基于三维投影的特征信息快速定位方法
WO2020063708A1 (zh) * 2018-09-28 2020-04-02 杭州海康威视数字技术股份有限公司 鱼眼摄像机内参标定方法、装置和***、标定装置控制器以及标定器具
CN111982072A (zh) * 2020-07-29 2020-11-24 西北工业大学 一种基于单目视觉的目标测距方法
EP3834997A1 (en) * 2019-12-11 2021-06-16 Carl Zeiss Industrielle Messtechnik GmbH Method and device for calibrating a machine vision device for position determination
CN113246145A (zh) * 2021-07-02 2021-08-13 杭州景业智能科技股份有限公司 核工业抓取设备的位姿补偿方法、***和电子装置
CN113496528A (zh) * 2021-09-07 2021-10-12 湖南众天云科技有限公司 固定交通路侧场景下视觉检测目标位置标定方法及装置
CN114055444A (zh) * 2021-08-27 2022-02-18 清华大学 机器人及其控制方法和控制装置、标定方法和标定控制装置、存储介质
WO2022041737A1 (zh) * 2020-08-28 2022-03-03 北京石头世纪科技股份有限公司 一种测距方法、装置、机器人和存储介质
CN114523472A (zh) * 2022-01-24 2022-05-24 湖南视比特机器人有限公司 一种工件协同抓取方法、***及存储介质
CN114536292A (zh) * 2022-02-16 2022-05-27 中国医学科学院北京协和医院 基于复合标识的误差检测方法及机器人***
CN114677410A (zh) * 2022-03-28 2022-06-28 杭州萤石软件有限公司 一种障碍物测距方法、移动机器人、设备及介质
CN114770461A (zh) * 2022-04-14 2022-07-22 深圳技术大学 一种基于单目视觉的移动机器人及其自动抓取方法

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4314597A1 (de) * 1993-05-04 1994-11-10 Guido Dipl Ing Quick Meßanordnung zur Positionsbestimmung bei Manipulatoren
KR20080029080A (ko) * 2006-09-28 2008-04-03 부천산업진흥재단 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법
EP2622576A1 (en) * 2010-10-01 2013-08-07 Saab AB Method and apparatus for solving position and orientation from correlated point features in images
US20160107310A1 (en) * 2014-10-17 2016-04-21 Honda Motor Co., Ltd. Controller for mobile robot
CN105518702A (zh) * 2014-11-12 2016-04-20 深圳市大疆创新科技有限公司 一种对目标物体的检测方法、检测装置以及机器人
CN110178157A (zh) * 2016-10-07 2019-08-27 富士胶片株式会社 自身位置估计装置、自身位置估计方法、程序及图像处理装置
CN109189060A (zh) * 2018-07-25 2019-01-11 博众精工科技股份有限公司 移动机器人的点镇定控制方法及装置
WO2020063708A1 (zh) * 2018-09-28 2020-04-02 杭州海康威视数字技术股份有限公司 鱼眼摄像机内参标定方法、装置和***、标定装置控制器以及标定器具
CN109483516A (zh) * 2018-10-16 2019-03-19 浙江大学 一种基于空间距离和极线约束的机械臂手眼标定方法
CN110370286A (zh) * 2019-08-13 2019-10-25 西北工业大学 基于工业机器人和单目相机的定轴运动刚体空间位置识别方法
CN110749290A (zh) * 2019-10-30 2020-02-04 易思维（杭州）科技有限公司 基于三维投影的特征信息快速定位方法
EP3834997A1 (en) * 2019-12-11 2021-06-16 Carl Zeiss Industrielle Messtechnik GmbH Method and device for calibrating a machine vision device for position determination
CN111982072A (zh) * 2020-07-29 2020-11-24 西北工业大学 一种基于单目视觉的目标测距方法
WO2022041737A1 (zh) * 2020-08-28 2022-03-03 北京石头世纪科技股份有限公司 一种测距方法、装置、机器人和存储介质
CN113246145A (zh) * 2021-07-02 2021-08-13 杭州景业智能科技股份有限公司 核工业抓取设备的位姿补偿方法、***和电子装置
CN114055444A (zh) * 2021-08-27 2022-02-18 清华大学 机器人及其控制方法和控制装置、标定方法和标定控制装置、存储介质
CN113496528A (zh) * 2021-09-07 2021-10-12 湖南众天云科技有限公司 固定交通路侧场景下视觉检测目标位置标定方法及装置
CN114523472A (zh) * 2022-01-24 2022-05-24 湖南视比特机器人有限公司 一种工件协同抓取方法、***及存储介质
CN114536292A (zh) * 2022-02-16 2022-05-27 中国医学科学院北京协和医院 基于复合标识的误差检测方法及机器人***
CN114677410A (zh) * 2022-03-28 2022-06-28 杭州萤石软件有限公司 一种障碍物测距方法、移动机器人、设备及介质
CN114770461A (zh) * 2022-04-14 2022-07-22 深圳技术大学 一种基于单目视觉的移动机器人及其自动抓取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高嵩等: "基于单目相机的三点式激光器测距及位姿估计方法研究", 《光学学报》, vol. 41, no. 9, pages 0915001 - 1 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117953043A (zh) * 2024-03-26 2024-04-30 北京云力境安科技有限公司 一种基于内镜图像的区域测量方法、装置及存储介质

Also Published As

Publication number Publication date
CN115401689B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
US10825198B2 (en) 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images
WO2021139590A1 (zh) 基于蓝牙与slam的室内定位导航装置及其方法
US20210041236A1 (en) Method and system for calibration of structural parameters and construction of affine coordinate system of vision measurement system
US7526121B2 (en) Three-dimensional visual sensor
CN112880642B (zh) 测距***和测距方法
US20120268567A1 (en) Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium
JP6324025B2 (ja) 情報処理装置、情報処理方法
KR20200085670A (ko) 토우 히치 위치의 계산 방법
CN112013858B (zh) 定位方法、装置、自移动设备和存储介质
WO2023185250A1 (zh) 一种障碍物测距方法、移动机器人、设备及介质
Xia et al. Global calibration of non-overlapping cameras: State of the art
US20210374978A1 (en) Capturing environmental scans using anchor objects for registration
US11222433B2 (en) 3 dimensional coordinates calculating apparatus and 3 dimensional coordinates calculating method using photo images
US20190080471A1 (en) Distance measurement system and distance measurement method
CN112013850A (zh) 定位方法、装置、自移动设备和存储介质
CN115401689A (zh) 基于单目相机的距离测量方法、装置以及计算机存储介质
CN113744340A (zh) 用轴向视点偏移的非中心相机模型校准相机并计算点投影
JP3842988B2 (ja) 両眼立体視によって物体の３次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体
CN114838702A (zh) 距离测量方法、电子设备及存储介质
JP4227037B2 (ja) 撮像システム及び校正方法
JP2015135333A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2021038939A (ja) キャリブレーション装置
WO2020215296A1 (zh) 可移动平台的巡线控制方法、设备、可移动平台及***
Liu et al. Snapshot: A self-calibration protocol for camera sensor networks
CN117882110A (zh) 可移动平台的位姿估计方法、可移动平台及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant