CN111753799B - 一种基于主动双目的视觉传感器及机器人 - Google Patents

一种基于主动双目的视觉传感器及机器人 Download PDF

Info

Publication number
CN111753799B
CN111753799B CN202010630565.3A CN202010630565A CN111753799B CN 111753799 B CN111753799 B CN 111753799B CN 202010630565 A CN202010630565 A CN 202010630565A CN 111753799 B CN111753799 B CN 111753799B
Authority
CN
China
Prior art keywords
binocular
depth map
assembly
projection
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010630565.3A
Other languages
English (en)
Other versions
CN111753799A (zh
Inventor
张宏辉
章颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Muxin Intelligent Technology Co ltd
Original Assignee
Shenzhen Muxin Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Muxin Intelligent Technology Co ltd filed Critical Shenzhen Muxin Intelligent Technology Co ltd
Priority to CN202010630565.3A priority Critical patent/CN111753799B/zh
Publication of CN111753799A publication Critical patent/CN111753799A/zh
Application granted granted Critical
Publication of CN111753799B publication Critical patent/CN111753799B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于主动双目的视觉传感器，所述视觉传感器包括：双目摄像组件、激光投射组件以及微处理器，所述微处理器分别与所述双目摄像组件以及激光投射组件通讯连接；所述微处理器用于控制所述激光投射组件间隔启动，以使得所述双目摄像组件交替采集包含所述投射纹理的第一双目视图和未包含所述投射纹理的第二双目视图，这样使用间隔式纹理投射方式，可同时实现视觉定位以及3D深度测量，使得机器人***仅需要装置一个视觉传感器，降低了机器人的硬件成本。

Description

一种基于主动双目的视觉传感器及机器人
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种基于主动双目的视觉传感器及机器人。
背景技术
深度测量和视觉定位为地面移动智能机器人的两项关键技术，是影响机器人领域应用和性能的关键因素。目前常见的地面移动机器人***，深度测量和视觉定位通常是采用不同的视觉传感器来实现。然而，使用不同的视觉传感器实现3D深度测量和视觉定位，这样会导致机器人***的硬件成本增加。
发明内容
本发明要解决的技术问题在于，针对现有技术的不足，提供一种基于主动双目的视觉传感器及机器人。
为了解决上述技术问题，本发明实施例第一方面提供了一种基于主动双目的视觉传感器，所述视觉传感器包括：
双目摄像组件，用于采集拍摄场景的双目视图；
激光投射组件，用于发射可被双目摄像组件感测的投射纹理；以及，
微处理器，所述微处理器分别与所述双目摄像组件以及激光投射组件通讯连接；所述微处理器用于控制所述激光投射组件间隔启动，以使得所述双目摄像组件交替采集到第一双目视图和第二双目视图，其中，所述第一双目视图包含所述投射纹理，所述第二双目视图未包含所述投射纹理。
所述基于主动双目的视觉传感器，其中，所述微处理器还用于基于所述第一双目视图确定深度图，并基于所述深度图对应的第二双目视图以及所述深度图，确定所述深度图对应的定位信息。
所述基于主动双目的视觉传感器，其中，所述深度图对应的第二双目视图为按照时序位于所述深度图对应的第一双目视图前的第二双目视图，并且所述深度图对应的第二双目视图与所述深度图对应的第一双目视图在时序上相邻。
所述基于主动双目的视觉传感器，其中，所述基于所述深度图对应的第二双目视图以及所述深度图，确定所述深度图对应的定位信息具体包括：
对于所述深度图中的每个像素点，确定该像素点在第二双目视图中左视图上的第一投影点和右视图上的第二投影点；
确定第一投影点对应的第一图像块与第二投影点对应的第二图像块，以得到该像素点对应的图像块差值；
基于深度图中的各像素点各自对应的图像块差值，确定所述深度图对应的定位信息。
所述基于主动双目的视觉传感器，其中，所述基于深度图中的各像素点各自对应的图像块差值，确定所述深度图对应的定位信息具体包括：
基于深度图中的各像素点各自对应的图像块差值，确定所述深度图相对于所述第二双目视图的变化参数；
基于所述变化参数以及所述第二双目视图对应的定位信息，确定所述深度图对应的定位信息。
所述基于主动双目的视觉传感器，其中，所述视觉传感器包括：
红外补光组件，用于发送红外光以对所述双目摄像组件进行补光。
所述基于主动双目的视觉传感器，其中，当所述激光投射组件处于启动状态时，所述红外补光组件处于关闭状态。
所述基于主动双目的视觉传感器，其中，所述双目摄像组件包括第一图像采集器和第二图像采集器，所述第一图像采集器和所述第二图像采集器间隔布置，所述激光投射组件布置于所述第一图像采集器和所述第二图像采集器之间。
本发明实施例第二方面提供一种机器人，所述机器人装载有如上任一所述的基于主动双目的视觉传感器。
有益效果：与现有技术相比，本发明提供了一种基于主动双目的视觉传感器，所述视觉传感器包括：双目摄像组件、激光投射组件以及微处理器，所述微处理器分别与所述双目摄像组件以及激光投射组件通讯连接；所述微处理器用于控制所述激光投射组件间隔启动，以使得所述双目摄像组件交替采集包含所述投射纹理的第一双目视图和未包含所述投射纹理的第二双目视图，这样使用间隔式纹理投射方式，可同时实现视觉定位以及3D深度测量，使得机器人***仅需要装置一个视觉传感器，降低了机器人的硬件成本。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于主动双目的视觉传感器的一个示例图。
图2为本发明提供的投射纹理的示例图。
图3为本发明提供的基于主动双目的视觉传感器中的微处理器的工作流程示例图。
图4为本发明提供的基于主动双目的视觉传感器中的左视图和右视图的匹配示例图。
图5为本发明提供的基于主动双目的视觉传感器中的视觉定位投影关系的示例图。
具体实施方式
本发明提供一种基于主动双目的视觉传感器及机器人，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
发明人经过研究发现，在机器人领域广泛应用的视觉传感器主要包括被动3D视觉传感器(例如，双目3D视觉传感器和多目3D视觉传感器等，其中，双目3D视觉传感器为由两个相机组成立体视觉***，多目3D视觉传感器为)由两个以上的相机组成立体视觉***)；主动3D视觉传感器以及结构光3D视觉传感器。
所述被动3D视觉传感器采用仿真人眼设计原理，即两个视点观察同一景物，以获取在不同视角下的感知图像，然后通过三角测量原理计算图像的位置偏差(视差)来获取景物的三维位置信息。被动3D视觉传感器不需要额外的发光***，可以用来实现视觉定位，但被动3D视觉传感器的3D深度测量精度不高，易受到环境纹理，光照的影响。
主动3D视觉传感器是通过相机捕捉投射的纹理图像实现立体测量的主动3D视觉深度测量，其通过光学器件主动投射纹理信息到测量物体的表面，并通过相机捕捉投射的纹理图像实现立体测量。主动3D视觉传感器通过主动投射纹理图像，解决了被动3D视觉传感器易受到环境纹理，光照的影响的弱点。但由于需要主动投射纹理图像，主动投射纹理覆盖了视野内的场景纹理信息，导致无法捕获场景纹理信息，无法利用场景纹理信息实现视觉定位。
结构光3D视觉传感器是通过投射经过编码的特殊纹理到测量物体的表面，并通过相机捕捉投射的纹理图，利用投射器与相机之间的相对位置关系，通过三角测距获取深度信息。结构光3D视觉传感器只需要一个相机来捕捉投射的纹理图，其测量精度很大程度上取决于纹理图的编码精度，而要实现高精度的纹理编码，需要复杂的光学***，成本较高。同时，由于需要主动投射纹理图像，主动投射纹理覆盖了视野内的场景纹理信息，导致无法捕获场景纹理信息，无法利用场景纹理信息实现视觉定位。
然而，3D深度测量和视觉定位是地面移动智能机器人的两项关键技术，是影响机器人领域应用和性能的关键因素。地面移动智能机器人需要进行3D深度测量和视觉定位，从而需要在地面移动机器人***设置两个不同视觉传感器，一个视觉传感器用于3D深度测量，另一个视觉传感器用于视觉定位，这样一方面会导致机器人***的硬件成本增加，另外还需要对不同视觉传感器进行协同(例如，在构建环境地图，由于需要同时用到视觉定位以及3D深度测量信息，从而需要严格的校准两个视觉传感器之间的位置和时间关系等)，增加了机器人***控制复杂度。
为了解决上述问题，在本发明实施例中，所述视觉传感器包括双目摄像组件、激光投射组件以及微处理器，所述微处理器分别与所述双目摄像组件以及激光投射组件通讯连接；所述微处理器用于控制所述激光投射组件间隔启动，以使得所述双目摄像组件交替采集包含所述投射纹理的第一双目视图和未包含所述投射纹理的第二双目视图，这样使用间隔式纹理投射方式，可同时实现视觉定位以及3D深度测量，使得机器人***仅需要装置一个视觉传感器，降低了机器人的硬件成本。
下面结合附图，通过对实施例的描述，对发明内容作进一步说明。
本实施提供了一种基于主动双目的视觉传感器，如图1所示，所述视觉传感器包括双目摄像组件10、激光投射组件20以及微处理器，所述微处理器分别与所述双目摄像组件10以及激光投射组件20通讯连接。所述双目摄像组件10用于采集位于其拍摄范围内的双目图像，所述激光投射组件20用于发射投射纹理，所述投射纹理可被双目摄像组件10感测，所述微处理器用于控制所述激光投射组件20间隔启动，以使得所述双目摄像组件10交替采集包含所述投射纹理的第一双目视图和未包含所述投射纹理的第二双目视图，这样通过控制激光投射组件20采用间隔方式进行纹理投射，使得双目摄像组件10可以获取包含投射纹理的双目图像以进行3D深度测量，又可以获取到未包含投射纹理的双目图像以进行视觉定位，从而机器人***在需要进行3D深度测量以及视觉定位的情况下也可以仅需要装置一个视觉传感器，降低了机器人的硬件成本。
进一步，所述双目摄像组件10包括第一图像采集器和第二图像采集器；所述双目图像包括第一图像采集器采集的第一图像和第二图像采集器采集的第二图像。在本实施例的一个实现方式中，将双目摄像组件的拍摄方向作为前向；所述第一图像采集器和第二图像采集器按照左右方向间隔布置，例如，第一图像采集器位于第二图像采集器的左侧，或者是，第一图像采集器位于第二图像采集器的右侧。这里以第一图像采集器位于第二图像采集器左侧为例，相应的，第一图像为双目图像中的左视图，第二图像为双目图像中的右视图，并且所述左视图和所述右视图构成所述双目摄像组件对应的拍摄参加的双目视图。
进一步，所述激光投射组件20用于发射投射纹理，其中，所述激光投射组件发射的投射纹理可以被第一图像采集器和第二图像采集器感测。可以理解的是，所述激光投射组件将投射纹理投射至双目摄像组件的拍摄场景内，并覆盖双目摄像组件的拍摄场景，以使得双目摄像组件中的第一图像采集器拍摄的左视图和第二图像采集器拍摄的右视图均包括投射纹理。其中，投射纹理为激光光束打到拍摄场景中的对象表面后在对象表面呈现出的纹理图像，该纹理图像覆盖对象表面并可被双目摄像组件识别和记录。例如，所述投射纹理为如图2所示的纹理图像。此外，在本实施例的一个实现方式中，所述激光投射组件位于所述第一图像采集器和所述第二图像采集器之间。当然，在实际应用中，所述激光投射组件也可以设置于其他位置，只要激光投射组件发射的投射纹理可以投射至拍摄场景中的对象表面，使得双目摄像组件可以拍摄到投射纹理即可。
进一步，所述微处理器分别与所述双目摄像组件10和所述激光投射组件20通讯连接，所述微处理器用于控制所述激光投射组件20间隔发射投射纹理，控制所述双目摄像组件10采集拍摄场景的双目图像。其中，所述微处理器控制激光投射组件20按照时序间隔发射投射纹理，并且相邻两次发射投射纹理中一次发射投射纹理，一次未发射投射纹理。可以理解的是，在双目摄像组件10相邻两次采集拍摄场景的双目图像的两个采集时刻，激光投射组件20一次发射投射纹理，一次不发射投射纹理，以使得双目摄像组件10采集到的相邻两组双目图像中，一组双目图像包含投射纹理，一组双目图像不包含投射纹理。也就是说，所述双目摄像组件10交替采集到包含所述投射纹理的第一双目视图和未包含所述投射纹理的第二双目视图。例如，双目摄像组件10按照时限采集到双目图像A、双目图像B、双目图像C以及双目图像D，假设双目图像A为第二双目图像，那么双目图像B为第一双目图像，双目图像C为第二双目图像，双目图像D为第一双目图像。
进一步，在本实施例的一个实现方式中，所述第一双目图像用于测量深度信息，所述第二双目图像用于确定第二双目图像对应的定位信息，以及用于结合深度图确定深度图像对应的定位信息，其中，对于每个深度图，辅助确定该深度图对应的定位信息的第二双目图像为按照时序位于该深度图之前的第二双目图像，并且该第二双目图像对应的采集时刻与该深度图对应的第一双目图像的采集时刻相邻。例如，视觉传感器按照采集时序采集到第二双目图像A、第一双目图像A、第二双目图像B以及第一双目图像B，那么第二双目图像A用于确定第二双目图像A对应的定位信息，第一双目图像A用于确定深度图A，并第二双目图像A用于辅助深度图A确定第一双目图像A对应的定位信息。
基于此，所述微处理器还用于基于所述第一双目视图确定深度图，并基于所述深度图对应的第二双目视图以及所述深度图，确定所述深度图对应的定位信息。相应的，如图3所示，所述微处理器的工作过程可以为：微处理器控制双目拍摄组件采集拍摄场景的双目图像，并检测该双目图像是否包括投射纹理，若双目图像包含投射纹理，则基于该双目图像计算深度信息以得到深度图，并基于该深度图以及该双目图像的前一采集时刻采集得到的前一双目图像确定该深度图对应的定位信息，以及进入下一帧图像；若双目图像未包含投射纹理，则直接输出双目图像并进入下一帧图像；此外，当进入下一帧图像时，检测激光投射组件的工作状态，若激光投射组件处于启动状态，则控制所述激光投射组件关闭，并在所述激光投射组件关闭后继续执行控制双目拍摄组件采集拍摄场景的双目图像的步骤；若激光投射组件处于关闭状态，则控制所述激光投射组件启动，并在所述激光投射组件启动后继续执行控制双目拍摄组件采集拍摄场景的双目图像的步骤，直至采集完毕。
在本实施例的一个实现方式中，所述基于所述第一双目视图确定深度图的过程可以为：以左边相机(第一图像采集器)采集的左视图为基准图像，以右边相机(第二图像采集器)采集的左视图为待匹配图像；首先，在基准图像上选取以像素点(x,y)为中心的图像块Q，其次，在待匹配图像上进行线扫描，确定待匹配图像中每一个待匹配位置与图像块Q的相关度，并选取相关度最高的待匹配位置为图像块Q对应的匹配位置(例如，如图4所示的匹配位置(xa，ya)等)；最后，在获取到匹配位置后，根据利用左视图中的图像块和右视图中的匹配位置确定像素点(x,y)的深度值，其中，深度值h的计算公式可以为：
Figure BDA0002568487370000081
其中，f为第一图像采集器的焦距/第二图像采集器的焦距，B为第一图像采集器的焦距/第二图像采集器的焦距，d0为图像块Q和其对应的匹配位置的视差。
当然，在实际应用中，为了进行线扫描，获取到基准图像和待匹配图像后，分别对基准图像和待匹配图像基于各自对应的标定参数进行校正，以使得对于基准图像中的每个图像块，该图像块在待匹配图像中对应的匹配位置和图像块在一条线行，从而可以在线上对图像块进行匹配。
在本实施例的一个实现方式中，所述基于所述深度图对应的第二双目视图以及所述深度图，确定所述深度图对应的定位信息具体包括：
对于所述深度图中的每个像素点，确定该像素点在第二双目视图中左视图上的第一投影点和右视图上的第二投影点；
确定第一投影点对应的第一图像块与第二投影点对应的第二图像块，以得到该像素点对应的图像块差值；
基于深度图中的各像素点各自对应的图像块差值，确定所述深度图对应的定位信息。
具体地，所述第二双目视图为按照时序该深度图对应的第一双目图像的相邻双目视图，并且该第二双目视图的采集时刻位于该第一双目图像的采集时刻之前。所述像素点为所述深度图中一个3D空间点，记为点P(X，Y，Z)，并且如图5所示，该空间点P(X，Y，Z)可以在左视图上对应一个投影点，在右视图上对应一个投影点，这里将左视图上的投影点记为第一投影点Q0(X0,Y0)，将右视图上的投影点记为第二投影点Q1(X1,Y1)。其中，第一投影点Q0(X0,Y0)和第二投影点Q1(X1,Y1)可以根据深度图对应的双目摄像组件的位置状态信息与第二双目图像对应的双目摄像组件的位置状态信息的对应关系以及该空间点P确定。
进一步，假设深度图对应的双目摄像组件的位置状态信息与第二双目图像对应的双目摄像组件的位置状态信息(包括位置信息以及姿态信息)的对应关系为：
Figure BDA0002568487370000091
其中，Ri为相对旋转矩阵，Ti为平移向量；那么空间点P对应的第一投影点和第二投影点可以为：
Figure BDA0002568487370000092
Figure BDA0002568487370000093
Figure BDA0002568487370000094
其中，当双目摄像组件经过标定校正后，左视图和右视图的位置状态信息满足以下关系：
R1＝R0
Figure BDA0002568487370000101
其中，
Figure BDA0002568487370000102
为双目摄像组件中第一图像采集器和第二图像采集器之间的距离，根据双目摄像组件标定确定。
基于此，空间点P在左视图上对应的投影点对应的第一图像块和空间点P在右视图上对应的投影点对应的第二图像块为相同。从而，可以在左视图上选取第一投影点对应的第一图像块，在右视图上选取第二投影点对应的第二图像块，并基于所述第一图像块和第二图像块确定空间点P对应的图像块差值。此外，在获取到深度图中各像素点对应的图像块差值后，基于获取到的所有图像块差值可以确定深度图对应的定位信息，其中，所述定位信息包括位置信息和姿态信息。其中，所述定位信息的计算可以转换为一优化问题，其中，优化问题可以为：
Figure BDA0002568487370000103
其中，初始值为上一次求解得到的定位信息，N为深度图中像素点的数量。
基于此，在本实施例的一个实现方式中，所述基于深度图中的各像素点各自对应的图像块差值，确定所述深度图对应的定位信息具体包括：基于深度图中的各像素点各自对应的图像块差值，确定所述深度图相对于所述第二双目视图的变化参数；基于所述变化参数以及所述第二双目视图对应的定位信息，确定所述深度图对应的定位信息。
具体地，在确定优化问题后，确定该优化问题的最优解(例如，所述最优解为该优化问题取极小值时的R0,T0)，在获取到最优解后，将最优解作为变化参数，在基于第二双目视图的定位信息以及该变化参数可以确定深度图对应的定位信息。本实施例通过基于深度图和第二双目图像确定定位信息，无需提取图像特征点，从而克服了传统视觉定位算法易受到环境纹理的问题，提高了定位信息的准确性。
进一步，在本实施例的一个实现方式中，如图1所示，所述视觉传感器还可以包括红外补光组件30，所述红外补光组件30与所述微处理相连接，用于发送红外光以对所述双目拍摄组件10进行补光。其中，所述红外补光组件30可以设置于所述第一图像采集器和第二图像采集器中，以使得红外补光组件可以同时为第一图像采集器和第二图像采集器补光，并且可以使得为第一图像采集器补光的强度与为第二图像采集器补光的强度的差异小，使得第一图像采集器采集到的第一图像的图像质量和第二图像采集器采集到的第二图像的图像质量相近。当然，在实际应用中，所述红外补光组件可以设置于其他位置，只要可以为双目摄像组件补光即可。
此外，所述红外补光组件30用于在激光投射组件20处于关闭状态时，为双目摄像组件10补光，以免红外补光组件30产生的红外光对激光投射组件20发生的激光产生影响，提高了基于激光投射组件20投影的投射纹理确定深度信息的准确性。在本实施例的一个实现方式中，当所述激光投射组件处于启动状态时，所述红外补光组件30处于关闭状态。此外，所述红外补光组件30用于在环境光不满足预设条件时，为双目拍摄组件10进行补光，其中，预设条件为环境光强度低于预设亮度阈值等。
基于此，所述微处理器还可以用于获取环境光强度，并基于环境光强度控制红外补光组件开启或者关闭。其中，所述微处理器控制红外补光组件开启或者关闭的具体过程可以为：所述微处理器获取环境光强度，并检测环境光强度是否满足预设条件，若环境光强度满足预设条件，则控制红外补光组件处于常闭状态；若环境光强度未满足预设条件，则监听激光投射组件的工作状态；当激光投射组件处于关闭状态时，启动红外补光组件以为双目摄像组件补光；当激光投射组件处于开启状态时，关闭红外补光组件。可以理解的是，当环境光强度未满足预设条件时，微处理器控制所述红外补光组件交替开启和关闭，并且红外补光组件的工作状态与激光投射组件的工作状态相反，即当激光投射组件处于关闭状态时，红外补光组件处于开启状态，反之，当激光投射组件处于开启状态时，红外补光组件处于关闭状态。
综上所述，本实施例提供了一种基于主动双目的视觉传感器，所述视觉传感器包括：双目摄像组件、激光投射组件以及微处理器，所述微处理器分别与所述双目摄像组件以及激光投射组件通讯连接；所述微处理器用于控制所述激光投射组件间隔启动，以使得所述双目摄像组件交替采集包含所述投射纹理的第一双目视图和未包含所述投射纹理的第二双目视图，这样使用间隔式纹理投射方式，可同时实现视觉定位以及3D深度测量，使得机器人***仅需要装置一个视觉传感器，降低了机器人的硬件成本。
基于上述基于主动双目的视觉传感器，本发明还提供了一种机器人，所述机器人装载有如上实施例所述的基于主动双目的视觉传感器。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种基于主动双目的视觉传感器，其特征在于，所述视觉传感器包括：
双目摄像组件，用于采集拍摄场景的双目视图；
激光投射组件，用于发射可被双目摄像组件感测的投射纹理；以及，
微处理器，所述微处理器分别与所述双目摄像组件以及激光投射组件通讯连接；所述微处理器用于控制所述激光投射组件间隔启动，以使得所述双目摄像组件交替采集到第一双目视图和第二双目视图，其中，所述第一双目视图包含所述投射纹理，所述第二双目视图未包含所述投射纹理；
所述微处理器还用于基于所述第一双目视图确定深度图，并基于所述深度图对应的第二双目视图以及所述深度图，确定所述深度图对应的定位信息；
所述基于所述深度图对应的第二双目视图以及所述深度图，确定所述深度图对应的定位信息具体包括：
对于所述深度图中的每个像素点，确定该像素点在第二双目视图中左视图上的第一投影点和右视图上的第二投影点；
确定第一投影点对应的第一图像块与第二投影点对应的第二图像块，以得到该像素点对应的图像块差值；
基于深度图中的各像素点各自对应的图像块差值，确定所述深度图对应的定位信息。
2.根据权利要求1所述基于主动双目的视觉传感器，其特征在于，所述深度图对应的第二双目视图为按照时序位于所述深度图对应的第一双目视图前的第二双目视图，并且所述深度图对应的第二双目视图与所述深度图对应的第一双目视图在时序上相邻。
3.根据权利要求1所述基于主动双目的视觉传感器，其特征在于，所述基于深度图中的各像素点各自对应的图像块差值，确定所述深度图对应的定位信息具体包括：
基于深度图中的各像素点各自对应的图像块差值，确定所述深度图相对于所述第二双目视图的变化参数；
基于所述变化参数以及所述第二双目视图对应的定位信息，确定所述深度图对应的定位信息。
4.根据权利要求1所述基于主动双目的视觉传感器，其特征在于，所述视觉传感器包括：
红外补光组件，用于发送红外光以对所述双目摄像组件进行补光。
5.根据权利要求4所述基于主动双目的视觉传感器，其特征在于，当所述激光投射组件处于启动状态时，所述红外补光组件处于关闭状态。
6.根据权利要求1所述基于主动双目的视觉传感器，其特征在于，所述双目摄像组件包括第一图像采集器和第二图像采集器，所述第一图像采集器和所述第二图像采集器间隔布置，所述激光投射组件布置于所述第一图像采集器和所述第二图像采集器之间。
7.一种机器人，其特征在于，所述机器人装载有如权利要求1-6任一所述的基于主动双目的视觉传感器。
CN202010630565.3A 2020-07-03 2020-07-03 一种基于主动双目的视觉传感器及机器人 Active CN111753799B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010630565.3A CN111753799B (zh) 2020-07-03 2020-07-03 一种基于主动双目的视觉传感器及机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010630565.3A CN111753799B (zh) 2020-07-03 2020-07-03 一种基于主动双目的视觉传感器及机器人

Publications (2)

Publication Number Publication Date
CN111753799A CN111753799A (zh) 2020-10-09
CN111753799B true CN111753799B (zh) 2021-07-13

Family

ID=72679010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010630565.3A Active CN111753799B (zh) 2020-07-03 2020-07-03 一种基于主动双目的视觉传感器及机器人

Country Status (1)

Country Link
CN (1) CN111753799B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241983A (zh) * 2020-10-19 2021-01-19 深圳市目心智能科技有限公司 一种基于主动双目视觉的感知***及机器人
CN113075692A (zh) * 2021-03-08 2021-07-06 北京石头世纪科技股份有限公司 目标检测及控制方法、***、设备及存储介质
CN118161813A (zh) * 2024-05-11 2024-06-11 徐州徐工道金特种机器人技术有限公司 消防灭火控制方法、装置、***、消防设备及计算机产品

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844616B (zh) * 2016-03-17 2019-06-11 湖南优象科技有限公司 激光散射斑点辅助下的双目立体匹配算法与装置
US10932901B2 (en) * 2017-02-10 2021-03-02 University Of Rochester Vision correction with laser refractive index changes
CN108012143B (zh) * 2017-12-04 2021-02-09 深圳市无限动力发展有限公司 双目摄像头标定方法及装置
CN209991983U (zh) * 2019-02-28 2020-01-24 深圳市道通智能航空技术有限公司 一种障碍物检测设备及无人机
CN111336422B (zh) * 2020-02-28 2022-07-05 南通大学 一种led无影灯补光装置及其补光方法

Also Published As

Publication number Publication date
CN111753799A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN111753799B (zh) 一种基于主动双目的视觉传感器及机器人
US10088296B2 (en) Method for optically measuring three-dimensional coordinates and calibration of a three-dimensional measuring device
US10401143B2 (en) Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
US10427304B2 (en) Robotic charger alignment
CN1238691C (zh) 组合立体视像、彩色3d数字化和运动捕捉的***
CN110728715B (zh) 一种智能巡检机器人摄像机角度自适应调整方法
CN108234984A (zh) 双目深度相机***和深度图像生成方法
TWI795425B (zh) 用於產生場景之表示的設備及方法
CN105574525B (zh) 一种复杂场景多模态生物特征图像获取方法及其装置
CN109741405A (zh) 一种基于对偶结构光rgb-d相机的深度信息采集***
US20060029256A1 (en) Method of generating image and device
KR101902283B1 (ko) 물체의 3차원 정보 획득을 위한 카메라 센싱 장치 및 이를 이용한 가상 골프 시뮬레이션 장치
CN106772431A (zh) 一种结合tof技术和双目视觉的深度信息获取装置及其方法
CN102253057B (zh) 内窥镜***及使用内窥镜***的测量方法
CN104604221A (zh) 用于生成深度图像的设备
CN109035309A (zh) 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法
CN104935790A (zh) 成像***
CN109285189B (zh) 一种无需双目同步的直线轨迹快速计算方法
KR20150004989A (ko) 삼차원 영상 획득 장치 및 이를 이용한 영상 처리 방법
CN109668509A (zh) 基于双棱镜单摄像机三维测量工业内窥镜***及测量方法
CN102438111A (zh) 一种基于双阵列图像传感器的三维测量芯片及***
WO2016040229A1 (en) Method for optically measuring three-dimensional coordinates and calibration of a three-dimensional measuring device
CN114359406A (zh) 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法
WO2016040271A1 (en) Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
CN110849269A (zh) 一种田间玉米棒几何尺寸测量***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant