CN113376655B - 一种避障模组、移动机器人、避障方法 - Google Patents
一种避障模组、移动机器人、避障方法 Download PDFInfo
- Publication number
- CN113376655B CN113376655B CN202110495344.4A CN202110495344A CN113376655B CN 113376655 B CN113376655 B CN 113376655B CN 202110495344 A CN202110495344 A CN 202110495344A CN 113376655 B CN113376655 B CN 113376655B
- Authority
- CN
- China
- Prior art keywords
- laser
- image sensor
- image
- obstacle
- horizontal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000003384 imaging method Methods 0.000 claims description 41
- 230000008859 change Effects 0.000 claims description 23
- 230000003287 optical effect Effects 0.000 claims description 13
- 239000000758 substrate Substances 0.000 claims 1
- 230000004888 barrier function Effects 0.000 abstract description 3
- 238000004140 cleaning Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 5
- 230000001502 supplementing effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000010865 sewage Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 241001417527 Pempheridae Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005520 electrodynamics Effects 0.000 description 1
- 239000003574 free electron Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005201 scrubbing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
本发明涉及避障技术领域，具体涉及一种避障模组、移动机器人以及避障方法，该方法包括：当所述激光器投射水平激光线和垂直激光线至障碍物时，获取所述第一图像传感器采集的第一图像，以及所述第二图像传感器采集的第二图像；根据所述第一图像和所述第二图像，获取所述水平激光线对应的第一深度信息，并获取所述垂直激光线对应的第二深度信息；结合所述第一深度信息和所述第二深度信息，获得点云，所述点云用于识别所述障碍物。本发明通过垂直方向和水平方向两个维度来检测障碍物，从而能够减少移动机器人的盲区，更准确、全面的探测出移动机器人周围的障碍物。
Description
技术领域
本发明涉及避障技术领域，具体涉及一种避障模组、移动机器人以及避障方法。
背景技术
避障技术在机器人领域是刚需，随着机器人行业对控制精度和智能化要求的提升，避障传感器趋于小型化，传感器感知性能越来越高。
现有移动机器人采用激光雷达扫描周边环境，根据点云实施避障。然而，当前的移动机器人在探测障碍物时，通常只能探测一个高度截面上的障碍物，对于低于激光雷达的障碍物会产生较大的盲区，导致移动机器人不能准确探测到有效障碍物。
发明内容
本发明实施例提供一种避障模组、移动机器人以及避障方法，以解决相关技术在检测障碍物时存在盲区，检测结果的准确性和全面性较低的技术问题。
为了解决上述技术问题，本发明实施例提供以下技术方案：
在第一方面，本发明实施例提供一种避障模组，包括：
第一图像传感器、第二图像传感器及激光器，所述第一图像传感器与所述第二图像传感器在竖直方向上间隔预设距离，所述第一图像传感器与所述激光器设置于同一水平面；
其中，所述激光器用于发射水平激光线和垂直激光线。
可选地，所述第一图像传感器与所述激光器两者的光轴中心连线与所述第一图像传感器坐标系的X轴平行。
可选地，所述第一图像传感器与所述第二图像传感器两者的光轴中心连线与竖直方向所在的直线平行。
可选地，所述第一图像传感器与所述第二图像传感器两者的光轴中心连线与竖直方向所在的直线相交。
在第二方面，本发明实施例提供一种移动机器人，包括：
壳体；
如上所述的避障模组，设置于所述壳体；
驱动模组，设置于所述壳体内；以及
控制器，分别与所述避障模组和所述驱动模组连接，用于发送控制指令，控制所述驱动模组驱动所述壳体移动，并通过所述避障模组检测障碍物。
在第三方面，本发明实施例提供一种避障方法，该方法应用于如上所述的移动机器人，该方法包括：
当所述激光器投射水平激光线和垂直激光线至障碍物时，获取所述第一图像传感器采集的第一图像，以及所述第二图像传感器采集的第二图像；
根据所述第一图像和所述第二图像，获取所述水平激光线对应的第一深度信息，并获取所述垂直激光线对应的第二深度信息；
结合所述第一深度信息和所述第二深度信息，获得点云，所述点云用于识别所述障碍物。
可选地，所述根据所述第一图像和所述第二图像，获取所述水平激光线对应的第一深度信息，包括：
获取所述第一图像中的第一水平激光条纹；
根据所述第一水平激光条纹，在所述第二图像中确定与所述第一水平激光条纹对应的激光条纹作为第二水平激光条纹；其中，所述第二图像中包括至少一条水平激光条纹；
获取所述第二水平激光条纹在所述第二图像传感器坐标系的光斑高度；
根据所述光斑高度、所述第二图像传感器与所述激光器的相对高度以及所述第二图像传感器的焦距，测量获得所述水平激光线对应的第一深度信息。
可选地，所述水平激光线第一次被与所述激光器间隔第一距离的障碍物反射后，反射后的激光线成像在所述第一图像传感器成像面的固定行像素范围内，同时，所述水平激光线第一次被与所述激光器间隔第二距离的障碍物反射后，反射后的激光线成像在所述固定行像素范围内，其中，所述第一距离与所述第二距离不同。
可选地，与所述激光器距离不同的障碍物对应的水平激光条纹和垂直激光条纹在所述第二图像传感器成像面的不同高度。
可选地，所述根据所述第一图像和所述第二图像，获取所述垂直激光线对应的第二深度信息包括：
根据所述第一图像获取所述垂直激光线在水平方向上产生的列的变化所对应的第一变化值；
根据所述第二图像获取所述垂直激光线在水平方向上产生的列的变化所对应的第二变化值；
根据所述第一变化值，和/或所述第二变化值，获得所述垂直激光线对应的第二深度信息。
相对于传统技术，在本发明各个实施例提供的避障模组、移动机器人以及避障方法中，避障模组包括第一图像传感器、第二图像传感器及激光器，第一图像传感器与第二图像传感器在竖直方向上间隔预设距离，第二图像传感器与激光器设置于同一水平面，其中，激光器用于发射水平激光线和垂直激光线。由于激光器的水平激光线经过障碍物第一次反射后，皆可落在第一图像传感器成像面的固定行像素范围内，因此，可以基于成像在第一图像传感器的第一水平激光条纹，有效地搜索出成像在第二图像传感器的第二水平激光条纹，进而可利用该第二水平激光条纹，精确地测量出水平激光线对应的深度信息。另外，第一图像传感器和第二图像传感器分别获得的垂直激光条纹会随着障碍物距离变化而变化，由此可精确地测量出垂直激光线对应的深度信息。最后根据水平激光线对应的深度信息和垂直激光线对应的深度信息，能够获得一十字形分布的点云，检测获得的点云可用于进行更详细的障碍物辨识。采用本避障模组、避障方法和移动机器人，能够减少移动机器人的盲区，更准确、全面的探测出移动机器人周围的障碍物。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1a为本发明实施例提供的一种移动机器人的结构示意图；
图1b为本发明实施例提供的一种移动机器人的电路原理框图；
图2a为本发明实施例提供的第一图像传感器、第二图像传感器及激光器之间的第一种位置示意图；
图2b为本发明实施例提供的第一图像传感器、第二图像传感器及激光器之间的第二种位置示意图；
图2c为本发明实施例提供的第一图像传感器与激光器两者的光轴中心连线与第一图像传感器坐标系的X轴平行的示意图；
图2d为本发明实施例提供的避障模组与地面之间的位置关系示意图；
图3a为本发明实施例提供的激光器向障碍物发射的水平激光线在每个图像传感器的成像示意图；
图3b为本发明实施例提供的水平激光线打在距离不同的障碍物时，在第一图像传感器中成像的成像示意图；
图3c为本发明实施例提供的水平激光线打在距离不同的障碍物时，在第二图像传感器中成像的成像示意图；
图4为本发明实施例提供的激光器向地面发射的激光线在每个图像传感器的成像示意图，其中，地面反射后的激光线再次经过障碍物的反射；
图5a为本发明实施例提供的激光器向障碍物发射的垂直激光线在每个图像传感器的成像的后视图；
图5b为本发明实施例提供的激光器向障碍物发射的垂直激光线在每个图像传感器的成像的俯视图；
图5c为本发明实施例提供的垂直激光线打在距离不同的障碍物时，在第一图像传感器中成像的成像示意图；
图5d为本发明实施例提供的垂直激光线打在距离不同的障碍物时，在第二图像传感器中成像的成像示意图；
图6为本发明实施例提供的避障方法的流程示意图；
图7为本发明实施例提供的每个图像传感器中皆设有子窗口区域的示意图；
图8为本发明实施例提供的激光器向障碍物发射水平激光线，经过障碍物的反射后在第二图像传感器的成像面成像的示意图；
图9为本发明实施例提供的避障装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互组合，均在本发明的保护范围之内。另外，虽然在装置示意图中进行了功能模块的划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置示意图中的模块划分，或流程图中的顺序执行所示出或描述的步骤。
本发明实施例提供的避障模组可以设置在任意合适的电子设备中，诸如机器人、工业设备、家居设备、无人驾驶汽车等等。在本实施例中，机器人可以被配置任意合适业务功能，以实现完成相应的业务操作，诸如清洁机器人、扫地机等等。
请一并参阅图1a及图1b，移动机器人100包括壳体11、驱动模组12、清洁组件13、无线通信单元14、音频单元15、避障模组16、补光组件17及控制单元18。
壳体11可被构造成任意合适形状，诸如圆台状、不规则形状等等。在壳体11内，其可出于移动机器人100的作业特点，配置相应的结构，例如，移动机器人100用于清洁地面，壳体11内部可被构造具有抽取清洁组件14携带的污水或垃圾的通道。
驱动模组12设置于壳体11内，用于驱动移动机器人100按照规划路径行走，以便实施清洁作业，清洁时，控制单元18向驱动模组12发送控制指令，驱动模组12根据控制指令带动清洁组件14完成清洁作业。
在一些实施例中，驱动模组12包括电机组件以及驱动轮，电机组件接收控制指令，并根据控制指令带动驱动轮转动，从而驱动移动机器人100行进或后退。
清洁组件13设置于壳体11，用于清洁地面。当移动机器人100受驱动模组12的驱动而行进时，移动机器人100带动清洁组件13清洁地面。其中，清洁组件13清洁地面的方式包括水洗方式、擦洗方式、清扫方式等等。
在一些实施例中，清洁组件13包括电机组件及滚筒，滚筒的表面设有擦具，滚筒的两端设置于壳体11上，电机组件与滚筒连接，电机组件受控制单元18的控制，带动滚筒转动，擦具随着滚筒的转动而转动，因此，擦具从而能够清洁地面。
无线通信单元14用于与用户终端无线通信，无线通信单元14与控制单元18电连接。逗宠时，用户通过用户终端向电子设备100发送控制指令，无线通信单元14接收控制指令并向控制单元18发送该控制指令，控制单元18根据该控制指令控制移动机器人100。
无线通信单元14包括广播接收模块、移动通信模块、无线互联网模块、短距离通信模块和定位信息模块的其中一种或多种的组合。其中，广播接收模块经由广播信道从外部广播管理服务器接收广播信号和/或广播相关信息。广播接收模块可以使用数字广播***来接收数字广播信号，数字广播***诸如为地面数字多媒体广播(DMB-T)、卫星数字多媒体广播(DMB-S)、仅媒体前向链路(MediaFLO)、手持数字视频广播(DVB-H)或地面综合业务数字广播(ISDB-T)。
移动通信模块向移动通信网络上的基站、外部终端和服务器中的至少一方发送无线信号，或者可以从基站、外部终端和服务器中的至少一方接收无线信号。这里，根据字符/多媒体消息的接收和发送，无线信号可以包括语音呼叫信号、视频呼叫信号或各种形式的数据。
无线互联网模块指的是用于无线互联网连接的模块，并且可以内置或外置于终端。可以使用诸如无线LAN(WLAN)(Wi-Fi)、无线宽带(Wibro)、全球微波接入互操作性(Wimax)、高速下行分组接入(HSDPA)这样的无线互联网技术。
短距离通信模块指的是用于进行短距离通信的模块。可以使用诸如蓝牙(Bluetooth)、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)或ZigBee这样的短距离通信技术。
定位信息模块是用于获得移动机器人100的位置的模块，例如全球定位***(GPS)模块。
音频单元15用于输出音频信号，控制单元18按照预设逻辑，控制音频单元15输出相应的音频信号，诸如清洁完毕、污水已满等等音频信号。
在一些实施例中，音频单元15可以为喇叭、扬声器、麦克风等等电声换能器，其中，喇叭或扬声器的数量可以为一个或多个，麦克风的数量可以为多个，多个麦克风可以构成麦克风阵列，以便有效地采集声音。麦克风可以是电动式的(动圈式、带式)、电容式的(直流极化式)、压电式的(晶体式、陶瓷式)、电磁式的、碳粒式的、半导体式的等或其任意组合。在一些实施例中，麦克风可以是微型机电***(MEMS)麦克风。
避障模组16用于测量机器人与障碍物之间的距离，以便机器人实施避障或者构建地图。
在本实施例中，避障模组16包括第一图像传感器161、第二图像传感器162及激光器163。
在本实施例中，第一图像传感器161与第二图像传感器162在竖直方向上间隔预设距离。请一并参阅图2a及图2b，在一些实施例中，第一图像传感器161与第二图像传感器162在垂直方向对齐，亦即，第一图像传感器161与第二图像传感器162两者的光轴中心连线与竖直方向所在的直线平行，采用此类结构设计，其能够有助于后期高效地提取数据点云。
在一些实施例中，第一图像传感器161与第二图像传感器162在垂直方向还可以不用对齐，亦即，第一图像传感器161与第二图像传感器162两者的光轴中心连线与竖直方向所在的直线相交。
在本实施例中，第一图像传感器161与激光器163设置于同一水平面，亦即，请参阅图2c，第一图像传感器161与激光器163两者的光轴中心连线O1、O2与第一图像传感器161坐标系的X轴平行。
在一些实施例中，请参阅图2d，避障模组16与地面距离一定高度，设置在壳体11上，例如，避障模组16中的第一图像传感器161距离地面大约6.5厘米。
在一些实施例中，避障模组16中第一图像传感器161、第二图像传感器162及激光器163的光轴皆与地面所在的水平面相交一定角度，亦即，第一图像传感器161、第二图像传感器162及激光器163以一定角度朝向地面，例如，为了使激光器163照射到距离前方15cm-20cm的障碍物，设置激光器163时，激光器163的光轴与地面的夹角大约在14-17度。因此，采用此结构的避障模组，其能够检测地面上的小体积障碍物，从而能够有效地构造环境内的点云和实施避障。
在本实施例中，激光器163用于发射水平激光线和垂直激光线。由于第一图像传感器161与激光器163设置于同一水平面，激光器163发射的水平激光线被与其距离不同的障碍物反射后，第一次反射后的激光线皆成像在第一图像传感器161成像面的固定行像素范围内，亦即，激光线第一次被与激光器间隔第一距离的障碍物反射后，反射后的激光线成像在第一图像传感器161成像面的固定行像素范围内，同时，所述水平激光线第一次被与激光器间隔第二距离的障碍物反射后，反射后的激光线成像在固定行像素范围内，其中，第一距离与第二距离不同。并且，激光器发射的水平激光线被与其距离不同的障碍物经过至少两次反射后，至少两次反射后的激光线皆成像在固定行像素范围之外。
举例而言，请参阅图3a，激光器163向障碍物31发射水平激光线32，水平激光线32经过障碍物31的反射后，返回两路反射激光线，分别为第一反射激光线33及第二反射激光线34，第一反射激光线33被第二图像传感器162所采集，并成像在第一成像面35上。第二反射激光线34被第一图像传感器161所采集，并成像在第二成像面36上。其中x1o1y1为第二图像传感器162的坐标系，x2o2y2为第一图像传感器161的坐标系。
可以理解的是，由于第一图像传感器161与激光器163设置于同一水平面，并且，第一图像传感器161与第二图像传感器162在竖直方向上间隔预设距离，因此，在图3a中，无论水平激光线32打在任意距离的障碍物上，第一次反射后的激光线皆成像在第一图像传感器161成像面的固定行像素范围内。因此，后期测距时，可以有效地搜索固定行像素范围内的激光条纹，并将搜索到的激光条纹作为基准对象，从而有效地在另一个成像面上找到与所述基准对象匹配的另一条激光条纹，从而有效地、更为精确地测量激光器163与障碍物的距离。
在图3a中，水平激光线32打在任意距离的障碍物上，第一次反射后的激光线成像在第二图像传感器162的第一成像面35的不同高度，亦即，与激光器163距离不同的障碍物对应的水平激光条纹在第二图像传感器成像面的不同高度，此处请结合图3b及图3c理解。
在图3b中，由于第一图像传感器161与激光器163设置于同一水平面，因此，水平激光线32打在距离不同的障碍物时，第二反射激光线34成像在第一图像传感器161成像面的同一行图像上，即，激光器163发射的水平激光线在第一图像传感器161上的成像不随障碍物的远近变化而改变高度。例如，打在远距离障碍物37的激光条纹与近距离障碍物38的激光条纹39皆成像在第一图像传感器161成像面的同一行图像上。
在图3c中，由于第二图像传感器162与激光器163在竖直方向上间隔预设距离，因此，水平激光线32打在距离不同的障碍物时，打在远距离障碍物37的激光条纹与近距离障碍物38的激光条纹40成像在第二图像传感器162成像面的不同行图像上，即，激光器163发射的水平激光线在第二图像传感器162上的成像随障碍物的远近变化而呈现高度变化。
请接着参阅图4，激光器163向地面41发射水平激光线42，水平激光线42经过地面41的反射后，分成第一反射激光线43、第二反射激光线44及第三反射激光线45，其中，第一反射激光线43被第二图像传感器162所采集，并成像在第一成像面46上，得到第一有效条纹图像411。第二反射激光线44被第一图像传感器161所采集，并成像在第二成像面47上，得到第二有效条纹图像412。第三反射激光线45作为障碍物48的入射光线，再次被障碍物48反射，分成第四反射激光线49及第五反射激光线410。其中，x3o3y3为第二图像传感器162的坐标系，x4o4y4为第一图像传感器161的坐标系。
其中，第四反射激光线49被第二图像传感器162所采集，并成像在第一成像面46上，得到第一无效条纹图像413。第五反射激光线410被第一图像传感器161所采集，并成像在第二成像面47上，得到第二无效条纹图像414。
通过图4可知，显然，对于点云重构而言，第一有效条纹图像411或第二有效条纹图像412是第一次经过作为障碍物的地面反射的，两者对于点云重构是正确的。然而，第一无效条纹图像413或第二无效条纹图像414是二次反射的，若使用第一无效条纹图像413或第二无效条纹图像414重构点云，最后测量出的距离是不够准确的。
通过图4可知，由于第一图像传感器161与激光器163设置于同一水平面，第二有效条纹图像412成像在第一图像传感器成像面的固定行像素范围内，第二无效条纹图像414成像在所述固定行像素范围之外。因此，只需在第一图像传感器成像面的固定行像素范围内实施搜索，便可搜索到第二有效条纹图像412，第二无效条纹图像414不会被搜索到。
确定了第二有效条纹图像412，并且也有了第一有效条纹图像411及第一无效条纹图像413，于是，机器人可以利用第二有效条纹图像412，分别与第一有效条纹图像411及第一无效条纹图像413作图像相似度匹配处理，便可以有效地找出与第二有效条纹图像412匹配度高的第一有效条纹图像411。后期测距时，便可以利用第一有效条纹图像411，结合相似三角形模型，测量出激光器163与地面点之间的距离。
请接着参阅图5a和图5b，激光器163向障碍51发射垂直激光线52，垂直激光线52经过障碍物51的反射后，返回反射激光线53，反射激光线53可以被第一图像传感器161和/或第二图像传感器162所采集，并且成像在水平方向上呈现列的变化。其中，障碍物51包括地面障碍物和顶部障碍物，该顶部障碍物即移动机器人100顶部上方的障碍物。
其中，第一图像传感器161和第二图像传感器162在垂直方向上间隔预设距离，因此观测场景的视场也不相同，在这两个图像传感器的成像面上采集到的垂直激光条纹成像的位置也存在差异，发射的垂直激光线在第一图像传感器161和第二图像传感器162上的成像可能存在公共区域，也可能不存在公共区域。在后期测距时，可以根据垂直激光线在水平方向上产生的列的变化的值来测量激光器163与障碍物的距离。
在图5a和5b中，垂直激光线52打在任意不同距离的障碍物上，第一次反射后的激光线成像在第一图像传感器161，以及第二图像传感器162的不同高度，亦即，与激光器163距离不同的障碍物对应的垂直激光条纹在第一图像传感器161和第二图像传感器162的成像面的不同高度，此处请结合图5c及图5d理解。
在图5c中，同一条垂直激光线打在不同距离的障碍物上时，第一图像传感器161的成像面上呈现为垂直条纹被分割成不同段落，并且落在不同列上。其中，顶部的障碍物可通过该垂直激光线进行探测。例如，最上方的59是顶部障碍物，其垂直激光条纹在顶部障碍物的中间位置，下方的两条垂直激光条纹分别是距离较远的障碍物57和距离较近的障碍物58的垂直激光条纹。
在图5d中，由于第二图像传感器162是高于第一图像传感器161设置的，当视角从上方看时，后面的激光线会被前方的障碍物遮挡，导致呈现的激光条纹断裂，因此从视角上看到的是两截分开的激光条纹。例如，距离较远的障碍物57反射的激光被距离较近的障碍物58遮挡，导致障碍物57反射的激光条纹断裂。
在本实施例中，激光器163发射的垂直激光线在第一图像传感器161和第二图像传感器162上的成像随障碍物的远近变化而呈现高度变化。
在一些实施例中，第一图像传感器161与第二图像传感器162包括电荷耦合设备(Charge-coupled Device，CCD)、互补金属氧化物半导体(Complementary Metal OxideSemiconductor，CMOS)，CMOS传感器可以为背照式CMOS传感器或堆栈式CMOS传感器。
在一些实施例中，第一图像传感器161与第二图像传感器162还集成有ISP(ImageSignal Processor，图像信号处理器)，ISP用于处理光学传感器的输出数据，如做AEC(自动曝光控制)、AGC(自动增益控制)、AWB(自动白平衡)、色彩校正等等功能的处理。
在一些实施例中，补光组件17用于拍摄图像时，为图像传感器补光。例如，房间环境的光线不足时，控制单元18启动补光组件17发光。补光组件可以为LED灯等发光源。
激光器163包括任意类型并且能够投射激光的激光源，激光源包括线激光器、固体激光器、气体激光器、液体激光器、半导体激光器、自由电子激光器等等。
控制单元18分别与驱动模组12、清洁组件13、无线通信单元14、音频单元15、避障模组16连接。
控制单元18可以向驱动模组12发送驱动指令，控制驱动模组12驱动壳体11移动。或者，控制单元18可以向清洁组件13发送清洁指令，控制清洁组件13实施清洁操作。或者，控制单元18可以与无线通信单元14互相通讯。或者，控制单元18可以向音频单元15发送语音指令，控制音频单元15播放声音。或者，控制单元18可以获取避障模组16采集的数据，根据地图构建算法，构建地图或规划路径。或者，控制单元18可以控制补光组件17在采集图像时，实施补光。
控制单元18作为移动机器人100的控制核心，协调各个单元的工作。控制单元18可以为通用处理器(例如中央处理器CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA、CPLD等)、单片机、ARM(Acorn RISC Machine)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。还有，控制单元18还可以是任何传统处理器、控制器、微控制器或状态机。控制单元18也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP核、或任何其它这种配置。
作为本发明实施例另一方面，本发明实施例提供一种避障方法，应用于上述的移动机器人100。请参阅图6，该避障方法包括：
S61、当所述激光器投射水平激光线和垂直激光线至障碍物时，获取所述第一图像传感器采集的第一图像，以及所述第二图像传感器采集的第二图像。
所述第一图像和所述第二图像分别包括至少一条水平激光条纹和至少一条垂直激光条纹。所述第一图像和所述第二图像可以通过图像传感器的子窗口获得，具体地，请参阅图7，每个图像传感器中都包含一个子窗口区域70a，控制单元18分别发送同步控制信号至第一图像传感器161、第二图像传感器162及激光器163，激光器163根据同步控制信号进行点亮，同时，第一图像传感器161及第二图像传感器162根据同步控制信号进行曝光。于是，第一图像传感器161便得到采集图像，并且，第一图像传感器161使用子窗口从自身采集的图像截取目标图像区域作为第一图像，第二图像传感器162也使用其对应的子窗口从自身采集的图像截取目标图像区域作为第二图像。
通过子窗口从对应采集图像中截取目标图像区域作为第一图像或第二图像，在后期测距时，能有效地减少每帧运算量，提高帧率，增加检测概率。
在一些实施例中，还可以是第一图像传感器161和第二图像传感器162将采集的图像发送给控制单元18，由控制单元18完成图像处理后获得所述第一图像和所述第二图像。
S62、根据所述第一图像和所述第二图像，获取所述水平激光线对应的第一深度信息，并获取所述垂直激光线对应的第二深度信息。
在本实施例中，所述根据所述第一图像和所述第二图像，获取所述水平激光线对应的第一深度信息，包括：
获取所述第一图像中的第一水平激光条纹；
根据所述第一水平激光条纹，在所述第二图像中确定与所述第一水平激光条纹对应的激光条纹作为第二水平激光条纹，其中，所述第二图像中包括至少一条水平激光条纹；
获取所述第二水平激光条纹在所述第二图像传感器坐标系的光斑高度；
根据所述光斑高度、所述第二图像传感器与所述激光器的相对高度以及所述第二图像传感器的焦距，测量获得所述水平激光线对应的第一深度信息。
其中，可以在第一图像中的固定行像素上使用滑动窗口沿着水平方向滑动，以提取第一水平激光条纹；接着在第二图像中搜索出与该第一水平激光条纹对应的第二水平激光条纹。例如，根据图像匹配算法，使用滑动窗口在第二图像传感器162的坐标系Y轴上进行搜索，以搜索出与第一水平激光条纹匹配的第二水平激光条纹，于是便可获得第二水平激光条纹在第二图像传感器162的坐标系Y轴上的坐标。其中，所述图像匹配算法包括但不限于：灰度绝对值差之和(SAD，Sum of Absolute Differences)、归一化相关系数(NCC，Normalized Cross-correlation)等算法。
其中，第二水平激光条纹在所述第二图像传感器162坐标系的光斑高度为第二水平激光条纹在第二图像传感器162的坐标系Y轴上的坐标。
其中，可以使用相似三角形模型处理所述光斑高度、所述相对高度和所述焦距，获得所述第一深度信息。
例如，请参阅图8，激光器163向障碍物81发射水平激光线82，水平激光线82经过障碍物81的反射后，分成两路，一路反射激光线(图未示)射入第一图像传感器161并成像在第一图像传感器161的成像面(图未示)。另一路反射激光线83射入第二图像传感器162并成像在第二图像传感器162的成像面84，其中，x7o7y7为第二图像传感器162的坐标系。
在图8中，线段AB为激光器163与障碍物81之间的距离d，线段CD为光斑高度y’，x8o8y8(图未示)为第一图像传感器161的坐标系，OA为相对高度h，OD为焦距f。由于三角形ABO与三角形DOC互为相似三角形，于是有如下关系：
d/h＝f/y’；
由于h、f及y’是已知的，于是d＝h*f/y’。
可以理解的是，当图像传感器的镜头出现畸变时，在使用相似三角形模型计算激光器与障碍物的距离之前，可以矫正镜头的畸变，得到矫正后的图像，后续再根据矫正后的图像，结合相似三角形模型，计算激光器与障碍物的距离。当获得了更为精确的距离d后，便可以更加精确地重构点云。
在本实施例中，所述根据所述第一图像和所述第二图像，获取所述垂直激光线对应的第二深度信息包括：根据所述第一图像获取所述垂直激光线在水平方向上产生的列的变化所对应的第一变化值；根据所述第二图像获取所述垂直激光线在水平方向上产生的列的变化所对应的第二变化值；根据所述第一变化值，和/或所述第二变化值，获得所述垂直激光线对应的第二深度信息。
其中，垂直激光线在第一图像传感器161和第二图像传感器162中的激光条纹会随着障碍物的远近产生的水平方向的变化，发射的垂直激光线在第一图像传感器161和第二图像传感器162上的成像可能存在公共区域，也可能不存在公共区域。当不存在公共区域时，可以根据第一图像传感器161或者第二图像传感器162采集的图像中垂直激光线在水平方向上产生的列的变化的值来确定所述第二深度信息。当存在公共区域时，可以根据第一图像传感器161和第二图像传感器162分别获取垂直激光线水平方向上产生的列的变化的值，即第一变化值和第二变化值，该两个变化值可以是相同或相近的，所述第二深度信息可以取这两个变化值中的任意一个，也可以计算这两个变化值的平均值，将平均值作为所述第二深度信息。
S63、结合所述第一深度信息和所述第二深度信息，获得点云，所述点云用于识别所述障碍物。
根据所述第一深度信息可以获得激光器163检测到的前方或近地面的障碍物的点云信息，根据所述第二深度信息可以获得激光器163检测到的上方或顶部的障碍物的点云信息，由此可以全面的获得移动机器人周围的障碍物，减少移动机器人的盲区范围。
本发明实施例提供的避障方法，能够结合水平激光和垂直激光还原的深度，形成一个十字形分布的点云，其中，在移动机器人向前运动过程中，可以还原出低空间的地面障碍物的三维信息，在移动机器人转动时，可以还原出移动机器人周围空间的障碍物的三维信息。由此，本方法缩小了盲区范围，提升了移动机器人检测障碍物的全面性和准确性。
作为本发明实施例另一方面，本发明实施例提供一种避障装置，应用于上述移动机器人。本发明实施例的避障装置可以作为其中一个软件功能单元，避障装置包括若干指令，该若干指令存储于存储器内，处理器可以访问该存储器，调用指令进行执行，以完成上述避障方法。
请参阅图9，避障装置900包括图像获取模块91、深度信息获取模块92和障碍物识别模块93。
所述图像获取模块91用于当所述激光器投射水平激光线和垂直激光线至障碍物时，获取所述第一图像传感器采集的第一图像，以及所述第二图像传感器采集的第二图像；所述深度信息获取模块92用于根据所述第一图像和所述第二图像，获取所述水平激光线对应的第一深度信息，并获取所述垂直激光线对应的第二深度信息；所述障碍物识别模块93用于结合所述第一深度信息和所述第二深度信息，获得点云，所述点云用于识别所述障碍物。
其中，在获得所述第一深度信息时，所述深度信息获取模块92具体用于：获取所述第一图像中的第一水平激光条纹；根据所述第一水平激光条纹，在所述第二图像中确定与所述第一水平激光条纹对应的激光条纹作为第二水平激光条纹；其中，所述第二图像中包括至少一条水平激光条纹；获取所述第二水平激光条纹在所述第二图像传感器坐标系的光斑高度；根据所述光斑高度、所述第二图像传感器与所述激光器的相对高度以及所述第二图像传感器的焦距，测量获得所述水平激光线对应的第一深度信息。
所述水平激光线第一次被与所述激光器间隔第一距离的障碍物反射后，反射后的激光线成像在所述第一图像传感器成像面的固定行像素范围内，同时，所述水平激光线第一次被与所述激光器间隔第二距离的障碍物反射后，反射后的激光线成像在所述固定行像素范围内，其中，所述第一距离与所述第二距离不同。
其中，在获得所述第二深度信息时，所述深度信息获取模块92具体用于：根据所述第一图像获取所述垂直激光线在水平方向上产生的列的变化所对应的第一变化值；根据所述第二图像获取所述垂直激光线在水平方向上产生的列的变化所对应的第二变化值；根据所述第一变化值，和/或所述第二变化值，获得所述垂直激光线对应的第二深度信息。
其中，与所述激光器距离不同的障碍物对应的水平激光条纹和垂直激光条纹在所述第二图像传感器成像面的不同高度。
需要说明的是，上述避障装置可执行本发明实施例所提供的避障方法，具备执行方法相应的功能模块和有益效果。未在避障装置实施例中详尽描述的技术细节，可参见本发明实施例所提供的避障方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (8)
1.一种避障方法，其特征在于，所述方法包括：
当激光器投射水平激光线和垂直激光线至障碍物时，获取第一图像传感器采集的第一图像，以及第二图像传感器采集的第二图像，其中，所述第一图像传感器与所述第二图像传感器在竖直方向上间隔预设距离，所述第一图像传感器与所述激光器设置于同一水平面；
根据所述第一图像和所述第二图像，获取所述水平激光线对应的第一深度信息，并获取所述垂直激光线对应的第二深度信息；
结合所述第一深度信息和所述第二深度信息，获得点云，所述点云用于识别所述障碍物；
其中，所述根据所述第一图像和所述第二图像，获取所述水平激光线对应的第一深度信息，包括：
获取所述第一图像中的第一水平激光条纹；
根据所述第一水平激光条纹，在所述第二图像中确定与所述第一水平激光条纹对应的激光条纹作为第二水平激光条纹；其中，所述第二图像中包括至少一条水平激光条纹；
获取所述第二水平激光条纹在所述第二图像传感器坐标系的光斑高度；
根据所述光斑高度、所述第二图像传感器与所述激光器的相对高度以及所述第二图像传感器的焦距，测量获得所述水平激光线对应的第一深度信息；
其中，所述根据所述第一图像和所述第二图像，获取所述垂直激光线对应的第二深度信息，包括：
根据所述第一图像获取所述垂直激光线在水平方向上产生的列的变化所对应的第一变化值；
根据所述第二图像获取所述垂直激光线在水平方向上产生的列的变化所对应的第二变化值；
根据所述第一变化值，和/或所述第二变化值，获得所述垂直激光线对应的第二深度信息。
2.根据权利要求1所述的避障方法，其特征在于，
所述水平激光线第一次被与所述激光器间隔第一距离的障碍物反射后，反射后的激光线成像在所述第一图像传感器成像面的固定行像素范围内，同时，所述水平激光线第一次被与所述激光器间隔第二距离的障碍物反射后，反射后的激光线成像在所述固定行像素范围内，其中，所述第一距离与所述第二距离不同。
3.根据权利要求2所述的方法，其特征在于，
与所述激光器距离不同的障碍物对应的水平激光条纹和垂直激光条纹在所述第二图像传感器成像面的不同高度。
4.一种移动机器人，其特征在于，包括：
壳体；
避障模组，设置于所述壳体；
驱动模组，设置于所述壳体内；以及
控制器，分别与所述避障模组和所述驱动模组连接，用于发送控制指令，控制所述驱动模组驱动所述壳体移动，并通过所述避障模组检测障碍物；
所述控制器用于执行权利要求1至3任一项所述的方法。
5.根据权利要求4所述的移动机器人，其特征在于，所述避障模组包括第一图像传感器、第二图像传感器及激光器；
其中，所述激光器用于发射水平激光线和垂直激光线。
6.根据权利要求5所述的移动机器人，其特征在于，所述第一图像传感器与所述激光器两者的光轴中心连线与所述第一图像传感器坐标系的X轴平行。
7.根据权利要求5或6所述的移动机器人，其特征在于，所述第一图像传感器与所述第二图像传感器两者的光轴中心连线与竖直方向所在的直线平行。
8.根据权利要求5或6所述的移动机器人，其特征在于，所述第一图像传感器与所述第二图像传感器两者的光轴中心连线与竖直方向所在的直线相交。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110495344.4A CN113376655B (zh) | 2021-05-07 | 2021-05-07 | 一种避障模组、移动机器人、避障方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110495344.4A CN113376655B (zh) | 2021-05-07 | 2021-05-07 | 一种避障模组、移动机器人、避障方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113376655A CN113376655A (zh) | 2021-09-10 |
| CN113376655B true CN113376655B (zh) | 2024-05-17 |
Family
ID=77570482
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110495344.4A Active CN113376655B (zh) | 2021-05-07 | 2021-05-07 | 一种避障模组、移动机器人、避障方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113376655B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114396911B (zh) * | 2021-12-21 | 2023-10-31 | 中汽创智科技有限公司 | 一种障碍物测距方法、装置、设备及存储介质 |
| CN114259580B (zh) * | 2021-12-27 | 2024-06-18 | 杭州电子科技大学 | 一种移动式灭菌机器人 |
| CN115338548B (zh) * | 2022-10-14 | 2023-05-26 | 四川智龙激光科技有限公司 | 一种平面切割机床切割头避障方法及*** |
| CN118151641A (zh) * | 2022-12-02 | 2024-06-07 | 北京石头世纪科技股份有限公司 | 避障模块、机器人、控制方法、避障方法和相关装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10346995B1 (en) * | 2016-08-22 | 2019-07-09 | AI Incorporated | Remote distance estimation system and method |
| CN110353583A (zh) * | 2019-08-21 | 2019-10-22 | 追创科技(苏州)有限公司 | 扫地机器人及扫地机器人的自动控制方法 |
| CN110622085A (zh) * | 2019-08-14 | 2019-12-27 | 珊口（深圳）智能科技有限公司 | 移动机器人及其控制方法和控制*** |
| CN111103593A (zh) * | 2019-12-31 | 2020-05-05 | 深圳市欢创科技有限公司 | 测距模组、机器人、测距方法及非易失性可读存储介质 |
| CN211012988U (zh) * | 2019-11-19 | 2020-07-14 | 珠海市一微半导体有限公司 | 基于激光视觉信息避障导航的移动机器人 |
| CN112749643A (zh) * | 2020-12-30 | 2021-05-04 | 深圳市欢创科技有限公司 | 一种障碍物检测方法、装置及*** |
-
2021
- 2021-05-07 CN CN202110495344.4A patent/CN113376655B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10346995B1 (en) * | 2016-08-22 | 2019-07-09 | AI Incorporated | Remote distance estimation system and method |
| CN110622085A (zh) * | 2019-08-14 | 2019-12-27 | 珊口（深圳）智能科技有限公司 | 移动机器人及其控制方法和控制*** |
| CN110353583A (zh) * | 2019-08-21 | 2019-10-22 | 追创科技(苏州)有限公司 | 扫地机器人及扫地机器人的自动控制方法 |
| CN211012988U (zh) * | 2019-11-19 | 2020-07-14 | 珠海市一微半导体有限公司 | 基于激光视觉信息避障导航的移动机器人 |
| CN111103593A (zh) * | 2019-12-31 | 2020-05-05 | 深圳市欢创科技有限公司 | 测距模组、机器人、测距方法及非易失性可读存储介质 |
| CN112749643A (zh) * | 2020-12-30 | 2021-05-04 | 深圳市欢创科技有限公司 | 一种障碍物检测方法、装置及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113376655A (zh) | 2021-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113376655B (zh) | 一种避障模组、移动机器人、避障方法 | |
| WO2021134809A1 (zh) | 测距模组、机器人、测距方法及非易失性可读存储介质 | |
| KR101632168B1 (ko) | 원샷 전방위탐지와 카메라영상으로 이루어진 하이브리드 분석형 스마트 감시카메라장치 | |
| US10490079B2 (en) | Method and device for selecting and transmitting sensor data from a first motor vehicle to a second motor vehicle | |
| CN107992052B (zh) | 目标跟踪方法及装置、移动设备及存储介质 | |
| US11019322B2 (en) | Estimation system and automobile | |
| WO2017065171A1 (ja) | 電気掃除機 | |
| JP2021516401A (ja) | データ融合方法及び関連装置 | |
| RU2210491C2 (ru) | Система с мобильным роботом, выполненная с использованием высокочастотного модуля | |
| CN112155487A (zh) | 扫地机器人、扫地机器人的控制方法及存储介质 | |
| JP2021509515A (ja) | 測距方法、知能制御方法及び装置、電子機器ならびに記憶媒体 | |
| CN110928312B (zh) | 机器人位置确定方法、非易失性计算机可读存储介质及机器人 | |
| CA2969202C (en) | Vacuum cleaner | |
| KR20200018197A (ko) | 이동 로봇 및 그 제어방법, 및 단말기 | |
| JP6030405B2 (ja) | 平面検出装置およびそれを備えた自律移動装置 | |
| US10346995B1 (en) | Remote distance estimation system and method | |
| WO2019019819A1 (zh) | 一种用于处理任务区域的任务的移动电子设备以及方法 | |
| US20180268225A1 (en) | Processing apparatus and processing system | |
| CN111220148A (zh) | 移动机器人的定位方法、***、装置及移动机器人 | |
| JP5579691B2 (ja) | 位置標定システム、移動端末、及び位置標定システムの制御方法 | |
| Bartels et al. | Agile depth sensing using triangulation light curtains | |
| US20120002044A1 (en) | Method and System for Implementing a Three-Dimension Positioning | |
| CN211741574U (zh) | 测距模组及机器人 | |
| CN108175337B (zh) | 扫地机器人及其行走的方法 | |
| CN111474552A (zh) | 一种激光测距方法、装置以及自移动设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 518000, Floor 1801, Block C, Minzhi Stock Commercial Center, North Station Community, Minzhi Street, Longhua District, Shenzhen City, Guangdong Province Applicant after: Shenzhen Huanchuang Technology Co.,Ltd. Address before: 518000 2407-2409, building 4, phase II, Tian'an Yungu Industrial Park, Gangtou community, Bantian street, Longgang District, Shenzhen, Guangdong Applicant before: SHENZHEN CAMSENSE TECHNOLOGIES Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |