CN108132666B - 控制方法、***及所适用的移动机器人 - Google Patents
控制方法、***及所适用的移动机器人 Download PDFInfo
- Publication number
- CN108132666B CN108132666B CN201711347545.XA CN201711347545A CN108132666B CN 108132666 B CN108132666 B CN 108132666B CN 201711347545 A CN201711347545 A CN 201711347545A CN 108132666 B CN108132666 B CN 108132666B
- Authority
- CN
- China
- Prior art keywords
- photographic device
- mobile robot
- mobile
- image
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000004458 analytical method Methods 0.000 claims abstract description 86
- 238000012545 processing Methods 0.000 claims description 271
- 238000004140 cleaning Methods 0.000 claims description 51
- 230000000007 visual effect Effects 0.000 claims description 21
- 238000000429 assembly Methods 0.000 claims description 15
- 230000000712 assembly Effects 0.000 claims description 15
- 230000004048 modification Effects 0.000 claims description 12
- 238000012986 modification Methods 0.000 claims description 12
- 238000005096 rolling process Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 36
- 230000008569 process Effects 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 238000010408 sweeping Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000013401 experimental design Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 241001270131 Agaricus moelleri Species 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000011217 control strategy Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000009991 scouring Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 244000062793 Sorghum vulgare Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 235000019713 millet Nutrition 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000010977 unit operation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0891—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for land vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Medical Informatics (AREA)
- Game Theory and Decision Science (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本申请提供一种控制方法、***及所适用的移动机器人。所述控制方法包括:在移动机器人导航操作环境下,控制所述摄像装置实时拍摄图像;对所拍摄的至少一幅图像进行分析;当经分析确定在所述摄像装置面向过曝区域时对所述移动机器人的移动进行控制。本申请移动机器人的控制方法,通过采用对所拍摄的图像进行分析,当确定在摄像装置面向过曝区域时重新确定机器人的导航及姿态的技术方案,使得在摄像装置面向过曝区域时也可以对移动机器人的导航进行控制,解决了由于光线问题导致机器人基于所获取的图像无法确定导航及姿态的问题。
Description
技术领域
本申请涉及智能机器人领域,特别是涉及一种控制方法、***及所适用的移动机器人。
背景技术
移动机器人是自动执行工作的机器装置。它既可以接受人类指挥,又可以运行预先编排的程序,也可以根据以人工智能技术制定的原则纲领行动。这类移动机器人可用在室内或室外,可用于工业或家庭,可用于取代保安巡视、取代人们清洁地面,还可用于家庭陪伴、辅助办公等。随着移动机器人的移动技术的更新迭代,VSLAM(Visual SimultaneousLocalization and Mapping,基于视觉信息的即时定位与地图构建,简称VSLAM)技术为移动机器人提供更精准的导航能力,使得移动机器人能更有效地自主移动。然而,在实际应用中,移动机器人在通过视觉传感器获取视觉信息时会由于光线问题例如光线过强而导致无法从视觉信息中获取到足够多用于定位的特征,使得移动机器人基于所获取的视觉信息无法确定导航及姿态。
发明内容
鉴于以上所述现有技术的缺点,本申请的目的在于提供一种控制方法、***及所适用的移动机器人,用于解决现有技术中由于光线问题导致机器人基于所获取的视觉信息无法确定导航及姿态的问题。
为实现上述目的及其他相关目的,本申请的第一方面提供一种移动机器人的控制方法,其中,所述移动机器人包含摄像装置,所述控制方法包括以下步骤:在移动机器人导航操作环境下,控制所述摄像装置实时拍摄图像;对所拍摄的至少一幅图像进行分析;当经分析确定在所述摄像装置面向过曝区域时对所述移动机器人的移动进行控制。
在本申请的第一方面的某些实施步骤中,所述对所拍摄的至少一幅图像进行分析的步骤包括:利用在至少一幅图像所识别的特征确定所述移动机器人的当前位置。
在本申请的第一方面的某些实施步骤中,所述对所拍摄的至少一幅图像进行分析的步骤包括:利用至少一幅图像中的灰度特征确定所述摄像装置面向过曝区域。
在本申请的第一方面的某些实施步骤中,所述当经分析确定在所述摄像装置面向过曝区域时对所述移动机器人的移动进行控制的步骤包括:调整所述摄像装置的取景面,并按照调整后的所述摄像装置所摄取的图像导航所述移动机器人。
在本申请的第一方面的某些实施步骤中,所述调整摄像装置的取景面,并按照调整后的所述摄像装置所摄取的图像导航所述移动机器人的步骤包括以下任一种:控制所述摄像装置偏转一角度,并按照调整后的偏转角度和原导航路线以控制所述移动机器人移动;控制所述摄像装置偏转一角度,并按照调整后的偏转角度修改原导航路线以控制所述移动机器人移动。
在本申请的第一方面的某些实施步骤中,所述当经分析确定在所述摄像装置面向过曝区域时对所述移动机器人的移动进行控制的步骤包括:屏蔽所述摄像装置所提供的图像,并按照原导航路线控制所述移动机器人移动。
在本申请的第一方面的某些实施步骤中,所述当经分析确定在所述摄像装置面向过曝区域时对所述移动机器人的移动进行控制的步骤包括:调整所述摄像装置的进光量并按照调整后的所述摄像装置所摄取的图像导航所述移动机器人。
在本申请的第一方面的某些实施步骤中,通过调整摄像装置的光圈、和/或调整摄像装置的遮光板的位置来减小所述进光量。
在本申请的第一方面的某些实施步骤中,所述当经分析确定在所述摄像装置面向过曝区域时对所述移动机器人的移动进行控制的步骤包括:当经分析确定在所述摄像装置面向过曝区域大于预设时长时对所述移动机器人的移动进行控制。
本申请的第二方面还提供一种移动机器人的控制***,其中所述移动机器人包含摄像装置,控制***包括:存储装置,存储有一个或多个程序;处理装置,与所述存储装置相连,通过调取所述一个或多个程序以执行以下步骤:在移动机器人导航操作环境下,控制所述摄像装置实时拍摄图像;对所拍摄的至少一幅图像进行分析;当经分析确定在所述摄像装置面向过曝区域时对所述移动机器人的移动进行控制。
在本申请的第二方面的某些实施步骤中,所述处理装置执行对所拍摄的至少一幅图像进行分析的步骤包括:利用在至少一幅图像所识别的特征确定所述移动机器人的当前位置。
在本申请的第二方面的某些实施步骤中,所述处理装置对所拍摄的至少一幅图像进行分析的步骤包括:利用至少一幅图像中的灰度特征确定所述摄像装置面向过曝区域。
在本申请的第二方面的某些实施步骤中,所述处理装置当经分析确定在所述摄像装置面向过曝区域时对所述移动机器人的移动进行控制的步骤包括:调整所述摄像装置的取景面,并按照调整后的所述摄像装置所摄取的图像导航所述移动机器人。
在本申请的第二方面的某些实施步骤中,所述处理装置调整摄像装置的取景面,并按照调整后的所述摄像装置所摄取的图像导航所述移动机器人的步骤包括以下任一种:控制所述摄像装置偏转一角度,并按照调整后的偏转角度和原导航路线以控制所述移动机器人移动;控制所述摄像装置偏转一角度,并按照调整后的偏转角度修改原导航路线以控制所述移动机器人移动。
在本申请的第二方面的某些实施步骤中,所述处理装置当经分析确定在所述摄像装置面向过曝区域时对所述移动机器人的移动进行控制的步骤包括:屏蔽所述摄像装置所提供的图像,并按照原导航路线控制所述移动机器人移动。
在本申请的第二方面的某些实施步骤中,所述处理装置当经分析确定在所述摄像装置面向过曝区域时对所述移动机器人的移动进行控制的步骤包括:调整所述摄像装置的进光量并按照调整后的所述摄像装置所摄取的图像导航所述移动机器人。
在本申请的第二方面的某些实施步骤中,所述摄像装置包括:可调光圈和/或遮光板;所述处理装置通过调整所述光圈和/或调整遮光板的位置来减小所述进光量。
在本申请的第二方面的某些实施步骤中,所述处理装置当经分析确定在所述摄像装置面向过曝区域时对所述移动机器人的移动进行控制的步骤包括:处理装置当经分析确定在所述摄像装置面向过曝区域大于预设时长时对所述移动机器人的移动进行控制。
本申请的第三方面还提供一种移动机器人,包括:如前述的任一所述的控制***,用于基于所述摄像装置所摄取的至少一幅图像确定摄像装置面向过曝区域,并基于对所述移动机器人的移动控制输出移动指令;移动***,与所述控制***相连,用于基于所述移动指令驱动移动机器人移动。
在本申请的第三方面的某些实施步骤中,所述移动***包括:至少两个滚轮组,其中,至少一个滚轮组为受控滚轮组;驱动控制装置,与所述控制***相连,用于基于所述控制***所确定的导航路线和偏角驱动所述受控滚轮组滚动。
在本申请的第三方面的某些实施步骤中,所述摄像装置位于移动机器人的顶面,且所述摄像装置的视野光学轴相对于垂线为±30°。
本申请的第四方面还提供一种清洁机器人,包括:如前述中任一所述的控制***,用于基于所述摄像装置所摄取的至少一幅图像确定摄像装置面向过曝区域,并基于对所述移动机器人的移动控制输出移动指令;移动***,与所述控制***相连,用于基于所述移动指令驱动清洁机器人移动;清洁***,与所述控制***相连,用于沿所述移动***所移动的路线对地面进行清洁。
在本申请的第四方面的某些实施步骤中,所述控制***中的处理装置还用于控制所述清洁***,并基于对所述清洁机器人在当前导航路线的清洁控制,输出包含姿态控制的移动指令;所述移动***基于所述移动指令调整清洁机器人的移动姿态。
在本申请的第四方面的某些实施步骤中,所述清洁***包括:清洁组件;清洁驱动控制组件,与所述控制***相连,用于在所述控制***的控制下驱动所述清洁组件清洁地面。
在本申请的第四方面的某些实施步骤中,所述摄像装置位于移动机器人的顶面,且所述摄像装置的视野光学轴相对于垂线为±30°。
本申请的第五方面还提供一种计算机设备的存储介质,所述存储介质存储有至少一个程序,所述程序被处理器执行时执行前述中任一所述方法。
如上所述,本申请的控制方法、***及所适用的移动机器人,具有以下有益效果:通过采用对所拍摄的图像进行分析,当确定在摄像装置面向过曝区域时重新确定机器人的导航及姿态的技术方案,使得在摄像装置面向过曝区域时也可以对移动机器人的导航进行控制,解决了由于光线问题导致机器人基于所获取的图像无法确定导航及姿态的问题。
附图说明
图1显示为本申请移动机器人的控制***在一种实施方式中的结构示意图。
图2显示为本申请移动机器人的控制***中摄像装置面向过曝区域时所拍摄图像的灰度示意图。
图3显示为移动机器人在摄像装置偏转一角度后沿原导航路线移动的示意图。
图4显示为移动机器人在偏转一角度后沿原导航路线移动的示意图。
图5显示为移动机器人基于摄像装置偏转一角度后而重新规划的导航路线移动的示意图。
图6显示为本申请移动机器人的控制***中摄像装置面向过曝区域的示意图。
图7显示为摄像装置面向图6所示过曝区域的情况下利用本申请移动机器人的控制***修改导航路线的示意图。
图8显示为本申请移动机器人的控制方法在一种实施方式中的流程图。
图9显示为本申请的移动机器人在一种实施方式中的结构示意图。
图10显示为本申请的清洁机器人在一种实施方式中的结构示意图。
具体实施步骤
以下由特定的具体实施例说明本申请的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效。
在下述描述中,参考附图,附图描述了本申请的若干实施例。应当理解,还可使用其他实施例,并且可以在不背离本申请的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的,并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例,而并非旨在限制本申请。空间相关的术语,例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等,可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合。因此,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
移动机器人是一种在复杂环境下工作的,具有自行组织、自主运行、自主规划能力的机器人,其根据功能和用途可分为医疗机器人、军用机器人、助残机器人、巡逻机器人、清洁机器人等。移动机器人基于视觉传感器所提供的视觉信息并结合其他移动传感器所提供的移动数据,一方面能够构建机器人所在场地的地图数据,另一方面,还可基于已构建的地图数据提供路线规划、路线规划调整及导航服务,这使得移动机器人的移动效率更高。其中,所述视觉传感器举例包括摄像装置,对应的视觉信息为图像数据(以下简称为图像)。所述移动传感器举例包括速度传感器、里程计传感器、距离传感器、悬崖传感器等。然而,由于视觉传感器在获取视觉信息时会由于光线问题例如光线过强而导致无法获取到足够多用于定位的特征,这使得移动机器人基于所获取的视觉信息无法确定导航及姿态。
为了解决上述问题,本申请提供一种移动机器人的控制***。请参阅图1,图1显示为本申请移动机器人的控制***在一种实施方式中的结构示意图。其中,所述移动机器人包括摄像装置6。所述摄像装置6包括但不限于:照相机、视频摄像机、集成有光学***或CCD芯片的摄像模块、集成有光学***和CMOS芯片的摄像模块等。所述摄像装置6的供电***可受移动机器人的供电***控制,当机器人上电移动期间,所述摄像装置即开始拍摄图像。此外,所述摄像装置可以设于移动机器人的主体上。例如,以清洁机器人为例,所述摄像装置6可以设于清洁机器人的顶盖的中部或边缘,或者所述摄像装置6可以设于清洁机器人的顶部表面的平面之下、在主体的几何中心附近或主体的边缘附近的凹入结构上。在某些实施例中,所述摄像装置6可以位于移动机器人的顶面,并且所述摄像装置的视野光学轴相对于垂线为±30°。例如,所述摄像装置位于清洁机器人顶面的中间位置或边缘,且其光学轴相对于垂线的夹角为-30°、-29°、-28°、-27°……-1°、0°、1°、2°……29°、或30°。需要说明的是,本领域技术人员应该理解,上述光学轴与垂线或水平线的夹角仅为举例,而非限制其夹角精度为1°的范围内,根据实际机器人的设计需求,所述夹角的精度可更高,如达到0.1°、0.01°以上等,在此不做无穷尽的举例。
如图1所示,所述控制***1包括:存储装置11、以及处理装置13。
所述存储装置11存储有一个或多个程序。所述程序包括稍后描述的由处理装置13调取以执行控制、分析、确定等步骤的相应程序。所述存储装置包括但不限于高速随机存取存储器、非易失性存储器。例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。在某些实施例中,存储装置还可以包括远离一个或多个处理器的存储器,例如,经由RF电路或外部端口以及通信网络(未示出)访问的网络附加存储器,其中所述通信网络可以是因特网、一个或多个内部网、局域网(LAN)、广域网(WLAN)、存储局域网(SAN)等,或其适当组合。存储器控制器可控制机器人的诸如CPU和外设接口之类的其他组件对存储装置的访问。
所述处理装置13与存储装置11相连并能够与摄像装置6进行数据通信。处理装置13可包括一个或多个处理器。处理装置13可操作地与存储装置11中的易失性存储器和/或非易失性存储器耦接。处理装置13可执行在存储器和/或非易失性存储设备中存储的指令以在机器人中执行操作,诸如对拍摄的图像进行分析并基于分析结果确定机器人的导航及姿态等。如此,处理器可包括一个或多个通用微处理器、一个或多个专用处理器(ASIC)、一个或多个数字信号处理器(DSP)、一个或多个现场可编程逻辑阵列(FPGA)、或它们的任何组合。所述处理装置还与I/O端口和输入结构可操作地耦接,该I/O端口可使得机器人能够与各种其他电子设备进行交互,该输入结构可使得用户能够与计算设备进行交互。因此,输入结构可包括按钮、键盘、鼠标、触控板等。所述其他电子设备可以是所述机器人中移动装置中的移动电机,或机器人中专用于控制移动装置的从处理器,如MCU(MicrocontrollerUnit,微控制单元,简称MCU)。
在一种示例中,所述处理装置通过数据线分别连接存储装置和摄像装置。所述处理装置通过数据读写技术与存储装置进行交互,所述处理装置通过接口协议与摄像装置进行交互。其中,所述数据读写技术包括但不限于:高速/低速数据接口协议、数据库读写操作等。所述接口协议包括但不限于:HDMI接口协议、串行接口协议等。
所述处理装置13通过调取存储装置11中所存储的程序以执行以下步骤:在移动机器人导航操作环境下,控制所述摄像装置实时拍摄图像;对所拍摄的至少一幅图像进行分析;当经分析确定在所述摄像装置面向过曝区域时对所述移动机器人的移动进行控制。其中,所述导航操作环境是指机器人依据当前定位及基于当前定位而确定的导航路线进行移动和执行相应操作的环境。例如,以巡逻机器人为例,导航操作环境是指巡逻机器人依据导航路线移动并进行安保操作的环境;以清洁机器人为例,导航操作环境是指清洁机器人依据导航路线移动并进行清洁操作的环境。
首先,处理装置13在移动机器人导航操作环境下控制摄像装置6实时拍摄图像。例如,摄像装置可以是用来拍摄静态图像或视频的摄像头。在一实施例中,移动机器人可根据导航操作环境预先设定拍摄图像的时间间隔,然后处理装置控制摄像装置以预设的时间间隔来拍摄图像以获取不同时刻下的静态图像。在另一实施例中,处理装置控制摄像装置拍摄视频。
然后,处理装置13对所拍摄的至少一幅图像进行分析。其中,在摄像装置获取的是静态图像的情况下,处理装置可以对所获取的静态图像中的至少一幅图像进行分析。在摄像装置获取的是视频的情况下,由于视频是由图像帧构成的,因此处理装置首先可以连续或不连续地采集所获取的视频中的图像帧,然后选用一帧图像作为一幅图像进行分析。其中,处理装置通过对一幅或更多幅图像的分析来确定移动机器人的摄像装置面向的区域。
接着,当经分析确定移动机器人在摄像装置6面向过曝区域时,处理装置13对所述移动机器人的移动进行控制。在本申请中,所述过曝区域是一个地理区域,比如阳光照射在地面上形成的高亮区域或者聚光灯投射在地面上的高亮区域,是指由于移动机器人在摄像装置12面向光线过强的一个区域时或者面向光源时,导致进入其摄像装置的进光量过多而造成拍摄图像中包含亮度高于预设亮度阈值,即导致图像中存在过曝点,从而使得处理装置无法根据所获取的图像提取足够多用于定位的特征。其中,所述拍摄图像中包含的亮度可由图像灰度值来描述,例如,所述处理装置检测到图像中包含灰度值大于预设灰度阈值的区域时将所述图像确定为过曝图像,以此确定所述移动机器人的摄像装置12面向过曝区域。在某些实施例中,还可以将所述亮度可由摄像装置中光照感应器所提供的光强数值来描述,例如,所述处理装置获取图像以及对应的光强数据,当光强数据大于预设光强阈值时,所述处理装置确定移动机器人面向过曝区域。再或者,在某些实施例中,所述处理装置根据图像中的灰度值和光强数据来确定移动机器人是否面向过曝区域。例如,所述处理装置以同时满足上述两示例中的两种条件确定移动机器人面向过曝区域。
当摄像装置面向过曝区域时,对所述移动机器人的移动进行控制。其中,所述控制***可通过重新确定移动机器人的导航和/或姿态来控制所述移动机器人的移动。在此,确定移动机器人的导航包括确定移动机器人的导航路线。确定移动机器人的姿态包括确定移动机器人的位置和取向,其中,移动机器人的取向例如移动机器人的移动方向与移动机器人的摄像装置之间的偏角。当摄像装置面向过曝区域时,由于光线过强导致处理装置无法从图像中识别出足够多用于定位的特征进而无法确定移动机器人后续的导航及姿态。因此,处理装置要根据实际情况重新调整移动机器人的导航及姿态,使得在摄像装置面向过曝区域时也可以对移动机器人进行控制。
本申请移动机器人的控制***,通过采用处理装置对摄像装置所拍摄的图像进行分析,当确定在摄像装置面向过曝区域时重新确定机器人的导航及姿态的技术方案,使得在摄像装置面向过曝区域时也可以对移动机器人的导航进行控制,解决了由于光线问题导致机器人基于所获取的图像无法确定导航及姿态的问题。
为了能够准确定位移动机器人的当前位置,所述处理装置执行对所拍摄的至少一幅图像进行分析的步骤包括:利用在至少一幅图像所识别的特征确定所述移动机器人的当前位置。其中,所述特征包括但不限于:形状特征、灰度特征等。所述形状特征包括但不限于:角点特征、直线特征、边缘特征、曲线特征等。所述灰度特征包括但不限于:灰度跳变特征、高于或低于灰度阈值的灰度值、图像帧中包含预设灰度范围的区域尺寸等。此外,为了移动机器人能够基于图像获取到足够多用于定位的特征,进而能够确定导航及姿态,所述图像中所能识别的特征数量通常为多个,例如10个以上。
在一实施例中,针对处理装置利用在一幅图像所识别的特征确定移动机器人的当前位置的实现方式。例如,通过对所拍摄图像中实物的图形进行识别并与标准件的图形进行匹配、以及基于所述标准件的标准物理特征来确定机器人在当前物理空间中的定位信息。又如,通过对图像中所识别的特征与预设的地图数据中的地标信息中的特征的匹配来确定机器人在当前物理空间中的定位信息。在另一实施例中,针对处理装置利用在至少两幅图像所识别的特征确定移动机器人的当前位置的实现方式。例如,利用两图像帧中所匹配的特征点的位置偏移信息来确定机器人的位置及姿态。
另外,所述处理装置在利用所拍摄的至少一幅图像进行定位分析时,不必然有时序限制地,所述处理装置还利用至少一幅图像中的灰度特征确定所述摄像装置是否面向过曝区域。在实际应用中,当摄像装置面向过曝区域时,处理装置可能从所拍摄的图像中无法得到足够数量的用于定位的特征,或者所得到的用于定位的特征不准确。对于清洁机器人来说,若受摄像装置面向过曝区域影响而无法准确定位,则可能会出现因定位误差而导致:无法移动至房间靠窗附近从而导致相应地面未予清洁;或在移动至靠窗的墙边位置时与墙边相撞从而导致未能及时调整姿态进行地面清洁(如调整姿态使得边刷位于墙边侧)等问题。
为此,处理装置还对摄像装置是否面向过曝区域进行分析。在此,通常摄像装置所拍摄的图像常为RGB颜色模式,因此处理装置需先对所拍摄的图像进行灰度化处理得到灰度图像,然后再对灰度图像进行过曝分析以确定摄像装置是否面向过曝区域。其中,处理装置可采用分量法、最大值法、平均值法或者加权平均法等对所拍摄的图像进行灰度化处理获得灰度图像。灰度图像是一种具有从黑到白256级灰度色阶或等级的单色图像,255表示白色,0表示黑色。
在一实施例中,处理装置通过分析灰度图像中的灰度分布、灰度均值、灰度极大极小值、灰度等级较大区域占整幅图像区域的面积百分比等来确定摄像装置是否面向过曝区域。
在一示例中,在选用灰度分布来表征灰度特征的情况下,当处理装置对灰度图像中灰度分布进行分析后得到灰度分布集中在预设的灰度过曝区间时,处理装置确定摄像装置面向过曝区域。例如,灰度过曝区间可以根据技术经验或者实验设计得知并预先存储在移动机器人中。
在又一示例中,为防止对移动机器人的姿态和导航给予过度控制,处理装置在确定图像中包含落入灰度过曝区间的灰度值时,还分析落入灰度过曝区间的灰度值所对应的像素区域占整幅图像的面积百分比是否大于预设比例阈值,若是,则处理装置无法提取到足够多的特征,若否,则认定摄像装置未面向过曝区域。其中,灰度过曝区间及预设比例阈值可以根据技术经验或者实验设计得知并预先存储在移动机器人中。此外,面积百分比的范围还可以根据导航操作环境的实际情况来确定,只要满足处理装置不能提取到足够多的特征的条件即可。
然而,例如在摄像装置所拍摄图像为一面白墙等不属于通常理解的受光线影响而造成与前述过曝情形近似的其他情形下,处理装置仅根据灰度分布或者灰度等级较大区域占整幅图像区域的面积百分比来确定摄像装置是否面向过曝区域,会存在误判。为减少上述误判情形,在另一实施例中,请参阅图2,图2显示为本申请移动机器人的控制***中摄像装置面向过曝区域时所拍摄图像的灰度示意图。当摄像装置面向过曝区域时,摄像装置所拍摄图像的灰度图像呈现出中间极亮边缘极暗且特征数量不足以用于定位的情形,图中分别选用A、B、C表示灰度等级。其中A为中间极亮区域,灰度等级接近255,C为边缘极暗区域,灰度等级接近0,A与C之间的区域B为灰度等级较高区域,在上述A、B、C三个区域中均无法提取到足够多用于定位的特征。因此,当摄像装置所拍摄图像的灰度图像呈现出中间极亮边缘极暗且无特征信息的图像时,处理装置确定摄像装置面向过曝区域。
需要说明的是,基于上述一种或多种分析方式而确定摄像装置是否面向过曝区域仅为举例,而非对本申请确定面向过曝区域的方式的限制。事实上,技术人员还可以利用多种灰度分析方法并结合各灰度分析方法所得到结果进一步对摄像装置是否面向过曝区域进行评价等方式来最终确定摄像装置是否面向过曝区域。在此不再一一描述。然而,基于本申请所提及的任一种图像灰度值而进行分析,或在此基础上改进以确定的摄像装置面向过曝区域的方式应视为本申请的一种具体示例。
当所述处理装置经分析确定在所述摄像装置面向过曝区域时,对所述移动机器人的移动进行控制。其中,所述确定方式包括:调整所述摄像装置的取景面,并按照调整后的所述摄像装置所摄取的图像导航所述移动机器人。
其中,摄像装置的取景面主要指垂直于摄像装置的光学轴线并借助摄像装置中的光学***聚焦而在摄像装置中所成像图像的平面或球面。处理装置当经分析确定在所述摄像装置面向过曝区域时,处理装置无法从所拍摄的图像中获取到足够多且准确的特征,因此需要调整摄像装置的取景面,以避开因过曝区域而带来的定位误差。
于一种实施方式中,所述处理装置调整摄像装置的取景面,并按照调整后的所述摄像装置所摄取的图像导航所述移动机器人的步骤包括:控制所述摄像装置偏转一角度,并按照调整后的偏转角度和原导航路线以控制所述移动机器人移动。
在一实施例中,摄像装置可以以可移动的方式设置在机器人上。其中,可移动的方式包括水平转动、上下移动、俯仰转动、或其任意组合。其中,摄像装置水平转动是指摄像装置绕垂直于水平面的垂线做360度旋转的运动。摄像装置俯仰转动是指改变摄像装置的光学轴线与水平面之间夹角的运动。摄像装置上下移动是指摄像装置在垂直于水平面的垂线方向上下移动。在此,所述摄像装置可通过转向机构(如万向轴)设置在机器人上以实现各偏转移动。所述摄像装置可通过伸缩机构(如丝杆)设置在机器人上以实现上下移动。例如,在清洁机器人的顶盖的中部或边缘设置上述可移动的摄像装置。
当摄像装置以可移动的方式设置在机器人上时,处理装置控制机器人的摄像装置偏转一角度以使得摄像装置避开面向过曝区域,然后,摄像装置在偏转一角度后再次拍摄图像并对所拍摄的至少一幅图像进行分析,在这种情况下,若处理装置经分析能够提取到足够多用于定位的特征,则处理装置确定机器人在实际物理空间中的当前位置并且按照调整后的该角度和原导航路线来控制移动机器人移动。例如,请参阅图3a及图3b,显示为移动机器人在摄像装置偏转一角度后沿原导航路线移动的示意图,如图3a所示,机器人感测到其处于过曝区域中,图示中呈梯形状表示为过曝区域,其处理装置控制机器人的摄像装置呈如图中转向箭头所示的偏转90°,以使得摄像装置的取景面避开面向过曝区域,处理装置根据偏转后所获取的图像中的特征定位当前偏转姿态下在实际物理空间中的位置,并通过修正因摄像装置偏转而产生的偏角控制移动机器人中的移动***沿原导航路线移动,即图3b所示的状态。另外,若摄像装置在偏转一角度后,处理装置对所拍摄的图像进行分析后仍确定摄像装置面向过曝区域,则重复上述控制摄像装置偏转一角度的过程,直至处理装置对重新拍摄的图像进行分析能够提取到足够多用于定位的特征为止,然后处理装置继续进行控制处理。
在另一实施例中,当摄像装置以固定的方式设置在机器人上时,处理装置控制机器人偏转一角度以使得机器人避开面向过曝区域。由于摄像装置固定在机器人上,因此机器人偏转一角度即摄像装置随着机器人的偏转而偏转一角度。然后,机器人在偏转一角度后,摄像装置再次拍摄图像并对所拍摄的至少一幅图像进行分析,在这种情况下,若处理装置经分析能够提取到足够多用于定位的特征,则处理装置确定机器人在实际物理空间中的当前位置并且按照调整后的该角度和原导航路线来控制移动机器人移动。例如,请参阅图4a及图4b,显示为移动机器人在偏转一角度后沿原导航路线移动的示意图,如图4a所示,机器人感测到其处于过曝区域中,图示中呈梯形状表示为过曝区域,其处理装置控制机器人本体呈如图中转向箭头所示的偏转90°,以使得摄像装置的取景面避开面向过曝区域,处理装置根据偏转后所获取的图像中的特征定位当前偏转姿态下在实际物理空间中的位置,并通过修正因摄像装置偏转而产生的偏角控制移动机器人中的移动***沿原导航路线移动,即图4b所示的状态。另外,若机器人在偏转一角度后,处理装置对所拍摄的图像进行分析后仍确定摄像装置面向过曝区域,则重复上述控制机器人偏转一角度的过程,直至处理装置对重新拍摄的图像进行分析能够提取到足够多用于定位的特征为止,然后处理装置继续进行控制处理。
于另一种实施方式中,所述处理装置调整摄像装置的取景面,并按照调整后的所述摄像装置所摄取的图像导航所述移动机器人的步骤包括:控制所述摄像装置偏转一角度,并按照调整后的偏转角度修改原导航路线以控制所述移动机器人移动。
在一实施例中,当摄像装置以可移动的方式设置在机器人上时,处理装置控制机器人的摄像装置偏转一角度以使得摄像装置避开面向过曝区域,然后,摄像装置在偏转一角度后再次拍摄图像并对所拍摄的至少一幅图像进行分析,在这种情况下,若处理装置经分析能够提取到足够多用于定位的特征,则处理装置确定机器人在实际物理空间中的当前位置,以及处理装置按照调整后的该角度修改原导航路线以避开面向过曝区域导航的情况。例如,修改原导航路线中处于过曝区域的路段等。然后,处理装置基于所确定的机器人在实际物理空间中的当前位置,以及基于修改后的导航路线控制机器人按照修改后的导航路线移动。例如,请参阅图5a及图5b,显示为移动机器人基于摄像装置的取景面偏转一角度后而重新规划的导航路线移动的示意图。如图5a所示,机器人感测到其处于过曝区域中,图示中呈梯形状表示为过曝区域,处理装置根据摄像装置偏转角度后的姿态及所定位的当前位置将图5a中所示的原导航路线修改为图5b中所示的导航路线,并按照修改后的导航路线对移动机器人的移动***进行控制。此外,若摄像装置在偏转一角度后,处理装置对所拍摄的图像进行分析后仍确定摄像装置面向过曝区域,则重复上述控制摄像装置偏转一角度的过程,直至处理装置对重新拍摄的图像进行分析能够提取到足够多用于定位的特征为止,然后处理装置继续进行控制处理。
在另一实施例中,当摄像装置以固定的方式设置在机器人上时,处理装置控制机器人偏转一角度,以使得机器人避开面向过曝区域。由于摄像装置固定在机器人上,因此机器人偏转一角度即摄像装置随着机器人的偏转而偏转一角度。然后,机器人在偏转一角度后,摄像装置再次拍摄图像并对所拍摄的至少一幅图像进行分析,在这种情况下,若处理装置经分析能够提取到足够多用于定位的特征,则处理装置确定机器人在实际物理空间中的当前位置,以及处理装置按照调整后的该角度修改原导航路线以避开面向过曝区域导航的情况。例如,修改原导航路线中处于过曝区域的路段等。然后,处理装置基于所确定的机器人在实际物理空间中的当前位置,以及基于修改后的导航路线控制机器人按照修改后的导航路线移动。此外,若机器人在偏转一角度后,处理装置对所拍摄的图像进行分析后仍确定摄像装置面向过曝区域,则重复上述控制机器人偏转一角度的过程,直至处理装置对重新拍摄的图像进行分析能够提取到足够多用于定位的特征为止,然后处理装置继续进行控制处理。
需要说明的是,上述控制摄像装置或机器人偏转一角度仅为举例,事实上,处理装置还可以通过控制摄像装置上下移动来避开过曝区域。在此不做一一详述。
于再一种实施方式中,所述处理装置当经分析确定在所述摄像装置面向过曝区域时对所述移动机器人的移动进行控制的步骤包括:屏蔽所述摄像装置所提供的图像,并按照原导航路线控制所述移动机器人移动。
其中,屏蔽摄像装置所提供的图像可以包括关闭摄像装置进而不获取过曝区域的图像数据,或者对摄像装置所拍摄的图像不进行分析处理。在屏蔽摄像装置所提供的图像的情况下,处理装置利用移动机器人中的移动传感装置所提供的移动数据控制机器人按照原导航路线移动。其中,移动传感装置用于获取移动机器人的移动信息。所述移动传感装置包括但不限于:位移传感器、陀螺仪、速度传感器、测距传感器、悬崖传感器等。在移动机器人移动期间,移动传感装置不断侦测移动信息并提供给处理装置。根据移动机器人所布置的传感器的类型和数量,处理装置所能获取的移动信息包括但不限于:位移信息、角度信息、与障碍物之间的距离信息、速度信息、行进方向信息等。
于又一种实施方式中,所述处理装置当经分析确定在所述摄像装置面向过曝区域时对所述移动机器人的移动进行控制的步骤包括:调整所述摄像装置的进光量并按照调整后的所述摄像装置所摄取的图像导航所述移动机器人。
由于过曝是因光线过强所导致的,因此,可以通过减小进光量来改变摄像装置所获取的光线的强度。在对进光量进行补偿之后,摄像装置拍摄图像并根据所摄取的图像导航移动机器人。
在一实施例中,摄像装置可包括可调光圈。处理装置通过调整所述光圈来减小所述进光量。其中,光圈通常设置在摄像装置内,用于调节进入摄像装置中光线的多少。例如,当处理装置经分析确定在摄像装置面向过曝区域时,处理装置控制缩小所述光圈,然后在光圈缩小的情况下,处理装置控制摄像装置再次拍摄图像并进行分析导航。
在另一实施例中,摄像装置可包括遮光板。处理装置通过调整遮光板的位置来减小所述进光量。其中,遮光板是为减少光线对物体的影响、避免外部光线直射的不透光的板材。遮光板可以设置在摄像装置的上方、下方、侧面等,用于调节进入摄像装置中光线的多少。例如,以遮光板设置在摄像装置上方为例,当处理装置经分析确定在摄像装置面向过曝区域时,处理装置控制遮光板下移遮住摄像装置的一部分镜头,此时进光量减小,处理装置控制摄像装置再次拍摄图像并进行分析导航。
在又一实施例中,摄像装置还可以即包括可调光圈又包括遮光板。处理装置通过调整所述光圈、以及调整遮光板的位置来减小所述进光量。
本申请移动机器人的控制***,通过采用处理装置对摄像装置所拍摄的图像进行分析、当利用灰度特征确定在摄像装置面向过曝区域时通过调整摄像装置的取景面或者通过屏蔽摄像装置所提供的图像确定机器人的导航及姿态的技术方案,使得在摄像装置面向过曝区域时也可以对移动机器人进行导航和控制,解决了由于光线问题导致机器人基于所获取的视觉信息无法确定导航及姿态的问题。
此外,在实际应用中,还存在摄像装置瞬时过曝或者摄像装置自动曝光补偿的情况。在摄像装置瞬时过曝的情况下,为防止瞬时过曝而对处理装置判断过曝区域的干扰,处理装置可利用上述任一种过曝分析方式分析摄像装置依时间顺序而获取的至少两幅图像来确认摄像装置面向过曝区域。例如,所述处理装置在检测到一幅图像过曝时,继续检测后续摄像装置所摄取的至少一幅图像也呈现过曝特性,进而确定摄像装置面向过曝区域。在摄像装置自动曝光补偿的情况下,由于摄像装置具有曝光自动补偿功能,所以摄像装置在曝光情况下会首先进行自动曝光补偿,因而,对于曝光可补偿的情况,处理装置只需对曝光补偿后拍摄的图像进行分析并继续按照原先导航路线移动即可。
因此,为了避免上述两种情况,于一种实施方式中,所述处理装置当经分析确定在所述摄像装置面向过曝区域时对所述移动机器人的移动进行控制的步骤包括:处理装置当经分析确定在所述摄像装置面向过曝区域大于预设时长时对所述移动机器人的移动进行控制。其中,预设时长可以是大于曝光补偿所需时间的时长。
现以清洁机器人为例来描述本申请所述控制***对移动机器人的导航及姿态的控制过程。请参阅图6,图6显示为本申请移动机器人的控制***中摄像装置面向过曝区域的示意图。如图所示,A表示扫地机器人,C表示窗户,B表示太阳光透过窗户C进入室内所形成的过曝区域。在一种示例中,当扫地机器人沿朝向窗户C的方向移动进入过曝区域B时,由于扫地机器人的摄像装置面向过曝区域B的时间较长,因而摄像装置无法实现自动曝光补偿。在这种情况下,处理装置可以调整摄像装置的取景面,并按照调整后的摄像装置所摄取的图像导航机器人;或者,处理装置可以屏蔽摄像装置所提供的图像,并基于移动传感装置所提供的移动数据控制机器人按照原导航路线控制机器人移动;或者处理装置通过调整光圈或遮光板的位置来减小摄像装置的进光量,并按照调整后的摄像装置所摄取的图像导航机器人。
在另一种示例中,处理装置可以调整摄像装置的取景面,并按照调整后的摄像装置所摄取的图像导航机器人。具体地,处理装置可以控制摄像装置偏转一角度,并按照调整后的偏转角度修改原导航路线以控制机器人移动。请参阅图7,图7显示为摄像装置面向图6所示过曝区域的情况下利用本申请移动机器人的控制***修改导航路线的示意图。如图所示,假设机器人原导航路线E为沿图中所示横向方向(即图示中箭头X所示之方向)所示,机器人在初始情况下沿原导航路线E移动,在移动过程中当确定机器人的摄像装置面向过曝区域(图示中未示出)时,此时,假设机器人移动到原导航路线的G位置处,此时,处理装置控制摄像装置偏转一角度(例如图示中所示的90°转向),并按照调整后的偏转角度将原导航路线E修改为新的导航路线F,新的导航路线F为沿图中所示竖向方向(即图示中箭头Y所示之方向)所示,由图可知,新的导航路线F完全避开原导航路线E中处于过曝区域的路段。然后,机器人按照新的导航路线F移动。需要说明的是,本申请所提供的图7中的原导航路线E以及新的导航路线F仅是示例性路线,在实际的各种实施状态中,移动机器人的控制***可根据导航操作环境采用其他形式的导航路线。
本申请还提供一种移动机器人的控制方法,所述移动机器人包含摄像装置。所述摄像装置用于在移动机器人导航操作环境下实时拍摄图像。所述摄像装置包括但不限于:照相机、视频摄像机、集成有光学***或CCD芯片的摄像模块、集成有光学***和CMOS芯片的摄像模块等。所述摄像装置的供电***可受移动机器人的供电***控制,当机器人上电移动期间,所述摄像装置即开始拍摄图像。此外,所述摄像装置可以设于移动机器人的主体上。例如,以清洁机器人为例,所述摄像装置可以设于清洁机器人的顶盖的中部或边缘,或者所述摄像装置可以设于清洁机器人的顶部表面的平面之下、在主体的几何中心附近或主体的边缘附近的凹入结构上。在某些实施例中,所述摄像装置可以位于移动机器人的顶面,并且所述摄像装置的视野光学轴相对于垂线为±30°。例如,所述摄像装置位于清洁机器人顶面的中间位置或边缘,且其光学轴相对于垂线的夹角为-30°、-29°、-28°、-27°……-1°、0°、1°、2°……29°、或30°。需要说明的是,本领域技术人员应该理解,上述光学轴与垂线或水平线的夹角仅为举例,而非限制其夹角精度为1°的范围内,根据实际机器人的设计需求,所述夹角的精度可更高,如达到0.1°、0.01°以上等,在此不做无穷尽的举例。
请参阅图8,图8显示为本申请移动机器人的控制方法在一种实施方式中的流程图。所述控制方法主要由控制***来执行。所述控制***可配置于移动机器人中,所述控制***可如图1及其描述所示,或者其他能够执行所述控制方法的控制***。所述控制方法包括步骤S110、步骤S120以及步骤S130。
在此,可利用处理装置实现步骤S110、步骤S120以及步骤S130。处理装置可包括一个或多个处理器。处理装置可操作地与存储装置中的易失性存储器和/或非易失性存储器耦接。处理装置可执行在存储器和/或非易失性存储设备中存储的指令以在机器人中执行操作,诸如对拍摄的图像进行分析并基于分析结果确定机器人的导航及姿态等。如此,处理器可包括一个或多个通用微处理器、一个或多个专用处理器(ASIC)、一个或多个数字信号处理器(DSP)、一个或多个现场可编程逻辑阵列(FPGA)、或它们的任何组合。所述处理装置还与I/O端口和输入结构可操作地耦接,该I/O端口可使得机器人能够与各种其他电子设备进行交互,该输入结构可使得用户能够与计算设备进行交互。因此,输入结构可包括按钮、键盘、鼠标、触控板等。所述其他电子设备可以是所述机器人中移动装置中的移动电机,或机器人中专用于控制移动装置的从处理器,如MCU(Microcontroller Unit,微控制单元,简称MCU)。
在一种示例中,所述处理装置通过数据线分别连接存储装置和摄像装置。所述处理装置通过数据读写技术与存储装置进行交互,所述处理装置通过接口协议与摄像装置进行交互。其中,所述数据读写技术包括但不限于:高速/低速数据接口协议、数据库读写操作等。所述接口协议包括但不限于:HDMI接口协议、串行接口协议等。
在步骤S110中,在移动机器人导航操作环境下控制摄像装置实时拍摄图像。
在此,处理装置在移动机器人导航操作环境下控制摄像装置实时拍摄图像。例如,摄像装置可以是用来拍摄静态图像或视频的摄像头。在一实施例中,移动机器人可根据导航操作环境预先设定拍摄图像的时间间隔,然后处理装置控制摄像装置以预设的时间间隔来拍摄图像以获取不同时刻下的静态图像。在另一实施例中,处理装置控制摄像装置拍摄视频。
所述导航操作环境是指机器人依据当前定位及基于当前定位而确定的导航路线进行移动和执行相应操作的环境。例如,以巡逻机器人为例,导航操作环境是指巡逻机器人依据导航路线移动并进行安保操作的环境;以清洁机器人为例,导航操作环境是指清洁机器人依据导航路线移动并进行清洁操作的环境。
在步骤S120中,对所拍摄的至少一幅图像进行分析。
在此,处理装置对所拍摄的至少一幅图像进行分析。其中,在摄像装置获取的是静态图像的情况下,处理装置可以对所获取的静态图像中的至少一幅图像进行分析。在摄像装置获取的是视频的情况下,由于视频是由图像帧构成的,因此处理装置首先可以连续或不连续地采集所获取的视频中的图像帧,然后选用一帧图像作为一幅图像进行分析。其中,处理装置通过对一幅或更多幅图像的分析来确定移动机器人的摄像装置面向的区域。
在步骤S130中,当经分析确定在摄像装置面向过曝区域时对移动机器人的移动进行控制。
在此,当经分析确定移动机器人在摄像装置面向过曝区域时,处理装置对移动机器人的移动进行控制。其中,在本申请中,所述过曝区域是一个地理区域,比如阳光照射在地面上形成的高亮区域或者聚光灯投射在地面上的高亮区域,是指由于移动机器人在摄像装置12面向光线过强的一个区域时或者面向光源时,导致进入其摄像装置的进光量过多而造成拍摄图像中包含亮度高于预设亮度阈值,即导致图像中存在过曝点,从而使得处理装置无法根据所获取的图像提取足够多用于定位的特征。其中,所述拍摄图像中包含的亮度可由图像灰度值来描述,例如,所述处理装置检测到图像中包含灰度值大于预设灰度阈值的区域时将所述图像确定为过曝图像,以此确定所述移动机器人的摄像装置12面向过曝区域。在某些实施例中,还可以将所述亮度可由摄像装置中光照感应器所提供的光强数值来描述,例如,所述处理装置获取图像以及对应的光强数据,当光强数据大于预设光强阈值时,所述处理装置确定移动机器人面向过曝区域。再或者,在某些实施例中,所述处理装置根据图像中的灰度值和光强数据来确定移动机器人是否面向过曝区域。例如,所述处理装置以同时满足上述两示例中的两种条件确定移动机器人面向过曝区域。
当摄像装置面向过曝区域时,对所述移动机器人的移动进行控制。其中,确定移动机器人的导航包括确定移动机器人的导航路线。确定移动机器人的姿态包括确定移动机器人的位置和取向,其中,移动机器人的取向例如移动机器人的移动方向与移动机器人的摄像装置之间的偏角。当摄像装置面向过曝区域时,由于光线过强导致处理装置无法从图像中识别出足够多用于定位的特征进而无法确定移动机器人后续的导航及姿态。因此,处理装置要根据实际情况重新调整移动机器人的导航及姿态,使得在摄像装置面向过曝区域时也可以对移动机器人进行控制。
本申请移动机器人的控制方法,通过采用对所拍摄的图像进行分析,当确定在摄像装置面向过曝区域时重新确定机器人的导航及姿态的技术方案,使得在摄像装置面向过曝区域时也可以对移动机器人的导航进行控制,解决了由于光线问题导致机器人基于所获取的图像无法确定导航及姿态的问题。
为了能够准确定位移动机器人的当前位置,在步骤S120中对所拍摄的至少一幅图像进行分析的步骤包括:利用在至少一幅图像所识别的特征确定所述移动机器人的当前位置。其中,所述特征包括但不限于:形状特征、灰度特征等。所述形状特征包括但不限于:角点特征、直线特征、边缘特征、曲线特征等。所述灰度特征包括但不限于:灰度跳变特征、高于或低于灰度阈值的灰度值、图像帧中包含预设灰度范围的区域尺寸等。此外,为了移动机器人能够基于图像获取到足够多用于定位的特征,进而能够确定导航及姿态,所述图像中所能识别的特征数量通常为多个,例如10个以上。
在一实施例中,针对处理装置利用在一幅图像所识别的特征确定移动机器人的当前位置的实现方式。例如,通过对所拍摄图像中实物的图形进行识别并与标准件的图形进行匹配、以及基于所述标准件的标准物理特征来确定机器人在当前物理空间中的定位信息。又如,通过对图像中所识别的特征与预设的地图数据中的地标信息中的特征的匹配来确定机器人在当前物理空间中的定位信息。在另一实施例中,针对处理装置利用在至少两幅图像所识别的特征确定移动机器人的当前位置的实现方式。例如,利用两图像帧中所匹配的特征点的位置偏移信息来确定机器人的位置及姿态。
另外,所述在利用所拍摄的至少一幅图像进行定位分析时,不必然有时序限制地,还利用至少一幅图像中的灰度特征确定所述摄像装置是否面向过曝区域。在实际应用中,当摄像装置面向过曝区域时,处理装置可能从所拍摄的图像中无法得到足够数量的用于定位的特征,或者所得到的用于定位的特征不准确。对于清洁机器人来说,若受摄像装置面向过曝区域影响而无法准确定位,则可能会出现因定位误差而导致:无法移动至房间靠窗附近从而导致相应地面未予清洁;或在移动至靠窗的墙边位置时与墙边相撞从而导致未能及时调整姿态进行地面清洁(如调整姿态使得边刷位于墙边侧)等问题。
为此,处理装置还对摄像装置是否面向过曝区域进行分析。在此,通常摄像装置所拍摄的图像常为RGB颜色模式,因此处理装置需先对所拍摄的图像进行灰度化处理得到灰度图像,然后再对灰度图像进行过曝分析以确定摄像装置是否面向过曝区域。其中,处理装置可采用分量法、最大值法、平均值法或者加权平均法等对所拍摄的图像进行灰度化处理获得灰度图像。灰度图像是一种具有从黑到白256级灰度色阶或等级的单色图像,255表示白色,0表示黑色。
在一实施例中,处理装置通过分析灰度图像中的灰度分布、灰度均值、灰度极大极小值、灰度等级较大区域占整幅图像区域的面积百分比等来确定摄像装置是否面向过曝区域。
在一示例中,在选用灰度分布来表征灰度特征的情况下,当处理装置对灰度图像中灰度分布进行分析后得到灰度分布集中在预设的灰度过曝区间时,处理装置确定摄像装置面向过曝区域。例如,灰度过曝区间可以根据技术经验或者实验设计得知并预先存储在移动机器人中。
在又一示例中,为防止对移动机器人的姿态和导航给予过度控制,处理装置在确定图像中包含落入灰度过曝区间的灰度值时,还分析落入灰度过曝区间的灰度值所对应的像素区域占整幅图像的面积百分比是否大于预设比例阈值,若是,则处理装置无法提取到足够多的特征,若否,则认定摄像装置未面向过曝区域。其中,灰度过曝区间及预设比例阈值可以根据技术经验或者实验设计得知并预先存储在移动机器人中。此外,面积百分比的范围还可以根据导航操作环境的实际情况来确定,只要满足处理装置不能提取到足够多的特征的条件即可。
然而,例如在摄像装置所拍摄图像为一面白墙等不属于通常理解的受光线影响而造成与前述过曝情形近似的其他情形下,处理装置仅根据灰度分布或者灰度等级较大区域占整幅图像区域的面积百分比来确定摄像装置是否面向过曝区域,会存在误判。为减少上述误判情形,在另一实施例中,请参阅图2,图2显示为本申请移动机器人的控制***中摄像装置面向过曝区域时所拍摄图像的灰度示意图。当摄像装置面向过曝区域时,摄像装置所拍摄图像的灰度图像呈现出中间极亮边缘极暗且特征数量不足以用于定位的情形,图中分别选用A、B、C表示灰度等级。其中A为中间极亮区域,灰度等级接近255,C为边缘极暗区域,灰度等级接近0,A与C之间的区域B为灰度等级较高区域,在上述A、B、C三个区域中均无法提取到足够多用于定位的特征。因此,当摄像装置所拍摄图像的灰度图像呈现出中间极亮边缘极暗且无特征信息的图像时,处理装置确定摄像装置面向过曝区域。
需要说明的是,基于上述一种或多种分析方式而确定摄像装置是否面向过曝区域仅为举例,而非对本申请确定面向过曝区域的方式的限制。事实上,技术人员还可以利用多种灰度分析方法并结合各灰度分析方法所得到结果进一步对摄像装置是否面向过曝区域进行评价等方式来最终确定摄像装置是否面向过曝区域。在此不再一一描述。然而,基于本申请所提及的任一种图像灰度值而进行分析,或在此基础上改进以确定的摄像装置面向过曝区域的方式应视为本申请的一种具体示例。
于一种实施方式中,在步骤S130中当经分析确定在摄像装置面向过曝区域时对移动机器人的移动进行控制的步骤包括:调整所述摄像装置的取景面,并按照调整后的所述摄像装置所摄取的图像导航所述移动机器人。
其中,摄像装置的取景面主要指垂直于摄像装置的光学轴线并借助摄像装置中的光学***聚焦而在摄像装置中所成像图像的平面或球面。处理装置当经分析确定在所述摄像装置面向过曝区域时,处理装置无法从所拍摄的图像中获取到足够多且准确的特征,因此需要调整摄像装置的取景面,以避开因过曝区域而带来的定位误差。
于一种实施方式中,所述调整摄像装置的取景面,并按照调整后的所述摄像装置所摄取的图像导航所述移动机器人的步骤包括:控制所述摄像装置偏转一角度,并按照调整后的偏转角度和原导航路线以控制所述移动机器人移动。
在一实施例中,摄像装置可以以可移动的方式设置在机器人上。其中,可移动的方式包括水平转动、上下移动、俯仰转动、或其任意组合。其中,摄像装置水平转动是指摄像装置绕垂直于水平面的垂线做360度旋转的运动。摄像装置俯仰转动是指改变摄像装置的光学轴线与水平面之间夹角的运动。摄像装置上下移动是指摄像装置在垂直于水平面的垂线方向上下移动。在此,所述摄像装置可通过转向机构(如万向轴)设置在机器人上以实现各偏转移动。所述摄像装置可通过伸缩机构(如丝杆)设置在机器人上以实现上下移动。例如,在清洁机器人的顶盖的中部或边缘设置上述可移动的摄像装置。
当摄像装置以可移动的方式设置在机器人上时,处理装置控制机器人的摄像装置偏转一角度以使得摄像装置避开面向过曝区域,然后,摄像装置在偏转一角度后再次拍摄图像并对所拍摄的至少一幅图像进行分析,在这种情况下,若处理装置经分析能够提取到足够多用于定位的特征,则处理装置确定机器人在实际物理空间中的当前位置并且按照调整后的该角度和原导航路线来控制移动机器人移动。例如,请参阅图3a及图3b,显示为移动机器人在摄像装置偏转一角度后沿原导航路线移动的示意图,如图3a所示,机器人感测到其处于过曝区域中,图示中呈梯形状表示为过曝区域,其处理装置控制机器人的摄像装置呈如图中转向箭头所示的偏转90°,以使得摄像装置的取景面避开面向过曝区域,处理装置根据偏转后所获取的图像中的特征定位当前偏转姿态下在实际物理空间中的位置,并通过修正因摄像装置偏转而产生的偏角控制移动机器人中的移动***沿原导航路线移动,即图3b所示的状态。另外,若摄像装置在偏转一角度后,处理装置对所拍摄的图像进行分析后仍确定摄像装置面向过曝区域,则重复上述控制摄像装置偏转一角度的过程,直至处理装置对重新拍摄的图像进行分析能够提取到足够多用于定位的特征为止,然后处理装置继续进行控制处理。
在另一实施例中,当摄像装置以固定的方式设置在机器人上时,处理装置控制机器人偏转一角度以使得机器人避开面向过曝区域。由于摄像装置固定在机器人上,因此机器人偏转一角度即摄像装置随着机器人的偏转而偏转一角度。然后,机器人在偏转一角度后,摄像装置再次拍摄图像并对所拍摄的至少一幅图像进行分析,在这种情况下,若处理装置经分析能够提取到足够多用于定位的特征,则处理装置确定机器人在实际物理空间中的当前位置并且按照调整后的该角度和原导航路线来控制移动机器人移动。例如,请参阅图4a及图4b,显示为移动机器人在偏转一角度后沿原导航路线移动的示意图,如图4a所示,机器人感测到其处于过曝区域中,图示中呈梯形状表示为过曝区域,其处理装置控制机器人本体呈如图中转向箭头所示的偏转90°,以使得摄像装置的取景面避开面向过曝区域,处理装置根据偏转后所获取的图像中的特征定位当前偏转姿态下在实际物理空间中的位置,并通过修正因摄像装置偏转而产生的偏角控制移动机器人中的移动***沿原导航路线移动,即图4b所示的状态。另外,若机器人在偏转一角度后,处理装置对所拍摄的图像进行分析后仍确定摄像装置面向过曝区域,则重复上述控制机器人偏转一角度的过程,直至处理装置对重新拍摄的图像进行分析能够提取到足够多用于定位的特征为止,然后处理装置继续进行控制处理。
于另一种实施方式中,所述调整摄像装置的取景面,并按照调整后的所述摄像装置所摄取的图像导航所述移动机器人的步骤包括:控制所述摄像装置偏转一角度,并按照调整后的偏转角度修改原导航路线以控制所述移动机器人移动。
在一实施例中,当摄像装置以可移动的方式设置在机器人上时,处理装置控制机器人的摄像装置偏转一角度以使得摄像装置避开面向过曝区域,然后,摄像装置在偏转一角度后再次拍摄图像并对所拍摄的至少一幅图像进行分析,在这种情况下,若处理装置经分析能够提取到足够多用于定位的特征,则处理装置确定机器人在实际物理空间中的当前位置,以及处理装置按照调整后的该角度修改原导航路线以避开面向过曝区域导航的情况。例如,修改原导航路线中处于过曝区域的路段等。然后,处理装置基于所确定的机器人在实际物理空间中的当前位置,以及基于修改后的导航路线控制机器人按照修改后的导航路线移动。例如,请参阅图5a及图5b,显示为移动机器人基于摄像装置的取景面偏转一角度后而重新规划的导航路线移动的示意图。如图5a所示,机器人感测到其处于过曝区域中,图示中呈梯形状表示为过曝区域,处理装置根据摄像装置偏转角度后的姿态及所定位的当前位置将图5a中所示的原导航路线修改为图5b中所示的导航路线,并按照修改后的导航路线对移动机器人的移动***进行控制。此外,若摄像装置在偏转一角度后,处理装置对所拍摄的图像进行分析后仍确定摄像装置面向过曝区域,则重复上述控制摄像装置偏转一角度的过程,直至处理装置对重新拍摄的图像进行分析能够提取到足够多用于定位的特征为止,然后处理装置继续进行控制处理。
在另一实施例中,当摄像装置以固定的方式设置在机器人上时,处理装置控制机器人偏转一角度,以使得机器人避开面向过曝区域。由于摄像装置固定在机器人上,因此机器人偏转一角度即摄像装置随着机器人的偏转而偏转一角度。然后,机器人在偏转一角度后,摄像装置再次拍摄图像并对所拍摄的至少一幅图像进行分析,在这种情况下,若处理装置经分析能够提取到足够多用于定位的特征,则处理装置确定机器人在实际物理空间中的当前位置,以及处理装置按照调整后的该角度修改原导航路线以避开面向过曝区域导航的情况。例如,修改原导航路线中处于过曝区域的路段等。然后,处理装置基于所确定的机器人在实际物理空间中的当前位置,以及基于修改后的导航路线控制机器人按照修改后的导航路线移动。此外,若机器人在偏转一角度后,处理装置对所拍摄的图像进行分析后仍确定摄像装置面向过曝区域,则重复上述控制机器人偏转一角度的过程,直至处理装置对重新拍摄的图像进行分析能够提取到足够多用于定位的特征为止,然后处理装置继续进行控制处理。
需要说明的是,上述控制摄像装置或机器人偏转一角度仅为举例,事实上,处理装置还可以通过控制摄像装置上下移动来避开过曝区域。在此不做一一详述。
于再一种实施方式中,在步骤S130中当经分析确定在摄像装置面向过曝区域时对移动机器人的移动进行控制的步骤包括:屏蔽所述摄像装置所提供的图像,并按照原导航路线控制所述移动机器人移动。
其中,屏蔽摄像装置所提供的图像可以包括关闭摄像装置进而不获取过曝区域的图像数据,或者对摄像装置所拍摄的图像不进行分析处理。在屏蔽摄像装置所提供的图像的情况下,处理装置利用移动机器人中的移动传感装置所提供的移动数据控制机器人按照原导航路线移动。其中,移动传感装置用于获取移动机器人的移动信息。所述移动传感装置包括但不限于:位移传感器、陀螺仪、速度传感器、测距传感器、悬崖传感器等。在移动机器人移动期间,移动传感装置不断侦测移动信息并提供给处理装置。根据移动机器人所布置的传感器的类型和数量,处理装置所能获取的移动信息包括但不限于:位移信息、角度信息、与障碍物之间的距离信息、速度信息、行进方向信息等。
于又一种实施方式中,在步骤S130中当经分析确定在摄像装置面向过曝区域时对所述移动机器人的移动进行控制的步骤包括:调整所述摄像装置的进光量并按照调整后的所述摄像装置所摄取的图像导航所述移动机器人。
由于过曝是因光线过强所导致的,因此,可以通过减小进光量来改变摄像装置所获取的光线的强度。在对进光量进行补偿之后,摄像装置拍摄图像并根据所摄取的图像导航移动机器人。
在一实施例中,处理装置通过调整摄像装置的光圈来减小所述进光量。其中,光圈通常设置在摄像装置内,用于调节进入摄像装置中光线的多少。例如,当处理装置经分析确定在摄像装置面向过曝区域时,处理装置控制缩小所述光圈,然后在光圈缩小的情况下,处理装置控制摄像装置再次拍摄图像并进行分析导航。
在另一实施例中,处理装置通过调整摄像装置的遮光板的位置来减小所述进光量。其中,遮光板是为减少光线对物体的影响、避免外部光线直射的不透光的板材。遮光板可以设置在摄像装置的上方、下方、侧面等,用于调节进入摄像装置中光线的多少。例如,以遮光板设置在摄像装置上方为例,当处理装置经分析确定在摄像装置面向过曝区域时,处理装置控制遮光板下移遮住摄像装置的一部分镜头,此时进光量减小,处理装置控制摄像装置再次拍摄图像并进行分析导航。
在又一实施例中,处理装置通过调整摄像装置的光圈、以及调整摄像装置的遮光板的位置来减小所述进光量。
本申请移动机器人的控制方法,通过采用对所拍摄的图像进行分析、当利用灰度特征确定在摄像装置面向过曝区域时通过调整摄像装置的取景面或者通过屏蔽摄像装置所提供的图像确定机器人的导航及姿态的技术方案,使得在摄像装置面向过曝区域时也可以对移动机器人进行导航和控制,解决了由于光线问题导致机器人基于所获取的视觉信息无法确定导航及姿态的问题。
此外,在实际应用中,还存在摄像装置瞬时过曝或者摄像装置自动曝光补偿的情况。在摄像装置瞬时过曝的情况下,为防止瞬时过曝而对处理装置判断过曝区域的干扰,处理装置可利用上述任一种过曝分析方式分析摄像装置依时间顺序而获取的至少两幅图像来确认摄像装置面向过曝区域。例如,所述处理装置在检测到一幅图像过曝时,继续检测后续摄像装置所摄取的至少一幅图像也呈现过曝特性,进而确定摄像装置面向过曝区域。在摄像装置自动曝光补偿的情况下,由于摄像装置具有曝光自动补偿功能,所以摄像装置在曝光情况下会首先进行自动曝光补偿,因而,对于曝光可补偿的情况,处理装置只需对曝光补偿后拍摄的图像进行分析并继续按照原先导航路线移动即可。
因此,为了避免上述两种情况,于一种实施方式中,在步骤S130中当经分析确定在摄像装置面向过曝区域时对移动机器人的移动进行控制的步骤包括:当经分析确定在所述摄像装置面向过曝区域大于预设时长时对所述移动机器人的移动进行控制。其中,预设时长可以是大于曝光补偿所需时间的时长。
现以清洁机器人为例来描述本申请所述控制***对移动机器人的导航及姿态的控制过程。请参阅图6,图6显示为本申请移动机器人的控制***中摄像装置面向过曝区域的示意图。如图所示,A表示扫地机器人,C表示窗户,B表示太阳光透过窗户C进入室内所形成的过曝区域。在一种示例中,当扫地机器人沿朝向窗户C的方向移动进入过曝区域B时,由于扫地机器人的摄像装置面向过曝区域B的时间较长,因而摄像装置无法实现自动曝光补偿。在这种情况下,处理装置可以调整摄像装置的取景面,并按照调整后的摄像装置所摄取的图像导航机器人;或者,处理装置可以屏蔽摄像装置所提供的图像,并基于移动传感装置所提供的移动数据控制机器人按照原导航路线控制机器人移动;或者处理装置通过调整光圈或遮光板的位置来减小摄像装置的进光量,并按照调整后的摄像装置所摄取的图像导航机器人。
在另一种示例中,处理装置可以调整摄像装置的取景面,并按照调整后的摄像装置所摄取的图像导航机器人。具体地,处理装置可以控制摄像装置偏转一角度,并按照调整后的偏转角度修改原导航路线以控制机器人移动。请参阅图7,图7显示为摄像装置面向图6所示过曝区域的情况下利用本申请移动机器人的控制***修改导航路线的示意图。如图所示,假设机器人原导航路线E为沿图中所示横向方向(即图示中箭头X所示之方向)所示,机器人在初始情况下沿原导航路线E移动,在移动过程中当确定机器人的摄像装置面向过曝区域(图示中未示出)时,此时,假设机器人移动到原导航路线的G位置处,此时,处理装置控制摄像装置偏转一角度(例如图示中所示的90°转向),并按照调整后的偏转角度将原导航路线E修改为新的导航路线F,新的导航路线F为沿图中所示竖向方向(即图示中箭头Y所示之方向)所示,由图可知,新的导航路线F完全避开原导航路线E中处于过曝区域的路段。然后,机器人按照新的导航路线F移动。需要说明的是,本申请所提供的图7中的原导航路线E以及新的导航路线F仅是示例性路线,在实际的各种实施状态中,移动机器人的控制***可根据导航操作环境采用其他形式的导航路线。
本申请还提供一种移动机器人,请参阅图9,图9显示为本申请的移动机器人在一种实施方式中的结构示意图。如图所示,移动机器人包括:摄像装置23、控制***21和移动***22。移动***22和摄像装置23均与控制***21相连。所述控制***21用于基于所述摄像装置23所摄取的至少一幅图像确定摄像装置面向过曝区域,并基于对所述移动机器人的移动控制输出移动指令,以及移动***22用于基于所述移动指令驱动移动机器人移动。其中,所述移动指令为基于调整后的导航及姿态而产生的移动指令。所述移动指令包括但不限于按照调整后的导航路线和当前位置而确定的移动方向、移动速度、移动距离等。
所述摄像装置23包括但不限于:照相机、视频摄像机、集成有光学***或CCD芯片的摄像模块、集成有光学***和CMOS芯片的摄像模块等。所述摄像装置23的供电***可受移动机器人的供电***控制,当机器人上电移动期间,所述摄像装置即开始拍摄图像。此外,所述摄像装置可以设于移动机器人的主体上。例如,以清洁机器人为例,所述摄像装置23可以设于清洁机器人的顶盖的中部或边缘,或者所述摄像装置23可以设于清洁机器人的顶部表面的平面之下、在主体的几何中心附近或主体的边缘附近的凹入结构上。在某些实施例中,所述摄像装置23可以位于移动机器人的顶面,并且所述摄像装置的视野光学轴相对于垂线为±30°。例如,所述摄像装置位于清洁机器人顶面的中间位置或边缘,且其光学轴相对于垂线的夹角为-30°、-29°、-28°、-27°……-1°、0°、1°、2°……29°、或30°。需要说明的是,本领域技术人员应该理解,上述光学轴与垂线或水平线的夹角仅为举例,而非限制其夹角精度为1°的范围内,根据实际机器人的设计需求,所述夹角的精度可更高,如达到0.1°、0.01°以上等,在此不做无穷尽的举例。
所述移动***包括驱动控制装置和至少两个滚轮组。其中,所述至少两个滚轮组中的至少一个滚轮组为受控滚轮组。所述驱动控制装置与所述控制***相连,所述驱动控制装置用于基于所述控制***所确定的导航路线和姿态驱动所述受控滚轮组滚动。
所述驱动控制装置包含驱动电机,所述驱动电机与所述滚轮组相连用于直接驱动滚轮组滚动。所述驱动控制装置可以包含专用于控制驱动电机的一个或多个处理器(CPU)或微处理单元(MCU)。例如,所述微处理单元用于将所述控制***所提供的信息或数据转化为对驱动电机进行控制的电信号,并根据所述电信号控制所述驱动电机的转速、转向等以调整移动机器人的移动速度和移动方向。所述信息或数据如所述控制***所确定的偏角。所述驱动控制装置中的处理器可以和所述控制***中处理装置中的处理器共用或可独立设置。例如,所述驱动控制装置作为从处理设备,所述控制***中的处理装置作为主设备,驱动控制装置基于控制***的控制进行移动控制。或者所述驱动控制装置与所述控制***中的处理器相共用。驱动控制装置通过程序接口接收控制***所提供的数据。所述驱动控制装置用于基于所述控制***所提供的导航路线和偏角控制所述受控滚轮组滚动。
在一种实施方式中,所述控制***可如图1所示并结合前述基于该图1所对应的说明进行控制处理,在此不再详述。其中,图9中所示的存储装置211可对应于图1中所述的存储装置11;图9中所示的摄像装置23可对应于图1中所述的摄像装置6;图9中所示的处理装置213可对应于图1中所述的处理装置13。以图9中所示的控制***21包含存储装置211、和处理装置213,所述控制***21连接移动***22为例,对所述机器人基于所述控制***21确定机器人的导航及姿态进而进行移动的工作过程予以描述:
所述存储装置存储有一个或多个程序。所述程序包括稍后描述的由处理装置调取以执行控制、分析、确定等步骤的相应程序。
所述摄像装置在移动机器人导航操作环境下实时拍摄图像。
所述处理装置通过调取存储装置中所存储的程序来进行控制处理。首先,处理装置在移动机器人导航操作环境下控制摄像装置实时拍摄图像。例如,摄像装置可以是用来拍摄静态图像或视频的摄像头。
然后,处理装置对所拍摄的至少一幅图像进行分析。所述分析包括利用在至少一幅图像所识别的特征确定所述移动机器人的当前位置,以及利用至少一幅图像中的灰度特征确定所述摄像装置是否面向过曝区域。其中,在摄像装置获取的是静态图像的情况下,处理装置可以对所获取的静态图像中的至少一幅图像进行分析。在摄像装置获取的是视频的情况下,由于视频是由图像帧构成的,因此处理装置首先可以连续或不连续地采集所获取的视频中的图像帧,然后选用一帧图像作为一幅图像进行分析。其中,处理装置通过对一幅或更多幅图像的分析来确定移动机器人的摄像装置面向的区域。
接着,当经分析确定移动机器人在摄像装置面向过曝区域时,处理装置对移动机器人的移动进行控制。其中,当经分析确定移动机器人在摄像装置面向过曝区域时,调整所述摄像装置的取景面,并按照调整后的所述摄像装置所摄取的图像导航所述移动机器人。或者,当经分析确定移动机器人在摄像装置面向过曝区域时,屏蔽所述摄像装置所提供的图像,并按照原导航路线控制所述移动机器人移动。或者,当经分析确定移动机器人在摄像装置面向过曝区域时,调整所述摄像装置的进光量并按照调整后的所述摄像装置所摄取的图像导航所述移动机器人。此外,为了避免摄像装置瞬时过曝或者摄像装置自动曝光补偿的情况,处理装置可以当经分析确定在所述摄像装置面向过曝区域大于预设时长时对所述移动机器人的移动进行控制并导航所述机器人移动。其中,预设时长可以是大于曝光补偿所需时间的时长。
本申请还提供一种清洁机器人,请参阅图10,图10显示为本申请的清洁机器人在一种实施方式中的结构示意图。如图所示,清洁机器人包括摄像装置34、控制***31、移动***32以及清洁***33。其中控制***31与移动***32和清洁***33均相连。所述控制***31用于基于所述摄像装置所摄取的至少一幅图像确定摄像装置面向过曝区域,并基于对所述移动机器人的移动控制输出移动指令,移动***32用于基于所述移动指令驱动清洁机器人移动。其中,所述移动指令为基于调整后的导航及姿态而产生的移动指令。所述移动指令包括但不限于按照调整后的导航路线和当前位置而确定的移动方向、移动速度、移动距离等。所述清洁***33用于沿移动***32所移动的路线对地面进行清洁。
其中,所述摄像装置34与图9中摄像装置23相同或相似,在此不再详述。
所述移动***32受控制***31控制而移动,其位于清洁机器人的底部。在一种实施方式中,所述移动***32包括驱动控制装置、至少两个滚轮组等。其中,所述驱动控制装置包括驱动电机。其中,至少一个滚轮组为受控滚轮组。所述受控滚轮组作为清洁机器人移动的主动轮受驱动电机驱动。其中,所述受控滚轮组可以为一个或多个,每个受控滚轮组对应配置一个驱动电机,所述驱动控制装置可协调各驱动电机的转速和转动以使清洁机器人灵活移动。所述驱动控制装置可以包含专用于控制驱动电机的一个或多个处理器(CPU)或微处理单元(MCU)。例如,所述微处理单元用于将所述控制***所提供的信息或数据转化为对驱动电机进行控制的电信号,并根据所述电信号控制所述驱动电机的转速、转向等以调整移动机器人的移动速度和移动方向。所述信息或数据如所述控制***所确定的偏角。所述驱动控制装置中的处理器可以和所述控制***中处理装置中的处理器共用或可独立设置。例如,所述驱动控制装置作为从处理设备,所述控制***中的处理装置作为主设备,驱动控制装置基于控制***的控制进行移动控制。或者所述驱动控制装置与所述控制***中的处理器相共用。驱动控制装置通过程序接口接收控制***所提供的数据。所述驱动控制装置用于基于所述控制***所提供的导航路线和偏角控制所述驱动轮移动。
所述控制***可如图1所示并结合前述基于该图1所对应的说明进行控制处理,在此不再详述。其中,图10中所示的存储装置311可对应于图1中所述的存储装置11;图10中所示的摄像装置34可对应于图1中所述的摄像装置6;图10中所示的处理装置312可对应于图1中所述的处理装置13。以图10中所示的控制***31包含存储装置311和处理装置312,所述控制***31连接移动***32,所述控制***31连接清洁***33为例,对所述机器人基于所述控制***31确定机器人的导航及姿态进而进行清洁的工作过程予以描述:
所述存储装置存储有一个或多个程序。所述程序包括稍后描述的由处理装置调取以执行控制、分析、确定等步骤的相应程序。
所述摄像装置在移动机器人导航操作环境下实时拍摄图像。
所述处理装置通过调取存储装置中所存储的程序来进行控制处理。首先,处理装置在移动机器人导航操作环境下控制摄像装置实时拍摄图像。例如,摄像装置可以是用来拍摄静态图像或视频的摄像头。
然后,处理装置对所拍摄的至少一幅图像进行分析。所述分析包括利用在至少一幅图像所识别的特征确定所述移动机器人的当前位置,以及利用至少一幅图像中的灰度特征确定所述摄像装置是否面向过曝区域。其中,在摄像装置获取的是静态图像的情况下,处理装置可以对所获取的静态图像中的至少一幅图像进行分析。在摄像装置获取的是视频的情况下,由于视频是由图像帧构成的,因此处理装置首先可以连续或不连续地采集所获取的视频中的图像帧,然后选用一帧图像作为一幅图像进行分析。其中,处理装置通过对一幅或更多幅图像的分析来确定移动机器人的摄像装置面向的区域。
接着,当经分析确定移动机器人在摄像装置面向过曝区域时,处理装置对移动机器人的移动进行控制。其中,当经分析确定移动机器人在摄像装置面向过曝区域时,调整所述摄像装置的取景面,并按照调整后的所述摄像装置所摄取的图像导航所述移动机器人并且使用清洁组件沿所移动的路线对地面进行清洁。或者,当经分析确定移动机器人在摄像装置面向过曝区域时,屏蔽所述摄像装置所提供的图像,并按照原导航路线控制所述移动机器人移动并且使用清洁组件沿所移动的路线对地面进行清洁。或者,当经分析确定移动机器人在摄像装置面向过曝区域时,调整所述摄像装置的进光量并按照调整后的所述摄像装置所摄取的图像导航所述移动机器人并且使用清洁组件沿所移动的路线对地面进行清洁。此外,为了避免摄像装置瞬时过曝或者摄像装置自动曝光补偿的情况,处理装置可以当经分析确定在所述摄像装置面向过曝区域大于预设时长时对所述移动机器人的移动进行控制并导航所述机器人移动同时使用清洁组件沿所移动的路线对地面进行清洁。其中,预设时长可以是大于曝光补偿所需时间的时长。
所述清洁***包括清洁组件和清洁驱动控制组件。其中,所述清洁驱动控制组件与所述控制***相连,所述清洁驱动控制组件用于在所述控制***的控制下驱动所述清洁组件清洁地面。
所述清洁组件可包括辊刷组件、过滤网、擦洗组件、吸入管道、集尘盒(或垃圾盒)、吸风电机等。所述辊刷组件和擦洗组件可根据扫地机器人的实际设计而择一配置或全部配置。所述辊刷组件包括但不限于:边刷、边刷驱动器、辊轮、辊轮驱动器等。所述擦洗组件包括但不限于:盛水容器、擦拭布、布的装配结构及所述装配结构的驱动器等。
所述清洁驱动控制组件可以包含专用于控制清洁组件的一个或多个处理器(CPU)或微处理单元(MCU)。所述清洁驱动控制组件中的处理器可以和所述控制***中的处理器共用或可独立设置。例如,所述清洁驱动控制组件中的处理器作为从处理设备,所述控制***中的处理器作为主设备,清洁驱动控制组件基于控制***的控制进行清洁控制。或者所述清洁驱动控制组件与所述控制***中的处理器相共用。
在一示例中,所述清洁驱动控制组件用于在所述控制***的控制下驱动所述清洁组件清洁地面。此外,所述控制***在确定清洁机器人的导航及姿态的情况下,还在所述清洁机器人移动期间驱动清洁组件进行清洁工作。或者,所述清洁机器人中还包括用于控制清洁***的清洁控制***,其可与所述控制***31共用处理装置或被单独配置,清洁控制***中的处理装置与控制***31中的处理装置在数据上互通,使得所述控制***31中的处理装置还用于基于对所述清洁机器人在当前导航路线的清洁控制,输出包含姿态控制的移动指令。其中,所述当前导航路线上包含地面与墙(或家具等放置物)交接的边界区域和/或三面交汇的边角区域,以及地面中部的空旷区域等。所述清洁控制包括对边界处或角的清洁控制策略等。所述包含姿态控制的移动指令中包含控制驱动控制装置使清洁机器人偏转一偏角等以使清洁***执行相应清洁控制策略。例如,当所述清洁机器人在所述控制***的导航下移动至墙边时,所述控制***可控制移动***调整当前偏角,使得清洁***中的边刷位于靠墙侧,并控制移动***按照所调整的导航路线和姿态进行移动。由此,清洁***中的边刷可清扫墙边。所述清洁机器人还可基于上述清洁控制和姿态控制来清洁如墙角等其他边角位置。
另外需要说明的是,通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请的部分或全部可借助软件并结合必需的通用硬件平台来实现。基于这样的理解,本申请还提供一种计算机设备的存储介质,所述存储介质存储有至少一个程序,所述程序被处理器执行时执行前述的任一所述的控制方法。
基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可包括其上存储有机器可执行指令的一个或多个机器可读介质,这些指令在由诸如计算机、计算机网络或其他电子设备等一个或多个机器执行时可使得该一个或多个机器根据本申请的实施例来执行操作。例如执行机器人的定位方法中的各步骤等。机器可读介质可包括,但不限于,软盘、光盘、CD-ROM(紧致盘-只读存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。其中,所述存储介质可位于机器人也可位于第三方服务器中,如位于提供某应用商城的服务器中。在此对具体应用商城不做限制,如小米应用商城、华为应用商城、苹果应用商城等。
本申请可用于众多通用或专用的计算***环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器***、基于微处理器的***、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何***或设备的分布式计算环境等。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
上述实施例仅例示性说明本申请的原理及其功效,而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本申请的权利要求所涵盖。
Claims (26)
1.一种移动机器人的控制方法,其中,所述移动机器人包含摄像装置,其特征在于,所述控制方法包括以下步骤:
在移动机器人导航操作环境下,控制所述摄像装置实时拍摄图像;
对所拍摄的至少一幅图像进行分析;
当经分析确定在所述摄像装置面向过曝区域时对所述移动机器人的移动进行控制。
2.根据权利要求1所述的移动机器人的控制方法,其特征在于,所述对所拍摄的至少一幅图像进行分析的步骤包括:利用在至少一幅图像所识别的特征确定所述移动机器人的当前位置。
3.根据权利要求1所述的移动机器人的控制方法,其特征在于,所述对所拍摄的至少一幅图像进行分析的步骤包括:利用至少一幅图像中的灰度特征确定所述摄像装置面向过曝区域。
4.根据权利要求1所述的移动机器人的控制方法,其特征在于,所述当经分析确定在所述摄像装置面向过曝区域时对所述移动机器人的移动进行控制的步骤包括:调整所述摄像装置的取景面,并按照调整后的所述摄像装置所摄取的图像导航所述移动机器人。
5.根据权利要求4所述的移动机器人的控制方法,其特征在于,所述调整摄像装置的取景面,并按照调整后的所述摄像装置所摄取的图像导航所述移动机器人的步骤包括以下任一种:
控制所述摄像装置偏转一角度,并按照调整后的偏转角度和原导航路线以控制所述移动机器人移动;
控制所述摄像装置偏转一角度,并按照调整后的偏转角度修改原导航路线以控制所述移动机器人移动。
6.根据权利要求1所述的移动机器人的控制方法,其特征在于,所述当经分析确定在所述摄像装置面向过曝区域时对所述移动机器人的移动进行控制的步骤包括:屏蔽所述摄像装置所提供的图像,并按照原导航路线控制所述移动机器人移动。
7.根据权利要求1所述的移动机器人的控制方法,其特征在于,所述当经分析确定在所述摄像装置面向过曝区域时对所述移动机器人的移动进行控制的步骤包括:调整所述摄像装置的进光量并按照调整后的所述摄像装置所摄取的图像导航所述移动机器人。
8.根据权利要求7所述的移动机器人的控制方法,其特征在于,通过调整摄像装置的光圈、和/或调整摄像装置的遮光板的位置来减小所述进光量。
9.根据权利要求1所述的移动机器人的控制方法,其特征在于,所述当经分析确定在所述摄像装置面向过曝区域时对所述移动机器人的移动进行控制的步骤包括:当经分析确定在所述摄像装置面向过曝区域大于预设时长时对所述移动机器人的移动进行控制。
10.一种移动机器人的控制***,其中所述移动机器人包含摄像装置,其特征在于,包括:
存储装置,存储有一个或多个程序;
处理装置,与所述存储装置相连,通过调取所述一个或多个程序以执行以下步骤:
在移动机器人导航操作环境下,控制所述摄像装置实时拍摄图像;
对所拍摄的至少一幅图像进行分析;
当经分析确定在所述摄像装置面向过曝区域时对所述移动机器人的移动进行控制。
11.根据权利要求10所述的移动机器人的控制***,其特征在于,所述处理装置执行对所拍摄的至少一幅图像进行分析的步骤包括:利用在至少一幅图像所识别的特征确定所述移动机器人的当前位置。
12.根据权利要求10所述的移动机器人的控制***,其特征在于,所述处理装置对所拍摄的至少一幅图像进行分析的步骤包括:利用至少一幅图像中的灰度特征确定所述摄像装置面向过曝区域。
13.根据权利要求10所述的移动机器人的控制***,其特征在于,所述处理装置当经分析确定在所述摄像装置面向过曝区域时对所述移动机器人的移动进行控制的步骤包括:调整所述摄像装置的取景面,并按照调整后的所述摄像装置所摄取的图像导航所述移动机器人。
14.根据权利要求13所述的移动机器人的控制***,其特征在于,所述处理装置调整摄像装置的取景面,并按照调整后的所述摄像装置所摄取的图像导航所述移动机器人的步骤包括以下任一种:
控制所述摄像装置偏转一角度,并按照调整后的偏转角度和原导航路线以控制所述移动机器人移动;
控制所述摄像装置偏转一角度,并按照调整后的偏转角度修改原导航路线以控制所述移动机器人移动。
15.根据权利要求10所述的移动机器人的控制***,其特征在于,所述处理装置当经分析确定在所述摄像装置面向过曝区域时对所述移动机器人的移动进行控制的步骤包括:屏蔽所述摄像装置所提供的图像,并按照原导航路线控制所述移动机器人移动。
16.根据权利要求10所述的移动机器人的控制***,其特征在于,所述处理装置当经分析确定在所述摄像装置面向过曝区域时对所述移动机器人的移动进行控制的步骤包括:调整所述摄像装置的进光量并按照调整后的所述摄像装置所摄取的图像导航所述移动机器人。
17.根据权利要求16所述的移动机器人的控制***,其特征在于,所述摄像装置包括:可调光圈和/或遮光板;所述处理装置通过调整所述光圈和/或调整遮光板的位置来减小所述进光量。
18.根据权利要求10所述的移动机器人的控制***,其特征在于,所述处理装置当经分析确定在所述摄像装置面向过曝区域时对所述移动机器人的移动进行控制的步骤包括:处理装置当经分析确定在所述摄像装置面向过曝区域大于预设时长时对所述移动机器人的移动进行控制。
19.一种移动机器人,其特征在于,包括:
摄像装置;
如权利要求10-18中任一所述的控制***,用于基于所述摄像装置所摄取的至少一幅图像确定摄像装置面向过曝区域,并基于对所述移动机器人的移动控制输出移动指令;
移动***,与所述控制***相连,用于基于所述移动指令,驱动移动机器人移动。
20.根据权利要求19所述的移动机器人,其特征在于,所述移动***包括:
至少两个滚轮组,其中,至少一个滚轮组为受控滚轮组;
驱动控制装置,与所述控制***相连,用于基于所述移动指令驱动所述受控滚轮组滚动。
21.根据权利要求19所述的移动机器人,其特征在于,所述摄像装置位于移动机器人的顶面,且所述摄像装置的视野光学轴相对于垂线为±30°。
22.一种清洁机器人,其特征在于,包括:
摄像装置;
如权利要求10-18中任一所述的控制***,与所述摄像装置相连,用于基于所述摄像装置所摄取的至少一幅图像确定摄像装置面向过曝区域,并基于对所述移动机器人的移动控制输出移动指令;
移动***,与所述控制***相连,用于基于所述移动指令,驱动清洁机器人移动;
清洁***,与所述控制***相连,用于沿所述移动***所移动的路线对地面进行清洁。
23.根据权利要求22所述的清洁机器人,其特征在于,所述控制***中的处理装置还用于基于对所述清洁机器人在当前导航路线的清洁控制,输出包含姿态控制的移动指令;
所述移动***基于所述移动指令调整清洁机器人的移动姿态。
24.根据权利要求22或23所述的清洁机器人,其特征在于,所述清洁***包括:
清洁组件;
清洁驱动控制组件,与所述控制***相连,用于在所述控制***的控制下驱动所述清洁组件清洁地面。
25.根据权利要求22所述的清洁机器人,其特征在于,所述摄像装置位于清洁机器人的顶面,且所述摄像装置的视野光学轴相对于垂线为±30°。
26.一种计算机设备的存储介质,其特征在于,存储有至少一个程序,所述程序被处理器执行时执行如权利要求1-9中任一所述方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711347545.XA CN108132666B (zh) | 2017-12-15 | 2017-12-15 | 控制方法、***及所适用的移动机器人 |
PCT/CN2018/090657 WO2019114220A1 (zh) | 2017-12-15 | 2018-06-11 | 控制方法、***及所适用的移动机器人 |
US16/106,471 US20190187721A1 (en) | 2017-12-15 | 2018-08-21 | Control method and system, and mobile robot using the same |
US16/115,898 US10437253B2 (en) | 2017-12-15 | 2018-08-29 | Control method and system, and mobile robot using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711347545.XA CN108132666B (zh) | 2017-12-15 | 2017-12-15 | 控制方法、***及所适用的移动机器人 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108132666A CN108132666A (zh) | 2018-06-08 |
CN108132666B true CN108132666B (zh) | 2019-04-05 |
Family
ID=62389502
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711347545.XA Expired - Fee Related CN108132666B (zh) | 2017-12-15 | 2017-12-15 | 控制方法、***及所适用的移动机器人 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN108132666B (zh) |
WO (1) | WO2019114220A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108132666B (zh) * | 2017-12-15 | 2019-04-05 | 珊口(上海)智能科技有限公司 | 控制方法、***及所适用的移动机器人 |
US11019274B2 (en) | 2018-09-10 | 2021-05-25 | Tusimple, Inc. | Adaptive illumination for a time-of-flight camera on a vehicle |
CN109643127B (zh) * | 2018-11-19 | 2022-05-03 | 深圳阿科伯特机器人有限公司 | 构建地图、定位、导航、控制方法及***、移动机器人 |
CN113848702A (zh) * | 2020-06-26 | 2021-12-28 | 图森有限公司 | 自适应传感器控制 |
CN113928307A (zh) | 2020-06-29 | 2022-01-14 | 图森有限公司 | 自动泊车技术 |
CN114005026A (zh) * | 2021-09-29 | 2022-02-01 | 达闼科技(北京)有限公司 | 机器人的图像识别方法、装置、电子设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2112466A1 (en) * | 2007-02-15 | 2009-10-28 | Honda Motor Co., Ltd | Environment recognizing device |
CN206493318U (zh) * | 2017-01-17 | 2017-09-15 | 暨南大学 | 基于可见光定位导航的室内机器人 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6434202A (en) * | 1987-07-30 | 1989-02-03 | Kubota Ltd | Working wagon of automatic conduct type |
CN1316814C (zh) * | 2001-03-16 | 2007-05-16 | 幻影自动化机械公司 | 增大图像传感器有效动态范围的***和方法 |
US20090290033A1 (en) * | 2007-11-16 | 2009-11-26 | Tenebraex Corporation | Systems and methods of creating a virtual window |
CN105651286B (zh) * | 2016-02-26 | 2019-06-18 | 中国科学院宁波材料技术与工程研究所 | 一种移动机器人视觉导航方法与***、以及仓库*** |
CN107077741A (zh) * | 2016-11-11 | 2017-08-18 | 深圳市大疆创新科技有限公司 | 深度图生成方法和基于该方法的无人机 |
CN107329476A (zh) * | 2017-08-02 | 2017-11-07 | 珊口(上海)智能科技有限公司 | 一种房间拓扑地图构建方法、***、装置及扫地机器人 |
CN108132666B (zh) * | 2017-12-15 | 2019-04-05 | 珊口(上海)智能科技有限公司 | 控制方法、***及所适用的移动机器人 |
-
2017
- 2017-12-15 CN CN201711347545.XA patent/CN108132666B/zh not_active Expired - Fee Related
-
2018
- 2018-06-11 WO PCT/CN2018/090657 patent/WO2019114220A1/zh active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2112466A1 (en) * | 2007-02-15 | 2009-10-28 | Honda Motor Co., Ltd | Environment recognizing device |
CN206493318U (zh) * | 2017-01-17 | 2017-09-15 | 暨南大学 | 基于可见光定位导航的室内机器人 |
Also Published As
Publication number | Publication date |
---|---|
CN108132666A (zh) | 2018-06-08 |
WO2019114220A1 (zh) | 2019-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108132666B (zh) | 控制方法、***及所适用的移动机器人 | |
US20190145775A1 (en) | Localization system and method, and robot using the same | |
Coombs et al. | Real-time obstacle avoidance using central flow divergence, and peripheral flow | |
EP3708954A1 (en) | Positioning system and method and robot using same | |
CN110801180B (zh) | 清洁机器人的运行方法及装置 | |
US20190392630A1 (en) | Automated understanding of three dimensional (3d) scenes for augmented reality applications | |
Kwon et al. | Person tracking with a mobile robot using two uncalibrated independently moving cameras | |
JP6426143B2 (ja) | 複雑な表面検査及び加工のための制御された自律型ロボットシステムおよびその方法 | |
Zuo et al. | Devo: Depth-event camera visual odometry in challenging conditions | |
US10293489B1 (en) | Control method and system, and cleaning robot using the same | |
CN105493147A (zh) | 用于跟踪显示器上的对象的***、装置及方法 | |
CN109063659A (zh) | 运动目标的检测与跟踪方法和*** | |
US10437253B2 (en) | Control method and system, and mobile robot using the same | |
CN105606092A (zh) | 一种室内机器人定位方法及*** | |
Teixeira et al. | Real-time local 3D reconstruction for aerial inspection using superpixel expansion | |
Vidal et al. | Hybrid, frame and event based visual inertial odometry for robust, autonomous navigation of quadrotors | |
Häselich et al. | Calibration of multiple cameras to a 3D laser range finder | |
CN110084754A (zh) | 一种基于改进sift特征点匹配算法的图像叠加方法 | |
CN107403437A (zh) | 机器人跟踪物体的方法、装置及机器人 | |
Coaguila et al. | Selecting vantage points for an autonomous quadcopter videographer | |
Nielsen et al. | Learning mobile robot navigation: A behavior-based approach | |
CN109212547A (zh) | 一种测距用实验装置及基于动目标边缘敏感的测距方法 | |
Feng | Camera Marker Networks for Pose Estimation and Scene Understanding in Construction Automation and Robotics. | |
Schroeter et al. | Autonomous robot cameraman-observation pose optimization for a mobile service robot in indoor living space | |
JP7007649B2 (ja) | オプティカルフロー推定装置、オプティカルフロー推定方法、オプティカルフロー推定システム、及びオプティカルフロー推定プログラム、並びにヨーレート推定装置、ヨーレート推定方法、ヨーレート推定システム、及びヨーレート推定プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address | ||
CP03 | Change of name, title or address |
Address after: No.888, Huanhu West 2nd Road, Lingang New District, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201306 Patentee after: Shanghai akobert robot Co.,Ltd. Address before: 201306 Shanghai Pudong New Area Nanhui new town 888 West Road two Patentee before: ANKOBOT (SHANGHAI) SMART TECHNOLOGIES Co.,Ltd. |
|
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190405 |