CN113520228B - 环境信息采集方法、自主移动设备及存储介质 - Google Patents
环境信息采集方法、自主移动设备及存储介质 Download PDFInfo
- Publication number
- CN113520228B CN113520228B CN202010324130.6A CN202010324130A CN113520228B CN 113520228 B CN113520228 B CN 113520228B CN 202010324130 A CN202010324130 A CN 202010324130A CN 113520228 B CN113520228 B CN 113520228B
- Authority
- CN
- China
- Prior art keywords
- line laser
- frame rate
- autonomous mobile
- laser sensor
- target direction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/24—Floor-sweeping machines, motor-driven
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4061—Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4063—Driving means; Transmission means therefor
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
- A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
- A47L11/4072—Arrangement of castors or wheels
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
- A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
- A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本申请实施例提供了一种环境信息采集方法、自主移动设备及存储介质。在本申请实施例中,自主移动设备采用结构光模组采集周围环境信息,通过在行进过程中提高结构光模组中与目标方向对应一侧的线激光传感器的发射帧率,基于提高后的发射帧率采集目标方向上的环境图像,可以在目标方向上获得更丰富的环境信息,有利于自主移动设备更好地在目标方向上进行避障;进一步,还可以降低结构光模组中另一方向对应一侧的线激光传感器的发射帧率,以此来平衡处理器的处理压力,保证自主移动设备的作业安全。
Description
技术领域
本申请涉及人工智能技术领域,尤其涉及一种环境信息采集方法、自主移动设备及存储介质。
背景技术
随着人工智能技术的发展,机器人逐渐进入人们的日常生活,给人们的生活带来极大的便利。例如,扫地机器人可以自动进行房间的清洁,节省了大量的人力和物力成本。
不管是什么类型的机器人,通常配有激光传感器,在自主移动过程中,利用图激光感器采集周围环境信息,为避障、导航和定位提供数据基础。但是,现有激光传感器采集到的环境信息不够丰富。
发明内容
本申请的多个方面提供一种环境信息采集方法、自主移动设备及存储介质,用以提高自主移动设备在行进过程中采集环境图像信息的丰富度。
本申请实施例提供一种自主移动设备,包括:设备本体,所述设备本体上设有处理器、存储计算机指令的存储器以及结构光模组;所述结构光模组包括:摄像头模组和分布于所述摄像头模组两侧的线激光传感器;所述处理器,用于执行所述计算机指令,以用于:在所述自主移动设备行进过程中确定目标方向;提高所述结构光模组中与目标方向对应一侧的线激光传感器的发射帧率,并控制所述结构光模组按照提高后的发射帧率采集所述目标方向上的环境图像。
本申请实施例还提供一种环境信息采集方法,适用于带有结构光模组的自主移动设备,所述方法包括:在所述自主移动设备行进过程中确定目标方向;提高所述结构光模组中与目标方向对应一侧的线激光传感器的发射帧率;以及控制所述结构光模组按照提高后的发射帧率采集所述目标方向上的环境图像。
本申请实施例还提供一种存储有计算机指令的计算机可读存储介质,当所述计算机指令被处理器执行时,致使所述处理器执行包括以下的动作:在自主移动设备行进过程中确定目标方向,所述自主移动设备设有结构光模组;提高所述结构光模组中与目标方向对应一侧的线激光传感器的发射帧率;以及控制所述结构光模组按照提高后的发射帧率采集所述目标方向上的环境图像。
在本申请实施例中,自主移动设备采用结构光模组采集周围环境信息,通过在行进过程中提高结构光模组中与目标方向对应一侧的线激光传感器的发射帧率,基于提高后的发射帧率采集目标方向上的环境图像,可以在目标方向上获得更丰富的环境信息,有利于自主移动设备更好地在目标方向上进行避障。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1a为本申请示例性实施提供的一种自主移动设备的结构示意图;
图1b为本申请示例性实施提供的一种结构光模组的结构示意图;
图2a为本申请示例性实施提供的一种自主移动设备的作业模式示意图;
图2b为本申请示例性实施提供的另一种自主移动设备的作业模式示意图;
图2c为本申请示例性实施提供的又一种自主移动设备的作业模式示意图;
图2d为本申请示例性实施提供的再一种自主移动设备的作业模式示意图;
图2e为本申请示例性实施提供的再一种自主移动设备的作业模式示意图;
图3a为本申请示例性实施提供的一种环境信息采集方法流程图;
图3b为本申请示例性实施提供的另一种环境信息采集方法流程图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
针对现有技术中自主移动设备存在采集环境信息不够丰富的问题,在本申请实施例中,自主移动设备采用结构光模组采集周围环境信息,并且通过在行进过程中提高结构光模组中与目标方向对应一侧的线激光传感器的发射帧率,基于提高后的发射帧率采集目标方向上的环境图像,可以在目标方向上获得更丰富的环境信息,有利于自主移动设备更好地在目标方向上进行避障。
下面结合附图,对本申请实施例的自主移动设备进行详细说明。
图1a是本申请实施例提供的一种自主移动设备100的结构示意图。本申请实施例提供的自移动设备100可以是任何能够在其所在环境中自主地进行移动的机械设备,例如,可以是机器人、净化器、无人机、无人驾驶车等。其中,机器人可以包括扫地机器人、擦玻璃机器人、家庭陪护机器人、迎宾机器人、自主服务机器人等。
如图1a所示,自主移动设备100包括:设备本体110,设备本体110上设有处理器10和存储计算机指令的存储器20。其中,处理器10和存储器20可以是一个或多个,并且可设置于设备本体110内部,也可以设置于设备本体110的表面。
设备本体110是自主移动设备100的执行机构,可以在确定的环境中执行处理器10指定的操作。其中,设备本体110一定程度上体现了自主移动设备100的外观形态。在本实施例中,并不限定自主移动设备100的外观形态。当然,根据自主移动设备100实现形态的不同,自主移动设备100的形状也会有所不同。以自主移动设备100的外轮廓形状为例,自主移动设备100的外轮廓形状可以是不规则形状,也可以是一些规则形状。例如,自主移动设备100的外轮廓形状可以是圆形、椭圆形、方形、三角形、水滴形或D形等规则形状。规则形状之外的称为不规则形状,例如人形机器人的外轮廓、无人驾驶车的外轮廓以及无人机的外轮廓等属于不规则形状。
存储器20,主要用于存储计算机指令,这些计算机指令可被处理器10执行,致使处理器10控制自主移动设备100实现相应功能、完成相应动作或任务。除了存储计算机指令之外,存储器20还可被配置为存储其它各种数据以支持在自主移动设备100上的操作。这些数据的示例包括用于在自主移动设备100上操作的任何应用程序或方法的指令,自主移动设备100所处环境对应的环境地图。其中,环境地图可以是预先存储的整个环境对应的一幅或多幅地图,或者也可以是之前正在构建的部分地图。
存储器20,可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
在本申请实施例中,并不限定处理器10的实现形态,例如可以是但不限于CPU、GPU或MCU等。处理器10,可以看作是自主移动设备100的控制***,可用于执行存储器20中存储的计算机指令,以控制自主移动设备100实现相应功能、完成相应动作或任务。值得说明的是,根据自主移动设备100实现形态以及所处于场景的不同,其所需实现的功能、完成的动作或任务会有所不同;相应地,存储器20中存储的计算机指令也会有所不同,而处理器10执行不同计算机指令可控制自主移动设备100实现不同的功能、完成不同的动作或任务。
在一些可选实施例中,如图1a所示,自主移动设备100还可包括:通信组件40、电源组件50以及驱动组件60等其它组件。图1a中仅示意性给出部分组件,并不意味着自主移动设备100只包括图1a所示组件。其中,驱动组件50可以包括驱动轮、驱动电机、万向轮等。进一步可选地,针对不同的应用需求,自主移动设备100还可以包括显示器和音频组件等其他组件。若自主移动设备100是扫地机器人,则自主移动设备100还可以包括集尘桶和地刷组件等,在此不做过多说明。
在本实施例中,自主移动设备100可自主移动,并可在处理器10的控制下在自主移动的基础上完成一定作业任务。例如,在超市、商场等购物场景中,购物车机器人需要跟随顾客移动,以容纳顾客选购的商品。又例如,在一些公司的仓储分拣场景中,分拣机器人需要跟随分拣人员移动到货架拣货区,然后开始分拣订单货物。又例如,在家庭清扫场景中,扫地机器人需要清扫客厅、卧室、厨房等区域。在这些应用场景中,自主移动设备100需要依赖周围环境信息进行自主移动。
进一步,如图1a所示,设备本体110上还设有结构光模组30,用于采集自主移动设备100周围的环境信息。其中,结构光模组30包括:摄像头模组31和分布于摄像头模组31两侧的线激光传感器32。
在结构光模组30中,线激光传感器32用于向外发射线激光;摄像头模组31负责采集线激光探测到的环境图像。其中,线激光传感器32发射出去的线激光位于摄像头模组31的视场范围内,线激光可帮助探测摄像头模组视场角内的物体的轮廓、高度和/或宽度等信息,摄像头模组31可采集由线激光探测到的环境图像。在本申请各实施例中,摄像头模组31采集到的环境图像包含线激光遇到地面或者物体表面后形成的激光线段。
其中,摄像头模组31的视场角包括垂直视场角和水平视场角。在本实施例中,并不限定摄像头模组31的视场角,可以根据应用需求来选择具有合适视场角的摄像头模组31。只要线激光传感器32发射出去的线激光位于摄像头模组31的视场范围内即可,至于线激光在物体表面形成的激光线段与水平面之间的角度不做限定,例如可以平行或垂直于水平面,也可以与水平面之间成任意角度,具体可根据应用需求而定。
在本申请实施例中,并不限定线激光传感器32的实现形态,可以是任何能够发射线激光的设备/产品形态。例如,线激光传感器32可以是但不限于:激光管。同理。也不限定摄像头模组31的实现形态。凡是可以采集环境图像的视觉类设备均适用于本申请实施例。例如,摄像头模组31可以包括但不限于:单目摄像头、双目摄像头等。
在本申请实施例中,也不限定线激光传感器31发射线激光的波长,波长不同,线激光的颜色会不同,例如可以是红色激光、紫色激光等。相应地,摄像头模组30可以采用能够采集线激光传感器32发射出的线激光的摄像头模组31。与线激光传感器32发射线激光的波长适配,例如,摄像头模组31还可以是红外摄像头、紫外线摄像头、星光摄像机、高清摄像头等。
在本申请实施例中,并不限定线激光传感器32的数量,例如可以是两个或者两个以上。对于分布于摄像头模组31每一侧的线激光传感器32的数量也不做限定,摄像头模组31每一侧的线激光传感器32的数量可以是一个或多个;另外,两侧的线激光传感器32的数量可以相同,也可以不相同。在图1a中,以摄像头模组31两侧各设置一个线激光传感器32为例进行图示,但并不限于此。又例如,摄像头模组31的左右侧均设置2个、3个或5个线激光传感器32等。当然,在本申请实施例中,对线激光传感器32的安装位置、安装角度等,以及线激光传感器32与摄像头模组31之间的安装位置关系等均不做限定。
另外,在本申请实施例中,也不限定线激光传感器32在摄像头模组31两侧的分布形态,例如可以是均匀分布,也可以是非均匀分布,可以是对称分布,也可以是非对称分布。其中,均匀分布和非均匀分布可以是指分布于摄像头模组31同一侧的线激光传感器32之间可以是均匀分布或非均匀分布,当然,也可以理解为:分布于摄像头模组31两侧的线激光传感器32从整体上来看是均匀分布或非均匀分布。对于对称分布和非对称分布,主要是指分布于摄像头模组31两侧的线激光传感器32从整体上看是对称分布或非对称分布。这里的对称既包括数量上的对等,也包括安装位置上的对称。例如,在图1a和1b所示的结构光模组30中,线激光传感器32的数量为两个,且两个线激光传感器32对称分布于摄像头模组31两侧。
在本申请实施例中,也不限定线激光传感器32与摄像头模组31之间的安装位置关系,凡是线激光传感器32分布在摄像头模组31两侧的安装位置关系均适用于本申请实施例。其中,线激光传感器32与摄像头模组31之间的安装位置关系,与结构光模组30的应用场景相关。可根据结构光模组30的应用场景,灵活确定线激光传感器32与摄像头模组31之间的安装位置关系。
进一步可选地,在图1b所示结构光模组30中,结构光模组30还可以包括主控单元33,主控单元33可控制摄像头模组31和线激光传感器32进行工作;可选地,主控单元33一方面对摄像头模组31进行曝光控制,另一方面可控制线激光传感器32在摄像头模组31曝光期间对外发射线激光,以便于摄像头模组31采集由线激光探测到的环境图像。进一步,如图1b所示,结构光模组30还可以包括激光驱动电路34。激光驱动电路34与线激光传感器32电连接,主要用于放大发给线激光传感器32的控制信号。在图1b所示结构光模组30中,并不限定激光驱动电路34的数量,不同的线激光传感器32可以共用一个激光驱动电路34,也可以是一个线激光传感器32对应一个激光驱动电路34。在图1b所示结构光模组30中,一个线激光传感器32对应一个激光驱动电路34,且激光驱动电路34与线激光传感器32电连接。激光驱动电路34主要用于放大主控单元33发给线激光传感器32的控制信号,并将放大后的控制信号提供给线激光传感器32,以控制线激光传感器32工作。在本申请实施例中,并不对激光驱动电路34的电路结构进行限定,凡是可以放大信号并可将放大后的信号给到线激光传感器32的电路结构均适用于本申请实施例。
需要说明的是,结构光模组30可以不包含控制单元33,在这种情况下,处理器10可以直接与摄像头模组31和线激光传感器32电气连接,并直接控制摄像头模组31和线激光传感器32工作。或者,在结构光模组30包含控制单元33的情况下,控制单元33与摄像头模组31和线激光传感器32电气连接,并与处理器10电气连接;处理器10可通过结构光模组30中的控制单元33间接控制摄像头模组31和线激光传感器32工作。无论是直接控制摄像头模组31和线激光传感器32工作,还是间接控制摄像头模组31和线激光传感器32工作,在本申请下述实施例中,均简单描述为:处理器10一方面控制摄像头模组31进行曝光控制,另一方面控制线激光传感器32在摄像头模组31曝光期间对外发射线激光。
在一可选实施例中,处理器10一方面对摄像头模组31进行曝光控制,另一方面控制线激光传感器32在摄像头模组31曝光期间对外发射线激光,以便于摄像头模组31采集由线激光探测到的环境图像。其中,处理器10可以控制位于摄像头模组31两侧的线激光传感器32交替工作。可选地,处理器10可以控制两侧的线激光传感器32以相同的发射帧率交替工作。例如,可以控制两侧的线激光传感器32每隔固定时间交替发射1次线激光。又例如,也可以控制一侧的线激光传感器32以固定时间间隔发射若干次线激光后,再控制另一侧的线激光传感器32以固定时间间隔发射若干次线激光。除上述方式之外,处理器10也可以控制两侧的线激光传感器32以不同的发射帧率交替工作,在此不做限定。
考虑到自主移动设备100在行进过程中,可能需要重点关注某个方向,为便于描述将需要重点关注的方向称为目标方向。其中,目标方向可以是自主移动设备100行进过程中前方任何需要重点关注的方向,例如可以是行进方向上的左侧或右侧。因为需要重点关注目标方向,所以需要在目标方向上采集更为丰富的环境图像。基于此,处理器10还用于执行存储器20中存储的计算机指令,以用于:在自主移动设备100行进过程中确定目标方向,提高结构光模组30中与目标方向对应一侧的线激光传感器32的发射帧率,并控制结构光模组30按照提高后的发射帧率采集目标方向上的环境图像。例如,假设原本需要控制结构光模组30中两侧的线激光传感器32分别以60Hz的帧率发射线激光,当确定需要重点关注某一目标方向时,处理器10可将结构光模组30中与目标方向对应一侧的线激光传感器32的发射帧率提高到100Hz,这样与目标方向对应一侧的线激光传感器32会以提高后的发射帧率对外发射线激光,相应地,摄像头模组31会在该目标方向上采集更多张环境图像,进而在目标方向上采集更为丰富的环境信息。
进一步地,对于与非目标方向对应一侧的线激光传感器32的发射帧率不做限定,处理器10可以根据处理能力适当调整。若处理器10的处理能力足够强大,可在提高与目标方向对应一侧线激光传感器32的发射帧率的情况下,控制另一侧线激光传感器32的发射帧率保持不变,例如继续以60Hz的帧率发射线激光;或者,在提高结构光模组30中与目标方向对应一侧线激光传感器32的发射帧率的情况下,适当提高另一侧线激光传感器32的发射帧率,使得线激光传感器32在整个视场范围内都能采集到更为丰富的环境图像。在本实施例中,对于另一侧线激光传感器32的发射帧率提高多少不做限定,例如另一侧线激光传感器32的发射帧率的提高幅度可以小于或等于与目标方向对应一侧线激光传感器32的发射帧率的提高幅度,例如可提高另一侧线激光传感器32的发射帧率到70Hz、80Hz、90Hz、100Hz等。
进一步地,若处理器10的处理能力有限,在提高结构光模组30中与目标方向对应一侧线激光传感器32的发射帧率的情况下,可以降低与另一方向对应一侧的线激光传感器32的发射帧率,以此来平衡处理器10的处理压力。例如,处理器10一方面可提高结构光模组30中与目标方向对应一侧的线激光传感器32的发射帧率,例如从60Hz提高到100Hz,在目标方向上单位时间内会采集到100张环境图像,相比于原本60Hz的发射帧率会多采集40张环境图像;另一方面,可降低结构光模组30中另一侧线激光传感器32的发射帧率,例如从60Hz降低到30Hz,则在另一方向上采集到的环境图像为30张,相比于原本60Hz的发射帧率会少采集30张环境图像;这对处理器10来说,其在单位时间内总共处理的环境图像的数量为100+30=130张,与原本需要处理的60+60=120张相比,只需多处理10张,可在不过多消耗额处理器资源的情况下,提高在目标方向上采集到的环境信息的丰富度。
在此说明,在提高与目标方向对应一侧线激光传感器32的发射帧率,并降低另一侧线激光传感器32的发射帧率的实施例中,并不限定两侧线激光传感器32的总发射帧率的变化情况。例如,若处理器10的处理能力足够强大,可以提高两侧线激光传感器32的总发射帧率,提高与目标方向对应一侧线激光传感器32的发射帧率,并降低另一侧线激光传感器32的发射帧率,换句话说,一侧提高后的发射帧率与另一侧降低后的发射帧率之和,大于两侧原本的发射帧率之和。又例如,若处理器10的处理能力有限,可以降低两侧线激光传感器32的总发射帧率,提高与目标方向对应一侧线激光传感器32的发射帧率,并降低另一侧线激光传感器32的发射帧率,换句话说,一侧提高后的发射帧率与另一侧降低后的发射帧率之和,小于两侧原本的发射帧率之和。再例如,处理器10还可以提高与目标方向对应一侧的线激光传感器32的发射帧率,并降低另一侧线激光传感器32的发射帧率,以控制两侧线激光传感器32的总发射帧率保持不变,这样可以在不增加处理器10处理负担的情况下,尽量在目标方向上可获得更丰富的环境信息。
进一步可选地,处理器10在调整结构光模组30两侧线激光传感器32的发射帧率时,可以均匀地提高与目标方向对应一侧的线激光传感器32的发射帧率,并均匀地降低另一侧线激光传感器32的发射帧率;或者,也可以非均匀地提高与目标方向对应一侧的线激光传感器32的发射帧率,并非均匀地降低另一侧线激光传感器32的发射帧率。例如,自主移动设备100可以根据具体的环境情况选择合适的调整方式,当目标方向上环境信息变化不明显时,可均匀提高结构光模组30中与目标方向对应一侧的线激光传感器32的发射帧率,均匀降低另一侧线激光传感器32的发射帧率;当目标方向上环境信息变化较明显时,可非均匀提高结构光模组30中与目标方向对应一侧的线激光传感器32的发射帧率,非均匀降低另一侧线激光传感器32的发射帧率;也可以在自主移动设备100执行作业任务之前,预先设定线激光传感器32发射帧率的调整方式,具体的控制方式,在此不做限定。
在本申请实施例中,处理器10在控制结构光模组30采集环境图像时,可根据提高后的发射帧率和降低后的发射帧率分别控制与目标方向对应一侧的线激光传感器32和另一侧的线激光传感器32交替发射线激光;以及在发射线激光期间,对摄像头模组31进行曝光控制,以利用摄像头模组31采集相应方向上的环境图像。当激光传感器32发射的线激光照射到地面或物体表面时将在地面或物体表面形成激光线段,其中,激光线段上包括多个像素点,对应地面或物体表面上的多个位置点;进而,摄像头模组31在曝光时可捕捉多条激光线段形成的激光线段图像,自主移动设备100根据采集到的环境图像中激光线段上的多个像素点所对应地面或物体表面的位置点,识别出周围环境中的障碍物信息,例如障碍物位置、轮廓等。
本申请实施例并不限定处理器10对自主移动设备100进行功能控制的具体实施方式。例如,处理器10可以根据环境图像控制自主移动设备100实现各种基于环境感知的功能。例如,可以实现视觉算法上的物体识别、跟踪与分类等功能;另外,基于线激光检测精度较高的优势,还可以实现实时性强、鲁棒性强、精度高的定位和构建地图等功能,进而还可以基于构建出的高精度的环境地图对运动规划、路径导航、定位、避障等提供全方位的支持。当然,处理器10还可以根据环境图像确定目标方向,根据对目标方向上的识别信息对自主移动设备100进行行进控制,例如控制自主移动设备100执行继续前进、后退、拐弯等动作等。
在本申请实施例中,并不限定确定目标方向的实施方式,根据自主移动设备100的工作模式、所处的应用环境以及行进轨迹等因素的不同,自主移动设备100在行进过程中需要重点关注的目标方向会有所不同,因此可以结合自主移动设备100的工作模式、所处的应用环境以及行进轨迹等因素来确定目标方向。下面对确定目标方向的实施方式进行示例性说明。在下面实施例中,以结构光模组30安装于自主移动设备100的前端为例,在该安装方式下,结构光模组30中摄像头模组31的朝向与自主移动设备100行进时的前方方向一致,位于摄像头模组31左侧的线激光传感器32负责采集自主移动设备100前方左侧的环境图像;位于摄像头模组右侧的线激光传感器32负责采集自主移动设备100前方右侧的环境图像。在实际应用中,并不限于以下几种方式:
方式A1:若自主移动设备100工作在沿边模式下,处理器10将自主移动设备100靠近所沿边界一侧的方向确定为目标方向。所谓沿边模式是指自主移动设备100某一侧先沿着边界行进,再逐步遍历的作业模式。以自主移动设备100的前进方向为正向,若自主移动设备100在行进作业时,其左侧沿边界行进称为左沿边模式;若自主移动设备100在行进作业时,其右侧沿边界行进,称为右沿边模式。如图2a所示,自主移动设备100工作在右沿边模式下,在朝向方向F1行进过程中自主移动设备100的右侧靠近边界S,处理器10将自主移动设备100靠近边界S的右侧作为目标方向,并提高右侧线激光传感器32的发射帧率,降低左侧线激光传感器32的发射帧率;如图2a所示,自主移动设备100右侧的线激光密度大于左侧的线激光密度。
进一步,如图2b所示,当自主移动设备100掉头朝反方向F2行进时,其左侧靠近边界S,处理器10将自主移动设备100靠近边界S的左侧作为目标方向,并提高左侧线激光传感器32的发射帧率,降低右侧线激光传感器32的发射帧率;如图2b所示,自主移动设备100左侧的线激光密度大于右侧的线激光密度。进一步,如图2b所示,在朝向方向F2行进过程中,自主移动设备100提高左侧线激光发射器32的发射帧率,可以弥补之前朝向方向F1行进过程中左侧线激光发射器32发射帧率较低的降低缺陷,如此遍历下去,可保证整个作业区域都能以较高的发射帧率被探测,使得自主移动设备100在整个作业区域内都能采集到更为丰富的环境信息。
进一步,处理器10可均匀提高结构光模组30中与目标方向对应一侧的线激光传感器32的发射帧率,均匀降低另一侧的线激光传感器32的发射帧率;也可以非均匀提高结构光模组30中与目标方向对应一侧的线激光传感器32的发射帧率,非均匀降低另一侧的线激光传感器32的发射帧率,在此不做限定。在图2a-图2b中,以均匀提高与目标方向对应一侧的线激光传感器32的发射帧率和均匀降低另一侧的线激光传感器32的发射帧率为例进行图示。
需要说明的是,随着自主移动设备100不断行进,会逐渐远离边界S;进一步,在行进过程中,还可以探测与自主移动设备100更为接近的新边界,并在探测到与自主移动设备100更为接近的新边界的情况下,可以将靠近新边界一侧的方向确定为目标方向。在本实施例中,并不限定探测新边界的触发条件,可灵活设定。例如,在自主移动设备100行进过程中,可以基于结构光模组或红外传感器、激光传感器、摄像头等其他传感器测量自主移动设备100与边界S之间的距离;当自主移动设备100与边界S之间的距离大于设定距离阈值时,开始探测与自主移动设备100更为接近的新边界,并在探测到新边界时,将靠近新边界一侧的方向确定为目标方向。又例如,在自主移动设备100行进过程中,可以基于结构光模组或红外传感器、激光传感器、摄像头等其他传感器检测作业区域的中心线或指定标记物;当检测到作业区域的中心线或指定标记物时,开始探测与自主移动设备100更为接近的新边界,并在探测到新边界时,将靠近新边界一侧的方向确定为目标方向。又例如,还可以设定自主移动设备100来回行进的次数阈值,当自主移动设备100来回行进的次数达到设定的次数阈值时,开始探测与自主移动设备100更为接近的新边界,并在探测到新边界时,将靠近新边界一侧的方向确定为目标方向。以图2a所示为例,将自主移动设备100沿方向F1行进到相应边界后掉头沿方向F2行进值相应边界的过程视为来回行进一次。
方式A2:在自主移动设备100行进过程中,根据结构光模组30采集到的环境图像或者根据其它传感器采集到的环境信息可以探测周围环境中是否存在障碍物;若在自主移动设备100行进过程中探测到障碍物,则处理器10将障碍物所在方向确定为目标方向。如图2c所示,在朝向方向F1行进过程中,自主移动设备100右侧方向上存在障碍物,当处理器10根据结构光模组30采集到的环境图像探测到右侧方向上的障碍物后,将确定自主移动设备100的右侧方向为目标方向,进而可提高与目标方向对应一侧的线激光传感器32(即右侧线激光发射器32)的发射帧率,降低另一侧的线激光传感器32(即左侧线激光发射器32)的发射帧率;如图2c所示,自主移动设备100右侧的线激光密度大于左侧的线激光密度。进一步,处理器10可均匀提高结构光模组30中与目标方向对应一侧的线激光传感器32的发射帧率,均匀降低另一侧的线激光传感器32的发射帧率;也可以非均匀提高结构光模组30中与目标方向对应一侧的线激光传感器32的发射帧率,非均匀降低另一侧的线激光传感器32的发射帧率,在此不做限定。在图2c中,自主移动设备100在朝向方向F1行进过程中遇到障碍物时,处理器10以非均匀方式调整结构光模组30两侧线激光传感器32的发射帧率。其中,方式A2的实施可不受自主移动设备100的工作方式的限定,即自主移动设备100可工作在任何模式下。
方式A3:在自主移动设备100行进过程中,可结合已有的环境地图以及自主移动设备100需要去往的目标位置规划自主移动设备100的行进轨迹(或行进路径),进而控制自主移动设备100沿着所规划的行进轨迹逐步行进。其中,自主移动设备100的行进轨迹可反应自主移动设备100下一步需要重点关注的方向。基于此,处理器10可以将行进轨迹所在的方向确定为目标方向;进而可提高与目标方向对应一侧的线激光传感器32的发射帧率,降低另一侧的线激光传感器32的发射帧率。进一步,处理器10还可以根据结构光模组30探测到的环境图像,识别行进轨迹上存在的障碍物信息,记录障碍物信息;进而根据所探测到的障碍物信息更新已有环境地图,以便基于更新后的环境地图为后续的作业进行规划路径、导航和避障。其中,方式A3的实施可不受自主移动设备100的工作方式的限制,即自主移动设备100可工作在任何模式下。
在此说明,自主移动设备100在行进过程中除了通过上述任一种方式确定目标方向之外,还可以将上面两种或多种方式相结合,以组合方式来确定目标方向。在下面方式A4中,以方式A1和方式A2组合使用来确定目标方向的过程进行详细说明。
方式A4:如图2d所示,自主移动设备100工作在右沿边模式下,在朝向方向F1行进过程中自主移动设备100的右侧靠近边界S,处理器10将自主移动设备100靠近边界S的右侧作为目标方向,并提高右侧线激光传感器32的发射帧率,降低左侧线激光传感器32的发射帧率;如图2a所示,此时自主移动设备100右侧的线激光密度大于左侧的线激光密度。
进一步,在朝向方向F1行进过程中,自主移动设备100左侧方向上存在障碍物,当处理器10根据结构光模组30采集到的环境图像探测到左侧方向上的障碍物后,为了采集更丰富的障碍物信息,处理器10将确定自主移动设备100的左侧方向为目标方向,进而可提高与目标方向对应一侧的线激光传感器32(即左侧线激光发射器32)的发射帧率,降低另一侧的线激光传感器32(即右侧线激光发射器32)的发射帧率;如图2d所示,此时自主移动设备100左侧的线激光密度大于右侧的线激光密度。
进一步,当自主移动设备100朝向方向F1行进且经过障碍物后,处理器10根据结构光模组30采集到的环境图像探测到左边不再存在障碍物,且其右侧靠近边界S。因此,处理器10再次将自主移动设备100靠近边界S的右侧作为目标方向,并提高右侧线激光传感器32的发射帧率,降低左侧线激光传感器32的发射帧率;如图2d所示,此时自主移动设备100右侧的线激光密度大于左侧的线激光密度。对于处理器10调整结构光模组30两侧的线激光传感器32的发射帧率的方式不做限定,在图2d中,以均匀提高与目标方向对应一侧的线激光传感器32的发射帧率和均匀降低另一侧的线激光传感器32的发射帧率为例进行图示。
在本申请实施例中,还可以通过下面方式A5中以方式A2和方式A3组合使用来确定目标方向。
方式A5:如图2e所示,在自主移动设备100根据已有的环境地图规划自主移动设备100的行进轨迹,假设需要朝向方向F3行进,则在没有遇到障碍物的情况下,可将行进轨迹上的方向F3作为目标方向,方向F3是指自主移动设备100左侧的方向,因此可降低右侧线激光传感器32的发射帧率,提高左侧线激光传感器32的发射帧率;如图2e所示,左侧的线激光密度大于右侧的线激光密度。在朝向方向F3行进过程中,自主移动设备100右侧方向上存在障碍物,当处理器10根据结构光模组30采集到的环境图像探测到右侧方向上的障碍物后,将确定自主移动设备100的右侧方向为目标方向,进而可提高与目标方向对应一侧的线激光传感器32(即右侧线激光发射器32)的发射帧率,降低另一侧的线激光传感器32(即左侧线激光发射器32)的发射帧率;如图2e所示,此时右侧的线激光密度大于左侧的线激光密度。进一步,当自主移动设备100朝向方向F3行进经过障碍物后,处理器10根据结构光模组30采集到的环境图像探测到右边不存在障碍物,则处理器10再次将方向F3作为目标方向,并降低右侧线激光传感器32的发射帧率,提高左侧线激光传感器32的发射帧率;如图2e所示,经过障碍物之后,左侧的线激光密度大于右侧的线激光密度。对于处理器10调整结构光模组30两侧的线激光传感器32的发射帧率的方式不做限定,在图2e中,以均匀提高与目标方向对应一侧的线激光传感器32的发射帧率和均匀降低另一侧的线激光传感器32的发射帧率为例进行图示。
在本申请实施例中,自主移动设备采用结构光模组采集周围环境信息,通过在行进过程中提高结构光模组中与目标方向对应一侧的线激光传感器的发射帧率,基于提高后的发射帧率采集目标方向上的环境图像,可以在目标方向上获得更丰富的环境信息,有利于自主移动设备更好地在目标方向上进行避障;进一步,还可以降低结构光模组中另一方向对应一侧的线激光传感器的发射帧率,以此来平衡处理器的处理压力,保证自主移动设备的作业安全。
本申请实施例还提供了一种环境信息采集方法,该方法适用于带有结构光模组的自主移动设备,图3a为本申请实施例提供的环境信息采集方法的流程图,如图3a所示,方法包括:
31a、在自主移动设备行进过程中确定目标方向。
32a、提高结构光模组中与目标方向对应一侧的线激光传感器的发射帧率,以及控制结构光模组按照提高后的发射帧率采集目标方向上的环境图像。
在本申请实施例中,自主移动设备在行进过程中可能需要重点关注某个方向,为便于描述将需要重点关注的方向称为目标方向。其中,目标方向可以是自主移动设备行进过程中前方任一方向,例如可以是行进方向上的左侧或右侧。为了在目标方向上采集更为丰富的环境图像,自主移动设备在行进过程中需要确定目标方向,并通过提高结构光模组中与目标方向对应一侧的线激光传感器的发射帧率,以及控制结构光模组按照提高后的发射帧率采集目标方向上的环境图像,可以获得更为丰富的环境信息。例如,假设原本需要控制结构光模组中两侧的线激光传感器分别以60Hz的帧率发射线激光,当确定目标方向后,可将结构光模组中与目标方向对应一侧的线激光传感器的发射帧率提高到100Hz,这样与目标方向对应一侧的线激光传感器会以提高后的发射帧率对外发射线激光,相应地,自主移动设备可以在该目标方向上采集更多张环境图像,进而在目标方向上采集更为丰富的环境信息。
进一步地,本申请实施例还提供另一种环境信息采集方法,如图3b所示,方法包括:
31b、在自主移动设备行进过程中确定目标方向。
32b、提高结构光模组中与目标方向对应一侧的线激光传感器的发射帧率,以及控制结构光模组按照提高后的发射帧率采集目标方向上的环境图像。
33b、降低结构光模组中另一侧的线激光传感器的发射帧率,以及控制结构光模组按照降低后的发射帧率采集另一方向上的环境图像;其中,另一方向与另一侧的线激光传感器对应。
在本申请实施例中,考虑到自主移动设备的使用安全及对采集到的环境信息的处理能力,在提高与目标方向对应一侧的线激光传感器的发射帧率的情况下,可降低结构光模组中另一侧的线激光传感器的发射帧率,以平衡自主移动设备处理环境信息的压力。进一步,通过控制结构光模组按照降低后的发射帧率采集另一方向上的环境图像,使得自主移动设备在环境信息处理能力的范围内,在目标方向上获得更为丰富的环境图像。关于提高与目标方向对应一侧的线激光传感器的发射帧率的具体实施方式可参见上述实施例,在此不再赘述。当然,在自主移动设备的环境信息处理能力足够强大的情况下,也可以保持结构光模组中另一侧的线激光传感器的发射帧率不变,或者,提高结构光模组中另一侧的线激光传感器的发射帧率,在此不做限定。
在一可选实施例中,在降低结构光模组中另一侧的线激光传感器的发射帧率时:提高与目标方向对应一侧的线激光传感器的发射帧率,并降低另一侧线激光传感器的发射帧率,以控制两侧线激光传感器的总发射帧率保持不变,进而保证自主移动设备的安全。其中,两侧线激光传感器的总发射帧率不变是指,与目标方向对应一侧线激光传感器提高后的发射帧率与另一侧降低后的发射帧率之和,等于两侧原本发射帧率之和。当然,在自主移动设备的环境信息处理能力足够强大的情况下,也可以提高两侧线激光传感器的总发射帧率,即与目标方向对应一侧线激光传感器提高后的发射帧率与另一侧降低后的发射帧率之和,大于两侧原本发射帧率之和。或者,在自主移动设备的环境信息处理能力有限的情况下,也可以降低两侧线激光传感器的总发射帧率,即与目标方向对应一侧线激光传感器提高后的发射帧率与另一侧降低后的发射帧率之和,小于两侧原本发射帧率之和,在此不做限定。在上述实施例中,无论以何种方式调整结构光模组两侧线激光传感器的发射帧率,都可以使自主移动设备在目标方向上获得更丰富的环境信息。
在一些可选实施例中,在调整结构光模组两侧线激光传感器的发射帧率时,可以均匀提高结构光模组中与目标方向对应一侧的线激光传感器的发射帧率,均匀降低另一侧线激光传感器的发射帧率。或者,非均匀提高结构光模组中与目标方向对应一侧的线激光传感器的发射帧率,非均匀降低另一侧线激光传感器的发射帧率,不做限定。自主移动设备可以根据具体的环境情况选择合适的调整方式,当目标方向上环境信息变化不明显时,可均匀提高结构光模组中与目标方向对应一侧的线激光传感器的发射帧率,均匀降低另一侧线激光传感器的发射帧率;当目标方向上环境信息变化较明显时,可非均匀提高结构光模组中与目标方向对应一侧的线激光传感器的发射帧率,非均匀降低另一侧线激光传感器的发射帧率;也可以在自主移动设备执行作业任务之前,预先设定线激光传感器发射帧率的调整方式,具体的控制方式,可参见上述实施例,在此不再赘述。
在本申请实施例中,结构光模组中还包含摄像头模组,当自主移动设备控制结构光模组调整两侧的线激光传感器的发射帧率后,可根据提高后的发射帧率和降低后的发射帧率分别控制与目标方向对应一侧的线激光传感器和另一侧的线激光传感器交替发射线激光,以及在发射线激光期间,对摄像头模组进行曝光控制,以利用摄像头模块采集相应方向上的环境图像。
具体地,当激光传感器发射的线激光照射到地面或物体表面时将在地面或物体表面形成激光线段,其中,激光线段上包括多个像素点,对应地面或物体表面上的多个位置点;进而,摄像头模组在曝光时可捕捉多条激光线段形成的激光线段图像,自主移动设备根据采集到的环境图像中激光线段上的多个像素点所对应地面或物体表面的位置点,识别出周围环境中的障碍物信息,例如障碍物位置、轮廓等。
在本申请实施例中,并不限定自主移动设备确定目标方向的实施方式,根据自主移动设备的工作模式、所处的应用环境以及行进轨迹等因素的不同,自主移动设备在行进过程中需要重点关注的目标方向会有所不同,因此可以结合自主移动设备的工作模式、所处的应用环境以及行进轨迹等因素来确定目标方向。
在一可选实施例中,若自主移动设备工作在沿边模式,将自主移动设备靠近所沿边界一侧的方向确定为目标方向。所谓沿边模式是指自主移动设备某一侧先沿着边界行进,再逐步遍历的作业模式。以自主移动设备的前进方向为正向,若自主移动设备在行进作业时,其左侧沿边界行进称为左沿边模式;若自主移动设备在行进作业时,其右侧沿边界行进,称为右沿边模式。例如,当自主移动设备工作在左沿边模式下,则确定自主移动设备的左侧为目标方向,并提高结构光模组中与目标方向对应一侧的线激光传感器的发射帧率,降低另一侧线激光传感器的发射帧率,使得在目标方向上可以采集更丰富的环境图像。对于自主移动设备调整结构光模组两侧线激光传感器的发射帧率的方式不做限定,可以均匀调整,也可以分均匀调整。
在另一可选实施例中,若在自主移动设备行进过程中探测到障碍物,将障碍物所在方向确定为目标方向。例如,以自主移动设备的前进方向为正向,若自主移动设备在行进作业时,若探测到期左侧存在障碍物,则自主移动设备确定其左侧为目标方向,并提高结构光模组中与目标方向对应一侧的线激光传感器的发射帧率,降低另一侧线激光传感器的发射帧率,使得在目标方向上可以采集更丰富的环境图像。同样地,对于自主移动设备调整结构光模组两侧线激光传感器的发射帧率的方式不做限定,可以均匀调整,也可以分均匀调整。
在另一可选实施例中,自主移动设备在行进过程中,可结合已有的环境地图以及自主移动设备需要去往的目标位置规划自主移动设备的行进轨迹(或行进路径),该行进轨迹所在的方向确定即为目标方向,进而可控制自主移动设备沿着所规划的行进轨迹逐步行进,提高与目标方向对应一侧的线激光传感器的发射帧率,降低另一侧的线激光传感器的发射帧率。同样地,对于自主移动设备调整结构光模组两侧线激光传感器的发射帧率的方式不做限定,可以均匀调整,也可以分均匀调整。进一步,自主移动设备可根据结构光模组探测到的环境图像,识别行进轨迹上存在的障碍物信息,记录障碍物信息;进而根据所探测到的障碍物信息更新已有环境地图,以便基于更新后的环境地图为后续的作业进行规划路径、导航和避障。
在本申请实施例中,自主移动设备在行进过程中,并不限于上述几种确定目标方向的方式,也可以通过将上述一种或多种方式相结合来确定目标方向,具体实施过程可参见上设备实施例内容,在此不再赘述。
在本申请实施例中,自主移动设备通过结构光模组采集周围环境信息,并在行进过程中提高结构光模组中与目标方向对应一侧的线激光传感器的发射帧率,基于提高后的发射帧率采集目标方向上的环境图像,可以在目标方向上获得更丰富的环境信息,有利于自主移动设备更好地在目标方向上进行避障;进一步,还可以降低结构光模组中另一方向对应一侧的线激光传感器的发射帧率,以此来平衡处理器的处理压力,保证自主移动设备的作业安全。
需要说明的是,上述实施例所提供方法的各步骤的执行主体均可以是同一设备,或者,该方法也由不同设备作为执行主体。比如,步骤31a至步骤33a的执行主体可以为设备A;又比如,步骤31a和32a的执行主体可以为设备A,步骤33a的执行主体可以为设备B;等等。
另外,在上述实施例及附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如31b、32b等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
相应地,本申请实施例还提供了一种存储有计算机指令的计算机可读存储介质,当所述计算机指令被处理器执行时,致使所述处理器执行包括以下的动作:在自主移动设备行进过程中确定目标方向,自主移动设备设有结构光模组;提高结构光模组中与目标方向对应一侧的线激光传感器的发射帧率;以及控制结构光模组按照提高后的发射帧率采集目标方向上的环境图像。
除上述动作之外,处理器执行上述计算机可读存储介质中所存储的计算机指令还可实现其它动作,关于其它动作的详细描述可参见前述实施例,在此不再赘述。
需要说明的是,上述图1a中仅示意性给出部分组件,并不意味着自主移动设备只包括图1a所示组件,具体包含的组件内容可视自主移动设备的产品形态而定。上述图1a的通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络,如WiFi,2G、3G、4G/LTE、5G等移动通信网络,或它们的组合。在一个示例性实施例中,通信组件经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,通信组件还可以包括近场通信(NFC)模块,射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术等。
上述图1a中的显示器包括屏幕,其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。
上述图1a中的电源组件,为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理***,一个或多个电源,及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种自主移动设备,其特征在于,包括:设备本体,所述设备本体上设有处理器、存储计算机指令的存储器以及结构光模组;所述结构光模组包括:摄像头模组和分布于所述摄像头模组两侧的线激光传感器;
所述处理器,用于执行所述计算机指令,以用于:在所述自主移动设备行进过程中确定目标方向,所述目标方向是所述自主移动设备行进过程中前方任何需要重点关注的方向;
提高所述结构光模组中与目标方向对应一侧的线激光传感器的发射帧率,以及降低另一侧的线激光传感器的发射帧率,并控制所述结构光模组按照降低后的发射帧率采集另一方向上的环境图像,所述另一方向与另一侧的线激光传感器对应;
根据所述提高后的发射帧率和所述降低后的发射帧率分别控制与目标方向对应一侧的线激光传感器和另一侧的线激光传感器交替发射线激光,并在发射线激光期间,对所述摄像头模组进行曝光控制,以利用所述摄像头模组采集相应方向上的环境图像。
2.根据权利要求1所述的设备,其特征在于,所述处理器用于:提高与目标方向对应一侧的线激光传感器的发射帧率,并降低另一侧线激光传感器的发射帧率,以控制两侧线激光传感器的总发射帧率保持不变。
3.根据权利要求1所述的设备,其特征在于,所述处理器用于:均匀提高与目标方向对应一侧的线激光传感器的发射帧率,且均匀降低另一侧线激光传感器的发射帧率。
4.根据权利要求1-3任一项所述的设备,其特征在于,所述处理器在确定目标方向时,用于执行以下至少一种操作:
若所述自主移动设备工作在沿边模式,将所述自主移动设备靠近所沿边界一侧的方向确定为目标方向;
若在所述自主移动设备行进过程中探测到障碍物,将所述障碍物所在方向确定为目标方向;
规划所述自主移动设备的行进轨迹,将所述行进轨迹所在的方向确定为目标方向。
5.一种环境信息采集方法,适用于带有结构光模组的自主移动设备,其特征在于,所述结构光模组包括摄像头模组和分布于所述摄像头模组两侧的线激光传感器,所述方法包括:
在所述自主移动设备行进过程中确定目标方向,所述目标方向是所述自主移动设备行进过程中前方任何需要重点关注的方向;
提高所述结构光模组中与目标方向对应一侧的线激光传感器的发射帧率,以及降低另一侧的线激光传感器的发射帧率,并控制所述结构光模组按照降低后的发射帧率采集另一方向上的环境图像,所述另一方向与另一侧的线激光传感器对应;
根据所述提高后的发射帧率和所述降低后的发射帧率分别控制与目标方向对应一侧的线激光传感器和另一侧的线激光传感器交替发射线激光,并在发射线激光期间,对所述摄像头模组进行曝光控制,以利用所述摄像头模组采集相应方向上的环境图像。
6.根据权利要求5所述的方法,其特征在于,降低所述结构光模组中另一侧的线激光传感器的发射帧率,包括:
提高与目标方向对应一侧的线激光传感器的发射帧率,并降低另一侧线激光传感器的发射帧率,以控制两侧线激光传感器的总发射帧率保持不变。
7.根据权利要求5所述的方法,其特征在于,提高所述结构光模组中与目标方向对应一侧的线激光传感器的发射帧率,包括:均匀提高与目标方向对应一侧的线激光传感器的发射帧率;
相应地,降低所述结构光模组中另一侧的线激光传感器的发射帧率,包括:均匀降低另一侧线激光传感器的发射帧率。
8.根据权利要求5所述的方法,其特征在于,所述结构光模组包括摄像头模组,所述线激光传感器分布于所述摄像头模组两侧,控制所述结构光模组按照提高后的发射帧率采集所述目标方向上的环境图像以及按照降低后的发射帧率采集另一方向上的环境图像,包括:
根据所述提高后的发射帧率和所述降低后的发射帧率分别控制与目标方向对应一侧的线激光传感器和另一侧的线激光传感器交替发射线激光;以及
在发射线激光期间,对所述摄像头模组进行曝光控制,以利用所述摄像头模组采集相应方向上的环境图像。
9.根据权利要求5-8任一项所述的方法,其特征在于,在所述自主移动设备行进过程中确定目标方向,包括以下至少一种方式:
若所述自主移动设备工作在沿边模式,将所述自主移动设备靠近所沿边界一侧的方向确定为目标方向;
若在所述自主移动设备行进过程中探测到障碍物,将所述障碍物所在方向确定为目标方向;
规划所述自主移动设备的行进轨迹,将所述行进轨迹所在的方向确定为目标方向。
10.一种存储有计算机指令的计算机可读存储介质,其特征在于,当所述计算机指令被处理器执行时,致使所述处理器执行包括以下的动作:
在自主移动设备行进过程中确定目标方向,所述目标方向是所述自主移动设备行进过程中前方任何需要重点关注的方向,所述自主移动设备设有结构光模组,所述结构光模组包括摄像头模组和分布于所述摄像头模组两侧的线激光传感器;
提高所述结构光模组中与目标方向对应一侧的线激光传感器的发射帧率,以及降低另一侧的线激光传感器的发射帧率,并控制所述结构光模组按照降低后的发射帧率采集另一方向上的环境图像,所述另一方向与另一侧的线激光传感器对应;
根据所述提高后的发射帧率和所述降低后的发射帧率分别控制与目标方向对应一侧的线激光传感器和另一侧的线激光传感器交替发射线激光,并在发射线激光期间,对所述摄像头模组进行曝光控制,以利用所述摄像头模组采集相应方向上的环境图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010324130.6A CN113520228B (zh) | 2020-04-22 | 2020-04-22 | 环境信息采集方法、自主移动设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010324130.6A CN113520228B (zh) | 2020-04-22 | 2020-04-22 | 环境信息采集方法、自主移动设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113520228A CN113520228A (zh) | 2021-10-22 |
CN113520228B true CN113520228B (zh) | 2023-05-26 |
Family
ID=78094116
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010324130.6A Active CN113520228B (zh) | 2020-04-22 | 2020-04-22 | 环境信息采集方法、自主移动设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113520228B (zh) |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6012216B2 (ja) * | 2011-05-12 | 2016-10-25 | キヤノン株式会社 | 被検体情報取得装置及び被検体情報取得方法 |
CN107490784A (zh) * | 2017-09-01 | 2017-12-19 | 青岛海信电器股份有限公司 | 一种基于激光定位的室内定位方法及装置 |
CN108683902B (zh) * | 2018-03-31 | 2020-06-30 | 深圳奥比中光科技有限公司 | 目标图像获取***与方法 |
CN109193332B (zh) * | 2018-08-24 | 2019-08-16 | 武汉光迅科技股份有限公司 | 一种激光器输出频率的补偿方法以及相应的光模块 |
CN109597093A (zh) * | 2018-11-14 | 2019-04-09 | 深圳市速腾聚创科技有限公司 | 激光雷达的参数调整方法及装置 |
CN109743505B (zh) * | 2019-01-25 | 2021-01-19 | Oppo广东移动通信有限公司 | 基于激光测距的视频拍摄方法、装置及电子设备 |
CN110353583A (zh) * | 2019-08-21 | 2019-10-22 | 追创科技(苏州)有限公司 | 扫地机器人及扫地机器人的自动控制方法 |
CN110974083A (zh) * | 2019-12-30 | 2020-04-10 | 科沃斯机器人股份有限公司 | 结构光模组及自主移动设备 |
CN110960138A (zh) * | 2019-12-30 | 2020-04-07 | 科沃斯机器人股份有限公司 | 结构光模组及自主移动设备 |
CN111024615B (zh) * | 2020-01-08 | 2021-01-19 | 北京航空航天大学 | 一种可变帧率的激光吸收光谱层析成像*** |
-
2020
- 2020-04-22 CN CN202010324130.6A patent/CN113520228B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113520228A (zh) | 2021-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11961285B2 (en) | System for spot cleaning by a mobile robot | |
CN111142526B (zh) | 越障与作业方法、设备及存储介质 | |
CN109195751B (zh) | 用于基于区分类的机器人的可配置操作的***和方法 | |
US11898848B2 (en) | Visual navigation for mobile devices operable in differing environmental lighting conditions | |
KR102608046B1 (ko) | 공항용 안내 로봇 및 그의 동작 방법 | |
KR102670610B1 (ko) | 공항용 로봇 및 그의 동작 방법 | |
CN111093019A (zh) | 地形识别、行进与地图构建方法、设备及存储介质 | |
CN111708360B (zh) | 信息采集方法、设备及存储介质 | |
WO2021135392A1 (zh) | 结构光模组及自主移动设备 | |
CN112650235A (zh) | 一种机器人避障控制方法、***及机器人 | |
CN113126632B (zh) | 虚拟墙划定和作业方法、设备及存储介质 | |
US20140098218A1 (en) | Moving control device and autonomous mobile platform with the same | |
CN110974083A (zh) | 结构光模组及自主移动设备 | |
CN113520228B (zh) | 环境信息采集方法、自主移动设备及存储介质 | |
CN212521620U (zh) | 结构光模组及自主移动设备 | |
AU2020289521B2 (en) | Method, system and apparatus for dynamic task sequencing | |
CA3165803A1 (en) | Method, system and apparatus for data capture illumination control | |
CN111338330B (zh) | 作业位置确定方法、自移动设备及存储介质 | |
JP7484758B2 (ja) | ロボット制御システム | |
CN212415596U (zh) | 结构光模组及自主移动设备 | |
CN113960562A (zh) | 结构光模组及自移动设备 | |
JP2018120482A (ja) | ロボットおよびその制御方法 | |
RU2658092C2 (ru) | Способ и система навигации подвижного объекта с использованием трехмерных датчиков | |
CN112714858B (zh) | 能够在不同环境照明条件下操作的移动设备的视觉导航 | |
CN117254538A (zh) | 自移动***、回充方法、充电座和自移动设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |