CN110554696B - 机器人***、机器人及基于激光雷达的机器人导航方法 - Google Patents

机器人***、机器人及基于激光雷达的机器人导航方法 Download PDF

Info

Publication number
CN110554696B
CN110554696B CN201910749492.7A CN201910749492A CN110554696B CN 110554696 B CN110554696 B CN 110554696B CN 201910749492 A CN201910749492 A CN 201910749492A CN 110554696 B CN110554696 B CN 110554696B
Authority
CN
China
Prior art keywords
robot
distance
point cloud
image
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910749492.7A
Other languages
English (en)
Other versions
CN110554696A (zh
Inventor
舒忠艳
张国栋
叶力荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Silver Star Intelligent Group Co Ltd
Original Assignee
Shenzhen Silver Star Intelligent Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Silver Star Intelligent Group Co Ltd filed Critical Shenzhen Silver Star Intelligent Group Co Ltd
Priority to CN201910749492.7A priority Critical patent/CN110554696B/zh
Publication of CN110554696A publication Critical patent/CN110554696A/zh
Application granted granted Critical
Publication of CN110554696B publication Critical patent/CN110554696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G05D1/0236Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

机器人***、机器人及基于激光雷达的机器人导航方法。本发明的实施例中,通过获取机器人上安装的激光雷达所探测的机器人所处环境的障碍物信息,根据图像得到障碍物之间的距离,并判断出机器人能够通过的第一位置或机器人不能通过的第二位置,以此导航机器人,减少机器人被困的概率或在机器人被困后导航机器人快速脱困,提高机器人的工作效率。

Description

机器人***、机器人及基于激光雷达的机器人导航方法
技术领域
本发明涉及智能机器人领域,尤其涉及一种机器人***、机器人及基于激光雷达的机器人导航方法。
背景技术
随着人工智能技术的发展,人们生活水平的提高,机器人的应用也越来越广泛,不仅在工业、农业、医疗、服务、智能家居等行业中得到广泛的应用。
现有技术中,机器人大多采用随机行走的方式,根据机器人上安装的碰撞传感器对环境进行检测,当碰撞传感器触发时,机器人进行转向,或机器人建立地图,以预设的弓字形、田字形等方式进行行走,在碰撞传感器出发后进行转向,不能有效地判断环境中哪些地方机器人可以行走,哪些地方机器人无法正常行走,导致机器人的工作效率低,且机器人容易被工作环境中的物体困住。
发明内容
本发明所要解决的技术问题在于,提供一种机器人***、机器人及基于激光雷达的机器人导航方法,以解决现有机器人的工作效率低,且机器人容易被工作环境中的物体困住的问题。
为了解决上述技术问题,本发明的实施例采用以下技术方案:
第一方面,本发明提供一种基于激光雷达的机器人导航方法,包括:
确定机器人被困;
获取机器人被困时激光雷达采集到的图像帧;
识别图像,根据识别出的图像中的障碍物信息,得到相邻障碍物之间的第一距离;
根据相邻障碍物之间的第一距离标记出所述机器人能够通过的一个或多个第一位置;
依次遍历所述第一位置。
在本发明的一个实施例中,根据相邻障碍物之间的第一距离标记出所述机器人能够通过的一个或多个第一位置包括:
确定相邻障碍物之间的最小第一距离;
将所述最小第一距离大于机器人机身直径的位置存储为第一位置。
在本发明的一个实施例中,所述依次遍历所述第一位置包括:
根据第一位置的第一距离的大小进行排序,依次根据第一距离从大到小进行遍历。
在本发明的一个实施例中,所述依次遍历所述第一位置包括:
机器人至所述第一位置的距离为第二距离;
根据第二距离的大小进行排序,依次根据第二距离从小到大进行遍历。
在本发明的一个实施例中,所述确定机器人被困包括:
机器人工作过程中,建立环境地图;
机器人在环境地图上的一定区域内工作时间达到第一预设时间,则确定机器人被困。
在本发明的一个实施例中,所述导航方法还包括将所述环境地图上的一定区域设置为禁区,所述机器人在此后的作业过程中回避所述禁区。
在本发明的一个实施例中,所述确定机器人被困包括:
机器人上预设有碰撞传感器,机器人工作过程中,在一定时长内碰撞传感器被触发达到一定次数,则确定机器人被困。
在本发明的一个实施例中,所述基于激光雷达的机器人导航方法还包括:
依次遍历所述第一位置后判断清洁机器人是否脱困成功,若是,则清洁机器人恢复正常工作状态,若否,则清洁机器人停止工作,并发出报警信息。
第二方面,本发明提供一种机器人,包括:
机器人主体;
驱动机构,被配置为驱动所述机器人在地面上移动;
激光雷达,被配置为探测所述机器人周围的障碍物信息;以及
控制模块,被配置为执行:
获取机器人被困时激光雷达采集到的图像帧;
识别图像,根据识别出的图像中的障碍物信息,得到相邻障碍物之间的第一距离;
根据相邻障碍物之间的第一距离标记出所述机器人能够通过的一个或多个第一位置;
依次遍历所述第一位置。
在本发明的一个实施例中,根据相邻障碍物之间的第一距离标记出所述机器人能够通过的一个或多个第一位置包括:
确定相邻障碍物之间的最小第一距离;
将所述最小第一距离大于机器人机身直径的位置存储为第一位置。
第三方面,本发明提供另一种机器人,包括:
机器人主体;
驱动机构,被配置为驱动所述机器人在地面上移动;
激光雷达,被配置为探测所述机器人周围的障碍物信息;以及
控制模块,被配置为执行:
获取机器人的激光雷达采集到的图像帧;
识别图像,根据识别出的图像中的障碍物信息,得到相邻障碍物之间的第一距离;
根据相邻障碍物之间的第一距离标记出所述机器人能够通过的第一位置和所述机器人不能通过的第二位置;
将第二位置标注为制约特征,所述控制模块根据所述第二位置信息控制所述机器人执行回避操作。
在本发明的一个实施例中,所述第一位置为相邻障碍物之间的最小第一距离大于所述机器人机身直径的位置,所述第二位置为相邻障碍物之间的最小第一距离不大于所述机器人机身直径的位置。
第四方面,本发明提供一种机器人***,包括:
自移动机器人,所述自移动机器人被配置为:
获取机器人的激光雷达采集到的图像帧;
识别图像,根据识别出的图像中的障碍物信息,得到相邻障碍物之间的第一距离;
根据相邻障碍物之间的第一距离识别出所述机器人能够通过的第一位置和所述机器人不能通过的第二位置;以及
移动终端,被配置为在所述第二位置处增加线段,所述线条表征制约信息,将所述制约信息传送至所述机器人,所述机器人根据所述制约信息执行回避操作。
与现有技术相比,本发明实施例的技术方案至少具有以下有益效果:
本发明的实施例中,通过获取机器人上安装的激光雷达所探测的机器人周围的障碍物信息,根据图像得到障碍物之间的距离,并判断出机器人能够通过的第一位置或机器人不能通过的第二位置,以此导航机器人,减少机器人被困的概率或在机器人被困后导航机器人快速脱困,提高机器人的工作效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的变形形式。
图1是本发明实施例中机器人的立体视图;
图2是本发明一实施例中机器人的底部视图;
图3是由控制模块执行的方法步骤流程图;
图4是本发明一实施例中确定机器人被困的条件框图;
图5是本发明一实施例中机器人确定被困的示意图;
图6是本发明一实施例中获取激光雷达数据的步骤图;
图7是本发明一实施例中图像识别流程图;
图8是本发明一实施例中确定最小第一距离的示意图;
图9是本发明一实施例中确定第一位置的流程图;
图10是本发明一实施例中寻找两条直线间最小距离的示意图;
图11是本发明另一实施例中确定最小第一距离的示意图;
图12是本发明一实施例中机器人遍历第一位置的框图;
图13是本发明一实施例中机器人脱困的示意图;
图14是本发明一实施例中机器人判断是否脱困成功的流程图;
图15是本发明另一实施例中机器人的框图;
图16是本发明另一实施例中所述控制模块执行的方法步骤流程图;
图17是本发明一实施例中机器人***的框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本文中所述方位词“前”、“后”、“左”、“右”均是以机器人前进方向为参考方向,本文中所述的“顶”、“底”、“上”、“下”、“横”、“竖”均是以所述机器人正常工作时的状态为参考。
本发明专利是以机器人主要以对地面家庭环境清洁的机器人进行示例性说明,在其他实施例中,所述机器人还可以是其他机器人,例如:草坪机器人、服务机器人、或对餐厅、车站、机场等环境进行清洁的机器人。
请参阅图1和图2,图1是本发明实施例中机器人的立体视图,图2是本发明一实施例中机器人的底部视图。本发明所述的机器人110包括:主体10,驱动所述机器人110在地面上移动的驱动机构20,探测所述机器人110所处环境的障碍物信息的激光雷达30及控制模块40。本实施例中所述主体10的外形大体上呈圆形,在其他实施例中,所述主体10的外形可以大体上呈椭圆形、三角形、D形或其他形状。所述驱动机构20包括左右驱动轮21,所述左右驱动轮21安装于所述主体10的底部的左右两侧,所述底部为所述主体10朝向地面的一面,所述驱动机构20被配置为承载所述机器人110并驱动所述机器人110在地面上移动。所述驱动机构20还可以包括全向轮22,所述全向轮22安装于所述主体10的底部的靠前位置,所述全向轮22为活动脚轮,可以水平360度旋转,以使得所述机器人110可以灵活转向。所述全向轮22还可以安装于所述主体10的底部的靠后位置,所述左右驱动轮21和所述全向轮22的安装构成三角形,以提高所述机器人110行走的平稳性。
控制模块40安装于主体10,控制模块40可以包括多个,分别控制各个部件,也可以只设置一个,控制所有部件。例如:控制50可以包括设置于主体10的主控制模块,感测驱动机构20的速度信息及控制驱动机构20以调整机器人110运行的驱动部件控制模块或控制所述激光雷达30工作的激光雷达控制模块等。各个部件的控制模块将各自的信息传递给主控制模块,主控制模块根据各个部件的信息进行处理并分别反馈相应控制指令给各个部件。各个部件之间以主控制模块为中心,互相交流,传递信号。所述控制模块40可以只设置一个,与其他各个部件电性连接,以控制其他部件工作。控制模块40可以为单片机、FPGA、ASIC、DSP等微控制单元。
可以想象地,所述机器人110为对地面家庭环境清洁的机器人110时,所述机器人110还包括包括清洁组件50,所述清洁组件50包括滚动件52,所述滚动件52横向安装于所述主体10,绕一条大体上垂直于所述机器人110前进方向的轴旋转,以对地面进行清洁,在安装所述滚动件52的中部位置还开设有吸口,所述机器人110还包括收纳盒70,所述收纳盒70经所述吸口与所述滚动件52连通,以将所述滚动件52清洁至所述吸口的污物进行收集。所述滚动件52可以是毛刷、胶刷或胶毛一体的刷子,对地面进行清扫,此时所述收纳盒70主要收纳垃圾、灰尘、碎屑等。所述滚动件52还可以是滚筒,外表为弹性软质层,以对地面进行拖擦,此时所述收纳盒70主要收集滚动件52所清洁的污水。所述清洁组件50还可以包括边刷51,边刷51可以沿着基本上垂直于地面的轴旋转,边刷51具有多束围绕轴间隔排列的长刷毛,长刷毛向外延伸并超出主体10的外形轮廓,用于将地面上超出主体10的外形轮廓覆盖范围的垃圾清扫至主体10的底部。所述机器人110还可以包括风机,所述风机将所述清洁组件50所清洁的污物吸入所述收纳盒70。
所述机器人110还可以包括碰撞检测组件60,,所述碰撞检测组件60安装于所述机器人110的***,当所述机器人110与外界物体发生碰撞时,所述碰撞检测组件60被触发,所述控制模块40可以根据所述碰撞检测组件60的信号控制机器人110行走。
激光雷达30,安装于所述机器人110的顶部,所述激光雷达30包括激光发射器、激光接收器、驱动电机及角度检测单元,所述驱动电机驱动所述激光雷达30高速旋转,所述激光发射器发射激光束,经环境中的障碍物反射后由所述激光接收器接收,当所述激光雷达30旋转三百六十度,则输出一帧图像信息,图像信息由若干点云数据组成。
为了实现所述机器人110通过激光雷达30对机器人110所处环境的探测,并得到相邻障碍物之间的距离,判断出机器人110能够通过的第一位置,在机器人110被困后导航机器人110快速脱困,提高机器人110的工作效率。请参阅图3,图3是由控制模块执行的方法步骤流程图。
S10,确定机器人110被困。
机器人110在家居环境中执行清洁任务时,常常会进入桌子下,凳子下或者是小孩在玩耍时移动物体,造成机器人110被困。本发明的实施例中,请参阅图4,图4是本发明一实施例中确定机器人被困的条件框图,判断机器人110被困住的方式有两种:
方式一,S101,机器人110在环境地图上的一定区域内工作时间达到预设时间。机器人110正常工作过程中,建立环境地图,对机器人110所在位置进行定位,当机器人110在地图上的一定区域内较长时间反复工作,则可以确定机器人110被困。一定区域可以为预设面积阈值,机器人110的清洁覆盖率为通过已清洁区域面积与总面积的比值,重复清洁的面积不再次计入已清洁区域,再以百分数进行表示。若机器人110在上一时刻清扫覆盖率为A,当前时刻时清洁覆盖率仍然为A,而上一时刻至当前时刻的时长已经达到预设时间,则确定机器人110被困。覆盖率A可以是具体数值,例如百分之六十;覆盖率A也可以是一个范围值,例如百分之六十至百分之六十一。在其他实施例中,所述一定区域也可以直接通过机器人110所在地图的位置进行判断,请参阅图5,图5是本发明一实施例中机器人确定被困的示意图。机器人110工作的时间达到预设时间时,以机器人110所在地图上的活动区域B虚拟出外接圆,并计算出外接圆的半径r,若半径r在预设的半径内,则确定机器人110被困。在其他实施例中,所述基于激光雷达的机器人导航方法还包括,将所述环境地图上的一定区域设置为禁区,所述机器人在此后的作业过程中回避所述禁区。例如在图5所示的被困区域B,其只有一个脱困的地方,机器人自行脱困存在一定的困难,可以将环境地图上的区域B设置为禁区,机器人在此后的作业过程中回避该禁区,从而减少机器人被困住的概率。
方式二,S102机器人110工作过程中,在一定时长内碰撞传感器被触发达到一定次数,则确定机器人110被困。机器人110的***安装有碰撞检测组件60,当机器人110进入凳子底部,而凳子脚较多时,机器人110转动过程中极容易触发碰撞检测组件,可以通过设置预设时长,如果机器人110在预设时长内碰撞检测组件60被触发的次数达到碰撞阈值,则确定机器人110被困。确定机器人110被困后,进入步骤S20。
S20获取机器人110被困时激光雷达采集到的图像帧。具体参阅图6,图6是本发明一实施例中获取激光雷达数据的步骤图。
机器人110被困住后,机器人110停止行走或在停止行走的同时暂停执行清洁任务,例如在停止行走的同时也关闭清洁组件50及风机,减少机器人110对电量的消耗,防止机器人110在被困住的地方电量耗尽而死机。执行步骤S21获取图像帧,即激光雷达扫描机器人110的周围环境一圈,存储激光点云数据,输出一帧图像。机器人110停止行走,采集激光雷达的数据,减少激光点云数据的扭曲,提高激光雷达数据所检测的障碍物的定位精度。在其他实施例中,机器人110也可以不停止行走,此时需要执行步骤S22点云数据校正,在采集一帧激光数据过程中,机器人110已经运动一段轨迹,会导致一帧数据的扭曲,随着扭曲的增加,则会影响机器人110的定位精度。而对机器人110所处环境中的障碍物的检测需要根据机器人110的位置进行进一步的换算,从而也会影响对障碍物的检测精度,机器人110脱困位置的查找需要高精度地定位和导航,才能使得机器人110更快地脱困,必须考虑由于机器人110运动导致的激光点云数据的扭曲。根据扭曲程度同机器人110运动速度成正比,同激光雷达的频率成反比,已知机器人110的运动,则可以通过已知运动校正点云数据。点云数据校正可以通过连续时间轨迹模型,或者预测机器人110运动,通过其他传感器,如里程计、IMU、摄像头、激光雷达等,或者建立恒速运动模型进行运动预测,然后进行点云矫正。由于机器人110运动一般都是低速,使用恒速运动模型进行校正比较简单,实用。
S23点云数据采样。由于每一帧激光雷达都会有大量点云数据,大量的点云数据并非全都是准确可靠的,且大量的点云数据会严重影响算法的及时性,所以需要对点云数据进行采样,即适当过滤部分点云,挑选出合适的点云。因为激光雷达所形成的点云数据中具体点的反射强度值一般与点到激光雷达的距离的平方成反比,可以预设第一阈值,通过反射强度值与点到激光雷达的距离的平方的乘积是否大于第一阈值来删选出可靠的点云,若大于,则点云是可靠的,若不大于,则点云不可靠,将该点云过滤。输出的一帧图像为可靠的点云数据组成,保留了原始点云的集合特征信息,点的数量降低,可以减低后期计算的复杂度。进入步骤S30。
S30识别图像,根据识别出的图像中的障碍物信息,得到相邻障碍物之间的第一距离。具体参阅图7,图7是本发明一实施例中图像识别流程图。S31点云数据分割,识别出图像中的障碍物信息。对于每一帧点云数据,首先把点云分割成不同的点云区块,每个点云区块即表示一个障碍物。预设第二阈值,如果连续两个点云的距离小于第二阈值,这两个点云属于同一个点云区块。如果连续两个点云的距离大于第二阈值,一帧点云数据就从这个地方分割开。再把一帧点云数据分割成几个点云区块,每一个点云区块包含多个点云。因为机器人110所处环境中障碍物的分布并不是均匀的,使得激光雷达扫描一圈后输出的图像帧上点云的密度不一样,通常情况下,离机器人110近的点云密度大一些,而远离机器人110的点云密度小一些。在进行点云数据分割时,应用自适应变第二阈值分割方法,例如当某个点云到机器人110的距离为d时,分割的第二阈值选择为d,当点云离机器人110的距离为2d时,第二阈值选择为2d。除此之外,也可以选用其它的线性或非线性函数来定义自适应分割阈值。总之,在与机器人110距离不同的点云选用不同的第二阈值进行点云数据分割,以使得分割成的点云区块更加贴合机器人110所处环境中的障碍物特征。所述点云到机器人110的距离通常为点云到机器人110上所搭载的激光雷达的中心的距离,激光雷达可以安装于机器人110顶部的靠前位置或靠后位置或中间位置。如果激光雷达安装于机器人110的中间位置,机器人110呈圆形,激光雷达的中心即为机器人110的中心。进入步骤S32及步骤S33。
步骤S32障碍物特征提取,步骤S33计算相邻障碍物之间的第一距离。在步骤S31点云数据分割中,将点云数据分割成多个点云区块的点为撕裂点,将点云数据拟合成直线,拟合直线的方法可以是最小二乘法或加权的最小二乘法等。请参阅图8,图8是本发明一实施例中确定最小第一距离的示意图,相邻障碍物为第一障碍物和第二障碍物,第一障碍物和第二障碍物已通过点云数据拟合出的直线1和直线2来表征,直线1上有多个点云M1至M8,直线2上有多个点云N1至N5,依次计算M1至M8分别到N1至N5之间的第一距离,并存储。
S40根据相邻障碍物之间的第一距离标记出所述机器人110能够通过的一个或多个第一位置。请参阅图9,图9是本发明一实施例中确定第一位置的流程图。步骤S41确定相邻障碍物之间的最小距离,根据前述存储的第一距离进行比较可以得出最小第一距离。在其他实施例中,求障碍物之间的最小距离的方法还可以是根据拟合直线进一步判断拟合的直线上是否存在角点,若不存在角点,则认为该拟合直线就是一条直线,寻找两条直线之间第一距离。可以参阅图10和图11,图10是本发明一实施例中寻找两条直线间最小距离的示意图,图11是本发明一实施例中寻找确定第一距离的示意图。
直线1的中点为M’,直线2的中点为N',计算点M’与点N'之间的距离为d1,点N'附近两侧的两个点分别为点N2和点N4,计算点M'到点N2的距离为d2,点M'到点N4之间的距离为d3,比较d2与d3的大小,图9中所示d2小于d3。依次计算点M'到点N2方向上的点之间的距离,直到计算出点M'到直线2的端点N1之间的距离d4,N1为求取最小距离的端点。以端点N1为测距起点,依照前述方法得出障碍物1距离障碍物2最短距离的端点M1,计算出N1到M1之间的距离为d5,d5即为相邻的第一障碍物和第二障碍物之间的最小第一距离。若根据拟合直线进一步判断拟合的直线上是存在角点,则依照前述方法依次计算直线1上的点分别对直线2上的所有点的距离,依次比较找出最小第一距离。
S42将所述最小第一距离大于机器人110机身直径的位置存储为第一位置。
机器人110能够通过的位置,其相邻障碍物之间的距离必然需要大于机器人110机身的直径。预先存储机器人110机身的直径信息,在前述步骤中已经确定相邻障碍物之间的最小第一距离,则将相邻障碍物之间的最小距离与机器人110机身直径进行比较,将相邻障碍物之间的最小距离大于机器人110机身直径的位置存储为机器人110能够通过的第一位置。
S50遍历所述第一位置,参阅图12,图12是本发明一实施例中机器人遍历第一位置的框图。为使得机器人110尽快地脱困或判断出是否可以自行脱困,机器人110遍历所述第一位置的方式有如下两种,请参阅图13,图13是本发明一实施例中机器人脱困的示意图。图中直线表征机器人110所处环境的障碍物,所述障碍物信息已由激光雷达所采集的图像帧进行处理后来表征,机器人110可以通过的第一位置有X1、X2及X3。
方式一,S501根据第一位置的最小第一距离的大小进行排序,依次根据第一距离从大到小进行遍历。第一位置的最小第一距离由大到小进行排序为X1、X3、X2,机器人110所遍历的位置即为最先去到位置X1,如果X1不能脱困,则去到X3,如果X3不能脱困,再去到X2。以最有可能脱困的位置为优先级进行遍历,以减少机器人110脱困的时间。
方式二,S502机器人110至所述第一位置的距离为第二距离;根据第二距离的大小进行排序,依次根据第二距离从小到大进行遍历。机器人110到能够脱困的第一位置X1、X2、X3的第二距离分别为dx1、dx2、dx3,根据第二距离由小到大进行排序为dx2、dx1、dx3,机器人110所遍历的位置为最先去X2,如果位置X2不能脱困,则去到X1,如果位置X1不能脱困,则再去X3。以距离机器人110最近的可能脱困的位置作为优先级进行遍历,以减少机器人110脱困的时间。
参与图14,图14是本发明一实施例中机器人判断是否脱困成功的流程图。S60机器人110遍历第一位置过程中是否脱困成功,若机器人110在遍历过程中已经脱困成功,则进入步骤S70机器人110继续执行清洁任务,即机器人110重新启动清洁组件及风机对地面进行清洁。若机器人110在遍历过程中没有脱困成功,则进入步骤S80机器人110判读是否遍历完所有第一位置,若没有遍历完所有第一位置,则机器人110继续仅需下一第一位置进行脱困。若已经遍历完所有第一位置,机器人110仍然没有脱困成功,则进入步骤S90机器人110报错,机器人110认为该环境不能自行脱困,需要用户协助,报错的方式可以是机器人110上的灯光闪烁或发出报错声音或发送信息至移动终端以提示用户。
本实施例中,在机器人110被困住后,通过获取机器人110上安装的激光雷达所探测的机器人110所处环境的障碍物信息,根据图像得到障碍物之间的距离,并判断出机器人110能够通过的第一位置,以此导航机器人110遍历第一位置进行脱困,在机器人110被困后,找到机器人110可能脱困的位置,排出机器人110不能脱困的位置,提高机器人110脱困效率,较少机器人110判断是否可以自行脱困的时间,提高机器人110的工作效率。
本发明的另外的实施例中还提供一种机器人110,本实施例中所提供的机器人110的结构及其作用与前述实施例中所述的机器人110的结构和作用基本相同。不同之处在于:
请参阅图15和图16,图15是本发明另一实施例中机器人的框图,图16是本发明另一实施例中所述控制模块执行的方法步骤流程图。本实施例中,所述机器人110110包括驱动机构20、激光雷达30及控制模块40,所述驱动机构20和激光雷达30的结构和功能同前述实施例中所述的结构和功能相同。所述控制模块40被配置为执行图16所示的步骤,执行的步骤S20获取机器人110的激光雷达采集到的图像帧和步骤S30识别图像,根据识别出的图像中的障碍物信息,得到相邻障碍物之间的第一距离的过程与前述实施例中所述的过程相同,在此不再赘述。本实施例中,控制器在执行完S30识别图像,根据识别出的图像中的障碍物信息,得到相邻障碍物之间的第一距离后进入步骤S401根据相邻障碍物之间的第一距离标记出所述机器人110能够通过的第一位置和机器人110不能通过的第二位置。进入步骤S402将第二位置设置为制约特征,所述控制模块根据所述第二位置信息控制所述机器人110执行回避操作。所述第一位置和所述第二位置依然通过相邻障碍物之间的最小第一距离来判定,若最小第一距离大于所述机器人110机身直径的位置,则标记为第一位置,若最小第一距离小于或等于机器人110机身直径,则标记为第二位置。机器人110开始工作或工作过程中,建立地图时,可以将第一位置和第二位置在地图上呈现,在机器人110进行路径规划时,可以避开第二位置或机器人110行走至第二位置处则控制机器人110执行回避操作,回避操作可以是后退一定距离后转向或直接转向。本实施例中所述机器人110可以是服务机器人110、室外或室内清洁机器人110等。
本实施例中,在机器人110工作时,通过获取机器人110上安装的激光雷达所探测的机器人110所处环境的障碍物信息,根据图像得到障碍物之间的距离,并判断出机器人110能够通过的第一位置和机器人110不能通过的第二位置,根据第一位置和第二位置规划机器人110行走的路径,让机器人110避开不能通过的位置行走,减少机器人110被困住的概率,提高机器人110的工作效率。
在另一实施例中,本发明提供一种机器人***100,请参阅图17,图17是本发明一实施例中机器人***的框图。所述机器人***100包括机器人110和移动终端120。所述机器人110包括驱动机构20、激光雷达30及控制模块40,所述驱动机构20和激光雷达30的结构和功能同前述实施例中所述的结构和功能相同。所述控制模块40与所述激光雷达30通信,所述控制模块40被配置为执行图16所示的步骤S20至步骤S401的控制流程,执行的步骤S20获取机器人110的激光雷达采集到的图像帧、步骤S30识别图像,根据识别出的图像中的障碍物信息,得到相邻障碍物之间的第一距离及步骤S401根据相邻障碍物之间的第一距离标记出所述机器人110能够通过的第一位置和机器人110不能通过的第二位置的过程与前述实施例中所述的过程相同,在此不再赘述。
本实施例中的不同之处在于,所述机器人110建立环境地图,前述步骤S401中所标记出的第一位置和第二位置为分别标记出第一位置和第二位置两端的端点,即相邻障碍物之间最短距离直线的两个端点。移动终端120与所述机器人110通信,获取所述机器人110的环境地图,所述第一位置和所述第二位置所在相邻障碍物之间最短距离直线的两个端点在所述环境地图上以不同表示方式的呈现,以便用户进行区分。所述不同的呈现方式,可以是表征所述第一位置和所述第二位置的相邻障碍物之间的最短距离所在直线的两个端点的形状、大小、颜色或动态变化不同等方式,例如:表征所述第一位置的相邻障碍物之间的最短距离所在直线的两个端点用矩形表示,表征所述第二位置的相邻障碍物之间的最短距离所在直线的两个端点用圆形表示,以便用户区分。用户可以通过移动终端在所述第二位置处增加线段,即连接表征所述第二位置的相邻障碍物之间的最短距离所在直线的两个端点,添加到环境地图中。该连接线条表征制约信息,将所述制约信息传送至所述机器人110,所述机器人110根据所述制约信息执行回避操作。
本实施例中,在机器人110工作时,通过获取机器人110上安装的激光雷达所探测的机器人110所处环境的障碍物信息,根据图像得到障碍物之间的距离,并判断出机器人110能够通过的第一位置和机器人110不能通过的第二位置,通过移动终端将表征所述第二位置的相邻障碍物之间的最短距离所在直线的两个端点连接形成线条,并且该连接线条表征制约信息,让机器人110在导航过程中避开不能通过的第二位置行走,减少机器人110被困住的概率,提高机器人110的工作效率。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一可选实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述的实施方式,并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同替换和改进等,均应包含在该技术方案的保护范围之内。

Claims (9)

1.一种基于激光雷达的机器人导航方法,该方法包括:
确定机器人被困;
获取机器人被困时激光雷达采集到的图像帧;
识别图像,根据识别出的图像中的障碍物信息,得到相邻障碍物之间的第一距离;
根据相邻障碍物之间的第一距离标记出所述机器人能够通过的一个或多个第一位置,包括:确定相邻障碍物之间的最小第一距离;将所述最小第一距离大于机器人机身直径的位置存储为第一位置;
遍历所述第一位置,包括:根据第一位置的最小第一距离的大小进行排序,依次根据第一距离从大到小进行遍历;或者,机器人至所述第一位置的距离为第二距离;根据第二距离的大小进行排序,依次根据第二距离从小到大进行遍历;
其中,所述识别图像包括识别出图像中的障碍物信息,所述识别出图像中的障碍物信息包括:
确定第一阈值,若所述图像帧中的点云中点的反射强度值与点到激光雷达的距离的平方的乘积大于所述第一阈值,则所述点云为可靠点云;
确定第二阈值,所述第二阈值与所述可靠点云至所述机器人的位置相关联;
根据第二阈值对所述可靠点云进行分割,以得到若干个点云区块,所述若干个点云区块中每个点云区块表示一个障碍物;
将分割成所述若干个点云区块的点为撕裂点,将所述每个点云区块拟合成直线。
2.根据权利要求1所述的一种基于激光雷达的机器人导航方法,其特征在于,所述确定机器人被困包括:
机器人正常工作,建立环境地图;
机器人在环境地图上的一定区域内工作时间达到预设时间,则确定机器人被困。
3.根据权利要求2所述的一种基于激光雷达的机器人导航方法,其特征在于,还包括:将所述环境地图上的一定区域设置为禁区,所述机器人在此后的作业过程中回避所述禁区。
4.根据权利要求1所述的一种基于激光雷达的机器人导航方法,其特征在于,所述确定机器人被困包括:
机器人安装有碰撞检测组件,机器人工作过程中,在预设时长内碰撞检测组件被触发达的次数达到碰撞阈值,则确定机器人被困。
5.根据权利要求1所述的一种基于激光雷达的机器人导航方法,其特征在于,所述方法还包括:
依次遍历所述第一位置后判断清洁机器人是否脱困成功,若是,则清洁机器人恢复正常工作状态,若否,则清洁机器人停止工作,并发出报警信息。
6.一种机器人,其特征在于,包括:
主体;
驱动机构,被配置为驱动所述机器人在地面上移动;
激光雷达,被配置为探测所述机器人所处环境的障碍物信息;以及
控制模块,被配置为执行:
获取机器人被困时激光雷达采集到的图像帧;
识别图像,根据识别出的图像中的障碍物信息,得到相邻障碍物之间的第一距离;
根据相邻障碍物之间的第一距离标记出所述机器人能够通过的一个或多个第一位置,包括:确定相邻障碍物之间的最小第一距离;将所述第一距离大于机器人机身直径的位置存储为第一位置;
依次遍历所述第一位置,包括:根据第一位置的最小第一距离的大小进行排序,依次根据第一距离从大到小进行遍历;或者,机器人至所述第一位置的距离为第二距离;根据第二距离的大小进行排序,依次根据第二距离从小到大进行遍历;
其中,所述识别图像包括识别出图像中的障碍物信息,所述识别出图像中的障碍物信息包括:
确定第一阈值,若所述图像帧中的点云中点的反射强度值与点到激光雷达的距离的平方的乘积大于所述第一阈值,则所述点云为可靠点云;
确定第二阈值,所述第二阈值与所述可靠点云至所述机器人的位置相关联;
根据第二阈值对所述可靠点云进行分割,以得到若干个点云区块,所述若干个点云区块中每个点云区块表示一个障碍物;
将分割成所述若干个点云区块的点为撕裂点,将所述每个点云区块拟合成直线。
7.一种机器人,其特征在于,包括:
主体;
驱动机构,被配置为驱动所述机器人在地面上移动;
激光雷达,被配置为探测所述机器人所处环境的障碍物信息;以及
控制模块,被配置为执行:
获取机器人的激光雷达采集到的图像帧;
识别图像,根据识别出的图像中的障碍物信息,得到相邻障碍物之间的第一距离;
根据相邻障碍物之间的第一距离标记出所述机器人能够通过的第一位置和所述机器人不能通过的第二位置;其中,所述根据相邻障碍物之间的第一距离标记出所述机器人能够通过的第一位置包括:确定相邻障碍物之间的最小第一距离;将所述第一距离大于机器人机身直径的位置存储为第一位置;
遍历所述第一位置,包括:根据第一位置的最小第一距离的大小进行排序,依次根据第一距离从大到小进行遍历;或者,机器人至所述第一位置的距离为第二距离;根据第二距离的大小进行排序,依次根据第二距离从小到大进行遍历;
将第二位置设置为制约特征,所述控制模块根据所述第二位置信息控制所述机器人执行回避操作;
其中,所述识别图像包括识别出图像中的障碍物信息,所述识别出图像中的障碍物信息包括:
确定第一阈值,若所述图像帧中的点云中点的反射强度值与点到激光雷达的距离的平方的乘积大于所述第一阈值,则所述点云为可靠点云;
确定第二阈值,所述第二阈值与所述可靠点云至所述机器人的位置相关联;
根据第二阈值对所述可靠点云进行分割,以得到若干个点云区块,所述若干个点云区块中每个点云区块表示一个障碍物;
将分割成所述若干个点云区块的点为撕裂点,将所述每个点云区块拟合成直线。
8.根据权利要求7所述的机器人,其特征在于,所述第一位置为相邻障碍物之间的最小第一距离大于所述机器人机身直径的位置,所述第二位置为相邻障碍物之间的最小第一距离小于或等于所述机器人机身直径的位置。
9.一种机器人***,其特征在于,包括:
机器人,所述机器人被配置为:
获取机器人的激光雷达采集到的图像帧;
识别图像,根据识别出的图像中的障碍物信息,得到相邻障碍物之间的第一距离,所述识别图像包括识别出图像中的障碍物信息,所述识别出图像中的障碍物信息包括:确定第一阈值,若所述图像帧中的点云中点的反射强度值与点到激光雷达的距离的平方的乘积大于所述第一阈值,则所述点云为可靠点云;确定第二阈值,所述第二阈值与所述可靠点云至所述机器人的位置相关联;根据第二阈值对所述可靠点云进行分割,以得到若干个点云区块,所述若干个点云区块中每个点云区块表示一个障碍物;将分割成所述若干个点云区块的点为撕裂点,将所述每个点云区块拟合成直线;
根据相邻障碍物之间的第一距离识别出所述机器人能够通过的第一位置和所述机器人不能通过的第二位置;
遍历所述第一位置,包括:根据第一位置的最小第一距离的大小进行排序,依次根据第一距离从大到小进行遍历;或者,机器人至所述第一位置的距离为第二距离;根据第二距离的大小进行排序,依次根据第二距离从小到大进行遍历;以及
移动终端,被配置为在所述第二位置处增加线段,所述线段表征制约信息,将所述制约信息传送至所述机器人,所述机器人根据所述制约信息执行回避操作;
其中,所述根据相邻障碍物之间的第一距离标记出所述机器人能够通过的第一位置包括:确定相邻障碍物之间的最小第一距离;将所述第一距离大于机器人机身直径的位置存储为第一位置。
CN201910749492.7A 2019-08-14 2019-08-14 机器人***、机器人及基于激光雷达的机器人导航方法 Active CN110554696B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910749492.7A CN110554696B (zh) 2019-08-14 2019-08-14 机器人***、机器人及基于激光雷达的机器人导航方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910749492.7A CN110554696B (zh) 2019-08-14 2019-08-14 机器人***、机器人及基于激光雷达的机器人导航方法

Publications (2)

Publication Number Publication Date
CN110554696A CN110554696A (zh) 2019-12-10
CN110554696B true CN110554696B (zh) 2023-01-17

Family

ID=68737601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910749492.7A Active CN110554696B (zh) 2019-08-14 2019-08-14 机器人***、机器人及基于激光雷达的机器人导航方法

Country Status (1)

Country Link
CN (1) CN110554696B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110908388B (zh) * 2019-12-17 2023-08-11 小狗电器互联网科技(北京)股份有限公司 一种机器人被困检测方法以及机器人
CN110962960A (zh) * 2019-12-27 2020-04-07 广东海洋大学 一种室内自动导航运输机器人
CN111331602B (zh) * 2020-03-13 2021-07-13 湖南格兰博智能科技有限责任公司 一种应用于床被除螨机器人的场景识别软件算法
CN111427357A (zh) * 2020-04-14 2020-07-17 北京石头世纪科技股份有限公司 一种机器人避障方法、装置和存储介质
CN112894824B (zh) * 2021-02-08 2022-11-29 深圳市普渡科技有限公司 机器人控制方法及机器人
CN113110498A (zh) * 2021-05-08 2021-07-13 珠海市一微半导体有限公司 基于单点tof的机器人脱困方法
CN113419546B (zh) * 2021-08-24 2021-11-26 新石器慧通(北京)科技有限公司 一种无人车的控制方法、装置、介质及电子设备
CN116540690A (zh) * 2022-01-26 2023-08-04 追觅创新科技(苏州)有限公司 机器人导航方法、装置、机器人及存储介质
CN115877852B (zh) * 2023-02-22 2023-06-13 深圳市欧拉智造科技有限公司 机器人运动控制方法、机器人和计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104460666A (zh) * 2014-10-27 2015-03-25 上海理工大学 一种基于距离矢量的机器人自主避障移动控制方法
CN108932736A (zh) * 2018-05-30 2018-12-04 南昌大学 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法
CN109085841A (zh) * 2018-09-28 2018-12-25 北京奇虎科技有限公司 一种控制机器人进行清扫的方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101949277B1 (ko) * 2012-06-18 2019-04-25 엘지전자 주식회사 이동 로봇
CN104864863B (zh) * 2014-02-21 2019-08-27 联想(北京)有限公司 一种路径选择方法及电子设备
CN105832252A (zh) * 2015-01-14 2016-08-10 东莞缔奇智能股份有限公司 自主移动机器人及其控制方法
CN108481321B (zh) * 2017-01-09 2020-07-28 广东宝乐机器人股份有限公司 一种机器人的移动控制方法及机器人
CN109480708B (zh) * 2018-12-19 2021-02-23 珠海市一微半导体有限公司 清洁机器人的位置提醒方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104460666A (zh) * 2014-10-27 2015-03-25 上海理工大学 一种基于距离矢量的机器人自主避障移动控制方法
CN108932736A (zh) * 2018-05-30 2018-12-04 南昌大学 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法
CN109085841A (zh) * 2018-09-28 2018-12-25 北京奇虎科技有限公司 一种控制机器人进行清扫的方法及装置

Also Published As

Publication number Publication date
CN110554696A (zh) 2019-12-10

Similar Documents

Publication Publication Date Title
CN110554696B (zh) 机器人***、机器人及基于激光雷达的机器人导航方法
CN109947109B (zh) 机器人工作区域地图构建方法、装置、机器人和介质
JP7374547B2 (ja) 探測方法、装置、移動ロボット及び記憶媒体
CN112415998B (zh) 一种基于tof摄像头的障碍物分类避障控制***
US11013385B2 (en) Automatic cleaning device and cleaning method
CN106821157A (zh) 一种扫地机器人扫地的清扫方法
WO2021120999A1 (zh) 自主机器人
CN110946508B (zh) 使用激光雷达和摄像头的扫地机器人的控制方法及装置
CN110580047B (zh) 一种自主机器人的防跌落行进方法及自主机器人
KR20160144682A (ko) 이동 로봇 및 그 제어 방법
CN113741438A (zh) 路径规划方法、装置、存储介质、芯片及机器人
WO2021238001A1 (zh) 机器人行走控制方法、***,机器人及可读存储介质
CN212489787U (zh) 一种拖地机器人
CN112423639B (zh) 自主行走式吸尘器
US11960296B2 (en) Method and apparatus for autonomous mobile device
CN114779777A (zh) 自移动机器人的传感器控制方法、装置、介质及机器人
EP4191360A1 (en) Distance measurement device and robotic vacuum cleaner
CN113848944A (zh) 一种地图构建方法、装置、机器人及存储介质
CN113786125A (zh) 作业方法、自移动设备及存储介质
US11986137B2 (en) Mobile robot
CN112674645A (zh) 一种机器人的沿边清洁方法及装置
CN115755935A (zh) 一种室内地图障碍物填充方法
CN110716554B (zh) 基于视觉的家庭机器人
CN113741441A (zh) 作业方法及自移动设备
CN114529539A (zh) 无人设备路面障碍检测方法、装置、无人设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518110 1701, building 2, Yinxing Zhijie, No. 1301-72, sightseeing Road, Xinlan community, Guanlan street, Longhua District, Shenzhen, Guangdong Province

Applicant after: Shenzhen Yinxing Intelligent Group Co.,Ltd.

Address before: 518110 Building A1, Yinxing Hi-tech Industrial Park, Guanlan Street Sightseeing Road, Longhua District, Shenzhen City, Guangdong Province

Applicant before: Shenzhen Silver Star Intelligent Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant