CN112506204B - 机器人遇障处理方法、装置、设备和计算机可读存储介质 - Google Patents

机器人遇障处理方法、装置、设备和计算机可读存储介质 Download PDF

Info

Publication number
CN112506204B
CN112506204B CN202011497739.XA CN202011497739A CN112506204B CN 112506204 B CN112506204 B CN 112506204B CN 202011497739 A CN202011497739 A CN 202011497739A CN 112506204 B CN112506204 B CN 112506204B
Authority
CN
China
Prior art keywords
robot
obstacle
real person
prompt
child
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011497739.XA
Other languages
English (en)
Other versions
CN112506204A (zh
Inventor
李泽华
张涛
陈永昌
申鑫瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Pudu Technology Co Ltd
Original Assignee
Shenzhen Pudu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Pudu Technology Co Ltd filed Critical Shenzhen Pudu Technology Co Ltd
Priority to CN202011497739.XA priority Critical patent/CN112506204B/zh
Publication of CN112506204A publication Critical patent/CN112506204A/zh
Priority to PCT/CN2021/129398 priority patent/WO2022127439A1/zh
Application granted granted Critical
Publication of CN112506204B publication Critical patent/CN112506204B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • G06F16/2433Query languages
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/253Grammatical analysis; Style critique
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本申请涉及人工智能领域,提供了机器人遇障处理方法、装置、设备和计算机可读存储介质,以降低异构数据管理时的耦合性,提升复用性。所述方法包括:当检测到机器人当前行走路线上存在障碍时,控制机器人在当前行走路线上停止前行;检测机器人当前行走路线上的障碍是否为真人;若机器人当前行走路线上的障碍为真人,则启用第一提示模式,以提示真人避让机器人;若机器人当前行走路线上的障碍不为真人,则启用第二提示模式,以提示场景中的工作人员协助排除非真人的障碍。本申请只需要在遇到障碍时简单的进行提示即可达到排除障碍的目的。

Description

机器人遇障处理方法、装置、设备和计算机可读存储介质
技术领域
本发明涉及人工智能领域,特别涉及一种机器人遇障处理方法、装置、设备和计算机可读存储介质。
背景技术
随着人工智能(Artificial Intelligence,AI)的飞速发展,AI技术逐渐应用到与人们生活密切相关的领域,例如,机器人餐厅、智能仓库等就是AI技术在民生领域的典型应用。在这些应用场景,智能化机器人不仅给用户带来一种高科技感,而且给用户带来其他方面的体验,例如用餐乐趣、高效搬运,等等。
在机器人餐厅、智能仓库等机器人承担主要工作而人员繁杂的场合,机器人的行走路线可能会被真人或其他物体挡住。对于这种场景下的困境,现有的解决方案是设法使得机器人具有自适应能力,即,使得机器人具有自动避障的功能,在遇到真人等障碍物时自己改变预设行走路线,从而避开障碍物。
然而,上述现有的解决方案需要建立在事先对机器人进行大量训练的基础之上,一方面将意味着成本的高企;另一种方面,若机器人最终的训练成果尚未足够智能化,机器人不仅不能避障,还可能碰到障碍物而导致机器人受损,从而导致成本更高。
发明内容
本申请提供一种机器人遇障处理方法、装置、设备和计算机可读存储介质,以较低的成本,及时排除机器人行走路线上的障碍。
一方面,本申请提供了一种机器人遇障处理方法,包括:
当检测到机器人当前行走路线上存在障碍时,控制所述机器人在所述当前行走路线上停止前行;
检测所述机器人当前行走路线上的障碍是否为真人;
若所述当前行走路线上的障碍为真人,则启用预置的第一提示模式,以提示所述真人避让所述机器人;
若所述当前行走路线上的障碍不为真人,则启用预置的第二提示模式,以提示场景中的工作人员协助排除非真人的障碍。
另一方面,本申请提供了一种机器人遇障处理装置,包括:
机器人在所述当前行走路线上停止前行;
检测模块,用于检测所述机器人当前行走路线上的障碍是否为真人;
第一提示模块,用于若所述当前行走路线上的障碍为真人,则启用第一提示模式,以提示所述真人避让所述机器人;
第二提示模块,用于若所述当前行走路线上的障碍不为真人,则启用第二提示模式,以提示场景中的工作人员协助排除非真人的障碍。
第三方面,本申请提供了一种设备,所述设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述机器人遇障处理方法的技术方案的步骤。
第四方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述机器人遇障处理方法的技术方案的步骤。
从上述本申请提供的技术方案可知,在确认障碍是真人时,启用第一提示模式提示真人避让机器人,在确认障碍不是真人时,则启用第二提示模式提示工作人员协助排除障碍,由于无论采用哪种具体的提示方式,都无需对机器人进行训练,因此,相对于对机器人进行大量训练来排除障碍的方案,一方面,本申请的技术方案成本低廉;另一方面,只要简单的进行提示即可达到排除障碍的目的,无需如现有技术一样尚有对机器人训练不到位而不能取得预期效果的后顾之忧。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的机器人遇障处理方法的流程图;
图2是本申请实施例提供的通过对SQL进行语义分析而将一个SQL语句拆分为对应语句、条件和表达式等形成语法树的示意图;
图3a是本申请实施例提供的机器人采用“>”型行走方式避开机器人当前行走路线上的障碍的示意图;
图3b是本申请实施例提供的机器人采用“<”型行走方式避开机器人当前行走路线上的障碍的示意图;
图4是本申请实施例提供的机器人遇障处理装置的结构示意图;
图5是本申请实施例提供的设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本说明书中,诸如第一和第二这样的形容词仅可以用于将一个元素或动作与另一元素或动作进行区分,而不必要求或暗示任何实际的这种关系或顺序。在环境允许的情况下,参照元素或部件或步骤(等)不应解释为局限于仅元素、部件、或步骤中的一个,而可以是元素、部件、或步骤中的一个或多个等。
在本说明书中,为了便于描述,附图中所示的各个部分的尺寸并不是按照实际的比例关系绘制的。
本申请提出了一种机器人遇障处理方法,可应用于机器人,该机器人可以是在餐厅作业的机器人,例如,传菜机器人,也可以是在医疗场所,例如医院作业的送药机器人,还可以是在仓库等场所作业的搬运机器人,等等。这些机器人作业的场所可能既存在成年人(例如,医院等场所的成年病患),又存在幼童等未成年人(例如,在餐厅就餐的幼儿、儿童等)。如附图1所示,机器人遇障处理方法主要包括步骤S101至S104,详述如下:
步骤S101:当检测到机器人当前行走路线上存在障碍时,控制机器人在当前行走路线上停止前行。
所谓障碍,是指在机器人等移动设备既定路线上,阻碍了该移动设备前行的人或物。在本申请实施例中,可以采用光电方式,例如,通过视觉传感器、激光雷达或红外热成像设备等,检测机器人当前行走路线上是否存在障碍。一旦检测到机器人当前行走路线上存在障碍,则机器人中的中央处理单元向驱动单元发送停止运行指令,使得机器人在当前行走路线上停止前行。
步骤S102:检测机器人当前行走路线上的障碍是否为真人。
如前所述,机器人行走路线上的障碍主要分为人或物。在本申请实施例中,对于不同的障碍,可以采取不同的排障方案,因此,当检测到机器人当前行走路线上存在障碍时,还需要检测机器人当前行走路线上的障碍是否为真人。
由于对红外传感器而言,人体发出的热量信号与其他物体发出的热量信号不同,因此,作为本申请的一个实施例,检测机器人当前行走路线上的障碍是否为真人可以利用安装在该机器人上的红外传感器,接收来自机器人当前行走路线上的障碍发出的一个或多个热量信号;若该热量信号的波长约为5~12um,则确定机器人当前行走路线上的障碍为真人。
上述实施例是基于热成像原理来检测机器人当前行走路线上的障碍是否为真人,在本申请另一实施例中,可以基于计算机图形学原理来检测机器人当前行走路线上的障碍是否为真人,具体而言,可以通过如图2示例的步骤S201至步骤S205实现,说明如下:
步骤S201:根据图像采集装置获取的障碍的图像,确定机器人当前行走路线上的障碍是否为类人体。
从计算机图形学角度,真人和与真人相似的物体,例如人体模特等属于类人体。因此,当确定机器人当前行走路线上的障碍不为类人体时,则该障碍不可能是真人。可以通过机器人上集成的图像采集装置,例如,摄像头等获取障碍的图像,然后,将该障碍的图像与数据库中预存的类人体图像进行形状、尺寸等几何学参数上的匹配,确定机器人当前行走路线上的障碍是否为类人体。
步骤S202:若机器人当前行走路线上的障碍为类人体,则针对类人体的脸部,采集类人体脸部图像中关键特征点信息,其中,类人体脸部图像中关键特征点信息包括该关键特征点的平面位置信息。
如前所述,类人体包括真人和与真人相似的物体。因此,当确定机器人当前行走路线上的障碍不为类人体时,则该障碍不可能是真人;当确定机器人当前行走路线上的障碍为类人体,还需要进一步确认该类人体是否为真人,原因在于,真人的属性和与真人相似的物体的属性仍然具有生理学和/或心理学意义上的本质区别,例如,真人能够理解语义,从而在听到机器人发出的提示语音时可以主动避让机器人,但诸如人体模特的类人体,则无法理解语义,从而无法避让。
为了进一步提高类人体脸部图像的采集精确度,在本申请实施例中,可以在采集类人体脸部图像时,分别通过不同的图像采集装置,在同一时刻从不同位置针对类人体的脸部进行采集至少两幅图像,然后,对该至少两幅类人体脸部图像进行校正,使得该至少两幅类人体脸部图像在水平方向保持一致。在获取水平方向一致的至少两幅类人体脸部图像后,分别对每幅类人体脸部图像进行关键特征点检测,确定每幅类人体脸部图像中若干关键特征点信息。本申请实施例中,关键特征点包括鼻尖点、左眼下眼睑点、右眼下眼睑点、左嘴角点、右嘴角点等在内的65至106个关键点。例如,在确定类人体脸部图像中这些关键特征点后,可以进一步确定这些关键特征点在类人体脸部图像中的平面位置信息和可信度,其中,平面位置信息可以是关键特征点在类人体脸部图像中的二维坐标,可信度用于指示关键特征点在类人体脸部图像中定位的准确度。
步骤S203:根据类人体脸部图像中关键特征点的平面位置信息,获取这些关键特征点的立***置信息。
如前所述,可信度指示了关键特征点在类人体脸部图像中定位的准确度,因此,可以根据每个关键特征点的可信度,选择可信度大于某个阈值的关键特征点,来确定这些关键特征点的立***置信息,例如,关键特征点的在三维坐标系中的三维坐标。具体地,可以基于相似三角形原理,根据每个关键特征点的平面位置信息,计算该关键特征点的立***置信息。
步骤S204:根据关键特征点的立***置信息,得到脸部拟合曲面。
在得到关键特征点的立***置信息,可以采用曲面拟合算法,例如最小二乘法,将这些关键特征点的立***置信息作为拟合因子拟合出一个曲面,该曲面即为脸部拟合曲面。
步骤S205:根据类人体脸部图像中关键特征点与脸部拟合曲面之间的距离,判断机器人当前行走路线上的障碍是否为真人。
一般地,非真人的脸部图像,其关键特征点的深度信息不明显,所拟合得到的脸部拟合曲面一般是平滑的脸部曲面,而关键特征点到这样的脸部拟合曲面的距离也较小,趋近于零,而真人的脸部图像中的关键特征点的深度信息明显,所拟合得到的脸部拟合曲面一般不是平滑的脸部曲面,关键特征点到这样的脸部拟合曲面的距离也较大。基于上述成像特点,在本申请实施例中,根据类人体脸部图像中关键特征点与脸部拟合曲面之间的距离,判断机器人当前行走路线上的障碍是否为真人可以是:计算类人体脸部图像中关键特征点与脸部拟合曲面之间的距离之和,若该距离之和大于动态深度信息阈值,则确定类人体为真人,若该距离之和不大于动态深度信息阈值,则确定该类人体不为真人。上述实施例中,动态深度信息阈值时预先设定的先验深度距离阈值实时确定,其与用于计算关键特征点与脸部拟合曲面之间的距离之和的各关键特征点的可信度相关。
步骤S103:若当前行走路线上的障碍为真人,则启用预置的第一提示模式,以提示真人避让机器人。
具体地,第一提示模式可以选用语音提示、图像提示或语音+图像结合的提示方式。
尽管当前行走路线上的障碍同为真人,但真人之间仍然存在一些区别,例如,幼童与成年人,前者可能无法或不能足够精确理解语义信息,而可以理解图像(包括视频、动画等,视频、动画可以视为连续播放的图像)等形象性的表示方法,后者在智力正常的前提下,一般不存在语义理解上的障碍。因此,针对该区别,可以给予不同的提示方式。具体而言步骤S103可通过如下步骤S1031至步骤S1033实现:
步骤S1031:确定机器人当前行走路线上的真人是否为幼童。
在本申请实施例中,可以通过机器人上集成的图像采集装置,例如摄像头等,采集机器人当前行走路线上的真人的图像,然后,将所采集到的真人的图像与数据库预设的幼童图像从体貌特征上进行匹配,从而确定机器人当前行走路线上的真人是否为幼童。也可以通过采集机器人当前行走路线上的真人的声音信息,来确定机器人当前行走路线上的真人是否幼童,例如,当机器人向真人播放语音时,该真人可能会调皮地以“我不让开”来回应机器人,当机器人采集到“我不让开”的语音信息时,可以根据其声纹特征来确定机器人当前行走路线上的真人是否幼童。
步骤S1032:若真人为幼童,则将幼童周遭环境形成地形特征动画,通过地形特征动画并结合语音提示幼童避让机器人。
如前所述,相对于成年人,幼童对语义信息理解有限,而基于图像再结合语义讲解,则能让幼童理解较为容易地理解语义信息。因此,在本申请实施例中,在确定机器人当前行走路线上的真人为幼童后,可以将幼童周遭环境形成地形特征动画,通过地形特征动画并结合语音提示幼童避让机器人。具体而言,将幼童周遭环境形成地形特征动画,通过地形特征动画并结合语音提示幼童避让机器人可以是:通过感知幼童周遭环境数据,确定机器人当前行走路线的提示信息;由预置的动画处理模型对机器人当前行走路线的提示信息进行特征提取,以形成地形特征动画;将地形特征动画投影至目标投影面上;采用童音对投影至目标投影面上的地形特征动画进行讲解,以引导幼童避让机器人。
步骤S1033:若真人不为幼童,则通过语音和生成的表情图像提示不为幼童的真人避让机器人。
由于成年人对语义的理解能力较强,同时,为了让请求显得更加人性化,作为本申请一个实施例,若真人不为幼童,则通过语音和生成的表情图像提示不为幼童的真人避让机器人可以是:在显示设备上以预设的夸张手法显示所生成的用以表征难为情的表情图像,以固定的间隔周期,循环向所述不为幼童的真人播放所述用以表征难为情的表情图像和具有实际语义的提示语音,请求所述不为幼童的真人避让所述机器人。当成年人看到这些夸张的难为情的表情图像,再加上循环播放这些难为情的表情图像和具有实际语义(例如,请让一让,请让我过去,等等)的提示语音,从人性的角度,一般情况下,这些成年人都会主动避让机器人,让其顺利通过。
步骤S104:若机器人当前行走路线上的障碍不为真人,则启用第二提示模式,以提示场景中的工作人员协助排除非真人的障碍。
具体地,第二提示模块可以选用警示模式。
显然,在机器人当前行走路线上的障碍不为真人时,前述的语音提示模式和/或图像提示模式无法生效或效果不佳(当然,播放语音提示时,场景中的工作人员也可能过来排除非真人的障碍,但与真人的主动避让仍然存在效果上的差别)。因此,若机器人当前行走路线上的障碍不为真人,则启用警示提示模式,以提示场景中的工作人员协助排除非真人的障碍。例如,在启用警示提示模式后,机器人发出声光报警,提示场景中的工作人员机器人遇到非真人的障碍,需要他/她过来协助排除这些非真人的障碍。
进一步地,在步骤S104之后,还可以包括步骤S105:在启用第一提示模式后,或在启用第二提示模式后,若真人仍不避让机器人或非真人的障碍仍未排除,则升级第一提示模式或第二提示模式继续进行提示。
在某些场景下,不排除在启用语音提示模式和/或图像提示模式后,或在启用警示提示模式后,真人仍不避让机器人或非真人的障碍仍未排除。在这种场景下,可以升级提示模式,例如,在启用语音提示模式和/或图像提示模式,循环3次以上向真人进行语音提示和/或图像提示后,真人仍不避让机器人,可以增强语音提示时的语音分贝和/或采用更为夸张的方式,例如,播放生气的表情图像;或者,在启用警示提示模式后,非真人的障碍仍未排除,则加大声光报警的强度,例如,发出更为尖锐的报警声、使报警灯发出强度更大的光或增加报警灯的闪烁频度,等等。
在某些场景下,不排除在升级提示模式后,真人仍不避让机器人或非真人的障碍仍未排除,例如,机器人当前行走路线上的幼童仍然不能理解语音提示和/或图像提示,或者,在医院这种特定场所,机器人当前行走路线上的成年病患虽然能够理解语音提示和/或图像提示,但基于疾病原因,仍然无法主动避让机器人,或者,尽管升级了警示提示模式,但出于其他各种原因,工作人员不能及时到场排除非真人的障碍。在这种场景下,可以根据所述障碍的大小调整当前行走路线在所述障碍周围的绕行轨迹,控制所述机器人以调整过的行走路线行进以避开所述障碍,例如,可以控制机器人采用“<”型或“>”型行走方式避开机器人当前行走路线上的障碍。如图3a所示,机器人可以按照虚线所示,先向右偏离一个小角度,从障碍的右边行走一段距离,然后向左拐(此时,形成一个“>”型路线),回到预先设定的行走路线上;或者,如图3b所示,机器人可以按照虚线所示,先向左偏离一个小角度,从障碍的左边行走一段距离,然后向右拐(此时,形成一个“<”型路线),回到预先设定的行走路线上。由于无论是采用“<”型行走方式,还是采用“>”型行走方式,均只是使机器人从预定路线偏离较小的角度,因此,算法方面并不复杂,无需对机器人进行复杂的训练即可实现。
在其他实施例中,也可以是第一提示模式或第二提示模式或升级第一提示模式或第二提示模式达到预设时间后,如预设时间具体可以为2s、3s或4s等,则可以根据所述障碍的大小调整当前行走路线在所述障碍周围的绕行轨迹,控制所述机器人以调整过的行走路线行进以避开所述障碍。
为了节省电能等资源的消耗,在本申请实施例中,可以在真人避让机器人后,关闭语音提示模式和/或图像提示模式,或在非真人的障碍排除后,关闭警示提示模式。
从上述附图1示例的机器人遇障处理方法可知,在确认障碍是真人时,启用语音提示模式和/或图像提示模式提示真人避让机器人,在确认障碍不是真人时,则启用警示提示模式提示工作人员协助排除障碍,由于无论是语音提示、图像提示、警示提示还是三者的升级,都无需对机器人进行训练,因此,相对于对机器人进行大量训练来排除障碍的方案,一方面,本申请的技术方案成本低廉;另一方面,只要启用了语音提示模式、图像提示模式、警示提示模式或两者的升级模式,即可达到排除障碍的目的,无需如现有技术一样尚有对机器人训练不到位而不能取得预期效果的后顾之忧。
请参阅附图4,是本申请实施例提供的一种机器人遇障处理装置,可以包括停止运行模块401、检测模块402、第一提示模块403、第二提示模块404,进一步地,还可以包括第三提示模块405,详述如下:
停止运行模块401,用于当检测到机器人当前行走路线上存在障碍时,控制机器人在当前行走路线上停止前行;
检测模块402,用于检测机器人当前行走路线上的障碍是否为真人;
第一提示模块403,用于若机器人当前行走路线上的障碍为真人,则启用第一提示模式,以提示真人避让机器人;
第二提示模块404,用于若机器人当前行走路线上的障碍不为真人,则启用第二提示模式,以提示场景中的工作人员协助排除非真人的障碍;
第三提示模块405,用于在第一提示模块403启用第一提示模式后,或在第二提示模块404启用第二提示模式后,若真人仍不避让机器人或非真人的障碍仍未排除,则升级提示模式继续进行提示。
可选地,附图4示例的检测模块402包括第一确定单元、采集单元、立***置信息获取单元、拟合单元和判断单元,其中:
第一确定单元,用于根据图像采集装置获取的障碍的图像,确定机器人当前行走路线上的障碍是否为类人体;
采集单元,用于若机器人当前行走路线上的障碍为类人体,则针对类人体的脸部,采集类人体脸部图像中关键特征点信息,其中,类人体脸部图像中关键特征点信息包括该关键特征点的平面位置信息;
立***置信息获取单元,用于根据类人体脸部图像中关键特征点的平面位置信息,获取这些关键特征点的立***置信息;
拟合单元,用于根据关键特征点的立***置信息,得到脸部拟合曲面;
判断单元,用于根据类人体脸部图像中关键特征点与脸部拟合曲面之间的距离,判断机器人当前行走路线上的障碍是否为真人。
可选地,上述判断单元可包括计算单元和第二确定单元,其中:
计算单元,用于计算类人体脸部图像中关键特征点与脸部拟合曲面之间的距离之和;
第二确定单元,用于若类人体脸部图像中关键特征点与脸部拟合曲面之间的距离之和大于动态深度信息阈值,则确定类人体为真人,若类人体脸部图像中关键特征点与脸部拟合曲面之间的距离之和不大于动态深度信息阈值,则确定该类人体不为真人。
可选地,附图4示例的第一提示模块403可以包括第三确定单元、动画提示单元和音视频提示单元,其中:
第三确定单元,用于确定机器人当前行走路线上的真人是否为幼童;
动画提示单元,用于若机器人当前行走路线上的真人为幼童,则将幼童周遭环境形成地形特征动画,通过地形特征动画并结合语音提示幼童避让机器人;
音视频提示单元,用于若机器人当前行走路线上的真人不为幼童,则通过语音和生成的表情图像提示不为幼童的真人避让机器人。
可选地,上述动画提示单元包括第四确定单元、特征提取单元、投影单元和引导单元,其中:
第四确定单元,用于通过感知幼童周遭环境数据,确定机器人当前行走路线的提示信息;
特征提取单元,用于由预置的动画处理模型对机器人当前行走路线的提示信息进行特征提取,以形成地形特征动画;
投影单元,用于将地形特征动画投影至目标投影面上;
引导单元,采用童音对投影至目标投影面上的地形特征动画进行讲解,以引导幼童避让机器人。
可选地,上述音视频提示单元可包括显示单元和播放单元,其中:
显示单元,用于在显示设备上以夸张手法显示所生成的难为情的表情图像;
播放单元,用于以固定的间隔周期,循环向不为幼童的真人播放难为情的表情图像和具有实际语义的提示语音,以请求不为幼童的真人避让机器人
可选地,附图4示例的装置还可以包括控制模块或关闭模块,其中:
控制模块,用于若在升级提示模式后,真人仍不避让机器人或非真人的障碍仍未排除,则控制机器人采用“<”型或“>”型行走方式避开障碍;
关闭模块,用于在真人避让机器人后,关闭语音提示模式和/或图像提示模式,或在非真人的障碍排除后,关闭警示提示模式。
从以上技术方案的描述中可知,在确认障碍是真人时,启用语音提示模式和/或图像提示模式提示真人避让机器人,在确认障碍不是真人时,则启用警示提示模式提示工作人员协助排除障碍,由于无论是语音提示、图像提示、警示提示还是三者的升级,都无需对机器人进行训练,因此,相对于对机器人进行大量训练来排除障碍的方案,一方面,本申请的技术方案成本低廉;另一方面,只要启用了语音提示模式、图像提示模式、警示提示模式或两者的升级模式,即可达到排除障碍的目的,无需如现有技术一样尚有对机器人训练不到位而不能取得预期效果的后顾之忧。
图5是本申请一实施例提供的设备的结构示意图。如图5所示,该实施例的设备5主要包括:处理器50、存储器51以及存储在存储器51中并可在处理器50上运行的计算机程序52,例如机器人遇障处理方法的程序。处理器50执行计算机程序52时实现上述机器人遇障处理方法实施例中的步骤,例如图1所示的步骤S101至S105。或者,处理器50执行计算机程序52时实现上述各装置实施例中各模块/单元的功能,例如图4所示停止运行模块401、检测模块402、第一提示模块403、第二提示模块404和第三提示模块405的功能。
示例性地,机器人遇障处理方法的计算机程序52主要包括:当检测到机器人当前行走路线上存在障碍时,使机器人在当前行走路线上停止前行;检测机器人当前行走路线上的障碍是否为真人;若机器人当前行走路线上的障碍为真人,则启用语音提示模式和/或图像提示模式,以提示真人避让机器人;若机器人当前行走路线上的障碍不为真人,则启用警示提示模式,以提示场景中的工作人员协助排除非真人的障碍;在启用语音提示模式和/或图像提示模式后,或在启用警示提示模式后,若真人仍不避让机器人或非真人的障碍仍未排除,则升级提示模式。计算机程序52可以被分割成一个或多个模块/单元,一个或者多个模块/单元被存储在存储器51中,并由处理器50执行,以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序52在设备5中的执行过程。例如,计算机程序52可以被分割成停止运行模块401、检测模块402、第一提示模块403、第二提示模块404和第三提示模块405(虚拟装置中的模块)的功能,各模块具体功能如下:停止运行模块401,用于当检测到机器人当前行走路线上存在障碍时,使机器人在当前行走路线上停止前行;检测模块402,用于检测机器人当前行走路线上的障碍是否为真人;第一提示模块403,用于若机器人当前行走路线上的障碍为真人,则启用第一提示模式,如语音提示模式和/或图像提示模式,以提示真人避让机器人;第二提示模块404,用于若机器人当前行走路线上的障碍不为真人,则启用第二提示模式,如警示提示模式,以提示场景中的工作人员协助排除非真人的障碍;第三提示模块405,用于在第一提示模块403启用语音提示模式和/或图像提示模式后,或在第二提示模块404启用警示提示模式后,若真人仍不避让机器人或非真人的障碍仍未排除,则升级提示模式。
设备5可包括但不仅限于处理器50、存储器51。本领域技术人员可以理解,图5仅仅是设备5的示例,并不构成对设备5的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如计算设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器50可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器51可以是设备5的内部存储单元,例如设备5的硬盘或内存。存储器51也可以是设备5的外部存储设备,例如设备5上配备的插接式硬盘,智能存储卡(Smart MediaCard,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器51还可以既包括设备5的内部存储单元也包括外部存储设备。存储器51用于存储计算机程序以及设备所需的其他程序和数据。存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即,将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述装置中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/设备实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个非临时性计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,机器人遇障处理方法的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤,即,当检测到机器人当前行走路线上存在障碍时,使机器人在当前行走路线上停止前行;检测机器人当前行走路线上的障碍是否为真人;若机器人当前行走路线上的障碍为真人,则启用语音提示模式和/或图像提示模式,以提示真人避让机器人;若机器人当前行走路线上的障碍不为真人,则启用警示提示模式,以提示场景中的工作人员协助排除非真人的障碍;在启用语音提示模式和/或图像提示模式后,或在启用警示提示模式后,若真人仍不避让机器人或非真人的障碍仍未排除,则升级提示模式。其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。非临时性计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读内存(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,非临时性计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,非临时性计算机可读介质不包括电载波信号和电信信号。以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。以上所述的具体实施方式,对本申请的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本申请的具体实施方式而已,并不用于限定本申请的保护范围,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种机器人遇障处理方法,其特征在于,所述方法包括:
当检测到机器人当前行走路线上存在障碍时,控制所述机器人在所述当前行走路线上停止前行;
检测所述机器人当前行走路线上的障碍是否为真人;
若所述当前行走路线上的障碍为真人,则进一步根据所述真人具备的语义理解能力,启用预置的第一提示模式中对应的提示方式,以提示所述真人避让所述机器人,包括:确定所述真人是否为幼童;若所述真人为幼童,则将所述幼童周遭环境形成地形特征动画,通过所述地形特征动画并结合语音提示所述幼童避让所述机器人;若所述真人不为幼童,则通过语音和生成的表情图像提示所述不为幼童的真人避让所述机器人;
若所述当前行走路线上的障碍不为真人,则启用预置的第二提示模式,以提示场景中的工作人员协助排除非真人的障碍。
2.如权利要求1所述机器人遇障处理方法,其特征在于,所述方法还包括:
在启用所述第一提示模式或第二提示模式后,若所述真人仍不避让所述机器人或所述非真人的障碍仍未排除,则升级所述第一提示模式或第二提示模式继续进行提示。
3.如权利要求1所述机器人遇障处理方法,其特征在于,所述检测所述机器人当前行走路线上的障碍是否为真人,包括:
根据图像采集装置获取的所述障碍的图像,确定所述障碍是否为类人体;
若所述障碍为类人体,则针对所述类人体的脸部,采集类人体脸部图像中关键特征点信息,所述类人体脸部图像中关键特征点信息包括所述关键特征点的平面位置信息;
根据所述关键特征点的平面位置信息,获取所述关键特征点的立***置信息;
根据所述关键特征点的立***置信息,得到脸部拟合曲面;
根据所述关键特征点与所述脸部拟合曲面之间的距离,判断所述障碍是否为真人。
4.如权利要求3所述机器人遇障处理方法,其特征在于,所述根据所述关键特征点与所述脸部拟合曲面之间的距离,判断所述障碍是否为真人包括:
确定所述关键特征点与所述脸部拟合曲面之间的距离之和;
若所述距离之和大于动态深度信息阈值,则确定所述类人体为真人,否则,确定所述类人体不为真人。
5.如权利要求1所述机器人遇障处理方法,其特征在于,所述将所述幼童周遭环境形成地形特征动画,通过所述地形特征动画并结合语音提示所述幼童避让所述机器人,包括:
通过感知所述幼童周遭环境数据,确定所述机器人当前行走路线的提示信息;
由预置的动画处理模型对所述机器人当前行走路线的提示信息进行特征提取,以形成所述地形特征动画;
将所述地形特征动画投影至目标投影面上;
采用预置的童音音频对所述投影至目标投影面上的地形特征动画进行讲解,以引导所述幼童避让所述机器人。
6.如权利要求2至5任意一项所述机器人遇障处理方法,其特征在于,所述方法还包括:
若在升级所述第一提示模式或第二提示模式后,所述真人仍不避让所述机器人或所述非真人的障碍仍未排除,则根据所述障碍的大小调整当前行走路线在所述障碍周围的绕行轨迹,控制所述机器人以调整过的行走路线行进以避开所述障碍;或者
在所述真人避让所述机器人后,关闭所述第一提示模式,或在所述非真人的障碍排除后,关闭所述第二提示模式。
7.一种机器人遇障处理装置,其特征在于,所述装置包括:
停止运行模块,用于当检测到机器人当前行走路线上存在障碍时,控制所述机器人在所述当前行走路线上停止前行;
检测模块,用于检测所述机器人当前行走路线上的障碍是否为真人;
第一提示模块,用于若所述当前行走路线上的障碍为真人,则进一步根据所述真人具备的语义理解能力,启用第一提示模式中对应的提示方式,以提示所述真人避让所述机器人,包括:确定所述真人是否为幼童;若所述真人为幼童,则将所述幼童周遭环境形成地形特征动画,通过所述地形特征动画并结合语音提示所述幼童避让所述机器人;若所述真人不为幼童,则通过语音和生成的表情图像提示所述不为幼童的真人避让所述机器人;
第二提示模块,用于若所述当前行走路线上的障碍不为真人,则启用第二提示模式,以提示场景中的工作人员协助排除非真人的障碍。
8.一种设备,所述设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任意一项所述方法的步骤。
9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任意一项所述方法的步骤。
CN202011497739.XA 2020-12-17 2020-12-17 机器人遇障处理方法、装置、设备和计算机可读存储介质 Active CN112506204B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011497739.XA CN112506204B (zh) 2020-12-17 2020-12-17 机器人遇障处理方法、装置、设备和计算机可读存储介质
PCT/CN2021/129398 WO2022127439A1 (zh) 2020-12-17 2021-11-08 机器人遇障处理方法、装置、设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011497739.XA CN112506204B (zh) 2020-12-17 2020-12-17 机器人遇障处理方法、装置、设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112506204A CN112506204A (zh) 2021-03-16
CN112506204B true CN112506204B (zh) 2022-12-30

Family

ID=74922230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011497739.XA Active CN112506204B (zh) 2020-12-17 2020-12-17 机器人遇障处理方法、装置、设备和计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN112506204B (zh)
WO (1) WO2022127439A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112506204B (zh) * 2020-12-17 2022-12-30 深圳市普渡科技有限公司 机器人遇障处理方法、装置、设备和计算机可读存储介质
CN113641095B (zh) * 2021-08-18 2024-02-09 苏州英特数智控制***有限公司 基于激光雷达的主动安全靠机控制方法及***

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013086234A (ja) * 2011-10-20 2013-05-13 Panasonic Corp 目的方向通知システム、目的方向通知方法、及び、目的方向通知プログラム
CN106469288A (zh) * 2015-08-12 2017-03-01 中兴通讯股份有限公司 一种提示方法及终端
CN105446682A (zh) * 2015-11-17 2016-03-30 厦门正景智能工程有限公司 一种通过投影将儿童涂画转换为动画仿真互动展示***
CN105740779B (zh) * 2016-01-25 2020-11-13 北京眼神智能科技有限公司 人脸活体检测的方法和装置
CN106054881A (zh) * 2016-06-12 2016-10-26 京信通信***(广州)有限公司 一种执行终端的避障方法及执行终端
CN106272431A (zh) * 2016-09-21 2017-01-04 旗瀚科技有限公司 一种智能人机互动方法
KR102662949B1 (ko) * 2016-11-24 2024-05-02 엘지전자 주식회사 인공지능 이동 로봇 및 그 제어방법
CN107092252A (zh) * 2017-04-11 2017-08-25 杭州光珀智能科技有限公司 一种基于机器视觉的机器人主动避障方法及其装置
CN107272724A (zh) * 2017-08-04 2017-10-20 南京华捷艾米软件科技有限公司 一种体感飞行装置及其控制方法
CN109709945B (zh) * 2017-10-26 2022-04-15 深圳市优必选科技有限公司 一种基于障碍物分类的路径规划方法、装置及机器人
WO2019127262A1 (zh) * 2017-12-28 2019-07-04 深圳前海达闼云端智能科技有限公司 基于云端的人脸活体检测方法、电子设备和程序产品
CN108344414A (zh) * 2017-12-29 2018-07-31 中兴通讯股份有限公司 一种地图构建、导航方法及装置、***
CN108958263A (zh) * 2018-08-03 2018-12-07 江苏木盟智能科技有限公司 一种机器人避障方法及机器人
CN109291064A (zh) * 2018-11-18 2019-02-01 赛拓信息技术有限公司 餐厅智能送餐机器人
CN109571468B (zh) * 2018-11-27 2021-03-02 深圳市优必选科技有限公司 安防巡检机器人及安防巡检方法
US20200201337A1 (en) * 2018-12-20 2020-06-25 Jason Yan Anti-drop-off system for robot
CN109571502A (zh) * 2018-12-30 2019-04-05 深圳市普渡科技有限公司 机器人配送方法
CN110033612B (zh) * 2019-05-21 2021-05-04 上海木木聚枞机器人科技有限公司 一种基于机器人的行人提醒方法、***及机器人
CN110442126A (zh) * 2019-07-15 2019-11-12 北京三快在线科技有限公司 一种移动机器人及其避障方法
CN111966088B (zh) * 2020-07-14 2022-04-05 合肥工业大学 一种自动驾驶儿童玩具车控制***及控制方法
CN111930127B (zh) * 2020-09-02 2021-05-18 广州赛特智能科技有限公司 一种机器人障碍物识别及避障方法
CN112506204B (zh) * 2020-12-17 2022-12-30 深圳市普渡科技有限公司 机器人遇障处理方法、装置、设备和计算机可读存储介质

Also Published As

Publication number Publication date
WO2022127439A1 (zh) 2022-06-23
CN112506204A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN112506204B (zh) 机器人遇障处理方法、装置、设备和计算机可读存储介质
US10362429B2 (en) Systems and methods for generating spatial sound information relevant to real-world environments
KR102615196B1 (ko) 객체 검출 모델 트레이닝 장치 및 방법
US10535199B1 (en) Systems and methods for determining a safety boundary for a mobile artificial reality user
US9355368B2 (en) Computer-based method and system for providing active and automatic personal assistance using a robotic device/platform
Guerrero-Higueras et al. Tracking people in a mobile robot from 2d lidar scans using full convolutional neural networks for security in cluttered environments
US11407116B2 (en) Robot and operation method therefor
US20170205892A1 (en) Active region determination for head mounted displays
US9517559B2 (en) Robot control system, robot control method and output control method
US20190049955A1 (en) Driver state recognition apparatus, driver state recognition system, and driver state recognition method
US9922236B2 (en) Wearable eyeglasses for providing social and environmental awareness
US10024667B2 (en) Wearable earpiece for providing social and environmental awareness
CN106660205B (zh) 用于处理类人机器人与人类交互的***、方法和计算机程序产品
US10024679B2 (en) Smart necklace with stereo vision and onboard processing
JP2023500994A (ja) 障害物認識方法、装置、自律移動機器及び記憶媒体
GB2527207A (en) Mobile human interface robot
CN109106563A (zh) 一种基于深度学习算法的自动化导盲装置
CN115423865A (zh) 障碍物检测方法、装置、割草机器人以及存储介质
Li et al. A wearable device for indoor imminent danger detection and avoidance with region-based ground segmentation
US20240210944A1 (en) Method for controlling robot, robot, and recording medium
CN110801229A (zh) 视力保护监测方法、***、设备及存储介质
WO2021011784A1 (en) Remote physiological data sensing robot
US20240142997A1 (en) Method for controlling robot, robot, and recording medium
Wozniak et al. Depth sensor based detection of obstacles and notification for virtual reality systems
US11986959B2 (en) Information processing device, action decision method and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant