CN109048940A - 一种机器人的人机交互方法及机器人 - Google Patents
一种机器人的人机交互方法及机器人 Download PDFInfo
- Publication number
- CN109048940A CN109048940A CN201810997559.4A CN201810997559A CN109048940A CN 109048940 A CN109048940 A CN 109048940A CN 201810997559 A CN201810997559 A CN 201810997559A CN 109048940 A CN109048940 A CN 109048940A
- Authority
- CN
- China
- Prior art keywords
- face
- robot
- frame image
- current frame
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明提供了一种机器人的人机交互方法及机器人，其方法包括：获取摄像区域的当前帧图像，并检测所述当前帧图像中是否出现人脸；若所述当前帧图像中出现人脸，则获取所述人脸在所述当前帧图像中的像素坐标；根据所述当前帧图像的中心坐标以及所述人脸在所述当前帧图像中的像素坐标，控制机器人头部进行转动，使所述人脸在所述当前帧图像中的像素坐标位于所述当前帧图像的中心区域范围内。本发明能够根据用户面部所在方位，调整机器人头部朝向，使机器人能够实现与用户的面对面交流，增加用户的交互体验。
Description
技术领域
本发明涉及机器人领域，尤指一种机器人的人机交互方法及机器人。
背景技术
随着机器人行业的不断发展，生活中出现了越来越多的服务型机器人，为人们带来了许多便利。例如在机场中出现服务机器人，能够为人们提供航班信息查询、打印登机牌等服务，在医院中的服务机器人能够为病人提供挂号、引路等服务，在银行中的服务机器人能够为用户提供金融咨询、账户查询等服务。
服务机器人在工作时，不可避免的会与用户进行语音交互。而众所周知的，面对面交流是人与人之间最基本的礼貌，即便是与机器人之间的交流，用户多少也会有这方面的体验。但是在现有的人机交互过程中，机器人只是单纯的进行语音交流，并不能根据用户的所在位置或者用户面部所在方位，调整机器人头部的朝向，使机器人与用户进行面对面交流，一定程度地降低用户的交互体验。
因此，针对上述问题，本发明提供了一种机器人的人机交互方法及机器人。
发明内容
本发明的目的是提供一种机器人的人机交互方法及机器人，能够根据用户面部所在方位，调整机器人头部朝向，使机器人能够实现与用户的面对面交流，增加用户的交互体验。
本发明提供的技术方案如下：
本发明提供了一种机器人的人机交互方法，包括步骤：
获取摄像区域的当前帧图像，并检测所述当前帧图像中是否出现人脸；
若所述当前帧图像中出现人脸，则获取所述人脸在所述当前帧图像中的像素坐标；
根据所述当前帧图像的中心坐标以及所述人脸在所述当前帧图像中的像素坐标，控制机器人头部进行转动，使所述人脸在所述当前帧图像中的像素坐标位于所述当前帧图像的中心区域范围内。
本方案中，机器人能够根据当前帧图像中的人脸所在的位置，调整机器人头部的偏转方向，在与用户的人机交互中，机器人始终保持其面部朝向用户，提高了用户在交互过程中的体验感。
优选的，根据所述当前帧图像的中心坐标以及所述人脸在所述当前帧图像中的像素坐标，控制机器人头部进行转动，此步骤具体包括：
获取所述人脸在所述当前帧图像中的深度信息；
根据所述人脸在所述当前帧图像中的深度信息，所述人脸在所述当前帧图像中的像素坐标与所述当前帧图像的中心坐标之间的坐标距离，计算出所述机器人头部的偏转角度；
根据所述机器人头部的偏转角度调整机器人头部的偏转方向。
本方案中，机器人可通过深度相机获取人脸在所述当前帧图像中的深度信息，然后根据人脸的深度信息以及人脸在当前帧图像中的像素坐标与当前帧图像的中心坐标之间的坐标距离，计算出机器人面部朝向人脸时，机器人头部需要转动的角度，便于机器人控制其头部进行转动。
优选的，还包括步骤：
当所述当前帧图像中所述人脸丢失时，根据所述人脸在摄像区域的若干历史帧图像中的像素坐标，得到所述人脸的移动方向；
根据人脸的移动方向，调整机器人头部的偏转方向，直到摄像区域的当前帧图像中重新出现所述人脸。
本方案中，考虑到用户在与机器人进行交流时，可能会移动底盘或头部，造成当前帧图像中的人脸丢失，此时，机器人可根据人脸的移动方向，重新调整机器人头部的偏转方向，使机器人能够保持与用户的面对面交流，提高用户的使用体验。
优选的，还包括步骤：
当所述机器人头部的转动角度达到所述机器人头部的最大转动角度，当前帧图像中仍未出现所述人脸时，根据所述人脸的移动方向，调整所述机器人底盘的偏转方向，直到摄像区域的当前帧图像中重新出现所述人脸。
本方案中，机器人将头部转动到最大值时仍未获取到人脸时，则会转动机器人底盘，使机器人够保持与用户的面对面交流，提高用户的使用体验。
优选的，调整所述机器人底盘的偏转方向，直到摄像区域的当前帧图像中重新出现所述人脸，此步骤具体包括：
检测人体相对于机器人的位置；
根据人体相对于机器人的位置，计算出机器人底盘的偏转角度；
根据所述机器人底盘的偏转角度，重新调整机器人底盘的偏转方向，直到摄像区域的当前帧图像中重新出现所述人脸。
本方案中，机器人可通过激光雷达或者超声波雷达检测人体的位置，然后根据人体相对于机器人的位置，计算出机器人底盘的偏转角度，便于机器人控制其底盘进行转动。
本发明还提供了一种机器人，机器人包括：
图像获取模块，用于获取摄像区域的当前帧图像；
人脸检测模块，与所述图像获取模块电连接，用于检测所述当前帧图像中是否出现人脸；
坐标获取模块，与所述人脸检测模块电连接，用于若所述当前帧图像中出现人脸，则获取所述人脸在所述当前帧图像中的像素坐标；
头部转动控制模块，与所述坐标获取模块电连接，用于根据所述当前帧图像的中心坐标以及所述人脸在所述当前帧图像中的像素坐标，控制机器人头部进行转动，使所述人脸在所述当前帧图像中的像素坐标位于所述当前帧图像的中心区域范围内。
本方案中，机器人能够根据当前帧图像中的人脸所在的位置，调整机器人头部的偏转方向，在与用户的人机交互中，机器人始终保持其面部朝向用户，提高了用户在交互过程中的体验感。
优选的，所述机器人还包括：
深度信息获取模块，用于获取所述人脸在所述当前帧图像中的深度信息；
计算模块，与所述深度信息获取模块电连接，用于根据所述人脸在所述当前帧图像中的深度信息，所述人脸在所述当前帧图像中的像素坐标与所述当前帧图像的中心坐标之间的坐标距离，计算出所述机器人头部的偏转角度；
所述头部转动控制模块，与所述计算模块电连接，用于根据所述机器人头部的偏转角度调整机器人头部的偏转方向，使所述人脸在所述当前帧图像中的像素坐标位于所述当前帧图像的中心区域范围内。
本方案中，机器人可通过深度相机获取人脸在所述当前帧图像中的深度信息，然后根据人脸的深度信息以及人脸在当前帧图像中的像素坐标与当前帧图像的中心坐标之间的坐标距离，计算出机器人面部朝向人脸时，机器人头部需要转动的角度，便于机器人控制其头部进行转动。
优选的，所述机器人还包括：人脸移动检测模块，与所述人脸检测模块电连接，还用于当所述人脸移动检测模块检测到所述当前帧图像中所述人脸丢失时，根据所述人脸在摄像区域的若干历史帧图像中的像素坐标，得到所述人脸的移动方向；
所述头部转动控制模块，还与所述人脸移动检测模块电连接，用于根据人脸的移动方向，调整机器人头部的偏转方向，直到摄像区域的当前帧图像中重新出现所述人脸。
本方案中，考虑到用户在与机器人进行交流时，可能会移动底盘或头部，造成当前帧图像中的人脸丢失，此时，机器人可根据人脸的移动方向，重新调整机器人头部的偏转方向，使机器人能够保持与用户的面对面交流，提高用户的使用体验。
优选的，所述机器人还包括：底盘转动控制模块，分别与所述人脸移动检测模块、所述头部转动控制模块电连接，用于当所述机器人头部的转动角度达到所述机器人头部的最大转动角度，当前帧图像中仍未出现所述人脸时，根据所述人脸的移动方向，调整所述机器人底盘的偏转方向，直到摄像区域的当前帧图像中重新出现所述人脸。
本方案中，机器人将头部转动到最大值时仍未获取到人脸时，则会转动机器人底盘，使机器人够保持与用户的面对面交流，提高用户的使用体验。
优选的，所述机器人还包括：
人体检测模块，用于检测人体相对于机器人的位置；
计算模块，与所述人体检测模块电连接，用于根据人体相对于机器人的位置，计算出机器人底盘的偏转角度；
底盘转动控制模块，与所述计算模块电连接，根据所述机器人底盘的偏转角度，重新调整机器人底盘的偏转方向，直到摄像区域的当前帧图像中重新出现所述人脸。
本方案中，机器人可通过激光雷达或者超声波雷达检测人体的位置，然后根据人体相对于机器人的位置，计算出机器人底盘的偏转角度，便于机器人控制其底盘进行转动。
通过本发明提供的一种机器人的人机交互方法及机器人，能够带来以下至少一种有益效果：
本方案中，机器人能够根据当前帧图像中的人脸所在的位置，或人脸的移动方向，调整机器人头部的偏转方向和/或机器人底盘的偏转方向，使机器人与用户的人机交互中始终保持其面部朝向用户，提高了用户在交互过程中的体验感。
附图说明
下面将以明确易懂的方式，结合附图说明优选实施方式，对一种机器人的人机交互方法及机器人的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明一种机器人的人机交互方法的一个实施例的流程图；
图2是本发明一个实施例中当前帧图像的一个示意图；
图3是本发明一种机器人的人机交互方法的另一个实施例的流程图；
图4是本发明一个实施例中人脸在当前帧图像的成像图；
图5是本发明一种机器人的人机交互方法的另一个实施例的流程图；
图6是本发明一种机器人的人机交互方法的另一个实施例的流程图；
图7是本发明一种机器人的一个实施例的结构示意图；
图8是本发明一种机器人的另一个实施例的结构示意图。
附图标号说明：
1-图像获取模块，2-人脸检测模块，3-坐标获取模块，4-头部转动控制模块，5-深度信息获取模块，6-计算模块，7-人脸移动检测模块，8-底盘转动控制模块，9-人体检测模块。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
如图1所示，本发明提供了一种机器人的人机交互方法的一个实施例，包括：
S1获取摄像区域的当前帧图像，并检测所述当前帧图像中是否出现人脸；
S2若所述当前帧图像中出现人脸，则获取所述人脸在所述当前帧图像中的像素坐标；
S3根据所述当前帧图像的中心坐标以及所述人脸在所述当前帧图像中的像素坐标，控制机器人头部进行转动，使所述人脸在所述当前帧图像中的像素坐标位于所述当前帧图像的中心区域范围内。
具体的，在现有技术中，很多机器人的头部和身体是相对固定的，在机器人进行人机交互时，只是单纯地和用户进行对话，并不能根据用户的所在位置调整机器人的头部，使机器人与用户进行面对面交流。而众所周知的是，面对面交流是最基本的谈话礼节，即便交流的一方是机器人，用户的交互体验多多少少也会有所折扣。
而本发明为了解决上述问题，可在机器人的头部正前方安装摄像装置，摄像装置获取的摄像区域即是机器人正前方区域，可模拟人眼睛直视正前方所看到的区域。机器人在工作时，摄像装置将采集到的每一帧图像都发送至机器人，机器人通过图像识别技术，识别当前帧图像中是否出现人脸。若当前帧图像中没有出现人脸，机器人则继续检测；若当前帧图像中出现人脸，机器人可通过图像识别定位出当前帧图像中的人脸，并计算出人脸在图像坐标系(可以以当前帧图像的左上角为坐标圆点建立图像坐标系，以其他方式在当前帧图像上建立坐标系亦可)中的像素坐标。
另外，在图像坐标系建立之后，可得到当前帧图像中心点的中心坐标，中心点即可以理解为机器人正前方焦点，好比人在注视正前方时眼睛的聚焦点。结合中心点在当前帧图像的中心坐标以及人脸在当前帧图像的像素坐标，即可得到人脸相对于机器人正前方焦点的相对方向，机器人可控制其头部沿着相对方向转动，使人脸出现在机器人头部的正前方，即所述人脸在所述当前帧图像中的像素坐标位于当前帧图像的中心区域范围内。本实施例中的当前帧图像的中心区域可以以当前帧图像的中心点为圆点，一定像素长度为半径所形成的圆形区域，也可以是当前帧图像的中心点为中心的其他图形区域。
例如，如图2所示，在当前帧图像中，人脸位于中心点的左上方45度，机器人可控制其头部，向左上方45度方向进行缓慢转动，直到获取到的当前帧图像中，人脸的所在位置位于中心区域范围内。
如图3所示，本发明提供了一种机器人的人机交互方法的一个实施例，包括：
S1获取摄像区域的当前帧图像，并检测所述当前帧图像中是否出现人脸；
S2若所述当前帧图像中出现人脸，则获取所述人脸在所述当前帧图像中的像素坐标；
S31获取所述人脸在所述当前帧图像中的深度信息；
S32根据所述人脸在所述当前帧图像中的深度信息，所述人脸在所述当前帧图像中的像素坐标与所述当前帧图像的中心坐标之间的坐标距离，计算出所述机器人头部的偏转角度；
S33根据所述机器人头部的偏转角度调整机器人头部的偏转方向，使所述人脸在所述当前帧图像中的像素坐标位于所述当前帧图像的中心区域范围内。
具体的，机器人头部的眼睛内可安装深度相机，模拟人体的眼睛，机器人可通过深度相机获取射向区域的当前帧图像，然后根据图像识别技术检测当前帧图像中是否出现人脸。若当前帧图像中没有出现人脸，机器人则继续检测；若当前帧图像中出现人脸，机器人可通过图像识别定位出当前帧图像中的人脸，并计算出人脸在图像坐标系中的像素坐标。同时深度相机可获取人脸在当前帧图像中的深度信息(即人脸与深度相机之间的距离)。
如图4所示，点A是人脸在当前帧图像中的成像点，点B是当前帧图像的中心点，点C是人脸的实际所在位置，点D是机器人“眼睛”的正前方焦点，即机器人头部正对点。
根据人脸在当前帧图像中的像素坐标与当前帧图像的中心坐标之间的坐标距离(即AB点距离)，以及人脸的深度信息(即AC距离)，可计算出机器人头部朝向相对于机器人头部与人脸之间直线方向的夹角θ(即实施例中所述的偏转角度)，tanθ＝AB/AC，θ＝arctan(AB/AC)。机器人再根据偏转角度θ，以及人脸相对于中心点的方向，控制机器人头部向人脸所在方向偏转θ角度，使所述人脸在所述当前帧图像中的像素坐标位于所述当前帧图像的中心区域范围内。
如图5所示，本发明提供了一种机器人的人机交互方法的一个实施例，包括：
S1获取摄像区域的当前帧图像，并检测所述当前帧图像中是否出现人脸；
S2若所述当前帧图像中出现人脸，则获取所述人脸在所述当前帧图像中的像素坐标；
S31获取所述人脸在所述当前帧图像中的深度信息；
S32根据所述人脸在所述当前帧图像中的深度信息，所述人脸在所述当前帧图像中的像素坐标与所述当前帧图像的中心坐标之间的坐标距离，计算出所述机器人头部的偏转角度；
S33根据所述机器人头部的偏转角度调整机器人头部的偏转方向，使所述人脸在所述当前帧图像中的像素坐标位于所述当前帧图像的中心区域范围内。
S41当所述当前帧图像中所述人脸丢失时，根据所述人脸在摄像区域的若干历史帧图像中的像素坐标，得到所述人脸的移动方向；
S42根据人脸的移动方向，调整机器人头部的偏转方向，直到摄像区域的当前帧图像中重新出现所述人脸。
S43当所述机器人头部的转动角度达到所述机器人头部的最大转动角度，当前帧图像中仍未出现所述人脸时，调整所述机器人底盘的偏转方向，直到摄像区域的当前帧图像中重新出现所述人脸。
具体的，在实际应用中，机器人会实时根据用户的头部进行转动，但是机器人头部的转动速度可能会跟不上用户头部的移动速度，导致机器人采集到的当前帧图像中的人脸丢失。此时，机器人可在采集到的若干张历史帧图像中获取人脸在每一帧的像素坐标，得到人脸的移动方向。机器人再根据人脸的移动方向，调整机器人头部的偏转方向。例如，通过检测人脸在摄像区域的若干历史帧图像中的像素坐标，检测出人脸是往左边移动的，机器人可控制其头部向左方向转动，直到摄像区域的当前帧图像中重新出现所述人脸。
由于机器人头部和身体之间的连接关系限制，机器人头部的转动角度有最大限度，因此当所述机器人头部的转动角度达到所述机器人头部的最大转动角度，当前帧图像中仍未出现所述人脸时，机器人可根据所述人脸的移动方向，调整所述机器人底盘的偏转方向，例如人脸移动方向是向左移动时，机器人可调整其底盘向左方向转动，直到摄像区域的当前帧图像中重新出现所述人脸。
如图6所示，本发明提供了一种机器人的人机交互方法的一个实施例，包括：
S1获取摄像区域的当前帧图像，并检测所述当前帧图像中是否出现人脸；
S2若所述当前帧图像中出现人脸，则获取所述人脸在所述当前帧图像中的像素坐标；
S31获取所述人脸在所述当前帧图像中的深度信息；
S32根据所述人脸在所述当前帧图像中的深度信息，所述人脸在所述当前帧图像中的像素坐标与所述当前帧图像的中心坐标之间的坐标距离，计算出所述机器人头部的偏转角度；
S33根据所述机器人头部的偏转角度调整机器人头部的偏转方向，使所述人脸在所述当前帧图像中的像素坐标位于所述当前帧图像的中心区域范围内。
S41当所述当前帧图像中所述人脸丢失时，根据所述人脸在摄像区域的若干历史帧图像中的像素坐标，得到所述人脸的移动方向；
S42根据人脸的移动方向，调整机器人头部的偏转方向，直到摄像区域的当前帧图像中重新出现所述人脸。
S431当所述机器人头部的转动角度达到所述机器人头部的最大转动角度，当前帧图像中仍未出现所述人脸时，检测人体相对于机器人的位置；
S432根据人体相对于机器人的位置，计算出机器人底盘的偏转角度；
S433根据所述机器人底盘的偏转角度，重新调整机器人底盘的偏转方向，直到摄像区域的当前帧图像中重新出现所述人脸。
具体的，本实施例中，机器人底盘上可安装激光雷达或超声波雷达，当所述机器人头部的转动角度达到所述机器人头部的最大转动角度，当前帧图像中仍未出现所述人脸时，机器人可通过激光雷达或超声波雷达检测周围是否有人体，若周围没有人体，则说明与机器人交互的人已经走开；若周围有人体，则检测人体相对于机器人的位置。
然后机器人根据人体相对于机器人的位置，计算出机器人底盘的偏转角度；例如，人***于机器人正前方偏左30度，则可得到机器人底盘的偏转角度为前偏左30度，机器人即可根据偏转角度，控制机器人底盘进行转动，直到摄像区域的当前帧图像中重新出现人脸。
如图7所示，本发明提供了一种机器人的一个实施例，机器人包括：
图像获取模块1，用于获取摄像区域的当前帧图像；
人脸检测模块2，与所述图像获取模块1电连接，用于检测所述当前帧图像中是否出现人脸；
坐标获取模块3，与所述人脸检测模块2电连接，用于若所述当前帧图像中出现人脸，则获取所述人脸在所述当前帧图像中的像素坐标；
头部转动控制模块4，与所述坐标获取模块3电连接，用于根据所述当前帧图像的中心坐标以及所述人脸在所述当前帧图像中的像素坐标，控制机器人头部进行转动，使所述人脸在所述当前帧图像中的像素坐标位于所述当前帧图像的中心区域范围内。
具体的，在现有技术中，很多机器人的头部和身体是相对固定的，在机器人进行人机交互时，只是单纯地和用户进行对话，并不能根据用户的所在位置调整机器人的头部，使机器人与用户进行面对面交流。而众所周知的是，面对面交流是最基本的谈话礼节，即便交流的一方是机器人，用户的交互体验多多少少也会有所折扣。
而本发明为了解决上述问题，可在机器人的头部正前方安装图像获取模块1，所述图像获取模块包括摄像装置，深度相机等，图像获取模块1获取的摄像区域即是机器人正前方区域，可模拟人眼睛直视正前方所看到的区域。图像获取模块1将采集到的每一帧图像都发送至机器人，机器人根据图像识别技术，通过人脸检测模块2识别当前帧图像中是否出现人脸。若当前帧图像中没有出现人脸，机器人则继续检测；若当前帧图像中出现人脸，机器人可通过图像识别定位出当前帧图像中的人脸，并通过坐标获取模块3计算出人脸在图像坐标系(可以以当前帧图像的左上角为坐标圆点建立图像坐标系，以其他方式在当前帧图像上建立坐标系亦可)中的像素坐标。
另外，在图像坐标系建立之后，可得到当前帧图像中心点的中心坐标，中心点即可以理解为机器人正前方焦点，好比人在注视正前方时眼睛的聚焦点。结合中心点在当前帧图像的中心坐标以及人脸在当前帧图像的像素坐标，即可得到人脸相对于机器人正前方焦点的相对方向，机器人可通过头部转动控制模块4控制其头部沿着相对方向转动，使人脸出现在机器人头部的正前方，即所述人脸在所述当前帧图像中的像素坐标位于当前帧图像的中心区域范围内。本实施例中的当前帧图像的中心区域可以以当前帧图像的中心点为圆点，预设像素长度为半径所形成的圆形区域，也可以是当前帧图像的中心点为中心的其他图形区域。
例如，如图2所示，在当前帧图像中，人脸位于中心点的左上方45度，机器人可通过头部转动控制模块4控制其头部，向左上方45度方向进行缓慢转动，直到获取到的当前帧图像中，人脸的所在位置位于中心区域范围内。
如图7所示，本发明提供了一种机器人的一个实施例，机器人包括：
图像获取模块1，用于获取摄像区域的当前帧图像；
人脸检测模块2，与所述图像获取模块1电连接，用于检测所述当前帧图像中是否出现人脸；
坐标获取模块3，与所述人脸检测模块2电连接，用于若所述当前帧图像中出现人脸，则获取所述人脸在所述当前帧图像中的像素坐标；
深度信息获取模块5，用于获取所述人脸在所述当前帧图像中的深度信息；
计算模块6，与所述深度信息获取模块5电连接，用于根据所述人脸在所述当前帧图像中的深度信息，所述人脸在所述当前帧图像中的像素坐标与所述当前帧图像的中心坐标之间的坐标距离，计算出所述机器人头部的偏转角度；
所述头部转动控制模块4，与所述计算模块6电连接，用于根据所述机器人头部的偏转角度调整机器人头部的偏转方向，使所述人脸在所述当前帧图像中的像素坐标位于所述当前帧图像的中心区域范围内。
所述机器人还包括：人脸移动检测模块7，与所述人脸检测模块2电连接，还用于当所述人脸移动检测模块7检测到所述当前帧图像中所述人脸丢失时，根据所述人脸在摄像区域的若干历史帧图像中的像素坐标，得到所述人脸的移动方向；
所述头部转动控制模块4，还与所述人脸移动检测模块7电连接，用于根据人脸的移动方向，调整机器人头部的偏转方向，直到摄像区域的当前帧图像中重新出现所述人脸。
底盘转动控制模块8，分别与所述人脸移动检测模块7、所述头部转动控制模块4电连接，用于当所述机器人头部的转动角度达到所述机器人头部的最大转动角度，当前帧图像中仍未出现所述人脸时，根据所述人脸的移动方向，调整所述机器人底盘的偏转方向，直到摄像区域的当前帧图像中重新出现所述人脸。
优选的，所述机器人还包括：
人体检测模块9，用于检测人体相对于机器人的位置；
计算模块6，与所述人体检测模块9电连接，用于根据人体相对于机器人的位置，计算出机器人底盘的偏转角度；
所述底盘转动控制模块8，还与所述计算模块6电连接，根据所述机器人底盘的偏转角度，重新调整机器人底盘的偏转方向，直到摄像区域的当前帧图像中重新出现所述人脸。
具体的，机器人头部的眼部可安装深度相机，模拟人体的眼睛，机器人可通过深度相机获取射向区域的当前帧图像，然后根据图像识别技术检测当前帧图像中是否出现人脸。若当前帧图像中没有出现人脸，机器人则继续检测；若当前帧图像中出现人脸，机器人可通过图像识别定位出当前帧图像中的人脸，并计算出人脸在图像坐标系中的像素坐标。同时深度相机可获取人脸在当前帧图像中的深度信息(即人脸与深度相机之间的距离)。
如图4所示，点A是人脸在当前帧图像中的成像点，点B是当前帧图像的中心点，点C是人脸的实际所在位置，点D是机器人“眼睛”的正前方焦点。
根据人脸在当前帧图像中的像素坐标与当前帧图像的中心坐标之间的坐标距离，即AB点距离，以及人脸的深度信息即AC距离，可计算出机器人头部朝向相对于机器人头部与人脸之间直线方向的夹角θ(即实施例中所述的偏转角度)，tanθ＝AB/AC，θ＝arctan(AB/AC)。机器人再根据偏转角度θ，以及人脸相对于中心点的方向，控制机器人头部向人脸所在方向偏转θ角度，使所述人脸在所述当前帧图像中的像素坐标位于所述当前帧图像的中心区域范围内。
在实际应用中，机器人会实时根据用户的头部进行转动，但是机器人头部的转动速度可能会跟不上用户头部的移动速度，导致机器人采集到的当前帧图像中的人脸丢失。此时，机器人可根据采集到的若干张历史帧图像中，获取人脸的像素坐标，得到人脸的移动方向。机器人再根据人脸的移动方向，调整机器人头部的偏转方向。例如，通过检测人脸在摄像区域的若干历史帧图像中的像素坐标，检测出人脸是往左边移动的，机器人可通过头部转动控制模块4控制其头部向左方向转动，直到摄像区域的当前帧图像中重新出现所述人脸。
由于机器人头部和身体之间的连接关系限制，机器人头部的转动角度有最大限度，因此当所述机器人头部的转动角度达到所述机器人头部的最大转动角度，当前帧图像中仍未出现所述人脸时，机器人可根据所述人脸的移动方向，调整所述机器人底盘的偏转方向，例如人脸移动方向是向左移动时，机器人可通过底盘转动控制模块8调整其底盘向左方向转动，直到摄像区域的当前帧图像中重新出现所述人脸。
机器人底盘上可安装激光雷达或超声波雷达，当所述机器人头部的转动角度达到所述机器人头部的最大转动角度，当前帧图像中仍未出现所述人脸时，机器人可通过激光雷达或超声波雷达检测周围是否有人体，若周围没有人体，则说明与机器人交互的人已经走开；若周围有人体，则检测人体相对于机器人的位置。
然后机器人根据人体相对于机器人的位置，计算出机器人底盘的偏转角度；例如，人***于机器人正前方偏左30度，则可得到机器人底盘的偏转角度为前偏左30度，机器人的底盘转动控制模块8即可根据偏转角度，控制机器人底盘进行转动，直到摄像区域的当前帧图像中重新出现所述人脸。
应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种机器人的人机交互方法，其特征在于，包括：
获取摄像区域的当前帧图像，并检测所述当前帧图像中是否出现人脸；
若所述当前帧图像中出现人脸，则获取所述人脸在所述当前帧图像中的像素坐标；
根据所述当前帧图像的中心坐标以及所述人脸在所述当前帧图像中的像素坐标，控制机器人头部进行转动，使所述人脸在所述当前帧图像中的像素坐标位于所述当前帧图像的中心区域范围内。
2.根据权利要求1所述的一种机器人的人机交互方法，其特征在于，根据所述当前帧图像的中心坐标以及所述人脸在所述当前帧图像中的像素坐标，控制机器人头部进行转动，此步骤具体包括：
获取所述人脸在所述当前帧图像中的深度信息；
根据所述人脸在所述当前帧图像中的深度信息，所述人脸在所述当前帧图像中的像素坐标与所述当前帧图像的中心坐标之间的坐标距离，计算出所述机器人头部的偏转角度；
根据所述机器人头部的偏转角度调整所述机器人头部的偏转方向。
3.根据权利要求1所述的一种机器人的人机交互方法，其特征在于，还包括步骤：
当所述当前帧图像中所述人脸丢失时，根据所述人脸在所述摄像区域的若干历史帧图像中的像素坐标，得到所述人脸的移动方向；
根据人脸的移动方向，调整所述机器人头部的偏转方向，直到摄像区域的当前帧图像中重新出现所述人脸。
4.根据权利要求3所述的一种机器人的人机交互方法，其特征在于，还包括步骤：
当所述机器人头部的转动角度达到所述机器人头部的最大转动角度，所述当前帧图像中仍未出现所述人脸时，调整所述机器人底盘的偏转方向，直到所述摄像区域的当前帧图像中重新出现所述人脸。
5.根据权利要求4所述的一种机器人的人机交互方法，其特征在于，调整所述机器人底盘的偏转方向，直到摄像区域的当前帧图像中重新出现所述人脸，此步骤具体包括：
检测人体相对于机器人的位置；
根据所述人体相对于所述机器人的位置，计算出所述机器人底盘的偏转角度；
根据所述机器人底盘的偏转角度，重新调整所述机器人底盘的偏转方向，直到所述摄像区域的当前帧图像中重新出现所述人脸。
6.一种机器人，其特征在于，机器人包括：
图像获取模块，用于获取摄像区域的当前帧图像；
人脸检测模块，与所述图像获取模块电连接，用于检测所述当前帧图像中是否出现人脸；
坐标获取模块，与所述人脸检测模块电连接，用于若所述当前帧图像中出现人脸，则获取所述人脸在所述当前帧图像中的像素坐标；
头部转动控制模块，与所述坐标获取模块电连接，用于根据所述当前帧图像的中心坐标以及所述人脸在所述当前帧图像中的像素坐标，控制机器人头部进行转动，使所述人脸在所述当前帧图像中的像素坐标位于所述当前帧图像的中心区域范围内。
7.根据权利要求6所述的一种机器人，其特征在于，所述机器人还包括：
深度信息获取模块，用于获取所述人脸在所述当前帧图像中的深度信息；
计算模块，与所述深度信息获取模块电连接，用于根据所述人脸在所述当前帧图像中的深度信息，所述人脸在所述当前帧图像中的像素坐标与所述当前帧图像的中心坐标之间的坐标距离，计算出所述机器人头部的偏转角度；
所述头部转动控制模块，与所述计算模块电连接，用于根据所述机器人头部的偏转角度调整所述机器人头部的偏转方向，使所述人脸在所述当前帧图像中的像素坐标位于所述当前帧图像的中心区域范围内。
8.根据权利要求6所述的一种机器人，其特征在于：
所述机器人还包括：人脸移动检测模块，与所述人脸检测模块电连接，还用于当所述人脸移动检测模块检测到所述当前帧图像中所述人脸丢失时，根据所述人脸在所述摄像区域的若干历史帧图像中的像素坐标，得到所述人脸的移动方向；
所述头部转动控制模块，还与所述人脸移动检测模块电连接，用于根据人脸的移动方向，调整所述机器人头部的偏转方向，直到摄像区域的当前帧图像中重新出现所述人脸。
9.根据权利要求8所述的一种机器人，其特征在于，所述机器人还包括：
底盘转动控制模块，分别与所述人脸移动检测模块、所述头部转动控制模块电连接，用于当所述机器人头部的转动角度达到所述机器人头部的最大转动角度，所述当前帧图像中仍未出现所述人脸时，根据所述人脸的移动方向，调整所述机器人底盘的偏转方向，直到摄像区域的当前帧图像中重新出现所述人脸。
10.根据权利要求9所述的一种机器人，其特征在于，所述机器人还包括：
人体检测模块，用于检测人体相对于机器人的位置；
计算模块，与所述人体检测模块电连接，用于根据所述人体相对于所述机器人的位置，计算出机器人底盘的偏转角度；
所述底盘转动控制模块，还与所述计算模块电连接，根据所述机器人底盘的偏转角度，重新调整所述机器人底盘的偏转方向，直到摄像区域的当前帧图像中重新出现所述人脸。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810997559.4A CN109048940B (zh) | 2018-08-29 | 2018-08-29 | 一种机器人的人机交互方法及机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810997559.4A CN109048940B (zh) | 2018-08-29 | 2018-08-29 | 一种机器人的人机交互方法及机器人 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109048940A true CN109048940A (zh) | 2018-12-21 |
| CN109048940B CN109048940B (zh) | 2021-01-05 |
Family
ID=64757807
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810997559.4A Active CN109048940B (zh) | 2018-08-29 | 2018-08-29 | 一种机器人的人机交互方法及机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109048940B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110246190A (zh) * | 2019-06-10 | 2019-09-17 | 南京奥拓电子科技有限公司 | 一种多技术实现的机器人交互方法 |
| CN110555507A (zh) * | 2019-10-22 | 2019-12-10 | 深圳追一科技有限公司 | 虚拟机器人的交互方法、装置、电子设备及存储介质 |
| CN113091227A (zh) * | 2020-01-08 | 2021-07-09 | 佛山市云米电器科技有限公司 | 空调控制方法、云端服务器、空调控制***及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120316676A1 (en) * | 2011-06-10 | 2012-12-13 | Microsoft Corporation | Interactive robot initialization |
| CN105116994A (zh) * | 2015-07-07 | 2015-12-02 | 百度在线网络技术（北京）有限公司 | 基于人工智能的智能机器人追踪方法和追踪装置 |
| CN106407882A (zh) * | 2016-07-26 | 2017-02-15 | 河源市勇艺达科技股份有限公司 | 机器人通过人脸检测实现头部转动的方法及装置 |
| CN206170100U (zh) * | 2016-11-14 | 2017-05-17 | 上海木爷机器人技术有限公司 | 机器人 |
| CN108177146A (zh) * | 2017-12-28 | 2018-06-19 | 北京奇虎科技有限公司 | 机器人头部的控制方法、装置及计算设备 |
-
2018
- 2018-08-29 CN CN201810997559.4A patent/CN109048940B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120316676A1 (en) * | 2011-06-10 | 2012-12-13 | Microsoft Corporation | Interactive robot initialization |
| CN105116994A (zh) * | 2015-07-07 | 2015-12-02 | 百度在线网络技术（北京）有限公司 | 基于人工智能的智能机器人追踪方法和追踪装置 |
| CN106407882A (zh) * | 2016-07-26 | 2017-02-15 | 河源市勇艺达科技股份有限公司 | 机器人通过人脸检测实现头部转动的方法及装置 |
| CN206170100U (zh) * | 2016-11-14 | 2017-05-17 | 上海木爷机器人技术有限公司 | 机器人 |
| CN108177146A (zh) * | 2017-12-28 | 2018-06-19 | 北京奇虎科技有限公司 | 机器人头部的控制方法、装置及计算设备 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110246190A (zh) * | 2019-06-10 | 2019-09-17 | 南京奥拓电子科技有限公司 | 一种多技术实现的机器人交互方法 |
| CN110555507A (zh) * | 2019-10-22 | 2019-12-10 | 深圳追一科技有限公司 | 虚拟机器人的交互方法、装置、电子设备及存储介质 |
| CN110555507B (zh) * | 2019-10-22 | 2021-03-23 | 深圳追一科技有限公司 | 虚拟机器人的交互方法、装置、电子设备及存储介质 |
| CN113091227A (zh) * | 2020-01-08 | 2021-07-09 | 佛山市云米电器科技有限公司 | 空调控制方法、云端服务器、空调控制***及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109048940B (zh) | 2021-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109048940A (zh) | 一种机器人的人机交互方法及机器人 | |
| US20200394393A1 (en) | Gesture Control for Communication with an Autonomous Vehicle on the Basis of a Simple 2D Camera | |
| Krotkov et al. | Active vision for reliable ranging: Cooperating focus, stereo, and vergence | |
| Nakauchi et al. | A social robot that stands in line | |
| CN110221623A (zh) | 一种空地协同作业***及其定位方法 | |
| CN105138967B (zh) | 基于人眼区域活动状态的活体检测方法和装置 | |
| CN109614939A (zh) | 基于人体姿态估计的“玩手机”行为检测识别方法 | |
| CN105931263A (zh) | 一种目标跟踪方法及电子设备 | |
| CN101466305A (zh) | 用于确定和分析视觉兴趣位置的方法与装置 | |
| Authié et al. | Optokinetic nystagmus is elicited by curvilinear optic flow during high speed curve driving | |
| CN105930795A (zh) | 一种基于人体骨骼关节点间空间向量的行走状态识别方法 | |
| CN104850842B (zh) | 移动终端虹膜识别的人机交互方法 | |
| CN106214118A (zh) | 一种基于虚拟现实的眼球运动监测*** | |
| CN101201695A (zh) | 一种基于眼部区域运动特征提取与跟踪的鼠标*** | |
| CN105046206A (zh) | 基于视频中运动先验信息的行人检测方法及装置 | |
| CN109613982A (zh) | 头戴式ar显示设备的显示交互方法 | |
| Nair et al. | ASSIST: Personalized indoor navigation via multimodal sensors and high-level semantic information | |
| CN106778161A (zh) | 一种用于移动终端生物特征识别的成像图像显示的方法 | |
| CN109754420A (zh) | 一种目标距离估计方法、装置及无人机 | |
| CN108629281A (zh) | 利用弯道转角镜的自动安全驾驶辅助方法 | |
| CN205537632U (zh) | 一种混凝土泵车臂架防碰撞*** | |
| CN104898971A (zh) | 一种基于视线跟踪技术的鼠标指针控制方法及*** | |
| CN107480635A (zh) | 一种基于双模态分类模型融合的扫视信号识别方法及*** | |
| WO2022227264A1 (zh) | 一种基于眼球追踪的视频交互操作方法 | |
| CN110147748A (zh) | 一种基于道路边缘检测的移动机器人障碍物识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |