CN108733208A - 智能设备的交互目标确定方法和装置 - Google Patents

智能设备的交互目标确定方法和装置 Download PDF

Info

Publication number
CN108733208A
CN108733208A CN201810236768.7A CN201810236768A CN108733208A CN 108733208 A CN108733208 A CN 108733208A CN 201810236768 A CN201810236768 A CN 201810236768A CN 108733208 A CN108733208 A CN 108733208A
Authority
CN
China
Prior art keywords
smart machine
candidate target
target
goal
interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810236768.7A
Other languages
English (en)
Inventor
周子傲
谢长武
王雪松
马健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Orion Star Technology Co Ltd
Original Assignee
Beijing Orion Star Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Orion Star Technology Co Ltd filed Critical Beijing Orion Star Technology Co Ltd
Priority to CN201810236768.7A priority Critical patent/CN108733208A/zh
Publication of CN108733208A publication Critical patent/CN108733208A/zh
Priority to PCT/CN2019/078748 priority patent/WO2019179442A1/zh
Priority to TW108109739A priority patent/TW201941099A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提出一种智能设备的交互目标确定方法和装置，其中，方法包括：获取在智能设备的监控范围内的环境图像，对环境图像进行目标识别，将从环境图像中识别出的目标作为候选目标，获取候选目标的状态信息，针对每个候选目标，根据对应的状态信息，判断是否存在与智能设备交互的交互意图，从存在交互意图的候选目标中选取智能设备的交互目标。本实施例中，通过根据候选目标的状态信息，从所有候选目标中，筛选出存在交互意图的候选目标，进一步从存在交互意图的候选目标中，为智能设备选取出交互目标，以实现选取的交互目标最可能是与智能设备有交互意图的目标，避免了将没有交互意图的目标作为交互目标，减少了智能设备的误启动。

Description

智能设备的交互目标确定方法和装置
技术领域
本发明涉及智能设备技术领域，尤其涉及一种智能设备的交互目标确定方法和装置。
背景技术
随着智能设备技术的发展，已实现智能设备与人主动进行交互的过程。具体地，智能设备对一定范围的对象进行检测。当检测到人脸时，将人确定为交互目标，进行启动并主动与人进行交互。
但是，利用上述智能设备确定交互目标的方法，智能设备检测到的人可能与智能设备没有交互意愿，例如有人从智能设备前经过，虽然检测到了人，但是并无交互意图。如果检测到人就启动智能设备，会造成智能设备的误启动。可见，上述智能设备确定交互目标的方法，确定交互目标的准确度低，易造成误启动。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
本发明提出一种智能设备的交互目标确定方法，实现了从候选目标中筛除没有交互意图的目标，进而从存在交互意图的目标中筛选出交互目标，避免了将没有交互意图的目标选为交互目标，提高了交互目标的确定准确度，减少了智能设备的误启动。
本发明一方面实施例提出了一种智能设备的交互目标确定方法，包括：
获取在智能设备的监控范围内的环境图像，对所述环境图像进行目标识别；
将从所述环境图像中识别出的目标作为候选目标，获取所述候选目标的状态信息；
针对每个候选目标，根据对应的状态信息，判断是否存在与所述智能设备交互的交互意图；
从存在交互意图的候选目标中选取所述智能设备的交互目标。
作为本发明一方面实施例一种可能的实现方式，所述获取所述候选目标的状态信息，包括：
获取所述候选目标与所述智能设备之间的距离；
针对每个候选目标，根据对应的状态信息，判断是否存在与所述智能设备交互的交互意图，包括：
针对每个候选目标，判断所述候选目标与所述智能设备之间的距离是否小于或者等于预设的所述距离阈值，且在所述距离阈值范围内的停留时长是否超出预设的时间阈值；
如果所述候选目标与所述智能设备之间的距离小于或者等于所述距离阈值且所述停留时长超出所述时间阈值，则确定所述该候选目标存在与所述智能设备交互的交互意图。
作为本发明一方面实施例一种可能的实现方式，所述获取所述候选目标的状态信息，包括：
获取所述候选目标与所述智能设备之间的距离，以及所述候选目标的人脸角度；
针对每个候选目标，根据对应的状态信息，判断是否存在与智能设备交互的交互意图，包括：
针对每个候选目标，判断所述候选目标与所述智能设备之间的距离是否小于等于预设的距离阈值，且所述候选目标的人脸角度是否处于预设的角度范围内；
如果所述候选目标与所述智能设备之间的距离小于或者等于预设的距离阈值，且所述候选目标的人脸角度处于预设的角度范围内，则确定所述候选目标存在与所述智能设备交互的交互意图。
作为本发明一方面实施例一种可能的实现方式，从存在交互意图的所述候选目标中选取所述智能设备的交互目标，包括：
当检测到多个候选目标时，且存在交互意图的候选目标为多个时，从多个存在交互意图的所述候选目标中，确定出与所述智能设备距离最近的候选目标；
从所述与所述智能设备距离最近的候选目标中，选取所述智能设备的交互目标。
作为本发明一方面实施例一种可能的实现方式，从所述与所述智能设备距离最近的候选目标中，选取所述智能设备的交互目标，包括：
当与所述智能设备距离最近的候选目标为多个时，查询所述智能设备的已注册用户人脸图像库中是否存在与所述智能设备距离最近的候选目标的人脸图像；
如果所述人脸图像库中存在一个与所述智能设备距离最近的候选目标的人脸图像，则将所述一个与所述智能设备距离最近的候选目标作为交互目标；
如果所述人脸图像库中不存在与所述智能设备距离最近的候选目标的人脸图像，则随机选取一个与所述智能设备距离最近的候选目标作为交互目标；
如果所述人脸图像库中存在多个与所述智能设备距离最近的候选目标的人脸图像，则将最先查询出的与所述智能设备距离最近的候选目标作为交互目标。
作为本发明一方面实施例一种可能的实现方式，所述获取所述候选目标与所述智能设备人之间的距离，包括：
通过所述智能设备中的深度摄像头获取深度图，根据所述深度图，获取所述目标与所述智能设备之间的距离；或者，
通过所述智能设备中的双目视觉摄像头，对所述候选目标进行拍摄，计算所述双目视觉摄像头所拍摄图像的视差，根据所述视差计算所述候选目标与所述智能设备之间的距离；或者，
通过所述智能设备中的激光雷达，向所述监控范围内发射激光；
根据处于所述监控范围内的每个障碍物返回的激光，生成每个障碍物的二值图；
将每个二值图与所述环境图像进行融合，从所有的二值图中识别出与所述候选目标对应的二值图；
根据所述候选目标对应的二值图的激光返回时间，确定出所述候选目标与所述智能设备之间的距离。
作为本发明一方面实施例一种可能的实现方式，所述获取所述候选目标的人脸角度，包括：
从所述环境图像中截取所述候选目标的人脸图像；
将所述人脸图像输入预先训练好的机器学习模型中，获取所述人脸图像中人脸的人脸角度；
所述方法还包括：采用如下方式训练所述机器学习模型：
采集携带样本人脸图像，其中，所述样本人脸图像中携带标注数据，所述标注数据用于表示样本人脸的人脸角度；
将所述样本人脸图像输入到初始构建的机器学习模型中进行训练，当训练后的所述机器学习模型的误差在预设的误差范围内时，则得到训练好的所述机器学习模型。
作为本发明一方面实施例一种可能的实现方式，所述从存在交互意图的候选目标中选取所述智能设备的交互目标之后，还包括：
控制所述智能设备与所述交互目标进行交互；
在交互过程中，识别所述交互目标的人脸图像的中心点；
检测所述人脸图像的中心点是否在预设的图像区域内；
如果未在所述图像区域内，获取所述人脸图像的中心点到达所述图像区域的中心点之间的路径；
根据所述路径，控制所述智能设备，使所述人脸图像的中心点在所述图像区域内。
本发明实施例的智能设备的交互目标确定方法，通过获取在智能设备的监控范围内的环境图像，对环境图像进行目标识别，将从环境图像中识别出的目标作为候选目标，获取候选目标的状态信息，针对每个候选目标，根据对应的状态信息，判断是否存在与智能设备交互的交互意图，从存在交互意图的候选目标中选取智能设备的交互目标。本实施例中，通过根据候选目标的状态信息，从所有候选目标中，筛选出存在交互意图的候选目标，进一步从存在交互意图的候选目标中，为智能设备选取出交互目标，使得选取的交互目标最可能是与智能设备有交互意图的目标，避免了将没有交互意图的目标作为交互目标，提高了交互目标的确定准确度，减少了智能设备的误启动。
本发明另一方面实施例提出了一种智能设备的交互目标确定装置，包括：
第一获取模块，用于在从存在交互意图的候选目标中选取智能设备的交互目标之后，获取在智能设备的监控范围内的环境图像，对所述环境图像进行目标识别；
第二获取模块，用于将从所述环境图像中识别出的目标作为候选目标，获取所述候选目标的状态信息；
判断模块，用于针对每个候选目标，根据对应的状态信息，判断是否存在与所述智能设备交互的交互意图；
选取模块，用于从存在交互意图的候选目标中选取所述智能设备的交互目标。
作为本发明另一方面实施例一种可能的实现方式，所述第二获取模块还用于：
获取所述候选目标与所述智能设备之间的距离；
所述判断模块还用于：
针对每个候选目标，判断所述候选目标与所述智能设备之间的距离是否小于或者等于预设的所述距离阈值，且在所述距离阈值范围内的停留时长是否超出预设的时间阈值；
如果所述候选目标与所述智能设备之间的距离小于或者等于所述距离阈值且所述停留时长超出所述时间阈值，则确定所述该候选目标存在与所述智能设备交互的交互意图。
作为本发明另一方面实施例一种可能的实现方式，所述第二获取模块还用于：
获取所述候选目标与所述智能设备之间的距离，以及所述候选目标的人脸角度；
所述判断模块还用于：
针对每个候选目标，判断所述候选目标与所述智能设备之间的距离是否小于或者等于预设的距离阈值，且所述候选目标的人脸角度是否处于预设的角度范围内；
如果所述候选目标与所述智能设备之间的距离小于或者等于预设的距离阈值，且所述候选目标的人脸角度处于预设的角度范围内，则确定所述候选目标存在与所述智能设备交互的交互意图。
作为本发明另一方面实施例一种可能的实现方式，所述选取模块包括：
确定单元，用于当检测到多个候选目标时，且存在交互意图的候选目标为多个时，从多个存在交互意图的所述候选目标中，确定出与所述智能设备距离最近的候选目标；
选取单元，用于从所述与所述智能设备距离最近的候选目标中，选取所述智能设备的交互目标。
作为本发明另一方面实施例一种可能的实现方式，所述选取单元还用于：
当与所述智能设备距离最近的候选目标为多个时，查询所述智能设备的已注册用户人脸图像库中是否存在与所述智能设备距离最近的候选目标的人脸图像；
如果所述人脸图像库中存在一个与所述智能设备距离最近的候选目标的人脸图像，则将所述一个与所述智能设备距离最近的候选目标作为交互目标；
如果所述人脸图像库中不存在与所述智能设备距离最近的候选目标的人脸图像，则随机选取一个与所述智能设备距离最近的候选目标作为交互目标；
如果所述人脸图像库中存在多个与所述智能设备距离最近的候选目标的人脸图像，则将最先查询出的与所述智能设备距离最近的候选目标作为交互目标。
作为本发明另一方面实施例一种可能的实现方式，所述第二获取模块还用于：
通过所述智能设备中的深度摄像头获取深度图，根据所述深度图，获取所述目标与所述智能设备之间的距离；或者，
通过所述智能设备中的双目视觉摄像头，对所述候选目标进行拍摄，计算所述双目视觉摄像头所拍摄图像的视差，根据所述视差计算所述候选目标与所述智能设备之间的距离；或者，
通过所述智能设备中的激光雷达，向所述监控范围内发射激光；
根据处于所述监控范围内的每个障碍物返回的激光，生成每个障碍物的二值图；
将每个二值图与所述环境图像进行融合，从所有的二值图中识别出与所述候选目标对应的二值图；
根据所述候选目标对应的二值图的激光返回时间，确定出所述候选目标与所述智能设备之间的距离。
作为本发明另一方面实施例一种可能的实现方式，所述第二获取模块还用于：
从所述环境图像中截取所述候选目标的人脸图像；
将所述人脸图像输入预先训练好的机器学***轴线的角度；
所述装置还包括：
采集模块，用于采集携带样本人脸图像，其中，所述样本人脸图像中携带标注数据，所述标注数据用于表示样本人脸的人脸角度；
训练模块，用于将所述样本人脸图像输入到初始构建的机器学习模型中进行训练，当训练后的所述机器学习模型的误差在预设的误差范围内时，则得到训练好的所述机器学习模型。
作为本发明另一方面实施例一种可能的实现方式，所述装置还包括：
第一控制模块，用于控制所述智能设备与所述交互目标进行交互；
识别模块，用于在交互过程中，识别所述交互目标的人脸图像的中心点；
检测模块，用于检测所述人脸图像的中心点是否在预设的图像区域内；
第三获取模块，用于在未在所述图像区域内时，获取所述人脸图像的中心点到达所述图像区域的中心点之间的路径；
第二控制模块，用于根据所述路径，控制所述智能设备，使所述人脸图像的中心点在所述图像区域内。
本发明实施例的智能设备的交互目标确定装置，通过获取在智能设备的监控范围内的环境图像，对环境图像进行目标识别，将从环境图像中识别出的目标作为候选目标，获取候选目标的状态信息，针对每个候选目标，根据对应的状态信息，判断是否存在与智能设备交互的交互意图，从存在交互意图的候选目标中选取智能设备的交互目标。本实施例中，通过根据候选目标的状态信息，从所有候选目标中，筛选出存在交互意图的候选目标，进一步从存在交互意图的候选目标中，为智能设备选取出交互目标，使得选取的交互目标最可能是与智能设备有交互意图的目标，避免了将没有交互意图的目标作为交互目标，提高了交互目标的确定准确度，减少了智能设备的误启动。
本发明又一方面实施例提出了一种智能设备，包括：壳体、处理器、存储器、电路板和电源电路，其中，所述电路板安置在所述壳体围成的空间内部，所述处理器和所述存储器设置在所述电路板上；所述电源电路，用于为上述智能设备的各个电路或器件供电；所述存储器用于存储可执行程序代码；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现上述一方面实施例所述的智能设备的交互目标确定方法。
本发明又一方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时实现如上述一方面实施例所述的智能设备的交互目标确定方法。
本发明又一方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述一方面实施例所述的智能设备的交互目标确定方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例提供的一种智能设备的交互目标确定方法的流程示意图；
图2为本发明实施例提供的另一种智能设备的交互目标确定方法的流程示意图；
图3为本发明实施例提供的双目视觉计算距离的原理示意图；
图4为本发明实施例提供的另一种智能设备的交互目标确定方法的流程示意图；
图5为本发明实施例提供的另一种智能设备的交互目标确定方法的流程示意图；
图6为本发明实施例提出的另一种智能设备的交互目标确定方法的流程示意图；
图7为本发明实施例提供的一种智能设备的交互目标确定装置的结构示意图；
图8为本发明智能设备一个实施例的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的智能设备的交互目标确定方法和装置。
本发明各实施例，针对智能设备在检测到人脸时，将人作为交互目标的确定交互目标的方法，可能会将与智能设备没有交互意愿的目标作为交互目标，从而造成智能设备误启动的问题，提出一种智能设备的交互目标确定方法。
本发明实施例的智能设备的交互目标确定方法，通过根据候选目标的状态信息，从所有候选目标中，筛选出存在交互意图的候选目标，进一步从存在交互意图的候选目标中，为智能设备选取出交互目标，使得选取的交互目标最可能是与智能设备有交互意图的目标，避免了将没有交互意图的目标作为交互目标，提高了交互目标的确定准确度，减少了智能设备的误启动。
图1为本发明实施例提供的一种智能设备的交互目标确定方法的流程示意图。
如图1所示，该智能设备的交互目标确定方法包括：
步骤101，获取在智能设备的监控范围内的环境图像，对环境图像进行目标识别。
本实施例中，智能设备可以是机器人、智能家电等。
智能设备上配置有摄像装置，如摄像头，智能设备通过摄像装置可实时采集监控范围内的环境图像。在获取环境图像后，可对环境图像进行检测，以识别进入监控范围的目标。其中，这里的目标可以理解为人。
以识别环境图像中的人为例，智能设备可通过人脸检测或者人体检测，识别环境图像中的人。具体而言，从环境图像中提取物体的轮廓，将提取的物体轮廓与预存的人脸轮廓或人体轮廓，进行比对。当提取的轮廓与预设的轮廓之间的相似度超过预设的阈值，可以认为从环境图像中识别到了人。从而，通过该方法可以识别出环境图像中所有的人。
步骤102，将从环境图像中识别出的目标作为候选目标，获取候选目标的状态信息。
本实施例中，当从环境图像中识别出目标时，将识别出的目标作为候选目标。例如，当有人进入机器人的监控范围内时，机器人可从采集的环境图像中识别出进入监控范围内的人，这些人均作为候选目标。
在识别出环境图像中的目标后，获取候选目标的状态信息，如目标的位置、目标在距离阈值范围内的停留时间、在预设时长内目标被识别到的次数等，以根据候选目标的状态信息，确定候选目标是否存在与智能设备交互的交互意图。
步骤103，针对每个候选目标，根据对应的状态信息，判断是否存在与智能设备交互的交互意图。
相关技术中，智能设备在识别出人脸之后，直接将人作为交互目标，与人交互。但是，智能设备识别出的人可能与智能设备没有交互的意愿，由此可能会造成误启动。
本实施例中，针对每个候选目标，根据候选目标的状态信息，判断候选目标是否存在交互意图。
作为一种可能的实现方式，获取预设时长内候选目标被识别到的次数，并将该次数与预设的次数进行比较。如果预设时长内目标被识别到的次数，大于预设的次数，可以认为目标经常出现，与智能设备之间存在交互意图。
例如，在过去一个月内，公司前台的机器人识别到某人的次数为4次，大于预设的次数2次，说明这个人是公司的常客，可以确定该人与机器人之间存在交互意图。
本实施例中，根据候选目标的状态信息，从候选目标中筛除没有交互意图的候选目标，从而可以避免将没有交互意图的目标，确定为交互目标。
步骤104，从存在交互意图的候选目标中选取智能设备的交互目标。
本实施例中，为了进一步提高确定交互目标的准确性，降低智能设备误启动的概率，可继续从存在交互意图的候选目标中选取智能设备的交互目标，从而使交互目标为最可能存在交互意图的候选目标。
如果存在交互意图的候选目标仅有一个，则将该候选目标作为交互目标。如果存在交互意图的目标有多个时，可以根据候选目标与智能设备之间的距离，确定交互目标。具体过程后续实施例，将进行详细说明，在此不再赘述。
在上述实施例的基础上，对于步骤103，根据对应的状态信息，判断是否存在与所述智能设备交互的交互意图，作为一种可能的实现方式，可根据候选目标与智能设备之间的距离，和候选目标在预设的距离阈值范围内的停留时间，判断候选目标是否存在交互意图。图2为本发明实施例提供的另一种智能设备的交互目标确定方法的流程示意图。
如图2所示，该智能设备的交互目标确定方法包括：
步骤201，获取在智能设备的监控范围内的环境图像，对环境图像进行目标识别。
本实施例中，智能设备获取监控范围内的环境图像，以及环境图像进行目标识别的方法，可参见上述实施例中记载的相关内容，在此不再赘述。
步骤202，将从环境图像中识别出的目标作为候选目标，获取候选目标与智能设备之间的距离。
可以理解的是，候选目标与智能设备之间的距离越近，说明候选目标与智能设备之间存在交互意图的可能性越大，因此本实施例中，将候选目标与智能设备之间的距离，作为判断候选目标是否存在，与智能设备交互的交互意图的依据之一。
本实施例中，可通过深度摄像头或者双目视觉摄像头或者激光雷达，获取候选目标与智能设备之间的距离。
作为一种可能的实现方式，智能设备中配置有深度摄像头，通过深度摄像头，获取候选目标的深度图。在具体实现时，可通过结构光投射器向候选目标表面投射可控制的光点、光条或光面结构，并由深度摄像头中的图像传感器获得图像，通过几何关系，利用三角原理计算得到候选目标的三维坐标，从而可以得到候选目标与智能设备之间的距离。
作为一种可能的实现方式，在智能设备中配置双目视觉摄像头，通过双目视觉摄像头，对候选目标进行拍摄。然后，计算双目视觉摄像头所拍摄图像的视差，根据视差计算候选目标与智能设备之间的距离。
图3为本发明实施例提供的双目视觉计算距离的原理示意图。图3中，在实际空间中，画出了两个摄像头所在位置Ol和Or，以及左右摄像头的光轴线，两个摄像头的焦平面，焦平面距离两个摄像头所在平面的距离为f。
如图3所示，p和p′分别是同一候选目标P在不同拍摄图像中的位置。其中，p点距离所在拍摄图像的左侧边界的距离为xl，p′点距离所在拍摄图像的左侧边界的距离为xr。Ol和Or分别为两个摄像头，这两个摄像头在同一平面，两个摄像头之间的距离为Z。
基于三角测距原理，图3中的P与两个摄像头所在平面之间的距离b，具有如下关系：
基于此，可以推得其中，d为同一候选目标双目摄像头所拍摄图像的视觉差。由于Z、f为定值，因此，根据视觉差d可以确定出候选目标与摄像头所在平面之间的距离b，即候选目标与智能设备之间的距离。
作为再一种可能的实现方式，在智能设备中配置激光雷达，通过激光雷达向监控范围内发射激光，发射的激光遇到监控范围内的障碍物将被反射。智能设备接收监控范围内的每个障碍物返回的激光，根据返回的激光生成每个障碍物的二值图。然后，将每个二值图与环境图像进行融合，从所有二值图中识别出与候选目标对应的二值图。具体地，可以根据每个障碍物的二值图可以识别出每个障碍物的轮廓或者大小，然后将环境图像中每个目标的轮廓或者大小进行匹配，从而可以得到候选目标对应的二值图。之后，将候选目标对应的二值图的激光返回时间乘以光速，并除以2，得到候选目标与智能设备之间的距离。
需要说明的是，其他用于计算候选目标与智能设备之间的距离的方法，也包含在本发明实施例的保护范围内。
步骤203，针对每个候选目标，判断候选目标与智能设备之间的距离是否小于或者等于预设的距离阈值，且在距离阈值范围内的停留时长是否超出预设的时间阈值。
由于当候选目标与智能设备之间的距离较远时，候选目标可能不存在与智能设备交互的交互意图，或者距离较近，但候选目标的停留时间较短也可能不存在与智能设备交互的交互意图。
由此，可针对每个候选目标，将候选目标与智能设备之间的距离，与预设的距离阈值进行比较，以判断选目标与智能设备之间的距离是否小于或者等于预设的距离阈值。如果距离在距离阈值范围内，判断候选目标在距离阈值范围内停留的时间是否超过预设的时间阈值。
步骤204，如果距离小于或者等于距离阈值且停留时长超出时间阈值，则确定该候选目标存在与智能设备交互的交互意图。
当候选目标与智能设备之间的距离小于预设的距离阈值，且候选目标在距离阈值范围内的停留时长超过预设的时间阈值，可以认为候选目标存在与智能设备交互的交互意图。
以机器人为例，若人与机器人之间的距离小于3米，且人在3米内停留的时间超过2秒，可以认为人存在与机器人交互的交互意图。
步骤205，从存在交互意图的候选目标中选取智能设备的交互目标。
本实施例中，步骤205与上述实施例中的步骤104类似，故在此不再赘述。
本发明实施例的智能设备的交互目标确定方法，通过候选目标与智能设备之间的距离，以及候选目标在预设的距离阈值范围内的停留时间，从所有候选目标中，筛选出存在与智能设备交互的交互意图的候选目标，相比在检测到人脸时，直接将人作为交互目标，可以降低智能设备的误启动。
对于步骤103，作为另一种可能的实现方式，也可根据候选目标与智能设备之间的距离，以及候选目标的人脸角度，判断候选目标是否存在与智能设备交互的交互意图。图4为本发明实施例提供的另一种智能设备的交互目标确定方法的流程示意图。
如图4所示，该智能设备的交互目标确定方法包括：
步骤301，获取在智能设备的监控范围内的环境图像，对环境图像进行目标识别。
本实施例中，步骤301与上述实施例中的步骤101类似，故在此不再赘述。
步骤302，将从环境图像中识别出的目标作为候选目标，获取候选目标与智能设备之间的距离，以及候选目标的人脸角度。
其中，人脸角度可以是人脸中轴线偏离图像中轴线的角度，人脸中轴线和包括水平方向的中轴线和垂直方向的中轴线，相应的图像中轴线也包括水平方向的中轴线和垂直方向的中轴线。从环境图像中可以识别出人脸水平方向中轴线和垂直方向的中轴线，分别偏离与图像的水平方向的中轴线和图像的垂直方的中轴线的角度，获取到的角度就是人脸角度。
在实际中，当人路过机器人时，如果人转头看向机器人，或者当人脸正对机器人时，说明人对机器人的关注度较高，人存在与机器人交互的交互意图。由此，可将人脸图像中人脸的人脸角度，作为判断候选目标是否存与智能设备交互的交互意图的依据之一。
本实施例中，可通过候选目标与智能设备之间的距离，以及候选目标的人脸角度，来判断候选目标是否存在与智能设备交互的交互意愿。其中，在获取候选目标与智能设备之间的距离时，可通过上述实施例中的记载的方法获取。
在获取人脸角度时，可通过预先训练好的机器学习模型，获取人脸角度。具体地，可按照人脸轮廓从环境图像中截取候选目标的人脸图像，之后将人脸图像输入到机器学习模型中。机器学习模型根据人脸图像，输出人脸图像中人脸角度。
本实施例中，可采用如下方式训练机器学习模型。首先，采集人脸图像，并对人脸图像进行人脸角度标注，从而使样本人脸图像，携带表示样本人脸图像的人脸角度的标注数据。之后，将样本人脸图像输入到初始构建的机器学习模型中进行训练。当机器学习模型输出的人脸角度，与标注的人脸角度之间的差值，在预设的误差范围内时，可以认为机器学习模型已经训练完毕。
本实施例中，通过训练好的机器学习模型获取人脸角度，可以提高获取的人脸角度的精度，从而能够提高后续判断的准确性。
步骤303，针对每个候选目标，判断候选目标与智能设备之间的距离是否小于或者等于预设的距离阈值，且候选目标的人脸角度是否处于预设的角度范围内。
本实施例中，针对每个候选目标，将候选目标与智能设备之间的距离，与预设的距离阈值进行比较，将候选目标的人脸角度与预设的角度范围的上限值进行比较。
假设距离阈值为3米，角度范围为[0°，45°]，判断候选目标与智能设备之间的距离是否小于3米，将人脸角度与45°进行比较，以判断人脸角度是否处于预设的角度范围内。
步骤304，如果候选目标与智能设备之间的距离小于或者等于预设的距离阈值，且候选目标的人脸角度处于预设的角度范围内，则确定候选目标存在与智能设备交互的交互意图。
本实施例中，当候选目标与智能设备之间的距离小于或等于预设的距离阈值，并且候选目标的人脸角度处于预设的角度范围内，说明候选目标在距离阈值范围内，对智能设备进行关注，可以确定候选目标存在与智能设备交互的交互意图。相比直接将检测到人作为交互目标而言，提高了交互目标确认的准确度。
步骤305，从存在交互意图的候选目标中选取智能设备的交互目标。
本实施例中，步骤305与上述实施例中步骤101类似，在此不再赘述。
本发明实施例的智能设备的交互目标确定方法，通过候选目标与智能设备之间的距离，以及候选目标人脸角度，从所有候选目标中，筛选出存在与智能设备交互的交互意图的候选目标，相比在检测到人脸时，直接将人作为交互目标，可以降低智能设备的误启动。
需要说明的是，在判断候选目标是否存在交互意图时，也可在候选目标与智能设备之间的距离，在距离阈值范围内，且候选目标在距离阈值范围内停留的时间超过时间阈值，以及候选目标的人脸角度在预设的角度范围内时，确定候选目标存在与智能设备交互的交互意图。否则，可以认为候选目标不存在与智能设备交互的交互意图。
上述实施例中，对于从存在交互意图的候选目标中选取智能设备的交互目标，当存在交互意图的候选目标只有一个时，可将存在交互意图的候选目标作为交互目标。当存在交互意图的候选目标有多个时，可根据候选目标与智能设备之间的距离，确定从候选目标中选取交互目标。图5为本发明实施例提供的另一种智能设备的交互目标确定方法的流程示意图。
如图5所示，对于步骤104，该智能设备的交互目标确定方法可包括：
步骤401，当检测到多个候选目标时，且存在交互意图的候选目标为多个时，从多个存在交互意图的候选目标中，确定出与智能设备距离最近的候选目标。
由于候选目标与智能设备之间的距离越近，说明候选目标与智能设备之间的交互意图越强。
本实施例中，当智能设备从环境图像中检测到多个候选目标，且判断出存在交互意图的候选目标也为多个时，可将多个存在交互意图的候选目标与智能设备之间的距离进行比较，以从多个存在交互意图的候选目标中，查找出与智能设备距离最近的候选目标，从而筛选出交互意图较强的候选目标。
步骤402，从与智能设备距离最近的候选目标中，选取智能设备的交互目标。
本实施例中，为了进一步确定智能设备的交互目标，需要从与智能设备距离最近的目标中，选取智能设备的交互目标。
可以理解的是，当与智能设备距离最近的候选目标仅有一个时，可将该候选目标作为智能设备的交互目标。
当与智能设备距离最近的候选目标有多个时，需要从多个与智能设备距离最近的候选目标中，选取智能设备的交互目标。
以机器人为例，某公司前台放置一个机器人，当用户需要进入公司时，可以在机器人中进行信息登录，即在机器人中进行注册。或者可以从公司网站中下载注册用户的人脸图像，存储到机器人中，在公司网站中注册过的用户，同步地在机器人中进行了注册。一般在该机器人中注册过的用户，比未注册过的用户与机器人交互的交互意图更强。由此，可根据候选目标是否已注册，确定智能设备的交互目标。
机器人在日常接待工作时，可以采集访客或者公司员工的人脸图像，利用采集的访客或者公司员工的人脸图像，构建一个已注册用户人脸图像库，也可以利用网站注册用户的人脸图像，构建该人脸图像库。
作为一种可能的实现方式，智能设备可在本地查询与智能设备距离最近的候选目标，是否已经注册智能设备。具体地，智能设备可预先存储已注册用户人脸图像库，人脸图像库中存储有已注册智能设备的用户人脸图像。当与智能设备距离最近的候选目标为多个时，可将与智能设备距离最近的候选目标的人脸图像，与人脸图像库中的人脸图像进行比较。
如果人脸图像库中存一个与智能设备距离最近的候选目标的人脸图像，说明该候选目标已注册，那么将该候选目标作为智能设备的交互目标。
如果人脸图像库中不存在与智能设备距离最近的候选目标的人脸图像，说明与智能设备距离最近的候选目标均未注册，可从与智能设备距离最近的候选目标中，随机选取一个候选目标作为交互目标。
如果人脸图像库中存在多个与智能设备距离最近的候选目标的人脸图像，说明有多个与智能设备距离最近的候选目标已注册，那么可将最先查询出的与智能设备距离最近的候选目标作为交互目标，也可从已注册且与智能设备距离最近的候选目标中，随机选取一个候选目标作为交互目标。
作为另一种可能的实现方式，当与智能设备距离最近的候选目标为多个时，可将所有与智能设备距离最近的候选目标的人脸图像，发送给服务器，由服务器返回查询结果至智能设备，智能设备根据比较结果确定交互目标。
具体地，服务器存储有已注册用户的人脸图像库，当与智能设备距离最近的候选目标为多个时，智能设备将多个与智能设备距离最近的候选目标的人脸图像，发送至服务器。服务器接收到人脸图像，并在已注册用户人脸图像库中，查询是否存在与智能设备距离最近的候选目标的人脸图像。然后，服务器将查询结果发送给智能设备。智能设备根据查询结果，确定智能设备的交互目标，具体的确定方法可参见上述方法，在此不再赘述。
举例来说，A从机器人面前路过，并没有交互意图，而B是公司的常客，之前已经完成了注册。当A和B与机器人的距离小于距离阈值3米，且与机器人的距离相同时，机器人可选取已经完成的注册B作为交互目标，向B打招呼。
本发明实施例的智能设备的交互目标确定方法，在存在交互意图的候选目标有多个时，筛选出与智能设备距离最近的候选目标，在与智能设备距离最近的目标有多个时，通过查询已注册用户人脸图像库，根据查询结果，选取智能设备的交互目标，而相关技术中智能设备从同时出现的多人中，选取的交互目标可能并不是最可能与智能设备有交互意图的人，从而提高了交互目标的确定准确度，避免智能设备的误启动。
在实际中，智能设备确定交互目标后，在智能设备与交互目标交互的过程中，交互目标可能处于移动状态，例如，机器人向交互目标打招呼的过程中，可能人处于移动状态。为了使智能设备达到保持正面跟随人交互特点，本发明实施例还提出，在交互过程中，使人脸图像的中心点处于图像区域内。图6为本发明实施例提出的另一种智能设备的交互目标确定方法的流程示意图。
在从存在交互意图的候选目标中选取智能设备的交互目标之后，如图6所示，该智能设备的交互目标确定方法还包括：
步骤105，控制智能设备与交互目标进行交互。
本实施例中，在确定交互目标后，智能设备启动，并与交互目标进行交互。以机器人为例，机器人在确定打招呼的对象后，启动并与交互目标打招呼，如“欢迎光临”。
步骤106，在交互过程中，识别交互目标的人脸图像的中心点。
其中，目标的人脸图像可以是环境图像中包含目标的人脸的最小区域的图像。
本实施例中，在交互的过程，智能设备实时识别交互目标的人脸图像的中心点。其中，人脸图像的中心点是人脸图像的竖直中心线和水平中心线的交点。
步骤107，检测人脸图像的中心点是否在预设的图像区域内。
本实施例中，预设的图像区域可以是以环境图像的中心点为圆心，以预设尺寸画圆，得到的圆形区域。其中，预设尺寸可以是人在距离阈值处时，人脸图像的水平尺寸的一半。当然，也可以根据需要进行设置。
智能设备可每隔预设时间，如每隔0.5秒，检测人脸图像的中心点，是否在预设的图像区域内，以判断人脸图像是否在预设的图像区域内。
步骤108，如果未在图像区域内，获取人脸图像的中心点到达图像区域的中心点之间的路径。
本实施例中，如果人脸图像的中心点未在图像区域内，说明智能设备能够捕捉到的人脸画面不够完整，则获取人脸图像的中心点到图像区域的中心点之间的路径。
步骤109，根据路径控制智能设备，使人脸图像的中心点在图像区域内。
在智能设备获取到人脸图像的中心点到图像区域的中心点之间的路径后，根据路径控制智能设备，使人脸图像的中心点在图像区域内。
作为一种可能的实现方式，可以图像区域的中心点为圆心，建立直角坐标系，获取人脸图像的中心点的坐标，并计算出人脸图像的中心点与图像区域的中心点之间的距离，以及人脸图像的中心点相对水平方向的夹角。之后，控制智能设备转动相应的角度和距离。
以机器人为例，若机器人检测到人脸图像的中心点，在图像区域中心点的右侧，说明人逐渐向右移动，则控制机器人的云台、底盘向右转动，以对人进行跟随，实现注视的目的。
本发明实施例的智能设备的交互目标确定方法，通过检测人脸图像的中心点是否在预设的图像区域内，实现智能设备对交互目标的跟随，使智能设备与人交互时更加生动、灵活。
为了实现上述实施例，本发明实施例还提出一种智能设备的交互目标确定装置。图7为本发明实施例提供的一种智能设备的交互目标确定装置的结构示意图。
如图7所示，该智能设备的交互目标确定装置包括：第一获取模块510、第二获取模块520、判断模块530、选取模块540。
第一获取模块510用于获取在智能设备的监控范围内的环境图像，对环境图像进行目标识别。
第二获取模块520用于将从环境图像中识别出的目标作为候选目标，获取候选目标的状态信息。
判断模块530用于针对每个候选目标，根据对应的状态信息，判断是否存在与智能设备交互的交互意图。
选取模块540用于从存在交互意图的候选目标中选取智能设备的交互目标。
在本实施例一种可能的实现方式中，第二获取模块520还用于：
获取候选目标与所述智能设备之间的距离；
判断模块530还用于：
针对每个候选目标，判断候选目标与智能设备之间的距离是否小于或者等于预设的距离阈值，且在距离阈值范围内的停留时长是否超出预设的时间阈值；
如果候选目标与智能设备之间的距离小于或者等于距离阈值且所述停留时长超出所述时间阈值，则确定该候选目标存在与智能设备交互的交互意图。
在本实施例一种可能的实现方式中，第二获取模块520还用于：
获取候选目标与智能设备之间的距离，以及候选目标的人脸角度；
判断模块530还用于：
针对每个候选目标，判断候选目标与智能设备之间的距离是否小于等于预设的距离阈值，且候选目标的人脸角度是否处于预设的角度范围内；
如果候选目标与智能设备之间的距离小于或等于预设的距离阈值，且候选目标的人脸角度处于预设的角度范围内，则确定候选目标存在与智能设备交互的交互意图。
在本实施例一种可能的实现方式中，选取模块540包括：
确定单元，用于当检测到多个候选目标时，且存在交互意图的候选目标为多个时，从多个存在交互意图的候选目标中，确定出与智能设备距离最近的候选目标；
选取单元，用于从与智能设备距离最近的候选目标中，选取智能设备的交互目标。
在本实施例一种可能的实现方式中，选取单元还用于：
当与智能设备距离最近的候选目标为多个时，查询智能设备的已注册用户人脸图像库中是否存在与智能设备距离最近的候选目标的人脸图像；
如果人脸图像库中存在一个与智能设备距离最近的候选目标的人脸图像，则将一个与智能设备距离最近的候选目标作为交互目标；
如果人脸图像库中不存在与智能设备距离最近的候选目标的人脸图像，则随机选取一个与智能设备距离最近的候选目标作为交互目标；
如果人脸图像库中存在多个与智能设备距离最近的候选目标的人脸图像，则将最先查询出的与智能设备距离最近的候选目标作为交互目标。
在本实施例一种可能的实现方式中，第二获取模块520还用于：
通过智能设备中的深度摄像头获取深度图，根据深度图，获取目标与智能设备之间的距离；或者，
通过智能设备中的双目视觉摄像头，对候选目标进行拍摄，计算双目视觉摄像头所拍摄图像的视差，根据视差计算候选目标与智能设备之间的距离；或者，
通过智能设备中的激光雷达，向监控范围内发射激光；
根据处于监控范围内的每个障碍物返回的激光，生成每个障碍物的二值图；
将每个二值图与环境图像进行融合，从所有的二值图中识别出与候选目标对应的二值图；
根据候选目标对应的二值图的激光返回时间，确定出候选目标与智能设备之间的距离。
在本实施例一种可能的实现方式中，第二获取模块520还用于：
从环境图像中截取候选目标的人脸图像；
将人脸图像输入预先训练好的机器学***轴线的角度；
在本实施例一种可能的实现方式中，所述装置还包括：
采集模块，用于采集携带样本人脸图像，其中，样本人脸图像中携带标注数据，标注数据用于表示样本人脸的人脸角度；
训练模块，用于将样本人脸图像输入到初始构建的机器学习模型中进行训练，当训练后的机器学习模型的误差在预设的误差范围内时，则得到训练好的机器学习模型。
在本实施例一种可能的实现方式中，该装置还包括：
第一控制模块，用于在从存在交互意图的候选目标中选取智能设备的交互目标之后，控制智能设备与交互目标进行交互；
识别模块，用于在交互过程中，识别交互目标的人脸图像的中心点；
检测模块，用于检测人脸图像的中心点是否在预设的图像区域内；
第三获取模块，用于在未在图像区域内时，获取人脸图像的中心点到达图像区域的中心点之间的路径；
第二控制模块，用于根据路径，控制智能设备，使人脸图像的中心点在图像区域内。
需要说明的是，前述对智能设备的交互目标确定方法实施例的解释说明，也适用于该实施例的智能设备的交互目标确定装置，故在此不再赘述。
本发明实施例的智能设备的交互目标确定装置，通过获取在智能设备的监控范围内的环境图像，对环境图像进行目标识别，将从环境图像中识别出的目标作为候选目标，获取候选目标的状态信息，针对每个候选目标，根据对应的状态信息，判断是否存在与智能设备交互的交互意图，从存在交互意图的候选目标中选取智能设备的交互目标。本实施例中，通过根据候选目标的状态信息，从所有候选目标中，筛选出存在交互意图的候选目标，进一步从存在交互意图的候选目标中，为智能设备选取交互目标，使得选取的交互目标最可能是与智能设备有交互意图的目标，避免了将没有交互意图的目标作为交互目标，提高了交互目标的确定准确度，减少了智能设备的误启动。
为了实现上述实施例，本发明实施例还提出一种智能设备。
图8为本发明智能设备一个实施例的结构示意图，如图8所示，该智能设备可包括：壳体610、处理器620、存储器630、电路板640和电源电路650，其中，电路板640安置在壳体610围成的空间内部，处理器620和存储器630设置在电路板640上；电源电路650，用于为上述智能设备的各个电路或器件供电；存储器630用于存储可执行程序代码；处理器620通过读取存储器630中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行上述实施例所述的智能设备的交互目标确定方法。
为了实现上述实施例，本发明实施例还提出一种计算机程序产品，当计算机程序产品中的指令由处理器执行时实现如上述实施例所述的智能设备的交互目标确定方法。
为了实现上述实施例，本发明实施例还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例所述的智能设备的交互目标确定方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种智能设备的交互目标确定方法，其特征在于，包括以下步骤：
获取在智能设备的监控范围内的环境图像，对所述环境图像进行目标识别；
将从所述环境图像中识别出的目标作为候选目标，获取所述候选目标的状态信息；
针对每个候选目标，根据对应的状态信息，判断是否存在与所述智能设备交互的交互意图；
从存在交互意图的候选目标中选取所述智能设备的交互目标。
2.根据权利要求1所述的方法，其特征在于，所述获取所述候选目标的状态信息，包括：
获取所述候选目标与所述智能设备之间的距离；
针对每个候选目标，根据对应的状态信息，判断是否存在与所述智能设备交互的交互意图，包括：
针对每个候选目标，判断所述候选目标与所述智能设备之间的距离是否小于或者等于预设的所述距离阈值，且在所述距离阈值范围内的停留时长是否超出预设的时间阈值；
如果所述候选目标与所述智能设备之间的距离小于或者等于所述距离阈值且所述停留时长超出所述时间阈值，则确定所述该候选目标存在与所述智能设备交互的交互意图。
3.根据权利要求1所述的方法，其特征在于，所述获取所述候选目标的状态信息，包括：
获取所述候选目标与所述智能设备之间的距离，以及所述候选目标的人脸角度；
针对每个候选目标，根据对应的状态信息，判断是否存在与智能设备交互的交互意图，包括：
针对每个候选目标，判断所述候选目标与所述智能设备之间的距离是否小于等于预设的距离阈值，且所述候选目标的人脸角度是否处于预设的角度范围内；
如果所述候选目标与智能设备之间的距离小于或等于预设的距离阈值，且所述候选目标的人脸角度处于预设的角度范围内，则确定所述候选目标存在与所述智能设备交互的交互意图。
4.根据权利要求2或3所述的方法，其特征在于，所述从存在交互意图的所述候选目标中选取所述智能设备的交互目标，包括：
当检测到多个候选目标时，且存在交互意图的候选目标为多个时，从多个存在交互意图的所述候选目标中，确定出与所述智能设备距离最近的候选目标；
从所述与所述智能设备距离最近的候选目标中，选取所述智能设备的交互目标。
5.根据权利要求4所述的方法，其特征在于，所述从所述与所述智能设备距离最近的候选目标中，选取所述智能设备的交互目标，包括：
当与所述智能设备距离最近的候选目标为多个时，查询所述智能设备的已注册用户人脸图像库中是否存在与所述智能设备距离最近的候选目标的人脸图像；
如果所述人脸图像库中存在一个与所述智能设备距离最近的候选目标的人脸图像，则将所述一个与所述智能设备距离最近的候选目标作为交互目标；
如果所述人脸图像库中不存在与所述智能设备距离最近的候选目标的人脸图像，则随机选取一个与所述智能设备距离最近的候选目标作为交互目标；
如果所述人脸图像库中存在多个与所述智能设备距离最近的候选目标的人脸图像，则将最先查询出的与所述智能设备距离最近的候选目标作为交互目标。
6.根据权利要求2或3所述的方法，其特征在于，所述获取所述候选目标与所述智能设备人之间的距离，包括：
通过所述智能设备中的深度摄像头获取深度图，根据所述深度图，获取所述目标与所述智能设备之间的距离；或者，
通过所述智能设备中的双目视觉摄像头，对所述候选目标进行拍摄，计算所述双目视觉摄像头所拍摄图像的视差，根据所述视差计算所述候选目标与所述智能设备之间的距离；或者，
通过所述智能设备中的激光雷达，向所述监控范围内发射激光；
根据处于所述监控范围内的每个障碍物返回的激光，生成每个障碍物的二值图；
将每个二值图与所述环境图像进行融合，从所有的二值图中识别出与所述候选目标对应的二值图；
根据所述候选目标对应的二值图的激光返回时间，确定出所述候选目标与所述智能设备之间的距离。
7.根据权利要求3所述的方法，其特征在于，所述获取所述候选目标的人脸角度，包括：
从所述环境图像中截取所述候选目标的人脸图像；
将所述人脸图像输入预先训练好的机器学习模型中，获取所述人脸图像中人脸的人脸角度；
所述方法还包括：采用如下方式训练所述机器学习模型：
采集样本人脸图像，其中，所述样本人脸图像中携带标注数据，所述标注数据用于表示样本人脸的人脸角度；
将所述样本人脸图像输入到初始构建的机器学习模型中进行训练，当训练后的所述机器学习模型的误差在预设的误差范围内时，则得到训练好的所述机器学习模型。
8.一种智能设备的交互目标确定装置，其特征在于，包括：
第一获取模块，用于获取在智能设备的监控范围内的环境图像，对所述环境图像进行目标识别；
第二获取模块，用于将从所述环境图像中识别出的目标作为候选目标，获取所述候选目标的状态信息；
判断模块，用于针对每个候选目标，根据对应的状态信息，判断是否存在与所述智能设备交互的交互意图；
选取模块，用于从存在交互意图的候选目标中选取所述智能设备的交互目标。
9.一种智能设备，其特征在于，包括：壳体、处理器、存储器、电路板和电源电路，其中，所述电路板安置在所述壳体围成的空间内部，所述处理器和所述存储器设置在所述电路板上；所述电源电路，用于为上述智能设备的各个电路或器件供电；所述存储器用于存储可执行程序代码；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-7中任一所述的智能设备的交互目标确定方法。
10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的智能设备的交互目标确定方法。
CN201810236768.7A 2018-03-21 2018-03-21 智能设备的交互目标确定方法和装置 Pending CN108733208A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810236768.7A CN108733208A (zh) 2018-03-21 2018-03-21 智能设备的交互目标确定方法和装置
PCT/CN2019/078748 WO2019179442A1 (zh) 2018-03-21 2019-03-19 智能设备的交互目标确定方法和装置
TW108109739A TW201941099A (zh) 2018-03-21 2019-03-21 智慧型裝置的交互目標確定方法和裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810236768.7A CN108733208A (zh) 2018-03-21 2018-03-21 智能设备的交互目标确定方法和装置

Publications (1)

Publication Number Publication Date
CN108733208A true CN108733208A (zh) 2018-11-02

Family

ID=63940975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810236768.7A Pending CN108733208A (zh) 2018-03-21 2018-03-21 智能设备的交互目标确定方法和装置

Country Status (3)

Country Link
CN (1) CN108733208A (zh)
TW (1) TW201941099A (zh)
WO (1) WO2019179442A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508687A (zh) * 2018-11-26 2019-03-22 北京猎户星空科技有限公司 人机交互控制方法、装置、存储介质和智能设备
CN109815813A (zh) * 2018-12-21 2019-05-28 深圳云天励飞技术有限公司 图像处理方法及相关产品
CN110070016A (zh) * 2019-04-12 2019-07-30 北京猎户星空科技有限公司 一种机器人控制方法、装置及存储介质
WO2019179442A1 (zh) * 2018-03-21 2019-09-26 北京猎户星空科技有限公司 智能设备的交互目标确定方法和装置
CN110286771A (zh) * 2019-06-28 2019-09-27 北京金山安全软件有限公司 交互方法、装置、智能机器人、电子设备及存储介质
CN110647797A (zh) * 2019-08-05 2020-01-03 深圳市大拿科技有限公司 一种访客检测方法及装置
CN111341350A (zh) * 2020-01-18 2020-06-26 南京奥拓电子科技有限公司 人机交互控制方法、***、智能机器人及存储介质
CN112666572A (zh) * 2019-09-30 2021-04-16 北京声智科技有限公司 基于雷达的唤醒方法、唤醒装置、电子设备及存储介质
CN112784644A (zh) * 2019-11-08 2021-05-11 佛山市云米电器科技有限公司 多设备同步显示方法、装置、设备及计算机可读存储介质
CN113010594A (zh) * 2021-04-06 2021-06-22 深圳市思麦云科技有限公司 一种基于xr智慧学习平台
CN113284404A (zh) * 2021-04-26 2021-08-20 广州九舞数字科技有限公司 一种基于用户动作的电子沙盘展示方法及装置
CN113299416A (zh) * 2021-04-29 2021-08-24 中核核电运行管理有限公司 一种核电厂操作人员操作意图智能识别***及方法
CN113658251A (zh) * 2021-08-25 2021-11-16 北京市商汤科技开发有限公司 测距方法、装置、电子设备、存储介质及***
CN117170418A (zh) * 2023-11-02 2023-12-05 杭州华橙软件技术有限公司 云台控制方法、装置、设备以及存储介质
CN117389416A (zh) * 2023-10-18 2024-01-12 广州易云信息技术有限公司 一种智能机器人的交互控制方法、装置及机器人

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111240217B (zh) * 2020-01-08 2024-02-23 深圳绿米联创科技有限公司 状态检测方法、装置、电子设备及存储介质
TWI742644B (zh) * 2020-05-06 2021-10-11 東元電機股份有限公司 跟隨移動平台及其方法
TWI756963B (zh) * 2020-12-03 2022-03-01 禾聯碩股份有限公司 目標物件之區域定義辨識系統及其方法
CN115086095A (zh) * 2021-03-10 2022-09-20 Oppo广东移动通信有限公司 设备控制方法及相关装置
CN113850165A (zh) * 2021-09-13 2021-12-28 支付宝(杭州)信息技术有限公司 人脸识别方法和装置
CN113835352B (zh) * 2021-09-29 2023-09-08 歌尔科技有限公司 一种智能设备控制方法、***、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101140620A (zh) * 2007-10-16 2008-03-12 上海博航信息科技有限公司 一种人脸识别***
CN106225764A (zh) * 2016-07-01 2016-12-14 北京小米移动软件有限公司 基于终端中双目摄像头的测距方法及终端
CN106584451A (zh) * 2015-10-14 2017-04-26 山东鲁能智能技术有限公司 一种基于视觉导航的变电站自动构图机器人及方法
CN107102540A (zh) * 2016-02-23 2017-08-29 芋头科技（杭州）有限公司 一种唤醒智能机器人的方法及智能机器人

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718896A (zh) * 2016-01-22 2016-06-29 张健敏 一种具有目标识别功能的智能机器人
CN105843118B (zh) * 2016-03-25 2018-07-27 北京光年无限科技有限公司 一种机器人交互方法及机器人***
CN108733208A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 智能设备的交互目标确定方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101140620A (zh) * 2007-10-16 2008-03-12 上海博航信息科技有限公司 一种人脸识别***
CN106584451A (zh) * 2015-10-14 2017-04-26 山东鲁能智能技术有限公司 一种基于视觉导航的变电站自动构图机器人及方法
CN107102540A (zh) * 2016-02-23 2017-08-29 芋头科技（杭州）有限公司 一种唤醒智能机器人的方法及智能机器人
CN106225764A (zh) * 2016-07-01 2016-12-14 北京小米移动软件有限公司 基于终端中双目摄像头的测距方法及终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王佐成，等: "基于Adaboost和STC的实时人脸跟踪", 《重庆理工大学学报(自然科学)》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019179442A1 (zh) * 2018-03-21 2019-09-26 北京猎户星空科技有限公司 智能设备的交互目标确定方法和装置
CN109508687A (zh) * 2018-11-26 2019-03-22 北京猎户星空科技有限公司 人机交互控制方法、装置、存储介质和智能设备
CN109815813A (zh) * 2018-12-21 2019-05-28 深圳云天励飞技术有限公司 图像处理方法及相关产品
CN110070016A (zh) * 2019-04-12 2019-07-30 北京猎户星空科技有限公司 一种机器人控制方法、装置及存储介质
CN110286771A (zh) * 2019-06-28 2019-09-27 北京金山安全软件有限公司 交互方法、装置、智能机器人、电子设备及存储介质
CN110286771B (zh) * 2019-06-28 2024-06-07 北京金山安全软件有限公司 交互方法、装置、智能机器人、电子设备及存储介质
CN110647797A (zh) * 2019-08-05 2020-01-03 深圳市大拿科技有限公司 一种访客检测方法及装置
CN112666572A (zh) * 2019-09-30 2021-04-16 北京声智科技有限公司 基于雷达的唤醒方法、唤醒装置、电子设备及存储介质
CN112784644A (zh) * 2019-11-08 2021-05-11 佛山市云米电器科技有限公司 多设备同步显示方法、装置、设备及计算机可读存储介质
CN111341350A (zh) * 2020-01-18 2020-06-26 南京奥拓电子科技有限公司 人机交互控制方法、***、智能机器人及存储介质
CN113010594A (zh) * 2021-04-06 2021-06-22 深圳市思麦云科技有限公司 一种基于xr智慧学习平台
CN113284404A (zh) * 2021-04-26 2021-08-20 广州九舞数字科技有限公司 一种基于用户动作的电子沙盘展示方法及装置
CN113299416A (zh) * 2021-04-29 2021-08-24 中核核电运行管理有限公司 一种核电厂操作人员操作意图智能识别***及方法
CN113658251A (zh) * 2021-08-25 2021-11-16 北京市商汤科技开发有限公司 测距方法、装置、电子设备、存储介质及***
CN117389416A (zh) * 2023-10-18 2024-01-12 广州易云信息技术有限公司 一种智能机器人的交互控制方法、装置及机器人
CN117170418A (zh) * 2023-11-02 2023-12-05 杭州华橙软件技术有限公司 云台控制方法、装置、设备以及存储介质
CN117170418B (zh) * 2023-11-02 2024-02-20 杭州华橙软件技术有限公司 云台控制方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
TW201941099A (zh) 2019-10-16
WO2019179442A1 (zh) 2019-09-26

Similar Documents

Publication Publication Date Title
CN108733208A (zh) 智能设备的交互目标确定方法和装置
CN108733420A (zh) 智能设备的唤醒方法、装置、智能设备和存储介质
CN108733419A (zh) 智能设备的持续唤醒方法、装置、智能设备和存储介质
CN108733280A (zh) 智能设备的焦点跟随方法、装置、智能设备及存储介质
CN108733417A (zh) 智能设备的工作模式选择方法和装置
Krotkov Active computer vision by cooperative focus and stereo
CN108985225A (zh) 焦点跟随方法、装置、电子设备及存储介质
JP6295645B2 (ja) 物体検出方法及び物体検出装置
EP2825841B1 (en) Method, device and computer programme for extracting information about a staircase
CN106991377A (zh) 结合深度信息的人脸识别方法、人脸识别装置和电子装置
CN107240124A (zh) 基于时空约束的跨镜头多目标跟踪方法及装置
US10950032B2 (en) Object capture coverage evaluation
CN104902246A (zh) 视频监视方法和装置
CN104966062B (zh) 视频监视方法和装置
CN107341467A (zh) 虹膜采集方法及设备、电子装置和计算机可读存储介质
CN106991688A (zh) 人体跟踪方法、人体跟踪装置和电子装置
US20120092680A1 (en) Methods and apparatus for real-time digitization of three-dimensional scenes
US20160210761A1 (en) 3d reconstruction
CN109313822B (zh) 基于机器视觉的虚拟墙构建方法及装置、地图构建方法、可移动电子设备
CN104166995B (zh) 一种基于马步测度的Harris‑SIFT双目视觉定位方法
CN106991376A (zh) 结合深度信息的侧脸验证方法及装置与电子装置
CN104471436B (zh) 用于计算对象的成像比例的变化的方法和设备
Furukawa et al. Robust structure and motion from outlines of smooth curved surfaces
CN109416251A (zh) 基于色块标签的虚拟墙构建方法及装置、地图构建方法、可移动电子设备
US20220030157A1 (en) Method for focusing a camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181102