JP2019512826A - スマートロボットを呼び掛ける方法及びスマートロボット - Google Patents

スマートロボットを呼び掛ける方法及びスマートロボット Download PDF

Info

Publication number
JP2019512826A
JP2019512826A JP2018562401A JP2018562401A JP2019512826A JP 2019512826 A JP2019512826 A JP 2019512826A JP 2018562401 A JP2018562401 A JP 2018562401A JP 2018562401 A JP2018562401 A JP 2018562401A JP 2019512826 A JP2019512826 A JP 2019512826A
Authority
JP
Japan
Prior art keywords
information
face
face information
smart robot
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018562401A
Other languages
English (en)
Inventor
明修 陳
明修 陳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yutou Technology Hangzhou Co Ltd
Original Assignee
Yutou Technology Hangzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yutou Technology Hangzhou Co Ltd filed Critical Yutou Technology Hangzhou Co Ltd
Publication of JP2019512826A publication Critical patent/JP2019512826A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

スマートロボットを呼び掛ける方法及びスマートロボットであって、スマートデバイス技術分野に属し、スマートロボットにおける画像採集装置で画像情報を取得するステップ（Ｓ１）と、画像情報に人の顔情報があるかどうかを判断し、ない場合では、ステップＳ１に戻すステップ（Ｓ２）と、顔情報における複数の特徴点情報を抽出し、更に前記特徴点情報によって、前記顔情報が画像採集装置のまっすぐ正面に向かう顔を表示するかどうかを判断し、且つその同時にステップＳ４に移すステップ（Ｓ３）と、スマートロボットを呼び掛けた後、ログアウトするステップ（Ｓ４）とを含む。上記技術様態は、ユーザが如何なる動作なしで、スマートロボットを呼び掛けることを可能にする操作方法を提供することで、ユーザがスマートロボットを呼び掛ける操作の難易度を下げ、ユーザ体験をアップすることを図っている。

Description

本発明は、スマートデバイス技術分野に関し、特にスマートロボットを呼び掛ける方法及びスマートロボットに関する。
従来技術において、スマートロボットに対する操作は普通、１）入力装置を備えたスマートロボットにとって、該入力装置で命令を入力することができる。例えば、外付けキーボード、その本体に有するタッチパッドや他のリモコン入力装置などを通じて命令を入力し、それにより、スマートロボットを制御して対応の操作を実行させる。２）一部のスマートロボットは音声入力方法を利用して、内蔵の音声識別モデルによって入力した音声を識別し、且つ相応的に操作するように制御できる。３）同様に、一部のスマートロボットは、手振りをする方法を通じて、内蔵の手振り識別モデルによって該手振りを識別し、且つ相応的に操作するように制御できる。
上記設定に基づき、一般のスマートロボットを呼び掛ける操作も普通、上記の何種類の方法で行い、より一般的なのは特定の言葉を音声で入力する（ユーザはスマートロボットに「Ｈｉ，こんにちは」などの指定した言葉を言う）、或いは特定の手振り（ユーザがスマートロボットに手を振るなどの指定した手振り）をすることによって、スマートロボットを呼び掛ける。ただし、手振りによる呼びかけ操作でも、音声に基づく呼びかけ操作でも、特定の行為出力がないといけなく、ユーザから如何なる四肢運動や音声出力もないなら、スマートロボットの呼びかけ操作を起動させることはできない。したがって、スマートロボットを呼び掛ける操作は複雑になってしまい、ユーザ体験も低下した。
従来技術にある問題により、ここでスマートロボットを呼び掛ける方法及びスマートロボットに関する技術様態を提供し、ユーザが如何なる動作なしで、スマートロボットを呼び掛けることを可能にする操作方法を提供することで、ユーザがスマートロボットを呼び掛ける操作の難易度を下げ、ユーザ体験をアップすることを図っている。
上記技術様態は、具体的に、
スマートロボットを呼び掛ける方法を含み、そのうち、
スマートロボットにおける画像採集装置で画像情報を取得するステップＳ１と、
画像情報に人の顔情報があるかどうかを判断し、
ない場合では、ステップＳ１に戻すステップＳ２と、
前記顔情報における複数の特徴点情報を抽出し、更に前記特徴点情報によって、前記顔情報が画像採集装置のまっすぐ正面に向かう顔を表示するかどうかを判断し、且つその同時にステップＳ４に移すステップＳ３と、
スマートロボットを呼び掛けた後、ログアウトするステップＳ４とを含む、ことを特徴とする。
好ましくは、スマートロボットを呼び掛ける前記方法は、そのうち、前記ステップＳ２では、顔検出器によって前記画像情報に前記人の顔情報はあるかどうかを判断する。
好ましくは、スマートロボットを呼び掛ける前記方法は、そのうち、前記ステップＳ２では、前記画像情報に前記顔情報があると判断した場合に、前記顔情報に関連する位置情報とサイズ情報を取得する。
前記ステップＳ３は、具体的に、
事前に訓練された特徴点予測モデルを採用し、前記位置情報とサイズ情報によって、前記顔情報における複数の特徴点を抽出するステップＳ３１と、
複数の前記特徴点情報に基づいて、前記顔情報における各部の輪郭情報を確定するステップＳ３２と、
前記顔情報における鼻の中心点から左目の中心点までの第一距離、及び鼻の中心点から右目の中心点までの第二距離を取得するステップＳ３３と、
前記第一距離と前記第二距離との差が事前に設定した差の範囲に含まれるかどうかを判断し、
そうであれば、前記顔情報が前記正面に向かう顔を表示すると判断し、その後前記ステップＳ４に移し、
そうではなければ、前記顔情報が前記正面に向かう顔を表示しないと判断し、その後前記ステップＳ１に戻すステップＳ３４と、を含む。
好ましくは、スマートロボットを呼び掛ける前記方法は、そのうち、前記ステップＳ３を実行した後、前記顔情報に正面に向かう顔が含まれたと判断する場合に、先ずは
具体的に、
前記顔情報を継続的に追跡・採集し、且つ前記正面に向かう顔の持続的に滞在する時間を記録するステップＡ１と、
前記正面に向かう顔の持続的に滞在する時間が事前に設定した第一閾値を超えたかどうかを判断し、
そうであれば、前記ステップＳ４に移し、
そうではなければ、ステップＳ１に戻すステップＡ２とを含む滞在時間の判断ステップを実行した後、前記ステップＳ４を行う。
好ましくは、スマートロボットを呼び掛ける前記方法は、そのうち、前記ステップＳ２では、前記画像情報に前記顔情報があると判断した場合に、前記顔情報に関連する位置情報とサイズ情報を取得する。
前記ステップＡ２の後、前記正面に向かう顔の持続時間が前記第一閾値を超えたと判断する場合に、先ずは、
具体的に、
前記サイズ情報が事前に設定した第二閾値以上にあるかどうかを判断し、
そうであれば、前記ステップＳ４に移し、
そうではなければ、ステップＳ１に戻すステップＢ１を含む距離判断ステップを実行した後、前記ステップＳ４を行う。
好ましくは、スマートロボットを呼び掛ける前記方法は、そのうち、前記ステップＳ２では、前記画像情報に前記顔情報があると判断した場合に、前記顔情報に関連する位置情報とサイズ情報を取得する。
前記ステップＳ３を実行した後、前記顔情報に正面に向かう顔が含まれたと判断する場合に、先ずは
具体的に、
前記サイズ情報が事前に設定した第二閾値以上にあるかどうかを判断し、
そうであれば、前記ステップＳ４に移し、
そうではなければ、ステップＳ１に戻すステップＢ１を含む距離判断ステップを実行した後、前記ステップＳ４を行う。
好ましくは、スマートロボットを呼び掛ける前記方法は、そのうち、前記ステップＢ１を実行した後、前記サイズ情報が前記第二閾値以上にあると判断する場合に、先ずは、
具体的に、
前記顔情報を継続的に追跡・採集し、且つ前記正面に向かう顔の持続的滞在時間を記録するステップＡ１と、
前記正面に向かう顔の持続的滞在時間が事前に設定した第一閾値を超えたかどうかを判断し、
そうであれば、前記ステップＳ４に移し、
そうではなければ、ステップＳ１に戻すステップＡ２を含む滞在時間の判断ステップを実行した後、前記ステップＳ４を行う。
好ましくは、スマートロボットを呼び掛ける前記方法は、そのうち、前記第一閾値は２秒である。
好ましくは、スマートロボットを呼び掛ける前記方法は、そのうち、前記第二閾値は４００ピクセルである。
スマートロボットであって、そのうち、上記スマートロボットを呼び掛ける方法を採用する。
上記技術様態は、ユーザが如何なる動作なしで、スマートロボットを呼び掛けることを可能にするスマートロボットの呼び掛け方法を提供することで、ユーザがスマートロボットを呼び掛ける操作の難易度を下げ、ユーザ体験をアップする有益効果を有する。
図１は、本発明の好ましい実施例において、スマートロボットを呼び掛ける方法の全体プロセス図である。 図２は、本発明の好ましい実施例において、顔情報が正面に向かう顔を表示するかどうかを判断するステップを示す図である。 図３は、本発明の好ましい実施例において、滞在時間の判断ステップを含むスマートロボットの呼び掛け方法のプロセス図である。 図４は、本発明の好ましい実施例において、滞在時間の判断ステップと距離の判断ステップとを含むスマートロボットの呼び掛け方法のプロセス図である。 図５は、本発明の好ましい実施例において、滞在時間の判断ステップと距離の判断ステップとを含むスマートロボットの呼び掛け方法のプロセス図である。 図６は、本発明の好ましい実施例において、距離の判断ステップを含むスマートロボットの呼び掛け方法のプロセス図である。
以下は、本発明実施例に関する図面を参照しながら、本発明実施例の技術様態をはっきり、完全に説明したが、顕著的のは、これらの実施例は本発明に関する一部分だけであり、全部ではない。本発明の実施例を基礎として、当業者が創造的労働をしない前提で得る他の実施例は全部、本発明の保護範囲に属するべきである。
ここで明確する必要のあるのは、矛盾しない場合に、本発明の実施例及び実施例にある特徴を組み合わせてもよい。
以下は、図面と具体的実施形態を合わせて、本発明について、更なる説明をするが、本発明を制限するわけではない。
本発明の好ましい実施例において、従来技術にある上記問題に基づき、ここでスマートロボットを呼び掛ける方法を提供し、具体的に図１に示した、
スマートロボットにおける画像採集装置で画像情報を取得するステップＳ１と、
画像情報に人の顔情報があるかどうかを判断し、
ない場合では、ステップＳ１に戻すステップＳ２と、
顔情報における複数の特徴点情報を抽出し、更に前記特徴点情報によって、前記顔情報が画像採集装置のまっすぐ正面に向かう顔を表示するかどうかを判断し、且つその同時にステップＳ４に移すステップＳ３と、
スマートロボットを呼び掛けた後、ログアウトするステップＳ４とを含む。
具体的な実施例において、上記ステップＳ１では、前記画像採集装置はスマートロボットに設けたカメラであってもよい、即ちスマートロボットに設けたカメラで採集区域内の画像情報を採集してみる。
次に、特定の判断ルールに従って、採集した上記画像情報に人の顔情報はあるかどうかを判断する。具体的には、事前に訓練された顔検出器で上記画像情報に人の顔情報はあるかどうかを判断可能である。前記顔検出器は実際、事前に訓練された顔検出モデルであってもよく、事前に入力した複数の顔訓練サンプルを通じて、学習を繰り返して該検出モデルを形成し、且つ該検出モデルを実際的画像情報の検出に応用することで、前記画像情報に人の顔を表示する顔情報は含まれるかどうかを検出することができる。該ステップにおいて、顔情報は正面に向かう顔を示す顔情報を含んでもよいし、側面に向かう顔や一部の顔の顔情報を含んでもよく、これらの検出標準は事前に入力した前記訓練サンプルを通じて、顔検出器の生成内容を制御することで実現可能になる。訓練サンプルの重複学習によって顔検出器を形成する工程なら、従来技術でも多くの実現方法はすでにあるので、ここでは詳細に説明しない。
該実施例において、上記画像情報に如何なる顔情報でもないと判断した場合は、上記ステップＳ１に戻し、それで、画像採集装置によって画像情報を採集し続け、上記画像情報に顔情報はあると判断するなら、ステップＳ３に移す。上記ステップＳ３において、顔情報にある複数の特徴点情報を抽出することで、該顔情報は画像採集装置の正面に向かう顔を表すかどうかを判断し、そうであれば、ステップＳ４に移し、検出した正面に向かう顔に基づいて該スマートロボットを呼び掛ける（即ち、この時、ユーザがスマートロボットを意図的に操作していると判断する）、そうではなければ、上記ステップＳ１に戻し、画像採集装置で画像情報を採集し続けて且つ顔情報に対する判断を継続する。
上述を要約すると、本発明の技術様態において、ユーザがスマートロボットの正面に向かう画像採集装置（カメラなど）を通じて、スマートロボットを呼び掛けてから操作をすることができるようにし、音声や手振りなどの入力方法しかによって、スマートロボットを呼び掛ける操作ができないという問題を避ける。
本発明の好ましい実施例において、前記ステップＳ２では、前記画像情報に前記顔情報があると判断した場合に、前記顔情報に関連する位置情報とサイズ情報を取得する。
上記ステップＳ３は具体的に、図２に示すように、
事前に訓練された特徴点予測モデルを採用し、前記位置情報とサイズ情報によって、前記顔情報における複数の特徴点を抽出するステップＳ３１と、
複数の前記特徴点情報に基づいて、前記顔情報における各部の輪郭情報を確定するステップＳ３２と、
前記顔情報における鼻の中心点から左目の中心点までの第一距離、及び鼻の中心点から右目の中心点までの第二距離を取得するステップＳ３３と、
前記第一距離と前記第二距離との差が事前に設定した差の範囲に含まれるかどうかを判断し、
そうであれば、前記顔情報が前記正面に向かう顔を表示すると判断し、その後、前記ステップＳ４に移し、
そうではなければ、前記顔情報が前記正面に向かう顔を表示しないと判断し、その後、前記ステップＳ１に戻すステップＳ３４と、を含む。
具体的に、本発明の好ましい実施例において、前記ステップＳ２では、前記画像情報に前記顔情報があると判断した場合に、該顔情報を得ると同時に、その位置情報とサイズ情報を取得する。
前記位置情報は、顔情報に示した顔が画像情報にある位置を指す、例えば、画像の真ん中にある、それとも画像の左上にある、又は画像の右下にあるなど。
前記サイズ情報は、顔情報が示す人の顔のサイズを指し、普通はピクセルで表示する。
上記ステップＳ３１−Ｓ３２において、先ずは事前に訓練された特徴点予測モデルを採用し、該顔情報に関する前記位置情報とサイズ情報によって、前記顔情報における複数の特徴点を抽出し、それにより、前記特徴点によって顔情報における各部の輪郭情報を確定する。前記特徴点予測モデルは、同様として事前に複数の訓練サンプルを通じて、入力・学習して形成する予測モデルであってもよく、人の顔における６８の特徴点に対する抽出と予測を経由して、顔にある眉毛、目、鼻、唇と顔全体の輪郭などの情報を得てから、顔の略輪郭を引く。
次に、本発明の好ましい実施例において、上記ステップＳ３３では、上記輪郭情報により、鼻の中心点の位置、左目の中心点の位置と右目の中心点の位置をそれぞれ取得し、それで、鼻の中心点の位置から左目の中心点の位置までの距離を得て、第一距離にし、鼻の中心点の位置から右目の中心点の位置までの距離を得、第二距離とする。その後、前記第一距離と第二距離との差を計算し、且つ該差は事前に設定した差の範囲以内にあるかどうかを判断し、そうであれば、この時、該顔情報はスマートロボットの画像採集装置の正面に向かう顔を表示するように示し、そうではなければ、該顔情報は正面に向かう顔を表示しない。
具体的には、本発明の好ましい実施例において、正面に向かう顔にとって、顔の対称性を原因で、鼻の中心点から左目や右目の中心点までの距離は等しいか近いであるはず。顔が少し回すと、二距離間は必ず変化する。例えば、顔が左に回すと、鼻の中心点から右目の中心点までの距離は必ず小さくなり、それで二距離間の差も大きくなる。同じ理由で、顔が右に回すと、鼻の中心点から左目の中心点までの距離は必ず小さくなり、上記二距離間の差も大きくなる。
したがって、上述のように、最適な状況では、顔情報に示されたのは正面に向かう顔であれば、上記二距離は等しいとなるはず、即ち二距離間の差は０であるはず。しかし、実際の状況では、顔に絶対的対称があるはずはないため、顔情報が正面に向かう顔を表示する場合に、上記二距離間は依然として特定の差はあるが、この差はより小さいであるはず。だから、本発明の好ましい実施例では、上記差の範囲を適切な小さい範囲に設定するべきであり、更に該差の範囲によって、現在の顔情報が正面に向かう顔を表示するかどうかを判断できることを保証する。
本発明の好ましい実施例において、前記ステップＳ３を実行した後、前記顔情報に正面に向かう顔が含まれたと判断する場合に、先ずは、
具体的に、
前記顔情報を継続的に追跡・採集し、且つ前記正面に向かう顔の持続的滞在時間を記録するステップＡ１と、
前記正面に向かう顔の持続的滞在時間が事前に設定した第一閾値を超えたかどうかを判断し、
そうであれば、前記ステップＳ４に移し、
そうではなければ、ステップＳ１に戻すステップＡ２を含む距離判断ステップを実行した後、前記ステップＳ４を行う。
本発明のある好ましい実施例において、上記滞在時間の判断ステップを含む呼び掛け方法のプロセス全体は図３に示すように、
スマートロボットにおける画像採集装置で画像情報を取得するステップＳ１と、
画像情報に人の顔情報があるかどうかを判断し、
ない場合では、ステップＳ１に戻すステップＳ２と、
顔情報における複数の特徴点情報を抽出し、更に前記特徴点情報によって、前記顔情報が画像採集装置のまっすぐ正面に向かう顔を表示するかどうかを判断し、
そうではなければ、ステップＳ１に戻し、
前記顔情報を継続的に追跡・採集し、且つ前記正面に向かう顔の持続的に滞在する時間を記録するステップＡ１と、
前記正面に向かう顔の持続的滞在時間が事前に設定した第一閾値を超えたかどうかを判断し、
そうであれば、前記ステップＳ４に移し、
そうではなければ、ステップＳ１に戻すステップＡ２とを含むステップＳ３と、
スマートロボットを呼び掛けた後、ログアウトするステップＳ４とを含む。
具体的には、該実施例において、上記工程中、先ず上述した正面に向かう顔を判断するステップを行う。現時点に識別した顔情報が正面に向かう顔を表示すると判断した時、上記滞在時間の判断ステップを更に実行し、即ち、該顔情報に対する追跡・採取を継続し、且つ現時点の顔情報を前の時点の顔情報と比較し、正面に向かう顔を表示する該顔情報は変化したかどうかを判断し、最後に、該顔情報が変化しない持続時間、即ち該顔情報の持続的滞在時間を記録する。
該実施例において、上記顔情報の対比について、人の顔情報が小さい範囲で変化することを許すように、対比の差の範囲を設けてもよい。
該実施例において、該滞在時間の判断ステップを呼びかけ方法全体に応用するのは、先ず、正面に向かう顔を判断するステップ、現時点の顔情報が正面に向かう顔を表示すると判断した時、更に滞在時間の判断ステップを実行するという上述したステップ（図３に示すように）と呼ぶ。正面に向かう顔の判断標準と滞在時間の判断標準を同時に合うしか、スマートロボットを呼び掛けることができるように認められない。
本発明の好ましい実施例において、事前に設定した上述の第一閾値は、ある人が見つめられる時の正常反応時間と類似的に、例え１秒や２秒と設けることができる。
本発明の好ましい実施例において、上述したように、前記ステップＳ２では、前記画像情報に前記顔情報があると判断した場合に、前記顔情報に関連する位置情報とサイズ情報を記録する。
上記呼びかけ方法にはまた距離判断ステップが含まれる。該ステップは、記録された上記位置情報とサイズ情報に頼る。具体的に、
前記サイズ情報が事前に設定した第二閾値以上にあるかどうかを判断し、
そうであれば、前記ステップＳ４に移し、
そうではなければ、ステップＳ１に戻すステップＢ１を含む。
具体的に、本発明の好ましい実施例において、上記距離判断ステップは、人の顔から画像採集装置（カメラ）までの距離が十分に近いかどうかを判断するのに用い、そうであれば、ユーザがスマートロボットを意識的に呼び掛けると判断し、そうではなければ、ユーザがスマートロボットを呼び掛けたくないように判断する。
本発明の好ましい実施例において、上記第二閾値は画像採集装置のファインダーのサイズに適するある数値としてもよい。例えば、ファインダーは普通６４０ピクセルに設定され、上記第二閾値を４００ピクセルに設定してもよく、それで、人の顔情報に関するサイズ情報が上記第二閾値以上にある（人の顔のサイズが４００ピクセル以上にある）場合、この時、ユーザから画像採集装置までの距離は近いと認め、逆に、ユーザから画像採集装置までの距離は遠いと認める。
本発明の好ましい実施例において、上記呼びかけ方法に、上記滞在時間の判断ステップと距離の判断ステップを同時に応用して、最後に形成したプロセスは図4に示すように、
スマートロボットにおける画像採集装置で画像情報を取得するステップＳ１と、
画像情報に人の顔情報があるかどうかを判断し、
ない場合では、ステップＳ１に戻すステップＳ２と、
顔情報における複数の特徴点情報を抽出し、更に前記特徴点情報によって、前記顔情報が画像採集装置のまっすぐ正面に向かう顔を表示するかどうかを判断し、
そうではなければ、ステップＳ１に戻すステップＳ３と、
前記顔情報を継続的に追跡・採集し、且つ前記正面に向かう顔の持続的滞在時間を記録するステップＡ１と、
前記正面に向かう顔の持続的滞在時間が事前に設定した第一閾値を超えたかどうかを判断し
そうではなければ、ステップＳ１に戻すステップＡ２と、
前記サイズ情報が事前に設定した第二閾値以上にあるかどうかを判断し、
そうであれば、前記ステップＳ４に移し、
そうではなければ、ステップＳ１に戻すステップＢ１と、
スマートロボットを呼び掛けた後、ログアウトするステップＳ４とを含む。
該実施例において、判断の順序は、画像に顔情報はあるかどうかを判断する→顔情報は正面に向かう顔を表示するかどうかを判断する→該顔情報の滞在時間は標準に合うかどうかを判断する→該顔情報のサイズ情報は標準に合うかどうかを判断する。
それで、該実施例において、下記の三つの要件を同時に合ってこそ、この時ユーザがスマートロボットを呼び掛けようとするように認め、且つ判断の結果によってスマートロボットを呼び掛ける操作を実際に実行する。
（１） 顔情報は正面に向かう顔を表示する、
（２） 該顔の持続的滞在時間は第一閾値を超えた、
（３） 該顔がファインダーにおけるサイズは第二閾値以上にある。
本発明のもう一つの好ましい実施例において、同様に、滞在時間の判断ステップと距離の判断ステップを同時に応用して形成した完全の呼び掛け方法のプロセスは図５に示すように、
スマートロボットにおける画像採集装置で画像情報を取得するステップＳ１と、
画像情報に人の顔情報があるかどうかを判断し、
ない場合では、ステップＳ１に戻すステップＳ２と、
顔情報における複数の特徴点情報を抽出し、更に前記特徴点情報によって、前記顔情報が画像採集装置のまっすぐ正面に向かう顔を表示するかどうかを判断し、
そうではなければ、ステップＳ１に戻すステップＳ３と、
前記サイズ情報が事前に設定した第二閾値以上にあるかどうかを判断し、
そうではなければ、ステップＳ１に戻すステップＢ１と、
前記顔情報を継続的に追跡・採集し、且つ前記正面に向かう顔の持続的滞在時間を記録するステップＡ１と、
前記正面に向かう顔の持続的滞在時間が事前に設定した第一閾値を超えたかどうかを判断し
そうであれば、前記ステップＳ４に移し、
そうではなければ、ステップＳ１に戻すステップＡ２と、
スマートロボットを呼び掛けた後、ログアウトするステップＳ４とを含む。
該実施例において、具体的判断プロセスは、画像に顔情報はあるかどうかを判断する→顔情報は正面に向かう顔を表示するかどうかを判断する→該顔情報のサイズ情報は標準に合うかどうかを判断する→該顔情報の滞在時間は標準に合うかどうかを判断する。同様に、該実施例において、三つの要件を同時に合うしか、スマートロボットを呼び掛ける操作ができると認めない。
本発明のもう一つの好ましい実施例において、上記呼びかけ方法に、距離判断ステップだけを添加してもよく、具体的に図６に示すように、
スマートロボットにおける画像採集装置で画像情報を取得するステップＳ１と、
画像情報に人の顔情報があるかどうかを判断し、
ない場合では、ステップＳ１に戻すステップＳ２と、
顔情報における複数の特徴点情報を抽出し、更に前記特徴点情報によって、前記顔情報が画像採集装置のまっすぐ正面に向かう顔を表示するかどうかを判断し、
そうではなければ、ステップＳ１に戻すステップＳ３と、
前記サイズ情報が事前に設定した第二閾値以上にあるかどうかを判断し、
そうであれば、前記ステップＳ４に移し、
そうではなければ、ステップＳ１に戻すステップＢ１と、
スマートロボットを呼び掛けた後、ログアウトするステップＳ４とを含む。
該実施例において、二つの条件だけを同時に満たせばよい、即ち（１）顔情報は正面に向かう顔を表示すること、（３）該顔がファインダーにおけるサイズは第二閾値以上にあること。この時、ユーザはスマートロボットを意識的に呼び掛けると認め、且つ判断結果によってスマートロボットを呼び掛ける操作をする。
上述を要約すると、本発明の技術様態において、スマートロボットを呼び掛ける操作をするかどうかについて、（１）顔情報は正面に向かう顔を表示すること、（２）該顔の持続的滞在時間は第一閾値を超えたこと、（３）該顔がファインダーにおけるサイズは第二閾値以上にあること、という三つの判断条件が提供された。各判断条件は全部、対応の判断プロセスを有している。そのうち、第（１）の判断条件は、本発明の呼びかけ方法にとっては欠けないものであり、他の第（２）と第（３）の判断条件はただ本発明の呼びかけ方法のオプション条件だけであり、それにより、複数の異なる呼び掛け方法を派生することができるようになった。派生したこれらの呼び掛け方法及び前記呼びかけ方法に対する修正と更新は全部、本発明の保護範囲に含まれるべきである。
本発明の好ましい実施例において、またスマートロボットを提供し、そのうち、上述したスマートロボットの呼びかけ方法を採用する。
上記は本発明の好ましい実施例を説明したが、本発明の実施形態と保護範囲を制限するわけではない。当業者にとっては、本発明の明細書と図面内容を応用して、同等な置き換えや明らかな変更を加える方案は可能であって、本発明の保護範囲に属するべきである。

Claims (10)

  1. スマートロボットを呼び掛ける方法であって、
    スマートロボットにおける画像採集装置で画像情報を取得するステップ（Ｓ１）と、
    画像情報に人の顔情報があるかどうかを判断し、
    ない場合では、ステップＳ１に戻すステップ（Ｓ２）と、
    顔情報における複数の特徴点情報を抽出し、更に前記特徴点情報によって、前記顔情報が画像採集装置のまっすぐ正面に向かう顔を表示するかどうかを判断し、且つその同時にステップＳ４に移すステップ（Ｓ３）と、
    スマートロボットを呼び掛けた後、ログアウトするステップ（Ｓ４）とを含む、ことを特徴とする。
  2. 前記ステップＳ２では、顔検出器によって前記画像情報に人の顔情報はあるかどうかを判断する、ことを特徴とする請求項１に記載のスマートロボットを呼び掛ける方法。
  3. 前記ステップＳ２では、前記画像情報に前記顔情報があると判断した場合に、前記顔情報に関連する位置情報とサイズ情報を取得し、
    前記ステップＳ３は、具体的に、
    事前に訓練された特徴点予測モデルを採用し、前記位置情報とサイズ情報によって、前記顔情報における複数の特徴点を抽出するステップＳ３１と、
    複数の前記特徴点情報に基づいて、前記顔情報における各部の輪郭情報を確定するステップＳ３２と、
    前記顔情報における鼻の中心点から左目の中心点までの第一距離、及び鼻の中心点から右目の中心点までの第二距離を取得するステップＳ３３と、
    前記第一距離と前記第二距離との差が事前に設定した差の範囲に含まれるかどうかを判断し、
    そうであれば、前記顔情報が前記正面に向かう顔を表示すると判断し、その後前記ステップＳ４に移し、
    そうではなければ、前記顔情報が前記正面に向かう顔を表示しないと判断し、その後、前記ステップＳ１に戻すステップＳ３４とを含む、ことを特徴とする請求項１に記載のスマートロボットを呼び掛ける方法。
  4. 前記ステップＳ３を実行した後、前記顔情報に正面に向かう顔が含まれたと判断する場合に、先ずは、
    具体的に、
    前記顔情報を継続的に追跡・採集し、且つ前記正面に向かう顔の持続的に滞在する時間を記録するステップＡ１と、
    前記正面に向かう顔の持続的滞在時間が事前に設定した第一閾値を超えたかどうかを判断し、
    そうであれば、前記ステップＳ４に移し、
    そうではなければ、ステップＳ１に戻すステップＡ２とを含む滞在時間の判断ステップを実行し、次に前記ステップＳ４をする、ことを特徴とする請求項１に記載のスマートロボットを呼び掛ける方法。
  5. 前記ステップＳ２では、前記画像情報に前記顔情報があると判断した場合に、前記顔情報に関連する位置情報とサイズ情報を記録し、
    前記ステップＡ２を実行した後、前記正面に向かう顔の持続時間が前記第一閾値を超えたと判断する場合に、先ずは、
    具体的に、
    前記サイズ情報が事前に設定した第二閾値以上にあるかどうかを判断し、
    そうであれば、前記ステップＳ４に移し、
    そうではなければ、ステップＳ１に戻すステップＢ１を含む距離判断ステップを実行し、その後前記ステップＳ４をする、ことを特徴とする請求項４に記載のスマートロボットを呼び掛ける方法。
  6. 前記ステップＳ２では、前記画像情報に前記顔情報があると判断した場合に、前記顔情報に関連する位置情報とサイズ情報を記録し、
    前記ステップＳ３を実行した後、前記顔情報に正面に向かう顔が含まれたと判断する場合に、先ずは、
    具体的に、
    前記サイズ情報が事前に設定した第二閾値以上にあるかどうかを判断し、
    そうであれば、前記ステップＳ４に移し、
    そうではなければ、ステップＳ１に戻すステップＢ１を含む距離判断ステップを実行し、その後前記ステップＳ４をする、ことを特徴とする請求項１に記載のスマートロボットを呼び掛ける方法。
  7. 前記ステップＢ１を実行した後、前記サイズ情報が前記第二閾値以上にあると判断する場合に、先ずは、
    具体的に、
    前記顔情報を継続的に追跡・採集し、且つ前記正面に向かう顔の持続的滞在時間を記録するステップＡ１と、
    前記正面に向かう顔の持続的滞在時間が事前に設定した第一閾値を超えたかどうかを判断し、
    そうであれば、前記ステップＳ４に移し、
    そうではなければ、ステップＳ１に戻すステップＡ２を含む滞在時間の判断ステップを実行し、その後前記ステップＳ４をする、ことを特徴とする請求項６に記載のスマートロボットを呼び掛ける方法。
  8. 前記第一閾値は２秒である、ことを特徴とする請求項４又は７に記載のスマートロボットを呼び掛ける方法。
  9. 前記第二閾値は４００ピクセルである、ことを特徴とする請求項５又は６に記載のスマートロボットを呼び掛ける方法。
  10. スマートロボットであって、請求項１−９に記載のスマートロボットを呼び掛ける方法を採用することを特徴とする。
JP2018562401A 2016-02-23 2017-02-20 スマートロボットを呼び掛ける方法及びスマートロボット Pending JP2019512826A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201610098983.6 2016-02-23
CN201610098983.6A CN107102540A (zh) 2016-02-23 2016-02-23 一种唤醒智能机器人的方法及智能机器人
PCT/CN2017/074044 WO2017143948A1 (zh) 2016-02-23 2017-02-20 一种唤醒智能机器人的方法及智能机器人

Publications (1)

Publication Number Publication Date
JP2019512826A true JP2019512826A (ja) 2019-05-16

Family

ID=59658477

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018562401A Pending JP2019512826A (ja) 2016-02-23 2017-02-20 スマートロボットを呼び掛ける方法及びスマートロボット

Country Status (7)

Country Link
US (1) US20190057247A1 (ja)
EP (1) EP3422246A4 (ja)
JP (1) JP2019512826A (ja)
KR (1) KR20180111859A (ja)
CN (1) CN107102540A (ja)
TW (1) TWI646444B (ja)
WO (1) WO2017143948A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009501A (zh) * 2017-12-01 2018-05-08 宁波高新区锦众信息科技有限公司 一种机器人的人脸识别***
CN107908289B (zh) * 2017-12-01 2021-06-11 宁波高新区锦众信息科技有限公司 一种基于头部的机器人的人脸识别交互***
CN107886087B (zh) * 2017-12-01 2021-06-11 宁波高新区锦众信息科技有限公司 一种基于人眼的机器人的人脸识别交互***
CN108733420B (zh) * 2018-03-21 2022-04-29 北京猎户星空科技有限公司 智能设备的唤醒方法、装置、智能设备和存储介质
CN108733208A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 智能设备的交互目标确定方法和装置
CN108733417A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 智能设备的工作模式选择方法和装置
CN108888204B (zh) * 2018-06-29 2022-02-22 炬大科技有限公司 一种扫地机器人呼唤装置及呼唤方法
CN108985225B (zh) * 2018-07-13 2021-12-14 北京猎户星空科技有限公司 焦点跟随方法、装置、电子设备及存储介质
CN109190478A (zh) * 2018-08-03 2019-01-11 北京猎户星空科技有限公司 焦点跟随过程中目标对象的切换方法、装置及电子设备
KR102537784B1 (ko) * 2018-08-17 2023-05-30 삼성전자주식회사 전자 장치 및 그 제어 방법
CN109093631A (zh) * 2018-09-10 2018-12-28 中国科学技术大学 一种服务机器人唤醒方法及装置
CN111230891B (zh) * 2018-11-29 2021-07-27 深圳市优必选科技有限公司 一种机器人及其语音交互***
CN109725946A (zh) * 2019-01-03 2019-05-07 阿里巴巴集团控股有限公司 一种基于人脸检测唤醒智能设备的方法、装置及设备
CN110134233B (zh) * 2019-04-24 2022-07-12 福建联迪商用设备有限公司 一种基于人脸识别的智能音箱唤醒方法及终端
CN110211251A (zh) * 2019-04-26 2019-09-06 珠海格力电器股份有限公司 一种人脸识别方法、装置、存储介质及人脸识别终端
US20210323581A1 (en) * 2019-06-17 2021-10-21 Lg Electronics Inc. Mobile artificial intelligence robot and method of controlling the same
CN110370287B (zh) * 2019-08-16 2022-09-06 中铁第一勘察设计院集团有限公司 基于视觉引导的地铁列检机器人路径规划***及方法
CN113359538A (zh) * 2020-03-05 2021-09-07 东元电机股份有限公司 语音控制机器人
CN113542878B (zh) * 2020-04-13 2023-05-09 海信视像科技股份有限公司 一种基于人脸识别与手势检测的唤醒方法及显示设备
CN111883130A (zh) * 2020-08-03 2020-11-03 上海茂声智能科技有限公司 一种融合式语音识别方法、装置、***、设备和存储介质
CN112171652A (zh) * 2020-08-10 2021-01-05 江苏悦达投资股份有限公司 一种可旋转夹取助力机械手
CN114237379A (zh) * 2020-09-09 2022-03-25 比亚迪股份有限公司 电子设备的控制方法、装置、设备及存储介质
CN112565863B (zh) * 2020-11-26 2024-07-05 深圳Tcl新技术有限公司 视频播放方法、装置、终端设备及计算机可读存储介质
CN113221630A (zh) * 2021-03-22 2021-08-06 刘鸿 一种人眼注视镜头的估算方法及其在智能唤醒中的应用
CN113838465A (zh) * 2021-09-30 2021-12-24 广东美的厨房电器制造有限公司 智能设备的控制方法及其装置、智能设备和可读存储介质
KR102456438B1 (ko) 2022-07-13 2022-10-19 (주)인티그리트 인공지능을 활용한 비주얼 웨이크 업 시스템
CN115781661A (zh) * 2022-09-21 2023-03-14 展视网（北京）科技有限公司 一种智能交互机器人***及使用方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1174337C (zh) * 2002-10-17 2004-11-03 南开大学 识别人眼注视与否的方法和装置及其应用
CN201163417Y (zh) * 2007-12-27 2008-12-10 上海银晨智能识别科技有限公司 具有人脸识别的智能机器人
RU2534073C2 (ru) * 2009-02-20 2014-11-27 Конинклейке Филипс Электроникс Н.В. Система, способ и аппарат для инструктирования устройству входить в активный режим
TW201112045A (en) * 2009-09-28 2011-04-01 Wistron Corp Viewing direction determination method, viewing direction determination apparatus, image processing method, image processing apparatus and display device
CN102058983B (zh) * 2010-11-10 2012-08-29 无锡中星微电子有限公司 基于视频分析的智能玩具
TW201224955A (en) * 2010-12-15 2012-06-16 Ind Tech Res Inst System and method for face detection using face region location and size predictions and computer program product thereof
CN202985566U (zh) * 2012-07-26 2013-06-12 王云 基于人脸识别的安保机器人
CN105182983A (zh) * 2015-10-22 2015-12-23 深圳创想未来机器人有限公司 基于移动机器人的人脸实时跟踪方法和跟踪***

Also Published As

Publication number Publication date
US20190057247A1 (en) 2019-02-21
TW201823927A (zh) 2018-07-01
EP3422246A4 (en) 2019-10-23
TWI646444B (zh) 2019-01-01
CN107102540A (zh) 2017-08-29
KR20180111859A (ko) 2018-10-11
WO2017143948A1 (zh) 2017-08-31
EP3422246A1 (en) 2019-01-02

Similar Documents

Publication Publication Date Title
JP2019512826A (ja) スマートロボットを呼び掛ける方法及びスマートロボット
KR102425578B1 (ko) 객체를 인식하는 방법 및 장치
US20210073953A1 (en) Method for applying bokeh effect to image and recording medium
US10664060B2 (en) Multimodal input-based interaction method and device
WO2021185016A1 (en) Methods and systems for controlling device using hand gestures in multi-user environment
CN103353935B (zh) 一种用于智能家居***的3d动态手势识别方法
JP6011165B2 (ja) ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム
CN110959160A (zh) 一种手势识别方法、装置及设备
JP2019008351A (ja) 情報処理装置、情報処理方法及び記録媒体
KR100954835B1 (ko) 얼굴변화 검출 시스템 및 얼굴변화 감지에 따른 지능형 시스템
US20190212815A1 (en) Method and apparatus to determine trigger intent of user
WO2013009062A2 (ko) 머리의 제스처 및 손의 제스처를 감지하여 컨텐츠를 제어하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
CN103472915A (zh) 基于瞳孔跟踪的阅读控制方法、阅读控制装置及显示设备
US11520409B2 (en) Head mounted display device and operating method thereof
EP3757878A1 (en) Head pose estimation
KR20210073429A (ko) 착용형 ar 장치를 위한 시선 추적 및 손동작 인식 기반 통합 인터페이스 방법 및 시스템
US11205066B2 (en) Pose recognition method and device
KR102637342B1 (ko) 대상 객체를 추적하는 방법과 장치 및 전자 장치
CN104065949A (zh) 一种电视虚拟触控方法及***
KR101744863B1 (ko) 영상을 이용한 2차원 감성 추정 방법 및 시스템
CN106547339B (zh) 计算机设备的控制方法和装置
WO2019207875A1 (ja) 情報処理装置、情報処理方法及びプログラム
KR20190132885A (ko) 영상으로부터 손을 검출하는 장치, 방법 및 컴퓨터 프로그램
Siam et al. Human computer interaction using marker based hand gesture recognition
JP2018534641A (ja) ロボットの感情データ更新方法及びシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201001

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210422