JP2014182452A - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP2014182452A
JP2014182452A JP2013055019A JP2013055019A JP2014182452A JP 2014182452 A JP2014182452 A JP 2014182452A JP 2013055019 A JP2013055019 A JP 2013055019A JP 2013055019 A JP2013055019 A JP 2013055019A JP 2014182452 A JP2014182452 A JP 2014182452A
Authority
JP
Japan
Prior art keywords
user
information
concentration
unit
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013055019A
Other languages
English (en)
Inventor
Akihiro Minagawa
明洋 皆川
Yutaka Katsuyama
裕 勝山
Hiroaki Takebe
浩明 武部
Yoshinobu Hotta
悦伸 堀田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2013055019A priority Critical patent/JP2014182452A/ja
Priority to EP13198587.1A priority patent/EP2793102A3/en
Priority to US14/136,110 priority patent/US20140282235A1/en
Priority to KR1020140006072A priority patent/KR20140114283A/ko
Publication of JP2014182452A publication Critical patent/JP2014182452A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Facsimiles In General (AREA)
  • Stored Programmes (AREA)
  • Debugging And Monitoring (AREA)

Abstract

【課題】利用者が集中している場合にも、利用者が操作指示として意図した動作を操作指示と判断する。
【解決手段】利用者が集中しているか否かを推定可能な利用者の視線位置((Ａ)参照)を取得し、取得した利用者の視線位置に基づく利用者の集中度合いが高くなるに従って、利用者の動作が操作指示か否かを判断するための閾値ＴＨ((Ｂ)の破線参照)が低くなるように、閾値ＴＨを変更設定する。そして、利用者の動作を表す動作情報を変更設定した閾値と比較することで、利用者の動作が利用者の意図した操作指示か否かを判断する。
【選択図】図５

Description

開示の技術は情報処理装置及び情報処理プログラムに関する。
ＰＣ(Personal Computer)やタブレット端末等の情報処理装置において、利用者が行ったジェスチャや発声等の動作を情報処理装置への操作指示として受け付ける技術が提案されている。例えば、利用者がカメラを注視した状態で行ったジェスチャを、利用者が意図したジェスチャとして受理する一方、利用者がカメラと異なる方向を向いた状態で行ったジェスチャを、利用者が意図したジェスチャではないと判断する技術が提案されている。
特開平１１−２４９７７３号公報
人の微細な動きなどを操作指示と誤認識しないように、一定の閾値を超えない動きは、操作指示として判断をしないようにしている。操作指示を意図した動きが、その閾値の範囲に入らずに、操作指示として認識されないことがある、という課題があった。
開示の技術は、一つの側面として、利用者が集中している場合にも、利用者が操作指示として意図した動作を操作指示と判断することが目的である。
開示の技術は、集中度情報取得部により、利用者の装置への集中度合いに関する集中度情報を取得する。動作情報取得部は、前記利用者の動作を直接又は間接的に表す動作情報を取得する。閾値決定指示部は、前記集中度情報取得部が取得した集中度情報に応じて、前記動作情報取得部が取得した動作情報が操作指示か否かを判断するための第１閾値を決定する。そして操作指示判断部は、前記閾値決定指示部によって決定された前記第１閾値を用いて、前記動作情報取得部によって取得された前記動作情報が表す前記利用者の動作が、前記利用者が意図した操作指示か否かを判断する。
開示の技術は、一つの側面として、利用者が集中している場合にも、利用者が操作指示として意図した動作を操作指示と判断することができる、という効果を有する。
第１実施形態に係る情報処理装置の機能ブロック図である。 情報処理装置として機能するコンピュータの概略ブロック図である。 第１実施形態に係る指示認識処理を示すフローチャートである。 視線位置情報からの閾値の演算を説明するための説明図である。 (Ａ)は視線位置の推移、(Ｂ)は利用者のジェスチャ(移動量の微分値)及び連続的に変更される閾値の推移の一例を示す線図である。 利用者のジェスチャ(移動量の微分値)及び段階的に変更される閾値の推移の一例を各々示す線図である。 第２実施形態に係る指示認識処理を示すフローチャートである。 利用者のジェスチャ(移動量の微分値)、連続的に変更される閾値の推移及び動作検出区間の一例を示す線図である。 第３実施形態に係る指示認識処理を示すフローチャートである。 (Ａ)は視線位置の軌跡がアクティブウインドウ内に収まっている場合、(Ｂ)は視線位置の軌跡がアクティブウインドウから逸脱している場合を各々示すイメージ図である。 第４実施形態に係る情報処理装置の機能ブロック図である。 第４実施形態に係る指示認識処理を示すフローチャートである。 (Ａ)は手が遠い場合、(Ｂ)は手が近い場合における、利用者のジェスチャ(移動量の微分値)及び閾値の推移の一例を各々示す線図である。
発明者は、操作指示として行う動作の大きさ(例えばジェスチャの大きさや、発声した音声の音量)が、人が集中をしている場合には、集中をしていないときと比べて、小さくなる傾向があることを見出した。人の集中する度合いに応じて、操作指示を示す動作の大きさか否かを判断する閾値を変更することで、操作指示か否かの判断の誤りを減らす。以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。
〔第１実施形態〕
図１には、本第１実施形態に係る情報処理装置１０が示されている。情報処理装置１０は、利用者が所定の動作(例えば手により所定のジェスチャを行う動作や所定の音声を発する発声動作等)を行うことで為された操作指示を認識し、認識した操作指示に応じた処理を行う装置である。情報処理装置１０は、集中度情報取得部１２、動作情報取得部１４、集中度判断部１６、閾値変更指示部１８及び操作指示判断部２０を備えている。
集中度情報取得部１２は、利用者が集中しているか否かに関連する物理量を表す集中度情報を取得する。利用者が集中しているか否かに関連する物理量の一例としては、利用者の視線位置が挙げられる。この場合、集中度情報取得部１２は、集中度情報として利用者の視線位置を表す視線位置情報を取得する。また、利用者が集中しているか否かに関連する物理量の他の例としては、利用者の体動(例えば利用者の頭部の動き)が挙げられる。この場合、集中度情報取得部１２は、集中度情報として利用者の体動を表す体動情報を取得する。視線位置情報や体動情報は、動画像を撮影する機能を備えた撮影部によって利用者が撮影されることで得られた動画像を取得し、取得した動画像を解析することで得ることができる。なお、以下では、集中度情報として視線位置情報を取得する態様を主に説明する。
動作情報取得部１４は、操作指示のために行われた利用者の動作を直接又は間接的に表す動作情報を取得する。例えば、利用者が手を動かして所定のジェスチャを行うことで操作指示が行われる場合、動作情報取得部１４は、利用者の動作を直接に表す動作情報として、撮影部によって利用者が撮影されることで得られた動画像を取得する。なお、動作情報取得部１４は、前記動画像に代えて、前記動画像に対して利用者の手を画像認識によって抽出した結果を取得するようにしてもよい。また、例えば利用者が所定の音声を発する発声動作を行うことで操作指示が行われる場合、動作情報取得部１４は、利用者の動作を間接的に表す動作情報として、音声検出部によって音声が検出されることで得られた音声情報を取得する。なお、動作情報取得部１４は、前記音声情報に代えて、前記音声情報に対して音声認識を行った結果を取得するようにしてもよい。以下では、利用者が手を動かして所定のジェスチャを行うことで操作指示が行われる態様を主に説明する。
集中度判断部１６は、集中度情報取得部１２によって取得された集中度情報に基づき、利用者が集中しているか否かを判断する。
前述のように、人は、情報処理装置へ操作指示を与えることに集中している場合、操作指示として行う動作の大きさ(例えばジェスチャの大きさや、発声した音声の音量)が小さくなる傾向がある。このため、閾値変更指示部１８は、集中度判断部１６による判断結果を取得し、集中度判断部１６によって利用者が集中している状態と判断されたか否かに応じて、利用者が行った動作が操作指示を意図しているか否かを判断するための第１閾値を変更する。そして操作指示判断部２０は、閾値変更指示部１８によって変更された第１閾値を用いて、動作情報取得部１４によって取得された動作情報が表す利用者の動作が、利用者が意図した操作指示か否かを判断する。
情報処理装置１０は、例えば図２に示すコンピュータ３０で実現することができる。コンピュータ３０はＣＰＵ３２、メモリ３４、入力部３８、表示部４０、インタフェース(Ｉ／Ｆ)部４２を備えている。ＣＰＵ３２、メモリ３４、記憶部３６、入力部３８、表示部４０、Ｉ／Ｆ部４２はバス４４を介して互いに接続されている。Ｉ／Ｆ部４２には、利用者を撮影する撮影部４６及び利用者が発した音声を検出する音声検出部４８が接続されている。
また、記憶部３６はＨＤＤ(Hard Disk Drive)やフラッシュメモリ等によって実現できる。記録媒体としての記憶部３６には、コンピュータ３０を情報処理装置１０として機能させるための指示認識プログラム５０が記憶されている。ＣＰＵ３２は、指示認識プログラム５０を記憶部３６から読み出してメモリ３４に展開し、指示認識プログラム５０が有するプロセスを順次実行する。
指示認識プログラム５０は、集中度情報取得プロセス５２、集中度判断プロセス５４、動作情報取得プロセス５６、閾値変更指示プロセス５８及び操作指示判断プロセス６０を有する。ＣＰＵ３２は、集中度情報取得プロセス５２を実行することで、図１に示す集中度情報取得部１２として動作する。またＣＰＵ３２は、集中度判断プロセス５４を実行することで、図１に示す集中度判断部１６として動作する。またＣＰＵ３２は、動作情報取得プロセス５６を実行することで、図１に示す動作情報取得部１４として動作する。またＣＰＵ３２は、閾値変更指示プロセス５８を実行することで、図１に示す閾値変更指示部１８として動作する。またＣＰＵ３２は、操作指示判断プロセス６０を実行することで、図１に示す操作指示判断部２０として動作する。
これにより、指示認識プログラム５０を実行したコンピュータ３０が、情報処理装置１０として機能することになる。なお、指示認識プログラム５０は開示の技術における情報処理プログラムの一例である。また、コンピュータ３０はパーソナル・コンピュータ(ＰＣ：Personal Computer)や、携帯情報端末(ＰＤＡ：Personal Digital Assistants)の機能を搭載した携帯型の情報処理装置であるスマート端末であってもよい。
なお、情報処理装置１０は、例えば半導体集積回路、より詳しくはＡＳＩＣ(Application Specific Integrated Circuit)等で実現することも可能である。
利用者が手で所定のジェスチャを行ったり所定の音声を発声することで操作指示を行う際には、操作指示を意図しない、無意識の手の動きや音声が生ずることがある。このため、無意識の手の動きや音声を誤って操作指示と認識することがないように、予め定められた範囲外の大きな動きや微細な動き、或いは、所定値以下の音量の音声は、操作指示として認識しないことが一般的である。
しかしながら、前述のように、人は、情報処理装置へ操作指示を与えることに集中している場合、操作指示として行うジェスチャの大きさや、発声した音声の音量が小さくなる傾向が見られる。このため、利用者が情報処理装置への操作指示の入力に集中している場合、利用者が行ったジェスチャを利用者が意図したジェスチャではないと判断されることがあった。
上記を考慮し、本第１実施形態に係る情報処理装置１０は、図３に示す指示認識処理を行う。指示認識処理のステップ１００において、集中度情報取得部１２は、集中度情報として視線位置情報を取得する。すなわち、集中度情報取得部１２は、撮影部４６が利用者を撮影することで得られた動画像を取得し、取得した動画像を解析することで利用者の視線位置を認識し、視線位置情報を取得する。なお、視線位置の認識には、例えば特開２００４−２１８７０号公報に記載された技術を適用することができる。
次のステップ１０２において、集中度判断部１６は、集中度情報取得部１２によって取得された集中度情報に基づき、利用者が集中している度合いを表す集中度Ｆを判断する。集中度Ｆは、利用者の視線位置が図４に示すように推移し、現時点をｍ、動画像の１フレーム前のタイミングをｎとすると、タイミングｎからタイミングｍに至る期間における視線位置の最大値Ａと最小値Ｂの差を関数ｆに代入して求めることができる((１)式参照)。
Ｆ＝ｆ(Ａ−Ｂ) …(１)
なお、関数ｆは、以下の(２)式に示すように入力値の逆数を出力する関数でもよいし、以下の(３)式に示すように指数関数であってもよい。また、関数ｆは、入力値が増加するに従って出力値が減少するものであればよく、テーブルを用いて、入力値(Ａ−Ｂ)の増加に対して出力値が離散的に減少するように変化させてもよい。
Ｆ＝ｆ(Ａ−Ｂ)＝１／(Ａ−Ｂ) …(２)
Ｆ＝ｆ(Ａ−Ｂ)＝ａ・ｅｘｐ(−(Ａ−Ｂ)２) …(３)
次のステップ１０４において、閾値変更指示部１８は、集中度判断部１６によって判断された集中度Ｆに応じて、利用者の動作を直接又は間接的に表す動作情報に対する閾値ＴＨを変更設定する。閾値ＴＨは開示の技術における第１閾値の一例である。閾値ＴＨは、例えば次の(４)式に示すように、集中度Ｆの逆数とすることができる。
ＴＨ＝１／Ｆ …(４)
これにより、利用者の視線位置が例えば図５(Ａ)に示すように推移した場合、図５(Ｂ)に破線で示すように、閾値ＴＨは、利用者の視線位置の変化が小さくなるに従って値が小さくなる変化を示す。
なお、図５(Ｂ)は、関数ｆとして連続関数を適用した場合であるが、入力値(Ａ−Ｂ)の増加に対して出力値が離散的に減少する関数ｆを用いた場合は、図５(Ａ)に示すような利用者の視線位置の推移に対し、閾値ＴＨが図６に示すように離散的に変化する。なお、図６の場合にも、閾値ＴＨは、利用者の視線位置の変化が小さくなるに従って値が小さくなる変化を示す。
次のステップ１０６において、動作情報取得部１４は、利用者の動作を直接に表す動作情報として、撮影部４６によって利用者が撮影されることで得られた動画像を取得する。そして、取得した動画像を解析することで、利用者が利用者が手を動かして行ったジェスチャを認識する。なお、ジェスチャの認識には、例えば特開２０１１−７６２５５号公報に記載された技術を適用することができる。
次のステップ１０８において、操作指示判断部２０は、動作情報取得部１４によって取得された動作情報が表す利用者の動作(ジェスチャ)の大きさを、閾値変更指示部１８によって変更設定された閾値ＴＨと比較する。そして次のステップ１１０において、操作指示判断部２０は、利用者の動作(ジェスチャ)の大きさを閾値ＴＨと比較した結果に基づき、利用者によって操作指示が行われたか否か判断する。
例えば利用者の視線位置の変化が比較的大きい期間には、閾値ＴＨが比較的大きい値となる。このため、図５(Ｂ)及び図６に「動きは大きいが、視線位置から求まる閾値未満」として示すように、利用者に無意識の手の動きが生じたとしても、当該動きを操作指示が行われたと誤認識することが防止される。また、例えば利用者の視線位置の変化が比較的小さい期間には、閾値ＴＨが比較的小さい値となる。このため、図５(Ｂ)及び図６に「動きは小さいが、視線位置から求まる閾値超」として示すように、操作指示として意図した比較的小さな手の動きであっても、操作指示が行われたと認識することができる。
ステップ１１０の判定が否定された場合は指示認識処理を終了する。一方、ステップ１１０の判定が肯定された場合はステップ１１２へ移行する。ステップ１１２において、操作指示判断部２０は、利用者による操作指示に応じた処理を実行する。利用者の操作指示に応じた処理としては、例えば任意のファイルやリンクを開く処理、開いていた任意のファイルやリンクを閉じる処理、カーソルの位置を移動させる処理などが挙げられる。
これにより、利用者が手を動かして行ったジェスチャを行うことで、情報処理装置１０に操作指示を与えることが可能になる。また、利用者が集中していることで利用者の動作(ジェスチャ)の大きさが小さくなった場合にも、利用者が操作指示として意図した動作(ジェスチャ)を、操作指示として認識することができる。
〔第２実施形態〕
次に開示の技術の第２実施形態について説明する。なお、第２実施形態は第１実施形態と同一の構成であるので、各部分に同一の符号を付して構成の説明を省略し、以下、図７を参照して本第２実施形態の作用を説明する。
本第２実施形態に係る指示認識処理は、ステップ１０２で集中度判断部１６が集中度Ｆを判断した後、ステップ１１４へ移行する。ステップ１１４において、集中度判断部１６は、集中度Ｆを予め定められた集中度に関する閾値ＴＨFと比較し、集中度Ｆが閾値ＴＨF以上か否か判定する。閾値ＴＨFは開示の技術における第２閾値の一例である。集中度Ｆが閾値ＴＨF以上の場合はステップ１１４の判定が肯定され、ステップ１０４以降の処理(閾値変更指示部１８による閾値ＴＨの変更設定、動作情報取得部１４による動作情報の取得及び操作指示判断部２０による操作指示の判断)が行われる。
一方、集中度Ｆが閾値ＴＨF未満の場合はステップ１１４の判定が否定されて指示認識処理を終了する。この場合、ステップ１０４以降の処理(閾値変更指示部１８による閾値ＴＨの変更設定、動作情報取得部１４による動作情報の取得及び操作指示判断部２０による操作指示の判断)が省略される。従って、図８に示す動作検出区間よりも以前の期間には、集中度Ｆが閾値ＴＨF未満であることにより動作情報の取得等の処理が停止され、図８に示す動作検出区間には、集中度Ｆが閾値ＴＨF以上となることで動作情報の取得等の処理が開始されることになる。
このように、本第２実施形態は、第１実施形態と同様に、利用者が集中していることで利用者の動作(ジェスチャ)の大きさが小さくなった場合に、利用者が操作指示として意図した動作(ジェスチャ)を操作指示として認識することができる。また、本第２実施形態では、集中度Ｆが閾値ＴＨF未満の期間には動作情報が取得されず、操作指示の判断が行われない。このため、集中していない状態の利用者が無意識に手を大きく動かしたとしても、当該動作が操作指示として誤認識されることを防止することができる。また、集中をしておらず、操作指示が出されない状況であろうときに、動作情報の取得を停止することで、コンピュータの処理の負荷を軽減することができる。
〔第３実施形態〕
次に開示の技術の第３実施形態について説明する。なお、第３実施形態も第１実施形態と同一の構成であるので、各部分に同一の符号を付して構成の説明を省略し、以下、図９を参照して本第３実施形態の作用を説明する。
本第３実施形態に係る指示認識処理は、第２実施形態と同様に、ステップ１０２で集中度判断部１６によって集中度Ｆが判断され、次のステップ１１４で集中度判断部１６によって集中度Ｆが閾値ＴＨF以上か否か判定される。また、集中度Ｆが閾値ＴＨF以上の場合はステップ１１４の判定が肯定されてステップ１１６へ移行する。
ステップ１１６において、集中度判断部１６は、集中度情報取得部１２によって取得された視線位置情報が表す視線位置が、表示部４０に表示されているウインドウのうち、アクティブなウインドウ内に位置しているか否かを判定する。ステップ１１６の判定は、表示部４０に表示されているアクティブなウインドウの表示範囲を取得し、視線位置がアクティブなウインドウの表示範囲内に含まれるか否かを判定することで行うことができる。
例として図１０(Ａ)に示すように、利用者の視線位置の軌跡がアクティブなウインドウ内に収まっている場合、利用者はアクティブなウインドウ内を注視しているので、利用者が集中していると判断できる。この場合はステップ１１６の判定が肯定されてステップ１０４へ移行し、ステップ１０４以降の処理(閾値変更指示部１８による閾値ＴＨの変更設定、動作情報取得部１４による動作情報の取得及び操作指示判断部２０による操作指示の判断)が行われる。
一方、例として図１０(Ｂ)に示すように、利用者の視線位置の軌跡がアクティブなウインドウから逸脱している場合、利用者はアクティブなウインドウ内を注視しておらず、利用者が集中していないと判断できる。この場合はステップ１１６の判定が否定されて指示認識処理が終了することで、ステップ１０４以降の処理が省略される。
このように、本第３実施形態は、利用者の視線位置がアクティブなウインドウ内に位置しているか否かを判定することで、利用者が集中しているか否かを判断しているので、利用者が集中しているか否かをより高精度に判断することができる。また、本第３実施形態においても、利用者が集中しているときに利用者が操作指示として意図した動作(ジェスチャ)を、操作指示として認識することができる。また、本第３実施形態においても、集中していない状態の利用者が無意識に手を大きく動かした場合に、当該動作が操作指示として誤認識されることを防止することができる。
〔第４実施形態〕
次に開示の技術の第４実施形態について説明する。なお、第１実施形態〜第３実施形態と同一の部分には同一の符号を付し、説明を省略する。
図１１には本第４実施形態に係る情報処理装置２２が示されている。情報処理装置２２は、第１実施形態で説明した情報処理装置１０と比較して、距離推定部２４及び規格化部２６が設けられている点で相違している。
距離推定部２４は、例えば撮影部４６によって利用者が撮影されることで得られた画像中の利用者の手に相当する画像領域の大きさに基づいて利用者との距離を推定する。なお、利用者との距離の推定は、利用者の手に相当する画像領域の大きさに代えて、利用者の顔等に相当する画像領域の大きさに基づいて行ってもよい。また、例えば撮影部４６が複数の撮像素子を備えた構成の場合には、画像領域の大きさに基づいて利用者との距離を推定することに代えて、複数の撮像素子によって各々撮影された複数の画像における画像領域の位置の差に基づいて利用者との距離を推定してもよい。また、画像に基づいて利用者との距離を推定することに代えて、例えば赤外線等を利用して利用者との距離を測定してもよい。
規格化部２６は、距離推定部２４によって推定された利用者との距離に応じて、動作情報取得部１４によって取得された動作情報が表す利用者の動作の大きさ、又は閾値変更指示部１８によって変更された閾値ＴＨを規格化(補正)する。例えば、利用者が手を動かして所定のジェスチャを行った場合の動画像上での利用者の手に相当する画像領域の位置の変化の大きさは、利用者との距離が大きくなるに従って小さくなる。このため、規格化部２６は、利用者の動作の大きさを規格化する場合、利用者との距離が大きくなるに従って利用者の動作の大きさが大きくなるように、利用者の動作の大きさを規格化(補正)する。また、規格化部２６は、閾値ＴＨを規格化する場合、利用者との距離が大きくなるに従って閾値ＴＨが小さくなるように、閾値ＴＨを規格化(補正)する。
本第４実施形態に係る指示認識プログラム５０は、図２に破線で示すように、距離推定プロセス６２及び規格化プロセス６４を更に有している。本第４実施形態に係るコンピュータ３０のＣＰＵ３２は、距離推定プロセス６２を実行することで、図１に示す距離推定部２４として動作する。また、本第４実施形態に係るコンピュータ３０のＣＰＵ３２は、規格化プロセス６４を実行することで、図１に示す規格化部２６として動作する。これにより、指示認識プログラム５０を実行したコンピュータ３０が、情報処理装置２２として機能することになる。
次に本第４実施形態の作用として、図１２を参照し、本第４実施形態に係る指示認識処理について、第１実施形態で説明した指示認識処理(図３)と異なる部分を説明する。本第４実施形態に係る指示認識処理は、ステップ１０６で動作情報取得部１４が動作情報を取得した後、ステップ１１８へ移行する。ステップ１１８において、距離推定部２４は、撮影部４６によって利用者が撮影されることで得られた画像中の利用者の手に相当する画像領域の大きさに基づいて利用者との距離を推定する。
利用者の手に相当する画像領域の大きさに基づく利用者との距離の推定としては２つの手法が考えられる。第１の手法は、例えば互いに大きさの異なる手の画像の複数のテンプレートを、個々のテンプレートにおける手の大きさに対応する利用者との距離と対応付けて登録しておく。次に、複数のテンプレートの中から、利用者の手に相当する画像領域の大きさと最も近いテンプレートをテンプレートマッチングによって選択する。そして、選択したテンプレートと対応付けされた利用者との距離を、利用者との距離の推定結果として抽出する。これにより、利用者の手に相当する画像領域の大きさから利用者との距離を推定することができる。
また第２の手法は、撮影部４６によって利用者が撮影されることで得られた画像上での利用者の手に相当する画像領域の面積を評価することで、利用者との距離を推定する。具体的には、利用者との距離が互いに異なる複数の値の場合について、利用者の手に相当する画像領域の面積(画素数)を各々計数し、各場合毎に計数した画像領域の面積(画素数)を利用者との距離と対応付けて登録しておく。次に、画像中に存在する利用者の肌の色の領域を抽出することで、利用者の手に相当する画像領域を抽出し、抽出した画像領域の画素数を計数する。次に、登録されている複数の面積(画素数)の中から、計数した画像領域の画素数に最も近い面積(画素数)を選択し、選択した面積(画素数)と対応付けられた利用者との距離を、利用者との距離の推定結果として抽出する。これにより、利用者の手に相当する画像領域の大きさから利用者との距離を推定することができる。
なお、第２の手法において、撮影部４６の光学系の焦点距離をｆ、面積がｘｃｍ2、の利用者の手を撮影したときの画像領域の画素数をｙとすると、利用者との距離ｚは、次の(５)式の演算を行うことで求めることも可能である。
ｚ＝ｆ×√(ｘ／ｙ) …(５)
次のステップ１２０において、規格化部２６は、ステップ１１８で推定された利用者との距離に応じて、閾値変更指示部１８によって変更された閾値ＴＨを規格化(補正)する。すなわち、規格化部２６は、利用者との距離が大きくなるに従って閾値ＴＨが小さくなり、利用者との距離が小さくなるに従って閾値ＴＨが大きくなるように、閾値変更指示部１８によって変更された後の閾値ＴＨを規格化(補正)する。この規格化(補正)は、例えば、利用者との距離が大きくなるに従って値が減少する係数を閾値ＴＨに乗ずることによって実現できる。なお、ステップ１２０の処理を行うとステップ１０８へ移行し、ステップ１０８以降の処理が行われる
例として図１３(Ａ)は利用者との距離が比較的大きい(手が遠い)場合の一例を示す。図１３(Ａ)に示す例は、利用者が集中していることで利用者の動作(ジェスチャ)の大きさが小さくなったときに、閾値ＴＨ(図１３では「操作指示判定の閾値」と表記)が比較的小さくなるように規格化されている。これにより、図１３(Ａ)に示す例では、利用者によって操作指示を意図したジェスチャが行われると、利用者との距離が比較的大きいことで動作情報が表す利用者の動作の大きさが比較的小さくても、操作指示が行われたと認識することができる。
一方、図１３(Ｂ)は利用者との距離が比較的小さい(手が近い)場合の一例を示す。図１３(Ｂ)に示す例は、利用者が集中していることで利用者の動作(ジェスチャ)の大きさが小さくなったときに、閾値ＴＨが図１３(Ａ)に示す例よりも比較的大きな値に規格化されている。図１３(Ｂ)に示す例は、動作情報が表す利用者の動作の大きさは図１３(Ａ)に示す例と同程度であるものの、利用者との距離が比較的小さいので、利用者の実際の動作の大きさは図１３(Ａ)に示す例よりも小さい。このため、図１３(Ｂ)に示す例では、利用者が操作指示を意図せず手を動かした場合に、操作指示が行われたと誤認識することが防止される。
このように、本第４実施形態では、利用者との距離が大きくなるに従って閾値ＴＨが小さくなり、利用者との距離が小さくなるに従って閾値ＴＨが大きくなるように、閾値ＴＨを規格化(補正)している。これにより、利用者の距離に応じて変動する、動作情報が表す利用者の動作の大きさの影響を受けることなく、利用者が操作指示として意図した動作を正確に操作指示と判断することができる。
なお、第４実施形態では、利用者との距離に応じて閾値ＴＨを規格化(補正)する態様を説明したが、開示の技術はこれに限定されるものではない。規格化部２６は、利用者との距離に応じて、動作情報取得部１４によって取得された動作情報が表す利用者の動作の大きさを規格化(補正)するようにしてもよい。動作情報が表す利用者の動作の大きさの規格は、利用者との距離が大きくなるに従って動作情報が表す利用者の動作の大きさが大きくなり、利用者との距離が小さくなるに従って動作情報が表す利用者の動作の大きさが小さくなるように行うことができる。これは、例えば、利用者との距離が大きくなるに従って値が増加する係数を動作情報が表す利用者の動作の大きさに乗ずることによって実現できる。この場合も、利用者の距離に応じて変動する、動作情報が表す利用者の動作の大きさの影響を受けることなく、利用者が操作指示として意図した動作を正確に操作指示と判断することができる。
また、上記では利用者の集中度Ｆに応じて閾値ＴＨを変更設定する態様を説明したが、これに限定されるものではなく、利用者の視線位置が何れの位置に位置しているかも考慮して閾値ＴＨを変更するようにしてもよい。例えば、表示部４０にアイコンが表示されている状態で、利用者の視線位置が表示されているアイコン内に滞留している場合は、上記で説明した閾値ＴＨをそのまま用いる。一方、利用者の視線位置が表示されているアイコンから外れている場合は、集中度判断部１６によって判断された集中度Ｆに係数１／ｘを乗じ、係数１／ｘを乗じた集中度Ｆに基づいて閾値ＴＨを求めるようにしてもよい。この場合、利用者がアイコンを注視していれば利用者の集中度が高く、利用者がアイコンを注視していなければ利用者の集中度が低いと判断して、利用者が操作指示として行うジェスチャを判断することになる。従って、利用者の集中度合いをより反映した、より正確な操作指示の判断を行うことができる。
また、上記の利用者がアイコンを注視しているか否かを判断する態様において、利用者の視線位置がアイコン内に滞留している場合に、滞留しているアイコンの大きさも勘案して閾値ＴＨを決定するようにしてもよい。具体的には、利用者の視線位置が滞留しているアイコンの大きさをｍとしたときに、集中度Ｆを次の(６)式によって求める。
Ｆ＝ｆ((Ａ−Ｂ)／ｍ) …(６)
そして、(６)式によって求めた集中度Ｆに基づいて閾値ＴＨを決定する。この態様では、利用者が注視しているアイコンの大きさが小さくなるに従って集中度Ｆの値が高くなり、集中度Ｆの値が高くなるに従って閾値ＴＨの値が小さくなることで、利用者の動作が操作指示と認識され易くなる。従って、この態様も、利用者の集中度合いをより反映した、より正確な操作指示の判断を行うことができる。
更に、上記では利用者の動作の一例として利用者が操作指示として行うジェスチャを主に説明したが、開示の技術はこれに限定されるものではなく、利用者の動作は、例えば所定の音声を発する発声動作であってもよい。この場合、動作情報取得部１４は、利用者の動作を間接的に表す動作情報として利用者が発した音声を表す音声情報を取得する。また操作指示判断部２０は、動作情報取得部１４によって取得された音声情報が間接的に表す利用者の発声動作による音声の大きさを閾値ＴＨと比較することで、利用者の発声動作が利用者の意図した操作指示か否かを判断する。
また、上記では利用者が集中しているか否かに関連する物理量の一例として利用者の視線位置を説明したが、開示の技術はこれに限定されるものではなく、上記の物理量は、例えば利用者の体動であってもよい。体動の一例としては利用者の頭部の動きを適用することができる。また、例えば「P.Viola and M.Jones,"Robust real-time face detection",Int.J.of Computer Vision.Vol.57,no.2,pp.137-154,2004」に記載の技術を適用できる。この場合、集中度情報取得部１２は、集中度情報の一例として、利用者の頭部の動きを表す体動情報を取得する。また、集中度判断部１６は、集中度情報取得部１２によって取得された体動情報が表す体動が予め定められた閾値よりも小さい場合に、利用者が集中していると判断する。
また、上記では開示の技術に係る情報処理プログラムの一例である指示認識プログラム５０が記憶部３６に予め記憶（インストール）されている態様を説明したが、これに限定されるものではない。開示の技術に係る情報処理プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
利用者の装置への集中度合いに関する集中度情報を取得する集中度情報取得部と、
前記利用者の動作を直接又は間接的に表す動作情報を取得する動作情報取得部と、
前記集中度情報取得部が取得した集中度情報に応じて、前記動作情報取得部が取得した動作情報が操作指示か否かを判断するための第１閾値を決定する閾値決定指示部と、
前記閾値決定指示部によって決定された前記第１閾値を用いて、前記動作情報取得部によって取得された前記動作情報が表す前記利用者の動作が、前記利用者が意図した操作指示か否かを判断する操作指示判断部と、
を含む情報処理装置。
（付記２）
前記集中度情報取得部は、前記集中度情報として前記利用者の視線位置を表す視線位置情報を取得する付記１記載の情報処理装置。
（付記３）
前記集中度情報取得部は、前記視線位置情報が表す視線位置が特定の範囲内に位置している場合に、前記集中度情報が示す利用者の装置への集中度合をより高くする付記２記載の情報処理装置。
（付記４）
前記集中度情報取得部は、前記表示部に表示されているアクティブウィンドウを表す情報を取得し、前記特定の範囲がアクティブウィンドである場合に、前記集中度情報が示す利用者の装置への集中度合をより高くする付記３記載の情報処理装置。
（付記５）
前記集中度情報取得部は、前記集中度情報として前記利用者の体動を表す体動情報を取得する付記１記載の情報処理装置。
（付記６）
前記集中度情報取得部は、前記利用者の体動として前記利用者の頭部の動きを表す体動情報を取得する付記５記載の情報処理装置。
（付記７）
前記集中度情報が前記利用者が集中していない状態を示す場合に、前記動作情報の取得を中断する付記１記載の情報処理装置。
（付記８）
前記閾値変更指示部は、前記利用者が集中している度合いに応じて、前記第１閾値を連続的又は段階的に変更する付記１〜付記７の何れか１項記載の情報処理装置。
（付記９）
前記利用者との距離を推定する距離推定部と、
前記距離推定部によって推定された前記利用者との距離に応じて、前記動作情報が表す前記利用者の動作の大きさ又は前記第１閾値を規格化する規格化部と、
を更に含む付記１〜付記８の何れか１項記載の情報処理装置。
（付記１０）
コンピュータに、
利用者の装置への集中度合いに関する集中度情報を取得し、
前記利用者の動作を直接又は間接的に表す動作情報を取得し、
取得した前記集中度情報に応じて、取得した前記動作情報が操作指示か否かを判断するための第１閾値を決定し、
決定した前記第１閾値を用いて、取得した前記動作情報が表す前記利用者の動作が、前記利用者が意図した操作指示か否かを判断する
ことを含む処理を行わせるための情報処理プログラム。
（付記１１）
前記集中度情報として前記利用者の視線位置を表す視線位置情報を取得する付記１記載の情報処理プログラム。
（付記１２）
前記視線位置情報が表す視線位置が特定の範囲内に位置している場合に、前記集中度情報が示す利用者の装置への集中度合をより高くする付記１１記載の情報処理プログラム。
（付記１３）
前記表示部に表示されているアクティブウィンドウを表す情報を取得し、前記特定の範囲がアクティブウィンドである場合に、前記集中度情報が示す利用者の装置への集中度合をより高くする付記１２記載の情報処理プログラム。
（付記１４）
前記集中度情報として前記利用者の体動を表す体動情報を取得する付記１０記載の情報処理プログラム。
（付記１５）
前記利用者の体動として、前記利用者の頭部の動きを表す体動情報を取得する付記１４記載の情報処理プログラム。
（付記１６）
前記集中度情報が前記利用者が集中していない状態を示す場合に、前記動作情報の取得を中断する付記１０記載の情報処理プログラム。
（付記１７）
前記利用者が集中している度合いに応じて、前記第１閾値を連続的又は段階的に変更する付記１０〜付記１６の何れか１項記載の情報処理プログラム。
（付記１８）
前記利用者との距離を推定し、
推定した前記利用者との距離に応じて、前記動作情報が表す前記利用者の動作の大きさ又は前記第１閾値を規格化する付記１０〜付記１７の何れか１項記載の情報処理プログラム。
１０ 情報処理装置
１２ 集中度情報取得部
１４ 動作情報取得部
１８ 閾値変更指示部
２０ 操作指示判断部
２２ 情報処理装置
２４ 距離推定部
２６ 規格化部
３０ コンピュータ
３２ ＣＰＵ
３４ メモリ
３６ 記憶部
５０ 指示認識プログラム

Claims (10)

  1. 利用者の装置への集中度合いに関する集中度情報を取得する集中度情報取得部と、
    前記利用者の動作を直接又は間接的に表す動作情報を取得する動作情報取得部と、
    前記集中度情報取得部が取得した集中度情報に応じて、前記動作情報取得部が取得した動作情報が操作指示か否かを判断するための第１閾値を決定する閾値決定指示部と、
    前記閾値決定指示部によって決定された前記第１閾値を用いて、前記動作情報取得部によって取得された前記動作情報が表す前記利用者の動作が、前記利用者が意図した操作指示か否かを判断する操作指示判断部と、
    を含む情報処理装置。
  2. 前記集中度情報取得部は、前記集中度情報として前記利用者の視線位置を表す視線位置情報を取得する請求項１記載の情報処理装置。
  3. 前記集中度情報取得部は、前記視線位置情報が表す視線位置が特定の範囲内に位置している場合に、前記集中度情報が示す利用者の装置への集中度合をより高くする請求項２記載の情報処理装置。
  4. 前記集中度情報取得部は、前記表示部に表示されているアクティブウィンドウを表す情報を取得し、前記特定の範囲がアクティブウィンドである場合に、前記集中度情報が示す利用者の装置への集中度合をより高くする請求項３記載の情報処理装置。
  5. 前記集中度情報取得部は、前記集中度情報として前記利用者の体動を表す体動情報を取得する請求項１記載の情報処理装置。
  6. 前記集中度情報取得部は、前記利用者の体動として前記利用者の頭部の動きを表す体動情報を取得する請求項５記載の情報処理装置。
  7. 前記集中度情報が前記利用者が集中していない状態を示す場合に、前記動作情報の取得を中断する請求項１記載の情報処理装置。
  8. 前記閾値変更指示部は、前記利用者が集中している度合いに応じて、前記第１閾値を連続的又は段階的に変更する請求項１〜請求項７の何れか１項記載の情報処理装置。
  9. 前記利用者との距離を推定する距離推定部と、
    前記距離推定部によって推定された前記利用者との距離に応じて、前記動作情報が表す前記利用者の動作の大きさ又は前記第１閾値を規格化する規格化部と、
    を更に含む請求項１〜請求項８の何れか１項記載の情報処理装置。
  10. コンピュータに、
    利用者の装置への集中度合いに関する集中度情報を取得し、
    前記利用者の動作を直接又は間接的に表す動作情報を取得し、
    取得した前記集中度情報に応じて、取得した前記動作情報が操作指示か否かを判断するための第１閾値を決定し、
    決定した前記第１閾値を用いて、取得した前記動作情報が表す前記利用者の動作が、前記利用者が意図した操作指示か否かを判断する
    ことを含む処理を行わせるための情報処理プログラム。
JP2013055019A 2013-03-18 2013-03-18 情報処理装置及びプログラム Pending JP2014182452A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013055019A JP2014182452A (ja) 2013-03-18 2013-03-18 情報処理装置及びプログラム
EP13198587.1A EP2793102A3 (en) 2013-03-18 2013-12-19 Information processing device
US14/136,110 US20140282235A1 (en) 2013-03-18 2013-12-20 Information processing device
KR1020140006072A KR20140114283A (ko) 2013-03-18 2014-01-17 정보 처리 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013055019A JP2014182452A (ja) 2013-03-18 2013-03-18 情報処理装置及びプログラム

Publications (1)

Publication Number Publication Date
JP2014182452A true JP2014182452A (ja) 2014-09-29

Family

ID=49949440

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013055019A Pending JP2014182452A (ja) 2013-03-18 2013-03-18 情報処理装置及びプログラム

Country Status (4)

Country Link
US (1) US20140282235A1 (ja)
EP (1) EP2793102A3 (ja)
JP (1) JP2014182452A (ja)
KR (1) KR20140114283A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021135738A (ja) * 2020-02-27 2021-09-13 セイコーエプソン株式会社 画像表示装置、画像表示方法、および画像表示プログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016163166A (ja) * 2015-03-02 2016-09-05 株式会社リコー 通信端末、面談システム、表示方法及びプログラム
US9965029B2 (en) * 2015-03-30 2018-05-08 Sony Corporation Information processing apparatus, information processing method, and program

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3800257B2 (ja) * 1996-08-02 2006-07-26 オムロン株式会社 注目情報計測方法及び装置並びにそれを用いた各種システム
JP2004021870A (ja) 2002-06-20 2004-01-22 Matsushita Electric Ind Co Ltd 視線入力機能付携帯電話
US8570378B2 (en) * 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
JP4218655B2 (ja) * 2005-03-30 2009-02-04 ブラザー工業株式会社 情報処理装置及びプログラム
JP4876687B2 (ja) * 2006-04-19 2012-02-15 株式会社日立製作所 注目度計測装置及び注目度計測システム
US20080096657A1 (en) * 2006-10-20 2008-04-24 Sony Computer Entertainment America Inc. Method for aiming and shooting using motion sensing controller
US8203530B2 (en) * 2007-04-24 2012-06-19 Kuo-Ching Chiang Method of controlling virtual object by user's figure or finger motion for electronic device
US8159519B2 (en) * 2007-05-31 2012-04-17 Eastman Kodak Company Personal controls for personal video communications
JP5177075B2 (ja) * 2009-02-12 2013-04-03 ソニー株式会社 動作認識装置、動作認識方法、プログラム
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
JP5381569B2 (ja) 2009-09-29 2014-01-08 富士通株式会社 ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム
US8491135B2 (en) * 2010-01-04 2013-07-23 Microvision, Inc. Interactive projection with gesture recognition
US20120016641A1 (en) * 2010-07-13 2012-01-19 Giuseppe Raffa Efficient gesture processing
JP2014077814A (ja) * 2011-02-14 2014-05-01 Panasonic Corp 表示制御装置および表示制御方法
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US9098186B1 (en) * 2012-04-05 2015-08-04 Amazon Technologies, Inc. Straight line gesture recognition and rendering

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021135738A (ja) * 2020-02-27 2021-09-13 セイコーエプソン株式会社 画像表示装置、画像表示方法、および画像表示プログラム
JP7443819B2 (ja) 2020-02-27 2024-03-06 セイコーエプソン株式会社 画像表示装置、画像表示方法、および画像表示プログラム

Also Published As

Publication number Publication date
EP2793102A3 (en) 2015-01-21
EP2793102A2 (en) 2014-10-22
US20140282235A1 (en) 2014-09-18
KR20140114283A (ko) 2014-09-26

Similar Documents

Publication Publication Date Title
JP6467965B2 (ja) 感情推定装置及び感情推定方法
KR101574884B1 (ko) 표정 추정 장치, 제어 방법, 제어 프로그램, 및 기록 매체
JP4294853B2 (ja) 操作指示装置
US8416998B2 (en) Information processing device, information processing method, and program
KR100947990B1 (ko) 차영상 엔트로피를 이용한 시선 추적 장치 및 그 방법
CN107209345B (zh) 对焦控制装置、摄像装置、对焦控制方法及介质
US7719569B2 (en) Image processing apparatus and image processing method
US20180007259A1 (en) Photo-taking prompting method and apparatus, an apparatus and non-volatile computer storage medium
US20150364140A1 (en) Portable Electronic Equipment and Method of Operating a User Interface
US20140062861A1 (en) Gesture recognition apparatus, control method thereof, display instrument, and computer readable medium
US10806393B2 (en) System and method for detection of cognitive and speech impairment based on temporal visual facial feature
WO2021169365A1 (zh) 声纹识别的方法和装置
US20120264095A1 (en) Emotion abreaction device and using method of emotion abreaction device
JP6322927B2 (ja) インタラクション装置、インタラクションプログラムおよびインタラクション方法
JP6407521B2 (ja) 診療支援装置
JP2014182452A (ja) 情報処理装置及びプログラム
US8810362B2 (en) Recognition system and recognition method
JP7370050B2 (ja) 読唇装置及び読唇方法
JP2008040874A (ja) 照合装置
JP2019152737A (ja) 話者推定方法および話者推定装置
JP2014150348A (ja) 撮影装置
JP6209067B2 (ja) 画像認識装置、及び画像認識方法
JP6494882B2 (ja) 物理量決定装置、物理量決定方法および物理量決定プログラム
US20200043360A1 (en) Action support device and action support method
KR20150043149A (ko) 손 모양 인식을 이용한 디지털 장치의 제어 방법 및 촬영 방법과, 그 장치