JP2013065112A - ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体 - Google Patents
ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP2013065112A JP2013065112A JP2011202434A JP2011202434A JP2013065112A JP 2013065112 A JP2013065112 A JP 2013065112A JP 2011202434 A JP2011202434 A JP 2011202434A JP 2011202434 A JP2011202434 A JP 2011202434A JP 2013065112 A JP2013065112 A JP 2013065112A
- Authority
- JP
- Japan
- Prior art keywords
- gesture recognition
- person
- gesture
- image
- target part
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
【課題】カメラでユーザの動作を撮像し、撮像した画像からユーザのジェスチャを認識するジェスチャ認識装置において、ユーザのジェスチャが画角内に収まっていない場合に通知する。
【解決手段】カメラが撮像した画像にジェスチャ認識対象の部位が写っているか否かを判定し、写っていなければ、ジェスチャ認識対象の部位が撮像されていないことを通知する。
【選択図】図1
【解決手段】カメラが撮像した画像にジェスチャ認識対象の部位が写っているか否かを判定し、写っていなければ、ジェスチャ認識対象の部位が撮像されていないことを通知する。
【選択図】図1
Description
本発明は、カメラでユーザの動作を撮像し、撮像した画像からユーザのジェスチャを認識するジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体に関するものである。
近年、ユーザのジェスチャを認識することにより、機器を制御する制御信号を生成する様々な情報入力装置が開発されている。このような情報入力装置として、例えば、特許文献1および2に記載の情報入力装置がある。具体的には、ポインティングデバイス、ペン型デバイス、タッチパッド等の入力デバイスをユーザが操作し、入力デバイスがその動きを検知して、ユーザのジェスチャを認識する情報入力装置がある。
一方、入力デバイスを用いるのではなく、カメラでユーザの動作を撮像し、撮像した画像からユーザのジェスチャを認識する情報入力装置がある。以下では、画像からユーザのジェスチャを認識する情報入力装置をジェスチャ認識装置と称する。このジェスチャ認識装置は、ユーザが入力デバイス等を操作する必要がなく、直感的に装置に操作指示を入力することができるため、次世代インターフェースとして期待されている。
しかしながら、従来のジェスチャ認識装置では、ユーザは、ジェスチャ認識装置が自身のジェスチャを認識可能な状態であるか否かを知ることができない。換言すると、ユーザは、自身のジェスチャがカメラの画角の範囲内に収まっているかどうかを正確に判断することができない。そのため、ジェスチャ認識装置がユーザのジェスチャを認識可能な状態ではないにもかかわらず、ユーザは、ジェスチャが認識されることを期待して、何度も同じ動作をしたり、無駄に動きを工夫したりすることがあった。
ここで、カメラの撮影時に、人間の全身や顔等が画角に収まっているか否かを判定し、収まっていない場合に警告を発する技術がある(特許文献3および4)。しかしながら、特許文献3および4に記載の技術は、一般的なカメラに関する技術であり、ジェスチャ認識装置に関する技術ではない。また、従来、ジェスチャ認識装置において、ジェスチャが画角に収まっているか否かを通知することは行われていない。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、ユーザのジェスチャが画角内に収まっていない場合に通知するジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体を実現することにある。
本発明に係るジェスチャ認識装置は、上記課題を解決するために、カメラが撮像した画像から人のジェスチャ認識対象部位の動きおよび/または形状であるジェスチャを認識し、認識したジェスチャに基づいて電子機器を制御するための情報を当該電子機器に出力するジェスチャ認識装置であって、上記画像にジェスチャ認識対象部位が含まれているか否かを判定する認識対象部位判定手段と、上記認識対象部位判定手段が上記画像にジェスチャ認識対象部位が含まれていないと判定した場合、ジェスチャ認識対象部位が撮像されていないことの通知を指示する対象部位画角外通知指示情報を出力する出力手段とを備えることを特徴としている。
本発明に係るジェスチャ認識装置の制御方法は、上記課題を解決するために、カメラが撮像した画像から人のジェスチャ認識対象部位の動きおよび/または形状であるジェスチャを認識し、認識したジェスチャに基づいて電子機器を制御するための情報を当該電子機器に出力するジェスチャ認識装置の制御方法であって、上記画像にジェスチャ認識対象部位が含まれているか否かを判定する認識対象部位判定ステップと、上記認識対象部位判定ステップにおいて上記画像にジェスチャ認識対象部位が含まれていないと判定された場合、ジェスチャ認識対象部位が撮像されていないことの通知を指示する対象部位画角外通知指示情報を出力する出力ステップとを含むことを特徴としている。
上記の構成によれば、出力手段は、カメラが撮像した画像にジェスチャ認識対象部位が含まれていない場合、ジェスチャ認識対象部位が撮像されていないことの通知を指示する対象部位画角外通知指示情報を電子機器に出力する。電子機器は、対象部位画角外通知指示情報に基づいて、電子機器を操作する人に、ジェスチャ認識対象部位が撮像されていないことを通知する。
そのため、電子機器を操作する人は、電子機器からの通知に基づいて、カメラが撮像した画像に自身のジェスチャ認識対象部位が含まれているか否か、つまり、カメラの画角からジェスチャが外れているか否かを判断することができる。よって、電子機器を操作する人のジェスチャ認識対象部位が撮像されていないにもかかわらず、当該人がジェスチャを認識させようとして何度も同じジェスチャをするという、電子機器を操作する人の無駄な動作を防止することができるという効果を奏する。
また、本発明に係るジェスチャ認識装置は、上記画像に撮像されている人の部位に基づいて、人がジェスチャによる操作を所望する操作タイミングか否かを判定する時期判定手段をさらに備え、上記出力手段は、上記認識対象部位判定手段が上記画像にジェスチャ認識対象部位が含まれていないと判定し、かつ、上記時期判定手段が操作タイミングであると判定した場合、上記対象部位画角外通知指示情報を出力することが好ましい。
上記の構成によれば、出力手段は、カメラが撮像した画像にジェスチャ認識対象部位が含まれておらず、かつ、人がジェスチャによる操作を所望する操作タイミングである場合に、ジェスチャ認識対象部位が撮像されていないことの通知を指示する対象部位画角外通知指示情報を電子機器に出力する。
電子機器を操作する人のジェスチャ認識対象部位が画角内にない場合には、電子機器を操作する人がジェスチャによる操作を所望しながらもジェスチャ認識対象部位が画角内にない場合があるが、人がジェスチャによる操作を所望しないために人のジェスチャ認識対象部位が画角内にない場合もある。そのため、電子機器を操作する人のジェスチャ認識対象部位が画角から外れており、かつ、人がジェスチャによる操作を所望する場合にのみ、電子機器を操作する人に画角からジェスチャ認識対象部位が外れていることを通知することによって、電子機器を操作する人の電子機器の使用を妨害することなく、当該人の無駄な動作を防止することができる。
また、本発明に係るジェスチャ認識装置は、上記時期判定手段は、上記画像にジェスチャ認識対象部位付近の対象付近部位が含まれている場合、操作タイミングであると判定することが好ましい。
上記画像にジェスチャ認識対象部位付近の対象付近部位が含まれている場合は、人がジェスチャによる操作を所望しながらもジェスチャ認識対象部位が画角に収まっていない状況であると考えられる。すなわち、この場合、操作タイミングである可能性が高いと考えられる。
そのため、上記の構成のように、上記時期判定手段は、上記画像にジェスチャ認識対象部位付近の対象付近部位が含まれている場合、操作タイミングであると判定することにより、上記画像に撮像されている人の部位に基づいて、操作タイミングを精度良く特定することができる。
また、本発明に係るジェスチャ認識装置は、上記時期判定手段は、ジェスチャ時にジェスチャ認識対象部位と連動する対象連動部位が所定の動作をしたことを上記画像から検出した場合、操作タイミングであると判定することが好ましい。
ジェスチャ時にジェスチャ認識対象部位と連動する対象連動部位が所定の動作をしたことを上記画像から検出した場合は、人がジェスチャによる操作を所望しながらもジェスチャ認識対象部位が画角に収まっていない状況であると考えられる。すなわち、この場合、操作タイミングである可能性が高いと考えられる。
そのため、上記の構成のように、上記時期判定手段は、ジェスチャ時にジェスチャ認識対象部位と連動する対象連動部位が所定の動作をしたことを上記画像から検出した場合、操作タイミングであると判定することにより、上記画像に撮像されている人の部位に基づいて、操作タイミングを精度良く特定することができる。
また、本発明に係るジェスチャ認識装置は、上記画像に撮像されている部位の人が、ジェスチャにより上記電子機器の操作を実行可能な操作対象者であるか否かを判定する操作対象者判定手段とをさらに備え、上記出力手段は、上記操作対象者判定手段が上記画像に撮像されている部位の人が操作対象者であると判定した場合、上記対象部位画角外通知指示情報を出力することが好ましい。
上記出力手段は、電子機器を操作する人が操作対象者である場合、つまり、電子機器を操作する人がジェスチャにより上記電子機器の操作を実行することができる場合にのみ、ジェスチャ認識対象部位が撮像されていないことの通知を指示する対象部位画角外通知指示情報を電子機器に出力する。電子機器は、電子機器を操作する人がジェスチャにより上記電子機器の操作を実行することができる場合にのみ、対象部位画角外通知指示情報に基づいて、電子機器を操作する人に、ジェスチャ認識対象部位が撮像されていないことを通知する。
そのため、ジェスチャによる操作を実行可能な人にだけ有用な情報を提供し、かつ、操作対象者ではない人に不必要な情報を与えないようにすることができる。
また、本発明に係るジェスチャ認識装置は、上記画像に撮像されている部位の人が、ジェスチャにより上記電子機器の操作を実行可能な操作対象者であるか否かを判定する操作対象者判定手段とをさらに備え、上記出力手段は、上記操作対象者判定手段が上記画像に撮像されている部位の人が操作対象者ではないと判定した場合、上記対象部位画角外通知指示情報に代えて、操作対象者ではないことの通知を指示する非操作対象者通知指示情報を出力することが好ましい。
上記出力手段は、電子機器の操作を試みる人が操作対象者ではない場合、つまり、電子機器の操作を試みる人がジェスチャにより上記電子機器の操作を実行することができない場合、操作対象者ではないことの通知を指示する非操作対象者通知指示情報を出力する。
そのため、電子機器の操作を試みる人は、電子機器からの通知に基づいて、自身が操作対象者であるか否かを判断することができる。よって、ジェスチャによる操作が実行できないにもかかわらず、当該人がジェスチャを認識させようとして何度も同じジェスチャをするという、電子機器の操作を試みる人の無駄な動作を防止することができる。
また、本発明に係るジェスチャ認識装置は、上記画像に撮像されている部位の人が、ジェスチャによる上記電子機器の操作を禁止されている操作禁止者であるか否かを判定する操作禁止者判定手段とをさらに備え、上記出力手段は、上記操作禁止者判定手段が上記画像に撮像されている部位の人が操作禁止者であると判定した場合、上記非操作対象者通知指示情報を出力しないことが好ましい。
上記出力手段は、電子機器の操作を試みる人が操作禁止者の場合、つまり、電子機器の操作を試みる人がジェスチャによる上記電子機器の操作を禁止されている場合、操作対象者ではないことの通知を指示する非操作対象者通知指示情報を出力しない。操作禁止者は、ジェスチャによる上記電子機器の操作を実行することができないため、ジェスチャ認識を容易に行うための情報等を通知する必要が無い。
そのため、電子機器の操作を試みる人が操作禁止者の場合、上記情報を通知しないことにより、操作禁止者以外の人の電子機器の使用の妨害を低減すると共に、操作禁止者に対して、余分な情報を与えることを防止することができる。
また、本発明に係るジェスチャ認識装置は、上記操作対象者判定手段は、予め、ジェスチャにより上記電子機器の操作を実行可能な者として設定されている人を操作対象者であると判定することが好ましい。
また、本発明に係るジェスチャ認識装置は、上記操作対象者判定手段は、ジェスチャにより上記電子機器の操作を所定回数実行した人を操作対象者であると判定することが好ましい。
また、本発明に係るジェスチャ認識装置は、上記操作対象者判定手段は、所定期間内にジェスチャにより上記電子機器の操作を実行した人を操作対象者であると判定することが好ましい。
また、本発明に係るジェスチャ認識装置は、上記画像に撮像されている部位を特定する部位特定手段と、上記部位特定手段が特定した部位に対するジェスチャ認識対象部位の位置を特定する位置特定手段と、上記位置特定手段が特定した位置に基づいて、上記ジェスチャ認識対象部位が画角に入るために必要な移動方向を特定する移動ベクトル特定手段とをさらに備え、上記出力手段は、上記対象部位画角外通知指示情報に代えて、上記移動ベクトル特定手段が特定した方向に上記ジェスチャ認識対象部位の移動を促す通知を指示する方向通知指示情報を出力することが好ましい。
上記の構成によれば、上記出力手段は、上記対象部位画角外通知指示情報に代えて、上記ジェスチャ認識対象部位が画角に入るために必要な移動方向に上記ジェスチャ認識対象部位の移動を促す通知を指示する方向通知指示情報を出力する。電子機器は、方向通知指示情報に基づいて、ジェスチャ認識対象部位を上記移動方向に動かすように人に通知する。そのため、電子機器を操作する人は、ジェスチャ認識対象部位が画角から外れている場合、電子機器からの通知に基づいて、どの方向に動かせばジェスチャ認識対象部位が画角に収まるかを知ることができる。
また、本発明に係るジェスチャ認識装置は、上記移動ベクトル特定手段は、上記位置特定手段が特定した位置に基づいて、上記移動方向を特定すると共に、上記ジェスチャ認識対象部位が画角に入るために必要な移動量を算出し、上記出力手段は、上記方向通知指示情報に代えて、上記移動ベクトル特定手段が特定した方向に、上記ジェスチャ認識対象部位を上記移動ベクトル特定手段が特定した移動量分の移動を促す通知を指示するベクトル通知指示情報を出力することが好ましい。
上記の構成によれば、上記出力手段は、上記対象部位画角外通知指示情報に代えて、上記ジェスチャ認識対象部位を、上記ジェスチャ認識対象部位が画角に入るために必要な移動方向に、上記ジェスチャ認識対象部位が画角に入るために必要な移動量分の移動を促す通知を指示するベクトル通知指示情報を出力する。電子機器は、ベクトル通知指示情報に基づいて、ジェスチャ認識対象部位を上記移動方向に、上記移動量分動かすように人に通知する。そのため、電子機器を操作する人は、ジェスチャ認識対象部位が画角から外れている場合、電子機器からの通知に基づいて、どの方向にどの程度動かせばジェスチャ認識対象部位が画角に収まるかを知ることができる。
また、本発明に係るジェスチャ認識装置は、上記画像に撮像されている部位を特定する部位特定手段をさらに備え、上記出力手段は、上記対象部位画角外通知指示情報に代えて、上記部位特定手段が特定した部位の前でジェスチャを実行するように促す通知を指示するジェスチャ位置通知指示情報を出力することが好ましい。
また、本発明に係るジェスチャ認識装置は、上記画像に撮像されている部位を特定する部位特定手段をさらに備え、上記出力手段は、上記対象部位画角外通知指示情報に代えて、上記部位特定手段が特定した部位の前でジェスチャを実行するように促す通知を指示するジェスチャ位置通知指示情報を出力することが好ましい。
上記の構成によれば、上記出力手段は、上記対象部位画角外通知指示情報に代えて、上記画像に撮像されている部位の前でジェスチャを実行するように促す通知を指示するジェスチャ位置通知指示情報を出力する。電子機器は、ジェスチャ位置通知指示情報に基づいて、ジェスチャ認識対象部位を上記画像に撮像されている部位の前に移動させて、ジェスチャを実行するように人に通知する。そのため、電子機器を操作する人は、ジェスチャ認識対象部位が画角から外れている場合、電子機器からの通知に基づいて、どこにジェスチャ認識対象部位を移動すればジェスチャ認識対象部位が画角に収まるかを知ることができる。
また、本発明に係るジェスチャ認識装置は、上記認識対象部位判定手段は、時系列に並べられた複数の上記画像に対して上記判定を実行し、上記認識対象部位判定手段の判定結果に基づいて、ジェスチャ認識対象部位が上記カメラの画角から出入りしているか否かを判定する出入判定手段をさらに備え、上記出力手段は、上記出入判定手段が上記カメラの画角からジェスチャ認識対象部位が出入りしていると判定した場合、上記カメラの画角からジェスチャ認識対象部位が出入りしていることの通知を指示する対象部位出入通知指示情報を出力することが好ましい。
上記の構成によれば、出力手段は、上記カメラの画角からジェスチャ認識対象部位が出入りしている場合、上記カメラの画角からジェスチャ認識対象部位が出入りしていることの通知を指示する対象部位出入通知指示情報を電子機器に出力する。電子機器は、対象部位出入通知指示情報に基づいて、電子機器を操作する人に、ジェスチャ認識対象部位が画角から出入りしていることを通知する。そのため、電子機器を操作する人は、電子機器からの通知に基づいて、カメラの画角から自身のジェスチャ認識対象部位が出入りしていることを知ることができる。
また、本発明に係る電子機器は、上記ジェスチャ認識装置と、上記出力手段が出力する情報に従って、人に通知する通知手段とを備えたことが好ましい。
上記の構成によれば、電子機器は、上記ジェスチャ認識装置と同様の効果を奏する。
なお、上記ジェスチャ認識装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記ジェスチャ認識装置の各手段として動作させることにより、上記ジェスチャ認識装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。
以上のように、本発明に係るジェスチャ認識装置は、上記画像にジェスチャ認識対象部位が含まれているか否かを判定する認識対象部位判定手段と、上記認識対象部位判定手段が上記画像にジェスチャ認識対象部位が含まれていないと判定した場合、ジェスチャ認識対象部位が撮像されていないことの通知を指示する対象部位画角外通知指示情報を出力する出力手段とを備えている構成である。
また、本発明に係るジェスチャ認識装置の制御方法は、上記画像にジェスチャ認識対象部位が含まれているか否かを判定する認識対象部位判定ステップと、上記認識対象部位判定ステップにおいて上記画像にジェスチャ認識対象部位が含まれていないと判定された場合、ジェスチャ認識対象部位が撮像されていないことの通知を指示する対象部位画角外通知指示情報を出力する出力ステップとを含む。
したがって、電子機器を操作する人のジェスチャ認識対象部位が撮像されていないにもかかわらず、当該人がジェスチャを認識させようとして何度も同じジェスチャをするという、電子機器を操作する人の無駄な動作を防止することができるという効果を奏する。
<本発明の概要>
本発明は、ユーザ(操作者)が電子機器をジェスチャにより操作する際に、ジェスチャ認識対象の部位がカメラの画角から外れている場合、ユーザに対してその旨を通知するものである。本発明に係るジェスチャ認識装置を搭載した電子機器の使用態様の一例を図2に示す。図2は、本発明に係るジェスチャ認識装置を搭載した電子機器の使用態様の一例を示す図である。
本発明は、ユーザ(操作者)が電子機器をジェスチャにより操作する際に、ジェスチャ認識対象の部位がカメラの画角から外れている場合、ユーザに対してその旨を通知するものである。本発明に係るジェスチャ認識装置を搭載した電子機器の使用態様の一例を図2に示す。図2は、本発明に係るジェスチャ認識装置を搭載した電子機器の使用態様の一例を示す図である。
図2では、電子機器がテレビ2の場合であり、テレビ2がジェスチャ認識装置を内蔵している場合を示す。図2に示すように、ユーザ4が右手(右の掌)を左右に振るというジェスチャを行っているときに、ユーザ4の右手がカメラ3の画角θから外れている場合、テレビ2に「手が写っていません」等を表示して、ユーザ4に手(ジェスチャ認識対象部位)が撮像されていないことを通知する。
このような通知をすることにより、ユーザは、自身のジェスチャが撮像されているか否かを知ることができる。そのため、ジェスチャが撮像されていないにもかかわらず、ユーザがジェスチャを認識させようとして何度も同じジェスチャをするという、ユーザの無駄な動作を防止することができる。
以下では、図2に示す本発明の実施形態を図1〜図17に基づいてより詳細に説明する。なお、本実施形態では、電子機器がテレビの例を示しているが、これに限るものではない。例えば、電子機器として、携帯電話機、ゲーム機、デジタルカメラ、セキュリティゲート(ドア)等であってもよい。
また、本明細書中では、ジェスチャをユーザの所定の部位(顔(頭)、手、足等)の動きおよび/または形状として定義する。また、上記所定の部位をジェスチャ認識対象部位と称する。
また、本実施形態では、ジェスチャ認識装置を搭載したテレビ2が家庭内に設置されており、「父」、「母」、「子供」の3者がユーザとして存在するものとする。本実施形態では、このように特定のユーザが使用するものとするがこれに限るものではない。本発明に係る電子機器は、不特定多数のユーザが使用してもよい。例えば、病院等では、不特定多数のユーザがいるが、直接機器に触れて操作することが好ましくない場合がある。そのため、病院等の環境下では、電子機器の操作手段としてジェスチャ認識装置を好適に利用することができる。
なお、ここでは、ユーザとは、電子機器を操作する人(電子機器の操作を試みる人)を意味する。
<テレビおよびジェスチャ認識装置の構成>
まず、テレビ2およびテレビ2に搭載されるジェスチャ認識装置1の具体的な構成および機能を説明する。図1は、テレビ2およびテレビ2に搭載されるジェスチャ認識装置1の要部構成の一例を示すブロック図である。まずは、テレビ2の構成について説明する。
まず、テレビ2およびテレビ2に搭載されるジェスチャ認識装置1の具体的な構成および機能を説明する。図1は、テレビ2およびテレビ2に搭載されるジェスチャ認識装置1の要部構成の一例を示すブロック図である。まずは、テレビ2の構成について説明する。
〔テレビの構成〕
図1に示すように、テレビ2は、テレビ制御部51、テレビ記憶部52、テレビ通信部53、操作部54、表示部(通知手段)55、音声出力部(通知手段)56およびジェスチャ認識装置1を備えている。なお、テレビ2は、音声入力部等の部材を備えていてもよいが、発明の特徴点とは関係がないため当該部材を図示していない。
図1に示すように、テレビ2は、テレビ制御部51、テレビ記憶部52、テレビ通信部53、操作部54、表示部(通知手段)55、音声出力部(通知手段)56およびジェスチャ認識装置1を備えている。なお、テレビ2は、音声入力部等の部材を備えていてもよいが、発明の特徴点とは関係がないため当該部材を図示していない。
テレビ通信部53は、無線通信手段または有線通信手段によって、他の装置と通信を行い、テレビ制御部51の指示に従って、データのやりとりを行うものである。具体的には、テレビ通信部53は、放送波を受信するアンテナであり、放送波を受信して映像データ、音声データおよび番組データ等を受信するものである。
操作部54は、ユーザがテレビ2に操作信号を入力し、テレビ2を操作するためのものである。操作部54は、操作ボタンなどの入力機器等で構成されているものであってもよい。また、操作部54と表示部55とが一体となっているタッチパネルであってもよい。また、操作部54は、テレビ2と別体のリモートコントローラ等の遠隔制御装置であってもよい。なお、テレビ2はジェスチャ認識装置1を備えているため、テレビ2が操作部54を備えていなくてもよい。
表示部55は、テレビ制御部51の指示に従って画像を表示するものである。表示部55は、テレビ制御部51の指示に従って画像を表示するものであればよく、例えば、LCD(液晶ディスプレイ)、有機ELディスプレイ、プラズマディスプレイなどを適用することが可能である。
音声出力部56は、テレビ制御部51の指示に従って音声を出力するものであり、例えば、スピーカである。
テレビ制御部51は、テレビ記憶部52から一時記憶部(不図示)に読み出されたプログラムを実行することにより、各種の演算を行うと共に、テレビ2が備える各部を統括的に制御するものである。
具体的には。テレビ制御部51は、テレビ通信部53を介して取得した映像データ、音声データおよび番組データ等に基づいて、表示部55に映像や番組情報を表示させたり、音声出力部56から音声を出力させたりするものである。また、テレビ制御部51は、操作部54またはジェスチャ認識装置1からの操作信号に基づいて、電源のON/OFF、チャンネルの切替、音量の変更、番組表の表示等の所定の処理を実行する。また、テレビ制御部51は、所定の処理を実行すると、実行した処理の処理内容と処理日時とを対応付けて、テレビ処理履歴情報61としてテレビ記憶部52に格納する。
また、テレビ制御部51は、ジェスチャ認識装置1からの指示信号に基づいて、指示信号が示す情報を表示部55に表示および/または音声出力部56から音声を出力して、当該情報をユーザに通知する。また、テレビ制御部51は、LED等の通知ランプ(不図示)を発光させて、上記指示信号が示す情報をユーザに通知してもよい。
詳細は後述するが、テレビ制御部51は、ジェスチャ認識装置1から、ジェスチャ認識対象部位が撮像されていないことの通知の指示または操作対象者ではないことの通知の指示を受ける。テレビ制御部51は、このような指示に基づいて、上述の内容をテキストとして表示部55に表示してもよいし、音声として音声出力部56から出力してもよい。また、テレビ制御部51は、ジェスチャ認識対象部位が撮像されていないことを通知するために、カメラ3が撮像した画像を表示部55の画面の全体または一部に表示してもよい。
テレビ記憶部52は、テレビ制御部51が参照するプログラムやデータ等を格納するものであり、例えば、上記のテレビ処理履歴情報61等を格納している。
テレビ記憶部52に格納されているテレビ処理履歴情報61について図3に基づいて説明する。図3は、テレビ記憶部52に格納されているテレビ処理履歴情報61の一例を示す図である。図3に示すように、テレビ処理履歴情報61は、テレビ制御部51が実行した処理の処理内容と、テレビ制御部51が処理を実行した処理日時とが対応付けられている情報である。
ジェスチャ認識装置1は、カメラ3が撮像した画像からユーザのジェスチャを認識し、認識したジェスチャに基づいて電子機器を制御するための信号(情報)を電子機器に出力するものである。図1に示す例では、ジェスチャ認識装置1がテレビ2に搭載されているが、これに限るものではなく、テレビ2とジェスチャ認識装置1が別体であってもよい。ジェスチャ認識装置1の具体的な構成および機能は次に説明する。
〔ジェスチャ認識装置の構成〕
図1に示すように、ジェスチャ認識装置1は、ジェスチャ認識装置制御部11、ジェスチャ認識装置記憶部12およびジェスチャ認識装置通信部13を備えている。
図1に示すように、ジェスチャ認識装置1は、ジェスチャ認識装置制御部11、ジェスチャ認識装置記憶部12およびジェスチャ認識装置通信部13を備えている。
ジェスチャ認識装置通信部13は、無線通信手段または有線通信手段によって、カメラ3等の他の装置と通信を行い、ジェスチャ認識装置制御部11の指示に従って、データのやりとりを行うものである。具体的には、ジェスチャ認識装置通信部13は、ジェスチャ認識装置制御部11の指示に従って、カメラ3から、カメラ3が撮像した画像を取得する。
ジェスチャ認識装置制御部11は、ジェスチャ認識装置記憶部12から一時記憶部(不図示)に読み出されたプログラムを実行することにより、各種の演算を行うと共に、ジェスチャ認識装置1が備える各部を統括的に制御するものである。
本実施形態では、ジェスチャ認識装置制御部11は、機能ブロックとして、画像取得部21、人物判定部(人判定手段)22、人物特定部23、ユーザ判定部(操作対象者判定手段、操作禁止者判定手段)24、認識対象部位判定部(認識対象部位判定手段)25、時期判定部(時期判定手段)26、出力部(出力手段)27、ジェスチャ認識実行部28、情報設定部29、出入判定部(出入判定手段)30、位置関係特定部(部位特定手段、位置特定手段)31および移動ベクトル算出部(移動ベクトル特定手段)32を備える構成である。これらのジェスチャ認識装置制御部11の各機能ブロック(21〜32)は、CPU(central processing unit)が、ROM(read only memory)等で実現された記憶装置に記憶されているプログラムをRAM(random access memory)等で実現された一時記憶部に読み出して実行することで実現できる。
画像取得部21は、ジェスチャ認識装置通信部13を介して、カメラ3から、カメラ3が撮像した画像を取得するものである。
人物判定部22は、画像取得部21が取得した画像に人物が撮像されているか否かを判定するものである。例えば、人物判定部22は、画像に対して人体検出または顔検出等を実行し、その結果として全身または人体の一部である顔(頭)、手、足等の部位を検出した場合、人物が撮像されていると判定する。また、人物判定部22は、画像に対して人体検出または顔検出等を実行し、その検出結果として全身または部位の検出信頼度を特定し、検出信頼度が所定値以上である場合に人物が撮像されていると判定する。
換言すると、人物判定部22は、画像取得部21が取得した画像に人の全身または人の部位が撮像されている場合、人物が撮像されていると判定する。なお、人物判定部22は、1つの画像から1または複数の人を検出してもよい。また、人物判定部22は、取得した画像に人物が撮像されているか否かを判定するものであればよく、その手法を限定するものではない。
例えば、人物判定部22は、全身または人体の一部である顔(頭)、手、足等の部位を検出するために、特開2005−115932号公報、特開2008−158790号公報および特開2008−15641号公報に記載の技術や、学習型の人体検出技術等を用いてもよい。
人物特定部23は、ジェスチャ認識装置記憶部12から人物特定情報41を読み出し、人物特定情報41に基づいて、人物判定部22が検出した人を特定するものである。
具体的には、人物特定部23は、人物特定情報41として「父」、「母」、「子供」の3者をそれぞれ個別に特定する情報が含まれている場合、人物判定部22が検出した全身画像、顔画像等に対して認証を行い、検出した人が何れに該当するかを特定してもよい。例えば、人物特定部23は、人物判定部22が検出した顔画像の特徴量を算出し、算出した特徴量と、「父」、「母」、「子供」の顔画像の特徴量とを比較して、最も近似している人物を人物判定部22が検出した顔画像の人物として特定してもよい。
また、人物特定部23は、人物判定部22が検出した全身画像、顔画像、手画像等から、性別、年齢、人種等を特定し、その特定した結果に基づいて、人物判定部22が検出した人が誰であるかを特定してもよい。また、人物判定部22が検出した全身画像、顔画像、手画像等から装飾品等を検出し、人物が身に付けている装飾品に基づいて、人物判定部22が検出した人が誰であるかを特定してもよい。
また、人物特定部23は、人物判定部22が全身または顔等の一部が写っている画像(例えば、半身画像または顔、手もしくは足の一部のみが写っている画像)を検出した場合、写っていない部分を補完した後に人物を特定する処理を行ってもよい。例えば、半身、半顔の画像の場合、ミラーリングした後に人物を特定する処理を行ってもよい。
なお、人物特定部23は、人物判定部22が検出した人を、個人として特定するだけではなく、性別、年齢、人種等の人物の属性を特定するものであってもよい。また、人物特定部23は、個人や属性を特定すればよく、その手法を限定するものではない。人物特定部23は、上記以外の公知の技術を用いて個人や属性を特定してもよい。
ユーザ判定部24は、ジェスチャ認識装置記憶部12からユーザ情報42を読み出し、ユーザ情報42に基づいて、人物特定部23が特定した人物が操作対象者か否かを判定するものである。また、ユーザ判定部24は、ユーザ情報42に基づいて、人物特定部23が特定した人物が操作禁止者か否かを判定するものである。
ここで、操作対象者とは、ジェスチャによりテレビ2の操作を実行可能な人物である。換言すると、操作対象者として設定されているユーザのみがジェスチャによりテレビ2の操作を実行することができる。また、操作禁止者とは、ジェスチャによるテレビ2の操作を禁止されている人物である。
認識対象部位判定部25は、ユーザ判定部24が操作対象者であると判定した後、ジェスチャ認識装置記憶部12からジェスチャ情報44を読み出し、当該操作対象者が撮像されている画像に、ジェスチャ情報44の示すジェスチャの認識対象部位が含まれているか否かを判定する。
また、認識対象部位判定部25は、取得した画像にジェスチャの認識対象部位が含まれているか否かを判定するものであればよく、その手法を限定するものではない。例えば、認識対象部位判定部25は、特開2004−326693号公報に記載の技術を用いて、撮像されている人体にモデルを当てはめ、そのモデルにおけるジェスチャ認識対象部位が存在するか否かを判定することにより、取得した画像にジェスチャの認識対象部位が含まれているか否かを判定してもよい。また、認識対象部位判定部25は、特開2007−52609号公報に記載の技術または特許第4372051号の技術等を用いて、手などのジェスチャ認識対象部位を直接検出して、取得した画像にジェスチャの認識対象部位が含まれているか否かを判定してもよい。
時期判定部26は、ジェスチャ認識装置記憶部12から操作タイミング情報43を読み出し、テレビ2もしくはジェスチャ認識装置1の処理状態が操作タイミング情報43の示す処理条件に該当するか否か、または、画像に撮像されている部位が操作タイミング情報43の示す撮像部位条件に該当するか否かに基づいて、ユーザがジェスチャによる操作を所望する操作タイミングか否かを判定する。
具体的には、時期判定部26は、テレビ2またはジェスチャ認識装置1の現在または過去の処理に基づいて、ユーザがジェスチャによる操作を所望する操作タイミングか否かを判定する。より詳細には、時期判定部26は、ジェスチャ認識装置記憶部12から操作タイミング情報43を読み出す。そして、時期判定部26は、ジェスチャ認識装置記憶部12からジェスチャ認識装置処理履歴情報45を読み出し、テレビ制御部51からテレビ2の現在の処理内容を示す情報、および、過去の処理内容を示すテレビ処理履歴情報61を取得し、現時点が操作タイミング情報43の示す処理条件に該当するか否かを判定する。
また、時期判定部26は、ジェスチャ認識装置記憶部12から操作タイミング情報43およびジェスチャ情報44を読み出し、ジェスチャ情報44の示すジェスチャ認識対象部位付近の部位(対象付近部位)が画像に撮像されている場合、操作タイミングであると判定する。また、時期判定部26は、ジェスチャ認識装置記憶部12から操作タイミング情報43およびジェスチャ情報44を読み出し、ジェスチャ情報44の示すジェスチャ時にジェスチャ認識対象部位と連動する部位(対象連動部位)が所定の動作を行っていることを画像から検出した場合、操作タイミングであると判定する。また、時期判定部26は、ユーザ判定部24が撮像されている人物を操作対象者でもなく、操作禁止者でもないと判定した場合に、ジェスチャ認識装置記憶部12から操作タイミング情報43およびジェスチャ情報44を読み出し、画像からジェスチャを検出したとき、操作タイミングであると判定する。
なお、時期判定部26は、画像に対象付近部位が画像に撮像されているかを判定することができる技術であれば任意の技術を用いてよい。例えば、認識対象部位判定部25と同様の技術を用いて、対象付近部位が画像に撮像されているかを判定する。また、時期判定部26は、対象連動部位が所定の動作を行っていることを画像から検出することができる技術であれば任意の技術を用いてよい。例えば、時期判定部26は、エッジオペレータまたはSIFT等を用いて対象連動部位のエッジ点を求め、求めたエッジ点が時間変化と共に所定の変化をする場合に、対象連動部位が所定の動作を行っていると判定してもよい。また、時期判定部26は、対象連動部位が前腕または上腕であれば、特開2004−280148号公報に記載の技術を用いて、対象連動部位が所定の動作を行っているか否かを判定してもよい。
出力部27は、人物判定部22、ユーザ判定部24、認識対象部位判定部25および時期判定部26の判定結果に基づいて、所定の情報の通知を指示する指示信号または当該通知の消去を指示する指示信号をテレビ制御部51に出力するものである。
具体的には、出力部27は、人物判定部22が人物が撮像されていると判定し、かつ、ユーザ判定部24が操作対象者であると判定し、かつ、認識対象部位判定部25がジェスチャ認識対象部位が撮像されていないと判定し、かつ、時期判定部26が操作タイミングであると判定した場合、ジェスチャ認識対象部位が撮像されていないことの通知を指示する対象部位画角外通知指示信号(対象部位画角外通知指示情報)をテレビ制御部51に出力する。
また、出力部27は、人物判定部22が人物が撮像されていると判定し、かつ、ユーザ判定部24が操作対象者ではなく、操作禁止者でもないと判定し、かつ、時期判定部26が操作タイミングであると判定した場合、操作対象者ではないことの通知を指示する非操作対象者通知指示信号(非操作対象者通知指示情報)をテレビ制御部51に出力する。
また、出力部27は、人物判定部22が人物が撮像されていると判定し、かつ、ユーザ判定部24が操作対象者であると判定し、かつ、認識対象部位判定部25がジェスチャ認識対象部位が撮像されていると判定した場合であって、テレビ2がジェスチャが撮像されていないことの通知または操作対象者ではないことの通知を行っている場合、当該通知の消去を指示する通知消去指示信号をテレビ制御部51に出力する。
また、出力部27は、ジェスチャ認識実行部28が生成した操作信号をテレビ制御部51に出力する。また、出力部27は、ジェスチャ認識実行部28が特定したエラー原因の通知を指示するジェスチャ認識エラー通知指示信号をテレビ制御部51に出力する。特に、ジェスチャ認識対象部位を検出できなかったことがエラー原因である場合、出力部27は、ジェスチャ認識対象部位が画角から出ていることの通知を指示する対象部位画角外通知指示信号をテレビ制御部51に出力する。さらに、ジェスチャ認識対象部位を検出できなかったことがエラー原因であり、かつ、出入判定部30がジェスチャ認識対象部位が画角に出入りしていると判定した場合、出力部27は、ジェスチャ認識対象部位が画角に出入りしていることの通知を指示する対象部位出入通知指示信号(対象部位出入通知指示情報)をテレビ制御部51に出力する。
また、出力部27は、上記対象部位画角外通知指示信号または上記対象部位出入通知指示信号に代えて、移動ベクトル算出部32が特定した方向に、ジェスチャ認識対象部位を移動ベクトル算出部32が算出した距離分の移動を促す通知を指示するベクトル通知指示信号(ベクトル通知指示情報)をテレビ制御部51に出力してもよい。また、出力部27は、上記対象部位画角外通知指示信号または上記対象部位出入通知指示信号に代えて、移動ベクトル算出部32が特定した方向に、ジェスチャ認識対象部位の移動を促す通知を指示する方向通知指示信号(方向通知指示情報)をテレビ制御部51に出力してもよい。
また、出力部27は、上記対象部位画角外通知指示信号または上記対象部位出入通知指示信号に代えて、位置関係特定部31が特定した基準部位の前でジェスチャを実行するように促す通知を指示するジェスチャ位置通知指示信号をテレビ制御部51に出力してもよい。出力部27は、例えば、位置関係特定部31が画像に撮像されているユーザの「顔」を基準部位とした場合、顔の前でジェスチャを実行するように促す通知を指示するジェスチャ位置通知指示信号を出力する。
ジェスチャ認識実行部28は、人物判定部22が人物が撮像されていると判定し、かつ、ユーザ判定部24が操作対象者であると判定し、かつ、認識対象部位判定部25がジェスチャ認識対象部位が撮像されていると判定した場合、ジェスチャ認識処理を実行する。具体的には、ジェスチャ認識実行部28は、ジェスチャ認識処理を開始すると、画像取得部21から時系列に並べられた複数の画像を取得すると共に、ジェスチャ認識装置記憶部12からジェスチャ情報44を読み出す。そして、ジェスチャ認識実行部28は、取得した複数の画像からジェスチャ情報44の示すジェスチャを検出する。
ジェスチャ認識実行部28は、所定のジェスチャを検出すると、ジェスチャ情報44において、検出したジェスチャに対応付けられている操作信号を生成する。一方、ジェスチャ認識実行部28は、ジェスチャが検出できなかった場合、エラー原因を特定してもよい。
また、ジェスチャ認識実行部28は、ジェスチャが検出できなかった場合、複数の画像に対する認識対象部位判定部25の判定結果に基づいて、ジェスチャが検出できなかった原因(エラー原因)がジェスチャ認識対象部位を検出できなかったことであるか否かを判定してもよい。この場合、認識対象部位判定部25は、ジェスチャ認識実行部28がジェスチャ認識に用いた時系列に並べられた複数の画像に対して、各画像にジェスチャ認識対象部位が撮像されているか否かをそれぞれ判定する。
また、ジェスチャ認識実行部28は、ジェスチャ認識対象部位を検出できなかったこと以外のその他の原因でジェスチャが検出できなかった場合、当該他のエラー原因を特定してもよい。
また、ジェスチャ認識実行部28は、ジェスチャ認識処理を実行した日時と、生成した操作信号またはジェスチャ認識エラー信号と、操作対象者とを対応付けて、ジェスチャ認識装置処理履歴情報45を生成し、ジェスチャ認識装置記憶部12に格納する。
情報設定部29は、人物特定情報41、ユーザ情報42、操作タイミング情報43およびジェスチャ情報44を設定するものである。具体的には、情報設定部29は、ユーザからの指示に基づいて、すなわち、操作部54に入力された操作信号をテレビ制御部51から取得またはジェスチャ認識実行部28から操作信号を取得し、取得した操作信号に基づいて各情報を生成または更新する。
また、情報設定部29は、ジェスチャ認識装置処理履歴情報45として所定数の処理履歴がジェスチャ認識装置記憶部12に格納されると、ジェスチャ認識装置処理履歴情報45を参照して、ジェスチャによる操作を所定回数実行した人物を操作対象者として設定し、ユーザ情報42を更新してもよい。
また、情報設定部29は、ジェスチャ認識装置処理履歴情報45として新たな処理履歴がジェスチャ認識装置記憶部12に格納されると、最新の処理履歴を参照して、直前にジェスチャによる操作した人物のみを操作対象者として所定期間に限って設定し、ユーザ情報42を更新してもよい。
また、情報設定部29は、ジェスチャ認識装置処理履歴情報45を参照して、所定期間内にジェスチャによる操作を実行した1または複数の人物を操作対象者として所定期間に限って設定し、ユーザ情報42を更新してもよい。例えば、ユーザXがジェスチャによる操作を実行すると、それから5分間を操作待ち受け時間とする。この操作待ち受け時間内にユーザYがジェスチャによる操作を実行したとする。この場合、情報設定部29は、ユーザXおよびユーザYを操作待ち受け時間終了後、所定の操作対象者有効期間(例えば、15分間)操作対象者として設定する。
なお、情報設定部29は、操作対象者または操作禁止者を設定してから、所定期間経過した後、操作対象者または操作禁止者の設定を解除してもよい。つまり、情報設定部29は、操作対象者または操作禁止者の設定が有効な期間を定めておき、設定有効期間内は、所定のユーザを操作対象者または操作禁止者として設定し、設定有効期間終了後、当該設定を解除してもよい。また、情報設定部29は、ユーザからの指示に基づいて、すなわち、操作部54に入力された操作信号をテレビ制御部51から取得またはジェスチャ認識実行部28から操作信号を取得し、取得した操作信号に基づいて操作対象者または操作禁止者の設定を解除してもよい。
また、情報設定部29は、テレビ制御部51からテレビ処理履歴情報61を取得すると共に、ジェスチャ認識装置記憶部12からジェスチャ認識装置処理履歴情報45を読み出し、テレビ処理履歴情報61およびジェスチャ認識装置処理履歴情報45に基づいて、ユーザがジェスチャによる操作を所望する操作タイミングを学習し、操作タイミング情報43を更新してもよい。
出入判定部30は、時系列に並べられた複数の画像に対して認識対象部位判定部25が実行した判定結果に基づいて、ジェスチャ認識対象部位が画角に出入りしているか否かを判定するものである。この場合、認識対象部位判定部25は、時系列に並べられた複数の画像に対して、各画像にジェスチャ認識対象部位が撮像されているか否かをそれぞれ判定する。
位置関係特定部31は、時期判定部26が操作タイミングであると判定すると、画像に撮像されている任意の部位(基準部位)の位置(基準位置)を特定するものである。そして、位置関係特定部31は、基準部位に対するジェスチャ認識対象部位の画角外における位置(対象部位位置)を特定する。
ここで、基準部位は、画像に撮像されている部位であれば、どの部位でもよく、対象付近部位でもよいし、対象連動部位でもよいし、その他の部位でもよい。
移動ベクトル算出部32は、対象部位位置から基準位置に向かう方向を特定すると共に、対象部位位置から基準位置までの距離を算出するものである。なお、移動ベクトル算出部32は、対象部位位置から基準位置に向かう方向のみを特定してもよい。
ジェスチャ認識装置記憶部12は、ジェスチャ認識装置制御部11が参照するプログラムやデータ等を格納するものであり、例えば、上記の人物特定情報41、ユーザ情報42、操作タイミング情報43、ジェスチャ情報44、ジェスチャ認識装置処理履歴情報45等を格納している。
ジェスチャ認識装置記憶部12に格納されている人物特定情報41、ユーザ情報42、操作タイミング情報43、ジェスチャ情報44、ジェスチャ認識装置処理履歴情報45についてそれぞれ図4〜図8に基づいて説明する。図4は、ジェスチャ認識装置記憶部12に格納されている人物特定情報41の一例を示す図である。図5は、ジェスチャ認識装置記憶部12に格納されているユーザ情報42の一例を示す図である。図6は、ジェスチャ認識装置記憶部12に格納されている操作タイミング情報43の一例を示す図である。図7は、ジェスチャ認識装置記憶部12に格納されているジェスチャ情報44の一例を示す図である。図8は、ジェスチャ認識装置記憶部12に格納されているジェスチャ認識装置処理履歴情報45の一例を示す図である。
(人物特定情報)
図4に示すように、人物特定情報41は、ユーザ名と、当該ユーザを個別に特定するための個別特定情報および当該ユーザの属性を示す個人属性情報とが対応付けられた情報である。図示の例では、個別特定情報として「特徴量」がある。「特徴量」は、例えば、ユーザの人体画像および/または顔画像から抽出されるものである。人物特定部23は、この「特徴量」を参照して、人物判定部22が検出した人体画像または顔画像から特徴量を抽出し、人物特定情報41に含まれる何れの特徴量と一致または近似しているかを特定して、ユーザを個別に特定する。
図4に示すように、人物特定情報41は、ユーザ名と、当該ユーザを個別に特定するための個別特定情報および当該ユーザの属性を示す個人属性情報とが対応付けられた情報である。図示の例では、個別特定情報として「特徴量」がある。「特徴量」は、例えば、ユーザの人体画像および/または顔画像から抽出されるものである。人物特定部23は、この「特徴量」を参照して、人物判定部22が検出した人体画像または顔画像から特徴量を抽出し、人物特定情報41に含まれる何れの特徴量と一致または近似しているかを特定して、ユーザを個別に特定する。
また、図示の例では、個人属性情報として、「性別」、「身長」、「年齢」、「人種」、「装飾品」がある。「性別」は、ユーザの性別を示すものである。人物特定部23は、人物判定部22が検出した人体画像または顔画像から、唇の色、肌の色、眉毛の形状や色に基づく化粧の有無、ネイルの有無、髭の有無、爪の形状(長い場合は女性、深爪の場合は男性など)、服装、履物等に基づいてユーザの性別を特定する。人物特定部23は、特定した性別から、何れのユーザに該当するかを判断する。例えば、図示の例では、女性と判断できれば、女性のユーザは「母」のみであるため、ユーザを「母」として特定することができる。
また、「身長」は、ユーザの身長を示すものである。人物特定部23は、人物判定部22が検出した人体画像または顔画像から写っている人の身長を特定し、特定した身長から何れのユーザに該当するかを判断する。
また、「年齢」は、ユーザの年齢を示すものである。人物特定部23は、人物判定部22が検出した人体画像または顔画像から写っている人の年齢を特定し、特定した年齢から何れのユーザに該当するかを判断する。
また、「人種」は、ユーザの人種を示すものである。人物特定部23は、人物判定部22が検出した人体画像または顔画像から、瞳の色、肌の色、髪の色等に基づいて、写っている人の人種を特定し、特定した人種から何れのユーザに該当するかを判断する。
また、「装飾品」は、ユーザが身につけている装飾品を示すものである。人物特定部23は、人物判定部22が検出した人体画像または顔画像から、眼鏡、指輪、時計等の装飾品を検出し、検出した装飾品を身に付けている人物が何れのユーザに該当するかを判断する。
なお、個人属性情報として「体型」や「髪型」等の情報が人物特定情報41に含まれていてもよい。また、図示の例では、人物特定情報41が6種の情報を含んでいるが、人物特定情報41は、個別特定情報または個人属性情報の少なくとも1種類の情報を含んでいればよい。
(ユーザ情報)
図5に示すように、ユーザ情報42は、どのユーザが操作対象者または操作禁止者として設定されているかを示す情報である。図5に示す例では、「父」が操作対象者として設定されており、「子供」が操作禁止者として設定されている。図5に示す例では、操作対象者および操作禁止者は、ユーザ個人として設定されているがこれに限るものではない。例えば、「女性」を操作対象者として設定したり、「未成年」を操作禁止者として設定したり、ユーザの属性で操作対象者または操作禁止者を設定してもよい。
図5に示すように、ユーザ情報42は、どのユーザが操作対象者または操作禁止者として設定されているかを示す情報である。図5に示す例では、「父」が操作対象者として設定されており、「子供」が操作禁止者として設定されている。図5に示す例では、操作対象者および操作禁止者は、ユーザ個人として設定されているがこれに限るものではない。例えば、「女性」を操作対象者として設定したり、「未成年」を操作禁止者として設定したり、ユーザの属性で操作対象者または操作禁止者を設定してもよい。
なお、本実施形態では、操作対象者として設定されているユーザのみがジェスチャによる操作を実行できるがこれに限るものではない。例えば、誰でも自由にテレビをジェスチャによって操作可能な状態にしてもよい。この場合、例えば、操作対象者を「全てのユーザ」として設定してもよい。
また、上述のように、操作対象者および操作禁止者は、予め、ユーザの指示またはデフォルトで設定されていてもよい。
(操作タイミング情報)
図6に示すように、操作タイミング情報43は、ユーザがジェスチャによる操作を所望する操作タイミングに該当するか否かを判断するための条件(操作タイミングであるとみなす条件)を示す情報である。図6に示すように、操作タイミング情報43は、処理条件および撮像部位条件を含む。
図6に示すように、操作タイミング情報43は、ユーザがジェスチャによる操作を所望する操作タイミングに該当するか否かを判断するための条件(操作タイミングであるとみなす条件)を示す情報である。図6に示すように、操作タイミング情報43は、処理条件および撮像部位条件を含む。
電子機器が所定の処理を行った後、電子機器が所定の処理を行っている期間中、電子機器が所定の処理を行ってから所定期間経過後、ジェスチャによる操作を行った後、ジェスチャによる操作を行ってから所定期間経過後等は、ユーザがジェスチャによる操作を所望する操作タイミングに該当する可能性が高いと考えられる。そこで、操作タイミングに該当するか否かを判断するための条件として、図6に示す処理条件を設定する。
具体的には、図6に示す例では、時期判定部26は、ジェスチャ認識装置記憶部12からジェスチャ認識装置処理履歴情報45を読み出して、現時点がジェスチャによる操作から5分以内であるか、または、ジェスチャによる操作から20分経過後5分以内であるかをそれぞれ判断し、いずれかに該当する場合に操作タイミングであると判定する。また、時期判定部26は、テレビ制御部51からテレビ処理履歴情報61を取得し、現時点がテレビの電源ONの操作から5分以内であるか、または、音量の変更の操作から1分以内であるか、または、チャンネルの変更の操作から1時間経過後5分以内であるかをそれぞれ判断し、いずれかに該当する場合に操作タイミングであると判定する。また、時期判定部26は、テレビ制御部51からテレビ2の現在の処理内容を示す情報を取得し、現在テレビ2がCMを表示中であれば、操作タイミングであると判定する。
また、操作対象者のジェスチャ認識対象部位が撮像されていない場合であっても、対象付近部位が撮像されていたり、対象連動部位がジェスチャ時に連動する所定の動作を行っていたりする場合は、ユーザがジェスチャによる操作を所望する操作タイミングに該当する可能性が高いと考えられる。そこで、操作タイミングに該当するか否かを判断するための条件として、図6に示す撮像部位条件を設定する。
このように、本実施形態では、時期判定部26は、操作タイミング情報43に含まれる何れかの条件に該当すれば、操作タイミングであると判定するが、これに限るものではない。例えば、時期判定部26は、操作タイミング情報43に含まれる所定数以上の条件に該当すれば、操作タイミングであると判定してもよい。また、時期判定部26は、各条件に信頼度を設定しておき、信頼度の合計値が所定値以上の場合に操作タイミングであると判定してもよい。また、操作タイミング情報43に含まれる各条件をユーザごとに対応付けておいてもよい。これにより、各ユーザの使用態様に合わせて、時期判定部26は操作タイミングを判定することができる。
また、操作タイミング情報43の各条件として、特定の時間帯や曜日等を更なる条件に加えてもよい。また、電子機器の特性や個人の使用態様により、周期的に電子機器が操作される場合、周期的な条件を操作タイミングとして設定してもよい。このように、操作タイミングは、操作タイミングは電子機器の特性(属性)、操作者の使用態様に応じて様々である。そのため、操作タイミングは、電子機器の特性(属性)、操作者の使用態様に応じて適宜設定したり、学習したりすることが望ましい。
(ジェスチャ情報)
図7に示すように、ジェスチャ情報44は、ジェスチャと操作信号とが対応付けられている情報である。例えば、ジェスチャ認識実行部28は、取得した画像から操作対象者が「右手の人差指のみを立てている」ジェスチャを検出した場合、操作信号「S01」を生成する。なお、操作信号「S01」は、テレビ2の電源ON/OFFを制御する信号であり、操作信号「S02」は、テレビ2のチャンネル変更を制御する信号であり、操作信号「S03」は、テレビ2の音量変更を制御する信号であるとする。
図7に示すように、ジェスチャ情報44は、ジェスチャと操作信号とが対応付けられている情報である。例えば、ジェスチャ認識実行部28は、取得した画像から操作対象者が「右手の人差指のみを立てている」ジェスチャを検出した場合、操作信号「S01」を生成する。なお、操作信号「S01」は、テレビ2の電源ON/OFFを制御する信号であり、操作信号「S02」は、テレビ2のチャンネル変更を制御する信号であり、操作信号「S03」は、テレビ2の音量変更を制御する信号であるとする。
さらに、ジェスチャ情報44は、ジェスチャに当該ジェスチャの認識対象部位と、当該認識対象部位付近の部位である対象付近部位と、当該ジェスチャ時に連動する連動対象部位およびその所定の動作とが対応付けられている。
(ジェスチャ認識装置処理履歴情報)
図8に示すように、ジェスチャ認識装置処理履歴情報45は、ジェスチャ認識実行部28が生成した操作信号と、ジェスチャ認識実行部28がジェスチャ認識処理を実行した処理日時と、ジェスチャ認識実行部28が認識したジェスチャを行った操作対象者とが対応付けられている情報である。
図8に示すように、ジェスチャ認識装置処理履歴情報45は、ジェスチャ認識実行部28が生成した操作信号と、ジェスチャ認識実行部28がジェスチャ認識処理を実行した処理日時と、ジェスチャ認識実行部28が認識したジェスチャを行った操作対象者とが対応付けられている情報である。
なお、図1に示す例では、テレビ2がジェスチャ認識装置1を搭載しているが、これに限るものではなく、テレビ2がジェスチャ認識装置1の機能を全て有していてもよい。具体的には、テレビ制御部51がジェスチャ認識装置制御部11の機能を有し、テレビ記憶部52がジェスチャ認識装置記憶部12が格納している情報を有し、テレビ通信部53がジェスチャ認識装置通信部13の機能を有していてもよい。
<ジェスチャ認識装置の処理(処理例1)>
次に、ジェスチャ認識装置1が実行する処理について、図9〜図16に基づいて説明する。図9は、ジェスチャ認識装置1が実行する処理の一例を示すフローチャートである。また、図10、図13、図14、図16は、カメラ3が撮像した画像を示す図である。ここでは、ユーザ情報42として図5に示す情報がジェスチャ認識装置記憶部12に格納されているものとする。つまり、操作対象者は「父」であり、操作禁止者は「子供」であり、「母」は、操作対象者でも操作禁止者でもない人物であるとする。
次に、ジェスチャ認識装置1が実行する処理について、図9〜図16に基づいて説明する。図9は、ジェスチャ認識装置1が実行する処理の一例を示すフローチャートである。また、図10、図13、図14、図16は、カメラ3が撮像した画像を示す図である。ここでは、ユーザ情報42として図5に示す情報がジェスチャ認識装置記憶部12に格納されているものとする。つまり、操作対象者は「父」であり、操作禁止者は「子供」であり、「母」は、操作対象者でも操作禁止者でもない人物であるとする。
〔カメラが撮像した画像にジェスチャを行っている「父」の右手が写っていない場合〕
まず、図10に示すように、「父」が右手を左右に振るジェスチャを行っているが、カメラ3が撮像した画像から、ジェスチャ認識対象部位である右手が写っていない場合の処理について説明する。
まず、図10に示すように、「父」が右手を左右に振るジェスチャを行っているが、カメラ3が撮像した画像から、ジェスチャ認識対象部位である右手が写っていない場合の処理について説明する。
図9に示すように、画像取得部21がカメラ3からジェスチャ認識装置通信部13を介して、カメラ3が撮像した画像を取得する(S1)。人物判定部22は、画像取得部21が取得した画像に人物が撮像されているか否かを判定する(S2)。ここでは図10に示す画像に「父」の顔等が写っているため、人物判定部22は、画像から人物を検出し、人物が撮像されていると判定する。
人物判定部22が人物が撮像されていると判定した場合(S2でYES)、人物特定部23は、ジェスチャ認識装置記憶部12から人物特定情報41を読み出し、人物特定情報41に基づいて、人物判定部22が検出した人を特定する(S3)。ここでは、人物特定部23は、人物判定部22が検出した人物を「父」として特定する。
次に、ユーザ判定部24は、ジェスチャ認識装置記憶部12からユーザ情報42を読み出し、ユーザ情報42に基づいて、人物特定部23が特定した人物が操作対象者か否かを判定する(S4)。ここでは、「父」は操作対象者であるため、ユーザ判定部24は、操作対象者であると判定する(S4でYES)。
ユーザ判定部24が操作対象者であると判定した後、認識対象部位判定部25は、当該操作対象者(ここでは、「父」)が撮像されている画像にジェスチャ認識対象部位が撮像されているか否かを判定する(S5)。ここでは、図10に示すように、画像にはジェスチャ認識対象部位である右手が写っていないため、認識対象部位判定部25はジェスチャ認識対象部位が撮像されていないと判定する。
認識対象部位判定部25はジェスチャ認識対象部位が撮像されていないと判定した場合(S5でNO)、次に、時期判定部26は、操作タイミング判定処理Aを実行し(S6)、現時点がジェスチャの操作タイミングであるか否かを判定する(S7)。時期判定部26が操作タイミングであると判定した場合(S7でYES)、出力部27は、ジェスチャ認識対象部位が撮像されていないことの通知を指示する人物画角外通知指示信号をテレビ制御部51に出力する(S8)。一方、時期判定部26が操作タイミングではないと判定した場合(S7でNO)、出力部27は何も出力せず、S1に戻る。
(操作タイミング判定処理A)
ここで、図9のS6における操作タイミング判定処理Aについて、図11に基づいて詳細に説明する。図11は、操作タイミング判定処理Aの一例を示すフローチャートである。
ここで、図9のS6における操作タイミング判定処理Aについて、図11に基づいて詳細に説明する。図11は、操作タイミング判定処理Aの一例を示すフローチャートである。
図11に示すように、時期判定部26は、ジェスチャ認識装置記憶部12から操作タイミング情報43およびジェスチャ情報44を読み出し、ジェスチャ情報44の示す対象付近部位が画像に撮像されているか否かを判定する(S21)。また、時期判定部26は、ジェスチャ認識装置記憶部12から操作タイミング情報43およびジェスチャ情報44を読み出し、ジェスチャ情報44の示す対象連動部位が所定の動作を行っているか否かを判定する(S22)。また、時期判定部26は、ジェスチャ認識装置記憶部12から操作タイミング情報43を読み出し、テレビ2もしくはジェスチャ認識装置1の現在または過去の処理状態が操作タイミング情報43の示す処理条件の何れかに該当するか否かを判定する(S23)。
時期判定部26は、S21〜S23において、何れも操作タイミングとみなす条件に該当すると判定した場合(S21でYES、かつS22でYES、かつS23でYES)、現時点がジェスチャの操作タイミングであると判定する(S24)。一方、時期判定部26は、S21〜S23において、何れかの操作タイミングとみなす条件に該当しないと判定した場合(S21〜S23の何れかでNO)、現時点がジェスチャの操作タイミングではないと判定する(S24)。
なお、図11に示す例では、S21〜S23の3つの判定処理を行って操作タイミングであるか否かを判定しているがこれに限るものではない。時期判定部26は、S21〜S23の3つの判定処理の少なくとも1つの判定処理を行って操作タイミングであるか否かを判定してもよい。
また、図11に示す例では、S21〜S23の3つの判定処理を行って、全て該当すると判定した場合に、操作タイミングであると判定しているがこれに限るものではない。時期判定部26は、例えば、S21〜S23のうちの少なくとも1つの判定処理で該当すると判定した場合に、操作タイミングであると判定してもよい。
(移動ベクトル通知処理)
なお、S8において、出力部27は、人物画角外通知指示信号を出力する代わりに、ジェスチャ認識対象部位が画角に入るために必要な移動方向および移動量を通知する移動ベクトル通知処理を行って、移動ベクトル通知指示信号を出力してもよい。ここで、S7でYESの場合に、S8に代えて実行する移動ベクトル通知処理を図12に基づいて説明する。図12は、移動ベクトル通知処理の一例を示すフローチャートである。
なお、S8において、出力部27は、人物画角外通知指示信号を出力する代わりに、ジェスチャ認識対象部位が画角に入るために必要な移動方向および移動量を通知する移動ベクトル通知処理を行って、移動ベクトル通知指示信号を出力してもよい。ここで、S7でYESの場合に、S8に代えて実行する移動ベクトル通知処理を図12に基づいて説明する。図12は、移動ベクトル通知処理の一例を示すフローチャートである。
図12に示すように、位置関係特定部31は、時期判定部26が操作タイミングであると判定すると、画像に撮像されている任意の部位(基準部位)の位置(基準位置)を特定する(S81)。そして、位置関係特定部31は、基準部位に対するジェスチャ認識対象部位の画角外における位置(対象部位位置)を特定する(S82)。
次に、移動ベクトル算出部32は、対象部位位置から基準位置に向かう方向(移動方向)を特定すると共に、対象部位位置から基準位置までの距離(移動距離)を算出する(S83)。出力部27は、移動ベクトル算出部32が特定した方向に、ジェスチャ認識対象部位を移動ベクトル算出部32が算出した距離量分の移動を促す通知を指示するベクトル通知指示信号をテレビ制御部51に出力する(S84)。
移動ベクトル通知処理を行うことにより、例えば、ジェスチャ認識対象部位である右手が画角外の30cm上方に外れている場合、出力部27が上記ベクトル通知指示信号をテレビ制御部51に出力して、テレビ2の表示部55に、「下30cmで右手を振ってください」等を表示してもよい。
また、出力部27は、上記対象部位画角外通知指示信号に代えて、位置関係特定部31が特定した基準部位の前でジェスチャを実行するように促す通知を指示するジェスチャ位置通知指示信号をテレビ制御部51に出力してもよい。出力部27は、例えば、位置関係特定部31が画像に撮像されているユーザの「顔」を基準部位とした場合、顔の前でジェスチャを実行するように促す通知を指示するジェスチャ位置通知指示信号を出力してもよい。
この場合、位置関係特定部31は、時期判定部26が操作タイミングであると判定すると、画像に撮像されている任意の部位(基準部位)を特定する。そして、出力部27は、位置関係特定部31が特定した基準部位の前でジェスチャを実行するように促す通知を指示するジェスチャ位置通知指示信号をテレビ制御部51に出力する。
これにより、ユーザがジェスチャによる操作を行ったときに、知らずにジェスチャ認識対象部位が画角から外れていた場合であっても、ユーザに対してどのようにすれば、ジェスチャが撮像されるかを通知することができる。
〔カメラが撮像した画像にジェスチャを行っている「父」の右手が写っている場合〕
次に、図13に示すように、「父」が右手を左右に振るジェスチャを行っており、カメラ3が撮像した画像に、ジェスチャ認識対象部位である右手が写っている場合の処理について説明する。
次に、図13に示すように、「父」が右手を左右に振るジェスチャを行っており、カメラ3が撮像した画像に、ジェスチャ認識対象部位である右手が写っている場合の処理について説明する。
図9に示すように、画像取得部21がカメラ3からジェスチャ認識装置通信部13を介して、カメラ3が撮像した画像を取得する(S1)。人物判定部22は、画像取得部21が取得した画像に人物が撮像されているか否かを判定する(S2)。ここでは図13に示す画像に「父」の顔等が写っているため、人物判定部22は、画像から人物を検出し、人物が撮像されていると判定する。
人物判定部22が人物が撮像されていると判定した場合(S2でYES)、人物特定部23は、ジェスチャ認識装置記憶部12から人物特定情報41を読み出し、人物特定情報41に基づいて、人物判定部22が検出した人を特定する(S3)。ここでは、人物特定部23は、人物判定部22が検出した人物を「父」として特定する。
次に、ユーザ判定部24は、ジェスチャ認識装置記憶部12からユーザ情報42を読み出し、ユーザ情報42に基づいて、人物特定部23が特定した人物が操作対象者か否かを判定する(S4)。ここでは、「父」は操作対象者であるため、ユーザ判定部24は、操作対象者であると判定する(S4でYES)。
ユーザ判定部24が操作対象者であると判定した後、認識対象部位判定部25は、当該操作対象者(ここでは、「父」)が撮像されている画像にジェスチャ認識対象部位が撮像されているか否かを判定する(S5)。ここでは、図13に示すように、画像にジェスチャ認識対象部位である右手が写っているため、認識対象部位判定部25はジェスチャ認識対象部位が撮像されていると判定する(S5でYES)。
ここで、テレビ制御部51が指示信号に基づいて通知処理を実行している場合(S9でYES)、出力部27は、当該通知の消去を指示する通知消去指示信号をテレビ制御部51に出力する(S10)。そして、ジェスチャ認識実行部28が、ジェスチャ認識処理を実行する(S11)。一方、テレビ制御部51が通知処理を実行していない場合(S9でNO)、出力部27は何も出力せず、ジェスチャ認識実行部28が、ジェスチャ認識処理を実行する(S11)。
〔カメラが撮像した画像に「母」が写っている場合〕
次に、図14に示すように、カメラ3が撮像した画像に「母」が写っている場合の処理について説明する。
次に、図14に示すように、カメラ3が撮像した画像に「母」が写っている場合の処理について説明する。
図9に示すように、画像取得部21がカメラ3からジェスチャ認識装置通信部13を介して、カメラ3が撮像した画像を取得する(S1)。人物判定部22は、画像取得部21が取得した画像に人物が撮像されているか否かを判定する(S2)。ここでは図14に示す画像に「母」が写っているため、人物判定部22は、画像から人物を検出し、人物が撮像されていると判定する。
人物判定部22が人物が撮像されていると判定した場合(S2でYES)、人物特定部23は、ジェスチャ認識装置記憶部12から人物特定情報41を読み出し、人物特定情報41に基づいて、人物判定部22が検出した人を特定する(S3)。ここでは、人物特定部23は、人物判定部22が検出した人物を「母」として特定する。
次に、ユーザ判定部24は、ジェスチャ認識装置記憶部12からユーザ情報42を読み出し、ユーザ情報42に基づいて、人物特定部23が特定した人物が操作対象者か否かを判定する(S4)。ここでは、「母」は操作対象者ではないため、ユーザ判定部24は、操作対象者ではないと判定する(S4でNO)。続いて、ユーザ判定部24は、ユーザ情報42に基づいて、人物特定部23が特定した人物が操作禁止者か否かを判定する(S12)。ここでも、「母」は操作禁止者ではないため、ユーザ判定部24は、操作禁止者ではないと判定する(S12でNO)。
次に、時期判定部26は、操作タイミング判定処理Bを実行し(S13)、現時点がジェスチャの操作タイミングであるか否かを判定する(S14)。時期判定部26が操作タイミングであると判定した場合(S14でYES)、出力部27は、操作対象者ではないことの通知を指示する非操作対象者通知指示信号をテレビ制御部51に出力する(S15)。一方、時期判定部26が操作タイミングではないと判定した場合(S14でNO)、出力部27は何も出力せず、S1に戻る。
(操作タイミング判定処理B)
次に、図9のS13における操作タイミング判定処理Bについて、図15に基づいて説明する。図15は、操作タイミング判定処理Bの一例を示すフローチャートである。
次に、図9のS13における操作タイミング判定処理Bについて、図15に基づいて説明する。図15は、操作タイミング判定処理Bの一例を示すフローチャートである。
図15に示すように、まず、時期判定部26は、ジェスチャ認識装置記憶部12から操作タイミング情報43およびジェスチャ情報44を読み出し、ジェスチャ情報44の示すジェスチャの検出処理を画像に対して実行する(S31)。
ここでジェスチャを検出すると(S31でYES)、時期判定部26は、ジェスチャ認識装置記憶部12から操作タイミング情報43を読み出し、テレビ2もしくはジェスチャ認識装置1の現在または過去の処理状態が操作タイミング情報43の示す処理条件の何れかに該当するか否かを判定する(S35)。時期判定部26は、テレビ2もしくはジェスチャ認識装置1の現在または過去の処理状態が処理条件の何れかに該当すると判定した場合(S35でYES)、現時点がジェスチャの操作タイミングであると判定する(S36)。一方、時期判定部26は、テレビ2もしくはジェスチャ認識装置1の現在または過去の処理状態が処理条件の何れにも該当しないと判定した場合(S35でNO)、現時点がジェスチャの操作タイミングではないと判定する(S37)。
また、S31において、ジェスチャが検出できなかった場合(S31でNO)、続いて、時期判定部26は、ジェスチャ認識装置記憶部12から操作タイミング情報43およびジェスチャ情報44を読み出し、ジェスチャ情報44の示すジェスチャ認識対象部位が撮像されているか否かを判定する(S32)。
時期判定部26は、ジェスチャ認識対象部位が撮像されていると判定した場合(S32でYES)、ジェスチャ認識装置記憶部12から操作タイミング情報43を読み出し、テレビ2もしくはジェスチャ認識装置1の現在または過去の処理状態が操作タイミング情報43の示す処理条件の何れかに該当するか否かを判定する(S35)。時期判定部26は、テレビ2もしくはジェスチャ認識装置1の現在または過去の処理状態が処理条件の何れかに該当すると判定した場合(S35でYES)、現時点がジェスチャの操作タイミングであると判定する(S36)。一方、時期判定部26は、テレビ2もしくはジェスチャ認識装置1の現在または過去の処理状態が処理条件の何れにも該当しないと判定した場合(S35でNO)、現時点がジェスチャの操作タイミングではないと判定する(S37)。
一方、時期判定部26は、ジェスチャ認識対象部位が撮像されていないと判定した場合(S32でNO)、ジェスチャ認識装置記憶部12から操作タイミング情報43およびジェスチャ情報44を読み出し、ジェスチャ情報44の示す対象付近部位が画像に撮像されているか否かを判定する(S33)。また、時期判定部26は、ジェスチャ認識装置記憶部12から操作タイミング情報43およびジェスチャ情報44を読み出し、ジェスチャ情報44の示す対象連動部位が所定の動作を行っているか否かを判定する(S34)。また、時期判定部26は、ジェスチャ認識装置記憶部12から操作タイミング情報43を読み出し、テレビ2もしくはジェスチャ認識装置1の現在または過去の処理状態が操作タイミング情報43の示す処理条件の何れかに該当するか否かを判定する(S35)。
時期判定部26は、S33〜S35において、何れも操作タイミングとみなす条件に該当すると判定した場合(S33でYES、かつS34でYES、かつS35でYES)、現時点がジェスチャの操作タイミングであると判定する(S36)。一方、時期判定部26は、S33〜S35において、何れかの操作タイミングとみなす条件に該当しないと判定した場合(S33〜S35の何れかでNO)、現時点がジェスチャの操作タイミングではないと判定する(S37)。
なお、図11に示す例では、S31でYESの場合、S35の判定処理を行って操作タイミングであるか否かを判定しているがこれに限るものではない。時期判定部26は、S31でYESの場合、無条件で現時点が操作タイミングであると判定してもよい。
また、図11に示す例では、S32でYESの場合、S35の判定処理を行って操作タイミングであるか否かを判定しているがこれに限るものではない。時期判定部26は、S32でYESの場合、無条件で現時点が操作タイミングであると判定してもよい。
また、図11に示す例では、S32でNOの場合、S33〜S35の3つの判定処理を行って操作タイミングであるか否かを判定しているがこれに限るものではない。時期判定部26は、S33〜S35の3つの判定処理の少なくとも1つの判定処理を行って操作タイミングであるか否かを判定してもよい。また、図11に示す例では、S33〜S35の3つの判定処理を行って、全て該当すると判定した場合に、操作タイミングであると判定しているがこれに限るものではない。時期判定部26は、例えば、1または2の判定処理で該当すると判定した場合に、操作タイミングであると判定してもよい。
〔カメラが撮像した画像に「子供」が写っている場合〕
次に、図16に示すように、カメラ3が撮像した画像に「子供」が写っている場合の処理について説明する。
次に、図16に示すように、カメラ3が撮像した画像に「子供」が写っている場合の処理について説明する。
図9に示すように、画像取得部21がカメラ3からジェスチャ認識装置通信部13を介して、カメラ3が撮像した画像を取得する(S1)。人物判定部22は、画像取得部21が取得した画像に人物が撮像されているか否かを判定する(S2)。ここでは図16に示す画像に「子供」の顔等が写っているため、人物判定部22は、画像から人物を検出し、人物が撮像されていると判定する。
人物判定部22が人物が撮像されていると判定した場合(S2でYES)、人物特定部23は、ジェスチャ認識装置記憶部12から人物特定情報41を読み出し、人物特定情報41に基づいて、人物判定部22が検出した人を特定する(S3)。ここでは、人物特定部23は、人物判定部22が検出した人物を「子供」として特定する。
次に、ユーザ判定部24は、ジェスチャ認識装置記憶部12からユーザ情報42を読み出し、ユーザ情報42に基づいて、人物特定部23が特定した人物が操作対象者か否かを判定する(S4)。ここでは、「子供」は操作対象者ではないため、ユーザ判定部24は、操作対象者ではないと判定する(S4でNO)。続いて、ユーザ判定部24は、ユーザ情報42に基づいて、人物特定部23が特定した人物が操作禁止者か否かを判定する(S12)。ここでは、「子供」は操作禁止者であるため、ユーザ判定部24は、操作禁止者であると判定する(S12でYES)。ユーザ判定部24が操作禁止者であると判定した場合は、出力部27は何も出力せず、S1に戻る。
なお、図9に示す処理例では、操作対象者か否かを判定し、さらに、ジェスチャ認識対象部位が撮像されているか否かを判定した後に、ジェスチャ認識処理を実行しているが、これに限るものではない。例えば、画像取得部21が取得した画像に対して、まず、ジェスチャ認識実行部28がジェスチャ認識処理を実行し、ジェスチャ認識が正常にできなかった場合に、上記のS4、S6〜S8、S12〜S15の処理を行ってもよい。
<ジェスチャ認識装置の処理(処理例2)>
次に、上述の最初にジェスチャ認識処理を実行し、ジェスチャ認識が正常にできなかった場合に、判定処理等を実行する処理について、図17に基づいて説明する。図17は、ジェスチャ認識装置1が実行する処理の他の一例を示すフローチャートである。
次に、上述の最初にジェスチャ認識処理を実行し、ジェスチャ認識が正常にできなかった場合に、判定処理等を実行する処理について、図17に基づいて説明する。図17は、ジェスチャ認識装置1が実行する処理の他の一例を示すフローチャートである。
図17に示すように、ジェスチャ認識実行部28は、ジェスチャ認識処理を開始すると(S41)、画像取得部21から時系列に並べられた複数の画像を取得する(S42)。ジェスチャ認識実行部28は、複数の画像取得した後、ジェスチャ認識装置記憶部12からジェスチャ情報44を読み出し、取得した複数の画像からジェスチャ情報44の示すジェスチャを検出する(S43)。
ジェスチャ認識実行部28は、所定のジェスチャを検出すると(S44でYES)、ジェスチャ情報44において、検出したジェスチャに対応付けられている操作信号を生成する(S45)。そして、出力部27は、ジェスチャ認識実行部28が生成した操作信号をテレビ制御部51に出力する。
一方、ジェスチャ認識実行部28は、ジェスチャが検出できなかった場合(S44でNO)、複数の画像に対する認識対象部位判定部25の判定結果に基づいて、ジェスチャが検出できなかった原因(エラー原因)がジェスチャ認識対象部位を検出できなかったことであるか否かを判定する(S47)。
ジェスチャ認識実行部28がジェスチャ認識対象部位を検出できなかったことが原因であると判定した場合(S47でYES)、出入判定部30は、複数の画像に対する認識対象部位判定部25の判定結果に基づいて、ジェスチャ認識対象部位が画角に出入りしているか否かを判定する(S48)。
出入判定部30がジェスチャ認識対象部位が画角に出入りしていると判定した場合(S48でYES)、出力部27は、ジェスチャ認識対象部位が画角に出入りしていることの通知を指示する対象部位出入通知指示信号をテレビ制御部51に出力する(S49)。一方、出入判定部30がジェスチャ認識対象部位が画角に出入りしていないと判定した場合(S48でNO)、出力部27は、ジェスチャ認識対象部位が画角から出ていることの通知を指示する対象部位画角外通知指示信号をテレビ制御部51に出力する(S50)。
S47において、ジェスチャ認識実行部28がジェスチャ認識対象部位を検出できなかったことが原因ではないと判定した場合、つまり、その他の原因でジェスチャが検出できなかった場合(S47でNO)、ジェスチャ認識対象部位はエラー原因を特定する。出力部27は、ジェスチャ認識実行部28が特定したエラー原因の通知を指示するジェスチャ認識エラー通知指示信号をテレビ制御部51に出力する(S51)。
なお、S48の処理の後に、時期判定部26が操作タイミングであるか否かを判定し、時期判定部26が操作タイミングであると判定した場合にのみ、出力部が各信号を出力するようにしてもよい。
また、S49およびS50において、出力部27は、対象部位出入通知指示信号または対象部位画角外通知指示信号と共に、または当該信号の代わりに、ベクトル通知指示信号を出力してもよい。
<変形例>
変形例として、電子機器がセキュリティゲートである場合を説明する。このセキュリティゲートは、会員の女性のみが入室可能な部屋の入口に設置されているものとする。そして、ここでは、操作対象者として、女性の予め登録されたユーザであり、操作禁止者として男性が設定されているものとする。
変形例として、電子機器がセキュリティゲートである場合を説明する。このセキュリティゲートは、会員の女性のみが入室可能な部屋の入口に設置されているものとする。そして、ここでは、操作対象者として、女性の予め登録されたユーザであり、操作禁止者として男性が設定されているものとする。
この場合、会員の女性がジェスチャを行ったが、カメラに写っていない場合、セキュリティゲートは、会員の女性に対してジェスチャが写っていないことを通知する。また、会員ではない女性がジェスチャを行った場合は、セキュリティゲートは、会員ではない女性に対して、操作対象者ではない、つまり、未会員であることを通知する。このとき、セキュリティゲートは、会員ではない女性に対して、会員になるために必要な情報を通知してもよい。また、男性がジェスチャを行った場合、セキュリティゲートは、何も通知しない。セキュリティゲート等においては、許可者(操作対象者)および許可者になり得る人物以外の人物(つまりこの場合は男性)に対して、ジェスチャによる操作にエラーが発生したことを通知することは、セキュリティの観点から望ましくない。
なお、セキュリティとユーザの便益とのバランスによるが、性別判定処理において誤った判定処理を実行する頻度が少なく無い場合、セキュリティゲートは、男性と判断した場合であっても、何回かに1度は未会員であることを通知してもよい。
<補足>
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
最後に、ジェスチャ認識装置1の各ブロック、特にジェスチャ認識装置制御部11は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、ジェスチャ認識装置1は、各機能を実現する制御プログラムの命令を実行するCPU、上記プログラムを格納したROM、上記プログラムを展開するRAM、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるジェスチャ認識装置1の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記ジェスチャ認識装置1に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、ジェスチャ認識装置1を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明は、カメラが撮像した画像からユーザのジェスチャを認識し、認識したジェスチャに基づいて電子機器を制御するジェスチャ認識装置に利用することができる。
1 ジェスチャ認識装置
2 テレビ(電子機器)
3 カメラ
4 ユーザ
22 人物判定部(人判定手段)
24 ユーザ判定部(操作対象者判定手段、操作禁止者判定手段)
25 認識対象部位判定部(認識対象部位判定手段)
26 時期判定部(時期判定手段)
27 出力部(出力手段)
30 出入判定部(出入判定手段)
31 位置関係特定部(部位特定手段、位置特定手段)
32 移動ベクトル算出部(移動ベクトル特定手段)
55 表示部(通知手段)
56 音声出力部(通知手段)
2 テレビ(電子機器)
3 カメラ
4 ユーザ
22 人物判定部(人判定手段)
24 ユーザ判定部(操作対象者判定手段、操作禁止者判定手段)
25 認識対象部位判定部(認識対象部位判定手段)
26 時期判定部(時期判定手段)
27 出力部(出力手段)
30 出入判定部(出入判定手段)
31 位置関係特定部(部位特定手段、位置特定手段)
32 移動ベクトル算出部(移動ベクトル特定手段)
55 表示部(通知手段)
56 音声出力部(通知手段)
Claims (18)
- カメラが撮像した画像から人のジェスチャ認識対象部位の動きおよび/または形状であるジェスチャを認識し、認識したジェスチャに基づいて電子機器を制御するための情報を当該電子機器に出力するジェスチャ認識装置であって、
上記画像に上記ジェスチャ認識対象部位が含まれているか否かを判定する認識対象部位判定手段と、
上記認識対象部位判定手段が上記画像にジェスチャ認識対象部位が含まれていないと判定した場合、ジェスチャ認識対象部位が撮像されていないことの通知を指示する対象部位画角外通知指示情報を出力する出力手段とを備えることを特徴とするジェスチャ認識装置。 - 上記画像に撮像されている人の部位に基づいて、当該人がジェスチャによる操作を所望する操作タイミングか否かを判定する時期判定手段をさらに備え、
上記出力手段は、上記認識対象部位判定手段が上記画像にジェスチャ認識対象部位が含まれていないと判定し、かつ、上記時期判定手段が操作タイミングであると判定した場合、上記対象部位画角外通知指示情報を出力することを特徴とする請求項1に記載のジェスチャ認識装置。 - 上記時期判定手段は、上記画像にジェスチャ認識対象部位付近の対象付近部位が含まれている場合、操作タイミングであると判定することを特徴とする請求項2に記載のジェスチャ認識装置。
- 上記時期判定手段は、ジェスチャ時にジェスチャ認識対象部位と連動する対象連動部位が所定の動作をしたことを上記画像から検出した場合、操作タイミングであると判定することを特徴とする請求項2に記載のジェスチャ認識装置。
- 上記画像に撮像されている部位の人が、ジェスチャにより上記電子機器の操作を実行可能な操作対象者であるか否かを判定する操作対象者判定手段とをさらに備え、
上記出力手段は、上記操作対象者判定手段が上記画像に撮像されている部位の人が操作対象者であると判定した場合、上記対象部位画角外通知指示情報を出力することを特徴とする請求項1〜4の何れか1項に記載のジェスチャ認識装置。 - 上記画像に撮像されている部位の人が、ジェスチャにより上記電子機器の操作を実行可能な操作対象者であるか否かを判定する操作対象者判定手段とをさらに備え、
上記出力手段は、上記操作対象者判定手段が上記画像に撮像されている部位の人が操作対象者ではないと判定した場合、上記対象部位画角外通知指示情報に代えて、操作対象者ではないことの通知を指示する非操作対象者通知指示情報を出力することを特徴とする請求項1〜5の何れか1項に記載のジェスチャ認識装置。 - 上記画像に撮像されている部位の人が、ジェスチャによる上記電子機器の操作を禁止されている操作禁止者であるか否かを判定する操作禁止者判定手段とをさらに備え、
上記出力手段は、上記操作禁止者判定手段が上記画像に撮像されている部位の人が操作禁止者であると判定した場合、上記非操作対象者通知指示情報を出力しないことを特徴とする請求項6に記載のジェスチャ認識装置。 - 上記操作対象者判定手段は、予め、ジェスチャにより上記電子機器の操作を実行可能な者として設定されている人を操作対象者であると判定することを特徴とする請求項6に記載のジェスチャ認識装置。
- 上記操作対象者判定手段は、ジェスチャにより上記電子機器の操作を所定回数実行した人を操作対象者であると判定することを特徴とする請求項6に記載のジェスチャ認識装置。
- 上記操作対象者判定手段は、所定期間内にジェスチャにより上記電子機器の操作を実行した人を操作対象者であると判定することを特徴とする請求項6に記載のジェスチャ認識装置。
- 上記画像に撮像されている部位を特定する部位特定手段と、
上記部位特定手段が特定した部位に対するジェスチャ認識対象部位の位置を特定する位置特定手段と、
上記位置特定手段が特定した位置に基づいて、上記ジェスチャ認識対象部位が画角に入るために必要な移動方向を特定する移動ベクトル特定手段とをさらに備え、
上記出力手段は、上記対象部位画角外通知指示情報に代えて、上記移動ベクトル特定手段が特定した方向に上記ジェスチャ認識対象部位の移動を促す通知を指示する方向通知指示情報を出力することを特徴とする請求項1〜10の何れか1項に記載のジェスチャ認識装置。 - 上記移動ベクトル特定手段は、上記位置特定手段が特定した位置に基づいて、上記移動方向を特定すると共に、上記ジェスチャ認識対象部位が画角に入るために必要な移動量を算出し、
上記出力手段は、上記方向通知指示情報に代えて、上記移動ベクトル特定手段が特定した方向に、上記ジェスチャ認識対象部位を上記移動ベクトル特定手段が特定した移動量分の移動を促す通知を指示するベクトル通知指示情報を出力することを特徴とする請求項11に記載のジェスチャ認識装置。 - 上記画像に撮像されている部位を特定する部位特定手段をさらに備え、
上記出力手段は、上記対象部位画角外通知指示情報に代えて、上記部位特定手段が特定した部位の前でジェスチャを実行するように促す通知を指示するジェスチャ位置通知指示情報を出力することを特徴とする請求項1〜10の何れか1項に記載のジェスチャ認識装置。 - 上記認識対象部位判定手段は、時系列に並べられた複数の上記画像に対して上記判定を実行し、
上記認識対象部位判定手段の判定結果に基づいて、ジェスチャ認識対象部位が上記カメラの画角から出入りしているか否かを判定する出入判定手段をさらに備え、
上記出力手段は、上記出入判定手段が上記カメラの画角からジェスチャ認識対象部位が出入りしていると判定した場合、上記カメラの画角からジェスチャ認識対象部位が出入りしていることの通知を指示する対象部位出入通知指示情報を出力することを特徴とする請求項1〜13の何れか1項に記載のジェスチャ認識装置。 - 請求項1〜14の何れか1項に記載のジェスチャ認識装置と、
上記出力手段が出力する情報に従って、人に通知する通知手段とを備えたことを特徴とする電子機器。 - カメラが撮像した画像から人のジェスチャ認識対象部位の動きおよび/または形状であるジェスチャを認識し、認識したジェスチャに基づいて電子機器を制御するための情報を当該電子機器に出力するジェスチャ認識装置の制御方法であって、
上記画像に上記ジェスチャ認識対象部位が含まれているか否かを判定する認識対象部位判定ステップと、
上記認識対象部位判定ステップにおいて上記画像にジェスチャ認識対象部位が含まれていないと判定された場合、ジェスチャ認識対象部位が撮像されていないことの通知を指示する対象部位画角外通知指示情報を出力する出力ステップとを含むことを特徴とするジェスチャ認識装置の制御方法。 - 請求項1〜14の何れか1項に記載のジェスチャ認識装置を動作させるための制御プログラムであって、コンピュータを上記各手段として機能させるための制御プログラム。
- 請求項17に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011202434A JP2013065112A (ja) | 2011-09-15 | 2011-09-15 | ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体 |
US14/234,597 US20140152557A1 (en) | 2011-09-15 | 2012-03-14 | Gesture recognition device, electronic apparatus, gesture recognition device control method, control program, and recording medium |
EP12832493.6A EP2746899A4 (en) | 2011-09-15 | 2012-03-14 | GESTURE DETECTION DEVICE, ELECTRONIC DEVICE, GAME DETECTION DEVICE CONTROL PROCEDURE, CONTROL PROGRAM AND RECORDING MEDIUM |
PCT/JP2012/056518 WO2013038734A1 (ja) | 2011-09-15 | 2012-03-14 | ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体 |
CN201280035763.9A CN103688233A (zh) | 2011-09-15 | 2012-03-14 | 姿势识别装置及其控制方法、程序、电子设备及记录介质 |
KR1020147001071A KR20140028108A (ko) | 2011-09-15 | 2012-03-14 | 제스처 인식 장치, 전자 기기, 제스처 인식 장치의 제어 방법, 제어 프로그램 및 기록 매체 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011202434A JP2013065112A (ja) | 2011-09-15 | 2011-09-15 | ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013065112A true JP2013065112A (ja) | 2013-04-11 |
Family
ID=47882980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011202434A Pending JP2013065112A (ja) | 2011-09-15 | 2011-09-15 | ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20140152557A1 (ja) |
EP (1) | EP2746899A4 (ja) |
JP (1) | JP2013065112A (ja) |
KR (1) | KR20140028108A (ja) |
CN (1) | CN103688233A (ja) |
WO (1) | WO2013038734A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015136952A1 (ja) * | 2014-03-12 | 2015-09-17 | コニカミノルタ株式会社 | ジェスチャー認識装置、ヘッドマウントディスプレイ、および携帯端末 |
EP2921937A1 (en) | 2014-03-17 | 2015-09-23 | Omron Corporation | Multimedia apparatus, method of controlling multimedia apparatus, and program of controlling multimedia apparatus |
WO2016024349A1 (ja) * | 2014-08-13 | 2016-02-18 | 楽天株式会社 | 動作入力システム、動作入力方法およびプログラム |
JP2021140409A (ja) * | 2020-03-04 | 2021-09-16 | グリー株式会社 | コンピュータプログラム、方法及びサーバ装置 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160140933A1 (en) * | 2014-04-04 | 2016-05-19 | Empire Technology Development Llc | Relative positioning of devices |
KR20160149603A (ko) | 2015-06-18 | 2016-12-28 | 삼성전자주식회사 | 전자 장치 및 전자 장치에서의 노티피케이션 처리 방법 |
JP6559359B2 (ja) * | 2016-09-01 | 2019-08-14 | 三菱電機株式会社 | ジェスチャー判定装置、ジェスチャー操作装置、及びジェスチャー判定方法 |
EP3637378B1 (en) * | 2017-05-26 | 2024-05-01 | Toppan Printing Co., Ltd. | Identification device, identification method, and identification program |
EP3693924B1 (en) * | 2017-10-03 | 2023-08-02 | Fujitsu Limited | Posture recognition system, image correction program, and image correction method |
CN111480178B (zh) * | 2017-12-14 | 2024-02-20 | 富士通株式会社 | 存储技巧识别程序的存储介质、技巧识别方法以及技巧识别*** |
EP3650959A1 (fr) * | 2018-11-07 | 2020-05-13 | Tissot S.A. | Procede de diffusion d'une alerte descriptive d'un message de notification |
CN113171472B (zh) * | 2020-05-26 | 2023-05-02 | 中科王府(北京)科技有限公司 | 一种消毒机器人 |
CN112328090B (zh) * | 2020-11-27 | 2023-01-31 | 北京市商汤科技开发有限公司 | 手势识别方法及装置、电子设备和存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002149302A (ja) * | 2000-11-09 | 2002-05-24 | Sharp Corp | インターフェース装置およびインターフェース処理プログラムを記録した記録媒体 |
JP2004272598A (ja) * | 2003-03-07 | 2004-09-30 | Nippon Telegr & Teleph Corp <Ntt> | ポインティング方法、装置、およびプログラム |
US20100205667A1 (en) * | 2009-02-06 | 2010-08-12 | Oculis Labs | Video-Based Privacy Supporting System |
JP2010541398A (ja) * | 2007-09-24 | 2010-12-24 | ジェスチャー テック,インコーポレイテッド | 音声及びビデオ通信のための機能向上したインタフェース |
US20110080254A1 (en) * | 2009-10-07 | 2011-04-07 | Samsung Electronics Co., Ltd. | System and method for logging in multiple users to a consumer electronics device by detecting gestures with a sensory device |
US7961174B1 (en) * | 2010-01-15 | 2011-06-14 | Microsoft Corporation | Tracking groups of users in motion capture system |
US20110157009A1 (en) * | 2009-12-29 | 2011-06-30 | Sungun Kim | Display device and control method thereof |
US20110175810A1 (en) * | 2010-01-15 | 2011-07-21 | Microsoft Corporation | Recognizing User Intent In Motion Capture System |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004280148A (ja) | 2003-03-12 | 2004-10-07 | Nippon Telegr & Teleph Corp <Ntt> | 色モデル構築方法、装置、およびプログラム |
US7886236B2 (en) | 2003-03-28 | 2011-02-08 | Microsoft Corporation | Dynamic feedback for gestures |
JP4492036B2 (ja) | 2003-04-28 | 2010-06-30 | ソニー株式会社 | 画像認識装置及び方法、並びにロボット装置 |
JP4613558B2 (ja) | 2003-09-16 | 2011-01-19 | パナソニック電工株式会社 | 画像を用いた人体検知装置 |
JP4372051B2 (ja) | 2005-06-13 | 2009-11-25 | 株式会社東芝 | 手形状認識装置及びその方法 |
JP2007052609A (ja) | 2005-08-17 | 2007-03-01 | Sony Corp | 手領域検出装置及び手領域検出方法、並びにプログラム |
JP4623299B2 (ja) | 2005-12-13 | 2011-02-02 | 富士フイルム株式会社 | 撮像装置および撮像方法 |
JP4905931B2 (ja) | 2006-07-04 | 2012-03-28 | 富士フイルム株式会社 | 人体領域抽出方法および装置並びにプログラム |
JP4737073B2 (ja) | 2006-12-22 | 2011-07-27 | パナソニック電工株式会社 | 人体検出装置 |
JP2008244804A (ja) | 2007-03-27 | 2008-10-09 | Fujifilm Corp | 撮像装置及び撮像方法並びに制御プログラム |
JP2009301301A (ja) | 2008-06-12 | 2009-12-24 | Tokai Rika Co Ltd | 入力装置及び入力方法 |
JP5187280B2 (ja) * | 2009-06-22 | 2013-04-24 | ソニー株式会社 | 操作制御装置および操作制御方法 |
US8971572B1 (en) * | 2011-08-12 | 2015-03-03 | The Research Foundation For The State University Of New York | Hand pointing estimation for human computer interaction |
-
2011
- 2011-09-15 JP JP2011202434A patent/JP2013065112A/ja active Pending
-
2012
- 2012-03-14 WO PCT/JP2012/056518 patent/WO2013038734A1/ja active Application Filing
- 2012-03-14 EP EP12832493.6A patent/EP2746899A4/en not_active Withdrawn
- 2012-03-14 KR KR1020147001071A patent/KR20140028108A/ko not_active Application Discontinuation
- 2012-03-14 CN CN201280035763.9A patent/CN103688233A/zh active Pending
- 2012-03-14 US US14/234,597 patent/US20140152557A1/en not_active Abandoned
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002149302A (ja) * | 2000-11-09 | 2002-05-24 | Sharp Corp | インターフェース装置およびインターフェース処理プログラムを記録した記録媒体 |
JP2004272598A (ja) * | 2003-03-07 | 2004-09-30 | Nippon Telegr & Teleph Corp <Ntt> | ポインティング方法、装置、およびプログラム |
JP2010541398A (ja) * | 2007-09-24 | 2010-12-24 | ジェスチャー テック,インコーポレイテッド | 音声及びビデオ通信のための機能向上したインタフェース |
US20100205667A1 (en) * | 2009-02-06 | 2010-08-12 | Oculis Labs | Video-Based Privacy Supporting System |
US20110080254A1 (en) * | 2009-10-07 | 2011-04-07 | Samsung Electronics Co., Ltd. | System and method for logging in multiple users to a consumer electronics device by detecting gestures with a sensory device |
US20110157009A1 (en) * | 2009-12-29 | 2011-06-30 | Sungun Kim | Display device and control method thereof |
US7961174B1 (en) * | 2010-01-15 | 2011-06-14 | Microsoft Corporation | Tracking groups of users in motion capture system |
US20110175810A1 (en) * | 2010-01-15 | 2011-07-21 | Microsoft Corporation | Recognizing User Intent In Motion Capture System |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015136952A1 (ja) * | 2014-03-12 | 2015-09-17 | コニカミノルタ株式会社 | ジェスチャー認識装置、ヘッドマウントディスプレイ、および携帯端末 |
EP2921937A1 (en) | 2014-03-17 | 2015-09-23 | Omron Corporation | Multimedia apparatus, method of controlling multimedia apparatus, and program of controlling multimedia apparatus |
WO2016024349A1 (ja) * | 2014-08-13 | 2016-02-18 | 楽天株式会社 | 動作入力システム、動作入力方法およびプログラム |
CN107077737A (zh) * | 2014-08-13 | 2017-08-18 | 乐天株式会社 | 动作输入***、动作输入方法和程序 |
US10474886B2 (en) | 2014-08-13 | 2019-11-12 | Rakuten, Inc. | Motion input system, motion input method and program |
CN107077737B (zh) * | 2014-08-13 | 2020-10-09 | 乐天株式会社 | 动作输入装置、动作输入方法 |
JP2021140409A (ja) * | 2020-03-04 | 2021-09-16 | グリー株式会社 | コンピュータプログラム、方法及びサーバ装置 |
JP7184835B2 (ja) | 2020-03-04 | 2022-12-06 | グリー株式会社 | コンピュータプログラム、方法及びサーバ装置 |
JP7418709B2 (ja) | 2020-03-04 | 2024-01-22 | グリー株式会社 | コンピュータプログラム、方法及びサーバ装置 |
Also Published As
Publication number | Publication date |
---|---|
EP2746899A4 (en) | 2015-02-25 |
KR20140028108A (ko) | 2014-03-07 |
EP2746899A1 (en) | 2014-06-25 |
CN103688233A (zh) | 2014-03-26 |
WO2013038734A1 (ja) | 2013-03-21 |
US20140152557A1 (en) | 2014-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2013038734A1 (ja) | ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体 | |
JP5862143B2 (ja) | ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体 | |
US11150738B2 (en) | Wearable glasses and method of providing content using the same | |
US20220253201A1 (en) | Evolving docking based on detected keyboard positions | |
US9836083B2 (en) | Complete wearable ecosystem | |
KR102420100B1 (ko) | 건강 상태 정보를 제공하는 전자 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체 | |
US10206573B2 (en) | Method of obtaining biometric information in electronic device and electronic device for the same | |
JP6011165B2 (ja) | ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム | |
US10952667B2 (en) | Device and method of controlling wearable device | |
CN111726536A (zh) | 视频生成方法、装置、存储介质及计算机设备 | |
US20050012830A1 (en) | Autonomous camera having exchangable behaviours | |
US8942510B2 (en) | Apparatus and method for switching a display mode | |
KR20180112599A (ko) | 가상 공간의 캡쳐 방법 및 그 전자장치 | |
KR20170067058A (ko) | 이동 단말기 및 그 제어방법 | |
KR20150116897A (ko) | Nui 관여의 검출 | |
US20180150722A1 (en) | Photo synthesizing method, device, and medium | |
JP2014023127A (ja) | 情報表示装置、情報表示方法、制御プログラム、および記録媒体 | |
WO2020250082A1 (ja) | ユーザーの感情に応じた動作を実行する情報処理装置 | |
JP7271909B2 (ja) | 表示装置、及び、表示装置の制御方法 | |
KR102476619B1 (ko) | 전자 장치 및 이의 제어 방법 | |
CN112114653A (zh) | 终端设备的操控方法、装置、设备及存储介质 | |
US20220284738A1 (en) | Target user locking method and electronic device | |
KR20210070119A (ko) | 스마트폰 전면 카메라와 인공지능 자세 분석을 이용한 명상 가이드 시스템 | |
WO2024055661A1 (zh) | 一种显示设备及显示方法 | |
CN117590934A (zh) | 一种使用多阶段手势来激活用户界面交互的方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140704 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150519 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20151006 |