JP2008186247A - 顔向き検出装置および顔向き検出方法 - Google Patents
顔向き検出装置および顔向き検出方法 Download PDFInfo
- Publication number
- JP2008186247A JP2008186247A JP2007019335A JP2007019335A JP2008186247A JP 2008186247 A JP2008186247 A JP 2008186247A JP 2007019335 A JP2007019335 A JP 2007019335A JP 2007019335 A JP2007019335 A JP 2007019335A JP 2008186247 A JP2008186247 A JP 2008186247A
- Authority
- JP
- Japan
- Prior art keywords
- face
- user
- individual difference
- face orientation
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Position Input By Displaying (AREA)
Abstract
【課題】携帯機器などの小機器であっても、2次元の特徴点座標から顔向きを検出する場合に、個人差による検出精度への影響を軽減し、十分な検出精度を得ることの可能な顔向き検出装置を提供する。
【解決手段】顔向き判定装置100は、利用者の顔を画像として入力する画像入力部101と、画像から、利用者の顔の特徴点を抽出する特徴点抽出部102と、特徴点から所定の閾値に基づいて利用者の顔向きを判定する顔向き判定部103と、利用者ごとの各顔向きについて個人差を調整するための個人差情報を取得する個人差調整部104と、閾値を個人差情報を用いて更新して利用者ごとに登録する個人差情報格納部105と、を備えたことを特徴とする。閾値を更新することで、利用者の個人差を加味した顔向き検出を行うことができる。
【選択図】図1
【解決手段】顔向き判定装置100は、利用者の顔を画像として入力する画像入力部101と、画像から、利用者の顔の特徴点を抽出する特徴点抽出部102と、特徴点から所定の閾値に基づいて利用者の顔向きを判定する顔向き判定部103と、利用者ごとの各顔向きについて個人差を調整するための個人差情報を取得する個人差調整部104と、閾値を個人差情報を用いて更新して利用者ごとに登録する個人差情報格納部105と、を備えたことを特徴とする。閾値を更新することで、利用者の個人差を加味した顔向き検出を行うことができる。
【選択図】図1
Description
本発明は、顔向き検出装置および顔向き検出方法にかかり、特に、入力画像から利用者の顔部分の特徴点を検出し、その顔向きを判別することによってポインタを操作する非接触インタフェースに用いられる顔向き検出装置および顔向き検出方法に関する。
近年、非接触インタフェースの技術が一般的になってきており、例えばカメラ等から入力した画像から利用者の顔の向きや視線の方向を検出することで装置を操作する方法が数多く提案されている。顔向きを検出する方法には、大別すると各方向の顔画像のパターンをテンプレートとして入力画像とマッチングを行う方法と、顔部品(目、口、鼻など)の顔の特徴点を検出してから幾何学的に顔向きを検出する方法がある。
前者の方法は、精度を高めるためには非常に多くのデータ処理、計算処理を行う必要があるため、リアルタイム性を必要とするポインタ操作等に用いるには不適であり、特に携帯端末などの処理性能が非力な装置には適用できない。
後者の方法は、比較的精度が上げやすい。特に物体の3次元形状を比較的簡単な計算で扱う因子分解法を用いることで、精度の高い顔向きが得られる方法が提案されている(例えば、特許文献1参照。)。しかし、因子分解法を用いる方法は、現在の携帯端末、例えば携帯電話などに適用するには、入力画像の解像度と画質、端末の処理性能を考慮すると、十分な精度・性能が得られない。そのため、そのような機器で顔向き検出を用いた非接触インタフェースを実現するために、単純に2次元的ないくつかの顔特徴点の座標計算のみを利用するか、あるいは2次元特徴点座標と顔領域の抽出との併用で顔向きを判断する方法が提案されている(例えば、特許文献2〜4参照。)。
しかしながら、2次元の特徴点座標から顔向きを検出する場合、個人差による検出精度への影響が大きく、十分な検出精度を得ることが難しいという問題がある。そのため、例えば特許文献5では、利用者の個人差、すなわち身体的特徴をあらかじめ測定し、補正する手段を設けることを提案している。
しかし、特許文献5では、その個人差の取得手段が機械的な取得であることを示唆する記載があるのみで、実現手段が提示されていなかった。また、機械的な手段によって身体的な特徴の差を取得することは、利用者にとっては測定作業が煩雑あり、容易に使用できるというものではなかった。さらに携帯機器などの小機器では、装置の製造コストの観点や、容積・重量の観点から、機械的な測定手段を持つことも困難であるという課題があった。
本発明は、上記背景技術が有する問題点に鑑みてなされたものであり、本発明の目的は、携帯機器などの小機器であっても、2次元の特徴点座標から顔向きを検出する場合に、個人差による検出精度への影響を軽減し、十分な検出精度を得ることの可能な、新規かつ改良された顔向き検出装置および顔向き検出方法を提供することである。
上記課題を解決するため、本発明の第1の観点によれば情報処理装置の利用者の顔向きを判定して該情報処理装置のアプリケーションで利用するための顔向き判定装置が提供される。本発明の顔向き判定装置(100)は、利用者の顔を画像として入力する画像入力部(101)と、前記画像から、利用者の顔の特徴点を抽出する特徴点抽出部(102)と、所定の閾値に基づいて前記特徴点から利用者の顔向きを判定し、アプリケーションに情報を送信する顔向き判定部(103)と、利用者ごとの各顔向きについて個人差を調整するための個人差情報を取得する個人差調整部(104)と、前記閾値を前記個人差情報を用いて更新して利用者ごとに登録する個人差情報格納部(105)と、を備えたことを特徴とする(請求項1)。
さらに、各種情報を表示する表示部(107)と、前記顔向き判定部により判定された顔向きに応じて、前記表示部上に表示されるポインタを制御するポインタ制御部(106)と、を備えて構成することができる(請求項2)。
かかる構成によれば、利用者に対して正面および各方向の顔向きの動作、すなわち顔向きを検出してポインタ等を操作する非接触インタフェースが持つ検出動作を一通り行わせ、その時の特徴点の状態を検出し、それぞれの検出動作について、利用者に最適な検出の閾値を算出し、閾値を更新する制御部を設けることで、利用者の個人差を加味した顔向き検出を行うことができるため、装置の製造コストを上げることなく、利用者が容易に顔向き検出の精度の向上させることが期待できる。ポインタのほかにも、顔向き判定部により判定された顔向きに応じて表示装置の画面のスクロールや、表示部に表示されるキャラクター(例えばゲームの自機など)の移動などにも利用することができる。
なお上記において、構成要素に付随して括弧書きで記した参照符号は、説明の便宜のために、後述の実施形態および図面における対応する構成要素を一例として記したに過ぎず、本発明がこれに限定されるものではない。以下も同様である。
本発明の顔向き判定装置においてはさまざまな応用が可能であるが、そのいくつかの例を挙げれば以下の通りである。
前記個人差調整部(104)は、前記利用者に対して各顔向きの動作を一通り行わせるための指示を出し、前記画像入力部から入力される各顔向きの画像から前記個人差情報を取得するようにしてもよい(請求項4)。
前記個人差調整部(104)は、前記利用者に対して各顔向きの動作を一通り行わせるための指示を出すにあたり、各種情報を表示する表示部(107)に図形または画像で指示を出すようにしてもよい(請求項5)。
前記個人差調整部(104)は、前記利用者の各顔向きの動作が不適正なもの(向き過ぎ)である場合に、前記利用者に警告(警告音、警告画面の表示など)を発するようにしてもよい(請求項6)。
上記課題を解決するため、本発明の第2の観点によれば、利用者の顔向きを判定する顔向き判定方法が提供される。本発明の顔向き判定方法は、利用者の顔を画像として入力する画像入力工程と、前記画像から、利用者の顔の特徴点を抽出する特徴点抽出工程と、所定の閾値に基づいて前記特徴点から利用者の顔向きを判定する顔向き判定工程と、利用者ごとの各顔向きについて個人差を調整するための個人差情報を取得する個人差調整工程と、前記閾値を前記個人差情報を用いて更新して利用者ごとに登録する個人差情報格納工程と、を含むことを特徴とする(請求項7)。
かかる方法によれば、利用者に対して正面および各方向の顔向きの動作、すなわち顔向きを検出してポインタ等を操作する非接触インタフェースが持つ検出動作を一通り行わせ、その時の特徴点の状態を検出し、それぞれの検出動作について、利用者に最適な検出の閾値を算出し、閾値を更新する制御部を設けることで、利用者の個人差を加味した顔向き検出を行うことができるため、装置の製造コストを上げることなく、利用者が容易に顔向き検出の精度の向上させることが期待できる。
本発明の顔向き判定方法においてもさまざまな応用が可能であるが、そのいくつかの例を挙げれば以下の通りである。
前記個人差調整工程は、前記利用者に対して各顔向きの動作を一通り行わせるための指示を出す工程と、前記画像入力部から入力される各顔向きの画像から前記個人差情報を取得する工程と、を含むようにしてもよい(請求項8)。
前記利用者に対して各顔向きの動作を一通り行わせるための指示を出す工程において、各種情報を表示する表示部に図形または画像で指示を出すようにしてもよい(請求項9)。
前記個人差調整工程において、前記利用者の各顔向きの動作が不適正なもの(向き過ぎ)である場合に、前記利用者に警告(警告音、警告画面の表示など)を発するようにしてもよい(請求項10)。
また、本発明の他の観点によれば、コンピュータを、上記本発明の第1の観点にかかる顔向き検出装置として機能させるためのプログラムと、そのプログラムを記録した、コンピュータにより読み取り可能な記録媒体が提供される。ここで、プログラムはいかなるプログラム言語により記述されていてもよい。また、記録媒体としては、例えば、CD−ROM、DVD−ROM、フレキシブルディスク、フラッシュメモリ、携帯端末装置の内蔵メモリなど、プログラムを記録可能な記録媒体として現在一般に用いられている記録媒体、あるいは将来用いられるいかなる記録媒体をも採用することができる。
以上のように、本発明によれば、携帯機器などの小機器であっても、2次元の特徴点座標から顔向きを検出する場合に、個人差による検出精度への影響を軽減し、十分な検出精度を得ることが可能である。その他の本発明の優れた効果については、以下の発明を実施するための最良の形態の説明においても説明する。
以下に添付図面を参照しながら、本発明にかかる顔向き検出装置および顔向き検出方法の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
図1は、本発明の一実施形態の構成を示す説明図である。本実施形態では、顔向きを正面・上・下・左・右の5つの方向に判定し、ポインタをその方向に動かす(正面の場合は動かさない)場合を例に挙げて説明する。
本実施形態にかかる顔向き検出装置100は、図1に示したように、画像入力部101と、特徴点抽出部102と、顔向き判定部103と、個人差調整部104と、個人差情報格納部105と、ポインタ制御部106と、表示部107を含んで構成されている。なお、本実施形態の説明に直接関係がない、様々な機能を実現するための処理部や接続関係は説明および図示を省略する。以下、各構成要素について詳細に説明する。
画像入力部101は、利用者の顔が含まれた画像を連続した複数の画像としてリアルタイムに取得する処理部であり、例えばカメラデバイスである。取得した画像は特徴点抽出部102へ送られる。
特徴点抽出部102は、画像入力部101より入力された画像から、画像ごとに顔領域および顔部品(例えば、目、口、鼻、眉毛など)の位置を特定し、それぞれの特徴点の位置を2次元の座標として抽出する処理部である。抽出した特徴点座標は顔向き判定部103および個人差調整部104へ送られる。
顔向き判定部103は、得られた特徴点座標と予め決められた顔向き判定式により、顔の向きを正面・上・下・左・右のいずれかとして判定し、その結果を顔向き情報として出力する処理部である。顔向き情報はポインタ制御部106へ送る。
個人差調整部104は、利用者の身体的特徴を抽出するために、表示部107を使って対話的に利用者へ個人差情報の測定を行わせ、抽出した個人差情報を個人差情報格納部105へ登録する処理部である。
個人差情報格納部105は、利用者が一旦個人差情報を登録した以降、顔向き判定部103の顔向き判定式にその個人差の修正を加える処理部である。
ポインタ制御部106は、顔向き判定部103の結果に基づき、ポインタを移動させる制御部である。
表示部107は、ポインタ制御部106から得たポインタの移動結果の表示や個人差調整部104に従って、利用者に対して個人差情報取得のための指示情報を表示する。また、装置が持つその他の機能に必要な情報を表示する。
本実施形態は以上のように構成されている。以下に本実施形態の動作について説明する。
(本実施形態の動作)
まず、ポインタ操作の動作を説明する。
まず、ポインタ操作の動作を説明する。
利用者がカメラの前に自分の顔をかざすと、画像入力部101から利用者の顔が含まれた画像がリアルタイムに特徴点抽出部102に送られる。特徴点抽出部102は、入力された画像から顔領域と顔部品を抽出し、それぞれの顔部品の特徴点座標として出力する。この顔部品探索の方法には、例えば、特開2003−281539号公報「顔部品探索装置および顔部品探索方法」に開示された技術を用いることが可能である。
図2は、抽出特徴点の一例を示す説明図である。図2に示した一例では、左目(LE)201、右目(RE)202、鼻(UM)203,口右端(RM)204,口下(DM)205、口左端(LM)206、左眉(LEB)207、右眉(REB)208を特徴点の例として示しているが、これら特徴点をすべて抽出する必要はなく、任意のものを抽出することができる。また、顔の他の箇所を特徴点として設定してもよい。本実施形態では、図2の“×”印に示す「眉2点、目2点、口4点」(参照符号201〜208)を特徴点として抽出するものとする。
特徴点抽出部102で抽出された特徴点座標は顔向き判定部103に送られ、予め決められた判定式により顔向きの方向を判定する。
以下に顔向きの具体的な判定方法の例を示す。上下方向の判定、左右方向の判定、正面方向の判定の順で説明する。
[上下方向の判定]
まず、上下方向の判定方法を、図3および図4を参照しながら説明する。
まず図3に示す両目−口上の三角形における角度(∠LE)304、角度(∠RE)305を計算する(ステップS401)。これらは左目(LE)301、右目(RE)302、口上(UM)303の3点の特徴点座標より容易に算出できる。
まず、上下方向の判定方法を、図3および図4を参照しながら説明する。
まず図3に示す両目−口上の三角形における角度(∠LE)304、角度(∠RE)305を計算する(ステップS401)。これらは左目(LE)301、右目(RE)302、口上(UM)303の3点の特徴点座標より容易に算出できる。
次に、算出した角度(∠LE)304と角度(∠RE)305の平均(以下、両目−口上角度と称する)と、予め決められた上向き閾値および下向き閾値とを比較する(ステップS402、ステップS403)。個人差はあるものの、人間の顔の特性から、上を向いた場合はこの角度が小さくなり、下を向くと大きくなることを利用し、上向き閾値以上であれば上方向(ステップS404)、下向き閾値以下であれば下向きと判定する(ステップS405)。
ここで、一般的には正面状態を予め登録しておき、正面状態の両目−口上角度(∠LE、∠REの平均)と検出された顔画像の両目−口上角度(∠LE、∠REの平均)の差分を計算し、予め決められた正面顔との差分の閾値とを比較して上下向きを判定することで、利用者の身体的特徴の差による検出精度の低下をある程度軽減できる。
[左右方向の判定]
次に、左右方向の判定方法を、図5および図6を参照しながら説明する。
まず、図5(a)に示したように、両目中心(CE)509と、左内眉と目中心のX座標距離:距離(REB.x−CE.x)511を算出する(ステップS601)。
次に、左右方向の判定方法を、図5および図6を参照しながら説明する。
まず、図5(a)に示したように、両目中心(CE)509と、左内眉と目中心のX座標距離:距離(REB.x−CE.x)511を算出する(ステップS601)。
次に、図5(b)、(c)に示したように、距離(CE.x−LEB.x)、距離(REB.x−CE.x)から、以下の式に基づいて左右眉の目中心分割割合を算出する(ステップS602)。これらの距離と割合は、それぞれの特徴点座標から容易に計算できる。
右眉−目中心割合=距離(REB.x−CE.x)÷距離(CE.x−LEB.x)%
左眉−目中心割合=距離(CE.x−LEB.x)÷距離(REB.x−CE.x)%
右眉−目中心割合=距離(REB.x−CE.x)÷距離(CE.x−LEB.x)%
左眉−目中心割合=距離(CE.x−LEB.x)÷距離(REB.x−CE.x)%
この算出結果から、左向きの判定は左眉−目中心割合と左向き判定閾値(例えば160%など)を比較し(ステップS603)、閾値を超えていれば、左向きであるとみなす(ステップS605)。
右向き判定は、同様に右眉−目中心割合と右向き判定閾値(例えば160%など)を比較し(ステップS604)、閾値を超えていれば、右向きであるとみなす(ステップS606)。
[正面方向の判定]
次に、正面方向の判定方法を説明する。
正面方向の判定は、総合判定として、上記で説明した上下/左右の各方向の判定でいずれでもない場合に正面とみなす。
次に、正面方向の判定方法を説明する。
正面方向の判定は、総合判定として、上記で説明した上下/左右の各方向の判定でいずれでもない場合に正面とみなす。
このように判定された顔向き情報は、ポインタ制御部106へ送られ、ポインタ制御部106は、その顔向き情報に従って、ポインタやカーソルを上下左右に移動させる。ポインタ移動の場合は、例えば入力画像毎にその顔向き情報が示す方向に動かす。カーソルの場合は、同じ顔向き情報が画像数分連続したら表示部上のアイコンやメニュー単位に、顔向き情報が示す方向に移動させる。
以上がポインタ操作の動作の説明である。
次に個人差調整の動作について、図7〜図12、図13Aおよび図13Bを参照しながら説明する。ここでは上下方向の調整方法について説明するが、左右方向も動作は同様である。
表示部107に画像入力部101から入力される画像を表示しながら、個人差調整部104は表示部107に、利用者に対して正面状態を撮影するように指示する(ステップS1001)。具体的には図7(a)に示した一例のように、「正面を向いてください」と画面表示する。このとき、顔向き判定の上下判定と同様に、正面状態における両目−口上角度(∠LE、∠REの平均値):∠LE−RE_Neutralを算出し保持する(ステップS1002)。
次に、個人差調整部104は表示部107に、利用者に対して上に向くように指示する(ステップS1003)。具体的には図7(b)に示した一例のように、「上を向いてください」と画面表示する。このとき、利用者は正面状態から上方向を向くが、ここで入力画像を連続して処理し、利用者が上を向き過ぎて特徴点抽出部102が顔部品の特徴点座標を検出できなくなるか(ステップS1004)、一定時間利用者が顔向きを移動させなくなった時点(ステップS1006)の両目−口上角度(∠LE、∠REの平均値):とLE−RE_Upを保持する(ステップS1005)。
さらに個人差調整部104は、利用者に対して下を向くように指示する(ステップS1007)。具体的には図7(c)に示した一例のように、「下を向いてください」と画面表示する。これにより利用者は下方向を向くが、上方向と同様に入力画像を連続して処理し、利用者が下を向き過ぎて特徴点座標を検出できなくなるか(ステップS1008)、一定時間顔向きを変化させなくなった時点(ステップS1010)の両目−口上角度(∠LE、∠REの平均値):∠LE−RE_Downを保持する(ステップS1009)。
これらの一連の操作は、利用者から見ると装置(顔向き判定装置100)の指示に従ってカメラ(画像入力部101)に向かって正面から上・下に顔を向けただけである。
次に閾値の個人差修正の動作を説明する。
顔向き判定部103における上下方向の閾値は予め設計段階で装置と顔が含まれた多くの画像を評価することによって得られた閾値が格納されている。この閾値は、一般的には正面向きと上向き(あるいは下向き)との中間値である(図8の参照符号801)。
顔向き判定部103における上下方向の閾値は予め設計段階で装置と顔が含まれた多くの画像を評価することによって得られた閾値が格納されている。この閾値は、一般的には正面向きと上向き(あるいは下向き)との中間値である(図8の参照符号801)。
これに対して、個人差調整部104は上記手順で得られた正面状態の両目−口上角度:∠LB−RE_Neutral(図8の参照符号803)と、上向き状態の両目−口上角度:∠LE−RE−Up(図8の参照符号802)からその中間値を算出し、個人差情報格納部105へ上向き判定用の修正閾値(図8の参照符号804)として登録する。
上向き判定用修正閾値は次のように表される。
上向き判定用修正閾値=(∠LE−RB_Neutral−∠LE−RE_Up)÷2
上向き判定用修正閾値=(∠LE−RB_Neutral−∠LE−RE_Up)÷2
顔向き判定部103は以降、この登録された閾値を用いて上向き判定を行う。つまり、登録した利用者に最適な閾値を用いて判定することになる。
下向きについても同様に正面状態の両目−口上角度:∠LE−RE_Neutral(図9の参照符号902)と、下向き状態の両目−口上角度:∠LE−RE_Down(図9の参照符号903)からその中間値を算出し、個人差情報格納部105へ下向き判定用の閾値(図9の参照符号904)として登録する。未説明の参照符号901は、図8の参照符号801と同様の初期閾値である。顔向き判定部103は以降、この閾値を用いて下向き判定を行う。
ここで、図9の顔下向きの閾値の補正について、さらに説明する。特に、図9に示したように、利用者の顔向きが正面から下向きに移動するとき、両目−口上角度が大きくなっていく理由について、図10〜図12を参照しながら詳細に説明する。
利用者に正面を向くという行為を行わせたとき、人間の顔を横から見たときの目の中心(黒目)と唇の上の点の位置関係は、多くの人が目中心より口上が前(人間から見て正面方向)に突出している。従って、正面から下方向を向くと、図10に示したように、両目−口上の三角形は縦方向に伸びる変化をする。すなわち、図10において、角度A<角度Bとなる。
また、本実施形態で想定しているポインタのコントロールなどでは、装置の画面を見たままの操作であるため、通常、人間は正面を見ているときより、下を向いたときの方が黒目がかなり上を向くように移動する。口の上の点は特に上方向の動きはないため、図11に示したように、両目−口上の三角形は縦方向に伸びる変化をする。すなわち、図11において、角度C<角度Dとなる。
また、携帯電話などの携帯端末装置での利用を前提とした場合に、装置を手に持ち、装置のインカメラを自分に向けて画面を見る姿勢をとると、図12に示したように、インカメラと顔の相対的な位置関係はほとんどの場合、カメラが顔の真正面より下になる。その結果、図10に示した横から見たときの目中心と口上との関係で、正面状態がより傾斜を持つことになる。すなわち、図10、図12に示したように、角度a<角度Aであり、角度a<角度A<角度Bとなる。
以上の理由から、利用者の顔向きが正面から下向きに移動すると両目−口上角度が大きくなる結果となる。ただし、口の上の点だけだと個人差もあり十分な精度が出ないこともあるため、他の特徴点(例えば、鼻の特徴点など)を併用するようにしてもよい。
以上、上下方向の個人差調整について説明したが、左右方向の個人差調整についても同様である。利用者に右、左を向かせてそれぞれの目中心−右眉水平距離(および目中心−左眉水平距離)を保持し、中間値を閾値として登録することで、その利用者にとって最適な閾値で顔向き判定を行う。また、本実施形態では上下方向と左右方向の個人差調整を別々に行う場合について説明したが、上下左右まとめて行ってもよい。
以上、本実施形態にかかる顔向き検出装置100について説明した。かかる顔向き検出装置100は、コンピュータに上記機能を実現するためのコンピュータプログラムを組み込むことで、コンピュータを顔向き検出装置100として機能させることが可能である。かかるコンピュータプログラムは、所定の記録媒体(例えば、CD−ROM)に記録された形で、あるいは、電子ネットワークを介したダウンロードの形で市場を流通させることが可能である。ここでいうコンピュータには、携帯電話などの小機器も当然に含まれる。
(本実施形態の効果)
以上のように、本実施形態によれば、利用者に対して正面および各方向の顔向きの動作、すなわち顔向きを検出してポインタを操作する非接触インタフェースが持つ検出動作を一通り行わせ、その時の特徴点の状態を検出し、それぞれの検出動作について、利用者に最適な検出の閾値を算出し、閾値を更新する制御部を設けることで、利用者の個人差を加味した顔向き検出を行うことができるため、装置の製造コストを上げることなく、利用者が容易に顔向き検出の精度の向上させることが期待できる。
以上のように、本実施形態によれば、利用者に対して正面および各方向の顔向きの動作、すなわち顔向きを検出してポインタを操作する非接触インタフェースが持つ検出動作を一通り行わせ、その時の特徴点の状態を検出し、それぞれの検出動作について、利用者に最適な検出の閾値を算出し、閾値を更新する制御部を設けることで、利用者の個人差を加味した顔向き検出を行うことができるため、装置の製造コストを上げることなく、利用者が容易に顔向き検出の精度の向上させることが期待できる。
以上、添付図面を参照しながら本発明にかかる顔向き検出装置および顔向き検出方法の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、上記実施形態では、閾値のよる顔向き判定によるポインタ操作を行う装置に適用した例を説明したが、顔向き角度を画面上の座標に変換するマウスポインタ操作を行う装置にも適用可能である。その際は、閾値を補正するのではなく、顔向き角度を座標に変換する関数(例えば変換式や変換テーブル)を個人差情報によって修正する。
上記実施形態では、顔向き検出の判定方法として、上下方向は両目−口上角度を、左右方向は左眉(右眉)−両目中心割合を利用した例を説明したが、両目−鼻や、口中心−口端角度など、その他の顔特徴点と判定式を利用しても同様に適用できる。
上記実施形態では、利用者に個人差調整の特徴点取得を指示するために文字の表示を用いていたが、例えば図14に示したように、矢印記号や矢印を模した図形、画像を用いてもよい。図14(a)は黒塗りの三角形“▲”で正面を向くよう指示したものであり、図14(b)は黒塗りの三角形“▲”で上を向くよう指示したものであり、図14(c)は手の図形で下を向くよう指示したものである。
また、利用者の各顔向きの動作が不適正なもの(向き過ぎ)である場合に、例えば図15に示したように、利用者に警告を発するようにしてもよい。図15(a)は警告音で利用者に警告を発するものであり、図15(b)は警告画面(記号)の表示で利用者に警告を発するものである。
上記実施形態では、利用者の個人差情報を取得するための手順として、顔向き方向を指示して各方向を向いてもらう手順のみ説明したが、本発明はこれに限定されない。例えば、利用者が顔の向きを変えていく過程で特徴点検出限界を超えたときに、一旦個人差による閾値修正を行った後に利用者に操作感を確認させ、不適切な場合は再度個人差調整を実施、あるいは利用者に大まかに修正閾値を変更させることも可能である。図16、図17は、このような調整後の確認操作の一例を示す説明図である。
図16は、閾値を超えるとポイントが動いて、方向を示す記号、図形などが表示・点滅する場合を示す説明図である。上向き1302の画面例では、利用者が上を向いて閾値を超えると、ポインタ1302aが上に動くとともに、方向を示す記号1302bが表示あるいは点滅する。正面向き1301、左向き1303、右向き1304、下向き1305についても同様である。
図17は、閾値を超える方向を示す記号、図形などが表示・点滅される状態を示す説明図である。上向き1402の画面例では、角度と閾値を示すスケール(上下と左右の2軸)1406と、今向いている方向がどの程度かを示すマーカ1408と、閾値を示す枠1407とをリアルタイムに表示している。利用者は、マーカの移動を見ながら顔向きの間隔を学習できる。閾値の変更も、閾値を示す枠1407を見ながら変更することができる。正面向き1401、左向き1403、右向き1404、下向き1405についても同様である。
また、顔向き操作中にカメラからの入力画像の表示上に特徴点を重畳表示させたり、特徴点限界を超えたときに、入力画像上に重畳表示した特徴点の形状や色を変化させたりするなど、個人差情報を取得する際に利用者の利便性、認識性を向上させる様々な仕組みと組み合わせることで、より確実に、容易に個人差調整を行うことができる。図18は、このような調整後の確認操作の一例を示す説明図である。図18(a)は、向き過ぎでない状態を示しており、特徴点が顔に乗っている。図18(b)は、上向きでかつ向き過ぎでない状態を示しており、特徴点が顔に乗っている。図18(c)は、上向きでかつ向き過ぎた場合を示しており、特徴点を正面状態の位置に“×”印で表示している。
また、上記実施形態では、利用者の個人差情報を取得するための手順として、上下左右を一度だけ向いてもらう例を説明したが、個人差情報の取得精度を高めるために、複数回各方向を向いてもらい、その平均値や取得した複数の値の中央値を修正閾値として採用することもできる。
また、上記実施形態では、顔向き判定部103により判定された顔向きに応じて、表示部装置107上に表示されるポインタを制御するポインタ制御部106を例に挙げて説明したが、ポインタのほかにも、顔向き判定部103により判定された顔向きに応じて表示装置107の画面のスクロールや、表示装置に表示されるキャラクター(例えばゲームの自機など)の移動などにも本発明を利用することができる。
本発明は、顔向き検出装置および顔向き検出方法に利用可能であり、特に、入力画像から利用者の顔部分の特徴点を検出し、その顔向きを判別することによってポインタを操作する非接触インタフェースに用いられる顔向き検出装置および顔向き検出方法に利用可能である。
100 顔向き検出装置
101 画像入力部
102 特徴点抽出部
103 顔向き判定部
104 個人差調整部
105 個人差情報格納部
106 ポインタ制御部
107 表示部
101 画像入力部
102 特徴点抽出部
103 顔向き判定部
104 個人差調整部
105 個人差情報格納部
106 ポインタ制御部
107 表示部
Claims (9)
- 情報処理装置の利用者の顔向きを判定して該情報処理装置のアプリケーションで利用するための顔向き判定装置において、
利用者の顔を画像として入力する画像入力部と、
前記画像から、利用者の顔の特徴点を抽出する特徴点抽出部と、
所定の閾値に基づいて前記特徴点から利用者の顔向きを判定し、アプリケーションに情報を送信する顔向き判定部と、
利用者ごとの各顔向きについて個人差を調整するための個人差情報を取得する個人差調整部と、
前記閾値を前記個人差情報を用いて更新して利用者ごとに登録する個人差情報格納部と、
を備えたことを特徴とする、顔向き判定装置。 - さらに、
各種情報を表示する表示部と、
前記顔向き判定部により判定された顔向きに応じて、前記表示部上に表示されるポインタを制御するポインタ制御部と、
を備えたことを特徴とする、請求項1に記載の顔向き判定装置。 - 前記個人差調整部は、
前記利用者に対して各顔向きの動作を一通り行わせるための指示を出し、
前記画像入力部から入力される各顔向きの画像から前記個人差情報を取得することを特徴とする、請求項1または2に記載の顔向き判定装置。 - 前記個人差調整部は、
前記利用者に対して各顔向きの動作を一通り行わせるための指示を出すにあたり、各種情報を表示する表示部に図形または画像で指示を出すことを特徴とする、請求項3に記載の顔向き判定装置。 - 前記個人差調整部は、
前記利用者の各顔向きの動作が不適正なものである場合に、前記利用者に警告を発することを特徴とする、請求項3または4に記載の顔向き判定装置。 - 利用者の顔向きを判定する顔向き判定方法において、
利用者の顔を画像として入力する画像入力工程と、
前記画像から、利用者の顔の特徴点を抽出する特徴点抽出工程と、
所定の閾値に基づいて前記特徴点から利用者の顔向きを判定する顔向き判定工程と、
利用者ごとの各顔向きについて個人差を調整するための個人差情報を取得する個人差調整工程と、
前記閾値を前記個人差情報を用いて更新して利用者ごとに登録する個人差情報格納工程と、
を含むことを特徴とする、顔向き判定方法。 - 前記個人差調整工程は、
前記利用者に対して各顔向きの動作を一通り行わせるための指示を出す工程と、
前記画像入力部から入力される各顔向きの画像から前記個人差情報を取得する工程と、
を含むことを特徴とする、請求項6に記載の顔向き判定方法。 - 前記利用者に対して各顔向きの動作を一通り行わせるための指示を出す工程において、
各種情報を表示する表示部に図形または画像で指示を出すことを特徴とする、請求項7に記載の顔向き判定方法。 - 前記個人差調整工程において、
前記利用者の各顔向きの動作が不適正なものである場合に、前記利用者に警告を発することを特徴とする、請求項7または8に記載の顔向き判定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007019335A JP2008186247A (ja) | 2007-01-30 | 2007-01-30 | 顔向き検出装置および顔向き検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007019335A JP2008186247A (ja) | 2007-01-30 | 2007-01-30 | 顔向き検出装置および顔向き検出方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008186247A true JP2008186247A (ja) | 2008-08-14 |
Family
ID=39729243
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007019335A Abandoned JP2008186247A (ja) | 2007-01-30 | 2007-01-30 | 顔向き検出装置および顔向き検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008186247A (ja) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010049578A (ja) * | 2008-08-22 | 2010-03-04 | Seiko Epson Corp | 画像処理装置、画像処理方法および画像処理プログラム |
JP2010230651A (ja) * | 2009-03-27 | 2010-10-14 | Utechzone Co Ltd | 視線追跡方法及び視線追跡システム |
US8515180B2 (en) | 2009-12-28 | 2013-08-20 | Canon Kabushiki Kaisha | Image data correction apparatus and method using feature points vector data |
JP2014123322A (ja) * | 2012-12-21 | 2014-07-03 | Casio Comput Co Ltd | 情報報知装置、情報報知方法及びプログラム |
WO2015001791A1 (ja) * | 2013-07-03 | 2015-01-08 | パナソニックIpマネジメント株式会社 | 物体認識装置及び物体認識方法 |
JP2015087824A (ja) * | 2013-10-28 | 2015-05-07 | オムロン株式会社 | 画面操作装置および画面操作方法 |
US9063574B1 (en) | 2012-03-14 | 2015-06-23 | Amazon Technologies, Inc. | Motion detection systems for electronic devices |
US9123272B1 (en) | 2011-05-13 | 2015-09-01 | Amazon Technologies, Inc. | Realistic image lighting and shading |
US9223415B1 (en) | 2012-01-17 | 2015-12-29 | Amazon Technologies, Inc. | Managing resource usage for task performance |
US9285895B1 (en) | 2012-03-28 | 2016-03-15 | Amazon Technologies, Inc. | Integrated near field sensor for display devices |
US9304583B2 (en) | 2008-11-20 | 2016-04-05 | Amazon Technologies, Inc. | Movement recognition as input mechanism |
US10088924B1 (en) | 2011-08-04 | 2018-10-02 | Amazon Technologies, Inc. | Overcoming motion effects in gesture recognition |
JP2019083015A (ja) * | 2017-10-31 | 2019-05-30 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、及びその制御方法、プログラム |
JPWO2018230510A1 (ja) * | 2017-06-13 | 2020-04-16 | ソニー株式会社 | 画像処理装置、画像処理方法および撮像システム |
US11199906B1 (en) | 2013-09-04 | 2021-12-14 | Amazon Technologies, Inc. | Global user input management |
-
2007
- 2007-01-30 JP JP2007019335A patent/JP2008186247A/ja not_active Abandoned
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8355602B2 (en) | 2008-08-22 | 2013-01-15 | Seiko Epson Corporation | Image processing apparatus, image processing method and image processing program |
JP2010049578A (ja) * | 2008-08-22 | 2010-03-04 | Seiko Epson Corp | 画像処理装置、画像処理方法および画像処理プログラム |
US9304583B2 (en) | 2008-11-20 | 2016-04-05 | Amazon Technologies, Inc. | Movement recognition as input mechanism |
JP2010230651A (ja) * | 2009-03-27 | 2010-10-14 | Utechzone Co Ltd | 視線追跡方法及び視線追跡システム |
US8515180B2 (en) | 2009-12-28 | 2013-08-20 | Canon Kabushiki Kaisha | Image data correction apparatus and method using feature points vector data |
US9123272B1 (en) | 2011-05-13 | 2015-09-01 | Amazon Technologies, Inc. | Realistic image lighting and shading |
US10088924B1 (en) | 2011-08-04 | 2018-10-02 | Amazon Technologies, Inc. | Overcoming motion effects in gesture recognition |
US9223415B1 (en) | 2012-01-17 | 2015-12-29 | Amazon Technologies, Inc. | Managing resource usage for task performance |
US9471153B1 (en) | 2012-03-14 | 2016-10-18 | Amazon Technologies, Inc. | Motion detection systems for electronic devices |
US9063574B1 (en) | 2012-03-14 | 2015-06-23 | Amazon Technologies, Inc. | Motion detection systems for electronic devices |
US9285895B1 (en) | 2012-03-28 | 2016-03-15 | Amazon Technologies, Inc. | Integrated near field sensor for display devices |
US9652083B2 (en) | 2012-03-28 | 2017-05-16 | Amazon Technologies, Inc. | Integrated near field sensor for display devices |
JP2014123322A (ja) * | 2012-12-21 | 2014-07-03 | Casio Comput Co Ltd | 情報報知装置、情報報知方法及びプログラム |
WO2015001791A1 (ja) * | 2013-07-03 | 2015-01-08 | パナソニックIpマネジメント株式会社 | 物体認識装置及び物体認識方法 |
JP6052751B2 (ja) * | 2013-07-03 | 2016-12-27 | パナソニックIpマネジメント株式会社 | 物体認識装置及び物体認識方法 |
US11199906B1 (en) | 2013-09-04 | 2021-12-14 | Amazon Technologies, Inc. | Global user input management |
JP2015087824A (ja) * | 2013-10-28 | 2015-05-07 | オムロン株式会社 | 画面操作装置および画面操作方法 |
JPWO2018230510A1 (ja) * | 2017-06-13 | 2020-04-16 | ソニー株式会社 | 画像処理装置、画像処理方法および撮像システム |
JP2019083015A (ja) * | 2017-10-31 | 2019-05-30 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、及びその制御方法、プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008186247A (ja) | 顔向き検出装置および顔向き検出方法 | |
US11231845B2 (en) | Display adaptation method and apparatus for application, and storage medium | |
US8350896B2 (en) | Terminal apparatus, display control method, and display control program | |
US10257423B2 (en) | Method and system for determining proper positioning of an object | |
US9651782B2 (en) | Wearable tracking device | |
EP3241093B1 (en) | Electronic system with gesture calibration mechanism and method of operation thereof | |
CN114080585A (zh) | 在人工现实环境中使用***设备的虚拟用户界面 | |
WO2014016987A1 (ja) | 3次元ユーザインタフェース装置及び3次元操作方法 | |
WO2012011263A1 (ja) | ジェスチャ入力装置およびジェスチャ入力方法 | |
US9544556B2 (en) | Projection control apparatus and projection control method | |
US20160012612A1 (en) | Display control method and system | |
US20150241984A1 (en) | Methods and Devices for Natural Human Interfaces and for Man Machine and Machine to Machine Activities | |
EP3859489A1 (en) | Gesture-based manipulation method and terminal device | |
JP2013156889A (ja) | 移動制御装置、移動制御装置の制御方法、及びプログラム | |
JP6805524B2 (ja) | 入力装置、入力プログラム、及び入力方法 | |
JP2019061590A (ja) | 情報処理装置、情報処理システム及びプログラム | |
CN114241604A (zh) | 姿态检测的方法、装置、电子设备和存储介质 | |
CN109618055A (zh) | 一种位置共享方法及移动终端 | |
US20210005014A1 (en) | Non-transitory computer-readable medium, image processing method, and image processing system | |
JP6587364B2 (ja) | プログラムおよび画像表示システム | |
JP6413521B2 (ja) | 表示制御方法、情報処理プログラム、及び情報処理装置 | |
CN115002443B (zh) | 图像采集的处理方法、装置、电子设备及存储介质 | |
US11960660B2 (en) | Terminal device, virtual object manipulation method, and virtual object manipulation program | |
WO2023036810A1 (en) | Method for detecting user input to a breath input configured user interface | |
US20230222738A1 (en) | Information processing apparatus, information processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091214 |
|
A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20100812 |