JP2008186247A - 顔向き検出装置および顔向き検出方法 - Google Patents

Abstract

【課題】携帯機器などの小機器であっても、２次元の特徴点座標から顔向きを検出する場合に、個人差による検出精度への影響を軽減し、十分な検出精度を得ることの可能な顔向き検出装置を提供する。
【解決手段】顔向き判定装置１００は、利用者の顔を画像として入力する画像入力部１０１と、画像から、利用者の顔の特徴点を抽出する特徴点抽出部１０２と、特徴点から所定の閾値に基づいて利用者の顔向きを判定する顔向き判定部１０３と、利用者ごとの各顔向きについて個人差を調整するための個人差情報を取得する個人差調整部１０４と、閾値を個人差情報を用いて更新して利用者ごとに登録する個人差情報格納部１０５と、を備えたことを特徴とする。閾値を更新することで、利用者の個人差を加味した顔向き検出を行うことができる。
【選択図】図１

Description

本発明は、顔向き検出装置および顔向き検出方法にかかり、特に、入力画像から利用者の顔部分の特徴点を検出し、その顔向きを判別することによってポインタを操作する非接触インタフェースに用いられる顔向き検出装置および顔向き検出方法に関する。

近年、非接触インタフェースの技術が一般的になってきており、例えばカメラ等から入力した画像から利用者の顔の向きや視線の方向を検出することで装置を操作する方法が数多く提案されている。顔向きを検出する方法には、大別すると各方向の顔画像のパターンをテンプレートとして入力画像とマッチングを行う方法と、顔部品（目、口、鼻など）の顔の特徴点を検出してから幾何学的に顔向きを検出する方法がある。

前者の方法は、精度を高めるためには非常に多くのデータ処理、計算処理を行う必要があるため、リアルタイム性を必要とするポインタ操作等に用いるには不適であり、特に携帯端末などの処理性能が非力な装置には適用できない。

後者の方法は、比較的精度が上げやすい。特に物体の３次元形状を比較的簡単な計算で扱う因子分解法を用いることで、精度の高い顔向きが得られる方法が提案されている（例えば、特許文献１参照。）。しかし、因子分解法を用いる方法は、現在の携帯端末、例えば携帯電話などに適用するには、入力画像の解像度と画質、端末の処理性能を考慮すると、十分な精度・性能が得られない。そのため、そのような機器で顔向き検出を用いた非接触インタフェースを実現するために、単純に２次元的ないくつかの顔特徴点の座標計算のみを利用するか、あるいは２次元特徴点座標と顔領域の抽出との併用で顔向きを判断する方法が提案されている（例えば、特許文献２〜４参照。）。

特許第３８２２４８３号公報 特開平４−２８１５７８号公報 特開平１０−２７４５１６号公報 特開平１１−２８１６６１号公報 特許第２５７０９６６号公報

しかしながら、２次元の特徴点座標から顔向きを検出する場合、個人差による検出精度への影響が大きく、十分な検出精度を得ることが難しいという問題がある。そのため、例えば特許文献５では、利用者の個人差、すなわち身体的特徴をあらかじめ測定し、補正する手段を設けることを提案している。

しかし、特許文献５では、その個人差の取得手段が機械的な取得であることを示唆する記載があるのみで、実現手段が提示されていなかった。また、機械的な手段によって身体的な特徴の差を取得することは、利用者にとっては測定作業が煩雑あり、容易に使用できるというものではなかった。さらに携帯機器などの小機器では、装置の製造コストの観点や、容積・重量の観点から、機械的な測定手段を持つことも困難であるという課題があった。

本発明は、上記背景技術が有する問題点に鑑みてなされたものであり、本発明の目的は、携帯機器などの小機器であっても、２次元の特徴点座標から顔向きを検出する場合に、個人差による検出精度への影響を軽減し、十分な検出精度を得ることの可能な、新規かつ改良された顔向き検出装置および顔向き検出方法を提供することである。

上記課題を解決するため、本発明の第１の観点によれば情報処理装置の利用者の顔向きを判定して該情報処理装置のアプリケーションで利用するための顔向き判定装置が提供される。本発明の顔向き判定装置（１００）は、利用者の顔を画像として入力する画像入力部（１０１）と、前記画像から、利用者の顔の特徴点を抽出する特徴点抽出部（１０２）と、所定の閾値に基づいて前記特徴点から利用者の顔向きを判定し、アプリケーションに情報を送信する顔向き判定部（１０３）と、利用者ごとの各顔向きについて個人差を調整するための個人差情報を取得する個人差調整部（１０４）と、前記閾値を前記個人差情報を用いて更新して利用者ごとに登録する個人差情報格納部（１０５）と、を備えたことを特徴とする（請求項１）。

さらに、各種情報を表示する表示部（１０７）と、前記顔向き判定部により判定された顔向きに応じて、前記表示部上に表示されるポインタを制御するポインタ制御部（１０６）と、を備えて構成することができる（請求項２）。

かかる構成によれば、利用者に対して正面および各方向の顔向きの動作、すなわち顔向きを検出してポインタ等を操作する非接触インタフェースが持つ検出動作を一通り行わせ、その時の特徴点の状態を検出し、それぞれの検出動作について、利用者に最適な検出の閾値を算出し、閾値を更新する制御部を設けることで、利用者の個人差を加味した顔向き検出を行うことができるため、装置の製造コストを上げることなく、利用者が容易に顔向き検出の精度の向上させることが期待できる。ポインタのほかにも、顔向き判定部により判定された顔向きに応じて表示装置の画面のスクロールや、表示部に表示されるキャラクター（例えばゲームの自機など）の移動などにも利用することができる。

なお上記において、構成要素に付随して括弧書きで記した参照符号は、説明の便宜のために、後述の実施形態および図面における対応する構成要素を一例として記したに過ぎず、本発明がこれに限定されるものではない。以下も同様である。

本発明の顔向き判定装置においてはさまざまな応用が可能であるが、そのいくつかの例を挙げれば以下の通りである。

前記個人差調整部（１０４）は、前記利用者に対して各顔向きの動作を一通り行わせるための指示を出し、前記画像入力部から入力される各顔向きの画像から前記個人差情報を取得するようにしてもよい（請求項４）。

前記個人差調整部（１０４）は、前記利用者に対して各顔向きの動作を一通り行わせるための指示を出すにあたり、各種情報を表示する表示部（１０７）に図形または画像で指示を出すようにしてもよい（請求項５）。

前記個人差調整部（１０４）は、前記利用者の各顔向きの動作が不適正なもの（向き過ぎ）である場合に、前記利用者に警告（警告音、警告画面の表示など）を発するようにしてもよい（請求項６）。

上記課題を解決するため、本発明の第２の観点によれば、利用者の顔向きを判定する顔向き判定方法が提供される。本発明の顔向き判定方法は、利用者の顔を画像として入力する画像入力工程と、前記画像から、利用者の顔の特徴点を抽出する特徴点抽出工程と、所定の閾値に基づいて前記特徴点から利用者の顔向きを判定する顔向き判定工程と、利用者ごとの各顔向きについて個人差を調整するための個人差情報を取得する個人差調整工程と、前記閾値を前記個人差情報を用いて更新して利用者ごとに登録する個人差情報格納工程と、を含むことを特徴とする（請求項７）。

かかる方法によれば、利用者に対して正面および各方向の顔向きの動作、すなわち顔向きを検出してポインタ等を操作する非接触インタフェースが持つ検出動作を一通り行わせ、その時の特徴点の状態を検出し、それぞれの検出動作について、利用者に最適な検出の閾値を算出し、閾値を更新する制御部を設けることで、利用者の個人差を加味した顔向き検出を行うことができるため、装置の製造コストを上げることなく、利用者が容易に顔向き検出の精度の向上させることが期待できる。

本発明の顔向き判定方法においてもさまざまな応用が可能であるが、そのいくつかの例を挙げれば以下の通りである。

前記個人差調整工程は、前記利用者に対して各顔向きの動作を一通り行わせるための指示を出す工程と、前記画像入力部から入力される各顔向きの画像から前記個人差情報を取得する工程と、を含むようにしてもよい（請求項８）。

前記利用者に対して各顔向きの動作を一通り行わせるための指示を出す工程において、各種情報を表示する表示部に図形または画像で指示を出すようにしてもよい（請求項９）。

前記個人差調整工程において、前記利用者の各顔向きの動作が不適正なもの（向き過ぎ）である場合に、前記利用者に警告（警告音、警告画面の表示など）を発するようにしてもよい（請求項１０）。

また、本発明の他の観点によれば、コンピュータを、上記本発明の第１の観点にかかる顔向き検出装置として機能させるためのプログラムと、そのプログラムを記録した、コンピュータにより読み取り可能な記録媒体が提供される。ここで、プログラムはいかなるプログラム言語により記述されていてもよい。また、記録媒体としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フレキシブルディスク、フラッシュメモリ、携帯端末装置の内蔵メモリなど、プログラムを記録可能な記録媒体として現在一般に用いられている記録媒体、あるいは将来用いられるいかなる記録媒体をも採用することができる。

以上のように、本発明によれば、携帯機器などの小機器であっても、２次元の特徴点座標から顔向きを検出する場合に、個人差による検出精度への影響を軽減し、十分な検出精度を得ることが可能である。その他の本発明の優れた効果については、以下の発明を実施するための最良の形態の説明においても説明する。

以下に添付図面を参照しながら、本発明にかかる顔向き検出装置および顔向き検出方法の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

図１は、本発明の一実施形態の構成を示す説明図である。本実施形態では、顔向きを正面・上・下・左・右の５つの方向に判定し、ポインタをその方向に動かす（正面の場合は動かさない）場合を例に挙げて説明する。

本実施形態にかかる顔向き検出装置１００は、図１に示したように、画像入力部１０１と、特徴点抽出部１０２と、顔向き判定部１０３と、個人差調整部１０４と、個人差情報格納部１０５と、ポインタ制御部１０６と、表示部１０７を含んで構成されている。なお、本実施形態の説明に直接関係がない、様々な機能を実現するための処理部や接続関係は説明および図示を省略する。以下、各構成要素について詳細に説明する。

画像入力部１０１は、利用者の顔が含まれた画像を連続した複数の画像としてリアルタイムに取得する処理部であり、例えばカメラデバイスである。取得した画像は特徴点抽出部１０２へ送られる。

特徴点抽出部１０２は、画像入力部１０１より入力された画像から、画像ごとに顔領域および顔部品（例えば、目、口、鼻、眉毛など）の位置を特定し、それぞれの特徴点の位置を２次元の座標として抽出する処理部である。抽出した特徴点座標は顔向き判定部１０３および個人差調整部１０４へ送られる。

顔向き判定部１０３は、得られた特徴点座標と予め決められた顔向き判定式により、顔の向きを正面・上・下・左・右のいずれかとして判定し、その結果を顔向き情報として出力する処理部である。顔向き情報はポインタ制御部１０６へ送る。

個人差調整部１０４は、利用者の身体的特徴を抽出するために、表示部１０７を使って対話的に利用者へ個人差情報の測定を行わせ、抽出した個人差情報を個人差情報格納部１０５へ登録する処理部である。

個人差情報格納部１０５は、利用者が一旦個人差情報を登録した以降、顔向き判定部１０３の顔向き判定式にその個人差の修正を加える処理部である。

ポインタ制御部１０６は、顔向き判定部１０３の結果に基づき、ポインタを移動させる制御部である。

表示部１０７は、ポインタ制御部１０６から得たポインタの移動結果の表示や個人差調整部１０４に従って、利用者に対して個人差情報取得のための指示情報を表示する。また、装置が持つその他の機能に必要な情報を表示する。

本実施形態は以上のように構成されている。以下に本実施形態の動作について説明する。

（本実施形態の動作）
まず、ポインタ操作の動作を説明する。

利用者がカメラの前に自分の顔をかざすと、画像入力部１０１から利用者の顔が含まれた画像がリアルタイムに特徴点抽出部１０２に送られる。特徴点抽出部１０２は、入力された画像から顔領域と顔部品を抽出し、それぞれの顔部品の特徴点座標として出力する。この顔部品探索の方法には、例えば、特開２００３−２８１５３９号公報「顔部品探索装置および顔部品探索方法」に開示された技術を用いることが可能である。

図２は、抽出特徴点の一例を示す説明図である。図２に示した一例では、左目（ＬＥ）２０１、右目（ＲＥ）２０２、鼻（ＵＭ）２０３，口右端（ＲＭ）２０４，口下（ＤＭ）２０５、口左端（ＬＭ）２０６、左眉（ＬＥＢ）２０７、右眉（ＲＥＢ）２０８を特徴点の例として示しているが、これら特徴点をすべて抽出する必要はなく、任意のものを抽出することができる。また、顔の他の箇所を特徴点として設定してもよい。本実施形態では、図２の“×”印に示す「眉２点、目２点、口４点」（参照符号２０１〜２０８）を特徴点として抽出するものとする。

特徴点抽出部１０２で抽出された特徴点座標は顔向き判定部１０３に送られ、予め決められた判定式により顔向きの方向を判定する。

以下に顔向きの具体的な判定方法の例を示す。上下方向の判定、左右方向の判定、正面方向の判定の順で説明する。

［上下方向の判定］
まず、上下方向の判定方法を、図３および図４を参照しながら説明する。
まず図３に示す両目−口上の三角形における角度（∠ＬＥ）３０４、角度（∠ＲＥ）３０５を計算する（ステップＳ４０１）。これらは左目（ＬＥ）３０１、右目（ＲＥ）３０２、口上（ＵＭ）３０３の３点の特徴点座標より容易に算出できる。

次に、算出した角度（∠ＬＥ）３０４と角度（∠ＲＥ）３０５の平均（以下、両目−口上角度と称する）と、予め決められた上向き閾値および下向き閾値とを比較する（ステップＳ４０２、ステップＳ４０３）。個人差はあるものの、人間の顔の特性から、上を向いた場合はこの角度が小さくなり、下を向くと大きくなることを利用し、上向き閾値以上であれば上方向（ステップＳ４０４）、下向き閾値以下であれば下向きと判定する（ステップＳ４０５）。

ここで、一般的には正面状態を予め登録しておき、正面状態の両目−口上角度（∠ＬＥ、∠ＲＥの平均）と検出された顔画像の両目−口上角度（∠ＬＥ、∠ＲＥの平均）の差分を計算し、予め決められた正面顔との差分の閾値とを比較して上下向きを判定することで、利用者の身体的特徴の差による検出精度の低下をある程度軽減できる。

［左右方向の判定］
次に、左右方向の判定方法を、図５および図６を参照しながら説明する。
まず、図５（ａ）に示したように、両目中心（ＣＥ）５０９と、左内眉と目中心のＸ座標距離：距離（ＲＥＢ．ｘ−ＣＥ．ｘ）５１１を算出する（ステップＳ６０１）。

次に、図５（ｂ）、（ｃ）に示したように、距離（ＣＥ．ｘ−ＬＥＢ．ｘ）、距離（ＲＥＢ．ｘ−ＣＥ．ｘ）から、以下の式に基づいて左右眉の目中心分割割合を算出する（ステップＳ６０２）。これらの距離と割合は、それぞれの特徴点座標から容易に計算できる。
右眉−目中心割合＝距離（ＲＥＢ．ｘ−ＣＥ．ｘ）÷距離（ＣＥ．ｘ−ＬＥＢ．ｘ）％
左眉−目中心割合＝距離（ＣＥ．ｘ−ＬＥＢ．ｘ）÷距離（ＲＥＢ．ｘ−ＣＥ．ｘ）％

この算出結果から、左向きの判定は左眉−目中心割合と左向き判定閾値（例えば１６０％など）を比較し（ステップＳ６０３）、閾値を超えていれば、左向きであるとみなす（ステップＳ６０５）。

右向き判定は、同様に右眉−目中心割合と右向き判定閾値（例えば１６０％など）を比較し（ステップＳ６０４）、閾値を超えていれば、右向きであるとみなす（ステップＳ６０６）。

［正面方向の判定］
次に、正面方向の判定方法を説明する。
正面方向の判定は、総合判定として、上記で説明した上下／左右の各方向の判定でいずれでもない場合に正面とみなす。

このように判定された顔向き情報は、ポインタ制御部１０６へ送られ、ポインタ制御部１０６は、その顔向き情報に従って、ポインタやカーソルを上下左右に移動させる。ポインタ移動の場合は、例えば入力画像毎にその顔向き情報が示す方向に動かす。カーソルの場合は、同じ顔向き情報が画像数分連続したら表示部上のアイコンやメニュー単位に、顔向き情報が示す方向に移動させる。

以上がポインタ操作の動作の説明である。

次に個人差調整の動作について、図７〜図１２、図１３Ａおよび図１３Ｂを参照しながら説明する。ここでは上下方向の調整方法について説明するが、左右方向も動作は同様である。

表示部１０７に画像入力部１０１から入力される画像を表示しながら、個人差調整部１０４は表示部１０７に、利用者に対して正面状態を撮影するように指示する（ステップＳ１００１）。具体的には図７（ａ）に示した一例のように、「正面を向いてください」と画面表示する。このとき、顔向き判定の上下判定と同様に、正面状態における両目−口上角度（∠ＬＥ、∠ＲＥの平均値）：∠ＬＥ−ＲＥ＿Ｎｅｕｔｒａｌを算出し保持する（ステップＳ１００２）。

次に、個人差調整部１０４は表示部１０７に、利用者に対して上に向くように指示する（ステップＳ１００３）。具体的には図７（ｂ）に示した一例のように、「上を向いてください」と画面表示する。このとき、利用者は正面状態から上方向を向くが、ここで入力画像を連続して処理し、利用者が上を向き過ぎて特徴点抽出部１０２が顔部品の特徴点座標を検出できなくなるか（ステップＳ１００４）、一定時間利用者が顔向きを移動させなくなった時点（ステップＳ１００６）の両目−口上角度（∠ＬＥ、∠ＲＥの平均値）：とＬＥ−ＲＥ＿Ｕｐを保持する（ステップＳ１００５）。

さらに個人差調整部１０４は、利用者に対して下を向くように指示する（ステップＳ１００７）。具体的には図７（ｃ）に示した一例のように、「下を向いてください」と画面表示する。これにより利用者は下方向を向くが、上方向と同様に入力画像を連続して処理し、利用者が下を向き過ぎて特徴点座標を検出できなくなるか（ステップＳ１００８）、一定時間顔向きを変化させなくなった時点（ステップＳ１０１０）の両目−口上角度（∠ＬＥ、∠ＲＥの平均値）：∠ＬＥ−ＲＥ＿Ｄｏｗｎを保持する（ステップＳ１００９）。

これらの一連の操作は、利用者から見ると装置（顔向き判定装置１００）の指示に従ってカメラ（画像入力部１０１）に向かって正面から上・下に顔を向けただけである。

次に閾値の個人差修正の動作を説明する。
顔向き判定部１０３における上下方向の閾値は予め設計段階で装置と顔が含まれた多くの画像を評価することによって得られた閾値が格納されている。この閾値は、一般的には正面向きと上向き（あるいは下向き）との中間値である（図８の参照符号８０１）。

これに対して、個人差調整部１０４は上記手順で得られた正面状態の両目−口上角度：∠ＬＢ−ＲＥ＿Ｎｅｕｔｒａｌ（図８の参照符号８０３）と、上向き状態の両目−口上角度：∠ＬＥ−ＲＥ−Ｕｐ（図８の参照符号８０２）からその中間値を算出し、個人差情報格納部１０５へ上向き判定用の修正閾値（図８の参照符号８０４）として登録する。

上向き判定用修正閾値は次のように表される。
上向き判定用修正閾値＝（∠ＬＥ−ＲＢ＿Ｎｅｕｔｒａｌ−∠ＬＥ−ＲＥ＿Ｕｐ）÷２

顔向き判定部１０３は以降、この登録された閾値を用いて上向き判定を行う。つまり、登録した利用者に最適な閾値を用いて判定することになる。

下向きについても同様に正面状態の両目−口上角度：∠ＬＥ−ＲＥ＿Ｎｅｕｔｒａｌ（図９の参照符号９０２）と、下向き状態の両目−口上角度：∠ＬＥ−ＲＥ＿Ｄｏｗｎ（図９の参照符号９０３）からその中間値を算出し、個人差情報格納部１０５へ下向き判定用の閾値（図９の参照符号９０４）として登録する。未説明の参照符号９０１は、図８の参照符号８０１と同様の初期閾値である。顔向き判定部１０３は以降、この閾値を用いて下向き判定を行う。

ここで、図９の顔下向きの閾値の補正について、さらに説明する。特に、図９に示したように、利用者の顔向きが正面から下向きに移動するとき、両目−口上角度が大きくなっていく理由について、図１０〜図１２を参照しながら詳細に説明する。

利用者に正面を向くという行為を行わせたとき、人間の顔を横から見たときの目の中心（黒目）と唇の上の点の位置関係は、多くの人が目中心より口上が前（人間から見て正面方向）に突出している。従って、正面から下方向を向くと、図１０に示したように、両目−口上の三角形は縦方向に伸びる変化をする。すなわち、図１０において、角度Ａ＜角度Ｂとなる。

また、本実施形態で想定しているポインタのコントロールなどでは、装置の画面を見たままの操作であるため、通常、人間は正面を見ているときより、下を向いたときの方が黒目がかなり上を向くように移動する。口の上の点は特に上方向の動きはないため、図１１に示したように、両目−口上の三角形は縦方向に伸びる変化をする。すなわち、図１１において、角度Ｃ＜角度Ｄとなる。

また、携帯電話などの携帯端末装置での利用を前提とした場合に、装置を手に持ち、装置のインカメラを自分に向けて画面を見る姿勢をとると、図１２に示したように、インカメラと顔の相対的な位置関係はほとんどの場合、カメラが顔の真正面より下になる。その結果、図１０に示した横から見たときの目中心と口上との関係で、正面状態がより傾斜を持つことになる。すなわち、図１０、図１２に示したように、角度ａ＜角度Ａであり、角度ａ＜角度Ａ＜角度Ｂとなる。

以上の理由から、利用者の顔向きが正面から下向きに移動すると両目−口上角度が大きくなる結果となる。ただし、口の上の点だけだと個人差もあり十分な精度が出ないこともあるため、他の特徴点（例えば、鼻の特徴点など）を併用するようにしてもよい。

以上、上下方向の個人差調整について説明したが、左右方向の個人差調整についても同様である。利用者に右、左を向かせてそれぞれの目中心−右眉水平距離（および目中心−左眉水平距離）を保持し、中間値を閾値として登録することで、その利用者にとって最適な閾値で顔向き判定を行う。また、本実施形態では上下方向と左右方向の個人差調整を別々に行う場合について説明したが、上下左右まとめて行ってもよい。

以上、本実施形態にかかる顔向き検出装置１００について説明した。かかる顔向き検出装置１００は、コンピュータに上記機能を実現するためのコンピュータプログラムを組み込むことで、コンピュータを顔向き検出装置１００として機能させることが可能である。かかるコンピュータプログラムは、所定の記録媒体（例えば、ＣＤ−ＲＯＭ）に記録された形で、あるいは、電子ネットワークを介したダウンロードの形で市場を流通させることが可能である。ここでいうコンピュータには、携帯電話などの小機器も当然に含まれる。

（本実施形態の効果）
以上のように、本実施形態によれば、利用者に対して正面および各方向の顔向きの動作、すなわち顔向きを検出してポインタを操作する非接触インタフェースが持つ検出動作を一通り行わせ、その時の特徴点の状態を検出し、それぞれの検出動作について、利用者に最適な検出の閾値を算出し、閾値を更新する制御部を設けることで、利用者の個人差を加味した顔向き検出を行うことができるため、装置の製造コストを上げることなく、利用者が容易に顔向き検出の精度の向上させることが期待できる。

以上、添付図面を参照しながら本発明にかかる顔向き検出装置および顔向き検出方法の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、閾値のよる顔向き判定によるポインタ操作を行う装置に適用した例を説明したが、顔向き角度を画面上の座標に変換するマウスポインタ操作を行う装置にも適用可能である。その際は、閾値を補正するのではなく、顔向き角度を座標に変換する関数（例えば変換式や変換テーブル）を個人差情報によって修正する。

上記実施形態では、顔向き検出の判定方法として、上下方向は両目−口上角度を、左右方向は左眉（右眉）−両目中心割合を利用した例を説明したが、両目−鼻や、口中心−口端角度など、その他の顔特徴点と判定式を利用しても同様に適用できる。

上記実施形態では、利用者に個人差調整の特徴点取得を指示するために文字の表示を用いていたが、例えば図１４に示したように、矢印記号や矢印を模した図形、画像を用いてもよい。図１４（ａ）は黒塗りの三角形“▲”で正面を向くよう指示したものであり、図１４（ｂ）は黒塗りの三角形“▲”で上を向くよう指示したものであり、図１４（ｃ）は手の図形で下を向くよう指示したものである。

また、利用者の各顔向きの動作が不適正なもの（向き過ぎ）である場合に、例えば図１５に示したように、利用者に警告を発するようにしてもよい。図１５（ａ）は警告音で利用者に警告を発するものであり、図１５（ｂ）は警告画面（記号）の表示で利用者に警告を発するものである。

上記実施形態では、利用者の個人差情報を取得するための手順として、顔向き方向を指示して各方向を向いてもらう手順のみ説明したが、本発明はこれに限定されない。例えば、利用者が顔の向きを変えていく過程で特徴点検出限界を超えたときに、一旦個人差による閾値修正を行った後に利用者に操作感を確認させ、不適切な場合は再度個人差調整を実施、あるいは利用者に大まかに修正閾値を変更させることも可能である。図１６、図１７は、このような調整後の確認操作の一例を示す説明図である。

図１６は、閾値を超えるとポイントが動いて、方向を示す記号、図形などが表示・点滅する場合を示す説明図である。上向き１３０２の画面例では、利用者が上を向いて閾値を超えると、ポインタ１３０２ａが上に動くとともに、方向を示す記号１３０２ｂが表示あるいは点滅する。正面向き１３０１、左向き１３０３、右向き１３０４、下向き１３０５についても同様である。

図１７は、閾値を超える方向を示す記号、図形などが表示・点滅される状態を示す説明図である。上向き１４０２の画面例では、角度と閾値を示すスケール（上下と左右の２軸）１４０６と、今向いている方向がどの程度かを示すマーカ１４０８と、閾値を示す枠１４０７とをリアルタイムに表示している。利用者は、マーカの移動を見ながら顔向きの間隔を学習できる。閾値の変更も、閾値を示す枠１４０７を見ながら変更することができる。正面向き１４０１、左向き１４０３、右向き１４０４、下向き１４０５についても同様である。

また、顔向き操作中にカメラからの入力画像の表示上に特徴点を重畳表示させたり、特徴点限界を超えたときに、入力画像上に重畳表示した特徴点の形状や色を変化させたりするなど、個人差情報を取得する際に利用者の利便性、認識性を向上させる様々な仕組みと組み合わせることで、より確実に、容易に個人差調整を行うことができる。図１８は、このような調整後の確認操作の一例を示す説明図である。図１８（ａ）は、向き過ぎでない状態を示しており、特徴点が顔に乗っている。図１８（ｂ）は、上向きでかつ向き過ぎでない状態を示しており、特徴点が顔に乗っている。図１８（ｃ）は、上向きでかつ向き過ぎた場合を示しており、特徴点を正面状態の位置に“×”印で表示している。

また、上記実施形態では、利用者の個人差情報を取得するための手順として、上下左右を一度だけ向いてもらう例を説明したが、個人差情報の取得精度を高めるために、複数回各方向を向いてもらい、その平均値や取得した複数の値の中央値を修正閾値として採用することもできる。

また、上記実施形態では、顔向き判定部１０３により判定された顔向きに応じて、表示部装置１０７上に表示されるポインタを制御するポインタ制御部１０６を例に挙げて説明したが、ポインタのほかにも、顔向き判定部１０３により判定された顔向きに応じて表示装置１０７の画面のスクロールや、表示装置に表示されるキャラクター（例えばゲームの自機など）の移動などにも本発明を利用することができる。

本発明は、顔向き検出装置および顔向き検出方法に利用可能であり、特に、入力画像から利用者の顔部分の特徴点を検出し、その顔向きを判別することによってポインタを操作する非接触インタフェースに用いられる顔向き検出装置および顔向き検出方法に利用可能である。

本発明の一実施形態の構成を示す説明図である。 特徴点を示す説明図である。 上下向き判定の特徴点計算を示す説明図である。 上下向き判定を示すフローチャートである。 左右向き判定の特徴点計算を示す説明図である。 左右向き判定を示すフローチャートである。 個人差調整の画面表示（上下方向）を示す説明図である。 上向き閾値の調整を示す説明図である。 下向き閾値の調整を示す説明図である。 下向き閾値の説明図（１）である。 下向き閾値の説明図（２）である。 下向き閾値の説明図（３）である。 閾値の修正を示すフローチャートである。 閾値の修正を示すフローチャートである。 顔向き指示例を示す説明図である。 向き過ぎ警告例を示す説明図である。 調整後の確認操作例（１）を示す説明図である。 調整後の確認操作例（２）を示す説明図である。 調整後の確認操作例を示す説明図である。

符号の説明

１００ 顔向き検出装置
１０１ 画像入力部
１０２ 特徴点抽出部
１０３ 顔向き判定部
１０４ 個人差調整部
１０５ 個人差情報格納部
１０６ ポインタ制御部
１０７ 表示部

Claims (9)

1. 情報処理装置の利用者の顔向きを判定して該情報処理装置のアプリケーションで利用するための顔向き判定装置において、
   利用者の顔を画像として入力する画像入力部と、
   前記画像から、利用者の顔の特徴点を抽出する特徴点抽出部と、
   所定の閾値に基づいて前記特徴点から利用者の顔向きを判定し、アプリケーションに情報を送信する顔向き判定部と、
   利用者ごとの各顔向きについて個人差を調整するための個人差情報を取得する個人差調整部と、
   前記閾値を前記個人差情報を用いて更新して利用者ごとに登録する個人差情報格納部と、
   を備えたことを特徴とする、顔向き判定装置。
2. さらに、
   各種情報を表示する表示部と、
   前記顔向き判定部により判定された顔向きに応じて、前記表示部上に表示されるポインタを制御するポインタ制御部と、
   を備えたことを特徴とする、請求項１に記載の顔向き判定装置。
3. 前記個人差調整部は、
   前記利用者に対して各顔向きの動作を一通り行わせるための指示を出し、
   前記画像入力部から入力される各顔向きの画像から前記個人差情報を取得することを特徴とする、請求項１または２に記載の顔向き判定装置。
4. 前記個人差調整部は、
   前記利用者に対して各顔向きの動作を一通り行わせるための指示を出すにあたり、各種情報を表示する表示部に図形または画像で指示を出すことを特徴とする、請求項３に記載の顔向き判定装置。
5. 前記個人差調整部は、
   前記利用者の各顔向きの動作が不適正なものである場合に、前記利用者に警告を発することを特徴とする、請求項３または４に記載の顔向き判定装置。
6. 利用者の顔向きを判定する顔向き判定方法において、
   利用者の顔を画像として入力する画像入力工程と、
   前記画像から、利用者の顔の特徴点を抽出する特徴点抽出工程と、
   所定の閾値に基づいて前記特徴点から利用者の顔向きを判定する顔向き判定工程と、
   利用者ごとの各顔向きについて個人差を調整するための個人差情報を取得する個人差調整工程と、
   前記閾値を前記個人差情報を用いて更新して利用者ごとに登録する個人差情報格納工程と、
   を含むことを特徴とする、顔向き判定方法。
7. 前記個人差調整工程は、
   前記利用者に対して各顔向きの動作を一通り行わせるための指示を出す工程と、
   前記画像入力部から入力される各顔向きの画像から前記個人差情報を取得する工程と、
   を含むことを特徴とする、請求項６に記載の顔向き判定方法。
8. 前記利用者に対して各顔向きの動作を一通り行わせるための指示を出す工程において、
   各種情報を表示する表示部に図形または画像で指示を出すことを特徴とする、請求項７に記載の顔向き判定方法。
9. 前記個人差調整工程において、
   前記利用者の各顔向きの動作が不適正なものである場合に、前記利用者に警告を発することを特徴とする、請求項７または８に記載の顔向き判定方法。

Images