JP5206516B2 - 撮影補助装置、プログラムおよび撮影システム - Google Patents

Description

本発明は、撮影対象者が所定の撮影位置に容易に顔を移動できるように、撮影対象者に報知を行うことで撮影を補助する撮影補助装置に関する。

従来、対象者の顔を撮影し、その撮影された画像から顔の向きや表情の変化を捉える技術が提案されている。例えば、対象者（車両の運転者）の顔画像を撮影し、顔形状モデルを利用して対象者の表情の変化を捉えることにより、対象者が居眠り状態であることを検出する装置が提案されている（特許文献１参照）。

上記特許文献１には、顔形状モデルによる画像認識手法を用いて対象者の表情を捉える方法が記載されている。顔形状モデルによる画像認識手法では、画像処理を行うコンピュータシステムが予め有している顔形状モデルに近い顔形状を有する対象者では高い精度で表情を捉えることができるものの、その顔形状モデルと顔形状が大きく異なる対象者に対しては、顔の向きや表情の変化の推定精度が低くなってしまう場合があった。

そこで、リアルタイムに取得した対象者の正面顔画像を利用した顔形状モデルを作成することで、コンピュータシステムが顔形状モデルとして有していない顔形状の対象者に対応する方法が提案されている（非特許文献１参照）。このとき、精度良く対象者の正面から撮影された正面顔画像を利用することで、顔の向きや表情の変化の推定精度を高めることができる。

正面顔画像を撮影する技術としては、ハンドルの切り角やアクセル加速度に基づいて運転者が正面を向いていると判断し、その時の画像を正面顔画像として取得する技術が提案されている（特許文献２参照）

特願２００７−２７６５１１号公報 特開２００８−１９７７２２号公報

I. Matthews, T. Ishikawa and S. Baker: "The template update problem", Proceedings of the British Machine Vision Conference, September, 2003.

顔形状モデルを用いた表情変化の推定精度を高めるためには、上述したように精度良く対象者の正面から撮影した正面顔画像を取得する必要がある。撮影装置を用いて精度良く正面から撮影するためには、対象者が能動的に所定の撮影位置に移動し、所定の方向に顔を向けると都合がよい。

しかしながら、上記特許文献２の技術は、運転者が正面を向いている可能性の高い条件となった場合に運転者が正面を向いていると推定して撮影するものであるため、運転者に対して、撮影に適した所定の撮影位置および顔向きへの顔の移動を要求するものではなかったので、正面顔画像を精度良く撮影することは困難であった。

本発明は、上述した問題に鑑みてなされたものであり、その目的は、撮影対象者に対して撮影に適した撮影位置を認識させることができる撮影補助装置、プログラムおよび撮影システムを提供することである。

上述した問題を解決するためになされた請求項１に記載の撮影補助装置は、撮影対象者が所定の撮影位置（撮影装置に対して所望の位置関係となる位置および向きであって、例えば撮影装置に対して真正面となる顔の位置および顔の向き）に容易に顔を移動できるように、撮影対象者に報知を行う装置である。この撮影補助装置では、画像取得手段が取得する撮影対象者の顔を示す撮影画像に基づき、抽出手段が当該撮影画像における顔上の複数の特徴点を抽出する。

また、距離測定手段が、抽出手段により抽出された特徴点と、撮影画像上に予め定められた基準点と、の距離を測定する。ここでいう基準点とは、上述した特徴点それぞれに対応して存在し、撮影対象者の顔が上述した所定の撮影位置であるときに特徴点との距離が最も小さくなる点である。

そして、報知手段が、画像を表示可能な表示装置に対して、上記特徴点および上記基準点を平面上に重畳した画像を示す画像情報を出力するように構成されている。
このように構成された撮影補助装置において、撮影装置により撮影された撮影対象者の顔の撮影画像を取得したとき、撮影対象者の顔が上述した所定の撮影位置にある場合には、撮影画像における顔上の特徴点と、予め定められた基準点との距離が小さくなる。一方、撮影対象者の顔が所定の撮影位置から離れた位置にある場合には、特徴点と基準点との距離が大きくなる。

したがって、報知手段により特徴点と基準点との距離を表示装置にて画像表示させること、即ち特徴点と基準点との距離に応じた報知がなされることにより、撮影対象者は、その報知によって顔が所定の撮影位置からどの程度離れているかを画像により容易に知ることができるため、撮影に適した撮影位置を認識することができる。その結果、撮影対象者は所定の撮影位置への顔の移動を容易に実行できるようになる。

なお、上述した基準点の位置の定め方は特に限定されない。例えば、平均的な顔のモデルにおいて特徴点が存在する位置を基準点としてもよいし、事前に撮影対象者の顔を所定の撮影位置にて撮影した撮影画像を取得しておき、その撮影画像における顔上の特徴点の位置を基準点としてもよい。

ところで、上述したように特徴点および基準点は複数箇所に設定されている。特徴点が１点しか設定されていなければ、特徴点が基準点と重なる場合でも、その撮影画像における顔の向きが適切な方向であるか否かを判断できないため、撮影対象者の顔が所定の撮影位置にあるときに撮影された撮影画像であると判断できない。それに対し、特徴点が２点設定されていれば、顔の位置と、顔の向きに関するピッチ，ロール，ヨーのうち２つの角度まで一致させた撮影画像を取得することができる。更に正確に撮影対象者の顔が所定の撮影位置にあるときに撮影するには、請求項２の撮影補助装置のように構成するとよい。

請求項２に記載の発明は、請求項１に記載の撮影補助装置において、上記特徴点が、撮影画像において同一直線上にない３点を含むことを特徴とする。
このように構成された撮影補助装置では、少なくとも顔上の同一直線状にない３点を特徴点として、その特徴点と基準点との距離を測定するため、撮影対象者は、その３点の特徴点と基準点との距離を認識することができる。したがって、これら３点を一致させた状態で撮影を行えば、顔の位置および向きを正確に規定した撮影画像を取得することができる。

請求項３に記載の発明は、請求項１または請求項２に記載の撮影補助装置において、上記特徴点が、撮影画像の顔上における左目頭、右目頭、左右鼻孔の中点、の３点であることを特徴とする。

このように構成された撮影補助装置では、少なくとも上記３点を特徴点として基準点との距離を測定するため、上記３点における特徴点と基準点との距離を撮影対象者に認識させることができる。また、これら３点を一致させた状態で撮影を行えば、顔の位置および向きを正確に規定した撮影画像を取得することができる。また、目頭と鼻孔は表情変化による位置の変化が少ない箇所であるため、表情変化の影響を受けずに顔の位置および向きを規定することができる。

請求項４に記載の発明は、請求項１から請求項３のいずれかに記載の撮影補助装置において、上述した画像情報が、特徴点を含む線分，および，基準点を含む線分を、特徴点および基準点を重畳した平面上に更に重畳した画像を示すものであることを特徴とする。

このように構成された撮影補助装置では、上述した特徴点と基準点に加え、それらを含む線分を含む画像を表示装置にて表示させることができる。したがって、どの特徴点が基準点と離れているのか、また、どのように顔を移動させれば所定の撮影位置に顔が移動するのか、の判断が容易に行えるようになる。

なお、上述した撮影補助装置において、報知手段が、音声を出力可能な音声出力装置に対して、距離測定手段により測定された距離に応じた音声情報を出力するように構成してもよい。

このように構成された撮影補助装置では、特徴点と基準点との距離を音声出力装置にて音声出力させることができる。したがって、撮影対象者は、顔が所定の撮影位置からどの程度離れているかを音声により容易に認識することができるようになり、所定の撮影位置への移動を容易に実行できるようになる。

なお、上述した補助装置において、上述した音声情報が、距離測定手段により測定された距離の大きさに応じて出力する音声を変化させるものであるように構成してもよい。

このように構成された撮影補助装置では、測定された距離により音声が変化するため、撮影対象者は、その音声の変化により特徴点と基準点との距離を知ることができる。
請求項９に記載の発明は、請求項１から請求項８のいずれかに記載の撮影補助装置において、距離測定手段により測定された距離が所定の閾値以下の場合に、その撮影画像を、撮影対象者の顔が上述した所定の撮影位置であるときに撮影した撮影画像であると判定する判定手段を備えることを特徴とする。

このように構成された撮影補助装置では、画像取得手段が取得した撮影画像の中から、撮影者の顔が所定の撮影位置にあるときに撮影された撮影画像を選別することができるため、撮影対象者の顔が上述した所定の撮影位置にあるときに撮影された撮影画像を確実に取得することができる。
なお上記報知手段は、上記判定手段により撮影対象者の顔が所定の撮影位置であるときに撮影した撮影画像であると判定されたときに、上記画像情報の表示態様を変更するように構成してもよい。
また上記報知手段は、上記判定手段により前記撮影対象者の顔が前記所定の撮影位置であるときに撮影した撮影画像であると判定されたときに、上記画像情報に示される特徴点の表示位置をわずかに移動させるように構成してもよい。

請求項１２に記載の発明は、請求項１から請求項１１のいずれかに記載の各手段として機能させるための処理手順を、コンピュータシステムに実行させるためのプログラムである。
このようなプログラムにより制御されるコンピュータシステムは、請求項１から請求項１１のいずれかに記載の撮影補助装置の一部を構成することができる。

なお、上述したプログラムは、コンピュータシステムによる処理に適した命令の順番付けられた列からなるものであって、各種記録媒体や通信回線を介して撮影補助装置や、これを利用するユーザに提供されるものである。

請求項１３に記載の発明は、請求項９から請求項１１のいずれかに記載の撮影補助装置と、顔形状モデルを作成するモデル作成手段と、顔形状モデルと撮影対象者の顔を示す対象者画像とを用いて、その撮影対象者の顔の向きおよび表情の変化を検出する検出手段と、を備える撮影システムである。そして、モデル作成手段は、撮影対象者の顔が所定の撮影位置であるときに撮影した撮影画像であると判定手段が判定した撮影画像を用いて、顔形状モデルを作成することを特徴とする。

このように構成された撮影システムでは、撮影対象者の顔が所定の撮影位置にあるときに撮影された撮影画像を用いて顔形状モデルを作成する。したがって、高い精度で撮影対象者の顔の向きおよび表情の変化を検出することができる。
なお上記撮影システムは、上記対象者画像と、顔形状モデルと、が所定の基準以上で一致しているか否かを判断する一致判断手段を備え、上記モデル作成手段は、一致判断手段により所定の基準以上で一致していないと判断されたときに顔形状モデルの再構築を行うように構成してもよい。
また上記撮影システムにおけるモデル作成手段は、上記判定手段が、撮影対象者の顔が上記所定の撮影位置であるときに撮影した撮影画像であると判定した複数の撮影画像から最も上記距離が小さいものを用いて上記顔形状モデルを作成するように構成してもよい。

撮影システムを示す側面図 撮影システムを示すブロック図 表情特徴量検出処理の処理手順を示すフローチャート ３次元形状のモデルを示す図 顔形状モデルの色合いを示す画像を示す図 入力画像と顔形状モデルの一致度合いを示すエラー値ＲＭＳの算出方法を示す概念図 顔形状モデルを変化させた場合のエラー値ＲＭＳの算出方法を示す概念図 正面画像取得処理の処理手順を示すフローチャート 特徴点の抽出方法の説明図 特徴点と基準点との距離の平均値の算出方法を示す図 表示装置に表示される画面を示す図

以下に本発明の実施形態を図面と共に説明する。
（１）全体構成
撮影システム１は、車両２に搭載されて用いられるものであり、図１に示すように、カメラ１０と、情報入出力装置２０と、撮影補助装置３０と、からなる。

これらのうち、カメラ１０は、運転者３の顔画像を連続的に撮影するものであって、車両２のダッシュボードにて車両２における運転者３の正面方向から運転者３に向けて配置されている。

情報入出力装置２０は、図２に示すように、運転者３に対して各種画像情報を表示するための表示装置２２と、各種のガイド音声等を出力するスピーカ２４と、運転者３からの外部操作による指令を入力するための操作ボタン２６と、を備えている。この情報入出力装置２０は、撮影補助装置３０からの指令に基づき、各種画像を表示装置２２に表示するとともに、音声をスピーカ２４により出力する。また、操作ボタン２６で行われた外部操作の内容を撮影補助装置３０へ出力する。

なお、表示装置２２は、図１に示すように、カメラ１０の近傍にて運転者３に向けて配置されている。そのため、運転者３はカメラ１０に顔を向けた状態で表示装置２２に表示される画像情報を容易に確認できるようになっている。

撮影補助装置３０は、画像キャプチャボード３２と、記憶装置３４と、制御装置３６と、を備えている。
画像キャプチャボード３２は、カメラ１０で撮影した運転者３の顔の撮影画像のデータである撮影画像データを一時的に記憶し、制御装置３６からの指令に応じて制御装置３６に提供する。

記憶装置３４は、各種データを記憶可能なハードディスクドライブからなる。
制御装置３６は、ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ及びこれらの構成を接続するバスラインなどからなる周知のマイクロコンピュータを中心に構成されており、ＲＯＭに記憶されているプログラムに従って、後述する表情特徴量検出処理および正面画像取得処理を実行する。
（２）撮影補助装置３０による処理
以下に、撮影補助装置３０の制御装置３６により実行される各種処理について説明する。
（２．１）表情特徴量検出処理
まず、表情特徴量検出処理の処理手順を、図３に基づいて説明する。本処理は、撮影システム１が起動している間、継続して実行される。

本処理では、まず、カメラ１０にて撮影され、画像キャプチャボード３２に記憶されている運転者３の顔の撮影画像データを取得する（Ｓ１）。
次に、Ｓ１にて取得した撮影画像データを用いて、記憶装置３４に記憶されている顔形状モデルとのフィッティングを行い、運転者３の顔の向きおよび表情の変化（以降、単に表情特徴量ともいう）を検出する（Ｓ２）。詳細を以下に説明する。

顔形状モデルは、人間の顔の形状を表現する３次元形状のモデルに、人間の顔の色合いを示す画像を重ねたものである。
まず、人の顔の形状を表現する３次元形状のモデルを説明する。この３次元形状のモデルは、図４に示すように、正面顔を三角形状の複数のメッシュで表現した基本形状 (base shape) ｓ０(図４（ａ）を参照）と、基本形状ｓ０からの顔位置・顔向き・表情変化を示すｎ個（ｎは自然数）の形状ベクトル（shape vector）ｓｉ（ｉ＝１，２，３・・・，ｎ）（図４（ｂ），（ｃ），（ｄ）を参照）とが予め設定されており、これら基本形状ｓ０及びｎ個の形状ベクトルｓｉを用いて（１）式により計算することにより人間の顔の形状を表現する（図６におけるメッシュｓ）。

上記（１）式のｐｉ（ｉ＝１，２，３・・・）は、重ね合せ係数である。また、形状ベクトルｓｉ（ｉ＝１，２，３・・・）は、基本形状ｓ０を構成するメッシュの頂点（以下、メッシュ頂点ともいう）を始点とするベクトルであり、基本形状ｓ０の全頂点について形状ベクトルｓｉが設定されている（図４（ｂ），（ｃ），（ｄ）では、一部のメッシュ頂点についてのみ形状ベクトルｓ１，ｓ２，ｓ３を表示している）。

次に、人間の顔の色合いを示す画像について説明する。顔形状モデルは、図５に示すように、正面顔についての基本となる色合いを示す画像（base appearance image）Ａ０（ｘ）（以下、基本色合い像Ａ０（ｘ）という）と、色合いのフィッティングの際に基本色合い像Ａ０（ｘ）に重ね合わせるためのｍ個（ｍは自然数）の色合い像（appearance image）Ａｉ（ｘ）（ｉ＝１，２，３・・・，ｍ）とが予め設定されており、これら基本色合い像Ａ０（ｘ）及びｍ個の色合い像Ａｉ（ｘ）を用いて（２）式で計算することにより人間の顔の色合いを表現する（図６におけるＡ（ｘ））。

ここで、ｘは基本形状ｓ０内の２次元座標を示す。また、（２）式のλｉ（ｉ＝１，２，３・・・）は、重ね合せ係数である。
そして、図６に示すように、顔形状モデルの３次元形状および色合いを変化させて、その変化させた顔形状モデルＭ（Ｗ（ｘ；ｐ））と、表情特徴量の検出対象者を撮影した画像である入力画像Ｉと、のフィッティングを行い、一致度合を判断する。

下記（３）式は、入力画像と顔形状モデルの一致度合いを示すエラー値ＲＭＳの算出式である。Ｍ（Ｗ（ｘ；ｐ））は、（１）式により定まるメッシュｓ内の色合い像をＡ（ｘ）としたときの画像、Ｉ（Ｗ（ｘ；ｐ））は入力画像Ｉにおけるメッシュｓ内の色合い像である。メッシュｓは、重ね合せ係数ｐｉによって、その形状を変形しつつ入力画像Ｉ上を移動できる。なお、形状ベクトルｓｉには、表情や顔向きを変化させるベクトル以外に、縦移動、横移動、拡大縮小、回転といったベクトルも含まれている。

入力画像Ｉから表情特徴量を検出するために、（３）式におけるＲＭＳが最小となる重ね合せ係数ｐｉ及びλｉを算出する。つまり、重ね合せ係数ｐｉ及びλｉを変化させて様々な形状及び色合いの画像Ｍ（Ｗ（ｘ；ｐ））を作成しつつ、その画像Ｍ（Ｗ（ｘ；ｐ））と一致する画像Ｉ（Ｗ（ｘ；ｐ））を、入力画像Ｉ上で探索する。

そして、ＲＭＳが最小となる重ね合せ係数ｐｉ及びλｉを算出する。ｐｉ及びλｉの値から、顔形状モデルがどのように変化した状態であるかが分かるため、それにより検出対象者の表情特徴量を検出することができる。

次に、顔形状モデルの更新が必要か否かを判断する（Ｓ３）。ここでは、上記（３）式にて算出されたＲＭＳの最小値が所定の閾値を下回っているか否かを判断する。ＲＭＳの最小値が大きいということは、即ち、Ｓ１にて取得した撮影画像データに基づく撮影画像（入力画像Ｉ）が顔形状モデルと精度良く一致しないということであり、この場合本来の顔位置や表情とは異なる場合にＲＭＳが最小になる場合があるため、表情特徴量の検出精度が低くなってしまう虞がある。よって、ＲＭＳの最小値が所定の閾値を超えて大きい場合には、顔形状モデルを変更し、検出精度を高める必要がある。

Ｓ３にて、顔形状モデルの変更が必要と判断されない場合（Ｓ３：ＮＯ）、顔形状モデルを変更せずに用いても精度よく表情特徴量が検出できるので、顔形状モデルを変更することなく処理がＳ１に戻る。一方、Ｓ３にて顔形状モデルの変更が必要と判断された場合（Ｓ３：ＹＥＳ）、後述する正面画像取得処理を実行して運転者３を精度良く正面から撮影した正面撮影画像データを取得し（Ｓ４）、取得した正面撮影画像データに基づいて、顔形状モデルの再構築を行う（Ｓ５）。詳細を以下に説明する。

一つの顔形状モデルを用いて、複数の検出対象者の表情特徴量を取得する場合には、複数人の表情を平均した画像をＡ０（ｘ）として、顔形状モデルを作成するのが一般的である（図６におけるＡ０（ｘ）参照）。しかしこの場合、入力画像Ｉと顔形状モデルＭは同一人物の画像ではないため、ＲＭＳが大きくなり、正確な表情特徴量が捉えられない場合がある。

そこで、この問題を解決するために、ｓ０およびＡ０を入力画像Ｉの対象者の情報に入れ替える。図７に示すように、Ｓ４にて取得した正面撮影画像データからｓ´０およびＡ０´を作成し、対象者の特徴を加えた顔形状モデルＭ´（Ｗ（ｘ；ｐ））を構築することで、ＲＭＳを減少させ、正確な表情特徴量を捉えることができる。

このようにして作成された顔形状モデルが、以降のＳ２にてフィッティングを行う際に使用される。このＳ５の後、処理がＳ１に戻る。
（２．２）正面画像撮影処理
次に、正面画像撮影処理の処理手順を、図８に基づいて説明する。本処理は、表情検出処理のＳ４にて実行される。

本処理では、まず、カメラ１０にて撮影され、画像キャプチャボード３２に記憶されている運転者３の顔の撮影画像データを取得する（Ｓ１１）。
次に、Ｓ１１にて取得した撮影画像データに基づく撮影画像における顔上の特徴点を抽出する（Ｓ１２）。ここでは、図９（ａ）に示すように、撮影画像をｘ−ｙ平面で表した場合における左右の両目頭と、左右鼻孔の中点と、の画像平面上の位置を抽出する。

具体的には、まず、撮影画像データを黒色部分と白色部分とに分ける２値化処理を行い（例えば、特願平０３−２２０６３３号に記載されている技術を用いるとよい）、上記画像データに基づく画像における左目頭，右目頭，左鼻孔，右鼻孔，のｘ−ｙ平面上の位置を検出する（例えば、特願平０８−１０１９０４号に記載されている技術を応用するとよい）。そして、左右の鼻孔の位置から左右の鼻孔の中点の位置を算出する。なお、特徴点の抽出方法は上述した方法に限定されず、どのような手法により抽出する構成であってもよい。

次に、Ｓ１２にて抽出した顔上の特徴点と、予め記憶装置３４に記憶されている左右両目頭および左右鼻孔の中点の基準点と、を用いて、対応する点同士の距離の平均値（以降、単に誤差ともいう）を算出する（Ｓ１３）。ここでいう距離の平均値とは、図１０に示すように、左目頭に関する特徴点と基準点との間の距離Ｌ１、右目頭に関する特徴点と基準点との間の距離Ｌ２、および、左右鼻孔の中点に関する特徴点と基準点との間の距離Ｌ３、の相加平均値である。

なお、上述した基準点は、平均的な顔のモデルにおいて特徴点が存在する位置に設定されているが、予め運転者３の顔を精度良く正面にて撮影し、その撮影画像から抽出される特徴点を基準点として用いてもよい。

次に、表示装置２２に、現在位置表示線α（以降、単に線αという）と、基準位置表示線β（以降、単に線βという）と、を平面上に重畳した画像の画像情報を出力する（Ｓ１４）。

線αとは、図９（ｂ）に示すように、Ｓ１１にて取得した撮影画像データに対して、左右両目頭を結んだ線分と、左右両目頭の中点と左右鼻孔中点とを結んだ線分と、からなる線分である。また、線βとは、上述した基準点を用いて、線αと同様に、左右両目頭を結んだ線分と、左右両目頭の中点と左右鼻孔中点とを結んだ線分と、からなる線分である。

このＳ１４の処理を受けて、表示装置２２は、図１１（ａ）、（ｂ）に示す表示画面を表示する。また、この表示画面上には、線αおよび線βを、顔を動かすことで重ねる旨の指示も表示されている。

線αと線βとは、色、線の形状、点滅の有無などを変えることで、表示装置２２の表示画面上で識別可能とする。本実施例では、線αを緑色の破線とし、線βを青色の実線として表示する。

また、線αの表示態様は、上記Ｓ１３にて算出した誤差が所定の閾値以下であるか否かによって変化する。ここでいう閾値とは、誤差がこの閾値以下の場合に、運転者３の顔が所定の撮影位置に移動したとみなす判断をするための基準となる値である。

ただし、基準点が平均的な顔のモデルを用いて定められている場合には、運転者３の顔特徴点の位置が運転者３ごとに異なるため、運転者３ごとに誤差の最小値は変化する。そのため、閾値を一定の値として定めると、平均的な顔のモデルに近い特徴点を有する運転者３の場合は比較的容易に誤差を閾値以下にすることができるが、運転者３が平均的な顔のモデルの特徴点と大きく異なる位置に特徴点を有する場合は、閾値以下にすることが難しい場合や、閾値以下とすることが不可能な場合が生じる。

よって、この閾値は、所定回数Ｓ１３の処理を実行して算出された誤差の平均値などに応じて適宜変更される。
表示装置２２に表示される表示画面の説明に戻る。本実施例では、上記誤差が所定の閾値を超える場合は線αの表示に変化はないが、閾値以下となると、線αの色を赤色に変化させることで、運転者３の顔が所定の撮影位置に移動したと判断されたことを運転者３に通知する（図１１（ｂ）参照）。

次に、スピーカ２４に、音声情報を出力する（Ｓ１５）。これによりスピーカ２４はガイド音声を出力する。ここでは、音量、高さ、および音色が一定の断続音を出力するが、Ｓ１３にて算出した誤差が小さいほど音の間隔が短くなるように出力する。

次に、Ｓ１３にて算出した誤差が上述した閾値以下であるか否かをチェックし、閾値以下であれば、Ｓ１１にて取得した撮影画像データを記憶装置３４に記憶する（Ｓ１６）。その際、撮影画像データとともに、Ｓ１３にて算出した誤差の値も撮影画像データに関連付けて記憶する。

次に、Ｓ１６にて記憶装置３４に保存された撮影画像データが所定数以上となったか否かを判定する（Ｓ１７）。所定数に達していなければ（Ｓ１７：ＮＯ）、処理がＳ１１に戻り、再度撮影画像データを取得する。一方、所定数に達していれば（Ｓ１７：ＹＥＳ）、記憶装置３４に記憶されている撮影画像データのうち、最も誤差の小さい撮影画像データを、顔形状モデルの再構成に用いる正面撮影画像のデータとして選択する（Ｓ１８）。このＳ１８の後、表情特徴量検出処理に戻る。

なお、上述したＳ１１〜Ｓ１７のループは短い時間間隔（例えば０．１ｓ）にて行われるため、運転者３がカメラ１０に対して顔を動かすことに合わせて、線αの位置はリアルタイムで移動する。
（３）発明の効果
このように構成された撮影システム１では、顔形状モデルと撮影画像とのフィッティングの精度が悪い場合には、正確に運転者３の顔を正面から撮影した正面撮影画像を利用して、顔形状モデルを再構築することができるため、より高い精度で表情特徴量を捉えることができる。

そして、上述した正面撮影画像を取得するにあたっては、表示装置２２にて、撮影画像から抽出される特徴点および予め定められた基準点と、それらに基づく線αおよび線βと、を表示するため、運転者３は、カメラ１０にて撮影されている顔が撮影に適した顔の位置および顔の向き（所定の撮影位置）からどの程度離れているかを画像により確認することができ、撮影に適した顔の位置および顔の向きを容易に認識することができる。

また、表示装置２２にて上記画像を表示すると同時に、スピーカ２４にて、誤差の大きさに応じた音声を出力するため、運転者３は、音声によってもカメラ１０にて撮影されている顔が所定の撮影位置からどの程度離れているかを知ることができる。

このように、運転者３は撮影に適した顔の位置および顔の向きを容易に認識することができるため、運転者３が認識した顔位置に顔を移動させて顔の向きを合せることで、精度の高い正面撮影画像を撮影することができる。

また、上記撮影システム１では、左右両目頭、および左右鼻孔の中点を特徴点および基準点として定めており、それらの点を基準として顔の位置および向きを規定することができる。なお、このように同一直線状にない３点で規定することで、顔の位置および向きを正確に規定した撮影画像データを取得することができる。また、目頭と鼻孔は、表情変化による位置の変化が少ない箇所であるため、表情変化の影響を受けずに顔の位置および向きを規定することができる。

また、上記撮影システム１では、誤差が所定の閾値以下となったときに、その撮影画像データを正面撮影画像のデータとして選別することができるため、精度の高い正面撮影画像のデータを確実に取得することができる。
（４）変形例
以上、本発明の実施例について説明したが、本発明は、上記実施例に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。

例えば、特徴点と基準点との誤差が所定の閾値以下となった場合に、表示装置２２における線αの表示位置を、運転者３の顔の位置および顔の向きに関係なくわずかに移動させるように構成してもよい。具体的には、正面画像取得処理のＳ１３にて算出した誤差が閾値以下の場合には、Ｓ１４にて出力する画像情報における線αの位置をわずかに移動させる。

このように構成された撮影システム１では、運転者３が顔を移動させて誤差が閾値以下となると、線αがわずかに移動するため、運転者３は再び線αと線βとを一致させるために顔をわずかに移動することとなる。その結果、閾値以下となる位置付近で多くのパターンの撮影画像データを取得することができるようになるため、精度の高い正面撮影画像を撮影できる確率を上げることができる。

また、上記実施例では、正面画像取得処理のＳ１６において、誤差が所定の閾値以下の撮影画像データを所定数記憶し、Ｓ１８にてその中から適切な撮影画像データを選択する構成を例示した。

しかしながら、Ｓ１６にて撮影画像データを所定数記憶させることなく、誤差が所定の閾値以下である撮影画像データを取得した場合には、その撮影画像データを正面撮影画像データとする構成としてもよい。このように構成された撮影システム１であれば、誤差が閾値以下の撮影画像データを１つ取得すればよいので、迅速に正面画像取得処理を終了させることができる。

また、上記実施例においては、正面画像取得処理のＳ１３にて、各特徴点と基準点との間の距離の相加平均を求め、その値に基づいて運転者３の顔が所定の撮影位置となったか否かを判断する構成を例示したが、それ以外の値を用いて上記判断を行う構成としてもよい。例えば、各特徴点と基準点との間の距離の相乗平均に基づいて上記判断を行う構成が考えられる。

また、上記実施例においては、正面画像取得処理のＳ１４にて線αと線βとを平面上に重畳した画像を表示装置２２に表示させる構成を例示したが、直前のＳ１１にて取得した撮影画像をさらに重畳して表示する構成であってもよい。

このように構成された撮影システム１であれば、線αが顔のどの部分に対応するものであるかを認識することができるため、画像の情報を感覚的に理解しやすくなる。
また、上記実施例においては、表示装置２２およびスピーカ２４は、Ｓ１３にて算出した誤差を運転者３が認識できるように報知する構成を例示したが、表示装置２２やスピーカ２４を用いて、運転者３に顔を向ける方向を案内する報知を行うように構成してもよい。例えば、表示画面上に、顔を向ける方向を矢印にて表示する構成が考えられる。

また、上記実施例においては、表示画面に表示される線αは、誤差が閾値以下となると緑から赤に色が変わる構成を例示したが、線αの表示態様がそれ以外に変化する構成であってもよい。例えば、誤差が閾値以下となると線αが緑から透明になる構成、誤差が閾値以下となると線αの形状（太線と細線、または実線と点線）が変化する構成、などが考えられる。また、誤差が閾値以下となった場合に線βの表示態様が変更する構成であってもよい。

また、上記実施例においては、線α，線βは、顔上の左右両目頭を結んだ線分と、左右両目頭中点と左右鼻孔中点とを結んだ線分と、からなる構成を例示したが、それ以外の線分で構成されるものであってもよい。例えば、左右両目頭と、左右鼻孔中点と、からなる三点を結ぶ三角形を、線α、線βとすることが考えられる。

また、操作ボタン２６を用いて、報知の方法（表示装置２２における表示態様や表示内容、スピーカ２４による音声出力の内容など）を運転者３が自ら選択できるように構成されていてもよい。

また、上記実施例においては、表情特徴量検出処理のＳ３において、ＲＭＳ値の最小値が所定の閾値を下回った場合に、顔形状モデルの再構築を開始する構成を例示したが、操作ボタン２６による操作に応じて、顔形状モデルの再構築を開始する構成としてもよい。

また、上記実施例においては、特徴点および基準点として用いる点は、左右両目頭および左右鼻孔中点である構成を例示したが、それ以外の点であってもよい。その際、特徴点として用いる点は、目頭や鼻孔のように、表情変化による位置の移動が少ない点が望ましい。

また、上記実施例においては、運転者３の顔方向を向いて配置される表示装置２２を有する構成を例示したが、表示装置２２に代えて、ウインドシールドに虚像を表示させる虚像表示装置を備え、正面画像取得処理のＳ１４における画像表示を虚像表示にて行う構成であってもよい。

また、上記実施例では、撮影画像平面上に特徴点および基準点を定め、その誤差を測定する構成を例示したが、運転者３の顔の向く方向を、ロール、ピッチ、ヨーの３軸の角度パラメータとして測定して、予め定められた基準角度との誤差を測定するように構成してもよい。

その場合には、スピーカ２４が出力する断続音を、ロール、ピッチ、ヨーの各軸ごとに異なる周波数とし、各軸ごとに角度誤差に応じた間隔の断続音を出力する構成とすることで、音声により各軸ごとの角度誤差を認識させることができるようになる。また、表示装置２２が表示する表示物（表示画面全体や、表示画面における一部の領域であってもよいし、上述した線αでもよい）の表示色を変化させることで、各軸ごとの角度誤差を認識させるように構成してもよい。例えば、ロール、ピッチ、ヨーの各軸ごとに対応する色相を定めておき（例えば、ロールが赤色、ピッチが緑色、ヨーが青色)、各色を、対応する軸の角度誤差に応じた濃度にて合成し、その合成した色を表示物の表示色として出力することが考えられる。

具体的には、ロール角とピッチ角の誤差が大きく、ヨー角の誤差が小さい場合には、濃い赤および緑と、薄い青とを合成した色の表示物が表示され、ヨー角のみ誤差がある場合には、表示物は青色で表示され、全ての軸にて誤差がない所定の撮影位置に顔が位置する場合には、表示物は白色で表示される。なお、角度誤差と濃淡の関係や各軸に対応する色相は上述したものに限られない。

また、上記実施例においては、表示装置２２およびスピーカ２４により、Ｓ１３にて算出した誤差を運転者３が認識できるように報知する構成を例示したが、表示装置２２およびスピーカ２４のいずれか一方のみで報知を行う構成であってもよい。

１…撮影システム、２…車両、３…運転者、１０…カメラ、２０…情報入出力装置、２２…表示装置、２４…スピーカ、２６…操作ボタン、３０…撮影補助装置、３２…画像キャプチャボード、３４…記憶装置、３６…制御装置

Claims (15)

1. 撮影対象者の顔を示す撮影画像を取得する画像取得手段と、
   前記画像取得手段が取得した撮影画像における顔上の複数の特徴点を抽出する抽出手段と、
   前記抽出手段が抽出した特徴点と、前記特徴点それぞれに対応して存在し、前記撮影対象者の顔が所定の撮影位置であるときに前記特徴点との距離が最も小さくなるように前記撮影画像上に予め定められた基準点と、の距離を測定する距離測定手段と、
   画像を表示可能な表示装置に対して、前記特徴点および前記基準点を平面上に重畳した画像を示す画像情報を出力する報知手段と、を備える
   ことを特徴とする撮影補助装置。
2. 前記特徴点は、前記撮影画像において同一直線上にない３点を含む
   ことを特徴とする請求項１に記載の撮影補助装置。
3. 前記特徴点は、前記撮影画像の顔上における左目頭、右目頭、左右鼻孔の中点、の３点である
   ことを特徴とする請求項１または請求項２に記載の撮影補助装置。
4. 前記画像情報は、前記特徴点を含む線分，および，前記基準点を含む線分を、前記特徴点および前記基準点を重畳した平面上に更に重畳した画像を示すものである
   ことを特徴とする請求項１から請求項３のいずれかに記載の撮影補助装置。
5. 前記報知手段は、さらに、音声を出力可能な音声出力装置に対して、前記距離測定手段により測定された距離に応じた音声情報を出力する
   ことを特徴とする請求項１から請求項４のいずれかに記載の撮影補助装置。
6. 前記音声情報は、前記距離測定手段により測定された距離の大きさに応じて出力する音声を変化させるものである
   ことを特徴とする請求項５に記載の撮影補助装置。
7. 前記基準点は、平均的な顔のモデルにおいて特徴点が存在する位置である
   ことを特徴とする請求項１から請求項６のいずれかに記載の撮影補助装置。
8. 前記基準点は、事前に前記撮影対象者の顔を前記所定の撮影位置にて撮影した撮影画像における顔上の特徴点の位置である
   ことを特徴とする請求項１から請求項６のいずれかに記載の撮影補助装置。
9. 前記距離測定手段により測定された距離が所定の閾値以下である場合に、前記撮影画像を、前記撮影対象者の顔が前記所定の撮影位置であるときに撮影した撮影画像であると判定する判定手段を備える
   ことを特徴とする請求項１から請求項８のいずれかに記載の撮影補助装置。
10. 前記報知手段は、前記判定手段により前記撮影対象者の顔が前記所定の撮影位置であるときに撮影した撮影画像であると判定されたときに、前記画像情報の表示態様を変更する
    ことを特徴とする請求項９に記載の撮影補助装置。
11. 前記報知手段は、前記判定手段により前記撮影対象者の顔が前記所定の撮影位置であるときに撮影した撮影画像であると判定されたときに、前記画像情報に示される前記特徴点の表示位置を移動させる
    ことを特徴とする請求項９または請求項１０に記載の撮影補助装置。
12. 請求項１から請求項１１のいずれかに記載の各手段として機能させるための処理手順を、コンピュータシステムに実行させるためのプログラム。
13. 請求項９から請求項１１のいずれかに記載の撮影補助装置と、
    前記判定手段が、前記撮影対象者の顔が前記所定の撮影位置であるときに撮影した撮影画像であると判定した前記撮影画像を用いて、前記顔形状モデルを作成するモデル作成手段と、
    前記モデル作成手段により作成された前記顔形状モデルと、前記撮影対象者の顔を示す対象者画像と、を用いて、前記撮影対象者の顔の向きおよび表情の変化を検出する検出手段と、を備える
    ことを特徴とする撮影システム。
14. 前記対象者画像と、前記顔形状モデルと、が所定の基準以上で一致しているか否かを判断する一致判断手段を備え、
    前記モデル作成手段は、前記一致判断手段により前記所定の基準以上で一致していないと判断されたときに前記顔形状モデルの再構築を行う
    ことを特徴とする請求項１３に記載の撮影システム。
15. 前記モデル作成手段は、前記判定手段が、前記撮影対象者の顔が前記所定の撮影位置であるときに撮影した撮影画像であると判定した複数の前記撮影画像から最も前記距離が小さいものを用いて前記顔形状モデルを作成する
    ことを特徴とする請求項１３または請求項１４に記載の撮影システム。