JP2007043263A - 撮影システム、撮影方法及び該方法を実行するためのプログラム - Google Patents

Abstract

【課題】 本発明は、被写体の位置、傾きや向きを解析し、解析結果をフィードバックし、対話的に３次元を考慮した撮影状態とすることができる。
【解決手段】 本発明の撮影システムは、被写体を撮影する撮像手段と、撮像手段によって得た被写体の画像を解析する画像解析手段と、画像解析手段による解析結果を被写体に報知する報知手段とを具備している。
【選択図】 図１

Description

本発明は撮影システム、撮影方法及び該方法を実行するためのプログラムに関し、詳細には撮影対象の被写体の位置、傾きや向きを検出して最適な撮影状態とする技術に関する。

情報処理技術の発展に伴い、近年、顔画像情報の処理が可能になってきた。顔画像情報処理は、監視カメラなど業務目的で使われることを想定した顔の有無の検知がそもそもの出発点であったが、最近では業務目的ではなく一般のエンドユーザ機器向けの技術も広がりつつある。具体的には、カメラに顔認識の機能を備えたものが提案されている。その一つとして、特許文献１は、そのような目的を達成するためのもので、被写体の顔の向き、目の開閉、視線、表情などを用いてシャッタ制御を行うことを可能にすることを狙っている。また、特許文献１では、幅広い技術が開示されているが、一般のエンドユーザの使用に堪えるには、２つの問題点がある。それは、照明条件（光源の種類、光量、順光、逆光など）が不定であるため、カメラ側で誤認識を生じやすく安定動作が難しいことと、そしてカメラ側から被写体に向かって認識した情報をフィードバックする仕組みが備わっていないことである。このため、どのようにすれば、具体的には、どのような姿勢、ポーズ、表情などを取れば正しくカメラ側が認識できるか、被写体は知る方法がない。

これら課題に関しては、次のような提案もなされている。特許文献２は、被写体の横方向のズレ量に基づき、データの読み出しシフトを行うことで、データ読み出し時に画像シフトを行い、フレーミングのズレ補正を行う。また、特許文献３では、定点観測撮影を行う場合に、定点からのズレを画像の差分で求めて、ガイダンスを表示する。また、特許文献４では、画像ブレの検知を画像の周波数解析で行い、画像ブレを検知した場合には、ランプの点滅又は警告音などで知らせる。
特開２００１−５１３３８号公報 特開平０５−２６８５１３号公報 特開２００４−１１２５４９号公報 特開２００４−１２０２５６号公報

しかしながら、特許文献２及び特許文献３は、いずれも対象物の平面的な移動の検知に留まっており、このため被写体が人体のように複雑な関節構造を持ち、３次元空間内での移動と回転を行う場合には、単なるフレーミング補正（あるいはカメラ側だけの移動）だけでは、十分な補正が不可能である。また、特許文献４では、ランプまたは警告音によるフィードバックであるため、単に撮影に成功したか、失敗したかという結果の報知に留まり、どのようにすれば正しい撮影が可能なるかは、被写体は知ることができなかった。

本発明はこれらの問題点を解決するためのものであり、被写体の位置、傾きや向きを解析し、解析結果をフィードバックし、対話的に３次元を考慮した撮影状態とすることができる、撮影システム、撮影方法及び該方法を実行するためのプログラムを提供することを目的とする。

前記問題点を解決するために、本発明の撮影システムは、被写体を撮影する撮像手段と、撮像手段によって得た被写体の画像を解析する画像解析手段と、画像解析手段による解析結果を被写体に報知する報知手段とを具備している。よって、被写体の位置、傾きや向きを解析し、解析結果をフィードバックし、対話的に３次元を考慮した撮影状態とすることができる。

また、画像解析手段は、撮像手段によって得た被写体の画像の面積を求めて所定の面積と比較して撮像手段と被写体との相対的位置関係の遠近を検出することにより、被写体の位置を調整して最適な撮影状態とすることができる。

更に、撮像手段は２つ以上のカメラを含んで構成され、画像解析手段は各カメラによって撮影された画像を用いて撮像手段と被写体との相対的距離を計測することにより、被写体の位置を精度良く調整でき、より一層最適な撮影状態とすることができる。

また、画像解析手段は、被写体の種別に対して予め設定された探索領域内のパーツの端点を検出し、検出した端点に基づいて、フレーミングのズレを検出する。よって、フレーミングのズレを調整して最適な撮影状態とすることができる。

更に、画像解析手段は、検出した端点に基づいて、被写体の傾きを検出する。よって、被写体の傾きを調整して最適な撮影状態とすることができる。

また、画像解析手段は、検出した端点に基づいて、被写体の向きを検出する。よって、被写体の向きを調整して最適な撮影状態とすることができる。

更に、画像解析手段は、被写体の矩形の探索領域の大きさ、傾き及び向きを検出して被写体自体の大きさ、傾き及び向きを解析する。よって、被写体の位置、傾きや向きを調整して最適な撮影状態とすることができる。

また、被写体が顔である場合、画像解析手段は、顔に対する探索領域内の顔のパーツの端点に基づいて、顔の傾き、向き又は表情を検出することにより、対話的に３次元を考慮した最適なポーズ・姿勢を取らせることができるので、最適な撮影が可能になる。

更に、被写体が顔である場合、画像解析手段は、撮像手段によって得た顔の画像の中央部付近の極小点を検出し、検出した極小点座標を鼻の頂点座標とし、鼻の頂点座標及び鼻の頂点座標を含む探索領域の各変位量を基に顔の傾き及び向きを解析する。よって、探索領域の設定と顔の傾きや向きの検出が同時に行うことができると共に、対話的に３次元を考慮した最適なポーズ・姿勢を取らせることができるので、最適な撮影が可能になる。

また、報知手段は、画像解析手段による解析結果でズレが生じていた場合ズレを修正するガイダンスや修正位置を報知することにより、的確な修正を行うことができる。

更に、撮像手段によって得た被写体の画像を加工する画像加工手段を有することにより、より好ましい画像を得ることができる。

また、画像加工手段は、被写体の輪郭形状、表面画像、所定の領域又は色を加工することにより、所望の画像を得ることができる。

更に、画像加工手段は、被写体の探索領域内のパーツの端点の座標値に比例して被写体の探索領域を変化させることにより、被写体の探索領域を的確に決定することができる。

また、別の発明としての撮影方法によれば、被写体を撮影する前に仮に撮像した被写体の画像を解析し、解析結果を被写体に報知した上で被写体の撮影を実行する。よって、被写体の位置、傾きや向きを解析し、解析結果をフィードバックし、対話的に３次元を考慮した撮影状態とすることができる。

更に、解析結果と、解析結果でズレが生じていた場合ズレを修正するガイダンスや修正位置とを報知することにより、的確な修正を行うことができる。

また、別の発明としての撮影方法によれば、被写体を撮影する前に仮に撮像した被写体の画像から、被写体の種別に対して予め設定された探索領域内のパーツの端点を検出し、検出した端点に基づいて、被写体におけるフレーミングのズレを検出し、検出したズレを報知した上で被写体の撮影を実行する。よって、被写体の位置、傾きや向きを解析し、解析結果をフィードバックし、対話的に３次元を考慮した撮影状態とすることができる。

更に、別の発明として、コンピュータにより上記撮影方法を実行するためのプログラムに特徴がある。よって、撮影方法を汎用的に撮像システム又は撮影装置に適用でき、既存の構成を変えることなく、被写体の位置、傾きや向きを解析し、解析結果をフィードバックし、対話的に３次元を考慮した撮影状態とすることができる。

本発明の撮影システムによれば、被写体の撮影状態を解析して解析結果をフィードバックするので、対話的に３次元を考慮した撮影状態とすることができる。

図１は本発明の第１の実施の形態例に係る撮影システム全体構成を示す概略構成図である。また、図２は図１の画像処理システムの内部構成を示すブロック図である。なお、図１におけるカメラ１１はステレオカメラであるため、撮影座標系は図３に示すとおり、カメラ１１の中心を通る座標系を採用する。図１に示すように、カメラ１１に対する視線と、カメラ１１からのフィードバック情報を表示するディスプレイ１２の画像に対する視線を一致できるように、ハーフミラー１３を経由して両者を見ることができるよう構成してある。このような構成により、カメラ１１とカメラ１１が撮影した画像とを同時に見ることができ、撮影時に視線が不自然な方向を見ることを防ぐことができる。ここでは説明の都合上、２つの拘束条件を設ける。第１の拘束条件は、図１の撮影システムを既知の照明環境に設置するものとする。第２の拘束条件は、撮影するべき被写体画像を、図４に示すような真正面のポートレイト画像のみとする。第１の拘束条件により、野外の環境等でしばしば発生する、未知の光源による色かぶりなどを防ぐことができる。また、第２の拘束条件により、制約を設けないポーズ撮影時にしばしば発生する、セルフ・オクルージョン（自己隠蔽）問題を防ぐことができ、よって２台のカメラのみにて正確な被写体のポーズ計測が行えるようになる。図１のディスプレイ１２には、カメラ１１による撮影画像を表示する。

図２は第１の実施の形態例の撮影システムのシステム構成を示すブロック図である。同図において、画像の入力手段としてカメラ１１があり、画像やガイダンスの表示用にディスプレイ１２が、また被写体からの指示を入力する装置として入力装置１４がある。ここでのカメラ１１は図３に示すようなステレオカメラである。また、入力装置１４は、ボタンやスイッチ類で構成されている。画像処理システム１００の内部は、情報処理や全体の動作の制御を行う情報処理部１０１、システムＯＳやプリントプロセスに必要な各種制御プログラム、プリント処理プログラム、システムの初期設定値、そして本発明の撮影方法を実行するためのプログラムなどを格納したＲＯＭや、ワークメモリ用のＲＡＭ、ＨＤＤなどの情報記憶部１０２、カメラ１１及びディスプレイ１２並びに入力装置１４の入出力を制御するＩ／Ｏコントローラ１０３、プリントエンジン１０５への情報の入出力制御を行うエンジンコントローラ１０４が内部バス１０５を介してそれぞれ接続されている。そして、プリントするべきデータは、情報記憶部１０２からエンジンコントローラ１０４を経由してプリントエンジン１０６に送られる。そして、このプリントエンジン１０６は、プリント処理の各プロセスを制御するモジュール、例えばレーザープリンタであれば、帯電、露光、転写、定着、クリーニング等のプロセスに係わる部分である。なお、図２中の点線枠の物は、装置の外にあることを意味している。

また、カメラ１１は、画像データを単純に取り込むだけで、画像処理自体はカメラ側では行わない。情報処理部１０１は、カメラ１１より取得した画像を処理し、肌色領域の算出、顔面までの距離の測定、顔面端点の検出、顔面法線ベクトルの計算、ガイダンス情報の表示、表情認識などを行う。画像を処理に係わるプログラムは、情報記憶部１０２に格納されており、必要に応じて実行する。予め初期設定が必要な情報、例えば、ポートレイト画像における顔面の中心座標と、サイズ、顔を構成する部品の探索領域の相対座標値、教師ベクトル、教師ベクトルと顔面ベクトルとの誤差の許容値などは、電源を切っても消えないように、ＲＯＭか、ＨＤＤ内に格納しておく（ただし図２では、作図の関係上、電源スイッチと、電源は図示しない）。ガイダンス情報を表示する際には、もちろん顔画像とガイダンスに関する情報をオーバーレイ表示する必要がある。なお、一般に顔画像処理は、計算量が大きく、情報処理部の能力に対して負荷が大きすぎる場合には、画像処理専用プロセッサを情報処理部に実装することで、実現しても良い。また、ガイダンスは、ディスプレイ１２上に表示するものとしたが、表示と同時に音声を出力するように構成してもよい。この場合は、図２のシステムに、スピーカ、アンプ、Ｄ／Ａコンバータ、及び音声データを情報記憶部１０２に用意し、表示と同時に対応する音声データを再生するように構成することで、容易に実現できる。音声によるガイダンスは、被写体が普段メガネを着用していて、撮影用に眼鏡を外しているような場合には、特に効果的に作用する。音声はデータ量が大きいために、公知の圧縮技術を用いて、圧縮した音声データを情報記憶部１０２に用意するように構成する方が望ましい。

以上のようなシステム構成を有する第１の実施の形態例の撮影システムにおいて、図１の被写体端分でハーフミラー１３を経由してディスプレイ１２を見ながらカメラ１１との相対位置を自分の体を動かすことで調節できる。被写体が熟練者の場合には、何も指示を与えなくとも、図４に示すような正しい位置に正対できる。ところが、被写体が撮影に慣れていない場合には、上述したように図４のような正しい位置と向きとに顔を固定することができない。失敗の一例を図５の（ａ），（ｂ）及び（ｃ）に示す。図５の（ａ）は、カメラに対して近寄りすぎている例で、つまりＺ方向の距離が短い例であり、正しいポートレイト撮影をするためには、カメラとの相対距離を、Ｚ軸方向に離す必要がある。図５の（ｂ）は、撮影平面内（ＸＹ平面）でのフレーミングがズレている例で、正しいフレーミングにするためには、ＸＹ平面内で、顔を中央に平行移動させる必要がある。図５の（ｃ）は、顔の位置は正しいが、カメラ側から見て右肩が上がった状態であり、正しいポートレイト撮影のためには、右肩を下げる必要がある。

図１の画像処理システム１００は、このような入力画像における顔の位置と方向とを分析し、図４に示すような正しい正面ポートレイト画像ではない場合には、被写体にガイダンス情報を表示する。例として図６の場合において、画像処理システム１００側からの認識結果と、ガイダンス例を図７に示す。最初に、図６で示すように認識結果を被写体に文章でディスプレイ内にオーバーレイ表示し、さらに図７に示すように、正しい目標位置に被写体がＸＹ平面内で移動できるように、ガイダンス文との正しい位置の目標マーカー（図７中の点線部）とを図１のディスプレイ１２に表示する。なお、これら認識結果の表示やガイダンス文の表示時には、必要なら同時に音声の読み上げを併用して行っても良い。音声によるガイダンスは、被写体が普段メガネを着用していて、撮影用に眼鏡を外していてガイダンス文がよく見えないような場合には特に有用である。別な認識結果とガイダンス文の表示例を図８及び図９に示す。図８の（ａ）は、Ｚ方向の距離とＸＹ平面内の位置は正しいが、被写体の顔が傾いていてＸＹ平面内での顔の回転が必要な例である。画像処理システム１００は、このような場合、認識結果を図８の（ｂ）のように被写体に文章でディスプレイ内にオーバーレイ表示し、さらに図９のようにガイダンス文と正しい位置の目標マーカー（図９中の点線部）との表示を行う。ここでも同様に、必要なら同時に音声で誘導を行っても良い。

次に、第１の実施の形態例における撮像システムにおける画像処理システムの処理手順について当該処理手順を示すフローチャートである図１０に従って説明する。
先ず、図１１に示す入力画像から肌色情報を用いて図１２に示すような顔の領域（以下顔領域と称す）を特定する（ステップＳ１０１；ＹＥＳ）。本実施の形態例では照明環境が固定で既知であるため、肌色検出も良好に動作する。次に、図１２に示すように顔領域の中心部（以下鼻頂点探索領域と称す）に対して、カメラ画像を用いて鼻頂点とその座標の算出を行う（ステップＳ１０２）。本実施の形態例におけるカメラは、ステレオカメラであるため、ステレオ画像による距離計測により、容易に鼻頂点の座標を求めることができる。距離計測は、本来は中心部だけではなく、肌色領域全面に対して行った方がよいが、ステレオ画像計測は、情報処理負荷が大きいため、計算量削減のため、このような前処理を行っている。次に、顔の面積を求めて許容範囲内にあるか否かを判定する（ステップＳ１０３，Ｓ１０５）。顔の面積が許容範囲の上限値（Ｔｈ０１）より超えている場合カメラから離れるように促すガイダンスを表示し（ステップＳ１０３；ＮＯ、ステップＳ１０４）、顔の面積が許容範囲の下限値（Ｔｈ０２）より小さい場合カメラに近づくように促すガイダンスを表示する（ステップＳ１０５；ＮＯ、ステップＳ１０６）。

そして、鼻頂点座標が求まると、顔領域内における相対座標を用いて、顔を構成するパーツの座標を求める。具体的には、最初に図１３に示すような探索領域を、両眉、両眼、口の合計５ヶ所、鼻頂点からの相対座標を用いて設定する（ステップＳ１０７、Ｓ１０８）。探索領域を設定する理由は、端点検出の安定性を高めるためと、計算量削減の２つの効果がある。次に、各探索領域内で、画像処理によりエッジ情報を取得し、このエッジ情報を用いて左右の端点を求める。この際、必要ならば、探索領域内でステレオ計測を行い、距離情報とエッジ情報とを併用して端点を求めても良い。特に、目と口との端点に関しては、距離情報は効果的に活用できる。さらに必要ならば、さらに目と口との開口度を知るために、目と口の上下端点を求めておいてもよいが、単に顔の向きを知る目的だけであれば、目と口の上下端点まで求める必要はない。

ここで、図１４に示すように求めた１６個の端点の内、端点１，２，３，４，７，８，９，１０，１３，１４、（ただし、目と口の上下の端点５，６，１１，１２，１５，１６を含むなら全ての１６個の端点）のうちから３点を選び、三次元空間内で、３点を通る平面とその法線ベクトル作成する。このときの様子を図１５及び図１６に示す。図１５及び図１６では、例として端点２，端点７，端点１４を通る平面を構成し、その法線ベクトルを図示している。ここで、３点を通る平面は、顔の向きそのものであり、法線ベクトルは顔面の向きを示す情報である。正面顔画像のポートレイト撮影において、法線ベクトルは理想的には図３の座標系に従って、（０，０，−１）を示すはずである。この法線ベクトルを教師ベクトルと呼ぶこととする。顔面の法線ベクトルを得るには、理論的には空間上の３点の情報を与えるだけで必要十分であるが、上記のように最初の段階ではあえて冗長な情報を算出している。これは、顔面の角度の問題と、個人差の問題が存在するからである。前者の顔面の角度の問題とは、例えば、カメラ側から見て被写体が大きく左を向いた場合には、自己隠蔽（一般に、セルフ・オクルージョンと呼ばれる）によって一部の端点がカメラから見えなくなるからである。例えばカメラから見て被写体の顔が左を向いた場合には、端点１，３，１３などが検出できなくなることを意味する。後者の個人差とは、例えば、髪型によっては、眉の端点１，２，７，８の一部または全部が隠れて見えなくなる場合や、女性などで眉が極端に薄く、そもそも画像として全く認識できない場合などのことを意味する。法線ベクトルの検出精度の点では、３点間の距離、具体的には図１５中の三角形の周長は、長い方が精度は良くなる。例えば、図１４の端点４，９，１４で構成するよりも、端点１，８，１４で構成する方が精度は良くなる。なお、最初に求めた１０個の端点のうちから、どの３点を選んで構成するかは、システム設計者が自由に選んで良い。

ここまでの処理で、図１０のステップＳ１０９の顔面の法線ベクトルが求まったので、以後、予め記憶してある教師ベクトルとの誤差評価を行い、評価結果を被写体にフィードバックすればよい。ここでは、ＸＹ平面、ＸＺ平面、ＹＺ平面の順番に、教師ベクトルとの誤差が、予め設定した閾値以下であるか、それぞれ評価を行う（ステップＳ１１０、Ｓ１１２、Ｓ１１４）。先ず、ＸＹ平面内の評価では、誤差が閾値（ＴＨ０３）以上である場合には、「顔をまっすぐ縦に」とガイダンスの表示を行う（ステップＳ１１０；ＮＯ、ステップＳ１１１）。このときの様子は既に図７で示したとおりである。次に、ＸＺ平面内の評価では、誤差が閾値（Ｔｈ０４）以上である場合には、Ｙ軸を中心に顔が必要以上に回転している状態であるため、「顔を右へ（又は左へ）回して正面に」とガイダンスの表示を行う（ステップＳ１１２；ＮＯ、ステップＳ１１３）。最後に、ＹＺ平面内の評価を行う（ステップＳ１１４）。このとき、顔が上方を向いている場合には「顔が上を向いています。あごを引いて下さい」とガイダンス表示を行い、顔が下方を向いている場合には、逆に「顔が下向いています。あごを前に出して下さい」とガイダンス表示を行う（ステップＳ１１４；ＮＯ、ステップＳ１１５）。続いて、肩の位置の評価を行う。肩の位置の検出は、図１７に示すように、正面ポートレイト画像から顔と背景領域を除いた部分に対して、画像処理で左右の直線検出を行い、Ｘ軸からの傾き（θ１，θ２）を求める（ステップＳ１１６）。このように検出した肩の位置は、右肩か左肩、どちらかの位置がＹ＋方向に持ち上がっている場合には肩を下げるようにガイダンスの表示を行う（ステップＳ１１７；ＮＯ、ステップＳ１１８）。以上の手順で頭と体の位置と向きとを、対話的に調節できたので、その後は撮影を行えばよいだけである（ステップＳ１１９）。

ここで、さらに被写体の表情に関してガイダンスの表示を行うことも可能である。図１４に示した端点の位置は既に得ているので、これら端点の位置情報を使って、情報処理部が表情認識を行う。ヒトの表情と、表情認識については、７０年代にPaul Ekmanらの研究により、「ヒトの基本表情は６つである」ということが明らかになっていて、その認識は、Facial Action Coding System、（通常略してＦＡＣＳと呼ばれる）として既に体系化され、完成されている。ＦＡＣＳでは、顔面を目視で確認できる複数のAction Unit（略してＡＵと呼ばれる）に分割し、表情をAUの動きによって定義する。ＦＡＣＳの定義する幸福（Happiness）の表情は、図１４における端点を用いて、図１８のように示すことができる。図１８で示すように、口の両端と、鼻の頂点を通るＸ軸に水平な基準線への距離（Ｍ１，Ｍ２）と、目の幅（ＥＷ１，ＥＷ２）の４つの変数の収縮によって、検知することができる。顔面における変数の定義と、基本６表情との対応は、情報記憶部に予め格納しておけばいい。これにより、被写体の表情を分析することが可能になり、そこから、怒り(anger)、嫌悪(disgust)などの表情を検知したときには、「撮影前に、少しリラックスしましょう」、あるいは「少し笑ってみてください」というガイダンス文を提示し、より好ましいポートレイト画像の撮影を行うことが可能になる。

なお、以上の説明において、ガイダンス文は、検出した方向と対応するものとしたが、検出した距離（あるいは誤差）に対応して、ガイダンス文に副詞を付けるように構成してもよい。例えば、誤差の大きいときは、「大きく動かす」、逆に誤差の小さいときは、「僅かに動かす」、などと表示することで、よりわかりやすい誘導を行うことが可能になる。

また、図１に示すようにハーフミラーを用いた撮影システムを例に取ったが、被写体とカメラとの距離を十分長く取り、かつカメラとディスプレイとの距離を短くして設置できる場合には、図１のハーフミラー１３は必ずしも必要ではない、このときの撮影システムの構成例を図１９に示す。これは、カメラまでの距離が十分長ければカメラへの視線と、ディスプレイへの視線をほぼ並行と見なせるためである。

次に、第１の実施の形態例においては、図１０に示すように、顔を構成するパーツの探索領域の設定を行なってから、顔の向きの検出、そして評価を行っていたが、これでは処理に多少の時間を要する。そこで、第２の実施の形態例では、顔を構成するパーツの探索領域の設定と顔の向きの検出とを同時に行う。以下に第２の実施の形態例について概説することとする。

図２０は本発明の第２の実施の形態例に係る撮影システムによる撮影時のデータ処理を示すフローチャートである。
同図において、最初にカメラは前方の画像を監視し、顔画像の有無をチェックする（ステップＳ２０１）。顔画像の有無の検出手法は、近年数多く提案されている。一例としては、「ピクセル差分特徴を用いた実時間顔検出器の学習」（著者：佐部浩太郎・日台健一、2004年 第１０回画像センシングシンポジウム）に示されている、ピクセル差分特徴法などが挙げられる。検出した顔画像領域に対してのみ、ステレオ計測を実施し、奥行き画像（いわゆる距離画像）を取得する（ステップＳ２０２）。顔領域に対してのみステレオ計測を実施するのは、処理の軽量化のためである。得られた距離画像をＸ軸方向、Ｙ軸方向ごとに射影を取る。いわゆるプロファイルを作成する（ステップＳ２０３、Ｓ２０４）。Ｘ方向のプロファイルの例を図２１に示す。図２１に示すように、プロファイルを取ることで、顔面をＺ軸（頭頂方向）から見たような射影が得られる。Ｘ方向プロファイルでは、鼻の頂点Ｘ座標と、グラフの極小部が対応するため、単純にグラフ極小部の検出のみで、鼻頂点のＸ座標（グラフ中のＸ０）を容易に得ることができる。これに対してＹ方向のプロファイルの例を図２２に示す。図２２に示すように、観測可能な特徴点は大きく次の６点である。

ＥＢ：眉の盛り上がった位置（眉間点）に対応する。
Ｙ０：鼻の付け根（鼻根点）、および目の位置に対応する。
Ｙ１：鼻の頂点（鼻尖点）に対応する。
Ｙ２：鼻の頂点の直下（鼻下点）に位置し、鼻の穴のあたりに対応する。
Ｙ３：唇の頂点（口裂点）に対応する。
ＣＨ：あごの平坦部領域に対応する。

これら６点のうち、比較的安定して取得できるのは、曲率の大きいＹ０，Ｙ１，Ｙ２の３点である。ところがＹ０は、メガネ着用の場合には検出が難しくなる。また、Ｙ２は、カメラに対する顔の角度によっては、検出が難しい。従って、Ｙ方向のプロファイルでは、鼻の頂点と対応するＹ１の座標検出を行うのが、最も合理的である。Ｙ１の検出は、Ｙ方向プロファイルにおける最小点、または顔画像の中央部付近の極小点の検出を行うことで、安定的にＹ１の検出が可能である（ステップＳ２０５）。このようにして、鼻の頂点座標（Ｘ０，Ｙ１）を検出した後は、図２３に示すように顔画像内における鼻座標を中心とした比例配分で、両目、両眉、口の合計６箇所の探索領域を設定することができる（ステップＳ２０６、Ｓ２０７）。鼻座標を中心とした比例配分とすることで、例えば顔が下を向いた場合には、口の探索領域が相対的に小さくなり、逆に目、眉の探索領域は、相対的に大きくなる。顔が左右を向いた場合にも、同様の効果が期待できる。この比例配分のパラメータは、予め画像撮影システム内に記憶しておけばいい。

一方で、鼻の頂点座標（Ｘ０，Ｙ１）を検出した後は、顔の向きの評価を行う。顔の向きの評価は、顔が傾くことで矩形の顔面画像内の鼻座標の変化することを利用する。この様子を図２３及び図２４を用いて説明する。図２３では中心と鼻の座標がほぼ一致する。ところが、図２４のようにカメラに対して右上方を向くと、鼻の頂点の座標も図２４のように変化する。Ｙ方向のズレ量（ＹＹ−Ｙ０）と、Ｘ方向のズレ量（ＸＸ−Ｘ０）とを検出し、それぞれのズレ量と変位角との対応をテーブル参照することで、上下、左右の変位角の検出を行う。ズレ量と変位角との対応を記録したテーブルは、予め画像撮影システム内に記憶しておけばいい。このようにすることで、顔を構成するパーツの探索領域の設定と、顔の向きの検出とが同時に行える。

また、正面ポートレイト画像を得るだけではなく、ここでは入力顔画像を加工することで、より積極的に被写体にとってより好ましい顔画像を得られる。第１の加工は、顔を細くすることである。従来、顔を細く見せる手法は、顔画像をＸ方向に単純縮小することしか方法がなかった。このため、得られた画像中では、目や、口なども、同じ縮小率で横幅が狭くなり、見た目に不自然な画像ができ上がるという問題点があった。上述したとおり、顔面の各部の端点位置が既に求まっているので、目や、口などのサイズを保存しながら、図２５に示すように、顔の輪郭のみを対象にＸ方向に縮小し、顔を細く見せることができる。具体的には、入力顔画像から、顔の領域を抜き出し、既に求まっている目や、口、眉の端点から、目、口や眉の領域をいったんマスクし、Ｘ方向に縮小処理を行い、目、口や眉の領域を上書きすることで実現する。どのくらい細くするか（Ｘ方向の縮小率）は、好みの差が大きいので、撮影者が対話的に数値などを入力することで実施するのが望ましい。

また、第２の加工としては、図２６の（ａ）に示すシミやホクロ、図２６の（ｂ）に示す薄いヒゲの消去などといった顔面の肌領域の平滑化である。顔を細くする手法と同様に、目、口、眉といった、本来加工してはいけない特徴領域をマスクした上で、肌領域のみを対象に平滑化処理することで、薄いシミ、小じわ、小さなホクロ、薄いひげなどを、ある程度まで目立たなくすることができる。この場合は、処理対象領域を選択的にユーザが指定するようにシステムを構成しておいても良い。例えば、マウス等の適当なポインティングデバイスを用いて、操作者が対象とする領域をクリックして指定することで対象領域の指定が可能である。このような場合、従来は、対象領域を手作業で切り出す必要であった。これに対して、本発明によるシステムでは、操作対象としてはいけない目、口、眉といった領域が既に特定できているので、加工するべき顔面の特定の領域の選択が、簡単に選択可能である。例えば、図２６の（ａ）のホクロの領域を操作者がマウス等のポインティングデバイスで指定した場合には、システムは、「右目よりも下、鼻よりも右、口よりも上」の条件を満たす肌色領域（右ほほ）を加工対象とすることがわかる。同様に、図２６の（ｂ）であごの領域を操作者が指定した場合には、システムでは、「口よりも下」の条件を満たす肌色領域を加工対象とすればよいことがわかる。このようにして、加工対象領域を明示的にユーザが指定することで、特定部位に対してのみ、より強い平滑化処理も可能になる。

更に、第３の加工としては、黒目の加工である。既に目の領域の特定ができているので、目領域のみを対象に、黒画素領域の円形検出を行うことで、高速、かつ安定的に黒目領域を得ることができる。従来の手法では、手作業で黒目領域を切り出すしか、領域特定の方法はなかった。得られた黒目領域を、グレー、茶色、青など着色する。図２６の（ｃ）はグレーで着色した例である。色は好みの差が大きいので、ユーザが対話的に色指定をすることで実施するのが望ましい。

また、第４の加工としては、髪の加工である。顔面における眉の領域が既に特定できているので、図２７に示すように眉より上の黒領域を髪領域として特定することができる。単純に黒画素を使っただけでは、眉と髪との位置が接近しているため、眉と髪とを自動で分離することが難しかったが、上述した本発明による撮影システムでは、Ｚ方向の距離情報を使うことで眉領域の分離が精度良くできるため、髪領域の分離も容易にできる。特定した髪領域ついては、黒目の着色処理と同様に、好みの色で着色することが可能になる。同様に、髪型の変形も可能である。この場合には、髪型のテンプレート画像を予めシステム上に用意し、図２２の（ｂ）に示すように、ユーザの好みによって選択した髪型のテンプレートと差し替えることで髪型の変形も可能である。

ここで、このような加工のために、図１及び図２並びに図１９の入力装置１４として、ユーザの好みの色、顔の変形率、好みの髪型などを選択、入力できるように、マウス、キーボード（テンキー）、あるいは、光学ペンなどを装備している。髪型の変形を実施する場合には、髪型のバリエーションを、テンプレート画像として、情報記憶部に予め格納しておく必要がある。また、黒目の検出などで用いる円形検出プログラムも、同様に情報記憶部に予め格納しておき、必要に応じて実行する。

次に、図２８は本発明の撮影方法を実行するプログラムを起動するための具体的な装置の構成を示すブロック図である。つまり、同図は上記実施の形態例における撮影方法によるソフトウェアを実行するマイクロプロセッサ等から構築されるハードウェアを示すものである。同図において、撮影システムはインターフェース（以下Ｉ／Ｆと略す）２０１、ＣＰＵ２０２、ＲＯＭ２０３、ＲＡＭ２０４、表示装置２０５、ハードディスク２０６、キーボード２０７及びＣＤ−ＲＯＭドライブ２０８を含んで構成されている。また、汎用の処理装置を用意し、ＣＤ−ＲＯＭなどの読取可能な記録媒体２０９には、本発明の撮影方法を実行するプログラムが記憶されている。更に、Ｉ／Ｆ２０１を介して外部装置から制御信号が入力され、キーボード２０７によって操作者による指令又は自動的に本発明のプログラムが起動される。そして、ＣＰＵ２０２は当該プログラムに従って上述の撮影方法に伴う解析処理を施し、その解析結果をＲＡＭ２０４やハードディスク２０６等の記憶装置に格納し、必要により表示装置２０５などに出力する。以上のように、本発明の撮影方法を実行するプログラムが記録した記録媒体を用いることにより、既存のシステムを変えることなく、撮影システムを汎用的に構築することができる。

なお、本発明は上記実施の形態例に限定されるものではなく、特許請求の範囲内の記載であれば多種の変形や置換可能であることは言うまでもない。

本発明の第１の実施の形態例に係る撮影システム全体構成を示す概略構成図である。 図１の画像処理システムの内部構成を示すブロック図である。 撮影座標系を示す図である。 正しい位置と向きのポートレイト画像を示す図である。 正しくない位置と向きのポートレイト画像の例を示す図である。 認識結果のポートレイト画像の例を示す図である。 認識結果とガイダンス文の表示例を示す図である。 別な認識結果とガイダンス文の表示例を示す図である。 別な認識結果とガイダンス文の表示例を示す図である。 本発明の第１の実施の形態例における撮像システムにおける画像処理システムの処理手順を示すフローチャートである。 入力画像を示す図である。 顔領域と鼻頂点検索領域を示す図である。 入力顔画像での探索領域を示す図である。 入力顔画像におけるパーツの端点を示す図である。 ３点を通る平面とその法線ベクトルを示す図である。 三次元空間内で３点を通る平面とその法線ベクトルを示す図である。 肩の位置の検出の様子を示す図である。 顔の表情を検知する様子を示す図である。 別の撮影システムの構成例を示す概略構成図である。 本発明の第２の実施の形態例に係る撮影システムによる撮影時のデータ処理を示すフローチャートである。 Ｘ方向のプロファイルの例を示す図である。 Ｙ方向のプロファイルの例を示す図である。 入力顔画像での探索領域を示す図である。 顔が右上方を向いた場合のズレた鼻の頂点の座標検出の様子を示す図である。 顔の輪郭の加工の様子を示す図である。 顔における特定の領域の加工の様子を示す図である。 髪領域の加工の様子を示す図である。 本発明の撮影方法を実行するプログラムを起動するための具体的な装置の構成を示すブロック図である。

符号の説明

１１；カメラ、１２；ディスプレイ、１３；ハーフミラー、
１４；入力装置、１００；画像処理システム、１０１；情報処理部、
１０２；情報記憶部、１０３；Ｉ／Ｏコントローラ、
１０４；エンジンコントローラ、１０５；内部バス、
１０６；プリントエンジン、１０７；給・排紙部。

Claims (20)

1. 被写体を撮影する撮像手段と、
   該撮像手段によって得た被写体の画像を解析する画像解析手段と、
   該画像解析手段による解析結果を被写体に報知する報知手段と
   を具備することを特徴とする撮影システム。
2. 前記画像解析手段は、前記撮像手段によって得た被写体の画像の面積を求めて所定の面積と比較して前記撮像手段と被写体との相対的位置関係の遠近を検出する請求項１記載の撮影システム。
3. 前記撮像手段は２つ以上のカメラを含んで構成され、前記画像解析手段は各カメラによって撮影された画像を用いて前記撮像手段と被写体との相対的距離を計測する請求項１記載の撮影システム。
4. 前記画像解析手段は、被写体の種別に対して予め設定された探索領域内のパーツの端点を検出し、検出した端点に基づいて、フレーミングのズレを検出する請求項１記載の撮影システム。
5. 前記画像解析手段は、検出した端点に基づいて、被写体の傾きを検出する請求項１又は４に記載の撮影システム。
6. 前記画像解析手段は、検出した端点に基づいて、被写体の向きを検出する請求項１又は４に記載の撮影システム。
7. 前記画像解析手段は、被写体の矩形の探索領域の大きさ、傾き及び向きを検出して被写体自体の大きさ、傾き及び向きを解析する請求項１記載の撮影システム。
8. 被写体が顔である場合、前記画像解析手段は、顔に対する探索領域内の顔のパーツの端点に基づいて、顔の傾き、向き又は表情を検出する請求項１又は４に記載の撮影システム。
9. 被写体が顔である場合、前記画像解析手段は、前記撮像手段によって得た顔の画像の中央部付近の極小点を検出し、検出した極小点座標を鼻の頂点座標とし、鼻の頂点座標及び鼻の頂点座標を含む探索領域の各変位量を基に顔の傾き及び向きを解析する請求項１記載の撮影システム。
10. 前記報知手段は、前記画像解析手段による解析結果でズレが生じていた場合ズレを修正するガイダンスや修正位置を報知する請求項１〜９のいずれかに記載の撮影システム。
11. 前記撮像手段によって得た被写体の画像を加工する画像加工手段を有する請求項１〜１０のいずれかに記載の撮影システム。
12. 前記画像加工手段は、被写体の輪郭形状を加工する請求項１１記載の撮影システム。
13. 前記画像加工手段は、被写体の表面画像を加工する請求項１１記載の撮影システム。
14. 前記画像加工手段は、被写体の所定の領域を加工する請求項１１記載の撮影システム。
15. 前記画像加工手段は、被写体の色を加工する請求項１１記載の撮影システム。
16. 前記画像加工手段は、被写体の探索領域内のパーツの端点の座標値に比例して被写体の探索領域を変化させる請求項１１記載の撮影システム。
17. 被写体を撮影する前に仮に撮像した被写体の画像を解析し、解析結果を被写体に報知した上で被写体の撮影を実行することを特徴とする撮影方法。
18. 解析結果と、解析結果でズレが生じていた場合ズレを修正するガイダンスや修正位置とを報知する請求項１７記載の撮影方法。
19. 被写体を撮影する前に仮に撮像した被写体の画像から、被写体の種別に対して予め設定された探索領域内のパーツの端点を検出し、検出した端点に基づいて、被写体におけるフレーミングのズレを検出し、検出したズレを報知した上で被写体の撮影を実行することを特徴とする撮影方法。
20. コンピュータにより、請求項１７〜１９のいずれかに記載の撮影方法を実行するためのプログラム。
    

Images