JP2007043263A - 撮影システム、撮影方法及び該方法を実行するためのプログラム - Google Patents
撮影システム、撮影方法及び該方法を実行するためのプログラム Download PDFInfo
- Publication number
- JP2007043263A JP2007043263A JP2005222397A JP2005222397A JP2007043263A JP 2007043263 A JP2007043263 A JP 2007043263A JP 2005222397 A JP2005222397 A JP 2005222397A JP 2005222397 A JP2005222397 A JP 2005222397A JP 2007043263 A JP2007043263 A JP 2007043263A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- image
- imaging
- face
- imaging system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【課題】 本発明は、被写体の位置、傾きや向きを解析し、解析結果をフィードバックし、対話的に3次元を考慮した撮影状態とすることができる。
【解決手段】 本発明の撮影システムは、被写体を撮影する撮像手段と、撮像手段によって得た被写体の画像を解析する画像解析手段と、画像解析手段による解析結果を被写体に報知する報知手段とを具備している。
【選択図】 図1
【解決手段】 本発明の撮影システムは、被写体を撮影する撮像手段と、撮像手段によって得た被写体の画像を解析する画像解析手段と、画像解析手段による解析結果を被写体に報知する報知手段とを具備している。
【選択図】 図1
Description
本発明は撮影システム、撮影方法及び該方法を実行するためのプログラムに関し、詳細には撮影対象の被写体の位置、傾きや向きを検出して最適な撮影状態とする技術に関する。
情報処理技術の発展に伴い、近年、顔画像情報の処理が可能になってきた。顔画像情報処理は、監視カメラなど業務目的で使われることを想定した顔の有無の検知がそもそもの出発点であったが、最近では業務目的ではなく一般のエンドユーザ機器向けの技術も広がりつつある。具体的には、カメラに顔認識の機能を備えたものが提案されている。その一つとして、特許文献1は、そのような目的を達成するためのもので、被写体の顔の向き、目の開閉、視線、表情などを用いてシャッタ制御を行うことを可能にすることを狙っている。また、特許文献1では、幅広い技術が開示されているが、一般のエンドユーザの使用に堪えるには、2つの問題点がある。それは、照明条件(光源の種類、光量、順光、逆光など)が不定であるため、カメラ側で誤認識を生じやすく安定動作が難しいことと、そしてカメラ側から被写体に向かって認識した情報をフィードバックする仕組みが備わっていないことである。このため、どのようにすれば、具体的には、どのような姿勢、ポーズ、表情などを取れば正しくカメラ側が認識できるか、被写体は知る方法がない。
これら課題に関しては、次のような提案もなされている。特許文献2は、被写体の横方向のズレ量に基づき、データの読み出しシフトを行うことで、データ読み出し時に画像シフトを行い、フレーミングのズレ補正を行う。また、特許文献3では、定点観測撮影を行う場合に、定点からのズレを画像の差分で求めて、ガイダンスを表示する。また、特許文献4では、画像ブレの検知を画像の周波数解析で行い、画像ブレを検知した場合には、ランプの点滅又は警告音などで知らせる。
特開2001−51338号公報
特開平05−268513号公報
特開2004−112549号公報
特開2004−120256号公報
しかしながら、特許文献2及び特許文献3は、いずれも対象物の平面的な移動の検知に留まっており、このため被写体が人体のように複雑な関節構造を持ち、3次元空間内での移動と回転を行う場合には、単なるフレーミング補正(あるいはカメラ側だけの移動)だけでは、十分な補正が不可能である。また、特許文献4では、ランプまたは警告音によるフィードバックであるため、単に撮影に成功したか、失敗したかという結果の報知に留まり、どのようにすれば正しい撮影が可能なるかは、被写体は知ることができなかった。
本発明はこれらの問題点を解決するためのものであり、被写体の位置、傾きや向きを解析し、解析結果をフィードバックし、対話的に3次元を考慮した撮影状態とすることができる、撮影システム、撮影方法及び該方法を実行するためのプログラムを提供することを目的とする。
前記問題点を解決するために、本発明の撮影システムは、被写体を撮影する撮像手段と、撮像手段によって得た被写体の画像を解析する画像解析手段と、画像解析手段による解析結果を被写体に報知する報知手段とを具備している。よって、被写体の位置、傾きや向きを解析し、解析結果をフィードバックし、対話的に3次元を考慮した撮影状態とすることができる。
また、画像解析手段は、撮像手段によって得た被写体の画像の面積を求めて所定の面積と比較して撮像手段と被写体との相対的位置関係の遠近を検出することにより、被写体の位置を調整して最適な撮影状態とすることができる。
更に、撮像手段は2つ以上のカメラを含んで構成され、画像解析手段は各カメラによって撮影された画像を用いて撮像手段と被写体との相対的距離を計測することにより、被写体の位置を精度良く調整でき、より一層最適な撮影状態とすることができる。
また、画像解析手段は、被写体の種別に対して予め設定された探索領域内のパーツの端点を検出し、検出した端点に基づいて、フレーミングのズレを検出する。よって、フレーミングのズレを調整して最適な撮影状態とすることができる。
更に、画像解析手段は、検出した端点に基づいて、被写体の傾きを検出する。よって、被写体の傾きを調整して最適な撮影状態とすることができる。
また、画像解析手段は、検出した端点に基づいて、被写体の向きを検出する。よって、被写体の向きを調整して最適な撮影状態とすることができる。
更に、画像解析手段は、被写体の矩形の探索領域の大きさ、傾き及び向きを検出して被写体自体の大きさ、傾き及び向きを解析する。よって、被写体の位置、傾きや向きを調整して最適な撮影状態とすることができる。
また、被写体が顔である場合、画像解析手段は、顔に対する探索領域内の顔のパーツの端点に基づいて、顔の傾き、向き又は表情を検出することにより、対話的に3次元を考慮した最適なポーズ・姿勢を取らせることができるので、最適な撮影が可能になる。
更に、被写体が顔である場合、画像解析手段は、撮像手段によって得た顔の画像の中央部付近の極小点を検出し、検出した極小点座標を鼻の頂点座標とし、鼻の頂点座標及び鼻の頂点座標を含む探索領域の各変位量を基に顔の傾き及び向きを解析する。よって、探索領域の設定と顔の傾きや向きの検出が同時に行うことができると共に、対話的に3次元を考慮した最適なポーズ・姿勢を取らせることができるので、最適な撮影が可能になる。
また、報知手段は、画像解析手段による解析結果でズレが生じていた場合ズレを修正するガイダンスや修正位置を報知することにより、的確な修正を行うことができる。
更に、撮像手段によって得た被写体の画像を加工する画像加工手段を有することにより、より好ましい画像を得ることができる。
また、画像加工手段は、被写体の輪郭形状、表面画像、所定の領域又は色を加工することにより、所望の画像を得ることができる。
更に、画像加工手段は、被写体の探索領域内のパーツの端点の座標値に比例して被写体の探索領域を変化させることにより、被写体の探索領域を的確に決定することができる。
また、別の発明としての撮影方法によれば、被写体を撮影する前に仮に撮像した被写体の画像を解析し、解析結果を被写体に報知した上で被写体の撮影を実行する。よって、被写体の位置、傾きや向きを解析し、解析結果をフィードバックし、対話的に3次元を考慮した撮影状態とすることができる。
更に、解析結果と、解析結果でズレが生じていた場合ズレを修正するガイダンスや修正位置とを報知することにより、的確な修正を行うことができる。
また、別の発明としての撮影方法によれば、被写体を撮影する前に仮に撮像した被写体の画像から、被写体の種別に対して予め設定された探索領域内のパーツの端点を検出し、検出した端点に基づいて、被写体におけるフレーミングのズレを検出し、検出したズレを報知した上で被写体の撮影を実行する。よって、被写体の位置、傾きや向きを解析し、解析結果をフィードバックし、対話的に3次元を考慮した撮影状態とすることができる。
更に、別の発明として、コンピュータにより上記撮影方法を実行するためのプログラムに特徴がある。よって、撮影方法を汎用的に撮像システム又は撮影装置に適用でき、既存の構成を変えることなく、被写体の位置、傾きや向きを解析し、解析結果をフィードバックし、対話的に3次元を考慮した撮影状態とすることができる。
本発明の撮影システムによれば、被写体の撮影状態を解析して解析結果をフィードバックするので、対話的に3次元を考慮した撮影状態とすることができる。
図1は本発明の第1の実施の形態例に係る撮影システム全体構成を示す概略構成図である。また、図2は図1の画像処理システムの内部構成を示すブロック図である。なお、図1におけるカメラ11はステレオカメラであるため、撮影座標系は図3に示すとおり、カメラ11の中心を通る座標系を採用する。図1に示すように、カメラ11に対する視線と、カメラ11からのフィードバック情報を表示するディスプレイ12の画像に対する視線を一致できるように、ハーフミラー13を経由して両者を見ることができるよう構成してある。このような構成により、カメラ11とカメラ11が撮影した画像とを同時に見ることができ、撮影時に視線が不自然な方向を見ることを防ぐことができる。ここでは説明の都合上、2つの拘束条件を設ける。第1の拘束条件は、図1の撮影システムを既知の照明環境に設置するものとする。第2の拘束条件は、撮影するべき被写体画像を、図4に示すような真正面のポートレイト画像のみとする。第1の拘束条件により、野外の環境等でしばしば発生する、未知の光源による色かぶりなどを防ぐことができる。また、第2の拘束条件により、制約を設けないポーズ撮影時にしばしば発生する、セルフ・オクルージョン(自己隠蔽)問題を防ぐことができ、よって2台のカメラのみにて正確な被写体のポーズ計測が行えるようになる。図1のディスプレイ12には、カメラ11による撮影画像を表示する。
図2は第1の実施の形態例の撮影システムのシステム構成を示すブロック図である。同図において、画像の入力手段としてカメラ11があり、画像やガイダンスの表示用にディスプレイ12が、また被写体からの指示を入力する装置として入力装置14がある。ここでのカメラ11は図3に示すようなステレオカメラである。また、入力装置14は、ボタンやスイッチ類で構成されている。画像処理システム100の内部は、情報処理や全体の動作の制御を行う情報処理部101、システムOSやプリントプロセスに必要な各種制御プログラム、プリント処理プログラム、システムの初期設定値、そして本発明の撮影方法を実行するためのプログラムなどを格納したROMや、ワークメモリ用のRAM、HDDなどの情報記憶部102、カメラ11及びディスプレイ12並びに入力装置14の入出力を制御するI/Oコントローラ103、プリントエンジン105への情報の入出力制御を行うエンジンコントローラ104が内部バス105を介してそれぞれ接続されている。そして、プリントするべきデータは、情報記憶部102からエンジンコントローラ104を経由してプリントエンジン106に送られる。そして、このプリントエンジン106は、プリント処理の各プロセスを制御するモジュール、例えばレーザープリンタであれば、帯電、露光、転写、定着、クリーニング等のプロセスに係わる部分である。なお、図2中の点線枠の物は、装置の外にあることを意味している。
また、カメラ11は、画像データを単純に取り込むだけで、画像処理自体はカメラ側では行わない。情報処理部101は、カメラ11より取得した画像を処理し、肌色領域の算出、顔面までの距離の測定、顔面端点の検出、顔面法線ベクトルの計算、ガイダンス情報の表示、表情認識などを行う。画像を処理に係わるプログラムは、情報記憶部102に格納されており、必要に応じて実行する。予め初期設定が必要な情報、例えば、ポートレイト画像における顔面の中心座標と、サイズ、顔を構成する部品の探索領域の相対座標値、教師ベクトル、教師ベクトルと顔面ベクトルとの誤差の許容値などは、電源を切っても消えないように、ROMか、HDD内に格納しておく(ただし図2では、作図の関係上、電源スイッチと、電源は図示しない)。ガイダンス情報を表示する際には、もちろん顔画像とガイダンスに関する情報をオーバーレイ表示する必要がある。なお、一般に顔画像処理は、計算量が大きく、情報処理部の能力に対して負荷が大きすぎる場合には、画像処理専用プロセッサを情報処理部に実装することで、実現しても良い。また、ガイダンスは、ディスプレイ12上に表示するものとしたが、表示と同時に音声を出力するように構成してもよい。この場合は、図2のシステムに、スピーカ、アンプ、D/Aコンバータ、及び音声データを情報記憶部102に用意し、表示と同時に対応する音声データを再生するように構成することで、容易に実現できる。音声によるガイダンスは、被写体が普段メガネを着用していて、撮影用に眼鏡を外しているような場合には、特に効果的に作用する。音声はデータ量が大きいために、公知の圧縮技術を用いて、圧縮した音声データを情報記憶部102に用意するように構成する方が望ましい。
以上のようなシステム構成を有する第1の実施の形態例の撮影システムにおいて、図1の被写体端分でハーフミラー13を経由してディスプレイ12を見ながらカメラ11との相対位置を自分の体を動かすことで調節できる。被写体が熟練者の場合には、何も指示を与えなくとも、図4に示すような正しい位置に正対できる。ところが、被写体が撮影に慣れていない場合には、上述したように図4のような正しい位置と向きとに顔を固定することができない。失敗の一例を図5の(a),(b)及び(c)に示す。図5の(a)は、カメラに対して近寄りすぎている例で、つまりZ方向の距離が短い例であり、正しいポートレイト撮影をするためには、カメラとの相対距離を、Z軸方向に離す必要がある。図5の(b)は、撮影平面内(XY平面)でのフレーミングがズレている例で、正しいフレーミングにするためには、XY平面内で、顔を中央に平行移動させる必要がある。図5の(c)は、顔の位置は正しいが、カメラ側から見て右肩が上がった状態であり、正しいポートレイト撮影のためには、右肩を下げる必要がある。
図1の画像処理システム100は、このような入力画像における顔の位置と方向とを分析し、図4に示すような正しい正面ポートレイト画像ではない場合には、被写体にガイダンス情報を表示する。例として図6の場合において、画像処理システム100側からの認識結果と、ガイダンス例を図7に示す。最初に、図6で示すように認識結果を被写体に文章でディスプレイ内にオーバーレイ表示し、さらに図7に示すように、正しい目標位置に被写体がXY平面内で移動できるように、ガイダンス文との正しい位置の目標マーカー(図7中の点線部)とを図1のディスプレイ12に表示する。なお、これら認識結果の表示やガイダンス文の表示時には、必要なら同時に音声の読み上げを併用して行っても良い。音声によるガイダンスは、被写体が普段メガネを着用していて、撮影用に眼鏡を外していてガイダンス文がよく見えないような場合には特に有用である。別な認識結果とガイダンス文の表示例を図8及び図9に示す。図8の(a)は、Z方向の距離とXY平面内の位置は正しいが、被写体の顔が傾いていてXY平面内での顔の回転が必要な例である。画像処理システム100は、このような場合、認識結果を図8の(b)のように被写体に文章でディスプレイ内にオーバーレイ表示し、さらに図9のようにガイダンス文と正しい位置の目標マーカー(図9中の点線部)との表示を行う。ここでも同様に、必要なら同時に音声で誘導を行っても良い。
次に、第1の実施の形態例における撮像システムにおける画像処理システムの処理手順について当該処理手順を示すフローチャートである図10に従って説明する。
先ず、図11に示す入力画像から肌色情報を用いて図12に示すような顔の領域(以下顔領域と称す)を特定する(ステップS101;YES)。本実施の形態例では照明環境が固定で既知であるため、肌色検出も良好に動作する。次に、図12に示すように顔領域の中心部(以下鼻頂点探索領域と称す)に対して、カメラ画像を用いて鼻頂点とその座標の算出を行う(ステップS102)。本実施の形態例におけるカメラは、ステレオカメラであるため、ステレオ画像による距離計測により、容易に鼻頂点の座標を求めることができる。距離計測は、本来は中心部だけではなく、肌色領域全面に対して行った方がよいが、ステレオ画像計測は、情報処理負荷が大きいため、計算量削減のため、このような前処理を行っている。次に、顔の面積を求めて許容範囲内にあるか否かを判定する(ステップS103,S105)。顔の面積が許容範囲の上限値(Th01)より超えている場合カメラから離れるように促すガイダンスを表示し(ステップS103;NO、ステップS104)、顔の面積が許容範囲の下限値(Th02)より小さい場合カメラに近づくように促すガイダンスを表示する(ステップS105;NO、ステップS106)。
先ず、図11に示す入力画像から肌色情報を用いて図12に示すような顔の領域(以下顔領域と称す)を特定する(ステップS101;YES)。本実施の形態例では照明環境が固定で既知であるため、肌色検出も良好に動作する。次に、図12に示すように顔領域の中心部(以下鼻頂点探索領域と称す)に対して、カメラ画像を用いて鼻頂点とその座標の算出を行う(ステップS102)。本実施の形態例におけるカメラは、ステレオカメラであるため、ステレオ画像による距離計測により、容易に鼻頂点の座標を求めることができる。距離計測は、本来は中心部だけではなく、肌色領域全面に対して行った方がよいが、ステレオ画像計測は、情報処理負荷が大きいため、計算量削減のため、このような前処理を行っている。次に、顔の面積を求めて許容範囲内にあるか否かを判定する(ステップS103,S105)。顔の面積が許容範囲の上限値(Th01)より超えている場合カメラから離れるように促すガイダンスを表示し(ステップS103;NO、ステップS104)、顔の面積が許容範囲の下限値(Th02)より小さい場合カメラに近づくように促すガイダンスを表示する(ステップS105;NO、ステップS106)。
そして、鼻頂点座標が求まると、顔領域内における相対座標を用いて、顔を構成するパーツの座標を求める。具体的には、最初に図13に示すような探索領域を、両眉、両眼、口の合計5ヶ所、鼻頂点からの相対座標を用いて設定する(ステップS107、S108)。探索領域を設定する理由は、端点検出の安定性を高めるためと、計算量削減の2つの効果がある。次に、各探索領域内で、画像処理によりエッジ情報を取得し、このエッジ情報を用いて左右の端点を求める。この際、必要ならば、探索領域内でステレオ計測を行い、距離情報とエッジ情報とを併用して端点を求めても良い。特に、目と口との端点に関しては、距離情報は効果的に活用できる。さらに必要ならば、さらに目と口との開口度を知るために、目と口の上下端点を求めておいてもよいが、単に顔の向きを知る目的だけであれば、目と口の上下端点まで求める必要はない。
ここで、図14に示すように求めた16個の端点の内、端点1,2,3,4,7,8,9,10,13,14、(ただし、目と口の上下の端点5,6,11,12,15,16を含むなら全ての16個の端点)のうちから3点を選び、三次元空間内で、3点を通る平面とその法線ベクトル作成する。このときの様子を図15及び図16に示す。図15及び図16では、例として端点2,端点7,端点14を通る平面を構成し、その法線ベクトルを図示している。ここで、3点を通る平面は、顔の向きそのものであり、法線ベクトルは顔面の向きを示す情報である。正面顔画像のポートレイト撮影において、法線ベクトルは理想的には図3の座標系に従って、(0,0,−1)を示すはずである。この法線ベクトルを教師ベクトルと呼ぶこととする。顔面の法線ベクトルを得るには、理論的には空間上の3点の情報を与えるだけで必要十分であるが、上記のように最初の段階ではあえて冗長な情報を算出している。これは、顔面の角度の問題と、個人差の問題が存在するからである。前者の顔面の角度の問題とは、例えば、カメラ側から見て被写体が大きく左を向いた場合には、自己隠蔽(一般に、セルフ・オクルージョンと呼ばれる)によって一部の端点がカメラから見えなくなるからである。例えばカメラから見て被写体の顔が左を向いた場合には、端点1,3,13などが検出できなくなることを意味する。後者の個人差とは、例えば、髪型によっては、眉の端点1,2,7,8の一部または全部が隠れて見えなくなる場合や、女性などで眉が極端に薄く、そもそも画像として全く認識できない場合などのことを意味する。法線ベクトルの検出精度の点では、3点間の距離、具体的には図15中の三角形の周長は、長い方が精度は良くなる。例えば、図14の端点4,9,14で構成するよりも、端点1,8,14で構成する方が精度は良くなる。なお、最初に求めた10個の端点のうちから、どの3点を選んで構成するかは、システム設計者が自由に選んで良い。
ここまでの処理で、図10のステップS109の顔面の法線ベクトルが求まったので、以後、予め記憶してある教師ベクトルとの誤差評価を行い、評価結果を被写体にフィードバックすればよい。ここでは、XY平面、XZ平面、YZ平面の順番に、教師ベクトルとの誤差が、予め設定した閾値以下であるか、それぞれ評価を行う(ステップS110、S112、S114)。先ず、XY平面内の評価では、誤差が閾値(TH03)以上である場合には、「顔をまっすぐ縦に」とガイダンスの表示を行う(ステップS110;NO、ステップS111)。このときの様子は既に図7で示したとおりである。次に、XZ平面内の評価では、誤差が閾値(Th04)以上である場合には、Y軸を中心に顔が必要以上に回転している状態であるため、「顔を右へ(又は左へ)回して正面に」とガイダンスの表示を行う(ステップS112;NO、ステップS113)。最後に、YZ平面内の評価を行う(ステップS114)。このとき、顔が上方を向いている場合には「顔が上を向いています。あごを引いて下さい」とガイダンス表示を行い、顔が下方を向いている場合には、逆に「顔が下向いています。あごを前に出して下さい」とガイダンス表示を行う(ステップS114;NO、ステップS115)。続いて、肩の位置の評価を行う。肩の位置の検出は、図17に示すように、正面ポートレイト画像から顔と背景領域を除いた部分に対して、画像処理で左右の直線検出を行い、X軸からの傾き(θ1,θ2)を求める(ステップS116)。このように検出した肩の位置は、右肩か左肩、どちらかの位置がY+方向に持ち上がっている場合には肩を下げるようにガイダンスの表示を行う(ステップS117;NO、ステップS118)。以上の手順で頭と体の位置と向きとを、対話的に調節できたので、その後は撮影を行えばよいだけである(ステップS119)。
ここで、さらに被写体の表情に関してガイダンスの表示を行うことも可能である。図14に示した端点の位置は既に得ているので、これら端点の位置情報を使って、情報処理部が表情認識を行う。ヒトの表情と、表情認識については、70年代にPaul Ekmanらの研究により、「ヒトの基本表情は6つである」ということが明らかになっていて、その認識は、Facial Action Coding System、(通常略してFACSと呼ばれる)として既に体系化され、完成されている。FACSでは、顔面を目視で確認できる複数のAction Unit(略してAUと呼ばれる)に分割し、表情をAUの動きによって定義する。FACSの定義する幸福(Happiness)の表情は、図14における端点を用いて、図18のように示すことができる。図18で示すように、口の両端と、鼻の頂点を通るX軸に水平な基準線への距離(M1,M2)と、目の幅(EW1,EW2)の4つの変数の収縮によって、検知することができる。顔面における変数の定義と、基本6表情との対応は、情報記憶部に予め格納しておけばいい。これにより、被写体の表情を分析することが可能になり、そこから、怒り(anger)、嫌悪(disgust)などの表情を検知したときには、「撮影前に、少しリラックスしましょう」、あるいは「少し笑ってみてください」というガイダンス文を提示し、より好ましいポートレイト画像の撮影を行うことが可能になる。
なお、以上の説明において、ガイダンス文は、検出した方向と対応するものとしたが、検出した距離(あるいは誤差)に対応して、ガイダンス文に副詞を付けるように構成してもよい。例えば、誤差の大きいときは、「大きく動かす」、逆に誤差の小さいときは、「僅かに動かす」、などと表示することで、よりわかりやすい誘導を行うことが可能になる。
また、図1に示すようにハーフミラーを用いた撮影システムを例に取ったが、被写体とカメラとの距離を十分長く取り、かつカメラとディスプレイとの距離を短くして設置できる場合には、図1のハーフミラー13は必ずしも必要ではない、このときの撮影システムの構成例を図19に示す。これは、カメラまでの距離が十分長ければカメラへの視線と、ディスプレイへの視線をほぼ並行と見なせるためである。
次に、第1の実施の形態例においては、図10に示すように、顔を構成するパーツの探索領域の設定を行なってから、顔の向きの検出、そして評価を行っていたが、これでは処理に多少の時間を要する。そこで、第2の実施の形態例では、顔を構成するパーツの探索領域の設定と顔の向きの検出とを同時に行う。以下に第2の実施の形態例について概説することとする。
図20は本発明の第2の実施の形態例に係る撮影システムによる撮影時のデータ処理を示すフローチャートである。
同図において、最初にカメラは前方の画像を監視し、顔画像の有無をチェックする(ステップS201)。顔画像の有無の検出手法は、近年数多く提案されている。一例としては、「ピクセル差分特徴を用いた実時間顔検出器の学習」(著者:佐部浩太郎・日台健一、2004年 第10回画像センシングシンポジウム)に示されている、ピクセル差分特徴法などが挙げられる。検出した顔画像領域に対してのみ、ステレオ計測を実施し、奥行き画像(いわゆる距離画像)を取得する(ステップS202)。顔領域に対してのみステレオ計測を実施するのは、処理の軽量化のためである。得られた距離画像をX軸方向、Y軸方向ごとに射影を取る。いわゆるプロファイルを作成する(ステップS203、S204)。X方向のプロファイルの例を図21に示す。図21に示すように、プロファイルを取ることで、顔面をZ軸(頭頂方向)から見たような射影が得られる。X方向プロファイルでは、鼻の頂点X座標と、グラフの極小部が対応するため、単純にグラフ極小部の検出のみで、鼻頂点のX座標(グラフ中のX0)を容易に得ることができる。これに対してY方向のプロファイルの例を図22に示す。図22に示すように、観測可能な特徴点は大きく次の6点である。
同図において、最初にカメラは前方の画像を監視し、顔画像の有無をチェックする(ステップS201)。顔画像の有無の検出手法は、近年数多く提案されている。一例としては、「ピクセル差分特徴を用いた実時間顔検出器の学習」(著者:佐部浩太郎・日台健一、2004年 第10回画像センシングシンポジウム)に示されている、ピクセル差分特徴法などが挙げられる。検出した顔画像領域に対してのみ、ステレオ計測を実施し、奥行き画像(いわゆる距離画像)を取得する(ステップS202)。顔領域に対してのみステレオ計測を実施するのは、処理の軽量化のためである。得られた距離画像をX軸方向、Y軸方向ごとに射影を取る。いわゆるプロファイルを作成する(ステップS203、S204)。X方向のプロファイルの例を図21に示す。図21に示すように、プロファイルを取ることで、顔面をZ軸(頭頂方向)から見たような射影が得られる。X方向プロファイルでは、鼻の頂点X座標と、グラフの極小部が対応するため、単純にグラフ極小部の検出のみで、鼻頂点のX座標(グラフ中のX0)を容易に得ることができる。これに対してY方向のプロファイルの例を図22に示す。図22に示すように、観測可能な特徴点は大きく次の6点である。
EB:眉の盛り上がった位置(眉間点)に対応する。
Y0:鼻の付け根(鼻根点)、および目の位置に対応する。
Y1:鼻の頂点(鼻尖点)に対応する。
Y2:鼻の頂点の直下(鼻下点)に位置し、鼻の穴のあたりに対応する。
Y3:唇の頂点(口裂点)に対応する。
CH:あごの平坦部領域に対応する。
Y0:鼻の付け根(鼻根点)、および目の位置に対応する。
Y1:鼻の頂点(鼻尖点)に対応する。
Y2:鼻の頂点の直下(鼻下点)に位置し、鼻の穴のあたりに対応する。
Y3:唇の頂点(口裂点)に対応する。
CH:あごの平坦部領域に対応する。
これら6点のうち、比較的安定して取得できるのは、曲率の大きいY0,Y1,Y2の3点である。ところがY0は、メガネ着用の場合には検出が難しくなる。また、Y2は、カメラに対する顔の角度によっては、検出が難しい。従って、Y方向のプロファイルでは、鼻の頂点と対応するY1の座標検出を行うのが、最も合理的である。Y1の検出は、Y方向プロファイルにおける最小点、または顔画像の中央部付近の極小点の検出を行うことで、安定的にY1の検出が可能である(ステップS205)。このようにして、鼻の頂点座標(X0,Y1)を検出した後は、図23に示すように顔画像内における鼻座標を中心とした比例配分で、両目、両眉、口の合計6箇所の探索領域を設定することができる(ステップS206、S207)。鼻座標を中心とした比例配分とすることで、例えば顔が下を向いた場合には、口の探索領域が相対的に小さくなり、逆に目、眉の探索領域は、相対的に大きくなる。顔が左右を向いた場合にも、同様の効果が期待できる。この比例配分のパラメータは、予め画像撮影システム内に記憶しておけばいい。
一方で、鼻の頂点座標(X0,Y1)を検出した後は、顔の向きの評価を行う。顔の向きの評価は、顔が傾くことで矩形の顔面画像内の鼻座標の変化することを利用する。この様子を図23及び図24を用いて説明する。図23では中心と鼻の座標がほぼ一致する。ところが、図24のようにカメラに対して右上方を向くと、鼻の頂点の座標も図24のように変化する。Y方向のズレ量(YY−Y0)と、X方向のズレ量(XX−X0)とを検出し、それぞれのズレ量と変位角との対応をテーブル参照することで、上下、左右の変位角の検出を行う。ズレ量と変位角との対応を記録したテーブルは、予め画像撮影システム内に記憶しておけばいい。このようにすることで、顔を構成するパーツの探索領域の設定と、顔の向きの検出とが同時に行える。
また、正面ポートレイト画像を得るだけではなく、ここでは入力顔画像を加工することで、より積極的に被写体にとってより好ましい顔画像を得られる。第1の加工は、顔を細くすることである。従来、顔を細く見せる手法は、顔画像をX方向に単純縮小することしか方法がなかった。このため、得られた画像中では、目や、口なども、同じ縮小率で横幅が狭くなり、見た目に不自然な画像ができ上がるという問題点があった。上述したとおり、顔面の各部の端点位置が既に求まっているので、目や、口などのサイズを保存しながら、図25に示すように、顔の輪郭のみを対象にX方向に縮小し、顔を細く見せることができる。具体的には、入力顔画像から、顔の領域を抜き出し、既に求まっている目や、口、眉の端点から、目、口や眉の領域をいったんマスクし、X方向に縮小処理を行い、目、口や眉の領域を上書きすることで実現する。どのくらい細くするか(X方向の縮小率)は、好みの差が大きいので、撮影者が対話的に数値などを入力することで実施するのが望ましい。
また、第2の加工としては、図26の(a)に示すシミやホクロ、図26の(b)に示す薄いヒゲの消去などといった顔面の肌領域の平滑化である。顔を細くする手法と同様に、目、口、眉といった、本来加工してはいけない特徴領域をマスクした上で、肌領域のみを対象に平滑化処理することで、薄いシミ、小じわ、小さなホクロ、薄いひげなどを、ある程度まで目立たなくすることができる。この場合は、処理対象領域を選択的にユーザが指定するようにシステムを構成しておいても良い。例えば、マウス等の適当なポインティングデバイスを用いて、操作者が対象とする領域をクリックして指定することで対象領域の指定が可能である。このような場合、従来は、対象領域を手作業で切り出す必要であった。これに対して、本発明によるシステムでは、操作対象としてはいけない目、口、眉といった領域が既に特定できているので、加工するべき顔面の特定の領域の選択が、簡単に選択可能である。例えば、図26の(a)のホクロの領域を操作者がマウス等のポインティングデバイスで指定した場合には、システムは、「右目よりも下、鼻よりも右、口よりも上」の条件を満たす肌色領域(右ほほ)を加工対象とすることがわかる。同様に、図26の(b)であごの領域を操作者が指定した場合には、システムでは、「口よりも下」の条件を満たす肌色領域を加工対象とすればよいことがわかる。このようにして、加工対象領域を明示的にユーザが指定することで、特定部位に対してのみ、より強い平滑化処理も可能になる。
更に、第3の加工としては、黒目の加工である。既に目の領域の特定ができているので、目領域のみを対象に、黒画素領域の円形検出を行うことで、高速、かつ安定的に黒目領域を得ることができる。従来の手法では、手作業で黒目領域を切り出すしか、領域特定の方法はなかった。得られた黒目領域を、グレー、茶色、青など着色する。図26の(c)はグレーで着色した例である。色は好みの差が大きいので、ユーザが対話的に色指定をすることで実施するのが望ましい。
また、第4の加工としては、髪の加工である。顔面における眉の領域が既に特定できているので、図27に示すように眉より上の黒領域を髪領域として特定することができる。単純に黒画素を使っただけでは、眉と髪との位置が接近しているため、眉と髪とを自動で分離することが難しかったが、上述した本発明による撮影システムでは、Z方向の距離情報を使うことで眉領域の分離が精度良くできるため、髪領域の分離も容易にできる。特定した髪領域ついては、黒目の着色処理と同様に、好みの色で着色することが可能になる。同様に、髪型の変形も可能である。この場合には、髪型のテンプレート画像を予めシステム上に用意し、図22の(b)に示すように、ユーザの好みによって選択した髪型のテンプレートと差し替えることで髪型の変形も可能である。
ここで、このような加工のために、図1及び図2並びに図19の入力装置14として、ユーザの好みの色、顔の変形率、好みの髪型などを選択、入力できるように、マウス、キーボード(テンキー)、あるいは、光学ペンなどを装備している。髪型の変形を実施する場合には、髪型のバリエーションを、テンプレート画像として、情報記憶部に予め格納しておく必要がある。また、黒目の検出などで用いる円形検出プログラムも、同様に情報記憶部に予め格納しておき、必要に応じて実行する。
次に、図28は本発明の撮影方法を実行するプログラムを起動するための具体的な装置の構成を示すブロック図である。つまり、同図は上記実施の形態例における撮影方法によるソフトウェアを実行するマイクロプロセッサ等から構築されるハードウェアを示すものである。同図において、撮影システムはインターフェース(以下I/Fと略す)201、CPU202、ROM203、RAM204、表示装置205、ハードディスク206、キーボード207及びCD−ROMドライブ208を含んで構成されている。また、汎用の処理装置を用意し、CD−ROMなどの読取可能な記録媒体209には、本発明の撮影方法を実行するプログラムが記憶されている。更に、I/F201を介して外部装置から制御信号が入力され、キーボード207によって操作者による指令又は自動的に本発明のプログラムが起動される。そして、CPU202は当該プログラムに従って上述の撮影方法に伴う解析処理を施し、その解析結果をRAM204やハードディスク206等の記憶装置に格納し、必要により表示装置205などに出力する。以上のように、本発明の撮影方法を実行するプログラムが記録した記録媒体を用いることにより、既存のシステムを変えることなく、撮影システムを汎用的に構築することができる。
なお、本発明は上記実施の形態例に限定されるものではなく、特許請求の範囲内の記載であれば多種の変形や置換可能であることは言うまでもない。
11;カメラ、12;ディスプレイ、13;ハーフミラー、
14;入力装置、100;画像処理システム、101;情報処理部、
102;情報記憶部、103;I/Oコントローラ、
104;エンジンコントローラ、105;内部バス、
106;プリントエンジン、107;給・排紙部。
14;入力装置、100;画像処理システム、101;情報処理部、
102;情報記憶部、103;I/Oコントローラ、
104;エンジンコントローラ、105;内部バス、
106;プリントエンジン、107;給・排紙部。
Claims (20)
- 被写体を撮影する撮像手段と、
該撮像手段によって得た被写体の画像を解析する画像解析手段と、
該画像解析手段による解析結果を被写体に報知する報知手段と
を具備することを特徴とする撮影システム。 - 前記画像解析手段は、前記撮像手段によって得た被写体の画像の面積を求めて所定の面積と比較して前記撮像手段と被写体との相対的位置関係の遠近を検出する請求項1記載の撮影システム。
- 前記撮像手段は2つ以上のカメラを含んで構成され、前記画像解析手段は各カメラによって撮影された画像を用いて前記撮像手段と被写体との相対的距離を計測する請求項1記載の撮影システム。
- 前記画像解析手段は、被写体の種別に対して予め設定された探索領域内のパーツの端点を検出し、検出した端点に基づいて、フレーミングのズレを検出する請求項1記載の撮影システム。
- 前記画像解析手段は、検出した端点に基づいて、被写体の傾きを検出する請求項1又は4に記載の撮影システム。
- 前記画像解析手段は、検出した端点に基づいて、被写体の向きを検出する請求項1又は4に記載の撮影システム。
- 前記画像解析手段は、被写体の矩形の探索領域の大きさ、傾き及び向きを検出して被写体自体の大きさ、傾き及び向きを解析する請求項1記載の撮影システム。
- 被写体が顔である場合、前記画像解析手段は、顔に対する探索領域内の顔のパーツの端点に基づいて、顔の傾き、向き又は表情を検出する請求項1又は4に記載の撮影システム。
- 被写体が顔である場合、前記画像解析手段は、前記撮像手段によって得た顔の画像の中央部付近の極小点を検出し、検出した極小点座標を鼻の頂点座標とし、鼻の頂点座標及び鼻の頂点座標を含む探索領域の各変位量を基に顔の傾き及び向きを解析する請求項1記載の撮影システム。
- 前記報知手段は、前記画像解析手段による解析結果でズレが生じていた場合ズレを修正するガイダンスや修正位置を報知する請求項1〜9のいずれかに記載の撮影システム。
- 前記撮像手段によって得た被写体の画像を加工する画像加工手段を有する請求項1〜10のいずれかに記載の撮影システム。
- 前記画像加工手段は、被写体の輪郭形状を加工する請求項11記載の撮影システム。
- 前記画像加工手段は、被写体の表面画像を加工する請求項11記載の撮影システム。
- 前記画像加工手段は、被写体の所定の領域を加工する請求項11記載の撮影システム。
- 前記画像加工手段は、被写体の色を加工する請求項11記載の撮影システム。
- 前記画像加工手段は、被写体の探索領域内のパーツの端点の座標値に比例して被写体の探索領域を変化させる請求項11記載の撮影システム。
- 被写体を撮影する前に仮に撮像した被写体の画像を解析し、解析結果を被写体に報知した上で被写体の撮影を実行することを特徴とする撮影方法。
- 解析結果と、解析結果でズレが生じていた場合ズレを修正するガイダンスや修正位置とを報知する請求項17記載の撮影方法。
- 被写体を撮影する前に仮に撮像した被写体の画像から、被写体の種別に対して予め設定された探索領域内のパーツの端点を検出し、検出した端点に基づいて、被写体におけるフレーミングのズレを検出し、検出したズレを報知した上で被写体の撮影を実行することを特徴とする撮影方法。
- コンピュータにより、請求項17〜19のいずれかに記載の撮影方法を実行するためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005222397A JP2007043263A (ja) | 2005-08-01 | 2005-08-01 | 撮影システム、撮影方法及び該方法を実行するためのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005222397A JP2007043263A (ja) | 2005-08-01 | 2005-08-01 | 撮影システム、撮影方法及び該方法を実行するためのプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007043263A true JP2007043263A (ja) | 2007-02-15 |
Family
ID=37800869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005222397A Pending JP2007043263A (ja) | 2005-08-01 | 2005-08-01 | 撮影システム、撮影方法及び該方法を実行するためのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007043263A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009070260A (ja) * | 2007-09-14 | 2009-04-02 | Shinko Electric Co Ltd | 画像処理装置、画像処理方法及びプログラム |
JP2009246832A (ja) * | 2008-03-31 | 2009-10-22 | Casio Comput Co Ltd | 撮像装置、撮像方法及びプログラム |
JP2010055257A (ja) * | 2008-08-27 | 2010-03-11 | Seiko Epson Corp | 画像処理装置、画像処理方法および画像処理プログラム |
JP2010086379A (ja) * | 2008-10-01 | 2010-04-15 | Seiko Epson Corp | 画像処理装置、画像処理方法、及びプログラム |
JP2011504316A (ja) * | 2007-11-13 | 2011-02-03 | オラワークス・インコーポレイテッド | セルフ撮影の際に顔の構図を決定できるようにサポートする方法及びシステム |
JP2014506026A (ja) * | 2010-11-29 | 2014-03-06 | デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド | 携帯型装置で捕捉される多重画像からの肖像画像合成 |
CN107657852A (zh) * | 2017-11-14 | 2018-02-02 | 翟奕雲 | 基于人脸识别的幼儿教学机器人、教学***、存储介质 |
JP2019144154A (ja) * | 2018-02-22 | 2019-08-29 | 株式会社スペースビジョン | 三次元計測装置 |
WO2022208961A1 (ja) * | 2021-03-31 | 2022-10-06 | 株式会社Dowell | 見守りシステム |
-
2005
- 2005-08-01 JP JP2005222397A patent/JP2007043263A/ja active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009070260A (ja) * | 2007-09-14 | 2009-04-02 | Shinko Electric Co Ltd | 画像処理装置、画像処理方法及びプログラム |
JP2011504316A (ja) * | 2007-11-13 | 2011-02-03 | オラワークス・インコーポレイテッド | セルフ撮影の際に顔の構図を決定できるようにサポートする方法及びシステム |
JP2009246832A (ja) * | 2008-03-31 | 2009-10-22 | Casio Comput Co Ltd | 撮像装置、撮像方法及びプログラム |
JP2010055257A (ja) * | 2008-08-27 | 2010-03-11 | Seiko Epson Corp | 画像処理装置、画像処理方法および画像処理プログラム |
US8494230B2 (en) | 2008-08-27 | 2013-07-23 | Seiko Epson Corporation | Image deforming apparatus, image deforming method, and image deforming program |
JP2010086379A (ja) * | 2008-10-01 | 2010-04-15 | Seiko Epson Corp | 画像処理装置、画像処理方法、及びプログラム |
JP2014506026A (ja) * | 2010-11-29 | 2014-03-06 | デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド | 携帯型装置で捕捉される多重画像からの肖像画像合成 |
CN107657852A (zh) * | 2017-11-14 | 2018-02-02 | 翟奕雲 | 基于人脸识别的幼儿教学机器人、教学***、存储介质 |
CN107657852B (zh) * | 2017-11-14 | 2023-09-22 | 翟奕雲 | 基于人脸识别的幼儿教学机器人、教学***、存储介质 |
JP2019144154A (ja) * | 2018-02-22 | 2019-08-29 | 株式会社スペースビジョン | 三次元計測装置 |
WO2022208961A1 (ja) * | 2021-03-31 | 2022-10-06 | 株式会社Dowell | 見守りシステム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007043263A (ja) | 撮影システム、撮影方法及び該方法を実行するためのプログラム | |
US10620712B2 (en) | Interactive input system and method | |
US7974446B2 (en) | Face authentication system and face authentication method | |
KR102098277B1 (ko) | 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치 | |
US10347048B2 (en) | Controlling a display of a head-mounted display device | |
US8170297B2 (en) | Face authentication system and face authentication method | |
JP5090474B2 (ja) | 電子カメラおよび画像処理方法 | |
US7486808B2 (en) | Image processing device, image processing method and image processing program | |
JP2019527448A (ja) | 車両の運転者の状態を監視するための方法及びシステム | |
US20140254939A1 (en) | Apparatus and method for outputting information on facial expression | |
JP2012095019A (ja) | 撮像装置 | |
CN110050251A (zh) | 向用户显示引导指示符 | |
JPWO2012002047A1 (ja) | 属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システム | |
JP2011166305A (ja) | 画像処理装置および撮像装置 | |
KR102159767B1 (ko) | 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치 | |
US20220270287A1 (en) | Eye gaze detection method, eye gaze detection device, and non-transitory computer readable storage medium | |
JP6981277B2 (ja) | 検出装置、及び検出プログラム | |
US20230260234A1 (en) | Information processing device, information processing method, and program | |
JP7075237B2 (ja) | 操作判定装置及び操作判定方法 | |
JP2014064248A (ja) | 画像投影装置及び画像投影方法 | |
JP2006040232A (ja) | 画像処理装置及びその方法、撮像装置、プログラム | |
JP2009064395A (ja) | ポインティングデバイス、操作者の注視位置とカーソルの位置との誤差の補正をコンピュータに実行させるためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP2009086824A (ja) | 顎位置算出装置、それを用いた画像処理装置および顎位置算出方法並びにプログラム | |
JP2011186816A (ja) | 顔画像合成装置 | |
JP2004038531A (ja) | 物体の位置検出方法および物体の位置検出装置 |