JP5935849B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像中の目を検出する画像処理装置、画像処理方法及びプログラムに関する。

従来、撮像した画像中の被写体の顔領域と表情を表現するための制御点とに基づいて、表情付きの顔画像を生成する技術が知られている（例えば、特許文献１参照）。

特開２０１２−１８５６２４号公報

ところで、一般的に、人の目の一部分は瞼等に覆われている。このため、上記特許文献１等の場合、顔の動きと目の動きとを適正に制御することができずに、顔全体の表情が不自然になってしまう虞がある。

本発明は、このような問題に鑑みてなされたものであり、本発明の課題は、顔の表現をより自然なものにすることである。

上記課題を解決するため、本発明に係る画像処理装置は、
目を含む画像を取得する取得手段と、前記取得手段により取得された画像から目の虹彩領域を検出する検出手段と、前記検出手段により検出された虹彩領域の形状が略円形となるように当該虹彩領域の欠損部分を前記虹彩領域の複数の画素値に基づいて決定される代表値で補完する補完手段と、を備えたことを特徴とする。

また、本発明に係る画像処理方法は、
画像処理装置を用いた画像処理方法であって、目を含む画像を取得する処理と、取得された画像から目の虹彩領域を検出する処理と、検出された虹彩領域の形状が略円形となるように当該虹彩領域の欠損部分を前記虹彩領域の複数の画素値に基づいて決定される代表値で補完する処理と、を含むことを特徴とする。

また、本発明に係るプログラムは、
画像処理装置のコンピュータを、目を含む画像を取得する取得手段、前記取得手段により取得された画像から目の虹彩領域を検出する検出手段、前記検出手段により検出された虹彩領域の形状が略円形となるように当該虹彩領域の欠損部分を前記虹彩領域の複数の画素値に基づいて決定される代表値で補完する補完手段、として機能させることを特徴とする。

本発明によれば、顔の表現をより自然なものにできる。

本発明を適用した一実施形態の画像処理装置の概略構成を示すブロック図である。 図１の画像処理装置による目画像生成処理に係る動作の一例を示すフローチャートである。 図２の目画像生成処理に係る顔画像を模式的に示す図である。 図２の目画像生成処理における第一処理に係る画像を模式的に示す図である。 図２の目画像生成処理における第二処理に係る画像を模式的に示す図である。 図２の目画像生成処理における影領域の付加処理に係る画像を模式的に示す図である。 図２の目画像生成処理に係る顔画像を模式的に示す図である。 図２の目画像生成処理の変形例１を示す図である。 図２の目画像生成処理の変形例２を示す図である。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の画像処理装置１００の概略構成を示すブロック図である。

画像処理装置１００は、例えば、パーソナルコンピュータやワークステーションなどのコンピュータ等により構成され、図１に示すように、中央制御部１と、メモリ２と、記憶部３と、操作入力部４と、画像生成部５と、表示部６と、表示制御部７とを備えている。
また、中央制御部１、メモリ２、記憶部３、画像生成部５及び表示制御部７は、バスライン８を介して接続されている。

中央制御部１は、画像処理装置１００の各部を制御するものである。具体的には、中央制御部１は、ＣＰＵ（Central Processing Unit；図示略）等を備え、画像処理装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

メモリ２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部１、画像生成部５等によって処理されるデータ等を一時的に記憶するバッファメモリや、中央制御部１などのワーキングメモリ、当該画像処理装置１００の機能に係る各種プログラムやデータが格納されたプログラムメモリ等（何れも図示略）を備えている。

記憶部３は、例えば、不揮発性メモリ（フラッシュメモリ）、ハードディスクドライブ等により構成され、中央制御部１の動作に必要な各種プログラムやデータ（図示略）を記憶している。

また、記憶部３は、各顔画像データ３ａを記憶している。
顔画像データ３ａは、人の顔を含む二次元の顔画像（図３（ａ）〜図３（ｃ）参照）のデータである。即ち、この顔画像データ３ａは、少なくとも顔を含む画像の画像データであれば良く、例えば、顔のみの画像データであっても良いし、胸から上の画像データであっても良い。
なお、図３（ａ）〜図３（ｃ）に示す顔画像データ３ａに係る顔画像は、一例であってこれらに限られるものではなく、適宜任意に変更可能である。

操作入力部４は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードやマウス等の操作部（図示略）を備え、これらの操作部の操作に応じて所定の操作信号を中央制御部１に出力する。

画像生成部５は、画像取得部５ａと、目検出部５ｂと、虹彩検出部５ｃと、第一算出部５ｄと、第二算出部５ｅと、目画像生成部５ｆと、影領域特定部５ｇと、影対応付け部５ｈと、目画像記憶部５ｉとを具備している。
なお、画像生成部５の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

画像取得部５ａは、顔画像データ３ａを取得する。
即ち、画像取得部（取得手段）５ａは、目画像生成処理の処理対象となる顔を含む二次元の画像の顔画像データ３ａを取得する。具体的には、画像取得部５ａは、例えば、記憶部３に記憶されている所定数の顔画像データ３ａの中で、ユーザによる操作入力部４の所定操作に基づいて指定されたユーザ所望の顔画像データ３ａを目画像生成処理の処理対象として取得する。
なお、画像取得部５ａは、図示しない通信制御部を介して接続された外部機器（図示略）から顔画像データ３ａを取得しても良い。

目検出部５ｂは、顔画像から目領域を検出する。
即ち、目検出部５ｂは、画像取得部５ａにより取得された顔画像内で、例えば、ＡＡＭ（Active Appearance Model）を用いた処理により目領域Ｅ（図４（ａ）等参照）を検出する。
ここで、ＡＡＭとは、視覚的事象のモデル化の一手法であり、任意の顔領域の画像のモデル化を行う処理である。例えば、目検出部５ｂは、複数のサンプル顔画像における所定の特徴部位（例えば、目じりや鼻頭やフェイスライン等）の位置や画素値（例えば、輝度値）の統計的分析結果を所定の登録手段に登録しておく。そして、目検出部５ｂ、上記の特徴部位の位置を基準として、顔の形状を表す形状モデルや平均的な形状における「Appearance」を表すテクスチャーモデルを設定し、これらのモデルを用いて顔画像をモデル化する。これにより、顔画像内で、例えば、目、鼻、口、眉、顔輪郭等の顔構成部がモデル化される。
なお、目領域Ｅの検出をＡＡＭを用いて行うようにしたが、一例であってこれに限られるものではなく、例えば、エッジ抽出処理、非等方拡散処理、テンプレートマッチング等適宜任意に変更可能である。

虹彩検出部５ｃは、目の虹彩領域Ｅａを検出する。
即ち、虹彩検出部（検出手段）５ｃは、画像取得部５ａにより取得された顔画像から目の虹彩領域Ｅａを検出する。具体的には、虹彩検出部５ｃは、顔画像内で目検出部５ｂにより検出された目領域Ｅの画像データを所定の色空間（例えば、ＨＳＶ色空間、ＨＬＳ色空間、ＲＧＢ色空間等）に変換し、所定の閾値を利用して白目に対応する色及び当該白目の領域Ｅｂ１、Ｅｂ２を特定する。そして、虹彩検出部５ｃは、目検出部５ｂにより検出された目領域Ｅ内から、所定の検出手法を用いて虹彩領域Ｅａを検出する。
例えば、虹彩検出部５ｃは、目領域Ｅの画像データに対して、円環状のリングフィルタを用いて虹彩領域Ｅａを検出する（図４（ｂ）参照）。ここで、リングフィルタは、目領域Ｅの画像内で、白目の領域（Ｅｂ１、Ｅｂ２）と輝度値が所定値以上離れている部分を候補点とみなし、縁部分の形状が真円に近い領域ほど数値が高くなる。そして、虹彩検出部５ｃは、最も数値が高くなった領域を虹彩領域Ｅａとして抽出する。
また、例えば、虹彩検出部５ｃは、目領域Ｅの画像データの色情報に基づいて、目領域Ｅ内で白目以外の領域を包含する最小の円（最小包含円Ｃ）の内側を虹彩領域Ｅａとして検出する（図５（ｂ）参照）。なお、最小包含円Ｃとは、白目以外の領域を包含する円のうち半径ｒが最小となる円のことである。

なお、上記した虹彩領域Ｅａの検出手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
例えば、円環状のリングフィルタを用いる場合、虹彩検出部５ｃは、目領域Ｅの画像データに対して、先に円環状のリングフィルタを用いて虹彩領域Ｅａを検出した後、当該虹彩領域Ｅａ以外の領域で白目の色及び領域Ｅｂ１、Ｅｂ２を特定しても良い。
また、虹彩検出部５ｃは、目領域Ｅの画像データに対して、円環状のリングフィルタを用いて虹彩領域Ｅａを検出した後、目領域Ｅから虹彩領域Ｅａを除去して、虹彩領域Ｅａ以外の領域を検出しても良い（図６（ｂ）参照）。なお、図６（ｂ）の目領域Ｅでは、例えば、投光により上瞼の影が生じているため、虹彩領域Ｅａ以外の領域は白目の領域Ｅｂ１、Ｅｂ２内に影領域Ｅｓが含まれた状態となる。

第一算出部５ｄは、虹彩領域Ｅａの中心Ｏ１及び直径ｄを算出する。
即ち、第一算出部（第一算出手段）５ｄは、虹彩検出部５ｃにより円環状のリングフィルタを用いて虹彩領域Ｅａが検出された場合に、当該虹彩領域Ｅａの中心Ｏ１及び直径ｄを算出する（図４（ｂ）等参照）。なお、図４（ｂ）には、算出された虹彩領域Ｅａの中心Ｏ１及び直径ｄの円を模式的に表している。

第二算出部５ｅは、虹彩領域Ｅａを包含する最小の円の中心Ｏ２及び半径ｒを算出する。
即ち、第二算出部（第二算出手段）５ｅは、虹彩検出部５ｃにより目領域Ｅの画像データの色情報に基づいて虹彩領域Ｅａが検出された場合に、当該虹彩領域Ｅａを包含する最小包含円Ｃの中心Ｏ２及び半径ｒを算出する（図５（ｂ）参照）。

目画像生成部５ｆは、虹彩領域Ｅａの欠損部分Ｌ１、Ｌ２を補完する。
即ち、目画像生成部（補完手段）５ｆは、虹彩検出部５ｃにより検出された虹彩領域Ｅａの形状が略円形となるように欠損部分Ｌ１、Ｌ２を補完する。具体的には、目画像生成部５ｆは、虹彩検出部５ｃにより検出された虹彩領域Ｅａを所定の検出手法を用いて欠損部分Ｌ１、Ｌ２を補完する。

例えば、目画像生成部５ｆは、第一算出部５ｄにより算出された虹彩領域Ｅａの中心Ｏ１及び直径ｄに基づいて、当該虹彩領域Ｅａの形状が略円形となるように欠損部分Ｌ１、Ｌ２を補完する。具体的には、目画像生成部５ｆは、算出された虹彩領域Ｅａの中心Ｏ１及び直径ｄの円と当該虹彩領域Ｅａとを同心円上に重畳させ、欠損部分Ｌ１、Ｌ２の各画素を同心円上の画素値の代表値で補完して虹彩画像Ｅｉを生成する（図４（ｃ）参照）。
ここで、欠損部分Ｌ１、Ｌ２を補完する画素値の代表値は、当該欠損部分Ｌ１、Ｌ２の画素と同心円上で隣合う画素の画素値であっても良いし、当該同心円上の複数の画素の画素値の平均値や中央値等であっても良い。
そして、目画像生成部５ｆは、略円形の虹彩画像Ｅｉの直径ｄから想定される平面視における略円形の眼球のサイズを特定して、円の所定位置（例えば、略中心）に虹彩画像Ｅｉを配置するとともに、その周囲を白目に対応する色で塗りつぶすことで、目テクスチャ画像Ｔを生成する（図４（ｄ）参照）。

また、例えば、目画像生成部５ｆは、第二算出部５ｅにより算出された虹彩領域Ｅａに対応する最小包含円Ｃの中心Ｏ２から半径ｒまでの範囲内で、当該虹彩領域Ｅａの形状が略円形となるように欠損部分Ｌ１、Ｌ２を補完する。具体的には、目画像生成部５ｆは、第二算出部５ｅにより算出された最小包含円Ｃの直径ｄから想定される眼球の三次元の球体のサイズを特定して、当該球体に対応する二次元の略正方形の画像データを生成する（図５（ｃ）参照）。
そして、目画像生成部５ｆは、略正方形の画像データの所定位置（例えば、略中心）に、虹彩検出部５ｃにより検出された虹彩領域Ｅａを配置した後、当該虹彩領域Ｅａ中の画素の位置を所定の座標（例えば、直交座標）から極座標に再配置するように変換し、中心Ｏ２から放射方向に半径ｒまでの範囲内に存在する欠損部分Ｌ１、Ｌ２を半径方向に直交する画素値の代表値（例えば、平均値や中央値等）で補完して（図５（ｄ）参照）、虹彩画像Ｅｉを含む目テクスチャ画像Ｔを生成する（図５（ｅ）参照）。

なお、目画像生成部５ｆは、例えば、第一算出部５ｄにより算出された虹彩領域Ｅａの中心Ｏ１及び直径ｄを基準として、虹彩領域Ｅａの中心Ｏ１から放射方向に直径ｄの１／２の値（半径）までの範囲内で欠損部分Ｌ１、Ｌ２を半径方向に直交する画素値の代表値（例えば、平均値や中央値等）で補完しても良い。また、目画像生成部５ｆは、例えば、第二算出部５ｅにより算出された最小包含円Ｃの中心Ｏ２及び半径ｒを基準として、欠損部分Ｌ１、Ｌ２の各画素を同心円上の画素値で補完しても良い。

影領域特定部５ｇは、目領域Ｅの中で影領域を特定する。
即ち、影領域特定部（特定手段）５ｇは、目検出部５ｂにより検出された目領域Ｅの中で、投光により生じた影領域Ｅｓ１、Ｅｓ２を特定する。具体的には、影領域特定部５ｇは、虹彩検出部５ｃにより検出された虹彩領域Ｅａ以外の領域（影領域Ｅｓ１、Ｅｓ２を含む白目の領域Ｅｂ１、Ｅｂ２）の画像データを所定の色空間（例えば、ＨＳＶ色空間等）に変換し、所定の閾値を利用して白目に対応する色及び当該白目の領域Ｅｂ１、Ｅｂ２を特定する。そして、影領域特定部５ｇは、虹彩領域Ｅａ以外の領域の中で、白目の領域Ｅｂ１、Ｅｂ２以外の領域の色を影に対応する色として特定し、当該色の部分を影領域とする。ここで、図６（ｃ）の場合、例えば、除去された虹彩領域Ｅａにより影領域の中央部分が分断されているため、各虹彩領域Ｅａ側の端部の上下方向の幅を特定し、当該幅の影領域が虹彩領域Ｅａ上に存するように目の上縁部分に沿って描画することで二つの影領域Ｅｓ１、Ｅｓ２を繋いで、上瞼の略全域に対応する影領域ＥＳを特定する。

影対応付け部５ｈは、影領域Ｅｓの位置データと目の位置データとを対応付ける。
即ち、影対応付け部（生成手段）５ｈは、影領域特定部５ｇにより特定された影領域Ｅｓ１、Ｅｓ２の位置データを生成して、目領域Ｅの位置データとを対応付ける。具体的には、影対応付け部５ｈは、影領域特定部５ｇにより特定された影領域Ｅｓ１、Ｅｓ２の上縁部分及び下縁部分の各々に制御点ｐを複数設定して、所定形状（例えば、三角形状等）のメッシュ状に区分する（図６（ｄ）参照）。そして、影対応付け部５ｈは、当該制御点ｐの位置データと目領域Ｅの上縁部分（上瞼の下端部分）の位置データとを対応付けるとともに、影領域ＥＳの色データを目画像生成部５ｆにより生成された目テクスチャ画像Ｔと対応付ける。

目画像記憶部５ｉは、目テクスチャ画像Ｔを記憶する。
即ち、目画像記憶部（記憶手段）５ｉは、目画像生成部５ｆにより欠損部分Ｌ１、Ｌ２が補完された虹彩領域Ｅａの画像データを記憶する。具体的には、目画像記憶部５ｉは、目画像生成部５ｆにより生成された目テクスチャ画像Ｔ（影領域の情報の有無は問わない）の画像データと、当該目テクスチャ画像Ｔが貼り付けられる三次元の眼球球体モデルとを対応付けて記憶する。

表示部６は、例えば、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）等のディスプレイから構成され、表示制御部７の制御下にて各種情報を表示画面に表示する。

表示制御部７は、表示用データを生成して表示部６の表示画面に表示させる制御を行う。
具体的には、表示制御部７は、例えば、ＧＰＵ（Graphics Processing Unit）やＶＲＡＭ（Video Random Access Memory）等を具備するビデオカード（図示略）を備えている。
そして、表示制御部７は、中央制御部１からの表示指示に従って、目画像生成処理にて目画像を生成するための各種画面の表示用データをビデオカードによる描画処理によって生成し、表示部６に出力する。

＜目画像生成処理＞
次に、画像処理装置１００による目画像生成処理について、図２〜図７を参照して説明する。
図２は、目画像生成処理に係る動作の一例を示すフローチャートである。

図２に示すように、先ず、画像生成部５の画像取得部５ａは、例えば、記憶部３に記憶されている所定数の顔画像データ３ａの中で、ユーザによる操作入力部４の所定操作に基づいて指定されたユーザ所望の顔画像データ３ａを取得する（ステップＳ１；図３（ａ）〜図３（ｃ）参照）。

次に、目検出部５ｂは、画像取得部５ａにより取得された顔画像内で、例えば、ＡＡＭを用いた処理により目領域Ｅを検出する（ステップＳ２）。続けて、虹彩検出部５ｃは、顔画像内で検出された目領域Ｅの画像データを所定の色空間（例えば、ＨＳＶ色空間等）に変換し、所定の閾値を利用して白目に対応する色及び当該白目の領域Ｅｂ１、Ｅｂ２を特定する（ステップＳ３）。

その後、画像生成部５は、虹彩領域Ｅａの検出手法に応じて処理を分岐する（ステップＳ４）。即ち、画像生成部５は、リングフィルタを用いて虹彩領域Ｅａを検出する第一処理の場合（ステップＳ４；第一処理）、処理をステップＳ５１に移行させ、最小包含円Ｃの内側を虹彩領域Ｅａとして検出する第二処理の場合（ステップＳ４；第二処理）、処理をステップＳ６１に移行させる。

＜第一処理＞
第一処理では（ステップＳ４；第一処理）、先ず、虹彩検出部５ｃは、目領域Ｅの画像データに対して、円環状のリングフィルタを用いて虹彩領域Ｅａを検出する（ステップＳ５１；図４（ｂ）参照）。
続けて、第一算出部５ｄは、虹彩検出部５ｃにより検出された虹彩領域Ｅａの中心Ｏ１及び直径ｄを算出する（ステップＳ５２）。

次に、目画像生成部５ｆは、算出された虹彩領域Ｅａの中心Ｏ１及び直径ｄの円と当該虹彩領域Ｅａとを同心円上に重畳させ、欠損部分Ｌ１、Ｌ２の各画素を同心円上の画素値の代表値で補完して虹彩画像Ｅｉを生成する（ステップＳ５３；図４（ｃ）参照）。そして、目画像生成部５ｆは、略円形の虹彩画像Ｅｉの直径ｄから想定される平面視における略円形の眼球のサイズを特定して、円の所定位置（例えば、略中心）に虹彩画像Ｅｉを配置するとともに、その周囲を白目に対応する色で塗りつぶすことで、目テクスチャ画像Ｔを生成する（ステップＳ５４；図４（ｄ）参照）。

＜第二処理＞
第二処理では（ステップＳ４；第二処理）、先ず、虹彩検出部５ｃは、目領域Ｅの画像データの色情報に基づいて、目領域Ｅ内で白目以外の領域を包含する最小包含円Ｃの内側を虹彩領域Ｅａとして検出する（ステップＳ６１；図５（ｂ）参照）。
続けて、第二算出部５ｅは、虹彩検出部５ｃにより検出された虹彩領域Ｅａを包含する最小包含円Ｃの中心Ｏ２及び半径ｒを算出する（ステップＳ６２）。

次に、目画像生成部５ｆは、算出された最小包含円Ｃの直径ｄから想定される眼球の三次元の球体のサイズを特定して、当該球体に対応する二次元の略正方形の画像データを生成して、当該略正方形の画像データの略中心に虹彩領域Ｅａを配置する（ステップＳ６３；図５（ｃ）参照）。そして、目画像生成部５ｆは、当該虹彩領域Ｅａ中の画素の位置を直交座標から極座標に再配置するように変換し、中心Ｏ２から放射方向に存在する欠損部分Ｌ１、Ｌ２を半径方向に直交する画素値の代表値で補完して（図５（ｄ）参照）、虹彩画像Ｅｉを含む目テクスチャ画像Ｔを生成する（ステップＳ６４；図５（ｅ）参照）。

その後、画像生成部５は、目テクスチャ画像Ｔに影領域を付加するか否かを判定する（ステップＳ７）。例えば、画像生成部５は、ユーザによる操作入力部４の所定操作に基づいて影領域を付加する指示が入力されているか否かに応じて、影領域を付加するか否かを判定する。
ここで、影領域を付加しないと判定されると（ステップＳ７；ＮＯ）、目画像記憶部５ｉは、目画像生成部５ｆにより生成された目テクスチャ画像Ｔの画像データと、当該目テクスチャ画像Ｔが貼り付けられる三次元の眼球球体モデルとを対応付けて記憶する（ステップＳ８）。
これにより、目画像生成処理を終了する。

一方、ステップＳ７にて、影領域を付加すると判定されると（ステップＳ７；ＹＥＳ）、虹彩検出部５ｃは、目検出部５ｂにより顔画像内で検出された目領域Ｅの画像データの複製を取得した後、リングフィルタを用いて検出された虹彩領域Ｅａを取得された目領域Ｅから除去して、虹彩領域Ｅａ以外の領域を検出する（ステップＳ９）。
次に、影領域特定部５ｇは、虹彩検出部５ｃにより検出された虹彩領域Ｅａ以外の領域の中で、投光により生じた影領域を特定する（ステップＳ１０）。具体的には、影領域特定部５ｇは、虹彩領域Ｅａ以外の領域の画像データを所定の色空間（例えば、ＨＳＶ色空間等）に変換し、所定の閾値を利用して白目に対応する色及び当該白目の領域Ｅｂ１、Ｅｂ２を特定した後、虹彩領域Ｅａ以外の領域の中で、白目の領域Ｅｂ１、Ｅｂ２以外の領域の色を影に対応する色として特定し、当該色の部分を影領域Ｅｓ１、Ｅｓ２とする。
ここで、影領域Ｅｓの中央部分が分断されている場合（図６（ｃ）参照）、影領域特定部５ｇは、影領域Ｅｓが虹彩領域Ｅａ上にも存するように目の上縁部分に沿って描画することで二つの影領域Ｅｓ１、Ｅｓ２を繋いで、上瞼の略全域に対応する影領域ＥＳを特定する。

続けて、影対応付け部５ｈは、特定された影領域ＥＳの上縁部分及び下縁部分の各々に制御点ｐを複数設定して、所定形状（例えば、三角形状等）のメッシュ状に区分した後（図６（ｄ）参照）、当該制御点ｐの位置データと目領域Ｅの上縁部分（上瞼の下端部分）の位置データとを対応付けるとともに、影領域ＥＳの色データを目テクスチャ画像Ｔと対応付ける（ステップＳ１１）。
その後、画像生成部５は、処理をステップＳ８に移行して、目画像記憶部５ｉは、影対応付け部５ｈにより影領域ＥＳの制御点ｐの位置データと目領域Ｅの上縁部分の位置データとが対応付けられるとともに影領域ＥＳの色データが対応付けられた目テクスチャ画像Ｔの画像データと、当該目テクスチャ画像Ｔが貼り付けられる三次元の眼球球体モデルとを対応付けて記憶する（ステップＳ８）。
これにより、目画像生成処理を終了する。

目画像生成処理にて生成された目テクスチャ画像Ｔの画像データを、顔画像の目の開口に対応させて当該顔画像の後側に配置することで、例えば、図７（ａ）や図７（ｂ）に示すように、眼球を上下左右に移動させたり視線を移動させる動きの顔画像を違和感を生じさせることなく、簡便に生成することができる。
さらに、例えば、図７（ｃ）に示すように、影領域Ｅｓの制御点ｐの位置データと目領域Ｅの上縁部分（上瞼の下端部分）の位置データとが対応付けられるとともに、影領域ＥＳの色データとが対応付けられた目テクスチャ画像Ｔの画像データを用いて、瞼を開閉する動きに追従させて影領域ＥＳの制御点ｐを移動させることで影領域ＥＳを移動させることができ、投光により生じている影の表現を違和感を生じさせることなく適正に且つ簡便に行うことができる。このとき、目領域Ｅと重畳する影領域ＥＳを所定の比率で透過表示させることで、影の表現をより自然なものとすることができる。

以上のように、本実施形態の画像処理装置１００によれば、顔画像から目領域Ｅの虹彩領域Ｅａを検出して、検出された虹彩領域Ｅａの形状が略円形となるように当該虹彩領域Ｅａの欠損部分Ｌ１、Ｌ２を補完するので、欠損部分Ｌ１、Ｌ２が補完された略円形の虹彩画像Ｅｉ、特に、虹彩画像Ｅｉを含む目テクスチャ画像Ｔを用いることで、眼球を上下左右に移動させたり視線を移動させる際の顔の表現をより自然なものとすることができる。さらに、一枚の二次元の顔画像から虹彩画像Ｅｉを含む目テクスチャ画像Ｔを簡便に生成することができる。
また、欠損部分Ｌ１、Ｌ２が補完された虹彩画像Ｅｉを含む目テクスチャ画像Ｔの画像データを記憶しておくことで、顔を構成する口や鼻等の他の顔構成部とは独立させて、当該目テクスチャ画像Ｔの画像データを用いて眼球を動かすことができ、顔画像の中で目を動かす動作処理をより簡便に行うことができる。

また、虹彩領域Ｅａの中心Ｏ１及び直径ｄに基づいて、当該虹彩領域Ｅａの形状が略円形となるように欠損部分Ｌ１、Ｌ２を補完するので、虹彩領域Ｅａの欠損部分Ｌ１、Ｌ２の補完を適正に且つ簡便に行うことができ、略円形の虹彩画像Ｅｉの生成を適正に行うことができる。特に、虹彩領域Ｅａ中の画素値の代表値で欠損部分Ｌ１、Ｌ２を補完することで、当該欠損部分Ｌ１、Ｌ２の補完をより適正に行うことができる。

また、虹彩領域Ｅａを包含する最小包含円Ｃの中心Ｏ２及び半径ｒを算出し、その中心Ｏ２から半径ｒまでの放射方向の範囲内で、当該虹彩領域Ｅａの形状が略円形となるように欠損部分Ｌ１、Ｌ２を補完するので、虹彩領域Ｅａの欠損部分Ｌ１、Ｌ２の補完を適正に行うことができ、略円形の虹彩画像Ｅｉの生成を適正に行うことができる。特に、虹彩領域Ｅａ中の画素の位置を直交座標から極座標に再配置するように変換し、半径方向に直交する画素値の代表値で欠損部分Ｌ１、Ｌ２を補完することで、中心Ｏ２からの距離が等しい複数の画素については他の距離にある画素の特徴が反映され難くなるだけでなく、元々虹彩領域Ｅａに存する光反射や虹彩の模様や瞳孔などの特徴はそのまま保持することができ、より自然なテクスチャの虹彩画像Ｅｉを生成することができる。

また、顔画像中の目領域Ｅの中で、投光により生じた影領域を特定して、特定された影領域の位置データを生成するので、当該影領域の位置データを利用して、瞼を開閉する動きに追従させて影領域を移動させることができ、投光により生じている影の表現を違和感を生じさせることなく適正に且つ簡便に行うことができる。

虹彩領域Ｅａの形状が略円形となるように欠損部分Ｌ１、Ｌ２を補完する手法として下記に変形例を示す。

（変形例１）
瞳孔を除く虹彩には、放射状に虹彩筋の一種である瞳孔散大筋が見えている。変形例１ではより正確に瞳孔散大筋が表現する。図８に示すように、円周まで領域がある部分を中心部から円周部にかけて、例えば１５度分扇状領域Ｅａ１を切り取る。上述のように虹彩領域Ｅａの中心と半径を求め、中心から円周方向に欠損があるかを判定する。欠損があると判定されたら欠損部分を扇状領域Ｅａ１で補完する。

（変形例２）
図９に極座標変換を用いた変形例を示す。虹彩領域Ｅａ中の画素の位置を直交座標から虹彩を中心とした極座標に変換する。変換後の虹彩領域で最大値となる領域を特定し所定の大きさで短冊状領域Ｅａ２を取り出す。その後、虹彩領域が最大値と以下となる場所を短冊状領域Ｅａ２で補完する。このようにすることで、円周で欠損がある部分を補完することが出来る。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態の画像処理装置１００では、リングフィルタを用いる手法及び目領域Ｅの画像データの色情報を利用する手法の両方を実行可能に構成したが、一例であってこれに限られるものではなく、例えば、何れか一方のみを実行可能に構成されても良い。

加えて、上記実施形態にあっては、取得手段、検出手段、補完手段としての機能を、画像処理装置１００の中央制御部１の制御下にて、画像取得部５ａ、虹彩検出部５ｃ、目画像生成部５ｆが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリに、取得処理ルーチン、検出処理ルーチン、補完処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１のＣＰＵを、目を含む画像を取得する手段として機能させるようにしても良い。また、検出処理ルーチンにより中央制御部１のＣＰＵを、取得された画像から目の虹彩領域Ｅａを検出する手段として機能させるようにしても良い。また、補完処理ルーチンにより中央制御部１のＣＰＵを、検出された虹彩領域Ｅａの形状が略円形となるように当該虹彩領域Ｅａの欠損部分Ｌ１、Ｌ２を補完する手段として機能させるようにしても良い。

同様に、第一算出手段、画素値算出手段、第二算出手段、変換手段、特定手段、生成手段、記憶手段、扇状領域抽出手段、短冊領域抽出手段についても、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。

さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
目を含む画像を取得する取得手段と、
前記取得手段により取得された画像から目の虹彩領域を検出する検出手段と、
前記検出手段により検出された虹彩領域の形状が略円形となるように当該虹彩領域の欠損部分を補完する補完手段と、
を備えたことを特徴とする画像処理装置。
＜請求項２＞
前記検出手段により検出された虹彩領域の中心及び直径を算出する第一算出手段を更に備え、
前記補完手段は、前記第一算出手段により算出された前記虹彩領域の中心及び直径に基づいて、当該虹彩領域の形状が略円形となるように欠損部分を補完することを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記補完手段は、更に、
前記虹彩領域中の画素値の代表値を算出する代表値算出手段を有し、前記代表値算出手段により算出された画素値の代表値で前記欠損部分を補完することを特徴とする請求項２に記載の画像処理装置。
＜請求項４＞
前記検出手段により検出された虹彩領域を包含する最小の円の中心及び半径を算出する第二算出手段を更に備え、
前記補完手段は、前記第二算出手段により算出された前記虹彩領域に対応する円の中心から前記半径までの範囲内で、当該虹彩領域の形状が略円形となるように前記欠損部分を補完することを特徴とする請求項１に記載の画像処理装置。
＜請求項５＞
前記補完手段は、更に、
前記検出手段により検出された虹彩領域中の画素の位置の座標を所定の座標から極座標に変換する変換手段を有し、前記極座標における半径方向の画素値の代表値で前記欠損部分を補完することを特徴とする請求項４に記載の画像処理装置。
＜請求項６＞
前記取得手段により取得された画像中の目の中で、投光により生じた影領域を特定する特定手段と、
前記特定手段により特定された影領域の位置データを生成する生成手段と、
を更に備えることを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
＜請求項７＞
前記補完手段により前記欠損部分が補完された虹彩領域の画像データを記憶する記憶手段を更に備えることを特徴とする請求項１〜６の何れか一項に記載の画像処理装置。
＜請求項８＞
前記補完手段は、更に、
前記虹彩領域の欠損部分でない領域から扇状領域を抽出する扇状領域抽出手段を有し、前記欠損部分を前記扇状領域によって補完することを特徴とする請求項１に記載の画像処理装置。
＜請求項９＞
前記補完手段は、更に、
前記検出手段により検出された虹彩領域中の画素の位置の座標を所定の座標から極座標に変換する変換手段と、変換後の最大値を有する短冊領域を抽出する短冊領域抽出手段とを有し、前記欠損部分を前記短冊領域によって補完することを特徴とする請求項１に記載の画像処理装置。
＜請求項１０＞
画像処理装置を用いた画像処理方法であって、
目を含む画像を取得する処理と、
取得された画像から目の虹彩領域を検出する処理と、
検出された虹彩領域の形状が略円形となるように当該虹彩領域の欠損部分を補完する処理と、
を含むことを特徴とする画像処理方法。
＜請求項１１＞
コンピュータを、
目を含む画像を取得する取得手段、
前記取得手段により取得された画像から目の虹彩領域を検出する検出手段、
前記検出手段により検出された虹彩領域の形状が略円形となるように当該虹彩領域の欠損部分を補完する補完手段、
として機能させることを特徴とするプログラム。

１００ 画像処理装置
１ 中央制御部
３ 記憶部
３ａ 顔画像データ
５ａ 画像取得部
５ｃ 虹彩検出部
５ｄ 第一算出部
５ｅ 第二算出部
５ｆ 目画像生成部
５ｇ 影領域特定部
５ｈ 影対応付け部
５ｉ 目画像記憶部

Claims (10)

1. 目を含む画像を取得する取得手段と、
   前記取得手段により取得された画像から目の虹彩領域を検出する検出手段と、
   前記検出手段により検出された虹彩領域の形状が略円形となるように当該虹彩領域の欠損部分を前記虹彩領域の複数の画素値に基づいて決定される代表値で補完する補完手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記検出手段により検出された虹彩領域の中心及び直径を算出する第一算出手段を更に備え、
   前記補完手段は、前記第一算出手段により算出された前記虹彩領域の中心及び直径に基づいて、当該虹彩領域の形状が略円形となるように欠損部分を補完することを特徴とする請求項１に記載の画像処理装置。
3. 前記検出手段により検出された虹彩領域を包含する最小の円の中心及び半径を算出する第二算出手段を更に備え、
   前記補完手段は、前記第二算出手段により算出された前記虹彩領域に対応する円の中心から前記半径までの範囲内で、当該虹彩領域の形状が略円形となるように前記欠損部分を補完することを特徴とする請求項１に記載の画像処理装置。
4. 前記補完手段は、更に、
   前記検出手段により検出された虹彩領域中の画素の位置の座標を所定の座標から極座標に変換する変換手段を有し、前記極座標における半径方向の画素値の代表値で前記欠損部分を補完することを特徴とする請求項３に記載の画像処理装置。
5. 前記取得手段により取得された画像中の目の中で、投光により生じた影領域を特定する特定手段と、
   前記特定手段により特定された影領域の位置データを生成する生成手段と、
   を更に備えることを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
6. 前記補完手段により前記欠損部分が補完された虹彩領域の画像データを記憶する記憶手段を更に備えることを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
7. 前記補完手段は、更に、
   前記虹彩領域の欠損部分でない領域から扇状領域を抽出する扇状領域抽出手段を有し、前記欠損部分を前記扇状領域によって補完することを特徴とする請求項１に記載の画像処理装置。
8. 前記補完手段は、更に、
   前記検出手段により検出された虹彩領域中の画素の位置の座標を所定の座標から極座標に変換する変換手段と、変換後の最大値を有する短冊領域を抽出する短冊領域抽出手段とを有し、前記欠損部分を前記短冊領域によって補完することを特徴とする請求項１に記載の画像処理装置。
9. 画像処理装置を用いた画像処理方法であって、
   目を含む画像を取得する処理と、
   取得された画像から目の虹彩領域を検出する処理と、
   検出された虹彩領域の形状が略円形となるように当該虹彩領域の欠損部分を前記虹彩領域の複数の画素値に基づいて決定される代表値で補完する処理と、
   を含むことを特徴とする画像処理方法。
10. コンピュータを、
    目を含む画像を取得する取得手段、
    前記取得手段により取得された画像から目の虹彩領域を検出する検出手段、
    前記検出手段により検出された虹彩領域の形状が略円形となるように当該虹彩領域の欠損部分を前記虹彩領域の複数の画素値に基づいて決定される代表値で補完する補完手段、
    として機能させることを特徴とするプログラム。