JP2017102748A - 瞳画像学習装置、瞳位置検出装置及びそのプログラム - Google Patents

Abstract

【課題】本願発明は、高解像度の瞳拡大画像を撮影できない場合でも、簡易な構成で瞳位置を検出する。【解決手段】瞳検出装置１は、瞳画像学習装置２が、エッジに関する画像特徴量を算出する画像特徴量算出部２０と、画像特徴量を機械学習することで、瞳画像判別モデルを生成する瞳画像判別モデル生成部２６とを備え、瞳位置検出装置４が、人物の顔領域を切り出した顔画像に瞳候補領域を設定する瞳候補領域設定部４０と、瞳候補領域に設定された窓領域について、エッジに関する画像特徴量を算出する画像特徴量算出部４４と、窓領域の画像特徴量を瞳画像判別モデルに入力し、窓領域が瞳画像であるか否かを判別する瞳画像判別部４６と、瞳画像であると判別された窓領域に含まれる瞳位置を算出する瞳位置算出部４８と備える。【選択図】図１

Description

本願発明は、瞳画像を判別する瞳画像判別モデルを生成する瞳画像学習装置、この瞳画像判別モデルを用いて、撮影画像に含まれる人物の瞳位置を検出する瞳位置検出装置及びそのプログラムに関する。

従来より、映像（動画）から瞳位置を検出する手法は、運転者の視線方向の特定、番組視聴者や会議参加者の集中度推定、照明光強度の調整など、様々な分野で利用されている（特許文献１〜７）。

特許文献１，２に記載の発明は、対象者の頭部に装着した撮影カメラ（ヘッドマウントデバイス）で瞳拡大画像を撮影し、瞳位置を検出するものである。また、特許文献３，４に記載の発明は、車室内に取り付けた撮影カメラで対象者（運転者）の瞳拡大画像を撮影し、視線方向を特定するものである。また、特許文献５〜７に記載の発明は、複数台の撮影カメラで対象者の顔を撮影し、各撮影カメラで撮影した顔画像から、対象者の視線方向を特定するものである。

特開２０１２−０５０８３７号公報 特開２０１１−２２４２１３号公報 特開２００９−１５７７３６号公報 特開２０１１−０８６１２５号公報 特開２０１４−０９４１８６号公報 特開２０１２−０２２６４６号公報 特開２０１２−２１７５２４号公報

しかし、特許文献１〜４に記載の発明は、対象者の頭部に撮影カメラを装着し、又は、対象者の顔の近くに撮影カメラを配置することで、撮影カメラを対象者の顔に接近させた状態で高解像度の瞳拡大画像を撮影する必要がある。言い換えると、特許文献１〜４に記載の発明は、高解像度の瞳拡大画像を撮影できない場合、瞳位置を検出することができない。
また、特許文献５〜７に記載の発明は、複数台の撮影カメラが必要となるので、装置の大型化、複雑化を招いてしまう。

そこで、本願発明は、高解像度の瞳拡大画像を撮影できない場合でも、簡易な構成で瞳位置を検出可能とする瞳画像学習装置、瞳位置検出装置及びそのプログラムを提供することを課題とする。

前記した課題に鑑みて、本願発明に係る瞳画像学習装置は、人物の瞳領域を切り出した瞳画像と、人物の瞳以外の顔領域を切り出した非瞳画像との集合である学習用画像集合から、瞳画像を判別する瞳画像判別モデルを生成する瞳画像学習装置であって、第１画像特徴量算出部と、瞳画像判別モデル生成部と、を備える構成とした。

かかる構成によれば、瞳画像学習装置は、第１画像特徴量算出部によって、学習用画像集合に含まれる瞳画像及び非瞳画像のそれぞれについて、エッジに関する画像特徴量を算出する。
また、瞳画像学習装置は、瞳画像判別モデル生成部によって、瞳画像の画像特徴量及び非瞳画像の画像特徴量を機械学習することで、瞳画像判別モデルを生成する。この瞳画像判別モデルは、エッジに関する画像特徴量を学習しているため、１台の撮影カメラで人物が撮影された撮影画像から、高い正確性で瞳画像の判別を可能とする。

また、前記した課題に鑑みて、本願発明に係る瞳位置検出装置は、本願発明に係る瞳画像学習装置が生成した瞳画像判別モデルを用いて、撮影画像に含まれる人物の瞳位置を検出する瞳位置検出装置であって、瞳候補領域設定部と、第２画像特徴量算出部と、瞳画像判別部と、瞳位置算出部と、を備える構成とした。

かかる構成によれば、瞳位置検出装置は、瞳候補領域設定部によって、１台の撮影カメラで撮影された撮影画像に含まれる人物の顔領域を切り出した顔画像に、当該顔領域よりも小さいサイズの瞳候補領域を設定する。
また、瞳位置検出装置は、第２画像特徴量算出部によって、瞳候補領域について、エッジに関する画像特徴量を算出する。

また、瞳位置検出装置は、瞳画像判別部によって、瞳候補領域の画像特徴量を瞳画像判別モデルに入力することで、瞳候補領域が瞳画像であるか否かを判別する。この瞳画像判別モデルは、エッジに関する画像特徴量を学習しているため、１台の撮影カメラで人物が撮影された撮影画像から、高い正確性で瞳画像の判別を可能とする。
そして、瞳位置検出装置は、瞳位置算出部によって、瞳画像と判別された瞳候補領域に含まれる瞳位置を算出する。

本願発明によれば、以下のような優れた効果を奏する。
本願発明に係る瞳画像学習装置は、エッジに関する画像特徴量を学習した瞳画像判別モデルを生成し、本願発明に係る瞳位置検出装置は、１台の撮影カメラで人物が撮影された撮影画像から、この瞳画像判別モデルを用いて瞳位置を検出する。このように、本願発明によれば、高解像度の瞳拡大画像を撮影できない場合でも、複数台の撮影カメラを必要とせずに簡易な構成で瞳位置を検出可能とする。

本願発明の実施形態に係る瞳検出装置の構成を示すブロック図である。 （ａ）は瞳領域の選択を説明する説明図であり、（ｂ）は瞳画像の生成を説明する説明図である。 （ａ）は瞳以外の顔領域の選択を説明する説明図であり、（ｂ）は非瞳画像の生成を説明する説明図である。 （ａ）及び（ｂ）は多重スケールエッジ方向ヒストグラムの算出を説明する説明図である。 （ａ）及び（ｂ）は多重スケールエッジ接続角度ヒストグラムの算出を説明する説明図である。 左瞳候補領域及び右瞳候補領域の設定を説明する説明図である。 窓領域のスライドを説明する説明図である。 （ａ）及び（ｂ）は正規化顔領域画像における瞳位置の算出を説明する説明図である。 （ａ）及び（ｂ）は撮影画像上への瞳位置の変換を説明する説明図である。 瞳画像学習処理のフローチャートである。 瞳位置検出処理のフローチャートである。

以下、本願発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、同一の機能を有する手段には同一の符号を付し、説明を省略した。

［瞳検出装置の構成］
図１を参照し、本願発明の実施形態に係る瞳検出装置１の構成について、説明する。
瞳検出装置１は、瞳画像の判別に利用する瞳画像判別モデルを生成すると共に、その瞳画像判別モデルを用いて、撮影画像に含まれる瞳位置を検出するものである。図１のように、瞳検出装置１は、瞳画像学習装置２と、瞳画像判別モデル記憶部３と、瞳位置検出装置４とを備える。

＜瞳画像学習装置＞
瞳画像学習装置２は、後記する学習用画像集合から、瞳画像を判別する瞳画像判別モデルを生成するものである。図１のように、瞳画像学習装置２は、学習用画像集合生成部２０と、瞳画像学習部２２とを備える。

学習用画像集合生成部２０は、外部より入力された顔画像集合から学習用画像集合を生成するものである。
顔画像集合とは、人物の顔領域が撮影された顔画像の集合である。この顔画像集合は、瞳画像判別モデルの正確性を向上させるため、様々な人物の顔画像や、同一人物であっても顔の向きが異なる顔画像を含んでいることが好ましい。
学習用画像集合とは、人物の瞳領域を切り出した瞳画像と、人物の瞳以外の顔領域を切り出した非瞳画像との集合である。

例えば、学習用画像集合生成部２０は、入力された顔画像集合に含まれる各顔画像を、予め設定されたサイズ（幅Ｗ１×高さＨ１）に変換する。次に、学習用画像集合生成部２０は、変換した顔画像をディスプレイ（不図示）に表示し、図２（ａ）のように、予め設定されたサイズ（幅Ｒ×高さＲ）の矩形状の瞳領域９０を瞳画像学習装置２の利用者に選択させる。そして、学習用画像集合生成部２０は、図２（ｂ）のように、選択された瞳領域９０を瞳画像として切り出す。

また、学習用画像集合生成部２０は、図３（ａ）のように、ディスプレイに表示された顔画像から、瞳領域９０と同一サイズの瞳以外の顔領域（非瞳領域）９１を瞳画像学習装置２の利用者に選択させる。そして、学習用画像集合生成部２０は、図３（ｂ）のように、選択された非瞳領域９１を非瞳画像として切り出す。

その後、学習用画像集合生成部２０は、切り出した瞳画像及び非瞳画像の集合を、学習用画像集合として瞳画像学習部２２に出力する。
なお、学習用画像集合生成部２０は、教師あり機械学習を行うために、瞳画像に正解データであることを示す識別情報を付加し、非瞳画像に不正解データであることを示す識別情報を付加してもよい。
また、学習用画像集合生成部２０は瞳画像学習装置２の外部にあって、瞳画像学習装置２は学習用画像集合を外部から取り込むこととしてもよい。

瞳画像学習部２２は、学習用画像集合生成部２０から入力された学習用画像集合を学習するものであり、画像特徴量算出部（第１画像特徴量算出部）２４と、瞳画像判別モデル生成部２６とを備える。

画像特徴量算出部２４は、学習用画像集合に含まれる瞳画像及び非瞳画像のそれぞれについて、エッジに関する画像特徴量（例えば、既知のエッジ方向ヒストグラム）を算出するものである。

ここで、瞳位置を正確に検出するために、瞳を囲む円や眼の輪郭等の形状を重視した画像特徴量を用いることが好ましい。そこで、画像特徴量算出部２４は、エッジに関する画像特徴量として、多重スケールエッジヒストグラムを算出する。
この多重スケールエッジヒストグラムとは、異なるスケールで延長されたエッジのヒストグラムのことであり、多重スケールエッジ方向ヒストグラムや多重スケールエッジ接続角度ヒストグラムが含まれる。

多重スケールエッジ方向ヒストグラムは、図４（ａ）のように、Ｋピクセルだけ離れた画素９２の局所的なエッジ９３だけでなく、Ｋｎピクセル離れた画素９２までが連続した場合、スケールｎのエッジ９３として扱う。この多重スケールエッジ方向ヒストグラムは、図４（ｂ）のように、スケール０からスケールＮ−１まで、０度〜１７９度のエッジ方向θ毎に、エッジ９３の出現頻度（画像中の個数）を表している。
なお、Ｎはスケールの多重数であり、１≦ｎ≦Ｎを満たす。

多重スケールエッジ接続角度ヒストグラムは、図５（ａ）のように、エッジ９３Ａと、そのエッジ９３Ａの端点となる画素９２Ａを中心とした半径Ｒの円内に、端点となる画素９２Ｂが存在するエッジ９３Ｂとの接続角度φに基づいたものである。この多重スケールエッジ接続角度ヒストグラムは、図５（ｂ）のように、スケール０からスケールＮ−１まで、方向１度〜１８０度の角度毎に、エッジ９３同士の接続角度φの出現頻度（画像中の個数）を表している。

ここで、画像特徴量算出部２４は、エッジに関する画像特徴量として、多重スケールエッジ方向ヒストグラム又は多重スケールエッジ接続角度ヒストグラムの一方のみを算出してもよい。また、画像特徴量算出部２４は、多重スケールエッジ方向ヒストグラム又は多重スケールエッジ接続角度ヒストグラムの両方を算出し、これらを要素とする多次元の画像特徴量として扱ってもよい。

なお、多重スケールエッジ方向ヒストグラム及び多重スケールエッジ接続角度ヒストグラムは、下記の参考文献に詳細に記載されているため、これ以上の説明を省略する。
参考文献：震災映像アーカイブス検索システムへの類似画像検索技術の適用、望月貴裕他、２０１４年映像情報メディア学会年次大会（ITE Annual Convention 2014）

瞳画像判別モデル生成部２６は、画像特徴量算出部２４が算出した瞳画像の画像特徴量及び非瞳画像の画像特徴量を機械学習することで、瞳画像判別モデルを生成するものである。この瞳画像判別モデル生成部２６は、既知の機械学習を利用でき、サポートベクターマシン、ニューラルネットワーク等の教師あり機械学習を行うことが好ましい。そして、瞳画像判別モデル生成部２６は、生成した瞳画像判別モデルを瞳画像判別モデル記憶部３に書き込む。

＜瞳画像判別モデル記憶部＞
瞳画像判別モデル記憶部３は、瞳画像判別モデル生成部２６が生成した瞳画像判別モデルを記憶するメモリ、ハードディスク（ＨＤＤ：Hard Disk Drive）等の記憶装置である。
なお、瞳画像判別モデル記憶部３は、瞳画像学習装置２に備えられてもよく、瞳位置検出装置４に備えられてもよい。

＜瞳位置検出装置＞
瞳位置検出装置４は、瞳画像判別モデル記憶部３に記憶された瞳画像判別モデルを用いて、撮影画像に含まれる人物の瞳位置を検出するものである。図１のように、瞳位置検出装置４は、瞳候補領域設定部４０と、瞳位置検出部４２とを備える。

瞳候補領域設定部４０は、１台の撮影カメラＣで撮影された撮影画像に含まれる人物の顔領域を切り出した顔画像に、当該顔領域よりも小さいサイズの瞳候補領域を設定するものである。この撮影画像は、撮影映像（動画）を構成するフレーム画像である。
すなわち、瞳位置検出装置４は、以下で説明する処理を各フレーム画像に施すと、撮影映像の瞳位置を検出、追跡することが可能となる。

まず、瞳候補領域設定部４０は、一般的な撮影カメラＣから入力された撮影画像に既知の顔領域検出処理（例えば、ＯｐｅｎＣＶ）を施すことで、撮影画像に含まれる矩形状の顔領域を検出し、検出した顔領域を切り出して顔領域画像を生成する。この撮影画像に含まれる顔領域の左上座標を（x_f，y_f）とし、撮影画像に含まれる顔領域のサイズを(幅w_f×高さh_f）とする。

次に、瞳候補領域設定部４０は、図６のように、生成した顔領域画像を予め設定されたサイズ（幅W_f×高さH_f）に変換することで、正規化顔領域画像９４を生成する。そして、瞳候補領域設定部４０は、正規化顔領域画像９４に左右の瞳候補領域９５（左瞳候補領域９５Ｌ及び右瞳候補領域９５Ｒ）を設定する。その後、瞳候補領域設定部４０は、設定した左右の瞳候補領域９５を瞳位置検出部４２に出力する。

ここで、図６のように、左瞳候補領域９５Ｌ及び右瞳候補領域９５Ｒの左上座標、幅及び高さは、以下の式で定義される。つまり、左瞳候補領域９５Ｌ及び右瞳候補領域９５Ｒは、縦横の比率がそのままで、正規化顔領域画像９４の縮小したサイズとなる。なお、係数R1，R2，R3，R4は、０以上１未満の値で予め設定される。

右瞳候補領域の左上座標 （x_r，y_r）＝（R1×W_f，R3×H_f）
右瞳候補領域の幅 W_r＝R2×W_f
右瞳候補領域の高さ H_r＝R4×H_f
左瞳候補領域の左上座標 （x_l，y_l）＝（（1-R1-R2）×W_f，R3×H_f）
左瞳候補領域の幅 W_l＝R2×W_f
左瞳候補領域の高さ H_l＝R4×H_f

瞳位置検出部４２は、瞳候補領域設定部４０より入力された左右の瞳候補領域９５から、瞳位置を検出するものであり、画像特徴量算出部（第２画像特徴量算出部）４４と、瞳画像判別部４６と、瞳位置算出部４８とを備える。

画像特徴量算出部４４は、左右の瞳候補領域について、エッジに関する画像特徴量を算出するものである。本実施形態では、画像特徴量算出部４４は、学習用画像集合と同じサイズ（幅Ｒ×高さＲ）の窓領域を左右の瞳候補領域９５に設定する。そして、画像特徴量算出部４４は、異なる位置に設定された各窓領域について、画像特徴量算出部２４と同一の画像特徴量を算出する。

具体的には、画像特徴量算出部４４は、図７のように、右瞳候補領域９５Ｒに窓領域９６を設定し、この窓領域９６の画像特徴量を算出する。次に、画像特徴量算出部４４は、窓領域９６をスライドさせた後（破線で図示）、その位置で窓領域９６の画像特徴量を算出する。このように、画像特徴量算出部４４は、右瞳候補領域９５Ｒの全範囲から画像特徴量を算出するまで、窓領域９６のスライドと画像特徴量の算出とを繰り返す。

なお、画像特徴量算出部４４では、窓領域９６のスライド量を任意に設定できる。
また、画像特徴量算出部４４では、窓領域９６のスライド方法も任意に設定できる。例えば、画像特徴量算出部４４は、右瞳候補領域９５Ｒの左上から右下まで、ラスタスキャンのように窓領域９６をスライドさせてもよい。
また、画像特徴量算出部４４は、右瞳候補領域９５Ｒと同様、左瞳候補領域９５Ｌについても窓領域９６の画像特徴量を算出する。

瞳画像判別部４６は、左右の瞳候補領域９５について、画像特徴量算出部４４が算出した各窓領域９６の画像特徴量を瞳画像判別モデルに入力することで、各窓領域９６が瞳画像であるか否かを判別するものである。

ここで、窓領域９６の画像特徴量を瞳画像判別モデルに入力すると、その窓領域９６が瞳画像である確率が瞳画像判別モデルから出力される。従って、瞳画像判別部４６は、瞳画像判別モデルが出力した確率の閾値処理により、各窓領域９６が瞳画像であるか否かを判別する。例えば、瞳画像判別部４６は、瞳画像判別モデルからの確率が予め設定された閾値以上であれば、その窓領域９６が瞳画像であると判別する。一方、瞳画像判別部４６は、瞳画像判別モデルからの確率が閾値未満であれば、その窓領域９６が瞳画像でないと判別する。

瞳位置算出部４８は、左右の瞳候補領域９５について、瞳画像判別部４６により瞳画像であると判別された窓領域９６の瞳位置を算出するものである。
本実施形態では、瞳位置算出部４８は、図８（ａ）のように、左右の瞳候補領域９５について、瞳画像であると判別された全ての窓領域９６の中心座標を求める。そして、瞳位置算出部４８は、図８（ｂ）のように、右瞳候補領域９５Ｒから求めた中心座標の平均値を、正規化顔領域画像９４における右瞳位置９７Ｒとして算出する。さらに、瞳位置算出部４８は、左瞳候補領域９５Ｌから求めた中心座標の平均値を、正規化顔領域画像９４における左瞳位置９７Ｌとして算出する。

次に、瞳位置算出部４８は、図９のように、正規化顔領域画像９４における右瞳位置９７Ｒを撮影画像９８の座標に変換し、変換した座標を右瞳位置９９Ｒとして出力する。また、瞳位置算出部４８は、正規化顔領域画像９４における左瞳位置９７Ｌを撮影画像９８の座標に変換し、変換した座標を左瞳位置９９Ｌとして出力する。

ここで、図９のように、左瞳候補領域９５Ｌ及び右瞳候補領域９５Ｒの左上座標、幅及び高さは、以下の式で定義される。なお、右瞳位置９７Ｒの座標を（X_pr，Y_pr）とし、左瞳位置９７Ｌの座標を（X_pl，Y_pl）とする。また、右瞳位置９９Ｒの座標を（x_pr，y_pr）とし、左瞳位置９９Ｌの座標を（x_pl，y_pl）とする。

x_pr＝x_f＋（w_f／W_f）×X_pr
y_pr＝y_f＋（h_f／H_f）×Y_pr
x_pl＝x_f＋（w_f／W_f）×X_pl
y_pl＝y_f＋（h_f／H_f）×Y_pl

［瞳画像学習処理］
図１０を参照し、瞳画像学習装置２による瞳画像学習処理について説明する（適宜図１参照）。

図１０のように、瞳画像学習装置２は、外部より顔画像集合が学習用画像集合生成部２０に入力される（ステップＳ１）。
瞳画像学習装置２は、学習用画像集合生成部２０によって、人物の瞳領域を切り出した瞳画像を生成する（ステップＳ２）。
瞳画像学習装置２は、学習用画像集合生成部２０によって、人物の非瞳域を切り出した非瞳画像を生成する（ステップＳ３）。

瞳画像学習装置２は、画像特徴量算出部２４によって、瞳画像及び非瞳画像のそれぞれについて、エッジに関する画像特徴量を算出する（ステップＳ４）。
瞳画像学習装置２は、瞳画像判別モデル生成部２６によって、瞳画像の画像特徴量及び非瞳画像の画像特徴量を機械学習することで、瞳画像判別モデルを生成する（ステップＳ５）。

［瞳位置検出処理］
図１１を参照し、瞳位置検出装置４による瞳位置検出処理について説明する（適宜図１参照）。

図１１のように、瞳位置検出装置４は、１台の撮影カメラＣから撮影画像が瞳候補領域設定部４０に入力される（ステップＳ１０）。
瞳位置検出装置４は、瞳候補領域設定部４０によって、撮影画像に含まれる矩形状の顔領域を検出し、検出した顔領域を切り出して顔領域画像を生成する（ステップＳ１１）。
瞳位置検出装置４は、瞳候補領域設定部４０によって、顔領域画像から予め設定されたサイズの正規化顔領域画像を生成し、この正規化顔領域画像に左右の瞳候補領域を設定する（ステップＳ１２）。

瞳位置検出装置４は、画像特徴量算出部４４によって、左右の瞳候補領域に窓領域を設定し、この窓領域の画像特徴量を算出する（ステップＳ１３）。
瞳位置検出装置４は、瞳画像判別部４６によって、各窓領域の画像特徴量を瞳画像判別モデルに入力し、各窓領域が瞳画像である確率を算出する（ステップＳ１４）。

瞳位置検出装置４は、瞳画像判別部４６によって、瞳画像判別モデルで求めた確率の閾値処理により、各窓領域が瞳画像であるか否かを判別する（ステップＳ１５）。
瞳位置検出装置４は、瞳画像判別部４６によって、瞳画像であると判別された全ての窓領域の中心座標の平均値を瞳位置として算出する（ステップＳ１６）。

［作用・効果］
本願発明の実施形態に係る瞳検出装置１は、瞳画像学習装置２が、エッジに関する画像特徴量を学習した瞳画像判別モデルを生成し、瞳位置検出装置４が、この瞳画像判別モデルを用いて、１台の撮影カメラＣで人物が撮影された撮影画像から瞳画像を判別する。従って、瞳検出装置１は、高解像度の瞳拡大画像を撮影できない場合でも、複数台の撮影カメラＣを必要とせずに簡易な構成で瞳位置を検出することができる。

さらに、瞳検出装置１は、瞳画像学習装置２及び瞳位置検出装置４が、エッジに関する画像特徴量として、多重スケールエッジ方向ヒストグラムや多重スケールエッジ接続角度ヒストグラムのように、長いエッジやエッジの接続方法に重みをおいた画像特徴量を用いるため、瞳位置をより正確に検出することができる。

さらに、瞳検出装置１は、瞳位置検出装置４が、瞳画像であると判別された全ての窓領域の中心座標を求め、求めた中心座標の平均値を瞳位置として算出するため、瞳位置をより正確に検出することができる。

前記した実施形態では、瞳位置検出装置４を独立したハードウェアとして説明したが、本願発明は、これに限定されない。例えば、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、瞳位置検出装置４として協調動作させる瞳位置検出プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

１ 瞳検出装置
２ 瞳画像学習装置
３ 瞳画像判別モデル記憶部
４ 瞳位置検出装置
２０ 学習用画像集合生成部
２２ 瞳画像学習部
２４ 画像特徴量算出部（第１画像特徴量算出部）
２６ 瞳画像判別モデル生成部
４０ 瞳候補領域設定部
４２ 瞳位置検出部
４４ 画像特徴量算出部（第２画像特徴量算出部）
４６ 瞳画像判別部
４８ 瞳位置算出部

Claims (6)

1. 人物の瞳領域を切り出した瞳画像と、前記人物の瞳以外の顔領域を切り出した非瞳画像との集合である学習用画像集合から、前記瞳画像を判別する瞳画像判別モデルを生成する瞳画像学習装置であって、
   前記学習用画像集合に含まれる瞳画像及び非瞳画像のそれぞれについて、エッジに関する画像特徴量を算出する第１画像特徴量算出部と、
   前記瞳画像の画像特徴量及び前記非瞳画像の画像特徴量を機械学習することで、前記瞳画像判別モデルを生成する瞳画像判別モデル生成部と、
   を備えることを特徴とする瞳画像学習装置。
2. 前記第１画像特徴量算出部は、前記エッジに関する画像特徴量として、異なるスケールで延長されたエッジのヒストグラムである多重スケールエッジヒストグラムを算出することを特徴とする請求項１に記載の瞳画像学習装置。
3. 請求項１に記載の瞳画像学習装置が生成した瞳画像判別モデルを用いて、撮影画像に含まれる人物の瞳位置を検出する瞳位置検出装置であって、
   前記撮影画像に含まれる前記人物の顔領域を切り出した顔画像に、当該顔領域よりも小さいサイズの瞳候補領域を設定する瞳候補領域設定部と、
   前記学習用画像集合と同じサイズの窓領域を前記瞳候補領域に設定し、前記窓領域について、エッジに関する画像特徴量を算出する第２画像特徴量算出部と、
   前記窓領域の画像特徴量を前記瞳画像判別モデルに入力することで、前記窓領域が前記瞳画像であるか否かを判別する瞳画像判別部と、
   前記瞳画像であると判別された窓領域に含まれる瞳位置を算出する瞳位置算出部と、
   を備えることを特徴とする瞳位置検出装置。
4. 前記第２画像特徴量算出部は、前記窓領域を前記瞳候補領域の異なる位置に設定し、各窓領域について、前記エッジに関する画像特徴量を算出し、
   前記瞳画像判別部は、前記各窓領域が前記瞳画像であるか否かを判別し、
   前記瞳位置算出部は、前記瞳画像であると判別された全ての窓領域の中心座標を求め、求めた前記中心座標の平均値を前記瞳位置として算出することを特徴とする請求項３に記載の瞳位置検出装置。
5. 前記第２画像特徴量算出部は、前記エッジに関する画像特徴量として、異なるスケールで延長されたエッジのヒストグラムである多重スケールエッジヒストグラムを算出することを特徴とする請求項３又は請求項４に記載の瞳位置検出装置。
6. コンピュータを、請求項３から請求項５の何れか一項に記載の瞳位置検出装置として機能させるための瞳位置検出プログラム。

Images