JP3319408B2 - 顔の特徴抽出装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、顔の特徴抽出装置
に係り、特に、赤外画像のように白眼と黒眼との区別が
明確に行えない場合においても、正確に眼の位置の候補
となる領域を抽出することができる顔の特徴抽出装置に
関する。

【０００２】

【従来の技術及び発明が解決しようとする課題】特開平
３−５３３号公報には、虹彩を検出するために、半径Ｒ
画素の暗い円形領域を検出する技術が記載されている。
この技術では、半径Ｒ画素の円形領域に交差する縦横２
方向の矩形領域を設定し、矩形領域の円形領域内の部分
の輝度値総和と円形領域外の部分の輝度値総和との差を
演算する。この差は、半径Ｒ画素の円形領域が虹彩
（瞳）の大きさに適合した場合に最大値となるため、こ
の差と予め定められたしきい値とを比較して、虹彩の位
置及び眼が開閉しているか否かを判断する。

【０００３】しかしながら、上記の従来の技術では、虹
彩の位置を検出しようとした場合、個人差によって白眼
と黒眼とを明確に区別することができない場合には、虹
彩の位置を検出することができない、という問題があ
る。また、図３に示すように、赤外線を照射して撮影し
た赤外画像の場合には白眼と黒眼の区別が明確にできな
い場合が多いので、虹彩の位置を検出することが困難な
場合が多い。また、従来技術では、虹彩を演算する際に
縦横２方向の領域を用いているため、形状が異なる円形
の境界にマッチングさせることは困難である。

【０００４】また、特開平７−９３５６１号公報、及び
論文「形状抽出とパターン照合の組合わせによる顔特徴
の抽出」（電子情報通信学会論文誌Ｄ−ＩＩ Ｖｏｌ．
Ｊ８０−Ｄ−ＩＩ No.３ ｐｐ．２１７０−２１７７
１９９７年８月）には、分離度フィルタにより、眼の
位置を検出する技術が記載されている。この技術では、
図１（Ａ）に示すように、半径Ｒ１と半径Ｒ２（＞Ｒ
１）の同心円によって虹彩の形（円形）に適合させたウ
インドウ８を用いて、半径Ｒ１の円内の領域１と、半径
Ｒ２の円内の領域から半径Ｒ１の円内の領域１を除いた
領域２との分離度を計算し、分離度の高い領域を抽出す
る。なお、分離度は、領域１及び領域２各々の分散、ウ
インドウ全体の分散を考慮している。そして、半径Ｒ１
の領域１が、虹彩（瞳）の大きさに適合した際に、分散
値が最大となることから眼のエッジ及び輪郭を抽出する
ことができる。

【０００５】図１（Ｂ）は、半径Ｒ１と半径Ｒ２の同心
円状のウインドウ８と同様の機能を有する同心状に配置
された図１（Ｃ）に示す大小２つの正方形からなるウイ
ンドウ６を用いて分離度フィルタにより眼の位置を検出
したシミュレーション結果を示すものである。図１
（Ｄ）は、分散度の大きさ（大、中、０）と領域１及び
領域２内の輝度の大きさとの関係を示す線図である。

【０００６】従来の技術では、ウインドウが虹彩の形状
に適合した円形領域１を有しているため、図１（Ｂ）か
ら理解されるように、原画像の眼が開いている場合に
は、すなわち虹彩が検出できる場合には、眼の位置を検
出することができる。

【０００７】しかしながら、上記従来の技術では、虹彩
の形状に適合した円形領域を有するウインドウを用いて
眼の位置を検出しているため、眼が細くなっている場合
等のように虹彩を検出することができない場合には、可
視光画像及び赤外画像にかかわらず眼の位置を検出する
ことができない、という問題がある。

【０００８】すなわち、従来の技術において図１の眼が
開いている場合と同じしきい値を設定して図２（Ａ）に
示す眼が細くなっている原画像の眼の位置を検出する
と、図２（Ｂ）に示すような分散度フィルタ出力結果が
得られ、図２（Ｃ）に示すように眼の位置の候補点が消
失してしまうため眼の位置を検出することができなくな
る。一方、しきい値を低い値に設定すると図２（Ｄ）に
示すように眼の位置の候補以外に多数の候補点が出現す
るため眼の位置を検出することができなくなる。

【０００９】なお、眼が細くなる原因としては、個人
差、眼を閉じている、撮影装置に対して顔が正面を向い
ていない等がある。

【００１０】本発明は、上記問題点を解決するためにな
されたもので、原画像の眼の形状（眼が細くなってい
る、眼が閉じている、及び眼が開いている等）に係わら
ず、眼等の顔の特徴を抽出することができる顔の特徴抽
出装置を提供することを目的とする。

【００１１】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、入力された顔画像上で顔の縦方向に隣接
して連続するように設定された少なくとも３個の矩形領
域からなるウインドウ内の各矩形領域内の輝度平均値を
算出する輝度平均値算出手段と、隣接する矩形領域の輝
度平均値の差及び前記輝度平均値の差の総和を演算する
演算手段と、前記輝度平均値の差及び前記輝度平均値の
差の総和をしきい値と比較し、しきい値より大きい画素
を抽出する抽出手段と、を含んで構成したものである。

【００１２】本発明では、輝度平均算出手段によって、
入力された顔画像上で顔の縦方向に隣接して連続するよ
うに設定された少なくとも３個の矩形領域からなるウイ
ンドウ内の各矩形領域内の輝度平均値を算出する。顔画
像上の眼の部分は、顔の縦方向に沿った輝度の相違があ
るので、演算手段は、隣接する矩形領域の輝度平均値の
差及び輝度平均値の差の総和を演算する。抽出手段は、
輝度平均値の差及び輝度平均値の差の総和をしきい値と
比較し、しきい値より大きい画素を抽出する。

【００１３】抽出された画素は、隣接する矩形領域にお
いて輝度平均値の差及び輝度平均値の差の総和が大きい
画素であるので、これにより眼の特徴を表す候補領域が
抽出され、この候補領域内の画素の値をしきい値と比較
することにより２値化処理を行う等によって、眼の位置
を検出することができる。また、検出された眼の位置を
基準とすれば、眉等の顔の他の特徴部分の検出を行うこ
とができる。

【００１４】この２値化処理を行うときには、輝度平均
値の総和の度数分布を表すヒストグラムを作成し、上位
の度数から積算した積算値が全度数に対して所定の割合
になるときの輝度平均値の総和をしきい値として用いる
ことができる。

【００１５】本発明によれば、眼の開閉に係わらず、ま
た赤外画像で良くあるように白眼と黒眼とが区別できな
いような場合であっても、眼が細くなっている場合であ
っても顔の特徴の１つである眼の位置を検出することが
可能になる。また、矩形のウインドを用いているので、
個人差による眼の形状の相違、眼を閉じていたり顔が正
面を向いていない等によって眼が細く撮影されている場
合においても眼の位置を検出することができる。

【００１６】本発明においては、ウインドウの最上位に
位置する矩形領域を２等分等によって２分割する等によ
り、矩形領域の個数を４個以上に増加すれば、顔の特徴
である眼と眉とを同時に検出することができる。

【００１７】

【発明の実施の形態】以下、図面を参照して本発明を顔
の特徴の１つである眼を抽出する場合に適用した第１の
実施の形態について説明する。

【００１８】第１の実施の形態は、図４に示すように、
顔を撮影するカメラ１０、画像処理用のコンピュータ、
及びコンピュータに接続されて抽出された２値化画像等
を表示するＣＲＴで構成された表示装置２８によって構
成されている。

【００１９】画像処理用のコンピュータは、カメラ１０
から入力された画像信号をディジタル変換するアナログ
−ディジタル（Ａ／Ｄ）変換器１２、ＣＰＵ１４、顔画
像抽出処理ルーチンのプログラムが記憶されたＲＯＭ１
６、ＲＡＭ１８、画像データを記憶する画像メモリ２
０、輝度平均値を記憶する平均値レジスタ２２、輝度平
均値の総和の度数分布を表すヒストグラムを記憶するヒ
ストグラムメモリ２４、表示装置２８に接続された出力
ポート２６、輝度平均値の総和の値及び０が書き込まれ
る画像メモリ３２、及びこれらを接続するコントロール
バスやデータバス等のバス３０で構成されている。

【００２０】次に、第１の実施の形態の顔画像抽出処理
ルーチンについて図５を参照して説明する。

【００２１】カメラ１０から入力された画像信号は、Ａ
／Ｄ変換器１２によってディジタルの画像データに変換
されて画像メモリ２０に記憶されている。本実施の形態
では、図６に示すように、画像データの顔画像上で顔の
縦方向に隣接して連続するように上側から下側に向かっ
て設定された矩形領域１、矩形領域２、及び矩形領域３
の３個の矩形領域で構成された矩形のウインドウ４０を
用いる。このウインドウ４０において、矩形領域１と矩
形領域３とは同じ形状で同じ面積であり、矩形領域２の
幅は矩形領域１と同じで矩形領域１の面積よりも大き
く、例えば略２倍の面積を有している。

【００２２】まず、画像メモリ２０から顔画像のデータ
を読み込み、入力された顔画像上に、顔画像の縦方向に
３個の矩形の領域が連続するようにウインドウ４０を設
定する。

【００２３】図５のステップ１００では、各矩形領域内
の全画素の輝度値を積算することにより輝度積算値を各
々算出する。ステップ１０２では、各矩形領域内の輝度
積算値をそれぞれの矩形領域内の全画素数で除算するこ
とにより、各矩形領域内の輝度平均値Ｐ１，Ｐ２，Ｐ３
（図７参照）を算出し、輝度平均値レジスタ２２にウイ
ンドウの位置に応じて保存する。

【００２４】次のステップ１０４では、隣接する矩形領
域内の輝度平均値の差（Ｐ１−Ｐ２）、（Ｐ３−Ｐ２）
の各々と、しきい値Ｋ１とを比較し、次の条件を満足す
るか否かを判断する。

【００２５】 （Ｐ１−Ｐ２＞Ｋ１）かつ（Ｐ３−Ｐ２＞Ｋ１） ステップ１０４で上記の条件を満足すると判断されたと
き、すなわち隣接する矩形領域内の輝度平均値の差が大
きいことから眼の候補領域であると判断される場合に
は、ステップ１０６において、顔画像が記憶されている
画像メモリとは別の画像メモリ３２へ輝度平均値の差の
総和（Ｐ１−Ｐ２）＋（Ｐ３−Ｐ２）の値を書き込む。
書き込むべき座標は、矩形領域２の中心点の座標に書き
込む。同時にステップ１０８においてヒストグラムメモ
リ２４に記憶されている輝度平均値の差の総和の度数分
布を表すヒストグラムの総和（Ｐ１−Ｐ２）＋（Ｐ３−
Ｐ２）に対する度数を１増加する。

【００２６】ステップ１０４において上記の条件を満足
しないと判断されたとき、すなわち隣接する矩形領域間
の輝度平均値の差が小さい場合には、顔の肌領域である
と推定してステップ１１０において、顔画像が記憶され
ている画像メモリとは別の画像メモリ３２へ０を書き込
む。書き込むべき座標は、矩形領域２の中心点の座標に
書き込む。同時に、ステップ１１２においてヒストグラ
ムメモリ２４の総和が０の度数を１増加する。

【００２７】次のステップ１１４では、顔画像全面につ
いてステップ１００〜ステップ１１２の処理が終了した
か否かを判断し、処理が終了していない場合にはウイン
ドウを１画素ずつずらしてステップ１００に戻り、上記
の処理を繰り返す。なお、ウインドウをずらす方向は左
右方向、上下方向、斜め方向のいずれでもよい。

【００２８】上記の処理を、矩形のウインドウを１画素
ずつずらしながら、入力画像である顔画像全体に対して
行うことにより、輝度値が輝度平均値の差の総和に変換
処理された画像及びヒストグラムが得られる。

【００２９】ステップ１１４で顔画像全面について処理
が終了していると判断された場合は、ステップ１１６に
おいてヒストグラムメモリに記憶されているヒストグラ
ムに基づいて輝度平均値の差の総和（Ｐ１−Ｐ２）＋
（Ｐ３−Ｐ２）に対するしきい値Ｋ２を算出する。すな
わち、ヒストグラムの上位の度数から度数を積算し、積
算した値が全度数に対して所定割り合いに到達した際の
総和（Ｐ１−Ｐ２）＋（Ｐ３−Ｐ２）の値をしきい値Ｋ
２として設定する。この全度数に対する所定割り合い
は、予めシミュレーション等によって設定される。

【００３０】ステップ１１８では、ステップ１０６で輝
度平均値の差の総和（Ｐ１−Ｐ２）＋（Ｐ３−Ｐ２）が
書き込まれた画像メモリ上の各画素について輝度平均値
の差の総和（Ｐ１−Ｐ２）＋（Ｐ３−Ｐ２）としきい値
Ｋ２とを比較して次の条件を満足するか否かを判断す
る。

【００３１】（Ｐ１−Ｐ２）＋（Ｐ３−Ｐ２）＞Ｋ２ 上記条件を満足する画素に対してはステップ１２０にお
いて出力するときの値を１とし、上記条件を満足しない
画素に対してはステップ１２２において出力するときの
値を０とし、２値化を行う。上記の２値化処理はステッ
プ１２４で画像全面について処理が終了したと判断され
るまで継続される。そして、画像全面について処理を行
うことにより２値化画像が得られる。

【００３２】上記のように処理したときの処理結果を図
８に示す。図８（Ａ）は、原画像が眼を開いている場合
の処理結果であり、図８（Ｂ）は、原画像が眼を閉じて
いる場合の処理結果であり、いずれの場合においても２
値化画像において顔の特徴である眼が良好に抽出されて
おり、この２値化画像から眼の位置を特定することがで
きる。なお、図８（Ａ）、（Ｂ）において中央の画像
は、ステップ１００〜１１２の処理を画像全面に対して
行ったときの処理画像である。

【００３３】図９（Ｂ）は、図９（Ａ）に示すように顔
が正面を向いていない場合の２値化画像を求めた場合の
処理結果であり、眼が良好に抽出されており、また、図
９（Ｃ）は、顔が正面を向いていない場合の眼を抽出し
たときの処理結果であり、眼が良好に抽出されている。

【００３４】次に、本発明の第２の実施の形態について
説明する。第１の実施の形態において、図１０に示すよ
うに眼と眉とが接近している顔の画像について処理を行
うと、矩形領域１に眉が入った場合には矩形領域１の輝
度平均値が小さくなり、最終的に２値化画像の出力結果
が小さくなる場合がある。このため、第２の実施の形態
では、図７に示したウインドウ４０の矩形領域１を図１
１に示すように面積が等しい上下２つの矩形領域１Ａ，
１Ｂに２分割して４つの矩形領域からなるウインドウ４
４とし、眉が矩形領域内に入る場合には眉が入った領域
を除外して演算することにより２値化画像の出力結果が
小さくなるのを防止したものである。

【００３５】次に、第２の実施の形態の顔画像抽出処理
ルーチンについて図１２を参照して説明する。なお、図
１２において図５の処理ルーチンと同一部分には同一符
号を付して説明する。

【００３６】画像メモリ２０から顔画像のデータを読み
込み、入力された顔画像上に、顔画像の縦方向に４個の
矩形の領域が連続するようにウインドウ４４を設定す
る。

【００３７】図１２のステップ１００で、各矩形領域内
の全画素の輝度積算値を各々算出すした後、ステップ１
０２において、各矩形領域内の全画素数で輝度積算値を
各々除算することにより、各矩形領域内の輝度平均値Ｐ
１Ａ，Ｐ１Ｂ，Ｐ２，Ｐ３を算出し、輝度平均値レジス
タ２２に保存する。矩形領域１Ａ，１Ｂは、矩形領域１
を２分割したものであるため、第１の実施の形態で説明
した矩形領域１の輝度平均値Ｐ１との間には、（Ｐ１Ａ
＋Ｐ１Ｂ）／２＝Ｐ１の関係がある。

【００３８】次のステップ１０３では、矩形領域１Ａ，
１Ｂ内の輝度平均値の差（Ｐ１Ｂ−Ｐ１Ａ）と、しきい
値Ｋ３とを比較する。

【００３９】ステップ１０３で（Ｐ１Ｂ−Ｐ１Ａ）＜Ｋ
３を満足する場合には、すなわち隣接する矩形領域間の
輝度平均値の差が小さい場合には、顔の肌領域であると
推定して以下で説明するように演算結果に反映させ、
（Ｐ１Ｂ−Ｐ１Ａ）＜Ｋ３を満足しない場合は、眉が矩
形領域１Ａ内に入ったと推定して以下で説明するように
眉が入った矩形領域１Ａのデータを除外して演算するよ
うにする。

【００４０】すなわち、ステップ１０３の判断が肯定さ
れた場合には、眉が矩形領域１Ａ内に入っていないと判
断して、第１の実施の形態の図６で説明したステップ１
０４〜ステップ１０８と同様の処理を行う。

【００４１】一方、ステップ１０３の判断が否定された
場合には、眉が矩形領域１Ａ内に入ったと判断し、矩形
領域１Ａ内の輝度平均値Ｐ１Ａを除外して演算に用いな
いようにし、矩形域１Ｂ、２、３内の輝度平均値の差
（Ｐ１Ｂ−Ｐ２）、（Ｐ３−Ｐ２）の各々と、しきい値
Ｋ４とを比較し、次の条件を満足するか否かを判定す
る。なお、しきい値Ｋ４は、ステップ１０４のしきい値
Ｋ１と同じ値に設定することができる。

【００４２】 （Ｐ１Ｂ−Ｐ２＞Ｋ４）かつ（Ｐ３−Ｐ２＞Ｋ４） ステップ１０５で上記の条件を満足すると判断されたと
き、すなわち隣接する矩形領域間の輝度平均値の差が大
きいことから眼の候補領域であると判断される場合に
は、ステップ１０７において、顔画像が記憶されている
画像メモリとは別の画像メモリへ輝度平均値の差の総和
（Ｐ１Ｂ−Ｐ２）＋（Ｐ３−Ｐ２）の値を書き込む。書
き込むべき座標は、矩形領域２の中心点の座標に書き込
む。同時にステップ１０９においてヒストグラムメモリ
２４に記憶されている輝度平均値の差の総和の度数分布
を表すヒストグラムの総和（Ｐ１Ｂ−Ｐ２）＋（Ｐ３−
Ｐ２）に対する度数を１増加する。

【００４３】ステップ１０５において上記の条件を満足
しないと判断されたときは、第１の実施の形態と同様
に、顔画像が記憶されている画像メモリとは別の画像メ
モリへ０を書き込む。同時にステップ１１２において総
和が０の度数を１増加する。

【００４４】上記の処理は、ステップ１１４で顔画像全
面について処理が終了したと判断されるまで繰り返さ
れ、ステップ１１４で処理が終了していると判断された
場合は、ステップ１１６において作成されたヒストグラ
ムから上記と同様にして輝度平均値の差の総和に対する
しきい値Ｋ２を算出する。ステップ１１８では、ステッ
プ１０６において（Ｐ１−Ｐ２）＋（Ｐ３−Ｐ２）が、
ステップ１０７において（Ｐ１Ｂ−Ｐ２）＋（Ｐ３−Ｐ
２）が書き込まれた画像メモリ上の各画素について、各
画素の値（Ｐ１−Ｐ２）＋（Ｐ３−Ｐ２）または（Ｐ１
Ｂ−Ｐ２）＋（Ｐ３−Ｐ２）としきい値Ｋ２とを比較し
て次の条件を満足するか否かを判断する。なお、上述し
たようにＰ１＝（Ｐ１Ａ＋Ｐ１Ｂ）／２である。

【００４５】（Ｐ１−Ｐ２）＋（Ｐ３−Ｐ２）＞Ｋ２ または（Ｐ１Ｂ−Ｐ２）＋（Ｐ３−Ｐ２）＞Ｋ２ 上記条件を満足する画素に対してはステップ１２０にお
いて出力するときの値を１とし、上記条件を満足しない
画素に対してはステップ１２２において出力するときの
値を０とし、２値化を行い、第１の実施の形態で説明し
たように２値化画像を得る。

【００４６】なお、上記の各実施の形態では、矩形領域
２の縦サイズを矩形領域１の縦サイズの略２倍とする例
について説明したが、個人差（眼の太さ）に応じて矩形
領域２の縦サイズを変化させてもよい。

【００４７】この場合には、矩形領域２の縦サイズを複
数個設定しておき、最初に抽出された眼の座標において
各矩形領域２の縦サイズ毎に出力を演算し、最も高い出
力値が演算された矩形領域２の縦サイズを選択するよう
にすることができる。

【００４８】このように、最初の抽出時に最適なウイン
ドウサイズを選択することにより、個人差、特に眼の太
さに対応して安定に眼の位置を抽出することができる。

【００４９】また、上記の各実施の形態では、眼の位置
を検出する例について説明したが、ウインドウの大きさ
を変更して上記と同様の手法を適用することにより、眼
以外の顔の別の特徴である眉、口等も検出可能である。
そして、これらの特徴点の位置関係を検証に用いること
により、信頼性の高い顔の特徴を抽出を行うことができ
る。

【００５０】

【発明の効果】以上説明したように、本発明によれば、
縦方向の境界のみを考慮した矩形のウインドウを設定し
ているため、白眼と黒眼の区別が明確にできない赤外画
像の場合でも眼等の顔の特徴の候補となる領域を正確に
抽出できる、という効果が得られる。

【図面の簡単な説明】

【図１】（Ａ）は従来のウインドを示す図であり、
（Ｂ）は従来技術による眼の位置検出のシミュレーショ
ン結果を示す図であり、（Ｃ）はシミュレーションに用
いたウインドを示す図であり、（Ｄ）は分離度と各領域
の輝度との関係を示す線図である。

【図２】従来技術の問題点を説明するための図であり、
（Ａ）は原画像、（Ｂ）は分離度フィルタ出力結果、
（Ｃ）はしきい値が図１と同じ場合の２値化画像、
（Ｄ）はしきい値を小さくした場合の２値化画像であ
る。

【図３】赤外画像を示す図である。

【図４】本実施の形態のブロック図である。

【図５】第１実施の形態における顔画像抽出処理ルーチ
ンを示す流れ図である。

【図６】第１の実施の形態のウインドウ構成を示す図で
ある。

【図７】第１の実施の形態の輝度平均値を示す線図であ
る。

【図８】（Ａ）は眼を開いている場合における第１の実
施の形態による処理結果を示す図であり、（Ｂ）は眼を
閉じている場合における第１の実施の形態による処理結
果を示す図である。

【図９】（Ａ）は処理対象画像を示す図であり、（Ｂ）
は（Ａ）の処理対象画像を第１の実施の形態によって処
理した処理結果を示す図であり、（Ｃ）は眼の位置を抽
出した場合における処理結果を示す図である。

【図１０】眼と眉とが接近している顔の画像を示す図で
ある。

【図１１】（Ａ）は第２の実施の形態のウインドウ構成
を示す図であり、（Ｂ）は第２の実施の形態の輝度平均
値を示す線図である。

【図１２】第２実施の形態における顔画像抽出処理ルー
チンを示す流れ図である。

【符号の説明】

１０ カメラ １２ アナログ−ディジタル変換器 ２０ 画像メモリ ２２ 平均値レジスタ ２４ ヒストグラムメモリ

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 330 G06T 7/00 G06T 7/00 510

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】入力された顔画像上で顔の縦方向に隣接し
   て連続するように設定された少なくとも３個の矩形領域
   からなるウインドウ内の各矩形領域内の輝度平均値を算
   出する輝度平均値算出手段と、 隣接する矩形領域の輝度平均値の差及び前記輝度平均値
   の差の総和を演算する演算手段と、 前記輝度平均値の差及び前記輝度平均値の差の総和をし
   きい値と比較し、しきい値より大きい画素を抽出する抽
   出手段と、 を含む顔の特徴抽出装置。