JP2000259814A - 画像処理装置及びその方法 - Google Patents

Abstract

(57)【要約】 【課題】 人物顔の認識における顔部品抽出処理を安定
確実なものとするような人物認識装置を提供する。 【解決手段】 画像入力部１はテレビカメラ９がゲート
１０を通過する人物１１の顔を斜め下から撮影可能なよ
うに仰角を与え、この撮影した画像から差分画像を生成
し、生成された差分画像から変化領域を検出し、さらに
検出された変化領域に対して正規化処理を行ない、正規
化された画像から入力情報を生成し、登録された辞書情
報との類似度を計算することにより、正規化パタンの分
類を行なうものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、人物を撮影して、
その画像を利用して所定の処理を行う画像処理装置及び
その方法に関する。

【０００２】

【従来の技術】一般に、物体の反射輝度画像を認識する
画像パタン認識装置もしくは方法においては、物体表面
からの反射光を捉えた画像すなわち反射輝度画像を入力
し（画像入力処理）、前記入力画像から認識対象となる
画像領域を検出・抽出し（パタン抽出処理）、前記画像
領域を所定の大きさのパタンに変換し（パタン正規化処
理）、前記パタンを所定の入力情報に変換し（特徴抽出
処理）、前記入力情報を予め用意された辞書情報と照合
して類似度を求める（類似度計算処理）という手順が必
要である。

【０００３】パタン抽出処理においては、認識対象の含
まれない画像（背景画像）と認識対象を含む画像（入力
画像）との差分を求め、差分値の大きい領域を認識対象
を含む画像領域として抽出する背景差分法、異なる時刻
に撮影された入力画像間の差分を求め、差分値の大きい
領域を認識対象が動いたために検出された認識対象を含
む画像領域として抽出する時間差分法、認識対象の画像
的特徴を教示した画像テンプレートを入力画像中で走査
して、最も相関値の高い領域を認識対象を含む画像領域
として抽出するテンプレート照合法などがある。このう
ち、上記背景差分法と時間差分法はパタン抽出処理を非
常に高速に実行できる点においてテンプレート照合法よ
り優れている。

【０００４】また、類似度計算処理においては、入力情
報と辞書情報をともに同次元かつ同特徴によるベクトル
で表現し、両ベクトルの距離を評価して認識する方法
や、辞書情報を複数のベクトルから生成される辞書部分
空間として、入力ベクトルと辞書部分空間の距離を評価
して認識する部分空間法や、複数の入力ベクトルから生
成される入力部分空間と辞書部分空間の距離を評価して
認識する相互部分空間法などが提案されている。いずれ
も入力と辞書との類似性を類似度という尺度に変換して
認識を行なうものである。このような入力と辞書及び類
似度の諸定義に関する詳細は、文献［１］（エルッキ・
オヤ著、“パターン認識と部分空間”、産業図書、１９
８６）に開示され、相互部分空間法に関しては、文献
［２］（前田、“パターン認識方式”特開昭６０−５７
４７５）や、文献［３］（山口他、“動画像を用いた顔
認識システム”、信学技報ＰＲＭＵ９７−５０、１９９
７）に開示されている。

【０００５】しかし一方で、背景差分法や時間差分法に
おいては次の２つが問題となっている。

【０００６】（１）入力画像中に複数の物体が写ってい
るとき、その中から認識対象物体の画像領域のみを切り
出すことが本処理単独ではできず、結局のところテンプ
レート照合法のように個々の差分領域を画像的特徴に基
づいて検証しなければならなくなる。

【０００７】（２）天候や時間帯の違いにより照明環境
が変化すると、差分値に予期せぬノイズが混ざり、認識
対象物体の画像領域のみを抽出することが困難になる。

【０００８】これらを解決するためには、差分画像中で
認識対象のみが差分値を高く得るようにする必要があ
る。

【０００９】具体的には、つぎの２つの解決手段を講じ
る必要がある。

【００１０】（Ａ）入力画像中に認識対象のみが入るよ
うに撮像手段を調整する。

【００１１】（Ｂ）照明条件の変化に影響されにくい画
像表現を用いて差分値を計算する。

【００１２】しかしながら、従来技術においては、背景
差分や時間差分における上記（１）、（２）の問題の解
決法として上記（Ａ）、（Ｂ）の方策を講じることにつ
いては提案されておらず、これが差分のみにより高速に
認識対象を抽出する画像パタン認識を困難にしている。

【００１３】また、前記文献［３］においては、認識対
象を人物の顔とし、上記テンプレート照合法によるパタ
ン抽出処理と、上記相互部分空間法による類似度計算処
理とを組み合わせて、顔向きや表情の変化に対して安定
なパタン抽出、パタン正規化、類似度計算を可能とした
人物認識方法が示されている。特に、パタン正規化のた
めに黒目と鼻孔という顔部品の検出を照明条件の変動に
強い分離度フィルタを用いて行い、前記部品の配置に基
づいて顔向きや表情の変化によって正規化パタンが大き
く変動してしまうことのないパタン正規化を達成してい
る。この詳細については文献［４］（福井、“人物認証
装置及び人物認証方法”、特開平０９−２５１５３４）
に開示されている。顔部品として鼻孔を用いていること
から、この装置においては顔撮影手段（カメラ）は被撮
影者が対面するディスプレイ装置の前面下部に設置され
るべきであることが述べられている。これは人物の鼻孔
が見えるために必要な配慮である。

【００１４】しかしながら、上記の従来技術において
は、以下の２つの問題が存在していた。

【００１５】（３）撮像手段の設置に際してのより具体
的あるいは詳細な条件は示されておらず、適当な設置方
法を取った場合には顔部品の検出が保証されない。

【００１６】（４）被撮影者の顔部品が安定確実に検出
されるよう、積極的にそのような状態を被撮影者に維持
させるための工夫が明確に示されておらず、被撮影者の
気紛れにより顔部品の検出に失敗する。

【００１７】

【発明が解決しようとする課題】以上で述べた様に、従
来の画像パタン認識においては、（１）単一の認識対象
のみを撮影することができず、高速簡便な差分処理のみ
によって認識対象のパタンを正確に抽出することができ
なかった。

【００１８】（２）照明変動などのノイズ原因により差
分値に認識対象以外のノイズ領域が含まれてしまい、高
速簡便な差分処理のみによって認識対象のパタンを安定
に抽出することができなかった。

【００１９】また、従来の人物認識においては、（３）
顔部品抽出が保証される撮像手段の設置方法が明らかで
ないために、顔部品の検出に失敗する可能性が残されて
いた。

【００２０】（４）顔部品抽出が保証されるように被撮
影者を誘導する手段がなかったために、顔部品の検出に
失敗する可能性が残されていた。

【００２１】本発明は上記の問題点に鑑みて成されたも
のであり、その第１の目的とするところは、画像パタン
認識におけるパタン抽出処理を高速簡便な差分処理のみ
で行なうことが妥当であるような工夫を施すことによ
り、高速簡便かつ安定な画像パタン認識装置とその方法
を提供することである。

【００２２】本発明の第２の目的とするところは、人物
顔の認識における顔部品抽出処理を安定確実なものとす
るような工夫を施すことにより、顔部品に基づくパタン
正規化を安定させ、もって安定高性能な人物認識装置と
その方法を提供することである。

【００２３】

【課題を解決するための手段】請求項１の発明は、認識
対象人物を含む可能性のある画像をカメラを用いて入力
する画像入力手段と、前記画像入力手段により入力され
た入力画像と所定の画像との差分画像を生成し、この差
分画像中から所定の閾値以上の値を持つ領域を認識対象
領域として検出する認識対象領域検出手段と、前記認識
対象領域検出手段により検出された認識対象領域を所定
の入力情報に変換する入力情報生成手段と、前記入力情
報生成手段により変換された入力情報と所定の辞書情報
とを照合して類似度を求める類似度計算手段と、を具備
した画像処理装置において、前記カメラの視点位置が前
記認識対象人物の撮影部分より下方に位置し、かつ、前
記カメラの光軸方向が水平方向に対し仰角をなしたこと
を特徴とする画像処理装置である。

【００２４】本発明によれば、人物を下方から仰ぎ見て
画像を入力するために、差分差をとる所定の画像が天井
面になるため、認識対象領域の検出行い易い。

【００２５】請求項２の発明は、認識対象人物の顔画像
を含む可能性のある画像をカメラを用いて入力する画像
入力手段と、前記画像入力手段により入力された画像か
ら顔領域を検出する顔検出手段と、前記顔検出手段によ
り検出された顔領域から顔部品を検出する顔部品検出手
段と、前記顔部品検出手段によって検出された顔部品か
ら前記認識対象人物の視線の方向を検出する視線方向検
出手段と、を具備する画像処理装置において、前記カメ
ラの視点位置が認識対象人物の顔の位置より下方に位置
し、かつ、前記カメラの光軸方向が水平方向に対し仰角
をなしたことを特徴とする画像処理装置である。

【００２６】本発明によれば、人物を下方から仰ぎ見て
画像を入力するために、人物の顔を確実に認識できて、
人物の視点方向の検出を安定確実なものとすることがで
きる。

【００２７】請求項３の発明は、認識対象人物の顔画像
を含む可能性のある画像を入力する画像入力手段と、前
記画像入力手段により入力された画像から顔領域を検出
する顔検出手段と、前記顔検出手段により検出された顔
領域から顔部品を検出する顔部品検出手段と、前記顔部
品検出手段で検出された顔部品から前記認識対象人物を
認識する人物認識手段と、を具備した画像処理装置にお
いて、前記認識対象人物の視線方向、顔位置、または、
その両方を所定の方向または位置に誘導するための指標
手段を有し、前記カメラの視点位置が前記指標手段より
下方に位置し、かつ、前記カメラの光軸方向が前記指標
手段から認識対象へ到る方向に対して仰角をなしたこと
を特徴とする画像処理装置である。

【００２８】本発明によれば、指標手段によって顔が固
定され、かつ、人物を下方から仰ぎ見て画像を入力する
ために、人物の顔を確実に認識できて、人物の視点方向
の検出を安定確実なものとすることができる。

【００２９】請求項４の発明は、人物を撮影する画像処
理装置において、撮影対象人物の顔画像を含む第１の画
像を入力する第１の画像入力手段と、前記撮影対象人物
の顔画像を含む第２の画像を入力する第２の画像入力手
段と、前記第１の画像入力手段によって入力された画像
から顔領域を検出する顔検出手段と、前記顔検出手段に
よって検出された顔領域から正面顔であるか否かを判別
する正面顔判別手段と、前記顔検出手段によって検出さ
れた顔領域から開眼状態を検出する開眼状態検出手段
と、前記正面顔判別手段により前記撮影対象人物が正面
を向いていると判別され、かつ、前記開眼状態検出手段
により開眼状態が検出されている期間に撮影された前記
第２の画像を出力する画像出力手段とを有し、前記第２
の画像入力手段が具備する撮影手段の中心と前記撮影対
象人物の顔領域の中心を結ぶ直線を顔正面方向としたと
きに、前記第１の画像入力手段が具備する撮像手段の光
軸方向が、前記顔正面方向に対して仰角であることを特
徴とする画像処理装置である。

【００３０】本発明によれば、顔が正面を向き、かつ、
目が開いた状態で人物を確実に撮影できる。なお、開眼
状態か否かは、黒目の検出を用いることができる。

【００３１】請求項５の発明は、認識対象人物を含む可
能性のある画像をカメラを用いて入力する画像入力ステ
ップと、前記画像入力ステップにより入力された入力画
像と所定の画像との差分画像を生成し、この差分画像中
から所定の閾値以上の値を持つ領域を認識対象領域とし
て検出する認識対象領域検出ステップと、前記認識対象
領域検出ステップにより検出された認識対象領域を所定
の入力情報に変換する入力情報生成ステップと、前記入
力情報生成ステップにより変換された入力情報と所定の
辞書情報とを照合して類似度を求める類似度計算ステッ
プと、を具備した画像処理方法において、前記カメラの
視点位置が前記認識対象人物の撮影部分より下方に位置
し、かつ、前記カメラの光軸方向が水平方向に対し仰角
をなしたことを特徴とする画像処理方法である。

【００３２】請求項６の発明は、認識対象人物の顔画像
を含む可能性のある画像をカメラを用いて入力する画像
入力ステップと、前記画像入力ステップにより入力され
た画像から顔領域を検出する顔検出ステップと、前記顔
検出ステップにより検出された顔領域から顔部品を検出
する顔部品検出ステップと、前記顔部品検出ステップに
よって検出された顔部品から前記認識対象人物の視線の
方向を検出する視線方向検出ステップと、を具備する画
像処理方法において、前記カメラの視点位置が認識対象
人物の顔の位置より下方に位置し、かつ、前記カメラの
光軸方向が水平方向に対し仰角をなしたことを特徴とす
る画像処理方法である。

【００３３】請求項７の発明は、認識対象人物の顔画像
を含む可能性のある画像を入力する画像入力ステップ
と、前記画像入力ステップにより入力された画像から顔
領域を検出する顔検出ステップと、前記顔検出ステップ
により検出された顔領域から顔部品を検出する顔部品検
出ステップと、前記顔部品検出ステップで検出された顔
部品から前記認識対象人物を認識する人物認識ステップ
と、を具備した画像処理方法において、前記認識対象人
物の視線方向、顔位置、または、その両方を所定の方向
または位置に誘導するための指標手段を有し、前記カメ
ラの視点位置が前記指標手段より下方に位置し、かつ、
前記カメラの光軸方向が前記指標手段から認識対象へ到
る方向に対して仰角をなしたことを特徴とする画像処理
方法である。

【００３４】請求項８の発明は、人物を撮影する画像処
理方法において、撮影対象人物の顔画像を含む第１の画
像を入力する第１の画像入力ステップと、前記撮影対象
人物の顔画像を含む第２の画像を入力する第２の画像入
力ステップと、前記第１の画像入力ステップによって入
力された画像から顔領域を検出する顔検出ステップと、
前記顔検出ステップによって検出された顔領域から正面
顔であるか否かを判別する正面顔判別ステップと、前記
顔検出ステップによって検出された顔領域から開眼状態
を検出する開眼状態検出ステップと、前記正面顔判別ス
テップにより前記撮影対象人物が正面を向いていると判
別され、かつ、前記開眼状態検出ステップにより開眼状
態が検出されている期間に撮影された前記第２の画像を
出力する画像出力ステップとを有し、前記第２の画像入
力ステップが具備する撮影手段の中心と前記撮影対象人
物の顔領域の中心を結ぶ直線を顔正面方向としたとき
に、前記第１の画像入力ステップが具備する撮像手段の
光軸方向が、前記顔正面方向に対して仰角であることを
特徴とする画像処理方法である。

【００３５】また、上記の発明は、相当する手順あるい
は手段をコンピュータに実行させるためのプログラムを
記録した機械読み取り可能な媒体としても成立する。

【００３６】

【発明の実施の形態】本発明に係る実施例を図面にした
がって説明する。

【００３７】（第１の実施例）本発明に係る画像入力装
置の第１の実施例を説明する。

【００３８】本装置は不特定もしくは特定の複数の人物
の顔画像を入力する装置である。

【００３９】本装置の構成は、図１に示すように、テレ
ビカメラからなり、そのテレビカメラはその中心が、対
象とする人物の想定される顔の位置より下部に位置し、
またその光軸方向は水平方向に対して仰角を持つように
設置する。

【００４０】この様にテレビカメラの光軸方向を水平方
向より上向きにすることで、図２に示すように、対象者
の身長にばらつきがある場合にも確実に対象者の顔画像
を入力することが、可能となる。

【００４１】なお、この構成は、後から説明する実施例
の基本構成となるものである。

【００４２】（第２の実施例）本発明に係る画像パタン
認識装置の第２の実施例を説明する。

【００４３】本装置は目的の認識対象を含む可能のある
画像を入力し、前記画像から差分画像を生成し、生成さ
れた差分画像から変化領域を検出し、さらに検出された
変化領域に対して正規化処理を行ない、正規化された画
像から入力情報を生成し、登録された辞書情報との類似
度を計算することにより、正規化パタンの分類を行なう
装置である。

【００４４】特に本装置は、入場者管理を行なうゲート
装置を設置した施設において、１度に１人の人間が通過
できるゲートに進入する人物の顔などを認識して施設利
用者の男女や年齢などの別を計数する目的に利用するこ
とを想定している。

【００４５】図３に本装置の基本構成を示す。

【００４６】本装置は画像入力部１、差分画像生成部
２、変化領域検出部３、正規化部４、入力情報生成部
５、類似度計算部６、正規化パタン分類部２１、出力部
８より成る。

【００４７】また、図４に本装置における処理構成を示
す。

【００４８】本装置における処理は画像入力処理Ｓ１、
差分画像生成処理Ｓ２、変化領域検出処理Ｓ３、正規化
処理Ｓ４、入力情報生成処理Ｓ５、類似度計算処理Ｓ
６、正規化パタン分類処理Ｓ２１、出力処理Ｓ８より成
る。

【００４９】画像入力部１は、反射輝度画像を定期的に
撮像入力する（画像入力処理：ステップＳ１）。ただ
し、画像入力部１は図５に示すようにその撮像手段たる
テレビカメラ９がゲート１０を通過する人物１１の顔を
斜め下から撮影可能なように仰角を与えられている。こ
の結果、撮影視野には必ず最大１名までの人物顔しか入
らないようにでき、人物がいない場合には撮影画像には
動きのない天井のみが写るようにできる。

【００５０】この様な配置を取った場合の得られた画像
の例を図７に示す。

【００５１】図７の符号１２が本実施形態を取った場合
に得られる画像である。この画像では、天井のみの画像
を背景画像とすることで、背景差分法により１名の人物
を検出可能であり、また、時間差分法によっても１名の
人物を検出できる。図７の符号１３は人物正面から撮影
した場合であり、図７の符号１２のように背景差分法や
時間差分法では１名の人物のみを検出することはできな
い。

【００５２】差分画像生成部２は、画像入力部１による
入力画像とあらかじめ記憶しておいた背景画像（本装置
においては天井画像）との画素値の差の絶対値を当該画
素の値とする差分画像を生成する（差分画像生成処理：
ステップＳ２）。

【００５３】変化領域検出部３は、前記差分画像を閾値
処理によって２値化して差分値の大きい画素を抽出し、
差分値の大きい画素は認識対象となる人物が画像視野内
に入ってきたことを示しているものと解釈し、前記差分
値の大きい画素の全てを内部に包含する１つの外接長方
形を進入者の画像領域と看做して、前記長方形内部を変
化領域として検出する（変化領域検出処理Ｓ３）。本装
置においては、変化領域として外接長方形を使用してい
るが、変化領域は必ずしも外接長方形である必要はな
く、一般的な外接図形であれば差し支えない。

【００５４】なお、差分画像生成部２は変化領域を検出
するに際して背景との差分画像によらず、撮影時刻の異
なる２つの画像の時間差分画像を用いても良い。先に述
べた画像入力部１において図５に示す配置を行なうこと
により変化領域を抽出することで、特定の一人の人物の
みを抽出することが可能となっている。

【００５５】正規化部４は、変化領域検出部３において
検出された変化領域を所定の大きさに正規化した画像パ
タンを抽出する（正規化処理Ｓ４）。

【００５６】入力情報生成部５は、正規化部４において
生成されたＮ画素の正規化画像を人物が視野に現れてか
ら消え去るまでの間、各正規化画像をＮ次元特徴ベクト
ルとみなして、この時系列的な特徴ベクトルを所定数蓄
積し、これをＫＬ展開して得た固有ベクトルを基底ベク
トルとする部分空間を生成し、この部分空間を入力情報
とする。

【００５７】類似度計算部６は、入力情報生成部５にお
いて生成された入力情報たる部分空間と、あらかじめ生
成してあった分類可能なカテゴリ毎の辞書部分空間との
類似度を計算する（類似度計算処理：ステップＳ６）。
この照合は、分類可能なカテゴリの数だけ行われる。

【００５８】正規化パタン分類部７は、類似度計算部６
において、計算された各カテゴリの辞書部分空間との類
似度のうち、所定しきい値以上で、最も高い類似度を獲
得した辞書部分空間のカテゴリ（個人名、男女の別な
ど）を当該変化領域に写っている人物のカテゴリとして
認定する（正規化パタン分類処理：ステップＳ７）。

【００５９】出力部８は、正規化パタン分類部７におい
て認定されたカテゴリを出力する（出力処理：ステップ
８）。なお、出力部４は認定カテゴリのみならず、入力
画像、差分画像、差分値の大きい画素、変化領域の範
囲、変化領域画像、変化領域の正規化パタン、特徴ベク
トル、入力部分空間などの中間情報や、カテゴリ毎の辞
書部分空間を必要に応じて出力できるようにしても良
い。

【００６０】（第３の実施例）本発明に係る画像パタン
認識装置の第３の実施例を説明する。

【００６１】本装置は目的の認識対象を含む可能のある
画像を入力し、前記画像から差分画像を生成し、生成さ
れた差分画像から変化領域を検出し、さらに検出された
変化領域に対して正規化処理を行ない、正規化された画
像から入力情報を生成し、登録された辞書情報との類似
度を計算することにより、正規化パタンの分類を行なう
装置である。

【００６２】特に本装置は、窓辺の屋内や日除けのある
屋外などの照明変動環境下に入場者管理を行なうゲート
装置を設置した遊園地などにおいて、１度に１人の人間
が通過できるゲートに進入する人物の顔などを認識して
施設利用者の男女や年齢などの別を計数する目的に利用
することを想定している。

【００６３】図８に本装置の基本構成を示す。

【００６４】本装置は画像入力部１４、変動恒常化部１
５、差分画像生成部１６、変化領域検出部１７、正規化
部１８、入力情報生成部１９、類似度計算部２０、正規
化パタン分類部２１、出力部２２より成る。

【００６５】また、図９に本装置における処理構成を示
す。

【００６６】本装置における処理は画像入力処理Ｓ１
４、変動恒常化部Ｓ１５、差分画像生成処理Ｓ１６、変
化領域検出処理Ｓ１７、正規化処理Ｓ１８、入力情報生
成処理Ｓ１９、類似度計算処理Ｓ２０、正規化パタン分
類処理Ｓ２１、出力処理Ｓ２２より成る。

【００６７】画像入力部１４は、反射輝度画像を定期的
に撮像入力する（画像入力処理：ステップＳ１４）。た
だし、画像入力部１４は、図５に示すように、その撮像
手段たるテレビカメラ９がゲート１０を通過する人物１
１の顔を斜め下から撮影可能なように仰角を与えられて
いる。この結果、撮影視野には必ず最大１名までの人物
顔しか入らないようにでき、人物がいない場合には撮影
画像には天井のみが写るようにできる。

【００６８】変動恒常化部１５は、画像入力部１４によ
る反射輝度画像の空間周波数成分から高周波成分を残
し、照明の影響を強く受ける低周波成分をカットした変
動恒常化画像を生成する（変動恒常化処理：ステップＳ
１５）。このために変動恒常化部１５は、反射輝度画像
の高域通過フィルタ（あるいは高域強調フィルタでも近
い効果を得られる）をかけて変動恒常化画像と成す。

【００６９】高域通過フィルタの実現方法には幾つかの
候補が考えられるが、最も簡単には入力画像に微分処理
を施すことで実現できる。一般に微分処理は微分オペレ
ータを画像上で走査しつつ、オペレータ中心画素とその
周辺画素の輝度値の加重和を前記中心画素の微分値とす
る。また、微分処理は微分オペレータの適用による加重
和計算の他に、例えば画素表現手法として知られるエン
ボス化処理によっても実現できる。エンボス化は元の画
像に同じ画像を位置をずらして重ね、一方から他方を差
し引いて得られた値を当該画素の値とするものである。
エンボス化処理は極端に小さな１次元の微分オペレータ
を用いた１方向の微分処理であるとも言え、画素輝度値
の減算のみで行えることから、一般的な微分オペレータ
による加算和計算より高速に実行できる。

【００７０】特に１画素をずらして行われるエンボス化
処理は当該反射輝度画像における最も高い空間周波数成
分のみを抽出する高域通過フィルタとして機能する。

【００７１】エンボス化処理で画像をずらす方向は当該
画像に現われる検出対象の特徴を表わすエッジの方向に
垂直とすれば最も効果的である。このようにすること
で、変動恒常化画像は検出対象の特徴を十分残し、照明
変動の影響を極力排除した画像となる。例えば、人間の
顔には眉や目や口などの水平エッジが多いことから、垂
直方向（顔の縦軸方向）にずらすエンボス化が有効であ
ると考えられる。

【００７２】差分画像生成部１６は、変動恒常化部１５
により生成された変動恒常化画像とあらかじめ記憶して
おいた背景画像（本装置においては天井画像の変動恒常
化画像）との画素値の差の絶対値を当該画素の値とする
差分画像を生成する（差分画像生成処理：ステップＳ１
６）。

【００７３】変化領域検出部１７は、前記差分画像を閾
値処理によって２値化して差分値の大きい画素を抽出
し、差分値の大きい画素は認識対象となる人物が画像視
野内に入ってきたことを示しているものと解釈し、前記
差分値の大きい画素の全てを内部に包含する１つの外接
長方形を進入者の画像領域と看做して、前記長方形内部
を変化領域として検出する（変化領域検出処理Ｓ１
７）。この結果、照明環境が変化しても、天井や人物の
変動恒常化画像は大きな変化をうけないので、変化領域
には安定に１名の人物のみが含まれるようにすることが
できる。また、本装置においては、変化領域として外接
長方形を使用しているが、必ずしも変化領域は外接長方
形である必要はなく、一般的な外接図形であれば差し支
えない。

【００７４】なお、差分画像生成部１６は変化領域を検
出するに際して背景との差分画像によらず、撮影時刻の
異なる２つの画像の時間差分画像を用いても良い。先に
述べた画像入力部１４において図５に示す配置を行なう
ことにより変化領域を抽出することで、特定の一人の人
物のみを抽出することが可能となっている。

【００７５】また、図６のように、テレビカメラを斜め
横方向位置においてもさしつかえない。

【００７６】正規化部１８は、変化領域検出部１７にお
いて検出された変化領域を所定の大きさに正規化した画
像パタンを抽出する（正規化処理Ｓ１８）。

【００７７】入力情報生成部１９は、正規化部１８にお
いて正規化された正規化画像パタンから、入力情報とし
ての部分空間を生成する（入力情報生成処理：ステップ
Ｓ１９）。

【００７８】類似度計算部２０は、入力情報生成部１９
において生成された部分空間と、あらかじめ生成してあ
った辞書部分空間との類似度を計算する（類似度計算処
理：ステップＳ２０）。この照合は、辞書部分空間の数
だけ行われる。

【００７９】正規化パタン分類部２１は、類似度計算部
２０において、計算された各カテゴリの辞書部分空間と
の類似度のうち、所定しきい値以上で、最も高い類似度
を獲得した辞書部分空間のカテゴリ（個人名、男女の別
など）を当該変化領域に写っている人物のカテゴリとし
て認定する（正規化パタン分類処理：ステップＳ２
１）。

【００８０】出力部２２は、正規化パタン分類部２１に
おいて認定されたカテゴリを出力する（出力処理：ステ
ップ２２）。なお、出力部２２は認定カテゴリのみなら
ず、入力画像、差分画像、差分値の大きい画素、変化領
域の範囲、変化領域画像、変化領域の正規化パタン、特
徴ベクトル、入力部分空間などの中間情報や、カテゴリ
毎の辞書部分空間を必要に応じて出力できるようにして
も良い。

【００８１】第２、３の実施例において、人物背景を壁
に設定できる場合には、図６に示すように、テレビカメ
ラ９を斜め横方向位置においてもさしつかえない。要す
るに、本発明においては、ビューイングボリュームが認
識対象物の進行方向を含みさえしなければよい。

【００８２】また、前述した例では人物を対象にした入
場者管理への適用であったが、照明変動環境下で通行車
両などの種別を計数するような交通監視への応用も可能
である。

【００８３】（第４の実施例）本発明に係る第４の実施
例を説明する。

【００８４】図１０は視線位置認識装置の概略構成例で
ある。

【００８５】本装置は、対象人物の瞳領域を検出し、検
出された瞳領域から対象人物の視線方向を認識する装置
である。

【００８６】本装置は画像入力部４６、顔検出部４７、
顔部品検出部４８、目パタン抽出部４９、入力情報生成
部５０、類似度計算部５１、パタン分類部５２、出力部
５３からなる。

【００８７】画像入力部４６は、認識対象となる人物の
画像を入力するためのものであり、例えばテレビカメラ
からなる。この画像入力部４６から入力された画像は、
Ａ／Ｄ変換器によりデジタル化されて顔検出部４７に送
られる。ここでのテレビカメラの配置は、図１に示され
るように、テレビカメラの光軸方向が、対象者の人物頭
部の鉛直軸に垂直な水平方向に対して、仰角を持つよう
にする。

【００８８】このようなカメラ位置により、入力された
画像中から、後に述べる顔部品検出部４８において、ま
ぶたに影響されずに効率よく瞳領域の抽出が容易にな
り、また鼻孔の抽出も容易にすることができる。このよ
うに複数の顔部品を得ることができるため、複数の顔部
品を用いて位置の整合性を得ることができる。顔検出部
４７は、画像入力部４６から送られてきた入力画像か
ら、当該人物の顔領域を検出する。本実施形態では、予
め登録された標準顔画像（テンプレート）を全画面に渡
って移動させながら相関値を計算し、所定しきい値以上
で最も高い相関値を有する領域を顔領域とする。相関値
が設定された閾値より低い場合は、顔が存在しないとす
る。顔の向き変化に対応するために、複合類似度法など
により複数のテンプレートを用いると、さらに安定に顔
領域を抽出できる。

【００８９】顔部品検出部４８は、特開平９−２５１５
３４において述べられている分離度フィルタを用いて、
顔検出部４７によって抽出された顔領域の中から眼球
（黒目）の候補を抽出する。この際、顔領域全体を処理
すると時間が掛かるので、輝度が閾値より小さいピクセ
ルに対してのみ出力を求める。この閾値は顔領域内の輝
度分布から自動的に例えばモード法などで決める。ま
た、瞳のサイズの変化に対応するために幾つかのサイズ
の分離度フィルタを同時に適用し、最大値の出力をした
サイズをその点のサイズ、その値を出力値とする。全対
象領域に対して処理が完了したら、ガウシアンフィルタ
を用いて平滑化した後に局所最大点を抽出して瞳の候補
とする。さらに瞳候補から、所定の評価関数に基づい
て、瞳を決定する。

【００９０】目パタン抽出部４９は、顔部品検出部４８
によって抽出された顔部品の位置情報をもとに、目周辺
の領域を抽出する。

【００９１】入力情報生成部５０は目パタン抽出部４９
において抽出された目パタンより、入力情報を生成す
る。具体的には正規化された目パタン画像からフィルタ
リング処理、例えばエッジ検出などを行ない、入力情報
である特徴ベクトルを生成する。

【００９２】類似度計算部５１、入力情報生成部２７に
おいて生成された特徴ベクトルと、予め登録されている
各視線位置の瞳の辞書画像との類似度を視線位置毎に計
算する。

【００９３】パタン分類部５２、類似度計算部５１にお
いて、計算された各視線方向の瞳辞書画像との類似度の
うち、所定しきい値以上で、最も高い類似度を獲得した
辞書画像の視線位置（例えば、上、下、左、右の視線位
置）を対象人物の視線位置として認定する。

【００９４】出力部５３では、視線位置結果を出力す
る。必要に応じて顔領域の検出結果、瞳の検出結果等の
途中結果を出力してもよい。

【００９５】（第５の実施例）本発明に係る第５の実施
例を説明する。

【００９６】図１１は人物認識装置の概略構成例であ
る。

【００９７】本装置は、画像入力部２３、顔検出部２
４、顔部品検出部２５、顔パタン抽出部２６、入力情報
生成部２７、類似度計算部２８、パタン分類部２９、出
力部３０からなる。

【００９８】画像入力部２３は、認識対象となる人物の
画像を入力するためのものであり、例えばテレビカメラ
からなる。この画像入力部２３から入力された画像は、
Ａ／Ｄ変換器によりデジタル化されて顔検出部２４に送
られる。ここでのテレビカメラの配置は、図１２に示さ
れるように、テレビカメラの光軸方向が、対象者の人物
頭部の鉛直軸に垂直な水平方向に対して、仰角を持つよ
うにする。また、本実施例において顔部品たる鼻孔の位
置よりも下部にある必要がある。

【００９９】人物の個性のバリエーション、人物頭部の
前後屈曲、後述する顔部品検出の限界から、一般的なテ
レビカメラでは、仰角は、角度にして２０度から６０度
の間が望ましいことが実験的にわかっている。このよう
なカメラ位置により、入力された画像中から、後に述べ
る顔部品検出部２５において、顔部品のうち、特に鼻孔
の抽出を容易にすることができる。

【０１００】また、図１２中に示すように、指標物３１
を置くことで、対象者の視線が所望でない方向を向くこ
とを防ぐことができる。

【０１０１】指標物としては、例えば、対象者がそれを
見ることが想定されるＣＲＴディスプレイ上の表示物、
視野が所定の方向に制限されている液晶ディスプレイ
（視野角が狭い液晶ディスプレイ）、対象者の注視を誘
導する文字、記号、図形などマーク、対象者を映す鏡、
正面から顔を撮影するための別のカメラなどが考えられ
る。

【０１０２】顔検出部２４は、画像入力部２３から送ら
れてきた入力画像から、当該人物の顔領域を検出する。
本実施形態では、予め登録された標準顔画像（テンプレ
ート）を全画面に渡って移動させながら相関値を計算
し、所定しきい値以上で最も高い相関値を有する領域を
顔領域とする。相関値が設定された閾値より低い場合
は、顔が存在しないとする。顔の向き変化に対応するた
めに、複合類似度法などにより複数のテンプレートを用
いると、さらに安定に顔領域を抽出できる。

【０１０３】顔部品検出部２５は、特開平９−２５１５
３４において述べられている分離度フィルタを用いて、
顔検出部２４によって抽出された顔領域の中から眼球
（黒目）や鼻孔などの顔部品の候補を抽出する。この
際、顔領域全体を処理すると時間が掛かるので、輝度が
閾値より小さいピクセルに対してのみ出力を求める。こ
の閾値は顔領域内の輝度分布から自動的に例えばモード
法などで決める。また、顔部品のサイズの変化に対応す
るために幾つかのサイズの分離度フィルタを同時に適用
し、最大値の出力をしたサイズをその点のサイズ、その
値を出力値とする。全対象領域に対して処理が完了した
ら、ガウシアンフィルタを用いて平滑化した後に局所最
大点を抽出して顔部品の候補とする。さらに顔部品候補
から、所定の評価関数に基づいて、顔部品を決定する。

【０１０４】顔パタン抽出部２６は、顔部品検出部２５
で得られた顔部品の位置情報を元に、正規化された顔パ
タンを抽出する。

【０１０５】入力情報生成部２７は、顔パタン抽出部に
おいて抽出された顔パタンより入力情報を生成する。具
体的には、複数枚の正規化された顔画像パタンから入力
情報たる部分空間を生成する。

【０１０６】類似度計算部２８は、入力情報生成部２７
において生成された部分空間と、予め登録されている各
カテゴリの辞書部分空間との類似度をカテゴリ毎に計算
する。

【０１０７】パタン分類部２９は、類似度計算部２８に
おいて、計算された各カテゴリの辞書部分空間との類似
度のうち、所定しきい値以上で、最も高い類似度を獲得
した辞書部分空間のカテゴリ（個人名、男女の別など）
を対象人物のカテゴリとして認定する。

【０１０８】出力部３０では、パタン分類結果を出力す
る。必要に応じて顔領域の検出結果、顔部品の検出結果
等の途中結果を出力してもよい。

【０１０９】（第６の実施例）本発明に係る第６の実施
例を説明する。

【０１１０】図１３は顔画像撮影装置の概略構成例であ
る。

【０１１１】本装置は、第１画像入力部３４、顔検出部
３５、顔部品検出部３６、顔パタン抽出部３７、入力情
報生成部３８、類似度計算部３９、正面顔判別部４０、
撮影画像出力部４１、第２画像入力部４２からなる。

【０１１２】第１画像入力部３４は、撮影対象となる人
物の画像を入力し、例えばテレビカメラからなる。この
第１画像入力部３４から入力された画像は、Ａ／Ｄ変換
器によりデジタル化され、顔検出部３５に送られる。こ
こでのテレビカメラの配置は、図１４に示されるよう
に、テレビカメラの光軸方向が、対象者の人物頭部の鉛
直軸に垂直な水平方向に対して、仰角を持つようにす
る。この画像は後で述べる顔部品検出や正面顔判別に使
用する。

【０１１３】一般的なテレビカメラでは、仰角は、角度
にして２０度から６０度が望ましい。このようなカメラ
位置により、入力された画像中から、後に述べる顔部品
検出部３６において、顔部品のうち、特に鼻孔の抽出を
容易にすることができる。また、図１４に示すように、
対象者の視線を一定に保つ指標物として同様にテレビカ
メラからなる第２画像入力部４２を配置することにより
対象者の視線が第１画像入力手段であるテレビカメラの
方を向くことを防ぎ、かつ第２画像入力手段であるテレ
ビカメラの方を向くように誘導することができる。

【０１１４】顔検出部３５は、第１画像入力部３４から
送られてきた入力画像から、当該人物の顔領域を検出す
る。本実施形態では、予め登録された標準顔画像（テン
プレート）を全画面に渡って移動させながら相関値を計
算し、所定のしきい値以上で最も高い相関値を有する領
域を顔領域とする。相関値が設定された閾値より低い場
合は、顔が存在しないとする。顔の向き変化に対応する
ために、複合類似度などにより複数のテンプレートを用
いると、さらに安定に顔領域を抽出できる。

【０１１５】顔部品検出部３６は、特開平９−２５１５
３４において述べられている分離度フィルタを用いて、
顔検出部３５によって抽出された顔領域の中から眼球
（黒目）や鼻穴などの顔部品の候補を抽出する。この
際、顔領域全体を処理すると時間が掛かるので、輝度が
閾値より小さいピクセルに対してのみ出力を求める。こ
の閾値は顔領域内の輝度分布から自動的に例えばモード
法などで決める。また、顔部品のサイズの変化に対応す
るために幾つかのサイズの分離度フィルタを同時に適用
し、最大値の出力をしたサイズをその点のサイズ、その
値を出力値とする。全対象領域に対して処理が完了した
ら、ガウシアンフィルタを用いて平滑化した後に局所最
大点を抽出して顔部品の候補とする。さらに顔部品候補
から、所定の評価関数に基づいて、顔部品を決定する。
また、このようにして検出された顔部品中に２つの瞳が
存在する場合は、開眼状態であると判定し、撮影画像出
力部４１に開眼状態検出信号を送る。

【０１１６】顔パタン抽出部３７は、顔部品検出部３６
で得られた顔部品の位置情報を元に、正規化された顔パ
タンを抽出する。

【０１１７】入力情報生成部３８は、顔パタン抽出部に
おいて抽出された顔パタンより入力情報を生成する。具
体的には、正規化された顔画像パタンから、入力情報と
しての特徴ベクトルを生成する。

【０１１８】類似度計算部３９は、入力情報生成部３８
において生成された特徴ベクトルと、予め登録されてい
る正面顔の辞書部分空間との類似度を計算する。

【０１１９】正面顔判別部４０は、類似度計算部３９に
おいて、計算された辞書部分空間との類似度が、所定し
きい値以上を獲得した場合に正面顔と認定し、正面顔検
出信号を撮影画像出力部４１に送る。

【０１２０】第２画像入力部４２は、テレビカメラから
なり、図１４で示すように、対象者の正面に置くこと
で、対象者の視線を保持する。第２画像入力部４２は、
常時対象者の顔を撮影し、その画像を撮影画像出力部４
１に送る、撮影画像出力部４１は、顔部品検出部３６か
ら、送られる開眼状態検出信号及び正面顔判別部４０か
ら送られる正面顔検出信号の両方が同時刻の画像に対し
て送られた時のみ、第２画像入力部４２から送られてき
た同時刻の画像を出力する。

【０１２１】なお、上記実施例では、第２画像入力部４
２としてテレビカメラを使用したが、これに代えてデジ
タルカメラを用いてもよく、この場合には、顔部品検出
部３６から、送られる開眼状態検出信号及び正面顔判別
部４０から送られる正面顔検出信号の両方が同時刻の画
像に対して送られた時のデジタルカメラの画像データを
使用すればよい。また、カメラのシャッターを押すタイ
ミングが開眼状態検出信号及び正面顔判別部４０から送
られる正面顔検出信号の両方が同時刻の画像に対して送
られた時と合致するならば、第２画像入力部４２は通常
のカメラでもよい。

【０１２２】以上の処理により、本人物撮影装置は、対
象者が正面を向き、開眼状態にあるときだけの人物像を
撮影することが可能となる。

【０１２３】本発明においては、入力情報の特徴や、類
似度の計算方法は、上述した例に限定されず、様々に実
施することが可能である。

【０１２４】

【発明の効果】本発明によれば、人物を下方から仰ぎ見
て画像を入力するために、人物の顔を確実に認識でき、
物の認識、視点方向の検出、または、撮影を安定確実な
ものとすることができる。

【図面の簡単な説明】

【図１】第１の実施例の構成を表す図である。

【図２】第１の実施例の効果を表す図である。

【図３】第２の実施例の構成を表す図である。

【図４】第２の実施例の処理工程を表す図である。

【図５】第２の実施例の画像入力装置の位置関係を表す
図である。

【図６】第２の実施例の画像入力装置の位置関係を表す
図である。その２

【図７】第２の実施例の入力画面例を説明する図であ
る。

【図８】第３の実施例の構成を表す図である。

【図９】第３の実施例の処理工程を表す図である。

【図１０】第４の実施例の構成を表す図である。

【図１１】第５の実施例の構成を表す図である。

【図１２】第５の実施例の画像入力装置の位置関係を表
す図である。

【図１３】第６の実施例の構成を表す図である。

【図１４】第６の実施例の画像入力装置の位置関係を表
す図である。

【符号の簡単な説明】

１…画像入力部 ２…差分画像生成部 ３…変化領域検出部 ４…正規化部 ５…入力情報生成部 ６…類似度計算部 ７…正規化パタン分類部 ８…出力部

フロントページの続き (72)発明者 福井 和広 兵庫県神戸市東灘区本山南町８−６−26 株式会社東芝関西研究所内 (72)発明者 山口 修 兵庫県神戸市東灘区本山南町８−６−26 株式会社東芝関西研究所内 (72)発明者 若杉 智和 兵庫県神戸市東灘区本山南町８−６−26 株式会社東芝関西研究所内 Ｆターム(参考） 5B057 AA19 BA02 BA19 CA12 CA16 CB12 CB16 CC03 CE09 DA12 DB02 DC08 DC30 DC33

Claims (8)

【特許請求の範囲】
1. 【請求項１】認識対象人物を含む可能性のある画像をカ
   メラを用いて入力する画像入力手段と、 前記画像入力手段により入力された入力画像と所定の画
   像との差分画像を生成し、この差分画像中から所定の閾
   値以上の値を持つ領域を認識対象領域として検出する認
   識対象領域検出手段と、 前記認識対象領域検出手段により検出された認識対象領
   域を所定の入力情報に変換する入力情報生成手段と、 前記入力情報生成手段により変換された入力情報と所定
   の辞書情報とを照合して類似度を求める類似度計算手段
   と、 を具備した画像処理装置において、 前記カメラの視点位置が前記認識対象人物の撮影部分よ
   り下方に位置し、かつ、前記カメラの光軸方向が水平方
   向に対し仰角をなしたことを特徴とする画像処理装置。
2. 【請求項２】認識対象人物の顔画像を含む可能性のある
   画像をカメラを用いて入力する画像入力手段と、 前記画像入力手段により入力された画像から顔領域を検
   出する顔検出手段と、 前記顔検出手段により検出された顔領域から顔部品を検
   出する顔部品検出手段と、 前記顔部品検出手段によって検出された顔部品から前記
   認識対象人物の視線の方向を検出する視線方向検出手段
   と、 を具備する画像処理装置において、 前記カメラの視点位置が認識対象人物の顔の位置より下
   方に位置し、かつ、前記カメラの光軸方向が水平方向に
   対し仰角をなしたことを特徴とする画像処理装置。
3. 【請求項３】認識対象人物の顔画像を含む可能性のある
   画像を入力する画像入力手段と、 前記画像入力手段により入力された画像から顔領域を検
   出する顔検出手段と、 前記顔検出手段により検出された顔領域から顔部品を検
   出する顔部品検出手段と、 前記顔部品検出手段で検出された顔部品から前記認識対
   象人物を認識する人物認識手段と、 を具備した画像処理装置において、 前記認識対象人物の視線方向、顔位置、または、その両
   方を所定の方向または位置に誘導するための指標手段を
   有し、 前記カメラの視点位置が前記指標手段より下方に位置
   し、かつ、前記カメラの光軸方向が前記指標手段から認
   識対象へ到る方向に対して仰角をなしたことを特徴とす
   る画像処理装置。
4. 【請求項４】人物を撮影する画像処理装置において、 撮影対象人物の顔画像を含む第１の画像を入力する第１
   の画像入力手段と、 前記撮影対象人物の顔画像を含む第２の画像を入力する
   第２の画像入力手段と、 前記第１の画像入力手段によって入力された画像から顔
   領域を検出する顔検出手段と、 前記顔検出手段によって検出された顔領域から正面顔で
   あるか否かを判別する正面顔判別手段と、 前記顔検出手段によって検出された顔領域から開眼状態
   を検出する開眼状態検出手段と、 前記正面顔判別手段により前記撮影対象人物が正面を向
   いていると判別され、かつ、前記開眼状態検出手段によ
   り開眼状態が検出されている期間に撮影された前記第２
   の画像を出力する画像出力手段とを有し、 前記第２の画像入力手段が具備する撮影手段の中心と前
   記撮影対象人物の顔領域の中心を結ぶ直線を顔正面方向
   としたときに、前記第１の画像入力手段が具備する撮像
   手段の光軸方向が、前記顔正面方向に対して仰角である
   ことを特徴とする画像処理装置。
5. 【請求項５】認識対象人物を含む可能性のある画像をカ
   メラを用いて入力する画像入力ステップと、 前記画像入力ステップにより入力された入力画像と所定
   の画像との差分画像を生成し、この差分画像中から所定
   の閾値以上の値を持つ領域を認識対象領域として検出す
   る認識対象領域検出ステップと、 前記認識対象領域検出ステップにより検出された認識対
   象領域を所定の入力情報に変換する入力情報生成ステッ
   プと、 前記入力情報生成ステップにより変換された入力情報と
   所定の辞書情報とを照合して類似度を求める類似度計算
   ステップと、 を具備した画像処理方法において、 前記カメラの視点位置が前記認識対象人物の撮影部分よ
   り下方に位置し、かつ、前記カメラの光軸方向が水平方
   向に対し仰角をなしたことを特徴とする画像処理方法。
6. 【請求項６】認識対象人物の顔画像を含む可能性のある
   画像をカメラを用いて入力する画像入力ステップと、 前記画像入力ステップにより入力された画像から顔領域
   を検出する顔検出ステップと、 前記顔検出ステップにより検出された顔領域から顔部品
   を検出する顔部品検出ステップと、 前記顔部品検出ステップによって検出された顔部品から
   前記認識対象人物の視線の方向を検出する視線方向検出
   ステップと、 を具備する画像処理方法において、 前記カメラの視点位置が認識対象人物の顔の位置より下
   方に位置し、かつ、前記カメラの光軸方向が水平方向に
   対し仰角をなしたことを特徴とする画像処理方法。
7. 【請求項７】認識対象人物の顔画像を含む可能性のある
   画像を入力する画像入力ステップと、 前記画像入力ステップにより入力された画像から顔領域
   を検出する顔検出ステップと、 前記顔検出ステップにより検出された顔領域から顔部品
   を検出する顔部品検出ステップと、 前記顔部品検出ステップで検出された顔部品から前記認
   識対象人物を認識する人物認識ステップと、 を具備した画像処理方法において、 前記認識対象人物の視線方向、顔位置、または、その両
   方を所定の方向または位置に誘導するための指標手段を
   有し、 前記カメラの視点位置が前記指標手段より下方に位置
   し、かつ、前記カメラの光軸方向が前記指標手段から認
   識対象へ到る方向に対して仰角をなしたことを特徴とす
   る画像処理方法。
8. 【請求項８】人物を撮影する画像処理方法において、 撮影対象人物の顔画像を含む第１の画像を入力する第１
   の画像入力ステップと、 前記撮影対象人物の顔画像を含む第２の画像を入力する
   第２の画像入力ステップと、 前記第１の画像入力ステップによって入力された画像か
   ら顔領域を検出する顔検出ステップと、 前記顔検出ステップによって検出された顔領域から正面
   顔であるか否かを判別する正面顔判別ステップと、 前記顔検出ステップによって検出された顔領域から開眼
   状態を検出する開眼状態検出ステップと、 前記正面顔判別ステップにより前記撮影対象人物が正面
   を向いていると判別され、かつ、前記開眼状態検出ステ
   ップにより開眼状態が検出されている期間に撮影された
   前記第２の画像を出力する画像出力ステップとを有し、 前記第２の画像入力ステップが具備する撮影手段の中心
   と前記撮影対象人物の顔領域の中心を結ぶ直線を顔正面
   方向としたときに、前記第１の画像入力ステップが具備
   する撮像手段の光軸方向が、前記顔正面方向に対して仰
   角であることを特徴とする画像処理方法。