JP5390322B2 - 画像処理装置、及び画像処理方法 - Google Patents

Description

本発明は、例えば、画像を撮像し、特徴量を算出する画像処理装置、及び画像処理方法に関する。

複数地点に設置された複数のカメラを統合して監視を行う監視システムが一般的に実用化されている。監視員による監視をより確実にする為に、人物が写り込んでいる映像を表示する為の技術が開発されている。

たとえば、画像処理装置は、複数の監視カメラから入力される映像に対して優先度の決定方法を予め設定する。画像処理装置は、設定される優先度の決定方法に従って映像の優先度を決定する。画像処理装置は、優先度に応じて、「表示を切り替える・見やすくする」、「伝送フレームレート・符号化方法をかえる」、「伝送する映像・カメラの選択」、「映像記録の優先度をかえる」、「カメラをＰＴＺ制御する」などの処理を行う。

たとえば、特許文献１に記載されている技術によると、画像処理装置は、複数あるカメラに対して特定物体の計数を行った結果に応じて、カメラの監視場所・画質・記録の有無・記録画質・モニタ表示画像・モニタ表示サイズ・監視専用か計数専用のモードを切り替える。この画像処理装置は、監視カメラにより撮像した映像を監視員に対して表示し、監視員による目視確認を行う映像を効率的に伝送し、表示し、記録する。

また、例えば、特許文献２に記載されている技術には、監視映像に対し画像処理を行って自動的に所定のイベントを検知する画像処理システムが提供されている。この画像処理システムは、１つのカメラで撮像する映像中に複数の人物が写り込んでいる場合、認識対象となる人物の通行速度、通行人数、各通行者との距離、照合開始からの経過時間などの情報に基づいて、画像処理にかける事ができる負荷の度合いを判定する。画像処理システムは、判定した負荷の度合いに応じて処理の精度及び検索対象人物の情報を制御する。

特開２００５−３４７９４２号公報 特開２００７−１５６５４１号公報

特許文献１に記載されている方法は、監視員に対して表示する映像を制御する構成である。しかし、人物の監視を自動認識により行う構成を実現することが出来ないという問題がある。また、複数のカメラをカメラの台数より少ない画像処理装置に接続する場合、映像の内容によっては認識処理が追いつかない可能性がある。この為、高性能な画像処理装置を準備する、あるいは、多数の処理装置を準備する必要がある。この結果、システムの価格が高くなってしまう、装置の大きさにより設置スペースが不足するという問題がある。

また、特許文献２に記載されている方法は、１つの映像を効率的に処理する為の構成であり、複数のカメラにより撮像した映像に対して処理を行う構成ではない。この為、複数のカメラの映像を統合的に監視することができないという問題がある。

そこで、本発明の目的は、より効率的に監視を行う為の画像処理を行う事ができる画像処理装置、及び画像処理方法を提供することにある。

本発明の一実施形態としての画像処理装置は、画像が入力される複数の画像入力部と、前記画像入力部により入力された画像から顔領域を検出する検出部と、前記検出部により検出された顔領域の画像から特徴量を抽出する特徴抽出部と、前記検出部により検出された顔領域の数に基づいて各画像入力部毎に優先度を設定し、複数の処理方法の中から方法を前記優先度に基づいて選択し、選択した前記方法で前記複数の画像入力部により入力される画像を処理するように前記検出部及び前記特徴抽出部を制御する制御部と、を具備する。

この発明の一形態によれば、より効率的に監視を行う為の画像処理を行う事ができる画像処理装置、及び画像処理方法を提供することができる。

図１は、本発明の第１の実施形態に係る画像処理装置の構成の例について説明するためのブロック図である。 図２は、図１に示すカメラにより撮像される画像の例について説明するための説明図である。 図３は、図１に示すカメラにより撮像される画像に対して行う顔検出処理の例について説明する為の説明図である。 図４は、図１に示すカメラにより撮像される画像に対して行う顔検出処理の例について説明する為の説明図である。 図５は、図１に示すカメラにより撮像される画像に対して行う顔検出処理の例について説明する為の説明図である。 図６は、本発明の第２の実施形態に係る画像処理装置の構成の例について説明するためのブロック図である。 図７は、図６に示すカメラにより撮像される画像に対して行う顔検出処理の例について説明する為の説明図である。

以下、図面を参照しながら、本発明の第１の実施形態に係る画像処理装置、及び画像処理方法について詳細に説明する。

図１は、本発明の第１の実施形態に係る画像処理装置１００の構成例について説明するためのブロック図である。
画像処理装置１００は、例えば、通行を許可する人物を制限する通行制御装置などに組み込まれていると仮定する。画像処理装置１００は、特定の人物のみが通行を許可される場所、例えば、ビル及び企業の建物などのエントランス、若しくは、娯楽施設及び交通機関などのゲートなどに設置されると想定される。

なお、画像処理装置１００は、取得した顔画像から得た特徴情報と予め登録情報として登録されている特徴情報とを照合し、特徴情報の一致する人物が少なくとも１名存在するか否かを判定する構成であると仮定する。

図１に示すように、画像処理装置１００は、顔検出部１１１、１１２、及び１１３（総じて顔検出部１１４と称する）、特徴抽出部１１６、１１７、及び１１８（総じて特徴抽出部１１９と称する）、処理方法制御部１２０、認識部１３０、登録顔特徴管理部１４０、及び出力部１５０を備える。

また、通路１０１にカメラ１０６、通路１０２にカメラ１０７、通路１０３にカメラ１０８、がそれぞれ設置されている。カメラ１０６、１０７、及び１０８（総じてカメラ１０９と称する）は、顔検出部１１１、顔検出部１１２、顔検出部１１３にそれぞれ接続される。なお、顔検出部１１４に接続されるカメラは、何台であってもよい。

カメラ１０９は、画像入力部として機能する。カメラ１０９は、例えば、ｉｎｄｕｓｔｒｉａｌ ｔｅｌｅｖｉｓｉｏｎ（IＴＶ）カメラなどにより構成される。カメラ１０９は、所定範囲の動画像（複数枚の連続画像）を撮像する。これにより、カメラ１０９は、歩行者の顔を含む画像を撮像する。カメラ１０９は、撮像した画像を図示しないＡ／Ｄ変換器によりディジタル変換し、逐次顔検出部１１４に送信する。さらに、カメラ１０９に通行者の速度を測定する手段を併設してもよい。

顔検出部１１４は、入力画像から顔を検出する。特徴抽出部１１９は、顔検出部１１４により検出された顔領域毎に特徴情報を抽出する。

処理方法制御部１２０は、入力された映像に対する各種処理結果の内容に応じて、認識処理の方法、及び顔検出部１１４による顔検出処理の方法を制御する。処理方法制御部１２０は、制御部として機能する。

登録顔特徴管理部１４０は、あらかじめ認識対象となる人物の顔の特徴を登録して管理する。認識部１３０は、通行者Ｍを撮像した画像から特徴抽出部１１９により抽出した顔特徴と、登録顔特徴管理部１４０に登録されている顔特徴とを比較し、通行者Ｍが誰であるかを判定する。

登録顔特徴記憶部１４０は、個人の識別情報をキーとして人物の顔の特徴情報を登録情報として記憶している。即ち、登録顔特徴記憶部１４０は、識別情報と顔特徴情報とを対応付けて記憶する。なお、登録顔特徴記憶部１４０は、１つの識別情報と複数の顔特徴情報を対応付けて記憶してもよい。撮影した画像に基づいて人物の認識を行う場合、画像処理装置１００は、複数の顔特徴情報を認識に利用するようにしてもよい。また、登録顔特徴記憶部１４０は、画像処理装置１００の外部に設けられていてもよい。

出力部１５０は、認識部１３０による認識結果に応じて、認識結果を出力する。また、出力部１５０は、認識結果に応じて、本装置１００に接続される外部機器への制御信号、音声、及び画像などを出力する。

顔検出部１１４は、カメラ１０９から入力される画像内において、人物の顔が写っている領域（顔領域）を検出する。即ち、顔検出部１１４は、カメラ１０９の撮影範囲内を移動する通行者Ｍの顔の画像（顔画像）及び位置を入力画像に基づいて検出する。

顔検出部１１４は、たとえば、入力画像において、あらかじめ用意されたテンプレートを移動させながら相関値を求めることにより、顔領域を検出する。ここでは、顔検出部１１４は、最も高い相関値が算出された位置を顔領域として検出する。

顔領域を検出する方法は、種々の方法がある。本実施形態に係る画像処理装置１００は、例えば、固有空間法、または部分空間法などの他の顔領域を検出する為の方法を用いても実現することが出来る。

また、画像処理装置１００は、検出された顔領域から、例えば、目、鼻、及び口などの顔の部位の位置を検出することもできる。具体的には、たとえば、文献［１］（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ２１７０−２１７７（１９９７年）、文献［２］（湯浅真由美、中島朗子：「高精度顔特徴点検出に基づくデジタルメイクシステム」第１０回画像センシングシンポジウム予稿集，ｐｐ２１９−２２４（２００４）などに開示されている方法により実現可能である。

なお、本実施形態では、顔画像を用いて認証を行なう構成を例に挙げて説明する。しかし、本発明を実現する為の構成はこれに限定されない。例えば、虹彩、網膜、及び目の画像を用いて認証を行なう構成であってもよい。この場合、画像処理装置１００は、画像中の目の領域を検出し、カメラをズームし、目の画像を拡大して取得することが出来る。

いずれの場合でも、画像処理装置１００は、二次元に画素が複数配列された画像として扱うことができる情報を取得する。

１枚の入力画像から１つの顔を抽出する場合、画像処理装置１００は、画像全体に対してテンプレートとの相関値を求め、最大となる位置及びサイズを顔領域として検出する。

１枚の入力画像から複数の顔を抽出する場合、画像処理装置１００は、画像全体に対する相関値の局所最大値を求め、１枚の画像内での重なりを考慮して顔の候補位置を絞り込む。さらに、画像処理装置１００は、連続して入力された過去の画像との関係性（時間的な推移）も考慮して複数の顔領域を同時に検出する。

なお、本実施の形態では、画像処理装置１００は、人物の顔領域の検出を行なう事を例として説明しているがこれに限定されない。例えば、画像処理装置１００は、人物領域の検出を行なう事もできる。例えば、文献［３］（松日楽信人、小川秀樹、吉見卓：「人と共存する生活支援ロボット」東芝レビューＶｏｌ．６０ Ｎｏ．７，ｐｐ１１２−１１５（２００５）に開示されている技術を利用することで、画像処理装置１００は、人物領域の検出を行なう事が可能になる。

なお、カメラ１０９は、画像を連続して取得し、１フレームずつ顔検出部１１４に送信する。顔検出部１１４は、画像が入力される毎に逐次顔領域を検出する。

ここで検出された情報から、それぞれの人物Ｍの顔の位置（座標）、顔の大きさ、顔の移動速度、何個の顔が見つかっているかといった情報が取得可能である。

また、顔検出部１１４は、画像全体のフレーム間の差分を計算することにより、たとえば、画面全体のうちの動きのある場所の画素数（面積）を計算することができる。これにより、前述の顔検出をその変動領域付近を優先的に処理することで高速化が可能となる。さらに、人物や顔検出ができない人物が歩行している場合に、この面積が多くなること、人物以外の動体の量を推測することができる。

顔検出部１１４は、検出した顔領域、若しくは顔のパーツの位置に基づいて画像を一定の大きさ、形状に切り出す。顔検出部１１４は、例えば、入力画像から顔領域（ｍピクセル×ｎピクセルの領域の画像）を切り出す。顔検出部１１４は、切り出した画像を特徴抽出部１１９に送信する。

特徴抽出部１１９は、切り出した画像の濃淡情報を特徴量として抽出する。ここでは、ｍピクセル×ｎピクセルの領域の画像の濃淡の値がそのまま濃淡情報として用いられる。即ち、ｍ×ｎピクセルの次元の情報を特徴ベクトルとして用いる。認識部１３０は、単純類似度法により複数の画像の類似度を算出する。即ち、認識部１３０は、ベクトルとベクトルの長さをそれぞれ「１」とするように単純類似度法により正規化を行なう。認識部１３０は、内積を計算することにより、複数の特徴ベクトルの間の類似性を示す類似度を算出する。カメラ１０９により取得した画像が一枚である場合、上記した処理により画像の特徴を抽出することができる。

また、認識結果を出力する為に、複数の連続した画像により構成される動画像を用いることにより、画像処理装置１００は、より精度の高い認識処理を行うことができる。この為、本実施形態では、動画像を用いた認識処理を例に挙げて説明を行う。

動画像を用いた認識処理を行う場合、カメラ１０９は、撮影領域を連続して撮影する。顔検出部１１４は、カメラ１０９により撮影された連続の複数の画像から、顔領域の画像（ｍ×ｎピクセルの画像）をそれぞれ切り出す。認識部１３０は、切り出した複数の顔領域の画像の特徴ベクトルを各画像毎に取得する。認識部１３０は、取得した画像毎の特徴ベクトルから相関行列を求める。

認識部１３０は、特徴ベクトルの相関行列から、例えば、Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ展開（ＫＬ展開）等により正規直交ベクトルを求める。これにより、認識部１３０は、連続した画像おいて、顔の特徴を示す部分空間を算出し、特定することが出来る。

部分空間を算出する場合、認識部１３０は、特徴ベクトルの相関行列（または、共分散行列）を求める。認識部１３０は、特徴ベクトルの相関行列をＫＬ展開することにより正規直交ベクトル（固有ベクトル）を求める。これにより、認識部１３０は、部分空間を算出する。

認識部１３０は、固有値に対応する固有ベクトルを、固有値の大きな順にｋ個選ぶ。認識部１３０は、ｋ個選んだ固有ベクトルの集合を用いて、部分空間を表現する。

本実施の形態では、認識部１３０は、特徴ベクトルに基づき、相関行列「Ｃｄ＝ΦｄΔｄΦｄＴ」を求める。認識部１３０は、相関行列「Ｃｄ＝ΦｄΔｄΦｄＴ」と対角化して、固有ベクトルの行列Φｄを求める。この情報、即ち、行列Φｄは、認識対象である人物の顔の特徴を示す部分空間である。

登録顔特徴記憶部１４０は、上記の方法により計算された部分空間を登録情報として記憶する。なお、登録顔特徴記憶部１４０が記憶している特徴情報は、例えばｍ×ｎピクセルの特徴ベクトルである。しかし、登録顔特徴記憶部１４０が記憶している特徴情報は、特徴の抽出が行われる前の状態の顔画像であってもよい。また、登録顔特徴記憶部１４０が記憶している特徴情報は、部分空間を示す情報、若しくは、ＫＬ展開が行われる前の状態の相関行列であってもよい。

また、登録顔特徴管理部１４０により保持する顔特徴情報は、１名当たり少なくとも１つ以上であれば、いくつ保持していてもよい。即ち、登録顔特徴記憶部１４０は、顔特徴情報を１名当たり複数保持している場合、状況によって認識に用いる顔特徴情報を切り替えることができる。

また、他の特徴抽出方法として、１枚の顔画像で特徴情報を求める方法がある。例えば、文献［４］（エルッキ・オヤ著、小川英光、佐藤誠訳、「パターン認識と部分空間法」、産業図書、１９８６年）、及び文献［５］（東芝（小坂谷達夫）：「画像認識装置、方法およびプログラム」特許公報 特開２００７−４７６７）などに開示されている方法を用いることにより実現可能である。

文献４には、部分空間法により予め複数の顔画像から作成した登録情報としての部分空間への射影により人物を認識する方法が記載されている。文献６に記載されている方法を用いる場合、認識部１３０は、１枚の画像を用いて人物の認識を行なう事ができる。

文献５には、１枚の画像に対してモデルを利用して、例えば、顔の向き及び状態などを意図的に変化させた画像（摂動画像）を作成する方法が記載されている。この場合、顔の向き及び状態などが異なる複数の摂動画像を用いて、人物の認識を行う事ができる。

認識部１３０は、特徴抽出部１１９により得られた入力部分空間と、登録顔特徴管理部１４０に予め登録される一つまたは複数の部分空間との類似度を比較する。これにより、認識部１３０は、予め登録された人物が現在の画像中にいるかどうかを判定することができる。

認識処理は、例えば、文献［６］（前田賢一、渡辺貞一：「局所的構造を導入したパターン・マッチング法」電子情報通信学会論文誌（Ｄ）、ｖｏｌ．Ｊ６８−Ｄ、Ｎｏ．３、ｐｐ３４５―３５２（１９８５）などに開示されている相互部分空間法を用いることにより実現可能である。

この方法では、予め記憶されている登録情報の中の認識データと、入力されるデータとが部分空間として表現される。即ち、相互部分空間法は、予め登録顔特徴記憶部１４０に記憶されている顔特徴情報と、カメラ１０９により撮影された画像に基づいて作成された特徴情報とを部分空間として特定する。この方法では、この２つの部分空間により形成される「角度」が類似度として算出される。

ここでは、入力される画像に基づいて算出された部分空間を入力部分空間と称して説明する。認識部１３０は、入力データ列（カメラ１０９により撮影された画像）に基づいて相関行列「Ｃｉｎ＝ΦｉｎΔｉｎΦｉｎＴ」を求める。

認識部１３０は、相関行列「Ｃｉｎ＝ΦｉｎΔｉｎΦｉｎＴ」と対角化を行い、固有ベクトルΦｉｎを求める。認識部１３０は、Φｉｎにより特定される部分空間と、Φｄにより特定される部分空間とで類似度を算出する。即ち、認識部１３０は、２つの部分空間の間の類似度（０．０〜１．０）を求める。

入力画像内に複数の顔領域が存在する場合、認識部１３０は、各顔領域に対して順番に認識の処理を行なう。すなわち、認識部１３０は、登録顔特徴記憶部１４０に保存されている特徴情報（登録情報）と、顔領域の画像とで類似度を総当りで計算する。これにより、認識部１３０は、入力画像内の全ての人物に対して認識の処理の結果を得ることができる。たとえば、Ｘ人の人物がＹ人分の辞書を記憶している本装置に向かって歩いてきた場合、認識部１３０は、認識の処理、即ち、類似度の計算をＸ×Ｙ回おこなう。これにより、認識部１３０は、Ｘ人のうちの全員に対して認識の処理の結果を出力できる。

登録顔特徴記憶部１４０に保存されている登録情報と一致する画像が入力された複数の画像の中に見つからなかった場合、即ち、認識部１３０による認識の結果が出力されなかった場合、認識部１３０は、次にカメラ１０９により撮影される画像（次のフレームの画像）に基づいて再び認識の処理を行う。

この場合、認識部１３０は、部分空間に入力される相関行列、即ち、１つのフレームに関する相関行列を、過去の複数のフレームに関する相関行列の和に追加する。認識部１３０は、再び、固有ベクトルの計算を行う。認識部１３０は、再び、部分空間の作成を行なう。これにより、認識部１３０は、入力画像に関する部分空間の更新を行う。

歩行する人物の顔画像を連続して撮影して照合を行なう場合、認識部１３０は、逐次部分空間の更新を行う。即ち、認識部１３０は、画像が入力される度に、認識の処理を行う。これにより、照合の精度が、撮影した画像の枚数に応じて徐々に高まる。

図１に示すように、画像処理装置１００に複数のカメラが接続されている場合、画像処理装置１００における全体の処理の負荷が高くなりやすい。例えば、通行人数が多い場合、顔検出部１１４は、複数の顔領域を検出する。特徴抽出部１１９は、検出された顔領域の特徴抽出を行う。さらに、認識部１３０は、抽出された特徴量に応じて認識処理を行う。

特徴抽出処理及び認識処理において生じる遅延を防ぐためには、より処理速度の速い方法で処理を行う必要がある。なおかつ、通行人数が少ない場合に処理速度が遅く精度の高い処理を行う必要がある。

処理方法制御部１２０は、入力された映像に対する各種処理結果の内容に応じて、認識処理の方法、及び顔検出部１１４による顔検出処理の方法を制御する。

また、画像処理装置１００に複数のカメラが接続されている為、各カメラから入力される画像に対する処理を、処理の負荷に応じてＣＰＵの割り当て時間を制御する必要がある。即ち、処理方法制御部１２０は、より負荷の高い画像に対して優先的にＣＰＵの割り当て時間を高くする。

処理方法制御部１２０は、カメラ１０９から入力される画像において検出された顔領域の位置（座標）、顔領域の大きさ、顔領域の移動速度、顔領域の数、及び動きのある画素の数などの情報の内の少なくとも１つに基づいて、入力画像に対する処理の優先度を各入力画像毎に設定する。

まず、処理方法制御部１２０は、各入力画像毎に検出された顔領域の数「Ｎ」を特定する。この場合、処理方法制御部１２０は、顔領域が検出されていない画像より、顔領域が多く検出された画像の優先度を高く設定する。例えば、処理方法制御部１２０は、検出された顔領域の数に比例した優先度を割り当てる。

また、処理方法制御部１２０は、顔領域の位置「Ｌ１」を特定する。処理方法制御部１２０は、カメラ１０９の設置画角に応じて、顔がもうすぐ画像内から消えるのかそうでないのかを推定する。たとえば、監視カメラのように人物より高い位置から撮影しているカメラから入力される画像において、人物がカメラの方向に移動する場合、顔領域のＹ座標が大きくなる。この為、処理方法制御部１２０は、Ｙ座標が大きいほど画面内に人物が映っている残り時間が少ないと推定し、優先度を高く設定する。

また、顔領域の位置が０または画像の横軸の最大値に近い座標に存在する場合、人物が画面内に人物が映っている残り時間が少ないと推定する。処理方法制御部１２０は、より画像の横端に近い位置に顔領域が存在する画像に対する優先度を高く設定する。また、入力手段として距離センサを用いる場合、距離センサの測定結果に応じて優先度を設定してもよい。

また、処理方法制御部１２０は、人物の移動速度「Ｖ」を特定する。即ち、処理方法制御部１２０は、複数のフレーム間における顔領域の位置の変化に基づいて人物の移動速度を算出する。処理方法制御部１２０は、より移動速度が高い顔領域の存在する画像に対して高い優先度を設定する。

また、処理方法制御部１２０は、検出した顔領域の人物の種類「Ｐ」を特定する。特定する種類は、例えば、人物の性別、年齢、身長、及び服装などである。予め高い優先度で処理すべき人物の種類を設定することにより、処理方法制御部１２０は、各画像に対して優先度を設定する。

処理方法制御部１２０は、顔の特徴情報との類似度判定の手法により人物の性別及び年齢を特定する。また、処理方法制御部１２０は、複数の男性の顔、女性の顔、または年齢層別の顔情報をそれぞれ混在した特徴情報を学習させて辞書を作成することにより、入力された画像の顔領域の人物が男性と女性のどちらに近いか、及び、どの年齢層別の辞書に近いかを特定する。

また、処理方法制御部１２０は、連続するフレーム間の差分などから人物の変動領域の概説矩形を算出し、その高さと顔の座標から該当する人物の身長を特定することができる。また、処理方法制御部１２０は、人物の体全体の人物領域内の画像情報に基づいて服装毎に分類する。また、処理方法制御部１２０は、「黒い服」、「白い服」などを、輝度の情報のヒストグラムに基づいて特定することができる。

また、処理方法制御部１２０は、画像内の変動領域の大きさ「Ｓ」を特定する。処理方法制御部１２０は、連続するフレーム間における差分を算出し、差分が存在する領域においてラベリング処理を行うことにより、画面全体の移動物体の大きさを特定する事ができる。

人物が移動している場合、処理方法制御部１２０は、人物全体の領域を変動領域と特定する。また、車や植木などが動いている場合、処理方法制御部１２０は、動いている車及び植木を変動領域として特定する。また、処理方法制御部１２０は、画面全体に変動している領域が多い場合、人物が画像に写り込む可能性が高い、または、なんらかのイベントが発生しやすい状況であると判断し、優先度を高く設定する。

また、処理方法制御部１２０は、画像内の変動領域の位置「Ｌ２」を特定する。処理方法制御部１２０は、画像内の変動領域の大きさ「Ｓ」と複数のフレーム間の差分とラベリング処理によって特定する変動領域の重心の位置とに基づいて、変動領域の位置を特定する。即ち、処理方法制御部１２０は、画面から消えるまでの時間が短い順に優先度を高く設定する。

処理方法制御部１２０は、上記した方法により特定した顔領域の数「Ｎ」、顔領域の位置「Ｌ１」、人物の移動速度「Ｖ」、人物の種類「Ｐ」、変動領域の大きさ「Ｓ」、及び変動領域の位置「Ｌ２」に基づいて、総合的に各カメラ１０６、１０７、及び１０８から入力される画像に対して優先度を設定する。

例えば、処理方法制御部１２０は、次の数式１により各入力画像毎の優先度を設定する。
優先度＝Ｋ１×Ｎ＋Ｋ２×Ｌ１＋Ｋ３×ｖ＋Ｋ４×Ｐ＋Ｋ５×Ｓ＋Ｋ６×Ｌ２
・・・（数式１）
なお、Ｋ１乃至Ｋ６は、各項目の重みを変更する為の計数である。この優先度が高い値で有るほど、高い処理速度が要求される。

次に、優先度に応じた処理方法の制御について説明する。
図２は、カメラ１０９から入力される画像の例について説明する為の説明図である。図２Ａは、画面全体の変動量が大きい例について示す図である。図２Ｂは、顔領域がカメラ１０９に近い例について示す図である。図２Ｃは、顔領域の移動速度が高い例について示す図である。図２Ｄは、検出された顔領域の数が多い例について示す図である。

処理方法制御部１２０は、各カメラ１０９から入力される画像に対して、上記の数式１により優先度を算出する。処理方法制御部１２０は、算出した優先度の値を各画像毎に比較し、優先して処理を行う画像を決定する。

例えば、図２Ａ乃至図２Ｄに示す画像が同時に入力される場合、処理方法制御部１２０は、各画像毎に優先度を算出する。

例えば、顔領域の検出数「Ｎ」が多いケースの優先度を高める場合、処理方法制御部１２０は、Ｋ１の値を最も大きい値に設定する。この場合、処理方法制御部１２０は、図２Ｄの画像を最も優先して処理すべき画像であると判定する。処理方法制御部１２０は、残りの図２Ａ、図２Ｂ、及び図２Ｃの画像を同じ優先度で処理を行う。

また、例えば、顔領域の移動速度「Ｖ」が大きいケースの優先度を高める場合、処理方法制御部１２０は、Ｋ３の値を最も大きい値に設定する。この場合、処理方法制御部１２０は、図２Ｃの画像を最も優先して処理すべき画像であると判定する。処理方法制御部１２０は、残りの図２Ａ、図２Ｂ、及び図２Ｄの画像を同じ優先度で処理を行う。

また、例えば、顔領域の位置「Ｌ１」を重視する場合、処理方法制御部１２０は、Ｋ２の値を最も大きい値に設定する。この場合、処理方法制御部１２０は、図２Ｂの画像を最も優先して処理すべき画像であると判定する。処理方法制御部１２０は、残りの図２Ａ、図２Ｃ、及び図２Ｄの画像を同じ優先度で処理を行う。

また、例えば、画像全体の変動領域「Ｓ」を重視する場合、処理方法制御部１２０は、Ｋ５の値を最も大きい値に設定する。この場合、処理方法制御部１２０は、図２Ａの画像を最も優先して処理すべき画像であると判定する。処理方法制御部１２０は、残りの図２Ｂ、図２Ｃ、及び図２Ｄの画像を同じ優先度で処理を行う。

また、処理方法制御部１２０は、上記の方法を組み合わせて総合的に優先度を判定する構成であってもよい。この場合、図２Ａ乃至図２Ｄの各画像において複合的な要因で優先度を設定することができる。

処理方法制御部１２０は、決定した優先度に応じて、入力画像に対する顔検出処理の方法を制御する。顔検出部１１４は、顔検出処理を行う場合、切り出す顔領域の解像度を設定する。

図３は、顔検出処理により顔領域を切り出す例について説明する為の説明図である。図３Ａは、低い解像度で顔領域を切り出す例を示す図である。図３Ｂは、中程度の解像度で顔領域を切り出す例を示す図である。図３Ｃは、高い解像度で顔領域を切り出す例を示す図である。

例えば、処理方法制御部１２０は、高い優先度を算出した画像から顔領域を切り出す場合、図３Ａに示す低い解像度で顔領域の画像を切り出すように顔検出部１１４を制御する。

また、処理方法制御部１２０は、中程度の優先度を算出した画像から顔領域を切り出す場合、図３Ｂに示す中程度の解像度で顔領域の画像を切り出すように顔検出部１１４を制御する。

また、処理方法制御部１２０は、低い優先度を算出した画像から顔領域を切り出す場合、図３Ａに示す高い解像度で顔領域の画像を切り出すように顔検出部１１４を制御する。

また、顔のパーツ毎に特徴量を算出する場合、顔検出部１１４は、顔検出処理を行うパーツを設定する。この場合、処理方法制御部１２０は、決定した優先度に応じて、切り出す顔のパーツの数を制御する。

図４は、顔検出処理により顔領域（パーツ）を切り出す例について説明する為の説明図である。図４Ａは、少ない数のパーツを切り出す例を示す図である。図４Ｂは、中程度の数のパーツを切り出す例を示す図である。図４Ｃは、多い数パーツを切り出す例を示す図である。

例えば、処理方法制御部１２０は、高い優先度を算出した画像からパーツを切り出す場合、図４Ａに示すように、小数のパーツを切り出すように顔検出部１１４を制御する。

また、処理方法制御部１２０は、中程度の優先度を算出した画像からパーツを切り出す場合、図４Ｂに示すように、中程度の数のパーツを切り出すように顔検出部１１４を制御する。

またさらに、処理方法制御部１２０は、低い優先度を算出した画像からパーツを切り出す場合、図４Ｃに示すように、多数のパーツを切り出すように顔検出部１１４を制御する。

これにより、画像処理装置１００は、要求される処理速度に応じて顔検出処理の種類を切り替える事ができる。

即ち、優先度が高いと判定した場合、画像処理装置１００は、処理時間を短縮することを優先的に行う。例えば、画像処理装置１００は、精度を低下させながら高速に処理する方向にパラメータを変更してもよい。逆に、優先度が高い場合、画像処理装置１００は、処理時間をかけても精度を高くするように設定してもよい。

また、処理方法制御部１２０は顔が映っていないなど優先度が低いカメラ１０９から入力される画像に対して、一定フレーム毎に顔検出を行うように顔検出部１１４を制御してもよい。

図５は、図１に示すカメラ１０９により撮像される画像に対して行う顔検出処理の例について説明する為の説明図である。図５Ａは、優先度が高い画像に対して行う顔検出処理について説明する為の図である。図５Ｂは、優先度が中程度である画像に対して行う顔検出処理について説明する為の図である。図５Ｃは、優先度が低い画像に対して行う顔検出処理について説明する為の図である。

例えば、高い優先度を算出した画像から顔領域を切り出す場合、図５Ａに示すように、処理方法制御部１２０は、顔検出処理を毎フレーム行う。即ち、処理方法制御部１２０は、高い優先度を算出した画像を入力したカメラ１０９により撮像される次以降のフレームの画像に対する顔検出処理の頻度を高く設定する。

また、中程度の優先度を算出した画像から顔領域を切り出す場合、図５Ｂに示すように、処理方法制御部１２０は、顔検出処理を２フレームに１回行う。即ち、処理方法制御部１２０は、中程度の優先度を算出した画像を入力したカメラ１０９により撮像される次以降のフレームの画像に対する顔検出処理の頻度を中程度に設定する。

また、低い優先度を算出した画像から顔領域を切り出す場合、図５Ｃに示すように、処理方法制御部１２０は、顔検出処理を４フレームに１回行う。即ち、処理方法制御部１２０は、低い優先度を算出した画像を入力したカメラ１０９により撮像される次以降のフレームの画像に対する顔検出処理の頻度を低く設定する。これにより、画像処理装置１００は、負荷に応じて処理の精度を変更することが可能になる。

特徴抽出部１１９は、顔検出部１１４により検出された顔領域（若しくはパーツ）毎に特徴量を算出する。特徴抽出部１１９は、算出した特徴量を認識部１３０に送信する。即ち、上記したように、画像処理装置１００は、画像の処理の負荷を予測し、顔検出処理を行うことにより、特徴抽出部１１９により処理する画像の量を制御することができる。この結果、画像処理装置１００全体の負荷を軽減することができる。

また、通常、顔検出部１１４は、１画素単位での顔検出処理を行う。例えば、顔検出部１１４は、優先度が低い場合に４画素おきに間引きしながら顔検出処理を行う構成であってもよい。

またさらに、処理方法制御部１２０は、特徴抽出処理を行う場合に優先度に応じた解像度を選択するように特徴抽出部１１９を制御してもよい。例えば、処理方法制御部１２０は、優先度が低い画像に対して、低い解像度で特徴抽出処理を行うように特徴抽出部１１９を制御する。

またさらに、処理方法制御部１２０は、特徴抽出部１１９による特徴抽出処理を制御する構成であってもよい。特徴抽出部１１９は、１枚の画像に基づいて特徴量を抽出する第１の抽出処理部と、複数枚の画像に基づいて特徴量を抽出する第２の抽出処理部とをそ備える。処理方法制御部１２０は、優先度に応じて、第１の抽出処理部と第２の抽出処理部とを切り替えるように特徴抽出部１１９を制御する。

例えば、処理方法制御部１２０は、優先度が低い画像に対して第２の抽出処理部を用いて特徴抽出処理を行い、優先度が高い画像に対して第１の抽出処理部を用いて特徴抽出処理を行うように特徴抽出部１１９を制御する。認識部１３０は、特徴抽出部１１９により抽出された特徴量に基づいて認識処理を行う。

また、処理方法制御部１２０は、特徴抽出処理を行う場合、優先度が高い画像に対する特徴抽出処理を優先的に行うように、特徴抽出処理を行う順番を入れ替えてもよい。またさらに、処理方法制御部１２０は、認識処理を行う場合、優先度が高い画像に対する認識処理を優先的に行うように、類似度演算を行う順番を入れ替えてもよい。これにより、画像処理装置１００は、人数が多いケース、人物が早く移動しているケースであっても、遅延することなく認識結果を出力することができる。

また、処理方法制御部１２０は、類似度演算を行う場合、部分空間の面数を優先度に応じて変更するように認識部１３０を制御する。これにより、類似度演算の処理時間と精度のバランスを調整することができる。面数は、相互部分空間法において類似度を計算する際に用いるベクトルの数を示す情報である。即ち、面数を増やすことにより、認識処理の制度を高める事ができる。また、面数を減らすことにより、認識処理の負荷を減らすことができる。

出力部１５０は、認識部１３０による認識結果に応じて、認識結果を出力する。また、出力部１５０は、認識結果に応じて、本装置１００に接続される外部機器への制御信号、音声、及び画像などを出力する。

例えば、出力部１５０は、入力された画像の特徴情報と、登録顔特徴管理部１４０に記憶される顔特徴情報とを出力する。この場合、出力部１５０は、入力された画像の特徴情報と類似度の高い顔特徴情報を登録顔特徴管理部１４０から抽出して出力する。さらに、出力部１５０は、抽出して結果に類似度を付与して出力してもよい。またさらに、出力部１５０は、類似度が予め設定される所定値を超える場合に警報を鳴らすための制御信号を出力してもよい。

上記したように、本実施形態の画像処理装置１００は、入力される画像に基づいて各画像毎に優先度を設定する。画像処理装置１００は、設定した優先度に応じて、顔検出部１１４による顔検出処理の解像度、顔検出処理の頻度、及び、検出する顔のパーツの数などを制御する。これにより、例えば、処理の負荷が大きいと思われる画像に対して負荷の少ない処理方法を選択することができる。この結果、より効率的に監視を行う為の画像処理を行う事ができる画像処理装置、及び画像処理方法を提供することができる。

なお、上記の実施形態では、顔検出部１１４と特徴抽出部１１９とを分けて説明したが、顔検出部１１４が特徴抽出部１１９の機能を含む構成であってもよい。この場合、顔検出部１１４は、画像から顔領域を検出すると同時に、検出した顔領域の特徴量を算出する。またさらに、認識部１３０が特徴抽出部１１９の能を含む構成であってもよい。この場合、顔検出部１１４は、認識部１３０に対して切り出した顔画像を送信する。認識部１３０は、顔検出部１１４から受信する顔画像から特徴量を算出し、認識処理を行う。

次に、本発明の第２の実施形態に係る画像処理装置、及び画像処理方法について詳細に説明する。

図６は、本発明の第２の実施形態に係る画像処理装置２００の構成例について説明するためのブロック図である。
図６に示すように、画像処理装置２００は、副制御部２６１、２６２、及び２６３（総じて副制御部２６４と称する）と、主制御部２７０とを備える。

副制御部２６１は、顔検出部２１１と特徴抽出部２１６とを備える。副制御部２６２は、顔検出部２１２と特徴抽出部２１７とを備える。副制御部２６３は、顔検出部２１３と特徴抽出部２１８とを備える。なお、顔検出部２１１、２１２、及び２１３を総じて顔検出部２１４と称する。また、特徴抽出部２１６、２１７、及び２１８を総じて特徴抽出部２１９と称する。

主制御部２７０は、接続方法制御部２２０、認識部２３０、登録顔特徴管理部２４０、及び出力部２５０を備える。

なお、顔検出部２１４は、第１の実施形態における顔検出部１１４と同様の顔検出処理を行う。また、特徴抽出部２１９は、第１の実施形態における特徴抽出部１１９と同様の特徴抽出処理を行う。また、認識部２３０は、第１の実施形態における認識部１３０と同様の認識処理を行う。

図６に示すように、通路２０１にカメラ２０６、通路２０２にカメラ２０７、通路２０３にカメラ２０８、がそれぞれ設置されている。カメラ２０６、２０７、及び２０８（総じてカメラ２０９と称する）は、副制御部２６４に接続される。即ち、カメラ２０６は、副制御部２６１、２６２、及び２６３に接続される。また、カメラ２０７は、副制御部２６１、２６２、及び２６３に接続される。また、カメラ２０８は、副制御部２６１、２６２、及び２６３に接続される。

即ち、各カメラ２０９は、例えば、ＨＵＢまたはＬＡＮなどによりそれぞれ複数の副制御部２６４に接続される。

カメラ２０９は、副制御部２６４の制御に基づいて、撮像した画像の出力先を各副制御部２６４で切り替える。この為に、カメラ２０９は、ＮＴＳＣ方式を用いることにより、各カメラ２０９と各副制御部２６４の接続を適宜切り替えることができる。また、例えば、カメラ２０９がネットワークカメラにより構成される場合、副制御部２６４は、カメラのＩＰアドレスを指定することにより、所望のカメラ２０９から画像を入力させることができる。なお、各副制御部２６４に接続されるカメラ２０９は、何台であってもよい。

副制御部２６４は、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、及び、不揮発性メモリなどの構成を備えている。ＣＰＵは、副制御部２６４により行われる制御を司るものである。ＣＰＵは、ＲＯＭあるいは不揮発性メモリに記憶されている制御プログラムや制御データに基づいて動作することにより、種々の処理手段として機能する。

ＲＡＭは、ＣＰＵのワーキングメモリとして機能する揮発性のメモリである。即ち、ＲＡＭは、ＣＰＵが処理中のデータなどを一時保管する記憶手段として機能する。また、ＲＡＭは、入力部から受信したデータを一時保管する。ＲＯＭは、予め制御用のプログラムや制御データなどが記憶されている不揮発性のメモリである。

不揮発性メモリは、例えば、ＥＥＰＲＯＭあるいはＨＤＤなどの、データの書き込み及び書換えが可能な記憶媒体により構成される。不揮発性メモリには、当該画像処理装置１００の運用用途に応じて制御プログラムや種々のデータが書込まれる。

また、副制御部２６４は、カメラ２０９から画像を受信する為のインターフェースを備える。さらに、副制御部２６４は、主制御部２７０とデータの送受信を行う為のインターフェースを備える。

また、主制御部２７０も副制御部２６４と同様に、ＣＰＵ、ＲＡＭ、ＲＯＭ、及び、不揮発性メモリなどの構成を備えている。さらに、主制御部２７０は、副制御部２６４とデータの送受信を行う為のインターフェースを備える。

本実施形態の画像処理装置２００は、複数設置された監視カメラから特定の人物を検出する場合、各副制御部２６４から受信するデータを統合して確認する為に、クライアントサーバー形式の構成を有する。これにより、各カメラ２０９により撮像された画像から検出された顔領域の画像及び特徴量がサーバーである主制御部２７０に入力される。この結果、主制御部２７０は、検出された顔画像の人物が、登録顔特徴管理部２４０に登録されている人物であるかどうかを判定する。

接続方法制御部２２０は、カメラ２０９により撮像される画像に対する顔検出処理の結果に応じて、各副制御部２６４と各カメラ２０９との接続を切り替えるように制御する。接続方法制御部２２０は、制御部として機能する。

接続方法制御部２２０は、第１の実施形態の処理方法制御部１２０と同様の方法により、各カメラ２０９により撮像される画像毎の優先度を設定する。即ち、接続方法制御部２２０は、各画像毎に設定した優先度に応じて、各副制御部２６４と各カメラ２０９との接続を切り替える。

図７は、図６に示す接続方法制御部２２０の処理について説明する為の説明図である。画像２７１は、カメラ２０６により撮像される画像である。画像２７２は、カメラ２０７により撮像される画像である。画像２７３は、カメラ２０８により撮像される画像である。画像２７１では、顔領域が４つ検出されている。画像２７２では、顔領域が１つ検出されている。画像２７３では、顔領域が検出されていない。

この為、接続方法制御部２２０は、カメラ２０６により撮像した画像２７１の優先度が最も高く、次にカメラ２０７により撮像した画像２７２の優先度が高いと判定する。また、接続方法制御部２２０は、カメラ２０８により撮像した画像の優先度が最も低いと判定する。

この場合、接続方法制御部２２０は、最も優先度の高いカメラ２０６により撮像される画像２７１を、複数の副制御部２６４に入力するようにカメラ２０９と副制御部２６４との接続方法を制御する。図７に示す例では、接続方法制御部２２０は、カメラ２０６により撮像される画像２７１を副制御部２６１と副制御部２６３とに入力する。

なお、この場合、副制御部２６１の顔検出部２１１と、副制御部２６３の顔検出部２１３とは、１フレーム毎に交互に処理を行う。また、副制御部２６１の顔検出部２１１と、副制御部２６３の顔検出部２１３とで画像２７１の領域を分割して処理を行う構成であってもよい。

また、接続方法制御部２２０は、前フレームにおいて顔領域を検出しなかったカメラ２０８からの画像２７３を、所定間隔で副制御部２６４に入力するように制御する。これにより、副制御部２６４は、カメラ２０８により撮像される画像に対して例えば、４フレームに１回などの頻度で顔検出処理を行う。

上記したように、本実施形態の画像処理装置２００は、入力される画像に基づいて各画像毎に優先度を設定する。画像処理装置２００は、設定した優先度に応じて、カメラ２０９と副制御部２６４との接続方法を制御する。これにより、例えば、処理の負荷が大きいと思われる画像を複数の副制御部２６４に入力し、処理を分担することができる。この結果、より効率的に監視を行う為の画像処理を行う事ができる画像処理装置、及び画像処理方法を提供することができる。

なお、上記の実施形態では、副制御部２６４が３台であると仮定して説明したが、この構成に限定されない。副制御部２６４は、少なくとも２台以上であれば、本発明を実現することができる。

なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具現化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合わせてもよい。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
画像が入力される複数の画像入力部と、
前記画像入力部により入力された画像から物体領域を検出する検出部と、
前記検出部により検出された物体領域の画像から特徴量を抽出する特徴抽出部と、 前記検出部による検出結果に基づいて、前記複数の画像入力部により入力される画像に対して前記検出部及び前記特徴抽出部により行う処理を制御する制御部と、
を具備することを特徴とする画像処理装置。
［Ｃ２］
前記検出部は、前記画像入力部により入力された画像から顔領域を検出し、
前記制御部は、前記検出部による検出結果に基づいて、各画像入力部毎に優先度を設定し、設定した優先度に応じて、前記複数の画像入力部により入力される画像に対して前記検出部及び前記特徴抽出部により行う処理を制御することを特徴とするＣ１に記載の画像処理装置。
［Ｃ３］
前記制御部は、設定した優先度に応じて、前記複数の画像入力部により入力される画像に対して前記検出部及び前記特徴抽出部により行う処理の処理方法を制御する処理方法制御部を具備することを特徴とするＣ２に記載の画像処理装置。
［Ｃ４］
前記検出部を複数備え、
前記制御部は、設定した優先度に応じて、前記複数の画像入力部と前記複数の検出部との接続を制御する接続方法制御部を具備することを特徴とするＣ２に記載の画像処理装置。
［Ｃ５］
前記処理方法制御部は、前記検出部により検出される顔領域の数に応じて優先度を設定することを特徴とするＣ２に記載の画像処理装置。
［Ｃ６］
前記処理方法制御部は、前記検出部により検出される顔領域の位置に応じて優先度を設定することを特徴とするＣ２に記載の画像処理装置。
［Ｃ７］
前記処理方法制御部は、前記検出部により検出される顔領域の複数フレーム間における移動速度に応じて優先度を設定することを特徴とするＣ２に記載の画像処理装置。
［Ｃ８］
前記処理方法制御部は、前記検出部により検出される顔領域の特徴量に応じて顔領域の人物の属性を判断し、人物の属性に応じて優先度を設定することを特徴とするＣ２に記載の画像処理装置。
［Ｃ９］
前記検出部は、前記画像入力部により入力された画像から複数フレーム間における変動領域を検出し、
前記処理方法制御部は、前記検出部により検出される変動領域の大きさに応じて優先度を設定することを特徴とするＣ２に記載の画像処理装置。
［Ｃ１０］
前記検出部は、前記画像入力部により入力された画像から複数フレーム間における変動領域を検出し、
前記処理方法制御部は、前記検出部により検出される変動領域の位置に応じて優先度を設定することを特徴とするＣ２に記載の画像処理装置。
［Ｃ１１］
前記処理方法制御部は、設定した優先度に応じて、前記検出部により検出する顔領域の画像の解像度を制御することを特徴とするＣ３に記載の画像処理装置。
［Ｃ１２］
前記検出部は、顔領域として顔のパーツの領域を検出し、
前記処理方法制御部は、設定した優先度に応じて、前記検出部により検出する顔のパーツの数を制御することを特徴とするＣ３に記載の画像処理装置。
［Ｃ１３］
前記処理方法制御部は、設定した優先度に応じて、前記検出部により顔領域を検出する頻度を制御することを特徴とするＣ３に記載の画像処理装置。
［Ｃ１４］
前記特徴抽出部は、
１枚の画像から特徴量を抽出する第１の抽出部と、
複数枚の画像から特徴量を抽出する第２の抽出部と、
を具備し、
前記処理方法制御部は、設定した優先度に応じて、前記第１の抽出部と前記第２の抽出部とを切り替えることを特徴とするＣ３に記載の画像処理装置。
［Ｃ１５］
前記接続方法制御部は、優先度の高い画像入力部により撮像した画像を複数の検出部に入力するように制御することを特徴とするＣ４に記載の画像処理装置。
［Ｃ１６］
予め顔特徴情報を記憶する登録顔特徴記憶部と、
前記特徴抽出部により抽出された特徴量と、前記登録顔特徴記憶部に記憶される顔特徴情報とを比較し、前記顔領域の人物が予め登録された人物であるか否かを判定する認識部と、
をさらに具備するＣ２に記載の画像処理装置。
［Ｃ１７］
画像が入力される画像入力部を複数備える画像処理装置に用いられる画像処理方法であって、
前記画像入力部から入力される画像から物体領域を検出し、
前記検出された物体領域の画像から特徴量を抽出し、
前記物体領域の検出結果に基づいて、前記複数の画像入力部により入力される画像に対して行う検出処理と特徴抽出処理を制御する、
ことを特徴とする画像処理方法。
［Ｃ１８］
前記検出処理は、前記画像入力部により入力された画像から顔領域を検出し、
前記検出処理による検出結果に基づいて、各画像入力部毎に優先度を設定し、設定した優先度に応じて、前記複数の画像入力部により入力される画像に対して行う検出処理と特徴抽出処理を制御することを特徴とするＣ１７に記載の画像処理装置。

１００…画像処理装置、１０６〜１０９…カメラ、１１１〜１１４…顔検出部、１１６〜１１９…特徴抽出部、１２０…処理方法制御部、１３０…認識部、１４０…登録顔特徴管理部、１５０…出力部、２００…画像処理装置、２０７〜２０９…カメラ、２１１〜２１４…顔検出部、２１６〜２１９…特徴抽出部、２２０…接続方法制御部、２３０…認識部、２４０…登録顔特徴管理部、２５０…出力部、２６１〜２６４…副制御部、２７０…主制御部。

Claims (10)

1. 画像が入力される複数の画像入力部と、
   前記画像入力部により入力された画像から顔領域を検出する検出部と、
   前記検出部により検出された顔領域の画像から特徴量を抽出する特徴抽出部と、
   前記検出部により検出された顔領域の数に基づいて各画像入力部毎に優先度を設定し、複数の処理方法の中から方法を前記優先度に基づいて選択し、選択した前記方法で前記複数の画像入力部により入力される画像を処理するように前記検出部及び前記特徴抽出部を制御する制御部と、
   を具備することを特徴とする画像処理装置。
2. 画像が入力される複数の画像入力部と、
   前記画像入力部により入力された画像から顔領域を検出する複数の検出部と、
   前記検出部により検出された顔領域の画像から特徴量を抽出する特徴抽出部と、
   前記検出部による検出結果に基づいて、各画像入力部毎に優先度を設定し、前記優先度に応じて、前記複数の画像入力部により入力される画像に対して前記検出部及び前記特徴抽出部により行う処理を制御する制御部と、
   前記優先度に応じて、前記複数の画像入力部と前記複数の検出部との接続を制御する接続方法制御部と、
   を具備することを特徴とする画像処理装置。
3. 前記処理方法制御部は、設定した優先度に応じて、前記検出部により検出する顔領域の画像の解像度を制御することを特徴とする請求項１に記載の画像処理装置。
4. 前記検出部は、顔領域として顔のパーツの領域を検出し、
   前記処理方法制御部は、設定した優先度に応じて、前記検出部により検出する顔のパーツの数を制御することを特徴とする請求項１に記載の画像処理装置。
5. 前記処理方法制御部は、設定した優先度に応じて、前記検出部により顔領域を検出する頻度を制御することを特徴とする請求項１に記載の画像処理装置。
6. 前記特徴抽出部は、
   １枚の画像から特徴量を抽出する第１の抽出部と、
   複数枚の画像から特徴量を抽出する第２の抽出部と、
   を具備し、
   前記処理方法制御部は、設定した優先度に応じて、前記第１の抽出部と前記第２の抽出部とを切り替えることを特徴とする請求項１に記載の画像処理装置。
7. 前記接続方法制御部は、優先度の高い画像入力部により撮像した画像を複数の検出部に入力するように制御することを特徴とする請求項２に記載の画像処理装置。
8. 予め顔特徴情報を記憶する登録顔特徴記憶部と、
   前記特徴抽出部により抽出された特徴量と、前記登録顔特徴記憶部に記憶される顔特徴情報とを比較し、前記顔領域の人物が予め登録された人物であるか否かを判定する認識部と、
   をさらに具備する請求項１または２に記載の画像処理装置。
9. 画像が入力される画像入力部を複数備える画像処理装置に用いられる画像処理方法であって、
   前記画像入力部から入力される画像から顔領域を検出し、
   前記検出された顔領域の画像から特徴量を抽出し、
   検出された顔領域の数に基づいて各画像入力部毎に優先度を設定し、複数の処理方法の中から方法を前記優先度に基づいて選択し、選択した前記方法で前記複数の画像入力部により入力される画像を処理する、
   ことを特徴とする画像処理方法。
10. 画像が入力される複数の画像入力部と、前記画像入力部により入力された画像から顔領域を検出する複数の検出部と、を備える画像処理装置に用いられる画像処理方法であって、
    前記検出された顔領域の画像から特徴量を抽出し、
    前記検出部による検出結果に基づいて、各画像入力部毎に優先度を設定し、前記優先度に応じて、前記複数の画像入力部により入力される画像に対して前記検出部及び前記特徴抽出部により行う処理を制御し、
    前記優先度に応じて、前記複数の画像入力部と前記複数の検出部との接続を制御する、
    ことを特徴とする画像処理方法。

Images