JP2008059108A - 画像処理装置，画像処理方法、そのプログラムおよび人流監視システム - Google Patents

Abstract

【課題】本発明の目的は、顔画像を用いて人物を認識する際に従来以上に高精度、かつ本人により近いと考えられる任意角度顔画像を生成することが可能な画像処理装置を提供することにある。
【解決手段】本発明の画像処理装置は、カメラから入力される画像を記憶する画像記憶手段と、画像から顔器官の位置等を検出する顔パーツ抽出手段と、ワイヤフレームで構成された平均的な人物頭部の三次元形状情報を記憶する三次元形状モデル格納手段と、顔パーツ抽出手段から得られた顔パーツ位置に基づき、三次元形状モデルを変形させ、画像に含まれる人物の顔パーツ配置に適合する三次元形状モデルを生成する簡易モデル生成手段と、画像から人物属性を算出する属性算出手段と、属性算出手段から得られた人物属性に基づき、簡易モデル生成手段から得られた三次元形状モデルを変形させて詳紬モデルを生成する属性反映手段と、を備える。
【選択図】図１

Description

本発明は、顔画像を用いて人物を認識するための画像処理装置，画像処理方法、そのプログラムおよび人流監視システムに関する。

現在、ビルのエントランスや駐車場，工場や学校などの敷地の入口，大規模店舗やコンビニエンスストアなどの店舗内部などには、監視カメラが設けられ、監視画像が磁気テープや磁気ディスクなどの記憶媒体に記録されるとともに、施設の管理者や警備員などによってリアルタイムで人流監視などが行われている。このような人流監視の主な目的は、テロリスト等の犯罪者や不審者を雑踏の中から発見したり、捜査願いの出ている失踪者等を発見するためである。しかし、四六時中、監視者が監視画面を眺めて、対象者を発見することは人的コストが非常に大きく、また、疲労や集中カ低下により見逃する可能性もあり、確実に発見することは困難である。

このため、監視カメラから得られる監視画像に対して、画像処理および画像認識処理を施して、自動的に対象者を発見することが重要である。

顔を撮影した画像を用いて人物を識別するシステムにおいて、身分証などによって得られる予め登録した顔画像と、識別に用いるカメラで撮影した顔画像との間に、カメラに対する人物の姿勢変動に起因する見かけの歪みや変形が起こり、認証精度が低下する要因となっている。特に、近年市販されるようになった顔認識処理のみを行う製品（以下、顔認識エンジン）においては、正面顔のみを対象にしたものが多く、こうした正面顔の顔認識エンジンでは、見かけの歪みや変形の影響を受けやすい。

そこで、このような間題を解決するために、例えば、特許文献１には、以下の手順で、事前に登録されている正面顔画像を、入力された任意角度の顔画像と同じ向きを向かせるように変換し、照合を行う手法が開示されている。

これは、まず、事前に登録されている正面顔画像から目・鼻・口などの顔器官を、自動もしくは手動で抽出し、その器官の輪郭位置に基づいて、ワイヤフレームで形成された三次元頭部モデルを割り付ける。割り付け後に、入力画像における各点の色情報を三次元頭部モデルに対応させることで、三次元頭部モデルを着色する。こうしてできた三次元頭部モデルを回転して任意の角度を向かせ、再度画像に戻すことにより入力画像と同じ向きの顔画像を生成する。

なお、ワイヤフレームとは、対象とする物体（ここでは眼・鼻などの顔部品など）の輪郭を複数の線分で結んで表現したモデルである。

特開２００３−２６３６３９号公報 Paul Viola and Michael Jones,"Rapid Object Detection using a Boosted Cascade of Simple Features"，IEEE Computer Society Conference on Computer Vision and Pattern Recognition 2001(CVPR01)

特許文献１に開示されている顔画像認識方法においては、眼・口等の顔パーツの境界位置に関しては、入力画像から画像のエッジを計算することにより、ワイヤフレームによる三次元頭部モデルを割り付ける計算が可能であったが、額・エラ・頬・下顎頤といった、正確な顔パーツ位置を頭部向きに関わらず画像上から得にくい部分ではワイヤフレーム割当てがうまく行われず、結果として標準モデル等の個人の特徴を反映していない形状モデルを用いて、情報の補完を行うことになる。このため、各個人により異なると考えられるこれらの部位に対して適切な形状復元や変形補正ができなかった。

また、隠れ等によりカメラから直接撮像できない部位に関しては、これらの三次元形状復元においては、事前にシステム内に格納しておいた標準的な三次元頭部モデルの形状を利用して、これらの情報欠損部位に対する補完を行っていた。このため、前記手法により生成された画像には、本人の特徴を反映していない部分が含まれることになり、不正確な顔画像が生成されるという問題があった。

上記課題を達成するために、本発明の画像処理装置，画像処理方法、では観点（人物に対するカメラの向き（上下，左右等）や人物の姿勢あるいは表情，照明，カメラパラメータ（ズーム倍率，レンズ特性）などのいずれかで、ユーザによって設定される）に従って撮影された観点撮影顔画像を入力し、この入力画像に対して、顔パーツ（眼・鼻・口・眉・黒子・外耳，髪生え際などの少なくとも１つを含む）を画像処理により抽出し、顔パーツの抽出結果に基づき、ワイヤフレームで形成された三次元頭部形状モデルを顔パーツ配置に対応させて変形させながら、入力画像に割り付けたモデル(以下、簡易モデルと呼ぶ)を生成する。そして、入力画像もしくは顔パーツ情報から人物属性（頭部大きさ・顔頭部輪郭形状・年齢・性別・体格などの少なくとも１つを含む）を算出し、人物属性に基づき、前記簡易モデルを修正して詳細モデルを作成することにより、より入力画像に対して妥当な三次元個人形状データを作成することを特徴とする。

本発明によれば、顔パーツの配置・形状を抽出し、三次元頭部形状モデルを各個人に適した形に変形・調整した上で、入力画像から得られる色および模様情報（以下、テクスチャと呼ぶ）を貼り付けるため、抽出できた顔パーツ近傍の形状は、各個人の特徴を反映していると考えられる。これは従来技術と同等であるが、人物頭部全体を見た場合には、これだけでは各個人の特徴を十分に反映しているとは言えない。

従って、本発明の画像処理装置，画像処理方法では人物属性を算出し、その算出結果に基づいて、顔パーツのみの配置・形状だけでは欠落してしまう情報を基に、更に三次元頭部形状モデルを修正することにより、より高精度な三次元個人形状データが生成できるようになる。

また、前記の三次元個人形状データが一旦生成されると、以後はその形状データを用いて任意観点の画像を生成することは容易である。このため、監視カメラ等から入力された位置姿勢の不明な頭部画像から、本発明の手段を用いて三次元個人形状データを生成し、例えば正面顔画像を生成することで、正面顔用の顔認識エンジンを利用して人物照合を行うことができるようになる。

また、前記の本発明の画像処理装置，画像処理方法では、算出された人物属性に基づいて、それぞれ異なる特徴を持つ三次元頭部詳細形状モデル（以下、詳細モデル）を選択し、簡易モデルの変形パラメータを用いて、この詳細モデルを変形させることで人物属性を三次元個人形状データに反映させることが可能になる。

更に、前記の本発明の画像処理装置，画像処理方法では、算出された人物属性に基づいて、それぞれ異なる特徴を持つ三次元頭部詳紬形状モデル（以下、詳細モデル）を選択し、この詳細モデル内の変形パラメータを利用して基本モデルを変形させることで人物属性を三次元個人形状データに反映させる構成をとることも考えられる。

尚、本発明は、以上の画像処理装置，画像処理方法を実行させるプログラムを含む。

本発明によれば、顔認識システムにおいて、撮影の上下，左右，斜め方向或いは顔の各種の表情などの色々な観点のそれぞれに対して、三次元個人形状データを生成できる効果がある。

また、その三次元個人形状データから、入力画像とは異なる観点の画像を生成することができ、顔認識システムにおいて、認識精度を高く保持することが可能であるという効果がある。

そのような高精度の顔画像認識装置を用いることにより、信頼性および確度の高い防犯システム，監視システム，セキュリティシステム等を実現する効果がある。

（第１の実施形態）
以下、本発明の第１の実施形態について、図１〜図８を参照しながら詳細に説明する。

図１は、本発明の第１の実施形態に係る画像処理装置の構成の例を示した図である。

図１に示すように、画像処理装置１０１は、カメラ１０２と、表示装置１０３に接続されている。

また、図２は画像処理装置１０１の内部を示す例である。画像入力部１０４，画像記憶部１０５，顔パーツ抽出部１０６，三次元形状モデル格納部１０７，簡易モデル生成部
１０８，詳細モデル生成部（属性算出部）１０９，属性反映部１１０，画像生成部１１１を含んで構成される。画像入力部は、カメラ１０２から送られる画像信号を受信し、画像信号がアナログ信号の場合には、Ａ／Ｄ(Ana1ogtoDigital) 変換装置を用いてデジタル信号に変換し、変換後の画像データを画像記憶部１０５に格納する。また、画像信号がデジタル信号の場合には、カメラ１０２との通信処理，エラー訂正などを行った後、その画像データを画像記憶部１０５に格納する。画像記憶部１０５は、画像入力部１０４によってカメラ１０２から入力された画像データを記憶するとともに、顔パーツ抽出部１０６，属性算出部１０９の要求に応じて、格納された画像データを読み書きし、適宜、画像データの全部または一部を変更または追加する。

なお、本明細書では、「画像データ」を単に「画像」ということがある。顔パーツ抽出部１０６では、画像記憶部１０５に格納されている画像から、目・眉・口などのパーツを抽出する。このパーツ抽出は公知の動的輪郭探索法やテンプレートマッチング法，グラフマッチング法などを用いることで実現可能である。

三次元形状モデル格納部１０７では、顔の三次元形状を事前にワイヤフレームを用いて表現したモデル情報を保持しておく。ワイヤフレームモデルは図６に示すように、三次元座標を表す頂点１３３と、その接続情報１３４とで構成されている。このモデル情報には、ワイヤフレームの各頂点の三次元空間中の座標だけでなく、例えば右目尻点がワイヤフレームのどの頂点に対応しているかなどの、顔器官位置との対応付け情報も含まれる。

簡易モデル生成部１０８では、顔パーツ抽出部１０６で得られた顔パーヅ位置に基づいて、前記三次元形状モデルを変形させ、前記入力画像に含まれる人物の顔パーツ配置に適合する三次元形状モデル（以下、簡易モデル）を生成する。

簡易モデル生成部１０８では、顔パーツ抽出部１０６で得られた顔パーツ位置に基づいて、前記三次元形状モデルを変形させ、前記入力画像に含まれる人物の顔パーツ配置に適合する三次元形状モデル（以下、簡易モデル）を生成する。この簡易モデルは、顔パーツ抽出部１０６で抽出できた顔パーツ座標を基にその形状を調整できる。

例えば、簡易モデルの幅に関しては、動的輪郭法を用いて左右の目尻・目頭を見つけることができ、その右目尻と左目尻の間隔から頭部の幅を推測することができる。これは、例えば、顔検出と動的輪郭法による眼輪郭の検出を行うものであり、具体的には以下の流れになる。

まず，非特許文献１に示したViolaらの手法を用いることで、画像中からの顔検出と同時に、顔の位置と大きさから眼の大まかな位置がわかるため、眼の存在する範囲よりも大きく動的輪郭法の初期輪郭線を配置する。その後に画像中のエッジを越えないように輪郭線を収縮させていくことで、眼周辺に輪郭線の位置が収束する。このため、額・エラ・頬・下顎といった、顔上で明確なエッジの無い顔パーツの位置は求めることができず、簡易モデルは、あくまで、眉，眼，鼻，口等のパーツに対して、個人の特徴を反映させたモデルとなる。

属性算出部１０９では、顔の幅・頭部の大きさ・頭部輪郭形状・年齢・性別・体格・身長などの人物属性を算出する。このとき、入力画像の顔領域だけに限らず、入力画像中に映る人物全体の画像も利用する。例えば、入力画像に対して公知の背景差分法を用いて抽出した人物シルエットと、公知の肌色抽出法を用いて抽出した顔領域との比を使うことで、顔の幅を算出できる。また、人物シルエットと、前記の顔パーツ位置に基づいて頭部位置を求め、頭部位置に相当するシルエットの幅を求めることで頭部の大きさが算出できる。さらに、顔パーツ周囲のしわ量から年齢が、服装から性別がそれぞれ算出できる。

詳細モデル生成部１１０では、前記属性算出部１０９から得られた人物属性から類推される形状特徴を、簡易モデルに反映させて詳細モデルを生成する。これは、例えば、顔の幅情報を利用して簡易モデルの横方向のスケールを変化させたり、体格情報を利用して簡易モデルの肉付き量を変化させたり、性別情報を利用してエラの輪郭を変化させたりする。あるいは、属性情報として、機械的に計算できるものだけではなく、他の人間の印象や目撃情報を利用しても良い。例えば，欧米人らしいという情報を基に鼻の高さを高くすることも考えられる。なお、この詳細モデル生成部１１０には、各属性の特徴を反映させたモデルを保持しておき、属性情報が入力されたときに、簡易モデルに特徴的な形状情報を反映させてもよい。

画像生成部１１１では、詳細モデルを指定された位置姿勢に移動させて二次元平面に投影し、必要に応じてカメラパラメータや照明条件などを考慮して画像を生成する。

以上に説明した画像処理装置１０１は、図示しない演算装置などからなるＣＰＵ
(Central Processing Unit) と、半導体メモリやハードディスク記憶装置などからなる記憶装置とを含んで構成されたコンピュータによって構成される。その場合、画像記憶部
１０５，三次元形状モデル格納部１０７等の実体は、前記記憶装置の一部に割り当てられた記憶領域に構成され、また、顔パーツ抽出部１０６，簡易モデル生成部１０８，属性算出部１０９，詳細モデル生成部(属性反映部)１１０，画像生成部１１１は、前記ＣＰＵが前記記憶装置に格納されている所定のプログラムを実行することによって実現される。また、画像入力部１０４および画像生成部１１１の一部は、入力または出カインターフェース回路と、その回路を駆動・制御するプログラムをＣＰＵが実行することによって実現される。

図３は、本発明の第１の実施形態に係る画像処理装置によって、内部のデータが順次作成されていく様子を表している。

画像入力部で取り込まれた顔画像は入力画像１１２として、画像記憶部に格納されている。この入力画像１１２に対し、顔パーツ抽出および簡易モデル生成部により簡易モデル１１３を作成し、年齢，体格等の人物属性を推定し、属性別の形状情報を反映させて詳細モデル１１４を作成する。この詳細モデル１１４を指定した位置姿勢に回転・並進移動させ、二次元画像として個人形状１１５を作成する行程を表している。

図４は、本発明の第１の実施形態に係る画像処理装置を利用した人流監視システムを現したものである。

カメラ１０２で撮影された画像は、画像処理装置１０１に入力され、正面顔を生成した後に、顔照合装置１１６に渡される。顔照合装置１１６では、この正面顔から計算される各個人の顔に特有な数値ベクトル（以下、特徴ベクトル）を計算するとともに、事前に登録しておいた照合用の顔画像データベース１１７（以下、照合用顔ＤＢ）に格納されている顔画像の特徴ベクトルを計算し、それらの類似度を算出する。顔照合装置１１６は、この類似度に基づいて入力画像が照合用顔ＤＢ中のどの人物なのかを判定する。判定結果は、例えばインターネットに代表される有線・無線のネットワーク１１８を通じて蓄積・検索装置１１９へ送られ、必要に応じて携帯端末１２０へ警報を送る。このように、本発明により、監視カメラによる自動的な人流監視システムを構築することができ、セキュリティの向上や特定人物の捜索の利便性が向上する効果がある。

図５は、本発明の第１の実施形態に係る画像処理装置を利用した人流監視システムの他の実施例を現したものである。

図５に示すように、Ｗｅｂカメラに代表されるネットワークに接続可能なカメラ１０２の１台もしくは複数台からの映像を、ネットワーク１１８経由で画像処理装置１０１が受け取る構成になっており、多数のカメラからの画像データを１台の画像処理装置１０１が処理することを実現している。この場合、特に言及する部分以外は前記図４の実施例と同様であるが、装置の設置容積やコストの観点で優れている。

図７は、人物属性が得られなかった場合の顔照合システムの一実施例を現したものである。

入力画像１１２の人物属性が得られなかった場合、画像処理装置１０１では、複数の人物属性を仮定して、複数の異なる生成画像１２１を出カし、それら全てを顔照合装置116へ送る構成になっている。

このような構成を採ることにより、顔照合時に欠落した個人顔に関する情報の複数のバリエーションを考慮して顔照合をかけることができるため、照合見落としを防止することができる効果がある。

図９は、属性推定の結果を照合にも用する場合の構成の一例を表した図である。

照合用顔ＤＢ１１７には顔画像に加え、その人物の年齢・性別・体格といった複数の人物属性が入力されている場合があることが考えられる。この場合、入力画像１１２から算出された人物属性１３０と顔照合エンジン１２９の判定結果の人物の人物属性とを比較することにより、顔照合の照合精度を改善することができる効果がある。

図１０は、人物属性を手動で与える場合の顔画像生成システムの一実施例を現したものである。

例えば、犯罪捜査において、カメラ１０２から画像が得られ、目撃情報１３２から定性的な人物属性情報１３０が得られた場合、両者を利用してより正確な手配写真を作成したいという要求がある。このような場合、入力画像から直接人物属性を算出するのではなく、目撃情報１３２による人物属性１３０を手動で入力し、これにより属性別詳細形状情報１３１を選択し、詳細モデル１１４を作成する構成になっている。

図８にこのときの人物属性を入力するインターフェース画面の例を示す。

ＧＵＩインターフェース１２２には、性別を入力をする欄１２３，年齢を入力する欄
１２４，体格を入力する欄１２５などがあり、それぞれシステムが自動認識した属性値の範囲１２６が示されている。この属性値の範囲１２６を参考に、入力値を指定するつまみ１２７を手動で移動して人物属性を入力する。入力した人物属性を可視化するための属性値を反映させたモデルを表示する欄１２８を設けることで、より詳細に人物属性のデータを入力することが可能になる。

図１１は、入力画像から得られた人物属性算出結果を用いて、顔照合システムの照合用顔画像ＤＢを変換した上で照合するシステムの一実施例を現したものである。

照合用顔画像ＤＢを撮影した観点と、入力画像を撮影した観点は異なる場合があると考えられる。例えば、経年変化が代表的事例として挙げられるが、人物属性算出により得られた人物属性１３０（経年変化情報など）を用いて、照合用顔画像ＤＢ１４０に登録されている顔画像を経年変化させたものと入力画像を照合する構成になっている。

この場合、例えば経年変化が発生したとしても、顔照合エンジン１２９の照合精度を改善することができる効果がある。

本発明によれば、顔認識システムに用いることにより、撮影の上下，左右，斜め方向或いは顔の各種の表情などの色々な観点のそれぞれに対して、三次元個人形状データを生成できる。

また、その三次元個人形状データから、入力画像とは異なる観点の画像を生成することができ、顔認識システムにおいて、認識精度を高くすることが可能である。

更に、そのような高精度の顔画像認識システムを用いることにより、信頼性および確度の高い防犯システム，監視システム，セキュリティシステム等を実現することができる。

本特許の画像処理装置の入力部分および出カ部分を説明する図。 本特許の画像処理装置の内部の処理フローを説明する図。 本特許の画像処理装置の内部でデータが逐次変換される様子を表す図。 本特許の画像処理装置を利用した人流監視システムを表す図。 本特許の画像処理装置を利用した人流監視システムの異なる構成例を表す図。 本特許の画像処理装置の三次元形状格納部に含まれるワイヤフレームモデルを表す図。 人物属性を算出しないで、複数の人物属性を仮定して多くの生成画像を得、その全てを顔照合装置に入力するシステムを表す図。 人物属性を算出しないで、手動で入力する場合のインターフェースを表す図。 本特許の画像処理装置で算出される人物属性を照合に利用する構成を示す図。 カメラ映像と目撃情報による人物属性とを組み合わせて画像生成をする構成を表す図。 本特許の画像処理装置で算出される人物属性用いて、照合用顔ＤＢの方を変換し、照合を行う構成を表す図。

符号の説明

１０１…画像処理装置、１０２…カメラ、１０３…表示装置、１０４…画像入力部、
１０５…画像記憶部、１０６…顔パーツ抽出部、１０７…三次元形状モデル格納部、108…簡易モデル生成部、１０９…属性算出部、１１０…詳細モデル生成部、１１１…画像生成部、１１２…入力画像、１１３…簡易モデル、１１４…詳細モデル、１１５…個人三次元形状、１１６…顔照合装置、１１７…照合用顔ＤＢ、１１８…ネットワーク、１１９…蓄積・検索装置、１２０…携帯端末、１２１…生成画像、１２２…ＧＵＩインターフェース、１２３…性別を入力する欄、１２４…年齢を入力する欄、１２５…体格を入力する欄、１２６…システムが自動認識した属性値の範囲、１２７…属性入力値を指定するつまみ、１２８…属性値を反映させたモデルを表示する欄、１２９…顔照合エンジン、１３０…人物属性情報、１３１…属性別詳細形状情報、１３３…ワイヤフレームモデルの頂点、
１３４…ワイヤフレームモデルの接続情報。

Claims (8)

1. カメラから入力される画像を加工処理する画像処理装置において、
   前記カメラから入力される入力画像を記憶する画像記憶手段と、
   前記入力画像から顔器官の位置，形状，特徴を検出する顔パーツ抽出手段と、
   ワイヤフレームで構成された平均的な人物頭部の三次元形状情報を記憶する三次元形状モデル格納手段と、
   前記顔パーツ抽出手段から得られた顔パーツ位置に基づき、前記三次元形状モデルを変形させ、前記入力画像に含まれる人物の顔パーツ配置に適合する三次元形状モデルを生成する簡易モデル生成手段と、
   前記入力画像から人物属性を算出する属性算出手段と、
   前記属性算出手段から得られた人物属性に基づき、前記簡易モデル生成手段から得られた三次元形状モデルを変形させて詳紬モデルを生成する属性反映手段と、
   該属性反映手段から出カされる詳細モデルから二次元の画像を生成する画像生成手段と、を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記顔器官とは眼・鼻・口・眉・黒子・外耳，髪生え際などのうち少なくとも１つを含み、
   前記人物属性とは、顔の幅・頭部の大きさ・頭部輪郭形状・年齢・性別・体格・身長のうち少なくとも１つを含むことを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記詳細モデルを生戒する属性反映手段について、手動で任意の人物属性をパラメータとして入力する手段と、
   該入力手段により入力された値を属性算出手段の代わりに、もしくは選択的に使用することを特徴とする画像処理装置。
4. 請求項１において、
   前記画像生成手段により生成された画像を、顔認識エンジンへ入力し、事前に登録しておいた顔画像との類似度を計算することにより該当人物を検出する人流監視システム。
5. カメラから入力される画像を加工処理する画像処理方法において、
   ワイヤフレームで構成された平均的な人物頭部の三次元形状モデルの情報を記憶するステップと、
   前記カメラから入力される入力画像を記憶するステップと、
   前記入力画像から顔器官の位置，形状，特徴を検出する顔パーツ抽出ステップと、
   前記顔パーツ抽出手段から得られた顔パーツ位置に基づき、前記三次元形状モデルを変形させ、前記入力画像に含まれる人物の顔パーツ配置に適合する三次元形状モデルを生成する簡易モデル生成ステップと、
   前記入力画像から人物属性を算出する属性算出ステップと、
   前記属性算出手段から得られた人物属性に基づき、前記簡易モデル生成手段から得られた三次元形状モデルを変形させて詳細モデルを生成する属性反映ステップと、
   出力される詳細モデルから二次元の画像を生成する画像生成ステップとを備えることを特徴とする画像処理方法。
6. 請求項５に記載の画像処理方法をコンピュータに実行させるためのプログラム。
7. 請求項５に記載の画像処理方法において、
   前記顔器官とは眼・鼻・口・眉・黒子・外耳，髪生え際などのうち少なくとも１つを含み、
   前記人物属性とは、顔の幅・頭部の大きさ・頭部輪郭形状・年齢・性別・体格・身長のうち少なくとも１つを含むことを特徴とする画像処理方法。
8. 請求項５に記載の画像処理方法において、
   前記人物属性を手動で任意のパラメータとして入力することを特徴とする画像処理方法。
   
   

Images