JP2019009752A - 画像処理装置 - Google Patents

Abstract

【課題】同一の被写体の映像から有効な特徴情報をより高精度に抽出でき、被写体の代替画像をより高解像度にて作成可能な情報処理装置を提供する。
【解決手段】監視対象エリアＷＡを複数のカメラ１１ａ、１１ｂで撮影して得られる映像内の人物から特徴量を抽出し、カメラの撮影範囲における被写体の座標情報を取得し、人物特徴量に基づいて前記人物のアバター画像を生成し、座標情報に基づいてカメラの撮影範囲の背景画像に対しアバター画像を合成することにより合成画像を生成する。カメラの撮影範囲において特徴量の抽出に必要な解像度が確保可能な撮影範囲（有効撮影範囲ＥＰａ、ＥＰｂ）に一部重なる領域ＳＬＡが生ずるよう監視対象エリアＷＡを互いに異なるアングルにて撮影する複数台のカメラからの映像に基づいて特徴量を抽出する。また、同一人物について複数のカメラが抽出する特徴量の情報を互い連携させることによりアバター画像を作成する。
【選択図】図２

Description

本発明は、カメラで取得された映像情報を処理する画像処理装置に関する。

近年、防犯等の目的で、ショッピングセンターや街頭等の様々な場所に監視カメラが設置されている。これらのカメラで撮影された映像は、例えばネットワークを介して遠隔地の集中監視センター等にリアルタイムで送られ、モニタに表示される。この場合、肖像権侵害の防止やプライバシー保護の観点から、映像に移り込んだ人物の画像を加工したり隠ぺいしたりする処理を行い、処理後の画像を配信する技術が種々提案されている（特許文献１〜４）。これらの文献に開示された画像加工の具体的な手法は顔部分にモザイクやぼかしをかけたり塗りつぶしたりする方法や、人物全体をシルエット化する手法がとられている。しかし、この方法では、画像の加工により人物特定に必要な情報が減じられるため、当然のことながら加工後の画像から実際に移り込んでいる人物を特定することは困難になる。他方、特許文献５には、映像に移り込んでいる人物の顔を似顔絵で置き換え、顔の実写画像は隠ぺいしつつ、似顔絵にその人物の特徴を反映させることにより、加工後の映像からもそれが誰の映像であるかを把握できるようにする技術が開示されている。

ＷＯ２００９／０１３８２２号公報 特許第６００７５２３号公報 特許第５４０８１５６号公報 特許第４０３６０５１号公報 特開２００１−１２７９９０号公報 特開２００７−３２３５７２号公報 特開２０１７− ２２６２１号公報

しかしながら、カメラで人物を撮影する際には、顔やその他の特徴情報を抽出するのに常に好都合な撮影環境が確保されているわけではなく、写り込んでいる姿が小さすぎたり、他の被写体の陰になって必要な特徴量が抽出できなかったりして、結果的に特徴把握可能な代替画像である似顔絵が満足に作成できないケースも多々存在する。

本発明の課題は、同一の被写体の映像から有効な特徴情報をより高精度に抽出でき、ひいては被写体の代替画像をより高解像度にて作成可能な画像処理装置を提供することにある。

上記の課題を解決するために本発明の画像処理装置は、
監視対象エリアをカメラで撮影して得られる映像内の人物から、当該人物に固有の特徴量を人物特徴情報として抽出する人物特徴情報抽出部と、
前記カメラの撮影範囲における前記人物の座標情報を抽出する座標情報抽出部と、
前記人物特徴情報に基づいて前記人物のアバター画像を生成するアバター生成部と、
前記座標情報に基づいて前記カメラの撮影範囲の背景を表す背景画像に対し前記アバター画像を合成することにより合成画像を生成する画像合成部とを備え、
前記人物特徴情報抽出部及び前記座標情報抽出部は、前記カメラの撮影範囲において前記特徴量の抽出に必要な解像度が確保可能な撮影範囲を有効撮影範囲と定義したとき、該有効撮影範囲に一部重なりが生ずるよう前記監視対象エリアを互いに異なるアングルにて撮影する複数台のカメラからの映像に基づいて前記人物特徴情報及び前記座標情報を抽出することを特徴とする。

上記本発明によると、人物の実映像の代わりにアバター画像が用いられるので、不特定多数の人物を撮影する場面においても、プライバシーを侵害するおそれがないという利点がある。そして、有効撮影範囲に一部重なりが生ずるよう監視対象エリアを互いに異なるアングルにて撮影する複数台のカメラからの映像に基づいて人物特徴情報及び座標情報を抽出するようにした。これにより、人物特徴情報や座標情報の抽出精度を高めることができ、ひいてはアバター画像のリアリティ（解像度）向上や背景画像へアバター画像を合成するに際しての位置的な精度の向上、さらにはカメラ撮影される人物の異同判定精度の向上等に寄与することができる。

アバター生成部は、例えば、複数台のカメラが撮影した映像から人物特徴情報抽出部が同一人物について個別に抽出した人物特徴情報を統合しつつ、当該人物のアバター画像を生成するように構成できる。同じ人物でも、これを撮影するカメラの位置により抽出できる人物特徴情報の種別や解像度は異なる。そこで、複数台のカメラが同じ人物から各々抽出する人物特徴情報を統合する（例えば、「いいところ取りをする」）ことで、アバター画像に盛り込む情報量を増やすことができ、アバター画像のリアリティ（解像度）向上に著しく貢献することができる。

また、画像合成部は、複数台のカメラが撮影した映像から座標情報抽出部が同一人物について個別に抽出した座標情報を参照して、背景画像へのアバター画像の合成位置を決定するように構成できる。あるカメラでは着目している人物までの距離が遠すぎたり、あるいは同じカメラの視野に複数の人物が近接して写り込んでいたり、さらには障害物の影になっていたりして、座標情報特定の精度が損なわれていても、当該人物を別角度からとらえるカメラの映像から、当該人物の座標情報の精度を補うことが可能である。

また、本発明の画像処理装置には抽出された人物特徴情報を人物ＩＤと対応付けて記憶する人物特徴情報記憶部と、人物ＩＤとアバター画像のデータであるアバターデータとを対応付けて記憶するアバターデータ記憶部とを設けることができる。アバター生成部は、カメラが新たに撮影する人物の映像について人物特徴情報抽出部が抽出した人物特徴情報を人物特徴情報記憶部にて検索するとともに、抽出された人物特徴情報とあらかじめ定められた範囲内にて一致する人物特徴情報が検索された場合に、アバター画像生成部は当該検索された人物特徴情報が示す人物ＩＤに対応するアバターデータをアバターデータ記憶部から読み出し、そのアバターデータを用いてアバター画像を生成するように構成することができる。時系列的に先行して抽出された人物特徴情報からすでにアバターデータが作成されている場合、人物特徴情報記憶部ないしアバターデータ記憶部（これらの記憶部は一体化されていてもよい）としてこれをデータベース化しておくことができる。そして、新たに撮影された映像から人物特徴情報が抽出された場合に、該人物特徴情報をデータベース上で検索し、あらかじめ定められた範囲内にて一致する人物特徴情報及び対応するアバターデータが既に存在していれば、データベス上の人物と同一であると判定することができ、これを用いてアバター画像を生成することで、アバターデータ作成の処理負荷を軽減することができる。

また、人物特徴情報抽出部を、座標情報抽出部が抽出する座標情報の時間的変化に基づいて人物の動作方向情報を抽出するものとし、抽出された動作方向情報を人物ＩＤ及び抽出時刻と対応付けて記憶する動作方向情報記憶部と、人物ＩＤとアバター画像のデータデータであるアバターデータとを対応付けて記憶するアバターデータ記憶部とを設けることもできる。この場合、アバター生成部は、カメラが新たに撮影する人物の映像について人物特徴情報抽出部が抽出した動作方向情報及び抽出時刻を動作方向情報記憶部にて検索するとともに、抽出された動作方向情報及び抽出時刻とあらかじめ定められた範囲内にて一致する動作方向情報が検索された場合に、アバター画像生成部は当該検索された動作方向情報が示す人物ＩＤに対応したアバターデータをアバターデータ記憶部から読み出し、そのアバターデータを用いてアバター画像を生成するように構成することができる。この構成では、座標情報の時間的変化に基づいて人物の動作方向情報を抽出し、その人物のアバターデータとともに、動作情報記憶部ないしアバターデータ記憶部（これらの記憶部は一体化されていてもよい）としてこれをデータベース化しておく。そして、新たに撮影された映像から人物の動作方向情報が抽出された場合に、該動作方向情報をデータベース上で検索し、あらかじめ定められた範囲内にて一致する動作方向情報（及びその抽出時刻）と対応するアバターデータとが既に存在していれば、データベース上の人物と同一であると判定することができる。そして、そのアバターデータを用いてアバター画像を生成することにより、アバターデータ作成の処理負荷を軽減することができる。

人物特徴情報抽出部は、カメラ正面に位置する人物を互いに反対方向から撮影するとともに、特徴量抽出に必要な解像度が確保可能な有効半径にて各カメラのレンズ中心からカメラ視野角がカバーされるよう平面視における監視対象エリアへの有効撮影範囲の投影を扇形に描いたとき、当該有効撮影範囲の半径方向端縁に葉型の重なり領域が形成されるように配置された１対のカメラからの映像に基づいて特徴量を抽出することができる。人物を１対のカメラにより互いに反対方向から撮影することで、一方のカメラに人物が正対していない場合でも、他方のカメラでその人物の特徴量を高精度に抽出できる。また、１対のカメラの有効撮影範囲に葉型の重なりが生じていることで、特徴量抽出に必要な解像度確保が困難となるデッドエリアが削減される。また、一方のカメラについては人物までの距離が遠すぎて特徴量抽出の精度が劣る場合も、他方のカメラでは人物までの距離が縮小する結果、望ましい解像度での特徴量抽出の確度を向上することができる。

この場合、人物特徴情報抽出部は、矩形（特に正方形）をなす監視対象エリアの対角線方向の角部に配置された１対のカメラからの映像に基づいて特徴量を抽出するようにすれば、エリア中央付近において人物の撮影死角が特に生じにくくなり、特徴量抽出の確度を一層向上できる。また、監視対象エリアが広い場合は、人物特徴情報抽出部を、監視対象エリアを区画する複数の矩形のサブエリアのそれぞれにおいて対角線方向の角部に配置されたカメラの各対からの映像に基づいて特徴量を抽出するように構成することで、広大な監視対象エリアに対し複数のカメラ対により、同じ原理により特徴量抽出の確度向上効果を均等に付与することができる。

また、人物特徴情報抽出部は、有効撮影範囲として第一の有効撮影範囲を有する第一のカメラと、該第一のカメラよりも広角の第二の有効撮影範囲を有するとともに、該第二の有効撮影範囲の視野角方向における端部に第一の有効撮影範囲が重なるように配置された第二のカメラとを含む複数台のカメラからの映像に基づいて特徴量を抽出するように構成することもできる。第二のカメラをなす広角カメラはより広い視野角で撮影でき、より少ないカメラ台数で広い監視対象エリアをカバーできるので、カメラハードウェアコストの削減を図ることができる。しかし、広角カメラの撮影画像は視野角端部に向かうほど（つまり、光軸からの角度方向の隔たりが大きいほど）レンズ歪が大きくなり、特徴量の抽出精度が低下しやすくなる。そこで、この広角カメラの有効撮影範囲（第二の有効撮影範囲）の視野角方向における端部を、これよりも視野角が狭くレンズ歪の小さい第一のカメラの有効撮影範囲（第一の有効撮影範囲）との重なり領域としてカバーすることで、当該領域にて人物が撮影されたときの特徴量の抽出精度を高めることができる。

複数台のカメラにより同一の人物の特徴量を抽出することの利点は、人物特徴情報抽出部の種々の具体的な構成により明確にすることができる。
（１）人物特徴情報抽出部を、複数のカメラの１つのものからの映像による人物の特徴量の特定が当該カメラと人物との間に介在する障害物により妨害された場合に、カメラと撮影アングルの異なる別のカメラからの映像により障害物による妨害を軽減しつつ特徴量の特定を行なうものとして構成する。カメラと人物との間に障害物（例えば、別の人物）が介在すると、そのカメラでは人物の一部が障害物に隠れてしまい、隠れた部位における特徴量の抽出ができなくなる場合がある。このとき、撮影アングルの異なる別のカメラからの映像であれば、隠れていた部位もきちんと撮影でき、特徴量の抽出が可能となる。

（２）人物特徴情報抽出部を、複数のカメラの１つのものからの映像による人物の特徴量の特定が当該カメラと人物との距離的問題により困難であった場合に、該カメラと撮影アングルの異なる別のカメラからの映像により距離的問題を軽減しつつ特徴量の特定を行なうものとして構成する。カメラと人物との距離が大きすぎると、撮影画面上での被写体のサイズが小さくなりすぎ、特徴量を十分な解像度で抽出できなくなる。しかし、被写体に近い別のカメラであれば、カメラと人物との距離を縮小でき、特徴量抽出の解像度を向上させることができる。一方、カメラと人物との距離が小さ過ぎると、被写体部位の特徴量抽出に必要な領域の撮影画面上でのサイズが大きくなりすぎて、画面からはみ出してしまう結果、画像領域の情報が欠落したり、ピンボケを起こしたりして、この場合も特徴量を十分な解像度で抽出できなくなる。しかし、被写体から適度に遠い別のカメラであれば、特徴量抽出に必要な被写体部位のより多くの部分を撮影視野内に納めることができ、ピンボケも起こしにくくなるので、特徴量抽出の解像度を向上させることができる。

（３）人物特徴情報抽出部を、複数のカメラの１つのものからの映像による人物の特徴量の特定が、当該カメラに対する人物の姿勢の問題により困難であった場合に、該カメラと撮影アングルの異なる別のカメラからの映像により姿勢の問題を軽減しつつ特徴量の特定を行なうものとして構成する。つまり、被写体があるカメラに対して正面ではなく、横向きや後ろ向きに撮影されていると、抽出可能な特徴量の種別は大幅に減じられることがある（特に、後述の顔など）。他方、被写体が正面から撮影されている場合にあっても、特徴量の種別によっては抽出が困難となることもある（例えば、歩容など）。このとき、撮影アングルの異なる別のカメラからの映像であれば、カメラに対する被写体の姿勢が改善され、特徴量抽出の確度を向上させることができる。

人物特徴情報抽出部は、人物属性を解析して前記の特徴情報を人物属性情報として出力するものとして構成できる。この構成によれば、この人物属性情報を用いて様々な分析・統計処理等を行なうことができる。この場合、アバター生成部はアバター画像を、人物属性情報を反映したものとして生成ように構成できる。これにより、対応する人物の属性をアバター画像に変換された後も容易に把握することができる。これは、例えば防犯目的の使用を考える場合、肖像権などのプライバシー侵害を回避しつつ被疑者の特定に貢献することにもつながるし、防犯を目的としないビューイング等においても、撮影エリアを行きかう人々の属性をアバター画像によりより単純化ないし強調することができ、画像上での傾向把握を容易にできる利点がある。人物属性情報は、具体的には、人物の性別を反映した性別情報と人物の年齢を反映した年齢情報とを含むものとして構成できるが、これらに限定されるものではなく、例えば顔の風貌などから明確に把握可能なものに限られるものの、国籍（例えば、日本人か、欧米人か）なども属性の一つとしてとらえることができる。

具体的には、人物特徴情報抽出部は、特徴量として人物の顔特徴量を抽出するものとして構成することができる。アバター生成部は、この抽出された顔特徴量の情報を顔部分に反映させたものとしてアバター画像を生成する。これにより、アバター画像の顔部分を人物の顔に似せて生成することができるようになり、アバター画像と元の人物との関連性把握がより容易になる他、性別、年齢、国籍といった属性情報の把握精度も向上することができる。顔特徴量の抽出精度を高めたい場合、人物特徴情報抽出部は、顔特徴量の抽出に必要な解像度が確保可能な有効半径にてカメラのレンズ中心からカメラ視野角がカバーされるよう、平面視における監視対象エリアへの有効撮影範囲の投影を扇形に描いたとき、該有効半径内の人物の顔に対する解像度が１．５ｃｍ／画素よりも高く（より望ましくは１．０ｃｍ／画素よりも高く）確保されるように有効半径が定められているのがよい。

また、人物特徴情報抽出部は、人物の外観を解析して外観人物特徴情報として出力するものとすることもできる。人物の外観は、人物属性に次いで個々の人物の特定につながる重要な情報であり、分析・統計処理においては有益である。そして、アバター生成部はアバター画像を、外観人物特徴情報を反映したものとして生成するように構成することで、アバター画像に変換された後の、対応する人物の特徴把握を一層踏み込んで行なうことができる。

人物の外観の特徴を最も反映する要素として髪、着衣、持ち物などを例示できる。この場合、外観人物特徴情報は人物の頭髪の形態及び色彩の一方又は双方を反映した頭髪特徴量と、人物の着衣の形態及び色彩の一方又は双方を反映した着衣特徴量と、人物の持ち物の形態及び色彩の一方又は双方を反映した持ち物特徴量の１以上のものを含むものとして構成できる。これらは、性別や年齢層などの属性の把握補助に貢献し、例えば顔の特徴だけでは年齢等の把握が困難な場合に、これらの人物特徴情報を合わせて考慮することでより正確な属性把握が可能になる。例えば、着衣や持ち物は年齢層別の流行なども反映するから、１０台後半と２０台半ばなど、世代の接近した人物の属性を明確化する上で有用である。また、防犯等を目的とする場合は、人物の体形（肥満、小太り、やせ形、中肉中背、足の長短など）も有用な情報である。この場合、外観人物特徴情報は人物の体形を反映した体形情報を含むものとして構成できる。

着衣特徴量、頭髪特徴量又は持ち物特徴量の抽出精度を高めたい場合、人物特徴情報抽出部は、それら着衣特徴量、頭髪特徴量又は持ち物特徴量の抽出に必要な解像度が確保可能な有効半径にてカメラのレンズ中心からカメラ視野角がカバーされるよう、平面視における監視対象エリアへの有効撮影範囲の投影を扇形に描いたとき、該有効半径内の人物の着衣、頭髪又は持ち物に対する解像度が６ｃｍ／画素よりも高く（望ましくは５ｃｍ／画素よりも高く）確保されるように有効半径が定められているのがよい。

人物の固有性は、制服などにより画一化されている場合を除き、該人物が着用している着衣の外観、特に色彩に的確に反映されるものであり、これを利用することは、不特定多数の中において人物同士の異同把握を行なう上で極めて有用であるといえる。この場合、人物特徴情報抽出部は、カメラによる人物の画像領域を、各々あらかじめ定められた大きさの画素マトリックスからなるセルに分割するとともに各セル内の画素の色設定値分布を算出し、該色設定値分布の類似度が予め定められたレベル以上に高いセルを、人物の着衣、頭髪又は持ち物に由来した同一色彩を示す同一色彩領域の構成セルとして特定するとともに、それら同一色彩領域の構成セルの集合情報を、着衣、頭髪又は持ち物を示す外観人物特徴情報として抽出するものとして構成できる。また、アバター生成部は同一色彩領域の構成セルの色設定値分布に基づいて、着衣、頭髪又は持ち物を示すアバター構成要素の表示色を決定するように構成できる。

画像領域を画素マトリックスからなるセルに区切り、各セル内の色設定値分布（例えばヒストグラム）を算出して、その分布の類似度をセル間で比較することにより、それらセルが、同じ着衣、頭髪あるいは持ち物に由来した人物の同一色として把握されるべき画像領域（同一色彩領域）に属するものかどうかの判定を高い正解率で行なうことができるようになる。その結果、各同一色彩領域に固有の着衣、頭髪あるいは持ち物の特徴量としての抽出精度を高めることができ、アバター生成部は、同一色彩領域の構成セルの色設定値分布に基づいて、着衣、頭髪又は持ち物を示すアバター構成要素の表示色を、もとの人物にて把握される着衣、頭髪あるいは持ち物の色彩に近づけて設定することができる。

この場合、人物特徴情報抽出部は、各セル内の画素の色設定値分布を色彩パラメータと明度パラメータとが分離された表色系にて算出するとともに、色彩パラメータの設定値分布の類似度が予め定められたレベル以上に高いセル同士を同一色彩領域の構成セルとして特定するように構成することができる。色設定値分布の算出において色彩（色相＋彩度）と明度とを分離しておくことで、明度パラメータ部分に照明環境等による変動やバラツキが吸収される。その結果、残余の色彩パラメータの分布比較により、外光の色や輝度あるいは照射角度、さらにはノイズの影響などが軽減され、同一色彩領域の特定をより高精度に実現することが可能となる。

次に、本発明においては、人物特徴情報抽出部を、人物の画像を人体の部位に相当する複数のパーツに分割し、各パーツから特徴量を抽出する。この構成によれば、各部位の特徴量を有効に検出することができる。この場合、アバター生成部は、アバター画像のデータを複数の前記パーツに対応したアバター断片に分割して記憶するアバターデータ記憶手段を備え、人物の対応するパーツについて抽出された特徴量の情報に基づいてアバター画像のアバター断片を補正した後、その補正後のアバター断片を統合してアバター画像を生成ように構成できる。このようにすると、アバター断片（すなわち、人物の部位）ごとに特徴量を反映した補正をきめ細かく行なうことができ、かつ、アバター全体の画像データを特徴別に多数用意する必要がなくなるので、データ容量の削減を図ることができるようになる。

この場合、人物特徴情報抽出部は、人物の画像領域を、当該領域内に特定される複数の同一色彩領域の境界を分割位置として、人体の部位に相当する少なくとも頭部、上半身、及び下半身を含む複数のパーツに分割し、各パーツから特徴量を抽出するものとして構成できる。アバター生成部は、アバター画像のデータを複数のパーツに対応したアバター断片に分割して記憶するアバターデータ記憶手段を備え、人物の対応するパーツについて抽出された特徴量の情報に基づいてアバター画像のアバター断片を補正した後、その補正後のアバター断片を統合してアバター画像を生成するものとすることができる。人体を頭部、上半身及び下半身に分割しようとする場合、着衣などに由来した外観上の切れ目は、人体骨格に基づいてこれらを構造医学的に分割したときの各部位の切れ目とは一致しない。そして、アバター画像に着衣の特徴量を反映させるようとした場合、上記のように、人物の画像領域を、当該領域内に特定される複数の同一色彩領域の接触境界を分割位置としてパーツ分割することで、上記外観上の切れ目により頭部、上半身及び下半身への分割を合理的かつ高精度に分行なうことができるようになる。

また、近年は、歩容（歩き方の特徴）も人物を特定する情報として有用である。この場合、外観人物特徴情報は人物の歩容を反映した歩容特徴量を含むものとして構成できる。歩容を特定する情報は、例えば歩幅（あるいは、歩行速度と連動した動きの周波数）、腕の振り角、歩行速度、歩行時の上半身角度や上下方向の揺れなどであり、その１種又は２種以上を組み合わせて使用できる。この場合、アバター生成部は、人物歩行動作を細分化したコマデータからなるアバターアニメーションデータを使用するものとして構成でき、背景画像上でアバター画像を歩行動作するアニメーションとしてリアルに表現できる。この場合、アバター生成部にて、コマデータの各コマを歩容情報に基づいて補正する画像補正処理を行い、画像合成部はアバター画像を、補正後のコマデータに基づき歩容特徴を反映させたアニメーション形態で背景画像に合成するものとして構成できる。アバターアニメーションデータの各コマの補正処理により、対応する人物の歩容情報反映したアバター画像の動きを容易に実現できる。

なお、歩容特徴量の抽出精度を高めたい場合、人物特徴情報抽出部は、歩容特徴量の抽出に必要な解像度が確保可能な有効半径にてカメラのレンズ中心からカメラ視野角がカバーされるよう、平面視における監視対象エリアへの有効撮影範囲の投影を扇形に描いたとき、該有効半径内の人物の歩容特定のための解像度が４ｃｍ／画素よりも高く（望ましくは３ｃｍ／画素よりも高く）確保されるように有効半径が定められているのがよい。

次に、アバター生成手段は、人物特徴情報抽出部が特定の人物について抽出した人物特徴情報を記憶する特徴量情報記憶部と、人物特徴情報抽出部が前記特定の人物について特徴量情報記憶部に記憶されている人物特徴情報よりも解像度の高い新たな人物特徴情報を抽出した場合に、特徴量情報記憶部に記憶されている特徴量情報を前記新たな人物特徴情報により更新する特徴量情報更新手段と、を備えるものとして構成することができる。本発明によると、監視エリア内を移動しつつある同一の人物が複数のカメラにより順次撮影され、個々のカメラによる特徴量抽出を順次的に進行させることができる。この場合、時系列的に早い段階で撮影されたカメラによる映像では特徴量抽出の解像度が比較的低くとどまる可能性がある（例えば、先行する映像では被写体の顔が隠れて見えにくくなる場合など）。そこで、そのような解像度の低い人物特徴情報が先行している場合、それと同一ないし別のカメラによる映像から新たな高解像度の人物特徴情報が得られたときに、解像度の低い古い人物特徴情報を該高解像度の人物特徴情報で更新して、これをアバター画像に随時反映させることで、アバター画像を効果的に進化させることができる。そして、本発明では人物がアングルの異なる複数のカメラで繰り返し撮影される結果、それに応じて人物特徴情報が高解像度側に更新される確率も高くなり、その後の人物異同判定の精度も向上できる。

また、本発明の情報尻装置は、人物特徴情報および座標情報をネットワークへ送出する情報送信部と、ネットワークから人物特徴情報および座標情報を受け取る情報受信部と、を備えたものとして構成でき、アバター生成部は情報受信部からの人物特徴情報に基づいて人物のアバター画像を生成し、画像合成部は情報受信部からの座標情報に基づいてカメラの撮影範囲の背景を表す背景画像に対しアバター画像を合成することにより合成画像を生成するように構成することができる。

この構成によれば、人物から抽出した特徴量の人物特徴情報と、カメラの撮影範囲における人物の座標情報とがネットワークへ送出される。そして、この人物特徴情報に基づいて人物のアバター画像が生成され、座標情報に基づいて、カメラの撮影範囲の背景を表す画像に、当該アバター画像が合成される。これにより、カメラの映像信号を送ることなく、受信側で背景画像とアバター画像とによって合成画像が生成されるので、カメラの映像信号を送る場合に比較して、ネットワークの通信帯域を有効に利用することが可能となる。

上記本発明の画像処理装置において座標情報抽出部は、撮影画面上に現れる人物をなす人物の接地点として識別される位置を撮影接地位置とし、当該撮影設置位置に現れる人物画像領域の撮影画面上の高さを人物撮影高さとして、座標情報抽出部は、人物が人物である場合の実空間における歩行面を高さ方向の基準として、カメラの撮影画面上に設定されるカメラ二次元座標系における平面座標点と実空間三次元座標系における歩行面上の空間座標点との変換関係と、カメラ二次元座標系における撮影接地位置毎の人物の撮影高さと実空間座標系での当該人物の実高さとの変換関係とを含む位置・高さ変換関係情報を取得する位置・高さ変換関係情報取得手段と、撮影画面上にて人物画像の撮影接地位置及び撮影高さを特定する撮影接地位置・高さ特定手段と、特定されたそれら撮影接地位置座標及び撮影高さの情報を、位置・高さ変換関係情報に基づいて実空間における人物の接地位置座標である実接地位置座標情報と実空間における人物の高さを情報である実人物高さ情報とに変換・生成する実人物座標・高さ情報生成手段とを備えたものとすることができる。また、アバター生成部は、生成された実人物高さ情報に基づいてアバター画像の高さ寸法を決定するアバター高さ決定手段を備え、画像合成部は、実接地位置座標情報に基づいて背景画像へのアバター画像の合成位置を決定するアバター合成位置決定手段を備えたものとすることができる。

三次元空間内の立体をカメラ映像から特定したい場合、映像は二次元データであるから、一般の立体の空間的な状態を１台のカメラ映像で特定することは原理的にできない。しかし、この発明が対象とする人物はカメラ撮影される平面上のエリア内を動き回る人物であり、上記構成によれば、その空間幾何学的な移動特性を考慮することで、カメラ映像上の人物画像領域の情報から実空間内の人物位置と高さとを容易に特定可能である。すなわち、監視対象エリアの人物の空間的な存在範囲は、床面や地面など、高さ方向（仮に実空間直交座標系のｚ軸方向とする）位置が一定の水平面（同様にｘ−ｙ平面である）にほぼ限られており、その接地点（足元位置）のｚ座標は常に一定（例えば０）とみなしえる。つまり、監視対象エリア内を歩行する人物の接地点の座標は実質的にｘ−ｙの二次元系で記述でき、カメラ二次元座標系とも一義的な対応付けが可能となる。カメラ二次元座標系は実空間三次元座標系が射影変換されたものに相当し、カメラから隔たった人物ほど寸法が縮小されて投影される。この変換は数学的には行列で記述されるが、床面上ないし地面上の実空間座標系での予め知れた種々の位置に高さが既知の基準体を配置してカメラで撮影し、その基準体画像の撮影画面上での位置と高さとを、実空間上の位置及び実寸と比較することにより、カメラ画面上の人物の位置と高さを実空間上の位置と高さに変換する情報である位置・高さ変換関係情報を得ることができる。これを用いることによりアバター生成部は、背景画像上に合成するべきアバター画像の高さを容易に決定でき、画像合成部は、背景画像へのアバター画像の合成位置を合理的かつ容易に決定することができる。

次に、本発明の画像処理装置は、人物特徴情報抽出部が人物の動きまたは向きを解析して動作解析情報として出力し、画像合成部が動作解析情報に基づいてアバター画像の動きまたは向きを調整するものとして構成できる。これによれば、撮影された時点の人物の動きや向きに基づいてアバター画像の動きや向きが調整されるので、例えば人物の動く速度や動く方向を、アバター画像に反映させることができる。

この場合、カメラは動画撮影可能なものであり、座標情報抽出部は撮影された動画のフレーム別に人物をなす人物の座標情報を取得するものであり、人物特徴情報抽出部は、人物の座標情報のフレーム間の移動軌跡情報を動作解析情報として出力するものとして構成しておくとよい。現在のフレームに対し、これに先行するフレームの移動軌跡情報を解析すれば、現在のフレームに至る人物画像の動きを把握することが特に容易となる。

例えば、人物は、横歩きや後ずさりなどのイレギュラーな動きをしない限り、顔や胴体が前を向くように歩行動作するのが通常なので、人物画像の代表点（例えば接地点）の移動軌跡が判明していれば、歩行動作に応じた体の向きを逐次把握することができる。そこで、画像合成部は上記の移動軌跡情報に基づいて、背景画像上に合成するアバター画像の向きを調整するように構成できる。

この場合、アバター生成部は、カメラからの視点による当該人物の見え方が反映されるように、実空間における人物の移動方向に応じて異なる表現形態のアバター画像を生成するように構成できる。カメラ視点に対し人物の歩行方向が変化する場合、その歩行方向によるカメラへの映り方（角度）に応じてアバター画像を変化させることで、アバター画像の表現のリアリティーを増すことができる。

例えば、アバター生成部は、実空間における人物の予め定められた複数の移動方向別に表現形態が互いに異なる複数の二次元アバターデータを記憶する方向別二次元アバターデータ記憶手段を備え、先行するフレームについて取得されている移動軌跡情報に基づいて人物の移動方向を推定するとともに、方向別の二次元アバターデータから、推定された移動方向に適合するものを選択するものであり、画像合成部は、選択された二次元アバターデータに基づくアバター画像を背景画像と合成するものとして構成できる。アバター化する人物の移動方向を、上記のように決められた複数の方向から選択するようにしておき、かつアバターデータを二次元描画データとして構成しておくことで、用意するアバターデータの容量を大幅に削減することができる。

一方、アバター生成部は、アバター画像のデータを三次元アバターデータとして記憶する三次元アバターデータ記憶手段を備え、該三次元アバターデータに基づいて三次元アバターオブジェクトを生成するとともに、先行するフレームについて取得されている移動軌跡情報に基づいて人物の移動方向を推定し、推定された移動方向を向くように該三次元アバターオブジェクトの実空間上への配置方向を決定するものであり、画像合成部は、配置方向が決定された実空間上の三次元アバターオブジェクトを背景画像の二次元座標系に射影変換することにより二次元アバターデータを生成し、該二次元アバターデータに基づくアバター画像を背景画像と合成するように構成することもできる。この場合はアバターデータが三次元化されることでデータ容量は増すが、アバター画像の背景画像への貼り込み方向は無段階化でき、一層リアリティーのある表現が可能となる。

また、画像合成部は、移動軌跡情報に基づいて人物の動線を表す画像を生成することも可能である。この構成によれば、特定の人物が背景画像上でどのように動いたかを視覚的に把握することが容易となる。例えば、防犯目的等に有効活用することができほか、展示会場や公共施設等において個々の人物が関心を集める場所がどこにあるかを、動線画像の統計傾向分析により明確にできるなど、種々の利点を享受できる。

また、本発明において監視対象エリアは実空間座標を共有する形で複数のカメラによりカバーすることができる。各カメラは共通のエリアに対し異なるカメラ座標系で撮影を行なうが、共通の監視対象エリアの実空間を同一座標系にて張っておくと、のちに各カメラの撮影情報を統合したい場合に、前述した手法により人物の座標を、その共通の実空間（例えば、ＧＰＳなどで取得できるグローバル座標系など）上に変換する処理を行なうだけで直ちに統合処理も完了する利点がある。このとき、異なるカメラの視野感を同一人物が移動する場合、その画像の人物の同一性の判定をカメラ間で受け渡す必要が生じるが、この場合、上記の属性情報や外観人物特徴情報の一致度に応じて人物の同一性を判定するように構成すれば、特定の人物の追跡や、同一人物に同一アバター画像を使用する、といった判断にも容易に利用できる。

また、画像合成部は、複数のカメラの撮影範囲を含む俯瞰画像として合成画像を生成するように構成できる。これによれば、複数のカメラの撮影範囲の全体を一目で把握することができる。

さらに、上記のような俯瞰画像を得るためには、座標情報抽出部を次のように構成するとよい。すなわち、複数のカメラの撮影画面上に現れる人物の接地点として識別される位置を撮影接地位置とし、当該撮影設置位置に現れる人物画像領域の撮影画面上の高さを人物撮影高さとして、座標情報抽出部は、人物が人物である場合の実空間における歩行面を高さ方向の基準として、カメラの撮影画面上に設定されるカメラ二次元座標系における平面座標と、実空間三次元座標系における歩行面上の空間座標点との変換関係と、カメラ二次元座標系における撮影接地位置毎の人物の撮影高さと実空間座標系での当該人物の実高さとの変換関係とを含む位置・高さ変換関係情報を取得する位置・高さ変換関係情報取得手段と、撮影画面上にて人物画像の撮影接地位置及び撮影高さを特定する撮影接地位置・高さ特定手段と、特定されたそれら撮影接地位置座標及び撮影高さの情報を、位置・高さ変換関係情報に基づいて実空間における人物の接地位置座標である実接地位置座標情報と実空間における人物の高さを情報である実人物高さ情報とに変換・生成する実人物座標・高さ情報生成手段とを備えたものとして、座標情報抽出部を構成する。アバター生成部は、生成された実人物高さ情報に基づいてアバター画像の高さ寸法を決定するアバター高さ決定手段を備え、画像合成部は、実空間座標系における複数のカメラが撮影した人物の実接地位置座標情報を俯瞰画像の視点にて座標変換しつつ該俯瞰画像へのアバター画像の合成位置を決定するアバター合成位置決定手段を備えるものとして構成する。

これは、位置・高さ変換関係情報をカメラ側に付随させることで、撮影画面上の人物領域の位置と高さ情報を実空間座標系に変換する前述の構成を応用したものである。人物の画像情報を一旦実空間上の位置・寸法情報に変換してしまえば、俯瞰視点の背景画像にアバター画像を合成したい場合も、その俯瞰背景画像と実空間との変換関係を予め用意しておくことで、俯瞰視点の背景画像上へもアバター画像の合成を容易に行なうことができる。

本発明の作用及び効果の詳細については、「課題を解決するための手段」の欄にすでに記載したので、ここでは繰り返さない。

本発明の一実施形態にかかる画像処理装置の概略構成を示すブロック図。 図１の画像処理装置が使用するカメラの監視対象エリア内の配置例を示す平面模式図。 各カメラの高さ方向設置位置の設定例を示す側面図。 カメラの撮影範囲に設定された座標系の一例を示す模式図。 背景画像にアバター画像が合成された表示例を示す模式図。 座標情報付加処理の説明図。 図６に続く説明図。 レンズ歪補正の説明図。 座標情報付加処理の流れを示すフローチャート。 人物特徴情報抽出部の全体処理手順を示すフローチャート。 人物特徴情報抽出部が人体を各パーツに分けて特徴を抽出する様子を示す模式図。 人物特徴情報抽出部が人物属性情報を抽出する処理の流れを示すフローチャート。 人物画像領域の背景差分抽出の概念を説明する図。 背景画像の概念図。 移動体検出処理の一例を示すフローチャート。 背景差分処理に用いる混合正規分布の概念図。 影除去処理の説明図。 図１７に続く説明図。 図１５のステップＣ１０５の詳細を示すフローチャート。 ＨＯＴ特徴量の抽出処理の説明図。 ＣＳＳ特徴量の抽出処理の説明図。 画面上の人物画像領域の抽出状態の一例を示す図。 人物画像領域の高さｈを、変換係数αを用いて実身長Ｈに変換する説明図。 座標位置・身長特定処理の流れを示すフローチャート。 歩容人物特徴情報の抽出概念を示す図。 移動軌跡情報の抽出概念を示す図。 受信部側に蓄積される履歴データベースの概念を示す図。 アバターデータベースの概念を示す図。 アバター画像の方向決定に用いる人物移動方向の概念を示す図。 アバター断片図形データの例を示す図。 アバター断片図形を合成してアバター画像を得る例を示す説明図。 アバターデータをアバターアニメーションデータとして構成する例を示す図。 アバター断片画像データを二次元のベクトル図形データとして構成する例を示す図。 受信部側処理の流れを示すフローチャート。 アバター作成処理の流れを示すフローチャート。 色特徴量の抽出処理の流れを示すフローチャート。 色特徴量に基づいて人物の異同特定を行なう処理の流れを示すフローチャート。 固定的な人体比率に従い人物画像を頭部、上半身及び下半身に分割する例を示す説明図。 図３８の方法を用いた場合の誤分割の事例を説明する画像。 ＣＳＳ特徴解析により、図３８の誤分割不具合を解消する事例を示す画像。 Ｌ^＊ａ^＊ｂ^＊表色系で表現した領域の色彩設定状態の比較により人物の異同特定を行なう処理の流れを示すフローチャート。 人物学習・補正処理の流れを示すフローチャート。 アバター学習・補正処理の流れを示すフローチャート。 エントランスカメラによる人物撮影画像の例を示す図。 エントランスカメラによる顔特定が困難になる場合の説明図。 カメラアングルが変わることにより顔特定が可能となる場合の説明図。 画面上寸法の大きい人物画像が取得できた場合の、特徴量抽出への貢献を説明する図。 解像度の高い顔特徴量により、解像度の低い顔特徴量を更新する概念を示す図。 解像度の高い色特徴量により、解像度の低い色特徴量を更新する概念を示す図。 歩容特徴量抽出に適した人物画像の例を示す図。 歩容特徴量抽出に適した人物画像の別例を示す図。 障害物により着目している人物の特徴量が抽出できなくなる例を示す説明図。 異なるアングルのカメラ画像により特徴量抽出が可能となる例を示す説明図。 アバター背景合成処理の流れを示すフローチャート。 統合モード表示処理の流れを示すフローチャート。 統合表示モードにおける平面視表示形態の一例を示す図。 同じく俯瞰視表示形態の一例を示す図。 三次元アバター画像を表示する例を示す画像。 本発明の応用例を示す模式図。 監視対象エリアのカメラレイアウトの第一の変形例を示す図。 同じく第二の変形例を示す図。 同じく第三の変形例を示す図。 同じく第四の変形例を示す図。 同じく第五の変形例を示す図。 同じく第六の変形例を示す図。 図１の画像処理装置の変形構成例を示すブロック図。

以下、図面を参照しながら、本発明の具体的な実施形態について詳しく説明する。
まず、図１を参照しながら、本発明の一実施形態にかかる画像処理装置１の構成と動作の概略について説明する。図１は、画像処理装置１の概略構成を示すブロック図である。画像処理装置１は、映像解析部１２（情報送信部）と、映像表示処理部１３（情報受信部）とを有している。映像解析部１２と、映像表示処理部１３とは、ネットワーク１５を介して接続されている。ネットワーク１５は、例えばインターネットなどの公共ネットワークであるが、ローカルネットワークなどのプライベートネットワークであっても良い。また、ネットワーク１５ではなく、一般的な通信ケーブルで接続されていてもよい。

映像解析部１２は、監視対象エリアの様々な場所に設置された複数のカメラ１１（１１ａ，１１ｂ・・・）から映像信号を受信し、送信前処理（後に詳述する。）を行ってからネットワーク１５へ送出する。なお、図１においては、カメラ１１を２台のみ図示しているが、カメラの台数は任意である。カメラ１１と映像解析部１２との間の通信は、有線通信であっても良いし、無線通信であっても良い。また、映像表示処理部１３は、映像解析部１２からネットワーク１５を介して送信された映像信号を受信し、受信後処理（後に詳述する。）を行ってから、モニタ１４へ表示させたり、必要に応じて映像記録装置（図示せず）へ録画したりする。

映像解析部１２は、座標情報抽出部１２１、人物特徴情報抽出部１２２、複数カメラ連携部１２３、および、映像解析部１２４を備えている。座標情報抽出部１２１および人物特徴情報抽出部１２２は、一つのカメラ１１に対して一組ずつ設けられている。例えば、図１においては、カメラ１１ａに対して座標情報抽出部１２１ａおよび人物特徴情報抽出部１２２ａが設けられ、カメラ１１ｂに対して座標情報抽出部１２１ｂおよび人物特徴情報抽出部１２２ｂが設けられている。また、人物特徴情報抽出部１２２は、カメラ１１で撮影された映像信号から人物領域を検出し、さらに、それぞれの人物の顔及び外観（例えば、着衣、髪型、体形、持ち物等）についての特徴を抽出する。座標情報抽出部１２１は、カメラ１１で撮影されるエリア内の人物の位置を、座標情報として検出する。

本実施形態において画像処理装置１は、カメラで撮影した映像信号をそのまま圧縮して伝送するのではなく、人物特徴情報抽出部１２２で得られた人物特徴情報と座標情報抽出部１２１で得られた座標情報のみを、ネットワーク１５を介して伝送するようにしている。そして、この人物特徴情報と座標情報とを受け取った映像表示処理部１３側では、それぞれのカメラ１１の撮影範囲の背景画像を予め記録しておき、前記の人物特徴情報に基づいて個々の人物を的確に表すアバターの画像を生成し、前記の座標情報にしたがって、背景画像の適宜の位置にアバター画像を合成する。このようにすることで、撮影された映像信号をそのまま圧縮して伝送する場合と比較して、伝送されるデータ量が少なくて済むので、ネットワークの通信帯域を有効に利用することができる。

なお、画像処理装置１は、複数のカメラ１１と接続されているので、前述のように、カメラ１１のそれぞれについて座標情報抽出部１２１および人物特徴情報抽出部１２２を備えている。このため、複数カメラ連携部１２３は、座標情報抽出部１２１で得られた座標情報と、人物特徴情報抽出部１２２で得られた人物特徴情報とに、複数のカメラ１１のうちいずれのカメラの映像信号から得られた情報であるかを示すタグ情報を付与して、映像解析部１２４へ送る。映像解析部１２４は、複数カメラ連携部１２３から得た情報を所定の規格で符号化し、ネットワーク１５へ送出する。

映像表示処理部１３は、映像表示処理部１３１、アバター生成部１３２、および、画像合成部１３３を備えている。映像表示処理部１３１は、ネットワーク１５から受信した情報を復号化し、アバター生成部１３２へ送る。アバター生成部１３２は、受信した情報に含まれる人物特徴情報に基づいて、撮影された人物を表すアバターの画像を生成する。アバター生成部１３２で生成されたアバター画像は、座標情報と共に画像合成部１３３へ送られる。画像合成部１３３は、アバター画像と座標情報とに基づいて、それぞれのカメラ１１の撮影範囲の背景画像とアバター画像との合成画像を生成し、モニタ１４へ表示させる。このとき、どのカメラ１１の映像信号から得られた情報であるかを示す前記のタグ情報は、背景画像を特定するために用いられる。

なお、図６６に示すように、図１にてネットワーク１５を介して映像解析部１２と映像表示処理部１３とに分散していた各機能実現部を１つの主処理装置１Ｍに集約し、ネットワーク通信機能部分を省略した構成とすることも可能である。

図２は、監視対象エリアにおける各カメラの配置レイアウトの例を示すものである。本実施形態において監視対象エリアＷＡは展示会場であり、大小複数の展示ブースＢＴが通路ＡＬを介して会場全体にレイアウトされている。そして、この通路ＡＬを行きかう人物（来訪者）ＨＭが複数のカメラ１１ａ〜１１ｃにより監視されている。矩形をなす監視対象エリアＷＡの全体は、複数の矩形のサブエリアＳＡ（本実施形態では正方形状に設定されている）に区画されており、各サブエリアＳＡには、その対角線方向の角部に互いに対をなす第一のカメラ１１ａ及び第二のカメラ１１ｂが配置されている。これにより、同じサブエリアＳＡに属する第一のカメラ１１ａと第二のカメラ１１ｂとは、各カメラの正面に位置する人物ＨＭを互いに反対方向から撮影する位置関係となる。

そして、これら一対のカメラ１１ａ，１１ｂの視野の向き及び配置距離は、各カメラ１１ａ，１１ｂの有効撮影範囲ＥＰａ，ＥＰｂの間に重なりが生ずるように設定されている。ここで、カメラの有効撮影範囲とは、そのカメラの全撮影範囲において、被写体である人物から特定の特徴量の抽出に必要な解像度が確保可能な撮影範囲のことをいう。具体的には、特徴量抽出に必要な解像度が確保可能な有効半径にて、各カメラ１１ａ，１１ｂのレンズ中心からカメラ視野角がカバーされるよう平面視における監視対象エリアＷＡへの有効撮影範囲の投影を扇形に描いたものとして把握される。

図１の例では、平面視にて視野角９０°のカメラの視野角がサブエリアＳＡの頂角と一致し、かつ、有効半径Ｒが正方形状のサブエリアＳＡの１辺と等しくなるように定められている。その結果、サブエリアＳＡの中央には、一対のカメラ１１ａ，１１ｂの有効撮影範囲ＥＰａ，ＥＰｂにより、各々半径Ｒの２つの四分円弧に囲まれた葉型の重なり領域ＳＬＡ（サブエリアＳＡの全面積の約５７％）が形成されている。この重なり領域は、２つのカメラ１１ａ，１１ｂのいずれからも特徴量抽出に必要な解像度が確保できるエリアであることを意味する。

図１では、監視対象エリアＷＡの全体が４つのサブエリアＳＡにより区画され、第一のカメラ１１ａが監視対象エリアＷＡの４つの角部に位置し、第二のカメラ１１ｂが監視対象エリアＷＡの中央付近に集合するように、各々幾何学的に合同なレイアウトにてカメラ１１ａ，１１ｂが配置されている。このように１対のカメラ１１ａ，１１ｂが配置されたサブエリアＳＡを単位として用いることにより、図６０に示すように、より広大な監視対象エリアＷＡについても、サブエリアＳＡの数を増やすことで全体を容易にカバーすることができる。

また、本実施形態では、上記カメラ１１ａ，１１ｂとは別の補助カメラとしてエントランスカメラ１１ｅが配置されている。該エントランスカメラ１１ｅは監視対象エリアＷＡである展示会場への入場者を個別に撮影するために、入り口ＥＴを会場内側から見込む位置に設置されている。図３に示すように、エントランスカメラ１１ｅは、会場全体の監視把握のために配置されるカメラ１１ａ，１１ｂよりも焦点距離が長く、視野角の狭いカメラであり、入り口ＥＴから歩行しつつ入場する人物ＨＭの顔を含めた全体（頭部、上半身、下半身）が視野内に収まるように設置高さ及び位置が定められている。一方、カメラ１１ａ，１１ｂについては、受け持ちのサブエリアＳＡ内を俯瞰しつつサブエリア全体での人物の位置把握と身長ないし体形の特定とが可能となるよう、エントランスカメラ１１ｅよりもやや高い位置（例えば、平均的な成人男性身長の１．５倍以上３倍以下）に取り付けられている。

本明細書にて解像度は、被写体上の実寸が１画素当たりに何ｃｍ割り振られるか（単位：ｃｍ／画素）により表示し、この数値が小さいほど解像度が高くなることを意味する。例えば１６：９サイズ画面の短辺方向の画素数は、標準解像度（ＳＤ）カメラで約５００、ハイビジョン（ＨＤ）カメラで約１０００であり、後者は前者の約２倍の解像度を有しており、約２倍遠方の被写体でも解像度を確保することができる。

特徴量抽出に必要な解像度の下限値（以下、限界解像度という）は、抽出したい特徴量の種別によって異なり、例えば以下の通りである。
・顔特徴量：１．５ｃｍ／画素よりも高くする（より望ましくは１．０ｃｍ／画素よりも高くする）。被写体までの距離にて、標準仕様カメラで２３ｍ以下（望ましくは１５ｍ以下）、ハイビジョンカメラで約４５ｍ以下（望ましくは３０ｍ以下）。
・歩容特徴量：４．０ｃｍ／画素よりも高くする（より望ましくは３．０ｃｍ／画素よりも高くする）。被写体までの距離にて、標準仕様カメラで６０ｍ以下（望ましくは４５ｍ以下）、ハイビジョンカメラで約１２０ｍ以下（望ましくは９０ｍ以下）。
・着衣、頭髪、持ち物にかかる特徴量：６．０ｃｍ／画素よりも高くする（より望ましくは５．０ｃｍ／画素よりも高くする）。被写体までの距離にて、標準仕様カメラで９０ｍ以下（望ましくは７５ｍ以下）、ハイビジョンカメラで約１８０ｍ以下（望ましくは１５０ｍ以下）。

本実施形態では、カメラ１１ａ，１１ｂ，１１ｅは標準仕様カメラであり、サブエリアＳＡの１辺の長さは約１５ｍとされている。したがって、カメラ１１ａ，１１ｂの有効撮影範囲の半径Ｒも約１５ｍであり、顔特徴量、歩容特徴量及び着衣、頭髪、持ち物にかかる特徴量のいずれを抽出する上でも十分な解像度が確保されている。

次に、座標情報抽出部１２１の処理について説明する。座標情報抽出部１２１は、それぞれのカメラ１１の撮影範囲に対して設定された座標系において、人物がいる位置の座標を特定する。例えば図４に示すように、一つのカメラの撮影範囲において、ｘ−ｙ座標系５１を設定する。図１の座標情報抽出部１２１は、このｘ−ｙ座標系５１において、人物特徴情報抽出部１２２が特定した人物領域の座標を検出する。ここで検出された座標は、当該人物のいる位置を表す座標情報として、人物特徴情報と共に映像表示処理部１３へ送られる。

三次元空間内の立体をカメラ映像から特定したい場合、映像は二次元データであるから、一般の立体の空間的な状態を１台のカメラ映像で特定することは原理的にできない。しかし、本発明が対象とする人物はカメラが撮影するエリア内を動き回る人物であり、その空間幾何学的な移動特性を考慮することで、図４に示すカメラの画面上の人物画像領域ＰＡの情報から実空間内の人物位置と高さを特定可能である。すなわち、撮影対象となるエリアの人物の空間的な存在範囲は、床面や地面、図４の場合は人物が歩行する路面ＲＳなどであり、要するに高さ方向（ｚ軸方向）の位置が一定の水平面にほぼ限られている点に着目する。この路面ＲＳは、直交座標系にてｚ軸座標が常に０のｘ−ｙ平面であり、該路面ＲＳ上を歩行する人物の接地点の座標は実質的にｘ−ｙの二次元で記述でき、三次元空間内の点でありながら、撮影画面に設定されるカメラ二次元座標系と一義的な対応付けが可能となる。なお、図５は、後で詳述するアバター合成後の映像の一例を示すものである。

他方、カメラ二次元座標系は実空間三次元座標系が射影変換されたものに相当し、カメラ光軸方向に隔たった人物ほど寸法が縮小されて投影される。これは数学的には射影変換行列で記述されるが、実空間座標系での予め知れた種々の位置に基準体を配置してカメラで撮影すれば、その基準体画像の撮影画面上での位置と高さを実空間上の基準体の位置及び実寸と比較することにより、カメラ上の人物の映像位置・高さを実空間上の位置・高さに変換する位置・高さ変換関係情報を得ることができる。その具体例を図６〜図８の説明図及び図９のフローチャートを用いて説明する。

すなわち、カメラの撮影視野ＳＡにおいて、路面ＲＳ上に高さが既知の基準体ＳＣを前後左右の種々の位置に配置し撮影を行なう。図９のＳ５０１では、その基準体の高さＨを入力する。すると撮影画面ＳＡ上では、これは同一の基準体に由来したものであるにもかかわらず、カメラ１１からの距離に応じて異なる寸法の基準体画像ＳＣＩとなって現れるので、これを抽出する（Ｓ５０２）。これらの基準体画像ＳＣＩは全て同じ路面ＲＳ（すなわち、ｘ−ｙ平面（ｚ＝０））上にあるので、その下端を表す点（基準点）ｐ１〜ｐ３は実空間においてすべてｚ＝０の接地点である。そこで、この基準点ｐ１〜ｐ３を画面上に設定されたカメラ二次元座標系であるξ−η座標系にて読み取り、基準点の画面座標データｐ（ξ，η）として記憶する（Ｓ５０３）。なお、画面上のどのエリアが路面ＲＳを表すかについては、路側縁ＲＥや路面上の白線ＷＬなどの画像を参考にすることができる。

次に、撮影画面上の映像はカメラレンズの歪の影響を受けるので、実空間の厳密な射影変換画像とはなっておらず、視野内の位置に応じて画像にゆがみが生じていることがある。図８の左に示すように、そのひずみは画面の端に近い領域ほど大きく座標系も非線形化する。例えば、広角レンズなど視野角の大きいレンズでは外向きに凸状の歪となり、逆に望遠レンズなど視野角の小さいレンズでは凹状の歪となる。そこで、この歪を解消し、直交平面座標系の点となるように変換補正を行なう（Ｓ５０４）。この時の補正係数は、例えば図６において、画面上に現れている白線ＷＬなど、実空間上で直線であることが予めわかっている図形の形状が直線化するような最適化演算によって定めることができる。なお、この補正により画面の端ほど歪み解消に伴い寸法は伸長するから、補正後の画面形状ＳＡ’は元の画面ＳＡの外にはみ出すこととなる。

次いで、図７に示すように、基準体ＳＣの実空間系での座標を決定する。例えば、測量による場合は、カメラ１１から路面に設置した基準体ＳＣまでの距離ｄと、カメラから基準体を見込む線と基準線（例えば、ｘ軸方向）とのなす角度θを測定すれば、
ｘ＝ｄ・ｃｏｓθ
ｙ＝ｄ・ｓｉｎθ
として基準体ＳＣの接地点の実空間座標Ｐ（ｘ，ｙ，０）を求めることができる。他方、衛星測位システム（ＧＰＳ）により座標を直接特定してもよい。なお、ここで用いられる実空間座標系は、それぞれのカメラの撮影範囲内に設定される独立した座標系であっても良いし、衛星測位システム（ＧＰＳ）から提供されるグローバル座標系と連動していても良い。ただし、後述するが、複数のカメラの撮影範囲を統合して一つの空間を生成する場合は、それぞれのカメラの座標系を連結する必要があり、複数カメラが連携撮影するエリアに対し、統合的な実空間座標を張っておくことが望ましい。また、ｘ−ｙ座標系５１を設定する際に、例えばＬＥＤライト等を用いて、キャリブレーションを行なうことが望ましい。

次に、図６において、基準体画像ＳＣＩの画面上の高さｈを読み取る（図９：Ｓ５０６）。基準体ＳＣの実高さＨは既知なので、基準体画像ＳＣＩの高さｈを実高さＨに変換する係数
α＝Ｈ／ｈ
を計算し（Ｓ５０７）、画面座標データｐ（ξ，η）と実空間座標データＰ（ｘ，ｙ，０）と互いに対応付て記憶する（Ｓ５０８）。以上の処理をすべての基準体ＳＣについて繰り返したのち（Ｓ５０９→Ｓ５０１）、路面ＲＳ上にて実測していない主要点でのｐ，Ｐ，αの組を補う処理を行なう。この処理は補間データを取得するステップとして行ってもよいし、得られているｐ，Ｐの組から射影変換行列の要素を定める処理として行ってもよい。そして、これらの情報が位置・高さ変換関係情報を構成することとなる。

なお、図６に示すように、座標情報の取得には、基準体ＳＣに代えて人物ＳＰを用いてもよい。この場合、人物ＳＰの身長を入力し、その人物ＳＰがカメラの有効撮影範囲の四隅などを歩くことでカメラ画角と位置情報を学習取得するキャリブレーション方式などを用いてもよい。

次に、人物特徴情報抽出部１２２による特徴量抽出処理の内容について詳しく説明する。図１０は、人物特徴情報抽出部１２２の処理手順を示すフローチャートである。図１１は、人物特徴情報抽出部１２２が人体を各パーツに分けて特徴を抽出する様子を示す模式図である。人物特徴情報抽出部１２２は、対応するカメラ１１から所定数のフレームの映像信号を入力すると、図１３に示すようにフレームＦＭ間の差分を取ることにより、映像信号に映り込んでいる動物体ＭＯを検出する（図２のステップＳ１１）。具体的には、先行するフレームの画像領域ＭＯ’と後続のフレームの画像領域ＭＯとは、画像領域が動物体であればフレーム間で位置や形状が変化するが背景は変化しないので、両フレーム間の画像差分をとれば動物体の画像領域ＭＯを抽出することができる。一方、動物体が存在しない状態で撮影すれば、図１４に示すように背景画像ＢＰが得られる。上記の背景画像ＢＰはカメラごとに撮影され、図１の受信部１３に送信されて該受信部１３をなすコンピュータがアクセス可能な記憶装置１３５（本実施形態では外部記憶装置ないし別のコンピュータにて構成された情報蓄積・統計処理部）に格納される。

次に、人物特徴情報抽出部１２２は、ステップＳ１１で検出した動物体の画像に対して、セグメンテーション、エッジ検出、パターンマッチング等を行なうことによって人物領域を抽出し、その動物体が人物か否かを判断する（ステップＳ１２）。なお、映像信号からの動物体検出処理や人物抽出処理については、様々な手法を用いることができ、特定の手法に限定されない。また、映像信号から検出された動物体のうち、そのサイズが比較的小さいものはノイズである可能性が高いので人物ではないと判断し、比較的大きいサイズの領域については人物であるものと判断しても良い。

以下、人物検出の典型的な処理例について説明する。
図１５は移動体検出処理の流れを示すフローチャートである。Ｃ１０１では、まず、背景画像を混合正規分布の概念を用いてモデル化しておく。この手法は周知であるため（例えば特許文献６）、詳細な説明は略するが、概要は以下の通りである。すなわち、背景差分を用いた人物領域抽出にあっては、背景が全てキャンセルされるよう、差分に用いる人物領域の映り込んだ画像と背景のみを撮影したブランク画像との間で、背景部分が等価であることが望ましい。しかし、定点的なカメラの撮影画像にあっては種々の要因によって背景画像にも微細な変化は常に生じていると考えなければならず、実際問題として１画素単位の誤差が画像ごとに変動し、単純に差分を取っても、その誤差の影響により動物体領域を精度よく抽出することは実質的に不可能なケースが多い。該誤差の要因は背景の種類により種々存在し、例えば外光の向きや強度、風などによる背景構成体の揺らぎなどを例示できる。

そこで、背景を構成する画素が人の目に同じ背景と実質的に認識できる範囲内で変動する場合の画素設定値の分布を、複数個の正規分布（ガウス分布）の重ね合わせで表現できると仮定する（混合正規分布：図１６は、重ね合わせ数Ｋが２の場合を示す）。そして、その重ね合わせる正規分布の個数と重み、個々の正規分布の平均及び分散を未定パラメータとして、種々の外乱要因を組み込んだ多数のサンプル背景差分処理を通じて回帰的にこれらの未定パラメータを決定することにより背景モデルを得るようにする。なお、モデル決定後において実際の動物体検出処理を開始後も、カメラごとに背景の監視を継続し、画素設定値に有意な差が検出されるごとに背景を規定する混合正規分布の更新を行なうことが望ましい（図１５：Ｃ１０６）。

図１５に戻り、Ｃ１０２では上記で得られた背景モデルを用いて前述の背景差分法により前景画像を抽出する。このとき、図１７あるいは図１８に示すように、背景に含まれる接地面に動物体の影が映り込み、この影が動物体の一部として前景抽出されてしまうことがある。そこで、Ｃ１０３ではこの影を除去する処理を行なう。影除去処理自体は周知（例えば特許文献７）であるが、例えば本実施形態では、影領域と背景領域の類似性を利用した影領域の検出・除去を以下のようにして行なう。

（影除去方法１）
まず現在取得した観測画像と予め取得した移動物体が入っていない背景画像との各画素のＲＧＢの輝度値の各差分に対して二乗和ｓｕｍをとる。二乗和ｓｕｍは（１）式により得られる。
ここでＲＧＢは観測画像の輝度値、Ｒ′Ｇ′Ｂ′は背景画像の輝度値を示す。

次に、上記算出したｓｕｍを背景画像と観測画像の類似度を示す値として用い、その注目画素が人などの移動物体であるのか、影であるのかを判断する。影はその濃さによって背景部分を透過する性質があるので、影が薄ければ背景と影の輝度値は近い値となるのは明白である。すなわちｓｕｍの値が大きければ互いの画素は似通っていないことを意味し、小さければその画素は似通っていることを意味する。その判定方法を以下の（２）式に示す。

ここでＴｈｒｅｓｈｏｌｄは閾値を示し、ｓｕｍの平方根を取ったものが閾値より小さければその画素は背景との類似度が高いため影と判断し、それ以外は類似度が低いため移動物体と判断する。

（影除去処理２）
この手法は注目画素の近傍の画素にも注目し、背景の模様やパターンなどを利用して影除去するものである。処理に先立って、予め取得した、移動物体が入っていない背景画像（ブランク画像）と現在観測された画像とに対して、画像輪郭のコントラストを高めるため、ハイパスフィルタを適用することが望ましい。このような画像に対して、移動物体検出で前景とみなされた領域の画素値を比較していく。比較方法は注目画素の近傍の複数個（図１７に９個の場合を示す）の画素について行い、それぞれの画素値の差分に対して二乗和をとる。二乗和は（３）式となる。
ここでｄｉｆｉ^２は近傍画素のｉ番目の画素同士の差分とする。

次に、上記算出したｓｕｍを背景画像と観測画像のテクスチャにおける相関を表す値として用い、その注目画素が影領域の画素か否か判断する。すなわちｓｕｍの値が大きければお互いの画像のテクスチャが類似していないことを意味し、小さければ類似していることを意味する。その判別方法は以下の（４）式で与えられる。
ここでＴｈｒｅｓｈｏｌｄは閾値であり、相関値の平方根を取ったものが閾値より小さければその画素を影とみなし、それ以外は移動物体とみなす。

図１５に戻り、Ｃ１０４では影除去後の抽出領域に対しモルフォロジー演算を行なう。この処理は、二値化した白黒画像内の図形を１画素分膨らませる膨張処理や、１画素分縮める縮小処理を数回組み合わせて行なう処理などであり、二値化画像の平滑化や独立点除去などの効果がある。代表的な手法としては、収縮処理を複数回行った後に膨張処理を複数回行なうオープニング処理や、膨張処理を複数回行った後に収縮処理を複数回行なうクロージング処理などがある。オープニング処理は、図形の突起部分を除去したり、結合部分を分離する効果を有し、クロージング処理には図形の穴埋めをしたり、切断部分を結合する効果がある。

次に、Ｃ１０５に進み、動物体（人物）検出処理となる。その詳細を図１９に示している。まず、Ｄ１０１では、検出された動物体に対する外接矩形を求め、これを検出窓として設定する。続いて、この検出窓内に画素マトリックスからなるセルを設定し、このセルにより検出窓内をスキャンしながら、スキャン位置毎にセル内の画素の特徴量を算出する（Ｄ１０３及びＤ１０４）。具体的には、Ｄ１０３でＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量を、Ｄ１０４でＣＳＳ（Ｃｏｌｏｒ Ｓｅｌｆ−Ｓｉｍｉｌａｒｉｔｙ）特徴量を演算する。

図２０はＨＯＧ特徴量の算出概念を示すものであり、セルは５×５画素のマトリックスとしている。まず対象領域の各ピクセルにおいて、注目画素の輝度値から勾配強度と勾配方向（本実施形態では９方向）とを求める。次に算出した勾配強度と勾配方向を用いて、セルごとに輝度の勾配方向ヒストグラムを作成する。最後に各セルについて作成したヒストグラムを、近傍セルの集合体（図２０では３×３セル）であるブロック内で正規化する。正規化はブロックを１セルずつ移動しながら行なうものであり、複数のセルで構成されるブロック領域毎に正規化することで、照明変化や幾何学的変化の影響を受けにくく画像上での動物体の形状特徴を的確に反映した特徴量を得ることができる。

図２１はＣＳＳ特徴量の算出概念を示すものである。
まず入力されたカラー画像に対し、各画素の色空間を次式でＲＧＢからＨＳＶ（色相、彩度、明度）に変換する。
ここでＲ、Ｇ、ＢはそれぞれＲＧＢの画素値であり、ＭＡＸおよびＭＩＮはＲＧＢの画素値中での最大値および最小値である。

次に、ＨＯＧ特徴量の算出と同様に、検出窓により得られた対象領域を局所領域のセルに分割し、セルごとにＨＳＶ表色系の色ヒストグラムを作成する。ここでヒストグラムを作成する際のＨ、Ｓ、Ｖの量子化数をＮとすると、１つのセルから得られるヒストグラムの次元数は３×Ｎ次元となり、セル内の全ピクセルの量子化されたＨＳＶの値の頻度を蓄積していく。そして、上記で作成した全てのセルヒストグラムに対して、それぞれのヒストグラム同士の類似度を（８）式のユークリッド距離によって算出する。

ＨＯＧ特徴量は検出対象の形状に関する特徴量であったのに対し、ＣＳＳ特徴量は色情報に基づいた特徴量である。人物の着衣には幅広いバリエーションがあるため、何の指定もなしに色を抽出しても人物を検出する特徴量とはならない。他方、ＣＳＳ特徴量ではＨＯＧ特徴量同様に画像をセル領域に分解し、それぞれのセル同士で算出された色の類似度、つまり色の特徴を把握したい領域内部の色彩の自己相似性（Ｓｅｌｆ−Ｓｉｍｉｌａｒｉｔｙ）がどの程度であるかを意味する特徴量である。一般の人物の着衣は、上半身と下半身において同様の色をしていることが多く、上半身ないし下半身の着衣が内包する色彩の自己相似性（Ｓｅｌｆ−Ｓｉｍｉｌａｒｉｔｙ）には、「人間」の着衣であるということ、ひいてはその着衣を有する動物体が「人間」であるということが、より的確に反映されうる。また、制服等で画一化されている場合は別として、人間の着衣の色彩は、その人の趣味や好みを反映して固有のものとなりやすい。この観点にてＣＳＳ特徴量を用いた解析手法は、異なる画像に検出された人物の異同を判別する上で有用である。

図２０あるいは図２１に示すように、画像上に設定された検出窓は動物体領域に外接するように定められ、検出窓内の動物体画像が人物であれば、上記ＨＯＧ特徴量から人物領域を構成すると判定されるべき領域とそうでない領域との境界線を合理的に決定できる。そして、その外形線を基準に人物領域の内側領域と外側領域とを判別し、内側領域と推定されるセルがＣＳＳ特徴量にて色彩の自己相似性を有すると判定されれば、そのセルは人物領域を構成するセル（以下、「人物領域セル」という）であると判定することができる。こうして判定された人物領域セルは、ＣＳＳ特徴量が示す色情報と対応付けて順次メモリに記憶（スタック）されてゆく。

このセルの数は、一般的な身長の人物であって人体形状の識別に適した姿勢（例えば立位であって、ほぼ全身がカメラの視野に捉えられていること）で撮影されていれば、前述の検出窓内に占める人物領域セルの数（あるいは比率）は一定レベル以上に大きくなるはずである。そこで、検出窓内の人物領域セルの数（あるいは比率）に一定の閾値を設定しておき、スタックされた人物領域セルの数がこの閾値に到達しつつ、全セルについての判定が終了したところで人物領域セルを統合し、ＩＤを付与しつつ人物検出結果として登録・記憶する（図１９：Ｄ１０５→Ｄ１０６）。なお、本実施形態では、人物領域セルの統合結果を、をＣＳＳ特徴量から決定される色彩にて各セルの外形線を着色しつつ表示・出力できるようにしている。

一方、人物領域セルの数がこの閾値に到達せずに、全セルについての判定が終了した場合は、人物領域が検出されていてもＤ１０６の処理及び人物検出結果としての登録を行なわない。これは、人物領域セルの数が閾値未満になっているということは、検出されている人物領域が人体形状の識別に適した形状（姿勢）でないか、あるいは人体の必要な部分の全てがカメラの撮影視野に写り込んでいない、と判断されるためである。なお、カメラに人物が近づきすぎて、人体の一部によりカメラの撮影視野の大半が覆われてしまうこともあり得るから、上記の閾値には、上限と下限の両方を設けておくようにすることもできる。なお、撮影視野に複数（＝Ｎ）の動物体領域が検出されている場合は、すべての動物体領域の検出窓について同様の処理が繰り返される（Ｄ１０２→Ｄ１０６）。

ＨＯＧ特徴量とＣＳＳ特徴量とに基づいて、検出窓内のセルが人物領域セルであるかそうでないかを判定するエンジンについては、人物が写り込んだサンプル画像（ポジティブサンプル）と、逆に非人物が写り込んだサンプル画像（ネガディブサンプル）とを用いて判定学習させることができるように構成しておくことが望ましい。この学習方法については種々の方式が存在するが、本実施形態では周知のＲｅａｌＡｄａＢｏｏｓｔにより特徴選択を行なう学習アルゴリズムが採用されている。このアルゴリズムの概要は、以下の通りである。

（ｉ）どの学習サンプル（上記のポジティブサンプル及びネガティブサンプル）の重要度も、最初は同じに設定する。
（ｉｉ）でたらめよりは多少ましな程度の弱識別器を多数用意する。
（ｉｉｉ）学習サンプルを与えて、どの弱識別器が良くあてるかを調べる。ただし、学習サンプルには重要度があるので、重要度の高いサンプルを間違えると、減点が大きくなり、ダメな弱識別器のレッテルが貼られる。
（ｉｖ）最もよく当たった（間違いによる減点が少なかった）弱識別器を探し出し、学習サンプルと識別結果を比較し、間違った学習サンプルの重要度を高める。つまり、各弱識別器に対して、このサンプルに対する訓練を強化する。
（ｖ）優秀な弱識別器と、ダメなものとが次第に明確になるので、最終的に、優秀な弱識別器には重みを増し、そうでないものには、重みを減らしたり、削除したりして、最終的に上位となる所定数の弱識別器を結合することにより、全体的に強力な識別器（今日識別器）を構成する。

本発明への適用を考える場合、弱識別器は、検出窓内のセルについてＨＯＧ特徴量とＣＳＳ特徴量との双方に基づいて当該セルが人物領域セルであるか否かを識別するソフトウェア的な機能実現手段として構成される。ＨＯＧ特徴量とＣＳＳ特徴量との抽出に使用される検出窓内のセルの数は、各々例えば数十のレベルであるが、ＨＯＧ特徴量の場合はセルごとにヒストグラムのクラスの数が特徴量の次元数に乗算で寄与する。他方、ＣＳＳ特徴量の場合はすべてのセルについて色の類似・非類似が二値的に識別されるから、全てのセルについての二値識別の組み合わせが特徴量の次元数となる。これらはいずれも数１００〜数１０００の次元数となるが、各特徴量に基づく人物領域セルであるか否かの識別は互いに独立した事象であるから、実質的な特徴量の次元数はその合計で与えられる。弱識別器は、上記合計次元数の各特徴量についてのポジティブクラス（＋：検出対象）とネガティブクラス（−：非検出対象）とのそれぞれについて、学習サンプルの重みに基づき、全ての次元の特徴量を渡る形で確率密度関数を順次作成する。各弱識別器の評価値は上記の確率密度関数を用いて算出され（評価値は０〜１の範囲の実数である）、その結果を用いて弱識別器が評価値の高い順にソートされる。この処理は、学習サンプルを変えながら繰り返し実行され、最終的に上位を示す所定数の弱識別器が強識別器に組み込まれて採用される。

次に、上記の人物領域の抽出に随伴して、人物の位置座標と身長を特定する処理がなされる。以下、図２２及び図２３の説明図と、図２４のフローチャートを用いて説明する。まず、図２２に示すように、検出された人物領域ＰＡの下端縁位置を接地点ｐとしてみなし、その画面上の座標ｐ（ξ，η）を読み取り（図２４（以下、同じ）：Ｓ１２０１）、前述の位置・高さ変換関係情報を参照し、物の姿勢により人物領域の高さ方向寸法は変化するので、最も直立状態に近いと思われる人物領域の画像を全そのフレーム内を検索して特定する（Ｓ１２０３）。例えば、歩行中の人物については、両足を開いている姿勢よりは、先に踏み出した足に対し後方に位置する反対側の足を次に踏み出す過程で、先に踏み出したほうの足にほぼ重なるときが直立姿勢に最も近いから、そのようになる画像フレーム上での人物領域を用いて領域の高さｈを画面上で測定する（Ｓ１２０４）。そして、図２３に示すように、前述の位置・高さ変換関係情報に含まれる変換係数αを用いてこれを実身長Ｈに変換する（Ｓ１２０５）。

また、人物特徴情報抽出部１２２は、さらに、各部位の動作を解析する処理（ステップＳ１５）を行なうことが好ましい。例えば、頭ｐ１については、頭の動作（動きや向き）が検出される。人体の部位のうち、認識が最も容易であるのは頭であると言われている。最初に頭ｐ１を抽出することで頭の向きが分かれば、他の部位の状態や動く方向等を特定し易い。また、例えば、頭が右を向いている場合、後述のパーツ化において、左手や左足は隠れていて見えない可能性があるという推定を働かせることも可能となる。

歩行中の人物の動作であれば、動作は歩容情報として解析取得される。この場合、胴体ｐ２の動作としては、例えば、図２５に示すように、上半身角度ψなどの姿勢や猫背か否か等が検出される。右手ｐ３・左手ｐ４の動作は、例えば、手の振り各λ等として検出される。右足ｐ５・左足ｐ６の動作としては、例えば、歩速、歩幅ＷＬ、ひざ曲げ角などが検出される。ここで検出された歩容等の動作解析情報は、動作解析情報として映像表示処理部１３へ送られ、当該人物を表すアバターの動きや向きに反映される。

また、動作の解析情報として重要なのは、人物の移動方向である。図２６に示すように、撮影された動画のフレーム別に人物の座標情報Ｐ１、Ｐ２、・・・Ｐｎが特定された場合、その座標情報Ｐ１、Ｐ２、・・・Ｐｎの組は当該人物のフレーム間の移動軌跡情報を構成することとなる。そして、隣接するフレーム間の座標Ｐｎ、Ｐｎ−１の位置ベクトルＶｎ、Ｖｎ−１の差Ｖｎ−Ｖｎ−１（動作方向ベクトル）は位置Ｐｎでの人物の動作方向（移動方向）を表す指標として使用でき（すなわち、動作方向情報）、後述のアバター画像の方向決定にも有効活用される。

次に、人物特徴情報抽出部１２２は、図１０のステップＳ１２で抽出された人物領域Ｐ（図１１の（ａ）参照）を、頭ｐ１、胴体ｐ２、右手ｐ３、左手ｐ４、右足ｐ５、左足ｐ６の６部位（図１１の（ｂ）参照）にパーツ化する（ステップＳ１３）。そして、パーツ化された６部位のそれぞれについて、外観的な特徴の解析を行なう（ステップＳ１４）。例えば、頭ｐ１については、髪型、髪色、帽子の有無等が特徴量として抽出される。胴体ｐ２については、体形、着衣の形、着衣の色、リュックサックなどの特定の持物の有無等が特徴量として抽出される。右手ｐ３・左手ｐ４についての特徴量は、例えば、体形、着衣の形（あるいは種別）、着衣の色、持物等である。右足ｐ５・左足ｐ６についての特徴量は、例えば、体形、着衣の形（あるいは種別）、着衣の色、靴等である。

なお、パーツ化する際のパーツ数は６つに限定されない。処理負荷を軽減する目的で、例えば、頭、上半身、および下半身、の３部位に分割することも考えられる。逆に、よりリアルなアバターを生成するために、６つよりも多い数のパーツに分割することも考えられる。抽出されたパーツごとの特徴量は、特徴データとして出力され、映像表示処理部１３へ送られる。

抽出される特徴量（特徴データ）のバリエーションは、後述の通り、映像表示処理部１３で生成される当該人物のアバター画像において、各部位の構成要素（部分画像）のバリエーションに対応する。例えば、髪型の特徴量として「長髪」が抽出された場合は、アバターの頭髪として「長髪」の部分画像が使用される。また、例えば、胴体が太い人物の場合は、アバターの胴体の部分画像として太い胴体が用いられる。なお、図１９のフローチャートでも説明した通り、図１０のステップＳ１１およびＳ１２において一つのカメラ１１の撮影範囲において複数の人物領域が抽出された場合は、ステップＳ１３〜Ｓ１５の処理は、それぞれの人物領域に対して行われる。そして、得られた人物特徴情報と動作情報は、個々の人物領域を特定するタグ情報と共に、複数カメラ連携部１２３へ送られる。

また、人物特徴情報抽出部１２２は、人物の年齢や性別等の、人物をある程度特定する情報（人物属性情報）をさらに抽出するようにしてもよい。この場合、図１２に示すように、人物特徴情報抽出部１２２は、パーツ化された部位の画像から抽出される特徴量に基づいて、当該人物の年齢や性別を判別する（ステップＳ２３）。例えば、頭ｐ１を捕捉できれば、顔認識技術を利用して、年齢や性別を判別することが可能である。なお、年齢は、１歳きざみの年齢データとして出力しても良いし、例えば「２０歳台」のように年齢ゾーンを表すデータとして出力しても良い。また、ここでは、人物属性情報として性別と年齢を例示したが、人物をある程度特定する情報としては、これ以外に任意の情報を利用できる。例えば、「大人」と「子供」を判別することも考えられる。

上記の場合は、人物を一意に特定するのではなく性別や年齢等で属性付けをするのに対して、顔等の画像と人物の個人情報（氏名等）とが予め登録された人物データベースを利用できる場合には、必要に応じて、頭ｐ１の画像と人物データベースに登録されている顔画像とを照合することにより、個人を一意に特定することも可能である（ステップＳ２４）。これにより、例えば、
（１）犯人逮捕などを目的とする場合は１対１照合
（２）迷子探しなどを目的とする場合は着衣年齢による照合
（３）マーケティング活用などを目的とする場合は大まかな年齢推定のための照合
といった個人識別が可能となる。

図１に戻り、映像表示処理部１３においては、映像表示処理部１３１が、ネットワーク１５から情報を受信して復号化する。復号化された情報には、上述したように、複数のカメラ１１（カメラ１１ａ，１１ｂ・・・）の映像信号から得られた情報（人物特徴情報および座標情報）が含まれており、情報蓄積・統計処理部１３５に履歴データベースとして記憶・蓄積される（人物特徴情報記憶部、動作方向情報記憶部）。図２７は蓄積されている履歴データベースの例を示し、前述の人物特徴情報の一致度から同一と判断される人物に人物ＩＤが振られ、受信の時刻と日付、人物の実空間座標による位置（ｘ座標及びｙ座標）、図２６を用いて説明した動作方向ベクトル、歩き方（歩容）、体格、身長、頭髪の色、上半身の着衣の色、下半身の着衣の色、顔の人物特徴情報、性別、年齢などの抽出データと対応付けて順次記憶されている。また、同じＩＤについて時刻と位置の情報は、対応する人物が移動するに伴い複数のカメラにより繰り返し抽出されたものが全て記録されており、監視エリア内の人物の行動把握あるいは動線解析に使用される（図２６参照）。また、日付やＩＤ部分は＃１、＃２等に省略して表現しているが、上半身及び下半身の服装の種別（形態）、帽子の有無、持ち物などの情報も対応付けられている。さらに、歩容のデータは、歩幅ＷＬ、腕振り角λ、上半身角ψ、膝曲げ角δ、一歩周期τなどを含むものとなっている。また、人物画像の解像度の目安とするために、撮影画面上での身長の情報も合わせて記録されている。この人物画像寸法の情報は、特徴量の属性ごとに、当該特徴量を抽出した際の値が個別に記憶される。

以下、受信部側の処理について説明する。
アバター生成部１３２は、受け取った人物特徴情報に基づいて、各人物のアバター画像を生成する。すなわち、人物特徴情報には、前述したように、人物のパーツごとの特徴を表す特徴データが含まれている。アバター生成部１３２は、この特徴データのそれぞれに対応するアバターの部分画像を予め記憶したパーツデータベース（図１の情報蓄積・統計処理部１３５内に形成されているものとするが、ネットワーク上の別の記憶装置やサーバであってもよい）にアクセス可能である。例えば、ある人物の頭ｐ１の特徴データとして「長髪」が含まれる場合は、長髪の部分画像を上記パーツデータベースから取得する。アバター生成部１３２は、人物の各パーツの特徴データに基づいてアバターの部分画像を組み合わせることにより、当該人物のアバター画像を生成する。つまり、この実施形態では、図２７の人物特徴情報がアバターパーツを指定する情報を兼ねており、パーツデータベース上のアバターの部分画像データととともにアバターデータを構成していると見ることができる。

図２８は、そのパーツデータベースの構築例を概念的に示すものである。該データベースには、身長や体形を標準に設定したときの上半身及び下半身の着衣、髪型、持ち物等からなる、アバター構成要素となるアバター断片図形データが含まれている。アバター構成要素ごとに各アバター断片図形データは、カメラからの視点による人物の見え方（カメラに対する向き）が反映されるように、実空間における人物の移動方向に応じて異なる表現形態に構成されている。本実施形態では、図２９に示すように、カメラ１１に対する人物Ｐの向きを８方向（Ｊ１〜Ｊ８）に定め、図１１で説明した人体パーツｐ１〜ｐ６に対応する形で分割されたアバター断片図形データ（上半身着衣ではｐ２〜ｐ４、下半身着衣ではｐ５、ｐ６）が、該８方向における見え方に対応して各々８通り（ｖ１〜ｖ８：引数はＪ１〜Ｊ８に対応）ずつ用意されている。また、靴や頭髪、持物は分割されないが、これも８通りずつ用意されている。

図３０の左は、図２９における方向ｖ７が指定されたときのアバター断片図形データの選択例を、同じく右は方向ｖ１が指定されたときのアバター断片図形データの選択例を示すものである。上半身についてはＴシャツが、下半身についてはジーンズが選択され、図２８のデータから、方向ｖ７及びｖ１に対応するものがそれぞれ選択されている。図３１はそれらを合成して得られるアバター画像ＡＶ７及びＡＶ１である。なお、顔については、抽出された顔特徴情報を反映した輪郭や人相のものをその都度方向別に合成するようにしているが、性別や年齢に応じて標準的な顔（ないし頭部）の画像をデフォルトとして用意しておいてもよい。

また、アバターデータ（あるいはアバター断片図形データ）は、図３２に示すように、物歩行動作を細分化したコマデータの集合からなるアバターアニメーションデータとして構成されている。図３２の例では、右足を踏み出して着地するまでの複数コマ（ここではＡＦＭ１〜４の４コマ）と、左足を踏み出して着地するまでの４コマ（ＡＦＭ５〜８）の２歩分１周期を８コマのアニメーションで表現している。図２８に示すように、少なくとも下半身着衣と上半身着衣については、アバター断片図形データの種別ごとにこの８コマのデータが用意されている。

そして、各アバター断片の画像データは、図３３に示すように、二次元のベクトル図形データとして構成されている。該ベクトル図形データは図形外形線を特定する頂点座標をベクトルで周回連結したものであり、一次変換変形処理を施すと、頂点座標もその一次変換を表す行列演算に従って移動し、移動後の点を再びベクトル連結することで、図形の拡大や縮小、回転などの変形処理を簡単に実行することができる。そして、そのベクトルで囲まれた図形の内部はベクトル線を基準とした内外判断により着色領域が特定され、指定の色にて領域内の画素をラスタライジングすることにより、図２７の人物特徴情報が規定する色情報を最終的なアバター画像ＶＤＲに容易に反映させることができる。

図３４は、受信部側の処理の流れを示すフローチャートである。まず、ネットワークを介して送られてくる人物ＩＤと動作情報（座標点）及び人物特徴情報を受信する（Ｓ６０１）。次に、受信した座標情報Ｐを、複数のカメラが共有する実空間座標上にプロットする（Ｓ６０２）。そして、前後のフレームにおける人物の座標Ｐの位置変化から人物の動作方向（歩行方向）ベクトルを演算するとともに、図２８の８つの方向Ｊ１〜Ｊ８から、その動作方向ベクトルの向きに最も近いものを選択してアバター画像の配置方向として決定する（Ｓ６０３）。

あるカメラの視野から移動して、着目している別のカメラの視野に初めて入ってきた人物については、先のカメラの画像からすでにＩＤ特定されてアバター画像を作成済みの場合がある。また、本発明の場合、図１にてサブエリアＳＡ内の人物は、そのサブエリアＳＡに設置された２つのカメラ１１ａ及び１１ｂにより異なるアングルで同時に撮影される場合もあり、これら２つのカメラ１１ａ及び１１ｂがそれぞれ別ＩＤでこの人物の特徴情報を抽出している場合がある。そこで、Ｓ６０４では、受信したＩＤとともに送られてきた動作方向情報及び人物特徴情報に対し、一定条件で適合する特徴情報を有した人物がすでに特定されていないかどうかを、図２７の履歴データベース上で検索する。Ｓ６０７で適合する人物がいなければ新規アバター画像の作成処理となる（Ｓ６０９）。図３４は、アバター作成処理の詳細を示すもので、Ｓ６１０１で特徴データに含まれる髪型、服装、持ち物及びそれらの色を特定する。次に、Ｓ６１０２で、特定された特徴に対応するアバター断片図形のうち、決定されたアバター画像配置方向（Ｊ１〜Ｊ８のいずれか）に対応するもの（図２９のｖ１〜ｖ８のいずれか）を読み出す。次に、Ｓ６１０３では、特徴データに含まれる身長・体形・歩容情報によりアバター断片図形を補正し、Ｓ６１０４で指定された色にアバター断片図形を着色する。最後にＳ６１０５で各アバター断片を合成することによりアバターデータが完成する。

図３３に戻り、Ｓ６０４で適合する特徴情報を有した人物の履歴があった場合はＳ６０９に進み、受信した人物ＩＤを履歴データベース内の該当する人物のＩＤで更新する。例えば図２において、太い破線の矢印で示すごとく、左上のサブエリアＳＡの有効撮影範囲Ｅｐａから有効撮影範囲Ｅｐｂを経て、さらに左下のサブエリアＳＡの有効撮影範囲Ｅｐｂを通過し、最終的に左下のサブエリアＳＡの有効撮影範囲に同じ人物が歩いて移動する様子考える。具体的には、左上のサブエリアＳＡのカメラ１１ａ（ステップＱ１）→同カメラ１１ｂ（ステップＱ２）→左下のサブエリアＳＡのカメラ１１ｂ（ステップＱ３）→同カメラ１１ａ（ステップＱ４）が順次撮影したとする。このとき、多数の人物がエリア内の往来しており、各カメラ１１ａ，１１ｂには着目する人物を含めて複数の人物が写り込んでいる場合を考慮する。ステップＱ１、すなわち左上のサブエリアＳＡのカメラ１１ａでは着衣や顔も含め比較的に明瞭に人物特徴情報及び動作方向情報が抽出され、図２７の履歴データベースに人物ＩＤと対応付けて記憶蓄積されている。ここで、ステップＱ２及びＱ３では、対応するカメラの有効撮影範囲の通過区間が短く、対応するカメラ（１１ｂ）による撮影のコマが途切れたり、別の人物やブースの影に入って座標情報及び動作方向情報の抽出ができず、ステップＱ４においてカメラ１１ａの映像にて着目している人物の座標情報及び動作方向情報の取得が再開されたとする。この場合、ステップＱ１にて有効撮影範囲Ｅｐａを脱出する直前に取得されている、当該人物のＩＤに対応する動作方向情報（及び座標情報）とその抽出時刻を履歴データベースから読み出す。そして、ステップＱ４で抽出されている複数人物の動作方向情報及び抽出時刻のうち、履歴データベースから読み出された座標情報と抽出時刻から、一定時間内に抽出されかつ動作方向情報が一定の範囲内にて類似しているもの、例えば動作方向ベクトルのｘ成分とｙ成分との差分が一定の範囲内に収まっているものが存在すれば、その人物をステップＱ１にて特定されている人物と同一であると判断するための、少なくとも一つの条件として採用することができる。例えば、ステップＱ１とステップＱ４における座標移動距離を、成人男性の徒歩速度で割った時間を基準所要時間Ｔ０とし、これを両ステップの抽出時刻の差分Ｔｒと比較したとき、０．５Ｔｏ＜Ｔｒ＜２Ｔ０であれば、同一人物とする可能性ありと判断する。この場合、直ちに同一人物であると判定して、図２７において対応するＩＤの人物特徴情報が示すアバターデータを用いてアバター画像を表示するようにしてもよいし、ステップＱ４にて、動作方向情報が一致した人物の映像から改めて人物特徴情報を抽出し、人物異同をさらに高精度に判定するようにしてもよい（このとき、ステップＱ４においてより詳細な人物特徴情報が抽出された場合は、後述のごとく、これに基づいてアバター画像を更新することもできる）。

以下、人物特徴情報の照合に基づいた同一人物か否かを判定する処理の例について、主に色情報の照合による場合を中心に説明する。図３６は、ある動画（▲１▼）の一連のフレームに写り込んだ人物画像の、履歴として記録する色特徴情報の生成処理の流れを示すものである（複数の人物（Ｎ）が写り込んでいる場合は、全ての人物について処理を繰り返す（Ｄ２０１→Ｄ２０７）。Ｄ２０２では、検出されている人物領域の頭部、上半身及び下半身への分割を行なう。

上記の分割は、図３４に示すように、成人における分割比の統計的な平均を目安に、図３９に示すように一義的に行ってもよい（例えば、図３９では、頭：上半身：下半身＝３：１０：１１）。しかし、このような分割方法では図４０の右に示すように、人体構造上の上半身と下半身とにまたがって装着されるワンピースやコートなどの着衣の場合、本来一体の着衣の中間に境界を生じる形で誤分割されてしまう問題を生ずることがある。しかし、図２１で説明したＣＳＳ特徴量解析時において、同一色彩であると判定された個々の領域（着衣、頭髪、持ち物（あるいは、露出した肌領域））の境界に基づいて分割を行なうようにすることで、図４１に示すように、着衣の形状および色を的確に反映した分割が可能となる。この手法は、俯瞰で撮影した動画像のように少々急な角度がついた画像において人物領域を分割する場合にも有効である。

次にＤ２０３では、色ヒストグラム作成時に取得されたＲＧＢによる色分布の情報を分割された各領域の色情報として取得する。また、色ヒストグラムが示す色分布の代表値（例えば平均値）も合わせて算出され、頭部（髪の毛や帽子等）、上半身着衣、下半身着衣、及び靴などのアバターの構成要素の表示色として使用される。この情報は、表色系の定義に従い、Ｄ２０４でＸＹＺ表色系の値に、さらにＤ２０５でそのＸＹＺ表色系の値をＬ^＊ａ^＊ｂ^＊表色系の値に順次変換される。変換式は以下の通りである。まず、人物領域から抽出したＲＧＢ値を（９）〜（１１）式によりＸＹＺ値へ変換する。
値を表すものであり、その白色点の基準として適当な色温度を有する標準光源を指定する必要がある。（１２）式で用いられているＸｎ、Ｙｎ、Ｚｎは基準となる白色点のＸＹＺ表色系での三刺激値を意味し、例えば最も自然光に近いとされるＤ６５光源を使用した場合は、Ｘｎ＝９８．０７２、Ｙｎ＝１００、Ｚｎ＝１１８．２２５となる。ただし光源色については、監視対象エリアの照明や外光のスペクトル分布を考慮してその都度適当なものを選択することも可能である。

が張る二次元平面上の極座標にて角度成分が色相を規定し、動径成分が彩度を規定する。
負方向が青となるように、符号の相違が互いに補色関係をなすように定められている点に
くなって無彩色に近づいてゆく。

れ、抽出した人物の色特徴情報として記憶される。次に、図３７は、照合対象となる動画▲２▼の処理についてのフローチャートである。Ｄ３０１〜Ｄ３０８までの処理は図３６の動画▲１▼の場合の処理と全く同じであり、Ｄ３０９で動画▲１▼と動画▲２▼についてそれぞれ得られ
そうでない場合は同一人物でないと判定する。

果に関係なくその人物は別人であると判定する。しかし別人であると判断できるパターンはこれ以外にも存在し、さらに同一人物であると判断できるパターンも複数ある。この場合、異同識別における判定方法の詳細は、例えば図４１のフローチャートのようにするとよい。

Ｄ４０１〜Ｄ４０３は、図３６及び図３７の処理と同じであり、Ｄ４０４では、分割し
たりが閾値未満と判定された場合においては、より詳細な解析Ｄ４０４へ進む。このステ
て認識される範囲にあるかどうかを調べ、全ての領域について有彩色であった場合は同一
４において、彩度＋色相では判定できない無彩色の領域が含まれている場合にはＤ４０５に進み、分割した領域のどれか１つでも明度パラメータＬ^＊が閾値を超えていれば同一人物でないと判断する。この明度にかかる閾値は当然、外光や反射など外乱の影響で変動しや
る）が設定される。

図３４に戻り、Ｓ６０５にて、新たにＩＤとともに受信した特徴情報が特定する人物が、上記のような処理により、すでに履歴データベース上に存在する人物と同一であると判定された場合はＳ６０６に進み、受信した人物ＩＤを履歴データベース上の該当する人物のＩＤで更新し、Ｓ６１０の人物情報学習・補正処理に進む。この処理では、新たに受信した特徴情報が、履歴データベース上の特徴情報と比較して、より多くの、あるいは少なくとも一つの属性にてより精度の高い特徴情報を含んでいれば、履歴データベース上の古い特徴情報を、受信した特徴情報を用いて更新する処理を行い、そうでない場合は更新を行わない処理となる。図４２は、その処理の一例を示すフローチャートである。

まず、Ｓ７０１で、履歴データベース上のＩＤに対応する特徴情報に顔の特徴量の情報が含まれているか否かを判断する。図１において監視対象エリアであるＷＡは展示会場であり、図４４に示すごとく、来場者である人物ＨＭＰ１は入口ＥＴから入場する際に、エントランスカメラ１１ｅにより顔を含めた全身が撮影される。この画像は人物ＨＭＰ１の正面画像であるため、頭髪、上半身及び下半身の着衣、体形及び身長などの特徴情報はほぼ問題なく抽出される。また、図４４のごとく、顔ＦＣＰがカメラ方向正面を向いていれば、顔特徴量も十分な精度で抽出される。しかし、図４５に示すごとく人物ＨＭＰ２が、エントランスカメラ１１ｅの撮影視野を通過するまでの間、終始うつむいているような場合は、顔の特徴量だけが抽出できない場合も比較的高い頻度で発生する。また、二人の人物が前後に接近しあって入場してきた場合、後方の人物の特徴情報が抽出できなくなる場合もある。これらの場合、別のカメラで顔の特徴量が抽出されるまでの間は、顔特徴量（後者の場合は、他の特徴量も）の情報は欠落するか、デフォルトのダミーデータで置き換えられた状態になっている。さらに、顔特徴量から連動して抽出される年齢や性別の情報も欠落してしまう可能性が高い。そこで、Ｓ７０２で履歴データベース上にて特徴情報に顔特徴量の情報が含まれていなければＳ７０４に進み、新規受信した特徴情報に含まれる顔特徴量の情報を補充する形で更新する。

ここで、図２において、エントランスカメラ１１ｅでの撮影時に顔特徴量が抽出できなかった場合、該当人物の顔特徴量が抽出できる次の機会は、その人物が監視対象エリアＷＡを移動して、どれかのサブエリアＳＡに設置された２つのカメラ１１ａないし１１ｂに撮影される際に到来する。例えば図４６に示すように、一方のカメラ（例えば１１ａ）に対して人物ＨＭＰ３が背を向けて立っている場合など、顔撮影に不利な姿勢で立っている場合、そのカメラでの人物ＨＭＰ３の顔特徴量は抽出できない（頭髪、着衣などの情報は抽出可能である）。一方、サブエリアＳＡ内のカメラ１１ａないし１１ｂは対角線方向に有効撮影範囲ＥＰａ，ＥＰｂを対向させる形で配置されているので、他方のカメラ（１１ｂ）であれば人物ＨＭＰ４のように顔ＦＣＰの特徴量を十分にとらえることができる。

図４２に戻り、Ｓ７０１で履歴データベースに顔特徴量が含まれていた場合はＳ７０２に進み、新規受信した人物領域の画像寸法（身長）Ｓｎをリードする。Ｓ７０３では、履歴データベース上の対応する人物の、顔特徴量を抽出したときの画像寸法（身長）ＳｆｃとＳｎとを比較する（図４７）。もし、Ｓｎのほうが大きければＳ７０４に進み、新規受信した特徴情報に顔特徴情報が含まれているか否かを判断する。もし含まれていれば、画像寸法の大きい新規受信した顔特徴量のほうが解像度も高いと考えられるので、図５３に示すように、解像度の低い古い顔特徴量ＦＣＡ’を、新規受信した顔特徴量ＦＣＡで更新し（図４２：Ｓ７０５）、Ｓ７０６に進む。一方、新規受信した特徴情報に顔特徴情報が含まれていなければ、この処理はスキップする。また、Ｓ７０３でＳｎのほうがＳｆｃよりも小さければ、直ちに次のＳ７０６へ向かう流れとなる。

Ｓ７０６では、履歴データベースの特徴情報において顔特徴量以外にも欠落している属性の特徴量が存在し、新規受信した特徴情報にこれが含まれている場合（例えば、性別や年齢など）、それら特徴情報を補う形で更新する。特に、歩容については、図４４に示すような、エントランスカメラ１１ｅによる正面画像では特徴量を抽出できず、欠落状態となるケースが多くなる。そこで、図５０のように、別のカメラで人物ＨＭＰ７を側方から撮影した動画が取得でき、歩容特徴量を抽出できた場合は、履歴データベースにおいてこれを補う形で更新することができる。

続いてＳ７０７では、履歴データベースの特徴情報における色特徴量について、同様に更新の余地がないかどうかを調べる。すなわち、Ｓ７０７では、履歴データベース上の対応する人物につき、前述のＣＳＳ特徴量により頭髪、着衣及び持ち物等の色特徴量を抽出したときの画像寸法（身長）Ｓｆｃと、前述のＳｎとを比較する。もし、Ｓｎのほうが大きければＳ７０８に進み、新規受信した特徴情報に新たな色特徴量の情報が含まれているか否かを判断する。もし含まれていれば、画像寸法の大きい新規受信した特徴情報のほうが、色識別に対する解像度も高いと考えられるので、図４９に示すように、解像度の低い古い各領域の色特徴量ＣＬ１’及びＣＬ２’を、新規受信した色特徴量ＣＬ１及びＣＬ２で更新し（図４２：Ｓ７０９）、Ｓ７１０に進む。一方、含まれていなければ、この処理はスキップする。また、Ｓ７０７でＳｎのほうがＳｆｃよりも小さければ、直ちに次のＳ７１０へ向かう流れとなる。

図５４に示すように、遠方であれば、着衣の色特徴量ＣＬ１’及びＣＬ２’は領域全体の平均的な色彩にて視認され、アバターにおける着衣も、その平均的に視認される色彩にて単一色に設定されることとなる。他方、別のカメラにより、同じ人物がより近くから撮影された場合は、周知のパターン認識手法により、着衣の模様（パターン）まで識別できる場合がある。このとき、撮影画像から着衣の模様をパターン分離して、これをアバターに反映させることも可能となる。

Ｓ７１０では、履歴データベースの特徴情報における歩容特徴量について、更新の余地がないかどうかを調べる。すなわち、Ｓ７１０では、履歴データベース上の対応する人物につき、歩容特徴量を抽出したときの画像寸法（身長）Ｓｆｃと、前述のＳｎとを比較する。もし、Ｓｎのほうが大きければＳ７１１に進み、新規受信した特徴情報に新たな歩容特徴量の情報が含まれているか否かを判断する。もし含まれていれば、図５１に示すように、画像寸法の大きい新規受信した歩容特徴量（人物ＭＨＰ１０）のほうが、古い歩容特徴情報（人物ＨＭＰ１０’）よりも歩容に対する解像度も高いと考えられるので、新規受信した歩容特徴量で更新し（図４２：Ｓ７１２）、処理を終了する。また、Ｓ７１０でＳｎのほうがＳｆｃよりも小さければ、同様に処理を終了する。図５１では、遠方のため詳細な歩容が当初不明であった人物ＨＭＰ１０’を、をより近くから撮影できたことで、本来の人物ＨＭＰ１０の歩容がやや内またであることが明確となり、これを反映することでよりリアルなアバター表示が可能となる。

また、図１のサブエリアＳＡごとに複数のカメラ１１ａ，１１ｂで撮影できることの利点として、図５１に示すように、あるカメラ（例えば１１ａ）による撮影画像にて、着目している人物ＨＭＰ８’が障害物（ここでは、別の人物ＨＭＰ９’）の陰に隠れてしまい、特徴量だけでなく位置情報の特定も不能となってしまう場合がある。このとき、別のカメラ（例えば１１ｂ）の撮影視野であれば、カメラに対する障害物ＨＭＰ９と人物ＨＭＰ８との位置関係が逆転し、特徴量や位置情報を問題なく抽出できる確率が高くなる。特に、人物の位置の時間変化を追跡する場合、１アングルのカメラでは、こうした障害物によって一部の位置情報が欠落してしまうような場合でも、複数アングルのカメラが使用できる場合は、一方のカメラでは欠落してしまう位置情報を他のカメラが補うことができ、途切れのない追跡が可能となる。

以上のようにして履歴データベース上の各人物の特徴情報が更新されれば、図４３に示すフローチャートのごとく、これを受けてアバター画像のデータも、その更新された特徴情報にて補正され、随時学習・進化を遂げてゆく。

次に、図３４に戻り、図１のアバター生成部１３２で生成された各人物のアバター画像は、それぞれの人物の座標情報と共に、画像合成部１３３へ送られ、アバター・背景合成処理となる（Ｓ６１１）。画像合成部１３３は、それぞれのカメラ１１の撮影範囲の背景画像を予め記憶したデータベース（情報蓄積・統計処理部１３５内）にアクセス可能である。画像合成部１３３は、それぞれのカメラ１１の背景画像を上記データベースから取得し、アバター生成部１３２で生成されたアバター画像と合成する。合成画像はモニタ１４へ出力される。このときに、アバター画像を配置する位置は、当該アバターの人物の座標情報に基づく。また、画像合成部１３３は、人物特徴情報抽出部１２２で得られた動作解析情報（人物の動きや向きを表すデータ）に基づいて、アバターの向きを変えたり、アバターの動く速さを調整したりすることができる。なお、映像解析部１２からの伝送を、人物特徴情報抽出部１２２および座標情報抽出部１２１や、アバター生成部１３２および画像合成部１３３が処理可能な範囲で、できるだけ高いフレームレートで行なうことにより、カメラ１１の映像信号をほぼリアルタイムにモニタ１４へ表示させることができる。

図５４は、アバター背景・合成処理の流れを示すものである。まず、Ｓ６１１０１では、特定されたＩＤ及び方向に対応するアバターデータを読み出す。このアバターデータはアニメーションを構成するコマデータの集合であり（図３２）、移動する座標点Ｐの速度と歩幅に合わせて、アバターアニメーションンのコマを動画再生のフレームに割り振る（Ｓ６１１０２）。

合成映像の表示形態であるが、この実施形態では、カメラ１１の撮影画面と同じ視野での表示モード（カメラ実映像モード）と、複数カメラの統合表示モードのいずれかを選択できるようになっている。このモード選択は、図１にて映像表示処理部１３に接続された入力部（キーボードやタッチパネルで構成される）により切り替えが可能である。カメラ実映像モードが選択された場合はＳ６１１０４に進み、同時表示するすべてのアバターの位置座標Ｐ（ｘ，ｙ，０）を、対応するカメラの実空間視野領域にプロットする。Ｓ６１１０５では、プロットされた位置座標Ｐとともに実空間視野領域を、対応するカメラの座標系に射影変換する。

ここで、位置座標Ｐの決定に使用したカメラ二次元座標系は、すでに説明したごとく、レンズ歪を考慮して、図８の左の状態から右の状態へと一旦補正されている。この場合、補正前の座標系で視野の全体が出力画面に収まるようになっていたものが、補正後は視野の端の領域がモニタ（図１：符号１４）の画面からはみ出ており、単純に射影変換しただけでは、カメラの撮影画像を直接見る場合と比較して、歪補正した分だけ画像が変化して違和感を生じるほか、視野の端に写り込んでいた人物のアバター画像を表示できなくなる場合もある。そこで、図５４のＳ６１１０６では、射影変換画像に元のレンズ歪の影響を復活させるための逆歪補正を施し、視野の形状を元に戻す。これにより、上記の不具合は解消されることとなる。

そして、Ｓ６１１０７では、マッピングされた人物座標位置Ｐとともに、射影変換及び歪逆補正を経てカメラ二次元座標系に戻された出力平面上に、選択されている背景映像を重ね合わせ（Ｓ６１１０７）、変換後の（カメラ二次元座標系による）各位置ｐに、上記のごとく寸法及び向きを調整されたアバターデータを貼付け、合成する。なお、図１のモニタ１４の画面は、分割することにより複数のカメラ１１の映像信号を同時に表示しても良いし、モニタ１４の画面を切り替え操作することにより、複数のカメラ１１のうちのいずれかの映像信号のみを表示するようにしても良い。

一方、Ｓ６１１０４で統合表示モードが選択されている場合はＳ１０００に進み、統合モードでの表示を行なう。図５５はその詳細を示すフローチャートであり、Ｓ１００１では、同時表示するすべてのアバターの位置Ｐ（ｘ，ｙ，０）及び方向を、複数カメラが共有する実空間にプロットする。そして、Ｓ１００２では、前後のフレームにおける人物位置座標Ｐを重ね合わせて動線軌跡データを作成する。本実施形態では、図５６のような平面視による表示形態と、図５７のような俯瞰視による表示形態のいずれかから選択できるようになっている。

平面視を選択した場合はＳ１００４に進み、図５６に示すように、予め用意された平面視背景画像ＰＢＰを貼付ける。そして、アバター画像ＡＶを、平面視背景画像上にプロットし表示する。この場合、平面視用のアバター画像を別に用意してもよいし、アバターを横方向に表示して人物特徴情報を把握しやすくしてもよい。そして、動線表示が指定され場合は、前述の動線軌跡データに基づいて、対応するアバター画像ＡＶの動線画像ＭＬを表示する。

一方、Ｓ１００３で俯瞰視を選択した場合はＳ１００６に進み、俯瞰角度及び方向に応じてアバターの実空間位置、方向及び動線データを射影変換し、Ｓ１００で俯瞰視の場合の背景画像を重ね合わせる。背景画像については、俯瞰視用の撮影画像を用意して用いてもよいし、三次元背景画像データ（例えば三次元コンピュータグラフィックス（ＣＧ）データ）を用意して射影変換により俯瞰視化してもよい。Ｓ１００８で、射影変換後のアバターの方向に対応するアバター画像を読み出し、図５７に示すように、俯瞰視背景画像ＰＢＰＳ上に貼付けアバター画像ＡＶＳを貼りつける。この場合も、動線表示が指定され場合は、前述の動線軌跡データに基づいて、対応するアバター画像ＡＶＳの動線画像ＭＬＳを表示する。

なお、アバターデータは三次元アバターデータを用い、アバター画像を、図５８に示すように、三次元ＣＧ画像として表示するようにしてもよい。この場合、アバター画像は最初から三次元化されたアバターオブジェクトとして用意されるので、指定された方向への配置や回転も三次元的に自由に設定できる。この場合、画像合成部１３３（図１）は、配置方向が決定された実空間上の三次元のアバターオブジェクトを背景画像の二次元座標系に射影変換することにより二次元アバターデータを生成し、該二次元アバターデータに基づくアバター画像を背景画像と合成する処理を行なう。

以上説明したごとく、カメラ１１の映像信号から人物の特徴量と位置座標とを抽出し、抽出されたデータのみを伝送することにより、従来のように映像信号をそのまま圧縮して伝送する場合に比べて、ネットワーク１５の帯域を有効に利用することができる。また、モニタ１４に人物の映像がそのまま映されるのではなく、擬人化（アバター化）された状態で表示するので、街頭の防犯カメラのように不特定多数の人物を撮影する場合に、プライバシーを侵害しないという利点がある。例えば、図４に示した撮影画像中の人物は、図５に示すようなアバターとしてモニタ１４に表示される。また、それぞれのアバターは、映像から抽出された人物特徴情報に基づいて、それぞれの人物の特徴を表すデザインになっているので、どのような人物が撮影範囲内にいるのかを把握することができる。

また、上述の実施形態において、カメラ１１の映像信号から人物の人物特徴情報や座標情報を取得し、さらには、その人物の動きや向きを表す動作解析情報や、年齢・性別等の人物属性情報を取得する例を説明した。このような情報を利用して、様々な応用例が考えられる。例えば、図５９に示すように、上記の情報を画像合成部１３３において処理加工し、モニタ１４に複数の画面を表示するようにしても良い。図５９の例では、モニタ１４に、実映像空間画面８１、特徴量再現画面８２、統計空間画面８３、動線解析空間画面８４、個人識別空間画面８５が並べて表示されている。或いは、アバターを見ながら必要に応じて実映像をストリーミングするといった方法でもよい。また送信側で顔を認識した時にその顔のキャプチャーを送信側で録画しておき、受信側からの要求でアバターと紐付された顔画像を受信側の要求により受け取ることができるように構成してもよい。実映像空間画面８１は、複数のカメラ１１からの映像信号を、人物をアバターに置き換えた状態で表示する画面である。

特徴量再現画面８２は、複数台のカメラ１１からの映像を表示する画面であり、人物がアバターに置き換えられ、かつ、背景画像もグラフィック表示にしたものである。なお、図５９の例では、複数台のカメラ１１からの映像を三次元的に統合して、特徴量再現画面８２が生成されている。すなわち、複数個所に設置された複数台のカメラで撮影した映像を組み合わせて、俯瞰画像として特徴量再現画面８２を構成する。例えば、特徴量再現画面８２は、駅構内（ホームと改札口周辺）とその周辺の店舗の様子を表す画面である。この例では、例えば、駅のホームの設置カメラ、改札口周辺の設置カメラ、および、複数の店舗のそれぞれに設置されたカメラ、からそれぞれ取得された映像信号を用いる。一台のカメラでこの全ての領域を撮影することは不可能であるが、複数個所に設置された複数台のカメラで撮影された映像を三次元的に組み合わせることにより、このような俯瞰画像的な画面を構成することができる。

また、カメラの映像信号から抽出された動作解析情報には、人物の向きや動いている方向についての情報が含まれている。この情報を利用して、実際の人物の向きに合うようにアバターを配置することにより、特徴量再現画面８２において群衆の動きが把握しやすくなるという利点がある。このような特徴量再現画面８２を構成することにより、複数個所に設置されたカメラの映像を統合的に見ることができ、より広い範囲の状況をリアルタイムに監視することが可能になる。また、実映像空間画面８１と同様に、人物がアバターに置き換えられているので、プライバシーを侵害しないという利点がある。また、それぞれのアバターは、映像から抽出された人物特徴情報に基づいて、それぞれの人物の特徴を表すデザインになっているので、どのような人物が撮影範囲内にいるのかを把握することが可能である。

統計空間画面８３は、様々な統計結果を表示する画面である。例えば、あるカメラの撮影範囲内にいる人の数の推移をグラフで表すことができる。あるいは、人物属性情報に基づいて、撮影範囲内にいる人を、性別や年代別にグラフで表しても良い。また、析空間画面８４は、ある人物（アバター）に着目して、その人物がカメラの撮影範囲でどのように移動したかを動線で表示するものである。これは、ある人物（アバター）の座標情報を時系列で取得することにより可能である。さらに、個人識別空間画面８５は、撮影範囲にいる人物の人物属性情報を表示する。図５９の例では、それぞれの人物のアバター画像の顔部分と、性別と年齢とが表示されている。

また、実映像空間画面８１、特徴量再現画面８２、統計空間画面８３、および動線解析空間８４は、ＧＵＩ（グラフィカルユーザインタフェース）機能を有していることが好ましい。例えば、この特徴量再現画面８２において、表示されているアバターの一つを、マウス等のポインティングデバイスを用いて選択すると（図５９では、アバター８２ａ）、このアバターで表されている人物の人物属性情報が、個人識別空間画面８５でハイライト表示される。この例では、アバター８２ａの人物属性情報である「男、３５歳」が、個人識別空間画面８５においてハイライト表示されている。また、これとは逆に、個人識別空間画面８５において、いずれかの人物属性情報を選択すると、特徴量再現画面８２において、選択された人物属性情報に対応するアバター画像がハイライト表示されるようにしても良い。また、特徴量再現画面８２においていずれかのアバターを選択すると、そのアバターの移動経路が、動線解析空間画面８４に表示されるようにしても良い。

以下、監視対象エリアに対するカメラ配置の種々の変形例について説明する。
図６２は、図１の実施形態において、サブエリアＳＡ内のカメラの台数をさらに増やした例を示すものであり、具体的には各サブエリアＳＡの、図１においてはカメラ１１ａ，１１ｂが配置されなかった側の対角線の両端に、それぞれ新たなカメラ１１ｃ，１１ｄを追加した事例を示すものである。このようにすると、カメラの台数は図１よりも余計に必要になるが、サブエリアＳＡ内の全ての領域が最低でもアングルの異なる２台のカメラで撮影されることとなり、特徴量抽出上の死角が生じにくくなり、図５４や図５５で示したように情報抽出が障害物により妨げられる不具合が一層生じにくくなる。特に、各カメラ１１ａ〜１１ｃが設置されるサブエリアＳＡの４つの角部付近は、それぞれ３つのカメラが異なるアングルにより撮影する三重エリアＴＬＡとなり、サブエリアＳＡの中央部は４つのカメラが異なるアングルで撮影する四重エリアＱＬＡとなる。これらのエリアで取得される特徴情報は、特に被写体である人物の立体形状を把握する上で非常に有用であり、該エリアで取得されたが象情報ひいては特徴情報をもとに、図５８に示すような３Ｄアバターを容易に、かつよりリアルに作成することが可能となる。

図６２は、解像度及び撮影視野の異なる複数台のカメラを用いる例である。監視対象エリアＷＡは長方形であり、高解像度カメラであるハイビジョンカメラ１１ａ（第一のカメラ：平面視での撮影視野角は９０°）がエリアの４つのコーナーに配置されている。これらのハイビジョンカメラの有効撮影領域ＥＰａの半径は監視対象エリアＷＡの短辺長さよりも短くなっており、結果として監視対象エリアＷＡの長編方向における中央には、４台のハイビジョンカメラ１１ａの有効撮影領域ＥＰａではカバーされないデッドエリアが短編方向に細長く形成される。そこで、監視対象エリアＷＡの長編方向にてこのデッドエリアを挟んで対向する１対の、標準解像度の広角カメラ１１ｆ，１１ｆ（第二のカメラ：ハイビジョンカメラ１１ａよりも視野角の広いカメラ：図６２では１２０°）を配置し、各々の有効撮影領域Ｅｐｆ，Ｅｐｆによりデッドエリアを被覆するようにしている。

広角カメラ１１ｆの有効撮影領域Ｅｐｆの角度方向における両端縁の部分が、ハイビジョンカメラ１１ａの有効撮影領域ＥＰａの外周縁部分と重なり領域ＤＬＡを形成している。広角カメラ１１ｆの視野の端に位置する画像はレンズ歪の影響により画素密度が下がり解像度が低下しやすいが、これを視野角の小さいハイビジョンカメラ１１ａの有効撮影領域ＥＰａで補うことにより、該エリアでの特徴量抽出精度を高めるようにしている。他方、この重なりエリアはハイビジョンカメラ１１ａの側から見れば、カメラからの距離が有効半径一杯に大きくなるので解像度の点でややハンデがある。しかし、広角カメラ１１ｆの側から見ると被写体までの距離は比較的小さいから、ハイビジョンカメラ１１ａ側で抽出された特徴情報の精度が今一歩の場合も、広角カメラ１１ｆ側での特徴情報で補える可能性もある。本実施形態では、監視対象エリアＷＡの各短辺の両端に位置するカメラ１１ａ，１１ａの各対が作る有効撮影領域ＥＰａの外縁交点の近傍に広角カメラ１１ｆ，１１ｆが配置されている。

また、図６２の例では、デッドエリアの短編方向両端に、広角カメラ１１ｆ，１１ｆの有効撮影領域Ｅｐｆ，１１ｆでも覆いきれない領域がわずかに生じており、これを補う標準解像度カメラ１１ｇ，１１ｇ（広角カメラ１１ｆよりも視野角の狭いカメラ：図６２では９０°）にてそれぞれカバーしている。また、これらカメラ１１ｇ，１１ｇの一方は入口ＥＴに面して配置されており、エントランスカメラにも兼用されている。

図６３は、長方形状の監視対象エリアＷＡを、より少ない台数のカメラでカバーする例を示すものである。具体的には、ハイビジョン仕様の広角カメラ１１ｆ，１１ｆ（ここでは視野角１２０°）を監視対象エリアＷＡの中央にて各々その短編方向を見込むように配置する。これにより、その有効撮影範囲ＥＰｆ，ＥＰｆは監視対象エリアＷＡの短編方向両端域をカバーすることとなる。一方、監視対象エリアＷＡの長辺方向は両端域が広角カメラ１１ｆ，１１ｆでカバーされていることを考慮して、監視対象エリアＷＡの中央から各長辺方向を見込む位置に、広角カメラ１１ｆ，１１ｆよりも視野角の小さいハイビジョンカメラ１１ｇ，１１ｇを配置している。これらのハイビジョンカメラ１１ｇ，１１ｇの有効撮影範囲ＥＰｇ，ＥＰｇは、広角カメラ１１ｆ，１１ｆの有効撮影範囲ＥＰｆ，ＥＰｆの各角度方向両端縁のエリアと重なりを生じさせ、レンズ歪の影響を受けやすい領域における特徴情報の抽出を、互いに補わせるようにしている。なお、広角カメラ１１ｆ，１１ｆの有効撮影範囲ＥＰｆ，ＥＰｆの角度方向両端縁領域は、解像度のハンデが生じやすい半径方向末端に位置する部分を故意に監視対象エリアＷＡの外にはみ出させることにより無効化している。

図６４は、図６３の構成において、広角カメラ１１ｆ，１１ｆからの距離が遠くなるため、解像度確保の上でやや手薄となる監視対象エリアＷＡの４つの角部の領域を、広角カメラ１１ｆよりも視野角の狭い４つの標準仕様カメラ１１ｈにより、広角カメラ１１ｆ，１１ｆとは逆方向から撮影するようにした例である。さらに、図６５は、図６４のカメラレイアウトにおいて、広角カメラ１１ｆ，１１ｆとハイビジョンカメラ１１ｇ，１１ｇの位置関係を入れ替えるとともに、これら４つのカメラを監視対象エリアＷＡの中央の通行不能領域に集合させた例を示すものである。

１ 画像処理装置
１１ａ〜１１ｇ カメラ
１２ 情報送信部
１３ 情報受信部
１４ モニタ
１５ ネットワーク
１２１ 座標情報抽出部
１２２ 人物特徴情報抽出部
１２３ 複数カメラ連携部
１２４ 情報送信部
１３１ 情報受信部
１３２ アバター生成部
１３３ 画像合成部

Claims (23)

1. 監視対象エリアをカメラで撮影して得られる映像内の人物から、当該人物に固有の特徴量を人物特徴情報として抽出する人物特徴情報抽出部と、
   前記カメラの撮影範囲における前記人物の座標情報を抽出する座標情報抽出部と、
   前記人物特徴情報に基づいて前記人物のアバター画像を生成するアバター生成部と、
   前記座標情報に基づいて前記カメラの撮影範囲の背景を表す背景画像に対し前記アバター画像を合成することにより合成画像を生成する画像合成部とを備え、
   前記人物特徴情報抽出部及び前記座標情報抽出部は、前記カメラの撮影範囲において前記特徴量の抽出に必要な解像度が確保可能な撮影範囲を有効撮影範囲と定義したとき、該有効撮影範囲に一部重なりが生ずるよう前記監視対象エリアを互いに異なるアングルにて撮影する複数台のカメラからの映像に基づいて前記人物特徴情報及び前記座標情報を抽出することを特徴とする画像処理装置。
2. 前記アバター生成部は、前記複数台のカメラが撮影した映像から前記人物特徴情報抽出部が同一人物について個別に抽出した人物特徴情報を統合しつつ、当該人物のアバター画像を生成するものである請求項１記載の画像処理装置。
3. 前記画像合成部は、前記複数台のカメラが撮影した映像から前記座標情報抽出部が同一人物について個別に抽出した座標情報を参照して、前記背景画像への前記アバター画像の合成位置を決定する請求項１又は請求項２に記載の画像処理装置。
4. 抽出された前記人物特徴情報を人物ＩＤと対応付けて記憶する人物特徴情報記憶部と、前記人物ＩＤとアバター画像のデータであるアバターデータとを対応付けて記憶するアバターデータ記憶部とを備え、
   前記アバター生成部は、前記カメラが新たに撮影する人物の映像について前記人物特徴情報抽出部が抽出した人物特徴情報を前記人物特徴情報記憶部にて検索するとともに、抽出された人物特徴情報とあらかじめ定められた範囲内にて一致する人物特徴情報が検索された場合に、前記アバター画像生成部は当該検索された人物特徴情報が示す人物ＩＤに対応するアバターデータを前記アバターデータ記憶部から読み出し、そのアバターデータを用いて前記アバター画像を生成する請求項１ないし請求項３のいずれか１項に記載の画像処理装置。
5. 前記人物特徴情報抽出部は、前記座標情報抽出部が抽出する前記座標情報の時間的変化に基づいて前記人物の動作方向情報を抽出するものであり、抽出された前記動作方向情報を人物ＩＤ及び抽出時刻と対応付けて記憶する動作方向情報記憶部と、前記人物ＩＤと前記アバター画像のデータであるアバターデータとを対応付けて記憶するアバターデータ記憶部とを備え、
   前記アバター生成部は、前記カメラが新たに撮影する人物の映像について前記人物特徴情報抽出部が抽出した動作方向情報及び抽出時刻を前記動作方向情報記憶部にて検索するとともに、抽出された動作方向情報及び抽出時刻とあらかじめ定められた範囲内にて一致する動作方向情報が検索された場合に、前記アバター画像生成部は当該検索された動作方向情報が示す人物ＩＤに対応したアバターデータを前記アバターデータ記憶部から読み出し、そのアバターデータを用いて前記アバター画像を生成する請求項１ないし請求項４のいずれか１項に記載の画像処理装置。
6. 前記人物特徴情報抽出部は、カメラ正面に位置する前記人物を互いに反対方向から撮影するとともに、前記特徴量抽出に必要な解像度が確保可能な有効半径にて各カメラのレンズ中心からカメラ視野角がカバーされるよう平面視における前記監視対象エリアへの前記有効撮影範囲の投影を扇形に描いたとき、当該有効撮影範囲の半径方向端縁に葉型の重なり領域が形成されるように配置された１対の前記カメラからの映像に基づいて前記特徴量を抽出するものである請求項１ないし請求項５のいずれか１項に記載の画像処理装置。
7. 前記人物特徴情報抽出部は、矩形をなす前記監視対象エリアの対角線方向の角部に配置された１対の前記カメラからの映像に基づいて前記特徴量を抽出するものである請求項６記載の画像処理装置。
8. 前記人物特徴情報抽出部は、前記監視対象エリアを区画する複数の矩形のサブエリアのそれぞれにおいて対角線方向の角部に配置された前記カメラの各対からの映像に基づいて前記特徴量を抽出するものである請求項６記載の画像処理装置。
9. 前記人物特徴情報抽出部は、前記有効撮影範囲として第一の有効撮影範囲を有する第一のカメラと、該第一のカメラよりも広角の第二の有効撮影範囲を有するとともに、該第二の有効撮影範囲の視野角方向における端部に前記第一の有効撮影範囲が重なるように配置された第二のカメラとを含む前記複数台のカメラからの映像に基づいて前記特徴量を抽出するものである請求項１ないし請求項５のいずれか１項に記載の画像処理装置。
10. 前記人物特徴情報抽出部は、前記複数のカメラの１つのものからの映像による前記人物の前記特徴量の特定が当該カメラと前記人物との間に介在する障害物により妨害された場合に、前記カメラと撮影アングルの異なる別のカメラからの映像により前記障害物による妨害を軽減しつつ前記特徴量の特定を行なうものである請求項１ないし請求項９のいずれか１項に記載の画像処理装置。
11. 前記人物特徴情報抽出部は、前記複数のカメラの１つのものからの映像による前記人物の前記特徴量の特定が当該カメラと前記人物との距離的問題により困難であった場合に、該カメラと撮影アングルの異なる別のカメラからの映像により前記距離的問題を軽減しつつ前記特徴量の特定を行なうものである請求項１ないし請求項１０のいずれか１項に記載の画像処理装置。
12. 前記人物特徴情報抽出部は、前記複数のカメラの１つのものからの映像による前記人物の前記特徴量の特定が、当該カメラに対する前記人物の姿勢の問題により困難であった場合に、該カメラと撮影アングルの異なる別のカメラからの映像により前記姿勢の問題を軽減しつつ前記特徴量の特定を行なうものである請求項１ないし請求項１１のいずれか１項に記載の画像処理装置。
13. 前記人物特徴情報抽出部は、前記特徴量として前記人物の顔特徴量を抽出するものである請求項１ないし請求項１２のいずれか１項に記載の画像処理装置。
14. 前記人物特徴情報抽出部は、前記顔特徴量の抽出に必要な解像度が確保可能な有効半径にて前記カメラのレンズ中心からカメラ視野角がカバーされるよう、平面視における前記監視対象エリアへの前記有効撮影範囲の投影を扇形に描いたとき、該有効半径内の前記人物の顔に対する解像度が１．５ｃｍ／画素よりも高く確保されるように前記有効半径が定められてなる請求項１３記載の画像処理装置。
15. 前記人物特徴情報抽出部は、前記人物の外観を解析して外観人物特徴情報として出力するものであり、前記アバター生成部は前記アバター画像を、前記外観人物特徴情報を反映したものとして生成する請求項１ないし請求項１４のいずれか１項に記載の画像処理装置。
16. 前記外観人物特徴情報は前記人物の着衣の形態及び色彩の一方又は双方を反映した着衣特徴量と、前記人物の頭髪の形態及び色彩の一方又は双方を反映した頭髪特徴量と、前記人物の持ち物の形態及び色彩の一方又は双方を反映した持ち物特徴量の１以上のものを含むものである請求項１５記載の画像処理装置。
17. 前記人物特徴情報抽出部は、前記着衣特徴量、前記頭髪特徴量又は前記持ち物特徴量の抽出に必要な解像度が確保可能な有効半径にて前記カメラのレンズ中心からカメラ視野角がカバーされるよう、平面視における前記監視対象エリアへの前記有効撮影範囲の投影を扇形に描いたとき、該有効半径内の前記人物の前記着衣、頭髪又は持ち物に対する解像度が６ｃｍ／画素よりも高く確保されるように前記有効半径が定められてなる請求項１６記載の画像処理装置。
18. 前記人物特徴情報抽出部は、前記カメラによる前記人物の画像領域を、各々あらかじめ定められた大きさの画素マトリックスからなるセルに分割するとともに各セル内の画素の色設定値分布を算出し、該色設定値分布の類似度が予め定められたレベル以上に高いセルを、前記人物の着衣、頭髪又は持ち物に由来した同一色彩を示す同一色彩領域の構成セルとして特定するとともに、それら同一色彩領域の構成セルの集合情報を、前記着衣、頭髪又は持ち物を示す前記外観人物特徴情報として抽出するものであり、
    前記アバター生成部は前記同一色彩領域の前記構成セルの前記色設定値分布に基づいて、前記前記着衣、頭髪又は持ち物を示すアバター構成要素の表示色を決定する請求項１６又は請求項１７に記載の画像処理装置。
19. 前記人物特徴情報抽出部は、各セル内の画素の色設定値分布を色彩パラメータと明度パラメータとが分離された表色系にて算出するとともに、前記色彩パラメータの設定値分布の類似度が予め定められたレベル以上に高いセル同士を前記同一色彩領域の構成セルとして特定するものである請求項１８記載の画像処理装置。
20. 前記人物特徴情報抽出部は、前記人物の画像領域を、当該領域内に特定される複数の前記同一色彩領域の境界を分割位置として、人体の部位に相当する少なくとも頭部、上半身、及び下半身を含む複数のパーツに分割し、各パーツから特徴量を抽出するものであり、
    前記アバター生成部は、前記アバター画像のデータを複数の前記パーツに対応したアバター断片に分割して記憶するアバター画像データ記憶手段を備え、前記人物の対応する前記パーツについて抽出された前記特徴量の情報に基づいて前記アバター画像の前記アバター断片を補正した後、その補正後のアバター断片を統合して前記アバター画像を生成するものである請求項１９記載の画像処理装置。
21. 前記外観人物特徴情報は前記人物の歩容を反映した歩容特徴量を含むものである請求項１５記載の画像処理装置。
22. 前記人物特徴情報抽出部は、前記歩容特徴量の抽出に必要な解像度が確保可能な有効半径にて前記カメラのレンズ中心からカメラ視野角がカバーされるよう、平面視における前記監視対象エリアへの前記有効撮影範囲の投影を扇形に描いたとき、該有効半径内の前記人物の歩容特定のための解像度が４ｃｍ／画素よりも高く確保されるように前記有効半径が定められてなる請求項２１記載の画像処理装置。
23. 前記アバター生成手段は、前記人物特徴情報抽出部が特定の人物について抽出した人物特徴情報を記憶する特徴量情報記憶部と、前記人物特徴情報抽出部が前記特定の人物について前記特徴量情報記憶部に記憶されている人物特徴情報よりも解像度の高い新たな人物特徴情報を抽出した場合に、前記特徴量情報記憶部に記憶されている特徴量情報を前記新たな人物特徴情報により更新する特徴量情報更新手段と、を備える請求項１ないし請求項２２のいずれか１項に記載の画像処理装置。