JP2014064083A - 監視装置及び方法 - Google Patents

Abstract

【課題】監視装置におけるカメラの撮影条件を容易に調整可能とする。
【解決手段】実施形態の監視装置は、カメラが撮像した画像データを入力する画像入力手段と、入力された画像データから人物の顔が表された顔領域を検出する顔検出手段と、顔検出手段の検出結果を記憶する検出結果記憶手段と、記憶された検出結果をもとに、人物の顔を確認しやすくするカメラの上下方向、水平方向、回転方向における撮影方向、及び画角の少なくとも一つの撮影条件を算出する算出手段と、算出された撮影条件を出力する出力手段とを備える。
【選択図】図１

Description

本発明の実施形態は、監視装置及び方法に関する。

従来から、犯罪者などの特定の人物を見つけ出すため、カメラで撮影された画像データを表示装置で目視確認する監視装置がある。この監視装置においては、人物の顔が目視確認しやすい画像データを取得したいという要望があり、カメラで撮像された画像データから顔画像の検出を行い、検出された顔画像を切り出して出力するものがある。

特開２０１０−２２６０１号公報

しかしながら、上述した従来技術では、撮影条件が広角な場合、カメラで撮影した画像中の顔サイズが小さくなってしまうことがあり、必ずしも人物の顔が目視確認しやすい画像を取得できるものではなかった。また、カメラの前を通行する複数の人物について、各々の人物の顔が目視確認しやすい画像データを取得するように、カメラの水平方向、上下方向、回転方向、ズーム（画角）等の撮影条件を調整することは容易なことではなかった。

上述した課題を解決するために、実施形態の監視装置は、カメラが撮像した画像データを入力する画像入力手段と、前記入力された画像データから人物の顔が表された顔領域を検出する顔検出手段と、前記顔検出手段の検出結果を記憶する検出結果記憶手段と、前記記憶された検出結果をもとに、前記人物の顔を確認しやすくする前記カメラの上下方向、水平方向、回転方向における撮影方向、及び画角の少なくとも一つの撮影条件を算出する算出手段と、前記算出された撮影条件を出力する出力手段と、を備える。

また、実施形態の監視装置は、カメラが撮像した画像データを入力する画像入力手段と、前記入力された画像データから人物の顔が表された顔領域を検出する顔検出手段と、前記人物の顔を確認しやすくする前記カメラの撮影条件を記憶する撮影条件記憶手段と、前記顔検出手段の検出結果に基づいた、前記人物の顔に対する前記カメラの上下方向、水平方向、回転方向における撮影方向、及び画角の少なくとも一つの撮影条件が、前記記憶された撮影条件に整合するか否かを判定する判定手段と、前記判定手段の判定結果を出力する出力手段と、を備える。

また、実施形態の方法は、監視装置で実行される方法であって、画像入力手段が、カメラが撮像した画像データを入力するステップと、顔検出手段が、前記入力された画像データから人物の顔が表された顔領域を検出するステップと、検出結果記憶手段が、前記顔領域の検出結果を記憶するステップと、算出手段が、前記記憶された検出結果をもとに、前記人物の顔を確認しやすくする前記カメラの上下方向、水平方向、回転方向における撮影方向、及び画角の少なくとも一つの撮影条件を算出するステップと、出力手段が、前記算出された撮影条件を出力するステップと、を含む。

また、実施形態の方法は、監視装置で実行される方法であって、前記監視装置は、人物の顔を確認しやすくするカメラの撮影条件を記憶する撮影条件記憶手段を備え、画像入力手段が、カメラが撮像した画像データを入力するステップと、顔検出手段が、前記入力された画像データから人物の顔が表された顔領域を検出するステップと、判定手段が、前記顔領域の検出結果に基づいた、前記人物の顔に対する前記カメラの上下方向、水平方向、回転方向における撮影方向、及び画角の少なくとも一つの撮影条件が、前記記憶された撮影条件に整合するか否かを判定するステップと、出力手段が、判定された判定結果を出力するステップと、を含む。

図１は、第１の実施形態にかかる監視装置の構成を示すブロック図である。 図２は、カメラの撮影方向を例示する概念図である。 図３は、第１の実施形態にかかる監視装置の動作の一例を示すフローチャートである。 図４は、動線と撮影方向の関係を例示する概念図である。 図５は、動線と撮影方向の関係を例示する概念図である。 図６は、動線とカメラの撮影画像の回転を例示する概念図である。 図７は、撮影画像のズームを例示する概念図である。 図８は、変形例にかかる監視装置の構成を示すブロック図である。 図９は、第２の実施形態にかかる監視装置の構成を示すブロック図である。 図１０は、第２の実施形態にかかる監視装置の動作の一例を示すフローチャートである。 図１１は、第１、第２の実施形態にかかる監視装置のハードウエア構成を示したブロック図である。

以下、添付図面を参照して実施形態の監視装置及び方法を詳細に説明する。実施形態の監視装置及び方法は、街頭、建物、公共エリアなどに設置されている防犯カメラ（以下、カメラ）の映像から人物の顔を目視確認する用途を想定しており、人物の顔を目視確認しやすくするカメラの撮影条件（水平方向、上下方向、回転、ズーム）を容易に調整可能とするものである。また、本実施形態では人物領域として顔の領域を検出して顔の特徴情報を利用することで課題を実現する手順を説明するが、顔以外にも人物領域全身を検出する技術（Watanabeら,”Co-occurrence Histograms of Oriented Gradients for Pedestrian Detection, In Proceedings of the 3rd Pacific-Rim Symposium on Image and Video Technology” (PSIVT2009), pp. 37-47.）を利用し、その大きさを使うことでも実現が可能であり、人物の領域を検出する技術、またその人物領域内の特徴情報を計測する技術であれば本実施形態に記載した技術のみに限定される内容ではないことは明らかである。

（第１の実施形態）
図１は、第１の実施形態にかかる監視装置１００の構成を例示するブロック図である。図１に示すように、監視装置１００は、入力部１０１と、検出部１０２と、検出結果管理部１０３と、撮影条件算出部１０４と、出力部１０５とを備える。カメラ１５０は、所定の領域に対して撮影を行う。例えば、カメラ１５０は、通行路の入退場対象エリアに対して撮影を行う監視カメラ等であり、撮影結果である動画像データを生成する。そして、入力部１０１は、カメラ１５０からの動画像データを入力処理する。入力部１０１は入力された動画像データを検出部１０２へ出力する。

カメラ１５０は、少なくとも１箇所、又は複数の地点に設置可能とする。また、カメラ１５０は、所定の領域に存在する人物の顔画像を入力するものであり、例えばＩＴＶ（Industrial Television）カメラとする。カメラ１５０は、カメラのレンズを通して得られた光学的な情報をＡ／Ｄ変換器によりデジタル化して所定のフレームレートのフレーム画像データを生成し、監視装置１００に対して出力する。また、カメラ１５０は、ＰＴＺ（パン・チルト・ズーム）カメラであり、水平方向、上下方向、回転、ズーム等の撮影条件が調整可能である。

図２は、カメラ１５０の撮影方向２４を例示する概念図である。図２に示すように、カメラ１５０の撮影方向２４は、カメラ１５０を設置するカメラ台座（図示しない）を調整することで、水平方向２１（パン、ヨー方向）、上下方向２２（チルト、ピッチ方向）、撮影方向２４（ロール方向）において調整可能となっている。また、カメラ１５０は、レンズ位置を調整することで焦点調整が可能となっている。水平方向、上下方向、回転、ズーム等の撮影条件の調整については、ユーザが手動で行うものであってもよいし、アクチュエータなどで自動で行うものであってもよいものとする。

図１に戻り、検出部１０２は、入力された画像データ（入力画像）から人物の顔が表された顔領域を検出する。具体的には、検出部１０２は、入力画像内において、画像上の輝度情報を利用して顔の領域を示す座標を求める。ここでは文献（三田雄志ほか：「顔検出に適した共起に基づくＪｏｉｎｔ Ｈａａｒ−ｌｉｋｅ特徴」電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８９−Ｄ，Ｎｏ８，ｐｐ１７９１−１８０１（２００６））の方法を利用することによって実現となるため、本手法を利用することを前提とする。顔の向きや大きさにより検出された結果を示す情報は任意の形状でかまわないが、本実施例では簡単にするために、顔領域を矩形情報で示すこととし、その角の座標を検出結果として利用することとする。その他に予め用意されたテンプレートを画像内で移動させながら相関値を求めることにより、最も高い相関値を与える位置を顔領域とする方法、固有空間法や部分空間法を利用した顔抽出法などでも実現は可能である。

また、カメラ１５０で撮影された映像においては、カメラ１５０の前の人物の移動（移動の軌跡）によって、検出された同一人物の顔が複数のフレームにわたって連続して映っていることが想定される。したがって、検出部１０２は、検出された同一の顔を同一人物として対応付けできるように人物の顔の追跡処理を行う必要がある。この実現手段としてはオプティカルフローを使って検出した顔が次のフレームでどの位置にいるか対応付けする手法や、特許公報（特開２０１１−１７０７１１号公報）を利用することで実現可能であり、顔部位を特徴点として検出する場合（後述する）は同一人物として対応付けられた複数フレームの顔領域の画像の中から検索をするのに適切な少なくとも１枚の画像を選択する方法や、最大で検出されたフレーム数までの任意の枚数の画像を利用することが可能となる。

さらに、検出された顔領域の部分の中から、目、鼻などの顔部位の位置を顔の特徴点として検出する。具体的には文献（福井和広、山口修：「形状抽出とパタン照合の組合せによる顔特徴点抽出」， 電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ２１７０−２１７７（１９９７））などの方法で実現可能である。また上記目・鼻の検出の他に口領域の検出については、文献（湯浅 真由美、中島 朗子：「高精度顔特徴点検出に基づくデジタルメイクシステム」第１０回画像センシングシンポジウム予稿集，ｐｐ２１９−２２４（２００４））の技術を利用することで容易に実現が可能である。いずれの場合でも二次元配列状の画像として取り扱える情報を獲得し、その中から顔特徴の領域を検出することが可能である。また、これらの処理は１枚の画像の中から１つの顔特徴だけを抽出するには全画像に対してテンプレートとの相関値を求め最大となる位置とサイズを出力すればよいし、複数の顔特徴を抽出するには画像全体に対する相関値の局所最大値を求め、一枚の画像内での重なりを考慮して顔の候補位置を絞り込み、最後は連続して入力された過去の画像との関係性（時間的な推移）も考慮して最終的に複数の顔特徴を同時に見つけることも可能となる。

顔の向きの推定については特開２００３−１４１５５１号公報（「顔向き計算方法及びその装置」 東芝・山田貢己;福井和広;牧淳人;中島朗子) に示されているように、顔の回転行列、顔の向き別に学習させた複数のクラス（部分空間）を利用して顔向きを推定することが可能である。

検出結果管理部１０３は、検出部１０２が検出した顔領域にかかる情報（検出結果）を記憶する。具体的には、検出結果管理部１０３は、検出部１０２が検出した人物の顔ごとに、入力画像中の顔領域の座標、複数のフレーム画像にわたって検出された顔領域の軌跡（動線）、顔領域から検出した顔部位（目、鼻など）の位置情報、推定した顔の向きを記憶するデータベースである。

撮影条件算出部１０４は、検出結果管理部１０３に記憶された検出結果をもとに、人物の顔を確認しやすくするカメラ１５０の上下方向、水平方向、回転方向における撮影方向、及び画角（ズーム）の少なくとも一つの撮影条件を算出する。例えば、検出結果管理部１０３において検出部１０２が検出した人物について、１〜Ｎ人分の検出結果が得られているものとすると、この１〜Ｎ人分について、人物の顔を確認しやすくする撮影条件を算出する。具体的には、撮影条件算出部１０４は、１〜Ｎ人分について検出結果管理部１０３に記憶された検出結果に基づいた、人物の顔の確認しやすさを評価する評価関数による評価値を最大とする撮影条件を算出する。

図３は、第１の実施形態にかかる監視装置１００の動作の一例を示すフローチャートであり、より具体的には撮影条件算出部１０４による撮影条件の算出を例示するフローチャートである。図３に示すように、撮影条件算出部１０４は、処理が開始されると、検出結果管理部１０３に記憶された検出結果（顔の検出・追跡結果）を取得する（Ｓ１）。次いで、撮影条件算出部１０４は、検出結果の取得個数（取得した人物の人数）が予め設定された所定数（Ｎ）以上であるか否かを判定する（Ｓ２）。所定数以上でない場合（Ｓ２：ＮＯ）はＳ１へ処理を戻して待機する。

所定数以上の検出結果がある場合（Ｓ２：ＹＥＳ）、撮影条件算出部１０４は、カメラ１５０の水平方向（パン）の角度θのとりうる範囲、すなわち撮影条件における水平方向のパラメータの範囲を、検出結果管理部１０３に記憶されたＮ人分の動線から設定する（Ｓ３）。

図４は、Ｎ人分の動線ｄ１〜ｄＮと撮影方向２４の関係を例示する概念図であり、より具体的には、撮影方向２４を上から俯瞰した概念図である。図４に示すように、Ｎ人分の移動の軌跡が動線ｄ１〜ｄＮとして与えられているものとする。Ｓ３において、撮影条件算出部１０４は、カメラ１５０の撮影方向２４と、動線ｄ１〜ｄＮが可能なかぎり平行となるように、各動線を直線で近似した時の撮影方向（水平方向）のなす角度を昇順にθ１、θ２、…θＮとした場合、次の式（１）のように水平方向の角度θを設定する。

次いで、撮影条件算出部１０４は、カメラ１５０の上下方向（チルト）の角度φのとりうる範囲、すなわち撮影条件における上下方向のパラメータの範囲を、検出結果管理部１０３に記憶されたＮ人分の動線から設定する（Ｓ４）。

図５は、Ｎ人分の動線ｄ１〜ｄＮと撮影方向２４の関係を例示する概念図であり、より具体的には、撮影方向２４を横から俯瞰した概念図である。図５に示すように、Ｎ人分の移動の軌跡が動線ｄ１〜ｄＮとして与えられているものとする。Ｓ４において、撮影条件算出部１０４は、各動線について顔向きの角度をフレーム画像に関して平均した値を昇順にφ１、φ２、…φＮとした場合、次の式（２）のように上下方向の角度φを設定する。

次いで、撮影条件算出部１０４は、カメラ１５０の回転方向（ロール）の角度ψのとりうる範囲、すなわち撮影条件における回転方向のパラメータの範囲を、検出結果管理部１０３に記憶されたＮ人分の動線から設定する（Ｓ５）。

図６は、Ｎ人分の動線ｄ１〜ｄＮとカメラ１５０の撮影画像Ｇの回転を例示する概念図である。図６に示すように、Ｎ人分の移動の軌跡が動線ｄ１〜ｄＮとして与えられているものとする。Ｓ５において、撮影条件算出部１０４は、撮影画像Ｇ内の各動線と、撮影画像Ｇの水平方向の直線とがなす角度をそれぞれ昇順にψ１、ψ２、…ψＮとした場合、次の式（３）のように回転方向の角度ψを設定する。

次いで、撮影条件算出部１０４は、カメラ１５０のズーム（画角）の取りうる範囲、すなわち撮影条件における画角のパラメータの範囲を設定する（Ｓ６）。具体的には、メモリなどに予め設定された、カメラ１５０のレンズ位置を調整することで可能な範囲内で、ズームのパラメータをｒとしてｒ１、ｒ２…ｒｋのようなｋ個の値を設定する。なお、上述したθ、φ、ψについても、メモリなどに予め設定された、カメラ台座の稼働範囲内を上限値、下限値とする。

次いで、パン、チルト、ロール、ズームのパラメータの範囲を設定した撮影条件について、上述した評価関数による評価値を最大とするパン、チルト、ロール、ズームの値を計算する。この評価関数による評価値の算出は、顔のサイズが大きい、顔の向きがカメラ１５０に対して正面、撮影範囲が広いなどの、顔を目視した監視には理想的であるが、両立が難しい基準を考慮して、次の式（４）により行う。

式（４）において、Ａ、Ｂ、Ｃ、Ｄ（＞＝０）は、調整するパラメータであるθ、φ、ψ、ｒのいずれを重視するかを定めるパラメータである。このＡ、Ｂ、Ｃ、Ｄについては、一つのパラメータを有効（＞＝０）にして、一つ以上の撮影条件を評価できるようにする。ｇ（ｒ）は、例えば、各動線の各フレーム画像に含まれる顔のうち、ズームすることによって画角（撮像領域）に含まれなくなる個数Ｘから、各動線の各フレーム画像に含まれる顔のサイズがあらかじめ定めた範囲Ｓ画素以上、Ｓ画素以下となるものの数Ｙを引いたものとする。なお、顔サイズと画角の広さのトレードオフを表現できるものであれば他の関数でもよい。この評価値の最大化はたとえばｒの値を固定すると線形計画法で計算できるので、各ｒの値について、線形計画問題を解くことで実現できる。また、顔サイズや画角などはカメラと被写体の３次元情報が得られれば計算できる。評価関数（目的関数）は上記のような顔向きや顔サイズを所望の条件で撮影するように調整するものであればよく、この関数を最大化あるいは最小化（本実施形態では評価値を高くすることが人物の顔を確認しやすいことを示すので最大化）する手段が与えられていればよい。

図７は、撮影画像Ｇのズームを例示する概念図である。図７に示すように、検出結果による顔の頻度を調べて得られた、顔が頻出する領域Ｒ１、Ｒ２を撮影領域Ｒとして限定し、拡大して撮影するようにしてよい。また、上述した処理を行うことで、図６のような動線の傾きを補正するように回転する角度を計算することもできる。また、検出結果が一定期間にわたって出力されない場合は、適切な撮影条件が算出できないものとして、出力部１０５より警告を出力してもよい。

出力部１０５は、表示装置などであり、撮影条件算出部１０４により算出された撮影条件を表示出力する。また、出力部１０５は、入力部１０１の入力画像の表示や、その入力画像に検出部１０２で検出された顔領域を重畳した表示なども行う。ユーザは、出力部１０５より出力された撮影条件を確認することで、カメラ１５０で撮影した人物の顔を確認しやすくするように、カメラ１５０の水平方向、上下方向、回転方向、ズーム（画角）等を容易に調整できる。

（変形例）
次に、監視装置１００の変形例について説明する。図８は、変形例にかかる監視装置１００ａの構成を示すブロック図である。なお、監視装置１００ａにおいて、監視装置１００と同じ構成については同一の符号を付してその説明を省略する。

図８に示すように、監視装置１００ａは、入力部１０１と、検出部１０２と、検出結果管理部１０３と、撮影条件算出部１０４と、出力部１０５と、撮影条件制御部１０６と、特徴抽出部１０７と、人物情報管理部１０８と、認識部１０９とを備える。

撮影条件制御部１０６は、撮影条件算出部１０４によって算出したパラメータにしたがって、カメラ１５０のアクチュエータ（図示しない）に駆動信号を出力することで、カメラ１５０の水平方向２１の角度、上下方向２２の角度、ロール方向２３の角度、画面の解像度、画面のズームを制御する。撮影条件制御部１０６により、カメラ１５０は、カメラ１５０で撮影した人物の顔を確認しやすくする撮影条件に、ユーザが手動で変更することなく、自動的に変更することができる。

特徴抽出部１０７は、検出部１０２により検出された顔の領域の情報から個人を識別するための特徴情報（以降「顔特徴」とはこの個人を識別するための特徴情報を示すこととする）を数値として出力する。特徴抽出に利用する画像は入力部１０１によって得られた入力画像を利用する。特徴抽出部１０７は、入力部１０１による入力画像と、検出部１０２によって検出された人物領域を対応付けて、特徴抽出に必要な画像領域、本実施例では顔領域の検出をしているので顔の領域を切り出し、その濃淡情報を特徴量として用いる。複数フレームの画像を利用する場合にそなえて画像補正手段で複数フレームの出力をするようにしてもよい。

ここでは、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を特徴ベクトルとして用いる。これらは単純類似度法という手法によりベクトルとベクトルの長さをそれぞれ１とするように正規化を行い、内積を計算することで特徴ベクトル間の類似性を示す類似度が求められる。詳しくは文献（エルッキ・オヤ著、小川英光、佐藤誠訳、「パタン認識と部分空間法」、産業図書、１９８６年）にあるように部分空間法を利用することで実現できる。文献（東芝（小坂谷達夫）：「画像認識装置、方法およびプログラム」特開２００７−４７６７号公報）にあるように１枚の人物画像情報に対してモデルを利用して顔の向きや状態を意図的に変動させた画像を作成することによってより精度の高まる手法を適用してもよい。１枚の画像から顔の特徴を求める場合にはここまでの処理で顔特徴抽出は完了する。一方で同一人物に対して連続した複数の画像を利用した動画像による計算をすることでより精度の高い認識処理が行うこともできる。具体的には文献（福井和広、山口修、前田賢一：「動画像を用いた顔認識システム」電子情報通信学会研究報告ＰＲＭＵ，ｖｏｌ９７，Ｎｏ．１１３，ｐｐ１７−２４（１９９７）、前田賢一、渡辺貞一：「局所的構造を導入したパタン・マッチング法」， 電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ６８−Ｄ，Ｎｏ．３，ｐｐ３４５−３５２（１９８５））にある相互部分空間法を用いる方法で説明する。入力手段から連続して得られた画像から特徴抽出手段と同様にｍ×ｎピクセルの画像を切り出しこれらのデータを特徴ベクトルの相関行列を求め、Ｋ−Ｌ展開による正規直交ベクトルを求めることにより、連続した画像から得られる顔の特徴を示す部分空間を計算する。部分空間の計算法は、特徴ベクトルの相関行列（または共分散行列）を求め、そのＫ−Ｌ展開による正規直交ベクトル（固有ベクトル）を求めることにより、部分空間を計算する。部分空間は、固有値に対応する固有ベクトルを、固有値の大きな順にｋ個選び、その固有ベクトル集合を用いて表現する。本実施例では、相関行列Ｃｄを特徴ベクトルから求め、相関行列Ｃｄ ＝Φｄ Λｄ Φｄ Ｔ と対角化して、固有ベクトルの行列Φを求める。この情報が現在認識対象としている人物の顔の特徴を示す部分空間となる。このような方法で出力された部分空間のような特徴情報を入力された画像で検出された顔に対する個人の特徴情報とする。

人物情報管理部１０８は、後述の認識部１０９で検索するときに利用する対象となるデータベースであり、検索対象となる個人ごとに特徴抽出部１０７で抽出された顔特徴情報、および性別や年齢、身長など属性判別手段で判別可能な属性情報のように人物に関する付随した情報を同一の人物ごとに対応付けて管理する。顔特徴情報および属性情報として実際に管理する内容は特徴抽出部１０７で出力されたデータそのものでよく、ｍ×ｎの特徴ベクトルや、部分空間やＫＬ展開を行う直前の相関行列でも構わない。さらに、特徴抽出部１０７で出力される特徴情報を入力手段より登録時に入力された人物画像とともに管理することで個人の検索や検索の表示に利用することができる。

認識部１０９は、特徴抽出部１０７で得られた入力画像の顔特徴情報と、対応する人物情報管理部１０８に記憶された顔特徴情報との類似性を示す計算を行ってより類似性の高いものから順番に結果を返す処理を行う。また上述したように所定の属性情報に絞り込んで人物情報管理部１０８を一部分だけ検索するといったことも可能である。

この際に検索処理の結果としては類似性の高いものから順番に人物情報管理部１０８内で個人を識別するために管理されている人物ＩＤ,計算結果である類似性を示す指標を返す。それに加えて個人ごとに管理されている情報を一緒に返すようにしてもかまわないが、基本的に識別ＩＤにより対応付けが可能であるので検索処理自体では付属情報をやりとりすることはなくても実現が可能となる。類似性を示す指標としては顔特徴情報として管理されている部分空間同士の類似度とする。計算方法は、部分空間法や複合類似度法などの方法を用いてよい。この方法では、予め蓄えられた登録情報の中の認識データも、入力されるデータも複数の画像から計算される部分空間として表現され、２つの部分空間のなす「角度」を類似度として定義する。ここで入力される部分空間を入力手段分空間という。入力データ列に対して同様に相関行列Ｃｉｎを求め、Ｃｉｎ＝ΦｉｎΛｉｎΦｉｎＴ と対角化し、固有ベクトルΦｉｎを求める。二つのΦｉｎ，Φｄ で表される部分空間の部分空間間類似度（０．０〜１．０）を求め、これを認識するための類似度とする。具体的な計算方法については特徴抽出部１０７の説明で紹介した文献（エルッキ・オヤ）で実現が可能である。また、あらかじめ同一人物と分かる複数の人物画像をまとめて部分空間への射影によって本人であるかどうかを識別することで精度を向上させることも可能であり、文献（福井・小坂谷）でも同様の処理を行うこともできる。高速に検索するにはＴＲＥＥ構造を利用した検索方法なども利用可能である。

出力部１０５では、認識部１０９で得られた結果、および入力された画像を画面に表示する。認識部１０９によって検索された結果のうち指定した条件にあうものをリアルタイムに表示するリアルタイム顔検索結果表示と、認識部１０９によって検索された結果を検索履歴として保存しておき、後から条件を指定することで該当する検索履歴だけ表示するオフラインの顔検索結果表示のいずれか一方、または両方を組み込むことが可能である。

（第２の実施形態）
図９は、第２の実施形態にかかる監視装置１００ｂの構成を示すブロック図である。なお、監視装置１００ｂにおいて、監視装置１００と同じ構成については同一の符号を付してその説明を省略する。

図９に示すように、監視装置１００ｂは、入力部１０１と、検出部１０２と、出力部１０５と、撮影条件記憶部１１０と、撮影条件診断部１１１とを備える。

撮影条件記憶部１１０は、カメラ１５０で撮影した人物の顔を確認しやすくするカメラの撮影条件として、あらかじめ定めておいた顔サイズ、顔の向き、視野角などの推奨値、背景の画像、又はカメラ１５０のパン、ヨー方向（水平方向）、チルト、ピッチ方向（上下方向）、ロール方向（回転方向）、及びズームの拡大率などの情報を記憶する。なお、第１の実施形態のようにカメラ１５０の前を移動する人物の追跡履歴から定めた値を記録してもよいし、ユーザが事前に画面を目視で確認しながら、設定した値を記録してもよい。

撮影条件診断部１１１は、検出部１０２の検出結果に基づいた、人物の顔に対するカメラ１５０の上下方向、水平方向、回転方向における撮影方向、及び画角の少なくとも一つの撮影条件が、撮影条件記憶部１１０に記憶された撮影条件に整合するか否かを判定する。

図１０は、第２の実施形態にかかる監視装置１００ｂの動作の一例を示すフローチャートであり、より具体的には撮影条件診断部１１１による撮影条件の判定を例示するフローチャートである。図１０に示すように、撮影条件診断部１１１は、Ｓ１１〜Ｓ１７の処理が予め設定された反復数の上限回実施されたか否かを判定する（Ｓ１０）。ここで、反復数の上限回実施されていない場合（Ｓ１０：ＮＯ）、撮影条件診断部１１１は、Ｓ１１〜Ｓ１７の処理を継続する。反復数の上限回実施された場合（Ｓ１０：ＹＥＳ）、撮影条件診断部１１１は、Ｓ１８へ処理を進める。

Ｓ１１において、撮影条件診断部１１１は、検出部１０２の検出結果（顔の検出・追跡結果）を取得する。次いで、撮影条件診断部１１１は、検出結果の人数が０人であるか否かを判定する（Ｓ１２）。０人である場合（Ｓ１２：ＹＥＳ）、撮影条件診断部１１１は、入力部１０１の入力画像を背景画像として記憶し（Ｓ１３）、処理の反復数をインクリメントする（Ｓ１７）。０人でない場合（Ｓ１２：ＮＯ）、撮影条件診断部１１１は、検出部１０２の検出結果である顔サイズ、顔の向き、動線を記憶し（Ｓ１４〜１６）、処理の反復数をインクリメントする（Ｓ１７）。

Ｓ１８において、撮影条件診断部１１１は、Ｓ１２〜Ｓ１７の処理で記憶されたデータと、撮影条件記憶部１１０に記憶された撮影条件とをもとに、撮影条件の整合性の評価値を計算し（Ｓ１８）、その計算結果（整合するか否かの判定結果）を出力部１０５へ出力する（Ｓ１９）。出力部１０５では、カメラ１５０の撮影条件が撮影条件記憶部１１０に予め記憶された撮影条件と整合するか否かを表示出力する。

具体的には、撮影条件診断部１１１は、入力画像から人物が検出されていない場合は背景画像を記憶し、Ｓ１８において、記憶しておいた背景画像と差分を計算し、画素または隣接する画素をまとめたブロックごとに背景である事後確率を得ることができる（中井 宏章、特開平０９−８１７１４号公報）。また、顔検出結果の顔のサイズを記録しておき、顔のサイズが撮影条件記憶部１１０で指定した画素以上、Ｓ画素以下の範囲に含まれない顔の数Ｘにもとづいて整合性を判断することもできる。また、顔向きの水平方向の角度、垂直方向の角度、画面内回転の角度を記録しておき、撮影条件記憶部１１０で指定した顔向きの範囲に含まれない顔の数Ｙにもとづいて整合性を判断することもできる。顔向きは前述した手法で計算することができる。また、検出部１０２で得られた動線の情報から動線と画像の水平方向の直線がなす角度が撮影条件記憶部１１０で指定した角度の範囲に含まれない人物の数Ｚにもとづいて整合性を判断することもできる。また、検出部１０２で得られる人物の追跡で計数した人数をＮとして、Ｎが撮影条件記憶部１１０で指定した人数よりも少ない場合は不適切な画角であると判断することもできる。

また、背景画像との差分や色ヒストグラムの比較により、登録された条件と異なることを判定することもできる。エッジ、コーナーなどの局所特徴量や局所領域の輝度分布にもとづいた特徴量を用いることもできる。この判定には画面全体で特徴量をもとめてそれぞれの座標値を個別に覚えてもよいし、画面全体を小領域に分割してそれぞれのブロック単位で特徴情報を計算して比較してよい。

図１１は、第１、第２の実施形態にかかる監視装置１００、１００ａ、１００ｂのハードウエア構成を示したブロック図である。図１１に示すように、監視装置１００、１００ａ、１００ｂは、ＣＰＵ１１０１と、ＲＯＭ（Read Only Memory）１１０２と、ＲＡＭ（Random Access Memory）１１０３と、通信Ｉ／Ｆ１１０４と、ＨＤＤ１１０５と、表示装置１１０６と、キーボードやマウスなどの入力デバイス１１０７と、これらを接続するバス１１０８と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。

本実施形態の監視装置１００、１００ａ、１００ｂで実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本実施形態の監視装置１００、１００ａ、１００ｂで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の監視装置１００、１００ａ、１００ｂで実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。また、本実施形態のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

本実施形態の監視装置１００、１００ａ、１００ｂで実行されるプログラムは、上述した各構成を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ１１０１が上記記憶媒体からプログラムを読み出して実行することにより上記各構成がＲＡＭ１１０３上にロードされ、上記各構成がＲＡＭ１１０３上に生成される。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００、１００ａ、１００ｂ…監視装置、２１…水平方向、２２…上下方向、２３…ロール方向、２４…撮影方向、１０１…入力部、１０２…検出部、１０３…検出結果管理部、１０４…撮影条件算出部、１０５…出力部、１０６…撮影条件制御部、１０７…特徴抽出部、１０９…認識部、１０８…人物情報管理部、１１０…撮影条件記憶部、１１１…撮影条件診断部、１５０…カメラ、１１０１…ＣＰＵ、１１０２…ＲＯＭ、１１０３…ＲＡＭ、１１０４…通信Ｉ／Ｆ、１１０５…ＨＤＤ、１１０６…表示装置、１１０７…入力デバイス、１１０８…バス、ｄ１、ｄ２、ｄＮ…動線、Ｇ…撮影画像、Ｒ…撮影領域、Ｒ１、Ｒ２…領域

Claims (14)

1. カメラが撮像した画像データを入力する画像入力手段と、
   前記入力された画像データから人物の顔が表された顔領域を検出する顔検出手段と、
   前記顔検出手段の検出結果を記憶する検出結果記憶手段と、
   前記記憶された検出結果をもとに、前記人物の顔を確認しやすくする前記カメラの上下方向、水平方向、回転方向における撮影方向、及び画角の少なくとも一つの撮影条件を算出する算出手段と、
   前記算出された撮影条件を出力する出力手段と、
   を備える監視装置。
2. 前記算出手段は、前記撮影条件をパラメータとし、前記記憶された顔領域に基づいた前記人物の顔の確認しやすさを評価する評価関数による評価値を最大とする撮影条件を算出する、
   請求項１に記載の監視装置。
3. 前記顔検出手段は、前記顔領域の大きさを検出し、
   前記算出手段は、前記記憶された顔領域の大きさをもとに、当該顔領域の大きさを所定の大きさとする撮影条件を算出する、
   請求項１又は２に記載の監視装置。
4. 前記顔検出手段は、前記顔領域に含まれる顔部品をもとに顔の向きを検出し、
   前記算出手段は、前記記憶された顔の向きをもとに、当該顔の向きを所定の方向とする撮影条件を算出する、
   請求項１又は２に記載の監視装置。
5. 前記検出結果記憶手段は、複数のフレーム画像にわたって前記顔検出手段により検出された顔領域を記憶し、
   前記算出手段は、前記複数のフレーム画像にわたって記憶された顔領域をもとにした、前記人物の移動の軌跡に対し、所定の方向から撮影する撮影条件を算出する、
   請求項１又は２に記載の監視装置。
6. 前記算出された撮影条件に基いて前記カメラの撮影方向、及び画角を制御する制御手段を更に備える、
   請求項１乃至５のいずれか一項に記載の監視装置。
7. カメラが撮像した画像データを入力する画像入力手段と、
   前記入力された画像データから人物の顔が表された顔領域を検出する顔検出手段と、
   前記人物の顔を確認しやすくする前記カメラの撮影条件を記憶する撮影条件記憶手段と、
   前記顔検出手段の検出結果に基づいた、前記人物の顔に対する前記カメラの上下方向、水平方向、回転方向における撮影方向、及び画角の少なくとも一つの撮影条件が、前記記憶された撮影条件に整合するか否かを判定する判定手段と、
   前記判定手段の判定結果を出力する出力手段と、
   を備える監視装置。
8. 前記撮影条件記憶手段は、前記人物を前記カメラで撮影した際の前記人物の顔サイズを前記撮影条件として記憶し、
   前記判定手段は、前記検出結果に基づいた顔サイズが前記記憶された顔サイズと整合するか否かを判定する、
   請求項７に記載の監視装置。
9. 前記撮影条件記憶手段は、前記人物を前記カメラで撮影した際の前記人物の顔の向きを前記撮影条件として記憶し、
   前記判定手段は、前記検出結果に基づいた顔の向きが前記記憶された顔の向きと整合するか否かを判定する、
   請求項７に記載の監視装置。
10. 前記撮影条件記憶手段は、前記人物が前記カメラの前を移動した際の前記人物の移動の軌跡に対する前記カメラの撮影方向を前記撮影条件として記憶し、
    前記判定手段は、複数のフレーム画像にわたって前記顔検出手段により検出された顔領域をもとにした、前記人物の移動の軌跡が前記記憶された移動の軌跡と整合するか否かを判定する、
    請求項７に記載の監視装置。
11. 前記撮影条件記憶手段は、前記人物を前記カメラで撮影した際の前記人物の背景における画素値を前記撮影条件として記憶し、
    前記判定手段は、前記検出結果に基づいた前記顔領域以外の領域の画素値が前記記憶された画素値と整合するか否かを判定する、
    請求項７に記載の監視装置。
12. 前記判定手段は、前記カメラで撮像した画像データにおける画像の全部、又は一部の領域について、前記顔検出手段の検出結果に基づいた前記撮影条件が、前記記憶された撮影条件に整合するか否かを判定する、
    請求項７乃至１１のいずれか一項に記載の監視装置。
13. 監視装置で実行される方法であって、
    画像入力手段が、カメラが撮像した画像データを入力するステップと、
    顔検出手段が、前記入力された画像データから人物の顔が表された顔領域を検出するステップと、
    検出結果記憶手段が、前記顔領域の検出結果を記憶するステップと、
    算出手段が、前記記憶された検出結果をもとに、前記人物の顔を確認しやすくする前記カメラの上下方向、水平方向、回転方向における撮影方向、及び画角の少なくとも一つの撮影条件を算出するステップと、
    出力手段が、前記算出された撮影条件を出力するステップと、
    を含む方法。
14. 監視装置で実行される方法であって、
    前記監視装置は、人物の顔を確認しやすくするカメラの撮影条件を記憶する撮影条件記憶手段を備え、
    画像入力手段が、カメラが撮像した画像データを入力するステップと、
    顔検出手段が、前記入力された画像データから人物の顔が表された顔領域を検出するステップと、
    判定手段が、前記顔領域の検出結果に基づいた、前記人物の顔に対する前記カメラの上下方向、水平方向、回転方向における撮影方向、及び画角の少なくとも一つの撮影条件が、前記記憶された撮影条件に整合するか否かを判定するステップと、
    出力手段が、判定された判定結果を出力するステップと、
    を含む方法。

Images