JP2007300185A

JP2007300185A - 画像監視装置

Info

Publication number: JP2007300185A
Application number: JP2006124149A
Authority: JP
Inventors: Mayumi Yuasa; 真由美湯浅; Masashi Nishiyama; 正志西山; Tomokazu Wakasugi; 智和若杉; Satoyuki Shibata; 智行柴田; Osamu Yamaguchi; 修山口
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2006-04-27
Filing date: 2006-04-27
Publication date: 2007-11-15
Also published as: US20070253598A1

Abstract

【課題】複数のカメラを設置し、それらのカメラの相対的な性能評価を行なうことによ
り、使用するカメラを適切に選択することを可能とする。
【解決手段】本発明の画像監視装置は、画像入力部と、各画像入力部から入力された画
像につき、対象物の存在する領域を検出する対象物検出部と、対象物の存在、属性または
個体を識別する対象物認識部を備えた画像処理ユニットを一または複数個備え、各画像処
理ユニットにおける認識性能の相対的な性能評価を行なうことにより、一または複数個の
最適な画像処理ユニットもしくは対象物検出または対象物認識におけるパラメータを選択
する選択部と、選択された状態で得られた認識結果を元に対象物の情報を出力する出力部
とで構成する。
【選択図】図１

Description

本発明は、画像監視装置に係わり、特に所定の領域を移動する対象物を複数のカメラで
認識する際に適切なカメラを選択する効果が得られるようにした画像監視装置に関する。

従来の歩行者を監視する装置は、歩行者の顔を識別しやすいようにカメラを設置するこ
とが前提となっている（例えば、特許文献１）。

しかし、すべての設置場所においてこういった理論的に識別しやすい配置ができるとは
限らない。また、カメラの種類や照明の状況によっては必ずしも最適な配置になるとは限
らなかった。

さらに、同じカメラの画像内においても、まったく人が現れない、もしくはたとえ現れ
たとしても処理できない領域が存在するが、そのような領域の分布も状況によって変化す
るため、どのような場合でもできるように決定することは困難であった。
特開２００１−１６５７３公報

上述したように、従来技術にはすべての設置場所において必ずしも識別しやすいカメラ
配置ができるとは限らないという問題があった。

本発明は、上記従来技術の問題点を解決するためになされたものであって、複数のカメ
ラを設置し、それらのカメラの相対的な性能評価を行なうことにより、結果の出力に利用
するカメラや、実際に稼動するカメラを適切に選択することを可能とする画像監視装置を
提供することを目的とする。

上記目的を達成するために本発明の画像監視装置は、対象物を撮影するための複数のカ
メラと；前記各カメラによって得られた画像の各々について、前記対象物の存在する領域
を検出する検出部と；個体認識用の個体認識辞書を記憶する辞書記憶部と；前記検出部に
よって検出された前記領域の画像に含まれる前記対象物を前記個体認識辞書を用いて個体
認識する認識部と；前記各カメラが得た画像に基づいて、前記対象物を認識しやすい画像
を得る能力に関する前記各カメラの評価値を求めて、前記複数のカメラの中から少なくと
も一つのカメラを選択する選択部と；前記選択されたカメラによって得られた画像に基づ
いて前記認識部が認識を行った結果を出力する出力部と；を備える。

本発明によれば、複数のカメラの中から画像認識に適切なものを選択することが可能と
なる。

以下、図面を参照して本発明の実施形態について説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態の画像監視装置のブロック図である。

本実施形態の画像監視装置は、画像を撮影する複数のカメラ１０１と、撮像された画像
に写っている人物の顔領域を検出する検出部１０２と、認識に用いる画像を取得するカメ
ラを選択する選択部１０３と、各カメラの評価値を記憶する評価記憶部１０４と、人物を
認識する認識部１０５と、認識用の辞書を記憶する辞書記憶部１０６と、認識結果を出力
する出力部１０７とを備える。

本実施形態はビルなどの通路を監視する装置で通行する人物が誰であるかを認識するも
のである。本実施形態の選択部１０３は、複数のカメラ１０１のうち検出される顔の数が
最大となるものを選択する。

次に図１および図２、３を用いて、本実施形態の画像監視装置の動作を説明する。図２
は、本実施形態の画像監視装置の、通常の個人認証時の動作を示すフローチャートである
。図３は、本実施形態の画像監視装置のカメラ決定処理の動作を示すフローチャートであ
る。これら２種類の動作は並行して行われるが、説明を簡単にするため、以下では別々に
説明する。

図４は本実施形態の画像監視装置のカメラ１０１の設置例を示す。本実施形態では複数
のカメラ１０１を用いて様々な角度から監視を行う。そして、選択部１０３はより多くの
顔を検出可能なカメラ１０１を選択する。

図３を参照してカメラ決定処理の動作について説明する。

カメラ１０１は、画像を取得する（ステップＳ３０１）。

検出部１０２は、取得された画像から顔領域の画像である顔領域画像を検出する（ステ
ップＳ３０２）。顔領域の検出は、文献（三田雄志、金子敏充、堀修,「顔検出に適した
Joint Haar-like 特徴の提案」、画像の認識・理解シンポジウム(MIRU2005), pp.104-111
, 2005.）に述べられている方法により行なう。

検出部１０２は、検出された顔領域画像から顔の特徴点を検出する（ステップＳ３０３
）。本実施形態の検出部１０２は、文献（福井和広、山口修,「形状抽出とパターン照合
の組合せによる顔特徴点抽出」, 信学論(D-II), Vol. J80-D-II, No. 8, pp. 2170-2177,
Aug. 1997.）に述べられている方法を用いて、左右の瞳と左右の鼻孔との４種類を顔特
徴点として検出する。

検出部１０２は顔領域画像、顔特徴点および検出処理を行った画像を取得したカメラ１
０１の識別子とを選択部１０３に出力する。

選択部１０３は、各カメラ１０１によって一定期間に撮影された複数のフレーム内で４
種類の顔特徴点が検出された顔領域画像の数を各カメラの顔検出数として数える。そして
、各カメラの顔検出数および識別子とを対応付けて評価記憶部１０４に記憶させる（ステ
ップＳ３０４）。

選択部１０３は顔検出数をカメラ１０１間で比較し、最も顔検出数が多いカメラ１０１
を選択する。選択部１０４は選択されたカメラ１０１の識別子を評価値記憶部１０４に記
憶させる（ステップＳ３０５）。

次に、図３を参照して通常の個人認証処理について説明する。

撮像部１０１および検出部１０２の処理はカメラ決定処理時と同様である（ステップＳ
２０１、ステップＳ２０２）。

選択部１０３は、評価記憶部１０４を参照して、検出部１０２から出力された顔領域画
像および顔特徴点を含む検出結果の中から、選択されたカメラ１０１に対応する検出結果
を選択する。そして、選択部１０３は選択された検出結果を認識部１０３に供給する。

認識部１０５は、検出部１０２によって検出された顔特徴点を用いて顔領域の画像の正
規化を行なうとともに、辞書記憶部１０６に記憶された人物の辞書との照合を行なう。

本実施形態の認識部１０５は、文献（西山他、「多重制約相互部分空間法を用いた顔
画像認識」、電子情報通信学会論文誌 D-II Vol. J88-D-II, No. 8, pp. 1339-1348, 200
5.）に示されている顔認識方法を用いて照合を行うことにより人物の認識を行う。

認識部１０５は認識結果を出力部１０７へ出力する。

本実施形態の画像監視装置は、上述のカメラ決定処理と個人認証処理とを並行して行う
。言い換えれば、選択部１０３はリアルタイムでカメラ決定処理を行いつつ、各時点で選
択されたカメラ１０１に対応する検出結果を認識部１０５に供給する。

本実施形態においては、カメラ決定処理と個人認証処理を並行して行ったが、必ずしも
並行して行う必要ななく、一定期間における顔検出率の結果によりカメラ選択を行なって
もよい。

このように、第１の実施形態に係わる画像監視装置によれば、複数のカメラを設置し、
それらのカメラの相対的な性能評価を行なうことにより、結果の出力に利用するカメラを
適切に選択することが可能となる。

（第２の実施形態）
以下、図面を参照して本発明の第２の実施形態の画像監視装置を説明する。図５は本実
施形態の画像監視装置のブロック図である。図５で第１の実施形態と共通な部分には共通
の符号が付されている。第１の実施形態と異なる部分を中心に説明する。

本実施形態の画像監視装置は、画像を撮影する複数のカメラ１０１と、撮像された画像
に写っている人物の顔領域の画像を検出する検出部１０２と、個人認識用の個人辞書を記
憶する辞書記憶部５０２と、属性識別用の属性辞書を記憶する属性辞書記憶部５０３と、
個人認証および属性識別を行う認識部５０１と、各カメラ１０１に由来する画像に基づく
属性識別の正解率を記憶する評価記憶部５０５と、各カメラ１０１の属性識別の正解率に
基づいて認識結果を選択する選択部５０４と、認識結果を出力する出力部１０７とを備え
る。

本実施形態の画像監視装置は、ビルの通路を監視して通行する人物の属性（性別、年齢
等）を認識する画像監視装置であって、複数のカメラ１０１の中から各属性の識別正解率
が最大となるものを選択するものである。本実施形態では各属性の識別正解率を登録され
た人物の個人識別の結果を利用して求める。

図５から図７を参照して、本実施形態の画像監視装置の動作を説明する。

図６は、本実施形態の画像監視装置の通常の属性識別時の動作を示すフローチャートで
ある。図７は、本実施形態の画像監視装置のカメラ決定用処理の動作を示すフローチャー
トである。これら２種類の動作は並行して行われるが、説明を簡単にするために、以下で
は別々に説明する。

まず、カメラ決定処理の動作について説明する。カメラ１０１による画像入力（ステッ
プＳ７０１）は第１の実施形態のステップＳ２０１と同様である。

検出部１０２による顔領域画像の検出（ステップＳ７０２）は第１の実施形態のステッ
プＳ２０２と同様である。また、検出部１０２による顔特徴点の検出（ステップＳ７０３
）は第１の実施形態のステップＳ２０３と同様である。検出部１０２は、顔特徴点、顔領
域画像、および、検出処理用の画像を取得したカメラ１０１の識別子を認識部５０１へ出
力する。

認識部５０１による辞書記憶部５０２の辞書を用いた個人認識（ステップＳ７０４）は
第１の実施形態のステップＳ２０４と同様である。ただし、辞書記憶部５０２にはあらか
じめその人物の属性を辞書とともに記録しておくものとする。

次に、属性正解率を算出する（ステップＳ７０４）。本実施形態の認識部５０１は、属
性辞書記憶部５０３に記憶された属性辞書を用いて対象人物の属性を識別する。本実施形
態の認識部５０１は、対象人物の性別を識別する。属性辞書記憶部５０３が記憶する属性
辞書は、あらかじめ性別がわかっている人物の顔から男性辞書と女性辞書とを生成して得
られた性別判定のための辞書である。

認識部５０１は、検出された顔特徴点を用いて顔領域画像の正規化を行なう。そして、
認識部５０１は、男性辞書および女性辞書の両方と照合を行ない、より類似度が高い方を
選択する。照合は個人認証時と同様、相互部分空間法を用いる。

認識部５０１は、属性識別により判明した性別と個人認識により判明した性別とを比較
する。認識部５０１は、属性識別の結果と個人認識の結果とが一致する場合は正解と判定
する。認識部５０１は、一致しない場合は不正解と判定する。

認識部５０１は、判定結果とカメラ１０１の識別子とともに選択部５０４へ出力する。

選択部５０４は、各カメラ１０１の一定時間内の属性識別の正解率を算出して、評価記
憶部５０５に記憶させる。また、一定時間内で最も属性識別の正解率が高いカメラ１０１
を選択して、そのカメラの識別子を評価記憶部５０５に記憶させる。

次に、通常の属性識別時の動作について述べる。画像入力、顔領域検出、顔特徴点検出
はカメラ決定処理の動作と同様である（ステップＳ６０１からステップＳ６０３）。また
、属性識別においてもカメラ決定処理時の属性識別と同じ方法で行なう。

認識部５０１は選択部５０４に各カメラ１０１の画像に基づく属性識別の結果を各カメ
ラ１０１の識別子と対応付けて出力する（ステップＳ６０４）。

選択部５０４は、評価記憶部５０５を参照して、カメラ決定処理により決定されたカメ
ラ１０１の画像に基づく属性識別の結果を選択する。そして、出力部１０７は選択された
属性識別の結果を出力する（ステップＳ６０５）。

このように、第２の実施形態に係わる画像監視装置によれば、複数のカメラを設置し、
それらのカメラの相対的な性能評価を行なうことにより、結果の出力に利用するカメラを
適切に選択することが可能となる。

（第３の実施形態）
本発明の第３の実施形態の画像監視装置は第２の実施形態の画像監視装置と類似する構
成を有する。本実施形態の画像監視装置も図５のブロック図により表される。本実施形態
の画像監視装置と第２の実施形態の画像監視装置とは、属性識別の正解率を算出の手法が
異なる。

以下、本実施形態の属性識別の正解率の算出手法を説明する。本実施形態でも属性とし
て性別（男女）を用いる。

本実施形態の認識部５０１はすべてのカメラ１０１の属性識別結果の多数決を求め、こ
の多数決の結果と各カメラ１０１の属性識別結果とを比較する。そして、認識部５０１は
、一致する場合は正解と判定し、一致しない場合は不正解と判定する。認識部５０１は判
定結果とカメラ１０１の識別子とを選択部５０４へ出力する。

選択部５０４は、各カメラについて一定期間内の属性正解率を求め、最も正解率が高い
ものを選択する。

（第４の実施形態）
本発明の第４の実施形態の画像監視装置は視野を可変制御可能なカメラを用い、視野を
可変制御するための制御パラメータを選択する。カメラの視野を変え得る要素としては、
例えば、カメラの向き、ズーム、および、焦点距離が挙げられる。本実施形態の画像監視
装置は、これらすべてが可変制御可能なカメラを備える。

基本的な構成は第１から第３の実施形態までと同様である。ただし、第１から第３の実
施形態においては、複数個のカメラから最適なものを選択するものであったため、同じ対
象物を基準に評価することが可能であった。ところが、本実施形態では、一つのカメラに
対して複数の制御パラメータを選択することになるため、同時に評価を行なうことができ
ない。そこで、制御パラメータごとに対象となる期間をずらして評価を行なう。例えば、
一定時間おきに制御パラメータを変えながら評価を行う。

本実施形態によれば、状況に応じてカメラのパラメータを適切に決定することができる
ようになる。可動カメラはパラメータが一旦、適切に定まれば、同等のパラメータの固定
カメラと置き換えてもよい。こうすることで、比較的安価なシステムにすることができる
。

（第５の実施形態）
本発明の第５の実施形態は、画像中で顔が検出しやすい領域を限定することで、処理の
省力化を行なうものである。第１から第４の実施形態と組合せて用いる。

検出部１０２は、顔領域または顔特徴点を検出した際に、例えばその重心座標を記録し
ておく。画像を一定の領域に区切っておき、それぞれの区画における検出数または検出率
にしたがって、各領域における検出されやすさを求める。

図８はある時刻での画像であり、図９の斜線の領域は図８の画像中で顔領域が検出され
やすい領域を示す。検出部１０２は、顔領域または顔特徴点が一定期間まったく検出され
なかった領域に対して、それ以降の処理は行なわないか、あるいは、顔検出処理の精度を
粗くするように検出時のパラメータを設定する。こうすることで、画像中の処理を行なう
必要がない領域を決めることがで、省力化が可能となる。

さらに、各領域について、顔検出のスケールを設定することもできる。例えば画像中、
手前は大きく、奥は小さい顔しか見つからないことがわかれば、それに沿って効率的に検
出が可能となる。例えば、検出された顔領域の大きさを記憶しておき、その大きさから順
に検出処理を開始することが考えられる。

（変形例）
検出部１０２における顔特徴点検出は検出された顔領域内で処理を行なっているが、こ
れに限るものではない。また、顔特徴点は瞳と鼻孔の４点を検出したが、これに限るもの
ではない。口端、目尻、目頭、眉端、鼻頂点などを検出してもよい。

認識部１０５および５０１における顔による個人認証には相互部分空間法による方法を
用いたが、顔画像によるものであれば本実施形態以外のものでもよい。

属性として性別を示したが、顔によるものとして、眼鏡の有無、年代、髭の有無、マス
ク有無、髪の色、人種、顔によらないものとして、身長、体格なども用いることができる
。さらに、属性ごとに異なるカメラを用いて検出してもよい。使用されないカメラは取り
外してもよい。

歩行者数の計測、個人認証について顔画像を用いる方法を示したが、顔である必要はな
く、別の部位により検出、認証してもよい。また、画像によらず、RFID（無線タグ）など
の別のID識別を用いることで、歩行者数の計測、個人認証を行なっても差し支えない。

カメラ１０１のパラメータを変更する例を示したが、画像処理パラメータでもよい。例
えば検出する対象物のスケールに関するパラメータや、しきい値などが考えられる。

選択部１０３および５０４は、カメラ１０１の中から必ずしも最良の一つを選択する必
要はなく、複数のカメラ１０１を選択してもよい。その場合には組み合わせにより、性能
が異なることが考えられるため、組み合わせも考慮した性能により、選択することが必要
である。

選択するカメラおよびパラメータは、一定である必要なく、時間や季節、その他の状況
に応じて動的に変更してもよい。そうすることで、照明などの変動が大きな場所であって
も、対応が可能となる。

対象が歩行者の場合について述べたが、対象についてはこれに限定されるものではない
。例えば、道路に設置したカメラで車の数を検出する際に、検出数により選択を行なって
もよい。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要
旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示され
ている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実
施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実
施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の第１の実施形態の画像監視装置のブロック図。本発明の第１の実施形態の個人認証時の動作を示すフローチャート。本発明の第１の実施形態のカメラ決定処理時の動作を示すフローチャート。カメラ配置の例。本発明の第２の実施形態の画像監視装置のブロック図。本発明の第２の実施形態の属性識別時の動作を示すフローチャート。本発明の第２の実施形態のカメラ決定処理時の動作を示すフローチャート。本発明の第５の実施形態の説明図。本発明の第５の実施形態の説明図。

符号の説明

１０１・・・・・・・カメラ１０２・・・・・・・検出部
１０３、５０４・・・選択部１０４、５０５・・・評価記憶部
１０５、５０１・・・認識部１０６、５０２・・・辞書記憶部
１０７・・・・・・・出力部５０３・・・・・・・属性辞書記憶部

Claims

対象物を撮影するための複数のカメラと、
前記各カメラによって得られた画像の各々について、前記対象物の存在する領域を検出
する検出部と、
個体認識用の個体認識辞書を記憶する辞書記憶部と、
前記検出部によって検出された前記領域の画像に含まれる前記対象物を前記個体認識辞
書を用いて個体認識する認識部と、
前記各カメラが得た画像に基づいて、前記対象物を認識しやすい画像を得る能力に関す
る前記各カメラの評価値を求めて、前記複数のカメラの中から少なくとも一つのカメラを
選択する選択部と、
前記選択されたカメラによって得られた画像に基づいて前記認識部が認識を行った結果
を出力する出力部と、
を備える画像監視装置。
前記対象物は歩行者であり、
前記選択部は、前記評価値として一定期間に前記検出部によって検出された歩行者の数
を用いることを特徴とする請求項１記載の画像監視装置。
前記辞書記憶部は前記対象物の属性を認識するための属性辞書を記憶し、
前記認識部は前記対象物の属性を前記属性辞書を用いて属性識別し、
前記選択部は、前記属性識別の結果の一定期間にわたる正解率を前記評価値として用い
ることを特徴とする請求項１記載の画像監視装置。
前記辞書記憶部は、前記個体認識辞書に登録されている各個体とその属性情報とを対応
付けて記憶し、
前記選択部は、前記認識部による前記個体認識の結果に基づいて特定された個体の属性
情報と、前記認識部による前記属性識別の結果との、一致率を前記正解率として用いるこ
とを特徴とする請求項３記載の画像監視装置。
前記個体に付された無線タグから前記個体の属性の正解値を取得する無線タグ読取手段
を有し、
前記選択部は、前記正解値を用いて前記属性識別の結果の前記正解率を求める、
ことを特徴とする請求項３記載の画像監視装置。
対象物を撮影するためのカメラと、
前記カメラによって得られた画像について、前記対象物の存在する領域を検出する検出
部と、
個体認識用の個体認識辞書を記憶する辞書記憶部と、
前記検出部によって検出された前記領域の画像に含まれる前記対象物を前記個体認識辞
書を用いて個体認識する認識部と、
前記カメラによって得られた画像中で前記検出部が前記対象物を検出しやすい領域を推
定し、前記検出部による検出範囲を前記推定された領域に設定する設定部と、
前記カメラによって得られた画像に基づいて前記認識部が認識を行った結果を出力する
出力部と、
を備える画像監視装置。
対象物を撮影する、視野を可変制御可能なカメラと、
前記カメラによって得られた画像の各々について、前記対象物の存在する領域を検出す
る検出部と、
個体認識用の個体認識辞書を記憶する辞書記憶部と、
前記検出部によって検出された前記領域の画像に含まれる前記対象物を前記個体認識辞
書を用いて個体認識する認識部と、
前記カメラが異なる複数の視野で得た画像に基づいて、前記カメラが前記対象物を認識
しやすい画像を得る能力に関する複数の視野の各々の評価値を求めて、前記複数の視野の
中から少なくとも一つの視野を選択する選択部と、
前記カメラが前記選択された視野で得た画像に基づいて前記認識部が認識を行った結果
を出力する出力部と、
を備える画像監視装置。