JP2011198261A - 対象物認識システム及び該システムを利用する監視システム、見守りシステム - Google Patents

Abstract

【課題】監視領域や見守り領域を観測し、得られたデータから対象物領域を抽出したときに、複数の対象物領域が重なりあう又は近距離に位置することにより１つの対象物領域として統合認識されている場合や部分的なデータ欠落により同一対象物が複数の対象物領域に分離されている場合には、認識が困難になる問題を解決する認識システム、監視システム、見守りシステムを提供する。
【解決手段】抽出された対象物がフレームに出現する出現時刻及び／又は統合前の複数の対象物領域と統合後の対象物領域の領域パラメータの相関度に基づいて、複数の対象物領域を独立した別の対象物領域として分離する手段と、対象物領域がフレームに出現する出現時刻及び／又は分離前の対象物領域と分離後の複数個の対象物領域の領域パラメータの相関度に基づいて、分離された対象物を同一の対象物領域であると認識する領域統合手段を備える。

【選択図】図１

Description

地下鉄、駅、空港等の公共の場における、拳銃、刀等の不法所持者、テロリスト、尾行、スリ、喧嘩等怪しい人物（不審者）の発見と追跡及び不審物の発見等セキュリティ確保のための監視システム、あるいは家庭や学校等建物内における老人や子供、病人等の見守りシステム等に必須の技術として、人の姿勢・動作・動きや持ち主不在の物体を検出及び認識して、異常を検知するためのセンサー情報処理技術を用いた監視システム及び見守りシステムに関する。

従来の監視システムはほとんどが固定的に設置された監視カメラを使用したものが大半である。一方、携帯型センサーを用いた老人や子供の見守りシステムに関するものとしては、GPS搭載の携帯電話を子供に持たせたものがある程度で、他には見当たらない。ほとんどの従来型監視技術は一つのメディアタイプ（主には、ビデオカメラ）だけを用いており、広い範囲はカバーできても、不審者、不審物の発見や異常事態の検出は人の目視に頼らざるを得なかった。本発明は、これらの欠点を補強し、信頼性の高い自動監視システム及び見守りシステムの実現を目指したものである。

不審者、不審物の発見には監視カメラ以外では、空港等におけるX線検査や係官による目視によるもの、発熱を感知するサーモグラフィ検査、顔写真や指紋照合によるもの等が代表的なものである。過去の研究では画像処理アルゴリズムを用いた静止物体や特定の動きをする人の自動検出については、それほど複雑でない比較的安定した環境の中での動作認識（歩く、走る、転倒等）に限られており、実用的な24時間自動監視システム及び見守りシステムを実現できるレベルには至っていない。

Teddy Ko, "A survey on behavior analysis in video surveillance forhomeland security applications," 37th IEEE Applied ImageryPattern Recognition Workshop, Washington, DC, USA,pp.1-8, Oct. 15-17, 2008.

しかしながら、従来の監視システム及び見守りシステムには以下に示す問題点があった。すなわち、対象となる静止物体の検出には、背景差分が多く用いられるが、そのためには正確な背景が必要であり、よく用いられる観測開始時のデータを固定的に利用する方法や、単に一定時間内の移動平均を利用する方法では、動物体による遮蔽や影、反射あるいは照明条件の変動等の影響があると誤差が大きくなるという問題があった。

また、照明変動や対象物の周りの移動物体による遮蔽等の影響を受けて、検出に失敗（未検出及び誤検出）することがよくあり、このような観測値の欠落やノイズ等に起因して、対象物が存在しているのに検出できなかったり、存在していないのに誤検出したりする問題と、本来は一つであるべき対象物領域が分離されて抽出されたり、複数個の対象物が一つの領域として検出されたりして、後処理が困難になると言う問題があった。

さらに、背景差分から求められた対象物の位置に関してもノイズの影響等により精度が低下するという問題があった。

本発明は、このような問題点を解決するために提案された対象物の認識システムであって、一定時間内、監視領域及び／又は見守り領域を観測する観測手段と、上記観測手段の観測によって得られたデータから対象物を抽出する抽出手段と、上記対象物抽出手段が複数の対象物を一つの対象物として抽出した場合や同一対象物を複数の対象物として抽出した場合に正しく補正する手段及び／又は抽出された対象物領域の大きさと位置を正確に調整する手段とを備える。

上記対象物抽出手段が抽出した対象物領域が、複数の対象物領域が重なりあう又は近距離に位置することにより１つの対象物領域として認識されている場合、対象物領域の出現時刻が異なっているかを判定する出現時刻判定手段と、出現時刻判定手段が異なっていると判定した場合、上記対象物抽出手段が上記対象物領域を抽出した時刻の前後における対象物領域に基づいて、重なりあう又は近距離に位置する各対象物領域を独立した別の対象物領域として認識する領域分離手段とを備えても良い。

上記対象物抽出手段が抽出した対象物領域が、複数の対象物領域が重なりあう又は近距離に位置することにより１つの対象物領域として統合して認識されている場合、統合する前（統合後に再度分離された場合も含む）の複数個の対象物領域（以下、分離対象物領域という）と統合後の一つの対象物領域（以下、統合対象物領域という）の領域パラメータの相関度を計算し、その値が最大で所定の閾値以上である相関度をもつ分離対象物領域が存在すると判定した場合、その対象物領域を該対象物領域と判定し、さらに上記対象物領域を統合対象物領域から除いた領域を新しい統合対象物領域とし、上記対象物領域を分離対象物領域から除いたものを新しい分離対象物領域として、該当する対象物領域がなくなるまで上記の手順を繰り返すことにより、一つに統合された対象物領域を独立した別々の対象物領域として分離する領域分離手段を備えても良い。

上記対象物抽出手段が抽出した対象物領域が部分的なデータ欠落により複数の対象物領域に分断されている場合、対象物領域の出現時刻が同一であるかを判定する出現時刻判定手段と、出現時刻判定手段が同一であると判定した場合、分断された対象物を同一の対象物領域であると認識する領域統合手段とを備えても良い。

上記対象物抽出手段が抽出した対象物領域が部分的なデータ欠落により複数の対象物領域に分断されている場合、分離する前（分離後に再度統合された場合も含む）の対象物領域と分離後の複数個の対象物領域の領域パラメータの相関度をデータ欠落部分を除外して計算し、その値が所定の閾値以上であると判定した場合、分断された対象物を同一の対象物領域であると認識する領域統合手段を備えても良い。

対象物領域の周辺に窓を設け、上記窓の大きさと位置を変化させながら、それぞれの領域における背景と現在フレームの領域パラメータの相関度を求め、上記相関度のうち、設定した対象物領域における相関度が最も小さく、かつ、設定した窓における相関度が最も大きくなるよう対象物領域の大きさと位置を調整するようにしても良い。対象物領域としては、シルエット領域やバウンディングボックスを用いてもよい。

そのバウンディングボックスの位置と大きさ、及び対象物領域が正確に求められれば、後処理における信頼性・安定性・認識精度等の向上が期待できる。

２値化処理のための閾値を変化させることで各対象物領域に含まれるエッジ画像又は背景差分画像の累積濃淡値あるいは２値化後の画素数が急に増加する（一定の閾値の増加に対する累積濃淡値あるいは画素数の増加度がある一定以上の早さで増加する）閾値を選択し、選択した閾値を用いて２値化処理を行うことで対象物領域を抽出するようにしてもよい。

本発明の対象物検出システムは、不審者の発見と追跡及び不審物の発見等セキュリティ確保のための監視システムや、家庭や学校等建物内における老人や子供、病人等の見守りシステム等に利用することができる。

本発明によれば、どのような状況にあっても安定的に高精度な背景を得ることができる。また、照明変動や対象物の周りの移動物体による遮蔽等の影響を受けても、検出に失敗することなく、このような観測値の欠落やノイズ等に起因して、対象物が存在しているのに検出できなかったり、誤検出したりする問題を解消することができ、また対象物領域を正しく分離統合ができ、その位置も正確に検出できる。

本実施形態における処理手段を含むシステム全体の構成図 本実施形態におけるシステム全体の処理フローダイアグラム バウンディングボックスに関連するパラメータを示す図 対象物領域に重なりがある場合に分離する方法を示す図 同一対象物領域が分断された場合に領域を統合する方法を示す図 バウンディングボックスの正確な位置と大きさを求める原理を示す図 １次元上での領域抽出を示す図

以下、本発明の実施の形態について、図面と数式に基づいて説明する。図１は、本実施形態における処理手段を含むシステム全体の構成図である。本システム１００は、一定時間内、監視領域及び／又は見守り領域を観測する１又は２以上のセンサー１０１、１０２と、センサー１０１、１０２から受信したデータを分析統合する制御手段１０３を備えている。センサー１０１、１０２は、一定時間内に、背景や対象物の存在を観測する観測手段としての機能を有し、固定センサー１０１、携帯センサー１０２等で構成される。

一定時間内、監視及び見守り対象となる場面を観測する観測手段として、次に挙げるセンサーを用いてもよい。センサーの種類は、「０次元：位置計測GPS、温度、湿度」、「１次元：加速度計（３軸）、角加速度計（３軸）、傾斜計（３方向、角加速度計に含ませ得る）、マイク（音響）」、「２次元：通常の可視光カメラ、近赤外線カメラ、遠赤外線カメラ、サーモグラフィ」、「３次元：３次元データ（レンジセンサー、３次元位置センサー、３次元モーションセンサー、３次元測距センサー）」等から選ばれる。ここでは、本来の使用目的と直感的な分かりやすさのために主に画像を用いて説明するが、その他のメディア（３次元データ等）等の観測データから対象物を認識する場合にも同様に適用できる。また、種々の変動等に対応するために０次近似だけでなく、線形近似あるいは高次近似等も使え、誤差を最小にするために、最小二乗平均誤差（LMS: Least Mean Square)、あるいは最大誤差を最小にして最適値を得る手法等も必要に応じて使い分ければよい。

制御手段１０３は、センサー１０１、１０２から取得した画像等に基づいて背景を抽出するための背景判定手段、背景抽出手段、背景推定手段や、対象物を抽出するための対象物判定手段、対象物抽出手段、対象物存在位置推定手段を備えている。これらの手段は、具体的には例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）等を備えたパーソナルコンピュータで構成され、ＣＰＵが、ＲＯＭやＨＤＤ等に記憶されているプログラムを実行することで、各手段としての機能が果たされる。

各手段について説明する前に、まず本実施形態の対象物認識システム（又は監視システム、見守りシステム）におけるシステム全体の流れについて簡単に説明する。図２は、本実施形態におけるシステム全体の処理フローダイアグラムである。まず、観測に入る前に初期値としての背景を求める。ここで、背景とは、人、物に関わらず、観測開始より前から観測が始まってからも一定期間静止しているものを意味し、初期背景とは観測開始時の背景、短時間背景と長時間背景は静止時間の長短により区別する。すなわち、途中から現れても、ある一定時間以上場面中に存在し、静止し続けているものを指すこともあるが、短時間背景と長時間背景はどのくらい長い時間場面内で静止している物を静止物体として検出したいのかによって使い分ける。

図２に示すように、センサー２００からのデータを受けとり（Ｓ２０１）、背景の抽出と更新をする（Ｓ２０２）。まず、背景差分やフレーム間差分等により対象物領域を抽出し（Ｓ２０３）、さらに位置と大きさの微調整を行い（Ｓ２０４）、セグメンテイションを行い（Ｓ２０５）、領域特徴を抽出する（Ｓ２０６）。３次元実空間上での位置推定を行い（Ｓ２０７）、対象となる静止物体や一定の動きをする動物体の姿勢・動作の認識、不審物の検出を行う（Ｓ２０８~Ｓ２１３）。具体的には、物か、人かの判別を行い（Ｓ２０８）、物ならば不審物と判断して（Ｓ２０９）、この不審物を持ってきた人の追跡を始める（Ｓ２１０）。人ならば姿勢・動作の認識結果から異常事態の検出を行い（Ｓ２１１、Ｓ２１２）、異常が発見されたら通報等の対応をする（Ｓ２１３）。これらの手順により一連の処理を終わるが、監視・見守り時間中は上の処理を繰り返す。

次に、対象物を認識する手順について説明する。対象物とは静止物体あるいは一定の動きをする物体で検出・認識の対象となっているものであり、人と物を含む。ここで、対象物存在位置パラメータは、対象物の存在位置を反映するパラメータのことで、対象物のシルエットやバウンディンボックスの重心や領域の最大値、最小値、背景差分の絶対値や後述する動き測度等も含む。動き測度は位置と対応させて用いる。対象画像を例に取ると、存在位置パラメータに対応する画像上の領域を求めると対象物の存在位置や大きさを知ることができる。パラメータの検出には上述の方法で得られた背景を利用してもよい。また、対象物パラメータは対象物を反映するパラメータ、背景パラメータは背景を反映するパラメータのことで、具体的な例として画素値や３D位置データ等である。両方を総称して領域パラメータという。

バウンディングボックスは、図３に示すように、理想的にはある対象物を囲む最小の長方形、あるいは直方体領域のことであるが、必ずしも最小のものが抽出できるとは限らない。また、存在位置パラメータとして用いる重心は対象物領域の位置を表すパラメータであれば、他の値で置き換えることも可能であり、例えば、バウンディングボックスの左上隅の点の位置、最上点、最下点等を選ぶことも可能である。シルエットとは、背景差分等によって抽出された対象物（人、物）領域を白黒で表現したものである。３次元データは、３次元空間上の距離画像データ等を総称していい、レンジセンサーや、対象物までの距離を計測することにより３次元データが得られる３次元測距センサー等から取得することができる。

図４(a)は対象物領域が抽出された場合に複数の対象物領域に重なりがある場合や、近くにあるため分離が難しい場合に、一般には場面に現れた時刻が異なるのでその違いを用いて分離する様子を示している。出現時刻判定手段が、前対象物抽出手段が該対象物を最初に抽出した時刻を出現時刻として設定し、場面から消えた最後の時刻を消失時刻として設定する。領域分離手段は出現時刻が異なる対象物を分離して抽出する。人が荷物を持って現れた場合にはこの方法では分離できないので、何らかのセグメンテイション及び認識手法を必要とする。時間差がある閾値以上であれば、時刻が異なると判断してもよい。また、重なる部分が分かっている場合は、その共通領域を接地点が手前（画像上では下）にある方に含ませてもよい。一般的に形状は時間と共に緩やかに一定の規則に従って変化するので、ある程度の予測は可能であり、共通部分における対象物領域の判定に用いてもよい。このように領域分離手段は出現時刻が異なる対象物は異なる対象物として分離する。また、出現する際、消失する際に異なる動きをすることを分離の条件に入れても良い。

図４(b)は、本来は分離されるべき複数の対象物領域が一つの統合された場合に、領域パラメータの相関度を用いて元の各領域に分離する様子を示す。

図５(a)は対象物領域が抽出された場合に、同一対象物領域が遮蔽や影、反射や照明の変動等により部分的にデータ欠落が発生し、分断された場合に、検出時刻が同じであること及び／又は分断領域の境界付近の対象物領域パラメータの同一性を利用して同一対象物領域であると判定し、領域を統合する様子を示している。ここで、比較する領域は、分断された各領域の内部にあって境界付近にあり、さらに互いに近い領域同士を比較する。近いかどうかを判断するために、閾値を設けてもよい。比較領域にあって、本来はつながっているべき画素が同一かどうかを判断するが、テキスチャー（服の模様等）が同一であることを利用してもよい。移動時間や検出誤差を考慮して、時間差がある閾値以内であれば同じ時刻であると判断してもよい。このように領域統合手段は出現時刻が同じ対象物は同一対象物として統合する。また、出現する際、消失する際に同一の動きをすることを統合の条件に入れても良い。

図５(b)は、本来は一つの領域として認識されるべき対象物領域が複数個に分離されて検出された場合に、領域パラメータの相関度を元の一つの領域として統合する様子を示す。

また、対象物領域の正確な求め方は、次の手続きによる。背景差分等により求められた対象物領域のバウンディングボックスあるいはシルエットを初期値として周辺に窓を設け、それぞれの領域の大きさと位置を変えながら、それぞれの領域における背景と現在フレームの領域パラメータの相関度を求め、対象物領域における値が一番小さく(相関が少ない）、周辺の窓における値が大きく（相関が大きい）なる位置と大きさを求めて対象物の正確な位置と大きさとして採用する。要するに、対象物領域における背景と原フレームとの違いを利用することを原理とする。ここで、初期値はおおよその位置と大きさが合っていればよい。また、周辺の窓の形状は必ずしも四角形である必要はなく、対象物を取り囲む帯状のものでもよい。周辺のスリットは中央の領域に沿って設置することを想定しているが、必ずしも接している必要はなく、境界のあいまいさの影響を少なくするために、少し間隔を空けてもよい。また、対象物の下の部分は影の影響を受けやすいので、他の部分の重みを１とすると下の部分の重みは１以下にしてもよい。対象物領域における相関度が一番小さくなる場合と、周辺の窓における相関度が一番大きくなる場合の位置と大きさは必ずしも一致しないので、それぞれに重み付けして加えた値を利用して、決定してもよい。周辺の窓領域は背景であることを前提にしているので、複数の対象物領域が近くにあって重なる場合は、その領域を相関度の計算から除いた方がよい。

図６は、本実施形態における、正確なバウンディングボックスの正確な位置と大きさを求める原理を示したものである。同図(a)においては、窓と対象物の左右位置がずれているので、背景と現フレーム画像との相互相関係数は、『L：中、M：中、R：高』となり、同図(b)においては、位置がぴったりと合い、大きさも合っているので、相互相関係数は、『L：高、M：低、R：高』となる。ここで、Mは対象物領域のバウンディングボックス、LとRは左右の窓であり、MとL及びRの間は少し間隔を空けている。

相関度としては、相互相関係数等の類似度や平均二乗誤差等の距離の概念を用いることができるが、類似度と距離は逆方向の概念である。すなわち類似度は大きいほど、距離は小さいほど、似ていることを示す。２つの領域が類似していると、相互相関係数の場合は大きく（１に近く）なり、二乗平均誤差の場合は小さく（０に近く）なる。多くの場合、輝度値の係数倍には依存しない分、相互相関係数を用いた方がよい結果が得られる。また、一般にフレームは画像を意味するが、３次元データ等その他マルチメディアコンテンツにも適用できる。ある安定したフレームを基準の背景とした方がよい結果が得られる。

上述のように背景差分やフレーム間差分などで対象物を検出しようとするときに、２値化処理が必要となるが、そのための閾値を適応的に変えていくことにより、最適な値を自動的に決定し、正確な対象物領域のシルエットを抽出する。ある時刻t、その時の入力画像X(t)、背景差分画像Y(t)、X(t)からエッジ検出された画像Z(t)（エッジ演算後の濃淡値を用いてもよい）とする。X(t)をある閾値Thで２値化し、その値を順次下げていくと、各領域は単調増大していくが、各領域に含まれる背景差分画像Y(t)あるいはエッジ画像Z(t)の２値化後の画素数あるいは累積濃淡値は、対象物をちょうど含むようになったときに、その値は急に増加し（一定の閾値の増加に対する累積濃淡値あるいは画素数の増加度がある一定以上の早さで増加する）、しばらく増加速度は抑えられるので、この点の値を最適な値として閾値に選び、２値化を行う。各領域毎に最適な閾値を選ぶ。このように閾値と領域の大きさの変化を利用することにより、影などの影響を受け難い適応的な対象物の領域抽出が可能となる。説明の簡単のため１次元上での領域抽出の様子が図７に示されている。コントラストの違う２つの画像においてそれぞれ両矢印の範囲が対象物領域を表す。２値化された領域あるいは濃淡値の累積が急に大きくなる値を用いると、コントラストの違いや明るさの違いに関わらず対象物領域が正しく抽出できる。

以上に示すように、本発明によれば、人混みの多いところ等では、遮蔽が頻繁に発生し、照明変動の影響等種々の原因で観測値に欠落が生じることがあるが、そのような場合であっても不審物の発見、不審物を置き去りにした不審者を追跡できる。駅の改札口や空港等において、うろうろしている人、酔っ払っている人、あたりを窺う人、無賃乗車のために改札口で中腰になって通過する人や跳び上がる人、設定されたラインから離れて移動する不審な動きをする人、持ち主不在の不審物、の検出と不審者の追跡等のセキュリティ確保のための監視システムに利用できる。また、車載の遠赤外線カメラ画像を用いた歩行者検知にも役立つので重大事故の防止に役立つ。

家庭内、公共の建物内や通学路などにおいては、病人、子供や老人等が急に転倒したり、うずくまったり、したりの異常がないか、周辺に怪しい人がいないか、等を検知し通報する見守りシステムの構築に利用できる。

１００ ネットワーク
１０１ 固定センサー
１０２ 携帯センサー
１０３ 制御手段

Claims (10)

1. 一定時間内、監視領域及び／又は見守り領域を観測する観測手段と、
   上記観測手段によって得られたデータから対象物領域を抽出する抽出手段と、
   上記対象物抽出手段が抽出した対象物領域が、複数の対象物領域が重なりあう又は近距離に位置することにより１つの対象物領域として統合して認識されている場合、抽出された対象物がフレームに出現する出現時刻及び／又は統合前の複数の対象物領域と統合後の対象物領域の領域パラメータの相関度に基づいて、複数の対象物領域を独立した別の対象物領域として分離する領域分離手段と、
   を備える対象物認識システム
2. 一定時間内、監視領域及び／又は見守り領域を観測する観測手段と、
   上記観測手段によって得られたデータから対象物領域を抽出する抽出手段と、
   上記対象物抽出手段が抽出した対象物領域が部分的なデータ欠落により複数の対象物領域に分離されている場合、対象物領域がフレームに出現する出現時刻及び／又は分離前の対象物領域と分離後の複数個の対象物領域の領域パラメータの相関度に基づいて、分離された対象物領域を同一の対象物領域であると認識する領域統合手段と
   を備える対象物の認識システム。
3. 抽出された対象物がフレームに出現する出現時刻が異なっている場合
   上記領域分離手段が、上記対象物領域を抽出した時刻の前後における対象物領域に基づいて、重なっている各対象物領域を独立した別の対象物領域として分離する領域分離手段
   を備える請求項１記載の対象物認識システム
4. 統合する前の複数個の対象物領域（以下、分離対象物領域という）と統合後の一つの対象物領域（以下、統合対象物領域という）の領域パラメータの相関度の最大値が所定の閾値以上である場合、
   上記領域分離手段が、最大値が所定の閾値以上の相関度をもつ分離対象物領域を統合対象物領域から分離することで、一つに統合された統合対象物領域を独立した別の対象物領域として認識する
   請求項１又は３記載の対象物の認識システム。
5. 上記対象物抽出手段が抽出した対象物領域が部分的なデータ欠落により複数の対象物領域に分離されている場合、対象物領域の出現時刻が同一であるかを判定する出現時刻判定手段と、
   出現時刻判定手段が同一であると判定した場合、分断された対象物を同一の対象物領域であると認識する領域統合手段と
   を備える請求項２記載の対象物の認識システム。
6. 上記対象物抽出手段が抽出した対象物領域が部分的及び／又は一時的なデータ欠落により複数の対象物領域に分離されている場合、
   分離していない（分離する前と分離後に再度統合された場合を含む）状態での対象物領域と分離後の複数個の対象物領域の領域パラメータの相関度をデータ欠落部分を除外して計算し、その値が所定の閾値以上であると判定した場合、分断された対象物領域を同一の対象物領域であると認識する領域統合手段
   を備える請求項２又は５記載の対象物の認識システム。
7. 対象物領域の周辺に窓を設け、上記対象物領域とともに上記窓の大きさと位置を変化させながら、観測時点における背景と観測時点におけるフレームとの各領域内における領域パラメータの相関度を求め、上記相関度のうち、設定した対象物領域における相関度が最も小さく、かつ、設定した窓における相関度が最も大きくなるよう対象物領域の大きさと位置を調整する
   請求項１から６の何れかに記載の対象物の認識システム。
8. ２値化処理のための閾値を変化させることで各対象物領域に含まれるエッジ画像又は背景差分画像の累積濃淡値あるいは２値化後の画素数が急に増加する閾値を選択し、選択した閾値を用いて２値化処理を行うことで対象物領域を抽出する
   請求項１から７の何れかに記載の対象物の認識システム。
9. 請求項１から８の何れかに記載の対象物の認識システムを用いた監視システム。
10. 請求項１から８の何れかに記載の対象物の認識システムを用いた見守りシステム。