JP2008276613A - 移動体判定装置、コンピュータプログラム及び移動体判定方法 - Google Patents

Abstract

【課題】移動体の位置及び種別を精度良く判定することができる移動体判定装置、コンピュータプログラム及び移動体判定方法を提供する。
【解決手段】ＣＰＵ２５は、画素領域を設定し、注目画素の位置を設定する。ＣＰＵ２５は、設定した画素領域内の注目画素とその注目画素からの変位方向により特定される特定画素との相関に基づいて特徴量ベクトルを抽出する。撮像画像上での注目画素の位置における移動体の見かけの大きさ、移動速度に応じて、画素領域の画素ブロックの大きさ及びフレーム数並びに画素間隔及びフレーム間隔を変化させる。
【選択図】図２

Description

本発明は、道路を含む領域を撮像装置で撮像して得られた時系列の撮像画像に基づいて移動体の種別を判定する移動体判定装置、該移動体判定装置をコンピュータで実現するためのコンピュータプログラム及び移動体判定方法に関する。

円滑な交通を実現し、あるいは交通事故を未然に防止するために詳細な交通情報を提供することが求められている。例えば、道路の所定の地点を通過する車両の通過台数又は平均速度等のマクロな交通パラメータを取得することができる装置のみならず、個々の車両の位置又は動きを精度良く計測することができる装置が求められている。

これらの計測装置は屋外に設置されることが多く、様々な環境変化に対応した安定性のある計測精度が要求されている。また、これらの装置を用いた社会インフラを普及させるためには、安価な装置を提供することも不可欠である。

このような装置の一例として、画像処理技術を利用した画像式車両感知器の普及が進んでいる。例えば、車両が存在しない道路を撮像した撮像画像を予め作成しておき、車両が道路を走行する際に撮像した撮像画像との差分を算出して車両のみの情報を抽出する。その後エッジを抽出し、抽出したエッジの分布により車両位置を検出する装置が提案されている（特許文献１参照）。

また、車両又はその他の輝度分布そのものを特徴量とし、ニューラルネットワーク等で車両を判別する方式もあるが、様々な環境下でのパターンデータを予め準備しておくことは現実的ではなく、かつ判別に要する処理時間も膨大となることから安価な装置として実現することは非常に困難であった。

一方、動画像に基づいて注目画素の周辺及び時間方向での局所領域での相関特徴量を抽出して、動作特徴の統計的な分布を考慮した場合に分布の集中する通常動作と、その分布から大きく逸脱する異常動作とを識別する立体高次局所自己相関特徴抽出手法が提案されている（非特許文献１参照）。
特開平５−３０７６９５号公報 南里 卓也、他１名、「複数人動画像からの異常動作検出」、情報処理学会研究報告、２００４−ＣＶＩＭ−１４５、ｐｐ１７９−１８６、２００４年９月１１日

しかしながら、特許文献１の例にあっては、日照変化、天候変化などの外部環境変化の影響により、路面上の影、路面標記、路面反射、あるいは樹木の揺れなどを車両として誤って計測するという問題があり、抜本的な解決はなされていない。また、非特許文献１の例にあっては、撮像画像内で通常動作又は異常動作の有無を識別することができるものの、撮像画像上のどの位置に通常動作を行う対象物が存在するのか、また、撮像画像上のどの位置に異常動作を行う対象物が存在するのかは識別することができない。従って、非特許文献１の手法を交通流監視等に適用したとしても、車両、人などの移動体が何処に存在するのか判定することができなかった。

本発明は、斯かる事情に鑑みてなされたものであり、撮像時点が異なる複数の撮像画像の各撮像画像内の画素ブロックを時系列に複数並べて構成される画素領域を設定し、設定した画素領域内の注目画素とその注目画素からの変位情報により特定される画素との相関に基づいて特徴量ベクトルを抽出する。抽出した特徴量ベクトルを画素領域内の注目画素毎に加算し、加算した特徴量ベクトルを所定の変換係数で種別判定値に変換して移動体の種別を判定することにより、外部環境変化の影響を受けることなく、移動体の位置及び種別を精度良く判定することができる移動体判定装置、該移動体判定装置をコンピュータで実現するためのコンピュータプログラム及び移動体判定方法を提供することを目的とする。

第１発明に係る移動体判定装置は、道路を含む領域を撮像して得られた時系列の撮像画像に基づいて移動体の種別を判定する移動体判定装置において、撮像時点が異なる複数の撮像画像の各撮像画像内の画素ブロックを時系列に複数並べて構成される画素領域を設定する設定手段と、該設定手段で設定した画素領域内の注目画素と該注目画素からの変位情報により特定される画素との相関に基づいて特徴量ベクトルを抽出する抽出手段と、前記画素領域内の注目画素毎に前記抽出手段で抽出した特徴量ベクトルを加算する加算手段と、該加算手段で加算した特徴量ベクトルを所定の変換係数で種別判定値に変換する変換手段とを備え、該変換手段で変換した種別判定値に基づいて移動体の種別を判定するように構成してあることを特徴とする。

第２発明に係る移動体判定装置は、第１発明において、前記設定手段は、撮像画像の遠距離／近距離に対応する領域で前記画素領域の画素ブロックの大きさを小さく／大きく設定するように構成してあることを特徴とする。

第３発明に係る移動体判定装置は、第１発明又は第２発明において、注目画素と変位情報により特定される画素との画素間隔は、撮像画像の遠距離／近距離に対応する領域で小さい／大きいことを特徴とする。

第４発明に係る移動体判定装置は、第１発明乃至第３発明のいずれかにおいて、前記設定手段は、撮像画像の遠距離／近距離に対応する領域で前記画素領域の時系列に並べた画素ブロックの数を多く／少なく設定するように構成してあることを特徴とする。

第５発明に係る移動体判定装置は、第１発明乃至第４発明のいずれかにおいて、注目画素が存在する画素ブロックと変位情報により特定される画素が存在する画素ブロックとの時間間隔は、撮像画像の遠距離／近距離に対応する領域で大きい／小さいことを特徴とする。

第６発明に係る移動体判定装置は、第１発明乃至第５発明のいずれかにおいて、前記加算手段で加算した特徴量ベクトルを前記画素領域内の注目画素数で除算して正規化する正規化手段を備え、前記変換手段は、前記正規化手段で正規化した特徴量ベクトルを変換するように構成してあることを特徴とする。

第７発明に係る移動体判定装置は、第１発明乃至第６発明のいずれかにおいて、前記加算手段で加算した特徴量ベクトルの各要素の変動量を複数の撮像時点に亘って算出する変動量算出手段を備え、前記抽出手段は、前記変動量算出手段で算出した変動量が所定の閾値以下である場合、該変動量に対応する要素を除外して特徴量ベクトルを抽出するように構成してあることを特徴とする。

第８発明に係るコンピュータプログラムは、コンピュータに、道路を含む領域を撮像して得られた時系列の撮像画像に基づいて移動体の種別を判定させるためのコンピュータプログラムにおいて、コンピュータを、撮像時点が異なる複数の撮像画像の各撮像画像内の画素ブロックを時系列に複数並べて構成される画素領域を設定する手段と、設定した画素領域内の注目画素と該注目画素からの変位情報により特定される画素との相関に基づいて特徴量ベクトルを抽出する手段と、前記画素領域内の注目画素毎に抽出した特徴量ベクトルを加算する手段と、加算した特徴量ベクトルを所定の変換係数で種別判定値に変換する手段と、変換した種別判定値に基づいて移動体の種別を判定する手段として機能させることを特徴とする。

第９発明に係る移動体判定方法は、道路を含む領域を撮像して得られた時系列の撮像画像に基づいて移動体の種別を判定する移動体判定方法において、撮像時点が異なる複数の撮像画像の各撮像画像内の画素ブロックを時系列に複数並べて構成される画素領域を設定し、設定した画素領域内の注目画素と該注目画素からの変位情報により特定される画素との相関に基づいて特徴量ベクトルを抽出し、前記画素領域内の注目画素毎に抽出した特徴量ベクトルを加算し、加算した特徴量ベクトルを所定の変換係数で種別判定値に変換し、変換した種別判定値に基づいて移動体の種別を判定することを特徴とする。

第１発明、第８発明及び第９発明にあっては、撮像時点が異なる複数の撮像画像の各撮像画像内の画素ブロックを時系列に複数並べて構成された画素領域を設定し、設定した画素領域内で注目画素の位置を設定する。設定した画素領域は、撮像画像上の２方向及び時間方向の３次元の領域となる。設定した画素領域内の注目画素とその注目画素からの変位情報により特定される画素（特定画素）との相関に基づいて特徴量ベクトルを抽出する。画素領域内で注目画素を移動させ、位置が異なる注目画素毎に抽出した特徴量ベクトルを加算する。変位情報は、注目画素から見た特定画素の変位方向であり、例えば、変位方向は注目画素を中心とする３×３×３画素の領域の２６方向（２６通り）とすることができる。相関特徴量を求める場合、変位方向の組み合わせ数だけ特徴量が生成される。例えば、組み合わせ数が２５１である場合、特徴量ベクトルは２５１次元ベクトルとなる。これにより、従来の手法（例えば、エッジ検出など）に比べて抽出することができる特徴量が増え、かつ時間変化による動きの特徴も抽出することができるため、複雑な特徴を注目画素毎に精度良く抽出することができる。

加算した特徴量ベクトルを所定の変換係数で種別判定値に変換する。変換係数は予め決定しておくことができる。例えば、変換係数は、移動体の種別（車両あり、人あり、車両・人なしなど）が判明している学習用データ（例えば、数百から数千フレーム、フレームレートは１秒間で３０フレーム）を用いて特徴量ベクトルを抽出し、回帰分析、主成分分析、判別分析などの多変量解析手法により求めることができる。変換した種別判定値に基づいて移動体の種別を判定する。これにより、画素領域の基準となる撮像時点の撮像画像における画素ブロックにおいて、車両あり、人あり、車両・人なしなどの移動体の種別を判定することができる。また、画素領域の画素ブロックの重なりを許して撮像画像全体に走査して同様の処理を繰り返すことにより、撮像画像上の移動体の位置及び種別を精度良く判定することができる。

第２発明にあっては、撮像画像の遠距離／近距離に対応する領域で画素領域の画素ブロックの大きさを小さく／大きく設定する。移動体が近くに存在する場合には撮像画像上での見かけの大きさが大きくなるため、画素ブロックの大きさを大きくする。これにより、画素領域の撮像画像上の２方向の大きさを大きくして広い範囲の特徴量を抽出することができ、精度良く移動体の種別を判定することができる。また、移動体が遠くに存在する場合には撮像画像上での見かけの大きさが小さくなるため、画素ブロックの大きさを小さくする。これにより、画素領域の撮像画像上の２方向の大きさを小さくして移動体の種別を精度良く判定しつつ、不要な処理を削除して処理労力を低減することができる。

第３発明にあっては、注目画素と変位情報により特定される画素との画素間隔を、撮像画像の遠距離／近距離に対応する領域で小さく／大きくする。移動体が近くに存在する場合には撮像画像上での見かけの大きさが大きくなるため、画素間隔を大きくして変位方向の長さを長くする。これにより、広い範囲の特徴量を抽出することができ、精度良く移動体の種別を判定することができる。また、移動体が遠くに存在する場合には撮像画像上での見かけの大きさが小さくなるため、画素間隔を小さくして変位方向の長さを短くする。これにより、移動体の見かけの大きさに応じて精度良く移動体の種別を判定することができる。

第４発明にあっては、撮像画像の遠距離／近距離に対応する領域で画素領域の時系列に並べた画素ブロックの数を多く／少なく設定する。移動体が近くに存在する場合には撮像画像上での見かけの移動速度が速く、短い時間でも移動体の移動量が大きいため、画素ブロックの数を少なくする。これにより、画素領域の時間方向の長さを短くして移動体の移動速度に応じて精度良く移動体の種別を判定することができる。また、移動体が遠くに存在する場合には撮像画像上での見かけの移動速度が遅く、長い時間でないと移動体の移動量が大きくならないため、画素ブロックの数を多くする。これにより、長い時間に亘って特徴量を抽出することができ、精度良く移動体の種別を判定することができる。

第５発明にあっては、注目画素が存在する画素ブロックと変位情報により特定される画素が存在する画素ブロックとの時間間隔を、撮像画像の遠距離／近距離に対応する領域で大きく／小さくする。移動体が近くに存在する場合には撮像画像上での見かけの移動速度が速く、短い時間でも移動体の移動量が大きいため、時系列に並んだ画素ブロックの時間間隔を短くする。これにより、移動体の移動速度に応じて精度良く移動体の種別を判定することができる。また、移動体が遠くに存在する場合には撮像画像上での見かけの移動速度が遅く、長い時間でないと移動体の移動量が大きくならないため、時系列に並んだ画素ブロックの時間間隔を長くする。これにより、長い時間に亘って特徴量を抽出することができ、精度良く移動体の種別を判定することができる。

第６発明にあっては、加算した特徴量ベクトルを画素領域内の注目画素数（例えば、注目画素の総数）で除算して正規化する。正規化した特徴量ベクトルを変換係数で変換して種別判定値を求める。これにより、画素領域の２方向又は時間方向の大きさに依存しない相関特徴量を求めることができる。

第７発明にあっては、加算した特徴量ベクトルの各要素の変動量を複数の撮像時点に亘って算出する。例えば、予め移動体の種別（車両あり、人あり、車両・人なしなど）が判明している学習用データを用いて、複数の撮像時点（例えば、数百から数千フレーム）で特徴量ベクトル（画素領域内の注目画素毎に抽出した特徴量ベクトルを加算した特徴量ベクトル）を抽出し、抽出した特徴量ベクトルの各要素（２５１次元ベクトルの場合、２５１要素）の変動量を算出する。変動量が所定の閾値以下である場合、すなわち、移動体の種別に関わらず特徴量が変化しない要素を除去する。移動体の種別を判定する場合、移動体の種別に関わらず特徴量がほとんど変化しない要素を除去した特徴量ベクトル（部分特徴量ベクトル）を抽出する。これにより、移動体の種別判定に不要な特徴量を求める必要がなくなり、移動体の種別判定の精度を維持しつつ処理量を削減することができ、移動体の種別の判定をより安価な装置で実現することが可能となる。

本発明にあっては、外部環境変化の影響を受けることなく、移動体の位置及び種別を精度良く判定することができる。

以下、本発明を実施の形態を示す図面に基づいて説明する。図１は本発明に係る移動体判定装置を用いた移動体判定の概要を示す模式図である。図１に示すように、交差点手前の停止線Ｐ付近の路上１０ｍ程度の位置にビデオカメラ１を設置する。ビデオカメラ１は、交差点への流入路又は流出路の数十ｍ程度の範囲を移動体の種別（例えば、車両あり、人あり、車両・人なし）を判定する判定領域として撮像する。

ビデオカメラ１には、所要の映像ケーブルを介して本発明に係る移動体判定装置２を接続してある。移動体判定装置２は、ビデオカメラ１で撮像して得られた時系列の撮像画像（動画像）を処理して移動体の種別を判定する。移動体判定装置２は、交通管制センタに設置されたセンタ装置３との間で有線又は無線通信により通信を行うことができる。移動体判定装置２は、移動体の種別の判定結果をセンタ装置３へ出力する。なお、ビデオカメラ１と移動体判定装置２とは一体型であってもよい。

図２は移動体判定装置２の構成を示すブロック図である。図において、１はビデオカメラである。ビデオカメラ１は撮像して得られた撮像画像を映像信号（アナログ信号）として画像入力部２１へ出力する。画像入力部２１は、取得した映像信号をＡ／Ｄ変換部２２へ出力する。

Ａ／Ｄ変換部２２は、入力された映像信号をデジタル信号に変換し、変換したデジタル信号を画像データとして画像メモリ２３へ記憶する。ＣＰＵ２５は、画像入力部２１を介してビデオカメラ１から入力された撮像画像を画像データとして、ビデオカメラ１のフレームレート（撮像時点の間隔、例えば、１秒間に３０フレーム）と同期して、１フレーム単位（例えば、４８０×６４０画素）で画像メモリ２３に記憶する。

補助記憶部２８は、本発明のコンピュータプログラムＰＧを記録したＣＤ−ＲＯＭ２９が挿入されることにより、ＣＤ−ＲＯＭ２９に記録されたコンピュータプログラムＰＧをＲＡＭ２４に記憶する。なお、コンピュータプログラムＰＧを記録する媒体は、ＣＤ−ＲＯＭ２９に限定されず他の記録媒体であってもよく、あるいは、インターネットからダウンロードすることもできる。ＣＰＵ２５は、ＲＡＭ２４に記憶されたコンピュータプログラムＰＧを実行する。移動体判定装置２は、ＣＤ−ＲＯＭ２９に記録したコンピュータプログラムＰＧがＲＡＭ２４に読み込まれ、読み込まれたコンピュータプログラムＰＧをＣＰＵ２５で実行することにより、移動体の種別判定処理を行う。なお、移動体の種別判定処理は、コンピュータプログラムに代えて、専用のハードウエア回路で実現することもできる。

画像メモリ２３は、画像入力部２１を介して取得された撮像画像を画像データとして、フレーム毎に記憶する。

記憶部２７は、コンピュータプログラムＰＧをＣＰＵ２５で実行することにより、得られた特徴量ベクトルの抽出結果、移動体の種別の判定処理結果を各フレームの画素毎に対応させて記憶している。また、記憶部２７は、学習用データを用いて算出された変換係数を記憶している。また、記憶部２７は、特徴量ベクトルの各要素のうち、相関特徴量を抽出する必要のない要素に関する情報を記憶している。

通信部２６は、移動体判定装置２で判定した移動体の位置及び種別に関する情報を、センタ装置３へ出力する。

ＣＰＵ２５は、撮像画像上で所要の大きさの画素ブロックを複数設定する。撮像画像上の画素ブロックの位置は、画素ブロックの一部が相互に重なり合うように配置することもでき、離隔して配置することもでき、あるいは、重なり合う画素ブロックと離隔する画素ブロックが混在することもできる。なお、画素ブロックの設定は、ＣＰＵ２５が行う代わりに、予め定めておくこともできる。ＣＰＵ２５は、撮像時点が異なる複数の撮像画像それぞれの画素ブロックを時系列に複数並べて構成された画素領域を設定し、設定した画素領域内で注目画素の位置を設定する。設定した画素領域は、撮像画像上の２方向及び時間方向の３次元の領域となる。

ＣＰＵ２５は、設定した画素領域内の注目画素とその注目画素からの変位情報により特定される画素（特定画素）との相関に基づいて特徴量ベクトルを抽出する。画素領域内で注目画素を移動させ、位置が異なる注目画素毎に抽出した特徴量ベクトルを加算する。すなわち、注目画素毎に抽出した個々の特徴ベクトルを画素領域内のすべての画素及び撮像時点について加算する。変位情報は、注目画素から見た画素領域内の特定画素の変位方向であり、例えば、変位方向は注目画素を中心とする３×３×３画素の領域の２６方向（２６通り）とすることができる。画素領域で特徴量ベクトルを抽出する場合、変位方向の組み合わせ数だけ特徴量が生成される。例えば、組み合わせ数が２５１である場合、特徴量ベクトルは２５１次元ベクトルとなる。

ＣＰＵ２５は、加算した特徴量ベクトルを所定の変換係数で種別判定値に変換する。ＣＰＵ２５は、変換した種別判定値に基づいて移動体の種別を判定する。なお、変換係数は予め決定しておくことができる。例えば、変換係数は、移動体の種別（車両あり、人あり、車両・人なしなど）が判明している学習用データ（例えば、数百から数千フレーム、１秒間で３０フレーム）を用いて特徴量ベクトルを抽出し、回帰分析、主成分分析、判別分析などの多変量解析手法により求めることができる。これにより、画素領域の基準となる撮像時点の撮像画像における画素ブロックにおいて、車両あり、人あり、車両・人なしなどの移動体の種別を判定することができる。画素領域の画素ブロックの重なりを許して撮像画像全体に走査して同様の処理を繰り返すことにより、撮像画像上の移動体の位置及び種別を精度良く判定することができる。

図３は撮像画像の一例を示す説明図である。図３に示すように、撮像画像上の近距離に対応する領域をブロックＡとし、遠距離に対応する領域をブロックＣとし、その中間である中距離に対応する領域をブロックＢとして３分割する。図３に示すように、ブロックＡはブロックＢよりも大きく、ブロックＢはブロックＣよりも大きくなるように設定してある。なお、後述するように分割したブロック毎に画素領域の大きさを変化させる。また、画素ブロックＡ、Ｂ、Ｃには、それぞれ複数の画素ブロックを設定してある。撮像画像上の画素ブロックの位置は、画素ブロックの一部が相互に重なり合うように配置することもでき、離隔して配置することもでき、あるいは、重なり合う画素ブロックと離隔する画素ブロックが混在することもできる。

撮像画像の距離に対応する領域の分割数は３に限定されるものではなく、４以上に分割することもできる。また、撮像画像を分割する分割線は、横方向（水平走査線方向）に限定されるものではなく、撮像する道路の向き、道路状況に応じて縦方向、斜め方向など適宜設定することができる。

図４は各ブロックにおける画素領域の一例を示す説明図である。画素領域は、撮像時点が異なる複数の撮像画像それぞれの画素ブロックを時系列に複数並べて構成したものであり、撮像画像上の２方向及び時間方向の３次元の領域である。画素領域の大きさは、縦画素数×横画素数（画素ブロック）×フレーム数で設定される。また、画素間隔は、例えば、画素領域内の注目画素とその注目画素からの変位情報（変位方向）により特定される特定画素との画素の間隔であり、撮像画像上での変位の長さを示す。また、フレーム間隔は、例えば、画素領域内の注目画素が存在するフレームとその注目画素からの変位情報（変位方向）により特定される特定画素が存在するフレームとのフレームの間隔であり、時間方向での変位の長さを示す。

図４に示すように、ブロックＡ（撮像画像の近距離に対応する領域）では、画素領域の大きさは、９画素×９画素（９×９画素ブロック）×５フレームであり、画素領域内の注目画素と特定画素との画素間隔は３画素、フレーム間隔は１フレームである。

図５はブロックＡにおける画素領域の構成例を示す説明図である。図５に示すように、画素領域は、時刻ｔ、…、ｔ−４における５つの撮像画像（５フレーム）内の９画素×９画素の画素ブロックを時系列に５フレーム分並べて構成される。なお、各フレームの時間間隔は、フレームレートが３０フレーム／秒であれば、１／３０秒である。

また、図４に示すように、ブロックＢ（撮像画像の中距離に対応する領域）では、画素領域の大きさは、７画素×７画素（７×７画素ブロック）×７フレームであり、画素領域内の注目画素と特定画素との画素間隔は２画素、フレーム間隔は２フレームである。

図６はブロックＢにおける画素領域の構成例を示す説明図である。図６に示すように、画素領域は、時刻ｔ、…、ｔ−６における７つの撮像画像（７フレーム）内の７画素×７画素の画素ブロックを時系列に７フレーム分並べて構成される。

また、図４に示すように、ブロックＣ（撮像画像の遠距離に対応する領域）では、画素領域の大きさは、３画素×３画素（３×３画素ブロック）×９フレームであり、画素領域内の注目画素と特定画素との画素間隔は１画素、フレーム間隔は３フレームである。

図７はブロックＣにおける画素領域の構成例を示す説明図である。図７に示すように、画素領域は、時刻ｔ、…、ｔ−８における９つの撮像画像（９フレーム）内の３画素×３画素の画素ブロックを時系列に９フレーム分並べて構成される。

次に特徴量ベクトルの抽出法について説明する。以下の説明ではブロックＢにおける画素領域を用いて説明するが、他のブロックＡ、Ｃについては画素領域の大きさ、画素間隔及びフレーム間隔が異なるだけで特徴量ベクトルの抽出法は同様である。また、画素領域のうち５画素×５画素の画素ブロックを例示し、画素間隔は２画素、フレーム間隔は２フレームとして説明する。

図８は特徴量ベクトル抽出例を示す説明図である。図８に示すように、フレーム間隔を２フレームとして（すなわち、１フレームおきに）、５画素×５画素の画素ブロックを３フレーム分（時刻ｔ、ｔ−２、ｔ−４）時系列に並べて構成してある。また、注目画素は時刻ｔ−２のフレームの画素ブロックの中心にある。

ＣＰＵ２５は、撮像画像上の注目画素毎に式（１）に基づいて特徴量ベクトルＶｉｊを抽出する。

ここで、ｉ、ｊは撮像画像上の注目画素の位置を示す。また、ｒは画素領域内の注目画素の位置を示し、ｒ＝（ｘ、ｙ、ｚ）、ｚ＝ｔ、ｔ−２、ｔ−４である。また、ａ１、ａ２、…、ａＮは、注目画素から見た変位方向（変位情報）であり、Ｎは変位方向の数を表す。ｒ＋ａ１、ｒ＋ａ２、…、ｒ＋ａＮは、注目画素と相関特徴量を算出する特定画素の位置を表すことになる。また、ｆ（ｒ）、ｆ（ｒ＋ａ１）、…は、各画素の輝度値を表す。なお、ｆ（ｒ）、ｆ（ｒ＋ａ１）、…は、輝度値に代えて、時間差分又は背景差分結果を二値化した値とすることもできる。

変位方向の数Ｎは、例えば、注目画素を中心とする３×３×３画素の領域の２６方向（２６通り）とすることができる。画素領域で特徴量ベクトルを抽出する場合、相関特徴量を求めるために選択する選択画素の数に応じた変位方向の組み合わせ数だけ特徴量が生成される。例えば、ｆ（ｒ）、ｆ（ｒ＋ａ１）、…として二値化した値を用いる場合、相関特徴量を求める選択画素の数を１〜３とすると、選択画素の数が１である場合は、注目画素が１つ選択されるため、組み合わせ数は１個である。また、選択画素の数が２である場合は、注目画素と他の１つの特定画素の組み合わせ数は１３個である。また、選択画素の数が３である場合は、注目画素と他の２つの特定画素の組み合わせ数は２３７個である。なお、画素領域内で注目画素を移動させることにより重複する組み合わせは除外してある。これにより、組み合わせ数が２５１となり、特徴量ベクトルは２５１次元ベクトルとなる。

すなわち、ｆ（ｒ）、ｆ（ｒ＋ａ１）、…として二値化した値を用いる場合、式（１）において、ｆ（ｒ）、ｆ（ｒ＋ａ１）、…それぞれを掛け合わす組み合わせが２５１通りあることになる。なお、撮像画像を予め二値化しておくことにより、ｆ（ｒ）、ｆ（ｒ＋ａ１）、…を掛け合わせた値は１又は０のいずれかの値をとることになる。また、式（１）においてｄｒで積分する処理は、画素領域内で注目画素を移動させ、移動させる都度特徴量ベクトルを求めることに相当する。したがって、特徴量ベクトルの各要素（２５１次元ベクトルの場合２５１要素）は、注目画素の移動の都度加算されることになり、加算処理後の特徴量ベクトルを抽出することができる。

加算処理後の特徴量ベクトルは、画素領域内の注目画素数（例えば、注目画素の総数）で除算することにより、正規化することができる。これにより、抽出した特徴量ベクトルは、画素領域の撮像画像上の２方向又は時間方向の大きさに依存しない値として求めることができる。

次に特徴量ベクトルの各要素の算出例について説明する。図９は選択画素の数が２である場合の特徴量ベクトルの算出例を示す説明図である。図９に示すように、注目画素ｒは時刻ｔ−２のフレームの画素ブロックの中心に存在し、その座標をｒ（ｘ、ｙ、ｔ−２）とする。また、変位方向ａ１をａ１（−２、０、０）とする。なお、この場合、変位方向の長さ、すなわち、相関特徴量を算出する際の画素間隔は２画素である。特定画素の座標ｒ＋ａ１は、ｒ＋ａ１（ｘ−２、ｙ、ｔ−２）となり、特徴量ベクトルの要素ｖ１は、ｖ１＝ｆ（ｒ）・ｆ（ｒ＋ａ１）となる。

図１０は選択画素の数が３である場合の特徴量ベクトルの算出例を示す説明図である。図１０に示すように、注目画素ｒは時刻ｔ−２のフレームの画素ブロックの中心に存在し、その座標をｒ（ｘ、ｙ、ｔ−２）とする。また、変位方向ａ１をａ１（−２、０、０）、変位方向ａ２をａ２（０、２、０）とする。なお、この場合も変位方向の長さ、すなわち、相関特徴量を算出する際の画素間隔は２画素である。特定画素の座標ｒ＋ａ１は、ｒ＋ａ１（ｘ−２、ｙ、ｔ−２）となり、特定画素の座標ｒ＋ａ２は、ｒ＋ａ２（ｘ、ｙ＋２、ｔ−２）となる。特徴量ベクトルの要素ｖ２は、ｖ２＝ｆ（ｒ）・ｆ（ｒ＋ａ１）・ｆ（ｒ＋ａ２）となる。

図１１は時間方向に変位した場合の特徴量ベクトルの算出例を示す説明図である。図１１に示すように、注目画素ｒは時刻ｔ−２のフレームの画素ブロックの中心に存在する。また、変位方向ａｍは、注目画素から見て時刻ｔのフレームの特定画素の方向であり、その特定画素の座標はｒ＋ａｍとなる。また、変位方向ａｎは、注目画素から見て時刻ｔ−４のフレームの特定画素の方向であり、その特定画素の座標はｒ＋ａｎとなる。この場合、変位方向の長さ、すなわち、相関特徴量を算出する際のフレーム間隔は２フレームである。特徴量ベクトルの要素ｖｋは、ｖｋ＝ｆ（ｒ）・ｆ（ｒ＋ａｍ）・ｆ（ｒ＋ａｎ）となる。

図１２は注目画素の特徴量ベクトルの例を示す説明図である。図１２に示すように、撮像画像上の注目画素ｒｉｊの特徴量ベクトルＶｉｊは、上述の処理を行うことにより、Ｖｉｊ（ｖ１、ｖ２、…、ｖ２５１）のように抽出することができる。画素領域全体に走査して同様の処理を繰り返すことにより、画素領域の各画素の特徴量ベクトルを抽出することができる。

画素領域の画素毎に抽出した特徴量ベクトルＶｉｊに変換係数を乗算して移動体判定値に変換することができる。式（２）、式（３）は変換式の一例である。

式（２）において、Ａは変換係数であり、特徴量ベクトルが２５１次元のベクトルである場合、変換係数Ａも、２５１次元のベクトルとすることができ、変換結果である移動体判定値（種別判定値）Ｒは、例えば、０〜１の間の実数とすることができる。

変換係数Ａは、例えば、移動体の種別（例えば、車両あり、移動体なし）が判明している学習用データ（例えば、数百から数千フレーム）を用いて特徴量ベクトルを抽出し、回帰分析、主成分分析、判別分析などの多変量解析手法により求めることができる。

また、式（３）において、Ｂは変換係数であり、特徴量ベクトルが２５１次元のベクトルである場合、変換係数Ｂも、２５１次元のベクトルとすることができ、変換結果である移動体判定値（種別判定値）Ｓは、例えば、０〜１の間の実数とすることができる。

変換係数Ｂは、例えば、移動体の種別（例えば、人あり、移動体なし）が判明している学習用データ（例えば、数百から数千フレーム）を用いて特徴量ベクトルを抽出し、回帰分析、主成分分析、判別分析などの多変量解析手法により求めることができる。

図１３は移動体の種別判定の例を示す説明図である。式（２）により求めた移動体判定値Ｒが「１」に近い場合、車両ありと判定することができ、また、移動体判定値Ｒが「０」に近い場合、移動体なしと判定することができる。

また、同様に、式（３）により求めた移動体判定値Ｓが「１」に近い場合、人ありと判定することができ、また、移動体判定値Ｓが「０」に近い場合、移動体なしと判定することができる。

これにより、画素領域の基準となる撮像時点の撮像画像（上記の場合は時刻ｔ）における画素ブロックにおいて、車両あり、人あり、車両・人（移動体）なしなどの移動体の種別を判定することができる。画素領域の画素ブロックの重なりを許して撮像画像全体に走査して同様の処理を繰り返すことにより、撮像画像上の移動体の位置及び種別を精度良く判定することができる。

移動体判定値の算出例は、一例であって上述の例に限定されるものではない。例えば、変換係数Ａ、Ｂを２５１次元のベクトルではなく、２×２５１の行列（例えば、変換行列Ｃ）にすることにより、移動体判定値を２次元の値として求め、二次元座標上の位置に応じて、車両あり、人あり、移動体なしと判定するようにしてもよい。なお、この場合でも、変換行列Ｃは、移動体の種別（例えば、車両あり、人あり、移動体なし）が判明している学習用データ（例えば、数百から数千フレーム）を用いて特徴量ベクトルを抽出し、回帰分析、主成分分析、判別分析などの多変量解析手法により求めることができる。

図１４は各フレームでの特徴量ベクトルの抽出例を示す説明図である。なお、画素領域は、ブロックＢにおける画素領域を用いて説明する。また、画素領域のうち５画素×５画素の画素ブロックを例示し、画素間隔は２画素、フレーム間隔は２フレームとして説明する。図１４（ａ）に示すように、時刻ｔのフレームが入力された場合、特徴量ベクトルを抽出する領域は、時刻ｔ、ｔ−２、ｔ−４の３つのフレームの各画素ブロック（５画素×５画素）で構成される。画素領域内の注目画素に対して特徴量ベクトルを抽出し、画素領域内で注目画素を移動させ、移動させる都度特徴量ベクトルの各要素を加算して得られた特徴量ベクトルを、変換係数により移動体判定値に変換して移動体の種別判定を行う。撮像画像上の全画素について同様の処理を行った後、図１４（ｂ）に示すように、時刻ｔ＋１のフレームが入力される。

時刻ｔ＋１では、特徴量ベクトルを抽出する領域は、時刻ｔ＋１、ｔ−１、ｔ−３の３つのフレームの各画素ブロック（５画素×５画素）で構成される。画素領域内の注目画素に対して特徴量ベクトルを抽出し、画素領域内で注目画素を移動させ、移動させる都度特徴量ベクトルの各要素を加算して得られた特徴量ベクトルを、変換係数により移動体判定値に変換して移動体の種別判定を行う。撮像画像上の全画素について同様の処理を行い、以下同様に次のフレームが入力され、同様の処理を繰り返す。

図１５は変換係数を算出する処理手順を示すフローチャートである。ＣＰＵ２５は、学習用撮像画像を取得し（Ｓ１１）、画素領域を設定する（Ｓ１２）。この場合、撮像画像上の画素ブロックの位置がブロックＡ、Ｂ、Ｃのいずれに存在するかに応じて、図４で示したように画素領域を設定する。ＣＰＵ２５は、画素領域内で注目画素の位置を設定する（Ｓ１３）。なお、注目画素の走査順序は適宜設定することができるが、一例としては、画素ブロックの左上の位置から開始し、右下の位置まで走査することができる。また、注目画素の時間方向の走査順序についても適宜設定することができ、例えば、時刻の古いフレームから時刻の新しいフレームに向かって走査することができる。

ＣＰＵ２５は、画素領域内の注目画素に対して抽出した特徴量ベクトルを画素領域内の全注目画素について加算することにより（加算後の）特徴量ベクトルを抽出し（Ｓ１４）、抽出した特徴量ベクトルの各要素を画素領域内の注目画素総数で除算して正規化する（Ｓ１５）。

ＣＰＵ２５は、撮像画像の全画素の処理を終了したか否かを判定し（Ｓ１６）、全画素の処理が終了していない場合（Ｓ１６でＮＯ）、ステップＳ１２以降の処理を繰り返す。全画素の処理が終了した場合（Ｓ１６でＹＥＳ）、ＣＰＵ２５は、全フレームの処理を終了したか否かを判定し（Ｓ１７）、全フレームの処理が終了していない場合（Ｓ１７でＮＯ）、ステップＳ１１以降の処理を繰り返す。

全フレームの処理が終了した場合（Ｓ１７でＹＥＳ）、ＣＰＵ２５は、抽出した特徴量ベクトルの各要素の変動量を算出する（Ｓ１８）。なお、変動量は、特徴量ベクトルの要素毎に、その最大値と最小値との差分として求めることができるが、これに限定されるものではない。

ＣＰＵ２５は、変動量が所定の閾値以下であるか否かを判定し（Ｓ１９）、変動量が所定の閾値以下である場合（Ｓ１９でＹＥＳ）、その変動量に対応する特徴量ベクトルの要素を除去要素とする（Ｓ２０）。すなわち、移動体の種別に関わらず特徴量がほとんど変化しない要素を除去する。ＣＰＵ２５は、抽出した特徴量ベクトルに基づいて多変量解析により変換係数を算出し（Ｓ２１）、処理を終了する。また、変動量が所定の閾値以下でない場合（Ｓ１９でＮＯ）、ＣＰＵ２５は、ステップＳ２１の処理を行う。なお、変動量の大小判定は、すべての要素について行う。

学習用のデータを用いて、移動体の種別に関わらず特徴量がほとんど変化しない要素を予め除去要素として特定しておくことができる。これにより、移動体の種別を判定する場合、移動体の種別判定に不要な特徴量を求める必要がなくなり、移動体の種別判定の精度を維持しつつ処理量を削減することができ、移動体の種別の判定をより安価な装置で実現することが可能となる。

図１６は移動体の種別を判定する処理手順を示すフローチャートである。ＣＰＵ２５は、撮像画像を取得し（Ｓ３１）、画素領域を設定する（Ｓ３２）。この場合、撮像画像上の画素ブロックの位置がブロックＡ、Ｂ、Ｃのいずれに存在するかに応じて、図４で示したように画素領域を設定する。ＣＰＵ２５は、撮像画像上で注目画素の位置を設定する（Ｓ３３）。なお、注目画素の走査順序は適宜設定することができるが、一例としては、画素ブロックの左上の位置から開始し、右下の位置まで走査することができる。また、注目画素の時間方向の走査順序についても適宜設定することができ、例えば、時刻の古いフレームから時刻の新しいフレームに向かって走査することができる。

ＣＰＵ２５は、除去要素の有無を判定し（Ｓ３４）、除去要素がある場合（Ｓ３４でＹＥＳ）、除去要素を除外して画素領域内の注目画素に対して抽出した特徴量ベクトル画素領域内の全注目画素について加算することにより（加算後の）部分特徴量ベクトルを抽出する（Ｓ３５）。なお、除外できる要素の数に応じて、部分特徴量ベクトルの次元は２５１より少なくなる。

除去要素がない場合（Ｓ３４でＮＯ）、ＣＰＵ２５は、画素領域内の注目画素に対して抽出した特徴量ベクトル画素領域内の全注目画素について加算することにより（加算後の）特徴量ベクトルを抽出する（Ｓ３６）。ＣＰＵ２５は、抽出した特徴量ベクトル（又は部分特徴量ベクトル）の各要素を画素領域内の注目画素総数で除算して正規化する（Ｓ３７）。

ＣＰＵ２５は、特徴量ベクトルを変換係数で移動体判定値に変換し（Ｓ３８）、移動体判定値に応じて移動体の種別を判定する（Ｓ３９）。ＣＰＵ２５は、撮像画像の全画素の処理を終了したか否かを判定し（Ｓ４０）、全画素の処理が終了していない場合（Ｓ４０でＮＯ）、ステップＳ３２以降の処理を繰り返す。

全画素の処理が終了した場合（Ｓ４０でＹＥＳ）、ＣＰＵ２５は、全フレームの処理を終了したか否かを判定し（Ｓ４１）、全フレームの処理が終了していない場合（Ｓ４１でＮＯ）、ステップＳ３１以降の処理を繰り返す。全フレームの処理が終了した場合（Ｓ４１でＹＥＳ）、ＣＰＵ２５は、処理を終了する。

図１７は本発明に係る移動体判定装置を用いた移動体判定の他の例を示す模式図である。図１７に示すように、交差点角の路上１０ｍ程度の位置にビデオカメラ１を設置する。ビデオカメラ１は、交差点内を移動体の種別（例えば、車両あり、人あり、車両・人なし）を判定する判定領域として撮像する。

ビデオカメラ１には、所要の映像ケーブルを介して移動体判定装置２を接続してある。移動体判定装置２は、ビデオカメラ１で撮像して得られた時系列の撮像画像（動画像）を処理して移動体の種別を判定する。移動体判定装置２は、交通管制センタに設置されたセンタ装置３との間で有線又は無線通信により通信を行うことができる。移動体判定装置２は、移動体の種別の判定結果をセンタ装置３へ出力する。なお、ビデオカメラ１と移動体判定装置２とは一体型であってもよい。移動体判定装置２の構成、動作は上述の例と同様であるので説明は省略する。

以上説明したように、本発明にあっては、画素領域の基準となる撮像時点の撮像画像における画素ブロックにおいて、車両あり、人あり、車両・人なしなどの移動体の種別を判定することができる。画素領域の画素ブロックの重なりを許して撮像画像全体に走査して同様の処理を繰り返すことにより、撮像画像上の移動体の位置及び種別を精度良く判定することができる。

また、撮像画像の遠距離／近距離に対応する領域で画素領域の画素ブロックの大きさを小さく／大きく設定することにより、移動体の種別を精度良く判定しつつ、不要な処理を削除して処理労力を低減することができる。また、注目画素と変位情報により特定される画素との画素間隔を、撮像画像の遠距離／近距離に対応する領域で小さく／大きくすることにより、広い範囲の特徴量を抽出することができ、かつ、移動体の見かけの大きさに応じて精度良く移動体の種別を判定することができる。

また、撮像画像の遠距離／近距離に対応する領域で画素領域の時系列に並べた画素ブロックの数を多く／少なく設定することにより、移動体の見かけの移動速度に応じて精度良く移動体の種別を判定することができる。また、注目画素が存在する画素ブロックと変位情報により特定される画素が存在する画素ブロックとの時間間隔を、撮像画像の遠距離／近距離に対応する領域で大きく／小さくすることにより、移動体の見かけの移動速度に応じて精度良く移動体の種別を判定することができる。

また、特徴量ベクトルを画素領域内の注目画素総数で除算して正規化することにより、画素領域の撮像画像上の２方向又は時間方向の大きさに依存しない特徴量ベクトルを求めることができる。また、部分特徴量ベクトルを抽出することで、移動体の種別判定に不要な特徴量を求める必要がなくなり、移動体の種別判定の精度を維持しつつ処理量を削減することができ、移動体の種別の判定をより安価な装置で実現することが可能となる。

上述の実施の形態において、画素領域の画素ブロックの大きさ及びフレーム数、並びに画素間隔及びフレーム間隔は、あくまで一例であって、これに限定されるものではない。撮像画像上の注目画素の位置が遠距離に対応するか近距離に対応するかに応じて適宜設定することができる。

上述の実施の形態においては、移動体の種別に関わらず特徴量がほとんど変化しない要素を予め除去要素として特定する構成であったが、これに限定されるものではなく、除去要素を予め特定しない構成とすることもできる。この場合、図１５に例示したステップＳ１９、Ｓ２０の処理は不要となり、図１６に例示したステップＳ３４、Ｓ３５の処理も不要となる。

以上に開示された実施の形態及び実施例は、全ての点で例示であって制限的なものではないと考慮されるべきである。本発明の範囲は、以上の実施の形態及び実施例ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての修正や変形を含むものと意図される。

本発明に係る移動体判定装置を用いた移動体判定の概要を示す模式図である。 移動体判定装置の構成を示すブロック図である。 撮像画像の一例を示す説明図である。 各ブロックにおける画素領域の一例を示す説明図である。 ブロックにおける画素領域の構成例を示す説明図である。 ブロックにおける画素領域の構成例を示す説明図である。 ブロックにおける画素領域の構成例を示す説明図である。 特徴量ベクトル抽出例を示す説明図である。 選択画素の数が２である場合の特徴量ベクトルの算出例を示す説明図である。 選択画素の数が３である場合の特徴量ベクトルの算出例を示す説明図である。 時間方向に変位した場合の特徴量ベクトルの算出例を示す説明図である。 注目画素の特徴量ベクトルの例を示す説明図である。 移動体の種別判定の例を示す説明図である。 各フレームでの特徴量ベクトルの抽出例を示す説明図である。 変換係数を算出する処理手順を示すフローチャートである。 移動体の種別を判定する処理手順を示すフローチャートである。 本発明に係る移動体判定装置を用いた移動体判定の他の例を示す模式図である。

符号の説明

１ ビデオカメラ
２ 移動体判定装置
２１ 画像入力部
２２ Ａ／Ｄ変換部
２３ 画像メモリ
２４ ＲＡＭ
２５ ＣＰＵ
２６ 通信部
２７ 記憶部
２８ 補助記憶部
２９ ＣＤ−ＲＯＭ

Claims (9)

1. 道路を含む領域を撮像して得られた時系列の撮像画像に基づいて移動体の種別を判定する移動体判定装置において、
   撮像時点が異なる複数の撮像画像の各撮像画像内の画素ブロックを時系列に複数並べて構成される画素領域を設定する設定手段と、
   該設定手段で設定した画素領域内の注目画素と該注目画素からの変位情報により特定される画素との相関に基づいて特徴量ベクトルを抽出する抽出手段と、
   前記画素領域内の注目画素毎に前記抽出手段で抽出した特徴量ベクトルを加算する加算手段と、
   該加算手段で加算した特徴量ベクトルを所定の変換係数で種別判定値に変換する変換手段と
   を備え、
   該変換手段で変換した種別判定値に基づいて移動体の種別を判定するように構成してあることを特徴とする移動体判定装置。
2. 前記設定手段は、
   撮像画像の遠距離／近距離に対応する領域で前記画素領域の画素ブロックの大きさを小さく／大きく設定するように構成してあることを特徴とする請求項１に記載の移動体判定装置。
3. 注目画素と変位情報により特定される画素との画素間隔は、撮像画像の遠距離／近距離に対応する領域で小さい／大きいことを特徴とする請求項１又は請求項２に記載の移動体判定装置。
4. 前記設定手段は、
   撮像画像の遠距離／近距離に対応する領域で前記画素領域の時系列に並べた画素ブロックの数を多く／少なく設定するように構成してあることを特徴とする請求項１乃至請求項３のいずれかに記載の移動体判定装置。
5. 注目画素が存在する画素ブロックと変位情報により特定される画素が存在する画素ブロックとの時間間隔は、撮像画像の遠距離／近距離に対応する領域で大きい／小さいことを特徴とする請求項１乃至請求項４のいずれかに記載の移動体判定装置。
6. 前記加算手段で加算した特徴量ベクトルを前記画素領域内の注目画素数で除算して正規化する正規化手段を備え、
   前記変換手段は、
   前記正規化手段で正規化した特徴量ベクトルを変換するように構成してあることを特徴とする請求項１乃至請求項５のいずれかに記載の移動体判定装置。
7. 前記加算手段で加算した特徴量ベクトルの各要素の変動量を複数の撮像時点に亘って算出する変動量算出手段を備え、
   前記抽出手段は、
   前記変動量算出手段で算出した変動量が所定の閾値以下である場合、該変動量に対応する要素を除外して特徴量ベクトルを抽出するように構成してあることを特徴とする請求項１乃至請求項６のいずれかに記載の移動体判定装置。
8. コンピュータに、道路を含む領域を撮像して得られた時系列の撮像画像に基づいて移動体の種別を判定させるためのコンピュータプログラムにおいて、
   コンピュータを、撮像時点が異なる複数の撮像画像の各撮像画像内の画素ブロックを時系列に複数並べて構成される画素領域を設定する手段と、
   設定した画素領域内の注目画素と該注目画素からの変位情報により特定される画素との相関に基づいて特徴量ベクトルを抽出する手段と、
   前記画素領域内の注目画素毎に抽出した特徴量ベクトルを加算する手段と、
   加算した特徴量ベクトルを所定の変換係数で種別判定値に変換する手段と、
   変換した種別判定値に基づいて移動体の種別を判定する手段として機能させることを特徴とするコンピュータプログラム。
9. 道路を含む領域を撮像して得られた時系列の撮像画像に基づいて移動体の種別を判定する移動体判定方法において、
   撮像時点が異なる複数の撮像画像の各撮像画像内の画素ブロックを時系列に複数並べて構成される画素領域を設定し、
   設定した画素領域内の注目画素と該注目画素からの変位情報により特定される画素との相関に基づいて特徴量ベクトルを抽出し、
   前記画素領域内の注目画素毎に抽出した特徴量ベクトルを加算し、
   加算した特徴量ベクトルを所定の変換係数で種別判定値に変換し、
   変換した種別判定値に基づいて移動体の種別を判定することを特徴とする移動体判定方法。

Images