JP2005173787A - 移動物体の検出・認識を行う画像処理装置 - Google Patents

Abstract

【課題】 一般道路における車両の検出・認識処理において、ハードウェア負荷を増大させることなく、１台の高解像度カメラで撮影した画像から車両を検出し、高解像度の画像により車両を認識する。
【解決手段】 画像切り出し部２１２は、カメラ２０１により撮影された道路の高解像度画像から部分画像を切り出し、部分画像を用いて低解像度画像を生成する。検出部２１３は、その低解像度画像を用いて車両検出処理を行い、認識部２１４は、車両の検出時にカメラ２０１から送られてくる高解像度画像を用いて認識処理を行う。
【選択図】図２

Description

本発明は、一般道路における車両検出のように、カメラを用いて取得した画像から移動物体の検出・認識を行う画像処理装置に関する。

一般的に利用されているカメラは、通常のテレビ画質程度の画像を撮影・表現することができる解像度を持っている。一般道路において、このような通常の解像度のカメラ１台で車両検出と撮影を行なうと、車両を検出し撮影が行えたとしても、その画質（解像度）の問題により、画像からのデータ抽出や文字パターン認識等の画像処理が行えないことがある。

この問題の解消方法として、テレビ画質以上の解像度を持つ高解像度カメラを利用し、上記画像処理が十分に行える画像を得る方法が考えられる。この場合、検出を行うハードウェアの性質上、撮影された画像全体を利用して車両の検出を行うこととなる。この方法では、通常の解像度のカメラを用いた方法に比べて画素数が増大するため、車両検出におけるハードウェア負荷が大きくなり、路側等に設置される画像処理装置の高性能化と高負荷による発熱に対する対策とが必要となる。

そこで、通常の解像度の第１のカメラと高解像度の第２のカメラの２台を利用して車両の検出・認識を行う方法が提案されている（例えば、特許文献１参照）。この方法では、まず、第１のカメラにて広範囲が撮影され、車両の位置・動きが予測される。そして、第１のカメラからの情報を元に、詳細な撮影を行う第２のカメラを制御して、車両のナンバー等が撮影される。
特開平０８−０５０６９６号公報

しかしながら、上述した従来の車両検出・認識方法には、次のような問題がある。
（１）通常の解像度のカメラ１台を用いた方法
・十分な解像度が得られず、その後の画像処理が行えない。
（２）高解像度カメラ１台を用いた方法
・高解像度画像に対して、十分な処理能力を持つハードウェアを準備する必要がある。
・高負荷による発熱に対する対策を必要とする。
（３）通常の解像度と高解像度の２台のカメラを用いた方法
・カメラと夜間撮影用ＬＥＤ（Light Emitting Diode）装置を含む各種装置を２台ずつ必要とする。
・画像からの動き予測を行うが、予測精度によっては必要とする画像を得られない場合がある。
・動き予測後にカメラの方向・ズームの調整を必要とするため、タイムラグが発生する。
・カメラ旋回装置の加工や設置に対する精度が要求される。

本発明の課題は、一般道路における車両の検出・認識処理において、ハードウェア負荷を増大させることなく、１台の高解像度カメラで撮影した画像から車両を検出し、高解像度の画像により車両を認識する画像処理装置を提供することである。

図１は、本発明の画像処理装置の原理図である。図１の画像処理装置は、切り出し手段１０１、検出手段１０２、および認識手段１０３を備え、高解像度カメラ１０４により撮影された画像に含まれる移動物体を識別する。

切り出し手段１０１は、高解像度カメラ１０４により撮影された高解像度画像の一部を部分画像として切り出し、切り出された部分画像を用いて、より低い解像度の低解像度画像を生成する。検出手段１０２は、その低解像度画像を用いて移動物体を検出する。認識手段１０３は、移動物体が検出されたとき、高解像度カメラ１０４から送られてくる高解像度画像を用いてその移動物体の認識処理を行い、認識結果を出力する。

まず、切り出し手段１０１により、高解像度画像から切り出された１枚または複数の部分画像を用いて検出用の低解像度画像が生成され、検出手段１０２に転送される。次に、検出手段１０２により、その低解像度画像を用いた検出処理が行われ、移動物体が検出された旨の通知が認識手段１０３に送信される。そして、認識手段１０３により、その通知の受信時に送られてくる高解像度画像を用いた認識処理が行われる。

切り出し手段１０１、検出手段１０２、および認識手段１０３は、例えば、後述する図２の画像切り出し部２１２、検出部２１３、および認識部２１４にそれぞれ対応する。

本発明によれば、一般道路における車両等の移動物体の検出・認識処理において、高解像度画像の一部を用いて生成された低解像度画像により検出処理を行うため、ハードウェア負荷を増大させることなく、１台の高解像度カメラで撮影した画像から移動物体を検出し、高解像度の画像により移動物体を認識することが可能となる。

より具体的には、次のような効果が得られる。
・画像処理を行うための十分な解像度が得られる。
・高性能なハードウェアでなくても、高解像度カメラで撮影した画像から移動物体を検出することができる。
・ハードウェア負荷が低減されるため、発熱対策も軽減される。
・カメラと夜間撮影用ＬＥＤ装置を含む各種装置は、高解像度用の１セットのみでよい。
・１台のカメラからの画像ですべての処理を行うため、動き予測は不要である。
・１台のカメラからの画像ですべての処理を行うため、カメラの方向・ズームの調整が不要であり、タイムラグも発生しない。
・カメラ旋回装置を必ずしも必要としない。

以下、図面を参照しながら、本発明を実施するための最良の形態を詳細に説明する。
本実施形態では、高解像度カメラで撮影された画像から一部分を切り出して車両を検出する処理と、車両認識等の画像処理とが分離して行われる。高解像度カメラで撮影された画像からテレビ画質程度の解像度で切り出された画像を用いれば、ハードウェアに対して大きな負荷を与えることなく車両検出を行うことができる。車両が検出されると、高解像度カメラの画像が画像処理フェーズへ送られ、データ抽出・文字パターン認識等に利用される。

図２は、本実施形態の画像処理システムの構成図である。図２の画像処理システムは、カメラ２０１および画像処理装置２０２からなり、画像処理装置２０２は通信ネットワーク２０３を介してセンタ２０４と接続されている。画像処理装置２０２は、カメラ制御部２１１、画像切り出し部２１２、検出部２１３、認識部２１４、蓄積部２１５、および通信部２１６を備える。

カメラ２０１は、旋回台付きの高解像度カメラであり、道路全体を撮影することができる。カメラ制御部２１１は、センタ２０４からの制御コマンドに従って、カメラ２０１のピント、撮影方向等の調整を行う。画像切り出し部２１２は、カメラ２０１からの高解像度の入力画像から、通常のテレビ画像のサイズの画像を切り出し、切り出された画像を蓄積部２１５に格納する。

検出部２１３は、切り出された画像により車両を検出し、認識部２１４は、検出された車両のナンバープレート等の対象物の認識処理等を行って、認識データ等の処理結果を蓄積部２１５に格納する。通信部２１６は、センタ２０４からの制御コマンドを受信してカメラ制御部２１１に転送するとともに、蓄積部２１５に格納されたデータをセンタ２０４に送信する。

画像切り出し部２１２、検出部２１３、および認識部２１４は、同一のハードウェアで実現してもよく、それぞれ別々のハードウェアで実現してもよい。また、画像切り出し部２１２、または画像切り出し部２１２と検出部２１３を、カメラ２０１内に設けることも可能である。

ハードウェアとしては、例えば、ＣＰＵ（中央処理装置）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、および入出力ポートを備えた情報処理装置が用いられる。ＲＯＭは、処理に用いられるプログラムおよびデータを格納し、ＲＡＭは、処理中の画像データ等を格納する。ＣＰＵは、ＲＡＭを利用してプログラムを実行することで、車両検出・認識のために必要な処理を行う。ＣＰＵの代わりに、高速画像処理用のＤＳＰ（デジタル信号プロセッサ）を用いてもよい。

カメラ２０１は、常時、一定の画角で車線を映し出しており、画像切り出し部２１２は、カメラ２０１から送られてくる画像より、車両検出用のウィンドウを用いて部分画像を切り出す。こうして切り出された１枚または複数の部分画像から、１枚の検出用画像が生成される。

図３から図６までは、様々な形状の検出用ウィンドウを用いた検出用画像の切り出し方法を示している。高解像度カメラ画像３０１は、カメラ２０１から送られてくる画像であり、ここでは、１３２０×１０８０（約１４５万）の画素からなるものとする。検出用ウィンドウの形状を変化させることで、以下のような特徴および効果が得られる。

図３は、検出用画像の標準的な切り出し方法を示している。図３の検出用ウィンドウ３０２は、高解像度カメラ画像３０１の上端中央部に設けられており、通常のテレビ画質に相当する６４０×５２５（約３８万）の画素からなる。したがって、検出用ウィンドウ３０２により切り出された画像は、検出用画像としてそのまま取り込むことができる。この切り出し方法は、高解像度カメラ画像３０１の中央で縦方向に車線が写っている場合のように、画像中の特定範囲のみに着目が可能な場合に有効である。

図４は、２つの細長い検出用ウィンドウを横に並べた切り出し方法を示している。図４の検出用ウィンドウ４０１および４０２は、高解像度カメラ画像３０１の上端部の左側および右側にそれぞれ設けられており、ともに６４０×２６２（約１９万）の画素からなる。これらの検出用ウィンドウにより切り出された２つの画像を検出用画像として取り込む際には、２つの画像を縦に連ねて通常のテレビ画質に相当する６４０×５２５の画像を生成する。この切り出し方法は、高解像度カメラ画像３０１の縦方向に同じ進行方向の２つの車線が写っている場合のように、ある程度の幅を持つ縦方向の移動に対して有効である。

図４の例では、２つの検出用ウィンドウを横に並べているが、一般には、３つ以上の検出用ウィンドウを横に並べて画像を切り出すことが可能である。この場合、切り出された複数の画像を縦に連ねて通常のテレビ画質に相当する画像が生成される。また、高解像度カメラ画像３０１の上端部の代わりに、その下端部に同様の検出用ウィンドウを横に並べて画像を切り出してもよい。

図５は、２つの細長い検出用ウィンドウを縦に並べた切り出し方法を示している。図５の検出用ウィンドウ５０１および５０２は、高解像度カメラ画像３０１の右端部の上側および下側にそれぞれ設けられており、ともに３２０×５１２（約１９万）の画素からなる。これらの検出用ウィンドウにより切り出された２つの画像を検出用画像として取り込む際には、２つの画像を横に連ねて通常のテレビ画質に相当する６４０×５２５の画像を生成する。この切り出し方法は、高解像度カメラ画像３０１の横方向に同じ進行方向の２つの車線が写っている場合のように、ある程度の高さを持つ横方向の移動に対して有効である。

図５の例では、２つの検出用ウィンドウを縦に並べているが、一般には、３つ以上の検出用ウィンドウを縦に並べて画像を切り出すことが可能である。この場合、切り出された複数の画像を横に連ねて通常のテレビ画質に相当する画像が生成される。

以上の３つの切り出し方法では、各時刻の高解像度カメラ画像３０１から１枚の検出用画像が生成され、複数の検出用画像を時系列に並べることで車両検出用の映像が生成される。

図６は、図３と同じ形状の２つの検出用ウィンドウを横に並べた切り出し方法を示している。図６の検出用ウィンドウ６０１および６０２は、高解像度カメラ画像３０１の上端部の左側および右側にそれぞれ設けられており、ともに６４０×５２５（約３８万）の画素からなる。

これらの検出用ウィンドウにより切り出された２つの画像を検出用画像として取り込む際には、２つの画像をＮＴＳＣ（National Television Standards Committee ）の奇フレームと偶フレームへ交互に挿入していくことで、通常のテレビ画質に相当する６４０×５２５の映像を生成する。例えば、検出用ウィンドウ６０１により切り出された画像は奇フレームへ挿入され、検出用ウィンドウ６０２により切り出された画像は偶フレームへ挿入される。この切り出し方法は、ＮＴＳＣ信号の特徴を活かしたものであり、図４の場合と同様に、ある程度の幅を持つ縦方向の移動に対して有効である。

このように、高解像度カメラ画像３０１の一部を切り出して、より画素数の少ない通常のテレビ画質の検出用画像を生成することで、通常のテレビ画質程度の処理能力しかないハードウェアでも十分に車両検出を行うことが可能となる。

次に、検出用ウィンドウの位置、サイズ、および角度の決定方法について説明する。
図７は、車両が色々な角度から画面に進入する可能性がある場合の車両の進入方向と検出用ウィンドウの位置の関係を示している。図７において、太線の矩形は高解像度カメラ画像の撮像エリアを示しており、太線の矢印は撮像エリアに対する車両の進入方向を示しており、撮像エリア内の斜線の矩形は各進入方向に対する最適な検出用ウィンドウの位置を示している。この例では、撮像エリア内で車両の進入方向に最も近い位置が最適位置として選択されている。検出用ウィンドウの位置をこのように変更することで、進入方向に対する優位性を車両検出アルゴリズムに持たせることができる。

また、検出用ウィンドウのサイズは、画像を切り出す際にハードウェアの仕様により変更される。具体的には、例えば、検出用の映像信号がＮＴＳＣ信号かＰＡＬ（Phase Alternation by Line ）信号か、アナログ信号かデジタル信号か、あるいはＶＧＡ（Video Graphics Array）信号かＳＶＧＡ（Super Video Graphics Array）信号かといった形式の違いに応じて、検出用ウィンドウのサイズが変更される。

さらに、車両の移動方向に応じて検出用ウィンドウの角度を変更することも可能である。図８は、車線に対する２種類のウィンドウ角度を適用した例を示している。直線８０１および８０２により示される車線に対して検出用ウィンドウ８０３を適用した場合、ウィンドウ内に含まれる破線８０５と８０６では車線方向の長さが異なるため、画面上に車両が現れている時間に差が生じる。これに対して、検出用ウィンドウ８０４を適用した場合、画面内での車両の移動距離は破線８０７の長さとなるため、画面上に車両が現れている時間を一定にすることができる。したがって、定常的な車両検出が可能となる。

検出部２１３は、最適な検出用ウィンドウで切り出された検出用画像内で車両検出を行い、画像中に車両が検出された場合には、検出信号を出力することで車両検出を認識部２１４へ通知する。

車両の画像に含まれるエッジを用いて車両検出を行う場合の基本的なアルゴリズムは以下の通りである。
１．あらかじめ、車両が含まれていない検出用画像（背景画像）からエッジを抽出しておく。
２．運用中に入力された検出用画像からエッジを抽出する。
３．背景画像のエッジと入力画像のエッジを比較し、差分（車両のみ）のエッジ画像を生成する。
４．エッジ画像の画素値を移動方向の座標軸上に射影してヒストグラムを生成する。
５．ヒストグラムの分布形状から入力画像に車両が含まれているか否かを判定する。

検出部２１３からの検出信号を受け取った認識部２１４は、画像のキャプチャ処理を行った後、キャプチャされた画像を用いてデータ抽出、文字パターン認識、車両前面や運転者の画像認識等の画像処理を行う。例えば、ナンバープレートの文字パターン認識や車両前面や運転者の画像認識を行う場合は、パターンマッチング等の画像処理が行われる。

通常は、カメラ２０１からの高解像度画像をそのままキャプチャするが、検出用ウィンドウの形状、位置、サイズ、および角度によっては、車両が画像内のどの辺りを通過しているのかを判別することができ、画像のキャプチャ領域を限定することも可能である。キャプチャ領域を限定する場合には、認識用ウィンドウを用いた認識用画像の切り出しが行われる。

図９から図１１までは、様々な位置の認識用ウィンドウを用いた認識用画像の切り出し方法を示している。
図９は、図４の検出用ウィンドウ４０１および４０２が用いられた場合の認識用画像の切り出し方法を示している。この場合、画面上端から車両が進入し、検出用ウィンドウ４０１により切り出された画像内で車両が検出されれば、認識用ウィンドウ９０１により高解像度カメラ画像３０１から認識用画像が切り出される。また、検出用ウィンドウ４０２により切り出された画像内で車両が検出されれば、認識用ウィンドウ９０２が用いられる。

図１０は、図５の検出用ウィンドウ５０１および５０２が用いられた場合の認識用画像の切り出し方法を示している。この場合、画面右端から車両が進入し、検出用ウィンドウ５０１により切り出された画像内で車両が検出されれば、認識用ウィンドウ１００１により認識用画像が切り出される。また、検出用ウィンドウ５０２により切り出された画像内で車両が検出されれば、認識用ウィンドウ１００２が用いられる。

図１１は、図６の検出用ウィンドウ６０１および６０２が用いられた場合の認識用画像の切り出し方法を示している。この場合、画面上端から車両が進入し、検出用ウィンドウ６０１により切り出された画像内で車両が検出されれば、認識用ウィンドウ１１０１により認識用画像が切り出される。また、検出用ウィンドウ６０２により切り出された画像内で車両が検出されれば、認識用ウィンドウ１１０２が用いられる。

図１２は、車両検出から認識までの一連の処理の流れを示している。この例では、図３の検出用ウィンドウ３０２が用いられている。まず、車両が画面に進入していない通常状態において、カメラ２０１からの高解像度カメラ画像３０１は、画像切り出し部２１２および認識部２１４に入力され、検出用ウィンドウ３０２により切り出された画像が検出部２１３に入力される。次に、検出用画像内で車両１２０１が検出されると、検出部２１３から認識部２１４に検出信号が出力され、認識部２１４が車両１２０１の画像をキャプチャする。そして、認識部２１４は、キャプチャされた画像の画像処理を行い、処理結果を蓄積部２１５に格納する。

図１３は、このような車両検出・認識処理のフローチャートである。この処理は、カメラ２０１を設置して画角等を調整した後に開始される。撮影している道路に車両が進入すると（ステップ１３０１）、カメラ２０１は、その高解像度画像を取得して（ステップ１３０２）、画像切り出し部２１２に送出する（ステップ１３０３）。このとき、高解像度画像は、画像切り出し部２１２を介して認識部２１４にも転送される。

次に、画像切り出し部２１２は、所定の検出用ウィンドウおよび認識用ウィンドウを選択し（ステップ１３０４）、選択した検出用ウィンドウを用いて高解像度画像から検出用画像を切り出して、ＲＡＭに保存する（ステップ１３０５）。

ウィンドウの選択方法としては、あらかじめ手動で設定しておく方法と画像切り出し部２１２が自動的に選択する方法とが考えられる。
前者の場合は、カメラ２０１を設置した際に、オペレータが映像から車両の進入方向を確認し、その進入方向等に基づいて検出用ウィンドウの形状、位置、サイズ、および角度を決定する。それと同時に、その検出用ウィンドウと組み合わせて用いる認識用ウィンドウを決定しておく。決定された検出用ウィンドウおよび認識用ウィンドウの情報は、互いに対応付けられて、画像切り出し部２１２内のＲＯＭ等の記憶装置に格納される。したがって、画像切り出し部２１２は、あらかじめ決定された検出用ウィンドウおよび認識用ウィンドウを選択することになる。

これに対して、後者の場合は、あらかじめ様々な検出用ウィンドウの情報と各検出用ウィンドウに対応付けられた認識用ウィンドウの情報が、画像切り出し部２１２内の記憶装置に格納されており、図１４に示すようなウィンドウ選択処理により最適なウィンドウが選択される。

画像切り出し部２１２は、連続した数枚の高解像度画像をＲＡＭに保存し（ステップ１４０１）、保存された画像を積分または微分することで、背景画像との差分（動き）のある部分および移動方向を算出する（ステップ１４０２）。そして、計算結果に基づいて検出用ウィンドウの形状、位置、サイズ、および角度を決定するとともに、その検出用ウィンドウに対応付けられた認識用ウィンドウを選択する（ステップ１４０３）。

例えば、図１５の斜線部分の領域が動きのある部分として抽出された場合、図３の検出用ウィンドウ３０２が選択され、図１６の斜線部分の領域が抽出された場合、図４の検出用ウィンドウ４０１および４０２、または図６の検出用ウィンドウ６０１および６０２が選択される。

次に、画像切り出し部２１２は、ＲＡＭに保存された切り出し画像を検出部２１３が処理できる画像形式に変換して、検出用画像を再構成する（ステップ１３０６）。これにより、図１７に示すように、各時刻の高解像度画像から切り出された画像が時系列に並べられて、低解像度の検出用画像からなる映像が生成される。

次に、検出部２１３は、再構成された検出用画像を用いて車両検出を行い（ステップ１３０７）、車両が検出されなければ、ステップ１３０５以降の処理が繰り返される。また、ウィンドウが自動的に選択された場合、選択された検出用ウィンドウで車両が検出されない状態が一定時間続けば、再度、ステップ１３０４以降の処理が行われる。そして、ステップ１３０７において車両が検出されれば、検出部２１３は、認識部２１４に対して検出信号を送出する（ステップ１３０８）。

図９から図１１までに示したように認識用画像の切り出しを行う場合、検出部２１３は、車両が検出された検出用ウィンドウに対応付けられた認識用ウィンドウを特定し、その識別情報を検出信号とともに送出する。

次に、認識部２１４は、検出信号の受信をトリガとして、受信した識別情報を有する認識用ウィンドウを用いて高解像度画像から認識用画像を切り出す（ステップ１３０９）。そして、認識用画像の画像処理を行い、処理結果を蓄積部２１５に格納する（ステップ１３１０）。

図１８は、図２の画像処理装置２０２に必要なプログラムおよびデータをロードする方法を示している。プログラムおよびデータは、サーバ１８０１のデータベース１８０２や可搬記録媒体１８０３に格納されており、画像処理装置２０２の画像切り出し部２１２、検出部２１３、認識部２１４等に備えられたメモリ（ＲＯＭ）１８０４にロードされる。可搬記録媒体１８０３としては、メモリカード、フレキシブルディスク、光ディスク、光磁気ディスク等の任意のコンピュータ読み取り可能な記録媒体が用いられる。

また、サーバ１８０１は、そのプログラムおよびデータを搬送する搬送信号を生成し、ネットワーク上の伝送媒体を介して画像処理装置２０２に送信する。画像切り出し部２１２、検出部２１３、認識部２１４等に備えられたＣＰＵは、ロードされたデータを用いてロードされたプログラムを実行し、必要な処理を行う。

以上説明した実施形態では、主として一般道路を通行する車両を検出・認識する処理について説明したが、本発明は、１台のカメラにより取得した画像上で移動物体を検出し、検出された移動物体の詳細についての認識処理を行う場合に利用することができる。例えば、工場の生産ラインにおける製品管理や、セキュリティシステムの一部としての侵入者監視に本発明を適用することが可能である。

製品管理に適用する場合は、製造過程において生産ライン上を移動している各種部品を、カメラによる監視対象とする。この場合の利用方法としては、以下のようなものが想定される。
（１）製品番号等の識別情報による部品の仕分け
部品を検出したらそのタグ等に記載された識別情報の認識処理を行い、検出された部品を適切な工程に仕分けする。
（２）不良品の仕分け
部品を検出したらその形状の認識処理を行い、認識された形状が所定の形状と一致しなかった場合は、検出された部品を不良品と判定する。

また、上述の実施形態で用いた検証用ウィンドウおよび認識用ウィンドウの形状は矩形に限られるものではなく、他の多角形、曲線で囲まれた形状等の任意の形状を採用することができる。

（付記１） 高解像度カメラにより撮影された画像に含まれる移動物体を識別する画像処理装置であって、
前記高解像度カメラにより撮影された高解像度画像の一部を部分画像として切り出し、切り出された部分画像を用いて、より低い解像度の低解像度画像を生成する切り出し手段と、
前記低解像度画像を用いて前記移動物体を検出する検出手段と、
前記移動物体が検出されたとき、前記高解像度カメラから送られてくる高解像度画像を用いて該移動物体の認識処理を行い、認識結果を出力する認識手段と
を備えることを特徴とする画像処理装置。

（付記２） 前記切り出し手段は、前記高解像度カメラにより撮影された高解像度画像の上端部、下端部、左端部、または右端部に並べて設けられた複数のウィンドウにより複数の部分画像を切り出し、該複数の部分画像を一方向に連ねて１枚の低解像度画像を生成することを特徴とする付記１記載の画像処理装置。

（付記３） 前記切り出し手段は、前記高解像度カメラにより撮影された１枚の高解像度画像から複数の部分画像を切り出し、該複数の部分画像を組み合わせて１枚の低解像度画像を生成し、時系列に連続する低解像度画像から映像を生成し、前記検出手段は、生成された映像を用いて前記移動物体を検出することを特徴とする付記１記載の画像処理装置。

（付記４） 前記切り出し手段は、前記高解像度カメラにより撮影された１枚の高解像度画像から２枚の部分画像を切り出し、該２枚の部分画像をそれぞれ１枚の低解像度画像として交互に挿入することで映像を生成し、前記検出手段は、生成された映像を用いて前記移動物体を検出することを特徴とする付記１記載の画像処理装置。

（付記５） 前記切り出し手段は、前記高解像度カメラにより撮影された高解像度画像に対する前記移動物体の進入方向に最も近い位置に設けられたウィンドウにより、前記部分画像を切り出すことを特徴とする付記１、２、３、または４記載の画像処理装置。

（付記６） 前記切り出し手段は、前記高解像度カメラにより撮影された高解像度画像内に設けられたウィンドウにより前記部分画像を切り出し、前記低解像度画像の形式に応じて該ウィンドウのサイズを変更することを特徴とする付記１、２、３、または４記載の画像処理装置。

（付記７） 前記切り出し手段は、前記高解像度カメラにより撮影された高解像度画像内に設けられたウィンドウにより前記部分画像を切り出し、前記移動物体の移動方向に応じて該ウィンドウの角度を変更することを特徴とする付記１、２、３、または４記載の画像処理装置。

（付記８） 前記切り出し手段は、前記高解像度カメラにより撮影された高解像度画像内の複数のウィンドウの情報を格納する格納手段を含み、前記高解像度カメラにより撮影された高解像度画像から動きのある部分を抽出して、該複数のウィンドウの中から最適なウィンドウを選択し、選択されたウィンドウにより前記部分画像を切り出すことを特徴とする付記１記載の画像処理装置。

（付記９） 前記高解像度カメラにより撮影された高解像度画像内の複数の検出用ウィンドウの情報と、各検出用ウィンドウに対応付けられた認識用ウィンドウの情報を格納する格納手段をさらに備え、前記切り出し手段は、該複数の検出用ウィンドウにより複数の部分画像を切り出し、該複数の部分画像を組み合わせて１枚の低解像度画像を生成し、前記認識手段は、該低解像度画像内の部分画像から前記移動物体が検出されたとき、該移動物体が検出された部分画像を切り出すときに用いた検出用ウィンドウに対応する認識用ウィンドウにより、前記高解像度カメラから送られてくる高解像度画像から認識用画像を切り出すことを特徴とする付記１記載の画像処理装置。

（付記１０） 高解像度カメラにより撮影された画像に含まれる車両を識別する画像処理装置であって、
前記高解像度カメラにより撮影された高解像度画像の一部を部分画像として切り出し、切り出された部分画像を用いて、より低い解像度の低解像度画像を生成する切り出し手段と、
前記低解像度画像を用いて前記車両を検出する検出手段と、
前記車両が検出されたとき、前記高解像度カメラから送られてくる高解像度画像を用いて該車両の認識処理を行い、認識結果を出力する認識手段と
を備えることを特徴とする画像処理装置。

（付記１１） 高解像度カメラにより撮影された画像に含まれる移動物体を識別する画像処理装置のためのプログラムであって、
前記高解像度カメラにより撮影された高解像度画像の一部を部分画像として切り出し、
切り出された部分画像を用いて、より低い解像度の低解像度画像を生成し、
前記低解像度画像を用いて前記移動物体を検出し、
前記移動物体が検出されたとき、前記高解像度カメラから送られてくる高解像度画像を用いて該移動物体の認識処理を行い、
認識結果を出力する
処理を前記画像処理装置に実行させることを特徴とするプログラム。

（付記１２） 高解像度カメラにより撮影された画像に含まれる移動物体を識別する画像処理装置のためのプログラムを記録した記録媒体であって、
前記プログラムは、
前記高解像度カメラにより撮影された高解像度画像の一部を部分画像として切り出し、
切り出された部分画像を用いて、より低い解像度の低解像度画像を生成し、
前記低解像度画像を用いて前記移動物体を検出し、
前記移動物体が検出されたとき、前記高解像度カメラから送られてくる高解像度画像を用いて該移動物体の認識処理を行い、
認識結果を出力する
処理を前記画像処理装置に実行させることを特徴とする記録媒体。

（付記１３） 高解像度カメラにより撮影された画像に含まれる移動物体を識別する画像処理装置のためのプログラムを搬送する搬送信号であって、
前記プログラムは、
前記高解像度カメラにより撮影された高解像度画像の一部を部分画像として切り出し、
切り出された部分画像を用いて、より低い解像度の低解像度画像を生成し、
前記低解像度画像を用いて前記移動物体を検出し、
前記移動物体が検出されたとき、前記高解像度カメラから送られてくる高解像度画像を用いて該移動物体の認識処理を行い、
認識結果を出力する
処理を前記画像処理装置に実行させることを特徴とする搬送信号。

（付記１４） 高解像度カメラにより撮影された画像に含まれる移動物体を識別する画像処理方法であって、
前記高解像度カメラにより撮影された高解像度画像の一部を部分画像として切り出し、
切り出された部分画像を用いて、より低い解像度の低解像度画像を生成し、
前記低解像度画像を用いて前記移動物体を検出し、
前記移動物体が検出されたとき、前記高解像度カメラから送られてくる高解像度画像を用いて該移動物体の認識処理を行う
ことを特徴とする画像処理方法。

本発明は、一般道路における車両の識別、工場の生産ラインにおける製品管理、セキュリティシステムの一部としての侵入者監視等、画像上での移動物体の検出・認識が必要となる場面で利用することが可能である。

本発明の画像処理装置の原理図である。 画像処理システムの構成図である。 検出用画像の第１の切り出し方法を示す図である。 検出用画像の第２の切り出し方法を示す図である。 検出用画像の第３の切り出し方法を示す図である。 検出用画像の第４の切り出し方法を示す図である。 検出用ウィンドウの位置を示す図である。 検出用ウィンドウの角度を示す図である。 認識用画像の第１の切り出し方法を示す図である。 認識用画像の第２の切り出し方法を示す図である。 認識用画像の第３の切り出し方法を示す図である。 検出から認識までの流れを示す図である。 車両検出・認識処理のフローチャートである。 ウィンドウ選択処理のフローチャートである。 第１の抽出部分を示す図である。 第２の抽出部分を示す図である。 画像の再構成を示す図である。 記録媒体を示す図である。

符号の説明

１０１ 切り出し手段
１０２ 検出手段
１０３ 認識手段
１０４ 高解像度カメラ
２０１ カメラ
２０２ 画像処理装置
２０３ 通信ネットワーク
２０４ センタ
２１１ カメラ制御部
２１２ 画像切り出し部
２１３ 検出部
２１４ 認識部
２１５ 蓄積部
２１６ 通信部
３０１ 高解像度カメラ画像
３０２、４０１、４０２、５０１、５０２、６０１、６０２、８０３、８０４ 検出用ウィンドウ
８０１、８０２ 直線
８０５、８０６、８０７ 破線
９０１、９０２、１００１、１００２、１１０１、１１０２ 認識用ウィンドウ
１２０１ 車両

Claims (5)

1. 高解像度カメラにより撮影された画像に含まれる移動物体を識別する画像処理装置であって、
   前記高解像度カメラにより撮影された高解像度画像の一部を部分画像として切り出し、切り出された部分画像を用いて、より低い解像度の低解像度画像を生成する切り出し手段と、
   前記低解像度画像を用いて前記移動物体を検出する検出手段と、
   前記移動物体が検出されたとき、前記高解像度カメラから送られてくる高解像度画像を用いて該移動物体の認識処理を行い、認識結果を出力する認識手段と
   を備えることを特徴とする画像処理装置。
2. 前記切り出し手段は、前記高解像度カメラにより撮影された高解像度画像の上端部、下端部、左端部、または右端部に並べて設けられた複数のウィンドウにより複数の部分画像を切り出し、該複数の部分画像を一方向に連ねて１枚の低解像度画像を生成することを特徴とする請求項１記載の画像処理装置。
3. 前記切り出し手段は、前記高解像度カメラにより撮影された１枚の高解像度画像から複数の部分画像を切り出し、該複数の部分画像を組み合わせて１枚の低解像度画像を生成し、時系列に連続する低解像度画像から映像を生成し、前記検出手段は、生成された映像を用いて前記移動物体を検出することを特徴とする請求項１記載の画像処理装置。
4. 前記高解像度カメラにより撮影された高解像度画像内の複数の検出用ウィンドウの情報と、各検出用ウィンドウに対応付けられた認識用ウィンドウの情報を格納する格納手段をさらに備え、前記切り出し手段は、該複数の検出用ウィンドウにより複数の部分画像を切り出し、該複数の部分画像を組み合わせて１枚の低解像度画像を生成し、前記認識手段は、該低解像度画像内の部分画像から前記移動物体が検出されたとき、該移動物体が検出された部分画像を切り出すときに用いた検出用ウィンドウに対応する認識用ウィンドウにより、前記高解像度カメラから送られてくる高解像度画像から認識用画像を切り出すことを特徴とする請求項１記載の画像処理装置。
5. 高解像度カメラにより撮影された画像に含まれる移動物体を識別する画像処理装置のためのプログラムであって、
   前記高解像度カメラにより撮影された高解像度画像の一部を部分画像として切り出し、
   切り出された部分画像を用いて、より低い解像度の低解像度画像を生成し、
   前記低解像度画像を用いて前記移動物体を検出し、
   前記移動物体が検出されたとき、前記高解像度カメラから送られてくる高解像度画像を用いて該移動物体の認識処理を行い、
   認識結果を出力する
   処理を前記画像処理装置に実行させることを特徴とするプログラム。
   
   

Images