JP2004280593A

JP2004280593A - 画像情報処理システム

Info

Publication number: JP2004280593A
Application number: JP2003072532A
Authority: JP
Inventors: Katsuhiko Banba; 勝彦番場; Hiroyuki Mizuno; 裕之水野
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2003-03-17
Filing date: 2003-03-17
Publication date: 2004-10-07
Anticipated expiration: 2023-03-17
Also published as: JP4088182B2

Abstract

【課題】比較的簡易な構成にて様々な場面において確実に通行車両のナンバー情報を認識可能なシステムを提供することを目的とする。
【解決手段】レーダ装置３０によって移動物体検知を行なうレーダ処理装置４０と、レーダ処理装置４０からの移動物体検知情報に基づいてカメラ１０にて当該移動物体を撮影し、撮影静止画上の該当移動物体画像部を抽出して解析する認識装置２０よりなる構成である。
【選択図】図８

Description

【０００１】
【発明の属する技術分野】
本発明は画像情報処理システムに係り、特に移動物体の撮影画像から当該移動物体に関する情報を抽出して認識する機能を有する画像情報処理システムに関する。
【０００２】
【従来の技術】
移動物体の撮影画像から当該移動物体に関する情報を抽出して認識する構成が求められる分野として、例えば道路上にカメラを設置して当該道路を通過する車両を撮影して撮影画像から当該車両の画像を抽出し、更に必要に応じて当該車両の車両ナンバー等を認識する車両ナンバー認識システムが考えられる。
【０００３】
このような車両ナンバー認識システムの一例について以下に図と共に説明する。図１は従来の一例の車両認識システムの概略構成を示す。又図２は同システムの動作フローチャートを示す。当該システムは図示の通り、１台の動画カメラ１１０と１台の認識装置１２０とよりなり、道路の１車線を動画カメラ１１０で撮影して撮影画像から撮影された車両の車両ナンバーを認識するものである。このシステムにおける主な動作は以下の通りである。
【０００４】
認識装置１２０は車両検知処理部１２１においてカメラ１１０の映像から静止画を取得し（ステップＳ１）、フレーム差分チェック処理部１２１によって前フレームとのフレーム差分をチェックし（ステップＳ２），その結果から画像内に車両があるか否かを判定する（ステップＳ３）。この動作（ステップＳ１乃至Ｓ３）を１／３０秒単位で繰り返し、図３、図４に示す如く、画像内の車両ＭがそのナンバーＮの解析できる位置（画像内中央）まで到達した時点の画像中（図４の状態）、初期探索処理部１２２による車両部分切り出し処理によって車両の位置が検知される（ステップＳ４）。尚、それ以外の図３に示す如く位置に車両Ｍがある時点では車両検知処理（ステップＳ１乃至Ｓ３）が続行される。
【０００５】
ステップＳ４にて検知された車両位置から、車番切り出し処理１２３によるエッジ検出処理（ステップＳ５）及び、プレート検索処理（ステップＳ６）により当該車両のナンバープレート部分画像を抽出し、文字認識処理（ステップＳ７）によって予め登録されている文字画像情報との照合によって車両ナンバーＮを認識する。
【０００６】
上記以外にも例えば特許文献１に開示されている如くレーダセンサを併用したシステムも考えられる。このようなシステムでは、例えば静止画記録用カメラと通過車両検知用レーダ装置とを監視対象道路に設置し、レーダ走査範囲内に車両が進入したことをトリガとして静止画を記録することにより通過車両検知を実施することが考えられる。この場合の画像取得後の処理は上述の方法と同様に実施することが考えられる。
【０００７】
【特許文献１】
特開２０００−１８２１８５号公報
【０００８】
【発明が解決しようとする課題】
しかしながら、仮に複数車線を有する道路についてカメラ一台を設置した場合、車両ナンバー解析に必要な撮影解像度の条件を満たすことを前提にした場合、１車線に対して１台のカメラを設置した場合に比べて横方向に２倍の撮影解像度が要される。このように撮影解像度を増加させるためにはそれに比例して撮影画素数も増加させる必要があり、その結果車両ナンバー検知のための処理に関する情報量が増加し所要処理時間も増加する。
【０００９】
又、上記の如く車両ナンバー検知を画像差分解析によって行う場合、画像内の車両が車両ナンバーが解析できる位置まで到達しているか否かを判定した後に車両ナンバーを検知する。この場合、車両の前面のナンバーが映るよう車両を撮影する場合と後面のナンバーが映るよう車両を撮影する場合とでは車両ナンバーが認識できる状態における画像内での車両の位置が異なる。このため、１台のカメラで進入方向が異なる車両が同時に通過する複数車線（例えば、片側１車線、計２車線の道路の場合）を撮影する場合、前面のナンバーが映るよう車両を撮影する場合の処理と後面のナンバーが映るよう車両を撮影する場合の処理の２種類の異なる処理を複数の車両に対して同時に実行する必要がある。そのため処理量が増加し所要処理時間が増加する。
【００１０】
これらの問題点の解決策として、以下の方法が考えられる。即ち、例えば図５に示す如く、車両撮影用カメラを一車線に一台、計二台（１１０−１，１１０−２）設置する方法である。尚、上記レーダ装置を併用する場合には同様にレーダセンサとレーダ情報処理装置も２組設けるため、監視する車線数分のカメラおよび認識装置、或いは更にレーダセンサ及びレーダ情報処理装置等が必要となり、設置コストが倍増する。更にこの方法の場合、図６に示す如く２車線を跨いで車両Ｍが通過した場合、カメラ１１０−１，１１０−２による夫々の撮影画像中に車両Ｍのナンバープレート部分Ｎがナンバー解析可能な状態で取得出来ない場合が考えられる。
【００１１】
又、図７に示す如く、車両撮影用カメラとレーダとを複数車線に亘って走査させる方法が考えられる。即ち、この場合、レーダ装置１３０およびカメラ１１０を回転台に乗せて車線中央部に設置し、当該回転台を水平方向に首振り運動させることにより複数車線を１システムで監視する。しかしながらこの場合、レーダとカメラとが同一回転台に載るため、レーダにて車両進入を検知してからカメラの画像を取り込むまでの処理時間に遅延があるとカメラの撮影方向が実際の撮影対象車両の位置と一致しなくなるという事態が考えられる。
【００１２】
又、図７の構成ではそのシステム特性上、瞬間的にはカメラとレーダーが向いている車線のみしか監視できないため、道路混雑時等、２車線Ｌ１，Ｌ２に同時に連続して複数の車両が通行するような場合、回転台の回転動作速度、レーダの検知性能、カメラの撮影速度等によっては通行車両全てのナンバーの認識が不可能となる場合が考えられる。即ち、例えば車線Ｌ１に車両Ｍ１が進入にしてきた場合、カメラ１１０は車線Ｌ１を向くが、それと同時に車線Ｌ２に別の車両Ｍ２が進入してきた場合、カメラ１１０が車線Ｌ２を向く前に当該車両Ｍ２が撮影可能領域を通過してしまって撮影不可となる場合が考えられる。
【００１３】
【課題を解決するための手段】
本発明は上記問題点に鑑み、１組の画像情報処理システムよって複数の移動物体の特定の情報、例えば複数車線を走行する複数の車両のナンバーを全て認識可能であり、更に車線を跨いで通過する車両のナンバー、及び、進入方向が異なる車両が同時に通過した場合等、様々な場面においてもそこを通過する全ての車両のナンバーを認識可能な画像情報処理システムを提供することを目的とする。即ち、比較的簡易な構成にて、複数車線道路で、複数の車両が同時に通過した場合であっても、それら全ての車両を漏れなく撮影し、そのナンバーの認識が可能なシステムを提供することを目的とする。
【００１４】
【発明の実施の形態】
以下本発明の実施例について図面と共に詳細に説明する。図８は本発明の一実施例の基本構成図である。本発明の実施例になる画像情報処理装置は、所定の監視領域を通過する車両を検知するためのレーダ装置３０、レーダ装置３０からの検知信号を基に、その検知された車両が特定の範囲に進入した時点でそれを検出し、その車両の位置と走行速度とを認識装置２０に通知するレーダ処理装置４０、当該検知された車両を撮影するための静止画記録用カメラ１０、レーダ処理装置４０から当該検知された車両の位置と走行速度とを通知された時点で静止画記録用カメラ１０から撮影静止画に撮影操作を行なわせ、通知された車両の位置と走行速度、並びに撮影された静止画とを基にして画像解析を実施することによって当該車両のナンバー情報を認識する認識装置２０とよりなる。
【００１５】
又、認識装置２０は初期探索処理部２１と車番切り出し処理部２２−１，２２−２とよりなり、これら処理部２１，２２−１，２２−２は例えば異なるＭＰＵによって実現される。更に初期探索処理部２１は撮影要求部２１ａ、２次元−３次元座標変換部２１ｂ及び車両部分切り出し部２１ｃとよりなり、各車番切り出し処理部２２−１，２２−２は、夫々エッジ検出部２２−１ａ、２２−２ａ、プレート検索部２２−１ｂ、２２−２ｂ、並びに文字認識部２２−１ｃ、２２−２ｃよりなる。又、図９、図１０は当該画像情報処理システムの監視範囲を示す図であり、図９はカメラ１０に向かう方向に走行する車両Ｍ１に対する監視エリアを示し、図１０はカメラ１０から遠ざかる方向に走行する車両Ｍ２に対する監視エリアを表す。尚、監視エリアについては後述する。
【００１６】
上記レーダ装置３０及び静止画記録用カメラ１０は対象となる道路の中央（図１４乃至１７参照）、若しくは、図９，１０に示す如く、道路端の高いところに当該道路をなす複数車線（図示の場合には２車線）を同時に監視可能なよう設置される。即ち、レーダ装置３０は図９、図１０中のレーダ監視領域Ｒ１の範囲（固定）に亘って車両を検知可能な性能を有すると共に、そのような性能を発揮可能な位置及び姿勢にて設置される。又、静止画記録用カメラ１０は撮影領域Ｒ２（固定）を一枚の静止画にて収めるように撮影可能な機能を有すると共に、そのような機能を発揮可能な位置及び姿勢にて設置される。
【００１７】
又、カメラ１０の静止画取得タイミングを指示するため、カメラ１０に向かってくる方向に走行する車両Ｍ１に対しては通知領域Ｒ３（固定）、カメラから遠ざかる方向に進行する車両Ｍ２に対しては通知領域Ｒ４（固定）を設定し、その設定領域Ｒ３，Ｒ４内に進入する車両をレーダ装置３０検知した際にレーダ処理装置４０はそれを検出し、認識装置２０に車両検知信号を供給する構成とされている。
【００１８】
以下、上記構成を有する本発明の実施例による画像情報処理システムの動作について説明する。本システムにおいて、レーダ装置３０は、レーダ波を発信し当該レーダ波が対象物体によって反射されて生成される反射波を受信する周知の構成を有する。レーダ処理装置４０はそのレーダ波の発信から受信までの時間差及び波長のドップラシフト量を測定することにより、対象物体までの距離及び対象物体の移動速度（方向含む）を演算によって求める。
【００１９】
又、そしてレーダ装置３０はレーダ監視領域Ｒ１に対して水平方向に首振り運動しながら一定回転角度毎に上記測定を繰り返すことで各スキャン分の測定結果を得る。そしてこれらの測定結果を収集分析することによって、当該道路上を走行する車両の移動速度と位置を走行車両毎に検出する機能を有する。
【００２０】
レーダ監視領域Ｒ１に車両が進入した場合、レーダ処理装置３０は進入した全ての車両を検知可能である。更にレーダ処理装置３０は上記対象物体の移動速度及び位置検出機能によって検知車両の進入方向をも検出可能であり、当該検出進入方向によって該当する車両に対して通知領域Ｒ３を適用するか或いは通知領域Ｒ４を適用するかを決定する。そして検知車両がそのようにして判定された通知領域の範囲内にあるか否かを判定し、該当通知範囲内にある場合は認識装置２０に対し、該当通知範囲内にある全ての車両の速度と位置（図１３（ｃ）中のｘ_１，ｘ_２、ｙ_１）の情報を送信する。
【００２１】
尚、ここでは上記位置は図１３から以下の数式にて算出されることが分かる。
【００２２】
【数１】

上記数式中、ｌ_１、ｌ_２はレーダ装置３０から対象車両Ｍまでの３次元距離（図１３（ｂ）、（ｃ）参照）、ｈはレーダ装置３０の該当する道路上の高さ（図１３（ｂ）参照）、α_１、α_２はレーダ装置３０が対象車両Ｍを検知した時の水平面内の角度（図１３（ｃ）参照）、ｙ_ｓはレーダ装置３０からカメラ撮影エリアまでの水平距離（図１３（ａ）、（ｃ）参照）である。これらのデータのうち、ｌ_１、ｌ_２、α_１、α_２は上述のレーダ装置３０及びレーダ処理装置４０の機能によって検出可能なデータであり、ｙ_ｓは予め測定可能な固定値である。
【００２３】
尚、図９、図１０に示す如く車両の移動方向によって固定のカメラ１０の撮影領域Ｒ２に対して異なる通知範囲Ｒ３，Ｒ４を設定するのは以下の理由による。即ち、レーダ装置３０、レーダ処理装置４０による車両検知から、当該検知情報を受けた認識部２０の初期探索処理部２１にてカメラ２０を駆動して当該車両を実際に撮影するまで若干の時間遅れが存在する。そのため、図９に示す如く車両Ｍ１がカメラ１０に近付く方向に走行している場合には撮影領域Ｒ２に対してカメラ１０から遠い位置に通知領域Ｒ３を設定することにより、上記時間遅れの間当該車両Ｍ１が走行してカメラ１０に近付いても撮影領域Ｒ２を外れることがなく、該当する車両の画像を確実に所定解像度にて撮影可能となる。同様に図１０に示す如く車両Ｍ２がカメラ１０から遠ざかる方向に走行している場合には撮影領域Ｒ２に対してカメラ１０から近い位置に通知領域Ｒ４を設定しておくことにより、上記時間遅れの間当該車両Ｍ２が走行してカメラ１０から遠のいても撮影領域Ｒ２を外れることが無く、該当車両を確実に所定解像度にて撮影することが可能となる。
【００２４】
次に、上記通知信号を受けた認識装置２０は、その初期探索処理部２１の撮影要求部２１ａにてカメラ１０に撮影指示信号を送信し、その瞬間の静止画像を撮影させ、当該撮影画像情報を２次元−３次元座標変換部２１ｂにて受信する。又、上記進入した車両Ｍの位置座標（ｘ_１，ｙ_１）、及び、（ｘ_２，ｙ_１）は２次元−３次元座標変換処理部による以下に示す演算を経て上記の如く取得された静止画上の画素単位による座標（Ｘ_１，Ｙ_１）、及び、（Ｘ_２，Ｙ_１）に変換される。
【００２５】
Ｘ_１≒（ｘ_１／ｘ_ｍａｘ）・Ｘ_ｐｉｃ
Ｘ_２≒（ｘ_２／ｘ_ｍａｘ）・Ｘ_ｐｉｃ
Ｙ_１≒（ｙ_１／ｙ_ｍａｘ）・Ｙ_ｐｉｃ
上式中、ｘ_ｍａｘは撮影領域Ｒ２の幅（図１３（ｃ）参照）、ｙ_ｍａｘは撮影領域Ｒ２の長さ（図１３（ａ）参照）、Ｘ_ｐｉｃは取得された静止画の横方向の画素数（図１２（ｂ）参照）、Ｙ_ｐｉｃは取得静止画の縦方向の画素数（図１２（ｂ）参照）である。
【００２６】
通常、車両Ｍの高さはその幅より小さいため、車両部分切り出し処理部２１ｃでは、２次元−３次元座標変換部２１ｂにて得た静止画上の画素単位の座標（Ｘ_１，Ｙ_１）、（Ｘ_２，Ｙ_１）間を底辺とし、下記数式で求められる高さ
Ｙ２＝Ｘ_１− Ｘ_２
を有する矩形形状に取得静止画から対象車両画像部分（図１２（ｂ）中の破線で囲まれた領域）を切り出す。この２次元−３次元座標変換処理部２１ｂ、車両部分切り出し処理部２１ｃによる上記演算処理は、レーダ処理装置４０から通知された検出車両一台毎に実行される。
【００２７】
この場合カメラ１０が撮影している画角の条件によって上記ナンバープレート情報の大きさ（画素単位の幅／高さ）が一意に求まる。初期探索処理部１２２によって切り出された車両画像についてエッジ検出部２２−１ａ，２２−２ａによって隣り合う画素間の色／輝度が一定以上異なる画素情報、即ちエッジ部に相当する画素情報を抽出する。そして上記一意に求められたナンバープレート情報の大きさに関する情報並びにエッジ検出部にて抽出されたエッジ部相当の画素情報を基に、プレート検索部２２−１ｂ、２２−２ｂによってナンバープレートに相当する形状、大きさに合致する画像部分が上記静止画像中に存在するか否かが検索される。
【００２８】
即ち、一般に車両のナンバープレートに記載の情報には数字及び文字が含まれ、それらの数字・文字情報は撮影画像上濃度が急に変化するエッジ部を構成するため、特定のナンバープレートに相当する大きさ・形状内にエッジ部が含まれている部分が撮影画像中に存在すれば、その部分がナンバープレートに相当する画像部分であると判定できる。
【００２９】
上記判定の結果ナンバープレート相当の画像部分が存在する場合、その座標位置（Ｐｘ１，Ｐｙ１，Ｐｘ２，Ｐｙ２）を記憶する。又、文字認識部２２−１ｃ、２２−２ｃは、上記車両画像中のナンバープレート相当の画像部分の領域（Ｐｘ１，Ｐｙ１，Ｐｘ２，Ｐｙ２）につき、通常ナンバープレート中に含まれる陸支／分類／ひらがな／一連番号毎に領域を切り出し、それぞれの領域について撮影画像と予め所定のソフトウェアにて保持している文字画像情報とのパターンマッチングを行うことによって撮影画像中に含まれる文字、即ち車両ナンバー情報を認識する。
【００３０】
この車番切り出し処理部２２−１，２２−２による車番切り出し処理は並列処理が可能であり、初期探索処理部２１によって切り出された車両画像分並列的に実行され、これによって認識装置２０は通過した全ての車両のナンバ情報を短時間に認識することができる。
【００３１】
このように本発明の実施例によれば、車両検知はレーダ処理装置４０にて行なうため、上述の従来技術における如く、例えば１／３０秒毎の画像情報処理による車両検知処理を省略可能である。そのため、ＣＰＵ／ＭＰＵの負荷を軽く出来、その処理能力余剰分を車番切り出し処理部２２−１，２２−２における車番切り出し処理に使用できる。このため、比較的処理能力の低いＣＰＵ／ＭＰＵによっても車両混雑時の全ての通行車両の車両ナンバー認識を可能とする画像情報処理システムの構築が可能となる。
【００３２】
即ち本発明は従来と異なり、車両検知処理をレーダ処理装置部４０が行なうため、認識装置２０自体では静止画取り込みのタイミング判断処理を行う必要が無く、又事前に通行車両の撮影方向を設定する必要も無い。即ち認識装置２０はレーダ処理装置４０からの車両検知情報に含まれる該当する通行車両の進入方向に応じて初期探索処理部２１による初期探索処理を実行するため、進入方向が異なる車両を同時に検知した場合であっても過大な情報処理量を要求されずに初期探索処理部２１にて必要とされる情報処理を実施可能である。その結果複数車線に複数台の車両が同時に進入した場合等においても一枚の静止画にてそれらを撮影し且つ各車両のナンバー情報を認識可能な画像情報処理システムを比較的低い処理性能のＣＰＵ／ＭＰＵにて構築可能である。
【００３３】
即ち、本発明では車両位置をレーダ装置３０、レーダ処理装置４０にて実施し、その検知情報に基づいて静止画撮影タイミングが決定され、更には撮影画像中の車両位置を特定可能なため、撮影画像中から車両画像部分を検索する作業が大幅に低減可能である。即ち、撮影画像の全体から車両画像部分を検索するためには画像中の全画素を処理する必要があるが、本発明の如くレーダ装置、レーダ処理装置の機能によって予め画像中の車両部分の位置を特定できるため、その特定部分の画素のみ処理すれよく、所要画素処理量を効果的に低減可能である。
【００３４】
以下に上述の本発明の実施例による画像情報処理システムの実際の動作例について詳細に説明する。先ず第１の例として、片側２車線道路に車両が１台通過する場合を想定する。図１４はこのような場合を示す。この例において１台の車両Ｍａが通知領域Ｒ３（図９参照）に進入してきた場合、上述の如く図８に示す本画像情報処理システムのレーダ装置３０から逐次出力される物体検知情報に基づいてレーダ処理装置４０が所定の演算処理を行うことによって当該車両Ｍａの車両位置情報（ｘａ１，ｙａ１）、（ｘａ２，ｙａ１）とその移動速度情報Ｖａが得られ、当該車両位置・速度情報が認識装置２０に対して通知される。
【００３５】
当該データを受信した認識装置２０は初期探索処理部２１にて、静止画記録用カメラ１０に指示を出して図１４（ｂ）に示す如くの撮影静止画を取得させ、更に図１３と共に説明した原理にしたがって上記検知位置情報（ｘａ１，ｙａ１）、（ｘａ２，ｙａ１）を上記取得静止画上の座標データ（Ｘａ１，Ｙａ１）、（Ｘａ２，Ｙａ１）に変換し、当該静止画上座標データに基づいて当該車両Ｍａが映っている部分（図１４（ｂ）中の破線で囲った部分）を切り出す。その後、例えば車番切り出し処理部２２−１にて、上記切り取られた車両画像に対して車番切り出し処理を実行し当該車両のナンバー情報を認識し出力する。
【００３６】
次に第２の例として、図１５に示す如く、片側２車線Ｌ１，Ｌ２よりなる道路上に同一進行方向の車両が２台Ｍａ，Ｍｂ、同時に通過する場合を想定する。この場合、図示の如く片側２車線道路に同じ進行方向の車両ＭａとＭｂとが２台同時に通知領域Ｒ３に進入してきた場合、レーダ処理装置４０によって当該２台分の車両情報［（ｘａ１，ｙａ１）、（ｘａ２，ｙａ１）、Ｖａ］及び［（ｘｂ１，ｙｂ１）、（ｘｂ２，ｙｂ１）、Ｖｂ］取得され、これらが認識装置２０に通知される。このデータを受信した認識装置２０は初期探索処理部２１の処理により静止画記録用カメラ１０を介してこれら検知車両の撮影静止画（図１５（ｂ）参照）を取得し、通知された検知車両情報［（ｘａ１，ｙａ１）、（ｘａ２，ｙａ１）、Ｖａ］、及び、［（ｘｂ１，ｙｂ１）、（ｘｂ２，ｙｂ１）、Ｖｂ］を夫々静止画用座標［（Ｘａ１，Ｙａ１）、（Ｘａ２，Ｙａ１）、Ｖａ］、及び、［（Ｘｂ１，Ｙｂ１）、（Ｘｂ２，Ｙｂ１）、Ｖｂ］に変換した上で当該車両が映っている画像部分（図１５（ｂ）中の破線で囲った部分）を夫々切り出す。このようにして切り取られた２枚の車両画像は、各々、車番切り出し処理部２２−１，２２−２に送られ、これら処理部にて並列処理にて車番切り出し処理を行い、夫々のナンバー情報を認識し出力する。
【００３７】
次に、第３の例として、図１６に示す如く、片側１車線、双方向計２車線Ｌ１，Ｌ２の道路において、車両Ｍａが通知領域Ｒ３（図９参照）に進入し、同時に車両Ｍｂが通知領域Ｒ４（図１０参照）に進入してきた場合を想定する。このような場合、レーダ処理装置４０は車両Ｍａと車両Ｍｂの夫々の車両情報、［（ｘａ１，ｙａ１）、（ｘａ２，ｙａ１）、Ｖａ］と［（ｘｂ１，ｙｂ１）、（ｘｂ２，ｙｂ１）、Ｖｂ］とを取得し、これが認識装置２０に通知される。
【００３８】
当該データを受信した認識装置２０はこれに基づき初期探索処理部２１にて静止画記録用カメラ１０を制御して当該車両を撮影させてその静止画を取得する（図１６（ｂ）参照）。そして、上記通知された検知車両情報［（ｘａ１，ｙａ１）、（ｘａ２，ｙａ１）、Ｖａ］、及び、［（ｘｂ１，ｙｂ１）、（ｘｂ２，ｙｂ１）、Ｖｂ］を上記静止画上の座標［（Ｘ１ａ，Ｙ１ａ）、（Ｘ１ｂ，Ｙ１ｂ）、Ｖａ］、及び、［（Ｘ２ａ，Ｙ２ａ）、（Ｘ２ｂ，Ｙ２ｂ）、Ｖｂ］に変換し、当該座標に基づき該当する車両が映っている部分（図１６（ｂ）中の破線で囲った部分）を夫々切り出す。このようにして切り出された車両画像は車番切り出し処理部２２−１，２２−２による並列処理にて夫々の画像に対する車番切り出し処理を行い、該当する車両ナンバー情報を認識し出力する。
【００３９】
第４の例は図１７に示す如く、片側２車線Ｌ１，Ｌ２の道路上に一台の車両Ｍが車線Ｌ１，Ｌ２を跨いで通知領域Ｒ３に進入してきた場合、レーダ処理装置４０は当該車両Ｍの車両情報［（ｘａ１，ｙａ１）、（ｘａ２，ｙａ１）、Ｖａ］を取得し、これを認識装置２０に通知する。データを受信した認識装置２０は初期探索処理部２１にて静止画記録用カメラ１０を駆動して該当する車両の静止画を取得し、通知された車両情報［（ｘａ１，ｙａ１）、（ｘａ２，ｙａ１）、Ｖａ］を当該静止画上の座標［（Ｘ１ａ，Ｙ１ａ）、（Ｘ２ａ，Ｙ１ａ）、Ｖａ］に変換し、この座標に基づいて車両が映っている部分（図１７（ｂ）の破線で囲われた部分）を切り出す。切り出された車両画像は例えば車番切り出し処理部２２−１にて処理され、該当する車両ナンバー情報が認識され出力される。
【００４０】
本発明の実施例では図１３（ｃ）と共に説明した如く対象車両の水平方向位置をも検出可能なため、第４の例の場合のように斜線を跨いで走行している車両についても正確にその位置を検出し、図１７（ｂ）に示す如く撮影画像中の車両部分の正しい切り出しが可能となる。
【００４１】
以上説明したように、本発明によれば複数車線の車両ナンバーの自動認識が可能であり、複数車線に数台の車両が同時に進入するような場合、進行方向が逆の車両が同時に進入した場合、車両が車線を跨いで通過するような場合等、様々な場面においても、１システムで同時に全ての車両のナンバーを自動認識する機能を実現可能である。
【００４２】
尚、本発明の実施例は上述のものに限られない。例えば図７に示す如くカメラが可動式のものに対しても適用可能である。その場合、レーダ装置の検知情報とカメラの回転角度情報との組み合わせ演算によって当該カメラによる撮影画像中の該当車両の位置を特定して所望画像部分を抽出することが可能である。
【００４３】
本発明は以下の付記に記載の構成を含む。
【００４４】
（付記１）
移動物体を撮影して得られた撮影画像から当該物体が有する特定の情報を抽出する画像情報処理システムであって、
レーダを使用した物体検知装置と、
該物体検知装置による当該移動物体の検知情報に基づいて当該移動物体の位置を演算によって求める演算部と、
前記演算部によって求められた当該物体の位置に基づいて前記撮影画像中の当該移動物体に関する画像部分を抽出する画像抽出部とよりなる画像情報処理システム。
【００４５】
（付記２）
更に、前記画像抽出部によって抽出された当該移動物体に関する画像部分から当該移動物体上の所定の位置に含まれる特定の情報を認識する特定情報認識装置よりなる付記１に記載の画像情報処理システム。
【００４６】
（付記３）
前記物体検知装置は、所定の領域を同時に通過する複数の移動物体を検知し、
前記演算部は当該検知情報に基づいて当該複数の移動物体の位置を求め、
前記画像抽出部は前記演算部によって求められた当該複数の移動物体の位置に基づいて撮影画像から当該複数の移動物体に関する画像部分を抽出し、
前記特定情報認識は当該複数の移動物体に関する画像部分から当該複数の移動物体の夫々の特定情報を認識する構成の付記２に記載の画像情報処理システム
（付記４）
前記物体検知装置は所定の領域を同時に異なる方向に通過する複数の移動物体を検知し、
前記演算部は前記物体検知装置による検知結果に基づいて当該複数の移動物体の位置及びその移動速度を求め、
前記画像抽出部は演算部によって求められた複数の移動物体の位置及びに移動速度に基づいて取得された撮影画像から当該複数の移動物体に関する画像部分を抽出し、
前記特定情報認識は当該抽出された複数の移動物体に関する画像部分から当該複数の移動物体の夫々の特定情報を認識する構成の付記２に記載の画像情報処理システム
（付記５）
更に前記物体検知装置の当該移動物体の検知情報に基づいて所定のタイミングにて当該移動物体が通過し得る所定の領域を撮影して前記撮影画像を出力する撮影装置よりなる付記１乃至４のうちのいずれかに記載の画像情報処理システム。
【００４７】
（付記６）
前記移動物体は車両よりなる付記１乃至５のうちのいずれかに記載の画像情報処理システム。
【００４８】
（付記７）
前記移動物体に含まれる特定情報は車両ナンバー情報よりなる付記６に記載の画像情報処理システム。
【００４９】
（付記８）
前記演算部は前記物体検知装置の検知情報によって移動物体が所定の通知領域に達したと判定された際に前記撮影装置を駆動して画像撮影を実施させる構成とされ、
上記所定の通知領域は、当該移動物体が撮影装置へ近付く方向に移動していると判定された際には比較的撮影装置から遠い位置に設定され、当該移動物体が撮影装置から遠のく方向に移動していると判定された際には比較的撮影装置から近い位置に設定される構成の付記５に記載の画像情報処理装置。
【００５０】
【発明の効果】
上記本発明によれば、レーダを使用した移動物体検知手段による物体検知情報に基づいて画像取得及び画像情報の解析を行なう構成としたため、画像取得のタイミングや取得された画像上で解析すべき画像領域の特定等の処理は上記移動物体検知手段によって行なわれる。その結果画像情報処理対象画像部分、すなわち要処理画素数を効果的に絞り込むことが可能であり、もって画像情報処理に要される情報処理量を効果的に削減可能である。その結果高速に多数の移動物体の情報処理を実施する事を可能とする画像情報処理システムを提供可能である。
【図面の簡単な説明】
【図１】従来の一例の画像情報処理システムのブロック図である。
【図２】図１に示す画像情報処理システムの動作フローチャートである。
【図３】図１，２に示す画像情報処理システムの処理内容を説明するための図（その１）である。
【図４】図１，２に示す画像情報処理システムの処理を説明するための図（その２）である。
【図５】従来の他の例の画像情報処理システムの構成及び処理を説明するための図である。
【図６】図５に記載のシステムの問題点を説明するための図である。
【図７】従来の更に他の例の画像情報処理システムの構成を説明するための図である。
【図８】本発明の一実施例による画像情報処理システムの概略構成を説明するためのブロック図である。
【図９】図８に示す画像情報処理システムにおける監視エリアについて説明するための図（その１）である。
【図１０】図８に示す画像情報処理システムにおける監視エリアについて説明するための図（その２）である。
【図１１】図８に示す認識装置の更に詳細な構成を示すブロック図である。
【図１２】図１１に示す認識装置による車両位置検索方法について説明するための図（その１）である。
【図１３】図１０に示す認識装置による車両位置検索方法について説明するための図（その２）である。
【図１４】本発明の一実施例による画像情報処理システムにおける実際の処理例を説明するための図（その１）である。
【図１５】本発明の一実施例による画像情報処理システムにおける実際の処理例を説明するための図（その２）である。
【図１６】本発明の一実施例による画像情報処理システムにおける実際の処理例を説明するための図（その３）である。
【図１７】本発明の一実施例による画像情報処理システムにおける実際の処理例を説明するための図（その４）である。
【符号の説明】
１０静止画撮影用カメラ
２０認識装置
２１初期探索処理部
２２−１，２２−２車番切り出し処理部
３０レーダ装置

Claims

移動物体を撮影して得られた撮影画像から当該物体が有する特定の情報を抽出する画像情報処理システムであって、
レーダーを使用した物体検知装置と、
該物体検知装置による当該移動物体の検知情報に基づいて当該移動物体の位置を演算によって求める演算部と、
前記演算部によって求められた当該物体の位置に基づいて前記撮影画像中の所望の画像部分を抽出する画像抽出部とよりなる画像情報処理システム。
更に、前記画像抽出部によって抽出された画像部分から当該移動物体上の所定の位置に含まれる特定の情報を認識する特定情報認識装置よりなる請求項１に記載の画像情報処理システム。
前記物体検知装置は、所定の領域を同時に通過する複数の移動物体を検知し、
前記演算部は当該検知情報に基づいて当該複数の移動物体の位置を求め、
前記画像抽出部は前記演算部によって求められた当該複数の移動物体の位置に基づいて撮影画像から当該複数の移動物体に関する画像部分を抽出し、
前記特定情報認識は当該複数の移動物体に関する画像部分から当該複数の移動物体の夫々の特定情報を認識する構成の請求項２に記載の画像情報処理システム。
前記物体検知装置は所定の領域を同時に異なる方向に通過する複数の移動物体を検知し、
前記演算部は前記物体検知装置による検知情報に基づいて当該複数の移動物体の位置及びその移動速度を求め、
前記画像抽出部は上記演算部によって求められた複数の移動物体の位置及びその移動速度に基づいて取得された撮影画像から当該複数の移動物体に関する画像部分を夫々抽出し、
前記特定情報認識は当該抽出された複数の移動物体に関する各々の画像部分から当該複数の移動物体の夫々の特定情報を認識する構成の請求項２に記載の画像情報処理システム。
更に前記物体検知装置の当該移動物体の検知結果に基づいて所定のタイミングにて当該移動物体が通過し得る所定の領域を撮影して前記撮影画像を出力する撮影装置よりなる請求項１乃至４のうちのいずれか一項に記載の画像情報処理システム。