JP4025007B2 - 踏切障害物検知装置 - Google Patents
踏切障害物検知装置 Download PDFInfo
- Publication number
- JP4025007B2 JP4025007B2 JP2000344222A JP2000344222A JP4025007B2 JP 4025007 B2 JP4025007 B2 JP 4025007B2 JP 2000344222 A JP2000344222 A JP 2000344222A JP 2000344222 A JP2000344222 A JP 2000344222A JP 4025007 B2 JP4025007 B2 JP 4025007B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- crossing
- obstacle detection
- obstacle
- synchronization signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Train Traffic Observation, Control, And Security (AREA)
Description
【発明の属する技術分野】
本発明は、カメラ映像を用いて踏切内の障害物検知を行う踏切障害物検知装置に関するものである。
【0002】
【従来の技術】
道路と平面交差する鉄道の踏切内は、通行車両が立ち往生したような場合に、これを検知して通過列車の運転士に知らせるようにしたシステムが設置されている。例えば、光源と受光器とを踏切の車両通行路を横断して対向配置し、踏切遮断機が降りて、一般車両が踏切内を通行できなくなった状態になると動作させて、踏切内の障害物が前記光源‐受光器間の光路(検出光路)を遮断すれば光電検出により障害物が踏切内にあることを検知するというシステムである。
【0003】
このシステムは、このようにして障害物を検知すると進行してくる列車の運転士に危険を知らせるべく、踏切手前の線路際に設けた障害物警報灯を点灯させる。
【0004】
このようにして踏切内の障害物と列車との衝突を未然に防ぐようにするが、踏切内に検出光路を多数、張り巡らさないと万全ではなく、また、踏切内を通過した車両が積載していた荷物などの落下物が踏切の線路内に残されてしまったような場合や、通行人、動物、自転車等は検知できないことが多い。
【0005】
【発明が解決しようとする課題】
このように、従来の光電式の障害物検知システムは、踏切内に張り巡らせた検出光路を障害物が遮断することにより、検知する仕組みであり、検出光路は踏切内に密に張り巡らせないと、検出能力は万全ではない。しかし、軌道内には設置でないことから、検出可能なエリアは踏切内のごく一部領域にとどまることになり、能力的に不完全である。しかも、踏切を通過した車両に積載されていた荷物が線路上に落下して障害物となっている場合や、人、自転車などは検知できないことが多い。
【0006】
従って、踏切内を広くカバーしてしかも高精度に障害物の検知ができる踏切障害物検知装置の開発が嘱望されている。
【0007】
そこで、本発明の目的とするところは、画像による踏切障害物検知を行う方式を採用することにより、踏切内を広くカバーして高精度に障害物の検知ができるようにした踏切障害物検知装置を提供することにある。
【0008】
【課題を解決するための手段】
上記の目的を達成するために、本発明は次のように構成する。すなわち、本発明は、踏切内の監視領域に向けて少なくとも左右一対のカメラを配置し、これらのカメラにて得た前記監視領域の左右画像を取得すると共に、第1段階の処理として左右画像のうちの片画像を用いて非定常領域判別法(単眼での映像変化検出)により画像中の変化部分を抽出し、変化部分が抽出されたときは、第2段階の処理として左右画像を用いた平面投影ステレオ法による変化部分の画像を検証して監視領域内の障害物検知を行う踏切障害物検知装置において、
前記カメラの画像は左右画像が同一タイミングの撮影画像となるよう、同期をとる同期手段を設けたことを特徴とするものであり、前記同期手段は、同期信号を発生する同期信号発生手段とこの同期信号にてフレーム読み出しの制御がなされる左像用および右像用の画像メモリとから構成され、前記左右一対のカメラは、撮像して得られる画像をフレーム単位でそれぞれ対応する画像メモリに記憶させ、この画像メモリから読み出される画像を用いて前記障害物検知を実施させるようにしたことを特徴とするものである。
【0009】
また、前記同期手段は、同期信号を発生する同期信号発生手段とこの同期信号にてフレーム読み出しの制御がなされる左像用および右像用のタイムベースコレクタ装置とから構成され、前記左右一対のカメラは、撮像して得られる画像をフレーム単位で同期させて得た画像を用いて前記障害物検知を実施させるようにしたことを特徴とするものである。
【0010】
本発明は、踏切内の監視領域に向けて少なくとも左右一対のカメラを配置し、これらのカメラにて得た前記監視領域の左右画像を取得すると共に、第1段階の処理として左右画像のうちの片画像を用いて非定常領域判別法(単眼での映像変化検出)により画像中の変化部分を抽出し、変化部分が抽出されたときは、第2段階の処理として左右画像を用いた平面投影ステレオ法による変化部分の画像を検証して監視領域内の障害物検知を行うが、これに用いる前記カメラの画像は左右画像が上記構成によって同一タイミングの撮影画像となるよう調整可能になるものである。
【0011】
そのため、踏切内の監視対象領域内を撮像視野とするカメラの画像は左右画像が同一タイミングの撮影画像となるようにして、障害物検知に利用することができるから精度良くまた、信頼性を以て監視領域内の障害物を検知することができるようになり、また、踏切内の監視対象領域内を撮像視野とするカメラの画像で障害物検知をすることから、踏切内の広い領域を監視対象としてしかも、高信頼性を以て障害物検知ができるようになる。
【0012】
また、本発明では踏切遮断機による踏切遮断時に前記障害物検知による障害物が検知されたとき、警報を発生する警報手段を更に備えた。
【0013】
これにより踏切遮断時に、障害物があれば列車にしらせることができるようになり、踏切内の広い領域を監視対象としてしかも、高信頼性を以て障害物検知できて、危険をいち早く列車に通報できる踏切障害物検知装置が提供できる。
【0014】
【発明の実施の形態】
本発明は、踏切内をとらえた映像をもとに、踏切遮断時の踏切内の障害物の有無を高精度に検知できて信頼性の高い踏切障害物検知装置を提供するものであり、以下、図面を参照して本発明の一実施形態を詳細に説明する。
【0015】
(画像による踏切障害物検知)
本発明は、踏切内の監視対象領域に向けて左右一対の撮像装置(テレビカメラ等)を配置し、第1段階の処理として左右画像のうちの片画像を用いて、非定常領域判別法(単目での映像変化検出)により画像中の変化領域が検出されたときにステレオ法による判別を実施し、障害物の有無を検知することにより、精度良く、しかも、広い領域をカバーして踏切内の障害物を検知できるようにしたものである。
【0016】
ステレオ撮影するのは、天候変化などによる路面上の平面的な変化(影等)を除去し、高さのある物体を見つけるためである。監視対象領域を2台のカメラで左右から撮影し、平面投影ステレオ法により、当該監視対象領域について画像変換及び比較を行うことで障害物(高さのある物体)を検知する。カメラの撮影視野は監視対象領域の外側をも含むので、画像内から監視対象領域だけ、注目するかたちで、切り出す。切り出した画像は左画像と右画像で見る方向が違うのでかたちが両者で異なってしまう。従って、切り出した画像のうち、一方の画像は他方の画像と合わせ込むことができるよう、座標変換処理する。そして、左画像および右画像それぞれから背景画像を除去し、更に正規化する。そして、左右画像の異なる部分を抽出する。この抽出した画像が、踏切内の障害物画像である。
【0017】
踏切障害物検知装置は原理的にはこのようなかたちで障害物を検知するが、実際に障害物検知するタイミングは、踏切遮断機が降りて、踏切の通行が遮断された段階である。
【0018】
踏切障害物検知装置は、踏切配置構成を含めて図1のように構成する。図1において、Aは鉄道軌道(線路)、Bは踏切、Cは踏切Bに接続される道路、Dは遮断機遮断位置、Eは自動車(通行車両)、Fは鉄道軌道A上を通過する列車、Gは踏切内を照明する照明灯である。
【0019】
11a,11bは、カメラ(撮像装置)であり、第1カメラ11aは左画像用、そして第2カメラ11bは右画像用である。これら第1及び第2カメラ11a,11bは、線路脇の支柱にあるいは、スパン線柱等を利用して高い位置に取り付けられ、踏切内を撮像視野に収めるべく、設置される。左右一対のカメラ11a,11bは、踏切Bの片側から対岸方向を見るかたちで踏切内を監視する。ここで、上述のスパン線柱とは、高さ制限を越えた車両踏切内に進入し、架線に引っかかる前に進入車両の運転手に知らせる目的で、踏切遮断機より外側に踏切道を幅方向に横断して設置されるスパン線(ゴム製の架空線)を張り渡すための一対の柱のことである。
【0020】
100は踏切障害物検知装置であり、カメラ11a,11bから得た踏切の左右画像を元に、画像処理して監視領域内の障害物の有無を検出する。
【0021】
具体的には次のようにする。まずは、踏切道検知領域内の障害物有無を判定する画像処理アルゴリズムを説明する。
【0022】
<画像処理アルゴリズム>
本発明においては、スパン線柱や支柱等を利用して、監視対象の踏切内を撮影野とするカメラを2台設置する。
【0023】
設置された2台のカメラ(図1参照)の映像は踏切障害物検知装置100内の画像処理装置PCに逐次送られ、以下に述べる画像処理手法により障害物領域検出ならびに障害物有無の判定が行われる。処理は大きく分けて次の2つの段階から構成される。
【0024】
[段階1] 非定常領域判別法(単眼での映像変化検出;図2参照)
[段階2] ステレオ法(平面投影ステレオ法による検証;図1参照)
すなわち、まずはじめに、踏切道に進入する車両等の障害物により生じる映像変化を、カメラ1台の映像から検知する([段階1])。そして、障害物が検知されたならば、次に、障害物以外の天候変化等による誤検出を除去するため、2台のカメラを用いたステレオ法により、変化検出の検証を行う([段階2])という処理構成となっている。処理の流れを図3に示す。
【0025】
非定常領域判別法による映像変化検出は、画像入力(ステップ301)があった後、
[a]マスク処理(ステップ302)
[b]輝度補正(ステップ303)
[c]背景画像修正更新(ステップ304)
[d]変化量算出(ステップ305)
[e]変化領域選択(ステップ306)
の各ステップから成っており、背景画像作成は変化量算出ならびに変化領域選択と並列実行されるようになっている。
【0026】
また、ステレオ法は、
[f]画像変換(ステップ307)
[g]画像正規化(ステップ308)
[h]差分処理(ステップ309)
[i]高さ検証(ステップ310)
[j]物体有無判定(ステップ311)
の各ステップから成っている。各ステップにてどのように画像処理が進むかを模擬的に表したものを図4に示し、以降で順に説明する。
【0027】
本発明においては、はじめに非定常領域判別法(単眼での映像変化検出)を行い、映像の変化部分が見つかったならば、次にステレオ法(平面投影ステレオ法による検証)を行って誤検知を防止できるようにし、検知精度と信頼性を確保できるようにしている。ここで、非定常領域判別法とは、次のような判別法である。
【0028】
<非定常領域判別法>
非定常領域判別法は、映像の変化検出に用いられる方法であって、1台のカメラで捉えた映像のみで変化検出することにより、得られた変化分の画像から障害物の有無を検出するものである。この非定常領域判別法の基本原理は、背景画像と今撮影した画像との間での差異を検出するというものであるが、画像間の差分を用いることから、天候の変化や、太陽の位置変化などにより、画像の状態や影の変化などの影響を受ける。
【0029】
変化検出を以て障害物の有無を検知する方式を採用する以上、変化検出において誤検出をできる限り減らすことが、後段のステレオ法処理の性能向上に貢献するので、本発明においては、変化検出段階で天候変化等の環境条件変動に起因する映像変化を補正し、どのような環境条件のもとでも正しく背景画像を作成できるようにすることが重要である。
【0030】
非定常領域判別法を用いる第1段階の処理においては、画像の変化検出には、設置された2台のカメラ11a,11bのうち、一方のみを用いる。我が国では自動車は道路を左側通行する決まりとなっているため、カメラに対面して通行する車両を確実に検出できるよう、踏切内の監視領域に対向して右側に設置したカメラ(図2のカメラ11b)の映像を用いる。
【0031】
右側カメラ11bの映像は、画像処理計算量とコンピュータの処理性能の都合上、5[フレーム/秒]程度の速度でコンピュータ(画像処理装置)PCに取り込まれる。ここで云うコンピュータPCは踏切障害物検知装置100を構成する処理中枢要素としてのコンピュータである。踏切障害物検知装置100ではこの右側カメラ11bの映像を用いて、非定常領域判別法による障害物の有無を検知するわけである。
【0032】
取り込まれた映像はまずマスク処理が施される。
【0033】
[a] マスク処理(ステップ302)
すなわち、コンピュータPCに取り込まれた画像(図4の状態(401))は、まず最初にマスクを用いてマスク処理が施され、マスク内の画像(必要な領域のみの画像)を抽出する(図4の状態(402))。マスク処理により、検知領域外の映像変化、すなわち、監視対象領域外の不要な像を容易に除去でき、かつ、不必要な画像処理を削減して計算量を減少できる。マスクとしては、踏切道領域のみが含まれるよう、収録映像を確認しながら予め手作業にて作成したものを用いる。
【0034】
マスク処理により監視対象領域内部分のみが抽出されたかたちの画像に対して輝度補正を施す。
【0035】
[b] 輝度補正(ステップ303)
輝度補正は、画像を構成する画素の輝度値を補正する処理である。
【0036】
急な天候変化や画面内への物体侵入に伴うカメラのAGC(自動利得制御)補正およびレンズの自動絞り調整機能による絞り調整動作に伴って、映像の全画面的な輝度変動が発生する。そして、この全画面輝度変動が発生した場合に補正を施さないと、天候変化等を誤って検出したり、後述の背景画像作成が適正に行われないといった問題が発生ずる。
【0037】
従来法としては、画像中に予め参照点を設定し、その個所での輝度変化から補正を行う方法があるが、
[i] 車両等が参照点を通過すれば容易に補正を誤る、
[ii] 参照点が適正に設定されているかどうかは長期間にわたる映像確認が必要となる
等、実用には多くの問題がある。
【0038】
本発明システムでは、これらの不具合を解消する仕組みを持っている。これは背景画像との差画像のヒストグラムから変動レベルを推定するというものであり、参照点の設定を必要とせず、どの領域を物体が通過しても支障がないといった特徴がある。
【0039】
仕組みの詳細は次の通りである。
予め背景画像が作成されているとする(作成方法は“ステップ304)”に記載)。そして、この背景画像と今撮影した画像とで画像間差分処理を行い、背景画像との差分の画像を得る。この差分画像は現画像から背景画像を除去した画像である。次に、得られたこの差分画像に対しての輝度ヒストグラムを求める。輝度ヒストグラムの典型例を図5に示す。差分画像の輝度ヒストグラムは、図5に示すように、輝度変動が無い場合にはヒストグラムは符号Iを付して示す特性曲線のように、“0”をピークとする単峰正規分布となるが、輝度変動と共に物体やヘッドライトの侵入がある場合では、符号IIを付して示す特性曲線のように、複数の峰を持つ複雑なヒストグラムとなる。
【0040】
このような場合においても、背景領域に属する峰のピーク位置を正しく求められるよう、EM法(EM:Expectation−Maximization、期待値最大化法)を用いてヒストグラムを複数の正規分布の和で近似する。
【0041】
近似した後、背景に属する輝度変動のピークを求め、その変動値だけ全画面の輝度を補正する(図4の状態(403))。
【0042】
(参考文献;N.Friedman and Russell, Image Segmentation in Video Sequences: A Probabilistic Approach, in Proc. of 13th Conf. on Uncertainty in Artificial Intelligence(UAI'97),1997.参照)
このようにして全画面の輝度値を補正するが、時刻経過による長時間のゆっくりした輝度変動にも適応できるよう、輝度補正に不感帯を設ける。そして、これにより、変動値が小さな場合には補正を行わないようにしている。
【0043】
輝度補正が終わると、この輝度補正済みの画像から次のようにして変化分抽出と背景画像修正更新を実施する。
【0044】
[c] 背景画像修正更新(ステップ304)
後述するように、[d]の変化量算出の処理においては、輝度補正済みの画像から変化分を抽出するにあたり、背景画像を用いる。
【0045】
背景画像は、予め侵入物の存在しない映像が撮影できる場合に限り、その時の画像を流用すれば容易に取得できる。しかし、監視対象が踏切であるから、環境変化をもろに受ける。従って、刻々と変化する環境状況に合わせて背景画像は刻々と修正されなければならない。この修正は一般的には、最新の画像を用いれば容易に作成できる。しかし、無用な像が一時的に写り込んだ映像を背景画像の更新に使用してしまう可能性もあるから、そのような映像からでも適正な背景画像を作成でき、かつ、刻々と変化する環境状況に合う背景画像を逐次更新できる方法が必要となる。本発明システムでは次のようにして背景画像を逐次更新する。
【0046】
検知領域内に車両等の物体侵入がある場合の、ある画素での輝度変化を図6に模式的に示す。当該図6で示される期間の画像を単純に加算して背景画像を作成すれば侵入物が加算された不適正な背景画像が得られることになる。
【0047】
そこで、以下のようにメディアン・フィルタ(一般的にはランク・フィルタ)を適用することにより、侵入物の存在する期間を除外して最適背景画像を作成することができる。
【0048】
(参考文献;H.Nakai, Non-parametarized Bayes Decision Method for Moving Object Detection, in Proc. of 2nd Conf. on Computer Vision(ACCV'95),pp.447-451,1995.参照)
まず、画像加算する期間を複数に分割し、各期間にて作成した背景輝度値群に対しメディアン・フィルタを適用する。つまり、画素(x,y)において、各期間n=1,…,N毎に画像加算を行い、背景画像Bn m(x,y)を求める。これに対し、メディアンフィルタを適用することにより、次のようにして背景画像Bm(x,y)を求める。
【0049】
Bm(x,y)=median{B1 m(x,y),B2 m(x,y),…BN m(x,y)}
この手順により、無用な物体侵入のある映像からでも、適正な背景画像を作成することができる(図4の状態(404))。このとき、同様にして各期間での各画素での標準偏差Bn S(x,y)も求めておき、同様にメディアンフィルタを適用することにより背景標準偏差画像を作成する。
【0050】
BS(x,y)=median{B1 S(x,y),B2 S(x,y),…BN S(x,y)}
このようにして、輝度補正済みの画像から侵入物のない、しかも、現在の環境状況に適合した背景画像を更新取得する。
【0051】
[d] 変化量算出処理(ステップ305)
変化量算出処理は、画像の変化領域を検出するための前処理である。ここでは、背景画像に対する画素毎の偏差値を求めるようにする。すなわち、背景画像に対する偏差画像として得るわけである(図4の状態(405))。
【0052】
本発明では、[c]背景画像修正更新で述べたように、背景の輝度平均画像に加えて標準偏差画像も求めていることから、画素毎に背景からの偏差を求めることにより、映像の変動量を算出する方式を採用するのである。
【0053】
この方式によれば、環境変動の多寡が画素毎の標準偏差という指標で表されるため、偏差値対応の調整を施すことにより、画素毎に検出感度が自動調整され、かつ、統計的に知られた値に閾値を設定できる、といった特徴を享受できる。
【0054】
時刻t,画素(x,y)での偏差Dは
D(x,y)={I(x,y)−Bm(x,y)}/BS(x,y)
のように容易に求めることができる。
【0055】
このようにして、偏差画像を得るが、この段階では背景画像に対する各対応画素毎の偏差で表現されたものであるから、画像中の変化領域を検出するためには、ある閾値で差分画像を二値化することが必要となる。そして、通常、上記の閾値は、経験的に最適な値となるよう決定される。
【0056】
しかし、背景変動のない静的な環境下においては、閾値を経験的に決定したとしても問題なく侵入物検出ができる場合もあるが、本発明システムが監視対象とする施設は踏切であって、長期間にわたる屋外での画像監視を強いられるものであり、このような場合には、最適な閾値は刻々と変化する。環境条件が刻々と変化していくからであり、簡単には対応できない。
【0057】
本発明システムでは、このように環境変動の多寡が画素毎の標準偏差という指標で表されるため、画素毎に検出感度が自動調整され、かつ、統計的に知られた値に閾値を設定できるので、閾値に対する問題を回避できる。
【0058】
偏差画像に対して、閾値を用いて二値化処理すると、画像中の変化領域の白黒画像が得られる。この画像から次に変化領域の選択を行うことになる。
【0059】
[e] 変化領域選択(ステップ306)
ここでは、[d]の変化量算出処理ステップで得た白黒画像(画像中の変化領域の白黒画像)には、ノイズ分が含まれているので、この画像中から連続する画素の塊を抽出して障害物の画像部分のみを抽出する必要がある。これが変化領域選択である。
【0060】
変化領域を選択するには、二値化・ラベリング・領域選択の各ステップを経ることになるが二値化までの処理は“[ステップd]”において終了している(変化量画像(偏差画像)を二値化して白黒画像を作成するまでの処理を終えている)。
【0061】
そのため、ここでは上記の白黒画像に対し、画素が連結している領域毎に個々の面積等の特徴量を算出できるようにするために、ラベリング処理を行う。例えば、8画素程度を単位とした画素の塊にラベルをつけていくが、画素の塊同士が互いに連結関係があれば、画素の塊それぞれに同一ラベルを付して、同一ラベル名のものを集めると塊同士が集合した領域がわかる。
【0062】
こうしてラベリングが終わると、関連ある領域がわかるので最後に、最大面積および第2位の面積を持つ領域を選択し、抽出して映像変化領域のみを切り出した画像を作成する(図4の状態(405))。
【0063】
以上が非定常領域判別法による映像の変化検出である。
【0064】
上述の[e]変化領域選択処理ステップで得た画像を、変化検出段階での処理結果として、次のステレオ法処理へ回し、検証を行って侵入物の有無を判定する。なお、このステップでの画像処理の詳細は、例えば以下に記載されている。(参考文献;高木幹雄 他編,画像解析ハンドブック,ISBN 4−13−061107−0, 東京大学出版会参照)
<ステレオ法(平面投影ステレオ法>
変化検出段階において、物体侵入により起こる映像変化が検出されるが、同時に環境変動に伴って発生する局所的な映像変化も検出される。局所的な映像変化には、ヘッドライトや照明灯のレールや路面での反射、監視領域外に設置されている架線や電柱の影、さらに、遮断機の上下動、樹木や旗の揺らぎ等がある。これら局所的な環境変動を除外して侵入物のみを正しく検出できるよう、検知された画像領域の高さ情報を獲得し、変化領域が侵入物に起因するか否かを判定することが、ステレオ法処理の目的である。
【0065】
[f] 画像変換処理(ステップ307)
検知領域中の全画素点が踏切道路面上に存在すると仮定し、第1カメラ11aの画像I1から、第2カメラ11bの見え方に変換した画像Imを作成する。路面の模様や影のように道路面上に存在するものは、第1カメラ11aの変換画像Imと第2カメラ11bの画像I2で同位置を占めるが、車両や歩行者など道路面と高さが異なるものは、ImとI2で位置が異なる。このため、ImとI2の各画素において違いを調べ、差異の大きい領域を侵入物として検出すれば良いことになる。これが平面投影ステレオ法の原理である。
【0066】
まず、踏切道路面は平面で近似できるものと仮定する。第1カメラ11aの画像を道路平面上に投影し、さらに投影された平面領域を第2カメラ11bからの見え方に変換する。図7に示すように、第1カメラ11aの座表系をO−XYZ、第2カメラ2 11bの座標系をO′−X′Y′Z′、両カメラ11a,11bの焦点距離をf、カメラ1 11aの画素(x,y)の点を道路平面上へ投影した点をP、Pをカメラ2 11bの画像面へ投影した位置を(x′,y′)とすると、(x,y)と(x′,y′)の間には以下の関係式が成り立つ。
【0067】
(参考文献;金谷健一,画像理解−3次元認識の数理,ISBN 4−627−82140−9,森北出版、参照)
x′=f((M11x+M21y+M31f)/ (M13x+M23y+M33f))
y′=f((M12x+M22y+M32f)/ (M13x+M23y+M33f))
ここで、Mij(i=1...3,j=1...3)は変換パラメータであり、第1,第2カメラ11a,11bの各画像面において、道路面上に存在する対応点の位置(x,y),(x′,y′)の組を5個以上与えれば、最小自乗法により求めることができる。実際には、第1,第2カメラ11a,11bを設置した後、両方のカメラから共通に見える路面上の特徴点(レールやコンクリート面のテクスチャの交点や角点等)を5点以上対話的に選んで変換パラメータMijを求める。
【0068】
カメラは固定されているので、変換パラメータMijはカメラ設置時に一度だけ求めれば済む。このようにして求めた変換パラメータMijとレンズの焦点距離fとを用い、第1カメラ11aの各画素(x,y)の変換後の位置(x’,y’)を前述の式より求め、第1カメラ 11aの変換画像Im(x,y)を作成する。ここでは、変化検出領域に対応する部分のみを切り出す(図4の状態(406))。
【0069】
[g] 画像正規化(ステップ308)
次いで、第1カメラ11aの変換画像Im(x,y)と同時刻の第2カメラ11bの画像I2(x,y)との間で対応画素の差を算出するが(図4の状態(407))、実際には各カメラの向きと光源(太陽や照明灯)方向との関係、ならびに両カメラの特性差(AGC補正量やレンズ校り調整量の時間的な差、カメラ感度の個体差等)から、ImとI2とでは画素毎の輝度値にかなりの違いが生じることがある。
【0070】
そこで、ImとI2との差から侵入物体だけを安定かつ選択的に検出できるようにするため、以下のように両カメラの画像を正規化する。
【0071】
正規化処理は、マスク領域の各々において輝度値の平均と標準偏差を求め、各画素を
1)平均−標準偏差*2より小さい、
2)平均−標準偏差より小さい、
3)平均−標準偏差と平均+標準偏差の間、
4)平均+標準偏差より大きい、
5)平均+標準偏差*2より大きい、
の5段階にランク付けし、各段階に応じた輝度値を再度与える(図4の状態(408,408′))。このような正規化によって、濃淡値の解像度が減るために物体領域の切り出し精度は犠牲にはなるものの、確実に高さを持った物体領域のみを検知でき、障害物有無判定が安定する。
【0072】
[h] 差分処理(ステップ309)
ここでは、正規化処理後の第1カメラ11a変換画像Imと第2カメラ11b画像I2との間で差異のある部分のみを検出し、路面より高さのある変化領域を切り出す。ImとI2と間の差の検出は、単純に画像間差分処理を行うことで可能である(図4の状態(409))。
差分処理が終わったならば、次に高さ検証に移る。
【0073】
[i] 高さ検証(ステップ310)
ある程度以上の高さを持つ物体のみを検知するよう、検出領域の高さ検証を行う。本システムでは、各カメラが光軸回りに回転せずに取付けられているため、画像鉛直方向での検出領域の連続性を見ることにより、高さを検証することができる。
【0074】
具体的には、[h]の差分処理ステップで取得した差分画像を鉛直方向での連続画素数に応じた値を持つ画像へと変換し、ある閾値以上の画素領域を最終的な検出領域とする(図4の状態(410))。本システムでは、鉛直方向に24画素以上連続することを基準とする(検知領域中央付近において約2.7[cm/画素]、24画素は約65[cm]に相当する。
【0075】
高さ検証が済んだならば、物体有無判定に移る。
【0076】
[j] 物体有無判定(ステップ311)
物体有無判定は次のようにして行う。高さ検証ステップでの検証の後、最終的に検出された障害物監視領域において、さらに各画素での背景からの輝度変動の状態をチェックし、最終的な障害物有無の判定を行う。具体的には、検出領域の99.9[%]以上が背景画像よりも明るい、あるいは暗い領域のみで占められていれば照明状態の変動と判定し(明るい場合としてはヘッドライトの侵入等、暗い場合としては車両の影のみの侵入等がある)、それ以外であれば障害物有りとして判定し、判定出力を出すと共に、判定結果を画面に表示する。
【0077】
以上により、踏切をとらえた画像から障害物監視領域に障害物があるか否かを検知することができる。
【0078】
ただし、平面投影ステレオ法適用時には独立した左右カメラ11a,11bを使用して取得した画像を用いるようにしているので、用いる画像はフレーム同期がとれている方がよい。すなわち、両カメラ11a,11bからの画像はフレーム同期がとれていた方が、検知精度向上の点で好ましい。
【0079】
そこで、本発明では用いる左右画像が互いにフレーム同期がとれたものとなるようにする。
【0080】
(本発明による左右画像フレーム同期タイミング調整)
ここで採用する方法としては、2台のカメラ11a,11bの同期をとるようにして、同一タイミングの左右画像が踏切障害物検知装置100に入力されるようにする方法と、2台のカメラ11a,11bのうち、タイミングに遅れのある方に基準を合わせて、進みのある方を進みの分、遅延させることにより、事実上、同一タイミングの左右画像が踏切障害物検知装置100に入力されるようにする方法である。
【0081】
前者の方法は図9に示すように、同期信号を発生する同期発生器20を設けてこの同期信号発生器20の出力する同期信号を2台のカメラ11a,11bを駆動させるようにする。これにより、2台のカメラ11a,11bは互いに同期がとれるかたちで動作することから、図10のように、踏切障害物検知装置100に同時に取り込まれる画像は左右同時刻に撮影された画像となる。しかし、現実のシステムを考えた場合、この図9の構成には少し問題がある。
【0082】
それは、2台のカメラ11a,11bは踏切の監視領域を見渡す位置に離れて設置されるということと、画像処理装置PCを道路や踏切中央に設置できないから、2台のカメラ11aと11bのうちの、いずれかに一方に近く、他方には離れると云う設置環境にならざるを得ないということである。このことは、画像処理装置PCに対して、2台のカメラ11a,11bからの伝送路長は、異なるものとなることを意味する。伝送路長が異なると、伝送路が長くなる方に伝送遅延の影響が生じ、フレーム同期にズレが生じる。
【0083】
後者の方法は、このように2台のカメラ11a,11bの伝送路長が異なることによる伝送遅延などの対策にもなるものであって、複数フレーム分の画像を保持できる容量の画像データメモリを2組用意し、一方はカメラ11a用、他方はカメラ11b用とする。すなわち、図11の如きであり、上記2組の画像データメモリ21a、21bのうち、画像データメモリ21aがカメラ11a用、画像データメモリ21bがカメラ11b用である。そして、両画像データメモリ21a,21bは読み出しタイミング制御のための同期信号を発生する同期信号発生回路22の出力する同期信号に同期させて画像データの読み出しを行う構成とする。
【0084】
これにより、画像は事実上、遅延をかけてタイミングを補正したかたちとなり、同一時刻の左右画像を踏切障害物検知装置100に取り込ませる形態となる。たとえば、図12の例の場合、左右像でtnのずれがあるわけであるから、この分を画像データメモリ読み出しのタイミング遅延により補償してやればよい。具体的には左像をtnだけ、遅延させて踏切障害物検知装置100に与えるようにする。そのためには、タイミングにして少なくともtn分、経過してからこの時点での画像のデータを画像データメモリ21a,21bより読み出し開始すべく、同期信号発生回路21の同期信号を調整して、左右像が同一タイミングの画像となるように読み出しタイミング制御を行う。
【0085】
その結果、踏切障害物検知装置100ではタイミングとしてカメラ出力時点では図12の如きであったものが、図13の如きとなり、踏切障害物検知装置100に同時に取り込まれる画像は左右同時刻に撮影された画像となる。
【0086】
本発明システムは、踏切内の障害物検知を行うシステムであるが、そのためには、列車が近づいてきて踏切が遮断となった段階で、障害物検知を実施させ、列車に危険を知らせる仕組みとする必要がある。
【0087】
そのような機能を有するシステムを次に具体例2として説明する。図14は、11a,11bは前記カメラであり、21a、21bは前記画像データメモリ、22は同期信号発生回路、PCは前記画像処理装置である。また、30は踏切遮断機制御回路であり、31は踏切障害物検知装置の制御部である。当該制御部31は前記遮断機制御回路30が踏切遮断動作制御時に出力する踏切遮断制御信号により、動作を開始し、踏切遮断機の動作を開始させてから踏切遮断棒が下りきる所定時間経過時よりカメラ11a,11bの画像を用いた上述のような画像処理を画像処理装置PCに実行させ、踏切内の障害物検知を行うと共に、障害物が検知されたときは警報装置32に警報出力を与える機能を有するものである。
【0088】
警報装置32は、踏切の手前の適宜なる位置に設けられる非常警報灯であったり、警報音を発生するものであるが、同時に列車運行司令所や、駅、列車に非常通報する仕組みを持ったものとしても良い。
このような構成の本装置は、列車が踏切に接近して来た段階で、まず踏切遮断機制御回路30が踏切遮断動作制御を開始する。すると踏切障害物検知装置100内の制御部31は前記踏切遮断機制御回路30が踏切遮断動作制御時に出力する踏切遮断制御信号により、動作を開始し、踏切遮断機の動作を開始させてから踏切遮断棒が下りきる所定時間経過時よりカメラ11a,11bの画像を用いた上述のような画像処理を画像処理装置PCに実行させ、踏切内の障害物検知を行う。
ここで、カメラ11a,11bの画像(左像と右像)は同期信号発生回路22により読み出し制御がなされる画像データメモリ21a、21bを通すことで、タイミング的にフレーム同期がとれたかたちの画像となり、この画像を用いて画像処理装置PCは、障害物検知処理を実行することになる。
【0089】
この処理は、前述したように
[段階1] 非定常領域判別法(単眼での映像変化検出)
[段階2] ステレオ法(平面投影ステレオ法による検証)
からなるもので、上述した手順を踏んで処理を行うことで、踏切内の監視対象領域内における障害物の有無の検知処理をする。
【0090】
そして、障害物が検知されたときは制御部31にその検知信号を与え、制御部31はこれを受けて警報装置32に警報出力を与える。これにより警報装置32を警報動作させて列車に踏切内の異常を知らせる。
【0091】
このように、本発明は、踏切内の監視領域に向けて少なくとも左右一対のカメラを配置し、これらのカメラにて得た前記監視領域の左右画像を取得すると共に、第1段階の処理として左右画像のうちの片画像を用いて非定常領域判別法(単眼での映像変化検出)により画像中の変化部分を抽出し、変化部分が抽出されたときは、第2段階の処理として左右画像を用いた平面投影ステレオ法による変化部分の画像を検証して監視領域内の障害物検知を行う踏切障害物検知装置において、
前記カメラの画像は左右画像が同一タイミングの撮影画像となるよう、同期をとる同期手段を設けたことを特徴とするものであり、前記同期手段は、同期信号を発生する同期信号発生手段により構成し、前記左右一対のカメラの画像は、この同期信号発生手段にて発生される同期信号に同期させてそれぞれ所要の遅延量遅延させたものを用いて前記障害物検知を実施させるようにする構成とするか、または、同期信号を発生する同期信号発生手段とこの同期信号にてフレーム読み出しの制御がなされる左像用および右像用の画像メモリにて構成して、前記左右一対のカメラは、撮像して得られる画像をフレーム単位でそれぞれ対応する画像メモリに記憶させ、この画像メモリから読み出される画像を用いて前記障害物検知を実施させるようにしたことを特徴とするものである。
【0092】
そのため、踏切内の監視対象領域内を撮像視野とするカメラの画像は左右画像が同一タイミングの撮影画像となるようにして、障害物検知に利用することができるから精度良くまた、信頼性を以て監視領域内の障害物を検知することができるようになり、また、踏切内の監視対象領域内を撮像視野とするカメラの画像で障害物検知をすることから、踏切内の広い領域を監視対象としてしかも、高信頼性を以て障害物検知ができるようになる。
【0093】
また、カメラを用いることから、このカメラはスパン柱などのような高所に設置して利用可能であり、光源とこれに対向する受光器とからなる従来の光電検出方式のように、検知対象の障害物の高さに設置する必要がないので、通行人にいたずらされる危険が少なく、鉄道の保安設備として有用である。
【0094】
なお、本発明は上述した実施形態に限定されるものではなく、種々変形して実施可能である。例えば、上述したように、平面投影ステレオ法による画像処理を行う場合、各カメラ間及び画像取込みの同期を取る必要があるが、上記の方法の他、カメラ11a、11bそれぞれに画像のフレーム同期機能があるタイムベースコレクタを接続し、このタイムベースコレクタを介して画像処理装置PCに左右画像を渡す構成とすると共に、同期発生器からの同期信号をカメラ11a、11b及びタイムベースコレクタヘ供給することで、左右カメラ11a,11b間の同期及び伝送路遅延を補償する構成とすることも可能である。
【0095】
また、本発明において、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも1つが解決でき、発明の効果の欄で述べられている効果の少なくとも1つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【0096】
また、本発明における実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク(フレキシブルディスク、ハードディスクなど)、光ディスク(CD−ROM、CD−R、CD−RW、DVD、MOなど)、半導体メモリなどの記録媒体に格納して頒布することもでき、また、ネットワークを介しての伝送により、頒布することもできる。
【0097】
【発明の効果】
以上、詳述したように本発明によれば、踏切内の監視対象領域内を撮影視野とするカメラの画像は左右画像が同一タイミングの撮影画像となるようにして、障害物検知に利用することができるから精度良くまた、信頼性を以て監視領域内の障害物を検知することができるようになり、また、踏切内の監視対象領域内を撮像視野とするカメラの画像で障害物検知をすることから、踏切内の広い領域を監視対象としてしかも、高信頼性を以て障害物検知ができるようになる等の特徴を有する踏切障害物検知装置を提供できる。
【0098】
また、本発明では踏切遮断機による踏切遮断時に前記障害物検知による障害物が検知されたとき、警報を発生する警報手段を更に備えた。
【0099】
これにより踏切遮断時に、障害物があれば列車にしらせることができるようになり、踏切内の広い領域を監視対象としてしかも、高信頼性を以て障害物検知できて、危険をいち早く列車に通報できる踏切障害物検知装置が提供できる。
【図面の簡単な説明】
【図1】本発明を説明するための図であって、本発明による踏切障害物検知装置の概要を説明するための図である。
【図2】本発明を説明するための図であって、本発明で用いる非定常領域判別法による評価領域を説明するための図である。
【図3】本発明を説明するための図であって、本発明システムにおける画像処理手順を説明するための図である。
【図4】本発明を説明するための図であって、本発明システムにおける画像処理手順を説明するための図である。
【図5】本発明を説明するための図であって、本発明システムにおける画像処理手順でのヒストグラムによる輝度補正を説明するための図である。
【図6】本発明を説明するための図であって、本発明システムにおける画像処理手順での背景画像作成処理を説明するための図である。
【図7】本発明を説明するための図であって、本発明の一実施形態に係る画像の座標変換処理の概要を説明するための図である。
【図8】本発明を説明するための図であって、本発明システムにおける画像処理において、カメラ間同期の重要性を説明するための図である。
【図9】本発明を説明するための図であって、本発明システムにおける画像処理において、カメラ間同期を取るための構成例を説明するためのブロック図である。
【図10】本発明を説明するための図であって、本発明システムにおける画像処理において、カメラ間同期の取り方の例を説明するための図である。
【図11】本発明を説明するための図であって、本発明システムにおける伝送線遅延対策のための構成例を示すブロック図である。
【図12】本発明を説明するための図であって、本発明システムにおける伝送線遅延による影響を説明するための図である。
【図13】本発明を説明するための図であって、本発明システムにおける伝送線遅延補償後の状態を説明するための図である。
【図14】本発明を説明するための図であって、本発明の一実施形態に係る踏切障害物検知装置の構成例を示すブロック図である。
【符号の説明】
11a,11b…カメラ(撮像装置;テレビカメラ等)
20…同期発生器
21a、21b…画像データメモリ
22…同期信号発生回路
PC…画像処理装置
30…踏切遮断機制御回路
31…制御部
32…警報装置
100…踏切障害物検知装置。
Claims (3)
- 踏切内の監視領域に向けて少なくとも左右一対のカメラを配置し、これらのカメラにて得た前記監視領域の左右画像を取得すると共に、第1段階の処理として左右画像のうちの片画像を用いて非定常領域判別法により画像中の変化部分を抽出し、変化部分が抽出されたときは、第2段階の処理として左右画像を用いた平面投影ステレオ法による変化部分の画像を検証して監視領域内の障害物検知を行う踏切障害物検知装置において、
前記カメラの画像は左右画像が同一タイミングの撮影画像となるよう、同期をとる同期手段を設けると共に、この同期手段は、同期信号を発生する同期信号発生手段とこの同期信号にてフレーム読み出しの制御がなされる左像用および右像用の画像メモリとから構成され、前記左右一対のカメラは、撮像して得られる画像をフレーム単位でそれぞれ対応する画像メモリに記憶させ、この画像メモリから読み出される画像を用いて前記障害物検知を実施させるようにしたことを特徴とする踏切障害物検知装置。 - 前記同期手段は、同期信号を発生する同期信号発生手段とこの同期信号にてフレーム読み出しの制御がなされる左像用および右像用のタイムベースコレクタ装置とから構成され、前記左右一対のカメラは、撮像して得られる画像をフレーム単位で同期させて得た画像を用いて前記障害物検知を実施させるようにしたことを特徴とする請求項1記載の踏切障害物検知装置。
- 踏切遮断機による踏切遮断時に前記障害物検知による障害物が検知されたとき、警報を発生する警報手段を更に備えたことを特徴とする請求項1記載の踏切障害物検知装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000344222A JP4025007B2 (ja) | 2000-11-10 | 2000-11-10 | 踏切障害物検知装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000344222A JP4025007B2 (ja) | 2000-11-10 | 2000-11-10 | 踏切障害物検知装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002145072A JP2002145072A (ja) | 2002-05-22 |
JP4025007B2 true JP4025007B2 (ja) | 2007-12-19 |
Family
ID=18818452
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000344222A Expired - Fee Related JP4025007B2 (ja) | 2000-11-10 | 2000-11-10 | 踏切障害物検知装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4025007B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4056813B2 (ja) * | 2002-07-11 | 2008-03-05 | 松下電器産業株式会社 | 障害物検知装置 |
JP2004185259A (ja) * | 2002-12-03 | 2004-07-02 | Renesas Technology Corp | 蓄積画像管理装置及びプログラム |
JP4706315B2 (ja) * | 2005-04-18 | 2011-06-22 | 株式会社ニコン | 車両の運転支援システム |
JP2007050862A (ja) * | 2005-08-19 | 2007-03-01 | East Japan Railway Co | 踏切監視システム及び踏切監視システムの制御方法 |
JP2008122299A (ja) * | 2006-11-14 | 2008-05-29 | Tokyo Keisoku:Kk | レールの水平移動量計測装置 |
JP5477128B2 (ja) * | 2010-04-07 | 2014-04-23 | ソニー株式会社 | 信号処理装置、信号処理方法、表示装置及びプログラム |
JP5540848B2 (ja) * | 2010-04-08 | 2014-07-02 | ソニー株式会社 | 映像信号処理装置、表示装置、表示方法及びプログラム |
CN103416071B (zh) * | 2011-03-08 | 2015-11-25 | 瑞萨电子株式会社 | 摄像装置 |
JP2019040389A (ja) * | 2017-08-25 | 2019-03-14 | 独立行政法人自動車技術総合機構 | 障害物検知装置、障害物検知方法、及び、障害物検知プログラム |
JP6887356B2 (ja) | 2017-09-25 | 2021-06-16 | 日立Astemo株式会社 | ステレオ画像処理装置 |
CN108200423A (zh) * | 2018-01-18 | 2018-06-22 | 安徽三弟电子科技有限责任公司 | 一种3d手机拍照控制***及方法 |
JP7227879B2 (ja) * | 2019-09-02 | 2023-02-22 | 株式会社日立製作所 | 周辺観測システム、周辺観測プログラムおよび周辺観測方法 |
-
2000
- 2000-11-10 JP JP2000344222A patent/JP4025007B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002145072A (ja) | 2002-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8798314B2 (en) | Detection of vehicles in images of a night time scene | |
US6931146B2 (en) | Method and apparatus for detecting moving object | |
US20170132471A1 (en) | Automatic extraction of secondary video streams | |
US8848053B2 (en) | Automatic extraction of secondary video streams | |
US20060245618A1 (en) | Motion detection in a video stream | |
JP4025007B2 (ja) | 踏切障害物検知装置 | |
KR101625538B1 (ko) | 도시방범이 가능한 다차선 자동차 번호판 인식시스템 | |
JP2005173787A (ja) | 移動物体の検出・認識を行う画像処理装置 | |
CN115272810A (zh) | 一种基于雷视融合的目标检测方法及***、设备及介质 | |
KR101089029B1 (ko) | 광류를 이용한 방범용 차량 감지 시스템 | |
JP3377659B2 (ja) | 物体検出装置及び物体検出方法 | |
JP3134845B2 (ja) | 動画像中の物体抽出装置及び方法 | |
JP3294468B2 (ja) | 映像監視装置における物体検出方法 | |
JP2002150295A (ja) | 物体検出方法及び物体検出装置 | |
US7738009B2 (en) | Method for following at least one object in a scene | |
KR100920937B1 (ko) | 감시 시스템에서의 움직임 검출 및 영상 저장 장치 및 방법 | |
TWI476735B (zh) | 攝影機異常種類辨識方法及可偵測攝影異常的監視主機 | |
CN111079612A (zh) | 输电线路通道入侵物体停留监测方法及装置 | |
JP2001357396A (ja) | 画像処理装置および画像認識装置 | |
KR100801989B1 (ko) | 번호판 인식 시스템,전처리 장치 및 방법 | |
JPH0514891A (ja) | 画像監視装置 | |
JP3567114B2 (ja) | 画像監視装置及び画像監視方法 | |
KR20120133645A (ko) | 감시카메라 및 그 감시카메라의 대상 식별을 통한 알람 제어 방법 | |
WO2009066994A2 (en) | Method for detecting unattended object and removal of static object | |
JP2001175959A (ja) | 侵入物体検出方法及び侵入物体検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050802 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071002 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071004 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101012 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111012 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |