JP6307037B2 - 障害物検知方法およびその装置 - Google Patents

Description

本発明は、障害物検知方法およびその装置、さらに詳しくは、ステレオ画像処理により線路上に存在する障害物を検知する方法およびその装置に関する。

画像処理による障害物検知方法の従来技術としては、ＨＯＧ（Histogram of Oriented Gradients）特徴量やエッジを検出する方法がある。また、ステレオ画像処理により視差のある画像から障害物までの距離を算出する方法が知られている。

ステレオ画像処理は、前方に存在する物体の位置を三次元的に検出し、その物体までの距離を計測する方法である。間隔を開けて水平等位に設置した左右のカメラで取得した対象物の画像（ステレオ画像）をコンピュータでマッチング処理を行うことにより視差を算出し、その視差を用いて三角測量の原理から対象物までの距離を算出する（たとえば、特許文献１，２参照）。

図１６に、ステレオ画像処理技術による距離計測の原理を示す。図１６は、平行化により画像におけるｙ軸（ｖ軸）が揃えられた左右２台のカメラで対象物ｍを撮像したときの画像Ｉ，Ｊを示す。ｕ軸とｕ’軸は画像Ｉ，Ｊの横方向の位置、ｖ軸は画像の縦方向の位置を示す。各カメラの画像上には当該カメラの視点と対象物ｍを結ぶ直線ｌとｒと画面との交点ｐ 、ｑに対象物ｍが写されるため、対象物ｍの３次元座標（Ｘ，Ｙ，Ｚ）は、ｐとｑの座標（ｕ_ｓ１，ｖ_１）、（ｕ_ｓ２，ｖ_２）から求まる。そして、点ｐ，ｑの座標位置の差ｄ、つまり画素数が視差であり、次の式１から視差ｄを求めることができる。
ｄ＝ｕ_ｓ１−ｕ_ｓ２ ・・・・・・（式１）

また、カメラの焦点距離をｆ、二つの画像Ｉ，Ｊの中心位置間距離、すなわち、基線長をＢとすると、ｍの世界座標と画像上の位置の関係は、次のとおりである。
Ｘ＝Ｂｕ_ｓ１／ｄ， Ｙ＝Ｂｖ_１／ｄ， Ｚ＝Ｂｆ／ｄ
Ｚは、カメラ設置位置から対象物ｍまでの距離である。

したがって、ステレオ画像処理において対象物ｍまでの距離Ｚを計測するには、視差ｄを算出する必要がある。そのためには、左カメラの画像Ｉ（以下、基準画像という。）上の基準点ｐと相関を有する点、すなわち対応点ｑが右カメラの画像Ｊ（以下、対応画像という。）上のどこに存在するかを探索する画像マッチング（対応付け）が必要である。基準点とは基準画像における所定の点であり、対応点とは基準点と相関を求める対応画像上の点である。

画像マッチングには、従来、ブロックマッチング法と位相限定相関法とが用いられている。

ブロックマッチング法における従来の画像マッチング（画像探索）の方法を、図１７に基づいて説明する。基準画像Ｉと対応画像Ｊをそれぞれ同数の小面積の領域（以下、ブロックという。）に分割する。図１７の（ａ）（ｂ）は、基準画像ＩがブロックＩ_１１〜Ｉ_１６，Ｉ_２１〜Ｉ_２６，・・・Ｉ_４１〜Ｉ_４６に、対応画像ＪがブロックＪ_１１〜Ｊ_１６，Ｊ_２１〜Ｊ_２６，・・・Ｊ_４１〜Ｊ_４６に分割された、簡略化した例を示している。

各ブロックには、図１７の（ｃ）（ｄ）に、基準画像Ｉと対応画像ＪのブロックＩ_１１、Ｊ_１１について例示するように、横方向ｎ個、縦方向ｍ個の画素が含まれ、各画素は画素値（ピクセルデータ）を有する。そして、ブロックマッチングにおいては、基本画像Ｉの各ブロックの画素値の配列と同じ画素値の配列を有するブロックを対応画像Ｊの中から探索する。

その探索を行うため、基準画像Ｉの第１行１列目のブロックＩ_１１の最初の画素ＩＰ_１１の画素値と対応画像Ｊの第１行１列目のブロックＪ_１１の最初の画素ＪＰ_１１の画素値とを比較（減算）し、その差を図１７の（ｅ）に示すように、画素値差マトリックスＤＴの最初のエリアＤＰ_１１に記録する。

そして、このような画素値の比較をブロックＩ_１１とブロックＪ_１１内の全画素について行う。つまり、基準画像ＩのブロックＩ_１１の同行の他の画素ＩＰ_１２〜ＩＰ_１ｎ、他の行の画素ＩＰ_２１〜ＩＰ_２ｎ、・・・ＩＰ_ｍ１〜ＩＰ_ｍｎについても同様にそれぞれ画素値の差を取り、その差を画素値差マトリックスＤＴの他のエリアＤＰ_１２〜ＤＰ_ｍｎに記録する。そして、全画素の画素値の差を合計し、その合計値ｔ_１１を図１７の（ｆ）に示すように、画素値差合計マトリックスＴＴに記録する。

次に、対応画像Ｊの第１行２列目のブロックＪ_１２についても同様に、基準画像Ｉの第１行１列目のブロックＩ_１１の全画素の画素値との差を取り、その差を画素値差マトリックスＤＴに記録し、その差を合計して、その合計値ｔ_１２を画素値差合計マトリックスＴＴに記録する。

同様の処理を対応画像Ｊの第１行の最後のブロックＪ_１６まで行う。そして、画素値差合計マトリックスＴＴの対応画像Ｊの第１行の全ブロックＩ_１１〜Ｉ_１６に対応する画素値差の合計値ｔ_１１〜ｔ_１６の中で、合計値が最小のブロックを基準画像Ｉの第１行１列目のブロックＩ_１１と対応する、すなわち、マッチングが取れたと判断する。

続いて、基準画像Ｉの第１行２列目のブロックＩ_１２について、対応画像Ｊの第１行の全ブロックをスキャンして前述と同様のマッチング処理を行う。さらに、基準画像Ｉの最後の行の全ブロックについてスキャンして前述と同様にマッチング処理を行う。

上記ブロックマッチング法においては、画素値差合計マトリックスＴＴの画素値の差の合計値が最小の対応画像Ｊ上のブロックが基準画像Ｉのブロックと対応するので、その時の基準画像Ｉのブロックから対応画像Ｊのブロックまで画素数は、視差を表す。

上述のように、従来の探索方法では、基準画像Ｉの基準点ｐに対応する対応画像Ｊ上の対応点ｑを探索するには、対応画像Ｊの基準点ｐと同じ走査線（ライン）上の全長を探索範囲としていた（たとえば、特許文献３参照）。

特開２００２−２５０６０５号公報 特開２００８−０３９４９１号公報 特開２０１４−２３５６１５号公報

ＩＥＥＪ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｄｕｓｔｒｙ Ａｐｐｌｉｃａｔｉｏｎｓ Ｖｏｌ.１３４ Ｎｏ.１０ ｐｐ９２１−９２９,２０１４

したがって、従来のステレオ画像処理方法においては、対応画像の走査線上の全長を探索範囲としていたので、マッチング処理に非常に多くの時間がかかる。したがって、従来のステレオ画像処理方法を、たとえば、軌道を走行中の車上から線路上の障害物を検知することに適用する場合には、リアルタイムな障害物検知ができないという問題がある。

また、位相限定相関法は、高精度なマッチングが可能であるという利点を有するが、基準画像と対応画像の各ラインの各ブロックに対して複雑なフーリエ変換を行うため、計算量が膨大になり、コンピュータの演算負荷が大きいとともに、計算コストが高く、従来の他のステレオ画像処理方法と同様に、障害物検知速度に問題がある。

そこで、本発明は、ステレオ画像処理により線路上に存在する障害物を検知する場合に、障害物検知速度の向上が可能な障害物検知方法およびその装置を提供することを目的とする。

本発明の一側面は、障害物検知方法であって、左右のカメラで列車進行方向前方を撮像する工程、取得された画像からレールを抽出する工程、左右の画像の抽出されたレールに対して「レール抽出による視差」を用いてマッチング処理をして左右のレールの視差を算出する工程、算出された視差を障害物が存在しないときの所定の視差モデルと比較する工程、比較の結果、一致する場合は線路上に障害物が存在しないと判定し、一致しない場合は線路上に障害物が存在すると判定する工程を含むことを特徴とする。

本発明の他の側面は、上記障害物検知方法を使用するための障害物検知装置であって、ステレオ画像処理部と、障害物存否判定部と、障害物検知信号出力部とを有する。障害物検知装置には、距離計測部が付加される場合が多い。
ステレオ画像処理部は、間隔を開けて水平等位に設置した左右のカメラ装置と、各カメラ装置で取得される画像信号からそれぞれレールの映像を抽出するレール抽出部と、抽出されたレールの映像を有するステレオ画像を「レール抽出による視差」を用いてマッチング処理して視差を算出する視差算出部とを有する。

視差算出部は、基準画像のレール映像の基準点と同じ座標となる対応画像上の一次対応点を検出して、その座標を出力する一次対応点検出手段と、一次対応点から同じ走査線上を「レール抽出による視差」と等しい距離だけ左又は右方向にずらした点を二次対応点とする二次対応点生成手段と、二次対応点から対応画像の左端または右端までマッチング処理を行って相関値を求めるマッチング処理手段と、マッチング処理手段により算出された相関値を所定の閾値と比較し、相関値が所定の閾値に対して所定の条件を満たさないときは第１判定信号を出力し、相関値が所定の閾値に対して所定の条件を満たすときは第２判定信号を出力する相関値比較手段と、相関値比較手段が第１判定信号を出力したときは、周知のマッチング法、たとえば粗密探索法によるマッチング処理を実行して視差を算出する視差算出手段と、相関値比較手段が第２判定信号を出力したときは、メモリ部に記憶されている「レール抽出による視差」を読み出し、その「レール抽出による視差」を基準点の視差と確定する視差読出手段とを有する。
相関値比較手段が出力する第１判定信号および第２判定信号は障害物存否判定部にも与えられる。障害物存否判定部は、第１判定信号を与えられた時は障害物が存在すると判定し、第２判定信号を与えられた時は障害物は存在しないと判定する。
距離計測部が付加された場合は、視差算出手段が算出した視差および視差読出手段が読み出した視差は、距離計測部に与えられ、三角測量法に基づき障害物までの距離が計測される。

「レール抽出による視差」は、予め周知のマッチング技法を用いて探索された座標を用いて、次のいずれかの式により演算されたものである。
ｄ_ｈ＝Ｌ_ｈ（Ｉ）−Ｌ_ｈ（Ｊ）
ｄ_ｈ＝Ｒ_ｈ（Ｉ）−Ｒ_ｈ（Ｊ）
ｄ_ｈ＝｛（Ｌ_ｈ（Ｉ）―Ｌ_ｈ（Ｊ））＋（Ｒ_ｈ（Ｉ）―Ｒ_ｈ（Ｊ））｝／２
ここで、ｄ_ｈは画像中の高さｈでのレールの視差、
Ｌ_ｈ（Ｉ）は左画像中の高さｈにおける左レールのｕ座標を表す関数、
Ｌ_ｈ（Ｊ）は右画像中の高さｈにおける左レールのｕ’座標を表す関数、
Ｒ_ｈ（Ｉ）は左画像中の高さｈにおける右レールのｕ座標を表す関数、
Ｒ_ｈ（Ｊ）は右画像中の高さｈにおける右レールのｕ’座標を表す関数である。

本発明によれば、障害物の存在の検知を高速化することができる。

本発明の実施の形態に係る障害物検知方法を実施する障害物検知装置の構成を示すブロック図である。 図１のカメラ装置の構成を示すブロック図である。 図１のレール抽出部の構成を示すブロック図である。 図３のレール映像推定部の作用を説明するフローチャートである。 図３の記憶部に登録された典型的なレール形状パターンを示す図である。 図３のレール映像比較部の作用を説明するフローチャートである。 抽出されたレールを表示しているステレオ画像の一例を示す図である。 図１の視差算出部の機能を実現する手段を示す図である。 「レール抽出による視差」を説明する図である。 「レール抽出による視差」の求め方を説明する図である。 マッチング処理の具体的な方法を説明する模式図である。 本発明のステレオ画像処理により線路上に存在する障害物を検知する方法の原理を説明する側面図である。 同じく平面図である。 図１３における左右のカメラの画像を示す図である。 線路上に障害物が存在するときの左右のカメラの画像および視差の関係を示す図である。 ステレオ画像処理技術による距離計測の原理を説明する図である。 従来のブロックマッチング法におけるデータ処理を説明する図である。

次に、本発明の実施の形態について、図面を参照しながら説明する。

本発明の実施の形態に係るステレオ画像処理方法は、左右２台のカメラである撮像手段による撮像対象が鉄道線路である場合に適用される。列車運転台に設置された左右２台のカメラで列車前方を撮像した場合、左右各画像に写される映像のうち、線路または線路を含む近傍の映像が写される範囲は限定される。

また、撮像対象が鉄道線路である場合は、列車前方画像からレール抽出アルゴリズムによりレールを抽出することができ、その抽出したレールの画像上の座標を検出することができる。レール抽出アルゴリズムには、レールのエッジと輝度勾配に着目した方法がある（非特許文献１参照）。この方法では、レールを列車運転台から２〜３０ｍ程度までの近傍領域のレールと、それ以上の距離の遠方領域のレールに分けて処理を行う。近傍領域は予め用意した代表的レールテンプレートとのマッチングにより、また、遠方領域は近傍領域で得られた情報を基にレール形状パターンを動的に生成して、短い直線と曲線セグメントを連結しながら、遠方までレールを追跡する。

レール抽出アルゴリズムは、上記の代表的レールテンプレートとのマッチングおよびレール形状パターンとのマッチングによる方法のほか、画像中の特徴量抽出による方法、色や強度による特徴に基づく方法、輝度勾配を用いる方法、その他がある。本発明では、これら既知のレール抽出アルゴリズムのいずれを用いてもよい。

左右２台のカメラで列車前方を撮影したとき、レール抽出アルゴリズムにより左のカメラの画像（基準画像）と右のカメラの画像（対応画像）からレールを抽出すると、抽出したレールの画像上の座標が分かる。この基準画像と対応画像でレールの同じ地点を示す座標間の画素数が「レール抽出による視差」である。

レールは２本が平行に敷かれているため、「レール抽出による視差」は、左右いずれか１本のレールの座標から算出することができる。また、左右のレールの座標の差（各レールのレール抽出による視差）の平均値を「レール抽出による視差」としてもよい。したがって、「レール抽出による視差」は、次のいずれかの式を演算することにより求めることができる。
ｄ_ｈ＝Ｌ_ｈ（Ｉ）−Ｌ_ｈ（Ｊ）
ｄ_ｈ＝Ｒ_ｈ（Ｉ）−Ｒ_ｈ（Ｊ）
ｄ_ｈ＝｛（Ｌ_ｈ（Ｉ）―Ｌ_ｈ（Ｊ））＋（Ｒ_ｈ（Ｉ）―Ｒ_ｈ（Ｊ））｝／２
ここで、ｄ_ｈは画像中の高さｈでのレールの視差、
Ｌ_ｈ（Ｉ）は左画像中の高さｈにおける左レールのｕ座標を表す関数、
Ｌ_ｈ（Ｊ）は右画像中の高さｈにおける左レールのｕ’座標を表す関数、
Ｒ_ｈ（Ｉ）は左画像中の高さｈにおける右レールのｕ座標を表す関数、
Ｒ_ｈ（Ｊ）は右画像中の高さｈにおける右レールのｕ’座標を表す関数である。

本発明は、左右各画像に写される映像のうち、線路または線路を含む近傍の映像が写される範囲は限定される、レール抽出アルゴリズムにより抽出したレールの座標が分かる、レールの直線部と曲線部のいずれにおいても画面上の高さ位置に対応する「レール抽出による視差」の変化率はほぼ一定であるという事実を、ステレオ画像の視差算出の高速化に利用することを基本的な技術思想とする。

「レール抽出による視差」が分かれば、対応画像の対応点が大体どのあたりに存在するかを推定することができる。つまり、基準点（座標)に対応する対応画像上の同一座標（一次対応点）から「レール抽出による視差」分だけ左または右にずらした点（二次対応点）の近傍に真の対応点が存在すると考えることができる。そこで、本発明では、その二次対応点からマッチングを開始し、同一画素値が見つかった点を真の対応点と決定し、基準点から真の対応点までの移動画素数を視差とするものである。左右の画像のうち、どちらを基本画像とし、どちらを対応画像とするかにより「レール抽出による視差」分だけずらす方向が異なる。左の画像を基本画像とする場合は左にずらし、右の画像を基本画像とする場合は右にずらすことになる。

[第１の実施の形態]
＜概略的構成＞
図１は、本発明の実施の形態に係る障害物検知装置の一例を示す。この障害物検知装置Ａは、ステレオ画像処理部１と、障害物存否判定部２と、障害物検知信号出力部３と、距離計測部４とを有する。

＜ステレオ画像処理部＞
ステレオ画像処理部１は、２台のカメラ装置１０Ｌ，１０Ｒと、各カメラ装置１０Ｌ，１０Ｒから映像信号を与えられるレール抽出部２０Ｌ，２０Ｒと、レール抽出部２０Ｌ，２０Ｒに接続された一つの視差算出部３０とを有する。

カメラ装置１０Ｌ，１０Ｒとレール抽出部２０Ｌ，２０Ｒには、特許文献３に開示されたものを用いることができる。以下に、特許文献３の記載を引用して説明する。

カメラ装置１０Ｌ，１０Ｒは、同一の構成を有する。カメラ装置１０Ｌを例に説明すると、図２に例示するように、カメラ装置１０Ｌは、光学レンズ１１と、光学レンズ１１から入射する被写体の光学映像を電気信号に変換する撮像素子１２と、撮像素子１２の出力に基づいて映像信号を生成する映像信号生成部１３と、撮像制御部１４とを有する。

光学レンズ１１は、被写体の映像を光学的に撮像素子１２の上に結像させる。光学レンズ１１は、レンズの焦点を調整するための焦点調整機構および撮像素子１２への入射光量を調整するための絞り調整機構を有する。さらに、光学レンズ１１は、焦点距離を変えるズーム機構を有してもよい。

撮像素子１２には、たとえば数百万個程度のＣＣＤ(Charge Coupled Device)またはＣＭＯＳ（相補性金属酸化膜半導体）などの電荷結合素子の集合体が用いられる。

撮像制御部１４は、光学レンズ１１、撮像素子１２および映像信号生成部１３による被写体の撮像を制御する。つまり、撮像制御部１４は光学レンズ１１の焦点調整機構、絞り調整機構、またはズーム機構などを制御する。

映像信号生成部１３は、撮像素子１２の出力（すなわち画素値）に基づいて映像信号を生成する。映像信号生成部１３は、撮像制御部１４の制御により、たとえば、周期的に撮像素子１２の各電荷結合素子の出力を取り込んで映像信号を生成する。映像信号生成部１３が映像信号を生成する周期は、たとえば数十分の１秒程度である。このようにして周期的に生成された複数の映像信号を静止画像として時系列順に表示したときに、人の目には動画として認識される。

図１のレール抽出部２０Ｌ，２０Ｒは、同一の構成を有する。以下には、レール抽出部２０Ｌを例に説明する。レール抽出部２０Ｌの機能は、要約すると、カメラ装置１０Ｌの映像信号生成部１３が生成した映像信号を取り込み、その映像信号に含まれるレールを抽出することである。

さらに具体的に説明すると、レール抽出部２０Ｌは、所定のレールの映像として予め登録されている複数のレール形状パターン（の映像信号）と、実際に撮像されたレール（の映像信号）とを比較して「一致」または「不一致」を抽出結果として出力する。すなわち、レール抽出部２０Ｌが「一致」を出力したときには、映像信号生成部１３が生成した映像信号に所定のレール（の映像信号）が含まれており、レール抽出部２０Ｌがその所定のレール（の映像）を抽出したことになる。また、レール抽出部２０Ｌが「不一致」を出力したときには、映像信号生成部１３が生成した映像信号に所定のレール（の映像信号）が含まれておらず、レール抽出部２０Ｌが所定のレール（の映像）を抽出できなかったことになる。

レール抽出部２０Ｌは、図３に例示するように、映像信号生成部１３から出力される映像信号を入力し、映像信号の中からレールを含むと推定される映像信号を取り出すレール映像推定部２１と、複数のレール形状パターンを記憶しているメモリである記憶部２２と、レール映像推定部２１で推定されたレール（の映像）と複数のレール形状パターンとを比較するレール映像比較部２３と、データ蓄積部２４とを有する。

レール映像推定部２１は、映像信号生成部１３から出力された映像信号の中からレール（の映像）であると推定される映像信号を取り出す。たとえば、カメラ装置１０は、鉄道車両（以下、単に車両という。）の先頭に搭載されているので、通常、カメラ装置１０の視野の下部にレールの映像が映り込む。したがって、視野の下部から縦方向に伸びる２本の線（の映像）がレール（の映像）であると推定する。そこで、レール映像推定部２１は、レールであると推定される映像信号の部分のみを残し、他の映像信号を消去した映像信号を生成し、レール映像比較部２２に送出する。この映像信号は、撮像素子１２の縦横の電荷結合素子の配設位置に対応する縦横の画素値が記録された座標情報として表される。

図４のフローチャートを参照しながら、レール映像推定部２１の動作をさらに詳細に説明する。映像信号生成部１３から出力される映像信号がレール映像推定部２１に入力されると、図４の「ＳＴＡＲＴ」の条件が満たされ、フローはステップＳ１に進む。なお、図４の「ＳＴＡＲＴ」から「ＥＮＤ」までの処理は１周期分の処理であり、フローが「ＥＮＤ」になった後は、「ＳＴＡＲＴ」の条件が満たされたとき、フローは再び実行される。

ステップＳ１において、レール映像推定部２１は、映像信号生成部１３から入力した映像信号の中で、視野下部におけるレール（の映像）の位置を検索し、フローはステップＳ２に進む。

ステップＳ２において、レール映像推定部２１は、２本の縦方向に伸びる線を見付けたか否かを判定する。ステップＳ２において、見付けたと判定されると、フローはステップＳ３に進む。一方、ステップＳ２において、見付からないと判定されると、フローはステップＳ１に戻る。

ステップＳ３において、レール映像推定部２１は、レールと推定される映像信号以外の映像信号を消去して、フローはステップＳ４に進む。

ステップＳ４において、レール映像推定部２１は、レール映像比較部２３に対し、レール（の映像）と推定される映像信号を出力して処理を終了する（ＥＮＤ）。

レール映像比較部２３は、レール映像推定部２１から出力されたレール（の映像）と推定される映像信号と、記憶部２２に記憶されているレール形状パターン（の映像信号）とを比較する。

記憶部２２には、カメラ装置１０の位置から見えるレールが複数種類のレール形状パターンで記憶されている。図５に、記憶部２２に記憶されている７種類（＃１〜＃７）のレール形状パターンを例示する。このレール形状パターンは、カメラ装置１０が搭載された車両の線区において、車両が直進状態であるとき、またはカーブを走行中であるときなど、想定されるレールの見え方の種類を表している。このようなレール形状パターンは、カメラ装置１０を搭載した車両を試験走行させて撮像したレールの映像信号に基づいて設定される。

記憶部２２に記憶されているレール形状パターン＃１〜＃７も、レール映像推定部２１から出力される映像信号と同様に、撮像素子１２の縦横の電荷結合素子の配設位置に対応する縦横の画素値が記録された座標情報として表される。

レール映像比較部２３は、レール映像推定部２１から出力されたレールの映像と推定される映像信号と記憶部２２に記憶されているレール形状パターンの映像信号との互いに対応する座標を比較する。レール映像比較部２３は、比較の結果、座標が一致する割合が所定の割合（たとえば８０％程度）以上であれば「一致」と判定し、所定の割合未満であれば「不一致」と判定する。

次に、図６のフローチャートを参照しながら、レール映像比較部２３の動作をさらに詳細に説明する。レール映像推定部２１から出力される映像信号がレール映像比較部２３に入力されると図６の「ＳＴＡＲＴ」の条件が満たされ、フローはステップＳ１０に進む。なお、図６の「ＳＴＡＲＴ」から「ＥＮＤ」までの処理は、１周期分の処理であり、フローが「ＥＮＤ」になった後は、「ＳＴＡＲＴ」の条件が満たされたとき、フローは再び実行される。

ステップＳ１０において、レール映像比較部２３は比較するパターン＃ｎをレール形状パターン＃１に設定して、フローはステップＳ１１に進む。

ステップＳ１１において、レール映像比較部２３は、レール映像推定部２１から受け取った映像信号と記憶部２２に記憶しているレール形状パターンのうちのパターン＃ｎ（ここではｎ＝１）とを比較して、フローはステップＳ１２に進む。

ステップＳ１２において、レール映像比較部２３は、ステップＳ１１の比較結果が「一致」であるか否かを判定する。ステップＳ１２において、比較結果が「一致」であると判定されると、フローはステップＳ１３に進む。一方、ステップＳ１２において、比較結果が「一致」でない（すなわち「不一致」）と判定されると、フローはステップＳ１４に進む。

ステップＳ１３において、レール映像比較部２３は、「一致」とする比較結果を不図示の正常性判定部に出力するとともに、「一致」とされたときの記憶部２２に記憶されているレール形状パターンの映像信号をデータ蓄積部２４に格納して、処理を終了する（ＥＮＤ）。

ステップＳ１４において、レール映像比較部２３は、全レール形状パターンとの比較が終了したか否かを判定する。すなわち、パターン＃ｎはパターン＃７であるか否かを判定する。ステップＳ１４において、全パターンとの比較が終了したと判定されると、フローはステップＳ１５に進む。一方、ステップＳ１４において、未だ全パターンとの比較が終了していないと判定されると、フローはステップＳ１６に進む。

ステップＳ１５において、レール映像比較部２３は、「不一致」とする比較結果を不図示の正常性判定部に出力して処理を終了する（ＥＮＤ）。

ステップＳ１６において、レール映像比較部２３は、パターン＃ｎをパターン＃（ｎ＋１）に変更（ここでは、パターン＃１をパターン＃２に変更）して、フローはステップＳ１１に戻る。

このようにして、ステップＳ１２で比較結果が「一致」とならないときには、ステップＳ１１→ステップＳ１２→ステップＳ１４→ステップＳ１６→ステップＳ１１のフローが全パターン＃１〜＃７について繰り返し実行される。

上記のようにして、レール抽出部２０Ｌにより抽出されたレール映像は、データ蓄積部２４に蓄積される。

カメラ装置１０Ｌ，１０Ｒおよびレール抽出部２０Ｌ，２０Ｒは、基準画像と対応画像を取得するために、図１に示すように左右２組が備えられる。図７は、レール抽出部２０Ｌ，２０Ｒによって抽出されたレールが表示された基準画像Ｉ（ｎ）と対応画像Ｊ（ｎ）を例示する。

そして、各レール抽出部２０Ｌ，２０Ｒのデータ蓄積部２４のレール映像データは、基準画像と対応画像からレールの視差を算出するために、視差算出部３０に与えられる。

視差算出部３０は、図８に一例を示すように、一次対応点検出手段３１と、二次対応点生成手段３２と、マッチング処理手段３３と、相関値比較手段３４と、視差読出手段３５と、視差算出手段３６と、図示されていないメモリとを有する。

一次対応点検出手段３１は、基準画像Ｉ（ｎ）のレール映像の基準点と同じ座標となる対応画像上の同じ走査線上の点（一次対応点)を検出して、その座標を出力する。二次対応点生成手段３２は、一次対応点から同じ走査線上を後述される「レール抽出による視差」と等しい距離だけ左方向にずらした点を二次対応点とする。マッチング処理手段３３は、二次対応点から対応画像の左端までマッチング処理を行って相関値を求める。

「レール抽出による視差」は、事前の列車走行時に既知のマッチング手法を用いて取得され、後述されるように記憶されている。図９（ａ）に示すように、基準画像Ｉ（ｎ）のレールＲＩの任意の基準点ｒの座標をｒ（ｕ_ｒ１，ｖ_１）、対応画像Ｊ（ｎ）のエビポーラ線上のレールＲの対応点ｓの座標をｓ（ｕ_ｒ２，ｖ_１）とすると、基準点ｕと対応点ｓの視差、すなわち、画像中の高さｈにおける「レール抽出による視差」ｄ_ｈ’は、次の式、
ｄ_ｈ’＝ｕ_ｒ１−ｕ_ｒ２
から求めることができる。

そして、視差はカメラからの距離が遠くなるほど小さく、近いほど大きくなる。したがって、図９（ｂ）に比喩的に示すように、画像Ｉ（ｎ）、Ｊ（ｎ）のレールＲＩ，ＲＪの長手方向の各地点における「レール抽出による視差」ｄ_ｈ’（画素数）は、カメラ設置位置から各地点までの距離（画面中の高さｈ）に応じて、高さの高い方から低い方に向かって（遠くから近づく方向に向かって）２，５，１０，１５，２５，３０・・・のように漸増する。このような一定のパターンを有する「レール抽出による視差」が視差モデルとして視差算出部３０のメモリに記憶されている。

視差は、カメラの仰角によって異なる。したがって、メモリにはカメラの仰角に対応する「レール抽出による視差値」ｄ_ｈ’が記憶される。

図１０および図１１を用いて、上記視差算出部３０の一次対応点検出手段３１、二次対応点生成手段３２およびマッチング処理手段３３による作用を具体的に説明する。

一次対応点算出手段３１は、図１０に示すように、基準画像Ｉ（ｎ）上の基準点ｒの座標ｒ（ｕ_ｒ１，ｖ_１）と同じ座標となる対応画像Ｊ（ｎ）上の点ｒを求め、この点ｒを一次対応点とする。二次対応点生成手段３２は、一次対応点ｒと同じエビポーラ線上の対応画像Ｊ（ｎ）上の「レール抽出による視差」ｄ_ｈ’＝ｕ_ｒ１−ｕ_ｒ２と等しい距離だけ左に離れた点を基準点ｒに対応する二次対応点ｓとする。続いて、マッチング処理手段３３は、マッチング処理により基準点ｒの座標（ｕ_ｒ１，ｖ_１）と二次対応点ｓの座標（ｕ_ｒ２，ｖ_１）との相関値αを求める。

図１１は、基準画像Ｉ（ｎ）および対応画像Ｊ（ｎ）の同じ走査線上の一つのブロックＩ_ｉ１，Ｊ_ｉ１を示す。基準画像Ｉ（ｎ）のブロックＩ_ｉ１の基準点ｒ（ｕ_ｒ１，ｖ_１）に対応する対応点ｓ（ｕ_ｒ２，ｖ_１）を探索するときは、対応画像Ｊ（ｎ）のブロックＪ_ｉ１の同じ走査線上の基準点ｒ（ｕ_ｒ１，ｖ_１）と同じ座標点ｒ’（ｕ_ｒ１，ｖ_１）、すなわち一次対応点から同じ走査線上を「レール抽出による視差」ｄ_ｈ’だけ左にずらした点ｓ’（ｕ_ｒ２，ｖ_１）を二次対応点とする。そして、その二次対応点ｓ’（ｕ_ｒ２，ｖ_１）からブロックＪ_ｉ１の同じ走査線上の左端までの画素値についてブロックＩ_ｉ１の同じ走査線上の画素値との相関値αを取り、図１７（ｅ）の画素値差マトリックスＤＴと同様な画素値差マトリックス、および図１７（ｆ）の画素値差合計マトリックスＴＴと同様な画素値差合計マトリックスを生成する。

二次対応点を探索するときに「レール抽出による視差」をずらす方向は、左右の画像のいずれを基準画像とし、いずれを対応画像とするかにより異なる。図１０、図１１は左の画像を基準画像とし、右の画像を対応画像とした例であるので、「レール抽出による視差」だけ左にずらしたが、右の画像を基準画像とし、左の画像を対応画像とした場合は、右にずらされる。

マッチング処理手段３３によるマッチング処理により得られた相関値αは、相関値比較手段３４に与えられる。相関値比較手段３４は、その相関値αを所定の閾値ｔと比較する。相関値αが所定の閾値ｔに対して所定の条件を満たすときは第１判定信号ａを出力して、視差読出手段３５に入力する。また、相関値αが所定の閾値ｔに対して所定の条件を満たさないときは第２判定信号ｂを出力して、視差算出手段３６に出力する。

相関値の算出方法は、マッチング処理の手法により異なる。マッチング処理の手法がブロックマッチングである場合は、相関値の算出方法にはＳＳＤ（sum of Squared Difference)とＳＡＤ（Sum of Absolute Difference）がある。これらの場合は、マッチングが取れていれば取れているほど（類似度が高いほど）相関値が小さくなる。したがって、この場合は、算出された相関値αが閾値ｔ以下（α≦ｔ）のときは所定の条件が満たされたことになり、閾値ｔを上回った（α＞ｔ）ときは所定の条件が満たされないこととなる。これに対し、マッチング処理の手法が位相限定相関法である場合は、マッチングが取れていれば取れているほど相関値が大きくなる。したがって、算出された相関値αが閾値ｔを上回った（α＞ｔ）ときは所定の条件が満たされたことになり、閾値ｔ以下（α≦ｔ）のときは所定の条件が満たされないこととなる。

そして、視差読出手段３５は、第１判定信号ａを入力されたときは、メモリにそのマッチング処理を行った走査線に対応して記憶されている「レール抽出による視差値」を読み出す。そして、その「レール抽出による視差」をその走査線における基準点と対応点との視差と確定し、距離計測部４に与える。つまり、基準点と対応点との相関値が所定の条件を満たす場合は、計算処理に時間がかかる粗密探索手法は実行されない。したがって、粗密探索手法が実行されない分、視差算出の時間が短縮される。

相関値比較手段３４が第２判定信号ｂを視差算出手段３６に出力したときは、視差算出手段３６は、そのマッチング処理を行った走査線に対して周知の粗密探索法を適用して視差値を算出し、得られた視差値を距離計測部４に与える。

距離計測部４は、視差読出手段３５が出力した視差または視差算出手段３６が出力した視差を用いてカメラ設置位置から列車前方のレールの注視点（撮像対象物）までの距離を周知の演算式により計測する。

＜障害物検知＞
線路上の障害物を検知するために、運転台に設置される２台のカメラは、カメラからたとえば２００ｍ先のレール面を注視するように取り付けられる。線路上に障害物が存在するときは、列車の進行とともに、その障害物はカメラの注視点よりもカメラ側に近づく。図１２は、カメラの撮影範囲を側方から見た図面である。同図の（ａ）は注視点Ｖｐより内側に障害物がない場合の状態、（ｂ）は注視点Ｖｐより内側に障害物ｍが存在する場合の状態を示す。

図１３は、図１２のカメラの撮影範囲を上方から見た平面図である。注視点Ｖｐより内側に２つの障害物ｍ１，ｍ２が存在すると仮定すると、左カメラ１０Ｌで取得された画像（基本画像Ｉ（ｎ））には、注視点Ｖｐと２つの障害物ｍ１，ｍ２が共通の視線ｅ１上の存在するため、図１４（ａ）に示すように、画像Ｉ（ｎ）の右側にほぼ共通な横軸ｕ上に存在し、縦軸ｖでは注視点Ｖｐ、障害物ｍ１，ｍ２間の距離に対応する座標だけわずかに離れた位置に抽出される（座標が接近している）。

これに対して、図１３の右カメラ１０Ｒで取得された画像（対応画像Ｊ（ｎ））には、注視点Ｖｐと２つの障害物ｍ１，ｍ２がそれぞれ視線ｅ２,ｅ３,ｅ４上に存在するため、図１４（ｂ）に示すように、注視点Ｖｐ、障害物ｍ１，ｍ２間の距離に対応してそれぞれ横軸ｕ’上の位置も、縦軸ｖ上の位置も異なる（座標が離れている）。

したがって、基準画像Ｉ（ｎ）を対応画像Ｊ（ｎ）に各画面の中心が一致するように重ね合わせ、基準画像Ｉ（ｎ）の注視点Ｖｐｌと障害物ｍ１l，ｍ２lを対応画像Ｊ（ｎ）上に点線で示すと、左右の注視点Ｖｐl，Ｖｐr間の距離Ｄ１、左右の障害物ｍ１l,ｍ1ｒ間の距離Ｄ２、左右の障害物ｍ２l,ｍ２ｒ間の距離Ｄ３は、それぞれ視差である。Ｄ１＜Ｄ２＜Ｄ３である。すなわち、画面上の高さが高いほどカメラからの距離が遠く、高さが低くなるほどカメラからの距離が近い。そして、距離が近いほど、視差が大きいことが分かる。

図１５（ａ）は、線路上に障害物ｍが存在する場合の左右の画像Ｉ（ｎ），Ｊ（ｎ）を示し、同図（ｂ）は、その場合に算出される視差の一例を示す。線路上のカメラの注視点よりも手前側に障害物が存在しない時は、図９の（ｂ）に示される視差モデルと一致するパターンの視差が得られる。しかし、図１５（ａ）に示すように注視点よりも手前側に障害物ｍが存在する場合は、図１５（ｂ）に示すように、その障害物ｍに対応する画像が二次対応点よりも画面の左側まで延びて存在するので、画面の障害物の高さに対応する部分の視差が、その前後の視差よりも大きくなる。そのため、図９の（ｂ）に示される視差モデルと一致しない。

この視差モデルとの不一致は、相関値比較手段３４が、マッチング処理手段３３によるマッチング処理により得られた相関値αが所定の閾値ｔに対して所定の条件を満たさないとき出力する第２判定信号ｂに基づいて検知することができる。したがって、障害物存否判定部2は相関値比較手段３４が出力する第２判定信号ｂを与えられることにより、障害物が存在すると判定することができる。

また、障害物存否判定部２が障害物存在と判定したときの出力信号ｃは運転台等に設けられた障害物検知表示部３に与えられる。これにより、障害物検知表示部３は所定距離以内に障害物が存在することを表示する。出力信号ｃは列車の自動運転制御装置にも与え、その障害物に対する衝突を回避するべく制動するために用いることができる。

Ａ 障害物検知装置
１ ステレオ画像処理部
２ 障害物存否判定部
３ 障害物検知表示部

Claims (2)

1. 左右のカメラで列車進行方向前方を撮像する工程、
   取得された画像からレールを抽出する工程、
   左右の画像の抽出されたレールに対して「レール抽出による視差」を用いてマッチング処理をして左右のレールの視差を算出する工程、
   算出された視差を障害物が存在しないときの所定の視差モデルと比較する工程、
   比較の結果、一致する場合は線路上に障害物が存在しないと判定し、一致しない場合は線路上に障害物が存在すると判定する工程
   を含むことを特徴とする障害物検知方法。
2. ステレオ画像処理部と、障害物存否判定部と、障害物検知信号出力部とを有し、
   前記ステレオ画像処理部は、間隔を開けて水平等位に設置した左右のカメラ装置と、前記各カメラ装置で取得される画像信号からそれぞれレールの映像を抽出するレール抽出部と、抽出されたレールの映像を有するステレオ画像を「レール抽出による視差」を用いてマッチング処理して視差を算出する視差算出部とを有し、
   前記視差算出部は、基準画像のレール映像の基準点と同じ座標となる対応画像上の一次対応点を検出して、その座標を出力する一次対応点検出手段と、前記一次対応点から同じ走査線上を「レール抽出による視差」と等しい距離だけ左又は右方向にずらした点を二次対応点とする二次対応点生成手段と、前記二次対応点から前記対応画像の左端または右端までマッチング処理を行って相関値を求めるマッチング処理手段と、マッチング処理手段により算出された相関値を所定の閾値と比較し、前記相関値が所定の閾値に対して所定の条件を満たさないときは第１判定信号を出力し、前記相関値が所定の閾値に対して所定の条件を満たすときは第２判定信号を出力する相関値比較手段と、前記相関値比較手段が前記第１判定信号を出力したときは、周知のマッチング法によるマッチング処理を実行して視差を算出する視差算出手段と、前記相関値比較手段が前記第２判定信号を出力したときは、メモリ部に記憶されている「レール抽出による視差」を読み出し、その「レール抽出による視差」を前記基準点の視差と確定する視差読出手段とを有し、
   前記障害物存否判定部は、前記第１判定信号を与えられた時は、障害物が存在すると判定し、前記第２判定信号を与えられた時は障害物は存在しないと判定すること、
   を特徴とする障害物検知装置。

Images