JP2016000598A - 線路空間支障物検知システム - Google Patents

線路空間支障物検知システム Download PDF

Info

Publication number
JP2016000598A
JP2016000598A JP2014121390A JP2014121390A JP2016000598A JP 2016000598 A JP2016000598 A JP 2016000598A JP 2014121390 A JP2014121390 A JP 2014121390A JP 2014121390 A JP2014121390 A JP 2014121390A JP 2016000598 A JP2016000598 A JP 2016000598A
Authority
JP
Japan
Prior art keywords
image
detection system
obstacle detection
camera
track space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014121390A
Other languages
English (en)
Other versions
JP6381981B2 (ja
Inventor
剛 田淵
Takeshi Tabuchi
剛 田淵
栄一 桶谷
Eiichi Oketani
栄一 桶谷
亮介 松本
Ryosuke Matsumoto
亮介 松本
英記 近藤
Hideki Kondo
英記 近藤
実 三好
Minoru Miyoshi
実 三好
勇治 内田
Yuji Uchida
勇治 内田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ERGOVISION CO Ltd
Nishiyama Corp
West Japan Railway Co
Original Assignee
ERGOVISION CO Ltd
Nishiyama Corp
West Japan Railway Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ERGOVISION CO Ltd, Nishiyama Corp, West Japan Railway Co filed Critical ERGOVISION CO Ltd
Priority to JP2014121390A priority Critical patent/JP6381981B2/ja
Publication of JP2016000598A publication Critical patent/JP2016000598A/ja
Application granted granted Critical
Publication of JP6381981B2 publication Critical patent/JP6381981B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Image Analysis (AREA)

Abstract

【課題】建築限界内の支障物の有無、より一般的には線路空間における支障物の有無を定量的に評価することができ、しかも営業列車を用いて支障物の有無の検知を行うことができる線路空間支障物検知システムを提供する。【解決手段】線路空間支障物検知システムは、線路を走行する車両に設置されるデジタルビデオカメラ20と、デジタルビデオカメラ20により撮影される画像と車両の速度情報とを同期する画像同期装置10とを有する。デジタルビデオカメラ20が設置された車両を走行させながらデジタルビデオカメラ20により進行方向前方の線路空間を撮影し、線路上の互いに異なる位置であって速度情報を用いて計算されるそれらの間の距離が選択された距離になる位置で撮影された2枚の画像を比較することにより線路空間における支障物の有無を検知する。【選択図】図1

Description

この発明は線路空間支障物検知システムに関し、鉄道の線路を走行する車両が衝突あるいは接触する恐れがある支障物を検知し、車両と支障物との衝突あるいは接触を未然に防止するのに適用して好適なものである。
鉄道の線路においては、定められた建築限界内に車両の走行に支障をきたす建築物などを設置してはならないこととされている。現在、線路に近接する対象物に対する建築限界の支障の有無の確認は、定期的に巡回用の列車を走行させ、列車前頭部で作業者が前方を目視することにより実施するのが一般的である。しかしながら、この方法では、建築限界内の支障物の有無の定量的な評価を行うことはできない。
線路に近接する対象物が建築限界に支障するか否かをレーザー等を用いて対象物の距離を計測することにより検知する装置が知られている(特許文献1参照。)。しかしながら、この装置は、車両に対する取り付けに対する制約が大きく、既に運用している営業列車で日々、建築限界の支障の有無を確認する装置としては不向きである。
また、プラットホーム上に立設される基台と、水平定規部および垂直定規部を有し、前記基台に脱着自在に取り付けられる枠組形成されたフレーム枠体と、該フレーム枠体上に取り付けられた非接触式の距離計測器とで構成された建築限界測定装置が提案されている(特許文献2参照。)。
さらに、一対のレール上を通過する列車の建築限界を測定し得る建築限界測定器において、前記建築限界の測定時に前記一対のレールに跨がって載置される測定器本体と、該測定器本体の端部に取り付けられ、前記測定器本体が一対のレールに跨がって載置された状態で建築限界位置まで延設した延設状態、および当該測定器本体に対して折り畳まれた折り畳み状態との間で移動可能な延設部と、前記延設部が延設状態および折り畳み状態のとき、それぞれ前記測定器本体に対して当該延設部を位置決めしつつ固定する固定手段とを具備した建築限界測定器が提案されている(特許文献3参照。)。
特開2013−134164号公報 特開2005−265597号公報 特開2013−160528号公報
[平成25年7月8日検索]、インターネット〈http://www.m-system.co.jp/mstoday/plan/mame/b _network/9812/index.html 〉
上述のように、列車前頭部で作業者が目視で建築限界の支障の有無を評価する方法は、定量的な評価ができない点で問題がある。また、特許文献1〜3で提案された建築限界測定器等は、大掛かりな装置が必要となり、営業列車では実施が困難である点で難点があった。
そこで、この発明が解決しようとする課題は、建築限界内の支障物の有無、より一般的には線路空間における支障物の有無を定量的に評価することができ、しかも営業列車を用いて支障物の有無の検知を行うことができる線路空間支障物検知システムを提供することである。
上記課題を解決するために、この発明は、
線路を走行する車両に設置される、動画の撮影が可能なカメラと、
上記カメラにより撮影される画像と上記車両の速度情報とを同期する画像同期装置とを有し、
上記カメラが設置された上記車両を走行させながら上記カメラにより進行方向前方の線路空間を撮影し、上記線路上の互いに異なる位置であって上記速度情報を用いて計算されるそれらの間の距離が選択された距離になる位置で撮影された2枚の画像を比較することにより上記線路空間における支障物の有無を検知する線路空間支障物検知システムである。
動画の撮影が可能なカメラは、車両の進行方向前方の線路空間を撮影することができるように設置され、典型的には、車両の運転室内、例えば運転室の前方の窓ガラスの内側に設置される。このカメラとしては、動画の撮影が可能である限り、基本的にはどのようなものを用いてもよく、デジタルカメラであってもアナログカメラであってもよく、録画機能の有無も問わない。このカメラは、例えば、ビデオカメラ、工業用カメラ等である。ビデオカメラとしては、好適にはデジタルビデオカメラが用いられ、取り分け、高解像度のデジタルビデオカメラ、例えばハイビジョンデジタルビデオカメラが用いられる。車両の速度情報は、一般的には、車両に設置されるGPS受信機または速度発電機により取得される。カメラにより撮影される画像と車両の速度情報とを画像同期装置により同期することにより、カメラにより撮影される画像と車両の速度情報とを一対一に関連付けすることができる。画像同期装置は、典型的には、カメラと共に車両内に設置される。画像同期装置としては、画像同期が可能である限り、基本的にはどのようなものを用いてもよく、従来公知のものを用いることができる。画像同期装置は、専用化された画像同期装置であっても、ソフトウェアで画像同期機能を持たせたコンピュータ、データロガー等であってもよい。専用化された画像同期装置としては、好適には、選択された時間間隔毎に取得され、データインデクス(あるいは同期番号)がそれぞれ付与された速度情報のデータインデクスを選択された時間間隔毎に音声レベル信号に変換するデジタル/アナログ変換回路を有する新規な画像同期装置が用いられる。この画像同期装置は、典型的には、音声入力機能を有するカメラの音声入力端子が接続される出力端子を有し、上記のデジタル/アナログ変換回路から出力される音声レベル信号はその出力端子から出力される。データインデクスは、典型的には、シリアル通信規格のシリアル信号として画像同期装置の入力端子に送られる。シリアル通信規格は、例えば、RS485、RS422AまたはRS232Cであり、これらの中から必要に応じて選択されるが、中でもRS485が好ましい。一つの典型的な例では、データインデクスを1200Hzまたは2200Hzの周波数信号に変換し、「1」を1200Hz、「0」を2200Hzとする。典型的な例では、画像同期装置は、シリアル通信規格のシリアル信号として画像同期装置の入力端子に送られるデータインデクスをTTLレベルの信号に変換するTTLレベル変換回路を有し、このTTLレベル変換回路の出力がデジタル/アナログ変換回路に入力される。速度情報あるいはこれに加えて他のセンサーデータ等を取得する時間間隔および音声レベル信号に変換する時間間隔は必要に応じて選ばれる。データインデクスのビット数は必要に応じて選ばれるが、例えば6ビット以上10ビット以下である。
線路空間支障物検知システムは、カメラおよび画像同期装置に加えて、例えば、車両内に設置される車両動揺測定装置をさらに有する。この車両動揺測定装置は、例えば、加速度センサー、角速度センサーおよび傾斜センサーからなる群から選ばれた少なくとも一つを有する。このうち加速度センサーは、線路を走行する車両の前後方向、左右方向および上下方向の加速度を検出する3軸加速度センサーである。
線路上の互いに異なる位置であって速度情報を用いて計算されるそれらの間の距離は、サンプリング間隔あるいは前後2枚のフレーム間の距離と言い換えることもできる。選択された距離は、典型的には一定であり、予め決められるが、これに限定されるものではない。線路上の互いに異なる位置であって速度情報を用いて計算されるそれらの間の距離が選択された距離になる位置で撮影された2枚の画像は視点の異なる画像であるから、この2枚の画像を比較することにより、言い換えるとこの2枚の画像を用いて一眼ステレオ視を行うことにより、線路空間における支障物の有無を検知することができる。
線路空間支障物検知システムは、典型的には、カメラにより撮影される画像と車両の速度情報あるいは速度情報およびセンサーデータとを一対一に関連付けするための連動表示プログラムを用いる。この線路空間支障物検知システムにおいては、好適には、列車の進行方向および列車の進行方向と直交する面の方向の少なくとも一方に仮想建築限界枠が多段(あるいは多重)に設定される。また、好適には、カメラにより撮影される画像の1フレーム内の仮想建築限界枠において、支障していると判定された箇所の数を積算し、支障度合いを表示する。こうすることで、支障物検知の安定性の向上を図ることができる。また、線路空間支障物検知システムは、典型的には、カメラにより撮影される画像、車両の速度情報、センサーデータ、カメラの焦点距離、画像中心の歪補正係数等を用いて建築限界支障検知処理を行う建築限界支障検知プログラムを用いる。さらに、線路空間支障物検知システムは、好適には、車両にカメラを設置する際にその姿勢を調整するためにカメラ姿勢調整プログラムを用いる。このカメラ姿勢調整プログラムでは、例えば、水平方向および垂直方向の2本の直線からなる十字線をディスプレイの画面に表示し、その交点に線路の消失点が重なるようにカメラの姿勢を調整し、また、左右方向に位置が可変な垂直線を画面に表示し、この垂直線を建物の垂線に合わせることによりカメラのロール角を微調整する。これらのプログラムは、典型的には、車両内ではなく、オフィス内に設置されたデータ処理コンピュータにインストールされる。
この発明によれば、動画の撮影が可能なカメラが設置された車両を走行させながらこのカメラにより進行方向前方の線路空間を撮影し、線路上の互いに異なる位置であって速度情報を用いて計算されるそれらの間の距離が選択された距離になる位置で撮影された2枚の画像を比較することにより線路空間における支障物の有無を検知するので、建築限界内の支障物の有無、より一般的には線路空間における支障物の有無を定量的に評価することができる。しかも、この線路空間支障物検知システムでは、車両に設置する必要があるものはカメラや画像同期装置等に限られ、これらは営業列車の車両に容易に設置することができるため、営業列車を用いて支障物の有無の検知を行うことができる。
この発明の第1の実施の形態による線路空間支障物検知システムの概要を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムにおけるデータファイル入出力の概要を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムの画像同期装置の回路構成の一例を示す回路図である。 この発明の第1の実施の形態による線路空間支障物検知システムの画像同期装置においてデータインデクスを音声レベル信号に変換する方法を説明するための略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムの画像同期装置の具体的な構成例を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムの車両動揺測定装置の構成例を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムの車両動揺測定装置の筐体の構成例を示す平面図、正面図および側面図である。 この発明の第1の実施の形態による線路空間支障物検知システムの車両動揺測定装置の各部の信号波形の一例を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムの画像同期装置の各部の信号波形の一例を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムのカメラ姿勢調整プログラムの画面の一例を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムの連動表示プログラムの画面の一例を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムの建築限界支障検知プログラムの検知画面の一例を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムの建築限界支障検知プログラム設定画面の一例を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムの建築限界支障検知プログラム設定画面で用いられる軌道座標系の定義を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムの仮想建築限界枠設定画面の一例を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムの仮想建築限界枠設定画面で用いられる建築限界枠幅の設定方法を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムの仮想建築限界枠とビデオカメラ画像上の画素との関係の一例を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムにおいてデジタルビデオカメラが前進した場合の見え方の変化の一例を説明するための略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムにおいて前進するデジタルビデオカメラの画像の一例を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムの建築限界支障検知プログラムの検知画面における消失点および画像の移動方向の一例を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムの建築限界支障検知プログラムにおけるデジタルビデオカメラの前進前および前進後の仮想建築限界枠の一例を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムの建築限界支障検知プログラムにおいてエピ極線上の追尾の方法の一例を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムの建築限界支障検知プログラムにおけるエピ極線上の追尾による類似度プロファイルの一例を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた試験線撮影試験における撮影システムの設置方法を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた試験線撮影試験における撮影システムの設置方法を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた試験線撮影試験における車両の定速走行パターンを示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた試験線撮影試験における車両の加減速走行パターンを示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムの建築限界支障検知プログラムで生じる誤差の考え方を説明するための略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた試験線撮影試験で用いた基準支障物の形状を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた試験線撮影試験で用いた基準支障物のポールを示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた試験線撮影試験で用いた基準支障物のポールを示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた試験線撮影試験における斜めの輪郭を持つ基準支障物に対する建築限界支障検知の状況を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた試験線撮影試験における異なる太さの腕輪を持つ基準支障物に対する建築限界支障検知の状況を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた試験線撮影試験における建築限界枠から遠い位置での誤検知の例を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた試験線撮影試験における近隣の類似画像による追尾の失敗の例を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた試験線撮影試験における近隣の類似画像による追尾の失敗の例を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた試験線撮影試験における追尾の安定化を図るための検討結果を説明するための略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた試験線撮影試験における異なる地点間の類似度プロファイルの合成方法の一例を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた試験線撮影試験において地点1から撮影した画像の例を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた試験線撮影試験において地点2から撮影した画像の例を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた試験線撮影試験における地点1および地点2におけるテンプレート画像と参照画像との類似度プロファイルの一例を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた試験線撮影試験における地点1および地点3におけるテンプレート画像と参照画像との類似度プロファイルの一例を示す略線図である。 図41に示す類似度プロファイルと図42に示す類似度プロファイルとを合成した結果を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた試験線撮影試験において地点3を追加することで修正されたマッチング位置を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた試験線撮影試験において観察された空領域のノイズを示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた試験線撮影試験において観察された空領域の類似度プロファイルを示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた試験線撮影試験において観察された空領域のノイズが除去された状況を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた試験線撮影試験において観察されたカーブ区間における仮想建築限界枠のずれを示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムのレール水平方向追尾機能アルゴリズムフローの一例を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムにおいてROIのパースペクティブを考慮した変形を行う方法を説明するための略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた試験線撮影試験において観察されたレール画像からの検知対象領域の切り出し方法を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムにおけるROIのパースペクティブを考慮した変形の実例を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムにおけるROIのパースペクティブを考慮した変形の高速化のための画像のモノクロ化を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムにおけるグレー化画像からの各方向エッジの検出方法を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムにおけるグレー化画像からの左側エッジの平滑化方法を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムにおけるグレー化画像からの左右上下エッジの平滑化方法を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムにおけるグレー化画像からのレール以外の成分の排除方法を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムにおけるグレー化画像のエッジ画像の輝度の縦方向総和結果を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムにおけるグレー化画像から求められたレール幅の検証結果を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムにおけるグレー化画像から求められたレール位置の推定結果を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムのカーブ区間のデジタルビデオカメラと建築限界枠位置との関係を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムのカーブ軌道でのデジタルビデオカメラの位置とレール中心位置との関係を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムのカーブ軌道でのデジタルビデオカメラの位置とレール中心位置との関係の検討に用いたカーブ軌道の上面図を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて撮影を行う場合のカーブ時のデジタルビデオカメラと仮想建築限界枠との関係の変化を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて画像上レール位置からレール曲率半径を推定した場合を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて撮影を行う場合の前後台車を考慮したカメラ視線軸とレールとの関係を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて撮影を行う場合の画像上レール位置からレール曲率半径を推定した場合を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて撮影を行う場合のカーブ区間カントによる台車および車体の傾きを示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて撮影を行う場合のレール分岐部へ車両が突入した状況を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて撮影を行う場合のレール分岐部でのレール追尾誤作動を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて撮影を行う場合のレール分岐部でのレール追尾誤作動によるレール曲率半径の異常を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて撮影を行う場合のレール追尾の直進レールへの復帰を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて検知した結果を車両の動揺とビデオカメラ画像とを連動表示することができるビューアプログラムによる検出結果を表示した一例を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験における撮影システムの設置方法を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験における撮影システムの設置方法を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験における撮影システムの設置方法を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験における撮影システムの設置方法を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験における撮影システムの設置方法を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験における撮影システムの設置方法を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験における撮影システムの設置方法を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験における支障検知箇所累積グラフによる解析方法を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験で得られた支障検知箇所累積グラフの例を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験で得られた支障検知箇所累積グラフの例を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験で得られた支障検知箇所累積グラフの例を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験で得られた支障検知箇所累積グラフの例を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験で得られた支障検知箇所累積グラフの例を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験で得られた支障検知箇所累積グラフの例を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験で得られた支障検知箇所累積グラフの例を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験で得られた支障検知箇所累積グラフの例を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験の結果を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験の結果を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験の結果を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験の結果を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験の結果を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験の結果を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験の結果を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験の結果を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験の結果を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験で得られた支障検知箇所累積グラフの例を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験の結果を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験の結果を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験の結果を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験の結果を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験で得られた支障検知箇所累積グラフの例を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験の結果を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験の結果を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験の結果を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験の結果を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験の結果を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験の結果を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験において観察された図110の矢印位置でのマッチング探索における類似度プロファイルを示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験の結果における類似度プロファイルの形状による誤検出の排除結果を示す図面代用写真である。 図109の一部を拡大した図面代用写真である。 3フレーム後の図113と同一位置の画像を示す図面代用写真である。 図114においてマッチングに用いるテンプレートを電柱の直径より拡大した状況を示す図面代用写真である。 図114においてマッチングを複数のテンプレートを用いて行う代わりにピラミッド画像を用いて行う方法を示す略線図である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験の結果を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験の結果を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験の結果を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験の結果を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムを用いて行われた営業線撮影試験の結果を示す図面代用写真である。 この発明の第1の実施の形態による線路空間支障物検知システムにおいてデジタルビデオカメラを運転室の前方の窓ガラスに近づけることにより得られる利点を示す略線図である。 この発明の第3の実施の形態による線路空間支障物検知システムの進行方向仮想建築限界枠数自動調整機能を示す略線図である。 この発明の第3の実施の形態による線路空間支障物検知システムの仮想建築限界枠のサイズ多重化機能を示す略線図である。 この発明の第6の実施の形態による線路空間支障物検知システムの概要を示す略線図である。 この発明の第7の実施の形態による線路空間支障物検知システムを示す略線図である。
以下、発明を実施するための形態(以下「実施の形態」という)について説明する。
〈第1の実施の形態〉
第1の実施の形態による線路空間支障物検知システムについて説明する。ここでは、一例として、線路空間支障物検知システムが、線路空間における支障物の検知に加えて、線路を走行する車両の動揺測定も可能に構成されている場合について説明するが、これに限定されるものではない。
[線路空間支障物検知システムの全体構成]
図1はこの線路空間支障物検知システムの概要を示す。図1に示すように、この線路空間支障物検知システムにおいては、画像同期装置10を介して、音声入力機能を有するデジタルビデオカメラ20と車両動揺測定装置30とが接続されている。より詳細には、車両動揺測定装置30の出力端子と画像同期装置10の入力端子とがケーブルC1により接続され、画像同期装置10の出力端子とデジタルビデオカメラ20の音声入力端子とがケーブルC2により接続されている。これらの画像同期装置10、デジタルビデオカメラ20および車両動揺測定装置30は車両内に設置される。
デジタルビデオカメラ20は、例えば、列車の先頭車両の運転室内に、進行方向前方の線路空間を撮影することができるように設置される。より具体的には、デジタルビデオカメラ20は、例えば、先頭車両の運転室の前方の窓ガラスの内側の面に吸盤などを用いて設置される。デジタルビデオカメラ20としては、市販の汎用デジタルビデオカメラを用いることができるが、好適には、高解像度のデジタルビデオカメラ、例えばハイビジョンデジタルビデオカメラが用いられる。
車両動揺測定装置30は、例えば、加速度センサー、角速度センサーおよび傾斜センサーからなる群から選ばれた少なくとも一つのセンサーを有する。このうち加速度センサーは、線路を走行する車両の前後方向、左右方向および上下方向の加速度を検出する3軸加速度センサーである。車両動揺測定装置30にはケーブルC3を介してGPS受信機38が接続されている。車両動揺測定装置30は、GPS受信機38により受信されるGPS信号により、車両の位置(緯度、経度)の情報および速度情報(NMEA0183)を取得し、記録することができるように構成されている。また、車両動揺測定装置30は、車両の車軸端などに設置された速度発電機から送出されるパルス電圧により軌道上の位置(キロ程)および速度情報を取得し、記録することができるように構成されている。車両動揺測定装置30の詳細については後述する。
画像同期装置10は、車両の走行中に、デジタルビデオカメラ20により選択されたサンプリング間隔で撮影される線路空間の画像(フレーム)と車両動揺測定装置30により取得される時系列の位置情報および速度情報とを同期させ、互いに一対一の関連付けを行うために用いられる。このために、画像同期装置10では、車両動揺測定装置30により生成されたデータインデクス(data index)(あるいは同期番号)が音声エンコードされ、デジタルビデオカメラ20の音声トラックに記録される。画像同期装置10の詳細については後述する。車両動揺測定装置30では、速度発電機から送出されるパルス電圧を記録し、上述と同様に撮影画像との関連付けを行う。
デジタルビデオカメラ20の設置の仕方について説明する。すなわち、デジタルビデオカメラ20の設置時には、線路の消失点がカメラ画像中心に来るように、しかも画面垂直方向が重力軸に平行になるようにする。この際、これらの調整を正確に行うため、画面に補助線を表示するようにする。また、デジタルビデオカメラ20のレンズの広角端で撮影を行うため、デジタルビデオカメラ20の設置時にこの補助線を使うにあたりレンズ歪および画像中心のずれが無視できないことから、レンズ歪補正および画像中心補正を施したビデオカメラ画像に補助線が引かれるツールプログラム(カメラセットアッププログラム)を開発し、このツールプログラムをインストールしたノート型パーソナルコンピュータ(ノートPC)50を車両内に持ち込んで使用する。また、この際、デジタルビデオカメラ20から出力されるHDMI(登録商標)信号をPCで入力できる形式(H.264)に変換するHDMI−USB変換器60をデジタルビデオカメラ20とノートPC50との間に接続する。
上記のデジタルビデオカメラ20のレンズ歪補正係数および画像中心のずれ、また後の処理で用いる焦点距離を別途較正しておく。これをカメラ内部パラメータキャリブレーションと呼ぶ。このために、ノートPC50にはカメラ内部パラメータキャリブレーションプログラムがインストールされている。このカメラ内部パラメータキャリブレーションのパラメータはファイルとして保存され、上記のデジタルビデオカメラ20の設置時の作業および後の建築限界支障検知機能において用いられる(図1の左下を参照。)。
車両を走行させながらデジタルビデオカメラ20により撮影が行われた後、車両動揺測定装置30から、動揺・緯度経度・速度データおよびデータインデクスが撮影回数分CSVファイルとしてSDカード70経由でデータ処理PC80に渡される。また、デジタルビデオカメラ20からは、撮影画像および音声エンコードされた車両動揺測定装置30発行のデータインデクスがSDカード90経由でデータ処理PC80に渡される。ここでは、データ処理PC80はオフィスに設置されるものとする。
上記の各種データは、ビデオカメラ画像と各種センサーデータとを連動表示するプログラム(連動表示プログラム100)に読み込まれ、ビデオカメラ画像の音声データからデータインデクスにデコードされ、動揺・経度緯度・速度データとビデオカメラ画像のフレームとは一対一対応の関係を与えられる。また、連動表示プログラム100上でビデオカメラ画像と速度グラフとを同期表示し、データが妥当か否かを確認する。
ビデオカメラ画像および速度情報が妥当であると確認された後、連動表示プログラム100からビデオカメラ画像と、各フレームの速度情報とが出力され、建築限界支障検知プログラム110に読み込まれる。
以上のビデオカメラ画像、速度情報、カメラ焦点距離・画像中心歪補正係数を用いて建築限界支障検知処理が行われる。
[線路空間支障物検知システムにおけるデータファイル入出力の概要]
図2にこの線路空間支障物検知システムにおけるデータファイル入出力の概要を示す。このデータファイル入出力について説明する。
(1)既に述べたように、画像同期装置10を介してデジタルビデオカメラ20と車両動揺測定装置30とを接続し、デジタルビデオカメラ20で撮影されたビデオカメラ画像と車両動揺測定装置30により得られた速度情報(速度データ)およびセンサーデータとを同時に収録する。
(2)車両動揺測定装置30のSDカード70内には、年月日時分秒をファイル名前半とする数種類のファイルが生成される。また、デジタルビデオカメラ20のSDカード90内にも年月日時分秒をファイル名とするビデオファイルが生成される。
(3)同期ビューア120から車両動揺測定装置30の解析プログラム130を起動(キック)し、解析プログラム130のGUIでまず_vbsd.binファイル140を読み込む。解析プログラム130内では引き続き_vbsd.binファイル140内にあるリンクから_gpsd.csvファイル141、_xind.binファイル142および_spdd.binファイル143を読み込む。
(4)次に、解析プログラム130のGUIを用いて、.INIファイル151、.PTPファイル152および.ANAファイル153を出力し、これを同期ビューア120に読み込む。
(5)同期ビューア120では、出力された.INIファイル151、.PTPファイル152および.ANAファイル153を自動的に指定フォルダにコピーする。
(6)次に、同期ビューア120によりビデオファイルである.mtsファイル160を読み込み、音声トラックに記録されたデータインデクスを自動的にデコードし、ビデオカメラ画像のフレームとデータインデクスとの対応表ファイル170を作成し出力する。
(7)また、建築限界支障検知後、支障した位置のキロ程および支障フレーム番号および画像上の支障位置座標を記録した支障検知位置データファイル180を出力する。
[線路空間支障物検知システムの詳細]
(画像同期装置10の詳細)
画像同期装置10の詳細を説明する。図3はこの画像同期装置10を示す。図3に示すように、画像同期装置10は、デジタル信号であるデータインデクス(同期番号)をアナログ信号である音声レベル信号に変換するためのデジタル/アナログ変換(D/A変換)回路11を有する。このデジタル/アナログ変換は、例えば、データインデクスの「1」を音声周波数帯の周波数f1 の周波数信号に、「0」を音声周波数帯の周波数f2 (≠f1 )の周波数信号に変換するものであり、典型的にはf2 >f1 に選ばれる。一例として、図4に、データインデクスとして6ビットの「001100」を周波数信号に変換した例を示す。f1 、f2 の具体例を挙げると、f1 =1200Hz、f2 =2200Hzであるが、これに限定されるものではない。このデータインデクスは、車両動揺測定装置30から選択された時間間隔毎に取得される時系列のデータ(位置情報のデータ、速度情報のデータおよび加速度センサーなどのセンサーデータ)にそれぞれ付与されるものであり、これらのデータに対して連番となっている。画像同期装置10は入力端子12を有し、データインデクスは車両動揺測定装置30の出力端子からこの入力端子12に送出される。データインデクスは、車両動揺測定装置30からシリアル通信規格のシリアル信号として入力端子12に供給される。シリアル通信規格は、例えば、RS485、RS422AまたはRS232Cである。画像同期装置10は出力端子13を有し、デジタル/アナログ変換回路11から出力される音声レベル信号はこの出力端子13から出力される。この出力端子13には、音声入力機能を有するデジタルビデオカメラ20の音声入力端子が接続されるようになっている。
図5は画像同期装置10の具体的な構成例を示す。図5に示すように、この画像同期装置10は、TTLレベル変換回路14、デジタル/アナログ変換回路11および音声電圧レベル変換回路15を有する。TTLレベル変換回路14は画像同期装置10の入力端子12と接続されている。入力端子12にはシリアル通信規格によるシリアル信号が供給され、このシリアル信号のレベルがTTLレベル変換回路14によりTTLレベルに変換される。こうしてTTLレベルに変換されたデータインデクスがデジタル/アナログ変換回路11に入力され、音声レベル信号に変換される。例えば、車両動揺測定装置30から入力端子12にデータインデクスがRS485レベル信号として供給され、このRS485レベル信号がTTLレベル変換回路14によりTTLレベルに変換される。デジタル/アナログ変換回路14から出力される音声レベル信号は音声電圧レベル変換回路15に入力され、電圧レベル変換が行われる。音声電圧レベル変換回路15の出力端子は画像同期装置10の出力端子13と接続されている。出力端子13には、デジタルビデオカメラ20の音声入力端子を接続することができるようになっている。デジタル/アナログ変換回路11の具体例を挙げると、HART(Highway Addressable Remote Transducer)モデム(例えば、非特許文献1参照。「HART」は登録商標。)である。HARTモデムでは、「1」を1200Hzの周波数信号に、「0」を2200Hzの周波数信号に変換する。画像同期装置10は入力端子25を有し、この入力端子25に外部マイク26を接続することができるようになっている。この外部マイク26はモノラル録音に用いられる。入力端子25は出力端子13と接続されており、必要に応じて、入力端子25に入力されるモノラル音声(あるいは、ステレオ片チャンネル)を音声レベル信号とともに出力端子13から外部に送ることができるようになっている。
この画像同期装置10によれば、車両動揺測定装置30から出力される時系列のデータ(位置情報のデータ、速度情報のデータおよびセンサーデータ)に付与されたデータインデクスを音声レベル信号に変換しているので、この音声レベル信号をデジタルビデオカメラ20の音声入力端子に入力して録音することができる。このため、この音声レベル信号を用いて、位置情報のデータ、速度情報のデータおよびセンサーデータとデジタルビデオカメラ20により撮影された画像とを同期させることができる。この画像同期装置10は簡単に構成することができるため、製造コストを低く抑えることができ、しかもサイズを小さくすることができる。
(車両動揺測定装置30の詳細)
車両動揺測定装置30の詳細を説明する。図6は車両動揺測定装置30の構成を示す。車両動揺測定装置30は、センサー処理部31、表示処理部32、位置情報処理部33、データ保存部34、外部インターフェース(I/F)制御部35および電源制御部36を有する。これらのセンサー処理部31、表示処理部32、位置情報処理部33、データ保存部34、外部インターフェース制御部35および電源制御部36は高速シリアルバス37を介して相互に接続されている。外部インターフェース制御部35の出力端子が画像同期装置10の入力端子(図5に示す入力端子12)と接続されている。位置情報処理部33には、GPS受信機38により受信されるGPS信号および速度発電機39の信号が供給されるようになっている。
センサー処理部31は、線路を走行する車両の前後方向、左右方向および上下方向の加速度を検出するための3軸加速度センサー、角速度センサー(ヨー、ロール)および傾斜センサー(ピッチ、ロール)の出力信号が供給され、所定の処理が行われる。表示処理部32は、例えば液晶ディスプレイ(LCD)の表示制御を行う。位置情報処理部33は、GPS受信機38により受信されるGPS信号により車両の位置(経度、緯度)を測定するとともに、速度発電機39の信号により線路上の位置(キロ程)を測定する。データ保存部34は、センサー処理部31により処理されたセンサーデータおよびセンサーデータに付与されたデータインデクスを保存し、記録媒体としては例えばSDカードが用いられる。外部インターフェース制御部35は、センサー処理部31から出力されるSCI(Serial Communication Interface)のTTLレベルのデータインデクスをシリアル通信規格、例えばRS485レベルに変換して画像同期装置10の入力端子12に送る。電源制御部36はバッテリー40を備えており、センサー処理部31、表示処理部32、位置情報処理部33、データ保存部34、外部インターフェース制御部35およびディスプレイへの電源の供給を制御する。
車両動揺測定装置30の具体的な構成例(外形)を図7A、BおよびCに示す。ここで、図7Aは平面図、図7Bは正面図、図7Cは側面図である。図7A、BおよびCに示すように、車両動揺測定装置30は、直方体形状の筐体30aの内部に、図6に示すセンサー処理部31、表示処理部32、位置情報処理部33、データ保存部34、外部インターフェース制御部35、電源制御部36および高速シリアルバス37が収納されている。ここで、センサー処理部31、表示処理部32、位置情報処理部33、外部インターフェース制御部35および電源制御部36はそれぞれセンサー処理基板、表示処理基板、位置情報処理基板、外部インターフェース制御基板および電源制御基板として構成されている。筐体30aの大きさの一例を挙げると、250mm×170mm×120mm程度である。筐体30aの両端には把手30b、30cが取り付けられており、これらの把手30b、30cを両手で掴んで車両動揺測定装置30を持ち運ぶことができるようになっている。筐体30aの前面にはLCD30dが設置されている。このLCD30dの表示は表示処理部32により制御される。筐体30aの前面には電源スイッチ30eが取り付けられている。電源スイッチ30eは電源制御部36と接続されている。電源スイッチ30eにより車両動揺測定装置30の電源のオン/オフを行うことができるようになっている。
車両動揺測定装置30の外部インターフェース制御部35のSCI(TTL)信号の波形の例を図8Aに、RS485レベル変換後のRS485レベル信号の波形の例を図8BおよびCに示す。また、画像同期装置10に入力されたRS485レベル信号の波形の例を図9AおよびBに、TTLレベル変換回路14により変換されたTTLレベル信号の波形の例を図9Cに、音声電圧レベル変換を行った後の音声レベル信号の波形の例を図9Dに示す。
(カメラ姿勢調整プログラム)
この線路空間支障物検知システムでは、上記のカメラ内部パラメータキャリブレーションの結果を読み込み、リアルタイムで歪補正したスルー画像を表示するカメラ姿勢調整プログラムを作成し、使用する。このカメラ姿勢調整プログラムを用いることにより、支障検知エンジンにデジタルビデオカメラ20のロール角度を補正する機能がなくても、線路の消失点を画像中心に正しく設定することができる。すなわち、仮想の建築限界枠の設定上、消失点は画像中心にあったほうが良いが、カメラ画像そのものは、画像中心がずれているほか、歪もあり、正しく設定することが難しい。しかし、このカメラ姿勢調整プログラムを用いることにより、消失点を画像中心に容易に設定することができる。
図10にカメラ姿勢調整プログラムの画面(実際にはカラー画面)を示す。このカメラ姿勢調整プログラムの画面の機能について説明すると以下の通りである。
(1)デジタルビデオカメラ20で撮影された画像をリアルタイム表示する。
(2)別途、上記の内部パラメータキャリブレーションにより得られた、デジタルビデオカメラ20のレンズの歪補正係数および画像中心を読み込む。歪補正および画像中心補正をリアルタイムで行い、補正画像を表示する。
(3)画面に表示される縦線L1と横線L2とからなる十字線(例えば、赤十字線)の交点Pは、画像中心であり、線路の消失点がこの交点Pに重なるようにデジタルビデオカメラ20の姿勢を調整する。
(4)画面の中央下部に表示された左下がりの斜め線L3および右下がりの斜め線L4(例えば、黄色線)は、画面右下の“2.左斜め線”および“3.:右斜め線”のラジオボタンで選択し、その下の左向きの矢印ボタン(←)および右向きの矢印ボタン(→)を押すことで、十字線の交点Pを中心に角度を調整することができる。これらの左斜め線L3および右斜め線L4を2本のレールに沿わせることで、消失点が正しいか否かを判断できる。
(5)画面に表示された二本の縦線L5、L6(例えば、黄緑線)は、画面垂直方向を表し、画面右下の“1:左垂線”および“4:右垂線”のラジオボタンで選択し、その下の左右向きの矢印ボタンを押すことで、左右位置を調整することができる。この左垂線および右垂線を建物などの垂線に沿わせることで、デジタルビデオカメラ20のロール角を微調整する。
以上のカメラ姿勢調整プログラムを用いることで、デジタルビデオカメラ20の取り付け姿勢を以下のように調整する。
・カメラ視線軸は、地平面と平行
・カメラ視線軸は、軌道方向と平行
・カメラ撮像面Y軸と重力軸とは平行
なお、カメラ姿勢調整プログラムを用いることによりデジタルビデオカメラ20の姿勢の調整を高精度で行うことができるが、実際に現場でデジタルビデオカメラ20を取り付ける際には、たとえ姿勢の調整の精度を多少犠牲にしても、より簡便に姿勢を調整することが求められることもある。このような場合には、建築限界支障検知プログラムにおいて、撮影されたビデオカメラ画像から、デジタルビデオカメラ20の姿勢を推定する。その際、例えば、撮影されたビデオカメラ画像上に図10に示すカメラ姿勢調整プログラム画面のようなガイド線を表示して、レールの消失点および建物垂直線をユーザーがマウス指定することが考えられる。
(連動表示プログラム100)
連動表示プログラム100は、車両動揺測定装置30で収録されたGPSデータおよび速度発電機情報と、デジタルビデオカメラ20で撮影された画像とを連動表示する。図11に連動表示プログラム100の画面を示す。連動表示プログラム100の機能は下記の通りである。
(1)ビデオカメラ画像の音声トラックの音声データからデータインデクスをデコードし、車両動揺測定装置30の速度情報およびセンサーデータと対応付け、各ビデオフレームに速度情報を割り当てる。
(2)デジタルビデオカメラ20のビデオフレームレートと車両動揺測定装置30の速度情報サンプリングレートとは一般的に異なる。例えば、デジタルビデオカメラ20のビデオフレームレートは60Hz、速度情報サンプリングレートは1Hzである。このため、一次の補間を行い、全ビデオフレームに速度情報を割り当てる。
(3)収録されたビデオカメラ画像と、加速度センサーデータ、GPS速度データおよび速度発電機データとを連動して再生する。
(4)現在表示しているビデオフレームに対応した速度情報(GPS速度)を表示する。
(建築限界支障検知プログラム110)
建築限界支障検知プログラム110は、収録され連動表示プログラム100でビデオフレームと速度情報とが対応付けられたデータを読み込み、ビデオカメラ画像に撮像された対象物が、所定の位置、大きさに設定された仮想の建築限界枠に支障しているか否かを判定し、支障していると判定した場合には画面上で例えば建築限界枠の色を変えて表示する。
図12に、建築限界支障検知プログラム110の検知画面の一例を示す。この建築限界支障検知プログラム110の機能について説明すると下記の通りである。
(1)“開始”ボタンを押すと、速度情報付ビデオカメラ画像が再生され、同時に建築限界支障検知処理が開始される。
(2)ビデオカメラ画像上に仮想の建築限界枠を点線(例えば、青点線)で表示する。この建築限界枠と重なる位置にあるビデオカメラ画像上の物体が建築限界枠の内側にある場合は、この点線が太い点線(例えば、赤点線)の表示に変わる。
(3)フレーム番号、速度、建築限界枠横方向サイズなどが表示される。
(4)フレーム番号を入力し、“ジャンプ”ボタンを押すと指定したフレームに画像がジャンプする。図12においては、フレーム番号として“1720”が入力された例が示されている。
ただし、基本的には、“開始”ボタンを押せば、自動的に建築限界支障検知処理が行えるが、以下に説明するように、建築限界支障検知を行うための各種データ選択、パラメータ調整などを別途行う。
図13に、建築限界支障検知プログラム110の設定画面を示す。この設定画面の機能は下記の通りである。
(1)“参照”ボタンを押すと、入力データのファイルダイアログが表示され、建築限界支障検知に用いる、ビデオファイルおよび速度情報ファイルを指定できる。
(2)ビデオファイル読み込み後、“画像プレビュー開始”ボタンを押すと、画像が再生され内容を確認できる。
(3)“カメラ内部パラメータファイルを開く”ボタンを押すと、ファイルダイアログが表示され、カメラ内部パラメータ(カメラレンズ焦点距離、歪補正係数、画像中心座標)が記述されたファイルを読み込める。
(4)“カメラ外部パラメータファイルを開く”ボタンを押すと、ファイルダイアログが表示され、カメラ外部パラメータ(軌道面中心からの相対距離および軌道面に対する姿勢)が読み込める。軌道座標系は、図14に示す通りである(Y軸は軌道面に垂直)。
(5)“建築限界検出枠の設定ダイアログを開く”ボタンを押すと、仮想の建築限界枠を車両に対しどのように設定するかを指定する仮想建築限界枠設定画面が表示される。
図15に仮想建築限界枠設定画面を示す。この設定画面の機能は下記の通りである。
(1)図15の仮想建築限界枠設定画面の上部に模式的に示すように、デジタルビデオカメラ20から仮想の建築限界枠の位置までの距離dおよび仮想の建築限界枠の大きさrを想定し、仮想建築限界枠があたかもそこに存在するとして図12のビデオカメラ画像上の点線(例えば、青点線)を描画している。このビデオカメラ画像上の点線で示した建築限界枠は、dおよびr、カメラ内部・外部パラメータによって、位置・大きさが変動する。画像処理精度としては、建築限界枠が極力、画面全体に広がるように設定するほうが有利であるため、そのようにdを調整する。また、アルゴリズムが正しく作動していることを確認するために、意図的に建築限界枠を大きくして、実際には建築限界に支障しない対象物に反応させる操作をするために、rを大きく設定したりする。
(2)建築限界検出枠の半径に建築限界枠幅の1/2を入力する(メートル単位) 。例えば、1.9mを入力した場合、仮想建築限界枠は、軌道中心から1.9mのところに限界枠線が生成される(図16参照)。
(3)建築限界検出枠の枠までの距離にデジタルビデオカメラ20から仮想建築限界枠までの想定距離を入力する(メートル単位)。当然、この距離を大きくすると、ビデオカメラ画像上の点線(例えば、青点線)で表された仮想建築限界枠は小さくなり、距離を小さくすると建築限界枠は大きくなる。
(建築限界支障検知アルゴリズム)
この線路空間支障物検知システムの建築限界支障検知機能で用いている建築限界支障検知アルゴリズムを説明する。
線路を走行する車両の前方に取り付けられたデジタルビデオカメラ20のビデオカメラ画像の複数枚フレームを用いて、一眼ステレオ視を行い、建築限界枠位置の画素に撮像されている対象物が実際の建築限界の内側にあるのか、外側にあるのかを判定する。
図17は、デジタルビデオカメラ20から見た場合に、設定した仮想の建築限界枠と同一画素に撮像される2本の棒の関係を示したものである。●で示した地点はビデオカメラ画像上の同一の画素に撮像されるが、1本は建築限界枠の内側、1本は建築限界枠の外側である。このように、2次元画像1枚では、建築限界枠内外判定は不可能である。
そこで、デジタルビデオカメラ20が走行中に前進した位置から同一シーンを撮像することを利用してステレオ計測の原理を導入し、この問題を解決する。図18では、デジタルビデオカメラ20が前進した状態を示している。仮想の建築限界枠は移動しないとすると、ビデオカメラ画像上の建築限界枠は近づいて見えるために、外側に向かって大きくなっている。この状態で建築限界枠の内外にある2本の棒の見え方を考えると、建築限界枠内側にある棒はビデオカメラ画像上では仮想の建築限界枠の像よりも外側に写り、建築限界枠の外側に立っている棒はビデオカメラ画像上では仮想の建築限界枠の像よりも内側に写る(図19AおよびB参照)。
よって、以下のような手順で、2次元画像上の建築限界枠位置に写っている対象物が実際には建築限界枠の内側にあるのか、外側にあるのかが判定できる。
(1)デジタルビデオカメラ20が前進する前後の画像を準備
(2)仮想の建築限界枠が前進する前のビデオカメラ画像上のどこに写像されるか計算
(3)消失点から建築限界枠写像画素に向けた直線を生成
(4)移動後の建築限界枠写像を計算
(5)前進前後の画像間で、建築限界枠上の画素位置にあった対象物がどのように移動したかを追尾する。その際追尾は、(3)で求めた直線上に限定する
(6)移動後の位置が(4)で求めた建築限界枠写像位置より内側にあるか、外側にあるかを判定する(内側なら建築限界枠に支障しない、外側なら支障している)
(1)の処理では、ステレオ計測を成立させるために、レール上の位置の異なる、すなわち視点の異なる画像を用意する。毎フレームのステレオ視精度を安定させるためには、ステレオ視に用いる前後2枚の画像の視点間距離は、一定であるほうが望ましい。しかし、走行速度は、まちまちであるからフレーム数では指定できない。そこで、速度情報の積分からフレーム間の距離を計算し、予め決めておいた距離になるペア画像を探す必要がある。
(2)の処理は、デジタルビデオカメラ20からの指定距離離れた位置に、仮想建築限界枠が存在するとして、カメラ外部・内部パラメータを用いてビデオカメラ画像上に仮想建築限界枠を射影する。建築限界枠は、平面上にあるため、ホモグラフィ変換でも求めることができる。
(3)の処理は、(5)で行われる追尾処理のために行われる。デジタルビデオカメラ20が前進するとき、ビデオカメラ画像に写っている全ての点は、消失点からその点を結ぶ直線上を外側に向かって移動する(線路のカーブや、振動の影響はここでは省略する)。この直線をエピ極線と呼ぶ。図20に消失点と画像の移動方向とを示す。
(4)では、(2)と同様の処理を仮想建築限界枠とデジタルビデオカメラ20との距離を前進分だけ短くして行う。図21に、前進前と前進後の仮想建築限界枠を前進前の画像上に表示した画像を示す。ここで、小さい点の点線(例えば、青点線)とより大きい点の点線(例えば、赤点線)とが混合した点線で示した建築限界枠が前進前のもの、より大きい点の点線(例えば、赤点線)だけで示した建築限界枠が前進後のものを示す。
(5)では、前進前の画像で建築限界枠上にあった物体が、前進後どこに移動したかを探索する。この際、前進前の建築限界枠上の画像の小領域をテンプレート画像とし、前進後の画像上で今テンプレート画像と同じ画像がどこにあるかを探索する。この際、探索は、2 次元的に行われるが、(3)で説明したエピ極線上を1次元探索すればよい(エピ極線拘束)。また、直線の探索範囲は、図21で示した、小さい点の点線(例えば、青点線)とより大きい点の点線(例えば、赤点線)とが混合した点線で示した建築限界枠から、より大きい点の点線(例えば、赤点線)だけで示した建築限界枠を超えるところまでとなる(図22参照)。前進前と前進後の建築限界枠間距離を1とすると、追尾する距離は1より若干大きくする。これは、建築限界枠よりさらに内部に突出している対象物を検知するためである。
図23に示すように、追尾位置は、地点1の画像の建築限界枠上の小領域をテンプレート画像として切り出し、これを地点2の画像上でエピ極線上に移動させながら、対応位置の画像との類似度のプロファイルを計算する。この場合、この類似度プロファイルのピーク位置を追尾位置とし、その位置が地点2における建築限界枠位置を超えているか否かにより判定を行う。
[試験線撮影試験]
以上のような線路空間支障物検知システムを用い、試験線で撮影試験を行った。この試験線撮影試験の方法および結果について説明する。
本試験では、列車巡視システムの機能の一部である、建築限界枠内への支障物の干渉を検知する機能(以下「建築限界支障検知機能」という)に関し、試験線にて試験撮影走行を行った。
建築限界支障検知機能は、デジタルビデオカメラ20とGPS受信機38および速度発電機39とを連動させて収録された、速度情報付動画像から、撮影された対象物が、線路の建築限界枠の内側にあるのか、外側にあるのかを画像処理によって自動判定する機能である。
本試験では、試験線沿線に軌道中心からの距離を正確に計測した被計測物を配置し、デジタルビデオカメラ20を設置した車両を走行させて速度情報付ビデオカメラ画像を収録する。この速度情報付ビデオカメラ画像に対し、建築限界支障検知機能を働かせ、その基本的な検知精度を評価した。
なお、この試験に用いた建築限界支障検知機能はカーブ軌道に対応していないため、試験走行で収録したデータのうち、直線部分の軌道に関して解析を行った。
(撮影状況の概要)
図24AおよびBならびに図25AおよびBに、線路空間支障物検知システムの撮影システムを実際に試験車両に設置した様子を示す。ここで、図24Aは試験車両の運転室内で後方から前方を撮影した写真、図24Bは運転室内で前方の中央の窓ガラスを斜め上方向から撮影した写真、図25Aは試験車両の前頭部を前方から撮影した写真、図25Bは図25Aの点線で囲んだ部分を拡大した写真を示す。
デジタルビデオカメラ20および車両動揺測定装置30を、試験車両の前後の運転室にそれぞれ1セットずつ(計2セット)設置し、始点⇔終点間の往復走行で、デジタルビデオカメラ20の設置などのやり直しをすることなく円滑に試験走行ができるようにしている。
図24AおよびBに示すように、試験車両前方の窓ガラスの内面に取り付けられた3つの強力な吸盤を使用して窓ガラスに対して固定治具を固定し、この固定治具に3軸雲台を設け、この3軸雲台にデジタルビデオカメラ20を取り付けた。この3軸雲台により、デジタルビデオカメラ20のパン、チルト、ロール角を微調整できるようになっている。
使用したデジタルビデオカメラ20の仕様は表1に示す通りである(本システムに関連する項目のみ示す)。車両動揺測定装置30としては、株式会社ニシヤマ製のものを用いた。
デジタルビデオカメラ20のマイク端子(音声入力端子)に画像同期装置10の出力端子からのケーブルを接続し、音声トラックに車両動揺測定装置30が出力するデータインデクスを記録する。
表2に、デジタルビデオカメラ20を車両の前方の窓ガラスに設置する際に行う、カメラ姿勢の調整に用いるHDMI−USB変換器60の仕様を示す。
上述のような、試験用装置・プログラムを用いて、試験線にて建築限界支障検知プログラムの基本性能試験を行った。
(軌道・走行方法)
試験線走行区間は直線区間と曲線区間(カーブ区間)とからなる。直線区間の起点⇔終点間を往復し、様々な速度パターンで走行撮影試験を行った。また、沿軌道には、後述する軌道中心からの距離を正確に計測した基準支障物が設置され、誤差解析が可能になっている。
表3に、走行した回数、条件などをまとめて示す。
表3において、走行方向Aは起点から終点に向かう方向、走行方向Bは終点から起点に向かう方向を示す。また、図26に示すように、速度パターンのうち、定速走行パターンは、起点あるいは終点において停止状態から加速し、指定速度に達した状態で定速走行を行い、反対側の起点あるいは終点に向けて減速を行い、停止するという走行パターンである。また、図27に示すように、加減速走行パターンは、停止状態から指定した速度まで加速後直ちに減速を初めてそのまま停止まで減速を行い、停止後に同様の加減速を反対側の起点または終点まで繰り返すパターンである。
(建築限界支障検知機能評価方法)
上述のように、本建築限界支障検知機能では、ビデオカメラ画像中の物体の3次元座標値が計算されるわけではなく、仮定した建築限界枠に対する内外判定を行っている。
そこで、精度は以下のようにして検証している。
・仮想建築限界枠を本来の大きさ(幅が軌道中心から1.9m)より大きくし、設置した基準支障物が仮想建築限界枠に支障するように設定する。
・2.05mから1cmずつ仮想建築限界枠の幅を大きくし、どの幅のときにそれぞれの基準支障物が仮想建築限界枠に初めて支障するかを記録しておく。
・基準支障物は予め、レーザー測距計で、軌道中央からの距離を正確に求めているため、上記の初めて支障した位置と、この計測距離との差が建築限界支障検知プログラムの誤差となる(図28参照)。図29は解析に用いた基準支障物(ポール1〜7)の形状を示す。
(試験線試験結果)
上述のような方法で評価した試験線の走行試験の結果を説明する。
(1)直線区間での基本精度
上述の方法で、直線区間3往復、7つの基準支障物(ポール1〜7)に関する精度評価の結果を表4および表5に示す。表4は計測結果(軌道中心−基準支障物間距離および仮想建築限界枠が支障検知する幅:速度は速度発電機により計測されたもの)を示し、表5は誤差(軌道中心−基準支障物間距離および仮想建築限界枠が支障検知する幅)を示す。
表4および表5で左端列のA、Bは表3に示した走行方向を示す。表4および表5からは、建築限界支障検知プログラムの直線区間の平均誤差は約3cm、95%信頼区間は約6cmとなる。表4および表5では、後述するビデオカメラ画像に対する速度情報の遅れを調整した後のデータを用いている。
(2)曲線区間(カーブ区間)での検知精度
曲線区間3往復、2つの基準支障物に関する精度評価の結果を表6に示す。
表6から計算される誤差平均値は約7.5cmとなる。直線区間と比較して、誤差が2倍ぐらいに拡大することが分かる。
図29に示す基準支障物の実際の撮像状況を図30および図31に示す。
図32に、基準支障物の内側輪郭が斜めになっている対象物での建築限界支障検知状況の画像を示す。図32では、基準支障物内側輪郭に沿って検知が行われていることが確認できる。
図33に、水平に配置された太さの異なる腕輪を持つ基準支障物に対する建築限界支障検知状況の画像を示す。図33より、上から3本目の腕までは、いずれの画像でも検知していることが分かる。4本目は、検知できたりできなかったりしている。検知ができない理由は、腕の占有する画素が少なく、追尾処理で失敗しているためと考えられる。
(速度データ時間遅れの影響)
実際には、収録した速度データをそのまま用いると非常に誤差が大きくなる。しかし、以下のように速度データとビデオカメラ画像との対応関係を数十フレーム分(1フレームは1/60s)シフトすると精度が向上する。表7は速度データのフレームシフト量および平均誤差を示す。
表7で、フレームシフト量の列はフレーム時間単位で速度データを時間シフトした量を示す(速度情報を時刻的に前にシフトする)。約40フレーム(0.66s)ずつシフトしながら平均誤差を見ると、86フレーム(1.4s)程度シフトすると、最も平均誤差が小さい。この傾向は、速度発電機により取得される速度の代わりに、GPS速度を用いた場合も同様である。
この原因としては、以下の項目が考えられる。
・速度発電機、GPSの速度情報計算・伝達による時間遅れ
・車両動揺測定装置30内でのビデオカメラ画像と速度情報との対応付けの時間遅れ
・上記2項目の複合
この現象は、車両に加速度が加わった場合に影響を受け、等速度で走行するような場合には影響を受けにくい。今回の走行試験では軌道が短いために、加速・定速・減速が混合されており、誤差としては非常に複雑になっていると考えられ、今回の試験データだけから、最適なフレームシフトを推定することは困難であると考えられる。
ここで、表4および表5では、上記の理由から84フレーム分速度情報をシフトして処理を行った。参考までに、GPS速度データを用いた試験結果を表8に示す。
GPS速度は、位置情報から速度を割り出しているため、定速状態よりも加速・減速状態は誤差が大きいと思われる。試験線は距離が短いために、ほとんどの区間で加速か減速がかかるため、非常に精度が悪くなっている。
(追尾失敗の原因の検討)
解析を行う中で、建築限界枠から大きく離れた対象物で支障を検知する場合があった。図34に建築限界に支障しない対象で誤検知をしている例を示す。
図34を見ると、多数の縦線が込み入っており、この状況がエピ極線上での追尾を混乱させていると思われる。このエピ極線上での追尾は、前進前の建築限界枠上の画像の小領域をテンプレート画像としているため、近くに同じような画像がある場合、間違った位置に追尾してしまうことがある(図35参照)。近くに同じような縦線があるため、図35のように、類似度プロファイルに2つ以上のピークが現れ隣の縦線との類似度が偶然最も大きくなった場合に、このような誤検知が発生する。
他に、ブロック塀のような格子状の線が規則的に入っていたり、ポールが近接して建てられているような場合に同じような現象が起きる。
また、参考までに、降雨時の検知結果を図36に示す。図36では、車両の窓ガラスに沿って落ちる雨粒に影響されて、検出されるべきポールが検出できていない様子が分かる。
(速度情報のずれ)
上記の(2)曲線区間での検知精度、で指摘した、速度データとビデオカメラ画像とのずれは直接検知精度に係るため、解決する必要がある。
表6で簡易にずれを推定しているが、以下の問題が考えられる。
(1)速度情報の時間ずれが、定常的なものであるか不明
(2)画像と速度データのグラフから直接シフト量を読みとることは困難
(3)平均誤差が最少になるように調整する方法(上記の(速度データ時間遅れの影響)で試みているもの)が必ずしも正しいとは言えない
(3)の理由は、速度情報のずれ以外にも誤差要因が存在し(例えば、(追尾失敗の原因)で述べた追尾の失敗など)、偶然に誤差が小さくなったり大きくなったりしている可能性があるからである。
また、通常の運用としては、速度発電機を使えない場合があるため、GPS速度データで精度を向上させる必要がある。GPS速度データの精度を向上させる方策としては、以下のようなものが考えられる。
・車両質量が大きいため、速度の勾配の変動はあまり無いとして、時間方向に平滑化を図る
・位置情報が取得できるため、速度の累積距離との比較で補正を行う
・測位品質を用いて、精度が悪いと思われるデータを排除し、前後データで補間する
以上の措置を行っても、山間部、高層ビル間などでは精度が悪くなるため、測位品質により計測不可部であることを検出する必要がある。
(追尾の安定化)
上記で述べた近傍に類似の模様がある場合に、追尾処理が失敗する現象は、以下のようにして安定化できる。
現在、2地点の画像を使って類似度プロファイルを作成しているが、類似度プロファイルの横軸は、画像上エピ極線上の距離となっている。この距離は、図37のように画像の注目している画素を通る視線上の奥行きと関連している。
類似度プロファイルの横軸をエピ極線上距離としてではなく、図37の奥行きを表す太く長い斜め線に対して等分割になるようにすることを考える。
このように考えると、もう1つの地点3(例えば、地点1と地点2との中間の地点)に対しても、地点1との間で図37と同じ関係が成り立つ。地点1と地点3でも類似度プロファイルを生成したとすると、横軸は同じ奥行きなので、地点1と地点2との類似度プロファイルと横軸を共有できるようになる。
地点1の画像上建築限界枠の位置にある物体は、図37に示すように、太く長い斜め線のいずれかの奥行きに存在する。
このような地点1に対する地点2、地点3の2つの類似度プロファイルは、いずれも実際に対象物の存在する奥行きで類似度のピークを持つ。しかし、近くの似た他の対象物との類似度のピークは図37の横方向の太く短い線上でずれたところにできる(図38の左図参照)。図38の左図の2つの類似度プロファイルを合成すると図38の右図に示すようになる。正しい追尾位置ではピークが同じところにあるため強め合い、間違った位置では、ピーク位置がずれているため抑制される。
図39に実際のデータで検証を行った結果を示す。図39は、図37における地点1から撮影した信号機の一部をマッチング対象にした様子を示す(矢印参照)。図39に示す矩形がマッチング対象の範囲であり、信号機の金属棒が左端に入っている。図40は、図37における地点2から撮影した画像で、マッチングを行った結果を示す。図40に示す矢印と矩形とが示すマッチング位置は信号機の一部ではなく、照明灯のポール位置となっている。
図41に、地点1と地点2との間のマッチングを行ったときのテンプレート画像と参照画像との類似度プロファイルを示す。図41において、縦軸は地点1で指定した箇所(図39の矢印位置)付近の画像をテンプレート画像とし、地点2において撮影された画像上の参照画像位置を移動した場合のそれら2つの画像の類似度である。この類似度は正規化されており、−1から1までの値を示す。図41の横軸は、図37において探索すべき奥行き(太く長い斜めの線で示されている)上の位置から地点2のカメラ中心に向けたベクトルの進行方向に対する角度φを表している。2次元画像上では、横軸の角度φの増加は建築限界枠外側から内側に向けた方向を表している。
図41に示す類似度プロファイルで最も大きな類似度を示す位置は左側の点線の部分となるが、これは図40に示す背景の照明ポールに騙された結果である。実際には、図41に示す類似度プロファイルの右側の点線位置が正しいマッチング位置であるが、このようによく似た局所的な画像にマッチングが騙されてしまう。
ここで、図37の地点1と地点2との間に中間地点として地点3を加える。地点3で図41と同様に類似度プロファイルを作成すると図42に示すようになる。図42に示す類似度プロファイルでも、偽のピーク位置(左側の点線)が最も大きく、正しいマッチング位置(右側の点線)が検出できていない。
そこで、図41および図42の類似度プロファイルを単純に加算合成したものを図43に示す。図43に示す類似度プロファイルを見ると、正しい位置でピークの最大値をとっていることが分かる。図44に、図43に示す類似度プロファイルから検出されるマッチング位置を示す。図44を図40と比較すると、正しい位置を示していることが分かる。
以上のようにして、マッチングの信頼度を向上させることができた。
(特徴の極端に少ない領域でのマッチング)
上述の参照画像を増やすことによる追尾の安定化を行っても、空のように輝度が飽和している領域や、逆に影が濃く画像がつぶれてしまっているところでノイズが多く発生していた。これは、マッチングに用いる画像の特徴がないことにより、類似度プロファイルに明確なピークがないために、間違った位置でマッチングしてしまうからである。図45に空領域でのノイズを示す。図45では、建築限界枠の右上の空の部分でノイズが発生している。この位置の類似度プロファイルを図46に示す。図46に示す類似度プロファイルでは、図43のような明確なピークがなく最大類似度も0.7程度と非常に低い。
この問題は、類似度プロファイルのピーク位置で、類似度の絶対値に対し、閾値を設けることにより解決することができる。すなわち、閾値以下の類似度では、本来のマッチングではなく特徴の少ない領域での偶然のピーク値が現れているものとして、検出不可能と判断する。
図47は、類似度の閾値を1.2として図45と同じ位置の検出を行ったものである。図47では、ノイズが除去されていることが確認できる。
(カーブ対応)
軌道のカーブ区間では、図48に示すように、予め設定した仮想建築限界枠が、軌道から大きくずれてしまうため、上記の建築限界支障検知アルゴリズムが正常に作動しなくなる。そこで、軌道のレールを認識し、仮想建築限界枠のずれを修正することを考える。
図49に、レールの水平方向追尾処理のアルゴリズムフロー(キャリブレーション時および走行時)を示す。このアルゴリズムフローを説明する。
キャリブレーション時
・キャリブレーション時に表示したビデオカメラ画像上で、GUIを用いて、画像上の下部位置に写っている軌道をマウス指定により矩形で選択する。このとき、追尾を行う範囲をマージンとして余裕のある矩形とする。
・この矩形を関心領域(Region of interest:ROI)として以下使用する。
・画像ROI内部領域に対し、縦線検出カーネルを用いたフィルタリングを行う。
・ROI底辺の2点および消失点を用いて、パースペクティブ(遠近感)を考慮したROIの変形を行う(図50参照)。
図50の左図は、消失点位置、レールおよびROIの関係を示したものである。線検出フィルタによりレール上には大きな値が検出されているが、より安定させるために、画像縦方向にプロジェクションを行いたい。こうすることで、レール特徴の強弱が安定する。しかし、パースペクティブが存在するため、レールは消失点に向けて幅が狭くなっており、そのまま縦方向プロジェクションを行ってしまうと、レール幅が増大して位置が正しく求められない。そこで、図50の中央の図のように、ROI底辺の2点と消失点とを結ぶ点線の直線を考える。この点線の2直線とROI上辺との交点(1’、2 ’)を生成する。図50の○で示す点1、2、3、4と1’、2’、3、4とを対応点として、ホモグラフィ行列を求めてROI内部の画像を変形し(ホモグラフィ変換)、図50の右図のようにレールが垂直線になるようにする(上面変換画像)。
・図50の右図の状態で垂直方向プロジェクションを行う。
・プロジェクションによって得られた線特徴プロファイルの2頂点を検出する。その方法は、まず、全体の平滑化後、プロファイルの中央で探索領域を分割し、それぞれで最も値が大きい画素を選択する。得られた2つのレール位置の平均位置をレール中心とし、マスター位置として記憶する。
走行時
・ROIおよびレール中心のマスター位置は予め読み込んでおく。
・ビデオフレーム画像の読み込み
・レール中心位置の推定までは、キャリブレーション時と同じ。
・マスター位置とのずれを計算し、このずれを逆ホモグラフィ変換で元画像上のずれに変換後、ビデオフレーム画像の水平方向を修正する。
なお、消失点水平方向移動時の画像補正は、厳密にはカメラ回転変換を行う必要があるが、回転角が微小であるため、2次元画像平行移動で代用する。
以下に、実際のレール位置検出の様子を示す。
検知対象領域の切り出し
図51に示すように、画像からレールを含む領域を切り出す。この領域の範囲は、縦方向は、建築限界支障枠の地上接地面近辺、横方向は、前フレームで検出されたレールの中心位置を基準とした左右一定範囲とする。なお、前フレームがない場合はレールの中心位置が算出できないので、ユーザーが指定する。
パースペクティブを考慮した変形
図52に示すように、切り出し領域の下部左右両端と画面上の消失点とを結ぶ直線を求め、これと切り出し領域上部との交点が切り出し領域両端に来るようにホモグラフィ変換を行う。
画像のモノクロ化
図53に示すように、以降の処理を高速化するため、画像をモノクロ化する。なお、ここで作成したモノクロ画像の輝度平均値、分散値が一定値以下の場合はトンネルなどでレールが映っていないものとし、レール追尾を中止、レール位置は前回値と同じとする。
各方向エッジの検出
図54に示すように、グレー化画像から上/下/左/右の画像エッジをそれぞれ抽出する。エッジ抽出にはSobelフィルタ(ソベルフィルタ)を用いた。
エッジの平滑化
図55に示すように、上/下/左/右の画像エッジをガウシアンフィルタでぼかす。この例は左側エッジに対してのものである。
図56に示すように、左エッジ/右エッジのぼかし画像を重ねて縦方向に延びるエッジ画像を作成する。同様に、上エッジ/下エッジのぼかし画像を重ねて横方向に延びるエッジ画像を作成する。
以上のオペレーションを行うことによって、レールの照明環境の変化による途切れなどを防止する。
レール以外の成分排除
図57に示すように、上述のように作成した縦方向のエッジ画像から横方向のエッジ画像を引くことで、枕木やバラストなどの余計なノイズを除去し、縦(列車の進行方向)に延びているレールのエッジを抽出する。
エッジ画像の縦方向総和
図58に示すように、上述のエッジ画像の輝度の縦方向総和を求め、画像横方向に対する輝度断面を作成する。
レール幅の検証
図59に示すように、算出した縦方向総和の凸点を抽出した後、抽出した凸点間それぞれの距離を算出する。これがレール幅相当値に近く、かつ前回の左右レール位置(の中心)から離れていない箇所の点を求める。これがレール端に最も近い点となる。
次に、図60に示すように、算出した両端から指定した幅内の値を左側/右側それぞれで0〜255に正規化した後、正規化した値を5次関数で近似し、頂点の座標を算出する。これが左右それぞれのレールの位置となる。
以上のようにして、2 次元画像内のレール左右位置を追尾する。
図61に示すように、カーブ区間に上述の建築限界支障検知アルゴリズムを適用するためには、デジタルビデオカメラ20が進む前と後の建築限界枠のデジタルビデオカメラ20に対する位置を正しく計算できなければならない。図61に示すように、カーブ区間でデジタルビデオカメラ20が進行すると、仮想的に設定した建築限界枠は、中心位置および姿勢がデジタルビデオカメラ20に対して変化していく。この変化は、レールの曲率半径に依存しているため、画像上のレール左右位置からレールの曲率半径を求める必要がある。
右にカーブした軌道を進行する場合を考える。その場合、前方に設定した仮想建築限界枠は、右にシフトする。このシフト量の推定は、上述の2次元画像上のレールの追尾によって求める。直進時の軌道面レール中央位置をO、実際にカーブしたレール中央の位置をO’とし、デジタルビデオカメラ20からこの地点に向かう方向ベクトルを
とする。
以上の状態、すなわちカーブ軌道でのデジタルビデオカメラ20の位置とレール中心位置との関係を3次元的に表すと図62に示すようになる。
図62に示すように、デジタルビデオカメラ20が車両の中央位置Cに取り付けられている場合、図62の左に示す直進接地ポイントOは、仮想建築限界枠と車両間との間の距離dだけ離れた位置となり、その方向は、車両がある位置での姿勢を基準とするため軌道から左側にはずれている。このとき、角OCO’=α’はこの2ベクトルの内積から
として求められる。ただし、〈〉は内積を表す。角COO’は直角であるから、OO’間距離eは、
として求められる。この状態を上方から見ると図63に示すようになる。ここで、車両がレールと接触する車輪位置は、図63に示すように、カメラ位置からsだけ下がったところにある。よって、
として求められる。
また、αが求められれば、以下のように建築限界枠の重力軸周りの傾きが分かる。すなわち、カーブの曲率中心をQ、カメラ位置をC、カーブ上仮想建築限界枠をO’とする。短い区間CO’でのカーブは真円の一部であると仮定すると、この円周上に2点を持ち、円の中心にもう1点を持つ三角形QCO’はCO’を底とする二等辺三角形である。よって、Qから底辺に引いた垂線はCO’=d’を二等分する。また、COがCでの接線であることから、角QCOは直角であるため、角QCO’=βは
となる。よって、角CQO’はπから2βを引いたものとなり、
として得られる。
曲率が求められれば、仮想建築限界枠の位置および姿勢を正しく求められる。デジタルビデオカメラ20が進行方向に正対していれば、建築限界枠の位置ベクトルは、
となり、回転はY軸回転θのみ
となる。
次に、上述のように推定した建築限界枠を地点2から見た場合を想定する。
まず、図63のrを下記の式(4)で求める。
建築限界枠を設定した地点1からwだけ進んだところを地点2とすると、デジタルビデオカメラ20の姿勢および位置は図64に示すように変化する。図64では、初め地点1に車両車輪中心があり、そこからsだけ前方の位置にデジタルビデオカメラ20が存在する。車輪中心位置での軌道カーブ接線方向に車両前方が飛び出している。この位置から前方dの距離の地点を考え、ここから直角線が軌道と交わるまでの距離をeとした。この状態から、車両がwだけ進み、車輪中央位置が地点2に来た時には、デジタルビデオカメラ20の姿勢は、下式で計算されるθだけ変わる。
このとき、近似的に距離eは
に変化する。よって、地点2での建築限界枠の位置ベクトルは、
となり、回転はY軸回転ωのみ
となる。
以上のアルゴリズムを実装し、実際のデータを処理した結果、すなわち画像上レール位置から推定したレール曲率半径(前後台車を考慮しない場合)を図65に示す。
前述のアルゴリズムによる計算では、レール曲率半径は120m程度と実際の値とは大きくかけ離れた数字となった(実際にはレール曲率半径R=300m)。その原因は、図64において、車両前台車が地点1にある場合、デジタルビデオカメラ20の姿勢は地点1での接線方向と仮定していることである。実際には、車両の前後に配置された台車とレールおよびカメラ視線軸との関係は図66に示すようになる。図66を見ると、車体の方向は、前後2つの台車の中間位置(●で示す点)でのレールの接線方向となる。しかし、車体の左右方向中心は、前方台車の位置(◎で示す点)に拘束されシフトしている。ここまでの計算で図66中の未知数は、車体左右中心のシフト量ηと、前後台車中心からレール追尾位置に向かうベクトル(右下がりの破線で示す)と接線(水平な破線で示す)とがなす角αの2つである(s’は前後台車距離の1/2)。
レール曲率半径rは式(4)で求められるから、以下の式が成り立つ。
また、●で示す点での接線と、この●で示す点から◎で示す点に向かうベクトルとのなす角α’をαとηおよびeから求める。実際には、αは小さな値であるため、以下の近似が成り立つ。
このα’からrを求めると、
式(8)と式(10)とを連立させてαおよびηを求め、最後にレール曲率半径rを求める。
以上のアルゴリズムを実装し、図65と同じデータを処理した結果、すなわち画像上レール位置から推定したレール曲率半径(前後台車を考慮した場合)を図67に示す。図67から、レール曲率半径は312.697mとなり、前後台車を考慮しない場合よりも実際のレール曲率半径(R=300m)に近づいていることが分かる。
以上のカーブ対応措置を施しても、表6に示すように、曲線区間の誤差は直線区間に対し、ほぼ倍になっている。誤差の原因としては、以下のことが考えられる。
・レール追尾の誤差の影響
・カーブ区間カントの影響
・ロール軸周りの振動の影響
・速度情報の誤差
レール追尾の誤差に関しては、レール上面の画像の状況が影響する。営業線においては常に車両が走行するために、レール上面は鏡面状となっていることから、画像内での輝度が高く、追尾処理の精度が確保できる。しかし、試験線のレールでは、レール上面は必ずしも鏡面になっていない箇所があり、また脱線防止のガイドなど、レールと紛らわしい構造が存在するため、レール追尾の誤差が発生しているものと推測される。レール追尾位置の精度が低下すると、仮想の建築限界枠の左右位置がずれるために、直接精度に影響すると思われる。カーブ区間においてはカントが存在しているため、車両自体が傾く。このとき、建築限界枠もレール平面に応じて傾くため、本来は精度を低下させる要因とはならない(カーブの入り口、出口では、カメラ位置と仮想建築限界枠位置とが異なるため、若干の姿勢差は発生する)。しかし、台車が傾くと遠心力の弱い低速時にそのばね(2次サスペンション)の上部の車体はさらに傾くという性質がある。その様子を図68に示す。図68に示す現象により、本来カントを持ったレール面上に設定された仮想の建築限界枠はよりカーブ内側に傾くこととなる。この角度自体は小さくても、建築限界枠の左右方向の誤差は数cmにおよぶ。
また、カーブ区間では軌道面の平坦性を制御することが難しいため、試験線では車体のロール軸周りの振動が発生していた。仮想の建築限界枠は車体ロール軸周りの回転はそのまま影響するため、大きな誤差要因となる。
建築限界枠のロール軸に関する誤差は、さらにレール追尾位置の誤差にも影響するため、上述の誤差と加算され、カーブ区間では、大幅に精度が低下するものと思われる。
分岐部分のレール追尾復帰
レールが分岐する部分において、左右方向のレールの動きを追従する機能が、しばしば実際に走行する分岐方向とは別のレールを追尾してしまうことがある。これは、デジタルビデオカメラ20が前方を見ているために、画像上で分岐を通過しているにもかかわらず、車体の方向は分岐方向に向いていないことなどから誤作動を起こしている。
この線路空間支障物検知システムの開発前は、分岐部分で一度レール追尾に失敗するとしばしば正しいレール位置を見失い、その後の支障検知処理が全て失敗してしまっていた。この問題は、分岐部分で追尾の失敗が起こっても、確実にレール追尾を復帰させ、後の支障検知処理を実行できるような機能を追加することにより解決することができる。その処理手順は以下の通りである。
・上述のカーブ曲率半径を監視
・カーブ曲率半径が100mを切るとあり得ない曲率半径と判断し、分岐部分での失敗と判定する。
・直進位置にレール追尾探索範囲を戻す。
・レール位置を認識し、通常の処理に復帰する
図69〜図72に、上記手順を実行している様子を示す。図69は分岐部分へ突入する直前の画像である。車両は直進する。図70ではレール追尾が走行しない右分岐レールを追尾してしまっている。図71では、誤った追尾の結果、推定されるレールの曲率半径が105.375mと異常に小さくなっている。これは、車両方向が直進方向を向いたまま、レールのみが右にずれているために起こっており、明らかに車両が乗っていないレールを追尾していることを示す。よって、この曲率半径に適当な閾値を設け(現状は100m)、閾値を下回った場合に、直進レールに復帰する。図72に復帰した様子を示す。図72で直進レール位置にレール追尾が復帰し、その後通常の処理が続行される。この方法では、支障検知処理は分岐部分を経ても続行できるようになるが、追尾が誤作動を起こし、直進レールに復帰するまでの区間はそのままでは正しい支障検知処理ができていない。その対処法に関しては後述する。
(データベースを用いた処理のスキップ)
本システムは、照明環境の問題からトンネル区間が、また速度の問題から駅前後の区間で検知処理が正しく働かない。この問題は、これらの区間をキロ程で管理しているデータベース情報を使用し、検知処理をスキップする機能を追加することにより解決することができる。ただし、ここでは、トンネル区間を表すデータベースしか無い場合を考え、トンネル区間のスキップが可能であるかどうかを確認した。
(連動表示プログラム100による表示)
図73に示すように、本システムで検出した結果を動揺(左右、上下)とビデオカメラ画像とを連動表示できるビューアプログラムで表示できるようにした。ビューアプログラムの機能は以下の通りである。
・建築限界支障検知プログラムで検出された支障の位置を示すキロ程および画像上の位置を示すCSVファイルを読み込む
・再生ビデオ画面上の支障位置にマーク(例えば、赤丸マーク)を表示する。
・下部グラフ表示エリアに、後述する支障箇所累積グラフを表示する。
以上の機能をビューアプログラムに追加することで、全域に亘る支障箇所をグラフからすぐに読み取れ、また、その位置のビデオカメラ画像および支障箇所を詳細に観察することができる。
[営業線撮影試験]
下記の通り、この線路空間支障物検知システムを用いて、JR西日本の営業線で4回、撮影試験を行った。
(1)1回目
実施日:2013年11月28日
路線:山陽本線・芸備線
山陽本線区間 新山口−新下関
芸備線区間 広島−三好
(2)2回目
実施日:2013年12月19日
路線:山陽本線・東海道本線・奈良線
山陽本線・東海道本線区間:神戸−米原
奈良線区間:京都−木津
(3)3回目
実施日:2014年1月16日
路線:山陽本線・芸備線
山陽本線区間:新山口−新下関
芸備線区間 広島−三好
(4)4回目
実施日:2014年2月13日
路線:山陽本線・東海道本線・奈良線
山陽本線・東海道本線区間:神戸−米原
奈良線区間:京都−木津
本試験では、建築限界支障検知機能に関し、営業線にて試験撮影走行を行い、その実用的性能を確認した。
本試験は、先に説明した試験線撮影試験とは異なり、実運用を想定したデジタルビデオカメラ20の設置などを行い、様々な天候、時刻、沿線環境に対して撮影を行った。また、試験線での撮影時とは異なり、レール中心からの距離を別途正確に計測した基準支障物は配置できない。その代り、支障物として、標準的な大きさのものと、必ず支障が発生する大きさのものとの2種類用意して、その支障検出の様子を検証し、各条件の変動に対してどの程度頑健であるかを確認した。なお、今回は速度発電機からの速度情報は取得できなかったため、GPS速度を利用した。
(撮影状況概要)
撮影には、試験線で用いたものと同じ機材を用いた。図74〜図80に、営業線での撮影システム取付け状況を示す。ここで、図74は1回目の試験における山陽本線下りのデジタルビデオカメラ20の設置状況、図75は1回目の試験における芸備線下りのデジタルビデオカメラ20の設置状況、図76は2回目の試験における山陽本線・東海道本線のデジタルビデオカメラ20の設置状況、図77は2回目の試験における奈良線のデジタルビデオカメラ20の設置状況、図78は3回目の試験における芸備線のデジタルビデオカメラ20の設置状況、図79は3回目の試験における山陽本線のデジタルビデオカメラ20の設置状況、図80は4回目の試験における奈良線のデジタルビデオカメラ20の設置状況を示す。
(走行路線・区間)
本試験では、上記の路線および区間で撮影走行試験を行った。
表9に、撮影走行試験を行った営業線に関する基本情報を示す。
(営業線試験結果)
以下に、ビデオ画像全体の建築限界支障検知結果を示す支障箇所累積グラフを示す。支障箇所累積グラフとは、ビデオの1フレーム内の仮想建築限界枠(図81参照)において、支障していると判定された箇所(図81の右側に示す破線のだ円内の大きい●)の数を積算したもので、ビデオの1フレーム毎の値となる(図81の場合、累積値は10となる)。当然、この1フレームの支障箇所が多く、また複数フレームに連続して支障している箇所で実際の支障が起こっている確率あるいは支障度合いが高いと考えられる。
図82に、支障箇所累積グラフの例を示す。図82において、縦軸は上述した1フレーム内の支障箇所累積数、横軸はビデオフレームの番号、すなわち時間軸である。ビデオカメラ画像の1フレーム毎にGPSによる撮影位置情報が関連付けされているため、横軸をキロ程に置き換えてもよい。どの横軸に対しても、一定の値が存在するが、総じて3以下であり、これは検出ノイズである。よって、縦軸の4あるいは5を閾値とし、閾値以上になるフレームで支障が起こっていると判断すればよい。図82に示す例では、162000フレームあたりで突出した値があり、ここで大きな支障が起きている可能性が高いと判断される。また、165000フレームあたりでは、各フレームでの支障累積値はそれほど高くないが、3以上の状態が、長く続いている様子が見える。この部分は、植生が軌道に近づいているように、ある一定の区間で支障が続いていることを示す。
このように、支障検知箇所累積グラフは、検知結果のビデオカメラ画像を見ることなく、路線の支障の様子を一覧的に確認する優れた表示方法であるといえる。
図83〜図89に、表9で示した営業線撮影データのうち、代表的な1駅間で異なる日に撮影したデータの支障検知箇所累積グラフを示す。図83は、2013年11月28日の9:30頃(雨上がり後)の山陽本線の厚狭駅→埴生駅の支障検知箇所累積グラフを示す(左右幅は軌道中心から±1900mm)。図84は、2014年1月28日の14:30頃(曇り時々晴れ)の山陽本線の厚狭駅→埴生駅の支障検知箇所累積グラフを示す(左右幅は軌道中心から±1900mm)。図85の上図は、2013年11月28日の16:10頃(雨)の芸備線の向原駅→井原市駅の支障検知箇所累積グラフを示す(左右幅は軌道中心から±1900mm)。図85の下図は、2014年1月16日の10:30頃(曇り)の芸備線の向原駅→井原市駅の支障検知箇所累積グラフを示す(左右幅は軌道中心から±1900mm)。図86は、2013年12月19日の16:30頃(曇り)の東海道本線の尼崎駅→立花駅の支障検知箇所累積グラフを示す(左右幅は軌道中心から±1900mm)。図87は、2014年2月13日の13:50頃(晴れ)の東海道本線の尼崎駅→立花駅の支障検知箇所累積グラフを示す(左右幅は軌道中心から±1900mm)。図88は、2013年12月19日の15:00頃(雨および窓のくもり)の奈良線の六地蔵駅→桃山駅の支障検知箇所累積グラフを示す(左右幅は軌道中心から±1900mm)。図89は、2014年2月13日の10:00頃(晴れ)の奈良線の六地蔵駅→桃山駅の支障検知箇所累積グラフを示す(左右幅は軌道中心から±1900mm)。
ただし、上記の支障箇所累積グラフにおいては、解析がしやすいように、手動で以下の編集を行っている。すなわち、駅およびトンネルでは検知ができないため、該当するフレームのデータを削除している。また、1−3点の誤検出は頻繁に起こるため、グラフでは5点以下の累積データを排除した。
支障箇所累積グラフから読み取れる検知結果の概要
基本的に、図83から図89までの支障箇所累積グラフは、仮想の建築限界枠を設計値(左右幅1.9m)と合わせているため、理想的には植生が偶然軌道内に延びている箇所以外では検知がないはずである。しかし、図83〜図89のグラフでは、しばしば誤検出がノイズとして発生していることが分かる。
ただし、芸備線では植生が支障していると思われる箇所があり(図85の矢印箇所)、現地のビデオカメラ画像は図90〜図92に示すようになっている。図90は芸備線の向原駅→井原市駅間で植生が支障している例を示し、図85の下図の(1)に対応する。図91は芸備線の向原駅→井原市駅間で植生が支障している例を示し、図85の下図の(2)に対応する。図92は芸備線の向原駅→井原市駅間で植生が支障している例を示し、図85の下図の(3)に対応する。
図93は、山陽本線の厚狭駅→埴生駅間で隣接軌道上に誤検出している例であり、矢印の箇所は図84の右下の破線のだ円で囲んだ部分に対応する。このような隣接軌道上の誤検出は、軌道以外にも進行方向に延びる直線を持つ構造、例えば鉄橋鋼材などでも起こっており、進行方向に同じような構造が続くために、グラフ上で目立つものとなっている。進行方向に直線が続く構造において誤検出する理由、対策に関しては後述する。
なお、図84の左側の破線のだ円で囲んだ長い区間に亘り、大きな値で検出されているのは、対向車両である(図94参照)。この対向車両は、実際には建築限界枠内に支障していない距離にあると思われるため、この結果は誤検出である。対象物が大きく、また貨物列車などの場合には、誤検出する時間が長くなるため、図84の左側の破線のだ円で囲んだ部分のようなものとなる。
また、同一路線・駅間で異なる日に撮影が行われており、山陽本線、芸備線、奈良線では天候が異なり、東海道本線では、昼間と夕方と時刻が大きく異なる。当然、昼間・晴天(あるいは曇り)の方が検出処理には条件が良く、実際グラフを見ても、ノイズが少ないことが分かる。
雨天の場合には、窓ガラスに付着する雨粒やガラスのくもりなどが影響して正しいマッチング処理ができないと思われる。図95は、奈良線の六地蔵駅→桃山駅間で雨粒・ガラス曇りで誤検出している例を示し、矢印の箇所は図88の破線のだ円で囲んだ部分に対応する。
図96は、図92と同じ個所を雨天時に走行し、植生の支障を検知できていない例である。図96の仮想の建築限界枠の右側の植生を見ると、画像が極端に暗く、また雨粒で画像が不鮮明になっている。この状況によりマッチングが失敗し、支障検知できていないものと思われる。
図85の下図の(4)は逆に雨天時に検出されているものが、晴天時には検出できていない例である。図97にその様子を示す。図97は、雨天時に芸備線の向原駅→井原市駅間で植生が支障している例を示し、図85の下図の(4)に対応する。図98は、曇りの時に芸備線の向原駅→井原市駅間で植生が支障しない例を示し、図97に対応する。この例は、図97と図98とでは季節が異なっており(図97は11月、図98は1月)、図97では見づらいが、植物の穂が繁茂しているのが確認でき、これに反応したものと思われる。図98では同植物は枯れてしまっており、穂もなくなっていることから、実際軌道からの離間が拡大したのと、植生の面積が縮小したことが原因で検知できなくなったものと思われる。
以上の結果は、設計値の建築限界枠のサイズでの試験であるため、芸備線での植生が若干支障しているのみで、他はノイズしか見えず実際の検知の様子が分かりにくい。そこで、仮想の建築限界枠を大きくして、沿線の設備に接触するようにし、確実に検知できているかを確認した。
図99は、10:30頃(曇り)の芸備線の向原駅→井原市駅での支障検知箇所累積グラフを示す(左右幅は軌道中心から±2700mm)。図99は、図85の芸備線の向原駅→井原市駅間で仮想建築限界枠を設計値よりも外側に800m拡張して支障検知をしたものである。図99を図85の下図のグラフと比較すると支障箇所が増えていることが分かる。
図99のグラフで、支障箇所が10を超えるピーク値を全域に亘り57か所選択し、そのフレームの画像を確認した。その結果、目視ではレール中心から左右約2700mm以内に入っていると推測される植生の膨らみ、各種標識が支障していることを確認した(図100〜図103参照)。図100は、芸備線の向原駅→井原市駅間(晴れ)で植生が支障している例を示し、図99の(1)に対応する。図101は、芸備線の向原駅→井原市駅間(晴れ)で植生が支障している例を示し、図99の(2)に対応する。図102は、芸備線の向原駅→井原市駅間(晴れ)で植生および標識が支障している例を示し、図99の(3)に対応する。図103は、芸備線の向原駅→井原市駅間(晴れ)で設備が支障している例を示し、図99の(4)に対応する。図104は、2014年2月13日の13:50頃(晴れ)の東海道本線の尼崎駅→立花駅間の支障箇所累積グラフを示す(左右幅は軌道中心から±3000mm)。図104は、図87の東海道本線の尼崎駅→立花駅間で仮想建築限界枠を1100mm拡張して支障検知をしたものである。図104を図87のグラフと比較すると支障箇所が増えていることが分かる。
図104のグラフで、支障箇所が10を超えるピーク値を全域に亘り51か所選択し、そのフレームの画像を確認した。その結果、目視ではレール中心から約3000mm以内に入っていると推測される電柱・標識・信号機・植生の膨らみが支障していることを確認した(図105〜図109参照)。図105は、東海道本線の尼崎駅→立花駅(晴れ)で信号機が支障している例を示し、図104の(1)に対応する。図106は、東海道本線の尼崎駅→立花駅(晴れ)間で電柱が支障している例を示し、図104の(2)に対応する。図107は、東海道本線の尼崎駅→立花駅(晴れ)間で電柱および架線支持が支障している例を示し、図104の(3)に対応する。図108は、東海道本線の尼崎駅→立花駅(晴れ)間で信号機が支障している例を示し、図104の(4)に対応する。
支障箇所累積グラフでみると電柱・信号機などは全て認識できるが、検知箇所を詳細にみると図109のように部分的に未検出になっている部分がある。図109の上の矢印で示す部分では、検知ができており、下の矢印で示す部分では同じ電柱の輪郭部分を検出できていない。このような現象は、電柱、標識など細い構造物でしばしば出現している。
(営業線撮影試験の考察)
上述の営業線撮影データの支障箇所累積グラフと、対応するビデオカメラ画像上の支障検知結果の解析から以下のことが分かった。
・晴天・曇りの昼間に撮影された画像では、以下に述べるノイズ以外では支障の有無を正しく反映できている
・支障検知枠を大きくし、支障箇所累積グラフを生成すると、植生などが軌道に迫ってきている箇所を的確に判断することができる
また、問題点として以下のことが分かった。
・雨天・夕方では、支障検知を実行できる場合もあるが、安定した検知ができない
・進行方向の直線構造を持つ対象物(隣接するレールなど)では誤検出が発生する
・電柱などが一部検出できないものがある
上記の問題から、まず雨天、夕方以降の撮影は運用で避けるようにしなければならない。
また、進行方向に延びる直線構造で誤検出が起こる理由は以下の通りである。
すなわち、隣接する軌道のレールの方向は車両の進行方向と同じである。この場合、隣接軌道のレールの方向が、マッチングを行う際に探索する方向と完全に一致する(図110参照)。このような場合、テンプレート画像に似た画像が探索方向に連なるため、類似度のプロファイルは類似度が高いまま、顕著なピーク位置を持たない。図111に、図110の矢印位置での類似度プロファイルを示す。図111に示す類似度プロファイルは、図43に示す類似度プロファイルと比較すると、明確なピークが無いことが分かる。そのため、正しいマッチングできない。これは、ステレオマッチングにおける開口問題として知られる現象である。
この問題を解決するためには、デジタルビデオカメラ20の台数を増やし、マッチングにおける曖昧さを無くせばよい。しかし、デジタルビデオカメラ20は単に増やすだけではなく、フレーム単位で正確に同期が取れている必要があり、また2つのデジタルビデオカメラ20の姿勢・位置を事前にキャリブレーションしておく必要がある。さらに、キャリブレーション後は、デジタルビデオカメラ20の位置および姿勢を精度良く保持しなければならないため、実用的には専用の筐体を必要とする。また、2つのビデオカメラ画像を同時に録画するシステムも必要となり、可搬型のシステムとしては比較的大掛かりなものとなる。
デジタルビデオカメラ20が1台でも、ロボットビジョンのようにカメラが2軸移動できれば、同様にこの問題は解決できるが、この例では、進行方向1軸の移動のみである。よって、抜本的な解決ではなく、ノイズが発生しないような対策を考える。すなわち、図111と図43との類似度プロファイルのピークの形状の違いを利用する。すなわち、ピーク位置での類似度と、類似度全体の平均値との比率が1に近い場合は、図111に示すような状態であるとして、検知をしないこととする。図112は、試験的に上述のアルゴリズムを導入した図110と同一箇所の検出結果である。図112では、図110の右下側の隣接する軌道上レールで誤検出されていたノイズが排除されていることが分かる。
最後に電柱、信号機など細い構造物においてその本体の一部で未検出が起こる原因は、ステレオマッチング処理や、追尾処理においてオクルージョン(occlusion)問題として知られる、前方にある物体の輪郭部分と背景の関係が変化することにより起こるものである。
図109を拡大し、検知できている部分とできていない部分とを確認すると、検知できている部分は、電柱に付属する錘が右側に連続しており、未検出部分は輪郭の外側は遠く離れた位置にある建物が写っている(図113参照)。図114に図113から3フレーム後の同一部分の画像を示す。図114の上の破線の矩形内の画像は、図113の同一部分と同じであるのに対し、図114の下の破線の矩形内はその右半分の内容が大きく変化していることが分かる。この現象により、図114の下の破線の矩形でのマッチングは正しく作動しない。一方、植生や、ある程度の大きさのその他の物体では、輪郭内部の面積が広いために、図114の上の破線の矩形部分と同様の状態となっており、マッチングが正しく作動する。
この問題を解決するためには、マッチングに用いるテンプレートが電柱の直径より大きくなるように拡大することが有効である(図115参照)。図115の小さい破線の矩形は現在用いているテンプレートのサイズである。このサイズだと、輪郭部分で上述のオクルージョンの問題が発生する。これに対し、図115の大きい破線の矩形のようにテンプレートサイズを大きくすると、電柱全体が入る。この状態でも、背景の画像は変化するが、手前の電柱へのマッチングによる類似度の寄与が大きいため、正しい位置でマッチングできる。ただし、テンプレートサイズが大きすぎると、類似度への寄与が減少し、マッチングが正しく働かない。よって、対象に応じて適切なサイズがあるため、複数のテンプレートサイズを用意する必要がある。
テンプレートを複数使用したマッチングを行うと、処理時間が非常に大きくなってしまう。そこで、テンプレートサイズを大きくするのではなく、図116に示すようなピラミッド画像を生成し対応する。すなわち、図116に示すように、入力画像の縮小率を段階的に変えた複数解像度の同一内容の画像(ピラミッド・レベル1、2、3)を生成し、これに対し同一サイズのテンプレートを適用することで、テンプレートサイズを変更したものと同様の効果を得る。
(支障検知が可能な条件)
実運用で、支障検知が安定して実行できる条件を考察する。本システムは、基本的に画像をデータ源とするため、良好な画像が撮像されることが基本条件である。良好な画像という条件をさらに具体的に説明すると以下のようになる。
・画像分解能が十分である
・輝度分解能が十分である
・幾何情報が正しく保存されている
画像分解能が低いと、画像のデテイル(detail)が失われるために、マッチング精度が低下する。この現象が起こる原因としては、カメラのブレ、窓の曇り・汚れなどが考えられる。
輝度分解能が低くても、同様に画像のデテイルが失われる。暗い画像の場合と正常な明るさの画像で同じ対象物を捉えると、暗い画像の方が、輝度分解能が低い。これらの現象は、曇天・雨天で雲が厚く暗い場合、および日没後に起こる。逆に明るすぎる場合も同様に、輝度分解能が低くなることがある。この現象は、冬季や夕方など太陽の角度が低く、カメラの方向が太陽の方向に向いている場合(逆光)などに起こりやすい。
幾何情報が正しく保存されていないとは、映像が歪んだり、欠損していることである。原因としては、雨だれによる光の屈折が顕著である。また、窓ガラスの湾曲、透明な物質による汚れでも同様の現象が起こる。
画像分解能が低い例
図117は冬季雨天で窓ガラスが曇っている例である。このような場合には、画像解像度が低下し、ステレオマッチングが失敗しやすくなる。
画像分解能・輝度分解能が共に低い場合
図118は雨天の夕方の画像であるが、輝度分解能が低く、デテイルが失われている。また、輝度が低いと、カメラ内部で行われる自動感度補正により感度が自動的に増大する。人間の目には見えやすくなるが、ノイズが持ち上がってくるため、輝度分解能・画像分解能が低下する。さらに、暗い画像では動画圧縮処理により画像分解能がさらに低下する。人間の目で見える画像でも、このように画像処理を行うための輝度分解能・画像分解能は低下しているため、注意が必要である。
幾何情報が正しく保持されていない例
図119は、雨天(あるいは雨上がり)時に窓ガラスの外側に雨粒が付着し、光の屈折が起こって幾何情報が正しく保持できていない例である。このように幾何情報が正しく保持されていないと、マッチング結果が正しくない位置となり、支障検知に誤りが起こる可能性がある。図120は、窓ガラスの汚れが風景を遮り、正しい幾何情報が保持できていない例である。当然ながら、正しい支障検知ができない可能性がある。また、図120では、画面中央下に、逆光によるフレアが現れており、このような現象も画像の幾何情報を正しく保持できない原因となる。また、逆光であるため、カメラ内部の自動感度補正が過剰に働き右側の建物が黒くつぶれてしまっている。
逆光条件
図121は画面内に太陽が入り込み、電柱、建物等の建造物がシルエットとなってしまっている例である。左側建物の前に、電柱が存在するが、画像からは分別できない。直接太陽が画面内に入っていない場合でも、太陽の方向にデジタルビデオカメラ20が向いている場合は、撮像対象は影の面が見えるため、デテイルがつぶれている場合が多い。
以上のことを考慮すると、撮影を避けるべき状況は以下の通りである。
・雨天(暗い・雨粒・ワイパー)
・夜・早朝・夕方(暗い)
・太陽の位置が低い冬季あるいは夕方の太陽の方向に向いた撮影(逆光条件)
また、良好な撮影を行うためにデジタルビデオカメラ20の設置時に気を付けることは以下の通りである。
・カメラレンズ直前の窓ガラス面に汚れがない
・ガラス面が曇っていない
・曲率の小さなガラス曲面部分にデジタルビデオカメラ20を取り付けない
・金属面、白い面が画像に写り込んでいない(逆光に近いときに顕著になる)
・取付の不具合でデジタルビデオカメラ20が振動しない
以下に、上述の考察を考慮し良好な映像を撮影するための幾つかの方策を述べる。
(良好な画像を得る方策の考察)
天候、季節、時刻などの要因以外で映像が劣化することを防ぐために以下のことが考えられる。
振動対策
デジタルビデオカメラ20の振動対策の要点は以下の通りである。
・ガラス面への取り付け(吸盤による吸着)は3点支持とする
・デジタルビデオカメラ20と雲台との接触面はできるだけ広くする
・雲台は、ボールジョイント方式のものは避ける
デジタルビデオカメラ20の取り付け用の部材を太く強力なものにしても、1点あるいは2点で支持するような機構が混在していると、振動が発生し、場合によっては共振により増幅される。常に3点以上での支持がされていることを確認する必要がある。
窓ガラスの汚れ・映り込み対策
天候、季節、時刻による影響以外で最も大きな問題が窓ガラスの汚れ、映り込みである。この問題の緩和策の1つとしては、図122に示すように、デジタルビデオカメラ20を窓ガラスに近づけることである。図122に示すように、デジタルビデオカメラ20を窓ガラスに近づけると、汚れが視野に入る確率および映り込みが起こる確率が共に減る。また、視野に入った汚れもピントが合いにくいため、画像への影響が緩和される。映り込みに関しては、レンズ前方からレンズフードを窓ガラスまで伸ばすことで完全に排除できる。デジタルビデオカメラ20を窓ガラスに近づけられない場合は、偏光フィルターをレンズに取り付けることで映り込みを軽減することができる。ただし、偏光フィルタは光量を落とす効果もあるため、注意が必要である。
逆光条件対策
デジタルビデオカメラ20の機種によっては、逆光補正機能が装備されているものがある。しかし、この機能は逆光でない条件では露出オーバー気味になってしまうため、逆光条件以外では画質を落としてしまう恐れがあり本システムでは使用しにくい。一般に正面を向けたビデオカメラ画像では、地平線よりも上が空である場合が多く、恒常的に平均輝度が高い。そこで、ハーフフィルターを使用する。このハーフフィルターとしては、フィルター面の半分が透明で、残りの半分がND(減光)フィルターとなっているものを用いる。境い目はグラデーションとなっていて、画像の半分が自然に暗くなるように設計されている。ハーフフィルターを使用すると、逆光気味(太陽はまだ高いが、デジタルビデオカメラ20が太陽の方に向いている)の場合、対象物の影の面のデテイルが改善されることが期待できる。太陽が画面内に直接入った場合は、ハーフフィルターを用いてもほとんど効果がないと思われる。設置されるデジタルビデオカメラ20の地平面に対する姿勢はほぼ水平であること、ズームを使わないことから、季節毎の太陽が画面内に入る時刻を割り出すことは可能である。そこで、これをチャート化し、運用時に確認することなどが考えられる。
曇り対策
自動車などの曇り防止剤などの使用が考えられる。
以上のように、この第1の実施の形態によれば、前方にデジタルビデオカメラ20が設置された車両を走行させながらそのデジタルビデオカメラ20により進行方向前方の線路空間を撮影し、線路上の互いに異なる位置、すなわち視点の異なる2枚の画像を用いて一眼ステレオ視を行うことにより、建築限界支障検知を行うことができる。これによって、建築限界内の支障物の有無を定量的に評価することができる。しかも、この線路空間支障物検知システムでは、車両に設置する必要があるものはデジタルビデオカメラ20、画像同期装置20、車両動揺測定装置30などに限られ、これらは営業列車の車両に容易に設置することができるため、営業列車を用いて支障物の有無の検知を行うことができる。また、この線路空間支障物検知システムで用いられている画像同期装置10は、市販の汎用ビデオカメラを用いて容易に同期を取ることができるため、デジタルビデオカメラ20として安価な市販のデジタルビデオカメラを用いることができるだけでなく、画像同期装置10自身も低コストで製造することができる。このため、線路空間支障物検知システムの低コスト化を図ることができる。
〈第2の実施の形態〉
[線路空間支障物検知システム]
第2の実施の形態による線路空間支障物検知システムにおいては、第1の実施の形態において説明した営業線での試験走行で判明した問題を解決するために、建築限界支障検知アルゴリズムに、ビデオカメラ画像の明るさの評価機能、開口問題への対処機能およびオクルージョン問題への対処機能を追加した。具体的には下記の通りである。その他のことは、第1の実施の形態と同様である。
ビデオカメラ画像の明るさの評価機能の追加
雨天時および夕方では、支障検知を実行できる場合もあるが、安定した検知ができないという事象は、原理的な問題であるため、赤外線カメラや赤外線照明などを導入しないと抜本的解決はできない。そこで、デジタルビデオカメラ20などは変更しない条件で、間違った検知を行わないように、ビデオカメラ画像の各フレーム全体の明るさの平均値に閾値を設け、閾値以下の場合、そのフレームは検出処理が不可であるとして、支障検知アルゴリズムを稼働させないようにする。また、検知不能フレームとした情報を後述するビューアプログラムへの出力データに追加する。
開口問題への対処機能の追加
既に述べた、並行する軌道のレールなどでノイズが発生する現象を排除する機能を追加する。類似度プロファイルの平均値とピーク値との比率を計算し、その値が閾値以下の場合には計測不能と判断する。
オクルージョン問題への対処機能の追加
既に述べた、オクルージョンにより電柱など細い構造の対象物の未検知を防止する機能を追加する。そのために、ピラミッド画像を利用することで、最適なテンプレートサイズによるマッチング処理を行う。
この第2の実施の形態によれば、第1の実施の形態と同様な利点に加えて、第1の実施の形態において説明した営業線での試験走行で判明した諸問題、具体的には、ビデオカメラ画像の明るさを評価できない問題、開口問題およびオクルージョン問題に対処することができるという利点を得ることができる。
〈第3の実施の形態〉
[線路空間支障物検知システム]
第3の実施の形態による線路空間支障物検知システムにおいては、検知機能を拡大するために、進行方向仮想建築限界枠数自動調整機能および仮想建築限界枠のサイズ多重化機能を検知エンジンに追加した。また、仮想建築限界枠の多重化に対応したデータを出力できる支障情報のビューアプログラムを用いる。具体的には下記の通りである。その他のことは、第1の実施の形態と同様である。
進行方向仮想建築限界枠数自動調整機能の追加
JR西日本の東海道本線新快速などでは、最高速度が130km/h程度となる。このとき、フレームレートが60f/sのデジタルビデオカメラ20では、フレーム間の撮影位置の差は60cm程度となる。これは、60cm以下の厚みの対象物は、指定した仮想建築限界枠で検知できない可能性があることを意味する。そこで、1つのフレームに車両の進行方向に複数の仮想建築限界枠を多段に設定するようにする。例えば、3つ20cm毎に進行方向に設定すれば、それだけ密に検知ができることとなる。その様子を図123に示す。ただし、車両の速度が遅い場合には、無駄な計算を行うこととなるために、速度に応じて適当な仮想建築限界枠の数を自動判定し、合理化する。
仮想建築限界枠のサイズ多重化機能の追加
進行方向と異なり、同一位置、言い換えると進行方向と直交する面の方向で建築限界枠の大きさを多重化する(あるいは建築限界枠の大きさを多段に設定する)。その様子を図124に示す。こうすることで、設計値の建築限界枠に支障しなくても、すぐ近傍まで来ている箇所や、建築限界枠に支障したと判断された箇所が、どの程度内側に食い込んでいるかなど、ある程度定量的に見通せるようになる。
支障情報のビューアプログラムへの出力の変更
支障検知結果をビューアプログラムに出力する際に、支障を検知したフレーム番号およびその画像上のどの位置かを示す情報のみを出力するのではなく、仮想建築限界枠が多重化されることに対応したデータを出力できるようにビューアプログラムへの出力を変更する。
この第3の実施の形態によれば、第1の実施の形態と同様な利点に加えて、検知機能を拡大することができるという利点を得ることができる。
〈第4の実施の形態〉
[線路空間支障物検知システム]
第4の実施の形態による線路空間支障物検知システムにおいては、建築限界支障検知アルゴリズムの演算の高速化を図るために、マルチコアを利用した並列演算化、ストリーミングSIMD拡張命令(Streaming SIMD Extensions:SSE)によるベクトル演算の高速化、CUDA(Compute Unified Device Architecture)(GPGPU(General-purpose computing on graphic processing units) )による高速化、アルゴリズム合理化による高速化およびプログラミング言語レベルでのコードの合理化のうちの少なくとも1つを行う。具体的には下記の通りである。その他のことは、第1の実施の形態と同様である。
マルチコアを利用した並列演算化
Windows(登録商標)PCなどに使用されているIntel 製CPUなどでは、演算コアが複数存在する(2,4,6個など)。プログラムは通常逐次処理を行うが、この複数の演算コアを同時に稼働していわゆる並列処理が可能である。ただし、因果関係を持った処理は並列に演算できないため、お互いに独立した処理を並列化する。画像処理では、画像を部分に分けると、並列演算化が容易であるため、マルチコアを利用することで処理速度の向上を図ることができる。ビデオカメラ画像の場合には、フレーム単位で並列演算も可能である。
SSEによるベクトル演算の高速化
ベクトル演算とは、複数のデータに対し、同一の命令(処理)を行う方式である。例えば画像の加算などでは、各画素に対し同じ命令が実行されるため、ベクトル演算による効果は高いと言える。
CUDA(GPGPU)による高速化
グラフィック機能の高いPCにはグラフィック専用の演算処理を行うGPU(Graphic
Processing Unit)が別途搭載されているものが多い。このGPUをグラフィック以外の計算に用いる技術をGPGPU(General-purpose computing on graphic processing units) と呼ぶ。SSEと同様に同一処理を多数のデータに対し同時に行わせることができ、SSEよりも並列処理できるデータの数が多い。ただし、当然ながらGPUが搭載されたPCでなければ稼働しない。
アルゴリズム合理化による高速化
同一の処理を行う場合でも複数のアルゴリズムを適用可能であり、同一処理でも演算回数がより少ないアルゴリズムが存在する。このため、アルゴリズムの合理化をより完全に行うことにより高速化を図る。
プログラミング言語レベルでのコードの合理化
同一処理・同一アルゴリズムでもコードの書き方は一通りではない。例えば使用するメモリの確保を処理の何処で行うかなどは、アルゴリズムの内容およびその結果には影響を与えないが、処理速度に影響する場合がある。そこで、プログラムコードの合理化をより完全に行うことにより高速化を図る。
なお、上記高速化の対策のうちマルチコアを利用した並列演算化、CUDA(GPGPU)による高速化、SSEによるベクトル演算の高速化およびCUDA(GPGPU)による高速化は、それぞれの技術がお互いに阻害する場合がある。たとえば、GPGPUによる高速化処理は、マルチコアによる高速化が行えないことがある。さらに、これらの技術を用いるためには、元のプログラムのコードあるいはアルゴリズムに大幅な改変を行わなければならない場合があり、大きな工数を必要とする場合がある。これら2つの理由から、上述の3つの技術を全て使うとは限らず、場合によっては1つの技術のみを使用することもある。
また、アルゴリズム合理化による高速化、プログラミング言語レベルでのコードの合理化は整備された方法があるわけではなく、アルゴリズム・コードごとに個別に対応する必要があり、非常に手間のかかる作業となる。そのため、工数内で最大限の作業を行うこととする。
この第4の実施の形態によれば、第1の実施の形態と同様な利点に加えて、建築限界支障検知アルゴリズムの演算の高速化を図ることができるという利点を得ることができる。
〈第5の実施の形態〉
[線路空間支障物検知システム]
第1の実施の形態においては、図73に示すように、ビューアプログラムのビデオカメラ画像上に建築限界枠および支障位置を表示し、支障箇所累積グラフと同期するようにしているが、第5の実施の形態においては、よりユーザーが直感的に支障状況を把握できるようなユーザーインターフェイスを追加した。具体的には下記の通りである。その他のことは、第1の実施の形態と同様である。
・建築限界枠の左側・右側・上側ごとに支障箇所累積グラフを表示できるようにする。
・支障累積数に対し閾値を設け、閾値を超えた箇所にスキップ表示できるようにする。
・サイズを変えた建築限界枠を切り替えて支障累積数グラフを表示する。
この第5の実施の形態によれば、第1の実施の形態と同様な利点に加えて、ユーザーが直感的に支障状況を把握できるという利点を得ることができる。
〈第6の実施の形態〉
[線路空間支障物検知システム]
第1の実施の形態においては、デジタルビデオカメラ20の設置やレンズ歪補正係数および画像中心のずれ、焦点距離等の較正を行うために、カメラセットアッププログラムおよびカメラ内部パラメータキャリブレーションプログラムがインストールされたノートPC50およびHDMI−USB変換器60を車両内に持ち込んでいるのに対し、この第6の実施の形態においては、これらのノートPC50およびHDMI−USB変換器60を車両内に持ち込まないで済むようにするために、オフィスに設置されるデータ処理PC80に同様のカメラセットアッププログラムおよびカメラ内部パラメータキャリブレーションプログラムをインストールすることによりノートPC50で行っていることをデータ処理PC80により行う。その他のことは、第1の実施の形態と同様である。
この第6の実施の形態によれば、第1の実施の形態と同様な利点に加えて、車両内に持ち込む装置を少なくすることができるため、この線路空間支障物検知システムを営業線により容易に導入することができる。
〈第7の実施の形態〉
[線路空間支障物検知システム]
図126に示すように、第7の実施の形態による線路空間支障物検知システムにおいては、第1の実施の形態において用いた画像同期装置10の代わりに、画像同期プログラムがインストールされたコンピュータ200を用いる。コンピュータ200としては、例えば、PCを用いることができる。その他のことは、第1の実施の形態と同様である。
この第7の実施の形態によれば、第1の実施の形態と同様な利点を得ることができる。
以上、この発明の実施の形態について具体的に説明したが、この発明は、上述の実施の形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。
例えば、上述の実施の形態において挙げた数値、構造、構成、形状、回路などはあくまでも例に過ぎず、必要に応じてこれらと異なる数値、構造、構成、形状、回路などを用いてもよい。
10…画像同期装置、11…デジタル/アナログ変換回路、12、25…入力端子、13…出力端子、14…TTLレベル変換回路、15…音声電圧レベル変換回路、20…デジタルビデオカメラ、26…外部マイク、30…車両動揺測定装置、30a…筐体、30b、30c…把手、30d…LCD、30e…電源スイッチ、31…センサー処理部、32…表示処理部、33…位置情報処理部、34…データ保存部、35…外部インターフェース制御部、36…電源制御部、37…高速シリアルバス、38…GPS受信機、39…速度発電機、40…バッテリー、50…ノートPC、60…HDMI−USB変換器、70…SDカード、80…データ処理PC、90…SDカード、100…連動表示プログラム、110…建築限界支障検知プログラム、120…同期ビューア、130…車両動揺測定装置30の解析プログラム、170…データインデクス−フレーム対応表ファイル、180…支障検知位置データファイル、200…PC

Claims (11)

  1. 線路を走行する車両に設置される、動画の撮影が可能なカメラと、
    上記カメラにより撮影される画像と上記車両の速度情報とを同期する画像同期装置とを有し、
    上記カメラが設置された上記車両を走行させながら上記カメラにより進行方向前方の線路空間を撮影し、上記線路上の互いに異なる位置であって上記速度情報を用いて計算されるそれらの間の距離が選択された距離になる位置で撮影された2枚の画像を比較することにより上記線路空間における支障物の有無を検知する線路空間支障物検知システム。
  2. 上記選択された距離は予め決められた一定値である請求項1記載の線路空間支障物検知システム。
  3. 上記線路空間支障物検知システムは、上記カメラにより撮影される画像と上記車両の速度情報とを一対一に関連付けするための連動表示プログラムを用いる請求項1または2記載の線路空間支障物検知システム。
  4. 上記列車の進行方向および上記列車の進行方向と直交する面の方向の少なくとも一方に仮想建築限界枠が多段に設定される請求項1〜3のいずれか一項記載の線路空間支障物検知システム。
  5. 上記カメラにより撮影される画像の1フレーム内の仮想建築限界枠において、支障していると判定された箇所の数を積算し、支障度合いを表示する請求項1〜4のいずれか一項記載の線路空間支障物検知システム。
  6. 上記線路空間支障物検知システムは、上記カメラにより撮影される画像、上記車両の速度情報、上記カメラの焦点距離および画像中心の歪補正係数を用いて建築限界支障検知処理を行う建築限界支障検知プログラムを用いる請求項1〜5のいずれか一項記載の線路空間支障物検知システム。
  7. 上記線路空間支障物検知システムは、上記車両に上記カメラを設置する際にその姿勢を調整するためにカメラ姿勢調整プログラムを用いる請求項1〜6のいずれか一項記載の線路空間支障物検知システム。
  8. 上記速度情報は上記車両に設置されるGPS受信機または速度発電機により取得される請求項1〜7のいずれか一項記載の線路空間支障物検知システム。
  9. 上記画像同期装置は、選択された時間間隔毎に取得され、データインデクスがそれぞれ付与された上記速度情報の上記データインデクスを選択された時間間隔毎に音声レベル信号に変換するデジタル/アナログ変換回路を有する請求項1〜8のいずれか一項記載の線路空間支障物検知システム。
  10. 上記カメラは音声入力機能を有し、上記画像同期装置は上記カメラの音声入力端子が接続される出力端子を有し、上記デジタル/アナログ変換回路から出力される上記音声レベル信号は上記出力端子から出力される請求項1〜9のいずれか一項記載の線路空間支障物検知システム。
  11. 上記カメラはビデオカメラまたは工業用カメラである請求項1〜10のいずれか一項記載の線路空間支障物検知システム。
JP2014121390A 2014-06-12 2014-06-12 線路空間支障物検知システム Active JP6381981B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014121390A JP6381981B2 (ja) 2014-06-12 2014-06-12 線路空間支障物検知システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014121390A JP6381981B2 (ja) 2014-06-12 2014-06-12 線路空間支障物検知システム

Publications (2)

Publication Number Publication Date
JP2016000598A true JP2016000598A (ja) 2016-01-07
JP6381981B2 JP6381981B2 (ja) 2018-08-29

Family

ID=55076434

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014121390A Active JP6381981B2 (ja) 2014-06-12 2014-06-12 線路空間支障物検知システム

Country Status (1)

Country Link
JP (1) JP6381981B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018048890A (ja) * 2016-09-21 2018-03-29 株式会社日立製作所 姿勢推定システム、姿勢推定装置、及び距離画像カメラ
JP2019046241A (ja) * 2017-09-04 2019-03-22 株式会社日立国際電気 障害物検出システム及び障害物検出方法
WO2019088267A1 (ja) 2017-11-02 2019-05-09 株式会社東芝 支障物検知装置
JP2020006845A (ja) * 2018-07-10 2020-01-16 株式会社明電舎 線路曲率推定装置及び方法
JP2020180905A (ja) * 2019-04-26 2020-11-05 株式会社明電舎 レール曲率推定装置
JP2021027381A (ja) * 2019-07-31 2021-02-22 ナカシャ クリエイテブ株式会社 撮像システム
CN113240742A (zh) * 2021-05-18 2021-08-10 西南交通大学 一种基于视觉像素链接直线检测的火车倒车辅助检测方法
GB2578618B (en) * 2018-11-01 2021-09-15 Hitachi Ltd Train coupling support system
US20220038627A1 (en) * 2021-03-10 2022-02-03 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Method and apparatus for stabilizing image, roadside device and cloud control platform
JP7100863B1 (ja) * 2021-12-12 2022-07-14 ナカシャ クリエイテブ株式会社 動画処理装置、動画処理方法、プログラム
JP7162779B1 (ja) * 2021-11-30 2022-10-28 三菱電機株式会社 支障箇所候補抽出装置、支障箇所候補抽出方法、支障箇所候補抽出プログラム、および支障箇所候補抽出システム
CN118071832A (zh) * 2024-04-19 2024-05-24 湖南蓝天机器人科技有限公司 一种基于激光识别的rgv小车视觉定位方法及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59156089A (ja) * 1983-10-11 1984-09-05 Hitachi Ltd 車両の障害物検知方式
JPH0332978A (ja) * 1989-06-30 1991-02-13 Mitsubishi Electric Corp 自動連結監視装置
JP2000505397A (ja) * 1996-02-27 2000-05-09 イスラエル・エアクラフト・インダストリーズ・リミテツド 障害検知システム
JP2006214903A (ja) * 2005-02-04 2006-08-17 Hitachi High-Tech Electronics Engineering Co Ltd 建築限界支障物検出装置
JP2008502538A (ja) * 2004-06-11 2008-01-31 ストラテック システムズ リミテッド 鉄道軌道スキャニングシステムおよび方法
JP2010202017A (ja) * 2009-03-03 2010-09-16 Mitsubishi Electric Corp データ解析装置及びデータ解析方法及びプログラム
JP2017001638A (ja) * 2015-06-16 2017-01-05 西日本旅客鉄道株式会社 画像処理を利用した列車位置検出システムならびに画像処理を利用した列車位置および環境変化検出システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59156089A (ja) * 1983-10-11 1984-09-05 Hitachi Ltd 車両の障害物検知方式
JPH0332978A (ja) * 1989-06-30 1991-02-13 Mitsubishi Electric Corp 自動連結監視装置
JP2000505397A (ja) * 1996-02-27 2000-05-09 イスラエル・エアクラフト・インダストリーズ・リミテツド 障害検知システム
JP2008502538A (ja) * 2004-06-11 2008-01-31 ストラテック システムズ リミテッド 鉄道軌道スキャニングシステムおよび方法
JP2006214903A (ja) * 2005-02-04 2006-08-17 Hitachi High-Tech Electronics Engineering Co Ltd 建築限界支障物検出装置
JP2010202017A (ja) * 2009-03-03 2010-09-16 Mitsubishi Electric Corp データ解析装置及びデータ解析方法及びプログラム
JP2017001638A (ja) * 2015-06-16 2017-01-05 西日本旅客鉄道株式会社 画像処理を利用した列車位置検出システムならびに画像処理を利用した列車位置および環境変化検出システム

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018048890A (ja) * 2016-09-21 2018-03-29 株式会社日立製作所 姿勢推定システム、姿勢推定装置、及び距離画像カメラ
JP2019046241A (ja) * 2017-09-04 2019-03-22 株式会社日立国際電気 障害物検出システム及び障害物検出方法
JP6994875B2 (ja) 2017-09-04 2022-01-14 株式会社日立国際電気 障害物検出システム及び障害物検出方法
WO2019088267A1 (ja) 2017-11-02 2019-05-09 株式会社東芝 支障物検知装置
JP2020006845A (ja) * 2018-07-10 2020-01-16 株式会社明電舎 線路曲率推定装置及び方法
JP7020324B2 (ja) 2018-07-10 2022-02-16 株式会社明電舎 線路曲率推定装置及び方法
GB2578618B (en) * 2018-11-01 2021-09-15 Hitachi Ltd Train coupling support system
JP2020180905A (ja) * 2019-04-26 2020-11-05 株式会社明電舎 レール曲率推定装置
JP7127607B2 (ja) 2019-04-26 2022-08-30 株式会社明電舎 レール曲率推定装置
JP2021027381A (ja) * 2019-07-31 2021-02-22 ナカシャ クリエイテブ株式会社 撮像システム
US20220038627A1 (en) * 2021-03-10 2022-02-03 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Method and apparatus for stabilizing image, roadside device and cloud control platform
US11792514B2 (en) * 2021-03-10 2023-10-17 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Method and apparatus for stabilizing image, roadside device and cloud control platform
CN113240742A (zh) * 2021-05-18 2021-08-10 西南交通大学 一种基于视觉像素链接直线检测的火车倒车辅助检测方法
JP7162779B1 (ja) * 2021-11-30 2022-10-28 三菱電機株式会社 支障箇所候補抽出装置、支障箇所候補抽出方法、支障箇所候補抽出プログラム、および支障箇所候補抽出システム
WO2023100263A1 (ja) * 2021-11-30 2023-06-08 三菱電機株式会社 支障箇所候補抽出装置、支障箇所候補抽出方法、支障箇所候補抽出プログラム、および支障箇所候補抽出システム
JP7100863B1 (ja) * 2021-12-12 2022-07-14 ナカシャ クリエイテブ株式会社 動画処理装置、動画処理方法、プログラム
CN118071832A (zh) * 2024-04-19 2024-05-24 湖南蓝天机器人科技有限公司 一种基于激光识别的rgv小车视觉定位方法及***

Also Published As

Publication number Publication date
JP6381981B2 (ja) 2018-08-29

Similar Documents

Publication Publication Date Title
JP6381981B2 (ja) 線路空間支障物検知システム
JP6494103B2 (ja) 画像処理を利用した列車位置検出システムならびに画像処理を利用した列車位置および環境変化検出システム
Chen et al. Inexpensive multimodal sensor fusion system for autonomous data acquisition of road surface conditions
WO2018153304A1 (zh) 基于adas***的地图道路标记及道路质量采集装置及方法
EP2261604B1 (en) Computer arrangement for and method of calculating motion vectors using range sensor data
EP2588882B1 (en) Method for producing a digital photo wherein at least some of the pixels comprise position information, and such a digital photo
JP5714940B2 (ja) 移動***置測定装置
US8842181B2 (en) Camera calibration apparatus
US20140043473A1 (en) Method and system for dynamically calibrating vehicular cameras
JP2007249103A (ja) 道路画像作成システム及び道路画像作成方法,及び道路画像合成装置
JPWO2013108371A1 (ja) 画像処理装置、画像処理サーバ、画像処理方法、画像処理プログラム、及び記録媒体
CN110443819B (zh) 一种单轨列车的轨道检测方法和装置
JP4626400B2 (ja) 俯瞰画像表示装置及び俯瞰画像表示方法
JP2009140192A (ja) 道路白線検出方法、道路白線検出プログラムおよび道路白線検出装置
JP4852905B2 (ja) 画像処理装置、画像処理方法
CN107449786B (zh) 一种对物体表面精细观测的装置
JP2009052907A (ja) 異物検出システム
CN112896045A (zh) 一种车辆a柱盲区透视方法、***及车辆
US20190137269A1 (en) Method for Improving Position Information Associated With a Collection of Images
JP6507590B2 (ja) 画像変換装置および画像変換方法
Jorgensen et al. Validation of vehicle speed analysis utilizing the input-ace camera match overlay tool
JP2005178623A (ja) 車両用表示装置
JP7317299B2 (ja) 画像処理システム
JP2001109986A (ja) 画像表示システム
WO2020129715A1 (ja) 画像補正装置、画像補正方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170424

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180320

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180801

R150 Certificate of patent or registration of utility model

Ref document number: 6381981

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250