JP2019209734A - 軌道識別装置 - Google Patents

軌道識別装置 Download PDF

Info

Publication number
JP2019209734A
JP2019209734A JP2018105211A JP2018105211A JP2019209734A JP 2019209734 A JP2019209734 A JP 2019209734A JP 2018105211 A JP2018105211 A JP 2018105211A JP 2018105211 A JP2018105211 A JP 2018105211A JP 2019209734 A JP2019209734 A JP 2019209734A
Authority
JP
Japan
Prior art keywords
correction
image
line
parameter
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018105211A
Other languages
English (en)
Inventor
拓也 二神
Takuya Futagami
拓也 二神
広幸 小林
Hiroyuki Kobayashi
広幸 小林
直人 瀬戸
Naoto Seto
直人 瀬戸
雄介 高橋
Yusuke Takahashi
雄介 高橋
勝大 堀江
Katsuhiro Horie
勝大 堀江
一夫 藤浦
Kazuo Fujiura
一夫 藤浦
陽平 服部
Yohei Hattori
陽平 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Infrastructure Systems and Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Infrastructure Systems and Solutions Corp filed Critical Toshiba Corp
Priority to JP2018105211A priority Critical patent/JP2019209734A/ja
Publication of JP2019209734A publication Critical patent/JP2019209734A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Train Traffic Observation, Control, And Security (AREA)
  • Image Analysis (AREA)

Abstract

【課題】取得した撮像画像の状況に応じた画像補正を行い、より明るい、よりきれいな(ノイズの少ない)撮像画像が取得可能な軌道識別装置を提供する。【解決手段】軌道識別装置10は、画像取得部10aと、パラメータ取得部10bと、画像補正部10cと、線路検出部10dと、を備える。画像取得部は、鉄道車両の進行方向の領域を撮像することで得られる撮像画像を取得する。パラメータ取得部は、撮像画像に基づいて線路を検出するのに先立ち、所定の基準に基づく線路らしさを際立たせる画像補正処理のための補正パラメータ18bを取得する。画像補正部は、補正パラメータに基づき、撮像画像に対して画像補正処理を実行する。線路検出部は、画像補正部で補正された補正後画像に対して線路位置の検出を実行する。【選択図】図2

Description

本発明の実施形態は、軌道識別装置に関する。
従来から、鉄道車両の走行中に、線路の検査や、当該線路内に存在する障害物(注視が必要な注視物)の検出などを目的として、鉄道車両の進行方向の領域を撮像することで得られる撮像画像から線路(が写った領域)を検出する技術が種々検討されている。走行中に取得される撮像画像は、周囲環境によって暗かったり、ノイズが多かったりして線路(が写った領域)を検出するには適さない場合がある。そのため、例えば、撮像画像に対して、露光調整を行う装置や輝度補正を行う装置等が提案されている。
特開2005−148308号公報 特開2009−157086号公報 特開2015−148887号公報
鉄道車両の場合、高速で走行するとともに、周囲環境がめまぐるしく変化する。そのため、取得した撮像画像の状況(周囲環境の状況)に応じた画像補正を行い、より明るい、よりきれいな(ノイズの少ない)撮像画像が取得できれば、撮像画像から線路をより精度よく検出すること可能になり、有意義である。
実施形態にかかる軌道識別装置は、画像取得部と、パラメータ取得部と、画像補正部と、線路検出部と、を備える。画像取得部は、鉄道車両の進行方向の領域を撮像することで得られる撮像画像を取得する。パラメータ取得部は、撮像画像に基づいて線路を検出するのに先立ち、所定の基準に基づく線路らしさを際立たせる画像補正処理のための補正パラメータを取得する。画像補正部は、補正パラメータに基づき、撮像画像に対して画像補正処理を実行する。線路検出部は、画像補正部で補正された補正後画像に対して線路位置の検出を実行する。
図1は、第1実施形態にかかる軌道識別装置を含む車両システムの構成を示した例示的かつ模式的な図である。 図2は、第1実施形態にかかる軌道識別装置を含む車両システムの機能を示した例示的かつ模式的なブロック図である。 図3は、第1実施形態にかかる軌道識別装置により画像補正を施す前の補正前画像の例示的かつ模式的な図である。 図4は、第1実施形態にかかる軌道識別装置により画像補正を施した後の補正後画像の例示的かつ模式的な図である。 図5は、第1実施形態にかかる軌道識別装置において、撮像画像を複数の個別領域に分割して、個別領域ごとに補正パラメータを取得する例を説明するための例示的かつ模式的な図である。 図6は、第1実施形態にかかる軌道識別装置において、現在取得している現在画像と、過去に取得した過去画像に基づき補正パラメータを取得する例を説明するための例示的かつ模式的な図である。 図7Aは、撮像画像において線路の特徴量(例えば輝度)に基づくヒストグラムを示す図であり、線路領域と非線路領域の識別性が高い場合の例を説明する例示的かつ模式的な図である。 図7Bは、撮像画像において線路の特徴量(例えば輝度)に基づくヒストグラムを示す図であり、線路領域と非線路領域の識別性が低い場合の例を説明する例示的かつ模式的な図である。 図8は、第1実施形態において、補正後画像に対して線路の検出のために設定する初期エリアを示した例示的かつ模式的な図である。 図9は、第1実施形態において、初期エリア以降のエリアから線路(の一部)を初期エリアで検出した線路に基づいて検出する例を説明するための例示的かつ模式的な図である。 図10は、第1実施形態において、初期エリア以降のエリアから線路(の一部)を検出する場合に用いる扇形の探索領域の例示的かつ模式的な図である。 図11は、第1実施形態において、扇形の探索領域を用いて線路(の一部)を探索する場合の手法を説明するための例示的かつ模式的な図である。 図12は、第1実施形態において、線路の検出および障害物の検知をする場合の処理の流れを示した例示的かつ模式的なフローチャートである。 図13は、図12のフローチャートにおける画像補正処理(S102)の詳細を示す例示的かつ模式的なフローチャートである。 図14は、図13のフローチャートにおける補正指標情報および補正パラメータを取得する処理(S200)の詳細を示す例示的かつ模式的なフローチャートである。 図15は、第2実施形態にかかる軌道識別装置を含む車両システムの機能を示した例示的かつ模式的なブロック図である。 図16Aは、第2実施形態において、鉄道車両の位置を考慮した場合の補正指標情報および補正パラメータを取得する処理の一部(トンネルの出入り口付近の処理)の詳細を示す例示的かつ模式的なフローチャートである。 図16Bは、第2実施形態において、鉄道車両の位置を考慮した場合の補正指標情報および補正パラメータを取得する処理の一部(トンネルの中を走行している場合の処理)の詳細を示す例示的かつ模式的なフローチャートである。 図16Cは、第2実施形態において、鉄道車両の位置を考慮した場合の補正指標情報および補正パラメータを取得する処理の一部(トンネル以外を走行しているときの処理)の詳細を示す例示的かつ模式的なフローチャートである。
以下、実施形態を図面に基づいて説明する。以下に記載する実施形態の構成、ならびに当該構成によってもたらされる作用および結果(効果)は、あくまで一例であって、以下の記載内容に限られるものではない。
<第1実施形態>
まず、第1実施形態の構成について説明する。
図1は、第1実施形態にかかる軌道識別装置10を含む車両システム100の構成を示した例示的かつ模式的な図である。図1に示されるように、車両システム100は、一対のレールにより構成される線路R上を方向Gに沿って走行する鉄道車両RVに搭載されている。
また、図1に示されるように、車両システム100は、軌道識別装置10に加え、撮像部としてのカメラ12と、表示部14と、障害物検知装置16と、を有している。
カメラ12は、鉄道車両RVの端部(例えば運転席)に設けられ、鉄道車両RVの進行方向の領域を撮像する。カメラ12によって得られる撮像画像には、線路Rが含まれる。
表示部14は、各種の画像を表示する装置である。表示部14は、鉄道車両RVの運転席などに設けられる。
軌道識別装置10は、例えば、プロセッサやメモリなどといったハードウェアを有したコンピュータとして構成される。
ところで、従来から、鉄道車両RVの走行中に、線路Rの検査や、当該線路R内に存在する障害物(注視が必要な注視物)の検出などを目的として、鉄道車両RVの進行方向の領域を撮像することで得られる撮像画像から線路R(が写った領域)を検出する技術が種々検討されている。このような技術では、撮像画像から線路Rをより精度良く検出することが望まれる。
そこで、第1実施形態は、軌道識別装置10に以下のような機能を持たせることで、撮像画像における線路R(が写っている領域)の鮮明化(明確化、識別化)を図り、自己車両(鉄道車両RV)が走行すべき線路Rをより精度よく検出することを実現する。
図2は、第1実施形態にかかる軌道識別装置10および障害物検知装置16の機能を示した例示的かつ模式的なブロック図である。図2に示されるように、軌道識別装置10は、画像取得部10a、パラメータ取得部10b、画像補正部10c、線路検出部10d、記憶部10e等を有している。また、障害物検知装置16は、判定領域特定部16a、障害物検出部16b、出力制御部16c、記憶部16d等を有している。
画像取得部10a、パラメータ取得部10b、画像補正部10c、線路検出部10dといった機能モジュール群の一部または全部は、ハードウェアとソフトウェアとの協働によって実現される。より具体的には、軌道識別装置10のプロセッサが記憶部10e等のメモリに記憶されたプログラムを読み出して実行することによって各機能モジュールは実現される。同様に、判定領域特定部16a、障害物検出部16b、出力制御部16cといった機能モジュール群の一部または全部は、ハードウェアとソフトウェアとの協働によって実現される。より具体的には、障害物検知装置16のプロセッサが記憶部16d等のメモリに記憶されたプログラムを読み出して実行することによって各機能モジュールは実現される。なお、第1実施形態では、これらの機能モジュール群の一部または全部が、専用のハードウェア(回路)によって実現されてもよい。
軌道識別装置10における記憶部10eおよび障害物検知装置16における記憶部16dは、それぞれメモリを含む揮発性または不揮発性の様々な記憶媒体によって実現される。記憶部10eは、軌道識別装置10のプロセッサが実行する上記のプログラムの他、線路Rを検出しやすい状態に撮像画像を補正するための情報として、補正指標情報18a、補正パラメータ18b、標準線路位置情報18c等を記憶する。補正指標情報18a、補正パラメータ18b、標準線路位置情報18cの詳細は後述する。また、記憶部16dは、障害物検知装置16のプロセッサが実行する上記のプログラムや、当該プログラムに従った障害物の検知に用いられる障害物情報16e(例えば、人物、動物、倒木、車両等、線路内に存在する可能性のある障害物の形状情報(注視点情報)等)を記憶する。
画像取得部10aは、カメラ12により撮像された撮像画像を取得する。撮像画像は、例えばカラー画像である。画像取得部10aは、取得した撮像画像に視点変換処理などを施すことで、カメラ12が撮像した領域を上方から俯瞰で見た鳥瞰画像を生成することができる。
線路Rを精度よく検出するためには、撮像環境に拘わらず、検出対象となる撮像画像の状態は、明るく、線路領域と非線路領域の区別が明確であり、さらにノイズが少ない状態であることが望ましい。そこで、パラメータ取得部10bは、撮像画像に基づいて線路Rを検出するのに先立ち、所定の基準に基づく線路らしさを際立たせる画像補正処理のための補正パラメータを取得する。
パラメータ取得部10bは、まず、記憶部10eの補正指標情報18aを参照する。補正指標情報18aは、カメラ12が撮像した撮像画像の補正を行うための補正パラメータを取得するために注目する項目を示す情報である。補正指標情報18aは、例えば、撮像画像中で高輝度領域と低輝度領域が分離されているか否かに注目する場合、輝度情報を補正指標情報とする。また、特徴量の変化量を、例えば輝度のヒストグラムの分布状態として示し、線路領域と非線路領域とで二極化しているか否かに注目する場合は、輝度分布情報を補正指標情報とする。また、時間的に連続する複数の撮像画像で、線路位置の変位(変化)の有無や変位量の大小に注目する場合は、座標位置情報を補正指標情報とする。なお、補正に利用する補正指標情報18aの種類は、予め設定して(選んで)おいても、撮像画像の状態や撮像状況、撮像位置(鉄道車両RVの位置)等で適宜選択するようにしてもよい。また、補正指標情報18aは単独で用いてもよいし、複数を組み合わせて利用してもよい。
また、パラメータ取得部10bは、補正指標情報18aに対応する補正パラメータ18bを取得する。補正パラメータ18bは、各補正指標情報(補正手法)に対応して、撮像画像の補正程度を決定するために予め定められた複数の値である。例えば、撮像画像においてエッジ強調(画像鮮明化)の程度を変化させるためのパラメータや、撮像画像のコントラストを変化させるヒストグラムの伸長調整を行うためのパラメータがある。また、撮像画像の鮮鋭化や平滑化を行うためのガウシアンフィルタのフィルタサイズ等を変化させるパラメータや、撮像画像のノイズ除去のために直前に取得した複数枚の過去画像を重ね合わせる処理を実行する場合の重ね合わせ枚数を変化させるパラメータ、撮像画像の二値化を行う場合の閾値を変化させるパラメータ等がある。パラメータ取得部10bは、各補正指標情報(補正方法)に合致するパラメータを選択する。
画像補正部10cは、パラメータ取得部10bが取得(選択)した補正パラメータに基づき、画像取得部10aが取得した撮像画像に対して、線路らしさを際立たせる画像補正処理を実行する。例えば、撮像画像において二値化のための閾値を変更して、エッジ強調(画像鮮明化)処理を実行したり、ヒストグラムを伸長させて撮像画像のコントラストを強調する処理を実行したりする。また、ガウシアンフィルタのフィルタサイズを大きくしたり、過去画像の重ね合わせ枚数を増やしたりして、撮像画像のノイズを低減する処理を実行する。
例えば、パラメータ取得部10bが補正指標情報18aとして、撮像画像中で高輝度領域と低輝度領域が分離されているか否かに注目する場合に用いる輝度情報を補正指標情報としている場合を考える。図3は、軌道識別装置10により画像補正を施す前の補正前画像30の例示的かつ模式的な図である。補正前画像30の場合、一例として、線路Rが存在する線路領域Eと線路Rが存在しない非線路領域Eとで輝度値の差が小さく、補正前画像30上で線路Rの検出が困難な状態を示している。図4は、軌道識別装置10により画像補正を施した後の補正後画像32の例示的かつ模式的な図である。画像補正部10cが、例えば、エッジ強調処理やコントラストの強調処理、ノイズ低減処理のいずれかを実行したり、複数の処理を組み合わせて実行したりすることで、補正前画像30に比べて、線路Rの識別性が向上した補正後画像32を取得することができる。
なお、画像補正部10cは、図5に示すように、補正前画像34の個別領域ごとに補正方法を異ならせてもよい。例えば、補正前画像34の場合、画面下側、すなわちカメラ12から近い領域Eと画面上側、すなわちカメラ12から遠い領域Eとでは、補正前画像34での線路領域Eの写り込み方が異なる場合がある。この場合、近い領域Eと遠い領域Eに同じ補正を施した場合、近い領域Eでは、線路Rが際立つが、遠い領域Eでは十分に際立たない場合がある。逆に、遠い領域Eでは、十分に線路Rが際立つが、近い領域Eでは、補正が強すぎて線路Rが検出し難くなる場合がある。この場合、パラメータ取得部10bは、近い領域Eと遠い領域Eとで、異なる補正指標情報18aを取得し異なる種類の補正パラメータ18bを選択してもよいし、近い領域Eと遠い領域Eとで、同じ補正指標情報18aを取得しつつ、異なる値の補正パラメータ18bを選択してもよい。例えば、パラメータ取得部10bが補正指標情報18aとして、補正前画像34中で高輝度領域と低輝度領域が分離されているか否かに注目する場合に用いる輝度情報を補正指標情報としている場合を考える。この場合、パラメータ取得部10bは、近い領域Eに対して、ヒストグラムを伸長させる補正パラメータ18bを取得(選択)する。そして、画像補正部10cは、撮像画像のコントラストを強調する処理を施す。一方、パラメータ取得部10bは、遠い領域Eに対して、ガウシアンフィルタのフィルタサイズを大きくする補正パラメータ18bを取得(選択)する。そして、画像補正部10cは、撮像画像に平滑化を施してノイズを低減する処理を施す。その結果、いずれの領域においても、線路Rを際立たせるようにすることが可能になり、図4に示すような補正後画像32が得られる。
また、別の例を図6を用いて説明する。例えば、パラメータ取得部10bが補正指標情報18aとして、時間的に連続する複数の撮像画像で、線路位置の変位の有無や変位量の大小に注目する場合に用いる座標位置情報を補正指標情報としている場合を考える。補正前画像36は短時間で逐次カメラ12によって撮像されるため直近の過去画像と現在の補正前画像36に写り込んでいる線路Rの位置は大きく変化することはない。しかしながら、突然、撮像環境が変化した場合、例えば、走行中に影が撮像領域に入った場合や進行方向の変化により光量が急激に変化した場合、補正前画像36にノイズが増加する場合がある。このノイズによって、直近の過去画像と現在の補正前画像36に写り込んでいる線路Rと見なせる画素の位置が大きく変化してしまう場合がある。図6は、説明のため、直近の過去画像と現在の撮像画像とを重ね合わせた例であり、直近の過去画像で線路Rと見なせる線路領域Eと現在の撮像画像で線路Rと見なせる線路領域Eの座標位置がずれている場合である。このような場合、パラメータ取得部10bは、ノイズを軽減するため、ガウシアンフィルタのフィルタサイズを大きくする補正パラメータ18bを取得(選択)したり、現在の撮像画像に重ね合わせる過去画像の枚数を増加するような補正パラメータ18bを取得(選択)したりする。つまり、画像補正部10cは、補正前画像36にノイズを低減させる平滑化処理を施すことができる。その結果、本来の位置に線路Rが位置するような、図4に示すような補正後画像32が得られる。
また、別の例として、パラメータ取得部10bは、補正前画像に対して、所定の基準に基づく線路らしさを表す尺度となり得る特徴量(例えば、輝度)の分布状態を取得し、当該分布状態が線路らしさを際立たせる状態になるように補正する補正パラメータを取得(選択)してもよい。具体的には、パラメータ取得部10bは、補正指標情報18aとして、輝度のヒストグラムの分布状態が線路領域と非線路領域とで二極化しているか否かに注目する場合に用いる輝度分布情報を補正指標情報としている場合を考える。例えば、画像取得部10aの取得した撮像画像が図4に示すように、線路領域Eと非線路領域Eとの輝度を比較した場合に十分に識別できる場合、特徴量としての輝度の分布状態は、図7Aに示すように、線路領域Eと非線路領域Eとが二極化した状態で示される。一方、例えば、撮像時の周囲環境が暗かったり、撮像領域の広い範囲に影が写り込んでいたりする場合、画像取得部10aの取得する撮像画像は、図3に示すように、線路領域Eと非線路領域Eとで輝度の差が小さく十分に識別できない場合がある。このような場合、特徴量としての輝度のヒストグラムは、図7Bに示すように、輝度の分布状態の二極化が崩れ、輝度分布の偏りが生じることがある(例えば、非線路領域Eの輝度分布が主として現れる状態)。この場合、パラメータ取得部10bは、明暗のコントラストをより明確化するために、ヒストグラムを伸長する補正パラメータ18bを取得(選択)する。なお、撮像画像において、輝度を0〜255の256階調(「0」が暗く、「255」が明るい)で表した場合、線路領域Eや非線路領域Eに対応する輝度値は、予め試験等により既知であるとする。そして、画像補正部10cは、補正前画像において、線路領域Eや非線路領域Eに対応する輝度値が増加するようにヒストグラムの伸長処理を実行する。その結果、図7Aに示すように輝度分布が二極化される。つまり、補正後画像は、線路領域Eと非線路領域Eとが識別し易い画像となる。
上述したように、画像取得部10aの取得した補正前画像の状態に応じてパラメータ取得部10bは、補正指標情報18aおよび補正パラメータ18bを取得(選択)する。そして、取得された補正パラメータ18bにしたがい画像補正部10cが、画像補正処理を行うことにより線路Rらしさを際立たせた補正後画像を取得することができる。線路検出部10dは、補正後画像に対して線路位置の検出を実行する。
次に、図8〜図11を用いて、線路検出部10dが補正後画像から線路Rを検出する手順を説明する。
本実施形態において、線路Rは、カメラ12によって撮像された撮像画像における複数の画素群(探索エリア)ごとに、所定の基準に基づく線路らしさを表す尺度となり得る特徴量(例えば、輝度に関する特徴)に基づき検出される。
撮像画像における線路Rの写り込み状態は、撮像環境(例えば周囲の明るさなど)に応じて変化する。また、撮像環境によってノイズの量も変化する。例えば、線路Rに対応した領域が、周囲の領域よりも明るく写り込んでいる場合がある。このような場合、線路Rが光の反射を起こしやすい撮像環境で取得されたと見なすことができる。このような場合、線路Rが存在する線路領域とそれ以外の非線路領域との識別が容易であることが多く、またノイズも少ない場合が多い。この場合、特徴量として、例えば、輝度値そのものに着目して線路Rを検出する手法が有効である。線路Rに対応した領域が他の領域よりも相対的に明るく写り込んでいるため、鳥瞰画像としての画像全体を、輝度値が閾値以上の領域と、輝度値が閾値未満の領域と、に二分(二値化)した特徴データを取得すれば、線路Rに対応した領域を精度良く検出することが可能である。この場合、特徴量として着目するものが単一であるのでノイズに対して頑健であり、また、ハフ変換やRANSACなどといった既存の線分検出アルゴリズムを利用した線路検出アルゴリズムへの適用が容易であるため、有用である。
逆に、線路Rに対応した領域が、周囲の領域よりも暗く写り込んでいる場合がある。このような場合、線路Rが光の反射を起こしにくい撮像環境において取得されたと見なすことができる。このような場合、線路領域と非線路領域との識別がし難い場合が多く、ノイズも多い場合が多い。この場合、特徴量として、輝度値の勾配(着目する画素と当該画素に隣接する画素との輝度値の差分)に着目して線路Rを検出する手法が有効である。なお、輝度値の勾配は、SOBELフィルタや、Laplacianフィルタ、Robinsonフィルタ、Cannyフィルタなどによって算出可能である。
一般に、線路Rは、カメラ12の視点で手前側から奥側に向かって延びるため、通常は、輝度値の横軸(x軸)方向の勾配が特徴量として着目される。一方、線路Rに対応した領域が、カメラ12の視点で手前側から奥側に向かう途中でカーブしている場合、奥側の領域で、輝度値の横軸方向の勾配よりも、輝度値の縦軸(y軸)方向の勾配の方が大きくなる。そこで、線路Rに対応した領域が、周囲の領域よりも暗く写り込んでいるような撮像環境では、特徴量として、輝度値の横軸方向の勾配と縦軸方向の勾配との両方に着目し、検出対象となるエリア(画素群)に応じて着目する勾配を切り替えながら特徴データを取得する手法が有効である。この手法は、特徴量として着目するものが増加することでノイズが増加する可能性はあるものの、カーブした線路Rを当該線路Rの延びる方向に応じて適切に検出することが可能であるため、有用である。
このように、線路Rを精度良く検出するために着目すべき特徴量は、撮像画像の撮像環境や、検出対象の線路Rの部位など、状況に応じて様々に異なる。したがって、どのような撮像画像からも線路Rを精度良く検出するためには、線路Rの検出に用いる特徴量として、輝度そのものを用いる場合と輝度の勾配を用いる場合とを、状況に応じて適宜切り替えればよい。
線路検出部10dは、画像補正部10cにより補正された図8に示すような補正後画像38をy軸方向(画像の奥側、上側)に分割した、複数の画素群(エリア)ごとに、所定の基準に基づいて、線路らしさを表す尺度となりうる複数の特徴量から、線路Rの検出に用いる1つの特徴量を取得する。そして、複数のエリアの各々から、取得された1つの特徴量に基づく特徴データを取得する。
線路検出部10dは、取得された特徴データに基づいて、補正後画像38から線路Rを検出する。
線路検出部10dは、図8に示すように、補正後画像38に含まれる複数の画素群(エリア)のうち、最初の検出対象となる初期エリアA1から線路R(レール40L、レール40R)の一部を検出した後、検出した線路Rの一部を基準とした次のエリアから線路Rの一部をさらに検出する処理を順次繰り返すことで、撮像画像の全体から線路Rを検出する。そして、線路検出部10dは、線路Rの一部が検出されるごとに、上述した所定の基準として、少なくとも、線路検出部10dにより既に検出済の線路Rの一部に関する情報を用いて、次のエリアに対応した1つの特徴量を取得する。
線路検出部10dは、上述した所定の基準として、既に検出済の線路Rの一部の補正後画像38内での明暗に関する画像統計量を用いて、次のエリアに対応した1つの特徴量を選択する。明暗に関する画像統計量とは、例えば平均輝度値である。既に検出済の線路Rの一部の平均輝度値に着目すると、処理対象の撮像画像は、線路Rが光の反射を起こしやすい撮像環境で取得された画像か、線路Rが光の反射を起こしにくい撮像環境で取得された画像か、を判定することができる。
例えば、既に検出済の線路Rの一部の平均輝度値が閾値以上である場合、当該線路Rの一部に対応した領域は、補正後画像38内で他の領域よりも明るく写り込んでいると言える。このような場合、前述したように、次のエリアに対応した特徴量としては、輝度値そのものに着目することが有効である。一方、既に検出済の線路Rの一部の平均輝度値が閾値未満である場合、当該線路Rの一部に対応した領域は、補正後画像38内で他の領域よりも暗く写り込んでいると言える。このような場合、前述したように、次のエリアに対応した特徴量としては、輝度値の勾配に着目することが有効である。したがって、線路検出部10dは、既に検出済の線路Rの一部の平均輝度値と閾値との大小関係に応じて、次のエリアの特徴量として、輝度値そのものを選択するか、または、輝度値の勾配を選択するか、を決定する。
なお、前述したように、特徴量としての輝度値の勾配は、横軸方向の勾配と縦軸方向の勾配との2つが存在し、これら2つのいずれが適切であるかは、線路Rのカーブの有無などに応じて異なる。そこで、線路検出部10dは、既に検出済の線路Rの一部の角度(線路Rの一部が延びる方向)に基づいて、次のエリアから線路Rの一部を検出するために用いる1つの特徴量として、輝度値の横軸方向の勾配を選択するか、または、輝度値の縦軸方向の勾配を選択するか、を決定する。
ところで、初期エリアA1は、最初の検出対象となるエリアであるので、上述したような参照すべき直前の結果は存在しない。したがって、初期エリアA1からの線路Rの一部の検出には、過去(例えば1フレーム前)の補正後画像38に対する線路Rの検出結果を用いる。すなわち、画像取得部10aは、鉄道車両RVの進行とともに撮像画像を複数回取得し、パラメータ取得部10bは、順次、補正指標情報18aおよび補正パラメータ18bを取得する。そして、画像補正部10cは、補正後画像38を逐次生成する。そして、線路検出部10dは、あるタイミングで得られた補正後画像38における初期エリアA1に対応した1つの特徴量を選択する場合、当該1つの特徴量を選択するための所定の基準として、少なくとも、あるタイミングよりも前のタイミングで得られた補正後画像38(1フレーム前の補正後画像38)における初期エリアA1から検出された線路Rの一部に関する情報(上述した平均輝度値などといった画像統計量)を用いる。なお、1フレーム前の補正後画像38に基づいて検出された線路Rに関する情報は、線路情報として、記憶部10eに記憶されているものとする。
鉄道車両RVの場合、撮像時のカメラ12の位置が固定されているため、撮像画像において、線路Rの出現位置(存在位置)は、ある程度限定される。したがって、記憶部10eは、撮像画像における線路Rの標準的な出現位置や線路幅情報等を標準線路位置情報18cとして記憶している。また、記憶部10eは、線路Rを検出し易いように補正された補正後画像において、線路Rの検出に用いられる線路情報(例えば、検出済線路情報、検出済線路幅情報、初期エリア情報、線路位置情報等)を記憶する。
ここで、補正後画像38における各エリアから線路R(の一部)を検出するための手法について説明する。まず、初期エリアA1から線路R(の一部)を検出するための手法について説明する。前述したように、初期エリアA1は、線路Rの検出の起点となる領域として予め決められた位置に設定されている。初期エリアA1の位置は、線路情報として記憶部10eに予め記憶されている。線路検出部10dは、まず、記憶部10eの線路情報を参照することで、上記の手法で選択された特徴量に基づいて取得された特徴データから初期エリアA1に対応した領域のデータを抽出する。そして、線路検出部10dは、抽出したデータに対してハフ変換やRANSACなどといった線分検出アルゴリズムに基づく処理を実行することで、初期エリアA1内に存在する線路R(の一部)の候補を抽出する。なお、正規の線路Rを構成する一対のレール40L,40Rの幅は、予め決まっている。したがって、正規の線路Rを構成する一対のレール40L,40Rの幅に関する情報を取得すれば、上記のように抽出された候補から、正規の線路R(の一部)を特定することが可能である。そこで、本実施形態においては、線路Rを構成する一対のレール40L,40Rの幅が、線路情報として記憶部10eに予め記憶されているとしてもよい。
そして、線路検出部10dは、線路情報の線路幅を参照し、上記のように抽出された候補から、線路情報で示された線路幅にマッチする幅を有する候補をさらに抽出することで、正規の線路Rを特定(検出)する。そして、線路検出部10dは、特定した線路Rを構成する複数の座標点を、線路位置情報として記憶部10eに記憶する。例えば、図9に示される補正後画像38の例では、線路R(レール42L,42R)に含まれる座標点L1,R1,L2,R2等が記憶部10eに記憶される。
次に、初期エリアA1以降のエリアから線路R(の一部)を検出するための手法について説明する。
図10、図11は、初期エリアA1以降のエリアから線路R(の一部)を検出するための手法の概略を説明するための例示的かつ模式的な図である。図10に示される例では、直近の処理により、線路Rの一部として、座標点L1,L2が検出済となっているものとする。線路検出部10dは、まず、図10に示されるように、直近に検出された2つの座標点に基づく所定の扇形の領域を設定する。扇形の領域とは、直近に検出された2つの座標点L1,L2のうち初期エリアA1とは反対側の座標点L2から、当該2つの座標点L1,L2を結ぶ直線Lを中心として左右に同一の角度θで広がるように延びる仮想線VRおよび仮想線VLで区画される領域である。なお、角度θは、予め設定された角度であって、例えば、線路Rの規格などで規定された最大曲率の範囲をカバーする角度である。また、仮想線VRおよび仮想線VLの長さは、予め設定された長さである。
上記のような扇形の領域を設定すると、線路検出部10dは、図11に示されるように、扇形の領域の上端の任意の一箇所と、当該扇形の領域の起点(要)となる座標点L2とを網羅的に結ぶ複数の線分を設定する。これらの複数の線分が、線路R(の一部)の候補となる。
そして、線路検出部10dは、上記のように設定した複数の候補を補正後画像38上にあてはめ、複数の候補の中から選択された、特徴量の平均値が最も大きいものを、正規の線路R(の一部)として特定(検出)する。
ところで、図10に示された2つの座標点は、線路Rを構成する一対のレール40L.40Rのうちの一方である、例えば、レール40Lに沿ったものであり、実際には、他方のレール40Rに沿った2つの座標点も検出済である。したがって、線路検出部10dは、他方のレール40Rについても上記の同様の手法で正規の線路Rを特定(検出)する。
線路検出部10dは、上記の手順が順次繰り返されることにより、図9に示す補正後画像38の全ての領域から線路R(レール42L,42R)の全体が検出される。そして、検出された線路R(の全体)に関する情報は、検出済線路情報として記憶部10eに記憶される。なお、上述の線路Rの検出手法の場合、図11に示されるように、扇形の領域に複数の線分(直線の線路候補)を設定し、特徴量の平均値が最も大きいものを正規の線路R(の一部)として特定する例を示した。別の例では、扇形の領域に複数の放物線の線路候補を設定し、特徴量の平均値が最も大きいものを正規の線路R(の一部)として特定するようにしてもよい。この場合、より実際の線路Rに近い形状の線路候補で線路Rの探索を実行することになる。その結果、より精度よく線路Rの検出ができる。一方、上述したように、線路候補を線分(直線)で設定して探索を行う場合、処理負荷の軽減、処理時間の短縮等に寄与することができる。
図2に戻り、障害物検知装置16は、軌道識別装置10が検出した線路Rに対して、鉄道車両RVが線路Rを走行する際に注視する障害物(注視物)が存在するか否かの検知を行い、表示部14等に検知の結果を表示させる。
判定領域特定部16aは、線路検出部10dの検出結果に基づいて、補正後画像内における線路Rの付近の領域を、障害物(注視が必要な注視物)の有無の判定の対象となる判定領域として特定する。したがって、線路検出部10dは、検出結果を障害物検知装置16側に出力する線路検出結果出力部として機能する。
障害物検出部16bは、判定領域特定部16aにより特定された判定領域内に注視物が存在するか否かを監視(検出)する。注視物の有無を判定するための情報(テンプレート)は、障害物情報20として記憶部16dに記憶されている。障害物検出部16bは、障害物情報20と、線路検出部10dが検出した線路R(線路Rの存在領域)と、に基づいて、障害物(注視物)のテンプレートにマッチする画素群が判定領域内に存在するか否かを判定する。
そして、出力制御部16cは、障害物検出部16bにより障害物(注視物)が存在すると判定された場合に、障害物に対応する注視画像(マーク、アイコン、シンボル、キャラクタ等)を障害物情報20等から読み出す。そして、出力制御部16cは、表示部14に表示されている画像(線路Rが写り込んでいる実画像)の対応する位置に注視画像を重畳して表示させる処理等を実行することで、警報を出力する。なお、この場合、音声やアラームによる警報を併せて出力するようにしてもよい。
以上のように構成される第1実施形態にかかる軌道識別装置10を含む車両システム100の動作について図12〜図14のフローチャートを用いて説明する。
図12は、第1実施形態にかかる軌道識別装置10を含む車両システム100が実行する処理の全体的な流れを示した例示的なフローチャートである。この図12に示される処理フローは、鉄道車両RVの走行中に繰り返し実行される。
図12に示される処理フローでは、まず、S100において、軌道識別装置10の画像取得部10aは、カメラ12から撮像画像を取得する。なお、画像取得部10aは取得した撮像画像を鳥瞰画像に変換してもよい。
そして、S102において、軌道識別装置10は、パラメータ取得部10b、画像補正部10cの動作により、補正前画像に対して、線路Rらしさが際立つような補正処理を実行する。
具体的には、図13のフローチャートに示されるように、S200において、補正指標情報18aおよび補正パラメータ18bを取得(選択)する。より具体的な取得処理の例を図14に示されるフローチャートを用いて説明する。なお、図14に示されるフローチャートでは、一例として、補正指標情報は、予め輝度情報を用いることが決められている場合を説明する。
パラメータ取得部10bは、まず、画像取得部10aが取得した撮像画像(補正前画像)に対して、線路領域と推定される領域と非線路領域と推定される領域の平均輝度差が所定値A以下か否かを判定する(S300)。平均輝度差の所定値Aとは、輝度を0〜255の256階調(「0」が暗く、「255」が明るい)で表した場合、例えば、「100」とすることができる。平均輝度差が所定値A以下の場合(S300のYes)補正前画像は、全体として輝度差の小さい例えば、図7Bに示すような状態(例えば、全体が暗い画像)であると推定される。この場合、パラメータ取得部10bは、記憶部10eから補正パラメータ18bとして補正前画像のコントラストを変化させるために輝度に関するヒストグラムの伸長調整を行うための補正パラメータを取得(選択)する。具体的には、補正後画像が、図7Aのように、高輝度の領域となる線路領域Eと線路領域Eよりは低輝度の領域となる非線路領域Eになるように、二極化させる補正パラメータaを取得する(S302)。その結果、補正後画像は、例えば図3に示されるように、線路領域Eと非線路領域Eとが十分に識別可能な画像となる。なお、パラメータ取得部10bは、今回の画像処理で取得(選択)したパラメータ取得部10bを補正指標情報18aと関連付けて記憶部10eに保存し、次のタイミングの画像補正処理の際に必要に応じて利用できるようにする。
一方、S300において、平均輝度差が所定値Aを超えている場合(S300のNo)、つまり、補正前画像は、輝度差が十分にあり、明領域と暗領域が存在していると推定される。この場合、パラメータ取得部10bは、続いて、例えば、補正前画像の領域を複数のブロックに分割した場合に、各ブロック内の輝度の分散状態を確認する。例えば、ブロック内の輝度分散が所定値より大きい場合、ブロック内の明暗(色)の変化が大きく、いわゆる「ごま塩ノイズ」が存在することを示す。このような、「ごま塩ノイズ」が存在するブロックの割合が補正前画像全体のB以上(例えば50%以上)を占める場合(S304のYes)、パラメータ取得部10bは、記憶部10eから補正前画像の平滑化を行うためのガウシアンフィルタのフィルタサイズを変化させる補正パラメータbを取得(選択)する(S306)。その結果、補正後画像は、平滑化され、ごま塩ノイズ等が低減された、例えば図3に示されるように、明暗領域の識別が行い易くなり、線路領域Eと非線路領域Eとが十分に識別可能な画像となる。なお、パラメータ取得部10bは、今回の画像処理で取得(選択)したパラメータ取得部10bを補正指標情報18aと関連付けて記憶部10eに保存し、次のタイミングの画像補正処理の際に必要に応じて利用できるようにする。
S304において、「ごま塩ノイズ」が存在するブロックの割合が補正前画像全体のB未満の場合(S304のNo)、つまり、補正前画像は、輝度差が十分にあり、かつごま塩ノイズ等が少ない状態である。この場合、補正前画像は、線路領域Eと非線路領域Eとが十分に識別可能な画像であり、補正することなく線路Rの検出が可能であると推定できる。そのため、パラメータ取得部10bは、補正前画像に対する補正パラメータ18bを現状維持する(S308)。つまり、前回処理時に用いた補正パラメータ18bをそのままの状態で今回の処理のおいても利用する。すなわち、前回の画像補正処理の結果に応じて今回利用する補正パラメータ18bを取得する。その結果、補正処理のための処理負荷の軽減ができる。なお、初回の画像処理の場合、前回の画像補正処理の結果を参照できないため、例えば、予め設定された標準的な補正パラメータ18bを利用することができる。
図14に示すフローチャートでは、補正前画像において、補正指標情報18aとして輝度情報を用いる例を説明したが、例えば、時間的に連続する複数の撮像画像で、線路位置の変位の有無や変位量の大小に注目する座標位置情報を補正指標情報として用いてもよい。この場合、位置座表情報のずれが大きい場合、例えば、ノイズが多いと推定される。その場合、直前に取得した複数枚の過去画像を重ね合わせる処理を実行する場合の重ね合わせ枚数を変化(増加)させる補正パラメータ18bを選択することで、撮像画像のノイズ除去(低減)を行うことが可能となる。この場合も、輝度情報を用いる場合と同様に、線路Rの識別性を向上することができて、線路Rの検出精度の向上に寄与することができる。
図13に戻り、S200において、図14に示す処理にしたがい補正パラメータ18bが取得された場合、画像補正部10cは、取得された補正パラメータ18bを用いて補正前画像を補正する(S202)。
S202において、補正処理が実行され補正後画像が取得されると、図12のフローチャートに戻り、線路検出部10dは、補正後画像に対して、図8〜図11で説明した手順にしたがい、線路Rの検出を実施する(S104)。
そして、線路Rの検出が完了すると、障害物検知装置16の判定領域特定部16aは、障害物(注視が必要な注視物)の有無判定の対象となる線路Rの付近の判定領域を設定する(S106)。
そして、障害物検知装置16の障害物検出部16bは、S106で特定された判定領域内に障害物が存在するか否かを判断する(S108)。
S108において障害物が存在すると判断された場合、障害物の存在を鉄道車両RVの運転者に通知し、注意喚起を行う必要がある。したがって、障害物検知装置16の出力制御部16cは、障害物検出結果を表示部14に対して行う(S110)。出力制御部16cは、例えば、障害物に対応する注視画像(マーク、アイコン、シンボル、キャラクタ等)を障害物情報16e等から読み出す。そして、出力制御部16cは、表示部14に表示されている画像(線路Rや分岐線路SR等が写り込んでいる実画像)の対応する位置に注視画像を重畳して表示させる処理等を実行することで、警報を出力する。そして、処理対象の画像に対する一連の処理が終了する。なお、障害物が発見されない場合には、注意喚起を行う必要は特にない。したがって、この場合、表示部14には、カメラ12が撮像した現在の画像(実画像)が表示されることになる。
このように、第1実施形態の車両システム100によれば、軌道識別装置10によって、自車両(鉄道車両RV)が走行する線路Rの認識(検出)に先立ち、撮像画像(補正前画像)の状態に応じて、適切な補正パラメータ18bを取得し、線路Rらしさを際立たせるように撮像画像を補正する。その結果、より明るい、よりきれいな(ノイズの少ない)撮像画像の取得が可能になり、撮像画像から線路Rをより精度良く検出することができる。さらに、現在処理対象となっている画像に存在する線路Rが高精度で検出できるため、検出した線路Rに対する障害物検知処理を高精度で行うことが可能となり、車両システム100の信頼性の向上、使い勝手の向上等を図ることができる。
<第2実施形態>
画像取得部10aが取得するカメラ12からの撮像画像の明るさ(輝度)が急激に変化する場合がある。例えば、鉄道車両RVが走行中にトンネルに入る場合やトンネルから出る場合に大きく変化する。鉄道車両RVがトンネルの入口に接近すると、カメラ12の撮像領域においてトンネル内部を写す暗い領域が増える。つまり、撮像画像において、トンネル内部の暗い部分の占める割合が増加する。このような場合、カメラ12は、撮像時に露光調整等を行い、撮像画像の輝度を高めるような処理を行うことがある。そのため、撮像画像全体が明るくなり、いわゆる「白飛び」を起こしてしまう場合がある。また、鉄道車両RVがトンネルの出口に接近すると、カメラ12の撮像領域においてトンネル外部の明るい領域が増える。このような場合もカメラ12は、撮像時に露光調整等を行い、撮像画像の輝度を低めるような処理を行うが、線路Rが存在する領域を中心に明るい部分が増加するため、露光調整が行われるまでは、線路Rの存在する領域中心に、「白飛び」を起こしてしまう場合がある。このように「白飛び」が生じる場合、トンネル以外を走行している場合に比べて、強い画像補正が必要になる。
鉄道車両RVは、運行管理が詳細に行われている。したがって、車両システム100は、画像取得部10aが取得した撮像画像がトンネルの出入り口付近で取得されたものか、トンネル内部で取得されたものか、またはトンネルの影響を受けない位置で取得されたものなのか、を容易に判定することができる。つまり、鉄道車両RVの運行情報を利用することにより、鉄道車両RVの存在する位置に適した画像補正を行う場合、補正パラメータの選択範囲を特定(決定)して、取得することができる。
図15は、第2実施形態にかかる軌道識別装置10Aおよび障害物検知装置16の機能を示した例示的かつ模式的なブロック図である。なお、図15示されるように、第2実施形態の軌道識別装置10Aは、図2に示される第1実施形態の軌道識別装置10に対して、記憶部10eが記憶する位置−補正パラメータ50が追加されている以外は同じ構成をとり得る。また、第2実施形態の障害物検知装置16の構成は第1実施形態の障害物検知装置16の構成と同じである。したがって、第2実施形態において、第1実施形態と実質的に同じ構成、機能を有する部分に関しては、同じ符号を付し、詳細な説明は省略する。なお、第2実施形態の車両システム100は、運行情報取得装置52をさらに備える。
運行情報取得装置52は、GNSS(Global Navigation Satellite System:全球測位衛星システム)やGPS(Global Positioning System)等の絶対位置を取得する装置を含んで構成することができる。また、運行情報取得装置52は、タコジェネレータ(tachogenerator:TG)等のように移動距離を取得できる装置を含んで構成されてもよい。また、運行情報取得装置52は、進行方向取得部52a、現在位置情報取得部52b、線路情報入力部52c等の機能モジュールを含む。これらの機能モジュール群の一部または全部は、ハードウェアとソフトウェアとの協働によって実現され得る。例えば、運行情報取得装置52のプロセッサが記憶部等のメモリに記憶されたプログラムを読み出して実行することによって各機能モジュールは実現される。また、別の例では、これらの機能モジュール群の一部または全部が、専用のハードウェア(回路)によって実現されてもよい。
進行方向取得部52aは、自車両(鉄道車両RV)の進行方向(上り、下り)の方向情報を取得する。進行方向(方向情報)は、上位のシステムから取得してもよいし、手入力により取得されてもよい。現在位置情報取得部52bは、線路R上に設定される固有の位置を示す指標である「キロ程」を取得する。線路情報入力部52cは、線路情報の入力を受け付ける。
また、軌道識別装置10Aの記憶部10eに含まれる位置−補正パラメータ50は、線路Rの位置と対応付けされた補正パラメータである。例えば、位置−補正パラメータ50として、トンネル入口の手前Ymから利用可能な補正パラメータや、トンネルの内部で利用可能な補正パラメータや、トンネル出口の手前Ymから利用可能な補正パラメータ等を準備することができる。
第2実施形態の軌道識別装置10Aは、第1実施形態で示した、図12および図13のフローチャートにしたがって、画像補正を行う。ただし、図13のS200における補正指標情報および補正パラメータの取得処理は、図16A〜図16Cに示すフローチャートにしたがって実行される。なお、図12および図13の処理の流れは、第1実施形態における処理の流れと実質的に同じであるため、その詳細な説明は省略する。ここでは、図13のS200で実行される処理をとして、トンネルの位置に基づく補正指標情報および補正パラメータの取得処理を図16A〜図16Cのフローチャートについて説明する。
第2実施形態において、鉄道車両RVが走行中の場合、軌道識別装置10Aは、常時、運行情報取得装置52からの情報に基づき、自車位置を認識している。そして、図12のS102において画像補正を行う場合タイミングで、補正指標情報および補正パラメータの取得を行う場合(S200)、軌道識別装置10Aは、自車位置が、トンネルの出入り口の手前Ym(例えば30m)か否かの判定を行う(S400)。
自車位置が、トンネルの出入り口の手前Ymである場合(S400のYes)、鉄道車両RVがトンネルの入口に向かって走行している場合、前述したように、露光調整が行われる結果、補正前画像の全体が白くなる傾向がある。また、鉄道車両RVがトンネルの出口に接近した場合、トンネル内部に比べてトンネル外部の明るさが急激に増加するため画面全体が白くなる傾向がある。そこで、パラメータ取得部10bは、まず、補正前画像の全体が白くなっている可能性があるか(「白飛び」が生じているか否か)を判定する。具体的には、パラメータ取得部10bは、補正前画像の領域を複数のブロックに分割した場合の各ブロック内の輝度の分散状態を確認する。ブロック内の輝度の分散が大きい場合、ブロック内の明暗の変化が大きく、当該ブロックが「白飛び」の領域ではないと推定することができる。逆に、ブロック内の輝度の分散が小さい場合、ブロック内の明暗の変化が小さく、当該ブロックが「白飛び」の領域であると推定することができる。
パラメータ取得部10bは、輝度分散が大きいブロックの割合が補正前画像全体のC(例えば、40%)以下の場合(S402のYes)、「白飛び」しているブロックが多く、補正前画像全体として、「白飛び」している可能性が高いと推定する。この場合、パラメータ取得部10bは、現在の処理対象の撮像画像に対して過去画像を重ね合わせることによって、「白飛び」を抑制しつつ、撮像画像の鮮明度を向上させる。したがって、パラメータ取得部10bは、記憶部10eから位置−補正パラメータ50として、現在の撮像画像に重ね合わせる過去画像の枚数を、例えば標準枚数より増加するような補正パラメータcを取得(選択)する(S404)。この場合、「白飛び」の抑制が重要になるため、図14で説明したようなトンネルの有無に拘わらず行う補正の場合より、強力な鮮明化処理(重ね合わせ枚数の増加)を実行し、線路Rの識別性を向上させる。
S402において、輝度分散が大きいブロックの割合が補正前画像全体のC(例えば、40%)を超えている場合(S402のNo)、パラメータ取得部10bは、「白飛び」しているブロックは少なく、補正前画像全体として、「白飛び」していない可能性が高いと推定する。ただし、この場合、検出対象となる線路Rが存在するトンネル内部が暗いため、線路領域と非線路領域との輝度差が小さく、線路Rの識別が困難な場合がある。そこで、パラメータ取得部10bは、次の段階として、補正前画像に対して、線路領域と推定される領域と非線路領域と推定される領域の平均輝度差が所定値D以下か否かを判定する(S406)。平均輝度差の所定値Dとは、輝度を0〜255の256階調で表した場合、例えば、「60」とすることができる。平均輝度差が所定値D以下の場合(S406のYes)、補正前画像は、全体として輝度差が小さく、例えば、図7Bに示すような状態(全体が暗い画像)であると推定される。この場合、パラメータ取得部10bは、記憶部10eから位置−補正パラメータ50として、補正前画像のコントラストを変化させるヒストグラムの伸長調整を行うための位置−補正パラメータ50を取得(選択)する。具体的には、補正後画像が、図7Aのように、高輝度の領域となる線路領域Eと線路領域Eよりは低輝度の領域となる非線路領域Eになるように、二極化させる補正パラメータdを取得する(S408)。ただし、この場合、「白飛び」が発生し易い状況での補正になるため、図14で説明したようなトンネルの有無に拘わらず行う補正の場合よりはヒストグラムの伸長を抑えるような補正パラメータdが選択されることが望ましい。
なお、鉄道車両RVがトンネルの入口に向かって走行している場合は鉄道車両RVの周囲に主として明るい領域が存在し、トンネルの出口に向かって走行している場合は、鉄道車両RVの周囲に主として暗い領域が存在する。つまり、鉄道車両RVの周囲環境が異なるため、補正前画像に対する補正程度が異なる。鉄道車両RVがトンネルの入口に接近するように走行しているか、トンネルの出口に接近するように走行しているかは、進行方向取得部52aからの方向情報によって判定することができる。したがって、パラメータ取得部10bは、鉄道車両RVの方向情報(進行方向)と、現在位置情報取得部52bからの位置情報、線路情報入力部52cからの路線情報に基づき、現在の画像処理のタイミングで、鉄道車両RVがトンネルの入口に接近するように走行しているか、トンネルの出口に接近するように走行しているかを判定する。そして、パラメータ取得部10bは、トンネルの入口用の位置−補正パラメータ50、またはトンネルの出口用の位置−補正パラメータ50を適宜取得するようにすることができる。
S406において、平均輝度差が所定値Dを超えている場合(S406のNo)、つまり、「白飛び」が発生している可能性は低く、線路領域と非線路領域との輝度差がある程度ある場合である。この場合、補正前画像は、線路領域と非線路領域とが識別可能な画像であり、補正することなく線路Rの検出が可能であると推定できる。そのため、パラメータ取得部10bは、補正前画像に対する位置−補正パラメータ50を現状維持する(S410)。つまり、前回処理時に用いた位置−補正パラメータ50をそのままの状態で、今回の処理のおいても利用する。すなわち、前回の画像補正処理の結果に応じて今回利用する位置−補正パラメータ50を取得する。その結果、補正処理のための処理負荷の軽減ができる。
S400において、自車位置が、トンネルの出入り口の手前Ymではない場合で(S400のNo)、トンネル内部である場合(S500のYes)、トンネル内部では、線路Rの反射が減るため、線路領域と非線路領域との輝度差が小さくなる傾向がある。そこで、図16Bに示すように、パラメータ取得部10bは、まず、トンネル内部で線路Rの識別ができるか否かを判別するために、輝度差を比較する。
つまり、パラメータ取得部10bは、画像取得部10aが取得した撮像画像(補正前画像)に対して、線路領域と推定される領域と非線路領域と推定される領域の平均輝度差が所定値E以下か否かを判定する(S502)。平均輝度差の所定値Eとは、輝度を0〜255の256階調で表した場合、例えば、「50」とすることができる。平均輝度差が所定値E以下の場合(S502のYes)補正前画像は、全体として輝度差の小さい例えば、図7Bに示すような状態(例えば、全体が暗い画像)であると推定される。この場合、パラメータ取得部10bは、記憶部10eから位置−補正パラメータ50として補正前画像のコントラストを変化させるヒストグラムの伸長調整を行うための補正パラメータを取得(選択)する。具体的には、補正後画像が、図7Aのように、高輝度の領域となる線路領域Eと線路領域Eよりは低輝度の領域となる非線路領域Eのように二極化するよう補正パラメータeを取得する(S504)。その結果、補正後画像は、例えば図3に示されるように、線路領域Eと非線路領域Eとが十分に識別可能な画像となる。
一方、S502において、平均輝度差が所定値Eを超えている場合(S502のNo)、つまり、補正前画像は、輝度差がある程度あり、明領域と暗領域が存在していると推定される。この場合、パラメータ取得部10bは、続いて、補正前画像にけるノイズの存在程度を確認する。この場合、パラメータ取得部10bは、例えば、補正前画像の領域を複数のブロックに分割した場合に、各ブロック内の輝度の分散状態を確認する。例えば、ブロック内の輝度分散が所定値F以上の場合、ブロック内の明暗(色)の変化が大きく、いわゆる「ごま塩ノイズ」が存在することを示す。このような、「ごま塩ノイズ」が存在するブロックの割合が補正前画像全体のF以上(例えば50%以上)を占める場合(S506のYes)、パラメータ取得部10bは、現在の処理対象の撮像画像に対して過去画像を重ね合わせることによって、「ごま塩ノイズ」を抑制しつつ、撮像画像の鮮明度を向上させる。したがって、パラメータ取得部10bは、位置−補正パラメータ50として、現在の撮像画像に重ね合わせる過去画像の枚数を増加するような補正パラメータfを取得(選択)する(S508)。
S506において、「ごま塩ノイズ」が存在するブロックの割合が補正前画像全体のF未満の場合(S506のNo)、つまり、補正前画像は、輝度差がある程度あり、かつごま塩ノイズ等が少ない状態である。この場合、補正前画像は、線路領域Eと非線路領域Eとの識別が可能な画像であり、補正することなく線路Rの検出が可能であると推定できる。そのため、パラメータ取得部10bは、補正前画像に対する位置−補正パラメータ50を現状維持する(S510)。つまり、前回処理時に用いた位置−補正パラメータ50をそのままの状態で、今回の処理のおいても利用する。
S500において、トンネル内部ではない場合(S500のNo)、つまり、鉄道車両RVは、トンネルの影響を受けない場所を走行中である。この場合、パラメータ取得部10bは、図16Cに示されるように、図14と同様な処理を実行する。すなわち、パラメータ取得部10bは、まず、画像取得部10aが取得した撮像画像(補正前画像)に対して、線路領域と推定される領域と非線路領域と推定される領域の平均輝度差が所定値A以下か否かを判定する(S600)。平均輝度差の所定値Aとは、輝度を0〜255の256階調で表した場合、例えば、「100」とすることができる。平均輝度差が所定値A以下の場合(S600のYes)、補正前画像は、全体として輝度差の小さい例えば、図7Bに示すような状態(例えば、全体が暗い画像)であると推定される。この場合、パラメータ取得部10bは、記憶部10eから補正パラメータ18bとして補正前画像のコントラストを変化させるヒストグラムの伸長調整を行うための補正パラメータを取得(選択)する。具体的には、補正後画像が、図7Aのように、高輝度の領域となる線路領域Eと線路領域Eよりは低輝度の領域となる非線路領域Eのように二極化するよう補正パラメータaを取得する(S602)。その結果、補正後画像は、例えば図3に示されるように、線路領域Eと非線路領域Eとが十分に識別可能な画像となる。
一方、S600において、平均輝度差が所定値Aを超えている場合(S600のNo)、つまり、補正前画像は、輝度差が十分にあり、明領域と暗領域が存在していると推定される。図16Cに示すように、パラメータ取得部10bは、補正前画像にけるノイズの存在程度を確認する。この場合、パラメータ取得部10bは、例えば、補正前画像の領域を複数のブロックに分割した場合に、各ブロック内の輝度の分散状態を確認する。例えば、ブロック内の輝度分散が所定値より大きい場合、ブロック内の明暗(色)の変化が大きく、いわゆる「ごま塩ノイズ」が存在することを示す。このような、「ごま塩ノイズ」が存在するブロックの割合が補正前画像全体のB以上(例えば50%以上)を占める場合(S604のYes)、パラメータ取得部10bは、記憶部10eから補正前画像の平滑化を行うためのガウシアンフィルタのフィルタサイズを変化させる補正パラメータbを取得(選択)する(S606)。その結果、補正後画像は、平滑化された画像となり、ごま塩ノイズ等が低減された、例えば図3に示されるように、明暗領域の識別が行い易くなり、線路領域Eと非線路領域Eとが十分に識別可能な画像となる。
S604において、「ごま塩ノイズ」が存在するブロックの割合が補正前画像全体のB未満の場合(S604のNo)、つまり、補正前画像は、輝度差が十分にあり、かつ、ごま塩ノイズ等が少ない状態である。この場合、補正前画像は、線路領域Eと非線路領域Eとが十分に識別可能な画像であり、補正することなく線路Rの検出が可能であると推定できる。そのため、パラメータ取得部10bは、補正前画像に対する補正パラメータ18bを現状維持する(S608)。つまり、前回処理時に用いた補正パラメータ18bをそのままの今回の処理のおいても利用する。すなわち、前回の画像補正処理の結果に応じて今回利用する補正パラメータ18bを取得する。その結果、補正処理のための処理負荷の軽減ができる。
このように、補正パラメータ(位置−補正パラメータ50または補正パラメータ18b)が取得された後は、図12のS104以降の処理が実行され、上述したように、線路検出、障害物検出、および障害物検出結果の出力(運転者等への報知)が実行される。
第2実施形態の車両システム100によれば、自車両(鉄道車両RV)の位置、鉄道車両RVの方向情報(進行方向)、および運行情報等に基づき、鉄道車両RVの現在位置およびこれから撮像される位置の周囲状況が限定できる。その結果、より容易に適切な補正パラメータの取得(選択)ができるので、軌道識別処理および障害物検知処理が実行できる。また、鉄道車両RVの位置情報に基づき、補正パラメータの絞り込みができるため、処理負荷の軽減および処理時間の短縮を実現することができる。
なお、上述した第1実施形態、第2実施形態においては、撮像画像の全体を対象に、画像補正を行う例を示した。別の実施形態では、標準線路位置情報18c等に基づき、線路Rの存在し得る領域を特定した上で、その領域およびその周辺の所定範囲の領域に対して、選択範囲を特定した画像補正を行うようにしてもよい。この場合、画像処理範囲を限定することができるため、軌道識別装置10(軌道識別装置10A)の画像処理負荷を軽減することができると共に、処理時間の短縮に寄与することができる。
以上、本発明のいくつかの実施形態を説明したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態およびその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
10,10A 軌道識別装置
10a 画像取得部
10b パラメータ取得部
10c 画像補正部
10d 線路検出部
10e 記憶部
12 カメラ
14 表示部
16 障害物検知装置
18a 補正指標情報
18b 補正パラメータ
18c 標準線路位置情報
50 位置−補正パラメータ
52 運行情報取得装置
52a 進行方向取得部
52b 現在位置情報取得部
52c 線路情報入力部
100 車両システム
RV 鉄道車両

Claims (8)

  1. 鉄道車両の進行方向の領域を撮像することで得られる撮像画像を取得する画像取得部と、
    前記撮像画像に基づいて線路を検出するのに先立ち、所定の基準に基づく線路らしさを際立たせる画像補正処理のための補正パラメータを取得するパラメータ取得部と、
    前記補正パラメータに基づき、前記撮像画像に対して前記画像補正処理を実行する画像補正部と、
    前記画像補正部で補正された補正後画像に対して線路位置の検出を実行する線路検出部と、
    を備える、軌道識別装置。
  2. 前記パラメータ取得部は、前回の画像補正処理の結果に応じて前記補正パラメータを取得する、請求項1に記載の軌道識別装置。
  3. 前記パラメータ取得部は、前記撮像画像の領域を所定数に分割した個別領域ごとに前記補正パラメータを取得する、請求項1または請求項2に記載の軌道識別装置。
  4. 前記パラメータ取得部は、前記線路検出部が前回の処理で検出した前記線路位置を基準に設定した領域において、前記線路らしさを表す尺度となり得る特徴量に基づき、前記補正パラメータを取得する、請求項1から請求項3のいずれか1項に記載の軌道識別装置。
  5. 前記パラメータ取得部は、過去に取得された前記撮像画像における前記線路位置と今回取得された前記撮像画像における前記線路位置と位置の変位に基づき、前記補正パラメータを取得する請求項1から請求項3のいずれか1項に記載の軌道識別装置。
  6. 前記パラメータ取得部は、前記撮像画像に対して、所定の基準に基づく線路らしさを表す尺度となり得る特徴量の分布状態を取得し、当該分布状態が前記線路らしさを際立たせる状態になるように補正するための補正パラメータを取得し、
    前記線路検出部は、前記分布状態が補正された補正後画像に対して線路位置の検出を実行する、請求項1から請求項3のいずれか1項に記載の軌道識別装置。
  7. 前記パラメータ取得部は、
    過去に取得された前記撮像画像と今回取得された前記撮像画像における前記線路らしさを示す領域における前記線路らしさを表す尺度となり得る特徴量の変化量に基づき前記補正パラメータを取得する、請求項1または請求項6に記載の軌道識別装置。
  8. 前記鉄道車両の現在の位置を示す現在位置情報と前記鉄道車両の進行方向を示す方向情報とを取得する情報取得部をさらに備え、
    前記パラメータ取得部は、前記現在位置情報と前記進行方向に基づき前記補正パラメータの選択範囲を決定する、請求項1から請求項7のいずれか1項に記載の軌道識別装置。
JP2018105211A 2018-05-31 2018-05-31 軌道識別装置 Pending JP2019209734A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018105211A JP2019209734A (ja) 2018-05-31 2018-05-31 軌道識別装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018105211A JP2019209734A (ja) 2018-05-31 2018-05-31 軌道識別装置

Publications (1)

Publication Number Publication Date
JP2019209734A true JP2019209734A (ja) 2019-12-12

Family

ID=68846376

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018105211A Pending JP2019209734A (ja) 2018-05-31 2018-05-31 軌道識別装置

Country Status (1)

Country Link
JP (1) JP2019209734A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6800388B1 (ja) * 2020-02-14 2020-12-16 三菱電機株式会社 検出装置、検出方法、及び検出プログラム
WO2022009506A1 (ja) * 2020-07-07 2022-01-13 株式会社 東芝 撮影装置
JPWO2022123641A1 (ja) * 2020-12-08 2022-06-16
JP7481872B2 (ja) 2020-03-27 2024-05-13 日立造船株式会社 画像による鉄道レールの検出方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014062415A (ja) * 2012-09-21 2014-04-10 Mitsubishi Electric Corp 軌道検出装置及び軌道監視装置
JP2015010456A (ja) * 2013-07-02 2015-01-19 日本電気株式会社 レール検査装置および検査方法
JP2016091506A (ja) * 2014-11-11 2016-05-23 株式会社明電舎 レール検出装置
JP2016088183A (ja) * 2014-10-31 2016-05-23 株式会社Ihi 支障物検知システムおよび鉄道車両
JP2016192108A (ja) * 2015-03-31 2016-11-10 公益財団法人鉄道総合技術研究所 ステレオ画像処理方法およびその装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014062415A (ja) * 2012-09-21 2014-04-10 Mitsubishi Electric Corp 軌道検出装置及び軌道監視装置
JP2015010456A (ja) * 2013-07-02 2015-01-19 日本電気株式会社 レール検査装置および検査方法
JP2016088183A (ja) * 2014-10-31 2016-05-23 株式会社Ihi 支障物検知システムおよび鉄道車両
JP2016091506A (ja) * 2014-11-11 2016-05-23 株式会社明電舎 レール検出装置
JP2016192108A (ja) * 2015-03-31 2016-11-10 公益財団法人鉄道総合技術研究所 ステレオ画像処理方法およびその装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6800388B1 (ja) * 2020-02-14 2020-12-16 三菱電機株式会社 検出装置、検出方法、及び検出プログラム
WO2021161508A1 (ja) * 2020-02-14 2021-08-19 三菱電機株式会社 検出装置、検出方法、及び検出プログラム
JP7481872B2 (ja) 2020-03-27 2024-05-13 日立造船株式会社 画像による鉄道レールの検出方法
WO2022009506A1 (ja) * 2020-07-07 2022-01-13 株式会社 東芝 撮影装置
JPWO2022123641A1 (ja) * 2020-12-08 2022-06-16
WO2022123641A1 (ja) * 2020-12-08 2022-06-16 三菱電機株式会社 レール検出装置及びレール検出方法
JP7209916B2 (ja) 2020-12-08 2023-01-20 三菱電機株式会社 レール検出装置及びレール検出方法

Similar Documents

Publication Publication Date Title
JP2019209734A (ja) 軌道識別装置
US9846823B2 (en) Traffic lane boundary line extraction apparatus and method of extracting traffic lane boundary line
JP4437714B2 (ja) 車線認識画像処理装置
JP3780922B2 (ja) 道路白線認識装置
EP3287985A1 (en) Image processing device
US20030090593A1 (en) Video stabilizer
JP2004112144A (ja) 前方車両追跡システムおよび前方車両追跡方法
JP4872769B2 (ja) 路面判別装置および路面判別方法
JP2007164636A (ja) 道路区画線検出装置
JP2008158958A (ja) 路面判別方法および路面判別装置。
JP2000011133A (ja) 移動物体検出装置及びその方法
CN107748882B (zh) 一种车道线检测方法及装置
JP2009048629A (ja) 検出方法
KR101239718B1 (ko) 차량 주변 물체 검출 시스템 및 방법
JP2006318059A (ja) 画像処理装置、画像処理方法、および画像処理用プログラム
JP6903477B2 (ja) 軌道識別装置、およびプログラム
WO2019203354A1 (ja) 軌道識別装置
CN110688887B (zh) 无后视镜车辆的横向图像处理装置和方法
JP2010286995A (ja) 車両用画像処理システム
US10346706B2 (en) Image processing device, image processing method, and non-transitory storage medium storing image processing program
JP2019218022A (ja) 線路検出装置
US10970592B2 (en) Adhering substance detection apparatus and adhering substance detection method
JP2010136207A (ja) 歩行者検出表示システム
CN116147898A (zh) 一种汽车前照灯发光强度的检测方法及装置
JP2006318061A (ja) 画像処理装置、画像処理方法、および画像処理用プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210511

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220621

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221213