JP2019209734A - Track identification apparatus - Google Patents
Track identification apparatus Download PDFInfo
- Publication number
- JP2019209734A JP2019209734A JP2018105211A JP2018105211A JP2019209734A JP 2019209734 A JP2019209734 A JP 2019209734A JP 2018105211 A JP2018105211 A JP 2018105211A JP 2018105211 A JP2018105211 A JP 2018105211A JP 2019209734 A JP2019209734 A JP 2019209734A
- Authority
- JP
- Japan
- Prior art keywords
- correction
- image
- line
- parameter
- track
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Train Traffic Observation, Control, And Security (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明の実施形態は、軌道識別装置に関する。 Embodiments described herein relate generally to a trajectory identification device.
従来から、鉄道車両の走行中に、線路の検査や、当該線路内に存在する障害物(注視が必要な注視物)の検出などを目的として、鉄道車両の進行方向の領域を撮像することで得られる撮像画像から線路(が写った領域)を検出する技術が種々検討されている。走行中に取得される撮像画像は、周囲環境によって暗かったり、ノイズが多かったりして線路(が写った領域)を検出するには適さない場合がある。そのため、例えば、撮像画像に対して、露光調整を行う装置や輝度補正を行う装置等が提案されている。 Conventionally, while a railway vehicle is running, the area in the traveling direction of the railway vehicle is imaged for the purpose of inspection of the track and detection of obstacles (gazing objects requiring attention) existing in the track. Various techniques for detecting a track (a region in which a line appears) from the obtained captured image have been studied. A captured image acquired during traveling may be unsuitable for detecting a track (a region where the image is captured) due to darkness or a lot of noise depending on the surrounding environment. Therefore, for example, a device that performs exposure adjustment or a device that performs brightness correction on a captured image has been proposed.
鉄道車両の場合、高速で走行するとともに、周囲環境がめまぐるしく変化する。そのため、取得した撮像画像の状況(周囲環境の状況)に応じた画像補正を行い、より明るい、よりきれいな(ノイズの少ない)撮像画像が取得できれば、撮像画像から線路をより精度よく検出すること可能になり、有意義である。 In the case of a railroad vehicle, while driving at high speed, the surrounding environment changes rapidly. Therefore, it is possible to detect the line from the captured image more accurately if image correction is performed according to the acquired captured image status (environmental environment status) and a brighter and cleaner (no noise) captured image can be acquired. Is meaningful.
実施形態にかかる軌道識別装置は、画像取得部と、パラメータ取得部と、画像補正部と、線路検出部と、を備える。画像取得部は、鉄道車両の進行方向の領域を撮像することで得られる撮像画像を取得する。パラメータ取得部は、撮像画像に基づいて線路を検出するのに先立ち、所定の基準に基づく線路らしさを際立たせる画像補正処理のための補正パラメータを取得する。画像補正部は、補正パラメータに基づき、撮像画像に対して画像補正処理を実行する。線路検出部は、画像補正部で補正された補正後画像に対して線路位置の検出を実行する。 The trajectory identification device according to the embodiment includes an image acquisition unit, a parameter acquisition unit, an image correction unit, and a track detection unit. An image acquisition part acquires the captured image obtained by imaging the area | region of the advancing direction of a rail vehicle. The parameter acquisition unit acquires a correction parameter for an image correction process that emphasizes the line quality based on a predetermined reference prior to detecting the line based on the captured image. The image correction unit executes image correction processing on the captured image based on the correction parameter. The track detection unit executes the detection of the track position on the corrected image corrected by the image correction unit.
以下、実施形態を図面に基づいて説明する。以下に記載する実施形態の構成、ならびに当該構成によってもたらされる作用および結果(効果)は、あくまで一例であって、以下の記載内容に限られるものではない。 Hereinafter, embodiments will be described with reference to the drawings. The configuration of the embodiment described below, and the operation and result (effect) brought about by the configuration are merely examples, and are not limited to the following description.
<第1実施形態>
まず、第1実施形態の構成について説明する。
<First Embodiment>
First, the configuration of the first embodiment will be described.
図1は、第1実施形態にかかる軌道識別装置10を含む車両システム100の構成を示した例示的かつ模式的な図である。図1に示されるように、車両システム100は、一対のレールにより構成される線路R上を方向Gに沿って走行する鉄道車両RVに搭載されている。 FIG. 1 is an exemplary and schematic diagram showing a configuration of a vehicle system 100 including a trajectory identification device 10 according to the first embodiment. As shown in FIG. 1, the vehicle system 100 is mounted on a railway vehicle RV that travels along a direction G on a track R constituted by a pair of rails.
また、図1に示されるように、車両システム100は、軌道識別装置10に加え、撮像部としてのカメラ12と、表示部14と、障害物検知装置16と、を有している。 As shown in FIG. 1, the vehicle system 100 includes a camera 12 as an imaging unit, a display unit 14, and an obstacle detection device 16 in addition to the track identification device 10.
カメラ12は、鉄道車両RVの端部(例えば運転席)に設けられ、鉄道車両RVの進行方向の領域を撮像する。カメラ12によって得られる撮像画像には、線路Rが含まれる。 The camera 12 is provided at an end portion (for example, a driver's seat) of the railway vehicle RV, and images a region in the traveling direction of the railway vehicle RV. The captured image obtained by the camera 12 includes the track R.
表示部14は、各種の画像を表示する装置である。表示部14は、鉄道車両RVの運転席などに設けられる。 The display unit 14 is a device that displays various images. The display unit 14 is provided in the driver's seat of the railway vehicle RV.
軌道識別装置10は、例えば、プロセッサやメモリなどといったハードウェアを有したコンピュータとして構成される。 The trajectory identification device 10 is configured as a computer having hardware such as a processor and a memory, for example.
ところで、従来から、鉄道車両RVの走行中に、線路Rの検査や、当該線路R内に存在する障害物(注視が必要な注視物)の検出などを目的として、鉄道車両RVの進行方向の領域を撮像することで得られる撮像画像から線路R(が写った領域)を検出する技術が種々検討されている。このような技術では、撮像画像から線路Rをより精度良く検出することが望まれる。 By the way, conventionally, while the railway vehicle RV is traveling, for the purpose of inspecting the track R and detecting an obstacle (a gaze object that needs to be watched) existing in the track R, the traveling direction of the rail vehicle RV is changed. Various techniques for detecting a line R (a region in which a line appears) from a captured image obtained by imaging the region have been studied. In such a technique, it is desired to detect the line R from the captured image with higher accuracy.
そこで、第1実施形態は、軌道識別装置10に以下のような機能を持たせることで、撮像画像における線路R(が写っている領域)の鮮明化(明確化、識別化)を図り、自己車両(鉄道車両RV)が走行すべき線路Rをより精度よく検出することを実現する。 Therefore, in the first embodiment, the trajectory identification device 10 is provided with the following functions, thereby clarifying (clarifying and identifying) the line R (the region in which the line is reflected) in the captured image. It is possible to detect the track R on which the vehicle (railway vehicle RV) should travel more accurately.
図2は、第1実施形態にかかる軌道識別装置10および障害物検知装置16の機能を示した例示的かつ模式的なブロック図である。図2に示されるように、軌道識別装置10は、画像取得部10a、パラメータ取得部10b、画像補正部10c、線路検出部10d、記憶部10e等を有している。また、障害物検知装置16は、判定領域特定部16a、障害物検出部16b、出力制御部16c、記憶部16d等を有している。 FIG. 2 is an exemplary schematic block diagram illustrating functions of the trajectory identification device 10 and the obstacle detection device 16 according to the first embodiment. As shown in FIG. 2, the trajectory identification device 10 includes an image acquisition unit 10a, a parameter acquisition unit 10b, an image correction unit 10c, a track detection unit 10d, a storage unit 10e, and the like. The obstacle detection device 16 includes a determination area specifying unit 16a, an obstacle detection unit 16b, an output control unit 16c, a storage unit 16d, and the like.
画像取得部10a、パラメータ取得部10b、画像補正部10c、線路検出部10dといった機能モジュール群の一部または全部は、ハードウェアとソフトウェアとの協働によって実現される。より具体的には、軌道識別装置10のプロセッサが記憶部10e等のメモリに記憶されたプログラムを読み出して実行することによって各機能モジュールは実現される。同様に、判定領域特定部16a、障害物検出部16b、出力制御部16cといった機能モジュール群の一部または全部は、ハードウェアとソフトウェアとの協働によって実現される。より具体的には、障害物検知装置16のプロセッサが記憶部16d等のメモリに記憶されたプログラムを読み出して実行することによって各機能モジュールは実現される。なお、第1実施形態では、これらの機能モジュール群の一部または全部が、専用のハードウェア(回路)によって実現されてもよい。 Part or all of the functional module groups such as the image acquisition unit 10a, the parameter acquisition unit 10b, the image correction unit 10c, and the line detection unit 10d are realized by cooperation of hardware and software. More specifically, each functional module is realized by the processor of the trajectory identification device 10 reading and executing a program stored in a memory such as the storage unit 10e. Similarly, some or all of the functional module groups such as the determination area specifying unit 16a, the obstacle detection unit 16b, and the output control unit 16c are realized by cooperation of hardware and software. More specifically, each functional module is realized by the processor of the obstacle detection device 16 reading and executing a program stored in a memory such as the storage unit 16d. In the first embodiment, part or all of these functional module groups may be realized by dedicated hardware (circuit).
軌道識別装置10における記憶部10eおよび障害物検知装置16における記憶部16dは、それぞれメモリを含む揮発性または不揮発性の様々な記憶媒体によって実現される。記憶部10eは、軌道識別装置10のプロセッサが実行する上記のプログラムの他、線路Rを検出しやすい状態に撮像画像を補正するための情報として、補正指標情報18a、補正パラメータ18b、標準線路位置情報18c等を記憶する。補正指標情報18a、補正パラメータ18b、標準線路位置情報18cの詳細は後述する。また、記憶部16dは、障害物検知装置16のプロセッサが実行する上記のプログラムや、当該プログラムに従った障害物の検知に用いられる障害物情報16e(例えば、人物、動物、倒木、車両等、線路内に存在する可能性のある障害物の形状情報(注視点情報)等)を記憶する。 The storage unit 10e in the trajectory identification device 10 and the storage unit 16d in the obstacle detection device 16 are each realized by various volatile or nonvolatile storage media including a memory. In addition to the above program executed by the processor of the trajectory identification device 10, the storage unit 10e includes correction index information 18a, correction parameters 18b, standard line position as information for correcting the captured image so that the line R can be easily detected. Information 18c and the like are stored. Details of the correction index information 18a, the correction parameter 18b, and the standard track position information 18c will be described later. In addition, the storage unit 16d includes the above-described program executed by the processor of the obstacle detection device 16 and obstacle information 16e (for example, a person, an animal, a fallen tree, a vehicle, etc.) used for detecting an obstacle according to the program. Shape information (gazing point information, etc.) of obstacles that may exist on the track is stored.
画像取得部10aは、カメラ12により撮像された撮像画像を取得する。撮像画像は、例えばカラー画像である。画像取得部10aは、取得した撮像画像に視点変換処理などを施すことで、カメラ12が撮像した領域を上方から俯瞰で見た鳥瞰画像を生成することができる。 The image acquisition unit 10 a acquires a captured image captured by the camera 12. The captured image is, for example, a color image. The image acquisition unit 10a can generate a bird's-eye image of the region captured by the camera 12 as seen from above, by performing viewpoint conversion processing or the like on the acquired captured image.
線路Rを精度よく検出するためには、撮像環境に拘わらず、検出対象となる撮像画像の状態は、明るく、線路領域と非線路領域の区別が明確であり、さらにノイズが少ない状態であることが望ましい。そこで、パラメータ取得部10bは、撮像画像に基づいて線路Rを検出するのに先立ち、所定の基準に基づく線路らしさを際立たせる画像補正処理のための補正パラメータを取得する。 In order to detect the line R with high accuracy, the state of the picked-up image to be detected is bright, the distinction between the line area and the non-line area is clear, and the noise is low, regardless of the image pickup environment. Is desirable. Therefore, prior to detecting the track R based on the captured image, the parameter acquisition unit 10b acquires a correction parameter for image correction processing that highlights the line quality based on a predetermined reference.
パラメータ取得部10bは、まず、記憶部10eの補正指標情報18aを参照する。補正指標情報18aは、カメラ12が撮像した撮像画像の補正を行うための補正パラメータを取得するために注目する項目を示す情報である。補正指標情報18aは、例えば、撮像画像中で高輝度領域と低輝度領域が分離されているか否かに注目する場合、輝度情報を補正指標情報とする。また、特徴量の変化量を、例えば輝度のヒストグラムの分布状態として示し、線路領域と非線路領域とで二極化しているか否かに注目する場合は、輝度分布情報を補正指標情報とする。また、時間的に連続する複数の撮像画像で、線路位置の変位(変化)の有無や変位量の大小に注目する場合は、座標位置情報を補正指標情報とする。なお、補正に利用する補正指標情報18aの種類は、予め設定して(選んで)おいても、撮像画像の状態や撮像状況、撮像位置(鉄道車両RVの位置)等で適宜選択するようにしてもよい。また、補正指標情報18aは単独で用いてもよいし、複数を組み合わせて利用してもよい。 First, the parameter acquisition unit 10b refers to the correction index information 18a in the storage unit 10e. The correction index information 18a is information indicating items to be noted in order to acquire correction parameters for correcting a captured image captured by the camera 12. For example, when attention is paid to whether or not a high-brightness region and a low-brightness region are separated in the captured image, the correction index information 18a is brightness information as correction index information. In addition, when the amount of change in the feature amount is shown as, for example, a distribution state of a luminance histogram, and attention is paid to whether or not the line region and the non-line region are bipolar, the luminance distribution information is used as correction index information. When attention is paid to the presence or absence of the displacement (change) of the track position and the amount of displacement in a plurality of captured images that are continuous in time, the coordinate position information is used as the correction index information. Note that the type of the correction index information 18a used for the correction may be selected as appropriate depending on the state of the captured image, the imaging state, the imaging position (the position of the railway vehicle RV), etc., even if it is preset (selected). May be. Further, the correction index information 18a may be used alone or in combination.
また、パラメータ取得部10bは、補正指標情報18aに対応する補正パラメータ18bを取得する。補正パラメータ18bは、各補正指標情報(補正手法)に対応して、撮像画像の補正程度を決定するために予め定められた複数の値である。例えば、撮像画像においてエッジ強調(画像鮮明化)の程度を変化させるためのパラメータや、撮像画像のコントラストを変化させるヒストグラムの伸長調整を行うためのパラメータがある。また、撮像画像の鮮鋭化や平滑化を行うためのガウシアンフィルタのフィルタサイズ等を変化させるパラメータや、撮像画像のノイズ除去のために直前に取得した複数枚の過去画像を重ね合わせる処理を実行する場合の重ね合わせ枚数を変化させるパラメータ、撮像画像の二値化を行う場合の閾値を変化させるパラメータ等がある。パラメータ取得部10bは、各補正指標情報(補正方法)に合致するパラメータを選択する。 The parameter acquisition unit 10b acquires the correction parameter 18b corresponding to the correction index information 18a. The correction parameter 18b is a plurality of values determined in advance for determining the degree of correction of the captured image corresponding to each correction index information (correction method). For example, there are parameters for changing the degree of edge enhancement (image sharpening) in a captured image, and parameters for adjusting the expansion of a histogram that changes the contrast of the captured image. Also, a parameter for changing the filter size of the Gaussian filter for sharpening or smoothing the captured image, or a process of superimposing a plurality of past images acquired immediately before for removing noise from the captured image is executed. In this case, there are a parameter for changing the number of superimposed images, a parameter for changing a threshold value when binarizing captured images, and the like. The parameter acquisition unit 10b selects a parameter that matches each correction index information (correction method).
画像補正部10cは、パラメータ取得部10bが取得(選択)した補正パラメータに基づき、画像取得部10aが取得した撮像画像に対して、線路らしさを際立たせる画像補正処理を実行する。例えば、撮像画像において二値化のための閾値を変更して、エッジ強調(画像鮮明化)処理を実行したり、ヒストグラムを伸長させて撮像画像のコントラストを強調する処理を実行したりする。また、ガウシアンフィルタのフィルタサイズを大きくしたり、過去画像の重ね合わせ枚数を増やしたりして、撮像画像のノイズを低減する処理を実行する。 The image correction unit 10c performs an image correction process that makes the line quality stand out for the captured image acquired by the image acquisition unit 10a based on the correction parameter acquired (selected) by the parameter acquisition unit 10b. For example, the threshold value for binarization is changed in the captured image to execute edge enhancement (image sharpening) processing, or processing to expand the histogram and enhance the contrast of the captured image. Also, processing for reducing noise in the captured image is performed by increasing the filter size of the Gaussian filter or increasing the number of past images to be superimposed.
例えば、パラメータ取得部10bが補正指標情報18aとして、撮像画像中で高輝度領域と低輝度領域が分離されているか否かに注目する場合に用いる輝度情報を補正指標情報としている場合を考える。図3は、軌道識別装置10により画像補正を施す前の補正前画像30の例示的かつ模式的な図である。補正前画像30の場合、一例として、線路Rが存在する線路領域E1と線路Rが存在しない非線路領域E2とで輝度値の差が小さく、補正前画像30上で線路Rの検出が困難な状態を示している。図4は、軌道識別装置10により画像補正を施した後の補正後画像32の例示的かつ模式的な図である。画像補正部10cが、例えば、エッジ強調処理やコントラストの強調処理、ノイズ低減処理のいずれかを実行したり、複数の処理を組み合わせて実行したりすることで、補正前画像30に比べて、線路Rの識別性が向上した補正後画像32を取得することができる。 For example, let us consider a case where the parameter acquisition unit 10b uses, as the correction index information, the luminance information used when paying attention to whether or not the high luminance area and the low luminance area are separated in the captured image as the correction index information 18a. FIG. 3 is an exemplary schematic diagram of the pre-correction image 30 before image correction is performed by the trajectory identification device 10. In the case of the image 30 before correction, as an example, the difference in luminance value between the line region E 1 where the line R exists and the non-line region E 2 where the line R does not exist is small, and the line R is detected on the image 30 before correction. Indicates a difficult situation. FIG. 4 is an exemplary schematic view of the corrected image 32 after the image correction is performed by the trajectory identification device 10. The image correction unit 10c executes, for example, any one of edge enhancement processing, contrast enhancement processing, and noise reduction processing, or a combination of a plurality of processing, so that the line is compared with the uncorrected image 30. The corrected image 32 with improved R discrimination can be acquired.
なお、画像補正部10cは、図5に示すように、補正前画像34の個別領域ごとに補正方法を異ならせてもよい。例えば、補正前画像34の場合、画面下側、すなわちカメラ12から近い領域E3と画面上側、すなわちカメラ12から遠い領域E4とでは、補正前画像34での線路領域E1の写り込み方が異なる場合がある。この場合、近い領域E3と遠い領域E4に同じ補正を施した場合、近い領域E3では、線路Rが際立つが、遠い領域E4では十分に際立たない場合がある。逆に、遠い領域E4では、十分に線路Rが際立つが、近い領域E3では、補正が強すぎて線路Rが検出し難くなる場合がある。この場合、パラメータ取得部10bは、近い領域E3と遠い領域E4とで、異なる補正指標情報18aを取得し異なる種類の補正パラメータ18bを選択してもよいし、近い領域E3と遠い領域E4とで、同じ補正指標情報18aを取得しつつ、異なる値の補正パラメータ18bを選択してもよい。例えば、パラメータ取得部10bが補正指標情報18aとして、補正前画像34中で高輝度領域と低輝度領域が分離されているか否かに注目する場合に用いる輝度情報を補正指標情報としている場合を考える。この場合、パラメータ取得部10bは、近い領域E3に対して、ヒストグラムを伸長させる補正パラメータ18bを取得(選択)する。そして、画像補正部10cは、撮像画像のコントラストを強調する処理を施す。一方、パラメータ取得部10bは、遠い領域E4に対して、ガウシアンフィルタのフィルタサイズを大きくする補正パラメータ18bを取得(選択)する。そして、画像補正部10cは、撮像画像に平滑化を施してノイズを低減する処理を施す。その結果、いずれの領域においても、線路Rを際立たせるようにすることが可能になり、図4に示すような補正後画像32が得られる。 The image correction unit 10c may change the correction method for each individual area of the pre-correction image 34 as shown in FIG. For example, in the case of the pre-correction image 34, the line area E 1 in the pre-correction image 34 is reflected in the lower side of the screen, that is, the region E 3 near the camera 12 and the upper side of the screen, that is, the region E 4 far from the camera 12. May be different. In this case, when the same correction is performed on the near region E 3 and the far region E 4 , the line R may stand out in the near region E 3 , but the far region E 4 may not stand out sufficiently. Conversely, in the region far E 4, but sufficiently line R stand out, in the region close E 3, there is a case where correction is difficult to detect line R too strong. In this case, the parameter obtaining unit 10b is closer in the region E 3 and region far E 4, different correction index to information 18a may be selected obtained different kinds of correction parameters 18b to close area E 3 and far region in the E 4, while obtaining the same correction index information 18a, may be selected correction parameter 18b different values. For example, let us consider a case where the parameter acquisition unit 10b uses, as the correction index information, the luminance information used when correcting whether the high-luminance area and the low-luminance area are separated in the pre-correction image 34 as the correction index information 18a. . In this case, the parameter acquiring unit 10b, to the region close E 3, obtains a correction parameter 18b extending the histogram (selection) of. Then, the image correction unit 10c performs a process of enhancing the contrast of the captured image. On the other hand, the parameter acquiring unit 10b, to the far area E 4, to obtain the correction parameter 18b to increase the filter size of the Gaussian filter (selected). Then, the image correction unit 10c performs a process of smoothing the captured image to reduce noise. As a result, in any region, the line R can be made to stand out, and a corrected image 32 as shown in FIG. 4 is obtained.
また、別の例を図6を用いて説明する。例えば、パラメータ取得部10bが補正指標情報18aとして、時間的に連続する複数の撮像画像で、線路位置の変位の有無や変位量の大小に注目する場合に用いる座標位置情報を補正指標情報としている場合を考える。補正前画像36は短時間で逐次カメラ12によって撮像されるため直近の過去画像と現在の補正前画像36に写り込んでいる線路Rの位置は大きく変化することはない。しかしながら、突然、撮像環境が変化した場合、例えば、走行中に影が撮像領域に入った場合や進行方向の変化により光量が急激に変化した場合、補正前画像36にノイズが増加する場合がある。このノイズによって、直近の過去画像と現在の補正前画像36に写り込んでいる線路Rと見なせる画素の位置が大きく変化してしまう場合がある。図6は、説明のため、直近の過去画像と現在の撮像画像とを重ね合わせた例であり、直近の過去画像で線路Rと見なせる線路領域E0と現在の撮像画像で線路Rと見なせる線路領域E1の座標位置がずれている場合である。このような場合、パラメータ取得部10bは、ノイズを軽減するため、ガウシアンフィルタのフィルタサイズを大きくする補正パラメータ18bを取得(選択)したり、現在の撮像画像に重ね合わせる過去画像の枚数を増加するような補正パラメータ18bを取得(選択)したりする。つまり、画像補正部10cは、補正前画像36にノイズを低減させる平滑化処理を施すことができる。その結果、本来の位置に線路Rが位置するような、図4に示すような補正後画像32が得られる。 Another example will be described with reference to FIG. For example, as the correction index information 18a, the coordinate index information used when the parameter acquisition unit 10b pays attention to the presence / absence of the displacement of the line position and the magnitude of the displacement in a plurality of temporally continuous captured images is used as the correction index information. Think about the case. Since the pre-correction image 36 is sequentially captured by the camera 12 in a short time, the position of the line R reflected in the latest past image and the current pre-correction image 36 does not change significantly. However, when the imaging environment suddenly changes, for example, when a shadow enters the imaging region during traveling or when the light amount changes suddenly due to a change in the traveling direction, noise may increase in the uncorrected image 36. . Due to this noise, the position of the pixel that can be regarded as the line R reflected in the latest past image and the current uncorrected image 36 may change significantly. FIG. 6 is an example in which the most recent past image and the current captured image are superimposed for the sake of explanation. The track region E 0 that can be regarded as the track R in the most recent past image and the track that can be regarded as the track R in the current captured image. a case where is shifted coordinate position of the region E 1. In such a case, the parameter acquisition unit 10b acquires (selects) the correction parameter 18b that increases the filter size of the Gaussian filter or increases the number of past images to be superimposed on the current captured image in order to reduce noise. Such correction parameters 18b are obtained (selected). That is, the image correction unit 10c can perform a smoothing process for reducing noise on the uncorrected image 36. As a result, a corrected image 32 as shown in FIG. 4 is obtained so that the track R is located at the original position.
また、別の例として、パラメータ取得部10bは、補正前画像に対して、所定の基準に基づく線路らしさを表す尺度となり得る特徴量(例えば、輝度)の分布状態を取得し、当該分布状態が線路らしさを際立たせる状態になるように補正する補正パラメータを取得(選択)してもよい。具体的には、パラメータ取得部10bは、補正指標情報18aとして、輝度のヒストグラムの分布状態が線路領域と非線路領域とで二極化しているか否かに注目する場合に用いる輝度分布情報を補正指標情報としている場合を考える。例えば、画像取得部10aの取得した撮像画像が図4に示すように、線路領域E1と非線路領域E2との輝度を比較した場合に十分に識別できる場合、特徴量としての輝度の分布状態は、図7Aに示すように、線路領域E1と非線路領域E2とが二極化した状態で示される。一方、例えば、撮像時の周囲環境が暗かったり、撮像領域の広い範囲に影が写り込んでいたりする場合、画像取得部10aの取得する撮像画像は、図3に示すように、線路領域E1と非線路領域E2とで輝度の差が小さく十分に識別できない場合がある。このような場合、特徴量としての輝度のヒストグラムは、図7Bに示すように、輝度の分布状態の二極化が崩れ、輝度分布の偏りが生じることがある(例えば、非線路領域E2の輝度分布が主として現れる状態)。この場合、パラメータ取得部10bは、明暗のコントラストをより明確化するために、ヒストグラムを伸長する補正パラメータ18bを取得(選択)する。なお、撮像画像において、輝度を0〜255の256階調(「0」が暗く、「255」が明るい)で表した場合、線路領域E1や非線路領域E2に対応する輝度値は、予め試験等により既知であるとする。そして、画像補正部10cは、補正前画像において、線路領域E1や非線路領域E2に対応する輝度値が増加するようにヒストグラムの伸長処理を実行する。その結果、図7Aに示すように輝度分布が二極化される。つまり、補正後画像は、線路領域E1と非線路領域E2とが識別し易い画像となる。 As another example, the parameter acquisition unit 10b acquires a distribution state of a feature amount (for example, luminance) that can be a scale representing the line quality based on a predetermined criterion with respect to the pre-correction image, and the distribution state is You may acquire (select) the correction parameter which correct | amends so that it may be in the state which makes line quality stand out. Specifically, the parameter acquisition unit 10b corrects the luminance distribution information used when paying attention to whether or not the distribution state of the luminance histogram is bipolar between the line region and the non-line region as the correction index information 18a. Consider the case where index information is used. For example, as obtained captured image of the image acquisition unit 10a is shown in FIG. 4, if sufficiently identified when comparing the luminance of the line region E 1 and the non-line area E 2, the luminance distribution as the feature amount The state is shown in a state in which the line region E 1 and the non-line region E 2 are bipolar as shown in FIG. 7A. On the other hand, for example, when the surrounding environment at the time of imaging is dark or a shadow is reflected in a wide range of the imaging area, the captured image acquired by the image acquisition unit 10a is a track area E 1 as shown in FIG. difference in luminance between the non-line area E 2 may not be reduced sufficiently identified. In such a case, as shown in FIG. 7B, the luminance histogram as the feature amount may be lost in the distribution of luminance distribution, resulting in uneven luminance distribution (for example, in the non-line region E 2 ). A state in which a luminance distribution mainly appears). In this case, the parameter acquisition unit 10b acquires (selects) the correction parameter 18b for expanding the histogram in order to clarify the contrast between light and dark. In the captured image, when the luminance is expressed by 256 gradations of 0 to 255 (“0” is dark and “255” is bright), the luminance values corresponding to the line region E 1 and the non-line region E 2 are as follows. It is assumed that it is already known by a test or the like. Then, the image correcting unit 10c, the image before correction, the luminance value corresponding to the line region E 1 and the non-line region E 2 performs decompression processing of the histogram to increase. As a result, the luminance distribution is bipolarized as shown in FIG. 7A. That is, the corrected image is an image in which the track area E 1 and the non-track area E 2 can be easily identified.
上述したように、画像取得部10aの取得した補正前画像の状態に応じてパラメータ取得部10bは、補正指標情報18aおよび補正パラメータ18bを取得(選択)する。そして、取得された補正パラメータ18bにしたがい画像補正部10cが、画像補正処理を行うことにより線路Rらしさを際立たせた補正後画像を取得することができる。線路検出部10dは、補正後画像に対して線路位置の検出を実行する。 As described above, the parameter acquisition unit 10b acquires (selects) the correction index information 18a and the correction parameter 18b according to the state of the pre-correction image acquired by the image acquisition unit 10a. Then, according to the acquired correction parameter 18b, the image correction unit 10c can acquire a post-correction image that makes the line R characteristic stand out by performing image correction processing. The line detection unit 10d performs line position detection on the corrected image.
次に、図8〜図11を用いて、線路検出部10dが補正後画像から線路Rを検出する手順を説明する。 Next, the procedure in which the line detection unit 10d detects the line R from the corrected image will be described with reference to FIGS.
本実施形態において、線路Rは、カメラ12によって撮像された撮像画像における複数の画素群(探索エリア)ごとに、所定の基準に基づく線路らしさを表す尺度となり得る特徴量(例えば、輝度に関する特徴)に基づき検出される。 In the present embodiment, the line R is a feature quantity (for example, a feature related to luminance) that can be a scale representing the line quality based on a predetermined reference for each of a plurality of pixel groups (search areas) in the captured image captured by the camera 12. Detected based on
撮像画像における線路Rの写り込み状態は、撮像環境(例えば周囲の明るさなど)に応じて変化する。また、撮像環境によってノイズの量も変化する。例えば、線路Rに対応した領域が、周囲の領域よりも明るく写り込んでいる場合がある。このような場合、線路Rが光の反射を起こしやすい撮像環境で取得されたと見なすことができる。このような場合、線路Rが存在する線路領域とそれ以外の非線路領域との識別が容易であることが多く、またノイズも少ない場合が多い。この場合、特徴量として、例えば、輝度値そのものに着目して線路Rを検出する手法が有効である。線路Rに対応した領域が他の領域よりも相対的に明るく写り込んでいるため、鳥瞰画像としての画像全体を、輝度値が閾値以上の領域と、輝度値が閾値未満の領域と、に二分(二値化)した特徴データを取得すれば、線路Rに対応した領域を精度良く検出することが可能である。この場合、特徴量として着目するものが単一であるのでノイズに対して頑健であり、また、ハフ変換やRANSACなどといった既存の線分検出アルゴリズムを利用した線路検出アルゴリズムへの適用が容易であるため、有用である。 The reflection state of the track R in the captured image changes according to the imaging environment (for example, ambient brightness). In addition, the amount of noise varies depending on the imaging environment. For example, the area corresponding to the track R may appear brighter than the surrounding area. In such a case, it can be considered that the line R is acquired in an imaging environment in which light reflection is likely to occur. In such a case, it is often easy to distinguish between the line region where the line R exists and the other non-line regions, and the noise is also low in many cases. In this case, for example, a technique for detecting the line R by paying attention to the luminance value itself is effective as the feature amount. Since the area corresponding to the track R is reflected relatively brighter than the other areas, the entire image as the bird's-eye view image is divided into an area where the luminance value is equal to or greater than the threshold value and an area where the luminance value is less than the threshold value. If the (binarized) feature data is acquired, the region corresponding to the line R can be detected with high accuracy. In this case, since there is only one feature as the feature amount, it is robust against noise, and it is easy to apply to a line detection algorithm using an existing line segment detection algorithm such as Hough transform or RANSAC. Because it is useful.
逆に、線路Rに対応した領域が、周囲の領域よりも暗く写り込んでいる場合がある。このような場合、線路Rが光の反射を起こしにくい撮像環境において取得されたと見なすことができる。このような場合、線路領域と非線路領域との識別がし難い場合が多く、ノイズも多い場合が多い。この場合、特徴量として、輝度値の勾配(着目する画素と当該画素に隣接する画素との輝度値の差分)に着目して線路Rを検出する手法が有効である。なお、輝度値の勾配は、SOBELフィルタや、Laplacianフィルタ、Robinsonフィルタ、Cannyフィルタなどによって算出可能である。 Conversely, the region corresponding to the line R may appear darker than the surrounding region. In such a case, it can be considered that the line R was acquired in an imaging environment in which light reflection is difficult to occur. In such a case, it is often difficult to distinguish between the line area and the non-line area, and there are many cases of noise. In this case, it is effective to detect the line R by paying attention to the gradient of the luminance value (difference in luminance value between the pixel of interest and the pixel adjacent to the pixel) as the feature amount. Note that the gradient of the luminance value can be calculated by an SOBEL filter, a Laplacian filter, a Robinson filter, a Canny filter, or the like.
一般に、線路Rは、カメラ12の視点で手前側から奥側に向かって延びるため、通常は、輝度値の横軸(x軸)方向の勾配が特徴量として着目される。一方、線路Rに対応した領域が、カメラ12の視点で手前側から奥側に向かう途中でカーブしている場合、奥側の領域で、輝度値の横軸方向の勾配よりも、輝度値の縦軸(y軸)方向の勾配の方が大きくなる。そこで、線路Rに対応した領域が、周囲の領域よりも暗く写り込んでいるような撮像環境では、特徴量として、輝度値の横軸方向の勾配と縦軸方向の勾配との両方に着目し、検出対象となるエリア(画素群)に応じて着目する勾配を切り替えながら特徴データを取得する手法が有効である。この手法は、特徴量として着目するものが増加することでノイズが増加する可能性はあるものの、カーブした線路Rを当該線路Rの延びる方向に応じて適切に検出することが可能であるため、有用である。 In general, the line R extends from the near side to the far side from the viewpoint of the camera 12, and therefore, the gradient of the luminance value in the horizontal axis (x-axis) direction is usually noted as a feature amount. On the other hand, when the region corresponding to the track R is curved on the way from the near side to the far side from the viewpoint of the camera 12, the luminance value of the far side region is larger than the gradient of the luminance value in the horizontal axis direction. The gradient in the direction of the vertical axis (y-axis) is larger. Therefore, in an imaging environment where the area corresponding to the track R is darker than the surrounding area, attention is paid to both the gradient in the horizontal axis direction and the gradient in the vertical axis direction as the feature value. A technique for acquiring feature data while switching the gradient of interest according to the area (pixel group) to be detected is effective. Although this method can detect noise as the feature amount increases, noise can be increased, but the curved line R can be appropriately detected according to the direction in which the line R extends. Useful.
このように、線路Rを精度良く検出するために着目すべき特徴量は、撮像画像の撮像環境や、検出対象の線路Rの部位など、状況に応じて様々に異なる。したがって、どのような撮像画像からも線路Rを精度良く検出するためには、線路Rの検出に用いる特徴量として、輝度そのものを用いる場合と輝度の勾配を用いる場合とを、状況に応じて適宜切り替えればよい。 As described above, the feature amount to be noted in order to detect the line R with high accuracy varies depending on the situation, such as the imaging environment of the captured image and the part of the line R to be detected. Therefore, in order to accurately detect the line R from any captured image, the case where the luminance itself is used as the feature amount used for detection of the line R and the case where the luminance gradient is used are appropriately determined depending on the situation. Switch.
線路検出部10dは、画像補正部10cにより補正された図8に示すような補正後画像38をy軸方向(画像の奥側、上側)に分割した、複数の画素群(エリア)ごとに、所定の基準に基づいて、線路らしさを表す尺度となりうる複数の特徴量から、線路Rの検出に用いる1つの特徴量を取得する。そして、複数のエリアの各々から、取得された1つの特徴量に基づく特徴データを取得する。 The track detection unit 10d divides the corrected image 38 corrected by the image correction unit 10c as shown in FIG. 8 in the y-axis direction (back side, upper side of the image) for each of a plurality of pixel groups (areas). Based on a predetermined criterion, one feature amount used for detecting the line R is acquired from a plurality of feature amounts that can be a scale representing the line quality. Then, feature data based on one acquired feature amount is acquired from each of the plurality of areas.
線路検出部10dは、取得された特徴データに基づいて、補正後画像38から線路Rを検出する。 The line detection unit 10d detects the line R from the corrected image 38 based on the acquired feature data.
線路検出部10dは、図8に示すように、補正後画像38に含まれる複数の画素群(エリア)のうち、最初の検出対象となる初期エリアA1から線路R(レール40L、レール40R)の一部を検出した後、検出した線路Rの一部を基準とした次のエリアから線路Rの一部をさらに検出する処理を順次繰り返すことで、撮像画像の全体から線路Rを検出する。そして、線路検出部10dは、線路Rの一部が検出されるごとに、上述した所定の基準として、少なくとも、線路検出部10dにより既に検出済の線路Rの一部に関する情報を用いて、次のエリアに対応した1つの特徴量を取得する。 As illustrated in FIG. 8, the line detection unit 10 d includes a plurality of pixel groups (areas) included in the corrected image 38 from the initial area A1 to be detected first to the line R (rail 40L, rail 40R). After a part is detected, the line R is detected from the entire captured image by sequentially repeating a process of further detecting a part of the line R from the next area based on the detected part of the line R. Then, every time a part of the line R is detected, the line detection unit 10d uses at least information on a part of the line R that has already been detected by the line detection unit 10d as the predetermined reference described above. One feature amount corresponding to the area is acquired.
線路検出部10dは、上述した所定の基準として、既に検出済の線路Rの一部の補正後画像38内での明暗に関する画像統計量を用いて、次のエリアに対応した1つの特徴量を選択する。明暗に関する画像統計量とは、例えば平均輝度値である。既に検出済の線路Rの一部の平均輝度値に着目すると、処理対象の撮像画像は、線路Rが光の反射を起こしやすい撮像環境で取得された画像か、線路Rが光の反射を起こしにくい撮像環境で取得された画像か、を判定することができる。 The line detection unit 10d uses, as the predetermined reference described above, one feature amount corresponding to the next area by using image statistics relating to light and darkness in a part of the corrected image 38 of the already detected line R. select. The image statistic relating to light and dark is, for example, an average luminance value. Focusing on the average luminance value of a part of the track R that has already been detected, the captured image to be processed is an image acquired in an imaging environment in which the track R is likely to reflect light, or the track R causes light reflection. It can be determined whether the image is acquired in a difficult imaging environment.
例えば、既に検出済の線路Rの一部の平均輝度値が閾値以上である場合、当該線路Rの一部に対応した領域は、補正後画像38内で他の領域よりも明るく写り込んでいると言える。このような場合、前述したように、次のエリアに対応した特徴量としては、輝度値そのものに着目することが有効である。一方、既に検出済の線路Rの一部の平均輝度値が閾値未満である場合、当該線路Rの一部に対応した領域は、補正後画像38内で他の領域よりも暗く写り込んでいると言える。このような場合、前述したように、次のエリアに対応した特徴量としては、輝度値の勾配に着目することが有効である。したがって、線路検出部10dは、既に検出済の線路Rの一部の平均輝度値と閾値との大小関係に応じて、次のエリアの特徴量として、輝度値そのものを選択するか、または、輝度値の勾配を選択するか、を決定する。 For example, when the average luminance value of a part of the track R that has already been detected is greater than or equal to the threshold value, the region corresponding to the part of the track R is reflected brighter than the other regions in the corrected image 38. It can be said. In such a case, as described above, it is effective to pay attention to the luminance value itself as the feature amount corresponding to the next area. On the other hand, when the average luminance value of a part of the line R that has already been detected is less than the threshold value, the area corresponding to the part of the line R appears darker than the other areas in the corrected image 38. It can be said. In such a case, as described above, it is effective to pay attention to the gradient of the luminance value as the feature amount corresponding to the next area. Therefore, the line detection unit 10d selects the luminance value itself as the feature amount of the next area, or selects the luminance value according to the magnitude relationship between the average luminance value of a part of the already detected line R and the threshold value. Decide if you want to choose the slope of the value.
なお、前述したように、特徴量としての輝度値の勾配は、横軸方向の勾配と縦軸方向の勾配との2つが存在し、これら2つのいずれが適切であるかは、線路Rのカーブの有無などに応じて異なる。そこで、線路検出部10dは、既に検出済の線路Rの一部の角度(線路Rの一部が延びる方向)に基づいて、次のエリアから線路Rの一部を検出するために用いる1つの特徴量として、輝度値の横軸方向の勾配を選択するか、または、輝度値の縦軸方向の勾配を選択するか、を決定する。 As described above, there are two gradients of the luminance value as the feature amount, the gradient in the horizontal axis direction and the gradient in the vertical axis direction. Which of these two is appropriate depends on the curve of the line R. It depends on the presence or absence of. Therefore, the line detection unit 10d is used to detect a part of the line R from the next area based on a part of the angle of the already detected line R (a direction in which a part of the line R extends). As the feature amount, it is determined whether to select the gradient of the luminance value in the horizontal axis direction or to select the gradient of the luminance value in the vertical axis direction.
ところで、初期エリアA1は、最初の検出対象となるエリアであるので、上述したような参照すべき直前の結果は存在しない。したがって、初期エリアA1からの線路Rの一部の検出には、過去(例えば1フレーム前)の補正後画像38に対する線路Rの検出結果を用いる。すなわち、画像取得部10aは、鉄道車両RVの進行とともに撮像画像を複数回取得し、パラメータ取得部10bは、順次、補正指標情報18aおよび補正パラメータ18bを取得する。そして、画像補正部10cは、補正後画像38を逐次生成する。そして、線路検出部10dは、あるタイミングで得られた補正後画像38における初期エリアA1に対応した1つの特徴量を選択する場合、当該1つの特徴量を選択するための所定の基準として、少なくとも、あるタイミングよりも前のタイミングで得られた補正後画像38(1フレーム前の補正後画像38)における初期エリアA1から検出された線路Rの一部に関する情報(上述した平均輝度値などといった画像統計量)を用いる。なお、1フレーム前の補正後画像38に基づいて検出された線路Rに関する情報は、線路情報として、記憶部10eに記憶されているものとする。 By the way, since the initial area A1 is an area to be detected for the first time, there is no immediate result to be referred to as described above. Therefore, the detection result of the line R with respect to the corrected image 38 in the past (for example, one frame before) is used for detecting a part of the line R from the initial area A1. That is, the image acquisition unit 10a acquires a captured image a plurality of times as the railway vehicle RV progresses, and the parameter acquisition unit 10b sequentially acquires the correction index information 18a and the correction parameter 18b. Then, the image correction unit 10c sequentially generates the corrected images 38. When the line detection unit 10d selects one feature amount corresponding to the initial area A1 in the corrected image 38 obtained at a certain timing, at least as a predetermined reference for selecting the one feature amount, Information on a part of the line R detected from the initial area A1 in the corrected image 38 (corrected image 38 one frame before) obtained at a timing before a certain timing (image such as the above-described average luminance value) Statistic). In addition, the information regarding the track | route R detected based on the image 38 after 1 frame correction | amendment shall be memorize | stored in the memory | storage part 10e as track | line information.
鉄道車両RVの場合、撮像時のカメラ12の位置が固定されているため、撮像画像において、線路Rの出現位置(存在位置)は、ある程度限定される。したがって、記憶部10eは、撮像画像における線路Rの標準的な出現位置や線路幅情報等を標準線路位置情報18cとして記憶している。また、記憶部10eは、線路Rを検出し易いように補正された補正後画像において、線路Rの検出に用いられる線路情報(例えば、検出済線路情報、検出済線路幅情報、初期エリア情報、線路位置情報等)を記憶する。 In the case of the railway vehicle RV, since the position of the camera 12 at the time of imaging is fixed, the appearance position (existing position) of the track R is limited to some extent in the captured image. Therefore, the storage unit 10e stores the standard appearance position of the line R in the captured image, the line width information, and the like as the standard line position information 18c. In addition, the storage unit 10e uses track information (for example, detected track information, detected track width information, initial area information, etc.) used in the detection of the track R in the corrected image corrected so that the track R can be easily detected. Track position information).
ここで、補正後画像38における各エリアから線路R(の一部)を検出するための手法について説明する。まず、初期エリアA1から線路R(の一部)を検出するための手法について説明する。前述したように、初期エリアA1は、線路Rの検出の起点となる領域として予め決められた位置に設定されている。初期エリアA1の位置は、線路情報として記憶部10eに予め記憶されている。線路検出部10dは、まず、記憶部10eの線路情報を参照することで、上記の手法で選択された特徴量に基づいて取得された特徴データから初期エリアA1に対応した領域のデータを抽出する。そして、線路検出部10dは、抽出したデータに対してハフ変換やRANSACなどといった線分検出アルゴリズムに基づく処理を実行することで、初期エリアA1内に存在する線路R(の一部)の候補を抽出する。なお、正規の線路Rを構成する一対のレール40L,40Rの幅は、予め決まっている。したがって、正規の線路Rを構成する一対のレール40L,40Rの幅に関する情報を取得すれば、上記のように抽出された候補から、正規の線路R(の一部)を特定することが可能である。そこで、本実施形態においては、線路Rを構成する一対のレール40L,40Rの幅が、線路情報として記憶部10eに予め記憶されているとしてもよい。 Here, a method for detecting (part of) the line R from each area in the corrected image 38 will be described. First, a method for detecting (part of) the line R from the initial area A1 will be described. As described above, the initial area A1 is set at a position determined in advance as a region from which the line R is detected. The position of the initial area A1 is stored in advance in the storage unit 10e as track information. First, the line detection unit 10d extracts the data of the region corresponding to the initial area A1 from the feature data acquired based on the feature amount selected by the above method by referring to the line information in the storage unit 10e. . Then, the line detection unit 10d performs a process based on a line segment detection algorithm such as Hough transform and RANSAC on the extracted data, thereby selecting candidates for (part of) the line R existing in the initial area A1. Extract. Note that the width of the pair of rails 40L and 40R constituting the regular line R is determined in advance. Therefore, if information on the width of the pair of rails 40L and 40R constituting the regular line R is acquired, it is possible to identify (part of) the regular line R from the candidates extracted as described above. is there. Therefore, in the present embodiment, the width of the pair of rails 40L and 40R constituting the line R may be stored in advance in the storage unit 10e as line information.
そして、線路検出部10dは、線路情報の線路幅を参照し、上記のように抽出された候補から、線路情報で示された線路幅にマッチする幅を有する候補をさらに抽出することで、正規の線路Rを特定(検出)する。そして、線路検出部10dは、特定した線路Rを構成する複数の座標点を、線路位置情報として記憶部10eに記憶する。例えば、図9に示される補正後画像38の例では、線路R(レール42L,42R)に含まれる座標点L1,R1,L2,R2等が記憶部10eに記憶される。 Then, the line detection unit 10d refers to the line width of the line information, and further extracts candidates having a width that matches the line width indicated by the line information from the candidates extracted as described above. The line R is identified (detected). And the track | line detection part 10d memorize | stores the some coordinate point which comprises the specified track | line R in the memory | storage part 10e as track | line position information. For example, in the example of the corrected image 38 shown in FIG. 9, the coordinate points L1, R1, L2, R2, etc. included in the track R (rails 42L, 42R) are stored in the storage unit 10e.
次に、初期エリアA1以降のエリアから線路R(の一部)を検出するための手法について説明する。 Next, a technique for detecting (part of) the line R from the area after the initial area A1 will be described.
図10、図11は、初期エリアA1以降のエリアから線路R(の一部)を検出するための手法の概略を説明するための例示的かつ模式的な図である。図10に示される例では、直近の処理により、線路Rの一部として、座標点L1,L2が検出済となっているものとする。線路検出部10dは、まず、図10に示されるように、直近に検出された2つの座標点に基づく所定の扇形の領域を設定する。扇形の領域とは、直近に検出された2つの座標点L1,L2のうち初期エリアA1とは反対側の座標点L2から、当該2つの座標点L1,L2を結ぶ直線Lを中心として左右に同一の角度θで広がるように延びる仮想線VRおよび仮想線VLで区画される領域である。なお、角度θは、予め設定された角度であって、例えば、線路Rの規格などで規定された最大曲率の範囲をカバーする角度である。また、仮想線VRおよび仮想線VLの長さは、予め設定された長さである。 10 and 11 are exemplary and schematic diagrams for explaining an outline of a technique for detecting (part of) the line R from the area after the initial area A1. In the example shown in FIG. 10, it is assumed that coordinate points L1 and L2 have been detected as part of the line R by the latest processing. First, as illustrated in FIG. 10, the line detection unit 10 d sets a predetermined sector area based on the two most recently detected coordinate points. The sector-shaped area is defined as the left and right of the two coordinate points L1 and L2 detected most recently from the coordinate point L2 on the opposite side of the initial area A1 around the straight line L connecting the two coordinate points L1 and L2. This is a region partitioned by a virtual line VR and a virtual line VL extending so as to spread at the same angle θ. Note that the angle θ is a preset angle, for example, an angle that covers a range of the maximum curvature defined by the standard of the line R and the like. Further, the lengths of the virtual line VR and the virtual line VL are preset lengths.
上記のような扇形の領域を設定すると、線路検出部10dは、図11に示されるように、扇形の領域の上端の任意の一箇所と、当該扇形の領域の起点(要)となる座標点L2とを網羅的に結ぶ複数の線分を設定する。これらの複数の線分が、線路R(の一部)の候補となる。 When the sector area as described above is set, as shown in FIG. 11, the line detection unit 10d has an arbitrary point at the upper end of the sector area and a coordinate point that is the starting point (essential) of the sector area. A plurality of line segments that comprehensively connect L2 are set. These multiple line segments are candidates for the line R (a part of the line R).
そして、線路検出部10dは、上記のように設定した複数の候補を補正後画像38上にあてはめ、複数の候補の中から選択された、特徴量の平均値が最も大きいものを、正規の線路R(の一部)として特定(検出)する。 Then, the line detection unit 10d fits the plurality of candidates set as described above on the corrected image 38, and selects the one having the largest feature value average value selected from the plurality of candidates as the normal line R (part) is specified (detected).
ところで、図10に示された2つの座標点は、線路Rを構成する一対のレール40L.40Rのうちの一方である、例えば、レール40Lに沿ったものであり、実際には、他方のレール40Rに沿った2つの座標点も検出済である。したがって、線路検出部10dは、他方のレール40Rについても上記の同様の手法で正規の線路Rを特定(検出)する。 The two coordinate points shown in FIG. 10 are a pair of rails 40L. One of the 40Rs, for example, along the rail 40L, and actually two coordinate points along the other rail 40R have also been detected. Therefore, the line detection unit 10d specifies (detects) the normal line R in the same manner as described above for the other rail 40R.
線路検出部10dは、上記の手順が順次繰り返されることにより、図9に示す補正後画像38の全ての領域から線路R(レール42L,42R)の全体が検出される。そして、検出された線路R(の全体)に関する情報は、検出済線路情報として記憶部10eに記憶される。なお、上述の線路Rの検出手法の場合、図11に示されるように、扇形の領域に複数の線分(直線の線路候補)を設定し、特徴量の平均値が最も大きいものを正規の線路R(の一部)として特定する例を示した。別の例では、扇形の領域に複数の放物線の線路候補を設定し、特徴量の平均値が最も大きいものを正規の線路R(の一部)として特定するようにしてもよい。この場合、より実際の線路Rに近い形状の線路候補で線路Rの探索を実行することになる。その結果、より精度よく線路Rの検出ができる。一方、上述したように、線路候補を線分(直線)で設定して探索を行う場合、処理負荷の軽減、処理時間の短縮等に寄与することができる。 The line detection unit 10d detects the entire line R (rails 42L and 42R) from all regions of the corrected image 38 shown in FIG. 9 by sequentially repeating the above procedure. And the information regarding the detected line R (the whole) is memorize | stored in the memory | storage part 10e as detected track information. In the case of the above-described detection method of the line R, as shown in FIG. 11, a plurality of line segments (straight line candidates) are set in a sector area, and the one having the largest feature value is normalized. The example specified as (part of) the line R is shown. In another example, a plurality of parabola line candidates may be set in a sector-shaped region, and the one having the largest feature value average value may be specified as (a part of) the normal line R. In this case, the search for the line R is executed with a line candidate having a shape closer to the actual line R. As a result, the line R can be detected with higher accuracy. On the other hand, as described above, when searching by setting line candidates as line segments (straight lines), it is possible to contribute to reduction of processing load, reduction of processing time, and the like.
図2に戻り、障害物検知装置16は、軌道識別装置10が検出した線路Rに対して、鉄道車両RVが線路Rを走行する際に注視する障害物(注視物)が存在するか否かの検知を行い、表示部14等に検知の結果を表示させる。 Returning to FIG. 2, the obstacle detection device 16 determines whether or not there is an obstacle (gazing object) to be watched when the railway vehicle RV travels on the track R with respect to the track R detected by the track identification device 10. And the detection result is displayed on the display unit 14 or the like.
判定領域特定部16aは、線路検出部10dの検出結果に基づいて、補正後画像内における線路Rの付近の領域を、障害物(注視が必要な注視物)の有無の判定の対象となる判定領域として特定する。したがって、線路検出部10dは、検出結果を障害物検知装置16側に出力する線路検出結果出力部として機能する。 Based on the detection result of the line detection unit 10d, the determination area specifying unit 16a determines a region in the vicinity of the line R in the corrected image as a target for determining whether there is an obstacle (a gaze object that requires gaze). Specify as an area. Therefore, the line detection unit 10d functions as a line detection result output unit that outputs the detection result to the obstacle detection device 16 side.
障害物検出部16bは、判定領域特定部16aにより特定された判定領域内に注視物が存在するか否かを監視(検出)する。注視物の有無を判定するための情報(テンプレート)は、障害物情報20として記憶部16dに記憶されている。障害物検出部16bは、障害物情報20と、線路検出部10dが検出した線路R(線路Rの存在領域)と、に基づいて、障害物(注視物)のテンプレートにマッチする画素群が判定領域内に存在するか否かを判定する。 The obstacle detection unit 16b monitors (detects) whether or not there is a gaze object in the determination region specified by the determination region specification unit 16a. Information (template) for determining the presence or absence of the gaze object is stored as the obstacle information 20 in the storage unit 16d. The obstacle detection unit 16b determines, based on the obstacle information 20 and the line R (area where the line R exists) detected by the line detection unit 10d, a pixel group that matches the template of the obstacle (gazing object). It is determined whether or not it exists in the area.
そして、出力制御部16cは、障害物検出部16bにより障害物(注視物)が存在すると判定された場合に、障害物に対応する注視画像(マーク、アイコン、シンボル、キャラクタ等)を障害物情報20等から読み出す。そして、出力制御部16cは、表示部14に表示されている画像(線路Rが写り込んでいる実画像)の対応する位置に注視画像を重畳して表示させる処理等を実行することで、警報を出力する。なお、この場合、音声やアラームによる警報を併せて出力するようにしてもよい。 When the obstacle detection unit 16b determines that there is an obstacle (gaze object), the output control unit 16c displays the gaze image (mark, icon, symbol, character, etc.) corresponding to the obstacle as obstacle information. Read from 20 etc. Then, the output control unit 16c performs a process of superimposing and displaying the gaze image on the corresponding position of the image displayed on the display unit 14 (the actual image in which the track R is reflected), thereby generating an alarm. Is output. In this case, a warning by voice or alarm may be output together.
以上のように構成される第1実施形態にかかる軌道識別装置10を含む車両システム100の動作について図12〜図14のフローチャートを用いて説明する。 The operation of the vehicle system 100 including the trajectory identification device 10 according to the first embodiment configured as described above will be described with reference to the flowcharts of FIGS.
図12は、第1実施形態にかかる軌道識別装置10を含む車両システム100が実行する処理の全体的な流れを示した例示的なフローチャートである。この図12に示される処理フローは、鉄道車両RVの走行中に繰り返し実行される。 FIG. 12 is an exemplary flowchart showing an overall flow of processing executed by the vehicle system 100 including the trajectory identification device 10 according to the first embodiment. The processing flow shown in FIG. 12 is repeatedly executed while the railway vehicle RV is traveling.
図12に示される処理フローでは、まず、S100において、軌道識別装置10の画像取得部10aは、カメラ12から撮像画像を取得する。なお、画像取得部10aは取得した撮像画像を鳥瞰画像に変換してもよい。 In the processing flow shown in FIG. 12, first, in S <b> 100, the image acquisition unit 10 a of the trajectory identification device 10 acquires a captured image from the camera 12. Note that the image acquisition unit 10a may convert the acquired captured image into a bird's-eye view image.
そして、S102において、軌道識別装置10は、パラメータ取得部10b、画像補正部10cの動作により、補正前画像に対して、線路Rらしさが際立つような補正処理を実行する。 In S102, the trajectory identification device 10 performs a correction process that makes the line R characteristic stand out with respect to the pre-correction image by the operations of the parameter acquisition unit 10b and the image correction unit 10c.
具体的には、図13のフローチャートに示されるように、S200において、補正指標情報18aおよび補正パラメータ18bを取得(選択)する。より具体的な取得処理の例を図14に示されるフローチャートを用いて説明する。なお、図14に示されるフローチャートでは、一例として、補正指標情報は、予め輝度情報を用いることが決められている場合を説明する。 Specifically, as shown in the flowchart of FIG. 13, in S200, the correction index information 18a and the correction parameter 18b are acquired (selected). A more specific example of the acquisition process will be described with reference to the flowchart shown in FIG. In the flowchart shown in FIG. 14, as an example, a case where it is determined in advance that luminance information is used as correction index information will be described.
パラメータ取得部10bは、まず、画像取得部10aが取得した撮像画像(補正前画像)に対して、線路領域と推定される領域と非線路領域と推定される領域の平均輝度差が所定値A以下か否かを判定する(S300)。平均輝度差の所定値Aとは、輝度を0〜255の256階調(「0」が暗く、「255」が明るい)で表した場合、例えば、「100」とすることができる。平均輝度差が所定値A以下の場合(S300のYes)補正前画像は、全体として輝度差の小さい例えば、図7Bに示すような状態(例えば、全体が暗い画像)であると推定される。この場合、パラメータ取得部10bは、記憶部10eから補正パラメータ18bとして補正前画像のコントラストを変化させるために輝度に関するヒストグラムの伸長調整を行うための補正パラメータを取得(選択)する。具体的には、補正後画像が、図7Aのように、高輝度の領域となる線路領域E1と線路領域E1よりは低輝度の領域となる非線路領域E2になるように、二極化させる補正パラメータaを取得する(S302)。その結果、補正後画像は、例えば図3に示されるように、線路領域E1と非線路領域E2とが十分に識別可能な画像となる。なお、パラメータ取得部10bは、今回の画像処理で取得(選択)したパラメータ取得部10bを補正指標情報18aと関連付けて記憶部10eに保存し、次のタイミングの画像補正処理の際に必要に応じて利用できるようにする。 First, the parameter acquisition unit 10b is configured such that an average luminance difference between a region estimated as a line region and a region estimated as a non-line region is a predetermined value A with respect to the captured image (pre-correction image) acquired by the image acquisition unit 10a. It is determined whether or not (S300). The predetermined value A of the average luminance difference can be, for example, “100” when the luminance is expressed by 256 gradations of “0 to 255” (“0” is dark and “255” is bright). When the average luminance difference is equal to or less than the predetermined value A (Yes in S300), it is estimated that the pre-correction image has a small luminance difference as a whole, for example, a state as shown in FIG. In this case, the parameter acquisition unit 10b acquires (selects) a correction parameter for performing a histogram expansion adjustment relating to luminance in order to change the contrast of the pre-correction image as the correction parameter 18b from the storage unit 10e. Specifically, as the corrected image is, as shown in FIG. 7A, in the non-line area E 2 as the low luminance region from the line region E 1 and the line area E 1 formed of a high luminance region, the two The correction parameter a to be polarized is acquired (S302). As a result, the corrected image is an image in which the line area E 1 and the non-line area E 2 are sufficiently distinguishable as shown in FIG. 3, for example. The parameter acquisition unit 10b stores the parameter acquisition unit 10b acquired (selected) in the current image processing in the storage unit 10e in association with the correction index information 18a, and performs image correction processing at the next timing as necessary. Make it available.
一方、S300において、平均輝度差が所定値Aを超えている場合(S300のNo)、つまり、補正前画像は、輝度差が十分にあり、明領域と暗領域が存在していると推定される。この場合、パラメータ取得部10bは、続いて、例えば、補正前画像の領域を複数のブロックに分割した場合に、各ブロック内の輝度の分散状態を確認する。例えば、ブロック内の輝度分散が所定値より大きい場合、ブロック内の明暗(色)の変化が大きく、いわゆる「ごま塩ノイズ」が存在することを示す。このような、「ごま塩ノイズ」が存在するブロックの割合が補正前画像全体のB以上(例えば50%以上)を占める場合(S304のYes)、パラメータ取得部10bは、記憶部10eから補正前画像の平滑化を行うためのガウシアンフィルタのフィルタサイズを変化させる補正パラメータbを取得(選択)する(S306)。その結果、補正後画像は、平滑化され、ごま塩ノイズ等が低減された、例えば図3に示されるように、明暗領域の識別が行い易くなり、線路領域E1と非線路領域E2とが十分に識別可能な画像となる。なお、パラメータ取得部10bは、今回の画像処理で取得(選択)したパラメータ取得部10bを補正指標情報18aと関連付けて記憶部10eに保存し、次のタイミングの画像補正処理の際に必要に応じて利用できるようにする。 On the other hand, when the average luminance difference exceeds the predetermined value A in S300 (No in S300), that is, the pre-correction image has a sufficient luminance difference, and it is estimated that a bright region and a dark region exist. The In this case, the parameter acquisition unit 10b subsequently checks the luminance distribution state in each block, for example, when the region of the pre-correction image is divided into a plurality of blocks. For example, when the luminance dispersion in the block is larger than a predetermined value, the change in brightness (color) in the block is large, indicating that so-called “sesame salt noise” exists. When the proportion of blocks in which such “sesame salt noise” exists occupies B or more (for example, 50% or more) of the entire pre-correction image (Yes in S304), the parameter acquisition unit 10b reads the pre-correction image from the storage unit 10e. The correction parameter b for changing the filter size of the Gaussian filter for smoothing is acquired (selected) (S306). As a result, the corrected image is smoothed and sesame salt noise or the like is reduced. For example, as shown in FIG. 3, it becomes easy to identify the light and dark regions, and the line region E 1 and the non-line region E 2 are separated. The image can be sufficiently identified. The parameter acquisition unit 10b stores the parameter acquisition unit 10b acquired (selected) in the current image processing in the storage unit 10e in association with the correction index information 18a, and performs image correction processing at the next timing as necessary. Make it available.
S304において、「ごま塩ノイズ」が存在するブロックの割合が補正前画像全体のB未満の場合(S304のNo)、つまり、補正前画像は、輝度差が十分にあり、かつごま塩ノイズ等が少ない状態である。この場合、補正前画像は、線路領域E1と非線路領域E2とが十分に識別可能な画像であり、補正することなく線路Rの検出が可能であると推定できる。そのため、パラメータ取得部10bは、補正前画像に対する補正パラメータ18bを現状維持する(S308)。つまり、前回処理時に用いた補正パラメータ18bをそのままの状態で今回の処理のおいても利用する。すなわち、前回の画像補正処理の結果に応じて今回利用する補正パラメータ18bを取得する。その結果、補正処理のための処理負荷の軽減ができる。なお、初回の画像処理の場合、前回の画像補正処理の結果を参照できないため、例えば、予め設定された標準的な補正パラメータ18bを利用することができる。 In S304, when the ratio of the blocks in which “sesame salt noise” is present is less than B in the entire pre-correction image (No in S304), that is, the pre-correction image has a sufficient luminance difference and a small amount of sesame salt noise or the like. It is. In this case, the pre-correction image is an image in which the line area E 1 and the non-line area E 2 can be sufficiently identified, and it can be estimated that the line R can be detected without correction. Therefore, the parameter acquisition unit 10b maintains the current state of the correction parameter 18b for the pre-correction image (S308). That is, the correction parameter 18b used in the previous process is used as it is in the current process. That is, the correction parameter 18b used this time is acquired according to the result of the previous image correction process. As a result, the processing load for the correction process can be reduced. In the case of the first image processing, since the result of the previous image correction processing cannot be referred to, for example, a preset standard correction parameter 18b can be used.
図14に示すフローチャートでは、補正前画像において、補正指標情報18aとして輝度情報を用いる例を説明したが、例えば、時間的に連続する複数の撮像画像で、線路位置の変位の有無や変位量の大小に注目する座標位置情報を補正指標情報として用いてもよい。この場合、位置座表情報のずれが大きい場合、例えば、ノイズが多いと推定される。その場合、直前に取得した複数枚の過去画像を重ね合わせる処理を実行する場合の重ね合わせ枚数を変化(増加)させる補正パラメータ18bを選択することで、撮像画像のノイズ除去(低減)を行うことが可能となる。この場合も、輝度情報を用いる場合と同様に、線路Rの識別性を向上することができて、線路Rの検出精度の向上に寄与することができる。 In the flowchart illustrated in FIG. 14, the example in which the luminance information is used as the correction index information 18a in the pre-correction image has been described. However, for example, the presence / absence of displacement of the line position and the amount of displacement of a plurality of captured images that are temporally continuous. You may use the coordinate position information which pays attention to magnitude as correction | amendment parameter | index information. In this case, when the position map information has a large deviation, for example, it is estimated that there is a lot of noise. In that case, noise removal (reduction) of the captured image is performed by selecting the correction parameter 18b that changes (increases) the number of superimposed images when executing the process of superimposing a plurality of past images acquired immediately before. Is possible. In this case as well, as in the case of using luminance information, the discriminability of the line R can be improved, and the detection accuracy of the line R can be improved.
図13に戻り、S200において、図14に示す処理にしたがい補正パラメータ18bが取得された場合、画像補正部10cは、取得された補正パラメータ18bを用いて補正前画像を補正する(S202)。 Returning to FIG. 13, when the correction parameter 18b is acquired in S200 according to the process shown in FIG. 14, the image correction unit 10c corrects the pre-correction image using the acquired correction parameter 18b (S202).
S202において、補正処理が実行され補正後画像が取得されると、図12のフローチャートに戻り、線路検出部10dは、補正後画像に対して、図8〜図11で説明した手順にしたがい、線路Rの検出を実施する(S104)。 In S202, when the correction process is executed and the corrected image is acquired, the process returns to the flowchart of FIG. 12, and the track detection unit 10d performs the track processing on the corrected image according to the procedure described in FIGS. R is detected (S104).
そして、線路Rの検出が完了すると、障害物検知装置16の判定領域特定部16aは、障害物(注視が必要な注視物)の有無判定の対象となる線路Rの付近の判定領域を設定する(S106)。 Then, when the detection of the track R is completed, the determination region specifying unit 16a of the obstacle detection device 16 sets a determination region near the track R that is a target for determining the presence or absence of an obstacle (a gazing target that needs to be watched). (S106).
そして、障害物検知装置16の障害物検出部16bは、S106で特定された判定領域内に障害物が存在するか否かを判断する(S108)。 Then, the obstacle detection unit 16b of the obstacle detection device 16 determines whether there is an obstacle in the determination region specified in S106 (S108).
S108において障害物が存在すると判断された場合、障害物の存在を鉄道車両RVの運転者に通知し、注意喚起を行う必要がある。したがって、障害物検知装置16の出力制御部16cは、障害物検出結果を表示部14に対して行う(S110)。出力制御部16cは、例えば、障害物に対応する注視画像(マーク、アイコン、シンボル、キャラクタ等)を障害物情報16e等から読み出す。そして、出力制御部16cは、表示部14に表示されている画像(線路Rや分岐線路SR等が写り込んでいる実画像)の対応する位置に注視画像を重畳して表示させる処理等を実行することで、警報を出力する。そして、処理対象の画像に対する一連の処理が終了する。なお、障害物が発見されない場合には、注意喚起を行う必要は特にない。したがって、この場合、表示部14には、カメラ12が撮像した現在の画像(実画像)が表示されることになる。 When it is determined in S108 that there is an obstacle, it is necessary to notify the driver of the railway vehicle RV of the presence of the obstacle and call attention. Therefore, the output control unit 16c of the obstacle detection device 16 performs the obstacle detection result on the display unit 14 (S110). For example, the output control unit 16c reads a gaze image (a mark, an icon, a symbol, a character, or the like) corresponding to the obstacle from the obstacle information 16e. And the output control part 16c performs the process etc. which superimpose and display a gaze image on the corresponding position of the image (Actual image in which the track R, the branch line SR, etc. are reflected) displayed on the display part 14 etc. To output an alarm. Then, a series of processes for the image to be processed ends. If no obstacle is found, there is no need to call attention. Therefore, in this case, the display unit 14 displays the current image (actual image) captured by the camera 12.
このように、第1実施形態の車両システム100によれば、軌道識別装置10によって、自車両(鉄道車両RV)が走行する線路Rの認識(検出)に先立ち、撮像画像(補正前画像)の状態に応じて、適切な補正パラメータ18bを取得し、線路Rらしさを際立たせるように撮像画像を補正する。その結果、より明るい、よりきれいな(ノイズの少ない)撮像画像の取得が可能になり、撮像画像から線路Rをより精度良く検出することができる。さらに、現在処理対象となっている画像に存在する線路Rが高精度で検出できるため、検出した線路Rに対する障害物検知処理を高精度で行うことが可能となり、車両システム100の信頼性の向上、使い勝手の向上等を図ることができる。 As described above, according to the vehicle system 100 of the first embodiment, the track identification device 10 uses the captured image (pre-correction image) prior to the recognition (detection) of the track R on which the host vehicle (the railway vehicle RV) travels. According to the state, an appropriate correction parameter 18b is acquired, and the captured image is corrected so as to make the line R characteristic stand out. As a result, it is possible to obtain a brighter and cleaner captured image (with less noise), and the line R can be detected from the captured image with higher accuracy. Furthermore, since the track R existing in the image currently being processed can be detected with high accuracy, the obstacle detection processing for the detected track R can be performed with high accuracy, and the reliability of the vehicle system 100 is improved. It is possible to improve usability.
<第2実施形態>
画像取得部10aが取得するカメラ12からの撮像画像の明るさ(輝度)が急激に変化する場合がある。例えば、鉄道車両RVが走行中にトンネルに入る場合やトンネルから出る場合に大きく変化する。鉄道車両RVがトンネルの入口に接近すると、カメラ12の撮像領域においてトンネル内部を写す暗い領域が増える。つまり、撮像画像において、トンネル内部の暗い部分の占める割合が増加する。このような場合、カメラ12は、撮像時に露光調整等を行い、撮像画像の輝度を高めるような処理を行うことがある。そのため、撮像画像全体が明るくなり、いわゆる「白飛び」を起こしてしまう場合がある。また、鉄道車両RVがトンネルの出口に接近すると、カメラ12の撮像領域においてトンネル外部の明るい領域が増える。このような場合もカメラ12は、撮像時に露光調整等を行い、撮像画像の輝度を低めるような処理を行うが、線路Rが存在する領域を中心に明るい部分が増加するため、露光調整が行われるまでは、線路Rの存在する領域中心に、「白飛び」を起こしてしまう場合がある。このように「白飛び」が生じる場合、トンネル以外を走行している場合に比べて、強い画像補正が必要になる。
Second Embodiment
The brightness (luminance) of the captured image from the camera 12 acquired by the image acquisition unit 10a may change abruptly. For example, it greatly changes when the railway vehicle RV enters or exits the tunnel while traveling. When the railway vehicle RV approaches the entrance of the tunnel, the dark area that captures the inside of the tunnel in the imaging area of the camera 12 increases. That is, the proportion of the dark part inside the tunnel increases in the captured image. In such a case, the camera 12 may perform processing such as performing exposure adjustment at the time of imaging to increase the brightness of the captured image. For this reason, the entire captured image becomes bright, and so-called “whiteout” may occur. When the railway vehicle RV approaches the exit of the tunnel, bright areas outside the tunnel increase in the imaging area of the camera 12. Even in such a case, the camera 12 performs exposure adjustment or the like at the time of image pickup and performs processing to lower the brightness of the picked-up image. However, since the bright part increases around the area where the line R exists, the exposure adjustment is performed. Until it is detected, “whiteout” may occur in the center of the region where the line R exists. When “whiteout” occurs in this way, stronger image correction is required than when traveling outside the tunnel.
鉄道車両RVは、運行管理が詳細に行われている。したがって、車両システム100は、画像取得部10aが取得した撮像画像がトンネルの出入り口付近で取得されたものか、トンネル内部で取得されたものか、またはトンネルの影響を受けない位置で取得されたものなのか、を容易に判定することができる。つまり、鉄道車両RVの運行情報を利用することにより、鉄道車両RVの存在する位置に適した画像補正を行う場合、補正パラメータの選択範囲を特定(決定)して、取得することができる。 The railway vehicle RV is managed in detail. Therefore, in the vehicle system 100, the captured image acquired by the image acquisition unit 10a is acquired near the entrance of the tunnel, acquired inside the tunnel, or acquired at a position not affected by the tunnel. This can be easily determined. That is, by using the operation information of the railway vehicle RV, when performing image correction suitable for the position where the railway vehicle RV exists, the selection range of the correction parameter can be specified (determined) and acquired.
図15は、第2実施形態にかかる軌道識別装置10Aおよび障害物検知装置16の機能を示した例示的かつ模式的なブロック図である。なお、図15示されるように、第2実施形態の軌道識別装置10Aは、図2に示される第1実施形態の軌道識別装置10に対して、記憶部10eが記憶する位置−補正パラメータ50が追加されている以外は同じ構成をとり得る。また、第2実施形態の障害物検知装置16の構成は第1実施形態の障害物検知装置16の構成と同じである。したがって、第2実施形態において、第1実施形態と実質的に同じ構成、機能を有する部分に関しては、同じ符号を付し、詳細な説明は省略する。なお、第2実施形態の車両システム100は、運行情報取得装置52をさらに備える。 FIG. 15 is an exemplary schematic block diagram illustrating functions of the trajectory identification device 10A and the obstacle detection device 16 according to the second embodiment. As shown in FIG. 15, the trajectory identification device 10 </ b> A of the second embodiment has a position-correction parameter 50 stored in the storage unit 10 e compared to the trajectory identification device 10 of the first embodiment shown in FIG. 2. The same structure can be taken except for being added. The configuration of the obstacle detection device 16 of the second embodiment is the same as the configuration of the obstacle detection device 16 of the first embodiment. Accordingly, in the second embodiment, portions having substantially the same configuration and function as those of the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted. The vehicle system 100 according to the second embodiment further includes an operation information acquisition device 52.
運行情報取得装置52は、GNSS(Global Navigation Satellite System:全球測位衛星システム)やGPS(Global Positioning System)等の絶対位置を取得する装置を含んで構成することができる。また、運行情報取得装置52は、タコジェネレータ(tachogenerator:TG)等のように移動距離を取得できる装置を含んで構成されてもよい。また、運行情報取得装置52は、進行方向取得部52a、現在位置情報取得部52b、線路情報入力部52c等の機能モジュールを含む。これらの機能モジュール群の一部または全部は、ハードウェアとソフトウェアとの協働によって実現され得る。例えば、運行情報取得装置52のプロセッサが記憶部等のメモリに記憶されたプログラムを読み出して実行することによって各機能モジュールは実現される。また、別の例では、これらの機能モジュール群の一部または全部が、専用のハードウェア(回路)によって実現されてもよい。 The operation information acquisition device 52 can be configured to include a device that acquires an absolute position such as a GNSS (Global Navigation Satellite System) or a GPS (Global Positioning System). Moreover, the operation information acquisition apparatus 52 may be comprised including the apparatus which can acquire a movement distance like a tachogenerator (TG). The operation information acquisition device 52 includes functional modules such as a traveling direction acquisition unit 52a, a current position information acquisition unit 52b, and a track information input unit 52c. Some or all of these functional modules may be realized by cooperation of hardware and software. For example, each functional module is realized by the processor of the operation information acquisition device 52 reading and executing a program stored in a memory such as a storage unit. In another example, part or all of these functional module groups may be realized by dedicated hardware (circuit).
進行方向取得部52aは、自車両(鉄道車両RV)の進行方向(上り、下り)の方向情報を取得する。進行方向(方向情報)は、上位のシステムから取得してもよいし、手入力により取得されてもよい。現在位置情報取得部52bは、線路R上に設定される固有の位置を示す指標である「キロ程」を取得する。線路情報入力部52cは、線路情報の入力を受け付ける。 The traveling direction acquisition unit 52a acquires the direction information of the traveling direction (up and down) of the host vehicle (railway vehicle RV). The traveling direction (direction information) may be acquired from a host system or may be acquired manually. The current position information acquisition unit 52b acquires “about kilometer” which is an index indicating a unique position set on the track R. The track information input unit 52c receives input of track information.
また、軌道識別装置10Aの記憶部10eに含まれる位置−補正パラメータ50は、線路Rの位置と対応付けされた補正パラメータである。例えば、位置−補正パラメータ50として、トンネル入口の手前Ymから利用可能な補正パラメータや、トンネルの内部で利用可能な補正パラメータや、トンネル出口の手前Ymから利用可能な補正パラメータ等を準備することができる。 The position-correction parameter 50 included in the storage unit 10e of the track identification device 10A is a correction parameter associated with the position of the track R. For example, as the position-correction parameter 50, a correction parameter that can be used from the front Ym of the tunnel entrance, a correction parameter that can be used inside the tunnel, a correction parameter that can be used from the front Ym of the tunnel exit, and the like can be prepared. it can.
第2実施形態の軌道識別装置10Aは、第1実施形態で示した、図12および図13のフローチャートにしたがって、画像補正を行う。ただし、図13のS200における補正指標情報および補正パラメータの取得処理は、図16A〜図16Cに示すフローチャートにしたがって実行される。なお、図12および図13の処理の流れは、第1実施形態における処理の流れと実質的に同じであるため、その詳細な説明は省略する。ここでは、図13のS200で実行される処理をとして、トンネルの位置に基づく補正指標情報および補正パラメータの取得処理を図16A〜図16Cのフローチャートについて説明する。 The trajectory identification device 10A of the second embodiment performs image correction according to the flowcharts of FIGS. 12 and 13 shown in the first embodiment. However, the correction index information and correction parameter acquisition processing in S200 of FIG. 13 is executed according to the flowcharts shown in FIGS. 16A to 16C. Note that the processing flow of FIGS. 12 and 13 is substantially the same as the processing flow in the first embodiment, and thus detailed description thereof is omitted. Here, the correction index information and the correction parameter acquisition process based on the tunnel position will be described with reference to the flowcharts of FIGS.
第2実施形態において、鉄道車両RVが走行中の場合、軌道識別装置10Aは、常時、運行情報取得装置52からの情報に基づき、自車位置を認識している。そして、図12のS102において画像補正を行う場合タイミングで、補正指標情報および補正パラメータの取得を行う場合(S200)、軌道識別装置10Aは、自車位置が、トンネルの出入り口の手前Ym(例えば30m)か否かの判定を行う(S400)。 In the second embodiment, when the railway vehicle RV is traveling, the track identification device 10 </ b> A always recognizes the position of the vehicle based on information from the operation information acquisition device 52. When the correction index information and the correction parameter are acquired at the timing when image correction is performed in S102 of FIG. 12 (S200), the track identification device 10A has its own vehicle position Ym before the tunnel entrance and exit (for example, 30 m). ) Is determined (S400).
自車位置が、トンネルの出入り口の手前Ymである場合(S400のYes)、鉄道車両RVがトンネルの入口に向かって走行している場合、前述したように、露光調整が行われる結果、補正前画像の全体が白くなる傾向がある。また、鉄道車両RVがトンネルの出口に接近した場合、トンネル内部に比べてトンネル外部の明るさが急激に増加するため画面全体が白くなる傾向がある。そこで、パラメータ取得部10bは、まず、補正前画像の全体が白くなっている可能性があるか(「白飛び」が生じているか否か)を判定する。具体的には、パラメータ取得部10bは、補正前画像の領域を複数のブロックに分割した場合の各ブロック内の輝度の分散状態を確認する。ブロック内の輝度の分散が大きい場合、ブロック内の明暗の変化が大きく、当該ブロックが「白飛び」の領域ではないと推定することができる。逆に、ブロック内の輝度の分散が小さい場合、ブロック内の明暗の変化が小さく、当該ブロックが「白飛び」の領域であると推定することができる。 When the vehicle position is Ym before the entrance of the tunnel (Yes in S400), when the railway vehicle RV is traveling toward the entrance of the tunnel, as described above, as a result of exposure adjustment, before correction The whole image tends to be white. Also, when the railway vehicle RV approaches the exit of the tunnel, the brightness of the outside of the tunnel increases abruptly as compared to the inside of the tunnel, so that the entire screen tends to be white. Therefore, the parameter acquisition unit 10b first determines whether there is a possibility that the entire pre-correction image is white (whether “out-of-white” has occurred). Specifically, the parameter acquisition unit 10b confirms the luminance distribution state in each block when the pre-correction image area is divided into a plurality of blocks. When the variance of the luminance in the block is large, it can be estimated that the change in brightness in the block is large and the block is not an “out-of-white” region. On the contrary, when the variance of the luminance in the block is small, it can be estimated that the change in brightness in the block is small and the block is a “out-of-white” region.
パラメータ取得部10bは、輝度分散が大きいブロックの割合が補正前画像全体のC(例えば、40%)以下の場合(S402のYes)、「白飛び」しているブロックが多く、補正前画像全体として、「白飛び」している可能性が高いと推定する。この場合、パラメータ取得部10bは、現在の処理対象の撮像画像に対して過去画像を重ね合わせることによって、「白飛び」を抑制しつつ、撮像画像の鮮明度を向上させる。したがって、パラメータ取得部10bは、記憶部10eから位置−補正パラメータ50として、現在の撮像画像に重ね合わせる過去画像の枚数を、例えば標準枚数より増加するような補正パラメータcを取得(選択)する(S404)。この場合、「白飛び」の抑制が重要になるため、図14で説明したようなトンネルの有無に拘わらず行う補正の場合より、強力な鮮明化処理(重ね合わせ枚数の増加)を実行し、線路Rの識別性を向上させる。 When the ratio of blocks having a large luminance variance is equal to or less than C (for example, 40%) of the entire pre-correction image (Yes in S402), the parameter acquisition unit 10b has many “out-of-white” blocks, and thus It is estimated that there is a high possibility of “out-of-white”. In this case, the parameter acquisition unit 10b improves the definition of the captured image while suppressing “whiteout” by superimposing the past image on the current captured image to be processed. Therefore, the parameter acquisition unit 10b acquires (selects) a correction parameter c that increases the number of past images to be superimposed on the current captured image, for example, as the position-correction parameter 50 from the storage unit 10e. S404). In this case, since suppression of “out-of-white” is important, stronger sharpening processing (increase in the number of superimposed images) is executed than in the case of correction performed regardless of the presence or absence of a tunnel as described in FIG. The discriminability of the line R is improved.
S402において、輝度分散が大きいブロックの割合が補正前画像全体のC(例えば、40%)を超えている場合(S402のNo)、パラメータ取得部10bは、「白飛び」しているブロックは少なく、補正前画像全体として、「白飛び」していない可能性が高いと推定する。ただし、この場合、検出対象となる線路Rが存在するトンネル内部が暗いため、線路領域と非線路領域との輝度差が小さく、線路Rの識別が困難な場合がある。そこで、パラメータ取得部10bは、次の段階として、補正前画像に対して、線路領域と推定される領域と非線路領域と推定される領域の平均輝度差が所定値D以下か否かを判定する(S406)。平均輝度差の所定値Dとは、輝度を0〜255の256階調で表した場合、例えば、「60」とすることができる。平均輝度差が所定値D以下の場合(S406のYes)、補正前画像は、全体として輝度差が小さく、例えば、図7Bに示すような状態(全体が暗い画像)であると推定される。この場合、パラメータ取得部10bは、記憶部10eから位置−補正パラメータ50として、補正前画像のコントラストを変化させるヒストグラムの伸長調整を行うための位置−補正パラメータ50を取得(選択)する。具体的には、補正後画像が、図7Aのように、高輝度の領域となる線路領域E1と線路領域E1よりは低輝度の領域となる非線路領域E2になるように、二極化させる補正パラメータdを取得する(S408)。ただし、この場合、「白飛び」が発生し易い状況での補正になるため、図14で説明したようなトンネルの有無に拘わらず行う補正の場合よりはヒストグラムの伸長を抑えるような補正パラメータdが選択されることが望ましい。 In S402, when the ratio of blocks having a large luminance variance exceeds C (for example, 40%) of the entire image before correction (No in S402), the parameter acquisition unit 10b has few blocks that are “out-of-white”. It is estimated that there is a high possibility that the entire pre-correction image is not “out-of-white”. However, in this case, since the inside of the tunnel in which the line R to be detected exists is dark, the luminance difference between the line region and the non-line region is small, and the line R may be difficult to identify. Therefore, as a next step, the parameter acquisition unit 10b determines whether or not the average luminance difference between the area estimated as the line area and the area estimated as the non-line area is equal to or less than a predetermined value D with respect to the pre-correction image. (S406). The predetermined value D of the average luminance difference can be set to, for example, “60” when the luminance is expressed by 256 gradations of 0 to 255. When the average luminance difference is equal to or smaller than the predetermined value D (Yes in S406), the pre-correction image has a small luminance difference as a whole, and is estimated to be in a state as shown in FIG. In this case, the parameter acquisition unit 10b acquires (selects) the position-correction parameter 50 for adjusting the expansion of the histogram that changes the contrast of the uncorrected image as the position-correction parameter 50 from the storage unit 10e. Specifically, as the corrected image is, as shown in FIG. 7A, in the non-line area E 2 as the low luminance region from the line region E 1 and the line area E 1 formed of a high luminance region, the two The correction parameter d to be polarized is acquired (S408). However, in this case, since correction is performed in a situation where “out-of-white” is likely to occur, a correction parameter d that suppresses expansion of the histogram as compared with the correction performed regardless of the presence or absence of a tunnel as described in FIG. Is preferably selected.
なお、鉄道車両RVがトンネルの入口に向かって走行している場合は鉄道車両RVの周囲に主として明るい領域が存在し、トンネルの出口に向かって走行している場合は、鉄道車両RVの周囲に主として暗い領域が存在する。つまり、鉄道車両RVの周囲環境が異なるため、補正前画像に対する補正程度が異なる。鉄道車両RVがトンネルの入口に接近するように走行しているか、トンネルの出口に接近するように走行しているかは、進行方向取得部52aからの方向情報によって判定することができる。したがって、パラメータ取得部10bは、鉄道車両RVの方向情報(進行方向)と、現在位置情報取得部52bからの位置情報、線路情報入力部52cからの路線情報に基づき、現在の画像処理のタイミングで、鉄道車両RVがトンネルの入口に接近するように走行しているか、トンネルの出口に接近するように走行しているかを判定する。そして、パラメータ取得部10bは、トンネルの入口用の位置−補正パラメータ50、またはトンネルの出口用の位置−補正パラメータ50を適宜取得するようにすることができる。 When the railway vehicle RV is traveling toward the entrance of the tunnel, there is mainly a bright area around the railway vehicle RV. When the railway vehicle RV is traveling toward the exit of the tunnel, the railway vehicle RV is around the railway vehicle RV. There are mainly dark areas. That is, since the surrounding environment of the railway vehicle RV is different, the degree of correction for the pre-correction image is different. Whether the railway vehicle RV is traveling so as to approach the entrance of the tunnel or whether it is traveling so as to approach the exit of the tunnel can be determined by the direction information from the traveling direction acquisition unit 52a. Therefore, the parameter acquisition unit 10b is based on the direction information (traveling direction) of the railway vehicle RV, the position information from the current position information acquisition unit 52b, and the route information from the track information input unit 52c at the current image processing timing. Then, it is determined whether the railway vehicle RV is traveling so as to approach the entrance of the tunnel or whether it is traveling so as to approach the exit of the tunnel. Then, the parameter acquisition unit 10b can appropriately acquire the position-correction parameter 50 for the entrance of the tunnel or the position-correction parameter 50 for the exit of the tunnel.
S406において、平均輝度差が所定値Dを超えている場合(S406のNo)、つまり、「白飛び」が発生している可能性は低く、線路領域と非線路領域との輝度差がある程度ある場合である。この場合、補正前画像は、線路領域と非線路領域とが識別可能な画像であり、補正することなく線路Rの検出が可能であると推定できる。そのため、パラメータ取得部10bは、補正前画像に対する位置−補正パラメータ50を現状維持する(S410)。つまり、前回処理時に用いた位置−補正パラメータ50をそのままの状態で、今回の処理のおいても利用する。すなわち、前回の画像補正処理の結果に応じて今回利用する位置−補正パラメータ50を取得する。その結果、補正処理のための処理負荷の軽減ができる。 In S406, when the average luminance difference exceeds the predetermined value D (No in S406), that is, it is unlikely that “whiteout” has occurred, and there is some luminance difference between the line area and the non-line area. Is the case. In this case, the pre-correction image is an image in which the line area and the non-line area can be identified, and it can be estimated that the line R can be detected without correction. Therefore, the parameter acquisition unit 10b maintains the current position-correction parameter 50 for the pre-correction image (S410). That is, the position-correction parameter 50 used in the previous process is used as it is in the current process with the state unchanged. That is, the position-correction parameter 50 used this time is acquired according to the result of the previous image correction process. As a result, the processing load for the correction process can be reduced.
S400において、自車位置が、トンネルの出入り口の手前Ymではない場合で(S400のNo)、トンネル内部である場合(S500のYes)、トンネル内部では、線路Rの反射が減るため、線路領域と非線路領域との輝度差が小さくなる傾向がある。そこで、図16Bに示すように、パラメータ取得部10bは、まず、トンネル内部で線路Rの識別ができるか否かを判別するために、輝度差を比較する。 In S400, when the vehicle position is not Ym before the entrance of the tunnel (No in S400) and inside the tunnel (Yes in S500), the reflection of the line R is reduced inside the tunnel. There is a tendency that the luminance difference from the non-line region is reduced. Therefore, as illustrated in FIG. 16B, the parameter acquisition unit 10b first compares the luminance difference in order to determine whether or not the line R can be identified inside the tunnel.
つまり、パラメータ取得部10bは、画像取得部10aが取得した撮像画像(補正前画像)に対して、線路領域と推定される領域と非線路領域と推定される領域の平均輝度差が所定値E以下か否かを判定する(S502)。平均輝度差の所定値Eとは、輝度を0〜255の256階調で表した場合、例えば、「50」とすることができる。平均輝度差が所定値E以下の場合(S502のYes)補正前画像は、全体として輝度差の小さい例えば、図7Bに示すような状態(例えば、全体が暗い画像)であると推定される。この場合、パラメータ取得部10bは、記憶部10eから位置−補正パラメータ50として補正前画像のコントラストを変化させるヒストグラムの伸長調整を行うための補正パラメータを取得(選択)する。具体的には、補正後画像が、図7Aのように、高輝度の領域となる線路領域E1と線路領域E1よりは低輝度の領域となる非線路領域E2のように二極化するよう補正パラメータeを取得する(S504)。その結果、補正後画像は、例えば図3に示されるように、線路領域E1と非線路領域E2とが十分に識別可能な画像となる。 That is, the parameter acquisition unit 10b has an average luminance difference between a region estimated as a track region and a region estimated as a non-line region with respect to the captured image (pre-correction image) acquired by the image acquisition unit 10a. It is determined whether or not (S502). The predetermined value E of the average luminance difference can be set to, for example, “50” when the luminance is expressed by 256 gradations of 0 to 255. When the average luminance difference is equal to or smaller than the predetermined value E (Yes in S502), it is estimated that the pre-correction image has a small luminance difference as a whole, for example, a state as shown in FIG. 7B (for example, a dark image as a whole). In this case, the parameter acquisition unit 10b acquires (selects) a correction parameter for adjusting the expansion of the histogram that changes the contrast of the uncorrected image as the position-correction parameter 50 from the storage unit 10e. Specifically, the corrected image, as shown in FIG. 7A, is from the line region E 1 and the line area E 1 formed of a high-luminance region Polarization as non line area E 2 as the low luminance region The correction parameter e is acquired so as to be performed (S504). As a result, the corrected image is an image in which the line area E 1 and the non-line area E 2 are sufficiently distinguishable as shown in FIG. 3, for example.
一方、S502において、平均輝度差が所定値Eを超えている場合(S502のNo)、つまり、補正前画像は、輝度差がある程度あり、明領域と暗領域が存在していると推定される。この場合、パラメータ取得部10bは、続いて、補正前画像にけるノイズの存在程度を確認する。この場合、パラメータ取得部10bは、例えば、補正前画像の領域を複数のブロックに分割した場合に、各ブロック内の輝度の分散状態を確認する。例えば、ブロック内の輝度分散が所定値F以上の場合、ブロック内の明暗(色)の変化が大きく、いわゆる「ごま塩ノイズ」が存在することを示す。このような、「ごま塩ノイズ」が存在するブロックの割合が補正前画像全体のF以上(例えば50%以上)を占める場合(S506のYes)、パラメータ取得部10bは、現在の処理対象の撮像画像に対して過去画像を重ね合わせることによって、「ごま塩ノイズ」を抑制しつつ、撮像画像の鮮明度を向上させる。したがって、パラメータ取得部10bは、位置−補正パラメータ50として、現在の撮像画像に重ね合わせる過去画像の枚数を増加するような補正パラメータfを取得(選択)する(S508)。 On the other hand, in S502, when the average luminance difference exceeds the predetermined value E (No in S502), that is, the pre-correction image has a certain luminance difference, and it is estimated that a bright region and a dark region exist. . In this case, the parameter acquisition unit 10b subsequently checks the presence of noise in the pre-correction image. In this case, for example, when the area of the pre-correction image is divided into a plurality of blocks, the parameter acquisition unit 10b checks the luminance distribution state in each block. For example, when the luminance dispersion in the block is equal to or greater than a predetermined value F, the change in brightness (color) in the block is large, indicating that so-called “sesame salt noise” exists. When the ratio of blocks in which such “sesame salt noise” is present occupies F or more (for example, 50% or more) of the entire pre-correction image (Yes in S506), the parameter acquisition unit 10b captures the current captured image to be processed. By superimposing the past images on the image, the “sesame salt noise” is suppressed and the sharpness of the captured image is improved. Accordingly, the parameter acquisition unit 10b acquires (selects) a correction parameter f that increases the number of past images to be superimposed on the current captured image as the position-correction parameter 50 (S508).
S506において、「ごま塩ノイズ」が存在するブロックの割合が補正前画像全体のF未満の場合(S506のNo)、つまり、補正前画像は、輝度差がある程度あり、かつごま塩ノイズ等が少ない状態である。この場合、補正前画像は、線路領域E1と非線路領域E2との識別が可能な画像であり、補正することなく線路Rの検出が可能であると推定できる。そのため、パラメータ取得部10bは、補正前画像に対する位置−補正パラメータ50を現状維持する(S510)。つまり、前回処理時に用いた位置−補正パラメータ50をそのままの状態で、今回の処理のおいても利用する。 In S506, when the ratio of the blocks in which “sesame salt noise” exists is less than F in the entire image before correction (No in S506), that is, the image before correction has a certain luminance difference, and there is little sesame salt noise or the like. is there. In this case, the pre-correction image is an image in which the line area E 1 and the non-line area E 2 can be identified, and it can be estimated that the line R can be detected without correction. Therefore, the parameter acquisition unit 10b maintains the current position-correction parameter 50 for the pre-correction image (S510). That is, the position-correction parameter 50 used in the previous process is used as it is in the current process with the state unchanged.
S500において、トンネル内部ではない場合(S500のNo)、つまり、鉄道車両RVは、トンネルの影響を受けない場所を走行中である。この場合、パラメータ取得部10bは、図16Cに示されるように、図14と同様な処理を実行する。すなわち、パラメータ取得部10bは、まず、画像取得部10aが取得した撮像画像(補正前画像)に対して、線路領域と推定される領域と非線路領域と推定される領域の平均輝度差が所定値A以下か否かを判定する(S600)。平均輝度差の所定値Aとは、輝度を0〜255の256階調で表した場合、例えば、「100」とすることができる。平均輝度差が所定値A以下の場合(S600のYes)、補正前画像は、全体として輝度差の小さい例えば、図7Bに示すような状態(例えば、全体が暗い画像)であると推定される。この場合、パラメータ取得部10bは、記憶部10eから補正パラメータ18bとして補正前画像のコントラストを変化させるヒストグラムの伸長調整を行うための補正パラメータを取得(選択)する。具体的には、補正後画像が、図7Aのように、高輝度の領域となる線路領域E1と線路領域E1よりは低輝度の領域となる非線路領域E2のように二極化するよう補正パラメータaを取得する(S602)。その結果、補正後画像は、例えば図3に示されるように、線路領域E1と非線路領域E2とが十分に識別可能な画像となる。 In S500, when it is not inside the tunnel (No in S500), that is, the railway vehicle RV is traveling in a place not affected by the tunnel. In this case, as shown in FIG. 16C, the parameter acquisition unit 10b performs the same process as in FIG. That is, first, the parameter acquisition unit 10b has a predetermined average luminance difference between a region estimated as a track region and a region estimated as a non-line region with respect to a captured image (pre-correction image) acquired by the image acquisition unit 10a. It is determined whether or not the value is A or less (S600). The predetermined value A of the average luminance difference can be set to “100”, for example, when the luminance is expressed by 256 gradations of 0 to 255. When the average luminance difference is equal to or smaller than the predetermined value A (Yes in S600), it is estimated that the pre-correction image has a small luminance difference as a whole, for example, a state as shown in FIG. . In this case, the parameter acquisition unit 10b acquires (selects) a correction parameter for performing histogram expansion adjustment that changes the contrast of the uncorrected image as the correction parameter 18b from the storage unit 10e. Specifically, the corrected image, as shown in FIG. 7A, is from the line region E 1 and the line area E 1 formed of a high-luminance region Polarization as non line area E 2 as the low luminance region The correction parameter a is acquired so as to perform (S602). As a result, the corrected image is an image in which the line area E 1 and the non-line area E 2 are sufficiently distinguishable as shown in FIG. 3, for example.
一方、S600において、平均輝度差が所定値Aを超えている場合(S600のNo)、つまり、補正前画像は、輝度差が十分にあり、明領域と暗領域が存在していると推定される。図16Cに示すように、パラメータ取得部10bは、補正前画像にけるノイズの存在程度を確認する。この場合、パラメータ取得部10bは、例えば、補正前画像の領域を複数のブロックに分割した場合に、各ブロック内の輝度の分散状態を確認する。例えば、ブロック内の輝度分散が所定値より大きい場合、ブロック内の明暗(色)の変化が大きく、いわゆる「ごま塩ノイズ」が存在することを示す。このような、「ごま塩ノイズ」が存在するブロックの割合が補正前画像全体のB以上(例えば50%以上)を占める場合(S604のYes)、パラメータ取得部10bは、記憶部10eから補正前画像の平滑化を行うためのガウシアンフィルタのフィルタサイズを変化させる補正パラメータbを取得(選択)する(S606)。その結果、補正後画像は、平滑化された画像となり、ごま塩ノイズ等が低減された、例えば図3に示されるように、明暗領域の識別が行い易くなり、線路領域E1と非線路領域E2とが十分に識別可能な画像となる。 On the other hand, when the average luminance difference exceeds the predetermined value A in S600 (No in S600), that is, the pre-correction image has a sufficient luminance difference, and it is estimated that a bright region and a dark region exist. The As shown in FIG. 16C, the parameter acquisition unit 10b checks the presence of noise in the pre-correction image. In this case, for example, when the area of the pre-correction image is divided into a plurality of blocks, the parameter acquisition unit 10b checks the luminance distribution state in each block. For example, when the luminance dispersion in the block is larger than a predetermined value, the change in brightness (color) in the block is large, indicating that so-called “sesame salt noise” exists. When the ratio of blocks in which such “sesame salt noise” exists occupies B or more (for example, 50% or more) of the entire pre-correction image (Yes in S604), the parameter acquisition unit 10b reads the pre-correction image from the storage unit 10e. The correction parameter b for changing the filter size of the Gaussian filter for smoothing is acquired (selected) (S606). As a result, the corrected image becomes a smoothed image, and sesame salt noise or the like is reduced. For example, as shown in FIG. 3, it becomes easy to identify the bright and dark areas, and the line area E 1 and the non-line area E 2 is a sufficiently distinguishable image.
S604において、「ごま塩ノイズ」が存在するブロックの割合が補正前画像全体のB未満の場合(S604のNo)、つまり、補正前画像は、輝度差が十分にあり、かつ、ごま塩ノイズ等が少ない状態である。この場合、補正前画像は、線路領域E1と非線路領域E2とが十分に識別可能な画像であり、補正することなく線路Rの検出が可能であると推定できる。そのため、パラメータ取得部10bは、補正前画像に対する補正パラメータ18bを現状維持する(S608)。つまり、前回処理時に用いた補正パラメータ18bをそのままの今回の処理のおいても利用する。すなわち、前回の画像補正処理の結果に応じて今回利用する補正パラメータ18bを取得する。その結果、補正処理のための処理負荷の軽減ができる。 In S604, when the ratio of blocks in which “sesame salt noise” is present is less than B in the entire pre-correction image (No in S604), that is, the pre-correction image has a sufficient luminance difference and has small sesame salt noise and the like. State. In this case, the pre-correction image is an image in which the line area E 1 and the non-line area E 2 can be sufficiently identified, and it can be estimated that the line R can be detected without correction. Therefore, the parameter acquisition unit 10b maintains the current state of the correction parameter 18b for the pre-correction image (S608). That is, the correction parameter 18b used in the previous process is also used in the current process as it is. That is, the correction parameter 18b used this time is acquired according to the result of the previous image correction process. As a result, the processing load for the correction process can be reduced.
このように、補正パラメータ(位置−補正パラメータ50または補正パラメータ18b)が取得された後は、図12のS104以降の処理が実行され、上述したように、線路検出、障害物検出、および障害物検出結果の出力(運転者等への報知)が実行される。 In this way, after the correction parameter (position-correction parameter 50 or correction parameter 18b) is acquired, the processing after S104 in FIG. 12 is executed, and as described above, track detection, obstacle detection, and obstacle detection are performed. Output of the detection result (notification to the driver or the like) is executed.
第2実施形態の車両システム100によれば、自車両(鉄道車両RV)の位置、鉄道車両RVの方向情報(進行方向)、および運行情報等に基づき、鉄道車両RVの現在位置およびこれから撮像される位置の周囲状況が限定できる。その結果、より容易に適切な補正パラメータの取得(選択)ができるので、軌道識別処理および障害物検知処理が実行できる。また、鉄道車両RVの位置情報に基づき、補正パラメータの絞り込みができるため、処理負荷の軽減および処理時間の短縮を実現することができる。 According to the vehicle system 100 of the second embodiment, the current position of the railway vehicle RV and the image of the railway vehicle RV are picked up based on the position of the own vehicle (the railway vehicle RV), the direction information (traveling direction) of the railway vehicle RV, the operation information, and the like. The surroundings of the location can be limited. As a result, since appropriate correction parameters can be acquired (selected) more easily, trajectory identification processing and obstacle detection processing can be executed. Further, since the correction parameters can be narrowed down based on the position information of the railway vehicle RV, it is possible to reduce the processing load and the processing time.
なお、上述した第1実施形態、第2実施形態においては、撮像画像の全体を対象に、画像補正を行う例を示した。別の実施形態では、標準線路位置情報18c等に基づき、線路Rの存在し得る領域を特定した上で、その領域およびその周辺の所定範囲の領域に対して、選択範囲を特定した画像補正を行うようにしてもよい。この場合、画像処理範囲を限定することができるため、軌道識別装置10(軌道識別装置10A)の画像処理負荷を軽減することができると共に、処理時間の短縮に寄与することができる。 In the first embodiment and the second embodiment described above, an example in which image correction is performed on the entire captured image has been described. In another embodiment, after specifying an area where the line R can exist based on the standard line position information 18c and the like, image correction specifying the selected range is performed for the area and a predetermined range area around the area. You may make it perform. In this case, since the image processing range can be limited, the image processing load of the trajectory identification device 10 (trajectory identification device 10A) can be reduced and the processing time can be shortened.
以上、本発明のいくつかの実施形態を説明したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態およびその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 As mentioned above, although several embodiment of this invention was described, the said embodiment and modification are an example to the last, Comprising: It is not intending limiting the range of invention. The above embodiment can be implemented in various forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. The above-described embodiments and modifications thereof are included in the scope and spirit of the invention, and are included in the invention described in the claims and the equivalents thereof.
10,10A 軌道識別装置
10a 画像取得部
10b パラメータ取得部
10c 画像補正部
10d 線路検出部
10e 記憶部
12 カメラ
14 表示部
16 障害物検知装置
18a 補正指標情報
18b 補正パラメータ
18c 標準線路位置情報
50 位置−補正パラメータ
52 運行情報取得装置
52a 進行方向取得部
52b 現在位置情報取得部
52c 線路情報入力部
100 車両システム
RV 鉄道車両
10, 10A Trajectory identification device 10a Image acquisition unit 10b Parameter acquisition unit 10c Image correction unit 10d Line detection unit 10e Storage unit 12 Camera 14 Display unit 16 Obstacle detection device 18a Correction index information 18b Correction parameter 18c Standard line position information 50 Position- Correction parameter 52 Operation information acquisition device 52a Traveling direction acquisition unit 52b Current position information acquisition unit 52c Track information input unit 100 Vehicle system RV Railway vehicle
Claims (8)
前記撮像画像に基づいて線路を検出するのに先立ち、所定の基準に基づく線路らしさを際立たせる画像補正処理のための補正パラメータを取得するパラメータ取得部と、
前記補正パラメータに基づき、前記撮像画像に対して前記画像補正処理を実行する画像補正部と、
前記画像補正部で補正された補正後画像に対して線路位置の検出を実行する線路検出部と、
を備える、軌道識別装置。 An image acquisition unit for acquiring a captured image obtained by imaging a region in the traveling direction of the railway vehicle;
Prior to detecting a track based on the captured image, a parameter acquisition unit that acquires a correction parameter for an image correction process that highlights the line quality based on a predetermined reference;
An image correction unit that executes the image correction process on the captured image based on the correction parameter;
A line detection unit for detecting a line position for the corrected image corrected by the image correction unit;
An orbit identification device comprising:
前記線路検出部は、前記分布状態が補正された補正後画像に対して線路位置の検出を実行する、請求項1から請求項3のいずれか1項に記載の軌道識別装置。 The parameter acquisition unit acquires, for the captured image, a distribution state of a feature amount that can be a scale representing a line-likeness based on a predetermined criterion, and corrects the distribution state to make the line-like state stand out. To get the correction parameters to
The track identification device according to any one of claims 1 to 3, wherein the track detection unit performs track position detection on the corrected image in which the distribution state is corrected.
過去に取得された前記撮像画像と今回取得された前記撮像画像における前記線路らしさを示す領域における前記線路らしさを表す尺度となり得る特徴量の変化量に基づき前記補正パラメータを取得する、請求項1または請求項6に記載の軌道識別装置。 The parameter acquisition unit
The correction parameter is acquired based on a change amount of a feature amount that can be a scale representing the line-likeness in a region indicating the line-likeness in the captured image acquired in the past and the captured image obtained this time. The trajectory identification device according to claim 6.
前記パラメータ取得部は、前記現在位置情報と前記進行方向に基づき前記補正パラメータの選択範囲を決定する、請求項1から請求項7のいずれか1項に記載の軌道識別装置。 An information acquisition unit for acquiring current position information indicating a current position of the railway vehicle and direction information indicating a traveling direction of the railway vehicle;
The trajectory identification device according to any one of claims 1 to 7, wherein the parameter acquisition unit determines a selection range of the correction parameter based on the current position information and the traveling direction.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018105211A JP2019209734A (en) | 2018-05-31 | 2018-05-31 | Track identification apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018105211A JP2019209734A (en) | 2018-05-31 | 2018-05-31 | Track identification apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019209734A true JP2019209734A (en) | 2019-12-12 |
Family
ID=68846376
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018105211A Pending JP2019209734A (en) | 2018-05-31 | 2018-05-31 | Track identification apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019209734A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6800388B1 (en) * | 2020-02-14 | 2020-12-16 | 三菱電機株式会社 | Detection device, detection method, and detection program |
WO2022009506A1 (en) * | 2020-07-07 | 2022-01-13 | 株式会社 東芝 | Imaging device |
JPWO2022123641A1 (en) * | 2020-12-08 | 2022-06-16 | ||
JP7481872B2 (en) | 2020-03-27 | 2024-05-13 | 日立造船株式会社 | How to detect railroad tracks using images |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014062415A (en) * | 2012-09-21 | 2014-04-10 | Mitsubishi Electric Corp | Trajectory detector and trajectory monitoring device |
JP2015010456A (en) * | 2013-07-02 | 2015-01-19 | 日本電気株式会社 | Rail inspection device, and rail inspection method |
JP2016091506A (en) * | 2014-11-11 | 2016-05-23 | 株式会社明電舎 | Rail detection device |
JP2016088183A (en) * | 2014-10-31 | 2016-05-23 | 株式会社Ihi | Obstacle detection system and railway vehicle |
JP2016192108A (en) * | 2015-03-31 | 2016-11-10 | 公益財団法人鉄道総合技術研究所 | Stereo image processing method and device therefor |
-
2018
- 2018-05-31 JP JP2018105211A patent/JP2019209734A/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014062415A (en) * | 2012-09-21 | 2014-04-10 | Mitsubishi Electric Corp | Trajectory detector and trajectory monitoring device |
JP2015010456A (en) * | 2013-07-02 | 2015-01-19 | 日本電気株式会社 | Rail inspection device, and rail inspection method |
JP2016088183A (en) * | 2014-10-31 | 2016-05-23 | 株式会社Ihi | Obstacle detection system and railway vehicle |
JP2016091506A (en) * | 2014-11-11 | 2016-05-23 | 株式会社明電舎 | Rail detection device |
JP2016192108A (en) * | 2015-03-31 | 2016-11-10 | 公益財団法人鉄道総合技術研究所 | Stereo image processing method and device therefor |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6800388B1 (en) * | 2020-02-14 | 2020-12-16 | 三菱電機株式会社 | Detection device, detection method, and detection program |
WO2021161508A1 (en) * | 2020-02-14 | 2021-08-19 | 三菱電機株式会社 | Detection device, detection method, and detection program |
JP7481872B2 (en) | 2020-03-27 | 2024-05-13 | 日立造船株式会社 | How to detect railroad tracks using images |
WO2022009506A1 (en) * | 2020-07-07 | 2022-01-13 | 株式会社 東芝 | Imaging device |
JPWO2022123641A1 (en) * | 2020-12-08 | 2022-06-16 | ||
WO2022123641A1 (en) * | 2020-12-08 | 2022-06-16 | 三菱電機株式会社 | Rail detection device and rail detection method |
JP7209916B2 (en) | 2020-12-08 | 2023-01-20 | 三菱電機株式会社 | Rail detection device and rail detection method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019209734A (en) | Track identification apparatus | |
US9846823B2 (en) | Traffic lane boundary line extraction apparatus and method of extracting traffic lane boundary line | |
JP4437714B2 (en) | Lane recognition image processing device | |
JP3780922B2 (en) | Road white line recognition device | |
EP3287985A1 (en) | Image processing device | |
US20030090593A1 (en) | Video stabilizer | |
JP2004112144A (en) | Front car tracking system and method for tracking front car | |
JP4872769B2 (en) | Road surface discrimination device and road surface discrimination method | |
JP2007164636A (en) | Lane line detection device | |
JP2008158958A (en) | Road surface determination method and road surface determination device | |
JP2000011133A (en) | Device and method for detecting moving object | |
CN107748882B (en) | Lane line detection method and device | |
JP2009048629A (en) | Detecting method | |
KR101239718B1 (en) | System and method for detecting object of vehicle surroundings | |
JP2006318059A (en) | Apparatus, method, and program for image processing | |
JP6903477B2 (en) | Orbit identification device and program | |
WO2019203354A1 (en) | Trajectory discrimination device | |
CN110688887B (en) | Device and method for processing transverse image of rearview mirror-free vehicle | |
JP2010286995A (en) | Image processing system for vehicle | |
US10346706B2 (en) | Image processing device, image processing method, and non-transitory storage medium storing image processing program | |
JP2019218022A (en) | Rail track detection device | |
US10970592B2 (en) | Adhering substance detection apparatus and adhering substance detection method | |
JP2010136207A (en) | System for detecting and displaying pedestrian | |
CN116147898A (en) | Method and device for detecting luminous intensity of automobile headlamp | |
JP2006318061A (en) | Apparatus, method, and program for image processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210511 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220518 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220621 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221213 |