JP6931316B2 - Environmental change detection method around the orbit - Google Patents
Environmental change detection method around the orbit Download PDFInfo
- Publication number
- JP6931316B2 JP6931316B2 JP2017216929A JP2017216929A JP6931316B2 JP 6931316 B2 JP6931316 B2 JP 6931316B2 JP 2017216929 A JP2017216929 A JP 2017216929A JP 2017216929 A JP2017216929 A JP 2017216929A JP 6931316 B2 JP6931316 B2 JP 6931316B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- feature amount
- orbit
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007613 environmental effect Effects 0.000 title claims description 46
- 238000001514 detection method Methods 0.000 title claims description 24
- 238000000034 method Methods 0.000 claims description 37
- 238000004364 calculation method Methods 0.000 claims description 23
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 5
- 238000003702 image correction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 7
- 238000007689 inspection Methods 0.000 description 7
- 101100350964 Arabidopsis thaliana PANS1 gene Proteins 0.000 description 2
- 101150076566 CMR1 gene Proteins 0.000 description 2
- 101100047461 Rattus norvegicus Trpm8 gene Proteins 0.000 description 2
- 101150016253 cmr2 gene Proteins 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Train Traffic Observation, Control, And Security (AREA)
Description
本発明は、画像処理を利用した軌道周辺の環境変化検出方法、さらには鉄道の軌道上を走行する列車に搭載されたカメラで撮影された軌道側方の画像を処理して軌道周辺の時系列的な環境の変化を検出する環境変化検出方法に関する。 The present invention is a method for detecting environmental changes around a track using image processing, and further, processing an image of the side of the track taken by a camera mounted on a train traveling on the track of a railway to process a time series around the track. The present invention relates to an environmental change detection method for detecting a change in a typical environment.
鉄道において、列車が走行する軌道の周辺の時系列的な環境の変化を検出することは、列車の走行に支障をきたすおそれのある横風に影響を及ぼす建造物や植生などの支障物を早期に発見する上で重要である。
従来、軌道周辺の時系列的な環境変化を検出する方法としては、現地での人手による調査、航空写真や電子地図による推定を基に軌道周辺の環境を確認した後に、一定の期間（数か月〜数年）経過した時点で、現地に人が訪れるか再度取り直した航空写真や最新の電子地図を用いて環境の変化を精査する方法が一般的であった。
In railways, detecting changes in the environment around the track on which the train travels over time can quickly prevent obstacles such as buildings and vegetation that affect crosswinds that may interfere with train operation. It is important to discover.
Conventionally, as a method of detecting time-series environmental changes around the orbit, after confirming the environment around the orbit based on on-site manual surveys and estimations using aerial photographs and electronic maps, a certain period (several number) After a few months to several years, it was common to use aerial photographs and the latest electronic maps that people visited or retaken to examine changes in the environment.
しかし、上記のような方法は、多くの人手や時間を要するとともに、コストが非常に高いという課題があった。そこで、列車を走行させながら列車に設置したビデオカメラにより軌道の周辺を撮影して記録し、同一路線で異なる日時に撮影されたビデオ画像を比較して環境変化を判定するようにした発明が提案されている（特許文献１参照）。
なお、異なる日時に撮影されたこれらのビデオ画像を比較する場合、比較されるビデオ画像のフレームは同一地点で撮影されたものである必要があり、そのためには、列車の走行位置を正確に把握する必要がある。
However, the above-mentioned method requires a lot of manpower and time, and has a problem that the cost is very high. Therefore, an invention has been proposed in which the area around the track is photographed and recorded by a video camera installed on the train while the train is running, and video images taken on the same route at different dates and times are compared to determine environmental changes. (See Patent Document 1).
When comparing these video images taken at different dates and times, the frames of the video images to be compared must be taken at the same point, and for that purpose, the running position of the train must be accurately grasped. There is a need to.
従来、列車の走行位置を検出する技術として、列車に搭載された速度発電機からの信号に基づいて算出された列車の走行距離と経路情報とから列車の位置を把握するとともに、軌道上に設置された地上子からの情報を用いて列車の位置を補正するようにした技術がある。
また、特許文献１には、列車に搭載されたビデオカメラにより進行方向前方の空間を動画撮影することにより収録されたリファレンスビデオ画像の指定されたフレーム画像のＳＵＲＦ(Speed-Up Robust Features)特徴と、画像特徴データベースに格納されたベースビデオ画像の各フレーム画像のＳＵＲＦ特徴とをフレームマッチング処理により比較することによって求められる類似度に基づいて列車の走行位置を検出する技術が記載されている。
Conventionally, as a technology for detecting the running position of a train, the position of the train is grasped from the running distance and route information of the train calculated based on the signal from the speed generator mounted on the train, and the train is installed on the track. There is a technique to correct the position of the train by using the information from the ground element.
Further, Patent Document 1 describes SURF (Speed-Up Robust Features) features of a designated frame image of a reference video image recorded by taking a moving image of the space in front of the traveling direction with a video camera mounted on a train. , A technique for detecting the running position of a train based on the degree of similarity obtained by comparing the SURF feature of each frame image of the base video image stored in the image feature database with the SURF feature by a frame matching process is described.
特許文献１に記載されている環境変化検出方法は、先頭車両の前面にビデオカメラを設置し、車両を走行させながらビデオカメラにより進行方向前方の空間を撮影し、軌道上の互いに異なる位置であってベースビデオ動画の各フレーム画像に対応付けられた速度情報を用いて計算されるそれらの間の距離が選択された距離になる位置で撮影された２枚のフレーム画像を比較することにより軌道の周辺の時系列的な環境の変化を検出するというものである。 In the environmental change detection method described in Patent Document 1, a video camera is installed in front of the leading vehicle, the space in front of the traveling direction is photographed by the video camera while the vehicle is running, and the positions are different from each other on the track. By comparing two frame images taken at a position where the distance between them, calculated using the velocity information associated with each frame image of the base video video, is the selected distance, It detects changes in the surrounding environment over time.
しかしながら、上記特許文献１に記載の環境変化検出方法は、進行方向前方に向けたビデオで撮影した、主に線路直角方向に広がる風景画像から周辺環境の変化を捉えようとしているため、対象物（横風に影響を及ぼす支障物）を正対して捉えておらず対象物までの距離の正確な把握が困難であるので、撮影画像に基づく環境変化の検出精度が低い。また、ビデオ画像の各フレーム画像から抽出されたＳＵＲＦ特徴を用いてフレームマッチング処理により求められる類似度に基づいて対象画像を検出、すなわちベクトル処理により得られる２次元画像データに基づいて環境変化を検出するというものであるため、対象物と空とを明確に区別することができず、検出精度が低いという課題がある。 However, the environmental change detection method described in Patent Document 1 attempts to capture changes in the surrounding environment mainly from a landscape image that spreads in the direction perpendicular to the railroad track, which is taken by a video directed forward in the traveling direction. Since it is difficult to accurately grasp the distance to the object because it does not directly capture the obstacles that affect the crosswind, the detection accuracy of environmental changes based on the captured image is low. In addition, the target image is detected based on the similarity obtained by the frame matching process using the SURF feature extracted from each frame image of the video image, that is, the environmental change is detected based on the two-dimensional image data obtained by the vector process. Therefore, there is a problem that the object and the sky cannot be clearly distinguished and the detection accuracy is low.
本発明は、上記のような課題に着目してなされたもので、軌道から対象物までの距離を精度よく把握することができ、それによって撮影した画像データに基づく環境変化の検出を容易に行うことができる軌道周辺の環境変化検出方法を提供することを目的とする。
本発明の他の目的は、ステレオ解析による３次元情報を用いた判定を行うことで、撮影した画像内の対象物と空とを明確に区別することができ、それによって撮影した画像データに基づく環境変化の検出を容易に行うことができる環境変化検出方法を提供することにある。
本発明のさらに他の目的は、データの同期精度が高く、それによって撮影した画像データに基づいて環境変化を高精度で検出することができる環境変化検出方法を提供することを目的とする。
The present invention has been made by paying attention to the above-mentioned problems, and it is possible to accurately grasp the distance from the orbit to the object, thereby easily detecting the environmental change based on the captured image data. It is an object of the present invention to provide a method for detecting environmental changes around an orbit.
Another object of the present invention is to make a determination using three-dimensional information by stereo analysis so that an object in a captured image and the sky can be clearly distinguished, and based on the captured image data. An object of the present invention is to provide an environmental change detection method capable of easily detecting an environmental change.
Still another object of the present invention is to provide an environmental change detection method capable of detecting environmental changes with high accuracy based on image data captured by the high synchronization accuracy of data.
上記目的を達成するため本発明は、
異なる時期に撮影された軌道周辺の同一箇所の画像データを比較することによって環境変化を検出する軌道周辺の環境変化検出方法において、
車両に搭載されたカメラにより走行中に車両側方の風景を含む画像を所定時間間隔で撮影し、撮影した画像データを位置情報および時間情報と共に記憶装置に記憶する画像データ取得工程と、
記憶されている画像データを読み出して、所定範囲の画像データを切り出す画像切出し工程と、
同一対象物を異なる位置から撮影した複数の画像データを用いて、ステレオ解析によって画像内の当該対象物の深度を算出する深度算出工程と、
連続する複数の画像データから所定ピクセル数の幅を有する画像データを切り出して、上下方向のオルソ補正を行う画像補正工程と、
補正後の所定ピクセル数の幅を有する画像データを接合して生成した連続画像に対して、少なくとも画像内において空の占める割合を画像特徴量として算出する画像特徴量算出工程と、
軌道周辺の同一箇所に関し異なる時期に撮影された画像データからそれぞれ生成された前記連続画像に基づいて前記画像特徴量の差分を算出する特徴量差分算出工程と、
を含むようにしたものである。
In order to achieve the above object, the present invention
In the environmental change detection method around the orbit, which detects the environmental change by comparing the image data of the same place around the orbit taken at different times.
An image data acquisition process in which an image including a landscape on the side of the vehicle is photographed at predetermined time intervals by a camera mounted on the vehicle and the photographed image data is stored in a storage device together with position information and time information.
An image cutting process that reads out the stored image data and cuts out the image data in a predetermined range,
A depth calculation process that calculates the depth of the object in the image by stereo analysis using multiple image data of the same object taken from different positions.
An image correction step of cutting out image data having a width of a predetermined number of pixels from a plurality of continuous image data and performing orthophoto correction in the vertical direction.
An image feature amount calculation step of calculating at least the ratio of the sky in the image as an image feature amount with respect to a continuous image generated by joining image data having a width of a predetermined number of pixels after correction.
A feature amount difference calculation process for calculating the difference in the image feature amount based on the continuous images generated from image data taken at different times for the same part around the orbit, and a feature amount difference calculation step.
Is included.
上記のような工程を含む環境変化検出方法によれば、画像内の対象物の深度を算出する深度算出工程を備えているため、画像内の空とそれ以外の建造物等を明確に区別することができ、それによって環境変化の検出を精度よく行うことができる。また、画像内における空の占める割合を画像特徴量として算出する画像特徴量算出工程と、同一箇所に関し異なる時期に撮影された画像データに基づいて画像特徴量の差分を算出する特徴量差分算出工程とを備えているため、環境に変化があった場合にそれを容易に検出することができる。 According to the environmental change detection method including the above steps, since the depth calculation step of calculating the depth of the object in the image is provided, the sky in the image and other buildings etc. are clearly distinguished. This makes it possible to accurately detect environmental changes. In addition, an image feature amount calculation step of calculating the ratio of the sky in the image as an image feature amount, and a feature amount difference calculation step of calculating the difference of the image feature amount based on image data taken at different times with respect to the same location. When there is a change in the environment, it can be easily detected.
ここで、望ましくは、前記画像特徴量算出工程においては、前記深度算出工程により算出された画像内の対象物の深度を用いて対象物と空とを区別して前記画像特徴量を算出するようにする。
かかる画像特徴量の算出を行うことにより、同一箇所に関し異なる時期に撮影された画像の特徴量の差分を大きくすることができ、画像が変化したことすなわち環境が変化したことを容易に検出することができる。
Here, preferably, in the image feature amount calculation step, the image feature amount is calculated by distinguishing between the object and the sky by using the depth of the object in the image calculated by the depth calculation step. do.
By calculating such an image feature amount, it is possible to increase the difference in the feature amount of images taken at different times with respect to the same location, and it is possible to easily detect that the image has changed, that is, that the environment has changed. Can be done.
また、望ましくは、前記画像特徴量算出工程においては、前記深度算出工程により算出された画像内の対象物の深度を用いて、カメラからの距離範囲ごとに対象物の画像の占める深度別割合を他の画像特徴量として算出するようにする。
このように深度別割合を画像特徴量として算出することにより、走行する車両の走行に支障をきたすおそれのある風の強さに大きく影響する範囲の環境の変化を容易に検出することができる。
Further, preferably, in the image feature amount calculation step, the depth of the object in the image calculated by the depth calculation step is used to determine the ratio of the object by depth to each distance range from the camera. It is calculated as another image feature amount.
By calculating the ratio for each depth as the image feature amount in this way, it is possible to easily detect a change in the environment within a range that greatly affects the strength of the wind that may hinder the running of the traveling vehicle.
さらに、望ましくは、前記画像特徴量算出工程においては、線路平行方向の所定距離範囲の画像データ内のピクセルの色情報である色相、彩度および輝度に関しそれぞれの平均値を他の画像特徴量として算出するようにする。
画像の色相、彩度、輝度それぞれの平均値を画像特徴量として算出することにより、例えば走行する車両の走行に支障をきたすおそれのある風の強さに影響する植栽率の変化の検出を精度良く行うことができる。
Further, preferably, in the image feature amount calculation step, the average values of hue, saturation, and brightness, which are the color information of the pixels in the image data in the predetermined distance range in the parallel direction of the line, are used as other image feature amounts. Try to calculate.
By calculating the average values of hue, saturation, and brightness of the image as image features, it is possible to detect changes in the planting rate that affect the strength of the wind, which may hinder the running of a moving vehicle, for example. It can be done with high accuracy.
また、望ましくは、前記画像補正工程による補正後の画像データを接合した連続画像であって異なる時期に撮影された同一位置の２つの連続画像情報を比較して、画像データの差分の最も少ない位置を求めて画像の位置合わせを行い、位置合わせ後の位置情報を対応する画像データが記憶されているデータファイルに格納し直す画像位置合わせ工程を備えるようにする。
かかる画像位置合わせ工程を備えることにより、走行速度が異なる状況で撮影された画像同士を比較する際にデータの同期精度を高め、それによって速度の影響を排除して環境変化の検出を精度良く行うことができる。
Further, preferably, two continuous image information of the same position taken at different times in a continuous image obtained by joining the image data corrected by the image correction step is compared, and the position having the smallest difference in the image data is compared. The image is aligned so that the image alignment step of re-storing the position information after the alignment in the data file in which the corresponding image data is stored is provided.
By providing such an image alignment step, the synchronization accuracy of data is improved when comparing images taken in situations where the traveling speed is different, thereby eliminating the influence of speed and accurately detecting environmental changes. be able to.
本発明に係る軌道周辺の環境変化検出方法によれば、軌道から対象物までの距離を精度よく把握することができる。また、撮影した画像内の対象物と空とを明確に区別することができ、それによって撮影した画像データに基づく環境変化の検出を容易に行うことができる。さらに、データの同期精度が高くそれによって撮影した画像データに基づいて軌道周辺の環境変化を高精度で検出することができるという効果がある。 According to the method for detecting environmental changes around the orbit according to the present invention, the distance from the orbit to the object can be accurately grasped. In addition, the object in the captured image and the sky can be clearly distinguished, thereby facilitating the detection of environmental changes based on the captured image data. Further, the data synchronization accuracy is high, and there is an effect that the environmental change around the orbit can be detected with high accuracy based on the image data captured by the data synchronization accuracy.
以下、図面を参照しながら、本発明に係る軌道周辺の環境変化検出方法の好適な実施形態について詳細に説明する。
本発明に係る軌道周辺の環境変化検出方法は、例えば軌道上を走行しながら線路のゆがみ具合や架線の状態、信号電流の状況などを測定する検測車等の車両にデジタルカメラを搭載して、特に列車の走行に影響のある軌道の側方の風景を撮影して蓄積し、撮影時期の異なる画像を比較して軌道周辺の環境（風の流れを変化させるような建造物、植栽、地形）に変化が生じていないか検出する技術に関するものである。
Hereinafter, preferred embodiments of the method for detecting environmental changes around the orbit according to the present invention will be described in detail with reference to the drawings.
In the method for detecting environmental changes around a track according to the present invention, for example, a digital camera is mounted on a vehicle such as an inspection vehicle that measures the degree of distortion of a track, the state of an overhead wire, the state of a signal current, etc. while traveling on the track. The environment around the track (buildings that change the flow of wind, planting, etc.) It relates to a technique for detecting whether or not a change has occurred in the terrain).
軌道周辺の環境変化をより正確に検出することを可能にする画像データを取集するため、本発明では、軌道上を走行する車両に対して、線路と直交する向きを視野とするデジタルスチールカメラを搭載して、特に列車の走行に支障をきたすおそれのある横風に影響を及ぼす軌道の側方の風景を連続して撮影し画像データ蓄積することを基本とする。ただし、既存の検測車の中には、土木構造物等の管理のために、図１に示すように、先頭車両１０Ａの前面に、車両の前方から側方を含む範囲を撮影可能なパノラマカメラ１１を据え付けて、定期的にパノラマ画像を撮影して記録しているものがある。そこで、上記検測車のパノラマカメラ１１で撮影された画像データから車両側方の画像を切り出して繋ぎあわせたものを利用して環境の変化を検出するようにしても良い。以下、パノラマカメラ１１で撮影された画像データから環境の変化を検出する場合を例にとって本発明方法の具体例について説明する。
In order to collect image data that enables more accurate detection of environmental changes around the track, the present invention presents a digital steel camera with a field of view that is orthogonal to the track with respect to a vehicle traveling on the track. Is installed, and it is basically to continuously shoot the scenery on the side of the track that affects the crosswind that may hinder the running of the train and accumulate the image data. However, in the existing inspection vehicle, for the purpose of managing civil engineering structures, etc., as shown in FIG. 1, a panorama capable of photographing a range including the front side to the side of the leading
本発明の実施例で使用される画像データを撮影するパノラマカメラは、例えば図２に示されているように、上面視五角形をなす筐体１１Ａと、筐体１１Ａの上面および５つの側壁に固定され上方、前方、左右両側方前寄りおよび左右両側方後寄りの計６方向をそれぞれ撮影する６台のピクセルカメラＣＭＲ１，ＣＭＲ２……を備えており、これらのカメラで撮影した画像を連続するように接合することで車両の前方から側方および後方を含む３６０度の範囲の撮影画像を出力可能な構成されたパノラマカメラである。
As shown in FIG. 2, for example, the panoramic camera for capturing the image data used in the embodiment of the present invention is fixed to the
なお、図２においては、６台のピクセルカメラＣＭＲ１，ＣＭＲ２……のうち左右両側方後寄りの方向を撮影する２台のピクセルカメラは見えていない。各ピクセルカメラは、例えば2448×2048(5M)のような解像度を有し、１０ｆｐｓ（フレーム／秒）の速度で画像を撮影する性能を備えている。従って、このカメラを搭載した車両が例えば時速７２ｋｍで走行しながら撮影した場合には２ｍごとに、また時速２１０ｋｍで走行しながら撮影した場合には約６ｍごとにフレーム画像を取得することができる。 In FIG. 2, of the six pixel cameras CMR1, CMR2 ..., the two pixel cameras that capture the rearward directions on both the left and right sides are not visible. Each pixel camera has a resolution of, for example, 2448 × 2048 (5M), and has the ability to capture an image at a speed of 10 fps (frames / second). Therefore, the frame image can be acquired every 2 m when the vehicle equipped with this camera is photographed while traveling at 72 km / h, and every 6 m when the vehicle is photographed while traveling at 210 km / h.
また、撮影した画像のデータを記憶する記憶装置においては、取得した各画像データに対応して、ユーザが任意の情報を書き込むことができるフリースペースが用意されており、このフリースペースには、路線名や線別（上り線／下り線／単線／側線等）、撮影時の車両位置（キロ程）、撮影年月日、時刻等の撮影条件データが格納可能に構成されている。
なお、本発明に係る軌道周辺の環境変化検出方法において使用する画像データを取得するカメラはパノラマカメラに限定されず、２台のデジタルスチールカメラを、それぞれ左側方と右側方を向けて車両に据え付けるようにしても良い。
In addition, in the storage device that stores the data of the captured image, a free space is prepared in which the user can write arbitrary information corresponding to each acquired image data, and this free space has a route. It is configured to store shooting condition data such as name and line (up line / down line / single line / side line, etc.), vehicle position (about km) at the time of shooting, shooting date, time, etc.
The camera that acquires the image data used in the method for detecting environmental changes around the track according to the present invention is not limited to the panoramic camera, and two digital still cameras are installed in the vehicle with the left side and the right side facing each other. You may do so.
次に、本発明に係る軌道周辺の環境変化検出方法の手順について、図４のフローチャートを用いて説明する。なお、図４のフローチャートに従った処理は、図３に示すような機能ブロックからなるシステムを利用して実行することができる。
図３に示すシステムは、一般的なコンピュータシステムにより実現することができるもので、マイクロプロセッサ（ＭＰＵ）のようなプログラム方式の演算処理装置２１およびＲＯＭ（読出し専用メモリ）２２やＲＡＭ（随時読出し書込み可能なメモリ）２３のような記憶手段を備えた環境変化検出部２０と、環境変化の検出に必要なデータ（車載のパノラマカメラにより撮影された画像データ等）を記憶した記憶装置３１と、ユーザインタフェース（ユーザＩ／Ｆ）３２と、キーボードやマウスなどの入力装置３３と、液晶表示パネルのような表示装置３４と、を備えている。
Next, the procedure of the environmental change detection method around the orbit according to the present invention will be described with reference to the flowchart of FIG. The process according to the flowchart of FIG. 4 can be executed by using a system composed of functional blocks as shown in FIG.
The system shown in FIG. 3 can be realized by a general computer system, and is a program-type
環境変化の検出に必要なプログラムおよび各種計算式は環境変化検出部２０のＲＯＭ２２に記憶されており、マイクロプロセッサ（ＭＰＵ）２１が当該プログラムおよび式に従って画像処理や分析処理および環境変化の検出に必要な演算処理を実行する。
環境変化検出部２０のマイクロプロセッサ（ＭＰＵ）２１は、図４に示すように、先ずパノラマカメラにより撮影された画像データを記憶装置３１から読み出す（ステップＳ１）。
次に、読み出された画像データが撮影された列車位置（キロ程）を推定する（ステップＳ２）。具体的には、検測車で得られるキロ程は、先頭車両等の床下に設置されている車上子の位置を基準として、速度発電機からの信号に基づいて算出される走行距離から算定され、本線１ｋｍ毎に設置されているデータデポ（登録商標）と呼ばれる地上子を通過することにより位置が修正される。
The program and various calculation formulas required for detecting environmental changes are stored in the
As shown in FIG. 4, the microprocessor (MPU) 21 of the environment
Next, the train position (about a kilometer) in which the read image data was taken is estimated (step S2). Specifically, the kilometer obtained by the inspection vehicle is calculated from the mileage calculated based on the signal from the speed generator, based on the position of the on-board element installed under the floor of the leading vehicle, etc. The position is corrected by passing through a ground element called a data depot (registered trademark) installed every 1 km on the main line.
なお、記憶装置３１には、撮影した画像データと共に、車上子の位置とカメラの取付け位置の差を補正したキロ程が、フリースペースの列車位置データ欄に記憶される。なお、時速３６ｋｍ以上の速度で走行しながら１０ｆｐｓの間隔で撮影した場合には、同一のキロ程が列車位置データ欄に記憶される画像は存在しない。
ただし、パノラマカメラの画像データの撮影時の位置がメートル単位で保存されていると、１０ｆｐｓでの撮影間隔では誤差が大きくなる場合がある。特に低速走行時には、異なる画像フレームに対して同じキロ程データが記憶されることがある。そこで、より正確なキロ程を推定するため、ステップＳ２では、画像解析を行う前に、各画像フレームの概算キロ程を推定する。具体的には、１０フレーム毎に基準のキロ程を定め、その間を線形補間し、各フレームの概算キロ程（概算の積算移動距離）を推定し、その値を例えばＣＳＶファイルに書き出す。
In the
However, if the position at the time of shooting the image data of the panoramic camera is saved in meters, the error may become large at the shooting interval at 10 fps. Especially when traveling at low speed, the same kilometer of data may be stored for different image frames. Therefore, in order to estimate a more accurate kilometer, in step S2, the estimated kilometer of each image frame is estimated before performing the image analysis. Specifically, a reference kilometer is determined every 10 frames, linear interpolation is performed between them, an estimated kilometer (approximate integrated movement distance) of each frame is estimated, and the value is written to, for example, a CSV file.
続いて、ステップＳ１で読み出された車両前方風景を含むパノラマ画像データから、車両左右方向の画像データを切り出す（ステップＳ３）。なお、パノラマカメラの画像フレームのデータがＪＰＥＧ形式もしくはＪＰＥＧをベースとする所定形式（例えばＰＧＲの拡張子を有するファイル）のデータとして格納されている場合には、これらの形式の画像フレームデータを、画像データ処理に適したＰＮＧ形式に変換するようにしてもよい。また、ステップＳ２では、車両の左右の画像フレームデータから、それぞれ例えば横幅５００ピクセル、縦画角１００度（カメラ水平位置を０度として上下に±５０度）の短冊状領域の画像を切り出す。 Subsequently, the image data in the left-right direction of the vehicle is cut out from the panoramic image data including the scenery in front of the vehicle read in step S1 (step S3). If the image frame data of the panoramic camera is stored as JPEG format or data in a predetermined format based on JPEG (for example, a file having a PGR extension), the image frame data in these formats is used. It may be converted into a PNG format suitable for image data processing. Further, in step S2, an image of a strip-shaped region having a width of 500 pixels and a vertical angle of view of 100 degrees (± 50 degrees vertically with the horizontal position of the camera as 0 degrees) is cut out from the left and right image frame data of the vehicle, respectively.
次に、ステップＳ３で切り出された画像データのうち連続する２枚の画像に対して、前記ステップＳ２で推定された概算キロ程を基準にして撮影位置の差を移動距離として求め、その長さを底辺とするステレオ解析（三角測量法）により、カメラと対象物との距離（深度）を求める（ステップＳ４）。そして、この距離を用いて距離別の画像割合を求める処理や後述のオルソ補正が行われる。 Next, for two consecutive images of the image data cut out in step S3, the difference in shooting position is obtained as the moving distance based on the estimated kilometer estimated in step S2, and the length thereof. The distance (depth) between the camera and the object is obtained by stereo analysis (triangulation method) with the base in (step S4). Then, using this distance, processing for obtaining the image ratio for each distance and orthophoto correction described later are performed.
図５には、ステップＳ４で得られた距離別の画像割合に基づく深度画像の例が示されている。なお、図５の画像は、軌道から８０ｍ離れた位置よりも手前の風景の画像である。また、得られた深度データにはノイズが多いため、図５の画像に関しては、メディアンフィルタ（局所領域における濃淡レベルの中央値（メディアン）を出力するフィルタ）を用いたノイズ処理が行われている。
図５の画像には線路側方に立設しているビルや電柱がはっきりと表示されており、これらの建造物に変化があれば、比較的容易に検出できることが予想される。軌道から数１０ｍ以内の範囲にある建造物や植栽等の変化は、走行する車両に影響を与える風の強さの変化に大きくかかわるので、この範囲の環境変化を検出することは重要である。
FIG. 5 shows an example of a depth image based on the image ratio by distance obtained in step S4. The image of FIG. 5 is an image of a landscape in front of a position 80 m away from the orbit. Further, since the obtained depth data has a lot of noise, the image of FIG. 5 is subjected to noise processing using a median filter (a filter that outputs the median of the shade level in the local region). ..
Buildings and utility poles standing on the side of the railroad track are clearly displayed in the image of FIG. 5, and if there is a change in these buildings, it is expected that they can be detected relatively easily. Changes in buildings, plants, etc. within a range of several tens of meters from the track are greatly related to changes in wind strength that affect traveling vehicles, so it is important to detect environmental changes in this range. ..
上記ステップＳ４の次は、ステップＳ３で切り出した短冊状の画像フレームを記憶装置から読み出して、さらに長さ１ｍ当たり３０ピクセルとなるように各フレームから必要ピクセル数の短冊画像を切り出し、それらを繋ぎあわせて連続画像を作成する（ステップＳ５）。つまり、各フレームの距離データから移動速度を推定し、速度が速い場合には１フレームから多くのピクセル数を、遅い場合には少ないピクセル数の画像を選定し結合する。これにより、速度の違いによる画像のずれを補正した線路平行方向に連続した画像を作成することができる。 Following step S4, the strip-shaped image frames cut out in step S3 are read out from the storage device, and strip images of the required number of pixels are cut out from each frame so as to have 30 pixels per 1 m in length, and the strip images are connected. At the same time, a continuous image is created (step S5). That is, the moving speed is estimated from the distance data of each frame, and when the speed is high, a large number of pixels is selected from one frame, and when the speed is slow, an image with a small number of pixels is selected and combined. As a result, it is possible to create a continuous image in the line parallel direction in which the deviation of the image due to the difference in speed is corrected.
図６には、ステップＳ５の処理で作成された連続画像の例が示されている。図６より、複数の画像フレームから切り出された画像を繋ぎあわせて生成された連続画像は、歪みの少ない１枚の撮影画像に近い画像となることが分かる。
ただし、カメラから撮影対象までの距離の違いにより、前後のフレーム間で同一の物体が映り込んでいる場合が多くあり、単純にそのまま結合すると短冊毎の画像がつながらない場合がある。そこで、切り出した短冊画像に対し、上下方向のみオルソ補正（中心投影を正射投影に変換する処理）を実施する（ステップＳ６）。
FIG. 6 shows an example of a continuous image created by the process of step S5. From FIG. 6, it can be seen that the continuous image generated by joining the images cut out from the plurality of image frames is close to one captured image with less distortion.
However, due to the difference in the distance from the camera to the shooting target, the same object is often reflected between the front and rear frames, and if they are simply combined as they are, the images for each strip may not be connected. Therefore, the cut-out strip image is subjected to orthophoto correction (processing for converting the central projection into an orthographic projection) only in the vertical direction (step S6).
具体的には、ステップＳ４の処理で求めた深度データ（カメラと対象物との距離）を用いて、軌道から遠い対象物の画像に関しては領域を上下方向に拡大し、近い画像に関しては領域を上下方向に縮小するといった処理を行う。このようなオルソ補正を行うことで、撮影位置により不連続性が生じていたフレーム境界の画像をよりなめらかに接合することが出来る。
上記オルソ補正処理により、フレーム境界の接合部の画像が改善された事例を図７に示す。図７において、（Ａ）は補正前の画像、（Ｂ）は補正後の画像である。図７より、補正前の画像では建物の輪郭線（特に画像中心部の斜めの線）がギザギザであったものが、補正後の画像では滑らかな直線に近くなっていることが見てとれる。
Specifically, using the depth data (distance between the camera and the object) obtained in the process of step S4, the area is enlarged in the vertical direction for the image of the object far from the orbit, and the area is expanded for the close image. Performs processing such as shrinking in the vertical direction. By performing such orthophoto correction, it is possible to more smoothly join images at the frame boundary where discontinuity has occurred depending on the shooting position.
FIG. 7 shows an example in which the image of the joint portion of the frame boundary is improved by the above orthophoto correction process. In FIG. 7, (A) is an image before correction, and (B) is an image after correction. From FIG. 7, it can be seen that the outline of the building (particularly the diagonal line at the center of the image) was jagged in the image before correction, but it is close to a smooth straight line in the image after correction.
ステップＳ６に続くステップＳ７においては、ステップＳ６で作成した連続画像に対し、キロ程１ｍ毎に特徴量の抽出処理を行い、当該画像の特徴量として、天空率、深度別割合、ＨＳＶ平均値を算出する。ここで、「天空率」とは画像中における空の部分の割合を、「深度別割合」とは、画像中における所定距離範囲ごとに存在する対象物の割合（面積比）を意味する。ステップＳ７では、例えばカメラから０ｍ以上２０ｍ未満、２０ｍ以上４０ｍ未満、４０ｍ以上８０ｍ未満、８０ｍ以上の距離範囲ごとの物体の画像上で占める割合をそれぞれ求める。また、「ＨＳＶ」はピクセルの色を色相、彩度、輝度で表わした情報であり、「ＨＳＶ平均値」は、キロ程１ｍ分の画像データの色相、彩度、輝度のそれぞれの平均値を意味する。 In step S7 following step S6, the continuous image created in step S6 is subjected to the feature amount extraction process every 1 m in kilometers, and the sky factor, the ratio by depth, and the HSV average value are used as the feature amount of the image. calculate. Here, the "sky ratio" means the ratio of the sky portion in the image, and the "depth ratio" means the ratio (area ratio) of the objects existing in each predetermined distance range in the image. In step S7, for example, the proportions of the object in the image for each distance range of 0 m or more and less than 20 m, 20 m or more and less than 40 m, 40 m or more and less than 80 m, and 80 m or more are obtained from the camera. Further, "HSV" is information expressing the color of pixels by hue, saturation, and brightness, and "HSV average value" is the average value of hue, saturation, and brightness of image data for about 1 m per kilometer. means.
天空率の算出処理においては、ステップＳ４で求めた深度データを基に、無限遠と判定した場合に「空」と判断する。なお、白い建物なども「空」と判定してしまうおそれがあるので、一定数以上のピクセルが連続して無限遠とならなければ、「空」ではないと判断する。また、黒い場合も無限遠となる場合があるので、輝度値も一定ピクセル数以上連続してない場合には「空」ではないと判断する。図８に天空率を考慮して色情報（色相、彩度または輝度）を補正した連続画像を示す。図８において、（Ａ）は補正前の画像、（Ｂ）は補正後の画像である。図８より、例えば中央付近にある白いビルが、天空率を考慮することにより、よりはっきりと「空」と区別できていることが分かる。 In the calculation process of the sky factor, when it is determined to be infinity based on the depth data obtained in step S4, it is determined to be "sky". Since there is a risk that a white building or the like will be judged as "sky", it is judged that it is not "sky" unless a certain number of pixels or more are continuously at infinity. In addition, even if it is black, it may be at infinity, so if the luminance value is not continuous for a certain number of pixels or more, it is judged that it is not "empty". FIG. 8 shows a continuous image in which color information (hue, saturation or brightness) is corrected in consideration of the sky factor. In FIG. 8, (A) is an image before correction, and (B) is an image after correction. From FIG. 8, it can be seen that, for example, the white building near the center can be more clearly distinguished from the "sky" by considering the sky factor.
ステップＳ７に続くステップＳ８では、ステップＳ７で求めた特徴量を、画像を撮影した位置としてのキロ程や撮影日などのデータとともに、表１に示すようなデータフォーマットにまとめたものを、データベースに保存する。なお、画像データは、保存されている画像データを読み出してすぐにモニタに表示できるように、ＨＳＶ−ＲＧＢ変換を行なってＲＧＢデータとしてデータベースに保存するのが良い。
また、本実施形態においては、色相３０±５以上且つ彩度１００以上の画像の割合を画像植栽率として求めて保存するようにしている。軌道沿線の環境のうち樹木は季節によって頻繁に変化するので、植栽率を求めて保存しておくことで、環境変化が樹木によるものか建造物、地形等によるものか判別し易くなる。
ステップＳ８の次は、ステップＳ９へ進んで、ステップＳ８で保存したデータベースから、撮影区間が同じで撮影時期が異なる２枚の画像データを読み出して、詳細な位置合わせを実施し、同位置の画像データの差分を求める。
Further, in the present embodiment, the ratio of images having a hue of 30 ± 5 or more and a saturation of 100 or more is obtained as an image planting rate and stored. Of the environment along the track, trees change frequently depending on the season, so by obtaining the planting rate and saving it, it becomes easier to determine whether the environmental change is due to trees, buildings, topography, etc.
After step S8, the process proceeds to step S9, and two image data having the same shooting section but different shooting times are read from the database saved in step S8, detailed alignment is performed, and images at the same position are performed. Find the difference between the data.
ステップＳ８のデータベース作成時には、各画像フレームの概算キロ程を求め、１ｍ毎のキロ程を基準としている。ただし、実際に検測車で取得できるキロ程が１ｍ単位である場合でも、そのキロ程には誤差が含まれている。そのため、検測車で取得したキロ程を基に１０フレーム毎に決めた基準キロ程から線形補間をして求めたキロ程を位置情報としているので、実際の位置との誤差が生じている。そこで、ステップＳ９では、異なる時期に撮影された連続画像を比較し、パターンマッチングを行うことにより、より詳細な位置合わせを行うこととした。 At the time of creating the database in step S8, the approximate kilometer of each image frame is obtained, and the kilometer of each 1 m is used as a reference. However, even if the kilometer that can be actually obtained by the inspection vehicle is in units of 1 m, the kilometer contains an error. Therefore, since the position information is the kilometer obtained by linear interpolation from the reference kilometer determined every 10 frames based on the kilometer acquired by the inspection vehicle, an error from the actual position occurs. Therefore, in step S9, it was decided to perform more detailed alignment by comparing continuous images taken at different times and performing pattern matching.
具体的には、先ず、データベースから読み出された色相だけのＲＧＢデータを、色相、彩度、輝度を含むＨＳＶデータに変換する。次に、キロ程毎のデータファイルの同じキロ程位置を初期オフセットとし、ＨＳＶデータを少しずつずらしながら、その値の差分を確認する。この作業を繰り返すことで、最も差分が少ない位置を見つける。そして、最も差分が少ない位置を基準とし、撮影時期の異なる２つの画像データを比較できるよう、位置合わせ後の同一キロ程（１ｍ単位）のデータファイルにＨＳＶデータを格納し直す。最後に、求めたＨＳＶデータの差分値のうち、色相データの差分値をＲＧＢデータとして再構築する。 Specifically, first, the RGB data of only the hue read from the database is converted into HSV data including the hue, saturation, and brightness. Next, the same kilometer position of the data file for each kilometer is set as the initial offset, and the difference between the values is confirmed while shifting the HSV data little by little. By repeating this work, the position with the smallest difference is found. Then, the HSV data is re-stored in a data file of about the same kilometer (1 m unit) after alignment so that two image data having different shooting times can be compared with the position having the smallest difference as a reference. Finally, among the obtained difference values of the HSV data, the difference value of the hue data is reconstructed as RGB data.
次に、上記のようにして再構築されたデータベースに対してＳＱＬ(Structured Query Language）検索を実施し、新旧の画像データに大きな差が生じているものを検索する。図９に、その検索結果のうち、色相、天空率、深度に顕著な差分が生じていた結果の一例を示す。図９において、符号Ａは色相差、符号Ｂは天空率の差、符号Ｃは深度差の変化を表わしている。なお、図９の差分結果は、図１０（Ａ），（Ｂ）に示すような新旧のパノラマ画像が得られた箇所に関するものである。図１０（Ａ）は変化前の画像（旧画像）、図１０（Ｂ）は変化後の画像（新画像）である。 Next, SQL (Structured Query Language) search is performed on the database reconstructed as described above, and the database in which there is a large difference between the old and new image data is searched. FIG. 9 shows an example of the results in which there are significant differences in hue, sky factor, and depth among the search results. In FIG. 9, reference numeral A represents a hue difference, reference numeral B represents a difference in sky factor, and reference numeral C represents a change in depth difference. The difference results in FIG. 9 relate to the locations where the old and new panoramic images as shown in FIGS. 10 (A) and 10 (B) are obtained. FIG. 10A is an image before the change (old image), and FIG. 10B is an image after the change (new image).
図９および図１０から、周辺環境に変化がある事例では、色相、天空率、深度それぞれにおいて、大きな差が生じていることが分かる。
これより、上記の手法を適用することによって、車両に搭載したカメラにより走行中に撮影した画像から、特徴量として天空率、深度別割合、ＨＳＶ平均値を算出することによって、周辺環境変化を確実にとらえることが可能であることが分かる。
From FIGS. 9 and 10, it can be seen that in the case where there is a change in the surrounding environment, there is a large difference in hue, sky factor, and depth.
From this, by applying the above method, changes in the surrounding environment can be ensured by calculating the sky factor, the ratio by depth, and the HSV average value as feature quantities from the image taken while driving by the camera mounted on the vehicle. It turns out that it is possible to catch it.
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。例えば、上記実施形態では、検測車にパノラマカメラ１１を搭載して軌道周辺を撮影しているが、通常の営業列車にパノラマカメラ１１あるいは側方を向けたデジタスチールルカメラやビデオカメラを搭載して撮影画像を収集するようにしてもよい。また、カメラを搭載する車両は先頭車両に限定されず、最後尾あるいは中間の車両であっても良い。
Although the preferred embodiment of the present invention has been described above, the present invention is not limited to the above embodiment. For example, in the above embodiment, the
また、上記実施形態では、撮影時の列車位置情報を、列車が有するキロ程情報から取得しているが、列車にＧＰＳ装置を搭載してＧＰＳ情報を取得し列車位置情報としても良い。
さらに、上記実施形態の環境変化検出処理においては、ステップＳ５で、連続する２枚の画像データから対象物までの距離を算出しているが、連続する２枚の画像に限定されず離れた移動位置から撮影した２枚の画像データを用いて対象物までの距離を算出するようにしても良い。また、上記実施形態では、ステップＳ５で必要ピクセル数の画像を切り出してからステップＳ６でオルソ補正を行なっているが、オルソ補正を行なってから必要ピクセル数の画像を切り出すようにしても良い。
Further, in the above embodiment, the train position information at the time of shooting is acquired from the kilometer information of the train, but a GPS device may be mounted on the train to acquire the GPS information and use it as the train position information.
Further, in the environmental change detection process of the above embodiment, in step S5, the distance from the two consecutive image data to the object is calculated, but the distance is not limited to the two consecutive images and the movement is separated. The distance to the object may be calculated using the two image data taken from the position. Further, in the above embodiment, the image of the required number of pixels is cut out in step S5 and then the orthophoto correction is performed in step S6. However, the image of the required number of pixels may be cut out after performing the orthophoto correction.
１０Ａ，１０Ｂ，１０Ｃ 車両
１１ パノラマカメラ
２０ 環境変化検出部
３１ 記憶装置（データベース）
ＣＭＲ１〜ＣＭＲ４ ピクセルカメラ
10A, 10B,
CMR1-CMR4 pixel camera
Claims (5)
車両に搭載されたカメラにより走行中に車両側方の風景を含む画像を所定時間間隔で撮影し、撮影した画像データを位置情報および時間情報と共に記憶装置に記憶する画像データ取得工程と、
記憶されている画像データを読み出して、所定範囲の画像データを切り出す画像切出し工程と、
同一対象物を異なる位置から撮影した複数の画像データを用いて、ステレオ解析によって画像内の当該対象物の深度を算出する深度算出工程と、
連続する複数の画像データから所定ピクセル数の幅を有する画像データを切り出して、上下方向のオルソ補正を行う画像補正工程と、
補正後の所定ピクセル数の幅を有する画像データを接合して生成した連続画像に対して、少なくとも画像内において空の占める割合を画像特徴量として算出する画像特徴量算出工程と、
軌道周辺の同一箇所に関し異なる時期に撮影された画像データからそれぞれ生成された前記連続画像に基づいて前記画像特徴量の差分を算出する特徴量差分算出工程と、
を含むことを特徴とする軌道周辺の環境変化検出方法。 It is an environmental change detection method around the orbit that detects environmental changes by comparing image data of the same place around the orbit taken at different times.
An image data acquisition process in which an image including a landscape on the side of the vehicle is photographed at predetermined time intervals by a camera mounted on the vehicle and the photographed image data is stored in a storage device together with position information and time information.
An image cutting process that reads out the stored image data and cuts out the image data in a predetermined range,
A depth calculation process that calculates the depth of the object in the image by stereo analysis using multiple image data of the same object taken from different positions.
An image correction step of cutting out image data having a width of a predetermined number of pixels from a plurality of continuous image data and performing orthophoto correction in the vertical direction.
An image feature amount calculation step of calculating at least the ratio of the sky in the image as an image feature amount with respect to a continuous image generated by joining image data having a width of a predetermined number of pixels after correction.
A feature amount difference calculation step of calculating the difference of the image feature amount based on the continuous images generated from image data taken at different times with respect to the same part around the orbit, and a feature amount difference calculation step.
A method for detecting environmental changes around an orbit, which comprises.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017216929A JP6931316B2 (en) | 2017-11-10 | 2017-11-10 | Environmental change detection method around the orbit |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017216929A JP6931316B2 (en) | 2017-11-10 | 2017-11-10 | Environmental change detection method around the orbit |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019085056A JP2019085056A (en) | 2019-06-06 |
| JP6931316B2 true JP6931316B2 (en) | 2021-09-01 |
Family
ID=66762204
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017216929A Active JP6931316B2 (en) | 2017-11-10 | 2017-11-10 | Environmental change detection method around the orbit |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6931316B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7301802B2 (en) * | 2020-09-10 | 2023-07-03 | 公益財団法人鉄道総合技術研究所 | METHOD, SYSTEM AND PROGRAM FOR ADDING LOCATION INFORMATION TO IN-VEHICLE SENSOR DATA |
| CN114694125B (en) * | 2022-05-31 | 2022-08-26 | 杭州蓝芯科技有限公司 | Data processing method for track foreign matter identification |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3683782B2 (en) * | 2000-07-05 | 2005-08-17 | 日本電信電話株式会社 | Distance measuring apparatus and method |
| JP2005331320A (en) * | 2004-05-19 | 2005-12-02 | Toudai Tlo Ltd | Sky factor and daylight hours calculation system and calculation program |
| JP4339289B2 (en) * | 2005-07-28 | 2009-10-07 | Ｎｅｃシステムテクノロジー株式会社 | Change determination device, change determination method, and change determination program |
| JP4595759B2 (en) * | 2005-09-09 | 2010-12-08 | 株式会社デンソー | Environment recognition device |
| JP6198389B2 (en) * | 2012-12-19 | 2017-09-20 | キヤノン株式会社 | Image processing apparatus, image processing method, and computer program |
| JP2014150361A (en) * | 2013-01-31 | 2014-08-21 | Canon Inc | Image processing device, method, and program |
| JP2016151955A (en) * | 2015-02-18 | 2016-08-22 | キヤノン株式会社 | Image processing apparatus, imaging device, distance measuring device, and image processing method |
| JP6494103B2 (en) * | 2015-06-16 | 2019-04-03 | 西日本旅客鉄道株式会社 | Train position detection system using image processing and train position and environment change detection system using image processing |
-
2017
- 2017-11-10 JP JP2017216929A patent/JP6931316B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019085056A (en) | 2019-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7386394B2 (en) | Navigation and inspection system | |
| JP5714940B2 (en) | Moving body position measuring device | |
| JP5309291B2 (en) | Shooting position analysis method | |
| CN108335337B (en) | method and device for generating orthoimage picture | |
| JP2011504248A (en) | Method and apparatus for creating lane information | |
| KR101180415B1 (en) | system for Constructing road ledger using MMS | |
| JP2012127896A (en) | Mobile object position measurement device | |
| KR20120132704A (en) | Bird's-eye image forming device, bird's-eye image forming method, and recording medium | |
| US20100189343A1 (en) | Method and apparatus for storing 3d information with raster imagery | |
| JP6931316B2 (en) | Environmental change detection method around the orbit | |
| JP2007122247A (en) | Automatic landmark information production method and system | |
| JP5544595B2 (en) | Map image processing apparatus, map image processing method, and computer program | |
| JP6135972B2 (en) | Orientation method, orientation program, and orientation device | |
| JP2009140402A (en) | Information display device, information display method, information display program, and recording medium with recorded information display program | |
| WO2008082423A1 (en) | Navigation and inspection system | |
| WO2010068185A1 (en) | Method of generating a geodetic reference database product | |
| JP4892224B2 (en) | Road marking automatic measurement system, apparatus and method | |
| KR100221401B1 (en) | Method for supporting and displaying the moving picture on computer numerical map using satellite navigation system and moving picture supporting system | |
| JP2019048604A (en) | Inspection work support device, distance mark information management method, and program | |
| JP7467722B2 (en) | Feature Management System | |
| CN116402871B (en) | Monocular distance measurement method and system based on scene parallel elements and electronic equipment | |
| JP7515805B1 (en) | Inspection support system, photography position identification system, and program | |
| KR20230087031A (en) | Method and apparatus for updating road surface area of images captured by Mobile Mapping System | |
| CN118015377A (en) | Road vehicle track extraction method based on multiple unmanned aerial vehicle images | |
| JP2022078434A (en) | Road surface inspection work support system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200903 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210721 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210803 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210813 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6931316 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |