JP7119462B2 - Imaging system, imaging method, moving body equipped with imaging system, imaging device, and moving body equipped with imaging device - Google Patents
Imaging system, imaging method, moving body equipped with imaging system, imaging device, and moving body equipped with imaging device Download PDFInfo
- Publication number
- JP7119462B2 JP7119462B2 JP2018051841A JP2018051841A JP7119462B2 JP 7119462 B2 JP7119462 B2 JP 7119462B2 JP 2018051841 A JP2018051841 A JP 2018051841A JP 2018051841 A JP2018051841 A JP 2018051841A JP 7119462 B2 JP7119462 B2 JP 7119462B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- road surface
- image
- camera
- stereo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
本発明は、撮像システム、撮像方法、撮像システムを搭載した移動体、撮像装置および撮像装置を搭載した移動体に関する。 TECHNICAL FIELD The present invention relates to an imaging system, an imaging method, a moving body equipped with the imaging system, an imaging device, and a moving body equipped with the imaging device.
各種道路において、車両走行の安全性、快適性の確保、要修繕箇所の抽出などのため、路面のひび割れ率、わだち掘れ量、平坦性などの路面性状の測定が定期的に行われている。これらの測定を行う際には、対象路線において車両通行規制を行い、規制領域内で人手により測定を行うことが従来一般的であった。近年では、カメラやセンサを搭載した車両により走行しながら道路面の情報を取得することで、通行規制を行うことなく路面性状測定を実施する技術が提案されている。 On various roads, road surface properties such as crack rate, rut amount, flatness, etc., are regularly measured in order to ensure vehicle travel safety and comfort, and to identify areas requiring repair. Conventionally, when performing these measurements, it has been common practice to restrict vehicle traffic on the target route and manually perform measurements within the restricted area. In recent years, technology has been proposed for measuring road surface conditions without restricting traffic by acquiring information on the road surface while driving using vehicles equipped with cameras and sensors.
特許文献１には、複数の照明を用いて路面を撮像し、路面のひび割れなどの欠損の検出率を高めるようにした道路補正面調査装置が開示されている。 Japanese Patent Laid-Open No. 2002-200001 discloses a road correction surface investigation device that captures an image of a road surface using a plurality of illuminations to increase the detection rate of defects such as cracks in the road surface.
車両にカメラを搭載し、走行しながら道路面を撮像する手法において、ひび割れの検出や、わだち掘れの測定を行う際には、撮像画像に含まれる特徴物の画像が十分なコントラストを有していることが望ましい。ところが、路面の状況、例えば舗装種の違いや影の有無などにより、撮像画像内に十分なコントラストが得られない場合がある。この場合、撮像画像に基づく測定が困難となるおそれがある。 When detecting cracks or measuring ruts in the method of mounting a camera on a vehicle and capturing images of the road surface while driving, the image of the feature included in the captured image must have sufficient contrast. It is desirable to be However, there are cases where sufficient contrast cannot be obtained in the captured image due to road surface conditions, such as differences in pavement types and the presence or absence of shadows. In this case, it may become difficult to perform measurement based on the captured image.
これを解消するために、撮影対象領域に照明を当てることで適切なコントラストの画像を取得する手法がある。しかしながら、この手法では、撮像に必要な光量を得るために、大きな照明と、大容量のバッテリあるいは発電機とが必要になるため、コストが嵩む、専用車両が必要になってしまう、などの問題点があった。また、一般的な露出制御により路面の輝度変化に応じた自動露出を行うことも考えられる。しかしながら、車両走行しながらの路面撮像では、自動露光の追従タイムラグにより十分なコントラストが得られないフレームが多数発生しまう可能性があるという問題があった。 In order to solve this problem, there is a method of acquiring an image with appropriate contrast by illuminating the imaging target area. However, this method requires a large amount of lighting and a large-capacity battery or generator in order to obtain the amount of light necessary for imaging. there was a point It is also conceivable to perform automatic exposure according to changes in the brightness of the road surface by general exposure control. However, in road surface imaging while a vehicle is running, there is a problem that there may be many frames in which sufficient contrast is not obtained due to the follow-up time lag of automatic exposure.
本発明は、上記に鑑みてなされたものであって、車両で走行しながら道路面を撮像する場合において、路面性状の測定に適した十分なコントラストの画像を容易に取得可能とすることを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of the above, and it is an object of the present invention to make it possible to easily obtain an image with sufficient contrast suitable for measuring the road surface properties when imaging the road surface while driving a vehicle. and
上述した課題を解決し、目的を達成するために、本発明は、移動体に搭載され、移動体が移動する路面を撮像する第１の撮像装置と、移動体に搭載され、第１の撮像装置に対して移動体の進行方向側の路面を撮像する第２の撮像装置と、移動体の現在位置を示す現在位置情報を取得する取得部と、第２の撮像装置により撮像された撮像画像に基づき第１の撮像装置の撮像条件として露出パラメータを決定する撮像制御部と、を備え、撮像制御部は、さらに撮像条件を第１の撮像装置に設定するタイミングを、現在位置情報と、予め定められた、第２の撮像装置による撮像範囲の移動体からの距離と、に基づき決定する。 In order to solve the above-described problems and achieve the object, the present invention provides a first imaging device mounted on a mobile body for imaging a road surface on which the mobile body moves, and a first imaging device mounted on the mobile body for imaging a road surface on which the mobile body moves. A second imaging device that captures an image of a road surface on the traveling direction side of the moving body with respect to the device, an acquisition unit that acquires current position information indicating the current position of the moving body, and a captured image captured by the second imaging device and an imaging control unit that determines an exposure parameter as an imaging condition of the first imaging device based on the current position information and the timing of setting the imaging condition to the first imaging device in advance. It is determined based on the determined distance from the moving object in the imaging range of the second imaging device .
本発明によれば、車両で走行しながら道路面を撮像する場合において、路面性状の測定に適した十分なコントラストの画像を容易に取得可能となるという効果を奏する。 ADVANTAGE OF THE INVENTION According to this invention, when imaging a road surface while driving by vehicle, it is effective in being able to acquire easily the image of sufficient contrast suitable for the measurement of a road surface property.
以下に添付図面を参照して、撮像システム、撮像方法、撮像システムを搭載した移動体、撮像装置および撮像装置を搭載した移動体の実施形態を詳細に説明する。 Embodiments of an image capturing system, an image capturing method, a mobile body equipped with the image capturing system, an image capturing device, and a mobile body equipped with the image capturing device will be described below in detail with reference to the accompanying drawings.
［既存の道路性状の検査方法の概略］
実施形態の説明に先んじて、既存の道路性状の検査方法について、概略的に説明する。道路性状を評価するための指標として、舗装の維持管理指数（ＭＣＩ：Maintenance Control Index）が定められている。ＭＣＩは、舗装の供用性を、「ひび割れ率」、「わだち掘れ量」および「平坦性」という３種類の路面性状値によって定量的に評価するものである。
[Overview of existing road property inspection methods]
Before describing the embodiments, an existing method for inspecting road properties will be briefly described. As an index for evaluating road properties, a pavement maintenance control index (MCI: Maintenance Control Index) is defined. MCI quantitatively evaluates the usability of pavement using three types of road surface property values: "crack rate", "rutting amount" and "flatness".
これらのうち、「ひび割れ率」は、路面を５０ｃｍのメッシュに分割した各領域において、ひび割れの本数およびパッチング面積に応じて、下記の通り、ひび割れ面積を算出し、算出結果を式（１）に適用して、ひび割れ率を求める。 Among these, the "crack rate" is obtained by calculating the crack area according to the number of cracks and the patching area in each area in which the road surface is divided into 50 cm meshes, as follows, and the calculation result is expressed in formula (1). Apply to determine the crack rate.
ひび割れ１本⇒０.１５ｍ2のひび
ひび割れ２本⇒０.２５ｍ2のひび
パッチング面積０～２５％⇒ひび割れ０ｍ2
パッチング面積２５～７５％⇒ひび割れ０.１２５ｍ2
パッチング面積７５％以上⇒ひび割れ０.２５ｍ2
1 crack ⇒ 0.15
Patching area 25-75% ⇒ Crack 0.125m 2
Patching area 75% or more ⇒ Crack 0.25m 2
「わだち掘れ量」は、図１（ａ）および図１（ｂ）に例示されるように、１車線について２本発生する「わだち」の深さＤ1およびＤ2を計測し、計測された深さＤ1およびＤ2のうち大きい値を採用する。「わだち」の掘れ方には、幾つかのパターンがあるので、それぞれのパターンに合わせた計測方法が規定される。図１（ａ）は、２本の「わだち」の間が、２本の「わだち」の両端より高い場合、図１（ｂ）は、２本の「わだち」の間が、２本の「わだち」の両端より低い場合の計測方法の例を示している。 The "rut amount" is measured by measuring the depths D1 and D2 of two "ruts" generated per lane, as illustrated in Figs. 1(a) and 1(b). The larger of the depths D 1 and D 2 is taken. Since there are several patterns in how "ruts" are dug, a measurement method suitable for each pattern is defined. In FIG. 1(a), the distance between two "ruts" is higher than both ends of the two "ruts." It shows an example of the measurement method when it is lower than both ends of the rut.
平坦性は、路面の車両の進行方向に沿って、基準面からの高さを１．５ｍ間隔で３箇所、計測する。例えば、図２に示されるように、車両の下面に１．５ｍ間隔で３箇所、測定器を設け、高さＸ1、Ｘ2およびＸ3を計測する。計測された高さＸ1、Ｘ2およびＸ3に基づき式（２）により変位量ｄを求める。この計測を、車両を移動させながら複数回実行する。これにより得られた複数の変位量ｄに基づき式（３）を計算し、平坦性σを算出する。 The flatness is measured by measuring the height from the reference plane at three points at intervals of 1.5 m along the traveling direction of the vehicle on the road surface. For example, as shown in FIG. 2, three measuring instruments are provided on the underside of the vehicle at intervals of 1.5 m to measure heights X 1 , X 2 and X 3 . Based on the measured heights X 1 , X 2 and X 3 , the amount of displacement d is obtained by equation (2). This measurement is performed multiple times while moving the vehicle. Equation (3) is calculated based on the plurality of displacement amounts d thus obtained to calculate the flatness σ.
上述した「ひび割れ率」、「わだち掘れ量」および「平坦性」の計測を、１００ｍの評価区間毎に実行する。損傷箇所が予め分かっている場合は、１００ｍを４０ｍ＋６０ｍなどより小さい単位に分割して計測を行う場合もある。１００ｍ単位で実行された計測結果に基づきＭＣＩを算出し、調書を作成する。 The "crack rate", "rutting amount" and "flatness" described above are measured for each 100 m evaluation section. If the location of damage is known in advance, 100m may be divided into smaller units such as 40m+60m for measurement. MCI is calculated based on the results of measurements performed in units of 100m, and a report is created.
ＭＣＩは、計測したひび割れ率Ｃ［％］、わだち掘れ量Ｄ［ｍｍ］、および、平坦性σ［ｍｍ」に基づき、表１に示される４つの式を計算して値ＭＣＩ、ＭＣＩ１、ＭＣＩ２およびＭＣＩ３を算出する。そして、算出された値ＭＣＩ、ＭＣＩ１、ＭＣＩ２およびＭＣＩ３のうち、最小値をＭＣＩとして採用する。採用されたＭＣＩに基づき表２に示す評価基準に従い評価を行い、評価区間の路面に修繕が必要か否かを判定する。 MCI is calculated using the four formulas shown in Table 1 based on the measured crack rate C [%], rutting amount D [mm], and flatness σ [mm] to obtain the values MCI, MCI1, MCI2 and Calculate MCI3. Then, among the calculated values MCI, MCI1, MCI2 and MCI3, the minimum value is adopted as MCI. Evaluation is performed according to the evaluation criteria shown in Table 2 based on the adopted MCI, and it is determined whether or not the road surface in the evaluation section needs repair.
［第１の実施形態］
次に、第１の実施形態に係る撮像システムについて説明する。第１の実施形態では、ステレオ撮像が可能なカメラ（ステレオカメラ）を車両に取り付けて路面を撮像する。撮像されたステレオ撮像画像に基づき撮像位置から路面に対する奥行き情報を取得して路面の３次元形状を生成し、３次元路面データを作成する。この３次元路面データを解析することで、ＭＣＩを求めるために用いる「ひび割れ率」、「わだち掘れ量」および「平坦性」を取得することができる。
[First embodiment]
Next, an imaging system according to the first embodiment will be described. In the first embodiment, a camera capable of stereo imaging (stereo camera) is attached to a vehicle to capture an image of the road surface. Depth information for the road surface is obtained from the imaging position based on the captured stereo images, the three-dimensional shape of the road surface is generated, and three-dimensional road surface data is created. By analyzing this three-dimensional road surface data, it is possible to obtain the "crack rate", "rutting amount" and "flatness" used to obtain the MCI.
より具体的に説明する。ステレオカメラは、所定の長さ（基線長と呼ぶ）を離して設けられた２つのカメラを備え、この２つのカメラで撮像された２枚ペアの撮像画像（ステレオ撮像画像と呼ぶ）を出力する。このステレオ撮像画像に含まれる２枚の撮像画像間で対応する点を探索することで、撮像画像中の任意の点について、奥行き距離を復元することができる。撮像画像の全域について奥行きを復元し、各画素を奥行き情報により表したデータを、デプスマップと呼ぶ。すなわち、デプスマップは、それぞれ３次元の情報を持つ点の集合からなる３次元点群情報である。 More specific description will be given. A stereo camera is provided with two cameras separated by a predetermined length (referred to as a base line length), and outputs a pair of captured images (referred to as stereo captured images) captured by these two cameras. . By searching for a corresponding point between two captured images included in this stereo captured image, the depth distance can be restored for any point in the captured image. Data obtained by restoring the depth of the entire captured image and representing each pixel with depth information is called a depth map. That is, the depth map is three-dimensional point group information consisting of a set of points each having three-dimensional information.
このステレオカメラを車両の後方など１箇所に下向きに取り付け地面を撮像できるようにし、計測したい道路に沿って車両を移動させる。説明のため、測定のために車両に搭載するステレオカメラは、撮像範囲が、道路幅方向の規定の長さをカバーしているものとする。 This stereo camera is mounted downward at one location such as the rear of the vehicle so that it can take an image of the ground, and the vehicle is moved along the road to be measured. For the sake of explanation, it is assumed that the imaging range of the stereo camera mounted on the vehicle for measurement covers a specified length in the road width direction.
わだち掘れ量Ｄは、このステレオカメラにより撮像されたステレオ撮像画像から復元されたデプスマップ中の道路幅方向にストライプ状に切り取った部分の奥行き値を並べる。この奥行きの道路幅方向の変化に基づき、わだち掘れ深さＤ1およびＤ2を計算することができる。 For the rutting amount D, the depth values of the striped portions cut in the road width direction in the depth map restored from the stereo image captured by the stereo camera are arranged. Based on this road width variation in depth, the rut depths D 1 and D 2 can be calculated.
ひび割れ率Ｃは、路面を撮像した撮像画像を解析して「ひび」などを検出し、検出結果に基づき上述した式（１）による計算を行うことで取得する。 The crack rate C is obtained by analyzing a captured image of the road surface to detect "cracks" and the like, and performing calculation using the above-described formula (1) based on the detection results.
ここで、車両の進行方向では、１回の撮像による撮像範囲が限定されるため、例えば１００ｍ区間のひび割れ率Ｃを１回の撮像による撮像画像に基づき計算することができない。そこで、車両を道路に従い移動させながら、撮像範囲の車両の進行方向の長さに応じた移動毎に順次、撮像を行う。このとき、前回の撮像における撮像範囲と、今回の撮像における撮像範囲とが、予め設計された重複率以上で重複するように、撮像のトリガを制御する。 Here, in the traveling direction of the vehicle, since the imaging range of one imaging is limited, for example, the crack rate C of a 100 m section cannot be calculated based on the imaging image obtained by one imaging. Therefore, while moving the vehicle along the road, images are sequentially captured for each movement corresponding to the length of the imaging range in the direction in which the vehicle travels. At this time, the imaging trigger is controlled so that the imaging range of the previous imaging and the imaging range of the current imaging overlap at a predetermined overlapping rate or more.
このように、車両の移動に応じて撮像のトリガを制御することで、計測したい道路の路面を漏れなく撮像できる。そのため、車両の進行に応じて順次撮像された撮像画像をスティッチングと呼ばれる画像処理などを用いて繋ぎ合わせて、例えば１００ｍ区間の路面の画像を含む１枚の画像を生成する。この画像を目視確認あるいは解析することで、道路面上のひび割れ率Ｃを計測できる。 In this way, by controlling the imaging trigger according to the movement of the vehicle, the road surface to be measured can be imaged without omission. For this reason, captured images that are sequentially captured in accordance with the progress of the vehicle are joined using image processing called stitching, for example, to generate a single image including an image of the road surface in a 100 m section. By visually confirming or analyzing this image, the crack rate C on the road surface can be measured.
平坦性の測定は、Structure from Motion（以下、ＳｆＭ）と呼ばれる、異なる撮像地点の画像から十分に重複して撮像された画像に基づき、その撮像位置を推定する技術を使う。 Flatness measurement uses a technique called Structure from Motion (SfM), which estimates the imaging position based on sufficiently overlapped images taken from images at different imaging points.
ＳｆＭの処理の概要について説明する。まず、撮像範囲を重複して撮像された画像を用い、それぞれの画像中で同一地点を撮像した点を対応点として検出する。対応点は、可能な限り多数を検出することが望ましい。次に、例えば１枚目の画像の撮像地点から、２枚目の画像の撮像地点へのカメラの移動を、回転と並進を未知パラメータとして、検出した対応点の座標を用いた連立方程式を立て、最もトータルの誤差が小さくなるようなパラメータを求める。このようにして、２枚目の画像の撮像位置を算出できる。 An outline of the SfM processing will be described. First, using images captured in overlapping imaging ranges, points obtained by imaging the same point in each image are detected as corresponding points. It is desirable to detect as many corresponding points as possible. Next, for example, simultaneous equations are established using the coordinates of the detected corresponding points for the movement of the camera from the imaging point of the first image to the imaging point of the second image, with rotation and translation as unknown parameters. , find the parameters that minimize the total error. In this way, the imaging position of the second image can be calculated.
上述したように、それぞれの撮像地点におけるステレオ撮像画像から、画像中の任意の点の奥行きがデプスマップとして復元できている。１枚目のステレオ撮像画像に対応するデプスマップに対して、２枚目のステレオ撮像画像に対応するデプスマップを、上述の連立方程式により求めた２枚目のカメラの撮像位置を原点としたデプスマップに座標変換する。これにより、２枚のデプスマップを、１枚目のデプスマップの座標系に統一することができる。換言すれば、２枚のデプスマップを合成して１枚のデプスマップを生成できる。 As described above, the depth of an arbitrary point in the image can be restored as a depth map from the stereo-captured image at each imaging point. The depth map corresponding to the second stereo-captured image is obtained from the simultaneous equations described above with respect to the depth map corresponding to the first stereo-captured image, with the imaging position of the second camera as the origin. Coordinate transformation to map. As a result, the two depth maps can be unified into the coordinate system of the first depth map. In other words, one depth map can be generated by synthesizing two depth maps.
この処理を、例えば１００ｍ区間において撮像した全てのステレオ撮像画像に基づくデプスマップについて行い合成することで、１つの３次元空間中に、１００ｍ区間の道路面が復元される。このようにして復元された道路面の奥行き値を上述の式（２）に適用することで、変位量ｄを算出できる。この変位量ｄを上述の式（３）に適用して、平坦性σを算出する。 By performing this processing for, for example, depth maps based on all stereo imaged images captured in a 100 m section and synthesizing them, the road surface of the 100 m section is restored in one three-dimensional space. The amount of displacement d can be calculated by applying the depth value of the road surface thus restored to the above equation (2). Applying this displacement amount d to the above equation (3), the flatness σ is calculated.
第１の実施形態では、車両に搭載したステレオカメラによる撮像と、撮像されたステレオ撮像画像に対する画像処理を行うことによって、ＭＣＩを求めるための、道路面の平坦性σ、わだち掘れ量Ｄ、および、ひび割れ率Ｃを、纏めて計測することができる。第１の実施形態では、この計測を、ステレオカメラとステレオ撮像画像に対する画像処理を行う情報処理装置とからなる撮像システムを用いて実施可能であり、ＭＣＩを簡易な構成により求めることが可能となる。 In the first embodiment, images are captured by a stereo camera mounted on a vehicle, and image processing is performed on the captured stereo images. , the crack rate C can be collectively measured. In the first embodiment, this measurement can be performed using an imaging system that includes a stereo camera and an information processing device that performs image processing on stereo-captured images, and MCI can be obtained with a simple configuration. .
［第１の実施形態の概要］
第１の実施形態では、この路面の３次元形状を生成するためのステレオカメラによる路面撮像に当たり、当該撮像システムが搭載される車両の進行方向前方における、ステレオカメラにて路面が撮像されるべき撮像範囲を撮像する。この進行方向前方の撮像範囲にて撮像された撮像画像に基づき、ステレオカメラにて当該撮像範囲を撮像する際の、露光量を含む撮像条件を求め、求めた撮像条件を当該ステレオカメラに対して設定する。これにより、ステレオカメラにて路面を撮像する際の撮像条件を適切に制御でき、ステレオ撮像画像に基づきより高精度に３次元形状を生成可能となる。
[Overview of the first embodiment]
In the first embodiment, when the road surface is imaged by a stereo camera for generating the three-dimensional shape of the road surface, an image of the road surface to be imaged by the stereo camera in front of the vehicle in which the imaging system is mounted is taken. Take an image of the range. Based on the captured image captured in the imaging range forward in the direction of travel, the imaging conditions including the amount of exposure when capturing the imaging range with the stereo camera are obtained, and the obtained imaging conditions are applied to the stereo camera. set. As a result, it is possible to appropriately control the imaging conditions when imaging the road surface with the stereo camera, and to generate a three-dimensional shape with higher accuracy based on the stereo-captured images.
［第１の実施形態に適用可能なカメラ配置］
次に、第１の実施形態に適用可能なカメラ配置の例について説明する。図３は、第１の実施形態に係る撮像システムの構成例を示す図である。図３（ａ）は、第１の実施形態に係る撮像システムが車両１に搭載される様子を車両１の側面から示した図である。図３（ａ）において、図の左端に向けた方向が、車両１の進行方向とする。すなわち、図３（ａ）において、車両１の左端側が車両１の前部であり、右端側が車両１の後部である。図３（ｂ）は、当該車両１を後部側から見た例を示す図である。
[Camera Arrangement Applicable to First Embodiment]
Next, an example of camera arrangement applicable to the first embodiment will be described. FIG. 3 is a diagram showing a configuration example of an imaging system according to the first embodiment. FIG. 3A is a side view of the
第１の実施形態に係る撮像システムは、当該撮像システムを搭載する移動体としての車両１の車体後部に撮像装置取付用の取付部２を備える取付部材３を固定し、取付部２に１以上のステレオカメラ６を取り付ける。ここでは、図３（ｂ）に例示されるように、車両１の車体の幅方向の両端側に、２台のステレオカメラ６Ｌおよび６Ｒが取り付けられるものとする。各ステレオカメラ６Ｌおよび６Ｒは、車両１が移動する路面４を撮像する向きに取り付けられる。好ましくは、各ステレオカメラ６Ｌおよび６Ｒは、路面４を垂直方向から撮像するように取り付けられる。
In the imaging system according to the first embodiment, a mounting
以降、ステレオカメラ６Ｌおよび６Ｒを区別する必要の無い場合には、ステレオカメラ６Ｌおよび６Ｒをステレオカメラ６として纏めて記述する。
Hereinafter, the
ステレオカメラ６は、例えば車両１の内部に設置された、例えばパーソナルコンピュータ（ＰＣ）５により制御される。作業者はＰＣ５を操作し、ステレオカメラ６による撮像開始を指示する。撮像開始が指示されると、ＰＣ５は、ステレオカメラ６による撮像を開始する。撮像は、ステレオカメラ６すなわち車両１の移動速度に応じてタイミング制御され、繰り返し実行される。
The
作業者は、例えば必要な区間の撮像の終了に応じてＰＣ５を操作し撮像終了を指示する。ＰＣ５は、撮像終了の指示に応じて、ステレオカメラ６による撮像を終了させる。
The operator operates the
車両１に対して、さらに、車両１の進行方向前方の路面４を撮像するためのカメラ７が設けられる。すなわち、カメラ７は、ステレオカメラ６が撮像すべき路面４の所定領域を、ステレオカメラ６による当該所定領域の撮像に先んじて撮像する。カメラ７で撮像された撮像画像（進行方向撮像画像と呼ぶ）は、ＰＣ５に送られる。ＰＣ５は、カメラ７から送られた進行方向撮像画像に基づき、当該所定領域の明るさを検出し、検出結果に基づきステレオカメラ６の露光量を含む撮像条件を設定する。
The
以降、カメラ７を進行方向用カメラ７と呼ぶ。また、ステレオカメラ６Ｌおよび６Ｒは、ＭＣＩ算出のために路面４を垂直方向から撮像するカメラであるため、特に記載の無い限り、ステレオカメラ６Ｌおよび６Ｒを、路面撮像用カメラ６Ｌおよび６Ｒとして記述し、進行方向用カメラ７と区別する。
The
図４および図５は、第１の実施形態に適用可能な、路面撮像用カメラ６の撮像範囲の例を示す図である。なお、図４および図５において、上述した図３と共通する部分には同一の符号を付して、詳細な説明を省略する。
4 and 5 are diagrams showing examples of the imaging range of the road
図４は、第１の実施形態に適用可能な、路面撮像用カメラ６による、車両１の進行方向の撮像範囲（進行方向視野Ｖｐとする）を説明するための図である。なお、図４は、上述の図１と同様に、図の左端に向けた方向を、車両１の進行方向としている。進行方向視野Ｖｐは、図４に示されるように、路面撮像用カメラ６の画角αと、路面撮像用カメラ６の路面４に対する高さｈとに従い決定される。
FIG. 4 is a diagram for explaining an imaging range in the traveling direction of the vehicle 1 (referred to as traveling direction visual field Vp) by the road
図５は、第１の実施形態に適用可能な、路面撮像用カメラ６による、車両１の道路幅方向の撮像範囲を説明するための図である。図５は、車両１を後部側から見た図であり、図３（ｂ）と共通する部分には同一の符号を付して、詳細な説明を省略する。
FIG. 5 is a diagram for explaining an imaging range of the
図５（ａ）において、路面撮像用カメラ６Ｌは、２つの撮像レンズ６ＬLおよび６ＬRを備える。撮像レンズ６ＬLおよび６ＬRを結ぶ線を基線、その長さを基線長と呼び、路面撮像用カメラ６Ｌは、基線が車両１の進行方向に対して垂直になるように配置される。路面撮像用カメラ６Ｒも同様に、基線長だけ離れた２つの撮像レンズ６ＲLおよび６ＲRを備え、基線が車両１の進行方向に対して垂直になるように配置される。
In FIG. 5(a), the road
図５（ｂ）は、第１の実施形態に適用可能な、路面撮像用カメラ６Ｌおよび６Ｒの撮像範囲の例を示す。路面撮像用カメラ６Ｌにおいて、撮像レンズ６ＬLおよび６ＬRそれぞれの撮像範囲６０ＬLおよび６０ＬRは、基線長および高さｈに応じてずれて重ねられる。路面撮像用カメラ６Ｒについても同様に、撮像レンズ６ＲLおよび６ＲRそれぞれによる、撮像範囲６０ＲLおよび６０ＲRは、基線長および高さｈに応じてずれて重ねられる。
FIG. 5(b) shows an example of the imaging range of the road
以下、特に記載の無い限り、これら撮像範囲６０ＬLおよび６０ＬR、ならびに、撮像範囲６０ＲLおよび６０ＲRを、それぞれ纏めてステレオ撮像範囲６０Ｌおよび６０Ｒと呼ぶ。路面撮像用カメラ６Ｌおよび６Ｒは、図５（ｂ）に示されるように、ステレオ撮像範囲６０Ｌおよび６０Ｒが、ステレオ撮像範囲６０Ｌの車両１の幅方向の一端と、ステレオ撮像範囲６０Ｒの当該幅方向の他端とが、領域６１において所定の重複率で重複するように、配置される。
Hereinafter, unless otherwise specified, these imaging ranges 60L L and 60LR and imaging ranges 60R L and 60R R are collectively referred to as stereo imaging ranges 60L and 60R, respectively. As shown in FIG. 5(b), the road
図６は、第１の実施形態に適用可能な、路面撮像用カメラ６Ｌによるステレオ撮像範囲６０Ｌの、車両１の進行方向における重複を示す図である。移動中の車両１において、路面撮像用カメラ６Ｌにより２回の撮像を行ったものとする。路面撮像用カメラ６Ｌは、１回目は、ステレオ撮像範囲６０Ｌ（撮像範囲６０ＬLおよび６０ＬR）の撮像を行い、２回目は、ステレオ撮像範囲６０Ｌに対して、車両１の進行方向に、車両１の移動距離に応じた距離だけ移動したステレオ撮像範囲６０Ｌ’（撮像範囲６０ＬL’および６０ＬR’）の撮像を行う。
FIG. 6 is a diagram showing overlap in the travel direction of the
このとき、ステレオ撮像範囲６０Ｌとステレオ撮像範囲６０Ｌ’とが、進行方向視野Ｖｐに対して予め定められた進行方向重複率Ｄｒ以上の重複率で重複するように、路面撮像用カメラ６Ｌの撮像タイミングを制御する。このように、時間軸に沿ってステレオ撮像範囲６０Ｌおよび６０Ｌ’を順次撮像することで、ステレオ撮像範囲６０Ｌおよび６０Ｌ’を撮像した２枚のステレオ撮像画像を繋ぎ合わせる処理を容易とすることができる。
At this time, the imaging timing of the road
なお、上述では、第１の実施形態に係る撮像システムが２台の路面撮像用カメラ６Ｌおよび６Ｒを用いるものとして説明したが、これはこの例に限定されない。例えば、第１の実施形態に係る撮像システムは、図７（ａ）に示されるように、路面撮像用カメラ６Ｌおよび６Ｒに対してさらに１台のステレオカメラ（路面撮像用カメラ）６Ｃを加え、３台の路面撮像用カメラ６Ｌ、６Ｒおよび６Ｃを用いて構成してもよい。
Although the imaging system according to the first embodiment uses the two road
図７（ａ）の例では、路面撮像用カメラ６Ｌおよび６Ｒの間隔が、路面撮像用カメラ６Ｌおよび６Ｒのみを用いる場合に比べて広げられ、その中央部に路面撮像用カメラ６Ｃが配置されている。図７（ｂ）に示されるように、路面撮像用カメラ６Ｃの撮像レンズ６ＣLおよび６ＣRによる撮像範囲６０ＣLおよび６０ＣRにより、ステレオ撮像範囲６０Ｃが構成される。路面撮像用カメラ６Ｌ、６Ｃおよび６Ｒは、それぞれによる各ステレオ撮像範囲６０Ｌ、６０Ｃおよび６０Ｒが車両１の幅方向に所定の重複率で以て重複するように配置される。
In the example of FIG. 7A, the distance between the road
このように、１車線を撮像するために、３台の路面撮像用カメラ６Ｌ、６Ｃおよび６Ｒを用いることで、車線の右側、中央および左側にそれぞれ撮像範囲を設定して撮像が可能となり、高画質（高解像）なステレオ撮像画像を、少ない台数の路面撮像用カメラで撮像可能となる。ここで、特に道路幅は、一般的には、３．５ｍと規定されている。そこで、この道路幅の３．５ｍに対応して、路面撮像用カメラ６Ｌおよび６Ｒにより車線の道路幅方向の両端を撮像し、路面撮像用カメラ６Ｃにより中央部を撮像することが考えられる。
In this way, by using the three road
なお、撮像範囲がこの規定される道路幅（３．５ｍ）をカバー可能な画角を有する路面撮像用カメラを１台のみ用いて、撮像システムを構成してもよい。 The image pickup system may be configured using only one road surface image pickup camera having an angle of view capable of covering the road width (3.5 m) for which the image pickup range is defined.
［第１の実施形態に係る撮像システムの構成］
次に、第１の実施形態に係る撮像システムの構成について説明する。以下では、撮像システムが２台の路面撮像用カメラを備えるものとして説明を行う。
[Configuration of Imaging System According to First Embodiment]
Next, the configuration of the imaging system according to the first embodiment will be described. In the following description, it is assumed that the imaging system has two road surface imaging cameras.
図８は、第１の実施形態に係る撮像システムの概略的な構成の例を示すブロック図である。図８において、撮像システム１０は、撮像部１００1および１００2と、位置情報取得部１０１と、撮像制御部１０２と、進行方向用撮像部１０３と、を含む。
FIG. 8 is a block diagram showing an example of a schematic configuration of an imaging system according to the first embodiment; In FIG. 8, the
撮像部１００1および１００2は、それぞれ上述した路面撮像用カメラ６Ｌおよび６Ｒに対応する。位置情報取得部１０１は、車両１の現在位置を取得する。進行方向用撮像部１０３は、上述した進行方向用カメラ７に対応し、車両１の進行方向前方の路面４を撮像し、進行方向撮像画像を取得する。
The imaging units 100 1 and 100 2 correspond to the above-described road
撮像制御部１０２は、それぞれ撮像部１００1および１００2の撮像タイミング、露光、シャッタ速度などの撮像動作を制御する。撮像制御部１０２は、進行方向用撮像部１０３により取得された進行方向撮像画像に基づき、撮像部１００1および１００2が撮像すべき領域の明るさを求め、求めた明るさに基づき、撮像部１００1および１００2に対して露光量を含めた撮像条件の設定を行う。また、撮像制御部１０２は、位置情報取得部１０１が取得した車両１の現在位置に基づき、撮像部１００1および１００2に対して撮像条件を設定するタイミングを決定する。
The
図９は、第１の実施形態に係る撮像システム１０のハードウェア構成の例を示すブロック図である。図９において、撮像システム１０は、路面撮像用カメラ６Ｌおよび６Ｒ（ステレオカメラ６Ｌおよび６Ｒ）と、進行方向用カメラ７と、図３のＰＣ５に対応する情報処理装置５０と、位置情報取得部５１と、を含む。
FIG. 9 is a block diagram showing an example of the hardware configuration of the
情報処理装置５０は、所定のタイミングでトリガを生成し、生成したトリガを路面撮像用カメラ６Ｌおよび６Ｒに送る。路面撮像用カメラ６Ｌおよび６Ｒは、このトリガに応じて同期して撮像を行う。路面撮像用カメラ６Ｌおよび６Ｒにより撮像された各ステレオ撮像画像は、情報処理装置５０に供給される。情報処理装置５０は、路面撮像用カメラ６Ｌおよび６Ｒから供給された各ステレオ撮像画像をストレージなどに記憶、蓄積する。情報処理装置５０は、蓄積したステレオ撮像画像に基づき、デプスマップの生成、生成したデプスマップの繋ぎ合わせ、などの画像処理を実行する。
The
また、情報処理装置５０は、進行方向用カメラ７の撮像を指示するトリガを生成し、進行方向用カメラ７に送る。このトリガは、上述の路面撮像用カメラ６Ｌおよび６Ｒに送るトリガと動悸している必要は無い。進行方向用カメラ７は、このトリガに応じて撮像を行う。情報処理装置５０は、進行方向用カメラ７から供給された進行方向撮像画像に基づき、路面撮像用カメラ６Ｌおよび６Ｒに対する露光量を含む撮像条件を求め、求めた撮像条件を設定情報として路面撮像用カメラ６Ｌおよび６Ｒにそれぞれ供給する。ここで、情報処理装置５０は、路面撮像用カメラ６Ｌと、路面撮像用カメラ６Ｒと、に対してそれぞれ撮像条件を求めることができる。情報処理装置５０は、路面撮像用カメラ６Ｌおよび６Ｒについてそれぞれ求めた撮像条件を含む各設定情報を、路面撮像用カメラ６Ｌおよび６Ｒにそれぞれ供給する。このとき、情報処理装置５０は、位置情報取得部５１により取得された車両１の現在位置に基づき、路面撮像用カメラ６Ｌおよび６Ｒに対して設定情報を設定するタイミングを決定する。
The
図１０は、第１の実施形態に係る路面撮像用カメラ６Ｌの一例の構成を示すブロック図である。なお、路面撮像用カメラ６Ｒは、この路面撮像用カメラ６Ｌと同様の構成にて実現可能であるので、ここでの説明を省略する。
FIG. 10 is a block diagram showing an example configuration of the road
図１０において、路面撮像用カメラ６Ｌは、撮像光学系６００Lおよび６００Rと、撮像素子６０１Lおよび６０１Rと、駆動部６０２Lおよび６０２Rと、信号処理部６０３Lおよび６０３Rと、出力部６０４と、を含む。これらのうち、撮像光学系６００L、撮像素子６０１L、駆動部６０２L、および、信号処理部６０３Lは、上述した撮像レンズ６ＬLに対応する構成である。同様に、撮像光学系６００R、撮像素子６０１R、駆動部６０２R、および、信号処理部６０３Rは、上述した撮像レンズ６ＬRに対応する構成である。
In FIG. 10, the road
撮像光学系６００Lは、画角α、焦点距離ｆを有する光学系であって、被写体からの光を撮像素子６０１Lに投射する。撮像素子６０１Lは、例えばＣＭＯＳ(Complementary Metal Oxide Semiconductor)を用いた光センサであって、投射された光に応じた信号を出力する。なお、撮像素子６０１Lに、ＣＣＤ(Charge Coupled Device)による光センサを適用してもよい。駆動部６０２Lは、撮像素子６０１Lを駆動し、撮像素子６０１Lから出力された信号に対してノイズ除去、ゲイン調整などの所定の処理を施して出力する。信号処理部６０３Lは、駆動部６０２Lから出力された信号に対してＡ／Ｄ変換を施して、当該信号をディジタル方式の画像信号（撮像画像）に変換する。信号処理部６０３Lは、変換した画像信号に対してガンマ補正など所定の画像処理を施して出力する。信号処理部６０３Lから出力された撮像画像は、出力部６０４に供給される。
The imaging optical system 600L is an optical system having an angle of view α and a focal length f, and projects light from a subject onto an imaging element 601L . The imaging element 601 L is, for example, an optical sensor using CMOS (Complementary Metal Oxide Semiconductor), and outputs a signal corresponding to projected light. An optical sensor using a CCD (Charge Coupled Device) may be applied to the imaging device 601L . The drive unit 602L drives the image sensor 601L , performs predetermined processing such as noise removal and gain adjustment on the signal output from the image sensor 601L , and outputs the processed signal. The signal processing unit 603L performs A/D conversion on the signal output from the driving unit 602L to convert the signal into a digital image signal (captured image). The signal processing unit 603 L performs predetermined image processing such as gamma correction on the converted image signal and outputs the processed image signal. The captured image output from the signal processing unit 603 L is supplied to the
撮像光学系６００R、撮像素子６０１R、駆動部６０２R、および、信号処理部６０３Rの動作は、上述の撮像光学系６００L、撮像素子６０１L、駆動部６０２L、および、信号処理部６０３Lと同様なので、ここでの説明を省略する。 The operations of the imaging optical system 600 R , the imaging device 601 R , the driving unit 602 R , and the signal processing unit 603 R are similar to those of the imaging optical system 600 L , the imaging device 601 L , the driving unit 602 L , and the signal processing unit described above. Since it is the same as 603L , the explanation here is omitted.
駆動部６０２Lおよび６０２Rは、例えば情報処理装置５０から出力されたトリガが供給される。このトリガは、路面撮像用カメラ６Ｒに含まれる駆動部６０２Lおよび６０２Rと同期して、供給される。駆動部６０２Lおよび６０２Rは、このトリガに従い、撮像素子６０１Lおよび６０１Rから信号を取り込み、撮像を行う。
The driving units 602 L and 602 R are supplied with triggers output from the
ここで、駆動部６０２Lおよび６０２Rは、撮像素子６０１Lおよび６０１Rにおける露光を、一括同時露光方式により行う。この方式は、グローバルシャッタと呼ばれる。これに対して、ローリングシャッタは、画素位置の上から順番（ライン順）に光を取り込んでいく方式であるため、フレーム中の各ラインは、厳密に同じ時刻の被写体を写したものではない。ローリングシャッタ方式の場合、１フレームの撮像信号を取り込んでいる間にカメラもしくは被写体が高速に動いてしまうと、被写体の像がライン位置に応じてずれて撮像されてしまう。そのため、第１の実施形態に係る路面撮像用カメラ６Ｌおよび６Ｒでは、グローバルシャッタを用いて、投影幾何的に正しく道路形状が撮像されるようにする。
Here, the drive units 602 L and 602 R perform exposure in the imaging elements 601 L and 601 R by a batch simultaneous exposure method. This method is called a global shutter. On the other hand, since the rolling shutter takes in light in order from the top of the pixel position (line order), each line in the frame does not exactly capture the subject at the same time. In the case of the rolling shutter method, if the camera or the object moves at high speed while one frame of imaging signal is captured, the image of the object is picked up shifted according to the line position. Therefore, in the road
また、情報処理装置５０から出力された、露光に係る撮像条件を含む設定情報が、駆動部６０２Lおよび６０２R、ならびに、信号処理部６０３Lおよび６０３Rにそれぞれ供給される。駆動部６０２Lおよび６０２Rは、この設定条件に従い、例えばゲインや露光時間を設定する。また、信号処理部６０３Lおよび６０３Rは、この設定条件に従い、ガンマ補正の際のガンマ係数や階調の設定を行うことができる。
Further, setting information including imaging conditions related to exposure output from the
出力部６０４は、信号処理部６０３Lおよび６０３Rから供給された各フレームの撮像画像を、１組のステレオ撮像画像として出力する。出力部６０４から出力されたステレオ撮像画像は、情報処理装置５０に送られ、蓄積される。
The
図１１は、第１の実施形態に適用可能な情報処理装置５０の一例の構成を示すブロック図である。図１１において、情報処理装置５０は、それぞれバス５０３０に接続されたＣＰＵ(Central Processing Unit)５０００と、ＲＯＭ(Read Only Memory)５００１と、ＲＡＭ(Random Access Memory)５００２と、グラフィクスＩ／Ｆ（インタフェース）５００３と、ストレージ５００４と、入力デバイス５００５と、データＩ／Ｆ５００６と、通信Ｉ／Ｆ５００７と、を備える。さらに、情報処理装置５０は、それぞれバス５０３０に接続されたカメラＩ／Ｆ５０１０ａおよび５０１０ｂと、速度取得部５０２１と、位置情報取得部５０２２と、を備える。
FIG. 11 is a block diagram showing an example configuration of an
ストレージ５００４は、データを不揮発に記憶する記憶媒体であって、ハードディスクドライブやフラッシュメモリを適用できる。ストレージ５００４は、ＣＰＵ５０００が動作するためのプログラムやデータが記憶される。
The
ＣＰＵ５０００は、例えば、ＲＯＭ５００１やストレージ５００４に予め記憶されたプログラムに従い、ＲＡＭ５００２をワークメモリとして用い、この情報処理装置５０の全体の動作を制御する。グラフィクスＩ／Ｆ５００３は、ＣＰＵ５０００によりプログラムに従い生成された表示制御信号に基づき、ディスプレイ５０２０が対応可能な表示信号を生成する。ディスプレイ５０２０は、グラフィクスＩ／Ｆ５００３から供給された表示信号に応じた画面を表示する。
The
入力デバイス５００５は、ユーザ操作を受け付け、受け付けたユーザ操作に応じた制御信号を出力する。入力デバイス５００５としては、マウスやタブレットといったポインティングデバイスや、キーボードを適用できる。また、入力デバイス５００５とディスプレイ５０２０とを一体的に形成し、所謂タッチパネル構成としてもよい。
The
データＩ／Ｆ５００６は、外部の機器との間でデータの送受信を行う。データＩ／Ｆ５００６としては、例えばＵＳＢ(Universal Serial Bus)を適用可能である。通信Ｉ／Ｆ５００７は、ＣＰＵ５０００の指示に従い、外部のネットワークに対する通信を制御する。
A data I/
カメラＩ／Ｆ５０１０ａは、各路面撮像用カメラ６Ｌおよび６Ｒに対するインタフェースである。各路面撮像用カメラ６Ｌおよび６Ｒから出力された各ステレオ撮像画像は、カメラＩ／Ｆ５０１０ａを介して、例えばＣＰＵ５０００に渡される。また、カメラＩ／Ｆ５０１０ａは、ＣＰＵ５０００の指示に従い上述したトリガを生成し、生成したトリガを各路面撮像用カメラ６Ｌおよび６Ｒに送る。さらに、カメラＩ／Ｆ５０１０ａは、ＣＰＵ５０００により生成された設定情報を、各路面撮像用カメラ６Ｌおよび６Ｒに送る。
The camera I/
カメラＩ／Ｆ５０１０ｂは、進行方向用カメラ７に対するインタフェースである。進行方向用カメラ７から出力された進行方向撮像画像は、カメラＩ／Ｆ５０１０ｂを介して例えばＣＰＵ５０００に渡される。また、カメラＩ／Ｆ５０１０ｂは、ＣＰＵ５０００により生成された、撮像タイミングを指示するためのトリガを、進行方向用カメラ７に送る。
A camera I/F 5010b is an interface for the traveling
速度取得部５０２１は、車両１の速度を示す速度情報を取得する。車両１に各路面撮像用カメラ６Ｌおよび６Ｒが取り付けられている場合、速度取得部５０２１が取得する速度情報は、各路面撮像用カメラ６Ｌおよび６Ｒの、被写体（路面）に対する速度を示す。速度取得部５０２１は、例えば、ＧＮＳＳ(Global Navigation Satellite System)の信号を受信する機能を有し、受信したＧＮＳＳによる信号のドップラー効果に基づき車両１の速度を示す速度情報を取得する。これに限らず、速度取得部５０２１は、車両１から直接的に速度情報を取得することもできる。
The
位置情報取得部５０２２は、車両１の現在位置を示す位置情報を取得する。位置情報取得部５０２２は、例えば速度取得部５０２１が有するＧＮＳＳ信号の受信機能を利用して、当該位置情報を取得する。
The position
図１２は、第１の実施形態に適用可能な情報処理装置５０の機能を説明するための一例の機能ブロック図である。図１２において、情報処理装置５０は、撮像画像取得部５００ａおよび５００ｂと、ＵＩ部５０１と、制御部５０２と、撮像画像記憶部５０３と、撮像制御部５０４と、を含む。情報処理装置５０は、さらに、マッチング処理部５１０と、３Ｄ情報生成部５１１と、３Ｄ情報取得部５２０と、状態特性値算出部５２１と、調書作成部５２２と、を含む。
FIG. 12 is an example functional block diagram for explaining functions of the
これら撮像画像取得部５００、ＵＩ部５０１、制御部５０２、撮像制御部５０４、マッチング処理部５１０、３Ｄ情報生成部５１１、３Ｄ情報取得部５２０、状態特性値算出部５２１および調書作成部５２２は、ＣＰＵ５０００上で動作するプログラムにより実現される。これに限らず、これら撮像画像取得部５００、ＵＩ部５０１、制御部５０２、撮像制御部５０４、マッチング処理部５１０、３Ｄ情報生成部５１１、３Ｄ情報取得部５２０、状態特性値算出部５２１および調書作成部５２２の一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。
These captured image acquisition unit 500, UI unit 501,
撮像画像取得部５００ａは、各路面撮像用カメラ６Ｌおよび６Ｒから、ステレオ撮像画像を取得する。撮像画像取得部５００ｂは、進行方向用カメラ７から進行方向撮像画像を取得する。撮像画像記憶部５０３は、撮像画像取得部５００ａおよび５００ｂにより取得されたステレオ撮像画像および進行方向撮像撮像を、例えばストレージ５００４に記憶する。また、撮像画像記憶部５０３は、ストレージ５００４から、記憶されたステレオ撮像画像および進行方向撮像撮像を取得する。
The captured image acquisition unit 500a acquires stereo captured images from the road
ＵＩ部５０１は、入力デバイス５００５やディスプレイ５０２０に対する表示によるユーザインタフェースを実現する。制御部５０２は、この情報処理装置５０全体の動作を制御する。
The UI unit 501 implements a user interface by displaying on the
撮像制御部５０４は、上述した位置情報取得部１０１および撮像制御部１０２に対応する。すなわち、撮像制御部５０４は、撮像画像取得部５００ｂにより取得された進行方向撮像画像に基づき進行方向用カメラ７の撮像条件を生成する。また、撮像制御部５０４は、位置情報取得部１０１により取得された車両１の現在位置を示す位置情報に基づき、進行方向用カメラ７に対して撮像を指示するためのトリガを生成する。
The imaging control unit 504 corresponds to the position
また、撮像制御部５０４は、各路面撮像用カメラ６Ｌおよび６Ｒの被写体（路面４）に対する速度を示す速度情報を取得し、取得した速度情報と、予め設定される各路面撮像用カメラ６Ｌおよび６Ｒの画角α、高さｈと、に基づき、各路面撮像用カメラ６Ｌおよび６Ｒの同期撮像を指示するためのトリガを生成する。
In addition, the imaging control unit 504 acquires speed information indicating the speed of each of the road
マッチング処理部５１０は、撮像画像取得部５００により取得されたステレオ撮像画像を構成する２枚の撮像画像を用いてマッチング処理を行う。３Ｄ情報生成部５１１は、３次元情報に係る処理を行う。例えば、３Ｄ情報生成部５１１は、マッチング処理部５１０によるマッチング処理の結果を用いて三角法などにより深度情報を求め、求めた深度情報に基づき３次元点群情報を生成する。
The matching processing unit 510 performs matching processing using the two captured images forming the stereo captured image acquired by the captured image acquisition unit 500 . The 3D
３Ｄ情報取得部５２０は、３Ｄ情報生成部５１１によりステレオ撮像画像毎に求めた３次元点群情報を取得する。状態特性値算出部５２１は、３Ｄ情報取得部５２０により取得された各３次元点群情報と、撮像画像取得部５００により取得された各ステレオ撮像画像とを用いて、ＭＣＩを求めるための、ひび割れ率Ｃ、わだち掘れ量Ｄおよび平坦性σの各状態特性値を算出する。調書作成部５２２は、状態特性値算出部５２１により算出された各状態特性値に基づきＭＣＩを求め、調書を作成する。
The 3D information acquisition unit 520 acquires the 3D point cloud information obtained for each stereo image by the 3D
情報処理装置５０における第１の実施形態に係る各機能を実現するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ(Compact Disk)、フレキシブルディスク（ＦＤ）、ＤＶＤ(Digital Versatile Disk)などのコンピュータで読み取り可能な記録媒体に記録して提供される。これに限らず、当該プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、当該ネットワークを介してダウンロードさせることにより提供してもよい。また、当該プログラムをインターネットなどのネットワークを経由して提供または配布するように構成してもよい。
A program for realizing each function according to the first embodiment in the
当該プログラムは、撮像画像取得部５００ａおよび５００ｂ、ＵＩ部５０１、制御部５０２、撮像画像記憶部５０３、撮像制御部５０４、マッチング処理部５１０、３Ｄ情報生成部５１１、３Ｄ情報取得部５２０、状態特性値算出部５２１および調書作成部５２２を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ５０００がストレージ５００４などの記憶媒体から当該プログラムを読み出して実行することにより、上述した各部がＲＡＭ５００２などの主記憶装置上にロードされ、撮像画像取得部５００ａおよび５００ｂ、ＵＩ部５０１、制御部５０２、撮像画像記憶部５０３、撮像制御部５０４、マッチング処理部５１０、３Ｄ情報生成部５１１、３Ｄ情報取得部５２０、状態特性値算出部５２１および調書作成部５２２が主記憶装置上に生成されるようになっている。
The program includes captured
［第１の実施形態に適用可能なトリガ生成方法］
次に、第１の実施形態に適用可能な、各路面撮像用カメラ６Ｌおよび６Ｒに対して撮像を指示するためのトリガの生成方法について、より詳細に説明する。第１の実施形態において、生成部１０３は、路面撮像用カメラ６Ｌおよび６Ｒの被測定物（路面４）に対するステレオ撮像範囲の、車両１の速度の方向の距離を、車両１が速度情報が示す速度で移動する時間に対して、当該時間より短い所定時間以下の時間間隔でトリガを生成する。
[Trigger Generation Method Applicable to First Embodiment]
Next, a method of generating triggers for instructing the road
すなわち、トリガは、路面撮像用カメラ６Ｌおよび６Ｒにおける路面４の撮影範囲が、車両１の進行方向に所定の重複率（進行方向重複率Ｄｒ）を保つように発生させる必要がある。これは、後述するように、各ステレオ撮像画像から撮像位置を算出する処理において、安定的に精度の高いカメラ位置を算出するため、十分な対応点を検出できるようにすることが目的である。進行方向重複率Ｄｒの下限値は、例えば実験的に「６０％」のように決定される。
That is, the trigger needs to be generated so that the range of the
第１の実施形態において、トリガの生成方法は、下記の３通りの方法を適用できる。
（１）一定時間間隔で生成する方法（第１の生成方法）
（２）カメラの移動速度を検出して生成する方法（第２の生成方法）
（３）撮像画像を用いて移動距離を算出して生成する方法（第３の生成方法）
In the first embodiment, the following three methods can be applied to the trigger generation method.
(1) Method of generating at regular time intervals (first generation method)
(2) A method of generating by detecting the movement speed of the camera (second generation method)
(3) A method of calculating and generating a movement distance using a captured image (third generation method)
（第１の生成方法）
先ず、トリガの第１の生成方法について説明する。第１の生成方法においては、撮像中の車両１の最高速度Ｓｐｅｅｄと、撮像範囲の大きさ（撮像範囲の車両１の進行方向の長さ）と、からトリガの時間間隔を決める。速度取得部５０２１は、車両１におけるシステム設定値や、情報処理装置５０に対するユーザ入力により、車両１の最高速度Ｓｐｅｅｄを予め取得しておく。撮像制御部５０４は、速度取得部５０２１から最高速度Ｓｐｅｅｄを取得し、トリガの時間間隔を、取得した最高速度Ｓｐｅｅｄと、進行方向視野Ｖｐおよび進行方向重複率Ｄｒと、を用いて、下記の式（４）により算出する。なお、進行方向重複率Ｄｒは、上述した下限値が適用される。
(First generation method)
First, the first trigger generation method will be described. In the first generation method, the trigger time interval is determined from the maximum speed Speed of the
式（４）により、１秒間に生成すべきトリガ数ｆｐｓが算出される。トリガ数ｆｐｓの逆数が、生成すべき次のトリガまでの時間間隔となる。 The number of triggers fps to be generated per second is calculated by the formula (4). The reciprocal of the number of triggers fps is the time interval until the next trigger to be generated.
進行方向視野Ｖｐは、模式的には、図４を用いて説明したように、各路面撮像用カメラ６Ｌおよび６Ｒの路面４からの高さｈと、各路面撮像用カメラ６Ｌおよび６Ｒの画角αと、に基づき設定できる。実際は、さらに、各路面撮像用カメラ６Ｌおよび６Ｒの路面４に対する角度なども考慮して、進行方向視野Ｖｐを設定する。
As described with reference to FIG. 4, the traveling direction visual field Vp is schematically defined by the height h of the road
ここで、移動中の車両１が右もしくは左にカーブした際には、路面撮像用カメラ６Ｌおよび６Ｒのうち外側にあるカメラの移動量が大きくなる。そのため、車両１の最高速度Ｓｐｅｅｄをそのまま使うのではなく、外側カメラの位置に基づく回転移動の速度を使うと、より好ましい。
Here, when the moving
撮像制御部５０４は、生成したトリガに応じて撮像されたステレオ撮像画像を、全て例えばストレージ５００４やＲＡＭ５００２に記憶し、蓄積する。
The imaging control unit 504 stores and accumulates all the stereo imaged images imaged according to the generated trigger in the
（第２の生成方法）
次に、トリガの第２の生成方法について説明する。上述した第１の方法は、シンプルである一方、車両１が停止している状態や、所定の速度よりも低速で移動している状態では、最高速度Ｓｐｅｅｄに対して過剰に細かい間隔で撮像することになり、蓄積されるステレオ撮像画像の量が大きくなってしまう。第２の生成方法では、撮像制御部５０４は、カメラの移動速度を検出し、検出された移動速度に応じてトリガを生成する。
(Second generation method)
Next, a second trigger generation method will be described. While the above-described first method is simple, when the
撮像制御部５０４は、速度取得部５０２１により取得された速度情報が示す現在の車両１の速度を、式（４）の最高速度Ｓｐｅｅｄとして用いて、次のトリガまでの時間間隔を算出し、撮像を行う。第２の生成方法によれば、車両１の移動速度が小さいほど、トリガ生成の時間間隔が長くなり、無駄な撮像が行われることが抑制される。
The imaging control unit 504 uses the current speed of the
撮像制御部５０４は、生成したトリガに応じて撮像されたステレオ撮像画像を、全て例えばストレージ５００４やＲＡＭ５００２に記憶し、蓄積する。
The imaging control unit 504 stores and accumulates all the stereo imaged images imaged according to the generated trigger in the
なお、この第２の生成方法と、上述した第１の生成方法は、組み合わせて実施することが可能である。 Note that this second generation method and the above-described first generation method can be implemented in combination.
（第３の生成方法）
次に、トリガの第３の生成方法について説明する。第３の生成方法では、上述した第１の生成方法と同様に、車両１の最高速度Ｓｐｅｅｄに基づいた一定時間間隔でトリガを生成する。ここで、第３の生成方法においては、トリガに応じて撮像されたステレオ撮像画像を、全て蓄積するのではなく、進行方向重複率Ｄｒが予め設定された値を下回った場合にのみ蓄積する。
(Third generation method)
Next, a third trigger generation method will be described. In the third generation method, as in the first generation method described above, triggers are generated at regular time intervals based on the maximum speed Speed of the
後述するが、車両１の進行方向に重複するように撮像されたステレオ撮像画像のみを用いて、カメラ（車両１）の移動距離を算出することが可能である。
As will be described later, it is possible to calculate the moving distance of the camera (vehicle 1) using only the stereo captured images captured so as to overlap with the traveling direction of the
撮像制御部５０４は、最後に蓄積されたステレオ撮像画像と、直前に撮像されたステレオ撮像画像とを用いてカメラの移動距離を算出する。撮像制御部５０４は、算出した距離が、進行方向重複率Ｄｒの下限値に対応した移動距離を超えたか否かを判定する。撮像制御部５０４は、超えたと判定した場合には、直前に撮像されたステレオ撮像画像を蓄積する。一方、撮像制御部５０４は、超えていないと判定した場合は、直前に撮像したステレオ撮像画像を破棄する。 The imaging control unit 504 calculates the moving distance of the camera using the last accumulated stereo image and the immediately preceding stereo image. The imaging control unit 504 determines whether or not the calculated distance exceeds the moving distance corresponding to the lower limit of the traveling direction overlapping rate Dr. If the imaging control unit 504 determines that the threshold has been exceeded, the imaging control unit 504 accumulates the previously captured stereo image. On the other hand, if the image capturing control unit 504 determines that it does not exceed the threshold, it discards the stereo captured image captured immediately before.
これにより、車両１の現在速度を計測するためのセンサを用いずとも、移動速度が小さいときには無駄な画像蓄積が行われないことになる。
As a result, even without using a sensor for measuring the current speed of the
［第１の実施形態に適用可能な路面性状値の算出方法］
次に、第１の実施形態に適用可能な路面性状値の算出方法について説明する。以下では、第１の実施形態に適用可能な平坦性σ、わだち掘れ量Ｄおよびひび割れ率Ｃの計測方法について説明する。
[Method for Calculating Road Condition Value Applicable to First Embodiment]
Next, a method of calculating road surface property values applicable to the first embodiment will be described. A method of measuring the flatness σ, the amount of rutting D, and the crack ratio C applicable to the first embodiment will be described below.
（平坦性）
図１３は、第１の実施形態に適用可能な平坦性の算出処理を示す一例のフローチャートである。ステップＳ１００で、撮像画像取得部５００により、路面撮像用カメラ６Ｌおよび６Ｒにより撮像され、例えばストレージ５００４に記憶されたステレオ撮像画像が取得される。ステレオ撮像画像が取得されると、処理は、並列して処理が可能なステップＳ１０１ａおよびステップＳ１０１ｂに移行する。
(flatness)
FIG. 13 is a flowchart of an example of flatness calculation processing applicable to the first embodiment. In step S100, the captured image acquisition unit 500 acquires stereo captured images captured by the road
ステップＳ１０１ａでは、ステップＳ１００で取得されたステレオ撮像画像に基づきデプスマップが生成される。図１４および図１５を用いて、第１の実施形態に適用可能なデプスマップの生成処理について説明する。図１４は、第１の実施形態に適用可能なデプスマップの生成処理を示す一例のフローチャートである。 In step S101a, a depth map is generated based on the stereo captured image acquired in step S100. Depth map generation processing applicable to the first embodiment will be described with reference to FIGS. 14 and 15 . FIG. 14 is an exemplary flowchart illustrating depth map generation processing applicable to the first embodiment.
ステップＳ１２０で、マッチング処理部５１０は、撮像画像取得部５００からステレオ撮像画像を取得する。次のステップＳ１２１で、マッチング処理部５１０は、取得したステレオ撮像画像を構成する２枚の撮像画像に基づきマッチング処理を行う。次のステップＳ１２２で、３Ｄ情報生成部５１１は、ステップＳ１２１のマッチング処理結果に基づき深度情報を計算し、３次元点群情報であるデプスマップを生成する。
In step S<b>120 , the matching processing unit 510 acquires stereo captured images from the captured image acquisition unit 500 . In the next step S121, the matching processing unit 510 performs matching processing based on the two captured images forming the acquired stereo captured image. In the next step S122, the 3D
ステップＳ１２１およびステップＳ１２２の処理について、より具体的に説明する。第１の実施形態では、ステレオ撮像画像を構成する２枚の撮像画像を用いて、ステレオ法により深度情報を計算する。ここでいうステレオ法は、２つのカメラにより異なる視点から撮像された２枚の撮像画像を用い、一方の撮像画像のある画素（参照画素）に対して、他方の撮像画像内における対応する画素（対応画素）を求め、参照画素と対応画素とに基づき三角法により深度（奥行き値）を算出する方法である。 The processing of steps S121 and S122 will be described more specifically. In the first embodiment, depth information is calculated by a stereo method using two captured images that constitute a stereo captured image. The stereo method here uses two captured images captured from different viewpoints by two cameras, and for a certain pixel (reference pixel) in one captured image, a corresponding pixel (reference pixel) in the other captured image ( In this method, the corresponding pixel) is obtained, and the depth (depth value) is calculated by triangulation based on the reference pixel and the corresponding pixel.
ステップＳ１２１で、マッチング処理部５１０は、撮像画像取得部５００から取得した、ステレオ撮像画像を構成する２枚の撮像画像を用い、基準となる一方の撮像画像における参照画素を中心とする所定サイズの領域に対応する、探索対象となる他方の撮像画像内の領域を、当該他方の撮像画像内で移動させて、探索を行う。 In step S121, the matching processing unit 510 uses the two captured images constituting the stereo captured image, which are acquired from the captured image acquisition unit 500, and a predetermined size centering on the reference pixel in one captured image serving as a reference. A search is performed by moving a region corresponding to the region in the other captured image to be searched within the other captured image.
対応画素の探索は、様々な方法が知られており、例えば、ブロックマッチング法を適用することができる。ブロックマッチング法は、一方の撮像画像において参照画素を中心としてＭ画素×Ｎ画素のブロックとして切り出される領域の画素値を取得する。また、他方の撮像画像において、対象画素を中心としてＭ画素×Ｎ画素のブロックとして切り出される領域の画素値を取得する。画素値に基づき、参照画素を含む領域と、対象画素を含む領域との類似度を計算する。探索対象の画像内でＭ画素×Ｎ画素のブロックを移動させながら類似度を比較し、最も類似度が高くなる位置のブロックにおける対象画素を、参照画素に対応する対応画素とする。 Various methods are known for searching for corresponding pixels, and for example, a block matching method can be applied. The block matching method acquires pixel values of a region cut out as a block of M pixels×N pixels centering on a reference pixel in one captured image. Also, in the other captured image, a pixel value of a region cut out as a block of M pixels×N pixels centering on the target pixel is acquired. Based on the pixel values, the degree of similarity between the area containing the reference pixel and the area containing the target pixel is calculated. The similarity is compared while moving blocks of M pixels×N pixels in the search target image, and the target pixel in the block at the position where the similarity is highest is taken as the corresponding pixel corresponding to the reference pixel.
類似度は、様々な計算方法により算出できる。例えば、式（５）に示される、正規化相互相関（ＮＣＣ：Normalized Cross-Correlation）は、コスト関数の１つであって、コストを示す数値ＣNCCの値が大きいほど、類似度が高いことを示す。式（５）において、値ＭおよびＮは、探索を行うための画素ブロックのサイズを表す。また、値Ｉ(ｉ，ｊ)は、基準となる一方の撮像画像における画素ブロック内の画素の画素値を表し、値Ｔ(ｉ，ｊ)は、探索対象となる他方の撮像画像における画素ブロック内の画素値を表す。 Similarity can be calculated by various calculation methods. For example, the normalized cross-correlation (NCC) shown in Equation (5) is one of the cost functions, and the higher the value of the numerical value C NCC indicating the cost, the higher the similarity. indicates In equation (5), the values M and N represent the size of the pixel block to search. Also, the value I(i, j) represents the pixel value of a pixel in a pixel block in one of the reference captured images, and the value T(i, j) represents the pixel block in the other captured image to be searched. represents the pixel value in
マッチング処理部５１０は、上述したように、一方の撮像画像における、Ｍ画素×Ｎ画素の画素ブロックに対応する、他方の撮像画像における画素ブロックを、他方の撮像画像内で例えば画素単位で移動ながら式（５）の計算を実行し、数値ＣNCCを算出する。他方の撮像画像において、数値ＣNCCが最大となる画素ブロックの中心画素を、参照画素に対応する対象画素とする。 As described above, the matching processing unit 510 moves the pixel block in the other captured image corresponding to the pixel block of M pixels×N pixels in the other captured image, for example, in units of pixels. Calculate the numerical value C NCC by performing the calculation of equation (5). In the other captured image, the center pixel of the pixel block with the largest numerical value C NCC is set as the target pixel corresponding to the reference pixel.
図１４の説明に戻り、ステップＳ１２２で、３Ｄ情報生成部５１１は、ステップＳ１２１のマッチング処理により求められた、参照画素および対応画素とに基づき、三角法を用いて奥行き値（深度情報）を算出し、ステレオ撮像画像を構成する一方の撮像画像および他方の撮像画像に係る３次元点群情報を生成する。
Returning to the description of FIG. 14, in step S122, the 3D
図１５は、第１の実施形態に適用可能な三角法を説明するための図である。図中のターゲット物体４０３（例えば路面４上の１点）までの距離Ｓを、各撮像素子４０２（撮像素子６０１Lおよび６０１Rに対応）に撮像された画像内の撮像位置情報から算出することが処理の目的である。すなわち、この距離Ｓが、対象となる画素の深度情報に対応する。距離Ｓは、下記の式（６）により計算される。 FIG. 15 is a diagram for explaining trigonometry applicable to the first embodiment. Calculating the distance S to the target object 403 (for example, one point on the road surface 4) in the figure from the imaging position information in the image captured by each imaging element 402 (corresponding to the imaging elements 601 L and 601 R ). is the purpose of processing. That is, this distance S corresponds to the depth information of the target pixel. The distance S is calculated by Equation (6) below.
なお、式（６）において、値ｂａｓｅｌｉｎｅは、カメラ４００ａおよび４００ｂ間の基線の長さ（基線長）を表す。これは、図５の例では、撮像レンズ６ＬLおよび６ＬR（路面撮像用カメラ６Ｌの場合）による基線長に対応する。値ｆは、レンズ４０１（撮像レンズ６ＬLおよび６ＬRに対応）の焦点距離を表す。値ｑは、視差を表す。視差ｑは、参照画素と対応画素の座標値の差分に、撮像素子の画素ピッチを乗じた値である。対応画素の座標値は、ステップＳ１２１のマッチング処理の結果に基づき得られる。
In equation (6), the value baseline represents the length of the baseline (baseline length) between the
この式（６）が、２つのカメラ４００ａおよび４００ｂ、すなわち、撮像レンズ６ＬLおよび６ＬRを利用した場合の距離Ｓの算出方法となる。これは２つのカメラ４００ａおよび４００ｂ、すなわち、撮像レンズ６ＬLおよび６ＬRによりそれぞれ撮像された撮像画像から距離Ｓを算出するものである。第１の実施形態では、この式（６）による算出方法を、路面撮像用カメラ６Ｌの撮像レンズ６ＬLおよび６ＬR、ならびに、路面撮像用カメラ６Ｒの撮像レンズ６ＲLおよび６ＲRにより撮像された各撮像画像に適用して、画素毎に距離Ｓを算出する。
This formula (6) is a method of calculating the distance S when the two
図１３の説明に戻り、ステップＳ１０１ｂで、３Ｄ情報生成部５１１は、カメラ位置および向きを推定する。ここで、カメラ位置は、例えば路面撮像用カメラ６Ｌを一体と捉えた場合のその中心座標を示す。ステップＳ１０１ｂの処理の詳細については、後述する。
Returning to the description of FIG. 13, in step S101b, the 3D
ステップＳ１０１ａおよびステップＳ１０１ｂの処理が終了すると、処理がステップＳ１０２に移行される。ステップＳ１０２で、３Ｄ情報生成部５１１は、時系列上で隣接する２つのデプスマップについて、ステップＳ１０１ｂで推定したカメラ位置および向きに基づき、前時刻のデプスマップの座標系に合うように、当該前時刻の次の次時刻のデプスマップの座標変換を行う。
When the processing of steps S101a and S101b ends, the processing moves to step S102. In step S102, the 3D
なお、前時刻および次時刻は、路面撮像用カメラ６Ｌおよび６Ｒにおいてトリガに応じて時系列上で連続的に実行された１回目の撮像と、２回目の撮像とにおいて、１回目の撮像が行われた時刻を前時刻、２回目の撮像が行われた時刻を次時刻としている。すなわち、前時刻のデプスマップは、１回目の撮像によるステレオ撮像画像に基づき生成されたデプスマップであり、次時刻のデプスマップは、２回目の撮像によるステレオ撮像画像に基づき生成されたデプスマップである。
Note that the previous time and the next time are the first time and the second time that the road
次のステップＳ１０３で、３Ｄ情報生成部５１１は、ステップＳ１０２で座標変換された次時刻のデプスマップを、前時刻のデプスマップに統合する。すなわち、ステップＳ１０２の座標変換により、前時刻および次時刻の２つのデプスマップが共通の座標系に並ぶため、これら２つのデプスマップを統合することができる。この、ステップＳ１０２およびステップＳ１０３の処理を、全ての時刻で撮像されたステレオ撮像画像に対して実施する。
In the next step S103, the 3D
なお、図５や図７に示すように、路面撮像用カメラ６Ｌおよび６Ｒ、あるいは、路面撮像用カメラ６Ｌ、６Ｃおよび６Ｒを道路幅方向に複数台並べて用いる場合、道路幅方向に並んだ路面撮像用カメラ同士（例えば路面撮像用カメラ６Ｌおよび６Ｒ）においても、同様にしてカメラ位置および向きを推定し、その後、デプスマップ統合を行う。
As shown in FIGS. 5 and 7, when a plurality of road
また、上述した第３の生成方法における、カメラ（車両１）の移動距離は、ステップＳ１０２の座標変換、および、ステップＳ１０３のデプスマップ統合処理において、算出が可能である。 Further, the moving distance of the camera (vehicle 1) in the above-described third generation method can be calculated in the coordinate conversion in step S102 and the depth map integration processing in step S103.
次のステップＳ１０４で、３Ｄ情報取得部５２０は、３Ｄ情報生成部５１１から、ステップＳ１０３で統合されたデプスマップを取得する。そして、状態特性値算出部５２１は、３Ｄ情報取得部５２０に取得されたデプスマップに基づき、平坦性σを算出する。すなわち、デプスマップが統合されると、計測した区間の道路について路面形状が、１つの３次元空間中の点群として復元される。点群が復元されると、路面上の各サンプリング地点について、規定に従い前後１．５ｍ地点の座標を結んだ座標系を取り、中心部分の３次元点群までの距離を算出することで、式（２）と同様に変位量ｄを算出でき、式（３）に従い、この変位量ｄから平坦性σを算出できる。
In the next step S104, the 3D information acquisition unit 520 acquires the depth map integrated in step S103 from the 3D
（わだち掘れ量）
わだち掘れ量Ｄについては、ステップＳ１０４で、状態特性値算出部５２１は、３Ｄ情報取得部５２０に取得されたデプスマップを道路幅方向にスキャンすることで、図１（ａ）および図１（ｂ）に示されるような深さＤ1およびＤ2を取得することができる。これら取得した深さＤ1およびＤ2と、デプスマップをスキャンした断面の情報に基づき、わだち掘れ量Ｄを求めることができる。
(rutting amount)
Regarding the rutting amount D, in step S104, the state characteristic
（ひび割れ率）
状態特性値算出部５２１は、例えば、ステップＳ１０３において統合されたデプスマップに対し、ステップＳ１００で取得されたステレオ撮像画像を適用する。すなわち、状態特性値算出部５２１は、車両１の進行方向に、進行方向重複率Ｄｒで以て重複して撮像された各ステレオ撮像画像を統合する。状態特性値算出部５２１は、統合した画像に対して規定に従い５０ｃｍのメッシュを設定し、画像解析により各メッシュ内のひび、パッチングなどの情報を取得し、取得した情報に基づき規定に従いひび割れ率Ｃを算出する。
(crack rate)
For example, the state characteristic
（カメラ位置および向きの推定処理）
次に、上述した図１３のフローチャートにおけるステップＳ１０１ｂの、カメラ位置および向きの推定処理について、より詳細に説明する。図１６は、第１の実施形態に適用可能な、カメラ位置および向きの推定処理を示す一例のフローチャートである。第１の実施形態では、カメラ位置および向きを、上述したＳｆＭを用いて推定する。
(Processing for estimating camera position and orientation)
Next, the estimation processing of the camera position and direction in step S101b in the flowchart of FIG. 13 described above will be described in more detail. FIG. 16 is a flowchart of an example of camera position and orientation estimation processing applicable to the first embodiment. In a first embodiment, the camera position and orientation are estimated using the SfM described above.
ステップＳ１３０で、３Ｄ情報生成部５１１は、撮像画像取得部５００からステレオ撮像画像を取得する。ここで、３Ｄ情報生成部５１１は、時系列上で連続的に撮像された２枚のステレオ撮像画像（前時刻のステレオ撮像画像、次時刻のステレオ撮像画像、とする）を取得する。次に、ステップＳ１３１で、３Ｄ情報生成部５１１は、取得した各ステレオ撮像画像から特徴点を抽出する。この特徴点抽出処理は、各ステレオ撮像画像の対応点として検出しやすい点を見つける処理であって、典型的には、画像中の変化があり、かつ変化が一様でないコーナーと呼ばれる点を検出する。
In step S<b>130 , the 3D
次のステップＳ１３２で、３Ｄ情報生成部５１１は、前時刻のステレオ撮像画像内で特徴点として抽出された点と同じ場所を撮像した点を、次時刻のステレオ撮像画像内から検出する。この検出処理は、オプティカルフローと呼ばれる手法や、ＳＩＦＴ(Scale-Invariant Feature Transform)、ＳＵＲＦ(Speed-Upped Robust Feature)などに代表される特徴点マッチングと呼ばれる手法を適用することができる。
In the next step S132, the 3D
次のステップＳ１３３で、３Ｄ情報生成部５１１は、カメラの初期位置および向きを推定する。３Ｄ情報生成部５１１は、ステップＳ１３２において各ステレオ撮像画像で検出された対応点の座標を固定値とし、次時刻のステレオ撮像画像を撮像したカメラの位置および向きをパラメータとして連立方程式を解くことで、カメラの位置を推定し、３次元座標を算出する（ステップＳ１３４）。
At the next step S133, the 3D
図１７を参照しながら、カメラの初期位置および向きの推定方法について説明する。式（７）は、空間の点Ｘjを、カメラ（視点）Ｐiに投影した座標ｘijの関係を表している。なお、式（７）において、値ｎが３次元空間における点の数、値ｍは、カメラ（撮像画像）の数をそれぞれ表す。 A method for estimating the initial position and orientation of the camera will be described with reference to FIG. Equation (7) expresses the relationship between the coordinates x ij of the spatial point X j projected onto the camera (viewpoint) P i . In equation (7), the value n represents the number of points in the three-dimensional space, and the value m represents the number of cameras (captured images).
各値Ｐは、それぞれのカメラについて、３次元空間の点の座標をその画像の２次元座標に変換する投影行列であって、次式（８）で表される。式（８）は、右辺に示す３次元座標の２行２列の変換行列と、３次元座標から２次元座標への射影変換ｆiから成る。 Each value P is a projection matrix that transforms the coordinates of a point in the three-dimensional space into the two-dimensional coordinates of the image for each camera, and is expressed by the following equation (8). Equation (8) consists of a transformation matrix of 2 rows and 2 columns of three-dimensional coordinates shown on the right side, and a projective transformation f i from the three-dimensional coordinates to the two-dimensional coordinates.
図１７において、カメラに映った座標ｘijのみが与えられた連立方程式を用いて、値Ｘjと値Ｐiとを算出する。この連立方程式の解法には、線形最小二乗法を用いることができる。 In FIG. 17, the values X j and P i are calculated using simultaneous equations given only the coordinates x ij captured by the camera. A linear least-squares method can be used to solve this simultaneous equation.
次のステップＳ１３５で、３Ｄ情報生成部５１１は、ステップＳ１３４で算出されたカメラ位置を示す３次元座標を最適化する。連立方程式を解いて算出されたカメラの位置および向きは、十分な精度を有していない場合がある。そのため、算出された値を初期値として最適化処理を行うことで、精度を向上させる。
At the next step S135, the 3D
画像上探索により取得された対応点座標と、ステップＳ１３４で算出された３次元座標および式（８）の投影行列をパラメータとして上述した式（７）により算出される２次元座標ｘij（再投影座標と呼ばれる）と、の差は、残差と呼ばれる。カメラの位置および向きを算出するために用いた全てのステレオ撮像画像中の、全ての対応点について、この残差の総和が最小になるように、パラメータを最適化演算によって調整する。これを、バンドル調整と呼ぶ。バンドル調整による全体最適化を行うことで、カメラの位置および向きの精度を向上させることができる。 The two-dimensional coordinates x ij (reprojection (called coordinates) and the difference is called the residual. For all corresponding points in all stereoscopic images used to calculate the position and orientation of the camera, the parameters are adjusted by an optimization operation so that the sum of residual errors is minimized. This is called bundle adjustment. Global optimization by bundle adjustment can improve the accuracy of camera position and orientation.
以上が、通常のＳｆＭにおけるカメラ位置および向き推定のベース処理である。第１の実施形態では、基線長が既知の路面撮像用カメラ６Ｌおよび６Ｒを使用しているため、車両１の移動に応じて撮像範囲を重複させて撮像されたステレオ撮像画像における対応点の検出に加えて、ステレオ撮像画像を構成する２枚の撮像画像における対応点の探索が容易である。したがって、空間での３次元座標Ｘjが実スケール（現実の大きさ）で確定し、移動後のカメラの位置および向きも安定的に算出できる。
The above is the base processing of camera position and orientation estimation in normal SfM. In the first embodiment, since the road
なお、上述したように、第１の実施形態に適用可能な撮像システム１０では、情報処理装置５０においてトリガを生成し、生成したトリガを各路面撮像用カメラ６Ｌおよび６Ｒに全てのカメラに分配することで、各路面撮像用カメラ６Ｌおよび６Ｒが同期して撮像を行う構成となっている。このとき、各路面撮像用カメラ６Ｌおよび６Ｒが有するクロック生成器や、情報処理装置５０においてトリガを分配するためのトリガ分配部品、情報処理装置５０や各路面撮像用カメラ６Ｌおよび６Ｒにおけるトリガ配線長の差異などの影響により、実際に各路面撮像用カメラ６Ｌおよび６Ｒがトリガを取り込んで撮像を実行するタイミングに僅かなズレが発生する可能性がある。この撮像タイミングのズレは、可能な限り抑制することが好ましい。
As described above, in the
特に基線長が既知である路面撮像用カメラ６Ｌおよび６Ｒの間では、撮像タイミングのズレを極力抑えることが望ましい。例えば、カメラＩ／Ｆ５０１０ａから各路面撮像用カメラ６Ｌおよび６Ｒにトリガ供給の配線を行う際に、トリガの品質確保のための中継器や、静電ノイズなどから保護するためにフォトカプラを経由する場合がある。この場合に、路面撮像用カメラ６Ｌおよび６Ｒ間でこれら中継器やフォトカプラを共有することが望ましい。
Especially between the road
［第１の実施形態に係る撮像条件の決定処理］
次に、第１の実施形態に係る撮像条件の決定処理について、より詳細に説明する。第１の実施形態は、路面撮像用カメラ６Ｌおよび６Ｒにて撮像するステレオ撮像範囲が大きな輝度変化を含む場合であっても、路面撮像用カメラ６Ｌおよび６Ｒによる、適切な撮像条件での撮像を可能とするものである。
[Processing for Determining Imaging Conditions According to First Embodiment]
Next, the imaging condition determination process according to the first embodiment will be described in more detail. In the first embodiment, even when the stereo imaging range captured by the road
図１８は、路面４において大きな輝度変化がある箇所の例を示す図である。なお、図１８（ａ）および図１８（ｂ）は、図の下方から上方に向けて走行しながら撮像をした画像の例を示している。
FIG. 18 is a diagram showing an example of a location on the
図１８（ａ）は、日向から日陰に入る箇所の例である。画像の下半分が日向領域４１、上半分が日陰領域４０となっており、日陰領域４０は、日向領域４１と比較して路面輝度が低くなっている。図１８（ｂ）は、路面４が途中から新しく舗装し直された箇所の例である。画像の上部分が修繕をされて間もない箇所で新しく舗装し直された新規舗装領域４２である。新規舗装領域４２は、路面４の他の領域４３と比べ反射率が低くなっており、路面輝度が低くなっている。
FIG. 18(a) is an example of a portion that enters the shade from the sun. The lower half of the image is a
図１８（ａ）および図１８（ｂ）の何れも、明るい箇所（日向領域４１、他の領域４３）での露出設定のまま暗い箇所（日陰領域４０、新規舗装領域４２）を撮像すると、暗い箇所において十分なコントラストの画像が得られない。また、自動露出で撮像する場合であっても、車両１で走行しながら撮像を実行すると、自動露出の追従におけるタイムラグからコントラストの十分でない画像が撮像されてしまうおそれがある。
In both FIGS. 18A and 18B, when a dark place (the shaded
そこで、第１の実施形態では、進行方向用カメラ７により、路面撮像用カメラ６Ｌおよび６Ｒによる撮像に先んじて、路面撮像用カメラ６Ｌおよび６Ｒにより撮像されるステレオ撮像範囲を撮像し、撮像により得られた進行方向撮像画像に基づき、路面撮像用カメラ６Ｌおよび６Ｒによる撮像条件を決定する。
Therefore, in the first embodiment, the traveling
図１９および図２０は、第１の実施形態に係る撮像条件決定処理を示す一例のフローチャートである。ここで、進行方向用カメラ７と、路面撮像用カメラ６Ｌおよび６Ｒは、情報処理装置５０から供給されるトリガにより、撮像の同期が取られている。図１９および図２０のフローチャートにおいては、進行方向用カメラ７により１フレームの撮像を行った際に、当該撮像により得られた進行方向撮像画像に基づき路面撮像用カメラ６Ｌおよび６Ｒの撮像条件を決定する。
19 and 20 are flowcharts of an example of imaging condition determination processing according to the first embodiment. Here, the traveling
先ず、図１９のフローチャートによる処理について説明する。図１９のフローチャートは、第１の実施形態に係る、進行方向用カメラ７に関する処理を示している。ステップＳ２００で、情報処理装置５０は、撮像制御部５０４により、位置情報取得部５１から現在位置を示す位置情報を取得する。次のステップＳ２０１で、撮像画像取得部５００ｂは、進行方向用カメラ７で撮像された進行方向撮像画像を取得する。取得された進行方向撮像画像は、撮像画像記憶部５０３により情報処理装置５０のメモリ（例えばＲＡＭ５００２）に記憶される。
First, the processing according to the flowchart of FIG. 19 will be described. The flowchart of FIG. 19 shows processing related to the traveling
次のステップＳ２０２で、情報処理装置５０は、撮像制御部５０４により、ステップＳ２０１で記憶した進行方向撮像画像を解析し、撮像条件の変更が必要か否かを判定する。撮像制御部５０４は、進行方向用カメラ７の露出設定と、進行方向撮像画像の注目領域における画像輝度とから進行方向用カメラ７の撮像範囲（撮像道路面）の輝度を算出し、算出された輝度に応じて、撮像条件の変更が必要か否か、必要な場合、どのような設定にするかを決定する。ここで、撮像条件は、例えば露出設定である。
In the next step S202, the
例えば、撮像制御部５０４は、道路面輝度の変化が閾値を超えた場合に、変化量に応じて、輝度が明るくなる方向に変化した場合は撮像される画像が暗くなるように、輝度が暗くなる方向に変化した場合は、撮像される画像が明るくなるように、露出パラメータを決定する。露出パラメータとは、露光時間、ゲインのうち少なくとも一方である。 For example, when the change in road surface brightness exceeds a threshold value, the image capturing control unit 504 reduces the brightness so that the captured image becomes darker when the brightness changes in the brighter direction according to the amount of change. The exposure parameter is determined so that the captured image becomes brighter when the direction changes. The exposure parameter is at least one of exposure time and gain.
ステップＳ２０３で、撮像制御部５０４は、ステップＳ２０２の判定処理により撮像条件の変更が必要であると判定した場合（ステップＳ２０３、「有り」）、処理をステップＳ２０４に移行させる。ステップＳ２０４で、撮像制御部５０４は、変更した撮像条件と、撮像条件の変更を行うための位置を示す変更位置情報とを関連付けて、例えばＲＡＭ５００２に記憶する。これは、進行方向用カメラ７と、路面撮像用カメラ６Ｌおよび６Ｒと、では撮像方向が異なるため、進行方向用カメラ７で撮像した箇所を道路面撮像カメラで撮像するまでのタイムラグがあり、適切なタイミングで露出の変更をする必要があるためである。
In step S203, when the imaging control unit 504 determines that the imaging conditions need to be changed by the determination processing in step S202 (step S203, "yes"), the process proceeds to step S204. In step S204, the imaging control unit 504 associates the changed imaging conditions with change position information indicating the position for changing the imaging conditions, and stores them in the
なお、変更位置情報は、例えば、ステップＳ２００で取得された位置情報に、既知の、進行方向用カメラ７により撮像される撮像範囲の、位置情報取得部５０２１（情報処理装置５０またはＧＮＳＳ受信機）からの距離を加算した値を適用できる。
Note that the changed position information is, for example, the position information acquisition unit 5021 (
ステップＳ２０４における設定情報と変更位置情報との記憶が完了すると、図１９のフローチャートによる一連の処理が終了される。また、上述したステップＳ２０３で、露出設定の変更の必要が無いと判定された場合（ステップＳ２０３、「無し」）、図１９のフローチャートによる一連の処理が終了される。 When the storage of the setting information and the changed position information in step S204 is completed, the series of processing according to the flowchart of FIG. 19 is terminated. If it is determined in step S203 described above that there is no need to change the exposure setting (step S203, "No"), the series of processes according to the flowchart of FIG. 19 is terminated.
上述したステップＳ２００～ステップＳ２０４の処理は、所定の時間間隔で繰り返し実行される。 The processes of steps S200 to S204 described above are repeatedly executed at predetermined time intervals.
図２０は、第１の実施形態に係る、路面撮像用カメラ６Ｌおよび６Ｒに関する処理を示す一例のフローチャートである。なお、情報処理装置５０は、位置情報取得部５０２２により、所定の時間間隔で高頻度に位置情報を取得している。情報処理装置５０において、撮像制御部５０４は、ステップＳ３００で、位置情報取得部５０２２により取得された現在位置を示す位置情報に基づき、現在位置が、図１９のステップＳ２０４で記憶された変更位置情報が示す位置であるか否かを判定する。
FIG. 20 is a flow chart showing an example of processing related to the road
撮像制御部５０４は、現在位置が変更位置情報が示す位置であると判定した場合（ステップＳ３００、「Ｙｅｓ」）、処理をステップＳ３０１に移行させる。ステップＳ３０１で、撮像制御部５０４は、路面撮像用カメラ６Ｌおよび６Ｒに対して、図１９のステップＳ２０４において当該変更位置情報と関連付けられて記憶される設定情報を設定し、路面撮像用カメラ６Ｌおよび６Ｒの撮像条件を変更する。 When the imaging control unit 504 determines that the current position is the position indicated by the changed position information (step S300, "Yes"), the process proceeds to step S301. In step S301, the imaging control unit 504 sets the setting information stored in association with the changed position information in step S204 of FIG. Change the 6R imaging conditions.
次のステップＳ３０２で、撮像制御部５０４は、撮像を指示するためのトリガを生成して、路面撮像用カメラ６Ｌおよび６Ｒに送り、当該トリガに従い路面撮像用カメラ６Ｌおよび６Ｒにより撮像された各ステレオ撮像画像を取得する。撮像制御部５０４は、取得した各ステレオ撮像画像を、例えばＲＡＭ５００２に記憶し、ストレージ５００４に格納する。
In the next step S302, the imaging control unit 504 generates a trigger for instructing imaging, sends it to the road
一方、撮像制御部５０４は、ステップＳ３００で、現在位置が変更位置情報が示す位置ではないと判定した場合、処理をステップＳ３０２に移行させ、撮像を指示するためのトリガを生成して、路面撮像用カメラ６Ｌおよび６Ｒに送り、当該トリガに従い路面撮像用カメラ６Ｌおよび６Ｒにより撮像された各ステレオ撮像画像を取得する。
On the other hand, if the imaging control unit 504 determines in step S300 that the current position is not the position indicated by the changed position information, the process proceeds to step S302, generates a trigger for instructing imaging, and performs road surface imaging. Then, according to the trigger, each stereo captured image captured by the road
第１の実施形態に係る撮像システム１０は、これら図１９および図２０のフローチャートによる各処理を車両１の移動中に繰り返し実施し、路面４のステレオ撮像画像を取得する。
The
第１の実施形態によれば、進行方向用カメラ７により、路面撮像用カメラ６Ｌおよび６Ｒによるステレオ撮像範囲の輝度情報を、路面撮像用カメラ６Ｌおよび６Ｒの撮像に先立って取得し、撮像条件を決定している。そのため、路面撮像用カメラ６Ｌおよび６Ｒによるステレオ撮像範囲の撮像を、適切な撮像条件にて実行できる。これにより、ひび割れ率Ｃ、わだち掘れ量Ｄおよび平坦性σを、路面撮像用カメラ６Ｌおよび６Ｒにより撮像されたステレオ撮像画像に基づき、より高精度に算出でき、これらを用いたＭＣＩによる評価の信頼性を高めることが可能である。
According to the first embodiment, the traveling
［第１の実施形態の第１の変形例］
次に、第１の実施形態の第１の変形例について説明する。第１の実施形態の第１の変形例は、撮像システム１０が備える、ＭＣＩ算出のために路面４を撮像するための複数の路面撮像用カメラ（例えば路面撮像用カメラ６Ｌおよび６Ｒ）毎に、撮像条件を設定するようにしている。
[First Modification of First Embodiment]
Next, the 1st modification of 1st Embodiment is demonstrated. In a first modification of the first embodiment, for each of a plurality of road surface imaging cameras (for example, road
図２１～図２４を用いて、第１の実施形態の第１の変形例に係る撮像条件決定処理について説明する。上述と同様に、進行方向用カメラ７と、路面撮像用カメラカメラ６Ｌおよび６Ｒは、情報処理装置５０から供給されるトリガにより、撮像の同期が取られている。第１の実施形態の第１の変形例では、進行方向用カメラ７により１フレームの撮像を行った際に、当該撮像により得られた進行方向撮像画像に基づき路面撮像用カメラ６Ｌおよび６Ｒそれぞれの撮像条件を決定する。
The imaging condition determination process according to the first modification of the first embodiment will be described with reference to FIGS. 21 to 24. FIG. In the same manner as described above, the traveling
図２１は、第１の実施形態の第１の変形例に係る、進行方向用カメラ７に関する処理を示す一例のフローチャートである。ステップＳ２１０で、情報処理装置５０は、撮像制御部５０４により、位置情報取得部５１から現在位置を示す位置情報を取得する。次のステップＳ２１１で、撮像画像取得部５００ｂは、進行方向用カメラ７で撮像された進行方向撮像画像を取得する。取得された進行方向撮像画像は、撮像画像記憶部５０３により情報処理装置５０のメモリ（例えばＲＡＭ５００２）に記憶される。
FIG. 21 is a flowchart of an example of processing related to the traveling
次のステップＳ２１２で、情報処理装置５０は、撮像制御部５０４により、ステップＳ２１１で記憶した進行方向撮像画像を解析し、撮像条件の変更が必要か否かを判定する。撮像制御部５０４は、進行方向用カメラ７の露出設定と、進行方向撮像画像の注目領域における画像輝度とから進行方向用カメラ７の撮像範囲（撮像道路面）の輝度を算出し、算出された輝度に応じて、撮像条件の変更が必要か否か、必要な場合、どのような設定にするかを決定する。ここで、撮像条件は、例えば露出パラメータである。
In the next step S212, the
例えば、撮像制御部５０４は、道路面輝度の変化が閾値を超えた場合に、変化量に応じて、輝度が明るくなる方向に変化した場合は撮像される画像が暗くなるように、輝度が暗くなる方向に変化した場合は、撮像される画像が明るくなるように、露出パラメータを決定する。第１の実施形態の第１の変形例では、路面撮像用カメラ６Ｌおよび６Ｒそれぞれについて、個別に露出パラメータを決定する。
For example, when the change in road surface brightness exceeds a threshold value, the image capturing control unit 504 reduces the brightness so that the captured image becomes darker when the brightness changes in the brighter direction according to the amount of change. The exposure parameter is determined so that the captured image becomes brighter when the direction changes. In the first modification of the first embodiment, the exposure parameters are individually determined for each of the road
図２２は、第１の実施形態の第１の変形例に適用可能な、進行方向用カメラ７による撮像範囲と、路面撮像用カメラ６Ｌおよび６Ｒによるステレオ撮像範囲との関係を説明するための図である。
FIG. 22 is a diagram for explaining the relationship between the imaging range of the traveling
図２２に示されるように、路面撮像用カメラ６Ｌおよび６Ｒは、車両１の後方を、路面撮像用カメラ６Ｌおよび６Ｒそれぞれの撮像範囲６０Ｌおよび６０Ｒが互いに重複部分を持ち、且つ、車両１が走行中の路面４における車線の幅方向全てが当該撮像範囲６０Ｌおよび６０Ｒの何れかに入るように撮像を行う。例えば、路面撮像用カメラ６Ｌおよび６Ｒは、撮像範囲６０Ｌおよび６０Ｒの何れかに車線の両端を示す白線４４および４５が含まれるように、配置される。また、進行方向用カメラ７は、車両１の進行方向前方において、当該車線の幅方向全てが撮影範囲７０に入るように撮像を行う。
As shown in FIG. 22, the road
図２３は、第１の実施形態の第１の変形例に適用可能な、路面撮像用カメラ６Ｌおよび６Ｒ、ならびに、進行方向用カメラ７による撮像画像の例を示す図である。なお、図２３において、上述の図２３と共通する部分には同一の符号を付し、詳細な説明を省略する。図２３（ａ）は、上述した図２３と対応し、図２３（ｂ）は、進行方向用カメラ７が撮像範囲７０を撮像した進行方向撮像画像７１の例を示す。また、図２３（ｃ）は、路面撮像用カメラ６Ｌおよび６Ｒが撮像範囲６０Ｌおよび６０Ｒを撮像したステレオ撮像画像６１Ｌおよび６１Ｒの例を示す。
FIG. 23 is a diagram showing an example of an image captured by the road
進行方向用カメラ７の進行方向撮像画像に基づき路面撮像用カメラ６Ｌおよび６Ｒの撮像条件（露光パラメータ）を決定するに当たり、進行方向撮像画像７１に対して、輝度評価を行うための評価領域が、各ステレオ撮像画像６１Ｌおよび６１Ｒそれぞれに対応して決められる。図２３（ｂ）に示されるように、各ステレオ撮像画像６１Ｌおよび６１Ｒそれぞれに対応して輝度評価を行う評価領域７１０Ｌおよび７１０Ｒは、各路面撮像用カメラ６Ｌおよび６Ｒの撮像範囲６０Ｌおよび６０Ｒの中央付近に合わせて設定される。この評価領域７１０Ｌおよび７１０Ｒ内の輝度情報に応じて、各路面撮像用カメラ６Ｌおよび６Ｒの撮像条件（露出パラメータ）を個別に決定する。
In determining the imaging conditions (exposure parameters) of the road
ステップＳ２１３で、撮像制御部５０４は、ステップＳ２１２の判定処理により撮像条件の変更が必要であると判定した場合（ステップＳ２１３、「有り」）、処理をステップＳ２１４に移行させる。ステップＳ２０４で、撮像制御部５０４は、路面撮像用カメラ６Ｌおよび６Ｒ毎に、変更した撮像条件と、撮像条件の変更を行うための位置を示す変更位置情報とを関連付けて、例えばＲＡＭ５００２に記憶する。
In step S213, when the imaging control unit 504 determines that the imaging conditions need to be changed by the determination processing in step S212 (step S213, "yes"), the process proceeds to step S214. In step S204, the imaging control unit 504 associates the changed imaging conditions with changed position information indicating positions for changing the imaging conditions for each of the road
ステップＳ２１４における、路面撮像用カメラ６Ｌおよび６Ｒそれぞれに対する設定情報と変更位置情報との記憶が完了すると、図２１のフローチャートによる一連の処理が終了される。また、上述したステップＳ２１３で、露出設定の変更の必要が無いと判定された場合（ステップＳ２１３、「無し」）、図２１のフローチャートによる一連の処理が終了される。
When the storage of the setting information and the changed position information for each of the road
上述したステップＳ２１０～ステップＳ２１４の処理は、所定の時間間隔で繰り返し実行される。 The processes of steps S210 to S214 described above are repeatedly executed at predetermined time intervals.
図２４は、第１の実施形態の第１の変形例に係る、路面撮像用カメラ６Ｌおよび６Ｒに関する処理を示す一例のフローチャートである。情報処理装置５０において、撮像制御部５０４は、ステップＳ３１０で、位置情報取得部５０２２により取得された現在位置を示す位置情報に基づき、現在位置が、図２３のステップＳ２１４で記憶された変更位置情報が示す位置であるか否かを判定する。
FIG. 24 is a flow chart showing an example of processing related to the road
撮像制御部５０４は、現在位置が変更位置情報が示す位置であると判定した場合（ステップＳ３１０、「Ｙｅｓ」）、処理をステップＳ３１１に移行させる。ステップＳ３０１で、撮像制御部５０４は、路面撮像用カメラ６Ｌおよび６Ｒに対して、図１９のステップＳ２１４において、路面撮像用カメラ６Ｌおよび６Ｒ毎に当該変更位置情報と関連付けられて記憶される各設定情報を設定し、路面撮像用カメラ６Ｌおよび６Ｒそれぞれの撮像条件を変更する。
When the imaging control unit 504 determines that the current position is the position indicated by the changed position information (step S310, "Yes"), the process proceeds to step S311. In step S301, the imaging control unit 504 sets each setting stored in association with the changed position information for each of the road
次のステップＳ３１２で、撮像制御部５０４は、撮像を指示するためのトリガを生成して、路面撮像用カメラ６Ｌおよび６Ｒに送り、当該トリガに従い路面撮像用カメラ６Ｌおよび６Ｒにより撮像された各ステレオ撮像画像を取得する。撮像制御部５０４は、取得した各ステレオ撮像画像を、例えばＲＡＭ５００２に記憶し、ストレージ５００４に格納する。
In the next step S312, the imaging control unit 504 generates a trigger for instructing imaging, sends it to the road
一方、撮像制御部５０４は、ステップＳ３１０で、現在位置が変更位置情報が示す位置ではないと判定した場合、処理をステップＳ３１２に移行させ、撮像を指示するためのトリガを生成して、路面撮像用カメラ６Ｌおよび６Ｒに送り、当該トリガに従い路面撮像用カメラ６Ｌおよび６Ｒにより撮像された各ステレオ撮像画像を取得する。
On the other hand, if the imaging control unit 504 determines in step S310 that the current position is not the position indicated by the changed position information, the process proceeds to step S312, generates a trigger for instructing imaging, and performs road surface imaging. Then, according to the trigger, each stereo captured image captured by the road
第１の実施形態に係る撮像システム１０は、これら図２３および図２４のフローチャートによる各処理を車両１の移動中に繰り返し実施し、路面４のステレオ撮像画像を取得する。
The
第１の実施形態の第１の変形例によれば、進行方向用カメラ７により、路面撮像用カメラ６Ｌおよび６Ｒそれぞれのステレオ撮像範囲の輝度情報を、路面撮像用カメラ６Ｌおよび６Ｒの撮像に先立って取得し、路面撮像用カメラ６Ｌおよび６Ｒ個別に撮像条件を決定している。そのため、路面撮像用カメラ６Ｌおよび６Ｒそれぞれによるステレオ撮像範囲の撮像を、適切な撮像条件にて実行できる。これにより、ひび割れ率Ｃ、わだち掘れ量Ｄおよび平坦性σを、路面撮像用カメラ６Ｌおよび６Ｒにより撮像されたステレオ撮像画像に基づき、より高精度に算出でき、これらを用いたＭＣＩによる評価の信頼性をより高めることが可能である。
According to the first modification of the first embodiment, the traveling
［第１の実施形態の第２の変形例］
次に、第１の実施形態の第２の変形例について説明する。第１の実施形態の第２の変形例は、異物検出処理を含むものであって、上述した第１の実施形態の第１の変形例による処理を、より具体的としたものである。
[Second Modification of First Embodiment]
Next, a second modification of the first embodiment will be described. The second modification of the first embodiment includes foreign matter detection processing, and is a more specific version of the processing according to the first modification of the first embodiment.
図２５は、第１の実施形態の第２の変形例に係る、進行方向用カメラ７に関する処理を示す一例のフローチャートである。ステップＳ４００で、情報処理装置５０は、撮像制御部５０４により、位置情報取得部５１から現在位置を示す位置情報を取得する。次のステップＳ４０１で、撮像画像取得部５００ｂは、進行方向用カメラ７で撮像された進行方向撮像画像を取得する。取得された進行方向撮像撮像は、撮像画像記憶部５０３により、情報処理装置５０のメモリ（例えばＲＡＭ５００２）に記憶される。
FIG. 25 is a flowchart of an example of processing related to the traveling
次のステップＳ４０２で、撮像制御部５０４は、ステップＳ４０１で記憶した進行方向撮像画像を解析し、当該進行方向撮像画像内から異物を示す画像を検出する。ここで、異物とは、例えば白線、道路標示、マンホール、落ち葉、花びら、土砂、雪、ゴミ、といった、道路面舗装以外のものを指す。異物の検出方法としては、例えばハフ変換による直線検出による白線検出、同じくハフ変換による円検出によるマンホール（丸型）検出、を適用できる。また、異物検出の方法として、ディープラーニングでの学習結果によりその他の異物を検出することも可能である。 In the next step S402, the imaging control unit 504 analyzes the traveling direction captured image stored in step S401, and detects an image showing a foreign object from the traveling direction captured image. Here, foreign matter refers to things other than road surface pavement, such as white lines, road markings, manholes, fallen leaves, flower petals, earth and sand, snow, and garbage. As a foreign matter detection method, for example, white line detection by straight line detection by Hough transform and manhole (round) detection by circle detection by Hough transform can be applied. Further, as a foreign matter detection method, it is also possible to detect other foreign matter based on the learning results of deep learning.
ステップＳ４０３で、撮像制御部５０４は、ステップＳ４０２の処理の結果、異物が検出されたか否かを判定する。撮像制御部５０４は、異物が検出されたと判定した場合（ステップＳ４０３、「有り」）、処理をステップＳ４０４に移行させ、異物の画像を含まない領域を評価領域７１０Ｌおよび７１０Ｒとして設定する。例えば、路面撮像用カメラ６Ｌのステレオ撮像範囲に対応して初期設定された評価領域７１０Ｌが異物の画像を含むと判定された場合、撮像制御部５０４は、当該評価領域７１０Ｌの位置を前後あるいは左右にずらす処理を行い、評価領域７１０Ｌが異物の画像を含まないようにする。これに限らず、当該評価領域７１０Ｌを縮小あるいは変形させてもよい。
In step S403, the imaging control unit 504 determines whether or not a foreign object is detected as a result of the processing in step S402. If the imaging control unit 504 determines that a foreign object has been detected (“Yes” in step S403), the imaging control unit 504 shifts the process to step S404, and sets areas that do not include an image of the foreign material as
一方、撮像制御部５０４は、ステップＳ４０３で異物が検出されないと判定した場合（ステップＳ４０３、「無し」）、処理をステップＳ４０５に移行させる。ステップＳ４０５で、撮像制御部５０４は、進行方向撮像画像７１における評価領域７１０Ｌおよび７１０Ｒの本来の位置、例えば進行方向撮像画像７１の中央領域を、評価領域７１０Ｌおよび７１０Ｒに設定する。
On the other hand, when the imaging control unit 504 determines that no foreign object is detected in step S403 (step S403, "none"), the process proceeds to step S405. In step S405, the imaging control unit 504 sets the original positions of the
ステップＳ４０４またはステップＳ４０５の処理の後、処理がステップＳ４１０に移行される。ステップＳ４１０で、撮像制御部５０４は、ステップＳ４０４またはステップＳ４０５で決定された評価領域７１０Ｌおよび７１０Ｒに含まれる画素に基づき当該評価領域７１０Ｌおよび７１０Ｒの輝度を求め、求めた輝度が予め定めた適正な輝度であるか否かを判定する。撮像処理部５０４は、適正な輝度であると判定した場合（ステップＳ４１０、「Ｙｅｓ」）、この図２５のフローチャートによる一連の処理を終了させる。
After the process of step S404 or step S405, the process proceeds to step S410. In step S410, the imaging control unit 504 obtains the luminance of the
撮像制御部５０４は、ステップＳ４１０で、適正な輝度ではないと判定した場合、処理をステップＳ４１１に移行させる。ステップＳ４１１で撮像制御部５０４は、評価領域７１０Ｌおよび７１０Ｒの輝度が所定より明るい値を示しているか否かを判定する。撮像制御部５０４は、当該輝度が所定より明るい値を示していると判定した場合、処理をステップＳ４１２に移行させる。ステップＳ４１２で、撮像制御部５０４は、撮像画像を暗くする方向に撮像条件（露出パラメータ）を変更する。
If the imaging control unit 504 determines in step S410 that the luminance is not appropriate, the process proceeds to step S411. In step S411, the imaging control unit 504 determines whether or not the brightness of the
一方、撮像制御部５０４は、ステップＳ４１１で当該輝度が所定より暗い値を示していると判定した場合、処理をステップＳ４１３に移行させる。ステップＳ４１３で、撮像制御部５０４は、撮像画像を明るくする方向に撮像条件（露光パラメータ）を変更する。 On the other hand, if the imaging control unit 504 determines in step S411 that the luminance is darker than the predetermined value, the process proceeds to step S413. In step S413, the imaging control unit 504 changes the imaging condition (exposure parameter) so as to brighten the captured image.
撮像制御部５０４は、ステップＳ４１２またはステップＳ４１３の処理の後、処理をステップＳ４１４に移行させる。ステップＳ４１４で、撮像制御部５０４は、ステップＳ４１２またはステップＳ４１３で変更した撮像条件と、撮像条件の変更を行うための位置を示す変更位置情報とを関連付けて、例えばＲＡＭ５００２に記憶する。ステップＳ４１４における設定情報と変更位置情報との記憶が完了すると、図２５のフローチャートによる一連の処理が終了される。
After the process of step S412 or step S413, the imaging control unit 504 shifts the process to step S414. In step S414, the imaging control unit 504 associates the imaging conditions changed in step S412 or S413 with change position information indicating the position for changing the imaging conditions, and stores them in the
第１の実施形態の第２の変形例によれば、進行方向用カメラ７により、路面撮像用カメラ６Ｌおよび６Ｒによるステレオ撮像範囲の輝度情報を、路面撮像用カメラ６Ｌおよび６Ｒの撮像に先立って取得し、撮像条件を決定している。その際、撮像制御部５０４は、進行方向用カメラ７により撮像された進行方向撮像画像７１における評価領域７１０Ｌおよび７１０Ｒに異物の画像が含まれる場合に、この異物の画像を避けて、評価領域７１０Ｌおよび７１０Ｒを設定している。そのため、路面撮像用カメラ６Ｌおよび６Ｒによるステレオ撮像範囲の撮像を、異物の画像の影響を受けること無く、適切な撮像条件にて実行できる。これにより、ひび割れ率Ｃ、わだち掘れ量Ｄおよび平坦性σを、路面撮像用カメラ６Ｌおよび６Ｒにより撮像されたステレオ撮像画像に基づき、より高精度に算出でき、これらを用いたＭＣＩによる評価の信頼性を高めることが可能である。
According to the second modification of the first embodiment, the traveling
［第２の実施形態」
次に、第２の実施形態について説明する。第２の実施形態は、上述した進行方向用カメラ７の代わりに、対象物の光を検出する光センサを用いた例である。光センサとしては、単純に対象物からの光を検出するフォトダイオードやフォトトランジスタなどを用いてもよいし、レーザスキャナなどを用いてもよい。
[Second embodiment]
Next, a second embodiment will be described. The second embodiment is an example in which an optical sensor for detecting light from an object is used instead of the traveling
図２６は、第２の実施形態に係る、撮像条件設定処理を示す一例のフローチャートである。図２６のフローチャートにおいて、上述した図１９のフローチャートと共通する処理には同一の符号を付して、詳細な説明を省略する。なお、光センサの出力は、上述同様に、撮像画像取得部５００ｂにより取得されるものとする。ステップＳ２００で、情報処理装置５０は、撮像制御部５０４により、位置情報取得部５１から現在位置を示す位置情報を取得する。次のステップＳ２２１で、撮像画像取得部５００ｂは、光センサの出力を取得する。取得された出力値は、撮像画像記憶部５０３により、出力値を情報処理装置５０のメモリ（例えばＲＡＭ５００２）に記憶される。
FIG. 26 is a flowchart of an example of imaging condition setting processing according to the second embodiment. In the flowchart of FIG. 26, the same reference numerals are assigned to the processes that are common to the flowchart of FIG. 19 described above, and detailed description thereof will be omitted. It should be noted that the output of the optical sensor is obtained by the captured
次のステップＳ２２２で、撮像制御部５０４は、ステップＳ２２１で記憶した光センサの出力値を解析し、撮像条件の変更が必要か否かを判定する。撮像制御部５０４は、光センサの出力値に基づき検出範囲（撮像道路面）の輝度を算出し、算出された輝度に応じて、撮像条件（露出パラメータ）の変更が必要か否か、必要な場合、どのような設定にするかを決定する。 In the next step S222, the imaging control unit 504 analyzes the output value of the optical sensor stored in step S221 and determines whether or not the imaging conditions need to be changed. The imaging control unit 504 calculates the brightness of the detection range (imaging road surface) based on the output value of the optical sensor, and determines whether or not the imaging condition (exposure parameter) needs to be changed according to the calculated brightness. If so, decide what settings to use.
例えば、撮像制御部５０４は、道路面輝度の変化が閾値を超えた場合に、変化量に応じて、輝度が明るくなる方向に変化した場合は撮像される画像が暗くなるように、輝度が暗くなる方向に変化した場合は、撮像される画像が明るくなるように、露出パラメータを決定する。露出パラメータとは、露光時間、ゲインのうち少なくとも一方である。 For example, when the change in road surface brightness exceeds a threshold value, the image capturing control unit 504 reduces the brightness so that the captured image becomes darker when the brightness changes in the brighter direction according to the amount of change. The exposure parameter is determined so that the captured image becomes brighter when the direction changes. The exposure parameter is at least one of exposure time and gain.
ステップＳ２０３で、撮像制御部５０４は、ステップＳ２２２の判定処理により撮像条件の変更が必要であると判定した場合（ステップＳ２０３、「有り」）、処理をステップＳ２０４に移行させる。ステップＳ２０４で、撮像制御部５０４は、変更した撮像条件と、撮像条件の変更を行うための位置を示す変更位置情報とを関連付けて、例えばＲＡＭ５００２に記憶する。これは、光センサの検出範囲と、路面撮像用カメラ６Ｌおよび６Ｒのステレオ撮像範囲と、では方向が異なるため、光センサで輝度を検出した箇所を路面撮像用カメラ６Ｌおよび６Ｒで撮像するまでのタイムラグがあり、適切なタイミングで露出の変更をする必要があるためである。
In step S203, when the imaging control unit 504 determines that the imaging conditions need to be changed by the determination processing in step S222 (step S203, "yes"), the process proceeds to step S204. In step S204, the imaging control unit 504 associates the changed imaging conditions with change position information indicating the position for changing the imaging conditions, and stores them in the
なお、変更位置情報は、上述と同様に、例えば、ステップＳ２００で取得された位置情報に、既知の、光センサが検出対象とする検出範囲の、位置情報取得部５０２１からの距離を加算した値を適用できる。
Note that the changed position information is, for example, a value obtained by adding the distance from the position
ステップＳ５０４における設定情報と変更位置情報との記憶が完了すると、図２６のフローチャートによる一連の処理が終了される。また、上述したステップＳ２０３で、露出設定の変更の必要が無いと判定された場合（ステップＳ２０３、「無し」）、図２６のフローチャートによる一連の処理が終了される。 When the storage of the setting information and the change position information in step S504 is completed, the series of processing according to the flowchart of FIG. 26 is terminated. If it is determined in step S203 described above that there is no need to change the exposure setting (step S203, "No"), the series of processes according to the flowchart of FIG. 26 is terminated.
上述したステップＳ２００、ステップＳ２２１、ステップＳ２２２、ステップＳ２０３およびステップＳ２０４の処理は、所定の時間間隔で繰り返し実行される。 The processes of steps S200, S221, S222, S203 and S204 described above are repeatedly executed at predetermined time intervals.
なお、路面撮像用カメラ６Ｌおよび６Ｒに関する処理は、例えば図２０を用いて説明した処理と同様なので、ここでの説明を省略する。
Note that the processing relating to the road
第２の実施形態によれば、車両１の進行方向前方の評価領域の輝度を検出するために、進行方向用カメラ７に対してより簡易な構成により実現可能な光センサを用いてる。これにより、撮像システムをより小規模に構成することが可能である。
According to the second embodiment, in order to detect the brightness of the evaluation area in front of the
なお、上述の各実施形態は、本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形による実施が可能である。 Although each of the above-described embodiments is a preferred embodiment of the present invention, it is not limited thereto, and various modifications can be made without departing from the scope of the present invention.
１ 車両
４ 路面
５ ＰＣ
６，６Ｃ，６Ｌ，６Ｒ ステレオカメラ
６ＬL，６ＬR，６ＲL，６ＲR 撮像レンズ
７ 進行方向用カメラ
１０ 撮像システム
５０ 情報処理装置
５１，５０２２ 位置情報取得部
６０Ｃ，６０Ｌ，６０Ｒ ステレオ撮像範囲
６０ＣL，６０ＣR，６０ＬL，６０ＬR，６０ＲL，６０ＲR 撮像範囲
１００1，１００2 撮像部
１０２，５０４ 撮像制御部
１０３ 生成部
５００ａ，５００ｂ 撮像画像取得部
５０３ 撮像画像記憶部
７１０Ｌ，７１０Ｒ 評価領域
５０２１ 速度取得部
1
6, 6C, 6L,
Claims (8)
前記移動体に搭載され、前記第１の撮像装置に対して該移動体の進行方向側の前記路面を撮像する第２の撮像装置と、
前記移動体の現在位置を示す現在位置情報を取得する取得部と、
前記第２の撮像装置により撮像された撮像画像に基づき前記第１の撮像装置の撮像条件として露出パラメータを決定する撮像制御部と、
を備え、
前記撮像制御部は、さらに
前記撮像条件を前記第１の撮像装置に設定するタイミングを、前記現在位置情報と、予め定められた、前記第２の撮像装置による撮像範囲の前記移動体からの距離と、に基づき決定する
撮像システム。 a first imaging device mounted on a moving body and capturing an image of a road surface on which the moving body moves;
a second imaging device that is mounted on the moving body and captures an image of the road surface on the traveling direction side of the moving body with respect to the first imaging device;
an acquisition unit that acquires current position information indicating the current position of the moving object;
an imaging control unit that determines an exposure parameter as an imaging condition of the first imaging device based on the captured image captured by the second imaging device;
with
The imaging control unit further
A timing for setting the imaging conditions in the first imaging device is determined based on the current position information and a predetermined distance from the moving body of the imaging range of the second imaging device.
imaging system.
前記撮像制御部は、
前記第２の撮像装置の撮像範囲における前記複数の前記第１の撮像装置それぞれの撮像範囲に対応する各領域の画像に基づき、該複数の前記第１の撮像装置それぞれの前記撮像条件を決定する
請求項１に記載の撮像システム。 A plurality of the first imaging devices are mounted on the moving body,
The imaging control unit is
determining the imaging conditions for each of the plurality of first imaging devices based on images of respective regions corresponding to the imaging ranges of the plurality of first imaging devices in the imaging range of the second imaging device; The imaging system of Claim 1 .
前記撮像画像に前記路面に対する異物の画像が含まれる場合に、該撮像画像の、該異物の画像を除いた領域の画像を用いて、前記撮像条件を決定する
請求項１又は請求項２に記載の撮像システム。 The imaging control unit is
Claim 1 or Claim 2 , wherein when the imaged image includes an image of a foreign object on the road surface, the imaging condition is determined using an image of an area of the imaged image excluding the image of the foreign object. The imaging system described.
前記第１の撮像装置は、前記移動体が移動する路面を撮像し、
前記第２の撮像装置は、前記第１の撮像装置に対して該移動体の進行方向側の前記路面を撮像し、
前記移動体の現在位置を示す現在位置情報を取得する取得ステップと、
前記第２の撮像装置により撮像された撮像画像に基づき前記第１の撮像装置の撮像条件として露出パラメータを決定する撮像制御ステップ
を有し、
前記撮像制御ステップでは、さらに
前記撮像条件を前記第１の撮像装置に設定するタイミングを、前記現在位置情報と、予め定められた、前記第２の撮像装置による撮像範囲の前記移動体からの距離と、に基づき決定する
撮像方法。 An image capturing method for an image capturing system including a first image capturing device and a second image capturing device each mounted on a moving body,
The first imaging device images a road surface on which the moving object moves,
The second imaging device images the road surface on the traveling direction side of the moving body with respect to the first imaging device,
an acquisition step of acquiring current position information indicating the current position of the moving object;
an imaging control step of determining an exposure parameter as an imaging condition of the first imaging device based on the captured image captured by the second imaging device ;
The imaging control step further includes
A timing for setting the imaging conditions in the first imaging device is determined based on the current position information and a predetermined distance from the moving body of the imaging range of the second imaging device.
Imaging method.
前記移動体が移動する路面の第１の撮像範囲を撮像する撮像部と、
前記移動体の現在位置を示す現在位置情報を取得する位置情報取得部と、
前記第１の撮像範囲とは異なる、移動体の進行方向側の路面の第２の撮像範囲を撮像した撮像画像に基づき前記撮像部の撮像条件として露出パラメータを決定する撮像制御部と、
を備え、
前記撮像制御部は、さらに
前記撮像条件を前記撮像部に設定するタイミングを、前記現在位置情報と、予め定められた、前記第２の撮像範囲の前記移動体からの距離と、に基づき決定する
撮像装置。 An imaging device mounted on a mobile body,
an imaging unit that captures a first imaging range of the road surface on which the moving object moves ;
a location information acquisition unit that acquires current location information indicating the current location of the moving object;
an imaging control unit that determines an exposure parameter as an imaging condition of the imaging unit based on a captured image obtained by imaging a second imaging range of a road surface on the traveling direction side of the moving body, which is different from the first imaging range;
with
The imaging control unit further
determining the timing for setting the imaging conditions in the imaging unit based on the current position information and a predetermined distance from the moving body in the second imaging range;
Imaging device.
をさらに備える
請求項６に記載の撮像装置。 7. The imaging apparatus according to claim 6 , further comprising an acquisition section that acquires the captured image obtained by imaging the second imaging range by another imaging section different from the imaging section.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018051841A JP7119462B2 (en) | 2018-03-19 | 2018-03-19 | Imaging system, imaging method, moving body equipped with imaging system, imaging device, and moving body equipped with imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018051841A JP7119462B2 (en) | 2018-03-19 | 2018-03-19 | Imaging system, imaging method, moving body equipped with imaging system, imaging device, and moving body equipped with imaging device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019164018A JP2019164018A (en) | 2019-09-26 |
| JP7119462B2 true JP7119462B2 (en) | 2022-08-17 |
Family
ID=68065539
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018051841A Active JP7119462B2 (en) | 2018-03-19 | 2018-03-19 | Imaging system, imaging method, moving body equipped with imaging system, imaging device, and moving body equipped with imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7119462B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102184998B1 (en) * | 2020-03-05 | 2020-12-01 | (주)한국어스하드닝 | Drilling and mixing apparatus with lift blade and construction method using the same |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021215009A1 (en) * | 2020-04-24 | 2021-10-28 | 三菱電機株式会社 | Internal defect estimation device |
| CN111896721B (en) * | 2020-08-31 | 2021-05-14 | 刘小梅 | Municipal road engineering quality intelligent acceptance detection management system based on big data |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002074575A (en) | 2000-08-28 | 2002-03-15 | Matsushita Electric Ind Co Ltd | On-vehicle camera device monitoring road |
| JP2011090367A (en) | 2009-10-20 | 2011-05-06 | Pasuko:Kk | Road surface image capturing/editing device and road surface image capturing/editing program |
| JP2015025727A (en) | 2013-07-26 | 2015-02-05 | 三菱電機株式会社 | Road surface imaging apparatus |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09292213A (en) * | 1996-04-30 | 1997-11-11 | Hoei:Kk | Road surface photographing device |
-
2018
- 2018-03-19 JP JP2018051841A patent/JP7119462B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002074575A (en) | 2000-08-28 | 2002-03-15 | Matsushita Electric Ind Co Ltd | On-vehicle camera device monitoring road |
| JP2011090367A (en) | 2009-10-20 | 2011-05-06 | Pasuko:Kk | Road surface image capturing/editing device and road surface image capturing/editing program |
| JP2015025727A (en) | 2013-07-26 | 2015-02-05 | 三菱電機株式会社 | Road surface imaging apparatus |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102184998B1 (en) * | 2020-03-05 | 2020-12-01 | (주)한국어스하드닝 | Drilling and mixing apparatus with lift blade and construction method using the same |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019164018A (en) | 2019-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6717534B2 (en) | Stereo support with rolling shutter | |
| JP6551623B1 (en) | Information processing apparatus, moving body, image processing system, and information processing method | |
| JP7163601B2 (en) | Information processing device and information processing method | |
| JP5615441B2 (en) | Image processing apparatus and image processing method | |
| JP7119462B2 (en) | Imaging system, imaging method, moving body equipped with imaging system, imaging device, and moving body equipped with imaging device | |
| US11671574B2 (en) | Information processing apparatus, image capture apparatus, image processing system, and method of processing a plurality of captured images of a traveling surface where a moveable apparatus travels | |
| JP4872769B2 (en) | Road surface discrimination device and road surface discrimination method | |
| JP2009041972A (en) | Image processing device and method therefor | |
| JP6177006B2 (en) | Camera calibration apparatus and camera calibration method | |
| EP2887313B1 (en) | Image processing apparatus, system, image processing method, and computer-readable recording medium | |
| JP2023029441A (en) | Measuring device, measuring system, and vehicle | |
| JP2010091426A (en) | Distance measuring device and program | |
| JP2014130404A (en) | Road surface image generation system, shadow removing apparatus, method and program | |
| CN107145828B (en) | Vehicle panoramic image processing method and device | |
| JP2007133007A (en) | Road surface imaging device and road marking measuring device | |
| JP6369897B2 (en) | Self-position calculation device and self-position calculation method | |
| JP6299319B2 (en) | Self-position calculation device and self-position calculation method | |
| JP7114963B2 (en) | Imaging system, imaging device, imaging method, and mobile object equipped with imaging system | |
| JP2007233487A (en) | Pedestrian detection method, device, and program | |
| KR102498028B1 (en) | Surveillance Camera Systems and Mothod of Using the Same | |
| JP7293931B2 (en) | Position measurement data generation device, position measurement data generation method, and position measurement data generation program | |
| JP7457971B2 (en) | Quantity calculation device and quantity calculation method | |
| JP6369898B2 (en) | Self-position calculation device and self-position calculation method | |
| CN115244594A (en) | Information processing apparatus, information processing method, and computer program | |
| KR100187455B1 (en) | Traffic lane sensing apparatus using an image system and method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210118 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211206 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220111 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220221 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220705 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220718 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7119462 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |