WO2017209015A1 - ステレオカメラの設置パラメータ校正方法 - Google Patents
ステレオカメラの設置パラメータ校正方法 Download PDFInfo
- Publication number
- WO2017209015A1 WO2017209015A1 PCT/JP2017/019782 JP2017019782W WO2017209015A1 WO 2017209015 A1 WO2017209015 A1 WO 2017209015A1 JP 2017019782 W JP2017019782 W JP 2017019782W WO 2017209015 A1 WO2017209015 A1 WO 2017209015A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- stereo camera
- installation
- mark
- axis direction
- vertical axis
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
Definitions
- the present invention relates to a stereo camera installation parameter calibration method used in a road surface state detection device that detects a road surface state such as a road surface height.
- a control method of the active suspension system there is preview control that detects the road surface condition in front of the vehicle and appropriately controls various characteristics of the suspension.
- a method for detecting the road surface condition in front of the vehicle a stereo method using parallax information of a road surface image in front of the vehicle captured by two cameras is known.
- Patent Document 1 discloses that a first image and a second image obtained by photographing a road surface in stereo are projected on XY plane coordinates, and the plane coordinates are , A detection area centered on a specific coordinate (X, Y) is set, a parallax v1 when the image of the detection area is at the road surface position is calculated, and a coordinate (X ⁇ A technique is described in which a comparison area centered on v1, Y) is set, and the height of the detection area from the road surface is detected by comparing the image of the detection area with the image of the comparison area.
- Patent Document 1 even when it is difficult to identify a road surface, it is possible to detect a difference in level of a step from the road surface.
- the accuracy of each installation parameter of the installation height and the installation angle of the stereo camera greatly affects the detection accuracy.
- the installation parameters may change due to vibration or deterioration of the attached parts over time. For this reason, means for easily and accurately calibrating the installation parameters is required.
- a stereo camera installation parameter calibration method includes: A stereo camera installation parameter calibration method that is attached to a movable object and that images the road surface to detect the height of the road surface to which the object moves, The road surface provided with a mark at a predetermined distance from the position of the stereo camera is imaged by the stereo camera, Using the installation parameter and the value of the predetermined distance, obtain the position in the vertical direction in the coordinate space of the image captured by the stereo camera, Comparing the position of the obtained vertical axis direction with the position of the captured mark in the vertical axis direction in the coordinate space; The installation parameter is calibrated based on the comparison result.
- the position in the vertical axis direction is In the coordinate space of the image captured by the stereo camera, the distance from the stereo camera respectively corresponding to a plurality of predetermined positions in the vertical axis direction is calculated using the installation parameters, respectively. It is obtained by determining a position in the vertical axis direction in the coordinate space corresponding to the distance closest to the predetermined distance among the calculated distances, Comparing the determined position and the position of the imaged mark in the vertical direction in the coordinate space; The installation parameter may be calibrated based on the comparison result.
- the installation parameter may be calibrated so that the determined position and the position in the vertical axis direction of the imaged mark in the coordinate space coincide with each other.
- the installation parameter to be calibrated is an installation height and an installation angle of the stereo camera
- the mark includes a first mark provided at a predetermined first distance from the position of the stereo camera; a second mark provided at a predetermined second distance different from the first distance from the position of the stereo camera;
- the road surface on which the mark is provided may be imaged by the stereo camera at a timing when the object passes a position a predetermined distance before the position of the mark provided on the road surface.
- FIG. 5 is a diagram for explaining a first calibration method for installation parameters of the stereo camera 10. It is a flowchart which shows the procedure of the 1st calibration method.
- 10 is a diagram for explaining a second calibration method for installation parameters of the stereo camera 10. It is a flowchart which shows the procedure of the 2nd calibration method of the installation parameter of a stereo camera. It is a figure which shows the positional relationship in the coordinate space of the image of several calibration line and a mark. It is a figure for demonstrating the 3rd calibration method of the installation parameter of the stereo camera. 12 is a flowchart illustrating a procedure of a third calibration method for installation parameters of the stereo camera 10. It is a figure for demonstrating the method to give an exact imaging timing to a stereo camera, when calibrating the installation parameter of a stereo camera automatically while driving
- the present embodiment relates to a stereo camera installation parameter calibration method used in a road surface state detection device that detects a distance to a detection target point on a road surface in front of a vehicle and a height of the detection target point using a stereo image. is there.
- the stereo camera has a plurality of, for example, two cameras.
- Each of the plurality of cameras is arranged so that the front of the vehicle is an imaging range, are separated from each other so that parallax can occur, and the optical axes thereof are parallel to each other.
- the images captured by a plurality of cameras are processed by an arithmetic processing circuit.
- the arithmetic processing circuit calculates parallax information between corresponding points of each image, calculates the distance from the stereo camera to the detection target point on the road surface based on the calculated parallax information and the installation parameters of the stereo camera, and is calculated Based on the distance, the height of the road surface is calculated.
- FIG. 1 and 2 are explanatory diagrams of a method for calculating the distance and height from the stereo camera to the detection target point on the road surface.
- FIG. 1 is a view showing a road surface including each camera and a detection target point from above
- FIG. 2 is a view showing a road surface including each camera and the detection target point from the side.
- the detection target point K on the road surface is seen in a direction inclined downward by an angle ⁇ from the optical axes 11R, 11L of the cameras 10R, 10L as shown in FIG.
- the distance D from the cameras 10R and 10L to the detection target point K is calculated by the following equation (1).
- D (d ⁇ f) / (x1 ⁇ x2) (1)
- d is the distance between the cameras
- f is the focal length of the lens.
- x1-x2 is parallax
- x1 is the X coordinate value of the image of the detection target point K in the image of one camera 10R
- x2 is the X coordinate value of the image of the detection target point K in the image of the other camera 10L. is there.
- the distance L and the height h from the stereo camera to the detection target point K on the road surface can be calculated by the stereo method.
- the detection accuracy of the distance L and the height h by the above stereo method depends on the installation height and the installation angle accuracy of the stereo camera 10. In the installation work of the stereo camera 10, it is difficult to completely eliminate these installation parameter errors. In addition, the installation parameters may change due to vibration or deterioration of the attached parts over time.
- FIG. 3 is a block diagram showing the configuration of the road surface condition detection device 1 of the present embodiment.
- the road surface state detection device 1 of this embodiment includes a stereo camera 10, an arithmetic processing circuit 20, and a memory 30. Note that the memory 30 may be provided in the arithmetic processing circuit 20.
- the stereo camera 10 has two cameras 10A and 10B.
- the two cameras 10A and 10B are arranged such that the front of the vehicle is an imaging range, are separated from each other so that parallax is generated, and the optical axes thereof are parallel to each other.
- the cameras 10A and 10B are configured to include an image pickup device such as a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor). Imaging signals obtained by the respective cameras 10A and 10B are supplied to the arithmetic processing circuit 20.
- an image pickup device such as a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor). Imaging signals obtained by the respective cameras 10A and 10B are supplied to the arithmetic processing circuit 20.
- the arithmetic processing circuit 20 is a device that performs arithmetic processing for parallax calculation and road surface displacement detection using the memory 30, and is configured by, for example, an FPGA (Field-Programmable Gate Array).
- FPGA Field-Programmable Gate Array
- the present invention is not limited to this, and may be configured by other integrated circuits such as ASIC (Application Specific Specific Integrated Circuit).
- the arithmetic processing circuit 20 functionally includes an image processing unit 21, a road surface displacement calculation unit 22, and an installation parameter calibration unit 23.
- the image processing unit 21 digitizes the two video signals supplied from the stereo camera 10 to form an image, and performs preprocessing, such as filter processing such as distortion correction of each image and noise removal from each image. Further, the image processing unit 21 searches for the correspondence between the images using the preprocessed image (camera 10A image) as a reference image and the other image (camera 10B image) as a reference image. Disparity information of two images is generated.
- the road surface displacement calculation unit 22 calculates the distance L from the stereo camera 10 and the road surface height h of the detection target point on the road surface using the parallax information obtained by the image processing unit 21.
- the road surface displacement calculation unit 22 generates road surface displacement information for preview control of the suspension system 60 from the calculated distance L and height h information, and supplies the road surface displacement information to the suspension system 60.
- the installation parameter calibration unit 23 performs a process of calibrating the installation parameters of the stereo camera 10.
- a linear mark M orthogonal to the lane direction (Y direction) is provided at a position away from the stereo camera 10 by a predetermined distance L in the lane direction (Y direction) of the road surface 70. It is done.
- the mark M should be provided by accurately detecting a position corresponding to a predetermined distance L from the stereo camera 10 using, for example, a laser displacement meter.
- FIG. 5 is a diagram showing an image obtained by imaging the road surface 70 provided with the mark M with the stereo camera 10.
- the mark M is provided on the horizontal road surface 70 in a direction orthogonal to the lane direction (vertical axis direction (Y-axis direction) in the image coordinate space)
- the coordinate space of the image captured by the stereo camera 10 The mark M is obtained as a straight image 71 parallel to the X axis.
- the installation height of the stereo camera 10 can be accurately measured by using, for example, a laser distance meter.
- a laser distance meter When the stereo camera 10 can be accurately installed on the vehicle body at the target height by such means, only the error in the installation angle of the stereo camera 10 needs to be calibrated.
- FIG. 6 is a diagram for explaining a first calibration method for the installation parameters of the stereo camera 10.
- FIG. 7 is a flowchart showing the procedure of the first calibration method.
- the arithmetic processing circuit 20 (installation parameter calibration unit 23) uses the installation parameter of the stereo camera 10 and the value of a predetermined distance L to determine the position in the vertical axis direction in the coordinate space of the image captured by the stereo camera 10. Is obtained as follows (step S101).
- the arithmetic processing circuit 20 obtains an angle ⁇ ′ formed by the straight line connecting the lower end of the angle of view of the stereo camera 10 and the straight line connecting the viewpoint of the stereo camera 10 and the mark M, using Expression (5).
- ⁇ v is the vertical angle of view of the stereo camera 10
- ⁇ camera is the installation angle of the stereo camera 10.
- the installation angle ⁇ camera is an angle of the optical axis 11 of the stereo camera 10 with respect to the horizontal line 12.
- the arithmetic processing circuit 20 obtains the position in the vertical axis direction in the coordinate space of the image from the angle ⁇ ′.
- the position in the vertical axis direction in the coordinate space of the image corresponding to the angle ⁇ ′ obtained at this time is the value before the calibration of the parameter of the installation angle ⁇ camera, so that the stereo camera 10 has an error corresponding to the installation angle ⁇ camera.
- the arithmetic processing circuit 20 calculates a difference between the obtained position in the vertical direction and the position in the vertical direction of the mark M in the coordinate space of the image captured by the stereo camera 10 (step S102). If there is a significant difference (YES in step S103), the installation angle ⁇ camera of the stereo camera 10 is updated so as to reduce the difference (step S104). For example, when the obtained Y-coordinate position is farther away than the mark M, the installation angle ⁇ camera is increased, and conversely, the obtained vertical axis position is in front of the mark M position. The installation angle ⁇ camera is decreased.
- the arithmetic processing circuit 20 calculates the increase / decrease amount of the installation angle ⁇ camera of the stereo camera 10 between the position in the vertical axis direction and the vertical axis position of the mark M in the coordinate space of the image captured by the stereo camera 10. You may make it obtain
- the arithmetic processing circuit 20 uses the updated installation parameter and the value of the predetermined distance L to perform the vertical axis direction in the coordinate space of the image captured by the stereo camera 10 Is calculated again, and the difference between the calculated vertical position and the vertical position of the mark M in the coordinate space of the image captured by the stereo camera 10 is calculated, and the installation angle ⁇ camera of the stereo camera 10 is calculated.
- the installation angle ⁇ camera at the time when the difference between the obtained position in the vertical axis direction and the position in the vertical axis direction of the mark M in the coordinate space of the image captured by the stereo camera 10 becomes zero or minimum is obtained.
- the calibration result is determined (step S105). The calibration of the installation angle ⁇ camera by the first calibration method is thus completed.
- FIG. 8 is a diagram for explaining a second calibration method for the installation parameters of the stereo camera 10.
- FIG. 9 is a flowchart showing the procedure of the second calibration method for the installation parameters of the stereo camera 10.
- the arithmetic processing circuit 20 (installation parameter calibration unit 23) is compared with a predetermined distance L from the stereo camera 10 to the mark M, using the values of the installation parameters of the installation height of the stereo camera 10 and the installation angle before calibration.
- the distances from the stereo camera 10 of the plurality of calibration lines are calculated (step S201). For example, as shown in FIG. 10, each of the plurality of calibration lines 72A, 72B, 72C is preset as a position in the vertical axis direction in the coordinate space of the image.
- the arithmetic processing circuit 20 calculates the calibration line 72A from the stereo camera 10 as follows from the installation height of the stereo camera 10 and the installation angle before calibration, and further the position in the vertical axis direction of each calibration line. The distances to 72B and 72C are calculated respectively.
- the arithmetic processing circuit 20 calculates an angle ⁇ ′ corresponding to the position (Y coordinate value) of the number of pixels H_pixel from the lower end of the image by the following equation (8).
- ⁇ ′ ⁇ ⁇ H_pixel (8)
- the arithmetic processing circuit 20 calculates a distance LA from the stereo camera 10 to the calibration line 72A by the following equation (9).
- LA DA ⁇ cos ⁇ ”(9)
- DA is a linear distance from the viewpoint of the stereo camera 10 to the calibration line 72A.
- ⁇ ′′ is an angle formed by a straight line connecting the viewpoint of the stereo camera 10 and, for example, the calibration line 72A, and a parallel line to the road surface when the stereo camera 10 is installed at an angle of ⁇ camera. Obtained by (5).
- the distance LA from the stereo camera 10 to the calibration line 72A is calculated by substituting this ⁇ "value into the equation (9). Note that the distance LA from the stereo camera 10 to the other calibration lines 72B and 72C is calculated. The distances LB and LC are similarly calculated.
- the arithmetic processing circuit 20 determines the distance from the stereo camera 10 to the mark M among the distances LA, LB, LC from the stereo camera 10 calculated as described above to the calibration lines 72A, 72B, 72C.
- the calibration line closest to the predetermined distance L is determined as an effective calibration line (step S202).
- the predetermined distance L may be set in advance in the device, or the user may input the distance L actually measured between the stereo camera 10 and the mark M.
- the calibration line 72A is determined as the effective calibration line.
- the calibration lines are all the lines in the image coordinate space, all the lines in a specific height range in the image coordinate space, or a plurality of lines every N (N is a value of 1 or more). There may be.
- the arithmetic processing circuit 20 calculates a difference between the position of the effective calibration line in the coordinate space of the image in the vertical axis direction and the position of the mark M in the coordinate space of the image captured by the stereo camera 10 in the vertical axis direction.
- the installation angle ⁇ camera of the stereo camera 10 is updated so as to reduce the difference (step S205). For example, when the effective calibration line is farther than the mark M in the coordinate space of the image, the installation angle ⁇ camera is increased. Conversely, when the effective calibration line is in front of the mark M, the installation angle ⁇ camera is increased. The angle ⁇ camera is decreased.
- the arithmetic processing circuit 20 determines the optimum increase / decrease amount of the installation angle ⁇ camera of the stereo camera 10, the position of the effective calibration line in the image coordinate space in the vertical axis direction, and the coordinate space of the image captured by the stereo camera 10. It may be determined uniquely from the difference between the position of the mark M in the vertical axis direction.
- the arithmetic processing circuit 20 recalculates the distances LA, LB, and LC from the stereo camera 10 for each of the plurality of calibration lines 72A, 72B, and 72C, and performs effective calibration. Line determination, calculation of the difference between the position of the effective calibration line in the coordinate space of the image in the vertical axis direction and the position of the mark M in the coordinate space of the image captured by the stereo camera 10 in the vertical axis direction, and stereo The installation angle ⁇ camera of the camera 10 is similarly updated.
- step S206 This completes the calibration of the installation angle ⁇ camera by the second calibration method.
- the distance for the calibration line is calculated only in the vertical axis direction of the effective calibration line in the image coordinate space only for the effective calibration line determined in the first processing recycling.
- a difference between the position and the position of the mark M in the vertical axis direction in the coordinate space of the image captured by the stereo camera 10 may be calculated.
- a third calibration method for calibrating both the installation height H and the installation angle ⁇ camera of the stereo camera 10 will be described.
- the third calibration method for example, as shown in FIG. 11, a plurality of marks M1 and M2 are provided on the road surface 70 apart from each other in the lane direction.
- the mark M1 is referred to as a “first mark M1”
- the mark M2 is referred to as a “second mark M2”.
- the first mark M1 and the second mark M2 are provided by accurately detecting positions corresponding to predetermined distances L1 and L2 from the stereo camera 10 using, for example, a laser displacement meter.
- FIG. 12 is a flowchart showing the procedure of the third calibration method for the installation parameters of the stereo camera 10.
- the arithmetic processing circuit 20 calculates the position in the vertical axis direction in the coordinate space of the image captured by the stereo camera 10 from the installation parameters (installation height H and installation angle ⁇ camera) of the stereo camera 10 and the value of the distance L2. (Step S301). This process is performed by the above equations (4) to (7).
- the arithmetic processing circuit 20 calculates a difference between the obtained position in the vertical axis direction and the position in the vertical axis direction of the image of the second mark M2 in the coordinate space of the image captured by the stereo camera 10 (step). If there is a significant difference (YES in step S303), the installation height H of the stereo camera 10 is updated so that the difference becomes 0 or minimum (step S304), and the process proceeds to step S305. If there is no significant difference (NO in step S303), the process moves to step S305 without updating the installation height H.
- step S305 the arithmetic processing circuit 20 calculates the position in the vertical axis direction in the coordinate space of the image captured by the stereo camera 10 from the installation parameter of the stereo camera 10 and the value of the distance L1 (step S305). This process is performed by the above equations (4) to (7).
- the arithmetic processing circuit 20 calculates a difference between the obtained position in the vertical axis direction and the position in the vertical axis direction of the image of the first mark M1 in the coordinate space of the image captured by the stereo camera 10 (step S1). If there is no significant difference (NO in step S307), the current installation parameter of the stereo camera 10 is determined as a calibration result (step S310). If there is a significant difference (YES in step S307), the installation angle ⁇ camera of the stereo camera 10 is updated so that the difference becomes 0 or minimum (step S308).
- step S309 it is determined whether or not the installation angle ⁇ camera has been updated. If the installation angle ⁇ camera has been updated, the current installation parameter of the stereo camera 10 is determined as a calibration result (step S310).
- step S303 If there is a significant difference (YES in step S303), the installation height H of the stereo camera 10 is updated again in step S304 so that the difference becomes 0 or minimum.
- the arithmetic processing circuit 20 moves to step S305 in order to re-evaluate the current installation angle ⁇ camera, and the subsequent operations are repeated.
- the installation height H of the stereo camera 10 using the second mark M2 is adjusted, and the installation angle ⁇ camera of the stereo camera 10 using the first mark M1 is adjusted. Is repeatedly performed alternately to calibrate the installation parameters.
- the first mark M1 may be used for adjusting the installation height H of the stereo camera 10
- the second mark M2 may be used for adjusting the installation angle ⁇ camera of the stereo camera 10.
- the installation angle ⁇ camera of the stereo camera 10 can be changed by, for example, shifting the position for reading an image from the imaging device of the stereo camera 10 in the entire vertical axis direction. In this case, the total number of pixels in the vertical axis direction of the imaging element of the stereo camera 10 needs to be larger than the number of pixels in the vertical axis direction from which an image is read. Further, the installation angle ⁇ camera of the stereo camera 10 may be changed by mechanically changing the direction of the optical axis 11 of the stereo camera 10 by the camera actuator 80.
- the installation height H of the stereo camera 10 can be changed by mechanically moving the barrel of the stereo camera 10 by the camera actuator 80 in the vertical direction.
- the installation parameters such as the installation height and the installation angle of the stereo camera 10 may fluctuate due to aged deterioration of the mounting bracket or vibration caused by backlash of the screw hole. There is.
- a system that can automatically calibrate the installation parameters of the stereo camera 10 while the vehicle is traveling on a public road or the like is conceivable.
- a mark M is provided on a road surface such as a public road, and the road surface may be imaged by the stereo camera 10 at a timing when the stereo camera 10 of the vehicle passes a position at a predetermined distance L in front of the mark M. .
- FIGS. 13A and 13B are diagrams illustrating a configuration for giving accurate imaging timing to the stereo camera 10 when the installation parameters of the stereo camera 10 are automatically calibrated while the vehicle is traveling on a public road or the like.
- vehicle detectors 110 and 110 such as an optical sensor and a camera are used.
- the passage speed and passage timing of the vehicle C between the vehicle detectors 110, 110 are detected, and transmission / reception of signals and the like are included.
- the stereo camera 10 performs imaging at a predetermined distance L before the mark M.
- the calibration process by the first calibration method or the second calibration method of the installation parameters is performed. Can do.
- a method of generating the timing at which the vehicle stereo camera 10 passes a position at a predetermined distance L before the mark M a method using the vehicle detectors 110 and 110, a predetermined distance before the mark M, and the like.
- a plurality of marks for generating the vehicle passage timing are provided in a position further forward than the position L, separated from each other in the lane direction, and these are detected by a detector such as an optical sensor or a camera provided in the vehicle. It can also be detected.
- This application example can also be applied to the third calibration method.
- the present invention can be applied not only to a vehicle traveling on a road surface, but also to various transporting devices and robots that move on an indoor floor surface.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
本発明の一形態に係るステレオカメラの設置パラメータ校正方法は、移動可能な物体に取り付けられ、前記物体が移動する先の路面の高さを検出するために前記路面を撮像するステレオカメラの設置パラメータ校正方法であって、前記ステレオカメラの位置から所定の距離にマークが設けられた路面を前記ステレオカメラにより撮像し、前記設置パラメータと前記所定の距離の値とを用いて、前記ステレオカメラにより撮像される画像の座標空間における縦軸方向の位置を求め、前記求めた縦軸方向の位置と前記撮像されたマークの前記座標空間における縦軸方向の位置とを比較し、前記比較結果をもとに前記設置パラメータを校正する。
Description
本発明は、路面の高さなどの路面状態を検出する路面状態検出装置に用いられるステレオカメラの設置パラメータ校正方法に関する。
アクティブサスペンションシステムの制御方式として、車両前方の路面状況を検出してサスペンションの諸特性を適正に制御するプレビュー制御がある。車両前方の路面状況を検出する方法として、2台のカメラで撮像した車両前方の路面像の視差情報を用いるステレオ法が知られている。
このステレオ法を用いて路面の段差を検出する方式として、例えば、特許文献1には、路面をステレオ撮影した第1の画像と第2の画像とをXY平面座標に投影し、該平面座標上に特定の座標(X、Y)を中心とする検出領域を設定し、検出領域の画像が路面位置にある場合の視差v1を算出し、第2の画像に視差v1を差し引いた座標(X-v1、Y)を中心とする比較領域を設定し、検出領域の画像と比較領域の画像とを比較して、検出領域の路面からの高さを検出する技術が記載されている。この特許文献1では、路面の識別が困難である場合でも、路面からの段差の高低差を検出することができる、としている。
ステレオ画像を用いて路面の検出対象点までの距離および検出対象点の高さを算出する場合、ステレオカメラの設置高さおよび設置角度の各設置パラメータの精度が検出精度に大きく影響する。しかしながら、ステレオカメラの設置作業において、これらの設置パラメータの誤差が生じることを完全に防止することは困難である。また、振動や取り付け部品の経年的な劣化などによって、それらの設置パラメータが変化するおそれがある。このため、設置パラメータを容易にかつ精度良く校正する手段が求められている。
以上のような事情に鑑み、本発明は、ステレオカメラの設置パラメータを簡単に校正することのできるステレオカメラの設置パラメータ校正方法を提供することを目的とする。
上記目的を達成するため、本発明の一形態に係るステレオカメラの設置パラメータ校正方法は、
移動可能な物体に取り付けられ、前記物体が移動する先の路面の高さを検出するために前記路面を撮像するステレオカメラの設置パラメータ校正方法であって、
前記ステレオカメラの位置から所定の距離にマークが設けられた路面を前記ステレオカメラにより撮像し、
前記設置パラメータと前記所定の距離の値とを用いて、前記ステレオカメラにより撮像される画像の座標空間における縦軸方向の位置を求め、
前記求めた縦軸方向の位置と前記撮像されたマークの前記座標空間における縦軸方向の位置とを比較し、
前記比較結果をもとに前記設置パラメータを校正する。
移動可能な物体に取り付けられ、前記物体が移動する先の路面の高さを検出するために前記路面を撮像するステレオカメラの設置パラメータ校正方法であって、
前記ステレオカメラの位置から所定の距離にマークが設けられた路面を前記ステレオカメラにより撮像し、
前記設置パラメータと前記所定の距離の値とを用いて、前記ステレオカメラにより撮像される画像の座標空間における縦軸方向の位置を求め、
前記求めた縦軸方向の位置と前記撮像されたマークの前記座標空間における縦軸方向の位置とを比較し、
前記比較結果をもとに前記設置パラメータを校正する。
また、上記のステレオカメラの設置パラメータ校正方法において、
前記縦軸方向の位置は、
前記ステレオカメラにより撮像される画像の座標空間において、予め決められた縦軸方向の複数の位置にそれぞれ対応する前記ステレオカメラからの距離を前記設置パラメータを用いてそれぞれ算出し、
前記算出された複数の距離の中で前記所定の距離に最も近い距離に対応する、前記座標空間における縦軸方向の位置を判定することによって求められ、
前記判定された位置と前記撮像されたマークの前記座標空間における縦軸方向の位置とを比較し、
前記比較結果をもとに前記設置パラメータを校正するというものであってもよい。
前記縦軸方向の位置は、
前記ステレオカメラにより撮像される画像の座標空間において、予め決められた縦軸方向の複数の位置にそれぞれ対応する前記ステレオカメラからの距離を前記設置パラメータを用いてそれぞれ算出し、
前記算出された複数の距離の中で前記所定の距離に最も近い距離に対応する、前記座標空間における縦軸方向の位置を判定することによって求められ、
前記判定された位置と前記撮像されたマークの前記座標空間における縦軸方向の位置とを比較し、
前記比較結果をもとに前記設置パラメータを校正するというものであってもよい。
また、上記のステレオカメラの設置パラメータ校正方法において、
前記判定された位置と前記撮像されたマークの前記座標空間における縦軸方向の位置とが一致するように前記設置パラメータを校正することとしてもよい。
前記判定された位置と前記撮像されたマークの前記座標空間における縦軸方向の位置とが一致するように前記設置パラメータを校正することとしてもよい。
上記のステレオカメラの設置パラメータ校正方法において、
校正対象の前記設置パラメータが、前記ステレオカメラの設置高さと設置角度であり、
前記マークは、前記ステレオカメラの位置から所定の第1距離に設けられた第1マークと、前記ステレオカメラの位置から前記第1距離と異なる所定の第2距離に設けられた第2マークと、を備え、
前記設置パラメータと前記所定の第2距離とを用いて、前記ステレオカメラにより撮像される画像の座標空間における縦軸方向の第1の位置を求め、
前記第1の位置と前記撮像された第2マークの像の前記座標空間における縦軸方向の位置とを比較して前記ステレオカメラの設置高さを更新し、
前記更新された設置高さを含む設置パラメータと前記所定の第1距離とを用いて、前記ステレオカメラにより撮像される画像の座標空間における縦軸方向の第2の位置を求め、
前記第2の位置と前記撮像された第2マークの像の前記座標空間における縦軸方向の位置を比較して前記ステレオカメラの設置角度を更新することとしてもよい。
校正対象の前記設置パラメータが、前記ステレオカメラの設置高さと設置角度であり、
前記マークは、前記ステレオカメラの位置から所定の第1距離に設けられた第1マークと、前記ステレオカメラの位置から前記第1距離と異なる所定の第2距離に設けられた第2マークと、を備え、
前記設置パラメータと前記所定の第2距離とを用いて、前記ステレオカメラにより撮像される画像の座標空間における縦軸方向の第1の位置を求め、
前記第1の位置と前記撮像された第2マークの像の前記座標空間における縦軸方向の位置とを比較して前記ステレオカメラの設置高さを更新し、
前記更新された設置高さを含む設置パラメータと前記所定の第1距離とを用いて、前記ステレオカメラにより撮像される画像の座標空間における縦軸方向の第2の位置を求め、
前記第2の位置と前記撮像された第2マークの像の前記座標空間における縦軸方向の位置を比較して前記ステレオカメラの設置角度を更新することとしてもよい。
さらに、上記のステレオカメラの設置パラメータ校正方法において、
前記物体の移動中、前記路面に設けられた前記マークの位置から所定の距離手前の位置を前記物体が通過するタイミングで、前記マークが設けられた路面を前記ステレオカメラにより撮像することとしてよい。
前記物体の移動中、前記路面に設けられた前記マークの位置から所定の距離手前の位置を前記物体が通過するタイミングで、前記マークが設けられた路面を前記ステレオカメラにより撮像することとしてよい。
以下、図面を参照しながら、本発明のステレオカメラの設置パラメータ校正方法に係る一実施形態を説明する。
[概要]
本実施形態は、ステレオ画像を用いて、車両前方の路面の検出対象点までの距離及び当該検出対象点の高さを検出する路面状態検出装置に用いられるステレオカメラの設置パラメータ校正方法に関するものである。
[概要]
本実施形態は、ステレオ画像を用いて、車両前方の路面の検出対象点までの距離及び当該検出対象点の高さを検出する路面状態検出装置に用いられるステレオカメラの設置パラメータ校正方法に関するものである。
ステレオカメラは、複数例えば2つのカメラを有する。複数のカメラは各々、車両前方を撮像範囲とし、視差が生じ得るように互いに離間し、かつ各々の光軸が平行となるように配置される。
複数のカメラにより各々撮像された画像は演算処理回路によって処理される。演算処理回路は、各画像の対応点同士の視差情報を算出し、算出した視差情報とステレオカメラの設置パラメータをもとにステレオカメラから路面の検出対象点までの距離を算出し、算出された距離をもとに、路面の高さを算出する。
図1および図2はステレオカメラから路面上の検出対象点までの距離および高さの算出方法の説明図である。図1は各カメラと検出対象点を含む路面を上から示す図であり、図2は各カメラと検出対象点を含む路面を側方から示す図である。
図1において、路面の検出対象点Kは、図2に示すようにカメラ10R、10Lの光軸11R、11Lから角度θだけ下方に傾いた方向に見える。カメラ10R、10Lから検出対象点Kまでの距離Dは下記の式(1)により算出される。
D=(d・f)/(x1-x2) ・・・(1)
ここで、dはカメラ間距離、fはレンズの焦点距離である。x1-x2は視差であり、x1は一方のカメラ10Rの画像における検出対象点Kの像のX座標の値、x2は他方のカメラ10Lの画像における検出対象点Kの像のX座標の値である。
D=(d・f)/(x1-x2) ・・・(1)
ここで、dはカメラ間距離、fはレンズの焦点距離である。x1-x2は視差であり、x1は一方のカメラ10Rの画像における検出対象点Kの像のX座標の値、x2は他方のカメラ10Lの画像における検出対象点Kの像のX座標の値である。
カメラ10R、10Lの光軸11R、11Lの向きが水平である場合、カメラ10R、10Lから検出対象点Kまでの水平方向(Y軸方向)の距離Lは、
L=Dcosθ ・・・(2)
により算出される。
また、検出対象点Kの高さhは、
h=H-Dsinθ ・・・(3)
により算出される。
ここで、Hは、カメラ10R、10Lの光軸11R、11Lの路面からの高さである。
L=Dcosθ ・・・(2)
により算出される。
また、検出対象点Kの高さhは、
h=H-Dsinθ ・・・(3)
により算出される。
ここで、Hは、カメラ10R、10Lの光軸11R、11Lの路面からの高さである。
このように、ステレオ法によって、ステレオカメラから路面上の検出対象点Kまでの距離Lと高さhを算出することができる。
しかしながら、上記のステレオ法による距離Lおよび高さhの検出精度は、ステレオカメラ10の設置高さおよび設置角度の精度に依存する。ステレオカメラ10の設置作業において、これらの設置パラメータの誤差を完全に排除することは困難である。また、振動や取り付け部品の経年的な劣化などによって、それらの設置パラメータが変化することもある。
そこで、本明細書では、ステレオカメラ10の設置作業において、これらの設置パラメータの誤差を容易に校正することのできるステレオカメラ10の設置パラメータ校正方法について説明する。
[本実施形態の路面状態検出装置の構成]
次に、本実施形態のステレオカメラの設置パラメータ校正方法が採用される路面状態検出装置の構成を説明する。
次に、本実施形態のステレオカメラの設置パラメータ校正方法が採用される路面状態検出装置の構成を説明する。
図3は本実施形態の路面状態検出装置1の構成を示すブロック図である。
同図に示すように、本実施形態の路面状態検出装置1は、ステレオカメラ10と、演算処理回路20と、メモリー30とを備える。なお、メモリー30は演算処理回路20内に設けられていてもよい。
同図に示すように、本実施形態の路面状態検出装置1は、ステレオカメラ10と、演算処理回路20と、メモリー30とを備える。なお、メモリー30は演算処理回路20内に設けられていてもよい。
ステレオカメラ10は、2つのカメラ10A、10Bを有する。2つのカメラ10A、10Bは、車両前方を撮像範囲とし、視差が生じるように互いに離間し、かつ各々の光軸が平行となるように配置される。
カメラ10A、10Bは、CCD(Charge-Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を備えて構成される。各々のカメラ10A、10Bにより各々得られた撮像信号は演算処理回路20に供給される。
演算処理回路20は、メモリー30を用いて視差算出および路面変位検出のための演算処理を行うデバイスであり、例えば、FPGA(Field-Programmable Gate Array)などにより構成される。これに限らず、例えば、ASIC(Application Specific Integrated Circuit)などの、他の集積回路により構成されたものであってもよい。
演算処理回路20は、機能的には、画像処理部21と、路面変位算出部22と、設置パラメータ校正部23とを有する。
画像処理部21は、ステレオカメラ10より供給された2つの映像信号をデジタル化して画像とし、前処理として、各々の画像の歪み補正、各々の画像からのノイズ除去などのフィルタ処理などを行う。さらに、画像処理部21は、前処理が施された一方の画像(カメラ10Aの画像)を基準画像、他方の画像(カメラ10Bの画像)を参照画像として各々の画像の対応関係を探索して、2つの画像の視差情報を生成する。
画像処理部21は、ステレオカメラ10より供給された2つの映像信号をデジタル化して画像とし、前処理として、各々の画像の歪み補正、各々の画像からのノイズ除去などのフィルタ処理などを行う。さらに、画像処理部21は、前処理が施された一方の画像(カメラ10Aの画像)を基準画像、他方の画像(カメラ10Bの画像)を参照画像として各々の画像の対応関係を探索して、2つの画像の視差情報を生成する。
路面変位算出部22は、路面上の検出対象点の、ステレオカメラ10からの距離Lおよび路面の高さhを、画像処理部21により求められた視差情報を用いて算出する。路面変位算出部22は、算出した距離Lおよび高さhの情報からサスペンションシステム60のプレビュー制御のための路面変位情報を生成して、サスペンションシステム60に供給する。
設置パラメータ校正部23は、ステレオカメラ10の設置パラメータを校正する処理を行う。
[設置パラメータの校正方法]
次に、本実施形態のステレオカメラ10の設置パラメータを校正する方法を説明する。
次に、本実施形態のステレオカメラ10の設置パラメータを校正する方法を説明する。
まず、図4に示すように、路面70の車線方向(Y方向)においてステレオカメラ10から所定の距離Lだけ離れた位置に車線方向(Y方向)に対して直交する直線状のマークMが設けられる。このマークMは、例えば、レーザー変位計などを用いて、ステレオカメラ10からの所定の距離Lにあたる位置を精度良く検出して設けられるべきである。
図5は、このマークMが設けられた路面70をステレオカメラ10により撮像することによって得られた画像を示す図である。
水平な路面70にマークMが車線方向(画像の座標空間における縦軸方向(Y軸方向))に対して直交する方向に真っ直ぐ設けられている場合、ステレオカメラ10により撮像された画像の座標空間においてマークMはX軸に平行な直線の像71として得られる。
水平な路面70にマークMが車線方向(画像の座標空間における縦軸方向(Y軸方向))に対して直交する方向に真っ直ぐ設けられている場合、ステレオカメラ10により撮像された画像の座標空間においてマークMはX軸に平行な直線の像71として得られる。
ここで、本明細書では、主に以下の3種類の校正方法について述べる。
1.ステレオカメラ10の設置高さの誤差がなく、設置角度の誤差のみを校正する第1の校正方法
2.ステレオカメラ10の設置高さの誤差がなく、設置角度の誤差のみを校正する第2の校正方法
3.ステレオカメラ10の設置高さと設置角度の両方の誤差を校正する第3の校正方法
1.ステレオカメラ10の設置高さの誤差がなく、設置角度の誤差のみを校正する第1の校正方法
2.ステレオカメラ10の設置高さの誤差がなく、設置角度の誤差のみを校正する第2の校正方法
3.ステレオカメラ10の設置高さと設置角度の両方の誤差を校正する第3の校正方法
(第1の校正方法について)
ステレオカメラ10の設置高さは、例えばレーザー距離計などを用いることによって精度良く測定することが可能である。このような手段により車体にステレオカメラ10を目的の高さに精度良く設置できる場合には、ステレオカメラ10の設置角度の誤差のみを校正すればよい。
ステレオカメラ10の設置高さは、例えばレーザー距離計などを用いることによって精度良く測定することが可能である。このような手段により車体にステレオカメラ10を目的の高さに精度良く設置できる場合には、ステレオカメラ10の設置角度の誤差のみを校正すればよい。
図6は、ステレオカメラ10の設置パラメータの第1の校正方法を説明するための図である。
図7は、第1の校正方法の手順を示すフローチャートである。
まず、演算処理回路20(設置パラメータ校正部23)は、ステレオカメラ10の設置パラメータと所定の距離Lの値とを用いて、ステレオカメラ10により撮像される画像の座標空間における縦軸方向の位置を次のようにして求める(ステップS101)。
図7は、第1の校正方法の手順を示すフローチャートである。
まず、演算処理回路20(設置パラメータ校正部23)は、ステレオカメラ10の設置パラメータと所定の距離Lの値とを用いて、ステレオカメラ10により撮像される画像の座標空間における縦軸方向の位置を次のようにして求める(ステップS101)。
演算処理回路20は、まず、ステレオカメラ10の設置高さHとステレオカメラ10からマークMまでの距離Lとから式(4)により、ステレオカメラ10の視点とマークMとを結ぶ直線と水平線とがなす角度θ"を求める。
tanθ"=H/L ・・・(4)
tanθ"=H/L ・・・(4)
次に、演算処理回路20は、ステレオカメラ10の画角の下端の直線とステレオカメラ10の視点とマークMとを結ぶ直線とがなす角度θ'を式(5)により求める。
θ'=θv/2-(θ"-θcamera)=θv/2-θ"+θcamera ・・・(5)
ここで、θvはステレオカメラ10の垂直方向の画角、θcameraはステレオカメラ10の設置角度である。設置角度θcameraは、水平線12に対するステレオカメラ10の光軸11の角度である。
θ'=θv/2-(θ"-θcamera)=θv/2-θ"+θcamera ・・・(5)
ここで、θvはステレオカメラ10の垂直方向の画角、θcameraはステレオカメラ10の設置角度である。設置角度θcameraは、水平線12に対するステレオカメラ10の光軸11の角度である。
次に、演算処理回路20は、上記の角度θ'から画像の座標空間における縦軸方向における位置を求める。
ここで、ステレオカメラ10により得られる画像の座標空間において縦軸方向の1画素あたりの仰角Δθは、
Δθ=θv/H_image ・・・(6)
であるから、縦軸方向における位置P(画像の下端からの画素位置)は、
P=θ'/Δθ ・・・(7)
によって求められる。
ここで、ステレオカメラ10により得られる画像の座標空間において縦軸方向の1画素あたりの仰角Δθは、
Δθ=θv/H_image ・・・(6)
であるから、縦軸方向における位置P(画像の下端からの画素位置)は、
P=θ'/Δθ ・・・(7)
によって求められる。
この時点で求められる角度θ'に相当する画像の座標空間における縦軸方向における位置は、設置角度θcameraのパラメータの値が校正前の値であるため、設置角度θcameraの誤差分だけ、ステレオカメラ10によって撮像された画像におけるマークMの縦軸方向での位置に対する誤差を含んでいる。
次に、演算処理回路20は、求めた縦軸方向の位置と、ステレオカメラ10によって撮像された画像の座標空間におけるマークMの縦軸方向の位置との差を算出し(ステップS102)、有意な差がある場合には(ステップS103のYES)、その差が小さくなるようにステレオカメラ10の設置角度θcameraを更新する(ステップS104)。例えば、求めたY座標の位置がマークMよりも遠くの位置関係にある場合には、設置角度θcameraを増大させ、逆に求めた縦軸方向の位置がマークMの位置よりも手前にある場合には設置角度θcameraを減少させる。このとき演算処理回路20が、ステレオカメラ10の設置角度θcameraの増減量を、求めた縦軸方向の位置と、ステレオカメラ10によって撮像された画像の座標空間におけるマークMの縦軸方向位置との差から一意に求めるようにしてもよい。
ステレオカメラ10の設置角度θcameraを更新した場合、演算処理回路20が、更新された設置パラメータと所定の距離Lの値とを用いて、ステレオカメラ10により撮像される画像の座標空間における縦軸方向の位置を再度求め、再度求めた縦軸方向の位置とステレオカメラ10によって撮像された画像の座標空間におけるマークMの縦軸方向の位置との差の算出、さらにはステレオカメラ10の設置角度θcameraの更新を、同様に行う。以上の処理を繰り返し、求めた縦軸方向の位置とステレオカメラ10によって撮像された画像の座標空間におけるマークMの縦軸方向の位置との差が零または最小となった時点の設置角度θcameraを校正結果として決定する(ステップS105)。
以上で、第1の校正方法による設置角度θcameraの校正が完了する。
以上で、第1の校正方法による設置角度θcameraの校正が完了する。
(第2の校正方法について)
図8は、ステレオカメラ10の設置パラメータの第2の校正方法を説明するための図である。
図9は、ステレオカメラ10の設置パラメータの第2の校正方法の手順を示すフローチャートである。
演算処理回路20(設置パラメータ校正部23)は、ステレオカメラ10の設置高さと校正前の設置角度の各設置パラメータの値を用いて、ステレオカメラ10からマークMまでの所定の距離Lと比較される複数の校正用ラインのステレオカメラ10からの距離を各々算出する(ステップS201)。例えば、図10に示すように、複数の校正用ライン72A、72B、72Cはそれぞれ、画像の座標空間における縦軸方向の位置として予め設定される。演算処理回路20は、ステレオカメラ10の設置高さと校正前の設置角度、さらには各々の校正用ラインの縦軸方向の位置とから、次のようにして、ステレオカメラ10から校正用ライン72A、72B、72Cまでの距離を各々算出する。
図8は、ステレオカメラ10の設置パラメータの第2の校正方法を説明するための図である。
図9は、ステレオカメラ10の設置パラメータの第2の校正方法の手順を示すフローチャートである。
演算処理回路20(設置パラメータ校正部23)は、ステレオカメラ10の設置高さと校正前の設置角度の各設置パラメータの値を用いて、ステレオカメラ10からマークMまでの所定の距離Lと比較される複数の校正用ラインのステレオカメラ10からの距離を各々算出する(ステップS201)。例えば、図10に示すように、複数の校正用ライン72A、72B、72Cはそれぞれ、画像の座標空間における縦軸方向の位置として予め設定される。演算処理回路20は、ステレオカメラ10の設置高さと校正前の設置角度、さらには各々の校正用ラインの縦軸方向の位置とから、次のようにして、ステレオカメラ10から校正用ライン72A、72B、72Cまでの距離を各々算出する。
図8に示すように、演算処理回路20は、画像の下端からの画素数H_pixelの位置(Y座標の値)に対応する角度θ'を次式(8)により算出する。
θ'=Δθ×H_pixel ・・・(8)
θ'=Δθ×H_pixel ・・・(8)
次に、演算処理回路20は、ステレオカメラ10から校正用ライン72Aまでの距離LAを次式(9)により算出する。
LA=DA×cosθ" ・・・(9)
ここで、DAはステレオカメラ10の視点から校正用ライン72Aまでの直線距離である。また、θ"は、ステレオカメラ10がθcameraの角度で設置されているとき、ステレオカメラ10の視点と例えば校正用ライン72Aとを結んだ直線と路面に対する平行線とがなす角度であり、上記式(5)により得られる。
LA=DA×cosθ" ・・・(9)
ここで、DAはステレオカメラ10の視点から校正用ライン72Aまでの直線距離である。また、θ"は、ステレオカメラ10がθcameraの角度で設置されているとき、ステレオカメラ10の視点と例えば校正用ライン72Aとを結んだ直線と路面に対する平行線とがなす角度であり、上記式(5)により得られる。
このθ"の値を式(9)に代入することによってステレオカメラ10から例えば校正用ライン72Aまでの距離LAが算出される。なお、ステレオカメラ10から、その他の校正用ライン72B、72Cまでの距離LB、LCも同様に算出される。
次に、演算処理回路20は、上記のようにして算出されたステレオカメラ10から各校正用ライン72A、72B、72Cまでの距離LA、LB、LCのなかで、ステレオカメラ10からマークMまでの所定の距離Lに最も近い校正用ラインを有効校正用ラインとして判定する(ステップS202)。この所定の距離Lは予め機器に設定しておいてもよいし、ユーザが実際のステレオカメラ10とマークMとの間を実測した距離Lを入力するようにしてもよい。図10の例においては、校正用ライン72Aが有効校正用ラインとして判定される。なお、校正用ラインは、画像の座標空間におけるすべてのライン、あるいは画像の座標空間における特定の高さ範囲内のすべてのライン、あるいはN(Nは1以上の値)本置きの複数のラインであってもよい。
次に、演算処理回路20は、画像の座標空間における有効校正用ラインの縦軸方向の位置と、ステレオカメラ10によって撮像された画像の座標空間におけるマークMの縦軸方向の位置との差を算出し(ステップS203)、有意な差がある場合には(ステップS204のYES)、その差が小さくなるようにステレオカメラ10の設置角度θcameraを更新する(ステップS205)。例えば、画像の座標空間において有効校正用ラインがマークMよりも遠くの位置にある場合には、設置角度θcameraを増大させ、逆に有効校正用ラインがマークMよりも手前にある場合には設置角度θcameraを減少させる。このとき演算処理回路20が、ステレオカメラ10の設置角度θcameraの最適な増減量を、画像の座標空間における有効校正用ラインの縦軸方向の位置と、ステレオカメラ10によって撮像された画像の座標空間におけるマークMの縦軸方向の位置との差から一意に求めるようにしてもよい。
ステレオカメラ10の設置角度θcameraを更新した場合、演算処理回路20は、複数の校正用ライン72A、72B、72Cのそれぞれについて、ステレオカメラ10からの距離LA、LB、LCを再度算出し、有効校正用ラインの判定、画像の座標空間における有効校正用ラインの縦軸方向の位置とステレオカメラ10によって撮像された画像の座標空間におけるマークMの縦軸方向の位置との差の算出、さらにはステレオカメラ10の設置角度θcameraの更新を同様に行う。以上の処理を繰り返し、画像の座標空間における有効校正用ラインの縦軸方向の位置と、ステレオカメラ10によって撮像された画像の座標空間におけるマークMの縦軸方向の位置との差が零または最小となった時点の設置角度θcameraを最適値として決定する(ステップS206)。
以上で、第2の校正方法による設置角度θcameraの校正が完了する。
以上で、第2の校正方法による設置角度θcameraの校正が完了する。
なお、2回目以後の処理リサイクルにおいて、校正用ラインについての距離の算出は、一回目の処理リサイクルで判定された有効校正用ラインについてのみ、画像の座標空間における有効校正用ラインの縦軸方向の位置と、ステレオカメラ10によって撮像された画像の座標空間におけるマークMの縦軸方向の位置との差を算出するようにしてもよい。
(第3の校正方法について)
次に、ステレオカメラ10の設置高さHと設置角度θcameraの両方を校正対象とする第3の校正方法について説明する。
この第3の校正方法では、例えば、図11に示すように、路面70に車線方向において互いに離間して複数のマークM1、M2が設けられる。以下、マークM1を「第1マークM1」、マークM2を「第2マークM2」と呼ぶ。これら第1マークM1および第2マークM2は、例えば、レーザー変位計などを用いて、ステレオカメラ10からの所定の距離L1、L2にあたる位置を精度良く検出して設けられる。この例では、L1>L2とする。
次に、ステレオカメラ10の設置高さHと設置角度θcameraの両方を校正対象とする第3の校正方法について説明する。
この第3の校正方法では、例えば、図11に示すように、路面70に車線方向において互いに離間して複数のマークM1、M2が設けられる。以下、マークM1を「第1マークM1」、マークM2を「第2マークM2」と呼ぶ。これら第1マークM1および第2マークM2は、例えば、レーザー変位計などを用いて、ステレオカメラ10からの所定の距離L1、L2にあたる位置を精度良く検出して設けられる。この例では、L1>L2とする。
図12は、ステレオカメラ10の設置パラメータの第3の校正方法の手順を示すフローチャートである。
まず、演算処理回路20は、ステレオカメラ10の設置パラメータ(設置高さHおよび設置角度θcamera)と距離L2の値から、ステレオカメラ10により撮像される画像の座標空間における縦軸方向の位置を算出する(ステップS301)。この処理は、上記(4)式から(7)式により行われる。
まず、演算処理回路20は、ステレオカメラ10の設置パラメータ(設置高さHおよび設置角度θcamera)と距離L2の値から、ステレオカメラ10により撮像される画像の座標空間における縦軸方向の位置を算出する(ステップS301)。この処理は、上記(4)式から(7)式により行われる。
次に、演算処理回路20は、求めた縦軸方向の位置と、ステレオカメラ10によって撮像された画像の座標空間における第2マークM2の像の縦軸方向の位置との差を算出し(ステップS302)、有意な差がある場合には(ステップS303のYES)、その差が0または最小となるようにステレオカメラ10の設置高さHを更新し(ステップS304)、ステップS305に移行する。有意な差がない場合には(ステップS303のNO)、設置高さHを更新せずにステップS305に移行する。
ステップS305において、演算処理回路20は、ステレオカメラ10の設置パラメータと距離L1の値から、ステレオカメラ10により撮像される画像の座標空間における縦軸方向の位置を算出する(ステップS305)。この処理は、上記(4)式から(7)式により行われる。
次に、演算処理回路20は、求めた縦軸方向の位置と、ステレオカメラ10によって撮像された画像の座標空間における第1マークM1の像の縦軸方向の位置との差を算出し(ステップS306)、有意な差がなければ(ステップS307のNO)、現在のステレオカメラ10の設置パラメータを校正結果として決定する(ステップS310)。有意な差がある場合には(ステップS307のYES)、その差が0または最小となるようにステレオカメラ10の設置角度θcameraを更新する(ステップS308)。
ステレオカメラ10の設置角度θcameraを更新した場合、現在の設置高さHを再評価するために、演算処理回路20は、ステップS301に戻り、ステップS303で有意な差がなければ(ステップS303のNO)、ステップS309で設置角度θcameraの更新が完了しているかどうかを判断し、設置角度θcameraの更新が完了してならば現在のステレオカメラ10の設置パラメータを校正結果として決定する(ステップS310)。
また、有意な差がある場合には(ステップS303のYES)、その差が0または最小となるようにステレオカメラ10の設置高さHをステップS304で再度更新する。ステレオカメラ10の設置高さHを再更新した場合には、演算処理回路20は、現在の設置角度θcameraを再評価するために、ステップS305に移動し、以降の動作が繰り返される。
以上のように、第3の校正方法では、第2のマークM2を用いたステレオカメラ10の設置高さHの調整と、第1のマークM1を用いたステレオカメラ10の設置角度θcameraの調整とが交互に繰り返し行われることによって設置パラメータの校正が行われる。
なお、第3の校正方法では、第1のマークM1をステレオカメラ10の設置高さHの調整に用い、第2のマークM2をステレオカメラ10の設置角度θcameraの調整に用いてもよい。
(設置角度、設置高さの変更方法について)
ステレオカメラ10の設置角度θcameraの変更は、例えば、ステレオカメラ10の撮像素子から像を読み出す位置を縦軸方向に全体的にシフトすることによって行うことができる。この場合には、ステレオカメラ10の撮像素子の縦軸方向の全体画素数は像が読み出される縦軸方向の画素数よりも大きい必要がある。また、ステレオカメラ10の設置角度θcameraの変更は、ステレオカメラ10の光軸11の向きをカメラアクチュエータ80によりメカニカルに変更することによって行われてもよい。
ステレオカメラ10の設置角度θcameraの変更は、例えば、ステレオカメラ10の撮像素子から像を読み出す位置を縦軸方向に全体的にシフトすることによって行うことができる。この場合には、ステレオカメラ10の撮像素子の縦軸方向の全体画素数は像が読み出される縦軸方向の画素数よりも大きい必要がある。また、ステレオカメラ10の設置角度θcameraの変更は、ステレオカメラ10の光軸11の向きをカメラアクチュエータ80によりメカニカルに変更することによって行われてもよい。
ステレオカメラ10の設置高さHの変更は、ステレオカメラ10の鏡筒を垂直方向にカメラアクチュエータ80によりメカニカルに移動させることなどによって行うことが可能である。
[応用例]
次に、上記の各実施形態の応用例を説明する。
ステレオカメラ10は車体に取付金具を用いて取り付けられるため、取付金具の経年劣化やビス孔のガタなどにより走行時に受ける振動によりステレオカメラ10の設置高さや設置角度などの設置パラメータが変動する可能性がある。車両の点検の際に設置パラメータの校正を上記の実施形態の方法により行うことによって、最低限の保守を行うことは可能であるが、より高頻度に設置パラメータを校正できることが望まれる。
次に、上記の各実施形態の応用例を説明する。
ステレオカメラ10は車体に取付金具を用いて取り付けられるため、取付金具の経年劣化やビス孔のガタなどにより走行時に受ける振動によりステレオカメラ10の設置高さや設置角度などの設置パラメータが変動する可能性がある。車両の点検の際に設置パラメータの校正を上記の実施形態の方法により行うことによって、最低限の保守を行うことは可能であるが、より高頻度に設置パラメータを校正できることが望まれる。
そこで、公道などを車両が走行中に自動的にステレオカメラ10の設置パラメータを校正することのできるシステムが考えられる。この場合、公道などの路面にマークMが設けられ、このマークMより手前の所定の距離Lの位置を車両のステレオカメラ10が通過するタイミングで、ステレオカメラ10による路面の撮像が行われればよい。
図13Aおよび図13Bは、公道などを車両が走行中に自動的にステレオカメラ10の設置パラメータを校正する場合に、ステレオカメラ10に正確な撮像タイミングを与えるための構成を示す図である。
ステレオカメラ10の撮像タイミングを正確に与えるために、光センサー、カメラなどの車両検知器110、110が用いられる。車両検知器110、110を車線方向において異なる位置に複数機設けることによって、各車両検知器110、110の間の車両Cの通過速度と通過タイミングを検出し、通過速度および信号の送受信などを含む諸々の処理による遅延時間を考慮して、マークMより手前の所定の距離Lの位置でステレオカメラ10による撮像が行われるようにする。
ステレオカメラ10の撮像タイミングを正確に与えるために、光センサー、カメラなどの車両検知器110、110が用いられる。車両検知器110、110を車線方向において異なる位置に複数機設けることによって、各車両検知器110、110の間の車両Cの通過速度と通過タイミングを検出し、通過速度および信号の送受信などを含む諸々の処理による遅延時間を考慮して、マークMより手前の所定の距離Lの位置でステレオカメラ10による撮像が行われるようにする。
このような車両検知器110、110およびマークMを、車線方向に連続して、複数のセット配置することによって、設置パラメータの上記第1の校正方法または第2の校正方法による校正処理を行うことができる。
なお、マークMより手前の所定の距離Lの位置を車両のステレオカメラ10が通過するタイミングを生成する方法としては、車両検知器110、110を用いる方法の他、マークMより手前の所定の距離Lの位置よりもさらに手前の位置に、車両通過タイミングの生成のための複数のマークを車線方向において互いに離間して設けておき、車両に設けられた光センサー、カメラなどの検出器でこれらを検出して行うことも可能である。
また、本応用例は、上記第3の校正方法にも応用することが可能である。
本発明は、路面を走行する車両に適用されるだけでなく、室内の床面を移動する各種運搬用の機器やロボットなどにも適用することが可能である。
Claims (6)
- 移動可能な物体に取り付けられ、前記物体が移動する先の路面の高さを検出するために前記路面を撮像するステレオカメラの設置パラメータ校正方法であって、
前記ステレオカメラの位置から所定の距離にマークが設けられた路面を前記ステレオカメラにより撮像し、
前記設置パラメータと前記所定の距離の値とを用いて、前記ステレオカメラにより撮像される画像の座標空間における縦軸方向の位置を求め、
前記求めた縦軸方向の位置と前記撮像されたマークの前記座標空間における縦軸方向の位置とを比較し、
前記比較結果をもとに前記設置パラメータを校正する
ステレオカメラの設置パラメータ校正方法。 - 請求項1に記載のステレオカメラの設置パラメータ校正方法であって、
前記縦軸方向の位置は、
前記ステレオカメラにより撮像される画像の座標空間において、予め決められた縦軸方向の複数の位置にそれぞれ対応する前記ステレオカメラからの距離を前記設置パラメータを用いてそれぞれ算出し、
前記算出された複数の距離の中で前記所定の距離に最も近い距離に対応する、前記座標空間における縦軸方向の位置を判定することによって求められ、
前記判定された位置と前記撮像されたマークの前記座標空間における縦軸方向の位置とを比較し、
前記比較結果をもとに前記設置パラメータを校正する
ステレオカメラの設置パラメータ校正方法。 - 請求項2に記載のステレオカメラの設置パラメータ校正方法であって、
前記判定された位置と前記撮像されたマークの前記座標空間における縦軸方向の位置とが一致するように前記設置パラメータを校正する
ステレオカメラの設置パラメータ校正方法。 - 請求項1に記載のステレオカメラの設置パラメータ校正方法であって、
前記設置パラメータが、前記ステレオカメラの設置高さと設置角度であり、校正対象の前記設置パラメータが前記設置高さと設置角度のうち少なくとも一方である
ステレオカメラの設置パラメータ校正方法。 - 請求項1に記載のステレオカメラの設置パラメータ校正方法であって、
校正対象の前記設置パラメータが、前記ステレオカメラの設置高さと設置角度であり、
前記マークは、前記ステレオカメラの位置から所定の第1距離に設けられた第1マークと、前記ステレオカメラの位置から前記第1距離と異なる所定の第2距離に設けられた第2マークと、を備え、
前記設置パラメータと前記所定の第2距離とを用いて、前記ステレオカメラにより撮像される画像の座標空間における縦軸方向の第1の位置を求め、
前記第1の位置と前記撮像された第2マークの像の前記座標空間における縦軸方向の位置とを比較して前記ステレオカメラの設置高さを更新し、
前記更新された設置高さを含む設置パラメータと前記所定の第1距離とを用いて、前記ステレオカメラにより撮像される画像の座標空間における縦軸方向の第2の位置を求め、
前記第2の位置と前記撮像された第2マークの像の前記座標空間における縦軸方向の位置を比較して前記ステレオカメラの設置角度を更新する
ステレオカメラの設置パラメータ校正方法。 - 請求項1に記載のステレオカメラの設置パラメータ校正方法であって、
前記物体の移動中、前記路面に設けられた前記マークの位置から所定の距離手前の位置を前記物体が通過するタイミングで、前記マークが設けられた路面を前記ステレオカメラにより撮像する
ステレオカメラの設置パラメータ校正方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016-112088 | 2016-06-03 | ||
JP2016112088A JP6209648B1 (ja) | 2016-06-03 | 2016-06-03 | ステレオカメラの設置パラメータ校正方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017209015A1 true WO2017209015A1 (ja) | 2017-12-07 |
Family
ID=59997756
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/019782 WO2017209015A1 (ja) | 2016-06-03 | 2017-05-26 | ステレオカメラの設置パラメータ校正方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6209648B1 (ja) |
WO (1) | WO2017209015A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112446925A (zh) * | 2020-10-20 | 2021-03-05 | 广州视源电子科技股份有限公司 | 摄像设备参数标定方法、设备及*** |
WO2021171758A1 (ja) * | 2020-02-27 | 2021-09-02 | 株式会社日立製作所 | 測距センサの校正システム、及び測距センサの校正方法 |
JP2023504298A (ja) * | 2020-01-22 | 2023-02-02 | ノダー インコーポレイテッド | 非剛性ステレオ・ビジョン・カメラ・システム |
US11782145B1 (en) | 2022-06-14 | 2023-10-10 | Nodar Inc. | 3D vision system with automatically calibrated stereo vision sensors and LiDAR sensor |
US11834038B2 (en) | 2020-01-22 | 2023-12-05 | Nodar Inc. | Methods and systems for providing depth maps with confidence estimates |
US12043283B2 (en) | 2021-10-08 | 2024-07-23 | Nodar Inc. | Detection of near-range and far-range small objects for autonomous vehicles |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7211891B2 (ja) * | 2019-05-17 | 2023-01-24 | 株式会社キーエンス | 三次元座標測定装置 |
CN111288890A (zh) * | 2020-02-13 | 2020-06-16 | 福建农林大学 | 基于双目摄影测量技术的道路标志尺寸及高度自动测量方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001116515A (ja) * | 1999-10-21 | 2001-04-27 | Matsushita Electric Ind Co Ltd | キャリブレーション方法 |
JP2006148701A (ja) * | 2004-11-22 | 2006-06-08 | Fuji Photo Film Co Ltd | デジタルカメラの位置校正システム、および方法 |
JP2012159470A (ja) * | 2011-02-02 | 2012-08-23 | Toyota Motor Corp | 車両用画像認識装置 |
US20130147957A1 (en) * | 2011-12-12 | 2013-06-13 | Mobileye Technologies Ltd. | Detection of obstacles at night by analysis of shadows |
JP2013190281A (ja) * | 2012-03-13 | 2013-09-26 | Honda Elesys Co Ltd | 設置状態検出システム、設置状態検出装置、及び設置状態検出方法 |
JP2014089548A (ja) * | 2012-10-30 | 2014-05-15 | Sharp Corp | 路面段差検出方法、路面段差検出装置、路面段差検出装置を備えた車両 |
JP2016225719A (ja) * | 2015-05-27 | 2016-12-28 | 京セラ株式会社 | ステレオカメラ装置、車両、および較正方法 |
-
2016
- 2016-06-03 JP JP2016112088A patent/JP6209648B1/ja not_active Expired - Fee Related
-
2017
- 2017-05-26 WO PCT/JP2017/019782 patent/WO2017209015A1/ja active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001116515A (ja) * | 1999-10-21 | 2001-04-27 | Matsushita Electric Ind Co Ltd | キャリブレーション方法 |
JP2006148701A (ja) * | 2004-11-22 | 2006-06-08 | Fuji Photo Film Co Ltd | デジタルカメラの位置校正システム、および方法 |
JP2012159470A (ja) * | 2011-02-02 | 2012-08-23 | Toyota Motor Corp | 車両用画像認識装置 |
US20130147957A1 (en) * | 2011-12-12 | 2013-06-13 | Mobileye Technologies Ltd. | Detection of obstacles at night by analysis of shadows |
JP2013190281A (ja) * | 2012-03-13 | 2013-09-26 | Honda Elesys Co Ltd | 設置状態検出システム、設置状態検出装置、及び設置状態検出方法 |
JP2014089548A (ja) * | 2012-10-30 | 2014-05-15 | Sharp Corp | 路面段差検出方法、路面段差検出装置、路面段差検出装置を備えた車両 |
JP2016225719A (ja) * | 2015-05-27 | 2016-12-28 | 京セラ株式会社 | ステレオカメラ装置、車両、および較正方法 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023504298A (ja) * | 2020-01-22 | 2023-02-02 | ノダー インコーポレイテッド | 非剛性ステレオ・ビジョン・カメラ・システム |
JP7319003B2 (ja) | 2020-01-22 | 2023-08-01 | ノダー インコーポレイテッド | 非剛性ステレオ・ビジョン・カメラ・システム |
US11834038B2 (en) | 2020-01-22 | 2023-12-05 | Nodar Inc. | Methods and systems for providing depth maps with confidence estimates |
US11983899B2 (en) | 2020-01-22 | 2024-05-14 | Nodar Inc. | Stereo vision camera system that tracks and filters calibration parameters |
WO2021171758A1 (ja) * | 2020-02-27 | 2021-09-02 | 株式会社日立製作所 | 測距センサの校正システム、及び測距センサの校正方法 |
JP2021135174A (ja) * | 2020-02-27 | 2021-09-13 | 株式会社日立製作所 | 測距センサの校正システム、及び測距センサの校正方法 |
JP7386098B2 (ja) | 2020-02-27 | 2023-11-24 | 株式会社日立製作所 | 測距センサの校正システム、及び測距センサの校正方法 |
CN112446925A (zh) * | 2020-10-20 | 2021-03-05 | 广州视源电子科技股份有限公司 | 摄像设备参数标定方法、设备及*** |
CN112446925B (zh) * | 2020-10-20 | 2024-02-23 | 广州视源电子科技股份有限公司 | 摄像设备参数标定方法、设备及*** |
US12043283B2 (en) | 2021-10-08 | 2024-07-23 | Nodar Inc. | Detection of near-range and far-range small objects for autonomous vehicles |
US11782145B1 (en) | 2022-06-14 | 2023-10-10 | Nodar Inc. | 3D vision system with automatically calibrated stereo vision sensors and LiDAR sensor |
Also Published As
Publication number | Publication date |
---|---|
JP2017219356A (ja) | 2017-12-14 |
JP6209648B1 (ja) | 2017-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6209648B1 (ja) | ステレオカメラの設置パラメータ校正方法 | |
JP6577661B2 (ja) | 路面変位検出装置およびサスペンション制御方法 | |
JP5293131B2 (ja) | 車両用複眼距離測定装置及び複眼距離測定方法 | |
JP6602982B2 (ja) | 車載カメラ、車載カメラの調整方法、車載カメラシステム | |
JP2001091245A (ja) | ステレオ画像処理装置 | |
JP6515650B2 (ja) | 校正装置、距離計測装置及び校正方法 | |
JP2008039491A (ja) | ステレオ画像処理装置 | |
JP5434608B2 (ja) | 測位装置及び測位方法 | |
US10984258B2 (en) | Vehicle traveling environment detecting apparatus and vehicle traveling controlling system | |
JP6895371B2 (ja) | 情報処理装置及びサスペンション制御方法 | |
JP2008304248A (ja) | 車載用ステレオカメラの校正方法、車載用距離画像生成装置及びプログラム | |
WO2017042998A1 (ja) | 車載用ステレオカメラ装置、およびその補正方法 | |
WO2019203001A1 (ja) | ステレオカメラ装置 | |
JP2018136739A (ja) | キャリブレーション装置 | |
WO2019058729A1 (ja) | ステレオカメラ | |
WO2017188158A1 (ja) | 路面状態検出装置 | |
JP6489645B2 (ja) | 画像処理装置 | |
JP2020047059A (ja) | 車両の走行環境検出装置及び走行制御システム | |
JP6699902B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2014238558A (ja) | 撮像装置及び視差検出方法 | |
WO2017042995A1 (ja) | 車載用ステレオカメラ装置、およびその補正方法 | |
JP2000121354A (ja) | 距離計測方法 | |
JP6865660B2 (ja) | 距離算出装置および距離算出パラメータの設定方法 | |
JP6704307B2 (ja) | 移動量算出装置および移動量算出方法 | |
JPH09126759A (ja) | 車載カメラによる測距方法およびそれを用いる測距装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17806570 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17806570 Country of ref document: EP Kind code of ref document: A1 |