JP5991842B2 - Mounting angle correction device and mounting angle correction method for in-vehicle camera - Google Patents
Mounting angle correction device and mounting angle correction method for in-vehicle camera Download PDFInfo
- Publication number
- JP5991842B2 JP5991842B2 JP2012093350A JP2012093350A JP5991842B2 JP 5991842 B2 JP5991842 B2 JP 5991842B2 JP 2012093350 A JP2012093350 A JP 2012093350A JP 2012093350 A JP2012093350 A JP 2012093350A JP 5991842 B2 JP5991842 B2 JP 5991842B2
- Authority
- JP
- Japan
- Prior art keywords
- correction
- parameter
- mounting angle
- vehicle
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、車載カメラの取付角度補正装置および取付角度補正方法に関し、特に、路上のレーンマークを検出する際の画像処理に用いる画像を撮影するために車両に搭載された車載カメラの取付角度パラメータを補正する装置に関するものである。 The present invention relates to a mounting angle correction device and mounting angle correction method for an in-vehicle camera, and in particular, to an mounting angle parameter for an in-vehicle camera mounted on a vehicle in order to take an image used for image processing when detecting a lane mark on a road. It is related with the apparatus which correct | amends.
従来、走行中の車両が車線から逸脱する恐れがある場合に警報を発する車線逸脱警報装置が提供されている。この種の車線逸脱警報装置では一般的に、車載カメラにより撮影された画像の処理によって路上のレーンマーク(車線境界線)を検出し、検出したレーンマークを跨いで車両が車線から逸脱する恐れがある場合に、警報を発するようになされている。 2. Description of the Related Art Conventionally, there has been provided a lane departure warning device that issues a warning when a running vehicle may deviate from a lane. In this type of lane departure warning device, generally, a lane mark (lane boundary line) on a road is detected by processing an image taken by an in-vehicle camera, and the vehicle may deviate from the lane across the detected lane mark. In some cases, an alarm is issued.
この車線逸脱警報装置においては、撮影画像内から抽出されたレーンマークを3次元座標の路面(平面)に投影した上で、車両がレーンマークを跨いで車線から逸脱する恐れがあるか否かを判定している。なお、3次元座標の路面への投影とは、車載カメラより入力した撮影画像を、車両上方の仮想視点から見た真上からの画像に視点変換することをいう。 In this lane departure warning device, the lane mark extracted from the captured image is projected onto the road surface (plane) of three-dimensional coordinates, and whether or not the vehicle may depart from the lane across the lane mark is determined. Judgment. In addition, the projection to the road surface of a three-dimensional coordinate means viewpoint-converting the picked-up image input from the vehicle-mounted camera into the image from right above seen from the virtual viewpoint above a vehicle.
この視点変換を行うために、車載カメラの取り付け時にキャリブレーションを行うことによって、カメラパラメータ(取付位置、取付角度)をあらかじめ算出して記憶しておく必要がある。このカメラパラメータを正確に求めておくことにより、当該カメラパラメータを用いて3次元座標の路面への投影した左右のレーンマークが平行となり、車線逸脱の恐れを精度良く判定することが可能となる。 In order to perform this viewpoint conversion, it is necessary to calculate and store camera parameters (attachment position and attachment angle) in advance by performing calibration at the time of attaching the in-vehicle camera. By accurately obtaining the camera parameters, the left and right lane marks projected onto the road surface of the three-dimensional coordinates using the camera parameters become parallel, and it is possible to accurately determine the risk of lane departure.
しかしながら、荷物の積載量や加減速などに起因する車両の姿勢変化により、車載カメラと路面との位置関係(特に、ピッチ角)がキャリブレーション時から変化することがある。この場合、キャリブレーションによって求めたカメラパラメータを用いてレーンマークを検出すると、その検出位置に誤差(ピッチ角1度につき10〜15cm)が生じ、レーンマーク逸脱の警報を適切に行うことできなくなってしまうという問題があった。 However, the positional relationship (particularly, the pitch angle) between the in-vehicle camera and the road surface may change from the time of calibration due to a change in the posture of the vehicle due to the load amount of the load or acceleration / deceleration. In this case, if the lane mark is detected using the camera parameters obtained by the calibration, an error (10 to 15 cm per pitch angle) occurs at the detected position, and the lane mark deviation warning cannot be properly performed. There was a problem that.
このような問題を解決するための手段として、車両の走行状態に応じてカメラパラメータを補正する技術が提案されている(例えば、特許文献1参照)。この特許文献1に記載の技術では、車両が所定速度以上で直進走行中であり、かつ、視点変換された1組のレーンマークが平行でない(挟み角が所定値以上である)場合に、当該1組のレーンマークが平行になるよう車載カメラのピッチ角を補正するように成されている。 As means for solving such a problem, a technique for correcting camera parameters in accordance with the traveling state of a vehicle has been proposed (see, for example, Patent Document 1). In the technique described in Patent Document 1, when the vehicle is traveling straight ahead at a predetermined speed or more and the set of lane marks whose viewpoints are changed are not parallel (the sandwich angle is not less than a predetermined value), The pitch angle of the in-vehicle camera is corrected so that one set of lane marks are parallel.
上記特許文献1に記載の技術では、車両が所定速度以上で直進走行中であり、かつ、視点変換された1組のレーンマークが平行でないという条件を付けて、これらの条件を満たす場合に限り、カメラパラメータを補正している。このような条件だと、以下の(1)〜(3)に示すようなケースでも、カメラパラメータの補正を行うことになる。
(1)路面の凹凸により車両に姿勢変化が生じている場合
(2)坂道の上り始め/下り始めの場合
(3)道路幅員の増減によってレーンマークそのものが平行でない場合
In the technique described in Patent Document 1, only when the vehicle is traveling straight ahead at a predetermined speed or more, and the condition that the set of lane marks whose viewpoints are changed is not parallel, these conditions are satisfied. The camera parameters are corrected. Under such conditions, the camera parameters are corrected even in the following cases (1) to (3).
(1) When the vehicle is changing its posture due to road surface irregularities
(2) In the case of the beginning of ascent / descent on the slope
(3) When the lane mark itself is not parallel due to increase or decrease in road width
しかしながら、上記(1)および(2)のケースは、荷物の積載量や加減速とは全く異なるイレギュラーな要因により、車両の姿勢変化が一時的に生じているに過ぎない。上記(3)のケースに関しては、レーンマークが平行でないことが正しいのであるから、カメラパラメータの補正は本来的に必要でない。そのため、特許文献1に記載の条件を満たしたときに直ちにカメラパラメータの補正を行うと、本来補正すべきでないカメラパラメータが補正されてしまい、誤差が増大してしまう。その結果、レーンマークの位置を正しく検出できなくなってしまうという問題があった。 However, in the cases (1) and (2) above, the change in the posture of the vehicle is only temporarily caused by irregular factors that are completely different from the load capacity and acceleration / deceleration. In the case of (3) above, it is correct that the lane marks are not parallel, so correction of camera parameters is not inherently necessary. Therefore, if camera parameters are corrected immediately when the conditions described in Patent Document 1 are satisfied, camera parameters that should not be corrected are corrected, and errors increase. As a result, there is a problem that the position of the lane mark cannot be detected correctly.
また、キャリブレーション時に設定されたカメラパラメータと、補正によって算出されたカメラパラメータとの間に大きな差があった場合、補正前のカメラパラメータによって視点変換されたレーンマークの位置と、補正後のカメラパラメータによって視点変換されたレーンマークの位置とが急激に変わってしまう。そのため、レーンマーク検出の位置精度が悪化してしまうことがあった。これは、撮影画像内からレーンマークを検出する際に、前回検出されたレーンマークの位置から今回のレーンマークの位置を推定する処理が行われるのであるが、その推定に前回のレーンマークの位置を利用できない場合が生じるからである。 In addition, if there is a large difference between the camera parameters set at the time of calibration and the camera parameters calculated by correction, the position of the lane mark converted by the viewpoint of the camera parameter before correction and the camera after correction The position of the lane mark whose viewpoint is changed according to the parameter changes abruptly. Therefore, the position accuracy of lane mark detection may be deteriorated. This is because when the lane mark is detected from the captured image, the process of estimating the position of the current lane mark from the position of the lane mark detected last time is performed. This is because there is a case where it cannot be used.
本発明は、このような問題を解決するために成されたものであり、撮影画像内から検出されるレーンマークを用いたカメラパラメータ(取付角度パラメータ)の補正精度を向上させることにより、レーンマーク検出の位置精度を向上させることができるようにすることを目的とする。 The present invention has been made to solve such a problem, and improves lane marks by improving the correction accuracy of camera parameters (mounting angle parameters) using lane marks detected from captured images. It is an object of the present invention to improve detection position accuracy.
上記した課題を解決するために、本発明では、撮影画像内から検出された1組のレーンマークが平行となるように車載カメラの取付角度パラメータの補正値を所定時間毎に算出し、当該補正値のN回(Nは2以上)分のバラツキが所定値以下のときに、当該補正値に基づいて取付角度パラメータの補正を行うようにしている。 In order to solve the above-described problem, in the present invention, a correction value of the mounting angle parameter of the in-vehicle camera is calculated every predetermined time so that a set of lane marks detected in the captured image are parallel, and the correction is performed. When the variation of the value N times (N is 2 or more) is equal to or less than a predetermined value, the mounting angle parameter is corrected based on the correction value.
本発明の他の態様では、補正値を用いて取付角度パラメータを補正する際に、現在の取付角度パラメータを補正値に段階的に近づけていくように補正を行うようにしている。 In another aspect of the present invention, when the attachment angle parameter is corrected using the correction value, the current attachment angle parameter is corrected so as to approach the correction value stepwise.
上記のように構成した本発明によれば、路面の凹凸や坂道の上り始め/下り始めなどにより車両の姿勢が一時的に変化している場合や、道路幅員が増減する区間においてレーンマークそのものが一時的に平行でなくなる場合など、イレギュラーなケースで一時的に取付角度パラメータの補正値が算出されたとしても、N回分の補正値のバラツキが所定値より大きくなるため、取付角度パラメータの補正は実施されなくなる。そのため、本来補正すべきでない取付角度パラメータが補正されて誤差が増大してしまうという不都合を防止することができる。その結果、取付角度パラメータの補正精度が向上し、レーンマーク検出の位置精度を向上させることができる。 According to the present invention configured as described above, the lane mark itself is displayed in a case where the posture of the vehicle is temporarily changed due to unevenness on the road surface or the start of ascending / descending of a slope, or in a section where the road width increases or decreases. Even if the correction value of the mounting angle parameter is temporarily calculated in an irregular case such as when it is temporarily not parallel, the variation of the correction value for N times becomes larger than the predetermined value, so that the correction of the mounting angle parameter Will no longer be implemented. Therefore, it is possible to prevent the inconvenience that the mounting angle parameter that should not be corrected is corrected and the error increases. As a result, the correction accuracy of the attachment angle parameter is improved, and the position accuracy of lane mark detection can be improved.
また、本発明の他の態様によれば、現在の取付角度パラメータと、補正値として算出された取付角度パラメータの間に大きな差がある場合であっても、その補正値によって一気に取付角度パラメータが補正されることはなく、段階的に徐々に補正されていく。そのため、補正前の取付角度パラメータによって視点変換されるレーンマークの位置と、補正後の取付角度パラメータによって視点変換されるレーンマークの位置とが急激に変わってしまうことがなくなる。その結果、前回検出されたレーンマークの位置を今回のレーンマークの位置の推定に有効に利用することができ、レーンマーク検出の位置精度を向上させることができる。 In addition, according to another aspect of the present invention, even when there is a large difference between the current mounting angle parameter and the mounting angle parameter calculated as the correction value, the mounting angle parameter is changed at a stroke by the correction value. It is not corrected, and is gradually corrected in stages. Therefore, the position of the lane mark whose viewpoint is converted by the pre-correction mounting angle parameter and the position of the lane mark whose viewpoint is converted by the post-correction mounting angle parameter do not change suddenly. As a result, the position of the lane mark detected last time can be used effectively for estimation of the position of the current lane mark, and the position accuracy of lane mark detection can be improved.
以下、本発明の一実施形態を図面に基づいて説明する。図1は、本実施形態による車載カメラの取付角度補正装置100の機能構成例を示すブロック図である。図1に示すように、本実施形態の取付角度補正装置100は、車両に搭載された車載機に組み込まれるものであり、車載カメラ200に接続されている。車載カメラ200は、例えば、車両の後方に設置されたリアカメラである。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating a functional configuration example of an in-vehicle camera mounting
取付角度補正装置100は、その機能構成として、レーンマーク検出部1、視点変換部2、直線性判定部3、走行速度判定部4、平行性判定部5、直進性判定部6、パラメータ補正部7およびパラメータ記憶部8を備えている。また、レーンマーク検出部1は、具体的な機能構成として、スライス抽出部11を備えている。また、直線性判定部3は、具体的な機能構成として、直線算出部31および誤差判定部32を備えている。
The mounting
なお、図1に示す各機能ブロック1〜7は、ハードウェア構成、DSP、ソフトウェアの何れによっても実現することが可能である。例えばソフトウェアによって実現する場合、上記各機能ブロック1〜7は、実際にはコンピュータのCPUあるいはMPU、RAM、ROMなどを備えて構成され、RAMやROMに記憶されたプログラムが動作することによって実現できる。 Note that each of the functional blocks 1 to 7 illustrated in FIG. 1 can be realized by any of a hardware configuration, a DSP, and software. For example, when realized by software, each of the functional blocks 1 to 7 is actually configured by including a computer CPU or MPU, RAM, ROM, and the like, and can be realized by operating a program stored in the RAM or ROM. .
図1において、レーンマーク検出部1は、車載カメラ200より入力される撮影画像内からレーンマークを所定時間毎に検出する。具体的には、レーンマーク検出部1のスライス抽出部11が、撮影画像を水平方向に1ラインずつスキャンしていったときに周囲との輝度差が大きくなる部分をスライスとして抽出し、複数のスライスの集合をレーンマークとして検出する。
In FIG. 1, a lane mark detection unit 1 detects a lane mark from a captured image input from the in-
図2および図3は、スライス抽出部11の処理を説明するための図である。まず、スライス抽出部11は、車載カメラ200より入力された撮影画像から、グレースケールの輝度画像を生成する。そして、スライス抽出部11は、図2に示すように、輝度画像を水平方向にスキャンして、閾値以上の輝度が一定間隔続く水平部分をラインとして取り出す。これを撮影画像の全体に対して行う。なお、取り出したラインの1つ1つを「スライス」という。
2 and 3 are diagrams for explaining the processing of the
次に、スライス抽出部11は、図3に示すように、取り出した各スライスに対して、垂直方向に隣接するスライスどうしで水平方向の座標値の少なくとも一部が重複している複数のスライスをグルーピングする。図3に示す例では、撮影画像内からスライスの3つのグループ1〜3が抽出されている。スライス抽出部11は、このようにしてグルーピングした複数のスライスの集合をそれぞれレーンマークとして検出する。
Next, as shown in FIG. 3, the
視点変換部2は、レーンマーク検出部1により検出された少なくとも1組のレーンマークの画像を、車載カメラ200の取付角度パラメータを含むカメラパラメータに基づいて3次元座標の平面上に投影する。具体的には、視点変換部2は、図4に示すように、各グループ1〜3のスライスを3次元座標の路面(Z=0)に投影する。なお、3次元座標の路面への投影とは、各スライスの集合から成るレーンマークの画像を、車両上方の仮想視点から見た真上からの画像に視点変換することをいう。3次元座標の原点は、車両中心の位置である。また、X軸において車両の前方がプラス、Y軸において車両の左側がプラスで右側がマイナスである。
The
この視点変換処理で用いるカメラパラメータは、パラメータ記憶部8に記憶されている。このカメラパラメータは、車載カメラ200の取り付け時にキャリブレーションを行うことによって算出されたものであるが、以下に述べるようにパラメータ補正部7によって適宜補正されるようになっている。本実施形態において補正の対象とするパラメータは、車載カメラ200の取付角度パラメータである。より具体的には、ピッチ角のパラメータである。
Camera parameters used in this viewpoint conversion process are stored in the
直線性判定部3は、視点変換部2により平面上に投影されたレーンマークが直線であるか否かを判定する。そして、その判定結果をパラメータ補正部7に通知する。具体的には、まず、直線算出部31において、レーンマーク検出部1のスライス抽出部11により抽出され視点変換部2により平面上に投影された複数のスライスのそれぞれの中点から、最小2乗法でレーンマークの近似直線式Y=aX+b(Z=0)を算出する。ここで、aは近似直線の傾き、bは近似直線のY切片である。
The linearity determination unit 3 determines whether the lane mark projected on the plane by the
図4に示した例において、スライスのグループ1から抽出される近似直線の直線式はY=a1X+b1、グループ2から抽出される近似直線の直線式はY=a2X+b2、グループ3から抽出される近似直線の直線式はY=a3X+b3である。
In the example shown in FIG. 4, the linear expression of the approximate straight line extracted from group 1 of the slice is Y = a1X + b1, the linear formula of the approximate straight line extracted from
ここで、直線算出部31は、各グループ1〜3について算出した近似直線の直線式のうち、傾きaおよびY切片bの値がある範囲内に入る複数の直線式がある場合は、それらの直線式に該当するグループを1つにまとめる。図4の例では、グループ2とグループ3を1つのグループにまとめている。そして、直線算出部31は、1つにまとめたグループについて、その中に含まれる各スライスの情報から1本の近似直線を再度抽出する。その結果、まとめた近似直線の直線式はY=a4X+b4となる。
Here, when there are a plurality of linear expressions that fall within a certain range of values of the slope a and the Y intercept b among the linear expressions of the approximate straight lines calculated for each of the groups 1 to 3, The group corresponding to the linear expression is combined into one. In the example of FIG. 4,
次に、誤差判定部32は、直線算出部31により算出された近似直線と、視点変換部2により平面上に投影された複数のスライスの中点との誤差の大きさからレーンマークの直線性を判定する。例えば、誤差判定部32は、近似直線と中点との誤差の大きさが所定値以上となるスライスが存在する場合に、レーンマークが直線ではないと判定する。
Next, the
例えば、図5に示すように、車両がカーブ路の直後を直進走行している場合、撮影画像の奥の方にカーブ形状のレーンマークが写り、手前の方に直線形状のレーンマークが写っている。この場合、直線形状のレーンマーク部分では近似直線とスライスの中点との誤差は所定値より小さくなるが、カーブ形状のレーンマーク部分(一点鎖線)の円で示した部分)では誤差が所定値以上となる。つまり、近似直線と中点との誤差の大きさが所定値以上となるスライスが存在するので、誤差判定部32はレーンマークが直線ではないと判定する。
For example, as shown in FIG. 5, when the vehicle is traveling straight on a curved road, a curved lane mark appears in the back of the captured image, and a straight lane mark appears in the front. Yes. In this case, the error between the approximate straight line and the midpoint of the slice is smaller than the predetermined value in the straight lane mark portion, but the error is a predetermined value in the curved lane mark portion (the portion indicated by a circle in the chain line). That's it. That is, since there is a slice in which the magnitude of the error between the approximate straight line and the midpoint exceeds a predetermined value, the
なお、誤差判定部32による直線性の判定方法は、この例に限定されるものではない。例えば、誤差判定部32は、近似直線の直線式Y=aX+bと各スライスの中点との誤差の大きさから、以下に示す算出式によって直線性評価値MatchingValueを算出し、当該直線性評価値が所定値より小さい場合にレーンマークが直線ではないと判定するようにしてもよい。
MatchingValue=1.0−Diffrence/MaxDiffrence
ただし、
Diffrence:直線式と各スライスの中点との距離の平均値
MaxDiffrence:距離誤差の閾値
Note that the linearity determination method by the
MatchingValue = 1.0−Diffrence / MaxDiffrence
However,
Diffrence: Average distance between the straight line expression and the midpoint of each slice
MaxDiffrence: Distance error threshold
走行速度判定部4は、車両の走行速度が所定値以上であるか否かを判定する。具体的には、走行速度判定部4は、図示しない車速センサにより検出された走行速度情報を入力し、当該入力した走行速度情報が所定値(例えば、45[km/h]以上を示しているか否かを判定する。そして、その判定結果をパラメータ補正部7に通知する。 The traveling speed determination unit 4 determines whether the traveling speed of the vehicle is equal to or higher than a predetermined value. Specifically, the travel speed determination unit 4 inputs travel speed information detected by a vehicle speed sensor (not shown), and whether the input travel speed information indicates a predetermined value (for example, 45 [km / h] or more). Then, the parameter correction unit 7 is notified of the determination result.
平行性判定部5は、視点変換部2により平面上に投影された1組のレーンマーク(車両の左右のレーンマーク)が平行であるか否かを判定する。具体的には、平行性判定部5は、視点変換部2により平面上に投影された1組のレーンマークについて直線算出部31により算出された直線式に基づいて、1組の直線式の角度差が所定値(例えば、1度)以上の場合に、1組のレーンマークが平行でないと判定する。そして、その判定結果をパラメータ補正部7に通知する。
The parallelism determination unit 5 determines whether or not the pair of lane marks (left and right lane marks of the vehicle) projected on the plane by the
直進性判定部6は、車両が直進走行しているか否かを判定する。具体的には、直進性判定部6は、視点変換部2により平面上に投影された1組のレーンマークについて直線算出部31により算出された直線式に基づいて、1組の直線式の角度が異符号であるか、角度相対角が所定値(例えば、1.5度)以下の場合に、車両が直進走行していると判定する。そして、その判定結果をパラメータ補正部7に通知する。なお、車両が直進走行しているか否かは、ハンドル操舵角の情報に基づいて判定することも可能である。
The straight traveling determination unit 6 determines whether or not the vehicle is traveling straight ahead. Specifically, the straightness determination unit 6 determines the angle of one set of linear formulas based on the linear formula calculated by the
パラメータ補正部7は、所定時間毎に以下の4つの条件(1)〜(4)を全て満たすか否かを判定し、満たしたときに、視点変換部2により視点変換された1組のレーンマークが平行となるように、パラメータ記憶部8に記憶されている取付角度パラメータ(ピッチ角)を補正する。
(1)直線性判定部3によりレーンマークが直線であると判定されること
(2)走行速度判定部4により車両の走行速度が所定値以上であると判定されること
(3)平行性判定部5により1組のレーンマークが平行でないと判定されること
(4)直進性判定部6により車両が直進走行していると判定されること
The parameter correction unit 7 determines whether or not all of the following four conditions (1) to (4) are satisfied every predetermined time, and one set of lanes converted by the
(1) The linearity determination unit 3 determines that the lane mark is a straight line.
(2) The travel speed determination unit 4 determines that the travel speed of the vehicle is greater than or equal to a predetermined value.
(3) The parallelism determination unit 5 determines that one set of lane marks is not parallel.
(4) The straightness determination unit 6 determines that the vehicle is traveling straight ahead.
ピッチ角の具体的な補正方法は、本実施形態においては特に限定するものでなく、種々の方法を適用することが可能である。例えば、1組のレーンマークの間隔をΔd[m]、1組の直線式の角度差をΔΦ[deg]、車載カメラ200の路上からの取り付け高さをZc[m]としたとき、ピッチ角補正値ΔPを以下の式により算出する。
ΔP=ΔΦ/(Δd×Zc)
A specific method of correcting the pitch angle is not particularly limited in the present embodiment, and various methods can be applied. For example, when the interval between one set of lane marks is Δd [m], the linear difference between one set of linear equations is ΔΦ [deg], and the mounting height of the in-
ΔP = ΔΦ / (Δd × Zc)
パラメータ補正部7は、所定時間毎にピッチ角補正値ΔPを算出し、N回(Nは2以上の整数。例えば、N=10)の履歴を蓄積する。そして、パラメータ補正部7は、当該N回分の補正値のバラツキを算出し、当該バラツキが所定値以下のときに(例えば、ピッチ角補正値ΔPの標準偏差σが0.5度以下のとき)、取付角度パラメータの補正を行う。この場合に用いる補正値ΔP’は、例えば、N回分のピッチ角補正値ΔPの平均値とする。あるいは、N回分のピッチ角補正値ΔPのうち最新のものとしてもよい。 The parameter correction unit 7 calculates a pitch angle correction value ΔP every predetermined time, and accumulates N times (N is an integer of 2 or more, for example, N = 10). Then, the parameter correction unit 7 calculates the variation of the N correction values, and when the variation is a predetermined value or less (for example, when the standard deviation σ of the pitch angle correction value ΔP is 0.5 degrees or less). The mounting angle parameter is corrected. The correction value ΔP ′ used in this case is, for example, an average value of N pitch angle correction values ΔP. Or it is good also as the newest thing among the pitch angle correction value (DELTA) P for N times.
また、パラメータ補正部7は、取付角度パラメータの補正を行う際に、現在の取付角度パラメータを補正値ΔP’に段階的に近づけていくように補正を行う。例えば、所定時間当たり(つまり、1回の補正当たり)、補正値ΔP’の3%という一定の割合で現在の取付角度パラメータを補正値ΔP’に段階的に近づけていくように補正を行う。すなわち、1回当たりの補正後の取付角度パラメータ=現在値×97%+補正値×3%という式に従って取付角度パラメータの補正を行う。 Further, when correcting the mounting angle parameter, the parameter correction unit 7 corrects the current mounting angle parameter so as to gradually approach the correction value ΔP ′. For example, the correction is performed so that the current mounting angle parameter gradually approaches the correction value ΔP ′ at a constant rate of 3% of the correction value ΔP ′ per predetermined time (that is, per correction). That is, the mounting angle parameter is corrected according to the following formula: corrected mounting angle parameter per time = current value × 97% + correction value × 3%.
図6は、本実施形態によるパラメータ補正部7の動作を説明するための図である。図6に示すように、パラメータ補正部7は、所定時間毎に算出されるピッチ角補正値ΔPをN回分蓄積してそのバラツキ(標準偏差σ)を求め、バラツキが所定値以下か否かを最初に判定する。そして、バラツキが所定値以下であると判定された場合に、補正値ΔP’の3%という一定の割合で現在の取付角度パラメータを補正値ΔP’に段階的に近づけていくように補正を行う。ピッチ角が1度以内の補正であれば、レーンマーク検出開始から30秒以内には補正を完了させることが可能である。図6の例では、約0.75度の補正が約18秒で完了している。 FIG. 6 is a diagram for explaining the operation of the parameter correction unit 7 according to the present embodiment. As shown in FIG. 6, the parameter correction unit 7 accumulates the pitch angle correction value ΔP calculated every predetermined time for N times to obtain the variation (standard deviation σ), and determines whether the variation is equal to or less than the predetermined value. Judge first. Then, when it is determined that the variation is equal to or less than the predetermined value, correction is performed so that the current mounting angle parameter gradually approaches the correction value ΔP ′ at a constant rate of 3% of the correction value ΔP ′. . If the correction is within 1 degree, the correction can be completed within 30 seconds from the start of lane mark detection. In the example of FIG. 6, the correction of about 0.75 degrees is completed in about 18 seconds.
次に、上記のように構成した本実施形態による取付角度補正装置100の動作を説明する。図7は、本実施形態による取付角度補正装置100の動作例を示すフローチャートである。なお、図7に示すフローチャートは、取付角度補正装置100の組み込まれた車載機が起動されたときに開始し、所定時間毎に繰り返し実行される。
Next, the operation of the mounting
まず、レーンマーク検出部1のスライス抽出部11は、車載カメラ200より入力された撮影画像をグレースケールの輝度画像に変換する。そして、輝度画像を水平方向にスキャンすることによって複数のスライスを抽出し、その集合をレーンマークとして検出する(ステップS1)。視点変換部2は、レーンマーク検出部1により検出された各レーンマークの画像(複数のスライスの集合)を、パラメータ記憶部8に記憶されたカメラパラメータに基づいて3次元座標の平面上に投影する(ステップS2)。
First, the
次に、直線性判定部3の直線算出部31は、視点変換部2により平面上に投影された複数のスライスのそれぞれの中点から、最小2乗法でレーンマークの近似直線式を算出する(ステップS3)。続いて、誤差判定部32は、直線算出部31により算出された近似直線と、複数のスライスの中点との誤差の大きさに基づいて、レーンマークが直線であるか否かを判定する(ステップS4)。
Next, the straight
また、走行速度判定部4は、車両の走行速度が所定値以上であるか否かを判定する(ステップS5)。また、平行性判定部5は、視点変換部2により平面上に投影された1組のレーンマークが平行であるか否かを判定する(ステップS6)。さらに、直進性判定部6は、車両が直進走行しているか否かを判定する(ステップS7)。
The traveling speed determination unit 4 determines whether the traveling speed of the vehicle is equal to or higher than a predetermined value (step S5). Further, the parallelism determination unit 5 determines whether or not the set of lane marks projected on the plane by the
そして、パラメータ補正部7は、上記ステップS4〜S7における4つの判定結果に基づいて、レーンマークが直線で、車両の走行速度が所定値以上で、1組のレーンマークが平行でなく、かつ、車両が直進走行しているという4つの条件を満たすか否かを判定する(ステップS8)。これら4つの条件を全て満たすと判定したとき、パラメータ補正部7は、視点変換部2により視点変換された1組のレーンマークが平行となるように取付角度パラメータ(ピッチ角)の補正値ΔPを算出し、算出したピッチ角補正値ΔPを記憶させる(ステップS9)。
Then, the parameter correction unit 7 determines that the lane mark is a straight line, the vehicle traveling speed is equal to or higher than a predetermined value, and the set of lane marks is not parallel, based on the four determination results in steps S4 to S7. It is determined whether or not the four conditions that the vehicle is traveling straight ahead are satisfied (step S8). When it is determined that all four conditions are satisfied, the parameter correction unit 7 sets the correction value ΔP of the attachment angle parameter (pitch angle) so that the set of lane marks whose viewpoints are converted by the
次に、パラメータ補正部7は、履歴として記憶されたN回分のピッチ角補正値ΔPのバラツキ(標準変化σ)が所定値以下であるか否かを判定し(ステップS10)、所定値以下であるときは、補正値ΔP’に基づいて取付角度パラメータの補正を行う(ステップS11)。このときパラメータ補正部7は、現在の取付角度パラメータを補正値ΔP’の3%だけ補正する。 Next, the parameter correction unit 7 determines whether or not the variation (standard change σ) of N pitch angle correction values ΔP stored as history is equal to or less than a predetermined value (step S10). If there is, the attachment angle parameter is corrected based on the correction value ΔP ′ (step S11). At this time, the parameter correction unit 7 corrects the current attachment angle parameter by 3% of the correction value ΔP ′.
その後、パラメータ補正部7は、補正が完了したか否かを判定する。例えば、算出された補正値ΔP’と補正後の取付角度パラメータの値との誤差が所定値あるいは所定割合以下になったときに、パラメータ補正部7は補正が完了したと判定する。まだ補正が完了していないとパラメータ補正部7にて判定された場合、処理はステップS1に戻る。 Thereafter, the parameter correction unit 7 determines whether the correction is completed. For example, when the error between the calculated correction value ΔP ′ and the corrected mounting angle parameter value becomes a predetermined value or a predetermined ratio or less, the parameter correction unit 7 determines that the correction is completed. If the parameter correction unit 7 determines that the correction has not been completed, the process returns to step S1.
一方、補正が完了したとパラメータ補正部7にて判定された場合、レーンマーク検出部1は、車載機の電源がオフとされたか否かを判定する(ステップS13)。車載機の電源がオフとされていない場合、処理はステップS1に戻る。一方、車載機の電源がオフとされた場合は、図7に示すフローチャートの処理を終了する。 On the other hand, when the parameter correction unit 7 determines that the correction is completed, the lane mark detection unit 1 determines whether or not the vehicle-mounted device is turned off (step S13). If the in-vehicle device is not turned off, the process returns to step S1. On the other hand, when the power of the vehicle-mounted device is turned off, the process of the flowchart shown in FIG.
なお、上記ステップS8において、4つの条件のうち1つでも満たさないものがあるとパラメータ補正部7にて判定された場合、および上記ステップS10において、ピッチ角補正値ΔPのバラツキが所定値以下でないとパラメータ補正部7にて判定された場合、処理はステップS13に遷移し、パラメータ補正部7による取付角度パラメータの補正は行わない。 In step S8, when the parameter correction unit 7 determines that none of the four conditions is satisfied, and in step S10, the variation in the pitch angle correction value ΔP is not less than a predetermined value. If the parameter correction unit 7 determines, the process proceeds to step S13, and the parameter correction unit 7 does not correct the attachment angle parameter.
以上詳しく説明したように、本実施形態では、撮影画像内から検出された1組のレーンマークが平行となるように車載カメラ200の取付角度パラメータ(ピッチ角)の補正値を所定時間毎に算出し、当該補正値のN回(Nは2以上)分のバラツキが所定値以下のときに限り、当該補正値に基づいて取付角度パラメータの補正を行うようにしている。
As described above in detail, in the present embodiment, the correction value of the mounting angle parameter (pitch angle) of the in-
このように構成した本実施形態によれば、路面の凹凸や坂道の上り始め/下り始めなどにより車両の姿勢が一時的に変化している場合や、道路幅員が増減する区間においてレーンマークそのものが一時的に平行でなくなる場合など、イレギュラーなケースで一時的に取付角度パラメータの補正値が算出されたとしても、N回分の補正値のバラツキが所定値より大きくなるため、取付角度パラメータの補正は実施されなくなる。そのため、本来補正すべきでない取付角度パラメータが補正されて誤差が増大してしまうという不都合を防止することができる。その結果、取付角度パラメータの補正精度が向上し、レーンマーク検出の位置精度を向上させることができる。 According to the present embodiment configured as described above, the lane mark itself is displayed when the vehicle posture is temporarily changed due to unevenness of the road surface or the start of ascending / descending of the slope, or when the road width is increased or decreased. Even if the correction value of the mounting angle parameter is temporarily calculated in an irregular case such as when it is temporarily not parallel, the variation of the correction value for N times becomes larger than the predetermined value, so that the correction of the mounting angle parameter Will no longer be implemented. Therefore, it is possible to prevent the inconvenience that the mounting angle parameter that should not be corrected is corrected and the error increases. As a result, the correction accuracy of the attachment angle parameter is improved, and the position accuracy of lane mark detection can be improved.
また、本実施形態では、補正値を用いて取付角度パラメータを補正する際に、現在の取付角度パラメータを補正値に段階的に近づけていくように補正を行うようにしている。このように構成した本実施形態によれば、現在の取付角度パラメータと、補正値として算出された取付角度パラメータの間に大きな差がある場合であっても、その補正値によって一気に取付角度パラメータが補正されることはなく、段階的に徐々に補正されていく。そのため、補正前の取付角度パラメータによって視点変換されるレーンマークの位置と、補正後の取付角度パラメータによって視点変換されるレーンマークの位置とが急激に変わってしまうことがなくなる。その結果、前回検出されたレーンマークの位置を今回のレーンマークの位置の推定に有効に利用することができ、レーンマーク検出の位置精度を向上させることができる。 In the present embodiment, when the attachment angle parameter is corrected using the correction value, the current attachment angle parameter is corrected so as to approach the correction value stepwise. According to the present embodiment configured as described above, even if there is a large difference between the current mounting angle parameter and the mounting angle parameter calculated as the correction value, the mounting angle parameter can be changed all at once by the correction value. It is not corrected, and is gradually corrected in stages. Therefore, the position of the lane mark whose viewpoint is converted by the pre-correction mounting angle parameter and the position of the lane mark whose viewpoint is converted by the post-correction mounting angle parameter do not change suddenly. As a result, the position of the lane mark detected last time can be used effectively for estimation of the position of the current lane mark, and the position accuracy of lane mark detection can be improved.
なお、上記実施形態では、補正値のバラツキ判定と取付角度パラメータの段階的補正との両方を適用する例について説明したが、何れか一方のみを適用するようにしてもよい。もちろん、両方を適用すれば、上述した両方の効果を得ることができるので、その方が好ましい。 In the above-described embodiment, the example in which both the variation determination of the correction value and the stepwise correction of the attachment angle parameter are applied has been described, but only one of them may be applied. Of course, if both are applied, both effects described above can be obtained, which is preferable.
また、上記実施形態では、補正値のバラツキを標準偏差σで評価する例について説明したが、本発明はこれに限定されない。例えば、補正値のバラツキを分散またはその他のパラメータで評価するようにしてもよい。 Moreover, although the said embodiment demonstrated the example which evaluates the variation of a correction value by standard deviation (sigma), this invention is not limited to this. For example, the variation of the correction value may be evaluated by dispersion or other parameters.
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。 In addition, each of the above-described embodiments is merely an example of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed in a limited manner. That is, the present invention can be implemented in various forms without departing from the gist or the main features thereof.
1 レーンマーク検出部
2 視点変換部
3 直線性判定部
4 走行速度判定部
5 平行性判定部
6 直進性判定部
7 パラメータ補正部
8 パラメータ記憶部
11 スライス抽出部
31 直線算出部
32 誤差判定部
100 取付角度補正装置
200 車載カメラ
DESCRIPTION OF SYMBOLS 1 Lane
Claims (4)
上記レーンマーク検出部により検出された少なくとも1組のレーンマークを、上記車載カメラの取付角度パラメータを含むカメラパラメータに基づいて3次元座標の平面上に投影する視点変換部と、
上記1組のレーンマークが平行となるように上記取付角度パラメータの補正値を算出し、当該補正値に基づいて現在の取付角度パラメータを補正するパラメータ補正部とを備え、
上記パラメータ補正部は、所定時間毎に算出される上記補正値のN回(Nは2以上)の履歴を蓄積し、当該N回分の補正値のバラツキが所定値以下のときに、上記取付角度パラメータの補正を行うことを特徴とする車載カメラの取付角度補正装置。 A lane mark detection unit for detecting a lane mark from a captured image input from an in-vehicle camera;
A viewpoint conversion unit that projects at least one set of lane marks detected by the lane mark detection unit on a plane of three-dimensional coordinates based on camera parameters including an attachment angle parameter of the in-vehicle camera;
A parameter correction unit that calculates a correction value of the mounting angle parameter so that the set of lane marks are parallel, and corrects the current mounting angle parameter based on the correction value;
The parameter correction unit accumulates N (N is 2 or more) histories of the correction value calculated every predetermined time, and the variation of the correction value for the N times is equal to or less than the predetermined value. An in-vehicle camera mounting angle correction device characterized by correcting parameters.
上記車載機の視点変換部が、上記レーンマーク検出部により所定時間毎に検出された少なくとも1組のレーンマークを、上記車載カメラの取付角度パラメータを含むカメラパラメータに基づいて3次元座標の平面上に投影する第2のステップと、
上記車載機のパラメータ補正部が、上記1組のレーンマークが平行となるように上記取付角度パラメータの補正値を所定時間毎に算出し、算出した補正値を記憶させる第3のステップと、
上記車載機の上記パラメータ補正部が、上記記憶されたN回(Nは2以上)分の補正値のバラツキが所定値以下であるか否かを判定し、所定値以下であるときに、上記補正値に基づいて現在の取付角度パラメータの補正を行う第4のステップとを有することを特徴とする車載カメラの取付角度補正方法。 A first step in which a lane mark detection unit of the in-vehicle device detects a lane mark from a captured image input from the in-vehicle camera every predetermined time;
The viewpoint conversion unit of the in-vehicle device displays at least one set of lane marks detected at predetermined time intervals by the lane mark detection unit on the plane of three-dimensional coordinates based on the camera parameters including the mounting angle parameter of the in-vehicle camera. A second step of projecting onto
A third step in which the parameter correction unit of the in-vehicle device calculates a correction value of the attachment angle parameter every predetermined time so that the one set of lane marks are parallel, and stores the calculated correction value;
The parameter correction unit of the in-vehicle device determines whether or not the variation of the stored correction values for N times (N is 2 or more) is equal to or less than a predetermined value. And a fourth step of correcting the current mounting angle parameter based on the correction value.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012093350A JP5991842B2 (en) | 2012-04-16 | 2012-04-16 | Mounting angle correction device and mounting angle correction method for in-vehicle camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012093350A JP5991842B2 (en) | 2012-04-16 | 2012-04-16 | Mounting angle correction device and mounting angle correction method for in-vehicle camera |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013222302A JP2013222302A (en) | 2013-10-28 |
JP5991842B2 true JP5991842B2 (en) | 2016-09-14 |
Family
ID=49593219
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012093350A Active JP5991842B2 (en) | 2012-04-16 | 2012-04-16 | Mounting angle correction device and mounting angle correction method for in-vehicle camera |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5991842B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6379967B2 (en) | 2014-10-09 | 2018-08-29 | 株式会社デンソー | Image generating apparatus and image generating method |
JP6507590B2 (en) | 2014-11-26 | 2019-05-08 | 株式会社デンソー | Image conversion apparatus and image conversion method |
JP2017112566A (en) * | 2015-12-18 | 2017-06-22 | 株式会社デンソー | Parameter identification device |
JP6511406B2 (en) * | 2016-02-10 | 2019-05-15 | クラリオン株式会社 | Calibration system, calibration device |
JP6565769B2 (en) | 2016-04-03 | 2019-08-28 | 株式会社デンソー | In-vehicle camera mounting angle detection device, mounting angle calibration device, mounting angle detection method, mounting angle calibration method, and computer program |
CN109859278B (en) * | 2019-01-24 | 2023-09-01 | 惠州市德赛西威汽车电子股份有限公司 | Calibration method and calibration system for camera external parameters of vehicle-mounted camera system |
CN112529966B (en) * | 2020-12-17 | 2023-09-15 | 豪威科技(武汉)有限公司 | On-line calibration method of vehicle-mounted looking-around system and vehicle-mounted looking-around system thereof |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3600378B2 (en) * | 1996-07-24 | 2004-12-15 | 本田技研工業株式会社 | Vehicle external recognition device |
JP4296076B2 (en) * | 2003-11-13 | 2009-07-15 | 三菱電機株式会社 | Driving lane recognition device |
JP5367305B2 (en) * | 2007-10-03 | 2013-12-11 | 株式会社東芝 | Visual inspection apparatus and visual inspection method |
JP4760896B2 (en) * | 2008-11-04 | 2011-08-31 | ソニー株式会社 | Camera control apparatus and camera control method |
-
2012
- 2012-04-16 JP JP2012093350A patent/JP5991842B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013222302A (en) | 2013-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5991842B2 (en) | Mounting angle correction device and mounting angle correction method for in-vehicle camera | |
US8417022B2 (en) | Stereo-image processing apparatus | |
JP6233345B2 (en) | Road surface gradient detector | |
WO2018225446A1 (en) | Map points-of-change detection device | |
US9912933B2 (en) | Road surface detection device and road surface detection system | |
JP5804185B2 (en) | Moving object position / orientation estimation apparatus and moving object position / orientation estimation method | |
CN106470877B (en) | Vehicle display device and vehicle display method | |
EP3418122B1 (en) | Position change determination device, overhead view image generation device, overhead view image generation system, position change determination method, and program | |
JP2018036067A (en) | Own vehicle position recognition device | |
JP6822427B2 (en) | Map change point detector | |
US11030761B2 (en) | Information processing device, imaging device, apparatus control system, movable body, information processing method, and computer program product | |
JP6189816B2 (en) | Traveling line recognition device | |
JP6396729B2 (en) | Three-dimensional object detection device | |
JP6350082B2 (en) | Image processing device | |
JP2012159469A (en) | Vehicle image recognition device | |
JPWO2015015939A1 (en) | Vehicle position / posture angle estimation apparatus and vehicle position / posture angle estimation method | |
JP6044084B2 (en) | Moving object position and orientation estimation apparatus and method | |
JP2013220729A (en) | Mounting angle correcting device and method of correcting mounting angle of in-vehicle camera | |
JP5752728B2 (en) | Inter-vehicle distance calculation device and operation control method thereof | |
JP2012159470A (en) | Vehicle image recognition device | |
WO2019092913A1 (en) | Road surface area detection device | |
CN107031535A (en) | Controller of vehicle and method | |
JP6941949B2 (en) | Vehicle image display device | |
JP6521796B2 (en) | Stereo image processing device | |
JP6072508B2 (en) | Road surface step detection method, road surface step detection device, and vehicle equipped with road surface step detection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151215 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160201 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160426 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160530 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20160628 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160816 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160816 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5991842 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |