JP5991842B2 - Mounting angle correction device and mounting angle correction method for in-vehicle camera - Google Patents

Mounting angle correction device and mounting angle correction method for in-vehicle camera Download PDF

Info

Publication number
JP5991842B2
JP5991842B2 JP2012093350A JP2012093350A JP5991842B2 JP 5991842 B2 JP5991842 B2 JP 5991842B2 JP 2012093350 A JP2012093350 A JP 2012093350A JP 2012093350 A JP2012093350 A JP 2012093350A JP 5991842 B2 JP5991842 B2 JP 5991842B2
Authority
JP
Japan
Prior art keywords
correction
parameter
mounting angle
vehicle
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012093350A
Other languages
Japanese (ja)
Other versions
JP2013222302A (en
Inventor
康介 棟方
康介 棟方
渡辺　隆行
隆行 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2012093350A priority Critical patent/JP5991842B2/en
Publication of JP2013222302A publication Critical patent/JP2013222302A/en
Application granted granted Critical
Publication of JP5991842B2 publication Critical patent/JP5991842B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、車載カメラの取付角度補正装置および取付角度補正方法に関し、特に、路上のレーンマークを検出する際の画像処理に用いる画像を撮影するために車両に搭載された車載カメラの取付角度パラメータを補正する装置に関するものである。   The present invention relates to a mounting angle correction device and mounting angle correction method for an in-vehicle camera, and in particular, to an mounting angle parameter for an in-vehicle camera mounted on a vehicle in order to take an image used for image processing when detecting a lane mark on a road. It is related with the apparatus which correct | amends.

従来、走行中の車両が車線から逸脱する恐れがある場合に警報を発する車線逸脱警報装置が提供されている。この種の車線逸脱警報装置では一般的に、車載カメラにより撮影された画像の処理によって路上のレーンマーク（車線境界線）を検出し、検出したレーンマークを跨いで車両が車線から逸脱する恐れがある場合に、警報を発するようになされている。   2. Description of the Related Art Conventionally, there has been provided a lane departure warning device that issues a warning when a running vehicle may deviate from a lane. In this type of lane departure warning device, generally, a lane mark (lane boundary line) on a road is detected by processing an image taken by an in-vehicle camera, and the vehicle may deviate from the lane across the detected lane mark. In some cases, an alarm is issued.

この車線逸脱警報装置においては、撮影画像内から抽出されたレーンマークを３次元座標の路面（平面）に投影した上で、車両がレーンマークを跨いで車線から逸脱する恐れがあるか否かを判定している。なお、３次元座標の路面への投影とは、車載カメラより入力した撮影画像を、車両上方の仮想視点から見た真上からの画像に視点変換することをいう。   In this lane departure warning device, the lane mark extracted from the captured image is projected onto the road surface (plane) of three-dimensional coordinates, and whether or not the vehicle may depart from the lane across the lane mark is determined. Judgment. In addition, the projection to the road surface of a three-dimensional coordinate means viewpoint-converting the picked-up image input from the vehicle-mounted camera into the image from right above seen from the virtual viewpoint above a vehicle.

この視点変換を行うために、車載カメラの取り付け時にキャリブレーションを行うことによって、カメラパラメータ（取付位置、取付角度）をあらかじめ算出して記憶しておく必要がある。このカメラパラメータを正確に求めておくことにより、当該カメラパラメータを用いて３次元座標の路面への投影した左右のレーンマークが平行となり、車線逸脱の恐れを精度良く判定することが可能となる。   In order to perform this viewpoint conversion, it is necessary to calculate and store camera parameters (attachment position and attachment angle) in advance by performing calibration at the time of attaching the in-vehicle camera. By accurately obtaining the camera parameters, the left and right lane marks projected onto the road surface of the three-dimensional coordinates using the camera parameters become parallel, and it is possible to accurately determine the risk of lane departure.

しかしながら、荷物の積載量や加減速などに起因する車両の姿勢変化により、車載カメラと路面との位置関係（特に、ピッチ角）がキャリブレーション時から変化することがある。この場合、キャリブレーションによって求めたカメラパラメータを用いてレーンマークを検出すると、その検出位置に誤差（ピッチ角１度につき１０〜１５ｃｍ）が生じ、レーンマーク逸脱の警報を適切に行うことできなくなってしまうという問題があった。   However, the positional relationship (particularly, the pitch angle) between the in-vehicle camera and the road surface may change from the time of calibration due to a change in the posture of the vehicle due to the load amount of the load or acceleration / deceleration. In this case, if the lane mark is detected using the camera parameters obtained by the calibration, an error (10 to 15 cm per pitch angle) occurs at the detected position, and the lane mark deviation warning cannot be properly performed. There was a problem that.

このような問題を解決するための手段として、車両の走行状態に応じてカメラパラメータを補正する技術が提案されている（例えば、特許文献１参照）。この特許文献１に記載の技術では、車両が所定速度以上で直進走行中であり、かつ、視点変換された１組のレーンマークが平行でない（挟み角が所定値以上である）場合に、当該１組のレーンマークが平行になるよう車載カメラのピッチ角を補正するように成されている。   As means for solving such a problem, a technique for correcting camera parameters in accordance with the traveling state of a vehicle has been proposed (see, for example, Patent Document 1). In the technique described in Patent Document 1, when the vehicle is traveling straight ahead at a predetermined speed or more and the set of lane marks whose viewpoints are changed are not parallel (the sandwich angle is not less than a predetermined value), The pitch angle of the in-vehicle camera is corrected so that one set of lane marks are parallel.

特許第３６００３７８号公報Japanese Patent No. 3600378

上記特許文献１に記載の技術では、車両が所定速度以上で直進走行中であり、かつ、視点変換された１組のレーンマークが平行でないという条件を付けて、これらの条件を満たす場合に限り、カメラパラメータを補正している。このような条件だと、以下の(1)〜(3)に示すようなケースでも、カメラパラメータの補正を行うことになる。
(1)路面の凹凸により車両に姿勢変化が生じている場合
(2)坂道の上り始め／下り始めの場合
(3)道路幅員の増減によってレーンマークそのものが平行でない場合 In the technique described in Patent Document 1, only when the vehicle is traveling straight ahead at a predetermined speed or more, and the condition that the set of lane marks whose viewpoints are changed is not parallel, these conditions are satisfied. The camera parameters are corrected. Under such conditions, the camera parameters are corrected even in the following cases (1) to (3).
(1) When the vehicle is changing its posture due to road surface irregularities
(2) In the case of the beginning of ascent / descent on the slope
(3) When the lane mark itself is not parallel due to increase or decrease in road width

しかしながら、上記(1)および(2)のケースは、荷物の積載量や加減速とは全く異なるイレギュラーな要因により、車両の姿勢変化が一時的に生じているに過ぎない。上記(3)のケースに関しては、レーンマークが平行でないことが正しいのであるから、カメラパラメータの補正は本来的に必要でない。そのため、特許文献１に記載の条件を満たしたときに直ちにカメラパラメータの補正を行うと、本来補正すべきでないカメラパラメータが補正されてしまい、誤差が増大してしまう。その結果、レーンマークの位置を正しく検出できなくなってしまうという問題があった。   However, in the cases (1) and (2) above, the change in the posture of the vehicle is only temporarily caused by irregular factors that are completely different from the load capacity and acceleration / deceleration. In the case of (3) above, it is correct that the lane marks are not parallel, so correction of camera parameters is not inherently necessary. Therefore, if camera parameters are corrected immediately when the conditions described in Patent Document 1 are satisfied, camera parameters that should not be corrected are corrected, and errors increase. As a result, there is a problem that the position of the lane mark cannot be detected correctly.

また、キャリブレーション時に設定されたカメラパラメータと、補正によって算出されたカメラパラメータとの間に大きな差があった場合、補正前のカメラパラメータによって視点変換されたレーンマークの位置と、補正後のカメラパラメータによって視点変換されたレーンマークの位置とが急激に変わってしまう。そのため、レーンマーク検出の位置精度が悪化してしまうことがあった。これは、撮影画像内からレーンマークを検出する際に、前回検出されたレーンマークの位置から今回のレーンマークの位置を推定する処理が行われるのであるが、その推定に前回のレーンマークの位置を利用できない場合が生じるからである。   In addition, if there is a large difference between the camera parameters set at the time of calibration and the camera parameters calculated by correction, the position of the lane mark converted by the viewpoint of the camera parameter before correction and the camera after correction The position of the lane mark whose viewpoint is changed according to the parameter changes abruptly. Therefore, the position accuracy of lane mark detection may be deteriorated. This is because when the lane mark is detected from the captured image, the process of estimating the position of the current lane mark from the position of the lane mark detected last time is performed. This is because there is a case where it cannot be used.

本発明は、このような問題を解決するために成されたものであり、撮影画像内から検出されるレーンマークを用いたカメラパラメータ（取付角度パラメータ）の補正精度を向上させることにより、レーンマーク検出の位置精度を向上させることができるようにすることを目的とする。   The present invention has been made to solve such a problem, and improves lane marks by improving the correction accuracy of camera parameters (mounting angle parameters) using lane marks detected from captured images. It is an object of the present invention to improve detection position accuracy.

上記した課題を解決するために、本発明では、撮影画像内から検出された１組のレーンマークが平行となるように車載カメラの取付角度パラメータの補正値を所定時間毎に算出し、当該補正値のＮ回（Ｎは２以上）分のバラツキが所定値以下のときに、当該補正値に基づいて取付角度パラメータの補正を行うようにしている。   In order to solve the above-described problem, in the present invention, a correction value of the mounting angle parameter of the in-vehicle camera is calculated every predetermined time so that a set of lane marks detected in the captured image are parallel, and the correction is performed. When the variation of the value N times (N is 2 or more) is equal to or less than a predetermined value, the mounting angle parameter is corrected based on the correction value.

本発明の他の態様では、補正値を用いて取付角度パラメータを補正する際に、現在の取付角度パラメータを補正値に段階的に近づけていくように補正を行うようにしている。   In another aspect of the present invention, when the attachment angle parameter is corrected using the correction value, the current attachment angle parameter is corrected so as to approach the correction value stepwise.

上記のように構成した本発明によれば、路面の凹凸や坂道の上り始め／下り始めなどにより車両の姿勢が一時的に変化している場合や、道路幅員が増減する区間においてレーンマークそのものが一時的に平行でなくなる場合など、イレギュラーなケースで一時的に取付角度パラメータの補正値が算出されたとしても、Ｎ回分の補正値のバラツキが所定値より大きくなるため、取付角度パラメータの補正は実施されなくなる。そのため、本来補正すべきでない取付角度パラメータが補正されて誤差が増大してしまうという不都合を防止することができる。その結果、取付角度パラメータの補正精度が向上し、レーンマーク検出の位置精度を向上させることができる。   According to the present invention configured as described above, the lane mark itself is displayed in a case where the posture of the vehicle is temporarily changed due to unevenness on the road surface or the start of ascending / descending of a slope, or in a section where the road width increases or decreases. Even if the correction value of the mounting angle parameter is temporarily calculated in an irregular case such as when it is temporarily not parallel, the variation of the correction value for N times becomes larger than the predetermined value, so that the correction of the mounting angle parameter Will no longer be implemented. Therefore, it is possible to prevent the inconvenience that the mounting angle parameter that should not be corrected is corrected and the error increases. As a result, the correction accuracy of the attachment angle parameter is improved, and the position accuracy of lane mark detection can be improved.

また、本発明の他の態様によれば、現在の取付角度パラメータと、補正値として算出された取付角度パラメータの間に大きな差がある場合であっても、その補正値によって一気に取付角度パラメータが補正されることはなく、段階的に徐々に補正されていく。そのため、補正前の取付角度パラメータによって視点変換されるレーンマークの位置と、補正後の取付角度パラメータによって視点変換されるレーンマークの位置とが急激に変わってしまうことがなくなる。その結果、前回検出されたレーンマークの位置を今回のレーンマークの位置の推定に有効に利用することができ、レーンマーク検出の位置精度を向上させることができる。   In addition, according to another aspect of the present invention, even when there is a large difference between the current mounting angle parameter and the mounting angle parameter calculated as the correction value, the mounting angle parameter is changed at a stroke by the correction value. It is not corrected, and is gradually corrected in stages. Therefore, the position of the lane mark whose viewpoint is converted by the pre-correction mounting angle parameter and the position of the lane mark whose viewpoint is converted by the post-correction mounting angle parameter do not change suddenly. As a result, the position of the lane mark detected last time can be used effectively for estimation of the position of the current lane mark, and the position accuracy of lane mark detection can be improved.

本実施形態による車載カメラの取付角度補正装置の機能構成例を示すブロック図である。It is a block diagram which shows the function structural example of the mounting angle correction apparatus of the vehicle-mounted camera by this embodiment. 本実施形態のレーンマーク検出部により行われるスライスの抽出処理を説明するための図である。It is a figure for demonstrating the extraction process of the slice performed by the lane mark detection part of this embodiment. 本実施形態のレーンマーク検出部により行われるスライスのグルーピング処理を説明するための図である。It is a figure for demonstrating the grouping process of the slice performed by the lane mark detection part of this embodiment. 本実施形態の視点変換部により行われる視点変換処理および直線算出部により行われる近似直線の算出処理を説明するための図である。It is a figure for demonstrating the viewpoint conversion process performed by the viewpoint conversion part of this embodiment, and the calculation process of the approximate line performed by the straight line calculation part. 本実施形態による直線性判定部の処理を説明するための図である。It is a figure for demonstrating the process of the linearity determination part by this embodiment. 本実施形態によるパラメータ補正部の動作を説明するための図である。It is a figure for demonstrating operation | movement of the parameter correction | amendment part by this embodiment. 本実施形態による取付角度補正装置の動作例を示すフローチャートである。It is a flowchart which shows the operation example of the attachment angle correction apparatus by this embodiment.

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による車載カメラの取付角度補正装置１００の機能構成例を示すブロック図である。図１に示すように、本実施形態の取付角度補正装置１００は、車両に搭載された車載機に組み込まれるものであり、車載カメラ２００に接続されている。車載カメラ２００は、例えば、車両の後方に設置されたリアカメラである。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating a functional configuration example of an in-vehicle camera mounting angle correction device 100 according to the present embodiment. As shown in FIG. 1, the mounting angle correction device 100 of this embodiment is incorporated in an in-vehicle device mounted on a vehicle and is connected to an in-vehicle camera 200. The in-vehicle camera 200 is, for example, a rear camera installed behind the vehicle.

取付角度補正装置１００は、その機能構成として、レーンマーク検出部１、視点変換部２、直線性判定部３、走行速度判定部４、平行性判定部５、直進性判定部６、パラメータ補正部７およびパラメータ記憶部８を備えている。また、レーンマーク検出部１は、具体的な機能構成として、スライス抽出部１１を備えている。また、直線性判定部３は、具体的な機能構成として、直線算出部３１および誤差判定部３２を備えている。   The mounting angle correction device 100 includes, as its functional configuration, a lane mark detection unit 1, a viewpoint conversion unit 2, a linearity determination unit 3, a traveling speed determination unit 4, a parallelism determination unit 5, a straightness determination unit 6, and a parameter correction unit. 7 and a parameter storage unit 8. The lane mark detection unit 1 includes a slice extraction unit 11 as a specific functional configuration. Moreover, the linearity determination unit 3 includes a straight line calculation unit 31 and an error determination unit 32 as a specific functional configuration.

なお、図１に示す各機能ブロック１〜７は、ハードウェア構成、ＤＳＰ、ソフトウェアの何れによっても実現することが可能である。例えばソフトウェアによって実現する場合、上記各機能ブロック１〜７は、実際にはコンピュータのＣＰＵあるいはＭＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭに記憶されたプログラムが動作することによって実現できる。   Note that each of the functional blocks 1 to 7 illustrated in FIG. 1 can be realized by any of a hardware configuration, a DSP, and software. For example, when realized by software, each of the functional blocks 1 to 7 is actually configured by including a computer CPU or MPU, RAM, ROM, and the like, and can be realized by operating a program stored in the RAM or ROM. .

図１において、レーンマーク検出部１は、車載カメラ２００より入力される撮影画像内からレーンマークを所定時間毎に検出する。具体的には、レーンマーク検出部１のスライス抽出部１１が、撮影画像を水平方向に１ラインずつスキャンしていったときに周囲との輝度差が大きくなる部分をスライスとして抽出し、複数のスライスの集合をレーンマークとして検出する。   In FIG. 1, a lane mark detection unit 1 detects a lane mark from a captured image input from the in-vehicle camera 200 every predetermined time. Specifically, when the slice extraction unit 11 of the lane mark detection unit 1 scans a captured image one line at a time in a horizontal direction, the slice extraction unit 11 extracts, as slices, portions where the luminance difference from the surroundings increases. A set of slices is detected as a lane mark.

図２および図３は、スライス抽出部１１の処理を説明するための図である。まず、スライス抽出部１１は、車載カメラ２００より入力された撮影画像から、グレースケールの輝度画像を生成する。そして、スライス抽出部１１は、図２に示すように、輝度画像を水平方向にスキャンして、閾値以上の輝度が一定間隔続く水平部分をラインとして取り出す。これを撮影画像の全体に対して行う。なお、取り出したラインの１つ１つを「スライス」という。   2 and 3 are diagrams for explaining the processing of the slice extraction unit 11. First, the slice extraction unit 11 generates a grayscale luminance image from a captured image input from the in-vehicle camera 200. Then, as shown in FIG. 2, the slice extraction unit 11 scans the luminance image in the horizontal direction, and extracts a horizontal portion in which the luminance equal to or higher than the threshold continues for a certain interval as a line. This is performed on the entire captured image. Each extracted line is called a “slice”.

次に、スライス抽出部１１は、図３に示すように、取り出した各スライスに対して、垂直方向に隣接するスライスどうしで水平方向の座標値の少なくとも一部が重複している複数のスライスをグルーピングする。図３に示す例では、撮影画像内からスライスの３つのグループ１〜３が抽出されている。スライス抽出部１１は、このようにしてグルーピングした複数のスライスの集合をそれぞれレーンマークとして検出する。   Next, as shown in FIG. 3, the slice extraction unit 11 selects a plurality of slices in which at least a part of the coordinate values in the horizontal direction are overlapped between adjacent slices in the vertical direction for each extracted slice. Group. In the example shown in FIG. 3, three groups 1 to 3 of slices are extracted from the captured image. The slice extraction unit 11 detects a set of a plurality of slices grouped in this way as lane marks.

視点変換部２は、レーンマーク検出部１により検出された少なくとも１組のレーンマークの画像を、車載カメラ２００の取付角度パラメータを含むカメラパラメータに基づいて３次元座標の平面上に投影する。具体的には、視点変換部２は、図４に示すように、各グループ１〜３のスライスを３次元座標の路面（Ｚ＝０）に投影する。なお、３次元座標の路面への投影とは、各スライスの集合から成るレーンマークの画像を、車両上方の仮想視点から見た真上からの画像に視点変換することをいう。３次元座標の原点は、車両中心の位置である。また、Ｘ軸において車両の前方がプラス、Ｙ軸において車両の左側がプラスで右側がマイナスである。   The viewpoint conversion unit 2 projects at least one set of lane mark images detected by the lane mark detection unit 1 on a plane of three-dimensional coordinates based on camera parameters including an attachment angle parameter of the in-vehicle camera 200. Specifically, as illustrated in FIG. 4, the viewpoint conversion unit 2 projects the slices of the groups 1 to 3 onto a road surface (Z = 0) of three-dimensional coordinates. The projection of the three-dimensional coordinates onto the road surface means that the lane mark image composed of a set of slices is viewpoint-converted into an image from directly above viewed from a virtual viewpoint above the vehicle. The origin of the three-dimensional coordinates is the position of the vehicle center. In addition, the front of the vehicle is positive on the X axis, the left side of the vehicle is positive and the right side is negative on the Y axis.

この視点変換処理で用いるカメラパラメータは、パラメータ記憶部８に記憶されている。このカメラパラメータは、車載カメラ２００の取り付け時にキャリブレーションを行うことによって算出されたものであるが、以下に述べるようにパラメータ補正部７によって適宜補正されるようになっている。本実施形態において補正の対象とするパラメータは、車載カメラ２００の取付角度パラメータである。より具体的には、ピッチ角のパラメータである。   Camera parameters used in this viewpoint conversion process are stored in the parameter storage unit 8. This camera parameter is calculated by performing calibration when the in-vehicle camera 200 is attached, and is appropriately corrected by the parameter correction unit 7 as described below. The parameter to be corrected in the present embodiment is a mounting angle parameter of the in-vehicle camera 200. More specifically, the pitch angle parameter.

直線性判定部３は、視点変換部２により平面上に投影されたレーンマークが直線であるか否かを判定する。そして、その判定結果をパラメータ補正部７に通知する。具体的には、まず、直線算出部３１において、レーンマーク検出部１のスライス抽出部１１により抽出され視点変換部２により平面上に投影された複数のスライスのそれぞれの中点から、最小２乗法でレーンマークの近似直線式Ｙ＝ａＸ＋ｂ（Ｚ＝０）を算出する。ここで、ａは近似直線の傾き、ｂは近似直線のＹ切片である。   The linearity determination unit 3 determines whether the lane mark projected on the plane by the viewpoint conversion unit 2 is a straight line. Then, the determination result is notified to the parameter correction unit 7. Specifically, first, in the straight line calculation unit 31, the least square method is performed from the midpoints of the plurality of slices extracted by the slice extraction unit 11 of the lane mark detection unit 1 and projected onto the plane by the viewpoint conversion unit 2. Lane mark approximate linear formula Y = aX + b (Z = 0) is calculated. Here, a is the slope of the approximate line, and b is the Y intercept of the approximate line.

図４に示した例において、スライスのグループ１から抽出される近似直線の直線式はＹ＝ａ１Ｘ＋ｂ１、グループ２から抽出される近似直線の直線式はＹ＝ａ２Ｘ＋ｂ２、グループ３から抽出される近似直線の直線式はＹ＝ａ３Ｘ＋ｂ３である。   In the example shown in FIG. 4, the linear expression of the approximate straight line extracted from group 1 of the slice is Y = a1X + b1, the linear formula of the approximate straight line extracted from group 2 is Y = a2X + b2, and the approximate straight line extracted from group 3 The linear equation is Y = a3X + b3.

ここで、直線算出部３１は、各グループ１〜３について算出した近似直線の直線式のうち、傾きａおよびＹ切片ｂの値がある範囲内に入る複数の直線式がある場合は、それらの直線式に該当するグループを１つにまとめる。図４の例では、グループ２とグループ３を１つのグループにまとめている。そして、直線算出部３１は、１つにまとめたグループについて、その中に含まれる各スライスの情報から１本の近似直線を再度抽出する。その結果、まとめた近似直線の直線式はＹ＝ａ４Ｘ＋ｂ４となる。   Here, when there are a plurality of linear expressions that fall within a certain range of values of the slope a and the Y intercept b among the linear expressions of the approximate straight lines calculated for each of the groups 1 to 3, The group corresponding to the linear expression is combined into one. In the example of FIG. 4, group 2 and group 3 are combined into one group. Then, the straight line calculation unit 31 re-extracts one approximate straight line from the information of each slice included in the group grouped into one. As a result, the combined linear expression of approximate straight lines is Y = a4X + b4.

次に、誤差判定部３２は、直線算出部３１により算出された近似直線と、視点変換部２により平面上に投影された複数のスライスの中点との誤差の大きさからレーンマークの直線性を判定する。例えば、誤差判定部３２は、近似直線と中点との誤差の大きさが所定値以上となるスライスが存在する場合に、レーンマークが直線ではないと判定する。   Next, the error determination unit 32 determines the linearity of the lane mark from the magnitude of the error between the approximate straight line calculated by the straight line calculation unit 31 and the midpoints of the plurality of slices projected on the plane by the viewpoint conversion unit 2. Determine. For example, the error determination unit 32 determines that the lane mark is not a straight line when there is a slice in which the magnitude of the error between the approximate straight line and the midpoint exceeds a predetermined value.

例えば、図５に示すように、車両がカーブ路の直後を直進走行している場合、撮影画像の奥の方にカーブ形状のレーンマークが写り、手前の方に直線形状のレーンマークが写っている。この場合、直線形状のレーンマーク部分では近似直線とスライスの中点との誤差は所定値より小さくなるが、カーブ形状のレーンマーク部分（一点鎖線）の円で示した部分）では誤差が所定値以上となる。つまり、近似直線と中点との誤差の大きさが所定値以上となるスライスが存在するので、誤差判定部３２はレーンマークが直線ではないと判定する。   For example, as shown in FIG. 5, when the vehicle is traveling straight on a curved road, a curved lane mark appears in the back of the captured image, and a straight lane mark appears in the front. Yes. In this case, the error between the approximate straight line and the midpoint of the slice is smaller than the predetermined value in the straight lane mark portion, but the error is a predetermined value in the curved lane mark portion (the portion indicated by a circle in the chain line). That's it. That is, since there is a slice in which the magnitude of the error between the approximate straight line and the midpoint exceeds a predetermined value, the error determination unit 32 determines that the lane mark is not a straight line.

なお、誤差判定部３２による直線性の判定方法は、この例に限定されるものではない。例えば、誤差判定部３２は、近似直線の直線式Ｙ＝ａＸ＋ｂと各スライスの中点との誤差の大きさから、以下に示す算出式によって直線性評価値MatchingValueを算出し、当該直線性評価値が所定値より小さい場合にレーンマークが直線ではないと判定するようにしてもよい。
MatchingValue＝1.0−Diffrence／MaxDiffrence
ただし、
Diffrence：直線式と各スライスの中点との距離の平均値
MaxDiffrence：距離誤差の閾値 Note that the linearity determination method by the error determination unit 32 is not limited to this example. For example, the error determination unit 32 calculates the linearity evaluation value MatchingValue from the magnitude of the error between the linear expression Y = aX + b of the approximate straight line and the midpoint of each slice, and the linearity evaluation value If the lane mark is smaller than a predetermined value, it may be determined that the lane mark is not a straight line.
MatchingValue = 1.0−Diffrence / MaxDiffrence
However,
Diffrence: Average distance between the straight line expression and the midpoint of each slice
MaxDiffrence: Distance error threshold

走行速度判定部４は、車両の走行速度が所定値以上であるか否かを判定する。具体的には、走行速度判定部４は、図示しない車速センサにより検出された走行速度情報を入力し、当該入力した走行速度情報が所定値（例えば、４５[ｋｍ／ｈ]以上を示しているか否かを判定する。そして、その判定結果をパラメータ補正部７に通知する。   The traveling speed determination unit 4 determines whether the traveling speed of the vehicle is equal to or higher than a predetermined value. Specifically, the travel speed determination unit 4 inputs travel speed information detected by a vehicle speed sensor (not shown), and whether the input travel speed information indicates a predetermined value (for example, 45 [km / h] or more). Then, the parameter correction unit 7 is notified of the determination result.

平行性判定部５は、視点変換部２により平面上に投影された１組のレーンマーク（車両の左右のレーンマーク）が平行であるか否かを判定する。具体的には、平行性判定部５は、視点変換部２により平面上に投影された１組のレーンマークについて直線算出部３１により算出された直線式に基づいて、１組の直線式の角度差が所定値（例えば、１度）以上の場合に、１組のレーンマークが平行でないと判定する。そして、その判定結果をパラメータ補正部７に通知する。   The parallelism determination unit 5 determines whether or not the pair of lane marks (left and right lane marks of the vehicle) projected on the plane by the viewpoint conversion unit 2 are parallel. Specifically, the parallelism determination unit 5 determines the angle of one set of linear expressions based on the linear expression calculated by the straight line calculation unit 31 for one set of lane marks projected on the plane by the viewpoint conversion unit 2. When the difference is equal to or greater than a predetermined value (for example, 1 degree), it is determined that one set of lane marks is not parallel. Then, the determination result is notified to the parameter correction unit 7.

直進性判定部６は、車両が直進走行しているか否かを判定する。具体的には、直進性判定部６は、視点変換部２により平面上に投影された１組のレーンマークについて直線算出部３１により算出された直線式に基づいて、１組の直線式の角度が異符号であるか、角度相対角が所定値（例えば、１．５度）以下の場合に、車両が直進走行していると判定する。そして、その判定結果をパラメータ補正部７に通知する。なお、車両が直進走行しているか否かは、ハンドル操舵角の情報に基づいて判定することも可能である。   The straight traveling determination unit 6 determines whether or not the vehicle is traveling straight ahead. Specifically, the straightness determination unit 6 determines the angle of one set of linear formulas based on the linear formula calculated by the linear calculation unit 31 for one set of lane marks projected on the plane by the viewpoint conversion unit 2. Are different signs or the angle relative angle is a predetermined value (for example, 1.5 degrees) or less, it is determined that the vehicle is traveling straight ahead. Then, the determination result is notified to the parameter correction unit 7. Note that whether or not the vehicle is traveling straight can be determined based on information on the steering angle of the steering wheel.

パラメータ補正部７は、所定時間毎に以下の４つの条件(1)〜(4)を全て満たすか否かを判定し、満たしたときに、視点変換部２により視点変換された１組のレーンマークが平行となるように、パラメータ記憶部８に記憶されている取付角度パラメータ（ピッチ角）を補正する。
(1)直線性判定部３によりレーンマークが直線であると判定されること
(2)走行速度判定部４により車両の走行速度が所定値以上であると判定されること
(3)平行性判定部５により１組のレーンマークが平行でないと判定されること
(4)直進性判定部６により車両が直進走行していると判定されること The parameter correction unit 7 determines whether or not all of the following four conditions (1) to (4) are satisfied every predetermined time, and one set of lanes converted by the viewpoint conversion unit 2 when satisfied. The mounting angle parameter (pitch angle) stored in the parameter storage unit 8 is corrected so that the marks are parallel.
(1) The linearity determination unit 3 determines that the lane mark is a straight line.
(2) The travel speed determination unit 4 determines that the travel speed of the vehicle is greater than or equal to a predetermined value.
(3) The parallelism determination unit 5 determines that one set of lane marks is not parallel.
(4) The straightness determination unit 6 determines that the vehicle is traveling straight ahead.

ピッチ角の具体的な補正方法は、本実施形態においては特に限定するものでなく、種々の方法を適用することが可能である。例えば、１組のレーンマークの間隔をΔｄ[ｍ]、１組の直線式の角度差をΔΦ[ｄｅｇ]、車載カメラ２００の路上からの取り付け高さをＺｃ[ｍ]としたとき、ピッチ角補正値ΔＰを以下の式により算出する。
ΔＰ＝ΔΦ／（Δｄ×Ｚｃ） A specific method of correcting the pitch angle is not particularly limited in the present embodiment, and various methods can be applied. For example, when the interval between one set of lane marks is Δd [m], the linear difference between one set of linear equations is ΔΦ [deg], and the mounting height of the in-vehicle camera 200 from the road is Zc [m], the pitch angle The correction value ΔP is calculated by the following formula.
ΔP = ΔΦ / (Δd × Zc)

パラメータ補正部７は、所定時間毎にピッチ角補正値ΔＰを算出し、Ｎ回（Ｎは２以上の整数。例えば、Ｎ＝１０）の履歴を蓄積する。そして、パラメータ補正部７は、当該Ｎ回分の補正値のバラツキを算出し、当該バラツキが所定値以下のときに（例えば、ピッチ角補正値ΔＰの標準偏差σが０．５度以下のとき）、取付角度パラメータの補正を行う。この場合に用いる補正値ΔＰ’は、例えば、Ｎ回分のピッチ角補正値ΔＰの平均値とする。あるいは、Ｎ回分のピッチ角補正値ΔＰのうち最新のものとしてもよい。   The parameter correction unit 7 calculates a pitch angle correction value ΔP every predetermined time, and accumulates N times (N is an integer of 2 or more, for example, N = 10). Then, the parameter correction unit 7 calculates the variation of the N correction values, and when the variation is a predetermined value or less (for example, when the standard deviation σ of the pitch angle correction value ΔP is 0.5 degrees or less). The mounting angle parameter is corrected. The correction value ΔP ′ used in this case is, for example, an average value of N pitch angle correction values ΔP. Or it is good also as the newest thing among the pitch angle correction value (DELTA) P for N times.

また、パラメータ補正部７は、取付角度パラメータの補正を行う際に、現在の取付角度パラメータを補正値ΔＰ’に段階的に近づけていくように補正を行う。例えば、所定時間当たり（つまり、１回の補正当たり）、補正値ΔＰ’の３％という一定の割合で現在の取付角度パラメータを補正値ΔＰ’に段階的に近づけていくように補正を行う。すなわち、１回当たりの補正後の取付角度パラメータ＝現在値×９７％＋補正値×３％という式に従って取付角度パラメータの補正を行う。   Further, when correcting the mounting angle parameter, the parameter correction unit 7 corrects the current mounting angle parameter so as to gradually approach the correction value ΔP ′. For example, the correction is performed so that the current mounting angle parameter gradually approaches the correction value ΔP ′ at a constant rate of 3% of the correction value ΔP ′ per predetermined time (that is, per correction). That is, the mounting angle parameter is corrected according to the following formula: corrected mounting angle parameter per time = current value × 97% + correction value × 3%.

図６は、本実施形態によるパラメータ補正部７の動作を説明するための図である。図６に示すように、パラメータ補正部７は、所定時間毎に算出されるピッチ角補正値ΔＰをＮ回分蓄積してそのバラツキ（標準偏差σ）を求め、バラツキが所定値以下か否かを最初に判定する。そして、バラツキが所定値以下であると判定された場合に、補正値ΔＰ’の３％という一定の割合で現在の取付角度パラメータを補正値ΔＰ’に段階的に近づけていくように補正を行う。ピッチ角が１度以内の補正であれば、レーンマーク検出開始から３０秒以内には補正を完了させることが可能である。図６の例では、約０．７５度の補正が約１８秒で完了している。   FIG. 6 is a diagram for explaining the operation of the parameter correction unit 7 according to the present embodiment. As shown in FIG. 6, the parameter correction unit 7 accumulates the pitch angle correction value ΔP calculated every predetermined time for N times to obtain the variation (standard deviation σ), and determines whether the variation is equal to or less than the predetermined value. Judge first. Then, when it is determined that the variation is equal to or less than the predetermined value, correction is performed so that the current mounting angle parameter gradually approaches the correction value ΔP ′ at a constant rate of 3% of the correction value ΔP ′. . If the correction is within 1 degree, the correction can be completed within 30 seconds from the start of lane mark detection. In the example of FIG. 6, the correction of about 0.75 degrees is completed in about 18 seconds.

次に、上記のように構成した本実施形態による取付角度補正装置１００の動作を説明する。図７は、本実施形態による取付角度補正装置１００の動作例を示すフローチャートである。なお、図７に示すフローチャートは、取付角度補正装置１００の組み込まれた車載機が起動されたときに開始し、所定時間毎に繰り返し実行される。   Next, the operation of the mounting angle correction device 100 according to the present embodiment configured as described above will be described. FIG. 7 is a flowchart showing an operation example of the mounting angle correction apparatus 100 according to the present embodiment. Note that the flowchart shown in FIG. 7 starts when the vehicle-mounted device in which the mounting angle correction device 100 is incorporated is started, and is repeatedly executed every predetermined time.

まず、レーンマーク検出部１のスライス抽出部１１は、車載カメラ２００より入力された撮影画像をグレースケールの輝度画像に変換する。そして、輝度画像を水平方向にスキャンすることによって複数のスライスを抽出し、その集合をレーンマークとして検出する（ステップＳ１）。視点変換部２は、レーンマーク検出部１により検出された各レーンマークの画像（複数のスライスの集合）を、パラメータ記憶部８に記憶されたカメラパラメータに基づいて３次元座標の平面上に投影する（ステップＳ２）。   First, the slice extraction unit 11 of the lane mark detection unit 1 converts a captured image input from the in-vehicle camera 200 into a grayscale luminance image. A plurality of slices are extracted by scanning the luminance image in the horizontal direction, and the set is detected as a lane mark (step S1). The viewpoint conversion unit 2 projects the image (set of a plurality of slices) of each lane mark detected by the lane mark detection unit 1 on a plane of three-dimensional coordinates based on the camera parameters stored in the parameter storage unit 8. (Step S2).

次に、直線性判定部３の直線算出部３１は、視点変換部２により平面上に投影された複数のスライスのそれぞれの中点から、最小２乗法でレーンマークの近似直線式を算出する（ステップＳ３）。続いて、誤差判定部３２は、直線算出部３１により算出された近似直線と、複数のスライスの中点との誤差の大きさに基づいて、レーンマークが直線であるか否かを判定する（ステップＳ４）。   Next, the straight line calculation unit 31 of the linearity determination unit 3 calculates an approximate linear expression of the lane mark by the least square method from the midpoint of each of the plurality of slices projected on the plane by the viewpoint conversion unit 2 ( Step S3). Subsequently, the error determination unit 32 determines whether or not the lane mark is a straight line based on the magnitude of error between the approximate straight line calculated by the straight line calculation unit 31 and the midpoints of the plurality of slices ( Step S4).

また、走行速度判定部４は、車両の走行速度が所定値以上であるか否かを判定する（ステップＳ５）。また、平行性判定部５は、視点変換部２により平面上に投影された１組のレーンマークが平行であるか否かを判定する（ステップＳ６）。さらに、直進性判定部６は、車両が直進走行しているか否かを判定する（ステップＳ７）。   The traveling speed determination unit 4 determines whether the traveling speed of the vehicle is equal to or higher than a predetermined value (step S5). Further, the parallelism determination unit 5 determines whether or not the set of lane marks projected on the plane by the viewpoint conversion unit 2 is parallel (step S6). Further, the straight travel determination unit 6 determines whether or not the vehicle is traveling straight (step S7).

そして、パラメータ補正部７は、上記ステップＳ４〜Ｓ７における４つの判定結果に基づいて、レーンマークが直線で、車両の走行速度が所定値以上で、１組のレーンマークが平行でなく、かつ、車両が直進走行しているという４つの条件を満たすか否かを判定する（ステップＳ８）。これら４つの条件を全て満たすと判定したとき、パラメータ補正部７は、視点変換部２により視点変換された１組のレーンマークが平行となるように取付角度パラメータ（ピッチ角）の補正値ΔＰを算出し、算出したピッチ角補正値ΔＰを記憶させる（ステップＳ９）。   Then, the parameter correction unit 7 determines that the lane mark is a straight line, the vehicle traveling speed is equal to or higher than a predetermined value, and the set of lane marks is not parallel, based on the four determination results in steps S4 to S7. It is determined whether or not the four conditions that the vehicle is traveling straight ahead are satisfied (step S8). When it is determined that all four conditions are satisfied, the parameter correction unit 7 sets the correction value ΔP of the attachment angle parameter (pitch angle) so that the set of lane marks whose viewpoints are converted by the viewpoint conversion unit 2 are parallel. The calculated pitch angle correction value ΔP is stored (step S9).

次に、パラメータ補正部７は、履歴として記憶されたＮ回分のピッチ角補正値ΔＰのバラツキ（標準変化σ）が所定値以下であるか否かを判定し（ステップＳ１０）、所定値以下であるときは、補正値ΔＰ’に基づいて取付角度パラメータの補正を行う（ステップＳ１１）。このときパラメータ補正部７は、現在の取付角度パラメータを補正値ΔＰ’の３％だけ補正する。   Next, the parameter correction unit 7 determines whether or not the variation (standard change σ) of N pitch angle correction values ΔP stored as history is equal to or less than a predetermined value (step S10). If there is, the attachment angle parameter is corrected based on the correction value ΔP ′ (step S11). At this time, the parameter correction unit 7 corrects the current attachment angle parameter by 3% of the correction value ΔP ′.

その後、パラメータ補正部７は、補正が完了したか否かを判定する。例えば、算出された補正値ΔＰ’と補正後の取付角度パラメータの値との誤差が所定値あるいは所定割合以下になったときに、パラメータ補正部７は補正が完了したと判定する。まだ補正が完了していないとパラメータ補正部７にて判定された場合、処理はステップＳ１に戻る。   Thereafter, the parameter correction unit 7 determines whether the correction is completed. For example, when the error between the calculated correction value ΔP ′ and the corrected mounting angle parameter value becomes a predetermined value or a predetermined ratio or less, the parameter correction unit 7 determines that the correction is completed. If the parameter correction unit 7 determines that the correction has not been completed, the process returns to step S1.

一方、補正が完了したとパラメータ補正部７にて判定された場合、レーンマーク検出部１は、車載機の電源がオフとされたか否かを判定する（ステップＳ１３）。車載機の電源がオフとされていない場合、処理はステップＳ１に戻る。一方、車載機の電源がオフとされた場合は、図７に示すフローチャートの処理を終了する。   On the other hand, when the parameter correction unit 7 determines that the correction is completed, the lane mark detection unit 1 determines whether or not the vehicle-mounted device is turned off (step S13). If the in-vehicle device is not turned off, the process returns to step S1. On the other hand, when the power of the vehicle-mounted device is turned off, the process of the flowchart shown in FIG.

なお、上記ステップＳ８において、４つの条件のうち１つでも満たさないものがあるとパラメータ補正部７にて判定された場合、および上記ステップＳ１０において、ピッチ角補正値ΔＰのバラツキが所定値以下でないとパラメータ補正部７にて判定された場合、処理はステップＳ１３に遷移し、パラメータ補正部７による取付角度パラメータの補正は行わない。   In step S8, when the parameter correction unit 7 determines that none of the four conditions is satisfied, and in step S10, the variation in the pitch angle correction value ΔP is not less than a predetermined value. If the parameter correction unit 7 determines, the process proceeds to step S13, and the parameter correction unit 7 does not correct the attachment angle parameter.

以上詳しく説明したように、本実施形態では、撮影画像内から検出された１組のレーンマークが平行となるように車載カメラ２００の取付角度パラメータ（ピッチ角）の補正値を所定時間毎に算出し、当該補正値のＮ回（Ｎは２以上）分のバラツキが所定値以下のときに限り、当該補正値に基づいて取付角度パラメータの補正を行うようにしている。   As described above in detail, in the present embodiment, the correction value of the mounting angle parameter (pitch angle) of the in-vehicle camera 200 is calculated every predetermined time so that a set of lane marks detected from the captured image are parallel. The mounting angle parameter is corrected based on the correction value only when the N variations (N is 2 or more) of the correction value are equal to or less than a predetermined value.

このように構成した本実施形態によれば、路面の凹凸や坂道の上り始め／下り始めなどにより車両の姿勢が一時的に変化している場合や、道路幅員が増減する区間においてレーンマークそのものが一時的に平行でなくなる場合など、イレギュラーなケースで一時的に取付角度パラメータの補正値が算出されたとしても、Ｎ回分の補正値のバラツキが所定値より大きくなるため、取付角度パラメータの補正は実施されなくなる。そのため、本来補正すべきでない取付角度パラメータが補正されて誤差が増大してしまうという不都合を防止することができる。その結果、取付角度パラメータの補正精度が向上し、レーンマーク検出の位置精度を向上させることができる。   According to the present embodiment configured as described above, the lane mark itself is displayed when the vehicle posture is temporarily changed due to unevenness of the road surface or the start of ascending / descending of the slope, or when the road width is increased or decreased. Even if the correction value of the mounting angle parameter is temporarily calculated in an irregular case such as when it is temporarily not parallel, the variation of the correction value for N times becomes larger than the predetermined value, so that the correction of the mounting angle parameter Will no longer be implemented. Therefore, it is possible to prevent the inconvenience that the mounting angle parameter that should not be corrected is corrected and the error increases. As a result, the correction accuracy of the attachment angle parameter is improved, and the position accuracy of lane mark detection can be improved.

また、本実施形態では、補正値を用いて取付角度パラメータを補正する際に、現在の取付角度パラメータを補正値に段階的に近づけていくように補正を行うようにしている。このように構成した本実施形態によれば、現在の取付角度パラメータと、補正値として算出された取付角度パラメータの間に大きな差がある場合であっても、その補正値によって一気に取付角度パラメータが補正されることはなく、段階的に徐々に補正されていく。そのため、補正前の取付角度パラメータによって視点変換されるレーンマークの位置と、補正後の取付角度パラメータによって視点変換されるレーンマークの位置とが急激に変わってしまうことがなくなる。その結果、前回検出されたレーンマークの位置を今回のレーンマークの位置の推定に有効に利用することができ、レーンマーク検出の位置精度を向上させることができる。   In the present embodiment, when the attachment angle parameter is corrected using the correction value, the current attachment angle parameter is corrected so as to approach the correction value stepwise. According to the present embodiment configured as described above, even if there is a large difference between the current mounting angle parameter and the mounting angle parameter calculated as the correction value, the mounting angle parameter can be changed all at once by the correction value. It is not corrected, and is gradually corrected in stages. Therefore, the position of the lane mark whose viewpoint is converted by the pre-correction mounting angle parameter and the position of the lane mark whose viewpoint is converted by the post-correction mounting angle parameter do not change suddenly. As a result, the position of the lane mark detected last time can be used effectively for estimation of the position of the current lane mark, and the position accuracy of lane mark detection can be improved.

なお、上記実施形態では、補正値のバラツキ判定と取付角度パラメータの段階的補正との両方を適用する例について説明したが、何れか一方のみを適用するようにしてもよい。もちろん、両方を適用すれば、上述した両方の効果を得ることができるので、その方が好ましい。   In the above-described embodiment, the example in which both the variation determination of the correction value and the stepwise correction of the attachment angle parameter are applied has been described, but only one of them may be applied. Of course, if both are applied, both effects described above can be obtained, which is preferable.

また、上記実施形態では、補正値のバラツキを標準偏差σで評価する例について説明したが、本発明はこれに限定されない。例えば、補正値のバラツキを分散またはその他のパラメータで評価するようにしてもよい。   Moreover, although the said embodiment demonstrated the example which evaluates the variation of a correction value by standard deviation (sigma), this invention is not limited to this. For example, the variation of the correction value may be evaluated by dispersion or other parameters.

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。   In addition, each of the above-described embodiments is merely an example of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed in a limited manner. That is, the present invention can be implemented in various forms without departing from the gist or the main features thereof.

１ レーンマーク検出部
２ 視点変換部
３ 直線性判定部
４ 走行速度判定部
５ 平行性判定部
６ 直進性判定部
７ パラメータ補正部
８ パラメータ記憶部
１１ スライス抽出部
３１ 直線算出部
３２ 誤差判定部
１００ 取付角度補正装置
２００ 車載カメラ DESCRIPTION OF SYMBOLS 1 Lane mark detection part 2 Viewpoint conversion part 3 Linearity determination part 4 Travel speed determination part 5 Parallelism determination part 6 Straightness determination part 7 Parameter correction part 8 Parameter memory | storage part 11 Slice extraction part 31 Straight line calculation part 32 Error determination part 100 Mounting angle correction device 200 In-vehicle camera

Claims (4)

車載カメラより入力される撮影画像内からレーンマークを検出するレーンマーク検出部と、
上記レーンマーク検出部により検出された少なくとも１組のレーンマークを、上記車載カメラの取付角度パラメータを含むカメラパラメータに基づいて３次元座標の平面上に投影する視点変換部と、
上記１組のレーンマークが平行となるように上記取付角度パラメータの補正値を算出し、当該補正値に基づいて現在の取付角度パラメータを補正するパラメータ補正部とを備え、
上記パラメータ補正部は、所定時間毎に算出される上記補正値のＮ回（Ｎは２以上）の履歴を蓄積し、当該Ｎ回分の補正値のバラツキが所定値以下のときに、上記取付角度パラメータの補正を行うことを特徴とする車載カメラの取付角度補正装置。 A lane mark detection unit for detecting a lane mark from a captured image input from an in-vehicle camera;
A viewpoint conversion unit that projects at least one set of lane marks detected by the lane mark detection unit on a plane of three-dimensional coordinates based on camera parameters including an attachment angle parameter of the in-vehicle camera;
A parameter correction unit that calculates a correction value of the mounting angle parameter so that the set of lane marks are parallel, and corrects the current mounting angle parameter based on the correction value;
The parameter correction unit accumulates N (N is 2 or more) histories of the correction value calculated every predetermined time, and the variation of the correction value for the N times is equal to or less than the predetermined value. An in-vehicle camera mounting angle correction device characterized by correcting parameters. 上記パラメータ補正部は、上記現在の取付角度パラメータを上記補正値に段階的に近づけていくように補正を行うことを特徴とする請求項１に記載の車載カメラの取付角度補正装置。 The parameter correction unit, mounting angle correction device of the vehicle-mounted camera according to the current mounting angle parameter to claim 1, wherein the performing correction so brought closer stepwise the correction value. 車載機のレーンマーク検出部が、車載カメラより入力される撮影画像内からレーンマークを所定時間毎に検出する第１のステップと、
上記車載機の視点変換部が、上記レーンマーク検出部により所定時間毎に検出された少なくとも１組のレーンマークを、上記車載カメラの取付角度パラメータを含むカメラパラメータに基づいて３次元座標の平面上に投影する第２のステップと、
上記車載機のパラメータ補正部が、上記１組のレーンマークが平行となるように上記取付角度パラメータの補正値を所定時間毎に算出し、算出した補正値を記憶させる第３のステップと、
上記車載機の上記パラメータ補正部が、上記記憶されたＮ回（Ｎは２以上）分の補正値のバラツキが所定値以下であるか否かを判定し、所定値以下であるときに、上記補正値に基づいて現在の取付角度パラメータの補正を行う第４のステップとを有することを特徴とする車載カメラの取付角度補正方法。 A first step in which a lane mark detection unit of the in-vehicle device detects a lane mark from a captured image input from the in-vehicle camera every predetermined time;
The viewpoint conversion unit of the in-vehicle device displays at least one set of lane marks detected at predetermined time intervals by the lane mark detection unit on the plane of three-dimensional coordinates based on the camera parameters including the mounting angle parameter of the in-vehicle camera. A second step of projecting onto
A third step in which the parameter correction unit of the in-vehicle device calculates a correction value of the attachment angle parameter every predetermined time so that the one set of lane marks are parallel, and stores the calculated correction value;
The parameter correction unit of the in-vehicle device determines whether or not the variation of the stored correction values for N times (N is 2 or more) is equal to or less than a predetermined value. And a fourth step of correcting the current mounting angle parameter based on the correction value. 上記第４のステップにおいて、上記パラメータ補正部は、上記現在の取付角度パラメータを上記補正値に段階的に近づけていくように補正を行うことを特徴とする請求項３に記載の車載カメラの取付角度補正方法。 In the fourth step, the parameter correction unit, mounted in-vehicle camera according to claim 3, characterized in that to correct the current mounting angle parameters as brought closer stepwise the correction value Angle correction method.
JP2012093350A 2012-04-16 2012-04-16 Mounting angle correction device and mounting angle correction method for in-vehicle camera Active JP5991842B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012093350A JP5991842B2 (en) 2012-04-16 2012-04-16 Mounting angle correction device and mounting angle correction method for in-vehicle camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012093350A JP5991842B2 (en) 2012-04-16 2012-04-16 Mounting angle correction device and mounting angle correction method for in-vehicle camera

Publications (2)

Publication Number Publication Date
JP2013222302A JP2013222302A (en) 2013-10-28
JP5991842B2 true JP5991842B2 (en) 2016-09-14

Family

ID=49593219

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012093350A Active JP5991842B2 (en) 2012-04-16 2012-04-16 Mounting angle correction device and mounting angle correction method for in-vehicle camera

Country Status (1)

Country Link
JP (1) JP5991842B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6379967B2 (en) 2014-10-09 2018-08-29 株式会社デンソー Image generating apparatus and image generating method
JP6507590B2 (en) 2014-11-26 2019-05-08 株式会社デンソー Image conversion apparatus and image conversion method
JP2017112566A (en) * 2015-12-18 2017-06-22 株式会社デンソー Parameter identification device
JP6511406B2 (en) * 2016-02-10 2019-05-15 クラリオン株式会社 Calibration system, calibration device
JP6565769B2 (en) 2016-04-03 2019-08-28 株式会社デンソー In-vehicle camera mounting angle detection device, mounting angle calibration device, mounting angle detection method, mounting angle calibration method, and computer program
CN109859278B (en) * 2019-01-24 2023-09-01 惠州市德赛西威汽车电子股份有限公司 Calibration method and calibration system for camera external parameters of vehicle-mounted camera system
CN112529966B (en) * 2020-12-17 2023-09-15 豪威科技(武汉)有限公司 On-line calibration method of vehicle-mounted looking-around system and vehicle-mounted looking-around system thereof

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3600378B2 (en) * 1996-07-24 2004-12-15 本田技研工業株式会社 Vehicle external recognition device
JP4296076B2 (en) * 2003-11-13 2009-07-15 三菱電機株式会社 Driving lane recognition device
JP5367305B2 (en) * 2007-10-03 2013-12-11 株式会社東芝 Visual inspection apparatus and visual inspection method
JP4760896B2 (en) * 2008-11-04 2011-08-31 ソニー株式会社 Camera control apparatus and camera control method

Also Published As

Publication number Publication date
JP2013222302A (en) 2013-10-28

Similar Documents

Publication Publication Date Title
JP5991842B2 (en) Mounting angle correction device and mounting angle correction method for in-vehicle camera
US8417022B2 (en) Stereo-image processing apparatus
JP6233345B2 (en) Road surface gradient detector
WO2018225446A1 (en) Map points-of-change detection device
US9912933B2 (en) Road surface detection device and road surface detection system
JP5804185B2 (en) Moving object position / orientation estimation apparatus and moving object position / orientation estimation method
CN106470877B (en) Vehicle display device and vehicle display method
EP3418122B1 (en) Position change determination device, overhead view image generation device, overhead view image generation system, position change determination method, and program
JP2018036067A (en) Own vehicle position recognition device
JP6822427B2 (en) Map change point detector
US11030761B2 (en) Information processing device, imaging device, apparatus control system, movable body, information processing method, and computer program product
JP6189816B2 (en) Traveling line recognition device
JP6396729B2 (en) Three-dimensional object detection device
JP6350082B2 (en) Image processing device
JP2012159469A (en) Vehicle image recognition device
JPWO2015015939A1 (en) Vehicle position / posture angle estimation apparatus and vehicle position / posture angle estimation method
JP6044084B2 (en) Moving object position and orientation estimation apparatus and method
JP2013220729A (en) Mounting angle correcting device and method of correcting mounting angle of in-vehicle camera
JP5752728B2 (en) Inter-vehicle distance calculation device and operation control method thereof
JP2012159470A (en) Vehicle image recognition device
WO2019092913A1 (en) Road surface area detection device
CN107031535A (en) Controller of vehicle and method
JP6941949B2 (en) Vehicle image display device
JP6521796B2 (en) Stereo image processing device
JP6072508B2 (en) Road surface step detection method, road surface step detection device, and vehicle equipped with road surface step detection device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151215

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160201

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160426

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160530

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20160628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160816

R150 Certificate of patent or registration of utility model

Ref document number: 5991842

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150