JP6015276B2 - Camera mounting error correction apparatus and camera mounting error correction method - Google Patents
Camera mounting error correction apparatus and camera mounting error correction method Download PDFInfo
- Publication number
- JP6015276B2 JP6015276B2 JP2012205355A JP2012205355A JP6015276B2 JP 6015276 B2 JP6015276 B2 JP 6015276B2 JP 2012205355 A JP2012205355 A JP 2012205355A JP 2012205355 A JP2012205355 A JP 2012205355A JP 6015276 B2 JP6015276 B2 JP 6015276B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- vanishing point
- error correction
- height
- mounting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本発明は、カメラの取り付け位置に生じた誤差を補正するカメラ取り付け誤差補正装置及びその方法に関する。 The present invention relates to a camera mounting error correction apparatus and method for correcting an error occurring at a camera mounting position.
車両に設置されたカメラの取り付け誤差を補正（キャリブレーション）する技術として、従来では特許文献１が開示されている。この特許文献１のカメラシステムでは、カメラのｘ軸方向のずれ量と、ｙ軸方向のずれ量と、カメラの光軸周りの回転方向におけるずれ量とを検出して、カメラの取り付け誤差の補正を行っていた。 As a technique for correcting (calibrating) an installation error of a camera installed in a vehicle, Patent Document 1 has been disclosed. In the camera system disclosed in Patent Document 1, a camera mounting error is corrected by detecting a shift amount in the x-axis direction, a shift amount in the y-axis direction, and a shift amount in the rotation direction around the optical axis of the camera. Had gone.
しかしながら、上述した従来のカメラシステムでは、例えばディーラーなどの専用の施設へ行き、専用の装置を使用してカメラの取り付け誤差を補正しなければならなかった。そのため、カメラの取り付け誤差を補正する機会が制限されてしまうという問題点があった。 However, in the above-described conventional camera system, it is necessary to go to a dedicated facility such as a dealer and correct a camera installation error using a dedicated device. For this reason, there is a problem that the opportunity to correct the camera mounting error is limited.
そこで、本発明は、上述した実情に鑑みて提案されたものであり、専用の施設や装置を使用しなくてもカメラの取り付け誤差を補正することのできるカメラ取り付け誤差補正装置及びカメラ取り付け誤差補正方法を提供することを目的とする。 Therefore, the present invention has been proposed in view of the above-described circumstances, and a camera attachment error correction apparatus and a camera attachment error correction capable of correcting a camera attachment error without using a dedicated facility or apparatus. It aims to provide a method.
本発明は、カメラの撮像画像上に撮像されている消失点の消失点座標を検出し、この消失点座標に基づいてカメラの取り付け誤差を補正する取り付け誤差補正部を備える。取り付け誤差補正部は、カメラの取り付け位置におけるカメラの高さ方向への回転角を算出する回転角算出部と、回転角算出部によって算出されたカメラの高さ方向への回転角に基づいて、カメラの取り付け位置の高さを算出する取り付け高さ算出部と、取り付け高さ算出部によって算出されたカメラの取り付け位置の高さに基づいて、カメラの取り付け高さの誤差を補正する誤差補正部を備える。回転角算出部は、消失点からカメラの取り付け位置までの消失点距離と、カメラの光軸と地面とが交わる光軸交点からカメラの取り付け位置までの光軸交点距離とを撮像画像上で求め、消失点距離と光軸交点距離からカメラの高さ方向への回転角を算出する。 The present invention includes an attachment error correction unit that detects a vanishing point coordinate of a vanishing point imaged on a captured image of a camera and corrects a camera attachment error based on the vanishing point coordinate . The attachment error correction unit is based on the rotation angle calculation unit that calculates the rotation angle in the height direction of the camera at the camera attachment position, and the rotation angle in the height direction of the camera calculated by the rotation angle calculation unit, A mounting height calculation unit for calculating the height of the camera mounting position, and an error correction unit for correcting an error in the camera mounting height based on the height of the camera mounting position calculated by the mounting height calculation unit. Is provided. The rotation angle calculation unit obtains the vanishing point distance from the vanishing point to the camera mounting position and the optical axis intersection distance from the optical axis intersection where the camera optical axis intersects the ground to the camera mounting position on the captured image. The rotation angle in the height direction of the camera is calculated from the vanishing point distance and the optical axis intersection distance.
本発明によれば、カメラの撮像画像上に撮像されている消失点の消失点座標を検出し、この消失点座標に基づいてカメラの取り付け誤差を補正するので、専用の施設や装置を使用しなくてもカメラの撮像画像を用いてカメラの取り付け誤差を補正することができる。これにより、リアルタイムでカメラの取り付け誤差を補正できるので、補正する機会が制限されることがなくなる。 According to the present invention, the vanishing point coordinates of the vanishing point imaged on the captured image of the camera are detected, and the camera mounting error is corrected based on the vanishing point coordinates. Even if it is not, the camera mounting error can be corrected using the captured image of the camera. As a result, the camera mounting error can be corrected in real time, so that the opportunity for correction is not limited.
以下、本発明を適用した一実施形態について図面を参照して説明する。 Hereinafter, an embodiment to which the present invention is applied will be described with reference to the drawings.
［カメラ取り付け誤差補正装置の構成］
図１は、本実施形態に係るカメラ取り付け誤差補正装置を搭載したカメラシステムの構成を示すブロック図である。図１に示すように、カメラシステム１は、自車両の周囲の映像をカメラ３で撮像し、撮像された映像を画像処理ユニット２で画像処理することによって、例えば視点変換などを行った自車両周囲の映像をディスプレイ４に表示するシステムである。
[Configuration of camera mounting error correction device]
FIG. 1 is a block diagram showing a configuration of a camera system equipped with a camera attachment error correction apparatus according to this embodiment. As shown in FIG. 1, the camera system 1 captures a video around the host vehicle with a camera 3, and performs image processing on the captured video with an image processing unit 2, for example. In this system, surrounding images are displayed on the display 4.
カメラシステム１は、車両に搭載されたシステムであり、カメラ３としてはフロントカメラ３ａ、運転席側サイドカメラ３ｂ、リアカメラ３ｃ及び助手席側サイドカメラ３ｄを備えている。また、カメラシステム１は、ＣＡＮを介して、ステアリング角度センサ５とソナーシステム６に接続されている。ステアリング角度センサ５で検出されたステアリング角度は駐車支援を行う際に利用され、ソナーシステム６は車両の四隅に設置されたカメラ補助ソナーによって障害物を感知している。そして、画像処理ユニット２は、本実施形態に係るカメラ取り付け誤差補正装置１０を搭載しており、カメラ３の取り付け誤差を補正する。 The camera system 1 is a system mounted on a vehicle. The camera 3 includes a front camera 3a, a driver side camera 3b, a rear camera 3c, and a passenger side camera 3d. The camera system 1 is connected to a steering angle sensor 5 and a sonar system 6 via a CAN. The steering angle detected by the steering angle sensor 5 is used when parking assistance is performed, and the sonar system 6 senses an obstacle with camera auxiliary sonars installed at the four corners of the vehicle. The image processing unit 2 includes the camera attachment error correction device 10 according to the present embodiment, and corrects the attachment error of the camera 3.
ここで、本実施形態に係るカメラ取り付け誤差補正装置１０は、カメラ３の撮像画像上に撮像されている消失点の消失点座標を検出する消失点座標検出部１１と、消失点座標に基づいてカメラ３の取り付け誤差を補正する取り付け誤差補正部１２とを備えている。また、取り付け誤差補正部１２は、回転角算出部１３と、取り付け高さ算出部１４と、誤差補正部１５とを備えている。 Here, the camera attachment error correction device 10 according to the present embodiment is based on the vanishing point coordinate detection unit 11 that detects the vanishing point coordinates of the vanishing point imaged on the captured image of the camera 3 and the vanishing point coordinates. An attachment error correction unit 12 that corrects the attachment error of the camera 3 is provided. Further, the attachment error correction unit 12 includes a rotation angle calculation unit 13, an attachment height calculation unit 14, and an error correction unit 15.
消失点座標検出部１１は、カメラ３によって走行時等に撮像された動画の撮像画像に対してオプティカルフローを用いて消失点座標を検出する。 The vanishing point coordinate detection unit 11 detects the vanishing point coordinates for the captured image of the moving image captured by the camera 3 during traveling using an optical flow.
回転角算出部１３は、消失点からカメラ３の取り付け位置までの消失点距離と、カメラ３の光軸と地面とが交わる光軸交点からカメラ３の取り付け位置までの光軸交点距離とを撮像画像上で求めている。そして、求めた消失点距離と光軸交点距離とからカメラ３の高さ方向への回転角、すなわちピッチ角を算出する。 The rotation angle calculation unit 13 captures the vanishing point distance from the vanishing point to the mounting position of the camera 3 and the optical axis intersection distance from the optical axis intersection where the optical axis of the camera 3 and the ground intersect to the mounting position of the camera 3. Seeking on the image. Then, the rotation angle in the height direction of the camera 3, that is, the pitch angle is calculated from the vanishing point distance and the optical axis intersection distance.
取り付け高さ算出部１４は、光軸交点距離とカメラ３の高さ方向への回転角であるピッチ角とからカメラ３の取り付け位置の実際の高さを算出する。 The attachment height calculation unit 14 calculates the actual height of the attachment position of the camera 3 from the optical axis intersection distance and the pitch angle that is the rotation angle in the height direction of the camera 3.
誤差補正部１５は、カメラ３の取り付け位置の高さに基づいてカメラ３の取り付け高さの誤差を補正しており、カメラ３の取り付け位置の実際の高さと、カメラ３の取り付け位置の高さの理想値とを比較して映像補正を実施する。 The error correction unit 15 corrects an error in the mounting height of the camera 3 based on the height of the mounting position of the camera 3, and the actual height of the mounting position of the camera 3 and the height of the mounting position of the camera 3. The image is corrected by comparing with the ideal value of.
尚、カメラ取り付け誤差補正装置１０は、マイクロコンピュータ、マイクロプロセッサ、ＣＰＵを含む汎用の電子回路と周辺機器から構成されている。そして、特定のプログラムを実行することにより、消失点座標検出部１１、取り付け誤差補正部１２、回転角算出部１３、取り付け高さ算出部１４及び誤差補正部１５として動作する。また、本実施形態ではカメラ取り付け誤差補正装置１０を画像処理ユニット２に搭載した場合を一例として説明するが、カメラ取り付け誤差補正装置１０を独立した装置として構成してもよい。 The camera mounting error correction device 10 includes a general-purpose electronic circuit including a microcomputer, a microprocessor, and a CPU, and peripheral devices. Then, by executing a specific program, it operates as a vanishing point coordinate detection unit 11, an attachment error correction unit 12, a rotation angle calculation unit 13, an attachment height calculation unit 14, and an error correction unit 15. In the present embodiment, the case where the camera attachment error correction device 10 is mounted on the image processing unit 2 will be described as an example. However, the camera attachment error correction device 10 may be configured as an independent device.
［カメラの取り付け誤差補正処理の手順］
次に、本実施形態に係るカメラ取り付け誤差補正装置１０によるカメラ取り付け誤差補正処理の手順を図２のフローチャートを参照して説明する。
[Camera installation error correction procedure]
Next, the procedure of camera attachment error correction processing by the camera attachment error correction device 10 according to this embodiment will be described with reference to the flowchart of FIG.
図２に示すように、まずステップＳ１０１において、消失点座標検出部１１が、車両に取り付けられているカメラ３のうちフロントカメラ３ａまたはリアカメラ３ｃで車両前方または後方の画像を撮像する。これは、フロントカメラ３ａまたはリアカメラ３ｃで撮像すれば、消失点を明瞭に撮像できるためである。したがって、消失点を撮像できれば、サイドカメラ３ｂ、３ｄで撮像してもよい。 As shown in FIG. 2, first, in step S101, the vanishing point coordinate detection unit 11 captures an image of the front or rear of the vehicle with the front camera 3a or the rear camera 3c among the cameras 3 attached to the vehicle. This is because the vanishing point can be clearly imaged by imaging with the front camera 3a or the rear camera 3c. Therefore, as long as the vanishing point can be imaged, the side cameras 3b and 3d may be used.
次に、消失点座標検出部１１は、ステップＳ１０２においてカメラ３から伝送された撮像画像を受信し、ステップＳ１０３において撮像画像上に撮像されている消失点の消失点座標を検出する。 Next, the vanishing point coordinate detection unit 11 receives the captured image transmitted from the camera 3 in step S102, and detects the vanishing point coordinates of the vanishing point imaged on the captured image in step S103.
ここで、図３を参照して消失点座標の検出方法を説明する。図３に示すように、まずオプティカルフローを用いて撮像画像上で消失点４１の位置を求める。そして、撮像画像を碁盤の目状に細分化して座標を割り当てることによって座標化し、消失点４１の位置の座標（ｘ、ｙ）を消失点座標（ｘ、ｙ）とする。 Here, the vanishing point coordinate detection method will be described with reference to FIG. As shown in FIG. 3, first, the position of the vanishing point 41 is obtained on the captured image using the optical flow. Then, the captured image is subdivided into a grid pattern and coordinated by assigning coordinates, and the coordinates (x, y) of the position of the vanishing point 41 are defined as vanishing point coordinates (x, y).
次に、ステップＳ１０４では、回転角算出部１３が、図４（ａ）に示す撮像画像上において消失点から車両後端までの距離ｗを求める。この距離ｗは、図４（ｂ）に示すように消失点４１から車両後端４２までの距離であり、消失点座標が（ｘ、ｙ）の場合にカメラのレンズ特性Ｆを用いて
ｗ＝Ｆ（ｙ）
と表すことができる。これは、すなわち撮像画像上において消失点から車両後端までの画素数をカウントし、レンズ特性Ｆを用いて実際の長さに換算している。
Next, in step S104, the rotation angle calculation unit 13 obtains a distance w from the vanishing point to the rear end of the vehicle on the captured image shown in FIG. This distance w is a distance from the vanishing point 41 to the rear end 42 of the vehicle as shown in FIG. 4B, and when the vanishing point coordinates are (x, y), the lens characteristic F of the camera is used. F (y)
It can be expressed as. That is, on the captured image, the number of pixels from the vanishing point to the rear end of the vehicle is counted and converted into an actual length using the lens characteristic F.
次に、ステップＳ１０５では、回転角算出部１３が、図５（ａ）に示す撮像画像上において、まずカメラ３の光軸と地面との交点である光軸交点の座標（ｘａ、ｙａ）を求める。ただし、この光軸交点の座標（ｘａ、ｙａ）はカメラ３の向きに関係なく一意に決まる値であるため、パラメータとして予め記憶しておいて読み出せばよい。 Next, in step S105, the rotation angle calculation unit 13 first determines the coordinates (xa, ya) of the optical axis intersection that is the intersection of the optical axis of the camera 3 and the ground on the captured image shown in FIG. Ask. However, since the coordinates (xa, ya) of the optical axis intersection point are values uniquely determined regardless of the orientation of the camera 3, they may be stored in advance as parameters and read out.
そして、図５（ｂ）に示す光軸交点５１から車両後端４２までの距離ｗａを求める。距離ｗａは、光軸交点の座標が（ｘａ、ｙａ）の場合にカメラのレンズ特性Ｆを用いて
ｗａ＝Ｆ（ｙａ）
と表すことができる。これは、すなわち撮像画像上において光軸交点から車両後端までの画素数をカウントし、レンズ特性Ｆを用いて実際の長さに換算している。
Then, a distance wa from the optical axis intersection 51 shown in FIG. 5B to the vehicle rear end 42 is obtained. The distance wa is obtained by using the lens characteristic F of the camera when the coordinate of the optical axis intersection is (xa, ya). Wa = F (ya)
It can be expressed as. That is, on the captured image, the number of pixels from the intersection of the optical axes to the rear end of the vehicle is counted and converted into an actual length using the lens characteristic F.
こうして車両後端４２までの距離ｗ、ｗａが求められると、次に回転角算出部１３はステップＳ１０６においてカメラ３の高さ方向への回転角、すなわちピッチ角を算出する。 When the distances w and wa to the vehicle rear end 42 are thus obtained, the rotation angle calculation unit 13 calculates the rotation angle of the camera 3 in the height direction, that is, the pitch angle in step S106.
図６に示すように、カメラ３の取り付け位置から車両後端４２までの距離をＡとすると、消失点４１からカメラ３の取り付け位置までの距離である消失点距離はＡ＋ｗとなる。また、光軸交点５１からカメラ３の取り付け位置までの距離である光軸交点距離はＡ＋ｗａとなる。 As shown in FIG. 6, when the distance from the camera 3 attachment position to the vehicle rear end 42 is A, the vanishing point distance, which is the distance from the vanishing point 41 to the camera 3 attachment position, is A + w. Further, the optical axis intersection distance, which is the distance from the optical axis intersection 51 to the mounting position of the camera 3, is A + wa.
回転角算出部１３は、まず消失点距離Ａ＋ｗと光軸交点距離Ａ＋ｗａとを求め、消失点４１とカメラ３とを結んだ線と地面とがなす角をθとして、以下の２式を求める。 The rotation angle calculation unit 13 first obtains the vanishing point distance A + w and the optical axis intersection distance A + wa, and obtains the following two equations, where θ is the angle formed by the line connecting the vanishing point 41 and the camera 3 and the ground.
(Ａ＋ｗ)tanθ＝(Ａ＋ｗａ)tanθa （１）
(ｗ−ｗａ)sinθa・sinθ＝(Ａ＋ｗ)sin(θa-θ) （２）
式（１）は両辺ともにカメラ３の取り付け位置の高さｈを表しており、式（２）は図６の斜線で示した三角形において正弦定理を適用したものである。
(A + w) tanθ = (A + wa) tanθa (1)
(w−wa) sinθa · sinθ = (A + w) sin (θa−θ) (2)
Expression (1) represents the height h of the mounting position of the camera 3 on both sides, and Expression (2) applies the sine theorem in the triangle indicated by the oblique lines in FIG.
ここで、カメラ３から車両後端４２までの距離Ａは既知の定数なので、上記２式からθを消去することによって、カメラ３の現在のピッチ角θａを算出することができる。 Here, since the distance A from the camera 3 to the vehicle rear end 42 is a known constant, the current pitch angle θa of the camera 3 can be calculated by eliminating θ from the above two equations.
次に、ステップＳ１０７において、取り付け高さ算出部１４が、ピッチ角θａからカメラ３の取り付け位置の高さを算出する。図６に示すカメラ３の取り付け位置の高さｈは
ｈ＝(Ａ＋ｗａ)tanθa
と表すことができるので、ステップＳ１０６で算出したピッチ角θａを用いて、カメラ３の実際の高さｈを算出することができる。
Next, in step S107, the attachment height calculation unit 14 calculates the height of the attachment position of the camera 3 from the pitch angle θa. The height h of the mounting position of the camera 3 shown in FIG. 6 is h = (A + wa) tan θa
Therefore, the actual height h of the camera 3 can be calculated using the pitch angle θa calculated in step S106.
次に、ステップＳ１０８において、誤差補正部１５は、予め設定されているカメラ３の高さの理想値ｈ＊を読み出してカメラ３の高さ誤差Δｈを算出する。高さ誤差Δｈは
Δｈ＝ｈ＊−ｈ
で算出することができる。
Next, in step S108, the error correction unit 15 reads the preset ideal value h * of the height of the camera 3 and calculates the height error Δh of the camera 3. The height error Δh is Δh = h * −h
Can be calculated.
こうして高さ誤差Δｈが算出されると、誤差補正部１５は、ステップＳ１０９においてΔｈ＝０となるようにカメラ３で撮像される画像の映像補正を実施して、本実施形態に係るカメラの取り付け誤差補正処理を終了する。 When the height error Δh is calculated in this way, the error correction unit 15 performs video correction of the image captured by the camera 3 so that Δh = 0 in step S109, and the camera according to the present embodiment is attached. The error correction process ends.
［実施形態の効果］
以上詳細に説明したように、本実施形態に係るカメラ取り付け誤差補正装置１０によれば、カメラの撮像画像上に撮像されている消失点の消失点座標を検出し、この消失点座標に基づいてカメラの取り付け誤差を補正する。これにより、専用の施設や装置を使用しなくてもカメラの撮像画像を用いてカメラの取り付け誤差を補正できるので、リアルタイムでカメラの取り付け誤差を補正でき、補正する機会が制限されることがなくなる。
[Effect of the embodiment]
As described above in detail, according to the camera mounting error correction device 10 according to the present embodiment, the vanishing point coordinates of the vanishing point captured on the captured image of the camera are detected, and based on the vanishing point coordinates. Correct the camera installation error. As a result, the camera mounting error can be corrected using the captured image of the camera without using a dedicated facility or apparatus, so that the camera mounting error can be corrected in real time, and the correction opportunity is not limited. .
特に、従来では車両を工場から出荷するときにカメラの取り付け誤差を補正し、それ以降は補正が行われないので、カメラの取り付け位置が最適な状態であるとは限らなかった。しかし、本実施形態に係るカメラ取り付け誤差補正装置１０によれば、工場から出荷された以降もリアルタイムで誤差を補正できるので、常にカメラの取り付け位置を最適な状態に維持することが可能となる。 In particular, conventionally, the camera mounting error is corrected when the vehicle is shipped from the factory, and the correction is not performed thereafter. Therefore, the camera mounting position is not always in an optimal state. However, according to the camera mounting error correction device 10 according to the present embodiment, since the error can be corrected in real time even after being shipped from the factory, it is possible to always maintain the camera mounting position in an optimal state.
また、本実施形態に係るカメラ取り付け誤差補正装置１０によれば、消失点座標に基づいてカメラの高さ方向への回転角を算出し、このカメラの高さ方向への回転角に基づいてカメラの取り付け位置の高さを算出してカメラの取り付け高さの誤差を補正する。これにより、従来行われていたカメラの取り付け誤差の補正（ｘ軸方向、ｙ軸方向、ロール角方向の補正）に加えて、カメラの高さ方向の取り付け誤差を補正できるので、カメラの取り付け位置の誤差をより精度よく補正することができる。 Further, according to the camera attachment error correction device 10 according to the present embodiment, the rotation angle in the height direction of the camera is calculated based on the vanishing point coordinates, and the camera is calculated based on the rotation angle in the height direction of the camera. The height of the mounting position of the camera is calculated to correct the error in the camera mounting height. As a result, in addition to the conventional correction of camera mounting error (correction in the x-axis direction, y-axis direction, and roll angle direction), the camera mounting error in the height direction can be corrected. This error can be corrected with higher accuracy.
さらに、本実施形態に係るカメラ取り付け誤差補正装置１０によれば、消失点距離と光軸交点距離とを撮像画像上で求め、消失点距離と光軸交点距離からカメラの高さ方向への回転角を算出する。これにより、撮像画像からカメラの高さ方向への回転角を算出できるので、専用の施設や装置を使用しなくてもカメラの取り付け誤差を補正することができる。 Furthermore, according to the camera mounting error correction device 10 according to the present embodiment, the vanishing point distance and the optical axis intersection distance are obtained on the captured image, and the vanishing point distance and the optical axis intersection distance are rotated in the height direction of the camera. Calculate the corner. Thereby, since the rotation angle in the height direction of the camera can be calculated from the captured image, the camera mounting error can be corrected without using a dedicated facility or apparatus.
また、本実施形態に係るカメラ取り付け誤差補正装置１０によれば、光軸交点距離とカメラの高さ方向への回転角とからカメラの取り付け位置の高さを算出する。これにより、撮像画像からカメラの取り付け位置の高さを算出できるので、専用の施設や装置を使用しなくてもカメラの取り付け誤差を補正することができる。 Further, according to the camera mounting error correction device 10 according to the present embodiment, the height of the camera mounting position is calculated from the optical axis intersection distance and the rotation angle in the height direction of the camera. As a result, the height of the camera mounting position can be calculated from the captured image, so that the camera mounting error can be corrected without using a dedicated facility or apparatus.
さらに、本実施形態に係るカメラ取り付け誤差補正装置１０によれば、撮像するカメラを車両のフロントカメラまたはリアカメラとしたので、消失点の撮像された画像を確実に撮像することができる。これにより、消失点座標に基づいてカメラの取り付け誤差を補正できるので、専用の施設や装置を使用しなくてもカメラの取り付け誤差を補正することができる。 Furthermore, according to the camera mounting error correction apparatus 10 according to the present embodiment, the camera to be imaged is the front camera or the rear camera of the vehicle, so that the image where the vanishing point is captured can be reliably captured. Thereby, since the camera mounting error can be corrected based on the vanishing point coordinates, the camera mounting error can be corrected without using a dedicated facility or apparatus.
なお、上述の実施形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能であることは勿論である。 The above-described embodiment is an example of the present invention. For this reason, the present invention is not limited to the above-described embodiment, and even if it is a form other than this embodiment, as long as it does not depart from the technical idea of the present invention, it depends on the design and the like. Of course, various modifications are possible.
１ カメラシステム
２ 画像処理ユニット
３ カメラ
３ａ フロントカメラ
３ｂ 運転席側サイドカメラ
３ｃ リアカメラ
３ｄ 助手席側サイドカメラ
４ ディスプレイ
５ ステアリング角度センサ
６ ソナーシステム
１０ カメラ取り付け誤差補正装置
１１ 消失点座標検出部
１２ 取り付け誤差補正部
１３ 回転角算出部
１４ 取り付け高さ算出部
１５ 誤差補正部
DESCRIPTION OF SYMBOLS 1 Camera system 2 Image processing unit 3 Camera 3a Front camera 3b Driver side camera 3c Rear camera 3d Passenger side camera 4 Display 5 Steering angle sensor 6 Sonar system 10 Camera attachment error correction device 11 Vanishing point coordinate detection part 12 Attachment Error correction unit 13 Rotation angle calculation unit 14 Mounting height calculation unit 15 Error correction unit
Claims (4)
前記カメラの撮像画像上に撮像されている消失点の消失点座標を検出する消失点座標検出部と、
前記消失点座標検出部によって検出された前記消失点座標に基づいて前記カメラの取り付け誤差を補正する取り付け誤差補正部と、を備え、
前記取り付け誤差補正部は、
前記消失点座標に基づいて、前記カメラの取り付け位置における前記カメラの高さ方向への回転角を算出する回転角算出部と、
前記回転角算出部によって算出された前記カメラの高さ方向への回転角に基づいて、前記カメラの取り付け位置の高さを算出する取り付け高さ算出部と、
前記取り付け高さ算出部によって算出された前記カメラの取り付け位置の高さに基づいて、前記カメラの取り付け高さの誤差を補正する誤差補正部と、を備え、
更に、前記回転角算出部は、前記消失点から前記カメラの取り付け位置までの消失点距離と、前記カメラの光軸と地面とが交わる光軸交点から前記カメラの取り付け位置までの光軸交点距離とを前記撮像画像上で求め、前記消失点距離と前記光軸交点距離とから前記カメラの高さ方向への回転角を算出すること
を特徴とするカメラ取り付け誤差補正装置。 A camera installation error correction device for correcting an installation error of a camera attached to a vehicle,
A vanishing point coordinate detection unit for detecting the vanishing point coordinates of the vanishing point imaged on the captured image of the camera;
An attachment error correction unit that corrects an attachment error of the camera based on the vanishing point coordinates detected by the vanishing point coordinate detection unit ,
The mounting error correction unit is
Based on the vanishing point coordinates, a rotation angle calculation unit that calculates a rotation angle in the height direction of the camera at the mounting position of the camera;
An attachment height calculation unit for calculating the height of the attachment position of the camera based on the rotation angle in the height direction of the camera calculated by the rotation angle calculation unit;
An error correction unit that corrects an error in the mounting height of the camera based on the height of the mounting position of the camera calculated by the mounting height calculation unit,
Further, the rotation angle calculation unit includes a vanishing point distance from the vanishing point to the camera mounting position, and an optical axis intersection distance from the optical axis intersection where the optical axis of the camera intersects the ground to the camera mounting position. Is calculated on the captured image, and a rotation angle in the height direction of the camera is calculated from the vanishing point distance and the optical axis intersection distance .
前記カメラの撮像画像上に撮像されている消失点の消失点座標を検出し、Detecting the vanishing point coordinates of the vanishing point imaged on the captured image of the camera;
前記消失点から前記カメラの取り付け位置までの消失点距離と、前記カメラの光軸と地面とが交わる光軸交点から前記カメラの取り付け位置までの光軸交点距離と、を前記撮像画像上で求め、前記消失点距離と前記光軸交点距離とから前記カメラの高さ方向への回転角を算出し、 The vanishing point distance from the vanishing point to the camera mounting position and the optical axis intersection distance from the optical axis intersection where the optical axis of the camera intersects the ground to the camera mounting position are obtained on the captured image. , Calculating the rotation angle in the height direction of the camera from the vanishing point distance and the optical axis intersection distance,
前記カメラの高さ方向への回転角に基づいて、前記カメラの取り付け位置の高さを算出し、 Based on the rotation angle in the height direction of the camera, calculate the height of the mounting position of the camera,
算出された前記カメラの取り付け位置の高さに基づいて、前記カメラの取り付け高さの誤差を補正すること Correcting an error in the camera mounting height based on the calculated height of the camera mounting position.
を特徴とするカメラ取り付け誤差補正方法。A camera mounting error correction method characterized by the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012205355A JP6015276B2 (en) | 2012-09-19 | 2012-09-19 | Camera mounting error correction apparatus and camera mounting error correction method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012205355A JP6015276B2 (en) | 2012-09-19 | 2012-09-19 | Camera mounting error correction apparatus and camera mounting error correction method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014059793A JP2014059793A (en) | 2014-04-03 |
| JP6015276B2 true JP6015276B2 (en) | 2016-10-26 |
Family
ID=50616196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012205355A Active JP6015276B2 (en) | 2012-09-19 | 2012-09-19 | Camera mounting error correction apparatus and camera mounting error correction method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6015276B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6384521B2 (en) * | 2016-06-10 | 2018-09-05 | トヨタ自動車株式会社 | Vehicle driving support device |
| JP6905173B2 (en) * | 2016-10-31 | 2021-07-21 | キヤノンマーケティングジャパン株式会社 | Information processing system, information processing method |
| JP6782895B2 (en) * | 2017-03-09 | 2020-11-11 | 国立研究開発法人農業・食品産業技術総合研究機構 | In-vehicle camera mounting direction parameter calculation device and mounting direction parameter calculation method |
| JP7021131B2 (en) * | 2019-01-17 | 2022-02-16 | 株式会社トヨタマップマスター | Posture estimation device, posture estimation method, posture estimation program and recording medium |
| CN112184822B (en) * | 2019-07-01 | 2024-01-30 | 北京地平线机器人技术研发有限公司 | Camera pitch angle adjusting method and device, storage medium and electronic equipment |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3293441B2 (en) * | 1996-01-09 | 2002-06-17 | トヨタ自動車株式会社 | Imaging device |
| JP5083443B2 (en) * | 2001-03-28 | 2012-11-28 | パナソニック株式会社 | Driving support device and method, and arithmetic device |
| JP2010245628A (en) * | 2009-04-01 | 2010-10-28 | Mitsubishi Electric Corp | Camera calibration device |
| JP5747482B2 (en) * | 2010-03-26 | 2015-07-15 | 日産自動車株式会社 | Vehicle environment recognition device |
-
2012
- 2012-09-19 JP JP2012205355A patent/JP6015276B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014059793A (en) | 2014-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4690476B2 (en) | Car camera calibration system | |
| JP4751939B2 (en) | Car camera calibration system | |
| US8908037B2 (en) | Calibration device, method, and program for on-board camera | |
| JP6511406B2 (en) | Calibration system, calibration device | |
| JP6015276B2 (en) | Camera mounting error correction apparatus and camera mounting error correction method | |
| US20160037032A1 (en) | Method for detecting mounting posture of in-vehicle camera and apparatus therefor | |
| EP3150443B1 (en) | Display device for vehicle and display method for vehicle | |
| JP6260424B2 (en) | In-vehicle camera mounting error detection device | |
| JP5081313B2 (en) | Car camera calibration system | |
| WO2015029443A1 (en) | Turning angle correction method, turning angle correction device, image-capturing device, and turning angle correction system | |
| JP5811327B2 (en) | Camera calibration device | |
| WO2017002811A1 (en) | Lane deviation avoidance device | |
| JPH1040499A (en) | Outside recognizing device for vehicle | |
| WO2014045344A1 (en) | Foe setting device and foe setting method for on-vehicle camera | |
| JP2011087308A (en) | Device, method, and program for calibration of in-vehicle camera | |
| JP7270499B2 (en) | Abnormality detection device, abnormality detection method, posture estimation device, and mobile body control system | |
| JP2014230215A (en) | Camera calibration device and camera calibration method | |
| KR102227850B1 (en) | Method for adjusting output video of rear camera for vehicles | |
| JP6450530B2 (en) | In-vehicle camera mounting angle adjustment processing, mounting angle detection device | |
| JP5561469B2 (en) | Yaw rate correction apparatus and method | |
| JP2013129264A (en) | Calibration method for on-vehicle camera and calibration device for on-vehicle camera | |
| JP2018136739A (en) | Calibration device | |
| JP5974762B2 (en) | Camera mounting error correction apparatus and camera mounting error correction method | |
| JP4040620B2 (en) | Vehicle periphery monitoring device | |
| JP6974192B2 (en) | Camera misalignment detection device and camera misalignment detection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150729 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160610 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160621 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160805 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160830 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160912 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6015276 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |