JP2006279239A - Correction method and correction device for stereoscopic camera - Google Patents

Correction method and correction device for stereoscopic camera Download PDF

Info

Publication number
JP2006279239A
JP2006279239A JP2005091919A JP2005091919A JP2006279239A JP 2006279239 A JP2006279239 A JP 2006279239A JP 2005091919 A JP2005091919 A JP 2005091919A JP 2005091919 A JP2005091919 A JP 2005091919A JP 2006279239 A JP2006279239 A JP 2006279239A
Authority
JP
Japan
Prior art keywords
camera
smear
cameras
stereo camera
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005091919A
Other languages
Japanese (ja)
Other versions
JP4539400B2 (en
Inventor
Hiroshi Nakamura
弘 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2005091919A priority Critical patent/JP4539400B2/en
Publication of JP2006279239A publication Critical patent/JP2006279239A/en
Application granted granted Critical
Publication of JP4539400B2 publication Critical patent/JP4539400B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a correction method and correction device for a stereoscopic camera by which a stereoscopic camera can be corrected with simple processing. <P>SOLUTION: The correction method for a stereoscopic camera is used for correcting the camera parameter of the stereoscopic camera having a plurality of cameras. The correction method has a smear detection step (S1) for detecting smears from two image data obtained by photographing the sun with first/second cameras and a camera parameter calculation step (S3) for calculating the camera parameter so that the positions of the smears in the two image data detected by the smear detection step are almost coincident with each other. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、ステレオカメラにおけるカメラ間のカメラパラメータを補正するステレオカメラ補正方法及びステレオカメラ補正装置に関する。   The present invention relates to a stereo camera correction method and a stereo camera correction apparatus that correct camera parameters between cameras in a stereo camera.

車両にＣＣＤ等の固体撮像素子を車載して、撮像した画像を処理して車外の状態を認識し所定の制御を行う車載カメラが知られている。車載カメラにより車外の状態を認識するためには、撮像画像に基づき撮像対象物までの距離を検出することが必要となるため、２台のカメラ（以下、ステレオカメラという）を車載して、いわゆるステレオ対応付けの方法により撮像対象物までの距離を求める場合が多い。   2. Description of the Related Art A vehicle-mounted camera that mounts a solid-state imaging device such as a CCD on a vehicle, processes a captured image, recognizes a state outside the vehicle, and performs predetermined control is known. In order to recognize the state outside the vehicle by the in-vehicle camera, it is necessary to detect the distance to the object to be imaged based on the captured image, so two cameras (hereinafter referred to as stereo cameras) are mounted on the vehicle, so-called In many cases, the distance to the object to be imaged is obtained by a stereo association method.

ステレオ対応付けにより撮像対象物までの距離を求める場合、ステレオカメラにより撮像された一対の画像の間には視差以外に位置的なずれが存在しないことで、求められた距離の精度が向上する。しかしながら実際には、ステレオカメラの取り付け位置は、機械的な取り付け精度に起因した誤差の範囲においてずれてしまう。   When the distance to the imaging target is obtained by stereo association, the accuracy of the obtained distance is improved because there is no positional deviation other than the parallax between the pair of images taken by the stereo camera. However, in practice, the stereo camera mounting position is shifted within a range of errors due to mechanical mounting accuracy.

そこで、ステレオカメラの位置ずれを、一対の画像に撮像された特徴部の位置に基づいて補正する方法が提案されている（例えば、特許文献１参照。）。特許文献１記載の補正方法では、一方の画像の画素ブロックごとに当該画素ブロックの輝度特性と相関を有する領域を他方の画像において特定し、これらの対応関係に基づき変換パラメータを設定することで、ステレオ画像の位置ずれを補正する。
特開２００１−８２９５５号公報 In view of this, a method has been proposed in which the positional deviation of the stereo camera is corrected based on the position of the feature portion captured in a pair of images (see, for example, Patent Document 1). In the correction method described in Patent Document 1, for each pixel block of one image, a region having a correlation with the luminance characteristic of the pixel block is specified in the other image, and a conversion parameter is set based on these correspondences. Correct the misalignment of stereo images.
JP 2001-82955 A

しかしながら、特許文献１記載の位置ずれの補正方法は、一方の画像と他方の画像の対応付けを行うために多くの複雑な処理を必要とするという問題がある。すなわち、輝度特性が相関する領域を他方の画像において特定するため、エッジ検出、ヒストグラムの作成等の処理が必要となり、ステレオカメラ搭載のコスト増大の要因となっている。   However, the positional deviation correction method described in Patent Document 1 has a problem that many complicated processes are required to associate one image with the other image. That is, since the region where the luminance characteristics correlate is specified in the other image, processing such as edge detection and histogram creation is required, which causes an increase in the cost of mounting a stereo camera.

本発明は、上記問題に鑑み、簡易な処理でステレオカメラの補正を行うことができるステレオカメラ補正方法及びステレオカメラ補正装置を提供することを目的とする。   An object of this invention is to provide the stereo camera correction method and stereo camera correction apparatus which can correct | amend a stereo camera by simple process in view of the said problem.

上記課題を解決するため、本発明は、複数のカメラを有するステレオカメラのカメラパラメータを補正するステレオカメラの補正方法において、第１及び第２のカメラにより太陽を撮影して得られた二つの画像データからスミアを検出するスミア検出ステップ（Ｓ１）と、スミア検出ステップにより検出された二つの画像データのスミアの位置が略一致するように、カメラパラメータを算出するカメラパラメータ算出ステップ（Ｓ３）と、を有することを特徴とする。   In order to solve the above problems, the present invention provides a stereo camera correction method for correcting camera parameters of a stereo camera having a plurality of cameras, and two images obtained by photographing the sun with the first and second cameras. A smear detection step (S1) for detecting smear from the data, a camera parameter calculation step (S3) for calculating camera parameters so that the smear positions of the two image data detected by the smear detection step substantially match, It is characterized by having.

本発明によれば、簡易な処理でステレオカメラの補正を行うことができるステレオカメラ補正方法を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the stereo camera correction method which can correct | amend a stereo camera by simple process can be provided.

また、本発明のステレオカメラの補正方法の一形態において、カメラパラメータは、第１と第２のカメラの相対位置を補正する位置補正情報（例えば、後述のアフィンパラメータ）であることを特徴とする。本発明によれば、二つのカメラの相対位置をスミアの位置の違いにより補正することができる。   In one aspect of the stereo camera correction method of the present invention, the camera parameter is position correction information (for example, an affine parameter described later) for correcting the relative positions of the first and second cameras. . According to the present invention, the relative position of the two cameras can be corrected by the difference in smear position.

また、本発明のステレオカメラの補正方法の一形態において、カメラパラメータは、第１又は第２のカメラの電気的特定を定める電気特性情報（例えば、後述の電気特性パラメータ）であることを特徴とする。本発明によれば、二つのカメラの電気的特性をスミアの位置の違いにより補正することができる。   In one aspect of the correction method for a stereo camera of the present invention, the camera parameter is electrical characteristic information (for example, an electrical characteristic parameter described later) that defines electrical specification of the first or second camera. To do. According to the present invention, the electrical characteristics of the two cameras can be corrected by the difference in smear position.

また、本発明は、複数のカメラを有するステレオカメラの電気的特性を定める電気特定情報を補正するステレオカメラの補正方法において、第１の及び第２のカメラにより太陽を撮影して得られた二つの画像データからスミアを検出するスミア検出ステップと、スミア検出ステップにより検出されたスミアの生じた画像データの輝度情報に基づき、第１又は第２のカメラの電気特定情報を算出する電気特定情報算出ステップと、を有することを特徴とする。   According to another aspect of the present invention, there is provided a stereo camera correction method for correcting electrical specific information that defines the electrical characteristics of a stereo camera having a plurality of cameras, obtained by photographing the sun with the first and second cameras. Smear detection step for detecting smear from two image data, and electrical specification information calculation for calculating electrical specification information of the first or second camera based on luminance information of the image data in which smear is detected detected by the smear detection step And a step.

本発明によれば、二つのカメラの電気的特性をスミアが検出された画像データの輝度により補正することができる。   According to the present invention, the electrical characteristics of the two cameras can be corrected by the brightness of image data in which smear is detected.

また、本発明は、複数のカメラを有するステレオカメラのカメラパラメータを補正するステレオカメラの補正装置において、第１の及び第２のカメラにより太陽を撮影して得られた二つの画像データからスミアを検出するスミア検出手段（図１のスミア検出部１８）と、スミア検出ステップにより検出された二つの画像データのスミアの位置が略一致するように、カメラパラメータを算出するカメラパラメータ算出手段（図１のスミア検出部１８が行う）と、を有することを特徴とする。   Further, the present invention provides a stereo camera correction apparatus for correcting camera parameters of a stereo camera having a plurality of cameras. A smear is obtained from two image data obtained by photographing the sun with a first camera and a second camera. The smear detection means for detecting (smear detection unit 18 in FIG. 1) and the camera parameter calculation means for calculating camera parameters (FIG. 1) so that the smear positions of the two image data detected by the smear detection step are substantially coincident. The smear detection unit 18 of FIG.

また、本発明のステレオカメラ補正装置において、カメラパラメータは、第１と第２のカメラの相対位置を補正する位置補正情報（例えば、後述のアフィンパラメータ）であることを特徴とする。   In the stereo camera correction apparatus of the present invention, the camera parameter is position correction information (for example, an affine parameter described later) for correcting the relative positions of the first and second cameras.

また、本発明のステレオカメラ補正装置において、カメラパラメータは、第１又は第２のカメラの電気的特定を定める電気特性情報（例えば、後述の電気特性パラメータ）であることを特徴とする。   In the stereo camera correction apparatus of the present invention, the camera parameter is electrical characteristic information (for example, an electrical characteristic parameter described later) that defines the electrical specification of the first or second camera.

また、本発明は、複数のカメラを有するステレオカメラの電気的特性を定める電気特定情報を補正するステレオカメラ補正装置において、第１の及び第２のカメラにより太陽を撮影して得られた二つの画像データからスミアを検出するスミア検出手段と、スミア検出手段により検出されたスミアの生じた画像データの輝度情報に基づき、第１又は第２のカメラの電気特定情報を算出する電気特定情報算出手段と、を有することを特徴とする。   In addition, the present invention provides a stereo camera correction apparatus that corrects electrical specific information that defines electrical characteristics of a stereo camera having a plurality of cameras. Smear detection means for detecting smear from the image data, and electrical specification information calculation means for calculating the electrical specification information of the first or second camera based on the luminance information of the image data in which smear is detected detected by the smear detection means It is characterized by having.

簡易な処理でステレオカメラの補正を行うことができるステレオカメラの補正方法及びステレオカメラ補正装置を提供することができる。   A stereo camera correction method and a stereo camera correction apparatus that can correct a stereo camera with simple processing can be provided.

以下、本発明を実施するための最良の形態を、図面を参照しながら実施例を挙げて説明する。   Hereinafter, the best mode for carrying out the present invention will be described with reference to the accompanying drawings.

図１は、本実施の形態に係るステレオカメラ補正装置又はステレオカメラの補正方法が適用されたステレオカメラのブロック図を示す。車両前方の所定範囲を撮像するステレオカメラは、例えばルームミラーの高さに所定距離離して取り付けられ、ＣＣＤ等の固体撮像素子を内蔵した一対のカメラ１１，１２を有する。   FIG. 1 is a block diagram of a stereo camera to which the stereo camera correction apparatus or the stereo camera correction method according to the present embodiment is applied. A stereo camera that captures a predetermined range in front of the vehicle includes, for example, a pair of cameras 11 and 12 that are mounted at a predetermined distance from the height of a room mirror and incorporate a solid-state imaging device such as a CCD.

各カメラ１１，１２から出力されたアナログ画像は、後段の回路の入力レンジに合致するように、アナログインターフェース１３において調整される。また、アナログインターフェース１３が有するゲインコントロールアンプにより画像の明るさバランスが調整される。   The analog images output from the cameras 11 and 12 are adjusted in the analog interface 13 so as to match the input range of the subsequent circuit. The brightness balance of the image is adjusted by a gain control amplifier included in the analog interface 13.

アナログインターフェース１３において調整されたアナログ画像は、各画素毎にＡ／Ｄコンバータ１４により、所定の輝度階調（例えば、２５６階調のグレースケール）のデジタル画像に変換される。カメラ１１、１２で撮影されたデジタル画像（以下、単に画像データという）は、スミア検出部１８へ送出される。なお、カメラ１１により撮影された画像データはステレオ画像処理部１５に、カメラ１２により撮影された画像データはアフィン変換部１９にも送出される。   The analog image adjusted in the analog interface 13 is converted into a digital image of a predetermined luminance gradation (for example, a gray scale of 256 gradations) by the A / D converter 14 for each pixel. Digital images photographed by the cameras 11 and 12 (hereinafter simply referred to as image data) are sent to the smear detection unit 18. Note that image data captured by the camera 11 is also transmitted to the stereo image processing unit 15, and image data captured by the camera 12 is also transmitted to the affine transformation unit 19.

スミアとは、ＣＣＤのような光／電子変換素子を用いた場合に見られる現象であり、ＣＣＤのある素子に一定以上の過剰な信号（光）が入力され、縦又は横方向の信号が全体的に変化し、擬似信号として認識されることをいう。例えば、暗環境（ＣＣＤの感度を上げている状態）で光点（過剰な入力信号）を撮影すると、点が線として写る現象である。スミア検出部１８は、カメラ１１、１２で撮影された画像データに、スミアにより生じる、輝度が所定よりも大きい線状の部位がある場合それを検出する。   Smear is a phenomenon that occurs when an optical / electronic conversion element such as a CCD is used. An excessive signal (light) exceeding a certain level is input to an element in the CCD, and the entire vertical or horizontal signal is generated. Changes and is recognized as a pseudo signal. For example, when a light spot (excessive input signal) is photographed in a dark environment (a state where the sensitivity of the CCD is increased), the point appears as a line. The smear detection unit 18 detects, when image data captured by the cameras 11 and 12 has a linear part having a luminance greater than a predetermined value caused by smear.

ところで、車両に搭載されたカメラ１１、１２に対しては、太陽光が過剰な入力信号となることがある。太陽は、無限遠にある光源であるため複数のカメラで撮像した場合それぞれのカメラに対し太陽は同じ位置あるものとみなされる。スミア検出部１８はかかる原理を利用して、カメラ１１とカメラ１２のカメラパラメータを補正する。本実施の形態のカメラパラメータとは、機械的な位置ずれを補正するためのパラメータ（後述のアフィンパラメータ）、及び、露出など画像データの電気的な特定を補正するパラメータ（電気特性パラメメータ）をいう。   By the way, sunlight may become an excessive input signal with respect to the cameras 11 and 12 mounted on the vehicle. Since the sun is a light source at infinity, the sun is regarded as having the same position with respect to each camera when captured by a plurality of cameras. The smear detection unit 18 corrects the camera parameters of the camera 11 and the camera 12 using this principle. The camera parameters of the present embodiment refer to parameters for correcting mechanical misalignment (affine parameters described later) and parameters for correcting electrical specification of image data such as exposure (electrical characteristic parameters). .

図２（ａ）は太陽光が入射したカメラ１１で撮影した画像データを、図２（ｂ）は太陽光が入射したカメラ１２で撮影した画像データの一例を示す。図２（ａ）と（ｂ）は、ある瞬間又は動画として車両前方を撮影したものである。したがって、機械的な位置とカメラパラメータが理想的に設定されていれば、無限遠の物体（太陽）はカメラ１１と１２の画像データで同じ位置に結像する。   FIG. 2A shows an example of image data taken by the camera 11 with sunlight, and FIG. 2B shows an example of image data taken by the camera 12 with sunlight. 2 (a) and 2 (b) are images of the front of the vehicle taken at a certain moment or as a moving image. Therefore, if the mechanical position and the camera parameters are ideally set, an infinitely distant object (sun) forms an image at the same position with the image data of the cameras 11 and 12.

図２では、各マスが画素を示し、画素に記された数値が輝度（数値が高いほど明るい）を示す。例えば、輝度が２００以上の線状の画素部が検出された場合にスミアが生じたと判定すると、図２（ａ）では画素部Ａに、図２（ｂ）では画素部Ｂにそれぞれスミアが生じたことが検出できる。スミア検出部１８は、画素部ＡとＢの位置の違い（図ではＸ方向に２画素、Ｙ方向に３画素）を検出し、画素部ＡとＢの位置が一致するように後述のアフィンパラメータを決定する。   In FIG. 2, each square represents a pixel, and the numerical value written on the pixel represents luminance (the higher the numerical value, the brighter). For example, if it is determined that smear has occurred when a linear pixel portion having a luminance of 200 or more is detected, smear has occurred in the pixel portion A in FIG. 2A and in the pixel portion B in FIG. Can be detected. The smear detection unit 18 detects a difference in the positions of the pixel parts A and B (2 pixels in the X direction and 3 pixels in the Y direction in the figure), and an affine parameter described later so that the positions of the pixel parts A and B match. To decide.

なお、スミアの生じた画素部を正確に取得するため、スミアが生じた場合にはレンズの絞りや露光時間を調整する。   Note that, in order to accurately obtain the pixel portion where smear has occurred, the lens aperture and exposure time are adjusted when smear has occurred.

また、スミア検出部１８はスミアの生じた画素やその周辺の画素の輝度の違いを検出する。画素部ＡとＢは共に太陽光によりスミアが生じたものであるので同じ輝度となることがステレオカメラの電気特性の設定条件として好ましい。したがって、画素部ＡとＢの輝度が等しくなるように、カメラの露出、ＣＣＤ感度、ホワイトバランス等、カメラの電気特性パラメータを決定する。なお、太陽光から得られる信号が強すぎ過ぎる場合、画素部Ａ及びＢの周辺の画素を用いればよい。   In addition, the smear detection unit 18 detects a difference in luminance between pixels in which smear has occurred and surrounding pixels. Since the pixel portions A and B are both smeared by sunlight, the same luminance is preferable as a setting condition of the electrical characteristics of the stereo camera. Accordingly, camera electrical characteristic parameters such as camera exposure, CCD sensitivity, and white balance are determined so that the luminance of the pixel portions A and B is equal. In addition, what is necessary is just to use the pixel around the pixel parts A and B when the signal obtained from sunlight is too strong.

また、カメラ１１と１２の電気特性パラメータに起因して、スミアの発生位置が異なることがあるので、かかる場合には、画素部ＡとＢの位置が一致するように電気特性パラメータを定めてもよい。   In addition, since the smear generation position may be different due to the electric characteristic parameters of the cameras 11 and 12, in such a case, the electric characteristic parameter may be determined so that the positions of the pixel portions A and B coincide with each other. Good.

ステレオカメラの機械的な位置調整について説明する。ステレオカメラは、車両等に搭載して組み立て出荷される際に、カメラ１１及び１２の機械的な位置関係が調整されて固定される。機械的な位置関係の調整とは、カメラ１１とカメラ１２とが、視差以外に位置的なずれがないように固定することである。しかしながら、カメラ１１及び１２には、経時変化や振動・衝撃により、出荷時の状態と比較して機械的な位置ずれが生じる。また、出荷時に、精密に機械的な位置関係を調整して固定することは、ステレオカメラのコストを上昇させる。機械的な位置関係の調整が不充分な場合、撮像対象面のテクスチャへの適応能力や距離情報の精度が低下し、ステレオカメラを用いたシステム全体の信頼性を低下させる。   The mechanical position adjustment of the stereo camera will be described. When the stereo camera is mounted and shipped in a vehicle or the like, the mechanical positional relationship between the cameras 11 and 12 is adjusted and fixed. Adjustment of the mechanical positional relationship means that the camera 11 and the camera 12 are fixed so that there is no positional deviation other than parallax. However, the cameras 11 and 12 are mechanically misaligned compared with the state at the time of shipment due to a change with time and vibration / impact. Further, precisely adjusting and fixing the mechanical positional relationship at the time of shipment increases the cost of the stereo camera. If the adjustment of the mechanical positional relationship is insufficient, the adaptability to the texture of the surface to be imaged and the accuracy of the distance information are lowered, and the reliability of the entire system using the stereo camera is lowered.

このため本実施の形態では、カメラ１２側の系統にアフィン変換部１９を備える。アフィン変換は、画像を平行移動、回転、拡大、縮小等して別の画像に座標変換である。アフィン変換は、例えば次式のよう表される。   For this reason, in this embodiment, an affine transformation unit 19 is provided in the system on the camera 12 side. The affine transformation is coordinate transformation to another image by translating, rotating, enlarging or reducing the image. The affine transformation is expressed by the following equation, for example.

Figure 2006279239
… （１）
ａ、ｂ、ｃ、ｄを要素とする２次行列は画像の回転のパラメータを、ｌ、ｍは平行移動のパラメータをそれぞれ表す。これらのアフィンパラメータは、出荷時に調整した機械的な位置関係に対して、視差以外にカメラ１１と１２の画像データの位置ずれがないように設定されている。
Figure 2006279239
 (1)
A quadratic matrix having elements a, b, c, and d represents image rotation parameters, and l and m represent parallel movement parameters. These affine parameters are set so that there is no positional deviation of the image data of the cameras 11 and 12 other than the parallax with respect to the mechanical positional relationship adjusted at the time of shipment.

また、経時変化や振動・衝撃により、カメラ１１と１２に機械的な位置ずれが生じた場合、アフィンパラメータを変更することで、機械的な位置ずれの補正を行うことができる。   Further, when a mechanical misalignment occurs in the cameras 11 and 12 due to a change with time or vibration / impact, the mechanical misalignment can be corrected by changing the affine parameter.

アフィンパラメータの変更は、スミア検出部１８が検出した各画像データのスミアの位置（図２では画素部ＡとＢ）に基づき、スミア検出部１８が行う。スミア検出部１８は、線上に現れる画素部Ａの座標を式（１）のｘ‘ｙ’に、画素部Ｂの座標をｘ、ｙにそれぞれ代入し、式（１）の関係を満たすアフィンパラメータを算出する。なお、最新のアフィンパラメータはアフィン変換部１９に保持されている。   The affine parameter is changed by the smear detection unit 18 based on the smear position (pixel portions A and B in FIG. 2) of each image data detected by the smear detection unit 18. The smear detection unit 18 substitutes the coordinates of the pixel part A appearing on the line into x′y ′ of the expression (1) and the coordinates of the pixel part B into x and y, respectively, and satisfies the relationship of the expression (1). Is calculated. The latest affine parameters are held in the affine transformation unit 19.

ステレオカメラの電源投入直後や、太陽が撮影される度に、アフィンパラメータを設定することで、ステレオカメラのわずかな機械的な位置ずれを補正することができる。   By setting the affine parameters immediately after the stereo camera is turned on or whenever the sun is photographed, a slight mechanical misalignment of the stereo camera can be corrected.

したがって、ステレオ画像処理の対象となる一対の元画像データは、カメラ１１で撮影された画像データとカメラ１２で撮影された画像データにアフィン変換した画像データとなる。なお、カメラ１１側の系統にもアフィン変換回路を設けてもよい。   Therefore, a pair of original image data to be subjected to stereo image processing is image data obtained by affine transformation into image data captured by the camera 11 and image data captured by the camera 12. An affine transformation circuit may also be provided in the system on the camera 11 side.

カメラ１２の画像データがアフィン変換部１９を経ることで、一対の画像間に視差以外に位置的なずれが存在しないステレオ画像がステレオ画像処理部１５に入力される。ステレオ画像処理部１５は、カメラ１１に撮影された画像とカメラ１２に撮影された画像に基づき、距離データを算出する。   When the image data of the camera 12 passes through the affine transformation unit 19, a stereo image in which no positional deviation other than parallax exists between the pair of images is input to the stereo image processing unit 15. The stereo image processing unit 15 calculates distance data based on the image captured by the camera 11 and the image captured by the camera 12.

距離データは、周知のステレオマッチングにより決定する。例えば4×4画素の画素ブロックを単位として、一対の画素ブロックにおいて相関のある輝度特性を有する領域を探索することにより特定する。ステレオ画像に映し出された対象物までの距離は、ステレオ画像における視差、すなわち、一対の画像の間における水平方向のずれ量として現れる。したがって、画像間で探索を行う場合、対象画素ブロックの同じ水平線（エピポーラライン）上を探索すればよい。両画像における相対的なずれ量である視差から、三角測量の原理を用いて距離データが算出される。   The distance data is determined by well-known stereo matching. For example, specifying a pixel block of 4 × 4 pixels as a unit by searching for a region having correlated luminance characteristics in a pair of pixel blocks. The distance to the object displayed in the stereo image appears as a parallax in the stereo image, that is, a horizontal shift amount between the pair of images. Therefore, when searching between images, it is only necessary to search on the same horizontal line (epipolar line) of the target pixel block. Distance data is calculated from the parallax, which is a relative shift amount between both images, using the principle of triangulation.

ステレオ画像処理部１５は、エピポーラライン上を一画素ずつシフトしながら、４×４画素の画素ブロック毎に相関を評価する。２つの画素ブロックの相関は、例えば、シティブロック距離を算出することにより評価できる。   The stereo image processing unit 15 evaluates the correlation for each pixel block of 4 × 4 pixels while shifting the pixel on the epipolar line one pixel at a time. The correlation between two pixel blocks can be evaluated, for example, by calculating a city block distance.

シティブロック距離とは、パターン間の類似性を数値として示す尺度の一つであり、次のように定義される。
Ｃ＝Σ｜Ｂ１n−Ｂ２n｜ …（２）
ここでＢ１n、Ｂ２nはそれぞれカメラ１１、カメラ１２で撮影された画像データにおいて、エピポーラライン上のn番目の画素の輝度（２５６階調）である。総和は４×４の画素ブロックに渡って行う。したがって、Ｃが小さいほど２つの画素ブロックの相関が大きいと評価される。 The city block distance is one of the measures indicating the similarity between patterns as a numerical value, and is defined as follows.
C = Σ | B1n−B2n | (2)
Here, B1n and B2n are the luminances (256 gradations) of the nth pixel on the epipolar line in the image data photographed by the cameras 11 and 12, respectively. The summation is performed over 4 × 4 pixel blocks. Therefore, it is evaluated that the smaller the C, the greater the correlation between the two pixel blocks.

エピポーラライン上に存在する画素ブロック毎に算出されたシティブロック距離Ｃのうち、その値が最小となる画素ブロックが対象画素ブロックの相関先と判断される。相関先の画素ブロックの、カメラ１１と１２の画像データ上における位置から視差が求められる。視差が知られれば、カメラの焦点距離、画角、カメラ１１と１２の距離、に基づき画像データ上の各対象物までの距離を算出できる。   Of the city block distances C calculated for each pixel block existing on the epipolar line, the pixel block having the smallest value is determined as the correlation destination of the target pixel block. The parallax is obtained from the position of the correlation destination pixel block on the image data of the cameras 11 and 12. If the parallax is known, the distance to each object on the image data can be calculated based on the focal length of the camera, the angle of view, and the distance between the cameras 11 and 12.

画像認識部１６は、画像データと距離データに基づき道路形状（白線）や車輌前方の立体物（走行車）等を認識する。したがって、画像認識部１６により、例えば白線や障害物の検出が可能となる。   The image recognition unit 16 recognizes a road shape (white line), a three-dimensional object (a traveling vehicle) in front of the vehicle, and the like based on the image data and the distance data. Therefore, for example, white lines and obstacles can be detected by the image recognition unit 16.

また、車両には、運転者の操作によらず舵角を制御する舵角制御装置、アクセルのスロットル開度を制御するスロットル制御装置、各車輪の制動力を制御する制動力制御装置が備えられている。これら制御装置１７は、画像データや距離データに基づき認識したレーンキーピング走行や、障害物の自動回避等を可能にする。また、画像データや距離データに基づいて、前方のカーブや障害物に対する警報が必要と判定された場合、モニタやスピーカー等の警報装置を作動させてドライバーに注意を促す。     The vehicle is also provided with a steering angle control device that controls the steering angle regardless of the driver's operation, a throttle control device that controls the throttle opening of the accelerator, and a braking force control device that controls the braking force of each wheel. ing. These control devices 17 enable lane keeping running recognized based on image data and distance data, automatic avoidance of obstacles, and the like. Further, when it is determined that an alarm for a forward curve or an obstacle is necessary based on the image data or the distance data, an alarm device such as a monitor or a speaker is activated to alert the driver.

以上の構成に基づき、ステレオカメラの補正方法の実施例を説明する。図３は、ステレオカメラの補正の手順を示すフローチャート図である。ステレオカメラの補正は、電源投入直後にのみ許可してもよいし、車両走行中も補正可能としてもよい。   Based on the above configuration, an embodiment of a stereo camera correction method will be described. FIG. 3 is a flowchart showing the correction procedure of the stereo camera. The correction of the stereo camera may be permitted only immediately after the power is turned on, or may be corrected while the vehicle is running.

本実施例の補正方法は、スミア検出部１８がスミアを検出するとスタートする（Ｓ１）。スミアの検出は、例えば、所定以上の輝度の輝線がカメラ１１と１２の双方の画像データに検出されることで行う。   The correction method of this embodiment starts when the smear detection unit 18 detects smear (S1). For example, smear is detected by detecting bright lines having a luminance of a predetermined level or more in the image data of both the cameras 11 and 12.

次いで、スミアを生じさせた光源が太陽か否かを判定する（Ｓ２）。太陽とそれ以外の光（夜間の街灯、対向車のライト等）とは光の強度が大きく異なることから、スミアを生じさせた光源が太陽か否かは容易に判別できる。スミア検出部１８は、画像データ全体の輝度が下がるように画像調整を行うことで、スミアを生じさせた光源が太陽か否かを判定する。輝度を下げるには、シャッタースピード（電子シャッター）を早くしたり、絞りを絞ったり、又、ゲインを低下（ＣＣＤの感度低下）させ、なおスミアが生じた画素が所定以上の輝度であった場合、スミアを生じさせた光源が太陽であると判定する。   Next, it is determined whether or not the light source causing the smear is the sun (S2). Since the intensity of light is greatly different from the sun and other lights (night street lights, oncoming car lights, etc.), it can be easily determined whether or not the light source causing smear is the sun. The smear detection unit 18 determines whether or not the light source causing smear is the sun by performing image adjustment so that the luminance of the entire image data is lowered. To lower the brightness, increase the shutter speed (electronic shutter), reduce the aperture, reduce the gain (decrease the sensitivity of the CCD), and the smeared pixels are more than the specified brightness. It is determined that the light source causing smear is the sun.

光源が太陽でないと判定された場合（ステップＳ２のＮｏ）、光源が無限遠にあると保証されない、すなわち、カメラ１１、１２の画像データの同じ位置にスミアが発生している保証がないため、アフィンパラメータ及び電気特定パラメータの補正を行わず図３のフローチャートの処理が終了する。   If it is determined that the light source is not the sun (No in step S2), it is not guaranteed that the light source is at infinity, that is, there is no guarantee that smear has occurred at the same position in the image data of the cameras 11 and 12, The process of the flowchart of FIG. 3 is terminated without correcting the affine parameters and the electrical specific parameters.

光源が太陽であると判定された場合（ステップＳ２のＹｅｓ）、スミア検出部１８は、カメラ１１、１２の画像データのスミアの位置が同一座標になるように、式（１）に基づきアフィンパラメータを算出する（Ｓ３）。また、スミア検出部１８は、カメラ１１、１２の画像データの輝度が等しくなるように、カメラの露出、ＣＣＤ感度、ホワイトバランス等、カメラの電気特性パラメータを決定する。これにより、ステレオカメラを構成するカメラ１１とカメラ１２のカメラパラメータを互いに一致させることができ、撮像対象面のテクスチャへの適応能力や距離情報の精度を維持することができる。   When it is determined that the light source is the sun (Yes in step S2), the smear detection unit 18 uses the affine parameters based on the equation (1) so that the smear position of the image data of the cameras 11 and 12 becomes the same coordinate. Is calculated (S3). In addition, the smear detection unit 18 determines camera electrical characteristic parameters such as camera exposure, CCD sensitivity, and white balance so that the brightness of the image data of the cameras 11 and 12 is equal. Thereby, the camera parameters of the camera 11 and the camera 12 constituting the stereo camera can be matched with each other, and the adaptability to the texture of the imaging target surface and the accuracy of the distance information can be maintained.

以上のように、本実施の形態のステレオカメラの補正方法又はステレオカメラの補正装置によれば、太陽の撮影という簡易な方法で、機械的な取付け精度や経時的な変化に起因したステレオカメラの取付け位置を補正することができる。また、ステレオカメラの電気的な特性に基づくカメラパラメータをカメラ１１，１２において一致させることができる。太陽を撮影してカメラパラメータを補正する場合、二つの画像データのエッジ検出やヒストグラムの作成等の処理が不要であるので、ステレオカメラのコストを低減することができる。   As described above, according to the stereo camera correction method or the stereo camera correction apparatus of the present embodiment, the stereo camera correction method or the stereo camera correction method can be performed by a simple method of photographing the sun. The mounting position can be corrected. In addition, the camera parameters based on the electrical characteristics of the stereo camera can be matched between the cameras 11 and 12. When shooting the sun and correcting the camera parameters, processing such as edge detection of two image data and creation of a histogram are not necessary, and the cost of the stereo camera can be reduced.

本実施の形態に係るステレオカメラ補正装置が適用されたステレオカメラのブロック図である。It is a block diagram of the stereo camera to which the stereo camera correction apparatus according to the present embodiment is applied. スミアの生じた画像データの一例である。It is an example of image data in which smear has occurred. ステレオカメラの補正の手順を示すフローチャート図である。It is a flowchart figure which shows the correction | amendment procedure of a stereo camera.

符号の説明Explanation of symbols

１１、１２ カメラ
１３ アナログインターフェイス
１４ Ａ／Ｄコンバータ
１５ ステレオ画像処理部
１６ 画像認識部
１７ 制御装置
１８ スミア検出部
１９ アフィンパ変換部 DESCRIPTION OF SYMBOLS 11, 12 Camera 13 Analog interface 14 A / D converter 15 Stereo image processing part 16 Image recognition part 17 Control apparatus 18 Smear detection part 19 Affine conversion part

Claims (8)

複数のカメラを有するステレオカメラのカメラパラメータを補正するステレオカメラの補正方法において、
第１及び第２のカメラにより太陽を撮影して得られた画像データからスミアを検出するスミア検出ステップと、
前記スミア検出ステップにより検出された二つの前記画像データのスミアの位置が略一致するように、前記カメラパラメータを算出するカメラパラメータ算出ステップと、
を有することを特徴とするステレオカメラの補正方法。 In a correction method of a stereo camera that corrects camera parameters of a stereo camera having a plurality of cameras,
A smear detection step of detecting smear from image data obtained by photographing the sun with the first and second cameras;
A camera parameter calculation step for calculating the camera parameter so that smear positions of the two image data detected by the smear detection step substantially coincide with each other;
A stereo camera correction method characterized by comprising: 前記カメラパラメータは、前記第１と第２のカメラの相対位置を補正する位置補正情報であることを特徴とする、請求項１記載のステレオカメラの補正方法。   The stereo camera correction method according to claim 1, wherein the camera parameter is position correction information for correcting a relative position between the first and second cameras. 前記カメラパラメータは、前記第１又は第２のカメラの電気的特定を定める電気特性情報であることを特徴とする、請求項１記載のステレオカメラの補正方法。   The stereo camera correction method according to claim 1, wherein the camera parameter is electrical characteristic information that defines electrical specification of the first or second camera. 複数のカメラを有するステレオカメラの電気的特性を定める電気特定情報を補正するステレオカメラの補正方法において、
第１及び第２のカメラにより太陽を撮影して得られた二つの画像データからスミアを検出するスミア検出ステップと、
前記スミア検出ステップにより検出されたスミアの生じた前記画像データの輝度情報に基づき、前記第１又は第２のカメラの前記電気特定情報を算出する電気特定情報算出ステップと、
を有することを特徴とするステレオカメラの補正方法。 In a stereo camera correction method for correcting electrical specific information that defines electrical characteristics of a stereo camera having a plurality of cameras,
A smear detection step for detecting smear from two image data obtained by photographing the sun with the first and second cameras;
An electrical specification information calculating step for calculating the electrical specification information of the first or second camera based on luminance information of the image data in which smear is detected detected by the smear detection step;
A stereo camera correction method characterized by comprising: 複数のカメラを有するステレオカメラのカメラパラメータを補正するステレオカメラの補正装置において、
第１の及び第２のカメラにより太陽を撮影して得られた二つの画像データからスミアを検出するスミア検出手段と、
前記スミア検出手段により検出された二つの前記画像データのスミアの位置が略一致するように、前記カメラパラメータを算出するカメラパラメータ算出手段と、
を有することを特徴とするステレオカメラ補正装置。 In a stereo camera correction apparatus that corrects camera parameters of a stereo camera having a plurality of cameras,
Smear detecting means for detecting smear from two image data obtained by photographing the sun with the first and second cameras;
Camera parameter calculation means for calculating the camera parameters so that the smear positions of the two image data detected by the smear detection means substantially match;
A stereo camera correction apparatus comprising: 前記カメラパラメータは、前記第１と第２のカメラの相対位置を補正する位置補正情報であることを特徴とする、請求項５記載のステレオカメラ補正装置。   6. The stereo camera correction apparatus according to claim 5, wherein the camera parameter is position correction information for correcting a relative position between the first and second cameras. 前記カメラパラメータは、前記第１又は第２のカメラの電気的特定を定める電気特性情報であることを特徴とする、請求項５記載のステレオカメラ補正装置。   The stereo camera correction apparatus according to claim 5, wherein the camera parameter is electrical characteristic information that defines electrical specification of the first or second camera. 複数のカメラを有するステレオカメラの電気的特性を定める電気特定情報を補正するステレオカメラ補正装置において、
第１及び第２のカメラにより太陽を撮影して得られた二つの画像データからスミアを検出するスミア検出手段と、
前記スミア検出手段により検出されたスミアの生じた前記画像データの輝度情報に基づき、前記第１又は第２のカメラの前記電気特定情報を算出する電気特定情報算出手段と、
を有することを特徴とするステレオカメラ補正装置。 In a stereo camera correction apparatus that corrects electrical specific information that defines electrical characteristics of a stereo camera having a plurality of cameras,
Smear detection means for detecting smear from two image data obtained by photographing the sun with the first and second cameras;
Electrical specification information calculation means for calculating the electrical specification information of the first or second camera based on luminance information of the image data in which smear is detected detected by the smear detection means;
A stereo camera correction apparatus comprising:
JP2005091919A 2005-03-28 2005-03-28 Stereo camera correction method and stereo camera correction device Expired - Fee Related JP4539400B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005091919A JP4539400B2 (en) 2005-03-28 2005-03-28 Stereo camera correction method and stereo camera correction device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005091919A JP4539400B2 (en) 2005-03-28 2005-03-28 Stereo camera correction method and stereo camera correction device

Publications (2)

Publication Number Publication Date
JP2006279239A true JP2006279239A (en) 2006-10-12
JP4539400B2 JP4539400B2 (en) 2010-09-08

Family

ID=37213565

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005091919A Expired - Fee Related JP4539400B2 (en) 2005-03-28 2005-03-28 Stereo camera correction method and stereo camera correction device

Country Status (1)

Country Link
JP (1) JP4539400B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102325262A (en) * 2011-09-26 2012-01-18 比比威株式会社 Control system for stereo video camera
JP2012023561A (en) * 2010-07-14 2012-02-02 Ｂｉ２−Ｖｉｓｉｏｎ株式会社 Control system of stereo imaging device
KR101207343B1 (en) 2012-08-30 2012-12-04 재단법인대구경북과학기술원 Method, apparatus, and stereo camera for controlling image lightness
JP2018119910A (en) * 2017-01-27 2018-08-02 日立オートモティブシステムズ株式会社 Camera device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06273172A (en) * 1993-03-19 1994-09-30 Mitsubishi Electric Corp Image processing device using stereo camera
JP2004191354A (en) * 2002-11-29 2004-07-08 Toshiba Corp Calibration method, calibration support device, calibration device and production method of camera system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06273172A (en) * 1993-03-19 1994-09-30 Mitsubishi Electric Corp Image processing device using stereo camera
JP2004191354A (en) * 2002-11-29 2004-07-08 Toshiba Corp Calibration method, calibration support device, calibration device and production method of camera system

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012023561A (en) * 2010-07-14 2012-02-02 Ｂｉ２−Ｖｉｓｉｏｎ株式会社 Control system of stereo imaging device
CN102325262A (en) * 2011-09-26 2012-01-18 比比威株式会社 Control system for stereo video camera
CN102325262B (en) * 2011-09-26 2015-10-21 比比威株式会社 Control system for stereo video camera
KR101207343B1 (en) 2012-08-30 2012-12-04 재단법인대구경북과학기술원 Method, apparatus, and stereo camera for controlling image lightness
WO2014035050A1 (en) * 2012-08-30 2014-03-06 재단법인대구경북과학기술원 Image brightness adjusting method, device therefor, and stereo camera
JP2018119910A (en) * 2017-01-27 2018-08-02 日立オートモティブシステムズ株式会社 Camera device
WO2018139297A1 (en) * 2017-01-27 2018-08-02 日立オートモティブシステムズ株式会社 Camera device

Also Published As

Publication number Publication date
JP4539400B2 (en) 2010-09-08

Similar Documents

Publication Publication Date Title
EP3438777B1 (en) Method, apparatus and computer program for a vehicle
KR101787304B1 (en) Calibration method, calibration device, and computer program product
US6552742B1 (en) Positional deviation adjusting apparatus of stereo image
US8971578B2 (en) Driving support apparatus
JP4389999B2 (en) Exposure control device and exposure control program
JP2009171122A (en) Optical source color temperature estimation method, white balance adjustment apparatus, and image recognition apparatus
JP5071198B2 (en) Signal recognition device, signal recognition method, and signal recognition program
JP5921983B2 (en) In-vehicle imaging device
JP2006343198A (en) Image processing system for vehicle and drive assist device
WO2017134982A1 (en) Imaging device
JP4556133B2 (en) vehicle
JP2012221103A (en) Image processing device for vehicle
KR102177879B1 (en) Apparatus and method of object detection for vehicle
US6697146B2 (en) Range finder for finding range by image realization
JP4539400B2 (en) Stereo camera correction method and stereo camera correction device
US20180205863A1 (en) Imaging apparatus
WO2011016257A1 (en) Distance calculation device for vehicle
JP5246254B2 (en) Determining the exposure control value for in-vehicle cameras
KR102177878B1 (en) Apparatus and method for processing image
JP5898535B2 (en) Exposure control device for imaging unit
JP2006072757A (en) Object detection system
JP4804202B2 (en) Stereo monitoring device
JP4900377B2 (en) Image processing device
WO2020121758A1 (en) Imaging unit control device
KR20220097656A (en) Driver asistance apparatus, vehicle and control method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100601

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100614

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130702

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees