JP4934579B2 - Driving assistance device - Google Patents
Driving assistance device Download PDFInfo
- Publication number
- JP4934579B2 JP4934579B2 JP2007323735A JP2007323735A JP4934579B2 JP 4934579 B2 JP4934579 B2 JP 4934579B2 JP 2007323735 A JP2007323735 A JP 2007323735A JP 2007323735 A JP2007323735 A JP 2007323735A JP 4934579 B2 JP4934579 B2 JP 4934579B2
- Authority
- JP
- Japan
- Prior art keywords
- distortion correction
- image
- vehicle body
- region
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012937 correction Methods 0.000 claims description 172
- 238000003384 imaging method Methods 0.000 claims description 12
- 230000007423 decrease Effects 0.000 claims description 4
- 230000002093 peripheral effect Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 33
- 230000003287 optical effect Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 238000009826 distribution Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000019771 cognition Effects 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
この発明は、運転支援装置に関する。 The present invention relates to a driving support device.
1.車載カメラ
自動車においては、運転者からの死角を無くし視認性を向上させるカメラの装備が一般的になりつつある。2006年度には視認用カメラの出荷台数は200万台を越えると言われている。トラックを含めた国内の新車売上台数が年間600万台弱であることから、およそ3台に1台は視認用カメラを取り付けている計算になる。
1. In-vehicle cameras In automobiles, camera equipment that eliminates blind spots from drivers and improves visibility is becoming common. It is said that the number of cameras for visual recognition will exceed 2 million in FY2006. Since the number of new car sales in Japan, including trucks, is less than 6 million a year, it is calculated that about 1 in 3 vehicles are equipped with cameras for viewing.
視認用のカメラには、(1)後退時に車両後方映像を表示するリアカメラ、(2)運転者と反対側の前輪部分の映像を表示するフロントサイドカメラ、(3)車両直前の死角を視認するフロントカメラ、(4)狭い路地などからの発進時に発生する側方の死角の映像を表示するサイドブラインドカメラなどがある。現在は、リアカメラが視認用カメラの77%を占め主流となっている。 The camera for visual recognition includes (1) a rear camera that displays a vehicle rear image when reversing, (2) a front side camera that displays an image of a front wheel portion on the opposite side of the driver, and (3) a blind spot immediately before the vehicle. And (4) a side blind camera that displays an image of a side blind spot generated when starting from a narrow alley. Currently, rear cameras account for 77% of visual cameras and are the mainstream.
視認用の車載カメラでは、少しでも死角を小さくするため、広角の光学系を用いることが一般的である。リアカメラでは、水平面が100度を越える。このような光学系を備えた車載カメラで撮像された画像には大きな”たる状”の歪曲収差が発生する。この歪みにより、運転者にとって、画像に写る障害物の位置や距離感が直感的に分かりにくくなる問題がある。 In a vehicle-mounted camera for visual recognition, it is common to use a wide-angle optical system in order to reduce the blind spot as much as possible. In the rear camera, the horizontal plane exceeds 100 degrees. A large “sag” distortion occurs in an image captured by an in-vehicle camera equipped with such an optical system. Due to this distortion, there is a problem that it becomes difficult for the driver to intuitively understand the position and distance feeling of the obstacle in the image.
2.歪み補正
2.1 光学処理によるレンズ歪み補正手法
たる型の歪みを補正する方法として大きく2つの方法がある。1つは、光学系の構成を工夫することにより歪みを抑える方法であり、2つめは、画像撮影後にデジタル的な方法で画像を補正する方法である。
2. Distortion Correction 2.1 Lens Distortion Correction Method by Optical Processing There are two main methods for correcting barrel distortion. One is a method of suppressing distortion by devising the configuration of the optical system, and the second is a method of correcting an image by a digital method after image capturing.
光学歪み補正は、非特許文献1、2に示されるように、非球面レンズを用いるなど光学系の構成を工夫することにより補正が実現される。しかし、歪曲収差は画角のほぼ3乗に比例して増大し、車載カメラに用いるような広角の光学系になってくると、光学系の工夫だけで、完全に歪みを補正することは困難である。また、補正の程度は光学系の設計段階で決まってしまい、ユーザが使用する段階で、歪みの程度を調整することは難しい。さらに、非球面レンズは金型を用いて生産するため、初期投資が大きくなる問題もある。 As shown in Non-Patent Documents 1 and 2, the optical distortion correction can be realized by devising the configuration of the optical system such as using an aspheric lens. However, distortion increases almost in proportion to the cube of the angle of view, and when it becomes a wide-angle optical system such as that used in an in-vehicle camera, it is difficult to completely correct the distortion only by devising the optical system. It is. Further, the degree of correction is determined at the design stage of the optical system, and it is difficult to adjust the degree of distortion at the stage of use by the user. Furthermore, since the aspherical lens is produced using a mold, there is a problem that initial investment becomes large.
2.2 画像処理によるレンズ歪み補正手法
画像処理によってカメラのレンズ歪みを補正する手法としては、Tsaiの手法(非特許文献3、4参照) やZhengyouZhangが提案したアルゴリズム(非特許文献5、6参照) がよく用いられている。本手法は、コンピュータプログラムとして実装したライブラリとしても提案されており(非特許文献7参照) 、本発明の歪み補正にも利用できる。
2.2 Lens distortion correction method by image processing As a method for correcting camera lens distortion by image processing, Tsai's method (see Non-Patent Documents 3 and 4) and an algorithm proposed by ZhengyouZhang (see Non-Patent Documents 5 and 6) ) Is often used. This technique has also been proposed as a library implemented as a computer program (see Non-Patent Document 7) and can be used for distortion correction of the present invention.
提供されているライブラリでは、図1に示すような平面上にある規則的な既知パターンを、カメラと平面の相対関係を変更しながら撮影した複数の画像を用いて、カメラの歪み補正を行うための4個のパラメータ(k1 ,k2 ,p1 ,p2 )を算出する。これらのパラメータは、歪み補正強度を制御するパラメータである。これらのパラメータの値が大きいほど歪み補正強度が大きくなる。これらのパラメータを用いて、次式(1)を用いて取得画像の座標位置(x’,y’)と歪み補正後の座標値(x,y)の対応関係を求めることができる。ただし、座標位置は、画像の中心を原点として、水平方向にx座標を、垂直方向にy座標をとった座標系で表されている。式(1)中において、r2 =x2 +y2 である。 The provided library is used to correct camera distortion by using a plurality of images obtained by changing the relative relationship between the camera and the plane in a regular known pattern on the plane as shown in FIG. Are calculated (k 1 , k 2 , p 1 , p 2 ). These parameters are parameters that control the distortion correction strength. The greater the value of these parameters, the greater the distortion correction strength. Using these parameters, the correspondence between the coordinate position (x ′, y ′) of the acquired image and the coordinate value (x, y) after distortion correction can be obtained using the following equation (1). However, the coordinate position is represented by a coordinate system with the center of the image as the origin, the x coordinate in the horizontal direction, and the y coordinate in the vertical direction. In formula (1), r 2 = x 2 + y 2 .
x’=x+x(k1 r2 +k2 r4 )+2p1 xy+p2 (r2 +2x2 )
y’=y+y(k1 r2 +k2 r4 )+2p1 xy+p2 (r2 +2y2 )…(1)
x ′ = x + x (k 1 r 2 + k 2 r 4 ) + 2p 1 xy + p 2 (r 2 + 2x 2 )
y ′ = y + y (k 1 r 2 + k 2 r 4 ) + 2p 1 xy + p 2 (r 2 + 2y 2 ) (1)
本手法を用いて、歪み補正を行った画像の例の模式図を図2に示す。図2(a)は図1の既知パターンを撮影した原画像を、図2(b)は歪み補正全体画像を、図2(c)は歪み補正切出し画像を示している。広角カメラを用いた場合には、原画像のようにたる型の歪みが発生することが多く、歪みを補正すると、矩形の角の4箇所が広がった「歪み補正全体画像」のような画像となる。また、基本的には歪み部分を広げる変換を行うため、画像サイズは原画像よりも大きくなる。 A schematic diagram of an example of an image subjected to distortion correction using this method is shown in FIG. 2A shows an original image obtained by photographing the known pattern of FIG. 1, FIG. 2B shows a distortion correction whole image, and FIG. 2C shows a distortion correction cut-out image. When a wide-angle camera is used, a barrel-shaped distortion often occurs as in the original image, and when correcting the distortion, an image such as an “distortion-corrected whole image” in which four corners of the rectangle are widened Become. In addition, basically, since the transformation that widens the distortion portion is performed, the image size becomes larger than the original image.
一般には、これらの画像は視認性が低下するとの判断により、「歪み補正全体画像」内から矩形領域(図2(b)において破線の矩形枠で囲まれた領域) を切出した「歪み補正切出画像」を表示に用いることが多い。「歪み補正全体画像」から内部の矩形領域を切出す際には、歪み補正の際広がった画像の角の4箇所部分は破棄されるため、原画像で取得していた情報の一部を表示しないことになる。そのため、閲覧者の視認性は向上するかもしれないが、画像全体の情報量は低下している。なお、歪み補正や切出しの際には、表示系の画像解像度に応じて、拡大や縮小の処理を伴う場合がある。 In general, it is determined that the visibility of these images is reduced, and a “distortion correction cut-off” is obtained by cutting out a rectangular area (area surrounded by a broken-line rectangular frame in FIG. 2B) from the “distortion correction entire image”. In many cases, “image” is used for display. When cutting out the internal rectangular area from the “distortion-corrected whole image”, the four portions of the corners of the image that were spread during distortion correction are discarded, so a part of the information acquired in the original image is displayed. Will not. For this reason, the visibility of the viewer may be improved, but the information amount of the entire image is reduced. Note that distortion correction and clipping may be accompanied by enlargement or reduction processing depending on the image resolution of the display system.
歪み補正をハードウェアにより行う手段として、予め補正前後のアドレスを対応づけた補正テーブル(ルックアップテーブル)を準備し、このルックアップテーブルにしたがって、画素のアドレスを変換する方法が考えられる。歪みは2次元の形状を持つことと、補正後の画素アドレスが必ずしも補正前の整数アドレスに対応しないことにより、1画面分の入力画像を記憶するフレームメモリと、画素を補間する補間演算回路が必要となり回路規模が大きくなる問題がある。 As a means for performing distortion correction by hardware, a method of preparing a correction table (lookup table) in which addresses before and after correction are associated in advance and converting pixel addresses according to the lookup table can be considered. Since the distortion has a two-dimensional shape and the corrected pixel address does not necessarily correspond to the integer address before correction, a frame memory for storing an input image for one screen and an interpolation calculation circuit for interpolating pixels are provided. There is a problem that it becomes necessary and the circuit scale becomes large.
特許文献1では、歪み補正を水平方向に対して行うことにより、ラインメモリと2画素の補間回路で歪み補正を行うことが提案されている。また、特許文献2では、補間回路の構成を簡略化することと歪み補正により発生する画像4隅の欠けを回避する目的で、画像のX軸、Y軸を2段階に分けて順次処理する手法を提案している。これらの特許文献1、2では、回路の簡素化が主目的であり、ユーザの可観測性を向上させるために、歪み補正の強度を制御する考えはない。 Japanese Patent Application Laid-Open No. 2004-228561 proposes that distortion correction is performed by a line memory and a two-pixel interpolation circuit by performing distortion correction in the horizontal direction. Further, in Patent Document 2, a method of sequentially processing the X-axis and Y-axis of an image in two stages for the purpose of simplifying the configuration of the interpolation circuit and avoiding the lack of the four corners of the image caused by distortion correction. Has proposed. In these Patent Documents 1 and 2, the main purpose is to simplify the circuit, and there is no idea of controlling the intensity of distortion correction in order to improve the observability of the user.
デジタルカメラの歪みを補正する目的でも、デジタル歪み補正が提案されている(非特許文献8参照)。デジタル歪み補正では、歪み補正のパラメータを変換することで、歪みの強度を変更すること、歪み補正の精度を向上させることなどが可能である。しかし、ここでは、光軸を中心に点対称に分布する歪みを一様に減少させることが目的となっている。 Digital distortion correction has also been proposed for the purpose of correcting distortion of a digital camera (see Non-Patent Document 8). In digital distortion correction, it is possible to change distortion intensity, improve distortion correction accuracy, etc. by converting distortion correction parameters. However, the purpose here is to uniformly reduce the strain distributed symmetrically about the optical axis.
3.車載カメラの歪み補正・画像変換
車載用カメラでも、運転者の視認を行いやすくするために、様々な提案が行われている。
3. In-vehicle camera distortion correction and image conversion Various in-vehicle cameras have been proposed in order to make the driver's visual recognition easier.
特許文献3では、歪みを完全に補正することが必ずしも運転者の認知性(特に距離感)向上に有利でないとして、縦および横方向に緩やかな歪みを与えることで距離感を保存するような歪み補正を提案している。この提案では、認知性の向上に主眼がおかれ、画角を保存するとの考えはない。また、歪みをゆるやかに変換させることのみ記述され、画像を領域に分けて歪み補正の強度を変更する概念はない。 In Patent Document 3, it is assumed that correcting the distortion completely is not necessarily advantageous for improving the driver's cognition (particularly the sense of distance), so that distortion that preserves the sense of distance by giving gentle distortion in the vertical and horizontal directions. Suggest amendments. This proposal focuses on improving cognition, and there is no idea of preserving the angle of view. Further, only the gentle transformation of distortion is described, and there is no concept of changing the intensity of distortion correction by dividing an image into regions.
特許文献4では、トレーラを牽引するためのヒッチを持つ車両において、ヒッチ部分を抽出して拡大表示する手法が提案されている。この提案では、ヒッチ部分と広範囲画像を同時に別々の画像として表示することが提案されており、歪み補正の強度を制御する概念はない。 Patent Document 4 proposes a method of extracting and displaying an enlarged hitch portion in a vehicle having a hitch for towing a trailer. In this proposal, it has been proposed to simultaneously display the hitch portion and the wide range image as separate images, and there is no concept of controlling the intensity of distortion correction.
特許文献5では、90度以上の広角を撮影するカメラにおいて、注目領域の画像を部分的に抜き出すと同時に、歪みを補正する手法が提案されている。この提案では、一律に歪み補正をかけた上で、画像を抜き出すのと等価であり、歪み補正の強度を制御する概念はない。 Japanese Patent Application Laid-Open No. H10-228561 proposes a technique for partially correcting an image of a region of interest and simultaneously correcting distortion in a camera that captures a wide angle of 90 degrees or more. This proposal is equivalent to extracting an image with uniform distortion correction, and there is no concept of controlling the intensity of distortion correction.
特許文献6では、プリズム様の光学部材を用いることで光学的にゆるやかな歪み補正を与えることを提案している。この提案でも、歪みをゆるやかに変化させることのみ記述され、画像を領域に分けて歪み補正の強度を変更する概念はない。また、光学式の歪み補正であるため光学系を設計後に歪み補正の強度を変更することはできず、補正強度を車両への搭載状態に応じて調整する概念はない。 Patent Document 6 proposes to provide optically gentle distortion correction by using a prism-like optical member. This proposal also describes only changing distortion gently, and there is no concept of changing the intensity of distortion correction by dividing an image into regions. Further, since the optical distortion correction is used, the intensity of distortion correction cannot be changed after designing the optical system, and there is no concept of adjusting the correction intensity according to the state of mounting on the vehicle.
車両の姿勢や周囲の状況を把握しやすくする目的で、カメラの位置や角度を仮想的に変換する方法が提案されている。特許文献7では、車両後方カメラの取り付け高さを仮想的に変換することで、車両に近い領域と遠い領域の見えの違いを小さくすることや、カメラの前後方向の取り付け位置を仮想的に変換することで、視界の不要領域となるバンパーの写りを小さくする手法が提案されている。 In order to make it easy to grasp the posture of the vehicle and the surrounding situation, a method of virtually converting the position and angle of the camera has been proposed. In Patent Document 7, the mounting height of the rear camera of the vehicle is virtually converted to reduce the difference in appearance between the region close to the vehicle and the region far from the vehicle, and the mounting position of the camera in the front-rear direction is virtually converted. Thus, a method for reducing the bumper image, which is an unnecessary field of view, has been proposed.
国内自動車メーカのオプションに採用されるバックカメラ(非特許文献9参照)や特許文献8では、カメラを仮想的に鉛直下方に向けることで、道路の駐車線と自車の位置関係をわかりやすく表示している。これらの提案では、認知性の向上に主眼がおかれ、画角については犠牲になっている。 In the back camera (see Non-Patent Document 9) and Patent Document 8, which are adopted as options by domestic automobile manufacturers, the positional relationship between the parking line on the road and the vehicle is displayed in an easy-to-understand manner by virtually pointing the camera vertically downward. is doing. These proposals focus on improving cognition and sacrifice the angle of view.
車幅延長線や進路予想線を正確に表示するには車体に対するカメラ取り付けの精度が求められる。また、上記に記載したような画像の座標変換を行うような高機能なカメラにおいてもカメラ取り付けの精度は重要である。カメラの取り付けを調整し検査する手法も重要となってくる。 In order to accurately display the vehicle width extension line and the expected course line, the accuracy of camera mounting on the vehicle body is required. In addition, the accuracy of camera attachment is important even in a highly functional camera that performs coordinate transformation of an image as described above. The method of adjusting and inspecting the camera mounting is also important.
特許文献9では、取り付けたカメラの角度が画像変換による微調整可能範囲であるかどうか、あるいは、角度の調整方法を作業者に示すために、車両前方の所定位置に設置する基準テストパターンと、撮影画像の所定位置に表示する判定パターンを比較する手法を提案している。この特許では、カメラの角度調整にのみ注目しており、歪み係数を調整する概念はない。 In Patent Document 9, a reference test pattern installed at a predetermined position in front of the vehicle in order to indicate to the operator whether or not the angle of the attached camera is within a finely adjustable range by image conversion, A method for comparing judgment patterns to be displayed at predetermined positions of a photographed image has been proposed. In this patent, attention is paid only to the angle adjustment of the camera, and there is no concept of adjusting the distortion coefficient.
特許文献10では、カメラの取り付け位置、角度、レンズ光軸のずれを補正する目的で、カメラ前の所定位置に設置するテストパターンと、車両に対する設計値として決まる基準位置から算出されるテストパターンの理想撮像位置を比較する手法を提案している。この特許では歪み係数を含めたカメラパラメータを、テストパターンの実撮像位置と理想撮像位置のずれから算出することを提案しているが、歪み係数を調整するための提案はない。 In Patent Document 10, a test pattern that is installed at a predetermined position in front of the camera and a test pattern that is calculated from a reference position determined as a design value for the vehicle is used for the purpose of correcting the camera mounting position, angle, and lens optical axis deviation. A method for comparing ideal imaging positions is proposed. This patent proposes to calculate camera parameters including a distortion coefficient from the deviation between the actual imaging position of the test pattern and the ideal imaging position, but there is no proposal for adjusting the distortion coefficient.
上述したように、通常車載カメラは広角の光学系が用いられているため、大きなレンズ歪みを持つ。車体真近の障害物と自車を同時に把握できるように、図3に示すように、画像内の一部に車体が写るようにカメラ位置を設定するのが普通である。図3の例は、駐車場が撮影されているが、車体の一部としてリアバンパー(図3に100で示す)が写っている。車体は、一部が写っている必要があるが、レンズ歪みが大きいと、画像の多くの領域を車体が占めることになる。レンズ歪みに加え、カメラの取付位置が車の中央からオフセットされることが多く、最適なカメラポジションを探すことはさらに難しくなる。 As described above, in-vehicle cameras usually have a large lens distortion because a wide-angle optical system is used. As shown in FIG. 3, it is common to set the camera position so that the vehicle body can be seen in a part of the image so that the obstacle near the vehicle body and the own vehicle can be grasped simultaneously. In the example of FIG. 3, a parking lot is photographed, but a rear bumper (indicated by 100 in FIG. 3) is shown as a part of the vehicle body. A part of the vehicle body needs to be shown, but if the lens distortion is large, the vehicle body occupies many areas of the image. In addition to lens distortion, the camera mounting position is often offset from the center of the car, making it more difficult to find the optimal camera position.
デジタル方式の歪み補正では、ほぼ完全にレンズ歪みを補正することが可能である。図4に歪み補正後の画像を示す。この場合、車体端の歪みがほとんどなく、車体が大きく写りすぎる難点は解消される。しかし、一方で、歪みを解決することにより、対角の情報が欠落することになる。対角の情報とはカメラの上側視野の両側の領域の情報をいい、図3の右上および左上の部分の情報に相当する。例えば、図4に破線で示すように、図3の右上の車両の情報が欠落する。 With digital distortion correction, lens distortion can be corrected almost completely. FIG. 4 shows an image after distortion correction. In this case, there is almost no distortion at the end of the vehicle body, and the difficulty that the vehicle body is too large is eliminated. However, on the other hand, diagonal information is lost by solving the distortion. The diagonal information refers to information on both sides of the upper visual field of the camera, and corresponds to information on the upper right and upper left portions of FIG. For example, as indicated by a broken line in FIG. 4, the vehicle information on the upper right in FIG. 3 is missing.
対角画角が重要であるかどうかは、車体に対するカメラのセッティングにより変わる。カメラの俯角が大きい場合はカメラの上側視野が道路面を撮影する。この場合、道路面には人や車など、自車に干渉する障害物がある可能性があり、重要な領域である。歪み補正により、対角情報が欠落することは好ましくない。カメラの俯角が小さい場合は、カメラの上側視野が道路面より上になってくる。この場合、自車に干渉する障害物がある可能性は低く、また、通常、運転者から直接視認が可能になる。このようなカメラセッティングとなった場合は、対角情報よりも歪みを重視して歪み補正をかけることが可能になる。 Whether the diagonal angle of view is important depends on the camera settings for the car body. When the angle of depression of the camera is large, the upper visual field of the camera captures the road surface. In this case, there is a possibility that there are obstacles such as people and cars that interfere with the host vehicle on the road surface, which is an important area. It is not preferable that the diagonal information is lost due to the distortion correction. When the depression angle of the camera is small, the upper visual field of the camera is above the road surface. In this case, there is a low possibility that there is an obstacle that interferes with the host vehicle, and it is usually possible for the driver to see directly. In such a camera setting, it is possible to perform distortion correction with emphasis on distortion rather than diagonal information.
この発明は、入力画像に対してレンズ歪み補正を行なう場合に、入力画像を複数の領域に分け、各領域別に歪み補正強度を変えることができる運転支援装置を提供することを目的とする。 It is an object of the present invention to provide a driving support device that can divide an input image into a plurality of regions and change the distortion correction intensity for each region when performing lens distortion correction on the input image.
請求項1に記載の発明は、車体に搭載されかつ該車体の一部及び該車体の周辺領域を撮像する撮像装置、該撮像装置によって撮像された入力画像に対してレンズ歪み補正を行なうレンズ歪み補正手段、および該レンズ歪み補正手段によって得られた画像を表示するための表示器を備えており、前記レンズ歪み補正手段は、入力画像を前記車体からの距離および前記撮像装置の俯角に応じて前記車体の一部を含む領域と前記車体の一部を含まない領域であって、前記車体から最も離れた領域以外の領域と前記車体から最も離れた領域とに分け、領域毎に異なる歪み補正強度でレンズ歪み補正を行なう場合に、前記車体の一部を含む領域と前記車体の一部を含まない領域であって、前記車体から最も離れた領域以外の領域に対しては、前記車体から最も離れた領域に対する歪み補正強度のうち最も強い歪み補正強度以上の歪み補正強度でレンズ歪み補正を行ない、前記車体から最も離れた領域に対しては、前記車体から離れるに連れて歪み補正強度が弱くなるようにレンズ歪み補正を行なうものであることを特徴とする。 According to the first aspect of the present invention, there is provided an imaging device that is mounted on a vehicle body and images a part of the vehicle body and a peripheral region of the vehicle body, and a lens distortion that performs lens distortion correction on an input image captured by the imaging device. A correction unit; and a display for displaying an image obtained by the lens distortion correction unit. The lens distortion correction unit displays an input image according to a distance from the vehicle body and a depression angle of the imaging device. A region that includes a part of the vehicle body and a region that does not include a part of the vehicle body, and is divided into a region other than the region farthest from the vehicle body and a region farthest from the vehicle body , and different distortion correction for each region when performing lens distortion correction in strength, a region not including a partial area and the vehicle body including a part of the vehicle body, for the area other than the farthest region from the vehicle body, or the body It performs lens distortion correction with the strongest distortion correction strength or distortion correction intensity of the distortion correction intensity to the most distant region, with respect to the region farthest from the vehicle body, the distortion correction intensity with distance from said vehicle body The lens distortion correction is performed so as to be weakened .
この発明によれば、入力画像に対してレンズ歪み補正を行なう場合に、入力画像を複数の領域に分け、各領域別に歪み補正強度を変えることができるようになる。 According to the present invention, when lens distortion correction is performed on an input image, the input image can be divided into a plurality of regions, and the distortion correction intensity can be changed for each region.
〔1〕本願発明の基本的な考え方についての説明 [1] Explanation of basic concept of the present invention
本願発明では、画像領域を車体部、車体近傍部および遠方部の領域に分け、領域毎に予め設定された歪み補正強度パラメータを用いて、レンズ歪み補正が行なわれる。 In the present invention, the image region is divided into a vehicle body portion, a vehicle body vicinity portion, and a remote portion region, and lens distortion correction is performed using a distortion correction strength parameter set in advance for each region.
図5は、車体部および車体近傍部には強いレンズ歪み補正をかけ、遠方部では車体から離れるほど補正の強度が弱くなるようにレンズ歪み補正をかけた例を示している。車体部および車体近傍部には強いレンズ歪み補正をかけてるため、車体端が正しく直線に表示されている。遠方部では、レンズ歪み補正が弱くなっているので、レンズ歪みが残るものの、対角の情報量は保存されている。図5のようなレンズ歪み補正は、カメラの俯角が小さいなど、対角情報がさほど重要でない場合に用いられる。 FIG. 5 shows an example in which strong lens distortion correction is applied to the vehicle body and the vicinity of the vehicle body, and the lens distortion correction is applied so that the farther away from the vehicle body, the weaker the correction strength. Since strong lens distortion correction is applied to the vehicle body portion and the vehicle body vicinity portion, the vehicle body end is correctly displayed in a straight line. Since the lens distortion correction is weak in the far portion, the amount of diagonal information is preserved although the lens distortion remains. Lens distortion correction as shown in FIG. 5 is used when diagonal information is not so important, such as when the depression angle of the camera is small.
なお、図6に示すように、車体部においては強いレンズ歪み補正をかけ、車体近傍部においては、車体から離れるほど補正の強度が弱くなるようにレンズ歪み補正をかけ、遠方部においてはレンズ歪み補正を行なわないようにしてもよい。図6のようなレンズ歪み補正は、カメラの俯角が大きいなど、対角情報が重要な場合に用いられる。 As shown in FIG. 6, strong lens distortion correction is applied to the vehicle body portion, lens distortion correction is applied to the vicinity of the vehicle body so that the correction strength decreases as the distance from the vehicle body increases, and lens distortion is applied to the remote portion. The correction may not be performed. Lens distortion correction as shown in FIG. 6 is used when diagonal information is important, such as when the camera depression angle is large.
以下においては、図6に示すような、歪み補正強度の分配で、入力画像に対してレンズ歪み補正を行なう場合の実施例について説明する。 In the following, an example in which lens distortion correction is performed on an input image by distribution of distortion correction strength as shown in FIG. 6 will be described.
〔2〕運転支援装置の構成ついての説明
図7は、運転支援装置の構成を示している。
[2] Description of Configuration of Driving Support Device FIG. 7 shows the configuration of the driving support device.
運転支援装置は、画像を入力するカメラ1、レンズ歪み補正部2および画像を表示するモニタ3を備えている。この例では、レンズ歪み補正部2はカメラ1またはモニタ3から独立した構成となっているが、カメラ1と一体をなす構成としても、モニタ3と一体となす構成としてもよい。この例では、カメラ1としては、車両の後方映像を撮像するリアカメラが用いられている。本実施例では、レンズ歪み補正の強度を調整するツールとして、キャリブレーション用PC50を用いている。 The driving support apparatus includes a camera 1 that inputs an image, a lens distortion correction unit 2, and a monitor 3 that displays the image. In this example, the lens distortion correction unit 2 is configured independently of the camera 1 or the monitor 3, but may be configured to be integrated with the camera 1 or configured to be integrated with the monitor 3. In this example, a rear camera that captures a rear image of the vehicle is used as the camera 1. In the present embodiment, a calibration PC 50 is used as a tool for adjusting the intensity of lens distortion correction.
レンズ歪み補正部2は、入力画像と出力画像の座標の対応関係を記憶するLUT(ルックアップテーブル)21およびLUT21に基づいてレンズ歪み補正画像を計算するCPU22を備えている。また、後述する実施例2で説明するように、歪み補正強度の配分(レンズ歪み補正の効果)を画像上で分かりやすく表示するためのOSD(オンスクリーンディスプレイ)回路23を備えている。CPU22は、OSD回路23への表示指示、PC50とのインターフェースも受け持つ。 The lens distortion correction unit 2 includes an LUT (lookup table) 21 that stores the correspondence between coordinates of an input image and an output image, and a CPU 22 that calculates a lens distortion correction image based on the LUT 21. Further, as will be described in a second embodiment to be described later, an OSD (on-screen display) circuit 23 is provided for displaying distortion correction intensity distribution (effect of lens distortion correction) on an image in an easy-to-understand manner. The CPU 22 also takes charge of a display instruction to the OSD circuit 23 and an interface with the PC 50.
図8は、LUT21による歪み補正手法の概要を示している。 FIG. 8 shows an outline of a distortion correction method using the LUT 21.
図8の左側は入力画像(歪み画像)101を示し、図8の右側は出力画像(歪補正画像)102を示している。入力画像に対しては、原点(0,0)を入力画像の左下にとり、横軸にx座標、縦軸にy座標を設定している。出力画像に対しては、原点(0,0)を出力画像の左下にとり、横軸にi座標、縦軸にj座標を設定している。出力画像102のある画素位置P(i,j)における画素値を取得するために参照する原画像の画素位置P’(Xij,Yij)を、ルックアップテーブルの形式で保持している。 The left side of FIG. 8 shows an input image (distortion image) 101, and the right side of FIG. 8 shows an output image (distortion correction image) 102. For the input image, the origin (0, 0) is set to the lower left of the input image, and the x coordinate is set on the horizontal axis and the y coordinate is set on the vertical axis. For the output image, the origin (0, 0) is set to the lower left of the output image, and the i coordinate is set on the horizontal axis and the j coordinate is set on the vertical axis. The pixel position P ′ (X ij , Y ij ) of the original image that is referred to in order to acquire the pixel value at a certain pixel position P (i, j) of the output image 102 is held in the form of a lookup table.
図9は、LUT21の構造例を示している。 FIG. 9 shows a structural example of the LUT 21.
図9では、出力画像における各画素位置に対して、x座標とy座標のそれぞれに対してLUTを保持している。図9(a)は、出力画像における各画素位置(i,j)に対応する入力画像のx座標を記憶したLUTを示し、図9(b)は、出力画像における各画素位置(i,j)に対応する入力画像のy座標を記憶したLUTを示している。 In FIG. 9, the LUT is held for each of the x coordinate and the y coordinate for each pixel position in the output image. FIG. 9A shows an LUT storing the x-coordinate of the input image corresponding to each pixel position (i, j) in the output image, and FIG. 9B shows each pixel position (i, j in the output image). The LUT that stores the y-coordinate of the input image corresponding to ().
例えば、出力画像で(0,0)の位置にある画素の画素値は、入力画像の(22.5,43.7)の位置の画素値となる。また、出力画像で(2,1)の位置にある画素の画素値は、入力画像の(23.5,44.2)の位置の画素値となる。 For example, the pixel value of the pixel at the position (0, 0) in the output image is the pixel value at the position (22.5, 43.7) in the input image. The pixel value of the pixel at the position (2, 1) in the output image is the pixel value at the position (23.5, 44.2) of the input image.
出力画像における各画素位置に対応する入力画像の画素位置は、後述する歪み補正変換式より求める。しかし、入力画像の画素位置は整数値であるため実際にはx座標が22.5となるような画素は存在しない。そこで、この小数部分を用いて加重平均を行うことで変換後の画素値を算出する(Bi-Linear 補間演算)。図10を用いて補間演算について説明する。 The pixel position of the input image corresponding to each pixel position in the output image is obtained from a distortion correction conversion formula described later. However, since the pixel position of the input image is an integer value, there is actually no pixel whose x coordinate is 22.5. Therefore, a pixel value after conversion is calculated by performing a weighted average using this decimal part (Bi-Linear interpolation calculation). The interpolation calculation will be described with reference to FIG.
ここでは、出力画像で(2,1)の位置にある画素の画素値を求める場合について説明する。詳述したように、出力画像で(2,1)の位置にある画素の画素値は、入力画像の(23.5,44.2)の位置の画素値となる。 Here, a case where the pixel value of the pixel at the position (2, 1) in the output image is obtained will be described. As described in detail, the pixel value of the pixel at the position (2, 1) in the output image is the pixel value at the position (23.5, 44.2) of the input image.
図10において、Xは入力画像内における位置(23.5,44.2)に対応する仮想の画素を示している。図10のA,B,C,Dは、仮想の画素位置(23.5,44.2)に隣接する4つの画素を示している。A,B,C,Dの画素の位置は、それぞれ(23,45),(24,45),(23,44),(23,44)である。 In FIG. 10, X indicates a virtual pixel corresponding to the position (23.5, 44.2) in the input image. A, B, C, and D in FIG. 10 indicate four pixels adjacent to the virtual pixel position (23.5, 44.2). The positions of the A, B, C, and D pixels are (23, 45), (24, 45), (23, 44), and (23, 44), respectively.
図10において、pは画素Dと仮想画素Xとのx座標の差分の絶対値を示し、qは画素Dと仮想画素Xのy座標の差分の絶対値を示している。この例では、p=0.5,q=0.2となる。仮想画素Xの画素値は、画素A,B,C,Dの画素値をA,B,C,Dで表すと、次式(2)によって算出される。 In FIG. 10, p indicates the absolute value of the difference between the x coordinates of the pixel D and the virtual pixel X, and q indicates the absolute value of the difference between the y coordinates of the pixel D and the virtual pixel X. In this example, p = 0.5 and q = 0.2. The pixel value of the virtual pixel X is calculated by the following equation (2) when the pixel values of the pixels A, B, C, and D are represented by A, B, C, and D.
X=pqA+(1−p)qB+p(1−q)C+(1−p)(1−q)D …(2) X = pqA + (1-p) qB + p (1-q) C + (1-p) (1-q) D (2)
ところで、歪み補正強度の配分は、カメラ1の車体へのセッティングに応じて変更する必要がある。この実施例では、歪み補正強度の配分の設定は、キャリブレーション用PC50を用いて行なわれる。 By the way, the distribution of the distortion correction strength needs to be changed according to the setting of the camera 1 on the vehicle body. In this embodiment, the setting of the distribution of distortion correction strength is performed using the calibration PC 50.
キャリブレーション用PC50には、歪み補正強度の配分の設定を行なうための歪み補正強度調整ソフトがインストールされている。キャリブレーション用PC50と運転支援装置のCPU22とは通信ケーブルを介して接続されているものとする。 The calibration PC 50 is installed with distortion correction intensity adjustment software for setting the distribution of distortion correction intensity. It is assumed that the calibration PC 50 and the CPU 22 of the driving support apparatus are connected via a communication cable.
図11は、歪み補正強度調整ソフトが起動された場合にPC50に表示される歪み補正強度調整画面の例を示している。 FIG. 11 shows an example of a distortion correction intensity adjustment screen displayed on the PC 50 when the distortion correction intensity adjustment software is activated.
図11において、201は画像表示領域を示し、202は画像取込ボタンを示し、203はLUTデータ転送ボタンを示し、204は終了ボタンを示し、205、206はスライドキーを示している。スライドキー205は車体部と車体近傍部との境界位置uを設定するためのキーである。スライドキー206は車体近傍部と遠方部との境界位置sを設定するためのキーである。 In FIG. 11, 201 indicates an image display area, 202 indicates an image capture button, 203 indicates an LUT data transfer button, 204 indicates an end button, and 205 and 206 indicate slide keys. A slide key 205 is a key for setting a boundary position u between the vehicle body portion and the vehicle body vicinity portion. A slide key 206 is a key for setting a boundary position s between the vehicle body vicinity portion and the remote portion.
図12は、境界位置u,sと、歪み補正強度パラメータを制御する係数α(0≦α≦1)との関係を示している。 FIG. 12 shows the relationship between the boundary positions u and s and the coefficient α (0 ≦ α ≦ 1) for controlling the distortion correction strength parameter.
この実施例では、画面下側から境界位置uまでの領域(車体部)においては歪み補正強度を強くする。つまり、α=1とする。 In this embodiment, the distortion correction strength is increased in the region (vehicle body part) from the lower side of the screen to the boundary position u. That is, α = 1.
uとsの間の領域(車体近傍部の領域)においては、uからの距離が離れるにしたがって、歪み補正強度を弱くさせていく。つまり、uからの距離をtとすると、α=|s−t|/|s−u|とする。 In the region between u and s (region in the vicinity of the vehicle body), the distortion correction strength is weakened as the distance from u increases. That is, if the distance from u is t, α = | s−t | / | s−u |.
sから画面上側までの領域(遠方部)においては、歪み補正を行なわない。つまり、α=0とする。 Distortion correction is not performed in a region (distant part) from s to the upper side of the screen. That is, α = 0.
画像取込ボタン202を押すと、カメラ1で撮影された画像がキャリブレーション用PC50に転送され、画像表示領域201に表示される。PC50は、スライドキー205、206によって設定された境界位置u,sと後述する歪み補正変換式とに基づいて、入力画像を歪み補正後の画像に変換するためのLUTデータを作成し、作成したLUTデータに基づいて、入力画像に対して歪み補正を行ない、歪み補正後の画像を画像表示領域201に表示する。 When the image capture button 202 is pressed, an image captured by the camera 1 is transferred to the calibration PC 50 and displayed in the image display area 201. The PC 50 creates and creates LUT data for converting the input image into an image after distortion correction based on the boundary positions u and s set by the slide keys 205 and 206 and a distortion correction conversion formula described later. Based on the LUT data, distortion correction is performed on the input image, and the image after distortion correction is displayed in the image display area 201.
操作者は、画像変換の効果を確認しながら境界位置u,sを設定する。最適な境界位置u,sを設定した場合には、操作者は、LUTデータ転送ボタン203を押す。これにより、PC50によって作成されたLUTデータが、運転支援装置のCPU22に送られる。CPU22は、PC50から送られてきたLUTデータをレンズ歪み補正部2のLUT21にセットする。レンズ歪み補正部2は、LUT21にセットされた座標対応関係を使って入力画像を歪み補正画像に変換し、得られた画像をモニタ3に表示させる。 The operator sets the boundary positions u and s while confirming the effect of the image conversion. When the optimum boundary positions u and s are set, the operator presses the LUT data transfer button 203. Thereby, the LUT data created by the PC 50 is sent to the CPU 22 of the driving support apparatus. The CPU 22 sets the LUT data sent from the PC 50 in the LUT 21 of the lens distortion correction unit 2. The lens distortion correction unit 2 converts the input image into a distortion correction image using the coordinate correspondence set in the LUT 21 and causes the monitor 3 to display the obtained image.
LUTデータを作成する場合に用いられるレンズ歪み補正変換式について説明する。「背景技術」の欄で説明したように、入力画像の座標位置(x’,y’)とレンズ歪み補正後の座標値(x,y)とは、次式(3)で表される。式(3)中において、r2 =x2 +y2 である。ただし、xy座標系は、画像の中心を原点とした座標系である。 A lens distortion correction conversion formula used when creating LUT data will be described. As described in the “Background Art” column, the coordinate position (x ′, y ′) of the input image and the coordinate value (x, y) after lens distortion correction are expressed by the following equation (3). In the formula (3), r 2 = x 2 + y 2 . However, the xy coordinate system is a coordinate system with the center of the image as the origin.
x’=x+x(k1 r2 +k2 r4 )+2p1 xy+p2 (r2 +2x2 )
y’=y+y(k1 r2 +k2 r4 )+2p1 xy+p2 (r2 +2y2 )…(3)
x ′ = x + x (k 1 r 2 + k 2 r 4 ) + 2p 1 xy + p 2 (r 2 + 2x 2 )
y ′ = y + y (k 1 r 2 + k 2 r 4 ) + 2p 1 xy + p 2 (r 2 + 2y 2 ) (3)
歪み補正強度を調整するために、4個のパラメータk1 ,k2 ,p1 ,p2 に係数α を乗算することによって、上記式(3)を、式(4)、(5)のように修正する。 In order to adjust the distortion correction strength, by multiplying the four parameters k 1 , k 2 , p 1 , and p 2 by a coefficient α, the above equation (3) can be changed into equations (4) and (5). To correct.
k'1=αk1
k'2=αk2
p'1=αp1
p'2=αp2 …(4)
k ′ 1 = αk 1
k ′ 2 = αk 2
p ′ 1 = αp 1
p ′ 2 = αp 2 (4)
x’=x+x(k'1r2 +k'2r4 )+2p'1xy+p'2(r2 +2x2 )
y’=y+y(k'1r2 +k'2r4 )+2p'1xy+p'2(r2 +2y2 )
…(5)
x ′ = x + x (k ′ 1 r 2 + k ′ 2 r 4 ) + 2p ′ 1 xy + p ′ 2 (r 2 + 2x 2 )
y ′ = y + y (k ′ 1 r 2 + k ′ 2 r 4 ) + 2p ′ 1 xy + p ′ 2 (r 2 + 2y 2 )
... (5)
k'1,k'2,p'1およびp'2は、修正後の歪み補正パラメータであり、αの値によってその大きさが変化する。 k ′ 1 , k ′ 2 , p ′ 1, and p ′ 2 are distortion correction parameters after correction, and their magnitudes change depending on the value of α.
本実施例で用いる座標系は、図8および図9で説明したように、画像の左下を原点としたxy座標系であるので、入力画像の水平画素数をM、垂直画像数をNとすると、Xij=x’+M/2、Yij=y’+N/2、i=x+M/2,j=y+N/2となる。 As described in FIGS. 8 and 9, the coordinate system used in this embodiment is an xy coordinate system with the lower left corner of the image as the origin, so that the number of horizontal pixels of the input image is M and the number of vertical images is N. X ij = x ′ + M / 2, Y ij = y ′ + N / 2, i = x + M / 2, j = y + N / 2.
したがって、上記式(5)は、次式(6)のように表現できる。式(6)では、r2 =(i−M/2)2 +(j−N/2)2 となる。 Therefore, the above equation (5) can be expressed as the following equation (6). In the equation (6), r 2 = (i−M / 2) 2 + (j−N / 2) 2 .
Xij=(i−M/2)+(i−M/2)(k'1r2 +k'2r4 )
+2p'1(i−M/2)(j−N/2)+p'2{r2 +2(i−M/2)2}+M/2
Yij=(j−N/2)+(j−N/2)(k'1r2 +k'2r4 )
+2p'1(i−M/2)(j−N/2)+p'2{r2 +2(j−N/2)2}+N/2 …(6)
X ij = (i−M / 2) + (i−M / 2) (k ′ 1 r 2 + k ′ 2 r 4 )
+ 2p ′ 1 (i−M / 2) (j−N / 2) + p ′ 2 {r 2 +2 (i−M / 2) 2 } + M / 2
Y ij = (j−N / 2) + (j−N / 2) (k ′ 1 r 2 + k ′ 2 r 4 )
+ 2p ′ 1 (i−M / 2) (j−N / 2) + p ′ 2 {r 2 +2 (j−N / 2) 2 } + N / 2 (6)
運転者の視覚をアシストする場合、画像下部がバンパー部となり画像上部が車両後方(フロントカメラの場合には前方)となることが多い。運転者の視認性を考慮すると、バンパー部は歪みが無い直線として表示されることが望ましい。一方、画像上部となる車両後方(フロントカメラの場合には前方)は、安全確認という目的からできるだけ取得された画像の情報量を損なうことなく表示することが望ましい。 When assisting the driver's vision, the lower part of the image is often the bumper part and the upper part of the image is the rear of the vehicle (in the case of a front camera). Considering the driver's visibility, it is desirable that the bumper portion is displayed as a straight line without distortion. On the other hand, it is desirable to display the rear of the vehicle, which is the upper part of the image (front in the case of a front camera), without impairing the information amount of the acquired image as much as possible for the purpose of safety confirmation.
そのため、バンパー部に当たる画像下部(実施例において、歪み補正画像の縦軸であるjの値がuより小さい部分)においては、歪み補正強度を大きく設定(α=1)し、上記式(4)および式(6)を用いてLUTに保持する参照画素位置を算出する。 Therefore, at the lower part of the image corresponding to the bumper part (in the embodiment, the part where the value of j, which is the vertical axis of the distortion correction image, is smaller than u), the distortion correction strength is set large (α = 1), and the above equation (4) And the reference pixel position held in the LUT is calculated using Equation (6).
また、画像上部(実施例において、歪み補正画像の縦軸であるjの値がsより大きい部分)においては、情報量を保存するため歪み補正強度を小さく設定(α=0)し、上記式(4)および式(6)を用いてLUTに保持する参照画素位置を算出する。 In addition, in the upper part of the image (in the embodiment, the portion where j, which is the vertical axis of the distortion corrected image, is larger than s), the distortion correction strength is set small (α = 0) in order to preserve the information amount, The reference pixel position held in the LUT is calculated using (4) and Equation (6).
中間部(実施例において、歪み補正画像の縦軸であるjの値がuとsの間のtの部分)においては、歪み補正強度を段階的に設定(α=|s−t|/|s−u|)し、上記式(4)および式(6)を用いてLUTに保持する参照画素位置を算出する。これはαの値を極端に変動させた場合、上部と下部で滑らかに画像をつなげることができず、視認性が低下するためである。本実施例では、画像の中間部ではαの値を段階的に変動させることで、視認性を維持した歪み補正画像を生成している。このようにαを設定することによって画像下部に対してはレンズ歪み補正を強く行い、画像上部に対してはレンズ歪み補正を行わない画像を生成する。 In the intermediate portion (in the embodiment, the portion of t where the value of j, which is the vertical axis of the distortion correction image, is between u and s), the distortion correction intensity is set stepwise (α = | s−t | / | s-u |), and the reference pixel position held in the LUT is calculated using the above equations (4) and (6). This is because when the value of α is extremely varied, images cannot be smoothly connected at the upper and lower portions, and visibility is lowered. In the present embodiment, a distortion correction image that maintains visibility is generated by changing the value of α stepwise in the middle portion of the image. By setting α in this manner, lens distortion correction is strongly performed on the lower part of the image, and an image without lens distortion correction is generated on the upper part of the image.
図13(a)は入力画像を、図13(b)は本実施例による歪み補正を行った結果の全体の画像を、図13(c)は表示用に切出した画像をそれぞれ示している。 FIG. 13A shows an input image, FIG. 13B shows an entire image obtained as a result of distortion correction according to this embodiment, and FIG. 13C shows an image cut out for display.
画像の下部ではレンズ歪み補正を強く行うため、画像の下部は入力画像の表示領域よりも広がった状態となる。一方、画像の上部では、レンズ歪み補正を行わないため、入力画像と同じ画像サイズとなる。歪み補正切出し画像を生成する際には、変換後の画像領域の内接領域を切出しているため、横方向の画像サイズは入力画像と同じであるが、縦方向は入力画像よりもやや大きくなる。そのため、縦方向に縮小する必要があり、やや画像の縦横比が変わるが、視認性には大きく影響しない。LUTに記録する参照画素の値は、切出した画像を表示画像サイズに調整(縮小)した後に対応する参照位置を記録すればよい。また、切出し前の画像の参照位置をLUTに記録し、表示の際に拡大や縮小の処理を行うように構成してもよい。 Since lens distortion correction is strongly performed at the lower part of the image, the lower part of the image becomes wider than the display area of the input image. On the other hand, since the lens distortion correction is not performed on the upper part of the image, the image size is the same as the input image. When generating a distortion-corrected cut-out image, the inscribed area of the converted image area is cut out, so the horizontal image size is the same as the input image, but the vertical direction is slightly larger than the input image. . Therefore, it is necessary to reduce in the vertical direction, and the aspect ratio of the image slightly changes, but the visibility is not greatly affected. The reference pixel value to be recorded in the LUT may be a corresponding reference position after the clipped image is adjusted (reduced) to the display image size. Further, the reference position of the image before cutting out may be recorded in the LUT, and enlargement or reduction processing may be performed at the time of display.
利用者は、PC50上の調整画面で効果を確認しながら、車体部と車両近傍との境界線u、車両近傍と車両遠方との境界線sを設定する。u,sを設定する度に、LUTデータが計算され、LUTデータを用いて入力画像に対する歪み補正画像が生成されて、表示される。 While confirming the effect on the adjustment screen on the PC 50, the user sets a boundary line u between the vehicle body and the vicinity of the vehicle, and a boundary line s between the vicinity of the vehicle and the far side of the vehicle. Each time u and s are set, LUT data is calculated, and a distortion correction image for the input image is generated and displayed using the LUT data.
利用者がLUTデータ転送ボタン203を押すと、PC50で生成されたLUTデータが運転支援装置のレンズ歪み補正部2内のCPU22に送られ、レンズ歪み補正部2内のLUT21にセットされる。LUT21にLUTデータがセットされた後においては、レンズ歪み補正部2はLUT21にセットされた座標対応関係を使って、カメラ1からの入力画像に対して歪み補正を行ない、得られた歪み補正画像をモニタ3に表示させる。なお、LUTデータがLUT21にセットされた後においては、キャブレーションPC50は取り外される。 When the user presses the LUT data transfer button 203, the LUT data generated by the PC 50 is sent to the CPU 22 in the lens distortion correction unit 2 of the driving support device and set in the LUT 21 in the lens distortion correction unit 2. After the LUT data is set in the LUT 21, the lens distortion correction unit 2 performs distortion correction on the input image from the camera 1 using the coordinate correspondence set in the LUT 21, and the obtained distortion correction image. Is displayed on the monitor 3. Note that the calibration PC 50 is removed after the LUT data is set in the LUT 21.
なお、上記キャブレーションPC50による歪み補正強度調整機能と同じ機能を、運転支援装置側に持たせるようにしてもよい。 In addition, you may make it give the same function as the distortion correction intensity | strength adjustment function by the said calibration PC50 to the driving assistance apparatus side.
実施例1のように、歪み補正のパラメータ調整にPCを使う場合は、PCの計算能力により、短時間(Pen4マシンで約100msec) で入力画像と出力画像の座標対応関係を計算可能で、ほぼリアルタイムにレンズ歪み補正の効果を確認することが可能である。この計算を、運転支援装置のレンズ歪み補正部2に内蔵するような比較的低い計算パワーのCPUで行おうとすると、長い計算時間が必要となる。 When a PC is used for parameter adjustment for distortion correction as in the first embodiment, the coordinate correspondence between the input image and the output image can be calculated in a short time (about 100 msec on a Pen 4 machine) by the calculation capability of the PC. It is possible to confirm the effect of lens distortion correction in real time. If this calculation is performed by a CPU having a relatively low calculation power as incorporated in the lens distortion correction unit 2 of the driving support device, a long calculation time is required.
実施例2では、歪み補正のパラメータ調整を、運転支援装置側で行なう場合に、簡単な演算で効果を確認できるようにするものである。実施例2では、運転支援装置側にu,sを設定するとともに、設定されたu,sに応じた歪み補正強度の配分を簡易的にオンスクリーン表示させるための歪み補正強度調整ソフトがインストールされている。 In the second embodiment, when the distortion correction parameter adjustment is performed on the driving support device side, the effect can be confirmed by a simple calculation. In the second embodiment, u and s are set on the driving support device side, and distortion correction intensity adjustment software for easily displaying on-screen the distribution of distortion correction intensity according to the set u and s is installed. ing.
運転支援装置側にu,sが設定されると、運転支援装置のCPU22は、全画面の入出力座標を計算することなく、つまりLUTデータを計算することなく、設定されたu,sに応じた歪み強度の配分をグリッド線で表すようにする。そして、操作者が効果を確認した上で、LUT作成指令を入力すると、設定されたu,sに応じたLUTデータを作成して、LUT21にセットする。LUTデータの作成方法は、実施例1と同様である。 When u and s are set on the driving support device side, the CPU 22 of the driving support device responds to the set u and s without calculating the input / output coordinates of the entire screen, that is, without calculating the LUT data. The distribution of the strain intensity is represented by grid lines. When the operator confirms the effect and inputs a LUT creation command, LUT data corresponding to the set u and s is created and set in the LUT 21. The method for creating LUT data is the same as in the first embodiment.
図14は、歪み補正強度の配分を簡易的に示すためのグリッドの例を示している。 FIG. 14 shows an example of a grid for simply showing the distribution of distortion correction strength.
図14の実線は、画像全体に対してα=1を設定した場合のグリッド線を示している。図14の破線は、画像全体に対してα=0(歪み補正なし)に設定した場合のグリッド線を示している。グリッド線には、通常の直線状のグリッド線を湾曲させた形状も含まれる。 A solid line in FIG. 14 indicates a grid line when α = 1 is set for the entire image. The broken lines in FIG. 14 indicate grid lines when α = 0 (no distortion correction) is set for the entire image. The grid line includes a curved shape of a normal linear grid line.
画像全体に対してα=1を設定した場合のグリッド(格子パターン)を予め保存しておく。そして、画像全体に対してα=1を設定した場合のグリッド上の座標値からαの設定値に応じて、各々の対応点に相当する座標値を計算して表示する。対応点の計算方法について、図15を用いて説明する。図15は、図14のSで示す部分の拡大図である。 A grid (lattice pattern) when α = 1 is set for the entire image is stored in advance. Then, the coordinate value corresponding to each corresponding point is calculated and displayed from the coordinate value on the grid when α = 1 is set for the entire image, according to the set value of α. A method for calculating corresponding points will be described with reference to FIG. FIG. 15 is an enlarged view of a portion indicated by S in FIG.
図15において、α=1の場合におけるグリッド上の点の座標を(X1,Y1)、原画像(入力画像)上の参照点((X1,Y1)の座標値として参照する原画像上の点)の座標を(X0,Y0)とする。原画像上での参照点の座標値(X0,Y0)は、歪み補正を行なわない場合のグリッド(α=0の場合におけるグリッド)上の対応点と一致する。 In FIG. 15, the coordinates of the points on the grid in the case of α = 1 are (X1, Y1), and the points on the original image to be referred to as the reference points ((X1, Y1) on the original image (input image). ) Is set to (X0, Y0). The coordinate value (X0, Y0) of the reference point on the original image matches the corresponding point on the grid when no distortion correction is performed (grid when α = 0).
0<α<1の座標(Xg,Yg)は、次式(7)で表される。 The coordinates (Xg, Yg) where 0 <α <1 are expressed by the following equation (7).
Xg=X0+α(X1−X0)
Yg=Y0+α(Y1−Y0) …(7)
Xg = X0 + α (X1-X0)
Yg = Y0 + α (Y1-Y0) (7)
α=1の場合におけるグリッド上の点を(i,j)で表すと、座標値(X0,Y0)は、上記式(4)および式(6)にα=1を代入することにより、次式(8)で表される。 When a point on the grid in the case of α = 1 is represented by (i, j), the coordinate value (X0, Y0) can be obtained by substituting α = 1 into the above equations (4) and (6). It is represented by Formula (8).
X0=(i−M/2)+(i−M/2)(k1 r2 +k2 r4 )
+2p1 (i−M/2)(j−N/2)+p2 {r2 +2(i−M/2)2}
+M/2
Y0=(j−N/2)+(j−N/2)(k1 r2 +k2 r4 )
+2p1 (i−M/2)(j−N/2)+p2 {r2 +2(j−N/2)2}
+N/2 …(8)
X0 = (i−M / 2) + (i−M / 2) (k 1 r 2 + k 2 r 4 )
+ 2p 1 (i−M / 2) (j−N / 2) + p 2 {r 2 +2 (i−M / 2) 2 }
+ M / 2
Y0 = (j−N / 2) + (j−N / 2) (k 1 r 2 + k 2 r 4 )
+ 2p 1 (i−M / 2) (j−N / 2) + p 2 {r 2 +2 (j−N / 2) 2 }
+ N / 2 (8)
また、座標値(X1,Y1)は、α=1の場合におけるグリッド上の点であるため、次式(9)が成り立つ。 Further, since the coordinate value (X1, Y1) is a point on the grid when α = 1, the following equation (9) is established.
X1=i
Y1=j …(9)
X1 = i
Y1 = j (9)
上記式(8)および式(9)を上記式(7)に代入することにより、次式(10)が得られる。 By substituting the above equations (8) and (9) into the above equation (7), the following equation (10) is obtained.
Xg=i+(1−α)〔(i−M/2)(k1 r2 +k2 r4 )
+2p1 (i−M/2)(j−N/2)+p2 {r2 +2(i−M/2)2}〕
Yg=j+(1−α)〔(j−M/2)(k1 r2 +k2 r4 )
+2p1 (i−M/2)(j−N/2)+p2 {r2 +2(j−M/2)2}〕
…(10)
Xg = i + (1-α) [(i−M / 2) (k 1 r 2 + k 2 r 4 )
+ 2p 1 (i−M / 2) (j−N / 2) + p 2 {r 2 +2 (i−M / 2) 2 }]
Yg = j + (1-α) [(j−M / 2) (k 1 r 2 + k 2 r 4 )
+ 2p 1 (i−M / 2) (j−N / 2) + p 2 {r 2 +2 (j−M / 2) 2 }]
(10)
予め保存しているα=1の場合のグリッド線上の座標値を、上記式(10)を用いることにより、設定されたα値に応じた座標値に変換することにより、設定されたαに応じた形状のグリッドを生成して、オンスクリーン表示することができる。 According to the set α by converting the coordinate value on the grid line in the case of α = 1 stored in advance into the coordinate value corresponding to the set α value by using the above equation (10). A grid of different shapes can be generated and displayed on-screen.
図16(a)は、歪み補正なしの場合(α=0)の場合のグリッドの一例示し、図16(b)は、設定されたu,sに基づいて作成された、歪み強度の配分を示すグリッドの一例を示している。なお、グリッド線の線種や色を変えることで、歪み補正の強度を表現することが可能である。 FIG. 16A illustrates an example of a grid in the case of no distortion correction (α = 0), and FIG. 16B illustrates the distribution of distortion intensity created based on the set u and s. An example of the grid shown is shown. Note that it is possible to express the strength of distortion correction by changing the line type and color of the grid lines.
歪み補正の効果を事前計算する領域をグリッド上に限ることで、計算量の削減が可能となる。グリッドの形状をOSD機能を使って、モニタ上に表示することで、LUTを計算する前に、事前に効果を予測することが可能となる。また、この機能を使って、生産時の光学系のばらつき、歪み補正部の回路の動作を目視確認することも可能になる。 By limiting the area for pre-calculating the effect of distortion correction on the grid, the amount of calculation can be reduced. By displaying the grid shape on the monitor using the OSD function, the effect can be predicted in advance before the LUT is calculated. In addition, using this function, it is possible to visually check the variation of the optical system during production and the operation of the distortion correction circuit.
上記実施例によれば、カメラの車体へのセッティングに合わせて、画像の歪み感と対角情報のバランスのとれた画像を得ることが可能となる。また、様々な車種に対して、初期投資の必要な光学系の再設計を行わず、データの変更のみで、個別対応が可能となる。 According to the above embodiment, it is possible to obtain an image in which a sense of image distortion and diagonal information are balanced in accordance with the setting of the camera on the vehicle body. In addition, it is possible to deal with various types of vehicles individually by changing the data without redesigning the optical system that requires initial investment.
1 カメラ
2 レンズ歪み補正部
3 モニタ
50 キャリブレーション用PC
21 LUT
22 CPU
23 OSD回路
1 Camera 2 Lens Distortion Correction Unit 3 Monitor 50 Calibration PC
21 LUT
22 CPU
23 OSD circuit
Claims (1)
該撮像装置によって撮像された入力画像に対してレンズ歪み補正を行なうレンズ歪み補正手段、および
該レンズ歪み補正手段によって得られた画像を表示するための表示器を備えており、
前記レンズ歪み補正手段は、入力画像を前記車体からの距離および前記撮像装置の俯角に応じて前記車体の一部を含む領域と前記車体の一部を含まない領域であって、前記車体から最も離れた領域以外の領域と前記車体から最も離れた領域とに分け、
領域毎に異なる歪み補正強度でレンズ歪み補正を行なう場合に、前記車体の一部を含む領域と前記車体の一部を含まない領域であって、前記車体から最も離れた領域以外の領域に対しては、前記車体から最も離れた領域に対する歪み補正強度のうち最も強い歪み補正強度以上の歪み補正強度でレンズ歪み補正を行ない、前記車体から最も離れた領域に対しては、前記車体から離れるに連れて歪み補正強度が弱くなるようにレンズ歪み補正を行なうものであることを特徴とする運転支援装置。 An imaging device mounted on a vehicle body and imaging a part of the vehicle body and a peripheral region of the vehicle body;
A lens distortion correction unit that performs lens distortion correction on an input image captured by the imaging device, and a display for displaying an image obtained by the lens distortion correction unit,
The lens distortion correction means includes an input image that includes a region including a part of the vehicle body and a region not including a part of the vehicle body according to a distance from the vehicle body and a depression angle of the imaging device, and is the most from the vehicle body. Divided into a region other than the remote region and a region farthest from the vehicle body ,
When performing lens distortion correction with different distortion correction strength for each region, the region including the part of the vehicle body and the region not including the part of the vehicle body, except for the region other than the region farthest from the vehicle body Te performs a lens distortion correction with the strongest distortion correction strength or distortion correction intensity of the distortion correction intensity to the most distant region from the vehicle body, for the region farthest from the vehicle body, the distance from the vehicle body A driving assistance device that performs lens distortion correction so that the distortion correction intensity decreases accordingly .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007323735A JP4934579B2 (en) | 2007-12-14 | 2007-12-14 | Driving assistance device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007323735A JP4934579B2 (en) | 2007-12-14 | 2007-12-14 | Driving assistance device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006086476A Division JP4104631B2 (en) | 2006-03-27 | 2006-03-27 | Driving support device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008140401A JP2008140401A (en) | 2008-06-19 |
JP4934579B2 true JP4934579B2 (en) | 2012-05-16 |
Family
ID=39601720
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007323735A Expired - Fee Related JP4934579B2 (en) | 2007-12-14 | 2007-12-14 | Driving assistance device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4934579B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5332061B2 (en) * | 2009-08-07 | 2013-11-06 | 株式会社Jm | Indoor renovation cost estimation system |
JP5679763B2 (en) * | 2010-10-27 | 2015-03-04 | ルネサスエレクトロニクス株式会社 | Semiconductor integrated circuit and all-around video system |
JP5884439B2 (en) | 2011-11-24 | 2016-03-15 | アイシン精機株式会社 | Image generation device for vehicle periphery monitoring |
CN111091507A (en) * | 2019-12-09 | 2020-05-01 | Oppo广东移动通信有限公司 | Image processing method, image processing apparatus, electronic device, and storage medium |
KR20220049354A (en) * | 2020-10-14 | 2022-04-21 | 삼성전자주식회사 | Method for correcting image distortion and Electronic device thereof |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002140703A (en) * | 2000-10-31 | 2002-05-17 | Toyota Central Res & Dev Lab Inc | Peripheral situation display device |
JP3871614B2 (en) * | 2002-06-12 | 2007-01-24 | 松下電器産業株式会社 | Driving assistance device |
JP4147059B2 (en) * | 2002-07-03 | 2008-09-10 | 株式会社トプコン | Calibration data measuring device, measuring method and measuring program, computer-readable recording medium, and image data processing device |
JP2004234379A (en) * | 2003-01-30 | 2004-08-19 | Sony Corp | Image processing method, image processor, and imaging device and display device to which image processing method is applied |
JP2005311868A (en) * | 2004-04-23 | 2005-11-04 | Auto Network Gijutsu Kenkyusho:Kk | Vehicle periphery visually recognizing apparatus |
-
2007
- 2007-12-14 JP JP2007323735A patent/JP4934579B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008140401A (en) | 2008-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4104631B2 (en) | Driving support device | |
JP3871614B2 (en) | Driving assistance device | |
JP4874280B2 (en) | Image processing apparatus and method, driving support system, and vehicle | |
JP5944687B2 (en) | Auto calibration of surround view camera with only external parameters | |
WO2009116327A1 (en) | Image processing device and method, driving support system, and vehicle | |
KR101783069B1 (en) | Method for displaying an image on a display device in a vehicle, driver assistance system and vehicle | |
US20070058273A1 (en) | Driving assist system | |
US10315570B2 (en) | Image processing apparatus and image processing method | |
JP4934579B2 (en) | Driving assistance device | |
US20150103172A1 (en) | Image processing apparatus and method | |
JP3663801B2 (en) | Vehicle rear view support device | |
JPWO2008087707A1 (en) | VEHICLE IMAGE PROCESSING DEVICE AND VEHICLE IMAGE PROCESSING PROGRAM | |
CN110651295A (en) | Image processing apparatus, image processing method, and program | |
JP2020537216A (en) | Image processing method and equipment | |
KR20180020274A (en) | Panel conversion | |
WO2013103115A1 (en) | Image display device | |
KR20180021822A (en) | Rear Cross Traffic - QuickLux | |
JP7081265B2 (en) | Image processing equipment | |
JP5861871B2 (en) | Overhead image presentation device | |
JP5305750B2 (en) | Vehicle periphery display device and display method thereof | |
JP2009083744A (en) | Synthetic image adjustment device | |
JP5049304B2 (en) | Device for displaying an image around a vehicle | |
JP4696825B2 (en) | Blind spot image display device for vehicles | |
CN113844365A (en) | Method for visualizing front-view bilateral blind areas of automobile | |
JP2021512536A (en) | How and equipment to drive a camera / monitor system for a car |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081110 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110318 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A132 Effective date: 20110510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110719 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110906 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20111116 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20111130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120124 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120220 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4934579 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150224 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |