JP5971939B2 - Image display device, imaging camera calibration method in image display device, and calibration program - Google Patents
Image display device, imaging camera calibration method in image display device, and calibration program Download PDFInfo
- Publication number
- JP5971939B2 JP5971939B2 JP2011279339A JP2011279339A JP5971939B2 JP 5971939 B2 JP5971939 B2 JP 5971939B2 JP 2011279339 A JP2011279339 A JP 2011279339A JP 2011279339 A JP2011279339 A JP 2011279339A JP 5971939 B2 JP5971939 B2 JP 5971939B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- vehicle
- adjustment
- image
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、画像表示装置、画像表示装置における撮像カメラのキャリブレーション方法およびキャリブレーションプログラム関する。 The present invention relates to an image display device, a method for calibrating an imaging camera in the image display device, and a calibration program.
車両に撮像カメラを搭載し、自車周辺の撮像データを表示することで、運転支援を行うアプリケーションが実用化されている。その代表的なアプリケーションとして、車両の前後左右に取り付けた撮像カメラによって車両の水平方向を撮像し、この撮像データを視点変換して車両上方から見下した俯瞰画像としてディスプレイに表示する、いわゆるトップビュー画像の表示がある。 Applications that support driving by mounting an imaging camera on a vehicle and displaying imaging data around the vehicle have been put into practical use. A typical application is a so-called top view image in which the horizontal direction of the vehicle is imaged by imaging cameras attached to the front, rear, left and right of the vehicle, and this imaged data is converted into a viewpoint and displayed on the display as an overhead image viewed from above the vehicle. Is displayed.
図１は、トップビュー画像を表示するための撮像カメラの配置例を示している。撮像カメラ１、２、３、４は、例えばＣＣＤ撮像素子と、広角の魚眼レンズを含む光学系を含んで構成される。撮像カメラ１は、前方バンパーのナンバープレート付近に設置され、前方を視野角θ１の範囲で撮像する。撮像カメラ２、３は、それぞれ左右のドアミラーに設置され、自車の左右方向を視野角θ２、θ３の範囲で撮像する。撮像カメラ４は、後方バンパーに設置され、後方を視野角θ４の範囲で撮像する。撮像カメラのそれぞれの視野角θ１〜θ４は、隣接する視野角と一部が重複するように調整され、４つの撮像カメラ１〜４により自車の全周囲を撮像する。
FIG. 1 shows an arrangement example of imaging cameras for displaying a top view image. The
図２は、トップビュー画像を説明する図である。トップビュー画像１０は、前方画像１２、左右画像１４、１６、後方画像１８を、自車の上方の仮想視点から見下ろしたように合成して表示する。一例として、トップビュー画像１０の中央には、自車の平面画像が表示される。２０は、各画像の繋ぎ目である。
FIG. 2 is a diagram illustrating a top view image. The top view image 10 synthesizes and displays the
図３は、トップビュー画像の仮想視点と撮像カメラの位置関係を説明する図である。同図に示すように、撮像カメラの光軸Ｏは、地表または路面から高さＨｃにあり、撮像カメラは、魚眼レンズ等の広角レンズを用い、光軸Ｏを中心に一定の視野角θで撮像する。
仮想視点Ｖは、地表または路面から高さＨｔに設定される。トップビュー画像１０は、高さＨｃで撮像された撮像データを、仮想視点Ｖの高さＨｔに座標変換して表示される。
FIG. 3 is a diagram illustrating the positional relationship between the virtual viewpoint of the top view image and the imaging camera. As shown in the figure, the optical axis O of the imaging camera is at a height Hc from the ground surface or the road surface, and the imaging camera uses a wide-angle lens such as a fisheye lens and images at a constant viewing angle θ around the optical axis O. To do.
The virtual viewpoint V is set to a height Ht from the ground surface or the road surface. The top view image 10 is displayed by converting the image data captured at the height Hc to the height Ht of the virtual viewpoint V.
トップビュー画像は、前後左右の撮像カメラで撮像された撮像データを合成するため、各撮像カメラのキャリブレーション（校正）が適切になされていないと、トップビュー画像の繋ぎ目２０（図２）に不連続が生じたり、画像に映し出された物体に歪が生じてしまう。 Since the top view image combines the image data captured by the left, right, left, and right imaging cameras, if the calibration of each imaging camera is not properly performed, the top view image is connected to the joint 20 (FIG. 2). Discontinuity occurs, and the object projected on the image is distorted.
撮像カメラのキャリブレーションは、カメラの取り付け角度、カメラの取り付け高さ、カメラのレンズ歪補正値、カメラのレンズの焦点距離等のカメラの特性を示すパラメータを補正するものであり、例えば、特許文献１では、そのようなパラメータを入力したり、あるいはパラメータを得るための特徴点を自動抽出している。また、撮像エリア内の認識マークの初期位置と、逐次撮像された認識マークの位置とを比較し、経時的変化による撮像カメラの取り付け位置の修正の必要性を報知したりこれを修正するような技術が特許文献２、３に開示されている。
Calibration of an imaging camera corrects parameters indicating camera characteristics such as camera mounting angle, camera mounting height, camera lens distortion correction value, camera lens focal length, and the like. In 1, such parameters are input or feature points for obtaining the parameters are automatically extracted. In addition, the initial position of the recognition mark in the imaging area is compared with the position of the recognition mark that has been sequentially imaged, and the necessity of correcting the mounting position of the imaging camera due to changes over time is notified or corrected. Techniques are disclosed in
トップビュー画像を表示するための撮像カメラのキャリブレーションは、撮像カメラを車体に取り付け時に行われるが、その後、搭載車両の経年変化により車両に歪みが発生した場合や、軽度の接触事故、大きな振動が起こった場合、撮像カメラ自体にダメージはないまでも、撮像カメラの取り付け位置等が若干変化してしまうことがある。そのような場合、撮像カメラの取り付け位置や角度の調整が行われないと、トップビュー画像に歪みや乱れ、繋ぎ目に不整合が生じ、異常な表示のまま使用することになる。一方、撮像カメラの取り付け位置を再調整するためには、ディーラーや取り付け店等に車両を持ち込む必要があり、非常に手間とコストがかかる。このため、システム自体でキャリブレーションの必要性を判定し、自動的に撮像カメラのキャリブレーションを行う方法が望まれる。 Calibration of the imaging camera to display the top-view image is performed when the imaging camera is attached to the vehicle body. Later, when the vehicle is distorted due to aging of the mounted vehicle, minor contact accidents, large vibrations, etc. If this occurs, the mounting position of the imaging camera may slightly change even if the imaging camera itself is not damaged. In such a case, if adjustment of the mounting position and angle of the imaging camera is not performed, the top view image is distorted or distorted, mismatching occurs at the joints, and the display is used with an abnormal display. On the other hand, in order to readjust the mounting position of the imaging camera, it is necessary to bring the vehicle to a dealer, a mounting shop or the like, which is very laborious and costly. For this reason, a method for determining the necessity of calibration by the system itself and automatically calibrating the imaging camera is desired.
本発明は、上記した従来の課題を解決し、撮像カメラのキャリブレーションを自動で行うことができる画像表示装置、画像表示装置における撮像カメラのキャリブレーション方法およびキャリブレーションプログラムを提供することを目的とする。
さらに本発明は、撮像カメラのキャリブレーションを簡単に行うことができる画像表示装置、画像表示装置における撮像カメラのキャリブレーション方法およびキャリブレーションプログラムを提供することを目的とする。
An object of the present invention is to solve the above-described conventional problems and provide an image display device capable of automatically performing calibration of an imaging camera, an imaging camera calibration method in the image display device, and a calibration program. To do.
It is another object of the present invention to provide an image display device that can easily calibrate the imaging camera, a calibration method for the imaging camera in the image display device, and a calibration program.
本発明に係る画像表示装置は、自車周辺の画像を表示する機能を備えたものであって、自車周辺を撮像する複数の撮像カメラを備えた撮像手段と、前記撮像手段により撮像された撮像データを用いて自車の上方から見下ろすような視点変換された自車周辺画像を生成する生成手段と、前記生成手段により生成された自車周辺画像を表示する表示手段と、視点変換された自車周辺画像から横断歩道の複数の特徴点の遷移情報を含む参照パターンを取得する取得手段と、前記参照パターンを保持する保持手段と、横断歩道を走行した場合に、前記撮像手段により撮像された撮像データを用いて前記生成手段により生成された視点変換された自車周辺画像から横断歩道の複数の特徴点の遷移情報を含む走行パターンを抽出する抽出手段と、前記走行パターンに基づき調整部位を判別する判別手段と、前記判別手段により判別された調整部位に対応する撮像カメラの角度の特性を示す角度パラメータを前記参照パターンに基づき調整する調整手段とを有する。 An image display device according to the present invention has a function of displaying an image around a host vehicle, and includes an imaging unit including a plurality of imaging cameras that capture an image of the periphery of the host vehicle, and an image captured by the imaging unit. A generating unit that generates an image around the subject vehicle that has been converted from a viewpoint that looks down from above the own vehicle using the imaging data, a display unit that displays the surrounding image of the vehicle generated by the generating unit, and a viewpoint converted When the vehicle travels on a pedestrian crossing, the acquisition unit acquires a reference pattern including transition information of a plurality of feature points of a pedestrian crossing from the surrounding image of the own vehicle, and is captured by the imaging unit when traveling on a pedestrian crossing. Extracting means for extracting a running pattern including transition information of a plurality of feature points of a pedestrian crossing from the viewpoint-converted own vehicle surrounding image generated by the generating means using the captured image data, and the running A discriminating means for discriminating adjustment parts on the basis of the turn, and adjusting means for the angular parameters adjusted based on the reference pattern representing the angle of the characteristic of the imaging camera corresponding to the adjustment portion is determined by the determining means.
好ましくは前記判別手段は、前記走行パターンに含まれる各撮像カメラに対応する撮像領域の繋ぎ目において特徴点の遷移情報に不連続が存在するとき、当該繋ぎ目を調整部位として判別する。好ましくは前記判別手段は、前記繋ぎ目に隣接する個々の撮像領域の走行パターンを前記参照パターンの対応する撮像領域と比較し、走行パターンと参照パターンとの間に不一致を生じる撮像領域を調整部位として判別する。好ましくは前記調整手段は、前記参照パターンを抽出するときに設定された角度パラメータを予め決められた許容範囲内で変更する。好ましくは前記調整手段は、角度パラメータが異なる複数の調整パターンを有しており、前記複数の調整パターンの中から前記参照パラメータとの差分が最小となる調整パターンを選択し、当該選択された調整パターンに基づき前記角度パラメータを変更する。好ましくは画像表示装置はさらに、前記撮像手段により撮像された横断歩道の撮像データを記憶する記憶手段と、前記調整手段により調整された角度パラメータを用いて前記記憶手段に記憶された横断歩道の撮像データを視点変換することにより自車周辺画像の生成をシミュレーションするシミュレーション手段とを含み、前記判別手段は、前記シミュレーション手段によりシミュレーションされた自車周辺画像に基づき調整部位を判別し、前記調整手段は、前記判別手段により判別された調整部位の撮像カメラの角度パラメータを再調整する。好ましくは前記判別手段はさらに、角度パラメータが調整された自車周辺画像の走行パラメータに基づき各撮像カメラに対応する撮像領域の繋ぎ目において特徴点の遷移情報に不連続が存在するかを判別し、前記調整手段はさらに、繋ぎ目に不連続が存在すると判別された場合には、撮像カメラの高さの特性を示す高さパラメータを調整する。好ましくは前記調整手段は、横断歩道を走行するときの車両速度が一定値以下であり、かつ車両が直進していると判定された場合に、前記角度パラメータの調整を実行する。 Preferably, the discriminating unit discriminates the joint as an adjustment part when there is discontinuity in the transition information of the feature point at the joint of the imaging region corresponding to each imaging camera included in the traveling pattern. Preferably, the determination unit compares the traveling pattern of each imaging region adjacent to the joint with an imaging region corresponding to the reference pattern, and determines an imaging region in which a mismatch occurs between the traveling pattern and the reference pattern. It is determined as Preferably, the adjusting means changes an angle parameter set when extracting the reference pattern within a predetermined allowable range. Preferably, the adjustment unit has a plurality of adjustment patterns having different angle parameters, and selects an adjustment pattern that minimizes a difference from the reference parameter from the plurality of adjustment patterns, and the selected adjustment is performed. The angle parameter is changed based on the pattern. Preferably, the image display device further includes a storage unit that stores imaging data of a pedestrian crossing imaged by the imaging unit, and an imaging of a pedestrian crossing stored in the storage unit using an angle parameter adjusted by the adjustment unit. Simulation means for simulating the generation of the surrounding image of the own vehicle by converting the viewpoint of the data, and the determining means determines an adjustment site based on the surrounding image of the own vehicle simulated by the simulation means, and the adjusting means includes: Then, the angle parameter of the imaging camera of the adjustment part determined by the determination unit is readjusted. Preferably, the determination means further determines whether or not there is discontinuity in the transition information of the feature points at the joints of the imaging areas corresponding to the respective imaging cameras based on the traveling parameters of the surrounding image of the vehicle whose angle parameters are adjusted. The adjusting means further adjusts the height parameter indicating the height characteristic of the imaging camera when it is determined that there is discontinuity at the joint. Preferably, the adjustment means adjusts the angle parameter when it is determined that the vehicle speed when traveling on a pedestrian crossing is a predetermined value or less and the vehicle is traveling straight.
また、本発明に係るナビゲーション装置は、上記の画像表示装置を含んで構成されることができる。その場合、前記調整手段は、自車が横断歩道に接近している情報を入手したとき、実行可能になる。 In addition, the navigation device according to the present invention can include the above-described image display device. In this case, the adjustment means can be executed when information on the fact that the vehicle is approaching a pedestrian crossing is obtained.
本発明に係る画像表示装置が実行する撮像カメラのキャリブレーションプログラムは、視点変換された自車周辺画像から横断歩道の複数の特徴点の遷移情報を含む参照パターンを取得するステップと、前記参照パターンを保持するステップと、横断歩道を走行した場合に、前記撮像手段により撮像された撮像データを用いて前記生成手段により生成された自車周辺画像から横断歩道の複数の特徴点の遷移情報を含む走行パターンを抽出するステップ、前記走行パターンに基づき調整部位を判別するステップと、判別された調整部位に対応する撮像カメラの角度の特性を示す角度パラメータを前記参照パターンに基づき調整するステップとを有する。 An imaging camera calibration program executed by the image display device according to the present invention includes a step of acquiring a reference pattern including transition information of a plurality of feature points of a pedestrian crossing from a viewpoint-converted own vehicle peripheral image, and the reference pattern And the transition information of a plurality of feature points of the pedestrian crossing from the vehicle surrounding image generated by the generating unit using the imaging data captured by the imaging unit when traveling on a pedestrian crossing A step of extracting a travel pattern; a step of determining an adjustment part based on the travel pattern; and a step of adjusting an angle parameter indicating an angle characteristic of an imaging camera corresponding to the determined adjustment part based on the reference pattern. .
本発明に係る画像表示装置における撮像カメラのキャリブレーション方法は、視点変換された自車周辺画像から横断歩道の複数の特徴点の遷移情報を含む参照パターンを取得するステップと、前記参照パターンを保持するステップと、横断歩道を走行した場合に、前記撮像手段により撮像された撮像データを用いて前記生成手段により生成された自車周辺画像から横断歩道の複数の特徴点の遷移情報を含む走行パターンを抽出するステップ、前記走行パターンに基づき調整部位を判別するステップと、判別された調整部位に対応する撮像カメラの角度の特性を示す角度パラメータを前記参照パターンに基づき調整するステップとを有する。 A method for calibrating an imaging camera in an image display device according to the present invention includes a step of acquiring a reference pattern including transition information of a plurality of feature points of a pedestrian crossing from a viewpoint-converted own vehicle surrounding image, and retaining the reference pattern A traveling pattern including transition information of a plurality of feature points of a pedestrian crossing from an image around the own vehicle generated by the generating unit using imaging data captured by the imaging unit when traveling on a pedestrian crossing Extracting an adjustment part based on the travel pattern, and adjusting an angle parameter indicating an angle characteristic of the imaging camera corresponding to the determined adjustment part based on the reference pattern.
本発明によれば、横断歩道の画像から抽出された参照パターンおよび走行パターンを利用することで、撮像カメラのキャリブレーションを自動的にかつ簡単に行うことができる。これにより、経年変化等によって視点変換された画像の質の劣化を防止することができる。 According to the present invention, it is possible to automatically and easily calibrate the imaging camera by using the reference pattern and the running pattern extracted from the image of the pedestrian crossing. Thereby, it is possible to prevent the quality of the image whose viewpoint has been changed due to secular change or the like.
次に、本発明の実施の形態について図面を参照して説明する。好ましくは、本発明に係る画像表示装置は、車両に搭載され、運転者の支援や障害物の監視等に供される。本発明に係る画像表示装置は、それ単体として車両に搭載される他、ナビゲーション装置やその他の車載用オーディオ装置やビデオ装置と組み合わせて用いることも可能である。 Next, embodiments of the present invention will be described with reference to the drawings. Preferably, the image display apparatus according to the present invention is mounted on a vehicle and is used for driver assistance, obstacle monitoring, and the like. The image display device according to the present invention is mounted on a vehicle as a single unit, and can also be used in combination with a navigation device or other in-vehicle audio device or video device.
図４は、本発明の実施例に係る画像表示装置の構成を示すブロック図である。画像表示装置１００は、車両に搭載された複数の撮像カメラ１１０を備える。好ましい態様では、撮像カメラ１００は、図１に示したように、車両の前後左右の４箇所に取り付けられ、広角レンズを用いて自車の全周囲を撮像することができる。なお、撮像カメラ１００の数は、必ずしも４つに限定されるものではなく、それ以上もしくはそれ以下であってもよい。これらの４つの撮像カメラ１１０によって撮像されたデータは、図２に示すような自車の真上から見下ろすようなトップビュー画像に視点変換される。
FIG. 4 is a block diagram showing the configuration of the image display apparatus according to the embodiment of the present invention. The image display device 100 includes a plurality of
画像表示装置１００はさらに、外部と信号の送受を行うインターフェース（Ｉ／Ｆ）部１２０、ユーザからの入力を受け取る入力部１３０、撮像カメラ１１０からの撮像データのトリミング、視点変換、合成などの処理を行う画像処理部１４０、画像処理部１４０で処理されたトップビュー画像などをディスプレイに表示する表示部１５０、画像表示のために各部を制御する制御部１６０、撮像カメラ１１０によって撮像された撮像データやキャリブレーションを実行するためのプログラム等を格納する記憶部１７０を包含する。但し、図４の構成は一例であり、画像表示装置１００は、他の構成、例えば音声出力部等を含むものであってもよい。
The image display device 100 further includes an interface (I / F)
インターフェース部１２０は、例えば、車両バスを介して自車の車速情報やステアリング情報を入手することができる。好ましい態様では、車速情報やステアリング情報に基づきキャリブレーションの実行の可否が判定される。また、画像表示装置１００がナビゲーション装置と連動して用いられるとき、インターフェース部１２０は、ナビゲーション装置から自車位置周辺の道路地図データを受け取り、制御部１６０は、道路地図データを表示部１５０に表示させることができる。また、後述する横断歩道の位置情報を受け取り、横断歩道までの距離が一定に到達したとき、制御部１６０は、撮像カメラのキャリブレーションのための準備をさせることができる。
The
次に、制御部１６０の詳細について説明する。制御部１６０は、例えば、プログラムにより動作可能なコントローラから構成することができる。制御部１６０は、撮像カメラ１１０からの撮像データを視点変換してトップビュー画像を表示するためのプログラムや、撮像カメラ１１０のキャリブレーションを行うプログラム等を備え、これらのプログラムを実行することで各部の動作を制御する。また、これらのプログラムを実行するときに必要なデータを内部メモリまたは記憶部１７０に格納することができる。
Next, details of the
図５は、制御部１６０に含まれるキャリブレーションプログラムの機能ブロック図である。本実施例のキャリブレーションプログラム２００は、以下の構成を含む。初期パラメータ保持部２１０は、撮像カメラ１１０が車両に搭載されたときに初期設定されたパラメータ（以下、初期パラメータという）を保持する。撮像カメラ１１０の特性を示すパラメータには、撮像カメラの取り付け角度に関する角度パラメータと、撮像カメラの取り付け高さに関する高さパラメータとが含まれる。角度パラメータは、好ましくは、ヨー（撮像カメラの光軸の水平方向の角度）、ピッチ（撮像カメラの光軸の垂直方向の角度）、ロール（撮像カメラの光軸の水平および垂直方向の回転角度）を含む。高さパラメータは、撮像カメラ１１０の光軸の鉛直方向の高さ（図３に示す高さＨｃ）を含む。
FIG. 5 is a functional block diagram of the calibration program included in the
撮像カメラ１１０を車両に取り付けるとき、例えば、本出願人により出願された特開２０１０−２１９６６３号に記載されるように、撮像カメラ１１０は、ターゲットボードを用いて位置決めされる。ターゲットボードによる撮像カメラ１１０の位置決めは、誤差を含んでいるため、次に、電子的なキャリブレーションが行われる。電子的なキャリブレーションは、撮像カメラ１１０の取り付け位置（角度および高さ）、レンズ歪補正値、レンズの焦点距離等のカメラの特性を示すパラメータを、トップビュー画像を表示する上で、最適な値に設定する。好ましくは、撮像カメラ１１０からの撮像データを用いてトップビュー画像を生成し、トップビュー画像の繋ぎ目に不連続またはギャップが生じたりしないように、あるいはトップビュー画像に歪が生じないように、パラメータが設定される。こうして設定されたパラメータは、初期パラメータとして記憶部１７０に保持される。なお、ターゲットボードにより撮像カメラを位置決めした後に行われるキャリブレーションでは、一定の許容マージンが設定され、このマージンの範囲内でパラメータの初期設定が行われる。
When the
参照パターン取得部２２０は、初期パラメータを用いて生成された、横断歩道を撮像したトップビュー画像から参照パターンを取得する。参照パターンは、後述するように、横断歩道の複数の特徴点の遷移を含む情報である。好ましい態様では、横断歩道を走行したときの撮像データが予め記憶部１７０に記憶されており、この撮像データからトップビュー画像を生成し、あたかも自車が横断歩道を走行したかの如く走行シミュレーションすることにより、参照パターンを取得する。横断歩道は、その形状が統一されており、国内では２種類存在する。図８Ａ、８Ｂにそれぞれの横断歩道の平面図を示す。いずれの横断歩道Ｐも、道路と平行な矩形状の白線部分Ｐ１を含み、白線部分Ｐ１の幅Ｌ１とその間隔Ｌ２は同じである。参照パターンを構成する特徴点は、好ましくは、図８Ｃに示すように白線部分Ｐ１のコーナーに設定される。参照パターンは、図８Ａ、図８Ｂのいずれの横断歩道Ｐから取得されるものであってもよい。
The reference
図９は、横断歩道からの参照パターンの抽出を説明する図である。図中、３００は、自車Ｍが横断歩道Ｐを直進したときの走行シミュレーションされた様子を表した平面図であり、３１０は、そのときのトップビュー画像から取得される参照パターンを表している。また、Ｍは自車位置を表し、Ｐは横断歩道、Ｑは横断歩道から抽出される特徴点の遷移または軌跡を表している。特徴点は、理解容易のため丸印で示される。図９Ａから図９Ｅに示すように自車Ｍが横断歩道上を走行したときに得られる特徴点Ｑの遷移は、横断歩道の白線部分のコーナー上を延びる互いに平行な直線の集合である。最終的に、図９Ｅに示すように、自車Ｍが横断歩道を走行し終わった時点の特徴点Ｑの遷移を含む参照パターン３１０が取得される。参照パターン３１０は、初期パラメータを用いて生成されたものであり、参照パターン３１０は、撮像カメラ１１０について正しくキャリブレーションされた初期パラメータを反映するものである。この参照パターンは、参照パターン保持部２３０によって記憶部１７０に保持される。なお、参照パターンは、上記のように横断歩道を走行した撮像データから走行シミュレーションすることにより取得する以外に、パラメータの初期設定後に、実際に横断歩道を走行することにより生成されたトップビュー画像から取得するものであってもよい。
FIG. 9 is a diagram for explaining extraction of a reference pattern from a pedestrian crossing. In the figure,
走行パターン抽出部２４０は、初期パラメータの設定後に、実際に横断歩道を走行したときに撮像されたトップビュー画像から横断歩道の特徴点の遷移を含む走行パターンを抽出する。走行パターンの抽出は、自車が横断歩道を走行した際に行われるものであってもよいし、そのときの撮像データを記憶部１７０に保存しておき、そこから撮像データを読み出したときに生成されたトップビュー画像から走行パターンを抽出してもよい。
The travel
調整部位判別部２５０は、トップビュー画像の調整すべき部位を判別する。すなわち、経年変化、軽度な事故、あるいは振動などの要因により、トップビュー画像の繋ぎ目に不連続が生じたり、画像に歪が生じてしまうことがあり、こうした不具合を解消するために、初期パラメータを調整し直す必要が生じる。好ましい態様では、走行パターンの特徴点の遷移に不連続が存在するか否かがチェックされ、不連続が存在する部位が判別される。
The adjustment
パラメータ調整部２６０は、調整部位判別部２５０で判別された部位すなわち撮像カメラの初期パラメータを調整し、または既調整されたパラメータを再調整する。好ましい態様では、初期パラメータは、調整されたパラメータによって更新され、以後、調整されたパラメータによりトップビュー画像が生成される。こうして、経年変化等により歪、不連続が生じたトップビュー画像が修正される。
The
シミュレーション部２７０は、必要に応じて、撮像カメラ１１０により撮像された撮像データを記憶部１７０の保存し、記憶部１７０から撮像データを読出し、読み出された撮像データからトップビュー画像を生成させ、生成されたトップビュー画像を用いて走行シミュレーションを行い、参照パターンや走行パターンの抽出を可能にする。
The
次に、本発明の実施例に係るキャリブレーション動作を図６のフローを参照して説明する。先ず、撮像カメラが車両に取り付けられる（Ｓ１０１）。ここでは、４つの撮像カメラ１１０が図１に示すように車両の前後左右に取り付けられる。このとき、４つの撮像カメラは、ターゲットボードを用いて物理的に位置決めされる。
Next, the calibration operation according to the embodiment of the present invention will be described with reference to the flowchart of FIG. First, an imaging camera is attached to a vehicle (S101). Here, four
次に、電子的なキャリブレーションにより、撮像カメラ１１０の特性を示すパラメータの初期設定が行われ、記憶部１７０に保存される（Ｓ１０２）。この初期パラメータには、角度パラメータおよび高さパラメータが含まれる。次に、図９に示すように、予め用意された横断歩道の撮像データを用いてトップビュー画像の走行シミュレーションが行われ、そこから参照パターンが取得され、これが記憶部１７０に保存される（Ｓ１０３、Ｓ１０４）。
Next, initial setting of parameters indicating characteristics of the
その後、実際に横断歩道を走行した際に、撮像カメラ１１０のキャリブレーションの必要性が自動判定され、必要であると判定されると、キャリブレーションが自動的に実施される（Ｓ１０５）。キャリブレーションの実行によって、初期パラメータ（または既調整パラメータ）が変更された場合には（Ｓ１０６）、初期パラメータ（または既調整パラメータ）が調整されたパラメータに更新される（Ｓ１０７）。以後のトップビュー画像の生成は、調整されたパラメータを用いて行われる。
Thereafter, when actually traveling on a pedestrian crossing, the necessity of calibration of the
図７Ａは、自動キャリブレーションの詳細な動作フローを示す図である。本実施例のキャリブレーションプログラム２００がどのようなタイミングで実施されるかは、特に、制限されるものではないが、１つの態様は、自車が横断歩道を走行したときに、キャリブレーションプログラム２００が動作される（Ｓ２０１）。横断歩道を走行したか否かの判別は、例えば、前方の撮像カメラ１１０により映し出された横断歩道の画像を認識すること、またはトップビュー画像に映し出された横断歩道の画像を認識することによって行われる。これ以外にも、横断歩道を走行することを視認したユーザが入力部１３０から指示を与えることによりキャリブレーションプログラム２００を起動させることができる。また、ナビゲーション装置と協働している場合には、自車位置が横断歩道の一定距離だけ手前に到達したときに起動されるようにしてもよい。さらに、自車が横断歩道を走行したときのトップビュー画像を記憶部１７０に保存しておき、記憶部１７０からトップビュー画像を読み出すときにキャリブレーションプログラム２００を実行するようにしてもよい。
FIG. 7A is a diagram illustrating a detailed operation flow of automatic calibration. The timing at which the calibration program 200 of the present embodiment is implemented is not particularly limited, but one aspect is that the calibration program 200 can be used when the vehicle travels on a pedestrian crossing. Is operated (S201). The determination of whether or not the vehicle has traveled on a pedestrian crossing is performed by, for example, recognizing a pedestrian crossing image displayed by the
また好ましい態様では、キャリブレーションプログラム２００は、インターフェース部１２０から、車速情報およびステアリング情報を取得し、車速が一定値以下および／またはステアリング情報からハンドル舵角が一定値以下であることを加重要件としてもよい。つまり、車速が高速になると、一定のサンプリング周期で捕獲される走行パターンにおける特徴点Ｑの遷移情報が粗くなり、また、車両が直進でないと走行パターンにおける特徴点Ｑの遷移の精度が劣化するためである。
In a preferred embodiment, the calibration program 200 acquires vehicle speed information and steering information from the
キャリブレーションプログラム２００が起動されると、各撮像カメラ１１０で撮像された横断歩道の撮像データ（加工を施さない生データ）を記憶部１７０に保存する（Ｓ２０２）。次に、各撮像カメラ１１０で撮像された横断歩道の撮像データからトップビュー画像が生成され、横断歩道の白線のコーナー部の特徴点Ｑを捉えてトップビュー画像をスキャンすることで特徴点の遷移が測定される。こうして、トップビュー画像から走行パターンが抽出される（Ｓ２０３）。
When the calibration program 200 is activated, imaging data (raw data that is not processed) of the pedestrian crossing imaged by each
次に、調整部位判別部２５０は、走行パターンを参照し、調整部位を判別する（Ｓ２０４）。好ましくは、調整部位判別部２５０は、各撮像カメラ１１０の画像の繋ぎ目部分に特徴点Ｑの遷移のギャップもしくは不連続が存在するか否かを判定する。もし、繋ぎ目部分にギャップが存在する場合、もしくはギャップが予め決められたしきい値よりも大きい場合には、調整部位判別部２５０は、異常ありと判定する。異常ありと判定された場合、繋ぎ目部分に隣接する撮像領域をもつ撮像カメラが特定される。また、他の判別方法として、走行パターンの特徴点Ｑの遷移と参照パターンの特徴点Ｑの遷移とを対比し、特徴点の遷移に差分が生じている撮像領域をもつ撮像カメラを特定するようにしてもよい。
Next, the adjustment
図１０は、走行パターンから調整部位を判別する例を説明する図である。図１０の左側に示される走行パターン４００は、前方の撮像カメラの撮像領域ＣＦ、左サイドの撮像カメラの撮像領域ＣＬ、右サイドの撮像カメラの撮像領域ＣＲ、後方の撮像カメラの撮像領域ＣＢを含み、各撮像領域は、繋ぎ目４１０で合成されている。走行パターン４００の各撮像領域には、特徴点Ｑの遷移が含まれる（図中省略）。図１０の上段には、時刻Ｔ１〜Ｔ６にかけて自車が横断歩道を走行するイメージが示され、その下段の例１、例２には、走行状態Ｔ１〜Ｔ６に対応するように特徴点の遷移が示されている。但し、図面には、見易くするために２つの特徴点Ｑの遷移のみが示されている。
FIG. 10 is a diagram for explaining an example of discriminating the adjustment site from the running pattern. The traveling
例１は、前方の撮像カメラに異常が発生している例を示している。横断歩道を通過した後の時刻Ｔ６の走行パターンにおいて、前方の撮像カメラの撮像領域ＣＦの特徴点Ｑの遷移が傾斜している。好ましい調整部位の判別方法では、撮像領域ＣＦと撮像領域ＣＬおよびＣＲとの繋ぎ目部分の特徴点Ｑの遷移にギャップが存在するため、前方の撮像カメラと左右の両サイドの撮像カメラのいずれかに異常があることが判定される。例１のように、前方の撮像カメラで撮像した特徴点Ｑの遷移が前方に向けて広がるように傾斜するのは、撮像カメラの光軸が上方に傾斜されていることにより生じ得る。 Example 1 shows an example in which an abnormality has occurred in the front imaging camera. In the traveling pattern at time T6 after passing the pedestrian crossing, the transition of the feature point Q of the imaging area CF of the imaging camera ahead is inclined. In a preferable method for determining the adjustment part, since there is a gap in the transition of the feature point Q at the joint between the imaging region CF and the imaging regions CL and CR, either the front imaging camera or the left and right imaging cameras Is determined to be abnormal. As in Example 1, the transition of the feature point Q imaged by the front imaging camera may be inclined so as to spread forward because the optical axis of the imaging camera is inclined upward.
例２は、右サイドの撮像カメラに異常が発生している例を示しており、横断歩道を通過した後の時刻Ｔ６における走行パターンにおいて、右サイドの撮像カメラの撮像領域ＣＲにおいて特徴点Ｑの遷移が傾斜している。つまり、撮像領域ＣＲと撮像領域ＣＦおよびＣＢとの繋ぎ目部分における特徴点の遷移にギャップが存在するため、右サイドの撮像カメラ、前方の撮像カメラおよび後方の撮像カメラのいずれかに異常があることが判定される。例２のように、右サイドの撮像カメラで撮像した特徴点の遷移が傾斜していることは、右サイドの撮像カメラの光軸が後側にかつ上方に（つまり、後方の斜め上方に）傾斜していることにより生じる。 Example 2 shows an example in which an abnormality has occurred in the right-side imaging camera. In the running pattern at time T6 after passing the pedestrian crossing, the feature point Q in the imaging region CR of the right-side imaging camera is shown. The transition is inclined. That is, since there is a gap in the transition of the feature point at the joint between the imaging region CR and the imaging regions CF and CB, there is an abnormality in any of the right side imaging camera, the front imaging camera, and the rear imaging camera. Is determined. As in Example 2, the transition of the feature points imaged by the right-side imaging camera is inclined because the optical axis of the right-side imaging camera is rearward and upward (that is, obliquely upward rearward). This is caused by the inclination.
再び図７Ａに戻り、調整部位判別部２５０により調整部位すなわち調整すべき撮像カメラが特定されると、次に、パラメータ調整部２６０は、調整部位毎に走行パターンと参照パターンとを比較する（Ｓ２０５）。両パターンの特徴点の遷移が不一致であれば（Ｓ２０６）、パラメータ調整部２６０は、撮像カメラの取り付け角度を微調整すべく角度パラメータを調整する（Ｓ２０７）。一方、両パターンの特徴点の遷移が一致すれば（Ｓ２０６）、次の調整部位について走行パターンと参照パターンとが比較される。
Returning to FIG. 7A again, once the adjustment part, that is, the imaging camera to be adjusted is specified by the adjustment
走行パターンと参照パターンの特徴点の遷移が一致するか否かは、好ましくは、特徴点の遷移の幅、傾き、直線性等を比較することにより行われる。図１０の例１では、走行パターンの撮像領域ＣＦ、ＣＬ、ＣＲが参照パターンの撮像領域ＣＦ、ＣＬ、ＣＲとそれぞれ対比される。走行パターンの撮像領域ＣＬ、ＣＲの特徴点の遷移は、参照パターンの特徴点の遷移と一致するが、撮像領域ＣＦの特徴点の遷移は、参照パターンのそれと不一致と判定される。例１の撮像領域ＣＦの特徴点の遷移は、ほぼ左右対称にかつ前方に広がるように傾斜しているため、パラメータ調整部２６０は、前方の撮像カメラの光軸が下方に補正されるように角度パラメータを調整する。この調整は、初期パラメータを設定したときの許容マージンの範囲内で行われる。
Whether or not the transitions of the feature points of the running pattern and the reference pattern coincide is preferably performed by comparing the width, inclination, linearity, etc. of the transition of the feature points. In Example 1 of FIG. 10, the imaging areas CF, CL, and CR of the running pattern are compared with the imaging areas CF, CL, and CR of the reference pattern, respectively. The transition of the feature points of the imaging areas CL and CR of the running pattern matches the transition of the feature points of the reference pattern, but the transition of the feature points of the imaging area CF is determined to be inconsistent with that of the reference pattern. Since the transition of the feature points of the imaging region CF of Example 1 is inclined so as to be substantially symmetrical and spread forward, the
図１０の例２では、走行パターンの撮像領域ＣＦ、ＣＲ、ＣＢが参照パターンの対応する撮像領域ＣＦ、ＣＲ、ＣＢとそれぞれ対比される。走行パターンの撮像領域ＣＦ、ＣＢの遷移は、参照パターンの特徴点の遷移と一致するが、撮像領域ＣＲの特徴点の遷移は、参照パターンと不一致と判定される。例２の撮像領域ＣＲの特徴点の遷移は、前方側から後方側へ向けて広がるように傾斜しているため、パラメータ調整部２６０は、右サイドの撮像カメラの光軸が前方にかつ下方に（つまり、前方の斜め下方に）に補正されるように角度パラメータを調整する。上記と同様に、この調整は、初期パラメータを設定したときの許容マージンの範囲内で行われる。
In Example 2 of FIG. 10, the imaging areas CF, CR, and CB of the running pattern are compared with the corresponding imaging areas CF, CR, and CB of the reference pattern, respectively. The transition of the imaging areas CF and CB of the running pattern matches the transition of the feature points of the reference pattern, but the transition of the feature points of the imaging area CR is determined not to match the reference pattern. Since the transition of the feature points of the imaging region CR in Example 2 is inclined so as to spread from the front side to the rear side, the
こうして、調整部位判別部２５０により判別された全ての調整部位について角度パラメータの調整が終了すると（Ｓ２０８）、次に、シミュレーション部２７０は、記憶部１７０に保存された各撮像カメラで撮像された横断歩道の撮像データを用いて、調整された角度パラメータに従い、トップビュー画像の生成および走行シミュレーションを実行する（Ｓ２０９）。走行シミュレーションにより得られた走行パターンをチェックし（Ｓ２１０）、適正に角度パラメータが調整されたか否かが判定され、適正でないと判定された場合には、再度、ステップＳ２０４からＳ２０８までの調整部位の判別および角度パラメータの調整が行われる。この処理を繰り返すことで、個別での角度パラメータが調整される（Ｓ２１０）。
Thus, when the adjustment of the angle parameter is completed for all the adjustment parts discriminated by the adjustment part discriminating unit 250 (S208), the
角度パラメータは、上記したようにヨー、ピッチ、ロールの角度情報を含み、パラメータ調整部２６０は、初期設定したときの許容マージンの範囲内でヨー、ピッチ、ロールを調整することができる。また、図１０を参照して説明したように、走行パターンの特徴点の遷移を解析することで、ヨー、ピッチまたはロールのいずれを優先的に調整するかを判定することができる。このような調整は、リアルタイムの計算により行われるが、これ以外の方法で角度パラメータを調整する方法を説明する。
The angle parameter includes yaw, pitch, and roll angle information as described above, and the
パラメータ調整部２６０は、角度パラメータを異にする複数の調整パターンを予め記憶部１７０に記憶し、複数の調整パターンの中から最適な調整パターンを選択する。好ましくは、ヨー、ピッチ、ロールのそれぞれの値が、許容マージンの最小値から最大値までの範囲で所定の離間した値をとるような複数の調整パターンが用意される。例えば、ヨーの角度θyが、最小値θmin、θ1、θ2、・・・θｎ、最大値θmaxで異なる、複数の調整パターンであってもよいし、ヨー、ピッチ、ロールのいずれかの組合せにおいて角度が異なる、複数の調整パターンであってもよい。
The
パラメータ調整部２６０は、複数の調整パターンのすべてを用いて角度パラメータを修正し、修正された角度パラメータの中から最適なものを選択することができる。この場合、角度パラメータが修正されるたびにシミュレーション部２７０により走行シミュレートが実施され、その走行パターンと参照パターンとが比較され、比較結果がメモリに保持される。そして、すべての調整パターンの中から、参照パターンとの差分が一番小さくなるものが選択され、この選択された調整パターンにより角度パラメータを調整する。あるいは、パラメータ調整部２６０は、調整パターンを順次選択していく中で、参照パターンとの差分がしきい値以下となるものが生じた場合には、当該調整パターンを選択し、これにより角度パラメータを調整するようにしてもよい。この場合、すべての調整パターンによる角度パターンの修正を行う必要がないので、キャリブレーション処理の高速化を図ることができる。
The
図１１は、複数の調整パターンから選択された調整パターンにより角度パラメータを決定する例を示している。図１１Ａは、前方の撮像カメラのヨーとピッチがずれていた場合のトップビュー画像を模式的示している。この場合、横断歩道Ｐは、前方に向けて広がるように表示される。図１１Ｂは、調整パターンＡ、Ｂ、Ｃにより角度パラメータが調整された走行パターンと参照パターンとの比較を示している。ラインで示すものが参照パターンの特徴点の遷移であり、●で示すものが走行パターンの特徴点である。 FIG. 11 shows an example in which the angle parameter is determined by an adjustment pattern selected from a plurality of adjustment patterns. FIG. 11A schematically shows a top view image when the yaw and pitch of the front imaging camera are shifted. In this case, the pedestrian crossing P is displayed so as to spread forward. FIG. 11B shows a comparison between the traveling pattern in which the angle parameter is adjusted by the adjustment patterns A, B, and C and the reference pattern. What is indicated by a line is the transition of the feature point of the reference pattern, and what is indicated by ● is the feature point of the running pattern.
調整パターンＡ、Ｂの場合、走行パターンの特徴点の遷移は、参照パターンの遷移に一致しない例を示している。一方、調整パターンＣにより角度パラメータを調整された走行パターンの特徴点の遷移は、参照パターンの遷移にほぼ一致している例を示している。ここでは、調整パターンＣが選択され、その結果、図１１Ｃに示すように、前方の撮像カメラのヨーとピッチが修正されたことで、横断歩道Ｐの画像は白線部分が平行に延びるように適切に表示されている。 In the case of the adjustment patterns A and B, an example is shown in which the transition of the feature points of the running pattern does not coincide with the transition of the reference pattern. On the other hand, the transition of the feature point of the travel pattern in which the angle parameter is adjusted by the adjustment pattern C shows an example in which the transition of the reference pattern substantially matches. Here, the adjustment pattern C is selected, and as a result, as shown in FIG. 11C, the yaw and pitch of the front imaging camera are corrected, so that the image of the pedestrian crossing P is appropriate so that the white line portions extend in parallel. Is displayed.
図７Ａに示す個別の調整部位での角度パラメータの調整が終了されると、次に、パラメータ調整部２６０は、トップビュー画像の繋ぎ目処理を行う。図７Ｂは、その処理フローを示している。シミュレーション部２７０により、部位別に角度パラメータが調整された撮像データからトップビュー画像が生成され、走行パターンが抽出される（Ｓ２１１）。次に、調整部位判別部２５０により走行パターンの繋ぎ目における特徴点の遷移のギャップまたは不連続の有無が判別される（Ｓ２１２）。パラメータ調整部２６０は、繋ぎ目のギャップを解消すべく、繋ぎ目に隣接する撮像領域をもつ撮像カメラの高さパラメータを調整する。高さパラメータは、撮像カメラの光軸の鉛直方向の高さであり、初期設定されたときの許容マージンの範囲内で高さパラメータが調整される。
When the adjustment of the angle parameters at the individual adjustment parts illustrated in FIG. 7A is completed, the
図１２は、高さパラメータの調整例を示している。図１２の上段には、時刻Ｔ１〜Ｔ６にかけて自車が横断歩道を走行するシミュレーションが示され、その下段の例１、例２には、走行状態Ｔ１〜Ｔ６に対応するように特徴点Ｑの遷移が示されている。但し、図面には、見易くするために２つの特徴点の遷移のみが示されている。 FIG. 12 shows an example of adjusting the height parameter. The upper part of FIG. 12 shows a simulation in which the vehicle travels on a pedestrian crossing from time T1 to T6. Examples 1 and 2 in the lower part show the characteristic points Q corresponding to the traveling states T1 to T6. Transitions are shown. However, only the transition of the two feature points is shown in the drawing for easy viewing.
例１では、前方の撮像カメラの高さに異常が存在する例を示している。横断歩道を通過した後の時刻Ｔ６の走行パターンにおいて、前方の撮像カメラの撮像領域ＣＦの特徴点Ｑの遷移が、左右の撮像カメラの撮像領域ＣＬ、ＣＲの特徴点の遷移からズレている。この場合、撮像領域ＣＬ、ＣＲの特徴点の遷移は、後方の撮像カメラの撮像領域ＣＢの特徴点の遷移と一致しているため、前方の撮像カメラに異常があると判別される。前方の撮像領域ＣＦの特徴点の遷移は、撮像領域ＣＬ、ＣＲの特徴点の遷移よりも内側に存在する。これは、前方の撮像カメラが幾分高い位置にあることを示している。このため、パラメータ調整部２６０は、前方の撮像カメラの高さパラメータが高くなるような調整を行う。
Example 1 shows an example in which there is an abnormality in the height of the front imaging camera. In the traveling pattern at time T6 after passing the pedestrian crossing, the transition of the feature point Q of the imaging area CF of the front imaging camera is shifted from the transition of the imaging points CL and CR of the left and right imaging cameras. In this case, since the transition of the feature points of the imaging areas CL and CR coincides with the transition of the feature point of the imaging area CB of the rear imaging camera, it is determined that there is an abnormality in the front imaging camera. The transition of the feature point in the front imaging area CF exists inside the transition of the feature points in the imaging areas CL and CR. This indicates that the front imaging camera is at a somewhat higher position. For this reason, the
図１２の例２では、右サイドの撮像カメラの高さに異常が存在する例を示している。横断歩道を通過した後の時刻Ｔ６の走行パターンにおいて、右サイドの撮像領域ＣＲの特徴点の遷移が、前方および後方の撮像領域ＣＦ、ＣＢの特徴点の遷移からズレている。撮像領域ＣＲの特徴点の遷移が２つの繋ぎ目においてズレているため、右サイドの撮像カメラに異常があると判別される。右サイドの撮像領域ＣＲの特徴点の遷移は、前方および後方の撮像領域ＣＦ、ＣＢの特徴点の遷移よりも外側にズレている。これは、右サイドの撮像カメラが幾分低い位置にあることを示している。このため、パラメータ調整部２６０は、右サイドの撮像カメラの高さパラメータが低くなるような調整を行う。
Example 2 in FIG. 12 shows an example in which there is an abnormality in the height of the imaging camera on the right side. In the travel pattern at time T6 after passing the pedestrian crossing, the transition of the feature points of the right side imaging region CR is shifted from the transition of the feature points of the front and rear imaging regions CF and CB. Since the transition of the feature points of the imaging region CR is shifted at the two joints, it is determined that there is an abnormality in the right side imaging camera. The transition of the feature points of the imaging region CR on the right side is shifted outward from the transition of the feature points of the front and rear imaging regions CF and CB. This indicates that the imaging camera on the right side is at a somewhat lower position. For this reason, the
高さパラメータの調整を行った後に、シミュレーション部２７０により生成された走行パターンに基づき調整部位判別部２５０により繋ぎ目が適正であるか否かが判定され（Ｓ２１４）、繋ぎ目にギャップが存在すれば、再度、高さパラメータの調整が行われる。こうして、すべての繋ぎ目が適正と判定されると（Ｓ２１５）、撮像カメラのキャリブレーションが終了する。
After adjusting the height parameter, the adjustment
このように本実施例によれば、路面に形成された横断歩道を利用して、撮像カメラのキャリブレーションの必要性を自動で判定し、かつキャリブレーションを自動で実施するようにしたので、従来のように、ディーラー等へ出向いてキャリブレーションを行う必要がなくなり、キャリブレーションに要する時間およびコストを削減することができる。 As described above, according to this embodiment, the necessity of calibration of the imaging camera is automatically determined using the pedestrian crossing formed on the road surface, and the calibration is automatically performed. Thus, it is not necessary to go to a dealer or the like to perform calibration, and the time and cost required for calibration can be reduced.
また、横断歩道は、他の駐車場の白線等のパターンと比較して出現頻度が高いため、キャリブレーションを実行するための時間的制約が少なく、適宜、キャリブレーションを行うことができる。さらに横断歩道は、規格化された白色のパターンであるため、輝度判定による認識が容易であり、かつ特徴点も抽出し易すく、キャリブレーションの精度を高めることが可能である。さらに横断歩道は、車線の全体に存在するため、車両の全方向の撮像カメラのキャリブレーションを網羅することができる。さらに、横断歩道上を通過する車両の速度も遅い（徐行）ことが多く、これにより特徴点の抽出の精度も高まる。さらに横断歩道は、地図データベースにより識別可能であるため、ナビゲーション装置との連携において、横断歩道が接近したときに、キャリブレーションプログラム２００が動作可能になるように設計することができる。 Moreover, since the appearance frequency of the pedestrian crossing is higher than that of patterns such as white lines in other parking lots, there are few time restrictions for executing calibration, and calibration can be performed as appropriate. Furthermore, since the pedestrian crossing is a standardized white pattern, it is easy to recognize by luminance determination, and it is easy to extract feature points, so that the accuracy of calibration can be improved. Furthermore, since the pedestrian crossing exists in the entire lane, it is possible to cover the calibration of the imaging camera in all directions of the vehicle. Furthermore, the speed of a vehicle passing on a pedestrian crossing is often slow (slowing down), which increases the accuracy of feature point extraction. Furthermore, since the pedestrian crossing can be identified by the map database, it is possible to design the calibration program 200 to be operable when the pedestrian crossing approaches in cooperation with the navigation apparatus.
さらに、撮像カメラのキャリブレーションを行うタイミングは、必ずしも、自車が横断歩道を走行した時点に限定されるものではない。例えば、撮像カメラにより横断歩道を走行したときの撮像データをメモリに記憶しておき、その後に、メモリから撮像データを読出し、シミュレーション部で撮像データに基づくトップビュー画像を生成し、そこから走行パターンを抽出し、キャリブレーションを実施するようにしてもよい。 Furthermore, the timing for calibrating the imaging camera is not necessarily limited to the time when the vehicle travels on a pedestrian crossing. For example, imaging data when traveling on a pedestrian crossing by an imaging camera is stored in a memory, and thereafter, the imaging data is read from the memory, a top view image based on the imaging data is generated by a simulation unit, and a traveling pattern is generated therefrom. May be extracted and calibration may be performed.
また、トップビュー画像の繋ぎ目に不連続が生じていること、あるいは撮像領域に映し出された物体に歪が生じていることがユーザによって視認されたとき、ユーザは、キャリブレーションの実行の指示を与えるようにしてもよい。この指示に応じて、キャリブレーションプログラム２００が起動され、撮像カメラによって横断歩道が撮像されたとき、トップビュー画像から走行パターンを抽出するようにしてもよい。 In addition, when the user visually recognizes that a discontinuity has occurred in the joint of the top view image or that the object projected in the imaging area has been distorted, the user issues an instruction to execute calibration. You may make it give. In response to this instruction, when the calibration program 200 is activated and a pedestrian crossing is imaged by the imaging camera, a running pattern may be extracted from the top view image.
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 The preferred embodiment of the present invention has been described in detail above, but the present invention is not limited to the specific embodiment, and various modifications can be made within the scope of the present invention described in the claims. Deformation / change is possible.
１００：画像表示装置 １１０：撮像カメラ
１２０：Ｉ／Ｆ部 １３０：入力部
１４０：画像処理部 １５０：表示部
１６０：制御部 １７０：記憶部
２００：キャリブレーションプログラム ２１０：初期パラメータ保持部
２２０：参照パターン取得部 ２３０：参照パターン保持部
２４０：走行パターン抽出部 ２５０：調整部位判別部
２６０：パラメータ調整部 ２７０：シミュレーション部
３００：走行シミュレーションの状態 ３１０：参照パターン
３２０：画像の繋ぎ目 ４００：走行パターン
Ｐ：横断歩道 Ｑ：特徴点
Ｍ：自車位置 ＣＦ、ＣＲ、ＣＬ、ＣＢ：撮像領域
DESCRIPTION OF SYMBOLS 100: Image display apparatus 110: Imaging camera 120: I / F part 130: Input part 140: Image processing part 150: Display part 160: Control part 170: Storage part 200: Calibration program 210: Initial parameter holding | maintenance part 220: Reference Pattern acquisition unit 230: Reference pattern holding unit 240: Travel pattern extraction unit 250: Adjustment part determination unit 260: Parameter adjustment unit 270: Simulation unit 300: State of travel simulation 310: Reference pattern 320: Image joint 400: Travel pattern P: Crosswalk Q: Feature point M: Own vehicle position CF, CR, CL, CB: Imaging area
Claims (20)
自車周辺を撮像する複数の撮像カメラを備えた撮像手段と、
前記撮像手段により撮像された撮像データを用いて自車の上方から見下ろすような視点変換された自車周辺画像を生成する生成手段と、
前記生成手段により生成された自車周辺画像を表示する表示手段と、
視点変換された自車周辺画像から横断歩道の複数の特徴点の遷移情報を含む参照パターンを取得する取得手段と、
前記参照パターンを保持する保持手段と、
横断歩道を走行した場合に、前記撮像手段により撮像された撮像データを用いて前記生成手段により生成された視点変換された自車周辺画像から横断歩道の複数の特徴点の遷移情報を含む走行パターンを抽出する抽出手段と、
前記走行パターンに基づき調整部位を判別する判別手段と、
前記判別手段により判別された調整部位に対応する撮像カメラの角度の特性を示す角度パラメータを前記参照パターンに基づき調整する調整手段と、
を有する画像表示装置。 An image display device having a function of displaying an image around the own vehicle,
Imaging means comprising a plurality of imaging cameras for imaging the periphery of the vehicle;
Generating means for generating a peripheral image of the subject vehicle whose viewpoint is converted so as to look down from above the subject vehicle using the imaging data captured by the imaging unit;
Display means for displaying the vehicle periphery image generated by the generating means;
An acquisition means for acquiring a reference pattern including transition information of a plurality of feature points of a pedestrian crossing from an image around the subject vehicle whose viewpoint has been converted;
Holding means for holding the reference pattern;
When traveling on a pedestrian crossing, a traveling pattern including transition information of a plurality of feature points of the pedestrian crossing from the viewpoint-converted vehicle surrounding image generated by the generating unit using the imaging data captured by the imaging unit Extracting means for extracting
Discriminating means for discriminating an adjustment site based on the running pattern;
Adjusting means for adjusting an angle parameter indicating the angle characteristic of the imaging camera corresponding to the adjustment part determined by the determining means based on the reference pattern;
An image display apparatus.
前記判別手段は、前記シミュレーション手段によりシミュレーションされた自車周辺画像に基づき調整部位を判別し、前記調整手段は、前記判別手段により判別された調整部位の撮像カメラの角度パラメータを再調整する、請求項１ないし５いずれか１つに記載の画像表示装置。 The image display device further includes storage means for storing imaging data of a pedestrian crossing imaged by the imaging means, and imaging data of the pedestrian crossing stored in the storage means using the angle parameter adjusted by the adjustment means. Simulation means for simulating the generation of the vehicle periphery image by converting the viewpoint,
The discriminating unit discriminates an adjustment site based on the vehicle surrounding image simulated by the simulation unit, and the adjustment unit readjusts the angle parameter of the imaging camera of the adjustment site discriminated by the discrimination unit. Item 6. The image display device according to any one of Items 1 to 5.
前記調整手段はさらに、繋ぎ目に不連続が存在すると判別された場合には、撮像カメラの高さの特性を示す高さパラメータを調整する、請求項１ないし６いずれか１つに記載の画像表示装置。 The determination means further determines whether or not there is discontinuity in the transition information of the feature points at the joints of the imaging areas corresponding to the respective imaging cameras based on the traveling pattern of the surrounding image of the vehicle in which the angle parameter is adjusted,
The image according to any one of claims 1 to 6, wherein the adjusting means further adjusts a height parameter indicating a height characteristic of the imaging camera when it is determined that a discontinuity exists at the joint. Display device.
視点変換された自車周辺画像から横断歩道の複数の特徴点の遷移情報を含む参照パターンを取得するステップと、
前記参照パターンを保持するステップと、
横断歩道を走行した場合に、前記撮像手段により撮像された撮像データを用いて前記生成手段により生成された自車周辺画像から横断歩道の複数の特徴点の遷移情報を含む走行パターンを抽出するステップ、
前記走行パターンに基づき調整部位を判別するステップと、
判別された調整部位に対応する撮像カメラの角度の特性を示す角度パラメータを前記参照パターンに基づき調整するステップと、
を有するキャリブレーションプログラム。 Imaging means comprising a plurality of imaging cameras for imaging the periphery of the vehicle, and generating means for generating a viewpoint-converted vehicle periphery image that looks down from above the host vehicle using the image data captured by the imaging means And a calibration program for an imaging camera executed by an image display device having display means for displaying a vehicle periphery image generated by the generation means,
Obtaining a reference pattern including transition information of a plurality of feature points of a pedestrian crossing from the vehicle periphery image converted from the viewpoint;
Holding the reference pattern;
A step of extracting a running pattern including transition information of a plurality of feature points of a pedestrian crossing from an image around the own vehicle generated by the generating unit using imaging data captured by the imaging unit when traveling on a pedestrian crossing ,
Determining an adjustment site based on the running pattern;
Adjusting an angle parameter indicating a characteristic of an angle of the imaging camera corresponding to the determined adjustment part based on the reference pattern;
A calibration program.
前記調整された角度パラメータを用いて前記記憶された横断歩道の撮像データを視点変換することにより自車周辺画像の生成をシミュレーションするステップと、
前記シミュレーションされた自車周辺画像に基づき調整部位を判別するステップと、
前記判別された調整部位の撮像カメラの角度パラメータを再調整するステップとを有する、請求項１１ないし１３いずれか１つに記載のキャリブレーションプログラム。 The calibration program further includes storing imaging data of a pedestrian crossing imaged by the imaging means;
Simulating the generation of a surrounding image of the vehicle by performing viewpoint conversion of the stored imaging data of the pedestrian crossing using the adjusted angle parameter;
Determining an adjustment site based on the simulated vehicle periphery image;
The calibration program according to claim 11, further comprising a step of readjusting an angle parameter of the imaging camera of the determined adjustment part.
前記繋ぎ目に不連続が存在すると判別された場合には、撮像カメラの高さの特性を示す高さパラメータを調整するステップとを有する、請求項１１ないし１４いずれか１つに記載のキャリブレーションプログラム。 The calibration program further determines whether or not there is discontinuity in the transition information of the feature points at the joints of the imaging areas corresponding to each imaging camera based on the traveling pattern of the surrounding image of the host vehicle with the angle parameter adjusted. ,
The calibration according to claim 11, further comprising a step of adjusting a height parameter indicating a height characteristic of the imaging camera when it is determined that a discontinuity exists in the joint. program.
視点変換された自車周辺画像から横断歩道の複数の特徴点の遷移情報を含む参照パターンを取得するステップと、
前記参照パターンを保持するステップと、
横断歩道を走行した場合に、前記撮像手段により撮像された撮像データを用いて前記生成手段により生成された自車周辺画像から横断歩道の複数の特徴点の遷移情報を含む走行パターンを抽出するステップ、
前記走行パターンに基づき調整部位を判別するステップと、
判別された調整部位に対応する撮像カメラの角度の特性を示す角度パラメータを前記参照パターンに基づき調整するステップと、
を有するキャリブレーション方法。 Imaging means comprising a plurality of imaging cameras for imaging the periphery of the vehicle, and generating means for generating a viewpoint-converted vehicle periphery image that looks down from above the host vehicle using the image data captured by the imaging means And a calibration method for an imaging camera in an image display device having display means for displaying an image around the own vehicle generated by the generating means,
Obtaining a reference pattern including transition information of a plurality of feature points of a pedestrian crossing from the vehicle periphery image converted from the viewpoint;
Holding the reference pattern;
A step of extracting a running pattern including transition information of a plurality of feature points of a pedestrian crossing from an image around the own vehicle generated by the generating unit using imaging data captured by the imaging unit when traveling on a pedestrian crossing ,
Determining an adjustment site based on the running pattern;
Adjusting an angle parameter indicating a characteristic of an angle of the imaging camera corresponding to the determined adjustment part based on the reference pattern;
Calibration method.
前記調整された角度パラメータを用いて前記記憶された横断歩道の撮像データを視点変換することにより自車周辺画像の生成をシミュレーションするステップと、
前記シミュレーションされた自車周辺画像に基づき調整部位を判別するステップと、
前記判別された調整部位の撮像カメラの角度パラメータを再調整するステップとを有する、請求項１６ないし１８いずれか１つに記載のキャリブレーション方法。 The calibration method further includes storing imaging data of a pedestrian crossing imaged by the imaging means;
Simulating the generation of a surrounding image of the vehicle by performing viewpoint conversion of the stored imaging data of the pedestrian crossing using the adjusted angle parameter;
Determining an adjustment site based on the simulated vehicle periphery image;
The calibration method according to claim 16, further comprising a step of re-adjusting an angle parameter of the imaging camera of the determined adjustment part.
前記繋ぎ目に不連続が存在すると判別された場合には、撮像カメラの高さの特性を示す高さパラメータを調整するステップとを有する、請求項１６ないし１９いずれか１つに記載のキャリブレーション方法。 The calibration method further includes determining whether or not there is discontinuity in the transition information of the feature points at the joints of the imaging regions corresponding to each imaging camera based on the traveling pattern of the surrounding image of the host vehicle with the angle parameter adjusted. ,
The calibration according to any one of claims 16 to 19, further comprising a step of adjusting a height parameter indicating a height characteristic of the imaging camera when it is determined that a discontinuity exists in the joint. Method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011279339A JP5971939B2 (en) | 2011-12-21 | 2011-12-21 | Image display device, imaging camera calibration method in image display device, and calibration program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011279339A JP5971939B2 (en) | 2011-12-21 | 2011-12-21 | Image display device, imaging camera calibration method in image display device, and calibration program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013129278A JP2013129278A (en) | 2013-07-04 |
| JP5971939B2 true JP5971939B2 (en) | 2016-08-17 |
Family
ID=48907224
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011279339A Active JP5971939B2 (en) | 2011-12-21 | 2011-12-21 | Image display device, imaging camera calibration method in image display device, and calibration program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5971939B2 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015129280A1 (en) * | 2014-02-26 | 2015-09-03 | 京セラ株式会社 | Image processing device and image processing method |
| JP6413974B2 (en) * | 2015-08-05 | 2018-10-31 | 株式会社デンソー | Calibration apparatus, calibration method, and program |
| JP2017112566A (en) * | 2015-12-18 | 2017-06-22 | 株式会社デンソー | Parameter identification device |
| JP6780661B2 (en) * | 2016-01-15 | 2020-11-04 | ソニー株式会社 | Image processing equipment and methods, programs, and image processing systems |
| JP2018157496A (en) * | 2017-03-21 | 2018-10-04 | クラリオン株式会社 | Calibration device |
| JP6798926B2 (en) * | 2017-04-13 | 2020-12-09 | クラリオン株式会社 | In-vehicle camera calibration device |
| KR102470298B1 (en) | 2017-12-01 | 2022-11-25 | 엘지이노텍 주식회사 | A method of correcting cameras and device thereof |
| CN110570475A (en) * | 2018-06-05 | 2019-12-13 | 上海商汤智能科技有限公司 | vehicle-mounted camera self-calibration method and device and vehicle driving method and device |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3986360B2 (en) * | 2002-05-14 | 2007-10-03 | 松下電器産業株式会社 | Camera calibration device |
| JP4710653B2 (en) * | 2005-03-03 | 2011-06-29 | 日産自動車株式会社 | In-vehicle image processing apparatus and vehicle image processing method |
| JP2007149011A (en) * | 2005-11-30 | 2007-06-14 | Auto Network Gijutsu Kenkyusho:Kk | Vehicle circumference viewing device |
| JP4820221B2 (en) * | 2006-06-29 | 2011-11-24 | 日立オートモティブシステムズ株式会社 | Car camera calibration device and program |
| JP5222597B2 (en) * | 2008-03-19 | 2013-06-26 | 三洋電機株式会社 | Image processing apparatus and method, driving support system, and vehicle |
| JP2011217233A (en) * | 2010-04-01 | 2011-10-27 | Alpine Electronics Inc | On-vehicle camera calibration system, and computer program |
| JP5552892B2 (en) * | 2010-05-13 | 2014-07-16 | 富士通株式会社 | Image processing apparatus and image processing program |
-
2011
- 2011-12-21 JP JP2011279339A patent/JP5971939B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013129278A (en) | 2013-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5971939B2 (en) | Image display device, imaging camera calibration method in image display device, and calibration program | |
| US11763571B2 (en) | Monocular cued detection of three-dimensional structures from depth images | |
| US8089512B2 (en) | Driving support device, driving support method and computer program | |
| TWI638343B (en) | Lane detection system and method | |
| KR101243108B1 (en) | Apparatus and method for displaying rear image of vehicle | |
| US10366512B2 (en) | Around view provision apparatus and vehicle including the same | |
| JP5829980B2 (en) | Roadside detection device | |
| US9056630B2 (en) | Lane departure sensing method and apparatus using images that surround a vehicle | |
| JP4676373B2 (en) | Peripheral recognition device, peripheral recognition method, and program | |
| JP5120227B2 (en) | Ring stop detection device and rear image display device | |
| US8477191B2 (en) | On-vehicle image pickup apparatus | |
| JP2002359838A (en) | Device for supporting driving | |
| JP4872769B2 (en) | Road surface discrimination device and road surface discrimination method | |
| JP2002197469A (en) | Device for detecting traffic lane | |
| KR20180092765A (en) | Apparatus and method for identifying lanes by using top view image | |
| JP5106771B2 (en) | Road marking measuring device | |
| JP6152261B2 (en) | Car parking frame recognition device | |
| JP2004355139A (en) | Vehicle recognition system | |
| JP4720446B2 (en) | Vehicle detection device and vehicle display device using the same | |
| JP2002334330A (en) | Vehicle recognition device | |
| JP2014106739A (en) | In-vehicle image processing device | |
| JP2014093018A (en) | Vehicle lane recognition device, drive support device, vehicle lane recognition method and vehicle lane recognition program | |
| KR101635831B1 (en) | Apparatus and method for recognizing position of vehicle | |
| JP2007018451A (en) | Road boundary line detecting device | |
| JP6949090B2 (en) | Obstacle detection device and obstacle detection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140925 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150630 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150630 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150820 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160126 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160203 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160712 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160712 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5971939 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |