JP2010103730A - 車載カメラのキャリブレーション装置およびキャリブレーション方法 - Google Patents

Abstract

【課題】車載カメラのパラメータ校正と画像処理内容の設定を一括して行うことで、作業の簡略化と作業工数の削減が図られ、コスト低減に寄与することができる車載カメラのキャリブレーション装置およびキャリブレーション方法を提供すること。
【解決手段】車両周辺を撮像するリアカメラ１と、リアカメラ１のレンズ光軸延長位置に設置され、校正パターン情報４１を付与したカメラ校正板４と、校正パターン情報４１を撮影したカメラ画像を解析することにより、リアカメラ１の位置情報や姿勢情報を含むパラメータを自動的に校正するリアカメラ１のキャリブレーション装置において、カメラ校正板４は、校正パターン情報４１以外に、カメラ画像データに基づき所望のモニタ画像データを生成する画像処理に関する情報をタグ情報４２として付与し、カメラキャリブレーション手段（図５）は、校正パターン情報４１に基づくリアカメラ１のパラメータ校正とタグ情報４２に基づく画像処理内容の設定を一括して行う。
【選択図】図１

Description

本発明は、カメラ校正板を用いて車載カメラの基準設定からの誤差を校正する車載カメラのキャリブレーション装置およびキャリブレーション方法に関する。

車体に取り付けられる車載カメラは、カメラ毎の組み立て誤差による個体バラツキを持つし、かつ、車体への取り付け時には、カメラ位置やカメラ設定角度（＝カメラ姿勢）に組み付け誤差を持つことが避けられない。このため、車載カメラを車体に取り付けた後、カメラ自体の位置や姿勢を求める、あるいは、カメラ校正パラメータと呼ばれる各種定数を求めることで、ソフト的に基準設定からの誤差を校正するキャリブレーションという手続きを要する。

従来、基準マーカー（カメラ校正板に相当）を用いて車載カメラの基準設定からの誤差を校正する車載カメラのキャリブレーション方法としては、基準マーカーを画面に表示させると共に、ジョイスティックの操作に応じて画面内で移動する複数のマーカーを表示させ、画面内で前記基準マーカーの複数の特定点が複数のマーカーに重ねられる。このとき、複数のマーカーの画面内における座標を抽出し、抽出された複数のマーカーの座標と、複数の特定点の実空間における座標を対応させることにより、車載カメラの設定位置と設定角度に関する情報を求めるものが知られている（例えば、特許文献１参照）。

また、後部バンパの輪郭を模した調整マーカー（カメラ校正板に相当）を用いて車載カメラの基準設定からの誤差を校正する車載カメラのキャリブレーション装置としては、調整パターンとしての後部バンパを含む映像に、前記調整マーカーを重畳的に表示させ、調整マーカーの表示を調整パターンの表示に一致させるように、入力手段により調整マーカーの表示姿勢を調整する。そして、入力手段に入力された調整の指示に対応する新たなパラメータを算出し、記憶されているパラメータを新たなパラメータに置き換えるものが知られている（例えば、特許文献２参照）。
特開2004-200819号公報 特開2007-256030号公報

しかしながら、従来の車載カメラのキャリブレーション方法やキャリブレーション装置にあっては、車載カメラの基準設定からの誤差を校正するだけの処理を行うものであるため、視点変換処理や画像合成処理や重畳表示処理などによる画像処理内容を設定したい場合、カメラ校正処理とは別工程にて画像処理内容の設定を行う必要があり、多大な作業工数を要するばかりでなくコスト増を招く、という問題があった。

本発明は、上記問題に着目してなされたもので、車載カメラのパラメータ校正と画像処理内容の設定を一括して行うことで、作業の簡略化と作業工数の削減が図られ、コスト低減に寄与することができる車載カメラのキャリブレーション装置およびキャリブレーション方法を提供することを目的とする。

上記目的を達成するため、本発明では、車両周辺を撮像する車載カメラと、前記車載カメラのレンズ光軸延長位置に設置され、校正パターン情報を付与したカメラ校正板と、前記校正パターン情報を撮影したカメラ画像を解析することにより、前記車載カメラの位置情報や姿勢情報を含むパラメータを自動的に校正するカメラキャリブレーション手段と、を備えた車載カメラのキャリブレーション装置において、
前記カメラ校正板は、前記校正パターン情報以外に、カメラ画像データに基づき所望のモニタ画像データを生成する画像処理に関する情報をタグ情報として付与し、
前記カメラキャリブレーション手段は、前記校正パターン情報に基づく前記車載カメラのパラメータ校正と前記タグ情報に基づく画像処理内容の設定を一括して行うことを特徴とする。

よって、本発明の車載カメラのキャリブレーション装置にあっては、カメラ校正板に、校正パターン情報以外に、カメラ画像データに基づき所望のモニタ画像データを生成する画像処理に関する情報をタグ情報として付与しておく。そして、カメラキャリブレーション手段において、校正パターン情報に基づく車載カメラのパラメータ校正とタグ情報に基づく画像処理内容の設定が一括して行われる。
例えば、異なる車種間で多くの部品が共有化されているように、実際には、単一の画像処理内容を複数の車種に設定することが多い。その場合、車種毎に合成パターンが異なるため、車載カメラ毎にパラメータ校正を行う作業に加え、車種毎に画像処理内容を設定する作業を行わなければならず、二つの作業が必要である。
これに対し、本発明においては、車載カメラのパラメータ校正と画像処理内容の設定を一括して行うことで、作業の簡略化と作業工数の削減が図られ、コスト低減に寄与することができる。

以下、本発明の車載カメラのキャリブレーション装置およびキャリブレーション方法を実現する最良の形態を、図面に示す実施例１に基づいて説明する。

まず、構成を説明する。
図１は、実施例１の車載カメラのキャリブレーション装置およびキャリブレーション方法が適用されたリアビューモニタシステムを示す全体図である。以下、図１に基づいてリアビューモニタシステムの各構成要素を説明する。

前記リアビューモニタシステムは、図１に示すように、リアカメラ１（車載カメラ）と、画像処理コントローラ２と、モニタ３と、カメラ校正板４と、を備えている。

前記リアカメラ１は、車両周辺を撮像する車載カメラの一例として設けられ、車両後方を撮像する。このリアカメラ１は、車両Ｖの後部位置に、レンズ光軸を車両後方の斜め下方向に向けて設置されている。

前記画像処理コントローラ２は、リアカメラ１より高く、かつ、車両後方側の位置に仮想カメラ１’を設定し、リアカメラ１からのパース画像によるカメラ画像データから、仮想カメラ１’の位置から真下を視た視点変換により、俯瞰画像によるモニタ画像データを生成する画像処理を行う。

前記モニタ３は、画像処理コントローラ２により生成された俯瞰画像によるモニタ画像データを、後退走行時に進行する車両後方の俯瞰映像としてモニタ画面３１に映し出す。ここで、モニタ３としては、車室内のインストルメントパネル位置に設けられ、例えば、出発地から目的地までの適切な車両走行ルートを、道路地図や自車マークなどを用いて案内するナビゲーションシステムのモニタと共用しても良い。

前記カメラ校正板４は、図１に示すように、例えば、リアカメラ１のレンズ光軸の延長位置の地面上に設置され、碁盤目状のクロスラインが書き込まれた校正パターン情報４１を付与すると共に、校正パターン情報４１以外に、パース画像のカメラ画像データから俯瞰画像のモニタ画像データを生成する画像処理（視点変換処理）に関する必要情報をタグ情報４２として付与している。このカメラ校正板４は、例えば、プラスチックや金属や木材などの材料を用いたハードボード構成であり、校正パターン情報と画像処理に関する情報をタグ情報として付与したものを、自車サイズが異なる車種毎に複数枚用意している。さらに、カメラ校正板４に付与したよりタグ情報４２は、車種に応じて俯瞰変換するための必要情報や距離マーカ（ADM）情報などを２次元コード（例えば、ＱＲコード）で書き込んだものを設定している。

図２は、実施例１の車載カメラのキャリブレーション装置およびキャリブレーション方法が適用されたリアビューモニタシステムにおける画像処理制御系を示す制御ブロック図である。図３は、リアビューモニタシステムにおける画像処理コントローラ２の画像変形処理部２４で実行される画像変形処理の一例を示すフローチャートである。図４は、リアビューモニタシステムにおける画像処理コントローラ２の重畳処理部２６で実行される重畳表示処理の一例を示すフローチャートである。以下、図２〜図４に基づいてリアビューモニタシステムにおける画像処理制御系を説明する。

前記画像処理コントローラ２は、図２に示すように、画像データ変換部２１と、ＣＰＵ２２と、マップメモリ２３と、画像変形処理部２４と、重畳メモリ２５と、重畳処理部２６と、画像データ変換部２７と、を備えている。

前記画像データ変換部２１は、リアカメラ１の撮像素子（CCDやCMOSなど）からのカメラ画像データと、画像変形処理部２４からの座標データを入力し、座標位置に応じた画素データを画像変形処理部２４に出力する。

前記ＣＰＵ２２は、モニタ３のパネルタッチセンサー５からの操作信号と、シフトレバーのセレクト位置を検出するインヒビタースイッチ６からのリバースギア位置選択信号を入力し、後方映像の表示要求操作時やリバースギア位置選択時、車両後方の俯瞰映像をモニタ３に表示するため、マップデータをマップメモリ２３に出力し、重畳データを重畳メモリ２５に出力し、座標データを画像データ変換部２７に出力する。

前記マップメモリ２３は、ＣＰＵ２２からのマップデータと画像変形処理部２４からの座標データを入力し、記憶されているマップデータのうち、座標データに対応するマップデータを画像変形処理部２４に出力する。

前記画像変形処理部２４は、画像データ変換部２１からの画素データを、マップメモリ２３からのマップデータを用いて左右を反転させた俯瞰画像を得る画像変形処理し、画像変形処理後の画素データを重畳処理部２６に出力する。
この画像変形処理の一例を、図３に示すフローチャートにより説明すると、マップデータを取得し（ステップS31）、次に対応周辺画素データを取得し（ステップS32）、次に画素データの補間処理を行い（ステップS33）、次に座標対応の画素データを出力する（ステップS34）、という処理を、座標位置を変えながら繰り返すことで行われる。

前記重畳メモリ２５は、ＣＰＵ２２からの重畳データと画像変形処理部２４からの座標データを入力し、記憶されている重畳データのうち、座標データに対応する重畳画素データを重畳処理部２６に出力する。ここで、重畳データとは、モニタ画面３１に表示する車両後部の俯瞰画像に重畳するリヤバンパ部７や車幅目安線８や距離目安線９などをいう（図９参照）。

前記重畳処理部２６は、画像変形処理部２４からの画像変形処理後の画素データに、重畳メモリ２５からの重畳画素データを重畳し（スーパーインポーズ）、重畳処理後の画素データを画像データ変換部２７に出力する。
この重畳表示処理の一例を、図４に示すフローチャートにより説明すると、変形画素データを取得し（ステップS41）、次に対応重畳画素データを取得し（ステップS42）、次に画素データの重畳処理を行い（ステップS43）、次に座標対応の画素データを出力する（ステップS44）、という処理により行われる。

前記画像データ変換部２７は、重畳処理部２６からの重畳処理後の画素データを入力し、この画素データを集合させて画像データに変換し、モニタ３へ出力する。なお、この画像データ変換部２７では、モニタ出力と共に、ＣＰＵ２２からの座標データに応じた画像データをＣＰＵ２２に出力する。

前記画像処理コントローラ２は、画像変形処理と重畳表示処理に加え、カメラ校正処理（カメラキャリブレーション処理）を行う機能を担う。このカメラキャリブレーション処理は、カメラ校正板４を設置した後、モニタ３のパネルタッチセンサー５から校正処理操作信号を入力すると、車種に応じて選択したカメラ校正板４からの校正パターン情報４１を撮影したカメラ画像を解析することにより、リアカメラ１の位置情報や姿勢情報を含む外部パラメータや歪み分布情報を含む内部パラメータを自動的に校正するパラメータ校正と、タグ情報４２に基づく画像処理内容の設定を一括して行う。

図５は、実施例１の画像処理コントローラ２において実行されるカメラキャリブレーション処理作動の流れを示すフローチャートである（カメラキャリブレーション手段）。以下、各ステップについて説明する。

ステップS51では、カメラ校正板４に付与した碁盤目状の校正パターン情報４１を撮影したカメラ画像（ステップS51の処理イメージ参照）から、カメラ画像のままで変形させることのない無変形マップを生成し、ステップS52へ移行する（無変形マップ生成部）。

ステップS52では、ステップS51での無変形マップの生成に続き、校正パターン情報を撮影したカメラ画像から複数の校正点を指定し（ステップS52の処理イメージ参照）、この複数の校正点に基づいて、実カメラ位置（ｘ，ｙ，ｚ）と実カメラ姿勢（θ，φ，ψ）と歪み分布ｆ（Ｘ，Ｙ）を含むカメラ校正を実施し、ステップS53へ移行する（カメラ校正実施部）。
ここで、複数の校正点としては、例えば、碁盤目状の校正パターン情報４１のうち、左右の外周線上に存在する交点を用いる。

ステップS53では、ステップS52でのカメラ校正の実施に続き、校正パターン情報４１をリアカメラ１のレンズ光軸に対し垂直に設置したと仮定したときに撮影される校正パターン（ステップS53の処理イメージ参照）を仮俯瞰マップとして生成し、ステップS54へ移行する（仮俯瞰マップ生成部）。

ステップS54では、ステップS53での仮俯瞰マップの生成に続き、二次元コードによるタグ情報４２のコードパターン（ステップS54の処理イメージ参照）を読み込み、このタグ情報４２から、校正板番号ｎ、校正板位置（ｘ，ｙ）、自車サイズ（ｗ，ｈ）、仮想カメラ位置（ｘ，ｙ，ｚ）、仮想カメラ画角ｄを含む設定情報を読み取り、ステップS55へ移行する（設定情報読み取り部）。

ステップS55では、ステップS54での設定情報の読み取りに続き、前記無変形マップを生成するステップS51にて生成された無変形マップと、前記仮俯瞰マップを生成するステップS53にて生成された仮俯瞰マップに基づき、無変形マップの各画素位置を仮俯瞰マップの画素位置に移すための変換マップである正俯瞰マップを生成し、ステップS56へ移行する（正俯瞰マップ生成部）。

ステップS56では、ステップS55での正俯瞰マップの生成に続き、正俯瞰マップにより視点変換された車両後部の俯瞰画像の適切な位置に、リヤバンパ部７や車幅目安線８や距離目安線９などを重畳するための正重畳データを生成し、終了に移行する。

次に、作用を説明する。
まず、「現状の車載カメラ校正手法における課題」の説明を行い、続いて、実施例１の車載カメラのキャリブレーション装置における作用を、「リアカメラのキャリブレーション処理作用」、「バックビューモニタシステムによる重畳表示作用」に分けて説明する。

［現状の車載カメラ校正手法における課題］
図６は、４台の車載カメラを用いた車両全周囲監視モニタの画面に表示された俯瞰表示例を示す図である。図７は、現状の車載カメラのカメラ校正手法例を示す斜視図である。図８は、現状の車載カメラのカメラ校正手法例でのカメラ校正および画像処理内容の設定の手順を示す作業手順流れ図である。以下、図６〜図８に基づいて現状の車載カメラ校正手法における課題を説明する。

例えば、縦列駐車支援などを目的とし、前後左右４台の車載カメラから視た斜め下方に向けたカメラ画像を、あたかも車両中心部の高い位置から真下を視たときの俯瞰映像に視点変換し、４つの視点変換を合成することにより、図６に示すように、車室内のモニタ画面に車両全周囲の俯瞰映像を表示する車両全周囲監視モニタシステム（＝アラウンドビューモニタシステム）が既に実用化されている。

このような車両全周囲監視モニタシステムといった車載カメラの高度応用技術では、車載カメラのそれぞれについて、カメラ位置やカメラ角度、或いは、カメラ内部の組み立て誤差を校正する必要がある。なぜなら、図６に示す車両全周囲監視モニタシステムの場合には、前後左右４台の車載カメラの校正が十分でなければ、モニタへのカメラ映像（前映像、後映像、左映像、右映像）が正確な俯瞰映像とはならず、また、４つの映像のつなぎ目が不正確になるなどの問題が生じるためである。

一般的なカメラ校正手順では、車載カメラの前に校正パターン情報を付与した校正板を適切に設置し、そのカメラ画像を解析する。校正板は、目的にもよるが、図７に示すように、地面上に設置されたり、地面に対し垂直に設置されたりすることが多い。また、カメラ校正内容には、いくつかの内容があるが、ここでいうカメラ校正とは、先に述べたように、カメラ画像に基づいて、車載カメラ自身の位置や姿勢、或いはカメラ校正パラメータと呼ばれる各種定数を求める手続きを指す。

このカメラ校正を含めた処理プロセスを、おおまかに説明すると、図８に示すように、
1.カメラ校正板を設置する。
2.カメラ毎に校正実施する。
3.画像処理したい内容を、画像処理装置に指定する。
4.校正値を用いて処理する。
という手順となる。ここで問題になるのは、「3.画像処理したい内容を、画像処理装置に指定する。」（以下、「画像処理内容の設定手順」という。）である。例えば、車種毎に特化した画像処理を行う車載カメラであれば、単目的なシステム構成であるため、この「画像処理内容の設定手順」は無くても良いが、通常は「画像処理内容の設定手順」が必要になる。

その理由は、車種間で多くの部品が共有化されているように、実際には単一の画像処理内容を複数の車種に設定することが多い。その場合、サイズが異なる車種毎に合成パターンが異なるため、「画像処理内容の設定手順」という作業が必要である。すなわち、車載カメラ毎に、カメラ校正作業と、車種毎に画像処理内容を設定する作業の、二つの作業が必要である。このため、例えば、車両全周囲監視モニタシステムの場合には、４台の車載カメラについて、それぞれ二つの作業というように、合計八つの作業が必要となり、作業が複雑化すると共に、多大な作業工数を要し、コスト増を招いていた。

［リアカメラのキャリブレーション処理作用］
実施例１におけるリアカメラ１のキャリブレーション処理作用を、図５のフローチャートに基づいて説明する。

リアカメラ１のキャリブレーション方法は、基本的に、カメラ校正板４の校正パターン情報４１を撮影したカメラ画像を解析することにより、リアカメラ１の位置や姿勢の情報を含む外部パラメータや歪み分布などの情報を含む内部パラメータを自動的に校正する。

実施例１のキャリブレーション方法は、カメラ校正板４として、校正パターン情報４１以外に、車種情報や画像処理に関する情報をタグ情報４２として付与した板を採用している。そして、このカメラ校正板４を車両後部の地面上に設置し、カメラ校正処理を開始する操作信号を出力することで、図５のフローチャートにおいて、ステップS51（無変形マップ生成手順）→ステップS52（カメラ校正実施手順）→ステップS53（仮俯瞰マップ生成手順）→ステップS54（設定情報読み取り手順）→ステップS55（正俯瞰マップ生成手順）→ステップS56（正重畳データ生成手順）へと進む流れにより行われる。以下、各手順について説明する。

前記無変形マップ生成手順は、ステップS51の処理イメージに示すように、カメラ校正板４に付与した碁盤目状の校正パターン情報４１を撮影したカメラ画像から、カメラ画像のままで変形させることのない無変形マップを生成する。

前記カメラ校正実施手順は、ステップS52の処理イメージに示すように、校正パターン情報を撮影したカメラ画像から複数の校正点を指定し、この複数の校正点に基づいて、実カメラ位置（ｘ，ｙ，ｚ）と実カメラ姿勢（θ，φ，ψ）と歪み分布ｆ（Ｘ，Ｙ）を含むカメラ校正を実施する。

前記仮俯瞰マップ生成手順は、ステップS53の処理イメージに示すように、校正パターン情報４１をリアカメラ１のレンズ光軸に対し垂直に設置したと仮定したときに撮影される校正パターンを仮俯瞰マップとして生成する。

前記設定情報読み取り手順は、ステップS54の処理イメージに示すように、二次元コードによるタグ情報４２のコードパターンを読み込み、このタグ情報４２から、校正板番号ｎ、校正板位置（ｘ，ｙ）、自車サイズ（ｗ，ｈ）、仮想カメラ位置（ｘ，ｙ，ｚ）、仮想カメラ画角ｄを含む設定情報を読み取る。

前記正俯瞰マップ生成手順は、前記無変形マップ生成手順にて生成された無変形マップと、前記仮俯瞰マップ生成手順にて生成された仮俯瞰マップに基づき、無変形マップの各画素位置を仮俯瞰マップの画素位置に移すための変換マップである正俯瞰マップを生成する。

前記正重畳データ生成手順は、正俯瞰マップにより視点変換された車両後部の俯瞰画像の適切な位置に、リヤバンパ部７や車幅目安線８や距離目安線９などを重畳するための正重畳データを生成する。

上記のように、リアカメラ１のキャリブレーション処理において、カメラ校正板４に、校正パターン情報４１以外に、カメラ画像データからモニタ画像データを生成する画像処理に関する情報をタグ情報４２として付与しておく構成を採用している。そして、リアカメラ１のキャリブレーション処理を行うに際し、カメラ校正実施手順による校正パターン情報４１に基づくリアカメラ１のパラメータ校正と、設定情報読み取り手順と正俯瞰マップ生成手順と正重畳データ生成手順により、タグ情報４２に基づく画像処理内容の設定が一括して行われる。したがって、車載カメラ毎にパラメータ校正を行う作業とは別に、車種毎に画像処理内容を設定する作業を行う場合に比べ、作業の簡略化と作業工数の削減が図られることになる。

実施例１では、カメラ校正板４として、校正パターン情報４１と画像処理に関する情報をタグ情報４２として付与したものを、自車サイズが異なる車種毎に複数枚用意し、リアカメラ１のキャリブレーション処理は、車種に応じてカメラ校正板４を選択し、選択したカメラ校正板４からの校正パターン情報４１に基づく車載カメラ毎のパラメータ校正と、選択したカメラ校正板４からのタグ情報４２に基づく車種毎の画像処理内容の設定を一括して行うようにしている。
したがって、自車サイズが異なる車種毎にカメラ校正板４を複数枚用意することで、単一の画像処理内容を複数の車種に設定する場合、車種が異なっても全ての車種について、リアカメラ１のパラメータ校正と画像処理内容の設定を一括して行うことができる。

実施例１では、カメラ校正板４は、２次元コードにより画像処理に関する情報をタグ情報４２として付与している。
例えば、光学的情報読み取りとして最も一般的なバーコードを用いた場合、必要情報量の不足により車種が限定されることがある。
これに対し、２次元コードを用いた場合、必要情報量が多くなり、しかも、詳細な設定が可能であるため、車種が限定されることもなく、しかも、詳細に画像処理内容の設定を行うことができる。

実施例１のリアカメラ１のキャリブレーション装置では、無変形マップ生成部と、カメラ校正実施部と、仮俯瞰マップ生成部と、設定情報読み取り部と、正俯瞰マップ生成部と、を有する。同様に、実施例１のリアカメラ１のキャリブレーション方法では、無変形マップ生成手順と、カメラ校正実施手順と、仮俯瞰マップ生成手順と、設定情報読み取り手順と、正俯瞰マップ生成手順と、を有する。
すなわち、校正パターン情報４１に基づいて、リアカメラ１毎に、実カメラ位置（ｘ，ｙ，ｚ）と実カメラ姿勢（θ，φ，ψ）と歪み分布ｆ（Ｘ，Ｙ）のパラメータ校正を行うことができる。そして、このパラメータ校正と同時に、タグ情報４２に基づいて、車種毎に、仮想カメラ位置（ｘ，ｙ，ｚ）と仮想カメラ画角ｄと正俯瞰マップの生成による画像処理内容の設定を一括して行うことができる。
したがって、リアカメラ１のパラメータ校正が十分なものになると共に、モニタ３へのカメラ映像を、リアカメラ１の取り付けバラツキにかかわらず、正確な俯瞰映像にすることができる。

［バックビューモニタシステムによる重畳表示作用］
図９は、駐車時にリアカメラによる車両後部映像を俯瞰映像に視点変換した重畳表示例を示すモニタ画面図である。以下、図２〜図４および図９に基づきバックビューモニタシステムによる重畳表示作用を説明する。

実施例１の画像変形処理部２４では、マップデータを取得し（ステップS31）、次に対応周辺画素データを取得し（ステップS32）、次に画素データの補間処理を行い（ステップS33）、次に座標対応の画素データを出力する（ステップS34）、という処理を、座標位置を変えながら繰り返す。この画像変形処理により、画像データ変換部２１からのリアカメラ１による画素データを、マップメモリ２３からのマップデータを用いて左右を反転させた俯瞰画像を得るように変形処理される。

そして、重畳処理部２６では、変形画素データを取得し（ステップS41）、次に対応重畳画素データを取得し（ステップS42）、次に画素データの重畳処理を行い（ステップS43）、次に座標対応の画素データを出力する（ステップS44）、という処理が行われる。この重畳表示処理により、画像変形処理部２４からの画像変形処理後の画素データに、重畳メモリ２５からの重畳画素データがスーパーインポーズされる。

上記画像変形処理と重畳表示処理により、図９に示すように、駐車時にリアカメラ１による車両後部映像が、視点変換した俯瞰映像としてモニタ画面３１に表示されると共に、この俯瞰映像にリヤバンパ部７、車幅目安線８，距離目安線９が重畳表示される。

この場合、上記リアカメラ１のキャリブレーション処理により、リアカメラ１の取り付けバラツキがあるにもかかわらず、予めリアカメラ１の外部パラメータや内部パラメータが整然と校正されていると共に、画像処理の設定（正俯瞰マップの生成や正重畳データの生成）が行われている。このため、モニタ画面３１への表示映像として、正確な車両後部の俯瞰映像に、距離や位置関係が正確な重畳データを重ね合わせた合成映像が得られることになり、ドライバーは、駐車場などで車両後方の障害物までの距離や駐車枠位置を正確に認識することができる。つまり、ドライバーにとってモニタ映像が、有用な駐車支援情報となる。

次に、効果を説明する。
実施例１の車載カメラのキャリブレーション装置およびキャリブレーション方法にあっては、下記に列挙する効果を得ることができる。

(1) 車両周辺を撮像する車載カメラ（リアカメラ１）と、前記車載カメラ（リアカメラ１）のレンズ光軸延長位置に設置され、校正パターン情報４１を付与したカメラ校正板４と、前記校正パターン情報４１を撮影したカメラ画像を解析することにより、前記車載カメラ（リアカメラ１）の位置情報や姿勢情報を含むパラメータを自動的に校正するカメラキャリブレーション手段（図５）と、を備えた車載カメラ（リアカメラ１）のキャリブレーション装置において、前記カメラ校正板４は、前記校正パターン情報４１以外に、カメラ画像データに基づき所望のモニタ画像データを生成する画像処理に関する情報をタグ情報４２として付与し、前記カメラキャリブレーション手段（図５）は、前記校正パターン情報４１に基づく前記車載カメラ（リアカメラ１）のパラメータ校正と前記タグ情報４２に基づく画像処理内容の設定を一括して行う。このため、車載カメラ（リアカメラ１）のパラメータ校正と画像処理内容の設定を一括して行うことで、作業の簡略化と作業工数の削減が図られ、コスト低減に寄与することができる。

(2) 前記カメラ校正板４として、校正パターン情報４１と画像処理に関する情報をタグ情報４２として付与したものを、自車サイズが異なる車種毎に複数用意し、前記カメラキャリブレーション手段（図５）は、車種に応じてカメラ校正板４を選択し、選択したカメラ校正板４からの校正パターン情報４１に基づく車載カメラ毎のパラメータ校正と、選択したカメラ校正板４からのタグ情報４２に基づく車種毎の画像処理内容の設定を一括して行う。このため、単一の画像処理内容を複数の車種に設定する場合、車種が異なっても全ての車種について、車載カメラ（リアカメラ１）のパラメータ校正と画像処理内容の設定を一括して行うことができる。

(3) 前記カメラ校正板４は、２次元コードにより画像処理に関する情報をタグ情報４２として付与した。このため、多くの情報量を付与することが可能であることで、情報量不足により車種が限定されることがなく、かつ、付与できる情報容量を最大限まで活用することで、詳細に画像処理内容の設定を行うことができる。

(4) 前記カメラキャリブレーション手段（図５）は、前記カメラ校正板４に付与した碁盤目状の校正パターン情報４１を撮影したカメラ画像から無変形マップを生成する無変形マップ生成部（ステップS51）と、前記校正パターン情報４１を撮影したカメラ画像から複数の校正点を指定し、該複数の校正点に基づいて、実カメラ位置（ｘ，ｙ，ｚ）と実カメラ姿勢（θ，φ，ψ）と歪み分布ｆ（Ｘ，Ｙ）を含むカメラ校正を実施するカメラ校正実施部（ステップS52）と、前記校正パターン情報４１を車載カメラ（リアカメラ１）の光軸に対し垂直に設置したと仮定したときに撮影される校正パターンを仮俯瞰マップとして生成する仮俯瞰マップ生成部（ステップS53）と、前記タグ情報４２から校正板番号ｎ、校正板位置（ｘ，ｙ）、自車サイズ（ｗ，ｈ）、仮想カメラ位置（ｘ，ｙ，ｚ）、仮想カメラ画角ｄを含む設定情報を読み取る設定情報読み取り部（ステップS54）と、前記無変形マップ生成部（ステップS51）にて生成された無変形マップと、前記仮俯瞰マップ生成部（ステップS53）にて生成された仮俯瞰マップに基づき、無変形マップの各画素位置を仮俯瞰マップの画素位置に移すための変換マップである正俯瞰マップを生成する正俯瞰マップ生成部（ステップS55）と、を有する。このため、車載カメラ（リアカメラ１）のパラメータ校正が十分なものになると共に、モニタ３へのカメラ映像を、車載カメラ（リアカメラ１）の取り付けバラツキにかかわらず、正確な俯瞰映像にするキャリブレーション装置を提供することができる。

(5) 前記車両周辺を撮像する車載カメラとして、車両後方を撮像するリアカメラ１を有し、前記リアカメラ１より高く、かつ、車両後方側の位置に仮想カメラ１’を設定し、前記リアカメラ１からのカメラ画像から、仮想カメラ１’の位置から真下を視た視点変換より俯瞰画像を生成する画像処理コントローラ２と、前記画像処理コントローラ２により生成された俯瞰画像を、後退走行時に進行する車両後方の俯瞰映像として画面に映し出すモニタ３と、を備えた。このため、正確な車両後部の俯瞰映像に、距離や位置関係が正確な重畳データを重ね合わせたモニタ画面３１への表示映像を、有用な駐車支援情報にすることができる。

(6) カメラ校正板４の校正パターン情報４１を撮影したカメラ画像を解析することにより、車載カメラ（リアカメラ１）の位置や姿勢の情報を含む外部パラメータや歪み分布などの情報を含む内部パラメータを自動的に校正する車載カメラ（リアカメラ１）のキャリブレーション方法において、前記カメラ校正板４を、前記校正パターン情報４１以外に、車種情報や画像処理に関する情報をタグ情報４２として付与した板とし、前記カメラ校正板４に付与した碁盤目状の校正パターン情報４１を撮影したカメラ画像から無変形マップを生成する無変形マップ生成手順（ステップS51）と、前記校正パターン情報４１を撮影したカメラ画像から複数の校正点を取り出し、該複数の校正点に基づいて、実カメラ位置（ｘ，ｙ，ｚ）と実カメラ姿勢（θ，φ，ψ）と歪み分布ｆ（Ｘ，Ｙ）を含むカメラ校正を実施するカメラ校正実施手順（ステップS52）と、前記校正パターン情報４１を車載カメラ（リアカメラ１）の光軸に対し垂直に設置したと仮定したときに撮影される校正パターンを仮俯瞰マップとして生成する仮俯瞰マップ生成手順（ステップS53）と、前記タグ情報から校正板番号ｎ、校正板位置（ｘ，ｙ）、自車サイズ（ｗ，ｈ）、仮想カメラ位置（ｘ，ｙ，ｚ）、仮想カメラ画角ｄを含む設定情報を読み取る設定情報読み取り手順（ステップS54）と、前記無変形マップ生成手順（ステップS51）にて生成された無変形マップと、前記仮俯瞰マップ生成手順（ステップS53）にて生成された仮俯瞰マップに基づき、無変形マップの各画素位置を仮俯瞰マップの画素位置に移すための変換マップである正俯瞰マップを生成する正俯瞰マップ生成手順（ステップS55）と、を有する。このため、車載カメラ（リアカメラ１）のパラメータ校正が十分なものになると共に、モニタ３へのカメラ映像を、車載カメラ（リアカメラ１）の取り付けバラツキにかかわらず、正確な俯瞰映像にするキャリブレーション方法を提供することができる。

以上、本発明の車載カメラのキャリブレーション装置およびキャリブレーション方法を実施例１に基づき説明してきたが、具体的な構成については、この実施例１に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加などは許容される。

実施例１では、カメラ校正板に、多くの情報量を書き込める二次元コードによるタグ情報を付与する例を示した。しかし、例えば、必要情報量が少ない場合などにおいては、光学的読み取りとして、従来から最も一般的に用いられているバーコードを用いる例としても良い。さらに、必要な情報量を限定できる場合には、上記のような、二次元コードやバーコードを用いなくても良い。例えば、ある程度車種が絞られ、表示パターンが決まっており、必要十分な設定パターンを機器にプリセットしておくことが可能である場合には、どの設定値にするかを選択するのみで良く、バーコードほどの情報量は不要である。その場合には、車種毎に異なる色のカメラ校正板を用意し、車載カメラからの映像によりカメラ校正板の色を認識することで、その色と対応するプリセット値を選択する。さらに、カメラ校正板そのものの色と、校正図の描画色と、の２色を用いれば、その組み合わせパターンに対応するプリセット値を選択することができる。例えば、２０色が区別できる場合には、380（＝20×19）パターンに対応するプリセット値の選択が可能である。

実施例１では、カメラ校正板４をハードボード構成とし、車種毎に複数枚用意する例を示した。しかし、カメラ校正板４としては、図１０に示すように、校正パターン情報４１とタグ情報付与位置４２’を書き込んだハードボード構成の板を１枚用意すると共に、車種毎に複数のタグ情報４２ａ，４２ｂ，４２ｃ，４２ｄ，…を用意し、タグ情報付与位置４２’に選択したタグ情報４２ａなどを磁気吸着などにより貼り付けるようにした例としても良い。この場合、ハードボード構成の板を１枚用意するだけで、保管スペースやコスト的に有利としながら、車種毎にカメラ校正板４を複数枚用意するのと同等の効果を得ることができる。この例は、特に、複数の車種を扱う製造ラインでカメラキャリブレーションを行う場合に有用である。

また、カメラ校正板４としては、図１１(a)に示すように、校正パターン情報４１とタグ情報４２を付与した折り畳み可能な紙や樹脂シートなどによるソフトボード構成とし、このカメラ校正板４を車種毎に複数枚用意するようにしても良い。この場合、図１１(a)の折れ線４３の位置にて折り畳むことで、図１１(b)に示すように、コンパクトなものとなり、車両のトランクルームなどに収納可能となる。この例は、特に、ディーラーなどで車載カメラのオプション設定によりカメラキャリブレーションを行う場合や、車載カメラの交換後、再度、カメラキャリブレーションを行う必要がある場合に有用である。

実施例１では、車両周辺を撮像する車載カメラとして、単独によるリアカメラの例を示したが、複数の車載カメラを用いる場合にも勿論含まれる。例えば、左右前後に搭載された４台の車載カメラであっても良いし、車両左右や車両前方や車両後方に搭載された複数台の車載カメラであっても良い。

実施例１では、画像処理内容の設定として、俯瞰変換処理の設定と重畳表示処理の設定を行う例を示した。しかし、仮想カメラからの仰角を段階的あるいは無段階に変更する視点変換処理の設定や、複数のカメラ画像や視点変換画像を合成する画像合成処理の設定など、他の画像処理内容の設定としても良い。

実施例１では、車載カメラのキャリブレーション装置およびキャリブレーション方法を、単独のリアカメラを用いるバックビューモニタシステムへ適用する例を示した。しかし、４台のカメラを用いるアラウンドビューモニタシステムへ適用しても良い。また、単独あるいは複数のサイドカメラを用いるサイドビューモニタシステムへ適用しても良い。さらに、単独あるいは複数のフロントカメラを用いるフロントビューモニタシステムへ適用しても良い。要するに、車両周辺モニタシステムに用いられる車載カメラのキャリブレーション装置およびキャリブレーション方法であれば適用できる。

実施例１の車載カメラのキャリブレーション装置およびキャリブレーション方法が適用されたリアビューモニタシステムを示す全体図である。 実施例１の車載カメラのキャリブレーション装置およびキャリブレーション方法が適用されたリアビューモニタシステムにおける画像処理制御系を示す制御ブロック図である。 リアビューモニタシステムにおける画像処理コントローラ２の画像変形処理部２４で実行される画像変形処理の一例を示すフローチャートである。 リアビューモニタシステムにおける画像処理コントローラ２の重畳処理部２６で実行される重畳表示処理の一例を示すフローチャートである。 実施例１の画像処理コントローラ２において実行されるカメラキャリブレーション処理作動の流れを示すフローチャートである。 ４台の車載カメラを用いた車両全周囲監視モニタの画面に表示された俯瞰表示例を示す図である。 現状の車載カメラのカメラ校正手法例を示す斜視図である。 現状の車載カメラのカメラ校正手法例でのカメラ校正および画像処理内容の設定の手順を示す作業手順流れ図である。 駐車時にリアカメラによる車両後部映像を俯瞰映像に視点変換した重畳表示例を示すモニタ画面図である。 本発明の車載カメラのキャリブレーション装置およびキャリブレーション方法に用いるカメラ校正板として車種毎に用意した複数枚のタグ情報のみを交換する方式とした例を示す図である。 本発明の車載カメラのキャリブレーション装置およびキャリブレーション方法に用いるカメラ校正板として折り畳み可能なソフトボード構成とした例を示し、(a)はカメラ校正板の正面図をあらわし、(b)はカメラ校正板の折り畳み状態をあらわす。

符号の説明

１ リアカメラ（車載カメラ）
１’ 仮想カメラ
２ 画像処理コントローラ
２１ 画像データ変換部
２２ ＣＰＵ
２３ マップメモリ
２４ 画像変形処理部
２５ 重畳メモリ
２６ 重畳処理部
２７ 画像データ変換部
３ モニタ
３１ モニタ画面
４ カメラ校正板
４１ 校正パターン情報
４２ タグ情報
５ パネルタッチセンサー
６ インヒビタースイッチ
７ リヤバンパ部
８ 車幅目安線
９ 距離目安線

Claims (6)

1. 車両周辺を撮像する車載カメラと、前記車載カメラのレンズ光軸延長位置に設置され、校正パターン情報を付与したカメラ校正板と、前記校正パターン情報を撮影したカメラ画像を解析することにより、前記車載カメラの位置情報や姿勢情報を含むパラメータを自動的に校正するカメラキャリブレーション手段と、を備えた車載カメラのキャリブレーション装置において、
   前記カメラ校正板は、前記校正パターン情報以外に、カメラ画像データに基づき所望のモニタ画像データを生成する画像処理に関する情報をタグ情報として付与し、
   前記カメラキャリブレーション手段は、前記校正パターン情報に基づく前記車載カメラのパラメータ校正と前記タグ情報に基づく画像処理内容の設定を一括して行うことを特徴とする車載カメラのキャリブレーション装置。
2. 請求項１に記載された車載カメラのキャリブレーション装置において、
   前記カメラ校正板として、校正パターン情報と画像処理に関する情報をタグ情報として付与したものを、自車サイズが異なる車種毎に複数用意し、
   前記カメラキャリブレーション手段は、車種に応じてカメラ校正板を選択し、選択したカメラ校正板からの校正パターン情報に基づく車載カメラ毎のパラメータ校正と、選択したカメラ校正板からのタグ情報に基づく車種毎の画像処理内容の設定を一括して行うことを特徴とする車載カメラのキャリブレーション装置。
3. 請求項１または請求項２に記載された車載カメラのキャリブレーション装置において、
   前記カメラ校正板は、２次元コードにより画像処理に関する情報をタグ情報として付与したことを特徴とする車載カメラのキャリブレーション装置。
4. 請求項２または請求項３に記載された車載カメラのキャリブレーション装置において、
   前記カメラキャリブレーション手段は、
   前記カメラ校正板に付与した碁盤目状の校正パターン情報を撮影したカメラ画像から無変形マップを生成する無変形マップ生成部と、
   前記校正パターン情報を撮影したカメラ画像から複数の校正点を指定し、該複数の校正点に基づいて、実カメラ位置と実カメラ姿勢と歪み分布を含むカメラ校正を実施するカメラ校正実施部と、
   前記校正パターン情報を車載カメラの光軸に対し垂直に設置したと仮定したときに撮影される校正パターンを仮俯瞰マップとして生成する仮俯瞰マップ生成部と、
   前記タグ情報から校正板番号、校正板位置、自車サイズ、仮想カメラ位置、仮想カメラ画角を含む設定情報を読み取る設定情報読み取り部と、
   前記無変形マップ生成部にて生成された無変形マップと、前記仮俯瞰マップ生成部にて生成された仮俯瞰マップに基づき、無変形マップの各画素位置を仮俯瞰マップの画素位置に移すための変換マップである正俯瞰マップを生成する正俯瞰マップ生成部と、
   を有することを特徴とする車載カメラのキャリブレーション装置。
5. 請求項４に記載された車載カメラのキャリブレーション装置において、
   前記車両周辺を撮像する車載カメラとして、車両後方を撮像するリアカメラを有し、
   前記リアカメラより高く、かつ、車両後方側の位置に仮想カメラを設定し、前記リアカメラからのカメラ画像から、仮想カメラ位置から真下を視た視点変換より俯瞰画像を生成する画像処理コントローラと、
   前記画像処理コントローラにより生成された俯瞰画像を、後退走行時に進行する車両後方の俯瞰映像として画面に映し出すモニタと、
   を備えたことを特徴とする車載カメラのキャリブレーション装置。
6. カメラ校正板の校正パターン情報を撮影したカメラ画像を解析することにより、車載カメラの位置や姿勢の情報を含む外部パラメータや歪み分布などの情報を含む内部パラメータを自動的に校正する車載カメラのキャリブレーション方法において、
   前記カメラ校正板を、前記校正パターン情報以外に、車種情報や画像処理に関する情報をタグ情報として付与した板とし、
   前記カメラ校正板に付与した碁盤目状の校正パターン情報を撮影したカメラ画像から無変形マップを生成する無変形マップ生成手順と、
   前記校正パターン情報を撮影したカメラ画像から複数の校正点を取り出し、該複数の校正点に基づいて、実カメラ位置と実カメラ姿勢と歪み分布を含むカメラ校正を実施するカメラ校正実施手順と、
   前記校正パターン情報を車載カメラの光軸に対し垂直に設置したと仮定したときに撮影される校正パターンを仮俯瞰マップとして生成する仮俯瞰マップ生成手順と、
   前記タグ情報から校正板番号、校正板位置、自車サイズ、仮想カメラ位置、仮想カメラ画角を含む設定情報を読み取る設定情報読み取り手順と、
   前記無変形マップ生成手順にて生成された無変形マップと、前記仮俯瞰マップ生成手順にて生成された仮俯瞰マップに基づき、無変形マップの各画素位置を仮俯瞰マップの画素位置に移すための変換マップである正俯瞰マップを生成する正俯瞰マップ生成手順と、
   を有することを特徴とする車載カメラのキャリブレーション方法。

Images