JP2007261463A - 車載カメラのキャリブレーションシステム - Google Patents

Abstract

【課題】車載カメラのキャリブレーションシステムにおいて、自動操作によってパラメータを調整することができるものとする。
【解決手段】車両２００の上方に設置されて、車両２００の周囲にマーカＭ（指標）を投影するプロジェクタ１０と、マーカＭおよび車両２００を撮影する位置検出用カメラ２０（上方カメラ）と、車載カメラ２１０で撮影された第１画像座標系におけるマーカＭの位置と実空間座標系（ワールド座標系）におけるマーカＭの位置との対応関係に基づいて、車載カメラ２１０の設置パラメータをキャリブレーション処理する演算処理専用コンピュータ３０（演算手段）と、得られた実際の設置パラメータを記憶媒体に記憶させる記憶装置５０（記憶手段）と、車載カメラ２１０の映像を無線送受信する２つの無線電送装置６０，７０（第１の無線伝送手段、第２の無線伝送手段）とを備える。
【選択図】図１

Description

本発明は、車載カメラのキャリブレーションシステムに関する。

自動車にカメラおよびモニタが設置され、カメラで撮影された車両周囲の映像に基づいた映像情報などを車室内のモニタに表示して、運転操作時の利便性を向上させる技術が各種提案されている。

このような車載カメラシステムは、当初は、運転者に対して、死角となる領域の映像を視認可能とさせることのみを目的としていたため、カメラで撮影された映像（実カメラ映像）をそのままモニタに表示するに過ぎなかった。

また、車載カメラとして、車の前方を撮影するフロントカメラ、後方を撮影するリアカメラ、側方を撮影するサイドカメラなど、複数のカメラを備え、各カメラで撮影された映像を切り替えて表示したり、１つの画面の表示領域を分割し、分割して得られた各表示領域ごとに、これらの映像を別個に表示することが行われている。

さらに、モニタ上で、実カメラ映像に車両の予測軌跡を重畳表示したり、上述した複数の映像をそれぞれ例えば車両の真上から視た擬似的な映像に変換する、いわゆる視点変換処理を施した上で、これら複数の映像をシームレスに繋げて、いわゆる俯瞰映像を得る技術も提案されている。

このような予測軌跡等の表示や、俯瞰映像を表示しようとする場合、車両に対するカメラの設置位置や設置姿勢（車両の前後方向、幅方向、鉛直方向の各軸回りのカメラの光軸の角度）というカメラパラメータを精度よく調整する必要がある。

カメラパラメータには、カメラの焦点距離、矩形画素の縦横比、画像中心、レンズ歪等の内部要素を示す内部パラメータと、上述した設置位置や設置姿勢を特定する外部パラメータ（対車両の設置パラメータ）とがある。一般に内部パラメータは、カメラ単体ですでに調整済みであるが、外部パラメータは、カメラを車両に設置した後に調整する必要がある。

この外部パラメータの調整を行うことが、キャリブレーション処理であり、このキャリブレーション処理の技術として、車両の製造ラインに、平面状の校正指標（長方形）を配置し、これを車載カメラで撮影し、この撮影された実カメラ映像に、予め設計的に設定されたデフォルトの外部パラメータに基づいて校正指標を撮影したとしたら得られるであろう基準マーカの映像をモニタ上に重畳表示し、基準マーカが実カメラ映像に一致するように、外部パラメータをキャリブレーションすることが提案されている（特許文献１）。
特許第３５５１２９０号公報

しかし、特許文献１による技術は、キャリブレーション操作を手動で行う必要があり、操作には熟練が必要である。つまり、モニタ上で基準マーカが実カメラ映像に一致するように外部パラメータを調整するには、複数の外部パラメータをそれぞれ適切に調整する必要があり、どのパラメータをどの程度調整すれば、基準マーカがどのように変位するかを熟知している必要がある。

特に、複数の車載カメラを有する車両では、調整作業が煩雑となり、所要時間も長くなって、個々の作業時間が限定されている製造ライン上での調整は困難である。

本発明は上記事情に鑑みなされたものであって、自動操作によってパラメータを調整することができる車載カメラのキャリブレーションシステムを提供することを目的とする。

本発明に係る車載カメラのキャリブレーションシステムは、車両の上方に設置されたプロジェクタから車両の周囲に投影された指標を、同じく車両の上方に設置された上方カメラによって撮影し、一方、車両に対する設置パラメータに依存した車載カメラで、同じ指標を撮影し、両カメラで撮影された指標同士の対応関係を、演算手段によって比較することで、設置パラメータを自動的に調整するものである。

すなわち、本発明に係る車載カメラのキャリブレーションシステムは、車両に対して所定の設置パラメータを以て設置された車載カメラで、前記車両の周囲に配置された実空間座標系における位置が既知の指標を撮影して得られた、前記設置パラメータに依存した画像座標系における前記指標の位置と、該指標の前記実空間座標系における既知の位置との対応関係に基づいて、前記設置パラメータをキャリブレーション処理する演算手段と、前記キャリブレーション処理の結果を保存する記憶手段と、を備えた車載カメラのキャリブレーションシステムにおいて、前記車両の上方に設置されて、前記指標を前記車両の周囲に投影するプロジェクタと、前記車両の上方に設置されて、前記プロジェクタによって投影された前記指標および前記車両を撮影する上方カメラとを備え、前記演算手段は、前記上方カメラで撮影して得られた前記車両の位置を基準とした前記上方カメラで撮影して得られた前記指標の位置を、前記実空間座標系における既知の位置として求めるものであることを特徴とする。

ここで、設置パラメータは、車両に対する車載カメラの設置姿勢を特定する外部パラメータを意味し、具体的には例えば、実空間座標系の独立した３つの基準軸に対する車載カメラの光軸の向きを表す角度などであり、ロール角、チルト角、パン角などを適用することができる。

本発明に係る車載カメラのキャリブレーションシステムによれば、自動操作によってパラメータを調整することができる。

以下、本発明に係る車載カメラのキャリブレーションシステムの最良の実施形態について、図面を参照して説明する。
（実施形態の概要）
車両に設置されて、車両の周囲を撮影するカメラにおいては、設置位置および設置姿勢（角度）という設置状態を特定する設置パラメータがあるが、車両に対するカメラの設置位置の誤差は、当該カメラによって撮影された映像（この映像を構成する各フレームを画像という。）における各対象画像部分の位置精度に大きな影響を及ぼさない。

一方、設置姿勢の誤差は、撮影された画像における各対象画像部分の位置精度に大きな影響を及ぼす。特に、この画像に基づいて、視点変換処理等の位置に関係する画像処理を施した場合には、その影響は顕著なものとなる。

このため、本実施形態のキャリブレーションシステムは、以下、設置姿勢を特定するパラメータをキャリブレーション処理するものである。
（実施形態の構成）
図１は本発明の一実施形態に係る車載カメラ２１０のキャリブレーションシステム１００を示すブロック図、図２は図１に示したキャリブレーションシステム１００によってキャリブレーション処理される車載カメラが設置された車両２００と、キャリブレーションシステム１００との位置関係を示す模式図、図３は図２に示した車両２００に設置された４つの車載カメラ２１０（リヤカメラ２１１、フロントカメラ２１２、左サイドカメラ２１３、右サイドカメラ２１４）の位置関係を示す平面図である。

ここで、図３に示すように、リヤカメラ２１１は車両２００の後方を撮影し、フロントカメラ２１２は車両２００の前方を撮影し、左サイドカメラ２１３車両２００の左方を撮影し、右サイドカメラ２１４車両２００の右方を撮影するように設置されている。

そして、これらの各車載カメラ２１０は、車両２００に対し、理想的には、それぞれ予め設定されたデフォルトの設置パラメータを以て車両２００に設置されるが、実際には設置許容差や部品誤差、組立て誤差があるため、このデフォルトの設置パラメータを実際の設置パラメータとなるようにキャリブレーション処理する必要がある。

図１に示すように、車両２００には、リヤカメラ２１１、フロントカメラ２１２、左サイドカメラ２１３、右サイドカメラ２１４がそれぞれ撮影した映像信号の入力を切替処理したり、表示画面を分割して複数映像を同時並列的に表示処理したり、車両２００の予測軌跡を重畳表示処理（スーパーインポーズ）したり、俯瞰映像を表示処理するなどの、映像処理する映像処理装置２２０と、ナビゲーションシステム２３０と、映像処理装置２２０によって処理された映像やナビゲーションシステム２３０の地図画像等を表示する車載モニタ２４０とを備えている。

ナビゲーションシステム２３０には、ＣＤ−ＲＯＭやメモリカード等の記憶媒体に記憶された車載カメラ２１０の設置パラメータやマッピングデータを読み出すデータ読出部（ＣＤ−ＲＯＭドライブやメモリカードスロット）が設けられている。

車両２００は、図２に示したように、車両２００の製造ライン４００上に配置されている。なお、車両の配置部分および車両の周囲は、水平面に保たれているものとする。

本実施形態に係る車載カメラ２１０のキャリブレーションシステム１００は、図２に示すように、車両２００の上方に設置されて、車両２００の周囲（水平面）に所定のキャリブレーション用マーカＭ（指標）をマトリックス状に投影するプロジェクタ１０と、同じく車両２００の上方であってプロジェクタ１０の近傍に設置され、プロジェクタ１０によって投影されたマーカＭおよび車両２００を撮影する位置検出用カメラ２０（上方カメラ）と、車載カメラ２１０で撮影して得られた、設置パラメータに依存した第１画像座標系におけるマーカＭの位置（第１画像座標系位置）と、マーカＭの実空間座標系における位置（実空間座標系位置）との対応関係に基づいて、設置パラメータをキャリブレーション処理する演算処理専用コンピュータ３０（演算手段）と、キャリブレーション処理によって得られた実際の設置パラメータを、ＣＤ−ＲＯＭやメモリカード等の記憶媒体に記憶させる記憶装置５０（記憶手段）と、車載カメラ２１０で撮影して得られた映像を、車両２００の外部に無線送出する第１の無線電送装置６０（第１の無線伝送手段）と、第１の無線電送装置６０から無線送出された車載カメラ２１０の映像を無線受信する第２の無線電送装置７０（第２の無線伝送手段）と、第２の無線電送装置７０で受信した車載カメラ２１０の映像および位置検出用カメラ２０の映像を択一的に切り替えた上で、入力されるいずれかの映像を、時系列的に連らなるデジタル静止画像として取り込む映像キャプチャー装置２１と、これら各装置を制御するコンピュータ４０とを備えた構成である。

ここで、第１の無線伝送装置６０は、車両２００の映像処理装置２２０に接続されているが、この第１の無線伝送装置６０は車両２００に常時接続されているのではなく、本実施形態のキャリブレーションシステム１００によりキャリブレーション処理を行うときにのみ接続され、キャリブレーション処理の終了後は、車両２００から取り外される。すなわち、第１の無線伝送装置６０は、車両２００に対して着脱自在とされている。

コンピュータ４０は、具体的には、プロジェクタ１０が投影するマーカＭを作成し、また、４つの車載カメラ２１０のうちいずれか１つの映像に入力を切り替える信号を発生し、また、映像キャプチャー装置２１から入力された静止画像に基づいて、マーカＭの座標位置（第１画像座標系位置および後述する第２画像座標系位置）を求める処理を行う。

マーカＭの作成処理には、プロジェクタ１０によって投影される位置を補正したマーカＭを生成したり、複数のマーカＭを１個ずつ順次投影させる処理なども含む。

マーカＭの投影位置の補正は、位置検出用カメラ２０で撮影して得られたマーカＭの位置に基づいて行われ、この機能面から、コンピュータ４０は本発明のキャリブレーションシステムにおける投影位置補正手段に相当する。

図４は、プロジェクタ１０が投影するマーカＭ群の投影例を示す模式図である。同図において、マトリックス状に投影された各マーカＭは、黒丸形状で表されているが、プロジェクタ１０が投影するマーカＭは、コンピュータ４０を使って自由に作成することができるため、色や形状の異なる多種多様なマーカＭを投影することができ、図示した投影例のものに限定されるものではない。

また、このプロジェクタ１０が製造ライン４００上に投影した各マーカＭの映像は、位置検出用カメラ２０によって撮影され、このカメラ２０で撮影された各マーカＭの映像は、映像キャプチャ装置２１により静止画像としてコンピュータ４０に入力され、コンピュータ４０は、各マーカＭの、位置検出用カメラ２０による第２画像座標系における位置（第２画像座標系位置）を検出する。

各マーカＭの位置検出は、輝点検出や暗点検出などの公知の検出処理を適用することができる。

ここで、実空間座標系を、以下、ワールド座標系と称するものとすると、ワールド座標系と第２画像座標系とは、製造ライン４００に対する位置検出カメラ２０の設置位置や設置姿勢等の外部パラメータ、および位置検出カメラ２０の内部パラメータに応じた対応関係を特定することができ、内部パラメータは一般に所望とする精度を有しており、また、内部パラメータに誤差が存在しても、外部パラメータのキャリブレーション処理によって、内部パラメータも含めたパラメータ全体を調整することができる。

したがって、製造ライン４００に位置検出カメラ２０やプロジェクタ１０を設置した直後の最初の１回だけ、位置検出用カメラ２０のキャリブレーション処理を行うことで、ワールド座標系と第２画像座標系との対応関係を特定することができ、その後に、プロジェクタ１０が製造ライン４００上に投影した各マーカＭの静止画像のワールド座標系における位置（ワールド座標系位置）は、コンピュータ４０が各マーカＭの第２画像座標系位置を検出することで、既知となる。

なお、本実施形態のキャリブレーションシステム１００におけるワールド座標系は、後述するように、製造ライン４００上に配置された車両２００の特定位置を原点とし、ワールド座標系の独立した３軸のうち２軸は、その配置された車両２００の配置向きに依存したものとなるため、位置検出カメラ２０によって、製造ライン４００上に配置された車両２００および投影されたマーカＭを撮影し、コンピュータ４０がこれらの第２画像座標系位置を検出したときに、各マーカＭのワールド座標系位置を特定することができる。

実空間に投影された各マーカＭのワールド座標系位置は、位置検出用カメラ２０により撮影されることで第２画像座標系位置に変換され、一方、実空間に投影された各マーカＭのワールド座標系位置は、未知の設置パラメータに依存した車載カメラ２１０で撮影されることで第１画像座標系位置に変換され、演算処理専用コンピュータ３０が、この第１画像座標系位置と第２画像座標系位置とを比較対照することにより、換言すれば、ワールド座標系位置との対応関係が未知の第１画像座標系位置と、ワールド座標系位置との対応関係が既知の第２画像座標系位置との関係を求めることにより、ワールド座標系位置と第２画像座標系位置との対応関係、すなわち車載カメラ２１０の実際の設置パラメータを特定する。

ワールド座標系の原点の位置Ｏ、およびワールド座標系ＸＹＺを規定する独立した３軸Ｘ，Ｙ，Ｚのうちの２軸Ｘ，Ｙは、以下のようにして、コンピュータ４０によって求められる。

すなわち、位置検出用カメラ２０が、製造ライン４００上の概略規定位置に配置された車両２００を、図５に示すように撮影し、撮影されたこの車両２００を含む映像は映像キャプチャ装置２１によって静止画像としてコンピュータ４０に入力され、コンピュータ４０は、車両２００を含む画像に基づいた画像処理により、車両２００の後端直線Ａおよび右側端直線Ｂ（後端直線Ａに直交するものとする。）を検出する。

そして、後端直線Ａ、右側端直線Ｂを、それぞれワールド座標系ＸＹＺのＹ軸、Ｘ軸として設定し、後端直線Ａと右側端直線Ｂとの交点を、ワールド座標系ＸＹＺの原点の位置Ｏとして規定し、これによってワールド座標系ＸＹＺを一義的に規定する。

各マーカＭの第２画像座標系位置（Ｕ，Ｖ，Ｗ）は、コンピュータ４０によって検出されており、かつワールド座標系ＸＹＺと第２画像座標系ＵＶＷとの対応関係は、原点の位置Ｏおよび各軸Ｘ，Ｙが規定された時点で既知となるため、各マーカＭのワールド座標系位置（Ｘ，Ｙ，Ｚ）が求められる。

一方、車載カメラ２１０が、製造ライン４００上の概略規定位置に配置された車両２００を、図５に示すように撮影し、撮影されたこの車両２００を含む映像は映像キャプチャ装置２１によって静止画像としてコンピュータ４０に入力され、コンピュータ４０は、車両２００を含む画像に基づいた画像認識処理により、車両２００の後端直線Ａおよび右側端直線Ｂ（後端直線Ａに直交するものとする。）を検出する。

そして、後端直線Ａ、右側端直線Ｂを、それぞれワールド座標系ＸＹＺのＹ軸、Ｘ軸として設定し、後端直線Ａと右側端直線Ｂとの交点を、ワールド座標系ＸＹＺの原点Ｏの位置として規定し、これによってワールド座標系ＸＹＺを一義的に規定する。なお、Ｚ軸は紙面に直交する方向であって、車両２００の上下方向に沿った向きに延びている。

各マーカＭの第２画像座標系位置ＵＶＷは、コンピュータ４０によって検出されており、かつワールド座標系ＸＹＺと第２画像座標系位置ＵＶＷとの対応関係は、原点の位置Ｏおよび各軸Ｘ，Ｙが規定された時点で既知となるため、図６に示す各マーカＭのワールド座標系位置（Ｘ，Ｙ，Ｚ）が求められる。

さらに、車両２００のどの位置に車載カメラ２１０が設置されているか（設置位置）が既知であることを前提として、車載カメラ２１０のワールド座標系位置も求められる。

ところで、車両２００の形状が、後端直線Ａや右側端直線Ｂを簡単に検出することができるものでない場合には、図８に示すように、車両２００の既知の複数の位置にそれぞれ、車両位置検出用マーカＮを予め設置しておき、これら車両位置検出用マーカＮを前述したマーカＭの検出要領で検出することにより、車両２００の配置位置および配置向きを検出するようにしてもよい。

一方、車載カメラ２１０（例えばリヤカメラ２１１）によって撮影された各マーカＭの映像は、リヤカメラ２１１の実際の設置パラメータに依存して規定された第１画像座標系ＥＦＧ（Ｇ軸は紙面に直交する向きに延びている。）において、例えば図７に示すように展開される。

そして、この第１画像座標系ＥＦＧの各マーカＭの映像は、第１無線電送装置６０から車両２００の外部に送出され、車両２００外部に配置されたの第２無線電送装置７０がこの映像を受信し、映像キャプチャ装置２１によって静止画像としてコンピュータ４０に入力され、コンピュータ４０は、前述した輝点検出や暗点検出等の検出処理によって、各マーカＭの第１画像座標系位置（Ｅ，Ｆ，Ｇ）を検出する。

演算処理専用コンピュータ３０は、ＬＡＮ（ローカルエリアネットワーク）を介してコンピュータ４０に接続されており、コンピュータ４０が求めた各マーカＭのワールド座標系位置（Ｘ，Ｙ，Ｚ）と第１画像座標系位置（Ｅ，Ｆ，Ｇ）とに基づいて、各車載カメラ２１０の実際の設置パラメータを求め、記憶装置５０が、この演算処理専用コンピュータ３０によって得られた実際の設置パラメータを、ＣＤ−ＲＯＭやメモリカードなどの記憶媒体に記憶させ、この実際の設置パラメータが記憶されたＣＤ−ＲＯＭ等記憶媒体を、車両２００に搭載されたナビゲーションシステム２３０のＣＤ−ＲＯＭドライブやメモリカードスロットに装填し、この記憶媒体に記憶されている実際の設置パラメータを映像処理装置２２０の内部メモリ等に記憶させておき、各車載カメラ２１０から入力された映像に対して、映像処理装置２２０が、その内部メモリに記憶された実際の設置パラメータに応じた映像処理を施す。

この実際の設置パラメータは、キャリブレーション処理済みの設置パラメータであるため、車載カメラ２１０の映像を各種変換処理しても、変換処理後の座標系においても、十分に高い精度を維持することができる。
（実施形態の作用、効果）
次に、本実施形態に係る車載カメラ２１０のキャリブレーションシステム１００の作用について、図９、図１０および図１１に示したフローチャートにしたがって説明する。
＜イニシャライズ処理＞
なお、図９のフローチャートに示した処理工程は、このキャリブレーションシステム１００を車両２００の製造ライン４００に導入した後の少なくとも最初の１回だけは実施する必要があるイニシャライズ処理（マーカ位置確定前処理）であり、各マーカＭの投影位置を補正する処理や、マーカＭが投影されるワールド座標系ＸＹＺのＸＹ平面と第２画像座標系ＵＶＷと対応関係を予め求めておくための処理である。

このイニシャライズ処理は、システム１００の導入時だけに限るものではなく、例えばシステム１００の起動の都度、若しくは一日１回のシステム１００の最初の起動時、またはその他の定期的な起動の都度、行うようにしてもよい。

まず最初（システム１００の導入時、またはシステム１００の定期的な起動時等）に、コンピュータ４０がマトリックス状配列のマーカＭを作成し（＃１）、この作成されたマーカＭはプロジェクタ１０によって製造ライン４００に投影され（＃２）、投影されたマーカＭは位置検出用カメラ２０によって撮影され、この撮影された映像は映像キャプチャー装置２１によって静止画像としてキャプチャーされる（＃３）。

ステップ３（＃３）でキャプチャーされた静止画像はコンピュータ４０に入力され、コンピュータ４０は、キャプチャーされた静止画像から各マーカＭを検出する。そして、コンピュータ４０は、作成したマーカＭの原本と、キャプチャーされた静止画像におけるマーカＭとの位置関係を比較照合し、プロジェクタ１０によるマーカＭの投影時の歪みを検出し、この歪みを解消する補正式を求める（＃４）。

そして、求められた補正式に基づいて、コンピュータ４０は、キャプチャーされるマーカＭが、作成されたマーカＭ通りの位置に配置されたものとなるように、作成するマーカＭの原本に予め逆補正を施す（＃５）。この結果、車両２００の製造ライン４００には、歪みが無く精度の高いマトリックス配列のマーカＭが投影される（＃６）。

このように投影された歪みの無いマトリックス配列のマーカＭは、位置検出用カメラ２０によって撮影され、この撮影された映像は映像キャプチャー装置２１によって静止画像としてキャプチャーされる（＃７）。

次いで、コンピュータ４０に付属するシステムモニタ（図示せず）上において、キャプチャーされた静止画像に含まれる複数のマーカＭのうち、少なくとも２つのマーカＭを選択し（選択することなく予め決めておいてもよく、その場合は、システムモニタも不要である。）、コンピュータ４０は、選択された２つ以上のマーカＭの、この静止画像上（第２画像座標系）における各位置を算出し（＃８）、さらに、この算出された各マーカＭの第２画像座標系位置に基づいて、第２画像座標系におけるマーカＭ間の距離が算出される（＃９）。

一方、ステップ８（＃８）で選択された２つ以上のマーカＭ間の実空間座標系（ワールド座標系）における距離、すなわち製造ライン４００上における当該マーカＭ間の実測距離がコンピュータ４０に入力され（＃１０）、コンピュータ４０に入力されたマーカＭ間の実測距離（ワールド座標系）と、コンピュータ４０が算出した第２画像座標系におけるマーカＭ間の距離とに基づいて、演算処理専用コンピュータ３０が、両者間の拡縮倍率を算出する。

この算出された拡縮倍率が、ワールド座標系と第２画像座標系との対応関係を表すものとなる。

なお、ステップ１０（＃１０）において、製造ライン４００上における当該マーカＭ間の距離の実測操作は、イニシャライズ処理を含む全て処理工程において、唯一の手動操作である。なお、この手動操作は、あくまでイニシャライズ処理においてなされるに過ぎず、キャリブレーション処理自体における操作ではない。
＜キャリブレーション処理＞
次に、本実施形態に係る車載カメラ２１０のキャリブレーションシステム１００によるキャリブレーション処理について、図１０および図１１を参照して説明する。

まず、車両２００を、製造ライン４００上の概略規定位置に停止させ（＃１１）、位置検出用カメラ２０によって撮影され、この撮影された映像は映像キャプチャー装置２１によって静止画像としてキャプチャーされ（＃１２）、このキャプチャーされた静止画像はコンピュータ４０に入力され、コンピュータ４０は、キャプチャーされた静止画像に基づいて画像認識処理により、図５に示した車両２００の後端直線Ａおよび右側端直線Ｂ（後端直線Ａに直交するものとする。）を検出して、第２画像座標系における車両２００の位置および向きを検出する（＃１３）とともに、車両２００を基準としたワールド座標系ＸＹＺを一義的に規定する（＃１４）。

次いで、コンピュータ４０から、４つの車載カメラ２１０のうち１つ（例えばリヤカメラ２１１）を選択するカメラ切替信号が第２無線伝送装置７０に出力され、このカメラ切替信号は、第２無線伝送装置７０から第１無線電送装置６０に無線伝送され、第１無線電送装置６０は、受信したカメラ切替信号を映像処理装置２２０に送出する（＃１５）。これにより車両２００の４つの車載カメラ２１０のうちリヤカメラ２１１によって撮影された映像が、第１無線電送装置６０から第２無線電送装置７０に無線伝送される。

ここで、無線伝送を用いるのは、有線伝送のように有形の伝送路（電線等）が存在しないため有線伝送に比べて操作や配置の自由度が高い、という利点によるものであり、この利点を享受しない場合には、有線伝送で各信号を取り出すようにしてもよい。

なお、キャリブレーション処理において、映像処理装置２２０から送出される車載カメラ２１０の映像は、映像処理装置２２０による信号処理が施されていない生映像である。

次に、コンピュータ４０は、プロジェクタ１０を制御して、イニシャライズ処理で作成された歪みのないマトリックス配列のマーカＭのうち１つだけを、製造ライン４００に投影させるようにプロジェクタ１０を制御し、プロジェクタ１０はこの制御にしたがって、図１２（ｂ）に示すように、１つのマーカＭ（黒丸印で表す）だけを製造ライン４００上に投影する（＃１６）。

ステップ１６（＃１６）において、１つのマーカＭだけを投影するのは。以下の理由による。

一般に、複数の車載カメラ２１０を搭載した車両２００の当該車載カメラを、その車両２００の製造ライン４００上でキャリブレーション処理する際に問題となるのは、その処理時間の長さである。

すなわち。例えば図１２（ａ）に示す、プロジェクタ１０で投影可能の全てのマーカＭを投影し、その全てのマーカＭの位置（第２画像座標系位置）を画像認識処理によって検出するには、長時間を要する。

さらに、プロジェクタ１０が投影した全てのマーカＭの第２画像座標系位置を、対応関係に基づいてワールド座標系位置に変換するのも煩雑な演算処理となり、設置されている車載カメラ２１０の数だけ、上述したキャリブレーション処理を繰り返した場合、マーカＭの位置検出だけで、製造ライン４００上での実用的な許容時間を超える可能性がある。

そこで、本実施形態においては、図１２（ｂ）に示すように、マーカＭを１つずつ投影する手法を採用している。なお、図１２（ｂ）において、白丸印で示したマーカＭは、実際には投影されていない。

しかも、車載カメラ２１０（リヤカメラ２１１）によって撮影された第１画像座標系におけるマーカＭの位置をコンピュータ４０が検出するに際しても、投影されているマーカＭが１つであれば、図１３に示すように、検出対象範囲（スキャン範囲）を大幅に狭めることができ、マーカＭの検出に要する時間を大幅に短縮することができる。

そして、ワールド座標系におけるマーカＭと第１画像座標系におけるマーカＭとを対応させるに際しても、それぞれの座標系で検出されるマーカＭは１つずつであるため、それぞれの座標系で検出されるマーカＭが複数個ずつである場合のように対応するマーカＭの組を誤る虞がない。

以上のように、プロジェクタ１０がマーカＭを１つずつ投影し（＃１６）、投影された１つのマーカＭをリヤカメラ２１１で撮影して得られた映像（第１画像座標系上に展開された映像）を、第１無線伝送装置６０によって第２無線電送装置７０に無線伝送し（＃１７）、第２無線電送装置７０が受信した映像を、映像キャプチャー装置２１が静止画像としてキャプチャーして、この静止画像をコンピュータ４０に送出し、コンピュータ４０は、マーカＭの第１画像座標系位置を検出する（＃１８）。

一方、プロジェクタ１０製造ライン４００上に投影する全てのマーカＭのワールド座標系位置は、図９に示したイニシャライズ処理において既にコンピュータ４０に記憶されている。

したがって、コンピュータ４０は、ステップ１８（＃１８）で検出されたマーカＭの第１画像座標系位置と、このマーカＭの、記憶されているワールド座標系位置とを組（ペア）にした上で、ＬＡＮを介して演算処理専用コンピュータ３０に受け渡す（＃１９）。

そして、キャリブレーション処理に必要な組数分の、マーカＭの第１画像座標系位置を取得するまで、上述したステップ１６（＃１６）からステップ１９（＃１９）の処理を繰り返す（＃２０において″Ｎｏ″）。

キャリブレーション処理に必要な組数分の、マーカＭの第１画像座標系位置を取得した後（＃２０において″Ｙｅｓ″）は、コンピュータ４０から、映像を送出する車載カメラ２１０を、リヤカメラ２１１からフロントカメラ２１２に切り替えて、上述したステップ１６（＃１６）からステップ１９（＃１９）の処理を繰り返す（＃２０において″Ｎｏ″）。

さらに、フロントカメラ２１２によるマーカＭの検出処理（＃１６〜＃１９）が終了した後は、左サイドカメラ２１３について同様に処理を繰り返し、次いで、右サイドカメラ２１４についても同様の処理を繰り返す（＃２１）。

全ての車載カメラ２１０について、それぞれ必要組数のマーカＭの第１画像座標系位置の取得が完了すると、製造ライン４００上におけるデータ収集処理は終了し、車両２００は製造ライン４００上から退避させてもよい。

次いで、演算処理専用コンピュータ３０は、コンピュータ４０から入力された、各車載カメラ２１０ごとの、各マーカＭについてのワールド座標系位置と第１画像座標系位置との組に基づいて、各マーカＭについてのワールド座標系位置と第１画像座標系位置と対応関係を求め、これにより各車載カメラ２１０ごとのワールド座標系位置と第１画像座標系位置と対応関係、すなわち各車載カメラの実際の設置パラメータが求められる（＃２２）。

なお、演算処理専用コンピュータ３０が、俯瞰映像を得るための、いわゆる視点変換処理等のマッピング処理を行うように構成されているシステム１００においては、演算処理専用コンピュータ３０は、視点変換処理のマッピングデータを作成するようにしてもよい（＃２２）。

各車載カメラ２１０ごとに得られた実際の設置パラメータやマッピングデータは、記憶装置５０によってＣＤ−ＲＯＭやメモリカード等の記憶媒体に記憶され（＃２３）、この実際の設置パラメータやマッピングデータが記憶されたＣＤ−ＲＯＭ等記憶媒体は、車両２００に搭載されたナビゲーションシステム２３０のＣＤ−ＲＯＭドライブやメモリカードスロットに装填され、この記憶媒体に記憶されている実際の設置パラメータはナビゲーションシステム２３０に読み込まれた上で（＃２４）、映像処理装置２２０の内部メモリ等に記憶され（＃２５）、以後、各車載カメラ２１０から入力された映像に対して、映像処理装置２２０が、その内部メモリに記憶された実際の設置パラメータに応じた映像処理を施す。

この実際の設置パラメータは、キャリブレーション処理済みの設置パラメータであるため、車載カメラ２１０の映像を各種変換処理しても、変換処理後の座標系において、十分に高い精度を維持することができる。

以上、詳細に説明したように、本実施形態に係る車載カメラ２１０のキャリブレーションシステム１００によれば、車載カメラ２１０の実際の設置パラメータを自動的にキャリブレーション処理することができる。

しかも、ワールド座標系と車載カメラ２１０の座標系である第１画像座標系との対応関係を求める処理は、システム１００にとって演算負荷が大きく、処理時間が長く掛かる虞があるため、そのような負荷の大きい処理部分は、製造ライン４００から退避した場所でバッチ処理により実施することで、システム１００全体の負荷を下げることができる。

また、処理時間が長く掛からず、演算負荷が小さい処理部分、つまりマーカＭの検出処理部分だけを、製造ライン４００上で実施することで、製造ライン４００に適したキャリブレーション処理を実現することができる。

なお、本実施形態においては、全てのマーカＭが、ワールド座標系の同一平面上に投影されるものとして説明したが、マーカＭの配置条件として、同一平面以外の位置（Ｚ軸方向の異なる位置）にも配置されることが要求される場合もある。

そのような場合は、Ｚ軸方向の高さが既知の箱等を、製造ライン４００上に配置することにより、この箱の上面に投影されたマーカＭは、高さ方向のデータを有するマーカＭとなり、条件を満たすことができる。

本発明の一実施形態に係る車載カメラのキャリブレーションシステムを示すブロック図である。 図１に示したキャリブレーションシステムによってキャリブレーション処理される車載カメラが設置された車両と、キャリブレーションシステムとの位置関係を示す模式図である。 図２に示した車両に設置された４つの車載カメラの位置関係を示す平面図である。 プロジェクタが投影するマーカ群の投影例を示す模式図である。 製造ライン上の概略規定位置に配置された車両を、位置検出用カメラによって撮影した様子を示す模式図である。 ワールド座標系におけるマーカの配置を示す模式図である。 第１画像座標系におけるマーカの配置を示す模式図である。 車両の配置位置および向きを特定する他の方法を説明する図である。 イニシャライズ処理を説明するフローチャートである。 キャリブレーション処理を説明するフローチャート（その１）である。 キャリブレーション処理を説明するフローチャート（その２）である。 ワールド座標系において、（ａ）は全てのマーカを投影した状態、（ｂ）は１つのマーカだけを投影した状態、をそれぞれ示す模式図である。 第１画像座標系において、１つのマーカだけを投影した状態を示す模式図である。

符号の説明

１０ プロジェクタ
２０ 位置検出用カメラ（上方カメラ）
３０ 演算処理専用コンピュータ（演算手段）
５０ 記憶装置（記憶手段）
６０，７０ 無線電送装置（第１の無線伝送手段、第２の無線伝送手段）
１００ キャリブレーションシステム
２００ 車両
２１０ 車載カメラ
Ｍ マーカ

Claims (3)

1. 車両に対して所定の設置パラメータを以て設置された車載カメラで、前記車両の周囲に配置された実空間座標系における位置が既知の指標を撮影して得られた、前記設置パラメータに依存した画像座標系における前記指標の位置と、該指標の前記実空間座標系における既知の位置との対応関係に基づいて、前記設置パラメータをキャリブレーション処理する演算手段と、
   前記キャリブレーション処理の結果を保存する記憶手段と、を備えた車載カメラのキャリブレーションシステムにおいて、
   前記車両の上方に設置されて、前記指標を前記車両の周囲に投影するプロジェクタと、
   前記車両の上方に設置されて、前記プロジェクタによって投影された前記指標および前記車両を撮影する上方カメラとを備え、
   前記演算手段は、前記上方カメラで撮影して得られた前記車両の位置を基準とした前記上方カメラで撮影して得られた前記指標の位置を、前記実空間座標系における既知の位置として求めるものであることを特徴とする車載カメラのキャリブレーションシステム。
2. 前記車載カメラで撮影して得られた映像を、前記車両の外部に無線送出する第１の無線伝送手段と、前記第１の無線電送手段から無線送出された前記車載カメラの映像を無線受信する第２の無線伝送手段とを備え、
   前記第１の無線伝送手段は前記車両に設置され、前記第２の無線伝送手段、前記演算手段および前記記憶手段は前記車両の外部に設置されることを特徴とする請求項１に記載の車載カメラのキャリブレーションシステム。
3. 前記上方カメラで撮影して得られた前記指標の位置に基づいて、前記プロジェクタが投影する前記指標の投影位置を補正する投影位置補正手段を備えたことを特徴とする請求項１または２に記載の車載カメラのキャリブレーションシステム。
   
   
   

Images