JP4682830B2 - 車載画像処理装置 - Google Patents

Description

本発明は、例えば車両周囲を撮像して、当該画像を視点変換し、車両周囲の画像を運転者等に提示する車載画像処理装置に関する。

従来より、車載カメラにより撮像された画像データを車両内のモニタに正確に表示するために、車載カメラの校正を行う技術としては、下記の特許文献１などに記載された車載カメラの校正装置が知られている。

この特許文献１に記載された車載カメラの校正装置は、車載カメラの取り付け向きのパラメータであるｙａｗ角，ｐｉｔｃｈ角，ｒｏｌｌ角を調整するために、車両停止面に配置した校正指標を撮像して、当該校正指標が画像内の所定範囲に入るようにしている。このとき、車載カメラの校正装置は、画像に映り込む校正指標を基に、モニタ上に描画したウィンドウのサイズ及び角度を調整して、校正後のカメラのパラメータを取得する。
特開２００１−２４５３２６号公報

上述した車載カメラの校正装置において、カメラの光軸ずれ誤差及び取り付け誤差が大きい場合、校正指標は、想定した位置と比較してモニタの表示範囲の端部付近、すなわちカメラ画像の端部付近に映り込む。また、カメラ画像に含まれる校正指標の画像は、車載カメラのレンズ歪みの影響を受けて変形する。そして、車載カメラの校正装置は、当該変形した校正指標に対してウィンドウのサイズ及び角度を調整することになるため、正確なカメラパラメータを検出することができない。このように正確なカメラのパラメータを取得できないことは、校正後にモニタに表示される画像が所望の画像と一致しなく、カメラの光軸ずれ及び取付誤差が校正されていないことになる。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、車載カメラの取付誤差を校正して実際の周囲の状況を正確に運転者に提示することができる車載画像処理装置及び車両用画像処理方法を提供することを目的とする。

本発明は、車両の周囲を撮像してカメラ画像データを生成するカメラモジュールと接続され、該カメラ画像データを表示手段で表示させる車載画像処理装置であって、車両に周囲に配設された校正指標を含むカメラ画像データのうち、当該校正指標が含まれるべき位置にマーカ線を重畳させて、表示手段に表示させるマーカ線重畳手段と、マーカ線重畳手段によってカメラ画像データに重畳されたマーカ線と、校正指標とを重ね合わせるようにマーカ線の描画位置を変更させる描画手段と、描画手段によってマーカ線と校正指標とが重ね合わされた時のマーカ線の移動量を、カメラモジュールの車両に対する取付誤差を画像処理によって修正するパラメータとして設定するパラメータ設定手段とを備えることにより、上述の課題を解決する。

このような車載画像処理装置は、パラメータ設定手段によってパラメータを設定することにより、カメラモジュールで撮像したカメラ画像データを当該パラメータによって修正させることができ、カメラモジュールの車両に対する取付誤差を画像処理によって修正する。

本発明によれば、カメラモジュールの車両に対する取付誤差があっても、マーカ線と校正指標とを重ね合わせるという単純な処理でパラメータが設定でき、当該パラメータによって画像処理を行ってカメラ画像データを修正して、実際の周囲の状況を正確に運転者に提示することができる。

以下、本発明の実施の形態について図面を参照して説明する。

本発明は、例えば図１に示すように構成された車載画像処理装置１に適用される。この車載画像処理装置１は、カメラモジュール２Ａ，２Ｂ，２Ｃ，２Ｄで撮像した車両周囲のカメラ画像データを、それぞれのカメラモジュール２Ａ，２Ｂ，２Ｃ，２Ｄに対応した入力バッファ１２Ａ，１２Ｂ，１２Ｃ，１２Ｄで入力し、ＣＰＵ１３及び画像変換部１４によって、テーブル記憶部１５に記憶されたアドレス変換テーブルを使用して視点変換処理を行って車両周囲の俯瞰画像を作成し、出力バッファ１６に画像データを記憶させてモニタ３に出力するものである。この車載画像処理装置１は、デフォルトのアドレス変換テーブルが再構成させて、カメラモジュール２Ａ，２Ｂ，２Ｃ，２Ｄの取付誤差を抑制して、撮像画像又は当該撮像画像を変換した俯瞰画像をモニタ３に表示させる。なお、以下の説明では、カメラモジュール２Ａ，２Ｂ，２Ｃ，２Ｄで撮像したそのままの未処理画像を撮像画像と呼び、視点変換処理を施した複数の画像によって自車両を上方からみた画像を俯瞰画像と呼ぶ。

車載画像処理装置１は、例えば、車両周囲の俯瞰画像を作成するために、カメラモジュール２Ａによって前方カメラ画像を撮像し、カメラモジュール２Ｂによって後方カメラ画像を撮像し、カメラモジュール２Ｃによって左側方カメラ画像を撮像し、カメラモジュール２Ｄによって右側方カメラ画像を撮像する。

そして、車載画像処理装置１は、各カメラ画像をそれぞれ上方からの視点に変換した前方画像、後方画像、左側方画像、右側方画像を作成し、各カメラモジュールの光軸ずれや取付誤差が無い場合には、自車両オブジェクトを中心に配し、視点変換した画像間に跨ってずれや歪みがない俯瞰画像を作成する。

一方、カメラモジュール２Ａ，２Ｂ，２Ｃ，２Ｄの取付位置に誤差がある場合には、撮像画像内の物体映像が歪んだり、当該物体映像が本来の映像内位置に現れない。これに対し、以下に説明する車載画像処理装置１では、当該カメラモジュール２Ａ，２Ｂ，２Ｃ，２Ｄの取付誤差に起因する撮像画像及び俯瞰画像のずれや歪みを補正するための処理を行い、カメラモジュール２Ａ，２Ｂ，２Ｃ，２Ｄに取付誤差があった場合であっても、撮像画像及び俯瞰画像のずれや歪みを抑制する。

このように、各カメラ画像から、歪みやずれを抑制した撮像画像又は俯瞰画像を表示させるための構成及び動作について、以下に説明する。

［車載画像処理装置１の構成及び動作］
この車載画像処理装置１を含む車両周囲表示システムは、図１に示すように、車載画像処理装置１に、４台のカメラモジュール２Ａ，２Ｂ，２Ｃ，２Ｄ（以下、総称する場合には、単に「カメラモジュール２」と呼ぶ。）及びモニタ３を接続して構成されている。この車載画像処理装置１は、カメラモジュール２Ａ，２Ｂ，２Ｃ，２Ｄのそれぞれで撮像したカメラ画像データを入力とする。そして、車載画像処理装置１は、モニタ３に表示させる撮像画像を作成したり、それぞれのカメラ画像データを組み合わせて、車両上方から見た場合の俯瞰画像を作成するものである。この俯瞰画像を作成する場合、車載画像処理装置１は、上述したように車体の前方、後方、右側方、左側方をそれぞれの撮像方向とした４台のカメラモジュール２Ａ，２Ｂ，２Ｃ，２Ｄが設けられており、自車両の上方を視点とした俯瞰画像を作成する。

カメラモジュール２Ａ，２Ｂ，２Ｃ，２Ｄは、それぞれ車体の異なる部分に設置され、それぞれが固定された異なる撮像方向となっている。カメラモジュール２は、撮像用レンズ２１及びＣＣＤ（電荷結合素子）２２から構成される。このカメラモジュール２は、例えばＮＴＳＣ（National Television System Committee）カメラからなり、それぞれ、ＮＴＳＣ方式に従って画像データを車載画像処理装置１に出力する。

車載画像処理装置１は、内部バス１１に、カメラモジュール２Ａ，２Ｂ，２Ｃ，２Ｄのそれぞれに接続された入力バッファ１２Ａ，１２Ｂ，１２Ｃ，１２Ｄ（以下、総称する場合には単位「入力バッファ１２」と呼ぶ。）と、ＣＰＵ（Central Processing Unit）１３と、画像変換部１４と、テーブル記憶部１５と、及びモニタ３と接続された出力バッファ１６とが接続されて構成されている。

入力バッファ１２は、カメラモジュール２の個数に対応して設けられ、入力バッファ１２Ａはカメラモジュール２Ａと接続され、入力バッファ１２Ｂはカメラモジュール２Ｂと接続され、入力バッファ１２Ｃはカメラモジュール２Ｃと接続され、入力バッファ１２Ｄはカメラモジュール２Ｄと接続される。入力バッファ１２は、ＮＴＳＣ方式のカメラ画像データを一旦格納し、ＣＰＵ１３の制御に従って、画像変換部１４による画像変換タイミングでカメラ画像データが読み出される。

テーブル記憶部１５は、ドライバーに提示する画像レイアウトごとのアドレス変換テーブル１５ａ、１５ｂ、１５ｃ、・・・を記憶している。ここで、本例では、テーブル記憶部１５には、後述のカメラキャリブレーションパラメータによって修正すべく縦横方向のシフト量又は回転量に従ったアドレス変換テーブルが格納されているものとする。

このテーブル記憶部１５に記憶されるアドレス変換テーブルは、例えば、カメラ画像データ中のどの領域を切り出して撮像画像として出力バッファ１６に記憶するために、カメラ画像データのメモリアドレス（入力アドレス情報）、及び、モニタ３の解像度分の表示用の撮像画像データの出力バッファ１６のメモリアドレス（出力アドレス情報）とを記述したテーブルである。また、このアドレス変換テーブルは、俯瞰画像作成用として、他のアドレス変換テーブルと区別するためのカメラ番号と、モニタ３の解像度よりも縦方向又は横方向に大きい解像度のアドレス空間を有するカメラ画像データのメモリアドレス（入力アドレス情報）、及び、モニタ３の解像度分の表示用の俯瞰画像データの出力バッファ１６のメモリアドレス（出力アドレス情報）とを記述したテーブルであっても良い。すなわち、アドレス変換テーブルは、出力バッファ１６のメモリアドレス、すなわちモニタ３の表示座標と、入力バッファ１２の座標（入力アドレス）との対応関係を記述している。このようなアドレス変換テーブルは、後述のカメラキャリブレーションパラメータ、取付位置及び撮像方向の向き（光軸）等に基づいて予め作成されている。また、このアドレス変換テーブルは、カメラモジュール２（任意のカメラ番号）ごとに入力バッファ１２の入力アドレスと出力バッファ１６の出力アドレスとの対応関係を記述していて、カメラモジュール２の台数と同じ数が用意されているものとする。

画像変換部１４は、ＣＰＵ１３の制御に従って、テーブル記憶部１５からカメラモジュール２ごとのアドレス変換テーブルを読み出し、当該アドレス変換テーブルを参照して、アドレス変換テーブルで指定された入力アドレスから読み出したカメラ画像データを、アドレス変換テーブルで指定された出力アドレスに記憶させる。ここで、アドレス変換テーブルは、画像レイアウトに従って出力バッファ１６のメモリアドレスを記述しているので、画像変換部１４によって出力バッファ１６に置き換えられた画像データ（撮像画像データ又は俯瞰画像データ）は、使用したアドレス変換テーブルと同じ画像レイアウトに画像変換されている。なお、画像変換部１４は、ＬＳＩ（Large Scale Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）等で構成されていても良く、ＣＰＵ１３で行っても良い。

後述するが、アドレス変換テーブルは、車載画像処理装置１の製造時などに、カメラモジュール２それぞれの取付誤差（カメラ座標系のpitch角、yaw角、roll角）に応じて、当該取付誤差を修正した撮像画像又は俯瞰画像を表示させるように構成されている。例えば、画像変換部１４による変換処理によって入力バッファ１２のカメラ画像データが読み出されて、出力バッファ１６に格納された画像データの歪みやずれを抑制するように、アドレス変換テーブルは構成されている。

出力バッファ１６は、画像変換部１４によって変換された４枚の画像データからなる画像データを格納し、当該画像データをＣＰＵ１３の制御に従ってモニタ３に出力する。

ＣＰＵ１３は、図示しない操作入力部がドライバーに操作されて決定された画像レイアウト指示や画像切り換え指示を認識して画像変換部１４での画像変換処理に使用するアドレス変換テーブルを決定する。また、ＣＰＵ１３は、画像変換部１４の入力バッファ１２からの画像変換タイミング及び出力バッファ１６のモニタ３へのデータ出力タイミングを制御することによって、連続的に撮像画像又は俯瞰画像を出力バッファ１６に格納させると共に、連続的にモニタ３に表示させる撮像画像又は俯瞰画像を切り換える。

また、ＣＰＵ１３は、カメラモジュール２Ａ，２Ｂ，２Ｃ，２Ｄの取付向き（撮像方向）の誤差を画像処理のソフトウェア処理で校正するカメラキャリブレーションパラメータを検出する。このカメラキャリブレーションパラメータとしては、カメラ座標系におけるｙａｗ角、ｐｉｔｃｈ角、ｒｏｌｌ角がある。カメラ座標系におけるｙａｗ角の誤差は、画像座標系におけるカメラ画像データを横方向にシフトさせて補正できる。カメラ座標系におけるｐｉｔｃｈ角の誤差は、画像座標系におけるカメラ画像データを縦方向にシフトさせて補正できる。カメラ座標系におけるｒｏｌｌ角の誤差は、画像座標系におけるカメラ画像データを回転させて補正できる。したがって、ＣＰＵ１３では、カメラキャリブレーションパラメータとして、カメラ座標系におけるｙａｗ角の誤差に対する画像座標系の横方向のシフト量と、カメラ座標系におけるｐｉｔｃｈ角の誤差に対する画像座標系の縦方向のシフト量と、カメラ座標系におけるｒｏｌｌ角の誤差に対する画像座標系の回転方向のシフト量とを設定する。

ＣＰＵ１３は、カメラモジュール２Ａ，２Ｂ，２Ｃ，２Ｄで撮像した校正指標を含む各カメラ画像データにマーカ線を重畳させ、当該校正指標とマーカ線との位置関係を調整して、カメラモジュール２Ａ，２Ｂ，２Ｃ，２Ｄの物理的なずれによる各カメラ画像のずれを調整する。各カメラモジュール２Ａ，２Ｂ，２Ｃ，２Ｄの物理的なずれがない場合、例えば、校正指標が映り込むべき位置に描画されているマーカ線の位置が、校正指標内に入るようになっている。一方、各カメラモジュール２Ａ，２Ｂ，２Ｃ，２Ｄに物理的なずれがある場合、マーカ線の位置をシフトさせて、マーカ線が校正指標内に位置させる。このマーカ線の横方向、縦方向、回転方向におけるシフト量は、それぞれカメラモジュール２Ａ，２Ｂ，２Ｃ，２Ｄごとのｙａｗ角、ｐｉｔｃｈ角、ｒｏｌｌ角についてのカメラキャリブレーションパラメータとして検出できる。

例えば、図２に示すように、車両１０１のリアカメラによって撮像される各カメラ画像データの校正をするために、車両１０１を所定の規定位置に停止させる。この状態で、車両後方（例えば、前輪の車軸原点から３５００ｍｍ後方）の位置に、Ｔ字状の校正指標１０２を車幅と平行かつ中心に配置する。

ここで、校正指標１０２及び後述のマーカ線をＴ字状としたのは、２次元のカメラ画像データ上で校正指標１０２とマーカ線の位置、角度を合わせる場合に、２点が重なることが最低限必要となるからである。そのため、マーカ線は横方向に伸びる直線であれば良いが、実際に校正指標１０２とマーカ線との重なり度合いを調整する際に、マーカ線が直線のみであると、調整しづらいために、マーカ線もＴ字にしている。また、校正指標１０２及びマーカ線の形状は、Ｔ字に限定するものではなく、双方の位置合わせがカメラ画像上で容易となるものであれば、Ｌ字であっても良い。

なお、校正指標１０２の幅は５０ｍｍとし、厚みが少なくカメラ画像の２次元空間で扱っても問題ないものとする。このような車両１０１と校正指標１０２との関係は、予め地面上に配置された校正指標１０２に対して車両１０１を規定の位置関係になるように正確に停車させることと同義である。

カメラパラメータは、車両１０１車幅方向の中心と前輪車軸が交わる点を原点とするカメラ座標系（車両座標系）において、車両１０１の停止位置Ｘ，Ｙ，Ｚと、及び車両１０１の停止したｙａｗ角，ｒｏｌｌ角，ｐｉｔｃｈ角で設定される。また、カメラ特有のスペックとして、水平画角、解像度等のパラメータがある。これらのパラメータと後述のレンズモデルから、図２に示す地面上（車両座標系）に配置された校正指標１０２がリアカメラのカメラ画像データ上のどの位置に映り込むかが計算できる。例えば、入射角θでレンズに入射した光がレンズから距離ｆだけ離れた投影面のレンズ光軸中心から距離ｄ離れた位置に結像した場合、当該入射角θと像高ｄと距離ｆとの関係がレンズモデルとなる。

したがって、リアカメラが物理的なずれがない場合、校正指標１０２は、カメラ画像データ内の所定位置に含まれることになる。

このような車載画像処理装置１において、各カメラモジュール２Ａ，２Ｂ，２Ｃ，２Ｄのカメラキャリブレーションパラメータを検出するとき、図３に示すように、モニタ３のカメラ画像には、校正指標画像１１２と、マーカ線画像１１１とが含まれる。図３（ａ）は、カメラモジュール２Ａ，２Ｂ，２Ｃ，２Ｄが物理的にずれている場合、カメラ画像上に車載画像処理装置１がマーカ線画像１１１を重畳したものである。カメラモジュール２Ａ，２Ｂ，２Ｃ，２Ｄが設計要件よりも物理的にずれているために、校正指標画像１１２とマーカ線画像１１１とは離れた位置となる。なお、カメラモジュール２Ａ，２Ｂ，２Ｃ，２Ｄに物理的なずれが無い場合、マーカ線画像１１１は校正指標画像１１２の中心と重なるはずである。

図３（ｂ）は、マーカ線画像１１１を画像内で回転及び／又はピクセルシフトして、当該マーカ線画像１１１をカメラ画像に映り込む校正指標画像１１２内に入るよう調整した後の状態を表す。ここでは、マーカ線画像１１１を校正指標画像１１２の中心と重なるよう位置調整することにより、カメラモジュール２Ａ，２Ｂ，２Ｃ，２Ｄの取り付け角度ｙａｗ角，ｒｏｌｌ角，ｐｉｔｃｈ角のずれ度合いを、カメラ画像において２次元的に何ピクセルシフトしているか、何度回転しているかで検出し、当該検出値をカメラキャリブレーションパラメータとする。

しかし、カメラモジュール２Ａ，２Ｂ，２Ｃ，２Ｄのレンズ特性により、マーカ線画像１１１の形状と校正指標画像１１２の形状とが、特にカメラ画像の端の方で一致しない問題点が起こるため、最終的に校正指標画像１１２内のどこにマーカ線画像１１１を合わせるべきかがわかりづらく、正確なカメラキャリブレーションパラメータが検出できない。この現象が起こる理由は、カメラ画像が画面中心から画面の端に移るに従って、カメラ画像の歪みが大きくなることと、１ピクセル当たりの実環境領域面積（長さ）が大きくなることが挙げられる。

これに対し、車載画像処理装置１は、マーカ線画像１１１を校正指標画像１１２に重ねるように調整する際に、レンズモデル（レンズ特定）に従って回転及び／又はピクセルシフトさせるマーカ線画像１１１の形状を、カメラモジュール２Ａ，２Ｂ，２Ｃ，２Ｄのレンズ特性に合わせて簡易的に変形させる。マーカ線画像１１１を変形させることによって、調整後のマーカ線画像１１１の形状と、校正指標画像１１２の形状をほぼ一致させることができ、正確なキャリブレーションパラメータの検出ができる。

このように、画面中心と画面の端とでカメラ画像が歪むことに対して、マーカ線画像１１１の形状を変形させる場合には、車載画像処理装置１は、カメラモジュール２Ａ，２Ｂ，２Ｃ，２Ｄ毎に、カメラ画像の各画素が地面上の実環境領域換算でどのくらいの面積を撮像しているか（以下、ピクセルの重みと記す）のデータベースを用意しておく。なお、このデータベースは、上述のレンズモデルより計算が可能である。

図４に示すように、カメラ画像は、画素領域毎に異なるピクセルの重みをもつ。車載画像処理装置１は、ピクセルの重みに基づいて、カメラ画像上にマーカ線画像１１１を描画する。この場合、画像中心の領域Ａは、１ピクセルが実際の５ｍｍの地面を撮像しており、画像の領域Ｂは、１ピクセルが実際の１０ｍｍの地面を撮像しており、画像の領域Ｃは、１ピクセルが実際の１５ｍｍの地面を撮像しており、画像の領域Ｄは、１ピクセルが実際の２０ｍｍの地面を撮像しているので、これに応じたデータベースを用意しておいて、マーカ線画像１１１を描画することになる。

このようなデータベースを用いてマーカ線画像１１１を変形させる処理は、図５に示すように、先ずステップＳ１において、ＣＰＵ１３は、自動又は手動によるマーカ線画像１１１の移動（回転、ピクセルシフト）命令を入力し、移動先の画像座標を計算する。

次のステップＳ２において、ＣＰＵ１３は、データベースから最小ピクセル重みと、ステップＳ１で計算したマーカ線画像１１１の移動先のピクセル重みとを比較する。比較した結果、ピクセル重みが同等である場合には、ステップＳ３に処理を進めて、ステップＳ１で入力した命令に従って、マーカ線画像１１１をプロットする。

一方、移動先のピクセル重みが、最小ピクセル重みと同等ではなく大きい場合には、ステップＳ４に処理を進め、ＣＰＵ１３は、マーカ線画素に対して実環境領域において上下左右方向にどれだけ移動したかを積み上げる。この積み上げ量は、例えば「上方向に５ｍｍ、右方向に１０ｍｍ」といったものとする。

次のステップＳ５において、ＣＰＵ１３は、ステップＳ４で算出したマーカ線画像１１１の画素の積み上げ量が、移動先の領域のピクセル重みを超えるかどうかを再度比較する。比較した結果、マーカ線画像１１１の画素の積み上げ量が、移動先エリアのピクセル重みを超えない場合には、ステップＳ６に処理を進めて、当該マーカ線画像１１１の画素のプロット位置を変更させない。

一方、ＣＰＵ１３は、ステップＳ４で算出したマーカ線画像１１１の画素の積み上げ量が、移動先の領域のピクセル重みを超えるかどうかを再度比較する。比較した結果、マーカ線画像１１１の画素の積み上げ量が、移動先エリアのピクセル重みを超える場合、ステップＳ７に処理を進めて、当該マーカ線画像１１１の画素をステップＳ１で入力した命令に従ってプロット位置を変更させる。また、このステップＳ７において、ＣＰＵ１３は、位置変更したマーカ線画像１１１の画素についての積み上げ量をリセットしておく。

次のステップＳ８において、ＣＰＵ１３は、マーカ線画像１１１を構成する全ての画素についてステップＳ２〜ステップＳ７の処理を行ったか否かを判定し、そうでない場合には、ステップＳ２に処理を戻し、全ての画素について処理を完了した場合には、処理を終了する。

このように、車載画像処理装置１では、マーカ線画像１１１を校正指標画像１１２に重ね合わせることによって、カメラモジュール２Ａ，２Ｂ，２Ｃ，２Ｄの物理的なずれによるカメラ画像のずれを校正する時に、カメラ画像の歪みに合わせてマーカ線画像１１１の形状を変形させることができ、より正確なカメラキャリブレーションパラメータを検出することができる。

なお、上述した図５のマーカ線画像１１１の形状を変形させる処理は、マーカ線画像１１１を構成する全画素についてステップＳ２〜ステップＳ７の処理を行う場合について説明したが、これに限らず、マーカ線画像１１１を構成する画素のうち代表点となる画素のみについて処理を行って、それ以外の画素を線形補間等の処理により描画しても良い。例えば、マーカ線画像１１１をＴ状で構成した場合に、少なくとも各線の端部位置及び各線の中間位置での画素を代表点に設定することになる。

また、図４に示すように、ピクセル重みが同じ画像領域の部分、かつ歪みが同程度の部分に校正指標が映り込むよう校正指標を配置すると、マーカ線を変形させる際の丸め誤差が減り、より正確にカメラキャリブレーションパラメータを検出することができる。

以上詳細に説明したように、本発明を適用した車載画像処理装置１によれば、カメラモジュール２から校正指標画像１１２を含むカメラ画像データを入力した場合に、当該カメラ画像データにマーカ線画像１１１を重畳して、マーカ線画像１１１を校正指標画像１１２に重ね合わせて、マーカ線画像１１１の移動量をカメラキャリブレーションパラメータとして設定できる。したがって、カメラモジュール２に物理的な取付誤差があっても、当該カメラキャリブレーションパラメータによってカメラ画像データを補正して、車両の正確な周囲状況を表すカメラ画像をモニタ３で提示することができる。

また、この車載画像処理装置１によれば、複数のカメラモジュール２Ａ，２Ｂ，２Ｃ，２Ｄで撮像したカメラ画像データによって俯瞰画像を作成する場合であっても、各カメラモジュール２Ａ，２Ｂ，２Ｃ，２Ｄごとにカメラキャリブレーションパラメータを設定することによって、俯瞰画像を構成する各画像間でずれを無くすことができる。

更にまた、この車載画像処理装置１によれば、マーカ線画像１１１を移動させるときに、カメラモジュール２Ａ，２Ｂ，２Ｃ，２Ｄのレンズ特定に従って当該マーカ線画像１１１の形状を変形させるので、どのような特性のカメラであっても、正確なカメラキャリブレーションパラメータを設定できる。

更にまた、この車載画像処理装置１によれば、マーカ線画像１１１を構成する画素のうち、複数の代表点のレンズ特定に基づく変形度合いを計算して、当該代表点間を補間してマーカ線画像１１１の形状を変形させるので、レンズ特性に合わせてマーカ線画像１１１を変形させる処理量を抑制することができる。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。

本発明を適用した車載画像処理装置の構成を示すブロック図である。 自車両と校正指標との位置関係について説明する上面図である。 カメラ画像に含まれる校正指標画像に、マーカ線画像を重ね合わせる処理について説明する図であり、（ａ）は調整前、（ｂ）は調整後を示す。 カメラモジュールのレンズ特性に応じてマーカ線画像を変形させるためのデータベースについて説明するための図である。 カメラモジュールのレンズ特性に合わせて、マーカ線画像を変形させる処理の処理手順を示すフローチャートである。

符号の説明

１ 車載画像処理装置
２ カメラモジュール
３ モニタ
１１ 内部バス
１２ 入力バッファ
１３ ＣＰＵ
１４ 画像変換部
１５ テーブル記憶部
１５ａ アドレス変換テーブル
１６ 出力バッファ
２１ 撮像用レンズ
１０２ 校正指標
１１１ マーカ線画像
１１２ 校正指標画像

Claims (3)

1. 車両の周囲を撮像してカメラ画像データを生成するカメラモジュールと接続され、該カメラ画像データを表示手段で表示させる車載画像処理装置であって、
   前記車両に周囲に配設された校正指標を撮像したマーカ線画像を、当該校正指標が含まれるべき位置に表示された校正視標画像に重畳させて、前記表示手段に表示させるマーカ線重畳手段と、
   前記マーカ線重畳手段によって前記カメラ画像データに重畳されたマーカ線画像と、前記校正指標画像とを重ね合わせるように前記マーカ線画像の描画位置を変更させる描画手段と、
   前記描画手段によってマーカ線画像と校正指標画像とが重ね合わされた時のマーカ線画像の移動量を、前記カメラモジュールの前記車両に対する取付誤差を画像処理によって修正するパラメータとして設定するパラメータ設定手段とを備え、
   前記描画手段は、前記描画手段によってマーカ線画像を移動させるときに、前記カメラモジュールのレンズ特定に従って生ずるカメラ画像の歪みに基づいて当該マーカ線の形状を変形させることを特徴とする車載画像処理装置。
2. 複数のカメラモジュールと接続され、当該カメラ画像データのそれぞれをある一点の仮想視点を基に視点変換して、車両周囲の俯瞰画像を作成する俯瞰画像作成手段を更に備え、
   前記マーカ線重畳手段は、それぞれのカメラモジュールで撮像したカメラ画像データに、マーカ線画像を重畳させて、前記表示手段に表示させ、
   前記描画手段は、それぞれの前記マーカ線重畳手段によって前記カメラ画像データに重畳されたマーカ線画像と、前記校正指標画像とを重ね合わせるように前記マーカ線画像の描画位置を変更させ、
   前記パラメータ設定手段は、前記描画手段によってマーカ線画像と校正指標画像とが重ね合わされた時のそれぞれマーカ線の移動量を、それぞれのカメラモジュールの前記車両に対する取付誤差を画像処理によって修正するパラメータとして設定すること
   を特徴とする請求項１に記載の車載画像処理装置。
3. 前記描画手段は、前記マーカ線画像を構成する画素のうち、複数の代表点のレンズ特定に従って生ずるカメラ画像の歪みに基づいて変形度合いを計算して、当該代表点間を補間してマーカ線画像の形状を変形させることを特徴とする請求項１に記載の車載画像処理装置。

Images