JP2016001378A

JP2016001378A - 車載カメラの校正装置

Info

Publication number: JP2016001378A
Application number: JP2014120677A
Authority: JP
Inventors: 真悟竹内; Shingo Takeuchi
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2014-06-11
Filing date: 2014-06-11
Publication date: 2016-01-07

Abstract

【課題】複数のカメラを備えた車両用撮像システムにおいて、各カメラの搭載位置のずれを自動校正することのできる校正装置を提供する。【解決手段】車両停車中に、複数のカメラの撮像領域の一部が重複する重複領域にて、所定の校正用画像が撮像されたか否かを判定し（Ｓ１５０）、校正用画像が撮像されたと判定されると、遺伝的アルゴリズムに基づき、基準カメラパラメータに対する変位を変数とする複数のシードに対し、交叉、突然変異、コピー等の操作を行い、操作後のシードに対応して変化させた校正用画像の一致度をマッチングスコアとして算出して、一致度が最も高いシードを、カメラの実際のずれに対応した最適解として選択する（Ｓ１６０〜Ｓ２００）。【選択図】図３

Description

本発明は、複数のカメラにより構成される車両用撮像システムにおいて、各カメラの搭載位置のずれを校正するのに好適な、車載カメラの校正装置に関する。

車両周囲の俯瞰画像を車室内の表示装置に表示するため、車両の異なる位置（例えば、前後左右）に複数のカメラを配置し、各カメラによる撮像画像を視点変換して合成することで、表示画像（俯瞰画像）を生成するように構成された車両用撮像システムが知られている。

この種の車両用撮像システムでは、各カメラの搭載位置がずれると、撮像画像の視点変換を良好に行うことができないことから、カメラ毎に搭載位置のずれを校正することが提案されている（例えば、特許文献１等参照）。

この提案の校正装置では、校正対象カメラと他のカメラとの間で重複する撮像領域（重複領域）に正方形の校正用パターンを設置して、各カメラにより撮像させる。そして、各カメラの撮像画像を視点変換した表示画像において、校正用パターンの座標（頂点など）の位置ずれが最小となるように、校正対象カメラに対する撮像画像の変換規則を調整する。

特開２０１０−２４４３２６号公報

ところで、上記従来の構成装置では、校正時に、複数のカメラの撮像領域が重複する重複領域に所定の校正用のパターンを配置することを前提としているため、校正可能な場所が、車両を製造、販売、若しくは修理する特定の施設に制限されてしまう。

このため、車両の所有者は、表示画像に異常を感じたときに、車両を、車載カメラの校正が可能な施設に持ち込まなければならず、使い勝手が悪いという問題があった。
本発明は、こうした問題に鑑みなされたものであり、複数のカメラを備えた車両用撮像システムにおいて、各カメラの搭載位置のずれを自動校正することのできる校正装置を提供することを目的とする。

本発明の車載カメラの校正装置は、複数のカメラと、この複数のカメラの位置及び姿勢を表す基準カメラパラメータに基づき設定された変換データを用いて表示画像を生成する表示画像生成手段と、を備えた車両用撮像システムにおいて、各カメラの基準位置からの位置ずれを校正するためのものである。

本発明の車載カメラの校正装置においては、判定手段が、複数のカメラの撮像領域の一部が重複する重複領域にて、所定の校正用画像が撮像されたか否かを判定する。
この判定手段にて校正用画像が撮像されたと判定されると、校正データ生成手段が、所定の進化アルゴリズムに従い基準カメラパラメータを変位させることで、校正用画像を撮像した複数のカメラによる重複領域の撮像画像の中で、校正用画像の位置及び形状が最も一致する基準カメラパラメータの変位量を探索する。

そして、校正データ生成手段は、その探索した基準カメラパラメータの変位量を、複数のカメラの校正データとして設定する。
このように、本発明の車載カメラの校正装置によれば、撮像領域の一部が重複する複数のカメラによって、その撮像領域が重複する重複領域内で、所定の校正用画像が撮像されたときに、校正データ生成手段が自動で起動し、校正データの生成を行う。

このため、本発明の車載カメラの校正装置によれば、車両の所有者が車両を使用しているときに、重複領域にて校正用画像が撮像されるようにすることによって、校正データ生成手段による校正データの生成が頻繁に実施されるようになり、カメラの位置ずれによって、表示画像が歪んだり、不鮮明になるのを防止できる。

また、使用者は、カメラの校正のために、修理工場等の所定の施設に車両を持ち込む必要がないので、車両用撮像システムの使い勝手を向上できる。
また、本発明の車載カメラの校正装置において、校正データ生成手段は、例えば、遺伝的アルゴリズム等の進化アルゴリズムに従い基準カメラパラメータを変位させることで、校正データを生成することから、車載カメラの位置ずれを適正に校正できる。

つまり、車載カメラの搭載位置（位置及び姿勢）のずれの要因には、車両から受ける振動等による経時的（換言すれば連続的）な要因と、車体が外部から受ける衝撃等によって生じる突発的（換言すれば離散的）な要因との２種類が考えられる。

これに対し、進化アルゴリズムでは、遺伝的アルゴリズムにおける交叉（クロスオーバ、局所探索）に代表される連続的な探索と、突然変異（ミューテーション）に代表される離散的な探索とを行うことができる。

従って、本発明のように、進化アルゴリズムを利用して、校正データの最適解を探索するようにすれば、車載カメラの位置ずれを効率よく最適に校正することが可能となる。

実施形態の車両用撮像システムの構成を表すブロック図である。車両へのカメラの搭載位置及びカメラの撮像領域を表す説明図である。図１の校正部にて実行される校正処理を表すフローチャートである。車両の出荷後に実施される校正動作を説明する説明図である。図４の校正動作で使用されるシード及びその操作を説明する説明図である。

以下に本発明の実施形態を図面と共に説明する。
なお、本発明は、下記の実施形態によって何ら限定して解釈されない。また、下記の実施形態の構成の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態である。また、特許請求の範囲に記載した文言のみによって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。また、下記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、これは本発明の理解を容易にする目的で使用しており、本発明の技術的範囲を限定する意図ではない。

図１に示すように、本実施形態の車両用撮像システムは、車両周囲を撮像するための４つのカメラ１２、１４、１６、１８と、各カメラ１２〜１８による撮像画像から俯瞰画像を生成してディスプレイ３０に表示させる画像処理用の電子制御装置（ＥＣＵ）２０と、を備える。

図２に示すように、４つのカメラ１２〜１８は、車両２の前方、後方、左側方、右側方をそれぞれ撮像できるように、フロントカメラ、リアカメラ、レフトカメラ、ライトカメラとして、車両２の前・後・左・右にそれぞれ取り付けられている。

各カメラ１２〜１８は、図２に点線で示すように、車両２の前方、後方、左側方、右側方を撮像領域として、車両周囲を撮像するためのものである。そして、各カメラ１２〜１８の撮像領域には、車両２の左前方、左後方、右前方、右後方で隣接するカメラの撮像領域と重なる重複領域６が設定されている。

また、各カメラ１２〜１８の車両２への搭載位置（取付位置及び姿勢）は、各カメラ１２〜１８の撮像領域が上記のようになるよう予め設定されている。そして、各カメラ１２〜１８の実際の取付位置及び姿勢（換言すれば撮像方向）は、その設定された搭載位置に基づき製造工場若しくは修理工場等で調整される。

一方、ＥＣＵ２０は、各カメラ１２〜１８の取付位置及び姿勢を基準カメラパラメータとして、各カメラ１２〜１８による撮像画像を視点変換し、合成することで、俯瞰画像を生成する。

なお、基準カメラパラメータは、例えば、各カメラ１２〜１８の車両２における取付位置、及び、車両の前後、左右、上下の３軸方向の取付角度を数値化したものである。
そして、ＥＣＵ２０が、各カメラ１２〜１８による撮像画像を視点変換する際には、基準カメラパラメータに基づき設定された変換データを利用する。

このため、基準カメラパラメータが、各カメラ１２〜１８の実際の取付状態からずれていると、撮像画像の視点変換を正確に実施することができず、最終的に得られる俯瞰画像に歪みが生じることになる。

そこで、車両の製造工場や修理工場等では、各カメラ１２〜１８の位置調整後、図３に示すように、車両の周囲に、所定図柄（図では正方形状）の校正用基準パターン４を配置して、各カメラ１２〜１８の搭載位置校正（所謂キャリブレーション）を行うことで、基準カメラパラメータを算出し、変換データを設定する。

このキャリブレーションは、車両周囲の校正用基準パターン４を各カメラ１２〜１８で撮像して、その撮像画像を視点変換した変換画像内の校正用基準パターン４と、校正用基準パターン４の実際の配置位置とのずれを検出することにより行う。

このため、図１に示すように、ＥＣＵ２０には、各カメラ１２〜１８による撮像画像を視点変換するための画像変換部２２に加えて、各カメラ１２〜１８の搭載位置を校正するカメラ校正部２８が備えられている。

カメラ校正部２８は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を中心とする周知のマイクロコンピュータ（マイコン）にて構成されており、工場等で外部機器から入力される校正指令に従い、上述した搭載位置校正を行う。

また、カメラ校正部２８は、車両２が工場から出荷されて使用者が使用しているときにも、各カメラ１２〜１８の搭載位置校正を実施するようにされており、その実施条件を判定（本実施形態では車両の停止判定）するために、車速、ブレーキ信号等の車両状態を表す検出信号が、他の車両制御装置から入力される。

なお、カメラ校正部２８は、各カメラ１２〜１８の搭載位置校正を実施すると、その校正結果（換言すれば、各カメラ１２〜１８の基準搭載位置からのずれ）に基づき、画像変換部２２が各カメラ１２〜１８による撮像画像を視点変換するのに用いる変換データを更新する。

また、ＥＣＵ２０には、カメラ校正部２８が、画像変換部２２からの入力画像（俯瞰画像）の中から、ＲＯＭ若しくは不揮発性メモリに予め登録された所定の画像（上述した校正用基準パターン４等）を検出するのに用いる画像認識エンジン２４が備えられている。

また、ＥＣＵ２０には、カメラ校正部２８からの出力画像（俯瞰画像等）をディスプレイ３０に表示させるための表示制御部２６も備えられている。
次に、カメラ校正部２８にて各カメラ１２〜１８の搭載位置校正のために実行される校正処理を、図３に示すフローチャートに沿って説明する。

図１に示すように、カメラ校正部２８にて実行される校正処理は、車両２の製造工場若しくは修理工場等で実行されるＳ１１０〜Ｓ１３０（Ｓはステップを表す）の初期校正処理と、工場からの出荷後に実行されるＳ１４０〜Ｓ２００の自動校正処理とに分けられる。

Ｓ１１０〜Ｓ１３０の初期校正処理は、工場等で、車両２の周囲に図２に示した多数の校正用基準パターン４を配置した状態で、ＥＣＵ２０に校正指令が入力されることにより実行される処理であり、処理が開始されると、まずＳ１１０にて、各カメラ１２〜１８のキャリブレーションを実施する。

なお、この処理は、例えば、画像変換部２２に初期値となる変換データを入力して、各カメラ１２〜１８からの撮像画像を車両の上方から見た俯瞰画像に変換させ、その変換画像中の校正用基準パターンを、画像認識エンジン２４を利用して認識し、その認識した校正用基準パターンの位置及び形状と、実際の校正用基準パターンの位置及び形状のずれを検出することにより行われる。

そして、Ｓ１１０では、その校正結果に基づき、各カメラ１２〜１８の搭載位置（配置位置及び姿勢）を表す基準カメラパラメータｘ＝｛ｘ0,ｘ1,ｘ2,…,ｘn｝を算出すると共に、その基準カメラパラメータｘに基づき画像変換部２２の変換データを更新する。

こうして、各カメラ１２〜１８のキャリブレーションが実施されると、Ｓ１２０に移行し、車両２の出荷後の校正処理のために、基準カメラパラメータｘからの変位Δｘ＝｛Δｘ0,Δｘ1,Δｘ2,…,Δｘn｝を変数とするシードを初期化する。

このシードは、遺伝的アルゴリズムに従い各カメラ１２〜１８の基準搭載位置からの変位量を特定するためのものであり、Ｓ１２０では、図５の（ａ）に例示するように、複数、ランダムに設定される。なお、この複数のシードの内、少なくとも一つは、全ての変位が「０」となるよう設定される。

そして、続くＳ１３０では、画像変換部２２を介して得られる各カメラ１２〜１８による重複領域６内の画像（例えば校正用基準パターン４の画像）を、Ｓ１２０にて初期設定した各シード（各カメラ１２〜１８の変位量）に基づき変形させて、その変形画像の基準画像との一致度合いを表すマッチングスコアを算出し、ソートする。

なお、本実施形態では、マッチングスコアは、対象領域に対して、その画像を構成する各ピクセルの分散の加重平均として求められ、マッチングスコアが最小のもの（初期校正処理では、Δｘ＝｛０,０,０,…,０｝）が現在の各カメラ１２〜１８の搭載位置に対応した最適解となる。

そして、Ｓ１３０では、図５の（ｂ）に示すように、シード毎に算出したマッチングスコアの内、最適解に近い最小のものから順に並べ（ソート）、不揮発性メモリに記憶する。

次に、工場からの出荷後、車両２の通常使用時に実行される自動校正処理では、まずＳ１４０にて、他の車両制御装置から入力される車速、ブレーキ信号等に基づき、車両２が停車中か否かを判断することで、車両２が停車されるのを待つ。

そして、車両２が停車されると、Ｓ１５０に移行し、画像変換部２２を介して得られる各カメラ１２〜１８による重複領域６内の画像の中に、ＲＯＭ又は不揮発性メモリに登録された校正用パターンがあるか否かを判断することで、各カメラ１２〜１８にて校正用パターンが撮像されるのを待機する。

この校正用パターンは、例えば、路面上に描かれた横断歩道や停車線の画像、車両が停車する場所に設置される道路標識の画像、車両２の保管場所周囲の画像等、複数の画像を校正用画像として予め登録したものである。

そして、Ｓ１５０では、その複数の校正用パターンの少なくとも一つが、各カメラ１２〜１８により撮像された重複領域６内の画像の中に存在するか否かを、画像認識エンジン２４を利用して判定する。

なお、重複領域の画像の中から校正用パターンの画像を検出する際には、ブースティングに基づいた特徴量を用いることで、校正用パターンを容易に検出することができる。
Ｓ１５０にて、各カメラ１２〜１８により撮像された重複領域６内の画像の中に、校正用パターンが存在すると判定されると、Ｓ１６０に移行する。Ｓ１６０では、図５（ｃ）に示すように、不揮発性メモリに記憶されている複数のシードに対し、それぞれ、交叉、突然変異、コピー、といった遺伝的アルゴリズムにおける操作を行う。

次に、Ｓ１７０では、図４に例示するように、画像変換部２２を介して得られる各カメラ１２〜１８による重複領域６の画像の中から、校正用パターン８の画像を含む所定領域９をマッチングスコア算出対象領域として抽出し、その抽出画像をＳ１６０にて操作した複数のシードに基づき変形させて、マッチングスコアを算出し、その算出結果に基づき、各シードをソートする。

なお、このマッチングスコアの算出は、対象となる重複領域６を撮像した２つのカメラから得られる画像の一致度合いを、その画像を構成する各ピクセルの分散の加重平均として求めることにより実施される。そして、Ｓ１７０では、その算出したマッチングスコアが最小となるシード順に、各シードをソートする。

このように、Ｓ１６０及びＳ１７０にて、遺伝的アルゴリズムに基づく各シードの操作、マッチングスコアの算出、及び、各シードのソートを実施すると、Ｓ１８０に移行し、この一連の処理（特許請求の範囲に記載の探索動作）を、予め設定された複数回（Ｎ回）実施したか否かを判断する。

そして、Ｓ１８０にて、上記一連の処理（探索動作）をＮ回実施していないと判断されると、再度１６０に移行して、Ｓ１６０及びＳ１７０の処理を再度実行し、Ｓ１８０にて、上記一連の処理をＮ回実施したと判断されると、Ｓ１９０に移行する。

Ｓ１９０では、上記Ｎ回の処理によって得られたマッチングスコアの中で最小となるマッチングスコアが、予め設定された閾値未満であるか否かを判断する。
そして、最小のマッチングスコアが閾値未満でなければ、そのままＳ１４０に移行し、最小のマッチングスコアが閾値未満であれば、その最小のマッチングスコアに対応するシードを、現在の各カメラ１２〜１８の基準位置（基準カメラパラメータ）からの変位量を表す最適解（変位）として選択し、Ｓ１４０に移行する。

なお、このように選択されたシードは、画像変換部２２の変換データを更新するための校正データとして利用される。
以上説明したように、本実施形態の車両用撮像システムにおいては、ＥＣＵ２０内のカメラ校正部２８が、工場等で、校正用基準パターンを利用してカメラ１２〜１８の搭載位置校正（キャリブレーション）を行う初期校正処理を実行することで、基準カメラパラメータを求める。

そして、初期校正処理では、出荷後の搭載位置校正のために、その基準カメラパラメータに対する変位を変数とする複数のシードを初期設定する。
また、車両２の出荷後は、ＥＣＵ２０内のカメラ校正部２８が自動校正処理を実行することで、各カメラ１２〜１８の撮像領域が重複する重複領域６内で、予め登録された校正用パターンが撮像される度に、遺伝的アルゴリズムに基づき各シードを操作する。

そして、自動校正処理では、その操作後の各シード（カメラの基準位置からの変位）に対応した重複領域６内の画像同士の一致度をマッチングスコアとして算出し、画像同士が最も一致するシードを、校正データとして設定する。

従って、本実施形態の車両用撮像システムによれば、車両２の通常使用時に、カメラ１２〜１８の搭載位置の校正が自動で、且つ、頻繁に実施されることになり、カメラ１２〜１８の位置ずれによって、表示画像が歪んだり、不鮮明になるのを防止できる。

また、使用者は、カメラ１２〜１８の搭載位置校正のために、修理工場等に車両を持ち込む必要がないので、車両用撮像システムの使い勝手を向上できる。
また、自動校正処理では、遺伝的アルゴリズムを利用して、各シードを操作することで、各カメラ１２〜１８の基準位置（基準カメラパラメータ）からの位置ずれ量を探索することから、各カメラ１２〜１８の位置ずれ量を正確に求めることができる。

つまり、上述したように、カメラ１２〜１８の搭載位置（位置及び姿勢）のずれの要因には、連続的な要因と離散的な要因との２種類が考えられるが、遺伝的アルゴリズムによれば、各シードの交叉によって連続的な探索を行い、各シードの突然変異によって離散的な探索を行うことができるので、各カメラ１２〜１８の搭載位置の校正を、効率よく最適に実行することが可能となる。

以上、本発明の一実施形態を説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内にて、種々の態様をとることができる。
例えば、自動校正処理で使用する校正用パターンとしては、例えば、使用者が頻繁に車両２を駐車させる場所の画像等、車両の駐・停車時に重複領域６内で撮像される特定画像の特徴パターンを、重複領域６毎に一つ登録しておくだけでもよい。

また、上記実施形態では、自動校正処理では、遺伝的アルゴリズムを利用して、カメラ１２〜１８の搭載位置を校正するものとして説明したが、遺伝的プログラミング、進化的戦略、進化的プログラミング等、遺伝的アルゴリズムとは異なる進化アルゴリズムを利用してもよい。

一方、上記実施形態では、４つのカメラ１２〜１８を利用して、車両２の上方から周囲を見た俯瞰画像を生成し、ディスプレイ３０に表示する、車両用撮像システムについて説明した。しかし、本発明は、例えば、一対のカメラを利用して３次元画像を生成する撮像システム等、複数の車載カメラを利用して表示画像を生成する撮像システムであれば、上記実施形態と同様に適用することができる。

２…車両、４…校正用基準パターン、６…重複領域、８…校正用パターン、９…所定領域、１２〜１８…カメラ、２０…ＥＣＵ、２２…画像変換部、２４…画像認識エンジン、２６…表示制御部、２８…カメラ校正部、３０…ディスプレイ。

Claims

車両周囲を撮像するため、撮像領域の一部が重複するように車両に搭載された複数のカメラ（１２，１４，１６，１８）と、
前記複数のカメラの位置及び姿勢を表す基準カメラパラメータに基づき設定された変換データを用いて、前記複数のカメラによる撮像画像から、車両周囲を所定の視点から見た表示画像を生成する表示画像生成手段（２２）と、
を備えた車両用撮像システムにおいて、前記基準カメラパラメータにて特定される前記複数のカメラの基準位置からの位置ずれを校正する、車載カメラの校正装置（２８）であって、
前記複数のカメラの撮像領域の一部が重複する重複領域にて、所定の校正用画像が撮像されたか否かを判定する判定手段（２８、Ｓ１５０）と、
前記判定手段にて前記校正用画像が撮像されたと判定されると、所定の進化アルゴリズムに従い前記基準カメラパラメータを変位させることで、当該校正用画像を撮像した複数のカメラによる前記重複領域の撮像画像の中で、前記校正用画像の位置及び形状が最も一致する前記基準カメラパラメータの変位量を探索し、該変位量を、当該複数のカメラの校正データとして設定する校正データ生成手段（２８、Ｓ１６０〜Ｓ２００）と、
を備えたことを特徴とする車載カメラの校正装置。
前記校正データ生成手段は、
前記複数のカメラの基準カメラパラメータからの変位を変数とする複数のシードを備え、前記進化アルゴリズムとして遺伝的アルゴリズムを利用することで、該複数のシードに対し、交叉、突然変異、コピーの何れかの操作を行い、該操作後のシード毎に、前記基準カメラパラメータを変位させたときに前記複数のカメラにより得られる前記重複領域内の校正用画像の位置及び形状が最も一致する基準カメラパラメータの変位量を探索する探索動作を複数回行い、該複数回の探索動作によって得られたシードの内、前記重複領域内の校正用画像が最も一致するシードを、前記校正データとして設定することを特徴とする請求項１に記載の車載カメラの校正装置。
前記判定手段は、予め設定された複数種類の校正用画像を記憶しており、前記表示画像生成手段にて生成された表示画像を監視することで、該複数の校正用画像の一つが前記重複領域内に存在するか否かを判定することで、前記重複領域にて所定の校正用画像が撮像されたか否かを判定することを特徴とする請求項１又は請求項２に記載の車載カメラの校正装置。