JP5173551B2 - 車両周辺監視装置およびこれに適用されるカメラ取り付け位置・姿勢情報の設定修正方法 - Google Patents

Description

本発明は、車両周辺監視装置およびこれに適用されるカメラ取り付け位置・姿勢情報の設定修正方法に係り、特に、車両周辺画像の生成に用いられる車載カメラの取り付け位置・姿勢情報の設定を修正するのに好適な車両周辺監視装置およびこれに適用されるカメラ取り付け位置・姿勢情報の設定修正方法に関する。

近年、車載カメラ技術および画像処理技術の進展により、駐車場等における自車両の安全かつ円滑な運転操作を支援するシステムとして、自車両に搭載された複数台の車載カメラによる自車両の周辺の撮影映像に基づいて、自車両の周辺を自車両の上方から見下ろしたような画像である車両周辺画像を生成し、生成された車両周辺画像を車内のディスプレイに表示する車両周辺監視装置が採用されるようになった。

図１４は、このような車両周辺監視装置によってディスプレイに表示される車両周辺画像１の一例として、駐車場において表示される車両周辺画像１を示したものである。

図１４に示すように、車両周辺画像１は、自車両を示す略矩形のイラスト画像２と、このイラスト画像２の四辺を囲む前方視点変換画像３、左側方視点変換画像５、右側方視点変換画像６および後方視点変換画像７とが繋ぎ合わされるようにして形成されている。

ここで、前方視点変換画像３は、車載カメラとしての自車両の前部（例えば、エンブレム部）に取り付けられたフロントカメラの撮影映像に基づいて生成されるようになっており、この前方視点変換画像３によって、自車両の前方を自車両の上方から見下ろした状態として監視することが可能とされている。この前方視点変換画像３は、その前端辺が車両周辺画像１の前端辺の一部をなし、また、その後端辺が、イラスト画像２の前端辺に繋ぎ合わされており、全体的には、その前端辺が長尺な上底、その後端辺が短尺な下底とされた台形状を呈している。

また、左側方視点変換画像５は、車載カメラとしての自車両の左側部（例えば、左ドアミラー部）に取り付けられた左サイドカメラの撮影映像に基づいて生成されるようになっており、この左側方視点変換画像５によって、自車両の左側方を自車両の上方から見下ろした状態として監視することが可能とされている。この左側方視点変換画像５は、その右端辺がイラスト画像２の左端辺に繋ぎ合わされているとともに、その右端辺の前端に連なる端辺に相当する第１の繋ぎ目８において、前方視点変換画像３の左端辺と繋ぎ合わされている。この第１の繋ぎ目８は、イラスト画像２における左前方の角部から左前方に向かって延びる直線形状を呈している。第１の繋ぎ目８の前端部は、車両周辺画像１の前端辺に至っている。

さらに、右側方視点変換画像６は、車載カメラとしての自車両の右側部（例えば、右ドアミラー部）に取り付けられた右サイドカメラの撮影映像に基づいて生成されるようになっており、この右側方視点変換画像６によって、自車両の右側方を自車両の上方から見下ろした状態として監視することが可能とされている。この右側方視点変換画像６は、その左端辺がイラスト画像２の右端辺に繋ぎ合わされているとともに、その左端辺の前端に連なる端辺に相当する第２の繋ぎ目１０において、前方視点変換画像３の右端辺と繋ぎ合わされている。この第２の繋ぎ目１０は、イラスト画像２における右前方の角部から右前方に向かって延びる直線形状を呈している。第２の繋ぎ目１０の前端部は、車両周辺画像１の前端辺に至っている。

さらにまた、後方視点変換画像７は、車載カメラとしての自車両の後部（例えば、ナンバープレートの取付部）に取り付けられたバックカメラの撮影映像に基づいて生成されるようになっており、この後方視点変換画像７によって、自車両の後方を自車両の上方から見下ろした状態として監視することが可能とされている。この後方視点変換画像７は、その前端辺がイラスト画像２の後端辺に繋ぎ合わされているとともに、その前端辺の左端に連なる端辺に相当する第３の繋ぎ目１１において、左側方視点変換画像５の後端辺と繋ぎ合わされている。この第３の繋ぎ目１１は、イラスト画像２における左後方の角部から左後方に向かって延びる直線状を呈している。また、この第３の繋ぎ目１１の後端部は、車両周辺画像１の左端辺に至っている。さらに、後方視点変換画像７は、その前端辺の右端に連なる端辺に相当する第４の繋ぎ目１２において、右側方視点変換画像６の後端部と繋ぎ合わされている。この第４の繋ぎ目１２は、イラスト画像２における右後方の角部から右後方に向かって延びる直線状を呈している。また、この第４の繋ぎ目１２の後端部は、車両周辺画像１の右端辺に至っている。

このような車両周辺画像１を表示する車両周辺監視装置は、自車両の周囲３６０°の方向を監視可能とする観点から、車載カメラとして、魚眼レンズ等の広角レンズを備えた広角カメラを用いることが多かった。

このような車載カメラを用いて車両周辺画像１を生成する場合には、図１５に示すように、ＣＣＤ等の車載カメラの撮像面１４（図１５においては、バックカメラの撮像面）に結像された撮影映像１５のうち、車両周辺画像１の生成に使用される所定の使用映像領域１６内の映像のみを切り出し、切り出された映像を、この車載カメラに対応する視点変換画像３，５，６，７へと視点変換するようになっていた。各車載カメラの撮影映像に基づいて生成された視点変換画像３，５，６，７は、生成と同時に互いに合成される（繋ぎ合わされる）ことによって車両周辺画像１を形成することになる。

ただし、使用映像領域１６内の映像は、車載カメラのレンズの歪曲収差に起因して歪みを有したものになっているため、視点変換の際には、使用映像領域１６内の映像に対する歪み補正処理を行うことによって歪みを解消させることが必要であった。

そして、この歪み補正処理には、歪み補正値として、車載カメラの内部パラメータが用いられていた。歪み補正処理を行うための内部パラメータとしては、例えば、図１６に示すような画像主点（Ｃｘ，Ｃｙ）および歪み補正パラメータ（ｋ_１，ｋ_２，ｋ_３，ｋ_４，ｋ_５）が用いられていた。

ここで、図１６は、三次元ワールド座標系と、二次元座標系とされた車載カメラの撮像面１４（デジタル画像平面）の座標系（以下、画像座標系と称する）との関係を示している。図１６に示すように、三次元ワールド座標系における原点と、画像座標系における原点とは、ともにＺ軸上に位置されており、このＺ軸は、車載カメラのレンズとしての魚眼レンズ１８の光軸に一致している。

そして、三次元空間における点Ｐは、魚眼レンズ１８を通して、撮像面１４上に点ｐとして射影されることになる。

このとき、像高ｒ（θ）は、内部パラメータ、点Ｐからの光のＺ軸への入射角（画角）θ〔°〕、および、魚眼レンズ１８の焦点距離〔ｍｍ〕を用いて次式のように表されることになる。

ｒ（θ）＝２ｆｔａｎ（θ／２）
＝ｋ_１θ＋ｋ_２θ^３＋ｋ_３θ^５＋ｋ_４θ^７＋ｋ_５θ^９

車両周辺監視装置においては、このような内部パラメータが関与する像高特性によって撮影映像に所定の歪みが生じていることを把握した上で、内部パラメータを用いることにより、使用映像領域１６内の映像の歪みが視点変換画像３，５，６，７（すなわち車両周辺画像１）の状態において解消されるように歪み補正処理を行うようになっていた。

さらに、車両周辺監視装置においては、このような歪み補正処理によって歪みが除去されているだけでなく、各視点変換画像３，５，６，７同士が連続的な画像として繋がり合っている車両周辺画像１を表示することが重要とされていた。

このため、車両周辺監視装置においては、使用映像領域１６内の映像を視点変換画像３，５，６，７へと変換する際には、各車載カメラの外部パラメータを用いることによって、視点変換画像３，５，６，７同士が繋ぎ目８，１０，１１、１２において適切に繋がるように視点変換を行うようになっていた。

ここで、外部パラメータは、自車両における車載カメラの取り付け位置および取り付け姿勢の情報であり、このような外部パラメータとしては、三次元ワールド座標系における車載カメラの位置のＸ座標、Ｙ座標およびＺ座標（ｔｘ、ｔｙ、ｔｚ）および三次元ワールド座標系における車載カメラの光軸の向きについてのＸ座標軸、Ｙ座標軸およびＺ座標軸の各座標軸回りの回転角（ｒｘ、ｒｙ、ｒｚ）が知られている。

特開２００７−１５８６９５号公報 特開２００４−２００８１９号公報 特開２００１−１１６５１５号公報

ところで、車載カメラは、必ずしも適切な取り付け位置および取り付け姿勢で自車両に取り付けられているとは限らず、位置ずれや回転等の何らかの取り付け誤差が生じることがあった。

そして、このような取り付け誤差が生じているにもかかわらず、視点変換の際に、外部パラメータとして設計値のみを用いる場合には、各視点変換画像３，５，６，７に傾き等のずれが生じ、各視点変換画像３，５，６，７同士が適切に繋がり合わない粗悪な車両周辺画像１が生成されることになってしまう。

そこで、従来から、車両周辺監視装置においては、例えば、図１７に示すようなターゲットボード２０と称される規則的なパターン２１が形成された計測用具を用いて外部パラメータを実測し、実測された外部パラメータを車両周辺画像１の生成（視点変換）に用いるようになっていた。

このようなターゲットボード２０を用いて外部パラメータを実測するには、まず、図１８に示すように、複数台の車載カメラが取り付けられた自車両２３を平坦な作業面２４上に位置させるとともに、ターゲットボード２０を、作業面２４上における各車載カメラの視野角の中心に該当する所定の位置に設置した上で、ターゲットボード２０を車載カメラによって撮影する。

このターゲットボード２０の撮影によって、図１９に示すように、各車載カメラの使用映像領域１６の中央には、ターゲットボード２０の映像２０’が結像されることになる。

そして、このターゲットボード２０の映像２０’上の各パターン２１’の結像位置が、正規の結像位置（現在の外部パラメータが設計値通りであると仮定した場合におけるパターン２１’の結像位置）からどれだけずれているかを検出する。

そして、この検出結果に基づいて、外部パラメータの設計値からの誤差量を算出し、算出された誤差量を設計値に加算することによって、現在の外部パラメータの実測値を得るようになっていた。

しかしながら、このようなターゲットボード２０を用いた外部パラメータの実測においては、ターゲットボード２０の映像２０’上の各パターン２１’が特に広画角の領域において大きく歪んでいるため、広範な使用映像領域１６内の撮影映像に基づいて視点変換を行うような場合には、特に広画角の領域において微妙な実測誤差があることにより、視点変換画像３，５，６，７同士が適切に繋がり合わずにずれが生じてしまっていた。

そこで、本発明は、このような問題点に鑑みなされたものであり、視点変換画像同士のずれが少ない視認性に優れた車両周辺画像を低コストで表示することができる車両周辺監視装置およびこれに適用されるカメラ取り付け位置・姿勢情報の設定修正方法を提供することを目的とするものである。

前述した目的を達成するため、本発明に係る車両周辺監視装置は、自車両における所定の位置に取り付けられるようにして前記自車両に搭載された広角の視野を有する複数台の車載カメラによる前記自車両の周辺の撮影映像に基づいて、前記自車両の周辺を前記自車両の上方から見下ろしたような画像である車両周辺画像を生成して表示部に表示する車両周辺監視装置であって、車両周辺監視装置本体は、前記複数台の車載カメラのそれぞれの撮影映像から、前記車両周辺画像の生成に使用される各車載カメラごとの所定の使用映像領域内の映像をそれぞれ切り出す映像切り出し手段と、この映像切り出し手段によって切り出された各車載カメラごとの前記使用映像領域内の映像に対して、設定されている各車載カメラごとの所定の歪み補正値を用いた各車載カメラごとの歪み補正処理をそれぞれ行う歪み補正手段と、この歪み補正手段による前記歪み補正処理に用いられる各車載カメラごとの前記歪み補正値をそれぞれ設定する歪み補正値設定手段と、前記歪み補正手段による各車載カメラごとの前記歪み補正処理によってそれぞれ得られる映像を、設定されている各車載カメラの取り付け位置・姿勢情報を用いて当該映像が示す領域を前記車両の上方の所定の視点から見たような画像である視点変換画像へとそれぞれ視点変換することによって、各車載カメラごとの前記視点変換画像が互いに繋ぎ合わされた前記車両周辺画像を生成する視点変換手段と、この視点変換手段による前記視点変換に用いられる前記各車載カメラの取り付け位置・姿勢情報を設定する取り付け位置・姿勢情報設定手段と、この取り付け位置・姿勢情報設定手段による前記取り付け位置・姿勢情報の設定を修正可能とされた取り付け位置・姿勢情報設定修正手段とを備えており、前記取り付け位置・姿勢情報設定修正手段は、直線状に配列された複数の特徴点を抽出可能とされた既知の形状を有する第１の撮影対象物が、前記自車両の周辺における所定の位置に設置された作業環境の下で、前記第１の撮影対象物が映し込まれた各車載カメラの撮影映像に基づいて、前記第１の撮影対象物の画像がそれぞれ含まれた各車載カメラごとの前記視点変換画像が繋ぎ合わされた車両周辺画像が生成された後に、前記第１の撮影対象物の画像から前記特徴点を抽出する特徴点抽出手段と、この特徴点抽出手段の抽出結果に基づいて、任意の１個の視点変換画像についての他の視点変換画像との繋ぎ目部分における前記特徴点の配列状態と、前記繋ぎ目部分における前記第１の撮影対象物の正規の形状とを比較することによって、前記繋ぎ目部分における前記特徴点の位置の誤差を検出する誤差検出手段と、この誤差検出手段によって検出された前記誤差を解消することが可能な前記繋ぎ目部分に対応する第１の取り付け位置・姿勢情報の補正量を算出する第１の補正量算出手段と、前記視点変換画像における前記特徴点の正規の配列方向に間隔を設けるように形成された一対の前記繋ぎ目部分のそれぞれについての前記第１の補正量算出手段の算出結果を用いた線形的な補間によって、当該視点変換画像における前記一対の前記繋ぎ目部分に挟まれた前記繋ぎ目部分以外の領域における前記特徴点の位置の誤差を解消することが可能な当該繋ぎ目部分以外の領域に対応する第２の取り付け位置・姿勢情報の補正量を算出する第２の補正量算出手段と、前記第１の取り付け位置・姿勢情報の補正量に基づいて、前記取り付け位置・姿勢情報設定手段によって現在設定されている前記取り付け位置・姿勢情報における前記繋ぎ目部分に対応する情報を補正する第１の補正手段と、前記第２の取り付け位置・姿勢情報の補正量に基づいて、前記取り付け位置・姿勢情報設定手段によって現在設定されている前記取り付け位置・姿勢情報における前記繋ぎ目部分以外の領域に対応する情報を補正する第２の補正手段とを備えた点にある。

そして、このような構成によれば、 取り付け位置・姿勢情報設定修正手段により、車載カメラの取り付け位置情報および取り付け姿勢情報（以下、取り付け位置・姿勢情報と称する）の設定の修正を、第１の撮影対象物の画像が含まれた歪み補正処理後の車両周辺画像に基づいて行うことができ、この際に、繋ぎ目部分については、第１の撮影対象物の画像における特徴点の位置の誤差を検出し、検出された誤差を解消する補正によって適切な取り付け位置・姿勢情報を実測する一方で、視点変換画像における繋ぎ目部分以外の領域については、線形的な補間による補正で済ませることができるので、視点変換画像同士のずれが少ない視認性に優れた車両周辺画像を低コストで表示することができる。

また、前記第１の撮影対象物は、前記自車両が載置されている平坦な作業面上における前記自車両の周辺に、そのパターン面が前記作業面に平行になるように設置された格子パターンとされ、前記特徴点は、前記格子パターンにおける格子点とされていることが好ましい。

そして、このような構成によれば、第１の撮影対象物として簡易な格子パターンを用いることによって、視点変換画像上において特徴点（格子点）を簡便かつ確実に検出することができるので、コストをさらに削減することができる。

さらに、前記取り付け位置・姿勢情報設定手段によって現在設定されている前記取り付け位置・姿勢情報は、取り付け位置・姿勢情報の設計値とされていてもよい。

そして、このような構成によれば、実際の車載カメラの取り付け位置および取り付け姿勢からの誤差が生じていない取り付け位置・姿勢情報の設計値については、引き続き視点変換に活用することができるので、コストをさらに削減することができる。

さらにまた、前記取り付け位置・姿勢情報は、前記車載カメラの外部パラメータとされていることが好ましい。

そして、このような構成によれば、車載カメラの外部パラメータを用いることによって、視点変換をさらに適切に行うことができる。

また、前記歪み補正値設定手段による前記歪み補正値の設定を修正可能とされた歪み補正値設定修正手段を備え、前記歪み補正値設定修正手段は、既知の形状を有する第２の撮影対象物が前記自車両の周辺に設置された作業環境の下で、前記車載カメラの撮影映像から、前記第２の撮影対象物が映し込まれた前記使用映像領域内の映像が切り出された後に、前記歪み補正手段を制御することにより、前記歪み補正手段に、歪み補正値の設定修正作業用の歪み補正処理として、前記歪み補正値設定手段によって現在設定されている第１の歪み補正値を用いた当該使用映像領域内の映像に対する歪み補正処理を行わせる歪み補正制御手段と、前記設定修正作業用の歪み補正処理によって得られる映像上、または、この映像に対する前記視点変換手段による前記視点変換によって得られた画像上における前記第２の撮影対象物の形状と、前記第２の撮影対象物の正規の形状とを比較することによって、前記設定修正作業用の歪み補正処理によって得られる映像、または、この映像に対する前記視点変換によって得られた画像から、当該歪み補正処理が正確に行われずに歪みが残存している当該映像内または当該画像内の領域である歪み領域を、この歪み領域における歪みの残存量とともに検出する歪み領域検出手段と、この歪み領域検出手段によって検出された前記歪み領域における前記歪みを補正することが可能な追加補正量を、前記歪みの残存量に基づいて求めた上で、求められた前記追加補正量を前記第１の歪み補正値に加算することによって、第２の歪み補正値を算出する歪み補正値算出手段と、前記歪み補正値設定手段を制御することにより、前記歪み補正値設定手段に、前記歪み補正値算出手段によって算出された前記第２の歪み補正値を、前記使用映像領域のうちの前記歪み領域に対応する特定の映像領域内の映像に対する前記歪み補正処理に用いられる前記歪み補正値として新たに設定させるとともに、前記使用映像領域のうちの前記特定の映像領域以外の映像領域については、前記第１の歪み補正値を引き続き前記歪み補正処理に用いられる前記歪み補正値として設定させ続ける設定制御手段とを備えていることによって、前記特定の映像領域に対応した前記歪み補正値の設定のみを修正するように形成され、前記取り付け位置・姿勢情報設定修正手段は、前記歪み補正値設定修正手段による前記歪み補正値の設定修正作業後における前記歪み補正処理を経て生成された車両周辺画像に基づいて、取り付け位置・姿勢情報の設定を修正するように形成されていることが好ましい。

そして、このような構成によれば、現在設定されている歪み補正値に誤差が生じている場合においても、歪み補正値設定修正手段によって歪み補正値の設定を低コストに修正した上で、取り付け位置・姿勢情報設定修正手段により、歪み補正値の設定修正作業後における歪み補正処理を経て得られた車両周辺画像に基づいて、車載カメラの取り付け位置・姿勢情報の設定の修正をさらに適切に行うことができる。

さらに、前記第２の撮影対象物は、前記第１の撮影対象物とされていることが好ましい。

そして、このような構成によれば、車載カメラの取り付け位置・姿勢情報の設定の修正と、歪み補正値の設定の修正とを、同一の撮影対象物を用いて行うことができるので、コストをさらに削減することができる。

さらにまた、前記第１の歪み補正値は、歪み補正値の設計値とされていることが好ましい。

そして、このような構成によれば、歪み補正値の設計値を有効に活用することができ、コストをさらに削減することができる。

また、前記歪み補正値は、前記車載カメラの内部パラメータとされていることが好ましい。

そして、このような構成によれば、歪み補正値として車載カメラの内部パラメータを用いることにより、適切な歪み補正処理を行うことができる。

本発明に係るカメラ取り付け位置・姿勢情報の設定修正方法は、自車両における所定の位置に取り付けられた広角の視野を有する複数台の車載カメラによる前記自車両の周辺の撮影映像のそれぞれから、各車載カメラごとの所定の使用映像領域内の映像をそれぞれ切り出し、切り出された各車載カメラごとの前記使用映像領域内の映像に対して、設定されている各車載カメラごとの所定の歪み補正値を用いた各車載カメラごとの歪み補正処理をそれぞれ行い、各車載カメラごとの前記歪み補正処理によってそれぞれ得られる映像を、設定されている各車載カメラの取り付け位置・姿勢情報を用いて当該映像が示す領域を前記車両の上方の所定の視点から見たような画像である視点変換画像へとそれぞれ視点変換することによって、各車載カメラごとの前記視点変換画像が互いに繋ぎ合わされた前記自車両の周辺を前記自車両の上方から見下ろしたような画像である車両周辺画像を生成し、生成された前記車両周辺画像を表示部に表示する車両周辺監視装置において、前記視点変換に用いられる前記取り付け位置・姿勢情報の設定を修正するカメラ取り付け位置・姿勢情報の設定修正方法であって、直線状に配列された複数の特徴点を抽出可能とされた既知の形状を有する第１の撮影対象物が、前記自車両の周辺における所定の位置に設置された作業環境を設定し、この設定された作業環境の下で、前記第１の撮影対象物が映し込まれた各車載カメラの撮影映像に基づいて、前記第１の撮影対象物の画像がそれぞれ含まれた各車載カメラごとの前記視点変換画像が繋ぎ合わされた車両周辺画像を生成した後に、前記第１の撮影対象物の画像から前記特徴点を抽出し、この特徴点の抽出結果に基づいて、任意の１個の視点変換画像についての他の視点変換画像との繋ぎ目部分における前記特徴点の配列状態と、前記繋ぎ目部分における前記第１の撮影対象物の正規の形状とを比較することによって、前記繋ぎ目部分における前記特徴点の位置の誤差を検出し、この検出された前記誤差を解消することが可能な前記繋ぎ目部分に対応する第１の取り付け位置・姿勢情報の補正量を算出し、前記視点変換画像における前記特徴点の正規の配列方向に間隔を設けるように形成された一対の前記繋ぎ目部分のそれぞれについての第１の取り付け位置・姿勢情報の算出結果を用いた線形的な補間によって、当該視点変換画像における前記一対の前記繋ぎ目部分に挟まれた前記繋ぎ目部分以外の領域における前記特徴点の位置の誤差を解消することが可能な当該繋ぎ目部分以外の領域に対応する第２の取り付け位置・姿勢情報の補正量を算出し、前記第１の取り付け位置・姿勢情報の補正量に基づいて、現在設定されている前記取り付け位置・姿勢情報における前記繋ぎ目部分に対応する情報を補正し、前記第２の取り付け位置・姿勢情報の補正量に基づいて、現在設定されている前記取り付け位置・姿勢情報における前記繋ぎ目部分以外の領域に対応する情報を補正することを特徴としている。

そして、このような方法によれば、 車載カメラの取り付け位置・姿勢情報の設定の修正を、第１の撮影対象物の画像が含まれた歪み補正処理後の車両周辺画像に基づいて行うことができ、この際に、第１の撮影対象物の画像における特徴点の位置の誤差を検出し、検出された誤差を解消する補正によって適切な取り付け位置・姿勢情報を実測する視点変換画像内の領域を、繋ぎ目部分に限定することができ、視点変換画像における繋ぎ目部分によって挟まれた繋ぎ目部分以外の領域については、線形的な補間による補正で済ませることができるので、視点変換画像同士のずれが少ない視認性に優れた車両周辺画像を低コストで表示することができる。

また、前記第１の撮影対象物として、前記車両が載置されている平坦な作業面上における前記車両の周辺に、そのパターン面が前記作業面に平行になるように設置された格子パターンを用いるとともに、前記特徴点として、前記格子パターンにおける格子点を用いることが好ましい。

そして、このような方法によれば、第１の撮影対象物として簡易な格子パターンを用いることによって、視点変換画像上において特徴点を簡便かつ確実に検出することができるので、コストをさらに削減することができる。

さらに、前記現在設定されている前記取り付け位置・姿勢情報として、取り付け位置・姿勢情報の設計値を用いてもよい。

そして、このような方法によれば、実際の車載カメラの取り付け位置および取り付け姿勢からの誤差が生じていない取り付け位置・姿勢情報の設計値については、引き続き視点変換に活用することができるので、コストをさらに削減することができる。

さらにまた、前記取り付け位置・姿勢情報として、前記車載カメラの外部パラメータを用いることが好ましい。

そして、このような方法によれば、車載カメラの外部パラメータを用いることによって、視点変換をさらに適切に行うことができる。

また、既知の形状を有する第２の撮影対象物が前記自車両の周辺に設置された作業環境の下で、前記車載カメラの撮影映像から、前記第２の撮影対象物が映し込まれた前記使用映像領域内の映像が切り出された後に、歪み補正値の設定修正作業用の歪み補正処理として、現在設定されている第１の歪み補正値を用いた当該使用映像領域内の映像に対する歪み補正処理を行い、前記設定修正作業用の歪み補正処理によって得られる映像上、または、この映像に対する前記視点変換によって得られた画像上における前記第２の撮影対象物の形状と、前記第２の撮影対象物の正規の形状とを比較することによって、前記設定修正作業用の歪み補正処理によって得られる映像、または、この映像に対する前記視点変換によって得られた画像から、当該歪み補正処理が正確に行われずに歪みが残存している当該映像内または当該画像内の領域である歪み領域を、この歪み領域における歪みの残存量とともに検出し、検出された前記歪み領域における前記歪みを補正することが可能な追加補正量を、前記歪みの残存量に基づいて求めた上で、求められた前記追加補正量を前記第１の歪み補正値に加算することによって、第２の歪み補正値を算出し、算出された前記第２の歪み補正値を、前記使用映像領域のうちの前記歪み領域に対応する特定の映像領域内の映像に対する前記歪み補正処理に用いられる前記歪み補正値として新たに設定するとともに、前記使用映像領域のうちの前記特定の映像領域以外の映像領域については、前記第１の歪み補正値を引き続き前記歪み補正処理に用いられる前記歪み補正値として設定し続けることによって、前記特定の映像領域に対応した前記歪み補正値の設定のみを修正し、この修正が行われた後における前記歪み補正処理を経て生成された車両周辺画像に基づいて、取り付け位置・姿勢情報の設定を修正することが好ましい。

そして、このような方法によれば、現在設定されている歪み補正値に誤差が生じている場合においても、歪み補正値の設定を低コストに修正した上で、歪み補正値の設定修正作業後における歪み補正処理を経て得られた車両周辺画像に基づいて、車載カメラの取り付け位置・姿勢情報の設定の修正をさらに適切に行うことができる。

さらに、前記第２の撮影対象物として、前記第１の撮影対象物を用いることが好ましい。

そして、このような方法によれば、車載カメラの取り付け位置・姿勢情報の設定の修正と、歪み補正値の設定の修正とを、同一の撮影対象物を用いて行うことができるので、コストをさらに削減することができる。

さらにまた、前記第１の歪み補正値として、歪み補正値の設計値を用いることが好ましい。

そして、このような方法によれば、歪み補正値の設計値を有効に活用することができ、コストをさらに削減することができる。

また、前記歪み補正値として、前記車載カメラの内部パラメータを用いることが好ましい。

そして、このような方法によれば、歪み補正値として車載カメラの内部パラメータを用いることにより、適切な歪み補正処理を行うことができる。

本発明によれば、視点変換画像同士のずれが少ない視認性に優れた車両周辺画像を低コストで表示することができる。

以下、本発明に係る車両周辺監視装置の実施形態について、図１乃至図１１を参照して説明する。

なお、従来と基本的構成が同一もしくはこれに類する箇所については、同一の符号を用いて説明する。

図１に示すように、本実施形態における車両周辺監視装置（車両周辺監視装置本体）３２は、自車両に搭載された４台の車載カメラ３４，３５，３６，３７を有しており、これらの車載カメラ３４，３５，３６，３７は、いずれも、魚眼レンズ等の広角レンズを備えた広角の視野を有するカメラとされているとともに、ＣＣＤやＣＭＯＳ等の固体撮像素子（撮像面１４）を備えたデジタルカメラとされている。

これらの車載カメラ３４，３５，３６，３７のうちの１台は、自車両の前部に取付けられたフロントカメラ３４とされており、このフロントカメラ３４は、自車両の周辺における自車両の前方を中心とした所定の撮影領域を撮影するようになっている。他の３台の車載カメラ３５，３６，３７のうちの１台は、自車両の左側部に取り付けられた左サイドカメラ３５とされており、この左サイドカメラ３５は、自車両の周辺における自車両の左側方を中心とした所定の撮影領域を撮影するようになっている。他の２台の車載カメラ３６，３７のうちの１台は、自車両の右側部に取り付けられた右サイドカメラ３６とされており、この右サイドカメラ３６は、自車両の周辺における自車両の右側方を中心とした所定の撮影領域を撮影するようになっている。残りの１台の車載カメラ３７は、自車両の後部に取り付けられたバックカメラ３７とされており、このバックカメラ３７は、自車両の周辺における自車両の後方を中心とした所定の撮影領域を撮影するようになっている。

各車載カメラ３４，３５，３６，３７には、カメラ映像取得部３８が接続されており、このカメラ映像取得部３８は、各車載カメラ３４，３５，３６，３７から撮影映像を取得可能とされている。

カメラ映像取得部３８には、映像切り出し手段としての映像切り出し部４０が接続されており、この映像切り出し部４０には、カメラ映像取得部３８から、各車載カメラ３４，３５，３６，３７の撮影映像が入力されるようになっている。そして、映像切り出し部４０は、入力された各車載カメラ３４，３５，３６，３７の撮影映像のそれぞれから、車両周辺画像１（図１４参照）の生成に使用される車載カメラ３４，３５，３６，３７ごとの所定の使用映像領域１６内の映像を切り出すようになっている。なお、フロントカメラ３４の撮影映像における使用映像領域１６内の映像は、車両周辺画像１における前方視点変換画像３の生成に使用されることになる。また、左サイドカメラ３５の撮影映像における使用映像領域１６内の映像は、車両周辺画像１における左側方視点変換画像５の生成に使用されることになる。さらに、右サイドカメラ３６の撮影映像における使用映像領域１６内の映像は、車両周辺画像１における右側方視点変換画像６の生成に使用されることになる。さらにまた、バックカメラ３７の撮影映像における使用映像領域１６内の映像は、車両周辺画像１における後方視点変換画像７の生成に使用されることになる。

映像切り出し部４０には、歪み補正手段としての歪み補正部４２が接続されており、この歪み補正部４２には、映像切り出し部４０によって切り出された各車載カメラ３４，３５，３６，３７にそれぞれ対応する使用映像領域１６内の映像が入力されるようになっている。そして、歪み補正部４２は、映像切り出し部４０から入力された各車載カメラ３４，３５，３６，３７ごとの使用映像領域１６内の映像に対して、この歪み補正部４２に設定されている歪み補正値としての各車載カメラ３４，３５，３６，３７ごとの内部パラメータをそれぞれ用いた歪み補正処理を行うようになっている。すなわち、任意の１台の車載カメラ３４，３５，３６，３７に対応する使用映像領域１６内の映像（切り出された映像）に対しては、歪み補正部４２に設定されている当該１台の車載カメラ３４，３５，３６，３７の内部パラメータを用いた歪み補正処理が行われるようになっている。この歪み補正処理は、歪み補正処理前の使用映像領域１６内の映像における任意の画素と、この画素に歪み補正処理後において対応する画素との座標（ＸＹ座標）の対応関係が記述された所謂マッピングテーブルを用いることによって行うようにしてもよい。この場合、マッピングテーブルにおける前記座標の対応関係は、歪み補正部４２に設定されている内部パラメータを用いて規定されているものとなる。

歪み補正部４２には、歪み補正値設定手段としての内部パラメータ設定部４３が接続されており、この内部パラメータ設定部４３は、歪み補正部４２に対して、歪み補正処理に用いられる各車載カメラ３４，３５，３６，３７ごとの内部パラメータをそれぞれ設定するようになっている。

内部パラメータ設定部４３および各車載カメラ３４，３５，３６，３７には、内部パラメータ設計値記憶部４４が接続されており、この内部パラメータ設計値記憶部４４には、各車載カメラ３４，３５，３６，３７から取得された各車載カメラ３４，３５，３６，３７の内部パラメータの設計値が記憶されている。

内部パラメータ設定部４３は、車両周辺監視装置３２の製造当初には、内部パラメータ設計値記憶部４４に記憶された各車載カメラ３４，３５，３６，３７ごとの内部パラメータの設計値を、歪み補正部４２にそれぞれ設定するようになっている。

なお、内部パラメータ設定部４３によって歪み補正部４２に設定されている内部パラメータは、後述する内部パラメータの設定修正作業によって変更可能とされている。

歪み補正部４２には、視点変換手段としての視点変換部４６が接続されており、この視点変換部４６には、歪み補正部４２による各車載カメラ３４，３５，３６，３７ごとの内部パラメータを用いた歪み補正処理によってそれぞれ得られた映像が入力されるようになっている。そして、視点変換部４６は、歪み補正部４２から入力された各映像を、この視点変換部４６に設定されている各車載カメラ３４，３５，３６，３７の取り付け位置・姿勢情報としての外部パラメータを用いることによって、当該各映像が示す領域を自車両の上方の所定の視点から見たような画像へと視点変換するようになっている。

これにより、フロントカメラ３４に対応する歪み補正処理後の映像は、前方視点変換画像３へと視点変換されるようになっている。また、左サイドカメラ３５に対応する歪み補正処理後の映像は、左側方視点変換画像５へと視点変換されるようになっている。さらに、右サイドカメラ３６に対応する映像は、右側方視点変換画像６へと視点変換されるようになっている。さらにまた、バックカメラ３７に対応する映像は、後方視点変換画像７へと視点変換されるようになっている。このように、視点変換部４６による視点変換によって得られた各車載カメラ３４，３５，３６，３７ごとの視点画像３，５，６，７は、視点変換にともなって互いに合成される（繋ぎ合わされる）とともに、視点変換部４６によって独自に生成されたイラスト画像２にも合成されることによって、車両周辺画像１を形成するようになっている。

この視点変換は、視点変換前の映像における任意の画素と、この画素に視点変換後において対応する画素との座標（ＸＹ座標）の対応関係が記述された所謂マッピングテーブルを用いることによって行うようにしてもよい。

視点変換部４６には、取り付け位置・姿勢情報設定手段としての外部パラメータ設定部４８が接続されており、この外部パラメータ設定部４８は、視点変換部４６に対して、視点変換に用いられる各車載カメラ３４，３５，３６，３７ごとの外部パラメータをそれぞれ設定するようになっている。

外部パラメータ設定部４８および各車載カメラ３４，３５，３６，３７には、外部パラメータ設計値記憶部５０が接続されており、この外部パラメータ設計値記憶部５０には、各車載カメラ３４，３５，３６，３７から取得された各車載カメラ３４，３５，３６，３７の外部パラメータの設計値が記憶されている。

外部パラメータ設定部４８は、車両周辺監視装置３２の製造当初には、外部パラメータ設計値記憶部５０に記憶された各車載カメラ３４，３５，３６，３７ごとの外部パラメータの設計値を、視点変換部４６にそれぞれ設定するようになっている。

この外部パラメータ設定部４８によって視点変換部４６に設定されている外部パラメータは、後述する外部パラメータの設定の修正によって変更可能とされている。

視点変換部４６には、表示部としてのディスプレイ４７が接続されており、このディスプレイ４７には、視点変換部４６による視点変換によって生成された車両周辺画像１が表示されるようになっている。

そして、本実施形態における車両周辺監視装置３２は、取り付け位置・姿勢情報設定修正手段としての外部パラメータ設定修正部５１を備えており、この外部パラメータ設定修正部５１は、図２に示すような所定の作業環境の下で、外部パラメータ設定部４８による外部パラメータの設定状態（すなわち視点変換部４６に設定されている外部パラメータ）を修正可能とされている。

ここで、図２に示す作業環境は、既知の形状を有する第１の撮影対象物としての格子パターン５３が、自車両の周辺における所定の位置に、自車両を全周にわたって囲むように設置された作業環境とされている。図２に示すように、格子パターン５３は、自車両５４が載置されている平坦な作業面５５上における自車両５４の周辺に、そのパターン面が作業面５５に平行になるように設置されている。より具体的には、図２における格子パターン５３は、作業面５５上に、図２における縦方向に長尺な複数本の縦ラインパターン５７が、横方向に等間隔を設けて形成され、かつ、図２における横方向に長尺な複数本の横ラインパターン５８が、縦ラインパターン５７と直角に交差するようにして縦方向に等間隔を設けて形成されていることによって、個々の格子が正方形に形成されている。各ラインパターン５７，５８は、作業面５５上に塗装や貼り付けによって形成されたものであってもよい。また、自車両５４は、その全長方向が、縦ラインパターン５７の長手方向に平行に設置されている。

外部パラメータ設定修正部５１についてさらに詳述すると、図１に示すように、この外部パラメータ設定修正部５１は、特徴点抽出手段としての特徴点抽出部５２を有しており、この特徴点抽出部５２には、視点変換部４６が接続されている。

特徴点抽出部５２は、図２に示した作業環境の下で、図３に示すように、使用映像領域１６内に格子パターン５３が映し込まれた各車載カメラ３４，３５，３６，３７の撮影映像１５に基づいて、図４に示すような格子パターン５３の画像（以下、格子パターン画像５９と称する）がそれぞれ含まれた各視点変換画像３，５，６，７が繋ぎ合わされた車両周辺画像１が生成されると、この車両周辺画像１を視点変換部４６から取得するようになっている。

なお、図４に示す車両周辺画像１は、内部パラメータ設定部４３によって現在設定されている内部パラメータに誤差がなく、歪み補正部４２による歪み補正処理によって歪みが補正し切れているものの、外部パラメータ設定部４８によって現在設定されている外部パラメータに誤差があるため、視点変換画像３，５，６，７同士の間に傾き等による繋がりのずれが生じている画像とされている。

そして、特徴点抽出部５２は、視点変換部４６から取得された格子パターン画像５９を含む車両周辺画像１から、図５に示すように、特徴点として、格子パターン画像５９における格子点６０を抽出するようになっている。この格子点６０は、図２に示した格子パターン５３における縦ラインパターン５７と横ラインパターン５８との交点に車両周辺画像１上において対応する点である。なお、図５において、各視点変換画像３，５，６，７のそれぞれのほぼ中央部に示されている１点の格子点６０Ａは、各視点変換画像３，５，６，７の各格子点６０の座標を把握するための基準点として特別に認識されたものであり、この格子点６０Ａは、他の格子点６０とは違う色で設定されており、車両の前後左右の方向に各１点以上検出されるように設定されている。尚、各格子点６０Ａは既知の位置に設定されており、これらの格子点６０Ａを基準として、後述する各繋ぎ目部分３ａ，３ｂ，５ａ，５ｂ，６ａ，６ｂ，７ａ，７ｂに属する各格子点６０のそれぞれの位置を把握することができるようになっている。

なお、図５において、格子点６０の正規の配列方向は、図５における縦方向および横方向の二方向であるが、図５に示す各格子点６０の配列状態は、外部パラメータの誤差によって正規の配列方向から傾きを有した状態となっている。

上記構成に加えて、さらに、本実施形態において、外部パラメータ設定修正部５１は、図１に示すように、誤差検出手段としての誤差検出部６２を有しており、この誤差検出部６２には、特徴点抽出部５２が接続されている。また、誤差検出部６２には、格子パターン５３の形状や座標に関するデータが格納された格子パターンデータベース６３が接続されている。

誤差検出部６２は、特徴点抽出部５２によって格子点６０が抽出されると、この抽出結果と、格子パターンデータベース６３に格納されたデータとに基づいて、任意の１個の視点変換画像３，５，６，７についての他の視点変換画像３，５，６，７との繋ぎ目部分３ａ，３ｂ，５ａ，５ｂ，６ａ，６ｂ，７ａ，７ｂにおける格子点６０の配列状態と、繋ぎ目部分３ａ，３ｂ，５ａ，５ｂ，６ａ，６ｂ，７ａ，７ｂにおける格子パターン５３の正規の形状（すなわち、格子パターン画像５９の正規の形状）とを比較するようになっている。

ここで、繋ぎ目部分３ａ，３ｂ，５ａ，５ｂ，６ａ，６ｂ，７ａ，７ｂとは、１個の視点変換画像３，５，６，７における他の視点変換画像３，５，６，７との繋ぎ目８，１０，１１，１２に連なる所定範囲の部分（端縁部）をいう。

例えば、図５に示すように、前方視点変換画像３においては、第１の繋ぎ目８に連なる所定範囲の部分（左端縁部）が、左側方視点変換画像５との繋ぎ目部分３ａとされ、また、第２の繋ぎ目１０に連なる所定範囲の部分（右端縁部）が、右側方視点変換画像６との繋ぎ目部分３ｂとされている。この前方視点変換画像３における一対の繋ぎ目部分３ａ，３ｂは、格子点６０の正規の整列方向としての図５における横方向に間隔を設けて形成されている。

また、左側方視点変換画像５においては、第１の繋ぎ目８に連なる所定範囲の部分（端縁部）が、前方視点変換画像３との繋ぎ目部分５ａとされ、また、第３の繋ぎ目１１に連なる所定範囲の部分（後端縁部）が、後方視点変換画像７との繋ぎ目部分５ｂとされている。この左側方視点変換画像５における一対の繋ぎ目部分５ａ，５ｂは、格子点６０の正規の整列方向としての図５における縦方向に間隔を設けて形成されている。

さらに、右側方視点変換画像６においては、第２の繋ぎ目１０に連なる所定範囲の部分（端縁部）が、前方視点変換画像３との繋ぎ目部分６ａとされ、また、第４の繋ぎ目１２に連なる所定範囲の部分（後端縁部）が、後方視点変換画像７との繋ぎ目部分６ｂとされている。この右側方視点変換画像６における一対の繋ぎ目部分６ａ，６ｂは、格子点６０の正規の整列方向としての図５における縦方向に間隔を設けて形成されている。

さらにまた、後方視点変換画像７においては、第３の繋ぎ目１１に連なる所定範囲の部分（端縁部）が、左側方視点変換画像５との繋ぎ目部分７ａとされ、また、第４の繋ぎ目１２に連なる所定範囲の部分（端縁部）が、右側方視点変換画像６との繋ぎ目部分７ｂとされている。この後方視点変換画像７における一対の繋ぎ目部分７ａ，７ｂは、格子点６０の正規の整列方向としての図５における横方向に間隔を設けて形成されている。

さて、誤差検出部６２は、このような繋ぎ目部分３ａ，３ｂ，５ａ，５ｂ，６ａ，６ｂ，７ａ，７ｂに対する前記比較の結果に基づいて、繋ぎ目部分３ａ，３ｂ，５ａ，５ｂ，６ａ，６ｂ，７ａ，７ｂにおける格子点６０の位置の誤差を検出するようになっている。

ここで、図６は、前方視点変換画像３における左側方視点変換画像５との繋ぎ目部分３ａ、および、左側方視点変換画像５における前方視点変換画像３との繋ぎ目部分５ａのそれぞれにおいての格子点６０の配列状態と格子パターン５３（格子パターン画像５９）の正規の形状との比較および誤差の検出状態を示している。

なお、図６においては、格子点６０の位置の誤差が、繋ぎ目部分３ａ，５ａにおける各格子点６０ごとに算出されている。誤差の大きさの単位は、ピクセルであってもよい。

上記構成に加えて、さらに、本実施形態において、外部パラメータ設定修正部５１は、図１に示すように、第１の補正量算出手段としての第１補正量算出部６４を有しており、この第１補正量算出部６４には、誤差検出部６２が接続されている。

第１補正量算出部６４は、誤差検出部６２による格子点６０の位置の誤差の検出結果を取得するようになっている。そして、第１補正量算出部６４は、誤差検出部６２の検出結果に基づいて、繋ぎ目部分３ａ，３ｂ，５ａ，５ｂ，６ａ，６ｂ，７ａ，７ｂにおける格子点６０の位置の誤差を解消することが可能な繋ぎ目部分３ａ，３ｂ，５ａ，５ｂ，６ａ，６ｂ，７ａ，７ｂに対応する第１の取り付け位置・姿勢情報の補正量として、第１の補正量を算出するようになっている。

上記構成に加えて、さらに、本実施形態において、外部パラメータ設定修正部５１は、第２の補正量算出手段としての第２補正量算出部６５を有しており、この第２補正量算出部６５には、第１補正量算出部６４が接続されている。

第２補正量算出部６５は、第１補正量算出部６４による第１の補正量の算出結果を取得するようになっている。

そして、第２補正量算出部６５は、視点変換画像３，５，６，７における格子点６０の正規の配列方向に間隔を設けるように形成された一対の繋ぎ目部分３ａ，３ｂ，５ａ，５ｂ，６ａ，６ｂ，７ａ，７ｂのそれぞれについての第１補正量算出部６４の算出結果を用いて、第２の取り付け位置・姿勢情報の補正量としての第２の補正量を算出するようになっている。

この第２の補正量は、視点変換画像３，５，６，７における前記一対の前記繋ぎ目部分３ａ，３ｂ，５ａ，５ｂ，６ａ，６ｂ，７ａ，７ｂに挟まれた繋ぎ目部分以外の領域（以下、非繋ぎ目領域と称する）における格子点６０の位置の誤差を解消することが可能な非繋ぎ目領域に対応する第２の取り付け位置・姿勢情報の補正量とされている。

この第２の補正量は、前記一対の繋ぎ目部分３ａ，３ｂ，５ａ，５ｂ，６ａ，６ｂ，７ａ，７ｂのそれぞれについての第１補正量算出部６４の算出結果を用いた線形的な補間によって算出されるようになっている。

具体的な例としては、図７に示すように、第１補正量算出部６４によって、左側方視点変換画像５における非繋ぎ目領域５ｃを挟む左側方視点変換画像５の一対の繋ぎ目部分５ａ，５ｂの双方についての第１の補正量が算出されている場合を考える。

ここで、図７に示すように、左側方視点変換画像５における図７の一点鎖線上に直線状に配列された最も左側の１列の格子点６０列に着目すると、左側方視点変換画像５における前方視点変換画像３との繋ぎ目部分５ａに位置する当該格子点６０列中の第１の格子点６０（Ｐ_１）に対応する第１の補正量として、第１の格子点６０（Ｐ_１）の位置をその誤差を解消すべく図７における＋ｘ方向にΔｘ_１だけ修正することができる補正量が算出されているとする。

また、このとき左側方視点変換画像５における後方視点変換画像７との繋ぎ目部分５ｂに位置する当該格子点６０列中の第２の格子点６０（Ｐ_２）に対応する第１の補正量として、第２の格子点６０（Ｐ_２）の位置をその誤差を解消すべく図７における−ｘ方向にΔｘ_２だけ修正することができる補正量が算出されているとする。

このような場合には、第２補正量算出部６５による非繋ぎ目領域５ｃに対する線形的な補間によって、前記第１の格子点６０（Ｐ_１）と前記第２の格子点６０（Ｐ_２）との中間点に位置する第３の格子点６０（Ｐ_３）の位置を、（Δｘ_１−Δｘ_２）／２だけ修正することができる第２の補正量が算出されるようにしてもよい。このような線形的な補間は、一対の繋ぎ目部分５ａ，５ｂにおける片方の補正量が０（すなわち誤差がない）場合にも有効としてもよい。

なお、このような線形的な補間によって非繋ぎ目領域の補正量を算出する理由は、歪み補正処理が適切に行われた視点変換画像３，５，６，７は、外部パラメータの誤差による線形的なずれのみが残っているとみなすことができ、このずれを、直線状に配列された格子点６０列の配列方向（例えば、図７における一点鎖線の方向）についての正規の配列方向（図７における縦方向）に対する傾きとして把握することができるからである。

上記構成に加えて、さらに、本実施形態において、外部パラメータ設定修正部５１は、図１に示すように、第１の補正手段としての第１補正部６７を有しており、この第１補正部６７には、第１補正量算出部６４および外部パラメータ設定部４８が接続されている。

第１補正部６７は、第１補正量算出部６４によって算出された第１の補正量を、第１補正量算出部６４から取得するようになっている。そして、第１補正部６７は、第１補正量算出部６４から取得された第１の補正量に基づいて、外部パラメータ設定部４８によって現在設定されている外部パラメータにおける図５の繋ぎ目部分３ａ，３ｂ，５ａ，５ｂ，６ａ，６ｂ，７ａ，７ｂに対応する外部パラメータを補正するようになっている。

この補正は、現在設定されている外部パラメータ（例えば、設計値）における繋ぎ目部分３ａ，３ｂ，５ａ，５ｂ，６ａ，６ｂ，７ａ，７ｂに対応する外部パラメータ（例えば、設計値）に対する第１の補正量の加算であってもよい。

上記構成に加えて、さらに、本実施形態において、外部パラメータ設定修正部５１は、第２の補正手段としての第２補正部６８を有しており、この第２補正部６８には、第２補正量算出部６５および外部パラメータ設定部４８が接続されている。

第２補正部６８は、第２補正量算出部６５によって算出された第２の補正量を、第２補正量算出部６５から取得するようになっている。そして、第２補正部６８は、第２補正量算出部６５から取得された第２の補正量に基づいて、外部パラメータ設定部４８によって現在設定されている外部パラメータにおける非繋ぎ目領域（５ｃ等）に対応する外部パラメータを補正するようになっている。この補正は、現在設定されている外部パラメータ（例えば、設計値）における非繋ぎ目領域に対応する外部パラメータ（例えば、設計値）に対する第２の補正量の加算であってもよい。

このような構成によれば、 外部パラメータ設定修正部５１により、外部パラメータの設定の修正を、格子パターン画像５９が含まれた歪み補正処理後の車両周辺画像１に基づいて行うことができ、この際に、繋ぎ目部分８，１０，１１，１２については、格子点６０の位置の誤差を検出し、検出された誤差を解消する補正によって適切な外部パラメータを実測する一方で、繋ぎ目部分に挟まれた非繋ぎ目領域については、線形的な補間による補正のみによって外部パラメータを推測することができる。そして、この結果、視点変換画像３，５，６，７同士のずれが少ない視認性に優れた車両周辺画像１を低コストで表示することができる。

上記構成に加えて、さらに、本実施形態における車両周辺監視装置３２は、図１に示すように、歪み補正値設定修正手段としての内部パラメータ設定修正部７０を備えており、この内部パラメータ設定修正部７０は、第２の撮影対象物としての前述した格子パターン５３が設置された図２と同様の作業環境の下で、内部パラメータ設定部４３による内部パラメータの設定状態（すなわち、歪み補正部４２に設定されている内部パラメータ）を修正可能とされている。

ただし、本実施形態において、内部パラメータの設定状態の修正は、前述した外部パラメータ設定修正部５１による外部パラメータの設定状態の修正の初期段階において既に完了されていることが必要となっている。

この内部パラメータ設定修正部７０について詳述すると、図１に示すように、内部パラメータ設定修正部７０は、歪み補正制御手段としての歪み補正制御部７１を有しており、この歪み補正制御部７１には、映像切り出し部４０および歪み補正部４２がそれぞれ接続されている。

歪み補正制御部７１は、図２に示す作業環境の下で、４台の車載カメラ３４，３５，３６，３７の撮影映像から、格子パターン５３が映し込まれた使用映像領域１６内の映像１５（図３参照）がそれぞれ切り出されたことを、映像切り出し部４０の処理結果から検知するようになっている。

そして、歪み補正制御部７１は、このような格子パターン５３が映し込まれた使用映像領域１６内の撮影映像（以下、格子パターン映像と称する）が切り出された後には、歪み補正部４２を制御することにより、歪み補正部４２に、内部パラメータの設定修正作業用の歪み補正処理を行わせるようになっている。

この設定修正作業用の歪み補正処理は、内部パラメータ設定部４３によって現在設定されている各車載カメラ３４，３５，３６，３７ごとの内部パラメータ（すなわち、第１の歪み補正値）をそれぞれ用いた各車載カメラ３４，３５，３６，３７にそれぞれ対応する各格子パターン映像ごとに行われる歪み補正処理となっている。

ここで、前述のように、車両周辺監視装置３２の製造当初においては、内部パラメータ設定部４３によって歪み補正部４２に内部パラメータの設計値が設定されている。

したがって、例えば、車両周辺監視装置３２の製造後に初めて行われる設定修正作業用の歪み補正処理は、各車載カメラ３４，３５，３６，３７の内部パラメータの設計値を用いて行われることになる。

なお、図８は、格子パターン映像に対する設定修正作業用の歪み補正処理を模式的に示したものである。ただし、図８における歪み補正処理後の格子パターン映像は、内部パラメータ設定部４３によって現在設定されている内部パラメータ（例えば、設計値）に誤差があるため、歪み補正処理によっても歪みが補正し切れていない映像となっている。

本実施形態において、このような設定修正作業用の歪み補正処理によって得られた映像は、視点変換部４６によって視点変換されることによって、図９に示すような格子パターン画像５９が含まれた車両周辺画像１を形成するようになっている。

なお、図９における車両周辺画像１は、図８と同様に、内部パラメータ設定部４３によって現在設定されている内部パラメータに誤差があるため、歪みが除去し切れていない画像となっている。このことは、格子パターン画像５９が歪んでいることからも分かる。

さらに、図９における車両周辺画像１は、外部パラメータ設定部４８によって現在設定されている外部パラメータに誤差があるため、視点変換画像３，５，６，７同士が適切に繋がっていない画像となっている。

上記構成に加えて、さらに、本実施形態において、内部パラメータ設定修正部７０は、図１に示すように、歪み領域検出手段としての歪み領域検出部７２を有しており、この歪み領域検出部７２には、視点変換部４６が接続されている。

この歪み領域検出部７２には、設定修正作業用の歪み補正処理によって得られた映像に対する視点変換部４６による視点変換によって得られた画像、すなわち、格子パターン画像５９が含まれた車両周辺画像１（視点変換画像３，５，６，７であってもよい）が入力されるようになっている。

また、歪み領域検出部７２には、前述した格子パターンデータベース６３が接続されている。

歪み領域検出部７２は、視点変換部４６から、格子パターン画像５９が含まれた車両周辺画像１が入力されると、この車両周辺画像１上における格子パターン５３（すなわち、格子パターン画像５９）の形状と、格子パターンデータベース６３内のデータが示す格子パターン５３の正規の形状との比較を行うようになっている。そして、歪み領域検出部７２は、当該比較を行うことによって、格子パターン画像５９が含まれた車両周辺画像１から、歪み補正処理が正確に行われずに歪みが残存している当該車両周辺画像１内の領域である歪み領域を、この歪み領域における歪みの残存量とともに検出するようになっている。残存量の単位としては、例えば、ピクセルを用いればよい。

このとき、歪み領域検出部７２は、格子パターン画像５９が含まれた車両周辺画像１から、図１０に示すように、特徴点としての前述した格子点６０を画像認識によって抽出し、抽出された格子点６０の配列状態に基づいて、格子パターン画像５９の形状と格子パターン５３の正規の形状とを比較するようにしてもよい。

なお、図１０においては、破線の枠で囲まれた車両周辺画像１（視点変換画像３，５，６，７）上の領域が、歪み領域７５となっている。

上記構成に加えて、さらに、本実施形態において、内部パラメータ設定修正部７０は、図１に示すように、歪み補正値算出手段としての内部パラメータ算出部７６を有しており、この内部パラメータ算出部７６には、歪み領域検出部７２が接続されている。

内部パラメータ算出部７６には、歪み領域検出部７２の検出結果が入力されるようになっている。そして、内部パラメータ算出部７６は、入力された検出結果に基づいて、追加補正量として、歪み領域検出部７２によって検出された歪み領域７５における歪みを補正すること（歪み補正処理の不足量を補うこと）が可能な歪み成分の補正量（例えば、前記画像主点や内部パラメータを現在の値から変更すべき量）を求めるようになっている。この歪み成分の補正量を求めるに際しては、歪み領域検出部７２によって検出された歪みの残存量が用いられるようになっている。そして、内部パラメータ算出部７６は、このように、歪み成分の補正量を求めた上で、求められた歪み成分の補正量を、内部パラメータ設定部４３によって現在設定されている内部パラメータに加算することによって、第２の歪み補正値としての内部パラメータの実測値を算出するようになっている。この内部パラメータの実測値は、使用映像領域１６のうちの歪み領域７５に設定修正作業用の歪み補正処理前において対応する特定の映像領域に関する新たな内部パラメータとなる。

上記構成に加えて、さらに、本実施形態において、内部パラメータ設定修正部７０は、図１に示すように、実測値記憶部７７を有しており、この実測値記憶部７７には、内部パラメータ算出部７６が接続されている。実測値記憶部７７には、内部パラメータ算出部７６によって算出された内部パラメータの実測値が記憶されるようになっている。

上記構成に加えて、さらに、本実施形態において、内部パラメータ設定修正部７０は、歪み補正値設定制御手段としての内部パラメータ設定制御部７８を有しており、この内部パラメータ設定制御部７８には、内部パラメータ設定部４３および内部パラメータ算出部７６が接続されている。

内部パラメータ設定制御部７８は、内部パラメータ算出部７６によって内部パラメータの実測値が算出されると、内部パラメータ設定部４３を制御することにより、内部パラメータ設定部４３に、実測値記憶部７７に記憶された内部パラメータの実測値を取得させるようになっている。そして、内部パラメータ設定制御部７８は、内部パラメータ設定部４３に、実測値記憶部７７から取得された内部パラメータの実測値を、使用映像領域１６のうちの歪み領域７５に対応する特定の映像領域内の映像に対する歪み補正処理に用いられる内部パラメータとして新たに設定させるようになっている。また、このとき、内部パラメータ設定制御部７８は、使用映像領域１６のうちの前記特定の映像領域以外の映像領域については、現在設定されている内部パラメータを引き続き歪み補正処理に用いられる内部パラメータとして設定させ続けるようになっている。

このように構成されていることによって、内部パラメータ設定修正部７０は、前記特定の映像領域に対応した内部パラメータの設定のみを修正することが可能となっている。

そして、このような内部パラメータ設定修正部７０によって内部パラメータの設定を修正した後に、作業面３４上において車両周辺画像１を生成する場合には、図４に示したように、歪みのない（ただし、ずれはある）車両周辺画像１を生成することができ、このような車両周辺画像１を、外部パラメータの設定の修正に適正に用いることができる。

そして、このような内部パラメータ設定修正部７０による内部パラメータの設定の修正および外部パラメータ設定修正部５１による外部パラメータの設定の修正を経て生成された車両周辺監視画像１は、図１１に示すように、歪みもなく、また、各視点変換画像３，５，６，７同士が適切に繋がった良好な画像となる。

したがって、本実施形態によれば、格子パターン画像５９が含まれた車両周辺画像１から歪み領域７５を検出した上で、使用映像領域における歪み領域７５に対応する特定の映像領域以外の映像領域については、現在設定されている内部パラメータ（第１の歪み補正値）に誤差が生じていないとみなして、新たな内部パラメータ（第２の歪み補正値）を算出して内部パラメータの設定の修正を行う映像領域を、特定の映像領域に限定することができる。

これにより、現在設定されている内部パラメータに誤差が生じている場合においても、内部パラメータの設定を低コストに修正した上で、内部パラメータの設定修正作業後における歪み補正処理を経て得られた車両周辺画像１に基づいて、外部パラメータの設定の修正を適切に行うことができる。

次に、本発明に係るカメラ取り付け位置・姿勢情報の設定修正方法の実施形態について、図１２および図１３を参照して説明する。

なお、本実施形態においては、カメラ取り付け位置・姿勢情報の設定修正方法として、前述した車両周辺監視装置３２に適用される外部パラメータの設定修正方法について説明する。

なお、初期状態において、視点変換部４６には、外部パラメータ設定部４８により、各車載カメラ３４，３５，３６，３７の外部パラメータの設計値が設定されているものとする。また、歪み補正部４２には、内部パラメータ設定部４３により、各車載カメラ３４，３５，３６，３７の内部パラメータの設計値のみが設定されているものとする。このような場合の例としては、外部パラメータおよび内部パラメータの設定修正が一度も行われていない場合や、設定修正作業が過去に行われたが、外部パラメータおよび内部パラメータの設計値に誤差が生じていない状態が継続されている場合が挙げられる。

そして、初期状態から、本実施形態においては、まず、図１２のステップ１（ＳＴ１）に示すように、内部パラメータの設定修正作業を行う。

ここで、このステップ１（ＳＴ１）の具体的な内容は、図１３に示す通りである。

すなわち、図１３に示すように、内部パラメータの設定修正作業においては、まず、図１３のステップ１Ａ（ＳＴ１Ａ）に示すように、図２に示したような自車両５４の周辺に格子パターン５３が設置された作業環境を設定してステップ１Ｂ（ＳＴ１Ｂ）に進む。なお、図２においては、縦ラインパターン５７が自車両５４の全長方向に平行とされており、また、格子パターン５３と自車両との位置関係は、予め定められた所定の位置関係とされている。

次いで、ステップ１Ｂ（ＳＴ１Ｂ）においては、ステップ１Ａ（ＳＴ１Ａ）において設置された作業環境の下で、４台の車載カメラ３４，３５，３６，３７によって自車両の周辺を撮影した上で、映像切り出し部４０により、各車載カメラ３４，３５，３６，３７の撮影映像から、各車載カメラ３４，３５，３６，３７に対応する格子パターン映像をそれぞれ切り出す。

次いで、ステップ１Ｃ（ＳＴ１Ｃ）においては、歪み補正制御部７１の制御の下で、歪み補正部４２により、ステップ１Ｂ（ＳＴ１Ｂ）において切り出された各格子パターン映像に対して、各格子パターン映像にそれぞれ対応する各車載カメラ３４，３５，３６，３７の内部パラメータの設計値を用いた内部パラメータの設定修正作業用の歪み補正処理をそれぞれ行う（図８参照）。

次いで、ステップ１Ｄ（ＳＴ１Ｄ）においては、視点変換部４６により、ステップ１Ｃ（ＳＴ１Ｃ）における設定修正作業用の歪み補正処理によってそれぞれ得られた各映像を、対応する各視点変換画像３，５，６，７へと視点変換するとともに、各視点変換画像３，５，６，７およびイラスト画像２を互いに合成することによって、格子パターン画像５９が含まれた車両周辺画像１を生成する（図９参照）。

次いで、ステップ１Ｅ（ＳＴ１Ｅ）においては、歪み領域検出部７２により、ステップ１Ｄ（ＳＴ１Ｄ）において生成された車両周辺画像１（視点変換画像３，５，６，７）における格子パターン画像５９の形状と格子パターン５３の正規の形状とを比較することによって、歪み領域７５および歪み領域７５における歪みの残存量を検出する。

次いで、ステップ１Ｆ（ＳＴ１Ｆ）においては、内部パラメータ算出部７６により、ステップ１Ｅ（ＳＴ１Ｅ）において歪み領域７５が検出されたか否かを判定し、検出された場合にはステップ１Ｇ（ＳＴ１Ｇ）に進み、検出されなかった場合には、ステップ１Ｉ（ＳＴ１Ｉ）に進む。

ステップ１Ｇ（ＳＴ１Ｇ）においては、内部パラメータ算出部７６によって、使用映像領域１６のうちの、歪み領域７５に設定修正作業用の歪み補正処理前において対応する特定の映像領域に関する内部パラメータの実測値（新たな内部パラメータ）を算出してステップ１Ｈ（ＳＴ１Ｈ）に進む。

一方、ステップ１Ｉ（ＳＴ１Ｉ）においては、内部パラメータの実測値の算出は行わずにステップ１Ｊ（ＳＴ１Ｊ）に進む。

次いで、ステップ１Ｈ（ＳＴ１Ｈ）においては、内部パラメータ設定制御部７８の制御の下で、内部パラメータ設定部４３により、ステップ１Ｇ（ＳＴ１Ｇ）において算出された内部パラメータの実測値を、使用映像領域１６のうちの歪み領域７５に対応する特定の映像領域内の映像に対する歪み補正処理に用いられる内部パラメータとして新たに設定して処理を終了する。このとき、使用映像領域１６のうちの前記特定の映像領域以外の映像領域については、現在設定されている内部パラメータの設計値を引き続き歪み補正処理に用いられる内部パラメータとして設定させ続ける。

一方、ステップ１Ｊ（ＳＴ１Ｊ）においては、内部パラメータの設定修正は行わず、全使用映像領域１６について、内部パラメータの設計値の設定を継続して処理を終了する。

次いで、図１２に戻って、ステップ２（ＳＴ２）においては、ステップ１Ａ（ＳＴ１Ａ）において設置された作業環境の下で、４台の車載カメラ３４，３５，３６，３７によって再び自車両の周辺を撮影した上で、映像切り出し部４０により、各車載カメラ３４，３５，３６，３７の撮影映像から、各車載カメラ３４，３５，３６，３７に対応する格子パターン映像をそれぞれ切り出す。

次いで、ステップ３（ＳＴ３）においては、歪み補正部４２により、ステップ２（ＳＴ２）において切り出された各格子パターン映像に対して、各格子パターン映像にそれぞれ対応する現在設定されている内部パラメータを用いた歪み補正処理をそれぞれ行う。この歪み補正処理は、ステップ１（ＳＴ１）における設定修正作業後の内部パラメータを用いて行われたものであるので、映像の歪みを適切に補正することができる。

次いで、ステップ４（ＳＴ４）においては、視点変換部４６により、ステップ３（ＳＴ３）における歪み補正処理によってそれぞれ得られた各映像を、対応する各視点変換画像３，５，６，７へと視点変換するとともに、各視点変換画像３，５，６，７およびイラスト画像２を互いに合成することによって、格子パターン画像５９が含まれた車両周辺画像１を生成する（図４参照）。この車両周辺画像１は、歪みは適切に除去されているが、外部パラメータの誤差の影響により、視点変換画像３，５，６，７同士の繋がりにずれがある場合がある。

次いで、ステップ５（ＳＴ５）においては、特徴点抽出部５２により、ステップ４（ＳＴ４）において生成された格子パターン画像５９を含む車両周辺画像１から、格子点６０を抽出する（図５参照）。

次いで、ステップ６（ＳＴ６）においては、誤差検出部６２により、ステップ５（ＳＴ５）における格子点６０の抽出結果と、格子パターンデータベース６３に格納されたデータとに基づいて、繋ぎ目部分３ａ，３ｂ，５ａ，５ｂ，６ａ，６ｂ，７ａ，７ｂにおける格子点６０の配列状態と、繋ぎ目部分３ａ，３ｂ，５ａ，５ｂ，６ａ，６ｂ，７ａ，７ｂにおける格子パターン画像５９の正規の形状とを比較する。そして、この比較の結果に基づいて、繋ぎ目部分３ａ，３ｂ，５ａ，５ｂ，６ａ，６ｂ，７ａ，７ｂにおける格子点６０の位置の誤差を検出する。

次いで、ステップ７（ＳＴ７）においては、第１補正量算出部６４により、ステップ６（ＳＴ６）において誤差が検出されたか否かを判定し、検出された場合にはステップ８（ＳＴ８）に進み、検出されたなかった場合には、処理を終了する。ここで処理を終了する場合には、現在設定されている外部パラメータに誤差がないことになる。

次いで、ステップ８（ＳＴ８）においては、第１補正量算出部６４により、第１の補正量を算出してステップ９（ＳＴ９）に進む。

次いで、ステップ９（ＳＴ９）においては、第２補正量算出部６５により、第２の補正量を算出してステップ１０（ＳＴ１０）に進む。

次いで、ステップ１０（ＳＴ１０）においては、第１補正部６７によって、ステップ８（ＳＴ８）において算出された第１の補正量に基づいて、外部パラメータ設定部４８によって現在設定されている外部パラメータにおける繋ぎ目部分８，１０，１１，１２に対応する外部パラメータ（例えば、設計値）を補正して、ステップ１１（ＳＴ１１）に進む。

次いで、ステップ１１（ＳＴ１１）においては、ステップ９（ＳＴ９）において算出された第２の補正量に基づいて、外部パラメータ設定部４８によって現在設定されている外部パラメータにおける非繋ぎ目領域（５ｃ等）に対応する外部パラメータ（例えば、設計値）を補正して、処理を完了する。

そして、このような外部パラメータの設定の修正が完了した後に、設定修正後の外部パラメータを用いて車両周辺画像１を表示する場合には、図１１に示すように各視点変換画像３，５，６，７同士が適切に繋がった良好な画像を視認することができる。

以上述べたように、本実施形態によれば、外部パラメータ設定修正部５１により、外部パラメータの設定の修正（例えば、外部パラメータの設計値から補正後の外部パラメータへの修正）を、格子パターン画像５９が含まれた適切な歪み補正処理後の車両周辺画像１に基づいて行うことができ、この際に、繋ぎ目部分については、誤差検出部６２によって検出された格子点６０の位置の誤差を解消する補正によって適切な外部パラメータを実測する一方で、視点変換画像における繋ぎ目部分以外の領域については、線形的な補間による補正で済ませることができる。

この結果、視点変換画像同士のずれが少ない視認性に優れた車両周辺画像を低コストで表示することができる。

なお、本発明は、前述した実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。

例えば、前述した実施形態においては、歪み領域７５の検出の際に、車両周辺画像１（視点変換画像３，５，６，７）上の格子パターンの形状と、格子パターンの正規の形状とを比較するようになっているが、本発明は、このような構成に限定されるものではなく、例えば、内部パラメータの設定修正作業用の歪み補正処理によって得られた映像上の格子パターンの形状と、格子パターンの正規の形状とを比較した上で、当該映像上における歪みが残存している領域を、歪み領域として検出するようにしてもよい。

また、格子パターンに限定される必要はなく、特徴点として既知の形状を捉えることのできるパターン、例えば、市松模様などを利用することも可能である。市松模様の場合には、市松模様の黒枡と白枡との各頂点部分（黒枡の頂点と白枡の頂点とが一致する場合も含む）を特徴点とすることとなる。

また、前述した実施形態においては、使用映像領域１６内の映像に対する歪み補正処理と視点変換とを別工程において行うようになっていたが、歪み補正処理と視点変換とを例えば１つのマッピングテーブルを用いて一工程で（同時に）行うようにしてもよい。この場合には、歪み補正処理によって得られる映像が、得られるのと同時に視点変換される（視点変換された画像の状態として得られる）と考えればよい。この場合には、視点変換によって得られた画像上の第２の撮影対象物の形状が、歪み領域の検出に用いることになる。

さらに、内部パラメータおよび外部パラメータのそれぞれの設定修正作業が行われる作業環境の条件としては、前述した実施形態における作業環境の条件に加えて、自車両が停止していることや、設定修正作業用を行う旨のユーザ操作がなされたこと等の他の条件を追加してもよい。

本発明に係る車両周辺監視装置の実施形態を示すブロック図 本発明に係る車両周辺監視装置の実施形態において、外部パラメータの設定修正作業を行うための作業環境の設定状態を示す図 本発明に係る車両周辺監視装置の実施形態において、外部パラメータの設定修正作業時における車載カメラの撮影映像を示す図 本発明に係る車両周辺監視装置の実施形態において、設定されている外部パラメータに誤差がある場合における車両周辺画像の表示状態を示す図 本発明に係る車両周辺監視装置の実施形態において、繋ぎ目部分および格子点を説明するための説明図 本発明に係る車両周辺監視装置の実施形態において、繋ぎ目部分における格子点の位置の誤差の検出状態を示す図 本発明に係る車両周辺監視装置の実施形態において、第２の補正量を算出するための線形的補間を説明するための説明図 本発明に係る車両周辺監視装置の実施形態において、内部パラメータの設定修正作業用の歪み補正処理を示す図 本発明に係る車両周辺監視装置の実施形態において、内部パラメータの設定修正作業用の歪み補正処理および視点変換を経て生成された車両周辺監視画像を示す図 本発明に係る車両周辺監視装置の実施形態において、図９の車両周辺画像から抽出された格子点を模式的に示す図 本発明に係る車両周辺監視装置の実施形態において、内部パラメータの設定修正作業をともなう外部パラメータの設定修正作業が行われた後の良好な車両周辺画像を示す図 本発明に係るカメラ取り付け位置・姿勢情報の設定修正方法の実施形態を示すフローチャート 本発明に係るカメラ取り付け位置・姿勢情報の設定修正方法の実施形態において、内部パラメータの設定修正作業を示すフローチャート 従来から採用されていた車両周辺画像の一例を示す図 車載カメラの撮影映像を示す図 車載カメラの内部パラメータを説明するための説明図 従来から外部パラメータの実測に用いられていたターゲットボードの一例を示す図 自車両の周辺へのターゲットボードの設置状態を示す図 ターゲットボードの撮影映像を示す図

符号の説明

１車両周辺画像
３前方視点変換画像
５左側方視点変換画像
６右側方視点変換画像
７後方視点変換画像
１６使用映像領域
３２車両周辺監視装置
３４フロントカメラ
３５左サイドカメラ
３６右サイドカメラ
３７バックカメラ
４０映像切り出し部
４２歪み補正部
４３内部パラメータ設定部
４６視点変換部
４７ディスプレイ
４８外部パラメータ設定部
５１外部パラメータ設定修正部
５２特徴点抽出部
５３格子パターン
６２誤差検出部
６４第１補正量算出部
６５第２補正量算出部
６７第１補正部
６８第２補正部

Claims (16)

1. 自車両における所定の位置に取り付けられた広角の視野を有する複数台の車載カメラを備え、各車載カメラによる前記自車両の周辺の撮影映像に基づいて、前記自車両の周辺を前記自車両の上方から見下ろしたような画像である車両周辺画像を生成して表示部に表示する車両周辺監視装置であって、
   車両周辺監視装置本体は、
   前記複数台の車載カメラのそれぞれの撮影映像から、前記車両周辺画像の生成に使用される各車載カメラごとの所定の使用映像領域内の映像をそれぞれ切り出す映像切り出し手段と、
   この映像切り出し手段によって切り出された各車載カメラごとの前記使用映像領域内の映像に対して、設定されている各車載カメラごとの所定の歪み補正値を用いた各車載カメラごとの歪み補正処理をそれぞれ行う歪み補正手段と、
   この歪み補正手段による前記歪み補正処理に用いられる各車載カメラごとの前記歪み補正値をそれぞれ設定する歪み補正値設定手段と、
   前記歪み補正手段による各車載カメラごとの前記歪み補正処理によってそれぞれ得られる映像を、設定されている各車載カメラの取り付け位置・姿勢情報を用いて当該映像が示す領域を前記車両の上方の所定の視点から見たような画像である視点変換画像へとそれぞれ視点変換することによって、各車載カメラごとの前記視点変換画像が互いに繋ぎ合わされた前記車両周辺画像を生成する視点変換手段と、
   この視点変換手段による前記視点変換に用いられる前記各車載カメラの取り付け位置・姿勢情報を設定する取り付け位置・姿勢情報設定手段と、
   この取り付け位置・姿勢情報設定手段による前記取り付け位置・姿勢情報の設定を修正可能とされた取り付け位置・姿勢情報設定修正手段と
   を備えており、
   前記取り付け位置・姿勢情報設定修正手段は、
   直線状に配列された複数の特徴点を抽出可能とされた既知の形状を有する第１の撮影対象物が、前記自車両の周辺における所定の位置に設置された作業環境の下で、前記第１の撮影対象物が映し込まれた各車載カメラの撮影映像に基づいて、前記第１の撮影対象物の画像がそれぞれ含まれた各車載カメラごとの前記視点変換画像が繋ぎ合わされた車両周辺画像が生成された後に、前記第１の撮影対象物の画像から前記特徴点を抽出する特徴点抽出手段と、
   この特徴点抽出手段の抽出結果に基づいて、任意の１個の視点変換画像についての他の視点変換画像との繋ぎ目部分における前記特徴点の配列状態と、前記繋ぎ目部分における前記第１の撮影対象物の正規の形状とを比較することによって、前記繋ぎ目部分における前記特徴点の位置の誤差を検出する誤差検出手段と、
   この誤差検出手段によって検出された前記誤差を解消することが可能な前記繋ぎ目部分に対応する第１の取り付け位置・姿勢情報の補正量を算出する第１の補正量算出手段と、
   前記視点変換画像における前記特徴点の正規の配列方向に間隔を設けるように形成された一対の前記繋ぎ目部分のそれぞれについての前記第１の補正量算出手段の算出結果を用いた線形的な補間によって、当該視点変換画像における前記一対の前記繋ぎ目部分に挟まれた前記繋ぎ目部分以外の領域における前記特徴点の位置の誤差を解消することが可能な当該繋ぎ目部分以外の領域に対応する第２の取り付け位置・姿勢情報の補正量を算出する第２の補正量算出手段と、
   前記第１の取り付け位置・姿勢情報の補正量に基づいて、前記取り付け位置・姿勢情報設定手段によって現在設定されている前記取り付け位置・姿勢情報における前記繋ぎ目部分に対応する情報を補正する第１の補正手段と、
   前記第２の取り付け位置・姿勢情報の補正量に基づいて、前記取り付け位置・姿勢情報設定手段によって現在設定されている前記取り付け位置・姿勢情報における前記繋ぎ目部分以外の領域に対応する情報を補正する第２の補正手段と
   を備えたことを特徴とする車両周辺監視装置。
2. 前記第１の撮影対象物は、前記自車両が載置されている平坦な作業面上における前記自車両の周辺に、そのパターン面が前記作業面に平行になるように設置された格子パターンとされ、前記特徴点は、前記格子パターンにおける格子点とされていること
   を特徴とする請求項１に記載の車両周辺監視装置
3. 前記取り付け位置・姿勢情報設定手段によって現在設定されている前記取り付け位置・姿勢情報は、取り付け位置・姿勢情報の設計値とされていること
   を特徴とする請求項１または請求項２に記載の車両周辺監視装置。
4. 前記取り付け位置・姿勢情報は、前記車載カメラの外部パラメータとされていること
   を特徴とする請求項１乃至請求項３のいずれか１項に記載の車両周辺監視装置。
5. 前記歪み補正値設定手段による前記歪み補正値の設定を修正可能とされた歪み補正値設定修正手段を備え、
   前記歪み補正値設定修正手段は、
   既知の形状を有する第２の撮影対象物が前記自車両の周辺に設置された作業環境の下で、前記車載カメラの撮影映像から、前記第２の撮影対象物が映し込まれた前記使用映像領域内の映像が切り出された後に、前記歪み補正手段を制御することにより、前記歪み補正手段に、歪み補正値の設定修正作業用の歪み補正処理として、前記歪み補正値設定手段によって現在設定されている第１の歪み補正値を用いた当該使用映像領域内の映像に対する歪み補正処理を行わせる歪み補正制御手段と、
   前記設定修正作業用の歪み補正処理によって得られる映像上、または、この映像に対する前記視点変換手段による前記視点変換によって得られた画像上における前記第２の撮影対象物の形状と、前記第２の撮影対象物の正規の形状とを比較することによって、前記設定修正作業用の歪み補正処理によって得られる映像、または、この映像に対する前記視点変換によって得られた画像から、当該歪み補正処理が正確に行われずに歪みが残存している当該映像内または当該画像内の領域である歪み領域を、この歪み領域における歪みの残存量とともに検出する歪み領域検出手段と、
   この歪み領域検出手段によって検出された前記歪み領域における前記歪みを補正することが可能な追加補正量を、前記歪みの残存量に基づいて求めた上で、求められた前記追加補正量を前記第１の歪み補正値に加算することによって、第２の歪み補正値を算出する歪み補正値算出手段と、
   前記歪み補正値設定手段を制御することにより、前記歪み補正値設定手段に、前記歪み補正値算出手段によって算出された前記第２の歪み補正値を、前記使用映像領域のうちの前記歪み領域に対応する特定の映像領域内の映像に対する前記歪み補正処理に用いられる前記歪み補正値として新たに設定させるとともに、前記使用映像領域のうちの前記特定の映像領域以外の映像領域については、前記第１の歪み補正値を引き続き前記歪み補正処理に用いられる前記歪み補正値として設定させ続ける設定制御手段と
   を備えていることによって、前記特定の映像領域に対応した前記歪み補正値の設定のみを修正するように形成され、
   前記取り付け位置・姿勢情報設定修正手段は、前記歪み補正値設定修正手段による前記歪み補正値の設定修正作業後における前記歪み補正処理を経て生成された車両周辺画像に基づいて、取り付け位置・姿勢情報の設定を修正するように形成されていること
   を特徴とする請求項１乃至請求項４のいずれか１項に記載の車両周辺監視装置。
6. 前記第２の撮影対象物は、前記第１の撮影対象物とされていること
   を特徴とする請求項５に記載の車両周辺監視装置。
7. 前記第１の歪み補正値は、歪み補正値の設計値とされていること
   を特徴とする請求項１乃至請求項６のいずれか１項に記載の車両周辺監視装置。
8. 前記歪み補正値は、前記車載カメラの内部パラメータとされていること
   を特徴とする請求項１乃至請求項７のいずれか１項に記載の車両周辺監視装置。
9. 自車両における所定の位置に取り付けられた広角の視野を有する複数台の車載カメラによる前記自車両の周辺の撮影映像のそれぞれから、各車載カメラごとの所定の使用映像領域内の映像をそれぞれ切り出し、切り出された各車載カメラごとの前記使用映像領域内の映像に対して、設定されている各車載カメラごとの所定の歪み補正値を用いた各車載カメラごとの歪み補正処理をそれぞれ行い、各車載カメラごとの前記歪み補正処理によってそれぞれ得られる映像を、設定されている各車載カメラの取り付け位置・姿勢情報を用いて当該映像が示す領域を前記車両の上方の所定の視点から見たような画像である視点変換画像へとそれぞれ視点変換することによって、各車載カメラごとの前記視点変換画像が互いに繋ぎ合わされた前記自車両の周辺を前記自車両の上方から見下ろしたような画像である車両周辺画像を生成し、生成された前記車両周辺画像を表示部に表示する車両周辺監視装置において、前記視点変換に用いられる前記取り付け位置・姿勢情報の設定を修正するカメラ取り付け位置・姿勢情報の設定修正方法であって、
   直線状に配列された複数の特徴点を抽出可能とされた既知の形状を有する第１の撮影対象物が、前記自車両の周辺における所定の位置に設置された作業環境を設定し、
   この設定された作業環境の下で、前記第１の撮影対象物が映し込まれた各車載カメラの撮影映像に基づいて、前記第１の撮影対象物の画像がそれぞれ含まれた各車載カメラごとの前記視点変換画像が繋ぎ合わされた車両周辺画像を生成した後に、前記第１の撮影対象物の画像から前記特徴点を抽出し、
   この特徴点の抽出結果に基づいて、任意の１個の視点変換画像についての他の視点変換画像との繋ぎ目部分における前記特徴点の配列状態と、前記繋ぎ目部分における前記第１の撮影対象物の正規の形状とを比較することによって、前記繋ぎ目部分における前記特徴点の位置の誤差を検出し、
   この検出された前記誤差を解消することが可能な前記繋ぎ目部分に対応する第１の取り付け位置・姿勢情報の補正量を算出し、
   前記視点変換画像における前記特徴点の正規の配列方向に間隔を設けるように形成された一対の前記繋ぎ目部分のそれぞれについての第１の取り付け位置・姿勢情報の算出結果を用いた線形的な補間によって、当該視点変換画像における前記一対の前記繋ぎ目部分に挟まれた前記繋ぎ目部分以外の領域における前記特徴点の位置の誤差を解消することが可能な当該繋ぎ目部分以外の領域に対応する第２の取り付け位置・姿勢情報の補正量を算出し、
   前記第１の取り付け位置・姿勢情報の補正量に基づいて、現在設定されている前記取り付け位置・姿勢情報における前記繋ぎ目部分に対応する情報を補正し、
   前記第２の取り付け位置・姿勢情報の補正量に基づいて、現在設定されている前記取り付け位置・姿勢情報における前記繋ぎ目部分以外の領域に対応する情報を補正すること
   を特徴とするカメラ取り付け位置・姿勢情報の設定修正方法。
10. 前記第１の撮影対象物として、前記車両が載置されている平坦な作業面上における前記車両の周辺に、そのパターン面が前記作業面に平行になるように設置された格子パターンを用いるとともに、前記特徴点として、前記格子パターンにおける格子点を用いること
    を特徴とする請求項９に記載のカメラ取り付け位置・姿勢情報の設定修正方法。
11. 前記現在設定されている前記取り付け位置・姿勢情報として、取り付け位置・姿勢情報の設計値を用いること
    を特徴とする請求項９または請求項１０に記載のカメラ取り付け位置・姿勢情報の設定修正方法。
12. 前記取り付け位置・姿勢情報として、前記車載カメラの外部パラメータを用いること
    を特徴とする請求項９乃至請求項１１のいずれか１項に記載のカメラ取り付け位置・姿勢情報の設定修正方法。
13. 既知の形状を有する第２の撮影対象物が前記自車両の周辺に設置された作業環境の下で、前記車載カメラの撮影映像から、前記第２の撮影対象物が映し込まれた前記使用映像領域内の映像が切り出された後に、歪み補正値の設定修正作業用の歪み補正処理として、現在設定されている第１の歪み補正値を用いた当該使用映像領域内の映像に対する歪み補正処理を行い、
    前記設定修正作業用の歪み補正処理によって得られる映像上、または、この映像に対する前記視点変換によって得られた画像上における前記第２の撮影対象物の形状と、前記第２の撮影対象物の正規の形状とを比較することによって、前記設定修正作業用の歪み補正処理によって得られる映像、または、この映像に対する前記視点変換によって得られた画像から、当該歪み補正処理が正確に行われずに歪みが残存している当該映像内または当該画像内の領域である歪み領域を、この歪み領域における歪みの残存量とともに検出し、
    検出された前記歪み領域における前記歪みを補正することが可能な追加補正量を、前記歪みの残存量に基づいて求めた上で、求められた前記追加補正量を前記第１の歪み補正値に加算することによって、第２の歪み補正値を算出し、
    算出された前記第２の歪み補正値を、前記使用映像領域のうちの前記歪み領域に対応する特定の映像領域内の映像に対する前記歪み補正処理に用いられる前記歪み補正値として新たに設定するとともに、前記使用映像領域のうちの前記特定の映像領域以外の映像領域については、前記第１の歪み補正値を引き続き前記歪み補正処理に用いられる前記歪み補正値として設定し続けることによって、前記特定の映像領域に対応した前記歪み補正値の設定のみを修正し、
    この修正が行われた後における前記歪み補正処理を経て生成された車両周辺画像に基づいて、取り付け位置・姿勢情報の設定を修正すること
    を特徴とする請求項９乃至請求項１２のいずれか１項に記載のカメラ取り付け位置・姿勢情報の設定修正方法。
14. 前記第２の撮影対象物として、前記第１の撮影対象物を用いること
    を特徴とする請求項１３に記載のカメラ取り付け位置・姿勢情報の設定修正方法。
15. 前記第１の歪み補正値として、歪み補正値の設計値を用いること
    を特徴とする請求項９乃至請求項１４のいずれか１項に記載のカメラ取り付け位置・姿勢情報の設定修正方法。
16. 前記歪み補正値として、前記車載カメラの内部パラメータを用いること
    を特徴とする請求項９乃至請求項１５のいずれか１項に記載のカメラ取り付け位置・姿勢情報の設定修正方法。

Images