JP6846640B2 - 車載カメラ校正装置 - Google Patents

Description

本発明は、カメラにより撮影された時系列連続画像を用いてカメラの校正を行う車載カメラ校正装置に関する。

従来から、車載カメラで撮影された車両後方の画像を車載モニタに表示することで、運転者から死角になる車両後方直近の状況を車載モニタに表示された画像として視認し、車両後退時の視認性を向上させることが行われている。

このような車載カメラの画像を車載モニタに表示するに際しては、車載カメラの車両への取り付け状態を是正するために、車両の後方に校正用のターゲットを設置し、車載モニタに映った校正用ターゲットの像を見ながら、その校正用ターゲットの像が適正に映るように車載カメラの取り付け状態を調整することが行われる。

また、車載カメラで得られた画像に対して、校正用ターゲットの像に基づいた所定の演算処理を施すことで車載モニタに映る画像を適正に校正することが行われている。

また、車両の全周囲を複数の車載カメラで撮影し、各車載カメラで得られた複数の画像をそれぞれ車両の真上から見下ろしたような画像（俯瞰画像）に変換するとともに、各画像間での位置を調整したマッピングを行うことで、単一の視点変換合成画像を得ることも行われている。このような場合には、隣接する２つの画像間で精度よく位置合わせを行う
必要があるため、高精度の校正が求められる。

そこで従来、幾つかの技術が提案されている。例えば、特許文献１には、車両直進の移動中に校正用ターゲットを複数枚撮像し、オプティカルフローから車両移動量を推測する。車両移動量とオプティカルフローの特徴点の移動量からカメラ校正する手法が提案されている。また、非特許文献１には、連続する画像の特徴点を追跡し、オプティカルフローを算出する方法が提案されている。

特開２０１７−１３９６１２号公報

Carlo Tomasi, Takeo Kanade、Detection and Tracking of Point Features、Technical Report CMU-CS-91-132、1991年4月

しかし、特許文献１に記載の校正方法では、Ｆ行列（基礎行列）算出精度不足のため、最終的なカメラ校正精度が低く、さらなる改善の余地があった。また、非特許文献１に記載の校正方法では、車両直進時のみカメラ校正可能であり、車両カーブ時に対応していなかった。

本発明は、上記の課題に鑑みてなされたもので、高精度なＦ行列の計算が可能であり、車両直進時だけでなくカーブ時にも対応することのできる車載カメラ校正装置を提供することを目的とする。

本発明の車載カメラ校正装置は、車両に取り付けられたカメラで撮影された移動前後の路面画像から移動前後の路面特徴点を抽出してオプティカルフローを算出するオプティカルフロー算出部と、前記オプティカルフローから、前記車両が直進していると仮定したときの基礎行列である直進Ｆ行列を算出する直進Ｆ行列算出部と、前記直進Ｆ行列から、車両が直進していると仮定したときの移動前後のカメラ座標間の回転行列である直進Ｒ行列と、前記車両が直進していると仮定したときの移動前後のカメラ座標間の並進行列である直進Ｔ行列を算出する直進ＲＴ行列算出部と、前記直進Ｒ行列と前記直進Ｔ行列を最適化することによって、前記車両がカーブしていると想定したときの回転行列であるカーブＲ行列と、前記車両がカーブしていると想定したときの並進行列であるカーブＴ行列を算出するカーブＲＴ行列算出部と、前記カーブＲ行列と前記カーブＴ行列から、前記路面特徴点のカメラ座標を算出する三角測量部と、前記カーブＲ行列と前記カーブＴ行列と前記路面特徴点のカメラ座標から、前記カメラの設置角度を算出するカメラ角度算出部と、前記車両の走行中に算出される前記カメラの設置角度を角度情報としてデータベースに記録する角度記録部と、前記データベースに記録された複数の前記角度情報から、前記カメラの設置角度の最適値を求める最適角度算出部と、を備えている。

この構成によれば、Ｆ行列の変数が３個であるため、従来（Ｆ行列が８個の場合）に比べてＦ行列の算出精度が向上する。また、車両直進時だけでなく、カーブ時にもカメラ校正が可能である。

また、本発明の車載カメラ校正装置では、前記角度記録部は、前記角度情報としてピッチとロールとパンを記録時刻とともに前記データベースに記録し、前記最適角度算出部は、記録時刻が最新のピッチを前記ピッチの最適値とし、記録時刻が最新のロールを前記ロールの最適値とし、車両が直進しているときのパンのうち記録時刻が最新のパンを前記パンの最適値としてもよい。

この構成によれば、データベースに記録された角度情報から適切にピッチとロールとパンの最適値を算出することができる。

また、本発明の車載カメラ校正装置では、前記角度記録部は、前記角度情報としてピッチとロールとパンを記録時刻とともに前記データベースに記録し、前記最適角度算出部は、記録時刻が新しい複数のピッチの平均値を前記ピッチの最適値とし、記録時刻が新しい複数のロールの平均値を前記ロールの最適値とし、車両が直進しているときのパンのうち記録時刻が新しい複数のパンの平均値を前記パンの最適値としてもよい。

この構成によれば、データベースに記録された角度情報から適切にピッチとロールとパンの最適値を算出することができる。

本発明の車載カメラ校正装置は、車両に取り付けられたカメラで撮影された移動前後の路面画像から移動前後の路面特徴点を抽出してオプティカルフローを算出するオプティカルフロー算出部と、前記車両に取り付けられた舵角センサーから得られる舵角情報と、前記車両に取り付けられた車速センサーから得られる車速情報とから、車両が直進していると仮定したときの移動前後のカメラ座標間の回転行列である直進Ｒ行列と、前記車両が直進していると仮定したときの移動前後のカメラ座標間の並進行列である直進Ｔ行列を算出する直進ＲＴ行列算出部と、前記直進Ｒ行列と前記直進Ｔ行列を最適化することによって、前記車両がカーブしていると想定したときの回転行列であるカーブＲ行列と、前記車両がカーブしていると想定したときの並進行列であるカーブＴ行列を算出するカーブＲＴ行列算出部と、前記カーブＲ行列と前記カーブＴ行列から、前記路面特徴点のカメラ座標を算出する三角測量部と、前記カーブＲ行列と前記カーブＴ行列と前記路面特徴点のカメラ座標から、前記カメラの設置角度を算出するカメラ角度算出部と、前記車両の走行中に算出される前記カメラの設置角度を角度情報としてデータベースに記録する角度記録部と、前記データベースに記録された複数の前記角度情報から、前記カメラの設置角度の最適値を求める最適角度算出部と、を備えている。

この構成によれば、センサー誤差と車両の旋回特性誤差を補正することが可能になる。これにより、高精度なカメラ校正装置を提供することができる。

また、本発明の車載カメラ校正装置は、前記車両に取り付けられた舵角センサーから得られる舵角情報に基づいて、前記車両が直進しているか否かを判定する直進判定部を備え、前記オプティカルフロー算出部は、前記直進判定部により前記車両が直進していると判定されたときに前記オプティカルフローの算出を行い、前記直進判定部により前記車両が直進していないと判定されたときに前記オプティカルフローの算出を行わなくてもよい。

この構成によれば、車両直進時のデータのみを利用して、Ｆ行列を高精度に算出することができる。これにより、カメラ校正精度が高いカメラ校正装置を提供することができる。

本発明によれば、高精度なＦ行列の計算が可能であり、車両直進時だけでなくカーブ時にも対応することができる。

本発明の第１の実施の形態の車載カメラ校正装置の説明図 本発明の第１の実施の形態の車載カメラ校正装置の構成を示すブロック図 本発明の第１の実施の形態におけるオプティカルフローの説明図 本発明の第１の実施の形態における移動前後のカメラ座標系と世界座標系の説明図 本発明の第１の実施の形態における進行ベクトルと世界座標系の説明図 本発明の第１の実施の形態の車載カメラ校正装置の動作を説明するフロー図 本発明の第２の実施の形態の車載カメラ校正装置の構成を示すブロック図 本発明の第２の実施の形態の車載カメラ校正装置の動作を説明するフロー図 本発明の第３の実施の形態の車載カメラ校正装置の構成を示すブロック図 本発明の第３の実施の形態の車載カメラ校正装置の動作を説明するフロー図

以下、本発明の実施の形態の車載カメラ校正装置について、図面を用いて説明する。本実施の形態では、車両用のナビゲーションシステム等に用いられる車載カメラ校正装置の場合を例示する。

（第１の実施の形態）
本発明の第１の実施の形態の車載カメラ校正装置１０の構成を、図面を参照して説明する。図１は、本実施の形態の車載カメラ校正装置１０の説明図である。図１に示すように、車両１は路面２の上を進行方向に進行する。カメラ３は車両１の後方に設置されており、カメラ３の光軸は路面方向に設定されている。カメラ３は、車両１が路面２の上を進行するとき、時間差をもって２枚の路面画像（移動前画像と移動後画像。後述する）を撮像する。図１では図示を省略しているが、車載カメラ校正装置１０は車両１に搭載されている。

図２は、車載カメラ校正装置１０の構成を示すブロック図である。図２に示すように、車載カメラ校正装置１０は、オプティカルフロー算出部１１、直進Ｆ行列算出部１２、直進ＲＴ行列算出部１３、カーブＲＴ行列算出部１４、三角測量部１５、角度算出部１６、角度記録部１７、最適角度算出部１８を備えている。

オプティカルフロー算出部１１は、カメラ３で撮影された２枚の路面画像（移動前後の路面画像）から、移動前後の路面特徴点を抽出してオプティカルフローを算出する。図３には、時間差をもってカメラ３で撮影された２枚の路面画像が示されている。時系列的に前に撮影された路面画像を移動前画像と呼び、時系列的に後に撮影された路面画像を移動後画像と呼ぶことができる。また、移動前画像と移動後画像をあわせて時系列２画像と呼ぶこともできる。

オプティカルフロー算出部１１には、移動前画像と移動後画像が入力される。オプティカルフロー算出部１１は、移動前画像の路面上の特徴点（路面特徴点）を抽出し、それに対応する移動後画像の路面上の特徴点（路面特徴点）を算出する。特徴点の算出には、公知の技術を利用することができる。移動前画像の路面上の特徴点と移動後画像の路面上の特徴点はイメージ座標で表現することができる。イメージ座標は、図３に示すように、画像左上を原点とし、原点から右にＸ方向をとり、原点から下にＹ方向をとる。路面上の特徴点がＮ個ある場合、移動元イメージ座標と移動先イメージ座標は、以下のように表記することができる。

直進Ｆ行列算出部１２は、オプティカルフローから、車両１が直進していると仮定したときの基礎行列である直進Ｆ行列を算出する。より具体的には、直進Ｆ行列算出部１２は、車両１が直進し、移動前後で路面２からの高さが一定であることを仮定して、以下の方法で直進Ｆ行列を算出する。

まず、特徴点のイメージ座標をイメージセンサー上のセンサー座標に変換する。

つぎに、イメージセンサー上のセンサー座標を歪のないセンサー座標に変換する。

なお、レンズ歪係数は、必要に応じてより高次の係数を使用する。

上記のような変換を行うことによって、移動元イメージ座標と移動先イメージ座標を、歪のないセンサー座標で表記することができる。

移動前後のカメラ間の関係は、以下の式Ａで表現することができる。

基本行列（Ｅ行列）は、回転行列（Ｒ行列）と並進行列（Ｔ行列）を使用して、以下の式Ｂで表すことができる。

車両１が直進する場合、Ｒ行列は単位行列となるので、基本行列は、以下の式Ｃで表すことができる。

カメラ座標系と歪のないイメージ座標系は、以下の式Ｄで表すことができる。

したがって、車両１が直進する場合の基礎行列（Ｆ行列）は、以下の式Ｅで表される。

ここで、基礎行列（Ｆ行列）の性質から、すべての特徴点に対して、以下の式Ｆが成立する。

上記の式Ｅと式Ｆを比較すると、以下の関係が得られる。

上記の関係を式Ｆに代入して展開すると、以下の式Ｇが導かれる。

直進Ｆ行列算出部１２は、上記の式Ｇを満たす最小の固有値に対する固有ベクトルを求め、直進Ｆ行列を求める。

直進ＲＴ行列算出部１３は、直進Ｆ行列から、車両１が直進していると仮定したときの移動前後のカメラ座標間の回転行列である直進Ｒ行列と、車両１が直進していると仮定したときの移動前後のカメラ座標間の並進行列である直進Ｔ行列を算出する。より具体的には、直進ＲＴ行列算出部１３は、以下の方法で直進Ｒ行列と直進Ｔ行列を算出する。

まず、以下の式Ｈにより、Ｆ行列からＥ行列を算出する。

つぎに、Ｗの最小固有値に対する最小固有ベクトルを求める。それが並進ベクトルＴとなる。さらに、車両１の移動方向を考慮して並進ベクトルの方向を決定する。回転ベクトルＲは単位ベクトルとする。そして、並進ベクトルＴから直進Ｔ行列が算出され、回転ベクトルＲから直進Ｒ行列が算出される。

カーブＲＴ行列算出部１４は、直進Ｒ行列と直進Ｔ行列を最適化することによって、車両１がカーブしていると想定したときの回転行列であるカーブＲ行列と、車両１がカーブしていると想定したときの並進行列であるカーブＴ行列を算出する。

移動前カメラと移動後カメラの画像の時間差は短時間であり、車両１のハンドルを操作しても直進時のＴ行列とＲ行列のズレとして算出できる。以下、カーブＲＴ行列算出部１４のカーブＲ行列とカーブＴ行列の算出方法を説明する。

（ステップ１）
直進Ｆ行列算出部１２が算出した直進Ｔ行列をカーブＴ行列の初期値とする。カーブＲ行列はチルト（Ｔ）とロール（Ｒ）とパン（Ｐ）で表現する。カーブＲ行列の初期値は単位行列とする（Ｔ＝０、Ｒ＝０、Ｐ＝０となる）。

（ステップ２）
チルト（Ｔ）とロール（Ｒ）とパン（Ｐ）から、Ｒ行列を計算する。

（ステップ３）
式Ｂを使用して、Ｒ行列とＴ行列からＥ行列を計算する。

（ステップ４）
式Ｅを使用して、Ｅ行列からＦ行列を計算する。

（ステップ５）
以下の式Ｉを用いて、Ｃｏｓｔを求める。

（ステップ６）
Ｃｏｓｔが閾値以下であれば終了し、その時点のＲ行列とＴ行列が最適化値となる。

（ステップ７）
例えば、ニュートン・ラフソン法などの非線形最適化方法を利用して、Ｔ、Ｒ、ＰとＴ行列を微小変形させて、新しい値とする（以下の式Ｊ）。

（ステップ８）
微小変形量が閾値未満であれば終了し、その時点のＲ行列とＴ行列が最適化値となる。そうでないならば、ステップ２に戻る。

上記のようにＲ行列とＴ行列を最適化することによって、カーブＲ行列（Ｒ行列の最適化値）とカーブＴ行列（Ｔ行列の最適価値）が算出される。

三角測量部１５は、路面特徴点のカメラ座標を算出する。より具体的には、以下のようにして、カーブＲ行列とカーブＴ行列から、路面特徴点のカメラ座標を算出する。

まず、式Ｄから、移動前カメラ座標と移動前センサー座標の関係が得られる（以下の式Ｋ）。

同様に、移動後カメラ座標と移動後センサー座標の関係が得られる（以下の式Ｌ）。

移動前カメラ座標と移動後カメラ座標の関係は、式Ａで表される。式Ａを変形すると、以下の式Ｍが得られる。

式Ｍを式Ｌに代入すると、以下の式Ｎが得られる。

また、式Ｄを変形すると、以下の式Ｏが得られる。

移動前後カメラがあるので、以下の式Ｐとなる。

式Ｐを最小二乗法で解くことにより、移動前カメラの特徴点のカメラ座標が求められる。

角度算出部１６は、カーブＲ行列とカーブＴ行列と路面特徴点のカメラ座標から、カメラ３の設置角度を算出する。以下、図４を参照しながら、カメラ３の設置角度の算出方法を説明する。

図４は、移動前後のカメラ座標系と世界座標系の説明図である。図４において、路面上に移動前カメラの座標系（移動前カメラ座標系）がある。車両１が直進すると、移動後カメラの座標系（移動後カメラ座標系）となる。移動前カメラ座標系の真下が世界座標系となる。各座標系のＸＹＺ方向は、図４に示すとおりである。また、図４に示すように、路面２の法線方向のベクトルを「法線ベクトル」とする。移動前カメラ座標系原点から移動後カメラ座標系原点に向かうベクトルを「進行ベクトル」とする。

路面上の特徴点の移動前カメラ座標系でのカメラ座標は、三角測量部１５で算出されている。この特徴点のカメラ座標から、以下の式Ｑの係数を最小二乗法で算出する。

式Ｑに、以下の比率を乗算して正規化する。

路面２からカメラ３までの距離Ｈが既知であれば、上記の比率を並進行列に乗算して実際のサイズとする。

図４の右上の枠内は、移動前カメラ座標系の原点と法線上を移動して世界座標系の原点を一致させた図である。

カメラ座標系から世界座標系に回転移動する回転行列を求める。

式Ｑの係数（ａ，ｂ，ｃ）は法線ベクトルである。法線ベクトルは世界座標のＹ軸と逆方向に等しい。よって、以下の関係が成立する。

車両１が直進するとき、進行ベクトルは、式Ａにおける並進行列の各要素を負にして得られる。車両１が直進するとき、世界座標のＺ軸と逆方向に等しくなる。よって、以下の関係が成立する。

世界座標のＸ軸は、世界座標のＹ軸とＺ軸の外積として求めることができる。よって、以下の関係が成立する。

世界座標系からカメラ座標系に変換する。

以下の式Ｒから、ピッチ、ロール、パンを求めることができる。

車両１の走行中、時系列２画像を連続して取得できるため、角度算出部１６は、複数の角度情報を算出することができる。

角度記録部１７は、車両１の走行中に算出されるカメラ３の設置角度を角度情報としてデータベース１９に記録する。より具体的には、角度記録部１７は、ピッチ、ロール、パンの角度情報をデータベース１９に記録する。以下、図５を参照しながら、角度情報の記録方法を説明する。

図５は、進行ベクトルと世界座標系の説明図である。図５（ａ）は、車両１が直進する場合の図であり、図５（ｂ）は、車両１がカーブする場合の図である。図５（ａ）に示すように、車両１が直進する場合は、世界座標系のＺ軸と進行ベクトルが一致するため、パンを正確に算出できる。一方、図５（ｂ）に示すように、車両１がカーブする場合は、世界座標系と進行ベクトルが一致しないため、パンを正確に求めることができない。

カーブＲＴ行列算出部１４が算出するカーブＲ行列は、単位行列のとき直進であり、単位行列でないときカーブとなる。角度記録部１７は、表１に示すように、記録時刻および直進／カーブの情報とともに、角度情報（チルト、ロール、パン）をデータベース１９に記録する。

最適角度算出部１８は、データベース１９に記録された複数の角度情報から、カメラ３の設置角度の最適値を求める。

例えば、最適角度算出部１８は、記録時刻が最新のピッチをピッチの最適値とし、記録時刻が最新のロールをロールの最適値とし、車両１が直進しているときのパンのうち記録時刻が最新のパンをパンの最適値とする。

あるいは、最適角度算出部１８は、記録時刻が新しい複数のピッチの平均値をピッチの最適値とし、記録時刻が新しい複数のロールの平均値をロールの最適値とし、車両１が直進しているときのパンのうち記録時刻が新しい複数のパンの平均値をパンの最適値とする。

以上のように構成された車載カメラ校正装置１０について、図６のフロー図を参照してその動作を説明する。

図６に示すように、第１の実施の形態の車載カメラ校正装置１０では、まず、車両１に取り付けられたカメラ３で撮影された移動前後の路面画像（時系列２画像）を取得し（Ｓ１）、移動前後の路面画像から移動前後の路面特徴点を抽出してオプティカルフローを算出する（Ｓ２）。

つぎに、オプティカルフローから、車両１が直進していると仮定したときの基礎行列（直進Ｆ行列）を算出し（Ｓ３）、算出した直進Ｆ行列から、車両１が直進していると仮定したときの移動前後のカメラ座標間の回転行列（直進Ｒ行列）と並進行列（直進Ｔ行列）を算出する（Ｓ４）。

つぎに、直進Ｒ行列と直進Ｔ行列を最適化することによって、車両１がカーブしていると想定したときの回転行列（カーブＲ行列）と並進行列（カーブＴ行列）を算出し（Ｓ５）、算出したカーブＲ行列とカーブＴ行列から、路面特徴点のカメラ座標を算出し（Ｓ６）、カーブＲ行列とカーブＴ行列と路面特徴点のカメラ座標から、カメラ３の設置角度を算出する（Ｓ７）。

そして、車両１の走行中に算出されるカメラ３の設置角度を角度情報としてデータベース１９に記録し（Ｓ８）、データベース１９に記録された複数の角度情報から、カメラ３の設置角度の最適値を求める（Ｓ９）。

このような第１の実施の形態の車載カメラ校正装置１０によれば、式Ｄに示すように、Ｆ行列の変数が３個であるため、従来（Ｆ行列が８個の場合）に比べてＦ行列の算出精度が向上する。また、車両１の直進時だけでなく、カーブ時にもカメラ校正が可能である。さらに、本実施の形態によれば、舵角センサーなどの外部センサーを使用せずにカメラ校正が可能である。

また、本実施の形態では、記録時刻が最新のピッチをピッチの最適値とし、記録時刻が最新のロールをロールの最適値とし、車両１が直進しているときのパンのうち記録時刻が最新のパンをパンの最適値とする。これにより、データベース１９に記録された角度情報から適切にピッチとロールとパンの最適値を算出することができる。

あるいは、記録時刻が新しい複数のピッチの平均値をピッチの最適値とし、記録時刻が新しい複数のロールの平均値をロールの最適値とし、車両１が直進しているときのパンのうち記録時刻が新しい複数のパンの平均値をパンの最適値とす。これにより、データベース１９に記録された角度情報から適切にピッチとロールとパンの最適値を算出することができる。

（第２の実施の形態）
次に、本発明の第２の実施の形態の車載カメラ校正装置１０について説明する。ここでは、第２の実施の形態の車載カメラ校正装置１０が、第１の実施の形態と相違する点を中心に説明する。ここで特に言及しない限り、本実施の形態の構成および動作は、第１の実施の形態と同様である。

図７は、第２の実施の形態の車載カメラ校正装置１０の構成を示すブロック図である。図７に示すように、車載カメラ校正装置１０には、車両１に取り付けられた舵角センサー４から得られる舵角情報と、車両１に取り付けられた車速センサー５から得られる車速情報が入力される。

そして、本実施の形態の直進ＲＴ行列算出部１３は、舵角センサー４から得られる舵角情報と、車速センサー５から得られる車速情報とから、車両１が直進していると仮定したときの移動前後のカメラ座標間の回転行列（直進Ｒ行列）と並進行列（直進Ｔ行列）を算出する。

より具体的には、直進ＲＴ行列算出部１３は、舵角情報と車速情報（車速パルス）、車両１の旋回特性（例えばアッカーマンモデル）とカメラ３の車両取付位置から、移動前カメラと移動後カメラの位置関係を示す式ＡのＲ行列（直進Ｒ行列）とＴ行列（直進Ｔ行列）を算出する。

以上のように構成された車載カメラ校正装置１０について、図８のフロー図を参照してその動作を説明する。

図８に示すように、第２の実施の形態の車載カメラ校正装置１０では、まず、車両１に取り付けられたカメラ３で撮影された移動前後の路面画像（時系列２画像）を取得し（Ｓ１）、移動前後の路面画像から移動前後の路面特徴点を抽出してオプティカルフローを算出する（Ｓ２）。

つぎに、車両１に取り付けられた舵角センサー４舵角情報と車速センサー５から舵角情報と車速情報を取得し（Ｓ１０）、取得した舵角情報と車速情報とから、車両１が直進していると仮定したときの基礎行列（直進Ｆ行列）を算出し（Ｓ１１）、算出した直進Ｆ行列から、車両１が直進していると仮定したときの移動前後のカメラ座標間の回転行列（直進Ｒ行列）と並進行列（直進Ｔ行列）を算出する（Ｓ４）。

つぎに、直進Ｒ行列と直進Ｔ行列を最適化することによって、車両１がカーブしていると想定したときの回転行列（カーブＲ行列）と並進行列（カーブＴ行列）を算出し（Ｓ５）、算出したカーブＲ行列とカーブＴ行列から、路面特徴点のカメラ座標を算出し（Ｓ６）、カーブＲ行列とカーブＴ行列と路面特徴点のカメラ座標から、カメラ３の設置角度を算出する（Ｓ７）。

そして、車両１の走行中に算出されるカメラ３の設置角度を角度情報としてデータベース１９に記録し（Ｓ８）、データベース１９に記録された複数の角度情報から、カメラ３の設置角度の最適値を求める（Ｓ９）。

このような第２の実施の形態の車載カメラ校正装置１０によっても、式Ｄに示すように、Ｆ行列の変数が３個であるため、従来（Ｆ行列が８個の場合）に比べてＦ行列の算出精度が向上する。また、車両１の直進時だけでなく、カーブ時にもカメラ校正が可能である。

そのうえ、本実施の形態の車載カメラ校正装置１０によれば、センサー誤差と車両１の旋回特性誤差を補正することが可能になる。これにより、高精度なカメラ校正装置を提供することができる。

（第３の実施の形態）
次に、本発明の第３の実施の形態の車載カメラ校正装置１０について説明する。ここでは、第３の実施の形態の車載カメラ校正装置１０が、第１の実施の形態と相違する点を中心に説明する。ここで特に言及しない限り、本実施の形態の構成および動作は、第１の実施の形態と同様である。

図９は、第３の実施の形態の車載カメラ校正装置１０の構成を示すブロック図である。図９に示すように、車載カメラ校正装置１０には、車両１に取り付けられた舵角センサー４から得られる舵角情報が入力される。また、本実施の形態の車載カメラ校正装置１０は、舵角センサー４から得られる舵角情報に基づいて、車両１が直進しているか否かを判定する直進判定部２０を備えている。そして、オプティカルフロー算出部１１は、直進判定部２０により車両１が直進していると判定されたときにオプティカルフローの算出を行う。一方、オプティカルフロー算出部１１は、直進判定部２０により車両１が直進していないと判定されたときにオプティカルフローの算出を行わない。

以上のように構成された車載カメラ校正装置１０について、図１０のフロー図を参照してその動作を説明する。

図１０に示すように、第３の実施の形態の車載カメラ校正装置１０では、まず、車両１に取り付けられたカメラ３で撮影された移動前後の路面画像（時系列２画像）を取得する（Ｓ１）。そして、舵角センサー４から得られる舵角情報に基づいて、車両１が直進しているか否かを判定する（Ｓ１２）。車両１が直進していると判定された場合には、移動前後の路面画像から移動前後の路面特徴点を抽出してオプティカルフローを算出する（Ｓ２）。なお、車両１が直進していないと判定された場合には、オプティカルフローを算出しない。

つぎに、オプティカルフローから、車両１が直進していると仮定したときの基礎行列（直進Ｆ行列）を算出し（Ｓ３）、算出した直進Ｆ行列から、車両１が直進していると仮定したときの移動前後のカメラ座標間の回転行列（直進Ｒ行列）と並進行列（直進Ｔ行列）を算出する（Ｓ４）。

つぎに、直進Ｒ行列と直進Ｔ行列を最適化することによって、車両１がカーブしていると想定したときの回転行列（カーブＲ行列）と並進行列（カーブＴ行列）を算出し（Ｓ５）、算出したカーブＲ行列とカーブＴ行列から、路面特徴点のカメラ座標を算出し（Ｓ６）、カーブＲ行列とカーブＴ行列と路面特徴点のカメラ座標から、カメラ３の設置角度を算出する（Ｓ７）。

そして、車両１の走行中に算出されるカメラ３の設置角度を角度情報としてデータベース１９に記録し（Ｓ８）、データベース１９に記録された複数の角度情報から、カメラ３の設置角度の最適値を求める（Ｓ９）。

このような第３の実施の形態の車載カメラ校正装置１０によっても、式Ｄに示すように、Ｆ行列の変数が３個であるため、従来（Ｆ行列が８個の場合）に比べてＦ行列の算出精度が向上する。また、車両１の直進時だけでなく、カーブ時にもカメラ校正が可能である。

そのうえ、本実施の形態の車載カメラ校正装置１０によれば、車両１の直進時のデータのみを利用して、Ｆ行列を高精度に算出することができる。これにより、カメラ校正精度が高いカメラ校正装置を提供することができる。

以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。

以上のように、本発明にかかる車載カメラ校正装置は、高精度なＦ行列の計算が可能であり、車両直進時だけでなくカーブ時にも対応することができるという効果を有し、車両用のナビゲーションシステム等に適用され、有用である。

１ 車両
２ 路面
３ カメラ
４ 舵角センサー
５ 車速センサー
１０ 車載カメラ校正装置
１１ オプティカルフロー算出部
１２ 直進Ｆ行列算出部
１３ 直進ＲＴ行列算出部
１４ カーブＲＴ行列算出部
１５ 三角測量部
１６ 角度算出部
１７ 角度記録部
１８ 最適角度算出部
１９ データベース
２０ 直進判定部

Claims (5)

1. 車両に取り付けられたカメラで撮影された移動前後の路面画像から移動前後の路面特徴点を抽出してオプティカルフローを算出するオプティカルフロー算出部と、
   前記オプティカルフローから、前記車両が直進していると仮定したときの基礎行列である直進Ｆ行列を算出する直進Ｆ行列算出部と、
   前記直進Ｆ行列から、車両が直進していると仮定したときの移動前後のカメラ座標間の回転行列である直進Ｒ行列と、前記車両が直進していると仮定したときの移動前後のカメラ座標間の並進行列である直進Ｔ行列を算出する直進ＲＴ行列算出部と、
   前記直進Ｒ行列と前記直進Ｔ行列を最適化することによって、前記車両がカーブしていると想定したときの回転行列であるカーブＲ行列と、前記車両がカーブしていると想定したときの並進行列であるカーブＴ行列を算出するカーブＲＴ行列算出部と、
   前記カーブＲ行列と前記カーブＴ行列から、前記路面特徴点のカメラ座標を算出する三角測量部と、
   前記カーブＲ行列と前記カーブＴ行列と前記路面特徴点のカメラ座標から、前記カメラの設置角度を算出するカメラ角度算出部と、
   前記車両の走行中に算出される前記カメラの設置角度を角度情報としてデータベースに記録する角度記録部と、
   前記データベースに記録された複数の前記角度情報から、前記カメラの設置角度の最適値を求める最適角度算出部と、
   を備えることを特徴とする車載カメラ校正装置。
2. 前記角度記録部は、前記角度情報としてピッチとロールとパンを記録時刻とともに前記データベースに記録し、
   前記最適角度算出部は、記録時刻が最新のピッチを前記ピッチの最適値とし、記録時刻が最新のロールを前記ロールの最適値とし、車両が直進しているときのパンのうち記録時刻が最新のパンを前記パンの最適値とする、請求項１に記載の車載カメラ校正装置。
3. 前記角度記録部は、前記角度情報としてピッチとロールとパンを記録時刻とともに前記データベースに記録し、
   前記最適角度算出部は、記録時刻が新しい複数のピッチの平均値を前記ピッチの最適値とし、記録時刻が新しい複数のロールの平均値を前記ロールの最適値とし、車両が直進しているときのパンのうち記録時刻が新しい複数のパンの平均値を前記パンの最適値とする、請求項１に記載の車載カメラ校正装置。
4. 車両に取り付けられたカメラで撮影された移動前後の路面画像から移動前後の路面特徴点を抽出してオプティカルフローを算出するオプティカルフロー算出部と、
   前記車両に取り付けられた舵角センサーから得られる舵角情報と、前記車両に取り付けられた車速センサーから得られる車速情報とから、車両が直進していると仮定したときの移動前後のカメラ座標間の回転行列である直進Ｒ行列と、前記車両が直進していると仮定したときの移動前後のカメラ座標間の並進行列である直進Ｔ行列を算出する直進ＲＴ行列算出部と、
   前記直進Ｒ行列と前記直進Ｔ行列を最適化することによって、前記車両がカーブしていると想定したときの回転行列であるカーブＲ行列と、前記車両がカーブしていると想定したときの並進行列であるカーブＴ行列を算出するカーブＲＴ行列算出部と、
   前記カーブＲ行列と前記カーブＴ行列から、前記路面特徴点のカメラ座標を算出する三角測量部と、
   前記カーブＲ行列と前記カーブＴ行列と前記路面特徴点のカメラ座標から、前記カメラの設置角度を算出するカメラ角度算出部と、
   前記車両の走行中に算出される前記カメラの設置角度を角度情報としてデータベースに記録する角度記録部と、
   前記データベースに記録された複数の前記角度情報から、前記カメラの設置角度の最適値を求める最適角度算出部と、
   を備えることを特徴とする車載カメラ校正装置。
5. 前記車両に取り付けられた舵角センサーから得られる舵角情報に基づいて、前記車両が直進しているか否かを判定する直進判定部を備え、
   前記オプティカルフロー算出部は、前記直進判定部により前記車両が直進していると判定されたときに前記オプティカルフローの算出を行い、前記直進判定部により前記車両が直進していないと判定されたときに前記オプティカルフローの算出を行わない、請求項１〜請求項３のいずれか一項に記載の車載カメラ校正装置。

Images