JP4767052B2

JP4767052B2 - 光軸ずれ検出装置

Info

Publication number: JP4767052B2
Application number: JP2006078712A
Authority: JP
Inventors: 仁臣滝澤
Original assignee: Daihatsu Motor Co Ltd
Current assignee: Daihatsu Motor Co Ltd
Priority date: 2006-03-22
Filing date: 2006-03-22
Publication date: 2011-09-07
Anticipated expiration: 2026-03-22
Also published as: JP2007253699A

Description

本発明は、車両に搭載された車載カメラの光軸のずれを検出する光軸ずれ検出装置に関する。

従来、追従走行制御、被害軽減自動ブレーキ制御、ブレーキアシスト制御等を行なう車両は、単眼カメラ等のカメラ（車載カメラ）を所望の方向を向くように光軸設定して搭載し、その撮影画像を画像処理して自車前方の車両等の障害物を検出して追跡（エイミング）等する。

そのため、この種の車両においては、製造検査や出荷後の車両整備等におけるカメラエイミングの調整作業により、搭載したカメラの光軸のずれを検出し、その検出結果に基づいて、カメラの取り付け角度等を調整し、調整後の通常の車両走行中には、前記検出結果に基づいて、カメラの撮影画像の調整後の光軸のずれに起因した座標補正等を行なう必要がある。

そして、前記カメラの光軸のずれについては、例えば車両を十字マーク（補正マーク）のターゲット画像の衝立等の前の規定位置に止め、そのカメラの撮影画像上で、十字マークの位置と基準位置データの位置とのずれ量等を算出して検出することが提案されている。（例えば、特許文献１参照。）。

特許第３６５３７８３号公報（段落［００１４］及び［００４２］−［００５１］、図２、図３、図７〜図１０等）

前記特許文献１に記載のようにカメラの撮影画像上での十字マークの位置と基準位置データの位置とのずれ量を求めるには、何らかの手法により、カメラの撮影画像上のどの位置が十字マークの画像であるかを探索して特定する必要がある。

そして、周知のテンプレートマッチング法の画像処理（テンプレートマッチング処理）により、前記基準位置データの画像を検出基準のテンプレート画像とし、その画像をカメラの撮影画像上で少しずつずらしながら撮影画像の対応する部分画像と比較し、テンプレート画像と各位置の部分画像との画像レベル（例えば輝度の二値レベル）差から撮影画像上の前記十字マークの位置を探索して特定することが考えられる。

しかしながら、テンプレート画像を例えば撮影画像の左上隅から右下隅まで走査するようにずらしつつ、各画素位置において、テンプレート画像と対応する部分画像との全ての画素について画像レベルの差を求めて逐一比較するのでは、テンプレートマッチング処理のデータ量が膨大になる。

そのため、テンプレートマッチング処理を行なうコンピュータ等の処理負担が大きくなり、とくに、車両にＥＣＵとして搭載されるマイクロコンピュータのような処理能力があまり高くない安価な構成でテンプレートマッチング処理を行ない、前記十字マークの位置を探索して特定しようとすると、探索処理に時間がかかり、カメラエイミングの調整作業等を迅速に行なうことができず、ひいては、車両の生産や整備の作業効率の低下を招来する。

本発明は、自車に搭載したカメラの光軸のずれを、テンプレートマッチング処理の手法により、少ない処理負担で迅速に検出し得るようにすることを目的とする。

上記した目的を達成するために、本発明の光軸ずれ検出装置は、所望の方向を向くように光軸設定して車両に搭載された車載カメラの光軸のずれを検出する光軸ずれ検出装置であって、前記車載カメラのターゲット画像を含む撮影画像上において、前記ターゲット画像を検出するテンプレートマッチング処理の探索領域の中心位置を前記光軸の所定の最頻位置に設定する探索領域設定手段と、検出基準のテンプレート画像の位置を前記撮影画像上の前記探索領域の中心から周辺にずらしながら前記テンプレートマッチング処理をくり返し、前記撮影画像上の前記テンプレート画像にマッチングした画像の位置を前記ターゲット画像の位置として特定する位置特定手段とを備え、前記位置特定手段が、前記テンプレート画像の位置を前記撮影画像上の前記探索領域の中心から周辺にずらしながら前記テンプレートマッチング処理をくり返し、前記撮影画像の各位置の画像と前記テンプレート画像との残差和を算出する算出手段を有し、前記算出手段により、前記残差和の算出中の値が既算出の前記残差和の最小値以上になったときに当該位置の前記残差和の算出を終了し、その位置の画像を前記位置特定手段の特定対象から除外して前記テンプレート画像をつぎの位置にずらし、前記残差和の算出をくり返し、前記位置特定手段が特定した位置の前記中心位置からのずれに基づいて前記光軸のずれを検出することを特徴としている（請求項１）。

まず、請求項１の構成によれば、車両に装着されたカメラ（装着カメラ）の光軸が、設計された状態から極端にずれることはほとんどなく、カメラの撮影画像上のある位置（最頻位置）付近に集中することに着目し、カメラの撮影画像上にテンプレートマッチング処理を行なう探索領域を設定し、その領域の中心位置を前記最頻位置に合わせ、探査領域内において、その中心位置から周辺にテンプレート画像をずらしながらテンプレートマッチング処理をくり返してターゲット画像の位置を特定するため、テンプレート画像をずらす範囲、換言すれば、テンプレートマッチング処理を行なう範囲が、カメラの撮影画像の前記最頻位置を中心とする一定範囲に限られ、しかも、テンプレートマッチング処理を前記最頻位置から周辺にずらして行なうので、テンプレート画像を例えば撮影画像の左上隅から右下隅まで走査するようにずらして行なう場合に比して、迅速にターゲット画像の位置に到達してこの位置を特定することができる。

そのため、テンプレートマッチング処理の処理負担が少なく、車両にＥＣＵとして搭載されるマイクロコンピュータ等の処理能力があまり高くない安価な構成であっても、テンプレートマッチング処理を行なって前記ターゲット画像の位置を迅速に探索して特定することができ、カメラエイミングの調整作業を迅速に行なうことができ、ひいては、車両の生産や整備の作業効率が向上する。

また、位置特定手段の算出手段により、撮影画像上でテンプレート画像を探索領域の中心（最頻位置）から周辺にずらしながらテンプレートマッチング処理がくり返される。

このとき、前記算出手段は、残差和の算出中の値が最頻位置から直前の位置までの既知の残差和の最小値以上になると、この位置はターゲット画像の位置ではないものとして、その時点で残差和の算出を終了し、その位置は位置特定手段の特定対象から除外してテンプレート画像をつぎの位置にずらし、この位置についての残差和の算出に移る。

そのため、不要な残差和を算出することなく、一層迅速にターゲット画像の位置に到達することができ、テンプレートマッチング処理の処理負担が一層少なく、車両にＥＣＵとして搭載されるマイクロコンピュータ等の処理能力があまり高くない安価な構成であっても、テンプレートマッチング処理を行なって前記ターゲット画像の位置を一層迅速に探索して特定することができ、カメラエイミングを一層迅速に行なうことができ、車両の生産や整備の作業効率が著しく向上する。

つぎに、本発明をより詳細に説明するため、その実施形態について、図１〜図１０にしたがって詳述する。

（第１の実施形態）
まず、第１の実施形態について、図１〜図９を参照して説明する。

図１は車両（自車）１に搭載された光軸ずれ検出装置のブロック図であり、図２はターゲット画像の一例を示し、図３は撮影画像の一例、図４はその拡大した二値画像である。

また、図５は二値化したターゲット画像であり、図６は探査領域の探査順序の説明図、、図７は簡易チェック用のテンプレート画像の説明図であり、図８は図１の動作説明用のフローチャート、図９は図８の一部の詳細なフローチャートである。

（構成）
図１において、２は所望の方向を向くように光軸設定して車両１に搭載された単眼カメラ（本発明の搭載カメラ）である。

そして、前記所望の方向は車両１の外周の種々の方向であってよいが、この実施形態の場合、自車前方の先行車等の障害物を撮像するため、車両１の前方を所定の角度で若干斜め下向きに撮像する方向であり、単眼カメラ２は、例えば車室内のセンタミラー取り付け基部に取り付けの位置・角度の調整治具を介して支持されている。

３は単眼カメラ２に接続されたカメラＥＣＵであり、例えば単眼カメラ２の基板に取り付けられて単眼カメラ２に一体に形成され、マイクロコンピュータ４及びＥＥＰＲＯＭ等の不揮発性のメモリ５を備え、いわゆるＣＡＮ等の車載用ローカルエリアネットワーク６を介して車両１内の走行系（アクセル、ブレーキ等）の制御を行なう主制御ＥＣＵ等に接続されている。

そして、メモリ５は単眼カメラ２の光軸のずれの検出結果等を書き換え自在に保持し、マイクロコンピュータ４は、通常は、設定された撮影補正プログラム、障害物認識処理プログラム等を実行し、単眼カメラ２に保持されている光軸のずれの最新の検出結果に基づき、単眼カメラ２の時々刻々の撮影画像の座標軸を補正し、補正後の撮影画像を画像処理して自車前方の障害物を認識し、時々刻々の認識結果を前記主制御ＥＣＵ等に配信する。

ところで、マイクロコンピュータ４は、車両１の製造工程の光軸調整や整備工場での単眼カメラ２の光軸調整のカメラエイミングにおいて、図１に示す専用の調整開始指令装置７から車載用ローカルエリアネットワーク６を介して調整開始命令が送られてくると、前記の撮影補正プログラム、障害物認識処理プログラム等の通常の処理プログラムに代えて、予め設定された光軸ずれの検出・調整のプログラムを実行する。

そして、この光軸ずれの検出・調整のプログラムを実行することにより、マイクロコンピュータ４は、つぎに説明する二値化手段、探索領域設定手段、位置特定手段等を形成する。

（ｉ）二値化手段
この手段は、単眼カメラ２の後述のターゲット画像を含む撮影画像を二値化する手段である。

すなわち、後述のように単眼カメラ２の白黒或いはカラーの多階調の撮影画像からターゲット画像を直接探索してもよいが、データ量を少なくして処理負担を軽減するため、この実施形態においては、この二値化手段によって単眼カメラ２の撮影画像を二値化処理する。この二値化処理は、ターゲット画像の特徴を抽出するため、この実施形態の場合、微分二値化の処理であって、ターゲット画像のエッジ成分の二値画像を形成する。

ところで、このカメラエイミングの光軸ずれの調整においては、例えば図２に示すような９０度ずつ白と黒に交互に塗り分けられた円形のターゲット画像Ｐ１のスタンド８を使用し、このスタンド８を予め所定車両位置の前方の規定位置にターゲット画像Ｐ１が前記所定車両位置の車両に向き合うように立設する。なお、図２のＴｒはターゲット画像Ｐ１の半径であり、Ｔｘ、Ｔｙ、Ｔｚは前記所定車両位置にとったＸ（横方向）、Ｙ（高さ方向）、Ｚ（前後方向）の３次元座標系の原点０に対するターゲット画像Ｐ１の各軸方向の長さ（座標成分）である。

そして、調整対象の車両１を前記所定車両位置にセットし、単眼カメラ２により自車前方を撮影して例えば図３の撮影画像Ｐ２を得、この撮影画像Ｐ２を二値化手段で例えば図４の二値化された撮影画像Ｐ２１に加工する。このとき、ターゲット画像Ｐ１は撮影画像Ｐ２１上では図５に示す二値化されたターゲット画像Ｐ１１になる。

（ｉｉ）探索領域設定手段
この手段は、単眼カメラ２のターゲット画像（画像Ｐ１又は画像Ｐ１１）を含む撮影画像（画像Ｐ２又は画像Ｐ２１）上において、ターゲット画像Ｐ１１を検出するテンプレートマッチング処理の探索領域、例えば図４に示した探索領域αの中心位置α０を単眼カメラ２の光軸の所定の最頻位置に設定する。

ここで、最頻位置とは、多数の車両１の撮影画像（画像Ｐ２又は画像Ｐ２１）上において、装着された単眼カメラ２の光軸位置となる頻度が最も高い位置であり、通常は、設計上の単眼カメラ２の光軸の位置であり、実験等に基づいて予め設定される。

また、探索領域αの形状や大きさは処理負担や検出精度等を考慮して適当に設定されるが、単眼カメラ２の光軸位置のばらつきの範囲がある程度限られることから、例えば図６に示す８１（９×９）画素の大きさの正方形状に設定される。

（ｉｉｉ）位置特定手段
この手段は、検出基準のテンプレート画像の位置を撮影画像（画像Ｐ２又は画像Ｐ２１）上の探索領域αの中心から周辺にずらしながらテンプレートマッチング処理をくり返し、撮影画像上のテンプレート画像にマッチングした相関性の高い画像の位置をターゲット画像（画像Ｐ１又は画像Ｐ１１）の位置として特定する。

そして、検出基準のテンプレート画像は、通常、ターゲット画像（画像Ｐ１又は画像Ｐ１１）と同じ画像である。

また、探索領域αが図６の８１画素の正方形の領域とすると、テンプレート画像の位置は、例えばつぎに説明するように渦巻き状に移動して探索領域αの中心から周辺にずらす。

すなわち、図６の「０」〜「８０」の画素番号に示すように、探索領域αの中心の画素を第０番目の画素とし、その外側の８（＝３×３−１）画素を左上の画素から反時計周りに第１〜８番目の画素とし、さらにその外側の１６（５×５−１−８）画素を左上の画素から反時計周りに第９〜２４番目の画素とし、以降同様にして、最外側の３２画素を左上の画素から反時計周りに第４９〜８０番目の画素とすると、テンプレート画像の中心画素の位置を、最初は第０番目の画素位置にセットし、以降、第１番目の画素位置、第２番目の画素位置、第３番目の画素位置、…、第８０番目の画素位置に順にずらし、テンプレート画像の位置を、図中の各一点破線矢印に示すように渦巻き状に移動して探索領域αの中心から周辺にずらす。

さらに、この実施形態においては、撮影画像、ターゲット画像を二値化された撮影画像Ｐ２１、ターゲット画像Ｐ１１とし、位置特定手段がつぎの算出手段を有する。

この算出手段は、テンプレート画像の位置を上述のようにして撮影画像上Ｐ２１の探索領域αの中心から周辺にずらしながらテンプレートマッチング処理をくり返し、撮影画像Ｐ２１の各位置のテンプレート画像部分の二値画像と二値化されたテンプレート画像との残差和を算出する。この残差和の演算は、例えば、各画素の白をレベル１、黒をレベル０とし、撮影画像Ｐ２１の各位置のテンプレート画像部分の二値画像と二値化されたテンプレート画像との各画素のレベルの差（誤差）の絶対値を累加して求められ、テンプレート画像部分の二値画像とテンプレート画像とが完全に一致し、ターゲット画像の位置に到達したときに０（最小値）となる。

そして、テンプレートマッチング処理の負担を極力軽減するため、算出手段は、各画素の位置において、算出中の残差和の値が最頻位置（第０番目の画素位置）から直前の位置まで移動する間に算出された既知の残差和の最小値以上になると、この位置はターゲット画像の位置ではないものとして、その時点で残差和の算出を終了し、その位置は位置特定手段の特定対象から除外してテンプレート画像をつぎの位置にずらし、この位置についての残差和を算出して求める。

さらに、この実施形態においては、テンプレートマッチング処理の負担を一層軽減するため、テンプレート画像の位置の前記の渦巻き状の移動により、残差和が小さくなった位置をターゲット画像の位置として検出する。

そのため、この実施形態の前記算出手段は、実際には、最頻位置（第０番目の画素位置）の残差和をΔ（０）とすると、最初に算出した残差和Δ（０）が前記の最頻位置から直前の位置まで移動する間に算出された既知の残差和の最小値であり、その後、ｊ（１、２、…、８０）番目の残差和Δ（ｊ）の算出途中に残差和Δ（０）まで大きくなると、直ちに、その算出を終了してテンプレート画像をつぎの位置にずらし、その位置での残差和Δ（ｊ）を算出することをくり返すことにより、残差和Δ（ｊ）を途中で終了することなく算出した画素において、その残差和Δ（ｊ）が残差和Δ（０）より小さくなって算出を終了する。

そして、前記算出手段が算出を終了することにより、位置特定手段はその位置を撮影画像Ｐ２１上のテンプレート画像にマッチングしたターゲット画像Ｐ１１の位置として特定する。

（ｉｖ）ずれ量検出手段
この手段は、位置特定手段か特定した撮影画像Ｐ２１上のターゲット画像Ｐ１１の位置（実際にはその画像中心の位置）の最頻位置からのずれ量（２次元のずれ量）を検出し、検出した最新のずれ量をメモリ５に光軸ずれの補正値として書き換え自在に保持し、また、検出した最新のずれ量及び単眼カメラの取り付け高さ（設定値）等から単眼カメラ２の光軸の３次元のずれ量を検出し、例えば、車両１或いは指令装置７の表示装置（図示せず）に調整量として表示する。

（動作）
つぎに、前記構成に基く光軸ずれの検出について説明する。

まず、車両１の製造工程の光軸調整や整備工場での単眼カメラ２の光軸調整のカメラエイミングにおいて、調整開始指令装置７から車載用ローカルエリアネットワーク６を介して調整開始命令が送られてくると、マイクロコンピュータ４は、前記の光軸ずれの検出・調整のプログラムを実行し、二値化手段、探索領域設定手段、位置特定手段等が作動することによって、図８のステップＳ１〜Ｓ５の処理を順次に行なう。

そして、ステップＳ１により撮影画像Ｐ２を二値化した撮影画像Ｐ２１を得ると、ステップＳ２に移行してターゲット画像Ｐ１１の位置の探査を行なう。

ところで、この実施形態においては、マイクロコンピュータ４の演算時間を大幅に短縮して処理負担を一層軽減するため、ステップＳ２の詳細を示した図９のステップＱ１により、撮影画像Ｐ２１に探索領域αを設定すると、前記のテンプレートマッチング処理を行なう前に、例えば図７に示す十字画像からなる簡易チェック用のテンプレート画像Ｐ３を用いた予備的なパターンマッチング処理を行なう。

この予備的なパターンマッチング処理においては、探索領域αの各画素位置について、各画素位置を中心とするターゲット画像部分の中央が十字パターンになっているか否かを簡易チェックし、十字パターンになっておらず、明らかにターゲット画像Ｐ１１と異なる位置については、テンプレートマッチング処理の対象位置から省く。なお、前記の予備的なパターンマッチング処理では、例えば図７に示すテンプレート画像Ｐ３の上下、左右の半径Ｌ（３）のアームの有無を判断して簡易チェックする。

そして、前記の予備的なパターンマッチング処理の後に、図９のステップＱ１からステップＱ２に移行し、テンプレート画像の位置を探索領域αの中心の第０番目の画素位置にセットし、ステップＱ３で残差和を算出してテンプレートマッチング処理を行なう。

最初は既知の残差和が存在しないため、残差和を算出し、算出した残差和が設定された一致検出のしきい値より大きいことを条件に、算出した残差和をメモリ５に既知の残差和の最小値として保持した後、ステップＱ３からステップＱ４〜Ｑ７を介してステップＱ３に戻り、テンプレート画像の位置を、探索領域αの前記の予備的なパターンマッチング処理の省かれなかった各画素位置についてのみ、図６の順に中心から周辺にずらして残差和を算出する。

なお、最初に算出した残差和が前記一致検出のしきい値以下になるときには、ターゲット画像Ｐ１１が探索領域αの中心に位置し、光軸ずれがないと判断できるので、ステップＱ３からステップＱ４、Ｑ８を介してテンプレートマッチング処理を直ちに終了し、図８のステップＳ３によりターゲット画像Ｐ１１を特定し、ステップＳ４、Ｓ５により光軸のずれ量が０であるとしてメモリ５にずれ量０を書き込み、調整処理を終了する。

一方、光軸のずれがあり、最初に検出した残差和が前記一致検出のしきい値より大きくなるときは、図９のステップＱ３に戻り、テンプレート画像の位置を、図６の順に中心から周辺にずらして残差和を算出し、各画素位置において、例えば残差和の１画素の演算毎にステップＱ３からステップＱ４、Ｑ８を介してステップＱ３に戻るループ処理により、算出値とメモリ５の最小値とを比較する。

そして、算出値がメモリ５の最小値以上になると、ステップＱ４からステップＱ５に移行して直ちに算出を終了し、ステップＱ６を介してステップＱ７に移行し、テンプレート画像の位置をつぎの位置にずらしてステップＱ３に戻る。

このくり返しにより、テンプレート画像の位置がターゲット画像Ｐ１１の位置に達すると、その位置では残差和がメモリ５の最小値より小さくなるので、残差和の算出後、ステップＱ４からステップＱ８を肯定（ＹＥＳ）で通過し、図８のステップＳ２のテンプレートマッチング処理を終了する。

そして、ステップＳ２からステップＳ３に移行し、このステップＳ３により、テンプレートマッチング処理を終了した画素位置の画像部分がターゲット画像Ｐ１１であると特定し、ステップＳ４により、その時の画素位置と中心位置とのずれから光軸のずれ量を求め、ステップＳ５により、そのずれ量をメモリ５に書き込む。

このとき、メモリ５のずれ量が光軸ずれの調整量として表示され、この表示等から単眼カメラ２の取り付けが調整されてその光軸のずれが修正される。

そして、この修正後、再度上述のステップＳ１〜Ｓ５の光軸ずれの検出がくり返され、検出されたずれ量がその後の撮影画像の座標軸の補正値としてメモリ５に書き込まれ、一連の光軸ずれの調整が終了する。

なお、必要に応じて、調整をくり返してもよいのは勿論であり、この場合は、最後にメモリ５に書き換えて保持されたずれ量がその後の撮影画像の座標軸の補正値となる。

したがって、この実施形態の場合は、撮影画像Ｐ２１上にテンプレートマッチング処理行なう探索領域αを設定し、その領域αの中心位置を最頻位置に合わせ、探査領域α内において、その中心位置から周辺にテンプレート画像をずらしながらテンプレートマッチング処理をくり返してターゲット画像Ｐ１１の位置を特定することができる。

そして、テンプレートマッチング処理を行なう範囲が、単眼カメラ２の二値化された撮影画像Ｐ２１の前記最頻位置を中心とする一定範囲に限られ、しかも、テンプレートマッチング処理を前記最頻位置から周辺にずらして行なうので、テンプレート画像を例えば撮影画像Ｐ２１の左上隅から右下隅まで走査するようにずらして探索する場合に比して、迅速にターゲット画像Ｐ１１の位置に到達してこの位置を特定することができる。

そのため、テンプレートマッチング処理の処理負担が少なく、車両１に搭載されたカメラＥＣＵ３を用いてカメラエイミングの調整作業を迅速に行なうことができ、ひいては、車両の生産や整備の作業効率が向上する。

しかも、二値化手段によって単眼カメラ２の撮影画像Ｐ２がデータ量の少ない二値の画像Ｐ２１に加工され、位置特定手段の算出手段により、二値の画像Ｐ２１の撮影画像上で、テンプレート画像を探索領域αの中心（最頻位置）から周辺にずらしながらテンプレートマッチング処理がくり返されるので、データ量が一層少なくなる。

さらに、算出手段により、残差和の算出途中の値が既知の残差和の最小値以上になると、この位置はターゲット画像の位置ではないものとして、その時点で残差和の算出を直ちに終了し、その位置は判別手段の判別対象から除外してテンプレート画像をつぎの位置にずらし、この位置についての残差和の算出に移るため、実際には、最頻位置の残差和或いはつぎにそれより小さい残差和が求められたときに、ターゲット画像Ｐ１１の位置に到達したことを検出して処理を終了することができ、この場合、不要な残差和を算出しないため、一層迅速にターゲット画像Ｐ１１の位置に到達することができ、テンプレートマッチング処理の処理負担が極めて少なくなり、極めて短時間に処理が終了する。

加えて、この実施形態の場合、簡易チェック用のテンプレート画像Ｐ３を用いた予備的なパターンマッチング処理を行ない、探索領域αの明らかにターゲット画像Ｐ１１と異なる位置については、テンプレートマッチング処理の対象位置から省くようにしたので、さらに一層処理負担が少なくなり、光軸ずれの検出・調整の作業時間が極めて短くなる。

（第２の実施形態）
つぎに、第２の実施形態について、図１０を参照して説明する。

この実施形態においては、前記の位置特定手段に、上述の算出手段とともに判定手段を設け、撮影画像（画像Ｐ２又は画像Ｐ２１）上の探索領域αにおいて、最頻位置の残差和或いはそれより小さい残差和を算出したときには、メモリ５の前記最小値を、算出した新たな残差和に書き換え、残差和の算出を継続する。そして、テンプレート画像の位置を探索領域αの最終の画素位置までずらした後、判定手段により、メモリ５に保持された最小値の残差和の画素位置をターゲット画像Ｐ１１の位置として検出する。

具体的には、例えば図８の探査処理において、マイクロコンピュータ４が図９のステップＱ１〜Ｑ８の処理に代えて、図１０のステップＷ１〜Ｗ８の処理を実行する。

そして、図１０のステップＷ１〜Ｗ７は図９のステップＱ１〜Ｑ７と同じ処理を行い、図１０の処理が図９の処理と異なる点は、ステップＷ３で計算された残差和がメモリ５の最小値より小さくなるときに、終了するのではなく、ステップＷ３からステップＷ４、Ｗ８を介してステップＷ６に移行し、探査領域αの最終の画素位置（通常は第８０番目の画素位置）に達するまでは、ステップＷ６からステップＷ７を介してステップＷ３に戻り、残差和の計算をくり返す。

このようにすることで、探索領域αのターゲット画像探索途中に残差和がメモリ５の最小値より小さくなったとしても、照明等の影響により、その画素位置がターゲット画像Ｐ１１の中心位置でないおそれがあるときにも、誤検出することなくターゲット画像Ｐ１１の位置を正確に特定して検出することができる。

そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、ターゲット画像や簡易チェック用のテンプレート画像は何らかの特徴がある種々の画像であってよいのは勿論である。

また、上記各実施形態では、二値化した画像により残差和を算出しているが、車載カメラの多階調の撮影画像（濃淡画像）からターゲット画像を探索してもよい。この場合、例えば、撮影画像の横方向をｘ、高さ方向をｙとし、各位置（ｘ、ｙ）の残差和をΣΔ（ｘ、ｙ）とし、一方、１０画素（横方向）×１０画素（高さ方向）のテンプレート画像の各画素位置（ｉ、ｊ）、（０≦ｉ≦９、０≦ｊ≦９）の画素の濃淡値をＴ（ｉ、ｊ）とし、前記多階調の撮影画像（対象画像）の各位置（ｘ、ｙ）におけるテンプレート画像部分の各画素画素の濃淡値をＩ（ｘ＋ｉ、ｙ＋ｊ）とすると、各位置（ｘ、ｙ）の残差和ΣΔ（ｘ、ｙ）はつぎの数１の式の演算から求めることができる。

そして、このようにすることで、請求項２の本発明は撮影画像が多階調画像の場合にも二値画像の場合と同様に適用することができる。

つぎに、予備的なパターンマッチング処理を省いて行なう場合にも本発明を同様に適用することができるのも勿論である。

さらに、マイクロコンピュータ４の処理手順が前記両実施形態と異なっていてもよいのは勿論である。

また、本発明の光軸ずれ検出装置は、検出対象の車両１に搭載されてそのＥＣＵ等によって形成されることが望ましいが、検出対象の車両１と別個独立の装置であってもよいのは勿論である。

そして、本発明は、単眼カメラ２のようなカメラを搭載した種々の車両のカメラエイミングに適用することができる。

この発明の第１の実施形態のブロック図である。図１の単眼カメラが撮影するターゲット画像の一例の説明図である。図１の単眼カメラの撮影画像の一例の説明図である。図３の撮影画像を二値化した画像の説明図である。図３の二値化したターゲット画像の説明図である。図１の探査領域の探査順序の説明図である。図１の簡易チェック用のテンプレート画像の説明図である。図１の動作説明用のフローチャートである。図８の一部の詳細なフローチャートである。本発明の第２の実施形態の動作説明用のフローチャートである。

符号の説明

１車両
２単眼カメラ
３カメラＥＣＵ
Ｐ１、Ｐ１１ターゲット画像
Ｐ２、Ｐ２１撮影画像
α 探索領域

Claims

所望の方向を向くように光軸設定して車両に搭載された車載カメラの光軸のずれを検出する光軸ずれ検出装置であって、
前記車載カメラのターゲット画像を含む撮影画像上において、前記ターゲット画像を検出するテンプレートマッチング処理の探索領域の中心位置を前記光軸の所定の最頻位置に設定する探索領域設定手段と、
検出基準のテンプレート画像の位置を前記撮影画像上の前記探索領域の中心から周辺にずらしながら前記テンプレートマッチング処理をくり返し、前記撮影画像上の前記テンプレート画像にマッチングした画像の位置を前記ターゲット画像の位置として特定する位置特定手段とを備え、
前記位置特定手段が、前記テンプレート画像の位置を前記撮影画像上の前記探索領域の中心から周辺にずらしながら前記テンプレートマッチング処理をくり返し、前記撮影画像の各位置の画像と前記テンプレート画像との残差和を算出する算出手段を有し、
前記算出手段により、前記残差和の算出中の値が既算出の前記残差和の最小値以上になったときに当該位置の前記残差和の算出を終了し、その位置の画像を前記位置特定手段の特定対象から除外して前記テンプレート画像をつぎの位置にずらし、前記残差和の算出をくり返し、前記位置特定手段が特定した位置の前記中心位置からのずれに基づいて前記光軸のずれを検出することを特徴とする光軸ずれ検出装置。