JP2017211200A - カメラ校正装置及びカメラ校正方法 - Google Patents

Abstract

【課題】カメラの校正の処理を簡単に行う。【解決手段】ステップ２では、画像処理部は、車両に設置されたカメラから取得される撮像画像を歪み補正及び視点変換を行うことによって、対象画像を生成する処理を行う。ステップ３では、画像処理部は、生成した対象画像から信号機及び道路標識等が存在するか否か判定する処理を行う。ステップ３で肯定判定されると、ステップ４で、画像処理部は、信号機及び道路標識等の縦エッジを抽出し、抽出された縦エッジの傾きの角度を算出する。画像処理部は、当該角度に基づいて、車両に設置されているカメラの現在の取付け角度と、車両に設置されたカメラの初期の取付け角度とのずれを算出する。【選択図】図２

Description

本開示は、カメラを校正する技術に関する。

車両に設置されているカメラは、使用しているうちにカメラの取付け角度がずれてくることがある。このようなカメラのずれを校正する技術が知られている。例えば、路面に校正用ボードを設置し、その校正用ボードをカメラで撮像することによりカメラを校正する技術が知られている。しかし、この技術を用いてカメラを校正する場合、校正用ボードを路面等に置いてカメラを校正する必要があり、カメラの校正作業を自動化することができないという問題があった。そこで、この問題を解決するために、路面に描画されている区画線や道路標示等をカメラで撮像することによりカメラを校正する技術が開示されている（特許文献１参照）。

特開２００３−３２９４１１号公報

特許文献１に記載の例では、車両に設置されているカメラから取得される撮像画像中において、車線を区分する２本の白線を延長した交点である消失点を計算し、当該消失点と、車両の進行角度を検出する角度センサからの情報とを合わせて、カメラの校正を行っている。つまり、白線の情報と角度センサからの情報とが必要になる。このため、これらの情報に基づいて行われるカメラの校正の処理は複雑になっている。

本開示の一側面は、こうした問題にかんがみてなされたものであり、カメラの校正の処理を簡単に行うことを目的とする。

本開示の一態様は、カメラ校正装置（６）であって、抽出部（６、Ｓ１〜Ｓ４、Ｓ２１〜Ｓ２４、Ｓ４１〜Ｓ４６）と、傾き算出部（６、Ｓ４、Ｓ２４、Ｓ４７〜Ｓ４９）と、ずれ算出部（６、Ｓ９、Ｓ１０、Ｓ２９、Ｓ３０）と、を備える。抽出部は、車両に設置されたカメラ（２、３）から取得される撮像画像において、鉛直方向に延びる直線状の部分を有する物体の縦エッジを抽出する。傾き算出部は、抽出部によって抽出された縦エッジの傾きを算出する。ずれ算出部は、傾き算出部によって算出された縦エッジの傾きに基づいて、車両に設置されているカメラの現在の取付け角度と、車両に設置されたカメラの初期の取付け角度とのずれを算出するずれ算出処理を行う。

このようなカメラ校正装置によれば、縦エッジの傾きに基づいてカメラを校正することができる。そのため、本開示のカメラ校正装置は、例えば、車線境界線の情報と角度センサから得られた情報とが必要なカメラ校正装置とは異なり、角度センサからの情報を必要としない。したがって、本開示のカメラ校正装置を用いれば、カメラの校正の処理を簡単に行うことができる。

また、本開示の別の態様は、カメラ校正方法であって、車両に設置されたカメラ（２、３）から取得される撮像画像において、鉛直方向に延びる直線状の部分を有する物体の縦エッジを抽出し（６、Ｓ１〜Ｓ４、Ｓ２１〜Ｓ２４、Ｓ４１〜Ｓ４６）、抽出された縦エッジの傾きを算出し（６、Ｓ４、Ｓ２４、Ｓ４７〜Ｓ４９）、算出された縦エッジの傾きに基づいて、車両に設置されているカメラの現在の取付け角度と、車両に設置されたカメラの初期の取付け角度とのずれを算出する（６、Ｓ９、Ｓ１０、Ｓ２９、Ｓ３０）。

このようなカメラ校正方法によれば、先に説明したカメラ校正装置と同様の特徴を備えているため、カメラ校正装置と同様の作用、効果を奏し、カメラの校正の処理を簡単に行うことができる。

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

カメラ校正システムの構成を表すブロック図である。 第１カメラ校正処理を表すフローチャート（その１）である。 第１カメラ校正処理を表すフローチャート（その２）である。 （Ａ）は取付け位置がずれていない場合の縦エッジの特徴を示す図である。（Ｂ）及び（Ｃ）はピッチ角がずれている場合の縦エッジの特徴を示す図である。（Ｄ）及び（Ｅ）はロール角がずれている場合の縦エッジの特徴を示す図である。（Ｆ）、（Ｇ）、（Ｈ）及び（Ｉ）はピッチ角及びロール角がずれている場合の縦エッジの特徴を示す図である。 第２カメラ校正処理を表すフローチャート（その１）である。 第２カメラ校正処理を表すフローチャート（その２）である。 トラッキング処理を表すフローチャートである。 （Ａ）は撮像画像に歪み補正したものである。（Ｂ）は対象画像である。

以下、図面を参照しながら、本開示を実施するための形態を説明する。
［１．第１実施形態］
［１−１．カメラ校正システム１の構成］
カメラ校正システム１の構成を図１に基づき説明する。カメラ校正システム１は、車両に搭載される車載システムである。カメラ校正システム１を搭載する車両を以下では自車両とする。カメラ校正システム１は、フロントカメラ２と、リアカメラ３と、ＥＣＵ４と、表示装置５と、を備える。なお、ＥＣＵ４は、「Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ」の略であり、すなわち電子制御装置の略である。

フロントカメラ２は、フロントカメラ２の光軸が斜め下に向くように、自車両の前部に設置され、自車両の前方斜め下を撮像する。リアカメラ３は、リアカメラ３の光軸が斜め下に向くように、自車両の後部に設置され、自車両の後方斜め下を撮像する。フロントカメラ２及びリアカメラ３は、所定の時間間隔（例えば１／１５秒間隔）で撮像を行う。また、フロントカメラ２及びリアカメラ３は、広角レンズを備える。そのため、フロントカメラ２及びリアカメラ３によって撮像された撮像画像は、撮像画像の中心部に比べ、周辺部ほど被写体の縮小度合が大きくなるような歪みを有する。

ＥＣＵ４は、画像処理部６と、画像信号処理部７と、車載信号処理部８と、メモリ９と、電源回路１０と、を備える。画像処理部６は、図示しないＣＰＵ、ＲＡＭ、及びＲＯＭ等、を有する周知のマイクロコンピュータを中心に構成される。画像処理部６の各種機能は、ＣＰＵが非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ９が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、画像処理部６を構成するマイクロコンピュータの数は１つでも複数でもよい。

画像信号処理部７は、フロントカメラ２及びリアカメラ３から入力された信号を画像処理部６へ出力するためのインターフェースである。車載信号処理部８は、自車両の車速を検出する車速センサから入力された車速信号を画像処理部６へ出力するためのインターフェースである。

メモリ９は、各種機能を実現するためのプログラムを記録する記録媒体である。メモリ９には、自車両に設置されたフロントカメラ２及びリアカメラ３の初期の取付け角度が設計値として記録されている。

電源回路１０は、自車両の図示しないバッテリから入力した電圧を適当な電圧に変換し、ＥＣＵ４の各部へ供給する。表示装置５は、画像を表示する周知の装置であり、表示された画像を車内の運転者等が視認できる位置に設置される。表示装置５は、例えば液晶ディスプレイ等である。

［１−２．カメラ校正システム１の第１カメラ校正処理］
次に、画像処理部６が実行する第１カメラ校正処理（換言すれば、カメラ校正方法）について、図２及び図３のフローチャートを用いて説明する。第１カメラ校正処理は、自車両のイグニッションスイッチがオンにされることにより開始され、所定時間（例えば１／１５秒）ごとに繰り返し実行される。なお、以下に説明する第１カメラ校正処理は、フロントカメラ２から取得される撮像画像に基づいて処理される例を示すが、リアカメラ３から取得される撮像画像に基づいて処理される場合も同様の処理が行われる。

ステップ１では、画像処理部６は、フロントカメラ２から撮像画像を取得する処理を行う。続くステップ２では、画像処理部６は、取得した撮像画像から対象画像５２を生成する処理を行う。対象画像５２の例を図８の（Ｂ）に示す。ステップ２では、具体的には、画像処理部６は、撮像画像に対して周知の歪み補正を行う。歪み補正された撮像画像５１の例を図８の（Ａ）に示す。そして、画像処理部６は、歪み補正された撮像画像５１をフロントカメラ２のピッチ角（換言すれば伏角）が０度の視点の画像に変換する視点変換処理を、歪み補正された撮像画像５１に対して実施することで、対象画像５２を生成する。なお、視点変換処理は、自車両に設置されたフロントカメラ２の初期の設計値に基づいて処理が行われる。

続くステップ３では、画像処理部６は、生成した対象画像５２に設定された水平線から上方の領域を左右に略等しく分けた左側の領域（以下、左側領域と称す。）及び右側の領域（以下、右側領域と称す。）のそれぞれに対して、信号機及び道路標識等が存在するか否かを判定する処理を行う。具体的には、画像処理部６は、メモリ９に予め記録されている信号機及び道路標識等のテンプレートを用いて対象画像５２を解析するパターン認識を行い、信号機及び道路標識等が存在するか否かを判定する処理を行う。なお、水平線は、自車両に設置されたフロントカメラ２の初期の設計値に基づいて、対象画像５２に設定されている。ステップ３で否定判定されると、再度、ステップ１に戻る。一方、ステップ３で肯定判定されると、ステップ４に進む。

ステップ４では、画像処理部６は、パターン認識された信号機及び道路標識等の縦エッジを抽出し、当該縦エッジの傾きの角度を算出し、更に当該角度のデータを蓄積する処理を行う。ステップ４での処理は、左側領域及び右側領域のそれぞれに対して行われる。ここで、縦エッジとは、鉛直方向に延びる直線状の部分を有する静止物体の当該直線状の部分を意味する。静止物体としては、例えば信号機、道路標識、及び建物等が挙げられる。なお、鉛直方向とは、厳密な意味での鉛直方向に限るものではなく、目的とする効果を奏するのであれば、厳密に鉛直方向でなくてもよい。具体的に、ステップ４では、画像処理部６は、信号機のランプを支える支持柱や一方通行を示す矢印等が表示された表示板を支える支持柱等を縦エッジとして抽出する。この抽出は公知のエッジ検出処理等によって行われる。画像処理部６は、抽出された縦エッジの両端点をそれぞれ開始点及び終了点とし、開始点及び終了点の対象画像５２上における座標を算出する。画像処理部６は、この座標情報に基づいて縦エッジの傾きの角度を算出し、そのデータを蓄積する。

ステップ５では、画像処理部６は、ステップ４で抽出された縦エッジを含む左側領域の対象画像５２の枚数及び右側領域の対象画像５２の枚数がともに所定の枚数よりも多いか否かを判定する処理を行う。ここで否定判定されると、ステップ１に戻る。一方、ステップ５で肯定判定されると、ステップ６に進む。具体的には、例えば所定の枚数を１００枚に設定すると、縦エッジを含む左側領域の対象画像が１００枚を超え、縦エッジを含む右側領域の対象画像が１００枚に達していない場合、画像処理部６は左側領域の処理をいったんストップする。右側領域については、ステップ１に戻り、縦エッジを含む右側領域の対象画像５２が１００枚よりも多くなるまで、画像処理部６はステップ１からステップ５の処理を行う。縦エッジを含む右側領域の対象画像５２が１００枚を超えたら、左側領域の処理及び右側領域の処理はステップ６に進む。

続くステップ６では、画像処理部６は、ステップ４で蓄積された角度の平均値を算出する処理を行う。この処理は、左側領域及び右側領域から抽出された縦エッジの傾きの角度に対して、それぞれ行われる。

続くステップ７では、画像処理部６は、直角（９０度）から左側領域の縦エッジの角度の平均値を引いた値と直角（９０度）から右側領域の縦エッジの角度の平均値を引いた値とを算出し、算出した値の絶対値の少なくとも一方が閾値ＴＨ_１よりも大きい値であるか否かを判定する処理を行う。例えば、フロントカメラ２の現在の取付け角度がフロントカメラ２の初期の取付け角度とずれていない場合には、視点変換処理後の縦エッジの傾きの角度は理想的には９０度となり、算出した値の絶対値は０となる。フロントカメラ２の現在の取付け角度とフロントカメラ２の初期の取付け角度とのずれが大きくなると、絶対値が大きくなる。

また、閾値ＴＨ_１は、フロントカメラ２の校正が必要か否かの判定基準値である。ステップ７で否定判定された場合、つまり、絶対値が閾値ＴＨ_１以下の値の場合、フロントカメラ２の現在の取付け角度と初期の取付け角度とのずれが小さいため、ステップ８の処理後、再度ステップ１からステップ７の処理が行われる。ステップ８では、画像処理部６は古いデータの順にデータを破棄する処理を行う。ステップ７で肯定判定された場合、つまり、絶対値が閾値ＴＨ_１よりも大きい値の場合、フロントカメラ２の現在の取付け角度と初期の取付け角度とのずれが大きいため、フロントカメラ２の校正を必要とするステップ９以降の処理へ進む。

ステップ９では、画像処理部６は、左側領域から抽出された縦エッジの傾きの角度の平均値と右側領域から抽出された縦エッジの傾きの角度の平均値との差分の絶対値を算出し、当該絶対値が閾値ＴＨ_２よりも大きい値であるか否かを判定する処理を行う。閾値ＴＨ_２は、ロール及びピッチの両方のフロントカメラ２の校正が必要であるか否かの判定基準値である。ステップ９で肯定判定されるとステップ１３に進む。ステップ１３では、画像処理部６は、ロール及びピッチの両方のフロントカメラ２の校正が必要であるという警報を表示装置に表示する処理を行う。ステップ１３の後、第１カメラ校正処理は終了する。

一方、ステップ９で、否定判定されるとステップ１０に進む。ステップ１０では、画像処理部６は、ステップ７で算出された左側領域及び右側領域の値の符号が同じか否かを判定する処理を行う。ここで、符号とは、ステップ７で算出された値の符号のことを意味し、マイナス（−）及びプラス（＋）のことである。つまり、縦エッジの傾きの角度が０度以上９０度未満の場合にはプラス、９０度より大きく１８０度未満の場合にはマイナスである。

ステップ１０で、否定判定されるとステップ１１に進む。ステップ１１では、画像処理部６は、ピッチのみのフロントカメラ２の校正が必要であるという警報を表示装置に表示する処理を行う。ステップ１１の後、第１カメラ校正処理は終了する。

ステップ１０で、肯定判定されるとステップ１２に進む。ステップ１２では、画像処理部６は、ロールのみのフロントカメラ２の校正が必要であるという警報を表示装置に表示する処理を行う。ステップ１２の後、第１カメラ校正処理は終了する。

次に、フロントカメラ２の校正処理の具体的事例について、図４の（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）、（Ｅ）、（Ｆ）、（Ｇ）、（Ｈ）、及び（Ｉ）を用いて説明する。
左側領域及び右側領域から抽出された平均の縦エッジを図４の（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）、（Ｅ）、（Ｆ）、（Ｇ）、（Ｈ）、及び（Ｉ）の２本の線で示す。２本の線のうち左側にある線は左側領域から抽出された平均の縦エッジを示し、２本の線のうち右側にある線は右側領域から抽出された平均の縦エッジを示す。

図４の（Ａ）に示すように、左側領域及び右側領域から抽出された平均の縦エッジの傾きが両方ともあまり傾いていない場合、つまり、ステップ７で否定判定される場合、フロントカメラ２の校正が必要であるという警報を表示装置に表示しない。

一方、図４の（Ｂ）〜（Ｉ）に示すように、左側領域及び右側領域から抽出された平均の縦エッジの傾きの少なくとも一方が一定の値よりも大きく傾いている場合、つまり、ステップ７で肯定判定される場合、フロントカメラ２の校正が必要であるという警報を表示装置に表示する。

図４の（Ｂ）及び（Ｃ）に示すように、左側領域から抽出された縦エッジの傾きの角度の平均値と右側領域から抽出された縦エッジの傾きの角度の平均値との差分の絶対値が閾値ＴＨ_２以下の値であり、左側領域及び右側領域から抽出された縦エッジの傾きの角度の平均値の符号が異なる場合、ピッチのみのフロントカメラ２の校正が必要であるという警報を表示装置に表示する。

図４の（Ｄ）及び（Ｅ）に示すように、左側領域から抽出された縦エッジの傾きの角度の平均値と右側領域から抽出された縦エッジの傾きの角度の平均値との差分の絶対値が閾値ＴＨ_２以下の値であり、左側領域及び右側領域から抽出された縦エッジの傾きの角度の平均値の符号が同じ場合、ロールのみのフロントカメラ２の校正が必要であるという警報を表示装置に表示する。

図４の（Ｆ）〜（Ｉ）に示すように、左側領域から抽出された縦エッジの傾きの平均値と右側領域から抽出された縦エッジの傾きの平均値との差分の絶対値が閾値ＴＨ_２よりも大きい値である場合、ロール及びピッチの両方のフロントカメラ２の校正が必要であるという警報を表示装置に表示する処理を行う。

［１−３．効果］
以上詳述した第１実施形態によれば、以下の効果が得られる。
（１ａ）第１実施形態の画像処理部６は、縦エッジの傾きの角度に基づいてフロントカメラ２の校正を行う。そのため、画像処理部６は、例えば、車線境界線の情報と角度センサから得られた情報とが必要な画像処理部とは異なり、角度センサからの情報を必要としない。また、画像処理部６は、例えば、測定すべき道路を特定するために地図情報を必要とする画像処理部とは異なり、地図情報を必要としない。したがって、画像処理部６を用いれば、フロントカメラ２の校正の処理を簡単に行うことができる。

（１ｂ）第１実施形態の画像処理部６は、左側領域及び右側領域から縦エッジを抽出し、抽出された縦エッジのそれぞれの傾きを比較する処理を行う。そのため、必要とするフロントカメラ２の校正がロールなのか、ピッチなのかが分かる。

（１ｃ）第１実施形態では、対象画像５２の左側領域及び右側領域に対して処理がそれぞれ行われる。当該左側領域及び右側領域は、信号機及び道路標識等が存在する確率が高い領域である。そのため、例えば対象画像５２全体に対して処理される場合に比べて、左側領域及び右側領域に対して処理される場合の方が、処理時間が低減され、さらに誤認識を抑制することができる。

（１ｄ）第１実施形態の画像処理部６は、視点変換処理を行い、視点変換処理後の対象画像５２から縦エッジを抽出する処理を行う。そのため、フロントカメラ２の光軸が斜め下に向くように自車両に設置されている場合でも、フロントカメラ２のピッチ角が０度になるように設置されている場合と同様に、フロントカメラ２の校正を行うことができる。

（１ｅ）第１実施形態では、水平線が、自車両に設置されたフロントカメラ２の初期の設計値に基づいて、対象画像５２に設定されている。そのため、例えば、車線境界線の情報と角度センサから得られた情報とが必要な画像処理部とは異なり、画像処理部６は角度センサからの情報を必要としないため、角度センサがなくても、フロントカメラ２を校正することができる。

（１ｆ）第１実施形態の画像処理部６は、縦エッジの傾きの角度のデータを蓄積し、蓄積されたデータの平均値に基づいて、フロントカメラ２の校正の処理を行う。そのため、画像処理部６は、精度が高い情報に基づいてフロントカメラ２の校正の処理を行うことができる。

（１ｇ）第１実施形態の画像処理部６は、絶対値が閾値ＴＨ_１以下の値の場合、フロントカメラ２の現在の取付け角度と初期の取付け角度とのずれが小さいため、フロントカメラ２の校正を必要とする処理を行わない。そのため、処理負荷を低減することができる。

（１ｈ）第１実施形態の画像処理部６は、ロール及びピッチのカメラ姿勢の校正が必要であるという警報を表示装置に表示する処理を行う。そのため、画像処理部６は、自車両に設置されているフロントカメラ２の現在の取付け角度と、自車両に設置されたフロントカメラ２の初期の取付け角度とがずれていることを、運転者に把握させることができる。

なお、第１実施形態では、画像処理部６がカメラ校正装置に相当し、平均値が統計値に相当する。また、左側領域から抽出された縦エッジの傾きが第１の傾きに相当し、右側領域から抽出された縦エッジの傾きが第２の傾きに相当する。また、Ｓ１〜Ｓ４が抽出部としての処理に相当し、Ｓ４が傾き算出部としての処理に相当し、Ｓ９、Ｓ１０がずれ算出部としての処理に相当し、Ｓ４が蓄積部としての処理に相当し、Ｓ６が統計部としての処理に相当し、Ｓ１１〜Ｓ１３が表示処理部としての処理に相当する。

［２．第２実施形態］
［２−１．第１実施形態との相違点］
第２実施形態は、基本的な構成は第１実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。なお、第１実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。

［２−２．カメラ校正システム１の第２カメラ校正処理］
次に、第２実施形態の画像処理部６が、第１実施形態の第１カメラ校正処理（図２及び図３）に代えて実行する第２カメラ校正処理（換言すれば、カメラ校正方法）について、図５、図６及び図７のフローチャートを用いて説明する。第２カメラ校正処理は、自車両のイグニッションスイッチがオンにされることにより開始され、所定時間（例えば１／１５秒）ごとに繰り返し実行される。なお、以下に説明する第２カメラ校正処理は、フロントカメラ２から取得される撮像画像に基づいて処理される例を示すが、リアカメラ３から取得される撮像画像に基づいて処理される場合も同様の処理が行われる。

ステップ２１では、画像処理部６は、前述したステップ１と同様の処理を実行する。続くステップ２２では、画像処理部６は、前述したステップ２と同様の処理を実行する。
続くステップ２３では、画像処理部６は、対象画像５２の左探索領域５３及び右探索領域５４のそれぞれに対して、視認対象が存在するか否かを判定する処理を行う。具体的には、第２実施形態では、例えば信号機や道路標識等のように、視認される視認対象及び視認対象を支える支持柱を備える静止物体から、縦エッジを抽出する。静止物体が信号機の場合、信号機のランプ部分が視認対象に相当し、静止物体が道路標識の場合、一方通行を示す矢印等が表示された表示板部分が視認対象に相当する。左探索領域５３及び右探索領域５４の例を図８（Ｂ）に示す。対象画像５２を上下に略等しく分けた上方の領域から、対象画像５２を左右に等しく分ける所定領域と、対象画像５２の一番上の所定領域とを除いた左側の領域及び右側の領域が、それぞれ左探索領域５３及び右探索領域５４として設定されている。具体的に、ステップ２３では、画像処理部６は、メモリ９に予め記録されている道路標識の視認対象のテンプレートを用いて撮像画像を解析するパターン認識を行い、視認対象が存在するか否かを判定する処理を行う。

ステップ２４では、画像処理部６は、視認対象に対してトラッキング処理を行う。この処理は、左探索領域５３及び右探索領域５４に対してそれぞれ行われる。
具体的には、１つ前の対象画像５２及び最新の対象画像５２において視認対象が連続して認識された際、１つ前の対象画像５２から認識された過去の視認対象と最新の対象画像５２から認識された最新の視認対象とを比較して、それらが同一の視認対象であるか否かを判定する。ここで、同一の視認対象とは、物体として同一であることを意味し、外形が同一であっても異なる地点に設置されている視認対象は含まれない。異なる視認対象とは、同一の視認対象以外の視認対象を意味する。そして、最新の視認対象が過去の視認対象と同一の視認対象であると判定された場合、最新の視認対象について、その支持柱の縦エッジが抽出され、当該縦エッジの座標情報が記録される。この処理は、同一の視認対象が対象画像５２において認識されている間継続される。つまり、同一の視認対象がトラッキングされる。その間、当該視認対象の座標情報が蓄積される。その後、蓄積された座標情報の中から縦エッジの線分の長さが最大となる座標情報のデータが選択され、当該線分の傾きの角度を算出する処理が行われる。なお、１つの対象画像５２中に複数の視認対象が存在する場合、トラッキングは視認対象単位で行われる。トラッキング処理の具体的な流れについて、図７のフローチャートを用いて説明する。

まず、ステップ４１では、画像処理部６はトラッキングフラグがオンであるか否かを判定する処理を行う。トラッキングフラグは、トラッキング中の視認対象が対象画像５２に存在するか否かをオン／オフで示すフラグである。なお、トラッキング処理の開始時には、トラッキングフラグがオフに設定される。

ステップ４１で否定判定されると、ステップ４２に進む。トラッキング処理が開始された直後はトラッキングフラグがオフであるため、ステップ４２に進む。
ステップ４２では、画像処理部６は、トラッキングフラグをオンにする処理を行う。ステップ４２の後、ステップ４３に進む。

ステップ４３では、画像処理部６は対象画像５２に存在する視認対象の位置情報をメモリ９に記録する。ステップ４３の後、ステップ４１に戻る。なお、このトラッキング処理では、ステップ４１に戻るまでの一連の処理、つまり１サイクルの処理が、同一の対象画像５２を処理対象として行われ、ステップ４１に戻ることで、処理対象の対象画像５２が次に撮像された対象画像５２に順に切り替わる。すなわち、フロントカメラ２による撮像タイミングをＴ１，Ｔ２，Ｔ３，…と表現した場合、前述したステップ４３までの処理は撮像タイミングＴ１の対象画像５２を処理対象として行われ、ステップ４１に戻ると、処理対象が撮像タイミングＴ２の対象画像５２に切り替わる。その後、再び処理がステップ４１に戻ると、処理対象が撮像タイミングＴ３の対象画像５２に切り替わる。

ステップ４１で肯定判定されると、ステップ４４に進む。ステップ４４では、画像処理部６は対象画像５２に存在する視認対象の位置情報をメモリ９に記録する。ステップ４４の後、ステップ４５に進む。

ステップ４５では、画像処理部６は、１サイクル前の過去の視認対象と最新の視認対象とが同一の視認対象であるか否かを判定する処理を行う。同一の視認対象であるか否かは、１サイクル前のステップ４３又はステップ４４で記録された過去の視認対象の位置情報と、現サイクルのステップ４４で記録された視認対象の位置情報とを比較することにより判定される。すなわち、自車両の車速等に基づいて、対象画像５２において同一の視認対象がどのように移動するかは推測できるため、過去の視認対象に基づき推測される位置に最新の視認対象が位置しているか否かを判定することで、同一の視認対象であるか否かを判定することができる。ステップ４５で肯定判定されると、ステップ４６に進む。

ステップ４６では、画像処理部６は、最新の視認対象の支持柱を縦エッジとして抽出し、抽出した縦エッジの座標情報のデータを記録する処理を行う。具体的には、画像処理部６は、公知のエッジ検出処理等によって、対象画像５２における最新の視認対象の支持柱が存在すると推測される部分から縦エッジを抽出する。画像処理部６は、抽出された縦エッジの両端点をそれぞれ開始点及び終了点とし、開始点及び終了点の撮像画像上における座標を算出し、座標情報をメモリ９に記録する処理を行う。ステップ４６の後、ステップ４８に進む。

ステップ４８では、画像処理部６は、トラッキングフラグがオンであるか否かを判定する処理を行う。ステップ４８で肯定判定されると、ステップ４１に戻る。ステップ４８で否定判定されると、後述するステップ４９に進む。

一方、ステップ４５で否定判定されると、ステップ４７に進む。ステップ４７では、画像処理部６は、トラッキングフラグをオフにする処理を行う。ステップ４７の後、ステップ４８に進み、ステップ４８で否定判定されてステップ４９に進む。

ステップ４９では、画像処理部６は、ステップ４６で蓄積された縦エッジの座標情報に基づき、線分の長さが最大となる縦エッジを選択し、当該縦エッジの傾きの角度を算出する処理を行う。算出された角度は、蓄積され、ステップ４９以降の処理に使用される。ステップ４９の後、ステップ２５に進む。

ステップ２５では、画像処理部６は、ステップ２４で抽出された縦エッジを含む左探索領域５３の対象画像５２の枚数及び右探索領域５４の対象画像５２の枚数がともに所定の枚数よりも多いか否かを判定する処理を行う。

ステップ２６では、画像処理部６は、ステップ４９で蓄積された角度の最頻値区分の平均値を算出する処理を行う。この処理は、左探索領域５３及び右探索領域５４に対してそれぞれ行われる。具体的には、画像処理部６は、蓄積された角度の分布を例えば０．５度の所定の単位で階級区分し、階級区分された頻度分布中の最大頻度の区分である最頻値区分の平均値を算出する処理を行う。

ステップ２７〜ステップ３３では、画像処理部６は、第１実施形態の平均値の代わりに、最頻値区分の平均値を用いて前述したステップ７〜ステップ１３と同様の処理を実行する。

［２−３．効果］
以上詳述した第２実施形態によれば、前述した第１実施形態の効果に加え、以下の効果が得られる。

（２ａ）第２実施形態の画像処理部６は、縦エッジの線分の長さが最大となる座標情報を選択し、当該線分の傾きの角度を続く処理に用いる。つまり、信頼できるデータがそれ以降の処理に使用される。そのため、それ以降の処理の精度が高くなる。

また、第２実施形態の画像処理部６は、視認対象単位でトラッキング処理を行う。そのため、同一の視認対象から縦エッジの傾きの角度を１つ得ることができる。
なお、第２実施形態では、最頻値区分の平均値が統計値に相当する。また、左探索領域５３から抽出された縦エッジの傾きが第１の傾きに相当し、右探索領域５４から抽出された縦エッジの傾きが第２の傾きに相当する。また、Ｓ２１〜Ｓ２４、Ｓ４１〜Ｓ４６が抽出部としての処理に相当し、Ｓ２４、Ｓ４７〜Ｓ４９が傾き算出部としての処理に相当し、Ｓ２９、Ｓ３０がずれ算出部としての処理に相当し、Ｓ２４、Ｓ４１〜Ｓ４６が蓄積部としての処理に相当し、Ｓ２６が統計値としての処理に相当し、Ｓ３１〜Ｓ３３が表示処理部としての処理に相当する。

［３．他の実施形態］
以上、本開示を実施するための形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（３ａ）上記第１実施形態では、処理領域として、対象画像５２に設定された水平線から上方の領域を左右に略等しく分けた領域の例を示したが、これに限定されるものではない。例えば、所定の伏角によって視点変換された画像の上方の領域を左右に略等しく分けた領域を処理領域としてもよい。所定の伏角は、例えば、車両搭載カメラの設計値の伏角の半分程度としてもよい。また、水平線にかかわらず対象画像全体から左右に略等しく分けた領域であってもよい。また、上記第１実施形態では、カメラの校正処理として、左側領域及び右側領域の２つの領域のそれぞれに対して処理が行われる例を示したが、これに限定されるものではない。カメラの校正処理は、対象画像全体及び対象画像の一部に対して処理が行われてもよい。対象画像の一部としては、例えば、対象画像を左右に分けずに、水平線から上方の領域等が挙げられる。

同様に、上記第２実施形態では、処理領域として、左探索領域５３及び右探索領域５４の例を示したが、これに限定されるものではない。また、上記第２実施形態では、カメラの校正処理として、左探索領域５３及び右探索領域５４の２つの領域のそれぞれに対して処理が行われる例を示したが、これに限定されるものではない。

（３ｂ）上記第１実施形態及び上記第２実施形態では、メモリ９には、自車両に設置されたフロントカメラ２及びリアカメラ３の初期の取付け角度が設計値として記録されている例を示したが、これに限定されるものではない。例えば、自車両に設置されたフロントカメラ及びリアカメラの初期の取付け角度が設計値としてカメラ校正処理に使用されない場合は、メモリに当該初期の取付け角度が記録されていなくてもよい。

（３ｃ）上記第２実施形態では、縦エッジの座標情報の選択として、縦エッジの線分の長さが最大となる座標情報を選択したが、これに限定されるものではない。縦エッジの座標情報の選択は、例えば、縦エッジの線分の長さが一定以上となる座標情報を選択してもよい。

（３ｄ）上記第１実施形態では、統計値として平均値を例示したが、これに限定されるものではない。統計値としては、例えば、最頻値区分の平均値及び中央値等が挙げられる。また、上記第２実施形態では、統計値として最頻値区分の平均値を例示したが、これに限定されるものではない。統計値としては、例えば、平均値及び中央値等が挙げられる。

（３ｅ）上記第１実施形態及び上記第２実施形態では、カメラの校正処理として、縦エッジの傾きの角度を蓄積し、蓄積したデータから統計学的に処理された値に基づいてフロントカメラ２の校正処理を行う例を示したが、これに限定されるものではない。カメラの校正処理としては、例えば、縦エッジの傾きの角度を蓄積せずに、当該角度が算出されるごとにカメラの校正処理を行ってもよい。

（３ｆ）上記第１実施形態及び第２実施形態では、カメラの校正処理としては、算出した値の絶対値の少なくとも一方が閾値ＴＨ_１よりも大きい値であるか否かを判定する処理を行う例を示したが、これに限定されるものではない。カメラの校正処理は、例えば、算出した値の絶対値の少なくとも一方が閾値ＴＨ_１よりも大きい値であるか否かを判定する処理を行わずに、カメラの校正を必要とする処理を行ってもよい。

（３ｇ）画像処理部６は、縦エッジの傾きの角度のデータを蓄積し、蓄積された複数のデータの分布が予め定められたばらつき具合よりもばらつく場合、カメラの校正を必要とする処理を行わなくてもよい。このような構成によれば、縦エッジの傾きの角度の検出が安定していない場合を排除することができる。

（３ｈ）上記第１実施形態及び第２実施形態では、カメラの校正処理として、表示装置にフロントカメラ２の校正が必要であるという警報を表示する例を示したが、これに限定されるものではない。カメラの校正処理は、表示装置にカメラの校正が必要であるという警報を表示しなくてもよい。

（３ｉ）上記第１実施形態及び上記第２実施形態では、縦エッジの傾きを算出する処理として、視点変換処理後の対象画像５２から縦エッジを抽出し、抽出した縦エッジの傾きの角度を算出する処理を行う例を示したが、これに限定されるものではない。縦エッジの傾きを算出する処理は、視点変換処理前に縦エッジを抽出し、抽出した縦エッジの傾きの座標情報を算出し、当該座標情報を視点変換処理に基づいて修正することによって縦エッジの傾きの角度を算出してもよい。

（３ｊ）上記第２実施形態では、視認対象として、信号機のランプ部分及び道路標識の表示板部分である例を示したが、これに限定されるものではない。視認対象は、例えば特定形状の物体等が挙げられる。

（３ｋ）上記第１実施形態及び上記第２実施形態では、カメラとして、広角レンズを備えるフロントカメラ２及びリアカメラ３の例を示したが、これに限定されるものではない。カメラに広角レンズが備えられていない場合、歪み補正の処理を行わなくてもよい。

（３ｌ）上記第１実施形態では、画像処理部６は、縦エッジの角度の平均値近傍の度数が蓄積したデータの一定割合以上になった場合、ステップ７の処理へ進んでもよい。上記第２実施形態では、画像処理部６は、縦エッジの角度の最頻値近傍の度数が蓄積したデータの一定割合以上になった場合、ステップ２７の処理へ進んでもよい。

（３ｍ）上記第１実施形態では、カメラの校正処理として、縦エッジを含む対象画像５２が一定の枚数よりも多い場合、ステップ６へ進む例を示したが、これに限定されるものではない。カメラの校正処理として、例えば、ステップ５の代わりに、縦エッジの傾きの角度を蓄積する時間が一定時間以上経過したか否かを判定する処理を行ってもよい。この場合、肯定判定されるとステップ６に進み、否定判定されるとステップ１に戻る。また、カメラの校正処理として、例えば、ステップ５の処理を行わずに、ステップ６へ進んでもよい。

同様に、上記第２実施形態では、カメラの校正処理として、縦エッジを含む対象画像５２が一定の枚数よりも多い場合、ステップ２６へ進む例を示したが、これに限定されるものではない。

（３ｎ）画像処理部６は、第１カメラ校正処理及び第２カメラ校正処理を終了した後、左右カメラ及びフロントカメラ２の共通領域の路面上の特徴点を利用して、左右カメラの校正の要否判定の処理を行ってもよい。同様に、画像処理部６は、第１カメラ校正処理及び第２カメラ校正処理を終了した後、左右カメラ及びリアカメラ３の共通領域の路面上の特徴点を利用して、左右カメラの校正の要否判定の処理を行ってもよい。

（３ｏ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

（３ｐ）上述した画像処理部６の他、当該画像処理部６を構成要素とするシステム、当該画像処理部６としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実体的記録媒体等、種々の形態で本開示を実現することもできる。

（３ｑ）画像処理部は、ＣＰＵがプログラムを実行することで実現される機能の構成として、フローチャートの処理を実行する。画像処理部を構成するこれらの処理を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現してもよい。

１…カメラ校正システム、２…フロントカメラ、３…リアカメラ、４…ＥＣＵ、５…表示装置、６…画像処理部、７…画像信号処理部、８…車載信号処理部、９…メモリ、１０…電源回路、５１…歪み補正された撮像画像、５２…対象画像、５３…左探索領域、５４…右探索領域。

Claims (14)

1. 車両に設置されたカメラ（２、３）から取得される撮像画像において、鉛直方向に延びる直線状の部分を有する物体の縦エッジを抽出する抽出部（６、Ｓ１〜Ｓ４、Ｓ２１〜Ｓ２４、Ｓ４１〜Ｓ４６）と、
   前記抽出部によって抽出された前記縦エッジの傾きを算出する傾き算出部（６、Ｓ４、Ｓ２４、Ｓ４７〜Ｓ４９）と、
   前記傾き算出部によって算出された前記縦エッジの傾きに基づいて、前記車両に設置されている前記カメラの現在の取付け角度と、前記車両に設置された前記カメラの初期の取付け角度とのずれを算出するずれ算出処理を行うずれ算出部（６、Ｓ９、Ｓ１０、Ｓ２９、Ｓ３０）と、
   を備えるカメラ校正装置（６）。
2. 請求項１に記載のカメラ校正装置であって、
   前記抽出部は、前記撮像画像を左右に分けた左側の領域及び右側の領域のそれぞれから前記縦エッジを抽出し、
   前記傾き算出部は、前記左側の領域から抽出された前記縦エッジの傾きである第１の傾きと前記右側の領域から抽出された前記縦エッジの傾きである第２の傾きとを算出し、
   前記ずれ算出部は、前記傾き算出部によって算出された前記第１の傾き及び前記第２の傾きを比較することにより、前記ずれ算出処理を行う、カメラ校正装置。
3. 請求項１又は請求項２に記載のカメラ校正装置であって、
   前記抽出部は、前記撮像画像において設定された上方の領域から前記縦エッジを抽出し、
   前記傾き算出部は、前記上方の領域から抽出された前記縦エッジの傾きを算出する、カメラ校正装置。
4. 請求項１から請求項３までのいずれか１項に記載のカメラ校正装置であって、
   前記抽出部は、前記撮像画像を、前記カメラのピッチ角が０度の視点の画像に変換する視点変換処理（６、Ｓ２、Ｓ２２）を行い、前記視点変換処理後の画像から前記縦エッジを抽出する、カメラ校正装置。
5. 請求項１から請求項４までのいずれか１項に記載のカメラ校正装置であって、
   カメラ校正装置はメモリ（９）を更に備え、
   前記車両に設置された前記カメラの初期の設計値がメモリに記録されている、カメラ校正装置。
6. 請求項１から請求項５までのいずれか１項に記載のカメラ校正装置であって、
   前記傾き算出部は、前記抽出部によって抽出された前記縦エッジの中から前記縦エッジの線分の長さが最大である前記縦エッジの傾きを算出する（６、Ｓ２４、Ｓ４９）、カメラ校正装置。
7. 請求項１から請求項６までのいずれか１項に記載のカメラ校正装置であって、
   前記傾き算出部によって算出された前記縦エッジの傾きのデータを蓄積する蓄積部（６、Ｓ４、Ｓ２４、Ｓ４１〜Ｓ４６）と、
   前記蓄積部によって蓄積された複数の前記データから統計学的に処理された値である統計値を算出する統計部（６、Ｓ６、Ｓ２６）と、
   を更に備え、
   前記ずれ算出部は、前記統計部によって算出された前記統計値に基づいて、前記ずれ算出処理を行う、カメラ校正装置。
8. 請求項７に記載のカメラ校正装置であって、
   前記ずれ算出部は、前記統計部によって算出された前記統計値が予め定められた傾きの値よりも大きい値と判定した場合（６、Ｓ７のＹＥＳ、Ｓ２７のＹＥＳ）に、前記ずれ算出処理を行う、カメラ校正装置。
9. 請求項７又は請求項８に記載のカメラ校正装置であって、
   前記ずれ算出部は、前記蓄積部によって蓄積された複数の前記データの分布が予め定められたばらつき具合よりもばらつく場合、前記ずれ算出処理を行わないカメラ校正装置。
10. 請求項１から請求項９までのいずれか１項に記載のカメラ校正装置であって、
    前記車両に設置されている前記カメラの現在の取付け角度が、前記車両に設置された前記カメラの初期の取付け角度に対してずれていることを表示装置（５）に表示する処理を行う表示処理部（６、Ｓ１１〜Ｓ１３、Ｓ３１〜Ｓ３３）を更に備える、カメラ校正装置。
11. 請求項１から請求項１０までのいずれか１項に記載のカメラ校正装置であって、
    前記抽出部は、前記撮像画像において前記物体を認識した後、前記物体の前記縦エッジを抽出する（６、Ｓ１〜Ｓ４）、カメラ校正装置。
12. 請求項１から請求項１１までのいずれか１項に記載のカメラ校正装置であって、
    前記物体は、視認される視認対象及び前記視認対象を支える支持柱を備え、
    前記抽出部は、前記撮像画像において前記視認対象を認識した後、認識した前記視認対象が備える前記支持柱の前記縦エッジを抽出する（６、Ｓ２１〜Ｓ２４、Ｓ４１〜Ｓ４６）、カメラ校正装置。
13. 請求項１から請求項１２までのいずれか１項に記載のカメラ校正装置であって、
    前記物体は信号機及び道路標識のうち少なくとも１つである、カメラ校正装置。
14. 車両に設置されたカメラ（２、３）から取得される撮像画像において、鉛直方向に延びる直線状の部分を有する物体の縦エッジを抽出し（６、Ｓ１〜Ｓ４、Ｓ２１〜Ｓ２４、Ｓ４１〜Ｓ４６）、
    抽出された前記縦エッジの傾きを算出し（６、Ｓ４、Ｓ２４、Ｓ４７〜Ｓ４９）、
    算出された前記縦エッジの傾きに基づいて、前記車両に設置されている前記カメラの現在の取付け角度と、前記車両に設置された前記カメラの初期の取付け角度とのずれを算出する（６、Ｓ９、Ｓ１０、Ｓ２９、Ｓ３０）、カメラ校正方法。

Images