JP2017116321A - 車載ステレオカメラ用のキャリブレーション装置 - Google Patents

Abstract

【課題】十分な頻度で容易に自動のキャリブレーションを行う、車載ステレオカメラ用のキャリブレーション装置を提供する。
【解決手段】車両に搭載されたステレオカメラの有する二つのカメラのキャリブレーションを行う車載ステレオカメラ用のキャリブレーション装置１であって、車両の周辺の明るさを検出する明るさ検出部３と、明るさ検出部３の検出した明るさが閾値以下であるか否かを判定する明るさ判定部１３と、明るさ判定部１３により明るさが閾値以下であると判定された場合に、ステレオカメラ４の撮像範囲に予め設定された投光を行う投光装置５と、投光装置５が投光を行なった場合に、ステレオカメラ４の撮像画像に基づいて、ステレオカメラ４の有する二つのカメラ４１，４２のキャリブレーションを行うキャリブレーション部１７と、を備える。
【選択図】図１

Description

本発明は、車載ステレオカメラ用のキャリブレーション装置に関する。

従来、二つのカメラを有する車載のステレオカメラにおいては、日常的に振動や温度変化にさらされることから、二つのカメラに相対的な位置ずれが発生することが知られている。下記の特許文献１に記載の装置では、互いの光軸が平行になるように設置された二つのカメラを有するステレオカメラにおいて、ステレオカメラの測定対象物にスポット光の投影を行い、二つのカメラでそれぞれ撮像されたスポット光が対応する線上（エポピーラ線上）にない場合に、二つのカメラに相対的な位置ずれが発生していると判定する。

特開２００８−１６４３３３８号公報

ところで、車載のステレオカメラの有する二つのカメラに相対的な位置ずれが生じた場合には、キャリブレーションを行うために車両をディーラー等に持ち込む必要が生じる。このような手間を避けるため、十分な頻度で容易に自動のキャリブレーションを行う装置が求められている。

そこで、本発明は、車載のステレオカメラに対して十分な頻度で容易に自動のキャリブレーションを行うことができる車載ステレオカメラ用のキャリブレーション装置を提供することを目的とする。

本発明の一態様は、車両に搭載されたステレオカメラの有する二つのカメラのキャリブレーションを行う車載ステレオカメラ用のキャリブレーション装置であって、車両の周辺の明るさを検出する明るさ検出部と、明るさ検出部の検出した明るさが閾値以下であるか否かを判定する明るさ判定部と、明るさ判定部により明るさが閾値以下であると判定された場合に、ステレオカメラの撮像範囲に予め設定された投光を行う投光装置と、投光装置が投光を行なった場合に、ステレオカメラの撮像画像に基づいて、ステレオカメラの有する二つのカメラのキャリブレーションを行うキャリブレーション部と、を備える。

本発明の一態様は、車載のステレオカメラに対して十分な頻度で容易に自動のキャリブレーションを行うことができる。

本実施形態に係る車載ステレオカメラ用のキャリブレーション装置を示すブロック図である。 車載の投光装置による投光パターンの投光を説明するための側面図である。 （ａ）ステレオカメラの左カメラによる撮像画像を示す図である。（ｂ）ステレオカメラの右カメラによる撮像画像を示す図である。 キャリブレーション装置の処理を示すフローチャートである。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。

図１は、本実施形態に係る車載ステレオカメラ用のキャリブレーション装置１を示すブロック図である。図１に示すキャリブレーション装置１は、乗用車等の車両に搭載され、車載のステレオカメラ４のキャリブレーションを行う。

［キャリブレーション装置の構成］
キャリブレーション装置１は、装置を統括的に制御するＥＣＵ［Electronic Control Unit］２を備えている。ＥＣＵ２は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]等からなる電子制御ユニットである。ＥＣＵ２では、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＣＰＵで実行することで、各種処理を実行する。ＥＣＵ２は、複数の電子制御ユニットから構成されていてもよい。ＥＣＵ２は、明るさ検出部３、ステレオカメラ４、及び投光装置５と接続されている。

明るさ検出部３は、車両に搭載され、車両の周辺の明るさを検出する照度センサである。照度センサは、車両のオートヘッドライトのオンオフ判定に用いられるものと共通であってもよい。明るさ検出部３は、検出した車両の周辺の明るさ（照度）をＥＣＵ２へ送信する。なお、明るさ検出部３は、照度センサに限られず、ステレオカメラ４を明るさ検出部として利用してもよい。例えば、ステレオカメラ４の撮像画像に含まれる輝度情報を用いることにより、車両の周囲の明るさを検出することができる。

ステレオカメラ４は、車両の周辺を撮像する撮像機器である。ステレオカメラ４は、両眼視差を再現するように配置された左右二つのカメラ（左カメラ４１、右カメラ４２）を有している。左カメラ４１及び右カメラ４２は、一例として車両のフロントガラスの裏側に設けられ、車両の前方を撮像する。左カメラ４１及び右カメラ４２は、互いの光軸が平行になるように設けられている。左カメラ４１及び右カメラ４２は、車両の幅方向で所定距離離れて設けられている。ステレオカメラ４は、車両の前方の撮像情報をＥＣＵ２に送信する。ステレオカメラ４の撮像情報には、奥行き方向の情報も含まれる。なお、ステレオカメラ４は、二つ以上のカメラを有していてもよい。また、ステレオカメラ４は、車両の後方、車両の左側方、車両の右側方を撮像可能に複数設けられていてもよい。

投光装置５は、予め設定された投光を行うプロジェクタ型ヘッドライトである。投光装置５は、車両の前端に設けられている。投光装置５は、ステレオカメラ４の撮像範囲（左カメラ４１及び右カメラ４２に共通する撮像範囲）に投光する。投光装置５は、ＥＣＵ２から送信される制御信号に応じて、予め設定された形状の投光パターンの投光を行うことができる。投光パターンについては後述する。なお、投光装置５は、車両の後方、車両の左側方、又は車両の右側方に投光可能に複数設けられていてもよい。

次に、ＥＣＵ２の機能的構成について説明する。ＥＣＵ２は、カメラ用メモリ１１、歪補正演算部１２、明るさ判定部１３、投光パターン記憶部１４、投光制御部１５、パターン判定部１６、及びキャリブレーション部１７を有している。

カメラ用メモリ１１は、ステレオカメラ４の撮像した画像データを記憶するメモリである。カメラ用メモリ１１は、車両に搭載されたＲＡＭ内に形成されている。歪補正演算部１２は、ステレオカメラ４の有する左カメラ４１及び右カメラ４２の撮像結果が平行等位となるように歪み補正の演算をする回路である。

明るさ判定部１３は、明るさ検出部３の検出した車両の周辺の明るさが閾値以下であるか否かを判定する。閾値は、ステレオカメラ４のキャリブレーションの開始を判定するために予め設定された値である。この閾値は、固定値であってもよい。

投光パターン記憶部１４は、投光装置５が投光する投光パターンを記憶している記憶部である。投光パターン記憶部１４は、車両に搭載されたＨＤＤ内に形成されている。投光パターンとは、トンネル内等の暗い場所において、光が路面等に描く形状のパターンである。投光パターンは、ステレオカメラ４の有する左カメラ４１及び右カメラ４２のキャリブレーションを行うために適切な形状であればよい。

投光制御部１５は、投光装置５に制御信号を送信することで投光装置５による投光を制御する。投光制御部１５は、明るさ判定部１３により車両の周辺の明るさが閾値以下であると判定された場合、投光パターン記憶部１４の記憶している投光パターンの投光を行うように投光装置５に制御信号を送信する。投光装置５は、ステレオカメラ４の撮像範囲内に投光パターンの投光を行う。

ここで、図２は、車載の投光装置による投光パターンの投光を説明するための側面図である。図２に、車両Ｍ、路面Ｒ、ステレオカメラ４の撮像範囲Ｗ、投光装置５により路面Ｒに投光された投光パターンＰを示す。図２に示すように、投光装置５は、ステレオカメラ４の撮像範囲Ｗに含まる路面Ｒに対して投光パターンＰの投光を行う。図２に示す投光パターンＰは、一例としてスマイリーフェイスを示しているが、チェッカー模様、ランダムドット等を採用することができる。

ステレオカメラ４の有する左カメラ４１及び右カメラ４２は、投光パターンＰをそれぞれ撮像する。図３（ａ）は、ステレオカメラ４の左カメラ４１による撮像画像を示す図である。図３（ｂ）は、ステレオカメラ４の右カメラ４２による撮像画像を示す図である。図３（ａ）及び図３（ｂ）に、白線Ｌ１〜Ｌ３を示す。白線Ｌ１及び白線Ｌ２は、車両Ｍの走行する走行車線を形成する境界線である。白線Ｌ２は、走行車線と隣接車線との車線境界線に相当する。白線Ｌ３は、白線Ｌ２と共に隣接車線を形成する境界線である。投光パターンＰは、例えば、白線Ｌ１に重なるように投光されている。

パターン判定部１６は、ステレオカメラ４の撮像画像に基づいて、投光パターンＰを判定（認識）する。パターン判定部１６は、投光パターン記憶部１４の記憶している投光パターンの情報に基づいて、図３（ａ）に示す左カメラ４１の撮像画像及び図３（ｂ）に示す右カメラ４２の撮像画像に対する画像処理（例えば周知のパターン認識処理）を行うことで、各撮像画像に含まれる投光パターンＰを判定する。

キャリブレーション部１７は、ステレオカメラ４の撮像画像に基づいて、ステレオカメラ４の有する左カメラ４１と右カメラ４２のキャリブレーションを行う。キャリブレーション部１７は、投光装置５の投光した投光パターン（ステレオカメラ４の撮像した投光パターン）を利用してキャリブレーションを行う。すなわち、ステレオカメラ４の有する左カメラ４１及び右カメラ４２は、光軸が平行となるように設けられていることから、左カメラ４１及び右カメラ４２の相対的な位置にずれが無い場合には、図３（ａ）における投光パターンＰと図３（ｂ）における投光パターンＰは撮像画像の縦方向における位置が等しくなる。一方で、左カメラ４１及び右カメラ４２に相対的な位置ずれがある場合には、図３（ａ）における投光パターンＰと図３（ｂ）における投光パターンＰの撮像画像の縦方向における位置にずれが生じる。キャリブレーション部１７は、これらの投光パターンＰの位置のずれを平行化誤差として算出する。

キャリブレーション部１７は、左カメラ４１と右カメラ４２のパラメータを適切に調整することにより、平行化誤差が許容閾値以下となるように左カメラ４１及び右カメラ４２のキャリブレーションを行う。許容閾値は、ステレオカメラ４の機能を確保するために許容できる誤差であるか否かを判定するための予め設定された閾値である。許容閾値は、固定値であってもよい。

［キャリブレーション装置における処理］
次に、本実施形態に係るキャリブレーション装置１の処理について図４を参照して説明する。図４は、キャリブレーション装置１の処理を示すフローチャートである。図４に示すフローチャートは、車両のエンジンが始動した場合に開始される。

図４に示すように、キャリブレーション装置１のＥＣＵ２は、Ｓ１０として、明るさ判定部１３により車両Ｍの周辺の明るさが閾値以下であるか否かを判定する。明るさ判定部１３は、明るさ検出部３の検出した車両Ｍの周辺の明るさに基づいて上記判定を行う。ＥＣＵ２は、車両Ｍの周辺の明るさが閾値以下ではないと判定された場合（Ｓ１０：ＮＯ）、今回の処理を終了する。その後、ＥＣＵ２は、所定時間（例えば１秒）の経過後、再びＳ１０から処理を繰り返す。ＥＣＵ２は、車両Ｍの周辺の明るさが閾値以下であると判定された場合（Ｓ１０：ＹＥＳ）、Ｓ１２に移行する。

Ｓ１２において、ＥＣＵ２は、投光装置５による投光パターンの投光（予め設定された投光）を行う。ＥＣＵ２は、投光パターン記憶部１４が記憶している投光パターンの情報に基づいて、投光制御部１５から投光装置５に制御信号を送信する。投光装置５は、送信された制御信号に基づいて、予め設定された投光パターンを投光する。ＥＣＵ２は、投光装置５が投光パターンの投光を行った場合（ステレオカメラ４によって投光パターンが撮像された場合）、Ｓ１４に移行する。なお、投光装置５は、Ｓ１４におけるステレオカメラ４のキャリブレーションが修了するまで投光パターンの投光を継続している。

Ｓ１４において、ＥＣＵ２は、キャリブレーション部１７によりステレオカメラ４のキャリブレーションを行う。キャリブレーション部１７は、投光装置５の投光した投光パターンを利用して、ステレオカメラ４の有する左カメラ４１と右カメラ４２の平行化誤差を算出する。キャリブレーション部１７は、投光装置５の投光した投光パターンを利用して、左カメラ４１と右カメラ４２の平行化誤差が許容閾値以下となるようにキャリブレーションを行う。

キャリブレーション部１７は、左カメラ４１と右カメラ４２の平行化誤差が許容閾値以下となるまで、キャリブレーションを繰り返す。このとき、投光装置５は、キャリブレーションをする度に投光パターンの投光を行ってもよい。ＥＣＵ２は、投光装置５による投光パターンの投光、キャリブレーション部１７による左カメラ４１と右カメラ４２の平行化誤差の算出、キャリブレーション部１７による左カメラ４１及び右カメラ４２のキャリブレーションを平行化誤差が許容閾値以下となるまで繰り返す。

ＥＣＵ２は、左カメラ４１及び右カメラ４２のキャリブレーションを平行化誤差が許容閾値以下となった場合、今回の処理を終了する。その後、ＥＣＵ２は、所定時間（例えば６時間）の経過後、再びＳ１０から処理を繰り返す。

〈本実施形態に係るキャリブレーション装置の作用効果〉
以上説明した本実施形態に係るキャリブレーション装置１によれば、車両Ｍの周辺の明るさが閾値以下の場合に、投光装置５から予め設定された投光パターンの投光を行うことにより、ステレオカメラ４の有する左カメラ４１及び右カメラ４２のキャリブレーションを行うので、ディーラー等に車両Ｍを持ち込む必要もなく、車載のステレオカメラ４に対して十分な頻度で容易に自動のキャリブレーションを行うことができる。また、このキャリブレーション装置１では、車両Ｍの周辺が明るいと投光パターンの撮像がしにくいことから、車両Ｍの周辺の明るさが閾値以下の場合に、投光パターンを利用したキャリブレーションを行うことで、キャリブレーションの精度向上を図ることができる。

以上、本発明の実施形態について説明したが、本発明は、上述した実施形態に限られない。本発明は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。なお、本発明からの変形例として、照度センサ等の明るさ検出部を備えることなく、時刻又は地図情報における車両Ｍの位置に応じて、車両Ｍの周辺の明るさが閾値以下であるか否かを推定し、車両Ｍの周辺の明るさが閾値以下であると推定できた場合、キャリブレーションを行う態様が考えられる。

１…キャリブレーション装置、２…ＥＣＵ、３…明るさ検出部、４…ステレオカメラ、５…投光装置、１１…カメラ用メモリ、１２…歪補正演算部、１３…明るさ判定部、１４…投光パターン記憶部、１５…投光制御部、１６…パターン判定部、１７…キャリブレーション部、４１…左カメラ、４２…右カメラ、Ｌ１-Ｌ３…白線、Ｍ…車両、Ｐ…投光パターン、Ｒ…路面、Ｗ…ステレオカメラの撮像範囲。

Claims (1)

1. 車両に搭載されたステレオカメラの有する二つのカメラのキャリブレーションを行う車載ステレオカメラ用のキャリブレーション装置であって、
   前記車両の周辺の明るさを検出する明るさ検出部と、
   前記明るさ検出部の検出した前記明るさが閾値以下であるか否かを判定する明るさ判定部と、
   前記明るさ判定部により前記明るさが前記閾値以下であると判定された場合に、前記ステレオカメラの撮像範囲に予め設定された投光を行う投光装置と、
   前記投光装置が前記投光を行なった場合に、前記ステレオカメラの撮像画像に基づいて、前記ステレオカメラの有する前記二つのカメラのキャリブレーションを行うキャリブレーション部と、
   を備える車載ステレオカメラ用のキャリブレーション装置。

Images