JP6025365B2 - 較正処理装置、カメラ較正装置、カメラシステム、およびカメラ較正方法 - Google Patents

Description

本発明は、移動体に取り付けられたカメラの取り付け角度を較正する較正処理装置、カメラ較正装置、カメラシステム、およびカメラ較正方法に関するものである。

従来、車両後方にカメラを取り付け、運転者から見えにくい後方の映像を車両内の表示部（例えば、カーナビゲーション装置の表示部）に表示可能とするカメラシステムが知られている。このようなシステムにおいて、位置情報が既知である物体（指標）を撮像したときに想定される想定画像と、実際に指標をカメラで撮像したときの実画像とのずれ量を調整することにより、カメラの取り付け位置のずれを較正するパラメータを取得する手法が知られている（例えば、特許文献１および非特許文献１参照）。

特開２０００−２０９５７７号公報

[online]、平成１９年７月２２日、[平成２４年４月４日検索]、インターネット<URL:http://gazoo.com/G-Blog/chibanocienta/25496/Article.aspx>

図１４は、従来のカメラの取り付け位置（カメラ光軸）のずれを較正するカメラ較正モード（カメラ光軸調整モード）時に表示部４に表示される画像を示す図である。なお、４３は、カメラが車両のバンパー付近に取り付けられた場合に表示されるバンパーの端部である。カメラの取り付け位置のずれを較正するパラメータを取得する際には、表示部４に表示される指標４１（実画像）と較正用オブジェクト４０（想定画像）とのずれ量を調整するために、移動指示部５１〜５６を用いて較正用オブジェクト４０を移動させて指標４１に一致させる必要がある。しかしながら、ユーザが較正用オブジェクト４０を指標４１に一致させるには、移動指示部５１〜５６を用いて較正用オブジェクト４２を上下左右方向及び回転方向に複数回にわたって移動させる必要があり、操作が煩雑となり、較正に時間がかかるという問題があった。

図１５は、従来のカメラ較正モード時におけるカメラ較正動作時に表示部に表示される画像を示す図である。図１４に示す位置に指標４１と初期状態（移動前）の較正用オブジェクト４０が表示されていた場合、まずユーザは、図１５（ａ）に示すように、左指示部５１を用いて較正用オブジェクト４０を左方向に移動させる。つぎに、ユーザは図１５（ｂ）に示すように、上指示部５４を用いて較正用オブジェクト４０を上方向に移動させる。つぎに、ユーザは図１５（ｃ）に示すように、左回転指示部５５を用いて較正用オブジェクト４０を較正用オブジェクト４０の中央を中心とした反時計回り方向に回転移動させる。

ここで、本来ならば指標４１が較正用オブジェクト４０内にきっちりと収まるはずである。しかしながら、車両に取り付けられるカメラは広角撮影のために魚眼レンズのような歪みの大きいレンズを採用することが多い。そのため、図１５（ｃ）のように較正用オブジェクト４０を回転移動させると、レンズの歪み等に起因して指標４１の端が較正用オブジェクト４０から僅かにはみ出てしまうことが生じ得る。このような場合には、ユーザは図１５（ｄ）に示すように例えば左指示部５１を用いて再び較正用オブジェクト４０を僅かに左方向に移動させ、ユーザは図１５（ｅ）に示すように下指示部５３を用いて再び較正用オブジェクト４０を僅かに下方向に移動させることとなる。そして、ユーザは図１５（ｆ）に示すように、右回転指示部５６を用いて較正用オブジェクト４０を時計回り方向に再び僅かに回転移動させる。このように、カメラの取り付け位置のずれを較正する際には、較正用オブジェクト４０を回転移動させた後に、更に微調整するために複数回の操作が必要となることが多かった。

かかる事情に鑑みてなされた本発明の目的は、カメラの取り付け位置のずれを較正する際の操作が簡便となり、較正に要する時間を短縮することが可能な較正処理装置、カメラ較正装置、カメラシステム、およびカメラ較正方法を提供することにある。

上記課題を解決するため、本発明に係るカメラ較正装置は、
移動体の所定位置に取り付けられ、移動体外部に配された指標を含む画像を撮像するカメラと、
前記カメラによる撮像画像に対して、所定の領域を示唆する第１調整部と、所定の回転範囲を示唆する第２調整部と、を有する較正用オブジェクトを重畳した重畳画像を生成する画像重畳部と、
前記較正用オブジェクトの移動指示に基づいて前記較正用オブジェクトを移動させた重畳画像を前記画像重畳部に生成させるとともに、当該重畳画像において、前記第１調整部の前記所定の領域内に前記指標の一端が含まれ、かつ、前記第２調整部の前記所定の回転範囲内に前記指標が位置する位置に前記較正用オブジェクトが移動されたときの該較正用オブジェクトの位置に基づいて、前記カメラの取り付け位置のずれを較正するパン角、チルト角およびロール角を算出する演算部と、
を備え、
前記第１調整部は、前記指標の一端に位置合わせする際の調整範囲を示唆する図形であることを特徴とする。

さらに、本発明に係るカメラ較正装置において、
前記演算部は、前記較正用オブジェクトの回転方向の移動量を算出するときは、回転の中心点を前記第１調整部の中心点とすることを特徴とする。

さらに、本発明に係るカメラ較正装置において、
前記第２調整部は、所定の間隔を有する複数の線、あるいは所定の幅を有する線により前記所定の回転範囲を特定することを特徴とする。

さらに、本発明に係るカメラ較正装置において、
前記第１調整部は、円形の図形により前記所定の領域を特定することを特徴とする。

さらに、本発明に係るカメラ較正装置において、
前記第１調整部は、前記円形の図形の直径によりパン角およびチルト角の調整精度を規定し、
前記第２調整部は、前記所定の間隔を有する複数の線の長さおよび間隔、あるいは前記所定の幅を有する線の長さおよび幅によりロール角の調整精度を規定する。

さらに、本発明に係るカメラ較正装置において、
前記較正用オブジェクトは、第１補助調整部をさらに有し、
前記第１補助調整部は、前記第１調整部の所定の領域よりも大きい所定の領域を示唆し、前記第１調整部を囲むように配置されることを特徴とする。

さらに、本発明に係るカメラ較正装置において、
前記第１補助調整部の領域の境界線は、前記第１調整部の領域の境界線と異なる色で配色されることを特徴とする。

さらに、本発明に係るカメラ較正装置において、
前記第１補助調整部は、円形の図形により前記所定の領域を特定することを特徴とする。

さらに、本発明に係るカメラ較正装置において、
前記較正用オブジェクトは、第２補助調整部をさらに有し、
前記第２補助調整部は、所定の回転範囲を示唆することを特徴とする。

さらに、本発明に係るカメラ較正装置において、
前記第２補助調整部の回転範囲の境界線は、前記第２調整部の回転範囲の境界線と異なる色で配色されることを特徴とする。

さらに、本発明に係るカメラ較正装置において、
前記第２補助調整部は、所定の間隔を有する複数の線、あるいは所定の幅を有する線により前記所定の回転範囲を特定することを特徴とする。

さらに、本発明に係るカメラ較正装置において、
前記画像重畳部は、前記カメラによる撮像画像に表示された指標に歪みが生じる場合には、前記歪みに応じて決定される角度分だけ前記第２調整部を水平方向から傾けた較正用オブジェクトを重畳した重畳画像を生成することを特徴とする。

また、上記課題を解決するため、本発明に係るカメラ較正方法は、
移動体の所定位置に取り付けられたカメラにより、移動体外部に配された指標を含む画像を撮像する撮像ステップと、
前記カメラによる撮像画像に対して、所定の領域を示唆する第１調整部と、所定の回転範囲を示唆する第２調整部と、を有する較正用オブジェクトを重畳した重畳画像を表示する表示ステップと、
前記第１調整部の前記所定の領域内に前記指標の一端が含まれるよう前記較正用オブジェクトを移動する移動ステップと、
前記第２調整部の前記所定の回転範囲内に前記指標が入る位置まで、前記第１調整部を中心に前記較正用オブジェクトを回転させる回転ステップと、
前記移動ステップと前記回転ステップにより特定される前記較正用オブジェクトの移動量に基づいて、前記カメラの取り付け位置のずれを較正するパン角、チルト角およびロール角を算出する算出ステップと、
を含み、
前記第１調整部は、前記指標の一端に位置合わせする際の調整範囲を示唆する図形であることを特徴とする。

また、上記課題を解決するため、本発明に係る較正処理装置は、
移動体の所定位置に取り付けられ、移動体外部に配された指標を含む画像を撮像するカメラからの撮像画像を利用して、当該カメラのパン角、チルト角およびロール角における取り付け位置のずれを較正する較正処理装置であって、
前記カメラによる撮像画像に対して、所定の領域を示唆する第１調整部と、所定の回転範囲を示唆する第２調整部と、を有する較正用オブジェクトを重畳した重畳画像を生成する画像重畳部と、
前記較正用オブジェクトの移動指示に基づいて前記較正用オブジェクトを移動させた重畳画像を前記画像重畳部に生成させるとともに、当該重畳画像において、前記第１調整部の前記所定の領域内に前記指標の一端が含まれ、かつ、前記第２調整部の前記所定の回転範囲内に前記指標が位置する位置に前記較正用オブジェクトが移動されたときの該較正用オブジェクトの位置に基づいて、前記カメラの取り付け位置のずれを較正するパン角、チルト角およびロール角を算出する演算部と、
を備え、
前記第１調整部は、前記指標の一端に位置合わせする際の調整範囲を示唆する図形であることを特徴とする。

また、上記課題を解決するため、本発明に係るカメラシステムは、
移動体の所定位置に取り付けられ、移動体外部に配された指標を含む画像を撮像するカメラと、
前記カメラによる撮像画像に対して、所定の領域を示唆する第１調整部と、所定の回転範囲を示唆する第２調整部と、を有する較正用オブジェクトを重畳した重畳画像を生成する画像重畳部と、
前記移動体内に設けられ、前記重畳画像が表示される表示部と、
前記重畳画像において、前記較正用オブジェクトに対してその表示位置を移動させる指示を行う指示部と、
前記指示部による前記較正用オブジェクトの移動指示に基づいて前記較正用オブジェクトを移動させた重畳画像を前記画像重畳部に生成させるとともに、当該重畳画像において、前記第１調整部の前記所定の領域内に前記指標の一端が含まれ、かつ、前記第２調整部の前記所定の回転範囲内に前記指標が位置する位置に前記較正用オブジェクトが移動されたときの該較正用オブジェクトの位置に基づいて、前記カメラの取り付け位置のずれを較正するパン角、チルト角およびロール角を算出する演算部と、
を備え、
前記第１調整部は、前記指標の一端に位置合わせする際の調整範囲を示唆する図形であることを特徴とする。

本発明によれば、カメラの取り付け位置のずれを較正する際の操作が簡便となり、較正に要する時間を短縮することができる。

本発明による一実施形態のカメラシステムを搭載したシステムの構成例を示すブロック図である。 カメラを後方向きに取り付けた移動体を示す図である。 本発明による一実施形態のカメラシステムにおける表示部に表示される画像の一例を示す図である。 本発明による一実施形態のカメラシステムにおける表示部の正面、平面及び右側面を表す図である。 本発明による一実施形態のカメラシステムにおける表示部に表示される較正用オブジェクトの一例を示す図である。 本発明による一実施形態のカメラシステムにおける表示部に表示される較正用オブジェクトのロール調整部の幅と長さの関係を示す図である。 本発明による一実施形態のカメラシステムにおける表示部に表示される、パンチルト補助調整部を有する較正用オブジェクトの一例を示す図である。 本発明による一実施形態のカメラシステムにおける表示部に表示される較正用オブジェクトのパン角およびチルト角の調整精度を示す図である。 本発明による一実施形態のカメラシステムにおける表示部に表示される、パンチルト補助調整部およびロール補助調整部を有する較正用オブジェクトの一例を示す図である。 本発明による一実施形態のカメラシステムにおける表示部に表示される、端部に指標が配置される場合の較正用オブジェクトの一例を示す図である。 本発明による一実施形態のカメラシステムによるカメラ較正動作を示すフローチャートである。 本発明による一実施形態のカメラシステムによるカメラ較正動作時に表示部に表示される画像を示す図である。 本発明による一実施形態のカメラシステムによるカメラ較正動作時における、ＣＰＵの動作を示すフローチャートである。 従来のカメラ較正モード時に表示部に表示される画像を示す図である。 従来のカメラ較正モード時におけるカメラ較正動作時に表示部に表示される画像を示す図である。

以下、本発明による一実施形態について、図面を参照して詳細に説明する。

図１は、本発明による一実施形態のカメラシステムを移動体（例えば、車両）に搭載したときのシステムの構成例を示すブロック図である。図１に示すように、移動体のシステムは、カメラシステム１と、システム全体の動作を制御するＣＰＵ２と、バス３と、センサ６とを備える。カメラシステム１は、カメラ較正装置１０と、表示部４と、指示部５とを備える。カメラ較正装置１０は、カメラ１１と、較正処理装置１２とを備える。較正処理装置１２は、画像処理部１２１と、画像重畳部１２２と、画像出力部１２３と、ＣＰＵ（演算部）１２４と、記憶部１２５とを備える。

カメラ１１は、ＣＭＯＳ，ＣＣＤなどのイメージセンサを有しており、レンズを通して入射した被写体光を電気信号に変換し、被写体の撮像画像を生成する。カメラ１１は、移動体の所定位置に取り付けられる。ただし、カメラ較正装置１０がカメラ１１に一体化されたモジュールとして構成されている場合には、移動体の所定位置にカメラ較正装置１０が取り付けられることとなる。

図２は、一例としてカメラ１１を後方向きに取り付けた移動体を示す図である。本実施形態では、図２に示すように、カメラ１１は移動体１００後方のバンパー４３付近に取り付けられ、移動体１００の後方の映像を撮影する。図中の領域Ａは、カメラ１１によって映像が撮影される領域である。もちろん、カメラ１１が移動体の前方向きや側方向きに取り付けられる例において本発明を適用してもよいことは言うまでも無い。

表示部４は、ユーザにより例えばリバースギアに切り替えた時などをトリガとして駐車モードが指示された場合には、カメラシステム１によって生成された映像を表示する。駐車モードとは、移動体１００を運転するユーザから見えづらい移動体１００後方の領域Ａ内の映像を表示部４に表示させることによって、駐車を円滑に行えるように手助けするためのモードである。また、移動体１００後方の領域Ａ内の映像に、更に移動体１００が通過する予測軌跡を重畳して表示し、より円滑に駐車を行えるようにすることもできる。

また、ユーザ等によりカメラ較正モードが指示された場合にも、カメラシステム１によって生成された映像を表示する。カメラ較正モードとは、予め移動体１００後方の領域Ａ内に指標となる物体又は図形を配置しておき、カメラ１１により撮像して得られる指標の映像を利用して、ユーザ等がカメラ１１の取り付け位置を較正するためのモードである。このカメラ較正モードは、移動体１００の生産ラインあるいは整備工場などで移動体１００にカメラ１１を取り付ける際、あるいは移動体１００に振動が加わるなどの理由によりカメラ１１の位置がずれてしまった場合にそのずれを修正する際に用いられる。具体的な較正方法については後述する。

なお、表示部４は、ユーザによりナビゲーションモードが指示された場合には、ナビゲーションシステムにより得られた目的地までのルート案内図を表示し、テレビモードが指示された場合には、テレビ受信機により得られたテレビ映像を表示することも可能である。

指示部５は、表示部４に重畳された較正用オブジェクトの位置を調整するためのユーザインターフェースであり、指示部５を操作することにより、較正用オブジェクトの位置を上下左右方向および回転方向に移動させることができる。指示部５は、ユーザの操作により得られたオブジェクト移動信号を、バス３を介してＣＰＵ１２４に出力する。調整操作が終了したときには、指示部５は、調整終了信号を、バス３を介してＣＰＵ１２４に出力する。指示部５は、表示部４近傍に設けた機械スイッチであってもよいし、表示部４に重ねて配されるタッチパネル上に表示されるオブジェクトであってもよい。

センサ６は、車速を検知する車速センサ、シフトレバーの位置を検知するギアセンサ、ステアリングの操舵角を検知する舵角センサを含む。センサ６は、各種センサから得られたセンサ信号を、バス３を介してＣＰＵ１２４およびＣＰＵ２に出力する。

記憶部１２５には、既知の値となるカメラ１１の位置座標および指標の位置座標などが記憶される。また、記憶部１２５には、正確にカメラ１１が取り付けられた場合における光軸の方向についても既知の値として記憶される。

ＣＰＵ１２４は、較正用オブジェクトを表示した状態で指示部５により得られたオブジェクト移動信号に基づいて移動量を算出して較正用オブジェクトの表示位置を決定し、画像重畳部１２２に重畳指示を行う。また、ＣＰＵ１２４は、指示部５から較正終了の指示を受けたとき、カメラ１１の取り付け位置のずれを較正する較正パラメータ（パン角、チルト角、およびロール角）を算出する。また、ＣＰＵ１２４は、駐車モードにおいてはセンサ６により得られたセンサ信号に基づいて移動体１００の予測軌跡の表示位置を決定し、画像重畳部１２２に重畳指示を行う。

画像処理部１２１は、カメラ１１により生成された撮像画像に対してＡ／Ｄ変換、ノイズ低減処理、画像処理などを施してデジタル画像を生成し、画像重畳部１２２に出力する。

画像重畳部１２２は、ＣＰＵ１２４からの指示に基づいて、画像処理部１２１により生成されたデジタル画像上の所定の位置に画像を重畳して重畳画像を生成し、画像出力部１２３に出力する。重畳させる画像は、カメラ１１の取り付け位置を較正する際に用いられる較正用オブジェクト、または移動体１００が後退時に自身が通過する予想領域を示し、駐車のサポートに用いられる予測軌跡などである。

画像出力部１２３は、画像重畳部１２２により生成された重畳画像を、表示部４の表示デバイスに適したフォーマット（例えば、ＮＴＳＣなど）に変換し、表示部４に出力する。

図３は、ユーザ等によりカメラ較正モードが指示された場合に、表示部４に表示されるカ画像の一例を示す図である。表示部４には、指標４１を含む撮影画像と、較正用オブジェクト４２とが表示される。また、カメラ１１が図２に示すようにバンパー４３付近に取り付けられた場合には、バンパー４３の端部も表示される。

図４は、表示部４の正面、平面及び右側面を表す図である。図４では、操作の用に供される特徴的な画像である較正用オブジェクト４２を実線で表記し、その他の部分を破線で表記している。この正面、平面及び右側面を表す図はキャビネット図であり、傾角は４５度である。背面図、底面図、左側面図は較正用オブジェクト４２が表れないため省略している。なお、破線部で示された形状は一例であり、これに限定されるものではない。

指標４１は、移動体１００を予め定められた停止位置に正確に停止した場合における移動体１００の後端から所定の距離（例えば、１ｍ）に配置される物体又は図形であり、例えば、長方形状の板、または路面上に描かれた白線である。つまり、カメラ１１の取り付け角度が正確であれば、移動体１００と指標４１との位置関係が特定されているため、カメラ１１により撮影された指標４１は表示部４の画面上必ず特定位置に映ることとなる。もし、指標４１が特定位置からずれた位置に映る場合には、指示部５により、較正用オブジェクト４２を画面内の指標４１上まで移動させることにより、カメラ１１のカメラ取り付け角度のずれを特定する較正パラメータを取得することができる。

指示部５が表示部４に重ねて配されるタッチパネル上に表示されるオブジェクトである場合には、図３に示すように、指示部５を構成する左指示部５１と、右指示部５２と、下指示部５３と、上指示部５４と、左回転指示部５５と、右回転指示部５６と、戻り指示部５７と、次へ指示部５８とが表示される。

左指示部５１は較正用オブジェクト４２を左方向に移動させる際に用いられ、右指示部５２は較正用オブジェクト４２を右方向に移動させる際に用いられ、下指示部５３は較正用オブジェクト４２を下方向に移動させる際に用いられ、上指示部５４は較正用オブジェクト４２を上方向に移動させる際に用いられ、左回転指示部５５は較正用オブジェクト４２を反時計回り方向に回転移動させる際に用いられ、右回転指示部５５は較正用オブジェクト４２を時計回り方向に回転移動させる際に用いられる。また、戻り指示部５７は、カメラ較正モード用画像を表示させる前に表示させていた画像に戻す際に用いられる。次へ指示部５８は、較正用オブジェクト４２を画面内の指標４１上まで移動させる操作が終了したことを通知する際に用いられる。

ここで、左指示部５１又は右指示部５２の１回押圧に対し例えば０．５度のオフセットを対応づけた場合には、左指示部５１又は右指示部５２を１回押圧すると、カメラ１１の撮像方向をパン（左右）方向に０．５度だけ向きを変えるときに生じる撮影画像の移動分量に等しい画素数分だけ、較正用オブジェクト４２を移動させることになる。チルト（上下）方向においても、ロール（回転）方向においても同様である。

図５は、表示部４に表示される較正用オブジェクト４２の一例を示す図である。図５に示すように、較正用オブジェクト４２は、所定の領域を示唆する第１調整部であるパンチルト調整部４２１と、所定の回転範囲を示唆する第２調整部であるロール調整部４２２とを有する。

パンチルト調整部４２１は、カメラのパン方向およびチルト方向を調整して、較正パラメータであるパン角およびチルト角を取得するためのオブジェクトであり、所定の領域を有する図形により構成される。パンチルト調整部４２１の領域の大きさによって、パン角およびチルト角の調整精度が規定される。つまり、ユーザは、較正用オブジェクト４２を移動させ、パンチルト調整部４２１内に画面内の指標４１の一端が収まれば、カメラのパン方向およびチルト方向の調整を終了させることができる。調整精度を例えばパン方向およびチルト方向のそれぞれ±０．５度とした場合には、パンチルト調整部４２１の領域の形状は図５に示すように半径が一定の円形となる。ここで、仮にパン角の調整精度が±０．５度、チルト角の調整精度が±０．３度とする場合には、パンチルト調整部４２１の領域の形状は真円ではなく、パン方向に半径の長くなる楕円形となる。
また、パンチルト調整部４２１の領域の大きさによって規定されるパン角およびチルト角の調整精度は、左指示部５１、右指示部５２、下指示部５３、および上指示部５４の１回の押圧に対応するカメラの角度変更に伴う画面上の移動量の整数倍とすることが、ユーザ等にとって調整量が把握しやすく望ましい。

ロール調整部４２２は、カメラのロール方向を調整して、較正パラメータであるロール角を取得するためのオブジェクトであり、所定の間隔を有し同一方向に延在する線（例えば、２本の平行線）により構成される。ロール調整部４２２の２本の直線の長さおよび間隔によって、ロール角の調整精度が規定される。つまり、ユーザは、パンチルト調整部４２１内に指標４１の一端が収まった状態のまま、較正用オブジェクト４２をパンチルト調整部４２１の中心点を中心に回転させ、なおかつ、ロール調整部４２２の２本の平行線の間にて、指標４１が平行線に交差しないようになるまで回転させれば、カメラのロール方向の調整を終了させることができる。この場合、指標４１の左端にパンチルト調整部４２１を合わせたまま較正用オブジェクト４２をパンチルト調整部４２１の中心点を中心に回転させるため、較正用オブジェクト４２の回転に連動してパンチルト調整部４２１が回転しても、指標４１とパンチルト調整部４２１の位置関係が変動することが無い。すなわち較正用オブジェクト４２を回転させたことに起因して再度の微調整を要することがほとんどない。
またロール調整部４２２の直線の長さおよび間隔によって規定されるロール角の調整精度は、左回転指示部５５および右回転指示部５６の１回の押圧に対応するカメラの移動角度の整数倍とすることが、ユーザ等にとって調整量が把握しやすく望ましい。

図６は、較正用オブジェクト４２のロール調整部４２２の幅と長さの関係を示す図である。図６においては、指標４１の採り得る位置を点線が示す。また、ロール角の調整精度は、図６（ａ）から（ｄ）に示すように、いずれも例えば±０．５度とする。ロール角の調整精度が一定値の場合、図６（ｂ）に示すように、ロール調整部４２２の平行線の幅を狭くすると、平行線の長さは短くなり、図６（ｃ）に示すように、ロール調整部４２２の平行線の幅を広くすると、平行線の長さは長くなる。なお、パンチルト調整部４２１とロール調整部４２２とが切れ目無く接続されている必要は無く、図６（ｄ）に示すように、パンチルト調整部４２１とロール調整部４２２との間に隙間があってもよい。

また、図７に示すように、較正用オブジェクト４２は、さらにパンチルト補助調整部４２３（第１補助調整部）を有してもよい。パンチルト補助調整部４２３は、パンチルト調整部４２１の領域よりも大きい領域を有する図形により構成され、パンチルト調整部４２１を囲むように配置される。例えば、パンチルト補助調整部４２３の直径をパンチルト調整部４２１の直径の２倍とする。また、パンチルト補助調整部４２３の領域の境界線は、パンチルト調整部４２１の領域の境界線と異なる色で配色される。例えば、パンチルト補助調整部４２３の領域の境界線は黄色で配色され、パンチルト調整部４２１の領域の境界線は赤色で配色される。

パンチルト調整部４２１の大きさが小さい場合や、パンチルト調整部４２１の色が表示部４に表示される画像の背景色に近い場合など、ユーザがパンチルト調整部４２１を瞬時に判別できないことがある。そこで、較正用オブジェクト４２がさらにパンチルト補助調整部４２３を有することにより、ユーザは視覚的に瞬時にパンチルト調整部４２１の位置を判別することができる。

パンチルト補助調整部４２３は、パンチルト調整部４２１と同様にパン角およびチルト角の調整精度を規定することができる。例えば、図８に示すように、パンチルト調整部４２１のパン角およびチルト角の調整精度をそれぞれ±０．５度とし、パンチルト補助調整部４２３のパン角およびチルト角の調整精度をそれぞれ±１度とする。２種類の調整精度を規定することにより、精度の高い調整を必要としない場合には、指標４１の一端がパンチルト補助調整部４２３内に収まればカメラのパン方向およびチルト方向の較正を終了させることができ、較正に要する時間を短縮することができる。

また、図９に示すように、較正用オブジェクト４２は、パンチルト補助調整部４２３に加えて、さらにロール補助調整部４２４（第２補助調整部）を有してもよい。なお、較正用オブジェクト４２は、パンチルト補助調整部４２３またはロール補助調整部４２４のいずれか一方のみを有してもよい。ロール補助調整部４２４は、ロール調整部４２２の間隔よりも広い間隔を有する、同一方向に延在する線（例えば、２本の平行線）により構成され、ロール調整部４２２を挟むように配置される。例えば、ロール補助調整部４２４の間隔をパンチルト補助調整部４２３の間隔の２倍とする。また、パンチルトロール補助調整部４２４の２本の直線は、ロール調整部４２２の２本の直線と異なる色で配色される。例えば、ロール補助調整部４２４の平行線は黄色で配色され、ロール調整部４２２の平行線は赤色で配色される。

ロール調整部４２２の大きさが小さい場合や、ロール調整部４２２の色が表示部４に表示される画像の背景色に近い場合など、ユーザがロール調整部４２２を瞬時に判別できないことがある。そこで、較正用オブジェクト４２がさらにロール補助調整部４２４を有することにより、ユーザは視覚的に瞬時にロール調整部４２２の位置を判別することができる。

ロール補助調整部４２４は、ロール調整部４２２と同様に、２本の直線の長さおよび間隔によりロール角の調整精度を規定することができる。例えば、ロール調整部４２２のロール角の調整精度を±０．５度とし、ロール補助調整部４２４のロール角の調整精度を±１度とする。２種類の調整制度を規定することにより、精度の高い調整を必要としない場合には、指標４１がロール補助調整部４２４内に収まればカメラのロール方向の較正を終了させることができ、較正に要する時間を短縮することができる。

図１０は、表示部４の端部に指標４１が配置される例を示す図である。レンズの特性により、カメラ較正装置１０により得られる画像は、中心付近では弱く、端部で強い歪みが生じる。そのため、指標４１が画像の中央に配置されない場合には、図１０に示すように指標４１の端部に歪みが生じ、結果的に指標４１が曲がって表示されることとなる。ＣＰＵ１２４は、指標４１の端部に歪みが生じることが、既知であるカメラ１１の取り付け位置、指標４１の位置、理想光軸方向、およびレンズの歪みのパラメータから予め想定できる場合には、指標４１の想定される歪み量を算出する。画像重畳部１２２は、歪みに応じて決定される角度分だけロール調整部４２２の２本の直線を水平方向から傾けた較正用オブジェクト４２を重畳した重畳画像を生成する。図１０に示すように指標４１の歪みに合わせて較正用オブジェクト４２の初期状態（移動前）の画像を水平方向から傾けることにより、指標４１の端部に歪みが生じている場合に、回転方向の調整が容易となる。

次に、カメラシステム１によるカメラの較正動作を説明する。図１１は、カメラシステム１によるカメラの較正動作を示すフローチャートである。図１２は、カメラの較正動作時に表示部４に表示される画像を示す図である。

ユーザは、較正用オブジェクト４２を左右方向に移動させ、較正用オブジェクト４２のパンチルト調整部４２１の左右方向の位置を指標４１の端部に合わせる（ステップＳ１０１）。図１２（ａ）は、左指示部５１が押圧され、較正用オブジェクト４２が左方向に移動した状態を示している。

次に、ユーザは、較正用オブジェクト４２を上下方向に移動させ、較正用オブジェクト４２のパンチルト調整部４２１の上下方向の位置を指標４１の端部に合わせる（ステップＳ１０２）。図１２（ｂ）は、上指示部５４が押圧され、較正用オブジェクト４２が上方向に移動した状態を示している。ユーザは、ステップＳ１０１およびステップＳ１０２の操作により、パンチルト調整部４２１の領域内に指標４１の端部が含まれるように、較正用オブジェクト４２を移動させる。

次に、ユーザは、較正用オブジェクト４２をパンチルト調整部４２１の中心点を中心に回転方向に回転移動させる。そして、較正用オブジェクト４２のロール調整部４２２の平行線の間に指標４１が位置し、なおかつ平行線と指標４１とが交差しないように、較正用オブジェクト４２を移動させる（ステップＳ１０３）。図１２（ｃ）は、左回転指示部５５が押圧され、較正用オブジェクト４２が反時計回り方向に回転移動した状態を示している。

図１３は、カメラ１１の較正動作時における、ＣＰＵ１２４の動作を示すフローチャートである。ＣＰＵ１２４は、指示部５からオブジェクト移動信号を受信すると（ステップＳ２０１−Ｙｅｓ）、移動量を算出し、画像重畳部１２２に移動後の較正用オブジェクト４２の重畳指示を行う（ステップＳ２０２）。ここで、ＣＰＵ１２４は、較正用オブジェクト４２を回転方向の移動量を算出するときは、回転の中心点をパンチルト調整部４２１の中心点とする。これにより、回転移動によって指標４１と較正用オブジェクト４２とがずれることを防止できる。したがって、回転移動後にさらに較正用オブジェクト４２を上下左右方向に移動させて微調整する必要がなくなり、調整時間を短縮させることができる。

ＣＰＵ１２４は、指示部５からオブジェクト移動信号を受信しない場合（ステップＳ２０１−Ｎｏ）、指示部５からの較正終了信号を受信するまでの間、指示部５からの移動指示を受け付ける（ステップＳ２０３−Ｎｏ）。指示部５からの調整終了信号を受信すると（ステップＳ２０３−Ｙｅｓ）、カメラ１１の取り付け位置のずれを較正する較正パラメータ（パン角、チルト角、およびロール角）を算出する（ステップＳ２０４）。

ステップＳ２０４では、指示部５の１回分の操作量とカメラ１１の回転角度とを対応づけた場合には、指示部５の操作量をカウントすることで、較正パラメータ（パン角、チルト角、およびロール角）を算出することができる。例えば、指示部５の１回分の操作量が０．５度である場合に、ユーザが図１１に示した操作において、ステップＳ１０１で左指示部５１を２回押圧し、ステップＳ１０２で上指示部５４を２回押圧し、ステップＳ１０３で左回転指示部５１を２回押圧したときには、パン角、チルト角、およびロール角はそれぞれ１．０度となる。なお、ＣＰＵ１２４は、取得した較正パラメータ（パン角、チルト角、およびロール角）に基づいて表示部４に表示させる画像を調整する場合には、カメラ座標とワールド座標間の変換処理を行う。

ＣＰＵ１２４により較正パラメータが算出された後は、カメラ１１からの撮像画像は、当該較正パラメータに対応する量をオフセットさせて出力されるか、または、重畳する画像を当該較正パラメータに対応した画像に変換処理して出力される。これにより、結果的に画像重畳部１２２は、画像処理部１２１により生成されたデジタル画像上に予測軌跡などの画像を重畳して重畳画像を生成する際に、較正パラメータが算出される以前の重畳位置からオフセットまたは変更処理して重畳されることとなるため、例えば駐車時により高精度な車両通過予測軌跡を表示することができる。

上述したように、本発明による較正処理装置１２、カメラ較正装置１０、カメラシステム１、およびカメラ較正方法において、較正用オブジェクト４２は、所定の領域を有する図形により構成されるパンチルト調整部４２１と、所定の間隔を有する２本の直線により構成されるロール調整部４２２と、を有し、ＣＰＵ１２４は、パンチルト調整部４２１の所定の領域内に指標４１の一端が含まれ、かつ、ロール調整部４２２および指標４１が交差しない位置に較正用オブジェクト４２が移動したときに、該較正用オブジェクトの位置に基づいて、前記カメラの取り付け位置のずれを較正する。そのため、本発明によれば、カメラ１１を較正する際の操作が簡便となり、較正に要する時間を短縮することができる。特に、ＣＰＵ１２４が、較正用オブジェクト４２の回転方向の移動量を算出するときは、回転の中心点をパンチルト調整部４２１の中心点とすることで、調整を迅速に行うことが可能となる。

上述の実施形態は、代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

例えば、ロール調整部は２本の直線により構成される例を示しているが、レンズの歪み量を予め考慮した緩やかな曲線により構成してもよいし、本数も２本ではなくそれ以上であってもよい。あるいは１本の太い線分によりロール調整部を構成し、この線分上に指標４１が位置するようにしてもよい。この場合には平行線と交差しないよう指標４１を調整する代わりに、所定の幅からはみ出さないように指標４１が位置するように調整する、という点で若干異なるものの、その他の点においては上述の実施形態と同様である。つまり、ロール調整部は複数の線あるいは所定の幅を有する線によって回転範囲を示唆していればよい。さらにはロール調整部の線分は有限な長さではなく、無限長の線としてもよい。すなわちこの場合には、パンチルト調整部から画面の端にまで延在される複数の線（あるいは所定の幅を有する１本の線）によりロール調整部が成り立つこととなる。

１ カメラシステム
２ ＣＰＵ
３ バス
４ 表示部
５ 指示部
６ センサ
１０ カメラ較正装置
１１ カメラ
１２ 較正処理装置
４１ 指標
４２ 較正用オブジェクト
４３ バンパー
５１ 左指示部
５２ 右指示部
５３ 下指示部
５４ 上指示部
５５ 左回転指示部
５６ 右回転指示部
５７ 戻り指示部
５８ 次へ指示部
１００ 移動体
１２１ 画像処理部
１２２ 画像重畳部
１２３ 画像出力部
１２４ ＣＰＵ
１２５ 記憶部
４２１ パンチルト調整部
４２２ ロール調整部
４２３ パンチルト補助調整部
４２４ ロール補助調整部

Claims (15)

1. 移動体の所定位置に取り付けられ、移動体外部に配された指標を含む画像を撮像するカメラと、
   前記カメラによる撮像画像に対して、所定の領域を示唆する第１調整部と、所定の回転範囲を示唆する第２調整部と、を有する較正用オブジェクトを重畳した重畳画像を生成する画像重畳部と、
   前記較正用オブジェクトの移動指示に基づいて前記較正用オブジェクトを移動させた重畳画像を前記画像重畳部に生成させるとともに、当該重畳画像において、前記第１調整部の前記所定の領域内に前記指標の一端が含まれ、かつ、前記第２調整部の前記所定の回転範囲内に前記指標が位置する位置に前記較正用オブジェクトが移動されたときの該較正用オブジェクトの位置に基づいて、前記カメラの取り付け位置のずれを較正するパン角、チルト角およびロール角を算出する演算部と、
   を備え、
   前記第１調整部は、前記指標の一端に位置合わせする際の調整範囲を示唆する図形であることを特徴とするカメラ較正装置。
2. 前記演算部は、前記較正用オブジェクトの回転方向の移動量を算出するときは、回転の中心点を前記第１調整部の中心点とすることを特徴とする、請求項１に記載のカメラ較正装置。
3. 前記第２調整部は、所定の間隔を有する複数の線、あるいは所定の幅を有する線により前記所定の回転範囲を特定することを特徴とする、請求項１または２に記載のカメラ較正装置。
4. 前記第１調整部は、円形の図形により前記所定の領域を特定することを特徴とする、請求項３に記載のカメラ較正装置。
5. 前記第１調整部は、前記円形の図形の直径によりパン角およびチルト角の調整精度を規定し、
   前記第２調整部は、前記所定の間隔を有する複数の線の長さおよび間隔、あるいは前記所定の幅を有する線の長さおよび幅によりロール角の調整精度を規定することを特徴とする、請求項４に記載のカメラ較正装置。
6. 前記較正用オブジェクトは、第１補助調整部をさらに有し、
   前記第１補助調整部は、前記第１調整部の所定の領域よりも大きい所定の領域を示唆し、前記第１調整部を囲むように配置されることを特徴とする、請求項１から５のいずれか一項に記載のカメラ較正装置。
7. 前記第１補助調整部の領域の境界線は、前記第１調整部の領域の境界線と異なる色で配色されることを特徴とする、請求項６に記載のカメラ較正装置。
8. 前記第１補助調整部は、円形の図形により前記所定の領域を特定することを特徴とする、請求項６または７に記載のカメラ較正装置。
9. 前記較正用オブジェクトは、第２補助調整部をさらに有し、
   前記第２補助調整部は、所定の回転範囲を示唆することを特徴とする、請求項１から８のいずれか一項に記載のカメラ較正装置。
10. 前記第２補助調整部の回転範囲の境界線は、前記第２調整部の回転範囲の境界線と異なる色で配色されることを特徴とする、請求項９に記載のカメラ較正装置。
11. 前記第２補助調整部は、所定の間隔を有する複数の線、あるいは所定の幅を有する線により前記所定の回転範囲を特定することを特徴とする、請求項９または１０に記載のカメラ較正装置。
12. 前記画像重畳部は、前記カメラによる撮像画像に表示された指標に歪みが生じる場合には、前記歪みに応じて決定される角度分だけ前記第２調整部を水平方向から傾けた較正用オブジェクトを重畳した重畳画像を生成することを特徴とする、請求項１から１１のいずれか一項に記載のカメラ較正装置。
13. 移動体の所定位置に取り付けられたカメラにより、移動体外部に配された指標を含む画像を撮像する撮像ステップと、
    前記カメラによる撮像画像に対して、所定の領域を示唆する第１調整部と、所定の回転範囲を示唆する第２調整部と、を有する較正用オブジェクトを重畳した重畳画像を表示する表示ステップと、
    前記第１調整部の前記所定の領域内に前記指標の一端が含まれるよう前記較正用オブジェクトを移動する移動ステップと、
    前記第２調整部の前記所定の回転範囲内に前記指標が入る位置まで、前記第１調整部を中心に前記較正用オブジェクトを回転させる回転ステップと、
    前記移動ステップと前記回転ステップにより特定される前記較正用オブジェクトの移動量に基づいて、前記カメラの取り付け位置のずれを較正するパン角、チルト角およびロール角を算出する算出ステップと、
    を含み、
    前記第１調整部は、前記指標の一端に位置合わせする際の調整範囲を示唆する図形であることを特徴とするカメラ較正方法。
14. 移動体の所定位置に取り付けられ、移動体外部に配された指標を含む画像を撮像するカメラからの撮像画像を利用して、当該カメラのパン角、チルト角およびロール角における取り付け位置のずれを較正する較正処理装置であって、
    前記カメラによる撮像画像に対して、所定の領域を示唆する第１調整部と、所定の回転範囲を示唆する第２調整部と、を有する較正用オブジェクトを重畳した重畳画像を生成する画像重畳部と、
    前記較正用オブジェクトの移動指示に基づいて前記較正用オブジェクトを移動させた重畳画像を前記画像重畳部に生成させるとともに、当該重畳画像において、前記第１調整部の前記所定の領域内に前記指標の一端が含まれ、かつ、前記第２調整部の前記所定の回転範囲内に前記指標が位置する位置に前記較正用オブジェクトが移動されたときの該較正用オブジェクトの位置に基づいて、前記カメラの取り付け位置のずれを較正するパン角、チルト角およびロール角を算出する演算部と、
    を備え、
    前記第１調整部は、前記指標の一端に位置合わせする際の調整範囲を示唆する図形であることを特徴とする較正処理装置。
15. 移動体の所定位置に取り付けられ、移動体外部に配された指標を含む画像を撮像するカメラと、
    前記カメラによる撮像画像に対して、所定の領域を示唆する第１調整部と、所定の回転範囲を示唆する第２調整部と、を有する較正用オブジェクトを重畳した重畳画像を生成する画像重畳部と、
    前記移動体内に設けられ、前記重畳画像が表示される表示部と、
    前記重畳画像において、前記較正用オブジェクトに対してその表示位置を移動させる指示を行う指示部と、
    前記指示部による前記較正用オブジェクトの移動指示に基づいて前記較正用オブジェクトを移動させた重畳画像を前記画像重畳部に生成させるとともに、当該重畳画像において、前記第１調整部の前記所定の領域内に前記指標の一端が含まれ、かつ、前記第２調整部の前記所定の回転範囲内に前記指標が位置する位置に前記較正用オブジェクトが移動されたときの該較正用オブジェクトの位置に基づいて、前記カメラの取り付け位置のずれを較正するパン角、チルト角およびロール角を算出する演算部と、
    を備え、
    前記第１調整部は、前記指標の一端に位置合わせする際の調整範囲を示唆する図形であることを特徴とするカメラシステム。

Images