JP2014092460A - 画像処理装置および方法、画像処理システム、並びにプログラム - Google Patents

Abstract

【課題】限られた空間でステレオカメラのキャリブレーションを実行する。
【解決手段】チャートパタン１３にポール４１−１，４１−２を設けて、ステレオカメラを構成する撮像部２１−１，２１−２のそれぞれにより、チャートパタン１３に含まれるパタンからなる特徴点と、ポール４１−１，４１−２とを撮像させる。キャリブレーション部１２は、ポール４１−１，４１−２の先端部の画像からステレオカメラ１１、またはチャートパタン１３の傾きのずれを検出し、撮像部２１−１，２１−２をキャリブレーションするための補正パラメタを算出し、ステレオカメラ１１に記憶させる。デプス検出部１４は、ステレオカメラ１１により撮像された画像を、ステレオカメラ１１に記憶された補正パラメタで補正して、補正した画像に基づいて、ディスパリティを求める。本技術は、３次元画像を撮像するステレオカメラに適用することができる。
【選択図】図１

Description

本技術は、画像処理装置および方法、画像処理システム、並びにプログラムに関し、特に、ステレオ画像を撮像する複数のカメラのキャリブレーションを少ないスペースで、容易で、かつ、高精度に実現できるようにした画像処理装置および方法、画像処理システム、並びにプログラムに関する。

複数のカメラを利用して、３次元の画像を撮像できるようにする技術が一般に普及している。

３次元の画像を生成する手法としては、異なる２視点のカメラを設置してステレオカメラを構成し、ステレオカメラを構成する２視点のカメラにより撮像された画像に基づいて、視差を求め、この視差を利用して３次元の画像を生成するといったものが一般的な手法として知られている。

ところで、ここで使用される異なる２視点のカメラについては、適切な方向に設置されることが前提となるが、どのように設置してもある程度の物理的なずれが発生することが知られている。そこで、一般的には、２視点のカメラのそれぞれの撮像方向について、チャートパタンからなる画像を撮像し、撮像結果を用いて、キャリブレーションにより補正パラメタを求めておくことで、実際の撮像結果は、この補正パラメタにより補正されて使用される。

このキャリブレーションを実行するための様々な技術がこれまでにも提案されており、例えば、同じ距離の平面にある４点を、２視点のカメラで撮像し、撮像結果から補正パラメタを算出するというものが第１の手法として提案されている（特許文献１参照）。

また、特許文献１には、第２の手法として、チャートパタンに穴を開けることによって異なる奥行きを持つ面を１枚の画像として撮像し、１枚の画像でキャリブレーション処理を実行して、補正パラメタを算出するといったものも提案されている。

さらに、例えば、透明チャートにキャリブレーションパタンを印刷して異なる距離に配置し、これらの画像を撮像して、撮像結果を利用してキャリブレーション処理を実行することで、補正パラメタを算出するといったものも提案されている（特許文献２参照）。

特開２０１１−２５３３７６号公報 特開２００６−２５０８８９号公報

しかしながら、特許文献１で提案される第１の手法においては、狭いスペースで容易にキャリブレーションを実行することが可能であるが、チャートパタンの傾きがあると精度が低下する恐れがあった。特に、特許文献１の第１の手法においては、チャートパタンを配置した位置と異なる位置とのキャリブレーションによる性能が、より低下する恐れがあった。

さらに、特許文献１の第２の手法、および特許文献２の手法においては、いずれも高精度でキャリブレーションを実行することが可能であるが、精度を上げるにはキャリブレーションをするために多くの空間が必要となる。

本技術はこのような状況に鑑みてなされたものであり、特に、ポールを設けたチャートパタンを用いて、キャリブレーションを実行するようにすることで、狭い空間でも高精度にキャリブレーションを実現できるようにするものである。

本技術の第１の側面の画像処理装置は、ステレオカメラを構成し、ポールを含むチャートパタンを撮像する複数の撮像部と、前記複数の撮像部により撮像されたチャートパタンに含まれるパタン、および前記ポールに基づいて、前記複数の撮像部のずれを補正する補正パラメタを算出する補正パラメタ算出部とを含む。

前記ポールには、その先端部に円盤部を設けさせ、前記先端部の側面外形がＴ字型のものを含ませるようにすることができる。

前記複数の撮像部により撮像されたチャートパタンに含まれる前記ポールを検出するポール検出部と、前記ポール検出部により検出されたポールに基づいて、前記チャートパタンの傾きを検出する傾き検出部と、前記複数の撮像部により撮像されたチャートパタンに含まれるパタンに基づいて、特徴点を検出する検出部と、前記傾き検出部により検出された傾きに基づいて、前記検出部により検出された特徴点の配置を補正する特徴点補正部とをさらに含み、前記補正パラメタ算出部には、前記特徴点補正部により配置が補正された特徴点の情報に基づいて、前記複数の撮像部のずれを補正する補正パラメタを算出させるようにすることができる。

前記チャートパタンは、ボックスチャート、および格子点チャートを含ませるようにすることができる。

本技術の第１の側面の画像処理方法は、ステレオカメラを構成する複数の撮像部が、ポールを含むチャートパタンを撮像する撮像処理をし、前記複数の撮像部により撮像されたチャートパタンに含まれるパタン、および前記ポールに基づいて、前記複数の撮像部のずれを補正する補正パラメタを算出する補正パラメタ算出処理をするステップを含む。

本技術の第１の側面のプログラムは、ステレオカメラを構成する複数の撮像部が、ポールを含むチャートパタンを撮像する撮像ステップと、前記複数の撮像部により撮像されたチャートパタンに含まれるパタン、および前記ポールに基づいて、前記複数の撮像部のずれを補正する補正パラメタを算出する補正パラメタ算出ステップとを含む画像処理装置を制御するコンピュータに実行させる。

本技術の第２の側面の画像処理システムは、複数の撮像部を含む画像処理装置と、前記撮像部の撮像方向をキャリブレーションするためのチャートパタンとからなる画像処理システムであって、前記チャートパタンは、前記複数の撮像部に対して対向する位置に設けられ、特徴点となるパタンと、ポールとを含み、前記画像処理装置は、前記複数の撮像部が、ステレオカメラを構成すると共に、前記チャートパタンを撮像し、前記複数の撮像部により撮像されたチャートパタンに含まれるパタン、および前記ポールに基づいて、前記複数の撮像部のずれを補正する補正パラメタを算出する補正パラメタ算出部を含む。

本技術の第１の側面においては、ステレオカメラを構成する複数の撮像部により、ポールを含むチャートパタンが撮像され、前記複数の撮像部により撮像されたチャートパタンに含まれるパタン、および前記ポールに基づいて、前記複数の撮像部のずれを補正する補正パラメタが算出される。

本技術の第２の側面においては、前記画像処理装置は、ステレオカメラを構成する複数の撮像部により、対向する位置に設けられ、特徴点となるパタンと、ポールとを含むチャートパタンが撮像され、前記複数の撮像部により撮像されたチャートパタンに含まれるパタン、および前記ポールに基づいて、前記複数の撮像部のずれを補正する補正パラメタが算出される。

本技術の第１、および第２の側面の画像処理装置、および画像処理システムは、独立した装置、およびシステムであっても良いし、画像処理を行うブロックであっても良い。

本技術の第１、および第２の側面によれば、限られた空間であっても、ステレオカメラを構成する撮像部の撮像方向を、容易で、かつ、高精度にキャリブレーションすることが可能となる。

本技術を適用した画像処理システムの実施の形態の構成例を示す図である。 図１のチャートパタンに設けられたポールを説明する図である。 図１のチャートパタンのパタンを説明する図である。 図１の画像処理システムを実現する機能を説明する機能ブロック図である。 キャリブレーション処理を説明するフローチャートである。 ポール検出処理を説明するフローチャートである。 ポール検出処理を説明する図である。 ステレオカメラが傾いた場合のモデルを説明する図である。 チャートパタンが傾いた場合のモデルを説明する図である。 ポールの先端のずれを説明する図である。 チャートパタンの検出結果を説明する図である。 チャートパタンの検出結果を説明する図である。 パラメタの定義を説明する図である。 補正画像を説明する図である。 補正パラメタの生成に際して行う画像補正による基準長方形の設定処理例をを説明する図である。 補正パラメタに基づく回転処理について説明する図である。 補正パラメタの生成に際して行う処理を説明する図である。 補正パラメタの生成に際して行う処理を説明する図である。 補正パラメタの生成に際して行う処理を説明する図である。 補正パラメタの生成に際して行う処理を説明する図である。 補正パラメタの生成に際して行う処理を説明する図である。 デプス処理を説明するフローチャートである。 汎用のパーソナルコンピュータの構成例を説明する図である。

＜画像処理システムの構成例＞
図１は、本技術を適用した画像処理システムの一実施の形態の構成例を示している。図１の画像処理システムは、まず、ステレオカメラ１１の撮像部２１−１，２１−２が、ポール４１−１，４１−２が設けられたチャートパタン１３を撮像する。そして、キャリブレーション部１２が、撮像された２枚の画像に基づいて、撮像部２１−１，２１−２のずれを補正する補正パラメタを算出してステレオカメラ１１に記憶させる。さらに、デプス検出部１４が、ステレオカメラ１１を用いてデプス検出処理を実施する際、補正パラメタを使用して、ステレオカメラ１１の撮像部２１−１，２１−２により撮像された画像を補正して、デプス検出結果であるディスパリティ画像を生成する。

より具体的には、図１の画像処理システムは、ステレオカメラ１１、キャリブレーション部１２、チャートパタン１３、およびデプス検出部１４より構成される。ステレオカメラ１１は、水平方向に所定の間隔で配置され、同一方向の画像を撮像する撮像部２１−１，２１−２を備えている。ステレオカメラ１１は、キャリブレーション処理において、撮像部２１−１，２１−２のそれぞれにより、ポール４１−１，４１−２が設けられたチャートパタン１３を撮像し、撮像した２枚の画像をキャリブレーション部１２に供給し、キャリブレーション部１２により算出された補正パラメタを記憶する。また、ステレオカメラ１１は、デプス検出処理において、デプス検出部１４に画像を供給する際、キャリブレーション処理により記憶された補正パラメタを画像に併せてデプス検出部１４に供給する。

キャリブレーション部１２は、キャリブレーション処理を実行し、ステレオカメラ１１より供給されてくる画像に基づいて、撮像部２１−１，２１−２の撮像方向を補正する補正パラメタを算出し、ステレオカメラ１１に記憶させる。

チャートパタン１３は、平面状のチャートパタンに、ポール４１−１，４１−２が設けられたものであり、例えば、図２の画像Ｐで示されるものである。画像Ｐにおいては、領域Ｚ１内においてチャートパタンが表示され、その中央部にポール４１−１，４１−２が水平方向に所定の間隔を空けて設けられている。ポール４１−１，４１−２は、図２の右部の側面図で示されるように、ステレオカメラ１１の手前方向にチャートパタン１３より支柱４１ｂ−１，４１ｂ−２分だけ飛び出した位置に円盤部４１ａ−１，４１ａ−２が設けられ、ちょうど側面から見るとＴ字型の構成とされている。

より詳細には、図２の左中央部で示されるように、チャートパタン１３の中央部に設けられたパタンである円形部Ｃ１，Ｃ２の中央部に支柱４１ｂ−１，４１ｂ−２が設けられ、その先端部分に円盤部４１ａ−１，４１ａ−２が設けられている。それぞれの具体的な大きさは、例えば、図２の左下部で示されるように、円形部Ｃ１，Ｃ２の外円の直径が８ｃｍであり内円の直径が６ｃｍであり、支柱４１ｂ−１，４１ｂ−２の長さが７ｃｍであり、円盤部４１ａ−１，４１ａ−２の直径が２．５ｃｍであり、その厚さが５ｍｍである。尚、これらの大きさは、図２で示される大きさに限るものではなく、それ以外の大きさであってもよいものである。

チャートパタン１３は、例えば、図３で示されるボックスチャートと呼ばれるパタンＴ１などでもよいし、格子点チャートと呼ばれるパタンＴ２でもよいし、ボックスチャートと、格子点チャートとが組み合わされたパタンＴ３でもよい。尚、パタンＴ３は、図２の画像Ｐで示されるチャートパタンと同様である。

デプス検出部１４は、ステレオカメラ１１により撮像された画像を取得すると共に、ステレオカメラ１１より供給されてくるキャリブレーション処理により算出された補正パラメタを取得する。そして、デプス検出部１４は、ステレオカメラ１１より供給されてくる画像を、補正パラメタを用いて補正し、補正した画像に基づいて画素単位で距離を求め、デプス画像（ディスパリティ画像）を検出する。

＜画像処理システムの各構成を実現するための機能＞
次に、図４の機能ブロック図を参照して、図１の画像処理システムの各構成を実現するための機能について説明する。

ステレオカメラ１１は、撮像部２１−１，２１−２、およびパラメタ記憶部６１を備えている。撮像部２１−１，２１−２は、CCD（Charge Coupled Device）、やCMOS（Complementary Metal Oxide Semiconductor）などの撮像素子からなる。撮像部２１−１，２１−２は、水平方向に所定間隔で配置され、撮像部２１−１，２１−２の設置位置を結ぶ直線からなるベースラインに対して、同一方向の画像となるチャートパタン１３を撮像し、撮像した画像をキャリブレーション処理時には、キャリブレーション部１２に供給する。また、デプス検出処理においては、撮像部２１−１，２１−２は、撮像した画像をデプス検出部１４に供給する。尚、撮像部２１−１，２１−２のそれぞれについて、特に区別する必要がない場合、単に、撮像部２１と称するものとし、その他の構成についても同様に称するものとする。

パラメタ記憶部６１は、キャリブレーション部１２のキャリブレーション処理により算出された補正パラメタを記憶すると共に、デプス検出処理においては、記憶している補正パラメタをデプス検出部１４に供給する。

キャリブレーション部１２は、画像取得部１０１、ポール検出部１０２、傾き検出部１０３、特徴点検出部１０４、特徴点補正部１０５、およびパラメタ算出部１０６を備えている。

画像取得部１０１は、ステレオカメラ１１の撮像部２１−１，２１−２により撮像されたチャートパタンの２枚の画像を取得して、撮像されたチャートパタンの２枚の画像と共にポール検出部１０２に供給する。

ポール検出部１０２は、チャートパタンの２枚の画像に基づいて、ポール４１の位置を検出し、検出されたポール４１の位置の情報と併せて、撮像された２枚の画像を傾き検出部１０３に供給する。

傾き検出部１０３は、検出されたポール４１の位置の情報に基づいて、チャートパタン１３の傾きを検出し、検出したチャートパタン１３の傾きの情報と共に、撮像された２枚の画像を特徴点検出部１０４に供給する。

特徴点検出部１０４は、撮像された２枚の画像より、サブピクセルの特徴点を検出し、検出結果と撮像画像とを特徴点補正部１０５に供給する。

特徴点補正部１０５は、特徴点の検出結果に基づいて、特徴点を補正し、補正結果と撮像画像とをパラメタ算出部１０６に供給する。

パラメタ算出部１０６は、補正結果となる補正画像と、撮像画像とから補正パラメタを算出し、ステレオカメラ１１のパラメタ記憶部６１に記憶させる。

デプス検出部１４は、画像取得部１２１、パラメタ取得部１２２、補正部１２３、およびステレオマッチング部１２４を備えている。画像取得部１２１は、デプス検出処理において、ステレオカメラ１１の撮像部２１−１，２１−２によりそれぞれ撮像された２枚の画像を取得して補正部１２３に供給する。

パラメタ取得部１２２は、ステレオカメラ１１のパラメタ記憶部６１に記憶されている補正パラメタを読み出して取得し、補正部１２３に供給する。

補正部１２３は、画像取得部１２１により取得された撮像部２１−１，２１−２によりそれぞれ撮像された２枚の画像を、補正パラメタを用いて補正し、補正画像をステレオマッチング部１２４に供給する。

ステレオマッチング部１２４は、ステレオマッチング処理により、補正された２枚の画像から画素単位で距離を求め、デプス画像（ディスパリティ画像）を生成して出力する。

＜キャリブレーション処理＞
次に、図５のフローチャートを参照して、キャリブレーション処理について説明する。

ステップＳ１１において、ステレオカメラ１１は、撮像部２１−１，２１−２をそれぞれ使用して、２枚の画像からなるステレオ画像を撮像し、キャリブレーション部１２に供給する。このとき、キャリブレーション部１２の画像取得部１０１は、取得した２枚の画像をポール検出部１０２に供給する。

ステップＳ１２において、ポール検出部１０２は、ポール検出処理を実行して、撮像された画像より、ポール４１−１，４１−２を検出し、検出結果と撮像された画像を傾き検出部１０３に供給する。

＜ポール検出処理＞
ここで、図６のフローチャートを参照してポール検出処理について説明する。

ステップＳ３１において、ポール検出部１０２は、撮像された画像より円領域を切り出して抽出する。すなわち、撮像された画像が、例えば、図７の左上部で示される画像Ｐ１であるような場合、ポール検出部１０２は、円形部Ｃ１，Ｃ２を検出し、図７の右上部で示されるような、円形部Ｃ１，Ｃ２を含む円領域からなる画像Ｐ２を切り出して抽出する。

ステップＳ３２において、ポール検出部１０２は、抽出された円領域からなる画像Ｐ２に対して、ラプラシアンフィルタなどの所定のフィルタ処理を施し、例えば、図７の左下部で示されるようなエッジ画像Ｐ３を抽出する。

ステップＳ３３において、ポール検出部１０２は、エッジ画像Ｐ３より、円形部Ｃ１，Ｃ２の内円を推定する。すなわち、ポール検出部１０２は、図７の右下部における内円ＩＬ，ＩＲを、円形部Ｃ１，Ｃ２の内円として推定する。

ステップＳ３４において、ポール検出部１０２は、内円ＩＬ，ＩＲの画像より、サブピクセルオーダーで円盤部４１ａ−１，４１ａ−２を推定する。

以上の処理により、ポール検出部１０２は、撮像された画像における円形部Ｃ１，Ｃ２の内円ＩＬ，ＩＲを推定すると共に、内円ＩＬ，ＩＲ内からポール４１−１，４１−２の先端部である円盤部４１ａ−１，４１ａ−２をサブピクセルオーダーで検出し、検出したサブピクセル単位の円盤部４１ａ−１，４１ａ−２の情報と共に、撮像された画像を傾き検出部１０３に供給する。尚、内円ＩＬ，ＩＲの推定については、その他の手法で推定するようにしてもよく、例えば、ハフ変換により推定するようにしても良い。

ここで、図５のフローチャートの説明に戻る。

ステップＳ１３において、傾き検出部１０３は、チャートパタン１３、およびステレオカメラ１１間の傾きを検出し、撮像した画像と共に特徴点検出部１０４に供給する。

ここで、チャートパタン１３、およびステレオカメラ１１間における傾きは、ステレオカメラ１１がチャートパタン１３に対して回転しているモデルと、チャートパタン１３がステレオカメラ１１に対して回転しているモデルとが考えられる。

例えば、ステレオカメラ１１がチャートパタン１３に対して回転しているモデルを考える場合、図８で示されるようなモデルとなり、これらのモデルに基づいた関係により、以下の式（１）乃至式（４）の関係が求められる。

ここで、ｄは、ステレオカメラ１１がベースラインＢに対してθだけ回転したことに伴って発生する、ポール４１−２の先端部の検出位置のずれ量を示しており、Ｂは、ポール４１−１，４１−２間の軸となるベースラインＢ上の距離を示しており、θはステレオカメラ１１の撮像部２１−１，２１−２間のベースラインＢに対してなす回転角を示している。また、Ｌ’は、ステレオカメラ１１の回転したときの撮像部２１−２と、ポール４１の先端部との距離を示しており、φは撮像部２１−２における画角を示しており、ｍｐは、撮像部２１−２の水平方向の画素数を示しており、ｄｐは、画像上のポール先端部におけるずれ量を示している。αは、ポール先端部と、ずれたポール先端部との成す角を示している。尚、図８においては、ポール４１の先端部には、簡単のため円盤部４１ａが設けられておらず、側面からみるとＴ字型ではなく棒状のポール４１となっている。しかしながら、ポール４１の先端部については、円盤部４１ａであるものとして説明を進めるものとする。すなわち、ポール４１の円盤部４１ａは、ポール４１の先端部を画像として認識しやすくするために設けられているものであるので、ポール４１の側面方向からの形状は、Ｔ字型でも、Ｉ型でもよい。従って、以降においては、ポール４１の先端部を円盤部４１ａとして説明を進めるものとする。

以上のような構成から、例えば、水平方向の画素数ｍｐが１２８０画素であり、ベースラインＢ上のポール４１−１，４１−２間の間隔が８ｃｍであり、距離Ｌ’が７０ｃｍであり、画角φが７２．５度である場合、回転角θ＝１度であるとすれば、ずれ量ｄｐは０．０１５２画素となる。

すなわち、チャートパタン１３とステレオカメラ１１間の限界精度を１度とするには、ポール４１の先端部の位置を０．０１５２ピクセルの精度で求める必要がある。

また、チャートパタン１３がステレオカメラ１１に対して回転している場合、図９で示されるようなモデルとなり、これらのモデルに基づいた関係により、以下の式（５）乃至式（１４）の関係が求められる。

ここで、ｎ０は、チャートパタン１３’の回転に伴った、ポール４１，４１’の根本の位置の水平方向（ベースラインＢの方向）のずれ量を示しており、ＢはベースラインＢ上のポール４１−１，４１−２間の距離を示しており、θは、チャートパタン１３の回転角度を示しており、ｍ０は、ポール４１，４１’の根本の位置の垂直方向のずれ量を示している。また、ｎ１は、ポール４１，４１’の先端部の水平方向のずれ量を示しており、Ｍはポール４１の長さを示しており、ｍ１は、ずれたポール４１’の先端部とベースラインＢとの垂直方向の距離を示している。さらに、Ｌは、回転していないチャートパタン１３のベースラインＢとステレオカメラ１１との距離であり、ξは、ずれたポール４１’の根本の位置と先端部との撮像部２１−１の中心位置におけるなす角を示しており、φは、撮像部２１−１の画角を示している。また、ｍｐは、撮像部２１−１により撮像される画像の水平方向の端部から中央画素までの画素数を示しており、ｄ１は、撮像部２１−１により撮像される画像内におけるポール４１’の先端部を示す画素の水平中央画素からの画素数を示している。さらに、ｄ０は、撮像部２１−１により撮像される画像内におけるポール４１の根本を示す画素の水平中央画素からの画素数を示しており、Ψは、撮像部２１−１により撮像される画像内におけるポール４１，４１’のそれぞれの根本の位置とのずれ角を示している。

この結果、水平方向の画素数ｍｐが１２８０画素であり、ベースラインＢのポール４１−１，４１−２間の間隔が８ｃｍであり、距離Ｌ’が７０ｃｍであり、画角φが７２．５度であり、ポール４１の長さＭが７ｃｍである場合、ｄ０に１度のずれがあるとすれば、ｄ０（１）は、０．００７６０４１となり、２度のずれがあるとき、ｄ０（２）は、０．０３０４４４５となる。また、同様の条件において、ｄ１に１度のずれがあるとき、ｄ１（１）は、１．７０２８９１となり、ｄ１（２）は、３．２５７８７９となる。

ここで、チャートパタン１３が、ステレオカメラ１１に対して回転していない場合、図１０上段の画像Ｇ０で示されるように点線で示される正方形内にポール４１の先端部である円盤部４１ａが含まれるものとする。この条件の下で、θ＝１度になるようにチャートパタン１３がステレオカメラ１１に対して回転した場合、ポール４１の先端部である円盤部４１ａは、図１０中段の画像Ｇ１で示されるように撮像される。さらに、θ＝２度になるようにチャートパタン１３がステレオカメラ１１に対して回転した場合、ポール４１の先端部である円盤部４１ａは、図１０下段の画像Ｇ２で示されるように撮像される。すなわち、θ＝１であるとき、水平方向に対して、１．７ピクセルだけ実線で示される正方形からポール４１の円盤部４１ａがずれており、同様に、θ＝２であるとき、水平方向に対して、３．４ピクセルだけ実線で示される正方形からポール４１の円盤部４１ａがずれているのが確認できる。尚、図１０においては、上述した条件が同一の場合の円盤部４１ａの撮像画像の例であり、モザイク状に映し出されているのがピクセルサイズである。

以上のように、ステップＳ１３において、傾き検出部１０３は、ポール４１−１，４１−２の先端部となる円盤部４１ａ−１，４１ａ−２の画像が、図１０で示されるような点線で示される正方形からずれている画素数に応じて、撮像部２１−１，２１−２の撮像方向に対する回転のずれ角を求める。尚、上述したように、ずれ角を求めるに当たっては、ステレオカメラ１１がチャートパタン１２に対して回転するモデルにより定義される式、および、チャートパタン１２がステレオカメラ１１に対して回転するモデルにより定義される式のいずれを利用するようにしても良い。また、図８においては、撮像部２１−２により撮像される画像との対応のみについて、図９においては、撮像部２１−１により撮像される画像との対応のみについて、それぞれのモデルを説明したが、いずれのモデルにおいても、撮像部２１−１，２１−２の両方について同様の関係を測定して傾きが検出される必要がある。

以上においては、チャートパタン１３におけるポール４１−１，４１−２間のベースラインＢに対して垂直で、かつ、撮像部２１−１，２１−２の撮像方向に対して垂直方向を軸としたときの回転角を傾きとして求める例について説明してきたが、同様の手法で、傾き検出部１０３は、ベースラインＢを軸としたときの回転角も求める。さらに、傾き検出部１０３は、撮像部２１の撮像方向を軸としてステレオカメラ１１が回転する、または、チャートパタン１３が回転するといった傾きを示す回転角も求める。このとき、検出部１０３は、撮像部２１−１，２１−２により撮像された画像内におけるポール４１−１，４１−２のそれぞれの円盤部４１ａ−１，４１ａ−２の中心部を結ぶ直線と、水平方向とのなす角を求めることにより、撮像方向を軸とした回転角として算出する。

すなわち、傾き検出部１０３は、ベースラインＢに対して垂直で、かつ、撮像部２１の撮像方向に対して垂直方向を軸としたときの回転角（第１の回転角）、ベースラインＢを軸としたときの回転角（第２の回転角）、および撮像部２１の撮像方向を軸とした回転角（第３の回転角）の３種類の回転角を算出する。

ここで、図５のフローチャートの説明に戻る。

ステップＳ１４において、特徴点検出部１０４は、撮像された画像に基づいて、チャートパタンにおけるコーナ部や交点部分などを、キャリブレーションの処理に必要とされる特徴点として抽出し、抽出した特徴点情報、傾き情報、および撮像された画像の情報を特徴点補正部１０５に供給する。

例えば、ボックスチャートを利用するような場合、特徴点検出部１０４は、まず、ボックスチャートの周囲のラインとなるエッジを検出する。より具体的には、特徴点検出部１０４は、撮像部２１−１，２１−２により撮像された画像の輝度値をｇ（ｘ，ｙ）として、補正後の画像の輝度値をｆ（ｘ，ｙ）とし、次のような式（１５）乃至式（１７）に従った演算を実行し、水平方向、および垂直方向のエッジを検出する。

次に、特徴点検出部１０４は、検出したエッジが連続的になっている部分を求め、上下左右の計４本の直線に対応するエッジの座標列を抽出する。これら座標列を、最小二乗法などを用いて、４本の直線を表す１次方程式を求める。

すなわち、例えば、図１１で示されるような画像ＰＬ１，ＰＲ１がステレオカメラ１１により撮像されると、特徴点検出部１０４は、上下の直線２本はｙ＝ａｘ＋ｂ、左右の直線２本はｘ＝ｃｘ＋ｄ、のような形の１次方程式にそれぞれ近似する。

そして、特徴点検出部１０４は、この１次方程式を解くことにより、図１２の画像ＰＬ１’，ＰＲ１’で示されるように、特徴点として、左右のチャートパタン基準点ｐ０乃至ｐ３を検出する。

ステップＳ１５において、特徴点補正部１０５は、チャートパタン基準点として求められた特徴点の情報を、傾き情報に基づいて補正して、補正前の特徴点の情報、補正した特徴点の情報、および撮像された画像の情報をパラメタ算出部１０６に供給する。

すなわち、例えば、特徴点補正部１０５は、以下の式（１８）乃至式（２０）を算出することにより特徴点（ｘ，ｙ，ｚ）を補正特徴点（ｘ’，ｙ’，ｚ’）に補正する。

ここで、θ，φ，αは、それぞれ図１３におけるX軸回りの回転（pitch）、Z軸回りの回転（Roll）、およびY軸回りの回転（Yaw）である。すなわち、θは、傾き検出部１０３により求められた、ベースラインＢを軸としたときの回転角（第２の回転角）に対応し、φは、ベースラインＢに対して垂直で、かつ、撮像部２１の撮像方向に対して垂直方向を軸としたときの回転角（第１の回転角）に対応し、αは、撮像部２１の撮像方向を軸とした回転角（第３の回転角）に対応する。

ステップＳ１６において、パラメタ算出部１０６は、特徴点（ｘ，ｙ，ｚ）の情報と、補正特徴点（ｘ’，ｙ’，ｚ’）とから補正パラメタを算出し、算出した補正パラメタをステレオカメラ１１のパラメタ記憶部６１に記憶させる。

より詳細には、チャートパタンとしてボックスチャートを使用する場合、パラメタ算出部１０６は、特徴点ｐ０乃至ｐ３からなる４座標を用いて、画像ＰＬ１，ＰＲ１より、目的とする左右補正画像へ変換する補正パラメタを求める。以下に、具体的な処理内容を述べる。なお。目的とする左右補正画像への変換処理とは、図１４に示すように、補正された画像ＰＬ１１，ＰＲ１１の各々に表示されるチャートパタンの形状が同一になるようにする処理である。

パラメタ算出部１０６は、このような補正画像ＰＬ１１，ＰＲ１１を得るための補正パラメタ、すなわち、図１１で示される撮像部２１−１，２１−２のそれぞれの撮像画像ＰＬ１，ＰＲ１を射影変換により、目的とする補正画像ＰＬ１１，ＰＲ１１へ変換する補正パラメタを求める。

より詳細には、パラメタ算出部１０６は、まず、左右カメラ画像となる撮像部２１−１，２１−２により撮像された画像から取得した特徴点ｐ０乃至ｐ３からなる４点を結んでできる四角形を、同一形状の長方形へ斜影するための、基準となる長方形の水平方向、および垂直方向の辺の長さ（ｗ，ｈ）と、補正後の傾き角度φを求める。

次に、パラメタ算出部１０６は、図１５Ａで示されるように、撮像部２１−１，２１−２のいずれかにより撮像された画像（ここでは、左側に設けられた撮像部２１により撮像された画像）におけるチャート基準点のｐ０とｐ１，ｐ２とｐ３，ｐ０とｐ２，ｐ１とｐ３の中点であるｑ０，ｑ１，ｑ２，ｑ３を求める。

ここで、チャート基準点ｑ１とｑ２を結ぶ直線の長さをｗ、チャート基準点ｑ０とｑ３を結ぶ直線の長さをｈとし、さらに、チャート基準点ｑ１とｑ２を結ぶ直線のカメラ画像水平ラインに対する傾きをφとする。

さらに、図１５Ｃに示す長方形は、長さｈの辺と長さｗの辺によって構成される長方形であり、この長方形を基準長方形とする。

また、図１６で示されるように、回転補正量θ（初期値として例えばθ＝−０．１５［ｒａｄ］）だけ、上で求めた基準長方形（図１５Ｃ）を回転させる。これは、図１７で示されるように、原点（０，０）に長方形の重心をおき（−ｗ／２，ｈ／２），（ｗ／２，ｈ／２），（−ｗ／２，−ｈ／２），（ｗ／２，−ｈ／２）を頂点とする長方形をφ＋θだけ回転させればよい。

次に、パラメタ算出部１０６は、図１８で示されるように撮像部２１−１，２１−２のそれぞれで撮像された画像から検出したボックスチャートの基準点ｐ０乃至ｐ３を結んでできる２つの四角形のそれぞれの重心を求め、さらにそれらの中点を求め（ｃｘ，ｃｙ）とする。この（ｃｘ，ｃｙ）が重心となるように、上で求めた基準長方形（重心が原点）を平行移動する（図１９参照）。

この変換処理は、式で表すと、アフィン変換により（φ＋θ）だけ回転させた後、（ｃｘ，ｃｙ）だけ平行移動する処理に相当するので、最終的な基準長方形の座標（Ｘ，Ｙ）は、次の式（２１）に示すように表される。

上記式（２１）において、（ｘ，ｙ）に、重心を原点とする基準長方形の頂点の座標（−ｗ／２，ｈ／２），（ｗ／２，ｈ／２），（−ｗ／２，−ｈ／２），（ｗ／２，−ｈ／２）・・・を代入することにより、図１９で示されるような基準長方形の頂点を示す絶対座標（Ｘ０，Ｙ０），（Ｘ１，Ｙ１），（Ｘ２，Ｙ２），（Ｘ３，Ｙ３）が求まる。

最後に、図２０で示されるように、パラメタ算出部１０６は、図中左部で示される左補正画像の基準長方形の頂点座標（Ｘｌｅｆｔ０，Ｙｌｅｆｔ０）乃至（Ｘｌｅｆｔ３，Ｙｌｅｆｔ３）、および、図中右部で示される右補正画像の基準長方形の頂点座標（Ｘｒｉｇｈｔ０，Ｙｒｉｇｈｔ０）乃至（Ｘｒｉｇｈｔ３，Ｙｒｉｇｈｔ３）を求める。

これは、左右の補正画像間において、無限遠方の対象物の視差が無くなる（水平方向の座標が一致する）ように、基準長方形を水平方向へ平行移動すればよい。すなわち、ステレオカメラ１１からチャートパタン１３までの距離に対応した左右の視差ｄｃｈａｒｔの分だけ基準長方形を水平方向に平行移動すればよい。以下に具体的な手順を示す。

すなわち、視差ｄｃｈａｒｔは、実空間でのチャートの長方形パタンの水平方向の長さ（チャート基準点ｐ０とｐ１間、または、チャート基準点ｐ２とｐ３間の距離）Ｗｃｈａｒｔと左右カメラの基線長Ｗｂａｓｅｌｉｎｅが既知とすると、撮像部２１−１，２１−２により撮像された画像から取得した長方形パタンの水平方向の長さｗを用いて、次の式（２２）に従って算出することができる。

従って、左右の視差を考慮した基準長方形の座標（（Ｘｌｅｆｔ０，Ｙｌｅｆｔ０）乃至（Ｘｌｅｆｔ３，Ｙｌｅｆｔ３），（Ｘｒｉｇｈｔ０，Ｙｒｉｇｈｔ０）乃至（Ｘｒｉｇｈｔ３，Ｙｒｉｇｈｔ３）は、前で求めた座標（Ｘ，Ｙ）を、左画像、右画像それぞれ均等になるように、上で求めた視差だけ平行移動し、次の式（２３），式（２４）のように示すことができる。

なお、（Ｘｌｅｆｔ，Ｙｌｅｆｔ）は、（Ｘｌｅｆｔ０，Ｙｌｅｆｔ０）乃至（Ｘｌｅｆｔ３，Ｙｌｅｆｔ３）、（Ｘｒｉｇｈｔ，Ｙｒｉｇｈｔ）は、（Ｘｒｉｇｈｔ０，Ｙｒｉｇｈｔ０）乃至（Ｘｒｉｇｈｔ３，Ｙｒｉｇｈｔ３）を示すものとする。

以上を整理すると、左側の撮像部２１により撮像された画像の補正画像における基準長方形の座標（Ｘｌｅｆｔ，Ｙｌｅｆｔ）は、次の式（２５）のように示すことができる。

また、右側の撮像部２１により撮像された画像の補正画像における基準長方形の座標（Ｘｒｉｇｈｔ，Ｙｒｉｇｈｔ）は、次の式（２６）のように示すことができる。

従って、（ｘ，ｙ）に、重心を原点とする基準長方形の頂点の４座標：（−ｗ／２，ｈ／２），（ｗ／２，ｈ／２），（−ｗ／２，−ｈ／２），（ｗ／２，−ｈ／２）を代入することで、左右それぞれの補正画像における基準長方形の頂点４座標：左は（Ｘｌｅｆｔ，Ｙｌｅｆｔ），右は（Ｘｒｉｇｈｔ，Ｙｒｉｇｈｔ）が求まる。

以上のようにして求めた補正画像上の座標（Ｘｌｅｆｔ，Ｙｌｅｆｔ），（Ｘｒｉｇｈｔ，Ｙｒｉｇｈｔ）と、撮像部２１−１，２１−２により撮像された画像からの特徴点検出座標（Ｘｌｅｆｔ，Ｙｌｅｆｔ），（Ｘｒｉｇｈｔ，Ｙｒｉｇｈｔ）との関係を、図２１に示すような斜影変換で表現すると、次の式（２７），式（２８）のようになる。

ここで、（Ｘ，Ｙ）は斜影変換後の補正画像の座標であり、（ｘ，ｙ）は斜影変換前の撮像部２１−１，２１−２により撮像された画像の座標、変数ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈは補正パラメタである。

上記の式（２７），式（２８）は、斜影変換前の座標（ｘ，ｙ）と斜影変換後の座標（Ｘ，Ｙ）をそれぞれ（ｘｎ，ｙｎ），（Ｘｎ，Ｙｎ）（ｎは０から３）とし、補正パラメタＰ＝（ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ）とおくと、下記式（２９）のように変形することができる。

上記式（２９）の（ｘｎ，ｙｎ）へ撮像部２１−１，２１−２のそれぞれで撮像された画像上４点のチャート基準点ｐ０乃至ｐ３の座標を代入し、（Ｘｎ，Ｙｎ）へ式（２５），式（２６）で求めた補正画像における基準長方形の頂点座標（Ｘｌｅｆｔ，Ｙｌｅｆｔ），（Ｘｒｉｇｈｔ，Ｙｒｉｇｈｔ）を代入することによって、左画像用と右画像用の補正パラメタＰを、それぞれ連立方程式の解として求めることができる。以下、上記で求めた撮像部２１−１，２１−２により撮像された左画像用、右画像用の補正パラメタ（Ｐ）は、それぞれ、Ｐｌｅｆｔ，Ｐｒｉｇｈｔとする。

パラメタ算出部１０６は、以上のようにして補正パラメタを算出すると共に、算出した補正パラメタをステレオカメラ１１のパラメタ記憶部６１に記憶させる。

以上の処理により、ポール４１を検出し、検出したポール４１に基づいてチャートパタン１３とステレオカメラ１１との傾きを検出したうえで、キャリブレーションを実行し、キャリブレーションにより、補正パラメタを算出するようにしたので、限られた狭い空間においても適切なキャリブレーションを実現することが可能となる。

＜デプス検出処理＞
次に、図２２のフローチャートを参照して、デプス検出処理について説明する。

ステップＳ５１において、ステレオカメラ１１は、撮像部２１−１，２１−２を利用して、左右の画像を撮像して、デプス検出部１４に供給する。デプス検出部１４の画像取得部１２１は、ステレオカメラ１１より供給されてきた左右の画像を取得して、補正部１２３に供給する。

ステップＳ５２において、パラメタ取得部１２２は、ステレオカメラ１１のパラメタ記憶部６１にアクセスし、記憶されている補正パラメタを読み出して取得し、補正部１２３に供給する。

ステップＳ５３において、補正部１２３は、取得した左右の画像を、補正パラメタにより補正して、補正した画像をステレオマッチング部１２４に供給する。

より詳細には、補正部１２３は、撮像部２１−１，２１−２により撮像された左右の入力画像に対して、補正パラメタＰｌｅｆｔ，Ｐｒｉｇｈｔを用いて、図２１で示すような変換処理を行う。

具体的には、補正部１２３は、補正画像の座標（Ｘ，Ｙ）に対応する撮像部２１−１，２１−２により撮像された左右の入力画像の座標（ｘ，ｙ）を、式（２７），式（２８）を用いて求め、補正画像の各画素値を撮像部２１−１，２１−２により撮像された左右の入力画像へマッピングしていく。なお、マッピングにあたっては、エイリアシングを抑制するためバイリニア法などにより画素補完を行うものとする。

ステップＳ５４において、ステレオマッチング部１２４は、補正された左右の画像に基づいて、ステレオマッチング処理を実行して、画素単位での距離を求め、画素単位での距離に基づいた画素値からなるデプス画像（ディスパリティ画像）を生成して出力する。

以上の処理により、ポールを含めたチャートパタンを用いたキャリブレーション処理により求められた補正パラメタを利用して、デプス検出処理を実現することが可能となるため、限られた狭い空間でも、容易で、かつ、高精度に、ステレオカメラ１１の撮像部２１−１，２１−２の撮像方向を補正することが可能となるので、高精度のデプス画像（ディスパリティ画像）を取得することが可能となる。

尚、以上においては、デプス検出部１４によりデプス検出処理を行うことを目的として補正パラメタが求められる例について説明してきたが、その他の画像の撮像を目的としたステレオカメラに対する補正パラメタを求めるようにしても良い。また、以上においては、２の撮像部２１−２，２１−２を用いた例における補正パラメタを求める例について説明してきたが、それ以上の個数の撮像部を利用する際に使用する補正パラメタを求めるようにしてもよい。

以上によれば、複数の撮像部からなるステレオカメラにおける撮像部の撮像方向を、限られた空間でも適切に補正することが可能となり、ステレオカメラを利用した撮像を高精度に実現することが可能となる。

ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図２３は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

尚、本技術は、以下のような構成も取ることができる。
（１） ステレオカメラを構成し、ポールを含むチャートパタンを撮像する複数の撮像部と、
前記複数の撮像部により撮像されたチャートパタンに含まれるパタン、および前記ポールに基づいて、前記複数の撮像部のずれを補正する補正パラメタを算出する補正パラメタ算出部と
を含む画像処理装置。
（２） 前記ポールは、その先端部に円盤部を設け、前記先端部の側面外形がＴ字型のものを含む
（１）に記載の画像処理装置。
（３） 前記複数の撮像部により撮像されたチャートパタンに含まれる前記ポールを検出するポール検出部と、
前記ポール検出部により検出されたポールに基づいて、前記チャートパタンの傾きを検出する傾き検出部と、
前記複数の撮像部により撮像されたチャートパタンに含まれるパタンに基づいて、特徴点を検出する検出部と、
前記傾き検出部により検出された傾きに基づいて、前記検出部により検出された特徴点の配置を補正する特徴点補正部とをさらに含み、
前記補正パラメタ算出部は、前記特徴点補正部により配置が補正された特徴点の情報に基づいて、前記複数の撮像部のずれを補正する補正パラメタを算出する
（１）に記載の画像処理装置。
（４） 前記チャートパタンは、ボックスチャート、および格子点チャートを含む
（１）に記載の画像処理装置。
（５） ステレオカメラを構成する複数の撮像部が、ポールを含むチャートパタンを撮像する撮像処理をし、
前記複数の撮像部により撮像されたチャートパタンに含まれるパタン、および前記ポールに基づいて、前記複数の撮像部のずれを補正する補正パラメタを算出する補正パラメタ算出処理をする
ステップを含む画像処理方法。
（６） ステレオカメラを構成する複数の撮像部が、ポールを含むチャートパタンを撮像する撮像ステップと、
前記複数の撮像部により撮像されたチャートパタンに含まれるパタン、および前記ポールに基づいて、前記複数の撮像部のずれを補正する補正パラメタを算出する補正パラメタ算出ステップと
を含む画像処理装置を制御するコンピュータに実行させるためのプログラム。
（７） 複数の撮像部を含む画像処理装置と、前記撮像部の撮像方向をキャリブレーションするためのチャートパタンとからなる画像処理システムにおいて、
前記チャートパタンは、
前記複数の撮像部に対して対向する位置に設けられ、特徴点となるパタンと、ポールとを含み、
前記画像処理装置は、
前記複数の撮像部が、ステレオカメラを構成すると共に、前記チャートパタンを撮像し、
前記複数の撮像部により撮像されたチャートパタンに含まれるパタン、および前記ポールに基づいて、前記複数の撮像部のずれを補正する補正パラメタを算出する補正パラメタ算出部を含む
画像処理システム。

１１ ステレオカメラ， １２ キャリブレーション部， １３ チャートパタン部， １４ デプス検出部， ２１、２１−１，２１−２ 撮像部， ４１，４１−１，４１−２ ポール， ４１ａ，４１ａ−１，４１ａ−２ 円盤部， ４１ｂ，４１ｂ−１，４１ｂ−２ 支柱， ６１ パラメタ記憶部， １０１ 画像取得部， １０２ ポール検出部， １０３ 傾き検出部， １０４ 特徴点検出部， １０５ 特徴点補正部， １０６ パラメタ算出部， １２１ 画像取得部， １２２ パラメタ取得部， １２３ 補正部， １２４ ステレオマッチング部

Claims (7)

1. ステレオカメラを構成し、ポールを含むチャートパタンを撮像する複数の撮像部と、
   前記複数の撮像部により撮像されたチャートパタンに含まれるパタン、および前記ポールに基づいて、前記複数の撮像部のずれを補正する補正パラメタを算出する補正パラメタ算出部と
   を含む画像処理装置。
2. 前記ポールは、その先端部に円盤部を設け、前記先端部の側面外形がＴ字型のものを含む
   請求項１に記載の画像処理装置。
3. 前記複数の撮像部により撮像されたチャートパタンに含まれる前記ポールを検出するポール検出部と、
   前記ポール検出部により検出されたポールに基づいて、前記チャートパタンの傾きを検出する傾き検出部と、
   前記複数の撮像部により撮像されたチャートパタンに含まれるパタンに基づいて、特徴点を検出する検出部と、
   前記傾き検出部により検出された傾きに基づいて、前記検出部により検出された特徴点の配置を補正する特徴点補正部とをさらに含み、
   前記補正パラメタ算出部は、前記特徴点補正部により配置が補正された特徴点の情報に基づいて、前記複数の撮像部のずれを補正する補正パラメタを算出する
   請求項１に記載の画像処理装置。
4. 前記チャートパタンは、ボックスチャート、および格子点チャートを含む
   請求項１に記載の画像処理装置。
5. ステレオカメラを構成する複数の撮像部が、ポールを含むチャートパタンを撮像する撮像処理をし、
   前記複数の撮像部により撮像されたチャートパタンに含まれるパタン、および前記ポールに基づいて、前記複数の撮像部のずれを補正する補正パラメタを算出する補正パラメタ算出処理をする
   ステップを含む画像処理方法。
6. ステレオカメラを構成する複数の撮像部が、ポールを含むチャートパタンを撮像する撮像ステップと、
   前記複数の撮像部により撮像されたチャートパタンに含まれるパタン、および前記ポールに基づいて、前記複数の撮像部のずれを補正する補正パラメタを算出する補正パラメタ算出ステップと
   を含む画像処理装置を制御するコンピュータに実行させるためのプログラム。
7. 複数の撮像部を含む画像処理装置と、前記撮像部の撮像方向をキャリブレーションするためのチャートパタンとからなる画像処理システムにおいて、
   前記チャートパタンは、
   前記複数の撮像部に対して対向する位置に設けられ、特徴点となるパタンと、ポールとを含み、
   前記画像処理装置は、
   前記複数の撮像部が、ステレオカメラを構成すると共に、前記チャートパタンを撮像し、
   前記複数の撮像部により撮像されたチャートパタンに含まれるパタン、および前記ポールに基づいて、前記複数の撮像部のずれを補正する補正パラメタを算出する補正パラメタ算出部を含む
   画像処理システム。

Images