JP2006214735A - 複合ステレオビジョン装置 - Google Patents

Abstract

【目的】測定前のキャリブレーション作業を不要とし、測定作業の大幅な簡素化と測定精度の向上を可能とした複合ステレオビジョン装置を提供する。
【解決手段】第１のカメラ１１と第２のカメラ１２の撮影画像に基づいて被写体の三次元位置情報を第１の座標系により演算する第１のステレオビジョン制御部２と、第３のカメラ１３と第４のカメラ１４の撮影画像に基づいて被写体の三次元位置情報を第２の座標系により演算する第２のステレオビジョン制御部３と、第１〜４のレンズの相対位置関係を固定するために一体的に形成されたレンズ固定部材と、第１〜４の撮像素子の相対位置関係が固定されている撮像基板と、第１および第２の座標系による位置情報を、統一座標系の位置情報に変換して出力する出力部５と、第１および第２の座標系の位置情報を統一座標系の位置情報に変換するためのパラメータを永続的に記憶する不揮発性の記憶手段４とを有する。
【選択図】図４

Description

この発明は、ステレオビジョンのためのステレオカメラを複数組備えた複合ステレオビジョン装置に関し、詳しくは、各ステレオカメラの焦点距離や感度等の撮影特性がステレオカメラごとに異なっており、それらの各ステレオカメラの出力を統一的に高精度に出力することのできる複合ステレオビジョン装置に関するものである。

被写体の三次元位置を測定する技術としては、従来からステレオビジョンが使用されている。ステレオビジョンとは、視点の異なる二つのカメラの撮影画像を解析することにより、被写体の三次元位置情報を演算するものである。特に、二つのカメラの内部パラメータ（カメラ自体のパラメータ：レンズの焦点距離、撮像素子の画素ピッチ、撮像素子の中心座標等）が同一であり、レンズの光軸が平行で画像面が同一平面上に配置され、画像座標の一方の座標軸が同一直線上で同じ向きに配置されているものは、平行ステレオとして広く利用されている。

平行ステレオでは、カメラ間の距離（光軸間の距離）を基線長として、被写体の三次元位置情報を、二つのカメラの撮影画像の視差（カメラの視点の相違による画像座標の差分）と基線長から容易に演算することができる。本明細書においては、ステレオビジョンとは、基本的にこの平行ステレオを指すものとする。

このようなステレオビジョンの技術としては、例えば、後述の特許文献１に記載されたものがある。特許文献１には、キャリブレーションを行うことにより、汎用のカメラをステレオビジョン用のカメラ（ステレオカメラ）として利用することのできるステレオ画像用処理装置が記載されている。

ステレオビジョンにおいては、二つのカメラ（ステレオカメラ）に共通して写っている被写体に限って、その三次元位置を演算することができる。また、ある程度以上遠方の被写体では視差が小さくなりすぎて、測定される位置の誤差が大きくなる。このため、十分な精度で位置を測定できる被写体は、カメラからの距離が測定限界距離より近い被写体に限定される。

一方、カメラは、そのレンズの焦点距離によって、撮影画像の視野の広さが異なる。そして、被写体の位置を測定できる領域範囲も、レンズの焦点距離に応じて決まる。レンズの焦点距離が短いほど、撮影画像の視野は広くなるが、遠方の被写体の視差が小さくなるため、測定限界距離は小さくなる。逆に、レンズの焦点距離が長くなると、撮影画像の視野は狭くなるが、遠方の被写体でも視差が拡大されるため、測定限界距離は大きくなる。

図１は、ステレオカメラによって被写体の位置を測定可能な領域を示す図である。ステレオカメラを構成する二つのカメラをカメラＣ１，Ｃ２とし、各カメラＣ１，Ｃ２によって被写体の位置を測定可能な領域をそれぞれ領域Ｗ１，Ｗ２とすると、領域Ｗ１と領域Ｗ２との共通領域Ｗ０が被写体の位置を測定可能な領域となる。領域Ｗ１，Ｗ２は細実線で示されており、共通領域Ｗ０は太実線で示されている。これらの領域Ｗ１と領域Ｗ２は、広角レンズ等のようにレンズの焦点距離が短い場合を示している。

望遠レンズ等のようにレンズの焦点距離が長くなると、二つのカメラＣ１，Ｃ２によって被写体の位置を測定可能な領域はそれぞれ領域Ｔ１，Ｔ２となり、領域Ｔ１と領域Ｔ２との共通領域Ｔ０が被写体の位置を測定可能な領域となる。領域Ｔ１，Ｔ２は細点線で示されており、共通領域Ｔ０は太点線で示されている。このように、ステレオビジョンでの測定可能領域は、レンズの焦点距離によって異なっているため、測定対象までの距離に応じた適切なレンズ焦点距離のカメラを使用する必要がある。

図２は、複数組のステレオカメラを組み合わせ、それぞれのステレオカメラのレンズの焦点距離を異なるものとして、被写体の三次元位置の測定可能領域を拡大するようにしたものである。レンズの焦点距離が短いステレオカメラＳ１によって測定可能な領域を領域Ｗ０とし、レンズの焦点距離が長いステレオカメラＳ２によって測定可能な領域を領域Ｔ０とする。領域Ｗ０は太実線で示されており、領域Ｔ０は太点線で示されている。

領域Ｗ０での測定結果と領域Ｔ０での測定結果とを合成することにより、十分な測定精度が得られる測定領域が拡大されるのである。なお、両方のステレオカメラＳ１，Ｓ２のいずれでも測定可能な領域では、いずれかのステレオカメラの測定結果を優先したり、誤差を推測して誤差の少ない方の測定結果を選択するなどの方法により測定結果を出力する。

複数組のステレオカメラから得られた情報を合成し、最終的に被写体の三次元位置情報を出力するためには、予め結果を表現するための統一した座標系（本明細書では統一座標系と呼ぶ）を決定しておく必要がある。各ステレオビジョンから得られた三次元位置情報をその統一座標系に変換してから、それぞれの位置情報を合成する。

このために、実際の測定を実施する前に、各ステレオカメラの位置関係を正確に測定し、各ステレオカメラの測定座標系から統一座標系への変換パラメータ（本明細書では座標変換パラメータと呼ぶ）を決定しなければならない。すなわち、測定作業は、この座標変換パラメータを決定するキャリブレーション作業と、被写体の三次元位置測定作業の二段階として行う必要がある。

また、個々のカメラによって被写体を撮影した画像情報が適切なものとなるためには、被写体の明るさ（照度）も許容範囲内にある必要がある。被写体が許容範囲を超えて暗くなると、濃淡差があっても同じ黒としてしか撮影されない。同様に、被写体が許容範囲を超えて明るくなると、濃淡差があっても同じ白としてしか撮影できない。言い換えれば、被写体を適切な画像情報として撮影するためには、カメラの感度および撮影可能な照度範囲が被写体照度をカバーしている必要がある。

この性質のため、特定の感度のカメラを使った単一のステレオビジョンだけでは、周囲の明るさが特定の範囲内にある場合しか測定ができない。この測定可能な範囲をダイナミックレンジと呼ぶ。例えば、昼と夜とでは極端に周囲の明るさが異なるために、ひとつのステレオビジョンで、両方の場合の測定を行うことは困難である。このような課題に対しては、レンズの集光量を調節する絞り機構などによりカメラの感度を調整することが考えられるが、そのための機構が複雑になる上に、自動調整を行うにはさらに複雑な調整機構が必要になるなどの問題もある。

図３は、例えば、ダイナミックレンジの異なる複数組のステレオカメラＳ１，Ｓ２をほぼ測定可能領域が重なるように設置し、システム全体のダイナミックレンジを拡大するようにしたものである。ステレオカメラＳ１での測定可能領域を領域Ａ１とし、ステレオカメラＳ２での測定可能領域を領域Ａ２とする。領域Ａ１は太実線で示されており、領域Ａ２は太点線で示されている。図示のように、領域Ａ１と領域Ａ２がほぼ重なるようにステレオカメラＳ１，Ｓ２が配置されている。領域Ａ１と領域Ａ２が重なった共通の領域Ａ０がシステム全体の測定可能領域となる。領域Ａ０はハッチングが付与された部分により示されている。

また、ステレオカメラＳ１とステレオカメラＳ２は、それぞれのダイナミックレンジが異なるものとする。周囲の明るさに応じて、適切なダイナミックレンジを有するステレオカメラを選んで測定を行う。２組のステレオカメラよりもさらに広いダイナミックレンジに対応するためには、３組以上のダイナミックレンジの異なるステレオカメラを併用すればよい。

このように周囲の状況に応じて複数のステレオビジョンを切り替えて一連の測定を実施するためには、図２のシステムと同様に、予め出力情報を表す統一座標系を決定し、各ステレオビジョンの測定結果を統一座標系に変換するための座標変換パラメータを測定しておく必要がある。すなわち、この場合もやはり、測定作業は、この座標変換パラメータを決定するキャリブレーション作業と、被写体の三次元位置測定作業の二段階として行わなければならない。

さらに、被写体を異なる波長感度特性のステレオカメラによって同時に観測し、両者から得られる位置情報を総合することで、より多様かつ高精度な測定を行うことができる。例えば、特定の波長の光を選択的に反射するマーカを被写体の注目位置に貼り付け、その波長の光に対して選択的に高感度（例えば、フィルター等を使用する）なステレオカメラによってマーカの位置だけを正確に測定する。そして、他の全波長感度のステレオカメラによって通常の測定を行い、両者の測定結果を総合することにより、被写体の注目箇所（関節部分等の重要箇所）の動きを特に正確に測定するような方法が考えられる。

このような方法においても、複数のステレオビジョンの測定座標系は一般的に一致せず、予め出力情報を表す統一座標系を決定し、各ステレオビジョンの測定結果を統一座標系に変換するための座標変換パラメータを測定しておく必要がある。この場合もやはり、測定作業は、この座標変換パラメータを決定するキャリブレーション作業と、被写体の三次元位置測定作業の二段階として行わなければならない。
特開２００３−２４２４８５号公報

図２、図３に示すような、特性の異なる複数のステレオビジョンを組み合わせた複合ステレオビジョンシステムでは、測定可能な領域を拡大したり、測定のダイナミックレンジを拡大したり、多様かつ高精度な測定を行ったりすることができる。これらのシステムまたは方法においては、被写体の三次元位置の測定結果に大きな影響を与えるため、前述の座標変換パラメータを正確に決定する必要がある。

このために、座標変換パラメータの決定作業（キャリブレーション）を行うときには、いずれのカメラでも鮮明かつ正確に撮影できるキャリブレーション専用の測定対象物を被写体として使用したり、測定に最適な条件の環境を用意してキャリブレーションを行う必要があった。すなわち、実際に被写体の三次元位置測定を行う作業に比べても、キャリブレーション作業には多くの時間、労力およびコストが必要であり、これが問題点となっていた。

また、キャリブレーション後に各ステレオカメラの配置が変化してしまうと測定精度に多大の悪影響を与えるため、キャリブレーション作業は実際の測定作業の直前に行う必要がある。すなわち、キャリブレーション作業は、複合ステレオビジョンシステムの利用者が測定作業の直前（可能であれば毎回）に行う必要があり、測定作業全体が複雑で困難なものになってしまい、測定精度の悪化の原因となったり、複合ステレオビジョンシステム利用の障害となっていた。

そこで、本発明は、座標変換パラメータを決定するためのキャリブレーション作業を利用者が実施せずに済み、測定作業を全体として大幅に簡素化することができるとともに測定精度を向上させることができる複合ステレオビジョン装置を提供することを目的とする。

上記目的を達成するために、本発明の複合ステレオビジョン装置は、第１のレンズと第１の撮像素子とを備えた第１のカメラと、第２のレンズと第２の撮像素子とを備えた第２のカメラと、前記第１のカメラおよび前記第２のカメラの撮影画像に基づいて被写体の三次元位置情報を第１の座標系により演算する第１のステレオビジョン制御部と、第３のレンズと第３の撮像素子とを備えた第３のカメラと、第４のレンズと第４の撮像素子とを備えた第４のカメラと、前記第３のカメラおよび前記第４のカメラの撮影画像に基づいて被写体の三次元位置情報を第２の座標系により演算する第２のステレオビジョン制御部と、前記第１〜４のレンズを保持する保持部を備え、当該各レンズの相対位置関係を固定するために一体的に形成されたレンズ固定部材と、前記第１〜４の撮像素子が固定され、当該各撮像素子の相対位置関係が固定されている撮像基板と、前記第１の座標系による位置情報および前記第２の座標系による位置情報を、統一して出力するための座標系である統一座標系の位置情報に変換して出力する出力部と、前記第１の座標系および前記第２の座標系の位置情報を前記統一座標系の位置情報に変換するためのパラメータを永続的に記憶する不揮発性の記憶手段とを有するものである。

また、上記の複合ステレオビジョン装置において、前記第１のカメラと前記第２のカメラは撮影特性が実質的に同一であり、前記第３のカメラと前記第４のカメラは撮影特性が実質的に同一であり、前記第１のカメラと前記第３のカメラとは撮影特性が異なるものであることが好ましい。

また、上記の複合ステレオビジョン装置において、前記第１のカメラと前記第３のカメラとはレンズの焦点距離を互いに異なるものとすることができる。

また、上記の複合ステレオビジョン装置において、前記第１のカメラと前記第３のカメラとは撮影可能照度の範囲を互いに異なるものとすることができる。

また、上記の複合ステレオビジョン装置において、前記第１のカメラと前記第３のカメラとは波長感度特性を互いに異なるものとすることができる。

また、上記の複合ステレオビジョン装置において、前記第１〜４のカメラによる被写体の撮影画像を解析することにより、前記第１の座標系および前記第２の座標系の位置情報を前記統一座標系の位置情報に変換するためのパラメータを決定するキャリブレーション装置を接続するためのキャリブレーション用接続端子を有し、前記記憶手段は、前記キャリブレーション装置が決定した前記パラメータを前記キャリブレーション装置側から記憶させることが可能なものであることが好ましい。

また、上記の複合ステレオビジョン装置において、照明用の光源を有することが好ましい。

また、上記の複合ステレオビジョン装置において、前記光源は、所定のパターンを被写体に投射するものであることが好ましい。

また、上記の複合ステレオビジョン装置において、前記第１のカメラおよび前記第２のカメラの配置方向と、前記第３のカメラおよび前記第４のカメラの配置方向とは直交しており、前記第１〜４の撮像素子は、対角線方向がカメラの配置方向と一致するように配置されていることが好ましい。

本発明は、以上のように構成されているので、以下のような効果を奏する。

少なくとも２組のステレオカメラを備えた複合ステレオビジョン装置において、第１〜４のレンズが一体形成されたレンズ固定部材によって相対位置を固定され、第１〜４の撮像素子も一体的に撮像基板に固定されているので、各カメラの相対位置関係を極めて高精度に一定に保つことができ、測定精度を大幅に向上させることができる。それに加えて、各ステレオビジョンの座標系の位置情報を統一座標系の位置情報に変換するためのパラメータを永続的に記憶する不揮発性の記憶手段を備えているので、複合ステレオビジョン装置の製造時に高精度のキャリブレーション作業を行って、座標変換パラメータを記憶手段に書き込んでおけば、その座標変換パラメータを永続的に使用することができる。利用者は、測定直前にキャリブレーション作業を行う必要がなくなり、実際の測定作業のみを行えばよいため、測定作業を全体として大幅に簡素化することができる。また、高精度のキャリブレーション作業を製造時に行うことができ、座標変換パラメータの精度も向上するので、結果として測定精度を向上させることができる。

ステレオカメラのそれぞれの撮影特性を異なるものとしたので、単一のステレオカメラでは得ることのできない、多様かつ高精度の測定結果を得ることができる。例えば、測定可能領域を拡大したり、撮影可能な照度範囲を拡大したり、異なる波長光による測定結果を同時に得たりすることができる。このような、撮影特性の異なるステレオカメラを複合した複合ステレオビジョン装置では、キャリブレーション作業が特に複雑で困難なものとなるが、本発明によれば製造時に高精度のキャリブレーション作業を行って装置自体に記憶させておくことができるため、測定作業の簡素化と高精度化の効果が極めて大きくなる。

２組のステレオカメラのレンズの焦点距離を互いに異なるものとした場合は、単一のステレオカメラでは得ることのできない広範囲の測定可能領域の三次元位置測定を行うことができる。

２組のステレオカメラの撮影可能照度の範囲を互いに異なるものとした場合は、周囲の明るさに応じて、適切な撮影可能照度の範囲（ダイナミックレンジ）を有するステレオカメラを選んで測定を行うことにより、測定可能な照度範囲を拡大することができる。また、撮影可能照度範囲が互いに異なる３組以上のステレオカメラを使用することにより、測定可能な照度範囲をさらに拡大することができる。

２組のステレオカメラの波長感度特性を互いに異なるものとした場合は、異なる波長光による測定結果を同時に得ることができ、多様な三次元位置測定を行うことができる。

キャリブレーション装置を接続するためのキャリブレーション用接続端子を備え、キャリブレーション装置側から記憶手段にパラメータを記憶させることができるので、製造時にキャリブレーションによって決定したパラメータを容易に装置本体内に記憶させることができる。また、何らかの原因で座標変換パラメータが消失したり、実際の座標系との差異を生じた場合でも、再度キャリブレーション作業を行って正確な座標変換パラメータを書き込むことができる。

照明用の光源を有するので、複合ステレオビジョン装置をさらに容易に使用することができるようになる。

照明用の光源を、所定のパターンを被写体に投射するものとしたので、ステレオカメラの両画像のステレオ対応点の探索が容易になるとともに、対応点の位置精度が向上するため、高精度の測定が可能となる。

２組のステレオカメラを直交する方向に配置し、第１〜４の撮像素子の対角線方向がステレオカメラの配置方向と一致するように配置したので、それぞれのステレオカメラの測定可能領域を無駄なく効率的に利用して測定を行うことができる。

本発明の実施の形態について図面を参照して説明する。図４は、本発明の複合ステレオビジョン装置１の全体構成を示すブロック図である。複合ステレオビジョン装置１には、ステレオカメラを構成する、カメラ１１とカメラ１２の組と、カメラ１３とカメラ１４の組とが設けられている。必要に応じて、さらに多くのカメラの組（ステレオカメラ）が設けられていてもよい。

第１のステレオカメラを構成するカメラ１１，１２は、レンズの焦点距離、感度特性等の撮影特性（撮影特性には前述の内部パラメータも含まれる）が実質的に同一のカメラである。カメラ１１，１２は、レンズの光軸が平行で画像面が同一平面上に配置され、さらに画像座標の一方の座標軸が同一直線上で同じ向きに配置されていて、平行ステレオを構成するものである。これにより、カメラ１１，１２間の距離（光軸間の距離）を基線長として、被写体の三次元位置情報を、二つのカメラの撮影画像の視差（カメラの視点の相違による画像座標の差分）と基線長から容易に演算することができる。

また、第２のステレオカメラを構成するカメラ１３，１４も、撮影特性が実質的に同一であり、平行ステレオを構成している。そして、第１のステレオカメラと第２のステレオカメラとは、撮影特性が互いに異なる。例えば、レンズの焦点距離を異なるものとして、カメラ１１，１２では焦点距離の短いレンズ、カメラ１３，１４では焦点距離の長いレンズを使用しているものとする。また、全てのカメラ１１〜１４は、相対位置関係が変化しないように、レンズが一体的に固定されており、撮像素子も一体的に固定されている。これらの固定構造に関しては、後に詳しく説明する。

カメラ１１，１２が撮影した撮影画像はステレオビジョン制御部２に送られ、ステレオビジョン制御部２では、二つのカメラの撮影画像の視差に基づいて被写体の三次元位置情報を演算し出力する。同様に、カメラ１３，１４が撮影した撮影画像はステレオビジョン制御部３に送られ、ステレオビジョン制御部３では、二つのカメラの撮影画像の視差に基づいて被写体の三次元位置情報を演算し出力する。

ステレオビジョン制御部２には、ステレオビジョンの演算を行うために必要な演算回路が含まれており、その演算に必要なパラメータが記憶されている。すなわち、カメラ１１，１２の内部パラメータや、カメラ１１，１２間の基線長，三次元位置情報の座標系に関するパラメータ等が記憶されている。ステレオビジョン制御部３も同様である。カメラ１１，１２の位置とカメラ１３，１４の位置とは物理的に異ならざるを得ないため、ステレオビジョン制御部２が取り扱う座標系とステレオビジョン制御部３が取り扱う座標系も異なるものとなっている。

ステレオビジョン制御部２，３が出力する三次元位置情報を合成・総合するために統一的に取り扱うには、両者の三次元位置情報を統一して表現するための統一座標系を決めておき、ステレオビジョン制御部２，３が出力する三次元位置情報を統一座標系に変換する必要がある。出力部５は、ステレオビジョン制御部２，３の出力に対してこのような座標変換を行い、統一座標系の三次元位置情報に変換する。そして、それらの三次元位置情報を適宜合成し、合成した結果を出力端子６を介して外部に出力する。

なお、座標変換に必要なパラメータは座標変換パラメータ記憶部４に記憶されている。座標変換パラメータ記憶部４は、電気的に書き換え可能なＲＯＭ等の不揮発性のメモリで構成されており、複合ステレオビジョン装置１がどこにも接続されず電源供給が全くない状態でも、永続的に座標変換パラメータを記憶し続ける。すなわち、再度書き換えを行わない限り、座標変換パラメータが消えてしまうことはない。

統一座標系における三次元位置を表すベクトルをＸとし、ステレオビジョン制御部２の座標系における三次元位置を表すベクトルをｘとすると、座標回転を表す行列Ａと両座標系の原点間の変位量を表すベクトルｂとを用いて、式「Ｘ＝Ａｘ＋ｂ」により統一座標系への座標変換を行うことができる。すなわち、行列Ａとベクトルｂの各要素が座標変換パラメータとなる。ステレオビジョン制御部３の座標系に関しても同様に座標変換を行うことができる。これらの座標変換パラメータは、予めキャリブレーションにより決定され、座標変換パラメータ記憶部４に記憶されている。

また、統一座標系として、ステレオビジョン制御部２，３の座標系のいずれかを選択することもできる。例えば、ステレオビジョン制御部２の座標系を統一座標系とすることができる。その場合は、ステレオビジョン制御部３が出力する三次元位置情報のみを統一座標系に変換すればよい。

座標変換パラメータを決定するためのキャリブレーション作業は、複合ステレオビジョン装置１の製造時に行われ、座標変換パラメータが座標変換パラメータ記憶部４に書き込まれて、複合ステレオビジョン装置１が出荷される。このため、複合ステレオビジョン装置１の利用者は、自分自身で測定直前にキャリブレーション作業を行う必要がなく、迅速に測定作業自体を開始することができる。また、キャリブレーション作業を製造時に行うため、高精度のキャリブレーションが可能であり、座標変換パラメータを正確に決定できる。これにより複合ステレオビジョン装置１の測定精度も向上する。

製造時に行うキャリブレーション作業は、複合ステレオビジョン装置１にキャリブレーション装置９を接続して行う。複合ステレオビジョン装置１には接続端子７が設置されており、接続端子７を介してキャリブレーション装置９を接続することができる。そして、複合ステレオビジョン装置１によって位置が既知の被写体やキャリブレーション用パターンの撮影を行い、ステレオビジョン制御部２，３の演算結果や出力画像の解析を行うことにより、座標変換パラメータを決定する。決定された座標変換パラメータは、キャリブレーション装置９から座標変換パラメータ記憶部４に書き込まれる。

なお、ここでは接続端子７を出力端子６と別に設置しているが、接続端子７と出力端子６とを共通の端子としてもよい。また、これらの端子としては共通規格（例えば、ＵＳＢ、ＩＥＥＥ１３９４等）の端子を使用することが汎用性の点では好ましい。また、複合ステレオビジョン装置１が二つのステレオカメラとステレオビジョン制御部を含むものとして説明したが、三つ以上のステレオカメラとステレオビジョン制御部を含むものとすることもできる。

図５は、カメラ１１〜１４のレンズと撮像素子の固定状態を示す図である。カメラ１１〜１４のレンズ２１〜２４は、レンズ固定部材２０によってそれぞれの相対位置関係が変化しないように、最高度の位置決め精度で固定されている。レンズ固定部材２０は、アルミニウム等の金属ブロックで一体的に形成されており、高剛性で極めて変形が少ない。レンズ固定部材２０の前面側には、ステレオカメラに設定された基線長の間隔となるように、レンズ保持部が形成されており、そのレンズ保持部内にレンズ２１〜２４が密着保持されている。

ここでは、カメラ１１，１２の焦点距離の短いレンズ２１，２２が外側のレンズ保持部に保持されており、カメラ１３，１４の焦点距離の長いレンズ２３，２４が内側のレンズ保持部に保持されている。すなわち、図２のシステムと同様のカメラ配置となっている。このように、２組のステレオカメラのレンズの焦点距離を互いに異なるものとした場合は、単一のステレオカメラでは得ることのできない広範囲の測定可能領域の三次元位置測定を行うことができる。なお、この配置では、カメラ１１，１２からなるステレオカメラと、カメラ１３，１４からなるステレオカメラとで基線長が異なるものとなる。

また、撮像素子３１〜３４が固定された撮像基板３０も一体的な１枚の基板として作成されている。この撮像基板３０に撮像素子３１〜３４が固定配置されているため、各撮像素子３１〜３４間の相対位置関係も変化することがない。なお、レンズ２１と撮像素子３１がカメラ１１を構成し、レンズ２２と撮像素子３２がカメラ１２を構成し、レンズ２３と撮像素子３３がカメラ１３を構成し、レンズ２４と撮像素子３４がカメラ１４を構成するものである。

カメラ１１，１２の撮像素子３１，３２が撮像基板３０の外側に配置され、カメラ１３，１４の撮像素子３３，３４が内側に配置されている。また、各撮像素子３１〜３４間の間隔は各レンズ２１〜２４間の間隔と同じになるように配置されている。なお、撮像基板３０には、撮像素子３１〜３４以外にも、図４に示すような複合ステレオビジョン装置１に必要な各種回路や端子が設置されている。

図６は、複合ステレオビジョン装置１の分解図である。この図はレンズ固定部材２０および撮像基板３０を図５の左側面から見た図である。図示のように、レンズ２１〜２４を保持したレンズ固定部材２０と撮像基板３０を、本体上部８１と本体下部８２によって所定の位置関係に固定することにより、複合ステレオビジョン装置１が組み立てられる。レンズ固定部材２０と撮像基板３０とは、互いに高精度の位置関係を保つように固定されており、カメラ１１〜１４の相対位置関係が変化することはない。

図７は、カメラ１１〜１４の他の配置例を示す図である。カメラ１１のレンズ２１〜カメラ１４のレンズ２４を図示のようにレンズ固定部材２０に配置する。この配置では、カメラ１１，１２からなる第１のステレオカメラと、カメラ１３，１４からなる第２のステレオカメラの基線長を同一にすることができる。第１のステレオカメラと第２のステレオカメラとは、レンズの焦点距離以外の撮影特性が異なるものである。

例えば、第１のステレオカメラでは通常の可視光による測定を行い、第２のステレオカメラでは赤外光による測定を行うものとする。一般的には、両者のステレオカメラの波長感度特性を異なるものとしたり、撮影可能照度の範囲（ダイナミックレンジまたは感度）を異なるものとしたり、シャッター速度を異なるものとしたりすることが考えられる。

撮影可能照度の範囲を互いに異なるものとした場合は、周囲の明るさに応じて、適切な撮影可能照度範囲を有するステレオカメラを選んで測定を行うことにより、測定可能な照度範囲を拡大することができる。また、撮影可能照度範囲が互いに異なる３組以上のステレオカメラを使用することにより、測定可能な照度範囲をさらに拡大することができる。

また、この複合ステレオビジョン装置には、照明用の光源が一体的に設けられている。光源８３は通常の可視光用のものであり、光源８４は赤外光用のものである。このように、複合ステレオビジョン装置に照明用の光源を一体的に組み込むことにより、複合ステレオビジョン装置をさらに容易に使用することができるようになる。

さらに、光源８３，８４は均一に光を投射するものでも良いが、測定に適する所定のパターンを被写体に投射するものでも良い。所定のパターンとは、ランダムなパターンや格子状のパターン等があげられる。このようなパターンを被写体に投射することにより、ステレオカメラの両画像のステレオ対応点の探索が容易になるとともに、対応点の位置精度が向上するため、高精度の測定が可能となる。特に明暗差の少ない被写体に有効である。

図８は、カメラ１１〜１４の他の配置例を示す図である。この例では、正面形状が円形のレンズ固定部材２０ａにカメラ１１〜１４を配置する。レンズ固定部材２０ａの円形中心に対して対称にカメラ１１，１２のレンズ２１，２２を配置し、同様にカメラ１３，１４のレンズ２３，２４を配置する。カメラ１１，１２の配置方向とカメラ１３，１４の配置方向とは直交している。この配置でも、カメラ１１，１２からなる第１のステレオカメラと、カメラ１３，１４からなる第２のステレオカメラの基線長を同一にすることができる。

第１のステレオカメラと第２のステレオカメラとは、レンズの焦点距離以外の撮影特性が異なるものである。例えば、第１のステレオカメラでは通常の可視光による測定を行い、第２のステレオカメラでは赤外光による測定を行うものとする。もちろん、その他の撮影特性が異なるものであってもよい。

この複合ステレオビジョン装置にも、照明用の光源が一体的に設けられている。光源８５は通常の可視光用のものであり、光源８６は赤外光用のものである。光源８５，８６を円形中心に対して同心円上に設けたので、各カメラに対して照明光が同じ条件で作用し、測定精度が向上する。このように、複合ステレオビジョン装置に照明用の光源を一体的に組み込むことにより、複合ステレオビジョン装置をさらに容易に使用することができるようになる。

この配置では、各カメラ１１〜１４の撮像素子３１〜３４が、図示のように、一方の対角線方向が円形の半径方向と一致するように配置されている。言い換えれば、撮像素子３１〜３４の対角線方向は、カメラ１１，１２の配置方向およびカメラ１３，１４の配置方向と一致するように配置されている。撮像素子３１〜３４をこのように配置することにより、撮影可能領域を無駄なく効率的に利用することができる。次に、その理由を図９を参照して説明する。

図９は、図８のカメラ配置における測定可能領域を示すための図である。図９（ａ）はカメラ１１，１２による測定可能領域を示し、図９（ｂ）はカメラ１３，１４による測定可能領域を示す。カメラ１１による測定可能領域を領域Ｂ１とする。領域Ｂ１は、正確にはＢ１を底面としカメラ１１の位置を頂点とする四角錐であるが、ここでは簡単のために底面のみを示す。また、カメラ１２による測定可能領域を領域Ｂ２とする。領域Ｂ１と領域Ｂ２の共通領域Ｂ１２（ハッチング部）がカメラ１１，１２による測定可能領域となる。

次に、図９（ｂ）に示すように、カメラ１３による測定可能領域を領域Ｂ３とし、カメラ１４による測定可能領域を領域Ｂ４とすれば、領域Ｂ３と領域Ｂ４の共通領域Ｂ３４（ハッチング部）がカメラ１３，１４による測定可能領域となる。共通領域Ｂ１２と共通領域Ｂ３４は、やはり四角錐形状となり、これらは全く同じ形状で位置も同一となっている。

したがって、第１のステレオカメラ（カメラ１１，１２）と第２のステレオカメラ（カメラ１３，１４）の共通の測定可能領域もこの領域Ｂ１２（＝領域Ｂ３４）となる。すなわち、図８の配置では、それぞれのステレオカメラの測定可能領域を無駄なく効率的に利用することができる。

以上に説明したように、本発明の複合ステレオビジョン装置は、カメラ１１〜１４のレンズ２１〜２４が一体的に形成されたレンズ固定部材２０に高精度に位置決め保持されているとともに、撮像素子３１〜３４が一体的な１枚の撮像基板３０に固定されているので、各カメラ１１〜１４の相対位置関係が極めて高精度に一定に保たれている。したがって、複合ステレオビジョン装置の製造時にキャリブレーション作業を行って、座標変換パラメータを座標変換パラメータ記憶部４に書き込んでおけば、その座標変換パラメータを永続的に使用することができる。

もし、何らかの原因で座標変換パラメータが消失したり、実際の座標系との差異を生じた場合には、複合ステレオビジョン装置を修理に出し、再度キャリブレーション作業を行って正確な座標変換パラメータを書き込んでもらえばよい。

したがって、複合ステレオビジョン装置の利用者は、測定直前にキャリブレーション作業を行う必要がなく、実際の測定作業のみを行えばよい。本発明の複合ステレオビジョン装置により、測定作業を全体として大幅に簡素化することができるとともに測定精度を向上させることができる。

なお、以上の実施の形態では、複合ステレオビジョン装置の複数のステレオカメラの撮影特性（レンズの焦点距離、波長感度特性、撮影可能照度の範囲等）が互いに異なるものとしているが、必ずしも撮影特性が異なるものでなくてもよい。撮影特性が異なるステレオカメラの方が、測定可能領域やダイナミックレンジの拡大等の顕著な効果が得られ望ましいが、同じ撮影特性の複数のステレオカメラを使用してもそれらの撮影画像を総合、合成等することにより測定精度を向上させる等の効果が得られる。また、複合ステレオビジョン装置に使用するステレオカメラの数も２組に限らず、３組以上使用するようにしてもよい。

本発明の複合ステレオビジョン装置によれば、測定作業を全体として大幅に簡素化することができるとともに測定精度を向上させることができる。

ステレオカメラによって被写体の位置を測定可能な領域を示す図である。 複数組のステレオカメラを組み合わせたシステムを示す図である。 ダイナミックレンジ等の異なる複数組のステレオカメラを組み合わせたシステムを示す図である。 本発明の複合ステレオビジョン装置１の全体構成を示す図である。 レンズ固定部材２０および撮像基板３０の構成を示す図である。 本発明の複合ステレオビジョン装置１の分解図である。 カメラ１１〜１４の他の配置例を示す図である。 カメラ１１〜１４の他の配置例を示す図である。 図８のカメラ配置における測定可能領域を示すための図である。

符号の説明

１ 複合ステレオビジョン装置
２，３ ステレオビジョン制御部
４ 座標変換パラメータ記憶部
５ 出力部
６ 出力端子
７ 接続端子
９ キャリブレーション装置
１１，１２，１３，１４ カメラ
２０，２０ａ レンズ固定部材
２１，２３，２２，２４ レンズ
３０ 撮像基板
３１，３２，３３，３４ 撮像素子
８１ 本体上部
８２ 本体下部
８３，８４，８５，８６ 光源
Ｃ１，Ｃ２ カメラ
Ｓ１，Ｓ２ ステレオカメラ

Claims (9)

1. 第１のレンズ（２１）と第１の撮像素子（３１）とを備えた第１のカメラ（１１）と、
   第２のレンズ（２２）と第２の撮像素子（３２）とを備えた第２のカメラ（１２）と、
   前記第１のカメラ（１１）および前記第２のカメラ（１２）の撮影画像に基づいて被写体の三次元位置情報を第１の座標系により演算する第１のステレオビジョン制御部（２）と、
   第３のレンズ（２３）と第３の撮像素子（３３）とを備えた第３のカメラ（１３）と、
   第４のレンズ（２４）と第４の撮像素子（３４）とを備えた第４のカメラ（１４）と、
   前記第３のカメラ（１３）および前記第４のカメラ（１４）の撮影画像に基づいて被写体の三次元位置情報を第２の座標系により演算する第２のステレオビジョン制御部（３）と、
   前記第１〜４のレンズ（２１〜２４）を保持する保持部を備え、当該各レンズの相対位置関係を固定するために一体的に形成されたレンズ固定部材（２０）と、
   前記第１〜４の撮像素子（３１〜３４）が固定され、当該各撮像素子の相対位置関係が固定されている撮像基板（３０）と、
   前記第１の座標系による位置情報および前記第２の座標系による位置情報を、統一して出力するための座標系である統一座標系の位置情報に変換して出力する出力部（５）と、
   前記第１の座標系および前記第２の座標系の位置情報を前記統一座標系の位置情報に変換するためのパラメータを永続的に記憶する不揮発性の記憶手段（４）とを有する複合ステレオビジョン装置。
2. 請求項１に記載した複合ステレオビジョン装置であって、
   前記第１のカメラ（１１）と前記第２のカメラ（１２）は撮影特性が実質的に同一であり、
   前記第３のカメラ（１３）と前記第４のカメラ（１４）は撮影特性が実質的に同一であり、
   前記第１のカメラ（１１）と前記第３のカメラ（１３）とは撮影特性が異なるものである複合ステレオビジョン装置。
3. 請求項２に記載した複合ステレオビジョン装置であって、
   前記第１のカメラ（１１）と前記第３のカメラ（１３）とはレンズの焦点距離が互いに異なるものである複合ステレオビジョン装置。
4. 請求項２に記載した複合ステレオビジョン装置であって、
   前記第１のカメラ（１１）と前記第３のカメラ（１３）とは撮影可能照度の範囲が互いに異なるものである複合ステレオビジョン装置。
5. 請求項２に記載した複合ステレオビジョン装置であって、
   前記第１のカメラ（１１）と前記第３のカメラ（１３）とは波長感度特性が互いに異なるものである複合ステレオビジョン装置。
6. 請求項１〜５のいずれか１項に記載した複合ステレオビジョン装置であって、
   前記第１〜４のカメラ（１１〜１４）による被写体の撮影画像を解析することにより、前記第１の座標系および前記第２の座標系の位置情報を前記統一座標系の位置情報に変換するためのパラメータを決定するキャリブレーション装置（９）を接続するためのキャリブレーション用接続端子（７）を有し、
   前記記憶手段（４）は、前記キャリブレーション装置（９）が決定した前記パラメータを前記キャリブレーション装置（９）側から記憶させることが可能なものである複合ステレオビジョン装置。
7. 請求項１〜６のいずれか１項に記載した複合ステレオビジョン装置であって、
   照明用の光源（８３，８４）を有する複合ステレオビジョン装置。
8. 請求項７に記載した複合ステレオビジョン装置であって、
   前記光源（８３，８４）は、所定のパターンを被写体に投射するものである複合ステレオビジョン装置。
9. 請求項１〜８のいずれか１項に記載した複合ステレオビジョン装置であって、
   前記第１のカメラ（１１）および前記第２のカメラ（１２）の配置方向と、前記第３のカメラ（１３）および前記第４のカメラ（１４）の配置方向とは直交しており、
   前記第１〜４の撮像素子（３１〜３４）は、対角線方向がカメラの配置方向と一致するように配置されている複合ステレオビジョン装置。

Images