JP2009109322A - カメラ、カメラアレイ及びカメラアレイシステム - Google Patents

Abstract

【課題】ホストＰＣ（コンピュータ）の処理負荷を軽減すると共に、伝送されるカメラ映像の伝送量を低減することができ、また、被写体の正確な３次元情報を取得することができるカメラ、カメラアレイ及びカメラアレイシステムを提供する。
【解決手段】カメラ５は、被写体の３次元情報を取得するカメラアレイシステムＳで用いられ、撮像した当該被写体の画像データに含まれる幾何歪みの補正をするための補正指令をコンピュータ３から通信手段１５を介して受信し、当該補正指令に基づいて補正をした後の補正後画像データを、前記通信手段１５を介して伝送するものであって、撮像手段７と、キャリブレーション処理手段９と、領域抽出手段１１と、を備える。
【選択図】図１

Description

本発明は、被写体を撮像した画像データのキャリブレーションをし、当該被写体の３次元情報を取得するカメラ、カメラアレイ及びカメラアレイシステムに関する。

従来、複数のカメラによって被写体を撮像する際に、同期したカメラ映像（画像データ）のキャリブレーション（校正、較正）を行う方法として、例えば、非特許文献１や特許文献１が開示されている。これらの方法は、各カメラで撮像したカメラ映像をホストＰＣに伝送した後、このホストＰＣにてキャリブレーションを行うものである（以下、従来技術１という）。

また、カメラ映像のキャリブレーションを行うものとして、ＣＰＵに接続された複数のカメラにおいて、被写体を撮像したカメラ内部でキャリブレーションを行うものが特許文献２に開示されている。この特許文献２で開示されているものは、複数のカメラで撮像したカメラ映像による被写体（製品）の不良品判定を目的としたものである（以下、従来技術２という）。
特開２００１−５２１７７号公報 特開平８−１０５７１３号公報 王ほか、"実時間自由視点画像合成のためのカメラアレイシステムの構築とキャリブレーション手法の検討"、３次元画像コンファレンス２００７、ｐｐ．９７−１００

しかしながら、従来技術１では、ホストＰＣにおいて、キャリブレーションを行う処理が集中してしまうので処理負荷が増加するという問題がある。また、従来技術１では、ホストＰＣの処理負荷が増加するばかりでなく、カメラ映像のキャリブレーションが終了した後、カメラ映像の中で不要な部分が破棄されるにも拘わらず、この破棄される不要な部分を、各カメラからホストＰＣに伝送する必要があり、カメラとホストＰＣとの間の伝送容量が増加するという問題がある。

また、従来技術２では、カメラ内部にキャリブレーションを行う機構が設けられているものの、各カメラからキャリブレーションされたカメラ映像が出力されていないため、被写体の３次元情報を取得することができないという問題がある。また、従来技術２では、カメラの配置を変更した場合、再度キャリブレーションを行って、実際の較正値であるキャリブレーションデータを変更する必要があるものの、この場合にＣＰＵから各カメラに対し、動的にキャリブレーションデータを更新する仕組みが存在していないという問題がある。さらに、従来技術２では、各カメラから出力されるカメラ映像同士の同期が保証されておらず、例えば、被写体が移動している場合、各カメラから出力されるカメラ映像にブレが生じ、ある時刻における正確な被写体の３次元情報を取得することができないという問題がある。

そこで、本発明では、前記した問題を解決し、ホストＰＣ（コンピュータ）の処理負荷を軽減すると共に、伝送されるカメラ映像の伝送量を低減することができ、また、被写体の正確な３次元情報を取得することができるカメラ、カメラアレイ及びカメラアレイシステムを提供することを目的とする。

前記課題を解決するため、請求項１に記載のカメラは、被写体の３次元情報を取得するカメラアレイシステムで用いられ、撮像した当該被写体の画像データに含まれる幾何歪みの補正をするための補正指令をコンピュータから通信手段を介して受信し、当該補正指令に基づいて補正をした後の補正後画像データを、前記通信手段を介して伝送するカメラであって、撮像手段と、キャリブレーション処理手段と、領域抽出手段と、を備え、前記補正指令は、当該カメラを含む複数のカメラから伝送された前記未補正画像データそれぞれの基準マーカが予め設定された基準位置に整列するように求められた前記画像データの座標を変換するキャリブレーションデータを含むことを特徴とする。

かかる構成によれば、カメラは、撮像手段によって、予め設定した基準マーカを撮像し、幾何歪みが未補正の未補正画像データとする。続いて、カメラは、この撮像手段で撮像した未補正画像データを、通信手段でコンピュータに伝送すると共に、通信手段で受信した補正指令に基づいて、撮像手段で撮像した被写体の画像データの座標を変換することで、当該画像データに含まれる幾何歪みの補正を行って補正後画像データとする。そして、カメラは、領域抽出手段によって、コンピュータで補正後画像データの座標が指定された抽出領域を、通信手段を介して受信し、キャリブレーション処理手段で補正された補正後画像データから、当該抽出領域を抽出した補正後画像データを、通信手段を介してコンピュータに伝送する。なお、補正後画像データを伝送するコンピュータは、補正指令を伝送したコンピュータ及び当該補正後画像データを受信する一又は複数の受信用コンピュータの少なくとも一方であればよい。

また、請求項２に記載のカメラは、請求項１に記載のカメラにおいて、前記通信手段は、前記コンピュータから伝送された基準信号を受信し、同期制御処理手段を備えることを特徴とする。

かかる構成によれば、カメラは、通信手段で受信した基準信号に基づいて、同期制御処理手段によって、被写体の画像データを、他のカメラで撮像される被写体の画像データと同期させる。

請求項３に記載のカメラアレイは、請求項１又は２に記載のカメラを複数、同一平面上に配置したことを特徴とする。
かかる構成によれば、カメラアレイは、同一平面上に配置された複数のカメラにおいて、被写体を撮像した画像データに対し、キャリブレーション処理を行って、予め指定された抽出領域を抽出した、複数の抽出後の補正後画像データを、コンピュータに出力する。

請求項４に記載のカメラアレイシステムは、請求項３に記載のカメラアレイと、このカメラアレイから伝送された被写体の画像データ及び当該画像データの幾何歪みが補正された後、当該被写体の３次元情報を取得する際に必要となる予め指定された領域が抽出された補正後画像データが伝送されるコンピュータと、を備えるカメラアレイシステムであって、前記コンピュータが、キャリブレーションデータ算出手段と、抽出領域指定手段と、３次元情報取得手段と、を備える構成とした。

かかる構成によれば、カメラアレイシステムのコンピュータは、キャリブレーションデータ算出手段によって、複数のカメラから伝送された未補正画像データそれぞれの基準マーカが予め設定した基準位置に整列するように、画像データの座標を変換するキャリブレーションデータを算出する。また、コンピュータは、抽出領域指定手段によって、キャリブレーションデータ算出手段で算出したキャリブレーションデータと、カメラがカメラアレイに配置された位置とに基づいて、被写体の３次元情報を取得する際に必要となる抽出領域を指定する。そして、コンピュータは、３次元情報取得手段によって、カメラで抽出された補正後画像データと、カメラがカメラアレイに配置された位置とに基づいて、被写体の３次元情報を取得する。

請求項５に記載のカメラアレイシステムは、請求項３に記載のカメラアレイと、このカメラアレイから伝送された被写体の画像データが伝送される第１コンピュータと、前記画像データの幾何歪みが補正された後、当該被写体の３次元情報を取得する際に必要となる予め指定された領域が抽出された補正後画像データが伝送される第２コンピュータと、を備えるカメラアレイシステムであって、前記第１コンピュータが、キャリブレーションデータ算出手段と、抽出領域指定手段と、を備え、前記第２コンピュータが、３次元情報取得手段を備えることを特徴とする。

かかる構成によれば、カメラアレイシステムの第１コンピュータは、キャリブレーションデータ算出手段によって、複数のカメラから伝送された未補正画像データそれぞれの基準マーカが予め設定した基準位置に整列するように、画像データの座標を変換するキャリブレーションデータを算出する。また、第１コンピュータは、抽出領域指定手段によって、キャリブレーションデータ算出手段で算出したキャリブレーションデータと、カメラがカメラアレイに配置された位置とに基づいて、被写体の３次元情報を取得する際に必要となる抽出領域を指定する。そして、第２コンピュータは、３次元情報取得手段によって、カメラで抽出された補正後画像データと、カメラがカメラアレイに配置された位置とに基づいて、被写体の３次元情報を取得する。

請求項６に記載のカメラアレイシステムは、請求項４又は５に記載のカメラアレイシステムにおいて、基準信号出力手段を備えることを特徴とする。
かかる構成によれば、カメラアレイシステムは、基準信号出力手段によって、抽出された補正後画像データ同士を、同期させる基準となる基準信号を出力する。

請求項１、３に記載の発明によれば、キャリブレーション処理がなされ、補正後画像データから抽出された領域が伝送されるので、コンピュータの処理負荷を軽減することができると共に、伝送量を低減することができる。

請求項２、６に記載の発明によれば、被写体の画像データ同士が同期されるので、被写体の正確な３次元情報を取得することができる。

請求項４、５に記載の発明によれば、コンピュータの処理負荷を軽減することができると共に、伝送量を低減することができ、被写体の３次元情報を取得することができる。

次に、本発明の実施形態について、適宜、図面を参照しながら詳細に説明する。
（カメラアレイシステムの構成）
図１はカメラアレイシステムのブロック図である。この図１に示すように、カメラアレイシステムＳは、任意形状の被写体を撮像して、当該被写体の３次元情報を取得するものであって、カメラアレイ１と、コンピュータ３と、コンピュータ４と、同期制御機６とを備えている。なお、被写体は、実際に存在するもの（実写）であり、この実施形態では、図１に示したように四角柱の上に円柱が接合した単体の静止物であるが、複数の静止物であってもよく、さらに、動物や人物等の動きのあるものであってもよい。

３次元情報は、被写体を様々な視点から見えるようにした任意視点映像を作成する際に用いる当該被写体の空間情報（水平方向、垂直方向、奥行方向の寸法）や色彩・輝度に関する情報である。

カメラアレイ１は、複数のカメラ５（５_１、５_２、・・・、５_ｎ）をアレイフレーム２に所定距離離して配置（固定）したものである。そして、複数のカメラ５（５_１、５_２、・・・、５_ｎ）とコンピュータ３とは、双方向通信が可能なカメラバスで接続されている。この実施形態では、カメラバスはＥｔｈｅｒｎｅｔ（登録商標）（１００Ｂａｓｅ−ＴＸ）上のＵＤＰ／ＩＰを使用している。なお、カメラバスはこれに限定されず、双方向通信可能な通信路であればよく、例えば、ＩＥＥＥ１３９４やＵＳＢ２．０等の他のカメラバスを使用してもよい。

アレイフレーム２は、堅牢な金属材料等で構成され、カメラ５が同一平面上でマトリクス状（縦横方向に並列）に配置されるように、当該カメラ５を固定している。この実施形態では、アレイフレーム２は、長方形状に形成されており、縦方向に３列、横方向に５行の合計１５台のカメラ５を固定している。

所定距離は、カメラ５同士の上下間（垂直方向）の距離又は左右間（水平方向）の距離であり、カメラ５の画角（正確には、後記する撮像手段７の画角）等によって決定されるものである。この実施形態では、所定距離を、垂直方向、水平方向ともに１２０ｍｍとしている。

カメラ５は、被写体を撮像した画像データに対し、キャリブレーション処理を行った後、当該画像データにおける領域を抽出してコンピュータ３に伝送するもので、撮像手段７と、キャリブレーション処理手段９と、領域抽出手段１１と、同期制御処理手段１３と、通信手段１５とを備えている。ちなみに、このカメラ５は、１台のカメラアレイ１に対し、複数備えられた撮像点という意味から、カメラノードと称している。なお、この実施形態では、キャリブレーション処理手段９と、領域抽出手段１１と、同期制御処理手段１３と、通信手段１５とＣＰＵとＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）とから構成している。

撮像手段７は、一般的なレンズ及びイメージセンサで構成されており、基準マーカ（マーカ）を撮像した画像データ（幾何歪みが未補正の画像データ、以下、未補正画像データという）と、被写体を撮像した画像データをキャリブレーション処理手段９に出力するものである。

この撮像手段７は、被写体の画像データを撮像した後、同期制御処理手段１３から出力されたイメージセンサ駆動クロック等の同期信号に基づいて、他のカメラ５で撮像した画像データと同期するようにして当該画像データを出力している。

基準マーカ（マーカ）は、コンピュータ３において、キャリブレーション（幾何歪みの校正）を行うために基準となるものであり、背景色と異なる色彩を有した点である。この基準マーカを撮像した画像データが、複数のカメラ５（５_１、５_２、・・・、５_ｎ）からコンピュータ３に伝送され、当該コンピュータ３において処理されることで、基準マーカが撮像されている当該画像データ上の座標がそれぞれ得られる。そして、コンピュータ３において、後記するように、変換行列が算出される。

なお、この基準マーカは被写体に付着させたシール（例えば、蛍光塗料が塗布された点状のもの）であってもよいし、被写体を配置する前に、背景となる壁にマーキングしたものであってもよい。また、この基準マーカは、撮像手段７で撮像される画像データにおいて少なくとも一点あればよい。ただし、複数のカメラ５間の回転、拡大縮小、平行移動を含む補正や、各カメラ５が持つレンズ等に起因する歪み等により、カメラ５単体による画像データの補正が必要となる場合には、撮像手段７で撮像される同一画像データ内に、予め位置が分かっている複数のマーカ（チェッカーボード、格子パターン等）が含まれる必要がある。

ここで、複数の基準マーカ（マーカ）の例を、図２、図３を参照して説明する。図２は、一般的な複数のマーカの例である格子パターン（白黒のパターン）を示している。また、図３は、この実施形態に用いた５点マーカの例を示している。図３に示したように、基準マーカは、中心点と、水平、垂直に直交する５点（中心点、当該中心点の左右（水平方向）に２点及び当該中心点の上下（垂直方向）に２点）からなっている。この実施形態では、中心点から上（下）の点までの距離は、１．０ｍであり、中心点から右の点までの距離は１．２ｍである。この５点の基準点により、撮像手段７で撮像される画像データについて、回転、拡大縮小、平行移動による補正が可能になる。

さらに、ここで、撮像手段７で撮像された画像データのＲＧＢカラーバランス（色調）のバラつきを補正する場合の基準マーカについて、図４を参照して説明する。図４に示したように、基準マーカはカラーチェッカー（登録商標）と呼ばれる異なる色のマーカを複数含むボードで与えられる。この図４では、ハッチングの違いによって色が異なることを示している。このマーカは、各色について、単なる点ではなく、所定形状（正方形）の面積を有しているものである。この場合、各基準マーカの色が、複数のカメラ５の撮像手段７で撮像された画像データで同じになるように変換する変換係数がコンピュータ３にて求められる。図１に戻る。

この撮像手段７は、まず、基準マーカを撮像した未補正画像データをキャリブレーション処理手段９に出力し、その後、被写体を撮像した画像データをキャリブレーション処理手段９に出力する。

この実施形態では、この撮像手段７に、画像データのサイズ（画素数）であるカメラ解像度が３５２×２８８画素（ＣＩＦ（Ｃｏｍｍｏｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ））のイメージセンサと、焦点距離が３．７ｍｍ単焦点であるレンズとを採用している。また、これらのレンズ及びイメージセンサのサイズに基づく画角（撮像手段７の画角）は、対角方向に約６７度である。

キャリブレーション処理手段９は、撮像手段７で、所定フレーム分（この実施形態では１フレーム）の基準マーカを撮像した未補正画像データを、通信手段１５を介してコンピュータ３に伝送すると共に、コンピュータ３で求められた画像データの座標を変換する変換係数（キャリブレーションデータ）を含む補正指令を、通信手段１５を介して受信し、受信した補正指令に含まれる変換係数に基づいて、画像データの座標を変換することで、画像データに含まれる幾何歪みの補正を行って補正後画像データを出力するものである。

変換係数は、ここではコンピュータ３で算出されて送られたＨｏｍｏｇｒａｐｈｙ行列（変換行列）である。このＨｏｍｏｇｒａｐｈｙ行列は、幾何歪みが未補正の画像データの座標（ｘ０，ｙ０）と、補正後の画像の座標（ｘ１，ｙ１）との対応付けを行ったものである。Ｈｏｍｏｇｒａｐｈｙ行列を含んだものを、次の数式（１）に示す。

このＨｏｍｏｇｒａｐｈｙ行列を構成するｈ_０〜ｈ_７（行列係数）の値は、幾何歪みの大きさによって増減し、カメラ５のそれぞれで通常異なった値となる。なお、Ｈｏｍｏｇｒａｐｈｙ行列は、３２ｂｉｔ浮動小数点型の８個の行列係数として、３２ｂｉｔ整数の読み出し座標２つと共に、コンピュータ３からカメラ５に伝送されている。

なお、変換係数は、カメラ５間の幾何歪み補正の場合は、Ｈｏｍｏｇｒａｐｈｙ行列やアフィン変換行列となる。そして、変換係数は、カメラ５間の幾何歪み補正以外の補正をする際、例えば、カメラ５間の輝度やＲＧＢカラーバランス（色調）のバラつきを補正する際には、画像データの画素値を別の画素値に変換する関数で与えられてもよく、さらに、単体のカメラ５それぞれにおけるレンズの歪みを補正する際には、一般的な４次元関数（例えば、ａｘ^４＋ｂｘ^３＋ｃｘ^２＋ｄｘ＋ｅ＝０）を用いてもよい。

そして、このような変換係数（幾何歪み補正以外の補正をする際の変換係数）を受信したキャリブレーション処理手段９は、当該変換係数に基づいて、被写体の画像データを補正することとなる。この場合、補正後画像データは、幾何歪みが補正されただけではなく、輝度、ＲＧＢカラーバランス（色調）のバラつき及びレンズの歪みまでも補正されることとなる。この結果、コンピュータ３における処理負荷がいっそう軽減されることとなる。

補正指令は、コンピュータ３からカメラ５にそれぞれに伝送され、キャリブレーションデータを含むと共に、１フレームごとに、キャリブレーション処理手段９でキャリブレーションした後の画像データ（補正後画像データ）から、カメラ５がカメラアレイ１に配置された位置に基づき３次元情報を取得する際に必要となる、抽出する抽出領域を指定したものである。この領域のサイズは、この実施形態では、２５０×２５０の矩形領域であり、補正後画像データの座標で指定されたものである。なお、抽出される領域は、カメラ５がカメラアレイ１の中で配置されている位置によって異なる。例えば、カメラアレイ１の最上段の行に備えられているカメラ５の場合、コンピュータ３において、被写体の３次元情報を取得するために、上端部分（水平３５２画素×垂直３８画素）が不要となるため、この上端部分以外の部分の領域が指定される。

領域抽出手段１１は、キャリブレーション処理手段９から出力された補正後画像データの矩形領域（領域）を、補正指令に含まれる抽出領域に基づいて抽出するものである。
なお、矩形領域のサイズ（画素数）である読み出し解像度は２５０×２５０画素である。また、矩形領域の読み出し位置精度は、１画素（水平、垂直）である。

この領域抽出手段１１から抽出された抽出後の補正後画像データは、通信手段１５を介して、コンピュータ３に伝送される。なお、同期制御処理手段１３から撮像手段７に同期信号が出力されていない場合（基準信号を受信していない場合）、図１に示したように「同期されていない抽出後の補正後画像データ」としてコンピュータ３及びコンピュータ４の少なくとも一方に伝送されることになる。

同期制御処理手段１３は、コンピュータ３又は同期制御機６から伝送された基準信号に基づいて、撮像手段７で被写体を撮像した後、他のカメラ５で撮像した画像データと同期させる同期信号（イメージセンサ駆動クロック信号等）を生成して当該撮像手段７に出力するものである。この場合、通信手段１５からコンピュータ３及びコンピュータ４の少なくとも一方に伝送されるデータは、図１に示したように、「同期された抽出後の補正後画像データ」となる。

基準信号は、カメラアレイ１に固定されているすべてのカメラ５に伝送されており、撮像手段７で撮像される被写体の露光タイミングを同期させることで、全てのカメラ５から伝送される抽出後の補正後画像データが同期するようにする基準となるもので、撮像手段７で撮像された被写体の画像データの１フレームの開始タイミングを決定することになる。

通信手段１５は、カメラ５とコンピュータ３とを接続するカメラバスにより、コンピュータ３との間で様々なデータをやりとりするインターフェースである。なお、この通信手段１５による画像データ又は補正後画像データをコンピュータ３に伝送するフレームレートは、この実施形態では２５フレーム／秒である。
また、この通信手段１５は、カメラ５からコンピュータ４に対し、抽出後の補正後画像データを伝送するインターフェースである。

ここで、図５を参照して、この通信手段１５を介して、コンピュータ３からカメラ５に伝送されるデータのフォーマットと、カメラ５からコンピュータ３に伝送されるデータのフォーマットとを説明する。この図２において、「ｆｌｏａｔ」は３２ｂｉｔ浮動小数点型、「ｉｎｔ」は３２ｂｉｔ整数型、「ｃｈａｒ」は８ｂｉｔ文字型といったように、データのデータ型を示している。

コンピュータ３からカメラ５に伝送されるデータは、変換行列の係数と、読み出し矩形の座標とであり、４０Ｂｙｔｅ／ｆｒａｍｅで伝送されている。なお、コンピュータ３からカメラ５に伝送されるその他のデータには、基準信号があるが省略している。

また、カメラ５からコンピュータ３に伝送されるデータは、幾何歪み補正後の画像データ（補正後画像データ）であり、６２，５００Ｂｙｔｅ／ｆｒａｍｅで伝送されている。なお、カメラ５からコンピュータ３に伝送されるその他のデータには、未補正画像データがあるが省略している。

このように、カメラ５からコンピュータ３に伝送される補正後画像データと比較して、コンピュータ３からカメラ５に伝送されるデータは、十分に小さいので、カメラアレイシステムＳの実時間性を妨げない。つまり、カメラアレイシステムＳでは、カメラ５で撮像した被写体の３次元情報をリアルタイムに取得することが可能である。図１に戻る。

このカメラ５によれば、キャリブレーション処理手段９によって、撮像手段７で撮像された画像データについて、キャリブレーション処理がなされ、領域抽出手段１１によって、補正後画像データから抽出された抽出領域（抽出後の補正後画像データ）が通信手段１５を介して伝送されるので、コンピュータ３の処理負荷を軽減することができると共に、伝送量を低減することができる。

コンピュータ３は、一般的なパーソナルコンピュータ（ホストＰＣ）で構成されており、通信手段１７と、変換係数算出手段１９と、抽出領域指定手段２１と、基準信号出力手段２３と、３次元情報取得手段２５と、を備えている。なお、これら通信手段１７、変換係数算出手段１９、抽出領域指定手段２１、基準信号出力手段２３及び３次元情報取得手段２５は、ＰＣのハードウェアと協働するソフトウェアで実現でき、実際に、カメラ５単体又はカメラアレイ１として製品化する場合、当該ソフトウェアを記憶させた、付属のＣＤ−ＲＯＭ等として提供することができる。また、このコンピュータ３は、未補正画像データ、抽出後の補正後画像データを記憶する記憶手段（図示せず）を備えている。

通信手段１７は、カメラ５とコンピュータ３とを接続するカメラバスにより、カメラ５との間で様々なデータをやりとりするインターフェースである。なお、この通信手段１７からカメラ５それぞれに対し、補正指令（変換行列と抽出領域とを含む）が伝送される。

変換係数算出手段１９は、カメラアレイ１の複数のカメラ５から伝送された未補正画像データ（基準マーカを撮像した１フレーム分の画像データ）を、カメラ５が配置されている通りに並べ、基準マーカが予め設定した基準位置に整列するようにして、変換係数（キャリブレーションデータ）を算出するものである。

ここでは、基準マーカの座標を結んだ図形が所定形状の図形（ここでは、長方形）になるように、当該基準マーカの座標を移動させる画素数（例えば、水平方向に何画素、垂直方向に何画素）に基づいて、変換行列を算出している。

ここで、図６を参照して、この実施形態における変換行列（Ｈｏｍｏｇｒａｐｈｙ行列）の具体的な算出について説明する。この図６は、カメラアレイ１を側面から模式的に示した図である。この実施形態では、カメラアレイ１には、５×３眼カメラ（１５台のカメラ５）が配置されており、側面からみた場合を模式的に示しているので、ハッチングで示した３個の四角形を、３台のカメラ５として示している。また、ボード状のものに付着しているハッチングした円形が基準マーカを示しており、上下のマーカ間の距離は２ｍ（図３と同様である）である。

まず、カメラ５の撮像手段７がキャリブレーション用の５点マーカが撮像される。この場合のカメラ５と被写体間距離は約６．７ｍである。そして、５点マーカの範囲は、中心点から左右の水平方向に２．４ｍ、上下の垂直方向に２ｍ（水平方向に２．４ｍ、垂直方向に２ｍ）である。そして、コンピュータ３（ホストＰＣ）の変換係数算出手段１９でＨｏｍｏｇｒａｐｈｙ行列を算出する。

また、変換係数は、画像データの輝度やＲＧＢカラーバランス（色調）のバラつきを補正する際には、予め画素値を変換する関数を、また、レンズ歪みを補正する際には、前記した一般的な４次元関数（例えば、ａｘ^４＋ｂｘ^３＋ｃｘ^２＋ｄｘ＋ｅ＝０）を記憶しておくことで、この関数に基づいて、求めてもよい。なお、輝度やＲＧＢカラーバランス（色調）のバラつきを補正する際には、基準マーカ（前記したカラーチェッカー（登録商標））のみが撮像された画像データ、又は、基準マーカと被写体とが同時に撮像された画像データが必要になる。

抽出領域指定手段２１は、変換係数算出手段１９で算出された変換係数と、カメラ５がカメラアレイ１に配置されている位置とに基づいて、３次元情報を取得する際に必要となる抽出領域を指定するものである。コンピュータ３では、予めカメラ５それぞれが、カメラアレイ１のどの位置に配置されているのかが記憶されている。なお、抽出領域の指定は、補正後画像データの矩形領域の左上座標を指定することで行われ、ここでは、補正後画像データの中央部分（５０＜ｘ＜３０１、２０＜ｙ＜２７１）を指定している。

なお、抽出領域（補正後画像データの少なくとも１つの座標で指定された領域）は、補正指令に含まれていなくてもよく、当該抽出領域のみを単独で伝送してもよい。また、抽出領域のサイズは、この実施形態では、前記したように２５０×２５０画素である。

基準信号出力手段２３は、基準信号を生成して出力するものである。基準信号は、前記したように、補正後画像データを同期させるものであり、一般的なイメージセンサで構成されている撮像手段７の同期信号が通常は当該センサ固有の複数の速いクロックから構成されているのに対し、最低１系統の波形信号でよい。

３次元情報取得手段２５は、複数の補正後画像データと、カメラ５間の距離とに基づいて、被写体の奥行情報や３次元空間中の被写体の形状情報を取得するものである。例えば、隣接するカメラ５_１とカメラ５_２との距離と、これらのカメラ５_１，５_２から伝送された補正後画像データの画素のずれ量とから視差量を得ることができる。

ここで、図７を参照して、未補正画像データと、補正後画像データと、抽出後の補正後画像データとの例を示す。ここでは、被写体として、馬をカメラ５で撮像したもので、当該馬の中央に基準マーカ（マーカ）を貼り付けている。

図７（ａ）は、未補正画像データがコンピュータ３に伝送されたものを示しており、図７（ｂ）は、未補正画像データから変換係数算出手段１９で基準マーカの縦横が整列するようにして変換行列を求めた状態を示している。また、図７（ｃ）は、カメラ５それぞれから伝送された、抽出後の補正後画像データが接合されたものを示している。図１に戻る。

コンピュータ４は、一般的なパーソナルコンピュータ（データ受信用ＰＣ）であり、抽出後の補正後画像データを受信するものである。このコンピュータ４は、コンピュータ３における通信手段１７と３次元情報取得手段２５と記憶手段（図示せず）を少なくとも備えている。

同期制御機６は、基準信号を単独で出力するもので、コンピュータ３に備えられた基準信号出力手段２３と同等の機能を有している。

このように、カメラアレイシステムＳでは、カメラ５それぞれから未補正画像データがコンピュータ３に伝送された後、変換係数（ここでは変換行列）が求められ、この変換係数が各カメラ５に伝送される。そして、各カメラ５にて、キャリブレーション処理手段９でキャリブレーションがなされた後、抽出領域が抽出され、抽出後の補正後画像データが伝送される。そして、コンピュータ３の３次元情報取得手段２５にて、カメラ５それぞれから伝送された、抽出後の補正後画像データから、被写体の３次元情報が取得される。

このカメラアレイシステムＳによれば、コンピュータ３の処理負荷を軽減することができると共に、コンピュータ３とカメラ５との間で伝送されるデータの伝送量を低減することができ、キャリブレーション処理された補正後画像データから被写体の３次元情報を取得することができる。

（カメラアレイシステムの動作）
次に、図８に示したシーケンスチャートを参照して、カメラアレイシステムＳにおける動作を説明する。なお、このシーケンスチャートでは、１台のカメラ５しか示していないが、実際には複数のカメラ５からコンピュータ３に画像データが伝送されている。

まず、カメラ５は、撮像手段７でマーカ及び被写体を撮像する（ステップＡ１）。続いて、カメラ５は、キャリブレーション処理手段９、通信手段１５を介して、撮像手段７で撮像したマーカの画像データ（未補正画像データ）をコンピュータ３に伝送する（ステップＡ２）。

そして、コンピュータ３は、通信手段１７を介して、未補正画像データを受信し、変換係数算出手段１９によって、変換係数を算出し、通信手段１７を介してカメラ５に伝送する（ステップＢ１）。また、コンピュータ３は、抽出領域指定手段２１によって、補正後画像データから抽出領域を指定し、通信手段１７を介してカメラ５に伝送する（ステップＢ２）。さらに、コンピュータ３は、通信手段１７を介して、基準信号出力手段２３から出力した基準信号をカメラ５に伝送する（ステップＢ３）。

そうすると、カメラ５は、通信手段１５を介して、変換係数、抽出領域及び基準信号を受信し、同期制御処理手段１３によって、撮像手段７で撮像し（ステップＡ３）、同期させた被写体の画像データに対し、キャリブレーション処理手段９によって、キャリブレーション処理を施し（ステップＡ４）、領域抽出手段１１によって、領域を抽出する（ステップＡ５）。

そして、カメラ５は、通信手段１５を介して、同期された抽出後の補正後画像データをコンピュータ３に伝送する（ステップＡ６）。

そして、コンピュータ３は、通信手段１７を介して、各カメラ５から伝送された抽出後の補正後画像データを受信し、３次元情報取得手段２５によって、３次元情報を取得する（ステップＢ４）。
なお、このカメラアレイシステムＳの動作において、Ｂ２（抽出領域を指定、伝送）はＡ５（領域の抽出）の直前であってもよいし、基準信号もＡ３（被写体を撮像）の前であれば、いつでもよく、常時伝送されていてもよい。また、抽出後の補正後画像データを、コンピュータ３に伝送することとして説明したが、コンピュータ４に伝送してもよい。

（カメラ単体の動作について）
図９、図１０を参照して、カメラ５において、単体でキャリブレーション処理を行った場合について説明する。図９は、カメラ単体の歪みの補正を模式的に示したものであり、図９（ａ）がレンズ歪みがある場合、図９（ｂ）が補正後を示している。図１０（ａ）は、変換前の画像データを示しており、図１０（ｂ）は変換後の画像データを示している。

図９に示したように、カメラ５のレンズ歪みがある場合、魚眼レンズで被写体を撮像したように、中央部分ほど拡大された画像（図９（ａ））となり、補正後は各部分が拡大されることなく均一な画像（図９（ｂ））となる。

また、図１０（ｂ）に示した変換後の画像データは、変換前の画像データに次に示す数式（２）による計算によって求めたものである。この変換後の画像データには、図１０（ａ）に示した変換前の画像データに回転と縮小変換を施したものである。なお、変換前の画像データにおいて、画素が存在していない領域は輝度値０（黒）として出力される。

以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、カメラアレイ１におけるカメラ５の台数を１５台（横５台×縦３台）としたがこの台数に限定されず、任意の台数で構成してもよい。

本発明の実施形態に係るカメラアレイシステムのブロック図である。 一般的なマーカの例を示した図である。 ５点マーカの例を示した図である。 カラー補正に使用するマーカを示した図である。 カメラとコンピュータとの間で伝送されるデータを示した図である。 変換行列の具体的な算出について示した図である。 カメラアレイシステムでキャリブレーション処理された画像データの例を示した図である。 カメラアレイシステムの動作を説明するためのシーケンスチャートである。 カメラ単体の歪み補正を模式的に示した図である。 カメラ単体でキャリブレーション処理した画像データの例を示した図である。

符号の説明

１ カメラアレイ
３ コンピュータ
４ コンピュータ（第２コンピュータ）
５ カメラ
６ 同期制御機（基準信号出力手段）
７ 撮像手段
９ キャリブレーション処理手段
１１ 領域抽出手段
１３ 同期制御処理手段
１５、１７ 通信手段
１９ 変換行列算出手段
２１ 抽出領域指定手段
２３ 基準信号出力手段
２５ ３次元情報取得手段

Claims (6)

1. 被写体の３次元情報を取得するカメラアレイシステムで用いられ、撮像した当該被写体の画像データに含まれる幾何歪みの補正をするための補正指令をコンピュータから通信手段を介して受信し、当該補正指令に基づいて補正をした後の補正後画像データを、前記通信手段を介して伝送するカメラであって、
   前記被写体を撮像し、前記画像データとすると共に、予め設定した基準マーカを撮像し、幾何歪みが未補正の未補正画像データとする撮像手段と、
   この撮像手段で撮像した未補正画像データを、前記通信手段で前記コンピュータに伝送すると共に、前記通信手段で受信した前記補正指令に基づいて、前記画像データの座標を変換することで、当該画像データに含まれる幾何歪みの補正を行って補正後画像データとするキャリブレーション処理手段と、
   前記コンピュータで前記補正後画像データの座標が指定された抽出領域を、前記通信手段を介して受信し、前記キャリブレーション処理手段で補正された補正後画像データから、当該抽出領域を抽出した補正後画像データを、前記通信手段を介してコンピュータに伝送する領域抽出手段と、を備え、
   前記補正指令は、当該カメラを含む複数のカメラから伝送された前記未補正画像データそれぞれの基準マーカが予め設定された基準位置に整列するように求められた前記画像データの座標を変換するキャリブレーションデータを含むことを特徴とするカメラ。
2. 前記通信手段は、前記コンピュータから伝送された基準信号を受信し、
   この基準信号に基づいて、前記被写体の画像データを、他のカメラで撮像される被写体の画像データと同期させる同期制御処理手段を備えることを特徴とする請求項１に記載のカメラ。
3. 請求項１又は２に記載のカメラを複数、同一平面上に配置したことを特徴とするカメラアレイ。
4. 請求項３に記載のカメラアレイと、このカメラアレイから伝送された被写体の画像データ及び当該画像データの幾何歪みが補正された後、当該被写体の３次元情報を取得する際に必要となる予め指定された領域が抽出された補正後画像データが伝送されるコンピュータと、を備えるカメラアレイシステムであって、
   前記コンピュータは、
   複数のカメラから伝送された前記未補正画像データそれぞれの基準マーカが予め設定した基準位置に整列するように、前記画像データの座標を変換するキャリブレーションデータを算出するキャリブレーションデータ算出手段と、
   このキャリブレーションデータ算出手段で算出したキャリブレーションデータと、前記カメラが前記カメラアレイに配置された位置とに基づいて、前記被写体の３次元情報を取得する際に必要となる抽出領域を指定する抽出領域指定手段と、
   前記カメラで抽出された補正後画像データと、前記カメラが前記カメラアレイに配置された位置とに基づいて、前記被写体の３次元情報を取得する３次元情報取得手段と、
   を備えることを特徴とするカメラアレイシステム。
5. 請求項３に記載のカメラアレイと、このカメラアレイから伝送された被写体の画像データが伝送される第１コンピュータと、前記画像データの幾何歪みが補正された後、当該被写体の３次元情報を取得する際に必要となる予め指定された領域が抽出された補正後画像データが伝送される第２コンピュータと、を備えるカメラアレイシステムであって、
   前記第１コンピュータは、
   複数のカメラから伝送された前記未補正画像データそれぞれの基準マーカが予め設定した基準位置に整列するように、前記画像データの座標を変換するキャリブレーションデータを算出するキャリブレーションデータ算出手段と、
   このキャリブレーションデータ算出手段で算出したキャリブレーションデータと、前記カメラが前記カメラアレイに配置された位置とに基づいて、前記被写体の３次元情報を取得する際に必要となる抽出領域を指定する抽出領域指定手段と、を備え、
   前記第２コンピュータは、
   前記カメラで抽出された補正後画像データと、前記カメラが前記カメラアレイに配置された位置とに基づいて、前記被写体の３次元情報を取得する３次元情報取得手段を備えることを特徴とするカメラアレイシステム。
6. 前記抽出された補正後画像データ同士を、同期させる基準となる基準信号を出力する基準信号出力手段を備えることを特徴とする請求項４又は５に記載のカメラアレイシステム。
   
   

Images