JP4769079B2

JP4769079B2 - カメラ情報解析装置

Info

Publication number: JP4769079B2
Application number: JP2005361954A
Authority: JP
Inventors: 誠喜井上; 秀樹三ッ峰; 結子山内; 崇史深谷; 英彦大久保
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2005-12-15
Filing date: 2005-12-15
Publication date: 2011-09-07
Anticipated expiration: 2025-12-15
Also published as: JP2007163367A

Description

本発明は、所定の形状のマーカをカメラによって撮像して、当該カメラのカメラ情報を解析するカメラ情報解析装置に関する。

映像を撮像したカメラの移動や向きの変化に応じてＣＧ（Computer Graphics）を生成し、このＣＧを撮像された映像内に合成するためには、実空間を撮像したカメラの位置や姿勢と、ＣＧの映像を生成する際の仮想カメラの位置や姿勢とを一致させる必要がある。このカメラの位置や姿勢の情報（カメラ情報）を解析するために、従来、カメラや三脚に計測器を付加してカメラ情報を取得する方法が行われている。そして、このカメラ情報に基づいてＣＧの映像を生成し、実写の映像に合成することで、カメラの動きに合わせてＣＧの映像のオブジェクトが実空間に存在するかのように合成される。

また、従来、所定の形状のマーカを撮像し、撮像された映像からマーカを抽出してカメラ情報を求めて、映像内のマーカの位置にＣＧを合成する技術が開示されている（例えば、非特許文献１参照）。

ここで、図５を参照して、実空間上にマーカＭｖを設置して撮像し、このマーカＭｖの撮像された位置にＣＧを合成する従来の方法について説明する。図５は、従来のマーカを用いた実写の映像にＣＧを合成する方法を説明するための説明図である。

図５に示すように、実写の映像内においてＣＧを合成したい位置に対応する実空間上の位置に所定の形状のマーカＭｖを設置し、ＲＧＢカメラＣによってマーカＭｖを含む実空間を撮像する。そうすると、マーカＭｖを含む映像が得られる。この映像を構成するフレーム画像（ＲＧＢ画像）の各々からマーカＭｖの画像を抽出し、その形状や向きに基づいてＲＧＢカメラＣのカメラ情報を算出する。そして、このカメラ情報によって示されるＲＧＢカメラＣの位置や向きに応じてＣＧを生成し、マーカＭｖの位置に合成することで、実写の映像内に、ＲＧＢカメラＣの位置や向きの変化に応じた仮想の物体がＣＧとして合成される。
加藤博一、外３名、「マーカー追跡に基づく拡張現実感システムとそのキャリブレーション」、日本バーチャルリアリティ学会論文誌、１９９９年１２月、Ｖｏｌ．４、Ｎｏ．４、ｐ．６０７−６１６

カメラや三脚に計測器を付加すると、装置全体が大掛かりになり、また、手持ちカメラでは使えないなどの問題があった。また、非特許文献１の方法では、実空間上にマーカを設置して撮像するため、映像内にマーカが映ってしまうという問題があった。更に、撮像する際にカメラや被写体が動くことによって映像がぼけてしまうとともに、マーカ以外の実空間上のオブジェクト（被写体）も撮像されることによって、マーカの抽出の処理が不安定になり、正確なカメラ情報の解析が行えないという問題があった。

本発明は、前記従来技術の問題を解決するために成されたもので、カメラや三脚に計測器を付加せず、また、映像内にマーカが映ることなく、精度よくカメラ情報を解析することができるカメラ情報解析装置を提供することを目的とする。

前記課題を解決するため、請求項１に記載のカメラ情報解析装置は、可視光及び不可視光を含む光が照射された、前記不可視光のみを反射、吸収あるいは発光する不可視マーカを含む被写体をカメラで撮像し、当該カメラの位置及び姿勢に関する情報であるカメラ情報を解析するカメラ情報解析装置であって、分光手段と、不可視光撮像手段と、可視光撮像手段と、マーカ抽出手段と、カメラ情報算出手段とを備える構成とした。

かかる構成によれば、カメラ情報解析装置は、分光手段によって、被写体からの光を可視光と不可視光とに分光する。そして、カメラ情報解析装置は、分光手段によって分光された不可視光の被写体の像を不可視光撮像手段によって撮像する。この不可視光撮像手段によって、不可視マーカを含む被写体の画像が撮像される。また、カメラ情報解析装置は、分光手段によって分光された可視光の被写体の像を可視光撮像手段によって撮像する。この可視光撮像手段によって、不可視マーカを含まない被写体の画像が撮像される。

そして、カメラ情報解析装置は、マーカ抽出手段によって、可視光撮像手段によって撮像された可視画像と、不可視光撮像手段によって撮像された不可視画像と、の差分画像を生成し、この差分画像の画素値が相対的に大きい部分から不可視マーカを抽出する。ここで、不可視光撮像手段によって撮像された画像には不可視マーカが含まれているが、可視光撮像手段によって撮像された画像には不可視マーカが含まれていない。そのため、カメラ情報解析装置は、２つの画像を比較して不可視光のみが特に反射、吸収あるいは発光している領域を不可視マーカとして抽出することができる。更に、カメラ情報解析装置は、カメラ情報算出手段によって、実空間に対応する仮想空間を設定し、この仮想空間にマーカ抽出手段で抽出された不可視マーカの中心を原点とする３次元座標系を設定し、この３次元座標系でカメラ情報を解析する。

これによって、カメラ情報解析装置は、不可視光のみを反射、吸収あるいは発光する不可視マーカを含む被写体を撮像し、不可視マーカが含まれている不可視光の画像と、不可視マーカが含まれていない可視光の画像とに基づいて不可視マーカを抽出して、カメラ情報を解析することができる。

また、請求項２に記載のカメラ情報解析装置は、請求項１に記載のカメラ情報解析装置において、前記分光手段と前記不可視光撮像手段との間にシャッタを有する構成とした。

かかる構成によれば、カメラ情報解析装置は、シャッタによって、分光手段で分光された不可視光を、不可視光撮像手段に所定時間だけ受光させる。これによって、カメラ情報解析装置は、不可視光撮像手段によって撮像された画像に、撮像する際のカメラや被写体の動きによる映像のぼけが生じることを防ぐことができる。

本発明に係るカメラ情報解析装置では、以下のような優れた効果を奏する。請求項１に記載の発明によれば、不可視光のみを反射、吸収あるいは発光する不可視マーカを撮像するため、可視光撮像手段によって、画像内に不可視マーカが含まれない画像を撮像することができる。更に、不可視マーカが含まれている画像と、不可視マーカが含まれていない画像とに基づいて不可視マーカを抽出することによって、不可視マーカ以外の被写体が、不可視マーカとして抽出されることを防ぐことができる。これによって、カメラ情報解析装置は、不可視マーカの抽出を安定して行うことができ、正確なカメラ情報の解析ができる。

請求項２に記載の発明によれば、不可視光撮像手段によって撮像された画像にぼけが生じないため、高い精度でカメラ情報の解析を行うことができる。

以下、本発明の実施の形態について図面を参照して説明する。
［カメラ情報解析装置の構成］
まず、図１を参照して、本発明におけるカメラ情報解析装置１の構成について説明する。図１は、本発明におけるカメラ情報解析装置の構成を模式的に示した模式図である。

カメラ情報解析装置１は、実空間上に設置された赤外線（不可視光）のみを反射、吸収あるいは発光する赤外マーカＭ（不可視マーカ）を含む被写体を撮像し、撮像された映像を構成するフレーム画像ごとにカメラ情報を解析するものである。更に、ここでは、カメラ情報解析装置１は、カメラ情報に基づいてＣＧを生成して、被写体のフレーム画像内に合成したＣＧ合成画像を生成することとした。カメラ情報解析装置１は、カメラ２と、ＣＧ合成画像生成装置３とを備える。

（カメラの構成）
カメラ２は、実空間上に設置された赤外マーカＭを含む被写体を撮像するものである。ここでは、カメラ２は、赤外ミラー２１と、ＲＧＢ撮像部２２と、シャッタ２３と、赤外撮像部２４とを備える。なお、この赤外マーカＭは、例えば、実空間上において赤外線のみを反射あるいは吸収するインクで所定の形状（図１では四角形と円形を組み合わせたもの）のマーカを描画することで設置することができる。また、赤外マーカＭとして透明で赤外線を発光する発光体［例えば、赤外ＬＥＤ（Light Emitting Diode）］を設置することとしてもよい。赤外線の発光体を赤外マーカＭとして用いることで、後記する赤外撮像部２４によって、赤外マーカＭがより鮮明な赤外画像を取得することができる。

赤外ミラー（分光手段）２１は、実空間から入射する被写体からの光に含まれる赤外線を反射するものである。この赤外ミラー２１は、カメラ２に入射する光の入射方向に対して４５°の角度で傾斜して設置されている。そのため、赤外ミラー２１に入射した被写体からの光に含まれる赤外線は、この赤外ミラー２１によって反射されて入射方向に対して直交する方向に出射し、赤外撮像部２４に入射する。また、それ以外の光は赤外ミラー２１を透過してＲＧＢ撮像部２２に入射する。

ＲＧＢ撮像部（可視光撮像手段）２２は、赤外ミラー２１を透過した可視光の被写体の像を撮像するものである。ここで撮像されたフレーム画像であるＲＧＢ画像（可視画像）は、実空間上において、赤外マーカＭ以外の被写体のＲＧＢ成分のフレーム画像であり、ＣＧ合成画像生成装置３に出力される。

ここで、ＲＧＢ撮像部２２は、単板方式の撮像板（図示せず）から構成されていてもよいし、３板方式によって、入射した光のうち可視光を赤色光、緑色光及び青色光に分解する色分解プリズム（図示せず）と、赤色光の被写体の像を撮像する赤色撮像板（図示せず）と、緑色光の被写体の像を撮像する緑色撮像板（図示せず）と、青色光の被写体の像を撮像する青色撮像板（図示せず）とから構成されることとしてもよい。なお、ここでは、ＲＧＢ撮像部２２が、赤色光、緑色光及び青色光の被写体の像を撮像したＲＧＢ画像を撮像することとしたが、本発明の可視光撮像手段は、例えば、モノクロのフレーム画像を撮像することとしてもよい。

シャッタ２３は、赤外ミラー２１によって反射された赤外線を、後記する赤外撮像部２４に所定時間だけ受光させるものである。ここで、撮像時にカメラ２や被写体が動くと、ＲＧＢ撮像部２２及び赤外撮像部２４によって撮像されるフレーム画像にぼけ（動きぼけ）が生じるが、シャッタ２３によって赤外撮像部２４に短時間受光させることで、赤外撮像部２４によって撮像される赤外画像に動きぼけが生じることを防ぐことができる。これによって、後記するＣＧ合成画像生成装置３による処理を安定させることができる。

赤外撮像部（不可視光撮像手段）２４は、赤外ミラー２１によって反射された赤外線の被写体の像を撮像するものである。ここで撮像されたフレーム画像である赤外画像（不可視画像）は、赤外マーカＭを含む実空間上の被写体のＩＲ（赤外）成分のフレーム画像であり、ＣＧ合成画像生成装置３に出力される。

このようにカメラ２を構成することで、カメラ２は、被写体のＲＧＢ画像と赤外画像とを撮像することができる。また、赤外マーカＭを実空間上に設置し、カメラ２が、赤外ミラー２１によって赤外線と可視光とを分光することで、可視画像から構成される可視光の実写の映像に赤外マーカＭが映ることを防ぐことができる。更に、赤外ミラー２１を、光路上においてカメラ２のレンズ（図示せず）より後方に設置することで、レンズの歪みやズーム操作等によってＲＧＢ画像と赤外画像とにずれが生じず、ＲＧＢ画像と赤外画像とにおける被写体の位置を一致させることができる。そして、赤外線の撮像系は、可視光の撮像系に影響を及ぼさないため、赤外線を反射あるいは吸収する赤外マーカＭを設置する場合に実空間において赤外線の照明を付加することで、赤外撮像部２４によって、より高品質な赤外画像を得ることができる。これによって、後記するＣＧ合成画像生成装置３によって精度良くカメラ情報を解析することができる。

また、赤外ミラー２１の代わりにハーフミラー（図示せず）を用いると、ＲＧＢ撮像部２２に入射する光の光量が半分になり、撮像されるＲＧＢ画像が暗くなってしまうが、赤外ミラー２１によって赤外線と可視光とを分光することで、ＲＧＢ撮像部２２によって撮像されるＲＧＢ画像が暗くなることを防ぐことができる。なお、ここでは、赤外線を反射、吸収あるいは発光する赤外マーカＭを実空間に設置し、カメラ２が赤外線を分光する赤外ミラー２１と、赤外線の被写体の像を撮像する赤外撮像部２４とを備えることとしたが、不可視光は赤外線に限定されない。例えば、紫外線のみを反射、吸収あるいは発光する紫外マーカ（図示せず）を実空間に設置し、カメラ２が紫外線を分光する紫外ミラー（図示せず）と、紫外線を撮像する紫外撮像部（図示せず）とを備えることとしてもよい。

（ＣＧ合成画像生成装置の構成）
ＣＧ合成画像生成装置３は、カメラ２によって撮像されたＲＧＢ画像と赤外画像とに基づいてカメラ情報を解析し、このカメラ情報に基づいて生成したＣＧをＲＧＢ画像に合成するものである。ここでは、ＣＧ合成画像生成装置３は、マーカ抽出手段３１と、カメラ情報算出手段３２と、ＣＧ合成手段３３とを備える。

マーカ抽出手段３１は、カメラ２によって撮像されたＲＧＢ画像と赤外画像とに基づいて、赤外画像から赤外マーカＭを抽出するものである。ここで赤外マーカＭが抽出された画像（抽出画像）は、カメラ情報算出手段３２に出力される。

ここでは、マーカ抽出手段３１は、まず、ＲＧＢ画像と赤外画像との差分画像を生成する。ここで、例えば、実空間上の白色の領域（ＲＧＢ信号の大きい領域）に赤外線を吸収する赤外マーカＭを設置したとすると、この赤外マーカＭの領域だけ赤外画像の画素値が小さくなる。そのため、この領域においてＲＧＢ画像と赤外画像との画素値の差が他の領域より大きくなる。そこで、マーカ抽出手段３１は、この差分画像の画素値が相対的に大きい部分を赤外マーカＭとして抽出することができる。このように、赤外画像には赤外マーカＭのみでなく他の被写体も撮像されているが、マーカ抽出手段３１が、赤外マーカＭの撮像されている赤外画像と、赤外マーカＭの撮像されていないＲＧＢ画像とに基づいて赤外マーカＭを抽出することで、安定して赤外マーカＭを抽出することができる。

なお、ここでは、マーカ抽出手段３１が、ＲＧＢ画像と赤外画像との差分画像を生成して、赤外マーカＭを抽出することとしたが、マーカ抽出手段がＲＧＢ画像と赤外画像とに基づいて赤外マーカを抽出する方法は、この方法に限定されない。例えば、ＲＧＢ画像と赤外画像との各々について、エッジの検出をし、更に２値化してエッジ領域を抽出することとしてもよい。そうすると、ＲＧＢ画像からは赤外マーカＭを除いた被写体のエッジが、赤外画像からは赤外マーカＭを含む被写体のエッジが抽出される。そして、マーカ抽出手段３１は、エッジの抽出された２つの画像の差、あるいは、排他的論理和をとることで、赤外マーカＭのエッジのみを抽出することができる。

カメラ情報算出手段３２は、マーカ抽出手段３１によって生成された抽出画像に基づいて、カメラ情報を算出するものである。ここで算出されたカメラ情報は、ＣＧ合成手段３３に出力される。

ここで、カメラ情報とは、例えば、カメラ２の位置、パン、チルト、ロール、ズーム量などのデータである。このカメラ２の位置は、赤外マーカＭに対するカメラ２の位置が特定できるものであり、また、パン、チルト、ロールは、カメラ２の視線方向の基準となる向きからの水平方向の角度と、鉛直方向の角度と、視線方向を軸とした回転角で表したものである。ここでは、カメラ情報算出手段３２は、実空間に対応する仮想空間を設定して、この仮想空間に赤外マーカＭの中心を原点とする３次元座標系（マーカ座標系）を設定し、このマーカ座標系でカメラ２の位置及び姿勢（パン、チルト、ロール）を算出することとした。

ここで、カメラ情報算出手段３２は、例えば、次に示すような方法で赤外マーカＭの位置に対するカメラ２の位置や姿勢を算出することができる。以下、図２を参照（適宜図１参照）して、カメラ情報算出手段３２がカメラ情報を算出する方法について簡単に説明する。図２は、カメラ情報算出手段がカメラ情報を算出する方法を説明するための説明図である。

カメラ情報算出手段３２は、実空間に対応する仮想空間上に赤外マーカＭの中心を原点とした３次元座標系（マーカ座標系Ｃ_ｍ）を設定する。また、カメラ情報算出手段３２は、カメラ２の焦点を原点とした３次元座標系（カメラ座標系Ｃ_ｃ）を設定する。更に、カメラ情報算出手段３２は、カメラ座標系Ｃ_ｃにおいて透視変換によって投影される画像平面を理想スクリーン座標系ｃ_ｃとして設定する。

ここで、理想スクリーン座標系ｃ_ｃ上の点（ｘ_ｃ，ｙ_ｃ）は、透視変換によって、以下の式（１）でカメラ座標系Ｃ_ｃ上の点（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ）に変換される。なお、変換行列Ｐは、キャリブレーションによって予め求めておく。

また、カメラ座標系Ｃ_ｃにおいて座標（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ）で表される点が、マーカ座標系Ｃ_ｍでは座標（Ｘ_ｍ，Ｙ_ｍ，Ｚ_ｍ）で表されるとすると、以下の式（２）が成り立つ。なお、Ｔ_ｃｍは、カメラ座標系Ｃ_ｃをマーカ座標系Ｃ_ｍに変換する変換行列であり、回転移動成分Ｒ_３×３と平行移動成分Ｔ_３×１とからなる。

そこで、カメラ情報算出手段３２は、マーカ抽出手段３１によって生成された抽出画像の赤外マーカＭの四角形の枠を４本の線分に近似し、理想スクリーン座標系における四角形の４頂点の座標を求める。そして、カメラ情報算出手段３２は、この座標と、予め求められているマーカ座標系Ｃ_ｍにおける四角形の４頂点の座標とを用いて、前記の式（１）及び（２）によって変換行列Ｔ_ｃｍを求めることができる。そして、カメラ情報算出手段３２は、平行移動成分Ｔ_３×１からカメラ２の位置を、回転移動成分Ｒ_３×３からカメラ２の姿勢を求めることができる。

図１に戻って説明を続ける。ＣＧ合成手段３３は、カメラ情報算出手段３２で算出されたカメラ情報に基づいてＣＧを生成し、カメラ２から入力されたＲＧＢ画像における、マーカ抽出手段３１で抽出された赤外マーカＭの位置に当該ＣＧを合成するものである。ここで生成された画像は、外部に出力される。ここで、ＣＧ合成手段３３は、カメラ情報に基づいてＣＧを生成するため、カメラ２の位置や姿勢に応じたＣＧを生成することができる。

なお、ＣＧ合成手段３３は、カメラ情報に基づいて、カメラ２の位置や姿勢の変化の大きさを示すカメラ２の動き情報に基づいてＣＧをぼかしてＲＧＢ画像に合成することによって、視聴者から見て違和感の少ない映像を生成することができる。つまり、ＲＧＢ画像は動きぼけを伴う画像であり、ＣＧ合成手段３３は、このＲＧＢ画像に合成するＣＧに対して、カメラ情報に基づいて同程度のぼけを与えるため、生成される映像は、より自然な映像となる。

このようにＣＧ合成画像生成装置３を構成することで、ＣＧ合成画像生成装置３は、カメラ２によって撮像されたＲＧＢ画像と赤外画像とに基づいてカメラ情報を解析し、このカメラ情報に基づいてＣＧを生成してＲＧＢ画像内に合成することができる。

なお、ＣＧ合成画像生成装置３は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して、ＣＧ合成画像生成プログラムとして動作させることも可能である。

［カメラ情報解析装置の動作］
次に、図３を参照（適宜図１参照）して、本発明におけるカメラ情報解析装置１の動作について説明する。図３は、本発明におけるカメラ情報解析装置が１つのフレーム画像を撮像してカメラ情報を解析し、ＣＧを合成する動作を示したフローチャートである。なお、カメラ情報解析装置１は、被写体のフレーム画像を順次撮像して、各々のフレーム画像についてカメラ情報を解析し、ＣＧを合成するが、ここでは、カメラ情報解析装置１が、１つのフレーム画像を撮像してＣＧを合成する動作について説明する。

カメラ情報解析装置１のカメラ２は、赤外ミラー２１によって、被写体からの光に含まれる赤外線を反射するとともに、可視光を透過させ、可視光と赤外線とを分光する（ステップＳ１１）。そして、ステップＳ１１において赤外ミラー２１を透過した可視光は、ＲＧＢ撮像部２２に入射し、カメラ２は、当該ＲＧＢ撮像部２２によって可視光の被写体の像を撮像する。同時に、カメラ２は、赤外撮像部２４によって、シャッタ２３を通過した赤外線の被写体の像を撮像する（ステップＳ１２）。ここで、シャッタ２３は、赤外ミラー２１を反射した赤外線を所定時間だけ赤外撮像部２４に受光させる。

そして、カメラ情報解析装置１のＣＧ合成画像生成装置３は、マーカ抽出手段３１によって、ステップＳ１２においてカメラ２のＲＧＢ撮像部２２によって撮像されたＲＧＢ画像と、赤外撮像部２４によって撮像された赤外画像とに基づいて、赤外マーカＭを抽出して抽出画像を生成する（ステップＳ１３）。ここで、ＣＧ合成画像生成装置３は、ＲＧＢ画像と赤外画像との差分画像を生成し、画素値の差が相対的に大きい部分を赤外マーカＭとして抽出する。

続いて、ＣＧ合成画像生成装置３は、カメラ情報算出手段３２によって、ステップＳ１３においてマーカ抽出手段３１によって生成された抽出画像に基づいて、カメラ情報を算出する（ステップＳ１４）。更に、ＣＧ合成画像生成装置３は、ＣＧ画像合成手段３３によって、ステップＳ１４において算出されたカメラ情報に基づいてＣＧを生成し、ステップＳ１２において撮像されたＲＧＢ画像にこのＣＧを合成して、外部に出力する（ステップＳ１５）。

（カメラ情報解析装置の変形例）
なお、カメラ２はシャッタ２３によって受光させる時間を調整することで、赤外撮像部２４によって撮像される赤外画像の動きぼけを防いでいるが、カメラ２がシャッタ２３を備えず、赤外撮像部２４が、ＲＧＢ撮像部２２より高速な撮像間隔で撮像することとしてもよい。例えば、ＲＧＢ撮像部２２が、通常のビデオカメラと同様に３０枚／秒で撮像する場合に、赤外撮像部２４が更に高速に撮像することで、同じ撮像間隔で撮像する場合に比べてＣＧ合成画像生成装置３によって、より精度の高いカメラ情報を解析することができる。そして、このように撮像間隔を高速にすることで、カメラ２の動き情報の精度が増すため、ＣＧ合成手段３３によって生成された、動きぼけを与えたＣＧを合成した映像の質を向上させることができる。

このとき、ＣＧ合成画像生成装置３のマーカ抽出手段３１は、ＲＧＢ画像と同時に撮像された赤外画像が入力された場合には、このＲＧＢ画像と赤外画像とに基づいて赤外マーカＭを抽出する。また、ＲＧＢ画像が撮像される合間に撮像された赤外画像が入力された場合には、当該赤外画像が撮像された前後に撮像されたＲＧＢ画像と赤外画像とに基づいて赤外マーカＭを抽出する。

また、カメラ２を、図４に示すような、色分解プリズム２５Ａと、ＲＧＢ撮像部２２Ａと、赤外撮像部２４Ａとを備えるカメラ２Ａとしてもよい。図４は、カメラの他の形態を模式的に示す模式図である。

色分解プリズム２５Ａは、実空間から入射した被写体からの光を赤色光、青色光、赤外線及び緑色光に分光するものである。ここで、色分解プリズム２５Ａは、赤色光分離プリズム２５Ａ_Ｒと、青色光分離プリズム２５Ａ_Ｂと、赤外分離プリズム２５Ａ_ＩＲと、緑色光分離プリズム２５Ａ_Ｇとを備える。

赤色光分離プリズム２５Ａ_Ｒは、実空間から入射した光から赤色光を分離し、この赤色光を後記するＲ撮像部２２Ａ_Ｒに導くものである。そして、赤色光分離プリズム２５Ａ_Ｒは、青色光分離プリズム２５Ａ_Ｂとの境界面において反射した赤色光を、当該赤色光分離プリズム２５Ａ_Ｒ内で再度反射させた後に、端面に接合あるいは所定の間隔だけ離隔して固定されたＲ撮像部２２Ａ_Ｒに導く。また、境界面を透過した光は、青色光分離プリズム２５Ａ_Ｂに入射する。

青色光分離プリズム２５Ａ_Ｂは、赤色光分離プリズム２５Ａ_Ｒから入射した光から青色光を分離し、この青色光を後記するＢ撮像部２２Ａ_Ｂに導くものである。そして、青色光分離プリズム２５Ａ_Ｂは、緑色光分離プリズム２５Ａ_Ｇとの境界面において反射した青色光を、当該青色光分離プリズム２５Ａ_Ｂ内で再度反射させた後に、端面に接合あるいは所定の間隔だけ離隔して固定されたＢ撮像部２２Ａ_Ｂに導く。また、境界面を透過した光は、赤外分離プリズム２５Ａ_ＩＲに入射する。

赤外分離プリズム（分光手段）２５Ａ_ＩＲは、青色光分離プリズム２５Ａ_Ｂから入射した光から赤外線を分離し、この赤外線を後記する赤外撮像部２４Ａに導くものである。そして、赤外分離プリズム２５Ａ_ＩＲは、緑色光分離プリズム２５Ａ_Ｇとの境界面において反射した赤外線を、当該赤外分離プリズム２５Ａ_ＩＲ内で再度反射させた後に、端面に接合あるいは所定の間隔だけ離隔して固定された赤外撮像部２４Ａに導く。また、境界面を透過した緑色光は、緑色光分離プリズム２５Ａ_Ｇに入射する。

緑色光分離プリズム２５Ａ_Ｇは、赤外分離プリズム２５Ａ_ＩＲから入射した緑色光を後記するＧ撮像部２２Ａ_Ｇに導くものである。この緑色光分離プリズム２５Ａ_Ｇの端面には、Ｇ撮像部２２Ａ_Ｇが接合あるいは所定の間隔だけ離隔して固定されている。

ＲＧＢ撮像部（可視光撮像手段）２２Ａは、赤色光分離プリズム２５Ａ_Ｒと、青色光分離プリズム２５Ａ_Ｂと、緑色光分離プリズム２５Ａ_Ｇとによって分離された赤色光と、青色光と、緑色光とを撮像するものである。ここで撮像されたフレーム画像であるＲＧＢ画像（可視画像）は、ＣＧ合成画像生成装置３に出力される。ここでは、ＲＧＢ撮像部２２Ａは、Ｒ撮像部２２Ａ_Ｒと、Ｂ撮像部２２Ａ_Ｂと、Ｇ撮像部２２Ａ_Ｇとを備える。

Ｒ撮像部２２Ａ_Ｒは、赤色光分離プリズム２５Ａ_Ｒから入射した赤色光の被写体の像を撮像するものである。ここで撮像された赤色光の画像は、ＣＧ合成画像生成装置３に出力される。

Ｂ撮像部２２Ａ_Ｂは、青色光分離プリズム２５Ａ_Ｂから入射した青色光の被写体の像を撮像するものである。ここで撮像された青色光の画像は、ＣＧ合成画像生成装置３に出力される。

Ｇ撮像部２２Ａ_Ｇは、緑色光分離プリズム２５Ａ_Ｇから入射した緑色光の被写体の像を撮像するものである。ここで撮像された緑色光の画像は、ＣＧ合成画像生成装置３に出力される。

なお、Ｒ撮像部２２Ａ_ＲとＢ撮像部２２Ａ_ＢとＧ撮像部２２Ａ_Ｇとが特許請求の範囲に記載の可視光撮像手段に相当し、これらの各々によって撮像された赤色光の画像と、青色光の画像と、緑色光の画像とがＲＧＢ画像となる。

赤外撮像部（不可視光撮像手段）２４Ａは、赤外分離プリズム２５Ａ_ＩＲから入射した赤外線の被写体の像を撮像するものである。ここで撮像された赤外線の画像（赤外画像）は、ＣＧ合成画像生成装置３に出力される。

このようにカメラ２Ａを構成することで、カメラ２をより小型化することができるとともに、ＣＧ合成画像生成装置３によるカメラ情報の解析の精度や信頼性や安定性を向上させることができる。ここで、カメラ２Ａは、赤外分離プリズム２５Ａ_ＩＲと赤外撮像部２４Ａとの間にシャッタ（図示せず）を備えることとしてもよいし、外部から入射する光の光路上において色分解プリズム２５Ａの前にシャッタ（図示せず）を備えることとしてもよい。これによって、カメラ２Ａは、赤外撮像部２４によって撮像される赤外画像に動きぼけが生じることを防ぐことができ、ＣＧ合成画像生成装置３による処理を容易にすることができる。

本発明におけるカメラ情報解析装置の構成を模式的に示した模式図である。本発明におけるカメラ情報解析装置のカメラ情報算出手段がカメラ情報を算出する方法を説明するための説明図である。本発明におけるカメラ情報解析装置が１つのフレーム画像を撮像してカメラ情報を解析し、ＣＧを合成する動作を示したフローチャートである。本発明におけるカメラ情報解析装置のカメラの他の形態を模式的に示す模式図である。従来のマーカを用いた実写の映像にＣＧを合成する方法を説明するための説明図である。

符号の説明

１カメラ情報解析装置
２１赤外ミラー（分光手段）
２２、２２ＡＲＧＢ撮像部（可視光撮像手段）
２３シャッタ
２４、２４Ａ赤外撮像部（不可視光撮像手段）
２５Ａ_ＩＲ赤外分離プリズム（分光手段）
３１マーカ抽出手段
３２カメラ情報算出手段

Claims

可視光及び不可視光を含む光が照射された、前記不可視光のみを反射、吸収あるいは発光する不可視マーカを含む被写体をカメラで撮像し、当該カメラの位置及び姿勢に関する情報であるカメラ情報を解析するカメラ情報解析装置であって、
前記被写体からの光を、前記不可視光と前記可視光とに分光する分光手段と、
この分光手段によって分光された不可視光の前記被写体の像を撮像する不可視光撮像手段と、
前記分光手段によって分光された可視光の前記被写体の像を撮像する可視光撮像手段と、
この可視光撮像手段によって撮像された可視画像と、前記不可視光撮像手段によって撮像された不可視画像と、の差分画像を生成し、この差分画像の画素値が相対的に大きい部分から前記不可視マーカを抽出するマーカ抽出手段と、
実空間に対応する仮想空間を設定し、この仮想空間に前記マーカ抽出手段によって抽出された不可視マーカの中心を原点とする３次元座標系を設定し、この３次元座標系で前記カメラ情報を算出するカメラ情報算出手段と、
を備えることを特徴とするカメラ情報解析装置。
前記分光手段と前記不可視光撮像手段との間にシャッタを有することを特徴とする請求項１に記載のカメラ情報解析装置。