JP2010219826A

JP2010219826A - 撮像装置、位置計測システムおよびプログラム

Info

Publication number: JP2010219826A
Application number: JP2009063670A
Authority: JP
Inventors: Kazumasa Murai; 和昌村井
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2009-03-16
Filing date: 2009-03-16
Publication date: 2010-09-30

Abstract

【課題】外乱光の到達を抑制し再帰反射光を効率よく撮像することができる撮像装置、位置計測システムおよびプログラムを提供する。
【解決手段】位置計測システムは、対象物に取り付けられた位置関係の分かっている複数の再帰反射体を有する再帰反射体セット１と、再帰反射体セットを撮像する撮像装置２と、撮像装置２で撮像した再帰反射体セット１の画像に基づいて再帰反射体セットの３次元位置および角度の少なくとも一方を演算する演算装置３とを備える。撮像装置２は、２次元撮像素子２１と、２次元撮像素子の前方に配置されたレンズ２２と、レンズの周囲に配置された光源２３と、レンズ２２および光源の前方に配置された誘電体多層膜帯域通過フィルタ２４，２５とを備える。
【選択図】図１

Description

本発明は、撮像装置、位置計測システムおよびプログラムに関するものである。

対象物の位置検出のために再帰反射を利用する技術が知られている。例えば引用文献１には、再帰反射体に偏光フィルムを貼りつけ、再帰反射体の再帰反射光を用いて移動体の位置検出を行う技術が記載されている。再帰反射は例えばモーションキャプチャー（ｍｏｔｉｏｎｃａｐｔｕｒｅ）の分野でも用いられる。これは、３次元空間における人や物などの動きを計測し、その計測情報をコンピュータに取り込んで表示装置上でその動きを再現するものであり、観測対象に取り付けた再帰反射の特性を持つマーカー（再帰反射体）をカメラ（撮像装置）で撮像する。この際、カメラの近傍に設置された照明手段により観測対象を照明し、再帰反射体から再帰反射してカメラに戻ってくる光をカメラで撮像する。照明には、例えば発光ダイオード（ＬＥＤ）による強力な赤外照明を用い、カメラ側に設けられた赤外透過フィルタで外乱光を抑制している。一般に赤外透過フィルタは方向依存性のないものを用いる。

特開２００１−１６５６５８号公報

本発明の目的は、外乱光の到達を抑制し再帰反射光を効率よく撮像することができる撮像装置、位置計測システムおよびプログラムを提供することにある。

本発明は、上記目的を達成するために、以下の撮像装置、位置計測システムおよびプログラムを提供する。
（１）２次元撮像素子と、前記２次元撮像素子の前方に配置されたレンズと、前記レンズの周囲に配置された１つまたは複数の光源と、前記レンズおよび光源の前方に配置された誘電体多層膜帯域通過フィルタとを備えた撮像装置。
（２）前記誘電体多層膜帯域通過フィルタが、前記レンズおよび光源の前方にそれぞれ別個に設けられる上記（１）記載の撮像装置。
（３）前記光源が、前記レンズの光軸方向の向きに配置される上記（１）または（２）記載の撮像装置。
（４）前記複数の光源の一部または全部が、前記レンズの光軸方向とは異なる向きに配置され、前記異なる向きに配置された光源が別の向きの光源と異なる発光波長を有する上記（１）または（２）記載の撮像装置。
（５）対象物に取り付けられた位置関係の分かっている複数の再帰反射体を有する再帰反射体セットと、前記再帰反射体セットを撮像する上記（１）〜（４）のいずれかに記載の撮像装置と、前記撮像装置で撮像した前記再帰反射体セットの画像に基づいて前記再帰反射体セットの３次元位置および角度の少なくとも一方を演算する演算装置とを備えた位置計測システム。
（６）前記再帰反射体セットが、他の再帰反射体セットと識別するための識別用再帰反射体を備えた上記（５）記載の位置計測システム。
（７）コンピュータに、対象物に取り付けられた位置関係の分かっている複数の再帰反射体を有する再帰反射体セットを請求項１〜４のいずれかに記載の撮像装置で撮像した前記再帰反射体セットの画像情報を入力する手順、前記入力した画像情報に基づいて対象物の３次元位置を計算し複数の解を得る手順、前記複数の解から前記対象物の３次元位置および角度の少なくとも一方を求める手順を実行させるためのプログラム。

請求項１に記載の撮像装置によれば、外乱光の到達を抑制し再帰反射光を、本構成を有しないものに比べ、効率よく撮像することができる。
請求項２に記載の撮像装置によれば、誘電体多層膜帯域通過フィルタが設けられるレンズおよび光源の配置の自由度を増すことができる。
請求項３に記載の撮像装置によれば、本構成を有しないものに比べレンズの周囲に設けられる光源の配置構造を単純化することができる。
請求項４に記載の撮像装置によれば、本構成を有しないものに比べ撮像の範囲を広げることができる。
請求項５に記載の位置計測システムによれば、外乱光の到達を抑制し再帰反射光を、本構成を有しないものに比べ、効率よく撮像した画像で位置計測を行うことができる。
請求項６に記載の位置計測システムによれば、撮像した複数の再帰反射体セットをそれぞれ識別することができる。
請求項７に記載のプログラムによれば、外乱光の到達を抑制し再帰反射光を、本構成を有しないものに比べ、効率よく撮像した画像で位置計測を行うことができる。

（ａ）は本発明に係る撮像装置を用いた位置計測システムの一例を示し、（ｂ）は再帰反射体セットの一例を示す。本発明に係る撮像装置の一実施例を示す図である。誘電体多層膜帯域通過フィルタの透過特性の一例を示す図である。発光ダイオードの発光スペクトルの一例を示す図である。本発明に係る撮像装置の他の実施例を示す図である。図１に示す再帰反射体セットの３次元位置の演算方法の一例を説明するための図である。演算装置としてパーソナルコンピュータ（ＰＣ）を用いた場合の一例を示すブロック図である。コンピュータにより実行される手順の一例を示すフロー図である。

図１（ａ）は本発明に係る撮像装置を用いた位置計測システムの一例を示し、（ｂ）は再帰反射体セットの一例を示す。図１（ａ）において、本例の位置計測システムは、対象物１０に取り付けられた位置関係の分かっている複数の再帰反射体を有する再帰反射体セット１と、再帰反射体セット１を撮像する撮像装置２と、撮像装置２で撮像した再帰反射体セット１の画像に基づいて再帰反射体セット１の３次元位置および角度の少なくとも一方を演算する演算装置３とを備える。演算装置３の構成例および再帰反射体セット１の３次元位置の演算方法については後述する。演算結果は必要に応じてモニタ画面等の表示装置４に表示することができる。演算装置３は、撮像装置２の図示しない通信手段と有線あるいは無線で接続され、撮像装置２と通信できるように構成される。演算装置３、例えばパーソナルコンピュータ（ＰＣ）等のコンピュータが用いられるが、これに限定されない。

本例の対象物１０には複数の再帰反射体セット１が配置されている。この複数の再帰反射体セット１の位置計測を行うことにより対象物１０の動きを検出することができ、またこれをモニタ画面等に表示することができる。再帰反射体は光の入射してきた方向に光を反射するものである。本例の再帰反射体セット１は、図１（ｂ）に示すように、位置計測用の４つの再帰反射体ａ１，ａ２，ａ３，ａ４と、他の再帰反射体セットとの識別（ＩＤ）用の２つの再帰反射体ｂ１，ｂ２を基板５に取り付けたものである。これらについては後述する。

図２は、本発明に係る撮像装置の一実施例を示す図である。撮像装置２は、２次元撮像素子２１と、２次元撮像素子２１の前方に配置されたレンズ２２と、レンズ２２の周囲に配置された照明用の複数の光源２３と、レンズ２２および光源２３の前方に配置された誘電体多層膜帯域通過フィルタ２４，２５とを備える。複数の光源２３は光源支持体２６を介して撮像装置２に固定される。誘電体多層膜帯域通過フィルタ２４，２５はそれぞれ図示しない部材でレンズ保持体２７あるいは光源支持体２６に固定されるが、固定方法はこれに限定されない。誘電体多層膜帯域通過フィルタの構成は周知であり、各種特性のものが市販されているが、必要に応じて所望の特性のものを作製することができる。ここで、誘電体多層膜帯域通過フィルタ２４，２５は同特性を有するものである。本実施例では、別個の誘電体多層膜帯域通過フィルタ２４，２５がレンズ２２および光源２３の前方にそれぞれ平行に設けられているが、両者を一体のものとして構成することもできる。また本実施例では、光源２３がレンズの光軸方向（図２中、光軸６）の向きとされるが、これに限定されず、後述のように複数の光源の一部または全部をそれぞれレンズの光軸方向とは異なる向きとすることができる。ここで、撮像装置２は、２次元撮像素子２１として例えばＣＣＤやＣＭＯＳセンサ等を搭載したデジタルカメラを用いることができるが、これに限定されない。また、光源２３は例えば赤外発光ダイオード（ＬＥＤ）を用いることができるが、これに限定されない。光源２３の数は本例では複数であるが１つ以上であればよい。

誘電体多層膜帯域通過フィルタ２４，２５としては、透過帯域を狭く設定した狭帯域通過フィルタが好ましい。図３は、誘電体多層膜帯域通過フィルタの透過特性の一例を示す図である。横軸は透過波長、縦軸は透過率を示す。本例の狭帯域通過フィルタは、図３に示すように、中心波長が９５０ｎｍで半値幅が１０ｎｍの透過特性を有する。これにより特定の狭い帯域以外の外乱光を抑制する。図４は、発光ダイオードの発光スペクトルの一例を示す図である。横軸は発光波長、縦軸は相対強度を示す。図４に示すように、光源２３として中心波長が９５０ｎｍの赤外ＬＥＤを用いることができる。赤外ＬＥＤは一般的に半値幅が広い。図４に示す赤外ＬＥＤの半値幅は４０ｎｍである。日中の観測において、９５０ｎｍのフィルタとＬＥＤを用いると、大気により当該帯域の吸収が大きく、比較的太陽光による影響を受けにくい。すなわち、太陽光や白熱灯などは当該帯域に特化した光源ではないため、帯域通過フィルタを透過できるエネルギーは限られる。帯域通過フィルタは、赤外ＬＥＤから発せられる光の内、透過角度に応じて所定の狭帯域の光のみが透過する。透過するエネルギーの率はフィルタに依存するが、小さくすることができる。このように、撮像装置２に設置した帯域通過フィルタ２４，２５は、観測対象の方向に発せられた帯域のみを透過する機能を有するので、ＳＮ比を向上させることができ、また強いエネルギーの赤外光を用いても、帯域通過フィルタを用いない場合に比較して環境への影響は小さい。

図５は、本発明に係る撮像装置の他の実施例を示す図である。本実施例が図２の構成と異なる点は、複数の光源のうち一部の光源がレンズの光軸方向とは異なる向きとされている点、および誘電体多層膜帯域通過フィルタをレンズ用と光源用とで一体化した点にある。光源は上記と同様に例えば赤外ＬＥＤを用いる。本例では、ＬＥＤの指向性を考慮して複数の光源２３をそれぞれ別々の方向に向ける。すなわち、図５に示すように、複数の光源のうち、光源２３ａの向きはレンズ２２の光軸方向とされているが、光源２３ｂ、２３ｃの向きはレンズ２２の光軸方向（図５中、光軸６）とは異なる方向とされている。光源２３ｂと２３ｃの向きも互いに異なる。また、これに限定されず、複数の光源２３の全部の向きをレンズ２２の光軸方向とは異なる方向とすることもできる。また、異なる方向に配置される光源は別の向きの光源と異なる発光波長を有する。すなわち、本例の光源２３ａ、２３ｂ、２３ｃは発光波長が異なるものである。

光源として用いるＬＥＤは指向性がある。観測する領域が限られていれば特に指向性に係る対応は必要ないが、ある程度の範囲の領域を撮影する必要がある場合には複数のＬＥＤの配向角度と発光波長の組み合わせを考慮することが有効である。本例では、ＬＥＤは半値幅が誘電体多層膜帯域通過フィルタに比べ広いもので、配向角度に応じて波長が少しずつ異なるものを用いる。すなわち、複数の光源の一部または全部が、レンズの光軸方向とは異なる向きに配置され、異なる向きに配置された光源がそれぞれ異なる発光波長を有するようにする。フィルタの透過帯域と角度の関係（及び配光の均一性）に合わせて、ＬＥＤを配置する角度を整える。短波長ＬＥＤが光軸の内側を向いてもよいし、外側を向いてもよい。これは、誘電体多層膜帯域通過フィルタが方向依存性を有するので、異なる発光波長でかつ指向性のあるＬＥＤを組み合わせ、フィルタに透過しやすい方向にＬＥＤを配置するものである。誘電体多層膜帯域通過フィルタ（干渉フィルタ）は入射角を変えることにより、短波長側へ透過中心波長をシフトすることができる。例えば、シグマ光機社製の中心波長が６３２．８ｎｍのある干渉フィルタを例にとると、透過中心波長のシフトの目安として、入射角αが５度、１０度、１５度の場合、透過中心波長に対しそれぞれ係数０．９９８、０．９９３、０．９８４が与えられる。図５の実施例にこれを適用する場合、光源２３ａは、入射角度がレンズ光軸方向に対して０度であり透過中心波長は６３２．８ｎｍ、光源２３ｂは、例えば入射角度がレンズ光軸方向に対して５度であり透過中心波長は６３２．８ｎｍ×０．９９８＝６３１．５ｎｍ、光源２３ｃは、例えば入射角度がレンズ光軸方向に対して１０度であり透過中心波長は６３２．８ｎｍ×０．９９３＝６２８．４ｎｍのものを用いる。これにより撮像の範囲を広げることができる。

図６は、図１に示す再帰反射体セットの３次元位置の演算方法の一例を説明するための図である。本例では、４つの再帰反射体ａ１，ａ２，ａ３，ａ４を例えば正方形の角に配置し、そのうちの３つの再帰反射体の組み合わせを２つ考える。そして、各々の３点を用いて、以下の計算から２つの解を導出する。その２つの解の内一つは再帰反射体の位置が同じ値を示すので、それを正解とする。これにより、再帰反射体セットの３次元位置や角度を決定することができる。

まず、図６において、再帰反射体ａ１，ａ２，ａ３の画像面６１（２次元撮像素子面）上の画像位置ｃ１，ｃ２，ｃ３とカメラの光学中心６２との関係から、カメラ座標系における再帰反射体の位置の方向ベクトルｄｉ（ｉ＝１，２，３）を算出する。ｄｉは規格化した単位ベクトルとする。
再帰反射体ａ１，ａ２，ａ３の空間の位置ベクトルをｐ１，ｐ２，ｐ３とすると、これらはｄｉの延長線上に存在するので、その係数をｔ１，ｔ２，ｔ３として、
p1=t1・d1
p2=t2・d2 式１
p3=t3・d3
で表すことができる。

三角形の形状は最初からわかっており、その長さを各々
p1p2=L1
p2p3=L2 式２
p3p1=L3
とすると次式が得られる。式中「^」は累乗を表す。
(t1x1-t2x2)^2+(t1y1-t2y2)^2+(t1z1-t2z2)^2=L1^2
(t2x2-t3x3)^2+(t2y2-t3y3)^2+(t2z2-t3z3)^2=L2^2 式３
(t3x3-t1x1)^2+(t3y3-t1y1)^2+(t3z3-t1z1)^2=L3^2

整理すると
t1^2-2t1t2(x1x2+y1y2+z1z2)+t2^2-L1^2=0
t2^2-2t2t3(x2x3+y2y3+z2z3)+t3^2-L2^2=0 式４
t3^2-2t3t1(x3x1+y3y1+z3z1)+t1^2-L3^2=0
が得られ、次式となる。式中「sqrt」は平方根を表す。
t1=A1・t2±sqrt((A1^2-1)・t2^2+L1^2)
t2=A2・t3±sqrt((A2^2-1)・t3^2+L2^2) 式５
t3=A3・t1±sqrt((A3^2-1)・t1^2+L3^2)
ここで、A1,A2,A3は次式のとおりである。
A1=x1x2+y1y2+z1z2
A2=x2x3+y2y3+z2z3 式６
A3=x3x1+y3y1+z3z1

実数解を持つために、式５の平方根の中が正になる。
t1≦ sqrt(L3^2/(1-A3^2))
t2≦ sqrt(L1^2/(1-A1^2)) 式７
t3≦ sqrt(L2^2/(1-A2^2))

この条件を満たす実数ｔ１、ｔ２、ｔ３を順次、式５に代入し、式５が成立するすべてのｔ１，ｔ２，ｔ３を算出する。次に上記の式１からｐ１，ｐ２，ｐ３を、即ち、再帰反射体の３次元位置を算出する。再帰反射体が３つの場合には二つの解ができるが、本例の場合は再帰反射体が４つあるので、他の３つの再帰反射体、例えばａ１，ａ３，ａ４について上記と同様の計算を行い別の２つの解を導出する。その２つの解の内一つは再帰反射体の位置が同じ値を示すので、それを正解とする。このようにして４つの再帰反射体ａ１，ａ２，ａ３，ａ４を有する再帰反射体セットの３次元位置および角度の少なくとも一方を得ることができる。

また、図１（ｂ）に示すように、位置計測用の再帰反射体とは別に識別（ＩＤ）用の再帰反射体ｂ１，ｂ２が配置される。これは、他の再帰反射体セットと識別するために付与されるものである。再帰反射体ｂ１，ｂ２は、複数の再帰反射体セット毎に位置関係の分かっている固有の位置に配置される。再帰反射体ｂ１，ｂ２の数は、上記の例に限定されず、１つ以上であればよい。このＩＤ用再帰反射体を、再帰反射体セット毎に別々のところに配置することで、各再帰反射体セットを他の再帰反射体セットから識別することができる。識別方法としては、撮像装置２で撮像したＩＤ用再帰反射体の画像における位置関係から識別可能である。これにより、複数の再帰反射体セットが配置された対象物が動いたとき、その３次元位置や角度を計測し、その計測情報をコンピュータに取り込んで表示装置上でその動きを再現することができる。この技術を利用してモーションキャプチャー装置を実現することができる。

図７は、演算装置としてパーソナルコンピュータ（ＰＣ）を用いた場合の一例を示すブロック図である。演算装置３は、撮像装置２の２次元撮像素子２１で撮像した３つ以上の方向付基本標識を有する標識セットの画像情報を入力する入力部４１と、入力した画像情報に基づいて前記対象物の３次元位置および角度の少なくとも一方を演算する演算部（ＣＰＵ）４２と、演算した前記対象物の３次元位置および角度の少なくとも一方を例えばモニタ等の表示装置４に出力する出力部４３とを備える。演算部４２には記憶部４４が接続され、両者間で情報の授受が行われる。記憶部４４は演算部４２で実行されるプログラムやそこで用いられる各種情報を格納するものであり、内部メモリとして構成することができるが、これに限定されず、外部に接続した記憶装置でもよい。

以上の手順は、コンピュータに次のプログラムを実行させることで実施することができる。図８はコンピュータにより実行される手順の一例を示すフロー図である。すなわち、このプログラムは、コンピュータに、対象物に取り付けられた位置関係の分かっている複数の再帰反射体を有する再帰反射体セットを上述の撮像装置で撮像した再帰反射体セットの画像情報を入力する手順（ステップ９１）、入力した画像情報に基づいて対象物の３次元位置を計算し複数の解を得る手順（ステップ９２）、複数の解から対象物の３次元位置および角度の少なくとも一方を求める手順（ステップ９３）を実行させるためのものである。本例では、プログラムを演算装置の記憶部に格納した実施形態として説明したが、このプログラムをＣＤＲＯＭ等の記憶媒体に格納して又は通信手段によって提供することも可能である。

１再帰反射体セット
２撮像装置
３演算装置
４表示装置
５基板
６レンズの光軸
１０対象物
２１２次元撮像素子
２２レンズ
２３光源
２４、２５、２８誘電体多層膜帯域通過フィルタ
２６光源支持体
２７レンズ保持体

Claims

２次元撮像素子と、前記２次元撮像素子の前方に配置されたレンズと、前記レンズの周囲に配置された１つまたは複数の光源と、前記レンズおよび光源の前方に配置された誘電体多層膜帯域通過フィルタとを備えた撮像装置。
前記誘電体多層膜帯域通過フィルタが、前記レンズおよび光源の前方にそれぞれ別個に設けられる請求項１記載の撮像装置。
前記光源が、前記レンズの光軸方向の向きに配置される請求項１または２記載の撮像装置。
前記複数の光源の一部または全部が、前記レンズの光軸方向とは異なる向きに配置され、前記異なる向きに配置された光源が別の向きの光源と異なる発光波長を有する請求項１または２記載の撮像装置。
対象物に取り付けられた位置関係の分かっている複数の再帰反射体を有する再帰反射体セットと、前記再帰反射体セットを撮像する請求項１〜４のいずれかに記載の撮像装置と、前記撮像装置で撮像した前記再帰反射体セットの画像に基づいて前記再帰反射体セットの３次元位置および角度の少なくとも一方を演算する演算装置とを備えた位置計測システム。
前記再帰反射体セットが、他の再帰反射体セットと識別するための識別用再帰反射体を備えた請求項５記載の位置計測システム。
コンピュータに、対象物に取り付けられた位置関係の分かっている複数の再帰反射体を有する再帰反射体セットを請求項１〜４のいずれかに記載の撮像装置で撮像した前記再帰反射体セットの画像情報を入力する手順、前記入力した画像情報に基づいて対象物の３次元位置を計算し複数の解を得る手順、前記複数の解から前記対象物の３次元位置および角度の少なくとも一方を求める手順を実行させるためのプログラム。