JP4682326B2 - 光学式モーションキャプチャにおけるマーカー認識方法及び装置 - Google Patents

Description

本発明は、光学式のモーションキャプチャシステムにおいて、受けた光を反射するか或いは自ら光を生成することによって光を発する小型のマーカーを認識する方法と、その方法を実施する装置に関する。

モーションキャプチャでは、動く対象物体、例えば人間の動作を、各種センサを使用して追尾することによって、その動作軌跡に関するデータをコンピュータに取り込むことを基本としている。例えば、関節等にセンサを取り付けた状態で様々な動作をしてもらい、センサからの位置情報を３次元の座標データに変換することによって、人間の動作をコンピュータに取り込む。
被写体を追尾するセンサには、光の反射や自発光する機材を利用した光点感知式の光学式センサや、磁気を感知する磁気センサや、関節が生成する二面角の値を機械式に感知する力学的なセンサなどが使われる。

取り込まれたデータは、例えば仮想空間内でのキャラクタの動作を決定するために利用される。実際の人間の動作を再現しているため、キャラクタの動きはリアルなものになる。他に、ゲームや、医療、工業など様々な分野に応用されている。

光学式モーションキャプチャシステムは、反射式マーカーを利用すれば被写体の身体に接続するコード等を必要としていないので、自然な動作をしやすい利点がある。
典型的な光学式モーションキャプチャシステムの概要は、次の通りである。
被写体の身体上における主要ポイント、例えば、頭、首、肩、腕、手首、腰、膝、足首などに、複数の反射式マーカーが取り付けられる。反射式マーカーとしては、例えば交通標識等にも利用されている再帰性反射素材を、小型軽量かつ球形の素材に貼りつけた小型反射球が利用される。
再帰性反射素材を用いる場合は、通例カメラとカメラの周囲に配置された照明装置が１組の動作記録装置となり、照明装置からの光は、反射式マーカーによって反射され、カメラによって捉えられる。
別の角度から同様の動作記録装置を使うなどして、１つの反射式マーカーを同時に複数の動作記録装置が捉えることにより、その反射式マーカーの三次元座標を得ることが可能となる。

この反射光源による光学式モーションキャプチャシステムにおいては、複数の反射球を身体に取り付け、複数の動作記録装置によって光の反射を捉えることにより被写体の動きを検出しようとするものであるが、これには、一般的に複数のカメラと照明装置が必要となるためシステムが大掛かりとなる難点がある。
また、動きが広範囲に及ぶ場合には、それを取り囲むように多数の動作記録装置が必要となり、また反射式マーカーが被験者の身体そのものによってカメラから隠蔽されることを想定した場合、動作記録装置は多い方が隠蔽によるエラーを回復するために好都合である。逆に、動きが想定範囲内であり、隠蔽が発生しないような条件ならば動作記録装置は少なくてもよい。

更に、被写体の主要ポイントに取り付けられている複数のマーカーが、被写体の動作によっては互いに重なったり、或いは、画像を捉えるフレームの少し外に移動したときなどには、各マーカーの識別に誤りが生じたり、欠損が生じ易く、データ処理に支障をきたすといった問題があった。
特に、腕の動作がある場合や、複数の人間による動作をキャプチャしようとする場合には、光の隠れが多発しかねない。
例えば、２人の人間がダンスをしている様子をモーションキャプチャするような場合は、各人に取り付けられる点光源の色を相異させることによって、両者を画像上で区別できる。しかし、２人の位置関係と動作の様態によっては、カメラに対して人間が重なってしまうことは避けがたく、フレームから少しはみ出た点光源のデータの修正は依然として必要である。

通例、撮像装置のレンズ群は被写体から見ると円形をしていて、受光手段の受光面に合わせて自動なり手動なりの調整を行って合焦を行なう。その時、円形のレンズが描く合焦した全体像は円形である。この合焦した全体像は一般的にイメージサークルと呼ばれている。一方、通例の受光面の形状は長方形であり、円形のイメージサークルに内接するように配置されている。
仮に受光面がイメージサークルより大きいと、得られた像の周辺には、レンズ群を介した光が届いていない区域が発生してしまうことになり、その光が届いていない部分の受光面のフィルムなりデータなりの一部が無駄となってしまう。
また通例、イメージサークルの周辺部分の画像は色収差が生じたり、また中央との光量差などが大きく、画質を上質に保つために切り捨てられる部分であるために、イメージサークルは受光面の長方形に外接しているというよりは、受光面より一回り大きな領域を成している場合が多い。これは、逆に考えれば色収差やイメージサークルの外周部分の減光を考慮しない場合は、十分に使える情報であるということを意味している。

既存の機材を用いる場合、受光面の面積を増加させるのは困難であるが、合焦状態を変更するのは容易である。合焦状態で撮像した光点がフレームアウトして見失う場合でも、イメージサークル内にはまだ光点が存在する状態（少しはみ出た状態）ならば、光点を円と捉えた場合、非合焦状態にすれば光点の中心はフレーム内になくとも非合焦ゆえにボケた像（中心部分を含まない円の一部）は十分にフレーム内に発生し、その情報を受光手段は受光することが可能である。周辺画像のために収差や減光の影響は受けているであろうが、光点の有無を優先して考えるならば十分に利用可能な情報である。
しかし、この情報を利用する従来技術はなかった。

このようなデータの修正に関連する従来技術としては、特許文献１〜３などがある。
例えば、特許文献１は、撮像により得られた動画像自体を画像データとして記憶しておくことで、画像を確認しながらマーカーのトラッキングを行えるようにして、不足データの追加や認識過誤の修正に寄与させる技術である。
しかしながら、被写体画像が合焦状態で撮像されているとすると、フレームから少しはみ出てしまった発光体の検出を、容易に修正することは困難であった。
特開平１０−２２２６６８ 特開２００４−１０１２７３ 特開平１０−７４２４９

また、一般にマーカーは、大きい方が発見しやすいが、被写体の動作等に負担を与えかねない。小さいマーカーは隠蔽されやすいが、従来技術では小さいマーカーに対する特別な工夫や技術もなかった。

そこで、本発明は、光学式モーションキャプチャにおいて、マーカーが、小さくても、また合焦時点で撮像フレームから少々はみ出したりしても、これらの問題点を回避しつつ、ほぼ同じようにマーカー位置を検知できる認識方法及び装置を提供することを課題とする。

上記課題を解決するために、本発明の光学式モーションキャプチャにおけるマーカー認識方法は、次の構成を備える。すなわち、受けた光を反射するか或いは自ら光を生成することによって光を発するマーカーを略表面に装備した被写体を連続的に撮像し、その撮像画像をコンピュータに取り込んでデータ処理することによって、被写体の動きを検出する光学式モーションキャプチャシステムにおいて、被写体に対向する受光手段の前面に配設される合焦調整手段によって、受光手段で受けるマーカー像を非合焦状態、または、合焦調整手段を介さないで受光手段で合焦するマーカー像とは別の位置で合焦状態にすることで、マーカー像の分布域を単一の合焦状態よりも大きく撮像し、得られた撮像画像をコンピュータ処理して、マーカー像の中心位置を算出し、その位置がマーカーの位置に対応すると特定することを特徴とする。

合焦調整手段に、光を屈折または回折させる光学的処理を施されたフィルタ手段を設けて、構成の簡素化に寄与させてもよい。

フィルタ手段を、被写体から受光手段に至る光路の一部分に設け、フィルタ手段を介さずに受光手段に至った光が合焦状態になるように受光させ、それと同時に、フィルタ手段を介して受光手段に至った光が非合焦状態になるように受光させるようなフィルタを利用して、合焦・非合焦状態が混在した状態でマーカー像を受光してもよい。
同様に、フィルタ手段を介して受光手段に至った光を、合焦状態で受光させるが、フィルタ手段を介さないで受光手段で合焦した前記マーカー像とは別の周辺位置で合焦状態にするようなフィルタを利用して、分布域の大きくなったマーカー像を得てもよい。

フィルタ手段に、特定の波長の光のみを通すバンドパス手段を組み合わせると共に、その特定波長の光をマーカーに照射して反射させるか、またはマーカーに自ら発光させ、その特定波長の光を検知可能な受光手段を用いて、マーカー像の処理に寄与させてもよい。

バンドパス手段の組み合わさったフィルタ手段を介して受光手段に至った合焦・非合焦混合画像を、コンピュータによって特徴的な非合焦領域に対して画像処理を施すことにより、あたかも全域が合焦状態であるかのような映像を得て利用者に提供してもよい。

複数のマーカーを用い、マーカーによって異なる特定波長の光を、各マーカーに照射して反射させるか、または各マーカーに自ら発光させると共に、フィルタ手段に複数の非合焦化加工を施し、特定波長の光のみを通す複数のバンドパス手段を組み合わせることによって、特定の波長によって非合焦の程度を変えることによりマーカーの識別を行って、正確なモーションキャプチャに寄与させてもよい。

フィルタ手段に、特定波長の光のみを通す光学処理部分と、その光学処理を施さない未処理部分とを設け、光学処理部分を介した光によるマーカー像の分布域を大きく撮像してもよい。
例えば、フィルタ手段の半分の領域に可視光のみを透過させる光学処理を行い、残りの半分の領域に赤外光のみを透過させる光学処理を行うことで、フィルタ手段に、可視光域と赤外域との複数の特定波長の光のみを通す光学処理を行う。すると、可視光域では合焦状態にし、赤外域では非合焦状態などの所望の撮像結果を得ることができる。

上記方法を実施する本発明の光学式モーションキャプチャにおけるマーカー認識装置は、受けた光を反射するか或いは自ら光を生成することによって光を発するマーカーを略表面に装備した被写体を連続的に撮像し、その撮像画像をコンピュータに取り込んでデータ処理することによって、被写体の動きを検出する光学式モーションキャプチャシステムにおいて、被写体に対向する受光手段の前面に配設され、受光手段で受けるマーカー像を非合焦状態、または、合焦調整手段を介さないで受光手段で合焦するマーカー像とは別の位置で合焦状態にすることで、マーカー像の分布域を単一の合焦状態よりも大きく撮像する合焦調整手段と、得られた撮像画像をコンピュータ処理して、マーカー像の中心位置を算出し、その位置がマーカーの位置に対応すると特定する演算手段備えることを特徴とする。

本発明によると、合焦調整手段によって、マーカー像の分布域が大きくなるので、マーカーを小型化できると共に、カメラの死角に入ったり被写体フレームから少しはみ出したマーカーの発見や撮像データ修正に寄与する。また、被写体フレームを狭く設定することによって、データ処理量を低減させられる利点もある。

以下に、図面を基に本発明の実施形態を説明する。
本発明は、受けた光を反射する反射素材を利用したマーカーか、或いは、発光ダイオードなどのように、自ら光を生成することによって光を発するマーカーを、衣服や身体などの表面に装備した人間などの被写体を撮像し、その撮像画像をデータ処理することによってマーカーの位置を検出する装置一般に適用可能である。
ここでは、好適な実施例として、身体動作を用いてコミュニケーション行動をする人体を撮像対象とし、その複数の要所部位に通例よりも小型のマーカーを添装させ、その位置を経時的に追尾して、人体の動作をコンピュータに取り込む光学式モーションキャプチャを例示して説明する。なお、マーカーを設ける位置は、関節を介した複数の部位でもよく、モーションキャプチャしたい身体部位などに応じ、またその設置数もシステム環境などに応じて適宜設定される。

図１は、モーションキャプチャのシステムの一部概要を示す説明図である。
一般には、複数のカメラ等の受光手段（１１）が、被写体に対して異なる角度で設置される。
その被写体である人間の身体（２０）には、例えば、頭頂、首、肩、肘等の特徴部位に、マーカー（２１）が添装される。
受光手段（１１）で撮像した画像は、コンピュータの画像データ処理部（１２）に入力され、マーカー（２１）の像の位置に関する３次元座標データとして処理され、ディスプレイ（１３）に表示される。

身体（２０）のモーションキャプチャを行うには、動作によって発生するマーカーの隠蔽や混同に気を配って、複数のマーカー（２１）の配置や受光手段（１１）の配置を考慮する必要がある。
しかし、被写体が自由度の小さな身体動作の一部分であったりするならば、マーカー（２１）の隠蔽を気にすることなく適切な位置にマーカー（２１）を装着すればよい。

空間上に任意の３点があれば、１つの平面が決定される。ここで身体の関節を含まない一部断片は剛体であると仮定し、その身体の一部断片の配向に関する情報を得たいのであるならば、その断片上の３点の位置がわかればよいことになる。例えばその一部断片を顔とした場合、表情の表出による皮膚変化が無いものとすれば、すなわち剛体の顔とは独立して動作する顎や瞼などを除いたならば、顔の表面に３点のマーカー（２１）を装着するだけで顔の位置と向きがわかる。

実際の動作には物理的制限があり、そのため現実的には３点未満のマーカー（２１）でも動作情報を取得することが可能な場合もある。例えば、首より下の部分が動作せず移動もせず、常識的な範囲での首の動作を仮定すると、適切な位置の２点や１点でも顔の向きがわかる。
マーカー（２１）の数が少ないと、複数のマーカー（２１）（２１）同士の干渉が減るため、１つのマーカー（２１）の大きさをある程度大きくして捕捉しやすくすることも可能になる。

マーカー（２１）は、体積が少なく、また軽量であるほど、動作に対する負担が小さくなる。
体積が大きいと動作の邪魔になりやすく、また一般的に重量も増すためにマーカー（２１）を装着していない場合と比べて、動作が異なってしまうことも十分にありうる。動作による負担を少しでも小さくするためには、マーカー（２１）を可能な限り小型化すればよい。例えば、光を反射するタイプのマーカー（２１）ならば小型化は容易である。
しかしながら、極度に小型化を行うと、光学的に見落としやすくなってしまう危惧が生じるので、マーカー（２１）には適切な大きさが必要とされている。下記は、マーカー検索のアルゴリズム例であり、これによりマーカー（２１）の中心位置が求められる。

図２は、マーカーが大きいと発見しやすいことを示す説明図であり、図３は、マーカーの検索様態を示す説明図である。
CCDなどの電気電子的な受光手段（１１）でマーカー（２１）の位置を認識させる場合、例えば得られた画像情報が横Wピクセル、縦Hピクセルで表現されていたとする。この画像情報は２次元配列として扱うことができるので画像情報配列Aと呼ぶことにする。また、左からx番目、上からy番目の任意の配列の値はA(x,y)として表現するものとする。説明のために、この任意の配列の値A(x,y)が１であれば光点がある、すなわち受光している、0であれば光点がない、すなわち受光していないものとする。
この画像情報の中から光点を見つけ、その連続した光点の中心座標を得るアルゴリズムとしては、次のものが挙げられる。

前提条件として、マーカー像（３０）は画像情報フレーム内に１つだけ存在すると共に、画像情報フレームの端を超えて位置していないとし、マーカー像（３０）の形は円であるとする。言い換えれば、画像情報内に、欠損のないマーカー像である円が必ず映っていることとする。
まず、任意の高さ位置yで横向きに光点の有無を検索する。横向きの検索とは、配列位置(X,y)においてXを１からWまで順次変化させて配列の値を検査すればよい。もしWまで変化させても光点が見付からない場合は、さらにyとは異なる別の任意の高さ位置y’で横向きに検索する。このようにして光点が見付かるまで任意の高さを変えて続ける。y’を決定する方法は、例えばy’=y+10nなどの適切な幅を持たせた順次検索でもよいし、乱数の代入などでもよい。

この最初の光点発見が、マーカー位置特定に関して律速段階になりやすい。望ましいことは１度目の検索で発見できることである。
例えば、撮像は時間t間隔で行われるものとした場合、時間t前に発見したマーカー像（３０）の中心座標を(xm, ym)とし、時間t後のマーカーの縦方向の移動量dyがマーカー像（３０）の全高hの半分未満である場合(dy＜h/2)、マーカー像の大きさが変わらないとすると、高さ位置ymで横向きに検索すると１度目で必ず光点を発見することができる。逆に、時間t後のマーカー像（３０）の縦方向の移動量dyが大きく、マーカーの全高ｈの半分以上である場合(dy＞=ｈ/2)、高さ位置ymで横向きに検索しても光点が見つからないことになる。
このように、過去t前の中心座標を参照して発見するような場合、もし１度で見つけるなら移動量に合わせた大きなサイズのマーカー像（３０）が必要となる。

初回の検索時など、時間t前のマーカーの中心座標の位置情報を利用しない場合、画像情報フレーム内におけるマーカー像（３０）の全高がｈであるとすると、１度目の検索でランダムに任意の高さ位置yを決定した場合、光点が存在する確率は(ｈ/H)となる。画像情報フレーム内でのマーカー全高ｈが大きいほど、光点の発見確率が高くなるのは自明であり、これがマーカー像（３０）を拡大する利点となる。

横方向に検索するということは、マーカー像（３０）は一定の大きさがあるために、ちょうどマーカー像（３０）を横方向にスライスした形で光点の有無を調べていることに相当する。結果的に光点は帯状に連続するので、便宜上、光点が存在し始めた横座標をxs（一方の帯の末端）、そして光点が消失した横座標の１つ前をxe（もう一方の帯の末端）とする。
すなわち、配列Aの任意の高さ位置yに関する値を列挙すると、A(0, y)=0, A(1, y)=0……, A(xs-1,y)=0, A(xs, y)=1, A(xs+1, y)=1,……, A(xe-1, y)=1, A(xe,y)=1, A(xe+1,y)=0,……, A(W-1, y)=0, A(W, y)=0となる。
この場合、任意の高さ位置yにおける光の帯の中点xmは、(xs+xe)/2 となる。

次に、光帯の左右の中心位置xmにおいて縦向きに検索する。光帯は左右のみならず上下にも広がっている。配列位置(xm,Y)において、Yを1からHまで順次変化させて配列の値を検査すればよい。
前記と同様、光点が存在し始めた縦座標をys、そして光点が消失した縦座標の１つ前をyeとする。
すなわち、配列Aの光帯の左右の中心位置xm に関する値を列挙すると、A(xm, 0)=0, A(xm, 1)=0,……, A(xm, ys-1)=0, A(xm, ys)=1, A(xm, ys+1)=1, ……, A(xm, ye-1)=1, A(xm, ye)=1, A(xm, ye+1)=0,……, A(xm, H-1)=0, A(xm, H)=0となる。
この場合、光帯の左右の中心位置xmにおける光帯の上下の中点ymは(ys+ye)/2 となり、マーカー像の中心（３１）の座標は(xm, ym)となる。

図４は、非合焦作用のある光学フィルタ（１４）を使用し、１点のマーカー（２１）を撮像した画像を示す説明図であり、図５は、その撮像画像からマーカー像の中心（３１）を求める方法を示す説明図である。
例えばマーカー（２１）からの光の形状が円であり、レンズ群に付属する絞りの形も円ならば、受光面に届いたマーカー像（３０）は円または円の一部となり、下記の方法によってマーカー像（３０）の中心位置を計算により求めることができる。
図示の例では、レンズ群が生成するイメージサークル（３２）の内部に、受光手段の受光フレーム（３３）が収まっているが、合焦したマーカー像（３１）が受光フレーム（３３）の下部枠外に位置している場合を示している。この場合、フィルタ（１４）によって拡大された非合焦のマーカー像（３４）の上部一部が、受光フレーム（３３）の内部に達している。
非合焦マーカー像（３４）の半径rが既知であり、受光フレーム（３３）の下辺で切られる非合焦マーカー像（３４）の弦の長さ2が(xe - xs)であるとした場合、マーカー像（３０）の中心座標(xm, ym)は次のようになる。

このように、マーカー像（３０）の一部が受光フレーム（３３）内にあるが、そのマーカー像の中心（３１）は受光フレーム（３３）外にあり、そしてそのマーカー像の中心（３１）がイメージサークル（３２）内にある場合、すなわち少しはみ出た場合も、比較的容易にマーカー像（３０）の中心座標(xm, ym)を求めることができる。
なお、マーカー像（３０）が受光フレーム（３３）の端の２辺や３辺を跨いだ場合は、そのマーカー像（３０）の曲率から中心位置を求めればよい。
また、マーカー像（３０）の明度の強度分布を加味した演算を行なうことによって、マーカー像（３０）の中心座標を算出することも可能である。

以上から、マーカー（２１）は、被写体の動作に負担を与えないように適度に小型化すると共に、画像情報フレーム内でのマーカー像（３０）の大きさは、適度に大きくして発見しやすくすることが好ましい。
そこで、マーカー（２１）を小型化して動作の負担や制限を軽減すると共に、光学的手段を利用してマーカー像（３０）を大きくする。すなわち、被写体（２０）に実装するマーカー（２１）の面積は小さくするが、受光手段（１１）で撮像されるマーカー像（３０）の分布域が拡大されるように光学的な変換を行う。

通常、被写体（２０）に対向する受光手段（１１）の前面には、受光手段（１１）に目的となる像を正しく結ぶための合焦手段として、レンズ群が存在する。像が正しく結ばれているときは合焦状態であり、正しく結ばれずにぼけている時は非合焦状態であるが、通常の装置は手動或いは自動で合焦させることを当然として構成されている。
マーカー（２１）を合焦状態で撮像すると、像を正しく結んでいるためにマーカー（２１）が小さいならば、その像も同様に小さく結像する。逆に、非合焦状態では、マーカー像（３０）はぼけて拡大される。
ここで、合焦時であっても非合焦時であっても、マーカー像（３０）を示す光の塊の中心座標は通常は同一である。なお、非合焦時のマーカー像（３４）の中心点が合焦時のマーカー像（３１）の中心点が異なるレンズ群の場合は、そのレンズ群専用の補正式で修正し、非合焦マーカー像（３０）の中心点から合焦時マーカー像の中心点を求めればよい。

マーカー（２１）の発光量または反射光量が、他の通常物体に比べて著しく大きいならば、著しく非合焦状態であっても光が発散してマーカー（２１）以外の反射光に埋もれることがなく、例えば光量が所定の閾値以下の情報ならば捨象するような処理を加える等を行えば、マーカー像（３０）だけを分離することは容易である。非合焦時の光のぼけによる拡散が導く受光面上の任意の１点への光強度の低下は、マーカー（２１）からの多量の光によって防ぐことが可能である。

合焦調整手段には、光学フィルタ（１４）が最も簡易に利用できる。受光手段（１１）の前面に設置するだけでよい。
光学フィルタ（１４）の例としては、透過性のある凹レンズや凸レンズなど、光を屈折させることができるものが適宜利用できる。もしレンズ群の自動合焦機能が働いてしまうならば、その合焦範囲を超えるように強い屈折をさせればよい。また光をレンズ群に対して直進させなければよいので、回折格子などで構成してもよい。

太陽や月にかかる暈という自然現象があるが、これと同じような屈折現象を模した光学フィルタ（１４）は現在の技術で作成が可能である。例えば、微小な粒状の光透過性素材をガラスの表面に添装してフィルタを構成してもよい。
このような光学フィルタ（１４）によると、マーカー（２１）からの光を直進させずに散乱させたり焦点位置を変化させる作用があるので、中心部に位置するマーカー像（３０）の周りに、散乱した光がそれを包むように結像したり、焦点位置が変わるためにボケた像を結像し、光学フィルタ（１４）無しに比べてマーカー像（３０）の領域が広がる。

図６は、部分的に光学処理されたフィルタを示す説明図である。
フィルタ（１４）は、透過性のあるガラスなどの素材で板状に構成され、その表面に、光を散乱、回折、一定方向へ屈折させるなどの光学処理を細かく一定間隔で施してある。処理の施された部分（１５）と未処理の部分（１６）とが格子状に並んでいる。

このようにフィルタ（１４）の表面の半分など一部分のみを光学処理すると、未処理部分（１６）を通った光は通常通り合焦して結像し、処理部分（１５）を通った光は非合焦として所望の撮像結果を得られる。この処理部分（１５）と未処理部分（１６）の比率を適度に変えれば、コントラスト検出式の自動合焦手段でも合焦を検出することができるので、合焦状態を探して合焦装置が迷い続けることを防ぐことができる。

フィルタ（１４）の光学処理部分（１５）に、更に、特定の波長の光のみを通すバンドパス手段を組み合わせてもよい。
例えば、特定波長の光を赤外光として、その赤外光をマーカー（２１）に照射して反射させるかまたはマーカー（２１）に自ら発光させ、光学処理部分（１５）にのみに赤外光だけを通すＩＲフィルタを用い、受光手段（１１）も赤外光を検知可能なもので構成する。
この処理部分（１５）と未処理部分（１６）の比率を、例えば等しく半々にすると、可視光量が半分になる。これは、可視光域では光量を半分にするＮＤフィルタを装着したのと同じ状態で合焦した状態であり、赤外域では光学処理を受けるので非合焦などの所望の撮像結果を得ることになる。この場合も、通常の可視光によるコントラスト検出式の自動合焦手段でも合焦を検出することができる。

この場合、合焦した可視光画像でのマーカー像（３０）は小さいので、非合焦のマーカー情報を電気電子的に画像処理して存在しないように見せれば、残りは合焦しているので通常動画として用いても違和感がなく使えるという利点もある。
マーカー情報の電気電子的な画像処理としては、例えば、マーカー像（３０）が円形に明るく映っているとしたら、得られたマーカーの中心位置と適切な円の半径を用いて、その円の部分だけ光量を落とす、コントラストを高めるなどの演算処理を施し、あたかも非合焦状態のマーカーが映っていないように見せるなどの方法が挙げられる。
なお、このフィルタ（１４）は、ガラス面の一方の面に光学処理を施し、裏面に赤外フィルタを貼るなどによって、容易に形成できる。他の方法としては、受光手段の手前にプリズム等を用いて光を２分し、一方に可視光のみを通すフィルタを用い通常合焦像として、もう一方に赤外光のみを通すフィルタを用い非合焦像として撮像画像を得ることが可能である。

この手法を応用すると、複数のマーカー（２１）の識別に利用できる。すなわち、各マーカー（２１）によって異なる特定波長の光を、各マーカー（２１）に照射して反射させるか、または各マーカー（２１）に自ら発光させる。フィルタ手段（１４）には、各マーカー（２１）が発する特定波長の光のみを通す複数のバンドパス手段を組み合わせることによって、マーカー（２１）の識別を行う。

図７は、２種類の光学処理をそれぞれ部分的に施したフィルタを示す説明図である。
フィルタ（１４）の表面の50%を未処理部分（１６）とし、25%を特定の光学処理uを施した処理部分（１７）とし、更にその部分にのみ特定の非可視波長域Uのみを透過させるフィルタを組み合わせた。そして残り25%を、光学処理uとは異なる光学処理vを施した処理部分（１８）とし、更に、その部分にのみ非可視波長域Uとは異なる非可視波長域Vのみを透過させるフィルタを組み合わせた。
マーカー（２１）にも処理を施し、異なる波長域u, vのみを発光または反射するものを利用する。受光手段（１１）も波長域u, vを検知可能なもので構成する。
また、例えば、ある波長域Aのみを通すフィルタをａある波長域Ｂのみを通すフィルタをｂとして、フィルタ（１４）表面の１／３づつを、無加工、大きく屈折させる加工、小さく屈折させる３種の加工を施し、大きく屈折させる加工部分にフィルタａを、小さく屈折させる加工部分にフィルタｂを貼る。すると、全光量の内の１／３中の波長域Aは大きく屈折、全光量の内の１／３中の波長域Ｂは小さく屈折、また全光量の内の１／３中の全波長は素通りしたのと等しくなる。これによって、波長域Ａは非合焦程度が大きいために大きな光点になり、波長域Ｂは非合焦程度が小さいために小さな光点になり、全光量の１／３を利用した合焦像を伴って現れる。

本発明の光学式モーションキャプチャにおけるマーカー認識方法及び装置によると、被写体への負担を軽減できると共に、モーションキャプチャの精度を向上させられるので、産業上非常に有用である。特に、構成的には、簡素な構成の光学フィルタを一枚追加し、画像処理ソフトを若干改変すれば実現できるので、実施に困難が少ない利点もある。

モーションキャプチャのシステムの一部概要を示す説明図 マーカーが大きいと発見しやすいことを示す説明図 マーカーの検索様態を示す説明図 非合焦化フィルタを使用し１点のマーカーを撮像した画像を示す説明図 同撮像画像からマーカー像の中心を求める方法を示す説明図 部分的に光学処理されたフィルタを示す説明図 ２種類の光学処理をそれぞれ部分的に施されたフィルタを示す説明図

符号の説明

１１ 受光手段
１２ 画像データ処理部
１３ ディスプレイ
１４ フィルタ手段
１５，１７，１８ フィルタの光学処理部分
１６ フィルタの未処理部分
２０ 人間の身体
２１ マーカー
２２ 被写体フレーム
３０ マーカー像
３１ 合焦マーカー像
３２ イメージサークル
３３ 受光フレーム
３４ 非合焦マーカー像

Claims (5)

1. 受けた光を反射するか或いは自ら光を生成することによって光を発するマーカーを略表面に装備した被写体を連続的に撮像し、その撮像画像をコンピュータに取り込んでデータ処理することによって、被写体の動きを検出する光学式モーションキャプチャシステムにおいて、
   被写体に対向する受光手段の前面に、光を散乱または、回折、屈折させる光学処理を施してある光学処理部分と、その光学処理を施していない未光学処理部分とを有する合焦調整フィルタを配設し、
   その合焦調整フィルタの未光学処理部分を介して受光手段に達する合焦状態のマーカー像と、合焦調整フィルタの光学処理部分を介して受光手段に達する非合焦状態のマーカー像とを、同一の受光手段で同時に得て、
   得られた撮像画像をコンピュータ処理して、各マーカー像の中心位置を算出し、その各中心位置が各マーカーの位置に対応すると特定する
   ことを特徴とする光学式モーションキャプチャにおけるマーカー認識方法。
2. 合焦調整フィルタの光学処理部分に、特定の波長の光のみを通すバンドパス手段を組み合わせると共に、
   その特定波長の光をマーカーに照射して反射させるか、またはマーカーに自ら発光させ、
   その特定波長の光が検知可能な受光手段を用いる
   請求項１に記載の光学式モーションキャプチャにおけるマーカー認識方法。
3. バンドパス手段の組み合わさった合焦調整フィルタの光学処理部分を介して受光手段に至るマーカー像を、コンピュータ処理によって捨象する
   請求項２に記載の光学式モーションキャプチャにおけるマーカー認識方法。
4. 複数のマーカーを用い、マーカーによって異なる特定波長の光を、各マーカーに照射して反射させるか、または各マーカーに自ら発光させると共に、
   合焦調整フィルタの光学処理部分に、各マーカーが発する特定波長の光のみを通す複数のバンドパス手段を組み合わせることによって、マーカーの識別を行う
   請求項２または３に記載の光学式モーションキャプチャにおけるマーカー認識方法。
5. 受けた光を反射するか或いは自ら光を生成することによって光を発するマーカーを略表面に装備した被写体を連続的に撮像し、その撮像画像をコンピュータに取り込んでデータ処理することによって、被写体の動きを検出する光学式モーションキャプチャシステムにおいて、
   被写体に対向する受光手段の前面に配設され、光を散乱または、回折、屈折させる光学処理を施してある光学処理部分と、その光学処理を施していない未光学処理部分とを有する合焦調整フィルタと、
   その合焦調整フィルタの未光学処理部分を介して受光手段に達する合焦状態のマーカー像と、合焦調整フィルタの光学処理部分を介して受光手段に達する非合焦状態のマーカー像とを、同時に得る同一の受光手段と、
   得られた撮像画像をコンピュータ処理して、各マーカー像の中心位置を算出し、その各中心位置が各マーカーの位置に対応すると特定する演算手段とを備える
   ことを特徴とする光学式モーションキャプチャにおけるマーカー認識装置。
   

Images