JP2009531655A5 - - Google Patents

Description

スペックル・パターンを用いた三次元検出

（関連出願への相互参照）
本出願は、２００６年３月２４日出願の米国仮特許出願６０／７８５，１８７号の恩典を申し立てる。本出願は、２００６年３月１４日出願のＰＣＴ特許出願ＰＣＴ／ＩＬ２００６／０００３３５号の一部継続出願であり、これは、２００５年１０月１１日出願の米国仮特許出願６０／７２４，９０３号の恩典を申し立てる。これら全ての関連出願は、本特許出願の譲渡人に譲渡され、これらの開示は、本願中に参照することにより盛り込まれている。

（技術分野）
本発明は、全般として、三次元（３Ｄ）被写体をマッピングする方法およびシステムに関し、特にスペックル・パターンを用いた三次元光学撮像に関する。

コヒーレントな光ビームが拡散板を通過し、１つの表面に投影されると、その表面上に第１次スペックル・パターンが観察されうる。この第１次スペックルは、拡散されたビームの異なる成分の干渉により引き起こされる。本特許出願および請求項中では、「第１次スペックル」とはこの意味で用いられ、被写体の粗い表面からのコヒーレント光の拡散反射により引き起こされる第２次スペックルとは区別されている。

Ｈａｒｔは、特許文献１および特許文献２（これらの開示は、本願中に参照することにより盛り込まれている）中で、高速三次元撮像システムにおけるスペックル・パターンの使用について説明している。このシステムは、能動撮像素子およびＣＣＤ素子を備えた単レンズカメラのサブシステムと、相関処理サブシステムとを有する。この能動撮像素子は回転絞りでありえ、これにより、被写界深度をより大きくし、画素未満の変位精度を高めるために、デフォーカス画像間で調節可能な非等辺間隔が可能になる。スペックル・パターンは被写体上に投影され、結果として得られるパターンの画像は、複数の角度から得られる。これらの画像は、画像相関技術を用いて、局所的に相互相関され、局所的に相関された各領域の三次元座標を計算するために、その表面は、相対的なカメラの位置情報を用いて解像される。

Ｈｕｎｔｅｒ他による特許文献３（この開示は、本願中に参照することにより盛り込まれている）には、別のスペックルに基づく三次元撮像技術が記載されている。無作為のスペックル・パターンが、１つの三次元表面に投影され、複数のカメラにより撮像され、複数の二次元デジタル画像が得られる。二次元画像は処理され、その表面の１つの三次元特徴が得られる。
台湾特許ＴＷ５２７５２８ Ｂ号 米国特許出願０９／６１６，６０６号 米国特許６，１０１，２６９号

（発明の要約）
本発明の実施形態は、第１次スペックル・パターンを用いて正確でリアルタイムな、三次元被写体のマッピングを行う。上記ＰＣＴ特許出願および下記の実施形態中に記載された方法とシステムでは、単一のコヒーレントな光源と、静止しかつこの光源に対して固定角度で保持された単一の画像センサとを用いてこのような三次元マッピングを行うことができる。

本発明の１つの観点は、スペックル・パターンの１つの参照画像が、最初に既知の輪郭の１つの参照表面上で獲得されるという点である。次に、被写体上に投影されたスペックル・パターンの画像を獲得し、この画像と参照画像とを比較することにより、被写体の三次元輪郭が決められる。

本発明の別の観点は、被写体が動くと共に、被写体上のスペックル・パターンの連続画像が獲得されるという点である。三次元で被写体の動きを追跡するために、各画像は、先行する画像の１つまたは複数と比較される。以下で説明する１つの実施形態では、光源と画像センサは、１つの直線上に配され、連続する画像間の１次元の相関係数を演算することにより、迅速でかつ精確に動きを追跡することができる。

ある実施形態では、精度、被写界の深度および三次元マッピング・システムの演算速度を高めるために、新規の照明および画像処理構成を用いている。

したがって、本発明の１実施形態によれば、被写体上に第１次スペックル・パターンを投影するよう配されたコヒーレントな光源と拡散板とを有する照明装置と、照明装置に対して相対的に、単一かつ固定の位置および角度から、被写体上の第１次スペックル・パターン画像を獲得するように配された単一の画像獲得装置と、被写体の三次元マップを導き出すために、単一かつ固定角度で獲得された第１次スペックル・パターンの画像を処理するために接続されたプロセッサとを有する被写体の三次元マッピング装置が提供されている。

ある実施形態では、装置は、照明装置に対して画像獲得装置を空間的に固定させるために、照明装置および画像獲得装置に取り付けられている台を有する。ある実施形態では、画像獲得装置は、第１および第２の互いに直交する軸を規定する直線パターン中に配された、検出素子アレイと、対物光学系とを有し、この対物光学系は、入射瞳を有し、画像をアレイ上にフォーカシングするために配され、ここで、第１軸に平行である装置の軸であって、かつ、入射瞳とコヒーレントな光源により生成されるビームが拡散板を通過するスポットとを通る装置の軸を規定するように、照明装置と画像獲得装置とが台によって配されている。このように、第１軸上のみで、１つまたは複数の画像中で獲得された第１次スペックル・パターンと、第１次スペックル・パターンの参照画像との間での偏移値を見つけることにより、三次元マップを導き出すために、プロセッサが配されている。

１つまたは複数の画像中で獲得された被写体上の複数領域の第１次スペックル・パターンと、第１次スペックル・パターンの参照画像との間で、各偏移値を見つけることにより三次元マップを導き出すために、プロセッサが配されており、各偏移が、領域と画像獲得装置との間の各距離を示している実施形態もある。通常、画像獲得装置は照明装置から所定の間隔を隔てて位置づけられ、各オフセットは、この間隔により決められる割合で、各距離に比例している。開示された実施形態では、照明装置により投影される第１次スペックル・パターンは、特徴的な寸法のスペックルを有し、画像中のスペックルの寸法は、間隔に依存する許容誤差により像全域で変動し、間隔は、許容誤差が所定の範囲内に収まるように選択される。

追加的に、または、これに代えて、画像獲得装置中の歪曲の係数モデルを用いて、各偏移を三次元マップの各座標に関連付けるように、プロセッサが配されている。さらに追加的に、または、これに代えて被写体の第１領域中の第１次スペックル・パターンと、第１領域に対して相対的に第１偏移値における参照画像のこれに対応する領域との間で、最初の適合を見つけることにより、各偏移を見つけ、かつ第１の領域に隣接する画素の各偏移値を見つけるために、第１偏移に基づいて範囲拡張法を用いるように、プロセッサが配されている。

開示されたある実施形態では、被写体の三次元の動きのマッピングを行うために、被写体が動いている間に連続する獲得画像を処理するように、プロセッサが配されており、被写体は、人間の体の一部分であり、三次元の動きは、人間の体の一部分により行われる動作であり、動作に応答して、コンピュータ・アプリケーションに入力を提供するために、プロセッサが接続されている。

照明装置が、ビーム形成装置を有し、これは、装置の検出ボリュームの全域で、拡散板により作られるスペックル・パターンのコントラストの変動を減らすように配されている実施形態もある。ある実施形態では、ビーム形成装置は、回折光学素子（ＤＯＥ）と、拡散板のフーリエ面を規定するように配されたレンズとを有し、ＤＯＥは、フーリエ面中に位置づけられている。ビーム形成装置は、拡散板から発せられる光の発散を減らすために配されてもよく、あるいは、拡散板から発せられる光の強度を、照明装置の光軸に横断する面全面で等しくするために配されてもよい。

ある実施形態では、プロセッサは、光学相関器を有し、この光学相関器は、参照スペックル・パターンを含む回折光学素子（ＤＯＥ）を有し、また、画像獲得装置は、被写体の複数のサブ画像をＤＯＥ上に投影し、被写体の三次元座標を示す各相関ピークを発生させるように配された小型レンズ・アレイを有する。

コヒーレント光源のコヒーレンス長が、１ｃｍ未満である実施形態もある。追加的に、または、これに代えて第１次スペックル・パターンは、特徴的な寸法を有するスペックルを有し、コヒーレント光源と拡散板との間の距離を変えることにより、スペックルの特徴的な寸法を調節することができるように、照明装置が構成されている。

本発明の１実施形態によれば、被写体上に第１次スペックル・パターンを投影するようために、光源から拡散されたコヒーレントな光のビームで、被写体を照明するステップと、光源に対して相対的に、単一かつ固定の位置および角度から、被写体上の第１次スペックル・パターンの画像を獲得するステップと、被写体の三次元マップを導き出すために、単一かつ固定角度で獲得された第１次スペックル・パターンの画像を処理するステップとを有する被写体の三次元マッピング方法が提供される。

さらに追加して、本発明の１実施形態によれば、コヒーレンス長が１ｃｍ未満であるコヒーレント光源と拡散板とを有し、これらが被写体上に第１次スペックル・パターンを投影するよう配された、照明装置と、被写体上の第１次スペックル・パターン画像を獲得するように配された画像獲得装置と、被写体の三次元マップを導き出すために、第１次スペックル・パターンの画像を処理するために接続されたプロセッサとを有する被写体の三次元マッピング装置が提供される。

ある実施形態では、コヒーレントな光源のコヒーレンス長は０．５ｍｍ未満である。追加的に、または、これに代えて、コヒーレントな光源の発散は５°より大きい。

本発明は、以下の本発明の実施形態の詳細な説明を図面と共に参照すると、より完全に理解されるであろう。

（図面の簡単な説明）
図１は、本発明の１実施形態による三次元マッピング・システムを絵で示した概略図である。
図２は、本発明の１実施形態によるスペックル撮像装置の概略上面図である。
図３は、本発明の１実施形態による三次元マッピングの１つの方法を概略的に示したフローチャートである。
図４は、本発明の別の実施形態による、三次元マッピング・システムで用いられる照明装置の概略側面図である。
図５は、本発明の１実施形態によるビーム形成装置の概略側面図である。
図６は、本発明のさらに別の実施形態によるビーム形成装置の概略側面図である。
図７は、本発明のさらに別の１実施形態による、三次元マッピング・システムで用いられる光学相関器の概略側面図である。

図１は、本発明の１実施形態による三次元マッピング・システム２０を絵で示した概略図である。システム２０は、スペックル撮像装置２２を有し、この装置は、第１次スペックル・パターンを生成し、被写体２８に投影し、この被写体上に現れた第１次スペックル・パターンの像を獲得する。装置２２の詳細な設計および作用は以下の図面に示し、これに関連して以下に説明する。

画像プロセッサ２４は、被写体２８の１つの三次元マップを得るために、装置２２により生成された画像データを処理する。本特許出願および請求項で用いられる「三次元マップ」という用語は、被写体の表面を表す１組の三次元座標群を指す。画像データに基づいてこのようなマップを導き出すことは、「三次元再構成」と呼ぶこともできる。このような再構成を行う画像プロセッサ２４は、汎用コンピュータプロセッサからなってもよく、以下に説明する機能を実施するためのソフトウェアにプログラムされている。このソフトウェアは、例えばネットワークを介して電子的な形態で、プロセッサ２４にダウンロードされてもよいし、あるいは、光学、磁力または電子メモリ媒体などの有形メディア上で提供されてもよい。あるいはまたはこれに加えて、この画像プロセッサのいくつかのまたは全ての機能は、特注または半特注の集積回路またはプログラム可能なデジタル信号プロセッサ（ＤＳＰ）などの、専用ハードウェア中に実装されてもよい。プロセッサ２４は、図１には、例として撮像装置２２とは別のユニットとして示すが、プロセッサ２４のいくつかのまたは全ての処理機能は、撮像装置の筐体内で適切な専用の回路によって、または撮像装置に付属して実装されてもよい。

プロセッサ２４により生成された三次元マップは、広範囲の様々な目的に用いられることができる。例えば、このマップは、被写体の擬似三次元像を示すディスプレイ２６のような出力装置に送ることができる。図１の例では、被写体２８は、題材となる体の全部分またはその一部（例えば、手）からなる。この場合、システム２０は、仕草に基づくユーザ・インタフェースを提供するために用いられることができ、装置２２により検出されたユーザの動きが、マウス、ジョイスティックやその他の付属品などの触知型インタフェース部材に代わって、ゲームなどの対話型のコンピュータ・アプリケーションを制御する。あるいは、システム２０は、三次元座標の輪郭が必要とされる実質的にいかなるアプリケーション用に、他の種類の被写体の三次元マップを生成するように使用されてもよい。

図２は、本発明の１実施形態による１つの装置２２の概略上面図である。１つの照明装置３０は、１つのコヒーレントな光源３２を有する。これは通常１つのレーザおよび１つの拡散板３３からなる。（本特許出願の文脈中では、「光」という用語は、いかなる種類の光学的放射をも意味し、例えば、赤外線、紫外線および可視光線を含む。）光源３２より発せられた光のビームは、半径ｗ_０の１つのスポット３４で拡散板３３を通過し、１つの発散ビーム３６を生成する。上述のＰＣＴ特許出願ＰＣＴ／ＩＬ２００６／０００３３５号で説明したように、拡散板３４によりＺ_ｏｂｊ１およびＺ_ｏｂｊ２の距離に作られた第１次スペックル・パターンは、
被写体距離Ｚ_ｏｂｊにおけるスペックル・パターンの軸上寸法ΔＺが、
ΔＺ＝（Ｚ_ｏｂｊ／ｗ_０）^２・λ
により与えられる距離の範囲にＺ_ｏｂｊ１およびＺ_ｏｂｊ２ が、ある場合は、良い近似の程度まで互いに線型に縮尺増大された像である。

１つの画像獲得装置３８は、被写体２８上に投影されたスペックル・パターンの１つの画像を獲得する。装置３８は、画像を１つの画像センサ４０上に焦点を結ばせる対物光学系３９からなる。通常、センサ４０は、ＣＣＤまたはＣＭＯＳベースの画像センサレイなどの、検出素子４１の直線的アレイからなる。対物光学系３９は、画像センサの寸法と共に画像獲得装置の１つの視野４４を規定する１つの入射瞳４２を有する。この装置２２の検出領域は、ビーム３６と視野４４との間の１つの重複領域４６からなる。

Ｚ_ｏｂｊの距離において照明装置３０により投影された特徴的な横断方向のスペックル寸法（これは、スペックル・パターンの二次的な統計により規定される）は、
ΔＸ＝（Ｚ_ｏｂｊ／Ｗ_０）・λ
である。発明者らは、光学像処理の性能の最適化のためには、センサ４０上に結像されるスペックル寸法は、範囲および解像度の要求に応じて、１〜１０画素であるべきで、すなわち、光学系３９によりセンサ４０上に結像される各スペックルは、水平方向に１〜１０検出素子４１数だけ拡がるべきであると見出した。典型的用途では、２〜３画素のスペックル寸法がよい結果をもたらす。

上のΔＸに関する式から、スペックル寸法は、光源３２と拡散板３３との間の距離を変えることにより調節可能であることがわかるが、これはスポット３４の半径ｗ_０が、光源からの距離が長くなるにつれ、大きくなるからである。このように、照明装置３０のスペックル係数は、レンズやその他の光学系を用いずとも、単に光源を横方向に移動させることによって、制御可能である。照明装置３０は、このように、異なる寸法と解像度の画像センサおよび異なる倍率の対物光学系と共に使用されるように調節可能である。上述の係数により強制された小さなスペックル寸法を前提として、発散の大きい（５°以上）かつコヒーレンス長の短い（１ｃｍ未満、および場合によっては、０．５ｍｍ未満）、レーザダイオードのような安価な光源を、システム２０中で用いてよい効果を出すことができる。

照明装置３０および画像獲得装置３８は、台４３により固定された位置に保持されている。図２に図示する実施形態では、この台は、これらの装置を保持する筐体を有する。あるいは、これ以外の適切な機械的な台を用いて、照明装置と画像獲得装置との間の所望の位置関係を維持することができる。装置２２の構成および以下に示す処理技術により、照明装置と画像獲得装置との間を相対的に動かさずとも、また、部材を動かさずとも、単一の画像獲得装置を用いて三次元マッピングを行うことができる。画像獲得装置３８は、このように、照明装置３０に対して相対的に単一かつ固定的な角度において、画像を獲得することができる。

三次元マップと被写体２８の移動によるマップの変化の演算を単純化するために、以下に示すように、入射瞳４２とスポット３４の中心を通る軸が、センサ４０の軸のうちの１つに対して平行になるように、台４３が２つの装置３０、３８を保持することが好ましい。すなわち、（対物光学系３９の光軸に原点を置く）互いに直交するＸ軸とＹ軸を規定するために、検出素子４１のアレイの列および行を取ると、瞳４２とスポット３４を通る軸は、アレイの軸のうちの１つ（便宜上、Ｘ軸とする）と平行であるべきである。この配置の利点は、以下にさらに説明する。

装置３０、３８の各光軸（スポット３４と瞳４２の中心をそれぞれ通る）は、距離Ｓだけ離れている。これゆえに、Ｚ_ｏｂｊが変わると、画像獲得装置３８により獲得された被写体画像中に、スペックル・パターンの歪曲が生じる。特に、三角測距により、図２からわかるように、被写体上の１つの点のＺ軸方向偏移δＺは、画像中に観察されるスペックル・パターン中に付随的な横断方向の偏移δＸを、

で示される値をとるように生じる。

被写体上の点のＺ座標および時間経過によるＺ座標の偏移は、画像獲得装置３８により獲得された画像中のスペックルのＸ座標の、既知の距離Ｚで得られた１つの参照画像に対する偏移を測定することにより算出可能である。すなわち、参照画像中で最も適合するスペックル群を見つけるために、獲得された画像の各領域におけるスペックル群は、参照画像と比較される。画像中のスペックルの適合する群の間の相対的な偏移は、参照画像に対する獲得された画像の領域のＺ方向の偏移を示す。スペックル・パターンの偏移は、画像相関法またはこれ以外の当該技術分野で公知である画像適合演算方法を用いて測定されうる。この方法のいくつかは、上述のＰＣＴ特許出願に記載されている。装置２２と共に適用される特に有用な別の方法は、２００６年３月２４日出願の米国仮特許出願６０／７８５，２０２号（本件特許出願の譲渡人に譲渡され、その開示は本願中に参照として盛り込まれている。）に記載されている。

さらに、図２に図示したような、瞳４２とスポット３４とを通るＸ軸が、センサ４０のＸ軸に平行である配置では、スペックル・パターンの偏移δＺが、（光学系３９による歪曲が無視できる限り）、厳密にＸ方向に限られ、偏移のＹ成分は存在しない。したがって、画像適合演算は、単純化され、Ｘ偏移によるスペックルの最も近い適合群を探す必要があるだけである。すなわち、現在の画像の領域の参照画像（スペックル・パターンの従前の画像であればなんでもよい）に対する偏移δＺを算出するためには、参照画像に最もよく適合する偏移δＸの値を見つけるため、参照画像に対してＸ軸方向に偏移した現在の画像の領域のコピーをチェックするだけでよい。

あるいは、装置２２の部材の幾何学的配置が、上述の基準からずれている場合、またはレンズ歪曲が有意である場合は、プロセッサは、このずれを補償するために１つの係数モデルを用いることができる。すなわち、既知のずれを測定し、またはモデル化し、プロセッサは、被写体面の実際の三次元座標を見つけるために、ずれの係数モデルに従って、参照画像に対する適切な（Ｘ，Ｙ）方向偏移だけ偏移した現在の画像の領域のコピーをチェックすることができる。

通常、構成および演算上の便宜のため、システム２０の作動係数は、Ｓ＜＜Ｚ_ｏｂｊになるように選択される。（一方、システム２０のＺ方向の解像度は、比率Ｓ／Ｚ_ｏｂｊに依存するので、所望の解像度を得るために、Ｓはシステムの意図する作動距離に対して相対的に十分大きくなくてはならない）Ｓ＜＜Ｚ_ｏｂｊである限り、照明装置および画像獲得装置から、各被写体点までの各距離の値は、近い値となるが、しかし一般的には完全に等しくはならない。したがって、画像獲得装置３８により獲得されたスペックル・パターンの像中のスペックルの寸法は、エリア４６全域で、いくらかの許容誤差γを持って変動する。当該分野で公知の演算方法のいくつかを上述のＰＣＴ特許出願中で記載したが、これらを用いて、現在の画像の適合領域中のこれらの寸法の変化を、参照画像の対応する領域に対して補償することができる。

しかし、一般的には、プロセッサ２４に過剰な演算負荷をかけないようにするため、適合させる枠の寸法に応じて、および、特徴的なスペックル寸法に応じて、γをある所定の範囲内に維持することが望まれる。発明者らは、全般的に、特徴的な枠の寸法の変動が、１つのスペックル寸法の３０％を上回らない範囲に、γを限定すべきであると見出した。画像獲得装置３８の視野の対角θを用いると、

である。したがって、寸法Ｎの枠の局所的なスペックル・パターンの実質的な寸法不変性は、
（Ｓ・ｓｉｎ（θ）・Ｎ／２・Ｚ_ｏｂｊ）＜０．３（λ・Ｚ_ｏｂｊ／ｗ_０・ｐｓｉｚｅ（Ｚ_ｏｂｊ））
の条件が成り立つときであり、ここで、ｐｓｉｚｅ（Ｚ_ｏｂｊ）は、Ｚ_ｏｂｊにおける画素の寸法である。これらの条件の下で、装置３８により獲得された連続する像フレーム中での被写体のＺ軸方向の偏移は、一般に、スペックル寸法の変化を考慮することなく演算されうる。

図３は、システム２０を用いた、本発明の１実施形態による三次元マッピング方法を概略的に示したフローチャートである。この方法は、とりわけ、照明装置３０により投影されたスペックル・パターンが、時間の経過と共に実質的に変化しないという認識に基づいている。これゆえに、画像獲得装置３８により装置に対して固定位置かつ固定角度で獲得された、被写体上に投影されたスペックル・パターンの各像を用いて、被写体の三次元マップを正確に演算することができる。

被写体をマッピングする前に、較正ステップ５０において、既知の空間形状を有しかつ装置２２から既知の距離だけ離れたある被写体へ、装置３０からスペックル・パターンを投影することにより、装置２２の較正を行う。通常、このために、既知の距離Ｚ_ｏｂｊにおいて、領域４６全域に渡る平坦な被写体を、較正目標として用いる。画像獲得装置３８は、被写体の参照画像を獲得し、プロセッサ２４のメモリ中に保存する。この較正ステップは、製造時に行われてもよく、メモリ中に保存された参照画像は、装置２２の異なる部材間での相対的な移動が制御なしに行われない限り、この領域において用いることができる。メモリを節約し、続く演算を単純化するために、参照画像は、用いる適合アルゴリズムにとって適切な、閾値に基づく二値の画像などの、データ量を減らした形式で保存することもできる。

システム２０が使用可能な状態になると、最初の画像獲得ステップ５２において、システム２０は起動され、装置２２を用いて対象被写体（この場合、被写体２８）の画像を獲得する。プロセッサ２４は、マップ演算ステップ５４において、この画像を、保存された較正画像中のスペックル・パターンと比較する。画素値が、所定の閾値未満である（あるいは、重要なスペックル情報を含まない）画像の暗い領域は、通常、影領域として分類され、ここからは深さ（Ｚ）情報は、取り出されない。画像のこれ以外の部分は、参照画像に対する効率的適合のため、おそらくは当該分野において公知の１つの適応的閾値を用いて、２値化されるか、またはデータ量を減少される。

プロセッサ２４は、画像の非影部分内に１つの枠を選択し、この枠内のサブ画像を、参照画像の部分と比較し、このサブ画像が最もよく適合する参照画像の部分が見つかるまでこれを続ける。上述し、図２に図示したように、装置３０、３８が、Ｘ軸に沿って配されている場合、プロセッサは、サブ画像を、サブ画像に対して相対的にＸ方向に変位した参照画像の部分（上述のように、倍率γまでの倍率でスペックル・パターンの寸法変化がされている）と比較すれば十分である。プロセッサは、参照画像の適合部分に対して、サブ画像の横断方向での偏移を用いて、上述の三角測距の原理に基づいて、サブ画像内の被写体２８の表面領域のＺ座標を決める。被写体表面のこの領域がＸ−Ｙ面方向にあるのではなく、傾いていたら、サブ画像内のスペックル・パターンは、歪曲を示す。プロセッサ２４は、選択肢として、スペックル歪曲を分析し、傾斜角度を見積り、これにより三次元マッピングの精度を改善することもできる。

プロセッサ２４は、この第１枠のマップ座標を出発点として用いて、画像の隣接する領域の座標を算出してもよい。とりわけ、プロセッサが、画像内のある領域と、参照画像内の対応する領域との間に高い相関を見つけると、この領域の参照画像に対する偏移は、画像内の隣接する画素の偏移を予測するのに役立ちうる。プロセッサは、これらの隣接する画素を、初めに適合した領域の偏移に等しい偏移、またはこれに近い範囲内での偏移により、参照画像に適合させようとする。このようにして、プロセッサは、適合領域の範囲を拡大し、この範囲が端に達するまで、これを続ける。プロセッサは、このようにして、被写体２８の三次元輪郭が完成するまで、像の非影領域のＺ座標を算出する。この手法は、小さい枠および信号雑音比が悪い画像を用いても、迅速にかつ頑健な適合ができるという利点がある。この目的のために使用可能な演算方法の詳細は、上述のＰＣＴ特許出願中に記載されている。

上述のステップの結果、プロセッサ２４は、最初の画像中で見ることができる被写体面の部分の完全な三次元マップを演算した。しかし、次の画像ステップ５６において、被写体の三次元の動きを追跡するために、この方法を拡張し、連続画像を獲得し、分析することも容易に可能である。装置２２は、所定のフレーム速度で連続画像を獲得し、プロセッサ２４は、各連続画像に基づいて三次元マップを更新する。三次元マップは、望ましい場合、保存されかつ較正された参照画像に対して演算されてもよい。あるいは、被写体は、通常１つの画像フレームから次の画像フレームへとそれほど移動しないので、各連続画像を次のフレーム用の参照画像として用いるのが、しばしばより効率的である。

このようにして、プロセッサ２４は、偏移演算ステップ５８において、各サブ画像のスペックルの、先行する画像中の同じスペックルに対するＸ方向の相対的な偏移を演算するために、各連続画像を先行する画像と比較することができる。通常、この偏移は数画素以上にはならないので、演算を迅速に、かつ効率的に行うことができる。各新しい画像がこのように処理された後、プロセッサ２４は、新しいマップ出力ステップ６０において、更新した三次元マップを出力する。この画像獲得および更新のプロセスは、このようにして無限に行われうる。連続三次元マップの演算が容易であるので、システム２０は、単純で、低コストの画像ハードウェアおよび処理ハードウェアを使用しつつ、３０フレーム／秒程度あるいはより速いリアルタイム・ビデオ速度で、マップ座標を操作し、出力することができる。さらに、上述したような効率的な画像適合演算と範囲拡張法とにより、先行する画像から局所的な偏移が演算できない場合にも、ビデオ速度でシステム２０を作動させることができる。

システム２０のこのような能力のゆえに、広範囲の応用分野において、システム２０を適切に使用することができ、特に人間の動作に基づくマシン・インタフェースにこれを実装することができる。このようなインタフェースでは、（プロセッサ２４を有し、またはプロセッサにより三次元マップ出力を受け取ることができる）コンピュータが、ユーザの体の部分（例えば、腕、手および／または指、そしておそらく、頭、胴体およびこれ以外の四肢部分など）に対応する三次元マップ中の、１つまたは複数の数量を特定する。このコンピュータは、これらの体の部分のある動きに対応する動作を特定し、これらの動作に応答して、コンピュータ・アプリケーションを制御するようにプログラムされている。このような動作およびアプリケーションの一例には、以下のようなものがある。
・マウス解釈およびクリック−コンピュータは、ユーザがテーブル上でマウスを動かし、マウスボタンをクリックしているように、ユーザの手と指の動きを解釈する。
・コンピュータ画面上で、フリーハンドで被写体を指差し、選択し、解釈する。
・ユーザの動作により、ゲームで用いられる実際のまたは仮想の被写体を打ち、つかみ、動かし、開放するようなコンピュータゲーム。
・ユーザが行うことができる限定された動きを検知することに基づいた、障害者ユーザ用のコンピュータ・インタフェース。
・バーチャル・キーボード上でのタイプ
これ以外のアプリケーションも、当業者には自明であろう。

図２に戻って、ビーム３６が、レイリー距離を越えて広がると、被写体２８上に落とされる照明の強度は、Ｚ^２にほぼ比例して低下する。被写体上に投影されるスペックル・パターンのコントラストも、これに応じて低下する。これは特に、光源３２の波長と同一波長の強い周辺光があるときに低下する。したがって、システム２０が有用な結果を出すことができる深さ（Ｚ座標）の範囲は、Ｚが大きくて照明が弱いために限定されうる。この点は、当該技術分野で公知であり、適応制御および画像制御により緩和されうる。この種の適切な方法の数例は、上述のＰＣＴ特許出願ＰＣＴ／ＩＬ２００６／０００３３５号に記載されている。あるいは、または、これに加えて、以下に説明するように、光学ビーム形成により、照明の輪郭を改善することができる。

図４は、本発明の１実施形態による、システムの有用な深さ範囲を広くするためにシステム２０で用いられる照明装置７０の概略側面図である。装置７０は、光源３２と拡散板３３と共に、１つのビーム形成装置７２を有する。このビーム形成装置は、中間領域７６の間で発散を減少し、この領域で軸上距離Ｚのスペックル・パターンの線型寸法を維持するビーム７４を生成するように設計されている。その結果、領域７６全体に渡って被写体２８の画像中で、高いスペックルのコントラストが維持され、その結果、三次元マッピング・システムにより網羅される深さ範囲が広くなる。領域７６中での性能を向上させるために用いられうる光学設計を、以下にいくつか説明する。

図５は、本発明の１実施形態によるビーム形成装置７２の概略側面図である。このビーム形成装置は、１つの回折光学素子（ＤＯＥ）８０と、１つの円錐レンズ８２とからなる。ＤＯＥ８０は、拡散板３３に当接していてもよいし、あるいは拡散板の表面上でのエッチング層または堆積層として組み込まれてもよい。領域７６中でのビーム発散を減らすために、様々な回折設計を用いることができる。例えば、ＤＯＥ８０は、光源３２の光軸上に中心を有する同心円あって、かつ円の半径がランダムに分布しているパターンを有しても良い。円錐レンズ８２は、光軸上に中心を置く円錐形の輪郭を有し、すなわち、一種の回転対称プリズムである。ＤＯＥ８０も円錐レンズ８２も、光軸に沿って長い焦点領域を作る効果を有し、その結果、これらの部材のいずれか１つを用いて、ビーム発散を減らした領域を作ることができる。この発散の減少は、２つの部材を共に用いることにより、さらに強化される。

図６は、本発明の別の実施形態によるビーム形成装置９０の概略側面図である。ビーム形成装置９０は、１つのＤＯＥ９２と、焦点距離がＦであるレンズ９４、９６とを有する。図示したように、これらのレンズは、拡散板３３とＤＯＥ９２とから、焦点距離に等しい距離だけ離れ、したがってＤＯＥは、拡散板のフーリエ平面に位置づけられている。したがって、ＤＯＥの透過機能により、拡散板のフーリエ変換は、乗算される。遠い領域では、スペックル・パターンは、ＤＯＥ上のパターンのフーリエ変換により乗算される。

図４に示すように、ＤＯＥパターンは、フーリエ変換が発散を減らすように、および／または、照明ビームに渡ってより均一な照明を提供するように選択されうる。後者の課題は、（中央では明るく、かつ光軸から角度が増えるにつれ低下する傾向にある拡散板３３からのビームの角度による強度分布とは逆に）中央領域において周辺領域よりも透過を低下させるように回折光学素子（ＤＯＥ）９２を設計することにより達成されうる。対象となる光強度に対して、より均一なスペックルの光強度対比を与えるためのＤＯＥ９２またはＤＯＥ８０（図５）の他の設計も、当業者には自明であり、本発明の枠内にあると考えられる。

図７は、本発明のさらに別の１実施形態による、システム２０で用いられうる、被写体２８の領域のＺ座標を決めるための１つの光学相関器１１０の概略側面図である。すなわち、相関器１１０は、上述したプロセッサ２４の機能の一部分を実行する光学技術を使用する。相関器は、非常に高速で、ほぼ同時に、平行して被写体の複数の領域の座標を決めることができる。したがって、迅速に被写体が動くことが特徴的である応用分野には、非常に有用である。

１つの小型レンズ・アレイ１１６は、装置３０によるスペックル照明の下、被写体２８の複数のサブ画像を形成する。１つの絞りアレイ１１８が、小型レンズ・アレイ１１６の視野を限定し、その結果各サブ画像は、狭い角度領域からの光のみを含む。第２の１つの小型レンズ・アレイ１２０は、サブ画像を１つのＤＯＥ１２２上に投影する。小型レンズ・アレイ１２０は、アレイ中の小型レンズの焦点距離に等しい距離分だけ、サブ画像の面からはなれ、また、等しい距離分だけＤＯＥ１２２面から離れている。後方の１つの小型レンズ・アレイ１２４は、ＤＯＥ１２２とセンサ４０との間に位置し、その小型レンズの焦点距離に等しい距離だけこの各々から離れている。

ＤＯＥ１２２は、被写体１２８のスペックル像が比較される参照スペックル・パターンの空間フーリエ変換である、１つの参照回折パターンを有している。例えば、この参照回折パターンは、光源から既知の距離を隔てた平面を使用して、ステップ５０で形成された較正スペックル像のフーリエ変換でありうる。この場合、参照回折パターンは、ＤＯＥ表面上にエッチングまたは堆積されうる。あるいは、ＤＯＥ１２２は、参照回折パターンを動的に投影するように駆動される、１つの空間変調器（ＳＬＭ）からなってもよい。

いずれの場合も、相関器１１０は（小型レンズ・アレイ１１６中の小型レンズにより形成される）被写体のサブ画像を、フーリエ空間中の参照スペックル・パターンで乗算する。したがって、小型レンズ・アレイ１２４によりセンサ４０上に投影された強度分布は、参照スペックル・パターンと各サブ画像の相互相関に一致している。一般に、センサ上の強度分布は、複数の相関ピークを有し、各ピークは、サブ画像の１つに対応している。（絞りアレイ１１８中の対応する絞りで規定された）対応するサブ画像の軸に対する各ピークの横断方向での偏移値は、被写体２８の対応する領域上のスペックル・パターンの横断方向の変位に比例している。この変位は、さらに、上述のように、参照スペックル・パターンの面に対するその領域のＺ方向の変位に比例している。このように、センサ４０の出力は、各サブ画像の領域のＺ座標を決めるために、そして、被写体の三次元マップを演算するために、処理されうる。

上述の実施形態は、上述した特定の、システム２０の構成と装置２２の設計に関連するが、本発明の原理は、これ以外の種類のスペックルに基づく三次元マッピングのシステムおよび装置にも同様に応用可能である。例えば、上述の実施形態の観点は、複数の画像獲得装置を用いたシステムに応用してもよいし、あるいは画像獲得装置と照明装置とが互いに相対的に可動であるシステムに応用してもよい。

上述の実施形態は例として示したが、本発明は、本願中上で特定的に示し説明した内容に限定されないと理解される。むしろ、本発明の範囲は、上述の記載を読んだ当業者が思いつくであろう、かつ先行技術に開示されていない、本願中の上述の様々な特徴の組み合わせや、一部組み合わせや、これらの変更や修正をも含む。

本発明の１実施形態による三次元マッピング・システムを絵で示した概略図である。 本発明の１実施形態によるスペックル撮像装置の概略上面図である。 本発明の１実施形態による三次元マッピングの１つの方法を概略的に示したフローチャートである。 本発明の別の実施形態による、三次元マッピング・システムで用いられる照明装置の概略側面図である。 本発明の１実施形態によるビーム形成装置の概略側面図である。 本発明のさらに別の実施形態によるビーム形成装置の概略側面図である。 本発明のさらに別の１実施形態による、三次元マッピング・システムで用いられる光学相関器の概略側面図である。

２０ 三次元マッピング・システム
２２ スペックル撮像装置
２４ 画像プロセッサ
２８ 被写体
３０ 照明装置
３２ コヒーレントな光源
３３ 拡散板
３８ 画像獲得装置
３９ 対物光学系
４０ 画像センサ

Claims (44)

1. １つの被写体上に１つの第１次スペックル・パターンを投影するよう配された１つのコヒーレントな光源と１つの拡散板とを有する１つの照明装置と、
   前記照明装置に対して単一かつ固定の位置および角度から、前記被写体上の前記第１次スペックル・パターン画像を獲得するように配された単一の画像獲得装置と、
   前記被写体の１つの三次元マップを導出するため、前記単一かつ固定の角度で獲得された前記第１次スペックル・パターンの前記画像を処理するように接続された１つのプロセッサと
   を有することを特徴とする被写体の三次元マッピング装置。
2. 前記画像獲得装置を前記照明装置に対し１つの固定した位置関係に保持するために、前記照明装置および前記画像獲得装置に取り付けられている１つの台を有することを特徴とする、請求項１に記載の装置。
3. 前記画像獲得装置は、
   第１および第２の互いに直交する軸を規定する１つの直線パターン中に配された、１つの検出素子アレイと、
   １つの入射瞳を有し、かつ、前記画像を前記検出素子アレイ上に焦点を結ぶように配置された対物光学系と
   を有し、
   前記第１の軸に平行であって、かつ、前記入射瞳と、前記コヒーレントな光源により射出された１つのビームが前記拡散板を通過する１つのスポットと、を通る１つの装置の軸を規定するように、前記照明装置と前記画像獲得装置とが前記台により配列させられていることを特徴とする、請求項２に記載の装置。
4. 前記第１の軸上のみにおいて、１つまたは複数の前記画像中で獲得された前記第１次スペックル・パターンと、前記第１次スペックル・パターンの１つの参照画像との間の１つの偏移を見つけることにより、三次元マップを導出するように、前記プロセッサが配置されていることを特徴とする、請求項３に記載の装置。
5. １つまたは複数の前記画像中で獲得された前記被写体上の複数領域の前記第１次スペックル・パターンと、前記第１次スペックル・パターンの１つの参照画像との間で、各偏移を見つけることにより前記三次元マップを導き出すように、前記プロセッサが配置されており、ここにおいてそれぞれの偏移が、前記領域と前記画像獲得装置との間のそれぞれの距離を示していることを特徴とする、請求項１に記載の装置。
6. 前記画像獲得装置は前記照明装置から１つの既定の空間を隔てて配置され、ここにおいて前記それぞれの偏移は、前記空間により決定される割合で、前記それぞれの距離に比例していることを特徴とする、請求項５に記載の装置。
7. 前記照明装置により投影される前記第１次スペックル・パターンは、１つの特徴的な寸法を有するスペックルからなり、ここにおいて前記画像中の前記スペックルの前記寸法は、前記空間に依存する１つの許容誤差だけ像全域に渡って変化し、また前記空間は、前記許容誤差を１つの既定の範囲内に維持するように選択されることを特徴とする、請求項６に記載の装置。
8. 前記プロセッサは、前記画像獲得装置中の歪曲の１つの係数モデルを用いて、前記それぞれの偏移を前記三次元マップのそれぞれの座標に関連付けるように設定されることを特徴とする、請求項５に記載の装置。
9. 前記プロセッサは、第１の１つの領域に対する第１の１つの偏移において、前記被写体の前記第１の領域と前記参照画像の対応する１つの領域における前記第１次スペックル・パターンの間で、最初の１つの適合を発見することにより前記それぞれの偏移を発見し、また、前記第１の偏移に基づいて、前記第１の領域に隣接する画素の前記それぞれの偏移を見出すため１つの範囲拡張手続を適用するように設定されることを特徴とする、請求項５に記載の装置。
10. 前記プロセッサは、前記被写体の三次元の１つの動きをマッピングするため、前記被写体が動いている間に獲得された一連の画像を処理するように設定されることを特徴とする、請求項１〜９のいずれかに記載の装置。
11. 前記被写体は、人間の体の一部分であり、前記三次元の動きは、前記人間の体の一部分により行われる１つの動作であり、ここにおいて前記プロセッサは、前記動作に応答して、１つのコンピュータ・アプリケーションに１つの入力を提供するために接続されることを特徴とする、請求項１０に記載の装置。
12. 前記照明装置は、前記三次元マッピング装置の１つの検出領域の全域で、前記拡散板により作られるスペックル・パターンの光強度対比の変動を減らすように配置されている、１つのビーム形成装置からなることを特徴とする、請求項１〜９のいずれかに記載の装置。
13. 前記ビーム形成装置は、１つの回折光学素子（ＤＯＥ）からなることを特徴とする請求項１２に記載の装置。
14. 前記ビーム形成装置は、前記拡散板の１つのフーリエ面を形成するように配置された１つのレンズからなり、ここにおいて前記回折光学素子（ＤＯＥ）は、前記フーリエ面に配置されることを特徴とする、請求項１３に記載の装置。
15. 前記ビーム形成装置は、前記拡散板から発せられる光の発散を減らすために配置されていることを特徴とする、請求項１２に記載の装置。
16. 前記ビーム形成装置は、前記拡散板から発せられ、前記照明装置の１つの光軸に直交する１つの面を横切る光の強度を均一にするために配置されていることを特徴とする、請求項１２に記載の装置。
17. 前記プロセッサは、１つの光相関器をからなることを特徴とする請求項１〜９のいずれかに記載の装置。
18. 前記光相関器は、１つの参照スペックル・パターンを含む１つの回折光学素子（ＤＯＥ）からなり、ここにおいて前記画像獲得装置は、前記被写体の三次元座標を示すそれぞれの相関ピークを発生させるため、前記被写体の複数のサブ画像を前記ＤＯＥ上に投影する１つの小型レンズ・アレイからなることを特徴とする請求項１７に記載の装置。
19. 前記コヒーレントな光源は、１ｃｍ未満のコヒーレンス長を有することを特徴とする請求項１〜９のいずれかに記載の装置。
20. 前記第１次スペックル・パターンは、特徴的な１つの寸法を有するスペックルからなり、ここにおいて前記照明装置は、前記コヒーレントな光源と前記拡散板との間の距離を変えることにより、前記スペックルの前記特徴的な寸法を調節することができるように構成されていることを特徴とする請求項１〜９のいずれかに記載の装置。
21. １つの被写体上に１つの第１次スペックル・パターンを投影するために、１つの光源から拡散されたコヒーレントな光の１つのビームで、前記被写体を照明するステップと、
    前記光源に対して、単一かつ固定の位置および角度から、前記被写体上の前記第１次スペックル・パターンの画像を獲得するステップと、
    前記被写体の１つの三次元マップを導き出すために、前記単一かつ固定角度で獲得された前記第１次スペックル・パターンの前記画像を処理するステップと
    からなることを特徴とする被写体の三次元マッピング方法。
22. 前記画像を獲得するステップは、前記画像を獲得している間、前記光源に対して１つの固定した位置関係に支持される１つの画像獲得装置を用いて前記画像を獲得するステップからなることを特徴とする、請求項２１に記載の方法。
23. 前記画像獲得装置は、
    第１および第２の互いに直交する軸を規定する１つの直線パターン中に配された、１つの検出素子アレイを有し、
    ここにおいて前記光源は、１つの拡散板からなり、
    前記画像を獲得するステップは、前記画像獲得装置の１つの入射瞳と１つのスポットとを一直線に並べるステップからなり、ここにおいて前記スポットは１つのビームが前記第１の軸に平行な１つの装置軸に沿って前記拡散板を通過する場所であることを特徴とする、請求項２２に記載の方法。
24. 前記画像を処理するステップは、前記第１の軸上のみにおいて、１つまたは複数の画像中で獲得された前記第１次スペックル・パターンと、前記第１次スペックル・パターンの１つの参照画像との間の１つの偏移を見つけるステップからなることを特徴とする、請求項２３に記載の方法。
25. 前記画像を処理するステップは、１つまたは複数の画像中で獲得された前記被写体の複数領域上の前記第１次スペックル・パターンと、前記第１次スペックル・パターンの１つの参照画像との間で、それぞれの偏移を見つけるステップからなり、ここで、前記それぞれの偏移が、前記領域と前記画像獲得装置との間のそれぞれの距離を示していることを特徴とする、請求項２１に記載の方法。
26. 前記それぞれの偏移は、前記光源からの固定的な位置にある１つの空間により決定される１つの割合で、前記それぞれの距離に比例していることを特徴とする、請求項２５に記載の方法。
27. 前記第１次スペックル・パターンは、特徴的な１つの寸法を有するスペックルからなり、ここにおいて前記画像中の前記スペックルの前記寸法は、前記空間に依存する１つの許容誤差だけ像全域に渡って変化し、
    前記画像を獲得するステップは、前記許容誤差が既定の１つの範囲内に収まるように前記空間を選択するステップからなることを特徴とする、請求項２６に記載の方法。
28. 前記それぞれの偏移を見つけるステップは、前記画像獲得装置中の歪曲の１つの係数モデルを用いて、それぞれの偏移を前記三次元マップのそれぞれの座標に関連付けるステップからなることを特徴とする、請求項２５に記載の方法。
29. 前記それぞれの偏移を見つけるステップは、
    第１の１つの領域に対する第１の１つの偏移において、前記被写体の前記第１の領域と前記参照画像の対応する１つの領域とにおける前記第１次スペックル・パターンの間で、最初の１つの適合を発見することにより前記それぞれの偏移を発見するステップと、
    前記第１の偏移に基づいて、前記第１の領域に隣接する画素の前記それぞれの偏移を見出すため１つの範囲拡張手続を適用するステップと、からなることを特徴とする、請求項２５に記載の方法。
30. 前記画像を処理するステップは、前記被写体の三次元の１つの動きをマッピングするため、前記被写体が動いている間に獲得された一連の画像を処理するステップからなることを特徴とする、請求項２１〜２９のいずれかに記載の方法。
31. 前記被写体は、人間の体の一部分であり、前記三次元の動きは、前記人間の体の一部分により行われる１つの動作であり、ここにおいて前記画像を処理するステップは、前記動作に応答して、１つのコンピュータ・アプリケーションに１つの入力を提供するステップからなることを特徴とする、請求項３０に記載の方法。
32. 前記被写体を照明するステップは、前記三次元マッピング装置の検出領域の全域で、前記光源により作られる前記スペックル・パターンの光強度対比の変動を減らすように前記ビームを形成するステップからなることを特徴とする、請求項２１〜２９のいずれかに記載の方法。
33. 前記ビームを形成するステップは、前記ビームを１つの回折光学素子（ＤＯＥ）を通過させるステップからなることを特徴とする、請求項３２に記載の方法。
34. 前記光源は、１つの拡散板からなり、ここにおいて前記ビームを通過させるステップは、前記回折光学素子（ＤＯＥ）を前記拡散板の１つのフーリエ面に配置するステップからなることを特徴とする、請求項３３に記載の方法。
35. 前記ビームを形成するステップは、前記ビームの発散を減らすステップからなることを特徴とする、請求項３２に記載の方法。
36. 前記ビームを形成するステップは、前記光源の１つの光軸に直交する面を横切る前記ビームの強度を均一にするステップからなることを特徴とする、請求項３２に記載の方法。
37. 前記画像を処理するステップは、前記画像を１つの光相関器に適用するステップからなることを特徴とする、請求項２１〜２９のいずれかに記載の方法。
38. 前記光相関器は、１つの参照スペックル・パターンを含む１つの回折光学素子（ＤＯＥ）からなり、ここにおいて前記画像を獲得するステップは、前記被写体の三次元座標を示すそれぞれの相関ピークを発生させるために、前記被写体の複数のサブ画像を前記回折光学素子（ＤＯＥ）上に投影するステップからなることを特徴とする、請求項３７に記載の方法。
39. 前記コヒーレントな光源は、１ｃｍ未満のコヒーレンス長を有することを特徴とする請求項２１〜２９のいずれかに記載の方法。
40. 前記被写体を照明するステップは、前記第１次スペックル・パターンを生成するために、前記コヒーレントな光源から前記１つの拡散板を通って前記光を通過させるステップからなり、ここにおいて前記第１次スペックル・パターンは、１つの特徴的な寸法を有するスペックルからなり、また前記方法は、前記コヒーレントな光源と前記拡散板との間の距離を変えることにより、前記スペックルの前記特徴的な寸法を調節するステップからなることを特徴とする、請求項２１〜２９のいずれかに記載の方法。
41. １つの被写体上に１つの第１次スペックル・パターンを投影するよう配された、１ｃｍ未満のコヒーレンス長を有する１つのコヒーレントな光源と１つの拡散板とからなる１つの照明装置と、
    前記被写体上の前記第１次スペックル・パターン画像を獲得するように配された１つの画像獲得装置と、
    前記被写体の１つの三次元マップを導出するため、前記第１次スペックル・パターンの前記画像を処理するように接続された１つのプロセッサと
    を有することを特徴とする被写体の三次元マッピング装置。
42. 前記コヒーレントな光源の前記コヒーレンス長は０．５ｍｍ未満であることを特徴とする請求項４１に記載の装置。
43. 前記コヒーレントな光源は、５°より大きい１つの発散を有することを特徴とする請求項４１または４２のいずれかに記載の装置。
44. 前記第１次スペックル・パターンは、特徴的な１つの寸法を有するスペックルからなり、ここにおいて前記照明装置は、前記コヒーレントな光源と前記拡散板との間の距離を変えることにより、前記スペックルの前記特徴的な寸法を調節することができるように構成されていることを特徴とする、請求項４１または４２のいずれかに記載の装置。