JP2019525369A - 表面スキャン又はスライススキャンからの物体の三次元モデルの再構成であって、モーションブラーを補償する再構成 - Google Patents

Abstract

【課題】物体の動きによるアーチファクトを阻止しながら物体の三次元モデルを生成する装置を提供する。【解決手段】物体の三次元表現を生成する装置は、物体の一連の二次元画像を生成するカメラと、スキャンを生成するスキャナと、プラットフォームと、制御手段とを備える。制御手段は、複数のサンプリング測定値をそれぞれ含む複数のスキャンラインを生成するためにスキャナを制御し、スキャンラインのそれぞれがカメラ画像を取込み、カメラ画像同士を、当該カメラ画像同士に共通する少なくとも１つの区別可能な視覚的特徴を重ね合わせることによって位置合わせすることで、スキャンラインについても、対応する量だけ画像平面上で位置調整し、スキャンラインごとに個々のサンプリング測定値同士を繋げることで、各スキャンラインの連続表現を三次元空間内に生成し、２つのスキャンラインからなるセットの少なくとも１つに対して、当該２つのスキャンラインの連続表現同士が交差する、画像平面上での点を突き止め、２つの当該連続スキャンライン表現同士が三次元空間内の共通点で交差するように少なくとも一方のスキャンラインを画像平面に対して垂直な平面上の撮像軸に沿って移動させることにより、スキャナの連続するスキャン間での物体の動きを補償する。【選択図】図１０

Description

本願は、物体の三次元画像化に関し、特にはモーションブラーの補償に関する。

複数のラインスキャン又は画像スライスを組み合わせて物体の三次元形状を再構成（再構築）するためのスキャン技術が多数存在する。このようなスキャン技術は：（ａ）例えば表面ＣＡＤ−ＣＡＭ再構成用途等で用いられる、物体の表面ラインスキャンを生成するためのレーザ三角測量；ならびに（ｂ）内部対象３Ｄ再構成用途のために物体の画像スライススキャンを生成する、光コヒーレントトモグラフィー（ＯＣＴ）、磁気共鳴画像化（ＭＲＩ）、超音波画像化、レーダー画像化及びソナー画像化；を含む。これらのどの用途においても、三次元空間内で物体を高精度に再構成するには、各スキャンライン間又は各画像スライス間の空間的関係の正確な知識を用いて複数の個々のスキャンライン又は画像スライスが組み合わされる必要がある。

図１〜図３に、このような画像スライスの例を示す。図１には、人間の脳のＭＲＩ画像スライス１００の例が示されている。図２には、人間の眼の単一ＯＣＴスキャンスライス２００が示されている。図３は、人間の腹部の単一超音波スキャンスライス３００の例である。

複数のスキャン又はスライスの取得中又は取得間での物体の動きは、再構成後の三次元画像に深刻なアーチファクトをもたらす。例えば、図４に示す動かない階段である物体４００と、図５に示す垂直方向に動く平坦な物体５００とについて考える。図４の動かない階段である物体を前述のどの技術を用いてスキャンしても、当該物体が高さ「ｈ」の段を有していると測定装置は正確に示す。しかし、図５に示す平坦な物体５００が連続するスキャン間で垂直方向に距離ｈ動いたとすると、その表面５０２が完全に平坦であるにもかかわらず、矢印５１０で示すように動いたことで、当該表面に高さ「ｈ」の段が存在すると測定装置が誤って示す。そのため、図４の物体４００は図５の物体５００と区別されない可能性がある。

図６Ａ及び図６Ｂは、人間の眼をスキャンした画像である。図６Ａと図６Ｂでは、スキャン時のスキャンラインのｘ，ｙ経路の空間位置が異なっている。図６Ａは、時刻ｔ＝０秒に取り込まれたスキャン６１０の様子を示す１番目の画像６００である。瞳孔を囲む「リング」６２０は、スキャナの白色光照射部の反射のアーチファクトである。図６Ｂは、時刻ｔ＝０．６５秒に取り込まれたスキャン６６０の様子を示す２５番目の画像６５０である。図７の画像７００は、図６Ａと図６Ｂとを重ね合わせたものであり、０．６５秒のスキャン時間内に眼のランダムな動きによって当該眼７３０がｘ，ｙ方向にどれほど動いたか分かる。

図７では、眼がカメラと平行な平面上で動いた量については分かるが、当該カメラと直交する垂直方向（ｚ方向）の変位量については、当該カメラでは検出することができない。実際のところ、その垂直方向の変位量がカメラの光学系の被写界深度内である場合には、画像の焦点は合ったままなので、この垂直方向の動きがそもそも検出不可能となり得る。図８には、この状況の一例が描かれている。カメラレンズ８０５の被写界深度８２０と同じ軸心８１０に沿って物体が動くため、連続するスキャン間での当該物体８００の動きが見て取れないこととなり得る。

以下に、各種実施形態の概要を説明する。参照図面を用いての各種実施形態の詳細な説明は、「発明を実施するための形態」という欄で述べる。

例示的な一実施形態では、上記の問題が、撮像軸に沿って方向付けられたカメラを備える装置および／または方法によって解決される。当該カメラは、区別可能な視覚的特徴を有する物体の一連の二次元画像を生成する。さらにスキャナが、前記物体についての複数のスキャンを生成する。各スキャンは前記物体についての複数のサンプリング測定値を含む。各スキャンには、二次元画像が対応しているのが望ましい。前記スキャナと前記カメラの間では、何らかの一定又は定められた空間的関係が守られている。

プログラム可能なデジタルコンピュータ、デジタルシグナルプロセッサなどのコントローラが、前記カメラ及び前記スキャナを制御するように且つ当該カメラ及び当該スキャナの出力を処理するように接続されている。前記コントローラは、複数のサンプリング測定値をそれぞれ含む複数のスキャンラインを生成するように前記スキャナを制御する。前記スキャナは、さらに、前記スキャンラインのそれぞれが前記カメラによって観測される画像平面上で少なくとも１つの他のスキャンラインと交差することで当該画像平面上において任意の１つのスキャンラインから任意の他のスキャンラインへのパスを作り出すように制御される。前記コントローラは、さらに、前記複数のスキャンラインのそれぞれについて、前記物体の画像であって、前記区別可能な視覚的特徴を含む画像を前記カメラから取り込むことにより、各スキャンラインに対して画像を取り込む。そして、取り込まれた前記画像同士が、前記区別可能な視覚的特徴を重ね合わせることによって位置合わせされることで、前記スキャンラインについても、対応する量だけ前記画像平面上で位置調整される。

そして、所与のスキャンラインごとに個々の前記サンプリング測定値同士が、各スキャンラインの連続表現を三次元空間内に生成するように繋げられる。２つのスキャンラインからなるセットの少なくとも１つに対して、前記コントローラが、前記画像平面像面上の点であって、当該２つのスキャンラインの前記連続表現同士が交差する点を突き止めた後、少なくとも一方のスキャンラインを前記画像平面に対して垂直な平面上の前記撮像軸に沿って移動させる。これにより、２つの前記連続スキャンライン表現同士が三次元空間内の共通点で交差し、そのため、前記スキャナの連続するスキャン間での前記物体の動きが補償される。

そして、２つ以上の交差する前記連続スキャンライン表現から、前記物体の三次元表現が生成され得る。

一部の具体化例では、取り込まれる前記画像が、前記物体の表面の二次元画像であって、前記区別可能な視覚的特徴を含む二次元画像であってもよい。

前記スキャナは、様々な種類のものであってもよい。一具体化例では、前記スキャナは表面高さスキャナであり、かつ、前記サンプリング測定値のそれぞれが、前記スキャンラインに沿った位置であって、選択された位置における、基準点から前記物体までの距離から求められる高さに相当する。

他の具体化例では、前記スキャナがスライススキャナであり、前記サンプリング測定値はスライススキャンである。この具体化例では、各スライススキャンから前記物体の表面が抽出される。スライススキャナの例は、ＯＣＴ、ＣＡＴ、超音波、ＭＲＩ、ソナー、レーダー等を含む。

好ましい一実施形態において、前記スキャナで前記サンプリング測定値を取得する時間は、スキャンライン又はスライススキャンのサンプリング中に発生するモーションブラーが無視できるほどに短い。

他の態様では、装置および／または方法が、スライススキャンを生成するスキャナを用いて、物体の三次元表現を生成する。各スライススキャンはサンプルの二次元アレイを含み、各サンプルは前記物体についての検出された物理的特性の強度を表す。プログラム可能なデジタルコンピュータ、デジタルシグナルプロセッサなどのコントローラが、前記スキャナに接続されている。前記コントローラは、複数のスライススキャンを生成するために前記スキャナを制御し、連続するスライススキャン間で前記物体が動いたとしても各スライススキャンが少なくとも２つの他のスライススキャンと交差するように前記スライススキャンが配置される（位置関係を有する）。前記コントローラは、さらに、各スライススキャンから任意の他のスライススキャンへの連続パスが存在するよう当該スライススキャンが交差するように制御する。前記コントローラは、前記スキャナの出力を処理することにより、所与のスキャンスライスが、交差するスライスのうち選択したスライスと共通して有する、共通の強度値のセットを突き止めた後、前記所与のスライスと選択したスライスとが共通して有する前記強度値同士を位置合わせする。これにより、前記物体の三次元表現内での前記所与のスキャンスライスと選択したスライスの位置が調整される。

この実施形態において、前記コントローラは、さらに、前記スキャナの出力を処理することにより、前記所与のスライスが前記選択したスライスと共通して有する、共通の強度値のセットを２つ以上突き止めてもよい。その場合、前記コントローラは第３のスライスに対する前記所与のスライスの相対位置情報を用いて、共通の強度値の前記２つ以上のセットのうちのいずれのセットを前記所与のスキャンスライスと前記選択したスライスの位置を調整するのに使用するかを決定してもよい。

他の随意の具体化例では、前記制御手段が、さらに、（a）スライススキャン角度及びスライス位置、ならびに（b）スキャンスライス間での物体の動きの既知の最大速度を用いて、交差しているスライスを突き止めるための探索領域の大きさ及び位置を制限し得る。

また、この具体化例において、前記サンプルを取得する時間は、スライススキャンにおける連続するサンプル中に発生するモーションブラーが無視できるほどに短いものとされ得る。

以降の説明は、下記の添付の図面を参照しながら行う。

人間の脳の一連のＭＲＩ画像スライスである。 人間の眼の単一ＯＣＴスキャンである。 人間の腹部の単一超音波スキャンである。 動かない階段である物体について２回のスキャンが取り込まれる例示的な状況を示す図である。 動く平坦な物体について２回のスキャンが取り込まれる例示的な状況を示す図である。 第１のスキャン中に（時刻ｔ＝０秒で）取り込まれた眼の画像である。 後続のスキャン中に（時刻ｔ＝０．６５秒で）取り込まれた眼の画像である。 図６Ａの画像と図６Ｂの画像とを重ね合わせたものである。 被写界深度と平行な動きについては、画像同士を比較しても判別可能となり得ないことを示す図である。 例示的な一具体化例を示す図である。 Fig. 10A〜Fig. 10Dは、それぞれ、ラインスキャンされた物体を、モーションブラーを阻止しながら三次元（３Ｄ）再構成するための一連のステップを示す図である。 複数のアライメント特徴を用いて画像及びスキャンを位置合わせ（位置調整）する一例を示す図である。 複数のアライメント特徴を用いて画像及びスキャンを位置合わせ（位置調整）する一例を示す他の図である。 複数のアライメント特徴を用いて画像及びスキャンを位置合わせ（位置調整）する一例を示すさらなる他の図である。 位置合わせ（位置調整）前のスキャンパターンの一例を示す図である。 位置合わせ（位置調整）後の同スキャンパターンを示す図である。 図１３Ｂに示す一つのスキャンラインに沿って測定された、ｚ高さ表面プロファイルを示す図である。 図１３Ａに対応する画像である。 位置合わせ（位置調整）されていない１２０個のスキャン／画像を重ね合わせたものであり、画像特徴がぼやけている。 位置合わせ（位置調整）後の同じ１２０個のスキャン／画像を重ね合わせたものであり、画像特徴が鮮明である。 人間の眼の三次元モデルである。 Fig. 17A〜Fig. 17Cは、図１６のモデルを回転させた図である。 Fig. 18Aは眼の画像であり、Fig. 18BはFig. 18Aと同じ眼のＯＣＴスキャンスライスである。 眼の上面が特定される様子を示す図である。 第２の具体化例を示す図である。 Fig. 21A〜Fig. 21Dは、それぞれ、スライススキャンされた物体を、モーションブラーを阻止しながら３Ｄ再構成する方法を示す図である。 カメラを用いないスライススキャナを示す図である。 物体がスキャン中に動かない場合の交差スライススキャンを示す図である。 物体がスキャン中に動いた場合の交差スキャンスライスを示す図である。 スライス同士が強度値の共通セットを有している様子を示す図である。 スライス同士の交差が生じる空間領域を三次元で表した図である。 スライス同士の交差が生じる空間領域を二次元で表した図である。 スライスが接続されている箇所が未だ不明である際における、同一の強度ベクトルを示す図である。 一つのスライス及び当該スライスのベクトル強度位置を示す図である。 他のスライス及び当該スライスのベクトル強度位置を示す図である。 さらなる他のスライス及び当該スライスのベクトル強度位置を示す図である。 画像スライス１と画像スライス２とが共通のベクトルの箇所で接合されている様子を示す図である。 画像スライス３の位置候補と半径Ｄ_３とを示す図である。 再構成後の最終的なモデルを示す図である。 機械的スキャンパターンを示す図である。 図３４Ａに対応する交差スライスを示す図である。 ４つの小さい部分重複領域によって大きい領域をスキャンする様子を示す図である。 物体が相異なる角度からスキャンされる様子を示す図である。 異なる視線での眼の画像を複数撮像する一例を示す図である。 ２つのアライメント特徴を有する物体の、正面からの図である。 複数の物体モデルにおいてアライメント特徴を突き止める様子を示す図である。 並進補正の前処理を示す図である。 並進後での２つのモデルの空間的関係を示す図である。 回転補正の前処理を示す図である。 回転補正を示す図である。 補正技術なしのスキャンの結果を示す図である。 補正技術ありのスキャンの結果を示す図である。

本明細書では、ラインスキャン画像及びスライススキャン画像における三次元（３Ｄ）モーションブラーを除去する、様々な装置および方法について記載する。これらの技術によって、スキャン中に物体がｘ，ｙ，ｚ方向に動くことによる不利な影響を受けずに、当該物体の３Ｄ形状が再構成される。

［具体化例１］
［［ラインスキャンされた物体の三次元再構成およびモーションブラーの阻止］］
この第１の具体化例（具体化例１）は、ラインスキャン装置を用いて３Ｄモデルを取得する。図９を参照して、これには下記の装置及び動作が必要となる：
１． 物体９７０の一連の画像を撮像するための、単一の二次元（２Ｄ）カメラ９２０。物体９７０は、その表面９６０上に少なくとも１つの特徴を含む。前記当該カメラは、テレビジョンカメラのような一連の画像を撮像することが可能なデジタルカメラであってもよい。
２． 一連のラインスキャン（符号９６０など）に沿って、物体９７０の表面までの距離を少なくとも測定する、スキャナ９１０（三角測量センサなど）。
３． 当該スキャナは、任意の一つのスキャンラインから任意の他のスキャンラインへと移動するパスを作り出すようスキャンライン同士が必ず交差するように、コントローラ９４０により制御される。
４． カメラ９２０とラインスキャン９１０装置との間には、定められた空間的関係が存在する。当該定められた空間的関係は、前記カメラ及びスキャナを共通のプラットフォームに取り付けることによって一定とされ得る。他の配置構成では、前記スキャナとカメラとが互いに動くものとされてもよいが、当該スキャナとカメラとの間隔は既知のパターンに従うものとする。
５． 一つのラインをスキャンするのに必要な時間は、１回のスキャンライン取得最中にモーションブラーが発生しないように十分に高速とされる。あるいは、ラインスキャン最中のモーションブラーは、無視可能なまでに著しく小さい。
６． デジタルシグナルプロセッサおよび／またはコンピュータ９５０は、カメラ９２０の出力とスキャナ９１０の出力とを処理するようにプログラムされており、かつ、コントローラ９４０と相互作用することによって当該カメラ及び当該スキャナの動作を制御し、下記の方法ステップを実行する。ＤＳＰ／コンピュータ９５０は、さらに、ストレージ９５２、ディスプレイ９５４、および当該技術分野において知られている他の周辺機器を具備してもよい。

上記の要件が満たされていることを前提として、物体９７０の表面９６０は、ラインスキャン装置によって三次元空間内で再構成（再構築）されることが可能である。以下では、図１０（Fig. 10A〜Fig. 10D）に示す方法ステップについて説明する。

ステップ１（Fig. 10A）：スキャン１（１０１０−１）とスキャンＰ（１０１０−Ｐ）との少なくとも２つの表面ラインスキャンを行い、かつ、当該表面についての対応する画像を前記カメラで各スキャンと同時に撮像して、これらのラインスキャン及びカメラ画像データをさらなる処理のために記憶する。前記物体のその表面画像から、表面高さラインスキャンのｘ，ｙアライメント（位置合わせ、位置調整）に使用する少なくとも１つの特徴（１０２０−１，１０２０−Ｐ）を選択する。この例では、アライメント特徴として「＋」記号を用いる。

ステップ２Ａ（Fig. 10B）：一方の表面画像を他方の表面画像に対してｘ，ｙに移動させることにより、両方の画像に存在する前記アライメント特徴（１０２０−１．１０２０−Ｐ）を重ね合わせる。さらに、前記表面高さラインスキャンについても、前記表面画像と同量だけ移動させることにより、前記表面画像内の前記アライメント特徴と各表面高さラインスキャンとの間の空間的関係を常に正確に維持する。

ステップ２Ｂ（Fig. 10B）：同図において前記物体の上面の太線で示すように、各ラインスキャンにおける個々のサンプリング高さデータ点同士を数学的に繋げる。これらの点同士を繋げる手法の一つは、サンプリングデータ値１０１０−１，１０１０−Ｐのそれぞれに多項式をフィッティングすることである。ラインスキャン１（１０１０−１）とラインスキャンＰ（１０１０−Ｐ）との両方に共通する前記上面のｘ，ｙ座標を突き止める。垂直方向の鎖線Ｖ１で示すように、この座標にて、それら２つのスキャンがｘ−ｙ平面上で交差する。

ステップ３（Fig. 10B）：この共通ｘ，ｙデータ点が前記物体の表面上に存在しており、かつ、この表面が唯一の上面なので、前記２つのスキャンがｘ，ｙ平面上で交差する（ステップ２Ｂの垂直方向の線Ｖ１で示す）箇所での双方の表面高さラインスキャンの（前記物体を基準とする）ｚ高さ値は必ず同じになる。したがって、ラインスキャンＰ（１０１０−Ｐ）はラインスキャン１（１０１０−１）に対してこの表面ｘ，ｙ，ｚ座標で結合可能となり、結合される。

ステップ４（Fig. 10C）：前記物体について取得した後続の各ラインスキャン１０１０−Ｎ（スキャンラインＮと称される）ごとに、付随する表面画像から、アライメント特徴１０２０−Ｎが突き止められる。これは、スキャンされる物体が動いている場合であっても静止している場合であっても行われる。

ステップ５（Fig. 10D）：ステップ２Ｂで述べたものと同じ手順を用いて、スキャンラインＮにおける個々のサンプリングデータ点同士を数学的に繋げる。処理済みのどのラインスキャン番号にラインスキャンＮが交差するのか（同図ではラインスキャンＰ）を探し出す。ラインスキャンＮとラインスキャンＰとに共通するｘ，ｙ座標を突き止める。垂直方向の鎖線Ｖ２で示すように、このｘ，ｙ座標にて、それら２つのスキャンがｘ−ｙ平面上で交差する。

ステップ６（Fig. 10D）：ラインスキャンＮとラインスキャンＰとに共通する（Fig. 10D（ステップ５）の垂直方向の線Ｖ２で示す）交差ｘ，ｙ表面座標にて、これらのラインスキャン同士を垂直方向に結合する。これにより、ラインスキャンＮとラインスキャンＰとは、これら２つのラインスキャン同士が交差する箇所で同一のｘ，ｙ，ｚ座標値を有することになる。

垂直方向のｚ高さ軸において全ての交差スキャンライン同士が結合されるまで、ステップ４、ステップ５及びステップ６の処理を続ける。

図１０（Fig. 10A〜Fig. 10D）では、２つのスキャン間の前記物体をｘ，ｙカメラ面上において空間的に位置合わせするのにカメラ画像中の１つのアライメント特徴しか用いていないが、アライメントを達成するのに物体表面上の複数の特徴を用いることが必要又は有用となる場合もある。特に、物体の動きが原因となって、全カメラ画像に共通する特徴が一つも存在しない場合にそうである。図１１Ａ、図１１Ｂ及び図１１Ｃには、複数のアライメント特徴が連続する画像間でのアライメントに使用される様子が描かれている。一例として、図１１Ａのカメラ画像には「＋」（プラス記号１１１０）のみが存在する。図１１Ｂのカメラ画像には「＋」と「＊」（アスタリスク１１１１）との両方が存在し、図１１Ｃのカメラ画像には「＊」アスタリスクのみが存在する。この例では、「＋」記号が図１１Ａと図１１Ｂとを位置合わせするのに用いられることができ、「＊」アスタリスクが図１１Ｂと図１１Ｃとを位置合わせするのに用いられることができる。これにより、図１１Ａ〜図１１Ｃは、全てに共通する特徴が存在しないにもかかわらず自然に位置合わせされる。このようにして、全ての画像及びスキャンがｘ，ｙカメラ像面上で互いに位置合わせ（位置調整）されることが可能となる。一般的に述べると、任意の一つの画像は任意の他の画像へと、双方の画像に共通する特徴を直接含んでいることによって位置合わせ可能であり得るか、あるいは、（図１１Ａ、図１１Ｂ及び図１１Ｃに示すように）これらの画像を繋ぎ合わせる介在画像（中間画像）中において共通の特徴のペアを見つけ出すことによって位置合わせ可能であり得る。

なお、２つの画像同士をｘ，ｙ平面上で位置合わせする方法は、当該技術分野においてよく知られている。本具体化例の新規性は、ｚ軸でのラインスキャンアライメント（位置調整）によってラインスキャン間での物体の動きを補償するという、完成された方法にあると考えられる。

図１２Ａは、人間の眼の複数の交差ラインスキャンの一例１２０１である。対応する表面画像が、重ね合わされている。これは、図７で示した眼の動きを補償するのに必要となるｘ，ｙアライメント前のパターンである。図１２Ｂには、図１０のFig. 10A〜Fig. 10Bで説明した方法ステップによる位置合わせ済みの表面画像を用いた場合の、ｘ，ｙ平面１２０２上での位置調整後のスキャン同士の相対位置関係が示されている。

図１３Ａには、例示的な一つのスキャンライン１３００（図１３Ｂに、対応する画像が示されている）に沿って測定された、Ｚ高さ表面プロファイルの一例が示されている。

図１４は、３秒間の総スキャン期間中に取得された、眼についての位置合わせされていない１２０個のスキャン画像（それぞれの画像は、対応するＺ高さスキャンラインプロファイルを有する）を重ね合わせたもの１４００である。図１４には実際のスキャンパターン１４１０が示されており、眼の瞳孔上にデータ点が集中している。図１４では特徴がぼやけている点（つまりモーションブラーが発生している点）に留意されたい。図１５には、図１０のFig. 10A〜Fig. 10Dで説明した方法を用いて位置合わせ（位置調整）を行いｘ，ｙ方向のモーションブラーを阻止した後、前記１２０個のスキャン／画像１５１０を重ね合わせたもの１５００が示されている。図１５では特徴が鮮明である点に留意されたい。

眼の他のスキャンでは、図１４に示した前記１２０個の交差スキャンラインが瞼（まぶた）を越えて放射状に拡張されると共に、図１０のFig. 10A〜Fig. 10Dで説明した再構成方法を用いることで、Ｚ方向での動きを補償して図１６に示す眼の三次元モデルが生成された。

当該三次元モデルは、コンピュータ画面９５４（図９を参照）上で回転されることにより、図１７のFig. 17A〜Fig. 17Cに示すように所望の様々な表示角度１７０１，１７０２，１７０３で表示されることが可能であり得る。

［具体化例２］
［［物体のスライススキャンからの三次元再構成およびモーションブラーの阻止］］
この具体化例では、物体のスライススキャンからの三次元再構成及びモーションブラーの阻止のための方法について説明する。スライススキャンは、物体の画像スライスを生成する。物体の画像スライスを生成するには、光コヒーレントトモグラフィー（ＯＣＴ）、磁気共鳴画像化（ＭＲＩ）、超音波画像化、レーダー画像化、ソナー画像化などのスキャン技術が用いられ得る。これらのどの用途の場合にも、三次元空間内で物体を再構成するには、各スライスとスキャン対象の物体との間の空間的関係の正確な知識を用いて複数の個々の画像スライスが組み合わされる必要がある。

この新規の３Ｄ物体再構成アルゴリズムを説明するにあたって、眼のＯＣＴスキャンを一例として使用する（具体化例２）。図１８のFig. 18Aは、眼のＯＣＴスキャンスライスの一例の相対位置を表す、当該眼の画像１８００である。図１８のFig. 18Bは、当該眼の光コヒーレントトモグラフィー（ＯＣＴ）画像スライスの一例１８１０である。

図１９に示すように、各画像スライス１９００における物体（眼）の上面は、例えばｚ軸方向に「下がっていく」と現れる「最初」の高コントラスト境界１９１０を特定すること等によって簡単に特定され得る。そのような上面が特定されると、画像スライスが下記の条件を満たすことを前提として、前記物体は、図２１（Fig. 21A〜Fig. 21D）で述べる方法ステップを用いて三次元空間内で再構成されることが可能である。

具体化例２は、スライススキャン装置を用いて３Ｄモデルを得る。このアプローチには、（図２０に示す）下記の装置及び動作が必要となる：
１． 当該物体２０２０の画像を取り込むための、単一の二次元（２Ｄ）カメラ２０２０。物体２０２０は、その表面上に少なくとも１つのアライメント特徴を含む。当該カメラ２０２０は、テレビジョンカメラのような一連の画像を撮像することが可能な任意のカメラであってもよい。
２． 前記物体の表面２０７０までの距離、および一連のスライススキャン（ＯＣＴ、ＣＡＴ、超音波、ＭＲＩ、ソナー、レーダー、同様の装置など）内に含まれる内部特徴までの距離を少なくとも測定する、スライススキャナ２０１０。
３． 当該スキャナは、任意の一つのスキャンスライスから任意の他のスキャンスライスへと移動するパスを作り出すようスキャンスライス２０６０同士が必ず交差するように制御２０４０される。
４． カメラ２０２０とスライススキャン装置２０１０との間には、定められた空間的関係が存在する。当該空間的関係は、例えば前記カメラ及び前記スキャナを共通のプラットフォームに取り付けること等によって一定とされてもよい。あるいは、（当該空間的関係が既知であることを条件として、経時的に変化するものとされてもよい。
５． 一つのスライス２０６０をスキャンするのに必要な時間は、１回のスキャンスライス取得最中にモーションブラーが発生しないように十分に高速とされる。あるいは、スライススキャン最中のモーションブラーは、無視可能なまでに著しく小さい。
６． カメラ２０２０及びスキャナ２０１０を制御し、前記画像及びスキャンを処理し、下記のステップを実行するための、プログラムされたデジタルコンピュータおよび／またはシグナルプロセッサ２０５０。コンピュータ／ＤＳＰ２０５０は、ストレージ２０５２、ディスプレイ２０５４、図示しない他の構成品などの周辺機器を具備してもよい。

上記の要件が満たされていることを前提として、図２１（Fig. 21A〜Fig. 21D）を参照しながら、ＯＣＴ、ＣＡＴ、超音波、ＭＲＩ、ソナー、レーダー、同様の装置などのスライススキャン装置についての３Ｄ物体再構成の方法について説明する。

ステップ１（Fig. 21A）：スライス１（２１１０−１）とスライスＰ（２１１０−Ｐ）との少なくとも２つのスライススキャンを行い、かつ、当該表面についての対応する画像を前記カメラで各スキャンと同時に撮像して、これらのスライススキャン及びカメラ画像データをさらなる処理のために記憶する。前記物体のその表面画像から、スキャンした画像スライスのｘ，ｙアライメントに使用する少なくとも１つの特徴（２１２０−１，２１２０−Ｐ）を選択する。この例では、アライメント特徴として＋記号を用いる。

ステップ２Ａ（Fig. 21A）：一方の表面画像を他方の表面画像に対してｘ，ｙに移動させることにより、前記アライメント特徴（２１２０−１．２１２０−Ｐ）を重ね合わせる。さらに、前記画像スライスについても、前記表面画像と同量だけ互いに相対移動させることにより、前記表面画像内の前記アライメント特徴と各画像スライスとの間の空間的関係を常に正確に維持する。

ステップ２Ｂ（Fig. 21B）：各画像スライスの上面端縁に位置する、スキャンされたｘ，ｙデータ点及び座標のセットを特定する。これらの点は、前記物体の前記表面画像にも存在するはずである。これらは、前記撮像カメラに最も近い表面点である。同図において前記物体の上面の太線で示すように、各スライスにおける個々のスキャンされた表面データ点同士を数学的に繋げる。

各画像スライスの前記上縁から、２つのスライスに共通するｘ，ｙデータ点を突き止める。垂直方向の鎖線Ｖ１で示すように、このｘ，ｙ座標にて、それら２つのスライスがｘ−ｙ平面上で交差する。

ステップ３（Fig. 10B）：この共通ｘ，ｙデータ点が前記物体の表面上に存在しており、かつ、この表面が唯一の上面なので、前記２つのスライスが交差する表面ｘ，ｙ座標での双方のスライス２１１０−１，２１１０−Ｐの（前記物体を基準とする）表面ｚ値は必ず同じになる。したがって、図２１のFig. 21Bに示すように、画像スライスＰは画像スライス１に対してこの表面ｘ，ｙ，ｚ座標で結合可能となる。

ステップ４（Fig. 10C）：前記物体についてスキャンした後続の各画像スライス２１１０−Ｎ（スライスＮと称される）ごとに、付随する表面画像から、アライメント特徴２１２０−Ｎが突き止められる。これは、物体が静止している場合であっても動いている場合であっても行われる。

ステップ５（Fig. 21D）：ステップ２Ｂで述べたものと同じ手順を用いて、スライスＮの上縁に沿った個々のサンプリング表面データ点同士を数学的に繋げる。

処理済みのどの画像スライス番号にスライスＮが交差するのか（同図ではスライスＰ）を探し出す。スキャンスライスＮとスキャンスライスＰとに共通するｘ，ｙ座標を突き止める。垂直方向の鎖線Ｖ２で示すように、このｘ，ｙ座標にて、それら２つのスキャンがｘ−ｙ平面上で交差する。

ステップ６（Fig. 21D）：スライスＮとスライスＰとに共通する（ステップ５の垂直方向の線Ｖ２で示す）交差ｘ，ｙ座標にて、これら２つのスライスを、当該２つのスライスの上面端縁同士が交差する点で結合する。これにより、スライスＮの上縁とスライスＰの上縁とは、その交差箇所で同一のｘ，ｙ，ｚ座標値を有することになる。

当該交差スライス（交差しているスライス）の上面端縁同士が交差する箇所で全ての交差スライスが結合されるまで、ステップ４、ステップ５及びステップ６の処理を続け、これらの結合後のスライスから３Ｄモデルを構築する。

図２１（Fig. 21A〜Fig. 21D）では、２つのスライススキャン間の前記物体をｘ，ｙカメラ面上において空間的に位置合わせするのにカメラ画像中の１つのアライメント特徴しか用いていないが、用途によっては、アライメントを達成するのに物体表面上の複数の特徴を用いることが必要又は有用となる場合もある。特に、物体の動きが原因となって、全カメラ画像に共通する特徴が一つも存在しない場合にそうである。スライススキャン用途の場合にも、ラインスキャン用途に関して既述したものと同様の様式で、ｘ，ｙカメラ像面上において前記物体をアライメントするのに複数の特徴が用いられることが可能である。既述したように、図１１Ａ、図１１Ｂ及び図１１Ｃには、複数のアライメント特徴が連続する画像間でのアライメントに使用される様子が描かれている。一例として、図１１Ａのカメラ画像には「＋」（プラス記号）のみが存在する。図１１Ｂのカメラ画像には「＋」記号と「＊」（アスタリスク）との両方が存在し、図１１Ｃのカメラ画像には「＊」アスタリスクのみが存在する。この例では、「＋」記号が図１１Ａと図１１Ｂとを位置合わせするのに用いられることができ、「＊」アスタリスクが図１１Ｂと図１１Ｃとを位置合わせするのに用いられることができる。これにより、図１１Ａ〜図１１Ｃは、全てに共通する特徴が存在しないにもかかわらず自然に位置合わせされる。このようにして、全ての画像及びスキャンがｘ，ｙカメラ像面上で互いに位置合わせ（位置調整）されることが可能となる。一般的に述べると、任意の一つの画像は任意の他の画像へと、双方の画像に共通する特徴を直接含んでいることによって位置合わせ可能であり得るか、あるいは、（図１１Ａ、図１１Ｂ及び図１１Ｃに示すように）これらの画像を繋ぎ合わせる介在画像中において共通の特徴のペアを見つけ出すことによって位置合わせ可能であり得る。

［具体化例３］
［［物体内部に存在し得る構造のスライススキャンからの、カメラを用いない三次元再構成およびモーションブラーの阻止］］
このスライススキャン３Ｄ再構成方法は、カメラを必要としなくとも、例えば体内の腫瘍等といった、物体内部の深いところにある構造を再構成することができる。図２２は、この種のスキャナ２２００を表す。ただし、各画像スライスが少なくとも１つの他のスライスと交差していればよい具体化例２とは異なり、本具体化例では各画像スライス２２１０が少なくとも２つの他の画像スライスと交差することが要求される。

物体内部に存在し得る構造のスライススキャンからの、カメラを用いない三次元再構成およびモーションブラーの阻止には、下記の事項が必要となる：
１． 各画像スライスが少なくとも２つの他の画像スライスと交差すること。
２． 図２２の物体２２７０が静止している場合だけでなく、所定の空間領域内で当該物体が動く場合にも、画像スライス同士が必ず交差すること。
３． 任意の一つの画像スライスから任意の他の画像スライスへと移動するパスを作り出すよう画像スライス同士が必ず交差すること。
４． 交差スライス同士が、交差の線に沿って強度値の共通セット（共通の強度ベクトルと称される）を必ず共有していること。
５． 一つのスライスをスキャンするのに必要な時間は、１回のスキャンスライス取得最中にモーションブラーが発生しないように十分に高速とされる。あるいは、スライススキャン最中のモーションブラーは、無視可能なまでに著しく小さい。
６． 図２２のプログラム可能なデジタルコンピュータ又はデジタルシグナルプロセッサ２２３０が、スライススキャナ２２２０を制御し、当該スライススキャナ２２２０の出力を処理してディスプレイ２２５０および／またはストレージ２２６０に出力すること。

上記の要件が満たされていることを前提として、図２２〜図３４を参照しながら、ＯＣＴ、ＣＡＴ、超音波、ＭＲＩ、ソナー、レーダー、同様の装置などのスライススキャン装置２２２０についての３Ｄ物体再構成のこの方法について説明する。そのような装置は、図２２に示すように物体の内部をスキャンすることが可能である。

図２３Ａは、スキャンスライス同士が交差する放射状スキャンパターンの一例である。各スキャンは、前記物体の二次元画像「スライス」を表す画像スライススキャンを生成する。図２２の各スキャンスライス２２１０や図２３Ａのスライス２３０１，２３０２，２３０３の位置は、前記スキャン機の枠（フレームワーク）２２８０に対する位置であり、スキャンフィールド２２８０内のどこに物体２２６０が位置しているのかについては分からない。前記画像スライスの位置は、物体の動きの有無にかかわらず、当該スキャンスライスが実際にスキャンされた前記物体上の位置に相当する。物体の動きがないと仮定すると、当該物体２３００に対する各画像スライス２３０１，２３０２，２３０３の相対位置（すなわち、各画像スライスがスキャン時において実際に撮られた前記物体上の位置）は、図２３Ａに示す機械的スキャンパターンの様になるであろう。これに対して、異なるスキャンスライスが取得される際に前記物体が動いていたとすると、これらの画像スライスは、図２３Ａに示すような想定位置で前記物体と交差するのではなく、図２３Ｂに示すような位置で前記物体と交差することになるであろう。強調すべき点は、スキャン中に物体２３００が動いて且つこのような動きが不明である場合、補正なしではこれらの画像スライスの位置が不正確になるということである。

つまり、図２３Ａには、物体の動きがないと仮定した場合に前記画像スライス同士の相対位置になると予想される、物理的スキャンパターンが示されている。

図２３Ｂには、物体２３００がスキャン中に動いたことで前記画像スライスが実際に取得された、前記物体上の位置が示されている。

この再構成アルゴリズムの目標は、スキャンされた画像スライスを、物体の動きを把握していない想定静止位置から、前記物体が動いたときに当該物体上で実際にスキャンが行われた正確な場所へとシフトさせることである。この再構成過程にとって重要なのは、交差する画像スライス同士が、図２４に示すように交差の線に沿ってｘ，ｙ，ｚにおいて強度値の共通セットを必ず共有しているという点である。

交差スライス同士は、交差の線に沿って強度値の共通セット（共通の強度ベクトルと称される）を必ず共有している。図２４の例では：
Ｉ_１２＝画像スライス１（２４０１）と画像スライス２（２４０２）とが共通して有している強度値；
Ｉ_１３＝画像スライス１（２４０１）と画像スライス３（２４０３）とが共通して有している強度値；および
Ｉ_２３＝画像スライス２（２４０２）と画像スライス３（２４０３）とが共通して有している強度値；
が該当する。
用途によっては、前記共通の強度ベクトルが、１００％のマッチ（合致）を要求するものではなく、高い割合（％）の合致データ点で構成されるものとされてもよい。

分かり易くするために、この再構成過程を三次元ではなく二次元空間内で説明する。これを踏まえたうえで、図２６は、図２５に示す三次元モデルの二次元平面図である。図２６の鎖線は、物体の再構成を可能にするための、画像スライス同士の交差が生じる空間領域２５１０を画定している。

この再構成例をより現実的なものにするために、画像スライス２（２４０２）が、共通の強度ベクトルＩ_２３と同じ値のセットである２つの強度ベクトルをさらに有していると仮定する。図２７に、これら同一強度ベクトルＩ_２３の位置を示す。

この３Ｄ再構成は、下記のようにして進められる：
ステップ１：各画像スライス２４０１，２４０２，２４０３ごとに、画像スライスのペア間での全てのマッチ（合致）有り強度ベクトルを探し出すことで、許容の探索領域内において、交差画像スライス候補を見つけて記録する。各スライス内の前記マッチ（合致）有り強度ベクトルの位置を記録する。

なお、本再構成過程中のこのステップでは、前記スライス同士がどのように結合しているのかは不明である。

このステップで判明しているのは、図２８、図２９及び図３０に示すような強度ベクトル位置を有する、３つのスライスが存在しているということである。

本再構成過程中のこのステップでは、Ｉ_２３ベクトル位置のうち、画像スライス２と画像スライス３との正確な交差を表すＩ_２３ベクトル位置がどれなのかが分かっていない。

ステップ２：下記の条件が満たされるようにしながら、前記画像スライス同士を組み立てて前記物体の最終的なモデルを生成する：
１． スキャンデータ内の交差画像スライスの各ペアが、再構成後の最終的なモデルにおいても必ず交差していること。
２． 最終的なモデルにおいても、各スライス内の全ての強度ベクトル位置が維持されるように、特には、前記共通のベクトルの位置が交差スライス間で共有されるように、スライス同士が必ず交差していること。
３． ２つの画像スライスが共通の強度ベクトルを有している場合に、当該画像スライス内にその共通の強度ベクトルと同じものが複数の位置で出現したときには、これらの位置の一つのみが、最終的なモデルにおいて当該画像スライス間の交差として使用可能であること。
４． 画像スライスのペアが２種類以上の、相異なる値の共通の強度ベクトルを有している場合（この場合は、一つのスライス内に同じ値のものが複数の異なる位置に存在している場合とは異なる）、最終的なモデルではそれらのうちの１種類の共通の強度ベクトルのみが使用可能であること。
５． 共通のベクトルにより特定される線に沿って２つの交差画像スライス同士を結合すると、画像スライス１（２４０１）の強度値と画像スライス２（２４０２）の値とが位置合わせされるため、ｚ高さ軸においても当該２つのスライス同士が位置合わせされるようになること。

ステップ２のルールが下記のようにして適用されることで、最終的なモデルが構築される：
１． 画像スライス１と画像スライス２とが、共通のベクトルＩ_１２で接合される（図３１を参照）。
２． 画像スライス３（図３０の２４０３）が画像スライス２（図２９の２４０２）と交差し得る位置の候補は３つ存在する。図３２では、これらの３つの位置が鎖線３２０１，３２０２，３２０３で表されている。これらの位置は、Ｉ_２３−１，Ｉ_２３−２，Ｉ_２３−３である。ステップ２によれば、最終的なモデルではこれら３つの位置候補のうちの一つのみが使用可能であると共に、取得データ内での交差スライスは最終的なモデルにおいても全て使用されていなければならない。正確な交差を求めるには、まず、画像スライス３（図３０の２４０３）が図２８のスライス１へと共通のベクトルＩ_１３で接合される。スキャンで取得した画像スライスから、スライス３でのベクトルＩ_１３とＩ_２３との間の距離は図３０に示すようにＤ_３であることが分かっている。図３２に示すように、ベクトルＩ_１３を中心として半径Ｄ_３の円３２００を描くと、Ｉ_２３−１が結合可能な唯一の位置であることが分かるので、当該Ｉ_２３−１を画像スライス２と画像スライス３との正確な交差として選択する。すなわち、画像スライス２（図３２の２４０２）ではＩ_２３−１のみが、Ｉ_１３とＩ_２３との間の距離をＤ_３とした場合に画像スライス３（図３２の３２０２）と交差することが可能である。図３３を参照されたい。一般的に言って、交差画像スキャン及び対応する画像スライスの数が増えるほど、全てのスライスを正確な位置付けに定めるのに役立つ空間的制約が多くなる。

上記の例では並進運動を補償しているが、前記アルゴリズムは、斜め方向に沿って共通のベクトルを探索することで回転運動を補償することも可能である。また、測定したパラメータから、スライス交差の探索の開始位置を示すための追加のシステム・物体情報が外挿されることも可能であり得る。

この情報は：
１． 図３４Ａ及び図３４Ｂに示すような、システムの機械的スライススキャン角度及び機械的スライス位置についての知識（情報）；ならびに
２． スライス間での物体の動きの最大速度；
を含む。

ｉ． 前記物体の最初のスキャンが画像スライス１であり（１番目のスキャンスライス＝画像スライス１）であり、前記物体についての時間的及び空間的に連続するスライスがＮ秒間隔で取得されて、かつ、
ｉｉ． 物体の動きの最大速度がＭミリメートル／秒である、
と仮定すると、１番目のスキャンスライスからの、時間的に２番目のスライスの最大探索領域は、半径：Ｍ（ｍｍ／秒）×Ｎ（秒）の球となる。
ｂ． 物理的スキャン角度及びスキャン位置（図３４Ａ）についての知識と物体の動きの最大速度とを組み合わせることにより、連続する各スキャンについての探索領域を（内径円３４１０と外円３２１０との間に）制限することが可能となり得る。

強調すべき点は、最初の幾つかの（例えば、３つ又は４つ等）画像スライスが正確な前記共通のベクトル位置で結合されれば、この情報により、連続して取得される次の画像スライスの探索領域３４１０を制限できるということである。

この再構成アルゴリズムの主要なその他の特徴は、スキャンスライスの取得最中にモーションブラーが発生した場合にも、このブラーが軽減又は解消されることが可能となり得る点である。これは、各スキャンの領域及び時間を減らし且つ前記物体内部のスキャンされる交差スライスの総数を増やすことによって達成され得る。言い換えれば、各スキャンの大きさが、当該スキャンスライスの取得最中のモーションブラーを阻止又は抑制するように調節される。一例として、図３４Ｃには、スライス３４５０でスキャンされる大きい領域を、４つの小さい部分重複領域（交差領域）３４１０，３４２０，３４３０，３４４０によってスキャンする様子が示されている。この例では、当該小さい領域のそれぞれをスキャンするのに必要な時間が、大きい領域３４５０をスキャンするのに必要な時間の約４分の１となることで、モーションブラーを軽減している。

［［三次元サブ断面を組み合わせることによって生成される全体モデル］］
物体の全表面へのアクセスを得るために、しばしば、図３５に示すように相異なる角度３５０１，３５０２，３５０３から物体をスキャンすることが必要となる。

例えば、瞼（まぶた）で普段覆われている強膜の部分を含む、眼についての三次元モデルを生成するには、しばしば、図３６に示すように当該眼３６００を異なる向きつまり視線（３６１０，３６２０，３６３０，３６４０，３６５０，３６６０）にして取得した複数のスキャンを組み合わせることが必要となる。以下では、図３７〜図４２を参照しながら、同じ物体を異なる向きつまり異なる視線にして取得した複数のサブ断面を継ぎ合わせて全体３Ｄモデルを生成するためのアルゴリズムについて説明する。

図３７は、２つのアライメント特徴（同図の２つの点３７０１，３７０２）を有する物体の、正面からの図である。

複数のサブ断面を継ぎ合わせるには、下記のステップを実行する：
ステップ１（図３７）：同じ物体からの２つの３Ｄ断面を位置合わせする場合を考える。各３Ｄ断面のカメラ画像内に存在する少なくとも２つのアライメント特徴（３７０１，３７０２）を選択し、各カメラ画像内の各特徴のｘ，ｙセントロイド（中心）を見つけ出す。各カメラ画像は、図３７に示すように両方のアライメント特徴を含む必要がある。前記ｘ，ｙセントロイド位置を用いて、前記３Ｄモデル断面から当該ｘ，ｙセントロイド位置のｚ位置を抽出する。

ステップ２（図３８）：前記物体の双方の３Ｄ断面から、対応するアライメント特徴を突き止める。図３８において、丸点（〇）付きの鎖線は物体断面１を示し、黒点（●）付きの実線は回転後物体断面２を示す。

長さ＝Ｄ１のベクトルＡ（３８０１）および長さ＝Ｄ２のベクトルＢ（３８０２）は、それら２つの断面間での、同じアライメント特徴の位置の差を表す（なお、この例ではＤ１＞Ｄ２とする）。

ステップ３ａ（図３９）：並進の前処理
図３９には、並進前の空間的関係が示されている。図３９において、丸点（〇）付きの鎖線は物体断面１を示し、黒点（●）付きの実線は回動後物体断面２を示す。

このステップでは、第１のアライメント特徴の並進に関するベクトルＡ（３９０１）を選択する場合を考える。次に、断面２のモデルを、特徴１Ｒ（３９０２）と特徴１とが同じＸ，Ｙ，Ｚ座標になるようにベクトルＡに沿って並進させる。

ステップ３ｂ（図４０）：この図には、ステップ３ａで述べた並進処理後の前記２つのモデルの空間的関係が示されている。

図４０において、鎖線の画像４００１は、３Ｄ物体断面１の処理前（元々）の位置である。

実線４００２は、３Ｄ物体断面２の特徴１Ｒ（図３９の３９０２）が図４０の３Ｄ物体断面１の特徴１に重ね合わされた後の、前記回転後物体断面の位置を表している。

ステップ４ａ（図４１）：回転補正の前処理
図４１では、実線の物体断面４１０１（位置合わせが済んでいる特徴４００３を含む）の、回転処理前の様子が描かれている。

回転を補正するには、Ｘ，Ｙ平面上に、位置合わせが済んでいない同一特徴２（４１１２），２Ｒ（４１１２Ｒ）を通る直線としてのベクトル１を定義する。

次に、位置合わせが済んでいる特徴４００３の（Ｘ，Ｙ，Ｚ）を通り且つベクトル１と直交する直線としてのベクトル２を定義する。

回転を補正するには、モデル（実線）全体を、位置合わせが済んでいない２つの特徴２と特徴２Ｒ（それぞれ４１１２、４１１２Ｒ）とが同じＸ，Ｙ，Ｚ位置になるまでベクトル２周りに回転させる。

ステップ４ｂ（図４２）：ステップ４ａで述べた回転処理を実行する。
図４２では、特徴１が特徴１Ｒに重ね合わされ（４００３）、特徴２が特徴２Ｒに重ね合わされた（４２０３）後の様子が示されている。

図４２に示すように、前記回転処理の完了後は全ての特徴及び前記２つのモデルがＸ，Ｙ，Ｚにおいて位置合わせされている。

本明細書に記載した技術により可能となる改良は、簡単なテストで明らかになった。まず、ラインスキャナを用いて、参照特徴としての赤点を有する球体をスキャンした。一連の子午線スキャンが行われるときに、この球体を前記スキャナの正面に垂直な方向へと、当該スキャナから離れるように動かした。当該スキャン中にその球体が動いた総距離は１５ミリメートルであった。システムには、この球体の経路についての情報を一切与えなかった。図４３Ａは、子午線スキャンのみが用いられた場合の結果である。得られた点がばらばらになっている点に注目されたい。

次に、赤点を有する同じ球体を、各子午線スキャンと同時に画像を撮像しながら再びスキャンした。さらに、図１０（Fig. 10A〜Fig. 10D）を参照しながら前述したラインスキャンアルゴリズムを、前記赤点を参照特徴に利用して実行した。ここでも、システムにはこの球体の経路についての情報を与えず、かつ、当該スキャン中にその球体が動いた総距離を１５ミリメートルとした。図４３Ｂがその結果であり、前記球体がカメラに対して動いたとしても当該球体の詳細な形状を高精度に検出できるという、能力の顕著な改良を立証している。

Claims (20)

1. 少なくとも１つの区別可能な視覚的特徴を有する物体の三次元表現を生成する装置であって、
   Ａ）撮像軸に沿って方向付けられ、前記物体の一連の二次元画像を生成するカメラであって、各カメラ画像が前記少なくとも１つの区別可能な視覚的特徴の少なくとも１つを含む、カメラと、
   Ｂ）スキャンを生成するスキャナであって、各スキャンが前記物体についての複数のサンプリング測定値を含む、スキャナと、
   Ｃ）前記スキャナと前記カメラの間の定められた空間的関係を守るプラットフォームと、
   Ｄ）前記カメラ及び前記スキャナに接続された制御手段と、
   を備え、前記制御手段が、
   i）複数のサンプリング測定値をそれぞれ含む複数のスキャンラインを生成するために前記スキャナを制御することであって、前記スキャンラインのそれぞれが前記カメラによって観測される画像平面上で少なくとも１つの他のスキャンラインと交差することで当該画像平面上において任意の１つのスキャンラインから任意の他のスキャンラインへのパスを作り出す、前記スキャナを制御することと、
   ii）前記複数のスキャンラインのそれぞれについて、前記物体の画像であって、少なくとも１つの区別可能な視覚的特徴を含む画像を前記カメラから取り込むことにより、各スキャンラインに対してカメラ画像を取り込むことと、
   iii）前記カメラ画像同士を、当該カメラ画像同士に共通する前記区別可能な視覚的特徴を重ね合わせることによって位置合わせすることで、前記スキャンラインについても、対応する量だけ前記画像平面上で位置調整することと、
   iv）所与のスキャンラインごとに個々の前記サンプリング測定値同士を繋げることで、各スキャンラインの連続表現を三次元空間内に生成することと、
   v）２つのスキャンラインからなるセットの少なくとも１つに対して、
   （i）前記画像平面上の点であって、当該２つのスキャンラインの前記連続表現同士が交差する点を突き止め、
   （ii）当該２つのスキャンラインの前記連続表現同士が三次元空間内の共通点で交差するように少なくとも一方のスキャンラインを前記画像平面に対して垂直な平面上の前記撮像軸に沿って移動させることにより、前記スキャナの連続するスキャン間での前記物体の動きを補償することとを実行する、装置。
2. 請求項１に記載の装置において、前記制御手段が、さらに、前記カメラ画像が別のカメラ画像と共通する少なくとも１つの区別可能な特徴を直接共有しているか、あるいは、前記カメラ画像が、先行するカメラ画像に位置合わせされた中間カメラ画像と共通する少なくとも１つの特徴を共有していることで、任意の１つのカメラ画像が少なくとも１つの他のカメラ画像に確実に位置合わせされることにより、前記カメラ画像同士を位置合わせする、装置。
3. 請求項１に記載の装置において、前記制御手段が、さらに、２つ以上のスキャンラインの前記連続表現から前記物体の前記三次元表現を生成する、装置。
4. 請求項１に記載の装置において、取り込まれる前記画像が、前記物体の表面の二次元画像であって、少なくとも１つの区別可能な視覚的特徴を含む二次元画像である、装置。
5. 請求項１に記載の装置において、前記スキャナが表面高さスキャナであり、前記サンプリング測定値のそれぞれが、前記スキャンラインに沿った位置であって、選択された位置における、基準点から前記物体までの距離から求められる高さに相当する、装置。
6. 請求項１に記載の装置において、前記スキャナが、三角測量センサ、ソナーユニット又はレーダーユニットである、装置。
7. 請求項１に記載の装置において、前記サンプリング測定値を取得する時間は、スキャンラインのサンプリング中に発生するモーションブラーが無視できるほどに短い、装置。
8. 少なくとも１つの区別可能な視覚的特徴を有する物体の三次元表現を生成する装置であって、
   Ａ）撮像軸に沿って方向付けられ、前記物体の一連の二次元画像を生成するカメラであって、各カメラ画像が前記少なくとも１つの区別可能な視覚的特徴の少なくとも１つを含む、カメラと、
   Ｂ）スキャンを生成するスキャナであって、各スキャンが前記物体についての複数のサンプリング測定値を含む、スキャナと、
   Ｃ）前記スキャナと前記カメラの間の定められた空間的関係を守るプラットフォームと、
   Ｄ）前記カメラ及び前記スキャナに接続された制御手段と、
   を備え、前記制御手段が、
   i）複数のサンプリング測定値をそれぞれ含む複数のスキャンスライスを生成するために前記スキャナを制御することであって、当該スキャンスライスのそれぞれが前記カメラによって観測される画像平面上で少なくとも１つの他のスキャンスライスと交差することで当該像面上において任意の１つのスキャンスライスから任意の他のスキャンスライスへのパスを作り出す、前記スキャナを制御することと、
   ii）前記複数のスキャンスライスのそれぞれについて、前記物体の画像であって、少なくとも１つの区別可能な視覚的特徴を含む画像を前記カメラから取り込むことにより、各スキャンスライスに対してカメラ画像を取り込むことと、
   iii）任意の１つのカメラ画像が、別のカメラ画像と共通する少なくとも１つの区別可能な特徴を直接共有しているか、又は、先行するカメラ画像に位置合わせされた中間カメラ画像と共通する少なくとも１つの特徴を共有していることで、少なくとも１つの他のカメラ画像に確実に位置合わせされるようにすることと、
   iv）取り込まれた前記カメラ画像同士を、当該カメラ画像同士に共通する前記区別可能な視覚的特徴を重ね合わせることによって位置合わせすることで、前記スキャンスライスについても、対応する量だけ前記画像平面上で位置調整することと、
   ｖ）各スライススキャンから前記物体の表面を抽出し、かつ、当該スライススキャンの前記表面における個々の前記サンプリング測定値同士を繋げることで、表面ラインを指す連続表現であって、物体表面の連続表現を生成することと、
   vi）２つの物体表面ラインからなるセットの少なくとも１つに対して、
   （i）前記画像平面上の点であって、当該２つの物体表面ラインの前記連続表現同士が交差する点を突き止め、
   （ii）当該２つの表面ラインの前記連続表現同士が三次元空間内の共通点で交差するように、少なくとも一方の表面ラインをそのスライススキャンと共に、前記画像平面に対して垂直な平面上の前記撮像軸に沿って移動させることにより、前記スキャナの連続するスライススキャン間での前記物体の動きを補償することとを実行する、装置。
9. 請求項８に記載の装置において、前記制御手段が、さらに、２つ以上の前記スキャンスライスから前記物体の前記三次元表現を生成する、装置。
10. 請求項８に記載の装置において、取り込まれる前記画像が、前記物体の表面の二次元画像であって、少なくとも１つの区別可能な視覚的特徴を含む二次元画像である、装置。
11. 請求項８に記載の装置において、前記スキャナが二次元スキャナ又は三次元スキャナであり、前記サンプリング測定値のそれぞれが、物体から返ってきた信号の強度であって、前記スキャナにおける特定のｘ，ｙ又はｘ，ｙ，ｚ座標で測定された強度に相当する、装置。
12. 請求項８に記載の装置において、前記スキャナが、ＯＣＴ、ＣＡＴ、超音波、ＭＲＩ、ソナー又はレーダーである、装置。
13. 請求項８に記載の装置において、前記サンプリング測定値を取得する時間は、スキャンスライスのサンプリング中に発生するモーションブラーが無視できるほどに短い、装置。
14. 物体の三次元表現を生成する装置であって、
    Ａ）スライススキャンを生成するスキャナであって、各スライススキャンがサンプルの二次元アレイを含み、各サンプルが前記物体についての検出された物理的特性の強度を表す、スキャナと、
    Ｂ）前記スキャナに接続された制御手段と、
    を備え、前記制御手段が、
    i）複数のスライススキャンを生成するために前記スキャナを制御することであって、連続するスライススキャン間で前記物体が動いたとしても各スライススキャンが少なくとも２つの他のスライススキャンと交差するように前記スライススキャンが配置され、かつ、各スライススキャンから任意の他のスライススキャンへの連続パスが存在するように前記スライススキャンが交差する、前記スキャナを制御することと、
    ii）所与のスキャンスライスが、交差するスライスのうち選択した交差スライスと共通して有する、共通の強度値のセットを突き止めることと、
    iii）前記所与のスキャンスライスと前記選択した交差スライスが共通して有する前記強度値同士を位置合わせすることにより、前記物体の前記三次元表現内での前記所与のスキャンスライスと前記選択した交差スライスの位置を調整することとを実行する、装置。
15. 請求項１４に記載の装置において、前記制御手段が、さらに、
    iv）前記所与のスライスが前記選択したスライスと共通して有する、共通の強度値のセットを２つ以上突き止めることと、
    v）第３のスライスに対する前記所与のスライスの相対位置情報を用いて、共通の強度値の２つ以上の前記セットのうちのいずれのセットを前記所与のスキャンスライスと前記選択した交差スライスの位置を調整するのに使用するかを決定することとを実行する、装置。
16. 請求項１４に記載の装置において、前記制御手段が、さらに、（a）スライススキャン角度及びスライス位置、ならびに（b）スキャンスライス間での物体の動きの既知の最大速度を用いて、交差しているスライスを突き止めるための探索領域の大きさ及び位置を制限することを実行する、装置。
17. 請求項１４に記載の装置において、前記サンプルを取得する時間は、スライススキャンにおける連続するサンプル中に発生するモーションブラーが無視できるほどに短い、装置。
18. 請求項１４に記載の装置において、前記スキャナが、ＯＣＴ、ＣＡＴ、超音波、ＭＲＩ、ソナー又はレーダーである、装置。
19. 請求項１４に記載の装置において、前記制御手段が、さらに、各スキャンスライスの大きさを、当該スキャンスライスの取得最中のモーションブラーを阻止又は抑制するように調節することを実行する、装置。
20. 請求項８に記載の装置において、前記制御手段が、さらに、各スキャンスライスの大きさを、当該スキャンスライスの取得最中のモーションブラーを阻止する又は抑制するように調節することを実行する、装置。