JP2022541670A - 体積画像の位置合わせ及びカラー化のためのトランススペクトル特徴検出 - Google Patents

Abstract

体積画像を位置合わせして着色することが、少なくとも１つのスキャナを使用して強度データを取り込むことと、強度データを使用して、シーン内のサンプル特徴を含む少なくとも１つの特徴を含む強度画像を生成することと、少なくとも１つのカメラを使用して、色情報を含む画像データを取り込むことと、画像データを使用して、サンプル特徴を含むカメラ画像を生成することと、強度画像内のサンプル特徴をカメラ画像内のサンプル特徴とマッチングして強度画像とカメラ画像とを位置合わせすることと、位置合わせされた強度画像に色情報を適用することによってカラー画像を生成することと、を含む。【選択図】 図１Ａ

Description

〔関連出願との相互参照〕
本出願は、２０１９年１２月１３日に出願された「体積画像の位置合わせ及びカラー化のためのトランススペクトル特徴検出（Ｔｒａｎｓ－Ｓｐｅｃｔｒａｌ Ｆｅａｔｕｒｅ Ｄｅｔｅｃｔｉｏｎ ｆｏｒ Ｖｏｌｕｍｅｔｒｉｃ Ｉｍａｇｅ Ａｌｉｇｎｍｅｎｔ ａｎｄ Ｃｏｌｏｒｉｚａｔｉｏｎ）」という名称の同時係属中である米国仮特許出願第６２／９４７，７４７号の米国特許法第１１９条に基づく優先権の利益を主張するものである。上記出願の開示は引用により本明細書に組み入れられる。

本開示は、画像の位置合わせ及びカラー化に関し、具体的には、体積画像の位置合わせ及びカラー化のためのトランススペクトル特徴検出に関する。

ビデオ制作、スタジオ環境又はバーチャルプロダクションにおいて使用されるビデオシステムは、レーザースキャナとカラー撮影との組み合わせを使用してシーンを再現することができる。この再現動作は、画像位置合わせプログラムを手動で使用して、カラー写真とレーザースキャンから生成された強度画像との間で点をマッチングすることを含むことができる。しかしながら、２つの画像内の対応する点を定めてマッチングする手動操作は、処理が煩雑で長い時間が掛かる。

本開示は、体積画像の位置合わせ及びカラー化を可能にする。

１つの実装では、画像の位置合わせ及びカラー化のための方法を開示する。この方法は、少なくとも１つのスキャナを使用して強度データを取り込むステップと、強度データを使用して、シーン内のサンプル特徴を含む少なくとも１つの特徴を含む強度画像を生成するステップと、少なくとも１つのカメラを使用して、色情報を含む画像データを取り込むステップと、画像データを使用して、サンプル特徴を含むカメラ画像を生成するステップと、強度画像内のサンプル特徴をカメラ画像内のサンプル特徴とマッチングして強度画像とカメラ画像とを位置合わせするステップと、位置合わせされた強度画像に色情報を適用することによってカラー画像を生成するステップとを含む。

１つの実装では、少なくとも１つのスキャナが少なくとも１つのＬＩＤＡＲスキャナを含む。１つの実装では、少なくとも１つのＬＩＤＡＲスキャナによって取り込まれる強度データが３－Ｄ強度画像である。１つの実装では、方法が、３－Ｄ強度画像に色情報を適用するステップをさらに含む。１つの実装では、方法が、３－Ｄ強度画像から２－Ｄ強度画像を生成するステップをさらに含む。１つの実装では、少なくとも１つのカメラが少なくとも１つのＨＤＲカメラを含む。１つの実装では、少なくとも１つのＨＤＲカメラによって取り込まれるカメラデータが２－Ｄカラー写真である。１つの実装では、画像データを使用してカメラ画像を生成するステップが、画像データに対して露光スタッキング及び色補正を行ってカメラ画像を生成するステップを含む。１つの実装では、方法が、強度画像内に１又は２以上の制御点を生成するステップと、強度画像とカメラ画像との位置合わせの調整を受け取るステップとをさらに含む。１つの実装では、方法が、カメラ画像内のいずれかのレンズ歪みの補正を実行するステップと、強度画像とカメラ画像との位置合わせの調整を受け取るステップとをさらに含む。

別の実装では、体積画像を位置合わせしてカラー化するシステムを開示する。このシステムは、強度データを取り込む少なくとも１つのスキャナと、色情報を含む画像データを取り込む少なくとも１つのカメラと、取り込まれた強度データを使用して、シーン内のサンプル特徴を含む少なくとも１つの特徴を含む強度画像を生成し、画像データを使用して、サンプル特徴を含む。カメラ画像を生成し、強度画像内のサンプル特徴をカメラ画像内のサンプル特徴とマッチングして強度画像とカメラ画像とを位置合わせし、位置合わせされた強度画像に色情報を適用することによってカラー画像を生成する、プロセッサとを含む。

１つの実装では、少なくとも１つのスキャナが少なくとも１つのＬＩＤＡＲスキャナを含む。１つの実装では、少なくとも１つのＬＩＤＡＲスキャナによって取り込まれる強度データが３－Ｄ強度画像である。１つの実装では、少なくとも１つのカメラが少なくとも１つのＨＤＲカメラを含む。１つの実装では、システムが、プロセッサから強度画像及びカメラ画像を受け取り、マッチング及び位置合わせを実行してプロセッサに結果を返送するクラウドクラスタをさらに含む。

別の実装では、体積画像を位置合わせしてカラー化するコンピュータプログラムを記憶した非一時的コンピュータ可読記憶媒体を開示する。コンピュータプログラムは、強度データを取得し、強度データを使用して、シーン内のサンプル特徴を含む少なくとも１つの特徴を含む強度画像を生成し、色情報を含む画像データを取り込み、画像データを使用して、サンプル特徴を含むカメラ画像を生成し、強度画像内のサンプル特徴をカメラ画像内のサンプル特徴とマッチングして強度画像とカメラ画像とを位置合わせし、位置合わせされた強度画像に色情報を適用することによってカラー画像を生成する、ことをコンピュータに行わせる実行可能命令を含む。

１つの実装では、取り込まれる強度データが３－Ｄ強度画像である。１つの実装では、コンピュータ可読記憶媒体が、３－Ｄ強度画像から２－Ｄ強度画像を生成することをコンピュータに行わせる実行可能命令を含む。１つの実装では、画像データを使用してカメラ画像を生成することをコンピュータに行わせる実行可能命令が、画像データに対して露光スタッキング及び色補正を実行してカメラ画像を生成することをコンピュータに行わせる実行可能命令を含む。１つの実装では、コンピュータ可読記憶媒体が、強度画像内に１又は２以上の制御点を生成し、強度画像とカメラ画像との位置合わせの調整を受け取る、ことをコンピュータに行わせる実行可能命令をさらに含む。

本開示の態様を一例として示す本明細書からは、他の特徴及び利点も明らかになるはずである。

同じ部分を同じ参照数字によって示す添付図面を検討することにより、本開示の詳細をその構造及び動作の両方に関して部分的に入手することができる。

本開示の１つの実装による体積画像の位置合わせ及びカラー化のための方法のフロー図である。 本開示の別の実装による体積画像の位置合わせ及びカラー化のための方法のフロー図である。 図１Ｂで説明するステップのプロセス図である。 本開示の１つの実装による体積画像の位置合わせ及びカラー化のためのシステムのブロック図である。 本開示の１つの実装によるコンピュータシステム及びユーザの表現である。 本開示の１つの実装による、位置合わせ及びカラー化アプリケーションをホストするコンピュータシステムを示す機能ブロック図である。

上述したように、ビデオ制作、スタジオ環境又はバーチャルプロダクションにおいて使用されるビデオシステムは、レーザースキャナとカラー撮影との組み合わせを使用してシーンを再現することができ、この動作は、画像位置合わせプログラムを手動で使用して、カラー写真とレーザースキャンから生成された強度画像との間で点をマッチングすることを伴うことができる。しかしながら、２つの画像内の対応する点を定めてマッチングする手動操作は、処理が煩雑で長い時間が掛かる。

本開示のいくつかの実装は、ビデオデータ処理技術を実装するシステム及び方法を提供する。１つの実装では、ビデオシステムが、被写体及び環境のビデオデータを取り込み、点を色付けした体積データセットを作成する。１つの実装では、システムが、点に対する色の割り当てを自動化する。

以下の説明を読んだ後には、様々な実装及び用途における本開示の実装方法が明らかになるであろう。本明細書では本開示の様々な実装について説明するが、これらの実装はほんの一例として提示するものであり、限定ではないと理解されたい。従って、様々な実装の詳細な説明は、本開示の範囲又は外延を限定するものとして解釈すべきではない。

新たなシステムの１つの実装では、光検知及び測距（ＬＩＤＡＲ）スキャナ（例えば、レーザースキャナ）を使用して、色を含まない強度データによって表される体積点群（３－Ｄ）を生成する。一方で、ＬＩＤＡＲスキャナでスキャンした現実世界の環境を再現するために、環境の高ダイナミックレンジ（ＨＤＲ）写真（カラー画像）を撮影して、ＬＩＤＡＲスキャンした強度データの２－Ｄ画像表現にマッピングする。

１つの実装では、新たなシステムが、１又は２以上のＬＩＤＡＲスキャナで強度情報を取り込み、１又は２以上のカメラで画像及びカラー情報を取り込む。新たなシステムは、カラー撮影及び強度画像の両方において画像特徴検出を使用して、２つのトランススペクトル画像（例えば、強度画像及びカラー画像）を共にマッピングし、位置合わせし、及び／又はマッチングすることができる（まとめて「位置合わせ」と呼ぶ）。システムは、位置合わせを改善するために検出点の微調整を可能にすることもできる。

１つの実装では、画像特徴検出法が、カラー写真内の特徴を自動的に検出し、現実世界のＬＩＤＡＲスキャンからの強度画像内の特徴とマッチングして位置合わせするステップを含む。画像特徴検出法は、位置合わせプロセス中にレンズ歪みを補正するステップも含む。方法は、手動微調整、位置合わせの調整、並びにグラフィックスプロセッシングユニット（ＧＰＵ）の非同期コンピュートシェーダ（ａｓｙｎｃｈｒｏｎｏｕｓ ｃｏｍｐｕｔｅ ｓｈａｄｅｒｓ）を利用して計算及びカラー化を行うことをさらに含む。

図１Ａは、本開示の１つの実装による体積画像の位置合わせ及びカラー化のための方法１００のフロー図である。１つの実装では、方法が、ＬＩＤＡＲスキャナ及びＨＤＲ撮影を使用してシーンを再現することを含む。従って、このシーンの再現は、（シーンの３－Ｄ強度データを生成するために）複数の場所からＬＩＤＡＲスキャナで環境をスキャンし、（シーンの２－Ｄカラー画像データを生成するために）ＨＤＲカメラを使用して複数の場所から多重露光でシーンを撮影することを含む。

１つの実装では、シーンの３－Ｄ強度データから２－Ｄ強度画像が生成される。２－Ｄカラー画像データに対して露光スタッキング及び色補正を実行して、ＬＩＤＡＲスキャナによってスキャンされたシーンの特定のビューの強度画像に対応するＨＤＲ画像を生成する。次に、ＨＤＲ画像の特徴を２－Ｄの強度画像の特徴とマッチングする。特徴検出法は、数ある中でもとりわけ、ヒストグラム特徴検出、エッジベースの特徴検出、スペクトル特徴検出及び共起特徴検出（ｃｏ－ｏｃｃｕｒｒｅｎｃｅ ｆｅａｔｕｒｅ ｄｅｔｅｃｔｉｏｎ）を含む。

図１Ａの例示的な実装では、ステップ１１０において、スキャナを使用して取り込まれた強度データから強度画像を生成する。１つの実装では、強度画像がシーン内の少なくとも１つの特徴を含み、少なくとも１つの特徴がサンプル特徴を含む。ステップ１１２において、ＨＤＲカメラを使用して、色情報を含む画像データを取り込む。ステップ１１４において、画像データを使用して、シーンのサンプル特徴を含むカメラ画像を生成する。ステップ１１６において、強度画像のサンプル特徴とカメラ画像のサンプル特徴とをマッチングし、強度画像とカメラ画像とを位置合わせする。ステップ１１８において、位置合わせされた強度画像に色情報を適用することによってカラー強度画像を生成する。

さらなる実装では、位置合わせプロセス中及びその完了後にいずれかのレンズ歪みを補正し、ＧＰＵを使用して、位置合わせを微調整するために使用できる制御点を提示する。別の実装では、ＬＩＤＡＲ３－Ｄ強度データに直接色が適用される。

体積画像の位置合わせ及びカラー化のための方法の別の実装では、マッチング及び位置合わせ動作が、ユーザが２－Ｄ ＬＩＤＡＲ強度画像をＨＤＲ写真と共にアップロードできる高出力クラウドクラスタ上で「オフライン」で行われる。その後、クラウドクラスタが上記プロセスを実行してユーザに最終結果を提示する。

図１Ｂは、本開示の別の実装による体積画像の位置合わせ及びカラー化のための方法１２０のフロー図である。図１Ｃには、図１Ｂで説明するステップのプロセス図を示す。

図１Ｂ及び図１Ｃの例示的な実装では、ステップ１３０において、２－Ｄカラー画像１６０及び２－Ｄ強度画像１６２という２つの画像を受け取る。次に、ステップ１３２において、２－Ｄカラー画像１６０を２－Ｄグレースケール画像１６４に変換する（図１Ｃのプロセス１７０を参照）。ステップ１３４において、２－Ｄグレースケール画像１６４及び２－Ｄ強度画像１６２の両方に対して初回通過形状検出（ｆｉｒｓｔ ｐａｓｓ ｓｈａｐｅ ｄｅｔｅｃｔｉｏｎ）を実行する（図１Ｃのプロセス１７２を参照）。ステップ１３６において、検出された形状を使用して初回通過特徴検出を実行して、両画像のマッチする「形状点」を発見する。図１Ｃの例では、カラー画像が強度画像と直接「マッチ」していない（すなわち、カラー画像（Ｐ座標）が強度画像（Ｑ座標）に対してわずかに回転している）。従って、次にステップ１３８において、画像間の位相相関を計算していずれかのオフセットを得る（図１Ｃのプロセス１７４を参照）。ステップ１４０において、位相相関データを使用して画像変換を計算し、ステップ１４２において、画像変換を使用して、変換後の２－Ｄカラー画像１６６が２－Ｄ強度画像と同じ向きを有するように２－Ｄカラー画像を変換する。

１つの実装では、方法１２０が、ステップ１４４において初期画像位置合わせを実行し、ステップ１４６においてさらに細かな特徴検出を実行することをさらに含む。例えば、初期画像位置合わせは、エッジの前処理を含むことができ、さらに細かな特徴検出は、前処理の結果をハフアルゴリズム（Ｈｏｕｇｈ Ａｌｇｏｒｉｔｈｍｓ）又はその他の線／特徴検出に供給することを含むことができる。ステップ１４８において、「シャープコーナーマッチ（ｓｈａｒｐ ｃｏｒｎｅｒ ｍａｔｃｈ）」又はその他の特徴マッチングなどの何らかの発見的特徴（ｈｅｕｒｉｓｔｉｃ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ）に基づいて、重なり合うマッチした特徴からマッチする特徴点を抽出する。ステップ１５０において、ステップ１３６で発見された形状点、ステップ１４８で抽出された特徴点、及びステップ１３８で計算された位相相関を使用して、最終画像変換を計算する。最後に、ステップ１５２において、最終画像変換を使用して２－Ｄカラー画像（ソース画像）を２－Ｄ強度画像（ターゲット画像）に位置合わせする（図１Ｃのプロセス１７６を参照）。

図２は、本開示の１つの実装による、体積画像の位置合わせ及びカラー化のためのシステム２００のブロック図である。図２の例示的な実装では、システム２００が、ビデオ制作、スタジオ環境又はバーチャルプロダクションにおいてシーンを再現するために使用され、画像取り込みのためのカメラ２１０と、スキャナ及び／又はセンサ２２０と、カメラ及びセンサデータを処理するプロセッサ２３０とを含む。１つの実装では、カメラ２１０がＨＤＲカメラを含み、スキャナ／センサ２２０がＬＩＤＡＲスキャナを含む。従って、１つの特定の実装では、このシーンの再現が、シーンの３－Ｄ強度データを生成するためにＬＩＤＡＲスキャナ２２０でシーンをスキャンし、シーンの２－Ｄカラー画像データを生成するためにＨＤＲカメラを使用してシーンを撮影することを含む。図示の実装では１つのカメラ及び１つのスキャナしか示していないが、１又は２以上のさらなるカメラ及び／又は１又は２以上のさらなるスキャナを使用することもできる。

１つの実装では、プロセッサ２３０が、ＬＩＤＡＲスキャナ２２０によって取り込まれた強度データを受け取って強度画像を生成する。１つの実装では、強度画像がシーンの（サンプル特徴を含む）特徴を含む。プロセッサ２３０は、ＨＤＲカメラ２１０によって取り込まれた（色情報を含む）画像データを受け取って（サンプル特徴を含む）カメラ画像も生成する。プロセッサ２３０は、強度画像内のサンプル特徴とカメラ画像内のサンプル特徴とをマッチングして強度画像とカメラ画像とを位置合わせする。プロセッサ２３０は、位置合わせされた強度画像に色情報を適用してカラー強度画像を生成する。

さらなる実装では、プロセッサ２３０が、いずれかのレンズ歪みの補正も実行し、位置合わせを微調整するために使用できる点を制御する。１つの実装では、プロセッサ２３０がＧＰＵとして構成される。別の実装では、プロセッサ２３０が、２－Ｄ ＬＩＤＡＲ強度画像をＨＤＲ写真と共に高出力クラウドクラスタにアップロードすることによってマッチング及び位置合わせ動作を外部委託する。その後、クラウドクラスタは、上記のプロセスを実行してプロセッサ２３０に最終結果を返送する。

図３Ａは、本開示の１つの実装によるコンピュータシステム３００及びユーザ３０２の表現である。ユーザ３０２は、コンピュータシステム３００を使用して、図１Ａ及び図１Ｂの方法１００、１２０及び図２のシステム２００に関して図示し説明したような体積画像の位置合わせ及びカラー化のための位置合わせ及びカラー化アプリケーション３９０を実行する。

コンピュータシステム３００は、図３Ｂの位置合わせ及びカラー化アプリケーション３９０を記憶して実行する。また、コンピュータシステム３００は、ソフトウェアプログラム３０４と通信することもできる。ソフトウェアプログラム３０４は、位置合わせ及びカラー化アプリケーション３９０のためのソフトウェアコードを含むことができる。以下でさらに説明するように、ソフトウェアプログラム３０４は、ＣＤ、ＤＶＤ又はストレージドライブなどの外部媒体にロードすることができる。

さらに、コンピュータシステム３００は、ネットワーク３８０に接続することもできる。ネットワーク３８０は、例えばクライアント－サーバアーキテクチャ、ピアツーピアネットワークアーキテクチャ又は他のタイプのアーキテクチャなどの様々な異なるアーキテクチャで接続することができる。例えば、ネットワーク３８０は、位置合わせ及びカラー化アプリケーション３９０内で使用されるエンジンとデータとを協調させるサーバ３８５と通信することができる。また、ネットワークは、異なるタイプのネットワークとすることもできる。例えば、ネットワーク３８０は、インターネット、ローカルエリアネットワーク又はローカルエリアネットワークのいずれかの変形形態、ワイドエリアネットワーク、メトロポリタンエリアネットワーク、イントラネット又はエクストラネット、或いは無線ネットワークとすることができる。

図３Ｂは、本開示の実装による、位置合わせ及びカラー化アプリケーション３９０をホストするコンピュータシステム３００を示す機能ブロック図である。コントローラ３１０はプログラマブルプロセッサであり、コンピュータシステム３００及びそのコンポーネントの動作を制御する。コントローラ３１０は、メモリ３２０又は埋め込みコントローラメモリ（図示せず）から（例えば、コンピュータプログラムの形態の）命令をロードし、これらの命令を実行して、例えばデータ処理を行って深度を確立し、データをレンダリングして視覚化を提示するようにシステムを制御する。コントローラ３１０は、その実行において、位置合わせ及びカラー化アプリケーション３９０に、タスク待ち行列を使用して装置群の作成と装置設定データの送信とを同時に可能にするようなソフトウェアシステムを提供する。或いは、このサービスは、コントローラ３１０又はコンピュータシステム３００内の別のハードウェアコンポーネントとして実装することもできる。

メモリ３２０は、コンピュータシステム３００の他のコンポーネントによって使用されるデータを一時的に記憶する。１つの実装では、メモリ３２０がＲＡＭとして実装される。１つの実装では、メモリ３２０が、フラッシュメモリ及び／又はＲＯＭなどの長期又は固定メモリも含む。

ストレージ３３０は、コンピュータシステム３００の他のコンポーネントによって使用されるデータを一時的に又は長期にわたって記憶する。例えば、ストレージ３３０は、位置合わせ及びカラー化アプリケーション３９０によって使用されるデータを記憶する。１つの実装では、ストレージ３３０がハードディスクドライブである。

媒体装置３４０は、取り外し可能媒体を受け取り、挿入された媒体に対してデータの読み取り及び／又は書き込みを行う。１つの実装では、例えば、媒体装置３４０が光ディスクドライブである。

ユーザインターフェイス３５０は、コンピュータシステム３００のユーザからのユーザ入力を受け入れてユーザ３０２に情報を提示するコンポーネントを含む。１つの実装では、ユーザインターフェイス３５０が、キーボード、マウス、オーディオスピーカ及びディスプレイを含む。コントローラ３１０は、ユーザ３０２からの入力を使用してコンピュータシステム３００の動作を調整する。

Ｉ／Ｏインターフェイス３６０は、外部記憶装置又は補助装置（例えば、プリンタ又はＰＤＡ）などの対応するＩ／Ｏ装置に接続するための１又は２以上のＩ／Ｏポートを含む。１つの実装では、Ｉ／Ｏインターフェイス３６０のポートが、ＵＳＢポート、ＰＣＭＣＩＡポート、シリアルポート及び／又はパラレルポートなどのポートを含む。別の実装では、Ｉ／Ｏインターフェイス３６０が、外部装置と無線で通信するための無線インターフェイスを含む。

ネットワークインターフェイス３７０は、イーサネット接続をサポートするＲＪ－４５又は（限定するわけではないが８０２.１１を含む）「Ｗｉ－Ｆｉ」インターフェイスなどの有線及び／又は無線ネットワーク接続を含む。

コンピュータシステム３００は、コンピュータシステムに特有のさらなるハードウェア及びソフトウェア（例えば、電源、冷却、オペレーティングシステム）を含むが、これらのコンポーネントは、単純にするために図３Ｂには具体的に示していない。他の実装では、コンピュータシステムの異なる構成（例えば、異なるバス又はストレージ構成、又はマルチプロセッサ構成）を使用することもできる。

本明細書に開示した実装の説明は、本発明をいずれかの当業者が実施又は利用できるように行ったものである。当業者には、これらの実装の数多くの修正が容易に明らかになると思われ、また本明細書で定める原理は、本発明の趣旨又は範囲から逸脱することなく他の実装にも適用することができる。例えば、システム及び方法の実装は、映画又はテレビのためのビデオ制作に加えて、バーチャルプロダクション（例えば、仮想現実環境）又はその他のＬＩＤＡＲ又は３－Ｄ点空間カラー化用途などの他の用途に適用して適合させることもできる。従って、本開示は、本明細書に示す実装に限定されることを意図するものではなく、本明細書に開示する原理及び新規の特徴と一致する最も広い範囲を許容すべきものである。

本開示の特定の実装では、必ずしも上述した各実施例の全ての特徴が必要なわけではない。さらに、本明細書に示す説明及び図面は、本発明によって幅広く検討される主題を表すものであると理解されたい。さらに、本開示の範囲は、当業者に明らかになると考えられる他の実装を完全に含み、従って添付の特許請求の範囲以外のものによって限定されるものではないと理解されたい。

１１０ スキャナを使用して取り込まれた強度データから強度画像を生成
１１２ ＨＤＲカメラを使用して画像データを取り込む
１１４ 画像データを使用して、シーンのサンプル特徴を含むカメラ画像を生成
１１６ 強度画像のサンプル特徴とカメラ画像のサンプル特徴とをマッチング
１１８ 位置合わせされた強度画像に色情報を適用することによってカラー強度画像を生成

Claims (20)

1. 画像位置合わせ及びカラー化のための方法であって、
   少なくとも１つのスキャナを使用して強度データを取り込むステップと、
   前記強度データを使用して、シーン内のサンプル特徴を含む少なくとも１つの特徴を含む強度画像を生成するステップと、
   少なくとも１つのカメラを使用して、色情報を含む画像データを取り込むステップと、
   前記画像データを使用して、前記サンプル特徴を含むカメラ画像を生成するステップと、
   前記強度画像内の前記サンプル特徴を前記カメラ画像内の前記サンプル特徴とマッチングして前記強度画像と前記カメラ画像とを位置合わせするステップと、
   前記位置合わせされた強度画像に前記色情報を適用することによってカラー画像を生成するステップと、
   を含むことを特徴とする方法。
2. 前記少なくとも１つのスキャナは、少なくとも１つのＬＩＤＡＲスキャナを含む、
   請求項１に記載の方法。
3. 前記少なくとも１つのＬＩＤＡＲスキャナによって取り込まれる強度データは３－Ｄ強度画像である、
   請求項２に記載の方法。
4. 前記３－Ｄ強度画像に前記色情報を適用するステップをさらに含む、
   請求項３に記載の方法。
5. 前記３－Ｄ強度画像から２－Ｄ強度画像を生成するステップをさらに含む、
   請求項３に記載の方法。
6. 前記少なくとも１つのカメラは少なくとも１つのＨＤＲカメラを含む、
   請求項１に記載の方法。
7. 前記少なくとも１つのＨＤＲカメラによって取り込まれる前記カメラデータは２－Ｄカラー写真である、
   請求項６に記載の方法。
8. 前記画像データを使用して前記カメラ画像を生成するステップは、前記画像データに対して露光スタッキング及び色補正を行って前記カメラ画像を生成するステップを含む、
   請求項１に記載の方法。
9. 前記強度画像内に１又は２以上の制御点を生成するステップと、
   前記強度画像と前記カメラ画像との前記位置合わせの調整を受け取るステップと、
   をさらに含む、請求項１に記載の方法。
10. 前記カメラ画像内のいずれかのレンズ歪みの補正を実行するステップと、
    前記強度画像と前記カメラ画像との前記位置合わせの調整を受け取るステップと、
    をさらに含む、請求項１に記載の方法。
11. 体積画像を位置合わせしてカラー化するシステムであって、
    強度データを取り込む少なくとも１つのスキャナと、
    色情報を含む画像データを取り込む少なくとも１つのカメラと、
    前記取り込まれた強度データを使用して、シーン内のサンプル特徴を含む少なくとも１つの特徴を含む強度画像を生成し、
    前記画像データを使用して、前記サンプル特徴を含む。カメラ画像を生成し、
    前記強度画像内の前記サンプル特徴を前記カメラ画像内の前記サンプル特徴とマッチングして前記強度画像と前記カメラ画像とを位置合わせし、
    前記位置合わせされた強度画像に前記色情報を適用することによってカラー画像を生成する、
    プロセッサと、
    を備えることを特徴とするシステム。
12. 前記少なくとも１つのスキャナは、少なくとも１つのＬＩＤＡＲスキャナを含む、
    請求項１１に記載のシステム。
13. 前記少なくとも１つのＬＩＤＡＲスキャナによって取り込まれる強度データは３－Ｄ強度画像である、
    請求項１２に記載のシステム。
14. 前記少なくとも１つのカメラは少なくとも１つのＨＤＲカメラを含む、
    請求項１１に記載のシステム。
15. 前記プロセッサから前記強度画像及び前記カメラ画像を受け取り、前記マッチング及び前記位置合わせを実行して前記プロセッサに結果を返送するクラウドクラスタをさらに備える、
    請求項１１に記載のシステム。
16. 体積画像を位置合わせしてカラー化するコンピュータプログラムを記憶した非一時的コンピュータ可読記憶媒体であって、前記コンピュータプログラムは、
    強度データを取得し、
    前記強度データを使用して、シーン内のサンプル特徴を含む少なくとも１つの特徴を含む強度画像を生成し、
    色情報を含む画像データを取り込み、
    前記画像データを使用して、前記サンプル特徴を含むカメラ画像を生成し、
    前記強度画像内の前記サンプル特徴を前記カメラ画像内の前記サンプル特徴とマッチングして前記強度画像と前記カメラ画像とを位置合わせし、
    前記位置合わせされた強度画像に前記色情報を適用することによってカラー画像を生成する、
    ことをコンピュータに行わせる実行可能命令を含む、ことを特徴とする非一時的コンピュータ可読記憶媒体。
17. 前記取り込まれる強度データは３－Ｄ強度画像である、
    請求項１６に記載の非一時的コンピュータ可読記憶媒体。
18. 前記３－Ｄ強度画像から２－Ｄ強度画像を生成することを前記コンピュータに行わせる実行可能命令を含む、
    請求項１７に記載の非一時的コンピュータ可読記憶媒体。
19. 前記画像データを使用して前記カメラ画像を生成することを前記コンピュータに行わせる前記実行可能命令は、前記画像データに対して露光スタッキング及び色補正を実行して前記カメラ画像を生成することを前記コンピュータに行わせる実行可能命令を含む、
    請求項１６に記載の非一時的コンピュータ可読記憶媒体。
20. 前記強度画像内に１又は２以上の制御点を生成し、
    前記強度画像と前記カメラ画像との前記位置合わせの調整を受け取る、
    ことを前記コンピュータに行わせる実行可能命令をさらに含む、請求項１に記載の非一時的コンピュータ可読記憶媒体。

Images