JP6290392B2 - デュアルバンドセンサからの画像の可視カラー画像への変換 - Google Patents

Description

本発明は一般的に、ウェーブレットベースの画像融合および人間の視覚系の特性に基づいて、デュアルバンドセンサからの画像を可視カラー画像に変換することに関する。

デュアルバンド前方視赤外線（ＦＬＩＲ：Ｆｏｒｗａｒｄ Ｌｏｏｋｉｎｇ Ｉｎｆｒａｒｅｄ）カメラは、感知素子の２つの異なる組を用いて、赤外放射線を検出する。この２つの種類のセンサは、長波赤外線（ＬＷまたはＬＷＩＲ：ｌｏｎｇ−ｗａｖｅ ｉｎｆｒａｒｅｄ、波長８〜１２μｍ）センサ、および中波赤外線（ＭＷまたはＭＷＩＲ：ｍｉｄ−ｗａｖｅ ｉｎｆｒａｒｅｄ、波長３〜５μｍ）センサを含む。ＬＷセンサによって生成されるデータから得られるＬＷ画像は放射されたエネルギーに基づいているのに対し、ＭＷセンサによって生成されるデータから得られるＭＷ画像は放射されたエネルギーに加えて反射されたエネルギーに基づいており、日中は反射されたエネルギーが主流である。似通っているがわずかに異なる単色画像（ＬＷ画像およびＭＷ画像）を、各センサによって生成されるデータから構築することができる。しかしながら、人間の観察者は、この２つの画像を頭の中で結合して、この２つのバンドの内部に埋め込まれている可能性がある異なる現象の特徴を説明する、２つの単色画像の組み合わせ表現を生成するのに、困難を有することがある。

ＬＷ画像およびＭＷ画像は、（｛ＬＷ、ＭＷ｝として表わされる）大きさ２のベクトルを各ピクセルが有する、単一の画像に結合することができる。人間は、２つの別々のグレースケール画像よりも、カラー表示の２つのチャンネルにマッピングされた合成画像において、より良く現象の特徴を知覚することができる。カラー表示の３つのチャンネル（たとえば、赤色チャンネル、緑色チャンネル、青色チャンネル）全てを用いて、合成画像の特徴が完全な視覚的色彩で表示される場合、より一層の現象が知覚可能になる。典型的に、人間の視覚系は、３つの部分的に重複するバンド：赤バンド（Ｒ）、緑バンド（Ｇ）、青バンド（Ｂ）を含む可視スペクトル内の画像を、可視画像の各ピクセルが長さ３のベクトル｛Ｒ、Ｇ、Ｂ｝であるとして、直接に知覚することができる。

一実施形態が、機械可読命令の実行を支援するプロセッサに関連した装置を含み、デュアルバンドセンサからの画像を可視カラー画像に変換する。機械可読命令は、デュアルバンド画像センサからの画像の、プレースホルダ色空間内のプレースホルダ画像への変換を支援することができる。プレースホルダ色空間は、ウェーブレットベースの画像融合と、人間の視覚系によって使用される反対色処理技術（ｏｐｐｏｓｉｔｉｏｎａｌ ｃｏｌｏｒ ｐｒｏｃｅｓｓｉｎｇ ｔｅｃｈｎｉｑｕｅ）とに基づいて確立される。機械可読命令は、プレースホルダ画像の可視色空間へのマッピングを支援して可視カラー画像を生成することもできる。

別の実施形態は、関連したプロセッサによって実行可能な命令を記憶する非一時的なコンピュータ可読記憶媒体を含み、デュアルバンドセンサからの画像を可視カラー画像に変換するための方法を実行する。この方法は、デュアルバンドセンサからの画像をプレースホルダ色空間内のプレースホルダ画像に変換することを含む。プレースホルダ色空間は、ウェーブレットベースの画像融合と、色を知覚するために人間の視覚系によって使用される反対色処理技術とに基づいて確立される。変換の一態様は、第１のチャンネルからのデュアルバンドセンサからの画像の第１の成分と、第２のチャンネルからのデュアルバンドセンサからの画像の第２の成分との間の冗長性を低減することを含む。この方法は、プレースホルダ画像を可視色空間にマッピングして可視カラー画像を生成することも含む。

更なる実施形態は、関連したプロセッサによって実行可能な実行可能命令を記憶する非一時的なコンピュータ可読デバイスを含み、デュアルバンド画像を可視カラー画像に変換する動作を実行する。この動作は、デュアルバンド画像におけるノイズを低減することと、第１のチャンネルからのデュアルバンドセンサからの画像の第１の成分のダイナミックレンジと、第２のチャンネルからのデュアルバンドセンサからの画像の第２の成分のダイナミックレンジを標準化することとを含む。この動作は、ノイズが低減されてダイナミックレンジが標準化されたデュアルバンド画像を、ウェーブレットベースの画像融合と人間の視覚系によって使用される反対色処理技術とに基づいて確立されるプレースホルダ色空間内のプレースホルダ画像に変換することも含む。この動作は、プレースホルダを可視色空間に変換して可視カラー画像を生成することを更に含む。

デュアルバンド画像を可視カラー画像に変換するシステムの例を示した図である。 デュアルバンド前方視赤外線（ＦＬＩＲ）センサからの画像を可視カラー画像に変換する例を示した図である。 ＦＬＩＲセンサからのデュアルバンド赤外画像から生成され得る可視カラー画像の例を示した図である。 デュアルバンド画像を可視カラー画像に変換するために、プロセッサによって用いられ得るシステムの例を示した図である。 デュアルバンド画像のダイナミックレンジの標準化において用いられ得るプロットの例を示した図である。 デュアルバンド画像データのプレースホルダＬ＊空間への変換において用いられ得るウェーブレットベースの画像融合手法の例を示した図である。 デュアルバンド画像を可視カラー画像に変換するための方法の例を示した図である。

本発明は一般に、デュアルバンドセンサからのデュアルバンド画像を３バンド可視カラー画像に変換することに関する。本出願で使用される場合、「画像」という用語は一般的に、表示装置によって表示可能な画像データを指す。本出願で使用される場合、「可視カラー画像」という用語は各ピクセルにおいて赤色値、緑色値、および青色値を有する画像を指し、各値は標準ディスプレイのダイナミックレンジ（たとえば、色あたり８ビット／ピクセル）内になる。

デュアルバンド画像の可視カラー画像への変換は、ウェーブレットベースの画像融合を、人間の視覚系の動作に着想を得た方法に緊密に結合する工程を介して達成することができる。デュアルバンド画像は、まず、簡略化されたプレースホルダ｛Ｌ＊、ａ＊、ｂ＊｝色空間におけるプレースホルダ画像に変換される。本出願で使用される場合、「プレースホルダ」という用語は、中間生成物を一般に指し、中間の、一時的な、表記上の、予備的な、および他の類似の用語の同義語である。プレースホルダ｛Ｌ＊、ａ＊、ｂ＊｝色空間は、対応するプレースホルダ｛Ｌ＊、ａ＊、ｂ＊｝画像と同様に、一般的に、浮動小数点演算を介して少なくとも部分的に形成される。プレースホルダ｛Ｌ＊、ａ＊、ｂ＊｝色空間のＬ＊成分は、ウェーブレットベースの手法を用いて、デュアルバンド画像のバンドからの画像を融合することによって生成される。プレースホルダ｛Ｌ＊、ａ＊、ｂ＊｝色空間のａ＊成分と、プレースホルダ｛Ｌ＊、ａ＊、ｂ＊｝色空間のｂ＊成分とは、人間の視覚系に着想を得た方法に従って生成される。プレースホルダ画像は、可視｛Ｒ、Ｇ、Ｂ｝色空間にマッピングされ、可視カラー画像を生成する。可視カラー画像は、人間による視覚分析のために表示装置によって表示することができ、または、データは、人工知能を用いる自動化された工程によって活用されることができる。

ここで図１を参照すると、ウェーブレットベースの画像融合技術を人間の視覚系に着想を得た方法に緊密に結合する工程に従って、デュアルバンド画像を可視カラー画像に変換するシステム１の例が示されている。システム１は、少なくともセンサ１２（センサ１２は本明細書では、「デュアルバンドセンサ１２」または「デュアルバンドカメラ１２」とも呼ばれ、「センサ」という用語と「カメラ」という用語は、本明細書では互換的に使用される）およびプロセッサ１０を含む。プロセッサ１０はデュアルバンドセンサ１２からデュアルバンド画像を受け取り、このデュアルバンド画像をＬ＊成分、ａ＊成分、およびｂ＊成分を有するプレースホルダ｛Ｌ＊、ａ＊、ｂ＊｝色空間内のプレースホルダ画像に変換する。プロセッサ１０は、ウェーブレットベースの手法を用いてデュアルバンド画像の２つのバンドの画像を融合することにより、Ｌ＊成分を形成する。プロセッサ１０は、人間の視覚系に着想を得た方法を用いて、ａ＊成分およびｂ＊成分を形成する。プロセッサ１０は、プレースホルダ｛Ｌ＊、ａ＊、ｂ＊｝色空間内のプレースホルダ画像を、可視｛Ｒ、Ｇ、Ｂ｝色空間にマッピングして可視カラー画像を生成する。

デュアルバンドセンサは、少なくとも電磁スペクトルの２つのバンドでデータを収集してデュアルバンド画像を形成することができる１つのセンサ、および／または、画像の異なるバンドを各々が生成する２つの別々のセンサを指すことができる。デュアルバンドセンサ１２の片方または両方のバンドを生成するために用いることができるセンサの例としては、長波前方視赤外線（ＦＬＩＲ）センサ、中波ＦＬＩＲセンサ、完全に一体化したデュアルバンド長波／中波ＦＬＩＲセンサ、短波赤外線センサ、単色可視センサ、近赤外線センサ、画像強化画像センサ、または、任意の他の種類のデュアルバンドセンサもしくは異なるバンドで撮像する２つのセンサの組み合わせ、が挙げられる。可視カラー画像への変換を容易にすることができるデュアルバンド画像の後処理段階は、センサ１２の内部のプロセッサによって、および／またはセンサ１２の外部にあるプロセッサ１０の内部のプロセッサによって、実行することができる。後処理段階の例としては、不均一性補正、不良ピクセル補正、等が挙げられる。

プロセッサ１０は、画像データの転送を可能にする通信手段に従って、センサ１２と通信可能に結合される。プロセッサ１０は、センサ１２との通信を容易にする位置に配置することができる。たとえば、プロセッサ１０は、センサ１２と同一のアセンブリ内に収容することができ、または、センサ１２に隣接するプロセッサボックス内に収容することができ、または、センサ１２とは別のプロセッサボックス内に収容することができ、または、ディスプレイ制御装置、グラフィカルユーザインターフェース、等に関連付けることができる。プロセッサ１０は、たとえば、リアルタイムプロセッサ、信号プロセッサ、シングルボードコンピュータ、または、データによって表わされるデュアルバンド画像を可視カラー画像に変換するための命令の実行を支援することができる任意の他の種類のプロセッサを含むことができる。

プロセッサ１０は、変換の間、（たとえば、デュアルバンド画像、プレースホルダ画像、または可視カラー画像の１つまたは複数に適用される）異なる種類のハードウェアおよび／またはソフトウェアのフィルタを使用して、可視カラー画像の鮮明度および／またはノイズ特性を制御することができる。フィルタの例としては、平均フィルタ、メディアンフィルタ、ローパスフィルタ、ハイパスフィルタ、アンシャープマスクフィルタ等が挙げられる。更に、プロセッサ１０は、（たとえば、可視カラー画像の特徴を強調するために）可視カラー画像を異なる色空間に更にマッピングすることができる。

システム１は、メモリ１６および／またはディスプレイ１４を任意選択により含むことができる。メモリ１６は、プロセッサ１０と通信可能に結合することができ、プロセッサ１０によるセンサ１２からのデュアルバンド画像の可視カラー画像への変換を支援することができる実行可能命令を記憶することができる。ディスプレイ１４は、プロセッサ１０と通信可能に結合して、（たとえば、人間のユーザに対して）可視カラー画像を表示することができる。ディスプレイ１４に対して生成されたデータは、人工知能ルーチンに従って、更に処理することができる。ディスプレイ１４は、コンピュータモニタ、ビデオディスプレイ、または可視カラー画像もしくは可視カラー画像の動画を表示することができる任意の他の種類のモニタを含むことができる。可視カラー画像は、静止画、動画、または静止画と動画の任意の組み合わせであることができる。

デュアルバンドセンサ１２がＦＬＩＲセンサである場合のプロセッサ１０の機能の例が、図２に示されている。プロセッサ１０が、ＦＬＩＲセンサ１２からデュアルバンド画像５２を受け取る。デュアルバンド画像５２は、｛ＬＷ、ＭＷ｝で表わされる、長波データ（ＬＷ）と中波データ（ＭＷ）の２次元のベクトルであるピクセルを含み、ＬＷおよびＭＷは各々、ピクセル毎に１つの整数値を含むものと想定される。ＦＬＩＲセンサ１２が、実質的に同時に、ＬＷバンドおよびＭＷバンド内の画像データを取り込む。デュアルバンド画像１２は、プロセッサ１０による処理に先立ち、ピクセル毎に（たとえば、センサ設計、処理、等によって）空間的に登録されていることが想定されている。プロセッサ１０が、デュアルバンド｛ＬＷ、ＭＷ｝画像をプレースホルダ画像５４に変換する。プレースホルダ画像は、大きさ３のベクトル｛Ｌ＊、ａ＊、ｂ＊｝として表わすことができる。デュアルバンド画像５２のプレースホルダ画像５４への変換は、ウェーブレットベースの画像融合を人間の視覚系によって使用される反対色処理技術に結合する技術を用いる浮動小数点演算を介して、達成することができる。

プレースホルダ画像５４は、Ｌ＊成分、ａ＊成分、およびｂ＊成分を含むプレースホルダ｛Ｌ＊、ａ＊、ｂ＊｝色空間の内部にある。プロセッサ１０は、デュアルバンド画像のＬＷ成分とデュアルバンド画像のＭＷ成分とを融合するウェーブレットベースの画像融合手法に従って、Ｌ＊成分を生成する。プロセッサ１０は、デュアルバンド画像のＬＷ成分と、デュアルバンド画像のＭＷ成分と、デュアルバンド画像のＬＷ成分およびデュアルバンド画像のＭＷ成分の関数とに従う、人間の視覚系に着想を得た反対色処理方法に従って、ａ＊成分およびｂ＊成分を生成する。

プロセッサ１０は、プレースホルダ画像５４から可視カラー画像５６を生成する。例として、プロセッサ１０は、プレースホルダ｛Ｌ＊、ａ＊、ｂ＊｝空間内のプレースホルダ画像５４を、大きさ３のベクトル｛Ｒ、Ｇ、Ｂ｝として表わされる、赤色バンド、緑色バンド、および青色バンド内部の可視カラー画像５６にマッピングすることができる。可視カラー画像５６は、人間の知覚によって特徴を検出することができるように、表示装置（たとえば、コンピュータのモニタなどの、表示装置１４）によって表示することができる。可視カラー画像５６に関連したデータ（たとえば、浮動小数点または固定小数点の形式で）は、人工知能ルーチンに従って更に処理することができる。可視カラー画像５６は、整数形式で、ピクセルあたりのカラー成分あたり１つの整数値で、提供することができる。入力画像（たとえば、デュアルバンド画像５２）および出力画像（たとえば、可視カラー画像５６）は、同じ高さ幅比で、同じ数のピクセルを含むことができる。出力（たとえば、可視カラー画像５６）は、特定の表示の要件を満たすように、再フォーマットすることもできる。

デュアルバンドＦＬＩＲセンサからのＬＷ画像１０２およびＭＷ画像１０４の、可視カラー画像１０６への変換の例が、図３に示されている。プロセッサが、ウェーブレットベースの画像融合と、人間の視覚系によって使用される反対色処理技術とに基づいて、ＬＷ画像１０２およびＭＷ画像１０４を、プレースホルダ｛Ｌ＊、ａ＊、ｂ＊｝色空間内のプレースホルダ画像に変換する。次いで、プロセッサ１０がプレースホルダ画像を可視｛Ｒ、Ｇ、Ｂ｝色空間にマッピングして可視カラー画像１０６を生成する。図３において明らかなように、可視カラー画像１０６は、ＬＷ画像１０２またはＭＷ画像１０４のいずれかよりも更なる奥行きおよびコントラストを含む。

ここで図４を参照すると、プロセッサ１０によって実行されて、デュアルバンドセンサ１２によって記録されたデュアルバンド画像の、表示装置１４によって表示可能な可視カラー画像への変換を支援することができるシステムが、図示されている。システムの動作を支援する命令は、プロセッサに結合されているメモリ１６内に記憶することができる。図４に示すように、システムは少なくとも補正部１５２、生成部１５４、および変換部１５６を含む。

補正部１５２は、センサ１２からデュアルバンド画像を表す画像データを受け取る。画像データは、デュアルバンドセンサ１２の第１のバンドで取り込まれたデータと、第２のバンドで取り込まれたデータとを含む。デュアルバンドセンサ１２の第１のバンドで取り込まれたデータおよび／または第２のバンドで取り込まれたデータは、異常、たとえば、異常に明るいピクセルまたは異常に暗いピクセルを含み得る。補正部１５２は、デュアルバンドセンサ１２の第１のバンドで取り込まれたデータおよび／または第２のバンドで取り込まれたデータのダイナミックレンジの標準化を介して、これらの異常を除去することができる。異常を除去するために、補正部１５２は、デュアルバンドセンサ１２の第１のバンドで取り込まれたデータおよび第２のバンドで取り込まれたデータのダイナミックレンジを標準化することができる。

標準化の間、補正部１５２は、デュアルバンドセンサ１２の第１のバンドで取り込まれたデータおよび／または第２のバンドで取り込まれたデータを、異常についてチェックする。たとえば、補正部１５２は、データに関連した輝度レベルのヒストグラムを調査することにより、データをチェックすることができる。高い階調レベルがシーン内の熱い領域に対応していると仮定すると、特定の異常は、当該バンド内部の残りのデータよりもはるかに高い階調レベルをしばしば有し、これは、ヒストグラムの右側の尾部におけるギャップとして表わされる。この種の異常は、幾つかの赤外線画像の高い非ガウス分布性質か、または時には未補正の画像の誤差のいずれかに対応している。補正部１５２は、ヒストグラムの右側の尾部におけるギャップおよび／または異常を検出し、標準化に対する異常としてデータにフラグをたてる。

補正部１５２が異常を検出する場合、異常を補正することができる１つの方法は、Ｌｉｎ／Ｌｏｇ変換を介することである。Ｌｉｎ／Ｌｏｇ変換の例は、数学的に式１で表わされる。

ここで、Ｘは入力の階調レベルであり、Ｘ_０は、画像のダイナミックレンジの大部分が画像のほんの小さな一部に対して使用されるのを防ぐように選択された点のＸ−値であり、Ｙは出力の階調レベルである。

Ｌｉｎ／Ｌｏｇ変換におけるＸ_０値の選択のために用いることができるプロットの例が図５に示されており、ここでＸは入力の階調レベルであり、Ｙは出力の階調レベルである。変曲点２０８は、画像のダイナミックレンジの大部分が画像のほんの小さな一部分に対して使用されるのを防ぐように選択することができる。変曲点２０８のＸ−値を、Ｘ_０値として使用することができる。変曲点２０８は、これらに限定はされないが次のもの、すなわち、画像の平均を超える標準偏差の数、変換の対象となるピクセル数の限界、グレースケール値のヒストグラムの右側尾部におけるギャップの開始点、または、異常を示す別の特徴、を含む要因に基づいて選択することができる。

加えてまたは代替的に、補正部１５２は、デュアルバンド画像内部のノイズまたは不均一性を低減することができる。システムは、補正部１５２がデュアルバンド画像中のノイズを低減することなしに動作することができるが、デュアルバンド画像が低ノイズを示す場合、システムはより良好な可視カラー画像を生成することができる。補正部１５２によってデュアルバンド画像において低減することができるノイズには、ランダムな空間−時間ノイズ、時間的行ノイズ、時間的列ノイズ、ランダムな空間ノイズ、固定行ノイズ、固定列ノイズ、フレーム間ノイズ、画像輝度のちらつき、熱的けられ、画像内部の周期的ノイズ、等が挙げられる。補正部１５２は、標準的な統計的信号処理または画像処理技術を用いて、異なる種類のノイズおよび／または不均一性を低減することができる。ノイズの種類のうち幾つかは、デュアルバンドセンサ１２の内部でも補正することができる。たとえば、デュアルバンドセンサ１２は、熱的基準補正またはシーンベースの不均一性補正を用いて、デュアルバンド画像内部のノイズの少なくとも一部の補正を行うことができる。

戻って図４を参照すると、生成部１５４がプレースホルダ｛Ｌ＊、ａ＊、ｂ＊｝３次元色空間内部にプレースホルダ画像を生成することができる。生成部１５４は、ウェーブレットベースの手法に従って、デュアルバンド画像の各次元を融合することにより、プレースホルダ画像のＬ＊成分を生成することができる。生成部１５４は、人間の視覚系に着想を得た方法に従って、ａ＊成分およびｂ＊成分を生成することができる。生成部１５４は、更に、ａ＊成分および／またはｂ＊成分のダイナミックレンジを拡大して、デュアルバンド画像の２つのバンドの各々に対応する画像間の冗長性を低減することができる。

生成部１５４は、人間の視覚系に着想を得た方法に従って、ａ＊成分およびｂ＊成分を生成することができる。人間の視覚系の網膜は、一般的にグレースケール画像を知覚する棹状体と、一般的にカラー画像を知覚する錐状体とを含む。錐状体は、電磁スペクトルの可視部分の赤色バンド、緑色バンド、および青色バンドを知覚することができる。赤色バンドと緑色バンドに対する錐状体の反応は非常に重複しており、入力画像の対抗状態空間への変換（反対色処理技術と呼ばれる）のおかげで、人間は依然として赤色と緑色を異なる色として知覚する。デュアルバンド画像の可視カラー画像への変換において使用されるプレースホルダ｛Ｌ＊、ａ＊、ｂ＊｝空間は、人間の視覚系の反対色処理技術を模倣している。Ｌ＊、ａ＊、ｂ＊は３次元座標系の直交軸であり、ここで、Ｌ＊は明るさまたは輝度の軸を表し、ａ＊は赤色／緑色軸を表し、ｂ＊は青色／黄色軸を表す。

生成部１５４は、デュアルバンドセンサ１２によって記録されたデュアルバンド画像を、３つの可視カラーチャンネル（赤色、緑色、青色）に変換し、次いで、ＲＧＢ画像をプレースホルダ｛Ｌ＊、ａ＊、ｂ＊｝空間に変換することができる。デュアルバンド画像｛ＬＷ、ＭＷ｝がＦＬＩＲセンサによって取得される例においては、生成部１５４は、デュアルバンド｛ＬＷ、ＭＷ｝画像を、式２で表わされる以下のように、一時的な｛Ｒ、Ｇ、Ｂ｝可視色空間に変換する。

青色チャネルは、ＬＷおよびＭＷ熱画像の両方において同時に明るい（または、少なくとも高いグレースケール値の）領域に対して、強い応答を示す。ある実施形態においては、青色チャンネルは、ＬＷ画像とＭＷ画像の積ではなく、各ピクセル位置におけるＬＷピクセル値およびＭＷピクセル値の比であり得る。換言すると、青色チャンネルは、ＬＷ画像とＭＷ画像の選択された関数である。この変換は、他の種類のデュアルバンドセンサによって記録された他の種類のデュアルバンド画像に対しても同様に行うことができる。

次いで、生成部１５４は、一時的な｛Ｒ、Ｇ、Ｂ｝可視色空間を、プレースホルダ｛Ｌ＊、ａ＊、ｂ＊｝空間のａ＊成分およびｂ＊成分に変換する。生成部１５４によってプレースホルダ｛Ｌ＊、ａ＊、ｂ＊｝色空間として利用することができる、プレースホルダ色空間の代替的な定式化が存在することが、当業者には理解されるであろう。本明細書に記載されるようなプレースホルダ｛Ｌ＊、ａ＊、ｂ＊｝色空間の定式化は、多くの可能な例の１つに過ぎない。

プレースホルダ｛Ｌ＊、ａ＊、ｂ＊｝色空間において、ａ＊成分はＲおよびＧの関数である。ｂ＊成分は、Ｂ、Ｒ、およびＧの関数である。ａ＊成分およびｂ＊成分の計算の例が式３に示されている。

生成部１５４は、ａ＊チャンネルおよびｂ＊チャンネルのダイナミックレンジを拡張してＬＷ画像とＭＷ画像の間の冗長性を低減することができる。例として、この拡張は、ａ＊画像値およびｂ＊画像値のヒストグラムを、（経験的に決定された固定量だけ）、それぞれの画像の平均値のまわりに引き伸ばすことにより、実行することができる。

生成部１５４は、ウェーブレットベースの画像融合技術を使用してＬ＊成分を生成することができる。ウェーブレットベースの画像融合技術の例が図６に示されており、ここで、ウェーブレットベースの画像融合技術の出力（たとえば、融合された画像２７０）が、Ｌ＊成分である。融合された画像２７０において、デュアルバンドセンサ１２の一方のバンドからの画像データにおける高周波成分は、デュアルバンドセンサ１２の他方のバンドからの画像データにおける高周波成分を増加させるために用いることができる。補正部１５２がノイズを除去する場合には、図６の工程は、ノイズが両方のバンドで除去された後に行われるべきであり、さもなければ、ノイズが一方のバンドから他方へ伝達されるであろう。

融合された画像２７０（および、それによりＬ＊成分）は、デュアルバンド画像の画像特性における急激な変化に対応する、物体および物体構成要素（たとえば、軍事上の目標物）の鮮明な境界を強調することができ、一方、デュアルバンドセンサ１２によって記録されたシーンにおける重要な変化をしばしば明らかにすることができる、自然の物体（たとえば、木、低木、草、等）の境界について強調を緩和する。急激な変化としては、深さの不連続性、表面配向の不連続性、材料構成の変化、シーン照度の変化、シャドーイングの違い、等が挙げられる。

図６に示すように、補正部１５２による任意の標準化またはノイズ補正を受けたデュアルバンドセンサ１２の２つのバンドからの画像データ２５１、２５２は、生成部１５４によって受け取ることができる。生成部１５４は、画像データ２５１、２５２が変換ドメインにあるように、第１のバンドからの画像データ（画像データ１、たとえば、ＬＷデータ）２５１と、第２のバンドからの画像データ（画像データ２、たとえば、ＭＷデータ）２５２の両方上でドメイン変換（変換）を実行することができる。この変換は、２次元離散ウェーブレット変換（ＤＷＴ：ｄｉｓｃｒｅｔｅ ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍ）、またはデュアルツリー複素ウェーブレット変換（ＤＴ−ＣＷＴ：ｄｕａｌ−ｔｒｅｅ ｃｏｍｐｌｅｘ ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍ）などの、マルチスケールの変換技術であり得る。他の変換技術を用いることができる。

生成部１５４によって使用することができる１つの例示的な変換はＤＷＴであり、これは、画像データ２５１および２５２の周波数特性および位置特性を取り込む。図６では、２つの別々の変換が実行される。デュアルモード画像の各チャンネルについて、式４および式５に示すように、入力信号は、近似信号についてはハイパスカーネルｈ_ｋを用いて、詳細信号についてはｇ_ｋを用いてフィルタリングすることにより、近似信号ｘ^ｋ＋１（ｎ）および詳細信号ｙ^ｋ＋１（ｎ）に分解することができる。

ここで、ｘ^ｋは入力信号であり、ｘ^ｋ＋１は近似信号であり、ｙ^ｋ＋１は詳細信号であり、ｈ_ｋおよびｇ_ｋはハイパスフィルタカーネルである。ＤＷＴでは、任意の信号ｘ^ｋ（ｎ）は、１レベル分解されて、近似信号ｘ^ｋ＋１（ｎ）および詳細信号ｙ^ｋ＋１（ｎ）になることができる。

生成部１５４によって使用することができる別の例示的な変換は、ＤＴ−ＣＷＴであり、これは、ＤＷＴと比べて幾つかの利点がある。この利点は、増加したシフト不変性および指向感度に関する。図６に示すように、２つの別々の変換が実行される。各画像データ２５１、２５２について、ＤＴ−ＣＷＴ内部で、変換画像の２つの対（１つの対が実数と複素数の画像を含む）が計算され、ここでピクセル値がウェーブレット係数になっている。第１の対は、画像の偶数の項を用いてスケールで分解され、第２の対は、奇数の項を用いて分解される。

変換の後、生成部１５４は、画像データ２５１、２５２に対応する係数の組（係数１および係数２）２５３、２５４を生成することができる。生成部１５４は、係数の組２５３、２５４を融合して、融合された係数２６０の組を形成することができる。融合された係数２６０は、逆変換を受けた後で融合された画像２７０を形成するために使用することができる。この逆変換は、画像データ２５１、２５２を係数の組２５３、２５４に変換するのに用いられた変換の逆である。融合された画像２７０はグレースケールの画像であり、この画像はデュアルバンドセンサ１２によって記録されたデュアルバンド画像の明るさおよび輝度を取り込む。したがって、生成部１５４は、融合された画像２７０をＬ＊成分として使用する。

プロセッサ１０の処理リソースが限られている場合、Ｌ＊成分を生成するために生成部１５４が使用することができる代替の手法を用いることができる。この代替の手法では、単一のウェーブレット周波数のみが利用され、周波数はレンジの関数である。デュアルバンドセンサ１２がＦＬＩＲセンサである場合でのピクセルにおけるＬ＊値が、式６で示される、この代替の手法に従って計算される。

この代替の手法は、プロセッサ１０の処理リソースが低い場合に、プロセッサリソースの極端に多くの量を消費することなく、Ｌ＊成分を生成する。

図４のシステムは変換部１５６も含み、この変換部はプレースホルダ｛Ｌ＊、ａ＊、ｂ＊｝色空間内のプレースホルダ画像を可視｛Ｒ、Ｇ、Ｂ｝色空間に変換して可視カラー画像を生成することができる。この変換は式７に従って達成することができ、この数式では、可視｛Ｒ、Ｇ、Ｂ｝色空間の各成分は、プレースホルダ画像の成分に基づいている。

可視｛Ｒ、Ｇ、Ｂ｝色空間における可視カラー画像は、ディスプレイ１４が可視カラー画像を（たとえば、人間のユーザに対して）表示することができるように、ディスプレイ１４に送信することができる。ディスプレイ１４用に用意されたデータは、人工知能ルーチンに従って、可視カラー画像の処理を支援することもできる。可視カラー画像は、デュアルバンドセンサ１２の２つのバンドの両方によって記録された画像よりも、より多くの奥行きおよびコントラストを含む。デュアルバンド画像と比較した可視カラー画像の有意性の例が図３に示されている。図３において、人間の観察者に対して、可視カラー画像１０６は、ＬＷ画像１０２およびＭＷ画像１０４と比較して、より多くの奥行およびコントラストを明らかに示す。

戻って図４を参照すると、変換部１５６が追加の画像処理技術を実行して、可視カラー画像内の特定の特徴を強調することができる。たとえば、変換部１５６は、カラーチャンネルを更に入れ替えておよび／または反転して、（たとえば、カラー画像の様々な特徴を強調するために）カラー画像の外観を変更することができる。同様に、変換部１５６は、カラー画像の異なる色空間への非線形マッピングを実行して結果として得られる画像の特性を変更し、カラー画像の特徴を強調することができる。たとえば、入れ替え、反転、または異なる色空間へのマッピングは、青い空および緑色の植生を有する画像、軍事目標が画像の残りの部分よりも顕著に現れる画像、または、不明瞭にする塵が画像の残りの部分とは異なる色で現れる画像を、生成することができる。

上述した前出の構造的および機能的特徴を考慮して、本発明の様々な態様に従う方法が、図７を参照してより良く理解されるであろう。説明を簡潔にするために、図７の方法は連続的に実行されるものとして示され説明されているが、本発明は、図示される順序に限定されるのではなく、本発明に従って、幾つかの態様が異なる順序で、かつ／または、本明細書に示され説明されるものとは別の態様と同時に、発生することがあり得ることが理解され認識されるべきである。更に、本発明の態様に従う方法を実施するために、全ての図示された特徴が必要とされるのではないことがあり得る。これらの各方法の幾つかまたは全ては、非一時的なコンピュータ可読媒体（たとえば、メモリ１６）上に機械可読命令として実装することができることが、理解されるであろう。

図７は、デュアルバンド画像（たとえば、デュアルバンドセンサ１２からのデュアルバンド画像５２）を可視カラー画像（たとえば、可視カラー画像５６）に変換するための方法７の例を示している。ステップ３５０において、デュアルバンド赤外線画像においてノイズが低減される。ステップ３５２において、デュアルバンド赤外線画像の第１のバンド（たとえば、ＬＷバンド）のダイナミックレンジと、デュアルバンド赤外線画像の第２のバンド（たとえば、ＭＷバンド）のダイナミックレンジが、（たとえば、補正部１５２を介して）標準化される。ステップ３５４において、ノイズが低減され、第１のバンドおよび第２のバンドのダイナミックレンジが標準化されたデュアルバンド赤外線画像が、ウェーブレットベースの画像融合技術と、人間の視覚系によって利用される反対色処理技術とに基づいて、プレースホルダ色空間（たとえば、プレースホルダ｛Ｌ＊、ａ＊、ｂ＊｝色空間）内のプレースホルダ画像（たとえば、プレースホルダ画像５４）に変換される。ステップ３５６において、プレースホルダ画像が可視色空間（たとえば、可視｛Ｒ、Ｇ、Ｂ｝色空間）に変換されて可視カラー画像（たとえば、可視カラー画像５６）を生成する。

上記で説明されたことは、本発明の例である。当然ながら、本発明を説明する目的のために、全ての考えられる要素または方法の組み合わせを記載することは不可能であるが、当業者であれば、本発明の多数の更なる組み合わせおよび置換が可能であることを認識するであろう。したがって、本発明は、添付の特許請求の範囲を含む本出願の範囲内に該当する、全てのそのような変更、修正、および変形を包含することが意図されている。
＜付記＞
［付記１］
装置であって、
機械可読命令を記憶する非一時的メモリと、
プロセッサであって、前記機械可読命令の実行を支援し、少なくとも、
デュアルバンド画像センサからの画像を、ウェーブレットベースの画像融合と反対色処理技術とに基づいて確立されるプレースホルダ色空間内のプレースホルダ画像に変換し、
前記プレースホルダ画像を可視色空間にマッピングすることにより可視カラー画像を生成する、プロセッサと、
を含む装置。
［付記２］
前記デュアルバンド画像センサが、デュアルバンド前方視赤外線センサであるか、または、長波赤外線センサ、中波赤外線センサ、短波赤外線センサ、単色可視センサ、近赤外線センサ、もしくは画像強化画像センサのうちの少なくとも２つである、付記１に記載の装置。
［付記３］
前記デュアルバンド画像センサからの前記画像が長波データおよび中波データを含み、
前記プレースホルダ画像内のデータが、前記長波データおよび前記中波データの組に関して減少した冗長性を示す、付記１に記載の装置。
［付記４］
前記デュアルバンド画像センサからの前記画像が長波データおよび中波データを含み、
前記反対色処理技術が一時的な赤色チャンネル、一時的な緑色チャンネル、および一時的な青色チャンネルを生成し、
前記一時的な赤色チャンネルが前記長波データを含み、
前記一時的な緑色チャンネルが前記中波データを含み、
前記一時的な青色チャンネルが、前記長波データと前記中波データの関数を表わすデータを含む、付記１に記載の装置。
［付記５］
前記プレースホルダ画像がａ＊データおよびｂ＊データを含み、
前記ａ＊データが、前記一時的な赤色チャンネルからのデータと前記一時的な緑色チャンネルからのデータとの関数を含み、
前記ｂ＊データが、前記一時的な青色チャンネルからのデータと、前記一時的な赤色チャンネルからのデータと、前記一時的な緑色チャンネルからのデータとの関数を含む、付記４に記載の装置。
［付記６］
前記プレースホルダ画像が輝度（Ｌ＊）データを更に含み、
前記Ｌ＊データが、前記デュアルバンド画像センサからの前記画像のウェーブレットベースの画像融合に基づく、融合された画像を表すデータを含む、付記４に記載の装置。
［付記７］
前記プロセッサが前記機械可読命令の実行を更に支援して前記可視カラー画像を異なる色空間に変換し、前記可視カラー画像の特徴を強調する、付記１に記載の装置。
［付記８］
前記プロセッサが前記機械可読命令の実行を更に支援して、平均フィルタ、メディアンフィルタ、ハイパスフィルタ、ローパスフィルタ、またはアンシャープマスクフィルタを、前記デュアルバンドセンサからの前記画像、前記プレースホルダ画像、または前記可視カラー画像のうちの少なくとも１つに適用する、付記１に記載の装置。
［付記９］
デュアルバンド画像を可視カラー画像に変換するための方法を実行するために、関連したプロセッサによって実行可能な命令を記憶する非一時的なコンピュータ可読記憶媒体であって、前記方法が、
前記デュアルバンド画像を、ウェーブレットベースの画像融合と、人間の視覚系によって使用される反対色処理技術とに基づいて確立されるプレースホルダ色空間内のプレースホルダ画像に変換するステップであって、前記変換するステップが、前記デュアルバンド画像の第１のチャンネルと前記デュアルバンド画像の第２のチャンネルとの間の冗長性を低減することを含む、ステップと、
前記可視カラー画像を生成するために前記プレースホルダ画像を可視色空間にマッピングするステップと
を含む、非一時的なコンピュータ可読記憶媒体。
［付記１０］
前記デュアルバンド画像の前記第１のチャンネルが長波データを含み、前記デュアルバンド画像の前記第２のチャンネルが中波データを含み、
前記プレースホルダ画像が輝度（Ｌ＊）データ、ａ＊データ、およびｂ＊データを含み、
前記可視色空間が赤色バンドデータ、緑色バンドデータ、および青色バンドデータを含む、付記９に記載の非一時的なコンピュータ可読記憶媒体。
［付記１１］
前記デュアルバンド画像を前記プレースホルダ画像に変換する前記ステップが、
前記長波データと前記中波データの前記ウェーブレットベースの画像融合に基づいて、前記Ｌ＊データを生成するステップと、
前記反対色処理技術に基づいて前記ａ＊データおよび前記ｂ＊データを生成するステップであって、前記ａ＊データおよび前記ｂ＊データが前記長波データと前記中波データの関数を含む、ステップと
を含む、付記１０に記載の非一時的なコンピュータ可読記憶媒体。
［付記１２］
前記デュアルバンド画像を前記プレースホルダ画像に変換する前記ステップが、
前記ａ＊データのダイナミックレンジおよび前記ｂ＊データのダイナミックレンジを拡張することにより、前記プレースホルダ画像の冗長性を低減するステップを更に含む、付記１１に記載の非一時的なコンピュータ可読記憶媒体。
［付記１３］
前記方法が、
前記デュアルバンド画像中のノイズを低減して前記変換するステップを支援するために、フィルタリングアルゴリズムを適用するステップと、
前記変換するステップを支援するために、前記デュアルバンド画像の前記第１のチャンネルおよび前記デュアルバンド画像の前記第２のチャンネルのダイナミックレンジを標準化するステップと
を更に含む、付記９に記載の非一時的なコンピュータ可読記憶媒体。
［付記１４］
デュアルバンド赤外線画像を可視カラー画像に変換する動作を実行するために、関連したプロセッサによって実行可能な実行可能命令を記憶する非一時的なコンピュータ可読デバイスであって、前記動作が、
前記デュアルバンド赤外線画像におけるノイズを低減するステップと、
前記デュアルバンド赤外線画像の第１のバンドのダイナミックレンジと、前記デュアルバンド赤外線画像の第２のバンドのダイナミックレンジを標準化するステップと、
ノイズが低減され前記第１のバンドおよび前記第２のバンドのダイナミックレンジが標準化された前記デュアルバンド赤外線画像を、ウェーブレットベースの画像融合と人間の視覚系によって使用される反対色処理技術とに基づいて確立されるプレースホルダ色空間内のプレースホルダ画像に変換するステップと、
前記可視カラー画像を生成するために前記プレースホルダ画像を可視色空間に変換するステップと
を含む、非一時的なコンピュータ可読デバイス。
［付記１５］
前記動作が、前記可視カラー画像を表示装置上に表示するステップを更に含む、付記１４に記載の非一時的なコンピュータ可読デバイス。
［付記１６］
前記第１のバンドが長波データを含み、
前記第２のバンドが中波データを含み、
前記プレースホルダ色空間が輝度（Ｌ＊）データ、ａ＊データ、およびｂ＊データを含み、
前記可視色空間が赤色チャンネルデータ、緑色チャンネルデータ、および青色チャンネルデータを含む、付記１４に記載の非一時的なコンピュータ可読デバイス。
［付記１７］
前記反対色処理技術が、
一時的な赤色チャンネル、一時的な緑色チャンネル、および一時的な青色チャンネルを形成するステップであって、
前記一時的な赤色チャンネルが前記長波データを含み、
前記一時的な緑色チャンネルが前記中波データを含み、
前記一時的な青色チャンネルが、前記長波データと前記中波データの関数を含む、ステップと、
前記プレースホルダ画像を前記プレースホルダ色空間に変換するステップであって、
前記ａ＊データが前記赤色チャンネルからのデータおよび前記緑色チャンネルからのデータを含み、
前記ｂ＊データが、前記青色チャンネルからのデータと、前記赤色チャンネルからのデータと、前記緑色チャンネルからのデータとを含む、ステップと、
を含む、付記１６に記載の非一時的なコンピュータ可読デバイス。
［付記１８］
前記ウェーブレットベースの画像融合が、デュアルツリー複素ウェーブレット変換法に従った前記長波データと前記短波データの融合に基づいて、前記Ｌ＊データを生成するステップを含む、付記１７に記載の非一時的なコンピュータ可読デバイス。
［付記１９］
前記デュアルツリー複素ウェーブレット変換法が、
前記Ｌ＊データのシフト不変性を増加させ、かつ、指向感度を増加させるデュアルツリー複素ウェーブレット変換法に従って、前記長波データおよび前記中波データを変換ドメインに変換するステップと、
前記変換された長波バンド画像および前記変換された中波バンド画像から係数を選択することにより、変換画像を形成するステップと
を含む、付記１８に記載の非一時的なコンピュータ可読デバイス。
［付記２０］
前記デュアルツリー複素ウェーブレット変換法が、前記変換画像の逆変換を取ることによって融合されたグレースケール画像を生成するステップを更に含む、付記１９に記載の非一時的なコンピュータ可読デバイス。

Claims (12)

1. 装置であって、
   機械可読命令を記憶する非一時的メモリと、
   プロセッサであって、前記機械可読命令の実行を支援し、少なくとも、
   デュアルバンド画像センサからの画像を、ウェーブレットベースの画像融合と反対色処理技術とに基づいて確立されるプレースホルダ色空間内のプレースホルダ画像に変換し、
   前記プレースホルダ画像を可視色空間にマッピングすることにより可視カラー画像を生成する、プロセッサと、
   を含み、
   前記デュアルバンド画像センサからの前記画像が長波データおよび中波データを含み、
   前記反対色処理技術が一時的な赤色チャンネル、一時的な緑色チャンネル、および一時的な青色チャンネルを生成し、
   前記一時的な赤色チャンネルが前記長波データを含み、
   前記一時的な緑色チャンネルが前記中波データを含み、
   前記一時的な青色チャンネルが、前記長波データと前記中波データの関数を表わすデータを含む装置。
2. 前記デュアルバンド画像センサが、デュアルバンド前方視赤外線センサであるか、または、長波赤外線センサ、中波赤外線センサ、短波赤外線センサ、単色可視センサ、近赤外線センサ、もしくは画像強化画像センサのうちの少なくとも２つである、請求項１に記載の装置。
3. 前記プレースホルダ画像内のデータが、前記長波データおよび前記中波データの組に関して減少した冗長性を示す、請求項１に記載の装置。
4. 前記プレースホルダ画像がａ＊データおよびｂ＊データを含み、
   前記ａ＊データが、前記一時的な赤色チャンネルからのデータと前記一時的な緑色チャンネルからのデータとの関数を含み、
   前記ｂ＊データが、前記一時的な青色チャンネルからのデータと、前記一時的な赤色チャンネルからのデータと、前記一時的な緑色チャンネルからのデータとの関数を含む、請求項１に記載の装置。
5. 前記プレースホルダ画像が輝度（Ｌ＊）データを更に含み、
   前記Ｌ＊データが、前記デュアルバンド画像センサからの前記画像のウェーブレットベースの画像融合に基づく、融合された画像を表すデータを含む、請求項１に記載の装置。
6. 前記プロセッサが前記機械可読命令の実行を更に支援して前記可視カラー画像を異なる色空間に変換し、前記可視カラー画像の特徴を強調する、請求項１に記載の装置。
7. 前記プロセッサが前記機械可読命令の実行を更に支援して、平均フィルタ、メディアンフィルタ、ハイパスフィルタ、ローパスフィルタ、またはアンシャープマスクフィルタを、前記デュアルバンド画像センサからの前記画像、前記プレースホルダ画像、または前記可視カラー画像のうちの少なくとも１つに適用する、請求項１に記載の装置。
8. デュアルバンド画像を可視カラー画像に変換するための方法を実行するために、関連したプロセッサによって実行可能な命令を記憶する非一時的なコンピュータ可読記憶媒体であって、前記方法が、
   前記デュアルバンド画像を、ウェーブレットベースの画像融合と、人間の視覚系によって使用される反対色処理技術とに基づいて確立されるプレースホルダ色空間内のプレースホルダ画像に変換するステップであって、前記変換するステップが、前記デュアルバンド画像の第１のチャンネルと前記デュアルバンド画像の第２のチャンネルとの間の冗長性を低減することを含み、前記第１のチャンネルが長波データを含み、前記第２のチャンネルが中波データを含み、前記プレースホルダ画像が輝度（Ｌ＊）データ、ａ＊データ、およびｂ＊データを含む、ステップと、
   前記可視カラー画像を生成するために前記プレースホルダ画像を、赤色バンドデータ、緑色バンドデータ、および青色バンドデータを含む可視色空間にマッピングするステップと
   を含み、
   前記デュアルバンド画像を前記プレースホルダ画像に変換する前記ステップが、
   前記長波データと前記中波データの前記ウェーブレットベースの画像融合に基づいて、前記Ｌ＊データを生成するステップと、
   前記反対色処理技術に基づいて前記ａ＊データおよび前記ｂ＊データを生成するステップであって、前記ａ＊データおよび前記ｂ＊データが前記長波データと前記中波データの関数を含む、ステップと
   を含む、非一時的なコンピュータ可読記憶媒体。
9. 前記デュアルバンド画像を前記プレースホルダ画像に変換する前記ステップが、
   前記ａ＊データのダイナミックレンジおよび前記ｂ＊データのダイナミックレンジを拡張することにより、前記プレースホルダ画像の冗長性を低減するステップを更に含む、請求項８に記載の非一時的なコンピュータ可読記憶媒体。
10. 前記方法が、
    前記デュアルバンド画像中のノイズを低減して前記変換するステップを支援するために、フィルタリングアルゴリズムを適用するステップと、
    前記変換するステップを支援するために、前記デュアルバンド画像の前記第１のチャンネルおよび前記デュアルバンド画像の前記第２のチャンネルのダイナミックレンジを標準化するステップと
    を更に含む、請求項８に記載の非一時的なコンピュータ可読記憶媒体。
11. デュアルバンド赤外線画像を可視カラー画像に変換する動作を実行するために、関連したプロセッサによって実行可能な実行可能命令を記憶する非一時的なコンピュータ可読デバイスであって、前記動作が、
    前記デュアルバンド赤外線画像におけるノイズを低減するステップと、
    前記デュアルバンド赤外線画像の第１のバンドのダイナミックレンジと、前記デュアルバンド赤外線画像の第２のバンドのダイナミックレンジを標準化するステップと、
    ノイズが低減され前記第１のバンドおよび前記第２のバンドのダイナミックレンジが標準化された前記デュアルバンド赤外線画像を、ウェーブレットベースの画像融合と人間の視覚系によって使用される反対色処理技術とに基づいて確立されるプレースホルダ色空間内のプレースホルダ画像に変換するステップと、
    前記可視カラー画像を生成するために前記プレースホルダ画像を可視色空間に変換するステップと
    を含む、非一時的なコンピュータ可読デバイス。
12. 前記第１のバンドが長波データを含み、
    前記第２のバンドが中波データを含み、
    前記プレースホルダ色空間が輝度（Ｌ＊）データ、ａ＊データ、およびｂ＊データを含み、
    前記可視色空間が赤色チャンネルデータ、緑色チャンネルデータ、および青色チャンネルデータを含む、請求項１１に記載の非一時的なコンピュータ可読デバイス。