JP2017046349A - 可視光画像データ及び赤外線画像データの組合せシステム、熱画像カメラ、赤外線画像を強調する方法を実行する命令を記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】可視光画像400及び赤外線画像408を組合せるシステム及び方法を提供する。【解決手段】可視光画像を処理して402、その場所の輪郭の強さに対応する複数の可視光ピクセル用の輪郭係数値を決定する。輪郭係数値は、可視光画像データ及び輪郭利得入力の特性を用いて決定するが、ユーザが調整可能である。輪郭係数値を輪郭ミッドスケール値404と組合せて、可視光画像の輪郭の強度に基づき強調されたピクセルを含む１組の変更済み可視光画像データ406を生成する。変更済み可視光画像データを赤外線画像データと組合せて、赤外線画像データの寄与及び可視光画像データの輪郭係数値を有する混合済み画像データ410を生成する。【選択図】図４

Description

本発明は、一般に、赤外線画像及び可視光画像を組合せた画像の輪郭（エッジ）強調と、熱画像カメラとに関し、特に、可視光（ＶＬ）画像データ及び赤外線（ＩＲ）画像データの組合せシステム、熱画像カメラ、赤外線画像を強調する方法を実行する命令を記録したコンピュータ読み取り可能な記録媒体に関する。

種々の場面（シーン）において、熱画像（サーマル・イメージ）カメラが用いられている。例えば、機器を熱的に検査する保守検査の間、熱画像カメラがしばしば用いられる。機器の例には、回転機械装置、又は併設された回路ブレーカや、それ以外の他の形式の機器が含まれる。熱検査によって、加熱した機械装置又は電気部品の如き機器の過熱点を検出できるので、更に重要な問題が発生する前に過熱した機器のタイムリーな修理又は交換を確実に支援できる。

カメラの構造によって、熱画像カメラは、同じ対象物の可視光画像（可視光イメージ）も発生できる。このカメラは、赤外線画像及び可視光画像を協調的に表示でき、例えば、熱画像カメラが発生した熱画像を操作者が検査するのを支援する。

特開2009-10675号公報

しかし、かかる熱画像カメラでは、異なる対象物の間の良好なコントラストを一般的には提供する可視光画像とは異なり、現実の場面と比較して、熱画像における異なる特徴を認識し区別することがしばしば困難である。この理由により、操作者は、熱画像を解釈しこの熱画像に集中するために、可視光画像を信頼する。例えば、重なった及び／又は組合さった可視光画像及び熱画像は、操作者に対する何らかの指標を提供する。しかし、幾つかの状況において、熱画像内の対象物の輪郭及び境界を区別することが依然困難である。

本発明の概念は、対応する可視光画像データ及び赤外線画像データを組合せるシステム及び方法についてである。いくつかの実施例において、システムは、１組以上の可視光画像データ及び赤外線画像データを蓄積できるメモリを含んでいる。システムは、第１組の可視光画像データを処理して、この第１組の可視光画像データ内の各ピクセルに対する輪郭係数（edge factor：エッジ・ファクタ）値を決定するように構成されたプロセッサを含むことができる。この輪郭係数のマグニチュード（大きさ）は、特定の場所における輪郭の強度（strength）を表している。いくつかの例において、輪郭係数値は、可視光画像データ及び輪郭利得（エッジ・ゲイン）入力に基づいている。このシステムは、輪郭利得入力を調整可能にできるユーザ・インタフェースを含むことができる。いくつかの実施例において、可視光画像データの処理にエンボス処理を含むことができる。このエンボス処理は、複数のピクセルの各々に対して疑似ルミナンス値を決定し、この疑似ルミナンス値を処理カーネルによって処理して、カーネルに関係した少なくとも１つのピクセルに対するエンボス値を決定することである。

いくつかの例において、プロセッサは、第１組の可視光画像データ内の各ピクセルに関連する輪郭係数値を輪郭ミッドスケール（edge midscale）値と組合せて、第１組の変更済み（modified：変更された）可視光（ＶＬ:visible light）画像データを生成できるように構成されている。よって、いくつかのかかる例において、変更済み可視光画像データは、各ピクセルでの輪郭係数によりオフセットされた又は調整された輪郭ミッドスケール値を表す。いくつかの例において、輪郭ミッドスケール値は、スカラー値（例えば、ルミナンス値）又はベクトル（例えば、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）のコンポーネントが有する値）である。輪郭ミッドスケール値は、グレー又は任意の他の色を含むことができる。いくつかの例において、輪郭ミッドスケール色（カラー）は、ユーザ・インタフェースによって選択可能又は調整可能でもよい。

いくつかの実施例において、プロセッサは、第１組の変更済み可視光画像を、第１組の可視光画像データに対応する第１組の赤外線画像データと組合せて、第１組の組合せ済み（combined:組合せした）画像データを発生するように構成されている。この結果の組合せは、対応ピクセルにおける可視光画像の強度を表す値と組み合わされた赤外線画像データを含んでいる。そのため、可視光画像データ内に存在する輪郭は、組合せ済み画像において、強調されるか又は視認できる。

赤外線画像データは、例えば、調色（palettization：パレットによる色の調整）技法に基づいて、スカラーの赤外線値（例えば、赤外線強度）又はベクトル値（例えば、Ｒ、Ｇ及びＢのコンポーネントが有する値）を含むことができる。いくつかの例において、赤外線画像データの調色技法は、ユーザ・インタフェースによって選択可能である。いくつかの例において、赤外線画像データ及び可視光画像データを組み合わせることは、例えば、混合比（ブレンド比）を用いて、赤外線画像データ及び可視光画像データを混合（blend）することを含む。いくつかのかかる実施例において、混合比は、組合せ済み画像にわたって可変である。例えば、いくつかの例において、組合せ画像内の各ピクセルにおける混合比は、対応する可視光ピクセルでの輪郭係数に基づく。

種々の例において、可視光画像データ及び赤外線画像データを種々の信号源から取り込むことができる。例えば、可視光画像データ及び赤外線画像データの一方又は両方は、メモリから読出した画像データで構成できる。追加的に又は代わりに、可視光画像データ及び赤外線画像データの一方又は両方は、例えば、１つ以上のカメラ・モジュール又は他のセンサから取込んだ画像データのストリームで構成することもできる。いくつかの例において、システムは、可視光画像データ及び赤外線画像データの夫々を取り込むために、可視光カメラ・モジュール及び赤外線のカメラ・モジュールの一方又は両方を含むことができる。

いくつかのかかるシステムの実施例は、ユーザが調整できる種々の特徴を可能にできる。例えば、いくつかの実施例において、ユーザは、輪郭利得（edge gain）と、輪郭色ミッドスケール値と、赤外線調色技法と、可視光画像データ及び赤外線画像データの組合せの少なくとも１つの概念の少なくとも１つとを調整できる。かかるカストマイズによって、可視光輪郭に対応するピクセルの強調の程度に影響させるために、ユーザは、組合せた赤外線画像及び可視光画像を最適化できる。

いくつかの例において、プロセッサは、非一時的な（non-transitory）コンピュータ読み取り可能な記録媒体上のインストラクション（命令）に応じて１つ以上のかかる機能を実行できる。追加的に又は代わりに、種々のかかる部品を封入できるし、又はハウジングが支持することもできる。例えば、熱画像カメラは、赤外線画像データ及び可視光画像データを夫々発生できる赤外線カメラ・モジュール及び可視光カメラ・モジュールを含んでもよい。このカメラは、更に、赤外線画像データ及び可視光画像データを処理して組み合わせ済み画像を発生するプロセッサと、この組合せ済み画像を表示する表示器とを含むことができる。このカメラを用いて、サーモグラフィ処理を実行でき、サーモグラフィ画像内の可視光画像データから輪郭の恩恵が得られる。

本発明による例示の熱画像カメラの正面斜視図である。 図１の例示の熱画像カメラの背面斜視図である。 図１及び図２の熱画像カメラの例示の構成要素を示す機能ブロック図である。 本発明により赤外線画像内の輪郭を強調する例示技術を示す高レベルの説明図である。 本発明により変更済み可視光画像を発生するために用いる例示の可視光画像処理技術を説明する図である。 本発明により変更済み可視光画像を発生するために用いる例示の可視光画像処理技術を説明する図である。 本発明により輪郭係数値をＲＧＢ色空間内の輪郭ミッドスケール値と組合せて、変更済み可視光画像ピクセルを決定することを説明する図である。 本発明により輪郭係数値をＹＣｂＣｒ色空間内の輪郭ミッドスケール値と組合せて、変更済み可視光画像ピクセルを決定することを説明する図である。 本発明により変更済み可視光画像を対応する赤外線画像と組み合わせるための例示の技術を説明する図である。 本発明により変更済み可視光画像を対応する赤外線画像と組み合わせるための例示の技術を説明する図である。 本発明により混合済み画像を発生する処理を説明する図である。 本発明により混合済み画像を発生する処理を説明する図である。 本発明により混合済み画像の生成の際に用いる一連の例示の画像を示す流れ図である。 本発明により混合済み画像の生成の際に用いる一連の例示の画像を示す流れ図である。 本発明により輪郭利得パラメータの調整を示す一連の画像を示す図である。 本発明により混合済み画像を生成する例示の処理を示す処理流れ図である。

以下の詳細説明は、事実上の例示であり、本発明の範囲、適用性、又は構成を限定することを意図していない。むしろ、以下の説明は、本発明の種々の実施例を実現するためのいくつかの実際的な説明を提供するものである。選択された要素に対して構成、材料、寸法及び製造処理の例を提供するものであり、全ての他の要素は、本発明の当業者に既知のものを用いている。ここで言及した例の多くのものは、種々の適切なものに置換できることが当業者には認識できよう。

熱画像カメラを用いて、観察における単一又は複数の対象物を含む場面（シーン）にわたって熱パターンを検出できる。熱画像カメラは、その場面で発せられた赤外線（ＩＲ：infrared ray）放射を検出でき、この赤外線放射を、熱パターンを示す赤外線画像に変換できる。いくつかの実施例において、熱画像カメラは、場面から可視光（ＶＬ：visible light）を捕捉し、この可視光を可視光画像に変換できる。熱画像カメラの構造によって、このカメラは、赤外線放射の焦点を赤外線センサに合わせる赤外線光学系と、可視光の焦点を可視光センサに合わせる可視光の光学系とを含んでもよい。

種々の実施例は、平均化技術を用いてノイズが低減した熱画像を生成する方法及びシステムを提供する。更に画像品質を改善し、平均化で生じる問題（例えば、にじみ、ゴーストなど）を軽減するために、平均化の前に、画像整列（アライメント）処理を熱画像に施す。

図１及び図２は、本発明の例示の熱画像カメラ１００の正面斜視図及び背面斜視図を夫々表す。この熱画像カメラ１００は、ハウジング１０２、赤外線レンズ・アセンブリ１０４、可視光レンズ・アセンブリ１０６、表示器１０８、レーザ１１０、トリガ制御器１１２を含んでいる。ハウジング１０２は、熱画像カメラ１００の種々のコンポーネントを収容する。熱画像カメラ１００の底部は、片手でカメラを保持し操作するためのキャリング・ハンドル１１８を含む。赤外線レンズ・アセンブリ１０４は、場面からの赤外線放射を受けて、この放射の焦点を赤外線センサに合わせて、場面の赤外線画像を発生する。可視光レンズ・アセンブリ１０６は、場面からの可視光を受けて、この可視光の焦点を可視光センサに合わせて、同じ場面の可視光画像を発生する。熱画像カメラ１００は、トリガ制御器１１２を押すのに応答して、可視光画像及び／又は赤外線画像を捕捉する。さらに、熱画像カメラ１００は、表示器１０８を制御して、このカメラが発生した赤外線画像及び可視光画像を表示して、例えば、操作者が場面を熱的に検査するのを支援する。熱画像カメラ１００は、赤外線レンズ・アセンブリ１０４に結合した焦点機構も含んでいる。この焦点機構は、赤外線レンズ・アセンブリの少なくとも１つのレンズを動かして、熱画像カメラが発生した赤外線画像の焦点を調整するように構成されている。追加的に又は代わりに、この焦点機構は、赤外線レンズ・アセンブリの１つ以上のレンズに対してＦＰＡ（焦点面アレイ）を移動してもよい。

動作において、熱画像カメラ１００は、場面からの赤外線波長スペクトラム内で放射されたエネルギーを受け、この赤外線エネルギーを処理して熱画像を発生することによって、場面の熱パターンを検出する。熱画像カメラ１００は、可視光波長スペクトラム内のエネルギーを受け、この可視光エネルギーを処理して可視光画像を発生することによって、同じ場面の可視光画像を発生する。詳細に後述するように、熱画像カメラ１００は、場面の赤外線画像を捕捉するように構成された赤外線カメラ・モジュールと、同じ場面の可視光画像を捕捉するように構成された可視光カメラ・モジュールとを含んでもよい。赤外線カメラ・モジュールは、赤外線レンズ・アセンブリ１０４が投影した赤外線放射を受け、そこから赤外線画像データを発生する。可視光カメラ・モジュールは、可視光レンズ・アセンブリ１０６が投影した光を受けて、そこから可視光データを発生する。

いくつかの例において、熱画像カメラ１００は、赤外線エネルギー及び可視光エネルギーをほぼ同時に（例えば、同じ時点に）収集又は捕捉するので、カメラが発生した可視光画像及び赤外線画像は、ほぼ同じ時点における同じ場面のものである。これらの例において、熱画像カメラ１００が発生した赤外線画像は、特定の時間帯における場面内の局部的温度を表し、このカメラが発生した可視光画像は、同じ時間帯における同じ場面を表す。他の例において、熱画像カメラは、異なる時間帯での場面からの赤外線エネルギー及び可視光エネルギーを捕捉してもよい。

可視光レンズ・アセンブリ１０６は、可視光エネルギーの焦点を可視光センサに合わせて可視光画像を発生する少なくとも１つのレンズを含んでいる。可視光レンズ・アセンブリ１０６は、このアセンブリの少なくとも１つのレンズの湾曲の中心を通過する可視光の光学軸を定める。可視光エネルギーは、レンズの正面を介して投影し、レンズの反対側で焦点が合う。可視光レンズ・アセンブリ１０６は、単一のレンズ、又は連続して配置された複数のレンズ（例えば、２個、３個又はそれより多いレンズ）を含むことができる。さらに、可視光レンズ・アセンブリ１０６は、固定焦点にもでき、また、可視光の光学の焦点を変化させる焦点調整機構を含むこともできる。可視光レンズ・アセンブリ１０６が焦点調整機構を含む例において、この焦点調整機構は、手動調整機構又は自動調整機構でもよい。

赤外線レンズ・アセンブリ１０４は、熱画像を発生するために赤外線エネルギーの焦点を赤外線センサに合わせる少なくとも１つのレンズも含む。赤外線レンズ・アセンブリ１０４は、アセンブリのレンズの湾曲の中心を通過する赤外線光学軸を定める。動作期間中、赤外線エネルギーは、レンズの正面を介して進み、このレンズの反対側で焦点を結ぶ。赤外線レンズ・アセンブリ１０４は、単一のレンズ、又は連続して配置された複数のレンズ（例えば、２個、３個又はそれより多いレンズ）を含む。いくつかの例において、赤外線レンズ・アセンブリ１０４は、回折又は反射の特性又は要素を有するレンズを含んでもよい。ミラー（例えば、フレネル・ミラー）などの如き追加の光学部品を赤外線レンズ・アセンブリ１０４の内部に又はその近くに含んでもよい。

簡単に上述したように、熱画像カメラ１００は、このカメラが捕捉した赤外線画像の焦点を調整する焦点機構を含んでいる。図１及び図２に示す例において、熱画像カメラ１００は、焦点リング１１４を含んでいる。この焦点リング１１４は、赤外線レンズ・アセンブリ１０４の少なくとも１つのレンズに動作可能に結合しており（例えば、機械的に及び／又は電気的に結合しており）、ＦＰＡ（焦点面アレイ）及び少なくとも１つのレンズの一方又は両方を種々の焦点位置に移動させるように構成されているので、熱画像カメラ１００が捕捉した赤外線画像の焦点を合わせることができる。焦点リング１１４は、ハウジング１０２の少なくとも一部の周囲にて手動回転できるので、焦点リングが動作可能に結合された少なくとも１つのレンズを移動できる。いくつかの例において、焦点リング１１４が表示器１０８にも機能的に結合されているので、焦点リング１１４の回転によって、可視光画像の少なくとも一部及び赤外線画像の少なくとも一部が表示器１０８に同時に表示されて、互いに相対的に移動する。異なる例において、熱画像カメラ１００は、焦点リング１１４以外の構成にて実現された手動焦点調整機構を含んでもよいし、他の実施例において、単に焦点を維持してもよい。

いくつかの例において、熱画像カメラ１００は、手動調整焦点機構に加えて、又はその代わりに、自動調整焦点機構を含んでもよい。この自動調整焦点機構は、赤外線レンズ・アセンブリの少なくとも１つのレンズに機能的に結合されると共に、例えば、熱画像カメラ１００からのインストラクション（命令）に応答して、この少なくとも１つのレンズを種々の焦点位置に自動的に移動させるように構成されてもよい。かかる例の１つのアプリケーションにおいて、熱画像カメラ１００は、レーザ１１０を用いて、ターゲット場面内の対象物とカメラとの間の距離を電気的に測定する。この距離をターゲットまでの距離と呼ぶ。熱画像カメラ１００は、次に自動調整焦点機構を制御して、赤外線レンズ・アセンブリ１０４の少なくとも１つのレンズを、熱画像カメラ１００が決定したターゲットまでの距離のデータに対応する焦点位置まで移動させる。この焦点位置は、ターゲットまでの距離のデータに対応する。ここで、この焦点位置は、決定した焦点の距離でのターゲット場面内の対象物の配置に構成されている。いくつかの例において、自動調整焦点機構により設定された焦点位置は、操作者が、例えば、焦点リング１１４を回転することによって、手動で重ね書きができる。

熱画像カメラ１００の動作期間中、カメラが発生した場面の熱画像及び／又は同じ場面の可視光画像を操作者が観察することを望むかもしれない。この理由のため、熱画像カメラ１００は、表示器を含んでもよい。図１及び図２の例において、熱画像カメラは、表示器１０８を含んでいる。この表示器１０８は、赤外線レンズ・アセンブリ１０４及び可視光レンズ・アセンブリ１０６の反対側であるハウジング１０２の背面に配置されている。表示器１０８は、可視光画像、赤外線画像、及び／又はこれら可視光画像及び赤外線画像の同時表示を含む組み合わせ済み画像を表示するように構成されている。異なる例においては、表示器１０８は、熱画像カメラ１００の赤外線レンズ・アセンブリ１０４及び可視光レンズ・アセンブリ１０６から離れていてもよいし（例えば、分離していてもよいし）、又は、この表示器１０６は、赤外線レンズ・アセンブリ１０４及び／又は可視光レンズ・アセンブリ１０６に対して異なる空間配置内にあってもよい。したがって、表示器１０８は、図２において、赤外線レンズ・アセンブリ１０４及び可視光レンズ・アセンブリ１０６の後ろに示されているが、表示器１０８の他の位置も可能である。

熱画像カメラは、このカメラの動作を制御し且つこのカメラの異なる設定を調整するために種々のユーザ入力媒体を含むことができる。例示の制御機能には、赤外線光学系及び／又は可視光光学系の焦点の調整、シャッタの開閉、赤外線画像及び／又は可視光画像の捕捉などが含まれる。図１及び図２の例において、熱画像カメラ１００は、赤外線画像及び可視光画像を捕捉するための押圧可能なトリガ制御器１１２と、ユーザ・インタフェースの一部を形成しカメラの動作の他の概念を制御するためのボタン１１６とを含む。異なる数又は配置のユーザ入力媒体が可能であり、この点に関してはここでの開示に限定されないことが理解できよう。例えば、熱画像カメラ１００は、スクリーンの異なる位置を押すことによってユーザ入力を受けるタッチスクリーン表示器１０８を含んでもよい。

図３は、本発明による熱画像カメラ１００の例でのコンポーネントを示す機能ブロック図である。熱画像カメラ１００は、赤外線（ＩＲ）カメラ・モジュール２００と、フロント・エンド回路２０２とを含んでいる。赤外線カメラ・モジュール２００及びフロント・エンド回路２０２は、時々、赤外線カメラ１００のフロント・エンド・ステージ又はフロント・エンド・ステージ２０４との組合せとして説明される。熱画像カメラ１００は、また、可視光カメラ・モジュール２０６と、表示器１０８と、ユーザ・インタフェース２０８と、出力／制御装置２１０を含んでいる。

赤外線カメラ・モジュール２００は、ターゲット場面が放射した赤外線エネルギーを受け、赤外線エネルギー・データを発生するために赤外線エネルギーの焦点を赤外線センサに合わせるように構成される。例えば、この赤外線エネルギー・データは、表示器１０８上に赤外線画像の形式で表示されるか、及び／又はメモリに蓄積される。赤外線カメラ・モジュール２００は、ここでのモジュールに起因する機能を実行するために任意の適切なコンポーネントを含むことができる。図３の例において、赤外線カメラ・モジュール２００は、赤外線レンズ・アセンブリ１０４及び赤外線センサ２２０を含むように示されている。図１及び図２に関して上述したように、赤外線レンズ・アセンブリ１０４は、ターゲット場面が放射した赤外線エネルギーを得て、この赤外線エネルギーを赤外線センサ２２０上に焦点合わせする少なくとも１つのレンズを含んでいる。赤外線センサ２２０は、変換され且つ表示器１０８上に赤外線画像として表示される電気信号を発生することによって、焦点合わせされた赤外線エネルギーに応答する。

赤外線センサ２２０は、赤外線レンズ・アセンブリ１０４を介して受けた赤外線エネルギーに応答して電気信号を発生する１つ以上のＦＰＡ（焦点面アレイ）を含んでもよい。各焦点面アレイは、例えば、ボロメータ、光子検出器、又は他の適切な赤外線センサ要素を含む複数の赤外線センサ要素を含むことができる。動作において、各々をセンサ・ピクセルと呼んでもよい各センサ要素は、ターゲット場面から受けた赤外線エネルギーの吸収に応答して、電気的特性（例えば、電圧又は抵抗）を変化させてもよい。次に、電気的特性のこの変化は、電気信号を提供するが、この電気信号は、プロセッサ２２２が受信でき、且つ表示器１０８に表示される赤外線画像に処理される。

例えば、赤外線センサ２２０が複数のボロメータを含んでいる例において、各ボロメータは、赤外線レンズ・アセンブリ１０４を介して焦点合わせされた赤外線エネルギーを吸収し、この吸収したエネルギーに応答して温度を上昇させる。ボロメータの温度の変化によって、各ボロメータの電気抵抗が変化する。センサ・ピクセルとして機能する各検出器要素により、各検出器要素の抵抗の変化を時分割の電気信号に変換して、赤外線放射を表す２次元画像又は写真（ピクチャ）を更に発生できる。この時分割の電気信号は、表示器上での視覚化又はメモリ（例えば、コンピュータのメモリ）への蓄積のために処理される。プロセッサ２２２は、電流（又は電圧）を各ボロメータに供給することによって、各ボロメータの抵抗の変化を測定し、ボロメータにおける結果の電圧（又は電流）を測定する。これらデータに基づいて、プロセッサ２２２は、ターゲット場面の異なる部分が放射した赤外線エネルギーの量を決定し、ターゲット場面の熱画像を表示するように表示器１０８を制御する。

赤外線センサ２２０のＦＰＡに含まれる赤外線センサ要素の特定の形式から独立して、このＦＰＡ配列は、任意の適切なサイズ及び形状を定めることができる。いくつかの例において、赤外線センサ２２０は、例えば、垂直列及び水平行に配置されたセンサ要素の配列の如きグリッド・パターンに配列された複数のセンサ要素を含んでいる。種々の例において、赤外線センサ２２０は、例えば、１６×１６、５０×５０、１６０×１２０、１２０×１６０又は６５０×４８０の垂直列と水平行の配列を含んでいる。他の例において、赤外線センサ２２０は、少ない数の垂直列及び水平行（例えば、１×１）、多い数の垂直列及び水平行（例えば、１０００×１０００）、又は行に対する列の比が異なるものを含んでもよい。

ある実施例において、読み取り集積回路（ＲＯＩＣ）を赤外線（ＩＲ）センサ２２０に組み込む。このＲＯＩＣを用いて、センサ・ピクセルの各々に対応する信号を出力する。かかるＲＯＩＣは、シリコン・サブストレート上に集積回路として一般的には組み立てられる。複数の検出器要素をＲＯＩＣの頂部に組み立ててもよい。ここで、これらの組合せが赤外線センサ２２０用に提供される。いくつかの実施例において、ＲＯＩＣは、ＦＰＡ回路に直接的に組み込まれ、本明細書のどこかで説明するコンポーネント（例えば、アナログ・デジタル変換器（ＡＤＣ））を含んでいる。ＲＯＩＣのかかる組み込み、又は、明確には説明していない組み込みの他の更なるレベルは、本発明の範囲内にて考慮できる。

上述の如く、赤外線センサ２２０は、各赤外線検出器要素が受けた赤外線放射に対応する一連の電気信号を発生して、熱画像を表す。赤外線センサ２２０が構成する全ての行をスキャンすることによって、各赤外線検出器要素から電圧信号が得られるときに、熱画像データの「フレーム」が発生する。再び、赤外線検出器要素としてのボロメータを含むある実施例において、対応する検出器要素をシステム回路に切り替え、かかる切り替えた要素にわたってバイアス電圧を供給することによって、スキャンを行なう。赤外線センサ２２０の行を繰り返しスキャンすることによって、熱画像の連続したフレームが発生する。なお、かかるフレームは、充分なレートにて生じ、熱画像データのビデオ表示（例えば、３０Ｈｚ又は６０Ｈｚ）を発生する。

フロント・エンド回路２０２は、赤外線カメラ・モジュール２００とのインタフェースを行うと共に制御する回路を含む。さらに、フロント・エンド回路２０２は、収集した赤外線画像データを処理し、プロセッサ２２２にそれらの間の接続を介して伝送する。さらに具体的には、熱画像カメラ１００のフロント・エンド回路２０２は、赤外線センサ２２０が発生した信号を最初に調整する。ある実施例において、図示の如く、フロント・エンド回路２０２は、バイアス発生器２２４及び前置増幅器／積分器２２６を含んでいる。バイアス発生器２２４は、検出器バイアスを提供することに加えて、オプションとして、切り換えた検出器要素の各々に発生した総合電流から平均バイアス電流を加算又は減算できる。この平均バイアス電流を変化させて、（ｉ）熱画像カメラ１００内部の周囲温度における変化に起因する検出器要素の抵抗の全体の配列の偏差を補償し、（ｉｉ）赤外線センサ２２０の平均検出器要素における配列対配列変動を補償する。かかるバイアス補償は、熱画像カメラ１００又はソフトウェアによって自動的に制御できるか、又は、出力／制御装置２１０又はプロセッサ２２２への入力を介してユーザ制御ができる。検出器バイアスの供給と、オプションとしての平均バイアス電流の減算又は加算を行った後に、信号が前置増幅器／積分器２２６を通過できる。典型的には、前置増幅器／積分器２２６を用いて、例えば、デジタル化の前に入力信号を調整する。その結果、信号のより効果的な積分を可能にする形式に入力信号を調整でき、次に、生成した画像をより効果的な分解能とすることができる。その次に、調整した信号を下流の熱画像カメラ１００のプロセッサ２２２に送る。

いくつかの実施例において、フロント・エンド回路２０２は、１つ以上の追加の要素、例えば、追加のセンサ２２８又はアナログ・デジタル変換器（ＡＤＣ）２３０を含むことができる。この追加のセンサ２２８は、例えば、温度センサ、可視光センサ（ＣＣＤの如きもの）、圧力センサ、磁気センサなどにでもよい。かかるセンサは、熱画像カメラ１００の機能を強化するために追加の校正機能及び検出情報を提供できる。例えば、温度センサは、赤外線センサ２２０の近傍の周囲温度読み取り値を提供して、放射の計算を支援する。ホール効果センサの如き磁気センサは、レンズに取り付けられたマグネットと組合せて用いられて、レンズの焦点位置情報を提供できる。かかる情報は、可視光センサから集めた可視光場面データと用いるために、距離を計算し、又は視差距離を計算するのに有用である。

アナログ・デジタル変換器２３０は、後述するのと同じ機能を提供でき、ほぼ同じ方法で動作できる。しかし、フロント・エンド回路２０２に含まれるものは、ある利点、例えば、これらの間の接続を介してプロセッサ２２２に伝送する前に、場面及び他のセンサ情報を提供してもよい。いくつかの実施例において、上述の如く、アナログ・デジタル変換器２３０をＲＯＩＣ内に集積化できるので、分離して取り付け且つ組み込んだアナログ・デジタル変換器２３０をなくすことができる。

いくつかの実施例において、フロント・エンド・コンポーネントは、更にシャッタ２４０を含むことができる。シャッタ２４０は、レンズに対して外部又は内部に配置でき、赤外線レンズ・アセンブリ１０４が提供する視野を開いたり閉じたりするように動作する。当該技術分野にて既知のように、直流（ＤＣ）モータ又はソレノイドの如き電気機械装置によって、シャッタ２４０を機械的に位置決め又は駆動できる。本発明の実施例は、各検出器要素に対して適切なバイアス・レベルを決めるために、シャッタ２４０を用いる校正又は設定のソフトウェア実行方法又は設定を含んでもよい。

プロセッサ２２２を含む熱画像カメラ１００内のプロセッサとして説明したコンポーネントは、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、用途限定集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、プログラマブル・ロジック回路など、又はこれらの単一のもの若しくはこれらの任意適切な組合せとして実現してもよい。プロセッサ２２２は、プログラム・インストラクション（命令）及び関連データを蓄積するメモリを含んでもよい。これらプログラム・インストラクション及び関連データによって、熱画像カメラ１００及びプロセッサ２２２は、このプロセッサ２２２の動作の際に、熱画像カメラ１００及びプロセッサ２２２に起因する本明細書記載の機能を実行する。メモリは、ＲＡＭ、ＲＯＭ、ＣＤ−ＲＯＭ、ハード磁気ディスク又はフロッピ（登録商標）磁気ディスク、ＥＥＰＲＯＭなどのように、任意の固定又は取り外し可能な磁気媒体、光学媒体又は電気媒体でもよい。また、メモリは、メモリの更新を行うため又はメモリ容量を増加させるために用いる取り外し可能なメモリ部分を含んでもよい。熱画像カメラ１００を他のアプリケーションで用いる前に、取り外し可能なメモリによって、画像データを他のコンピュータ装置に容易に伝送したり、この画像データを除去したりしてもよい。プロセッサ２２２は、システム・オン・チップとしても実現できる。このシステム・オン・チップは、コンピュータ又は他の電気システムの一部又は全部のコンポーネントを単一チップ上に集積したものである。これら要素は、ユーザが用いるために表示又は蓄積された出力場面データを提供するために、フロント・エンド・ステージ２０４から生成された調整済み場面画像データを操作する。その後、プロセッサ２２２（処理回路）は、処理済みデータを表示器１０８又は他の出力／制御装置２１０に送る。

熱画像カメラ１００の動作期間中、プロセッサ２２２は、赤外線カメラ・モジュール２００が赤外線画像を生成するために赤外線画像データを発生するように制御できる。プロセッサ２２２は、赤外線画像データのデジタル「フレーム」を発生できる。赤外線画像データのフレームを発生することによって、プロセッサ２２２は、ほぼ所定の時点にてターゲット場面の赤外線画像を捕捉する。すなわち、いくつかの例において、赤外線画像を構成する複数のピクセルが同時に捕捉される。他の実施例において、各ピクセルが捕捉されるまで、１組の１つ以上のピクセルを連続的に捕捉する。

プロセッサ２２２は、単一時点にて赤外線センサ２２０のＦＰＡに含まれる各赤外線センサ要素の電気信号を測定することによって、単一の赤外線画像又はターゲット場面の「スナップ写真」を捕捉できる。代わりに、プロセッサ２２２は、赤外線センサ２２０のＦＰＡに含まれる各赤外線センサ要素の電気信号を繰り返し測定することによって、ターゲット場面の複数の赤外線画像を捕捉できる。赤外線センサ２２０のＦＰＡに含まれる各赤外線センサ要素の電気信号を繰り返し測定するプロセッサ２２２における例において、プロセッサ２２２は、ターゲット場面のダイナミック熱画像（例えば、ビデオ表示）を発生してもよい。例えば、プロセッサ２２２は、例えば３０Ｈｚ又は６０Ｈｚの如き熱画像データのビデオ表示を発生するのに充分なレートにて、ＦＰＡ内に含まれる各赤外線センサ要素の電気信号を測定してもよい。プロセッサ２２２は、赤外線画像の捕捉において、赤外線レンズ・アセンブリ１０４のアパーチャ（開口部）を開閉するためにシャッタ２４０を順次駆動する如く、他の動作を実行してもよい。

センサ・ピクセルとして機能する赤外線センサ２２０の各センサ要素によって、プロセッサ２２２は、各センサ要素の電気的特性（例えば、抵抗）における変化を時分割電気信号に変換することによって、ターゲット場面からの赤外線放射を表す２次元画像又は写真を発生できる。この時分割電気信号は、例えば、表示器１０８上での視覚化及び／又はメモリへの蓄積のために処理される。表示器１０８上に表示する際、赤外線画像は、複数の表示ピクセルで構成される。表示ピクセルは、対応するセンサ・ピクセルと任意所定の関係を有する。いくつかの例において、各センサ・ピクセルは、赤外線を表す画像内の表示ピクセルに対応する。他の例において、複数のセンサ・ピクセルが組み合わされて（例えば、平均化されて）、単一の表示ピクセル用の赤外線情報を提供する。更に他の例において、単一のセンサ・ピクセルは、複数の表示ピクセルに寄与する。例えば、簡単な非サンプリング手順のように、単一のセンサ・ピクセルからの値を近傍のピクセルにて再現してもよい。他の例において、補間手順のように、近接の又は直ぐ近くのピクセルを平均化して、新たなピクセルを生成してもよい。表示ピクセル及びセンサ・ピクセルの間の関係は、カメラ動作に対して定まるため、これがセンサ・ピクセルから表示ピクセルに処理されるので、明確に提示しない限り、総称「ピクセル」をセンサ・ピクセル、表示ピクセル又はデータと呼んでもよい。プロセッサ２２２は、計算を実行して、生の赤外線画像データを場面温度に変換してもよく（放射分析）。この場面温度には、いくつかの例において、場面温度に対応する色が含まれる。

プロセッサ２２２は、表示器１０８を制御して、捕捉したターゲット場面の赤外線画像の少なくとも一部を表示する。いくつかの例において、プロセッサ２２２は、表示器１０８を制御するので、赤外線センサ２２０の各センサ要素の電気的応答は、表示器１０８上の単一ピクセルに関連する。他の例において、プロセッサ２２２は、赤外線画像の分解能を高く又は低くしてもよいので、赤外線センサ２２０内のセンサ要素よりもより多い又は少ないピクセルが表示器１０８上に表示される。全体の赤外線画像（例えば、熱画像カメラ１００が捕捉したターゲット場面の全ての部分）、又は全体の赤外線画像よりも少ない画像（例えば、熱画像カメラ１００が捕捉した全体のターゲット場面の少ない部分）を表示するように、プロセッサ２２２が表示器１０８を制御してもよい。プロセッサ２２２は、詳細に後述するように、他の画像処理機能を実行してもよい。

特定回路から独立して、ターゲット場面の表すデータを操作して、表示、蓄積、伝送又はユーザが利用するその他を提供するように、熱画像カメラ１００を構成してもよい。

熱画像カメラ１００は、可視光カメラ・モジュール２０６を含んでいる。可視光カメラ・モジュールは、一般的に周知である。例えば、種々の可視光カメラ・モジュールは、スマートフォン及び多くの他の装置に含まれている。いくつかの実施例において、可視光カメラ・モジュール２０６は、ターゲット画面からの可視光エネルギーを受け、可視光エネルギー・データの発生のために可視光センサ上に可視光エネルギーの焦点を結ぶように構成してもよい。この可視光エネルギー・データは、例えば、表示器１０８に可視光画像の形式で表示されるか、及び／又はメモリに蓄積される。可視光カメラ・モジュール２０６は、ここでのモジュールに起因する機能を実行するために、任意の適切なコンポーネントを含むことができる。図３の例において、可視光カメラ・モジュール２０６は、可視光レンズ・アセンブリ１０６及び可視光センサ２４２を含むように示されている。図１及び図２に関連して上述したように、可視光レンズ・アセンブリ１０６は、少なくとも１つのレンズを含んでおり、このレンズは、ターゲット場面が放射した可視光エネルギーを捉え、可視光エネルギーの焦点を可視光センサ２４２上に合わせる。可視光センサ２４２は、変換され表示器１０８上に可視光画像として表示される電気信号を発生することによって、焦点合わせされたエネルギーに応答する。いくつかの実施例において、可視光モジュール２０６は、ユーザによって構成され、例えば、種々のフォーマットにて表示器１０８に出力を供給できる。可視光カメラ・モジュール２０６は、明暗若しくは他の動作条件、又はユーザの優先権を可変するための補償機能を含んでもよい。可視光カメラ・モジュールは、種々のフォーマット（例えば、ＲＧＢ、ＣＹＭＫ、ＹＣｂＣｒなど）におけるデータを有する画像データを含むデジタル出力を発生してもよい。

可視光センサ２４２は、例えば、ＣＭＯＳ検出器、ＣＣＤ検出器、ＰＩＮダイオード、アバランジェ・フォト・ダイオードなどの如き複数の可視光センサ要素を含んでもよい。可視光センサ要素の数は、赤外線センサ要素の数と同じでもよいし、異なってもよい。

動作において、ターゲット場面から受けた光エネルギーは、可視光レンズ・アセンブリ１０６を通過し、可視光センサ２４２上に焦点を結んでもよい。光エネルギーが可視光センサ２４２の可視光センサ要素に影響すると、光検出器内の光子が解放され、検出電流に変換される。プロセッサ２２２は、この検出電流を処理して、ターゲット場面の可視光画像を形成する。

熱画像カメラ１００を用いる期間中、プロセッサ２２２は、可視光カメラ・モジュール２０６を制御して、捕捉されたターゲット場面から可視光データを発生し、可視光画像を生成する。可視光データは、捕捉されたターゲット場面の異なる部分に関連した色（単一又は複数）を表す明度データ、及び／又は捕捉されたターゲット場面の異なる部分に関連した光のマグニチュード（大きさ）を含んでもよい。プロセッサ２２２は、単一時点の熱画像カメラ１００の各可視光センサ要素の応答を測定することによって、可視光画像データの「フレーム」を発生できる。可視光データのフレームを発生することによって、プロセッサ２２２は、時間内に所定点におけるターゲット場面の可視光画像を捕捉する。赤外線カメラ・モジュール２００に関連して説明したように、プロセッサ２２２は、熱画像カメラ１００の各可視光センサ要素の応答を繰り返し測定して、ターゲット場面のダイナミック熱画像（例えば、ビデオ表現）を発生してもよい。いくつかの例において、可視光カメラ・モジュール２０６は、可視光カメラ・モジュール２０６を動作させる専用プロセッサ又は他の回路（例えば、ＡＳＩＣ）を含んでもよい。いくつかのかかる実施例において、専用プロセッサは、プロセッサ２２２と通信をして、可視光画像データ（例えば、ＲＧＢ画像データ）をプロセッサ２２２に供給する。別の実施例において、可視光カメラ・モジュール２０６用の専用プロセッサは、プロセッサ２２２に一体化されてもよい。

センサ・ピクセルとして機能する可視光カメラ・モジュール２０６の各センサ要素によって、プロセッサ２２２は、各センサ要素の電気的応答を時分割電気信号に変換することによって、可視光を表す２次元画像又は写真をターゲット場面から発生できる。例えば、表示器１０８上での視覚化及び／又はメモリへの蓄積のために、この時分割電気信号を処理できる。

プロセッサ２２２は、表示器１０８を制御して、捕捉したターゲット場面の可視光画像の少なくとも一部を表示する。いくつかの例において、可視光カメラ・モジュール２０６の各センサ要素の電気的応答が表示器１０８上の単一のピクセルに関連するように、プロセッサ２２２が表示器１０８を制御する。他の例において、プロセッサ２２２は、可視光画像の分解能を高くしたり低くしたりしてもよいので、可視光カメラ・モジュール２０６に存在するセンサ要素よりも多い又は少ないピクセルが表示器１０８に存在する。可視光画像全体（例えば、熱画像カメラ１００が捕捉したターゲット画面の全ての部分）又は可視光画像全体よりも小さい画像（例えば、熱画像カメラ１００が捕捉したターゲット場面全体よりも少ない部分）を表示するように、プロセッサ２２２が表示器１０８を制御してもよい。

いくつかの実施例において、赤外線画像データ及び可視光画像データを夫々取り込む赤外線カメラ・モジュール２００及び可視光カメラ・モジュール２０６の一方又は両方を画像取り込みモジュール２８０に含めてもよい。この画像取り込みモジュール２８０は、２２２の如きプロセッサを含む処理モジュール２９０と有線又は無線で通信を行ってもよい。処理モジュール２９０は、本明細書で記載するように、画像取り込みモジュール２８０から画像データを受けると共に、続く処理ステージを実行してもよい。いくつかの例において、処理モジュール２９０は、スマートフォン、タブレット、ラップトップ又はディスクトップＰＣの如きスタンドアロン・コンピュータなどのポータブル処理装置を含んでもよい。いくつかのかかる実施例において、画像取り込みモジュール２８０若しくは処理モジュール２９０又はこれら両方に、フロント・エンド回路２０２の種々のコンポーネントを含めてもよい。

これらや他の例において、熱画像カメラ１００が捕捉した可視光画像の少なくとも一部と、熱画像カメラ１００が捕捉した赤外線画像の少なくとも一部を同時に表示するように、プロセッサ２２２が表示器１０８を制御してもよい。赤外線画像に同時に表示された特徴を理解するのを支援するために、可視光画像に表示された特徴を操作者が参照する際に、かかる同時表示が有用である。それは、赤外線画像よりも可視光画像内で異なる実世界の特徴を容易に操作者が認識し識別できるからである。種々の例において、並んだ配置にて、画像の一方が他方の画像を囲むピクチャ・イン・ピクチャにて、又は可視光画像及び赤外線画像を同時に表示する任意の他の適切な配置にて、可視光画像及び赤外線画像を表示できるように、プロセッサ２２２が表示器１０８を制御してもよい。

例えば、可視光画像及び赤外線画像を組合せ配置で表示するように、プロセッサ２２２が表示器１０８を制御してもよい。かかる配置において、ターゲット場面の一部を表す可視光画像内の単一ピクセル又は１組のピクセルに対して、ターゲット場面のほぼ同じ部分を表す赤外線画像内の対応ピクセル又は１組のピクセルが存在する。種々の実施例において、赤外線画像及び可視光画像のサイズ及び／又は分解能が同じである必要はない。よって、赤外線画像又は可視光画像の一方における単一ピクセルに対応する赤外線画像又は可視光画像の他方における１組のピクセル、又は異なるサイズの１組のピクセルが存在する。同様に、赤外線画像又は可視光画像の一方における１組のピクセルに対応する赤外線画像又は可視光画像の他方における１つのピクセルが存在する。よって、ここで用いる如く、対応は、１対１のピクセル関係であることを必要としないが、サイズの一致しないピクセル又はピクセル・グループが含まれてもよい。画像の一方をアップサンプリング又はダウンサンプリングしたり、又は対応する１組のピクセルの平均値とピクセルを組合せたりするように、サイズの一致しない画像を組合せる種々の技術を実行してもよい。他の例も既知であり、本願の範囲内となる。

よって、対応ピクセルは、直接的な１対１の関係を有する必要がない。更に、いくつかの実施例において、単一の赤外線ピクセルには、複数の対応する可視光ピクセルがあるか、又は、可視光ピクセルには、複数の対応する赤外線ピクセルがある。追加的に又は代わりに、いくつかの実施例において、全ての可視光ピクセルには、対応する赤外線ピクセルがあるわけではなく、また、逆も同様である。上述のように、かかる実施例は、例えば、ピクチャ・イン・ピクチャ形式の表示を示してもよい。よって、可視光ピクセルは、対応する赤外線ピクセルと同様に同じピクセル座標を有する必要がない。したがって、ここで用いる如く、対応するピクセルは、ターゲット場面のほぼ同じ部分からの情報で構成される任意の画像（例えば、可視光画像、赤外線画像、組合せた画像、表示画像など）からのピクセルを一般的に参照する。かかるピクセルは、画像間での１対１の関係を有する必要がなく、また、これら各画像内で類似の座標位置を有する必要もない。

同様に、対応ピクセル（即ち、ターゲット場面の同じ部分を表すピクセル）を有する画像は、対応ピクセルとして参照される。よって、いくつかのかかる配置において、対応する可視光画像及び赤外線画像は、対応するピクセルにて互いに重なる。操作者は、ユーザ・インタフェース２０８と接触して、表示器１０８上に表示された画像の一方又は両方の透明さ又は不透明さを制御してもよい。例えば、操作者は、ユーザ・インタフェース２０８と接触して、完全な透明と完全な不透明の間で赤外線画像を調整し、また、完全な透明と完全な不透明の間で可視光画像を調整してもよい。かかる典型的な組合せ配置は、アルファブレンド（alpha-blended）配置を参照してもよい。これにより、極端な赤外線のみの画像及び可視光のみの画像の間で、これら２つの画像の任意に重なった組合せにおいて、赤外線のみの画像や可視光のみの画像を表示するように、操作者が表示器１０８を調整できる。プロセッサ２２２は、場面情報を、放射性データ、警報データなどの如き他のデータと組合せてもよい。一般的に、可視光画像及び赤外線画像のアルファブレンド組合せは、１００％赤外線及び０％可視光から、０％赤外線及び１００％可視光までの任意のところで構成できる。いくつかの実施例において、混合の量は、カメラのユーザが調整できる。よって、いくつかの実施例において、混合済み（blended：混合された）画像は、１００％可視光と１００％赤外線の間で調整できる。

追加的に、いくつかの実施例において、プロセッサ２２２は、ユーザ・インタフェース２０８及び／又は出力／制御装置２１０からのコマンド（命令）を解釈し実行できる。これは、種々の入力信号を処理し、接続を介してこれら信号をフロント・エンド回路２０２に伝送することを含む。フロント・エンド回路２０２に近接したコンポーネント（例えば、モータ又はソレノイド）を作動させて、所望制御機能を達成できる。制御機能の例には、焦点の調整、シャッタの開閉、センサ読み取りのトリガ、バイアス値の調整などが含まれる。さらに、入力信号を用いて、プロセッサ２２２内で生じる画像データの処理を変更してもよい。

プロセッサは、赤外線画像カメラ１００の処理及び制御を支援する他のコンポーネントを更に含むことができる。例えば、上述の如く、いくつかの実施例において、アナログ・デジタル変換器器をプロセッサ２２２内に組み込むこともできる。かかる場合、プロセッサ２２２に達するまでに、フロント・エンド・ステージ２０４が調整したアナログ信号をデジタル化する。さらに、いくつかの実施例は、表示器１０８又は出力／制御装置２１０に伝送する前に、処理コマンド（命令）情報及び場面データを蓄積するために、ボード・メモリ上への追加を行うことができる。

操作者は、ユーザ・インタフェース２０８を介して熱画像カメラ１００と接触するが、このユーザ・インタフェース２０８は、ユーザからの入力を受けるために、ボタン、キー又は他の機構を含んでもよい。操作者は、表示器１０８を介して、熱画像カメラ１００からの出力を受けてもよい。表示器１０８は、任意の受け入れ可能なパレット又は色技術にて赤外線画像及び／又は可視光画像を表示するように構成されており、このパレットは、例えば、ユーザ制御に応答して変化してもよい。いくつかの例において、表示器１０８は、グレースケールの如きモノクロ・パレット内で赤外線画像を表示するように構成されている。他の例において、表示器１０８は、例えば、アンバー、アイアンボー（ironbow）、青・赤又は他の高コントラストの色彩設計の如き色パレットにて赤外線画像を表示するように構成されている。グレースケール及び色パレット表示の組合せも考慮できる。いくつかの実施例において、かかる情報を表示するように構成された表示器は、かかる画像データを発生し表すための処理能力を含んでもよい。他の実施例において、かかる情報を表示するための構成には、プロセッサ２２２の如き他のコンポーネントから画像データを受ける能力を含んでもよい。例えば、プロセッサ２２２は、表示すべき各ピクセル用の値（例えば、ＲＧＢ値、グレースケール値、又は他の表示オプション）を発生してもよい。

任意適切な配置にて、赤外線画像の少なくとも一部及び可視光画像の少なくとも一部を同時に表示するようにプロセッサ２２２が表示器１０８を制御する一方、近傍の配列における同じ場面の対応可視光画像を表示することによって、熱画像を容易に焦点合わせ及び／又は解釈できるようにピクチャ・イン・ピクチャ配置が操作者を支援する。

電源（図示せず）は、熱画像カメラ１００の種々のコンポーネントに動作電力を供給する。いくつかの例において、この電源は、再充電可能なバッテリ又は再充電不能なバッテリと、電源発生回路とを含んでもよい。

熱画像カメラ１００の動作期間中、メモリに蓄積されたプログラム情報に関連したインストラクション（命令）の支援によって、プロセッサ２２２は、赤外線カメラ・モジュール２００及び可視光カメラ・モジュール２０６を制御して、ターゲット場面の可視光画像及び赤外線画像を発生する。プロセッサ２２２は、更に表示器１０８を制御して、熱画像カメラ１００が発生した可視光画像及び／又は赤外線画像を表示する。

上述のように、いくつかの状況において、熱画像でターゲット場面の実世界（見える）の特徴を識別し区別することが困難である。赤外線画像を可視光情報で補うことに加えて、いくつかの実施例において、ターゲット場面内で見ることができる輪郭を強調することが有用である。いくつかの例において、可視光輪郭の検出をターゲット場面内で（例えば、不均一な熱場面にわたって）行うことが困難であるが、同じターゲット場面の対応する可視光画像上で既知の輪郭検出方法を実行できる。赤外線画像及び可視光画像の間の対応関係により、ターゲット場面内の可視光輪郭を表すのを確定した可視光ピクセルは、赤外線画像内の可視光輪郭も表す赤外線ピクセルに対応する。本明細書で用いる如く、「輪郭」（エッジ）は、対象物の物理的境界を意味する必要はないが、可視光画像内の任意の充分にくっきりとした傾斜を意味してもよいことが明らかであろう。例としては、対象物の物理的境界、対象物内の色変化、場面にわたる影などが含まれる。

図４は、本発明により赤外線画像内の輪郭を強調する例示の技術を説明する高レベルの説明図である。図示した実施例において、可視光画像４００を処理（４０２）する。この処理４０２には、種々の処理ステップが含まれる。例えば、いくつかの例において、この処理には、ノイズ低減のための画像フィルタ処理、輪郭の強調処理、又は任意の他の処理技術を含んでもよい。いくつかの例において、処理には、可視光画像から輪郭を強調するためにエンボス又は他の輪郭検出処理を含んでもよい。

図示した実施例において、処理した結果の可視光画像を輪郭ミッドスケール（midscale）値４０４と組合せて、変更済み（モディファイした）可視光画像４０６を発生する。輪郭ミッドスケール値４０４は、例えば、特定の色を含んでもよい。いくつかの実施例において、輪郭ミッドスケール値４０４は、ユーザが選択可能でもよい。いくつかの例において、処理済み可視光画像４０２と輪郭ミッドスケール値４０４との組合せは、処理済み可視光画像４０２と、輪郭ミッドスケール値４０４から排他的に構成される画像との組合せである。すなわち、いくつかの実施例において、処理済み可視光画像を生成して、輪郭ミッドスケール値「画像」を生成するか又はメモリから呼び出す。適切な組合せ方法によって、これら２つの画像を組合せて、変更済み可視光画像４０６を発生する。

他の実施例において、この組合せは、処理済み可視光画像４０２の各ピクセルと輪郭ミッドスケール値との組合せを含む。すなわち、この組合せは、画像の幅にわたって一度に行えないが、ピクセル毎又はクラスタ毎に行われる。カメラは、輪郭ミッドスケール値「画像」を蓄積又は生成する必要がないが、処理済み可視光画像データと輪郭ミッドスケール値とのピクセル幅の組合せを実行して、変更済み可視光ピクセル・データを決定してもよい。変更済み可視光画像４０６は、後述の如く、強調済み（強調された）輪郭情報を含んでもよい。変更済み可視光画像４０６を、可視光画像４００に対応する赤外線画像４０８と組み合わせることができる。その結果の混合済み最終画像４１０は、赤外線画像データと、可視光画像４００からの強調された（強調済み）輪郭情報との両方を含んでもよい。本明細書で記載の如く、組合せ（例えば、処理済み可視光画像４０２及び輪郭ミッドスケール値４０４、又は赤外線画像４０８及び変更済み可視光画像４０６）は、加算、平均化、アルファブレンドなどの如き種々の既知の画像組合せ技術によって実行してもよい。

図５Ａは、本発明により変更済み可視光画像を発生するために用いる例示の可視光画像処理技術を説明する図である。図示の実施例によれば、可視光画像データ５００が可視光処理エンジン５０２に向かう。いくつかの実施例において、処理エンジン５０２は、プロセッサ２２２の一部にもできるが、プロセッサ２２２から独立した機能でもよい。いくつかの例において、可視光処理エンジン５０２は、可視光画像内の１つ以上のピクセルに対する疑似ルミナンス値５１２を決定する。ピクセルの疑似ルミナンス値５１２は、真のルミナンス（即ち、ピクセルのＹＣｂＣｒ表現におけるＹコンポーネント）、又はピクセルを表す任意の他の単一のスカラー値を含んでもよい。例えば、いくつかの例において、ピクセルに対する疑似ルミナンス値５１２は、ＲＧＢ色空間内のピクセル表現のＲ、Ｇ及びＢコンポーネントの線形組合せを含んでいる。例示の実施例において、所定ピクセルに対する疑似ルミナンス値ｉ（PseudoLum(i)）は、以下の式によって決定できる。
PseudoLum(i)=4×R(i)+8×G(i)+4×B(i)

疑似ルミナンス値５１２が１つ以上のピクセルに対して決定すると、処理カーネル５１４を可視光画像にわたって、例えば、可視光画像５００内の１つ以上のピクセルにわたって供給する。いくつかの実施例において、処理カーネル５１４を用いて、所定ピクセルにおける輪郭の「強度」を一般的に表すカーネル内の１つ以上のピクセルに対して輪郭係数値５１６を決定する。いくつかの実施例において、輪郭係数値５１６を決定することは、そのピクセルにおける可視光輪郭の存在及び／又は強度を表す各ピクセルの輪郭を決定するエンボス処理を含んでもよい。図５Ａにおける処理カーネル５１４に関連して、カーネル５１４内の各エンティティ（１〜９）は、可視光画像内の単一ピクセルに対応し、各かかるピクセルは、関連する疑似ルミナンス値５１２を有してもよい。他の例において、処理カーネル５１４内の各エンティティは、可視光画像（例えば、フィルタ処理又はダウンサンプリング処理における如く互いに平均化された正方形又は長方形の如きピクセルの定義されたグループ）内の複数のピクセルに対応してもよい。いくつかの実施例において、図５Ａに示した如き処理カーネル５１４を用いて、カーネル５１４の中央ピクセル用の輪郭係数値（ＥＦＶ:edge factor value）５１６を決定してもよい。例えば、図示の実施例に関連して、対角線上の対向するの角にあるピクセルの疑似ルミナンス値における差を用いて、中央ピクセルの輪郭係数値を決定してもよい。値間の差をとって決定した輪郭係数値は、正又は負である点に留意されたい。いくつかの実施例において、ユーザ調整可能な輪郭利得５１８の値によって、輪郭係数値５１６をスケール（縮尺）調整してもよい。よって、例示の実施例において、処理カーネル５１４における中央ピクセル５の輪郭係数値（EFV(5)）５１６は、次式により決定できる。
EFV(5)=edgeGain×[PseudoLum(1)-PseudoLumi(9)]
なお、edgeGainは輪郭利得を示し、PseudoLumiは指定ピクセルの疑似ルミナンス値を示す。

この結果の輪郭係数値は、そのピクセルの輪郭の「強度」に対応する。すなわち、大きなマグニチュードの輪郭係数値は、可視光画像５００内のくっきりした輪郭又は外形に対応する。処理カーネル５１４内の１つ以上のピクセルの輪郭係数値５１６を決定するのに、種々の式又は方法が適切であることが明らかであろう。例えば、ピクセル１及び９の関連値を減算するのではなく、類似ピクセルの比較（例えば、減算）は、ピクセルの他の対又はグループに対して実行される。いくつかの実施例において、輪郭係数値の計算にどのピクセルを用いるかをユーザが選択してもよい。そうすることによって、ある方向の輪郭が輪郭係数値にどのように強く反映するかについて、ユーザが影響を与えることができる。同様に、輪郭係数値を決定するのにどのピクセルを用いるかを定めることによって、ユーザは、輪郭係数値の計算で失う特定方向の輪郭を確実により少なくできる。例示の比較には、次に示すものなどが含まれる。
PseudoLum(3)-PseudoLumi(7)
PseudoLum(6)-PseudoLumi(4)
PseudoLum(2)-PseudoLumi(8)
追加的には、カーネルは、図示のように３×３カーネルに制限する必要がない。むしろ、処理カーネル５１４は、ｎ×ｎの正方形又はｍ×ｎの長方形の如く任意のサイズ又は形状でよい。

種々の例において、輪郭係数値５１６を決定する異なる等式又は方法は、特定のサイズ及び／又は形状のカーネルを処理するために最も適したものでよい。例えば、いくつかの実施例において、輪郭係数値を決定する際に、複数のカーネル・エンティティを比較し（例えば、減算により）、用いる。例示の実施例において、ＥＦＢを決定するのに、複数の減算を実行し（例えば、対向する角、頂部及び底部の座標、左及び右の座標など）、減算を平均化する。他の例において、１組の減算からの最大の差のマグニチュードを用いて、輪郭係数値を決定する。追加的に又は代わりに、いくつかの例において、単一の処理カーネル５１４を用いて、多数のピクセル用の輪郭係数値を決定する。処理エンジン５０２が輪郭係数値５１６を決定すると、上述のように、輪郭係数値５１６を輪郭ミッドスケール値５０４と組合せて、変更済み可視光画像５０６内の対応ピクセルを発生する。一般的に、処理カーネル５１４は、各ピクセル用の輪郭係数値を決定するために、可視光画像にわたって移動させてもよいし、又は、可視光画像内のピクセルのサブセット用の輪郭係数値を決定するために、移動させてもよい。

図５Ｂは、本発明により変更済み可視光画像を発生するために用いる他の例示的な可視光画像処理技術を説明する図である。図５Ｂの処理は、図５Ａの処理に類似しているが、種々のステップが異なるか又は異なる順序で実行する。例えば、図５Ｂの実施例において、処理カーネル５１４内で可視光画像データ５００を処理する。図５Ａに関して上述したカーネルと同様に、図５Ｂのカーネル５１４は、任意のサイズでもよく、これを用いて、一度に可視光画像ピクセルのサブセットを処理してもよい。

図５Ｂに示した例において、処理カーネル５１４は、輪郭ミッドスケール値５０４及び輪郭利得５１８を受ける。図５Ａにてその実行を示した処理は、図５Ｂのカーネル５１４におけるピクセルでも実行される。すなわち、疑似ルミナンス値５１２は、カーネル内のピクセル用に決定され、輪郭利得５１８と関連して使用されて、カーネル内の１つ以上のピクセルに対する輪郭係数値５１６を決定する。カーネル５１４内で決定された１つ以上の輪郭係数値は、カーネル５１４内の輪郭ミッドスケール値５０４と組合せてもよい。

いくつかのかかる実施例において、処理カーネル５１４は、変更済み可視光画像５０６内に含まれる１つ以上のピクセルを出力してもよい。すなわち、いくつかの実施例において、可視光画像ピクセルのサブセットが処理カーネル５１４に入力される。ここでの処理技術は、ピクセルのサブセットのみに実行される。この処理結果は、変更済み可視光画像５０６内に含まれる１つ以上のピクセルである。この処理が完了した後、変更済み可視光画像５０６内に含まれる１つ以上の追加のピクセルを更に処理して発生するために、カーネル５１４を可視光画像５００に対して移動してもよい（又は、等価的に、可視光画像５００のピクセルの異なるサブセットを処理カーネル５１４に供給する）。全ての変更済み可視光画像５０６を構成するまで、可視光画像ピクセルの複数のサブセットに対して、上述の処理を繰り返してもよい。

図６Ａは、本発明により輪郭係数値をＲＧＢ色空間内の輪郭ミッドスケール値と組合せて変更済み可視光画像ピクセルを決定することを説明する図である。図示の実施例において、所定ピクセルの輪郭係数値６１６を輪郭ミッドスケール値６０４のＲ、Ｇ及びＢの各々と組合せる。一般的に、輪郭ミッドスケール値は、任意の色でよい。種々の実施例において、輪郭ミッドスケール値は、メモリに蓄積された固定色でもよいし、又は、ユーザが定義可能であっても選択可能であってもよい。上述の如き輪郭係数値６１６は、各ピクセルに対する単一の値で構成されるので、同じ輪郭係数値６１６を輪郭ミッドスケール値６０４の各ＲＧＢチャンネルに加算してもよく、輪郭ミッドスケール値６０４のＲ、Ｇ及びＢの値を効果的に調整して、変更済み可視光画像６０６を生成する。

いくつかの例において、輪郭係数値６１６は、この値をＲＧＢチャンネルの各々と組み合わせるために、適切なサイズにスケール調整する必要がある。よって、図示の実施例において、種々のチャンネルに加算する前に、輪郭係数値をスケール調整６２０する。種々の実施例において、各チャンネルに関連したビットの数は、同じでなくてもよい。例えば、例示の実施例において、総合１６ビットを用いた場合、Ｒ及びＢチャンネルが５ビットであり、Ｇチャンネルが６ビットでもよい。チャンネル当たりに任意のビット数を用いてもよく、任意の数のチャンネルが関連した類似又は異なるビット数であってもよい。

所定ピクセルに対して、輪郭係数値６１６を輪郭ミッドスケール値（ｅｍｖ）６０４のＲＧＢ値に加算することにより、変更済み可視光（ＶＬ）画像６０６内の対応ピクセルの結果の色を定める。例えば、図示の実施例において、輪郭係数値（ＥＦＶ）６１６をスケール調整し、輪郭ミッドスケール値６０４のＲチャンネル（R_emv）に加算して、その結果（R_VL'）が変更済み可視光ピクセル６０６のＲチャンネルとなる。Ｇ及びＢチャンネルに対しても、同じことを実行する。すなわち、次のようになる。
R_emv+EFV=R_VL'
G_emv+EFV=G_VL'
B_emv+EFV=B_VL'
ここで、輪郭係数値は、各チャンネルに対して異なってスケール調整される。

一般的に、Ｒ、Ｂ及びＢチャネル内の値は、１つ以上のある範囲に制限される。例えば、２４ビットの色表現において、Ｒ、Ｇ及びＢチャンネルの各々は、例えば、０及び２５５の間で８ビットの範囲で情報を含んでいる。他の例において、１６ビットの色表現の如きでは、Ｒ、Ｇ及びＢチャンネルの各々は、異なる範囲に制限される。例えば、２チャンネルが５ビット（例えば、０〜３１）に制限され、第３チャンネルが６ビット（例えば、０〜６３）に制限される。よって、輪郭ミッドスケール値チャンネル及び輪郭係数値の和は、レンジ外でもよい（例えば、輪郭係数値が負ならばゼロ未満、又は、輪郭係数値が正ならば２５５より上）。いくつかの例において、この結果は、チャンネルの飽和となり、その結果の和を範囲の限界と定める。例えば、輪郭ミッドスケール値６０４のＲチャンネル（R_emv）が２４０ならば、R_emvに加算されるスケール調整された輪郭係数値６１６は、５０である。これは、次のようになる。
R_VL'=R_emv+EFV=240+50=295→255
すなわち、和（２９５）がR_VL'範囲（２５５）の上限よりも上であっても、変更済み可視光ピクセル６０６の結果の値は、範囲（２５５）の上限で飽和する。

一般的に、ピクセルのＲ、Ｇ及びＢチャンネルの各々に同じ値（例えば、輪郭係数値６１６）を加算する結果、ピクセルのルミナンスに変化がある一方、そのクロミナンスを維持する。しかし、上述の如く、輪郭ミッドスケール値６０４は、任意の色でもよい。種々の実施例において、輪郭ミッドスケール値６０４は、カメラにプログラムされた、所定リストから選択可能な、又は、ユーザによりカストマイズ可能な特定の色でもよい。よって、いくつかの状況において、輪郭ミッドスケール値６０４のＲ、Ｇ及びＢ値は、必然的に等しくない。その結果、輪郭係数値６１６をＲ、Ｇ及びＢチャンネルの各々に加算した結果、いくつかのチャンネルが飽和してもよいが、他のチャンネルは飽和しなくてもよい。例えば、R_emv=240、G_emv=100及びB_emv=100、輪郭係数値６１６が５０ならば、次のようになる。
R_VL'=240+50=295→255
G_VL'=100+50=150
B_VL'=100+50=150
よって、輪郭係数値６１６を輪郭ミッドスケール値６０４に加算する際、Ｒチャンネルが飽和するが、Ｇ又はＢチャンネルは、飽和しない。その結果、Ｒチャンネルのみが１５だけ増加し、Ｇ及びＢチャンネルが５０だけ増加する。全てのチャンネルではないがいくつかのチャンネルが飽和する結果、輪郭ミッドスケール値６０４及び変更済み可視光画像６０６の間のクロミナンスに差が生じる。

図６Ｂは、本発明により、変更した可視光画像６０６をＹＣｂＣｒ色空間内の輪郭ミッドスケール値と組合せて、変更済み可視光画像ピクセルを決定することを説明する図である。図示の実施例において、輪郭係数値６１６をスケール調整し、輪郭ミッドスケール値６０４のルミナンス（Ｙ）チャンネルに加算して、変更済み可視光画像６０６（Y_YL'）を決定する。輪郭ミッドスケール値６０４のクロミナンス・チャネル（Ｃｂ、Ｃｒ）は、輪郭係数値６１６に影響されず、変更済み可視光画像のクロミナンス・チャネル（Cb_VL'及びCr_VL'）になる。

上述のように、輪郭ミッドスケール値６０４のＲ、Ｇ及びＢチャンネルの全てではないが１つ以上が飽和すると、輪郭係数値６１６の輪郭ミッドスケール値６０４のみへの加算は、輪郭ミッドスケール値６０４のクロミナンスに影響する。これが当てはまらないとき、図６Ｂに示すように、輪郭係数値６１６の加算によって、輪郭ミッドスケール値６０４のクロミナンスは、影響されない。よって、輪郭ミッドスケール値６０４のクロミナンス・チャネルが変更済み可視光画像のクロミナンス・チャネルになる。

いくつかの実施例において、R_emv=B_emv=G_emvならば、輪郭ミッドスケール値６０４は、例えば、グレーの影でもよい。かかる値が異なるサイズにスケール調整されれば（例えば、５ビット対６ビット）、これら値は、そのまま等しくなくてもよいが、これらの各ビット深さに関連して等価の値を示してもよいことが明らかであろう。よって、ここで用いる如く、「等しい」ということは、サイズ（例えば、ビット数）が等しいことを必要とせずに、値が等価な数（例えば、ビット数に対して）を意味する。かかる実施例において、図６Ａを参照すると、輪郭係数値６１６を各チャンネルに加算する結果、１つのチャンネルが飽和せず、他のチャンネルも飽和しない。すなわち、輪郭ミッドスケール値６０４のＲ、Ｇ及びＢチャンネルの各々は、輪郭係数値によって均一に影響される。よって、輪郭ミッドスケール値６０４のクロミナンス・チャネルは、輪郭係数値に影響されず、図６Ｂに示すものが適用される。

例示の計算において、R_emv=G_emv=B_emvならば、輪郭ミッドスケール値がグレーで、Cb_emv=Cr_emvである。２４ビットの色深さに立脚する例示の技術において、Cb_emv=Cr_emv=128である。輪郭ミッドスケール値６０４のＲ、Ｇ及びＢチャンネルの各々に輪郭係数値６１６を加算することは、チャネル間の等価関係に影響しないし、クロミナンス・コンポーネントも影響されない。よって、輪郭係数値６１６を輪郭ミッドスケール値６０４に加算した後、ルミナンス値のみが影響される。すなわち、次のようになる。
Y_VL'=Y_emv+EFV
Cb_VL'=Cb_emv=128
Cr_VL'=Cr_emv=128
示した如く、輪郭ミッドスケール値６０４は、グレースケールにて開始するので（Ｒ＝Ｇ＝Ｂ；等価的にはＣｂ＝Ｃｒ＝１２８）、その結果の変更済み可視光画像６０６もグレースケールである。変更済み可視光画像６０６のルミナンスは、輪郭係数値６１６でオフセットされた輪郭ミッドスケール値６０４のルミナンス・コンポーネントである。

図６Ｂは、グレースケール輪郭ミッドスケール値６０４に関して説明したが、いくつかの実施例において、変更済み可視光画像６０６を発生することは、輪郭ミッドスケール値６０４がグレーであってもなくても、図６Ｂの実施例によれば、ＹＣｂＣｒ色空間内で変更済み可視光画像６０６の発生が実行されていることが明らかであろう。すなわち、いくつかの例において、輪郭係数値６１６を輪郭ミッドスケール値６０４のルミナンス・チャネルに加算し、変更済み可視光画像６０６のクロミナンス・チャネルが輪郭ミッドスケール値６０４のクロミナンス・チャネルに等しいと定めることによって、変更済み可視光画像６０６を構成してもよい。

輪郭係数値６１６と、一般的な（グレー、又はメモリにプログラムした若しくはユーザが選択できる任意の色）輪郭ミッドスケール値６０４との種々の組合せについて説明した。この組合せは、任意の適切な色空間において種々の方法で実現できることが明らかであろう。例示の方法としてここでは、ＲＧＢ及びＹＣｂＣｒ色空間について説明したが、例えば、ＣＹＭＫ、ＨＳＬ又はＨＳＶ色空間表現を用いて類似の方法を実行してもよい。単一のチャンネル（例えば、図６Ｂ内のルミナンス・チャンネル）又は複数のチャンネル（例えば、図６Ａ内のＲ、Ｇ及びＢチャンネルの各々）において、輪郭係数値６１６の輪郭ミッドスケール値６０４への加算を行ってもよい。

輪郭ミッドスケール値の１つ以上のチャンネルにスカラー値を加算することを図６Ａ及び図６Ｂに示したが、種々の他のオプションが可能である。例えば、図６Ａを参照し、いくつかの実施例において、ユーザの選択に応じて、Ｒ、Ｇ及びＢチャンネルの全てではなく、これらの２つ以下のチャンネルに、輪郭係数値を加算してもよい。このように行う際、大きなマグニチュードの輪郭係数値によって強調されたピクセルを、変更済み可視光画像内のある色の方向に選択的にシフトしてもよい。同様に、図６Ｂを参照し、輪郭係数値を、更に、又はルミナンス・チャネルの代わりに、輪郭ミッドスケール値の１つ以上のクロミナンス・チャネルに加算してもよい。

いくつかの実施例において、輪郭係数値は、単一のスカラー値に対向するような多チャンネル色値でもよい。例えば、輪郭係数値を決定する前に、スカラー疑似ルミナンス値へ可視光画像を変換する代わりに、可視光画像の１つ以上の色チャンネルで同じ処理技術を実行してもよい。その結果、輪郭係数値は、輪郭ミッドスケール値と組み合わせるための複数の色チャンネルから構成されてもよい。多色チャンネルのピクセルの組合せは、種々の方法（例えば、加算、混合など）で実行できる。

他の実施例において、スカラー輪郭係数値は、上述の如く決定してもよいが、スカラー値を多チャネル色空間表現にマッピングしてもよい。かかるマッピングは、種々の方法で実行できる。いくつかの実施例において、スカラー輪郭係数値は、赤外線画像データの調色技術（palettization scheme）と同様な方法で効果的に調色される。その結果の多チャネル輪郭係数値は、輪郭ミッドスケール値の多チャネルと組み合わされて、変更済み可視光画像を発生する。いくつかのかかる例において、赤外線調色技法を補完するために、輪郭係数値（ＥＦＶ）色パレットを選択してもよい。例には、グレースケール赤外線画像内のアンバー（黄／赤）の程度として可視光輪郭を最終的に示すために、アンバー輪郭係数値パレットを伴うグレースケール赤外線画像を含む。いくつかの実施例において、両方の調色技法をユーザが選択可能である。他の実施例において、かかる調色技法の一方をユーザが選択し、補完調色技法を他のために自動的に用いる。いくつかの実施例において、ユーザが両方の調色技法を選択可能であるが、調色技法の一方を選択した後、可能な補完の調色技法のユーザ・インタフェースを介して、ユーザが警告を受けてもよい。

組合せの結果は、変更済み可視光画像６０６である。ここで、各ピクセルは、可視光画像からの対応ピクセルの輪郭係数値が影響した輪郭ミッドスケール値６０４を含んでいる。上述の如く、輪郭係数値６１６のマグニチュードは、対応可視光ピクセルでの輪郭の「強度」に対応する。そのため、結果としての変更済み可視光画像６０６は、輪郭係数値によりオフセットされた輪郭ミッドスケール値６０４を一般的には含んでいる。ここで、可視光画像内の輪郭に対応するピクセルは、輪郭係数値６１６の加算によって最も影響される。よって、可視光画像の輪郭に対応するピクセルは、変更済み可視光画像６０６内の輪郭ミッドスケール値６０４から最も離れている。

図４を参照すれば、変更済み可視光画像４０６を対応赤外線画像４０８と組合せて、混合した最終画像４１０を生成している。図７Ａ及び７Ｂは、本発明により変更済み可視光画像及び対応赤外線画像を組み合わせる例示の技術を説明する図である。図７Ａに示す如く、変更済み可視光画像内のピクセルのＲ、Ｇ及びＢチャンネルを、対応赤外線画像ピクセルのＲ、Ｇ及びＢチャンネルの夫々により平均化する。赤外線画像７０８内のピクセルに関連するＲＧＢ値を調色技法により定めるが、ピクセルは、関連する赤外線画像データに基づいてパレット内の色に割り当てられる。上述の如く、対応ピクセルは、１対１の関係を必要としないが、変更済み可視光画像７０６内の１つ以上のピクセルに対応する赤外線画像７０８内の１つ以上のピクセルを含むことができる。

平均化には、アルファブレンドを含むことができる。ここで、重み付け係数は、赤外線画像ピクセル７０８及び変更済み可視光画像ピクセル７０６の各々からの寄与を決定する。混合比アルファ（α）に対して、例示の混合（blend）手順は次のようになる。
R_Blend=α×R_IR+(1-α)×R_VL'
G_Blend=α×G_IR+(1-α)×G_VL'
B_Blend=α×B_IR+(1-α)×B_VL'

混合比は、ユーザが選択可能か又は調整可能であり、混合の量をユーザが選択できるようにする。上述の如くいくつかの実施例において、アルファは、０から１（即ち、０％ＩＲから１００％ＩＲ）までの範囲である。他の実施例において、０及び１の間の最小／最大混合比がある。種々の実施例において、混合比は、画像内の全てのピクセルの間で一定でもよいし、ピクセル毎に変化してもよい。一般的には、可視光画像処理で強化され、変更済み可視光画像内に存在する可視光画像からの輪郭は、強化され、効果的に強調された混合画像である。

いくつかの実施例において、各ピクセルの混合比は、１つ以上のパラメータに基づいて自動的に決定されてもよい。いくつかの例において、各ピクセルの混合比は、そのピクセルに関係した輪郭係数値（例えば、６１６）の関数でもよい。例えば、混合比は、輪郭係数値のマグニチュードと逆に変化してもよい。すなわち、可視光画像内のピクセルの輪郭係数値のマグニチュードが小さければ、混合比が大きくなる。その結果、混合済み画像７１０内の対応ピクセルには、対応赤外線ピクセル７０８から比較的大きな寄与がある。一方、可視光画像内のピクセルの輪郭係数値のマグニチュードが大きければ、混合比が比較的小さくなる。その結果、混合済み画像内の対応ピクセルには、対応赤外線ピクセルからの寄与が小さい。

その結果が混合済み画像７１０である。ここでは、可視光画像内の輪郭に対応しないピクセル（即ち、低い輪郭係数値マグニチュード）に、赤外線画像からの大きな寄与がある。これとは対照的に、可視光画像内の輪郭に対応するピクセル（即ち、大きな輪郭係数値マグニチュード）には、変更済み可視光画像から大きな寄与がある。その結果、可視光画像内の輪郭に対応しないピクセルは、対応赤外線画像からの対応赤外線ピクセルと類似するようになる。

例示の実施例において、輪郭係数値があるしきい値よりも下の場合、混合比αが１に設定される。すなわち、可視光画像内のピクセル内に輪郭（又は、所定しきい値又はユーザ調整可能なしきい値である「強度」）がない場合、混合済み画像内の対応ピクセルは、赤外線画像７０８の１００％対応するピクセルである。かかるピクセルは、オリジナルの赤外線画像７０８からのＲＧＢ値を保持するので、オリジナルのＲＧＢパレット上で認識可能である。これとは対照的に、可視光画像内の輪郭の「強度」が強くなると、変更済み可視光画像７０６の混合済み画像７１０への寄与が大きくなる。「強度」のある輪郭に対応するピクセルの色は、輪郭以外よりも混合によって大きな影響を受け、一般的には、オリジナルの赤外線画像から同じＲＧＢ値を保持しない。よって、変更済み可視光画像７０６の混合の寄与により、可視光画像処理で強調された輪郭は、混合済み画像７１０内で容易に見ることができる。

他の実施例において、混合済み画像７１０では、赤外線画像の寄与が最小量であり、可視光画像の寄与が最小量である。例えば、混合比αは、０及び１の少なくとも一方から除外されるが、代わりに、値のより小さな範囲に制限されることが明らかであろう。混合比におけるいかなる制限も可能である。さらに、他の混合技法を用いてもよい。例えば、混合比は、赤外線画像の寄与の程度の代わりに、混合済み画像への可視光画像の寄与の程度に反映する。いくつかのかかる実施例において、混合比は、輪郭係数値の関数でもよく、輪郭係数値の増加に伴って増加する。

追加的に又は代わりに、各ピクセルの混合比は、赤外線画像ピクセルのパラメータの如く、他のパラメータの関数でもよいことが明らかであろう。例えば、いくつかの実施例において、所定ピクセルの混合比は、赤外線画像データ内のピクセルのマグニチュード（例えば、調色された赤外線画像内のルミナンス若しくは疑似ルミナンス、又は関連Ｒ、Ｇ又はＢ値の１つ以上）の関数である。かかる例において、熱場面の種々の状況は、赤外線画像情報の量を決定するのに寄与し、変更済み可視光画像が混合済み画像内に取り込まれる。いくつかの例において、上述の如く、混合比は、赤外線ピクセルのマグニチュード、又は同様に、赤外線ピクセルが表すターゲット場面の温度に逆比例で関連する。すなわち、いくつかの実施例において、混合済み画像は、低い温度よりも高い温度にて、変更済み可視光画像の大きな寄与があり、一般的には高い温度領域内で可視輪郭を強調する。一般的には、赤外線輝度に依存する個別のピクセル混合比には、変更済み可視光画像の混合済み画像への寄与が高い又は低い場合を含み、高い温度、低い温度、又はある範囲の温度を有する如く、赤外線輝度値と任意の関数関係があることが明らかであろう。

種々の混合技術を説明したが、全体的な混合比は、これらの組合せに基づいて決定できる。例えば、特定ピクセルの全体的な混合比は、輪郭係数値の如きパラメータで決定した混合比と、対応赤外線ピクセルの輝度との組合せである。さらなる実施例において、かかるピクセル依存混合比は、調整可能なグローバル（広範囲）混合比によって変更してもよい。例示の実施例において、混合比α_iは、対応する輪郭係数値（α_EFV）及び対応する赤外線ピクセル輝度（α_IR）と共に、グローバル混合比（α_global）に基づいて、ピクセル毎に定まる。所定ピクセルに対する全体的な混合比（α_net）は、重み付け平均化の如く、かかる混合比の組合せを含んでおり、次のようになる。
α_net=c_1×α_EFV+c_2×α_IR+c_3×α_global
ここで、ｃ１、ｃ２及びｃ３は、重み付け係数である。種々の実施例において、混合オプション（例えば、輪郭係数値（ＥＦＶ）依存及び／又は赤外線（ＩＲ）依存）、値（例えば、グローバル混合）又は各混合技術の相対的な寄与（例えば、c_i）の如く混合処理に含まれる任意のパラメータは、ユーザが選択可能又は調整可能でもよい。

いくつかの実施例において、ある熱特性を有する領域内での細部を選択的に強調するために、他の係数が赤外線画像輝度に依存してもよい点に留意されたい。例えば、可視光画像ピクセル用の輪郭係数値を決定する際に用いる輪郭利得は、対応する赤外線画像ピクセル用の赤外線画像データに依存してもよい。すなわち、可視光画像処理によって強調された可視光輪郭は、ターゲット場面の対応部分の熱特性のために、より大きく又は小さく強調されてもよい。したがって、ある熱プロファイル（例えば、温度範囲内での高温、低温など）を有する混合済み画像内のピクセルは、他のピクセルよりも一層強い強調された輪郭を含んでもよい。

図７Ｂは、ＹＣｂＣｒ色空間における例示の混合処理を説明する図である。図示の実施例において、変更済み可視光画像ピクセル７０６のルミナンスＹ及びクロミナンスＣｂ及びＣｒチャンネルを、対応する赤外線画像ピクセル７０８の対応するチャンネルと共に平均化する。上述の如く、平均化は、混合比αを用いる重み付け平均化を含んでもよい。例示の混合処理にて、ＲＧＢ混合と類似で、次のようになる。
Y_Blend=α×Y_IR+(1-α)×Y_VL'
Cb_Blend=α×Cb_IR+(1-α)×Cb_VL'
Cr_Blend=α×Cr_IR+(1-α)×Cr_VL'
ＲＧＢ色空間における混合に関して上述したように、所定ピクセルに対して、混合比αは、対応する可視光ピクセルに関連した輪郭係数値の関数でもよい。

図６Ｂに関して説明した如く、いくつかの実施例において、変更済み可視光画像ピクセル（Cb_VL', Cr_VL'）は、輪郭ミッドスケール値（Cb_emv, Cr_emv）のルミナンス・コンポーネントに対応してもよい。いくつかの例において、混合済み画像７１０内のピクセルのクロミナンス・コンポーネントは、赤外線画像ピクセル７０８のクロミナンスと輪郭ミッドスケール値のクロミナンス・コンポーネントとの重み付けされた混合を含んでもよい。さらに、いくつかの場合において、変更済み可視光画像ピクセル（Y_VL'）のルミナンス・コンポーネントは、対応する可視光画像ピクセルに関連した輪郭係数値によってオフセットされた輪郭ミッドスケール値のルミナンス・コンポーネントである。したがって、結果としての混合済み画像７１０内のピクセルのルミナンス・コンポーネントは、対応する赤外線ピクセル７０８のルミナンス・コンポーネントと、輪郭係数値がオフセットした輪郭ミッドスケール値のルミナンス・コンポーネントとの重み付け混合を含んでもよい。図７Ａ及び７Ｂにて２つの例を示したが、上述の如き混合処理は、任意の適切な色空間内にて実行できることが明らかであろう。

いくつかの例において、最終の混合済み画像まで、画像が調色されない。すなわち、可視光画像は、スカラー輪郭係数値を決定するために用いるスカラー疑似ルミナンス値に変換されてもよい。スカラー輪郭係数値は、グレー輪郭ミッドスケール値と組み合わされて、基本的にスカラーのピクセル値を有する変更済み可視光画像を生成してもよい。これらの値をスカラー（グレースケール）の赤外線画像データと組合せて、混合済み画像内のピクセル用のスカラー値を発生してもよい。単一の調色技法をスカラーの混合済み画像に供給して、カラー化された画像を発生してもよい。

同様な実施例において、疑似ルミナンス値を用いて、スカラーの輪郭係数値を決定してもよい。スカラーの輪郭ベクトル値をグレーの輪郭ミッドスケール値と組合せて、基本的にスカラーのピクセル値を有する変更済み可視光画像を生成してもよい。グレースケールの又は色で調色済みの赤外線画像データと混合する前に、任意の適切な調色技法によって、その結果の変更済み可視光画像を調色してもよい。

図８Ａ及び８Ｂは、本発明により混合済み画像を発生するための処理を説明する図である。図８Ａにおいて、可視光画像８００（R_VL、G_VL、B_VL）のＲ、Ｇ及びＢチャンネルを疑似ルミナンス８１２（Ｙ’）に変換する。疑似ルミナンス値８１２を処理して、例えば図５Ａを参照して上述したように、各ピクセル用の輪郭係数値８１６を決定する。図８Ａに図示の例において、例えば図６Ａを参照して上述したように、輪郭係数値８１６を輪郭ミッドスケール値８０４のＲ、Ｇ及びＢチャンネルの各々（夫々R_emv、G_emv及びB_emv）と組合せて、チャンネルR_VL'、G_VL'及びB_VL'による変更済み可視光画像８０６を発生する。上述の如く、輪郭係数値８１６と輪郭ミッドスケール値８０４との組合せは、可視光画像８００内に存在する輪郭に対応するピクセルを一般的には強調する。

変更済み可視光画像８０６のＲ、Ｇ及びＢチャンネル（R_VL'、G_VL'、B_VL'）を、赤外線画像８０８の対応するＲ、Ｇ及びＢチャンネル（R_IR、G_IR、B_IR）と共に平均化して、混合済み画像８１０を発生する。混合は、例えば図７Ａを参照して説明した如く、実行できる。いくつかの実施例において、平均化は、上述の如く、混合比αを用いた重み付け平均を含んでもよい。いくつかの実施例において、各ピクセルに対する混合比は、図８Ａ内の点線が示すように、対応する可視光ピクセルに関連した輪郭係数値８１６に依存してもよい。この結果の混合済み画像８１０は、赤外線画像情報と、変更済み可視光画像の寄与からの強調済み輪郭とを一般的に含んでいる。

図８Ｂは、ＹＣｂＣｒ色空間にて混合を実行する混合処理を説明する図である。図８Ｂに示す処理は、図８Ａに示す処理に類似しており、可視光画像８００のＲ、Ｇ及びＢ値を用いて、疑似ルミナンス値８１２を決定する。可視光画像８００の他の色空間を用いて疑似ルミナンス値を決定する他の方法を用いてもよいことは、明らかであろう。疑似ルミナンス値８１２を用いて、各ピクセル用の輪郭係数値８１６を決定する。図示の実施例において、図６Ｂを参照して上述したように、変更済み可視光画像８０６のルミナンス・コンポーネントを決定するために、輪郭ミッドスケール値８０４のルミナンス・コンポーネント（Y_emv）を輪郭係数値と組合せてもよい。輪郭ミッドスケール値８０４のクロミナンス・コンポーネント（Cb_emv、Cr_emv）は、輪郭係数値に影響されず、一般的には、変更済み可視光画像のクロミナンス・コンポーネントとして用いられる。

図示の如く、また、例えば図７Ｂを参照して上述した如く、変更済み可視光画像８０６のＹ、Ｃｂ及びＣｒコンポーネントを赤外線画像８０８の対応コンポーネントと共に平均化する。かかる実施例において、この結果の混合済み画像８１０は、輪郭ミッドスケール値８０４及び赤外線画像８０８のクロミナンス値の混合であるクロミナンス値を含んでいる。しかし、混合済み画像８１０のルミナンス・コンポーネントは、赤外線画像８０８のルミナンス・コンポーネントと、輪郭係数値８１６がオフセットした輪郭ミッドスケール値８０４のルミナンス・コンポーネントとを含んでいる。よって、可視光画像８００からの輪郭を表す輪郭係数値８１６は、混合済み画像８１０のルミナンス・チャネル内に反映し、よって、混合済み画像８１０内で見ることができる。上述の如く、いくつかの例において、所定ピクセルでの赤外線画像及び変更済み可視光画像の混合比は、図８Ｂ内の点線で示したように、可視光画像内の対応ピクセルと関連した輪郭係数値の関数でもよい。

一般的には、図５Ａを参照して上述したように、可視光画像の所定のピクセル用の輪郭係数値は、そのピクセルでの輪郭の「強度」に対応してもよい。上述の如くいくつかの実施例により、輪郭係数値を用いて、変更済み可視光画像を発生し、次に、これを赤外線画像と混合する。その結果、可視光画像内の輪郭の「強度」は、最終的に混合済み画像内に示される。これは、結果としての混合済み画像内の画像化した場面におけるアイテムの追加の明瞭さ及びコンテキストを提供する。

図９Ａは、本発明により混合済み画像の生成に用いる例示の画像の場面を示す流れ図である。図示の如く、可視光画像９００を処理して（９０２）、可視光ピクセルに関連する輪郭係数値を決定する。図示の実施例において、可視光画像９００をグレースケールで示す。いくつかの実施例において、グレースケール・ピクセルのスカラーのグレースケール値を、本明細書のどこかで説明した疑似ルミナンス値として用いてもよい。すなわち、いくつかのかかる例において、疑似ルミナンス値を決定することは、可視光画像内で暗黙の内に行われてもよい。

次に、輪郭係数値を輪郭ミッドスケール値９０４と組合せて、変更済み可視光画像９０６を生成する。図示の如く、変更済み可視光画像８０６は、輪郭ミッドスケール値９０４と類似して現れるが、可視光画像９００内で見ることができる輪郭に対応する種々の場所にて、暗いか又は明るい。いくつかの実施例によれば、輪郭ミッドスケール値９０４からずれた大きなものは、大きな輪郭係数値（即ち、「強度」の強い輪郭）に対応する。よって、可視光画像処理（例えば、輪郭係数値を決定し、輪郭ミッドスケール値と組合せる）によって、可視光画像内の輪郭は、変更済み可視光画像９０６内のほぼ輪郭ミッドスケール値９０４である背景から際立つ。上述の如く、いくつかの実施例において、輪郭係数値は、ユーザが調整可能な輪郭利得パラメータを含んでおり、可視光画像処理によって際だった輪郭の程度をユーザが調整できる。

その結果の変更済み可視光画像９０６は、その後、対応赤外線画像９０８と混合されて、混合済み画像９１０を発生する。図示の実施例において、赤外線画像９０８は、ほとんど均一な熱場面を表す。すなわち、場面にわたって、わずかな温度変化がある。その結果、赤外線画像９０８は、全体の画像にわたってほとんど一定である。しかし、赤外線画像９０８及び変更済み可視光画像９０６の混合のため、変更済み可視光画像９０６内で強調された輪郭が混合済み画像９１０内で見ることができる。さらに、混合済み画像９１０は、同様に赤外線画像９０８からの情報を含んでいる。すなわち、変更済み画像９１０において、強調された輪郭の外側でのわずかな変動のために、熱場面が比較的均一であることが明らかであろう。さらに、図示の例では、グレースケール・パレットによって表された赤外線画像を示すが、任意の調色技法を使用してもよいことが明らかであろう。同様に、可視光画像をグレースケールで示したが、他の既知の可視光視覚化技法を用いてもよい。

一般的に、赤外線画像データと変更済み可視光画像データとの組合せは、同様な輪郭係数値を有する場所（例えば、可視光輪郭がわずか又はない場所）にて、混合済み画像内のピクセル間で、少なくとも相対的な温度情報を維持する傾向がある。変更済み可視光画像データは、一般的に、輪郭係数値が変更した輪郭ミッドスケール値であるので、可視光画像内の輪郭に対応するピクセルのみが、変更済可視光画像９０６内の輪郭ミッドスケール値から大幅に外れている。したがって、混合済み画像９１０を生成するとき、可視光画像９００からの追加の細部（例えば、場面の照明又は明るさの輝度など）は、赤外線画像データを見えなくすることがない。代わりに、いくつかの実施例において、可視光画像内の強い輪郭に対応しない（よって、低いマグニチュードを有する関連の輪郭係数値を有する）ピクセルは、変更済み可視光画像９０６内の輪郭ミッドスケール値９０３によって一般的に表される。したがって、混合処理によって、変更済可視光画像９０６内のかかるピクセルは、対応赤外線ピクセルに同様な効果を与え、オリジナルの赤外線パレットに対する赤外線ピクセル間の相対関係は、ほぼ維持される。

上述の如く、いくつかの実施例において、各ピクセルにて変更済み可視光画像９０６と赤外線画像９０８とを組み合わせるための混合比は、対応可視光ピクセルに関連した輪郭係数値の関数である。よって、いくつかのかかる実施例において、可視光画像９００内の強い輪郭に対応しない混合済み画像９１０におけるピクセルは、大部分又は全体的に、赤外線画像データを含んでいるので、可視光画像９００内で、無い又は弱い輪郭に対応するピクセルでの赤外線画像情報を全体的に又はほぼ全体的に保持する。これとは対照的に、可視光画像９００内の輪郭に対応するピクセル（大きなマグニチュード輪郭係数値を有する）は、かかる輪郭係数値を組み込んだ変更済み可視光画像データを含んでいる。よって、大きなマグニチュードの輪郭係数値を有するピクセルに対応する可視光画像内の輪郭は、変更済み可視光画像９０６に寄与する輪郭係数値のために、最終的には混合済み画像９１０に組み込まれる。

図９Ｂは、本発明により混合済み画像を生成するのに用いた一連の例示画像を示す他の流れ図である。一般的に、図９Ａを参照して上述した如き処理が続く。ここで、可視光画像９００は、処理されて（９０２）、輪郭ミッドスケール値９０４と組み合わされて、変更済み可視光画像９０６を生成する。変更済み可視光画像９０６は、人間と共に背景細部（ホワイトボード及び書き込み）の外形を示す輪郭を含んでいる。変更済み可視光画像９０６は、赤外線画像９０８と組合せされて、混合済み画像９１０を生成する。図９Ａに示される熱場面は、比較的均一である一方、図９Ｂに示される熱場面は、熱の変化を含んでいる。すなわち、図９Ｂの赤外線画像９０８は、温度の幅広い変化を有するコンテンツ（比較的均一な背景と、背景内に高温度の人間を有する）を含んでいる。図示の如く、図９Ｂの混合済み画像９１０は、赤外線画像９０８からの熱情報（背景から際だった人間）と共に、可視光画像で見ることができる細部（ホワイトボード及び書き込みの詳細）の両方を含んでいる。よって、その結果の混合済み画像９１０は、赤外線画像データからの熱情報と共に、可視光画像データからの輪郭及び細部の情報を効果的に組合せる。

上述の如く、可視光画像処理は、調整可能な（例えば、ユーザが調整可能な）輪郭利得パラメータを含んでもよい。よって、その結果の変更済みは、可視光輪郭に対応するピクセルにおける調整可能な量のオフセット又は他の強調を含んでいる。図１０は、本発明により調整済み輪郭利得パラメータを含む一連の変更済み可視光画像を示す。上述のように、可視光画像１０００を処理して、輪郭利得パラメータに依存してもよい各ピクセル用の輪郭係数値を発生してもよい。変更済み可視光画像１００６ａ、１００６ｂ、１００６ｃ及び１００６ｄは、異なる輪郭利得パラメータを有する可視光画像処理の結果である例示的な画像である。例えば、比較的小さな輪郭利得パラメータを用いて画像１００６ａを生成する。これは、可視光輪郭に対応するピクセルの間に存在する低いが見ることのできるコントラストを有するが、これらは可視光輪郭に対応しない。これとは対照的に、画像１００６ｂは、画像１００６ａよりも大きな輪郭利得パラメータを用いて発生された変更済み可視光画像ある。その結果の画像１００６ｂは、可視光輪郭に対応するピクセルにて、増加した目に見えるコントラストを含む。同様に、画像１００６ｃは、画像１００６ｂと比較した際に、依然大きな輪郭利得パラメータによって発生された変更済み可視光画像である。したがって、画像１００６ａ及び１００６ｂと比較すると、可視光輪郭に対応するピクセルは、画像１００６ｃ内にて更に強調される。画像１００６ｄは、画像１００６ｃよりも更に大きな輪郭利得パラメータを用いて発生された変更済み可視光画像である。よって、これは、可視光輪郭に対応し、更にもっとオフセットされ及び／又は強調されたピクセル有する。

種々の実施例において、例えば、ユーザ・インタフェースを介して、可視光輪郭に対応するピクセルの強調の程度に影響を与えるために、ユーザが輪郭利得パラメータを調整してもよい。いくつかの実施例において、ユーザは、実時間で輪郭利得パラメータを調整し、表示器上で調整の効果を観察してもよい。いくつかの実施例において、輪郭利得パラメータは、所定の値又はパラメータのリストから選択可能であってもよい。他の実施例において、輪郭利得パラメータは、最小値及び最大値の間で連続的に調整してもよい。

図１１は、本発明により混合済み画像を生成するための例示の処理を説明する処理流れ図である。１つ以上のカメラを用いて、対応する赤外線画像及び可視光画像を取り込む（ステップ１１３０）。これら画像は、同じカメラ又は異なるカメラで捕捉してもよく、その後、これらカメラの一方又は両方にて処理し及び／又は分析するか、又は、外部の処理装置に伝送する。この方法は、取込んだ赤外線画像及び可視光画像を登録することを含む（ステップ１１３２）。上述した如く、赤外線画像又は可視光画像の一方又は両方をスケール調整して（アップサンプリング、ダウンサンプリングなど）、これら画像間の１対１のピクセル・マッピングを達成する。追加的に又は代わり、いくつかの例において、これら画像の一方の内の複数のピクセルは、他方の画像内の単一のピクセル又は異なるサイズの複数のピクセルに対応してもよい。次に、輪郭係数値は、可視光画像内の各ピクセルに対して決定される（ステップ１１３４）。変更済み可視光画像を生成するために、複数のピクセルから決定された輪郭係数値は、輪郭ミッドスケール値に加算又は組合せする（ステップ１１３６）。最終的には、最終混合済み画像を発生するために、この方法は、変更済み可視光画像を赤外線画像と混合する（ステップ１１３８）。いくつかの例において、混合をピクセル毎に実行してもよく、各ピクセルの混合比は、そのピクセルに関連した輪郭係数値に基づく。上述の如く、いくつかの例において、ピクセル処理を全体の画像スケールで行うが、輪郭係数値を輪郭ミッドスケール値の全体の「フレーム」と組合せする。別の実施例において、処理カーネル内のピクセルのサブセットで、いくつかの処理ステップを実行してもよい。したがって、いくつかの実施例において、一連の処理ステップを実行した後に、カーネルを移動（調整）するステップ１１５０を実行してもよい。点線で示すように、例示の処理において、処理カーネル内のピクセルに対して、変更済み可視光画像を対応赤外線ピクセルと混合してもよい（ステップ１１３８）。次に、処理カーネルを調整して（ステップ１１５０）、新たな１組のピクセルにて、処理ステップ（例えば、ステップ１１３４〜１１３８）を実行する。混合済み画像を発生（ステップ１１３８）した後、この方法は、例えば、表示器１０８上で、混合済み画像を表示すること（ステップ１１４０）を含むことができる。

種々の例において、混合済み画像の表示が種々の形式で行われる。例えば、いくつかの例において、表示された画像の全体は、赤外線画像データ及び変更済み可視光画像データの組合せを有する混合画像を含んでいる。他の例において、混合済み画像は、例えば、ピクチャ・イン・ピクチャ表示における大きな可視光画像内に表してもよい。一般的に、混合済み画像は、表示器上に赤外線画像データを表すのに適切な任意の方法で表してもよい。かかる方法は、例えば、２０１０年７月１日に出願され発明の名称が「サーモグラフィ方法」である米国特許出願第１２／８２８４４２号（米国特許第９２３２１４２号）明細書、２００６年７月１９日に出願され発明の名称が「可視光及び赤外線の組合せ画像カメラ」である米国特許第７９９４４８０号明細書、２０１３年３月１５日に出願され発明の名称が「熱画像アニメーション」である米国特許出願第１３／８３３８５３号（米国特許第９２５１６１５号）明細書に記載されている。これらの各々は、本願の出願人に譲渡されており、本願の参考文献に含まれる。

ここで説明した方法は、種々の方法で実行できる。いくつかの例において、画像処理及び混合の技術は、例えば、熱画像カメラ内のプロセッサ（例えば、２２２）によって実行してもよい。いくつかのかかる例において、可視光画像及び赤外線画像の一方又は両方は、同じカメラ又は異なるカメラで捕捉してもよい。いくつかの実施例において、同じ又は異なるカメラで捕捉した赤外線画像及び可視光画像は、コンピュータ、タブレット、スマートフォンなどの如き外部処理装置に転送してもよい。これら外部処理装置は、任意の数の処理ステップ（例えば、登録、変更済み可視光画像の発生、混合など）を実行できる。いくつかの例において、本明細書で説明したように、単一装置によって、対応する赤外線画像及び可視光画像が捕捉され処理されて、混合済み画像を発生する。いくつかの実施例において、例えば、画像のライブ・ストリームを用いて、かかる画像の捕捉及び処理をほぼ実時間で実行して、一連の混合済み画像から成るビデオ信号を発生してもよい。一般的に、本明細書で用いたように、特に断らない限り、用語「画像」は、メモリに蓄積され読出された画像の如き単一の画像フレーム、ビデオ・フィード（配信画像）からの静止フレーム、一連の捕捉された静止画像から成るライブ又は事前に録画したビデオ・フィード、表示のある部分が他と異なる時点でダイナミックに更新されるライブ・ビデオ・フィード、又は、他の既知の画像データ表現技法を意味する。

いくつかの実施例において、赤外線画像データ及び可視光画像データの一方又は両方は、プロセッサが受けたデータのストリームを有する。いくつかのかかる実施例において、プロセッサは、画像データのストリームを受け、そこからビデオ・ファイルを発生できる。例えば、いくつかの実施例において、プロセッサは、赤外線画像データ及び可視光画像データのストリームを受け、そこからビデオ・ファイルを発生できる。種々の実施例において、発生したビデオ・ファイルは、赤外線画像データ、可視光画像データ、又は混合済みの赤外線及び可視光の画像データの組合せを有する。いくつかの実施例において、本明細書で説明した処理技術は、プロセッサが受けた画像データ・ストリームに対して実行してもよい。

本明細書で用いたように、「赤外線（ＩＲ）」は、ＬＷＩＲ（長波長赤外線：約８ミクロン及び１４ミクロンの間）、ＭＷＩＲ（中波長赤外線：約３ミクロン及び５ミクロンの間）、ＳＷＩＲ（短波長赤外線：約１ミクロン及び約２ミクロンの間）、又はこれらの範囲の任意の組合せ、若しくはこれらの間の波長の如き赤外線スペクトラムの任意の部分の波長を意味する。「可視光（ＶＬ）」画像は、典型的には、可視スペクトラム（例えば、約４００ナノメートル及び約７００ナノメートルの間）における波長を意味する。しかし、可視光画像を用いるために本明細書で説明した如き処理は、ＮＩＲ（近赤外線：例えば、約７００ｎｍ及び１０００ｎｍの間）、又はＵＶ（紫外線：例えば、約２００ｎｍ及び４００ｎｍの間）の如き別の波長を用いて実行してもよい。一般的に、本明細書で説明した赤外線画像及び可視光画像の組合せの処理は、２つ以上の任意の組の画像に対して実行してもよい。

本明細書で説明した方法の種々の概念をユーザが調整してもよい。例えば、かかる方法を実行できる熱画像カメラは、ユーザから１つ以上の入力を受けるためのユーザ・インタフェース（例えば、１０８、１１２、１１４、１１６）を含んでもよい。いくつかの実施例において、ユーザは、例えば、赤外線調色技法、輪郭係数値を決定するために用いる輪郭利得、輪郭ミッドスケール値、画像混合の形式（例えば、一定のアクロス画像、）、輪郭係数値（ＥＦＶ）依存、これらの組合せなど）、画像混合の量（例えば、混合比）の少なくとも１つを調整してもよい。他の実施例において、かかるパラメータの１つ以上を固定してもよい。

いくつかの実施例において、種々の輪郭検出技術は、可視光画像処理に含まれてもよい。これら処理は、例えば、２０１４年３月２１日に出願され名称が「赤外線画像を強調するための輪郭マークを有する可視光画像」である米国特許出願第１４／２２２１５３号（米国特許出願公開第２０１５／０２６９７４２号）明細書に記載されている。この米国特許出願は、本願の出願人に譲渡されており、本願の参考文献に含まれる。いくつかのかかる実施例において、可視光画像内の輪郭に対応すると決定されたピクセルを種々の方法で使用してもよい。例えば、いくつかの例において、混合済み画像を形成する際に各ピクセルに用いる混合比は、対応可視光画像ピクセルが輪郭ピクセルとして判断されたか否かに依存してもよい。追加的に又は代わりに、そのピクセルが輪郭ピクセルとして決定されたか否かに基づいて、１つ以上の可視光ピクセルに対して、輪郭係数値を決定してもよい。

例示の熱画像カメラ及び関連した技術を説明した。本願で説明した技術は、インストラクション（命令）が蓄積され、非一時的なコンピュータ読み取り可能な蓄積媒体の如きコンピュータ読み取り可能な媒体に具現化又はエンコード（符号化）されてもよい。コンピュータ読み取り可能な蓄積媒体に具現化又はエンコードされたインストラクションによって、プログラマブル・プロセッサ又は他のプロセッサは、例えば、これらインストラクションが実施されるときに、この方法を実行できる。コンピュータ読み取り可能な蓄積媒体は、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリ・メモリ（ＲＯＭ）、ハードディスク、光媒体、又は他のコンピュータ読み取り可能な媒体を含んでもよい。

例えば、かかるコンピュータ読み取り可能な媒体を備える外部コンピュータは、本明細書で説明の如く、熱画像カメラ又はメモリから対応する可視光画像及び赤外線画像を受け、輪郭検出を実行し、及び／又は可視光画像及び赤外線画像を処理して、表示画像を発生する。いくつかの実施例において、この技術の種々の部分を多数のコンポーネントに統合できる。例えば、熱画像カメラは、可視光画像内の輪郭を検出し、検出した輪郭情報を外部コンピュータ装置に送って、検出された輪郭を含んだ表示画像を発生できる。追加的に又は代わりに、外部コンピュータ装置は、輪郭検出及び／又は強調技術を支援又は実行してもよい。

更なる例において、本発明の実施例は、表示システム内に統合できる。この表示システムは、可視光画像データ及び赤外線画像データを受け、本明細書で説明した如き処理を実行するように構成できる。例示の表示システムは、かかる処理を実行するために、１つ以上のプロセッサ、表示器、ユーザ・インタフェースを含むことができる。表示システムは、画像データを受けて処理できる任意の適切な装置又はシステムに組み込むことができる。いくつかの実施例において、対応する可視光画像及び赤外線画像を捕捉し、画像システムの他のコンポーネントに可視光画像データ及び赤外線画像データを提供するために、表示システムは、本明細書で説明した如きポータブルでハンドヘルドの熱画像カメラを含むことができる。更なる実施例において、画像システムは、かかるカメラに完全に一体化されるか、又は、上述した種々の処理の任意のものを実行できるカメラで本質的に構成できる。

種々の実施例について上述で説明した。かかる例は、それ自体に限定されるものではなく、また、いかなる方法においても本発明の範囲を定め又は制限するものでもない。よって、これら及び他の例は、本願の特許請求の範囲の範囲内である。

以下、本発明の概念をまとめると次のようになる。
（１）可視光画像データ及び赤外線画像データを組合せるシステムであって；上記可視光画像データ及び上記赤外線画像データの１組以上を蓄積するメモリと；ユーザ・インタフェースと；プロセッサとを備え； 上記可視光画像データ及び上記赤外線画像データの各組は、複数の可視光画像ピクセル及び赤外線画像ピクセルを夫々有し；上記プロセッサは；（ａ）第１組の上記可視光画像データを処理して、上記可視光画像データと、上記ユーザ・インタフェースを介して調整可能な輪郭利得入力とに基づいて上記第１組の可視光画像データ内の各ピクセルに対する輪郭係数値を決定し；（ｂ）上記第１組の可視光画像データ内の各ピクセルに関連する上記輪郭係数値を輪郭ミッドスケール値と組合せて、第１組の変更済み可視光画像データを生成し；（ｃ）上記第１組の変更済み可視光画像データを、上記第１組の可視光画像データに対応する第１組の赤外線画像データと組合せて、第１組の組合せ済み画像データを発生するように構成されたシステム。
（２）上記メモリに蓄積された初期値の輪郭利得入力値を更に備え；上記ユーザ・インタフェースを介しての調整がない場合に、上記初期値の輪郭利得入力値を用いて、上記各ピクセルに対する上記輪郭係数値を決定する概念１のシステム。
（３）上記輪郭係数値、上記輪郭ミッドスケール値、及び上記変更済み可視光画像データ及び上記赤外線画像データの上記組合せの内の少なくとも１つに対して影響を与える入力を上記プロセッサにユーザが供給できる概念１のシステム。
（４）上記赤外線画像データ及び上記可視光画像データは、赤外線画像及び可視光画像のストリームを夫々備え；上記プロセッサは、上記赤外線画像及び可視光画像のストリームからビデオ・ファイルを発生するように構成された概念１のシステム。
（５）上記可視光画像データ、上記変更済み可視光画像データ及び上記赤外線画像データの少なくとも１つの少なくとも一部を表示するように構成された表示器を更に備える概念１のシステム。
（６）上記プロセッサは、上記取込んだ赤外線画像データ及び可視光画像データから組み合わせ済み画像を発生し、ほぼ実時間ビデオにて上記表示器に上記発生した組み合わせ済み画像を表示できる概念５のシステム。
（７）場面からの赤外線放射を受けて、上記場面を表す赤外線画像データを発生する赤外線カメラ・モジュールと；上記場面からの可視光放射を受けて、上記場面を表す可視光画像データを発生する可視光カメラ・モジュールとを更に備え；上記プロセッサは、上記赤外線カメラ・モジュールから赤外線画像データを受けると共に、上記可視光カメラ・モジュールから可視光画像データを受けるように更に構成された概念１のシステム。
（８）上記可視光画像データ、上記変更済み可視光画像データ、及び上記赤外線画像データの少なくとも１つの少なくとも一部を表示するように構成された表示器と；上記メモリ、上記プロセッサ、上記ユーザ・インタフェース、上記赤外線カメラ・モジュール、上記可視光カメラ・モジュール及び上記表示器を包含する又は支持するハウジングとを更に備える概念７のシステム。
（９）上記赤外線カメラ・モジュール及び上記可視光カメラ・モジュールを含む画像取り込みモジュールと；上記プロセッサを有し、上記画像取り込みモジュールと無線通信する処理モジュールとを更に備えた概念７のシステム。
（１０）上記処理モジュールは、上記ユーザ・インタフェース及び上記表示器を更に備える概念９のシステム。
（１１）上記処理モジュールは、スマートフォン、タブレット又はスタンドアロン・コンピュータを含む概念９のシステム。
（１２）上記ユーザ・インタフェースによって、上記表示器上に画像データを表すための表示モードをユーザが選択でき、上記表示モードは、上記可視光画像データ、上記赤外線画像データ及び上記組合せ済み画像データから上記表示モードを選択可能な概念１のシステム。
（１３）上記ユーザ・インタフェースによって、上記赤外線画像及び上記変更済み可視光画像の少なくとも一方に対して調色技法をユーザが選択できる概念１のシステム。
（１４）上記ユーザ・インタフェースによって、上記輪郭ミッドスケール値をユーザが選択できる概念１のシステム。
（１５）上記第１組の変更済み可視光画像を上記第１組の赤外線画像データと組み合わせることは、上記変更済み可視光画像データを上記赤外線画像データと混合することから成り、所定ピクセルにおける上記変更済み可視光画像データ及び上記赤外線画像データの各々からの寄与の程度は、上記可視光画像データにおける上記関連したピクセルの上記輪郭係数値に基づく概念１のシステム。
（１６）上記輪郭ミッドスケール値がグレーを表す概念１のシステム。
（１７）上記輪郭ミッドスケール値がスカラー値である概念１６のシステム。
（１８）上記輪郭係数値を上記輪郭ミッドスケール値と組み合わせることは、上記輪郭係数値を上記輪郭ミッドスケール値のルミナンス・コンポーネントに加算することである概念１７のシステム。
（１９）上記輪郭係数値を上記輪郭ミッドスケール値と組み合わせることは、上記輪郭係数値を、上記輪郭ミッドスケール値の赤、緑及び青のコンポーネントの各々に加算することである概念１のシステム。
（２０）上記第１組の可視光画像データを処理することは、上記可視光画像データ内の複数のピクセルの各々に対するエンボス値を決定するために、上記第１組の可視光画像データにエンボス処理を実行することから成り、上記複数のピクセルの各々に対して上記輪郭係数値を決定することは、上記輪郭利得入力によって上記決定済みエンボス値をスケール調整することから成る概念１のシステム。
（２１）上記エンボス処理は；第２の複数のピクセルの各々に対する疑似ルミナンス値を決定し；処理カーネルによって上記第２の複数のピクセルの上記疑似ルミナンス値を処理して、上記カーネルに関連する少なくとも１つのピクセルに対する上記エンボス値を決定することから成る概念１９のシステム。
（２２）上記第２の複数のピクセルの上記疑似ルミナンス値を処理することは、上記第２の複数のピクセル内の近傍のピクセルの疑似ルミナンス値の間の差を決定することから成る概念２０のシステム。
（２３）各ピクセルに対する上記輪郭係数値は、近傍のピクセルの相対輝度の間の比較から決定し、輪郭利得値によりスケール調整する概念１のシステム。
（２４）強調された輪郭を有する赤外線画像を発生するように構成された熱画像カメラであって；ターゲット場面から赤外線放射を受け、上記ターゲット場面を表す赤外線画像データを発生する赤外線カメラ・モジュールと；上記ターゲット場面から可視光放射を受け、上記ターゲット場面を表す可視光画像データを発生する可視光カメラ・モジュールと；表示器と；上記赤外線カメラ・モジュール、上記可視光カメラ・モジュール、上記表示器、及びユーザ・インタフェースと通信をするプロセッサとを備え；上記プロセッサは；（ａ）上記赤外線画像データを上記赤外線カメラ・モジュールから受け、上記赤外線画像データがターゲット場面を表す複数の赤外線ピクセルから成り；（ｂ）上記可視光画像データを上記可視光カメラ・モジュールから受け、上記可視光画像データが上記ターゲット場面を表す複数の可視光ピクセルから成ると共に、上記赤外線画像データ内の上記複数の赤外線ピクセルに対応し；（ｃ）上記複数の赤外線ピクセルに対応する複数のピクセルから成る変更済み可視光画像を発生し、上記変更済み可視光画像内の複数のピクセルの各々が各対応可視光ピクセルに関連した輪郭係数値と組み合わされた輪郭ミッドスケール値から成り、上記輪郭係数値が上記可視光画像からの輪郭を強調し；（ｄ）上記変更済み可視光画像及び上記赤外線画像を組合せて、上記可視光画像からの強調済み輪郭を含む混合済み画像を発生し；（ｅ）上記混合済み画像を上記表示器に表すように構成された熱画像カメラ。
（２５）ユーザ・インタフェースを更に備え、上記輪郭ミッドスケール値、上記変更済み可視光画像及び上記赤外線画像の組合せの１つ以上の特性、及び輪郭利得値の少なくとも１つは、上記ユーザ・インタフェースを介して調整可能である概念２４の熱画像カメラ。
（２６）１つ以上のプログラマブル・プロセッサにより赤外線画像を強化する方法を実行する命令を記憶した非一時的なコンピュータ読み取り可能な記録媒体であって；上記方法は；ターゲット場面を表す複数の可視光ピクセルに関連した可視光画像データを受けるステップと；上記ターゲット場面の少なくとも一部を表す複数の赤外線ピクセルに関連した赤外線画像データを受け、上記赤外線ピクセルの少なくとも一部が１つ以上の可視光ピクセルに対応するステップと；ダイナミックに調整可能な輪郭利得入力パラメータを受けるステップと；上記可視光データを処理し、上記処理済み可視光データを上記受けた輪郭利得入力パラメータと組合せて、上記可視光画像内の複数のピクセルの各々に対する輪郭係数値を発生するステップと；複数の上記輪郭係数値を用いて、変更済み可視光画像を生成するステップと；上記変更済み可視光画像を上記赤外線画像データと組合せて出力画像を発生するステップとから成るコンピュータ読み取り可能な記録媒体。
（２７）上記変更済み可視光画像を生成することは、ピクセル毎に各輪郭係数値を輪郭ミッドスケール値と組合せて、変更済み可視光画像ピクセルを生成することから成る概念２６のコンピュータ読み取り可能な記録媒体。
（２８）上記方法は、ユーザ・インタフェースから選択済み輪郭ミッドスケール値を受けるステップを更に備えた概念２７のコンピュータ読み取り可能な記録媒体。
（２９）上記輪郭ミッドスケール値がグレーを表す概念２７のコンピュータ読み取り可能な記録媒体。
（３０）ピクセル毎に上記輪郭係数値を輪郭ミッドスケール値と組み合わせることは、上記輪郭ミッドスケール値の上記ルミナンス・コンポーネントに上記輪郭係数値を加算することから成る概念２９のコンピュータ読み取り可能な記録媒体。
（３１）ピクセル毎に上記輪郭係数値を輪郭ミッドスケール値と組み合わせることは、上記輪郭ミッドスケール値の赤、緑及び青のコンポーネントの各々に上記輪郭係数値を加算することから成る概念２６のコンピュータ読み取り可能な記録媒体。
（３２）上記可視光画像データの処理は、複数のピクセルの各々に対するエンボス値を決定するために、上記可視光画像データにエンボス処理を行うことから成り、上記複数のピクセルの各々に対する上記輪郭係数値を決定することは、上記輪郭利得入力パラメータによる上記エンボス値のスケール調整から成る概念２６のコンピュータ読み取り可能な記録媒体。
（３３）上記エンボス処理は；第２の複数のピクセルの各々に対する疑似ルミナンス値を決定するステップと；処理カーネルを介して、上記第２の複数のピクセルの上記疑似ルミナンス値を処理して、上記カーネルに関連する少なくとも１つのピクセルに対する上記エンボス値を決定するステップとから成る概念３２のコンピュータ読み取り可能な記録媒体。
（３４）上記第２の複数のピクセルの上記疑似ルミナンス値を決定することは、上記第２の複数のピクセルにおける近傍のピクセルの疑似ルーチンの間の差を決定することから成る概念３３のコンピュータ読み取り可能な記録媒体。
（３５）上記可視光画像データを受けることは、可視光カメラ・モジュールから可視光画像データを取り込むことから成り、上記赤外線画像データを受けることは、赤外線カメラ・モジュールから赤外線画像データを取り込むことから成る概念２６のコンピュータ読み取り可能な記録媒体。
（３６）上記変更済み可視光画像を上記赤外線画像データと組み合わせることは、ピクセル毎に実行され、各ピクセルにおける上記可視光画像及び上記赤外線画像の寄与の程度は、１つ以上の対応可視光画像ピクセルの上記輪郭係数値に依存する概念２６のコンピュータ読み取り可能な記録媒体。

１００：熱画像カメラ
１０２：ハウジング
１０４：赤外線レンズ・アセンブリ
１０６：可視光レンズ・アセンブリ
１０８：表示器
１１０：レーザ
１１２：トリガ制御器
１１４：焦点リング
１１８：キャリング・ハンドル
２００：赤外線カメラ・モジュール
２０２：フロント・エンド回路
２０４：フロント・エンド・ステージ
２０６：可視光カメラ・モジュール
２０８：ユーザ・インタフェース
２１０：出力／制御装置
２２０：赤外線センサ
２２２：プロセッサ
２２４：バイアス発生器
２２６：前置増幅器／積分器
２２８：センサ
２３０：アナログ・デジタル変換器
２４０：シャッタ
２４２：可視光センサ
２８０：画像取り込みモジュール
２９０：処理モジュール
９００：可視光画像
９０４：輪郭ミッドスケール値
９０６：変更済み可視光画像
９０８：対応赤外線画像
９１０：混合済み画像
１０００：可視光画像
１００６ａ〜１００６ｄ：変更済み可視光画像

Claims (22)

1. 可視光画像データ及び赤外線画像データを組合せるシステムであって、
   上記可視光画像データ及び上記赤外線画像データの１組以上を蓄積するメモリと、
   ユーザ・インタフェースと、
   プロセッサとを備え、
   上記可視光画像データ及び上記赤外線画像データの各組は、複数の可視光画像ピクセル及び赤外線画像ピクセルを夫々有し、
   上記プロセッサは、
   （ａ）第１組の上記可視光画像データを処理して、上記可視光画像データと、上記ユーザ・インタフェースを介して調整可能な輪郭利得入力とに基づいて上記第１組の可視光画像データ内の各ピクセルに対する輪郭係数値を決定し、
   （ｂ）上記第１組の可視光画像データ内の各ピクセルに関連する上記輪郭係数値を輪郭ミッドスケール値と組合せて、第１組の変更済み可視光画像データを生成し、
   （ｃ）上記第１組の変更済み可視光画像データを、上記第１組の可視光画像データに対応する第１組の赤外線画像データと組合せて、第１組の組合せ済み画像データを発生する
   ように構成されたシステム。
2. 上記メモリに蓄積された初期値の輪郭利得入力値を更に備え、
   上記ユーザ・インタフェースを介しての調整がない場合に、上記初期値の輪郭利得入力値を用いて、上記各ピクセルに対する上記輪郭係数値を決定する請求項１のシステム。
3. 上記輪郭係数値、上記輪郭ミッドスケール値、及び上記変更済み可視光画像データ及び上記赤外線画像データの上記組合せの内の少なくとも１つに対して影響を与える入力を上記プロセッサにユーザが供給できる請求項１のシステム。
4. 上記赤外線画像データ及び上記可視光画像データは、赤外線画像及び可視光画像のストリームを夫々備え、
   上記プロセッサは、上記赤外線画像及び可視光画像のストリームからビデオ・ファイルを発生するように構成された請求項１のシステム。
5. 上記可視光画像データ、上記変更済み可視光画像データ及び上記赤外線画像データの少なくとも１つの少なくとも一部を表示するように構成された表示器を更に備える請求項１のシステム。
6. 場面からの赤外線放射を受けて、上記場面を表す赤外線画像データを発生する赤外線カメラ・モジュールと、
   上記場面からの可視光放射を受けて、上記場面を表す可視光画像データを発生する可視光カメラ・モジュールとを更に備え、
   上記プロセッサは、上記赤外線カメラ・モジュールから赤外線画像データを受けると共に、上記可視光カメラ・モジュールから可視光画像データを受けるように更に構成された請求項１のシステム。
7. 上記ユーザ・インタフェースによって、上記表示器上に画像データを表すための表示モードをユーザが選択でき、上記表示モードは、上記可視光画像データ、上記赤外線画像データ及び上記組合せ済み画像データから上記表示モードを選択可能な請求項１のシステム。
8. 上記ユーザ・インタフェースによって、上記赤外線画像及び上記変更済み可視光画像の少なくとも一方に対して調色技法をユーザが選択できる請求項１のシステム。
9. 上記ユーザ・インタフェースによって、上記輪郭ミッドスケール値をユーザが選択できる請求項１のシステム。
10. 上記第１組の変更済み可視光画像を上記第１組の赤外線画像データと組み合わせることは、上記変更済み可視光画像データを上記赤外線画像データと混合することから成り、所定ピクセルにおける上記変更済み可視光画像データ及び上記赤外線画像データの各々からの寄与の程度は、上記可視光画像データにおける上記関連したピクセルの上記輪郭係数値に基づく請求項１のシステム。
11. 上記輪郭ミッドスケール値がグレーを表す請求項１のシステム。
12. 上記輪郭係数値を上記輪郭ミッドスケール値と組み合わせることは、上記輪郭係数値を、上記輪郭ミッドスケール値の赤、緑及び青のコンポーネントの各々に加算することである請求項１のシステム。
13. 上記第１組の可視光画像データを処理することは、上記可視光画像データ内の複数のピクセルの各々に対するエンボス値を決定するために、上記第１組の可視光画像データにエンボス処理を実行することから成り、上記複数のピクセルの各々に対して上記輪郭係数値を決定することは、上記輪郭利得入力によって上記決定済みエンボス値をスケール調整することから成る請求項１のシステム。
14. 各ピクセルに対する上記輪郭係数値は、近傍のピクセルの相対輝度の間の比較から決定し、輪郭利得値によりスケール調整する請求項１のシステム。
15. 強調された輪郭を有する赤外線画像を発生するように構成された熱画像カメラであって、
    ターゲット場面から赤外線放射を受け、上記ターゲット場面を表す赤外線画像データを発生する赤外線カメラ・モジュールと、
    上記ターゲット場面から可視光放射を受け、上記ターゲット場面を表す可視光画像データを発生する可視光カメラ・モジュールと、
    表示器と、
    上記赤外線カメラ・モジュール、上記可視光カメラ・モジュール、上記表示器、及びユーザ・インタフェースと通信をするプロセッサとを備え、
    上記プロセッサは、
    （ａ）上記赤外線画像データを上記赤外線カメラ・モジュールから受け、上記赤外線画像データがターゲット場面を表す複数の赤外線ピクセルから成り、
    （ｂ）上記可視光画像データを上記可視光カメラ・モジュールから受け、上記可視光画像データが上記ターゲット場面を表す複数の可視光ピクセルから成ると共に、上記赤外線画像データ内の上記複数の赤外線ピクセルに対応し、
    （ｃ）上記複数の赤外線ピクセルに対応する複数のピクセルから成る変更済み可視光画像を発生し、上記変更済み可視光画像内の複数のピクセルの各々が各対応可視光ピクセルに関連した輪郭係数値と組み合わされた輪郭ミッドスケール値から成り、上記輪郭係数値が上記可視光画像からの輪郭を強調し、
    （ｄ）上記変更済み可視光画像及び上記赤外線画像を組合せて、上記可視光画像からの強調済み輪郭を含む混合済み画像を発生し、
    （ｅ）上記混合済み画像を上記表示器に表す
    ように構成された熱画像カメラ。
16. ユーザ・インタフェースを更に備え、上記輪郭ミッドスケール値、上記変更済み可視光画像及び上記赤外線画像の組合せの１つ以上の特性、及び輪郭利得値の少なくとも１つは、上記ユーザ・インタフェースを介して調整可能である請求項１５の熱画像カメラ。
17. １つ以上のプログラマブル・プロセッサにより赤外線画像を強化する方法を実行する命令を記憶した非一時的なコンピュータ読み取り可能な記録媒体であって、
    上記方法は、
    ターゲット場面を表す複数の可視光ピクセルに関連した可視光画像データを受けるステップと、
    上記ターゲット場面の少なくとも一部を表す複数の赤外線ピクセルに関連した赤外線画像データを受け、上記赤外線ピクセルの少なくとも一部が１つ以上の可視光ピクセルに対応するステップと、
    ダイナミックに調整可能な輪郭利得入力パラメータを受けるステップと、
    上記可視光データを処理し、上記処理済み可視光データを上記受けた輪郭利得入力パラメータと組合せて、上記可視光画像内の複数のピクセルの各々に対する輪郭係数値を発生するステップと、
    複数の上記輪郭係数値を用いて、変更済み可視光画像を生成するステップと、
    上記変更済み可視光画像を上記赤外線画像データと組合せて出力画像を発生するステップと
    から成るコンピュータ読み取り可能な記録媒体。
18. 上記変更済み可視光画像を生成することは、ピクセル毎に各輪郭係数値を輪郭ミッドスケール値と組合せて、変更済み可視光画像ピクセルを生成することから成る請求項１７のコンピュータ読み取り可能な記録媒体。
19. ピクセル毎に上記輪郭係数値を輪郭ミッドスケール値と組み合わせることは、上記輪郭ミッドスケール値の赤、緑及び青のコンポーネントの各々に上記輪郭係数値を加算することから成る請求項１７のコンピュータ読み取り可能な記録媒体。
20. 上記可視光画像データの処理は、複数のピクセルの各々に対するエンボス値を決定するために、上記可視光画像データにエンボス処理を行うことから成り、上記複数のピクセルの各々に対する上記輪郭係数値を決定することは、上記輪郭利得入力パラメータによる上記エンボス値のスケール調整から成る請求項１７のコンピュータ読み取り可能な記録媒体。
21. 上記可視光画像データを受けることは、可視光カメラ・モジュールから可視光画像データを取り込むことから成り、上記赤外線画像データを受けることは、赤外線カメラ・モジュールから赤外線画像データを取り込むことから成る請求項１７のコンピュータ読み取り可能な記録媒体。
22. 上記変更済み可視光画像を上記赤外線画像データと組み合わせることは、ピクセル毎に実行され、各ピクセルにおける上記可視光画像及び上記赤外線画像の寄与の程度は、１つ以上の対応可視光画像ピクセルの上記輪郭係数値に依存する請求項１７のコンピュータ読み取り可能な記録媒体。