WO2018163725A1

WO2018163725A1 - 画像処理装置、および画像処理方法、並びにプログラム

Info

Publication number: WO2018163725A1
Application number: PCT/JP2018/004983
Authority: WO
Inventors: 友希鴇崎; 神尾　和憲; 敏之佐々木
Original assignee: ソニー株式会社
Priority date: 2017-03-08
Filing date: 2018-02-14
Publication date: 2018-09-13
Also published as: JPWO2018163725A1; US10880498B2; JP7014218B2; US20200053297A1

Abstract

遠赤外線画像の高画質化処理を実行する装置、方法を提供する。遠赤外線画像と、遠赤外線画像と同一被写体を撮影した複数の参照画像を入力し、複数の参照画像の合成信号である第１合成信号を生成する第１合成部と、遠赤外線画像と、第１合成信号との合成処理により、遠赤外線画像の高画質化画像を生成する第２合成部を有する。参照画像は、例えば可視光画像と近赤外線画像であり、第１合成部は、可視光画像－遠赤外線画像相関量と、近赤外線画像－遠赤外線画像相関量に基づいて、第１合成信号を生成し、可視光画像と近赤外線画像の２つの画像中、遠赤外線画像との相関量の高い画像の寄与率を高く設定して第１合成信号を生成する。

Description

画像処理装置、および画像処理方法、並びにプログラム

　本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、例えば遠赤外線画像等の低画質画像の高画質化処理を行なう画像処理装置、および画像処理方法、並びにプログラムに関する。

　昨今、可視光の画像撮影を行う可視光カメラとともに、可視光による画像撮影が困難な夜間等においても人物等を撮影可能な遠赤外線カメラを組み合わせたシステムが多く利用されている。
　このような２つのカメラを用いた撮像装置について、例えば特許文献１（特開２０１１－２１１３８７号公報）や、特許文献２（特開２００８－１８３９３３号公報）に開示されている。

　しかし、一般的に遠赤外線カメラは、可視光での撮影を行う可視光カメラに比較して解像度が低下してしまうという問題がある。

特開２０１１－２１１３８７号公報特開２００８－１８３９３３号公報

　本開示は、例えば、上記の問題点に鑑みてなされたものであり、本開示の一実施例においては、例えば遠赤外線カメラの撮影画像である遠赤外線画像の高画質化を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

　本開示の第１の側面は、
　遠赤外線画像と、前記遠赤外線画像と同一被写体を撮影した複数の参照画像を入力し、
　前記複数の参照画像の合成信号である第１合成信号を生成する第１合成部と、
　前記遠赤外線画像と、前記第１合成信号との合成処理により、前記遠赤外線画像の高画質化画像を生成する第２合成部を有する画像処理装置にある。

　さらに、本開示の第２の側面は、
　画像処理装置において実行する画像処理方法であり、
　遠赤外線画像と、前記遠赤外線画像と同一被写体を撮影した複数の参照画像を入力するステップと、
　第１合成部が、前記複数の参照画像の合成信号である第１合成信号を生成する第１合成信号生成ステップと、
　第２合成部が、前記遠赤外線画像と、前記第１合成信号との合成処理により、前記遠赤外線画像の高画質化画像を生成するステップを実行する画像処理方法にある。

　さらに、本開示の第３の側面は、
　画像処理装置において画像処理を実行させるプログラムであり、
　遠赤外線画像と、前記遠赤外線画像と同一被写体を撮影した複数の参照画像を入力するステップと、
　第１合成部において、前記複数の参照画像の合成信号である第１合成信号を生成する第１合成信号生成ステップと、
　第２合成部において、前記遠赤外線画像と、前記第１合成信号との合成処理により、前記遠赤外線画像の高画質化画像を生成するステップを、
　実行させるプログラムにある。

　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本開示の一実施例の構成によれば、遠赤外線画像の高画質化処理を実行する装置、方法が実現される。
　具体的には、例えば、遠赤外線画像と、遠赤外線画像と同一被写体を撮影した複数の参照画像を入力し、複数の参照画像の合成信号である第１合成信号を生成する第１合成部と、遠赤外線画像と、第１合成信号との合成処理により、遠赤外線画像の高画質化画像を生成する第２合成部を有する。参照画像は、例えば可視光画像と近赤外線画像であり、第１合成部は、可視光画像－遠赤外線画像相関量と、近赤外線画像－遠赤外線画像相関量に基づいて、第１合成信号を生成し、可視光画像と近赤外線画像の２つの画像中、遠赤外線画像との相関量の高い画像の寄与率を高く設定して第１合成信号を生成する。
　これらの処理により、遠赤外線画像の高画質化処理を実行する装置、方法が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

撮影画像の種類と光の波長との対応関係について説明する図である。可視光画像と赤外線画像の画素配列の例について説明する図である。本開示の画像処理装置の実行する処理について説明する図である。画像処理装置の構成例について説明する図である。画像処理部の構成と処理について説明する図である。ローパスフィルタ（ＬＰＦ）の実行する処理について説明する図である。相関量算出部の実行する処理について説明する図である。相関量算出部の実行する処理について説明する図である。第１合成比率算出部の実行する処理について説明する図である。第１合成比率算出部の実行する処理について説明する図である。第１合成部の実行する処理について説明する図である。第２合成部の構成例と実行する処理について説明する図である。第２合成部において適用する補正パラメータ等を取得するための学習処理について説明する図である。画像処理装置の実行する画像処理シーケンスについて説明するフローチャートを示す図である。様々な画像の画像特性について説明する図である。画像処理部の構成と処理について説明する図である。第２合成比率算出部の実行する処理について説明する図である。第２合成比率算出部の実行する処理について説明する図である。第１合成部の実行する処理について説明する図である。第２合成部の実行する処理について説明する図である。画像処理装置の実行する画像処理シーケンスについて説明するフローチャートを示す図である。様々な画像の画像特性について説明する図である。画像処理装置のハードウェア構成例について説明する図である。車両制御システムの概略的な構成の一例を示すブロック図である。車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

　以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
　１．本開示の画像処理装置の構成と処理について
　２．遠赤外線画像の高画質化処理を実行する画像処理装置について
　３．画像処理装置の実行する処理シーケンスについて
　４．遠赤外線画像と、可視光画像、および近赤外線画像の画像特性と、遠赤外線画像の高画質化画像の利用可能性について
　５．（実施例２）短赤外線画像を用いた実施例について
　６．第２実施例の画像処理装置の実行する処理シーケンスについて
　７．遠赤外線画像と、可視光画像、および短赤外線画像の画像特性と、遠赤外線画像の高画質化画像の利用可能性について
　８．画像処理装置のハードウェア構成例について
　９．本開示の画像処理装置を適用した応用例について
　１０．本開示の構成のまとめ

　　［１．本開示の画像処理装置の構成と処理について］
　図１以下を参照して本開示の画像処理装置の構成と処理について説明する。
　まず、図１以下を参照して本開示の画像処理装置が処理対象とする画像について説明する。

　本開示の画像処理装置は、例えば、低解像度の遠赤外線画像（ＦＩＲ：Ｆａｒ　ＩｎｅｒａＲｅｄ）に併せて、同一被写体を撮影した高解像度の画像を参照画像として入力し、参照画像を適用した画像処理により、高画質の遠赤外線画像（ＦＩＲ：Ｆａｒ　ＩｎｅｒａＲｅｄ）、例えば解像度を高めた遠赤外線画像（ＦＩＲ：Ｆａｒ　ＩｎｅｒａＲｅｄ）を生成する装置である。

　具体的には、例えば、
　（ａ）可視光画像（ＶＩＳ：Ｖｉｓｉｂｌｅ）、
　（ｂ）近赤外線画像（ＮＩＲ：Ｎｅａｒ　ＩｎｅｒａＲｅｄ）、
　（ｃ）遠赤外線画像（ＦＩＲ：Ｆａｒ　ＩｎｅｒａＲｅｄ）、
　これらの画像を入力して、これらの画像を適用した画像処理を行い、高画質の遠赤外線画像（ＦＩＲ）を生成する。

　あるいは、
　（ａ）可視光画像（ＶＩＳ：Ｖｉｓｉｂｌｅ）、
　（ｂ）短赤外線画像（ＳＷＩＲ：Ｓｈｏｒｔ　Ｗａｖｅ　ＩｎｅｒａＲｅｄ）、
　（ｃ）遠赤外線画像（ＦＩＲ：Ｆａｒ　ＩｎｅｒａＲｅｄ）、
　これらの画像を入力して、これらの画像を適用した画像処理を行い、高画質の遠赤外線画像（ＦＩＲ）を生成する。

　図１に示すように、可視光画像（ＶＩＳ）１０は、波長が約０．４μｍ～０．７μｍの範囲の画像であり、例えば、一般的なカメラで撮影されるＲＧＢ画像等のカラー画像である。

　一方、赤外線画像は、波長が．０．７μｍ以上の長波長光からなる画像である。赤外線画像を撮影する赤外線画像撮影カメラは、例えば暗闇等において熱を発生する人物等を撮影することが可能であり、監視カメラ等に利用される。
　なお、赤外線は、図１に示すように、
　波長が約０．７～１μｍの近赤外線（ＮＩＲ）、
　波長が約１～２．５μｍの短赤外線（ＳＷＩＲ）、
　波長が約３～５μｍの中赤外線、
　波長が約８～１４μｍの遠赤外線（ＦＩＲ）、
　このように区分される。

　近赤外線カメラによって撮影される画像は、波長が約０．７～１μｍの近赤外線画像（ＮＩＲ）２０となる。
　短赤外線カメラによって撮影される画像は、波長が約１～２．５μｍの近赤外線画像（ＮＩＲ）３０となる。
　また、遠赤外線カメラによって撮影される画像は、波長が約８～１４μｍの遠赤外線画像（ＦＩＲ）４０となる。

　以下に説明する実施例では、主に波長が約８～１４μｍの遠赤外線を撮影する遠赤外線画像４０の高画質化処理を行う画像処理例について説明する。
　ただし、本開示の処理は、遠赤外線画像に限らず、その他の赤外線画像や蛍光画像等の様々な低画質画像や、低解像度画像に対する高画質化処理にも適用可能である。

　図２は、可視光画像１０、および遠赤外線画像４０を撮影する撮像素子上の画素配列の例を示す図である。
　図２（１）の可視光画像は、ＲＧＢ各画素からなるベイヤ配列の例を示している。このベイヤ配列は、多くの可視光撮影カメラの撮像素子に利用されている。
　撮像素子の各画素は、ＲまたはＧまたはＢ各波長光の光量に応じた電気信号を出力する。

　一方、図２（２）の遠赤外線画像は、全ての画素位置において遠赤外線（ＦＩＲ：Ｆａｒ　ＩｎｅｒａＲｅｄ）の波長光を撮影する。
　ただし、図２（１），（２）に示すように、一般的に遠赤外線等の赤外線画像撮像素子は、可視光画像撮像素子に比較して、解像度が低くなる。これは赤外線、特に遠赤外線は波長光が長く、高密度の画素配列を持つ撮像素子が利用しにくい等の理由である。

　本開示の画像処理装置の実行する１つの処理例について図３を参照して説明する。本開示の画像処理装置は、例えば、低解像度の遠赤外線画像に対する画像処理を実行して、高解像度の遠赤外線画像を生成する。

　図３に示すように、本開示の画像処理装置の画像処理部５０は、（Ａ）撮像部の撮影画像として、
　（ａ）可視光画像（ＶＩＳ）、
　（ｂ）近赤外線画像（ＮＩＲ）、
　（ｃ）遠赤外線画像（ＦＩＲ）、
　これらの３種類の画像を入力する。
　あるいは、
　（ａ）可視光画像（ＶＩＳ）、
　（ｂ）短赤外線画像（ＳＷＩＲ）、
　（ｃ）遠赤外線画像（ＦＩＲ）、
　これらの３種類の画像を入力する。

　画像処理部５０は、これらの３つの入力画像を利用して、低解像度の遠赤外線画像の高画質化処理を実行し、（Ｂ）に示すような高画質化画像、すなわち、高解像度の遠赤外線画像を生成して出力する。
　すなわち、高画質化処理対象となる補正対象画像は、遠赤外線画像である。
　この画像補正処理のための参照画像として、可視光画像と近赤外線画像、または可視光画像と短赤外線画像が利用される。

　以下、このような画像処理を実行する画像処理装置の具体的な構成と処理について説明する。
　　［２．遠赤外線画像の高画質化処理を実行する画像処理装置について］
　図４は、本開示の画像処理装置１００の一例である撮像装置の構成を示すブロック図である。
　なお、本開示の画像処理装置には、撮像装置に限らず、例えば撮像装置の撮影画像を入力して画像処理を実行するＰＣ等の情報処理装置も含まれる。
　以下では、本開示の画像処理装置１００の一例として、撮像装置の構成と処理について説明する。

　図４に示す撮像装置としての画像処理装置１００は、制御部１０１、記憶部１０２、コーデック１０３、入力部１０４、出力部１０５、撮像部１０６、画像処理部１２０を有する。
　撮像部１０６は、遠赤外線画像を撮影する遠赤外線画像撮像部１１１と、近赤外線画像を撮影する近赤外線画像撮像部１１２と、通常の可視光画像の撮影を行う可視光画像撮像部１１３を有する。

　遠赤外線画像撮像部１１１は、例えば先に図２（２）を参照して説明した遠赤外線を入射する画素からなる撮像素子による撮影を行い、各画素から、遠赤外線の入射光量に応じた電気信号を出力する。

　近赤外線画像撮像部１１２は、近赤外線を入射する画素からなる撮像素子による撮影を行い、各画素から、近赤外線の入射光量に応じた電気信号を出力する。

　一方、可視光画像撮像部１１３は、例えば、先に図２（１）を参照して説明したベイヤ配列からなるＲＧＢ画素を有し、各画素単位でＲＧＢ各色の入力光対応の信号を出力する撮像素子である。

　遠赤外線画像撮像部１１１と、近赤外線画像撮像部１１２と、可視光画像撮像部１１３は、所定間隔、離れた位置に設定される２つの撮像部であり、それぞれの撮影画像は異なる視点からの画像となる。
　異なる視点からの２つの画像の対応画素、すなわち同一位置の画素には同一の被写体画像が撮影されず、視差に応じた被写体ずれが発生する。

　遠赤外線画像撮像部１１１と、近赤外線画像撮像部１１２と、可視光画像撮像部１１３は、撮影画像が静止画である場合は、各々が１枚ずつ、計３枚の静止画を撮影する。動画を撮影する場合は、各撮像部の撮影フレームは、各撮像部が連続した画像フレームを撮影する。
　なお、これらの撮影タイミングの制御は制御部１０１によって行われる。

　制御部１０１は、画像の撮影、撮影画像に対する信号処理、画像の記録処理、表示処理等、撮像装置１００において実行する各種の処理を制御する。制御部１０１は、例えば記憶部１０２に格納された様々な処理プログラムに従った処理を実行するＣＰＵ等を備え、プログラムを実行するデータ処理部として機能する。

　記憶部１０２は、撮影画像の格納部、さらに、制御部１０１において実行する処理プログラムや、各種パラメータの記憶部、さらにデータ処理時のワークエリアとして機能するＲＡＭ、ＲＯＭ等によって構成される。
　コーデック１０３は、撮影画像の圧縮、伸長処理等の符号化、復号処理を実行する。
　入力部１０４は、例えばユーザ操作部であり、撮影開始、終了、様々なモード設定等の制御情報を入力する。
　出力部１０５は表示部、スピーカ等によって構成され、撮影画像、スルー画等の表示、音声出力等に利用される。

　画像処理部１２０は、撮像部１０６から入力する３枚の画像を入力し、これら３枚の画像を適用して、入力画像の高画質化処理を実行する。
　具体的には、例えば、高画質化した高画質化遠赤外線画像（ＦＩＲ）１８０を生成する。

　図５以下を参照して画像処理部１２０の構成と処理について説明する。
　本実施例において、画像処理部１２０は、
　遠赤外線画像撮像部１１１において撮影された遠赤外線画像（ＦＩＲ）１５１と、
　近赤外線画像撮像部１１２において撮影された近赤外線画像（ＮＩＲ）１５２と、
　可視光画像撮像部１１３において撮影された可視光画像（ＶＩＳ）１５３、
　これら３種類の画像を入力し、これら３種類の画像を利用して、高画質化処理を施した高画質化遠赤外線画像（ＦＩＲ）１８０を生成して出力する。

　前述したように、高画質化処理対象となる補正対象画像は、遠赤外線画像である。
　この画像補正処理のための参照画像として、可視光画像と近赤外線画像が利用される。

　画像処理部１２０の実行する処理について説明する。
　画像処理部１２０は、まず、
　遠赤外線画像撮像部１１１において撮影された遠赤外線画像（ＦＩＲ）１５１と、
　近赤外線画像撮像部１１２において撮影された近赤外線画像（ＮＩＲ）１５２と、
　可視光画像撮像部１１３において撮影された可視光画像（ＶＩＳ）１５３、
　これら３種類の画像を画像位置合わせ部２０１に入力する。

　画像位置合わせ部２０１は、これら３種類の画像について、同一位置に同一の被写体が位置するように画像の位置合わせ処理を実行する。
　なお、この画像位置合わせは、既存の処理、例えば、各画像の視差量や、動きベクトル等を用いた処理によって実行される。
　なお、上記３種類の画像の画像サイズが異なっている場合は、事前にサイズ調整を行って同一サイズに合わせるスケーリング処理を実行して、その後、画像の位置合わせ処理を実行することが好ましい。

　画像位置合わせ部２０１において位置合わせのなされた画像中、参照画像である近赤外線画像１５２と、可視光画像１５３は、ローパスフィルタ（ＬＰＦ）２０２ａ，２０２ｂに入力される。
　このローパスフィルタ（ＬＰＦ）２０２ａ，２０２ｂにおいて、参照画像である近赤外線画像１５２と、可視光画像１５３の解像度レベルを、補正対象画像である遠赤外線画像１５１の解像度レベルまで低下させる解像度調整処理を実行する。

　この解像度調整処理は、次の相関量算出部２０３ａ，２０３ｂにおける相関量算出を正確に実行するための処理である。
　先に図２、図３を参照して説明したように、遠赤外線画像の解像度は、可視光画像や近赤外線画像に比較して低い。
　後段で詳細に説明するが、相関量算出部２０３ａ，２０３ｂにおいては、補正対象画像である遠赤外線画像と、参照画像（可視光画像および近赤外線画像）との相関量を算出する。

　この相関量算出処理においては、比較対象とする画像の解像度が異なると、正確な相関量の算出が困難となる。比較対象とする画像の解像度を一致させたほうが正確に相関量を算出することができる。
　ローパスフィルタ（ＬＰＦ）２０２ａ，２０２ｂの適用処理は、このために行われる。
　すなわち、参照画像である近赤外線画像１５２と、可視光画像１５３の解像度を遠赤外線画像１５１の解像度レベルに近づけるための処理である。

　ローパスフィルタ（ＬＰＦ）２０２ａ，２０２ｂにおいて実行する近赤外線画像１５２と、可視光画像１５３の解像度レベル低下処理の具体例について、図６を参照して説明する。

　図６には、ローパスフィルタ（ＬＰＦ）２０２ａ，２０２ｂの処理を示している。
　ローパスフィルタ（ＬＰＦ）２０２ａは、近赤外線画像１５２を入力して、ＬＰＦを適用した処理を実行して、解像度を低下させた画像、すなわち、解像度低下近赤外線画像１５２ｂを生成して出力する。
　さらに、ローパスフィルタ（ＬＰＦ）２０２Ｂは、可視光画像１５３を入力して、ＬＰＦを適用した処理を実行して、解像度を低下させた画像、すなわち、解像度低下可視光画像１５３ｂを生成して出力する。

　なお、ローパスフィルタ（ＬＰＦ）としては、各画像の解像度を、目的とする解像度、すなわち補正対象画像である遠赤外線画像１５１の解像度まで低下させるために最適なＬＰＦを適用する。
　具体例としては、例えば図６に示すような係数を持つ５×５のガウシアンフィルタの適用が可能である。

　このように、ローパスフィルタ（ＬＰＦ）２０２ａ，２０２ｂにおいて、参照画像である近赤外線画像１５２と、可視光画像１５３の解像度レベルが、補正対象画像である遠赤外線画像１５１の解像度レベルまで低下させる解像度調整処理が実行される。

　図５に示すように、ローパスフィルタ（ＬＰＦ）２０２ａ，２０２ｂの処理結果は、相関量算出部２０３ａ，２０３ｂに入力される。
　図５に示すように、相関量算出部２０３ａには、解像度低下処理がなされた近赤外線画像１５２と、補正対象画像である遠赤外線画像１５１が入力される。
　また、相関量算出部２０３ｂには、解像度低下処理がなされた可視光画像１５３と、補正対象画像である遠赤外線画像１５１が入力される。
　相関量算出部２０３ａ，２０３ｂの実行する処理について、図７、図８を参照して説明する。

　図７は、相関量算出部２０３ａの処理を説明する図である。
　図７に示すように、相関量算出部２０３ａには、補正対象画像である遠赤外線画像１５１と、この遠赤外線画像１５１の解像度と、ほぼ同一の解像度まで解像度低下処理がなされた参照画像である解像度低下近赤外線画像１５２ｂが入力される。

　相関量算出部２０３ａは、これらの２つの入力画像の相関量を算出する。
　なお、画像の相関量算出処理としては、様々な既存技術が利用可能である。
　図７には、相関量として、以下の（式１）によって算出されるＺＮＣＣ（ゼロ平均正規化相互相関）を適用した例を示している。

　なお、上記（式１）において、
　ＦＩＲは、遠赤外線画像の画素値（輝度値）、
　ＮＩＲは、近赤外線画像の画素値（輝度値）、
　上部にバーを設定したＦＩＲは、相関算出対象の局所領域（例えば７×７画素）の遠赤外線画像の画素値（輝度値）平均値、
　上部にバーを設定したＮＩＲは、相関算出対象の局所領域（例えば７×７画素）の近赤外線画像の画素値（輝度値）平均値、
　である。

　例えば、２つの入力画像（遠赤外線画像、近赤外線画像）に対して、所定の局所領域単位（例えば７×７画素）ごとに相関量として、上記（式１）に従って算出されるＺＮＣＣを求める。
　この結果が、図７に相関量算出部２０３ａの出力として示す、
　遠赤外線画像－近赤外線画像相関量（ＮＩＲｃｏｒｒ）１６１、
　である。

　図８は、相関量算出部２０３ｂの処理を説明する図である。
　図８に示すように、相関量算出部２０３ｂには、補正対象画像である遠赤外線画像１５１と、この遠赤外線画像１５１の解像度と、ほぼ同一の解像度まで解像度低下処理がなされた参照画像である解像度低下可視光画像１５３ｂが入力される。

　相関量算出部２０３ｂは、これらの２つの入力画像の相関量を算出する。
　図８には、相関量として、以下の（式２）によって算出されるＺＮＣＣ（ゼロ平均正規化相互相関）を適用した例を示している。

　なお、上記（式２）において、
　ＦＩＲは、遠赤外線画像の画素値（輝度値）、
　ＶＩＳは、可視光画像の画素値（輝度値）、
　上部にバーを設定したＦＩＲは、相関算出対象の局所領域（例えば７×７画素）の遠赤外線画像の画素値（輝度値）平均値、
　上部にバーを設定したＶＩＳは、相関算出対象の局所領域（例えば７×７画素）の可視光画像の画素値（輝度値）平均値、
　である。

　例えば、２つの入力画像（遠赤外線画像、可視光画像）に対して、所定の局所領域単位（例えば７×７画素）ごとに相関量として、上記（式２）に従って算出されるＺＮＣＣを求める。
　この結果が、図８に相関量算出部２０３ｂの出力として示す、
　遠赤外線画像－可視光画像相関量（ＶＩＳｃｏｒｒ）１６２、
　である。

　このように、
　相関量算出部２０３ａは、遠赤外線画像－近赤外線画像相関量（ＮＩＲｃｏｒｒ）１６１を算出して、この算出値を第１合成比率算出部２０４に出力する。
　また、相関量算出部２０３ｂは、遠赤外線画像－可視光画像相関量（ＶＩＳｃｏｒｒ）１６２を算出して、この算出値を第１合成比率算出部２０４に出力する。

　次に、第１合成比率算出部２０４の実行する処理について説明する。
　図５に示すように、第１合成比率算出部２０４は、相関量算出部２０３ａ，２０３ｂから、２つの相関量を入力して、第１合成比率α２１１を生成して、第１合成部２０５に出力する。

　第１合成部２０５は、参照画像である近赤外線画像１５２と可視光画像１５３の合成処理を実行して、この合成画像である第１合成信号（ガイド信号）２１２を第２合成部２０６に出力する。
　第１合成部２０５における近赤外線画像１５２と可視光画像１５３の合成処理に適用する各画像の合成比率αを算出する処理を実行するのが、第１合成比率算出部２０４である。

　なお、第１合成比率αは、第１合成部２０５における近赤外線画像と可視光画像の合成処理における近赤外線画像の合成比率であり、
　０≦α≦１
　の値を持つ。
　第１合成部２０５は、
　合成比率αの近赤外線画像（ＮＩＲ）と、合成比率（１－α）の可視光画像（ＶＩＳ）を適用した画像合成処理を行う。
　この処理の詳細については後段で説明する。

　第１合成比率算出部２０４の実行する処理の具体例について、図９、図１０を参照して説明する。
　図９には、第１合成比率算出部２０４に対する入力データと、第１合成比率算出部２０４からの出力データのを示している。
　図９に示すように、第１合成比率算出部２０４は、以下の各データを入力する。
　（ａ）相関量算出部２０３ａから、遠赤外線画像－近赤外線画像相関量（ＮＩＲｃｏｒｒ）１６１、
　（ｂ）相関量算出部２０３ｂから、遠赤外線画像－可視光画像相関量（ＶＩＳｃｏｒｒ）１６２、
　図９に示すように、第１合成比率算出部２０４は、これら、２つの相関量を入力して、第１合成比率α２１１を生成して、第１合成部２０５に出力する。

　第１合成比率算出部２０４は、例えば、図１０に示すグラフに従って、入力値、すなわち、
　（ａ）遠赤外線画像－近赤外線画像相関量（ＮＩＲｃｏｒｒ）１６１、
　（ｂ）遠赤外線画像－可視光画像相関量（ＶＩＳｃｏｒｒ）１６２、
　これらの入力値から、第１合成比率α２１１を算出する。

　図１０に示すグラフは、
　横軸に、（ＮＩＲｃｏｒｒ－ＶＩＳｃｏｒｒ）
　縦軸に、第１合成比率αを設定したグラフである。
　横軸の（ＮＩＲｃｏｒｒ－ＶＩＳｃｏｒｒ）は、
　（ａ）相関量算出部２０３ａから入力する、遠赤外線画像－近赤外線画像相関量（ＮＩＲｃｏｒｒ）１６１、
　（ｂ）相関量算出部２０３ｂから入力する、遠赤外線画像－可視光画像相関量（ＶＩＳｃｏｒｒ）１６２、
　これら２つの相関量の差分に相当する。

　遠赤外線画像－近赤外線画像相関量（ＮＩＲｃｏｒｒ）１６１が、遠赤外線画像－可視光画像相関量（ＶＩＳｃｏｒｒ）１６２より大きい場合は、横軸の右側、０以上となり、
　遠赤外線画像－近赤外線画像相関量（ＮＩＲｃｏｒｒ）１６１が、遠赤外線画像－可視光画像相関量（ＶＩＳｃｏｒｒ）１６２より小さい場合は、横軸の左側、０以下となる。

　横軸の右側、０以上となる場合は、遠赤外画像に対する相関量が、可視光画像より近赤外線画像が高い。すなわち、可視光画像より近赤外線画像が、遠赤外画像により近い特徴を持つ画像であることを意味する。
　一方、横軸の左側、０以下となる場合は、遠赤外画像に対する相関量が、近赤外線画像より可視光画像が高い。すなわち、近赤外線画像より可視光画像が、遠赤外画像に近い特徴を持つ画像であることを意味する。

　図１０に示すグラフから理解されるように、
　しきい値－Ｔｈ２以下では、第１合成比率α＝０、
　しきい値－Ｔｈ２～－Ｔｈ１では、第１合成比率α＝０～０．５、
　しきい値－Ｔｈ１～Ｔｈ１では、第１合成比率α＝０．５、
　しきい値Ｔｈ１～Ｔｈ２では、第１合成比率α＝０．５～１、
　しきい値Ｔｈ２以上では、第１合成比率α＝１、
　このような設定となっている。

　具体的には、
　しきい値Ｔｈ２以上では、第１合成比率α＝１、
　これは、第１合成部２０５における可視光画像と近赤外線画像との合成処理において、可視光画像を利用せず、近赤外線画像のみを利用した合成処理を行うことを意味する。
　すなわち、補正対象画像である遠赤外線画像との相関の高い近赤外線画像のみを利用した合成処理を行うことを意味する。

　また、Ｔｈ１～－Ｔｈ１では、第１合成比率α＝０．５、
　これは、第１合成部２０５における可視光画像と近赤外線画像との合成処理において、可視光画像と、近赤外線画像を１対１で利用した合成処理を行うことを意味する。
　すなわち、補正対象画像である遠赤外線画像との相関がほぼ等しい可視光画像と、近赤外線画像を等分に利用した合成処理を行うことを意味する。

　さらに、しきい値－Ｔｈ２以下では、第１合成比率α＝０、
　これは、第１合成部２０５における可視光画像と近赤外線画像との合成処理において、可視光画像まみを利用して、近赤外線画像は利用しない合成処理を行うことを意味する。
　すなわち、補正対象画像である遠赤外線画像との相関の高い近可視光画像のみを利用した合成処理を行うことを意味する。

　なお、図１０に示すグラフ対応データは、第１合成比率算出部２０４が予め保持しており、第１合成比率算出部２０４は、この対応データに基づいて入力値、すなわち、
　（ａ）遠赤外線画像－近赤外線画像相関量（ＮＩＲｃｏｒｒ）１６１、
　（ｂ）遠赤外線画像－可視光画像相関量（ＶＩＳｃｏｒｒ）１６２、
　これらの入力値から、第１合成比率α２１１を算出する。

　なお、この第１合成比率α２１１は、相関量算出部２０３ａ，ｂにおける相関量の算出領域単位、例えば前述したように７×７画素領域単位で算出する。

　なお、図１０に示すグラフは一例であり、この他の設定のデータを利用する構成としてもよい。ただし、基本的には、第１合成部２０５において、補正対象画像である遠赤外線画像との相関量が大きい参照画像を優先的に利用した合成処理が行われるような合成比率を算出するものとする。

　このように、第１合成比率算出部２０４は、相関量算出部２０３ａ，２０３ｂから、２つの相関量を入力して、第１合成比率α２１１を生成して、第１合成部２０５に出力する。

　図５に示すように、第１合成部２０５は、参照画像である近赤外線画像１５２と可視光画像１５３の合成処理を実行して、この合成画像である第１合成信号（ガイド信号）２１２を第２合成部２０６に出力する。

　第１合成部２０５の実行する処理の詳細について、図１１を参照して説明する。
　図１１に示すように、第１合成部２０５は、第１合成比率算出部２０４から、第１合成比率α２１１を入力する。
　さらに、近赤外線画像１５２と可視光画像１５３を入力する。
　第１合成部２０５は、第１合成比率α２１１に従って、近赤外線画像１５２と可視光画像１５３との合成処理を実行して合成画像である第１合成信号（ガイド信号）２１２を生成する。
　生成した第１合成信号（ガイド信号）２１２は、第２合成部２０６に出力される。

　第１合成部２０５の生成する第１合成信号（ガイド信号）２１２、例えば、図１１に示すように、以下の（式３）に従った信号（ｆｕｓｉｏｎ１＿ｏｕｔ）である。

　なお、上記（式３）によって算出する第１合成信号（ガイド信号（ｆｕｓｉｏｎ１＿ｏｕｔ））２１２も、第１合成比率α２１１と同様、相関量算出部２０３ａ，ｂにおける相関量の算出領域単位、例えば前述したように７×７画素領域単位で算出する。

　上記（式３）は、近赤外線画像１５２と可視光画像１５３のレベルずれを減少させて、かつ局所領域の波形変化の情報のみを抽出するためＤＣキャンセル、すなわち直流成分を排除する処理を行っている。具体的には、式３中のカッコ内の減算処理、（ＮＩＲ－ΣＮＩＲ）、（ＶＩＳ－ΣＶＩＳ）によってＤＣ成分のキャンセル処理を行っている。

　このように、第１合成部２０５は、第１合成比率α２１１に従って、近赤外線画像１５２と可視光画像１５３との合成処理を実行して合成画像である第１合成信号（ガイド信号（ｆｕｓｉｏｎ１＿ｏｕｔ））２１２を生成する。
　生成した第１合成信号（ガイド信号）２１２は、第２合成部２０６に出力される。

　図５に示すように、第２合成部２０６は、
　遠赤外線画像１５１と、
　第１合成信号（ガイド信号）２１２、
　これらを入力して、
　高画質化遠赤外線画像１８０を生成して出力する。

　第２合成部２０６の実行する処理の詳細について、図１２を参照して説明する。
　図１２に示すように、第２合成部２０６は、タップ選択部２３１、補正パラメータ（係数）算出部２３２、画像補正部２３３を有する。

　タップ選択部２３１は、低解像度の遠赤外線画像２３１を入力し、解像度レベルを向上させた画像補正を行うためのタップ選択を行う。具体的には補正対象となる画素の画素値の補正処理に適用する参照画素の画素範囲を設定する。
　また、補正パラメータ算出部２３２は、補正対象となる遠赤外線画像２３１の構成画素の画素値の補正処理に適用する補正パラメータを算出する。具体的には、参照画素ｉの画素値に乗算する乗算係数Ｋ_ｉを算出する。

　補正パラメータ算出部２３２は、第１合成部２０５の生成した参照画像、すなわち、近赤外線画像１５２と可視光画像１５３の合成処理によって生成された合成画像である第１合成信号（ガイド信号（ｆｕｓｉｏｎ１＿ｏｕｔ））２１２を入力して、この入力信号に基づいて、補正パラメータ（係数）を選択して、画像補正部２３３に入力する。

　先に説明したように、第１合成信号（ガイド信号（ｆｕｓｉｏｎ１＿ｏｕｔ））２１２は、画像の局所領域、例えば７×７画素の局所領域単位の信号であり、補正パラメータ算出部２３２は、画像の局所領域、例えば７×７画素の局所領域単位で補正パラメータ（係数）を選択して画像補正部２３３に出力する。

　タップ選択部２３１、および、補正パラメータ算出部２３２には、予め、様々な異なる第１合成信号（ガイド信号（ｆｕｓｉｏｎ１＿ｏｕｔ））に対応する最適なタップ、補正パラメータが対応付けられて格納されている。

　タップ選択部２３１、および補正パラメータ算出部２３２は、この格納データから、第１合成部２０５から入力する第１合成信号（ガイド信号（ｆｕｓｉｏｎ１＿ｏｕｔ））２１２に対応付けられたタップ、補正パラメータを選択取得して画像補正部２３３に出力する。

　タップ選択部２３１、および、補正パラメータ算出部２３２が利用する第１合成信号（ガイド信号（ｆｕｓｉｏｎ１＿ｏｕｔ））に対応付けられた最適タップや、最適補正パラメータのデータは、事前に実行される学習処理によって生成される。
　この学習処理について、図１３を参照して説明する。

　図１３は、遠赤外線画像の高画質化処理に適用するタップや補正係数を算出するための処理を実行する画像処理部１２０の構成を示す図である。
　この画像処理部１２０は、先に図５を参照して説明した画像処理部１２０とほぼ同様の構成を有する。
　図５に示す画像処理部１２０の第２合成部２０６を、図１３では、学習処理部２７１に置き換えている点と、図１３では、入力画像として、高解像度遠赤外線画像２５１が追加されている点が異なる。
　図１３に入力画像として示す低解像度遠赤外線画像１５１は、図５に示す補正対象画像である遠赤外線画像１５１と同様の低解像度画像である。

　図１３に示す画像処理部１２０の学習処理部２７１は、高解像度遠赤外線画像２５１と、低解像度遠赤外線画像１５１と、第１合成部２０５の出力である第１合成信号（ガイド信号（ｆｕｓｉｏｎ１＿ｏｕｔ））２１２を入力して学習処理を行う。
　この学習処理の結果として、様々な第１合成信号（ガイド信号（ｆｕｓｉｏｎ１＿ｏｕｔ））に対応した最適な補正パラメータ（係数）との対応データからなる最適補正パラメータ１９１と、様々な第１合成信号（ガイド信号（ｆｕｓｉｏｎ１＿ｏｕｔ））に対応した最適なタップとの対応データからなる最適タップ１９２を生成する。

　具体的には、学習処理部２７１は、高解像度遠赤外線画像２５１を教師画像として、低解像度遠赤外線画像１５１を生徒画像とした「教師あり学習処理」を実行して、第１合成部２０５の出力である第１合成信号（ガイド信号（ｆｕｓｉｏｎ１＿ｏｕｔ））の様々な信号値に対応する最適な補正パラメータ（係数）や、タップを算出する。
　なお、最適タップ、および最適補正パラメータとは、生徒画像である低解像度遠赤外線画像１５１の画素値を、教師画像である高解像度遠赤外線画像２５１の画素値に、より近づけるために最適なタップ、および補正パラメータである。

　学習処理部２７１は、様々なタイプの異なる生徒画像である低解像度遠赤外線画像１５１と、教師画像である高解像度遠赤外線画像２５１を入力して学習処理を行い、様々な異なる特徴を持つ画像領域対応の最適なタップと、補正パラメータを算出する。
　様々な異なる特徴を持つ画像領域対応の最適な補正パラメータとは、様々な異なる第１合成信号（ガイド信号（ｆｕｓｉｏｎ１＿ｏｕｔ））対応の最適なタップと、補正パラメータに相当する。

　図１３に示す画像処理部１２０を適用して学習処理を実行することで、様々な異なる第１合成信号（ガイド信号（ｆｕｓｉｏｎ１＿ｏｕｔ））対応の最適なタップと、補正パラメータを算出することができる。

　図１２に示す第２合成部２０６のタップ選択部２３１は、上述の学習処理の結果から、遠赤外線画像の高画質化処理に最適なタップを選択して画像補正部２３３に出力する。
　図１２に示す第２合成部２０６の補正パラメータ（係数）算出部２３２は、上述の学習処理によって予め算出された補正パラメータから、遠赤外線画像の高画質化処理に最適な補正パラメータを選択して画像補正部２３３に出力する。
　すなわち、第１合成部２０５が生成した画像領域単位の様々な第１合成信号（ガイド信号（ｆｕｓｉｏｎ１＿ｏｕｔ））に対応した領域単位の最適なタップ、および補正パラメータを画像補正部２３３に出力する。

　画像補正部２３３は、タップ選択部２３１において設定されたタップ（参照画素領域）を用い、さらに、補正パラメータ（係数）算出部２３２から入力する補正パラメータを適用して、遠赤外線画像１５１の構成画素の画素値補正を実行する。なお、画素値補正は、第１合成信号（ガイド信号（ｆｕｓｉｏｎ１＿ｏｕｔ））に対応した領域単位で選択された補正パラメータを適用して実行される。
　すなわち、画像特徴に応じた最適な補正パラメータを利用した補正処理が行われる。

　画像補正部２３３において実行する画素値補正は、例えば以下の（式４）に従って実行される。

　なお、上記（式４）において、各記号は以下の意味を持つ。
　ＦＩＲ：補正対象画素の補正画素値
　ＦＩＲ_ｉ：参照画素の画素値
　ｉ：参照画素の画素識別子
　Ｋ_ｉ：参照画素ｉ対応の乗算係数（補正パラメータ）
　である。
　Ｋ_ｉは、補正パラメータ（係数）算出部２３２から入力する補正パラメータが利用される。

　第２合成部２０６は、上記（式４）に従って、補正対象画像である遠赤外線画像１５１の構成画素の画素値補正を順次、実行し、高画質化遠赤外線画像１８０を生成して出力する。

　この第２合成部２０６における合成処理により、補正対象画像である遠赤外線画像１５１の画素値と、参照画像である近赤外線画像、および可視光画像の合成画像である第１合成信号（ガイド信号）２１２との領域単位の合成処理が実行される。

　第１合成信号（ガイド信号）２１２は、補正対象画像である遠赤外線画像１５１との相関量が大きい参照画像の合成率を高めて生成した合成画像である。また、補正処理に適用するタップ、補正パラメータは、学習処理によって生成された遠赤外線画像の高画質化に最適な値である。

　このように、第２合成部２０６は、補正対象画像である遠赤外線画像１５１の領域単位で、最適な第１合成信号（ガイド信号）と、最適なタップと、最適な補正パラメータに基づいて画素値補正を実行することで、高画質化遠赤外線画像１８０を生成して出力する。

　　［３．画像処理装置の実行する処理シーケンスについて］
　次に、図５に示す画像処理部の実行する処理のシーケンス、すなわち、遠赤外線画像の高画質化処理処理シーケンスについて、図１４に示すフローチャートを参照して説明する。

　図１４に示すフローに従った処理は、例えば画像処理装置の記憶部に格納されたプログラムに従ってプログラム実行機能を有する制御部の制御の下に実行される。
　以下、図１４に示すフローの各ステップの処理について、順次、説明する。

　　（ステップＳ１０１）
　まず、画像処理装置は、ステップＳ１０１において、補正対象画像である遠赤外線画像と、参照画像となる可視光画像、および近赤外線画像を入力して、各画像の位置合わせ処理を実行する。

　この処理は、図５に示す画像処理部１２０の画像位置合わせ部２０１の実行する処理である。
　画像位置合わせ部２０１は、入力した３種類の画像について、同一位置に同一の被写体が位置するように画像の位置合わせ処理を実行する。
　なお、この画像位置合わせは、既存の処理、例えば、各画像の視差量や、動きベクトル等を用いた処理によって実行される。

　　（ステップＳ１０２）
　次に、画像処理装置は、ステップＳ１０２において、参照画像である可視光画像と、近赤外線画像を、補正対象画像である遠赤外線画像の解像度にほぼ等しい解像度に変換する。すなわち、ＬＰＦを適用して解像度の低下処理を行う。

　この処理は、図５に示す画像処理部１２０のローパスフィルタ（ＬＰＦ）２０２ａ，２０２ｂにおいて実行される処理である。
　ローパスフィルタ（ＬＰＦ）２０２ａ，２０２ｂにおいて、参照画像である近赤外線画像と、可視光画像の解像度レベルを、補正対象画像である遠赤外線画像の解像度レベルまで低下させる解像度調整処理を実行する。

　　（ステップＳ１０３）
　次に、画像処理装置は、ステップＳ１０３において、参照画像である可視光画像と、近赤外線画像各々と、補正対象画像である遠赤外線画像との相関量を算出する。

　この処理は、図５に示す画像処理部１２０の相関量算出部２０３ａ，２０３ｂにおいて実行される処理である。
　図５に示す画像処理部１２０の相関量算出部２０３ａでは、先に図７を参照して説明したように、補正対象画像である遠赤外線画像１５１と、この遠赤外線画像１５１の解像度と、ほぼ同一の解像度まで解像度低下処理がなされた参照画像である解像度低下近赤外線画像１５２ｂとの相関量を算出する。
　例えば、所定の局所領域単位（例えば７×７画素）ごとの相関量として、ＺＮＣＣ（ゼロ平均正規化相互相関）を算出する。

　また、図５に示す画像処理部１２０の相関量算出部２０３ｂでは、先に図８を参照して説明したように、補正対象画像である遠赤外線画像１５１と、この遠赤外線画像１５１の解像度と、ほぼ同一の解像度まで解像度低下処理がなされた参照画像である解像度低下可視光画像１５３ｂとの相関量を算出する。
　例えば、所定の局所領域単位（例えば７×７画素）ごとの相関量として、ＺＮＣＣ（ゼロ平均正規化相互相関）を算出する。

　　（ステップＳ１０４）
　次に、画像処理装置は、ステップＳ１０４において、参照画像である可視光画像と、近赤外線画像各々と、補正対象画像である遠赤外線画像との相関量に応じて、参照画像である可視光画像と、近赤外線画像との合成比率を算出する。

　この処理は、図５に示す画像処理部１２０の第１合成比率算出部２０４が実行する処理である。
　図５に示すように、第１合成比率算出部２０４は、相関量算出部２０３ａ，２０３ｂから、２つの相関量を入力して、第１合成比率α２１１を生成して、第１合成部２０５に出力する。

　先に、図９、図１０を参照して説明したように、
　第１合成比率算出部２０４は、例えば、図１０に示すグラフに従って、入力値、すなわち、
　（ａ）遠赤外線画像－近赤外線画像相関量（ＮＩＲｃｏｒｒ）１６１、
　（ｂ）遠赤外線画像－可視光画像相関量（ＶＩＳｃｏｒｒ）１６２、
　これらの入力値から、第１合成比率α２１１を算出する。
　第１合成比率算出部２０４は、補正対象画像である遠赤外線画像との相関量が大きい参照画像を優先的に利用した合成処理が行われるような合成比率を算出する。

　　（ステップＳ１０５）
　次に、画像処理装置は、ステップＳ１０５において、ステップＳ１０４で算出した合成比率に従って、参照画像である可視光画像と、近赤外線画像との合成処理を実行して、合成信号（ガイド信号）を生成する。

　この処理は、図５に示す画像処理部１２０の第１合成部２０５の実行する処理である。
　図５に示すように、第１合成部２０５は、参照画像である近赤外線画像１５２と可視光画像１５３の合成処理を実行して、この合成画像である第１合成信号（ガイド信号）２１２を第２合成部２０６に出力する。

　先に図１１を参照して説明したように、第１合成部２０５は、第１合成比率α２１１に従って、近赤外線画像１５２と可視光画像１５３との合成処理を実行して合成画像である第１合成信号（ガイド信号）２１２を生成する。

　　（ステップＳ１０６）
　次に、画像処理装置は、ステップＳ１０６において、補正対象画像である遠赤外線画像と、合成信号（ガイド信号）を合成して、高画質化遠赤外線画像を生成する。

　この処理は、図５に示す画像処理部１２０の第２合成部２０６の実行する処理である。
　図５に示すように、第２合成部２０６は、
　遠赤外線画像１５１と、
　第１合成信号（ガイド信号）２１２、
　これらを入力して、
　高画質化遠赤外線画像１８０を生成して出力する。

　先に図１２、図１３を参照して説明したように、第２合成部２０６は、タップ選択部２３１、補正パラメータ（係数）算出部２３２、画像補正部２３３を有する。
　タップ選択部２３１は、低解像度の遠赤外線画像２３１を入力し、解像度レベルを向上させた画像補正を行うためのタップ選択を行う。補正パラメータ算出部２３２は、補正対象となる遠赤外線画像２３１の構成画素の画素値の補正処理に適用する補正パラメータを算出する。

　タップ選択部２３１、および、補正パラメータ算出部２３２が利用する第１合成信号（ガイド信号（ｆｕｓｉｏｎ１＿ｏｕｔ））に対応付けられた最適タップや、最適補正パラメータのデータは、事前に実行される学習処理によって生成される。
　この学習処理について、先に図１３を参照して説明した通りである。

　第２合成部２０６は、先に説明した（式４）に従って、補正対象画像である遠赤外線画像１５１の構成画素の画素値補正を順次、実行し、高画質化遠赤外線画像１８０を生成して出力する。
　すなわち、補正対象画像である遠赤外線画像１５１の画素値と、参照画像である近赤外線画像、および可視光画像の合成画像である第１合成信号（ガイド信号）２１２との領域単位の合成処理により、高画質化遠赤外線画像１８０が生成される。

　前述したように、第１合成信号（ガイド信号）２１２は、補正対象画像である遠赤外線画像１５１との相関量が大きい参照画像の合成率を高めて生成した画像である。また、補正処理に適用するタップ、補正パラメータは、学習処理によって生成された遠赤外線画像の高画質化に最適な値である。

　　［４．遠赤外線画像と、可視光画像、および近赤外線画像の画像特性と、遠赤外線画像の高画質化画像の利用可能性について］
　次に、遠赤外線画像と、可視光画像、および近赤外線画像の画像特性と、遠赤外線画像の高画質化画像の利用可能性について説明する。

　上述した実施例では、低解像度等の低画質画像である遠赤外線画像を、高画質画像である可視光画像や近赤外線画像を参照画像として利用することで高解像度、高画質の遠赤外線画像を生成する画像処理装置の構成と処理について説明した。

　上述した実施例において利用した画像、すなわち、遠赤外線画像と、可視光画像、近赤外線画像、各々の画像特性について、図１５を参照して説明する。

　図１５は、可視光画像、近赤外線画像、遠赤外線画像の画像特性を示す図である。
　以下の各項目について、可視光画像、近赤外線画像、遠赤外線画像の画像特性を示している。
　（１）温度情報の取得可否
　（２）暗い環境での被写体情報取得可否
　（３）明るい環境での被写体情報取得可否
　（４）遠景の被写体情報取得可否
　（５）近景の被写体情報取得可否
　（６）印刷物などの模様情報の取得可否
　（７）高解像度画像の取得可否

　可視光画像は、
　（１）、（２）これら２つの項目の処理が不可、あるいは困難である。
　その他（３）～（７）の各項目については○、すなわち可能であるという画像特性を持つ。
　近赤外線画像は、
　（１）、（４），（６）これら３つの項目の処理が不可、あるいは困難である。
　その他（２），（３），（５），（７）の各項目については○、すなわち可能であるという画像特性を持つ。
　また、遠赤外線画像は、
　（６）、（７）これら２つの項目の処理が不可、あるいは困難である。
　その他（１）～（５）の各項目については○、すなわち可能であるという画像特性を持つ。

　このように、遠赤外線画像は、高解像度画像の取得や、印刷物の模様等の取得はできないが、温度を持つ被写体、例えば、人の画像の検出等が得意であり、環境光の有無、近景、遠景にかかわらず、人や、あるいは高温の車等の検出が可能であり、例えば車載カメラとして利用することで、運転者に前方の人や車の情報を提示することが可能となる。
　さらに、上述した実施例に従った高解像度化処理を行うことで、より鮮明な人や車の画像情報を表示することが可能となる。

　　［５．（実施例２）短赤外線画像を用いた実施例について］
　次に、実施例２として、短赤外線画像を用いた実施例につい手説明する。
　先に図５他を参照して説明した実施例１においては、補正対象画像である遠赤外線画像に対して、参照画像として、可視光画像と、近赤外線画像を適用した処理例を説明した。
　次に、実施例２として、補正対象画像である遠赤外線画像に対して、参照画像として、可視光画像と、短赤外線画像を適用した処理例について説明する。

　先に図１参照して説明したように、短赤外線（ＳＷＩＲ：Ｓｈｏｒｔ　Ｗａｖｅ　ＩｎｅｒａＲｅｄ）画像は、波長が約１～２．５μｍの短赤外線（ＳＷＩＲ）を撮影した画像である。
　近赤外線（ＮＩＲ）より波長が長く、例えば、近赤外線画像より、遠景の画像を鮮明に取得できるという特性を持つ。

　本実施例２も、先の実施例１と同様、画像処理装置としては、例えば図４に示す構成を有する撮像装置が利用できる。なお、本実施例２も、撮像装置に限らず、例えば撮像装置の撮影画像を入力して画像処理を実行するＰＣ等の情報処理装置においても実行可能である。

　実施例２の画像処理装置は、図４における撮像部１０６の近赤外線画像撮像部１１２を短赤外線画像撮像部に置き換えた構成となり、さらに、画像処理部１２０の構成と処理が異なるものとなる。

　実施例２の画像処理部１２０の構成と処理について、図１６を参照して説明する。
　本実施例において、画像処理部１２０は、
　遠赤外線画像撮像部１１１において撮影された遠赤外線画像（ＦＩＲ）１５１と、
　短赤外線画像撮像部において撮影された短赤外線画像（ＳＷＩＲ）１５４と、
　可視光画像撮像部１１３において撮影された可視光画像（ＶＩＳ）１５３、
　これら３種類の画像を入力し、これら３種類の画像を利用して、高画質化処理を施した高画質化遠赤外線画像（ＦＩＲ）１８０を生成して出力する。

　前述したように、高画質化処理対象となる補正対象画像は、遠赤外線画像である。
　この画像補正処理のための参照画像として、可視光画像と短赤外線画像が利用される。

　画像処理部１２０の実行する処理について説明する。
　画像処理部１２０は、まず、
　遠赤外線画像撮像部１１１において撮影された遠赤外線画像（ＦＩＲ）１５１と、
　短赤外線画像撮像部において撮影された短赤外線画像（ＳＷＩＲ）１５４と、
　可視光画像撮像部１１３において撮影された可視光画像（ＶＩＳ）１５３、
　これら３種類の画像を画像位置合わせ部３０１に入力する。

　画像位置合わせ部３０１は、これら３種類の画像について、同一位置に同一の被写体が位置するように画像の位置合わせ処理を実行する。
　なお、この画像位置合わせは、既存の処理、例えば、各画像の視差量や、動きベクトル等を用いた処理によって実行される。
　なお、上記３種類の画像の画像サイズが異なっている場合は、事前にサイズ調整を行って同一サイズに合わせるスケーリング処理を実行して、その後、画像の位置合わせ処理を実行することが好ましい。

　画像位置合わせ部３０１において位置合わせのなされた画像中、参照画像である短赤外線画像１５４と、可視光画像１５３は、ローパスフィルタ（ＬＰＦ）３０２ａ，３０２ｂに入力される。
　このローパスフィルタ（ＬＰＦ）３０２ａ，３０２ｂにおいて、参照画像である短赤外線画像１５４と、可視光画像１５３の解像度レベルを、補正対象画像である遠赤外線画像１５１の解像度レベルまで低下させる解像度調整処理を実行する。

　この解像度調整処理は、次の相関量算出部３０３ａ，３０３ｂにおける相関量算出を正確に実行するための処理である。

　図１６に示すように、ローパスフィルタ（ＬＰＦ）３０２ａ，３０２ｂの処理結果は、相関量算出部３０３ａ，３０３ｂに入力される。
　図１６に示すように、相関量算出部３０３ａには、解像度低下処理がなされた短赤外線画像１５４と、補正対象画像である遠赤外線画像１５１が入力される。
　また、相関量算出部３０３ｂには、解像度低下処理がなされた短赤外線画像１５４と、解像度低下処理がなされた可視光画像１５３が入力される。

　本実施例２では、前述した実施例１と異なり、相関量算出部３０３ｂには、補正対象画像である遠赤外線画像１５１を入力せず、参照画像である解像度低下処理がなされた短赤外線画像１５４と可視光画像１５３を入力する。

　相関量算出部３０３ａは、
　解像度低下処理がなされた短赤外線画像１５４と、補正対象画像である遠赤外線画像１５１との相関量を算出する。
　また、相関量算出部３０３ｂは、
　解像度低下処理がなされた短赤外線画像１５４と、解像度低下処理がなされた可視光画像１５３との相関量を算出する。
　これらの相関量算出処理は、先の実施例１において図７、図８を参照して説明したと同様の処理であり、例えば、前述の（式１）、（式２）と同様、ＺＮＣＣ（ゼロ平均正規化相互相関）を適用して局所領域（例えば７×７画素）単位の相関量を算出する。

　このように、
　相関量算出部３０３ａは、遠赤外線画像－短赤外線画像相関量（ｃｏｒｒ＿ｆｓ）を算出して、この算出値を第２合成比率算出部３０４に出力する。
　また、相関量算出部３０３ｂは、可視光画像－短赤外線画像相関量（ｃｏｒｒ＿ｖｓ）を算出して、この算出値を第２合成比率算出部３０４に出力する。
　実施例２では、遠赤外線画像－短赤外線画像、さらに、可視光画像－短赤外線画像、これら波長の近い２画像間の相関量を、各々算出する。

　次に、第２合成比率算出部３０４の実行する処理について説明する。
　図１６に示すように、第２合成比率算出部３０４は、相関量算出部３０３ａ，３０３ｂから、２つの相関量を入力して、第２合成比率α３１１を生成して、第２合成部３０６に出力する。

　なお、第２合成比率αは、第２合成部２０６における遠赤外線画像と、第１合成部３０５において生成される第１合成信号（ガイド信号）３１２との合成処理における第１合成信号（ガイド信号）３１２の合成比率であり、
　０≦α≦１
　の値を持つ。

　第２合成部３０６は、
　合成比率αの第１合成信号（ガイド信号）３１２と、合成比率（１－α）の遠赤外線画像を適用した画像合成処理により、高画質化遠赤外線画像１８０の生成処理を行う。例えば、
　高画質化遠赤外線画像１８０を（ＦＩＲ＿ｏｕｔ）、
　第１合成信号（ガイド信号）３１２を（ｆｕｓｉｏｎ１＿ｏｕｔ）、
　入力した遠赤外線画像１５１を（ＦＩＲ＿ｉｎ）、
　とした場合、第２合成部３０６は、以下の式に従って、高画質化遠赤外線画像（ＦＩＲ＿ｏｕｔ）を生成する。
　（ＦＩＲ＿ｏｕｔ）＝α（ｆｕｓｉｏｎ１＿ｏｕｔ）＋（１－α）（ＦＩＲ＿ｉｎ）
　この処理の詳細については後段で説明する。

　第２合成比率算出部３０４の実行する処理の具体例について、図１７、図１８を参照して説明する。
　図１７には、第２合成比率算出部３０４に対する入力データと、第１合成比率算出部３０４からの出力データのを示している。
　図１７に示すように、第２合成比率算出部３０４は、以下の各データを入力する。
　（ａ）相関量算出部３０３ａから、遠赤外線画像－短赤外線画像相関量（ｃｏｒｒ＿ｆｓ）１６３、
　（ｂ）相関量算出部３０３ｂから、可視光画像－短赤外線画像相関量（ｃｏｒｒ＿ｖｓ）１６４、
　図１７に示すように、第２合成比率算出部３０４は、これら、２つの相関量を入力して、第２合成比率α３１１を生成して、第２合成部３０６に出力する。

　第２合成比率算出部３０４は、例えば、図１８に示すグラフに従って、入力値、すなわち、
　（ａ）遠赤外線画像－短赤外線画像相関量（ｃｏｒｒ＿ｆｓ）１６３、
　（ｂ）可視光画像－短赤外線画像相関量（ｃｏｒｒ＿ｖｓ）１６４、
　これらの入力値から、第２合成比率α３１１を算出する。

　図１８に示すグラフは、
　横軸に、（ｃｏｒｒ＿ｆｓ－ｃｏｒｒ＿ｖｓ）／２
　縦軸に、第２合成比率αを設定したグラフである。
　横軸の（ｃｏｒｒ＿ｆｓ－ｃｏｒｒ＿ｖｓ）／２は、
　（ａ）相関量算出部３０３ａから入力する、遠赤外線画像－短赤外線画像相関量（ｃｏｒｒ＿ｆｓ）１６３、
　（ｂ）相関量算出部３０３ｂから入力する、可視光画像－短赤外線画像相関量（ｃｏｒｒ＿ｖｓ）１６４、
　これら２つの相関量の差分の１／２に相当する。

　遠赤外線画像－短赤外線画像相関量（ｃｏｒｒ＿ｆｓ）１６３が、可視光画像－短赤外線画像相関量（ｃｏｒｒ＿ｖｓ）１６４より大きい場合は、横軸の中央より右側、例えばしきい値Ｔｈ２～Ｔｈ３の中間点より右側の領域となる。
　一方、遠赤外線画像－短赤外線画像相関量（ｃｏｒｒ＿ｆｓ）１６３が、可視光画像－短赤外線画像相関量（ｃｏｒｒ＿ｖｓ）１６４より小さい場合は、横軸の左側、例えばしきい値Ｔｈ２～Ｔｈ３の中間点より左側の領域となる。

　遠赤外線画像－短赤外線画像相関量（ｃｏｒｒ＿ｆｓ）１６３が、可視光画像－短赤外線画像相関量（ｃｏｒｒ＿ｖｓ）１６４より大きい場合とは、すなわち、
　遠赤外線画像と短赤外線画像の類似度が、可視光画像と短赤外線画像の類似度より大きいことを意味する。
　この場合、第２合成比率αの値は大きな値（１に近い値）に設定される。

　前述したように、第２合成比率αは、第２合成部３０６における遠赤外線画像と、第１合成部３０５において生成される第１合成信号（ガイド信号）３１２との合成処理における第１合成信号（ガイド信号）３１２の合成比率である。
　第２合成比率αの値が大きな値（１に近い値）に設定されることにより、第２合成部３０６の生成する高画質化遠赤外線画像１８０が、第１合成信号（ガイド信号）３１２の影響度の高い合成画像として生成されることになる。
　これは、遠赤外線画像と短赤外線画像の相関量が高いとの判定に基づく処理であり、参照画像である第１合成信号（ガイド信号）３１２の合成比率の合成比率を高めることが可能であるとの判断に基づく処理である。

　一方、遠赤外線画像－短赤外線画像相関量（ｃｏｒｒ＿ｆｓ）１６３が、可視光画像－短赤外線画像相関量（ｃｏｒｒ＿ｖｓ）１６４より小さい場合は、図１８に示すグラフの横軸の左側、例えばしきい値Ｔｈ２～Ｔｈ３の中間点より左側の領域となる。
　この場合は、遠赤外線画像と短赤外線画像の類似度が、可視光画像と短赤外線画像の類似度より小さいことを意味する。
　この場合、第２合成比率αの値は小さな値（０に近い値）に設定される。

　第２合成比率αの値が小さな値（０に近い値）に設定されることにより、第２合成部３０６の生成する高画質化遠赤外線画像１８０が、第１合成信号（ガイド信号）３１２の影響度の低い合成画像として生成されることになる。
　これは、遠赤外線画像と短赤外線画像の相関量が低いとの判定に基づく処理であり、参照画像である第１合成信号（ガイド信号）３１２の合成比率の合成比率を高めることが好ましくないとの判断に基づく処理である。

　なお、図１８に示すグラフでは、
　しきい値Ｔｈ１以下では、第２合成比率α＝０、
　しきい値Ｔｈ１～Ｔｈ２では、第２合成比率α＝０～０．５、
　しきい値Ｔｈ２～Ｔｈ３では、第２合成比率α＝０．５、
　しきい値Ｔｈ３～Ｔｈ４では、第２合成比率α＝０．５～１．０、
　しきい値Ｔｈ４以上では、第２合成比率α＝１．０、
　このような設定となっている。

　この図１８に示すグラフは、第２合成部３０６における合成処理による高画質化遠赤外線画像の生成処理において、
　遠赤外線画像－短赤外線画像相関量（ｃｏｒｒ＿ｆｓ）１６３が、可視光画像－短赤外線画像相関量（ｃｏｒｒ＿ｖｓ）１６４より大きい場合は、第１合成信号（ガイド信号）３１２の寄与率が高く設定され、
　遠赤外線画像－短赤外線画像相関量（ｃｏｒｒ＿ｆｓ）１６３が、可視光画像－短赤外線画像相関量（ｃｏｒｒ＿ｖｓ）１６４より小さい場合は、第１合成信号（ガイド信号）３１２の寄与率が低く設定されるような、第２合成比率αを出力するグラフである。

　なお、図１８に示す折れ線型のグラフは一例であり、この他の例えば１つの直線や曲線等によって構成されるグフを利用する構成としてもよい。
　ただし、遠赤外線画像－短赤外線画像相関量（ｃｏｒｒ＿ｆｓ）１６３が、可視光画像－短赤外線画像相関量（ｃｏｒｒ＿ｖｓ）１６４より大きい場合は、第１合成信号（ガイド信号）３１２の寄与率を高くし、
　遠赤外線画像－短赤外線画像相関量（ｃｏｒｒ＿ｆｓ）１６３が、可視光画像－短赤外線画像相関量（ｃｏｒｒ＿ｖｓ）１６４より小さい場合は、第１合成信号（ガイド信号）３１２の寄与率を低くする設定とすることが好ましい。

　なお、この第２合成比率算出部３０４における第２合成比率α３１１は、相関量算出部３０３ａ，ｂにおける相関量の算出領域単位、例えば前述したように７×７画素領域単位で算出する。
　このように、第２合成比率算出部３０４は、相関量算出部３０３ａ，３０３ｂから、２つの相関量を入力して、第２合成比率α３１１を生成して、第２合成部３０６に出力する。

　次に、第１合成部３０５の実行する処理について説明する。
　図１６に示すように、第１合成部３０５は、参照画像である短赤外線画像１５４と可視光画像１５３の合成処理を実行して、この合成画像である第１合成信号（ガイド信号）３１２を第２合成部３０６に出力する。

　第１合成部３０５の実行する処理の詳細について、図１９を参照して説明する。
　図１９に示すように、第１合成部３０５は、短赤外線画像１５４と可視光画像１５３を入力する。
　第１合成部３０５は、視認性最大の画像生成アルゴリズムにおいて予め規定される合成比率βを適用して、短赤外線画像１５４と可視光画像１５３との合成処理を実行して合成画像である第１合成信号（ガイド信号）３１２を生成する。
　生成した第１合成信号（ガイド信号）３１２は、第２合成部３０６に出力される。

　第１合成部３０５の生成する第１合成信号（ガイド信号）３１２は、例えば、図１９に示すグラフによって規定される合成比率βを適用して生成される短赤外線画像１５４と可視光画像１５３との合成画像である。

　図１９に示すグラフは、
　横軸が（ＶＩＳ－ＳＷＩＲ）、すなわち、可視光画像と短赤外線画像の対応画素の画素値（輝度値）差分である。
　縦軸が、合成比率βである。
　このグラフは、視認性最大の画像生成アルゴリズムに従って２つの画像を合成する場合の合成比率を規定したグラフである。

　ＶＩＳ－ＳＷＩＲがＴｈ２以上の場合、β＝１．０、
　ＶＩＳ－ＳＷＩＲがＴｈ１～Ｔｈ２の場合、β＝０．５～１．０、
　ＶＩＳ－ＳＷＩＲが－Ｔｈ１～Ｔｈ１の場合、β＝０．５、
　ＶＩＳ－ＳＷＩＲが－Ｔｈ２～－Ｔｈ１の場合、β＝１．０～０．５、
　ＶＩＳ－ＳＷＩＲが－Ｔｈ２以下の場合、β＝１、
　となる。

　第１合成部３０５は、視認性最大の画像生成アルゴリズムに従った画像生成を行う以下の式に従って、第１合成信号（ガイド信号（ｆｕｓｉｏｎ１＿ｏｕｔ））３１２を生成する。
　ｆｕｓｉｏｎ１＿ｏｕｔ＝β（ＶＩＳ）＋（１－β）（ＳＷＩＲ）

　上記式において、
　β：合成比率
　ＶＩＳ：可視光画像の画素値（輝度値）、
　ＳＷＩＲ：短赤外線画像の画素値（輝度値）、
　である。

　このように、第１合成部３０５は、視認性最大の画像合成アルゴリズムに従って、短赤外線画像１５４と可視光画像１５３との合成処理を実行して合成画像である第１合成信号（ガイド信号（ｆｕｓｉｏｎ１＿ｏｕｔ））３１２を生成する。
　生成した第１合成信号（ガイド信号）３１２は、第２合成部３０６に出力される。

　図１６に示すように、第２合成部３０６は、
　遠赤外線画像１５１と、
　第２合成比率α３１１と、
　第１合成信号（ガイド信号）３１２、
　これらを入力して、
　高画質化遠赤外線画像１８０を生成して出力する。

　第２合成部３０６の実行する処理の詳細について、図２０を参照して説明する。
　図２０に示すように、第２合成部２０６は、
　（ａ）第１合成部３０５から、第１合成信号（ガイド信号（ｆｕｓｉｏｎ１＿ｏｕｔ））３１２、
　（ｂ）第２合成比率算出部３０４から、第２合成比率α３１１、
　（ｃ）補正対象画像である遠赤外線画像（ＦＩＲ＿ｉｎ）１５１、
　これらの信号を入力し、出力信号として、
　高画質化遠赤外線画像（ＦＩＲ＿ｏｕｔ）１８０を出力する。

　第１合成部３０５から入力する第１合成信号（ガイド信号（ｆｕｓｉｏｎ１＿ｏｕｔ））３１２は、参照画像である短赤外線画像１５４と、可視光画像１５３の合成画像に相当する。
　第２合成比率算出部３０４から入力する第２合成比率α３１１は、第２合成部３０６の実行する画像合成処理、すなわち、遠赤外線画像（ＦＩＲ＿ｉｎ）１５１と、第１合成信号（ガイド信号（ｆｕｓｉｏｎ１＿ｏｕｔ））３１２との合成処理における第１合成信号（ガイド信号（ｆｕｓｉｏｎ１＿ｏｕｔ））３１２の合成比率である。

　先に説明したように、第２合成部３０６は、以下に示す式に従って、高画質化遠赤外線画像（ＦＩＲ＿ｏｕｔ）を生成する。
　（ＦＩＲ＿ｏｕｔ）＝α（ｆｕｓｉｏｎ１＿ｏｕｔ）＋（１－α）（ＦＩＲ＿ｉｎ）

　上記式において、
　ＦＩＲ＿ｏｕｔ：高画質化遠赤外線画像の画素値（輝度値）、
　ｆｕｓｉｏｎ１＿ｏｕｔ：第１合成信号（ガイド信号）、
　ＦＩＲ＿ｉｎ：補正対象の入力画像である遠赤外線画像の画素値（輝度値）、
　α：第２合成比率、
　である。

　なお、第２合成比率算出部３０４から入力する第２合成比率α３１１や、第１合成部３０５から入力する第１合成信号（ガイド信号（ｆｕｓｉｏｎ１＿ｏｕｔ））３１２は、画像の局所領域、例えば７×７画素単位の信号として入力され、上記式に従った画素値生成は、これらの所定領域単位で生成される。

　前述したように、第１合成部３０５から入力する第１合成信号（ガイド信号（ｆｕｓｉｏｎ１＿ｏｕｔ））３１２は、参照画像である可視光画像と、短赤外線画像の視認性最大画像合成アルゴリズムに従って生成された合成画像である。
　また、第２合成比率算出部３０４から入力する第２合成比率α３１１は、
　遠赤外線画像と短赤外線画像の相関量（ｃｏｒｒ＿ｆｓ）１６３と、
　可視光画像と短赤外線画素眉宇の相関量（ｃｏｒｒ＿ｖｓ）１６４との相関量の差分に基づいて、設定される合成比率であり、
　遠赤外線画像と短赤外線画像の相関量（ｃｏｒｒ＿ｆｓ）が大きいほど１に近い値を持つ。

　すなわち、遠赤外線画像と短赤外線画像の相関量（ｃｏｒｒ＿ｆｓ）が大きいほど、第２合成部３０６は、参照画像である可視光画像と短赤外線画像の合成画像に相当する第１合成信号（ガイド信号（ｆｕｓｉｏｎ１＿ｏｕｔ））３１２の寄与率の高い画素値を、高画質化遠赤外線画像（ＦＩＲ＿ｏｕｔ）１８０の画素値として設定する。
　このような処理により、補正対象画像である遠赤外線画像（ＦＩＲ＿ｉｎ）１５１の構成画素値が、参照画像である短赤外線画像や可視光画像の画素値に基づいて補正され、高画質化が図られる。

　　［６．第２実施例の画像処理装置の実行する処理シーケンスについて］
　次に、図１６に示す画像処理部の実行する処理シーケンス、すなわち、可視光画像と、短赤外線画像を参照画像として用いて、遠赤外線画像の高画質化処理処理を実行するシーケンスについて、図２１に示すフローチャートを参照して説明する。

　図２１に示すフローに従った処理は、例えば画像処理装置の記憶部に格納されたプログラムに従ってプログラム実行機能を有する制御部の制御の下に実行される。
　以下、図２１に示すフローの各ステップの処理について、順次、説明する。

　　（ステップＳ２０１）
　まず、画像処理装置は、ステップＳ２０１において、補正対象画像である遠赤外線画像と、参照画像となる可視光画像、および短赤外線画像を入力して、各画像の位置合わせ処理を実行する。

　この処理は、図１６に示す画像処理部１２０の画像位置合わせ部３０１の実行する処理である。
　画像位置合わせ部３０１は、入力した３種類の画像について、同一位置に同一の被写体が位置するように画像の位置合わせ処理を実行する。
　なお、この画像位置合わせは、既存の処理、例えば、各画像の視差量や、動きベクトル等を用いた処理によって実行される。

　　（ステップＳ２０２）
　次に、画像処理装置は、ステップＳ２０２において、参照画像である可視光画像と、短赤外線画像を、補正対象画像である遠赤外線画像の解像度にほぼ等しい解像度に変換する。すなわち、ＬＰＦを適用して解像度の低下処理を行う。

　この処理は、図１６に示す画像処理部１２０のローパスフィルタ（ＬＰＦ）３０２ａ，３０２ｂにおいて実行される処理である。
　ローパスフィルタ（ＬＰＦ）３０２ａ，３０２ｂにおいて、参照画像である短赤外線画像と、可視光画像の解像度レベルを、補正対象画像である遠赤外線画像の解像度レベルまで低下させる解像度調整処理を実行する。

　　（ステップＳ３０３）
　次に、画像処理装置は、ステップＳ３０３において、
　補正対象画像である遠赤外線画像と、参照画像である短赤外線画像との相関量、および、
　参照画像である可視光画像と、短赤外線画像との相関量、
　これら、波長の近い２つの画像間の相関量をそれぞれ算出する。

　この処理は、図１６に示す画像処理部１２０の相関量算出部３０３ａ，３０３ｂにおいて実行される処理である。
　図５に示す画像処理部１２０の相関量算出部３０３ａでは、補正対象画像である遠赤外線画像と、この遠赤外線画像の解像度と、ほぼ同一の解像度まで解像度低下処理がなされた参照画像である短赤外線画像との相関量を算出する。
　例えば、所定の局所領域単位（例えば７×７画素）ごとの相関量として、ＺＮＣＣ（ゼロ平均正規化相互相関）を算出する。

　また、図１６に示す画像処理部１２０の相関量算出部３０３ｂでは、遠赤外線画像１５１の解像度とほぼ同一の解像度まで解像度低下処理がなされた参照画像である可視光画像と、短赤外線画像との相関量を算出する。
　例えば、所定の局所領域単位（例えば７×７画素）ごとの相関量として、ＺＮＣＣ（ゼロ平均正規化相互相関）を算出する。

　　（ステップＳ２０４）
　次に、画像処理装置は、ステップＳ２０４において、
　参照画像である可視光画像と短赤外線画像との相関量と、
　参照画像である短赤外線画像と補正対象画像である遠赤外線画像との相関量、
　これら２つの相関量に応じて、補正対象画像である遠赤外線画像と、２つの参照画像（可視光画像と短赤外線画像）に基づく合成画像である第１合成信号（ガイド信号）３１２との合成比率を算出する。

　この処理は、図１６に示す画像処理部１２０の第２合成比率算出部３０４の実行する処理である。
　先に図１７を参照して説明したように、第２合成比率算出部３０４は、相関量算出部３０３ａ，３０３ｂから、２つの相関量を入力して、第２合成比率α３１１を生成して、第２合成部３０６に出力する。

　先に、図１７、図１８を参照して説明したように、
　第２合成比率算出部３０４は、例えば、図１８に示すグラフに従って、入力値、すなわち、
　（ａ）遠赤外線画像－短赤外線画像相関量（ｃｏｒｒ＿ｆｓ）１６３、
　（ｂ）可視光画像－短赤外線画像相関量（ｃｏｒｒ＿ｖｓ）１６４、
　これらの入力値の差分の１／２の値に基づいて、第２合成比率α３１１を算出する。

　第２合成比率算出部３０４は、例えば、
　（ａ）遠赤外線画像－短赤外線画像相関量（ｃｏｒｒ＿ｆｓ）１６３が、
　（ｂ）可視光画像－短赤外線画像相関量（ｃｏｒｒ＿ｖｓ）１６４、
　より大きい場合、
　第２合成部３０６における合成処理において、第１合成部３０５が生成した参照画像（可視光画像，短赤外線画像）同士の合成画像である第１合成信号（ガイド信号）３１２の寄与率を高める設定とした合成比率を算出する。

　　（ステップＳ２０５）
　次に、画像処理装置は、ステップＳ２０５において、参照画像である可視光画像と，短赤外線画像同士の合成画像である第１合成信号（ガイド信号）３１２を生成する。

　この処理は、図１６に示す画像処理部１２０の第１合成部３０５の実行する処理である。
　先に図１９を参照して説明したように、第１合成部３０５は、視認性最大の画像生成アルゴリズムにおいて予め規定された合成比率βを適用して、短赤外線画像１５４と可視光画像１５３との合成処理を実行して合成画像である第１合成信号（ガイド信号）３１２を生成する。
　生成した第１合成信号（ガイド信号）３１２は、第２合成部３０６に出力される。

　　（ステップＳ２０６）
　次に、画像処理装置は、ステップＳ２０６において、ステップＳ２０４で算出した合成比率に従って、補正対象画像である遠赤外線画像と、合成信号（ガイド信号）を合成して、高画質化遠赤外線画像を生成する。

　この処理は、図１６に示す画像処理部１２０の第２合成部３０６の実行する処理である。
　先に図２０を参照して説明したように、第２合成部３０６は、
　（ａ）第１合成部３０５から、第１合成信号（ガイド信号（ｆｕｓｉｏｎ１＿ｏｕｔ））３１２、
　（ｂ）第２合成比率算出部３０４から、第２合成比率α３１１、
　（ｃ）補正対象画像である遠赤外線画像（ＦＩＲ＿ｉｎ）１５１、
　これらの信号を入力し、出力信号として、
　高画質化遠赤外線画像（ＦＩＲ＿ｏｕｔ）１８０を出力する。

　先に説明したように、第２合成部３０６は、以下に示す式に従って、高画質化遠赤外線画像（ＦＩＲ＿ｏｕｔ）を生成する。
　（ＦＩＲ＿ｏｕｔ）＝α（ｆｕｓｉｏｎ１＿ｏｕｔ）＋（１－α）（ＦＩＲ＿ｉｎ）
　上記式において、
　ＦＩＲ＿ｏｕｔ：高画質化遠赤外線画像の画素値（輝度値）、
　ｆｕｓｉｏｎ１＿ｏｕｔ：第１合成信号（ガイド信号）、
　ＦＩＲ＿ｉｎ：補正対象の入力画像である遠赤外線画像の画素値（輝度値）、
　α：第２合成比率、
　である。

　遠赤外線画像と短赤外線画像の相関量（ｃｏｒｒ＿ｆｓ）が大きいほど、第２合成部３０６は、参照画像である可視光画像と短赤外線画像の合成画像の要素（第１合成信号（ガイド信号（ｆｕｓｉｏｎ１＿ｏｕｔ））３１２）の寄与率の高い画素値を、出力する高画質化遠赤外線画像（ＦＩＲ＿ｏｕｔ）１８０の画素値として設定する。
　このような処理により、補正対象画像である遠赤外線画像（ＦＩＲ＿ｉｎ）１５１の構成画素値が、参照画像である短赤外線画像や可視光画像の画素値に基づいて補正され、高画質化が図られる。

　　［７．遠赤外線画像と、可視光画像、および短赤外線画像の画像特性と、遠赤外線画像の高画質化画像の利用可能性について］
　次に、遠赤外線画像と、可視光画像、および短赤外線画像の画像特性と、遠赤外線画像の高画質化画像の利用可能性について説明する。

　上述した実施例では、低解像度等の低画質画像である遠赤外線画像を、高画質画像である可視光画像や短赤外線画像を参照画像として利用することで高解像度、高画質の遠赤外線画像を生成する画像処理装置の構成と処理について説明した。

　上述した実施例において利用した画像、すなわち、遠赤外線画像と、可視光画像、短赤外線画像、各々の画像特性について、図２２を参照して説明する。

　図２２は、可視光画像、短赤外線画像、遠赤外線画像の画像特性を示す図である。
　以下の各項目について、可視光画像、短赤外線画像、遠赤外線画像の画像特性を示している。
　（１）温度情報の取得可否
　（２）暗い環境での被写体情報取得可否
　（３）明るい環境での被写体情報取得可否
　（４）遠景の被写体情報取得可否
　（５）近景の被写体情報取得可否
　（６）印刷物などの模様情報の取得可否
　（７）高解像度画像の取得可否

　可視光画像は、
　（１）、（２）これら２つの項目の処理が不可、あるいは困難である。
　その他（３）～（７）の各項目については○、すなわち可能であるという画像特性を持つ。
　短赤外線画像は、
　（１）、（６）の２つの項目の処理が不可、あるいは困難である。
　その他（２）～（５），（７）の各項目については○、すなわち可能であるという画像特性を持つ。
　また、遠赤外線画像は、
　（６）、（７）これら２つの項目の処理が不可、あるいは困難である。
　その他（１）～（５）の各項目については○、すなわち可能であるという画像特性を持つ。

　なお、上述した実施例１では、補正対象画像として遠赤外線画像を用い、参照画像として可視光画像と近赤外線画像を用いた例を説明し、実施例２では、補正対象画像として遠赤外線画像を用い、参照画像として可視光画像と短赤外線画像を用いた例を説明した。
　これらの補正対象画像と、参照画像の組み合わせは、この他にも様々な画像の組み合わせが可能である。
　補正対象画像より、解像度の高い参照画像を用いた構成であれば、本開示の構成を適用して、補正対象画像の高画質化処理を行うことが可能である。

　　［８．画像処理装置のハードウェア構成例について］
　　次に、図２３を参照して画像処理装置のハードウェア構成例について説明する。
　図２３は、本開示の処理を実行する画像処理装置のハードウェア構成例を示す図である。

　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。

　ＣＰＵ５０１はバス５０４を介して入出力インタフェース５０５に接続され、入出力インタフェース５０５には、撮像部５２１の撮影画像の入力を行うとともに、ユーザ入力可能な各種スイッチ、キーボード、マウス、マイクロフォンなどよりなる入力部５０６、表示部５２２やスピーカなどに対するデータ出力を実行する出力部５０７が接続されている。ＣＰＵ５０１は、入力部５０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部５０７に出力する。

　入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスク等からなり、ＣＰＵ５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、Ｗｉ－Ｆｉ通信、ブルートゥース（登録商標）（ＢＴ）通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

　入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア５１１を駆動し、データの記録あるいは読み取りを実行する。

　　［９．本開示の画像処理装置を適用した応用例について］
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

　図２４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２４に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ　Ｉｎｔｅｒｃｏｎｎｅｃｔ　Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２４では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Ａｎｔｉｌｏｃｋ　Ｂｒａｋｅ　Ｓｙｓｔｅｍ）又はＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ　Ｓｔａｂｉｌｉｔｙ　Ｃｏｎｔｒｏｌ）等の制御装置としての機能を有してもよい。

　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

　ここで、図２５は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

　なお、図２５には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

　図２４に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ　Ｓｙｓｔｅｍ　ｏｆ　Ｍｏｂｉｌｅ　ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＷｉＭＡＸ、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）若しくはＬＴＥ－Ａ（ＬＴＥ－Ａｄｖａｎｃｅｄ）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Ｐｅｅｒ　Ｔｏ　Ｐｅｅｒ）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Ｍａｃｈｉｎｅ　Ｔｙｐｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末）と接続してもよい。

　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Ｗｉｒｅｌｅｓｓ　Ａｃｃｅｓｓ　ｉｎ　Ｖｅｈｉｃｌｅ　Ｅｎｖｉｒｏｎｍｅｎｔ）、ＤＳＲＣ（Ｄｅｄｉｃａｔｅｄ　Ｓｈｏｒｔ　Ｒａｎｇｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、車両と家との間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｈｏｍｅ）の通信及び歩車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｐｅｄｅｓｔｒｉａｎ）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

　測位部７６４０は、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）、又はＭＨＬ（Ｍｏｂｉｌｅ　Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ　Ｌｉｎｋ）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２４の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

　なお、図２４に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

　なお、先に説明した本実施形態に係る画像処理装置の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

　以上説明した車両制御システム７０００において、先に説明した本実施形態に係る画像処理装置は、図２４に示した応用例の統合制御ユニット７６００に適用することができる。例えば、図２５に示す画像処理装置のＣＰＵ８０１は、図２４に示す統合制御ユニット７６００のマイクロコンピュータ７６１０、図２５に示す画像処理装置のＲＯＭ８０２，ＲＡＭ８０３，記憶部８０８は、図２４に示す統合制御ユニット７６００の記憶部７６９０、図２５に示す画像処理装置の通信部８０９は、図２４に示す統合制御ユニット７６００の車載ネットワークＩ／Ｆ７６８０に相当する。

　また、先に説明した画像処理装置の少なくとも一部の構成要素は、図２４に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、先に説明した画像処理装置が、図２４に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。

　　［１０．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　遠赤外線画像と、前記遠赤外線画像と同一被写体を撮影した複数の参照画像を入力し、
　前記複数の参照画像の合成信号である第１合成信号を生成する第１合成部と、
　前記遠赤外線画像と、前記第１合成信号との合成処理により、前記遠赤外線画像の高画質化画像を生成する第２合成部を有する画像処理装置。

　（２）　前記複数の参照画像は、
　可視光画像と近赤外線画像である（１）に記載の画像処理装置。

　（３）　前記第１合成部は、
　前記可視光画像と前記遠赤外線画像の相関量と、
　前記近赤外線画像と前記遠赤外線画像の相関量に基づいて、
　前記第１合成信号を生成する構成であり、
　前記可視光画像と前記近赤外線画像の２つの参照画像中、前記遠赤外線画像との相関量の高い画像の寄与率を高く設定して、前記第１合成信号を生成する（２）に記載の画像処理装置。

　（４）　前記画像処理装置は、
　前記参照画像である可視光画像と近赤外線画像を、補正対象画像である前記遠赤外線画像の解像度レベルまで解像度を低下させるローパスフィルタと、
　前記ローパスフィルタを適用して生成した解像度低下可視光画像、および解像度低下近赤外線画像各々と、前記遠赤外線画像の相関量を算出する相関量算出部を有し、
　前記第１合成部は、
　前記相関量算出部の算出した相関量に基づいて決定される合成比率に従って、前記可視光画像と前記近赤外線画像との合成処理を行い、前記第１合成信号を生成する（３）に記載の画像処理装置。

　（５）　前記相関量算出部は、
　画像の局所領域単位の相関量を算出し、
　前記第１合成部は、
　前記相関量算出部の算出した局所領域単位の相関量に基づいて決定される局所領域単位の合成比率に従って、前記可視光画像と前記近赤外線画像との局所領域単位の合成処理を行い、前記第１合成信号を生成する（４）に記載の画像処理装置。

　（６）　前記相関量算出部は、
　ゼロ平均正規化相互相関（ＺＮＣＣ）を算出する（４）または（５）に記載の画像処理装置。

　（７）　前記第２合成部は、
　前記遠赤外線画像の画素値補正に利用する参照領域としてのタップを決定するタップ選択部と、
　前記遠赤外線画像の画素値補正に利用する補正パラメータを決定する補正パラメータ算出部と、
　前記タップ選択部の決定したタップと、前記補正パラメータ決定部の決定した補正パラメータを適用して、前記遠赤外線画像の画素値補正を実行する画像補正部を有する（１）～（６）いずれかに記載の画像処理装置。

　（８）　前記補正パラメータ算出部は、
　前記第１合成部の生成した前記第１合成信号に基づいて、補正パラメータを決定する（７）に記載の画像処理装置。

　（９）　前記補正パラメータ算出部は、
　学習処理による取得データである、
　前記遠赤外線画像の高画質化処理の最適補正パラメータと、前記第１合成信号との対応データに基づいて、補正パラメータを決定する（８）に記載の画像処理装置。

　（１０）　前記タップ選択部は、
　前記第１合成部の生成した前記第１合成信号に基づいて、参照領域としてのタップを決定する（７）～（９）いずれかに記載の画像処理装置。

　（１１）　前記タップ選択部は、
　学習処理による取得データである、
　前記遠赤外線画像の高画質化処理の最適タップと、前記第１合成信号との対応データに基づいて、参照領域としてのタップを決定する（１０）に記載の画像処理装置。

　（１２）
　前記複数の参照画像は、
　可視光画像と短赤外線画像である（１）に記載の画像処理装置。

　（１３）　前記第２合成部は、
　前記遠赤外線画像と前記短赤外線画像の相関量と、
　前記短赤外線画像と前記可視光画像の相関量と、
　に基づいて決定される第２合成比率を適用して、前記遠赤外線画像と、前記第１合成信号との合成処理を実行して、前記遠赤外線画像の高画質化画像を生成する（１２）に記載の画像処理装置。

　（１４）　前記第２合成比率は、
　前記遠赤外線画像と前記短赤外線画像の相関量が高いほど、
　前記第２合成部において生成される合成画像に対する前記第１合成信号の寄与率が高くなる設定を持つ合成比率である（１３）に記載の画像処理装置。

　（１５）　前記第１合成部は、
　視認性を最大化する画像合成アルゴリズムに従って、前記可視光画像と前記短赤外線画像の合成処理を実行して前記第１合成信号を生成する（１２）～（１４）いずれかに記載の画像処理装置。

　（１６）　前記画像処理装置は、
　前記参照画像である可視光画像と短赤外線画像を、補正対象画像である前記遠赤外線画像の解像度レベルまで解像度を低下させるローパスフィルタと、
　前記ローパスフィルタを適用して生成した解像度低下可視光画像と、前記遠赤外線画像の相関量と、
　前記ローパスフィルタを適用して生成した解像度低下可視光画像と、解像度低下短赤外線画像の相関量を算出する相関量算出部を有する（１３）～（１５）いずれかに記載の画像処理装置。

　（１７）　前記相関量算出部は、
　画像の局所領域単位の相関量を算出し、
　前記第２合成部は、
　前記相関量算出部の算出した局所領域単位の相関量に基づいて決定される局所領域単位の合成比率に従って、前記遠赤外線画像と前記第１合成信号との局所領域単位の合成処理を行い、前記遠赤外線画像の高画質化画像を生成する（１６）に記載の画像処理装置。

　（１８）　画像処理装置において実行する画像処理方法であり、
　遠赤外線画像と、前記遠赤外線画像と同一被写体を撮影した複数の参照画像を入力するステップと、
　第１合成部が、前記複数の参照画像の合成信号である第１合成信号を生成する第１合成信号生成ステップと、
　第２合成部が、前記遠赤外線画像と、前記第１合成信号との合成処理により、前記遠赤外線画像の高画質化画像を生成するステップを実行する画像処理方法。

　（１９）　画像処理装置において画像処理を実行させるプログラムであり、
　遠赤外線画像と、前記遠赤外線画像と同一被写体を撮影した複数の参照画像を入力するステップと、
　第１合成部において、前記複数の参照画像の合成信号である第１合成信号を生成する第１合成信号生成ステップと、
　第２合成部において、前記遠赤外線画像と、前記第１合成信号との合成処理により、前記遠赤外線画像の高画質化画像を生成するステップを、
　実行させるプログラム。

　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例の構成によれば、遠赤外線画像の高画質化処理を実行する装置、方法が実現される。
　具体的には、例えば、遠赤外線画像と、遠赤外線画像と同一被写体を撮影した複数の参照画像を入力し、複数の参照画像の合成信号である第１合成信号を生成する第１合成部と、遠赤外線画像と、第１合成信号との合成処理により、遠赤外線画像の高画質化画像を生成する第２合成部を有する。参照画像は、例えば可視光画像と近赤外線画像であり、第１合成部は、可視光画像－遠赤外線画像相関量と、近赤外線画像－遠赤外線画像相関量に基づいて、第１合成信号を生成し、可視光画像と近赤外線画像の２つの画像中、遠赤外線画像との相関量の高い画像の寄与率を高く設定して第１合成信号を生成する。
　これらの処理により、遠赤外線画像の高画質化処理を実行する装置、方法が実現される。

　　１０　可視光画像
　　２０　近赤外線画像
　　３０　短赤外線画像
　　４０　遠赤外線画像
　　５０　画像処理部
　１００　画像処理装置
　１０１　制御部
　１０２　記憶部
　１０３　コーデック
　１０４　入力部
　１０５　出力部
　１０６　撮像部
　１０７　赤外線画像撮像部
　１０８　可視光画像撮像部
　１１１　遠赤外線画像撮像部
　１１２　近赤外線画像撮像部
　１１３　可視光画像撮像部
　１２０　画像処理部
　２０１，３０１　画像位置合わせ部
　２０２，３０２　ＬＰＦ（ローパスフィルタ）
　２０３，３０３　相関量算出部
　２０４　第１合成比率算出部
　２０５，３０５　第１合成部
　２０６，３０６　第２合成部
　２３１　タップ選択部
　２３２　補正パラメータ（係数）算出部
　２３３　画像補正部
　２７１　学習処理部
　３０４　第２合成比率算出部
　５０１　ＣＰＵ
　５０２　ＲＯＭ
　５０３　ＲＡＭ
　５０４　バス
　５０５　入出力インタフェース
　５０６　入力部
　５０７　出力部
　５０８　記憶部
　５０９　通信部
　５１０　ドライブ
　５１１　リムーバブルメディア
　５２１　撮像部
　５２２　表示部

Claims

　遠赤外線画像と、前記遠赤外線画像と同一被写体を撮影した複数の参照画像を入力し、
　前記複数の参照画像の合成信号である第１合成信号を生成する第１合成部と、
　前記遠赤外線画像と、前記第１合成信号との合成処理により、前記遠赤外線画像の高画質化画像を生成する第２合成部を有する画像処理装置。
　前記複数の参照画像は、
　可視光画像と近赤外線画像である請求項１に記載の画像処理装置。
　前記第１合成部は、
　前記可視光画像と前記遠赤外線画像の相関量と、
　前記近赤外線画像と前記遠赤外線画像の相関量に基づいて、
　前記第１合成信号を生成する構成であり、
　前記可視光画像と前記近赤外線画像の２つの参照画像中、前記遠赤外線画像との相関量の高い画像の寄与率を高く設定して、前記第１合成信号を生成する請求項２に記載の画像処理装置。
　前記画像処理装置は、
　前記参照画像である可視光画像と近赤外線画像を、補正対象画像である前記遠赤外線画像の解像度レベルまで解像度を低下させるローパスフィルタと、
　前記ローパスフィルタを適用して生成した解像度低下可視光画像、および解像度低下近赤外線画像各々と、前記遠赤外線画像の相関量を算出する相関量算出部を有し、
　前記第１合成部は、
　前記相関量算出部の算出した相関量に基づいて決定される合成比率に従って、前記可視光画像と前記近赤外線画像との合成処理を行い、前記第１合成信号を生成する請求項３に記載の画像処理装置。
　前記相関量算出部は、
　画像の局所領域単位の相関量を算出し、
　前記第１合成部は、
　前記相関量算出部の算出した局所領域単位の相関量に基づいて決定される局所領域単位の合成比率に従って、前記可視光画像と前記近赤外線画像との局所領域単位の合成処理を行い、前記第１合成信号を生成する請求項４に記載の画像処理装置。
　前記相関量算出部は、
　ゼロ平均正規化相互相関（ＺＮＣＣ）を算出する請求項４に記載の画像処理装置。
　前記第２合成部は、
　前記遠赤外線画像の画素値補正に利用する参照領域としてのタップを決定するタップ選択部と、
　前記遠赤外線画像の画素値補正に利用する補正パラメータを決定する補正パラメータ算出部と、
　前記タップ選択部の決定したタップと、前記補正パラメータ決定部の決定した補正パラメータを適用して、前記遠赤外線画像の画素値補正を実行する画像補正部を有する請求項１に記載の画像処理装置。
　前記補正パラメータ算出部は、
　前記第１合成部の生成した前記第１合成信号に基づいて、補正パラメータを決定する請求項７に記載の画像処理装置。
　前記補正パラメータ算出部は、
　学習処理による取得データである、
　前記遠赤外線画像の高画質化処理の最適補正パラメータと、前記第１合成信号との対応データに基づいて、補正パラメータを決定する請求項８に記載の画像処理装置。
　前記タップ選択部は、
　前記第１合成部の生成した前記第１合成信号に基づいて、参照領域としてのタップを決定する請求項７に記載の画像処理装置。
　前記タップ選択部は、
　学習処理による取得データである、
　前記遠赤外線画像の高画質化処理の最適タップと、前記第１合成信号との対応データに基づいて、参照領域としてのタップを決定する請求項１０に記載の画像処理装置。
　前記複数の参照画像は、
　可視光画像と短赤外線画像である請求項１に記載の画像処理装置。
　前記第２合成部は、
　前記遠赤外線画像と前記短赤外線画像の相関量と、
　前記短赤外線画像と前記可視光画像の相関量と、
　に基づいて決定される第２合成比率を適用して、前記遠赤外線画像と、前記第１合成信号との合成処理を実行して、前記遠赤外線画像の高画質化画像を生成する請求項１２に記載の画像処理装置。
　前記第２合成比率は、
　前記遠赤外線画像と前記短赤外線画像の相関量が高いほど、
　前記第２合成部において生成される合成画像に対する前記第１合成信号の寄与率が高くなる設定を持つ合成比率である請求項１３に記載の画像処理装置。
　前記第１合成部は、
　視認性を最大化する画像合成アルゴリズムに従って、前記可視光画像と前記短赤外線画像の合成処理を実行して前記第１合成信号を生成する請求項１２に記載の画像処理装置。
　前記画像処理装置は、
　前記参照画像である可視光画像と短赤外線画像を、補正対象画像である前記遠赤外線画像の解像度レベルまで解像度を低下させるローパスフィルタと、
　前記ローパスフィルタを適用して生成した解像度低下可視光画像と、前記遠赤外線画像の相関量と、
　前記ローパスフィルタを適用して生成した解像度低下可視光画像と、解像度低下短赤外線画像の相関量を算出する相関量算出部を有する請求項１３に記載の画像処理装置。
　前記相関量算出部は、
　画像の局所領域単位の相関量を算出し、
　前記第２合成部は、
　前記相関量算出部の算出した局所領域単位の相関量に基づいて決定される局所領域単位の合成比率に従って、前記遠赤外線画像と前記第１合成信号との局所領域単位の合成処理を行い、前記遠赤外線画像の高画質化画像を生成する請求項１６に記載の画像処理装置。
　画像処理装置において実行する画像処理方法であり、
　遠赤外線画像と、前記遠赤外線画像と同一被写体を撮影した複数の参照画像を入力するステップと、
　第１合成部が、前記複数の参照画像の合成信号である第１合成信号を生成する第１合成信号生成ステップと、
　第２合成部が、前記遠赤外線画像と、前記第１合成信号との合成処理により、前記遠赤外線画像の高画質化画像を生成するステップを実行する画像処理方法。
　画像処理装置において画像処理を実行させるプログラムであり、
　遠赤外線画像と、前記遠赤外線画像と同一被写体を撮影した複数の参照画像を入力するステップと、
　第１合成部において、前記複数の参照画像の合成信号である第１合成信号を生成する第１合成信号生成ステップと、
　第２合成部において、前記遠赤外線画像と、前記第１合成信号との合成処理により、前記遠赤外線画像の高画質化画像を生成するステップを、
　実行させるプログラム。