JP6729394B2 - 画像処理装置、画像処理方法、プログラム及びシステム - Google Patents

Description

本開示は、画像処理装置、画像処理方法、プログラム及びシステムに関する。

従来、運転支援及びその他の目的で、赤外線カメラにより撮像される画像が活用されている（例えば、特許文献１参照）。例えば、可視光画像の代わりに近赤外画像を撮像することにより、夜間又は悪天候時のような劣悪な条件の下でも、ある程度視認性の高い画像をユーザに提供することができる（例えば、特許文献２参照）。赤外線画像は、通常は色の無いグレースケールの画像だが、可視光画像からの色情報を用いて赤外線画像をカラー化することも提案されている（例えば、特許文献３参照）。

特開２０００−１１５７５９号公報 特開２００７−１５８８２０号公報 特開２０１４−１９７７２７号公報

一般に、画像に映る被写体（例えば、人体又は物体）をユーザ又は画像処理アプリケーションに認識させるような用途では、可能な限り画質の良好なカラー画像が提供されることが有益である。しかし、赤外線画像をカラー化するための既存の技術は、その用途に合った十分な画質を達成できているとは言い難い。

そこで、本開示に係る技術は、より改善された画質を有するカラー画像を生成することのできる仕組みを実現することを目的とする。

本開示によれば、共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得する画像取得部と、前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する生成部と、を備える画像処理装置が提供される。

また、本開示によれば、共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得することと、前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成することと、を含む画像処理方法が提供される。

また、本開示によれば、画像処理装置を制御するコンピュータを、共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得する画像取得部と、前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する生成部と、として機能させるためのプログラムが提供される。

また、本開示によれば、遠赤外領域、近赤外領域及び可視光領域において被写体を撮像し、対応する遠赤外画像、近赤外画像及び可視光画像を出力するカメラモジュールと、前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する画像処理モジュールと、を含む画像処理システムが提供される。

本開示に係る技術によれば、より改善された画質を有するカラー画像を生成することができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。

波長に依存する赤外線画像の多様な用途について説明するための説明図である。 可視光画像、近赤外画像及び遠赤外画像の一例を示す説明図である。 第１の実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 車両におけるカメラ及びディスプレイの配置のいくつかの例を示す説明図である。 第１の実施形態に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。 画像の取得に関連する処理の第１の例について説明するための説明図である。 画像の取得に関連する処理の第２の例について説明するための説明図である。 画像の取得に関連する処理の第３の例について説明するための説明図である。 画像の取得に関連する処理の第４の例について説明するための説明図である。 撮像条件の第１の例について説明するための説明図である。 撮像条件の第１の例に対応するフィルタ構成の一例について説明するための説明図である。 撮像条件の第２の例について説明するための説明図である。 撮像条件の第２の例に対応するフィルタ構成の一例について説明するための説明図である。 撮像条件の第３の例について説明するための説明図である。 撮像条件の第３の例に対応するフィルタ構成の一例について説明するための説明図である。 第１の実施形態に係るカラー画像生成処理の流れの一例を示すフローチャートである。 フィルタ構成設定処理の流れの第１の例を示すフローチャートである。 フィルタ構成設定処理の流れの第２の例を示すフローチャートである。 第２の実施形態に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。 第２の実施形態に係る領域認識処理の一例について説明するための説明図である。 領域認識処理の結果に基づいて領域ごとに設定され得るフィルタ構成の第１の例について説明するための説明図である。 領域認識処理の結果に基づいて領域ごとに設定され得るフィルタ構成の第２の例について説明するための説明図である。 第２の実施形態に係るカラー画像生成処理の流れの一例を示すフローチャートである。 本開示に係る技術のいくつかの応用例について説明するための説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下の順序で説明を行う。
１．基本的な原理
１−１．赤外線の多様な用途
１−２．画像ごとの性質
２．第１の実施形態
２−１．ハードウェア構成
２−２．機能構成
２−３．処理の流れ
３．第２の実施形態
３−１．機能構成
３−２．処理の流れ
４．応用例
５．まとめ

＜１．基本的な原理＞
［１−１．赤外線の多様な用途］
図１は、波長に依存する赤外線画像の多様な用途について説明するための説明図である。図１の水平方向は赤外線の波長に対応し、左から右へと波長は長くなる。０．７μｍ以下の波長を有する光線は可視光線であり、人間の視覚はこの可視光線を感知する。可視光領域に隣接する波長領域は近赤外（ＮＩＲ）領域であり、ＮＩＲ領域に属する赤外線を近赤外線という。ＮＩＲ領域の波長の上限は、定義に依存して異なるものの、２．５μｍから４．０μｍの間にあるとされることが多い。ＮＩＲ領域のうち相対的に波長の長い部分は、短波長赤外（ＳＷＩＲ）領域と呼ばれることもある。近赤外線は、例えば、暗視（night vision）、透視、光通信及び測距のために利用され得る。ＮＩＲ画像を撮像するカメラは、通常、まず近傍に赤外線を照射し、その反射光を捕捉する。ＮＩＲ領域に長波長側で隣接する波長領域は遠赤外（ＦＩＲ）領域であり、ＦＩＲ領域に属する赤外線を遠赤外線という。遠赤外線は、暗視、サーモグラフィ及び加熱のために利用され得る。物体からの黒体放射によって発せられる赤外線は、遠赤外線に相当する。そのため、遠赤外線を用いた暗視装置は、赤外線を照射せずとも、物体からの黒体放射を捕捉することによりＦＩＲ画像を生成することができる。ＦＩＲ領域のうち相対的に波長の短い部分は、中波長赤外（ＭＷＩＲ）領域と呼ばれることもある。中波長赤外線の波長範囲では物質固有の吸収スペクトルが現れることから、中波長赤外線は、物質の同定のために利用され得る。

［１−２．画像ごとの性質］
可視光画像は、本質的に色を表現可能であることから、画像に映る被写体をユーザ又は何らかのアプリケーションに認識させる目的で既に広く利用されている。可視光画像の欠点は、環境光に乏しい状況（例えば、夜間又は悪天候時）においてその視認性が著しく低下することである。また、可視光は人間の視覚により感知されるため、可視光を照射すること（いわゆるフラッシュ）により環境光を作り出すことは、多くの場面で忌避される。赤外線画像は、このような可視光画像の欠点を補うことができる。例えば、特許文献２により提案されている技術では、夜間又は悪天候時のような劣悪な条件の下で、可視光画像の代わりに、より視認性の高いＮＩＲ画像が運転者へ提供される。赤外線画像は、通常は色の無いグレースケールの画像だが、特許文献３は、可視光画像からの色情報を用いて赤外線画像をカラー化することを提案している。一般に、ユーザ又はアプリケーションへ提供されるカラー画像は、可能な限り良好な画質を有していることが望ましい。

図２は、可視光画像、近赤外（ＮＩＲ）画像及び遠赤外（ＦＩＲ）画像の一例を示す説明図である。図２の左には可視光画像Ｉｍ０１が、中央にはＮＩＲ画像Ｉｍ０２が、右にはＦＩＲ画像Ｉｍ０３が示されている。これら画像には、同じ人物が映っている。可視光画像Ｉｍ０１では、人物の顔貌が最も良好に表現されているが、環境光が十分に当たっていない被写体の周縁部において、被写体と背景との境界が曖昧になっている。対照的に、ＮＩＲ画像Ｉｍ０２では、被写体と背景との境界は鮮明であるが、人物の顔よりもむしろ近赤外線を最も強く反射した衣服が、最も明るく映っている。これは、同じように近赤外線を強く反射する物体が背景に存在する状況下では、被写体が背景に埋没してしまう可能性を意味する。ＦＩＲ画像でも、被写体と背景との境界は鮮明である。ＦＩＲ画像では、人物の顔貌の詳細は表現されていないが、衣類よりも顔の方がより明るく映っていることから、可視光画像及びＮＩＲ画像と比較してＦＩＲ画像がより生体の検出に適していることが理解され得る。

被写体の色に関する色情報は、通常、可視光画像のみに含まれる。しかし、最終的に出力すべきカラー画像を決定するにあたっては、画像内のどの領域をより鮮明に表現すべきか、どの領域において色のディテールが必要であるかといった観点での考慮もなされるべきである。そして、こうした観点の情報は、可視光画像よりもむしろＦＩＲ画像及びＮＩＲ画像にそれぞれ含まれる。そこで、本明細書では、可視光画像に加えてＦＩＲ画像及びＮＩＲ画像までをも考慮して、より改善された画質を有するカラー画像を生成するためのいくつかの実施形態について説明する。

＜２．第１の実施形態＞
本節では、一例として、車載装置としての画像処理装置１００を説明する。画像処理装置１００は部分的に車両への搭載に特化した構成を有するものの、本開示に係る技術の用途はかかる例に限定されない。本開示に係る技術は、例えば、監視カメラなどのセキュリティ機器、医療／診断機器、検査機器、又は、スマートフォン若しくはタブレットＰＣ（Personal Computer）などの情報機器といった任意の種類の装置におけるカラー画像の生成に適用可能である。

［２−１．ハードウェア構成］
図３は、第１の実施形態に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。図３を参照すると、画像処理装置１００は、カメラモジュール１０２、センサモジュール１０４、入力インタフェース１０６、メモリ１０８、ディスプレイ１１０、通信インタフェース１１２、車両ネットワーク（ＮＷ）インタフェース１１３、ストレージ１１４、バス１１６及びプロセッサ１１８を備える。

（１）カメラモジュール
カメラモジュール１０２は、ＦＩＲ領域、ＮＩＲ領域及び可視光領域において被写体を撮像するモジュールである。カメラモジュール１０２は、典型的には、ＦＩＲ領域に属する波長を有する遠赤外線を感知する撮像素子の配列と、ＮＩＲ領域に属する波長を有する近赤外線を感知する撮像素子の配列と、可視光を感知する撮像素子の配列とを含む。これら配列は同一の基板上に配置されてもよく、又は異なる基板上に配置されてもよい。カメラモジュール１０２は、さらに近赤外線を照射する発光素子をも有し得る。カメラモジュール１０２は、例えば、ユーザ入力などのトリガに応じて又は周期的に、ＦＩＲ画像、ＮＩＲ画像及び可視光画像を撮像する。これら画像は、映像を構成する一連のフレームの一部であってもよい。

（２）センサモジュール
センサモジュール１０４は、測位センサ、加速度センサ、深度センサ、照度センサ、温度センサ及び湿度センサなどを含み得るセンサ群を有するモジュールである。測位センサは、例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号又は無線アクセスポイントからの無線信号に基づいて、画像処理装置１００の現在位置を測定する。加速度センサは、画像処理装置１００に加わる３軸加速度を測定する。深度センサは、カメラモジュール１０２の画角内に存在する被写体への距離（即ち、深度（depth））を測定する。照度センサは、画像処理装置１００が置かれている環境の照度を測定する。温度センサ及び湿度センサは、環境の温度及び湿度をそれぞれ測定する。センサモジュール１０４において生成されるセンサデータは、後述する画像のキャリブレーション及び撮像条件の判定といった目的のために利用され得る。

（３）入力インタフェース
入力インタフェース１０６は、ユーザが画像処理装置１００を操作し又は画像処理装置１００へ情報を入力するために使用される。入力インタフェース１０６は、例えば、タッチセンサ、キーパッド、ボタン又はスイッチなどの入力デバイスを含んでもよい。また、入力インタフェース１０６は、音声入力用のマイクロフォン及び音声認識モジュールを含んでもよい。また、入力インタフェース１０６は、ユーザにより選択される命令をリモートデバイスから受信する遠隔制御モジュールを含んでもよい。

（４）メモリ
メモリ１０８は、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）を含み得る記憶媒体である。メモリ１０８は、プロセッサ１１８に連結され、プロセッサ１１８により実行される処理のためのプログラム及びデータを記憶する。

（５）ディスプレイ
ディスプレイ１１０は、画像を表示する画面を有する表示モジュールである。ディスプレイ１１０は、例えば、ＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic light-Emitting Diode）又はＣＲＴ（Cathode Ray Tube）などであってよい。

（６）通信インタフェース
通信インタフェース１１２は、画像処理装置１００と他の装置との間の通信を仲介するモジュールである。通信インタフェース１１２は、任意の無線通信プロトコル又は有線通信プロトコルに従って、通信接続を確立する。

（７）車両ＮＷインタフェース
車両ＮＷインタフェース１１３は、画像処理装置１００が搭載される車両の車両ネットワークとの間の通信を仲介するモジュールである。車両ＮＷインタフェース１１３は、例えば、図示しない端子を介して車両ネットワークに接続され、車速データ及び舵角（ステアリング角度）データなどの車両側で生成されるデータを取得する。

（８）ストレージ
ストレージ１１４は、画像データを蓄積し、及び画像処理装置１００により実行される画像処理において利用されるデータベースを記憶する記憶デバイスである。ストレージ１１４は、半導体メモリ又はハードディスクなどの記憶媒体を内蔵する。なお、本明細書で説明するプログラム及びデータは、画像処理装置１００の外部のデータソース（例えば、データサーバ、ネットワークストレージ又は外付けメモリなど）から取得されてもよい。

（９）バス
バス１１６は、カメラモジュール１０２、センサモジュール１０４、入力インタフェース１０６、メモリ１０８、ディスプレイ１１０、通信インタフェース１１２、車両ＮＷインタフェース１１３、ストレージ１１４及びプロセッサ１１８を相互に接続する。

（１０）プロセッサ
プロセッサ１１８は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）などの処理モジュールである。プロセッサ１１８は、メモリ１０８又は他の記憶媒体に記憶されるプログラムを実行することにより、改善された画質を有するカラー画像を生成するための後述する機能を動作させる。

図４は、車両におけるカメラ及びディスプレイの配置のいくつかの例を示す説明図である。図４には、一例としての車両１の簡易平面図が実線で示されている。例えば、カメラ１０２ａは、車両１の車体前部中央に配置され、車両１の前方に向けられる。カメラ１０２ｂは、車体後部中央に配置され、車両１の後方に向けられる。カメラ１０２ｃは、車両１の両側部に複数配置され、車両１の側面方向に向けられる。図３に示したカメラモジュール１０２は、これらカメラ１０２ａ、１０２ｂ及び１０２ｃ、並びに他の配置を有する他のカメラ、のいかなる組合せを有していてもよい。

ディスプレイ１１０ａは、ダッシュボード上又はその近傍に配置され、典型的にはナビゲーション装置と共用される。ディスプレイ１１０ｂは、ルームミラーに配置され、例えばカメラ１０２ｂにより撮像される車体後方の画像を表示する。ディスプレイ１１０ｃは、運転者により装着されるウェアラブル装置（例えば、ヘッドマウントディスプレイ）である。図３に示したディスプレイ１１０は、これらディスプレイ１１０ａ、１１０ｂ及び１１０ｃ、並びに他の配置を有する他のディスプレイ、のいかなる組合せを有していてもよい。なお、図３に示したカメラモジュール１０２及びディスプレイ１１０並びにいくつかのその他の構成要素は、画像処理装置１００の外部に存在し、画像処理装置１００と信号線で接続されてもよい。

［２−２．機能構成］
図５は、図３に示した画像処理装置１００の構成要素が互いに連係することにより実現される論理的機能の構成の一例を示すブロック図である。図５を参照すると、画像処理装置１００は、画像取得部１２０、データ取得部１３０、判定部１４０、生成部１６０及びデータベース１７０を備える。

（１）画像取得部
画像取得部１２０は、共通する被写体を映した遠赤外（ＦＩＲ）画像、近赤外（ＮＩＲ）画像及び可視光画像をカメラモジュール１０２から取得し、取得した画像を判定部１４０及び生成部１６０へ出力する。画像取得部１２０により取得される画像は、信号の増幅、デモザイク及びノイズ除去などのプリミティブな処理を経た画像であってよい。また、画像取得部１２０は、必要に応じて、画像のキャリブレーション、波長成分の分離及び視点の統合といった、カラー画像の生成のための予備的処理を行う。なお、本明細書では、ＦＩＲ画像及びＮＩＲ画像をも考慮して画質の改善された画像をカラー画像といい、画質改善前の可視光カメラにより撮像された画像を可視光画像という（可視光画像もまた、色を有する）。

図６Ａ〜図６Ｄは、画像の取得に関連する処理の例を、対応するカメラモジュール１０２の構成例と共にそれぞれ示している。図６Ａに示した第１の例において、カメラモジュール１０２は、可視光画像を撮像するイメージセンサ１０２ａ−１、ＮＩＲ画像を撮像するイメージセンサ１０２ａ−２及びＦＩＲ画像を撮像するイメージセンサ１０２ａ−３を含む。これらイメージセンサは、互いに異なる基板上にあるため、原始的に撮像される可視光画像、ＮＩＲ画像及びＦＩＲ画像は、画角におけるズレを包含する。そこで、画像取得部１２０は、画像間の画角のズレを補償するためのキャリブレーション１２１を実行する。キャリブレーション１２１は、画角のズレのみならず、空間解像度の相違、時間解像度の相違及び収差を解消する処理をも含んでよい。空間解像度の相違は、より解像度の低い画像における画素値の補間、又はより解像度の高い画像における画素の間引きによって解消され得る。時間解像度（即ち、フレームレート）の相違は、フレームの補間又はフレームの間引きによって解消され得る。収差（例えば、色収差及び単色収差）は、画像取得部１２０での画素演算によって軽減されてもよく、又は光学系において補正されてもよい。

図６Ｂに示した第２の例において、カメラモジュール１０２は、可視光画像及びＮＩＲ画像を撮像する単板のイメージセンサ１０２ａ−４及びＦＩＲ画像を撮像するイメージセンサ１０２ａ−３を含む。第２の例では、可視光画像とＮＩＲ画像との間に画角のズレはなく、よってキャリブレーション１２２は、ＦＩＲ画像に関連する画角のズレの補償と、その他の上述した処理とを含み得る。さらに、単板のイメージセンサ１０２ａ−４においては、撮像画像に、可視光領域とＮＩＲ領域との間の波長の相関に起因する混色（例えば、Ｒ（赤）成分がＮＩＲ画素値に影響を与える、など）が生じることがある。そこで、画像取得部１２０は、可視光画像とＮＩＲ画像との間で混ざり合った波長成分を分離するための成分分離処理１２３（例えば、成分分離用のフィルタ演算）を実行し得る。

図６Ｃに示した第３の例において、カメラモジュール１０２は、可視光画像、ＮＩＲ画像及びＦＩＲ画像を撮像する単板のイメージセンサ１０２ａ−５を含む。第３の例では、３種類の画像の間に画角のズレはない。但し、撮像画像には、可視光領域、ＮＩＲ領域及びＦＩＲ領域の間の波長の相関に起因する混色が生じている可能性があるため、画像取得部１２０は、それぞれの波長成分を分離するための成分分離処理１２４を実行し得る。

図６Ｄに示した第４の例において、カメラモジュール１０２は、隣接する（部分的に重複し得る）画角で可視光画像を撮像するイメージセンサ１０２ｃ−１及び１０２ｃ−４、隣接する（部分的に重複し得る）画角でＮＩＲ画像を撮像するイメージセンサ１０２ｃ−２及び１０２ｃ−５、並びに隣接する（部分的に重複し得る）画角でＦＩＲ画像を撮像するイメージセンサ１０２ｃ−３及び１０２ｃ−６を含む。画像取得部１２０は、例えば、イメージセンサ１０２ｃ−１及び１０２ｃ−４からの可視光画像を画角の境界において結合するための視点マージ処理１２５ａを実行して、よりサイズの大きい単一の可視光画像を生成し得る。同様に、画像取得部１２０は、視点マージ処理１２５ｂを通じて単一のＮＩＲ画像を、視点マージ処理１２５ｃを通じて単一のＦＩＲ画像をそれぞれ生成し得る。画像取得部１２０は、これら可視光画像、ＮＩＲ画像及びＦＩＲ画像についてもキャリブレーション１２６を実行し、画角のズレ、空間解像度の相違、時間解像度の相違及び収差を解消する。

（２）データ取得部
データ取得部１３０は、画像処理装置１００におけるカラー画像の生成のために利用される画像以外の様々なデータを取得する。例えば、データ取得部１３０は、センサモジュール１０４から画像処理装置１００の地理的位置を示す測位データを、通信インタフェース１１２を介して外部のデータサーバから天候データを取得してもよい。測位データ及び天候データは、後述する判定部１４０による撮像条件の判定の際に、現在地の天候を判定するために利用される。なお、天候データは、入力インタフェース１０６を介してユーザにより入力されてもよい。また、データ取得部１３０は、センサモジュール１０４から照度データ、温度データ及び湿度データを取得してもよい。これらデータもまた、判定部１４０による撮像条件の判定のために利用され得る。

また、データ取得部１３０は、車両ＮＷインタフェース１１３を介して車両ネットワークから車速データ及び舵角データを含むドライビングデータを取得してもよい。ドライビングデータは、例えば、画像取得部１２０によるフレームレート変換の際に、動き予測又は動きボケ補正のために利用され得る。

（３）判定部
判定部１４０は、ＦＩＲ画像、ＮＩＲ及び可視光画像が撮像された際の撮像条件を判定する。本実施形態において、撮像条件は、時間帯、天候及び環境照度のうちの１つ以上を含む。例えば、判定部１４０は、現在時刻が属する時間帯を判定する。時間帯は、例えば「日中」及び「夜間」の２種類、「朝」、「昼」、「夕方」及び「夜」の４種類など、どのように区分されてもよい。また、判定部１４０は、測位データにより示される現在地の天候を、外部サーバから取得され又はユーザにより入力される天候データを参照することにより判定し得る。天候の定義もまたどのような定義であってもよい。一例として、判定部１４０は、その時点の天候を「晴れ」、「曇り」、「雨」、「雪」及び「霧」のいずれかに分類し得る。判定部１４０は、天候データから天候を判定する代わりに、温度データ及び湿度データから現在地の天候を推定してもよい。また、判定部１４０は、センサモジュール１０４からの照度データに基づいて、環境照度を判定し得る。判定部１４０は、これら判定の結果を示す撮像条件情報を、生成部１６０へ出力する。

（４）生成部
生成部１６０は、ＦＩＲ画像、ＮＩＲ画像及び可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する。ＦＩＲ画像から選択される画素は、例えば、環境光に乏しい状況下での被写体の識別、特に生体領域の色彩を強調することに寄与する。ＮＩＲ画像から選択される画素もまた、環境光に乏しい状況下での被写体の識別に寄与するが、近赤外線の照射の作用にも起因して、特に被写体のディテールの鮮明化に寄与する。また、可視光よりも直進性の強い赤外線は、雨又は霧の条件下での視認性の高い画像の生成にも寄与する。可視光画像から選択される画素は、カラー画像に色情報を直接的に提供する。

本実施形態において、生成部１６０は、判定部１４０により判定される撮像条件に依存して異なるフィルタ構成で、カラー画像の生成のためのフィルタリングを実行する。以下、図７〜図１２を用いて撮像条件のいくつかの例と対応するフィルタ構成の例とを説明する。

図７は、撮像条件の第１の例について説明するための説明図である。図７を参照すると、例示的な可視光画像Ｉｍ１１が示されている。可視光画像Ｉｍ１１が撮像された際の天候は「晴れ」であり、時間帯は「昼」である。即ち、可視光画像Ｉｍ１１に関連付けられる撮像条件Ｃ１は、「晴れ」及び「昼」の組合せを表す。図８は、撮像条件Ｃ１に対応するフィルタ構成の一例について説明するための説明図である。図８を参照すると、１次元の波長方向の軸と２次元の空間方向の軸とが示されており、さらに可視光（ＲＧＢ）画像、ＮＩＲ画像及びＦＩＲ画像が対応する波長位置に部分的に示されている。なお、可視光画像は、実際には３つの波長成分を有するが、ここでは説明の簡明さのために１つの波長位置に集約されている。なお、可視光画像は、図示した例に限定されず、ＲＧＢ以外の表色系で表現されてもよい。図８の各画像の格子は画素の配列を意味し、太線の矩形は１つの注目画素の画素位置を示している。各画素に付された網掛けの濃さは、当該画素に割り当てられるフィルタ係数（即ち、フィルタ演算における重み）を表現する。撮像条件Ｃ１は、上述したように「晴れ」及び「昼」の組合せを表しており、従って可視光画像からより多くの画素がフィルタタップとして選択され、かつ可視光画像の画素により大きいフィルタ係数が与えられている。

図９は、撮像条件の第２の例について説明するための説明図である。図９を参照すると、例示的な可視光画像Ｉｍ１２が示されている。可視光画像Ｉｍ１２が撮像された際の天候は「晴れ」であり、時間帯は「夜」である。即ち、可視光画像Ｉｍ１２に関連付けられる撮像条件Ｃ２は、「晴れ」及び「夜」の組合せを表す。図１０は、撮像条件Ｃ２に対応するフィルタ構成の一例について説明するための説明図である。図１０の例では、夜間の撮像において可視光画像に現れ易いノイズの影響を低減するために可視光画像からより広い範囲内の画素がフィルタタップとして選択され、それに加えてＮＩＲ画像及びＦＩＲ画像からも（撮像条件Ｃ１と比較して）より多くの画素が選択されている。また、ＮＩＲ画像の注目画素に、最も大きいフィルタ係数が与えられている。

図１１は、撮像条件の第３の例について説明するための説明図である。図１１を参照すると、例示的な可視光画像Ｉｍ１３が示されている。可視光画像Ｉｍ１３が撮像された際の天候は「霧」であり、時間帯は「昼」である。即ち、可視光画像Ｉｍ１３に関連付けられる撮像条件Ｃ３は、「霧」及び「昼」の組合せを表す。図１２は、撮像条件Ｃ３に対応するフィルタ構成の一例について説明するための説明図である。図１２の例では、光の散乱の影響を考慮して各画像からからより広い範囲内の画素がフィルタタップとして選択され、かつ直進性の強い遠赤外線を活用するためにＦＩＲ画像の注目画素により大きいフィルタ係数が与えられている。

上述したフィルタ構成は、説明のための例に過ぎない。画像ごとのフィルタタップの数及び配置、並びにフィルタタップごとのフィルタ係数は、どのように構成されてもよい。撮像条件のうちのいくつかについては、ＦＩＲ画像、ＮＩＲ画像及び可視光画像のうちの１つ又は２つからフィルタタップが選択されなくてもよい。一例として、生成部１６０は、学習処理を通じて事前に決定されるフィルタ構成で、フィルタリングを実行し得る。フィルタ構成を決定するための事前の学習処理では、ある被写体を映した（必要に応じてキャリブレーションされた）ＦＩＲ画像、ＮＩＲ画像及び可視光画像のセットと、良好な撮像条件下で同じ被写体を映した（即ち、十分に画質の良好な）カラー画像との組合せが、多数用意される。これら画像は、教師あり学習における生徒画像と教師画像とに相当する。そして、例えば、ブースティング又はサポートベクタマシンといった既存のアルゴリズムに従って、ＦＩＲ画像、ＮＩＲ画像及び可視光画像のセットから画質の良好なカラー画像を生成するためのフィルタ構成が決定される。こうした学習を、撮像条件の候補ごとに別個に行うことで、個々の撮像条件のために最適化されたフィルタ構成を別々に決定することができる。例えば、データベース１７０は、このように事前に学習される撮像条件ごとのフィルタ構成を示すフィルタ構成データを記憶する。

生成部１６０は、例えば、判定部１４０から入力される撮像条件情報により示される撮像条件に対応するフィルタ構成データをデータベース１７０から取得し、取得したフィルタ構成データにより示されるフィルタタップとフィルタ係数とを設定する。そして、生成部１６０は、画像取得部１２０から入力される画像の画素を順次スキャンしながら、設定したフィルタ構成でのフィルタリングを繰り返すことにより、カラー画像を生成する。

生成部１６０は、生成したカラー画像をディスプレイ１１０の画面に表示させてもよい。また、生成部１６０は、生成したカラー画像を後段のアプリケーションへ出力してもよい。後段のアプリケーションは、例えば、ＡＤＡＳ（Advanced Driver Assistance Systems）等の運転支援アプリケーションであってよい。運転支援アプリケーションは、例えば、生成部１６０により生成されるカラー画像に基づいて、歩行者検知、衝突警報の報知又は駐車支援情報の提示などの運転支援処理を実行し得る。

一変形例において、生成部１６０は、判定部１４０により判定される撮像条件と学習時の撮像条件との差に基づいてフィルタ係数を調整し、調整したフィルタ係数を用いて上記フィルタリングを実行してもよい。この変形例では、撮像条件は数値によって表現される。例えば、時間帯が、最も暗い夜間を下限、最も明るい正午を上限とする所定のレンジ内の数値で表現されてもよい。また、天候が、雲量のような数値で表現されてもよい。また、時間帯、天候及び環境照度の組合せに基づく統合的な数値が計算されてもよい。事前の学習処理では、代表的な（離散的な）いくつかの撮像条件値について最適なフィルタ構成が決定され、決定されたフィルタ構成を示すフィルタ構成データがデータベース１７０に格納される。生成部１６０は、判定部１４０により判定された撮像条件に最も近い条件で学習されたフィルタ構成データをデータベース１７０から取得し、取得したフィルタ構成データにより示されるフィルタ係数を撮像条件の差に基づいて調整して、カラー画像の生成のために使用する。例えば、学習時よりも現在時刻がより暗い時刻になっていれば、生成部１６０は、可視光画像の画素の重みを引き下げ、代わりにＮＩＲ画像及びＦＩＲ画像の画素の重みを引き上げてもよい。こうした調整によって、撮像条件の連続的な変化に追随して、カラー画像の生成のためのフィルタ構成をも連続的に変化させることが可能となる。それにより、カラー画像の見え方が唐突かつ不連続に変わってしまうような不自然なカラー映像がユーザ又は後段のアプリケーションに提供されることを防止することができる。

（５）データベース
データベース１７０は、撮像条件の候補ごとに予め決定されるフィルタ構成を示す上述したフィルタ構成データの複数のセットを記憶する。フィルタ構成データの各セットは、ＦＩＲ画像、ＮＩＲ画像及び可視光画像の各々から選択すべきフィルタタップの画素位置と、それぞれのフィルタタップに適用すべきフィルタ係数とを示す。フィルタ構成データの各セットには、対応する撮像条件を識別する撮像条件情報が関連付けられる。

［２−３．処理の流れ］
（１）カラー画像生成処理
図１３は、第１の実施形態に係るカラー画像生成処理の流れの一例を示すフローチャートである。図１３に示したカラー画像生成処理は、典型的には、映像を構成する一連のフレームの各々について繰り返される。

まず、カメラモジュール１０２は、ＦＩＲ領域、ＮＩＲ領域及び可視光領域において、被写体を映した原画像を撮像する（ステップＳ１００）。次に、画像取得部１２０は、カメラモジュール１０２により撮像された原画像に必要に応じてキャリブレーション等の予備的処理を行い、ＦＩＲ画像、ＮＩＲ画像及び可視光画像を取得する（ステップＳ１０５）。

次に、データ取得部１３０は、画像処理装置１００におけるカラー画像の生成のために利用される補助データを取得する（ステップＳ１１０）。ここで取得される補助データは、測位データ、天候データ、照度データ、温度データ及び湿度データのうちのいくつかを含み得る。

次に、判定部１４０は、例えばデータ取得部１３０から入力される補助データを用いて、カメラモジュール１０２により画像が撮像された際の撮像条件を判定する（ステップＳ１２０）。そして、判定部１４０は、時間帯、天候及び環境照度のうちの１つ以上を含む判定した撮像条件を示す撮像条件情報を、生成部１６０へ出力する。

次に、生成部１６０は、判定部１４０により判定された撮像条件に対応するフィルタ構成データをデータベース１７０から取得し、取得したフィルタ構成データにより示されるフィルタ構成を設定する（ステップＳ１４０）。そして、生成部１６０は、設定したフィルタ構成で、画像取得部１２０から入力されるＦＩＲ画像、ＮＩＲ画像及び可視光画像をフィルタリングすることにより、カラー画像を生成する（ステップＳ１５０）。

次に、生成部１６０は、後段のアプリケーションが存在する場合には（ステップＳ１６０）、生成したカラー画像を当該アプリケーション（例えば、運転支援アプリケーション）へ出力する（ステップＳ１６５）。そして、生成部１６０（又は後段のアプリケーション）は、カラー画像をディスプレイ１１０の画面に表示させる（ステップＳ１７０）。

（２）フィルタ構成設定処理
図１４Ａは、図１３のステップＳ１４０において実行され得るフィルタ構成設定処理の流れの第１の例を示すフローチャートである。図１４Ａを参照すると、まず、生成部１６０は、例えば判定部１４０から入力される撮像条件情報により示される撮像条件を用いたルックアップにより、当該撮像条件に対応するフィルタ構成データをデータベース１７０から取得する（ステップＳ１４１）。次に、生成部１６０は、取得したフィルタ構成データに従って、ＦＩＲ画像、ＮＩＲ画像及び可視光画像の画素を含み得るフィルタタップを設定する（ステップＳ１４３）。また、生成部１６０は、設定したフィルタタップに、フィルタ構成データにより示されるフィルタ係数をそれぞれ設定する（ステップＳ１４５）。

図１４Ｂは、図１３のステップＳ１４０において実行され得るフィルタ構成設定処理の流れの第２の例を示すフローチャートである。図１４Ｂを参照すると、まず、生成部１６０は、判定部１４０により判定された撮像条件に対応するフィルタ構成データをデータベース１７０から取得する（ステップＳ１４１）。次に、生成部１６０は、取得したフィルタ構成データに従って、ＦＩＲ画像、ＮＩＲ画像及び可視光画像の画素を含み得るフィルタタップを設定する（ステップＳ１４３）。また、生成部１６０は、フィルタ構成データにより示されるフィルタ係数を、判定部１４０により判定された撮像条件と学習時の撮像条件との差に基づいて調整する（ステップＳ１４７）。そして、生成部１６０は、ステップＳ１４３において設定したフィルタタップに、調整したフィルタ係数をそれぞれ設定する（ステップＳ１４９）。

＜３．第２の実施形態＞
前節で説明した第１の実施形態では、１つのカラー画像を生成する際に１種類のフィルタ構成が使用される。これに対し、第２の実施形態では、画像がいくつかの部分領域にセグメント化され、部分領域ごとに最適なフィルタ構成が使用される。こうしたフィルタ構成の切り替え又は適応的な選択によって、カラー画像のさらなる画質の改善を見込むことができる。

［３−１．機能構成］
第２の実施形態に係る画像処理装置２００のハードウェア構成は、図３を用いて説明した画像処理装置１００のハードウェア構成と同様であってよい。図１５は、第２の実施形態に係る画像処理装置２００の論理的機能の構成の一例を示すブロック図である。図１５を参照すると、画像処理装置２００は、画像取得部１２０、データ取得部２３０、判定部１４０、認識部２５０、生成部２６０及びデータベース２７０を備える。

（１）データ取得部
データ取得部２３０は、画像処理装置２００におけるカラー画像の生成のために利用される補助データを取得する。例えば、データ取得部２３０は、第１の実施形態に係るデータ取得部１３０と同様に、センサモジュール１０４から測位データを、通信インタフェース１１２を介して外部のデータサーバから（又はユーザにより入力される）天候データを取得してもよい。また、データ取得部１３０は、センサモジュール１０４から照度データ、温度データ及び湿度データを取得してもよい。また、データ取得部１３０は、車両ＮＷインタフェース１１３を介して車両ネットワークからドライビングデータを取得してもよい。また、本実施形態において、データ取得部２３０は、深度センサにより測定された被写体への距離を画素ごとに示す深度データ（深度マップともいう）を、センサモジュール１０４から取得してもよい。深度データは、後述する認識部１５０における画像のセグメント化又は生成部１６０におけるフィルタ構成の設定のために利用され得る。

（２）認識部
認識部２５０は、画像取得部１２０から入力されるＦＩＲ画像、ＮＩＲ画像及び可視光画像のうちの少なくとも１つにおいて、画像を複数の部分領域にセグメント化する。そして、認識部２５０は、セグメント化した個々の部分領域を特定する領域情報を生成し、生成した領域情報を生成部２６０へ出力する。ここでの領域情報は、各領域の位置、サイズ及び形状を示す情報であってもよく、又は各領域に属する画素のビット値が“１”をそれ以外の画素のビット値が“０”を示すようなビットマップであってもよい。また、領域情報は、各領域の種別（生体領域若しくは物体領域）及び識別情報（領域ＩＤなど）を含んでもよい。

例えば、認識部２５０は、画像内で生体が映る生体領域を認識する。ここでの生体とは、人体のみであってもよく、又は人体に加えて動物の体を含んでもよい。認識部２５０は、任意の既存の人体認識技術（例えば、既知の人体の画像特徴量に基づく技術など）を用いて可視光画像又はＮＩＲ画像内の人体領域を認識してもよい。また、認識部２５０は、ＦＩＲ画像において相対的に高い階調値を示す領域を生体領域として認識してもよい。認識部２５０は、画像内で１つ以上の生体領域が認識されると、認識された生体領域の各々を特定する生体領域情報を生成する。また、認識部２５０は、任意の既存の物体認識技術を用いて、画像内で予め定義される物体が映る物体領域を認識してもよい。ここでの物体とは、例えば、車両、信号機又は道路標識などを含み得る。この場合、認識部２５０は、画像内で認識された物体領域の各々を特定する物体領域情報を生成する。認識部２５０は、データ取得部２３０により取得される深度データを用いて、画像に映るある生体又は物体と（例えば重なって見える）他の生体又は物体とを区別してもよい。

図１６は、認識部２５０により実行される領域認識処理の一例について説明するための説明図である。図１６の左には、一例としての可視光画像Ｉｍ２１が示されている。可視光画像Ｉｍ２１には、２人の人物と１台の車両とが映っている。図１６の右は、可視光画像Ｉｍ２１について認識部２５０により領域認識処理が実行された結果を示している。領域認識処理の結果として、可視光画像Ｉｍ２１は４つの領域Ｒ０、Ｒ１１、Ｒ１２及びＲ２にセグメント化されている。領域Ｒ１１及びＲ１２は、それぞれ１人の人物が映る生体領域である。領域Ｒ２は、車両が映る物体領域であって、非生体領域である。領域Ｒ０は、被写体が映っていない非生体領域である。

（３）生成部
生成部２６０は、ＦＩＲ画像、ＮＩＲ画像及び可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する。より具体的には、生成部２６０は、第１の実施形態に係る生成部１６０と同様に、判定部１４０により判定される撮像条件に依存して異なるフィルタ構成で、カラー画像の生成のためのフィルタリングを実行する。さらに、本実施形態において、生成部２６０は、認識部２５０から入力される領域情報に依存して、カラー画像の生成のためのフィルタ構成を変化させる。一例として、生成部２６０は、非生体領域のために使用されるフィルタ構成とは異なるフィルタ構成で、生体領域についてのフィルタリングを実行してもよい。また、生成部２６０は、カメラから生体までの距離に依存してさらに異なるフィルタ構成で、生体領域についてのフィルタリングを実行してもよい。

図１７Ａ及び図１７Ｂは、図１６に例示した領域認識処理の結果に基づいて、生成部２６０により領域ごとに設定され得るフィルタ構成の例をそれぞれ示している。図１７Ａに示した第１の例では、ある撮像条件に対応するフィルタ構成として、生体領域用のフィルタ構成Ｆ１１及び非生体領域用のフィルタ構成Ｆ１２が設定されている。フィルタ構成Ｆ１１は、領域Ｒ１１及びＲ１２に適用される。フィルタ構成Ｆ１２は、領域Ｒ０及びＲ１に適用される。生体領域用のフィルタ構成Ｆ１１は、例えば、非生体領域用のフィルタ構成Ｆ１２と比較して、より生体の識別性を高めるためのフィルタ係数を有する。図１７Ｂに示した第２の例では、ある撮像条件に対応するフィルタ構成として、生体領域Ｒ１１用の第１のフィルタ構成Ｆ２１、生体領域Ｒ１２用の第２のフィルタ構成Ｆ２２、物体領域Ｒ２用の第３のフィルタ構成Ｆ２３、及び非生体領域Ｒ０用の第４のフィルタ構成Ｆ２４が設定されている。例えば、深度データに従ってより近くの人体が映っていると推定される生体領域Ｒ１１用の第１のフィルタ構成Ｆ２１は、他のフィルタ構成と比較して、より輝度又は彩度を高めるためのフィルタ係数を有していてもよい。これらフィルタ構成は、撮像条件が変化すればまた異なる構成となる。本実施形態においては、撮像条件及び領域の種別の組合せごとに（又はさらに被写体までの距離の代表値ごとに）、学習処理を通じて事前に最適なフィルタ構成が決定され得る。

生成部２６０は、例えば、認識部２５０から入力される領域情報に従って、領域ごとに、当該領域の種別と撮像条件情報により示される撮像条件との組合せに対応するフィルタ構成データをデータベース２７０から取得する。そして、生成部２６０は、取得したフィルタ構成データにより示されるフィルタ構成で、画像取得部１２０から入力される画像の画素を順次スキャンしながらフィルタリングを繰り返すことにより、カラー画像を生成する。

生成部２６０は、生成したカラー画像をディスプレイ１１０の画面に表示させてもよい。また、生成部２６０は、生成したカラー画像を、運転支援アプリケーションなどの後段のアプリケーションへ出力してもよい。また、生成部２６０は、アプリケーション支援情報を後段のアプリケーションへ出力してもよい。ここでのアプリケーション支援情報は、例えば次のリストのうちの１つ以上を含み得る：
ａ）生体領域情報及び物体領域情報のうちの少なくとも１つを含む領域情報
ｂ）ａ）の各領域について計算される尤度情報
ｃ）生体認識又は物体認識に付随して計算され得る画像特徴量
ｄ）カラー画像の生成に付随して計算され得る色別確率分布
例えば、夜間のＦＩＲ画像における各領域の階調値は、その領域に生体が映っている尤もらしさとの強い相関を有する。そこで、ＦＩＲ画像を用いて生成されるｂ）尤度情報をａ）生体領域情報と共に運転支援アプリケーションに提供することで、運転支援アプリケーションにおける歩行者検出などの処理の正確性向上に寄与することができる。また、上述したアプリケーション支援情報は、重複する情報の後段のアプリケーションにおける冗長的な生成（例えば、再度の画像のセグメント化、又は画像特徴量の算出）を回避するために再利用されてもよい。

（４）データベース
データベース２７０は、撮像条件の候補及び領域種別の組合せごとに予め決定されるフィルタ構成を示すフィルタ構成データの複数のセットを記憶する。フィルタ構成データの各セットには、対応する撮像条件を識別する撮像条件情報と、領域種別とが関連付けられる。フィルタ構成データの各セットには、さらにカメラから被写体までの距離の代表値が関連付けられてもよい。また、データベース２７０は、認識部２５０による領域認識処理において利用され得る（人体、生体又は物体の）画像特徴量データを記憶してもよい。

［３−２．処理の流れ］
図１８は、第２の実施形態に係るカラー画像生成処理の流れの一例を示すフローチャートである。図１８に示したカラー画像生成処理は、典型的には、映像を構成する一連のフレームの各々について繰り返される。

まず、カメラモジュール１０２は、ＦＩＲ領域、ＮＩＲ領域及び可視光領域において、被写体を映した原画像を撮像する（ステップＳ１００）。次に、画像取得部１２０は、カメラモジュール１０２により撮像された原画像に必要に応じてキャリブレーション等の予備的処理を行い、ＦＩＲ画像、ＮＩＲ画像及び可視光画像を取得する（ステップＳ１０５）。

次に、データ取得部２３０は、画像処理装置２００におけるカラー画像の生成のために利用される補助データを取得する（ステップＳ２１０）。ここで取得される補助データは、撮像条件の判定のために利用されるデータに加えて、深度データを含み得る。

次に、判定部１４０は、例えばデータ取得部２３０から入力される補助データを用いて、カメラモジュール１０２により画像が撮像された際の撮像条件を判定する（ステップＳ１２０）。そして、判定部１４０は、判定した撮像条件を示す撮像条件情報を、生成部２６０へ出力する。

次に、認識部２５０は、画像に映る生体を検出することにより、画像内の生体領域を認識する（ステップＳ２３０）。次に、生成部２６０は、判定された撮像条件に対応する生体領域用のフィルタ構成データをデータベース２７０から取得し、取得したフィルタ構成データにより示されるフィルタ構成を生体領域に設定する（ステップＳ２４０）。なお、画像に生体が映っていない場合には、ステップＳ２４０は省略される。また、生成部２６０は、判定された撮像条件に対応する非生体領域用のフィルタ構成データをデータベース２７０から取得し、取得したフィルタ構成データにより示されるフィルタ構成を非生体領域に設定する（ステップＳ２４５）。

そして、生成部２６０は、設定した（領域種別ごとに異なる）フィルタ構成で、画像取得部１２０から入力されるＦＩＲ画像、ＮＩＲ画像及び可視光画像をフィルタリングすることにより、カラー画像を生成する（ステップＳ２５０）。

次に、生成部２６０は、後段のアプリケーションが存在する場合には（ステップＳ２６０）、生成したカラー画像及びアプリケーション支援情報を当該アプリケーション（例えば、運転支援アプリケーション）へ出力する（ステップＳ２６５）。そして、生成部２６０（又は後段のアプリケーション）は、カラー画像をディスプレイ１１０の画面に表示させる（ステップＳ１７０）。

ここでは、主に領域種別に基づいて画像の部分領域ごとにフィルタ構成が切り替えられる例を説明した。しかしながら、上述した例に限定されず、フィルタ構成は、例えば画素ごとに切り替えられてもよい。また、（部分領域ごとか画素ごとかに関わらず）フィルタ構成の切り替えは、他の任意の情報に基づいて行われてもよい。例えば、ＦＩＲ画像、ＮＩＲ画像及び可視光画像のうちの少なくとも１つのエッジ強度、帯域又はアクティビティといった局所的な画像特徴量に基づいて、フィルタ構成が適応的に選択されてもよい。ＦＩＲ画像とＮＩＲ画像との間の相互相関といった、異なる種類の画像にまたがる画像特徴量が利用されてもよい。また、上述した撮像条件及び領域種別の一方又は双方とここで例示した画像特徴量のうちの１つ以上との組合せが利用されてもよい。画像特徴量と最適なフィルタ構成との関連付けは、学習処理を通じて決定されてもよく、又は開発者によりモデル化され若しくはチューニングされてもよい。

＜４．応用例＞
本開示に係る技術は、実装レベルの異なる様々な形態の製品に応用可能である。図１９は、本開示に係る技術のいくつかの応用例について説明するための説明図である。図１９に示した一例としての車両１は、車載システム１０を含む。車載システム１０は、画像処理システム２０、アプリケーションモジュール３０及び１つ以上の周辺モジュール４０を有する。画像処理システム２０は、カメラモジュール１０２と、カメラモジュール１０２に接続される画像処理モジュール１００又は２００とを含む。画像処理モジュール１００又は２００は、単一のチップ（又はプロセッサ）から構成されてもよく、又は複数のチップの集合であってもよい。アプリケーションモジュール３０は、接続端子及び信号線を介して画像処理システム２０に接続される。アプリケーションモジュール３０は、画像処理モジュール１００又は２００により生成されるカラー画像を受信し、受信したカラー画像に基づいてアプリケーションを実行する。アプリケーションモジュール３０は、例えばＣＰＵ又はＳｏＣ（System-on-a-chip）などの形態で実装され得る。周辺モジュール４０は、例えばディスプレイを含み、アプリケーションモジュール３０により加工されるカラー画像がディスプレイの画面上に表示される。

＜５．まとめ＞
ここまで、図１〜図１９を用いて、本開示に係る技術の様々な実施形態について詳細に説明した。上述した実施形態によれば、共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像が取得され、取得された遠赤外画像、近赤外画像及び可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像が生成される。かかる構成によれば、遠赤外画像、近赤外画像及び可視光画像のそれぞれの性質を活用して、生成されるカラー画像の画質を効果的に改善することができる。例えば、遠赤外画像は、特に生体の視認性が重要視される用途において、画像内のどの領域をより鮮明に表現すべきかの情報を提供し、生体領域の色彩の強調に寄与する。近赤外画像は、環境光に乏しい状況下で、被写体のディテールの鮮明化に寄与する。可視光画像は、カラー画像に色情報を直接的に提供する。こうした画像の種別ごとの性質の統合的な活用によって、既存の技術では達成されない高い画質を有するカラー画像を提供することが可能となる。

また、上述した実施形態によれば、入力画像が撮像された際の撮像条件に依存して異なるフィルタ構成で、上記フィルタリングが実行される。従って、時間の推移又は天候の変化等の撮像条件の変化に対して、３種類の画像を適応的に組合せることでよりロバストに高画質のカラー画像を生成することが可能である。

また、上述した実施形態によれば、学習処理を通じて事前に決定されるフィルタ構成で、上記フィルタリングが実行される。従って、リアルタイム性が重要視されるような用途においても、迅速にフィルタ構成を設定し又は適応的に変化させて、有意な遅延なく高画質のカラー画像を安定的に生成することが可能である。

また、ある実施形態によれば、いずれかの入力画像において生体が映る生体領域が認識され、非生体領域のために使用されるフィルタ構成とは異なるフィルタ構成で、生体領域についての上記フィルタリングが実行される。従って、生体を背景に埋没させることなく、カラー画像において生体を強調的に表示すること、また後段の処理において生体の認識の確実性を高めることが可能である。

また、ある実施形態によれば、カメラから被写体までの距離に依存して異なるフィルタ構成で、その被写体が映る領域についての上記フィルタリングが実行される。従って、例えば運転支援の用途において、運転者が注意すべき近傍の歩行者又は障害物などの対象物をカラー画像において特に強調することが可能である。

なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵ（Central Processing Unit）などのプロセッサにより実行される。

また、本明細書においてフローチャートを用いて説明した処理は、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果と共に、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得する画像取得部と、
前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する生成部と、
を備える画像処理装置。
（２）
前記画像処理装置は、前記遠赤外画像、前記近赤外画像及び前記可視光画像が撮像された際の撮像条件を判定する判定部、をさらに備え、
前記生成部は、前記判定部により判定される前記撮像条件に依存して異なるフィルタ構成で、前記フィルタリングを実行する、
前記（１）に記載の画像処理装置。
（３）
前記生成部は、学習処理を通じて事前に決定される前記フィルタ構成で、前記フィルタリングを実行する、前記（２）に記載の画像処理装置。
（４）
前記生成部は、前記判定部により判定される前記撮像条件と学習時の撮像条件との差に基づいて調整されるフィルタ係数を用いて、前記フィルタリングを実行する、前記（３）に記載の画像処理装置。
（５）
前記撮像条件は、時間帯、天候及び環境照度のうちの１つ以上を含む、前記（２）〜（４）のいずれか１項に記載の画像処理装置。
（６）
前記画像処理装置は、
前記遠赤外画像、前記近赤外画像及び前記可視光画像のうちの少なくとも１つにおいて生体が映る生体領域を認識する認識部、
をさらに備え、
前記生成部は、非生体領域のために使用されるフィルタ構成とは異なるフィルタ構成で、前記生体領域についての前記フィルタリングを実行する、
前記（１）〜（５）のいずれか１項に記載の画像処理装置。
（７）
前記生成部は、カメラから前記生体までの距離に依存して異なるフィルタ構成で、前記生体領域についての前記フィルタリングを実行する、前記（６）に記載の画像処理装置。
（８）
前記認識部は、認識した前記生体領域を特定する生体領域情報を生成し、
前記生成部は、前記カラー画像と共に前記生体領域情報を後段のアプリケーションへ出力する、
前記（６）又は前記（７）に記載の画像処理装置。
（９）
前記画像処理装置は、車両に搭載され、
前記生成部は、前記カラー画像を運転支援アプリケーションへ出力する、
前記（１）〜（７）のいずれか１項に記載の画像処理装置。
（１０）
共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得することと、
前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成することと、
を含む画像処理方法。
（１１）
画像処理装置を制御するコンピュータを、
共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得する画像取得部と、
前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する生成部と、
として機能させるためのプログラム。
（１２）
遠赤外領域、近赤外領域及び可視光領域において被写体を撮像し、対応する遠赤外画像、近赤外画像及び可視光画像を出力するカメラモジュールと、
前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する画像処理モジュールと、
を含む画像処理システム。
（１３）
前記画像処理システムは、車両に搭載され、
前記画像処理モジュールにより生成される前記カラー画像に基づくアプリケーションを実行するアプリケーションモジュール、をさらに含む、
前記（１２）に記載の画像処理システム。

１ 車両
１０ 車載システム
２０ 画像処理システム
３０ アプリケーションモジュール
４０ 周辺モジュール
１００，２００ 画像処理装置（画像処理モジュール）
１０２ カメラモジュール
１１０ ディスプレイ
１２０ 画像取得部
１３０，２３０ データ取得部
１４０ 判定部
２５０ 認識部
１６０，２６０ 生成部
１７０，２７０ データベース

Claims (10)

1. 共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得する画像取得部と、
   前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する生成部と、
   前記遠赤外画像、前記近赤外画像及び前記可視光画像が撮像された際の撮像条件を判定する判定部と、
   を備え、
   前記生成部は、前記判定部により判定される前記撮像条件に依存して異なるフィルタ構成で、前記フィルタリングを実行し、学習処理を通じて事前に決定される前記フィルタ構成で、前記フィルタリングを実行し、前記判定部により判定される前記撮像条件と学習時の撮像条件との差に基づいて調整されるフィルタ係数を用いて、前記フィルタリングを実行する、
   画像処理装置。
2. 前記撮像条件は、時間帯、天候及び環境照度のうちの１つ以上を含む、請求項１に記載の画像処理装置。
3. 前記画像処理装置は、
   前記遠赤外画像、前記近赤外画像及び前記可視光画像のうちの少なくとも１つにおいて生体が映る生体領域を認識する認識部、
   をさらに備え、
   前記生成部は、非生体領域のために使用されるフィルタ構成とは異なるフィルタ構成で、前記生体領域についての前記フィルタリングを実行する、
   請求項１に記載の画像処理装置。
4. 前記生成部は、カメラから前記生体までの距離に依存して異なるフィルタ構成で、前記生体領域についての前記フィルタリングを実行する、請求項３に記載の画像処理装置。
5. 前記認識部は、認識した前記生体領域を特定する生体領域情報を生成し、
   前記生成部は、前記カラー画像と共に前記生体領域情報を後段のアプリケーションへ出力する、
   請求項３に記載の画像処理装置。
6. 前記画像処理装置は、車両に搭載され、
   前記生成部は、前記カラー画像を運転支援アプリケーションへ出力する、
   請求項１に記載の画像処理装置。
7. 共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得することと、
   前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成することと、
   前記遠赤外画像、前記近赤外画像及び前記可視光画像が撮像された際の撮像条件を判定することと、
   を含み、
   判定される前記撮像条件に依存して異なるフィルタ構成で、前記フィルタリングを実行し、学習処理を通じて事前に決定される前記フィルタ構成で、前記フィルタリングを実行し、判定される前記撮像条件と学習時の撮像条件との差に基づいて調整されるフィルタ係数を用いて、前記フィルタリングを実行する、
   画像処理方法。
8. 画像処理装置を制御するコンピュータを、
   共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得する画像取得部と、
   前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する生成部と、
   前記遠赤外画像、前記近赤外画像及び前記可視光画像が撮像された際の撮像条件を判定する判定部と、
   として機能させ、
   前記生成部は、前記判定部により判定される前記撮像条件に依存して異なるフィルタ構成で、前記フィルタリングを実行し、学習処理を通じて事前に決定される前記フィルタ構成で、前記フィルタリングを実行し、前記判定部により判定される前記撮像条件と学習時の撮像条件との差に基づいて調整されるフィルタ係数を用いて、前記フィルタリングを実行する、
   プログラム。
9. 遠赤外領域、近赤外領域及び可視光領域において被写体を撮像し、対応する遠赤外画像、近赤外画像及び可視光画像を出力するカメラモジュールと、
   前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成し、前記遠赤外画像、前記近赤外画像及び前記可視光画像が撮像された際の撮像条件を判定する画像処理モジュールと、
   を含み、
   前記画像処理モジュールは、判定される前記撮像条件に依存して異なるフィルタ構成で、前記フィルタリングを実行し、学習処理を通じて事前に決定される前記フィルタ構成で、前記フィルタリングを実行し、判定される前記撮像条件と学習時の撮像条件との差に基づいて調整されるフィルタ係数を用いて、前記フィルタリングを実行する、
   画像処理システム。
10. 前記画像処理システムは、車両に搭載され、
    前記画像処理モジュールにより生成される前記カラー画像に基づくアプリケーションを実行するアプリケーションモジュール、をさらに含む、
    請求項９に記載の画像処理システム。

Images