JP2012095342A - 擬似濃淡画像生成装置及びプログラム - Google Patents

Abstract

【課題】安定して視認性のよい画像を得ることができるようにする。
【解決手段】第１撮影装置１２によって、自車両前方を撮影し、可視光画像を出力し、第２撮影装置によって、近赤外画像を出力する。画像取得部２２によって、第１撮影装置１２及び第２撮影装置１４から可視光画像及び近赤外画像を取得する。擬似濃淡画像生成部２４によって、可視光画像及び近赤外画像から、各画素について、該画素の明るい方の画像の輝度情報を用いて、擬似濃淡画像を生成する。
【選択図】図１

Description

本発明は、擬似濃淡画像生成装置及びプログラムに係り、特に、擬似濃淡画像を生成する擬似濃淡画像生成装置及びプログラムに関する。

従来より、昼間の色再現性と夜間の感度とを両立して昼夜連続で利用可能なカラー撮影装置が知られている（特許文献１）。このカラー撮影装置では、通常のベイヤー配列の１ユニットを構成するＲＧＢＧ４画素のうち１つのＧフィルタをＩＲフィルタに置き換えて、ＲＧＢフィルタを第１のモード用、ＩＲフィルタを第２のモード用に振り分けている。また、ＲＧＢの３画素には赤外カットフィルタをかけている。

色情報と輝度情報とが何れも最適なカラー画像を再生するカラー画像再生装置が知られている（特許文献２）。このカラー画像再生装置では、可視画像データから赤外成分を除去して色情報（色相、彩度）を抽出し、赤外の輝度情報と合成して擬似カラー画像を生成している。

特開２００５−６０６６号公報 特開２００７−１８４８０５号公報

しかしながら、上記特許文献１に記載の技術では、ＲＧＢフィルタとＩＲフィルタとをモードにより切り替えて使用するため、夜間など周囲が暗い場合には、ＩＲフィルタのみを利用した、視認性が低いモノクロ画像しか提供できない、という問題がある。

また、上記特許文献２に記載の技術では、カラーカメラと赤外カメラとで撮影した場合、照明などの明るさがあると、赤外の光量が可視の光量に比べて少なくなる場合があるが、赤外の明るさが選択された場合には、可視光の明るさに比べて暗くなり視認性が悪くなってしまう、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、安定して視認性のよい画像を得ることができる擬似濃淡画像生成装置及びプログラムを提供することを目的とする。

上記の目的を達成するために第１の発明に係る擬似濃淡画像生成装置は、所定領域を撮影し、可視光を含む第１波長帯の可視光画像、及び帯域が前記第１波長帯とは異なり、かつ、赤外光を含む第２波長帯の赤外画像を出力する撮影手段から前記可視光画像及び前記赤外画像を取得する画像取得手段と、前記画像取得手段によって取得された前記可視光画像及び前記赤外画像から、前記可視光画像及び前記赤外画像を複数に分割した各ブロックについて、前記可視光画像の該ブロックと、前記赤外画像の該ブロックとを比較し、前記可視光画像及び前記赤外画像のうち、該ブロックが明るい方の画像の該ブロックの輝度情報が閾値以上である場合、前記可視光画像及び前記赤外画像における該ブロックの輝度情報の加重平均を用いて、擬似濃淡画像を生成する生成手段とを含んで構成されている。

第２の発明に係るプログラムは、コンピュータを、所定領域を撮影し、可視光を含む第１波長帯の可視光画像、及び帯域が前記第１波長帯とは異なり、かつ、赤外光を含む第２波長帯の赤外画像を出力する撮影手段から前記可視光画像及び前記赤外画像を取得する画像取得手段、及び前記画像取得手段によって取得された前記可視光画像及び前記赤外画像から、前記可視光画像及び前記赤外画像を複数に分割した各ブロックについて、前記可視光画像の該ブロックと、前記赤外画像の該ブロックとを比較し、前記可視光画像及び前記赤外画像のうち、該ブロックが明るい方の画像の該ブロックの輝度情報が閾値以上である場合、前記可視光画像及び前記赤外画像における該ブロックの輝度情報の加重平均を用いて、擬似濃淡画像を生成する生成手段として機能させるためのプログラムである。

第１の発明及び第２の発明によれば、撮影手段によって、所定領域を撮影し、可視光を含む第１波長帯の可視光画像、及び帯域が前記第１波長帯とは異なり、かつ、赤外光を含む第２波長帯の赤外画像を出力する。画像取得手段によって、撮影手段から可視光画像及び赤外画像を取得する。

そして、生成手段によって、画像取得手段によって取得された可視光画像及び赤外画像から、可視光画像及び赤外画像を複数に分割した各ブロックについて、前記可視光画像の該ブロックと、前記赤外画像の該ブロックとを比較し、前記可視光画像及び前記赤外画像のうち、該ブロックが明るい方の画像の該ブロックの輝度情報が閾値以上である場合、前記可視光画像及び前記赤外画像における該ブロックの輝度情報の加重平均を用いて、擬似濃淡画像を生成する。

このように、可視光画像及び赤外画像から、各ブロックについて明るい方の画像の輝度情報を用いて、擬似濃淡画像を生成することにより、安定して視認性のよい画像を得ることができる。また、輝度値が飽和することを防止することができる。

上記ブロックを、画素単位とすることができる。

以上説明したように、本発明の擬似濃淡画像生成装置及びプログラムによれば、可視光画像及び赤外画像から、各ブロックについて明るい方の画像の輝度情報を用いて、擬似濃淡画像を生成することにより、安定して視認性のよい画像を得ることができる、という効果が得られる。

本発明の第１の実施の形態に係る撮影システムの構成を示すブロック図である。 （Ａ）近赤外画像及び可視光画像の各画素の輝度を示すグラフ、及び（Ｂ）高い方を選択した各画素の輝度を示すグラフである。 本発明の第１の実施の形態に係る撮影システムにおける擬似濃淡画像生成処理ルーチンの内容を示すフローチャートである。 （Ａ）可視光画像を示すイメージ図、（Ｂ）近赤外画像を示すイメージ図、及び（Ｂ）擬似濃淡画像を示すイメージ図である。 各画素について、高い方を選択した画素の輝度、又は画素の平均を示すグラフである。 本発明の第２の実施の形態に係る撮影システムにおける擬似濃淡画像生成処理ルーチンの内容を示すフローチャートである。 周波数画像を示すイメージ図である。 （Ａ）可視光輝度画像の注目の小領域の周波数画像を示すイメージ図、及び（Ｂ）近赤外輝度画像の注目の小領域の周波数画像を示すイメージ図である。 本発明の第３の実施の形態に係る撮影システムにおける擬似濃淡画像生成処理ルーチンの内容を示すフローチャートである。 （Ａ）近赤外画像及び可視光画像の各画素の輝度を示すグラフ、及び（Ｂ）擬似濃淡画像の各画素の輝度を示すグラフである。 本発明の第４の実施の形態に係る撮影システムにおける擬似濃淡画像生成処理ルーチンの内容を示すフローチャートである。 本発明の第５の実施の形態に係る撮影システムの構成を示すブロック図である。 本発明の第５の実施の形態に係る撮影システムにおける擬似濃淡画像生成処理ルーチンの内容を示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、車両に搭載され、かつ、撮影された前方画像から濃淡画像を生成して表示する撮影システムに本発明を適用した場合を例に説明する。

図１に示すように、第１の実施の形態に係る撮影システム１０は、自車両の前方を撮影して可視光画像を出力するＣＣＤカメラからなる第１撮影装置１２と、入射される光のうち近赤外光の波長帯の光を透過させるフィルタとＣＣＤカメラとを備え、かつ、自車両の前方を撮影して近赤外画像を出力する第２撮影装置１４と、近赤外光を含む光を前方に照射する赤外光源１６と、第１撮影装置１２によって撮影された可視光画像及び第２撮影装置１４によって撮影された近赤外画像に対して画像処理を行って擬似濃淡画像を生成するコンピュータ１８と、コンピュータ１８から出力された擬似濃淡画像を表示する表示装置２０とを備えている。

第１撮影装置１２及び第２撮影装置１４は、自車両の前方を撮影するように取り付けられている。また、第１撮影装置１２及び第２撮影装置１４は、２次元に配列された複数の画素の各々に入射された光に応じた信号を出力する複数の受光素子を備え、複数の受光素子から出力された信号をデジタル信号に変換して、複数の画素の画素値からなる画像データを生成する。なお、自車両の前方が、本発明の撮像手段が撮影する所定領域に対応する。

第２撮影装置１４のレンズ面に対向するように、近赤外光の波長帯の光を透過させるフィルタ（図示省略）が設置されており、第２撮影装置１４は、フィルタを介して、自車両の前方を撮影して、近赤外光の波長帯の画像である近赤外画像を出力する。

第１撮影装置１２には、フィルタが設置されていないため、第１撮影装置１２は、可視光を含む波長帯の画像である可視光画像を出力する。

赤外光源１６は、第２撮影装置１４による撮影を行う際に、自車両の前方に近赤外光を含む光を照射する。

コンピュータ１８は、ＣＰＵ、後述する擬似濃淡画像生成処理ルーチンのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ１８をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、上記図１に示すように、コンピュータ１８は、第１撮影装置１２から出力される可視光画像及び第２撮影装置１４から出力される近赤外画像を取得する画像取得部２２と、画像取得部２２の出力である可視光画像及び近赤外画像を合成して擬似濃淡画像を生成し、表示装置２０に出力する擬似濃淡画像生成部２４とを備えている。

画像取得部２２は、例えば、Ａ／Ｄコンバータや画像データを記憶する画像メモリ等で構成される。

擬似濃淡画像生成部２４は、以下に説明するように、可視光画像及び近赤外画像に基づいて、擬似濃淡画像を生成して、表示装置２０に出力する。

まず、可視光画像及び近赤外画像の各画素について、近赤外画像における注目画素の輝度Ｉｒと可視光画像における同じ位置の注目画素の輝度Ｉｃとは比較し、輝度が高い方の輝度を選択する。Ｉｒ≧Ｉｃである場合には、注目画素の輝度情報として輝度Ｉｒを選択し、Ｉｒ＜Ｉｃの時には、注目画素の輝度情報として、近赤外画像の輝度Ｉｒを選択せずに可視光画像の輝度Ｉｃを選択する。そして、選択された各画素の輝度情報を用いて、濃淡擬似画像を生成する。

例えば、図２（Ａ）に示すような、可視光画像の各画素の輝度と、近赤外画像の各画素の輝度とから、図２（Ｂ）に示すように、各画素について、輝度が高い方の輝度情報を選択して、濃淡擬似画像を生成する。

次に、本実施の形態に係る撮影システム１０の作用について説明する。赤外光源１６によって近赤外光が前方に照射されると共に、第１撮影装置１２及び第２撮影装置１４の各々によって、自車両の前方が連続して撮影されているときに、コンピュータ１８において、図３に示す擬似濃淡画像生成処理ルーチンが実行される。

まず、ステップ１００において、第１撮影装置１２より撮影された可視光画像のデータを取得すると共に、第２撮影装置１４より撮影された近赤外画像のデータを取得する。ステップ１０２において、上記ステップ１００で取得した可視光画像及び近赤外画像の各々に対して、同じ位置に注目画素を設定する。

次のステップ１０４では、可視光画像における注目画素の輝度Ｉｃと、近赤外画像における注目画素の輝度Ｉｒとを比較して、高い方の輝度を注目画素の輝度情報として選択する。

そして、ステップ１０８では、全ての画素について上記ステップ１０２、１０４の処理が終了したか否かを判定し、全ての画素について終了していない場合には、上記ステップ１０２へ戻り、まだ処理対象となっていない他の画素を注目画素として設定する。一方、上記ステップ１０８において、全ての画素について輝度情報が選択されたと判定された場合には、ステップ１１０において、上記ステップ１０４で選択された各画素に対する輝度情報を用いて、擬似濃淡画像を生成して、表示装置２０に出力し、上記ステップ１００へ戻る。

上記のように擬似濃淡画像生成処理ルーチンが実行されると、図４（Ａ）に示すような可視光画像と図４（Ｂ）に示すような近赤外画像とに基づいて、図４（Ｃ）に示すような擬似濃淡画像が生成され、表示装置２０によって、コンピュータ１８から連続して出力される擬似濃淡画像が連続して表示される。

以上説明したように、本発明の第１の実施の形態に係る撮影システムによれば、撮影して生成された可視光画像及び近赤外画像から、各画素について明るい方の画像の輝度情報を用いて、擬似濃淡画像を生成することにより、安定して視認性のよい画像を得ることができる。

また、周辺に照明などが存在する場合に、可視光成分による明るさを低減することなく、擬似濃淡画像を生成することができる。また、近赤外成分の明るさを含まないＬＥＤ信号機なども表示した擬似濃淡画像を生成することができる。

次に、第２の実施の形態について説明する。なお、第２の実施の形態に係る撮影システムの構成は、第１の実施の形態と同様であるため、説明を省略する。

第２の実施の形態では、高い方の輝度が閾値以上である場合に、その注目画素については、輝度の加重平均を用いている点が、第１の実施の形態と異なっている。

第２の実施の形態に係る撮影システムでは、擬似濃淡画像生成部２４によって、以下に説明するように、可視光画像及び近赤外画像に基づいて、擬似濃淡画像を生成して、表示装置２０に出力する。

まず、可視光画像及び近赤外画像の各画素について、近赤外画像における注目画素の輝度Ｉｒと可視光画像における注目画素の輝度Ｉｃとを比較し、輝度が高い方の輝度情報と閾値とを比較する。Ｉｒ≧Ｉｃであって、かつ、Ｉｒ≧Ｔｈ１（飽和領域に基づいて予め設定された閾値）である場合には、輝度Ｉｒが飽和しているため、輝度Ｉｒと輝度Ｉｃとの平均を、注目画素の輝度情報として用いる。また、Ｉｒ≧Ｉｃであって、かつ、Ｉｒ＜Ｔｈ１である場合には、注目画素の輝度情報として輝度Ｉｒを選択する。

また、Ｉｒ＜Ｉｃであって、かつ、Ｉｃ≧Ｔｈ２（飽和領域に基づいて予め設定された閾値）である場合には、輝度Ｉｃが飽和しているため、輝度Ｉｃと輝度Ｉｒとの平均を、注目画素の輝度情報として用いる。また、Ｉｒ＜Ｉｃであって、かつ、Ｉｃ＜Ｔｈ２である場合には、注目画素の輝度情報として輝度Ｉｃを選択する。

例えば、上記図２（Ａ）に示すような、可視光画像の各画素の輝度と、近赤外画像の各画素の輝度とから、図５に示すように、各画素について、輝度が高い方の輝度情報を選択し、又は、輝度の平均を用いて、濃淡擬似画像を生成する。

さらに、上記の処理により得られた各画素の輝度情報から構成される画像に対して、平滑化や鮮鋭化処理を行う。

次に、第２の実施の形態に係る擬似濃淡画像生成処理ルーチンについて、図６を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して説明を省略する。

まず、ステップ１００において、第１撮影装置１２から可視光画像のデータを取得すると共に、第２撮影装置１４から近赤外画像のデータを取得する。ステップ１０２において、取得した可視光画像及び近赤外画像の各々に対して、同じ位置に注目画素を設定する。

次のステップ２００では、可視光画像における注目画素の輝度Ｉｃと、近赤外画像における注目画素の輝度Ｉｒとを比較して、輝度Ｉｒが輝度Ｉｃ以上であるか否かを判定する。

輝度Ｉｒが輝度Ｉｃ以上である場合には、ステップ２０２において、輝度Ｉｒが閾値Ｔｈ１以上であるか否かを判定し、輝度Ｉｒが閾値Ｔｈ１以上である場合には、輝度Ｉｒが飽和していると判断し、ステップ２０４において、輝度Ｉｒと輝度Ｉｃとの平均を、注目画素の輝度情報として決定し、ステップ２１２へ移行する。

上記ステップ２０２において、輝度Ｉｒが閾値未満である場合には、ステップ２０６において、輝度Ｉｒを注目画素の輝度情報として選択して、ステップ２１２へ移行する。

上記ステップ２００において、輝度Ｉｒが輝度Ｉｃ未満である場合には、ステップ２０８において、輝度Ｉｃが閾値Ｔｈ２以上であるか否かを判定し、輝度Ｉｃが閾値Ｔｈ２以上である場合には、輝度Ｉｃが飽和していると判断し、ステップ２０４において、輝度Ｉｒと輝度Ｉｃとの平均を、注目画素の輝度情報として決定し、ステップ２１２へ移行する。

上記ステップ２０８において、輝度Ｉｃが閾値Ｔｈ２未満である場合には、ステップ２１０において、輝度Ｉｃを注目画素の輝度情報として選択して、ステップ２１２へ移行する。

ステップ２１２では、全ての画素について上記ステップ２００〜２１０の処理が終了したか否かを判定し、全ての画素について終了していない場合には、上記ステップ１０２へ戻り、まだ処理対象となっていない他の画素を注目画素として設定する。一方、上記ステップ２１２において、全ての画素について輝度情報が求められたと判定された場合には、ステップ２１４において、上記ステップ２０４、２０６、又は２１０で得られた各画素に対する輝度情報を用いて、擬似濃淡画像を生成して、表示装置２０に出力し、上記ステップ１００へ戻る。

このように、撮影して生成された可視光画像及び近赤外画像から、各画素について明るい方の画像の輝度情報を用いて、擬似濃淡画像を生成することにより、安定して視認性のよい画像を得ることができる。

また、高い方の輝度が閾値以上である場合に、その画素については、輝度の平均を用いて擬似濃淡画像を生成することにより、飽和している領域も飽和せずに表示することができる。

なお、上記の実施の形態では、高い方の輝度が閾値以上である場合に、可視光画像及び近赤外画像に対する重みを同じにして、輝度の平均を注目画素の輝度情報として用いる場合を例に説明したが、これに限定されるものではなく、双方の画像に対する重みを異ならせて、輝度の加重平均を注目画素の輝度情報として用いるようにしてもよい。

次に、第３の実施の形態について説明する。なお、第３の実施の形態に係る撮影システムの構成は、第１の実施の形態と同様であるため、説明を省略する。

第３の実施の形態では、輝度画像の小領域に対して周波数変換を行い、低周波数成分を比較して、低周波数成分が高い方の空間周波数成分を用いて、擬似濃淡画像を生成している点が、第１の実施の形態と主に異なっている。

第３の実施の形態に係る撮影システムでは、画像取得部２２によって、第１撮影装置１２から出力される可視光画像を取得すると共に、可視光画像の輝度情報からなる可視光輝度画像を生成する。また、画像取得部２２は、第２撮影装置１４から出力される近赤外画像を取得し、同様に、近赤外画像の輝度情報からなる近赤外輝度画像を生成する。

擬似濃淡画像生成部２４によって、以下に説明するように、画像取得部２２から出力された可視光輝度画像及び近赤外輝度画像に基づいて、擬似濃淡画像を生成して、表示装置２０に出力する。

まず、可視光輝度画像及び近赤外輝度画像の各々を複数の小領域に分割し、可視光輝度画像及び近赤外輝度画像の各々に対して、小領域毎に周波数変換を行って、小領域毎に複数の空間周波数成分を得る。周波数変換の方法としては、フーリエ変換、ＤＣＴ（離散コサイン変換）などを用いればよい。なお、小領域が、本発明の所定領域の一例である。

例えば、以下の（１）式に従って、ＤＣＴを用いた周波数変換を行う。

本実施の形態では、周波数変換により、図７に示すような、８画素×８画素の周波数画像を生成する。この周波数画像では、各画素の値が、各空間周波数成分を表わし、左上の画素が一番低い周波数の空間周波数成分であり、直流成分（ＤＣ成分）である。また、その他の画素が、交流成分（ＡＣ成分）であり、右下の画素が、一番高い周波数の空間周波数成分である。

そして、図８（Ａ）に示すような可視光輝度画像の注目の小領域の周波数画像と、図８（Ｂ）に示すような近赤外輝度画像の注目の小領域の周波数画像とに基づいて、直流成分を比較し、直流成分が高い方の周波数画像を、注目の小領域の周波数画像として選択することにより、周波数合成を行う。この周波数合成を、複数の小領域の各々について行う。

上記の周波数合成によって得られた各小領域の周波数画像に対して、逆周波数変換を各々行って、各小領域の画像に変換する。

例えば、以下の（２）式に従って、ＩＤＣＴ（逆離散コサイン変換）を用いた逆周波数変換を行う。

そして、逆周波数変換によって得られた小領域の画像について、輝度値が飽和輝度値を超える場合には画像の輝度値を正規化する。

上記のように得られた各小領域の画像を用いて、擬似濃淡画像を生成する。

次に、第３の実施の形態に係る擬似濃淡画像生成処理ルーチンについて、図９を用いて説明する。

まず、ステップ３００において、第１撮影装置１２から可視光画像のデータを取得し、輝度情報からなる可視光輝度画像を生成する。また、第２撮影装置１４から近赤外画像のデータを取得し、輝度情報からなる近赤外輝度情報を生成する。ステップ３０２で、上記ステップ３００で生成した可視光輝度画像及び近赤外輝度画像の各々に対して、画像を分割した複数の小領域から、同じ位置に注目の小領域を設定する。

次のステップ３０４では、可視光輝度画像の注目の小領域に対して、周波数変換を行って、複数の空間周波数成分を表わす周波数画像Ｆに変換し、また、近赤外輝度画像の注目の小領域に対して、周波数変換を行って、複数の空間周波数成分を表わす周波数画像Ｇに変換する。

そして、ステップ３０６において、近赤外輝度画像における注目の小領域の周波数画像Ｇの直流分と、可視光輝度画像における注目の小領域の周波数画像Ｆの直流分とを比較して、周波数画像Ｇの直流分が周波数画像Ｆの直流分以上であるか否かを判定する。

周波数画像Ｇの直流分が周波数画像Ｆの直流分以上である場合には、ステップ３０８において、注目の小領域の周波数画像として、周波数画像Ｇを選択し、周波数画像Ｇに対して逆周波数変換を行って画像に変換して、ステップ３１２へ移行する。一方、上記ステップ３０６において、周波数画像Ｇの直流分が周波数画像Ｆの直流分未満である場合には、ステップ３１０において、注目の小領域の周波数画像として、周波数画像Ｆを選択し、周波数画像Ｆに対して逆周波数変換を行って画像に変換して、ステップ３１２へ移行する。

ステップ３１２では、上記ステップ３０８又は３１０で得られた注目の小領域の画像に対して、輝度値が飽和している場合には、画像の輝度値を正規化する。

ステップ３１４では、全ての小領域について上記ステップ３０２〜３１２の処理が終了したか否かを判定し、全ての小領域について終了していない場合には、上記ステップ３０２へ戻り、まだ処理対象となっていない他の小領域を注目の小領域として設定する。一方、上記ステップ３１４において、全ての小領域について上記の処理が終了したと判定された場合には、ステップ３１６において、上記ステップ３１２で得られた各小領域の画像を用いて、擬似濃淡画像を生成して、表示装置２０に出力し、上記ステップ３００へ戻る。

以上説明したように、第３の実施の形態に係る撮影システムによれば、可視光画像及び近赤外画像から、各小領域について、低周波数成分が大きい方の周波数画像を選択することにより小領域の空間周波数成分を合成し、得られた画像を用いて、擬似濃淡画像を生成することにより、安定して視認性のよい画像を得ることができる。

次に、第４の実施の形態について説明する。なお、第４の実施の形態に係る撮影システムの構成は、第１の実施の形態と同様であるため、説明を省略する。

第４の実施の形態では、輝度画像の小領域に対して周波数変換を行い、各周波数成分について高い方を用いて、擬似濃淡画像を生成している点が、第３の実施の形態と主に異なっている。

第４の実施の形態に係る撮影システムでは、画像取得部２２によって、第１撮影装置１２から出力される可視光画像を取得すると共に、可視光輝度画像を生成する。また、画像取得部２２は、第２撮影装置１４から出力される近赤外画像を取得し、同様に、近赤外輝度画像を生成する。

擬似濃淡画像生成部２４によって、以下に説明するように、画像取得部２２から出力された可視光輝度画像及び近赤外輝度画像に基づいて、擬似濃淡画像を生成して、表示装置２０に出力する。

まず、可視光輝度画像と近赤外輝度画像との各々を複数の小領域に分割し、可視光輝度画像及び近赤外輝度画像の各々に対して、小領域毎に周波数変換を行って、小領域毎に複数の空間周波数成分を得る。

そして、上記図８（Ａ）に示すような可視光輝度画像の注目の小領域の周波数画像と、上記図８（Ｂ）に示すような近赤外輝度画像の注目の小領域の周波数画像とに基づいて、各空間周波数成分（各画素の画素値）を比較し、各空間周波数成分について、高い方を選択して、注目の小領域の周波数画像を生成することにより、周波数合成を行う。この周波数合成を、複数の小領域の各々について行う。

周波数合成によって得られた各小領域の周波数画像に対して、逆周波数変換を各々行って、各小領域の画像に変換する。

逆周波数変換によって得られた小領域の画像について輝度値が飽和輝度値を超える場合には、画像の輝度値を正規化する。

上記のように得られた各小領域の画像を用いて、擬似濃淡画像を生成する。

例えば、図１０（Ａ）に示すような、可視光画像と近赤外画像とから、図１０（Ｂ）に示すように、各小領域について、複数の空間周波数成分の高い方を各々選択して、濃淡擬似画像を生成する。

次に、第４の実施の形態に係る擬似濃淡画像生成処理ルーチンについて、図１１を用いて説明する。なお、第３の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。

まず、ステップ３００において、第１撮影装置１２から可視光画像のデータを取得して、可視光輝度画像を生成し、また、第２撮影装置１４から近赤外画像のデータを取得して、近赤外輝度情報を生成する。ステップ３０２で、生成した可視光輝度画像及び近赤外輝度画像の各々に対して、同じ位置に注目の小領域を設定する。

次のステップ３０４では、可視光輝度画像の注目の小領域に対して、周波数変換を行って、周波数画像Ｆに変換し、また、近赤外輝度画像の注目の小領域に対して、周波数変換を行って、周波数画像Ｇに変換する。

そして、ステップ４００において、近赤外輝度画像における注目の小領域の周波数画像Ｇの各空間周波数成分と、可視光輝度画像における注目の小領域の周波数画像Ｆの各空間周波数成分とを比較して、各空間周波数成分（周波数画像の各画素値）について、高い方を選択して、注目の小領域の周波数画像を生成する。
次のステップ４０２では、上記ステップ４００で生成された注目の小領域の周波数画像に対して、逆周波数変換を行って画像に変換し、ステップ３１２において、上記ステップ４０２で得られた注目の小領域の画像に対して、輝度値が飽和している場合には、画像の輝度値を正規化する。

ステップ３１４では、全ての小領域について上記ステップ３０２、３０４、４００、４０２、３１２の処理が終了したか否かを判定し、全ての小領域について終了していない場合には、上記ステップ３０２へ戻り、まだ処理対象となっていない他の小領域を注目の小領域として設定する。一方、上記ステップ３１４において、全ての小領域について上記の処理が終了したと判定された場合には、ステップ３１６において、上記ステップ３１２で得られた各小領域の画像を用いて、擬似濃淡画像を生成して、表示装置２０に出力し、上記ステップ３００へ戻る。

以上説明したように、第４の実施の形態に係る撮影システムによれば、可視光画像及び近赤外画像から、各小領域について、周波数画像の複数の空間周波成分の大きい方を各々選択することにより小領域の空間周波数成分を合成し、得られた画像を用いて、擬似濃淡画像を生成することにより、安定して視認性のよい画像を得ることができると共に、微細なパターン変化を表わした画像を得ることができる。

なお、上記の実施の形態では、可視光輝度画像の小領域の周波数画像と近赤外輝度画像の小領域の周波数画像とから、各画素（各空間周波数成分）について値が大きい方を選択して、周波数合成を行う場合を例に説明したが、これに限定されるものではなく、各画素（各空間周波数成分）について値を加重平均して、周波数合成を行うようにしてもよい。これによって、飽和している領域を適切に表示することができる。

次に、第５の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して、説明を省略する。

第５の実施の形態では、１つの撮影装置で、可視光画像と近赤外画像とを撮影している点が、第１の実施の形態と主に異なっている。

図１２に示すように、第５の実施の形態に係る撮影システム５１０は、自車両の前方を撮影して撮影画像を出力するＣＣＤカメラからなる撮影装置５１２と、撮影装置５１２に入射される光のうち近赤外光の波長帯の光を透過させる近赤外フィルタと可視光の波長帯の光を透過させる可視光フィルタとを２次元状に配置したフィルタ５１４と、赤外光源１６と、撮影装置５１２によって撮影された撮影画像に対して画像処理を行って擬似濃淡画像を生成するコンピュータ５１８と、表示装置２０とを備えている。

撮影装置５１２は、２次元に配列された複数の画素の各々に入射された光に応じた信号を出力する複数の受光素子を備え、複数の受光素子から出力された信号をデジタル信号に変換して、複数の画素の画素値からなる画像データを生成する。

撮影装置５１２のレンズ面に対向するように、近赤外光フィルタと可視光フィルタとが２次元状に配置されたフィルタ５１４が設置されており、複数の近赤外光フィルタと複数の可視光フィルタとが、撮影装置５１２の複数の受光素子（複数の画素）に対応して配置されている。

撮影装置５１２は、フィルタ５１４を介して、自車両の前方を撮影して、近赤外光の波長帯の近赤外成分データと可視光の波長帯の可視光成分データとからなる撮影画像を出力する。

コンピュータ５１８は、撮影装置５１２から出力される撮影画像を取得する画像取得部５２２と、画像取得部５２２の出力である撮影画像から可視光画像及び近赤外画像を生成し、可視光画像及び近赤外画像を合成して、擬似濃淡画像を生成して表示装置２０に出力する擬似濃淡画像生成部５２４とを備えている。

擬似濃淡画像生成部５２４は、以下に説明するように、可視光画像及び近赤外画像を生成し、可視光画像及び近赤外画像に基づいて、擬似濃淡画像を生成して、表示装置２０に出力する。

まず、撮影画像の近赤外フィルタに対応する画素から、近赤外光の波長帯の近赤外光成分データを抽出すると共に、可視光フィルタに対応する画素から、可視光の波長帯の可視光成分データを抽出する。

近赤外成分データに対して補間処理を行って、近赤外画像を生成する。また、可視光成分データに対して補間処理を行って、可視光画像を生成する。

可視光画像及び近赤外画像の各画素について、近赤外画像における注目画素の輝度Ｉｒと可視光画像における注目画素の輝度Ｉｃとを比較し、輝度が高い方の輝度情報を選択する。そして、選択された各画素の輝度情報を用いて、濃淡擬似画像を生成する。

次に、第５の実施の形態に係る擬似濃淡画像生成処理ルーチンについて、図１３を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。

まず、ステップ５５０において、撮影装置５１２から撮影画像のデータを取得し、ステップ５５２において、上記ステップ５５０で取得した撮影画像から、近赤外光の波長帯の近赤外成分データを抽出すると共に、近赤外成分データに対して補間処理を行って、近赤外画像を生成する。また、ステップ５５４において、上記ステップ５５０で取得した撮影画像から、可視光の波長帯の可視光成分データを抽出すると共に、可視光成分データに対して補間処理を行って、可視光画像を生成する。

そして、ステップ１０２において、上記ステップ５５２、５５４で生成した可視光画像及び近赤外画像の各々に対して、同じ位置に注目画素を設定する。次のステップ１０４では、可視光画像における注目画素の輝度Ｉｃと、近赤外画像における注目画素の輝度Ｉｒとを比較して、高い方の輝度情報を選択する。

そして、ステップ１０８では、全ての画素について上記ステップ１０２、１０４の処理が終了したか否かを判定し、全ての画素について終了していない場合には、上記ステップ１０２へ戻り、まだ処理対象となっていない他の画素を注目画素として設定する。一方、上記ステップ１０８において、全ての画素について高い輝度情報が選択されたと判定された場合には、ステップ１１０において、上記ステップ１０４で選択された各画素に対する輝度情報を用いて、擬似濃淡画像を生成して、表示装置２０に出力し、上記ステップ１００へ戻る。

以上説明したように、第５の実施の形態に係る撮影システムによれば、１つの撮影装置で撮影した撮影画像から生成された可視光画像及び近赤外画像から、各画素について明るい方の画像の輝度情報を用いて、擬似濃淡画像を生成することにより、安定して視認性のよい画像を得ることができる。

なお、上記の第１の実施の形態、第２の実施の形態、及び第５の実施の形態では、輝度の判定単位となるブロックを、画素単位とした場合を例に説明したが、これに限定されるものではなく、複数の画素からなる領域を、ブロックとしてもよい。この場合には、各ブロックの平均輝度を、可視光画像と近赤外画像とについて比較すればよい。

また、可視光画像と近赤外画像とを用いて、擬似濃淡画像を生成する場合を例に説明したが、これに限定されるものではなく、可視光画像と遠赤外画像とを用いて、擬似濃淡画像を生成してもよい。この場合には、遠赤外カメラを用いて遠赤外画像を生成するか、又は、遠赤外光の波長帯を透過する遠赤外フィルタを用いて、自車両の前方を撮影するようにすればよい。また、赤外光源を用いずに、自車両の前方を撮影すればよい。

また、画像取得部及び擬似濃淡画像生成部をコンピュータで実現した場合を例に説明したが、これに限定されるものではなく、画像取得部及び擬似濃淡画像生成部を、各部の機能を実現する複数のコンピュータ、または１つまたは複数の電子回路で構成するようにしてもよい。

また、本発明のプログラムを、記憶媒体に格納して提供することも可能である。

１０、５１０ 撮影システム
１２ 第１撮影装置
１４ 第２撮影装置
１６ 赤外光源
１８、５１８ コンピュータ
２２、５２２ 画像取得部
２４、５２４ 擬似濃淡画像生成部
５１２ 撮影装置
５１４ フィルタ

Claims (3)

1. 所定領域を撮影し、可視光を含む第１波長帯の可視光画像、及び帯域が前記第１波長帯とは異なり、かつ、赤外光を含む第２波長帯の赤外画像を出力する撮影手段から前記可視光画像及び前記赤外画像を取得する画像取得手段と、
   前記画像取得手段によって取得された前記可視光画像及び前記赤外画像から、前記可視光画像及び前記赤外画像を複数に分割した各ブロックについて、前記可視光画像の該ブロックと、前記赤外画像の該ブロックとを比較し、前記可視光画像及び前記赤外画像のうち、該ブロックが明るい方の画像の該ブロックの輝度情報が閾値以上である場合、前記可視光画像及び前記赤外画像における該ブロックの輝度情報の加重平均を用いて、擬似濃淡画像を生成する生成手段と、
   を含む擬似濃淡画像生成装置。
2. 前記ブロックを、画素単位とした請求項１記載の擬似濃淡画像生成装置。
3. コンピュータを、
   所定領域を撮影し、可視光を含む第１波長帯の可視光画像、及び帯域が前記第１波長帯とは異なり、かつ、赤外光を含む第２波長帯の赤外画像を出力する撮影手段から前記可視光画像及び前記赤外画像を取得する画像取得手段、及び
   前記画像取得手段によって取得された前記可視光画像及び前記赤外画像から、前記可視光画像及び前記赤外画像を複数に分割した各ブロックについて、前記可視光画像の該ブロックと、前記赤外画像の該ブロックとを比較し、前記可視光画像及び前記赤外画像のうち、該ブロックが明るい方の画像の該ブロックの輝度情報が閾値以上である場合、前記可視光画像及び前記赤外画像における該ブロックの輝度情報の加重平均を用いて、擬似濃淡画像を生成する生成手段
   として機能させるためのプログラム。