JP4659906B2 - 暗視装置 - Google Patents

Description

本発明は、照射した赤外線の反射光を用いて被写体の画像を撮影する暗視装置に関するものである。

近年、夜間（あるいは低照度時）に車両を運転するドライバーの安全性を向上すべく、暗視装置を車両に搭載し、視認性の高い車両の前方路上の画像（暗視画像）をドライバーに表示する技術が実用化されている。車両搭載用の暗視装置としては、大きく分けて遠赤外線方式による暗視装置と近赤外線方式による暗視装置がある。

遠赤外線方式による暗視装置は、前方路上の人や車両が発する熱（遠赤外線）を遠赤外線カメラにより画像化することで機能を実現する。熱源そのものを可視化できるため、照明がない状況でも撮影ができるメリットがある。しかし、遠赤外線方式では、背景と物体との温度差がない場合には撮影することができず、道路標識や路面ペイントなども撮影することができない。また、遠赤外線方式による暗視装置が高価というデメリットもある。

一方、近赤外線方式による暗視装置は、近赤外線光を前方に照射し、反射光を、近赤外線波長域を撮影できるカメラで撮影して表示する。この方式では、熱を発しない物体でも撮影でき、目視に近い画像を得ることができる。また、近赤外線方式による暗視装置は、遠赤外線方式による暗視装置よりも安価である。

しかし、近赤外線方式による暗視装置は、対向車両のヘッドライトなど強い発光体の影響を受けやすく、また、再帰性反射素材による道路標識では、強い反射により標識を読み取れないなどの問題がある。

そこで、近赤外線照明をパルス状に発光させ、照明発行時の画像と照明非発行時の画像との差分画像を用いて暗視画像を補正することによって、発光体の影響を低減させるという技術が公開されている（特許文献１、特許文献２等参照）。

特開２００２−２７４２５８号公報 特開２００３−８７６４４号公報

しかしながら、近赤外線方式の暗視装置を用いて暗視画像を撮影し、上述した従来の技術（例えば、特許文献１、特許文献２）によって暗視画像を補正した場合であっても、所定の特性を有する物体（例えば、再帰性反射素材の物体（道路標識など））の視認性を向上させることができないという問題があった。

本発明は、上記に鑑みてなされたものであって、物体の特性によらず、暗視画像の視認性を向上させることができる暗視装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、照射した赤外線の反射光を用いて被写体の画像を撮影する暗視装置であって、前記赤外線を照射した時点において撮影した画像を示す照射時画像の輝度値と前記赤外線を照射していない時点において撮影した画像を示す非照射時画像の輝度値とを基にして撮影した画像を複数の領域に分割する画像分割手段と、前記画像分割手段によって分割された領域の特徴に基づいて各領域の輝度補正を実行する輝度補正手段とを備え、前記画像分割手段は、前記非照射時画像の輝度値が第３の閾値よりも小さく、かつ、前記照射時画像の輝度値が第４の閾値よりも大きい画像上の領域を高反射領域として分割し、前記輝度補正手段は、前記高反射領域に分割された画像領域の輝度値を、前記非照射時画像の高反射領域の輝度値を輝度補正した値に基づいて補正することを特徴とする。

また、本発明は、上記発明において、前記画像分割手段は、前記非照射時画像の輝度値が第１の閾値よりも大きく、かつ、前記照射時画像の輝度値が第２の閾値よりも大きい画像上の領域を発光領域として分割し、前記輝度補正手段は、前記発光領域に分割された画像領域の輝度値を前記照射時画像または前記非照射時画像の発光領域に含まれる輝度値によって補正することを特徴とする。

また、本発明は、上記発明において、前記画像分割手段は、前記非照射時画像の輝度値が前記照射時画像の輝度値よりも大きくなる画像上の領域を低輝度領域として分割し、前記輝度補正手段は、前低輝度領域に分割された画像領域の輝度値を、前記照射時画像の低輝度領域の輝度値を輝度補正した値に基づいて補正することを特徴とする。

また、本発明は、上記発明において、前記被写体を可視光カメラによって撮影された可視光画像を取得する可視光画像取得手段をさらに備え、前記輝度補正手段は、前記可視光画像を用いて前記発行領域および前記高反射領域の画素値を生成することを特徴とする。

本発明によれば、赤外線を照射した時点において撮影した画像を示す照射時画像の輝度値と赤外線を照射していない時点において撮影した画像を示す非照射時画像の輝度値とを基にして撮影した画像を複数の領域に分割し、分割した領域の特徴に基づいて各領域の輝度補正を実行するので、被写体の特性のよらず暗視画像の視認性を向上させることができる。

また、本発明によれば、非照射時画像の輝度値が第１の閾値よりも大きく、かつ、照射時画像の輝度値が第２の閾値よりも大きい画像上の領域を発光領域として分割し、発光領域に分割された画像領域の輝度値を照射時画像または非照射時画像の発光領域に含まれる輝度値によって補正するので、発光領域を適切に輝度補正することができる。

また、本発明によれば、非照射時画像の輝度値が第３の閾値よりも小さく、かつ、前記照射時画像の輝度値が第４の閾値よりも大きい画像上の領域を高反射領域として分割し、高反射領域に分割された画像領域の輝度値を、非照射時画像の高反射領域の輝度値を輝度補正した値に基づいて補正するので、高反射領域に対する視認性を向上させることができる。

また、本発明によれば、前記非照射時画像の輝度値が前記照射時画像の輝度値よりも大きくなる画像上の領域を低輝度領域として分割し、低輝度領域に分割された画像領域の輝度値を、照射時画像の低輝度領域の輝度値を輝度補正した値に基づいて補正するので、低輝度領域を適切に輝度補正することができる。

また、本発明によれば、被写体を可視光カメラによって撮影された可視光画像を取得し、可視光画像を用いて前記発行領域および前記高反射領域の画素値を生成するので、暗視画像の視認性をさらに向上させることができる。

以下に添付図面を参照して、この発明にかかる暗視装置の実施例を詳細に説明する。

まず、本実施例１にかかる暗視装置の概要および特徴について説明する。図１は、本実施例１にかかる暗視装置の概要および特徴を説明するための図である。同図に示すように、暗視装置は、近赤外線カメラが撮影した画像（以下、入力フィールド画像と表記する）を奇数フィールド画像と偶数フィールド画像とに分離する（入力フィールド画像は、奇数フィールド画像および偶数フィールド画像を合わせた画像となる）。ここで、奇数フィールド画像は、被写体に赤外線を照射していない時点の画像を示し、偶数フィールド画像は、被写体に赤外線を照射している時点の画像を示す。

そして、暗視装置は、奇数フィールド画像の輝度値および偶数フィールド画像の輝度値に基づいて画像を複数の領域に分割し、分割した各領域をそれぞれの領域の特徴にあわせて輝度補正を行う。本実施例１にかかる暗視装置は、画像を発光領域、高反射領域、低輝度領域に分割する。

発光領域は、自ら発光する被写体を含んだ領域であり、対向車両のヘッドライト、先行車両のテールライト、街路照明、発光標識などに該当する。高反射領域は、赤外線、可視光などの光を強く反射する領域であり、道路標識、視線誘導標、先行車両の後部リフレクタ、車両ボディ（鏡面反射）などに該当する。

また、低輝度領域は、入力フィールド画像の領域のうち、発光領域および高反射領域のいずれの領域にも属さない領域であり、路面、歩行者、他車両ボディ（拡散反射）、建築物、空、背景などに該当する。

このように、本実施例１にかかる暗視装置は、入力フィールド画像を奇数フィールド画像および偶数フィールド画像に分離し、暗視装置は、奇数フィールド画像の輝度値および偶数フィールド画像の輝度値に基づいて画像を複数の領域に分割し、分割した各領域をそれぞれの領域の特徴にあわせて輝度補正を行うので、被写体の特性によらず、暗視画像の視認性を向上させることができる。

つぎに、本実施例１にかかる暗視装置を搭載した車両の構成の一例について説明する。図２は、本実施例１にかかる暗視装置を搭載した車両の構成を示す図である。同図に示すように、この車両１０は、ヘッドライト２０、ディスプレイ３０、撮影光学系レンズ４０、照明光学系レンズ５０、近赤外線光源（レーザダイオード、発光ダイオードなど）６０、近赤外線カメラ７０、照明制御部８０、暗視画像処理部１００を備える。

このうち、近赤外線光源６０は、近赤外線カメラ７０の視野を照らすように予め設定されているものとする。近赤外線光源６０としては、ＬＥＤ（発光ダイオード）を複数的に組合せて用いてもよいし、レーザダイオードの拡散照射を用いてもよい。

また、近赤外線カメラ７０は、暗視画像を作成する車両前方路上を撮影するように設置され、例えば、車両１０上部に水平に設置される。近赤外線カメラ７０としては、近赤外線帯域に感度を持つモノクロＣＣＤカメラ等を用いる。近赤外線カメラ７０に可視光カットフィルタを装着してもよい。

照明制御部８０は、近赤外線光源６０を制御して断続的に赤外線を発光させる処理部である。図３は、近赤外線光源６０の赤外線発光タイミングと近赤外線カメラ７０の露光タイミングとの関係を示す図である。同図に示すように、照明制御部８０は、近赤外線カメラ７０が偶数フィールド画像を撮影するタイミング（偶数フィールド露光タイミング）と赤外線発光タイミングとが同期するように、近赤外線光源６０を制御する。

すなわち、図３に示すタイミングによって近赤外線カメラ７０が奇数フィールド画像および偶数フィールド画像を撮影し（近赤外線カメラ７０が３０ｆｐｓインタレースで動作し）、照明制御部８０が近赤外線光源６０を制御することによって、奇数フィールドでは環境光による画素値が記録される。そして、奇数フィールドの露光タイミングに対して、偶数フィールド露光タイミングでは、環境光と照射した近赤外線の反射光による画素値が１／６０ｓｅｃの時間差で記録される。

暗視画像処理部１００は、奇数フィールド画像の輝度値および偶数フィールド画像の輝度値に基づいて画像を複数の領域に分割し、分割した各領域をそれぞれの領域の特徴にあわせて輝度補正を行う処理部である（暗視画像処理装置１００が、本発明にかかる暗視装置に対応する）。図４は、本実施例１にかかる暗視画像処理部１００の構成を示す機能ブロック図である。

同図に示すように、この暗視画像処理部１００は、フィールド分離部１１０と、スミア除去部１２０と、領域分割処理部１３０と、発光領域処理部１４０と、高反射領域処理部１５０と、低輝度領域処理部１６０と、合成処理部１７０とを備えて構成される。

フィールド分離部１１０は、近赤外線カメラ７０から入力フィールド画像のデータを取得し、取得した入力フィールド画像を奇数フィールド画像および偶数フィールド画像に分離する処理部である。フィールド分離部１１０は、分離した奇数フィールド画像および偶数フィールド画像のデータをスミア除去部１２０に出力する。

スミア除去部１２０は、奇数フィールド画像および偶数フィールド画像のデータを取得し、奇数フィールド画像および偶数フィールド画像に存在するスミアを除去する処理部である。図５は、スミア除去部１２０の処理を説明するための図である。

まず、スミア除去部１２０は、奇数フィールド画像を走査して各垂直ラインの最小輝度値を判定する。そして、スミア除去部１２０は、各垂直ラインの最小輝度値を奇数フィールド画像の左端の垂直ラインの最小輝度値から順に並べた最小輝度値配列Ｓ（ｘ）を生成する。最小輝度配列Ｓ（ｘ）に配列される最後の最小輝度値は、奇数フィールド画像の右端の垂直ラインの最小輝度値となる。

スミア除去部１２０は、最小輝度配列Ｓ（ｘ）を基にして、奇数フィールド画像の全体の輝度値を調整する。例えば、スミア除去部１２０は、最小輝度配列Ｓ（ｎ）（ｎは正の整数）の最小輝度値がＡだった場合には、奇数フィールド画像の左端からｎ番目の垂直ラインに含まれる各輝度値から最小輝度値Ａをそれぞれ減算する。その他の垂直ラインに含まれる各輝度値も、対応する最小輝度値を減算する。

このように、スミア除去部１２０が、各垂直ラインに含まれる輝度値から最小輝度値を減算することによって、図５の右側の画像のようにスミアの影響を除去することができる。なお、スミア除去部１２０は、偶数フィールド画像に対しても、奇数フィールド画像の場合と同様の手法を用いてスミアの影響を除去する。

領域分割処理部１３０は、スミア除去部１２０からスミアが除去された奇数フィールド画像（以下、単に奇数フィールド画像）およびスミアが除去された偶数フィールド画像（以下、単に偶数フィールド画像）のデータを取得し、取得した奇数フィールド画像および偶数フィールド画像に基づいて、画像を複数の領域（発光領域、高反射領域、低輝度領域）に分割する処理部である。

具体的に、領域分割処理部１３０は、その内部に領域分割テーブルを保持しており、かかる領域分割テーブルと、奇数フィールド画像の輝度値と、偶数フィールド画像の輝度値とを比較して各領域に分割する。図６は、領域分割テーブルのデータ構造の一例を示す図である。図６に示す閾値１〜４は、管理者が予め設定しておくものとする。領域分割処理部１３０は、奇数フィールド画像、偶数フィールド画像の画素単位で、輝度値を比較してもよいし、所定の領域ごとに輝度値を比較してもよい。

図６に示すように、奇数フィールド画像の輝度値が閾値１よりも大きく、かつ、偶数フィールド画像の輝度値が閾値２よりも大きい場合には、領域分割処理部１３０は、対応する部分（画素）を発光領域と判定する。

一方、偶数フィールド画像の輝度値が閾値３よりも小さく、かつ、偶数フィールド画像の輝度値が閾値４よりも大きい場合には、領域分割処理部１３０は、対応する部分（画素）を高反射領域と判定する。領域分割処理部１３０は、発光領域および高反射領域のいずれにも属さない部分（画素）、あるいは、偶数フィールド画像の輝度値よりも奇数フィールド画像の輝度値が大きくなる部分（画素）を低輝度領域と判定する。

そして、領域分割処理部１３０は、判定結果に基づいて、画像を発光領域、高反射領域および低輝度領域に分割し、発光領域の画像のデータ、高反射領域の画像のデータ、低輝度領域の画像のデータを発光領域処理部１４０、高反射領域処理部１５０、低輝度領域処理部１６０に出力する。

ところで、領域分割処理部１３０は、各種標識形状のデータを保持しており、標識形状と分割した高反射領域の形状とを比較し、形状が一致するか否かを判定する。形状が一致すれば、高反射領域をそのまま高反射領域の画像のデータとして高反射領域処理部１５０に出力する。

一方、形状が一致しない場合には、領域分割処理部１３０は、形状が一致しなかった高反射領域を低輝度領域の画像のデータとして低輝度領域処理部１６０に出力する。

発光領域処理部１４０は、領域分割処理部１３０から発光領域の画像のデータを取得し、発光領域に応じた輝度補正を行う処理部である。具体的に、発光領域処理部１４０は、発光領域に含まれる各画素の輝度値を、かかる発光領域に対応する偶数フィールド画像（あるいは奇数フィールド画像）に含まれる画素の輝度値に補正する。

例えば、発光領域に含まれるある点（ｘ，ｙ）の輝度値を、偶数フィールド画像の点（ｘ，ｙ）の輝度値に補正する。発光領域処理部１４０は、発光領域に含まれる全ての画素に対して輝度補正を実行する。発光領域処理部１４０は、輝度補正を行った発光領域の画像（以下、補正発光領域画像）のデータを合成処理部１７０に出力する。

高反射領域処理部１５０は、領域分割処理部１３０から高反射領域の画像のデータを取得し、高反射領域に応じた輝度補正を行う処理部である。具体的に、高反射領域処理部１５０の処理を説明すると、高反射領域処理部１５０は、まず、奇数フィールド画像中の高反射領域の輝度値に基づいて、高反射領域輝度変換テーブルを生成する。

ここで、高反射領域輝度変換テーブルの生成手法の一例について説明する。高反射領域処理部１５０は、奇数フィールド画像中の高反射領域に含まれる各輝度値から最大輝度値を検出し、検出した最大輝度値が２５５となる倍率Ｂを算出する。

例えば、高反射領域の最大輝度値をＣとすると、倍率Ｂは、
Ｂ＝２５５／Ｃ
となる。簡単のため、最大輝度値を１００とすると、倍率Ｂは、２．５５となるので、高反射領域輝度変換テーブルは、図７のように表すことができる。図７は、高反射領域輝度変換テーブルのデータ構造の一例を示す図である。

高反射領域処理部１５０は、奇数フィールド画像の高反射領域に含まれる輝度値と高反射領域輝度変換テーブルの入力輝度値とを比較し、補正後の輝度値（出力輝度値）となるように該当画素に対して輝度補正を行う。例えば、輝度値が２である場合には、補正後の輝度値を５．１に設定する（図７参照）。高反射領域処理部１５０は、高反射領域に含まれる全ての画素に対して輝度補正を実行する。高反射領域処理部１５０は、輝度補正を行った高反射領域の画像（以下、補正高反射領域画像）のデータを合成処理部１７０に出力する。

低輝度領域処理部１６０は、領域分割処理部１３０から低輝度領域の画像のデータを取得し、低輝度領域に応じた輝度補正を行う処理部である。具体的に、低輝度領域処理部１６０の処理を説明すると、低輝度領域処理部１６０は、まず、偶数フィールド画像中の低輝度領域の輝度値に基づいて、低輝度領域変換テーブルを生成する。

ここで、低輝度領域変換テーブルの生成手法の一例について説明する。低輝度領域処理部１６０は、偶数フィールド画像中の低輝度領域に含まれる各輝度値から最大輝度値を検出し、検出した輝度値が２５５となる倍率Ｄを算出する。

例えば、低輝度領域の最大輝度値をＥとすると、倍率Ｄは、
Ｄ＝２５５／Ｅ
となる。簡単のため、最大輝度値を８０とすると、倍率Ｄは、３．１９となるので、低輝度領域変換テーブルは、図８のように表すことができる。図８は、低輝度領域変換テーブルのデータ構造の一例を示す図である。

低輝度領域処理部１６０は、偶数フィールド画像の低輝度領域に含まれる輝度値と低輝度領域変換テーブルの入力輝度値とを比較し、補正後の輝度値（出力輝度値）となるように該当画素に対して輝度補正を行う。例えば、輝度値が２である場合には、補正後の輝度値を６．３８に設定する（図８参照）。低輝度領域処理部１６０は、輝度補正を行った低輝度領域の画像（以下、補正低輝度領域画像）のデータを合成処理部１７０に出力する。

合成処理部１７０は、発光領域処理部１４０から補正発光領域画像のデータ、高反射領域処理部１５０から高反射領域画像のデータ、低輝度領域処理部１６０から補正低輝度領域画像のデータを取得し、取得した各画像を合成する処理部である。合成処理部１７０は、合成した画像のデータを暗視画像として、ディスプレイ３０に出力する。

図９は、本手法による暗視画像と従来の手法にかかる暗視画像を示す図である。同図に示すように、本手法にかかる暗視画像は、従来の暗視画像と比較して、スミアの影響が低減されているとともに、高反射領域の視認性を向上させることができる。

次に、本実施例１にかかる暗視画像処理部１００の処理手順について説明する。図１０は、本実施例１にかかる暗視画像処理部１００の処理手順を示すフローチャートである。同図に示すように、暗視画像処理部１００は、フィールド分離部１１０が入力フィールド画像のデータを取得し（ステップＳ１０１）、入力フィールド画像を奇数フィールド画像と偶数フィールド画像に分離する（ステップＳ１０２）。

そして、スミア除去部１２０が、スミア除去処理を実行して奇数フィールド画像と偶数フィールド画像のスミアを除去し（ステップＳ１０３）、領域分割処理部１３０が画像を発光領域、高反射領域、低輝度領域に分割する（ステップＳ１０４）。

続いて、発光領域処理部１４０は、発光領域処理を実行し（ステップＳ１０５ａ）、高反射領域処理部１５０は、高反射領域処理を実行し（ステップＳ１０５ｂ）、低輝度領域処理部１６０は、低輝度領域処理を実行する（ステップＳ１０５ｃ）。

合成処理部１７０は、発光領域処理部１４０から補正発光領域画像のデータ、高反射領域処理部１５０から補正高反射領域画像のデータ、低輝度領域処理部１６０から補正低輝度領域画像のデータをそれぞれ取得して合成処理を実行し（ステップＳ１０６）、ディスプレイ３０に画像を出力する（ステップＳ１０７）。

暗視画像処理部１００が処理を継続して行う場合には（ステップＳ１０８，Ｎｏ）、ステップＳ１０１に移行し、処理を終了する場合には（ステップＳ１０８，Ｙｅｓ）、処理を終了する。

次に、図１０のステップＳ１０３に示したスミア除去処理について説明する。図１１は、スミア除去処理の処理手順を示すフローチャートである。同図に示すように、スミア除去部１２０は、奇数フィールド画像を走査し、各垂直ライン中の最小輝度値配列Ｓ（ｘ）を生成し（ステップＳ２０１）、奇数フィールド画像の未処理の任意の点（ｘ，ｙ）の輝度値からＳ（ｘ）を減算する（ステップＳ２０２）。

スミア除去部１２０は、奇数フィールド画像上の全画素に対して処理が終了したか否かを判定し（ステップＳ２０３）、処理が終了していない場合には（ステップＳ２０４，Ｎｏ）、ステップＳ２０２に移行する。

一方、処理が終了している場合には（ステップＳ２０４，Ｙｅｓ）、スミア除去部１２０は、偶数フィールド画像を走査し、各垂直ライン中の最小輝度値配列Ｓ（ｘ）を生成し（ステップＳ２０５）、偶数フィールド画像の未処理の任意の点（ｘ，ｙ）の輝度値からＳ（ｘ）を減算する（ステップＳ２０６）。

スミア除去部１２０は、偶数フィールド画像上の全画素に対して処理が終了したか否かを判定し（ステップＳ２０７）、処理が終了していない場合には（ステップＳ２０８，Ｎｏ）、ステップＳ２０６に移行し、処理が終了している場合には（ステップＳ２０８，Ｙｅｓ）、スミア除去処理を終了する。

このように、スミア除去部１２０が、奇数フィールド画像および偶数フィールド画像に存在するスミアを除去するので、各領域に対する輝度補正をより正確に実行することができるとともに、暗視画像の視認性を向上させることができる。

次に、図１０のステップＳ１０４に示した領域分割処理について説明する。図１２は、領域分割処理の処理手順を示すフローチャートである。同図に示すように、領域分割処理部１３０は、領域分割されていない画素値を取得し（ステップＳ３０１）、奇数フィールド画像の輝度値が閾値１より大きく、かつ、偶数フィールド画像の輝度値が閾値２よりも大きくなるか否かを判定し（ステップＳ３０２）、条件を満たす場合には（ステップＳ３０３，Ｙｅｓ）、かかる画素を発光領域として登録し（ステップＳ３０４）、ステップＳ３１１に移行する。

一方、条件を満たさない場合には（ステップＳ３０３，Ｎｏ）、奇数フィールド画像の輝度値が閾値３未満、かつ、偶数フィールド画像の輝度値が閾値４より大きくなるか否かを判定し（ステップＳ３０５）、条件を満たさない場合には（ステップＳ３０６，Ｎｏ）、かかる画素を低輝度領域として登録し（ステップＳ３０７）、ステップＳ３１１に移行する。

一方、条件を満たす場合には（ステップＳ３０６，Ｙｅｓ）、判定対象となる画素によって分割される領域が標識形状であるか否かを判定し（ステップＳ３０８）、標識形状でない場合には（ステップＳ３０９，Ｎｏ）、ステップＳ３０７に移行する。

一方、標識形状である場合には（ステップＳ３０９，Ｙｅｓ）、かかる画素を高反射領域として登録する（ステップＳ３１０）。そして、領域分割処理部１３０は、全画素に対して処理が終了していない場合には（ステップＳ３１１，Ｎｏ）、ステップＳ３０１に移行し、処理が終了している場合には（ステップＳ３１１，Ｙｅｓ）、領域分割処理を終了する。

次に、図１０のステップＳ１０５ａに示した発光領域処理について説明する。図１３は、発光領域処理の処理手順を示すフローチャートである。同図に示すように、発光領域処理部１４０は、補正されていない輝度値（画素値）を取得し（ステップＳ４０１）、発光領域か否かを判定する（ステップＳ４０２）。

発光領域でない場合には（ステップＳ４０３，Ｎｏ）、該当輝度値をｎｕｌｌに設定し（ステップＳ４０４）、ステップＳ４０６に移行する。一方、発光領域である場合には（ステップＳ４０３，Ｙｅｓ）、偶数フィールド画像の輝度値を領域の輝度値に設定する（ステップＳ４０５）。

発光領域処理部１４０は、全画素に対する処理が終了したか否かを判定し、全画素に対する処理が終了していない場合には（ステップＳ４０６，Ｎｏ）、ステップＳ４０１に移行し、処理が終了している場合には（ステップＳ４０６，Ｙｅｓ）、発光領域処理を終了する。

このように、発光領域処理部１４０が、発光領域の輝度値を、偶数フィールド画像の輝度値（最高輝度値）に置き換えるので、対向車両のヘッドライトなどを精度よく暗視画像に表示させることができる。

次に、図１０のステップＳ１０５ｂに示した高反射領域処理について説明する。図１４は、高反射領域処理の処理手順を示すフローチャートである。同図に示すように、高反射領域処理部１５０は、奇数フィールド画像中の高反射領域の輝度値に基づいて高反射領域輝度変換テーブルを生成し（ステップＳ５０１）、補正されていない輝度値を取得する（ステップＳ５０２）。

そして、高反射領域処理部１５０は、高反射領域か否かを判定し（ステップＳ５０３）、高反射領域でない場合には（ステップＳ５０４，Ｎｏ）、輝度値をｎｕｌｌに設定し（ステップＳ５０５）、ステップＳ５０７に移行する。

一方、高反射領域である場合には（ステップＳ５０４，Ｙｅｓ）、奇数フィールド画像の輝度値を高反射領域輝度変換テーブルに基づいて変換し、領域の輝度値に設定する（ステップＳ５０６）。

高反射領域処理部１５０は、全画素に対する処理が終了したか否かを判定し、全画素に対する処理が終了していない場合には（ステップＳ５０７，Ｎｏ）、ステップＳ５０２に移行し、処理が終了している場合には（ステップＳ５０７，Ｙｅｓ）、高反射領域処理を終了する。

このように、高反射領域処理部１５０が、画像の高反射領域を高反射領域輝度変換テーブルに基づいて輝度補正するので、再帰性反射素材によって生成された道路標識などの視認性を向上させることができる。

次に、図１０のステップＳ１０５ｃに示した低輝度領域処理について説明する。図１５は、低輝度領域処理の処理手順を示すフローチャートである。同図に示すように、低輝度領域処理部１６０は、偶数フィールド画像中の低輝度領域の輝度値に基づいて低輝度領域変換テーブルを生成し（ステップＳ６０１）、補正されていない輝度値を取得する（ステップＳ６０２）。

そして、低輝度領域処理部１６０は、低輝度領域か否かを判定し（ステップＳ６０３）、低輝度領域でない場合には（ステップＳ６０４，Ｎｏ）、該当画素をｎｕｌｌに設定し（ステップＳ６０５）、ステップＳ６０７に移行する。

一方、低輝度領域である場合には（ステップＳ６０４，Ｙｅｓ）、偶数フィールド画像の輝度値を低輝度領域変換テーブルに基づいて変換し、領域の輝度値に設定する（ステップＳ６０６）。

低輝度領域処理部１６０は、全画素に対する処理が終了したか否かを判定し、全画素に対する処理が終了していない場合には（ステップＳ６０７，Ｎｏ）、ステップＳ６０２に移行し、処理が終了している場合には（ステップＳ６０７，Ｙｅｓ）、低輝度領域処理を終了する。

このように、低輝度領域処理部１６０が、画像の低輝度領域を低輝度領域輝度変換テーブルに基づいて輝度補正するので、低輝度領域の画像の視認性を向上させることができる。

次に、図１０のステップＳ１０６に示した合成処理について説明する。図１６は、合成処理の処理手順を示すフローチャートである。同図に示すように、合成処理部１７０は、処理されていない輝度値を取得し（ステップＳ７０１）、取得した輝度値を、高反射領域の輝度値と発光領域の輝度値と低輝度領域の輝度値を加算した輝度値に設定する（ステップＳ７０２）。

そして、合成処理部１７０は、全画素に対する処理が終了したか否かを判定し、全画素に対する処理が終了していない場合には（ステップＳ７０３，Ｎｏ）、ステップＳ７０１に移行し、処理が終了している場合には（ステップＳ７０３，Ｙｅｓ）、合成処理を終了する。

上述してきたように、本実施例１にかかる暗視画像処理部１００（暗視装置）は、近赤外線カメラ７０から取得した入力フィールド画像を奇数フィールド画像と偶数フィールド画像に分離し、奇数フィールド画像および偶数フィールド画像に含まれる各画素の輝度値に基づいて画像を複数の領域（発光領域、高反射領域、低輝度慮域）に分割する。そして、暗視画像処理部１００は、各領域の特徴に合わせて輝度補正を実施するので、暗視画像の視認性を向上させることができる。

ところで、図４に示した高反射領域処理部１５０は、高反射領域の輝度補正を実施する場合に、奇数フィールド画像を基にしたγ補正などの輝度補正を実施してもよい。また、低輝度領域処理部１６０は、低輝度領域の輝度補正を実施する場合に、偶数フィールド画像を基にしたγ補正などの輝度補正を実施してもよい。

次に、本実施例２にかかる暗視装置の概要および特徴について説明する。本実施例２にかかる暗視装置は、実施例１において示した同様の手法によって、各領域（発光領域、高反射領域、低輝度領域）の輝度補正を行うとともに、カラーカメラによって撮影したカラー画像を利用して発光領域、高反射領域を色つきで表示させる。

このように、本実施例２にかかる暗視装置は、暗視画像上の発光領域および高反射領域を色つきで表示させるので、視認性をさらに向上させることができる。

つぎに、本実施例２にかかる暗視装置を搭載した車両の構成の一例について説明する。図１７は、本実施例２にかかる暗視装置を搭載した車両の構成を示す図である。同図に示すように、この車両１５は、ヘッドライト２０、ディスプレイ３０、撮影光学系レンズ４０、照明光学系レンズ５０、近赤外線光源６０、近赤外線カメラ７０、照明制御部８０、カラーカメラ９０、暗視画像処理部２００を備える。

このうち、ヘッドライト２０、ディスプレイ３０、撮影光学系レンズ４０、照明光学系レンズ５０、近赤外線光源６０、近赤外線カメラ７０、照明制御部８０は、図２に示したヘッドライト２０、ディスプレイ３０、撮影光学系レンズ４０、照明光学系レンズ５０、近赤外線光源６０、近赤外線カメラ７０、照明制御部８０と同様であるため、説明を省略する。

カラーカメラ９０は、近赤外線カメラ７０と撮影範囲を同一に設定されたか可視光カメラである。図１８は、近赤外線カメラと撮影範囲を同一にするカラーカメラの構成例を示す図である。

図１８に示すように、撮影光学系レンズ４０から入射された光が、ビームスプリッタ９０ａによって分割され、近赤外線カメラ７０およびカラーカメラ９０（赤外線カットフィルタ９０ｂを介してカラーカメラ９０）に出力される。図１８のように、近赤外線カメラ７０、カラーカメラ９０を構成することによって、近赤外線カメラと撮影範囲を同一にすることができる。

暗視画像処理部２００は、実施例１において示した同様の手法によって、各領域（発光領域、高反射領域、低輝度領域）の輝度補正を行うとともに、カラーカメラ９０によって撮影したカラー画像を利用して発光領域、高反射領域を色つきでディスプレイ３０に表示させる処理部である。

ここで、本実施例２にかかる暗視画像処理部２００の構成について説明する。図１９は、本実施例２にかかる暗視画像処理部２００の構成を示す機能ブロック図である。同図に示すように、この暗視画像処理部２００は、フィールド分離部２１０と、スミア除去部２２０と、領域分割処理部２３０と、発光領域処理部２４０と、高反射領域処理部２５０と、低輝度領域処理部２６０と、合成処理部２７０とを備えて構成される。

なお、フィールド分離部２１０、スミア除去部２２０、領域分割処理部２３０、低輝度領域処理部２６０、合成処理部２７０が行う処理内容は、図４において説明したフィールド分離部１１０、スミア除去部１２０、領域分割処理部１３０、低輝度領域処理部１６０、合成処理部１７０と同じであるため説明を省略する。

発光領域処理部２４０は、カラーカメラ９０からカラー画像のデータを取得し、領域分割処理部２３０から発光領域の画像のデータを取得し、発光領域に応じた輝度補正を行う処理部である。具体的に、発光領域処理部２４０は、発光領域に含まれる各画素値、各輝度値を、かかる発光領域に対応するカラー画像の画素値および輝度値に置き換える。

例えば、発光領域に含まれるある点（ｘ，ｙ）の画素値、輝度値を、カラー画像の点（ｘ，ｙ）の画素値、輝度値に置き換える。発光領域処理部２４０は、発光領域に含まれる全ての画素に対して輝度補正（置き換え）を実行する。発光領域処理部２４０は、輝度補正を行った発光領域の画像のデータを合成処理部２７０に出力する。

高反射領域処理部２５０は、カラーカメラ９０からカラー画像のデータを取得し、領域分割処理部２３０から高反射領域の画像のデータを取得し、高反射領域に応じた輝度補正を行う処理部である。具体的に、高反射領域処理部２５０の処理を説明すると、まず、カラー画像中の高反射領域の輝度値に基づいて、高反射領域輝度変換テーブルを生成する。高反射領域輝度変換テーブルの生成手法は、実施例１において説明した手法と同様である。また、高反射領域輝度変換テーブルのデータ構造も同様である（図７参照）。

高反射領域処理部２５０は、カラー画像中の高反射領域に含まれる輝度値と高反射領域輝度変換テーブルの入力輝度値とを比較し、補正後の輝度値（出力輝度値）となるように、カラー画像の画素に対して輝度補正を実行する。高反射領域処理部２５０は、輝度補正を行った高反射領域の画像のデータを合成処理部２７０に出力する。

次に、本実施例２にかかる暗視画像処理部２００の処理手順について説明する。なお、ここでは、実施例１に示した暗視画像処理部１００の処理と異なる発光領域処理および高反射領域処理について説明する。まず、発光領域処理について説明する。図２０は、本実施例２にかかる発光領域処理の処理手順を示すフローチャートである。

図２０に示すように、発光領域処理部２４０は、補正されていない輝度値を取得し（ステップＳ８０１）、発光領域か否かを判定する（ステップＳ８０２）。発光領域でない場合には（ステップＳ８０３，Ｎｏ）、輝度値をｎｕｌｌに設定し（ステップＳ８０４）、ステップＳ８０６に移行する。

一方、発光領域である場合には（ステップＳ８０３，Ｙｅｓ）、カラー画像の画素値、輝度値を発光領域の画素値、輝度値に設定する（ステップＳ８０５）。そして、発光領域処理部２４０は、全画素に対する処理が終了したか否かを判定し、全画素に対する処理が終了していない場合には（ステップＳ８０６，Ｎｏ）、ステップＳ８０１に移行し、処理が終了している場合には（ステップＳ８０６，Ｙｅｓ）、発光領域処理を終了する。

次に、高反射領域処理について説明する。図２１は、本実施例２にかかる高反射領域処理の処理手順を示すフローチャートである。同図に示すように、高反射領域処理部２５０は、カラー画像中の高反射領域の輝度値に基づいて高反射領域輝度変換テーブルを生成し（ステップＳ９０１）、補正されていない輝度値を取得する（ステップＳ９０２）。

そして、高反射領域処理部２５０は、取得した輝度値が高反射領域の輝度値か否かを判定し（ステップＳ９０３）、高反射領域でない場合には（ステップＳ９０４，Ｎｏ）、輝度値をｎｕｌｌに設定し（ステップＳ９０５）、ステップＳ９０７に移行する。

一方、高反射領域である場合には（ステップＳ９０４，Ｙｅｓ）、カラー画像の輝度値を高反射領域輝度変換テーブルに基づいて変換し、領域の輝度値に設定する（ステップＳ９０６）。そして、高反射領域処理部２５０は、全画素に対する処理が終了したか否かを判定し、全画素に対する処理が終了していない場合には（ステップＳ９０７，Ｎｏ）、ステップＳ９０２に移行し、処理が終了している場合には（ステップＳ９０７，Ｙｅｓ）、高反射領域処理を終了する。

上述してきたように、本実施例２にかかる暗視画像処理部２００は、画像を複数の領域（発光領域、高反射領域、低輝度領域）に分割し、カラーカメラ９０によって撮影したカラー画像を利用して、発光領域、高反射領域の輝度補正を行い、発光領域および高反射領域を色つきで表示させるので、視認性をさらに向上させることができる。

ところで、本実施例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部あるいは一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図４、図１９に示した暗視画像処理部１００，２００の構成は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部がＣＰＵ（あるいは、ＭＣＵ、ＭＰＵ）および当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

図２２は、図４に示した暗視画像処理部１００（あるいは、図１９に示した暗視画像処理部２００）のコンピュータのハードウェア構成を示す図である。このコンピュータ３００は、ユーザからのデータの入力を受け付ける入力装置３０１、モニタ３０２、照明制御装置３０３、近赤外線カメラ３０４、近赤外線光源３０５、カラーカメラ３０６、ＲＡＭ（Random Access Memory）３０７、ＲＯＭ（Read Only Memory）３０８、ＣＰＵ（Central Processing Unit）３０９、および、ＨＤＤ（Hard Disk Drive）３１０をバス３１１で接続して構成される。

ここで、照明制御装置３０３、近赤外線カメラ３０４、近赤外線光源３０５、カラーカメラ３０６は、図４に示した照明制御部８０、近赤外線カメラ７０、近赤外線光源６０、図１９に示したカラーカメラ９０にそれぞれ対応する。

ＨＤＤ３１０には、上述した暗視画像処理部１００（２００）の機能と同様の機能を発揮する暗視画像処理プログラム３１０ｂが記憶されている。そして、ＣＰＵ３０９が暗視画像処理プログラム３１０ｂをＨＤＤ３１０から読み出して実行することにより、上述した暗視画像処理部１００（２００）の機能部の機能を実現する暗視画像処理プロセス３０９ａが起動される。この暗視画像処理プロセス３０９ａは、図４に示したフィールド分離部１１０、スミア除去部１２０、領域分割処理部１３０、発光領域処理部１４０、高反射領域処理部１５０、低輝度領域処理部１６０、合成処理部１７０に対応する。

また、ＨＤＤ３１０には、上述した暗視画像処理部１００に記憶されるデータに対応する各種データ３１０ａが記憶される。この各種データ３１０ａは、領域分割テーブル（図６参照）等に対応する。

ＣＰＵ３０９は、各種データ３１０ａをＨＤＤ３１０に記憶するとともに、各種データ３１０ａをＨＤＤ３１０から読み出してＲＡＭ３０７に格納し、ＲＡＭ３０７に格納された各種データ３０７ａを利用して暗視画像処理を実行する。

以上のように、本発明にかかる暗視装置は、赤外線を利用して暗視画像を撮影する暗視装置等に有用であり、特に、被写体の特性によらず暗視画像の視認性を向上させる必要がある場合に適している。

図１は、本実施例１にかかる暗視装置の概要および特徴を説明するための図である。 図２は、本実施例１にかかる暗視装置を搭載した車両の構成を示す図である。 図３は、近赤外線光源の赤外線発光タイミングと近赤外線カメラの露光タイミングとの関係を示す図である。 図４は、本実施例１にかかる暗視画像処理部の構成を示す機能ブロック図である。 図５は、スミア除去部の処理を説明するための図である。 図６は、領域分割テーブルのデータ構造の一例を示す図である。 図７は、高反射領域輝度変換テーブルのデータ構造の一例を示す図である。 図８は、低輝度領域変換テーブルのデータ構造の一例を示す図である。 図９は、本手法による暗視画像と従来の手法にかかる暗視画像を示す図である。 図１０は、本実施例１にかかる暗視画像処理部の処理手順を示すフローチャートである。 図１１は、スミア除去処理の処理手順を示すフローチャートである。 図１２は、領域分割処理の処理手順を示すフローチャートである。 図１３は、発光領域処理の処理手順を示すフローチャートである。 図１４は、高反射領域処理の処理手順を示すフローチャートである。 図１５は、低輝度領域処理の処理手順を示すフローチャートである。 図１６は、合成処理の処理手順を示すフローチャートである。 図１７は、本実施例２にかかる暗視装置を搭載した車両の構成を示す図である。 図１８は、近赤外線カメラと撮影範囲を同一にするカラーカメラの構成例を示す図である。 図１９は、本実施例２にかかる暗視画像処理部の構成を示す機能ブロック図である。 図２０は、本実施例２にかかる発光領域処理の処理手順を示すフローチャートである。 図２１は、本実施例２にかかる高反射領域処理の処理手順を示すフローチャートである。 図２２は、図４に示した暗視画像処理部のコンピュータのハードウェア構成を示す図である。

１０，１５ 車両
２０ ヘッドライト
３０ ディスプレイ
４０ 撮影光学系レンズ
５０ 照明光学系レンズ
６０，３０５ 近赤外線光源
７０ 近赤外線カメラ
８０ 照明制御部
９０，３０６ カラーカメラ
９０ａ ビームスプリッタ
９０ｂ 赤外線カットフィルタ
１００，２００ 暗視画像処理部
１１０，２１０ フィールド分離部
１２０，２２０ スミア除去部
１３０，２３０ 領域分割処理部
１４０，２４０ 発光領域処理部
１５０，２５０ 高反射領域処理部
１６０，２６０ 低輝度領域処理部
１７０，２７０ 合成処理部
３００ コンピュータ
３０１ 入力装置
３０２ モニタ
３０３ 照明制御装置
３０４ 近赤外線カメラ
３０７ ＲＡＭ
３０７ａ，３１０ａ 各種データ
３０８ ＲＯＭ
３０９ ＣＰＵ
３１０ ＨＤＤ
３１０ｂ 暗視画像処理プログラム

Claims (8)

1. 照射した赤外線の反射光を用いて被写体の画像を撮影する暗視装置であって、
   前記赤外線を照射した時点において撮影した画像を示す照射時画像の輝度値と前記赤外線を照射していない時点において撮影した画像を示す非照射時画像の輝度値とを基にして撮影した画像を複数の領域に分割する画像分割手段と、
   前記画像分割手段によって分割された領域の特徴に基づいて各領域の輝度補正を実行する輝度補正手段とを備え、
   前記画像分割手段は、前記非照射時画像の輝度値が第３の閾値よりも小さく、かつ、前記照射時画像の輝度値が第４の閾値よりも大きい画像上の領域を高反射領域として分割し、前記輝度補正手段は、前記高反射領域に分割された画像領域の輝度値を、前記非照射時画像の高反射領域の輝度値を輝度補正した値に基づいて補正することを特徴とする暗視装置。
2. 前記画像分割手段は、前記非照射時画像の輝度値が第１の閾値よりも大きく、かつ、前記照射時画像の輝度値が第２の閾値よりも大きい画像上の領域を発光領域として分割し、前記輝度補正手段は、前記発光領域に分割された画像領域の輝度値を前記照射時画像または前記非照射時画像の発光領域に含まれる輝度値によって補正することを特徴とする請求項１に記載の暗視装置。
3. 前記画像分割手段は、前記非照射時画像の輝度値が前記照射時画像の輝度値よりも大きくなる画像上の領域を低輝度領域として分割し、前記輝度補正手段は、前記低輝度領域に分割された画像領域の輝度値を、前記照射時画像の低輝度領域の輝度値を輝度補正した値に基づいて補正することを特徴とする請求項１に記載の暗視装置。
4. 前記被写体を可視光カメラによって撮影された可視光画像を取得する可視光画像取得手段をさらに備え、前記輝度補正手段は、前記可視光画像を用いて前記発行領域および前記高反射領域の画素値を生成することを特徴とする請求項２または３に記載の暗視装置。
5. コンピュータに、
   赤外線を照射した時点において赤外線カメラが撮影した画像を示す照射時画像の輝度値と前記赤外線を照射していない時点において赤外線カメラが撮影した画像を示す非照射時画像の輝度値とを基にして画像を複数の領域に分割する画像分割手順と、
   前記画像分割手順において分割された領域の特徴に基づいて書く領域の輝度補正を実行する輝度補正手順とを実行させ、
   前記画像分割手順は、前記非照射時画像の輝度値が第３の閾値よりも小さく、かつ、前記照射時画像の輝度値が第４の閾値よりも大きい画像上の領域を高反射領域として分割し、前記輝度補正手順は、前記高反射領域に分割された画像領域の輝度値を、前記非照射時画像の高反射領域の輝度値を輝度補正した値に基づいて補正することを特徴とする暗視画像処理プログラム。
6. 前記画像分割手順は、前記非照射時画像の輝度値が第１の閾値よりも大きく、かつ、前記照射時画像の輝度値が第２の閾値よりも大きい画像上の領域を発光領域として分割し、前記輝度補正手順は、前記発光領域に分割された画像領域の輝度値を前記照射時画像または前記非照射時画像の発光領域に含まれる輝度値によって補正することを特徴とする請求項５に記載の暗視画像処理プログラム。
7. 前記画像分割手順は、前記非照射時画像の輝度値が前記照射時画像の輝度値よりも大きくなる画像上の領域を低輝度領域として分割し、前記輝度補正手順は、前記低輝度領域に分割された画像領域の輝度値を、前記照射時画像の低輝度領域の輝度値を輝度補正した値に基づいて補正することを特徴とする請求項５に記載の暗視画像処理プログラム。
8. 前記被写体を可視光カメラによって撮影された可視光画像を取得する可視光画像取得手順をさらにコンピュータに実行させ、前記輝度補正手順は、前記可視光画像を用いて前記発行領域および前記高反射領域の画素値を生成することを特徴とする請求項６または７に記載の暗視画像処理プログラム。