JP2005229317A - 画像表示システム及び撮像装置 - Google Patents

Abstract

【課題】 撮像した可視光データ及び赤外光データを合成する際に、可視画像と赤外光画像との対応する撮像領域の位置ずれを少なくして、合成した画像データを表示することができる画像表示システム、該画像表示システムを構成する撮像装置を提供する。
【解決手段】 赤外光用の光学系であるレンズ１１０、及びレンズ１１４の光軸は焦電型撮像素子１１２の撮像面の中心に配置し、可視光用の光学系であるレンズ１１０、及びレンズ１１５の光軸はＣＣＤ１１３の撮像面の中心に配置する。前記夫々の光軸は、プリズム１１１の斜辺面の中心点を通る。また、同一の撮像領域を焦電型撮像素子１１２及びＣＣＤ１１３の対応する撮像面に合わせるために、焦電型撮像素子１１２及びＣＣＤ１１３の撮像面の大きさ並びにレンズ１１４及びレンズ１１５の焦点距離を一致させることにより、撮像領域に対するレンズ１１４及びレンズ１１５夫々の画角を一致させる。
【選択図】 図２

Description

本発明は、車両に搭載され、外界を撮像する撮像装置が撮像した可視光データ及び赤外光データを合成し、合成した画像データを表示する画像表示システム及び該画像表示システムを構成する撮像装置に関する。

自動車などの車両にビデオカメラを搭載し、該ビデオカメラが撮像した画像データを表示装置に表示させることにより前方監視又は先行車追従を行うシステムが提案されている。ビデオカメラの撮像用素子にＣＣＤを用いた可視光用のビデオカメラにより撮像される画像データは、運転者が容易に識別できる映像を提供することができる反面、夜間走行時に撮像された画像データは、ヘッドライトの照射範囲以外の情報を識別できる映像を提供することが困難であった。

一方、夜間走行時における外界の情報を撮像するために、ボロメータ又は焦電型撮像素子を備えた赤外光用のビデオカメラを用いるシステムもあるが、表示される画像のコントラストが低く運転者にとって識別しにくい映像しか表示できないという欠点がある。そこで、夜間走行時においても識別容易な映像を表示させるため、可視光用のビデオカメラと赤外光用のビデオカメラを併置し、夫々のビデオカメラが撮像した画像データを合成して運転者にとって識別容易な映像を表示する方法が提案されている（非特許文献１参照）。
BMW, "Algorithm for Fusion of Far Infrared and Visual Night-Time Images with Scope to Automotive Application",2003

しかし、従来の方法にあっては、可視光用のビデオカメラと赤外光用のビデオカメラとを車両に併置するため、ビデオカメラの設置位置が異なることによる可視光データによる画像（可視画像）と赤外光データによる画像（赤外画像）との間の撮像領域の位置ずれが生じ、可視光用のビデオカメラが撮像した撮像領域と、赤外光用のビデオカメラが撮像した撮像領域を一致させて重ね合わせるためには、ビデオカメラを搭載する際に高い精度が要求された。また撮像領域を一致させてビデオカメラを搭載した後であっても、車両が走行する際の衝撃によって撮像領域がずれてしまう場合もあり、容易に撮像領域を一致させるとともに、撮像領域の位置ずれを防止する方法が望まれていた。

本発明は、斯かる事情に鑑みてなされたものであり、可視光と赤外光とを分離する光分離部により分離された可視光及び赤外光夫々を可視光用撮像素子及び赤外光用撮像素子夫々に撮像させることにより、前記可視光用撮像素子及び赤外光用撮像素子で前記光分離部を共用して、可視画像と赤外画像との対応する撮像領域の位置ずれを少なくすることができ、従来の方法に比較して、高い精度で撮像領域を一致させることができる画像表示システム及び該画像表示システムを構成する撮像装置を提供することを目的とする。

また、本発明の他の目的は、可視光（又は赤外光）を反射し、赤外光（又は可視光）を投下する光学素子により分離された可視光及び赤外光夫々を可視光用撮像素子及び赤外光用撮像素子夫々に撮像させることにより、前記可視光用撮像素子及び赤外光用撮像素子で前記光学素子を共用して、可視画像と赤外画像との対応する撮像領域の位置ずれを少なくすることができ、従来の方法に比較して、高い精度で撮像領域を一致させることができる画像表示システムを提供することを目的とする。

また、本発明の他の目的は、光の進行経路を２つに分岐する光分岐部が分岐した光夫々に対して、可視光又は赤外光を透過して、透過した可視光及び赤外光夫々を可視光用撮像素子及び赤外光用撮像素子夫々に撮像させることにより、前記可視光用撮像素子及び赤外光用撮像素子で前記光分岐部を共用して、可視画像と赤外画像との対応する撮像領域の位置ずれを少なくすることができ、従来の方法に比較して、高い精度で撮像領域を一致させることができる画像表示システムを提供することにある。

また、本発明の他の目的は、合成処理される可視光データ及び赤外光データ夫々を同期して撮像する同期部が、合成する対象となる可視光データ及び赤外光データ夫々のフレーム周期を一致させることにより、前記可視光データ及び赤外光データ夫々をフレーム単位ごとに対応付けて合成処理のための画素間演算を行うことができる画像表示システムを提供することにある。

また、本発明の他の目的は、合成処理される可視光データ及び赤外光データ夫々を同期して撮像する同期部が、合成する対象となる可視光データ及び赤外光データ夫々のフレームの撮像時点を周期させることにより、前記可視光データ及び赤外光データ夫々をフレーム単位ごとに撮像時点を一致させて合成処理のための画素間演算を行うことができる画像表示システムを提供することにある。

また、本発明の他の目的は、合成処理される可視光データ及び赤外光データ夫々を同期して撮像する同期部が、合成する対象となる可視光データ及び赤外光データ夫々の対応する撮像画素位置ごとの撮像時点を同期させることにより、前記可視光用撮像素子及び赤外光用撮像素子が撮像した撮像領域における各画素夫々の撮像時点及び画素位置を一致させて合成処理のための画素間演算を行うことができる画像表示システムを提供することにある。

本発明に係る画像表示システムは、車両の外界を撮像する撮像装置と、該撮像装置が撮像して得られた可視光データ及び赤外光データを合成処理する画像処理装置と、該画像処理装置が合成した合成画像データを表示する表示装置とを備える画像表示システムにおいて、前記撮像装置は、可視光と赤外光とを分離する光分離部と、該光分離部が分離した可視光及び赤外光夫々を撮像する可視光用撮像素子及び赤外光用撮像素子を備えることを特徴とする。

また、本発明に係る画像表示システムは、前記光分離部は、可視光（又は赤外光）を反射し、赤外光（又は可視光）を透過する光学素子を備えることを特徴とする。

また、本発明に係る画像表示システムは、前記光分離部は、光の進行経路を２つに分岐する光分岐部と、該光分岐部が分岐した光夫々に対して、可視光を透過する第１の光学フィルタ部と、赤外光を透過する第２の光学フィルタ部とを備えることを特徴とする。

また、本発明に係る画像表示システムは、前記画像処理装置は、合成処理される可視光データ及び赤外光データ夫々を同期して撮像する同期部を備え、該同期部は、合成する対象となる可視光データ及び赤外光データ夫々のフレーム周期を一致させるべくなしてあることを特徴とする。

また、本発明に係る画像表示システムは、前記画像処理装置は、合成処理される可視光データ及び赤外光データ夫々を同期して撮像する同期部を備え、該同期部は、合成する対象となる可視光データ及び赤外光データ夫々のフレームの撮像時点を同期させるべくなしてあることを特徴とする。

また、本発明に係る画像表示システムは、前記画像処理装置は、合成処理される可視光データ及び赤外光データ夫々を同期して撮像する同期部を備え、該同期部は、合成する対象となる可視光データ及び赤外光データ夫々の対応する撮像画素位置ごとの撮像時点を同期させるべくなしてあることを特徴とする。

また、本発明に係る撮像装置は、可視光と赤外光とを分離する光分離部と、該光分離部が分離した可視光及び赤外光夫々を撮像する可視光用撮像素子及び赤外光用撮像素子とを備えることを特徴とする。

第１の発明及び第７の発明にあっては、前記撮像装置が、可視光と赤外光とを分離する光分離部と、該光分離部が分離した可視光及び赤外光夫々を撮像する可視光用撮像素子及び赤外光用撮像素子を備えることにより、外界から入射された光は、前記光分離部において可視光と赤外光とに分離され、分離された可視光及び赤外光夫々は前記可視光用撮像素子及び赤外光用撮像素子において撮像される。前記可視光用撮像素子及び赤外光用撮像素子は前記光分離部を共用しているため、可視光ビデオカメラと赤外光ビデオカメラとを併設した場合における可視光及び赤外光の間に生ずる視差がなく、撮像領域における可視画像と赤外画像との対応する撮像領域の位置ずれを少なくすることができる。

第２の発明にあっては、可視光（又は赤外光）を反射し、赤外光（又は可視光）を透過する光学素子を備えることにより、外界から入射された光のうち、反射（又は透過）された可視光は前記可視光用撮像素子において撮像され、透過（又は反射）された赤外光は前記赤外光用撮像素子において撮像される。前記可視光用撮像素子及び赤外光用撮像素子は、前記光学素子を共用しているため、前記可視光用撮像素子及び赤外光用撮像素子と前記光学素子との光軸を一致させることができ、可視光ビデオカメラと赤外光ビデオカメラとを併設した場合における可視光及び赤外光の間に生ずる視差がなく、撮像領域における可視画像と赤外画像との対応する撮像領域の位置ずれを少なくすることができる。

第３の発明にあっては、光の進行経路を２つに分岐する光分岐部と、該光分岐部が分岐した光夫々に対して、可視光を透過する第１の光学フィルタ部と、赤外光を透過する第２の光学フィルタ部と、透過した可視光及び赤外光夫々を撮像する可視光用撮像素子及び赤外光用撮像素子とを備えることにより、外界から入射された光は、前記光分岐部により２つの進行経路に分岐され、分岐された光夫々は、第１及び第２の光学フィルタ夫々により可視光及び赤外光のみが透過され、透過された可視光及び赤外光は前記可視光用撮像素子及び赤外光用撮像素子において撮像される。前記可視光用撮像素子及び赤外光用撮像素子は、前記光分岐部を共用しているため、前記可視光用撮像素子及び赤外光用撮像素子と前記光分岐部との光軸を一致させることができ、可視光ビデオカメラと赤外光ビデオカメラとを併設した場合における可視光及び赤外光の間に生ずる視差がなく、撮像領域における可視画像と赤外画像との対応する撮像領域の位置ずれを少なくすることができる。

第４の発明にあっては、前記画像処理装置は、合成処理される可視光データ及び赤外光データ夫々を同期して撮像する同期部を備え、該同期部は、合成する対象となる可視光データ及び赤外光データ夫々のフレーム周期を一致させることにより、前記可視光データ及び赤外光データの合成処理のための画素間演算を、前記可視光用撮像素子及び赤外光用撮像素子が撮像した撮像領域に対応したフレーム単位で対応付けて行うことができる。

第５の発明にあっては、前記画像処理装置は、合成処理される可視光データ及び赤外光データ夫々を同期して撮像する同期部を備え、該同期部は、合成する対象となる可視光データ及び赤外光データ夫々のフレームの撮像時点を同期させることにより、前記可視光用撮像素子及び赤外光用撮像素子夫々が１フレームごとに撮像する時点を一致させることができ、前記可視光データ及び赤外光データの合成処理のための画素間演算を、前記可視光用撮像素子及び赤外光用撮像素子が撮像時点を同期させて撮像したフレームごとに行うことができる。

第６の発明にあっては、前記画像処理装置は、合成処理される可視光データ及び赤外光データ夫々を同期して撮像する同期部を備え、該同期部は、合成する対象となる可視光データ及び赤外光データ夫々の対応する撮像画素位置ごとの撮像時点を同期させる
ことにより、前記可視光データ及び赤外光データの合成処理のための画素間演算を、前記可視光用撮像素子及び赤外光用撮像素子が撮像した撮像領域における各画素夫々の撮像時点及び画素位置を一致させて行うことができる。

本発明にあっては、可視光と赤外光とを分離する光学素子により分離された可視光及び赤外光夫々を可視光用撮像素子及び赤外光用撮像素子により撮像することにより、従来の方法に比較して、高い精度で撮像領域を一致させることができ、可視光のみによる画像の場合に比べて、認識できる情報を増加して画像を表示させることができる。

また、本発明にあっては、可視光及び赤外光夫々を分離して透過する光学素子と、該光学素子が透過した可視光及び赤外光夫々を撮像する可視光用撮像素子及び赤外光用撮像素子との光軸を一致させることができ、従来の方法に比較して、高い精度で撮像領域を一致させることができ、可視光のみによる画像の場合に比べて、認識できる情報を増加して画像を表示させることができる。

また、本発明にあっては、光の進行経路を２つに分岐する光分岐部と、該光分岐部が分岐した光から可視光及び赤外光夫々を透過して可視光用撮像素子及び赤外光用撮像素子に撮像させる第１及び第２の光学フィルタ部との光軸を一致させることができ、従来の方法に比較して、高い精度で撮像領域を一致させることができ、可視光のみによる画像の場合に比べて、認識できる情報を増加して画像を表示させることができる。

また、本発明にあっては、前記可視光用撮像素子及び赤外光用撮像素子が撮像した可視光データ及び赤外光データ夫々のフレーム単位で対応付けて、前記可視光データ及び赤外光データの合成処理を行うことができる。

また、本発明にあっては、前記可視光用撮像素子及び赤外光用撮像素子が撮像した可視光データ及び赤外光データ夫々のフレームごとの撮像時点を一致させ、撮像素子の画素数に拘わらず、前記可視光用撮像素子及び赤外光用撮像素子が撮像した撮像領域に対応するフレームの撮像時間を一致させて前記可視光データ及び赤外光データの合成処理を行うことができる。

また、本発明にあっては、前記可視光用撮像素子及び赤外光用撮像素子が撮像した撮像領域における各画素夫々の撮像時点及び画素位置を一致させて前記可視光データ及び赤外光データの合成処理を行うことができる。

実施の形態１
図１は本発明に係る画像表示システムの概要を示す模式図である。図において、１は車両に搭載され、外界を撮像するビデオカメラである。ビデオカメラ１は、ＩＥＥＥ１３９４に準拠した車載ＬＡＮ通信線４を介して画像処理装置２に接続されている。また、画像処理装置２には、操作部を有する表示装置３が接続されている。

図２は、ビデオカメラ１の構成を示す模式図である。図において、１１は画像撮像部であり、外界からの光を受光するガラス製の対物レンズ１１０を備え、レンズ１１０の光軸上に、直角二等辺三角形の断面を有する三角柱のプリズム１１１が、斜辺面の中心を位置させ、前記斜辺面が該光軸に対して４５度の角度をなすように配置されている。プリズム１１１の前記斜辺面には、赤外光を透過し可視光を反射する誘電体多層膜１１１ａが形成してある。プリズム１１１と対向してレンズ１１０の反対方向に、前記光軸とゲルマニウム製の撮像レンズ１１４の光軸とを一致させてレンズ１１４を配置させ、さらにレンズ１１４を透過した赤外光が結像する位置であって、前記光軸が撮像面の中心に位置するように焦電型撮像素子１１２が配置されている。

レンズ１１０の光軸上のプリズム１１１の前記斜辺面の中心点を、ガラス製の撮像レンズ１１５の光軸が通るようにレンズ１１５を配置し、さらにレンズ１１５を透過した可視光が結像する位置であって、前記光軸が撮像面の中心に位置するようにＣＣＤ１１３が配置されている。

これにより、赤外光用の光学系であるレンズ１１０、及びレンズ１１４の光軸は焦電型撮像素子１１２の撮像面の中心に配置され、可視光用の光学系であるレンズ１１０、及びレンズ１１５の光軸はＣＣＤ１１３の撮像面の中心に配置される。また、前記光軸夫々は、プリズム１１１の前記斜辺面の中心点を通る。

また、同一の撮像領域を焦電型撮像素子１１２及びＣＣＤ１１３の対応する撮像面に合わせるために、焦電型撮像素子１１２及びＣＣＤ１１３の撮像面の大きさ並びにレンズ１１４及びレンズ１１５の焦点距離を一致させることにより、撮像領域に対するレンズ１１４及びレンズ１１５夫々の画角を一致させてある。

これにより、プリズム１１１を共有して、撮像領域に対する赤外光及び可視光の光学系夫々の光軸及び画角を一致することができ、撮像領域の同じ撮像対象は、レンズ１１０、プリズム１１１、レンズ１１４及びレンズ１１５を通して、焦電型撮像素子１１２及びＣＣＤ１１３夫々の撮像面の対応する画素に結像される。

可視光と赤外光とを分離するプリズム１１１が分離した赤外光は、焦電型撮像素子１１２に結像させるためのレンズ１１４を通して焦電型撮像素子１１２に入力される。焦電型撮像素子１１２は、入力された赤外光をＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）のアナログ信号に変換し、信号処理部１２へ出力する。

同様に、プリズム１１１が分離した可視光はＣＣＤ１１３に結像させるためのレンズ１１５を通してＣＣＤ１１３に入力される。ＣＣＤ１１３は、入力された可視光をＲＧＢのアナログ信号に変換し、信号処理部１３へ出力する。

同期部１７は、焦電型撮像素子１１２及びＣＣＤ１１３の各画素のデータを取り出すたに水平方向走査信号及び垂直方向走査信号を出力する。焦電型撮像素子１１２及びＣＣＤ１１３の１フレームごとの画素データを走査するのに要するフレーム周期は、７２Ｈｚである。また、焦電型撮像素子１１２及びＣＣＤ１１３夫々の解像度（例えば６４０×４８０）は、同一である。

同期部１７は、焦電型撮像素子１１２及びＣＣＤ１１３へ出力する垂直方向走査信号を、焦電型撮像素子１１２及びＣＣＤ１１３の間で同期させるための同期信号を焦電型撮像素子１１２及びＣＣＤ１１３に出力する。垂直方向走査信号を同期させることにより、焦電型撮像素子１１２及びＣＣＤ１１３夫々の１フレーム分の画素の最初の画素データの出力を同期することができる。また、焦電型撮像素子１１２及びＣＣＤ１１３へ出力する水平方向走査信号を、焦電型撮像素子１１２及びＣＣＤ１１３の間で同期させるための同期信号を焦電型撮像素子１１２及びＣＣＤ１１３に出力する。水平方向走査信号を同期させることにより、焦電型撮像素子１１２及びＣＣＤ１１３夫々の１ライン分の画素の最初の画素データの出力を同期することができる。

同期信号に基づいて、焦電型撮像素子１１２及びＣＣＤ１１３夫々は、各撮像面に配置された撮像素子からのアナログ信号を同期して出力する。これにより、同一の撮像領域から入射された光は、可視光と赤外光とに分離され、焦電型撮像素子１１２及びＣＣＤ１１３夫々の対応する撮像面の位置ごとに撮像時点を同期して、アナログ信号に変換されて出力される。

信号処理部１２、１３は、焦電型撮像素子１１２及びＣＣＤ１１３夫々から入力されたアナログ信号をデジタル信号に変換し、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理などを行う。さらに、ＲＧＢ信号をＹＵＶ（Ｙ：輝度、Ｕ、Ｖ：色差）信号に変換し、変換したＹＵＶ信号を画像データとして一旦画像メモリ１４へ記憶する。

インターフェース部１５は、車載ＬＡＮ通信線４を介して画像処理装置２と通信を行い、画像処理装置２から送信される指令に従って、画像メモリ１４に記憶された画像データを画像処理装置２へ出力する。例えば、夜間走行時には、画像メモリ１４に記憶された可視光データ及び赤外光データを画像処理装置２へ出力し、昼間走行時には、画像メモリ１４に記憶された可視光データのみを画像処理装置２へ出力する。

制御部１６は、画像撮像部１１、信号処理部１２、１３、同期部１７、インターフェース部１５の処理を制御する。例えば、画像処理装置２からの指令を解釈し、画像メモリ１４に記憶された画像データを読み出し、インターフェース部１５を介して画像処理装置２へ出力する。

図３は、画像処理装置２の構成を示すブロック図である。図において、２１はインターフェース部であり、ビデオカメラ１に対する指令の転送、ビデオカメラ１からの画像データの転送などを行い、入力された画像データを画像メモリ２２に記憶する。

画像メモリ２２は、インターフェース部２１から入力された可視光データ及び赤外光データの画像データをフレーム単位で一旦記憶する。

画像処理部２３は、重み係数算出部２３１、ＬＵＴ（Look Up Table）２３２、演算部２３３を備え、画像メモリ２２に記憶された１フレーム分の可視光データ及び赤外光データを読み出し、読み出した可視光データ及び赤外光データ夫々の対応する画素ごとに後述の画素間演算を行うことにより、可視光データ及び赤外光データの合成処理を行い、合成された画像データを画像メモリ２２に記憶する。

重み係数算出部２３１は、画像メモリ２２に記憶された１フレーム分の可視光データ及び赤外光データを読み出し、画素ごとの輝度を抽出して記憶部２３４に記憶する。重み係数算出部２３１は、画素ごとに該画素（注目画素）を中心とした３×３画素マトリクスにおける輝度の平均値、最小値及び最大値を算出し、該最大値と前記平均値との差、又は前記平均値と最小値との差のいずれか大きい値を、前記注目画素に対する重み係数として算出し、算出した重み係数を、記憶部２３４に一旦記憶する。重み係数算出部２３１は、上述の処理を１フレーム分の画素夫々に対して行う。

ＬＵＴ２３２は、２５６個のエントリーを備え、重み係数算出部２３１で算出された重み係数に対応して、２５６個の重み定数を記憶してある。これにより、重み係数算出部２３１で算出された重み係数に応じて重み定数を設定することができる。

演算部２３３は、画素ごとに算出された重み係数に応じた重み定数をＬＵＴ２３２から読み出し、前記画素における可視光データ及び赤外光データの輝度値を記憶部２３４から読み出し、数１で表される式に基づいて、前記画素における輝度値を算出し、算出した結果である合成処理された画像データを画像メモリ２２に記憶する。

ここで、ｘ、ｙは画素のｘ座標及びｙ座標であり、ｗ１（ｘ，ｙ）は赤外光データの画素（ｘ，ｙ）における重み定数であり、ｗ２（ｘ，ｙ）は可視光データの画素（ｘ，ｙ）における重み定数である。ｓ１（ｘ，ｙ）は赤外光データの画素（ｘ，ｙ）における輝度値であり、ｓ２（ｘ，ｙ）は可視光データの画素（ｘ，ｙ）における輝度値である。また、ｄ（ｘ，ｙ）は画素（ｘ，ｙ）における合成された画像データの輝度値である。

これにより、注目画素を中心とした画素マトリクスにおける情報量の多少を重み係数により算出し、該重み係数に応じた重み定数を前記注目画素における輝度値に積算して、可視光データと赤外光データ夫々の輝度値を加算演算することにより、前記情報量に応じた画像データを合成することができる。

画像処理部２３は、上述の合成処理を画像メモリ２２に記憶された１フレーム分の画像データに対して行った後は、同様の合成処理を前記１フレーム以降の各フレームについて行う。

出力部２５は、画像処理部２３で合成処理された画像データを画像メモリ２２から読み出し、表示装置３へ出力することにより、表示装置３は可視光データ及び赤外光データが合成処理された画像データを表示する。

画像処理制御部２４は、インターフェース部２１から出力される画像データの画像メモリ２２への記憶、画像処理部２３の画像メモリ２２からの画像データの読み出し、合成された画像データの出力部２５への出力などの処理を制御する。

上述のように、ビデオカメラ１で撮像して得られた可視光データ及び赤外光データの画像データは、画像処理装置２へ出力され、画像処理装置２は、前記可視光データ及び赤外光データに対して画素ごとの画素間演算を行うことにより画像データの合成処理を行い、合成処理された画像データを、表示装置３へ出力する。これにより、運転者が夜間走行時に前方監視又は先行車追従を行う場合に、運転者の運転を支援する。また、昼間走行時には、運転者の操作により、ビデオカメラ１が撮像した画像データのうち、可視光データのみを表示することが可能である。

図４は、夜間走行時にビデオカメラ１が撮像した画像の例を示す説明図である。図４（ａ）は、ＣＣＤ１１３が撮像して得られた可視光データを表示した場合、図４（ｂ）は、焦電型撮像素子１１２が撮像して得られた赤外光データを表示した場合、図４（ｃ）は、ＣＣＤ１１３及び焦電型撮像素子１１２が撮像して得られた可視光データと赤外光データとを画像処理装置２において合成処理した後の画像を表示した場合である。

図４（ａ）において、ビデオカメラ１が車両のヘッドライトが照射された前方路面、路肩などからの反射光を受光した場合は、路肩、車線変更用レーンなどの撮像領域からの可視光データは高い輝度値を有し、一方、ヘッドライトが照射されない撮像領域からの可視光データは輝度が低いため、路肩、車線変更用レーンなどは認識できる程度に表示することができるが、道路前方の他の撮像領域は表示されず認識することができない。

図４（ｂ）において、ビデオカメラ１が撮像領域における物体の熱エネルギを赤外光として受光した場合は、車両前方の撮像領域における路面、路肩、歩行者、周囲の木々などの物体からの熱エネルギの差を画像として表示するため、可視光データでは認識することができない物体を個別に認識できる程度に表示することができる。例えば、可視光を受光する場合には、夜間の歩行者を認識することが困難であるが、赤外光を受光する場合には、人体から発せられる熱エネルギにより容易に歩行者を認識することができる。しかし、同一物体からの熱エネルギには差がないため、赤外光データによる画像は、可視光データによる画像に比べてコントラストが低く、認識できない領域もある。

図４（ｃ）において、ビデオカメラ１が撮像して得られた可視光データと赤外光データとを合成処理する場合は、ヘッドライトが照射されない歩行者、周囲の物体の画像のみならず、ヘッドライトが照射された物体からの反射光も受光して表示するため、コントラストが高く容易に認識できる画像を表示することができる。

上述の通り、ビデオカメラ１に入射した光は、プリズム１１１により可視光と赤外光に分離される。分離された可視光及び赤外光夫々がＣＣＤ１１３及び焦電型撮像素子１１２に結像される。画像処理装置２は、撮像して得られた可視光データと赤外光データとを撮像領域に対応する画素ごとに画素間演算をして合成することにより、撮像領域が一致した合成処理後の画像データを表示装置３に表示させることができる。

プリズム１１１は、赤外光を透過し可視光を反射させるものであったが、これに限らず、赤外光を反射し可視光を透過させる機能を持った誘電体多層膜を用いたものであってもよい。また、可視光と赤外光を分離する光学素子はプリズム１１１に限られるものではなく、誘電体多層膜をコーティングしたミラーであってもよい。

赤外光用の撮像素子は、焦電型撮像素子１１２に限られるものではなく、ボロメータなどの熱型検出素子であってもよい。また、赤外光を結像させるレンズは、ゲルマニウムレンズに限られるものではなくＺｎＳレンズであってもよい。さらに、可視光用の撮像素子は、ＣＣＤ型に限られず、ＣＭＯＳ型であってもよい。

重み係数は、注目画素を中心とした画素マトリクスにおける各画素の輝度の平均値と最大輝度又は最小輝度に基づいて算出したが、これに限らず、画素マトリクス内の情報の多少を判断することができるものであれば、画素マトリクスにおける各画素の輝度の平均値を用いてもよく、また、各画素の最大輝度差を用いても良い。さらに、合成処理の処理負担を軽減するために、画素ごとの重み係数を算出するのではなく、一定の係数を予め定めておく構成であってもよい。

画素マトリクスの大きさは３×３に限らず、他の大きさであってもよい。

上述の実施の形態においては、ビデオカメラと画像処理装置との接続は、ＩＥＥＥ１３９４に準拠した車載ＬＡＮ通信線を介して行われたが、これに限らず、ＮＴＳＣに準拠した通信方式であってもよい。

上述の実施の形態においては、焦電型撮像素子１１２及びＣＣＤ１１３夫々の解像度は同一であったが、これに限らず、焦電型撮像素子１１２及びＣＣＤ１１３夫々の解像度が異なる構成であってもよい。また、撮像面の走査の順序（例えば、左上から右下方向への走査、又は右下から左上への走査など）が焦電型撮像素子１１２とＣＣＤ１１３との間で異なる構成でもよい。さらに、焦電型撮像素子１１２とＣＣＤ１１３との間で走査方式（例えば、インターレース方式とノンインターレース方式）が異なる構成でもよい。かかる場合は、焦電型撮像素子１１２及びＣＣＤ１１３のフレーム周期が同じであれば、焦電型撮像素子１１２及びＣＣＤ１１３が出力する画像データを１フレーム単位で対応させて出力することができる。焦電型撮像素子１１２及びＣＣＤ１１３の解像度の違いは、画素の補間又は間引きを行うことにより、画素間演算を行うことができる。

また、焦電型撮像素子１１２及びＣＣＤ１１３へ出力する垂直方向走査信号を同期させることにより、焦電型撮像素子１１２及びＣＣＤ１１３が出力する画像データを１フレーム分の画素の最初の画素データを同期させて出力することができ、焦電型撮像素子１１２及びＣＣＤ１１３夫々の撮像時点を一致させることができる。焦電型撮像素子１１２及びＣＣＤ１１３の解像度の違いは、画素の補間又は間引きを行うことにより、画素間演算を行うことができる。

上述の実施の形態においては、焦電型撮像素子１１２及びＣＣＤ１１３のフレーム周期は７２Ｈｚであったが、これに限らず６０Ｈｚであってもよい。また、焦電型撮像素子１１２及びＣＣＤ１１３のフレーム周期が夫々７２Ｈｚ（又は６０Ｈｚ）及び６０Ｈｚ（又は７２Ｈｚ）であってもよい。この場合は、同期部１７は、夫々のフレーム周期の公約数である１２Ｈｚの周期で、垂直方向走査信号を同期させる同期信号を出力する。すなわち、フレーム周期が７２Ｈｚの焦電型撮像素子１１２に対しては、６フレーム毎に、フレーム周期が６０ＨｚのＣＣＤ１１３に対しては、５フレーム毎に夫々の撮像時点を一致させることが可能である。このことにより、１２Ｈｚの周期で撮像時点の一致した可視光データと赤外光データとを得ることができる。焦電型撮像素子１１２及びＣＣＤ１１３の解像度の違いは、画素の補間又は間引きを行うことにより、画素間演算を行うことができる。

上述の実施の形態においては、水平方向走査信号及び垂直方向走査信号を同期させる同期信号を出力して画素ごとに撮像時点を一致させる構成であったが、ラインごとに撮像時点を一致させる構成であってもよい。これにより、焦電型撮像素子１１２及びＣＣＤ１１３の間において、垂直方向の画素数は一致するが水平方向の画素数が異なる場合であっても、ラインごとに撮像時点を一致させることが可能となる。焦電型撮像素子１１２及びＣＣＤ１１３の解像度の違いは、画素の補間又は間引きを行うことにより、画素間演算を行うことができる。

実施の形態２
図５は画像撮像部５の構成を示す模式図である。５は画像撮像部であり、外界からの光を受光するガラス製の対物レンズ５０を備え、レンズ５０の光軸上に、ガラス製の立方体であって、立方体の中心が前記光軸上に位置し、立方体の対角面が該光軸に対して４５度の角度をなすようにスプリッタ５１が配置されている。スプリッタ５１の前記対角面には、入射した光を直角をなす２つの分岐路へ分岐する誘電体多層膜５１ａが形成してある。スプリッタ５１に対向して、前記光軸上に可視光を反射して赤外光を透過するコールドミラー５２が配置されている。コールドミラー５２に対向して、ゲルマニウム製の撮像レンズ５３の光軸が前記光軸に一致するようにレンズ５３が配置され、さらにレンズ５３を透過した赤外光が結像する位置であって、前記光軸が撮像面の中心に位置するように焦電型撮像素子５４が配置されている。

レンズ５０の光軸上のスプリッタ５１の前記対角面の中心点を、赤外光を反射して可視光を透過するホットミラー５５の中心軸が通るように配置させ、ホットミラー５５に対向して、ガラス製の撮像レンズ５６の光軸が前記中心点を通るようにレンズ５６を配置してある。さらにレンズ５６を透過した可視光が結像する位置であって、前記光軸が撮像面の中心に位置するようにＣＣＤ５７が配置されている。

これにより、赤外光用の光学系であるレンズ５０、及びレンズ５３の光軸は焦電型撮像素子５４の撮像面の中心に配置され、可視光用の光学系であるレンズ５０、及びレンズ５６の光軸はＣＣＤ５７の撮像面の中心に配置される。また、前記光軸夫々は、スプリッタ５１の前記対角面の中心点を通る。

また、同一の撮像領域を焦電型撮像素子５４及びＣＣＤ５７の対応する撮像面に合わせるために、焦電型撮像素子５４及びＣＣＤ５７の撮像面の大きさ並びにレンズ５３及びレンズ５６の焦点距離を一致させることにより、撮像領域に対するレンズ５３及びレンズ５６夫々の画角を一致させてあるのは、実施の形態１における画像撮像部１１と同様である。

これにより、スプリッタ５１を共有して、撮像領域に対する赤外光及び可視光の光学系夫々の光軸及び画角を一致することができ、撮像領域の同じ撮像対象は、レンズ５０、スプリッタ５１、レンズ５３及びレンズ５６を通して、焦電型撮像素子５４及びＣＣＤ５７夫々の撮像面の対応する画素に結像される。

焦電型撮像素子５４及びＣＣＤ５７夫々は、入力された赤外光及び可視光夫々を電気信号に変換し、ＲＧＢのアナログ信号として信号処理部１２，１３へ出力するように構成してあるのは、実施の形態１と同様である。

画像撮像部５以外の他の構成は、実施の形態１と同様であるので説明は省略する。

本発明に係る画像表示システムの概要を示す模式図である。 ビデオカメラの構成を示す模式図である。 画像処理装置の構成を示すブロック図である。 夜間走行時にビデオカメラが撮像した画像の例を示す説明図である。 画像撮像部の構成を示す模式図である。

符号の説明

１ ビデオカメラ
２ 画像処理装置
３ 表示装置
５ 画像撮像部
１１ 画像撮像部
１７ 同期部
５０ レンズ
５１ スプリッタ
５１ａ 誘電体多層膜
５２ コールドミラー
５３ レンズ
５４ 焦電型撮像素子
５５ ホットミラー
５６ レンズ
５７ ＣＣＤ
１１０ レンズ
１１１ プリズム
１１１ａ 誘電体多層膜
１１２ 焦電型撮像素子
１１３ ＣＣＤ
１１４ レンズ
１１５ レンズ

Claims (7)

1. 車両の外界を撮像する撮像装置と、該撮像装置が撮像して得られた可視光データ及び赤外光データを合成処理する画像処理装置と、該画像処理装置が合成した合成画像データを表示する表示装置とを備える画像表示システムにおいて、
   前記撮像装置は、可視光と赤外光とを分離する光分離部と、該光分離部が分離した可視光及び赤外光夫々を撮像する可視光用撮像素子及び赤外光用撮像素子を備えることを特徴とする画像表示システム。
2. 前記光分離部は、可視光（又は赤外光）を反射し、赤外光（又は可視光）を透過する光学素子を備えることを特徴とする請求項１に記載された画像表示システム。
3. 前記光分離部は、光の進行経路を２つに分岐する光分岐部と、該光分岐部が分岐した光夫々に対して、可視光を透過する第１の光学フィルタ部と、赤外光を透過する第２の光学フィルタ部とを備えることを特徴とする請求項１に記載された画像表示システム。
4. 前記画像処理装置は、合成処理される可視光データ及び赤外光データ夫々を同期して撮像する同期部を備え、該同期部は、合成する対象となる可視光データ及び赤外光データ夫々のフレーム周期を一致させるべくなしてあることを特徴とする請求項１乃至請求項３のいずれかに記載された画像表示システム。
5. 前記画像処理装置は、合成処理される可視光データ及び赤外光データ夫々を同期して撮像する同期部を備え、該同期部は、合成する対象となる可視光データ及び赤外光データ夫々のフレームの撮像時点を同期させるべくなしてあることを特徴とする請求項１乃至請求項４のいずれかに記載された画像表示システム。
6. 前記画像処理装置は、合成処理される可視光データ及び赤外光データ夫々を同期して撮像する同期部を備え、該同期部は、合成する対象となる可視光データ及び赤外光データ夫々の対応する撮像画素位置ごとの撮像時点を同期させるべくなしてあることを特徴とする請求項１乃至請求項５のいずれかに記載された画像表示システム。
7. 可視光と赤外光とを分離する光分離部と、該光分離部が分離した可視光及び赤外光夫々を撮像する可視光用撮像素子及び赤外光用撮像素子とを備えることを特徴とする撮像装置。
   

Images