JP2017011633A - 撮像装置 - Google Patents

Abstract

【課題】可視光撮影時の輝度や赤外撮影時の輝度が明るい暗いという輝度値に基づいて合成比率を変えて可視画像と赤外画像の合成を行うと、所望の画像が得られない。【解決手段】可視光により撮影を行う可視光撮影手段と、不可視光により撮影を行う不可視光撮影手段と、前記可視光撮影手段により得られた可視光画像と、前記不可視光撮影手段により得られた不可視光画像を合成する画像合成部とを持ち、前記可視光撮影手段により得られた可視画像の輝度成分と、前記不可視光撮影手段により得られた不可視画像の輝度成分の相関を所定の領域ごとに算出する相関算出手段をさらにもち、相関算出手段から得られる相関値によって、前記可視光画像と前記不可視光画像の出力を前記領域ごとに切り替えて出力可能なことを特徴とする撮像装置。【選択図】図２

Description

本発明は、撮像装置に関する。特に、赤外光と可視光を撮像する撮像装置に関する。

低照度下でのカラー画像撮影のため従来、可視光撮影により得られた画像と赤外線撮影により得られた画像の合成画像を作成することができるように構成した撮像装置が知られている。

特許文献１に記載されている撮像装置は、可視光信号と非可視光信号を合成する際に、可視光輝度信号の値に応じて、可視光輝度信号と非可視光輝度信号の合成比率と色信号の増幅度と色ノイズ除去を制御する装置が開示されている。

特開２０１４−１３５６２７号公報

可視光信号と非可視光（以下、赤外光とする）信号では、特性が異なるため、特許文献１に開示されている可視光信号の輝度に応じた合成比率の変更では合成結果が所望の結果とならないケースがあることが分かった。具体的な撮影シーンを挙げて課題を説明する。

第１の課題として、フレアにより明るくなった対象物の例を上げる。例えば、ヘッドライトをつけた自動車のナンバープレートを撮影する場合、ヘッドライトによるフレアでナンバープレートの文字が撮影できないことがある。一方、赤外光撮影においては、ヘッドライトによるフレアが低減しナンバープレーの文字の視認性が向上する。

ところが、ナンバープレートのエリアの可視撮影画像はフレアの影響で明るく映り、輝度は高く描写される。そのため、特許文献１においては、高い輝度の領域は可視光を合成像とするため、ナンバープレートの文字の視認性は可視光画像と変わらないという課題がある。

第２の課題として、人物の顔の撮影を挙げる。特許文献１による方法では、可視光輝度が暗いエリアでは合成像として赤外像を用いることが開示されている。しかし、固定のしきい値であるために、黒い髪の毛や黒い服のように本来暗く映る被写体においても、赤外像の輝度が適応されてしまうことになる。髪の毛は赤外光画像で明るく描写されるため、合成後は輝度が明るく変化する。そのため髪の毛のような被写体は、本来の色とは異なる色で合成されてしまうことが分かった。

上述のように、可視光撮影時の輝度や赤外光撮影時の輝度が明るい暗いという輝度値に基づいて合成比率を変えて可視光画像と赤外光画像の合成を行うと、所望の画像が得られないという課題が合った。

上記の課題を解決するために、請求項１の発明による代表的な構成は、可視光により撮影を行う可視光撮影手段と、不可視光により撮影を行う不可視光撮影手段と、前記可視光撮影手段により得られた可視光画像と、前記不可視光撮影手段により得られた不可視光画像を合成する画像合成部とを持ち、前記可視光撮影手段により得られた可視画像の輝度成分と、前記不可視光撮影手段により得られた不可視画像の輝度成分の相関を所定の領域ごとに算出する相関算出手段をさらにもち、相関算出手段から得られる相関値によって、前記可視光画像と前記不可視光画像の出力を前記領域ごとに切り替えて出力可能なことを特徴とする。

請求項２の発明における構成は、さらに前記可視光画像のエッジ画像を作成する可視光エッジ画像作成部と前記不可視光画像のエッジ画像を作成する不可視光エッジ画像作成部をもち、相関算出手段は、前記可視光画像と前記不可視光画像の輝度のエッジ画像から相関値を算出することを特徴とする。

請求項３における構成は、さらに前記可視光画像と前記不可視光画像について、前記所定の領域ごとにエッジ量をそれぞれ算出するエッジ量算出手段を持ち、相関算出手段から得られる相関値が高い領域は可視画像、相関値が低い領域は、エッジ量の大きい画像を合成像として合成することを特徴とする。

請求項４における構成は、さらに可視光により撮影を行う可視光撮影手段と、不可視光により撮影を行う不可視光撮影手段と、前記可視光撮影手段により得られた可視光画像と、前記不可視光撮影手段により得られた不可視光画像を合成する画像合成部とを持ち、前記可視光撮影手段により得られた可視画像の輝度成分と、前記不可視光撮影手段により得られた不可視画像の輝度成分の相関を所定の領域ごとに算出する相関算出手段をさらにもち、相関算出手段から得られる相関値によって、前記可視光画像と前記不可視光画像の合成比率を前記領域ごとに切り替えて出力可能なことを特徴とする。

請求項５における構成は、さらに同一被写***置にある前記不可視光画像の輝度と前記可視光画像の色差を保持する色差保持テーブルを前記領域毎に持ち、前記合成画像を作成する際に前記不可視光画像領域を選択した際に、周辺の前記可視光画像が選択された領域の前記色差保持テーブルから色差を付加することを特徴とする。

請求項６における構成は、さらに任意の色相を指示する色相指示手段を持ち、前記合成画像を作成する際に前記不可視光画像領域を選択した際に、色相指示手段により指示された色相を色差情報として付加することを特徴とする。

本発明によれば、可視光画像と赤外光画像の相関に基づいて、可視光画像と赤外光画像の合成画像を作成するとともに、よりエッジ情報の残る画像を合成像として用いるため、合成像の画像情報が高まる。

そのため、交通監視の用途においては、フレアにより可視光像では判別できないナンバープレートエリアを赤外光像で合成するとともに、信号や車の色といった色情報は、可視光画像から合成され、より情報量の多い合成画像が作成できる。

また、サングラスを掛けた人物の撮影では、赤外光画像でサングラスの奥の眼の画像を合成像とするとともに、眼周辺の肌の色を合成することができ、情報量が多く、自然な可視光画像と赤外光画像の合成画像を作成することが可能となる。

さらに、可視画像と赤外画像に差のある領域に任意の色相で色を付加可能なため、果物の傷みの検知や、異物検知といった用途においても情報量が多く、視認性の高い可視光画像と赤外光画像の合成画像を作成することが可能となる。

撮像装置の全体の構成図である。 第１の実施例に係る画像処理部の処理ブロックを説明する図である。 第１の実施例に係る可視光・赤外光の撮影画像と相関画像を説明する図である。 第２の実施例に係る画像処理部の処理ブロックを説明する図である。 第２の実施例に係る可視光・赤外光の撮影画像と相関画像を説明する図である。 第２の実施例に係る画像処理部の処理フローを説明する図である。 第３の実施例に係る可視光・赤外光の撮影画像と相関画像を説明する図である。

本発明を図示の実施例に基づいて詳細に説明する。

［実施例１］
本実施例では、ヘッドライトをつけた自動車のナンバープレートを撮影する実施例について図１から図３を用いて説明をする。薄暮時や夜間などヘッドライトをつけた自動車を前方から撮影した場合、ヘッドライトによるフレアでナンバープレートの文字が撮影できない。一方、赤外光撮影においては、ヘッドライトによるフレアが低減しナンバープレートの文字の視認性が向上する。また特に赤外光照明を点灯し赤外光撮影を行うと、さらにナンバープレートの視認性は向上する。一方で自動車以外の領域は信号機など色の情報が必要となる。このため、自動車のナンバープレート部分を赤外光画像とし、自動車周辺を可視光画像で合成する実施例について説明する。

＜撮像装置構成＞
本実施例における撮像装置の全体の構成について、図１を用いて説明する。

図１は撮影装置であるカメラの測定部の構成を示している。光軸Ｏ１上に、対物レンズ１、撮影絞り２、フォーカスレンズ３、撮影レンズ４が順次に配列されており、その後方に、波長分離のためのダイクロイックミラー５が配置されている。ダイクロイックミラー５は、可視光を透過し赤外光を反射するように構成されている。透過した可視光成分は、ダイクロイックミラー５の後方に配置された可視光画像記録用撮像素子６により光電変換され、画像化される。一方ダイクロイックミラー５で反射された赤外光成分は、光軸Ｏ２を通り配置された赤外光画像記録用撮像素子７により光電変換され、画像化される。

また、画像記録用撮像素子６および７の出力は画像処理部８を介して、制御部９に接続されている。更に制御部９には、操作部を持つモニタ１０、画像記録部１１が接続されている。制御部９は適宜モニタ１０に観察用撮像素子６及び７で撮像された観察画像を後述の合成方法により合成し、映出する。同時に合成された画像は、制御部９に接続された画像記録部１１に蓄積される。

さらに、撮影装置は不図示の赤外光を発するＬＥＤ光源からなる赤外光照明光源を持つ。また、制御部９には、外部ストレージや、外部コンピュータを接続することができ、撮影画像をそれら外部機器へ転送することができる。また、外部機器により撮影の開始や終了を制御することも可能な構成となっている。

＜画像処理部構成＞
次に、画像処理部について図２を参照し説明する。本実施例における制御部９に実装された画像処理部の処理ブロック構成を図２に示し、処理ブロック毎の処理の流れを説明する。前述の可視光画像記録用撮像素子６より出力された可視光画像は、可視光撮像部２０１によりＲＧＢ信号に画像化され出力される。次いで、色空間変換部２０３においてＲＧＢ信号から輝度色差空間へ色空間変換される。ここで可視光画像の輝度信号（Ｙ^ＶＲ）は、相関算出部２０４へ出力され、色差信号（Ｃ^ＶＲ）は色差合成部２０５へ出力される。

また、赤外光画像について説明すると、前述の赤外光画像記録用撮像素子７より出力された赤外光画像は、赤外光撮像部２０２によりモノクロの画像として輝度信号（Ｙ^ＩＲ）のみの形式で画像化され相関算出部２０４へ出力される。

相関算出部２０４では、入力された可視光と赤外光信号の相関を算出する。図３に夜間にヘッドライトを点灯した自動車の可視光画像と赤外光画像を説明する図を示す。図３ａ）は、可視光画像を説明する図であり、図３ｂ）は、赤外光画像を説明する図である。

相関算出部では、図中破腺で示すように画像を複数の処理ブロックに分割する。分割したブロックで可視光画像と赤外光画像の相関値Ｒを計算する。相関値Ｒの計算は、画像輝度そのものではなく、エッジ画像とする。エッジ画像は１次の差分画像により求められ、本実施例では、Ｓｏｂeｌフィルタを掛けた画像を用いる。Ｓｏｂｅｌフィルタによりエッジ画像となった輝度を可視赤外それぞれ、ｄＹ^ＶＲ，ｄＹ^ＩＲとした場合の相関値の計算式を（式１）に示す。ここで、Ｍ，Ｎは処理ブロックの縦横画素数を表す。

処理ブロック毎の相関値の計算結果を図３Ｃ）に示す。処理ブロックの明るさで相関値を示している。ナンバーの領域が周辺よりも低くなっていることは、周辺よりも相関値が低くなっていることを示している。また、左上に信号機があるが、信号機の光は可視光画像、赤外光画像それぞれのエッジに差は少なく、エッジ画像の相関は高くなる。

相関算出部は、処理ブロックごとの相関値情報と、入力された可視光画像、赤外光画像と共に色差合成部２０５へ出力する。さらに、可視光、赤外光それぞれのエッジ画像の輝度の処理ブロック毎の和を色差合成部２０５へ出力する。

また、可視光と赤外光では波長の差から結像位置にずれが生じ、画角が若干ずれる。そのため相関算出部では、このずれ分を考慮して、数画素の幅を持って相関値を算出し、最も相関の高い値を相関値としても良い。

色差合成部２０５では、入力された可視光の輝度画像、赤外光の輝度画像、可視光の色差画像に加え、相関算出部２０４で算出された処理ブロック毎の相関値情報と処理ブロック毎のエッジ画像の輝度の和から画像を合成する。

まず、処理ブロック毎の相関値をしきい値処理することにより処理ブロックごとに赤外光画像と可視光画像の合成を行う。相関値がしきい値以上であれば、可視光画像と赤外光画像のどちらを用いても差がないと判断し、可視光画像を合成輝度として適応する。また、相関値がしきい値より低い場合、ブロック中のエッジ画像の輝度の総和が大きい画像を合成画像として適応する。これは、エッジ画像の輝度の総和は、画像情報の量に比例すると考えられるためである。つまり、可視光画像ではフレアによってナンバーがぼやけてしまいエッジ量は低下する。エッジ量が低下していれば、ナンバーに書かれる文字の情報が視認しづらくなり、情報量として低下していると考えられる。一方赤外光画像は、エッジ情報が多く、ナンバーの文字情報が残っていると考えられる。

また、色差情報については、合成画像として可視光画像が選択されたブロックに合成し、赤外光画像が合成されたブロックについては、色差を合成せずグレーの色調として合成する。

上述のように処理を行うことで、合成画像としてナンバーエリアでは、赤外光画像が選択され、ナンバーエリア以外では可視光画像が選択されることになり、フレアにより可視光画像では認識することが困難であったナンバー部分を赤外光画像で合成することでナンバー部分の視認性が向上するとともに、自動車の色や、信号や標識といった背景部分については、赤外光画像と可視光画像での相関が高くなるため、可視光画像で色を残して合成することが可能となる。

なお、本実施例では相関値をしきい値処理して可視、赤外光画像を選択的に合成したが、これを相関が高い部分では可視の合成比率を高め、逆に相関が低い部分ではエッジ量の多い画像の合成比率を高めるように実装してももちろん良い。その際の色差情報の合成割合も、可視光の割合が高い処理ブロックでは高く、可視光の割合が低いエリアでは小さくなるように合成しても良い。また、本実施例では処理ブロックごとに切り替えていたが、周辺の処理ブロックとの距離等に応じて画素ごとの合成比率を補間して決定してももちろん良い。

さらに、合成比率の計算処理が高負荷となる処理システムの場合、本処理を掛けるエリアを画像中の一部に限定してももちろん良い。例えば、本実施例の場合、自動車のナンバーが映るエリアにだけ処理を実施し、それ以外のエリアでは、常に可視光画像、もしくは赤外光画像を選択するように構成してももちろん良い。

また、相関値の計算を可視光画像、赤外光画像それぞれのエッジ画像から算出したが、エッジ画像ではなく、可視光画像と赤外光画像そのものから相関値を計算してもナンバー部分の相関は低下するためもちろん良く、相関の計算においては、式１のように領域ごとの平均値を減じているため、可視光画像と赤外光画像の領域ごとの平均輝度差の影響は低減されている。

以上のように実施することで、ヘッドライトをつけた自動車のナンバープレートを撮影する場合においても、フレアの影響をなくしてナンバープレートの文字を視認性の高い画像で保存可能であり、同時に信号の色や車の色といった可視の色情報を損なうことのない可視光画像と赤外光画像の合成画像が作成可能となる。

［実施例２］
本実施例では、サングラスを掛けた人物のサングラス部分を赤外光による画像、それ以外の部分を可視光による画像で合成する実施例について図４から図６を用いて説明をする。

サングラスは、紫外光、可視光を遮断するが赤外光は透過するものが多い。そのため、赤外光で撮影すると眼の画像を得ることが可能となる。ところが、輝度を基準に可視光画像と赤外光画像を合成すると、サングラスよりも暗く映る黒い髪や、黒い服までも光画像で合成されることになる。一般に髪の毛は赤外光画像において明るく映るため、黒い髪を可視画像で暗いと判断し、赤外光画像を合成してしまうと、黒い髪であっても明るい合成画像となり、黒い髪の色を合成画像で再現できない。

また、サングラスのように可視光画像で暗く映る領域を赤外光画像で合成する場合、色差情報を合成しないとサングラス領域のみモノクロとなり不自然な合成画像となる。一方、色差情報を可視光画像から取得すると、サングラスの色相を合成することとなり、同様に不自然な合成画像となる。

このような課題を解決する実施例について説明する。本実施例では、合成画像に色差情報を付加する処理において実施例１と異なる。本実施例における撮像装置の構成は、実施例１と同様である。

＜画像処理部構成＞
本実施例における画像処理部の構成について図４を参照し説明する。本実施例における制御部９に実装された画像処理部の処理ブロック構成を図２に示し、処理ブロック毎の処理の流れを説明する。本実施例では、画像合成部２０９の処理を実施例１と異ならせており、それまでの可視光撮像部２０１、赤外光撮像部２０２、色空間変換部２０３における処理については実施例１と同様であるため説明を割愛する。

相関算出部２０４において、実施例１と同様に処理ブロックごとに可視光の輝度画像と赤外光の輝度画像の相関を演算する。相関演算は、実施例１と同様、エッジ画像により求める。エッジ画像とすることによって、例えば髪の毛や黒い服のように、可視光画像と赤外光画像とで明るさに差のある場合においても、可視光画像と赤外光画像の相関は高くなる。これにより、黒い髪は、可視光画像を選択して合成することが可能となる。

図５にサングラスを掛けた人物の片側のサングラス周辺の画像を示す。図５ａ）は、可視光画像の一部を説明する図であり、サングラスが写っている部分は、輝度が暗くなっており、サングラスの奥の眼は画像中に映し出されていない。一方図５ｂ）は、赤外光画像の一部を説明する図であり、サングラスが写っている部分についても、サングラスの奥の眼が画像中に映し出されている。サングラス以外の部分は、赤外光画像と可視光画像の相関が高い。このエリアの可視光画像と赤外光画像の相関値を計算し、しきい値処理した結果を図５ｃ）に示す。

図中画像の上部、下部、左部の網掛けのエリア５０１が相関値の高いエリアである。一方、網掛けのないエリア５０２は、可視光画像ではサングラスが撮影されており、赤外光画像ではサングラスの奥の眼が撮影されているエリアとなる。そのため、可視光画像と赤外光画像の相関は低いエリアとなる。相関算出部２０４は、上述の説明のように、処理ブロックごとに赤外光画像と可視光画像の相関を計算し、しきい値処理した結果とエッジ量、可視光画像、赤外光画像を画像合成部２０５に出力する。

次に、画像合成部２０５における画像合成方法について説明する。実施例１との違いとして、輝度色差変換テーブルを作成し、これに従って赤外光画像が合成されるエリアに色差情報を付加する構成となっているところがある。輝度色差変換テーブルを表１に示す。このテーブルは、可視赤外相関が高いエリアで作成される。作成方法について後述する。

輝度色差変換テーブル作成方法：
相関算出部で定義された処理ブロックごとに作成されるテーブルであり、可視光画像と赤外光画像の相関が高い処理ブロックに含まれる画素の赤外光輝度をエントリーとしと可視光画像の色差が登録されるテーブルである。赤外光画像の輝度が１３４の時に、Ｃｂ、Ｃｒがそれぞれ−３６、５６であるときに表中の最上段のようにＹ＝１３４、Ｃｂ＝−３６、Ｃｒ＝５６と記録される。この処理は、処理ブロック中の全画素について可視光画像輝度と色差をテーブル中に登録していく。同一の輝度である場合は、平均値がテーブル中に記述されるように登録していく。そのため、図示しないが、可視光画像輝度ごとに、登録した画素数と、色差信号の総和を保持しながら作成する。上述の処理を処理ブロック中の全画素について行うことによって、輝度色差変換テーブルは作成される。同様にすべての赤外光画像と可視光画像の相関が高いと判断された処理ブロックについて輝度色差変換テーブルを作成する。

次に、色差値が格納されなかった輝度値について、色差値を補完することで、色差値が格納されていない輝度値についても色差値を格納していく。色差信号が格納されている輝度エントリーが、前述の表１のように、１３４、１１５である場合、この間の輝度エントリーを登録された輝度１３４、１１５の色差から補完していく。なお、輝度エントリーが所定のしきい値以上大きく離れる場合、補間は行わずに可視光画像色差が登録されていないことを示すフラグをテーブル中に保存する。表１の例では、色差が登録された最も低い輝度は０、次いで低い輝度は７７であり、この２つの輝度差はしきい値以上であると判断し、色差の登録は行わず、色差が登録されていないことを示すフラグ（ＮＡ）を保存する。上述のような色差の登録されていない輝度への色差の補間を行うことで、輝度色差変換テーブルを作成する。

次に、輝度色差変換テーブルを用いて、色差信号を合成する方法について説明する。

輝度色差変換テーブル適用方法：
可視光画像と赤外光画像の相関が低く、かつ赤外光画像のエッジ量の総和が可視光画像のそれよりも高い処理ブロックについて適用していく。輝度色差変換テーブル適用方法のフローを図６に示し、処理ステップごとに説明を加える。

ステップ６０１：変換テーブル選択
まず、輝度色差変換テーブルを選択する。選択される処理ブロックは、処理中の画素が含まれる処理ブロックの近傍に位置する処理ブロックを優先的に参照する。図５ｂ）の５０３の処理ブロックを処理する際は、５０４、５０５の処理ブロックが、可視が選択された最も近傍にある処理ブロックであり、この場合２つの輝度色差変換テーブルを用いる。

ステップ６０２：画素ループ
本処理は、画素ごとの処理となるため、処理ブロック中の画素を逐次処理していく。

ステップ６０３：テーブル参照
次に、処理画素の赤外光画像輝度値が、ステップ６０１で選択した輝度色差変換テーブル中に色差を持つテーブルとして登録されているかをテーブル参照により判定する。

ステップ６０４：変換テーブル選択
ステップ６０３のテーブル参照において、輝度色差変換テーブル中に、処理画素の輝度に対応する色差情報が登録されていない場合、輝度色差変換テーブルを再選択する。ステップ６０１で最も近い処理ブロックの輝度色差変換テーブルを用いたが、次に近い位置の処理ブロックの輝度色差変換テーブルを再選択し、ステップ６０３に戻る。また、処理対象であるブロックとしきい値以内の距離の処理ブロックすべてを選択し、色差情報が登録されていない場合、色差情報を選択せずにステップ６０５へ遷移する。

ステップ６０５色差保存
色差が登録されていた場合、その色差を処理画素の色差として適応する。複数のテーブルを参照している場合で、複数のテーブルに登録されている場合、それぞれの色差情報の平均値を色差として適用する。また、色差が登録されていない場合、色差０を登録し、グレーの色相とする。

以上のステップにより、可視光画像と赤外光画像の相関が低く、赤外のエッジ情報が多い処理ブロックについて、色差情報の合成が完了する。図５においては、サングラスで隠れていた眼の周りの肌については、頬などの色差情報から類推された色差情報が付加されることになるため、顔画像として自然な再現が可能となる。また、眼の中の瞳孔や強膜は、色差情報が類推できないため、色を持たないグレー画素として再現されるが、眼の画像としては違和感のない再現が可能となる。

以上のように実施することで、サングラスを掛けた人物を撮影する際に、黒い髪の毛や黒い服のように本来暗く映る被写体においても、赤外像の輝度が適応されてしまうことはなく、可視像が合成され、画像の色情報を損なわない良好な画像記録を行うことができる。また、サングラス越しに見える眼は、赤外光画像が合成されることで、可視光画像だけで記録する際に比べ、人物の特徴が多く残る画像を保存できる。さらに、サングラスで隠れた眼の周りの肌色を再現可能であり、顔画像として自然な画像保存が可能となる。

［第３の実施例］
第３の実施例として、相関が低い領域に任意の色差信号を合成するようにした例について述べる。実施例１においては、合成画像として赤外光画像が選択された領域の色差情報はグレーとした。実施例２においては、合成画像として赤外光画像が選択された領域の色差情報は、周辺の相関が高い領域から赤外光画像の輝度と可視光画像の色差をテーブル化して保持し、赤外光画像の輝度から色差を推定して付加した。本実施例では、合成画像として赤外光画像が選択された領域の色差信号として、あらかじめ指定された色相を相関の低い領域に付加することにより、可視と赤外で画像に差がある領域を利用者が注目し易いように加工する例について述べる。

第３の実施例として、果物の傷み具合を判定する例を挙げる。図７に一部が痛んだ果物の可視画像（ａ）と赤外画像（ｂ）を示す。傷んだ部分は、可視光画像では判別しにくいが、赤外光画像では図７（ｂ）に示すように、傷んだ部分が低輝度で描出される。

本実施例における撮像装置の構成は、実施例１と同様である。画像処理部の構成の違いは、図２の画像合成部２０５での合成方法を異ならせている。本実施例では、相関値がしきい値よりも低いエリアの色差情報として、特定の色差情報を付加する。本実施例では、赤や緑のリンゴの傷みを視認しやすくするため、シアンの色相である（Ｃｂ、Ｃｒ）＝（４３、−１２７）を色差として合成する。ここで、Ｃｂ，Ｃｒの値域は−１２８から１２７の８ビットの数値とする。

この色相は、操作部を持つモニタ１０の操作部、もしくは制御部９にネットワークにより接続された外部のコンピュータにより設定可能な構成としている。そのため、撮影対象物に応じた視認性の高い色を適宜設定可能である。

以上のように画像処理部を構成することにより、可視光画像と赤外光画像で相関のない傷みの部分に、ユーザーが指定した視認性の高い色が合成されるため、痛みの部分の視認性が向上する。これにより従来では、可視光画像と赤外光画像を見比べて判定しなければならなかったが、合成画像として出力できることで、判定対象の画像が１つで済むとともに、差分となる傷んだ領域に任意の目立ちやすい色相を付加できることによって、検査を短時間で実施することが可能となる。

また、上記実施例２においては、色差情報を１つだけ設定したが、輝度ごとに色差を変えるように設定し、輝度ごとに異なる色差を付加してももちろん良い。

［その他の実施例］
その他の実施例として、赤外光画像と可視光画像において、輝度の相関に差がある被写体であれば、実施例３の構成を用いることで、差分のある画像領域に任意の色をつけ、エッジ情報の多い輝度情報を合成することが可能となる。このような被写体の例を後述する。

つけひげによる変装：上述のように、人毛は赤外光画像において明るく映るが、つけひげで人毛以外の素材や、人工的に着色されている場合、暗く映る。このような場合には、つけひげと本物のひげや髪の毛の境界部分で可視光エッジ画像と赤外光エッジ画像の相関が低くなる。この相関値の低い領域に任意の色をつけて合成することが可能となる。

異物検知：中身の見えない袋の中に異物がある場合、赤外光画像では袋の中の異物を検出できるため、異物の周辺において、可視光画像と赤外光画像の相関が低くなる。このため、相関値の低い領域に任意の色をつけて合成し、監視者の視認性の高い合成画像を作成することが可能となる。

髪の毛の検知：上述のように髪の毛は赤外光画像で明るく描写されるため、床や製品に髪の毛が落ちているかを検知するような目的において、髪の毛がある場合に相関値が変化する。変化した領域に任意の色をつけて合成し、監視者の視認性の高い合成画像を作成することが可能となる。

水の検知：水は赤外波長領域において吸収されやすく、可視光画像よりも赤外光画像において暗く描写される。そのため、水滴のように可視光画像では視認しにくい被写体も、赤外光画像では暗くなり、相関値も低くなるため、相関値の低い領域に任意の色をつけて合成し、視認性の高い合成画像を作成することが可能となる。

以上のように実施することによって、可視光画像と赤外光画像の相関に基づいて、可視光画像と赤外光画像の合成画像を作成するとともに、よりエッジ情報の残る画像を合成像として用いるため、合成像の画像情報が高まる。

そのため、交通監視の用途においては、フレアにより可視光画像では判別できないナンバープレートエリアを赤外光画像で合成するとともに、信号や車の色といった色情報は、可視光画像から合成され、より情報量の多い合成画像が作成できる。

また、サングラスを掛けた人物の撮影では、赤外光画像でサングラスの奥の眼の画像を合成像とするとともに、眼周辺の肌の色を合成することができ、情報量が多く、自然な可視赤外合成画像を作成することが可能となる。

さらに、可視光画像と赤外光画像に差のある領域に任意の色相で色を付加可能なため、果物の傷みの検知や、異物検知といった用途においても情報量が多く、視認性の高い可視光画像と赤外光画像の合成画像を作成することが可能となる。

１ 対物レンズ、２ 撮影絞り、３ フォーカシングレンズ、４ 撮影レンズ、
５ ダイクロイックミラー、６ 可視光画像記録用撮像素子、
７ 赤外光画像記録用撮像素子、８ 画像処理部、９ 制御部、１０ モニタ、
１１ 画像記録部、Ｏ１ 光路、Ｏ２ 光路

Claims (6)

1. 可視光により撮影を行う可視光撮影手段と、不可視光により撮影を行う不可視光撮影手段と、前記可視光撮影手段により得られた可視光画像と、前記不可視光撮影手段により得られた不可視光画像を合成する画像合成部とを持ち、前記可視光撮影手段により得られた可視画像の輝度成分と、前記不可視光撮影手段により得られた不可視画像の輝度成分の
   相関を所定の領域ごとに算出する相関算出手段をさらにもち、相関算出手段から得られる相関値によって、前記可視光画像と前記不可視光画像の出力を前記領域ごとに切り替えて出力可能なことを特徴とする撮像装置。
2. 前記可視光画像のエッジ画像を作成する可視光エッジ画像作成部と前記不可視光画像のエッジ画像を作成する不可視光エッジ画像作成部をもち、相関算出手段は、前記可視光画像と前記不可視光画像の輝度のエッジ画像から相関値を算出することを特徴とする請求項１に記載の撮像装置。
3. 前記可視光画像と前記不可視光画像について、前記所定の領域ごとにエッジ量をそれぞれ算出するエッジ量算出手段を持ち、相関算出手段から得られる相関値が高い領域は可視画像、相関値が低い領域は、エッジ量の大きい画像を合成像として合成することを特徴とする請求項１又は請求項２に記載の撮像装置。
4. 可視光により撮影を行う可視光撮影手段と、不可視光により撮影を行う不可視光撮影手段と、前記可視光撮影手段により得られた可視光画像と、前記不可視光撮影手段により得られた不可視光画像を合成する画像合成部とを持ち、前記可視光撮影手段により得られた可視画像の輝度成分と、前記不可視光撮影手段により得られた不可視画像の輝度成分の
   相関を所定の領域ごとに算出する相関算出手段をさらにもち、相関算出手段から得られる相関値によって、前記可視光画像と前記不可視光画像の合成比率を前記領域ごとに切り替えて出力可能なことを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。
5. 同一被写***置にある前記不可視光画像の輝度と前記可視光画像の色差を保持する色差保持テーブルを前記領域毎に持ち、前記合成画像を作成する際に前記不可視光画像領域を選択した際に、周辺の前記可視光画像が選択された領域の前記色差保持テーブルから色差を付加することを特徴とする請求項１乃至請求項４の何れか一項に記載の撮像装置。
6. 任意の色相を指示する色相指示手段を持ち、前記合成画像を作成する際に前記不可視光画像領域を選択した際に、色相指示手段により指示された色相を色差情報として付加することを特徴とする請求項１乃至請求項５の何れか一項に記載の撮像装置。