JP2005031800A

JP2005031800A - 熱画像表示装置

Info

Publication number: JP2005031800A
Application number: JP2003193739A
Authority: JP
Inventors: Yoshio Shimamoto; 喜郎嶋本; Tetsuji Hashimo; 哲司羽下
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2003-07-08
Filing date: 2003-07-08
Publication date: 2005-02-03

Abstract

【課題】可視画像と赤外画像に、外乱変動、例えば時間的変化および環境変化による目標の温度変化等が生じた場合でも、可視画像と赤外画像を適切な重畳割合で重畳して、これら外乱変動の影響を受け難い熱画像表示装置を得る。
【解決手段】入力される可視画像信号Ｓ１と赤外画像信号Ｓ２との解像度を一致するように変換する解像度変換部１と、前記変換された可視画像信号Ｓ１１と赤外画像信号Ｓ２１に可変係数（０≦α≦１）を乗じてヒストグラム計算処理により得られる前記α毎の評価関数のうち最大値に対応する係数αＭを可視画像信号Ｓ１１と赤外画像信号Ｓ２１の重畳割合として出力する重畳割合判定部２と、前記重畳割合判定部２の出力に基づいて前記可視画像信号Ｓ１１と前記赤外画像信号Ｓ２１を重畳し合成画像信号として出力する合成部３とを備える。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
この発明は、ＣＣＤカメラ等で撮影された可視画像と赤外カメラで撮影された赤外画像を合成して表示する際に、可視画像と赤外画像の重畳割合を自動判定しながら重畳することで、外乱変動に伴わず、可視画像上で熱部位を表示する熱画像表示装置に関するものである。
【０００２】
【従来の技術】
従来の熱画像表示装置は、被測定物から放射される光をハーフミラーで可視光と赤外光に分光し、分光された可視光は可視光テレビカメラで撮像し、一方分光された赤外光は赤外線テレビカメラで撮像する。可視光テレビカメラには、撮影画像の拡大、縮小を行うエンコーダが付いており、撮影した映像信号と共にエンコーダ倍率信号が出力される。また、赤外光テレビカメラは、目標物の熱画像信号を出力する。熱画像信号は温度映像信号に変換され、温度しきい値によって予め定められた温度範囲にある領域を選択抽出し、エンコーダ倍率信号の倍率に基づいて拡大、縮小を行ってから、可視画像に重畳して画像表示している（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開平９−１７８５６６号公報（Ｐ５、図１、図３、図４、図５）
【０００４】
【発明が解決しようとする課題】
従来の熱画像表示装置は、以上のように構成されているので、熱画像の重畳領域を抽出する際に、指定温度より高い温度領域のみを選択抽出してエンコーダ倍率により縮小、拡大し画像を合わせて可視画像に重畳する方法を取っているが、この方法では、外乱変動、例えば時間的変化および天候など環境変化による目標の温度変化等が生じた場合に、ユーザーが必要とする領域を必ずしも抽出することができず必要な情報が得られない等の課題があった。
【０００５】
この発明は上記のような課題を解消するためになされたもので、外乱変動等に影響されず、ユーザーが必要とする領域を自動、または指定して抽出し、その抽出した単数または複数の移動目標を含むそれぞれの領域と、それ以外の領域とで両画像を重畳する割合を個々に設定できるとともに、移動目標の出現、移動、消滅に応じてそれらの領域を自動、または指定して追尾できる熱画像表示装置を得ることを目的とする。
【０００６】
【課題を解決するための手段】
この発明に係る熱画像表示装置は、入力される可視画像信号と赤外画像信号との解像度を一致するように変換する解像度変換部と、前記変換された可視画像信号と赤外画像信号に可変係数（０≦α≦１）を乗じた加算画像信号のヒストグラム計算処理により得られる前記α毎の評価関数のうち最大値に対応する係数αを可視画像信号と赤外画像信号の重畳割合として出力する重畳割合判定部と、前記重畳割合判定部の出力に基づいて前記可視画像信号と前記赤外画像信号の対応する領域を重畳し合成画像信号として出力する合成部とを備える。
【０００７】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１は、この発明の実施の形態１による可視画像と赤外画像を重畳して表示するための熱画像表示装置の構成を示した全体構成図である。図において、解像度変換部１には、可視撮像カメラで撮影された可視画像信号Ｓ１と赤外画像カメラで撮影された赤外画像信号Ｓ２が入力される。解像度変換部１は入力された両画像信号の解像度を解像度の高いほうの画像に一致させて、解像度変換可視画像信号Ｓ１１と解像度変換赤外画像信号Ｓ２１として出力し、重畳割合判定部２と合成部３に供給する。重畳割合判定部２では、生成される係数αと入力された両解像度変換画像信号Ｓ１１、Ｓ２１をもとにヒストグラム計算処理を行い、αごとの評価関数を求め記憶し、記憶した評価関数のうち最大の評価関数に対応する係数（α）を重畳割合として合成部３に出力する。合成部３では、この重畳割合に基づいて解像度変換可視画像信号Ｓ１１と解像度変換赤外画像信号Ｓ２１を合成し、表示部４に出力する。
【０００８】
つぎに動作について、図１と図２を用いて説明する。図２は、図１における重畳割合判定部２の詳細構成を示す図である。入力可視画像信号Ｓ１と入力赤外画像信号Ｓ２は、目標対象物からの可視光を図示していないハーフミラーで分光し、透過光は可視テレビカメラで撮影した出力信号で、一方ハーフミラーで反射された光を赤外画像カメラで撮影された出力信号である。これらの可視画像信号Ｓ１と赤外画像信号Ｓ２は解像度変換部１に入力される。解像度変換部１では、可視画像テレビカメラと赤外画像テレビカメラで撮影した画像信号にジオメトリによるズレや歪みがあるため画像信号上の座標点を一致させるために座標点の修正変換を行う。解像度変換され解像度が一致した解像度変換可視画像信号Ｓ１１と解像度変換赤外画像信号Ｓ２１として出力される。この解像度変換可視画像信号Ｓ１１と解像度変換赤外画像信号Ｓ２１は重畳割合判定部２と合成部３に入力される。
【０００９】
重畳割合判定部２では、入力された解像度変換可視画像信号Ｓ１１と解像度変換赤外画像信号Ｓ２１をもとにしてヒストグラム計算処理を行い、濃度値に対する画素分布から評価関数を求める。この重畳割合判定部の詳細動作について図２を用いて説明する。
乗算部２１ａに入力された解像度変換可視画像信号Ｓ１１のＲＧＢ成分から、式（１）により輝度成分を求める。その後、係数生成部２２において０．０１単位で生成される係数α（０≦α≦１）を求めた輝度成分に乗算する。
Ｙ＝０．３０＊Ｒ＋０．５９＊Ｇ＋０．１１＊Ｂ・・・・（１）
また、一方解像度変換赤外画像信号Ｓ２１には、乗算部２１ｂで係数生成部２２から生成される係数（１−α）を乗算する。そして、乗算部２１ａ、２１ｂの出力を加算部２３で加算する。なお、係数生成部２２は１フレームの期間中に係数αを０から刻み幅をたとえば０．０１として１まで変化させて、１０１のαを順次生成する。また、同時に１―αを同じく０．０１刻みで生成する。
例えば、フレーム（画面）の全画素を２０７３６００画素（＝１０８０＊１９２０）とすると、画素毎に同じα値に対し、つぎの計算を行う。
Ｉ（ｉ，ｊ）＝Ｉｃ（ｉ，ｊ）＊α＋Ｉｒ（ｉ，ｊ）＊（１−α）
ここで、１≦ｉ≦１０８０、１≦ｊ≦１９２０とする。また、Ｉ（ｉ，ｊ）は加算画像、Ｉｃ（ｉ，ｊ）は可視画像の輝度成分、Ｉｒ（ｉ，ｊ）は赤外画像である。
まず、α＝０．００として、フレーム全画素について上式を計算し、つぎにα＝０．０１に更新して同じフレーム全画素について同じように計算する。これをα＝１まで繰り返す。これで１フレームに対する係数処理は終了し、つぎの新しいフレームについて、同様な計算をα＝０からα＝１まで０．０１刻みで行う。
【００１０】
加算部２３から出力される加算画像信号Ｉｃはヒストグラム計算部２４に入力される。ヒストグラム計算部２４では、図３に示すように、α＝０．００の加算画像信号Ｉｃについて濃度値に対する画素分布を求める。横軸は濃度値で画像の階調を例えば０から２５５の２５６階調とすると各レベルを有する画素の数が縦軸に濃度値の横軸０〜２５５の範囲で求められる。図では、右側の山が濃度値の高い白い部分の画素の山（白クラス）、左側の山が濃度の低い黒の部分の山（黒クラス）を示している。
そして、ヒストグラム計算部２４でのヒストグラム計算結果を閾値判定部２５へ出力する。閾値判定部２５ではヒストグラム計算結果を例えば大津の閾値判定法を用いて式（２）から式（１３）をもとに計算する。式（２）のｗ１は、閾値Ｔより低い濃度を有する画素、式（３）のｗ２は閾値Ｔより濃度が高い画素である。ｈ（ｉ）は輝度ｉの画素のヒストグラム値を正規化したものである。したがって、ｗ１とｗ２を加算した値は式（４）で示されるように１となる。式中のＴは閾値である。図３で、閾値Ｔを適切に決定することによって、すなわち二つの山の谷にあたるところに閾値Ｔを選択すれば黒い部分ｗ１と白い部分ｗ２の分離ができる。
【数１】

【００１１】
つぎに、式（５）、式（６）により、黒い部分ｗ１（黒クラス）と白い部分ｗ２（白クラス）に属する画素の輝度の平均値μ１、μ２と表せる。式（７）は、全画素の輝度平均値である。
【数２】

【００１２】
つぎに、式（８）、式（９）により、黒い部分ｗ１（黒クラス）と白い部分ｗ２（白クラス）に属する画素の分散（標準偏差σ１、σ２の２乗）を求める。σＴは全画素標準偏差である。
【数３】

【００１３】
つぎに、式（１１）、式（１２）、式（１３）により、閾値Ｔを可変してクラス内分散、クラス間分散および評価関数を求める。そして、閾値Ｔの値が適切な値のときに、黒い部分と白い部分の分離度（評価関数）が最大となり評価関数が最大値を示す。
【数４】

【００１４】
このように、係数αの一つの値に対してヒストグラム計算結果から閾値Ｔを変化させて、クラス内分散とクラス間分散を求めて最大値をもつ評価関数を求める。そして、つぎの係数αの値に対しても同様に最大値を持つ評価関数を求めてパラメータ記憶部２６へ出力する。
【００１５】
パラメータ記憶部２６では、閾値判定部２５から出力される係数αを０から１まで０．０１刻みで変化させて係数の値毎に得られた最大評価関数を、その係数αと対応付けて記憶する。そして、１フレームについて係数αを０から１まで０．０１刻みで変化させてそれぞれの係数αに対する処理が完了した段階で、記憶されている各係数α毎の最大評価関数のうち最大な評価関数を選択し、その評価関数に対応付けられて記憶されている係数αをそのフレームの重畳割合αＭとして合成部３に出力する。
そして、合成部３では、入力される解像度変換可視画像信号Ｓ１１に重畳割合αＭを、解像度変換赤外画像信号Ｓ２１に重畳割合（１―αＭ）を乗じてから両信号を合成し、表示部４に出力する。表示部４は、この合成信号にもとづいて可視画像に赤外画像を重畳した画像を表示する。
また、合成部３で重畳割合に基づいて解像度変換可視画像Ｓ１１と解像度変換赤外画像信号Ｓ２１を重畳割合αで重畳した後、さらに線形濃度変換等を行えば、より鮮明な重畳効果が得られ、画像のコントラスト改善ができる。
【００１６】
以上のように、この実施の形態１によれば、解像度変換可視画像信号Ｓ１１の輝度成分に係数αを乗じ、また解像度変換赤外画像信号Ｓ２１に係数１−αを乗じて加算し、加算画像信号の画素濃度分布をもとに評価関数を求め、評価関数の最大値に対応した係数αを重畳割合として、合成部３で解像度変換可視画像Ｓ１１と解像度変換赤外画像Ｓ２１を重畳して表示するようにしたので、可視画像の環境変化（天候、時間等）に影響され難い、可視画像と赤外画像の最適な重畳が得られるという効果を奏する。
【００１７】
実施の形態２．
なお、上記実施の形態１では解像度変換可視画像Ｓ１１から求めた輝度成分と解像度変換赤外画像信号Ｓ２１に、係数生成部２２で生成する係数αと１―αをそれぞれ乗じて加算し、ヒストグラムを求めた後閾値Ｔを変化させて評価関数の最大値を重畳割合として出力したが、図４に示すように入力部５を設けて外部より重畳割合を設定できる構成にすることができる。Ｐ１は重畳割合パラメータであり、入力部５で設定される。
【００１８】
このように構成された赤外画像表示装置では、入力部５で設定された重畳割合パラメータＰ１は重畳割合判定部２のパラメータ記憶部２６に記憶され、記憶されている評価関数に優先して合成部３に出力される。そして、合成部３では解像度変換可視画像信号Ｓ１１と解像度変換赤外画像信号Ｓ２１を設定された重畳割合パラメータにより合成を行い、表示部４へ出力する。
また、重畳割合パラメータＰ１を解像度変換可視画像信号Ｓ１１のＲ、Ｇ、Ｂ成分毎に指定した重畳割合パラメータとしてもよい。すなわち、解像度変換可視画像信号Ｓ１１はＲ、Ｇ、Ｂ成分をもったカラー画像信号に対し解像度変換赤外画像信号Ｓ２１は単色なので、解像度変換可視画像信号Ｓ１１のほうをＲ、Ｇ、Ｂに分解して解像度変換赤外画像信号Ｓ２１とそれぞれを重畳し、合成部３で合成する。例えば、Ｇ、Ｂで重畳する割合を解像度変換可視画像信号Ｓ１１：解像度変換赤外画像信号Ｓ２１＝１００：０にすると、表示部４で表示される画像で高温物体は赤っぽくして見ることができる。
【００１９】
以上のように、この実施の形態２によれば、入力部５から可視画像と赤外画像の重畳割合を設定できるため、外乱などの環境変化に適切に対応でき、適切な重畳割合の熱画像の表示ができる効果がある。
【００２０】
実施の形態３．
図５は、実施の形態１、実施の形態２にさらに目標を抽出し、抽出した目標を追尾する目標抽出・追尾部６を備えて、抽出した目標に対して重畳割合を判定するようにした赤外画像表示装置の構成を示す図である。目標抽出・追尾部６には解像度変換赤外画像信号Ｓ２２が入力される。入力部５からは目標抽出・追尾パラメータＰ２が設定されて目標抽出・追尾部６に入力される。
目標抽出・追尾部６は、さらに図６に示すように目標抽出部６ａと目標追尾部６ｂの構成に分けられる。目標抽出部６ａは入力される解像度変換赤外画像信号Ｓ２１から濃度の高い部分を目標として検出し、この目標を含む周辺領域を目標領域として抽出する。この抽出した目標領域の座標情報を目標抽出情報Ｐ４として目標追尾部６ｂに出力する。領域目標領域は四角形や長方形の領域とすると座標計算が容易に行える。そして、抽出した目標が複数あれば、それぞれに対応して複数の目標領域の座標情報を目標抽出情報Ｐ４として抽出する。したがって、目標抽出情報Ｐ４は複数の座標情報を含むことになる。
目標追尾部６ｂは、目標抽出情報Ｐ４に基づいて入力される解像度変換赤外画像信号Ｓ２１から、時間的変化による目標の出現、移動、消滅等に対応して目標を含む領域の追尾を行い、目標抽出・追尾情報Ｐ３として重畳割合判定部２と合成部３に出力する。
【００２１】
図７は、目標抽出部６ａをスポークフィルタで構成した図である。入力された解像度変換赤外画像信号Ｓ２１の濃淡変化から、ラプラシアンフィルタなどからなるエッジ検出部６１により、画像中の目標物を含むそれぞれのエッジを検出し、エッジ画像をスポーク発生部６２へ出力する。スポーク発生部６２では、エッジとして検出された画素からスポークという線分をエッジ方向へ発生させる。そして、画素ごとにスポークが交差している交差数をカウントし、交差数を閾値判定部６３に出力する。閾値判定部６３では、予め定められた閾値と入力された交差数を比較し、閾値以上のスポーク交差数をもつ画素を選択する。選択された画素の集合領域の重心を中心とした矩形の領域を抽出する。そして、この抽出した矩形の座標を求め目標抽出情報Ｐ３として出力する。
【００２２】
また、図８は、統計的２値化による背景差分から目標抽出を行う目標抽出部６ａの構成を示す図である。
フレームバッファ６４は、現在フレームより前の過去フレームを数フレーム記憶するバッファである。現在フレームをＩ_ｔ＋Ｎ（ｘ，ｙ）とすると、過去フレームはＩ_{ｔ＋Ｎ−１}（ｘ，ｙ）、Ｉ_{ｔ＋Ｎ−２}（ｘ，ｙ）、・・・、Ｉ_ｔ（ｘ，ｙ）と表せる。図９は、このフレームの関係を示したものである。
過去フレーム計算部６５では、過去フレームの全ての画素（ｘ，ｙ）についての平均ｍ（ｘ，ｙ）、分散Ｖ（ｘ，ｙ）と標準偏差Ｓ（ｘ，ｙ）を式（１４）、式（１５）、式（１６）により求める。図９では、式（１４）で計算された平均画像６７を示している。平均を取るため、動いていない対象は濃度が高く、早く動く対象ほど濃度が低い画像となる。
つぎに、背景差分部６６では、過去フレーム計算部６５で計算された０〜Ｎ−１までの平均ｍ（ｘ，ｙ）と標準偏差Ｓ（ｘ，ｙ）を用いて現在フレームＩ_ｔ＋Ｎ（ｘ，ｙ）を差分２値化する。
例えば、２値化の条件を下記のようにすれば、

となり、上記Ｏ_ｔ＋Ｎが現フレームの出力２値化画素となる。つまり、分散Ｓ（ｘ，ｙ）が大きい（ノイジーな部分）ほど閾値が高く、分散Ｓ（ｘ，ｙ）が小さいほど閾値が低くなる。このようにすることにより、変化がない場所に目標が出現、または移動してくるとノイズとは区別して目標として検出することができる。
そして、２値化された目標画素の集合の重心を中心として矩形の領域を抽出する。この矩形の領域の座標を目標抽出情報Ｐ３として出力する。
以上２つの構成の目標抽出部６ａについて説明したように、目標抽出部６ａは目標を含む目標領域の座標を目標追尾部６ｂに出力する。
また、入力部５から設定される目標抽出・追尾パラメータＰ２が、目標抽出部６ａに入力されると、優先的に目標抽出情報Ｐ４として目標抽出部６ａから出力されて目標追尾部６ｂに入力される。
【数５】

【００２３】
つぎに、目標抽出部６ａからの目標抽出情報Ｐ４と解像度変換赤外画像信号Ｓ２１から目標抽出・追尾情報Ｐ３を得る目標抽出部６ｂは、テンプレートマッチング法または重心・面積による対応付け手法により行える。
図１０は、テンプレートマッチングによる目標抽出・追尾情報Ｐ３の求めかたを示すものである。Ｔ＋１フレーム７１（現在フレームとする）の直前のＴフレーム６９で抽出した目標抽出情報Ｐ３の座標（ｓｘ，ｓｙ）と（ｅｘ，ｅｙ）をもとに解像度変換赤外画像信号Ｓ２１から目標を含む領域７０を切り出し、テンプレートＩ（ｘ，ｙ）として保持している。そして、現在フレーム７１において、座標（ｓｘ，ｓｙ，ｅｘ，ｅｙ）よりｘ方向に＋Ｍ、−Ｍとｙ方向に＋Ｎ、−Ｎの少し広い範囲を検索画像Ｉ^＊（ｘ，ｙ）として切り出す。
つぎに、切り出した２画像から式（１７）を計算し、ｓ（ｕ，ｖ）を最小にする（ｕ，ｖ）を求める。最小となったときの（ｕ，ｖ）がＩ（ｘ，ｙ）のずれ量となる。
【数６】

【００２４】
式中のｕ、ｖはｕ＝−Ｍ・・・・＋Ｍ、ｖ＝−Ｎ・・・・＋Ｎを意味する。保持しているテンプレートＩ（ｘ，ｙ）は、フレームが更新されるごとに更新される。また、目標抽出部６ａで複数の目標抽出情報Ｐ４がある場合には、それぞれに対応したテンプレートを生成し保持する。
【００２５】
つぎに、重心・面積による対応付けを用いた目標追尾部６ｂを説明する。
目標抽出部６ａから入力される前フレームＴで抽出した目標領域情報Ｐ４を保持しており、現在フレームＴ＋１で入力される目標領域Ｐ３^＊との重心と面積を求め、フレーム間でどの領域同士が対応しているかを判断する。図１１は、目標領域の重心を求める処理フローである。
まず、Ｓａ、Ｓｂ、Ｓｃの初期値を０に設定する（ステップＳＴ１）。目標領域の座標（ｘ，ｙ）を領域の開始座標（０，０）から領域の終了座標（ｘｅｎｄ，ｙｅｎｄ）までスキャンし座標（ｘ，ｙ）の値をみる（ステップＳＴ２）。座標（ｘ，ｙ）の値が「１」か「０」かを判断する（ステップＳＴ３）。座標（ｘ，ｙ）の値が「１」でない場合には、ＳＴ２に戻り、座標を進める。座標（ｘ，ｙ）の値が「１」の場合には、Ｓａ、Ｓｂ、Ｓｃに「１」を加算して記憶する（ステップＳＴ４）。つぎに、目標領域の座標全てをスキャンしたかを判断し（ステップＳＴ５）、終了でない場合には、座標（ｘ，ｙ）を更新し、上記ステップを繰り返す。終了の場合には、Ｓａを面積として、重心を計算する。
ｇｘ＝Ｓｂ／Ｓａ
ｇｙ＝Ｓｃ／Ｓａ
このようにして、各領域の重心を求めたあと、前フレームのある一つの目標領域の重心（ｇｘ，ｇｙ）と現在フレームの複数の目標領域の重心（ｇｘｎ^＊，ｇｙｎ^＊）で一番近いものを対応付ける。対応付けは、次式による重心間距離と面積類似度により行う。
（ｇｘ−ｇｘｎ^＊）^２＋（ｇｙ−ｇｙｎ^＊）^２＜Ｍｉｎ
ｋ＝｜ａ^＊／ａ−１．０｜＜Ｔｈ
上の式で、Ｍｉｎ、Ｔｈは、予め設定してもよいが、入力部５からの目標抽出・追尾パラメータＰ２に含めて設定し、状況変化に対応できるようにしてもよい。そして、上記２つの条件を満たす領域をピックアップし、その中から対応付けを、重心間距離が最も小さく、面積類似度がＴｈ以下のものを対応付ける。
【００２６】
以上、目標追尾部６ｂについて、説明してきたが、目標追尾部６ｂの出力である目標追尾情報Ｐ３は、重畳割合判定部２に入力される。目標追尾情報Ｐ３には、目標領域の座標が含まれているので、重畳割合判定部２では、解像度変換可視画像信号Ｓ１１と解像度変換赤外画像信号Ｓ２１の加算画像信号に係数αを乗じた画像信号をもとに、目標追尾情報Ｐ３で指定される目標領域ごとに前述したヒストグラム計算以降の処理を行い、目標領域ごとの評価関数を求め、その評価関数に対応付けられてパラメータ記憶部２６に記憶された重畳割合（αＭ）を出力する。合成部３では、目標追尾部６ｂからの目標追尾情報Ｐ３にもとづいて入力解像度変換可視画像信号Ｓ１１と解像度変換赤外画像信号Ｓ２１の領域を決定し、この領域に対応する重畳割合αＭで重畳する。そして、重畳された合成画像信号が表示部４に出力され、表示部４で表示される。
【００２７】
以上のように、この実施の形態の赤外画像表示装置によれば、目標抽出・追尾部６が赤外画像信号から対象となる目標を含む領域を抽出し、追尾し、その目標追尾情報を重畳割合判定部でヒストグラム計算から領域ごとの重畳割合を求め、この領域ごとの重畳割合で可視画像信号と赤外画像信号を重畳するように構成しているので、可視画像の環境に変化（時間、天候等）および時間変化による目標の出現、移動、消滅等に応じて可視画像と赤外画像の重畳割合を決定しているため、環境変化等の影響受けない最適な熱画像表示装置が得られる。
【００２８】
【発明の効果】
以上のように、この発明によれば、可視画像信号と赤外画像信号の解像度の高いほうの画像に一致させる解像度変換部と、解像度変換された可視画像信号と赤外画像信号に生成した係数α（０≦α≦１）を可変して乗じて加算した加算画像信号の濃度に対する画素分布からα毎の評価関数を求め最大の評価関数に対応する係数αを重畳割合として出力する重畳割合判定部と、その重畳割合に基づいて可視画像と赤外画像を重畳するように構成したので、可視画像の環境変化（天候、時間等）に影響され難い可視画像と赤外画像の最適な重畳が得られるという効果を奏する。
【図面の簡単な説明】
【図１】この発明の実施の形態１による熱画像表示装置の構成を示すブロック図である。
【図２】重畳割合判定部の詳細構成を示すブロック図である。
【図３】加算画像の濃度に対する画素分布を示すヒストグラム図である。
【図４】この発明の実施の形態２による熱画像表示装置の構成を示すブロック図である。
【図５】この発明の実施の形態３による熱画像装置の構成を示すブロック図である。
【図６】目標抽出・追尾部の構成を示すブロック図である。
【図７】目標抽出部の詳細構成を示すブロック図である。
【図８】目標抽出部の他の詳細構成を示すブロック図である。
【図９】目標追抽出部における動作を説明するための図である。
【図１０】目標追尾部における動作を説明するための図である。
【図１１】目標追尾部における他の動作を説明するためのフローチャート図である。
【符号の説明】
１解像度変換部、２重畳割合判定部、３合成部、４表示部、５入力部、６目標抽出・追尾部、６ａ目標抽出部、６ｂ目標追尾部、２１乗算部、２２係数生成部、２３加算部、２４ヒストグラム計算部、２５閾値判定部、２６パラメータ記憶部。

Claims

入力される可視画像信号と赤外画像信号との解像度を一致するように変換する解像度変換部と、前記変換された可視画像信号と赤外画像信号に可変係数（０≦α≦１）を乗じた加算画像信号のヒストグラム計算処理により得られる前記α毎の評価関数のうち最大値に対応する係数αを可視画像信号と赤外画像信号の重畳割合として出力する重畳割合判定部と、前記重畳割合判定部の出力に基づいて前記可視画像信号と前記赤外画像信号を重畳し合成画像信号として出力する合成部とを備えた熱画像表示装置。
前記重畳割合判定部は、第１の係数α（０≦α≦１）と第２の係数（１―α）を可変させて生成する係数生成部と、前記第１の係数を可視画像信号に乗じる第１の乗算部と、前記第２の係数を赤外画像信号に乗じる第二の乗算部と、前記第１の乗算部と前記第２の乗算部の出力信号を加算する加算部と、前記加算部の出力画像信号の各αに対応する輝度値に対するヒストグラムを求めるヒストグラム計算部と、前記求められた各αに対応するヒストグラムに基づいて最適閾値を計算し評価関数を求める閾値判定部と、前記評価関数と係数を対応付けて記憶し最大評価関数に対応する係数を重畳割合として出力するパラメータ記憶部とを備えた請求項１記載の熱画像表示装置。
重畳割合を設定する入力部を設け、前記入力部から入力された重畳割合を前記画素分布から求めた最大評価関数に対応する係数に優先して出力する重畳割合判定部を備えた請求項１記載の熱画像表示装置。
入力される可視画像信号と赤外画像信号との解像度を一致するように変換する解像度変換部と、前記解像度変換された赤外画像から目標を抽出し、抽出した領域を追尾情報として出力する目標・追尾部と、前記変換された可視画像信号と赤外画像信号に可変係数（０≦α≦１）を乗じて加算した加算画像の前記追尾情報の領域のヒストグラム計算処理により得られる前記α毎の評価関数のうち最大値に対応する係数αを可視画像信号と赤外画像信号の重畳割合として出力する重畳割合判定部と、前記重畳割合判定部の出力に基づいて前記可視画像信号と前記赤外画像信号を重畳し合成画像信号として出力する合成部とを備えた熱画像表示装置。