JP5742722B2 - 画像目標識別装置、画像目標識別方法、画像目標識別プログラム - Google Patents

画像目標識別装置、画像目標識別方法、画像目標識別プログラム Download PDF

Info

Publication number
JP5742722B2
JP5742722B2 JP2011539394A JP2011539394A JP5742722B2 JP 5742722 B2 JP5742722 B2 JP 5742722B2 JP 2011539394 A JP2011539394 A JP 2011539394A JP 2011539394 A JP2011539394 A JP 2011539394A JP 5742722 B2 JP5742722 B2 JP 5742722B2
Authority
JP
Japan
Prior art keywords
image
luminance
background
shift
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011539394A
Other languages
English (en)
Other versions
JPWO2011055772A1 (ja
Inventor
岳夫 野崎
岳夫 野崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2011539394A priority Critical patent/JP5742722B2/ja
Publication of JPWO2011055772A1 publication Critical patent/JPWO2011055772A1/ja
Application granted granted Critical
Publication of JP5742722B2 publication Critical patent/JP5742722B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、赤外線画像対する画像処理を行うことにより撮影された艦船や飛翔体などの目標対象物が視認可能な画像を出力する画像処理装置に関する。
航空機等による海難捜索や飛翔体の探索においては、パイロットは、海上における救難ボートや飛翔体を救難信号等のビーコンによる電波信号による捜索(探索)や、低空で捜索海域を飛行しながらの目視による捜索や、赤外線カメラの画像に基づく捜索などを行う。
特に、夜間や悪天候下の場合、晴天、昼間の捜索に比べて視認性や視界が悪くなるため、海面に浮遊する艦船や飛翔体等の目標対象を、肉眼による探索により発見することや、赤外線カメラにより探知可能な画像として撮影したりすることが困難となる。
これにより、捜索対象発見の遅れが生じ、このため、他国の艦船や航空機など不審者等の侵入を許してしまう危険性が増大するなどの不都合が生じ得る。
これに対して、撮影された赤外線画像におけるコントラスト改善を行うことにより、捜索者が目標対象を早期に識別・発見するための視界支援情報(画像)を生成することにより、探索者による視界探索を有効に支援する画像情報処理技術や画像識別支援技術などが開発されている。
例えば、冷却機能を省くことで小型化して、ノイズに対するS/N比を大幅に向上させた非冷却赤外線センサによって赤外線画像を撮像する赤外線カメラ、この赤外線カメラを利用した画像処理システムなどが知られている。
また、この関連技術として、航空機や飛翔体に小型化した非冷却赤外線カメラを搭載して赤外線画像を撮影し、得られた赤外線画像を処理して、赤外線画像から目標対象を抽出・識別して表示する赤外線画像処理システムが開示されている(特許文献1)。
この特許文献1では、目標物およびこの目標物の背景から入射する赤外線を互いに直交する平面偏光に分離し、2受光素子を二次元配列した画像センサで赤外線を受光し、電気信号量に変換して出力した各々の画像信号の間で、2次元座標の同一の座標位置にある電気信号量の差分をとって求めた偏光差分画像信号を出力する。
また、2次元座標の同一の座標位置にある電気信号量を加算して求めた輝度画像信号を出力する偏光画像撮像装置と、目標と背景とを組にした組み合わせと、目標物とその背景とが分離可能な偏光差分画像信号の閾値とを予め対応させて記憶する閾値データベースとの組み合わせにより、閾値との比較に基づいて偏光差分画像信号の電気信号量を二値化した二値化画像信号を出力する。
さらに、2次元座標の同一の座標位置にある、二値化画像信号の二値化後の値と輝度画像信号の電気信号量とを乗算して得られる画像により目標物の候補を抽出している。
特許文献1に記載の発明では、海面上に浮かぶ浮遊物、船舶、空域での飛翔体や低空域の視認性の低い障害物などの目標を抽出する際、一般に目標対象物とその背景とに温度差があることを利用し、赤外線センサの前にP波、S波に分離する面偏向受光素子で構成される光学系を搭載し、適切な撮像画像の輝度演算処理部を搭載して所定の温度(輝度)以上の個所が目標対象であるとして目標対象を抽出する赤外線画像処理が行われている。
特開2007−322374号公報
しかしながら、上記特許文献1に記載の発明では、赤外線センサの前にP波、S波に分離する光学系が大規模な構成となるため小型化が困難となる不都合がある。
また、太陽光などにより背景が部分的に熱せられることにより、目標物とその背景との温度差が微小となった場合や、水面の波しぶきなどのノイズが多い場合に、赤外線センサで撮像された赤外線撮像画像における背景ノイズが多くなるため、光学系に依存して目標対象と背景とのコントラストがとれず、目標物を正しく認識・捕捉することが困難となる。このため、目標対象(目標物)の誤認識や見逃しが発生するといった不都合があった。
また、撮像領域内の海上などで、悪天候による白波が発生したり、ヘリコプターのホバリングによる人工的な波しぶきなどが発生したりする場合、赤外線撮像画像に映る目標対象物は白波で埋もれることにより、目標物の形状が変化して見えるため、この赤外線撮像画像に基づいて画像識別により目標対象識別を行った場合に、目標物の見逃しや誤った目標対象を選択(スクリーニング)してしまうといった不都合が生じ得る。
更には、撮影された赤外線画像中に、目標対象物の背景である海領域(海面部)、空領域における晴天部、雲部などの異なる背景領域が含まれる場合には、各背景領域に応じて目標対象と背景とのコントラストを改善することができず、背景領域に対する目標対象がより不鮮明となり、目標対象(目標物)の誤認識や見逃しが発生するといった不都合が生じ得る。
[発明の目的]
本発明は、上記関連技術の有する不都合を改善し、赤外線画像中の目標対象物を確実に識別するための画像処理を行う画像目標識別装置、画像目標抽出方法、画像目標抽出プログラムを提供することを、その目的とする。
上記目的を達成するために、本発明に係る画像目標識別装置は、目標対象物を含む撮影対象からの赤外光を集光すると共に当該集光された赤外光から特定の波長帯域を取得する光学部と、前記光学部により取得された波長に基づき前記撮像対象の温度に対応した赤外線画像を生成する非冷却赤外線イメージセンサと、前記赤外線画像に基づき前記目標対象物が強調表示された演算処理画像を生成する画像処理部とを備えた画像目標識別装置であって、前記画像処理部は、前記赤外線画像内に含まれる画素の輝度値の出現頻度を示す輝度ヒストグラムを生成する輝度ヒストグラム演算部と、前記輝度ヒストグラムにおける前記出現頻度のピーク値に対応する輝度値を前記赤外線画像における背景の輝度レベルを示す背景輝度レベルとして設定する背景輝度レベル設定部と、前記背景輝度レベルを前記赤外線画像における輝度レンジ幅の中間値に設定すると共に前記中間値に設定された背景輝度レベルとの対比関係を維持して前記赤外線画像における他の各輝度値を線形的にシフトした輝度シフト画像を生成する輝度レベル調整部と、前記輝度シフト画像の輝度レベルを反転した反転シフト画像を生成すると共にこの反転シフト画像と前記輝度シフト画像それぞれの対応画素における輝度値の違いに基づく演算処理を行うことにより前記演算処理画像を生成する輝度演算処理部とを備え、前記輝度レベル調整部は、前記輝度ヒストグラムに基づく異なる複数の背景輝度レベルが設定された場合に当該設定された背景輝度レベルそれぞれに対応した輝度シフト画像を生成する複数輝度シフト画像生成機能を備えたことを特徴としている。
また、本発明にかかる画像目標識別方法は、目標対象物を含む撮影対象からの赤外光を集光すると共に当該集光された赤外光から前記撮像対象の温度に基づき生成された赤外線画像に基づき前記目標対象物が強調表示された演算処理画像を生成する画像目標識別方法であって、前記赤外線画像内に含まれる画素の輝度値の出現頻度を示す輝度ヒストグラムを輝度ヒストグラム演算部が生成し、当該輝度ヒストグラムにおける前記出現頻度のピーク値に対応する輝度値を前記赤外線画像における背景の輝度レベルを示す背景輝度レベルとして背景輝度レベル設定部が設定し、前記背景輝度レベルを前記赤外線画像における輝度レンジ幅の中間値に設定すると共に、前記中間値に設定された背景輝度レベルとの対比関係を維持して前記赤外線画像における他の各輝度値を線形的にシフトした輝度シフト画像を、前記輝度ヒストグラムに基づく異なる複数の背景輝度レベルが設定された場合に当該設定された背景輝度レベルそれぞれに対応して輝度レベル調整部が生成し、前記輝度シフト画像の輝度レベルを反転した反転シフト画像を輝度演算処理部が生成し、前記輝度シフト画像および反転シフト画像それぞれの対応位置における輝度値の違いに基づく演算処理を行うことにより前記演算処理画像を前記輝度演算処理部が生成することを特徴としている。
又、本発明にかかる画像目標識別プログラムは、目標対象物を含む撮影対象からの赤外光を集光すると共に当該集光された赤外光から前記撮像対象の温度に基づき生成された赤外線画像に基づき前記目標対象物が強調表示された演算処理画像を生成するための画像目標識別プログラムであって、前記赤外線画像内に含まれる画素の輝度値の出現頻度を示す輝度ヒストグラムを生成する輝度ヒストグラム演算機能と、当該輝度ヒストグラムにおける前記出現頻度のピーク値に対応する輝度値を前記赤外線画像における背景の輝度値を示す背景輝度レベルとして設定する背景輝度レベル決定機能と、前記背景輝度レベルを前記赤外線画像における輝度レンジ幅の中間値に設定すると共に、前記中間値に設定された背景輝度レベルとの対比関係を維持して前記赤外線画像における他の各輝度値を線形的にシフトした輝度シフト画像を、前記輝度ヒストグラムに基づく異なる複数の背景輝度レベルが設定された場合に当該設定された背景輝度レベルそれぞれに対応して生成する輝度レベル調整機能と、前記輝度シフト画像の輝度レベルを反転した反転シフト画像を生成する反転シフト画像生成機能と、前記輝度シフト画像および反転シフト画像それぞれの対応位置における輝度値の違いに基づく演算処理を行うことにより前記演算処理画像を生成する輝度演算処理機能とを予め設定されたコンピュータに実行させることを特徴としている。
本発明は、以上のように構成され機能するので、これによると、赤外線画像の輝度ヒストグラムにおけるピークの輝度値(背景輝度レベル)を抽出し、この輝度値を赤外線画像の中間値に設定すると共にこの中間値に基づき他の輝度値を線形的にシフトした輝度シフト画像を生成する手段と、この輝度シフト画像と輝度レベルを反転した反転シフト画像との輝度レベルの違いに基づく演算処理を行うことにより演算処理画像を生成する手段とを備えた構成としたことにより、目標対象物が背景に対して強調表示された画像を生成することができ、これにより、赤外線画像中の目標対象物を確実に識別し得る画像目標識別装置、画像目標識別方法、画像目標識別プログラムを提供することができる。
本発明による画像目標識別装置における一実施形態を示す概略ブロック図である。 図1に開示した画像目標識別装置における画像処理部の内部構成の一例を示す概略ブロック図である。 図1に開示した画像目標識別装置における赤外線画像の1フレームデータの輝度ヒストグラムを示す説明図である。 図1に開示した画像目標識別装置における赤外線画像の各画素の輝度を線形シフトした輝度シフト画像の輝度ヒストグラムである。 図1に開示した画像目標識別装置に係る目標対象である飛翔体を撮像した赤外線画像の一例を示す説明図である。 図5に開示した赤外線画像の晴天部の空を示す輝度に基づき各画素の輝度を線形シフトした輝度シフト画像の輝度ヒストグラムである。 図1に開示した画像目標識別装置により図6の輝度シフト画像およびその反転画像に基づく減算処理により得られた画像の一例を示す説明図である。 図5に開示した赤外線画像の雲天部の空を示す輝度に基づき各画素の輝度を線形シフトした輝度シフト画像の輝度ヒストグラムである。 図1に開示した画像目標識別装置により図6の輝度シフト画像およびその反転画像に基づく除算処理により得られた画像の一例を示す説明図である。 図1に開示した画像目標識別装置により赤外線画像中の目標対象と背景領域とのコントラストを拡大する処理により得られた最終処理画像を示す説明図である。 図1に開示した画像目標識別装置における輝度シフト画像(原画像)およびその反転画像に基づき輝度値の除算処理のシミュレーションを行った場合の結果を示す説明図である。
[実施形態]
次に、本発明の実施形態について、その基本的構成内容を説明する。
本実施形態である画像識別支援装置(画像目標識別装置)100は、図1に示すように、赤外光を集光する遠赤外線集光ドーム1(以下「集光ドーム」という)と、集光された赤外光を予め設定された集光レンズを介して受光する光学部2と、この光学部2を介して得られた波長(帯域)に基づいて撮像対象物の温度に対応した熱画像(赤外線画像)を生成する非冷却赤外線イメージセンサ部3と、この非冷却赤外線イメージセンサ部3で生成された赤外線画像に対して画像処理を行い、赤外線画像における海や空などの背景領域に対して、船舶などの目標対象が強調表示された処理画像を生成する画像処理部4と、生成された処理画像を出力表示する画像表示部5を備えた構成となっている。
以下、これを詳説する。
赤外光を集光する集光ドーム1は、集光した赤外線を光学部2に導く集光レンズを備えている。また、光学部2は、予め設定された所望の波長帯域を検波する光学フィルタを含み構成されている。
非冷却赤外線イメージセンサ部(非冷却赤外線センサ部)3は、光学部2の光学フィルタを通過した(フィルタリングされた)赤外線に応じた熱量を示す赤外線画像を生成する。ここで、生成された赤外線画像は、当該赤外線画像に含まれる、画像処理対象となる領域としてのフレームが設定され、このフレーム毎に画像処理部4内で処理されるものとする。
画像処理部4は、図2に示すように、赤外線画像の各フレームの輝度ヒストグラムを生成すると共に、この輝度ヒストグラムに基づき各フレーム内における背景にあたる輝度レベル(背景輝度レベル)を決定するヒストグラム演算部6と、この背景輝度レベルをフレームの表示階調数(ダイナミックレンジ)における中間値に設定すると共にフレーム内の他の輝度レベルをこの中間値に基づき線形的に変換した輝度シフト画像を生成する輝度シフト演算部7と、この輝度シフト画像に基づいて、輝度レベルを反転させた反転シフト画像を生成する反転画像処理部8と、輝度シフト画像または反転シフト画像に対して予め設定された輝度の除算および減算処理を行うことにより、輝度シフト画像または反転シフト画像における目標対象物が強調表示された強調処理画像を生成する輝度演算処理部9を有する。
また、画像処理部4は、生成された強調処理画像内の輝度情報に対して目標対象物がさらに強調される画像フィルタリング処理を行うことによりフィルタリング画像を生成する特徴検出部10と、生成されたフィルタリング画像のコントラストを向上させる処理を行うコントラスト拡大部11と、コントラストが拡大された画像に対して、ある輝度レベル以上の2値化する処理を施して対象目標が強調表示された画像(最終処理画像)を生成する2値化処理部12から構成される。
ヒストグラム演算部6は、非冷却赤外線センサ部3から生成された赤外線画像6aを受信する原画像受信機能と、赤外線画像6aにおける各フレーム(フレームデータ)を単位として、各フレームデータに含まれる各画素の輝度レベルを検知する輝度レベル検知機能を有する。
尚、上記フレームデータに含まれる各画素の輝度レベルは、非冷却赤外線センサ部3が有する赤外線センサで画素単位に検出される熱源の温度に比例した温度レベルを示すものとする。
また、ヒストグラム演算部6は、非冷却赤外線センサ部3のメモリ内に記憶された撮像画像の各フレーム(フレーム番号)に対応して、予め設定されたダイナミックレンジ幅における、フレーム内画素の輝度レベル(輝度値)の出現頻度(「輝度頻度」という)を示すヒストグラム(例えば、図3)を生成するヒストグラム生成機能を備えている。
更に、ヒストグラム演算部6は、上記ヒストグラムに基づいて出現頻度のピークをとる輝度レベルを抽出し、抽出した輝度レベルを、例えば、海や空などの背景部分にあたる輝度レベルである背景輝度(レベル)として決定する背景輝度値抽出機能を備えている。
ここで、ヒストグラム演算部6は、ヒストグラム内に出現頻度のピークが複数あることが検知される場合には(例えば、図3のヒストグラムでは、2箇所)、それらに対応した異なる複数の輝度レベルをそれぞれ背景輝度レベルとして決定するものとする。
尚、この背景輝度の輝度頻度を背景輝度頻度4bとして設定する。
また、ヒストグラム演算部6は、各フレーム内の一定領域(分割領域)に含まれる輝度頻度のピークをとる輝度レベルを背景輝度レベルとして決定する設定としてもよい。また、ヒストグラム演算部6は、各分割領域に対応したヒストグラムを生成すると共に、このヒストグラムに基づき背景輝度レベルを決定する設定であってもよい。
更に、ヒストグラム演算部6は、抽出した背景輝度レベルの頻度値である背景輝度頻度4bと、フレームデータ6aを輝度シフト演算部7に送信する輝度頻度送信機能を有する。
また、ヒストグラム演算部6は、例えば、生成したヒストグラムで一定値以上の出現頻度の複数の異なる輝度レベルを、背景輝度値(背景輝度レベル)として決定する設定であってもよい。
これにより、ヒストグラム演算部6は、撮像された画像に含まれる、特定の輝度頻度が多数を占める複数の異なる領域を、空や海などの背景領域として抽出することができる。
このため、ヒストグラム演算部6は、フレーム内に含まれる、空領域や海領域、また、空領域における晴天部、雲部などの背景領域をそれぞれ抽出し、それぞれに対応した背景輝度を設定することができる。
ここで、例えば、入力された赤外線画像が、図5に示すように、雲天部および晴天部を含む異なる背景と目標対象である飛翔体とが含まれるフレームデータ6aである場合、ヒストグラム演算部6は、フレームデータ6aのヒストグラムに基づき出現頻度のピークを示す輝度レベルを背景輝度レベルとして抽出する。
ここでは、晴天部および雲天部を示す2つの輝度レベルを背景輝度レベルとして抽出し、フレームデータ6aと共に輝度シフト演算部7に送信する。
これにより、以下に示す輝度シフト演算部7は、背景としての雲天部と目標対象である飛翔体との輝度差が有効に拡大された画像を生成すると共に、背景としての晴天部においても、この晴天部と飛翔体との輝度差が有効に拡大された画像を生成することが可能となる。
輝度シフト演算部(輝度レベル調整部)7は、ヒストグラム演算部6から送り込まれた背景輝度頻度4bの輝度レベル(背景輝度レベル)を、図4に示すように、フレームデータ6aの輝度レンジ幅の中間値に設定すると共に、フレームデータ6a内の他の画素の輝度レベルを、中間値に基づき線形的にシフトする、つまり、フレームデータ6a内の他の画素の輝度レベルを中間値に設定された背景輝度レベルとの対比関係を維持した状態(輝度レベル)にシフトする、処理を行うことによって輝度シフト画像を生成する輝度シフト画像生成機能を備えている。
これにより、輝度シフト演算部7は、撮像画像内における、例えば、海面上に浮かぶ浮遊物、船舶、空域での飛翔体や低空域の障害物などの目標物(抽出対象)と、撮像画像内の海や空領域などの背景部分との輝度レベルのコントラストが強調され、目標物の視認性が有効に向上した画像(輝度シフト画像)を生成することができる。
また、輝度シフト演算部7は、上記輝度シフト画像生成機能により、海、空、または晴天空領域、曇り天空領域などの異なる背景ごとに設定された背景輝度レベルを、それぞれフレームデータ6aの輝度レンジ幅の中間値に設定することにより、中間値に設定された各背景輝度レベルに対応した、異なる複数の輝度シフト画像を生成することができる。
これにより、例えば、海の背景輝度レベルに基づき生成された輝度シフト画像では有効に強調表示されなかった目標物を、空の背景輝度レベルに基き生成した輝度シフト画像内で強調して表示させることができる。
また、これにより、フレーム内に含まれる異なる目標物それぞれに対応した背景輝度レベルに基づく輝度シフト画像を生成することにより、設定された異なる背景輝度レベルそれぞれに対して目標物それぞれが視認性良く強調表示された輝度シフト画像を生成することができる。
具体的には、輝度シフト演算部7は、例えば、入力された赤外線センサ画像(赤外線画像)における背景領域の多くが海である、輝度レベルが256階調である場合、フレームデータ6aのヒストグラム(図3)に基づき、その最頻値の背景輝度レベル(この場合、海を示す)を、図4に示すように、中間値である128に設定する。
尚、ここでは、輝度シフト演算部7は、入力された赤外線画像に含まれる背景領域の多くが海であるため、図4のヒストグラムにおける最頻値を示す輝度レベルを、背景輝度レベルとして中間値(128)に設定している。
ここで、輝度シフト演算部7は、中間値を基準としてフレーム内の他の輝度レベルを線形に変換(シフト)する、つまり、背景輝度レベルと他の輝度レベルとの対比関係が維持されるように、中間値(128)に基づき他の画素の輝度レベルをシフトする処理(シフト処理)を行うことにより、輝度シフト画像7aを生成する。
尚、上記シフト処理がなされたことにより、その輝度値が、最大輝度255を超えたものは255に、最小輝度0以下になったものは0にそれぞれ設定するものとする。
ここで、ヒストグラム演算部6から送り込まれた背景輝度レベルが、例えば、晴天部、雲天部それぞれを示す2つの背景輝度レベルである場合について説明する。
この場合、輝度シフト演算部7は、フレームデータ6aのヒストグラムに基づき、フレームの背景として設定された空(晴天部)を示す背景輝度レベルを、図6に示すように、中間値である128に設定し、この中間値に基づき他の輝度レベルのシフト処理を行う。
また、輝度シフト演算部7は、フレームデータ6aのヒストグラムに基づき、フレームの背景である雲を示す背景輝度レベルを、図8に示すように、中間値である128に設定し、この中間値に基づき他の輝度レベルのシフト処理を行う。
これにより、輝度シフト演算部7は、晴天部を示す背景に基づくシフト処理を行うことにより生成した輝度シフト画像と、雲天部(雲)を示す背景に基づくシフト処理を行うことにより生成した輝度シフト画像を得る。
また、輝度シフト演算部7は、異なる背景輝度レベルに基づき生成された輝度シフト画像7aそれぞれを記憶部に格納する。
更に、輝度シフト演算部7は、格納した各輝度シフト画像7aを複製すると共に、当該輝度シフト画像7aを、反転画像処理部8および輝度演算処理部9それぞれに対して送信する輝度シフト画像転送機能を有する。
反転画像処理部8は、輝度シフト演算部7から送り込まれた輝度シフト画像7aをメモリ内に保持すると共に、この輝度シフト画像の輝度レベルの階調を反転(例えば、白黒反転)させた反転シフト画像を生成する反転画像生成機能を備えている。
尚、反転画像処理部8は、異なる背景輝度レベルそれぞれに基づき生成された異なる複数の輝度シフト画像7aが送り込まれた場合、それぞれの輝度シフト画像7aに対応した反転シフト画像を生成し、この反転シフト画像を輝度演算処理部9に送信する。
輝度演算処理部9は、輝度シフト演算部7から送り込まれた輝度シフト画像7aおよび反転画像処理部8から送り込まれた反転シフト画像8aに基づいて、画像内における目標対象物が強調表示された強調処理画像を生成する強調処理画像生成機能を有する。強調処理画像は、位置アドレス(画素:(x,y))の輝度値P(x,y)からなるものとする。
具体的には、輝度演算処理部9は、輝度シフト画像7aおよび反転シフト画像8aそれぞれの位置アドレス(画素:(x,y))における輝度値の平均値(輝度平均値)を算出し、この平均値が大きい方の画像における各画素の輝度値をP(x,y)とする。
尚、輝度演算処理部9は、例えば、輝度シフト画像7aの各画素の輝度値をP(x,y)、反転シフト画像8aの各画素の輝度値を{Lmax−P(x,y)}としてもよい。
ここで、輝度演算処理部9は、輝度シフト画像7aおよび反転シフト画像8aのうちの一方の画像の各画素の輝度値P(x,y)を他方の画像の各画素の輝度値{Lmax−P(x,y)}で除算する処理を行う機能(除算処理機能)を有する。
尚、ここでは、輝度シフト画像7aおよび反転シフト画像8aの輝度レンジ幅(表示階調数)をLmaxとする。
ここでは、輝度演算処理部9は、輝度シフト画像7aおよび反転シフト画像8aに対して、以下に示す[式1]に基づく演算処理を行うことにより、背景に対する目標物の輝度差が拡大された画像(ここでは、除算処理画像)の生成を行う(除算強調処理画像生成機能)ものとする。
尚、輝度演算処理部9は、この演算処理(除算処理)を行う場合には、各位置アドレスにおける演算結果である中間値レベルが同等となるように、演算結果に対してLmaxを掛けるものする。これにより、上記処理により生成される画像のダイナミックレンジを拡張することができ、目標対象と背景との輝度差を有効に拡大することができる。
[式1]
R(x,y)={P(x,y)/(Lmax−P(x,y))}×Lmax
更に、輝度演算処理部9は、上記演算処理(除算強調画像生成機能)を行うことにより生成した除算処理画像9aを特徴検出部10に対して送出する機能を有する。
ここで、図9に、雲天部(雲)を示す背景輝度レベル(図8の中間輝度レベル)に基づく輝度シフト画像7aに対して除算強調画像処理機能を実行することによって生成した除算処理画像(9a)を示す。この図9では、背景としての雲部に対する飛翔体の輝度差(コントラスト)が有効に拡大されている。
また、輝度演算処理部9は、以下の[式2]に示すように、P(x,y)から(Lmax−P(x,y))を減算する処理を含み、背景に対する目標物の輝度差が拡大された画像(ここでは、減算処理画像)を生成する減算強調画像生成機能を備えている。
尚、輝度演算処理部9は、上記減算を行う場合には、各位置アドレスにおける演算結果である中間値レベルが同等となるように、演算結果に対してLmax/2を加算する。これにより、上記処理により生成される画像のダイナミックレンジを拡張することができ、目標対象と背景との輝度差を有効に拡大することができる。
[式2]
R(x,y)=P(x,y)−(Lmax−P(x,y))+Lmax/2
輝度演算処理部9は、上記演算処理(減算強調画像生成機能)を行うことにより生成した減算処理画像9a’を特徴検出部10に対して送出する機能を有する。
ここで、図7に、晴天部を示す背景輝度レベル(図6の中間輝度レベル)に基づく輝度シフト画像7aに対して上記減算処理を行うことにより生成した減算処理画像(9a’)を示す。ここでは、背景である空(晴天部)に対する飛翔体の輝度差が有効に拡大されていることが示されている。
尚、輝度演算処理部9は、上記除算強調画像生成機能および減算強調画像生成機能を並行して実行すると共に、除算処理画像9aおよび減算処理画像9a’のうち目標対象の背景に対する輝度差が大きい処理画像を特徴検出部10に対して送信する設定としてもよい。
特徴検出部10は、輝度演算処理部9から送り込まれた除算処理画像9a(減算処理画像9a’)に対して、画像中における予め設定された輝度頻度より少ない輝度領域(画素)を除去するフィルタリング処理を行うことにより、フィルタリング画像10aを生成するフィルタリング処理機能を備えている。
これにより、画像(フィルタリング画像10a)中における出現頻度値が一定値より高い輝度の出現頻度を相対的に増大させることができる。
コントラスト拡張部11は、フィルタリング画像10aの予め設定された輝度値以上の領域(「輝度領域」という)を選択すると共に、この輝度領域における最頻値である輝度レベルを表示階調数の中間値に設定し、選択された他の輝度値をこの中間値に基づき線形変換することによりコントラスト拡張画像11aを生成する(コントラスト拡張処理機能)。
このコントラスト拡張画像11aでは、上記選択された輝度値近辺が最頻輝度レベルとなり、目標対象と背景とのコントラストがさらに拡大される。
ここで、図10に、コントラスト拡大処理機能により生成されたコントラスト拡張画像(最終処理画像)11aを示す。このコントラスト拡大処理では、最頻値として設定された背景輝度値ごとに異なる輝度変異を抑制することができるため、異なる背景それぞれに対する目標対象の輝度差を更に拡大されている。
二値化処理部12は、コントラスト拡張画像11aの各画素の輝度に対して閾値処理を行うことにより2値化画像12aを生成する二値化処理機能を有する。
また、二値化処理部12は、画像表示部5に出力された2値化画像12aから目標対象を抽出すると共に、目標対象の画像強調表示を行う設定としてもよい。
尚、上記画像強調表示の手法として、二値化処理部12は、例えば、2値化画像12a内の抽出した目標対象に対してマーク画像を重畳して表示する設定であってもよい。
以上のように、本実施形態では、非冷却赤外線センサ部3から入力された赤外線画像(原画像)における各フレーム内の輝度分布に基づき決定された、背景にあたる輝度レベル(背景輝度レベル)を赤外線画像における輝度のダイナミックレンジの中間値に合わせ、この中間値に基づき輝度シフト画像(7a)、および、その反転シフト画像(8a)を生成する。
輝度シフト画像および反転シフト画像では、フレーム内における、例えば海、空、晴天部、曇天部などの異なる背景領域の輝度値に対する目標対象の輝度値である輝度差が拡大されている。
更に、本実施形態では、この輝度シフト画像および反転シフト画像における対応画素の輝度値に対する演算処理を行うことにより、背景領域に対する目標対象の輝度差が更に拡大することができる。
また、画像識別支援装置100は、非冷却赤外線センサ部3で撮像した赤外線画像における、目標対象物の背景(海、空、晴天部、曇天部などの異なる背景領域)に対するコントラストの改善を行い、目標物が強調表示された画像を生成することができるので、赤外線画像内における目標対象を容易に識別することが可能となる。
このため、画像識別支援装置100では、赤外線画像における白波などの背景ノイズを除去することが可能であることにより、目標対象のコントラストや視認性を有効に向上させることが可能となる。
これにより、例えば、海難救助などを行う際に、赤外線画像内における人や救難ボートなど波間の浮遊物や、飛翔物体を発見するために有効に利用することが可能となる。
[実施形態の動作説明]
次に、本実施形態の動作について、その概略を説明する。
まず、画像処理部4の輝度ヒストグラム演算部6が、赤外線画像内に含まれる画素の輝度値の出現頻度を示す輝度ヒストグラムを生成する(輝度ヒストグラム演算工程)と共に、この輝度ヒストグラムに基づき赤外線画像における背景を示す背景輝度レベルを決定する(背景輝度レベル決定工程)。
次いで、輝度シフト演算部7が、決定された背景輝度レベルを赤外線画像における輝度レンジ幅の中間値に設定すると共に、中間値に基づいて前記赤外線画像における他の各輝度値を背景輝度レベルとの対比関係を維持される輝度値に線形的にシフトすることにより輝度シフト画像を生成する(輝度レベル調整工程)。
次に、反転画像処理部8が、輝度シフト画像の輝度レベルを反転した反転シフト画像を生成し(反転シフト画像生成工程)、輝度演算処理部9が、輝度シフト画像および反転シフト画像それぞれの対応位置における輝度値の違いに基づく演算処理を行うことにより前記演算処理画像を生成し(輝度演算処理工程)、画像目標抽出部13が、演算処理画像から目標対象物の抽出を行う。
ここで、上記輝度ヒストグラム演算工程、背景輝度レベル決定工程、輝度レベル調整工程、反転シフト画像生成工程、および輝度演算処理工程については、その実行内容をプログラム化し、コンピュータに実行させるように構成してもよい。
次に、画像識別支援装置100の画像処理部4による目標対象を抽出する処理動作について、図2に基づいて説明する。
まず、画像処理部4では、非冷却赤外線センサ部3から画像化された赤外線画像6aを受信し、輝度ヒストグラム演算部(ヒストグラム演算部)6が、赤外線画像6aの各フレーム(フレームデータ)を単位として、そこに含まれる各画素の輝度レベルを検知する。
尚、非冷却赤外線センサ部3により画像化された輝度レベルは、非冷却赤外線センサ部3が有する赤外線センサで画素単位に検出される熱源の温度に比例した信号レベルを示すものとする。
次いで、ヒストグラム演算部6は、入力された各フレームのフレーム番号に対応させて、各フレームにおける輝度レベルと出現頻度との関係を表すヒストグラムを生成する。
また、ヒストグラム演算部6は、各フレームのヒストグラムにおける出現頻度のピークをとる輝度レベルを背景輝度レベル4bとして抽出し、当該背景輝度レベルおよび各フレームデータ6aを輝度シフト演算部7に転送する(ステップS1)。
次に、輝度シフト演算部7は、ヒストグラム演算部6から送り込まれた各フレームデータ6aに対応した背景輝度レベルを、各フレームデータ6aにおける輝度表示階調数(ダイナミックレンジ)の中間値として設定し、この中間値に設定された背景輝度レベルとの対比関係が維持して他の輝度レベルを線形的にシフトする処理(シフト処理)を行う。
ここで、各フレームデータ6aに対して異なる複数の背景輝度レベルが設定されている場合は、各背景輝度レベルを各フレームデータ6aにおける輝度表示階調数の中間値として設定し、この中間値に基づくシフト処理を行うものとする。
輝度シフト演算部7は、例えば、赤外線センサ画像の輝度レベルが256階調である場合、フレームデータ6aのヒストグラム(図3)における背景輝度レベルを、図5に示すように、中間値である128に設定し(図4)、これを基準としてフレーム内の他の輝度レベルを線形にシフト(変換)することにより、輝度シフト画像7aを生成する。
ここでは、背景輝度レベルが最頻値に設定されているものとする。
尚、最大輝度255を超えるものは255、最小輝度0以下になる輝度レベルは、0として計算するものとする。
また、輝度シフト演算部7は、生成した輝度シフト画像7aを複製コピーして、画像処理部4内に予め設定された輝度シフト画像記憶部に格納すると共に、反転画像処理部8および輝度演算処理部9それぞれ対して送信する(ステップS2)。
次いで、反転画像処理部8は、輝度シフト画像7aの輝度レベルを反転(例えば、白黒反転)させた反転シフト画像8aを生成し、輝度演算処理部9に送出する(ステップS3)。
次に、輝度演算処理部9は、反転画像処理部8から送り込まれた反転シフト画像8aを受信し、輝度シフト画像記憶部に記憶された輝度シフト画像7aおよび反転シフト画像8aそれぞれのフレーム内輝度平均値を各々算出し、両画像(輝度シフト画像7aと反転シフト画像8a)のうち輝度平均値の大きい方の画像における輝度値をP(x,y)、他方の画像における輝度値を{Lmax−P(x,y)}とする。尚、(x,y)は、各画像内の画素の位置アドレスを示す。
ここで、輝度演算処理部9は、以下の[式1]に基づき、輝度シフト画像7aおよび反転シフト画像8aそれぞれに対応する位置アドレスの輝度値について、一方の画像の輝度値を他方の画像の輝度値により除算する処理を行う(除算処理)。
尚、輝度演算処理部9はこの除算処理を行う場合に、式1に示すように、演算結果の中間値レベルと同じになるように、演算結果に対して、輝度シフト画像7aおよび反転シフト画像8aの輝度ダイナミックレンジ幅であるLmaxを掛ける。
[式1]
R(x,y)={P(x,y)/(Lmax−P(x,y))}×Lmax
これにより、輝度演算処理部9は、R(x,y)からなる、画像中における目標対象と背景との輝度差が有効に強調された除算画像I(9a)を生成すると共に、この除算画像9aを特徴検出部10に対して送出する(ステップS4)。
また、輝度演算処理部9は、以下に示す[式2]に基づき、輝度シフト画像7aおよび反転シフト画像8aそれぞれに対応する位置アドレスの輝度値について、一方の画像の輝度値から他方の画像の輝度値を除算する処理を行う(除算処理)。尚、この減算処理では、各位置アドレスにおける演算結果が同等となるように、演算結果に対してLmax/2を加えるものとする。
[式2]
R(x,y)=P(x,y)−(Lmax−P(x,y))+Lmax/2
これにより、輝度演算処理部9は、R(x,y)からなる、目標対象の背景輝度値に対するコントラストが強調された減算画像II(9a’)を生成すると共に、この減算画像9a’を特徴検出部10に対して送出する(ステップS4)。
尚、異なる輝度シフト画像7aおよびこれに対応する反転シフト画像8aに対して、除算処理、又は減算処理の何れの処理を行うかは、目標対象の背景に対する輝度差が大きくなる方の演算を採用することが望ましいが、最終結果で得られる処理画像(除算画像および減算画像)を比較することにより選択する設定であってもよい。
次いで、輝度演算処理部9は、生成された除算処理画像9a、および減算処理画像9a’を特徴検出部10に入力する。
ここで、輝度演算処理部9は、生成された除算処理画像9aおよび減算処理画像9a’を、背景画像と目標対象における輝度に一定以上の輝度差がある場合には、スルー画像として画像表示部5に送出する設定としてもよい。
この場合、画像表示部5には、除算処理画像9aおよび減算処理画像9a’が演算処理画像として表示される。
次に、輝度演算処理部9が入力画像である輝度シフト画像7a(原画像A)と反転シフト画像8a(反転画像B)を用いて行う除算処理のシミュレーション処理結果について、図11に基き説明する。ここで、図11におけるy=xは原画像Aの輝度レベル、y=255−xは原画像Aに対する反転画像の輝度レベルを示すものとする。
例えば、原画像Aを反転画像Bで除算する処理(A/B)、または、反転画像Bを原画像Aで除算する処理(B/A)を行った場合、図11に示すように、x軸について0〜30階調近傍である入力画像の輝度の低い部分(暗い部分)と210〜255階調近傍である入力画像の輝度の高い部分(明るい部分)とで輝度の拡大幅が大きくなる。
尚、輝度演算処理部9は、演算結果として、輝度の拡大レベルが異常に高くなりサチュレーションとなる場合があるため、演算結果の平均((C+D)/2)、または、例えば、中間値である128より大きいまたは小さい側の値を選択し出力画像の輝度値とする設定であってもよい。
これにより、輝度演算処理部9では、輝度レベルは150近傍の値が算出されるため、目標対象の背景に対するコントラストが有効に拡張された画像が生成されることとなる。
次に、特徴検出部10は、ステップS4で輝度演算処理部9から送り込まれた除算処理画像9a(または減算処理画像9a’)に対して、画像中における予め設定された輝度頻度より少ない輝度領域(画素)を除去するフィルタリング処理を行うことによりフィルタリング画像10aを生成し、コントラスト拡張部11に対して送信する(ステップS5)。
これにより、画像(フィルタリング画像10a)中における最頻値近辺の輝度が相対的に増大される。
コントラスト拡張部11は、入力されたフィルタリング画像10aの予め設定された輝度値以上の領域(「輝度領域」という)を選択すると共に、選択された輝度の最頻値に基づいて、この最頻値近辺が最大となるように輝度領域の輝度レンジを線形的に拡張することによってコントラストを拡大したコントラスト拡張画像11aを生成し、二値化処理部12に対して送出する(ステップS6)。
次に、二値化処理部12は、コントラスト拡張画像11aの各画素の輝度に対して予め設定された閾値処理を行うことにより2値化画像12aを生成する(2値化処理)と共に、この2値化画像12aを画像表示部5に出力する(ステップS7)。
また、二値化処理部12は、画像表示部5に出力された2値化画像12aから目標対象を抽出すると共に、目標対象の強調表示を行う設定としてもよい。
ここで、二値化処理部12は、上記強調表示の手法として、例えば、抽出した目標対象に対応して設定されたマークを2値化画像12a内の目標対象に重畳して表示するものとする。
以上のように、本実施形態である画像識別支援装置100では、画像処理対象である画像の輝度分布の大半を占める、背景領域の輝度変位を抑制することができ、この背景領域の輝度に対する目標対象の輝度差を拡大することができる。
また、輝度シフト画像および反転シフト画像に対する除算(減算)処理により、画像内における微小で輝度差が極めて小さいノイズの除去も行うことができ、更には、輝度差拡大の効果が得られる。
このため、高価で複雑な光学系を必要とすることなく、更には、ヒストグラム量子化等の計算負荷の高い処理や、個別のノイズ除去処理を実行する必要なく、迅速で、効果的な画像処理を行うことが可能となる。また、目標と背景の温度差が微小で背景とのコントラストが確保しにくい、目標対象の抽出を可能にする。
更には、赤外線画像内に含まれる波間の浮遊物の抽出、白波等の波消しを有効に行うことができる。
上述の実施形態については、その新規な技術的内容の要点をまとめると、以下のようになる。
尚、上記実施形態の一部または全部は、新規な技術として以下のようにまとめられるが、本発明は必ずしもこれに限定されるものではない。
(付記1)
目標対象物を含む撮影対象からの赤外光を集光すると共に当該集光された赤外光から特定の波長帯域を取得する光学部と、前記光学部により取得された波長に基づき前記撮像対象の温度に対応した赤外線画像を生成する非冷却赤外線イメージセンサと、前記赤外線画像に基づき前記目標対象物が強調表示された演算処理画像を生成する画像処理部とを備えた画像目標識別装置であって、
前記画像処理部は、
前記赤外線画像内に含まれる画素の輝度値の出現頻度を示す輝度ヒストグラムを生成する輝度ヒストグラム演算部と、
前記輝度ヒストグラムにおける前記出現頻度のピーク値に対応する輝度値を前記赤外線画像における背景の輝度レベルを示す背景輝度レベルとして設定する背景輝度レベル設定部と、
前記背景輝度レベルを前記赤外線画像における輝度レンジ幅の中間値に設定すると共に前記中間値に設定された背景輝度レベルとの対比関係を維持して前記赤外線画像における他の各輝度値を線形的にシフトした輝度シフト画像を生成する輝度レベル調整部と、
前記輝度シフト画像の輝度レベルを反転した反転シフト画像を生成すると共にこの反転シフト画像と前記輝度シフト画像それぞれの対応画素における輝度値の違いに基づく演算処理を行うことにより前記演算処理画像を生成する輝度演算処理部とを備えたことを特徴とする画像目標識別装置。
(付記2)
付記1に記載の画像目標識別装置において、
前記輝度レベル調整部は、前記輝度ヒストグラムに基づく異なる複数の背景輝度レベルが設定された場合に当該設定された背景輝度レベルそれぞれに対応した輝度シフト画像を生成する複数輝度シフト画像生成機能を備えたことを特徴とする画像目標識別装置。
(付記3)
付記1または2に記載の画像目標識別装置において、
前記輝度演算処理部は、前記輝度シフト画像および前記反転シフト画像の一方の画像における各画素の頻度値から他方の画像における対応する画素の頻度値を減算する減算処理により前記演算処理画像を生成する減算処理手段を備えたことを特徴とする画像目標識別装置。
(付記4)
付記1または2に記載の画像目標識別装置において、
前記輝度演算処理部は、前記輝度シフト画像および前記反転シフト画像の一方の画像における各画素の頻度値を他方の画像における対応する画素の頻度値で除算する除算処理により前記演算処理画像を生成する除算処理手段を備えたことを特徴とする画像目標識別装置。
(付記5)
前記輝度演算処理部は、前記輝度シフト画像および前記反転シフト画像の一方の画像における各画素の頻度値から他方の画像における対応する画素の頻度値を減算する減算処理により前記演算処理画像を生成する減算処理手段と、
前記輝度シフト画像および前記反転シフト画像の一方の画像における各画素の頻度値を他方の画像における対応する画素の頻度値で除算する除算処理により前記演算処理画像を生成する除算処理手段とを備えたことを特徴とする、付記1または2に記載の画像目標識別装置。
(付記6)
付記1乃至5のいずれか一つに記載の画像目標識別装置において、
前記演算処理画像における予め設定された輝度頻度より少ない輝度領域の画素における輝度を除去することによりフィルタリング画像を生成するフィルタリング処理部と、
前記フィルタリング画像に含まれる輝度値に基づき当該フィルタリング画像のコントラストの拡張処理を行うコントラスト拡張部と、
前記演算処理画像における一定値以上の輝度レベルの画素を2値化する処理を行う二値化処理部とを備えたことを特徴とする画像目標識別装置。
(付記7)
目標対象物を含む撮影対象からの赤外光を集光すると共に当該集光された赤外光から前記撮像対象の温度に基づき生成された赤外線画像に基づき前記目標対象物が強調表示された演算処理画像を生成する画像目標識別方法であって、
前記赤外線画像内に含まれる画素の輝度値の出現頻度を示す輝度ヒストグラムを生成し、
当該輝度ヒストグラムにおける前記出現頻度のピーク値に対応する輝度値を前記赤外線画像における背景の輝度レベルを示す背景輝度レベルとして設定し、
前記背景輝度レベルを前記赤外線画像における輝度レンジ幅の中間値に設定すると共に、前記中間値に設定された背景輝度レベルとの対比関係を維持して前記赤外線画像における他の各輝度値を線形的にシフトした輝度シフト画像を生成し、
前記輝度シフト画像の輝度レベルを反転した反転シフト画像を生成し、
前記輝度シフト画像および反転シフト画像それぞれの対応位置における輝度値の違いに基づく演算処理を行うことにより前記演算処理画像を生成することを特徴とする画像目標識別方法。
(付記8)
目標対象物を含む撮影対象からの赤外光を集光すると共に当該集光された赤外光から前記撮像対象の温度に基づき生成された赤外線画像に基づき前記目標対象物が強調表示された演算処理画像を生成するための画像目標識別プログラムであって、
前記赤外線画像内に含まれる画素の輝度値の出現頻度を示す輝度ヒストグラムを生成する輝度ヒストグラム演算機能と、
当該輝度ヒストグラムにおける前記出現頻度のピーク値に対応する輝度値を前記赤外線画像における背景の輝度値を示す背景輝度レベルとして設定する背景輝度レベル決定機能と、
前記背景輝度レベルを前記赤外線画像における輝度レンジ幅の中間値に設定すると共に、前記中間値に設定された背景輝度レベルとの対比関係を維持して前記赤外線画像における他の各輝度値を線形的にシフトした輝度シフト画像を生成する輝度レベル調整機能と、
前記輝度シフト画像の輝度レベルを反転した反転シフト画像を生成する反転シフト画像生成機能と、
前記輝度シフト画像および反転シフト画像それぞれの対応位置における輝度値の違いに基づく演算処理を行うことにより前記演算処理画像を生成する輝度演算処理機能とを予め設定されたコンピュータに実行させることを特徴とする画像目標識別プログラム。
以上、実施形態(及び実施例)を参照して本願発明を説明したが、本願発明は上記実施形態(及び実施例)に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は2009年11月5日に出願された日本出願特願2009−254350を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は、赤外線画像における艦船、飛翔体などの目標物と晴天部および雲部からなる空背景や海面背景とのコントラストを有効に高める画像処理を行うことにより、赤外線画像に含まれる目標物の自動的に検出する赤外線画像処理システムに対して有用に適用することができる。
1 集光ドーム
2 光学部
3 非冷却赤外線センサ部
4 画像処理部
5 画像表示部
6 ヒストグラム演算部
7 輝度シフト演算部
8 反転画像処理部
9 輝度演算処理部
10 特徴検出部
11 コントラスト拡張部
12 二値化処理部

Claims (8)

  1. 目標対象物を含む撮影対象からの赤外光を集光すると共に当該集光された赤外光から特定の波長帯域を取得する光学部と、前記光学部により取得された波長に基づき前記撮像対象の温度に対応した赤外線画像を生成する非冷却赤外線イメージセンサと、前記赤外線画像に基づき前記目標対象物が強調表示された演算処理画像を生成する画像処理部とを備えた画像目標識別装置であって、
    前記画像処理部は、
    前記赤外線画像内に含まれる画素の輝度値の出現頻度を示す輝度ヒストグラムを生成する輝度ヒストグラム演算部と、
    前記輝度ヒストグラムにおける前記出現頻度のピーク値に対応する輝度値を前記赤外線画像における背景の輝度レベルを示す背景輝度レベルとして設定する背景輝度レベル設定部と、
    前記背景輝度レベルを前記赤外線画像における輝度レンジ幅の中間値に設定すると共に前記中間値に設定された背景輝度レベルとの対比関係を維持して前記赤外線画像における他の各輝度値を線形的にシフトした輝度シフト画像を生成する輝度レベル調整部と、
    前記輝度シフト画像の輝度レベルを反転した反転シフト画像を生成すると共にこの反転シフト画像と前記輝度シフト画像それぞれの対応画素における輝度値の違いに基づく演算処理を行うことにより前記演算処理画像を生成する輝度演算処理部とを備え
    前記輝度レベル調整部は、前記輝度ヒストグラムに基づく異なる複数の背景輝度レベルが設定された場合に当該設定された背景輝度レベルそれぞれに対応した輝度シフト画像を生成する複数輝度シフト画像生成機能を備えたことを特徴とする画像目標識別装置。
  2. 前記請求項1に記載の画像目標識別装置において、
    前記輝度レベル調整部は、前記背景輝度レベルを前記赤外線画像における輝度レンジ幅の中間値に設定すると共に前記中間値に設定された背景輝度レベルとの対比関係を維持して前記赤外線画像における識別対象の輝度値を線形的にシフトした輝度シフト画像を生成するものであり、
    前記輝度演算処理部は、前記輝度シフト画像の輝度レベルを反転した反転シフト画像を生成すると共にこの反転シフト画像と前記輝度シフト画像に基づいて背景と識別対象との輝度差を拡大する演算処理を行うことにより前記演算処理画像を生成するものであることを特徴とする画像目標識別装置。
  3. 前記請求項に記載の画像目標識別装置において、
    前記輝度演算処理部は、前記輝度シフト画像および前記反転シフト画像の一方の画像における各画素の輝度値から他方の画像における対応する画素の輝度値を減算する減算処理により前記演算処理画像を生成する減算処理手段を備えたことを特徴とする画像目標識別装置。
  4. 前記請求項に記載の画像目標識別装置において、
    前記輝度演算処理部は、前記輝度シフト画像および前記反転シフト画像の一方の画像における各画素の輝度値を他方の画像における対応する画素の輝度値で除算する除算処理により前記演算処理画像を生成する除算処理手段を備えたことを特徴とする画像目標識別装置。
  5. 前記輝度演算処理部は、前記輝度シフト画像および前記反転シフト画像の一方の画像における各画素の輝度値から他方の画像における対応する画素の輝度値を減算する減算処理により前記演算処理画像を生成する減算処理手段と、
    前記輝度シフト画像および前記反転シフト画像の一方の画像における各画素の輝度値を他方の画像における対応する画素の輝度値で除算する除算処理により前記演算処理画像を生成する除算処理手段とを備えたことを特徴とする、請求項に記載の画像目標識別装置。
  6. 前記請求項1乃至のいずれか一つに記載の画像目標識別装置において、
    前記演算処理画像における予め設定された輝度頻度より少ない輝度領域の画素における輝度を除去することによりフィルタリング画像を生成するフィルタリング処理部と、
    前記フィルタリング画像に含まれる輝度値に基づき当該フィルタリング画像のコントラストの拡張処理を行うコントラスト拡張部と、
    前記演算処理画像における一定値以上の輝度レベルの画素を2値化する処理を行う二値化処理部とを備えたことを特徴とする画像目標識別装置。
  7. 目標対象物を含む撮影対象からの赤外光を集光すると共に当該集光された赤外光から前記撮像対象の温度に基づき生成された赤外線画像に基づき前記目標対象物が強調表示された演算処理画像を生成する画像目標識別方法であって、
    前記赤外線画像内に含まれる画素の輝度値の出現頻度を示す輝度ヒストグラムを輝度ヒストグラム演算部が生成し、
    当該輝度ヒストグラムにおける前記出現頻度のピーク値に対応する輝度値を前記赤外線画像における背景の輝度レベルを示す背景輝度レベルとして背景輝度レベル設定部が設定し、
    前記背景輝度レベルを前記赤外線画像における輝度レンジ幅の中間値に設定すると共に、前記中間値に設定された背景輝度レベルとの対比関係を維持して前記赤外線画像における他の各輝度値を線形的にシフトした輝度シフト画像を、前記輝度ヒストグラムに基づく異なる複数の背景輝度レベルが設定された場合に当該設定された背景輝度レベルそれぞれに対応して輝度レベル調整部が生成し、
    前記輝度シフト画像の輝度レベルを反転した反転シフト画像を輝度演算処理部が生成し、
    前記輝度シフト画像および反転シフト画像それぞれの対応位置における輝度値の違いに基づく演算処理を行うことにより前記演算処理画像を前記輝度演算処理部が生成することを特徴とする画像目標識別方法。
  8. 目標対象物を含む撮影対象からの赤外光を集光すると共に当該集光された赤外光から前記撮像対象の温度に基づき生成された赤外線画像に基づき前記目標対象物が強調表示された演算処理画像を生成するための画像目標識別プログラムであって、
    前記赤外線画像内に含まれる画素の輝度値の出現頻度を示す輝度ヒストグラムを生成する輝度ヒストグラム演算機能と、
    当該輝度ヒストグラムにおける前記出現頻度のピーク値に対応する輝度値を前記赤外線画像における背景の輝度値を示す背景輝度レベルとして設定する背景輝度レベル決定機能と、
    前記背景輝度レベルを前記赤外線画像における輝度レンジ幅の中間値に設定すると共に、前記中間値に設定された背景輝度レベルとの対比関係を維持して前記赤外線画像における他の各輝度値を線形的にシフトした輝度シフト画像を、前記輝度ヒストグラムに基づく異なる複数の背景輝度レベルが設定された場合に当該設定された背景輝度レベルそれぞれに対応して生成する輝度レベル調整機能と、
    前記輝度シフト画像の輝度レベルを反転した反転シフト画像を生成する反転シフト画像生成機能と、
    前記輝度シフト画像および反転シフト画像それぞれの対応位置における輝度値の違いに基づく演算処理を行うことにより前記演算処理画像を生成する輝度演算処理機能とを予め設定されたコンピュータに実行させることを特徴とする画像目標識別プログラム。
JP2011539394A 2009-11-05 2010-11-05 画像目標識別装置、画像目標識別方法、画像目標識別プログラム Active JP5742722B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011539394A JP5742722B2 (ja) 2009-11-05 2010-11-05 画像目標識別装置、画像目標識別方法、画像目標識別プログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009254350 2009-11-05
JP2009254350 2009-11-05
JP2011539394A JP5742722B2 (ja) 2009-11-05 2010-11-05 画像目標識別装置、画像目標識別方法、画像目標識別プログラム
PCT/JP2010/069656 WO2011055772A1 (ja) 2009-11-05 2010-11-05 画像目標識別装置、画像目標識別方法、画像目標識別プログラム

Publications (2)

Publication Number Publication Date
JPWO2011055772A1 JPWO2011055772A1 (ja) 2013-03-28
JP5742722B2 true JP5742722B2 (ja) 2015-07-01

Family

ID=43970008

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011539394A Active JP5742722B2 (ja) 2009-11-05 2010-11-05 画像目標識別装置、画像目標識別方法、画像目標識別プログラム

Country Status (3)

Country Link
US (1) US8818035B2 (ja)
JP (1) JP5742722B2 (ja)
WO (1) WO2011055772A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012170946A2 (en) 2011-06-10 2012-12-13 Flir Systems, Inc. Low power and small form factor infrared imaging
US9819880B2 (en) 2009-06-03 2017-11-14 Flir Systems, Inc. Systems and methods of suppressing sky regions in images
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
JP5741447B2 (ja) * 2009-12-14 2015-07-01 日本電気株式会社 画像生成装置、画像生成方法、画像生成プログラム
KR101778353B1 (ko) 2011-06-10 2017-09-13 플리어 시스템즈, 인크. 적외선 이미징 장치용 불균일성 교정 기술
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
CN105009169B (zh) * 2012-12-21 2018-03-09 菲力尔***公司 用于抑制图像中的天空区域的***和方法
WO2015049826A1 (ja) * 2013-10-01 2015-04-09 日本電気株式会社 物体検出装置、物体検出方法および学習装置
WO2015146240A1 (ja) * 2014-03-27 2015-10-01 Nkワークス株式会社 画像処理装置
US10356317B2 (en) * 2014-10-30 2019-07-16 Technion Research & Development Foundation Limited Wide-scale terrestrial light-field imaging of the sky
KR101581178B1 (ko) * 2015-10-23 2015-12-30 국방과학연구소 통계적 방법을 이용한 적외선신호의 정량적 분석방법 및 분석장치
JP6955908B2 (ja) * 2017-06-08 2021-10-27 日本アビオニクス株式会社 耐火物異常判定システム及び耐火物異常判定方法
CN115145017B (zh) * 2018-01-25 2023-12-22 台湾东电化股份有限公司 光学***
EP3620765B1 (en) * 2018-09-10 2020-11-04 Axis AB Method and system for filtering thermal image data
CN112819714A (zh) * 2021-01-29 2021-05-18 深圳市商汤科技有限公司 目标对象曝光方法、装置、存储介质及设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0879632A (ja) * 1994-08-30 1996-03-22 Mitsubishi Electric Corp 赤外線撮像装置
JP2001056860A (ja) * 1999-08-20 2001-02-27 Mitsubishi Electric Corp 画像処理装置
JP2001184510A (ja) * 1999-12-24 2001-07-06 Mitsubishi Chemicals Corp 欠陥検出方法
JP2002310940A (ja) * 2001-04-19 2002-10-23 Shibuya Kogyo Co Ltd 物品検査方法
JP2003296728A (ja) * 2002-03-29 2003-10-17 Fujitsu Ltd 赤外線画像信号処理装置
JP2006041744A (ja) * 2004-07-23 2006-02-09 M & C:Kk 画像処理装置及び画像処理方法
JP2006160140A (ja) * 2004-12-09 2006-06-22 Mitsubishi Electric Corp 目標検出装置
JP2007322374A (ja) * 2006-06-05 2007-12-13 Mitsubishi Electric Corp 赤外線目標選択装置
JP2009010699A (ja) * 2007-06-28 2009-01-15 Canon Inc 画像読取装置
JP2010014482A (ja) * 2008-07-02 2010-01-21 Mitsubishi Electric Corp 画像目標検出装置
WO2011024865A1 (ja) * 2009-08-27 2011-03-03 日本電気株式会社 画像目標識別装置、画像目標識別方法、画像目標識別プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69635101T2 (de) * 1995-11-01 2006-06-01 Canon K.K. Verfahren zur Extraktion von Gegenständen und dieses Verfahren verwendendes Bildaufnahmegerät
US7170632B1 (en) * 1998-05-20 2007-01-30 Fuji Photo Film Co., Ltd. Image reproducing method and apparatus, image processing method and apparatus, and photographing support system
JP5052569B2 (ja) * 2009-06-25 2012-10-17 シャープ株式会社 画像圧縮装置、画像圧縮方法、画像伸張装置、画像伸張方法、画像形成装置、コンピュータプログラム及び記録媒体
JP5741447B2 (ja) * 2009-12-14 2015-07-01 日本電気株式会社 画像生成装置、画像生成方法、画像生成プログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0879632A (ja) * 1994-08-30 1996-03-22 Mitsubishi Electric Corp 赤外線撮像装置
JP2001056860A (ja) * 1999-08-20 2001-02-27 Mitsubishi Electric Corp 画像処理装置
JP2001184510A (ja) * 1999-12-24 2001-07-06 Mitsubishi Chemicals Corp 欠陥検出方法
JP2002310940A (ja) * 2001-04-19 2002-10-23 Shibuya Kogyo Co Ltd 物品検査方法
JP2003296728A (ja) * 2002-03-29 2003-10-17 Fujitsu Ltd 赤外線画像信号処理装置
JP2006041744A (ja) * 2004-07-23 2006-02-09 M & C:Kk 画像処理装置及び画像処理方法
JP2006160140A (ja) * 2004-12-09 2006-06-22 Mitsubishi Electric Corp 目標検出装置
JP2007322374A (ja) * 2006-06-05 2007-12-13 Mitsubishi Electric Corp 赤外線目標選択装置
JP2009010699A (ja) * 2007-06-28 2009-01-15 Canon Inc 画像読取装置
JP2010014482A (ja) * 2008-07-02 2010-01-21 Mitsubishi Electric Corp 画像目標検出装置
WO2011024865A1 (ja) * 2009-08-27 2011-03-03 日本電気株式会社 画像目標識別装置、画像目標識別方法、画像目標識別プログラム

Also Published As

Publication number Publication date
JPWO2011055772A1 (ja) 2013-03-28
WO2011055772A1 (ja) 2011-05-12
US20120213411A1 (en) 2012-08-23
US8818035B2 (en) 2014-08-26

Similar Documents

Publication Publication Date Title
JP5742722B2 (ja) 画像目標識別装置、画像目標識別方法、画像目標識別プログラム
JP5741447B2 (ja) 画像生成装置、画像生成方法、画像生成プログラム
CN109377469B (zh) 一种热成像融合可见光图像的处理方法、***及存储介质
JP6729394B2 (ja) 画像処理装置、画像処理方法、プログラム及びシステム
JP6553624B2 (ja) 計測機器、及びシステム
JP2009187135A (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP2008286725A (ja) 人物検出装置および方法
CN102973231A (zh) 图像处理装置以及图像处理方法
JP5664551B2 (ja) 画像目標識別装置、画像目標識別方法、画像目標識別プログラム
WO2020130070A1 (ja) 検出装置、情報処理装置、検出方法、及び情報処理プログラム
CN107316318A (zh) 基于多子区域背景拟合的空中目标自动检测方法
JP6375911B2 (ja) カーブミラー検出装置
JP2014206388A (ja) 撮像装置、画像処理装置及び画像処理方法
CN115578304B (zh) 一种结合显著性区域检测的多波段图像融合方法和***
JP2010136207A (ja) 歩行者検出表示システム
Chu et al. A content-adaptive method for single image dehazing
JP5218634B2 (ja) 擬似濃淡画像生成装置及びプログラム
JP6825299B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2008107857A (ja) 動体認識方法及び動体認識装置
JP6950376B2 (ja) 画像処理装置、訓練画像処理装置、画像識別装置、訓練画像処理方法、画像識別方法、及びプログラム
CN112241935A (zh) 图像处理方法、装置及设备、存储介质
JP2006047252A (ja) 画像処理装置
JP4887539B2 (ja) 物体種別判定装置
JP2011232999A (ja) 対象物検出装置、対象物検出方法、及びプログラム
JP2021164066A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131010

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A132

Effective date: 20140909

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141010

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150420

R150 Certificate of patent or registration of utility model

Ref document number: 5742722

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150