JP7494615B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP7494615B2 JP7494615B2 JP2020125148A JP2020125148A JP7494615B2 JP 7494615 B2 JP7494615 B2 JP 7494615B2 JP 2020125148 A JP2020125148 A JP 2020125148A JP 2020125148 A JP2020125148 A JP 2020125148A JP 7494615 B2 JP7494615 B2 JP 7494615B2
- Authority
- JP
- Japan
- Prior art keywords
- correction
- shutter
- data
- image processing
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title description 5
- 238000001514 detection method Methods 0.000 claims description 89
- 238000003384 imaging method Methods 0.000 claims description 81
- 230000002159 abnormal effect Effects 0.000 claims description 73
- 229920006395 saturated elastomer Polymers 0.000 claims description 70
- 238000003331 infrared imaging Methods 0.000 claims description 17
- 230000002950 deficient Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000000034 method Methods 0.000 description 8
- 230000007613 environmental effect Effects 0.000 description 5
- 230000010354 integration Effects 0.000 description 5
- 230000015654 memory Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 101100521334 Mus musculus Prom1 gene Proteins 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/02—Constructional details
- G01J5/025—Interfacing a pyrometer to an external device or network; User interface
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/02—Constructional details
- G01J5/08—Optical arrangements
- G01J5/0803—Arrangements for time-dependent attenuation of radiation signals
- G01J5/0804—Shutters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
- G01J5/20—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using resistors, thermistors or semiconductors sensitive to radiation, e.g. photoconductive devices
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
- G01J5/20—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using resistors, thermistors or semiconductors sensitive to radiation, e.g. photoconductive devices
- G01J5/22—Electrical features thereof
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/80—Calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
- H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/20—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals
- H04N25/21—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals for transforming thermal infrared radiation into image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Toxicology (AREA)
- Studio Devices (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は画像処理装置、画像処理方法およびプログラムに関する。
物体の熱を検出する赤外線カメラを利用した物体検出システムが多く開発されている。またこのような物体検出システムを用いて、例えば自動車の安全性を向上させることが期待されている。一方、赤外線カメラは、物体の熱を検出するという特性上、太陽光を撮像すると撮像素子として用いられているマイクロボロメータが異常を起こす可能性がある。そのため、太陽光の影響を抑制するための技術が必要とされている。
例えば、特許文献1に記載の遠赤外線撮像装置は、遠赤外線検知画素により検知されている遠赤外線の量が、第1の量以上であるか否かを判定し、検知されている遠赤外線の量が第1の量以上である遠赤外線検知画素がある場合には、シャッタを閉鎖する。一方、シャッタを閉鎖した後、検知されている遠赤外線の量が、第1の量以下である第2の量未満であるか否かを遠赤外線検知画素ごとに判定し、全ての遠赤外線検知画素について検知されている遠赤外線の量が第2の量未満である場合には、シャッタを開放する。
上述の赤外線撮像装置は、物体検出の分解能を向上させるために、ダイナミックレンジを狭めて使用される。このような場合には、マイクロボロメータが異常を起こさない温度範囲であっても、検出信号が飽和する。そのため、赤外線撮像装置は、マイクロボロメータを保護するために過度にシャッタを閉じてしまう虞がある。シャッタが閉じられている期間は物体検出の機能が使用できない。ところでマイクロボロメータは、温度検出の精度の劣化を抑えるために、キャリブレーション(撮像データの補正)が行われる。キャリブレーションの一般的な方法の1つは、黒体であるメカニカルなシャッタを閉じた状態でマイクロボロメータの出力を調整するもの(いわゆるメカニカルシャッタ補正)である。メカニカルシャッタ補正は、定期的あるいは断続的にシャッタを閉じる処理を含む。そのため、シャッタが閉じられている間は物体の温度検出ができない。キャリブレーションのもう1つの方法は、シャッタを用いず、予め設定されたアルゴリズムにより出力を調整するもの(いわゆるシャッタレス補正)である。シャッタレス補正は、キャリブレーションのためにシャッタを閉じる必要はないが、マイクロボロメータに太陽光が入射した場合には、太陽光を受けた部分の出力が異常値となる。マイクロボロメータに異常値が生じた場合、修復には長い時間がかかる。そのため、異常値を出力している部分では正常に物体の温度を検出することができない。マイクロボロメータを用いた画像処理装置等においては、上述のような課題を有している。
本発明はこのような課題を解決するためになされたものであって、画質劣化を抑制し、かつ、センサ機能の中断を抑制する画像処理装置等を提供するものである。
本発明にかかる画像処理装置は、第1補正部、第2補正部、飽和領域検出部、シャッタ制御部、異常画素検出部および選択部を有する。第1補正部は、移動体の周辺の熱画像を撮像する赤外線撮像素子から取得した撮像データに対して、予め設定された第1補正テーブルに基づいて、補正を行うとともに補正した第1補正データを出力する。第2補正部は、シャッタが閉じられた状態における撮像データに対して第2補正テーブルを生成し、生成した第2補正テーブルに基づいて補正した第2補正データを出力する。飽和領域検出部は、撮像データに飽和領域が存在することを検出する。シャッタ制御部は、飽和領域の検出結果に基づいて赤外線撮像素子を保護するため、定期的あるいは断続的に第2補正テーブルを較正するためのシャッタの閉制御を行う。異常画素検出部は、シャッタを閉じた状態において取得された撮像データにおける第1補正データに予め設定された閾値を超える輝度値の画素にかかる異常画素が含まれるか否かを検出する。選択部は、異常画素検出部による検出の結果に応じて、第1補正データまたは第2補正データのいずかを選択して出力する。
本発明にかかる画像処理方法は、第1補正ステップ、第2補正ステップ、飽和領域検出ステップ、シャッタ制御ステップ、異常画素検出ステップおよび選択ステップを有する。第1補正ステップは、移動体の周辺の熱画像を撮像する赤外線撮像素子から取得した撮像データに対して、予め設定された第1補正テーブルに基づいて、補正を行うとともに補正した第1補正データを出力する。第2補正ステップは、シャッタが閉じられた状態における撮像データに対して第2補正テーブルを生成し、生成した第2補正テーブルに基づいて補正した第2補正データを出力する。飽和領域検出ステップは、撮像データに飽和領域が存在することを検出する。シャッタ制御ステップは、飽和領域の検出結果に基づいて赤外線撮像素子を保護するため、定期的に第2補正テーブルを較正するためのシャッタの閉制御を行う。異常画素検出ステップは、シャッタを閉じた状態において取得された撮像データにおける第1補正データに予め設定された閾値を超える輝度値の画素にかかる異常画素が含まれるか否かを検出する。選択ステップは、異常画素検出ステップにおける検出の結果に応じて、第1補正データまたは第2補正データのいずかを選択して出力する。
本発明にかかるプログラムは、以下の画像処理方法をコンピュータに実行させる。画像処理方法は、第1補正ステップ、第2補正ステップ、飽和領域検出ステップ、シャッタ制御ステップ、異常画素検出ステップおよび選択ステップを有する。第1補正ステップは、移動体の周辺の熱画像を撮像する赤外線撮像素子から取得した撮像データに対して、予め設定された第1補正テーブルに基づいて、補正を行うとともに補正した第1補正データを出力する。第2補正ステップは、シャッタが閉じられた状態における撮像データに対して第2補正テーブルを生成し、生成した第2補正テーブルに基づいて補正した第2補正データを出力する。飽和領域検出ステップは、撮像データに飽和領域が存在することを検出する。シャッタ制御ステップは、飽和領域の検出結果に基づいて赤外線撮像素子を保護するため、定期的に第2補正テーブルを較正するためのシャッタの閉制御を行う。異常画素検出ステップは、シャッタを閉じた状態において取得された撮像データにおける第1補正データに予め設定された閾値を超える輝度値の画素にかかる異常画素が含まれるか否かを検出する。選択ステップは、異常画素検出ステップにおける検出の結果に応じて、第1補正データまたは第2補正データのいずかを選択して出力する。
本発明によれば、画質劣化を抑制し、かつ、センサ機能の中断を抑制する画像処理装置等を提供することができる。
以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲にかかる発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
<実施の形態1>
以下、図面を参照して本発明の実施の形態について説明する。図1は、実施の形態1にかかる画像処理装置のブロック図である。図1に示す画像処理装置100は、自動車の周辺の熱画像を撮像してモニタに表示する熱画像表示システム10の構成要素である。熱画像表示システム10は主な構成として、画像処理装置100、マイクロボロメータ900、シャッタ901およびモニタ902を有している。
以下、図面を参照して本発明の実施の形態について説明する。図1は、実施の形態1にかかる画像処理装置のブロック図である。図1に示す画像処理装置100は、自動車の周辺の熱画像を撮像してモニタに表示する熱画像表示システム10の構成要素である。熱画像表示システム10は主な構成として、画像処理装置100、マイクロボロメータ900、シャッタ901およびモニタ902を有している。
以下に、画像処理装置100について説明する。画像処理装置100は、例えばCPU(Central Processing Unit)やMCU(Micro Controller Unit)などの演算装置を有している。また画像処理装置100は、上記演算装置に加えて、フラッシュメモリもしくはDRAM(Dynamic Random Access Memory)のような不揮発性もしくは揮発性のメモリ、およびその他の電気回路により構成された制御基板を少なくとも有している。画像処理装置100は、これらの演算装置などにプログラムが組み込まれており、ソフトウェアまたはハードウェアの組み合わせにより以下に示す機能を実現する。
画像処理装置100は、マイクロボロメータ900が撮像した熱画像の撮像データを取得して、取得した撮像データに予め設定された処理を施す。画像処理装置100は予め設定された処理を施した撮像データをモニタ902に出力する。画像処理装置100は主な構成として、欠陥画素補正部110、画素不均一補正部120、AGC処理部130(AGC=Auto-Gain-Control)、飽和領域検出部140およびシャッタ制御部150を有している。画像処理装置100は、マイクロボロメータ900が撮像した熱画像に基づき人物などを認識する認識処理部を備えていてもよい。
欠陥画素補正部110は、マイクロボロメータ900から撮像データを受け取り、撮像データに含まれる欠陥画素によるデータを補正する。欠陥画素補正部110は例えば、シャッタを閉じた状態で欠陥画素の座標を検出し、検出した欠陥画素の座標を記憶しておく。さらに欠陥画素補正部110は、記憶した欠陥画素のデータを、隣接する画素のデータから補間データを生成することにより補正する。欠陥画素補正部110は、補正した撮像データを、画素不均一補正部120および飽和領域検出部140のそれぞれに供給する。
画素不均一補正部120は、欠陥画素補正部110から受け取った撮像データにおける画素の不均一状態を補正し、補正した撮像データをAGC処理部130に供給する。画素不均一補正部120は主な構成として、第1補正部121、第2補正部122、異常画素検出部123および選択部124を有している。
第1補正部121は、欠陥画素補正部110から受け取った撮像データに対して補正を行い、補正した撮像データである第1補正データを異常画素検出部123および選択部124に供給する。第1補正部121が行う補正は、いわゆるシャッタレス補正である。すなわち第1補正部121は、予め設定された第1補正テーブルおよびゲイン補正テーブルに基づいて撮像データを補正して第1補正データを生成する。なおシャッタレス補正の具体例について、後述する。
第2補正部は、シャッタ901が閉じられた状態における前記撮像データに対して第2補正テーブルを生成し、生成した第2補正テーブルおよび予め設定されたゲイン補正テーブルにより補正した撮像データである第2補正データを選択部124に供給する。第2補正部122が行う補正は、いわゆるメカニカルシャッタ補正である。
上述のゲイン補正テーブルは、撮像データのゲインを補正するために予め設定された補正テーブルである。ゲイン補正テーブルは、例えば、2点間調整(two point correction)、線形補間、最小二乗法、非線形補間などにより生成される。
上記機能を実現するため、第2補正部122は、第2補正テーブルを較正する条件を監視する。較正条件は、予め設定されたものであって、例えば、マイクロボロメータ近傍の温度が所定の範囲を超えた場合である。また補正条件の別の例は、直近にメカニカルシャッタ補正を行った時刻から予め設定された期間が経過した場合である。マイクロボロメータの出力は、時間の経過と共にドリフトし、検出精度が低下する虞がある。そのため、メカニカルシャッタ補正を行う条件を満たした場合に、第2補正部122は、シャッタ制御部150に対してシャッタを閉じる指示を出す。
シャッタが閉じられた状態における撮像データを取得すると、第2補正部122は、シャッタが閉じられた状態における撮像データの輝度値から第2補正テーブルを更新する。そして第2補正部122は、較正した第2補正テーブルおよびゲイン補正テーブルを使って、撮像データを補正する。なお、第2補正テーブルは、例えば、撮像データおよびゲイン補正テーブルに応じて第2補正テーブルを較正する。
異常画素検出部123は、シャッタ901が閉じた状態における第1補正データを受け取り、受け取った第1補正データに、予め設定された閾値を超える輝度値の画素にかかる異常画素が含まれるか否かを検出する。また異常画素検出部123は、検出の結果に関する信号を選択部124に供給する。
ここで、異常画素とは、例えば、シャッタ901が閉じた状態における撮影データにおいて、予め設定された閾値を超える輝度値を示す画素である。予め設定された閾値を超える輝度値とは、例えば0から16383までの16384階調で輝度値が示される場合の100以上の値などである。シャッタ901が閉じた状態における撮影データは、黒体であるシャッタを撮像しているため、異常がない場合には、第1補正データの隣接画素における輝度値の差はゼロないしゼロに近い値となる。しかし、マイクロボロメータに太陽光が入射した場合、太陽光を受けた画素の画素データは異常状態となり、異常状態の画素の輝度値と異常状態ではない画素の輝度値の差はゼロないしゼロに近い値をとらない状態となる。この場合太陽光を受けた画素の画素データは、所定の輝度値にオフセットがかかった値を示す。
画素データが異常状態になる場合について説明する。マイクロボロメータ900が太陽を撮像した場合には、太陽を撮像した領域の画素の輝度値は上限に達して飽和した状態となる。一般に、マイクロボロメータ900はダイナミックレンジの上限が、例えば200度で設計されている。この場合、ダイナミックレンジの設定を上限である200度に設定しても、太陽を撮像した画素は飽和する。このとき、太陽を撮像した撮像素子は、正しく信号を出力できない異常状態となる。また異常状態となった撮像素子は、シャッタを閉じることにより太陽光から保護された後も、正常状態に復帰するのに時間を要することが知られている。
異常画素検出部123に設定される予め設定された閾値は、例えば上述の所定の輝度値を示す画素が画像全体の平均値の5%以上差があることなどと設定されていてもよい。異常画素検出部123は、検出の結果に関する信号として、上述のように設定された条件において、異常画素が含まれるか否かを示す信号を生成する。
なお、異常画素検出部123は、シャッタ制御部150からシャッタ901の開閉状態についての情報を受け取る。そのため、異常画素検出部123は、第1補正部121から供給される撮像データのそれぞれについて、シャッタ901が開状態であったか、閉状態であったかを認識できる。なお、撮影データは、シャッタ901が開状態において生成されたものか、あるいはシャッタ901が閉状態において生成されたものかを示す情報を含んでいてもよい。その場合、異常画素検出部123は、第1補正部121から受け取った撮影データのそれぞれについて、撮影データに含まれる情報からシャッタ901の開閉状態を検出できる。
選択部124は、第1補正部121からシャッタレス補正が施された撮影データを受け取るとともに、第2補正部122からメカニカルシャッタ補正が施された撮影データを受け取る。さらに選択部124は、異常画素検出部123から異常画素の検出結果に関する信号を受け取る。選択部124は、異常画素検出部123から受け取った検出の結果に応じて、第1補正データまたは第2補正データのいずかを選択して、選択した撮影データをAGC処理部130に出力する。
また選択部124は、シャッタ901を閉じた状態で撮像された撮像データにおいて第1補正データに含まれる異常画素の数が閾値を超えているか否かに応じて第1補正データまたは第2補正データを選択するものであってもよい。この場合、選択部124は、複数の異常画素が互いに隣接し、且つ、隣接している異常画素の数が閾値を超えているか否かに応じて第1補正データまたは第2補正データを選択するものであってもよい。
上記構成により、選択部124は、シャッタ901が閉じた状態における第1補正データに予め設定された条件の異常画素が検出された場合には、第2補正データを選択する。一方、選択部124は、シャッタ901が閉じた状態における第1補正データに予め設定された条件の異常画素が検出されていない場合には、第1補正データを選択する。
AGC処理部130は、画素不均一補正部120から撮像データを受け取り、撮像データのコントラストを調整する。AGC処理部130は、撮像データのコントラストを調整することにより、モニタ902に熱画像を表示する際に、ユーザにとって見やすい画像を生成する。また、AGC処理部130は、撮像データのコントラストを調整することにより、熱画像に対して物体認識処理を行う際に、認識処理に適切な熱画像を出力することができる。AGC処理部130は、撮像データに対して、例えば、コントラスト制限適応ヒストグラム均等化などのヒストグラム均等化手法などを用いる。
飽和領域検出部140は、欠陥画素補正部110から撮像データを受け取り、受け取った撮像データから飽和領域検出を行う。飽和領域は、飽和画素ないし実質的に飽和している画素が存在する領域である。飽和画素とは、画素データが上限値となった状態の画素をいう。例えば、撮像データの各画素の輝度レベルがゼロから16383までの14ビットで表現されている場合に、輝度レベルが16383の値を有する座標の画素を飽和画素という。
飽和領域検出部140は、例えば隣接する4個以上の画素が飽和画素であることを検出した場合に、飽和領域が存在すると判断する。あるいは飽和領域検出部140は、例えば近接する9個以上の画素が輝度値の上限の98パーセント以上である場合に、飽和領域が存在すると判断する。飽和領域検出部140は、受け取った撮像データに飽和領域が存在すると検出した場合、飽和領域の検出結果を示す信号を、シャッタ制御部150に供給する。
シャッタ制御部150は、飽和領域の検出結果に応じてシャッタの閉制御またはシャッタの開制御を行う。例えば、シャッタ制御部150は、飽和領域検出部140が飽和領域を検出した場合に、赤外線撮像素子を保護するためシャッタを閉じる。より具体的には、シャッタ制御部150は、飽和領域検出部140に接続し、飽和領域検出部140からシャッタ901を閉じる指示を受ける。シャッタ制御部150は、飽和領域検出部140からシャッタ901を閉じる指示を受けると、この指示に応じてシャッタ901を閉じる。
またシャッタ制御部150は、画素不均一補正部120からシャッタ901を閉じる指示を受けた場合に、かかる指示に応じてシャッタ901を閉じる。またシャッタ制御部150は、画素不均一補正部120からシャッタ901を開く指示を受けた場合に、かかる指示に応じてシャッタ901を開く。シャッタ制御部150は、シャッタの開閉状態に関する信号を画素不均一補正部120に供給する。
またシャッタ制御部150は、選択部124が第1補正データを選択しており、且つ、シャッタ901の閉制御を指示する信号を受け取った場合にはシャッタ901の閉制御を行う。さらにシャッタ制御部150は、選択部124が第2補正データを選択しており、且つ、シャッタ901の閉制御を指示する信号を受け取った場合にはシャッタ901の閉制御を抑制する。
以上、画像処理装置100について説明した。次に、画像処理装置100に接続している各構成について概要を説明する。
マイクロボロメータ900は、赤外線撮像素子の一実施態様である。マイクロボロメータ900は、マトリクス状に配置された赤外線検出素子で構成されており、赤外線検出素子が遠赤外線を検出する。また、マイクロボロメータ900は、検出した遠赤外線を光電変換して撮像データを生成し、生成した撮像データを、画像処理装置100の欠陥画素補正部110に供給する。
マイクロボロメータ900は、移動体の周辺の熱画像を撮像するように、移動体に設置されている。例えば移動体が自動車である場合、自動車の進行方向を撮影可能するために、マイクロボロメータ900は自動車の前方を向いて設置されている。ただし、マイクロボロメータ900は、他の方向を向くように設置されていてもよい。
シャッタ901は、マイクロボロメータ900に外光が入射するのを許容したり抑制したりする。シャッタ901はシャッタ制御部150によりその動作が制御されている。シャッタ901が開いている場合、シャッタ901は外光を通過させてマイクロボロメータ900に受光させる。シャッタ901が閉じている場合、シャッタ901は外光を遮断してマイクロボロメータ900を外光から保護する。また、シャッタ901は、マイクロボロメータ900における第2補正テーブルの較正を行う機能を備えている。
モニタ902は、ユーザに情報を提示できるように設置された表示装置であって、例えば液晶パネルまたは有機EL(Electro Luminescence)パネル等を含む。モニタ902は、画像処理装置100のAGC処理部130に接続し、AGC処理部130から撮像データを受け取り、受け取った撮像データを表示する。モニタ902には、撮像データに加えて認識した人物を示す画像を含めて表示してもよい。
次に図2を参照して、画像処理装置100が実行する処理について説明する。図2は、実施の形態1にかかる画像処理装置のフローチャートである。図2に示すフローチャートは、画像処理装置100がマイクロボロメータ900から撮像データを受け取ると開始される。
まず、画像処理装置100は、マイクロボロメータ900から撮像データを受け取ると、飽和領域検出部140が飽和領域の検出を開始する(ステップS10)。次に、画像処理装置100は、撮像データに飽和領域を検出したか否かを判断する(ステップS11)。
撮像データに飽和領域を検出したと判断した場合(ステップS11:YES)、画像処理装置100は、シャッタ901を閉じる(ステップS12)。そして画像処理装置100はステップS16に進む。一方、撮像データに飽和領域を検出したと判断しない場合(ステップS11:NO)、画像処理装置100は、ステップS13に進む。
ステップS13において、画像処理装置100は、画素不均一補正部120が第2補正データ(メカニカルシャッタ補正のデータ)を出力中であるか否かを判断する(ステップS13)。画素不均一補正部120が第2補正データを出力中であると判断する場合(ステップS13:YES)、画像処理装置100は、ステップS14に進む。画素不均一補正部120が第1補正データを出力中の場合、画像処理装置100は、画素不均一補正部120が第2補正データを出力中であると判断しない(ステップS13:NO)。この場合、画像処理装置100は、ステップS11に戻る。
ステップS14において、画像処理装置100の第2補正部122は、キャリブレーションが必要か否かを判断する(ステップS14)。第2補正部122は、第2補正テーブルを較正する条件が満たされている場合に、キャリブレーションが必要と判断する(ステップS14:YES)。この場合、第2補正部122はシャッタ制御部150に対してシャッタ901を閉じることを指示する信号を供給する。そして、シャッタ制御部150はシャッタ901を閉じる(ステップS15)。さらに画像処理装置100はステップS16に進む。一方、第2補正部122は、メカニカルシャッタ補正を行う条件が満たされていない場合には、キャリブレーションが必要と判断しない(ステップS14:NO)。この場合、画像処理装置100は、ステップS11に戻る。
ステップS16において、画像処理装置100は、第1補正データ(シャッタレス補正が施された撮影データ)に異常画素を検出したか否かを判断する(ステップS16)。より具体的には画像処理装置100の選択部124は、異常画素検出部123から受け取った信号が、異常画素を検出したことを示すものであるか否かを判断する。第1補正データに異常画素を検出したと判断した場合(ステップS16:YES)、画像処理装置100は、第2補正テーブルの較正を行う(ステップS17)。そして、画像処理装置100はステップS18に進む。一方、第1補正データに異常画素を検出したと判断しない場合(ステップS16:NO)、画像処理装置100はステップS20に進む。
ステップS18に進んだ画像処理装置100は、異常画素を含む第1補正データを出力せず、第2補正データ(メカニカルシャッタ補正による撮像データ)を出力するように設定されている。すなわち選択部124は、第2補正データを選択し、選択した第2補正データをAGC処理部130に出力する(ステップS18)。そして画像処理装置100は、ステップS19に進む。
ステップS20に進んだ画像処理装置100は、異常画素を含まない第1補正データを出力するように設定されている。すなわち選択部124は、第1補正データを選択し、選択した第1補正データをAGC処理部130に出力する(ステップS20)。そして画像処理装置100は、ステップS19に進む。
ステップS19において、画像処理装置100のシャッタ制御部150は、画素不均一補正部120からの指示を受けてシャッタを開く(ステップS19)。そして画像処理装置100は、ステップS11に戻る。ステップS11に戻った画像処理装置100は、上述の処理を繰り返す。
次に、図3を参照して、第1補正部121が行うシャッタレス補正の例について説明する。図3は、第1補正部121が有する第1補正基準データの例を示す図である。図3に示すグラフは縦軸がマイクロボロメータの輝度値を示し、横軸がマイクロボロメータの輝度値に対応する環境温度を示す。また図3のグラフには3本の画素線がプロットされている。これら3本の線は、それぞれマイクロボロメータの環境温度に対する出力画素値の関係を示すものである。実線により示されている線は、マイクロボロメータの撮像画像内の平均輝度値と環境温度との関係を示している。一点鎖線および破線により示されている線は、マイクロボロメータの、ある画素に対する輝度値と環境温度との関係を示している。
図3に示すグラフにおいて、画像処理装置100は、例えば、温度RTがT1の場合に、平均輝度値B1を基準として、各画素のオフセット値を算出したものを補正テーブル1として保存する。また、画像処理装置100は、温度RTがT2の場合には、輝度値B2を基準として、各画素のオフセット値を算出したものを補正テーブル2として保存する。また画像処理装置100は、温度RTがT3の場合に、輝度値B3を基準として、各画素のオフセット値を算出したものを補正テーブル3として保存する。補正テーブル1と2の間、補正テーブル2と3の間のデータは、直線近似やスプライン近似などによる補間処理によって補われる。第1補正部121は、マイクロボロメータ周辺の温度RTを監視するとともに、温度RTに応じて最適な補正テーブルを設定する。これにより、第1補正部121は、シャッタを閉じることなく、撮像データの補正を行うことができる。
ただし、上述の輝度値と環境温度との関係は、マイクロボロメータに太陽光を受けた場合を除く。太陽光を受けた場合、マイクロボロメータは、太陽光を受けた画素の輝度値が異常値となる。この場合、上述の補正テーブルによって撮像データを適切に補正することができない。画像処理装置100は、このようなシャッタレス補正の特性を考慮し、異常画素を含む場合にはシャッタレス補正による撮像データに代えて、メカニカルシャッタ補正による撮像データの出力を行う。
なお、図3では理解容易のために3本の線を示したが、実際にはマイクロボロメータの画素数分だけ線を有している。また図3に示した線は直線であったが、画素の特性の線は折れ線や曲線に相当するものであってもよい。また、上述の補正テーブルは、より細かく補正テーブルを持ってもよいし、少なくても良い。また、図3に示したグラフは第1補正部の原理を説明するための例示である。
次に、画像処理装置100の処理について具体例と共に説明する。図4は、画像処理装置の処理の第1例を示す図である。図4は、上から、熱画像A11、熱画像A12および熱画像A13を含む。熱画像A11は、画像処理装置100がマイクロボロメータ900から受け取った撮像データに含まれる画像の例である。熱画像A11は、熱画像表示システム10を搭載した車両の進行方向を撮像したものである。熱画像A11は、他車両D11の画像を含む。また他車両D11にはマフラーD12が含まれる。また熱画像A11は、他車両D11に加えて、画面の左上に太陽D13の画像を含む。
熱画像A11は、物体が放射する電磁波を検出するため、熱の高い部分は明るく表示される。そのため、熱画像A11では、他車両D11が相対的に景色の画像よりも明るく表示されている。また他車両D11の中でも特に温度の高いマフラーD12は白く表示されている。また太陽D13も温度が高いため、白く表示されている。熱画像A11において白く表示されているマフラーD12および太陽D13の輝度は飽和状態となっている。熱画像A11に飽和領域を含むため、画像処理装置100はシャッタ901を閉じる。
熱画像A11の下に示された熱画像A12は、シャッタ901を閉じた状態において取得された撮影データにかかる熱画像である。熱画像A12は、異常画素群D23を含む。異常画素群D23は、熱画像A11において示した太陽D13を撮像したために生じたものである。異常画素群D23は、予め設定された第1補正テーブルに基づいて補正を行うため、第1補正データにおいても補正されない。そのため画像処理装置100は、異常画素群D23を含む熱画像A12に対して、第2補正データを出力することを選択する。
熱画像A12の下に示された熱画像A13は、熱画像A12を第2補正部122が補正した状態である。すなわち熱画像A13は、異常画素を含む撮像データの第2補正データにかかるものである。第2補正テーブルは異常画素を含む撮像データに対して補正テーブルを生成するため、熱画像A13は、補正された画素群D33を含む。補正された画素群D33は、第2補正により白色から濃いグレーに変化している。
このように、画像処理装置100は、撮像データに異常画素を含む場合に、第2補正データを選択して出力する。これにより画像処理装置100は、異常画素による画質劣化を抑制できる。
次に、図5を参照して、画像処理装置100の処理の別の例について説明する。図5は、画像処理装置の処理の第2例を示す図である。図5は、上から、熱画像A14および熱画像A15を含む。熱画像A14は、画像処理装置100がマイクロボロメータ900から受け取った撮像データに含まれる画像の例である。熱画像A14は、熱画像表示システム10を搭載した車両の進行方向を撮像したものである。熱画像A14は、他車両D11の画像を含む。また他車両D11にはマフラーD12が含まれる。なお、熱画像A14は、太陽の画像を含まない点が、図4に示した熱画像A11と異なる。
熱画像A14は、他車両D11の中でも特に温度の高いマフラーD12は白く表示されている。すなわち熱画像A14において白く表示されているマフラーD12の輝度は飽和状態となっている。熱画像A14に飽和領域を含むため、画像処理装置100はシャッタ901を閉じる。
熱画像A14の下に示された熱画像A15は、シャッタ901を閉じた状態において取得された撮影データにかかる熱画像である。熱画像A15は、異常画素群を含まない。そのため画像処理装置100は、熱画像A14に対して、第1補正データを出力することを選択する。
このように、画像処理装置100は、撮像データに異常画素を含まない場合には、第1補正データを選択して出力する。画像処理装置100は、第1補正データを出力している間は、第2補正部の第2補正データにかかる第2補正テーブルを更新しない。換言すると、画像処理装置100は、第1補正データを出力している間は、第2補正データを更新するための動作としてのシャッタ901を閉じる動作を行わない。これにより画像処理装置100は、センサ機能の中断を抑制できる。
以上、実施の形態1について説明した。実施の形態1にかかる画像処理装置100は、第1補正と第2補正とを平行して実行しつつ、異常画素を含まない場合には第1補正データを出力し、異常画素を含む場合には第2補正データを出力する。また画像処理装置100は、第1補正データを出力している間は、第2補正テーブルを更新するためのシャッタ901を閉じる動作を行わない。すなわち実施の形態1によれば、画質劣化を抑制し、かつ、センサ機能の中断を抑制する画像処理装置等を提供することができる。
<実施の形態2>
次に、実施の形態2について説明する。実施の形態2にかかる画像処理装置は、マイクロボロメータのダイナミックレンジを制御する点が、実施の形態1画像処理装置と異なる。図6は、実施の形態2にかかる画像処理装置のブロック図である。
次に、実施の形態2について説明する。実施の形態2にかかる画像処理装置は、マイクロボロメータのダイナミックレンジを制御する点が、実施の形態1画像処理装置と異なる。図6は、実施の形態2にかかる画像処理装置のブロック図である。
図6に示す熱画像表示システム10は、画像処理装置100に代えて画像処理装置200を有している。画像処理装置200は、主な構成として、ダイナミックレンジ制御部170を有する点が、画像処理装置100と異なる。
ダイナミックレンジ制御部170は、飽和領域検出部140と連携し、飽和領域の検出結果に応じてマイクロボロメータのダイナミックレンジを第1温度範囲または第1温度範囲より少なくとも上限値側の温度が高い第2温度範囲に設定する。ダイナミックレンジ制御部170は、飽和領域検出部140に接続し、飽和領域を検出したことを示す信号を受け取る。またダイナミックレンジ制御部170は、マイクロボロメータ900に接続し、ダイナミックレンジの設定を指示する信号を供給する。なお、本実施の形態におけるダイナミックレンジは、「シーンダイナミックレンジ」と言い換えてもよい。
より具体的には、ダイナミックレンジ制御部170は、例えばダイナミックレンジの設定が第1温度範囲となっている場合において、飽和領域検出部140が飽和領域を検出した場合に、ダイナミックレンジの設定を第1温度範囲から第2温度範囲に変更する。またダイナミックレンジ制御部170は、例えばダイナミックレンジの設定が第2温度範囲となっている場合において、飽和領域検出部140が飽和領域を検出しない場合に、ダイナミックレンジの設定を第2温度範囲から第1温度範囲に変更する。
なお、ダイナミックレンジ制御部170がダイナミックレンジを第1温度範囲および第2温度範囲に設定する処理を行う場合、ダイナミックレンジ制御部170は、例えば、マイクロボロメータ900のインテグレーションタイムの設定を変更する。インテグレーションタイムの設定を変更することにより、マイクロボロメータ900は露光時間を変更する。インテグレーションタイムが相対的に短くなると、マイクロボロメータ900が出力する信号のダイナミックレンジが相対的に広くなる。すなわち、ダイナミックレンジを第1温度範囲から第2温度範囲に変更する場合、ダイナミックレンジ制御部170は、マイクロボロメータ900に対してインテグレーションタイムを短くする指示を送る。
なお、ダイナミックレンジの指示はインテグレーションタイムに代えて、ゲインの設定であってもよい。ゲインの設定の場合において、ダイナミックレンジを第1温度範囲から第2温度範囲に変更する場合、ダイナミックレンジ制御部170は、マイクロボロメータ900に対してゲインを下げる指示を送る。
本実施の形態における飽和領域検出部140は、ダイナミックレンジ制御部170からダイナミックレンジの設定に関する情報を取得する。ダイナミックレンジの設定に関する情報には、マイクロボロメータ900に設定されているダイナミックレンジの設定が第1温度範囲か第2温度範囲かを示す情報が含まれる。第1温度範囲は、例えばマイクロボロメータにより検出する温度の範囲が10度から50度となるように設定された範囲である。第2温度範囲は、第1温度範囲よりも上限値が高く設定された範囲であって、例えばマイクロボロメータにより検出する温度の範囲が10度から200度となるように設定された範囲である。飽和領域検出部140は、ダイナミックレンジの設定が第2温度範囲の場合において、取得した撮像データに上述の飽和領域を検出した場合には、シャッタ制御部150にシャッタを閉じることを指示する信号を供給する。
次に、図7を参照して、画像処理装置200が行う処理について説明する。図7は、実施の形態2にかかる画像処理装置のフローチャートである。図7に示すフローチャートは、ステップS11の後からステップS16の前までの処理が、実施の形態1にかかるフローチャートと異なる。以下に、実施の形態1にかかるフローチャートと異なる点を中心に説明する。なお、説明の便宜上、以降の説明においてダイナミックレンジ制御部170が設定する第1温度範囲をDR1と称し、第2温度範囲をDR2と称する。
ステップS11において飽和領域を検出すると(ステップS11:YES)、画像処理装置200は、ダイナミックレンジ制御部170がダイナミックレンジの設定を第1温度範囲(DR1)から第2温度範囲(DR2)に変更する(ステップS21)。そして画像処理装置200の飽和領域検出部140は、DR2に変更された撮像データに飽和領域を検出したか否かを判断する(ステップS22)。
DR2における撮像データに飽和領域を検出したと判断した場合(ステップS22:YES)、画像処理装置200は、シャッタ901を閉じる(ステップS24)、さらにダイナミックレンジの設定をDR2からDR1に変更し(ステップS25)、ステップS16に進む。一方、DR2における撮像データに飽和領域を検出したと判断しない場合(ステップS22:NO)、画像処理装置100は、ダイナミックの設定をDR2からDR1に変更し(ステップS23)、さらにステップS13に進む。以降の処理は、実施の形態1にかかるフローチャートと同様である。
以上、実施の形態2について説明した。上述の構成により、画像処理装置200は、ダイナミックレンジの設定が第1温度範囲の場合にはシャッタを閉じる制御をおこなわず、ダイナミックレンジの設定を第1温度範囲から第2温度範囲に変更する。そして第2温度範囲に設定されたマイクロボロメータから取得した撮像データに対して飽和領域を検出した場合、画像処理装置200はシャッタ901を閉じる制御を行う。そのため、画像処理装置200は、飽和領域を検出した場合におけるシャッタを閉じる動作を抑制できる。そのため、画像処理装置200は、センサ機能の中断を抑制できる。よって、実施の形態2によれば、画質劣化を抑制し、かつ、センサ機能の中断を抑制する画像処理装置等を提供することができる。
なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、画像処理装置は、自動車に限らず、バイク、船、飛行機、移動ロボット、ドローンなどの移動体に適用可能である。
10 熱画像表示システム
100 画像処理装置
110 欠陥画素補正部
120 画素不均一補正部
121 第1補正部
122 第2補正部
123 異常画素検出部
124 選択部
130 AGC処理部
140 飽和領域検出部
150 シャッタ制御部
170 ダイナミックレンジ制御部
200 画像処理装置
210 検出範囲設定部
900 マイクロボロメータ
901 シャッタ
902 モニタ
A11、A12、A13、A14 熱画像
D11 他車両
D12 マフラー
D13 太陽
100 画像処理装置
110 欠陥画素補正部
120 画素不均一補正部
121 第1補正部
122 第2補正部
123 異常画素検出部
124 選択部
130 AGC処理部
140 飽和領域検出部
150 シャッタ制御部
170 ダイナミックレンジ制御部
200 画像処理装置
210 検出範囲設定部
900 マイクロボロメータ
901 シャッタ
902 モニタ
A11、A12、A13、A14 熱画像
D11 他車両
D12 マフラー
D13 太陽
Claims (5)
- 移動体の周辺の熱画像を撮像する赤外線撮像素子から取得した撮像データに対して、予め設定された第1補正テーブルに基づいて、補正を行うとともに補正した第1補正データを出力する第1補正部と、
シャッタが閉じられた状態における前記撮像データに対して第2補正テーブルを生成し、生成した第2補正テーブルに基づいて補正した第2補正データを出力する第2補正部と、
前記撮像データに飽和領域が存在することを検出する飽和領域検出部と、
前記飽和領域の検出結果に基づいて前記赤外線撮像素子を保護するためのシャッタの閉制御を行うシャッタ制御部と、
前記シャッタを閉じた状態において取得された前記撮像データにおいて前記第1補正データに含まれる予め設定された閾値を超える輝度値の画素にかかる異常画素が含まれるか否かを検出する異常画素検出部と、
前記異常画素検出部による検出の結果に応じて、第1補正データまたは第2補正データのいずかを選択して出力する選択部と、を備える
画像処理装置。 - 前記選択部は、前記シャッタを閉じた状態で撮像された前記撮像データにおいて前記第1補正データに含まれる前記異常画素の輝度値が閾値を超えているか否かに応じて第1補正データまたは前記第2補正データを選択する、
請求項1に記載の画像処理装置。 - 前記第2補正部は、予め設定された較正条件に基づいて前記シャッタの閉制御を指示する信号を前記シャッタ制御部に供給し、
前記シャッタ制御部は、前記選択部が前記第1補正データを選択しており、且つ、前記シャッタの閉制御を指示する信号を受け取った場合には前記シャッタの閉制御を行い、前記選択部が前記第2補正データを選択しており、且つ、前記シャッタの閉制御を指示する信号を受け取った場合には前記シャッタの閉制御を抑制する
請求項1または2に記載の画像処理装置。 - 移動体の周辺の熱画像を撮像する赤外線撮像素子から取得した撮像データに対して、予め設定された第1補正テーブルに基づいて、補正を行うとともに補正した第1補正データを出力する第1補正ステップと、
シャッタが閉じられた状態における前記撮像データに対して第2補正テーブルを生成し、生成した第2補正テーブルに基づいて補正した第2補正データを出力する第2補正ステップと、
前記撮像データに飽和領域が存在することを検出する飽和領域検出ステップと、
前記飽和領域の検出結果に基づいて前記赤外線撮像素子を保護するためのシャッタの閉制御を行うシャッタ制御ステップと、
前記シャッタを閉じた状態において取得された前記撮像データに予め設定された閾値を超える輝度値の画素である異常画素が含まれるか否かを検出する異常画素検出ステップと、
前記異常画素検出ステップにおける検出の結果に応じて、第1補正データまたは第2補正データのいずかを選択して出力する選択ステップと、を備える
画像処理方法。 - 移動体の周辺の熱画像を撮像する赤外線撮像素子から取得した撮像データに対して、予め設定された第1補正テーブルに基づいて、補正を行うとともに補正した第1補正データを出力する第1補正ステップと、
シャッタが閉じられた状態における前記撮像データに対して第2補正テーブルを生成し、生成した第2補正テーブルに基づいて補正した第2補正データを出力する第2補正ステップと、
前記撮像データに飽和領域が存在することを検出する飽和領域検出ステップと、
前記飽和領域の検出結果に基づいて前記赤外線撮像素子を保護するためのシャッタの閉制御を行うシャッタ制御ステップと、
前記シャッタを閉じた状態において取得された前記撮像データに予め設定された閾値を超える輝度値の画素である異常画素が含まれるか否かを検出する異常画素検出ステップと、
前記異常画素検出ステップにおける検出の結果に応じて、第1補正データまたは第2補正データのいずかを選択して出力する選択ステップと、を備える
画像処理方法を、コンピュータに実行させる
プログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020125148A JP7494615B2 (ja) | 2020-07-22 | 2020-07-22 | 画像処理装置、画像処理方法およびプログラム |
PCT/JP2021/008946 WO2022018900A1 (ja) | 2020-07-22 | 2021-03-08 | 画像処理装置、画像処理方法およびプログラム |
EP21846359.4A EP4187895A4 (en) | 2020-07-22 | 2021-03-08 | IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM |
CN202180017659.6A CN115211098B (zh) | 2020-07-22 | 2021-03-08 | 图像处理装置、图像处理方法和存储介质 |
US17/940,836 US20230007158A1 (en) | 2020-07-22 | 2022-09-08 | Image processing apparatus, image processing method, and computer readable medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020125148A JP7494615B2 (ja) | 2020-07-22 | 2020-07-22 | 画像処理装置、画像処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022021532A JP2022021532A (ja) | 2022-02-03 |
JP7494615B2 true JP7494615B2 (ja) | 2024-06-04 |
Family
ID=79729355
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020125148A Active JP7494615B2 (ja) | 2020-07-22 | 2020-07-22 | 画像処理装置、画像処理方法およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230007158A1 (ja) |
EP (1) | EP4187895A4 (ja) |
JP (1) | JP7494615B2 (ja) |
CN (1) | CN115211098B (ja) |
WO (1) | WO2022018900A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023130734A (ja) * | 2022-03-08 | 2023-09-21 | 株式会社Jvcケンウッド | 画像処理装置、画像処理方法、およびプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008278036A (ja) | 2007-04-26 | 2008-11-13 | Mitsubishi Electric Corp | 赤外線カメラ |
JP2012213130A (ja) | 2011-03-23 | 2012-11-01 | Mitsubishi Electric Corp | 赤外線撮像装置、赤外線温度測定装置 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11142248A (ja) * | 1997-11-13 | 1999-05-28 | Nikon Corp | 赤外線撮像装置 |
JP2009005120A (ja) | 2007-06-22 | 2009-01-08 | Sony Corp | 遠赤外線撮像装置および遠赤外線撮像方法 |
FR2951895B1 (fr) * | 2009-10-22 | 2012-07-13 | Ulis | Procede de correction des images delivrees par un detecteur non regule en temperature, et detecteur mettant en oeuvre un tel procede |
JP2012058064A (ja) * | 2010-09-08 | 2012-03-22 | Nippon Ceramic Co Ltd | 赤外線撮像装置データの補正方法 |
JP5526014B2 (ja) * | 2010-12-21 | 2014-06-18 | 株式会社日立製作所 | 撮像装置 |
KR101438327B1 (ko) * | 2013-08-09 | 2014-09-04 | 주식회사 콕스 | 적외선 검출기의 온도 변화에 따라 불균일을 보정하는 열상 카메라 및 그 불균일 보정 방법 |
WO2016028755A1 (en) * | 2014-08-20 | 2016-02-25 | Seek Thermal, Inc. | Adaptive adjustment of operating bias of an imaging system |
JP6337131B2 (ja) * | 2014-09-30 | 2018-06-06 | 富士フイルム株式会社 | 赤外線撮像装置、固定パターンノイズ算出方法、及び固定パターンノイズ算出プログラム |
US10326949B2 (en) * | 2015-06-09 | 2019-06-18 | Flir Systems, Inc. | Integrated switch and shutter for calibration and power control of infrared imaging devices |
CN108353135B (zh) * | 2015-10-29 | 2020-07-21 | 富士胶片株式会社 | 红外线摄像装置及基于红外线摄像装置的信号校正方法 |
JP6629700B2 (ja) * | 2016-09-28 | 2020-01-15 | 京セラ株式会社 | 画像処理装置、撮像装置、移動体、及び画像処理方法 |
CN108347560A (zh) * | 2018-01-17 | 2018-07-31 | 浙江大华技术股份有限公司 | 一种摄像机防太阳灼伤方法、摄像机及可读存储介质 |
CN110274694A (zh) * | 2018-03-16 | 2019-09-24 | 杭州海康威视数字技术股份有限公司 | 一种具有测温功能的红外热成像相机 |
JP2020125148A (ja) | 2019-02-06 | 2020-08-20 | 凸版印刷株式会社 | フタ材および容器 |
CN111294526B (zh) * | 2020-03-06 | 2022-06-14 | 浙江大华技术股份有限公司 | 一种摄像机防太阳灼伤处理方法及装置 |
-
2020
- 2020-07-22 JP JP2020125148A patent/JP7494615B2/ja active Active
-
2021
- 2021-03-08 WO PCT/JP2021/008946 patent/WO2022018900A1/ja unknown
- 2021-03-08 EP EP21846359.4A patent/EP4187895A4/en active Pending
- 2021-03-08 CN CN202180017659.6A patent/CN115211098B/zh active Active
-
2022
- 2022-09-08 US US17/940,836 patent/US20230007158A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008278036A (ja) | 2007-04-26 | 2008-11-13 | Mitsubishi Electric Corp | 赤外線カメラ |
JP2012213130A (ja) | 2011-03-23 | 2012-11-01 | Mitsubishi Electric Corp | 赤外線撮像装置、赤外線温度測定装置 |
Also Published As
Publication number | Publication date |
---|---|
US20230007158A1 (en) | 2023-01-05 |
EP4187895A1 (en) | 2023-05-31 |
EP4187895A4 (en) | 2024-01-17 |
CN115211098B (zh) | 2023-07-11 |
WO2022018900A1 (ja) | 2022-01-27 |
JP2022021532A (ja) | 2022-02-03 |
CN115211098A (zh) | 2022-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10462388B2 (en) | Method of shutterless non-uniformity correction for infrared imagers | |
US7133072B2 (en) | Image processing apparatus having an image correction circuit and its processing method | |
KR101656173B1 (ko) | 열상 카메라의 불량화소 검출 방법 및 장치 | |
US9444979B2 (en) | Imaging device and image processing method | |
US7817190B2 (en) | Method and apparatus for processing an image exposed to backlight | |
US9491381B2 (en) | Image processing apparatus and control method for image processing apparatus | |
US11936997B2 (en) | Image processing apparatus, image processing method, and non-transitory computer readable medium | |
JP7494615B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US10630924B2 (en) | Image processing apparatus, image processing method, and non-transitory computer readable recording medium | |
WO2023074452A1 (ja) | カメラ装置、および、カメラ装置の制御方法 | |
JP2008311834A (ja) | 欠陥画素補正装置及び方法 | |
JP2018056743A (ja) | 逆光補正プログラム及び半導体装置 | |
US10791290B2 (en) | Image processing apparatus, image processing method, and non-transitory computer readable recording medium | |
JP6995510B2 (ja) | 撮像装置 | |
WO2023089915A1 (ja) | 制御システムおよび制御方法 | |
JP7455589B2 (ja) | 撮像装置、および欠陥画素の検出方法 | |
JP2024079035A (ja) | 撮像システム、ぶれ検出方法、及びプログラム | |
JP7426396B2 (ja) | 撮像装置 | |
JP2006100913A (ja) | 画像処理装置および画像処理方法 | |
KR20110064218A (ko) | 불량화소 보정 장치 및 방법 | |
JP2013162253A (ja) | 画像補正装置および画像補正方法 | |
JP2008092493A (ja) | デジタルカメラおよび画像補正プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230331 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240423 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240506 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7494615 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |