KR101965204B1 - 비냉각 적외선 검출기 및 이의 동작 방법 - Google Patents

비냉각 적외선 검출기 및 이의 동작 방법 Download PDF

Info

Publication number
KR101965204B1
KR101965204B1 KR1020180110646A KR20180110646A KR101965204B1 KR 101965204 B1 KR101965204 B1 KR 101965204B1 KR 1020180110646 A KR1020180110646 A KR 1020180110646A KR 20180110646 A KR20180110646 A KR 20180110646A KR 101965204 B1 KR101965204 B1 KR 101965204B1
Authority
KR
South Korea
Prior art keywords
fpa
temperature
image data
thermal image
low
Prior art date
Application number
KR1020180110646A
Other languages
English (en)
Inventor
임재현
윤주현
이영찬
Original Assignee
한화시스템 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화시스템 주식회사 filed Critical 한화시스템 주식회사
Priority to KR1020180110646A priority Critical patent/KR101965204B1/ko
Application granted granted Critical
Publication of KR101965204B1 publication Critical patent/KR101965204B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G01J5/12—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using thermoelectric elements, e.g. thermocouples
    • G01J5/14—Electrical features thereof
    • G01J5/16—Arrangements with respect to the cold junction; Compensating influence of ambient temperature or other variables
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/60—Radiation pyrometry, e.g. infrared or optical thermometry using determination of colour temperature
    • G01J5/601—Radiation pyrometry, e.g. infrared or optical thermometry using determination of colour temperature using spectral scanning

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 발명은 열전 소자를 포함하지 않는 비냉각 열상 장비에서 노이즈 없는 출력을 얻기 위한 비냉각 적외선 검출기 및 이의 동작 방법에 관한 것이다. 본 발명의 일 실시예에 따른 비냉각 적외선 검출기는, 장면의 적외선을 검출하여 열영상 로우 데이터를 생성하는 열영상 데이터 획득부, 상기 열영상 로우 데이터에 대한 NUC(Non-Uniform Correction)을 위한 파라미터를 저장하는 보정 파라미터 저장부 및 상기 파라미터를 이용해 상기 열영상 로우 데이터에 대한 NUC를 수행하는 열영상 데이터 보정부를 포함할 수 있다.

Description

비냉각 적외선 검출기 및 이의 동작 방법{Uncooled IR detector and operating method of thereof}
본 발명은 비냉각 적외선 검출기 및 이의 동작 방법에 관한 것으로, 보다 상세하게는 열전 소자를 포함하지 않는 비냉각 열상 장비에서 노이즈 없는 출력을 얻기 위한 비냉각 적외선 검출기 및 이의 동작 방법에 관한 것이다.
일반적인 카메라로 정상적인 이미지를 얻기 어려운 야간에 표적과 배경이 방출하는 고유한 복사 에너지의 차이를 감지하는 열상 장비의 핵심 부품은 적외선 검출기이다. 적외선 검출기의 작동 원리는, 물체에서 발산하는 적외선 영역의 파장대(장파 영역은 8~12 ㎛, 중파 영역은 3~5㎛)의 적외선을 검출하여 이를 전기적인 신호로 변환한다. 이와 같이, 적외선 검출기를 통해 변환된 전기적 신호는 모니터로 디스플레이되어, 물체의 온도 분포에 따라 특정한 영상으로서 나타나게 된다. 적외선 검출기는 파장 대역 및 냉각 방식에 따라 다양하게 구현될 수 있다. 적외선 검출기는 상온에서 냉각없이 사용하는 비냉각 방식과 극저온으로 냉각하는 냉각 방식으로 구별할 수 있다.
비냉각 적외선 검출기를 운용할 때 적외선 신호 획득 및 처리를 위해서는 적외선 검출기에 대한 항온 유지가 필수적이다. 이와 같이, 항온 유지를 위해 적외선 검출기 내에는 TEC(Thermal Electrical Cooler)라는 열전 소자가 필요하게 되고, 이것을 제어하는 회로 역시 수반된다.
즉, 비냉각 적외선 검출기의 열영상 출력값은 외부 온도에 따라 다르게 반응하기 때문에 항상 일정한 온도로 유지해야만 하는데, 이를 위해 TEC라는 열전 소자가 항온 유지를 유해 적외선 검출기 내에 내장된다. TEC 열전 소자 없이 비냉각 적외선 검출기를 구현한다면, 노이즈(noise) 및 고정 패턴(fixed pattern)이 발생할 수 있다. 또한, 항온 유지를 위해서 보통 오차범위 ± 0.01° 의 범위로 TEC 열전 소자를 제어해야 하며 이것을 위해 별도의 제어회로 설계 및 정밀 제어가 필요하다.
결과적으로, TEC 제어 회로를 위한 여분의 공간 그리고 TEC 제어를 위한 높은 전력 소모라는 문제점을 발생시킨다. 또한, 다량으로 양산하게 되었을 경우의 비용적인 측면에서도 문제를 발생시킬 수 있다. 이러한 이유로 현재 시장에서는 TEC 라는 열전소자가 없는 센서(즉, TECless 센서)에 대한 요구가 늘고 있으며 이것을 적용한 비냉각 열상 장비를 개발하고 있는 추세이다. 하지만, TEC 열전 소자가 없으면 노이즈 및 고정 패턴이 발생하므로 이것을 제거하기 위한 알고리즘 개발이 필수적이다.
일반적인 적외선 신호 처리는 통상적으로 2-points NUC(Non-Uniformity Correction) 방법을 사용하여 불균일한 영상 보정(NUC)을 한다. 이를 위한 수식은 다음의 수학식 1과 같다.
Figure 112018092010544-pat00001
여기서, Raw는 적외선 검출기의 열영상 Raw 데이터 출력이고, Gain 및 Offset 각각은 불균일 영상 보정을 위한 보정인자이고, (i, j)는 2차원 픽셀 어레이에서의 픽셀 위치를 나타낸다.
기존에 개발한 TECless 알고리즘(등록번호: 10-1041136, 열영상 처리 방법)은 열전 소자가 없음으로 인한 온도 변화에 따른 열영상 RAW 데이터를 T_Offset 인자로 보정하였으며, 보정을 위한 수식은 다음의 수학식 2와 같다.
Figure 112018092010544-pat00002
즉, t는 FPA(Focal Plane Array) 온도이고, f(t)는 T_Offset를 나타내는 함수로서 interpolation 방법으로 고차수로 설계 가능하며, 차수가 증가할수록 보정 정확도가 높아지게 된다. 그러나, 차수가 증가할수록 보정을 위한 연산량이 급격히 증가하게 되며, FPA 온도 변화에 따른 Gain 및 Offset의 변화는 전혀 고려하지 않아 알고리즘 자체에 한계를 가지고 있다.
KR 10-1041136 B1
본 발명은 FPA 온도 변화를 반영하여 NUC 보정을 수행할 수 있는 비냉각 적외선 검출기 및 이의 동작 방법을 제공하기 위한 것이다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 비냉각 적외선 검출기는, 장면의 적외선을 검출하여 열영상 로우 데이터를 생성하는 열영상 데이터 획득부, 상기 열영상 로우 데이터에 대한 NUC(Non-Uniform Correction)을 위한 파라미터를 저장하는 보정 파라미터 저장부 및 상기 파라미터를 이용해 상기 열영상 로우 데이터에 대한 NUC를 수행하는 열영상 데이터 보정부를 포함할 수 있다.
실시예에 따라, 상기 열영상 로우 데이터는 FPA(Focal Plane Array)에 포함된 각 픽셀이 감지하여 출력하는 데이터일 수 있다.
실시예에 따라, 상기 NUC는 상기 열영상 로우 데이터에 Gain을 곱한 값에 Offset을 더하는 연산일 수 있다.
본 발명의 다른 실시예에 따른 비냉각 적외선 검출기는, 장면의 적외선을 검출하여 열영상 로우 데이터를 생성하는 열영상 데이터 획득부; 현재 FPA(Focal Plane Array) 온도를 검출하는 FPA 온도 센서; 상기 열영상 로우 데이터에 대한 NUC(Non-Uniform Correction)을 위한 파라미터를 저장하는 보정 파라미터 저장부; 및 상기 FPA 온도 및 상기 파라미터를 이용해 상기 열영상 로우 데이터에 대한 NUC를 수행하는 열영상 데이터 보정부를 포함할 수 있다.
실시예에 따라, 상기 FPA 온도는 이미징 렌즈의 초점면에 매트릭스 형태로 적외선을 감지하는 픽셀들이 배열된 어레이의 온도일 수 있다.
실시예에 따라, 상기 NUC는 상기 FPA 온도에 따라 달라지는 Gain 및 Offset을 이용하여 상기 열영상 로우 데이터를 보정하는 동작일 수 있다.
본 발명의 또 다른 실시예에 따른 비냉각 적외선 검출기는, 장면의 적외선을 검출하여 열영상 로우 데이터를 생성하는 열영상 데이터 획득부; 및 FPA(Focal Plane Array) 온도에 따라 달라지는 Gain 및 Offset을 이용하여 상기 열영상 로우 데이터에 대한 NUC(Non-Uniform Correction)를 수행하는 열영상 데이터 보정부를 포함할 수 있다.
실시예에 따라, 상기 열영상 로우 데이터는 FPA에 포함된 각 픽셀이 감지하여 출력하는 데이터일 수 있다.
실시예에 따라, 상기 FPA 온도는 이미징 렌즈의 초점면에 매트릭스 형태로 적외선을 감지하는 픽셀들이 배열된 어레이의 온도일 수 있다.
본 발명의 일 실시예에 따른 비냉각 적외선 검출기의 동작 방법은, 열영상 로우 데이터에 대한 NUC(Non-Uniform Correction)을 위한 파라미터를 저장하는 단계; 장면의 적외선을 검출하여 상기 열영상 로우 데이터를 생성하는 단계; 및 상기 파라미터를 이용해 상기 열영상 로우 데이터에 대한 NUC를 수행하는 단계를 포함할 수 있다.
본 발명의 다른 실시예에 따른 비냉각 적외선 검출기의 동작 방법은, 장면의 적외선을 검출하여 열영상 로우 데이터를 생성하는 단계; 현재 FPA(Focal Plane Array) 온도를 검출하여 전달하는 단계; 상기 열영상 로우 데이터에 대한 NUC(Non-Uniform Correction)을 위한 파라미터를 전달하는 단계; 및 상기 FPA 온도 및 상기 파라미터를 이용해 상기 열영상 로우 데이터에 대한 NUC를 수행하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 비냉각 적외선 검출기의 동작 방법은, 장면의 적외선을 검출하여 열영상 로우 데이터를 생성하는 단계; 및 FPA(Focal Plane Array) 온도에 따라 달라지는 Gain 및 Offset을 이용하여 상기 열영상 로우 데이터에 대한 NUC(Non-Uniform Correction)를 수행하는 단계를 포함할 수 있다.
상기와 같이 구성되는 본 발명의 실시예에 따른 비냉각 적외선 검출기 및 이의 동작방법에 의하면, FPA 온도 변화에 대해 실시간으로 각 픽셀에 대한 Gain 및 Offset을 보정하므로, FPA 온도 변화 및 다양한 이미지 값에 대해 영상품질이 기존 기술 대비 향상될 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 비냉각 적외선 검출기를 나타낸 블록도이다.
도 2는 도 1에 도시된 비냉각 적외선 검출기의 동작 방법을 나타낸 흐름도이다.
도 3은 동일한 세기의 적외선 장면에 대한 FPA 온도와 열영상 로우 데이터 간의 관계를 나타낸 그래프이다.
도 4는 일반적인 적외선 신호 처리의 Two-points NUC 수학적 모델링을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 적외선 신호 처리의 Two-points NUC 수학적 모델링을 나타낸 도면이다.
이하에서는 본 발명의 실시 예에 관하여 첨부도면을 참조하여 상세하게 설명하기로 한다. 다만, 이하에서 설명되는 실시 예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명을 쉽게 실시할 수 있을 정도로 상세하게 설명하기 위한 것에 불과하며, 이로 인해 본 발명의 보호범위가 한정되는 것을 의미하지는 않는다. 그리고 본 발명의 여러 실시 예를 설명함에 있어서, 동일한 기술적 특징을 갖는 구성요소에 대하여는 동일한 도면 부호를 사용하기로 한다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 일 실시예에 따른 비냉각 적외선 검출기를 나타낸 블록도이다. 도 2는 도 1에 도시된 비냉각 적외선 검출기의 동작 방법을 나타낸 흐름도이다. 도 3은 동일한 세기의 적외선 장면에 대한 FPA 온도와 열영상 로우 데이터 간의 관계를 나타낸 그래프이다. 도 4는 일반적인 적외선 신호 처리의 Two-points NUC 수학적 모델링을 나타낸 도면이다. 도 5는 본 발명의 일 실시예에 따른 적외선 신호 처리의 Two-points NUC 수학적 모델링을 나타낸 도면이다.
도 1과 도 2를 참조하면, 비냉각 적외선 검출기(100)는 열영상을 출력하는 비냉각 열상 장비의 일 예이며, 본 발명의 실시예는 비냉각 적외선 검출기에 한정되는 것이 아니라 열영상을 출력할 수 있는 모든 비냉각 열상 장비에 적용될 수 있음은 자명할 것이다. 또한, 본 발명의 실시예에 따른 비냉각 적외선 검출기(100)에 적용되는 기술은 냉각 방식의 열상 장비에도 적용될 수 있음은 물론이다.
비냉각 적외선 검출기(100)는 열영상 데이터 획득부(110), 열영상 데이터 보정부(120), FPA 온도 센서(130), 보정 파라미터 저장부(140) 및 열영상 데이터 출력부(150)를 포함할 수 있다. 비냉각 적외선 검출기(100)의 각 구성은 예시적인 것에 불과하며, 필요에 따라 일부 구성이 추가되거나, 생략될 수 있다. 또한, 비냉각 적외선 검출기(100)의 각 구성은 하드웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있다.
도 2에 도시된 각 단계(S10~S50)는 비냉각 적외선 검출기(100)의 각 구성에 대응하며, 이하에서는 도 1과 도 2를 참조하여 비냉각 적외선 검출기(100)의 각 구성의 동작에 대해 설명하기로 한다.
열영상 데이터 획득부(110)는 물체(피사체)를 포함하는 장면(scene)의 적외선을 검출하여 이를 전기적인 신호로 변환할 수 있고, 그 작동 원리는 물체에서 발산하는 적외선 영역의 파장대(장파 영역은 8~12㎛, 중파 영역은 3~5㎛의 파장)의 적외선을 검출하여 이를 전기적인 신호로 변환한 데이터(이하, '열영상 로우 데이터(thermal image raw data)'라 함)를 프레임 단위로 획득할 수 있다(S10). 열영상 로우 데이터는 FPA에 포함된 각 픽셀이 감지하여 출력한 데이터의 프레임 단위의 집합이다.
열영상 데이터 획득부(110)는 피사체의 적외선을 검출하여 전기적 신호 형태의 열영상 로우 데이터를 획득하는데, 획득되는 열영상 로우 데이터는 소정의 비트량으로 디지털화된 데이터이다. 이때, 동일 타겟(target)의 피사체로부터 획득되는 열영상 로우 데이터는 일정한 값이 아니라, 비냉각 적외선 검출기(100)의 FPA 온도에 따라 일정치 않은 값을 가지게 된다. 여기서, FPA는 이미징 렌즈의 초점면에 매트릭스(matrix) 형태로 적외선을 감지하는 픽셀들이 배열된 어레이로서, M(M은 1이상의 정수)개의 행(row) 및 N(N은 1이상의 정수)개의 열(column)로 구성된 M*N 개의 픽셀들을 포함할 수 있다.
TEC 열전소자가 없는 비냉각 적외선 검출기(100)는 스스로 항온 유지가 불가능하기 때문에, 외부 또는 내부 온도가 변함에 따라 FPA 온도도 변화하게 되는데, 이로 인해 동일 타겟에 대한 열영상 출력값인 열영상 로우 데이터가 일정하게 나타나지 않게 되기 때문이다. 동일 타겟의 피사체로부터 획득되는 열영상 출력값인 열영상 로우 데이터가 일정하게 나타나지 않고 온도에 따라 변화되는 값을 가지는 상태에서는, 이를 이용하여 영상 처리를 완료할 경우에 최종 열영상 데이터에 노이즈(noise) 및 고정 패턴(fixed pattern)이 발생하게 된다.
도 3을 참고하면, TEC 열전소자가 없는 비냉각 적외선 검출기(100)의 온도를 달리 유지하여 동일 타겟을 촬영한 후, 촬영한 프레임에서의 전체 픽셀의 열영상 로우 데이터의 평균값을 도시한 그래프이다. 도 3을 보면, FPA 온도가 높을수록 전체 픽셀의 열영상 로우 데이터가 높아지는 것을 알 수 있다. 이러한 관계 때문에 열영상 로우 데이터를 그대로 최종 열영상 데이터에 이용할 경우 노이즈 및 고정 패턴이 발생하게 된다.
열영상 데이터 보정부(120)는 FPA 온도에 따른 열영상 로우 데이터의 변화로 인한 노이즈 및 고정 패턴을 제거하기 위해 열영상 로우 데이터에 대한 보정을 수행할 수 있다. 열영상 데이터 보정부(120)는 다양한 방법으로 보정을 수행할 수 있으나, 본 명세서에서는 본 발명의 실시예와 관련된 불균일 보정(NUC; Non-Uniform Correction)을 수행하는 방법에 대해 설명하기로 한다.
도 3의 그래프에서, 파란색의 그래프는 일정한 세기의 IR flux를 가진 장면(즉, 동일 타겟)에 대한 전체 픽셀의 평균값을 나타내고, 검은색의 그래프는 특정 FPA 온도에서 기준이 되는 Two-Points NUC의 기준 이미지 값을 나타낸다. 기준 이미지 값은 특정 FPA 온도에서 높은 세기의 IR flux를 가진 장면(hot image)과 낮은 세기의 IR flux를 가진 장면(cold image)를 각각 촬영한 열영상 로우 데이터를 의미한다(
Figure 112018092010544-pat00003
). 여기서, hot image와 cold image 간의 세기 차이는 노이즈를 무시할 수 있을 정도로 충분히 큰 범위에서 임의로 결정될 수 있다.
도 4를 참조하면, 영상 불균일 보정을 위한 일반적인 적외선 신호처리의 Two-Points NUC 수학적 모델링이 나타나 있다. 여기서, Y는 보정된 열영상 데이터이며, Raw는 열영상 로우 데이터이고, Gain 및 Offset 각각은 불균일 영상 보정을 위한 보정 인자이고, (i, j)는 FPA에서의 픽셀 위치를 나타낸다. 즉, 특정 픽셀의 열영상 로우 데이터에 대한 보정된 열영상 데이터는 도 4의 수학식에 대입하여 획득될 수 있다.
그러나, 이러한 수학적 모델링에는 동일한 장면을 촬영한 열영상 로우 데이터가 FPA 온도에 따라 변화되는 특성이 반영되지 않아 노이즈 및 고정 패턴이 나타날 수 있다.
본 발명의 일 실시예에서는 Two-Points NUC 수학적 모델링에 이러한 열영상 로우 데이터와 FPA 온도 간의 관계를 반영하여 노이즈 및 고정 패턴이 없는 열영상 데이터를 얻고자 한다.
이를 위해, 먼저 임의의 높은 FPA 온도(FPAHIGH)와 낮은 FPA 온도(FPALOW)를 결정하고, 높은 FPA 온도(FPAHIGH)와 낮은 FPA 온도(FPALOW) 각각에서 각 픽셀의 hot image와 cold image를 촬영한 열영상 로우 데이터를 획득하여야 한다. 이를 기호로 나타내면,
Figure 112018092010544-pat00004
와 같다. 그리고, 각 픽셀의
Figure 112018092010544-pat00005
를 이용하여 모든 픽셀의 평균 값인
Figure 112018092010544-pat00006
을 산출할 수 있으며, 마찬가지로 각 픽셀의
Figure 112018092010544-pat00007
,
Figure 112018092010544-pat00008
,
Figure 112018092010544-pat00009
를 이용하여 모든 픽셀의 평균 값인
Figure 112018092010544-pat00010
,
Figure 112018092010544-pat00011
,
Figure 112018092010544-pat00012
을 산출할 수 있다.
도 5에는 본 발명의 일 실시예에 따른 적외선 신호처리의 Two-Points NUC 수학적 모델링이 나타나 있다.
이러한 수학적 모델링은 일반적인 적외선 신호처리의 Two-Points NUC 수학적 모델링에서 gain과 offset을 구성하는 파라미터인
Figure 112018092010544-pat00013
,
Figure 112018092010544-pat00014
,
Figure 112018092010544-pat00015
,
Figure 112018092010544-pat00016
각각을, 높은 FPA 온도(FPAHIGH)와 낮은 FPA 온도(FPALOW) 각각에서 각 픽셀이 hot image와 cold image를 촬영한 열영상 로우 데이터를 이용하여, FPA 온도에 따라 가변하는 파라미터인
Figure 112018092010544-pat00017
,
Figure 112018092010544-pat00018
,
Figure 112018092010544-pat00019
,
Figure 112018092010544-pat00020
로 변환한 것이다.
구체적으로,
Figure 112018092010544-pat00021
는 낮은 FPA 온도(FPALOW)로부터 높은 FPA 온도(FPAHIGH)로 증가할 때 각 픽셀이 hot image를 촬영한 열영상 로우 데이터의 평균값이 증가하는 정도의 기울기를 갖고, 한 점(FPALOW,
Figure 112018092010544-pat00022
)을 지나는, 현재 FPA 온도(t)에 대한 선형 방정식으로 모델링될 수 있다.
한편
Figure 112018092010544-pat00023
는 낮은 FPA 온도(FPALOW)로부터 높은 FPA 온도(FPAHIGH)로 증가할 때 각 픽셀이 cold image를 촬영한 열영상 로우 데이터의 평균값이 증가하는 정도의 기울기를 갖고, 한 점(FPALOW,
Figure 112018092010544-pat00024
)을 지나는, 현재 FPA 온도(t)에 대한 선형 방정식으로 모델링될 수 있다.
그리고,
Figure 112018092010544-pat00025
는 낮은 FPA 온도(FPALOW)로부터 높은 FPA 온도(FPAHIGH)로 증가할 때 각 픽셀이 hot image를 촬영한 열영상 로우 데이터가 증가하는 정도의 기울기를 갖고, 한 점(FPALOW,
Figure 112018092010544-pat00026
)을 지나는, 현재 FPA 온도(t)에 대한 선형 방정식으로 모델링될 수 있다.
마지막으로,
Figure 112018092010544-pat00027
는 낮은 FPA 온도(FPALOW)로부터 높은 FPA 온도(FPAHIGH)로 증가할 때 각 픽셀이 cold image를 촬영한 열영상 로우 데이터가 증가하는 정도의 기울기를 갖고, 한 점(FPALOW,
Figure 112018092010544-pat00028
)을 지나는, 현재 FPA 온도(t)에 대한 선형 방정식으로 모델링될 수 있다.
즉, 적외선 신호처리의 Two-Points NUC 수학적 모델링에서 gain과 offset을 구성하는 파라미터인
Figure 112018092010544-pat00029
,
Figure 112018092010544-pat00030
,
Figure 112018092010544-pat00031
,
Figure 112018092010544-pat00032
각각이, FPA 온도에 따라 가변하는 파라미터인
Figure 112018092010544-pat00033
,
Figure 112018092010544-pat00034
,
Figure 112018092010544-pat00035
,
Figure 112018092010544-pat00036
로 변환됨으로써, 보정 인자인
Figure 112018092010544-pat00037
와
Figure 112018092010544-pat00038
는 열영상 로우 데이터가 FPA 온도에 따라 변화되는 특성을 반영할 수 있다.
또한, Y(i, j)의 마지막 항인
Figure 112018092010544-pat00039
은 각각의 픽셀에 대한 고정 상수 값으로서 보다 정교하게 열영상 로우 데이터를 보정하기 위해 실험적으로 결정된 인자를 의미하며, 픽셀마다 달라지는 값일 수 있다.
결과적으로, 열영상 데이터 보정부(120)는 열영상 로우 데이터가 FPA 온도에 따라 변화되는 특성을 반영한 NUC 보정을 수행함으로써, FPA 온도에 따른 열영상 로우 데이터의 변화로 인한 노이즈 및 고정 패턴을 제거할 수 있다.
본 명세서에서는 이해를 쉽게 하기 위해 높은 FPA 온도(FPAHIGH)와 낮은 FPA 온도(FPALOW) 두 포인트에서 획득되는 데이터만을 이용하여 수학적 모델링을 시도하였으나, 3, 또는 그 이상의 포인트에서 획득되는 데이터를 이용하여 수학적 모델링을 수행하는 경우 보다 정확한 NUC 보정이 이루어질 수 있으며, 본 발명의 범위는 이러한 수학적 모델링을 포함한다.
FPA 온도 센서(130)는 열영상 로우 데이터를 보정하기 위해 필요한 보정 인자(즉,
Figure 112018092010544-pat00040
,
Figure 112018092010544-pat00041
,
Figure 112018092010544-pat00042
)를 구성하는 현재 FPA 온도(t)를 측정 및 검출하여 열영상 데이터 보정부(120)로 전달할 수 있다(S20).
보정 파라미터 저장부(140)는 열영상 로우 데이터를 보정하기 위해 필요한 보정 인자(즉,
Figure 112018092010544-pat00043
,
Figure 112018092010544-pat00044
,
Figure 112018092010544-pat00045
)를 구성하는 각 파라미터를 저장할 수 있다. 이를 위해, 열영상 데이터 보정부(120)는 사전에 높은 FPA 온도(FPAHIGH)와 낮은 FPA 온도(FPALOW) 두 포인트에서 각 픽셀의
Figure 112018092010544-pat00046
,
Figure 112018092010544-pat00047
,
Figure 112018092010544-pat00048
,
Figure 112018092010544-pat00049
를 측정하고, 이들을 이용하여 모든 픽셀의 평균 값인
Figure 112018092010544-pat00050
,
Figure 112018092010544-pat00051
,
Figure 112018092010544-pat00052
,
Figure 112018092010544-pat00053
를 계산하여, 보정 파라미터 저장부(140)에 저장할 수 있다. 또한, 보정 파라미터 저장부(140)는 열영상 데이터 보정부(120)가 특정 픽셀의 열영상 로우 데이터를 보정하고자 할 때, 열영상 데이터 보정부(120)의 요청에 따라 특정 픽셀에 해당하는 파라미터들을 전달할 수 있다(S30).
실시예에 따라, 열영상 데이터 보정부(120)는 일정 범위의 FPA 온도에 대해 미리
Figure 112018092010544-pat00054
,
Figure 112018092010544-pat00055
,
Figure 112018092010544-pat00056
,
Figure 112018092010544-pat00057
및
Figure 112018092010544-pat00058
,
Figure 112018092010544-pat00059
를 계산하여 보정 파라미터 저장부(140)에 저장할 수 있고, 현재 FPA 온도 수신시 현재 FPA 온도에 대응하는
Figure 112018092010544-pat00060
,
Figure 112018092010544-pat00061
를 요청하여 NUC 보정을 수행함으로써 시스템 연산 속도를 향상시킬 수 있다.
따라서, 열영상 데이터 보정부(120)는 열영상 로우 데이터를 수신하여 보정하고자 할 때, FPA 온도 센서(130)로부터 현재 FPA 온도를 제공받고, 보정 파라미터 저장부(140)로부터 보정 인자를 구성하는 각 파라미터를 제공받아 NUC 보정을 수행할 수 있다(S40).
열영상 데이터 출력부(150)는 보정된 열영상 데이터가 사용자에게 제공될 수 있도록 적합한 형태(예컨대, 프레임 단위의 영상)로 가공하여 외부 장치(예컨대, 디스플레이)로 출력할 수 있다(S50).
이와 같이, 본 발명의 실시예에 따른 TECLESS를 이용한 NUC 수행 방법에 의하면, 열영상 로우 데이터에 대해 NUC를 통해 보정된 값은 FPA 온도 변화에 따라 변화되나, 비냉각 적외선 검출기(100)의 모든 픽셀 값이 함께 변하게 되어 동일한 출력에 대해 항상 일정하게 되므로, 노이즈 및 고정 패턴이 발생하지 않게 된다.
본 발명의 일 실시예에 따른 비냉각 적외선 검출기(100) 및 이의 동작 방법에 의하면, FPA 온도 변화에 대해 실시간으로 각 픽셀에 대한 Gain 및 Offset을 보정하므로, FPA 온도 변화 및 다양한 이미지 값(즉, 열영상 로우 데이터)에 대해 영상품질이 기존 알고리즘보다 뛰어나다. 실제 본 발명의 실시예에 따른 방법을 이용해, FPA 온도가 약 5도 변화 시 균일한 image 입력 값(14bits data 값 기준, 동일 타겟에 대한 열영상 로우 데이터)에 대한 STD(Standard Deviation or RMS: Root mean square) 값을 계산한 결과는, 기존 알고리즘에 따른 경우 5도 변화 이전에 4에서 5도 변화 이후 25로 21이 증가하였으며, 본 발명의 실시예의 개선 알고리즘에 따른 경우 5도 변화 이전에 4에서 5도 변화 이후 5로 1이 증가하였다. FPA 온도 변화와 무관하게 STD가 0인 것이 이상적인 케이스라 한다면, 개선 알고리즘의 경우 거의 이상적인 케이스에 가깝다고 할 수 있다.
보통 산업용(Industry), 자동차용(Automotive) 및 군용(Military) 시스템은 -32 ~ 71의 운용 온도 범위가 필요하다. 비냉각 적외선 검출기를 활용한 시스템은 넓은 운용 온도 범위에서 성능 만족을 위해 온도 구간 별로 NUC 보정을 위한 테이블을 운용하며, 이런 경우 기존 알고리즘은 2-Point NUC를 위한 기준 이미지 값 외에
Figure 112018092010544-pat00062
수식의 x term을 위한 기준 이미지 획득이 필요 했지만, 개선된 알고리즘은 각 온도 구간별 2-Point NUC 이미지를 획득하기만 하는 것으로 족하므로, 양산 인력, 비용 및 시간을 크게 줄일 수 있다.
상기와 같이 설명된 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
또한, 상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (18)

  1. 장면의 적외선을 검출하여 열영상 로우 데이터를 생성하는 열영상 데이터 획득부;
    현재 FPA(Focal Plane Array) 온도를 검출하는 FPA 온도 센서;
    상기 열영상 로우 데이터에 대한 NUC(Non-Uniform Correction)을 위한 파라미터를 저장하는 보정 파라미터 저장부; 및
    상기 FPA 온도 및 상기 파라미터를 이용해 상기 열영상 로우 데이터에 대한 NUC를 수행하는 열영상 데이터 보정부;
    상기 열영상 데이터 보정부에서 NUC가 수행된 열영상 로우 데이터를 영상 프레임 단위의 데이터로 가공하여 외부 장치로 출력하는 영상 데이터 출력부를 포함하고,
    상기 열영상 로우 데이터는,
    FPA(Focal Plane Array)에 포함된 각 픽셀이 감지하여 출력하도록 구성되며,
    상기 FPA 온도는,
    이미징 렌즈의 초점면에 매트릭스 형태로 적외선을 감지하는 픽셀들이 배열된 어레이의 온도이고,
    상기 NUC는,
    상기 FPA 온도에 따라 달라지는 Gain 및 Offset을 이용하여 상기 열영상 로우 데이터를 보정하도록 구성되며,
    상기 NUC는,
    소정의 높은 FPA 온도(FPAHIGH)와 소정의 낮은 FPA 온도(FPALOW)를 설정하고, 상기 설정된 높은 FPA 온도(FPAHIGH)와 낮은 FPA 온도(FPALOW) 각각에서 각 픽셀의 핫 이미지(hot image)와 콜드 이미지(cold image)를 촬영한 열영상 로우 데이터를 획득하고, 상기 획득된 핫 이미지와 콜드 이미지를 이용하여 모든 픽셀의 평균값을 산출하고, 산출된 평균값을 이용하여 하기 수학식에 따라 각 픽셀에서의 Gain(i,j) 및 Offset(i,j)를 산출하고, 산출된 Gain(i,j) 및 Offset(i,j)를 이용하여 보정 데이터 Y(i,j)를 산출하도록 구성되거나,
    [수학식]
    Figure 112019022412364-pat00068

    여기서, Y는 보정된 열영상 데이터이며, Raw는 열영상 로우 데이터이고, Gain 및 Offset 각각은 불균일 영상 보정을 위한 보정 인자이고, (i, j)는 FPA에서의 픽셀 위치이고,
    Figure 112019022412364-pat00069
    는 상기 설정된 높은 FPA 온도(FPAHIGH)와 낮은 FPA 온도(FPALOW) 각각에서 각 픽셀의 핫 이미지(hot image)와 콜드 이미지(cold image)를 촬영한 열영상 로우 데이터를 나타내고,
    Figure 112019022412364-pat00070
    는
    Figure 112019022412364-pat00071
    를 이용하여 산출한 모든 픽셀의 평균값이고,
    Figure 112019022412364-pat00072
    는
    Figure 112019022412364-pat00073
    를 이용하여 산출한 모든 픽셀의 평균값이고,
    Figure 112019022412364-pat00074
    는
    Figure 112019022412364-pat00075
    를 이용하여 산출한 모든 픽셀의 평균값이고,
    Figure 112019022412364-pat00076
    는
    Figure 112019022412364-pat00077
    를 이용하여 산출한 모든 픽셀의 평균값이고,
    상기 NUC는,
    상기 소정의 높은 FPA 온도(FPAHIGH)와 상기 소정의 낮은 FPA 온도(FPALOW) 각각에서 각 픽셀의 핫 이미지(hot image)와 콜드 이미지(cold image)를 촬영한 열영상 로우 데이터를 이용하여 FPA 온도에 따라 가변하는 파라미터인
    Figure 112019022412364-pat00078
    ,
    Figure 112019022412364-pat00079
    ,
    Figure 112019022412364-pat00080
    ,
    Figure 112019022412364-pat00081
    를 산출하고, 산출된
    Figure 112019022412364-pat00082
    ,
    Figure 112019022412364-pat00083
    ,
    Figure 112019022412364-pat00084
    ,
    Figure 112019022412364-pat00085
    를 이용하여 하기 수학식에 따라 각 픽셀에서의 Gain(i,j) 및 Offset(i,j)를 산출하고, 산출된 Gain(i,j) 및 Offset(i,j)를 이용하여 보정 데이터 Y(i,j)를 산출하도록 구성되거나,
    [수학식]
    Figure 112019022412364-pat00086

    여기서,
    Figure 112019022412364-pat00087
    는 상기 소정의 낮은 FPA 온도(FPALOW)로부터 상기 소정의 높은 FPA 온도(FPAHIGH)로 온도가 증가할 때 각 픽셀이 핫 이미지(hot image)를 촬영한 열영상 로우 데이터의 평균값이 증가하는 정도의 기울기를 갖도록 구성되며, 상기
    Figure 112019022412364-pat00088
    는 상기 소정의 낮은 FPA 온도(FPALOW)로부터 상기 소정의 높은 FPA 온도(FPAHIGH)로 증가할 때 각 픽셀이 콜드 이미지(cold image)를 촬영한 열영상 로우 데이터의 평균값이 증가하는 정도의 기울기를 갖도록 구성되며, 상기
    Figure 112019022412364-pat00089
    는 상기 소정의 낮은 FPA 온도(FPALOW)로부터 상기 소정의 높은 FPA 온도(FPAHIGH)로 증가할 때 각 픽셀이 핫 이미지(hot image)를 촬영한 열영상 로우 데이터가 증가하는 정도의 기울기를 갖도록 구성되며, 상기
    Figure 112019022412364-pat00090
    는 상기 소정의 낮은 FPA 온도(FPALOW)로부터 상기 소정의 높은 FPA 온도(FPAHIGH)로 증가할 때 각 픽셀이 콜드 이미지(cold image)를 촬영한 열영상 로우 데이터가 증가하는 정도의 기울기를 갖도록 구성되는 것을 특징으로 하는 비냉각 적외선 검출기.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
KR1020180110646A 2018-09-17 2018-09-17 비냉각 적외선 검출기 및 이의 동작 방법 KR101965204B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180110646A KR101965204B1 (ko) 2018-09-17 2018-09-17 비냉각 적외선 검출기 및 이의 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180110646A KR101965204B1 (ko) 2018-09-17 2018-09-17 비냉각 적외선 검출기 및 이의 동작 방법

Publications (1)

Publication Number Publication Date
KR101965204B1 true KR101965204B1 (ko) 2019-04-04

Family

ID=66105660

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180110646A KR101965204B1 (ko) 2018-09-17 2018-09-17 비냉각 적외선 검출기 및 이의 동작 방법

Country Status (1)

Country Link
KR (1) KR101965204B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102093917B1 (ko) * 2019-07-03 2020-03-26 한화시스템 주식회사 열 영상 장치 및 이의 작동 방법
CN111651630A (zh) * 2020-05-31 2020-09-11 广西电网有限责任公司南宁供电局 一种采用关键数据帧提高采集动态红外热图存储效率方法
KR20210072377A (ko) * 2019-12-09 2021-06-17 써모아이 주식회사 열화상 카메라 온도 보정 방법 및 장치
KR102359473B1 (ko) * 2020-10-21 2022-02-08 써모아이 주식회사 열화상 카메라 노이즈 보상 방법 및 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020166967A1 (en) * 2001-05-11 2002-11-14 Kaufman Charles S. Method and apparatus for temperature compensation of an uncooled focal plane array
US20100096709A1 (en) * 2008-08-05 2010-04-22 California Institute Of Technology Uncooled ir detector arrays based on nanoelectromechanical systems
KR101041136B1 (ko) 2011-01-27 2011-06-14 삼성탈레스 주식회사 열영상 처리 방법
JP2012032400A (ja) * 2000-03-03 2012-02-16 Drs Rsta Inc 赤外線センサのビデオ信号を補正するための方法および撮像システム
JP2012515345A (ja) * 2009-01-15 2012-07-05 レイセオン カンパニー 焦点面アレイの非熱的動作用システムと方法
US20130235210A1 (en) * 2012-03-08 2013-09-12 Bae Systems Information & Electronic Systems Integration Inc. 3d stacked uncooled ir sensor device and method
KR101547929B1 (ko) * 2014-04-09 2015-08-28 한화탈레스 주식회사 열영상 변환 처리 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012032400A (ja) * 2000-03-03 2012-02-16 Drs Rsta Inc 赤外線センサのビデオ信号を補正するための方法および撮像システム
JP2013243766A (ja) * 2000-03-03 2013-12-05 Drs Rsta Inc 赤外線センサのビデオ信号を補正するための方法および撮像システム
US20020166967A1 (en) * 2001-05-11 2002-11-14 Kaufman Charles S. Method and apparatus for temperature compensation of an uncooled focal plane array
US20100096709A1 (en) * 2008-08-05 2010-04-22 California Institute Of Technology Uncooled ir detector arrays based on nanoelectromechanical systems
JP2012515345A (ja) * 2009-01-15 2012-07-05 レイセオン カンパニー 焦点面アレイの非熱的動作用システムと方法
KR101041136B1 (ko) 2011-01-27 2011-06-14 삼성탈레스 주식회사 열영상 처리 방법
US20130235210A1 (en) * 2012-03-08 2013-09-12 Bae Systems Information & Electronic Systems Integration Inc. 3d stacked uncooled ir sensor device and method
KR101547929B1 (ko) * 2014-04-09 2015-08-28 한화탈레스 주식회사 열영상 변환 처리 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102093917B1 (ko) * 2019-07-03 2020-03-26 한화시스템 주식회사 열 영상 장치 및 이의 작동 방법
KR20210072377A (ko) * 2019-12-09 2021-06-17 써모아이 주식회사 열화상 카메라 온도 보정 방법 및 장치
KR102297273B1 (ko) 2019-12-09 2021-09-03 써모아이 주식회사 열화상 카메라 온도 보정 방법 및 장치
CN111651630A (zh) * 2020-05-31 2020-09-11 广西电网有限责任公司南宁供电局 一种采用关键数据帧提高采集动态红外热图存储效率方法
CN111651630B (zh) * 2020-05-31 2023-12-26 广西电网有限责任公司南宁供电局 一种采用关键数据帧提高采集动态红外热图存储效率方法
KR102359473B1 (ko) * 2020-10-21 2022-02-08 써모아이 주식회사 열화상 카메라 노이즈 보상 방법 및 장치

Similar Documents

Publication Publication Date Title
KR101965204B1 (ko) 비냉각 적외선 검출기 및 이의 동작 방법
Budzier et al. Calibration of uncooled thermal infrared cameras
US9332197B2 (en) Infrared sensor control architecture
CN1917590B (zh) 用于减小红外成像照相机中固定图案噪声的方法
US8526780B2 (en) Thermographic camera and method for the recording and/or modification and reproduction of thermal images of a scene and/or of an object
US9225913B2 (en) Device for imaging within the IR range
US20120239330A1 (en) Radiometric calibration method for infrared detectors
JP2008271049A (ja) 撮像装置及びそのゲイン調整方法
US20080278613A1 (en) Methods, apparatuses and systems providing pixel value adjustment for images produced with varying focal length lenses
CN113039417B (zh) 温度估计装置、温度估计方法、计算机可读存储介质和计算机程序产品
Lin et al. Pixel-wise radiometric calibration approach for infrared focal plane arrays using multivariate polynomial correction
KR101041136B1 (ko) 열영상 처리 방법
JP2009089138A (ja) 赤外線カメラ
JP2005249723A (ja) 温度分布を含む画像の出力装置およびその制御方法
JP4216730B2 (ja) 赤外線カメラ較正における、または、赤外線カメラ較正に関する改良
KR102093917B1 (ko) 열 영상 장치 및 이의 작동 방법
KR101854355B1 (ko) 다중센서를 선택적으로 이용하는 영상보정 장치
KR101824604B1 (ko) 적외선 센서 운용시 연속적인 노출시간 변경을 위한 보정계수 생성장치 및 이를 이용하는 시스템
Tremblay et al. Pixel-wise real-time advanced calibration method for thermal infrared cameras
KR101731287B1 (ko) 적외선 디텍터의 출력 보정 방법 및 장치
KR102195072B1 (ko) 열화상 카메라 시스템 및 그 구동 방법
RU2727349C1 (ru) Способ термографирования удаленного объекта
JP2001272278A (ja) 撮像システム及びそれを用いた温度計測方法
KR20190113251A (ko) 열화상 카메라의 불균일 상태 보정 방법
CN110595626A (zh) 一种红外探测器***及成像方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant