KR101920369B1 - 열화상 카메라의 영상처리장치 및 영상처리방법 - Google Patents
열화상 카메라의 영상처리장치 및 영상처리방법 Download PDFInfo
- Publication number
- KR101920369B1 KR101920369B1 KR1020180048107A KR20180048107A KR101920369B1 KR 101920369 B1 KR101920369 B1 KR 101920369B1 KR 1020180048107 A KR1020180048107 A KR 1020180048107A KR 20180048107 A KR20180048107 A KR 20180048107A KR 101920369 B1 KR101920369 B1 KR 101920369B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- image processing
- unit
- thermal imaging
- imaging camera
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 235
- 238000001931 thermography Methods 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000003672 processing method Methods 0.000 claims abstract description 33
- 230000005540 biological transmission Effects 0.000 claims abstract description 11
- 238000009499 grossing Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 18
- 230000001186 cumulative effect Effects 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 8
- 238000012546 transfer Methods 0.000 claims description 8
- 238000005315 distribution function Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 238000012423 maintenance Methods 0.000 claims description 4
- 230000003139 buffering effect Effects 0.000 claims description 3
- 230000002950 deficient Effects 0.000 claims description 3
- 230000001965 increasing effect Effects 0.000 abstract description 10
- 230000006872 improvement Effects 0.000 abstract description 4
- 238000004904 shortening Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 9
- 241000893011 Tamaricaceae Species 0.000 description 3
- 235000010185 Tamarix canariensis Nutrition 0.000 description 3
- 235000014265 Tamarix gallica Nutrition 0.000 description 3
- 235000010154 Tamarix ramosissima Nutrition 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/6437—Real-time Transport Protocol [RTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
본 발명은 물체에서 발생하는 적외선을 검출하여 열을 감지하고 온도에 따라 다른 색으로 표현하여 물체의 온도분포를 시각적으로 표시하는 열화상 카메라의 영상처리장치 및 방법에 관한 것으로, 본 발명에 따르면, 열화상 카메라로 촬영된 영상의 화질개선만이 고려됨으로 인해 영상의 품질이 높아질수록 고사양의 하드웨어가 요구되고 처리시간이 길어지는 한계가 있었던 종래기술의 영상처리방법 및 장치들의 문제점을 해결하기 위해, 히스토그램 평활화(Histogram Equlization) 기술을 이용하여 열화상 이미지의 화질을 향상시키는 동시에, 하드웨어 구성을 간소화하여 영상처리를 위한 데이터 전송 및 처리속도를 높이고 전체적인 처리시간을 단축할 수 있도록 구성됨으로써, 간단한 구성 및 저렴한 비용으로 열화상 카메라를 통해 얻어지는 적외선 이미지의 화질을 향상시킬 수 있도록 구성되는 열화상 카메라의 영상처리장치 및 영상처리방법이 제공된다.
Description
본 발명은 물체에서 발생하는 적외선을 검출하여 열을 감지하고 온도에 따라 다른 색으로 표현하여 물체의 온도분포를 시각적으로 표시하도록 구성되는 열화상 카메라의 영상처리장치 및 영상처리방법에 관한 것으로, 더 상세하게는, 열화상 카메라로 촬영된 영상의 화질을 개선하는 데에만 중점을 둠으로 인해 영상의 품질이 높아질수록 고사양의 하드웨어가 요구되고 처리시간이 길어지는 한계가 있었던 종래기술의 영상처리방법 및 장치들의 문제점을 해결할 수 있도록 구성되는 열화상 카메라의 영상처리장치 및 영상처리방법에 관한 것이다.
또한, 본 발명은, 상기한 바와 같이 영상의 품질이 높아질수록 고사양의 하드웨어가 요구되고 처리시간이 길어지는 한계가 있었던 종래기술의 영상처리방법 및 장치들의 문제점을 해결하기 위해, 히스토그램 평활화(Histogram Equlization) 기술을 이용하여 열화상 이미지의 화질을 향상시키는 동시에, 하드웨어 구성을 간소화하여 영상처리를 위한 데이터 전송 및 처리속도를 높이고 이미지 향상을 위한 영상처리의 전체적인 처리시간을 단축할 수 있도록 구성되는 열화상 카메라의 영상처리장치 및 영상처리방법에 관한 것이다.
일반적으로, 열화상 카메라는 물체에서 발생하는 적외선을 검출하여 열을 감지하고 온도에 따라 다른 색으로 표현하여 눈으로 확인할 수 있도록 물체의 온도분포를 시각적으로 표시하는 카메라이다.
이러한 열화상 카메라는 촬영 대상이 되는 물체가 어느 정도로 열을 내는지에 따라 영상이 표현되므로 연기와 같은 장애물의 유무나 빛의 유무와 상관없이 물체를 확인할 수 있으며, 이러한 특징으로 인해, 현재 열화상 카메라는 군수용으로 가장 많이 활용되고 있다.
또한, 최근에는, 상기한 바와 같은 군수용 분야 이외의 분야에도 열화상 카메라의 활용분야가 확대되고 있으며, 즉, 예를 들면, 의료진단 및 영상시스템, 일반 산업용, 인공위성의 지상 및 기상관측을 위한 우주항공용, 보안시스템이나 소방구조용 및 차량용 나이트비젼 등과 같이, 군수용뿐만 아니라 민수용으로도 열화상 카메라의 활용분야가 확대되고 있다.
그러나 열화상 카메라는 대부분 적외선 센서를 포함하여 구성되므로 부피가 커서 휴대하기 어려움이 있고, 또한, 적외선 센서가 좋아질수록 가격이 매우 비싸지므로 일반인 사용자가 전문가들이 사용하는 열화상 카메라와 동등한 품질의 이미지를 얻기는 매우 어려우나, 상기한 바와 같이 열화상 카메라의 활용분야가 확대되는 추세에 따라 열화상 카메라를 통해 얻어지는 적외선 이미지의 품질 향상에 대한 요구가 증가하고 있다.
이에, 종래, 열화상 카메라를 통해 얻어지는 적외선 이미지를 향상시키기 위한 여러 가지 연구가 이루어지고 있으며, 더 상세하게는, 상기한 바와 같이 열화상 카메라의 화질을 향상시키기 위한 종래기술의 예로는, 예를 들면, 한국 등록특허공보 제10-1625471호에 따르면, 광량에 따라 자동으로 영상의 촬영과 저장을 제어하여 고해상도의 영상을 촬영하는 일반영상촬영부; 일반영상촬영부에서 야간이나 주위가 어두워 촬영하는 영상이 인식하기 어려운 경우 일반영상촬영부의 촬영정보를 바탕으로 열화상 영상을 촬영하는 열화상촬영부 및 일반영상촬영부와 열화상촬영부의 촬영정보에 대한 메타데이터 매칭 테이블을 통해서 상호 동일한 대상을 촬영하도록 제어하는 영상 제어부를 포함하여, 주간에 고해상도 일반 카메라로 촬영한 영상과 촬영정보를 데이터베이스에 저장해 두었다가 야간에 보급형 저해상도 열화상 카메라로 촬영한 영상을 일반 카메라의 고해상도 촬영영상과 매칭시켜 보급형 열화상 카메라의 저해상도 영상을 향상시키도록 구성되는 보급형 열화상 카메라의 해상도 향상방법 및 장치가 제시된 바 있다.
또한, 상기한 바와 같이 열화상 카메라의 화질을 향상시키기 위한 종래기술의 다른 예로는, 예를 들면, 한국 공개특허공보 제10-2016-0066445호에 따르면, 제1 열화상을 저장하는 메모리; 피측정체의 온도를 측정하는 제1 센싱부; 피측정체와의 거리를 측정하는 제2 센싱부; 열화상 생성 장치의 움직임을 측정하는 제3 센싱부; 및 제1 센싱부로부터 수신한 온도 정보, 제2 센싱부로부터 수신한 거리 정보 및 상기 제3 센싱부로부터 수신한 움직임 정보에 기초하여 제2 열화상을 생성하고, 제1 열화상 및 제2 열화상에 기초하여 제3 열화상을 생성하는 제어부를 포함하여, 피측정체의 온도, 피측정체와의 거리, 센서의 움직임에 대한 정보에 기초하여 복수의 열화상 정보를 생성하는 것에 의해 일반 사용자가 휴대하는 모바일 장치에 포함될 수 있는 적외선 센서를 이용하더라도 고해상도의 열화상을 얻을 수 있도록 구성되는 구성되는 열화상 생성 장치 및 방법이 제시된 바 있다.
아울러, 상기한 바와 같이 열화상 카메라의 화질을 향상시키기 위한 종래기술의 또 다른 예로는, 예를 들면, 한국 공개특허공보 제10-2014-0045856호에 따르면, 영상을 입력받는 영상입력부; 영상을 분할하여 밝은 부분인 명부와 어두운 부분인 암부를 검출하는 명부/암부 분할영역 검출부; 명부와 상기 암부를 분석하여 명부의 노이즈 레벨, 암부의 노이즈 레벨, 명부의 밝기영역 및 암부의 밝기영역을 특정하는 파라미터를 계산하는 파라미터 계산부; 명부의 노이즈 레벨 및 암부의 노이즈 레벨과 시스템 자체가 가진 시스템 노이즈를 비교하여 차이를 반영하는 제한인자를 계산하는 개선 제한인자 계산부; 영상의 밝기에 따른 히스토그램을 계산하는 히스토그램 계산부; 히스토그램을 분석하여 전달함수(CDF)를 계산하고 상기 제한인자를 적용하여 상기 전달함수를 수정 및 적용하여 명암비가 증폭된 영상을 출력하는 CDF 계산/수정 및 출력변환부; 및 명암비가 증폭된 상기 영상을 출력하는 영상 출력부를 포함하여, 열상카메라의 영상잡음 수준을 파악하여 대조비 증폭폭을 조절하는 것에 의해 열상카메라의 영상잡음이 대조비와 함께 증폭되지 않도록 하여 열상카메라의 화질개선이 가능하도록 구성되는 열화상 대조비 향상장치 및 방법이 제시된 바 있다.
더욱이, 상기한 바와 같이 열화상 카메라의 화질을 향상시키기 위한 종래기술의 또 다른 예로는, 예를 들면, 한국 등록특허공보 제10-1339026호에 따르면, 객체 온도정보를 수신하여 감시대상 객체의 온도범위를 설정하는 단계; 열화상 카메라를 통해 감시영역에 대한 제1 열화상 영상을 획득하는 단계; 제1 열화상 영상에 대한 히스토그램 평활화를 수행하는 단계; 및 히스토그램 평활화된 제1 열화상 영상의 온도범위 중 설정된 감시대상 객체의 온도범위에 가중치를 부여하여 제2 열화상 영상을 생성하는 단계를 포함하여, 열화상 카메라의 노이즈는 이퀄라이징을 통해 감소시고 관심객체의 온도범위는 가중치로 보상하여 관심객체의 데이터량을 증가시키는 것에 의해 객체식별성능을 개선할 수 있도록 구성되는 열화상 카메라의 가시성 개선 방법이 제시된 바 있다.
상기한 바와 같이, 종래, 열화상 카메라의 화질을 향상시키기 위한 여러 가지 기술내용들이 제시된 바 있으나, 상기한 바와 같은 종래기술의 내용들은 다음과 같은 문제점이 있는 것이었다.
더 상세하게는, 열화상 카메라에 적용되는 적외선 이미지는 관찰된 물체와 주변의 온도특성에 의존하므로, 적외선 영상의 화질을 향상시키기 위한 가장 효과적인 방법으로는 열화상 카메라에 의해 얻어진 적외선 영상에 대하여 이미지 향상을 위한 디지털 영상처리 알고리즘을 적용하는 방법이 고려될 수 있다.
여기서, 영상데이터는 여러 가지 데이터 형식 중에서도 용량이 큰 편에 해당하므로, 이와 같이 대용량의 영상데이터에 영상처리 알고리즘을 적용하여 화질을 개선하기 위해서는 고사양의 하드웨어 성능이 요구되며, 영상데이터의 용량이 커지거나 화질이 높아질수록 영상처리를 위한 하드웨어 요구사양 및 처리시간이 크게 증가하게 된다.
이에, 영상처리 알고리즘 및 영상데이터의 데이터 처리방식을 개선하여 하드웨어 구성을 간소화하면서도 영상의 품질은 높일 수 있도록 하기 위한 고효율 저비용의 영상처리 장치 및 방법에 대한 요구가 높아지고 있으나, 상기한 바와 같은 종래기술의 영상처리장치 및 방법들은 대부분 열화상 카메라로 촬영된 영상의 화질을 개선하는 데에만 중점을 두고 있을 뿐, 보다 간단한 구성 및 저렴한 비용으로 영상처리를 수행하기 위한 기술내용에 대하여는 고려되지 못한 한계가 있는 것이었다.
따라서 상기한 바와 같이, 열화상 카메라로 촬영된 영상의 화질을 개선하는 데에만 중점을 둠으로 인해 영상의 품질이 높아질수록 고사양의 하드웨어가 요구되고 처리시간이 길어지는 한계가 있었던 종래기술의 영상처리방법 및 장치들의 문제점을 해결하기 위하여는, 영상처리 알고리즘 및 데이터 처리방식을 개선하여 영상처리 작업의 효율을 높이는 동시에 하드웨어 구성은 간소화할 수 있는 새로운 구성의 영상처리 장치 및 방법을 제공하는 것이 바람직하나, 아직까지 그러한 요구를 모두 만족시키는 장치나 방법은 제시되지 못하고 있는 실정이다.
[선행기술문헌]
1. 한국 등록특허공보 제10-1625471호(2016.05.24.)
2. 한국 공개특허공보 제10-2016-0066445호(2016.06.10.)
3. 한국 공개특허공보 제10-2014-0045856호(2014.04.17.)
4. 한국 등록특허공보 제10-1339026호 (2013.12.03.)
본 발명은 상기한 바와 같은 종래기술의 문제점을 해결하고자 하는 것으로, 따라서 본 발명의 목적은, 열화상 카메라로 촬영된 영상의 화질개선만이 고려됨으로 인해 영상의 품질이 높아질수록 고사양의 하드웨어가 요구되고 처리시간이 길어지는 한계가 있었던 종래기술의 영상처리방법 및 장치들의 문제점을 해결하기 위해, 열화상 카메라로 얻어진 적외선 영상에 대하여 히스토그램 평활화(Histogram Equlization)를 포함한 영상처리 기술을 이용하여 열화상 이미지의 화질을 향상시키는 데 더하여, 영상처리의 과정이 FPGA(Field Programmable Gate Array)를 이용하여 이루어지는 하드웨어 블록을 통하여 실시간으로 수행되고 처리된 영상이 외부로 전송되도록 구성됨으로써, 데이터 전송 및 영상처리 속도를 높이고 이미지 향상을 위한 영상처리의 전체적인 처리시간을 단축할 수 있도록 구성되는 열화상 카메라의 영상처리장치 및 영상처리방법을 제공하고자 하는 것이다.
또한, 본 발명의 다른 목적은, 적외선 센서에서 수집되는 데이터에는 온도데이터가 포함되어 있으나 온도값을 영상에 표시하기 위해서는 영상처리를 하지 않고 컴퓨터로 전송해야 하므로, 이를 위해, 열화상 카메라의 적외선 센서로부터 데이터를 수집하고 FPGA를 통해 하드웨어로 실시간 영상처리를 행하여 영상이미지를 출력하는 동시에, 온도데이터를 포함하는 원시 데이터(Raw Data)를 그대로 외부의 컴퓨터 등으로 전송할 수 있도록 구성됨으로써, 하나의 데이터 프레임에 영상 프레임과 온도 데이터 프레임을 동시에 출력할 수 있도록 구성되는 열화상 카메라의 영상처리장치 및 영상처리방법을 제공하고자 하는 것이다.
아울러, 본 발명의 또 다른 목적은, 상기한 바와 같이 히스토그램 평활화 기술을 이용하여 열화상 이미지의 화질을 향상시키는 동시에, 하드웨어 구성을 간소화하여 전체적인 처리시간을 단축할 수 있도록 구성되는 열화상 카메라의 영상처리장치 및 영상처리방법을 적용하여, 전체적인 구성을 간소화하고 저렴한 비용으로 고품질의 영상을 제공할 수 있도록 구성되는 열화상 카메라를 제공하고자 하는 것이다.
상기한 바와 같은 목적을 달성하기 위해, 본 발명에 따르면, 열화상 카메라의 영상처리장치에 있어서, 열화상 카메라로 촬영되어 전송되는 영상데이터의 버퍼링이 수행되는 이미지 버퍼부; 상기 이미지 버퍼부로부터 전달된 상기 영상데이터에서 불량화소를 제거하는 처리가 수행되는 BPR(Bad Pixel Replacement)부; 상기 BPR부에서 불량화소가 제거된 상기 영상데이터에 히스토그램 평활화(Histogram Equlization ; HE) 및 자동이득제어(Auto Gain Control; AGC) 처리를 포함하는 영상처리가 수행되는 제 1 영상처리부; 상기 제 1 영상처리부에서 히스토그램 평활화(HE) 및 자동이득제어(AGC)가 수행된 상기 영상데이터에 화질개선을 위한 필터처리를 포함하는 이미지 처리가 수행되는 제 2 영상처리부; 상기 제 2 영상처리부에서 처리된 상기 영상데이터에 각종 화면표시(On Screen Disply)를 부가하여 OSD가 포함된 영상데이터를 생성하는 처리가 수행되는 OSD 처리부; 상기 OSD 처리부에서 생성된 영상데이터를 수신하여 외부 기기로 출력하는 영상출력(Video Output)부; 상기 OSD 처리부에서 생성된 영상데이터를 수신하여 미리 정해진 포맷으로 변환하는 영상 인코딩(Video Encoding)부; 및 상기 영상 인코딩부에서 인코딩된 영상을 외부로 전송(Ethernet Output)하는 RTSP(Real-Time Streaming Protocol) 서버부를 포함하여 구성되는 것을 특징으로 하는 열화상 카메라의 영상처리장치가 제공된다.
여기서, 상기 영상처리장치는, 열화상 카메라를 통해 수집된 원시데이터(raw data)를 상기 이미지 버퍼부 및 상기 BPR부를 통해 수신하고, 상기 제 1 영상처리부, 상기 제 2 영상처리부 및 상기 OSD 처리부를 통하여 영상처리된 영상을 상기 영상출력부를 통해 외부 기기로 출력하는 동시에, 상기 영상 인코딩부를 통하여 미리 정해진 포맷으로 인코딩한 후 상기 RTSP 서버부를 통해 외부로 스트리밍 전송하는 영상스트림 동작; 및 열화상 카메라를 통해 수집된 원시데이터(raw data)를 상기 이미지 버퍼부 및 상기 BPR부를 통해 수신하여 영상과 온도정보를 외부로 전송하고, 수신측에서 영상처리를 행하여 영상과 온도정보를 출력하는 데이터 전송동작 중 하나의 동작으로 동작되거나, 또는, 상기 영상스트림 동작 및 상기 데이터 전송동작이 동시에 수행되도록 구성되는 것을 특징으로 한다.
또한, 상기 영상처리장치는, 상기 제 1 영상처리부, 상기 제 2 영상처리부 및 상기 OSD 처리부가 FPGA(Field Programmable Gate Array)를 이용하여 상기 제 1 영상처리부, 상기 제 2 영상처리부 및 상기 OSD 처리부의 기능을 단일의 하드웨어로 구현하도록 이루어지는 FPGA 블록으로 구성됨으로써, 전체적인 구성을 간소화하고 데이터 전송속도 및 처리효율을 개선할 수 있도록 구성되는 것을 특징으로 한다.
여기서, 상기 FPGA 블록은, 히스토그램 평활화(HE)를 행한 후 자동이득제어(AGC) 처리를 수행하는 HE 및 AGC 처리부; 및 상기 HE 및 AGC 처리부에서 HE 및 AGC 처리된 영상데이터에 필터처리를 수행하는 필터처리부를 포함하여 구성되는 것을 특징으로 한다.
아울러, 상기 HE 및 AGC 처리부는, 누적 히스토그램 평활화(Cumulative Histogram Equalization ; CHE) 알고리즘을 이용하여 상기 히스토그램 평활화(HE) 처리가 수행되도록 구성되는 것을 특징으로 한다.
즉, 상기 HE 및 AGC 처리부는, 이하의 수학식을 이용하여 상기 영상데이터의 누적분포함수(Cumulative Distribution Function)를 계산하고,
(여기서, x는 회색(gray) 값이며, h는 상기 영상데이터의 히스토그램을 나타냄)
이하의 수학식을 이용하여 누적 히스토그램 평활화(CHE) 처리가 수행되도록 구성되는 것을 특징으로 한다.
(여기서, cdfmin은 누적분포함수의 최소값이고, M×N은 상기 영상데이터의 행과 열의 수의 곱을 나타내며, L은 회색도(gray level)의 수(8비트, 256개)를 나타냄)
아울러, 상기 HE 및 AGC 처리부는, 히스토그램 평활화가 수행되도록 동작하는 On 모드와, 사용자가 입력한 색상/명암 대비값을 적용하는 off 모드 및 마지막으로 적용된 색상/명암 대비값을 유지하는 유지(Maintenance) 모드 중 하나로 동작하도록 구성되는 것을 특징으로 한다.
더욱이, 상기 필터처리부는, 노이즈제거 필터(De-Noise Filter)로서 가이드 필터(Guided Filter)를 이용하여 상기 필터처리가 수행되거나, 또는, 노이즈제거 필터로서 가우시안 필터(Gaussian Filter)를 적용한 후 언샵 마스크 필터(Unsharp Mask Filter)를 적용하여 상기 필터처리가 수행되도록 구성되는 것을 특징으로 한다.
또한, 상기 FPGA 블록은, 열화상 카메라로부터 입력된 영상데이터를 영상처리하여 출력하는(Video Output) 동시에, 영상처리되지 않은 원시 데이터(raw data)를 이더넷(ethernet)을 통해 출력하여(Ethernet Output) 원격 컴퓨터로 전송하고, 상기 원시 데이터를 수신한 상기 원격 컴퓨터에 설치된 영상처리 소프트웨어를 이용하여 영상처리가 수행되도록 구성되는 것을 특징으로 한다.
아울러, 본 발명에 따르면, 상기에 기재된 열화상 카메라의 영상처리장치를 이용하여 열화상 카메라로 얻어진 영상의 영상처리가 수행되도록 구성되는 것을 특징으로 하는 열화상 카메라의 영상처리방법이 제공된다.
더욱이, 본 발명에 따르면, 상기에 기재된 열화상 카메라의 영상처리장치를 포함하여 영상처리 기능을 가지도록 구성되는 것을 특징으로 하는 열화상 카메라가 제공된다.
상기한 바와 같이, 본 발명에 따르면, 열화상 카메라로 얻어진 적외선 영상에 대하여 히스토그램 평활화(Histogram Equlization)를 포함한 영상처리 기술을 이용하여 열화상 이미지의 화질을 향상시키는 데 더하여, 영상처리의 과정이 FPGA(Field Programmable Gate Array)를 이용하여 이루어지는 하드웨어 블록을 통하여 실시간으로 수행되고 처리된 영상이 외부로 전송되도록 구성되는 열화상 카메라의 영상처리장치 및 영상처리방법이 제공됨으로써, 열화상 카메라로 촬영된 영상의 화질개선만이 고려됨으로 인해 영상의 품질이 높아질수록 고사양의 하드웨어가 요구되고 처리시간이 길어지는 한계가 있었던 종래기술의 영상처리방법 및 장치들의 문제점을 해결할 수 있다.
또한, 본 발명에 따르면, 상기한 바와 같이 열화상 카메라의 적외선 센서로부터 데이터를 수집하고 FPGA를 통해 하드웨어로 실시간 영상처리를 행하여 영상이미지를 출력하는 동시에, 온도데이터를 포함하는 원시 데이터(Raw Data)를 그대로 외부의 컴퓨터 등으로 전송할 수 있도록 구성되는 열화상 카메라의 영상처리장치 및 영상처리방법이 제공됨으로써, 하나의 데이터 프레임에 영상 프레임과 온도 데이터 프레임을 동시에 출력할 수 있으므로 적외선 센서에서 수집되는 온도데이터를 영상에 표시하기 위해서는 영상처리를 하지 않고 컴퓨터로 전송해야 하고 영상처리를 행하면 온도데이터가 상실되는 문제가 있었던 종래기술의 영상처리방법 및 장치들의 문제점을 해결할 수 있다.
아울러, 본 발명에 따르면, 상기한 바와 같이 히스토그램 평활화 기술을 이용하여 열화상 이미지의 화질을 향상시키는 동시에 하드웨어 구성을 간소화하여 전체적인 처리시간을 단축할 수 있도록 구성되는 열화상 카메라의 영상처리장치 및 영상처리방법을 적용하여, 전체적인 구성을 간소화하고 저렴한 비용으로 고품질의 영상을 제공할 수 있도록 구성되는 열화상 카메라를 제공하고자 하는 것이다.
도 1은 본 발명의 실시예에 따른 열화상 카메라의 영상처리장치의 전체적인 구성 및 데이터 처리 흐름을 개략적으로 나타내는 도면이다.
도 2는 도 1에 나타낸 본 발명의 실시예에 따른 영상처리장치에서 히스토그램 평활화(HE)와 자동이득제어(AGC) 및 OSD 처리를 단일의 하드웨어로 수행하도록 구성되는 FPGA 블록의 전체적인 구성을 개략적으로 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 FPGA 블록으로부터 출력되는 영상데이터의 경로를 개략적으로 나타내는 도면이다.
도 4는 FPGA 블록의 출력영상의 형식(format)을 개략적으로 나타내는 도면이다.
도 5는 FPGA 블록의 출력신호의 타이밍 다이어그램(timing diagram)을 나타내는 도면이다,
도 2는 도 1에 나타낸 본 발명의 실시예에 따른 영상처리장치에서 히스토그램 평활화(HE)와 자동이득제어(AGC) 및 OSD 처리를 단일의 하드웨어로 수행하도록 구성되는 FPGA 블록의 전체적인 구성을 개략적으로 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 FPGA 블록으로부터 출력되는 영상데이터의 경로를 개략적으로 나타내는 도면이다.
도 4는 FPGA 블록의 출력영상의 형식(format)을 개략적으로 나타내는 도면이다.
도 5는 FPGA 블록의 출력신호의 타이밍 다이어그램(timing diagram)을 나타내는 도면이다,
이하, 첨부된 도면을 참조하여, 본 발명에 따른 열화상 카메라의 영상처리장치 및 영상처리방법의 구체적인 실시예에 대하여 설명한다.
여기서, 이하에 설명하는 내용은 본 발명을 실시하기 위한 하나의 실시예일 뿐이며, 본 발명은 이하에 설명하는 실시예의 내용으로만 한정되는 것은 아니라는 사실에 유념해야 한다.
또한, 이하의 본 발명의 실시예에 대한 설명에 있어서, 종래기술의 내용과 동일 또는 유사하거나 당업자의 수준에서 용이하게 이해하고 실시할 수 있다고 판단되는 부분에 대하여는, 설명을 간략히 하기 위해 그 상세한 설명을 생략하였음에 유념해야 한다.
즉, 본 발명은, 후술하는 바와 같이, 열화상 카메라로 촬영된 영상의 화질개선만이 고려됨으로 인해 영상의 품질이 높아질수록 고사양의 하드웨어가 요구되고 처리시간이 길어지는 한계가 있었던 종래기술의 영상처리방법 및 장치들의 문제점을 해결하기 위해, 열화상 카메라로 얻어진 적외선 영상에 대하여 히스토그램 평활화(Histogram Equlization)를 포함한 영상처리 기술을 이용하여 열화상 이미지의 화질을 향상시키는 데 더하여, 영상처리의 과정이 FPGA(Field Programmable Gate Array)를 이용하여 이루어지는 하드웨어 블록을 통하여 실시간으로 수행되고 처리된 영상이 외부로 전송되도록 구성됨으로써, 데이터 전송 및 영상처리 속도를 높이고 이미지 향상을 위한 영상처리의 전체적인 처리시간을 단축할 수 있도록 구성되는 열화상 카메라의 영상처리장치 및 영상처리방법에 관한 것이다.
아울러, 본 발명은, 후술하는 바와 같이, 적외선 센서에서 수집되는 데이터에는 온도데이터가 포함되어 있으나 온도값을 영상에 표시하기 위해서는 영상처리를 하지 않고 컴퓨터로 전송해야 하므로, 이를 위해, 열화상 카메라의 적외선 센서로부터 데이터를 수집하고 FPGA를 통해 하드웨어로 실시간 영상처리를 행하여 영상이미지를 출력하는 동시에, 온도데이터를 포함하는 원시 데이터(Raw Data)를 그대로 외부의 컴퓨터 등으로 전송할 수 있도록 구성됨으로써, 하나의 데이터 프레임에 영상 프레임과 온도 데이터 프레임을 동시에 출력할 수 있도록 구성되는 열화상 카메라의 영상처리장치 및 영상처리방법에 관한 것이다.
더욱이, 본 발명은, 후술하는 바와 같이, 히스토그램 평활화 기술을 이용하여 열화상 이미지의 화질을 향상시키는 동시에, 하드웨어 구성을 간소화하여 전체적인 처리시간을 단축할 수 있도록 구성되는 열화상 카메라의 영상처리장치 및 영상처리방법을 적용하여, 전체적인 구성을 간소화하고 저렴한 비용으로 고품질의 영상을 제공할 수 있도록 구성되는 열화상 카메라에 관한 것이다.
계속해서, 도면을 참조하여, 본 발명에 따른 열화상 카메라의 영상처리장치 및 영상처리방법의 구체적인 내용에 대하여 설명한다.
먼저, 도 1을 참조하면, 도 1은 본 발명의 실시예에 따른 열화상 카메라의 영상처리장치의 전체적인 구성 및 데이터 처리 흐름을 개략적으로 나타내는 도면이다.
도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 열화상 카메라의 영상처리장치(10)는, 크게 나누어, 열화상 카메라로 촬영되어 전송되는 영상데이터의 버퍼링을 수행하는 이미지 버퍼부(11), 이미지 버퍼부(11)로부터 전달된 영상데이터에서 불량화소를 제거하는 BPR(Bad Pixel Replacement)부(12), BPR부(12)에서 불량화소가 제거된 영상데이터에 히스토그램 평활화(Histogram Equlization ; HE) 및 자동이득제어(Auto Gain Control; AGC) 처리를 포함하는 영상처리를 수행하는 제 1 영상처리부(13), 제 1 영상처리부(13)에서 히스토그램 평활화(HE) 및 자동이득제어(AGC)가 수행된 영상데이터에 화질개선을 위한 필터처리 등의 이미지 처리를 수행하는 제 2 영상처리부(14), 영상이나 디스플레이 화면상에 표시될 각종 화면표시(On Screen Disply)를 제 2 영상처리부(14)에서 이미지 처리된 영상데이터에 부가하여 OSD가 포함된 영상데이터를 생성하는 처리가 수행되는 OSD 처리부(15), OSD 처리부(15)에서 생성된 영상데이터를 외부 기기로 출력하는 영상출력(Video Output)부, OSD 처리부(15)에서 생성된 영상데이터를 미리 정해진 포맷으로 변환하는 영상 인코딩(Video Encoding)부(16) 및 영상 인코딩부(16)에서 인코딩된 영상을 인터넷을 통해 외부로 전송(Ethernet Output)하는 RTSP(Real-Time Streaming Protocol) 서버부(17)를 포함하여 구성될 수 있다.
여기서, 도 1을 참조하여 이하에 설명하는 본 발명의 실시예에서는 상기한 열화상 카메라가 Tamarisk사의 Tamarisk 320인 경우를 예로 하여 본 발명을 설명하였으나, 본 발명은 반드시 이러한 경우로만 한정되는 것은 아니며, 다른 열화상 카메라의 경우에도 동일 내지 유사하게 적용될 수 있는 것임에 유념해야 한다.
더 상세하게는, 도 1에 나타낸 본 발명의 실시예에 따른 영상처리장치(10)는, 열화상 카메라에서 수집된 데이터를 영상처리하여 이더넷을 통해 완성된 영상을 전송하는 영상스트림 동작과, 열화상 카메라에서 수집된 14비트 원시데이터(raw data)를 이더넷으로 전송하고 수신 컴퓨터에서 영상처리하여 영상과 온도정보를 출력하는 데이터 전송동작의 두가지 동작을 모두 구현 가능하며, 용도에 따라 두 동작 중에서 하나의 동작만 수행하거나 동시에 모두 동작하도록 구성될 수 있다.
먼저, 영상스트림 동작은, Tamarisk는 14비트이며, 8비트로 영상처리를 하여 NTSC/PAL로 출력을 하거나 인코더를 통해 RTSP로 스트림 전송하기 위한 모든 영상처리가 영상처리장치(10)에서 이루어지게 되므로 처리과정이 영상처리장치(10)의 성능에 영향을 받게 된다.
여기서, 히스토그램 평활화(HE)와 자동이득제어(AGC) 및 필터처리와 같은 영상처리 과정을 후술하는 바와 같이 FPGA(Field Programmable Gate Array)를 이용하여 단일의 FPGA 블록으로 처리하는 것에 의해 영상처리에 따른 부하를 줄이고 데이터 전송 및 처리속도를 높일 수 있다.
또한, 영상스트림 동작은 영상처리 과정에서 온도정보를 상실할 수 있으므로 온도계로 사용하지 않는 감시카메라로 사용하도록 구성될 수 있다.
다음으로, 데이터 전송동작은, 수신 컴퓨터에서 온도데이터를 수신할 수 있으므로 온도표기가 가능하며, 데이터량이 많아서 네트워크의 전송속도에 영향을 받을 수 있으므로 데이터를 압축하여 전송하고, 데이터 전송동작은 수신 컴퓨터에서 모든 영상처리를 수행하므로 영상처리장치(10)의 성능에 따른 영향이 적어 개발에 용이한 장점이 있다.
계속해서, 도 2를 참조하여, 이미지 처리를 위한 FPGA 블록의 구성에 대하여 설명한다.
도 2를 참조하면, 도 2는 도 1에 나타낸 본 발명의 실시예에 따른 영상처리장치(10)에서 히스토그램 평활화(HE)와 자동이득제어(AGC) 및 OSD 처리를 단일의 하드웨어로 수행하도록 구성되는 FPGA 블록(20)의 전체적인 구성을 개략적으로 나타내는 도면이다.
도 2에 나타낸 바와 같이, 본 발명의 실시예에 따른 영상처리장치(10)에 적용되는 FPGA 블록(20)은, 히스토그램을 통해 영상을 분석(영상분포 분석)하여 히스토그램 평활화(HE)를 행한 후 자동이득제어(AGC) 처리를 수행하는 HE 및 AGC 처리부(21)와, HE 및 AGC 처리부(21)에서 HE 및 AGC 처리된 영상데이터에 노이즈제거 및 언샵 마스크 필터와 같은 각종 필터처리 및 OSD 처리를 수행하는 필터처리부(22)를 포함하여 구성될 수 있다.
즉, 도 2에 나타낸 FPGA 블록(20)은 도 1에 나타낸 제 1 영상처리부(13), 제 2 영상처리부(14) 및 OSD 처리부(15)의 기능을 FPGA 형태의 단일의 하드웨어로 구현하도록 구성되는 것이며, 이러한 구성을 통해 영상처리장치(10)의 전체적인 하드웨어 구성을 간소화하고, 데이터 전송 및 처리효율을 개선할 수 있다.
여기서, HE 및 AGC 처리부(21)는, AGC 처리시 구간 선형 변환(piecewise-linear transformation) 알고리즘을 적용하며, 이러한 구간 선형 변환 알고리즘은 처리영역을 2영역 이상으로 나눈 후 각 영역에 대조(contrast) 및 밝기(brightness) 값을 적용하는 것에 의해 히스토그램이 한쪽으로 치우친 영상을 자연스럽게 만들어 주고, 고온 또는 저온 일부 영역을 강조할 수 있으며, 전체 노이즈를 감소하는 효과가 있다.
여기서, 히스토그램 평활화(HE)의 다른 예로서, 예들 들면, CLAHE(Contrast Limited Adaptive Histogram Equalization)을 적용하는 방법을 고려해볼 수 있으나, CLAHE는 정지영상에 대하여는 효과가 좋지만 동영상에서는 필터로 제거할 수 없는 허상과 노이즈를 발생시키는 문제가 있다.
더 상세하게는, 상기한 바와 같이 하여 구성되는 본 발명의 실시예에 따른 영상처리장치(10)에 적용된 히스토그램 평활화(Histogram Equalization) 알고리즘의 보다 구체적인 내용에 대하여 설명하면, 히스토그램 평활화 기술은 히스토그램의 형상을 분석하여 밝기 분포가 특정한 부분으로 치우친 것을 어느 정도 넓은 영역에 걸쳐 밝기 분포를 넓히는 것에 의해 원본 영상을 개선하는 이미지 향상 기술의 하나로서, 최근 다양한 디지털 영상처리 장치 및 방법에 널리 사용되고 있다.
또한, 영상처리에서의 히스토그램은 이미지에서 픽셀단위 특정 이미지 값에 대한 확률분포를 나타낸 것으로, 디지털 이미지 명암의 정도의 분포를 도식적으로 나타낸다.
예를 들면, 한 픽셀이 8비트의 크기를 갖는다고 할 때, 8비트 데이터이므로 256의 회색도(gray level)를 가질 수 있으나, 일반적으로, 원본 이미지에서는 50 ~ 100 사이의 값만 주로 가지므로 원본 이미지는 매우 낮은 색상 대비를 가지며, 이러한 원본 영상에 히스토그램 평활화를 적용하면 이미지가 다양한 회색도(gray level)를 가지게 되므로 색상 대비가 향상된다.
이에, 본 발명에서는, 누적 히스토그램 평활화(Cumulative Histogram Equalization; CHE) 알고리즘을 구현하고 적외선 영상에 적용하여 이미지를 향상시키는 기술을 제안하였다.
여기서, CHE는 다른 알고리즘보다 향상된 성능을 보이며, 누적 히스토그램을 생성하기 위해서는 많은 연산이 필요하지만 DSP가 내장된 프로세서를 사용하거나, FPGA에서 구현한다면 지연시간을 낮출 수 있으므로 매우 효율적인 알고리즘이다.
더 상세하게는, CHE 알고리즘을 구현하기 위해서는 먼저 이하의 [수학식 1]에 나타낸 바와 같이 하여 이미지의 누적분포함수(Cumulative Distribution Function)를 계산한다.
[수학식 1]
여기서, 상기한 [수학식 1]에서 x는 회색(gray) 값이며, h는 이미지의 히스토그램을 나타낸다.
또한, 본 발명에서 적용하고자 하는 히스토그램의 공식은 이하의 [수학식 2]와 같이 나타낼 수 있다.
[수학식 2]
여기서, 상기한 [수학식 2]에 있어서, cdfmin은 누적 분포함수의 최소값이고, M×N은 이미지의 행과 열의 수의 곱을 나타내며, L은 회색도(gray level)의 수(8비트, 256개)를 나타낸다.
아울러, 본 발명의 실시예에 따른 영상처리장치(10)에 있어서, AGC 모드는 On/Off/Maintenance 기능이 있으며, On에서는 히스토그램 평활화 알고리즘이 동작하도록 하고, Off에서는 사용자가 입력한 색상/명암 대비값을 적용하며, Maintenance에서는 AGC On에서 마지막으로 적용한 색상/명암 대비값을 유지한다.
상기한 바와 같은 과정을 통하여 적외선 검출기로부터 얻어진 온도 데이터 시각화 과정에서 이미지 영상의 품질을 향상시킬 수 있으며, 이때, 히스토그램을 생성하는데 매우 많은 동작이 필요함으로 인해 소프트웨어로 구현할 경우 실시간으로 영상을 분석하고 적용할 수 없으므로, 히스토그램을 생성하는 부분은 하드웨어로 구현한다.
여기서, 히스토그램 평활화 알고리즘을 하드웨어로 구현하는 것은 로직이 복잡해지므로, 히스토그램 범위 상위와 하위값을 소프트웨어로 전달한 후 적용하도록 구성될 수 있다.
또한, 필터처리부(22)는, 도 2에 나타낸 바와 같이, 가이드 필터(Guided Filter)나 가우시안 필터(Gaussian Filter) 등과 같은 노이즈제거 필터(De-Noise Filter) 및 언샵 마스크 필터(Unsharp Mask Filter)를 포함하여 구성될 수 있으며, 가이드 필터를 적용한 경우는 그대로 출력되고, 가우시안 필터를 적용한 경우는 언샙 마스크 필터를 거쳐 출력되도록 구성될 수 있다.
여기서, 가이드 필터 및 가우시안 필터는 에지(edge)는 보존하면서 노이즈를 제거할 수 있으며, 유사한 필터로 양방향 필터(Bilateral filter)가 있다.
아울러, 도 1 및 도 2를 참조하여 상기에 설명한 본 발명의 실시예에 있어서, 예를 들면, 히스토그램 평활화(HE) 알고리즘이나 AGC 처리 및 상기한 각종 필터들의 원리나 구체적인 동작 등과 같이, 당업자에게 있어 자명하거나 종래기술의 문헌 등을 참조하여 용이하게 이해하고 실시할 수 있는 내용에 대하여는 설명을 간략히 하기 위해 그 상세한 설명을 생략하였음에 유념해야 한다.
다음으로, 도 3 내지 도 5를 참조하여, 상기한 바와 같이 하여 구성되는 FPGA 블록(20)으로부터 영상데이터의 출력 방식에 대하여 설명한다.
먼저, 도 3을 참조하면, 도 3은 상기한 바와 같이 하여 구성되는 본 발명의 실시예에 따른 FPGA 블록(20)으로부터 출력되는 영상데이터의 경로를 개략적으로 나타내는 도면이다.
또한, 도 4 및 도 5를 참조하면, 도 4는 FPGA 블록(20)의 출력영상의 형식(format)을 개략적으로 나타내는 도면이고, 도 5는 FPGA 블록(20)의 출력신호의 타이밍 다이어그램(timing diagram)을 나타내는 도면이다.
도 3에 나타낸 바와 같이, 열화상 카메라로부터 입력되는 영상을 FPGA 블록(20)에서 처리하여 출력(8비트)함과 동시에 영상처리가 실시되지 않은 영상(14bit raw data)이 동시에 출력된다.
즉, FPGA 블록(20)에서 처리된 영상은 영상처리장치(10)의 출력단(video(NTSC/PAL))을 통하여 모니터로 직접 디스플레이 되며, 처리되지 않은 원시 데이터(raw data)는 이더넷(ethernet)을 거쳐 원격 컴퓨터로 전송되어 해당 영상 데이터를 수신한 컴퓨터에 설치된 영상처리 소프트웨어를 통하여 소프트웨어적으로 영상처리가 실시되도록 구성될 수 있다.
이때, FPGA 블록(20)에서 출력되는 영상데이터의 형식(format) 및 타이밍은 도 4 및 도 5에 나타낸 바와 같이 구성될 수 있다.
여기서, 도 3 내지 도 5는 본 발명의 실시예에 따른 FPGA 블록(20)의 구성에 대한 일례를 나타낸 것일 뿐이며, 즉, 본 발명은 상기한 실시예에 나타낸 구성 이외에도 필요에 따라 적절히 구성될 수 있는 것임에 유념해야 한다.
상기한 바와 같이 하여 본 발명의 실시예에 따른 영상처리장치(10)의 하드웨어 구성을 구현할 수 있으며, 그것에 의해, 단순히 열화상 카메라로 얻어진 영상의 품질을 개선하는 것에 더하여, 영상처리를 위한 하드웨어 구성을 간소화하고 처리속도 및 효율을 높일 수 있으며, 더욱이, 영상처리를 행하여 영상이미지를 출력하는 동시에 온도데이터를 포함하는 원시 데이터(Raw Data)를 그대로 외부의 컴퓨터 등으로 전송하여, 하나의 데이터 프레임에 영상 프레임과 온도 데이터 프레임을 동시에 출력할 수 있다.
따라서 상기한 바와 같이 하여 본 발명에 따른 열화상 카메라의 영상처리장치 및 영상처리방법을 구현할 수 있다.
또한, 상기한 바와 같이 하여 본 발명에 따른 열화상 카메라의 영상처리장치 및 영상처리방법을 구현하는 것에 의해, 본 발명에 따르면, 열화상 카메라로 얻어진 적외선 영상에 대하여 히스토그램 평활화(Histogram Equlization)를 포함한 영상처리 기술을 이용하여 열화상 이미지의 화질을 향상시키는 데 더하여, 영상처리의 과정이 FPGA(Field Programmable Gate Array)를 이용하여 이루어지는 하드웨어 블록을 통하여 실시간으로 수행되고 처리된 영상이 외부로 전송되도록 구성되는 열화상 카메라의 영상처리장치 및 영상처리방법이 제공됨으로써, 열화상 카메라로 촬영된 영상의 화질개선만이 고려됨으로 인해 영상의 품질이 높아질수록 고사양의 하드웨어가 요구되고 처리시간이 길어지는 한계가 있었던 종래기술의 영상처리방법 및 장치들의 문제점을 해결할 수 있다.
아울러, 본 발명에 따르면, 상기한 바와 같이 열화상 카메라의 적외선 센서로부터 데이터를 수집하고 FPGA를 통해 하드웨어로 실시간 영상처리를 행하여 영상이미지를 출력하는 동시에, 온도데이터를 포함하는 원시 데이터(Raw Data)를 그대로 외부의 컴퓨터 등으로 전송할 수 있도록 구성되는 열화상 카메라의 영상처리장치 및 영상처리방법이 제공됨으로써, 하나의 데이터 프레임에 영상 프레임과 온도 데이터 프레임을 동시에 출력할 수 있으므로 적외선 센서에서 수집되는 온도데이터를 영상에 표시하기 위해서는 영상처리를 하지 않고 컴퓨터로 전송해야 하고 영상처리를 행하면 온도데이터가 상실되는 문제가 있었던 종래기술의 영상처리방법 및 장치들의 문제점을 해결할 수 있다.
더욱이, 본 발명에 따르면, 상기한 바와 같이 히스토그램 평활화 기술을 이용하여 열화상 이미지의 화질을 향상시키는 동시에, 하드웨어 구성을 간소화하여 전체적인 처리시간을 단축할 수 있도록 구성되는 열화상 카메라의 영상처리장치 및 영상처리방법을 적용하여, 전체적인 구성을 간소화하고 저렴한 비용으로 고품질의 영상을 제공할 수 있도록 구성되는 열화상 카메라를 제공할 수 있다.
이상, 상기한 바와 같은 본 발명의 실시예를 통하여 본 발명에 따른 열화상 카메라의 영상처리장치 및 영상처리방법의 상세한 내용에 대하여 설명하였으나, 본 발명은 상기한 실시예에 기재된 내용으로만 한정되는 것은 아니며, 따라서 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 설계상의 필요 및 기타 다양한 요인에 따라 여러 가지 수정, 변경, 결합 및 대체 등이 가능한 것임은 당연한 일이라 하겠다.
10. 영상처리장치 11. 이미지 버퍼부
12. BPR부 13. 제 1 영상처리부
14. 제 2 영상처리부 15. OSD 처리부
16. 영상 인코딩부 17. RTSP 서버부
20. FPGA 블록 21. HE 및 AGC 처리부
22. 필터처리부
12. BPR부 13. 제 1 영상처리부
14. 제 2 영상처리부 15. OSD 처리부
16. 영상 인코딩부 17. RTSP 서버부
20. FPGA 블록 21. HE 및 AGC 처리부
22. 필터처리부
Claims (11)
- 열화상 카메라의 영상처리장치에 있어서,
열화상 카메라로 촬영되어 전송되는 영상데이터의 버퍼링이 수행되는 이미지 버퍼부;
상기 이미지 버퍼부로부터 전달된 상기 영상데이터에서 불량화소를 제거하는 처리가 수행되는 BPR(Bad Pixel Replacement)부;
상기 BPR부에서 불량화소가 제거된 상기 영상데이터에 히스토그램 평활화(Histogram Equlization ; HE) 및 자동이득제어(Auto Gain Control; AGC) 처리를 포함하는 영상처리가 수행되는 제 1 영상처리부;
상기 제 1 영상처리부에서 히스토그램 평활화(HE) 및 자동이득제어(AGC)가 수행된 상기 영상데이터에 화질개선을 위한 필터처리를 포함하는 이미지 처리가 수행되는 제 2 영상처리부;
상기 제 2 영상처리부에서 처리된 상기 영상데이터에 각종 화면표시(On Screen Disply)를 부가하여 OSD가 포함된 영상데이터를 생성하는 처리가 수행되는 OSD 처리부;
상기 OSD 처리부에서 생성된 영상데이터를 수신하여 외부 기기로 출력하는 영상출력(Video Output)부;
상기 OSD 처리부에서 생성된 영상데이터를 수신하여 미리 정해진 포맷으로 변환하는 영상 인코딩(Video Encoding)부; 및
상기 영상 인코딩부에서 인코딩된 영상을 외부로 전송(Ethernet Output)하는 RTSP(Real-Time Streaming Protocol) 서버부를 포함하여 구성되는 것을 특징으로 하는 열화상 카메라의 영상처리장치.
- 제 1항에 있어서,
상기 영상처리장치는,
열화상 카메라를 통해 수집된 원시데이터(raw data)를 상기 이미지 버퍼부 및 상기 BPR부를 통해 수신하고, 상기 제 1 영상처리부, 상기 제 2 영상처리부 및 상기 OSD 처리부를 통하여 영상처리된 영상을 상기 영상출력부를 통해 외부 기기로 출력하는 동시에, 상기 영상 인코딩부를 통하여 미리 정해진 포맷으로 인코딩한 후 상기 RTSP 서버부를 통해 외부로 스트리밍 전송하는 영상스트림 동작; 및
열화상 카메라를 통해 수집된 원시데이터(raw data)를 상기 이미지 버퍼부 및 상기 BPR부를 통해 수신하여 영상과 온도정보를 외부로 전송하고, 수신측에서 영상처리를 행하여 영상과 온도정보를 출력하는 데이터 전송동작 중 하나의 동작으로 동작되거나, 또는, 상기 영상스트림 동작 및 상기 데이터 전송동작이 동시에 수행되도록 구성되는 것을 특징으로 하는 열화상 카메라의 영상처리장치.
- 제 1항에 있어서,
상기 영상처리장치는,
상기 제 1 영상처리부, 상기 제 2 영상처리부 및 상기 OSD 처리부가 FPGA(Field Programmable Gate Array)를 이용하여 상기 제 1 영상처리부, 상기 제 2 영상처리부 및 상기 OSD 처리부의 기능을 단일의 하드웨어로 구현하도록 이루어지는 FPGA 블록으로 구성됨으로써, 전체적인 구성을 간소화하고 데이터 전송속도 및 처리효율을 개선할 수 있도록 구성되는 것을 특징으로 하는 열화상 카메라의 영상처리장치.
- 제 3항에 있어서,
상기 FPGA 블록은,
상기 제 1 영상처리부를 대신하여, 열화상 카메라를 통해 수집된 영상데이터에 히스토그램 평활화(HE)를 행한 후 자동이득제어(AGC) 처리가 수행되도록 이루어지는 HE 및 AGC 처리부; 및
상기 제 2 영상처리부 및 상기 OSD 처리부를 대신하여, 상기 HE 및 AGC 처리부에서 HE 및 AGC 처리된 영상데이터에 필터처리를 행하고 OSD를 부가하는 처리가 수행되도록 이루어지는 필터처리부를 포함하여 구성되는 것을 특징으로 하는 열화상 카메라의 영상처리장치.
- 제 4항에 있어서,
상기 HE 및 AGC 처리부는,
누적 히스토그램 평활화(Cumulative Histogram Equalization ; CHE) 알고리즘을 이용하여 상기 히스토그램 평활화(HE) 처리가 수행되도록 구성되는 것을 특징으로 하는 열화상 카메라의 영상처리장치.
- 제 5항에 있어서,
상기 HE 및 AGC 처리부는,
이하의 수학식을 이용하여 상기 영상데이터의 누적분포함수(Cumulative Distribution Function)를 계산하고,
(여기서, x는 회색(gray) 값이며, h는 상기 영상데이터의 히스토그램을 나타냄)
이하의 수학식을 이용하여 누적 히스토그램 평활화(CHE) 처리가 수행되도록 구성되는 것을 특징으로 하는 열화상 카메라의 영상처리장치.
(여기서, cdfmin은 누적분포함수의 최소값이고, M×N은 상기 영상데이터의 행과 열의 수의 곱을 나타내며, L은 회색도(gray level)의 수(8비트, 256개)를 나타냄)
- 제 4항에 있어서,
상기 HE 및 AGC 처리부는,
히스토그램 평활화가 수행되도록 동작하는 On 모드와,
사용자가 입력한 색상/명암 대비값을 적용하는 off 모드 및
마지막으로 적용된 색상/명암 대비값을 유지하는 유지(Maintenance) 모드 중 하나로 동작하도록 구성되는 것을 특징으로 하는 열화상 카메라의 영상처리장치.
- 제 4항에 있어서,
상기 필터처리부는,
노이즈제거 필터(De-Noise Filter)로서 가이드 필터(Guided Filter)를 이용하여 상기 필터처리가 수행되거나,
또는, 노이즈제거 필터로서 가우시안 필터(Gaussian Filter)를 적용한 후 언샵 마스크 필터(Unsharp Mask Filter)를 적용하여 상기 필터처리가 수행되도록 구성되는 것을 특징으로 하는 열화상 카메라의 영상처리장치.
- 제 3항에 있어서,
상기 FPGA 블록은,
열화상 카메라로부터 입력된 영상데이터를 영상처리하여 출력하는(Video Output) 동시에, 영상처리되지 않은 원시 데이터(raw data)를 이더넷(ethernet)을 통해 출력하여(Ethernet Output) 원격 컴퓨터로 전송하고, 상기 원시 데이터를 수신한 상기 컴퓨터에 설치된 영상처리 소프트웨어를 이용하여 영상처리가 수행되도록 구성되는 것을 특징으로 하는 열화상 카메라의 영상처리장치.
- 청구항 1항 내지 청구항 9항 중 어느 한 항에 기재된 열화상 카메라의 영상처리장치를 이용하여 열화상 카메라로 얻어진 영상의 영상처리가 수행되도록 구성되는 열화상 카메라의 영상처리방법에 있어서,
열화상 카메라를 통해 수집된 원시데이터(raw data)를 상기 열화상 카메라의 영상처리장치의 이미지 버퍼부 및 BPR부를 통해 수신하고, 상기 열화상 카메라의 영상처리장치의 제 1 영상처리부, 제 2 영상처리부 및 OSD 처리부, 또는, 상기 열화상 카메라의 영상처리장치의 FPGA 블록을 통하여 영상처리된 영상을 상기 열화상 카메라의 영상처리장치의 영상출력부를 통해 외부 기기로 출력하며, 상기 열화상 카메라의 영상처리장치의 영상 인코딩부를 통하여 미리 정해진 포맷으로 인코딩한 후 상기 열화상 카메라의 영상처리장치의 RTSP 서버부를 통해 외부로 스트리밍 전송하는 처리가 수행되는 영상스트림 처리단계; 및
열화상 카메라를 통해 수집된 원시데이터(raw data)를 상기 이미지 버퍼부 및 상기 BPR부를 통해 수신하여 영상과 온도정보를 외부로 전송하고, 수신측에서 영상처리를 행하여 영상과 온도정보를 출력하는 처리가 수행되는 데이터전송 처리단계를 포함하여 구성되고,
상기 영상스트림 처리단계와 상기 데이터전송 처리단계 중 하나의 처리가 수행되도록 동작되거나, 또는, 상기 영상스트림 처리단계와 및 상기 데이터전송 처리단계가 동시에 수행되도록 구성되는 것을 특징으로 하는 열화상 카메라의 영상처리방법.
- 청구항 1항 내지 청구항 9항 중 어느 한 항에 기재된 열화상 카메라의 영상처리장치를 포함하여 영상처리 기능을 가지도록 구성되는 것을 특징으로 하는 열화상 카메라.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180048107A KR101920369B1 (ko) | 2018-04-25 | 2018-04-25 | 열화상 카메라의 영상처리장치 및 영상처리방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180048107A KR101920369B1 (ko) | 2018-04-25 | 2018-04-25 | 열화상 카메라의 영상처리장치 및 영상처리방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101920369B1 true KR101920369B1 (ko) | 2018-11-20 |
Family
ID=64568442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180048107A KR101920369B1 (ko) | 2018-04-25 | 2018-04-25 | 열화상 카메라의 영상처리장치 및 영상처리방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101920369B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220093467A (ko) * | 2020-12-28 | 2022-07-05 | (주)제로센서 | 저속 인터페이스를 이용한 영상데이터 전송 장치 |
| KR20240043944A (ko) | 2022-09-28 | 2024-04-04 | 써모아이 주식회사 | 픽셀 기반 객체 카운팅 방법 및 장치 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101167567B1 (ko) | 2011-10-19 | 2012-07-27 | (주)그린시스 | 어류 모니터링을 위한 영상감시장치 및 방법 |
| KR101339026B1 (ko) | 2013-10-14 | 2013-12-09 | (주)유디피 | 열화상 카메라 가시성 개선 방법 및 장치 |
| KR101350922B1 (ko) | 2013-10-14 | 2014-01-14 | 브이씨에이 테크놀러지 엘티디 | 열화상 카메라를 사용한 객체 추적 방법 및 장치 |
-
2018
- 2018-04-25 KR KR1020180048107A patent/KR101920369B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101167567B1 (ko) | 2011-10-19 | 2012-07-27 | (주)그린시스 | 어류 모니터링을 위한 영상감시장치 및 방법 |
| KR101339026B1 (ko) | 2013-10-14 | 2013-12-09 | (주)유디피 | 열화상 카메라 가시성 개선 방법 및 장치 |
| KR101350922B1 (ko) | 2013-10-14 | 2014-01-14 | 브이씨에이 테크놀러지 엘티디 | 열화상 카메라를 사용한 객체 추적 방법 및 장치 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220093467A (ko) * | 2020-12-28 | 2022-07-05 | (주)제로센서 | 저속 인터페이스를 이용한 영상데이터 전송 장치 |
| KR102447239B1 (ko) * | 2020-12-28 | 2022-09-27 | 주식회사 제로센서 | 저속 인터페이스를 이용한 영상데이터 전송 장치 |
| KR20240043944A (ko) | 2022-09-28 | 2024-04-04 | 써모아이 주식회사 | 픽셀 기반 객체 카운팅 방법 및 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9344638B2 (en) | Constant bracket high dynamic range (cHDR) operations | |
| TWI554099B (zh) | 用於決定一影像調整參數之方法及攝影機 | |
| JP7077395B2 (ja) | 多重化高ダイナミックレンジ画像 | |
| US7444075B2 (en) | Imaging device, camera, and imaging method | |
| CN107395991B (zh) | 图像合成方法、装置、计算机可读存储介质和计算机设备 | |
| CN110944176B (zh) | 图像帧降噪方法和计算机存储介质 | |
| JP4764487B2 (ja) | 映像監視システム | |
| US8798369B2 (en) | Apparatus and method for estimating the number of objects included in an image | |
| JP2013218487A (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
| KR101920369B1 (ko) | 열화상 카메라의 영상처리장치 및 영상처리방법 | |
| WO2017149854A1 (ja) | 信号処理装置、撮像装置および信号処理方法 | |
| JP4561649B2 (ja) | 画像圧縮装置、画像圧縮プログラム及び画像圧縮方法、ｈｄｒ画像生成装置、ｈｄｒ画像生成プログラム及びｈｄｒ画像生成方法、並びに画像処理システム、画像処理プログラム及び画像処理方法 | |
| JP2010117884A (ja) | 画像処理装置、映像表示装置、撮像装置、画像処理方法 | |
| US11310440B2 (en) | Image processing apparatus, surveillance camera system, and image processing method | |
| JP2001119683A (ja) | 画像センサ装置 | |
| JP2010226646A (ja) | 映像処理装置 | |
| CN112241735A (zh) | 一种图像处理方法、装置及*** | |
| JP2009100259A (ja) | 監視カメラおよび画像監視システム | |
| US20100303355A1 (en) | Image processing apparatus, image processing method, and image processing program | |
| US11861814B2 (en) | Apparatus and method for sensing image based on event | |
| JP4680087B2 (ja) | 画像伝送装置 | |
| WO2017094504A1 (ja) | 画像処理装置、画像処理方法、撮像装置、及び、プログラム | |
| JP4508043B2 (ja) | 映像監視装置及び映像監視用プログラム | |
| JP2007266787A (ja) | 雑音過大画素可用化処理を備えた撮像装置 | |
| KR101637637B1 (ko) | 비디오 센서 시스템의 영역 별 자동 노출 방법 및 그 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |