KR20220040025A - 딥러닝 기반 열 영상 재구성 장치 및 방법 - Google Patents

딥러닝 기반 열 영상 재구성 장치 및 방법 Download PDF

Info

Publication number
KR20220040025A
KR20220040025A KR1020200122728A KR20200122728A KR20220040025A KR 20220040025 A KR20220040025 A KR 20220040025A KR 1020200122728 A KR1020200122728 A KR 1020200122728A KR 20200122728 A KR20200122728 A KR 20200122728A KR 20220040025 A KR20220040025 A KR 20220040025A
Authority
KR
South Korea
Prior art keywords
thermal image
image
resolution
deep learning
restoration
Prior art date
Application number
KR1020200122728A
Other languages
English (en)
Inventor
박강령
간바야르
이영원
Original Assignee
이후시스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이후시스(주) filed Critical 이후시스(주)
Priority to KR1020200122728A priority Critical patent/KR20220040025A/ko
Publication of KR20220040025A publication Critical patent/KR20220040025A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 딥러닝 기반 열 영상 재구성 장치 및 방법에 관한 것이다. 본 발명의 일 실시 예에 따르면, 딥러닝 기반 열 영상 재구성 장치 및 방법은 저해상도 열 영상 및 블러 현상의 열 영상을 딥러닝 학습을 통해 복원하여 객체를 용이하게 검출할 수 있다.

Description

딥러닝 기반 열 영상 재구성 장치 및 방법{THERMAL IMAGE RECONSTRUCTION DEVICE AND METHOD BASED ON DEEP LEARNING}
본 발명은 열 영상 재구성 장치 및 방법에 관한 것으로, 더욱 상세하게는, 딥러닝을 이용해 카메라로 취득한 열 영상의 저해상도 및 블러 현상을 복원하여 객체 검출을 용이하게 수행할 수 있는 딥러닝 기반 열 영상 재구성 장치 및 방법에 관한 것이다.
최근, 코로나19로 인한 열 영상 기술의 수요가 급증함에 따라 열 영상과 관련한 다양한 기술이 개발되고 있다.
열 영상을 촬영하는 열화상 카메라는 기존 가시광선 카메라와는 다르게 특정 영역대(8-12μm)에 있는 파장을 포착하여 영상으로 볼 수 있도록 한다. 열화상 카메라는 산업장비나 대형 건물의 상태와 내부의 결함을 검출하고, 화재를 감지하며, 인체의 발열을 감지하는 등 다양한 분야에서 사용되고 있다.
하지만, 열화상 카메라로 촬영한 열 영상은 열의 특성으로 인해 영상에 사람의 동작과 카메라의 흔들림, 초점 이탈 등의 문제가 발생하고, 열 영상 특유의 블러 현상이 발생하게 되어 높은 성능의 열 영상을 취득할 수 없는 상황이 발생하게 된다. 또한, 고해상도의 열 영상을 촬영할 수 있는 열화상 카메라를 구매하기 위해서는 많은 비용을 지출해야 하는 문제점이 있다.
본 발명의 배경기술은 대한민국 등록특허 제 10- 2127014호에 게시되어 있다.
본 발명은 딥러닝 학습을 통해 저해상도의 열 영상을 고해상도로 복원하는 딥러닝 기반 열 영상 재구성 장치 및 방법을 제공한다.
본 발명은 딥러닝 학습을 통해 블러 현상이 존재하는 열 영상을 복원하여 객체를 용이하게 검출할 수 있는 딥러닝 기반 열 영상 재구성 장치 및 방법을 제공한다.
본 발명의 일 측면에 따르면, 딥러닝 기반 열 영상 재구성 장치가 제공된다.
본 발명의 일 실시 예에 따른 딥러닝 기반 열 영상 재구성 장치는 열카메라로 취득한 열 영상 정보를 수신하는 입력부, 수신한 열 영상을 온도에 상응하는 색상으로 컬러 변환하는 컬러변환부 및 컬러 변환된 열 영상의 해상도가 미리 설정된 기준 값 미만일 경우 고해상도 복원을 수행하는 고해상도복원부를 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 딥러닝 기반 열 영상 재구성 방법이 제공된다.
본 발명의 일 실시 예에 따른 딥러닝 기반 열 영상 재구성 방법은 열카메라로 취득한 열 영상 정보를 수신하는 단계, 수신한 열 영상을 온도에 상응하는 색상으로 컬러 변환하는 단계 및 컬러 변환된 열 영상의 해상도가 미리 설정된 기준 값 미만일 경우 고해상도 복원을 수행하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 딥러닝 기반 열 영상 재구성 장치 및 방법은 딥러닝 학습을 통해 저해상도의 열 영상을 고해상도로 복원할 수 있다.
본 발명의 일 실시 예에 따르면, 딥러닝 기반 열 영상 재구성 장치 및 방법은 딥러닝 학습을 통해 블러 현상이 존재하는 열 영상을 복원하여 객체를 용이하게 검출할 수 있다.
도 1 내지 도 12는 본 발명의 일 실시 예에 따른 딥러닝 기반 열 영상 재구성 장치를 설명하기 위한 도면들.
도 13 내지 도 20은 본 발명의 일 실시 예에 따른 딥러닝 기반 열 영상 재구성 장치의 복원 성능을 예시한 도면들.
도 21은 본 발명의 일 실시 예에 따른 딥러닝 기반 열 영상 재구성 방법을 설명하기 위한 도면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.
이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1 내지 도 8은 본 발명의 일 실시 예에 따른 딥러닝 기반 열 영상 재구성 장치를 설명하기 위한 도면들이다.
도 1을 참조하면, 딥러닝 기반 열 영상 재구성 장치(10)는 입력부(110), 컬러변환부(120), 고해상도복원부(130), 이미지분할부(140), 블러복원부(150) 및 이미지결합부(160)을 포함한다.
입력부(110)는 고해상도 복원을 수행하는 과정에서 필요한 열 영상 정보를 수신한다. 예를 들어, 입력부(110)는 열카메라로 취득한 흑백 열 영상 또는 컬러 열 영상을 수신할 수 있다.
컬러변환부(120)는 취득한 열 영상이 흑백 열 영상일 경우 컬러로 변환하여 측정된 열 영상의 온도에 상응하는 색상으로 표현한다.
도 2를 참조하면, 컬러변환부(120)는 흑백 열 영상의 0~255픽셀(총 256 픽셀)을 컬러로 매칭하여 변환한다. 예를 들어, 입력부(110)에 입력된 흑백 열 영상에서 열이 가장 높은 영역의 픽셀 값인 255는 하얀색으로, 열이 가장 낮은 영역의 픽셀 값인 0은 검정색으로 나타난다. 컬러변환부(120)는 입력부(110)에 입력된 흑백 열 영상을 컬러로 변환하여 열이 가장 높은 영역의 픽셀 값인 255는 빨간색(255,0,0)으로, 열이 가장 낮은 영역의 픽셀 값인 0은 파란색(0,0,255)으로 표현한다. 즉, 컬러변환부(120)는 1채널 열 영상(1-channel thermal image)을 3채널 열 영상(3-channel thermal image)으로 변환한다.
도 3을 참조하면, 흑백 공간(gray)에서의 PSNR(Peak Signal-to-Noise Ratio), SNR(Signal-to-Noise Ratio), SSIM(Structural Similarity Index Map) 값은 컬러 공간(RGB)보다 낮은 값이 측정되었으며, MSE(Mean Squre Error) 값은 컬러 공간(RGB 등)보다 높은 값이 측정되었다. 여기서, PSNR(Peak Signal-to-Noise Ratio), SNR(Signal-to-Noise Ratio) 및 MSE(Mean Squre Error)는 영상의 화질에 대한 손실 정보를 평가하는 지표이며, SSIM(Structural Similarity Index Map)은 시각적 품질을 평가하는 지표이다. PSNR(Peak Signal-to-Noise Ratio), SNR(Signal-to-Noise Ratio) 및 SSIM(Structural Similarity Index Map)값은 측정값이 높을수록 영상의 정확도가 높으며, MSE(Mean Squre Error)값은 측정값이 낮을수록 영상의 정확도가 높다.
열 영상 지표의 수치를 통해 컬러변환부(120)에서 열 영상의 온도에 상응하는 색상으로 변환된 컬러 열 영상은 흑백 열 영상보다 높은 품질의 열 영상 복원 성능을 구현함을 확인할 수 있다.
다시 도 1을 참조하면, 고해상도복원부(130)는 컬러변환부(120)에서 컬러 변환된 열 영상의 복원을 수행한다. 구체적으로, 고해상도복원부(130)는 컬러 변환된 열 영상의 해상도가 미리 설정된 기준 값 미만일 경우 고해상도 복원을 수행한다. 여기서, 고해상도복원부(130)는 도 4와 같이 고해상도 재구성 생성적적대신경망(SRRGAN)을 이용하여 해상도 복원을 수행한다.
고해상도 재구성 생성적적대신경망(SRRGAN)은 제너레이터 네트워크(Generator Network)와 디스크리미네이터 네트워크(Discriminator Network) 가 학습하면서 서로 경쟁을 하게끔 구성된다. 제너레이터 네트워크(Generator Network)는 입력 영상으로부터 데이터를 생성하는 역할을 수행하며, 디스크리미네이터 네트워크(Discriminator Network)는 입력으로 주어진 영상이 제너레이터 네트워크(Generator Network)를 통해 생성된 데이터인지, 실제 영상인지 구별하는 역할을 수행한다.
도 5를 참조하면, 고해상도 재구성 생성적적대신경망(SRRGAN)의 제너레이터 네트워크(Generator Network)는 저해상도 열 영상을 입력하여 높은 해상도의 열 영상 데이터를 생성한다. 이후, 디스크리미네이터 네트워크(Discriminator Network)는 입력된 영상이 실제 영상(1)인지 제너레이터 네트워크(Generator Network)를 통해 생성된 고해상도 영상(0)인지 판별하는 과정을 거쳐 고해상도 열 영상을 출력한다.
도 6 내지 도 8은 고해상도 재구성 생성적적대신경망(SRRGAN)의 제너레이터 네트워크(Generator Network) 및 디스크리미네이터 네트워크(Discriminator Network)의 구조를 나타낸다.
도 6을 참조하면, 제너레이터 네트워크(Generator Network)는 다수의 레이어(layer)로 구성된다. 구체적으로, 제너레이터 네트워크(Generator Network)는 17개의 레이어(layer)를 포함하며, 그 중 conv2d_1내지 conv2d_5 레이어(layer)는 9x9의 필터 크기를 가지고, 그 외 나머지 레이어(layer)는 3x3의 필터 크기를 가진다.
이 때, res_block 레이어(layer)의 구조는 도 7과 같이 conv2d_1, prelu, convd_2 및 add 레이어(layer)를 더 포함한다. 또한, 제너레이터 네트워크(Generator Network)는 1x1의 스트라이드(stride) 및 1x1의 패딩(padding)을 가진다.
도 8을 참조하면, 고해상도 재구성 생성적적대신경망(SRRGAN)의 디스크리미네이터 네트워크(Discriminator Network)는 9개의 레이어(layer)를 포함하며, 그 중 conv_block_1, conv_block_3 및 conv_block_6 레이어(layer)의 경우 1 스트라이드(stride) 및 1x1의 패딩(padding)을 가진다. 또한, 나머지 컨볼루션 블록인 conv_block_2, conv_block_4 및 conv_block_5 레이어(layer)의 경우 2 스트라이드(stride) 및 0x0의 패딩(padding)을 가진다. conv_block_1부터 conv_block_6까지의 모든 레이어(layer)는 3x3의 필터 크기를 가진다.
다시 도 1을 참조하면, 이미지분할부(140)는 컬러변환부(120)로부터 컬러 변환된 열 영상의 해상도가 미리 설정된 기준 값 이상일 경우 열 영상을 수신하여 열 영상의 온도에 상응하는 색상으로 변환된 전체 영상을 일정한 크기의 영역으로 나눌 수 있다. 또한, 이미지분할부(140)는 고해상도복원부(130)로부터 복원된 고해상도 열 영상을 수신하여 일정한 크기의 영역으로 나눌 수 있다. 여기서, 이미지분할부(140)는 미리 설정된 기준 값을 이용하여 복원된 고해상도 열 영상의 블러 현상을 판단하고, 블러 현상의 열 영상만을 수신하여 일정한 크기의 영역으로 나눌 수 있다.
예를 들어, 이미지분할부(140)는 도 9와 같이 360*360 크기의 열 영상을 60*60 크기로 나누어 열 영상을 생성한다. 만약 컬러로 변환된 전체 영상에 대해 일정한 크기로 나누지 않고 학습하는 경우, 전체 영상 내에 포함된 많은 특징을 학습하지 못하는 문제가 발생하여 열 영상의 블러 현상 복원 성능을 저하시킨다. 따라서, 본 발명의 일 실시 예에 따른 이미지분할부(140)는 블러 현상 복원 이전에 전체 영상을 일정한 크기로 나누는 과정을 수행하여 고품질의 열 영상을 취득할 수 있다.
블러복원부(150)는 이미지분할부(140)에서 일정한 크기로 나누어진 열 영상의 블러 현상 복원을 수행한다. 구체적으로, 블러복원부(150)는 디블러 컨볼루션 신경망(DeblurCNN)을 이용하여 블러 현상 복원을 수행한다.
디블러 컨볼루션 신경망(DeblurCNN)은 시각적 이미지를 분석하는 데 쓰이는 인공 신경망의 한 종류로, 이미지에서 특징을 추출하여 블러 현상을 처리하는 것을 특징으로 한다.
도 10을 참조하면, 디블러 컨볼루션 신경망(DeblurCNN)은 앞서 설명한 고해상도 재구성 생성적적대신경망(SRRGAN)과 같이 제너레이터 네트워크(Generator Network)와 디스크리미네이터 네트워크(Discriminator Network)로 구성된다. 디블러 컨볼루션 신경망(DeblurCNN)의 제너레이터 네트워크(Generator Network)는 블러 현상의 열 영상을 입력하여 블러 현상이 복원된 열 영상 데이터를 생성한다. 이후, 디스크리미네이터 네트워크(Discriminator Network)는 입력된 영상이 실제 영상(1)인지 제너레이터 네트워크(Generator Network)를 통해 생성된 블러 복원 영상(0)인지 판별한다.
디블러 컨볼루션 신경망(DeblurCNN)은 도 11과 같이 이미지분할부(140)에서 일정한 크기로 나누어진 영상을 입력하여 블러 현상 복원을 수행한다. 이후, 블러복원부(150)는 디블러 컨볼루션 신경망(DeblurCNN)을 통해 복원된 영상들을 이미지결합부(160)로 전송한다.
도 12를 참조하면, 디블러 컨볼루션 신경망(DeblurCNN)의 제너레이터 네트워크(Generator Network)는 12개의 레이어(layer)를 포함하며, 모든 레이어(layer)는 3x3의 필터 크기를 가진다. 또한, 제너레이터 네트워크(Generator Network)는 1x1의 스트라이드(stride) 및 1x1의 패딩(padding)을 가진다.
디블러 컨볼루션 신경망(DeblurCNN)의 제너레이터 네트워크(Generator Nework) res_block 레이어(layer)의 구조 및 디스크리미네이터 네트워크(Discriminator Network) 구조는 앞서 설명한 도 7 및 도 8의 고해상도 재구성 생성적적대신경망(SRRGAN)의 제너레이터 네트워크(Generator Nework) res_block 레이어(layer)의 구조 및 디스크리미네이터 네트워크(Discriminator Network)와 동일하다.
다시 도 1을 참조하면, 이미지결합부(160)는 블러복원부(150)로부터 디블러 컨볼루션 신경망(DeblurCNN)을 통해 복원된 영상들을 수신한다. 이후, 이미지결합부(160)는 나누어진 복원 영상들을 결합하여 하나의 전체 영상으로 재생성한다.
도 13내지 도 20은 본 발명의 일 실시 예에 따른 딥러닝 기반 열 영상 재구성 장치의 복원 성능을 예시한 도면들이다.
도 13 및 도 14를 참조하면, 본 발명의 일 실시 예에 따른 복원된 열 영상(Proposed method)은 기존 고해상도 복원 기법(Bicubic, SRCNN, SRGAN, PULSE) 및 기존 블러 현상 복원 기법(DeblurCNN, DeblurGAN, DeblurCGAN-v2)을 통해 복원된 열 영상보다 더 효과적인 복원 성능을 나타내는 것을 확인할 수 있다. 컬러변환부(200)에서의 컬러 변환을 통해 복원된 열 영상은 다른 복원 기법에 비해 원본과 가장 유사한 해상도 및 블러 현상 복원 효과를 가진다.
도 15를 참조하면, 본 발명의 일 실시 예에 따른 복원된 열 영상(Proposed method)은 SSIM(Structural Similarity Index Map) 측정값 비교를 통해 기존 고해상도 기법을 통해 복원된 열 영상보다 복원 성능이 우수함을 확인할 수 있다.
6개의 데이터를 이용하여 PSNR(Peak Signal-to-Noise Ratio), 및 SSIM(Structural Similarity Index Map) 값을 측정한 결과, 본 발명의 일 실시 예에 따른 복원된 열 영상(Proposed method)의 PSNR(Peak Signal-to-Noise Ratio) 최대값은 22.99, SSIM(Structural Similarity Index Map) 최대값은 0.9760으로 측정되었다. 측정된 SSIM(Structural Similarity Index Map)값은 다른 고해상도 복원 기법을 통해 복원된 열 영상보다 높은 값이 측정되었지만, PSNR(Peak Signal-to-Noise Ratio)값은 다른 고해상도 복원 기법을 통해 복원된 열 영상에 비해 비교적 낮은 값이 측정되었다. PSNR(Peak Signal-to-Noise Ratio)의 경우, 사람이 보는 시각적 품질 차이와 유사성을 정확하게 평가하지 못하며, 정확도가 불분명한 경우가 존재한다. 따라서, 본 발명에서는 SSIM(Structural Similarity Index Map) 값을 비교하여 열 영상의 품질을 상대적으로 평가한다.
도 16를 참조하면, 6개의 데이터를 이용하여 SSIM(Structural Similarity Index Map) 값을 측정한 결과, 본 발명의 일 실시 예에 따른 복원된 열 영상(Proposed method)의 SSIM(Structural Similarity Index Map) 최대값은 0.9873으로 측정되었다. 이를 통해, 본 발명의 일 실시 예에 따른 복원된 열 영상(Proposed method)은 SSIM(Structural Similarity Index Map) 측정값 비교를 통해 다른 복원 기법보다 블러 현상 복원 성능이 우수함을 확인할 수 있다.
도 17및 도 18은 본 발명의 일 실시 예에 따른 복원된 열 영상과 기존 고해상도 복원 기법 및 기존 블러 현상 복원 기법으로 복원된 열 영상을 비교하기 위한 또다른 예시이다. 앞서 도시한 도 13 및 도 14와 같이, 본 발명의 일 실시 예에 따른 복원된 열 영상(Proposed method)은 기존 고해상도 복원 기법(Bicubic, SRCNN, SRGAN, PULSE) 및 기존 블러 현상 복원 기법(DeblurCNN, DeblurGAN, DeblurCGAN-v2)을 통해 복원된 열 영상보다 더 효과적인 복원 성능을 나타낸다.
도 19및 도 20을 참조하면, 본 발명의 일 실시 예에 따른 복원된 열 영상(Proposed method)은 기존 고해상도 기법 및 기존 블러 현상 복원 기법으로 복원된 열 영상과의 Recall, Precision, GlobalACC, F1 및 Jaccard 값 비교를 통해 복원 성능을 확인한다.
여기서, Recall은 실제 정답 대비 검출 결과의 비율을 나타내고, Precision 검출기가 얼마나 정답과 가깝게 검출해 내는지의 비율을 나타내고, GlobalACC는 정확도로 검출기의 결과가 실제로 옳고 그른지에 상관없이 정답이라 하는 비율을 나타내고, F1은 Precision 과 Recall 결과의 조화평균값이고, Jaccard는 열 영상의 유사도를 계산한 값을 나타낸다.
도 19을 참조하면, 본 발명의 일 실시 예에 따른 복원된 열 영상(Proposed method)의 Recall, Precision, GlobalACC, F1 및 Jaccard값은 기존 고해상도 복원 기법(Bicubic, SRCNN, SRGAN, PULSE)의 Recall, Precision, GlobalACC, F1 및 Jaccard보다 높은 값이 측정되었으며, 도 20을 참조하면, 본 발명의 일 실시 예에 따른 복원된 열 영상(Proposed method)의 Recall, GlobalACC, F1 및 Jaccard값은 기존 블러 현상 복원 기법(DeblurCNN, DeblurGAN, DeblurCGAN-v2)의 Recall, GlobalACC, F1 및 Jaccard보다 높은 값이 측정되었다. 이를 통해, 본 발명의 일 실시 예에 따른 복원된 열 영상(Proposed method)은 다른 복원 기법보다 고해상도 및 블러 현상 복원 성능이 우수함을 확인할 수 있다.
도 21은 본 발명의 일 실시 예에 따른 딥러닝 기반 열 영상 재구성 방법을 설명하기 위한 도면이다.
도 21을 참조하면, 단계 S2101에서 딥러닝 기반 열 영상 재구성 장치(10)는 고해상도 복원을 수행하는 과정에서 필요한 열 영상 정보를 수신한다. 예를 들어, 딥러닝 기반 열 영상 재구성 장치(10)는 흑백 열 영상 또는 컬러 열 영상을 수신할 수 있다.
단계 S2103에서 딥러닝 기반 열 영상 재구성 장치(10)는 수신한 흑백 열 영상을 컬러로 변환한다. 구체적으로, 딥러닝 기반 열 영상 재구성 장치(10)는 흑백 열 영상의 0~255픽셀(총 256 픽셀)을 컬러로 매칭하여 변환한다. 예를 들어, 딥러닝 기반 열 영상 재구성 장치(10)에 입력된 흑백 열 영상에서 열이 가장 높은 영역의 픽셀 값인 255는 하얀색으로, 열이 가장 낮은 영역의 픽셀 값인 0은 검정색으로 나타난다. 딥러닝 기반 열 영상 재구성 장치(10)는 입력된 흑백 열 영상을 컬러로 변환하여 열이 가장 높은 영역의 픽셀 값인 255는 빨간색(255,0,0)으로, 열이 가장 낮은 영역의 픽셀 값인 0은 파란색(0,0,255)으로 표현한다.
단계 S2105에서 딥러닝 기반 열 영상 재구성 장치(10)는 컬러 변환된 열 영상의 해상도가 미리 설정된 기준 값 미만일 경우 단계 S2107로 이동하여 고해상도 복원을 수행한다. 여기서, 딥러닝 기반 열 영상 재구성 장치(10)는 고해상도 재구성 생성적적대신경망(SRRGAN)을 이용하여 해상도 복원을 수행한다.
단계 S2109에서 딥러닝 기반 열 영상 재구성 장치(10)는 미리 설정된 기준 값을 이용하여 복원된 고해상도 열 영상의 블러 현상을 판단하고 블러 현상일 경우 단계 S2111로 이동한다.
또한, 단계 S2105에서 컬러 변환된 열 영상의 해상도가 미리 설정된 기준 값 미만일 경우 단계 S2111로 이동한다.
단계 S2111에서 딥러닝 기반 열 영상 재구성 장치(10)는 수신한 열 영상을 일정한 크기로 나눈다.
예를 들어, 딥러닝 기반 열 영상 재구성 장치(10)는 360*360 크기의 열 영상을 60*60 크기로 나눈다. 만약 컬러로 변환된 전체 영상에 대해 일정한 크기로 나누지 않고 학습하는 경우, 전체 영상 내에 포함된 많은 특징을 학습하지 못하는 문제가 발생하여 열 영상의 블러 현상 복원 성능을 저하시킨다. 따라서, 본 발명의 일 실시 예에 따른 딥러닝 기반 열 영상 재구성 장치(10)는 블러 현상 복원 이전에 전체 영상을 일정한 크기로 나누는 과정을 수행하여 고품질의 열 영상을 취득할 수 있다.
단계 S2113에서 딥러닝 기반 열 영상 재구성 장치(10)는 디블러 컨볼루션 신경망(DeblurCNN)을 이용하여 열 영상 블러 복원을 수행한다.
단계 S2115에서 딥러닝 기반 열 영상 재구성 장치(10)는 복원 열 영상을 수신하고 나누어진 복원 영상들을 결합하여 하나의 전체 영상으로 재생성한다.
이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시 예 들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 지하철특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (10)

  1. 딥러닝 기반 열 영상 재구성 장치에 있어서,
    열카메라로 취득한 열 영상 정보를 수신하는 입력부;
    상기 수신한 열 영상을 온도에 상응하는 색상으로 컬러 변환하는 컬러변환부; 및
    상기 컬러 변환된 열 영상의 해상도가 미리 설정된 기준 값 미만일 경우 고해상도 복원을 수행하는 고해상도복원부를 포함하는 딥러닝 기반 열 영상 재구성 장치.
  2. 제 1항에 있어서,
    상기 컬러 변환된 열 영상의 해상도가 미리 설정된 기준 값 이상일 경우 상기 열 영상을 수신하여 일정한 크기의 영역으로 나누는 이미지분할부;
    상기 일정한 크기의 영역으로 나누어진 영상의 블러 복원을 수행하는 블러복원부; 및
    상기 블러복원부로부터 블러 복원된 열 영상들을 결합하여 하나의 전체 영상으로 재생성하는 이미지결합부를 더 포함하는 딥러닝 기반 열 영상 재구성 장치.
  3. 제1항에 있어서,　
    고해상도 복원된　열 영상을 수신하여 일정한 크기의 영역으로 나누는 이미지분할부;
    상기 일정한 크기의 영역으로 나누어진 영상의 블러 복원을 수행하는 블러복원부; 및
    상기 블러복원부로부터 블러 복원된 열 영상들을 결합하여 하나의 전체 영상으로 재생성하는 이미지결합부를 더 포함하는 딥러닝 기반 열 영상 재구성 장치.
  4. 제2항 또는 제3항에 있어서,
    상기 블러 복원부는　디블러 컨볼루션 신경망(DeblurCNN)을 이용하여 블러 복원을 수행하는　딥러닝 기반 열 영상 재구성 장치.
  5. 제1항에 있어서,
    상기 고해상도 복원부는　초고해상도 재구성 생성적적대신경망(SRRGAN)를 이용하여 고해상도 복원을 수행하는　　딥러닝 기반 열 영상 재구성 장치.
  6. 딥러닝 기반 열 영상 재구성 방법에 있어서,
    열카메라로 취득한 열 영상 정보를 수신하는 단계;
    상기 수신한 열 영상을 온도에 상응하는 색상으로 컬러 변환하는 단계; 및
    상기 컬러 변환된 열 영상의 해상도가 미리 설정된 기준 값 미만일 경우 고해상도 복원을 수행하는 단계를 포함하는 딥러닝 기반 열 영상 재구성 방법.
  7. 제 6항에 있어서,
    상기 컬러 변환된 열 영상의 해상도가 미리 설정된 기준 값 이상일 경우 상기 열 영상을 수신하여 일정한 크기의 영역으로 나누는 단계;
    상기 일정한 크기의 영역으로 나누어진 영상의 블러 복원을 수행하는 단계; 및
    상기 블러 복원된 열 영상들을 결합하여 하나의 전체 영상으로 재생성하는 단계를 더 포함하는 딥러닝 기반 열 영상 재구성 방법.
  8. 제 6항에 있어서,
    고해상도 복원된　열 영상을 수신하여 일정한 크기의 영역으로 나누는 단계;
    상기 일정한 크기의 영역으로 나누어진 영상의 블러 복원을 수행하는 단계; 및
    상기 블러 복원된 열 영상들을 결합하여 하나의 전체 영상으로 재생성하는 단계를 더 포함하는 딥러닝 기반 열 영상 재구성 방법.
  9. 제 7항 또는 제 8항에 있어서,
    상기 일정한 크기의 영역으로 나누어진 영상의 블러 복원을 수행하는 단계는
    디블러 컨볼루션 신경망(DeblurCNN)을 이용하여 블러 복원을 수행하는 딥러닝 기반 열 영상 재구성 방법.
  10. 재 6항에 있어서,
    상기 컬러 변환된 열 영상의 해상도가 미리 설정된 기준 값 미만일 경우 고해상도 복원을 수행하는 단계는 초고해상도 재구성 생성적적대신경망(SRRGAN)를 이용하여 고해상도 복원을 수행하는 딥러닝 기반 열 영상 재구성 방법.


KR1020200122728A 2020-09-23 2020-09-23 딥러닝 기반 열 영상 재구성 장치 및 방법 KR20220040025A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200122728A KR20220040025A (ko) 2020-09-23 2020-09-23 딥러닝 기반 열 영상 재구성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200122728A KR20220040025A (ko) 2020-09-23 2020-09-23 딥러닝 기반 열 영상 재구성 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20220040025A true KR20220040025A (ko) 2022-03-30

Family

ID=80948075

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200122728A KR20220040025A (ko) 2020-09-23 2020-09-23 딥러닝 기반 열 영상 재구성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20220040025A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102593677B1 (ko) * 2022-06-28 2023-10-25 주식회사 포딕스시스템 객체 검출 이미지 전처리 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102593677B1 (ko) * 2022-06-28 2023-10-25 주식회사 포딕스시스템 객체 검출 이미지 전처리 장치 및 방법

Similar Documents

Publication Publication Date Title
CN106575035B (zh) 用于光场成像的***和方法
EP2268043B1 (en) Image processing device, imaging device, method, and program
WO2014049978A1 (en) Image processing apparatus, imaging system, and image processing system
Peng et al. Residual pixel attention network for spectral reconstruction from RGB images
JP5186517B2 (ja) 撮像装置
JP5943393B2 (ja) 撮像装置
US20220253979A1 (en) Information processing system, endoscope system, and information storage medium
JP5765893B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
Wang et al. Compressive hyperspectral imaging with complementary RGB measurements
US9906691B2 (en) Methods and system for sparse blue sampling
EP4348298A1 (en) Systems and methods for obtaining color imagery using single photon avalanche diodes
KR20220040025A (ko) 딥러닝 기반 열 영상 재구성 장치 및 방법
US20080002909A1 (en) Reconstructing Blurred High Resolution Images
US11663708B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP2015035782A (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム
JP2014146872A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
Qi et al. A super-resolution fusion video imaging spectrometer based on single-pixel camera
EP4349000A1 (en) Systems and methods for power efficient image acquisition using single photon avalanche diodes (spads)
Couillaud et al. Nature-inspired color-filter array for enhancing the quality of images
JP2021078074A (ja) 映像処理装置、映像処理方法およびプログラム
JP2008160210A (ja) 情報処理方法および撮像装置
JP2013187711A (ja) 画像処理装置、撮像装置及び画像処理方法
Navinprashath et al. Learning based demosaicing and color correction for RGB-IR patterned image sensors
Wittenstein et al. TRM3 progress report
US20220414826A1 (en) Image processing apparatus, image processing method, and medium

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application