KR101841939B1 - 가시 및 적외선 데이터 결합을 이용한 이미지 처리 방법 - Google Patents

가시 및 적외선 데이터 결합을 이용한 이미지 처리 방법 Download PDF

Info

Publication number
KR101841939B1
KR101841939B1 KR1020160168416A KR20160168416A KR101841939B1 KR 101841939 B1 KR101841939 B1 KR 101841939B1 KR 1020160168416 A KR1020160168416 A KR 1020160168416A KR 20160168416 A KR20160168416 A KR 20160168416A KR 101841939 B1 KR101841939 B1 KR 101841939B1
Authority
KR
South Korea
Prior art keywords
image data
data
visible light
infrared
image
Prior art date
Application number
KR1020160168416A
Other languages
English (en)
Inventor
전광길
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020160168416A priority Critical patent/KR101841939B1/ko
Application granted granted Critical
Publication of KR101841939B1 publication Critical patent/KR101841939B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 가시 및 적외선 데이터 결합을 이용한 이미지 처리 방법에 관한 것으로서, 본 발명의 이미지 처리 방법은, 가시광 카메라를 이용하여 가시광 이미지 데이터(Imv)를 획득하고, 적외선 카메라를 이용하여 적외선 이미지를 획득하는 단계, 상기 적외선 이미지 데이터를 업샘플링하여 상기 가시광 이미지의 사이즈로 확대하는 단계, 상기 가시광 이미지 데이터로부터 고주파 통과 필터를 이용해 디테일 에지 데이터를 획득하는 단계, 및 상기 디테일 에지 데이터(hHPF*Imv)를 업샘플링된 상기 적외선 이미지 데이터(ImIR)와 융합하여 고해상도 적외선 이미지 데이터(ImIR out)를 생성하는 단계를 포함한다.

Description

가시 및 적외선 데이터 결합을 이용한 이미지 처리 방법{Image Processing Method using Fusion of Visible and Infrared Data}
본 발명은 이미지 처리 방법에 관한 것으로서, 특히, 가시광 이미지의 디테일 데이터를 이용하여 적외선 이미지의 화질을 개선하는 이미지 처리 방법에 관한 것이다.
가시광 카메라는 전자기 스펙트럼 상의 가시광 파장대의 전자기 신호에 대하여 이미지를 캡쳐하는 센서를 이용하는 일반적인 카메라이다. 반면, 적외선 카메라는 비가시광 파장대, 즉, 빨강색 파장 보다 더 큰 적외선(infrared) 파장대의 전자기 신호에 대하여 이미지를 캡쳐하는 센서를 이용하며 온도계(thermometer)와 같이 동작한다. 일반적으로 상온에서 물체로부터 방출되는 열적 방사의 대부분은 적외선을 포함하며, 이를 이용하여 적외선 카메라는 야간에 물체의 상을 획득하기 위하여 많이 활용되고 있다.
그러나, 적외선 카메라의 이미지는 가시광 카메라가 획득하는 이미지의 해상도보다 많이 떨어진다. 적외선 카메라의 이미지는 초고해상도(super resolution) 기법 등을 통하여 연속 이미지를 활용해 해상도를 증가시킬 수 있지만, 이러한 방식에도 불구하고 대부분의 상세 부분들이 충분히 선명하게 표시되지 못하고 누락되어 표시되는 문제점이 있다.
따라서, 본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은, 가시광 카메라 이미지에 대한 고주파 통과 필터링 결과를 적외선 카메라 이미지의 업샘플링 결과에 융합시킴으로써, 적외선 이미지의 화질을 개선하는 이미지 처리 방법을 제공하는 데 있다.
먼저, 본 발명의 특징을 요약하면, 상기의 목적을 달성하기 위한 본 발명의일면에 따른 이미지 처리 장치에서의 이미지 처리 방법은, 가시광 카메라를 이용하여 가시광 이미지 데이터(Imv)를 획득하고, 적외선 카메라를 이용하여 적외선 이미지를 획득하는 단계; 상기 적외선 이미지 데이터를 업샘플링하여 상기 가시광 이미지의 사이즈로 확대하는 단계; 상기 가시광 이미지 데이터로부터 고주파 통과 필터를 이용해 디테일 에지 데이터를 획득하는 단계; 및 상기 디테일 에지 데이터(hHPF*Imv)를 업샘플링된 상기 적외선 이미지 데이터(ImIR)와 융합하여 고해상도 적외선 이미지 데이터(ImIR out)를 생성하는 단계를 포함한다.
상기 가시광 이미지의 사이즈로 확대하는 단계에서, 니어리스트 네이버 매트릭스(hNN) 또는 바이리니어 매트릭스(hBI) 중 어느 하나 이상을 적용하여 확대하고,
Figure 112016121407073-pat00001
,
Figure 112016121407073-pat00002
인 것을 특징으로 한다.
상기 가시광 이미지의 사이즈로 확대하는 단계는, 바이큐빅 매트릭스(hBC)를 더 적용하고,
Figure 112016121407073-pat00003
인 것을 특징으로 한다.
상기 디테일 에지 데이터를 획득하는 단계에서, 상기 가시광 이미지 데이터로서 컬러 이미지 데이터로부터 분리된 휘도 데이터에 대하여 상기 디테일 에지 데이터를 획득할 수 있다.
상기 디테일 에지 데이터를 획득하는 단계에서, 공간 필터 매트릭스(hHPF)를 이용하여 상기 디테일 에지 데이터를 획득하고,
Figure 112016121407073-pat00004
이며, 여기서, p는 0보다 크고 1보다 작은 실수값, a, b, c, d, f, g, h, i는 음의 실수, e는 양의 실수이며, a+b+c+d+f+g+h+i=-e를 만족한다.
상기 고해상도 적외선 이미지 데이터(ImIR out)를 생성하는 단계에서, 상기 고주파 통과 필터를 위한 매트릭스(hHPF)를 이용하여, 수학식
Figure 112016121407073-pat00005
에 따라 상기 고해상도 적외선 이미지 데이터(ImIR out)를 생성할 수 있다.
그리고, 본 발명의 다른 일면에 따른 컴퓨터로 읽을 수 있는 코드로 구현된 기록 매체는, 가시광 카메라를 이용하여 가시광 이미지 데이터(Imv)를 획득하고, 적외선 카메라를 이용하여 적외선 이미지를 획득하는 기능; 상기 적외선 이미지 데이터를 업샘플링하여 상기 가시광 이미지의 사이즈로 확대하는 기능; 상기 가시광 이미지 데이터로부터 고주파 통과 필터를 이용해 디테일 에지 데이터를 획득하는 기능; 및 상기 디테일 에지 데이터(hHPF*Imv)를 업샘플링된 상기 적외선 이미지 데이터(ImIR)와 융합하여 고해상도 적외선 이미지 데이터(ImIR out)를 생성하는 기능을 수행한다.
본 발명에 따른 이미지 처리 방법에 따르면, 가시광 카메라 이미지에 대한 고주파 통과 필터링 결과를 적외선 카메라 이미지의 업샘플링 결과에 융합시킴으로써, 적외선 이미지의 선명도를 향상시키고 화질을 개선할 수 있다.
도 1은 본 발명의 일 실시예에 따른 이미지 처리 방법을 설명하기 위한 흐름도이다.
도 2는 다양한 컬러맵(colormap)에 따른 적외선 이미지들의 예들이다.
도 3에는 도 1의 (a) 이미지에 대하여 고주파 통과 필터의 파라미터 p=0.03, p=0.05, p=0.07, p=0.10, p=0.20, p=0.30에서의 디테일 에지 데이터의 결과에 따른 이미지의 예들이 도시되어 있다.
도 4에는 고주파 통과 필터의 파라미터 p=0.05가 적용된 경우에, 본래의 휘도 데이터 이미지(a), 업샘플링된 적외선 이미지(b)를 이용하여, 본 발명의 고해상도 적외선 이미지(c)를 획득할 수 있음을 나타내었다.
도 5는 본 발명의 고주파 통과 필터의 파라미터 p의 변화에 따라 따라 화질이 개선된 적외선 이미지들의 변화 예를 보여준다.
도 6은 본 발명의 고주파 통과 필터의 파라미터 p의 변화에 따라 화질이 개선된 적외선 이미지들에 대한 PSNR(a)과 MSE(b) 계산 결과에 대한 그래프를 나타낸다.
이하에서는 첨부된 도면들을 참조하여 본 발명에 대해서 자세히 설명한다. 이때, 각각의 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타낸다. 또한, 이미 공지된 기능 및/또는 구성에 대한 상세한 설명은 생략한다. 이하에 개시된 내용은, 다양한 실시 예에 따른 동작을 이해하는데 필요한 부분을 중점적으로 설명하며, 그 설명의 요지를 흐릴 수 있는 요소들에 대한 설명은 생략한다. 또한 도면의 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시될 수 있다. 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니며, 따라서 각각의 도면에 그려진 구성요소들의 상대적인 크기나 간격에 의해 여기에 기재되는 내용들이 제한되는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 이미지 처리 방법을 설명하기 위한 흐름도이다.
본 발명의 일 실시예에 따른 새로운 이미지 처리 방법은, 소정의 이미지 처리장치에서 구현될 수 있으며, 이미지 처리장치는 반도체 프로세서와 같은 하드웨어, 응용 프로그램과 같은 소프트웨어, 또는 이들의 결합으로 구현될 수 있다. 이미지 처리장치는 컴퓨팅 시스템일 수 있으며, 적어도 하나의 프로세서, 메모리, 사용자 인터페이스 입력 장치, 사용자 인터페이스 출력 장치, 스토리지, 및 네트워크 인터페이스 등을 포함할 수 있다. 프로세서는 중앙 처리 장치(CPU) 또는 메모리나 스토리지에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다.
도 1을 참조하면, 먼저, 본 발명의 일 실시예에 따른 이미지 처리 장치에서, 가시광 카메라가 피사체에 대하여 가시광 이미지(데이터)를 획득하고(S10), 적외선 카메라는 적외선 이미지(데이터)를 획득한다(S20).
도 2는 다양한 컬러맵(colormap)에 따른 적외선 이미지들의 예들이다. 예를 들어, 적외선 이미지는 도 2의 (a), (b), (c), (d)와 같이, 회색(gray), 핫(hot), 콜드(cold), 구리(copper) 등의 색조로 획득될 수 있으며, 일반적으로 가시광 이미지에 비교하여 낮은 해상도를 갖는다.
적외선 이미지는 가시광 이미지에 비교하여 낮은 해상도로 획득되므로, 이미지 처리 장치는 가시광 이미지의 사이즈로 이미지를 업샘플링하여 확대한다(S40). 업샘플링 레이트는 2, 즉, 2배로 사이즈가 커지도록 업샘플링될 수 있다.
고해상도 기법이 적용된 본 발명의 업샘플링 처리에서는, [수학식1], [수학식2], [수학식3]과 같이, 대상 픽셀(예, 2*2 픽셀) 주변에 제로(zero)를 추가하여 사이즈를 확대하기 위한 니어리스트 네이버(최근린내삽법, nearest neighbor) 매트릭스(hNN), 대상 픽셀(예, 2*2 픽셀)과 주변에 소정의 값(예, 평균값)을 할당하는 방식의 바이리니어(공일차내삽법, bilinear) 매트릭스(hBI), 소정의 픽셀 영역(예, 3*3, 5*5 픽셀 등)에 부드러운 처리를 위한 바이큐빅(쌍입방, bicubic) 매트릭스(hBC)와 같은 공간 필터들을 적용할 수 있다. 이들을 순차 적용((hBI)할 수도 있고, (hNN) 또는 (hBI) 중 어느 하나만을 적용하거나 조합하여 모두를 적용할 수도 있으며, (hBC)를 적용할 수도 있고 적용하지 않을 수도 있다.
[수학식1]
Figure 112016121407073-pat00006
[수학식2]
Figure 112016121407073-pat00007
[수학식3]
Figure 112016121407073-pat00008
한편, 가시광 카메라가 피사체에 대하여 가시광 이미지를 획득하면(S10), 이미지 처리 장치는 고주파 통과 필터(HPF, high pass filter)를 이용해 가시광 이미지로부터 디테일 에지 데이터를 획득한다(S30).
예를 들어, 가시광 카메라는 컬러 이미지 (데이터) (예, R(Red)G(Green)B(Blue) 색상 데이터)를 생성하고, 이미지 처리 장치는 이를 휘도(luminance) 데이터(Y)와 색차 데이터(Cb, Cr)로 이루어진 YCbCr 컬러 이미지 (데이터)로 변환하고, 분리된 휘도 데이터(Y)로부터 [수학식4]와 같은 고주파 통과를 위한 공간 필터(예, 3*3 픽셀 필터) 매트릭스 hHPF를 이용해 디테일 에지(edge) 데이터를 획득할 수 있다. 여기서, p는 강도(strength) 파라미터로서 0보다 크고 1보다 작은 실수값으로서 그 중 소정의 값으로 설정될 수 있다. a, b, c, d, f, g, h, i는 음의 실수, e는 양의 실수이며, a+b+c+d+f+g+h+i=-e를 만족한다(예, a=-2, b=-3, c=-2, d=-3, f=-3, g=-2, h=-3, i=-2, e=20). 도 3에는 도 1의 (a) 이미지에 대하여 고주파 통과 필터의 파라미터 p=0.03, p=0.05, p=0.07, p=0.10, p=0.20, p=0.30에서의 디테일 에지 데이터의 결과에 따른 이미지의 예들이 도시되어 있다.
[수학식4]
Figure 112016121407073-pat00009
다음에, 이미지 처리 장치는 [수학식5]와 같이 가시광 이미지(Imv)로부터 획득한 디테일 에지 데이터(hHPF*Imv)를 적외선 이미지의 업샘플링 데이터(ImIR)와 융합하여 고해상도 적외선 이미지(ImIR out)를 생성할 수 있다(S50).
[수학식5]
Figure 112016121407073-pat00010
도 4에는 고주파 통과 필터의 파라미터 p=0.05가 적용된 경우에, 본래의 휘도 데이터 이미지(a), 업샘플링된 적외선 이미지(b)를 이용하여, 본 발명의 고해상도 적외선 이미지(c)를 획득할 수 있음을 나타내었다.
도 5는 본 발명의 고주파 통과 필터의 파라미터 p의 변화에 따라 따라 화질이 개선된 적외선 이미지들의 변화 예를 보여준다.
가시광 이미지의 사이즈는 768*512이고, 본래의 적외선 이미지의 사이즈는 384*256이며, a=-2, b=-3, c=-2, d=-3, f=-3, g=-2, h=-3, i=-2, e=20이고, 도 5에서 (a), (b), (c), (d), (e), (f)는 본 발명에 따라 p=0.03, p=0.05, p=0.07, p=0.10, p=0.20일 때의 각각에 대한 적외선 이미지를 나타낸다. 도 5의 (a), (b), (c), (d), (e)에서 p가 증가함에 따라 가시광 이미지의 디테일 에지가 반영되어 에지가 강조됨을 확인하였고, 다만, 도 5의 (f)와 같이 p가 너무 큰 경우에는 과도하게 에지가 강조되어 자연스러운 이미지를 생성할 수 없는 경우도 있다. 따라서, 이미지 획득 환경에 따라 또는 a, b, c, d, f, g, h, i의 선택값 등에 따라, p는 0보다 크고 1보다 작은 실수값 중에서 적절히 선택하여 설정하는 것이 바람직하다.
도 6은 본 발명의 고주파 통과 필터의 파라미터 p의 변화에 따라 화질이 개선된 적외선 이미지들에 대한 PSNR(a)과 MSE(b) 계산 결과에 대한 그래프를 나타낸다.
도 6의 적외선 이미지 채널에 대한 PSNR(peak signal-to-noise ratio)(a)과 MSE(Mean Square Error)(b)의 계산 결과를 참조하면, p=0.03 ~ 0.3 중 p=0.03, 0.05 등 비교적 작은 값에서 우수한 화질 개선 성능을 보임을 확인하였다. 도 6의 (b)에서 p=0.20, 0.30에서의 MSE값이 너무 크게 나와 해당 그래프를 생략하였다.
상술한 바와 같이, 본 발명의 이미지 처리 방법에 따르면, 가시광 카메라 이미지에 대한 고주파 통과 필터링 결과를 적외선 카메라 이미지의 업샘플링 결과에 융합시킴으로써, 적외선 이미지의 선명도를 향상시키고 화질을 개선할 수 있다.
상술한 바와 같은 본 발명의 일 실시예에 따른 이미지 처리 장치에서 이미지 처리 방법의 수행을 위한 입출력 데이터 처리에 사용되는 기능은 컴퓨터 등 장치로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하며, 이와 같은 기록 매체와 컴퓨터 등 장치의 결합으로 기능 수행에 필요한 데이터나 정보를 입력하거나 출력하고 디스플레이하도록 구현할 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치, 하드 디스크, 이동형 저장장치 등이 있으며 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크(예, 인터넷, 이동통신 네트워크 등)로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장된 형태가 가능하며 네트워크를 통해 실행될 수도 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (12)

  1. 이미지 처리 장치에서의 이미지 처리 방법에 있어서,
    가시광 카메라를 이용하여 가시광 이미지 데이터(Imv)를 획득하고, 적외선 카메라를 이용하여 적외선 이미지를 획득하는 단계;
    상기 적외선 이미지 데이터를 업샘플링하여 상기 가시광 이미지의 사이즈로 확대하는 단계;
    상기 가시광 이미지 데이터로부터 고주파 통과 필터를 이용해 디테일 에지 데이터를 획득하는 단계; 및
    상기 디테일 에지 데이터(hHPF*Imv)를 업샘플링된 상기 적외선 이미지 데이터(ImIR)와 융합하여 고해상도 적외선 이미지 데이터(ImIR out)를 생성하는 단계를 포함하고,
    상기 디테일 에지 데이터를 획득하는 단계에서, 공간 필터 매트릭스(hHPF)를 이용하여 상기 디테일 에지 데이터를 획득하고,
    Figure 112017090035885-pat00027

    이며, 여기서, p는 0보다 크고 1보다 작은 실수값, a, b, c, d, f, g, h, i는 음의 실수, e는 양의 실수이며, a+b+c+d+f+g+h+i=-e를 만족하는 것을 특징으로 하는 이미지 처리 방법.
  2. 이미지 처리 장치에서의 이미지 처리 방법에 있어서,
    가시광 카메라를 이용하여 가시광 이미지 데이터(Imv)를 획득하고, 적외선 카메라를 이용하여 적외선 이미지를 획득하는 단계;
    상기 적외선 이미지 데이터를 업샘플링하여 상기 가시광 이미지의 사이즈로 확대하는 단계;
    상기 가시광 이미지 데이터로부터 고주파 통과 필터를 이용해 디테일 에지 데이터를 획득하는 단계; 및
    상기 디테일 에지 데이터(hHPF*Imv)를 업샘플링된 상기 적외선 이미지 데이터(ImIR)와 융합하여 고해상도 적외선 이미지 데이터(ImIR out)를 생성하는 단계를 포함하고,
    상기 가시광 이미지의 사이즈로 확대하는 단계에서,
    니어리스트 네이버 매트릭스(hNN) 또는 바이리니어 매트릭스(hBI) 중 어느 하나 이상을 적용하여 확대하고,
    Figure 112017090035885-pat00011
    ,
    Figure 112017090035885-pat00012

    인 것을 특징으로 하는 이미지 처리 방법.
  3. 제2항에 있어서,
    상기 가시광 이미지의 사이즈로 확대하는 단계에서,
    바이큐빅 매트릭스(hBC)를 더 적용하고,
    Figure 112016121407073-pat00013

    인 것을 특징으로 하는 이미지 처리 방법.
  4. 제1항에 있어서,
    상기 디테일 에지 데이터를 획득하는 단계에서,
    상기 가시광 이미지 데이터로서 컬러 이미지 데이터로부터 분리된 휘도 데이터에 대하여 상기 디테일 에지 데이터를 획득하는 것을 특징으로 하는 이미지 처리 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 고해상도 적외선 이미지 데이터(ImIR out)를 생성하는 단계에서,
    상기 고주파 통과 필터를 위한 매트릭스(hHPF)를 이용하여, 수학식
    Figure 112016121407073-pat00015

    에 따라 상기 고해상도 적외선 이미지 데이터(ImIR out)를 생성하는 것을 특징으로 하는 이미지 처리 방법.
  7. 가시광 카메라를 이용하여 가시광 이미지 데이터(Imv)를 획득하고, 적외선 카메라를 이용하여 적외선 이미지를 획득하는 기능;
    상기 적외선 이미지 데이터를 업샘플링하여 상기 가시광 이미지의 사이즈로 확대하는 기능;
    상기 가시광 이미지 데이터로부터 고주파 통과 필터를 이용해 디테일 에지 데이터를 획득하는 기능; 및
    상기 디테일 에지 데이터(hHPF*Imv)를 업샘플링된 상기 적외선 이미지 데이터(ImIR)와 융합하여 고해상도 적외선 이미지 데이터(ImIR out)를 생성하는 기능을 수행하고,
    상기 디테일 에지 데이터를 획득하는 기능에서,
    공간 필터 매트릭스(hHPF)를 이용하여 상기 디테일 에지 데이터를 획득하고,
    Figure 112017090035885-pat00028

    이며, 여기서, p는 0보다 크고 1보다 작은 실수값, a, b, c, d, f, g, h, i는 음의 실수, e는 양의 실수이며, a+b+c+d+f+g+h+i=-e를 만족하는 컴퓨터로 읽을 수 있는 코드로 구현된 기록 매체.
  8. 가시광 카메라를 이용하여 가시광 이미지 데이터(Imv)를 획득하고, 적외선 카메라를 이용하여 적외선 이미지를 획득하는 기능;
    상기 적외선 이미지 데이터를 업샘플링하여 상기 가시광 이미지의 사이즈로 확대하는 기능;
    상기 가시광 이미지 데이터로부터 고주파 통과 필터를 이용해 디테일 에지 데이터를 획득하는 기능; 및
    상기 디테일 에지 데이터(hHPF*Imv)를 업샘플링된 상기 적외선 이미지 데이터(ImIR)와 융합하여 고해상도 적외선 이미지 데이터(ImIR out)를 생성하는 기능을 수행하고,
    상기 가시광 이미지의 사이즈로 확대하는 기능에서,
    니어리스트 네이버 매트릭스(hNN) 또는 바이리니어 매트릭스(hBI) 중 어느 하나 이상을 적용하여 확대하고,
    Figure 112017090035885-pat00016
    ,
    Figure 112017090035885-pat00017

    인 것을 특징으로 하는 기록 매체.
  9. 제8항에 있어서,
    상기 가시광 이미지의 사이즈로 확대하는 기능에서,
    바이큐빅 매트릭스(hBC)를 더 적용하고,
    Figure 112016121407073-pat00018

    인 것을 특징으로 하는 기록 매체.
  10. 제7항에 있어서,
    상기 디테일 에지 데이터를 획득하는 기능에서,
    상기 가시광 이미지 데이터로서 컬러 이미지 데이터로부터 분리된 휘도 데이터에 대하여 상기 디테일 에지 데이터를 획득하는 것을 특징으로 하는 기록 매체.
  11. 삭제
  12. 제7항에 있어서,
    상기 고해상도 적외선 이미지 데이터(ImIR out)를 생성하는 기능에서,
    상기 고주파 통과 필터를 위한 매트릭스(hHPF)를 이용하여, 수학식
    Figure 112016121407073-pat00020

    에 따라 상기 고해상도 적외선 이미지 데이터(ImIR out)를 생성하는 것을 특징으로 하는 기록 매체.


KR1020160168416A 2016-12-12 2016-12-12 가시 및 적외선 데이터 결합을 이용한 이미지 처리 방법 KR101841939B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160168416A KR101841939B1 (ko) 2016-12-12 2016-12-12 가시 및 적외선 데이터 결합을 이용한 이미지 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160168416A KR101841939B1 (ko) 2016-12-12 2016-12-12 가시 및 적외선 데이터 결합을 이용한 이미지 처리 방법

Publications (1)

Publication Number Publication Date
KR101841939B1 true KR101841939B1 (ko) 2018-03-27

Family

ID=61874485

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160168416A KR101841939B1 (ko) 2016-12-12 2016-12-12 가시 및 적외선 데이터 결합을 이용한 이미지 처리 방법

Country Status (1)

Country Link
KR (1) KR101841939B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537766A (zh) * 2018-04-25 2018-09-14 江苏北方湖光光电有限公司 一种通用多波段融合ip核
CN111062378A (zh) * 2019-12-23 2020-04-24 重庆紫光华山智安科技有限公司 图像处理方法、模型训练方法、目标检测方法及相关装置
CN112233053A (zh) * 2020-09-23 2021-01-15 浙江大华技术股份有限公司 图像的融合方法、装置、设备及计算机可读存储介质
WO2021075799A1 (ko) * 2019-10-14 2021-04-22 엘지이노텍 주식회사 이미지 처리 장치 및 이미지 처리 방법
KR102257752B1 (ko) 2020-05-14 2021-05-31 인천대학교 산학협력단 인공지능 기반 적외선 이미지와 가시광선 이미지를 융합하는 영상 융합 장치 및 방법
CN113222879A (zh) * 2021-07-08 2021-08-06 中国工程物理研究院流体物理研究所 一种用于红外与可见光图像融合的生成对抗网络
CN113674192A (zh) * 2021-08-24 2021-11-19 燕山大学 红外视频图像与可见光视频图像融合方法、***及装置
CN113792592A (zh) * 2021-08-09 2021-12-14 深圳光启空间技术有限公司 图像采集处理方法和图像采集处理装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537766A (zh) * 2018-04-25 2018-09-14 江苏北方湖光光电有限公司 一种通用多波段融合ip核
WO2021075799A1 (ko) * 2019-10-14 2021-04-22 엘지이노텍 주식회사 이미지 처리 장치 및 이미지 처리 방법
CN111062378A (zh) * 2019-12-23 2020-04-24 重庆紫光华山智安科技有限公司 图像处理方法、模型训练方法、目标检测方法及相关装置
CN111062378B (zh) * 2019-12-23 2021-01-26 重庆紫光华山智安科技有限公司 图像处理方法、模型训练方法、目标检测方法及相关装置
KR102257752B1 (ko) 2020-05-14 2021-05-31 인천대학교 산학협력단 인공지능 기반 적외선 이미지와 가시광선 이미지를 융합하는 영상 융합 장치 및 방법
CN112233053B (zh) * 2020-09-23 2024-05-07 浙江大华技术股份有限公司 图像的融合方法、装置、设备及计算机可读存储介质
CN112233053A (zh) * 2020-09-23 2021-01-15 浙江大华技术股份有限公司 图像的融合方法、装置、设备及计算机可读存储介质
CN113222879A (zh) * 2021-07-08 2021-08-06 中国工程物理研究院流体物理研究所 一种用于红外与可见光图像融合的生成对抗网络
CN113222879B (zh) * 2021-07-08 2021-09-21 中国工程物理研究院流体物理研究所 一种用于红外与可见光图像融合的生成对抗网络
CN113792592A (zh) * 2021-08-09 2021-12-14 深圳光启空间技术有限公司 图像采集处理方法和图像采集处理装置
CN113792592B (zh) * 2021-08-09 2024-05-07 深圳光启空间技术有限公司 图像采集处理方法和图像采集处理装置
CN113674192A (zh) * 2021-08-24 2021-11-19 燕山大学 红外视频图像与可见光视频图像融合方法、***及装置
CN113674192B (zh) * 2021-08-24 2024-02-02 燕山大学 红外视频图像与可见光视频图像融合方法、***及装置

Similar Documents

Publication Publication Date Title
KR101841939B1 (ko) 가시 및 적외선 데이터 결합을 이용한 이미지 처리 방법
JP5284537B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置
US9100583B2 (en) Image processing apparatus for correcting an aberration of an image containing a luminance saturation part, image pickup apparatus, image processing method, and non-transitory recording medium storing program
CN102625043B (zh) 图像处理设备、成像设备和图像处理方法
JP5264968B2 (ja) 画像処理装置、画像処理方法、撮像装置、および、画像処理プログラム
CN104956661B (zh) 图像拾取装置、图像处理装置、图像处理方法
WO2011121760A1 (ja) 画像処理装置、およびそれを用いた撮像装置
JP6653460B2 (ja) 撮像装置、撮像システム、画像生成装置およびカラーフィルタ
CN102957846B (zh) 图像处理方法、图像处理装置和图像拾取装置
JP2010034964A (ja) 画像合成装置、画像合成方法及び画像合成プログラム
JP2018508898A (ja) デジタルズーム方法およびシステム
JP5771677B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
JPWO2017169039A1 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP5765893B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2020061080A (ja) 画像処理装置、撮像装置、画像処理方法
CN108122218B (zh) 基于颜色空间的图像融合方法与装置
US10810714B2 (en) Image restoration processing utilizing settings for image correction
JP5653464B2 (ja) 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2012003454A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP6335614B2 (ja) 画像処理装置、その制御方法、及びプログラム
JP4992379B2 (ja) 画像の階調変換装置、プログラム、電子カメラ、およびその方法
JP5645981B2 (ja) 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2020145553A (ja) 画像処理装置、画像処理方法、及びプログラム
KR101205833B1 (ko) 디지털 줌 시스템을 위한 영상 처리 장치 및 방법
JP2018067868A (ja) 撮像装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant