KR101882739B1 - 패턴을 이용한 영상 해상도 변환 장치 및 방법 - Google Patents

패턴을 이용한 영상 해상도 변환 장치 및 방법 Download PDF

Info

Publication number
KR101882739B1
KR101882739B1 KR1020170091114A KR20170091114A KR101882739B1 KR 101882739 B1 KR101882739 B1 KR 101882739B1 KR 1020170091114 A KR1020170091114 A KR 1020170091114A KR 20170091114 A KR20170091114 A KR 20170091114A KR 101882739 B1 KR101882739 B1 KR 101882739B1
Authority
KR
South Korea
Prior art keywords
image
training
images
channel
color filter
Prior art date
Application number
KR1020170091114A
Other languages
English (en)
Inventor
전광길
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020170091114A priority Critical patent/KR101882739B1/ko
Application granted granted Critical
Publication of KR101882739B1 publication Critical patent/KR101882739B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0102—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving the resampling of the incoming video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

본 발명에 따르면, 다수의 훈련 영상과 대상 영상에 대한 RRGB, RGGB 및 RGBB 패턴이 저장되고, 각 훈련 영상과 대상 영상의 각 픽셀에 대하여 R, G, B의 각각에 대한 실측값을 저장하고 있는 데이터베이스; 상기 데이터베이스에서 다수의 훈련 영상에 대한 RRGB, RGGB 및 RGBB 패턴을 입력받아 각각의 훈련 영상의 RRGB, RGGB 및 RGBB 패턴에 대하여 R, G, B 채널의 영상으로 채널별로 분리하고, 분리된 각 채널별 영상을 다운 샘플링함으로써 각 채널별로 저해상도 영상들을 형성하여 복원 영상을 형성하고, 상기 데이터베이스에서 각 훈련 영상과 대상 영상의 각 픽셀에 대하여 R, G, B의 각각에 대한 실측값을 입력받아 훈련 필터를 설계하는 훈련 필터 설계 모듈; 및 다른 패턴을 갖는 다수의 컬러 필터 어레이(Color Filter Arrary) 가운데 성능을 검증할 컬러 필터 어레이를 선택하여, 해당 선택된 컬러 필터 어레이를 갖는 이미지 센서로 촬영된 대상 영상을 데이터베이스에서 입력받아 R, G, B 채널의 영상으로 채널별로 분리하고, 분리된 각 채널별 영상을 다운 샘플링함으로써 각 채널별로 저해상도 영상들을 형성하며, 대상 영상을 설계된 훈련 필터에 입력하여 복원 영상을 획득하여 대상 영상과 복원 영상을 비교하여 컬러 필터 어레이의 성능을 검증하는 성능 검증 모듈을 포함하는 영상 해상도 변환 장치가 제공된다.

Description

패턴을 이용한 영상 해상도 변환 장치 및 방법{Images Upsampling and Pattern Assignment Apparatus and Method thereof}
본 발명은 패턴을 이용한 영상 해상도 변환 장치 및 방법에 관한 것이다.
디지털 카메라로 촬영한 이미지에는 CCD 또는 CMOS와 같은 센서에 필터가 표시되어야 한다[1-3]. 이러한 필터는 센서의 위치를 따라 사전 할당된다[4.5].
베이어(Bayer) 패턴 컬러 필터 어레이(Color Filter Array:CFA)는 널리 사용되는 CFA로 RGGB 패턴이 일반적으로 채택되지만 CFA 필터의 대안이 있을 수 있다.
CFA 이미지에서 컬러 이미지를 얻으려면 각 픽셀 위치에 빨강, 녹색 및 파랑의 세 가지 색상 구성 요소가 있어야 한다.
모자이크 단계에서 CFA 이미지는 두 가지 색상 구성 요소를 잃어 버리고 하나의 색상 정보만 남는다. 그러므로, 이 정보는 보간법에 의해 재구성되어야 한다.
보간법은 최근접 이웃(nearest-neighbor), 쌍 선형(bilinear) 또는 쌍 큐빅(bi-cubic) 방법이 있다[6-10].
일반적으로 이러한 방법은 컬러 평면에서 심각한 앨리어싱 효과를 일으킬 수 있다[11-13]. 따라서 개별 평면에서의 디모자이킹은 효과적이지 않다.
대안으로, 일부 방법은 사전 정의된 필터를 사용하는데, 여기서 디모자이킹은 주파수 영역에서 수행된다[14,15].
여기서 모든 필터는 사전 훈련을 거쳐 사전 설계되어 있으며 공간별 방법보다 이미지 앨리어싱이 덜 표시된다.
[1] B. E. Bayer, "Color imaging array", U.S. Patent 3 971 065, (1976). [2] J. Hamilton and J. Adams, "Adaptive color plan interpolation in single sensor color electronic camera", US Patent 5,629,734, (1997). [3] J. Wu, A. Paul, Y. Xing, Y. Fang, J. Jeong, L. Jiao and G. Shi, "Morphological dilation image 107 coding with context weights prediction", Signal Processing: Image Communication, vol. 25, no. 10, (2010), pp.717.728. [4] W. Wu, Z. Liu and X. He, "Learning-based super resolution using kernel partial least squares", Image Vision Comput., vol. 29, (2011), pp. 394.406. [5] J. Wu, J. Huang, G. Jeon, J. Jeong and L.C. Jiao, "An adaptive autoregressive de-interlacing method", Optical Engineering, vol. 50, no. 5, (2011), pp. 057001. [6] W. Wu, Z. Liu, W. Gueaieb and X. He, "Single-image super-resolution based on Markov random field and contourlet transform", J. Electron. Imaging, vol. 20, (2011), pp. 023005. [7] J. Wu, T. Li, T.-J. Hsieh, Y.-L. Chang and B. Huang, "Digital signal processor-based 3D Wavelet 116 error-resilient lossless compression of high-resolution spectrometer data", Journal of Applied Remote Sensing, vol. 5, (2011), pp. 051504. [8] K. He, J. Sun and X. Tang, "Guided image filtering", in Proc. of the 11th European Conf. on Computer Vision (ECCV) 6311, (2010), pp. 1-14.
본 발명은 복수의 컬러 필터 어레이를 통해 촬영된 영상을 복원한 영상과 원본 영상을 비교 분석함으로써, 효율적으로 각 컬러 필터 어레이의 성능을 분석하고 그 검증 결과를 제공할 수 있는 패턴을 이용한 영상 해상도 변환 장치 및 방법을 제공한다.
본 발명은 다수의 훈련 영상과 대상 영상에 대한 RRGB, RGGB 및 RGBB 패턴이 저장되고, 각 훈련 영상과 대상 영상의 각 픽셀에 대하여 R, G, B의 각각에 대한 실측값을 저장하고 있는 데이터베이스; 상기 데이터베이스에서 다수의 훈련 영상에 대한 RRGB, RGGB 및 RGBB 패턴을 입력받아 각각의 훈련 영상의 RRGB, RGGB 및 RGBB 패턴에 대하여 R, G, B 채널의 영상으로 채널별로 분리하고, 분리된 각 채널별 영상을 다운 샘플링함으로써 각 채널별로 저해상도 영상들을 형성하여 복원 영상을 형성하고, 상기 데이터베이스에서 각 훈련 영상과 대상 영상의 각 픽셀에 대하여 R, G, B의 각각에 대한 실측값을 입력받아 훈련 필터를 설계하는 훈련 필터 설계 모듈; 및 다른 패턴을 갖는 다수의 컬러 필터 어레이(Color Filter Arrary) 가운데 성능을 검증할 컬러 필터 어레이를 선택하여, 해당 선택된 컬러 필터 어레이를 갖는 이미지 센서로 촬영된 대상 영상을 데이터베이스에서 입력받아 R, G, B 채널의 영상으로 채널별로 분리하고, 분리된 각 채널별 영상을 다운 샘플링함으로써 각 채널별로 저해상도 영상들을 형성하며, 대상 영상을 설계된 훈련 필터에 입력하여 복원 영상을 획득하여 대상 영상과 복원 영상을 비교하여 컬러 필터 어레이의 성능을 검증하는 성능 검증 모듈을 포함하는 패턴을 이용한.
한편, 본 발명은 (A) 데이터베이스에 다수의 훈련 영상과 대상 영상에 대한 RRGB, RGGB 및 RGBB 패턴이 저장되고, 각 훈련 영상과 대상 영상의 각 픽셀에 대하여 R, G, B의 각각에 대한 실측값을 저장하는 단계; (B) 훈련 필터 설계 모듈은 상기 데이터베이스에서 다수의 훈련 영상에 대한 RRGB, RGGB 및 RGBB 패턴을 입력받아 각각의 훈련 영상의 RRGB, RGGB 및 RGBB 패턴에 대하여 R, G, B 채널의 영상으로 채널별로 분리하고, 분리된 각 채널별 영상을 다운 샘플링함으로써 각 채널별로 저해상도 영상들을 형성하여 복원 영상을 형성하고, 상기 데이터베이스에서 각 훈련 영상과 대상 영상의 각 픽셀에 대하여 R, G, B의 각각에 대한 실측값을 입력받아 훈련 필터를 설계하는 단계; 및 (C) 성능 검증 모듈은 다른 패턴을 갖는 다수의 컬러 필터 어레이(Color Filter Arrary) 가운데 성능을 검증할 컬러 필터 어레이를 선택하여, 해당 선택된 컬러 필터 어레이를 갖는 이미지 센서로 촬영된 대상 영상을 데이터베이스에서 입력받아 R, G, B 채널의 영상으로 채널별로 분리하고, 분리된 각 채널별 영상을 다운 샘플링함으로써 각 채널별로 저해상도 영상들을 형성하며, 대상 영상을 설계된 훈련 필터에 입력하여 복원 영상을 획득하여 대상 영상과 복원 영상을 비교하여 컬러 필터 어레이의 성능을 검증하는 단계를 포함한다.
이상에서 설명한 바와 같이, 본 발명은 복수의 컬러 필터 어레이를 통해 촬영된 영상을 복원한 영상과 원본 영상을 비교 분석함으로써, 효율적으로 각 컬러 필터 어레이의 성능을 분석할 수 있다.
또한, 본 발명은 복수의 컬러 필터 어레이에 대한 검증 결과를 제공하여 컬러 필터 어레이 선정에 유효한 정보를 제공할 수 있다.
도 1은 대각선 패턴 CFA의 예를 보여준다.
도 2는 RRGB, RGGB 및 RGBB 베이어 패턴 CFA가 형성되는 방법을 보여준다.
도 3은 본 발명의 일 실시예에 따른 패턴을 이용한 영상 해상도 변환 장치의 구성도이다.
도 4는 본 발명의 일 실시예에 따른 훈련 필터의 설계 과정을 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 따른 컬러 필터 어레이 성능 검증 방법의 흐름도이다.
도 6의 (a)는 # 104 영상에 대한 RRGB 경우의 적색 채널 주파수 응답이고, (b)는 # 104 영상에 대한 RRGB 경우의 녹색 채널 주파수 응답이며, (c)는 # 104 영상에 대한 RRGB 경우의 파란색 채널 주파수 응답이고, (d)는 # 105 영상에 대한 RRGB 경우의 적색 채널 주파수 응답을 나타낸다.
도 7의 (a)는 # 104 영상에 대한 RGGB 경우의 적색 채널 주파수 응답이고, (b)는 # 104 영상에 대한 RGGB 경우의 녹색 채널 주파수 응답이며, (c)는 # 104 영상에 대한 RGGB 경우의 파란색 채널 주파수 응답이고, (d)는 # 105 영상에 대한 RGGB 경우의 적색 채널 주파수 응답을 나타낸다.
도 8의 (a)는 # 104 영상에 대한 RGBB 경우의 적색 채널 주파수 응답이고, (b)는 # 104 영상에 대한 RGBB 경우의 녹색 채널 주파수 응답이며, (c)는 # 104 영상에 대한 RGBB 경우의 파란색 채널 주파수 응답이고, (d)는 # 105 영상에 대한 RGBB 경우의 적색 채널 주파수 응답을 나타낸다.
도 9의 (a)는 # 23 LC 이미지의 CFA 영상에 대한 시뮬레이션 결과 이미지를 보여준다. 도 9의 (b) 및 도 9의 (c)는 도 9의 (a)의 녹색 및 파란색 성분을 나타낸다. 도 9의 (d)는 복원된 적색 성분을 표시한다. 도 9의 (e)는 도 9의 (f)에 표시된 원래의 이미지에 매우 시각적으로 가까운 디모자이크 처리된 이미지를 보여준다. 도 9의 (f)는 원래 이미지를 보여준다.
도 10의 (a)는 # 24 LC 이미지의 CFA 영상에 대한 시뮬레이션 결과 이미지를 보여준다. 도 10의 (b) 및 도 10의 (c)는 도 10의 (a)의 녹색 및 파란색 성분을 나타낸다. 도 10의 (d)는 복원된 적색 성분을 표시한다. 도 10의 (e)는 도 10의 (f)에 표시된 원래의 이미지에 매우 시각적으로 가까운 디모자이크 처리된 이미지를 보여준다. 도 10의 (f)는 원래 이미지를 보여준다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 이하에서는 특정 실시예들을 첨부된 도면을 기초로 상세히 설명하고자 한다.
이하의 실시예는 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시 예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
도 1은 대각선 패턴 CFA의 예를 보여준다. 대각선 패턴 CFA에서, 3개의 컬러 성분이 대각선 형태로 할당된다.
첫 번째 열의 이미지는 대각선 패턴 CFA이고 두 번째 열의 이미지는 R, G, B 각각에 대하여 분리된 이미지이다. 세 번째 열의 이미지는 각각의 R, G, B에 대하여 복원된 이미지이다. 마지막 열의 이미지는 각각의 R, G, B에 대하여 복원된 이미지를 합성한 이미지이다.
일반적으로 원하지 않는 색 아티팩트는 두 번째 및 세 번째 열 단계 사이에서 생성된다. 그러므로 주어진 R, G, B로부터 r, g, b 정보를 잘 재생하는 것이 중요하다.
도 2는 RRGB, RGGB 및 RGBB 베이어 패턴 CFA가 형성되는 방법을 보여준다.
도 2에서 아래에 위치한 세 개의 이미지는 도 1의 RGBB, RRGB 및 RGGB 패턴이다. 여기서, 4 개의 픽셀은 한 쌍으로 취급될 수 있다.
RRGB 컬러 필터 어레이는 R:G:B의 비율이 2:1:1이고, RGGB 컬러 필터 어레이는 R:G:B의 비율이 1:2:1이고, RGBB 컬러 필터 어레이는 R:G:B의 비율이 1:1:2인 필터 어레이이다.
도 2의 RRGB 컬러 필터 어레이, RGGB 컬러 필터 어레이 및 RGBB 컬러 필터 어레이는 기존의 베이어 패턴 필터(Bayer color pattern filter) 보다 컬러 아티팩트(artifact)에 대한 성능이나, 앨리어싱(aliasing) 현상에 대한 억제 성능 등이 우수하다.
주관적이고 객관적인 성능을 향상시키려는 많은 디모자이킹 방법이 있다. 가장 잘 알려진 세 가지 방법은 최근접 이웃 보간법(nearest-neighbor interpolation), 쌍 선형 보간법(bilinear interpolation) 및 쌍 큐빅 보간법(bi-cubic interpolation method)이다.
각 방법은 차이가 나는 특성을 가지고 있다. 예를 들어 최근접 이웃 보간은 단순히 같은 색상 구성 요소의 인접한 정보를 복제하지만,이 방법은 부적절한 색조를 유발한다.
쌍 선형 방법을 사용하려면 각 색 성분의 인접 화소의 평균값을 구하는데, 그러나 이 방법은 심각한 색 아티팩트를 가져온다. 이러한 아티팩트는 특히 세부 영역(예 : 가장자리)에 표시된다.
쌍 큐빅(bi-cubic) 방법은 쌍 선형(bilinear) 방법의 확장 된 버전으로, 더 많은 픽셀을 사용하여 누락된 구성 요소를 계산한다. 각 픽셀에서 서로 다른 가중치가 할당되고 일반적으로 더 높은 가중치가 중심 근처의 픽셀에 할당된다.
커널(K)은 컨볼루션 행렬의 한 형태이며, 커널(K)는 3*3 행렬로 표현될 수 있으며 이미지 가장자리(edge)를 감지하거나, 흐리게 하거나, 선명하게 하거나, 엠보싱하는데 사용할 수 있다.
예를 들어, 수학식 (1)은 에지 검출 커널을 나타낸다. 여기서 a와 b의 관계는 a = -b, c와 d의 관계는 d = -4c, e와 f의 관계는 f = -8e이다.
(수학식 1)
Figure 112017068900915-pat00001
수학식 (2)는 모든 계수의 합이 1에 도달하는 선명화 커널을 보여준다. 여기서, g와 h의 관계는 h = -4g + 1이다.
(수학식 2)
Figure 112017068900915-pat00002
수학식 (3)은 블러링 커널을 보여준다. 블러링 커널에는 정규화 및 가우시안으로 두 가지 종류가 있다.
정규화 커널은 다음과 같은 형식을 취한다.
(수학식 3)
Figure 112017068900915-pat00003
여기서 i와 j의 관계는 j = 9i이다. 가우시안(Gaussian)의 경우, 가우시안 블러링(Gaussian blurring) 커널의 한 예는 다음 수학식 (4)와 같다.
(수학식 4)
Figure 112017068900915-pat00004
여기서 k, l, m 및 n의 관계는 n = 4m = 8l = 16k이다.
가우스 함수는 스프레드 σ를 가지는 하나의 변수로 다음과 같이 표시된다.
(수학식 5)
Figure 112017068900915-pat00005
위에 수식은 2개의 변수를 가지는 아래 수학식 6으로 표시된다.
(수학식 6)
Figure 112017068900915-pat00006
한편, 필터링 프로세스는 행렬 곱셈을 사용하는 컨볼루션(convolution)과 단순히 "*"로 표시된다.
본 발명에서는 최소한의 비용으로 필요한 조건을 얻기 위해 널리 사용되는 표준 기술 중 하나인 최소 제곱법을 사용했다. 이 방법은 여분 및 보간과 같은 데이터 피팅 문제에 특히 유용하며, 스무딩 및 근사 문제가 발생한다.
본 발명에서는 이 특성에 초점을 맞추어 주어진 복수의 훈련 이미지를 사용하여 모자이킹에 사용되는 훈련 필터를 얻는다.
도 3은 본 발명의 일 실시예에 따른 패턴을 이용한 영상 해상도 변환 장치의 구성도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 패턴을 이용한 영상 해상도 변환 장치는 데이터베이스(10), 훈련 필터 설계 모듈(100) 및 성능 검증 모듈(200)로 구성되어 있다.
상기 데이터베이스(10)에는 다수의 훈련 영상에 대한 데이터가 저장되어 있으며, 저장된 다수의 훈련 영상에 대한 데이터는 각각의 훈련 영상에 대한 RRGB 컬러 필터 어레이, RGGB 컬러 필터 어레이 및 RGBB 컬러 필터 어레이를 통과한 RRGB, RGGB 및 RGBB 패턴이 저장되어 있다.
그리고, 각 훈련 영상의 각 픽셀에 대하여 R, G, B의 각각에 대한 실측값을 저장하고 있다.
또한, 데이터베이스(10)에는 다수의 대상 영상에 대한 데이터가 저장되어 있으며, 저장된 다수의 대상 영상에 대한 데이터는 각각의 대상 영상에 대한 RRGB 컬러 필터 어레이, RGGB 컬러 필터 어레이 및 RGBB 컬러 필터 어레이를 통과한 RRGB, RGGB 및 RGBB 패턴이 저장되어 있다.
그리고, 각 대상 영상의 각 픽셀에 대하여 R, G, B의 각각에 대한 실측값을 저장하고 있다.
다음으로, 훈련 필터 설계 모듈(100)은 영상 입력부(110), 다운 샘플링부(120), 신호 처리부(130) 및 필터 설계부(140)를 포함하고 있다.
상기 영상 입력부(110)는 데이터베이스(10)에서 다수의 훈련 영상에 대한 RRGB, RGGB 및 RGBB 패턴을 입력받는다.
그리고, 다운 샘플링부(120)는 각각의 훈련 영상의 RRGB, RGGB 및 RGBB 패턴에 대하여 R, G, B 채널의 영상으로 채널별로 분리하고, 분리된 각 채널별 영상을 다운 샘플링함으로써 각 채널별로 저해상도 영상들을 형성한다.
이때, 신호 처리부(130)는 다운 샘플링부(120)에서 출력되는 다운 샘플링된 영상에서 지정된 신호 처리를 수행한다.
일예로, 신호 처리부(130)에서 수행되는 신호 처리는 영상 가장자리(edge)를 감지하거나, 흐리게 하거나, 선명하게 하거나, 엠보싱하는 처리를 수행한다.
그리고, 필터 설계부(140)는 각각의 훈련 영상의 RRGB, RGGB 및 RGBB 패턴에 대하여 R, G, B 채널별로 분리되고 다운 샘플링된 각 채널별 저해상도 영상들을 입력받고 복원 영상을 형성하고, 상기 데이터베이스(10)에서 각 훈련 영상의 각 픽셀에 대한 R, G, B의 각각에 대한 실측값을 입력받아 훈련 필터를 설계한다.
이때, 상기 필터 설계부(140)는 훈련 영상의 실측 픽셀값과 복원 영상의 복원 픽셀값 사이의 제곱 오차를 최소화하는 과정을 통해서 훈련 필터를 설계한다.
설계된 훈련 필터는 다음과 같이 얻어진다.
N개의 훈련 영상(xi)(i=1,2, · · · ,N)의 실측 픽셀값이 Yi라 하면, (x1, Y1), (x2, Y2), · · · , (xN, YN)로 표현되며, 이때 복원 영상의 복원 픽셀값을 yi라고 할 때에, 최소 제곱법을 사용하여 각각의 훈련 영상 xi에 대한 다음과 같이 n개의 지정된 함수 Xij(j=1,2, · · · ,n)의 선형 결합의 형태로 나타내면 수학식 7과 같다.
(수학식 7)
Figure 112017068900915-pat00007
여기에서, j=1,2,...,n이고, βj는 훈련 영상 xi에 대하여 n개의 지정된 함수 Xij의 각각에 대응되는 결정 계수이며, i=1, 2,...,N고, xi는 훈련 영상이고, yi는 복원된 영상이다.
상기 수학식 7은 다음 수학식 8과 같이 행렬 형식으로 표현된다.
(수학식 8)
Figure 112017068900915-pat00008
여기에서, X는 훈련 영상 행렬이고, β는 결정 계수 행렬이며, y는 복원된 영상 행렬이다.
그러면, 결정 계수 β는 비용을 최소화한다는 의미에서 다음 방법에 의해 얻어진다.
(수학식 9)
Figure 112017068900915-pat00009
여기에서, S는 제곱 오차이며, 훈련 영상의 픽셀 값에서 복원된 영상의 픽셀값을 감산한 오차를 나타낸다.
결정 계수 행렬 β는 훈련 영상 행렬 X와 훈련 영상 행렬의 전치 행렬 X T 그리고 복원 영상 행렬 y를 사용하면 최종 수식은 다음 수학식 10과 같다.
(수학식 10)
Figure 112017068900915-pat00010
한편, 성능 검증 모듈은 영상 입력부(210), 다운 샘플링부(220), 복원 영상 획득부(230) 및 성능 검증부(240)를 포함한다.
상기 영상 입력부(210)는 다른 패턴을 갖는 다수의 컬러 필터 어레이(Color Filter Arrary) 가운데 성능을 검증할 컬러 필터 어레이를 선택하여, 해당 선택된 컬러 필터 어레이를 갖는 이미지 센서로 촬영된 대상 영상을 데이터베이스에서 입력받는다.
물론, 일 실시예에서, 컬러 필터 어레이 검증 방법이 컴퓨팅 시스템의 하드웨어 또는 소프트웨어 모듈로 구현된 경우, 해당 컴퓨팅 시스템이 선택된 컬러 필터 어레이를 갖는 이미지 센서로 촬영된 대상 영상을 입력받아 처리할 수 있다.
이처럼 영상 입력부(210)는 데이터베이스에 이미 저장되어 있는 대상 영상을 선택하여 입력받을 수도 있고, 이미지 센서로부터 직접 촬영된 영상을 입력받을 수도 있다.
상기 다운 샘플링부(220)는 대상 영상이 입력되면 입력받은 대상 영상을 R, G, B 채널의 영상으로 분리하고, 분리된 각 영상을 다운 샘플링함으로써 저해상도 영상들을 형성한다.
상기 복원 영상 획득부(230)는 대상 영상을 설계된 훈련 필터에 입력하여 복원 영상을 획득한다.
상기 훈련 필터는 컬러 필터를 통해 컬러 필터링되어 촬영된 영상을 보간(Interpolation)하여 영상을 복원할 수 있다. 즉, 대상 영상이 입력되면, 설계된 훈련 필터는 입력된 대상 영상을 보간하여 복원 영상을 획득한다.
성능 검증부(240)는 훈련 필터를 통해 복원 영상이 획득되면, 대상 영상과 복원 영상을 비교하여 컬러 필터 어레이의 성능을 검증한다.
도 4는 본 발명의 일 실시예에 따른 훈련 필터의 설계 과정을 보여주는 도면이다.
도 4를 참고하면, 본 발명의 일 실시예에 따른 훈련 필터의 설계 과정은 훈련 필터 설계 모듈이 데이터베이스에서 다수의 훈련 영상에 대한 RRGB, RGGB 및 RGBB 패턴을 입력받는다(S100).
그리고, 훈련 필터 설계 모듈은 각각의 훈련 영상의 RRGB, RGGB 및 RGBB 패턴에 대하여 R, G, B 채널의 영상으로 채널별로 분리하고, 분리된 각 채널별 영상을 다운 샘플링함으로써 각 채널별로 저해상도 영상들을 형성한다(S110).
이때, 훈련 필터 설계 모듈은 다운 샘플링된 영상에 지정된 신호 처리를 수행한다(S120).
일예로, 수행되는 신호 처리는 영상 가장자리(edge)를 감지하거나, 흐리게 하거나, 선명하게 하거나, 엠보싱하는 처리를 수행한다.
그리고, 훈련 필터 설계 모듈은 각각의 훈련 영상의 RRGB, RGGB 및 RGBB 패턴에 대하여 R, G, B 채널별로 분리되고 다운 샘플링된 각 채널별 저해상도 영상들을 입력받아 훈련 필터를 설계한다(S130).
도 5는 본 발명의 일 실시예에 따른 컬러 필터 어레이 성능 검증 방법의 흐름도이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 컬러 필터 어레이 성능 검증 방법은 성능 검증 모듈이 다른 패턴을 갖는 다수의 컬러 필터 어레이(Color Filter Arrary) 가운데 성능을 검증할 컬러 필터 어레이를 선택하여, 해당 선택된 컬러 필터 어레이를 갖는 이미지 센서로 촬영된 대상 영상을 데이터베이스에서 입력받는다(S200).
물론, 일 실시예에서, 컬러 필터 어레이 검증 방법이 컴퓨팅 시스템의 하드웨어 또는 소프트웨어 모듈로 구현된 경우, 해당 컴퓨팅 시스템이 선택된 컬러 필터 어레이를 갖는 이미지 센서로 촬영된 대상 영상을 입력받아 처리할 수 있다.
이처럼 성능 검증 모듈은 데이터베이스에 이미 저장되어 있는 대상 영상을 선택하여 입력받을 수도 있고, 이미지 센서로부터 직접 촬영된 영상을 입력받을 수도 있다.
상기 성능 검증 모듈은 대상 영상이 입력되면 입력받은 대상 영상을 R, G, B 채널의 영상으로 분리하고, 분리된 각 영상을 다운 샘플링함으로써 저해상도 영상들을 형성한다(S210).
상기 성능 검증 모듈은 대상 영상을 설계된 훈련 필터에 입력한다(단계 S220).
상기 훈련 필터는 컬러 필터를 통해 컬러 필터링되어 촬영된 영상을 보간(Interpolation)하여 영상을 복원할 수 있다. 즉, 대상 영상이 입력되면, 설계된 훈련 필터는 입력된 대상 영상을 보간하여 복원 영상을 획득한다(단계 S230).
성능 검증 모듈은 훈련 필터를 통해 복원 영상이 획득되면, 대상 영상과 복원 영상을 비교하여 컬러 필터 어레이의 성능을 검증한다(단계 S240).
일 실시예에서, 본 발명의 일 실시예에 따른 컬러 필터 어레이 검증 방법은 원본 영상과 복원 영상의 CPSNR, S-CIELAB, 피크 신호대잡음비(PSNR, Peak Signal to Noise Ratio) 중 적어도 하나 이상을 비교하여 컬러 필터 어레이의 성능을 검증할 수 있다.
여기에서는 CPSNR과 S-CIELAB의 변형된 베이어 CFA의 3 가지 사례를 연구했다. 시뮬레이션에서 20 개의 LC 이미지를 사용했다. 특히 # 101-120 개의 이미지가 선택되었다. 표 1은 세 가지 유형의 CFA에 대한 CPSNR 및 S-CIELAB 성능을 보여준다.
(표 1)
Figure 112017068900915-pat00011
세 가지 색상 구성 요소가 표 2-4에서 철저히 테스트되었다. 표 2는 적색 채널 PSNR 성능 비교이다. RRGB 패턴에 빨간색이 두 번 더 많으므로 RRGB 패턴은 RGGB 또는 RGBB보다 우수한 성능을 나타낸다. 동일한 방식으로 녹색 채널 PSNR은 RGGB 패턴(표 3)에서 최상이며 파란색채널 PSNR은 RGBB 패턴에서 최상이다(표 4).
(표 2)
Figure 112017068900915-pat00012
(표 3)
Figure 112017068900915-pat00013
(표 4)
Figure 112017068900915-pat00014
도 6 내지 8은 설계된 필터의 주파수 응답을 보여준다.
도 6의 (a)는 # 104 영상에 대한 RRGB 경우의 적색 채널 주파수 응답이고, (b)는 # 104 영상에 대한 RRGB 경우의 녹색 채널 주파수 응답이며, (c)는 # 104 영상에 대한 RRGB 경우의 파란색 채널 주파수 응답이고, (d)는 # 105 영상에 대한 RRGB 경우의 적색 채널 주파수 응답을 나타낸다.
도 7의 (a)는 # 104 영상에 대한 RGGB 경우의 적색 채널 주파수 응답이고, (b)는 # 104 영상에 대한 RGGB 경우의 녹색 채널 주파수 응답이며, (c)는 # 104 영상에 대한 RGGB 경우의 파란색 채널 주파수 응답이고, (d)는 # 105 영상에 대한 RGGB 경우의 적색 채널 주파수 응답을 나타낸다.
도 8의 (a)는 # 104 영상에 대한 RGBB 경우의 적색 채널 주파수 응답이고, (b)는 # 104 영상에 대한 RGBB 경우의 녹색 채널 주파수 응답이며, (c)는 # 104 영상에 대한 RGBB 경우의 파란색 채널 주파수 응답이고, (d)는 # 105 영상에 대한 RGBB 경우의 적색 채널 주파수 응답을 나타낸다.
도 9의 (a)는 # 23 LC 이미지의 CFA 영상에 대한 시뮬레이션 결과 이미지를 보여준다. 도 9의 (b) 및 도 9의 (c)는 도 9의 (a)의 녹색 및 파란색 성분을 나타낸다. 도 9의 (d)는 복원된 적색 성분을 표시한다. 그러므로 이 정보는 실측 정보가 아니다. 도 9의 (e)는 도 9의 (f)에 표시된 원래의 이미지에 매우 시각적으로 가까운 디모자이크 처리된 이미지를 보여준다. 도 9의 (f)는 원래 이미지를 보여준다.
비슷한 실험이 # 24 LC 이미지에서 수행되었습니다.
도 10의 (a)는 # 24 LC 이미지의 CFA 영상에 대한 시뮬레이션 결과 이미지를 보여준다. 도 10의 (b) 및 도 10의 (c)는 도 10의 (a)의 녹색 및 파란색 성분을 나타낸다. 도 10의 (d)는 복원된 적색 성분을 표시한다. 도 10의 (e)는 도 10의 (f)에 표시된 원래의 이미지에 매우 시각적으로 가까운 디모자이크 처리된 이미지를 보여준다. 도 10의 (f)는 원래 이미지를 보여준다.
본 발명에서는 변형된 베이어 패턴 컬러 필터 배열 디 모자이크 방법을 보여준다.
디모자이킹 (demosaicking) 방법은 컬러 이미지에서 초-해상도 접근법으로 가정되며, 이것은 디지털 카메라에 채택되어 풀 컬러 3 채널 이미지를 복원하는 데 사용된다.
한 쌍의 베이어 패턴 CFA에서 두 개의 녹색 픽셀과 한 개의 빨간색 픽셀과 한 개의 파란색 픽셀이 있다. 이를 RGGB 형식이라고 한다. 그러나 다음과 같은 대안이 있을 수 있다. 그 형식은 RRGB 또는 RGBB 이다.
본 발명에서는 세 가지 CFA 시나리오의 효과를 조사하였다. 실험 결과는 얻어진 필터가 만족스러운 성능을 제공함을 보여준다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
10 : 데이터베이스 100 : 훈련 필터 설계 모듈
110 : 영상 입력부 120 : 다운 샘플링부
130 : 신호 처리부 140 : 필터 설계부
200 : 성능 검증 모듈 210 : 영상 입력부
220 : 다운 샘플링부 230 : 복원 영상 획득부
240 : 성능 검증부

Claims (10)

  1. 다수의 훈련 영상과 대상 영상에 대한 RRGB, RGGB 및 RGBB 패턴이 저장되고, 각 훈련 영상과 대상 영상의 각 픽셀에 대하여 R, G, B의 각각에 대한 실측값을 저장하고 있는 데이터베이스;
    상기 데이터베이스에서 다수의 훈련 영상에 대한 RRGB, RGGB 및 RGBB 패턴을 입력받아 각각의 훈련 영상의 RRGB, RGGB 및 RGBB 패턴에 대하여 R, G, B 채널의 영상으로 채널별로 분리하고, 분리된 각 채널별 영상을 다운 샘플링함으로써 각 채널별로 저해상도 영상들을 형성하여 복원 영상을 형성하고, 상기 데이터베이스에서 각 훈련 영상과 대상 영상의 각 픽셀에 대하여 R, G, B의 각각에 대한 실측값을 입력받아 훈련 필터를 설계하는 훈련 필터 설계 모듈; 및
    다른 패턴을 갖는 다수의 컬러 필터 어레이(Color Filter Arrary) 가운데 성능을 검증할 컬러 필터 어레이를 선택하여, 해당 선택된 컬러 필터 어레이를 갖는 이미지 센서로 촬영된 대상 영상을 데이터베이스에서 입력받아 R, G, B 채널의 영상으로 채널별로 분리하고, 분리된 각 채널별 영상을 다운 샘플링함으로써 각 채널별로 저해상도 영상들을 형성하며, 대상 영상을 설계된 훈련 필터에 입력하여 복원 영상을 획득하여 대상 영상과 복원 영상을 비교하여 컬러 필터 어레이의 성능을 검증하는 성능 검증 모듈을 포함하는 패턴을 이용한 영상 해상도 변환 장치.
  2. 청구항 1항에 있어서,
    상기 훈련 필터 설계 모듈은
    상기 데이터베이스에서 다수의 훈련 영상에 대한 RRGB, RGGB 및 RGBB 패턴을 입력받는 영상 입력부;
    상기 영상 입력부에서 입력받은 다수의 훈련 영상의 각각의 RRGB, RGGB 및 RGBB 패턴에 대하여 R, G, B 채널의 영상으로 채널별로 분리하고, 분리된 각 채널별 영상을 다운 샘플링함으로써 각 채널별로 저해상도 영상들을 형성하는 다운 샘플링부; 및
    상기 다운 샘플링부에서 각각의 훈련 영상의 RRGB, RGGB 및 RGBB 패턴에 대하여 R, G, B 채널별로 분리되고 다운 샘플링된 각 채널별 저해상도 영상들을 입력받아 복원 영상을 형성하고, 상기 데이터베이스에서 각 훈련 영상과 대상 영상의 각 픽셀에 대하여 R, G, B의 각각에 대한 실측값을 입력받아 훈련 필터를 설계하는 필터 설계부를 포함하는 패턴을 이용한 영상 해상도 변환 장치.
  3. 청구항 2항에 있어서,
    상기 훈련 필터 설계 모듈은
    상기 다운 샘플링부에서 출력되는 다운 샘플링된 영상에 에지 검출, 블러링, 선명화 및 엠보싱 처리를 수행하는 신호 처리부를 더 포함하는 패턴을 이용한 영상 해상도 변환 장치.
  4. 청구항 2항에 있어서,
    상기 필터 설계부는 훈련 영상의 실측 픽셀값과 복원 영상의 복원 픽셀값 사이의 제곱 오차를 최소화하는 과정을 통해서 훈련 필터를 설계하는 패턴을 이용한 영상 해상도 변환 장치.
  5. 청구항 1항에 있어서,
    상기 성능 검증 모듈은
    다른 패턴을 갖는 다수의 컬러 필터 어레이(Color Filter Arrary) 가운데 성능을 검증할 컬러 필터 어레이를 선택하여, 해당 선택된 컬러 필터 어레이를 갖는 이미지 센서로 촬영된 대상 영상을 상기 데이터베이스에서 입력받는 영상 입력부;
    상기 영상 입력부에서 입력받은 다수의 대상 영상의 각각의 RRGB, RGGB 및 RGBB 패턴에 대하여 R, G, B 채널의 영상으로 채널별로 분리하고, 분리된 각 채널별 영상을 다운 샘플링함으로써 각 채널별로 저해상도 영상들을 형성하는 다운 샘플링부;
    상기 대상 영상을 설계된 훈련 필터에 입력하여 복원 영상을 획득하는 복원 영상 획득부; 및
    상기 훈련 필터를 통해 복원 영상이 획득되면, 대상 영상과 복원 영상을 비교하여 컬러 필터 어레이의 성능을 검증하는 성능 검증부를 포함하는 패턴을 이용한 영상 해상도 변환 장치.
  6. (A) 데이터베이스에 다수의 훈련 영상과 대상 영상에 대한 RRGB, RGGB 및 RGBB 패턴이 저장되고, 각 훈련 영상과 대상 영상의 각 픽셀에 대하여 R, G, B의 각각에 대한 실측값을 저장하는 단계;
    (B) 훈련 필터 설계 모듈은 상기 데이터베이스에서 다수의 훈련 영상에 대한 RRGB, RGGB 및 RGBB 패턴을 입력받아 각각의 훈련 영상의 RRGB, RGGB 및 RGBB 패턴에 대하여 R, G, B 채널의 영상으로 채널별로 분리하고, 분리된 각 채널별 영상을 다운 샘플링함으로써 각 채널별로 저해상도 영상들을 형성하여 복원 영상을 형성하고, 상기 데이터베이스에서 각 훈련 영상과 대상 영상의 각 픽셀에 대하여 R, G, B의 각각에 대한 실측값을 입력받아 훈련 필터를 설계하는 단계; 및
    (C) 성능 검증 모듈은 다른 패턴을 갖는 다수의 컬러 필터 어레이(Color Filter Arrary) 가운데 성능을 검증할 컬러 필터 어레이를 선택하여, 해당 선택된 컬러 필터 어레이를 갖는 이미지 센서로 촬영된 대상 영상을 데이터베이스에서 입력받아 R, G, B 채널의 영상으로 채널별로 분리하고, 분리된 각 채널별 영상을 다운 샘플링함으로써 각 채널별로 저해상도 영상들을 형성하며, 대상 영상을 설계된 훈련 필터에 입력하여 복원 영상을 획득하여 대상 영상과 복원 영상을 비교하여 컬러 필터 어레이의 성능을 검증하는 단계를 포함하는 패턴을 이용한 영상 해상도 변환 방법.
  7. 청구항 6항에 있어서,
    상기 (B) 단계는
    (B-1) 상기 훈련 필터 설계 모듈이 상기 데이터베이스에서 다수의 훈련 영상에 대한 RRGB, RGGB 및 RGBB 패턴을 입력받는 단계;
    (B-2) 상기 훈련 필터 설계 모듈이 입력받은 다수의 훈련 영상의 각각의 RRGB, RGGB 및 RGBB 패턴에 대하여 R, G, B 채널의 영상으로 채널별로 분리하고, 분리된 각 채널별 영상을 다운 샘플링함으로써 각 채널별로 저해상도 영상들을 형성하는 단계; 및
    (B-3) 상기 훈련 필터 설계 모듈이 각각의 훈련 영상의 RRGB, RGGB 및 RGBB 패턴에 대하여 R, G, B 채널별로 분리되고 다운 샘플링된 각 채널별 저해상도 영상들을 입력받아 복원 영상을 형성하고, 상기 데이터베이스에서 각 훈련 영상과 대상 영상의 각 픽셀에 대하여 R, G, B의 각각에 대한 실측값을 입력받아 훈련 필터를 설계하는 단계를 포함하는 패턴을 이용한 영상 해상도 변환 방법.
  8. 청구항 7항에 있어서,
    상기 (B-2) 단계 이후, 상기 훈련 필터 설계 모듈이 다운 샘플링된 영상에 에지 검출, 블러링, 선명화 및 엠보싱 처리를 수행하는 단계를 더 포함하는 패턴을 이용한 영상 해상도 변환 방법.
  9. 청구항 7항에 있어서,
    상기 (B-3) 단계는 훈련 영상의 실측 픽셀값과 복원 영상의 복원 픽셀값 사이의 제곱 오차를 최소화하는 과정을 통해서 훈련 필터를 설계하는 패턴을 이용한 영상 해상도 변환 방법.
  10. 청구항 6항에 있어서,
    상기 (C) 단계는
    (C-1) 상기 성능 검증 모듈이 다른 패턴을 갖는 다수의 컬러 필터 어레이(Color Filter Arrary) 가운데 성능을 검증할 컬러 필터 어레이를 선택하여, 해당 선택된 컬러 필터 어레이를 갖는 이미지 센서로 촬영된 대상 영상을 상기 데이터베이스에서 입력받는 단계;
    (C-2) 상기 성능 검증 모듈이 입력받은 다수의 대상 영상의 각각의 RRGB, RGGB 및 RGBB 패턴에 대하여 R, G, B 채널의 영상으로 채널별로 분리하고, 분리된 각 채널별 영상을 다운 샘플링함으로써 각 채널별로 저해상도 영상들을 형성하는 단계;
    (C-3) 상기 성능 검증 모듈이 상기 대상 영상을 설계된 훈련 필터에 입력하여 복원 영상을 획득하는 단계; 및
    (C-4) 상기 성능 검증 모듈이 상기 훈련 필터를 통해 복원 영상이 획득되면, 대상 영상과 복원 영상을 비교하여 컬러 필터 어레이의 성능을 검증하는 단계를 포함는 패턴을 이용한 영상 해상도 변환 방법.
KR1020170091114A 2017-07-18 2017-07-18 패턴을 이용한 영상 해상도 변환 장치 및 방법 KR101882739B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170091114A KR101882739B1 (ko) 2017-07-18 2017-07-18 패턴을 이용한 영상 해상도 변환 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170091114A KR101882739B1 (ko) 2017-07-18 2017-07-18 패턴을 이용한 영상 해상도 변환 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101882739B1 true KR101882739B1 (ko) 2018-07-27

Family

ID=63078569

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170091114A KR101882739B1 (ko) 2017-07-18 2017-07-18 패턴을 이용한 영상 해상도 변환 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101882739B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210154409A (ko) * 2020-06-12 2021-12-21 인천대학교 산학협력단 모바일 디지털 이미지 확대 필터 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150050790A (ko) * 2013-10-31 2015-05-11 에스케이텔레콤 주식회사 가변 해상도를 이용한 관심영상 검출장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150050790A (ko) * 2013-10-31 2015-05-11 에스케이텔레콤 주식회사 가변 해상도를 이용한 관심영상 검출장치 및 방법

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
[1] B. E. Bayer, "Color imaging array", U.S. Patent 3 971 065, (1976).
[2] J. Hamilton and J. Adams, "Adaptive color plan interpolation in single sensor color electronic camera", US Patent 5,629,734, (1997).
[3] J. Wu, A. Paul, Y. Xing, Y. Fang, J. Jeong, L. Jiao and G. Shi, "Morphological dilation image 107 coding with context weights prediction", Signal Processing: Image Communication, vol. 25, no. 10, (2010), pp.717.728.
[4] W. Wu, Z. Liu and X. He, "Learning-based super resolution using kernel partial least squares", Image Vision Comput., vol. 29, (2011), pp. 394.406.
[5] J. Wu, J. Huang, G. Jeon, J. Jeong and L.C. Jiao, "An adaptive autoregressive de-interlacing method", Optical Engineering, vol. 50, no. 5, (2011), pp. 057001.
[6] W. Wu, Z. Liu, W. Gueaieb and X. He, "Single-image super-resolution based on Markov random field and contourlet transform", J. Electron. Imaging, vol. 20, (2011), pp. 023005.
[7] J. Wu, T. Li, T.-J. Hsieh, Y.-L. Chang and B. Huang, "Digital signal processor-based 3D Wavelet 116 error-resilient lossless compression of high-resolution spectrometer data", Journal of Applied Remote Sensing, vol. 5, (2011), pp. 051504.
[8] K. He, J. Sun and X. Tang, "Guided image filtering", in Proc. of the 11th European Conf. on Computer Vision (ECCV) 6311, (2010), pp. 1-14.

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210154409A (ko) * 2020-06-12 2021-12-21 인천대학교 산학협력단 모바일 디지털 이미지 확대 필터 장치 및 방법
KR102362805B1 (ko) * 2020-06-12 2022-02-11 인천대학교 산학협력단 모바일 디지털 이미지 확대 필터 장치 및 방법

Similar Documents

Publication Publication Date Title
Zhang et al. Color demosaicking via directional linear minimum mean square-error estimation
JP4352371B2 (ja) 適応モザイク減少法を実装するディジタル画像処理方法
EP1371015B1 (en) Bilateral filtering in a demosaicing process
US8452122B2 (en) Device, method, and computer-readable medium for image restoration
US6978050B2 (en) Electronic image color plane reconstruction
Li et al. Color filter array demosaicking using high-order interpolation techniques with a weighted median filter for sharp color edge preservation
Korneliussen et al. Camera processing with chromatic aberration
JP2012060641A (ja) デジタルｒａｗ画像のデモザイク方法、そのコンピュータプログラムおよびそのイメージセンサ回路またはグラフィック回路
Battiato et al. Smart interpolation by anisotropic diffusion
JP2002269556A (ja) デジタル画像からノイズを除去する複数解像度に基づく方法
CN111784603A (zh) 一种raw域图像去噪方法、计算机装置及计算机可读存储介质
Hore et al. An edge-sensing generic demosaicing algorithm with application to image resampling
Chen et al. Effective demosaicking algorithm based on edge property for color filter arrays
CN111260580A (zh) 一种基于图像金字塔的图像去噪方法、计算机装置及计算机可读存储介质
CN110430403B (zh) 一种图像处理方法和装置
CN102663703B (zh) 基于Treelet的Bayer型CFA图像去噪方法
WO2011141197A1 (en) Method for detecting directions of regularity in a two-dimensional image
Chang et al. Hybrid color filter array demosaicking for effective artifact suppression
Park et al. Color filter array demosaicking using densely connected residual network
Bennett et al. Video and image bayesian demosaicing with a two color image prior
Amba et al. Random color filter arrays are better than regular ones
KR101882739B1 (ko) 패턴을 이용한 영상 해상도 변환 장치 및 방법
Gevrekci et al. POCS-based restoration of Bayer-sampled image sequences
Yamaguchi et al. Image demosaicking via chrominance images with parallel convolutional neural networks
Mukherjee et al. Demosaicing of images obtained from single-chip imaging sensors in YUV color space

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant