KR100505681B1 - 베이어 패턴 컬러 신호에 대한 적응형 필터로 보간을수행하여 해상도를 높이는 보간기, 이를 구비한 디지털영상 신호 처리 장치, 및 그 방법 - Google Patents

베이어 패턴 컬러 신호에 대한 적응형 필터로 보간을수행하여 해상도를 높이는 보간기, 이를 구비한 디지털영상 신호 처리 장치, 및 그 방법 Download PDF

Info

Publication number
KR100505681B1
KR100505681B1 KR10-2003-0020020A KR20030020020A KR100505681B1 KR 100505681 B1 KR100505681 B1 KR 100505681B1 KR 20030020020 A KR20030020020 A KR 20030020020A KR 100505681 B1 KR100505681 B1 KR 100505681B1
Authority
KR
South Korea
Prior art keywords
data
interpolation
pixel
filtering
window
Prior art date
Application number
KR10-2003-0020020A
Other languages
English (en)
Other versions
KR20040085366A (ko
Inventor
이형근
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR10-2003-0020020A priority Critical patent/KR100505681B1/ko
Priority to US10/800,895 priority patent/US7671910B2/en
Publication of KR20040085366A publication Critical patent/KR20040085366A/ko
Application granted granted Critical
Publication of KR100505681B1 publication Critical patent/KR100505681B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

베이어 패턴 컬러 신호에 대한 적응형 필터로 보간을 수행하여 해상도를 높이는 보간기, 이를 구비한 디지털 영상 신호 처리 장치, 및 그 방법이 개시된다. 상기 디지털 영상 신호 처리 장치는 중심 픽셀 주위의 계조 데이터들 및 자신 중심 픽셀의 계조 데이터의 변화 비율을 반영하는 비선형 특성의 LPF를 적용하여 실제 계조 데이터에 가까운 보간 데이터를 생성하며, 종래와 다른 선형 특성의 LPF, BPF, 및 HPF를 동시에 적용하여 왜곡을 줄이면서 고주파 성분을 강조하는 보간 데이터를 생성할 수 있다. 따라서, 이와 같은 보간 데이터에 의한 디스플레이의 경우, 표시 화면의 해상도가 증가하는 효과가 있다.

Description

베이어 패턴 컬러 신호에 대한 적응형 필터로 보간을 수행하여 해상도를 높이는 보간기, 이를 구비한 디지털 영상 신호 처리 장치, 및 그 방법 {Interpolator providing for high resolution by interpolation with adaptive filtering for Bayer pattern color signal, digital image signal processor comprising it, and method thereof}
본 발명은 DSC(Digital Still Camera)나 핸드폰 카메라 등에 관한 것으로, 특히 CIS(CMOS Image Sensor)에서 출력되는 디지털 영상 신호의 처리 장치에 관한 것이다.
DSC나 핸드폰 카메라의 경우에 비용을 감소시키고, 회로 디자인을 효율적으로 하기 위하여, 하나의 CIS를 사용하여 도 1과 같은 베이어 패턴(Bayer Pattern) 형태로 컬러의 계조 데이터를 얻는다. 이와 같이 베이어 패턴을 사용하는 경우에는, 한 픽셀(pixel)에 G(Green), B(Blue), R(Red) 중 어느 하나의 컬러에 대한 계조 데이터만이 나타나므로, 어느 하나의 픽셀에 대하여 나머지 2가지 컬러에 대한 계조 데이터들을 얻으려면, 그 픽셀을 중심 픽셀로 하고, 그 중심 픽셀 주위의 계조 데이터들을 이용하는 보간(interpolation)을 수행해야 한다.
베이어 패턴에서, 중심 픽셀 주위의 계조 데이터들을 이용한 보간으로, 중심 픽셀의 계조 데이터를 제외한 나머지 2가지 컬러에 대한 계조 데이터를 얻는 종래의 보간 방법에 대해서는, 미국 특허 "USP5,506,619"에 잘 나타나 있고, 이를 개선한 한국 특허 출원 "KR2001-56442"에도 잘 나타나 있다.
그러나, 위와 같은 종래의 보간 방법들에서는, 선형(Linear) 특성을 가지는 LPF(Low Pass Filter)로 구현하므로, 영상 경계(edge)에서 왜곡(aliasing)이 충분히 보상되지 않는 문제점이 있다. 즉, 임의의 영상에서 G 신호가, 도 2에 도시된 바와 같은 다항식(polynomial)으로 표시되는 분포를 갖는다고 가정할 때, 선형 특성을 가지는 LPF를 사용하여 보간을 수행하면, 중심 픽셀(도 2에서 R) 주위의 계조 데이터들, 즉, G2와 G4에 의한 보간으로 같은 직선 상에 존재하는 G'3을 생성한다. 이때, G'3이 나타내는 계조 데이터는 실제 계조 데이터인 G3와 Δ만큼의 차이를 야기하므로, 영상 경계에서 왜곡을 발생시키는 문제점이 있다.
따라서 본 발명이 이루고자하는 기술적 과제는, 중심 픽셀 주위의 계조 데이터들 및 자신 중심 픽셀의 계조 데이터의 변화 비율을 반영하는 비선형 특성의 LPF를 적용하여 실제 계조 데이터에 가까운 보간 데이터를 생성하며, 종래와 다른 선형 특성의 LPF(Low Pass Filter), BPF(Band Pass Filter), 및 HPF(High Pass Filter)를 동시에 적용하여 왜곡을 줄이면서 고주파 성분을 강조하는 보간 데이터를 생성할 수 있는 컬러 신호 보간기, 및 이를 구비한 디지털 영상 신호 처리 장치를 제공하는 데 있다.
본 발명이 이루고자하는 다른 기술적 과제는, 중심 픽셀 주위의 계조 데이터들 및 자신 중심 픽셀의 계조 데이터의 변화 비율을 반영하는 비선형 특성의 LPF를 적용하여 실제 계조 데이터에 가까운 보간 데이터를 생성하며, 종래와 다른 선형 특성의 LPF, BPF, 및 HPF를 동시에 적용하여 왜곡을 줄이면서 고주파 성분을 강조하는 보간 데이터를 생성할 수 있는 디지털 영상 신호 처리 방법을 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 컬러 신호 보간기는, 제1 보간기, 제2 보간기, 제3 보간기, 제4 보간기, 및 제5 보간기를 구비한다.
상기 제1 보간기는 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 중심 픽셀 R 또는 B 각각에서, 수평 선형 LPF 필터링 및 수직 BPF 필터링 처리한 데이터, 수직 선형 LPF 필터링 및 수평 BPF 필터링 처리한 데이터, 및 비선형 LPF 필터링 처리한 데이터를 합하는 제1 보간을 수행하여 보간 데이터 G'를 출력한다.
상기 제2 보간기는 상기 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 중심 픽셀 R 또는 B 각각에서, HPF 필터링 처리한 데이터, 및 상기 비선형 LPF 필터링 처리한 데이터를 합하는 제2 보간을 수행하여 보간 데이터 B' 또는 R'를 출력한다.
상기 제3 보간기는 상기 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 중심 픽셀 R, B 또는 G 각각에서, 상기 수직 BPF 필터링 처리한 데이터, 및 상기 수평 BPF 필터링 처리한 데이터를 합하는 제3 보간을 수행하여 보간 데이터 R', B' 또는 G'를 출력한다.
상기 제4 보간기는 상기 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 중심 픽셀 Gr 또는 Gb 각각에서, 상기 수직 선형 LPF 필터링 및 상기 수평 BPF 필터링 처리한 데이터, 및 상기 비선형 LPF 필터링 처리한 데이터를 합하는 제4 보간을 수행하여 보간 데이터 B' 또는 R'를 출력한다.
상기 제5 보간기는 상기 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 중심 픽셀 Gr 또는 Gb 각각에서, 상기 수평 선형 LPF 필터링 및 상기 수직 BPF 필터링 처리한 데이터, 및 상기 비선형 LPF 필터링 처리한 데이터를 합하는 제5 보간을 수행하여 보간 데이터 R' 또는 B'를 출력한다.
상기 수평 선형 LPF 필터링은, 상기 5 ×5 윈도우의 픽셀 데이터들 중 상기 중심 픽셀 주위의 5 ×3 픽셀 데이터들에 대하여, 1, 3, 5 로우(row)들 각각의 픽셀 데이터들에 수평 LPF 필터링 가중치 을 승산하여 평균한 값을 각 로우(row)의 중심값으로 하는 것이고, 상기 수직 선형 LPF 필터링은, 상기 5 ×5 윈도우의 픽셀 데이터들 중 상기 중심 픽셀 주위의 3 ×5 픽셀 데이터들에 대하여, 1, 3, 5 컬럼(column)들 각각의 픽셀 데이터들에 수직 LPF 필터링 가중치
을 승산하여 평균한 값을 각 컬럼(column)의 중심값으로 하는 것을 특징으로 한다.
상기 수평 BPF 필터링은, 상기 5 ×5 윈도우의 픽셀 데이터들 중 상기 중심 픽셀이 속한 로우(row)의 픽셀 데이터들에 수평 BPF 필터링 가중치 을 승산하여 평균하는 것이고, 상기 수직 BPF 필터링은, 상기 5 ×5 윈도우의 픽셀 데이터들 중 상기 중심 픽셀이 속한 컬럼(column)의 픽셀 데이터들에 수직 BPF 필터링 가중치
을 승산하여 평균하는 것을 특징으로 한다.
상기 HPF 필터링은, 상기 5 ×5 윈도우의 픽셀 데이터들 중 상기 중심 픽셀 주위의 3 ×3 픽셀 데이터들에 HPF 필터링 가중치
을 승산하여 평균하는 것을 특징으로 한다.
상기 비선형 LPF 필터링은, 상기 5 ×5 윈도우의 픽셀 데이터들에 대하여, 중심 픽셀 R에 대하여 제1 수학식 및 제2 수학식 각각의 수행으로 보간 데이터들 G', 및 B'를 출력, 중심 픽셀 B에 대하여 상기 제1 수학식 및 상기 제2 수학식 각각의 수행으로 보간 데이터들 G', 및 R'를 출력, 및 중심 픽셀 Gr 및 Gb 모두에 대하여 제3 수학식 및 제4 수학식 각각의 수행으로 보간 데이터들 B', 및 R'를 출력하는 것을 특징으로 한다.
상기 제1 수학식 내지 상기 제4 수학식 각각은,
,
,
,
이고, 여기서, 상기 Cy,x는 상기 5 ×5 윈도우의 중심 픽셀 데이터로서 y번째 로우(row) 및 x번째 컬럼(column)의 픽셀 데이터를 의미하며, 상기 a1 내지 상기 a8 각각은 수학식들,
, , ,
,, ,
,
에 의하여 계산되고, 상기 Dy+a,x+b, 및 상기 D1 내지 D8 각각은 수학식들
,
,,
,
에 의하여 계산되는 것을 특징으로 한다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 디지털 영상 신호 처리 장치는, 메모리부, 컬러 신호 보간기, 및 제어부를 구비한다.
상기 메모리부는 입력되는 픽셀 데이터를 수신하여 5 픽셀 라인 이상의 픽셀 데이터들을 업데이트시켜 저장하고, 제어 신호의 제어를 받아 중심 픽셀을 중심으로 하는 5 ×5 윈도우의 픽셀 데이터들을 출력한다.
상기 컬러 신호 보간기는 상기 제어 신호의 제어를 받아, 중심 픽셀 R에 대하여 상기 5 ×5 윈도우의 픽셀 데이터들을 이용한 제1 보간, 제2 보간, 및 제3 보간 각각으로 보간 데이터들 G', B', 및 R'를 출력하는 제1 그룹 보간, 중심 픽셀 B에 대하여 상기 5 ×5 윈도우의 픽셀 데이터들을 이용한 상기 제1 보간, 상기 제2 보간, 및 상기 제3 보간 각각으로 보간 데이터들 G', R', 및 B'를 출력하는 제2 그룹 보간, 중심 픽셀 Gr에 대하여 상기 5 ×5 윈도우의 픽셀 데이터들을 이용한 상기 제3 보간, 제4 보간, 및 제5 보간 각각으로 보간 데이터들 G', B', 및 R'를 출력하는 제3 그룹 보간, 및 중심 픽셀 Gb에 대하여 상기 5 ×5 윈도우의 픽셀 데이터들을 이용한 상기 제3 보간, 상기 제4 보간, 및 상기 제5 보간 각각으로 보간 데이터들 G', R', 및 B'를 출력하는 제4 그룹 보간을 수행한다.
상기 제어부는 상기 중심 픽셀이 어떤 컬러인지를 판단하고, 중심 픽셀의 컬러, 즉, R, B, Gr, 및 Gb 각각에 따라, 상기 제1 그룹 보간, 상기 제2 그룹 보간, 상기 제3 그룹 보간, 및 상기 제4 그룹 보간을 지시하는 상기 제어 신호를 발생시킨다.
상기 다른 기술적 과제를 달성하기 위한 본 발명에 따른 컬러 신호 보간 방법은, 다음과 같은 단계를 구비한다.
즉, 본 발명에 따른 컬러 신호 보간 방법은, 제1 보간에 의하여, 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 중심 픽셀 R 또는 B 각각에서, 수평 선형 LPF 필터링 및 수직 BPF 필터링 처리한 데이터, 수직 선형 LPF 필터링 및 수평 BPF 필터링 처리한 데이터, 및 비선형 LPF 필터링 처리한 데이터를 합하는 보간을 수행하여 보간 데이터 G'를 출력한다. 제2 보간에 의하여, 상기 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 중심 픽셀 R 또는 B 각각에서, HPF 필터링 처리한 데이터, 및 상기 비선형 LPF 필터링 처리한 데이터를 합하는 보간을 수행하여 보간 데이터 B' 또는 R'를 출력한다.
제3 보간에 의하여, 상기 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 중심 픽셀 R, B 또는 G 각각에서, 상기 수직 BPF 필터링 처리한 데이터, 및 상기 수평 BPF 필터링 처리한 데이터를 합하는 보간을 수행하여 보간 데이터 R', B' 또는 G'를 출력한다. 제4 보간에 의하여, 상기 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 중심 픽셀 Gr 또는 Gb 각각에서, 상기 수직 선형 LPF 필터링 및 상기 수평 BPF 필터링 처리한 데이터, 및 상기 비선형 LPF 필터링 처리한 데이터를 합하는 보간을 수행하여 보간 데이터 B' 또는 R'를 출력한다. 그리고, 제5 보간에 의하여, 상기 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 중심 픽셀 Gr 또는 Gb 각각에서, 상기 수평 선형 LPF 필터링 및 상기 수직 BPF 필터링 처리한 데이터, 및 상기 비선형 LPF 필터링 처리한 데이터를 합하는 보간을 수행하여 보간 데이터 R' 또는 B'를 출력한다.
상기 다른 기술적 과제를 달성하기 위한 본 발명에 따른 디지털 영상 신호 처리 방법은, 다음과 같은 단계를 구비한다.
즉, 본 발명에 따른 디지털 영상 신호 처리 방법은, 먼저, 입력되는 픽셀 데이터를 수신하여 5 픽셀 라인 이상의 픽셀 데이터들을 업데이트시켜 저장하고, 제어 신호의 제어를 받아 중심 픽셀을 중심으로 하는 5 ×5 윈도우의 픽셀 데이터들을 출력한다. 다음에, 컬러 신호 보간에 의하여, 상기 제어 신호의 제어를 받아, 중심 픽셀 R에 대하여 상기 5 ×5 윈도우의 픽셀 데이터들을 이용한 제1 보간, 제2 보간, 및 제3 보간 각각으로 보간 데이터들 G', B', 및 R'를 출력하는 제1 그룹 보간, 중심 픽셀 B에 대하여 상기 5 ×5 윈도우의 픽셀 데이터들을 이용한 상기 제1 보간, 상기 제2 보간, 및 상기 제3 보간 각각으로 보간 데이터들 G', R', 및 B'를 출력하는 제2 그룹 보간, 중심 픽셀 Gr에 대하여 상기 5 ×5 윈도우의 픽셀 데이터들을 이용한 상기 제3 보간, 제4 보간, 및 제5 보간 각각으로 보간 데이터들 G', B', 및 R'를 출력하는 제3 그룹 보간, 및 중심 픽셀 Gb에 대하여 상기 5 ×5 윈도우의 픽셀 데이터들을 이용한 상기 제3 보간, 상기 제4 보간, 및 상기 제5 보간 각각으로 보간 데이터들 G', R', 및 B'를 출력하는 제4 그룹 보간을 수행한다.
이때, 소정 제어부는 상기 중심 픽셀이 어떤 컬러인지를 판단하고, 중심 픽셀의 컬러, 즉, R, B, Gr, 및 Gb 각각에 따라, 상기 제1 그룹 보간, 상기 제2 그룹 보간, 상기 제3 그룹 보간, 및 상기 제4 그룹 보간을 지시하는 상기 제어 신호를 발생시킨다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세하게 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 3은 본 발명의 일실시예에 따른 디지털 영상 신호 처리 장치를 나타내는 블록도이다.
도 3을 참조하면, 본 발명의 일실시예에 따른 디지털 영상 신호 처리 장치는, 메모리부(310), 컬러 신호 보간기(320), 및 제어부(330)를 구비한다.
상기 메모리부(310)는 입력되는 픽셀 데이터(G, B, R 데이터)를 수신하여 5 픽셀 라인 이상의 픽셀 데이터들을 업데이트시켜 저장하고, 제어 신호의 제어를 받아 중심 픽셀을 중심으로 하는 5 ×5 윈도우의 픽셀 데이터들을 출력한다. 여기서, 입력되는 픽셀 데이터(G, B, R 데이터)는, 도 1과 같은 베이어 패턴 형태로, 한 픽셀씩 입력되거나 한 라인씩 입력될 수 있다.
상기 컬러 신호 보간기(320)는 상기 제어 신호의 제어를 받아, 중심 픽셀 R에 대하여 상기 5 ×5 윈도우의 픽셀 데이터들을 이용한 제1 보간, 제2 보간, 및 제3 보간 각각으로 보간 데이터들 G', B', 및 R'를 출력하는 제1 그룹 보간, 중심 픽셀 B에 대하여 상기 5 ×5 윈도우의 픽셀 데이터들을 이용한 상기 제1 보간, 상기 제2 보간, 및 상기 제3 보간 각각으로 보간 데이터들 G', R', 및 B'를 출력하는 제2 그룹 보간, 중심 픽셀 Gr에 대하여 상기 5 ×5 윈도우의 픽셀 데이터들을 이용한 상기 제3 보간, 제4 보간, 및 제5 보간 각각으로 보간 데이터들 G', B', 및 R'를 출력하는 제3 그룹 보간, 및 중심 픽셀 Gb에 대하여 상기 5 ×5 윈도우의 픽셀 데이터들을 이용한 상기 제3 보간, 상기 제4 보간, 및 상기 제5 보간 각각으로 보간 데이터들 G', R', 및 B'를 출력하는 제4 그룹 보간을 수행한다.
이와 같은 보간의 수행으로, 상기 컬러 신호 보간기(320)는 중심 픽셀의 컬러, 즉, R, B, Gr, 및 Gb 각각에서, 보간 데이터들 G', R', 및 B'를 출력한다. 여기서, 중심 픽셀 Gr은 중심 픽셀의 컬러가 G이고 수평 방향으로 양쪽 옆에 R 컬러가 있는 경우이며, 중심 픽셀 Gb는 중심 픽셀의 컬러가 G이고 수평 방향으로 양쪽 옆에 B 컬러가 있는 경우이다.
상기 제어부(330)는 상기 중심 픽셀이 어떤 컬러인지를 판단하고, 중심 픽셀의 컬러, 즉, R, B, Gr, 및 Gb 각각에 따라, 상기 제1 그룹 보간, 상기 제2 그룹 보간, 상기 제3 그룹 보간, 및 상기 제4 그룹 보간을 지시하는 상기 제어 신호를 발생시킨다.
도 3에서, 상기 컬러 신호 보간기(320)는 제1 보간기(321), 제2 보간기(323), 제3 보간기(325), 제4 보간기(327), 및 제5 보간기(329)를 구비한다. 상기 제1 보간기(321) 내지 상기 제5 보간기(329) 각각의 구체적인 블록도들이 도 4 내지 도 9에 도시되어 있다.
도 3및 도 4를 참조하면, 상기 제1 보간기(321)는 상기 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 중심 픽셀 R 또는 B 각각에서, 수평 선형 LPF(HLLPF)(3211)에 의하여 수평 선형 LPF 필터링 및 수직 BPF(VBPF)(3213)에 의하여 수직 BPF 필터링 처리한 데이터, 수직 선형 LPF(VLLPF)(3215)에 의하여 수직 선형 LPF 필터링 및 수평 BPF(HBPF)(3217)에 의하여 수평 BPF 필터링 처리한 데이터, 및 비선형 LPF(NLPF)(3218)에 의하여 비선형 LPF 필터링 처리한 데이터를 합산기(3219)에 의하여 합하는 제1 보간을 수행하여 보간 데이터 G'를 출력한다. 여기서는 중심 픽셀 R 또는 B 모두에 대하여 보간 데이터 G'를 출력한다. G'는 보간된 그린(green) 컬러의 픽셀 데이터이다.
그런데, 도 4와 같이, 수평/수직 선형 LPF 필터링 후에 수직/수평 BPF 필터링을 적용하는 이유는, 도 1과 같은 베이어 패턴 상에서 수직/수평 BPF 필터링 하고자 하는 위치에는 구하고자 하는 컬러와 같은 컬러를 나타내는 픽셀 데이터가 없기 때문이다. 이와 같은 논리는, 도 5에 도시된 바와 같이, 원 신호들(G, R)와 선형 LPF 필터링 된 신호들(GLPF, RLPF)이 같은 위치에서는 거의 같은 차이 비율을 갖는다는 가정 하에 가능하다.
도 3 및 도 6을 참조하면, 상기 제2 보간기(323)는 상기 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 중심 픽셀 R 또는 B 각각에서, HPF(3231)에 의하여 HPF 필터링 처리한 데이터, 및 비선형 LPF(NLPF)(3233)에 의하여 상기 비선형 LPF 필터링 처리한 데이터를 합산기(3235)에 의하여 합하는 제2 보간을 수행하여 보간 데이터 B' 또는 R'를 출력한다. 여기서는 중심 픽셀 R에 대하여는 보간 데이터 B'를 출력하고, 중심 픽셀 B에 대하여는 보간 데이터 R'를 출력한다. B'는 보간된 블루(blue) 컬러의 픽셀 데이터이고, R'는 보간된 레드(red) 컬러의 픽셀 데이터이다. HLLPF(Horizontal Linear Low Pass Filter), VLLPF(Vertical Linear Low Pass Filter), HBPF(Horizontal Band Pass Filter), VBPF(Vertical Band Pass Filter), 및 HPF(High Pass Filter) 각각의 필터링에 대하여는 아래에서 기술될 것이다.
도 3 및 도 7를 참조하면, 상기 제3 보간기(325)는 상기 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 중심 픽셀 R, B 또는 G 각각에서, 수직 BPF(VBPF)(3251)에 의하여 상기 수직 BPF 필터링 처리한 데이터, 및 수평 BPF(HBPF)(3253)에 의하여 상기 수평 BPF 필터링 처리한 데이터를 합산기(3255)에 의하여 합하는 제3 보간을 수행하여 보간 데이터 R', B' 또는 G'를 출력한다. 여기서는 중심 픽셀 R에 대하여는 보간 데이터 R'를 출력하고, 중심 픽셀 B에 대하여는 보간 데이터 B'를 출력하며, 중심 픽셀 G(Gr 및 Gb)에 대하여는 보간 데이터 G'를 출력한다.
도 3및 도 8을 참조하면, 상기 제4 보간기(327)는 상기 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 중심 픽셀 Gr 또는 Gb 각각에서, 수직 선형 LPF(VLLPF)(3271)에 의하여 상기 수직 선형 LPF 필터링 및 수평 BPF(HBPF)(3273)에 의하여 상기 수평 BPF 필터링 처리한 데이터, 및 비선형 LPF(NLPF)(3275)에 의하여 상기 비선형 LPF 필터링 처리한 데이터를 합산기(3277)에 의하여 합하는 제4 보간을 수행하여 보간 데이터 B' 또는 R'를 출력한다. 여기서는 중심 픽셀 Gr에 대하여는 보간 데이터 B'를 출력하고, 중심 픽셀 Gb에 대하여는 보간 데이터 R'를 출력한다.
도 3및 도 9를 참조하면, 상기 제5 보간기(329)는 상기 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 중심 픽셀 Gr 또는 Gb 각각에서, 수평 선형 LPF(HLLPF)(3291)에 의하여 상기 수평 선형 LPF 필터링 및 수직 BPF(VBPF)(3293)에 의하여 상기 수직 BPF 필터링 처리한 데이터, 및 비선형 LPF(NLPF)(3295)에 의하여 상기 비선형 LPF 필터링 처리한 데이터를 합산기(3297)에 의하여 합하는 제5 보간을 수행하여 보간 데이터 R' 또는 B'를 출력한다. 여기서는 중심 픽셀 Gr에 대하여는 보간 데이터 R'를 출력하고, 중심 픽셀 Gb에 대하여는 보간 데이터 B'를 출력한다.
도 10은 HBPF와 VBPF 각각의 가중치를 나타내는 도면이다.
도 10을 참조하면, 상기 수평 BPF 필터링은, 상기 5 ×5 윈도우의 픽셀 데이터들 중 상기 중심 픽셀이 속한 로우(row)의 픽셀 데이터들에 수평 BPF 필터링 가중치 을 승산하여 평균하는 것이고, 상기 수직 BPF 필터링은, 상기 5 ×5 윈도우의 픽셀 데이터들 중 상기 중심 픽셀이 속한 컬럼(column)의 픽셀 데이터들에 수직 BPF 필터링 가중치
을 승산하여 평균하는 것이다. 이와 같은 상기 수평 BPF 필터링 및 상기 수직 BPF 필터링을 사용하는 이유는, 샘플링 이론에 의하여, 도 11과 같이, fs/2 이상의 신호 영역은 복원이 잘 않되기 때문이다(fs는 샘플링 주파수).
예를 들어, 상기 중심 픽셀이 속한 로우(row)의 픽셀 데이터들이, R1, G1, R2, G2, R3인 경우에, 수평 BPF 필터링 가중치 을 승산하면, -R1, 0, 2R2, 0, -R3로 되고, 이들의 평균은 (-R1+2R2-R3 )/4가 된다.
도 12는 HLLPF와 VLLPF 각각의 가중치를 나타내는 도면이다.
도 12를 참조하면, 상기 수평 선형 LPF 필터링은, 상기 5 ×5 윈도우의 픽셀 데이터들 중 상기 중심 픽셀 주위의 5 ×3 픽셀 데이터들에 대하여, 1, 3, 5 로우(row)들 각각의 픽셀 데이터들에 수평 LPF 필터링 가중치 을 승산하여 평균한 값을 각 로우(row)의 중심값으로 하는 것이고, 상기 수직 선형 LPF 필터링은, 상기 5 ×5 윈도우의 픽셀 데이터들 중 상기 중심 픽셀 주위의 3 ×5 픽셀 데이터들에 대하여, 1, 3, 5 컬럼(column)들 각각의 픽셀 데이터들에 수직 LPF 필터링 가중치
을 승산하여 평균한 값을 각 컬럼(column)의 중심값으로 하는 것이다.
예를 들어, 상기 중심 픽셀 주위의 5 ×3 픽셀 데이터들이
인 경우에, 여기서 1, 3, 5 로우(row)들 각각의 픽셀 데이터들에 수평 LPF 필터링 가중치 을 승산하면,
로 되고, 각 로우에서 평균한 값을 각 로우(row)의 중심값으로 한 것은
와 같이 나타낼 수 있다.
도 13은 HPF의 가중치를 나타내는 도면이다.
도 13을 참조하면, 상기 HPF 필터링은, 상기 5 ×5 윈도우의 픽셀 데이터들 중 상기 중심 픽셀 주위의 3 ×3 픽셀 데이터들에 HPF 필터링 가중치
을 승산하여 평균하는 것을 특징으로 한다.
예를 들어, 상기 중심 픽셀 주위의 3 ×3 픽셀 데이터들이
인 경우에, 상기 HPF 필터링 가중치를 승산하여 평균한 값은, (-Ga-Gb-Gd-Ge+4Gc)/8로 된다.
이와 같은 선형 특성의 LPF, 및 BPF를 적용하면 왜곡이 줄어들고, HPF의 적용에 의하여 고주파 성분을 강조하는 보간 데이터를 생성할 수 있다.
도 14는 NLPF의 계조 결정 방법을 설명하기 위한 중심 픽셀 Cy,x 주변의 좌표를 나타내는 도면이다. 즉, 도 14에서, Cy,x는 상기 5 ×5 윈도우의 중심 픽셀 데이터로서 y번째 로우(row) 및 x번째 컬럼(column)의 픽셀 데이터를 의미한다.
도 14에서, Cy,x를 구하기 위한 상기 비선형 LPF 필터링은, [표 1]과 같이, 상기 5 ×5 윈도우의 픽셀 데이터들에 대하여, 중심 픽셀 R에 대하여 [수학식 1] 및 [수학식 2] 각각의 수행으로 보간 데이터들 G', 및 B'를 출력, 중심 픽셀 B에 대하여 상기 [수학식 1] 및 상기 [수학식 2] 각각의 수행으로 보간 데이터들 G', 및 R'를 출력, 및 중심 픽셀 Gr 및 Gb 모두에 대하여 [수학식 3] 및 [수학식 4] 각각의 수행으로 보간 데이터들 B', 및 R'를 출력하는 것이다.
[표 1]
중심 픽셀 R 중심 픽셀 B 중심 픽셀 Gr 중심 픽셀 Gb
R' [수학식 2] [수학식 4] [수학식 4]
G' [수학식 1] [수학식 1]
B' [수학식 2] [수학식 3] [수학식 3]
이때, 상기 [수학식 1] 내지 상기 [수학식 4] 각각은 다음과 같고, 상기 [수학식 1] 내지 상기 [수학식 4]에 존재하는 a1 내지 a8 각각은 [수학식 5] 내지 [수학식 12]와 같이 계산되며, 상기 [수학식 5] 내지 상기 [수학식 12]에 존재하는 Dy+a,x+b, 및 D1 내지 D8 각각은 [수학식 13] 내지 [수학식 17]과 같이 계산된다.
[수학식 5] 내지 [수학식 17]에서 알 수 있는 바와 같이, 비선형 LPF 필터링에서는, 중심 픽셀 주위의 계조 데이터들 및 자신 중심 픽셀의 계조 데이터의 변화 비율을 반영하여 실제 계조 데이터에 가까운 보간 데이터를 생성한다.
이상에서와 같이 본 발명의 일실시예에 따른 컬러 신호 보간기(320)는, 제1 보간기(321) 내지 제5 보간기(329)를 구비하여, 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 중심 픽셀 R, B, Gr, Gb 각각에서, 제1 그룹 보간 내지 제4 그룹 보간을 수행하여, 중심 픽셀 각각에 대한 보간 데이터 G', B', R'를 출력한다. 이때 수행되는 보간에는 종래와 다른 구조의 선형 특성을 가지는 LPF, BPF, 및 HPF를 적용하며, 특히 비선형 특성의 LPF를 적용한다. 보간 데이터 G', B', R'은 후속단에서 처리되어 화면에 영상으로 디스플레이된다.
이상 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
상술한 바와 같이 본 발명에 따른 디지털 영상 신호 처리 장치는, 중심 픽셀 주위의 계조 데이터들 및 자신 중심 픽셀의 계조 데이터의 변화 비율을 반영하는 비선형 특성의 LPF를 적용하여 실제 계조 데이터에 가까운 보간 데이터를 생성하며, 종래와 다른 선형 특성의 LPF, BPF, 및 HPF를 동시에 적용하여 왜곡을 줄이면서 고주파 성분을 강조하는 보간 데이터를 생성할 수 있다. 따라서, 이와 같은 보간 데이터에 의한 디스플레이의 경우, 표시 화면의 해상도가 증가하는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 컬러 필터 어레이의 베이어 패턴을 나타내는 도면이다.
도 2는 종래의 선형 보간 방법을 설명하기 위한 베이어 패턴과 신호 크기를 나타내는 일예이다.
도 3은 본 발명의 일실시예에 따른 디지털 영상 신호 처리 장치를 나타내는 블록도이다.
도 4는 도 3의 제1 보간기의 구체적인 블록도이다.
도 5는 본 발명의 일실시예에 따른 선형 보간 특성을 설명하기 위한 베이어 패턴과 신호 크기를 나타내는 일예이다.
도 6은 도 3의 제2 보간기의 구체적인 블록도이다.
도 7은 도 3의 제3 보간기의 구체적인 블록도이다.
도 8은 도 3의 제4 보간기의 구체적인 블록도이다.
도 9는 도 3의 제5 보간기의 구체적인 블록도이다.
도 10은 HBPF와 VBPF 각각의 가중치를 나타내는 도면이다.
도 11은 BPF의 대역폭을 설명하기 위한 도면이다.
도 12는 HLLPF와 VLLPF 각각의 가중치를 나타내는 도면이다.
도 13은 HPF의 가중치를 나타내는 도면이다.
도 14는 NLPF의 계조 결정 방법을 설명하기 위한 중심 픽셀 Cy,x 주변의 좌표를 나타내는 도면이다.

Claims (16)

  1. 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 중심 픽셀 R 또는 B 각각에서, 수평 선형 LPF 필터링 및 수직 BPF 필터링 처리한 데이터, 수직 선형 LPF 필터링 및 수평 BPF 필터링 처리한 데이터, 및 비선형 LPF 필터링 처리한 데이터를 합하는 제1 보간을 수행하여 보간 데이터 G'를 출력하는 제1 보간기;
    상기 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 중심 픽셀 R 또는 B 각각에서, HPF 필터링 처리한 데이터, 및 상기 비선형 LPF 필터링 처리한 데이터를 합하는 제2 보간을 수행하여 보간 데이터 B' 또는 R'를 출력하는 제2 보간기;
    상기 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 중심 픽셀 R, B 또는 G 각각에서, 상기 수직 BPF 필터링 처리한 데이터, 및 상기 수평 BPF 필터링 처리한 데이터를 합하는 제3 보간을 수행하여 보간 데이터 R', B' 또는 G'를 출력하는 제3 보간기;
    상기 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 중심 픽셀 Gr 또는 Gb 각각에서, 상기 수직 선형 LPF 필터링 및 상기 수평 BPF 필터링 처리한 데이터, 및 상기 비선형 LPF 필터링 처리한 데이터를 합하는 제4 보간을 수행하여 보간 데이터 B' 또는 R'를 출력하는 제4 보간기; 및
    상기 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 중심 픽셀 Gr 또는 Gb 각각에서, 상기 수평 선형 LPF 필터링 및 상기 수직 BPF 필터링 처리한 데이터, 및 상기 비선형 LPF 필터링 처리한 데이터를 합하는 제5 보간을 수행하여 보간 데이터 R' 또는 B'를 출력하는 제5 보간기를 구비하는 것을 특징으로 하는 컬러 신호 보간기.
  2. 입력되는 픽셀 데이터를 수신하여 5 픽셀 라인 이상의 픽셀 데이터들을 업데이트시켜 저장하고, 제어 신호의 제어를 받아 중심 픽셀을 중심으로 하는 5 ×5 윈도우의 픽셀 데이터들을 출력하는 메모리부;
    상기 제어 신호의 제어를 받아, 중심 픽셀 R에 대하여 상기 5 ×5 윈도우의 픽셀 데이터들을 이용한 제1 보간, 제2 보간, 및 제3 보간 각각으로 보간 데이터들 G', B', 및 R'를 출력하는 제1 그룹 보간, 중심 픽셀 B에 대하여 상기 5 ×5 윈도우의 픽셀 데이터들을 이용한 상기 제1 보간, 상기 제2 보간, 및 상기 제3 보간 각각으로 보간 데이터들 G', R', 및 B'를 출력하는 제2 그룹 보간, 중심 픽셀 Gr에 대하여 상기 5 ×5 윈도우의 픽셀 데이터들을 이용한 상기 제3 보간, 제4 보간, 및 제5 보간 각각으로 보간 데이터들 G', B', 및 R'를 출력하는 제3 그룹 보간, 및 중심 픽셀 Gb에 대하여 상기 5 ×5 윈도우의 픽셀 데이터들을 이용한 상기 제3 보간, 상기 제4 보간, 및 상기 제5 보간 각각으로 보간 데이터들 G', R', 및 B'를 출력하는 제4 그룹 보간을 수행하는 컬러 신호 보간기; 및
    상기 중심 픽셀이 어떤 컬러인지를 판단하고, 중심 픽셀의 컬러, 즉, R, B, Gr, 및 Gb 각각에 따라, 상기 제1 그룹 보간, 상기 제2 그룹 보간, 상기 제3 그룹 보간, 및 상기 제4 그룹 보간을 지시하는 상기 제어 신호를 발생시키는 제어부를 구비하는 것을 특징으로 하는 디지털 영상 신호 처리 장치.
  3. 제 2항에 있어서, 상기 컬러 신호 보간기는,
    상기 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 상기 중심 픽셀 R 또는 B 각각에서, 수평 선형 LPF 필터링 및 수직 BPF 필터링 처리한 데이터, 수직 선형 LPF 필터링 및 수평 BPF 필터링 처리한 데이터, 및 비선형 LPF 필터링 처리한 데이터를 합하는 상기 제1 보간을 수행하여 상기 보간 데이터 G'를 출력하는 제1 보간기;
    상기 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 상기 중심 픽셀 R 또는 B 각각에서, HPF 필터링 처리한 데이터, 및 상기 비선형 LPF 필터링 처리한 데이터를 합하는 상기 제2 보간을 수행하여 상기 보간 데이터 B' 또는 R'를 출력하는 제2 보간기;
    상기 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 상기 중심 픽셀 R, B 또는 G 각각에서, 상기 수직 BPF 필터링 처리한 데이터, 및 상기 수평 BPF 필터링 처리한 데이터를 합하는 상기 제3 보간을 수행하여 상기 보간 데이터 R', B' 또는 G'를 출력하는 제3 보간기;
    상기 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 상기 중심 픽셀 Gr 또는 Gb 각각에서, 상기 수직 선형 LPF 필터링 및 상기 수평 BPF 필터링 처리한 데이터, 및 상기 비선형 LPF 필터링 처리한 데이터를 합하는 상기 제4 보간을 수행하여 상기 보간 데이터 B' 또는 R'를 출력하는 제4 보간기; 및
    상기 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 상기 중심 픽셀 Gr 또는 Gb 각각에서, 상기 수평 선형 LPF 필터링 및 상기 수직 BPF 필터링 처리한 데이터, 및 상기 비선형 LPF 필터링 처리한 데이터를 합하는 상기 제5 보간을 수행하여 상기 보간 데이터 R' 또는 B'를 출력하는 제5 보간기를 구비하는 것을 특징으로 하는 디지털 영상 신호 처리 장치.
  4. 제 1항 또는 제 3항에 있어서, 상기 수평 선형 LPF 필터링은,
    상기 5 ×5 윈도우의 픽셀 데이터들 중 상기 중심 픽셀 주위의 5 ×3 픽셀 데이터들에 대하여, 1, 3, 5 로우들 각각의 픽셀 데이터들에 수평 LPF 필터링 가중치 을 승산하여 평균한 값을 각 로우의 중심값으로 하는 것이고, 상기 수직 선형 LPF 필터링은, 상기 5 ×5 윈도우의 픽셀 데이터들 중 상기 중심 픽셀 주위의 3 ×5 픽셀 데이터들에 대하여, 1, 3, 5 컬럼들 각각의 픽셀 데이터들에 수직 LPF 필터링 가중치
    을 승산하여 평균한 값을 각 컬럼의 중심값으로 하는 것을 특징으로 하는 컬러 신호 보간기.
  5. 제 1항 또는 제 3항에 있어서, 상기 수평 BPF 필터링은,
    상기 5 ×5 윈도우의 픽셀 데이터들 중 상기 중심 픽셀이 속한 로우의 픽셀 데이터들에 수평 BPF 필터링 가중치 을 승산하여 평균하는 것이고, 상기 수직 BPF 필터링은, 상기 5 ×5 윈도우의 픽셀 데이터들 중 상기 중심 픽셀이 속한 컬럼의 픽셀 데이터들에 수직 BPF 필터링 가중치
    을 승산하여 평균하는 것을 특징으로 하는 컬러 신호 보간기.
  6. 제 1항 또는 제 3항에 있어서, 상기 HPF 필터링은,
    상기 5 ×5 윈도우의 픽셀 데이터들 중 상기 중심 픽셀 주위의 3 ×3 픽셀 데이터들에 HPF 필터링 가중치
    을 승산하여 평균하는 것을 특징으로 하는 컬러 신호 보간기.
  7. 제 1항 또는 제 3항에 있어서, 상기 비선형 LPF 필터링은,
    상기 5 ×5 윈도우의 픽셀 데이터들에 대하여, 중심 픽셀 R에 대하여 보간 데이터들 G', 및 B'를 출력하고, 중심 픽셀 B에 대하여 보간 데이터들 G', 및 R'를 출력하며, 중심 픽셀 Gr 및 Gb 모두에 대하여 보간 데이터들 B', 및 R'를 출력하는 것을 특징으로 하는 컬러 신호 보간기.
  8. 제 7항에 있어서, 상기 비선형 LPF 필터링에서,
    상기 중심 픽셀 R에 대하여,
    제1 수학식
    의 수행으로 상기 보간 데이터 G'가 출력되고,
    제2 수학식
    의 수행으로 상기 보간 데이터 B'가 출력되며,
    상기 중심 픽셀 B에 대하여, 상기 제1 수학식의 수행으로 상기 보간 데이터 G'가 출력되고, 상기 제2 수학식의 수행으로 상기 보간 데이터 R'가 출력되며,
    상기 중심 픽셀 Gr 및 Gb 모두에 대하여,
    제3 수학식
    의 수행으로 상기 보간 데이터 B'가 출력되고,
    제4 수학식
    의 수행으로 상기 보간 데이터 R'가 출력되며,
    여기서, 상기 Cy,x는 상기 5 ×5 윈도우의 중심 픽셀 데이터로서 y번째 로우 및 x번째 컬럼의 픽셀 데이터를 의미하며, 상기 a1 내지 상기 a8 각각은 수학식들,
    , , ,
    ,, ,
    ,
    에 의하여 계산되고, 상기 Dy+a,x+b, 및 상기 D1 내지 D8 각각은 수학식들
    ,
    ,,
    ,
    에 의하여 계산되는 것을 특징으로 하는 컬러 신호 보간기.
  9. 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 중심 픽셀 R 또는 B 각각에서, 수평 선형 LPF 필터링 및 수직 BPF 필터링 처리한 데이터, 수직 선형 LPF 필터링 및 수평 BPF 필터링 처리한 데이터, 및 비선형 LPF 필터링 처리한 데이터를 합하는 제1 보간을 수행하여 보간 데이터 G'를 출력하는 단계;
    상기 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 중심 픽셀 R 또는 B 각각에서, HPF 필터링 처리한 데이터, 및 상기 비선형 LPF 필터링 처리한 데이터를 합하는 제2 보간을 수행하여 보간 데이터 B' 또는 R'를 출력하는 단계;
    상기 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 중심 픽셀 R, B 또는 G 각각에서, 상기 수직 BPF 필터링 처리한 데이터, 및 상기 수평 BPF 필터링 처리한 데이터를 합하는 제3 보간을 수행하여 보간 데이터 R', B' 또는 G'를 출력하는 단계;
    상기 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 중심 픽셀 Gr 또는 Gb 각각에서, 상기 수직 선형 LPF 필터링 및 상기 수평 BPF 필터링 처리한 데이터, 및 상기 비선형 LPF 필터링 처리한 데이터를 합하는 제4 보간을 수행하여 보간 데이터 B' 또는 R'를 출력하는 단계; 및
    상기 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 중심 픽셀 Gr 또는 Gb 각각에서, 상기 수평 선형 LPF 필터링 및 상기 수직 BPF 필터링 처리한 데이터, 및 상기 비선형 LPF 필터링 처리한 데이터를 합하는 제5 보간을 수행하여 보간 데이터 R' 또는 B'를 출력하는 단계를 구비하는 것을 특징으로 하는 컬러 신호 보간 방법.
  10. 입력되는 픽셀 데이터를 수신하여 5 픽셀 라인 이상의 픽셀 데이터들을 업데이트시켜 저장하고, 제어 신호의 제어를 받아 중심 픽셀을 중심으로 하는 5 ×5 윈도우의 픽셀 데이터들을 출력하는 단계;
    상기 제어 신호의 제어를 받아, 중심 픽셀 R에 대하여 상기 5 ×5 윈도우의 픽셀 데이터들을 이용한 제1 보간, 제2 보간, 및 제3 보간 각각으로 보간 데이터들 G', B', 및 R'를 출력하는 제1 그룹 보간, 중심 픽셀 B에 대하여 상기 5 ×5 윈도우의 픽셀 데이터들을 이용한 상기 제1 보간, 상기 제2 보간, 및 상기 제3 보간 각각으로 보간 데이터들 G', R', 및 B'를 출력하는 제2 그룹 보간, 중심 픽셀 Gr에 대하여 상기 5 ×5 윈도우의 픽셀 데이터들을 이용한 상기 제3 보간, 제4 보간, 및 제5 보간 각각으로 보간 데이터들 G', B', 및 R'를 출력하는 제3 그룹 보간, 및 중심 픽셀 Gb에 대하여 상기 5 ×5 윈도우의 픽셀 데이터들을 이용한 상기 제3 보간, 상기 제4 보간, 및 상기 제5 보간 각각으로 보간 데이터들 G', R', 및 B'를 출력하는 제4 그룹 보간을 수행하는 컬러 신호 보간 단계;
    상기 중심 픽셀이 어떤 컬러인지를 판단하고, 중심 픽셀의 컬러, 즉, R, B, Gr, 및 Gb 각각에 따라, 상기 제1 그룹 보간, 상기 제2 그룹 보간, 상기 제3 그룹 보간, 및 상기 제4 그룹 보간을 지시하는 상기 제어 신호를 발생시키는 단계를 구비하는 것을 특징으로 하는 디지털 영상 신호 처리 방법.
  11. 제 10항에 있어서, 상기 컬러 신호 보간 단계는,
    상기 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 상기 중심 픽셀 R 또는 B 각각에서, 수평 선형 LPF 필터링 및 수직 BPF 필터링 처리한 데이터, 수직 선형 LPF 필터링 및 수평 BPF 필터링 처리한 데이터, 및 비선형 LPF 필터링 처리한 데이터를 합하는 상기 제1 보간을 수행하여 상기 보간 데이터 G'를 출력하는 단계;
    상기 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 상기 중심 픽셀 R 또는 B 각각에서, HPF 필터링 처리한 데이터, 및 상기 비선형 LPF 필터링 처리한 데이터를 합하는 상기 제2 보간을 수행하여 상기 보간 데이터 B' 또는 R'를 출력하는 단계;
    상기 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 상기 중심 픽셀 R, B 또는 G 각각에서, 상기 수직 BPF 필터링 처리한 데이터, 및 상기 수평 BPF 필터링 처리한 데이터를 합하는 상기 제3 보간을 수행하여 상기 보간 데이터 R', B' 또는 G'를 출력하는 단계;
    상기 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 상기 중심 픽셀 Gr 또는 Gb 각각에서, 상기 수직 선형 LPF 필터링 및 상기 수평 BPF 필터링 처리한 데이터, 및 상기 비선형 LPF 필터링 처리한 데이터를 합하는 상기 제4 보간을 수행하여 상기 보간 데이터 B' 또는 R'를 출력하는 단계; 및
    상기 5 ×5 윈도우의 픽셀 데이터들을 수신하여, 상기 중심 픽셀 Gr 또는 Gb 각각에서, 상기 수평 선형 LPF 필터링 및 상기 수직 BPF 필터링 처리한 데이터, 및 상기 비선형 LPF 필터링 처리한 데이터를 합하는 상기 제5 보간을 수행하여 상기 보간 데이터 R' 또는 B'를 출력하는 단계를 구비하는 것을 특징으로 하는 디지털 영상 신호 처리 방법.
  12. 제 9항 또는 제 11항에 있어서, 상기 수평 선형 LPF 필터링은,
    상기 5 ×5 윈도우의 픽셀 데이터들 중 상기 중심 픽셀 주위의 5 ×3 픽셀 데이터들에 대하여, 1, 3, 5 로우들 각각의 픽셀 데이터들에 수평 LPF 필터링 가중치 을 승산하여 평균한 값을 각 로우의 중심값으로 하는 것이고, 상기 수직 선형 LPF 필터링은, 상기 5 ×5 윈도우의 픽셀 데이터들 중 상기 중심 픽셀 주위의 3 ×5 픽셀 데이터들에 대하여, 1, 3, 5 컬럼들 각각의 픽셀 데이터들에 수직 LPF 필터링 가중치
    을 승산하여 평균한 값을 각 컬럼의 중심값으로 하는 것을 특징으로 하는 컬러 신호 보간 방법.
  13. 제 9항 또는 제 11항에 있어서, 상기 수평 BPF 필터링은,
    상기 5 ×5 윈도우의 픽셀 데이터들 중 상기 중심 픽셀이 속한 로우의 픽셀 데이터들에 수평 BPF 필터링 가중치 을 승산하여 평균하는 것이고, 상기 수직 BPF 필터링은, 상기 5 ×5 윈도우의 픽셀 데이터들 중 상기 중심 픽셀이 속한 컬럼의 픽셀 데이터들에 수직 BPF 필터링 가중치
    을 승산하여 평균하는 것을 특징으로 하는 컬러 신호 보간 방법.
  14. 제 9항 또는 제 11항에 있어서, 상기 HPF 필터링은,
    상기 5 ×5 윈도우의 픽셀 데이터들 중 상기 중심 픽셀 주위의 3 ×3 픽셀 데이터들에 HPF 필터링 가중치
    을 승산하여 평균하는 것을 특징으로 하는 컬러 신호 보간 방법.
  15. 제 9항 또는 제 11항에 있어서, 상기 비선형 LPF 필터링은,
    상기 5 ×5 윈도우의 픽셀 데이터들에 대하여, 중심 픽셀 R에 대하여 보간 데이터들 G', 및 B'를 출력하고, 중심 픽셀 B에 대하여 보간 데이터들 G', 및 R'를 출력하며, 중심 픽셀 Gr 및 Gb 모두에 대하여 보간 데이터들 B', 및 R'를 출력하는 것을 특징으로 하는 컬러 신호 보간 방법.
  16. 제 15항에 있어서, 상기 비선형 LPF 필터링에서,
    상기 중심 픽셀 R에 대하여,
    제1 수학식
    의 수행으로 상기 보간 데이터 G'가 출력되고,
    제2 수학식
    의 수행으로 상기 보간 데이터 B'가 출력되며,
    상기 중심 픽셀 B에 대하여, 상기 제1 수학식의 수행으로 상기 보간 데이터 G'가 출력되고, 상기 제2 수학식의 수행으로 상기 보간 데이터 R'가 출력되며,
    상기 중심 픽셀 Gr 및 Gb 모두에 대하여,
    제3 수학식
    의 수행으로 상기 보간 데이터 B'가 출력되고,
    제4 수학식
    의 수행으로 상기 보간 데이터 R'가 출력되며,
    여기서, 상기 Cy,x는 상기 5 ×5 윈도우의 중심 픽셀 데이터로서 y번째 로우 및 x번째 컬럼의 픽셀 데이터를 의미하며, 상기 a1 내지 상기 a8 각각은 수학식들,
    , , ,
    ,, ,
    ,
    에 의하여 계산되고, 상기 Dy+a,x+b, 및 상기 D1 내지 D8 각각은 수학식들
    ,
    ,,
    ,
    에 의하여 계산되는 것을 특징으로 하는 컬러 신호 보간 방법.
KR10-2003-0020020A 2003-03-31 2003-03-31 베이어 패턴 컬러 신호에 대한 적응형 필터로 보간을수행하여 해상도를 높이는 보간기, 이를 구비한 디지털영상 신호 처리 장치, 및 그 방법 KR100505681B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR10-2003-0020020A KR100505681B1 (ko) 2003-03-31 2003-03-31 베이어 패턴 컬러 신호에 대한 적응형 필터로 보간을수행하여 해상도를 높이는 보간기, 이를 구비한 디지털영상 신호 처리 장치, 및 그 방법
US10/800,895 US7671910B2 (en) 2003-03-31 2004-03-15 Interpolator, method, and digital image signal processor for adaptive filtering of Bayer pattern color signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2003-0020020A KR100505681B1 (ko) 2003-03-31 2003-03-31 베이어 패턴 컬러 신호에 대한 적응형 필터로 보간을수행하여 해상도를 높이는 보간기, 이를 구비한 디지털영상 신호 처리 장치, 및 그 방법

Publications (2)

Publication Number Publication Date
KR20040085366A KR20040085366A (ko) 2004-10-08
KR100505681B1 true KR100505681B1 (ko) 2005-08-02

Family

ID=33095595

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-0020020A KR100505681B1 (ko) 2003-03-31 2003-03-31 베이어 패턴 컬러 신호에 대한 적응형 필터로 보간을수행하여 해상도를 높이는 보간기, 이를 구비한 디지털영상 신호 처리 장치, 및 그 방법

Country Status (2)

Country Link
US (1) US7671910B2 (ko)
KR (1) KR100505681B1 (ko)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8471852B1 (en) 2003-05-30 2013-06-25 Nvidia Corporation Method and system for tessellation of subdivision surfaces
GB2426881B (en) * 2005-06-01 2010-12-29 Snell & Wilcox Ltd Method and apparatus for spatial interpolation of colour images
TWI272016B (en) * 2005-08-09 2007-01-21 Sunplus Technology Co Ltd Method and system for eliminating color noises generated from interpolation
US8571346B2 (en) 2005-10-26 2013-10-29 Nvidia Corporation Methods and devices for defective pixel detection
US7885458B1 (en) 2005-10-27 2011-02-08 Nvidia Corporation Illuminant estimation using gamut mapping and scene classification
US7750956B2 (en) 2005-11-09 2010-07-06 Nvidia Corporation Using a graphics processing unit to correct video and audio data
US8588542B1 (en) 2005-12-13 2013-11-19 Nvidia Corporation Configurable and compact pixel processing apparatus
US8737832B1 (en) 2006-02-10 2014-05-27 Nvidia Corporation Flicker band automated detection system and method
KR100831970B1 (ko) * 2006-08-16 2008-05-23 엠텍비젼 주식회사 결함 화소 검출 방법 및 이를 위해 사용되는 장치
US8594441B1 (en) 2006-09-12 2013-11-26 Nvidia Corporation Compressing image-based data using luminance
US8723969B2 (en) 2007-03-20 2014-05-13 Nvidia Corporation Compensating for undesirable camera shakes during video capture
US8564687B2 (en) * 2007-05-07 2013-10-22 Nvidia Corporation Efficient determination of an illuminant of a scene
US8698917B2 (en) * 2007-06-04 2014-04-15 Nvidia Corporation Reducing computational complexity in determining an illuminant of a scene
US8724895B2 (en) * 2007-07-23 2014-05-13 Nvidia Corporation Techniques for reducing color artifacts in digital images
US8570634B2 (en) 2007-10-11 2013-10-29 Nvidia Corporation Image processing of an incoming light field using a spatial light modulator
US8780128B2 (en) 2007-12-17 2014-07-15 Nvidia Corporation Contiguously packed data
US9177368B2 (en) 2007-12-17 2015-11-03 Nvidia Corporation Image distortion correction
US8698908B2 (en) 2008-02-11 2014-04-15 Nvidia Corporation Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera
JP2009212969A (ja) * 2008-03-05 2009-09-17 Toshiba Corp 画像処理装置、画像処理方法、及び画像処理プログラム
US9379156B2 (en) 2008-04-10 2016-06-28 Nvidia Corporation Per-channel image intensity correction
US8373718B2 (en) 2008-12-10 2013-02-12 Nvidia Corporation Method and system for color enhancement with color volume adjustment and variable shift along luminance axis
US8749662B2 (en) 2009-04-16 2014-06-10 Nvidia Corporation System and method for lens shading image correction
US8698918B2 (en) 2009-10-27 2014-04-15 Nvidia Corporation Automatic white balancing for photography
US9798698B2 (en) 2012-08-13 2017-10-24 Nvidia Corporation System and method for multi-color dilu preconditioner
US9508318B2 (en) 2012-09-13 2016-11-29 Nvidia Corporation Dynamic color profile management for electronic devices
KR101990540B1 (ko) 2012-10-31 2019-06-18 삼성전자주식회사 이미지 프로세싱 방법, 그 이미지 신호 프로세서 및 이를 포함하는 이미지 센싱 시스템
US9307213B2 (en) 2012-11-05 2016-04-05 Nvidia Corporation Robust selection and weighting for gray patch automatic white balancing
US9870598B2 (en) 2013-04-26 2018-01-16 Nvidia Corporation Low complexity adaptive filtering for mobile captures
US9756222B2 (en) 2013-06-26 2017-09-05 Nvidia Corporation Method and system for performing white balancing operations on captured images
US9826208B2 (en) 2013-06-26 2017-11-21 Nvidia Corporation Method and system for generating weights for use in white balancing an image
JP6136669B2 (ja) * 2013-07-08 2017-05-31 株式会社ニコン 撮像装置
CN104580831A (zh) * 2015-02-03 2015-04-29 成都金本华科技股份有限公司 一种视频信号图像的增强方法和装置
KR102610671B1 (ko) * 2019-10-02 2023-12-06 한화비전 주식회사 색 보간 장치 및 그 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5319451A (en) * 1988-05-31 1994-06-07 Canon Kabushiki Kaisha Color signal processing apparatus using a common low pass filter for the luminance signal and the color signals
US5323233A (en) * 1990-07-31 1994-06-21 Canon Kabushiki Kaisha Image signal processing apparatus having a color filter with offset luminance filter elements
US5280347A (en) * 1990-10-30 1994-01-18 Canon Kabushiki Kaisha Color image sensing device
JP3771054B2 (ja) * 1998-07-01 2006-04-26 株式会社リコー 画像処理装置及び画像処理方法
JP4451044B2 (ja) * 2002-02-21 2010-04-14 株式会社メガチップス 混成画素補間装置および混成画素補間方法

Also Published As

Publication number Publication date
US20040196395A1 (en) 2004-10-07
KR20040085366A (ko) 2004-10-08
US7671910B2 (en) 2010-03-02

Similar Documents

Publication Publication Date Title
KR100505681B1 (ko) 베이어 패턴 컬러 신호에 대한 적응형 필터로 보간을수행하여 해상도를 높이는 보간기, 이를 구비한 디지털영상 신호 처리 장치, 및 그 방법
JP4664810B2 (ja) カラーフィルタアレイのイメージデータを補間する方法及び装置
US7006704B2 (en) Method of and apparatus for improving picture quality
KR101143147B1 (ko) 컬러 이미지의 디모자이크를 위한 고품질 그레디언트보정된 선형 보간법
US6078307A (en) Method for increasing luminance resolution of color panel display systems
KR101422096B1 (ko) 화상 처리장치 및 화상 처리방법
JP4610930B2 (ja) 画像処理装置、画像処理プログラム
JP4887546B2 (ja) 輝度変化に適応してノイズをフィルタリングする方法及びシステム
US7643039B2 (en) Method and apparatus for converting a color image
WO2005112470A1 (ja) 画像処理装置および画像処理プログラム
JP4641675B2 (ja) 画像信号処理装置
KR20120098802A (ko) 화상처리장치
JP4317619B2 (ja) 画像処理装置
US7801355B2 (en) Image processing method, image processing device, semiconductor device, electronic apparatus, image processing program, and computer-readable storage medium
CN102893305B (zh) 图像处理设备和图像获取设备
US20080043145A1 (en) Image Processing Apparatus, Image Processing Method, and Image Display Apparatus
US20010048771A1 (en) Image processing method and system for interpolation of resolution
US20060177148A1 (en) Image processing device, image processing program, and program-recording medium
US7573515B2 (en) Method and apparatus for processing a sensor signal having a plurality of pixels from an image sensor, computer program product, computing system and camera
CN111988592B (zh) 影像色彩还原与增强电路
JP7183015B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JPH0795595A (ja) カラー撮像装置
US8346021B2 (en) Content adaptive scaler based on a farrow structure
JP2005123813A (ja) 画像処理装置
JPH0691631B2 (ja) 電子ズーム装置及び電子ズーム内蔵撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090714

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee