KR20070089485A - 영상신호에 포함된 잡음을 제거할 수 있는 영상신호처리장치 및 방법 - Google Patents

영상신호에 포함된 잡음을 제거할 수 있는 영상신호처리장치 및 방법 Download PDF

Info

Publication number
KR20070089485A
KR20070089485A KR1020060019584A KR20060019584A KR20070089485A KR 20070089485 A KR20070089485 A KR 20070089485A KR 1020060019584 A KR1020060019584 A KR 1020060019584A KR 20060019584 A KR20060019584 A KR 20060019584A KR 20070089485 A KR20070089485 A KR 20070089485A
Authority
KR
South Korea
Prior art keywords
pixel
edge
agc
threshold
signal
Prior art date
Application number
KR1020060019584A
Other languages
English (en)
Other versions
KR100809687B1 (ko
Inventor
티모페이 우바로프
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060019584A priority Critical patent/KR100809687B1/ko
Priority to US11/679,671 priority patent/US20070211307A1/en
Priority to TW096106803A priority patent/TWI339061B/zh
Publication of KR20070089485A publication Critical patent/KR20070089485A/ko
Application granted granted Critical
Publication of KR100809687B1 publication Critical patent/KR100809687B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403—Edge-driven scaling; Edge-based scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

영상신호에 포함된 잡음을 제거할 수 있는 영상신호 처리장치 및 방법이 개시된다. 본 발명의 실시예에 따른 영상신호 처리장치는 영상신호에 포함된 잡음을 제거하며, GR-GB 정정부; 임계값 계산부, 및 전처리 및 보간부를 구비한다. GR-GB 정정부는 상기 영상신호의 각 픽셀에 이웃하는 동일한 컬러의 이웃픽셀들과의 차이의 절대값과 정정임계값과의 차이에 응답하여 1차 영역을 검출하고, 상기 1차 영역에 포함된 잡음을 필터링한다. 임계값 계산부는 아날로그 이득 조절(AGC) 값 및 상기 영상신호의 각 픽셀의 신호레벨에 응답하여 에지임계값 및 유사도임계값을 계산한다. 전처리 및 보간부는 상기 영상신호의 각 픽셀에서의 공간편차에 응답하여 계산된 에지지시자와 상기 에지임계값을 비교하여 상기 각 픽셀이 에지영역인지 평평한 영역인지 결정하고, 상기 결정결과에 응답하여 상기 영상신호의 각 픽셀을 보간한다. 본 발명의 실시예에 따른 영상신호 처리장치는 평평한 영역들가 에지영역의 부근 영역들에서 높은 신호대잡음비를 가지며 에지영역과 같은 고주파수 영역에서도 선명한 영상을 유지할 수 있은 장점이 있다.

Description

영상신호에 포함된 잡음을 제거할 수 있는 영상신호 처리장치 및 방법{Image processing apparatus and method for reducing noise in image signal}
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 베이어 패턴 픽셀 어레이를 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 영상신호 처리장치의 블록도이다.
도 3은 도 2의 GR-GB 정정부의 동작을 설명하기 위한 도면이다.
도 4는 도 2의 시그마 전처리 및 보간부의 블록도이다.
도 5는 에지지시자를 계산하는 동작을 설명하기 위한 도면이다.
도 6은 에지 검출 동작에서 AGC 값, 임계값 및 신호레벨과의 관계를 설명하기 위한 도면이다.
도 7은 시그마 전처리 동작에서 신호레벨 및 임계값과 가중치와의 관계를 설명하기 위한 도면이다.
도 8은 평평한 영역에서의 보간 동작을 설명하기 위한 도면이다.
도 9는 본 발명의 실시예에 따른 영상신호 처리방법의 흐름도이다.
본 발명은 영상신호 처리장치에 관한 것으로서, 특히 촬상소자(image sensing device)에서 촬상된 (원시) 영상데이터에 포함된 잡음을 제거할 수 있는 영상신호 처리장치 및 방법에 관한 것이다.
디지털 스틸 카메라(Digital Still Camera: DSC), 핸드폰 카메라 등의 촬상시스템은 APS(Active Pixel Sensor) 어레이 형태의 촬상소자(image-sensing device)를 탑재하고 있다. 한편 대부분의 촬상소자는 도 1과 같은 베이어패턴 형태로 세 가지 색(G(Green), B(Blue), R(Red))의 영상신호를 생성한다.
베이어 컬러필터어레이(CFA:Color Filter Array) 구조를 촬상소자에 적용하는 경우에, 각 픽셀을 위한 CMOS 이미지 센서(CMOS Image Sensor: CIS)는 G, B, R 중 어느 하나의 컬러에 대응하는 영상신호를 생성한다.
영상신호는 전기적인 특성을 가지므로, 베이어 CFA 구조를 촬상소자에 적용하는 경우에도 생성된 영상신호의 전기적인 특성에 기인한 잡음에 의해 전체 카메라 시스템의 성능이 저하되는 문제점이 있다. 따라서 촬상소자에 의해 생성된 영상신호에 포함된 잡음을 제거할 필요가 있다.
잡음을 제거하기 위한 간단한 방법으로, 영상신호를 공간저역통과필터링(spatial low-pass filtering)(또는 블러링(blurring))하는 방법이 있다. 공간저역통과필터링하는 방법은 높은 신호대잡음비(signal to noise ratio: SNR) 특성을 얻을 수 있으나 영상을 상세하게 표시하지 못하는(lost of detail) 단점이 있다.
다른 방법으로, 의미 있는 공간 정보를 포함하지 않는 영역에 대해서만 저역 통과필터링하는 방법이 있다. 그러나 이러한 경우에도 영상의 고주파 성분에서 영상을 상세하게 표시하지 못하는 문제점이 있다.
본 발명이 이루고자하는 기술적 과제는 촬상소자에서 촬상된 영상데이터에 포함된 잡음을 제거할 수 있는 영상신호 처리장치를 제공하는데 있다.
본 발명이 이루고자하는 다른 기술적 과제는 촬상소자에서 촬상된 영상데이터에 포함된 잡음을 제거할 수 있는 영상신호 처리방법을 제공하는데 있다.
상기 기술적 과제를 달성하기 위한 본 발명의 실시예에 따른 영상신호 처리장치는 영상신호에 포함된 잡음을 제거하며, GR-GB 정정부; 임계값 계산부, 및 전처리 및 보간부를 구비한다. GR-GB 정정부는 상기 영상신호의 각 픽셀에 이웃하는 동일한 컬러의 이웃픽셀들과의 차이의 절대값과 정정임계값과의 차이에 응답하여 1차 영역을 검출하고, 상기 1차 영역에 포함된 잡음을 필터링한다. 임계값 계산부는 아날로그 이득 조절(AGC) 값 및 상기 영상신호의 각 픽셀의 신호레벨에 응답하여 에지임계값 및 유사도임계값을 계산한다. 전처리 및 보간부는 상기 영상신호의 각 픽셀에서의 공간편차에 응답하여 계산된 에지지시자와 상기 에지임계값을 비교하여 상기 각 픽셀이 에지영역인지 평평한 영역인지 결정하고, 상기 결정결과에 응답하여 상기 영상신호의 각 픽셀을 보간한다.
상기 GR-GB 정정부는 시그마 필터링을 이용하여 잡음을 필터링한다.
상기 에지임계값은 상기 각 픽셀의 신호레벨에 비례하는 정정된 레벨과 상기 AGC 값에 비례하는 AGC 임계값의 합이다.
상기 유사도 임계값은 현재 처리되는 각 픽셀의 신호레벨에 비례하여 계산된다.
상기 전처리 및 보간부는 에지 검출부, 제 2 보간부, 필터링부, 및 제 1 보간부를 구비한다. 에지 검출부는 상기 영상신호의 각 픽셀에서의 공간편차에 응답하여 계산된 에지지시자와 상기 에지임계값을 비교하여 상기 각 픽셀이 에지영역인지 평평한 영역인지 결정한다. 제 2 보간부는 상기 각 픽셀이 에지영역으로 결정된 경우, 소정의 보간방법을 이용하여 상기 에지영역으로 결정된 픽셀들을 보간한다. 필터링부는 상기 각 픽셀이 평평한 영역으로 결정된 경우, 소정의 필터링방법을 이용하여 상기 평평한 영역에 포함된 잡음을 필터링한다. 제 1 보간부는 소정의 보간방법을 이용하여 상기 필터링부의 출력된 잡음이 제거된 픽셀들을 보간한다.
상기 필터링부는 시그마필터링을 이용하여 잡음을 필터링한다.
상기 제 1 보간부는 미디언 필터링을 이용하여 보간한다.
상기 제 2 보간부는 방향성 보간을 이용하여 보간한다.
본 발명의 실시예에 따른 영상신호 처리장치에서 상기 영상신호는 베이어 패턴의 영상신호인 것이 바람직하며, 영상신호 처리장치는 화상데이터 변환부 및 후처리부를 더 구비할 수도 있다. 화상데이터 변환부는 상기 전처리 및 보간부에 의해 보간된 RGB 영상신호를 YCrCb 영상신호로 변환한다. 후처리부는 상기 변환된 YCrCb 영상신호 중 Y 신호를 보간한다.
상기 후처리부는 시그마필터링을 이용하여 상기 Y 신호를 보간한다.
상기 다른 기술적 과제를 달성하기 위한 본 발명의 실시예에 따른 영상신호 처리방법은 영상신호에 포함된 잡음을 제거하며, 상기 영상신호의 각 픽셀에 이웃하는 동일한 컬러의 이웃픽셀들과의 차이의 절대값과 정정임계값과의 차이에 응답하여 1차 영역을 검출하고, 상기 1차 영역에 포함된 잡음을 필터링하는 단계, 아날로그 이득 조절(AGC) 값 및 상기 영상신호의 각 픽셀의 신호레벨에 응답하여 에지임계값 및 유사도임계값을 계산하는 단계, 및 상기 영상신호의 각 픽셀에서의 공간편차에 응답하여 계산된 에지지시자와 상기 에지임계값을 비교하여 상기 각 픽셀이 에지영역인지 평평한 영역인지 결정하고, 상기 결정결과에 응답하여 상기 영상신호의 각 픽셀을 보간하는 단계를 구비한다.
상기 에지임계값을 계산하는 단계는, 상기 각 픽셀의 신호레벨에 비례하는 정정된 레벨을 계산하는 단계, 상기 AGC 값에 비례하는 AGC 임계값을 계산하는 단계, 및 상기 정정된 레벨 및 상기 AGC 임계값을 합산하는 단계를 구비한다.
상기 보간하는 단계는, 상기 영상신호의 각 픽셀에서의 공간편차에 응답하여 계산된 에지지시자와 상기 에지임계값을 비교하여 상기 각 픽셀이 에지영역인지 평평한 영역인지 결정하는 단계, 상기 각 픽셀이 에지영역으로 결정된 경우, 소정의 보간방법을 이용하여 상기 에지영역으로 결정된 픽셀들을 보간하는 단계, 및 상기 각 픽셀이 평평한 영역으로 결정된 경우, 소정의 필터링방법을 이용하여 상기 평평한 영역에 포함된 잡음을 필터링하는 하고, 소정의 보간방법을 이용하여 상기 필터링된 잡음이 제거된 픽셀들을 보간하는 단계를 구비한다.
본 발명의 실시예에 따른 영상신호 처리방법에서 상기 영상신호는 베이어 패 턴의 영상신호인 것이 바람직하며, 영상신호 처리방법은 상기 보간된 RGB 영상신호를 YCrCb 영상신호로 변환하는 단계, 및 상기 변환된 YCrCb 영상신호 중 Y 신호를 보간하는 단계를 더 구비할 수 있다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 도면에 기재된 내용을 참조하여야 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 2는 본 발명의 실시예에 따른 영상신호 처리장치의 블록도이이고, 도 9는 영상신호 처리방법의 흐름도이다. 영상신호 처리장치(200)는 GR-GB 정정부(210), 임계값 계산부(230), 전처리 및 보간부(250), 화상데이터 변환부(270), 및 후처리부(290)를 구비한다.
GR-GB 정정부(210)는 입력 영상데이터(RAW_DATA)에 포함된 잡음을 일차적으로 필터링한다. 즉, GR-GB 정정부(210)는 영상의 1차 영역, 즉 매우 평평한 영역(flat area) 또는 매우 부드러운 영역(smooth area) 내의 잡음을 빠르고 대략적으로(roughly) 필터링함으로써 GR-GB 정정을 수행한다(S901). 이하 GR-GB 정정부(210)의 동작에 대해 설명한다. 여기서 입력되는 영상데이터(RAW_DATA)는 촬상소자(바람직하게는 고체촬상소자)에 의해 촬상된 원시데이터(raw data)이다.
도 3은 GR-GB 정정부의 동작을 설명하기 위한 도면으로, 도 1의 베이어 패턴 의 일부일 수 있다. GR-GB 정정부(210)는 다음의 수학식 (1)을 이용하여 영상에서 현재 처리되는 현재픽셀(RX)이 1차 영역인지 여부를 검출한다.
|RX-R[i]|<TH_GRGB, i=1,3,6,8 (1)
여기서 R[i]는 현재픽셀(RX)와 이웃하는 동일한 컬러를 갖는 이웃픽셀들이고, TH_GRGB는 신호레벨과 관계없이 고체촬상소자의 특성, 촬상시의 환경 등을 고려하여 결정되는 소정의 정정임계값(correction threshold)이다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 주어진 촬상환경에서 1차 영역을 검출하기 위한 정정임계값을 결정할 수 있을 것이다.
현재픽셀(RX)이 1차 영역이면 다음 수학식 (2)를 이용하여 빠르고 대략적으로 현재픽셀(RX)에 포함된 잡음을 제거한다.
RX=R[i]× W[i]+RX× WX (2)
여기서, W[i]는 이웃픽셀(R[i])에 대한 소정의 정정가중치이고, WX는 현재픽셀(RX)에 대한 소정의 정정가중치이다. 정정가중치 또한 신호레벨과 관계없이 고체촬상소자의 특성, 촬상시의 환경 등을 고려하여 결정되며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 주어진 촬상환경에서 정정가중치를 결정할 수 있을 것이다.
이상의 설명에서는 적색(R) 채널(즉, 적색 픽셀들)에 대해서 설명하였으나, 다른 컬러 채널(녹색(G) 또는 청색(B))에 대해서도 동일한 정정이 수행된다. 이 때 일반적으로 녹색채널에서는 적색(R) 또는 청색(B) 픽셀들의 값들과 차이가 발생할 수 있으므로, 다른 정정 임계값이 사용될 수도 있다.
임계값 계산부(230)는, 본 발명의 실시예에 따른 영상신호 처리장치를 구비하는 촬상시스템(미도시)에 의해 발생되는 아날로그 이득 조절(analog gain control: AGC) 값과 처리되는 픽셀의 픽셀값, 즉 신호레벨에 응답하여, 후속하는 전처리 및 보간부(250)와 후처리부(290)에서 사용될 임계값들을 계산한다(S903). 임계값 계산부(230)에서 계산되는 임계값들 및 임계값 계산부(230)의 동작에 대해서는 전처리 및 보간부(250)와 후처리부(290)를 설명하는 부분에서 함께 상세히 설명한다.
전처리 및 보간부(250)는 GR-GB 보정부(210)에 의해 1차 영역에서의 잡음이 제거된 영상데이터에 대해 정밀하고 정확하게 잡음제거를 수행한다. 전처리 및 보간부(250)는 영상데이터의 각각의 픽셀이 에지영역인지 또는 평평한 영역인지 검출하고, 이에 따라 다른 보간을 수행함으로써 영상데이터에 포함된 잡음을 정확하고 정밀하게 제거한다.
도 4는 전처리 및 보간부의 블록도이다. 전처리 및 보간부(250)는 에지 검출부(251), 필터링부(253), 제 1 보간부(255), 및 제 2 보간부(257)를 구비한다. 에지 검출부(251)는 영상데이터의 신호레벨과 아날로그 이득조절(Analog Gain Control: AGC) 값을 이용하여 임계값 계산부(230)에서 계산된 에지임계값(TH_EDGE)과, 영상신호의 그레디언트를 이용하여 계산된 에지지시자(EDGE_ID)를 비교하여 현재픽셀이 에지영역인지 평평한 영역인지 검출한다. 이하 도 5를 참조하여 에지지시자를 계산하는 동작에 대해 설명한다.
도 5는 에지지시자를 계산하는 동작을 설명하기 위한 도면으로, 이하의 설명 에서는 R0가 현재픽셀인 것으로 가정한다. 에지 검출부(251)는 영상데이터의 공간영역에서의 일련의 편차(deviation)(예를 들어, 그레디언트)를 계산하여 에지지시자(EDGE_ID)를 계산한다. 도 5에는 적색(R) 채널에 대한 3×3 윈도우가 도시되어 있으며, 본 발명의 실시예에서는 3×3 윈도우 내에서의 편차를 이용하여 에지지시자(EDGE_ID)가 계산되며, 영상데이터의 모든 픽셀에 대해 에지지시자(EDGE_ID)가 계산된다(S905).
각각의 편차는 현재픽셀과 이웃하는 픽셀들 중 동일한 컬러의 픽셀들 간의 차이의 절대값의 합이다. 예를 들어, 현재픽셀(R0)에서의 편차는 다음 수학식 (3)과 (4)에 의해 계산되는 수직편차(D_VER)와 수평편차(D_HOR)를 가질 수 있다.
D_HOR=|G2-G3|+|R4-R0|+|R5-R0| (3)
D_VER=|G1-G4|+|R2-R0|+|R7-R0| (4)
도 5를 참조하면, 수학식 (3)과 (4)에 나타난 바와 같이 현재픽셀(R0)에서의 수직편차(D_VER)와 수평편차(D_HOR)는 현재픽셀(R0)을 중심으로 수직 및 수평 방향으로 5개의 픽셀들을 이용하여 계산된다.
본 발명의 실시예에서 에지지시자(EDGE_ID)는 다음 수학식 (5)를 이용하여 계산된다.
EDGE_ID=MAX[i=1~5](D_HOR(i))+MAX[i=1~5](D_VER(i)) (5)
식 (5)에 나타난 바와 같이, 에지지시자(EDGE_ID)는 편차들의 최대값의 합으로 설정된다.
에지 검출부(251)는 계산된 에지지시자(EDGE_ID)를 에지임계값(TH_EDGE)과 비교하여 현재픽셀이 에지영역인지 평평한 영역인지 검출한다. 이하에서는 도 6을 참조하여 에지임계값(TH_EDGE)을 계산하는 동작에 대해 설명한다.
에지영역과 평평한 영역을 구별은 상술한 편차들과 평평한 영역을 지시하는 소정의 임계값과의 비교를 이용하여 이루어질 수 있다. 따라서 평평한 영역을 지시하는 소정의 임계값을 예상할 수 있어야 하는데, 이러한 임계값은 평평한 영역에서의 잡음에 의존하므로 평평한 영역에서의 잡음을 측정할 수 있어야 한다.
본 발명의 실시예에서 잡음 편차는 현재의 신호레벨과 적용되는 이득값(AGC 값)에 의존하는 것으로, 그리고 잡음 편차는 신호레벨이 증가함에 따르 증가하는 것으로 가정한다. 대부분의 촬상소자에서 이득값은 촬상환경, 특히 조도(illuminance)에 의존하여 자동이득조절되는 값으로, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 촬상환경에 따라 조절되는 AGC 값을 구할 수 있을 것이다. 한편 임의의 레벨들에서 측정되는 잡음 편차는 비선형 특성을 가지나, 본 발명에서는 선형으로 적합화할 것이다. 따라서 이렇게 정정된 값은 SNR 영역에서는 적용되지 않으며, 절대값 영역에서 중요한 값이다.
에지임계값(TH_EDGE)을 계산하기 위해서, 먼저 다음 수학식 (6)을 이용하여 정정된 레벨(LEVEL_COR)이 계산된다.
LEVEL_COR=C1+M×CPV(x,y) (6)
여기서 C1은 AGC 값에 따라 결정되는 값이고, M은 휘도에 따라 결정되는 값이며, CPV(x,y)는 현재픽셀의 신호값이다. 정정된 레벨(LEVEL_COR)은 각각의 픽셀에 대해 계산되며, 성능향상을 위해 컬러 정보에 의존하도록 계산될 수도 있고 현 재픽셀의 이웃픽셀들을 이용하여 계산될 수도 있다.
다음으로 AGC 값의 영향을 고려한다. AGC 값은 자동 노출(Auto Exposure) 방법에 의해 결정되는 값으로, 촬상환경 중 특히 조명도에 의존한다. 따라서 다양한 조명 환경이 고려되어야 한다.
본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 최대 AGC 값(AGC_MAX)과 최소 AGC 값(AGC_MIN) 사이를 소정의 간격으로 나누면서 고정된 AGC 임계값(TH_AGC)을 측정할 수 있다. 일반적으로 AGC 연산은 곱셈이므로, AGC 동작에 의해 신호레벨 뿐만 아니라 잡음레벨 또한 증폭된다. 최대 AGC 값(AGC_MAX)과 최소 AGC 값(AGC_MIN)을 알고 있다면, 고정된 임계값들을 결정할 수 있을 것이다. 따라서 다음 수학식 (7)과 같은 근사적인 선형 연산을 통해 AGC 값이 반영된 AGC 임계값을 계산할 수 있을 것이다.
TH_AGC=C2+(AGC-AGC_MIN)× M2 (7)
여기서 C2와 M2는 촬상환경, 특히 조명도에 따라 결정되는 값이고, AGC는 현재 AGC 값이며, AGC_MIN은 최소 AGC 값이다. 여기서 AGC 임계값(TH_AGC)은 픽셀이 아닌 각각의 프레임에 대해 계산되는 점에 유의하여야 한다.
에지임계값은 다음의 수학식 (8)과 같이, 정정된 레벨(LEVEL_COR)과 AGC 임계값(TH_AGC)의 합이다.
TH_EDGE=LEVEL_COR+TH_AGC (8)
에지 검출부(251)는 계산된 에지지시자(EDGE_ID)와 에지임계값(TH_EDGE)을 비교하여(S907) 현재픽셀이 에지영역인지 또는 평평한 영역인지 검출한다. 구체적 으로 에지임계값(TH_EDGE)이 에지지시자(EDGE_ID)보다 크면 현재픽셀은 에지영역의 픽셀로 결정되고(S909), 에지임계값(TH_EDGE)이 에지지시자(EDGE_ID)보다 크지 않으면 현재픽셀은 평평한 영역의 픽셀로 결정된다(S915).
도 6은 에지 검출 동작에서 AGC 값, AGC 임계값 및 신호레벨과의 관계를 설명하기 위한 도면이다. 도 6의 (a)에 도시된 바와 같이, 선형화된 ACG 값과 AGC 임계값 그래프에 따라 각각의 프레임에 대해 임의의 AGC 값에 대한 AGC 임계값이 결정된다. 또한 도 6의 (b)에 도시된 바와 같이, 에지지시자(EDGE_ID)가 반영된 정정된 신호(SIGNAL_COR)가 AGC 임계값(TH_AGC)보다 작으면 평평한 영역으로 결정되고 정정된 신호(SIGNAL_COR)가 AGC 임계값(TH_AGC)보다 작지 않으면 에지영역으로 결정된다.
단지 하나의 프레임을 다루기 때문에, 광 조건과 AGC에 대한 적응에 의해서는 AGC 임계값(TH_AGC) 만 변경된다. 도 6의 (b)에 도시된 바와 같이, AGC 임계값(TH_AGC)이 커지면 현재픽셀이 평평한 영역으로 결정될 가능성이 커지므로 세밀한 부분들을 더욱 잘 표현할 것이다. 반대로 AGC 임계값(TH_AGC)이 작아지면 현재픽셀이 에지영역으로 결정될 가능성이 커지므로 해상도에 관계없이 더 많은 잡음을 제거할 것이다.
다시 도 4를 참조하면, 에지 검출부(251)에 의해 현재픽셀이 에지 영역인지 또는 평평한 영역인지 검출되고, 그 검출 결과에 따라 영상데이터의 각 픽셀들은 다르게 처리된다. 즉 평평한 영역으로 결정된 픽셀은 필터링부(253)와 제 1 보간부(255)에 의한 이중적인 잡음제거 과정을 거친다. 반면 에지영역으로 결정된 픽셀은 제 2 보간부(257)에 의한 통상적인 잡음제거 과정을 거친다. 이하에서는 영상데이터에 포함된 잡음을 제거하는 동작에 대해 도 7 및 도 8을 참조하여 설명한다.
먼저 에지 검출부(251)가 평평한 영역으로 결정한 경우, 평평한 영역으로 결정된 영상데이터의 픽셀들은 필터링부(253)로 전송된다. 필터링부(253)는 평평한 영역에 포함된 잡음을 제거하기 위해서 소정의 필터링을 수행한다. 본 발명의 실시예에서 필터링부(253)는 시그마 필터링을 수행한다(S911).
시그마 필터링은 현재픽셀 주위의 픽셀들 중 현재픽셀의 값과 가까운 값을 갖는 픽셀들의 픽셀 값을 평균함으로써 수행되는 간단한 저역 통과 필터링이다. 따라서 필터링된 결과는 이웃 픽셀들의 가중된 합이며, 여기서 각각의 픽셀의 가중치는 현재픽셀 값과의 유사도에 따라 결정될 것이다. 이하에서는 도 5를 참조하여 시그마 필터링 동작에 대해 설명한다.
평균될 픽셀들은, 현재픽셀과의 픽셀값 차이와 소정의 유사도임계값(TH_SIG)을 비교함으로써 선택된다. 이하에서 다음 수학식 (9) 내지 (14)와 도 5를 참조하여 평균될 픽셀들이 선택되는 과정을 설명한다.
RX=SUM/SUMW (9)
SUM=RX+R[1]*W[1]+ … +R[8]*W[8] (10)
SumW=1+W[1]+ … +W[8] (11)
W[i]=1 if |RX-R[i]| < TH_SIG1(x,y) (12-1)
W[i]=0.25 if |RX-R[i]| < TH_SIG2(x,y) (12-2)
W[i]=0 if |RX-R[i]| > TH_SIG2(x,y) (12-3)
TH_SIG1(x,y)=M1× SIG(x,y)+C1 (13)
TH_SIG1(x,y)=M2× SIG(x,y)+C2 (14)
여기서 RX는 현재픽셀에 대해 시그마 필터링이 수행된 결과를 나타내고, W[i]는 i 번째 픽셀에 대한 가중치이고, TH_SIG1(x,y) 및 TH_SIG2(x,y)는 좌표가 (x,y)인 픽셀에서의 제 1 및 제 2 유사도 임계값이며, SIG(x,y)는 좌표가 (x,y)인 픽셀의 픽셀값이다. 이 때 현재픽셀, 즉 중심픽셀(R0)에 대한 가중치는 1이다.
한편 제 1 및 제 2 유사도임계값(TH_SIG1 및 TH_SIG2)은 신호 레벨에 따라 증가하는 값으로 처리되는 각각의 픽셀에 대해 게산된다. 도 7에 신호레벨과 유사도임계값(TH_SIG) 및 가중치와의 관계가 나타나 있다. 잡음 편차가 신호 레벨에 따라 증가하고 잡음이 어두운 영역에서는 잘 보이지 않는 점을 고려할 때, 유사도임계값(TH_SIG) 또한 신호 레벨에 따라 증가할 것이다. 따라서 제 1 및 제 2 유사도임계값(TH_SIG1 및 TH_SIG2)은 상술한 에지 임계값을 결정하는 방식과 유사한 방식으로 결정될 것이다.
도 7에는 신호레벨에 따른 유사도임계값과 가중치의 관계가 도시되어 있다. 도 7에 도시된 바와 같이 유사도임계값(TH_SIG1 또는 TH_SIG2)은 신호레벨에 비례한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 도 7의 그래프를 이용하여 제 1 및 제 2 유사도임계값(TH_SIG1 및 TH_SIG2)을 결정할 수 있을 것이다.
평평한 영역으로 결정된 픽셀들에 대해서는 상술한 바와 같이 필터링부(253)에 의해 필터링이 수행된 후 제 1 보간부(255)에 의한 보간이 추가적으로 수행된 다. 제 1 보간부(255)는 소정의 보간방법, 바람직하게는 미디언 필터링 방법을 이용하여 필터링부(253)에 의해 잡음이 제거된 영상데이터에 대해 2개의 잃어버린 컬러성분들의 보간을 수행한다(S913).
일반적으로 미디언 필터링에서, 5개의 값들에 대한 미디언 값은 5개의 값들을 소팅(sorting)했을 때 가운데 값, 즉 세 번째 값이다. 한편 4개의 값들에 대한 미디언 값은 4개의 값들을 소팅했을 때 두 번째와 세 번째 값의 평균이다.
도 5를 참조하면 R/B 위치에서의 G 픽셀 값(G0)는 다음 수학식 (15)를 이용하여 계산된다.
G0=Median(G1,G2,G3,G4) (15)
여기서 Median()는 미디언 값을 나타낸다. 유사하게, G 위치에서의 B 픽셀 값(B2)과 R 픽셀 값(R2)는 다음 수학식 (16) 및 (17)을 이용하여 계산된다.
B2=(B9+B10)/2 (16)
R2=(R4+R0)/2 (17)
한편, 제 2 보간부(257)은 일반적인 보간방법, 바람직하게는 방향성 보간방법을 이용하여 에지영역으로 결정된 픽셀들에 대해 보간을 수행한다. 구체적으로 제 2 보간부(257)는 컬러 차동(differential) 공간에서 방향성 보간을 수행하는데(S917), 방향성 보간에서는 잡음 제거가 이루어지지 않는다. 일반적으로 에지영역과 같은 고주파수 영역에서는 잡음이 덜 중요한 반면 해상도가 중요하기 때문이다.
다시 도 4를 참조하면, 영상데이터의 현재 처리되는 픽셀이 에지영역인지 여부에 따라 영상데이터는 서로 다른 보간이 수행된 후 출력되는 영상데이터는 RGB 데이터이다. 화상데이터 변환부(270)는 화상을 용이하게 저장하고 표시하기 위해서 RGB 데이터를 YCrCb 데이터로 변환한다(S919).
상술한 바와 같이 같이 GR-GB 정정부(410)에 의해 영상데이터의 1차 영역에서의 잡음이 제거되고, 필터링부(253)와 제 1 보간부(255)에 의해 평평한 영역에서의 잡음과 결점들이 필터링된다. 일반적으로 사람의 눈은 색차의 변화보다 휘도의 변화에 좀 더 민감하므로, 영상데이터의 휘도(Y) 성분에 대해 한번 더 보간이 수행될 필요가 있다.
후처리부(490)는 화상데이터 변환부(470)에 의해 변환된 YCrCb 성분들 중 휘도(Y) 성분에 대해 소정의 필터링 방법, 바람직하게는 시그마 필터링 방법을 이용하여 한번 더 보간을 수행한다(S921). 시그마 필터링 방법은 필터링부(253)에서 수행되는 시그마 필터링 방법과 유사한 방법으로 수행된다.
상술한 바와 같이, 본 발명의 실시예에 따른 영상신호 처리장치는 촬상소자로부터 입력되는 영상데이터에 포함된 잡음을 3 단계에 걸쳐 제거한다. 먼저 GR-GB 정정부(210)는 낮은 잡음 편차를 갖는 평평한 영역, 즉 어두운 영역에서의 잡음을 제거함으로써 GR-GR 차이를 정정한다.
다음으로 전처리 및 보간부(250)는 높은 잡음 편차를 갖는 평평한 영역, 즉 밝은 영역에서의 잡음과 결점을 제거함으로써 에지영역과 같은 고주파수 성분들의 특성을 유지하면서 에지영역 부근의 영역에서의 잡음을 제거한다. 마지막으로 후처리부(490)는 YCrCb로 변환된 영상데이터 중에서 휘도(Y) 성분을 보간함으로써 에지영역 부근의 영역에서의 결점을 제거하고 휘도(Y) 신호에 포함된 잡음을 제거한다.
이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
상술한 바와 같이 본 발명의 실시예에 따른 영상신호 처리장치는 평평한 영역들가 에지영역의 부근 영역들에서 높은 신호대잡음비를 가지며 에지영역과 같은 고주파수 영역에서도 선명한 영상을 유지할 수 있은 장점이 있다.

Claims (18)

  1. 영상신호에 포함된 잡음을 제거하는 영상신호 처리장치에 있어서,
    상기 영상신호의 각 픽셀에 이웃하는 동일한 컬러의 이웃픽셀들과의 차이의 절대값과 정정임계값과의 차이에 응답하여 1차 영역을 검출하고, 상기 1차 영역에 포함된 잡음을 필터링하는 GR-GB 정정부;
    아날로그 이득 조절(AGC) 값 및 상기 영상신호의 각 픽셀의 신호레벨에 응답하여 에지임계값 및 유사도임계값을 계산하는 임계값 계산부;
    상기 영상신호의 각 픽셀에서의 공간편차에 응답하여 계산된 에지지시자와 상기 에지임계값을 비교하여 상기 각 픽셀이 에지영역인지 평평한 영역인지 결정하고, 상기 결정결과에 응답하여 상기 영상신호의 각 픽셀을 보간하는 전처리 및 보간부를 구비하는 것을 특징으로 하는 영상신호 처리장치.
  2. 제 1 항에 있어서,
    상기 GR-GB 정정부는 시그마 필터링을 이용하여 잡음을 필터링하는 것을 특징으로 하는 영상신호 처리장치.
  3. 제 1 항에 있어서, 상기 에지임계값은,
    상기 각 픽셀의 신호레벨에 비례하는 정정된 레벨과 상기 AGC 값에 비례하는 AGC 임계값의 합인 것을 특징으로 하는 영상신호 처리장치.
  4. 제 3 항에 있어서,
    상기 정정된 레벨은 다음 수학식,
    LEVEL_COR=C1+M×CPV(x,y)
    을 이용하여 계산되며, 여기서 LEVEL_COR은 정정된 레벨이고, CPV(x,y)는 좌표 (x,y)인 픽셀의 신호레벨이고, 그리고 C1 및 M은 촬상환경에 따라 결정되는 상수인 것을 특징으로 하는 영상신호 처리장치.
  5. 제 3 항에 있어서,
    상기 AGC 임계값은 다음 수학식
    TH_AGC=C2+(AGC-AGC_MIN)× M2
    을 이용하여 프레임마다 계산되며, 여기서 TH_AGC는 AGC 임계값이고, AGC는 현재 처리되는 프레임의 AGC 값이고, AGC_MIN은 최소 AGC 값이고, 그리고 C2 및 M2는 촬상환경에 따라 결정되는 상수인 것을 특징으로 하는 영상신호 처리장치.
  6. 제 1 항에 있어서,
    상기 유사도 임계값은 현재 처리되는 각 픽셀의 신호레벨에 비례하여 계산되는 것을 특징으로 하는 영상신호 처리장치.
  7. 제 1 항에 있어서, 상기 전처리 및 보간부는,
    상기 영상신호의 각 픽셀에서의 공간편차에 응답하여 계산된 에지지시자와 상기 에지임계값을 비교하여 상기 각 픽셀이 에지영역인지 평평한 영역인지 결정하는 에지 검출부;
    상기 각 픽셀이 에지영역으로 결정된 경우, 소정의 보간방법을 이용하여 상기 에지영역으로 결정된 픽셀들을 보간하는 제 2 보간부;
    상기 각 픽셀이 평평한 영역으로 결정된 경우, 소정의 필터링방법을 이용하여 상기 평평한 영역에 포함된 잡음을 필터링하는 필터링부; 및
    소정의 보간방법을 이용하여 상기 필터링부의 출력된 잡음이 제거된 픽셀들을 보간하는 제 1 보간부를 구비하는 것을 특징으로 하는 영상신호 처리장치.
  8. 제 7 항에 있어서,
    상기 필터링부는 시그마필터링을 이용하여 잡음을 필터링하는 것을 특징으로 하는 영상신호 처리장치.
  9. 제 7 항에 있어서,
    상기 제 1 보간부는 미디언 필터링을 이용하여 보간하는 것을 특징으로 하는 영상신호 처리장치.
  10. 제 7 항에 있어서,
    상기 제 2 보간부는 방향성 보간을 이용하여 보간하는 것을 특징으로 하는 영상신호 처리장치.
  11. 제 1 항에 있어서,
    상기 영상신호는 베이어 패턴의 영상신호인 것을 특징으로 하는 영상신호 처리장치.
  12. 제 11 항에 있어서,
    상기 전처리 및 보간부에 의해 보간된 RGB 영상신호를 YCrCb 영상신호로 변환하는 화상데이터 변환부; 및
    상기 변환된 YCrCb 영상신호 중 Y 신호를 보간하는 후처리부를 더 구비하는 것을 특징으로 하는 영상신호 처리장치.
  13. 제 12 항에 있어서,
    상기 후처리부는 시그마필터링을 이용하여 상기 Y 신호를 보간하는 것을 특징으로 하는 영상신호 처리장치.
  14. 영상신호에 포함된 잡음을 제거하는 영상신호 처리방법에 있어서,
    상기 영상신호의 각 픽셀에 이웃하는 동일한 컬러의 이웃픽셀들과의 차이의 절대값과 정정임계값과의 차이에 응답하여 1차 영역을 검출하고, 상기 1차 영역에 포함된 잡음을 필터링하는 단계;
    아날로그 이득 조절(AGC) 값 및 상기 영상신호의 각 픽셀의 신호레벨에 응답하여 에지임계값 및 유사도임계값을 계산하는 단계; 및
    상기 영상신호의 각 픽셀에서의 공간편차에 응답하여 계산된 에지지시자와 상기 에지임계값을 비교하여 상기 각 픽셀이 에지영역인지 평평한 영역인지 결정하고, 상기 결정결과에 응답하여 상기 영상신호의 각 픽셀을 보간하는 단계를 구비하는 것을 특징으로 하는 영상신호 처리방법.
  15. 제 14 항에 있어서, 상기 에지임계값을 계산하는 단계는,
    상기 각 픽셀의 신호레벨에 비례하는 정정된 레벨을 계산하는 단계;
    상기 AGC 값에 비례하는 AGC 임계값을 계산하는 단계; 및
    상기 정정된 레벨 및 상기 AGC 임계값을 합산하는 단계를 구비하는 것을 특징으로 하는 영상신호 처리방법.
  16. 제 14 항에 있어서, 상기 보간하는 단계는,
    상기 영상신호의 각 픽셀에서의 공간편차에 응답하여 계산된 에지지시자와 상기 에지임계값을 비교하여 상기 각 픽셀이 에지영역인지 평평한 영역인지 결정하는 단계;
    상기 각 픽셀이 에지영역으로 결정된 경우, 소정의 보간방법을 이용하여 상기 에지영역으로 결정된 픽셀들을 보간하는 단계; 및
    상기 각 픽셀이 평평한 영역으로 결정된 경우, 소정의 필터링방법을 이용하 여 상기 평평한 영역에 포함된 잡음을 필터링하는 하고, 소정의 보간방법을 이용하여 상기 필터링된 잡음이 제거된 픽셀들을 보간하는 단계를 구비하는 것을 특징으로 하는 영상신호 처리방법.
  17. 제 14 항에 있어서,
    상기 영상신호는 베이어 패턴의 영상신호인 것을 특징으로 하는 영상신호 처리장치.
  18. 제 17 항에 있어서,
    상기 보간된 RGB 영상신호를 YCrCb 영상신호로 변환하는 단계; 및
    상기 변환된 YCrCb 영상신호 중 Y 신호를 보간하는 단계를 더 구비하는 것을 특징으로 하는 영상신호 처리장치.
KR1020060019584A 2006-02-28 2006-02-28 영상신호에 포함된 잡음을 제거할 수 있는 영상신호처리장치 및 방법 KR100809687B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020060019584A KR100809687B1 (ko) 2006-02-28 2006-02-28 영상신호에 포함된 잡음을 제거할 수 있는 영상신호처리장치 및 방법
US11/679,671 US20070211307A1 (en) 2006-02-28 2007-02-27 Image processing apparatus and method for reducing noise in image signal
TW096106803A TWI339061B (en) 2006-02-28 2007-02-27 Image processing apparatus and method for reducing noise in image signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060019584A KR100809687B1 (ko) 2006-02-28 2006-02-28 영상신호에 포함된 잡음을 제거할 수 있는 영상신호처리장치 및 방법

Publications (2)

Publication Number Publication Date
KR20070089485A true KR20070089485A (ko) 2007-08-31
KR100809687B1 KR100809687B1 (ko) 2008-03-06

Family

ID=38478613

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060019584A KR100809687B1 (ko) 2006-02-28 2006-02-28 영상신호에 포함된 잡음을 제거할 수 있는 영상신호처리장치 및 방법

Country Status (3)

Country Link
US (1) US20070211307A1 (ko)
KR (1) KR100809687B1 (ko)
TW (1) TWI339061B (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9076200B2 (en) 2010-12-29 2015-07-07 Samsung Electro-Mechanics Co., Ltd. Method and apparatus for reducing noise of digital image
KR20160132209A (ko) * 2015-05-07 2016-11-17 (주)이더블유비엠 다중 컬러 센서를 기반하여, 고속 컨벌루션을 이용한 영상의 깊이 정보 추출 방법 및 장치
KR101987079B1 (ko) 2017-12-28 2019-06-10 주식회사 홈초이스 머신러닝 기반의 동적 파라미터에 의한 업스케일된 동영상의 노이즈 제거방법
CN110570412A (zh) * 2019-09-06 2019-12-13 西安交通大学 一种零件误差视觉判断***

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0818593A2 (pt) * 2007-10-15 2015-07-21 Nippon Telegraph & Telephone Processo e aparelho de geração de imagem, seu programa e meio de armazenamento que armazena o programa
ITVI20110336A1 (it) 2011-12-23 2013-06-24 St Microelectronics Srl Correzione di difetti in un array di filtri a colori
JP6156383B2 (ja) * 2012-09-24 2017-07-05 ソニー株式会社 画像処理装置、画像処理プログラム及び画像処理方法
TWI617198B (zh) * 2013-03-15 2018-03-01 開曼群島商普廷數碼影像控股公司 具有透明濾波器像素之成像系統
US9544613B2 (en) 2013-04-24 2017-01-10 Sony Corporation Local detection model (LDM) for recursive motion estimation
KR102192674B1 (ko) 2014-06-26 2020-12-17 삼성전자 주식회사 이미지 처리 장치 및 방법
US10366471B2 (en) * 2015-12-02 2019-07-30 Texas Instruments Incorporated Universal and adaptive de-mosaicing (CFA) system
US10755387B2 (en) * 2018-08-09 2020-08-25 Dreamworks Animation Llc Firefly detection using a plurality of buffers
KR20220010297A (ko) * 2020-07-17 2022-01-25 에스케이하이닉스 주식회사 엣지 기반 샤프니스 세기 제어 회로, 이미지 센싱 장치 및 그 동작방법
US11336848B1 (en) 2021-03-02 2022-05-17 Semiconductor Components Industries, Llc Image sensors having dielectric relaxation correction circuitry

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2690299B1 (fr) * 1992-04-17 1994-06-17 Telecommunications Sa Procede et dispositif de filtrage spatial d'images numeriques decodees par transformation par bloc.
US5506619A (en) 1995-03-17 1996-04-09 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US6147707A (en) * 1996-02-06 2000-11-14 Canon Kabushiki Kaisha Method and apparatus for gain adjustment of an image sensor
US6453074B1 (en) * 1997-03-31 2002-09-17 Canon Kabushiki Kaisha System for image decimation including selective filtering
US6229578B1 (en) * 1997-12-08 2001-05-08 Intel Corporation Edge-detection based noise removal algorithm
JP4662584B2 (ja) 1998-01-27 2011-03-30 イーストマン コダック カンパニー 画像センサのライン毎ノイズ除去装置及び方法
US6108455A (en) * 1998-05-29 2000-08-22 Stmicroelectronics, Inc. Non-linear image filter for filtering noise
US6285798B1 (en) * 1998-07-06 2001-09-04 Eastman Kodak Company Automatic tone adjustment by contrast gain-control on edges
US6175659B1 (en) * 1998-10-06 2001-01-16 Silicon Intergrated Systems Corp. Method and apparatus for image scaling using adaptive edge enhancement
DE60141901D1 (de) * 2001-08-31 2010-06-02 St Microelectronics Srl Störschutzfilter für Bayermusterbilddaten
KR100396898B1 (ko) 2001-09-13 2003-09-02 삼성전자주식회사 이미지센서 출력데이터 처리장치 및 처리방법
US7206027B2 (en) * 2001-11-01 2007-04-17 Koninklijke Philips Electronics N.V. Spatial resolution of video images
US7283164B2 (en) * 2002-09-18 2007-10-16 Micron Technology, Inc. Method for detecting and correcting defective pixels in a digital image sensor
KR100585004B1 (ko) * 2004-04-21 2006-05-29 매그나칩 반도체 유한회사 이미지센서의 디지털 신호 처리 장치
JP4487805B2 (ja) * 2004-11-16 2010-06-23 セイコーエプソン株式会社 画像評価方法、画像評価装置、及び印刷装置
US7486844B2 (en) * 2005-11-17 2009-02-03 Avisonic Technology Corporation Color interpolation apparatus and color interpolation method utilizing edge indicators adjusted by stochastic adjustment factors to reconstruct missing colors for image pixels

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9076200B2 (en) 2010-12-29 2015-07-07 Samsung Electro-Mechanics Co., Ltd. Method and apparatus for reducing noise of digital image
KR20160132209A (ko) * 2015-05-07 2016-11-17 (주)이더블유비엠 다중 컬러 센서를 기반하여, 고속 컨벌루션을 이용한 영상의 깊이 정보 추출 방법 및 장치
KR101987079B1 (ko) 2017-12-28 2019-06-10 주식회사 홈초이스 머신러닝 기반의 동적 파라미터에 의한 업스케일된 동영상의 노이즈 제거방법
CN110570412A (zh) * 2019-09-06 2019-12-13 西安交通大学 一种零件误差视觉判断***
CN110570412B (zh) * 2019-09-06 2022-03-22 西安交通大学 一种零件误差视觉判断***

Also Published As

Publication number Publication date
TW200816791A (en) 2008-04-01
KR100809687B1 (ko) 2008-03-06
TWI339061B (en) 2011-03-11
US20070211307A1 (en) 2007-09-13

Similar Documents

Publication Publication Date Title
KR100809687B1 (ko) 영상신호에 포함된 잡음을 제거할 수 있는 영상신호처리장치 및 방법
US10122951B2 (en) Imaging apparatus, imaging system, and image processing method
EP3093819B1 (en) Imaging apparatus, imaging system, and signal processing method
USRE44717E1 (en) Edge detecting method
US8035704B2 (en) Method and apparatus for processing a digital image having defective pixels
KR100699834B1 (ko) 베이어 패턴의 디지털 컬러 영상 신호를 처리하는 방법 및장치
US20130329101A1 (en) Camera system with multi-spectral filter array and image processing method thereof
JP4730412B2 (ja) 画像処理装置及び画像処理方法
KR100652408B1 (ko) 베이어 패턴의 디지털 컬러 영상 신호를 처리하는 방법 및장치
US8452127B2 (en) Methods and apparatuses for reducing the effects of noise in image signals
US9936172B2 (en) Signal processing device, signal processing method, and signal processing program for performing color reproduction of an image
US8593546B2 (en) Image processing apparatus, image processing method, and camera module for detecting and correcting defective pixels based on contrast and illuminance
JP2016048815A (ja) 画像処理装置、画像処理方法、及び、画像処理システム
US8189066B2 (en) Image processing apparatus, image processing method, and computer-readable medium
US8477210B2 (en) Image processing device and image processing method
US20150222829A1 (en) Imaging apparatus
TW201316784A (zh) 信號處理裝置及信號處理方法、固態攝像裝置、電子資訊機器、信號處理程式以及電腦可讀取儲存媒體
US9219896B1 (en) Method of color processing using a color and white filter array
KR101146171B1 (ko) 영상 처리 장치 및 시스템
US8896731B2 (en) Image processing apparatus, image processing method, and camera module
CN111885281B (zh) 图像处理
US10791289B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable recording medium
JP5109911B2 (ja) 撮像装置および補間処理方法
CN113129389B (zh) 判断摩尔纹的方法、抑制摩尔纹的方法与电路***
JP6261353B2 (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130131

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140129

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee