KR20080102172A - Adaptive image filter for filtering image information - Google Patents
Adaptive image filter for filtering image information Download PDFInfo
- Publication number
- KR20080102172A KR20080102172A KR1020087021996A KR20087021996A KR20080102172A KR 20080102172 A KR20080102172 A KR 20080102172A KR 1020087021996 A KR1020087021996 A KR 1020087021996A KR 20087021996 A KR20087021996 A KR 20087021996A KR 20080102172 A KR20080102172 A KR 20080102172A
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- image information
- filter
- interest
- information associated
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
- H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
Description
기술분야Field of technology
본 개시물은 이미지 포착 디바이스에 관한 것으로서, 더 상세하게는 이미지 포착 디바이스 내에서 이미지 정보를 필터링하는 방법에 관한 것이다.TECHNICAL FIELD This disclosure relates to an image capture device, and more particularly, to a method of filtering image information within an image capture device.
배경기술Background
디지털 비디오 카메라 또는 디지털 스틸 사진 카메라와 같은 이미지 포착 디바이스에 의해 포착된 이미지 정보는 이미지 센서의 물리적인 한계, 광원으로부터의 간섭 등에 의한 손상 또는 잡음에 취약하다. 더 작은 이미지 포착 디바이스에 대한 수요가 증대하면서, 더 컴팩트한 이미지 센서 모듈에 대한 필요성이 대두되고 있다. 이미지 센서 모듈 사이즈의 감소는 이미지 정보 내에 포착된 잡음의 양의 현저한 증가를 초래한다.Image information captured by an image capturing device such as a digital video camera or a digital still photo camera is vulnerable to damage or noise due to physical limitations of the image sensor, interference from a light source, and the like. As the demand for smaller image capture devices increases, the need for more compact image sensor modules is emerging. The reduction in image sensor module size results in a significant increase in the amount of noise captured in the image information.
이미지 정보 필터링은 이러한 손상 및 잡음을 제거하고 처리된 이미지의 품질을 개선하는데 사용되는 일반적인 프로세스이다. 포착된 이미지 정보에 대한 저역 통과 필터링의 적용은 이미지 내의 잡음의 양을 감소시키지만, 또한 고주파 신호를 포함하는 샤프 에지(sharp edge)를 파괴함으로써 이미지를 흐릿하게 하는 경향이 있다. 포착된 이미지 데이터에 대한 고역 통과 필터링의 적용은 샤프 에지 및 콘트라스트를 향상시키지만, 불가피하게 잡음 또한 증대시킨다.Image information filtering is a common process used to remove such damage and noise and to improve the quality of processed images. The application of low pass filtering to captured image information reduces the amount of noise in the image, but also tends to blur the image by destroying sharp edges containing high frequency signals. The application of high pass filtering to captured image data improves sharp edges and contrast, but inevitably also increases noise.
요약summary
본 개시물은 비디오 또는 스틸 이미지와 같은 포착된 이미지군(imagery)의 품질을 개선하기 위한 적응형 필터링 기술에 관해 설명하고 있다. 특히, 본 개시물은 주변 픽셀 세트에 의해 각각의 픽셀을 필터링하는 적응형 필터링 기술에 관해 설명하고 있다. 예를 들어, 적응형 이미지 필터는 관심 픽셀(pixel of interest)과 관련된 이미지 정보를 주변 픽셀 세트와 관련된 이미지 정보와 비교한다. 적응형 이미지 필터는 관심 픽셀과 관련된 이미지 정보와 각각의 주변 픽셀과 관련된 이미지 정보 간의 차이를 계산한다. 예를 들어, 적응형 이미지 필터는 차이 값(difference value)을 획득하기 위해 관심 픽셀의 강도 값(intensity value)으로부터 각각의 주변 픽셀의 강도 값을 뺄 수도 있다.This disclosure describes an adaptive filtering technique for improving the quality of a captured imagery, such as a video or still image. In particular, this disclosure describes an adaptive filtering technique that filters each pixel by a set of surrounding pixels. For example, an adaptive image filter compares image information associated with a pixel of interest with image information associated with a set of surrounding pixels. The adaptive image filter calculates the difference between the image information associated with the pixel of interest and the image information associated with each surrounding pixel. For example, the adaptive image filter may subtract the intensity value of each peripheral pixel from the intensity value of the pixel of interest to obtain a difference value.
적응형 이미지 필터는 계산된 차이들의 함수로써 관심 픽셀의 이미지 정보를 필터링한다. 예를 들어, 적응형 이미지 필터는, 각각의 계산된 차이를 저역 통과 임계치 및 고역 통과 임계치와 비교하여 임계 요건을 충족시키는 계산된 차이들을 합산함으로써 필터의 저역 통과 컴포넌트 및 고역 통과 컴포넌트를 계산할 수도 있다. 그 다음, 적응형 이미지 필터는 원래의 픽셀 값, 필터의 저역 통과 컴포넌트 및 필터의 고역 통과 컴포넌트에 기초하여 새로운 픽셀 값을 계산함으로써 관심 픽셀과 관련된 이미지 정보를 필터링한다. The adaptive image filter filters the image information of the pixel of interest as a function of the calculated differences. For example, the adaptive image filter may calculate the low pass component and the high pass component of the filter by comparing each calculated difference with the low pass threshold and the high pass threshold and summing the calculated differences that meet the threshold requirements. . The adaptive image filter then filters the image information associated with the pixel of interest by calculating a new pixel value based on the original pixel value, the low pass component of the filter, and the high pass component of the filter.
적응형 이미지 필터는 이러한 방법으로 이미지의 각각의 픽셀을 필터링할 수도 있다. 따라서, 이미지 필터는 각각의 픽셀이 그의 주변 픽셀의 함수로써 필터링되도록 픽셀마다 이미지 정보를 조정한다. 결과적으로, 적응형 이미지 필 터의 저역 통과 컴포넌트 및 고역 통과 컴포넌트는 관심 픽셀과 관련된 이미지 정보와 주변 픽셀 세트와 관련된 이미지 정보 간의 비교에 기초하여 각각의 픽셀에 관해 적응적으로 변경된다. The adaptive image filter may filter each pixel of the image in this way. Thus, the image filter adjusts the image information per pixel such that each pixel is filtered as a function of its surrounding pixels. As a result, the low pass component and the high pass component of the adaptive image filter are adaptively changed for each pixel based on a comparison between the image information associated with the pixel of interest and the image information associated with the set of surrounding pixels.
일 실시형태에서, 본 개시물은 관심 픽셀과 관련된 이미지 정보와 관심 픽셀 주변의 픽셀과 관련된 이미지 정보 간의 차이를 계산하는 단계, 계산된 차이의 함수로써 필터의 저역 통과 컴포넌트와 고역 통과 컴포넌트를 결정하는 단계, 및 관심 픽셀과 관련된 이미지 정보에 필터를 적용시키는 단계를 포함하는 방법을 제시한다.In one embodiment, the present disclosure calculates a difference between image information associated with a pixel of interest and image information associated with a pixel around the pixel of interest, determining a low pass component and a high pass component of the filter as a function of the calculated difference. And applying a filter to image information associated with the pixel of interest.
다른 실시형태에서, 본 개시물은 복수의 픽셀과 관련된 이미지 정보를 포착하는 복수의 이미지 센서를 포함하여 이미지 정보를 포착하는 이미지 센서 어레이 및, 관심 픽셀과 관련된 이미지 정보와 관심 픽셀 주변의 픽셀과 관련된 이미지 정보 간의 차이를 계산하고, 그 계산된 차이의 함수로써 필터의 저역 통과 컴포넌트 및 고역 통과 컴포넌트를 결정하며, 관심 픽셀과 관련된 이미지 정보에 필터를 적용시키는 적응형 이미지 필터를 포함하는 디바이스를 제시한다.In another embodiment, the present disclosure relates to an image sensor array for capturing image information including a plurality of image sensors that capture image information associated with a plurality of pixels, and to image information associated with a pixel of interest and pixels around the pixel of interest. A device is provided that includes an adaptive image filter that calculates a difference between image information, determines a low pass component and a high pass component of the filter as a function of the calculated difference, and applies the filter to image information associated with the pixel of interest. .
또 다른 실시형태에서, 본 개시물은 복수의 컬러 중 하나를 표현하는, 복수의 픽셀과 관련된 이미지 정보를 포착하는 단계, 이미지 정보가 동일한 컬러를 표현하는 관심 픽셀과 주변 픽셀 세트를 복수의 픽셀로부터 선택하는 단계, 관심 픽셀과 관련된 이미지 정보와 주변 픽셀 세트 중 각각의 주변 픽셀과 관련된 이미지 정보 간의 차이를 계산하는 단계, 및 계산된 차이의 함수로써 관심 픽셀과 관련된 이미지 정보를 필터링하는 단계를 포함하는 방법을 제시한다.In yet another embodiment, the present disclosure captures image information associated with a plurality of pixels, representing one of a plurality of colors, from the plurality of pixels a pixel of interest and a set of surrounding pixels from which the image information represents the same color. Selecting, calculating a difference between the image information associated with the pixel of interest and the image information associated with each peripheral pixel of the set of surrounding pixels, and filtering the image information associated with the pixel of interest as a function of the calculated difference. Give a way.
또 다른 실시형태에서, 본 개시물은 복수의 컬러 중 하나를 표현하는, 복수의 픽셀과 관련된 이미지 정보를 포착하는 복수의 이미지 센서를 갖는 이미지 센서 어레이 및, 이미지 정보가 동일한 컬러를 표현하는 관심 픽셀과 주변 픽셀 세트를 복수의 픽셀로부터 선택하고, 관심 픽셀과 관련된 이미지 정보와 주변 픽셀 세트의 각각의 주변 픽셀과 관련된 이미지 정보 간의 차이를 계산하며, 계산된 차이의 함수로써 관심 픽셀과 관련된 이미지 정보를 필터링하는 적응형 이미지 필터를 포함하는 디바이스를 제시한다.In another embodiment, the present disclosure provides an image sensor array having a plurality of image sensors that capture image information associated with a plurality of pixels, representing one of a plurality of colors, and a pixel of interest in which the image information represents the same color. And a peripheral pixel set from a plurality of pixels, calculating a difference between the image information associated with the pixel of interest and the image information associated with each peripheral pixel of the peripheral pixel set, and obtaining the image information associated with the pixel of interest as a function of the calculated difference. A device is provided that includes an adaptive image filter for filtering.
또 다른 실시형태에서, 본 개시물은 프로세서가, 관심 픽셀과 관련된 이미지 정보와 관심 픽셀 주변의 픽셀과 관련된 이미지 정보 간의 차이를 계산하게 하고, 계산된 차이의 함수로써 필터의 저역 통과 컴포넌트 및 고역 통과 컴포넌트를 결정하게 하며, 관심 픽셀과 관련된 이미지 정보에 필터를 적용시키게 하는 명령을 포함하는 컴퓨터-판독가능 매체를 제시한다.In another embodiment, the present disclosure allows the processor to calculate a difference between image information related to a pixel of interest and image information related to a pixel around the pixel of interest, and the low pass component and high pass of the filter as a function of the calculated difference. A computer-readable medium is provided that includes instructions for determining a component and for applying a filter to image information associated with a pixel of interest.
본 개시물의 하나 이상의 실시형태에 대한 상세한 설명은 이하 첨부 도면 및 발명의 상세한 설명에 개시되어 있다. 본 개시물의 다른 특성, 목적, 및 이점은 발명의 상세한 설명, 도면, 및 특허청구범위에 의해 명확해질 것이다.The details of one or more embodiments of the disclosure are set forth in the accompanying drawings and the description below. Other features, objects, and advantages of the disclosure will be apparent from the description, drawings, and claims.
도면의 간단한 설명Brief description of the drawings
도1은 이미지 정보를 포착하는 예시적인 이미지 포착 디바이스를 나타낸 블록도이다.1 is a block diagram illustrating an exemplary image capture device for capturing image information.
도2는 도1의 이미지 포착 디바이스를 더 상세히 나타낸 블록도이다.2 is a block diagram illustrating the image capture device of FIG. 1 in more detail.
도3은 도1의 이미지 포착 디바이스에 사용될 수 있는 적응형 이미지 필터를 나타낸 블록도이다.3 is a block diagram illustrating an adaptive image filter that may be used in the image capture device of FIG.
도4는 주변 픽셀의 함수로써 관심 픽셀을 필터링하는 기술을 나타낸 흐름도이다.4 is a flow diagram illustrating a technique of filtering a pixel of interest as a function of surrounding pixels.
도5a 및 도5b는 주변 픽셀의 함수로써 관심 픽셀을 필터링하는 예시적인 필터링 기술을 나타낸 설계도이다.5A and 5B are schematic diagrams illustrating exemplary filtering techniques for filtering pixels of interest as a function of surrounding pixels.
발명의 상세한 설명Detailed description of the invention
도1은 이미지 정보를 포착하는 예시적인 이미지 포착 디바이스(10)를 나타낸 블록도이다. 도1에 도시된 바와 같이, 이미지 포착 디바이스(10)는 이미지 센서 어레이(12), 적응형 이미지 필터(14), 이미지 프로세서(16), 및 이미지 저장 디바이스(18)를 포함한다. 도1에 나타낸 기술적 특성은 하드웨어 컴포넌트 및/또는 소프트웨어 컴포넌트의 임의의 적당한 조합에 의해 구현될 수도 있다. 유닛으로서의 상이한 특성에 대한 설명은 이미지 포착 디바이스(10)의 상이한 기능적 양태에 초점을 맞추려는 것이며, 이러한 유닛들이 반드시 별도의 하드웨어 컴포넌트 및/또는 소프트웨어 컴포넌트에 의해 구현되어야만 하는 것을 의미하는 것은 아니다. 오히려, 하나 이상의 유닛에 관한 기능은 통상의 하드웨어 컴포넌트 및/또는 소프트웨어 컴포넌트 내에 집적될 수도 있다. 1 is a block diagram illustrating an example
이미지 포착 디바이스(10)는 디지털 비디오 카메라, 디지털 스틸 이미지 카메라, 또는 이들이 조합된 형태의 카메라와 같은 디지털 카메라일 수도 있다. 또한, 이미지 포착 디바이스(10)는 독립형 카메라와 같은 독립형 디바이스일 수도 있고, 무선 통신 디바이스와 같은 다른 디바이스 내에 집적될 수도 있다. 예를 들어, 이미지 포착 디바이스(10)는 소위 카메라폰 또는 비디오폰를 형성하는 이동 전화기 내에 집적될 수도 있다. 이미지 포착 디바이스(10)가 컬러 이미지군, 명암 이미지군, 또는 양자 모두를 포착하도록 장착되는 것이 바람직하다. 본 개시물에서, "이미지", "이미지군", "이미지 정보" 라는 용어 또는 이와 유사한 용어는 비디오 또는 스틸 사진에 대해 상호 호환적으로 지칭될 수도 있다.The
이미지 센서 어레이(12)는 관심 장면과 관련된 이미지 정보를 획득한다. 이미지 센서 어레이(12)는 개별적인 이미지 센서의 2차원, 예를 들어 행과 열로 배열된 어레이를 포함한다. 이미지 센서 어레이(12)의 각각의 이미지 센서는 단일 픽셀과 관련된 것일 수도 있다. 즉, 이미지 센서와 픽셀 간에 1대1 대응이 존재할 수도 있다. 그러나, 일부 실시형태에서, 각각의 픽셀에 관한 2개 이상의 이미지 센서가 존재할 수도 있다. 예를 들어, 이미지 센서 어레이(12)는 CMOS(complementary metal-oxide semiconductor) 센서, CCD(Charge coupled device) 센서 등과 같은 솔리드스테이트(solid state) 센서 어레이를 포함할 수도 있다.
또한, 관심 장면의 컬러 컴포넌트를 구별해내기 위해, 이미지 센서 어레이(12)는 이미지 센서 어레이(12)를 커버하는 컬러 필터의 2차원 어레이를 포함할 수도 있다. 예를 들어, 이미지 센서 어레이(12)는 적색 필터와 녹색 필터를 교번하고, 청색 필터와 녹색 필터를 교번하는 행을 교번하는 컬러 필터의 반복적인 배열(도5a 및 도5b 참조) 즉, 베이어 패턴(Bayer pattern)으로 배열된 적색 필터, 녹색 필터, 및 청색 필터의 어레이를 포함할 수도 있다. 이미지 센서 어레 이(12)는 CMYK 컬러 필터와 같은 다른 컬러 필터를 이용할 수도 있다. 또한, 이미지 센서 어레이(12)는 베이어 패턴 이외의 패턴으로 컬러 필터를 배열할 수도 있다. In addition, to distinguish the color components of the scene of interest,
이미지 센서 어레이(12) 내의 이미지 센서들은 이미지 정보를 포착하기 위해 이미지 장면에 노출된다. 예를 들어, 이미지 센서 어레이(12)의 각각의 이미지 센서는 그 장면의 빛의 세기를 표현하는 강도 값을 포착할 수도 있다. 이미지 센서 어레이(12)의 각각의 이미지 센서는 센서를 커버하고 있는 컬러 필터로 인해 하나의 컬러에만 민감할 수도 있다. 따라서, 이미지 센서 어레이(12)의 각각의 이미지 센서는 3가지 컬러 중 단 하나의 컬러와 관련된 이미지 정보(예를 들어, 강도 값)를 포착할 수도 있다. 상술한 베이어 패턴의 경우, 이미지 센서 중 절반은 녹색을 표현하는 이미지 정보를 포착하고, 이미지 센서 중 4분의 1은 청색을 표현하는 이미지 정보를 포착하며, 이미지 센서 중 4분의 1은 적색을 표현하는 이미지 정보를 포착한다. 결과적으로, 각각의 픽셀과 관련된 이미지 정보는 컬러 스펙트럼의 일부만을 표현한다. 본 개시물에서, "베이어 포맷" 데이터는 단일 컬러만을 표현하는 이미지 정보를 지칭한다. Image sensors in the
적응형 이미지 필터(14)는 이미지 센서 어레이(12)에 의해 포착된 이미지 정보를 필터링한다. 적응형 이미지 필터(14)는 주변 픽셀과 관련된 이미지 정보의 함수로써 각각의 픽셀과 관련된 이미지 정보를 필터링한다. 더 상세하게, 적응형 이미지 필터(14)는 관심 픽셀과 관련된 이미지 정보를 주변 픽셀 세트와 관련된 이미지 정보와 비교하고, 이러한 비교의 함수로써 관심 픽셀의 이미지 정보를 필터링한다. 예를 들어, 적응형 이미지 필터(14)는 관심 픽셀과 관련된 이미지 정보와 주변 픽셀 세트와 관련된 이미지 정보 간의 비교의 함수로써 조정될 수 있는 저역 통과 컴포넌트 및 고역 통과 컴포넌트를 포함할 수도 있다. 이러한 방법으로, 적응형 이미지 필터(14)는 잡음을 줄이는 동시에 이미지를 향상할 수도 있다.
적응형 이미지 필터(14)는 픽셀마다 이미지 정보를 필터링하며, 관심 픽셀과 관련된 이미지 정보와 주변 픽셀 세트와 관련된 이미지 정보 간의 비교에 기초하여 각각의 픽셀에 관해 적응적으로 변경된다. 따라서, 제1 관심 픽셀의 이미지 정보에 대해 적용된 필터는 제2 관심 픽셀의 이미지 정보에 적용된 필터와 다를 수도 있다.
적응형 이미지 필터(14)는 단일 컬러만을 표현하는 이미지 정보(즉, 베이어 포맷 데이터)를 필터링할 수도 있다. 즉, 적응형 이미지 필터(14)는 동일한 컬러 필터를 이용하는 주변의 이미지 센서에 의해 포착된 이미지 정보의 함수로써 각각의 이미지 센서에 의해 포착된 이미지 정보를 필터링할 수도 있다. 예를 들어, 적응형 이미지 필터(14)는 청색 필터를 이용하는 주변의 이미지 센서의 함수로써, 청색 필터를 또한 이용하는 이미지 센서에 의해 포착된 이미지 정보를 필터링할 수도 있다. 다른 방법으로, 적응형 이미지 필터(14)는 이미지 정보를 RGB(red, green, blue) 도메인으로 이미지 정보를 보간하거나 RGB 도메인으로부터 YCbCr(luminance, blue chrominance, red chrominance) 도메인으로 변환시킨 후에 이미지 정보를 필터링할 수도 있다.
이미지 프로세서(16)는 적응형 이미지 필터(14)로부터 필터링된 이미지 정보를 수신하고, 그 필터링된 이미지 정보에 대해 임의의 필요한 프로세싱을 수행한다. 예를 들어, 이미지 프로세서(16)는 크로핑(cropping), 압축, 이미지 개선, 또는 이미지 센서 어레이(12)에 의해 포착된 이미지 정보의 다른 프로세싱을 수행할 수도 있다. 이미지 프로세서(16)는 마이크로프로세서, DSP(digital signal processor), ASIC(application specification integrated circuit), FPGA(field programmable gate array), 또한 임의의 다른 동등한 이산 또는 집적 로직 회로에 의해 구현될 수도 있다. 일부 실시형태에서, 이미지 프로세서(16)는 MPEG-2, MPEG-4, ITU H.263, ITU H.264, JPEG 등과 같은 특정 인코딩 기술 또는 포맷에 따라 이미지 정보를 인코딩하는 CODEC(encoder-decoder)의 일부를 형성할 수도 있다.
이미지 프로세서(16)는 이미지 저장 디바이스(18) 내에 이미지 정보를 저장한다. 이미지 프로세서(16)는 이미지 저장 디바이스(18) 내에 로우(raw) 이미지 정보, 프로세싱된 이미지 정보 또는 인코딩된 정보를 저장할 수도 있다. 이미지 정보가 오디오 정보를 수반하는 경우, 오디오 정보 또한, 비디오 정보와 결합하거나 또는 이와 독립적으로 이미지 저장 디바이스(18) 내에 저장될 수도 있다. 이미지 저장 디바이스(18)는 ROM(read-only memory), EEPROM(electrically erasable programmable read-only memory), 플래시 메모리와 같거나, 자기(magnetic) 데이터 저장 디바이스 또는 광(optical) 데이터 저장 디바이스와 같은 임의의 휘발성 또는 비휘발성 메모리 또는 저장 디바이스를 포함할 수도 있다.The
도2는 이미지 포착 디바이스(10)를 더 상세하게 나타낸 블록도이다. 이 미지 포착 디바이스(10)에는 이미지 센서 어레이(12)로부터의 로우 이미지 정보에 대해 이미지 프로세싱 동작을 수행하는 VFE(video front end)에 적응형 이미지 필터(14)가 통합되어 있다. 도2에 나타낸 바와 같이, VFE(22)는 결함 픽셀 보정 유닛(24), 적응형 이미지 필터(14) 및 모자이크 복원(demosaic) 유닛(26)을 포함한다. 결함 픽셀 보정 유닛(24)은 하나 이상의 결함 픽셀과 관련된 이미지 정보를 보정한다. 즉, 결함 픽셀 보정 유닛(24)은 하나 이상의 결함 이미지 센서에 의해 포착된 이미지 정보를 보정한다.2 is a block diagram illustrating the
예를 들어, 결함 픽셀 보정 유닛(24)은 어둡거나 밝은 강도 레벨로 고정된 이미지 센서에 의해 포착된 이미지 정보를 보정한다. 결함 픽셀 보정 유닛(24)은 이미지 센서 어레이(12)에 의해 포착된 이미지 정보를 버퍼링하고, 결함 픽셀과 관련된 이미지 정보를 식별하며, 결함 픽셀과 관련된 이미지 정보를 보정한다. 예를 들어, 결함 픽셀 보정 유닛(24)은 결함 픽셀과 관련된 버퍼링된 이미지 정보를 주변 픽셀과 관련된 이미지 정보의 함수로써 보간된 이미지 정보로 대체할 수도 있다. For example, the defective
적응형 이미지 필터(14)는 주변 픽셀과 관련된 이미지 정보의 함수로써 각각의 픽셀과 관련된 이미지 정보를 필터링하기 위해, 결함 픽셀 보정 유닛(24)에 의해 버퍼링된 이미지 정보를 이용한다. 결함 픽셀 보정 유닛(24)에 의해 버퍼링된 이미지 정보를 이용함으로써, 적응형 이미지 필터(14)는 이미지 정보를 버퍼링하는데 필요한 메모리의 양을 감소시킬 수 있다.
모자이크 복원 유닛(26)은 각각의 픽셀에 관해 누락된 컬러 값(color value) 을 보간한다. 상술한 바와 같이, 이미지 센서 어레이(12)의 각각의 이미지 센서는 단일 컬러만을 표현하는 이미지 정보를 포착한다. 즉, 각각의 픽셀과 관련된 이미지 정보는 적색, 녹색, 또는 청색의 단일 컬러 컴포넌트를 포함한다. 모자이크 복원 유닛(26)은 각각의 픽셀에 관해 누락된 컬러 값을 보간한다. 예를 들어, 모자이크 복원 유닛(26)은 적색 픽셀과 관련된 청색 컴포넌트 및 녹색 컴포넌트를 보간한다. 각각의 픽셀과 관련된 이미지 정보는 모자이크 복원 유닛(26)에 의해 프로세싱된 후의 각각의 컬러 컴포넌트에 관한 값을 포함한다. 이 방법으로, 모자이크 복원 유닛(26)은 베이어 포맷 데이터를 RGB 도메인으로 변환한다. 모자이크 복원 유닛(26)은 주변 픽셀에 의해 포착된 이미지 정보를 이용하여 각각의 픽셀에 관한 누락된 컬러 값을 보간할 수도 있다. 모자이크 복원 유닛(26)은 최근접(nearest neighbor) 보간법, 선형(linear) 보간법, 큐빅(cubic) 보간법, 큐빅 스플라인(cubic spline) 보간법 등과 같은 임의의 보간법을 이용할 수도 있다.The
도2에 나타낸 실시형태는 단지 예시적인 목적을 위한 것에 불과하다. 적응형 이미지 필터(14)는 VFE(22) 내에 상주할 필요는 없지만, 대신에 이미지 포착 디바이스(10) 내의 어디에든 상주할 수 있다. 상술한 바와 같이, 적응형 이미지 필터(14)는 모자이크 복원 유닛(26)에 의해 RGB 도메인으로 보간한 후 또는 심지어 RGB 도메인에서 YCbCr 도메인으로 변환한 후에도 이미지 정보를 필터링할 수도 있다.The embodiment shown in FIG. 2 is for illustrative purposes only. The
도3은 적응형 이미지 필터(14)를 더 상세하게 나타낸 블록도이다. 유닛 으로서의 상이한 특성에 대한 설명은 적응형 이미지 필터(14)의 상이한 기능적 양태에 초점을 맞추려는 것이며, 이러한 유닛들이 반드시 별도의 하드웨어 컴포넌트 및/또는 소프트웨어 컴포넌트에 의해 구현되어야만 하는 것을 의미하는 것은 아니다. 오히려, 하나 이상의 유닛에 관한 기능은 통상의 하드웨어 컴포넌트 및/또는 소프트웨어 컴포넌트 내에 집적될 수도 있다.3 is a block diagram illustrating the
상술한 바와 같이, 적응형 이미지 필터(14)는 관심 픽셀과 관련된 이미지 정보를 주변 픽셀 세트와 관련된 이미지 정보와 비교하고, 이 비교의 함수로써 관심 픽셀의 이미지 정보를 필터링한다. 일 실시형태에서, 적응형 이미지 필터(14)는 다음의 수학식에 따라 각각의 관심 픽셀을 필터링한다.As described above,
여기서, x(i,j)' 는 필터링된 픽셀 값이고, x(i,j) 는 관심 픽셀의 필터링되지 않은 값이며, wij 및 wij' 는 정규화 팩터이고, xij는 위치 (i,j) 에 있는 픽셀과 관련된 이미지 정보의 값이며, m 및 n 은 주변 픽셀의 위치 값이고, Where x (i, j) 'is the filtered pixel value, x (i, j) is the unfiltered value of the pixel of interest, w ij and w ij ' are the normalization factor, and x ij is the position (i, j) is the value of the image information associated with the pixel at, m and n are the position values of the surrounding pixels,
이며, 여기서, LowPassThreshold는 저역 통과 필터 컴포넌트에 적용할 수 있는 임 계치이고, HighPassThreshold는 고역 통과 필터 컴포넌트에 적용할 수 있는 임계치이다.Where LowPassThreshold is a threshold applicable to the low pass filter component, and HighPassThreshold is a threshold applicable to the high pass filter component.
상기 수학식(1)은 하드웨어 내에서의 구현을 위해 다음과 같이 간략화될 수도 있다. Equation (1) may be simplified as follows for implementation in hardware.
여기서, x(i,j)'는 필터링된 픽셀 값이고, x(i,j)는 관심 픽셀의 필터링되지 않은 값이며, k ∈ [-4,4] 는 에지 향상도(degree of edge enhancement)를 제어하는 조정가능한 파라미터이고, Where x (i, j) 'is the filtered pixel value, x (i, j) is the unfiltered value of the pixel of interest, and k ∈ [-4,4] is the degree of edge enhancement. Is an adjustable parameter that controls
이다.to be.
도3의 적응형 이미지 필터(14)는 수학식(1)에 따라 픽셀을 필터링하는 하나의 예시적인 실시형태를 나타낸다. 적응형 이미지 필터(14)는 관심 픽셀을 선택하고, 주변 픽셀 세트를 식별한다. 적응형 이미지 필터(14)는 관심 픽셀과 관련된 이미지 정보 및 주변 픽셀 세트와 관련된 이미지 정보를 획득한다. 적응형 이미지 필터(14)는 결함 픽셀 보정에 사용되는 픽셀 버퍼로부터 이미지 정보 를 획득할 수도 있다. 다른 방법으로, 적응형 이미지 필터(14)는 이미지 저장 디바이스(18)로부터 이미지 정보를 획득할 수도 있다. 적응형 이미지 필터(14)는 베이어 포맷, RGB 도메인, YCbCr 도메인 또는 다른 컬러 도메인 또는 포맷에서의 이미지 정보를 획득할 수도 있다. 그러나, 예시적인 목적을 위해, 도3은 베이어 포맷 데이터의 관점에서 설명할 것이다. 따라서, 주변 픽셀과 관련된 이미지 정보는 동일한 컬러 필터를 이용하는 이미지 센서에 의해 획득된 이미지 정보이다. 일반적으로, 이미지 정보는 강도 값일 수도 있다.
상술한 바와 같이, 적응형 이미지 필터(14)는 관심 픽셀과 관련된 이미지 정보를 주변 픽셀 세트와 관련된 이미지 정보와 비교하고, 이 비교치의 함수로써 관심 픽셀의 이미지 정보를 필터링한다. 특히, 적응형 이미지 필터(14)는 관심 픽셀의 이미지 정보와 주변 픽셀 세트의 각각의 주변 픽셀의 이미지 정보 간의 차이를 계산한다(30). 예를 들어, 각각의 주변 픽셀에 대해, 적응형 이미지 필터(14)는 (도3에 "IN_PIXEL"이라고 표시된) 관심 픽셀의 강도 값으로부터 (도3에 "SRND_PIXEL"이라고 표시된) 주변 픽셀의 강도 값을 빼서, (도3에 "DIFF"라고 표시된) 차이를 획득한다. 베이어 포맷 데이터가 RGB 도메인 또는 YCbCr 도메인으로 변환되는 경우, 적응형 이미지 필터(14)는 이미지 정보의 다른 컴포넌트를 이용하여 그 차이를 계산할 수도 있다. 예를 들어, YCbCr의 경우, 적응형 이미지 필터(14)는 픽셀의 Y-휘도 값들을 비교함으로써 차이를 계산할 수도 있다.As described above,
적응형 이미지 필터(14)는 계산된 차이 값의 함수로써 필터의 저역 통과 컴포넌트와 고역 통과 컴포넌트를 결정한다. 예를 들어, 적응형 이미지 필터(14) 는 계산된 차이의 절대값을 적응형 이미지 필터(14)의 고역 통과 컴포넌트 및 저역 통과 컴포넌트에 관한 임계치와 비교할 수도 있다. 특히, (도3에 " LPF 비교기 32" 라고 표시된) 저역 통과 필터 비교기(32)는 각각의 계산된 차이의 절대값을 저역 통과 임계치와 비교한다. 저역 통과 임계치는 설계자 또는 고객에 의해 선택된 이미지 품질 요구사항 및 애플리케이션에 따라 프로그래밍할 수 있는 값이다. 계산된 차이의 절대값이 저역 통과 임계치보다 작은 경우, (도3에 "LPF DIFF 누산기 34"라고 표시된) 저역 통과 필터 차이 누산기(34)는 계산된 차이의 값만큼 차이 값을 증가시킨다. 이러한 방법으로, 저역 통과 필터 차이 누산기(34)는 저역 통과 임계치보다 낮은 계산된 차이들을 합산하여, (도3에 "LPF_DIFF"라고 표시된) 저역 통과 컴포넌트와 관련된 차이 값을 결정한다.
이와 같은 방법으로, (도3에 "HPF 비교기 36" 이라고 표시된) 고역 통과 필터 비교기(36)는 각각의 계산된 차이의 절대값을 고역 통과 임계치와 비교한다. 계산된 차이의 절대값이 고역 통과 임계치보다 큰 경우, (도3에 "HPF DIFF 누산기 38"이라고 표시된) 고역 통과 필터 차이 누산기(38)는 계산된 차이의 값만큼 차이 값을 증가시킨다. 이러한 방법으로, 고역 통과 필터 차이 누산기(38)는 고역 통과 임계치보다 높게 계산된 차이들을 합산하여, (도3에 "HPF_DIFF"라고 표시된) 고역 통과 컴포넌트와 관련된 차이 값을 결정한다.In this way, the high pass filter comparator 36 (indicated as “
저역 통과 컴포넌트(LPF_DIFF)와 관련된 차이 값 및 고역 통과 컴포넌트(HPF_DIFF)에 관한 차이 값은 쉬프트 팩터에 의해 곱해진다. 도3에 나타낸 바와 같이, 적응형 이미지 필터(14)는 LPF_DIFF를 1/(2^LPF_SHIFT)와 곱하고(40), HPF_DIFF를 1/(2^HPF_SHIFT)와 곱한다(42). LPF_SHIFT와 HPF_DIFF는 이미지 품질에 관한 설계자 또는 고객의 선호도뿐 아니라 이미지 포착 디바이스(10)가 사용되는 애플리케이션에 따라 프로그래밍할 수 있는 값이다. 예를 들어, 더 선명한 이미지를 선호하는 설계자 또는 고객은 LPF_SHIFT의 값을 더 큰 값으로 설정하여 필터의 저역 통과 컴포넌트를 더 작게 할 수 있다. LPF_SHIFT 및 HPF_SHIFT의 값은 이미지마다 다를 수도 있다. 예를 들어, LPF_SHIFT 및 HPF_SHIFT는 이미지 텍스처 정보에 기초하여 결정될 수도 있다. 따라서, 깨끗하고 부드러운 텍스처를 갖는 이미지 정보를 위해, LPF_SHIHT를 더 작은 값으로 설정할 수도 있다. 예를 들어, 다른 방법으로, 이미지 포착 디바이스(10)의 동작자(operator)는 이미지 포착 디바이스(10)에서 이미지 콘트라스트 설정을 조정함으로써 LPF_SHIFT 및 HPF_SHIFT의 값을 조정할 수도 있다.The difference value associated with the low pass component LPF_DIFF and the difference value with respect to the high pass component HPF_DIFF are multiplied by the shift factor. As shown in Fig. 3, the
적응형 이미지 필터(14)는 관심 픽셀의 이미지 정보가 주변 픽셀의 이미지 정보와 비교되는 동안에 관심 픽셀과 관련된 정보를 지연시키는 지연 버퍼(44)를 포함한다. 즉, 지연 버퍼(44)는, 적응형 이미지 필터(14)가 관심 픽셀의 이미지 정보와 주변 픽셀의 이미지 정보 간의 차이를 계산하는 동안에 IN_PIXEL을 지연시키고, 저역 통과 컴포넌트 및 고역 통과 컴포넌트를 결정한다. 일례로서, 주변 픽셀 세트가 주변 픽셀의 3×3 행렬인 경우에, 적응형 이미지 필터(14)가 관심 픽셀의 이미지 정보를 8개의 주변 픽셀과 관련된 이미지 정보와 비교하는 동안에, 지연 버퍼(44)는 관심 픽셀과 관련된 이미지 정보를 지연시킬 수도 있다.
적응형 이미지 필터(14)는 저역 통과 컴포넌트 및 고역 통과 컴포넌트의 함 수로써 (도3에 "OUT_PIXEL"이라고 표시된) 관심 픽셀에 관한 필터링된 픽셀 값을 계산한다. 특히, 적응형 이미지 필터(14)는 관심 픽셀의 원래 이미지 정보에 저역 통과 컴포넌트를 더하고(46), 고역 통과 컴포넌트를 뺌으로써(46) 관심 픽셀과 관련된 이미지 정보를 필터링한다. 따라서, 도3에 나타낸 예시에서, 필터링된 픽셀 값은
OUT_PIXEL = IN_PIXEL+(LPF_DIFF/(2^LPF_SHIFT))-(HPF_DIFF/(2^HPF_SHIFT))OUT_PIXEL = IN_PIXEL + (LPF_DIFF / (2 ^ LPF_SHIFT))-(HPF_DIFF / (2 ^ HPF_SHIFT))
이라는 식에 따라 계산되며, 여기서, IN_PIXEL은 관심 픽셀과 관련된 이미지 정보의 원래 값이고, LPF_DIFF는 저역 통과 임계치보다 작은 누산된 차이의 값이며, HPF_DIFF는 고역 통과 임계치보다 큰 누산된 차이의 값이고, LPF_SHIFT 및 HPF_SHIFT는 프로그래밍할 수 있는 값이다.Where IN_PIXEL is the original value of the image information associated with the pixel of interest, LPF_DIFF is the value of the accumulated difference less than the low pass threshold, HPF_DIFF is the value of the accumulated difference that is greater than the high pass threshold, LPF_SHIFT and HPF_SHIFT are programmable values.
도4는 주변 픽셀의 함수로써 관심 픽셀을 필터링하는 도1의 적응형 이미지 필터(14)의 예시적인 동작을 나타낸 흐름도이다. 먼저, 적응형 이미지 필터(14)는 관심 픽셀을 선택하고, 관심 픽셀과 관련된 이미지 정보를 획득한다(50). 예를 들어, 적응형 이미지 필터(14)는 결함 픽셀 보정에 사용되는 픽셀 버퍼로부터 이미지 정보를 획득할 수도 있다. 다른 방법으로, 적응형 이미지 필터(14)는 이미지 저장 디바이스(18)로부터 이미지 정보를 획득할 수도 있다.4 is a flow diagram illustrating an exemplary operation of the
적응형 이미지 필터(14)는 주변 픽셀 세트를 인식하고, 주변 픽셀과 관련된 이미지 정보를 획득한다(52). 또한, 적응형 이미지 필터(14)는 결함 픽셀 보정 유닛(24)에 의해 이용되는 버퍼링된 픽셀, 이미지 저장 디바이스(18), 또는 몇몇 다른 위치로부터 이미지 정보를 획득할 수도 있다. 일 실시형태에서, 이미지 정보는 동일한 컬러 필터를 이용하는 픽셀과 관련되어 있다. 적응형 이미지 필터(14)는 관심 픽셀과 관련된 이미지 정보와 선택된 주변 픽셀과 관련된 이미지 정보 간의 차이를 계산한다(54). 상세히 상술한 바와 같이, 적응형 이미지 필터(14)는 2개의 픽셀의 강도 값을 뺌으로써 그 차이를 계산할 수도 있다.
적응형 이미지 필터(14)는 계산된 차이를 저역 통과 임계치와 비교한다(56). 계산된 차이가 저역 통과 임계치보다 낮으면, 적응형 이미지 필터(14)는 그 차이 값 만큼 차이의 누산치(예를 들어, 도3의 LPF_DIFF)를 증가시킨다(58). 계산된 차이가 저역 통과 임계치보다 크거나 동일하면, 적응형 이미지 필터(14)는 계산된 변화량과 고역 통과 임계치를 비교한다(60). 계산된 차이가 고역 통과 임계치보다 크다면, 적응형 이미지 필터(14)는 그 차이 값만큼 차이의 누산치(예를 들어, 도3의 HPF_DIFF)를 증가시킨다(62).
계산된 차이가 고역 통과 임계치보다 작거나 동일한 경우 또는 차이의 누산치 중 하나를 증가시킨 후, 적응형 이미지 필터(14)는 주변 픽셀 세트 중 비교할 다른 주변 픽셀이 존재하는지 여부를 판단한다(64). 비교할 다른 주변 픽셀이 있다면, 적응형 이미지 필터(14)는 관심 픽셀과 관련된 이미지 정보와 그 다른 주변 픽셀의 이미지 정보 간의 차이를 계산하고, 상술한 바와 같이 그 차이를 임계치와 비교한다.If the calculated difference is less than or equal to the high pass threshold or after increasing one of the accumulated values of the difference, the
주변 픽셀 세트 중 비교할 다른 주변 픽셀이 없는 경우, 적응형 이미지 필터(14)는 저역 통과 필터 컴포넌트 및 고역 통과 필터 컴포넌트를 결정한다(66). 적응형 이미지 필터(14)는 누산된 차이 값의 함수로써 필터링된 컴포넌트의 값을 결정한다. 예를 들어, 저역 통과 필터 컴포넌트 및 고역 통과 필터 컴포넌트의 값은 각각 LPF_DIFF/(2^LPF_SHIFT) 및 HPF_DIFF/(2^HPF_SHIFT)일 수도 있다.If there are no other peripheral pixels to compare in the set of surrounding pixels,
적응형 이미지 필터(14)는 저역 통과 필터 컴포넌트 및 고역 통과 필터 컴포넌트의 함수로써 픽셀과 관련 있는 필터링된 이미지 정보의 값을 계산한다(68). 예를 들어, 필터링된 픽셀 값은
OUT_PIXEL = IN_PIXEL+(LPF_DIFF/(2^LPF_SHIFT))-(HPF_DIFF/(2^HPF_SHIFT))OUT_PIXEL = IN_PIXEL + (LPF_DIFF / (2 ^ LPF_SHIFT))-(HPF_DIFF / (2 ^ HPF_SHIFT))
라는 식에 따라 계산된다. 필터링된 픽셀 값을 계산하는 동안, 프로세스는 다음의 관심 픽셀에 관해 계속된다. 이 프로세스는 모든 관심 픽셀이 프로세싱될 때까지 반복적으로 계속된다.Calculated according to While calculating the filtered pixel value, the process continues with respect to the next pixel of interest. This process continues repeatedly until all the pixels of interest have been processed.
도5a 및 도5b는 적응형 이미지 필터(14)에 의해 수행되는 예시적인 필터링 기술을 나타낸 개략도이다. 도5a 및 도5b는 베이어 포맷으로 배열된 픽셀을 나타내며, 그 픽셀들 각각은 사용가능한 3가지 컬러(R, G, B) 중 하나의 컬러만을 각각 표현한다. 도5a 및 도5b에서, "R"이라고 표시된 박스는 적색 픽셀을 표현하고, "B"라고 표시된 박스는 청색 픽셀을 표현하며, "G"라고 표시된 박스는 녹색 픽셀을 표현한다. 상술한 바와 같이, 각각의 픽셀은 이미지 센서 어레이(12)의 이미지 센서에 대응할 수도 있다. 예시적인 목적을 위해, 이미지 포착 디바이스(10)와 관련된 픽셀의 일부만을 도5a 및 도5b에 나타내었다. 통상적으로, 이미지 포착 디바이스(10)는 대략 수천 또는 수백만 개의 훨씬 더 많은 픽셀을 포함할 것이다.5A and 5B are schematic diagrams illustrating exemplary filtering techniques performed by the
도5a는 청색 픽셀을 필터링하는 예시적인 필터링 방식을 나타낸다. 동일 한 필터링 방식이 적색 픽셀을 필터링하는데 이용될 수도 있다. 도5b는 녹색 픽셀을 필터링하는 예시적인 필터링 방식을 나타낸다. 녹색 픽셀을 필터링하는 필터링 방식은 베이어 패턴의 특성으로 인해 상이할 수도 있다. 상술한 바와 같이, 베이어 패턴에서는 녹색 픽셀이 적색 픽셀과 청색 픽셀보다 2배 많다. 5A illustrates an exemplary filtering scheme for filtering blue pixels. The same filtering scheme may be used to filter the red pixels. 5B illustrates an exemplary filtering scheme for filtering green pixels. The filtering scheme for filtering the green pixels may be different due to the characteristics of the Bayer pattern. As described above, the Bayer pattern has twice as many green pixels as the red and blue pixels.
다음으로, 도5a를 참조하면, 적응형 이미지 필터(14)는 관심 픽셀(72) 및 주변 픽셀 세트(74A-H; "주변 픽셀들(74)")를 선택한다. 도5a에 나타낸 바와 같이, 관심 픽셀(72) 및 주변 픽셀(74)은 동일한 컬러, 즉 청색을 표현한다. 동일한 필터링 방식이 적색 픽셀에 적용될 수도 있다. 적응형 이미지 필터(14)는 관심 픽셀(72)과 관련된 이미지 정보와 각각의 주변 픽셀(74)과 관련된 이미지 정보 간의 차이를 계산한다. 따라서, 이러한 예시에서, 적응형 이미지 필터(14)는 8개의 차이, 즉 각각의 주변 픽셀(74)에 관해 하나씩 계산한다.Next, referring to FIG. 5A, the
적응형 이미지 필터(14)는 상술한 바와 같이 계산된 차이의 함수로써, 관심 픽셀(72)과 관련된 이미지 정보를 필터링한다. 특히, 적응형 이미지 필터(14)는 그 차이를 저역 통과 임계치 및 고역 통과 임계치와 비교하고, 임계치 요구사항이 충족되는 경우에 저역 통과 차이 및 고역 통과 차이를 누산한다. 적응형 이미지 필터(14)는 이미지 정보의 원래 값, 저역 통과 차이, 및 고역 통과 차이에 기초하여 픽셀의 출력값을 계산한다. 다음의 의사코드(pseudocode)는 주변 픽셀의 3×3 행렬의 함수로써 청색 픽셀 또는 적색 픽셀을 필터링하는 예시적인 알고리즘을 나타낸다.
다음으로, 도5b를 참조하면, 적응형 이미지 필터(14)는 관심 픽셀(76) 및 주변 픽셀 세트(78A-G; "주변 픽셀(78)")를 선택한다. 도5b에 나타낸 바와 같이, 관심 픽셀(76) 및 주변 픽셀(78)은 동일한 컬러, 즉, 녹색을 표현한다. 상술한 바와 같이, 베이어 패턴에서는 더 많은 수의 녹색 픽셀이 존재하기 때문에 녹색 픽셀에 관한 필터링 알고리즘은 약간 상이하다. 적응형 이미지 필터(14)는 관심 픽셀(76)과 관련된 이미지 정보와 각각의 주변 픽셀(78)과 관련된 이미지 정보 간의 차이를 계산하며, 이는 결과적으로 녹색의 관심 픽셀(76)에 관해 7개의 차이를 계산하는 것이 된다. Next, referring to FIG. 5B,
적응형 이미지 필터(14)는 상술한 바와 같이 계산된 차이의 함수로써 관심 픽셀(76)과 관련된 이미지 정보를 필터링한다. 특히, 적응형 이미지 필터(14)는 그 차이를 저역 통과 임계치 및 고역 통과 임계치와 비교하고, 임계치 요구사항 이 충족되는 경우, 저역 통과 차이 및 고역 통과 차이를 누산한다. 적응형 이미지 필터(14)는 이미지 정보의 원래 값, 저역 통과 차이, 및 고역 통과 차이에 기초하여 픽셀의 출력 값을 계산한다. 다음의 의사코드는 주변 픽셀의 3×3 행렬의 함수로써 녹색 픽셀을 필터링하는 예시적인 알고리즘을 나타낸다.
도5a 및 도5b에 나타낸 필터링 알고리즘이 주변 픽셀의 3×3 행렬을 이용하지만, 적응형 이미지 필터(14)는 임의의 수의 주변 픽셀을 이용할 수도 있다. 적응형 이미지 필터(14)는 주변 픽셀의 더 큰 행렬(예를 들어, 5×5 행렬 또는 7×7 행렬) 또는 주변 행렬 픽셀의 단지 일부만을 이용할 수도 있다. 예를 들어, 이미지 필터(14)는 주변 픽셀(74A, 74C, 74E, 및 74G)만의 함수로써 관심 픽셀(72)을 필터링한다(도5a). 또한, 적응형 이미지 필터(14)는 RGB 도메인 또는 YCbCr 도메인에서의 이미지 정보와 같은 상이한 도메인에서의 이미지 정보를 필터링할 수 도 있다. 이러한 도메인에서 필터링을 수행하는 경우에, 적응형 이미지 필터(14)는 직접 인접한 픽셀을 주변 픽셀로서 이용할 수도 있다.Although the filtering algorithm shown in Figs. 5A and 5B uses a 3x3 matrix of peripheral pixels, the
여기에 설명한 기술은 하드웨어, 소프트웨어, 펌웨어 도는 이들의 임의의 조합에 의해 구현될 수도 있다. 소프트웨어로 구현된다면, 이 기술은 이미지를 포착하는 디바이스에서 실행되는 경우, 여기에서 설명한 기술 중 하나 이상을 수행하는 장비-실행가능한 명령을 제공하는 프로그램 코드를 포함하는 컴퓨터-판독가능 매체에 적용될 수도 있다. 이러한 경우에, 컴퓨터-판독가능 매체는 SDRAM(synchronous dynamic random access memory)과 같은 RAM(random access memory), ROM(read-only memory), NVRAM(non-volatile random access memory), EEPROM(electrically erasable programmable read-only memory), 플래쉬 메모리 등을 포함할 수도 있다.The techniques described herein may be implemented by hardware, software, firmware, or any combination thereof. If implemented in software, the technique may be applied to a computer-readable medium containing program code for providing equipment-executable instructions to perform one or more of the techniques described herein when executed on a device that captures an image. . In such cases, the computer-readable medium may include random access memory (RAM), such as synchronous dynamic random access memory (SDRAM), read-only memory (ROM), non-volatile random access memory (NVRAM), and electrically erasable programmable read-only memory), flash memory, and the like.
프로그램 코드는 컴퓨터 판독가능 명령의 형태로 메모리에 저장될 수도 있다. 이러한 경우에, 마이크로프로세서 또는 DSP(digital signal processor)와 같은 프로세서는 상술한 기술 중 하나 이상을 수행하기 위해 메모리 내에 저장된 명령을 실행할 수도 있다. 몇몇 경우에, 기술은 다양한 하드웨어 컴포넌트를 야기하는 DSP에 의해 실행될 수도 있다. 다른 경우에, 본 명세서에서 설명한 기술은 하나의 마이크로프로세서, 하나 이상의 ASIC(application specification integrated circuit), 하나 이상의 FPGA(field programmable gate array), 또한 몇몇 다른 하드웨어-소프트웨어 조합에 의해 구현될 수도 있다.The program code may be stored in memory in the form of computer readable instructions. In such cases, a processor such as a microprocessor or digital signal processor (DSP) may execute instructions stored in memory to perform one or more of the techniques described above. In some cases, the technology may be executed by a DSP that causes various hardware components. In other cases, the techniques described herein may be implemented by one microprocessor, one or more application specification integrated circuits (ASICs), one or more field programmable gate arrays (FPGAs), and also some other hardware-software combination.
다양한 실시형태를 설명하였다. 이들 또는 다른 실시형태들은 다음의 특 허청구범위 범위 내에 있다. Various embodiments have been described. These or other embodiments are within the scope of the following claims.
Claims (42)
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/352,483 | 2006-02-09 | ||
US11/352,483 US7860334B2 (en) | 2006-02-09 | 2006-02-09 | Adaptive image filter for filtering image information |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20080102172A true KR20080102172A (en) | 2008-11-24 |
KR100974835B1 KR100974835B1 (en) | 2010-08-11 |
Family
ID=38230288
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020087021996A KR100974835B1 (en) | 2006-02-09 | 2007-02-08 | Adaptive image filter for filtering image information |
Country Status (6)
Country | Link |
---|---|
US (1) | US7860334B2 (en) |
EP (1) | EP1987666A2 (en) |
JP (1) | JP2009526448A (en) |
KR (1) | KR100974835B1 (en) |
CN (1) | CN101375589A (en) |
WO (1) | WO2007092937A2 (en) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8259198B2 (en) | 2009-10-20 | 2012-09-04 | Apple Inc. | System and method for detecting and correcting defective pixels in an image sensor |
US8872946B2 (en) | 2012-05-31 | 2014-10-28 | Apple Inc. | Systems and methods for raw image processing |
US8917336B2 (en) | 2012-05-31 | 2014-12-23 | Apple Inc. | Image signal processing involving geometric distortion correction |
US8953882B2 (en) | 2012-05-31 | 2015-02-10 | Apple Inc. | Systems and methods for determining noise statistics of image data |
US9014504B2 (en) | 2012-05-31 | 2015-04-21 | Apple Inc. | Systems and methods for highlight recovery in an image signal processor |
US9025867B2 (en) | 2012-05-31 | 2015-05-05 | Apple Inc. | Systems and methods for YCC image processing |
US9031319B2 (en) | 2012-05-31 | 2015-05-12 | Apple Inc. | Systems and methods for luma sharpening |
US9077943B2 (en) | 2012-05-31 | 2015-07-07 | Apple Inc. | Local image statistics collection |
US9105078B2 (en) | 2012-05-31 | 2015-08-11 | Apple Inc. | Systems and methods for local tone mapping |
US9131196B2 (en) | 2012-05-31 | 2015-09-08 | Apple Inc. | Systems and methods for defective pixel correction with neighboring pixels |
US9142012B2 (en) | 2012-05-31 | 2015-09-22 | Apple Inc. | Systems and methods for chroma noise reduction |
US9332239B2 (en) | 2012-05-31 | 2016-05-03 | Apple Inc. | Systems and methods for RGB image processing |
KR101639685B1 (en) * | 2015-02-12 | 2016-07-14 | 한국생산기술연구원 | Camera type active filter device, and active filtering method thereof |
US11089247B2 (en) | 2012-05-31 | 2021-08-10 | Apple Inc. | Systems and method for reducing fixed pattern noise in image data |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8218655B2 (en) | 2005-09-19 | 2012-07-10 | Maxim Integrated Products, Inc. | Method, system and device for improving video quality through in-loop temporal pre-filtering |
US8160394B2 (en) * | 2006-05-11 | 2012-04-17 | Intergraph Software Technologies, Company | Real-time capture and transformation of hemispherical video images to images in rectilinear coordinates |
EP2061233B1 (en) * | 2006-09-14 | 2013-06-26 | Mitsubishi Electric Corporation | Image processing device and image processing method |
US8139891B2 (en) * | 2006-11-03 | 2012-03-20 | Siemens Aktiengesellschaft | System and method for structure enhancement and noise reduction in medical images |
JP4925198B2 (en) * | 2007-05-01 | 2012-04-25 | 富士フイルム株式会社 | Signal processing apparatus and method, noise reduction apparatus and method, and program |
US8035704B2 (en) * | 2008-01-03 | 2011-10-11 | Aptina Imaging Corporation | Method and apparatus for processing a digital image having defective pixels |
US8311334B2 (en) * | 2008-10-31 | 2012-11-13 | Ntt Docomo, Inc. | Complexity regularized pattern representation, search, and compression |
US8798388B2 (en) * | 2009-12-03 | 2014-08-05 | Qualcomm Incorporated | Digital image combining to produce optical effects |
US8295631B2 (en) * | 2010-01-29 | 2012-10-23 | Eastman Kodak Company | Iteratively denoising color filter array images |
EP2354840A1 (en) * | 2010-02-05 | 2011-08-10 | Siemens Aktiengesellschaft | An apparatus and a method for performing a difference measurement of an object image |
EP2629519A1 (en) * | 2010-02-05 | 2013-08-21 | Siemens Aktiengesellschaft | A method and an apparatus for difference measurement of an image |
US8508612B2 (en) * | 2010-09-30 | 2013-08-13 | Apple Inc. | Image signal processor line buffer configuration for processing ram image data |
US8817120B2 (en) | 2012-05-31 | 2014-08-26 | Apple Inc. | Systems and methods for collecting fixed pattern noise statistics of image data |
US20150022869A1 (en) * | 2013-07-17 | 2015-01-22 | Samsung Electronics Co., Ltd. | Demosaicing rgbz sensor |
US10764507B1 (en) * | 2019-04-18 | 2020-09-01 | Kneron (Taiwan) Co., Ltd. | Image processing system capable of generating a snapshot image with high image quality by using a zero-shutter-lag snapshot operation |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4651211A (en) * | 1986-01-17 | 1987-03-17 | Rca Corporation | Video signal motion detecting apparatus |
US5111511A (en) * | 1988-06-24 | 1992-05-05 | Matsushita Electric Industrial Co., Ltd. | Image motion vector detecting apparatus |
DE4006181A1 (en) * | 1990-02-28 | 1991-08-29 | Philips Patentverwaltung | ARRANGEMENT FOR SCANING AN X-RAY IMAGE |
KR920010787B1 (en) * | 1990-06-09 | 1992-12-17 | 삼성전자 주식회사 | Luminance/chroma saperating circuit |
EP0531904A3 (en) * | 1991-09-10 | 1993-10-06 | Eastman Kodak Company | Method and apparatus for spatially variant filtering |
US5664029A (en) * | 1992-05-13 | 1997-09-02 | Apple Computer, Inc. | Method of disregarding changes in data in a location of a data structure based upon changes in data in nearby locations |
EP1357397B1 (en) * | 1996-04-01 | 2011-08-17 | Lockheed Martin Corporation | Combined laser/FLIR optics system |
US5828849A (en) * | 1996-05-14 | 1998-10-27 | Lsi Logic Corporation | Method to derive edge extensions for wavelet transforms and inverse wavelet transforms |
US5946454A (en) * | 1996-08-15 | 1999-08-31 | Seiko Epson Corporation | Image enhancement during half-toning using low-pass and high-pass filtering |
US5854859A (en) | 1996-12-27 | 1998-12-29 | Hewlett-Packard Company | Image sharpening filter providing variable sharpening dependent on pixel intensity |
US6188799B1 (en) * | 1997-02-07 | 2001-02-13 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for removing noise in still and moving pictures |
KR100429858B1 (en) * | 1997-05-21 | 2004-06-16 | 삼성전자주식회사 | Apparatus and method for adjusting focus using adaptive filter |
AUPP444898A0 (en) * | 1998-07-02 | 1998-07-23 | Canon Kabushiki Kaisha | A method and apparatus for boundary filtering a digital image |
KR100343692B1 (en) * | 1998-12-31 | 2002-07-20 | 엘지전자주식회사 | contrast enhancement apparatus of video signal |
DE10024374B4 (en) * | 2000-05-17 | 2004-05-06 | Micronas Munich Gmbh | Method and device for measuring the noise contained in an image |
US6856704B1 (en) | 2000-09-13 | 2005-02-15 | Eastman Kodak Company | Method for enhancing a digital image based upon pixel color |
SG115542A1 (en) * | 2003-05-21 | 2005-10-28 | St Microelectronics Asia | Adaptive coring for video peaking |
DE10327578A1 (en) * | 2003-06-18 | 2005-01-13 | Micronas Gmbh | Method and device for filtering a signal |
JP4196274B2 (en) * | 2003-08-11 | 2008-12-17 | ソニー株式会社 | Image signal processing apparatus and method, program, and recording medium |
US7400779B2 (en) * | 2004-01-08 | 2008-07-15 | Sharp Laboratories Of America, Inc. | Enhancing the quality of decoded quantized images |
JP2005311962A (en) * | 2004-04-26 | 2005-11-04 | Olympus Corp | Image processing apparatus, image processing method, and image processing program |
KR100624421B1 (en) | 2004-05-04 | 2006-09-19 | 삼성전자주식회사 | Apparatus and method for filtering digital image signal |
JP4441809B2 (en) * | 2004-05-20 | 2010-03-31 | 忠 杉木 | Color solid-state imaging device |
US7822285B2 (en) * | 2004-05-20 | 2010-10-26 | Omnivision Technologies, Inc. | Methods and systems for locally adaptive image processing filters |
EP1605403A1 (en) * | 2004-06-08 | 2005-12-14 | STMicroelectronics S.r.l. | Filtering of noisy images |
KR100557660B1 (en) * | 2004-07-29 | 2006-03-10 | 매그나칩 반도체 유한회사 | Method for detection of flicker in image signal |
JP2006165975A (en) * | 2004-12-07 | 2006-06-22 | Konica Minolta Photo Imaging Inc | Image pickup element, image pickup device and image processing method |
US7680355B2 (en) * | 2005-05-02 | 2010-03-16 | Intel Corporation | Detection of artifacts resulting from image signal decompression |
KR100679046B1 (en) * | 2005-10-10 | 2007-02-05 | 삼성전자주식회사 | Method and apparatus for bit resolution extension using local information of image |
US7643659B2 (en) * | 2005-12-31 | 2010-01-05 | Arcsoft, Inc. | Facial feature detection on mobile devices |
US7599569B2 (en) * | 2006-01-13 | 2009-10-06 | Ati Technologies, Ulc | Method and apparatus for bilateral high pass filter |
-
2006
- 2006-02-09 US US11/352,483 patent/US7860334B2/en active Active
-
2007
- 2007-02-08 KR KR1020087021996A patent/KR100974835B1/en not_active IP Right Cessation
- 2007-02-08 CN CNA2007800038435A patent/CN101375589A/en active Pending
- 2007-02-08 WO PCT/US2007/061869 patent/WO2007092937A2/en active Application Filing
- 2007-02-08 EP EP07763543A patent/EP1987666A2/en not_active Withdrawn
- 2007-02-08 JP JP2008553554A patent/JP2009526448A/en active Pending
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8259198B2 (en) | 2009-10-20 | 2012-09-04 | Apple Inc. | System and method for detecting and correcting defective pixels in an image sensor |
US9142012B2 (en) | 2012-05-31 | 2015-09-22 | Apple Inc. | Systems and methods for chroma noise reduction |
US11689826B2 (en) | 2012-05-31 | 2023-06-27 | Apple Inc. | Systems and method for reducing fixed pattern noise in image data |
US9131196B2 (en) | 2012-05-31 | 2015-09-08 | Apple Inc. | Systems and methods for defective pixel correction with neighboring pixels |
US9014504B2 (en) | 2012-05-31 | 2015-04-21 | Apple Inc. | Systems and methods for highlight recovery in an image signal processor |
US9025867B2 (en) | 2012-05-31 | 2015-05-05 | Apple Inc. | Systems and methods for YCC image processing |
US9031319B2 (en) | 2012-05-31 | 2015-05-12 | Apple Inc. | Systems and methods for luma sharpening |
US9077943B2 (en) | 2012-05-31 | 2015-07-07 | Apple Inc. | Local image statistics collection |
US9105078B2 (en) | 2012-05-31 | 2015-08-11 | Apple Inc. | Systems and methods for local tone mapping |
US8953882B2 (en) | 2012-05-31 | 2015-02-10 | Apple Inc. | Systems and methods for determining noise statistics of image data |
US8917336B2 (en) | 2012-05-31 | 2014-12-23 | Apple Inc. | Image signal processing involving geometric distortion correction |
US9332239B2 (en) | 2012-05-31 | 2016-05-03 | Apple Inc. | Systems and methods for RGB image processing |
US9317930B2 (en) | 2012-05-31 | 2016-04-19 | Apple Inc. | Systems and methods for statistics collection using pixel mask |
US9342858B2 (en) | 2012-05-31 | 2016-05-17 | Apple Inc. | Systems and methods for statistics collection using clipped pixel tracking |
US8872946B2 (en) | 2012-05-31 | 2014-10-28 | Apple Inc. | Systems and methods for raw image processing |
US9710896B2 (en) | 2012-05-31 | 2017-07-18 | Apple Inc. | Systems and methods for chroma noise reduction |
US9743057B2 (en) | 2012-05-31 | 2017-08-22 | Apple Inc. | Systems and methods for lens shading correction |
US9741099B2 (en) | 2012-05-31 | 2017-08-22 | Apple Inc. | Systems and methods for local tone mapping |
US11089247B2 (en) | 2012-05-31 | 2021-08-10 | Apple Inc. | Systems and method for reducing fixed pattern noise in image data |
KR101639685B1 (en) * | 2015-02-12 | 2016-07-14 | 한국생산기술연구원 | Camera type active filter device, and active filtering method thereof |
Also Published As
Publication number | Publication date |
---|---|
WO2007092937A3 (en) | 2007-12-27 |
US7860334B2 (en) | 2010-12-28 |
WO2007092937A2 (en) | 2007-08-16 |
JP2009526448A (en) | 2009-07-16 |
EP1987666A2 (en) | 2008-11-05 |
CN101375589A (en) | 2009-02-25 |
KR100974835B1 (en) | 2010-08-11 |
US20070183681A1 (en) | 2007-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100974835B1 (en) | Adaptive image filter for filtering image information | |
JP5113171B2 (en) | Adaptive spatial image filter for filtering image information | |
JP5773984B2 (en) | Video camera | |
US8363123B2 (en) | Image pickup apparatus, color noise reduction method, and color noise reduction program | |
JP4683994B2 (en) | Image processing apparatus, image processing method, electronic camera, scanner | |
TWI542224B (en) | Image signal processing method and image signal processor | |
US8773593B2 (en) | Noise reduction filter circuitry and method | |
EP2193656A1 (en) | Multi-exposure pattern for enhancing dynamic range of images | |
CN113168669B (en) | Image processing method, device, electronic equipment and readable storage medium | |
US20100045820A1 (en) | Gain controlled threshold in denoising filter for image signal processing | |
US9860456B1 (en) | Bayer-clear image fusion for dual camera | |
JP5259616B2 (en) | Image processing system and image processing program | |
Deever et al. | Digital camera image formation: Processing and storage | |
US9071803B2 (en) | Image processing apparatus, image pickup apparatus, image processing method and non-transitory computer-readable storage medium storing image processing program | |
JP6857006B2 (en) | Imaging device | |
US20110142331A1 (en) | System and method of color interpolation | |
KR101349466B1 (en) | Apparatus and method for improving image quality in digital camera | |
US20200005434A1 (en) | Video capture devices and methods | |
Pillman et al. | Image quality in consumer digital cameras | |
Lee et al. | An efficient demosaiced image enhancement method for a low cost single-chip CMOS image sensor | |
JP5586031B2 (en) | Image processing system, image processing method, and image processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |