KR20120078851A - 이미지 선명화 방법, 이미지 센서, 및 이를 포함하는 장치들 - Google Patents

이미지 선명화 방법, 이미지 센서, 및 이를 포함하는 장치들 Download PDF

Info

Publication number
KR20120078851A
KR20120078851A KR1020110000129A KR20110000129A KR20120078851A KR 20120078851 A KR20120078851 A KR 20120078851A KR 1020110000129 A KR1020110000129 A KR 1020110000129A KR 20110000129 A KR20110000129 A KR 20110000129A KR 20120078851 A KR20120078851 A KR 20120078851A
Authority
KR
South Korea
Prior art keywords
image
pixels
edge direction
edge
sharpening
Prior art date
Application number
KR1020110000129A
Other languages
English (en)
Inventor
일리아 오브세아니코프
민동기
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110000129A priority Critical patent/KR20120078851A/ko
Priority to US13/297,794 priority patent/US20120169905A1/en
Publication of KR20120078851A publication Critical patent/KR20120078851A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

이미지 선명화 방법이 개시된다. 상기 이미지 선명화 방법은 복수의 픽셀들 각각의 에지 방향을 이용하여 이미지의 주요 에지 방향(predominant edge direction)을 결정하는 단계; 및 상기 주요 에지 방향과 상기 복수의 픽셀들 각각의 에지 방향에 따라 상기 복수의 픽셀들 각각을 선명화하는 단계를 포함한다.

Description

이미지 선명화 방법, 이미지 센서, 및 이를 포함하는 장치들{Method and image sensor for image sharpening, and apparatus having the same}
본 발명의 개념에 따른 실시 예는 이미지 선명화 방법에 관한 것으로, 특히 이미지 노이즈를 증가시키기 않고 이미지를 선명화하기 위한 이미지 선명화 방법, 이미지 센서, 및 이를 포함하는 장치들에 관한 것이다.
이미지 센서에서의 픽셀 사이즈의 감소는 이미지 센싱 시스템의 비용과 사이즈를 감소시키게 한다. 따라서 더 작은 픽셀 사이즈를 가진 이미지 센서를 디자인하고 제조하는 것은 매우 바람직할 수 있다. 그러나, 더 작은 픽셀 사이즈는 일반적으로 노이즈에 약하고 흐릿한(blurry) 이미지를 생성한다. 이미지 선명화 방법은 상기 흐릿함(blur)을 저지하기(counteract) 위해 캡쳐된 이미지에 적용된다. 통상적인 이미지 선명화 방법들은 보통 이미지 노이즈를 증가시킨다.
본 발명이 이루고자 하는 기술적 과제는 노이즈를 증가시키지 않고, 이미지를 선명화하는 이미지 선명화 방법, 이미지 센서, 및 이를 포함하는 장치들을 제공하는 것이다.
본 발명의 실시 예에 따른 이미지 선명화 방법은 복수의 픽셀들 각각의 에지 방향을 이용하여 이미지의 주요 에지 방향(predominant edge direction)을 결정하는 단계; 및 상기 주요 에지 방향과 상기 복수의 픽셀들 각각의 에지 방향에 따라 상기 복수의 픽셀들 각각을 선명화하는 단계를 포함한다.
상기 복수의 픽셀들 각각의 에지 방향과 에지 진폭을 계산하는 단계는 상기 복수의 픽셀들의 픽셀 신호들 중 어느 하나의 픽셀 신호와 이웃 픽셀들의 픽셀 신호들을 이용하여 수평 에지 강도 요소(horizontal edge strength component)와 수직 에지 강도 요소(vertical edge strength component)를 계산하는 단계; 상기 수평 에지 강도 요소와 상기 수직 에지 강도 요소를 이용하여 상기 에지 방향을 계산하는 단계; 및 상기 복수의 픽셀들 중 제1픽셀 신호와 제2픽셀 신호의 차이를 이용하여 상기 에지 진폭을 계산하는 단계를 포함한다.
상기 복수의 픽셀들 각각의 에지 방향과 에지 진폭을 계산하는 단계는 상기 복수의 픽셀들의 픽셀 신호들 중 어느 하나의 픽셀 신호와 이웃 픽셀들의 픽셀 신호들을 이용하여 수평 에지 강도 요소(horizontal edge strength component)와 수직 에지 강도 요소(vertical edge strength component)를 계산하는 단계; 상기 수평 에지 강도 요소와 상기 수직 에지 강도 요소를 이용하여 상기 에지 방향을 계산하는 단계; 및 상기 복수의 픽셀들 중 제1픽셀 신호와 제2픽셀 신호의 차이를 이용하여 상기 에지 진폭을 계산하는 단계를 포함한다.
상기 에지 방향의 값은 0도에서 45도의 범위이다.
상기 히스토그램을 생성하는 단계는 상기 복수의 픽셀들 중 어느 하나의 에지 진폭의 값이 문턱값보다 낮을 때,상기 문턱값보다 작은 에지 진폭의 값에 대응되는 에지 방향은 제외하는 단계를 포함한다.
상기 복수의 픽셀들 각각을 선명화하는 단계는 상기 주요 에지 방향과 상기 복수의 픽셀들 각각의 에지 방향을 이용하여 선명화 감쇠 룩업 테이블(sharpening attenuation lookup table)을 생성하는 단계; 상기 선명화 감쇠 룩업 테이블을 이용하여 선명화의 양을 계산하는 단계; 및 상기 선명화의 양을 이용하여 상기 복수의 픽셀들 각각을 선명화하는 단계를 포함한다.
본 발명의 실시 예에 따른 이미지 센서는 따른 광 이미지를 전기적 이미지 데이터로 변환하여 출력하는 이미지 센싱 블락; 및 상기 전기적 이미지 데이터를 구성하는 복수의 픽셀들 각각의 에지 방향을 이용하여 상기 전기적 이미지 데이터의 주요 에지 방향(predominant edge direction)을 결정하고, 상기 주요 에지 방향과 상기 복수의 픽셀들 각각의 에지 방향에 따라 상기 복수의 픽셀들 각각을 선명화하는 이미지 신호 프로세서를 포함한다.
본 발명의 실시 예에 따른 이미지 센싱 시스템은 광 이미지를 전기적 이미지 데이터로 변환하여 출력하는 이미지 센서; 및 상기 전기적 이미지 데이터를 구성하는 복수의 픽셀들 각각의 에지 방향을 이용하여 상기 전기적 이미지 데이터의 주요 에지 방향(predominant edge direction)을 결정하고, 상기 주요 에지 방향과 상기 복수의 픽셀들 각각의 에지 방향에 따라 상기 복수의 픽셀들 각각을 선명화하는 이미지 신호 프로세서를 포함한다.
본 발명의 실시 예에 따른 이미지 선명화 방법은, 노이즈에서 이미지 특징을 구별하고, 상기 이미지 특징에만 선명화를 적용함으로써, 노이즈를 증가시키지 않고 이미지를 선명화할 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 이미지 센싱 시스템의 개략적인 블락도를 나타낸다.
도 2는 본 발명의 실시 예에 따른 에지 방향을 계산하기 위한 5x5 커널의 평면도를 나타낸다.
도 3a는 A영역과 B영역 사이의 경계에서 발생한 에지를 포함하는 이미지를 나타낸다.
도 3b는 C영역과 D영역 사이의 경계에서 발생한 에지를 포함하는 이미지를 나태난다.
도 3c는 E영역과 F영역 사이의 경계에서 발생한 에지를 포함하는 이미지를 나타낸다.
도 4는 도 2에 도시된 5x5 커널이 그린 픽셀에 위치할 때, 수평 에지 강도 요소를 계산하기 위한 가중치들을 나타낸다.
도 5는 도 2에 도시된 5x5 커널이 레드 픽셀에 위치할 때, 수평 에지 강도 요소를 계산하기 위한 가중치들을 나타낸다.
도 6은 도 2에 도시된 5x5 커널이 그린 픽셀에 위치할 때, 수직 에지 강도 요소를 계산하기 위한 가중치들을 나타낸다.
도 7은 도 2에 도시된 5x5 커널이 레드 픽셀에 위치할 때, 수직 에지 강도 요소를 계산하기 위한 가중치들을 나타낸다.
도 8은 주요 에지 방향이 45도인 테스트 차트 이미지를 나타낸다.
도 9는 도 8에 도시된 테스트 차트 이미지의 히스토그램을 나타낸다.
도 10은 주요 에지 방향이 수평인 테스트 차트 이미지를 나타낸다.
도 11은 도 10에 도시된 테스트 차트 이미지의 히스토그램을 나타낸다.
도 12는 자연 씬(scene) 이미지를 나타낸다.
도 13은 도 12에 도시된 자연 씬 이미지의 히스토그램을 나타낸다.
도 14는 도시 씬(urban scene) 이미지를 나타낸다.
도 15는 도 14에 도시된 도시 씬 이미지의 히스토그램을 나타낸다.
도 16a는 통상적인 이미지 선명화 방법을 따라 선명화된 테스트 차트 이미지를 나타낸다.
도 16b는 본 발명의 실시 예에 따른 이미지 선명화 방법에 따라 선명화된 테스트 차트 이미지를 나타낸다.
도 17a는 도 16a에 도시된 이미지의 휘도 노이즈의 그래프를 나타낸다.
도 17b는 도 16b에 도시된 이미지의 휘도 노이즈의 그래프를 나타낸다.
도 18a는 통상적인 이미지 선명화 방법에 따라 선명화된 자연 씬 이미지를 나타낸다.
도 18b는 본 발명의 실시 예에 따른 이미지 선명화 방법에 따라 선명화된 자연 씬 이미지를 나타낸다.
도 18c는 이미지 선명화를 하지 않은 자연 씬 이미지를 나타낸다.
도 19a는 통상적인 이미지 선명화 방법에 따라 선명화된 도시 씬 이미지를 나타낸다.
도 19b는 본 발명의 실시 예에 따른 이미지 선명화 방법에 따라 선명화된 도시 씬 이미지를 나타낸다.
도 19c는 이미지 선명화를 하지 않는 도시 씬 이미지를 나타낸다.
도 20은 본 발명의 실시 예에 따른 이미지 센싱 시스템의 이미지 선명화 방법을 나타내는 플로우차트이다.
도 21은 본 발명의 실시 예에 따른 다른 이미지 센싱 시스템의 개략적인 블락도를 나타낸다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
도 1은 본 발명의 실시 예에 따른 이미지 센싱 시스템의 개략적인 블락도를 나타낸다.
도 1을 참조하면, 이미지 센싱 시스템(10)은 이미지 센서(100), 디지털 신호 프로세서(digital signal processor(DSP); 200), 및 디스플레이 유닛(display Unit, 300)을 포함한다.
이미지 센서(100)는 화소 어레이(pixel array, 110) 또는 액티브 화소 센서 어레이(active pixel sensor(APS), 110), 로우 드라이버(row driver, 120), 상관 이중 샘플링(correlated double sampling(CDS)) 블락(130), 아날로그 디지털 컨버터(analog digital converter(ADC); 140), 램프 신호 발생기(ramp generator, 160) 및 타이밍 제너레이터(timing generator, 170), 제어 레지스터 블락(control register block, 180) 및 버퍼(buffer, 190)를 포함한다.
이미지 센서(100)는 디지털 신호 프로세서(DSP, 200)의 제어에 의해 렌즈(500)를 통해 촬영된 물체(Object, 400)를 센싱하여 전기적 이미지 데이터를 출력한다. 즉, 이미지 센서(100)는 센싱된 광 이미지를 전기적 이미지 데이터로 변환하여 출력한다.
화소 어레이(110)는 다수의 광 감지 소자, 예컨대 포토(photo) 다이오드 또는 핀드 포토 다이오드(pinned photo diode) 등의 광 감지 소자를 포함한다. 화소 어레이(110)는 다수의 광 감지 소자를 이용하여 빛을 감지하고, 이를 전기적 신호로 변환하여 영상 신호를 생성한다.
타이밍 제너레이터(170)는 로우 드라이버(120), ADC(140) 및 램프 신호 발생기(160) 각각으로 제어 신호를 출력하여 상기 로우 드라이버(120), ADC(140) 및 램프 신호 발생기(160)의 동작을 제어할 수 있다. 제어 레지스터 블락(180)은 램프 신호 발생기(160), 타이밍 제너레이터(170) 및 버퍼(190) 각각으로 제어 신호를 출력하여 각 요소(160, 170, 및 190)의 동작을 제어할 수 있다. 이때, 제어 레지스터 블락(180)은 카메라 컨트롤(210)의 제어를 받아 동작한다.
로우 드라이버(120)는 화소 어레이(110)를 행(row) 단위로 구동한다. 예컨대, 로우 드라이버(120)는 행 선택 신호를 생성할 수 있다. 그리고, 화소 어레이(110)는 로우 드라이버(120)로부터 제공된 행 선택 신호에 의해 선택되는 행(row)으로부터 리셋 신호와 영상 신호를 CDS(130)로 출력한다. CDS(130)는 상기 리셋 신호와 상기 영상 신호 각각에 상관 이중 샘플링을 수행할 수 있다.
ADC(140)는 램프 신호 발생기(160)로부터 제공된 램프 신호(Vramp)와 CDS(130)로부터 출력되는 상관 이중 샘플링된 신호를 비교하여 비교 신호를 출력하고, 상기 비교 신호의 특정 레벨, 예컨대 하이 레벨 또는 로우 레벨의 지속 시간을 카운팅하여 카운트 결과를 버퍼(190)로 출력한다.
버퍼(190)는 ADC(140)로부터 출력된 디지털 신호를 임시 저장한 후 센싱하고 증폭하여 출력한다. 이때, 버퍼(190)는 임시 저장을 위해 각 열에 하나씩 포함된 복수의 컬럼 메모리 블락(예컨대, SRAM) 및 ADC(140)로부터 출력된 디지털 신호를 센싱하고 증폭하기 위한 센스 앰프(SA)를 포함할 수 있다.
디지털 신호 프로세서(200)는 이미지 센서(100)에 의해 센싱되어 출력된 이미지 데이터를 디스플레이 유닛(Display Unit, 300)에 출력할 수 있다. 이때, 디스플레이 유닛(300)은 영상을 출력할 수 있는 모든 장치를 포함한다. 예컨대, 디스플레이 유닛(300)은 컴퓨터, 휴대폰 및 기타 영상 출력 단말을 포함할 수 있다.
이때, 디지털 신호 프로세서(DSP, 200)는 카메라 컨트롤(210), 이미지 신호 프로세서(220) 및 PC I/F(230)를 포함한다. 카메라 컨트롤(210)은 제어 레지스터 블락(180)을 제어한다. 이때, 카메라 컨트롤(210)은 I2C(Inter-Integrated Circuit)를 이용하여 이미지 센서(100), 즉, 제어 레지스터 블락(180)을 제어할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
이미지 신호 프로세서(Image Signal Processor, 220)는 버퍼(190)의 출력 신호인 이미지 데이터를 수신하고 수신된 이미지 데이터에 상응하는 이미지를 사람이 보기 좋도록 가공/처리 동작을 수행하여 가공/처리된 이미지를 PC I/F(230)를 통해 디스플레이 유닛(300)으로 출력한다.
예컨대, 상기 가공/처리 동작은 이미지 선명화이다.
이미지 신호 프로세서(220)는 상기 이미지 데이터를 구성하는 복수의 픽셀들 각각의 에지 방향을 이용하여 상기 전기적 이미지 데이터의 주요 에지 방향(predominant edge direction)을 결정하고, 상기 주요 에지 방향과 상기 복수의 픽셀들 각각의 에지 방향에 따라 상기 복수의 픽셀들 각각을 선명화한다.
도 2는 본 발명의 실시 예에 따른 에지 방향을 계산하기 위한 5x5 커널의 평면도를 나타낸다.
도 1과 도 2를 참조하면, 이미지 센싱 시스템(1)이 휴대폰으로 구현될 때, 이미지 센싱 시스템(1)은 일반적으로 좁은 공간(severe area)과 전원 제약(power constraints)을 가진다. 따라서, 선명화의 양(amount of sharpening)은 몇 개의 라인들을 이용하여 계산된다. 이미지 신호 프로세서(220)는 5x5 커널(221)을 이용하여 이미지 선명화 동작을 수행한다고 가정한다. 실시 예에 따라 상기 선명화의 양은 달라질 수 있다.
도 2에 도시된 5x5 커널(221)은 라인 스캐닝 방식(line-scanning fashion)으로 이미지 위를 움직이는 서브-윈도우(sub-window)를 나타낸다. 5x5 커널(221)이 움직임으로써 각 픽셀의 선명화는 계산된다. 즉, 각 픽셀의 에지 방향이 계산된다.
5x5 커널(221)은 복수의 픽셀들(P(i-2,j-2),...,P(i,j),...P(i+2,j+2))을 포함한다.
에지는 이미지에서 강도의 의미있는 지역적 변화(significant local changes of intensity)이다. 에지는 전형적으로 이미지에서 서로 다른 2개의 영역들 사이의 경계에서 발생한다.
예컨대, 도 3a는 A영역과 B영역 사이의 경계에서 발생한 에지를 포함하는 이미지를 나타낸다. 상기 이미지에서 에지 방향는 수직이다.
도 3b는 C영역과 D영역 사이의 경계에서 발생한 에지를 포함하는 이미지를 나태난다. 상기 이미지에서 에지 방향는 수평이다.
도 3c는 E영역과 F영역 사이의 경계에서 발생한 에지를 포함하는 이미지를 나태난다. 상기 이미지에서 에지 방향은 45도 대각선이다.
도 1과 도 2를 참조하면, 이미지 신호 프로세서(220)는 복수의 픽셀들(P(i,j))의 에지 방향과 에지 진폭을 계산한다. P(i,j)는 5x5 커널(221)이 이동할 때마다 이미지에서 위치가 달라진다. 따라서 P(i,j)는 5x5 커널(221)이 이동할 때마다 P(i,j)의 에지 방향(T(i,j))의 값과 에지 진폭의 값은 다르다.
에지 진폭은 서로 다른 2개의 영역들 사이에 속하는 2개의 픽셀들 사이의 신호 차이이다.
상기 에지 방향은 수학식 1과 같이 계산된다.
[수학식 1]
T(i,j)=min(|H(i,j)|,|V(i,j)|)/max(|H(i,j)|,|V(i,j)|)
여기서, |H(i,j)|는 수평 에지 강도 요소horizontal edge strength component)의 절대값을, |V(i,j)|는 수직 에지 강도 요소(vertical edge strength component)의 절대값을 나태난다. 또한, min은 2개의 파라미터들 중 작은 파라미터를 선택하는 함수를, max는 2개의 파라미터들 중 큰 파라미터를 선택하는 함수를 의미한다.
도 4는 도 2에 도시된 5x5 커널이 그린 픽셀에 위치할 때, 수평 에지 강도 요소를 계산하기 위한 가중치들을 나타낸다. R은 레드 픽셀, G는 그린 픽셀, 및 B는 블루 픽셀을 나타낸다.
도 1 내지 도 4를 참조하면, 예컨대, P(i-2,j-2), P(i-2,j), P(i-2,j+2), P(i+2,j-2), P(i+2,j), 및 P(i+2, j+2)는 가중치 -0.5를 가지며, P(i,j-2), P(i,j), 및 P(i,j+2)는 가중치 1을 가진다.
5x5 커널(232)이 그린 픽셀(G)에 위치할 때, 즉, P(i,j)가 그린 픽셀(G)일 때, 수평 에지 강도 요소(H(i,j))는 수학식 2와 같이 계산된다.
[수학식 2]
H(i,j)=(P(i,j-2)+P(i,j)+P(i,j+2))-0.5*(P(i-2,j-2)+P(i-2,j)+P(i-2,j+2)+P(i+2,j-2)+P(i+2,j)+P(i+2,j+2))
여기서, P(i,j-2),P(I,j),..., 및 P(i+2,j+2)은 각각의 픽셀 신호의 값을 나타낸다.
도 5는 도 2에 도시된 5x5 커널이 레드 픽셀에 위치할 때, 수평 에지 강도 요소를 계산하기 위한 가중치들을 나타낸다.
도 1 내지 도 5를 참조하면, 예컨대, P(i-2,j-1), P(i-2,j+1), P(i+2,j-1), 및 P(i+2, j+1)는 가중치 -0.75를 가지며, P(i,j-1), 및 P(i,j+1)는 가중치 1.5를 가진다.
5x5 커널(242)이 레드 픽셀(R)에 위치할 때, 즉, P(i,j)가 레드 픽셀(R)일 때, 수평 에지 강도 요소(H(i,j))는 수학식 3과 같이 계산된다.
[수학식 3]
H(i,j)=1.5*(P(i,j-1)+P(i,j+1))-0.75*(P(i-2,j-1)+P(i-2,j+1)+P(i+2,j-1)+P(i+2,j+1))
실시 예에 따라, 5x5 커널(242)이 블루 픽셀(B)에 위치할 때, 수학식 3과 유사하게 수평 에지 강도 요소(H(i,j))가 계산될 수 있다.
도 6은 도 2에 도시된 5x5 커널이 그린 픽셀에 위치할 때, 수직 에지 강도 요소를 계산하기 위한 가중치들을 나타낸다.
도 1 내지 도 6을 참조하면, 예컨대, P(i-2,j-2), P(i-2,j+2), P(i,j-2), P(i,j+2), P(i+2,j-2), 및 P(i+2, j+2)는 가중치 -0.5를 가지며, P(i-2,j), P(i,j), 및 P(i+2,j)는 가중치 1을 가진다.
5x5 커널(252)이 그린 픽셀(G)에 위치할 때, 즉, P(i,j)가 그린 픽셀(G)일 때, 수직 에지 강도 요소(V(i,j))는 수학식 4와 같이 계산된다.
[수학식 4]
V(i,j)=(P(i-2,j)+P(i,j)+P(i+2,j))-0.5*(P(i-2,j-2)+P(i,j-2)+P(i+2,j-2)+P(i-2,j+2)+P(i,j+2)+P(i+2,j+2))
도 7은 도 2에 도시된 5x5 커널이 레드 픽셀에 위치할 때, 수직 에지 강도 요소를 계산하기 위한 가중치들을 나타낸다.
도 1 내지 도 7를 참조하면, 예컨대, P(i-1,j-2), P(i-1,j+2), P(i+1,j-2), 및 P(i+1, j+2)는 가중치 -0.75를 가지며, P(i-1,j), 및 P(i+1,j)는 가중치 1.5를 가진다.
5x5 커널(262)이 레드 픽셀(R)에 위치할 때, 즉, P(i,j)가 레드 픽셀(R)일 때, 수직 에지 강도 요소(V(i,j))는 수학식 5와 같이 계산된다.
[수학식 5]
V(i,j)=1.5*(P(i-1,j)+P(i+1,j))-0.75*(P(i-1,j-2)+P(i+1,j-2)+P(i-1,j+2)+P(i+1,j+2))
실시 예에 따라, 5x5 커널(262)이 블루 픽셀(B)에 위치할 때, 수학식 5와 유사하게 수직 에지 강도 요소(V(i,j))가 계산될 수 있다. 또한, 상기 가중치들의 값들은 달라질 수 있다.
에지 방향(T(i,j))은 수학식 6과 같이 각으로 표현될 수 있다.
[수학식 6]
D(i,j)=atan(T(i,j))*360/(2*Pi)
여기서, D(i,j)은 에지 방향의 각으로 표현되는 함수를 나타낸다.
따라서, T(i,j)와 D(i,j)는 에지 방향의 값을 표현하기 위한 함수로서, 여기서부터 에지 방향은 D(i,j)으로 표현한다.
에지 방향(D(i,j))은 ROM 룩업 테이블(lookup table)을 이용하여 효율적으로 계산될 수 있다. 상기 ROM 룩업 테이블은 PC I/F(230)에서 제공될 수 있다.
에지 방향의 값은 0도에서 45도의 범위를 가진다.
도 8은 주요 에지 방향이 45도인 테스트 차트 이미지를 나타내며, 도 9는 도 8에 도시된 테스트 차트 이미지의 히스토그램을 나타낸다.
도 1 내지 도 9를 참조하면, 도 9의 히스토그램은 10개의 빈들(bins)을 가지며, 히스토그램의 x축은 에지 방향의 각을, y축은 픽셀들의 수를 나타낸다.
이미지 신호 프로세서(220)는 도 8의 이미지에서 5x5 커널을 움직임으로써 복수의 픽셀들(P(i,j)) 각각의 에지 방향을 계산할 수 있다.
이미지 신호 프로세서(220)는 복수의 픽셀들(P(i,j)) 각각의 에지 방향의 값을 결합함으로써 히스토그램을 생성한다.
복수의 픽셀들(P(i,j)) 각각의 에지 진폭의 값 중 어느 하나가 문턱값보다 작을 때, 문턱값보다 작은 에지 진폭의 값에 대응되는 에지 방향은 상기 히스토그램 생성에서 제외된다.
실시 예에 따라, 픽셀(P(i,j))의 수평 에지 강도 요소(H(i,j))의 절대값과 수직 에지 강도 요소(V(i,j))의 절대값이 0일 때, 상기 픽셀(P(i,j))의 에지 방향은 상기 히스토그램 생성에서 제외된다.
이미지 신호 프로세서(220)는 상기 히스토그램에서 가장 빈번한 에지 방향의 값을 주요 에지 방향의 값(Dp)으로 설정한다.
실시 예에 따라 이미지 신호 프로세서(220)는 상기 히스토그램에서 에지 방향의 값이 문턱값을 초과할 때만, 상기 에지 방향의 값을 주요 에지 방향(Dp)의 값으로 설정한다.
주요 에지 방향의 값(Dp)은 수학식 7과 같이 계산된다.
[수학식 7]
Dp=45*(Kp-1)/K
여기서, Kp는 가장 큰 픽셀들의 수를 가지는 빈을 나타내며, K는 히스토그램에서 빈들의 총 수를 나타낸다.
도 9를 참조하면, 히스토그램에서 가장 큰 픽셀들의 수를 가지는 빈은 10번째 빈이므로, Kp는 10이다. 상기 히스토그램에서 빈들의 총 수는 10이므로 K는 10이다.
따라서, 주요 에지 방향의 값(Dp)은 40.5이다. 그러나, 히스토그램에서 가장 빈번한 에지 방향의 값은 45도이다. 이는 상기 히스토그램이 10개의 빈들만을 포함하기 때문이다. 상기 히스토그램이 더 많은 빈들을 포함하는 경우, 주요 에지 방향의 값(Dp)은 더 정확할 수 있다.
도 10은 주요 에지 방향이 수평인 테스트 차트 이미지를 나타내며, 도 11은 도 10에 도시된 테스트 차트 이미지의 히스토그램을 나타낸다.
도 10과 도 11을 참조하면, 히스토그램에서 가장 큰 픽셀들의 수를 가지는 빈은 1번째 빈이므로, Kp는 1이다. 따라서 상기 수학식 7을 이용하여 주요 에지 방향의 값(Dp)을 계산하면, 주요 에지 방향의 값(Dp)은 0이다. 주요 에지 방향은 수직, 또는 수평이다.
또한, 상기 히스토그램에서 1번째 빈은 대략 3.9*104개의 픽셀들의 수를 가진다. 따라서 주요 에지 방향의 값(Dp)은 0이다.
도 12는 자연 씬(scene) 이미지를 나타내며, 도 13은 도 12에 도시된 자연 씬 이미지의 히스토그램을 나타낸다.
도 12와 도 13을 참조하면, 히스토그램에서 가장 빈번한 에지 방향은 1번째 빈이므로, Kp는 1이다. 따라서 상기 수학식 7을 이용하여 주요 에지 방향의 값(Dp)을 계산하면, 주요 에지 방향의 값(Dp)은 0이다. 주요 에지 방향은 수직, 또는 수평이다.
또한, 상기 히스토그램에서 1번째 빈은 대략 6.5*104개의 픽셀들의 수를 가진다. 따라서 주요 에지 방향의 값(Dp)은 0이다.
도 14는 도시 씬(urban scene) 이미지를 나타내며, 도 15는 도 14에 도시된 도시 씬 이미지의 히스토그램을 나타낸다.
도 14와 도 15를 참조하면, 히스토그램에서 가장 빈번한 에지 방향은 1번째 빈이므로, Kp는 1이다. 따라서 상기 수학식 7을 이용하여 주요 에지 방향의 값(Dp)을 계산하면, 주요 에지 방향의 값(Dp)은 0이다. 주요 에지 방향은 수직, 또는 수평이다.
또한, 상기 히스토그램에서 1번째 빈은 대략 4.6*104개의 픽셀들의 수를 가진다. 따라서 주요 에지 방향은 수직, 또는 수평이며, 주요 에지 방향의 각(Dp)은 0도이다.
도시 씬(urban scene) 이미지나, 실내 씬(indoor scene) 이미지의 주요 에지 방향이 수평이라면, 상기 도시 씬 이미지나, 실내 씬 이미지의 주요 에지 방향은 동시에 수직일 수 있다. 실시 예에 따라, 이 때 주요 에지 방향의 각은 (Dp+90)으로 나타낼 수 있다.
또 다른 실시 예에 따라, 히스토그램은 2개 또는 그 이상의 주요 에지 방향을 포함할 수 있다. 이 때, 상기 히스토그램의 에지 방향의 값은 0도에서 90도의 범위를 가질 수 있다.
이미지 신호 프로세서(220)는 주요 에지 방향(Dp)과 복수의 픽셀들 각각의 에지 방향(D(i,j))을 이용하여 선명화 감쇠 룩업 테이블(sharpening attenuation lookup table)을 생성한다.
선명화 감쇠 함수(S((D(i,j),Dp,α))는 수학식 8과 같이 계산된다.
[수학식 8]
S((D(i,j),Dp,α)=1/(1+|D(i,j)-Dp|*α)
여기서 α는 감쇠 강도(attenuation strength)를 제어하는 파라미터를 나타낸다.
α는 직접적인 감쇠를 디스에이블하기 위해 0으로 설정될 수 있으며, 감쇠의 효과를 증가시키기 위해 0보다 큰 값들로 설정될 수 있다. 예컨대, α는 1/45일 수 있다.
이미지 신호 프로세서(220)는 상기 선명화 감쇠 룩업 테이블을 이용하여 선명화의 양(amount of sharpening)을 계산한다.
상기 선명화의 양은 수학식 9와 같이 계산된다.
[수학식 9]
A(i,j)=max(|H(i,j)+V(i,j)|-Amin,0)*Sgn(H(i,j)+V(i,j))*S((D(i,j),Dp,α)
여기서, A(i,j)은 선명화의 양을 나타낸다.
Sgn(H(i,j)+V(i,j))는 H(i,j)+V(i,j)가 0보다 클 때, 1이 되며, Sgn(H(i,j)+V(i,j))는 H(i,j)+V(i,j)가 0보다 작을 때, -1이 되며, 다른 경우에는 0이 되는 함수를 나타낸다.
또한, Amin은 노이즈 플로어(noise floor)를 나타낸다. |H(i,j)+V(i,j)|가 Amin보다 작은 때, |H(i,j)+V(i,j)|는 이미지가 아니라 노이즈로 판단된다. Amin은 상수일 수 있다.
실시 예에 따라 Amin은 픽셀 휘도(pixel luminance)에 대한 함수로서 나타낼 수 있다. 노이즈 플로어는 물리적으로 픽셀 밝기(pixel brightness)에 의존적이기 때문이다.
함수 Amin(i,j)는 수학식 10과 같이 표현된다.
[수학식 10]
Amin(i,j)=(kr*R(i,j)+kg*G(i,j)+kb*B(i,j))*a+b
여기서, kr,kg, 및 kb 각각은 RGB 이미지로부터 휘도 신호를 계산하기 위해 선택되는 파라미터이다. 예컨대, kr, kg, 및 kb 각각은 0.3, 0.5, 및 0.2이다.
"a","b"는 이미지의 어두운 영역들과 밝은 영역들에서 노이즈가 증폭되지 않고, 이미지 특징들(image features)만 증폭되도록 선택되는 인자들(factors)이다.
R(i,j), G(i,j), 및 B(i,j) 각각은 레드 픽셀, 그린 픽셀, 및 블루 픽셀 각각의 픽셀 신호를 나타낸다.
이미지 신호 프로세서(220)는 상기 선명화의 양을 이용하여 복수의 픽셀들 각각에 대해 선명화 동작을 수행한다.
상기 선명화 동작은 수학식 11, 수학식 12, 및 수학식 13과 같이 계산된다.
[수학식 11]
Rs(i,j)=clip(R(i,j)+A(i,j)*S, 0, Rmax)
[수학식 12]
Gs(i,j)=clip(G(i,j)+A(i,j)*S, 0, Gmax)
[수학식 13]
Bs(i,j)=clip(B(i,j)+A(i,j)*S, 0, Bmax)
여기서, 함수 clip(V, Vmin, Vmax)는 신호 V를 Vmin과 Vmax 사이로 제한한다. Rs(i,j), Gs(i,j), 및 Bs(i,j) 각각은 선명화 후의 레드 픽셀, 그린 픽셀, 및 블루 픽셀의 픽셀 신호를 나타낸다. R(i,j), G(i,j), 및 B(i,j) 각각은 선명화 전의 레드 픽셀, 그린 픽셀, 및 블루 픽셀의 픽셀 신호를 나타낸다.
"S"는 총 선명화 강도(overall sharpening strength)를 나타낸다. 예컨대, "S"는 1이다.
Rmax, Gmax, 및 Bmax 각각은 이미지 센서(100)에서 레드 픽셀, 그린 픽셀, 및 블루 픽셀의 최대 가능한 픽셀 신호를 나타낸다.
실시 예에 따라, 상기 선명화 동작은 수학식 14, 수학식 15, 및 수학식 16과 같이 계산될 수 있다.
[수학식 14]
Rs(i,j)=min(R(i,j)*(1+A(i,j)*S), Rmax)
[수학식 15]
Gs(i,j)=min(G(i,j)*(1+A(i,j)*S), Gmax)
[수학식 16]
Bs(i,j)=min(B(i,j)*(1+A(i,j)*S), Bmax)
도 16a는 통상적인 이미지 선명화 방법을 따라 선명화된 테스트 차트 이미지를 나타내며, 도 16b는 본 발명의 실시 예에 따른 이미지 선명화 방법에 따라 선명화된 테스트 차트 이미지를 나타낸다.
도 16a와 도16b를 참조하면, 도 16a의 노이즈 이미지는 도 16b의 노이즈 이미지보다 더 선명하게 보인다. 상기 노이즈 이미지는 실제로 존재하지 않는 이미지이다.
도 17a는 도 16a에 도시된 이미지의 휘도 노이즈의 그래프를 나타내며, 도 17b는 도 16b에 도시된 이미지의 휘도 노이즈의 그래프를 나타낸다.
도 17a를 참조하면, 도 17a의 이미지는 도 16a에 도시된 이미지의 일부를 나타낸다.
도 17a의 그래프는 평균(mean)이 115.31, 표준 편차(Std Dev)가 18.68이므로, 신호 대 잡음비(signal to noise ratio)는 상기 평균에서 상기 표준 편차를 나눈 값인 6.2가 된다. 상기 신호 대 잡음비는 15.8dB로 나타낼 수 있다.
도 17b를 참조하면, 도 17b의 이미지는 도 16b에 도시된 이미지의 일부를 나타낸다.
도 17b의 그래프는 평균(mean)이 116.13, 표준 편차(Std Dev)가 12.74이므로, 신호 대 잡음비(signal to noise ratio)는 상기 평균에서 상기 표준 편차를 나눈 값인 9.1이 된다. 상기 신호 대 잡음비는 19.2dB로 나타낼 수 있다.
따라서 본 발명의 실시 예에 따른 이미지 선명화 방법은 통상적인 이미지 선명화 방법보다 이미지를 3.4dB 만큼 더 향상시킬 수 있다.
또한, 도 17b의 그래프의 폭이 도 17a의 그래프의 폭보다 더 좁다. 이는 도 17b의 이미지 값들이 덜 다양하다는 것을 나타낸다. 이미지 값들이 서로 같을수록 바람직하다. 왜냐하면 노이즈에 의해서 이미지의 값들이 달라질 수 있기 때문이다.
도 18a는 통상적인 이미지 선명화 방법에 따라 선명화된 자연 씬(natural scene) 이미지를 나타내며, 도 18b는 본 발명의 실시 예에 따른 이미지 선명화 방법에 따라 선명화된 자연 씬 이미지를 나타내며, 도 18c는 이미지 선명화를 하지 않은 자연 씬 이미지를 나타낸다.
도 18a 내지 도 18c를 참조하면, 본 발명의 이미지 선명화 방법을 수행함에 있어서, 주요 에지 방향이 부족한 자연 씬 이미지는 테스트 차트 이미지보다 덜 효율적이다.
도 19a는 통상적인 이미지 선명화 방법에 따라 선명화된 도시 씬 이미지를 나타내며, 도 19b는 본 발명의 실시 예에 따른 이미지 선명화 방법에 따라 선명화된 도시 씬 이미지를 나타내며, 도 19c는 이미지 선명화를 하지 않는 도시 씬 이미지를 나타낸다.
본 발명의 실시 예에 따른 이미지 선명화 방법은 주요 에지 방향을 가지는 씬들에서 더 효율적이다. 예컨대, 상기 주요 에지 방향을 가지는 씬들은 도시 씬, 실내, 및 테스트 차트이다.
이미지 신호 프로세서(Image Signal Processor, 220)는 도 1에서는 DSP(200) 내부에 위치하는 것으로 도시하였으나, 이는 당업자에 의해 설계 변경이 가능하다. 예컨대, 이미지 신호 프로세서(Image Signal Processor, 220)는 이미지 센서 내부에 위치할 수도 있다. 이 때, 도면 부호 100은 이미지 센싱 블락을 나타내고, 도면 부호 100과 도면 부호 200이 이미지 센서를 나타낸다.
도 20은 본 발명의 실시 예에 따른 이미지 센싱 시스템의 이미지 선명화 방법을 나타내는 플로우차트이다.
도 1 내지 도 20을 참조하면, 이미지 신호 프로세서(220)는 복수의 픽셀들 각각의 에지 방향과 에지 진폭을 계산한다(S10).
상기 에지 방향은 수평 에지 강도 요소(H(i,j))와 수직 에지 강도 요소(V(i,j))를 이용하여 계산된다. 상기 에지 진폭은 복수의 픽셀들 중 제1픽셀 신호(P(i,j))와 제2픽셀 신호(P(i,j-1))의 차이를 이용하여 계산된다.
이미지 신호 프로세서(220)는 상기 복수의 픽셀들 각각의 에지 방향의 값(D(i,j))을 결합함으로써 히스토그램을 생성한다(S20).
상기 복수의 픽셀들 중 어느 하나의 에지 진폭의 값이 문턱값보다 작은 에지 진폭의 값에 대응되는 에지 방향은 제외하여 상기 히스토그램을 생성한다.
이미지 신호 프로세서(220)는 상기 히스토그램에서 가장 빈번한 에지 방향의 값(D(i,j))을 상기 주요 에지 방향(Dp)의 값으로 설정한다(S30).
이미지 신호 프로세서(220)는 주요 에지 방향(Dp)과 상기 복수의 픽셀들 각각의 에지 방향을 이용하여 선명화 감쇠 룩업 테이블(sharpening attenuation lookup table)을 생성한다(S40).
이미지 신호 프로세서(220)는 상기 선명화 감쇠 룩업 테이블을 이용하여 선명화의 양을 계산한다(S50).
이미지 신호 프로세서(220)는 상기 선명화의 양을 이용하여 상기 복수의 픽셀들 각각을 선명화한다(S60).
도 21은 본 발명의 실시 예에 따른 다른 이미지 센싱 시스템의 개략적인 블락도를 나타낸다. 도 21을 참조하면, 이미지 센싱 시스템(1000)은 MIPI 인터페이스를 사용 또는 지원할 수 있는 데이터 처리 장치, 예컨대 이동 전화기, PDA, PMP, 또는 스마트 폰으로 구현될 수 있다.
이미지 센싱 시스템(1000)은 어플리케이션 프로세서(1010), 이미지 센서(1040), 및 디스플레이(1050)를 포함한다.
어플리케이션 프로세서(1010)에 구현된 CSI 호스트(1012)는 카메라 시리얼 인터페이스(camera serial interface(CSI))를 통하여 이미지 센서(1040)의 CSI 장치(1041)와 시리얼 통신할 수 있다. 이때, 예컨대, 상기 CSI 호스트(1012)에는 광 디시리얼라이저가 구현될 수 있고, CSI 장치(1041)에는 광 시리얼라이저가 구현될 수 있다. 이미지 센서(1040)는 본 발명의 실시 예에 따른 이미지 선명화 방법을 수행한다. 실시 예에 따라, 어플리케이션 프로세서(1010)가 본 발명의 실시 예에 따른 이미지 선명화 방법을 수행할 수 있다.
어플리케이션 프로세서(1010)에 구현된 DSI 호스트(1011)는 디스플레이 시리얼 인터페이스(display serial interface(DSI))를 통하여 디스플레이(1050)의 DSI 장치(1051)와 시리얼 통신할 수 있다. 이때, 예컨대, DSI 호스트(1011)에는 광 시리얼라이저가 구현될 수 있고, DSI 장치(1051)에는 광 디시리얼라이저가 구현될 수 있다.
이미지 센싱 시스템(1000)은 어플리케이션 프로세서(1010)와 통신할 수 있는 RF 칩(1060)을 더 포함할 수 있다. 이미지 센싱 시스템(1000)의 PHY(1013)와 RF 칩(1060)의 PHY(1061)는 MIPI DigRF에 따라 데이터를 주고받을 수 있다.
이미지 센싱 시스템(1000)은 GPS(1020), 스토리지(1070), 마이크(1080), DRAM(1085) 및 스피커(1090)를 더 포함할 수 있으며, 이미지 센싱 시스템(1000)은 Wimax(1030), WLAN(1100) 및 UWB(1110) 등을 이용하여 통신할 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10 ; 이미지 센싱 시스템 221, 232, 242, 252, 262 ; 5x5 커널
100 ; 이미지 센서
110 ; 화소 어레이
120 ; 로우 드라이버
130 ; 상관 이중 샘플링 블락
140 ; 아날로그 디지털 컨버터
160 ; 램프 신호 발생기
170 ; 타이밍 제너레이터
180 ; 제어 레지스터 블락
190 ; 버퍼
200 ; 디지털 신호 프로세서
210 ; 카메라 컨트롤
220 ; 이미지 신호 프로세서
230 ; PC I/F(230)
300 ; 디스플레이 유닛
400 ; 물체
500 ; 렌즈

Claims (10)

  1. 복수의 픽셀들 각각의 에지 방향을 이용하여 이미지의 주요 에지 방향(predominant edge direction)을 결정하는 단계; 및
    상기 주요 에지 방향과 상기 복수의 픽셀들 각각의 에지 방향에 따라 상기 복수의 픽셀들 각각을 선명화하는 단계를 포함하는 이미지 선명화 방법.
  2. 제1항에 있어서, 상기 이미지의 주요 에지 방향을 결정하는 단계는,
    상기 복수의 픽셀들 각각의 에지 방향과 에지 진폭을 계산하는 단계;
    상기 복수의 픽셀들 각각의 에지 방향을 결합함으로써 히스토그램을 생성하는 단계; 및
    상기 히스토그램에서 가장 빈번한 에지 방향을 상기 주요 에지 방향으로 설정하는 단계를 포함하는 이미지 선명화 방법.
  3. 제2항에 있어서, 상기 복수의 픽셀들 각각의 에지 방향과 에지 진폭을 계산하는 단계는,
    상기 복수의 픽셀들의 픽셀 신호들 중 어느 하나의 픽셀 신호와 이웃 픽셀들의 픽셀 신호들을 이용하여 수평 에지 강도 요소(horizontal edge strength component)와 수직 에지 강도 요소(vertical edge strength component)를 계산하는 단계;
    상기 수평 에지 강도 요소와 상기 수직 에지 강도 요소를 이용하여 상기 에지 방향을 계산하는 단계; 및
    상기 복수의 픽셀들 중 제1픽셀 신호와 제2픽셀 신호의 차이를 이용하여 상기 에지 진폭을 계산하는 단계를 포함하는 이미지 선명화 방법.
  4. 제2항에 있어서, 상기 히스토그램을 생성하는 단계는,
    상기 복수의 픽셀들 중 어느 하나의 에지 진폭의 값이 문턱값보다 낮을 때,상기 문턱값보다 작은 에지 진폭의 값에 대응되는 에지 방향은 제외하는 단계를 포함하는 이미지 선명화 방법.
  5. 제1항에 있어서, 상기 복수의 픽셀들 각각을 선명화하는 단계는,
    상기 주요 에지 방향과 상기 복수의 픽셀들 각각의 에지 방향을 이용하여 선명화 감쇠 룩업 테이블(sharpening attenuation lookup table)을 생성하는 단계;
    상기 선명화 감쇠 룩업 테이블을 이용하여 선명화의 양을 계산하는 단계; 및
    상기 선명화의 양을 이용하여 상기 복수의 픽셀들 각각을 선명화하는 단계를 포함하는 이미지 선명화 방법.
  6. 광 이미지를 전기적 이미지 데이터로 변환하여 출력하는 이미지 센싱 블락; 및
    상기 전기적 이미지 데이터를 구성하는 복수의 픽셀들 각각의 에지 방향을 이용하여 상기 전기적 이미지 데이터의 주요 에지 방향(predominant edge direction)을 결정하고, 상기 주요 에지 방향과 상기 복수의 픽셀들 각각의 에지 방향에 따라 상기 복수의 픽셀들 각각을 선명화하는 이미지 신호 프로세서를 포함하는 이미지 센서.
  7. 제6항에 있어서, 상기 이미지 신호 프로세서는,
    상기 복수의 픽셀들의 픽셀 신호들 중 어느 하나의 픽셀 신호와 이웃 픽셀들의 픽셀 신호들을 이용하여 수평 에지 강도 요소(horizontal edge strength component)와 수직 에지 강도 요소(vertical edge strength component)를 계산하고, 상기 수평 에지 강도 요소와 상기 수직 에지 강도 요소를 이용하여 상기 에지 방향을 계산하며, 상기 복수의 픽셀들 중 제1픽셀 신호와 제2픽셀 신호의 차이를 이용하여 상기 에지 진폭을 계산하는 이미지 센서.
  8. 제6항에 있어서, 상기 이미지 신호 프로세서는,
    상기 주요 에지 방향과 상기 복수의 픽셀들 각각의 에지 방향을 이용하여 선명화 감쇠 룩업 테이블을 생성하고, 상기 선명화 감쇠 룩업 테이블을 이용하여 선명화의 양을 계산하며, 상기 선명화의 양을 이용하여 상기 복수의 픽셀들 각각을 선명화하는 이미지 센서.
  9. 광 이미지를 전기적 이미지 데이터로 변환하여 출력하는 이미지 센서; 및
    상기 전기적 이미지 데이터를 구성하는 복수의 픽셀들 각각의 에지 방향을 이용하여 상기 전기적 이미지 데이터의 주요 에지 방향(predominant edge direction)을 결정하고, 상기 주요 에지 방향과 상기 복수의 픽셀들 각각의 에지 방향에 따라 상기 복수의 픽셀들 각각을 선명화하는 이미지 신호 프로세서를 포함하는 이미지 센싱 시스템.
  10. 제9항에 있어서, 상기 이미지 신호 프로세서는,
    상기 복수의 픽셀들 각각의 에지 방향과 에지 진폭을 계산하고, 상기 복수의 픽셀들 각각의 에지 방향을 결합함으로써 히스토그램을 생성하고, 상기 히스토그램에서 가장 빈번한 에지 방향을 상기 주요 에지 방향으로 설정하는 이미지 센싱 시스템.
KR1020110000129A 2011-01-03 2011-01-03 이미지 선명화 방법, 이미지 센서, 및 이를 포함하는 장치들 KR20120078851A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110000129A KR20120078851A (ko) 2011-01-03 2011-01-03 이미지 선명화 방법, 이미지 센서, 및 이를 포함하는 장치들
US13/297,794 US20120169905A1 (en) 2011-01-03 2011-11-16 Method And Image Sensor For Image Sharpening And Apparatuses Including The Image Sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110000129A KR20120078851A (ko) 2011-01-03 2011-01-03 이미지 선명화 방법, 이미지 센서, 및 이를 포함하는 장치들

Publications (1)

Publication Number Publication Date
KR20120078851A true KR20120078851A (ko) 2012-07-11

Family

ID=46380456

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110000129A KR20120078851A (ko) 2011-01-03 2011-01-03 이미지 선명화 방법, 이미지 센서, 및 이를 포함하는 장치들

Country Status (2)

Country Link
US (1) US20120169905A1 (ko)
KR (1) KR20120078851A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2552099B1 (en) * 2011-07-27 2013-08-28 Axis AB Method and camera for providing an estimation of a mean signal to noise ratio value for an image
KR102056686B1 (ko) 2013-02-18 2019-12-18 삼성디스플레이 주식회사 영상 처리부, 이를 포함하는 표시 장치 및 이를 이용한 영상 처리 방법
KR102057575B1 (ko) * 2013-07-25 2019-12-20 삼성전자주식회사 이미지 센서 및 그것의 제어 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7257273B2 (en) * 2001-04-09 2007-08-14 Mingjing Li Hierarchical scheme for blur detection in digital image using wavelet transform
JP3959741B2 (ja) * 2003-03-19 2007-08-15 ソニー株式会社 撮像装置及び画像の輪郭強調方法
US7720302B2 (en) * 2003-09-25 2010-05-18 Fujifilm Corporation Method, apparatus and program for image processing

Also Published As

Publication number Publication date
US20120169905A1 (en) 2012-07-05

Similar Documents

Publication Publication Date Title
US11218630B2 (en) Global tone mapping
EP3449622B1 (en) Parallax mask fusion of color and mono images for macrophotography
JP4960605B2 (ja) 自動露出補正方法及び補正装置
CN110766621B (zh) 图像处理方法、装置、存储介质及电子设备
KR102207939B1 (ko) 안개 제거 시스템 및 안개 제거 방법
KR102273656B1 (ko) 광역 역광 보정 영상의 노이즈 레벨 제어 장치, 및 이를 포함하는 영상 처리 시스템
KR20170030933A (ko) 영상 처리 장치 및 그것의 자동 화이트 밸런싱 방법
CN110445986B (zh) 图像处理方法、装置、存储介质及电子设备
JP2013162431A (ja) 画像信号処理装置，撮像装置および画像処理プログラム
US20080002907A1 (en) Auto-exposure using image characterstics
KR20210053377A (ko) 이미지 센서 및 이미지 신호 처리기를 포함하는 이미지 장치, 및 이미지 센서의 동작 방법
KR102406215B1 (ko) 컬러 프린지 보정 방법 및 이를 이용한 이미지 데이터의 프로세싱 방법
JP2016081427A (ja) 画像処装置および画像処理方法、並びにプログラム
US9083887B2 (en) Image capture devices configured to generate compensation gains based on an optimum light model and electronic apparatus having the same
KR20120078851A (ko) 이미지 선명화 방법, 이미지 센서, 및 이를 포함하는 장치들
JP6543787B2 (ja) 画像処理装置および画像処理方法
JP5619882B2 (ja) 輝度情報に基づいて修正された値を使用したレンズロールオフ補正操作
US10791289B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable recording medium
TW201518852A (zh) 影像處理裝置及曝光控制方法
TW202119361A (zh) 基於感測器特性的影像處理方法
JP5520135B2 (ja) 画像処理装置
JP2018186363A (ja) 撮像装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid