KR20220010264A - 노이즈 제거 회로, 이미지 센싱 장치 및 그 동작방법 - Google Patents

노이즈 제거 회로, 이미지 센싱 장치 및 그 동작방법 Download PDF

Info

Publication number
KR20220010264A
KR20220010264A KR1020200088940A KR20200088940A KR20220010264A KR 20220010264 A KR20220010264 A KR 20220010264A KR 1020200088940 A KR1020200088940 A KR 1020200088940A KR 20200088940 A KR20200088940 A KR 20200088940A KR 20220010264 A KR20220010264 A KR 20220010264A
Authority
KR
South Korea
Prior art keywords
image
coring
noise
intensity
detail
Prior art date
Application number
KR1020200088940A
Other languages
English (en)
Inventor
김동익
김진수
민창기
박성희
Original Assignee
에스케이하이닉스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이하이닉스 주식회사 filed Critical 에스케이하이닉스 주식회사
Priority to KR1020200088940A priority Critical patent/KR20220010264A/ko
Priority to US17/151,407 priority patent/US11651476B2/en
Priority to CN202110188792.XA priority patent/CN113949819B/zh
Publication of KR20220010264A publication Critical patent/KR20220010264A/ko
Priority to US18/192,663 priority patent/US11887282B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N5/357—
    • G06T5/002—
    • G06T5/009—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H04N5/355—
    • H04N5/369—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 서로 다른 노출 시간을 갖는 이미지들을 합성하여 HDR(High Dynamic Range) 이미지를 생성하는 이미지 합성부; 상기 이미지 합성부에서 생성된 HDR 이미지로부터 디테일 이미지를 생성하는 디테일 이미지 생성부; 상기 디테일 이미지 생성부에서 생성된 디테일 이미지의 세기를 평가하는 이미지 세기 평가부; 및 상기 이미지 세기 평가부에서 평가된 이미지의 세기가 기 설정된 기준값보다 작은 경우에, 로우 임계 파라미터(Low threshold parameter)와 포화 임계 파라미터(Saturation threshold parameter)를 이용하여 SNR 딥(dip)이 발생하는 구간을 특정하고 특정된 구간의 노이즈를 제거하는 노이즈 코어링(coring)을 실행하는 노이즈 코어링부를 포함하는 노이즈 제거 회로를 제공할 수 있다.

Description

노이즈 제거 회로, 이미지 센싱 장치 및 그 동작방법{NOISE REMOVING CIRCUIT, IMAGE SENSING DEVICE AND OPERATION METHOD THEREOF}
본 발명은 반도체 장치에 관한 것으로, 더욱 상세하게는 노이즈 제거 회로, 이미지 센싱 장치 및 그 동작방법에 관한 것이다.
최근 컴퓨터 환경에 대한 패러다임(paradigm)이 언제, 어디서나 컴퓨터 시스템을 사용할 수 있도록 하는 유비쿼터스 컴퓨팅(ubiquitous computing)으로 전환되고 있다. 이로 인해 휴대폰, 디지털 카메라, 노트북 컴퓨터 등과 같은 휴대용 전자 장치의 사용이 급증하고 있다.
특히, 영상기기의 급속한 발전으로 이미지 센서가 장착된 카메라, 캠코더 등의 이미지 촬영 장치에 대한 개발이 가속화되고 있다. 이러한 이미지 촬영 장치는 이미지를 촬영하여 기록 매체에 기록함과 동시에, 언제든지 재생시킬 수 있어 사용자가 급속하게 증가하고 있다. 이에 따라 성능 및 기능에 대한 사용자의 요구도 점차 높아지고 있으며, 소형, 경량화, 저전력화와 더불어 고성능화 및 다기능화가 추구되고 있다.
본 발명의 실시 예들은 서로 다른 노출 시간을 갖는 이미지들을 하나의 HDR 이미지로 합성할 때 로우 임계 파라미터와 포화 임계 파라미터를 이용하여 특정 영역의 이미지에 대해 노이즈 코어링를 실행함으로써 HDR 합성시에 발생하는 SNR 딥(dip)이 발생하는 구간의 SNR을 개선할 수 있다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명은 노이즈 제거 회로, 이미지 센싱 장치 및 그 동작방법을 제공한다.
본 발명의 실시 예들에 따른 노이즈 제거 회로는 서로 다른 노출 시간을 갖는 이미지들을 합성하여 HDR(High Dynamic Range) 이미지를 생성하는 이미지 합성부; 상기 이미지 합성부에서 생성된 HDR 이미지로부터 디테일 이미지를 생성하는 디테일 이미지 생성부; 상기 디테일 이미지 생성부에서 생성된 디테일 이미지의 세기를 평가하는 이미지 세기 평가부; 및 상기 이미지 세기 평가부에서 평가된 이미지의 세기가 기 설정된 기준값보다 작은 경우에, 로우 임계 파라미터(Low threshold parameter)와 포화 임계 파라미터(Saturation threshold parameter)를 이용하여 SNR 딥(dip)이 발생하는 구간을 특정하고 특정된 구간의 노이즈를 제거하는 노이즈 코어링(coring)을 실행하는 노이즈 코어링부를 포함하는 노이즈 제거 회로를 제공할 수 있다.
또한 상기 디테일 이미지 생성부는 상기 이미지 합성부에서 생성된 HDR 이미지를 로그 도메인(domain)으로 변환하는 제1 변환 블록; 상기 이미 지 합성부에서 생성된 HDR 이미지에 대해 로우 패스 필터링을 진행하는 로우 패스 필터; 상기 로우 패스 필터에서 필터링된 이미지를 로그 도메인(domain)으로 변환하는 제2 변환 블록; 및 상기 제1 변환 블록에서 출력된 제1 변환 이미지와 상기 제2 변환 블록에서 출력된 제2 변환 이미지의 차이값을 구하여 상기 디테일 이미지를 생성하는 계산 블록을 포함할 수 있다.
또한, 상기 서로 다른 노출 시간을 갖는 이미지들은 장 노출 이미지, 중간 노출 이미지 및 단 노출 이미지를 포함하되, 상기 로우 임계 파라미터는 상기 장 노출 이미지와 상기 중간 노출 이미지가 섞이는 구간을 나타내고, 상기 포화 임계 파라미터는 상기 중간 노출 이미지와 상기 단 노출 이미지가 섞이는 구간을 나타낼 수 있다.
또한, 상기 디테일 이미지의 세기는 일정 크기의 커널내에서 디테일 이미지의 변화 정도를 나타내며, 디테일 이미지의 변화가 큰 영역에서 상기 이미지 세기의 값이 크고 디테일 이미지의 변화가 적은 영역에서 상기 이미지 세기의 값이 작을수 있다.
또한, 상기 노이즈 코어링부는 상기 로우 임계 파라미터의 적용 구간 및 상기 포화 임계 파라미터의 적용 구간에서 코어링 폭 파라미터(coring width parameter)를 이용하여 노이즈 코어링 세기를 조절할 수 있다.
또한, 상기 노이즈 코어링 세기는 하기 수식에 따라 표현될 수 있다.
Figure pat00001
, and
Figure pat00002
상기 “coring strengthlow”는 로우 임계 파라미터 영역에서의 코어링 세기를 나타내고, “coring strengthsat”는 포화 임계 파라미터 영역에서의 코어링 세기를 나타내며, “Log”는 로그 도멘인 변환 함수를 나타내고, “Lowth”는 로우 임계 파라미터를 나타내며, “Satth”는 포화 임계 파라미터를 나타내고, “coring_width”는 코어링 폭 변환 파라미터를 나타낼 수 있다.
또한, 상기 노이즈 코어링부는 상기 노이즈 코어링 세기 및 기울기 계수를 이용하여 노이즈 코어링 파라미터를 획득할 수 있다.
본 발명의 다른 실시예에 따른 이미지 센싱 장치는 복수의 픽셀을 구비한 이미지 센서; 및 상기 이미지 센서의 출력신호를 처리하는 이미지 신호 프로세서를 포함하되, 상기 이미지 센서 및 상기 이미지 신호 프로세서중 어느 하나의 내부에 노이즈 제거 회로가 구현되며, 상기 노이즈 제거 회로는, 장 노출 이미지, 중간 노출 이미지 및 단 노출 이미지를 합성하여 HDR(High Dynamic Range) 이미지를 생성하는 이미지 합성부; 상기 이미지 합성부에서 생성된 HDR 이미지로부터 디테일 이미지를 생성하는 디테일 이미지 생성부; 상기 디테일 이미지 생성부에서 생성된 디테일 이미지의 세기를 평가하는 이미지 세기 평가부; 및 상기 이미지 세기 평가부에서 평가된 이미지의 세기가 기 설정된 기준값보다 작은 경우에, 상기 장 노출 이미지와 상기 중간 노출 이미지가 섞이는 구간을 나타내는 로우 임계 파라미터(Low threshold parameter)와 상기 중간 노출 이미지와 상기 단 노출 이미지가 섞이는 구간을 나타내는 포화 임계 파라미터(Saturation threshold parameter)를 이용하여 SNR 딥(dip)이 발생하는 구간을 특정하고 특정된 구간의 노이즈를 제거하는 노이즈 코어링(coring)을 실행할수 있다.
또한, 상기 디테일 이미지 생성부는 상기 이미지 합성부에서 생성된 HDR 이미지를 로그 도메인(domain)으로 변환하는 제1 변환 블록; 상기 이미 지 합성부에서 생성된 HDR 이미지에 대해 로우 패스 필터링을 진행하는 로우 패스 필터; 상기 로우 패스 필터에서 필터링된 이미지를 로그 도메인(domain)으로 변환하는 제2 변환 블록; 및 상기 제1 변환 블록에서 출력된 제1 변환 이미지와 상기 제2 변환 블록에서 출력된 제2 변환 이미지의 차이값을 구하여 상기 디테일 이미지를 생성하는 계산 블록을 포함할 수 있다.
또한, 상기 노이즈 코어링부는 상기 로우 임계 파라미터의 적용 구간 및 상기 포화 임계 파라미터의 적용 구간에서 코어링 폭 파라미터(coring width parameter)를 이용하여 노이즈 코어링 세기를 조절할 수 있다.
본 발명의 또 다른 실시예에 따른 이미지 센싱 장치의 동작 방법은 장 노출 이미지, 중간 노출 이미지 및 단 노출 이미지를 합성하여 HDR(High Dynamic Range) 이미지를 생성하는 단계; 상기 HDR 이미지로부터 디테일 이미지를 생성하는 단계; 상기 디테일 이미지의 세기를 평가하는 단계; 및 상기 평가된 이미지 세기가 기 설정된 기준값보다 작은 경우에, 상기 장 노출 이미지와 상기 중간 노출 이미지가 섞이는 구간을 나타내는 로우 임계 파라미터(Low threshold parameter)와 상기 중간 노출 이미지와 상기 단 노출 이미지가 섞이는 구간을 나타내는 포화 임계 파라미터(Saturation threshold parameter)를 이용하여 SNR 딥(dip)이 발생하는 구간을 특정하고 특정된 구간의 노이즈를 제거하는 노이즈 코어링(coring)을 실행하는 단계를 포함할 수 있다.
또한, 상기 디테일 이미지를 생성하는 단계에서는 상기 HDR 이미지를 로그 도메인(domain)으로 변환하여 제1 변환 이미지를 생성하는 단계; 상기 HDR 이미지에 대해 로우 패스 필터링을 진행하는 단계; 상기 로우 패스 필터링된 이미지를 로그 도메인(domain)으로 변환하여 제2 변환 이미지를 생성하는 단계; 및 상기 제1 변환 이미지와 상기 제2 변환 이미지의 차이값을 구하여 상기 디테일 이미지를 생성하는 단계를 포함할 수 있다.
또한, 노이즈 코어링(coring)를 실행하는 단계에서는 상기 로우 임계 파라미터의 적용 구간 및 상기 포화 임계 파라미터의 적용 구간에서 코어링 폭 파라미터(coring width parameter)를 이용하여 노이즈 코어링 세기를 조절할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시예에 따른 노이즈 제거 회로, 이미지 센싱 장치 및 그 동작방법은 HDR 합성시에 발생하는 SNR 딥(dip) 구간의 SNR을 개선하여 이미지의 선명성을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 노이즈 제거 회로의 블록도를 나타낸다.
도 2는 도 1에 도시된 이미지 합성부의 합성 영역을 설명하는 도면이다.
도 3은 도 1에 도시된 이미지 세기 평가부에서 5X5 픽셀 사이즈의 커널을 설명하는 도면이다.
도 4는 도 1에 도시된 노이즈 코어링부의 코어링 파라미터를 설명하는 그래프이다.
도 5는 도 1에 도시된 원 픽셀 이미지와 노이즈 코어링부의 출력 이미지를 비교하는 그래프이다.
도 6은 본 발명의 다른 실시예에 따른 이미지 센싱 장치의 블록도를 나타낸다.
도 7은 본 발명의 또 다른 실시 예에 따른 이미지 센싱 장치의 블록도를 나타낸다.
도 8은 본 발명의 또 다른 실시예에 따른 이미지 센싱 장치의 동작을 설명하는 흐름도이다.
도 9는 본 발명의 일시예에 따른 이미지 센싱 장치가 적용된 시스템의 일 실시예를 설명하는 블록도를 나타낸다.
이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩뜨리지 않도록 생략될 것이라는 것을 유의하여야 한다.
이하, 도면들을 참조하여 본 발명의 실시 예들에 대해서 보다 구체적으로 설명하기로 한다.
도 1 내지 도 5를 참조하여 본 발명의 일 실시예에 따른 노이즈 제거 회로를 설명한다.
도 1은 본 발명의 일 실시예에 따른 노이즈 제거 회로의 블록도를 나타내고, 도 2는 도 1에 도시된 이미지 합성부의 합성 영역을 설명하는 도면이며, 도 3은 도 1에 도시된 이미지 세기 평가부에서 5X5 픽셀 사이즈의 커널을 설명하는 도면이고, 도 4는 도 1에 도시된 노이즈 코어링부의 코어링 파라미터를 설명하는 그래프이다. 도 5는 도 1에 도시된 원 픽셀 이미지와 노이즈 코어링부의 출력 이미지를 비교하는 그래프이다.
도 1에 도시된 본 발명의 일 실시예에 따른 노이즈 제거 회로(300)는 이미지 합성부(310), 디테일 이미지 생성부(320), 이미지 세기 평가부(330) 및 노이즈 코어링부(340)를 포함할 수 있다.
이미지 합성부(310)는 장 노출(long exposure) 이미지, 중간 노출(middle exposure) 이미지 및 단 노출(short exposure)의 3개 이미지를 합성하여 HDR(High Dynamic Range) 이미지를 생성할 수 있다.
도 2에 도시된 바와 같이, 로우 임계 파라미터(low threshold parameter)는 장 노출 이미지가 포화되기 시작한는 것으로 판단하는 파라미터를 나타내고, 포화 임계 파라미터(Saturation threshold parameter)는 중간 노출 이미지가 포화되기 시작한 것으로 판단하는 파라미터를 나타낸다.
이때, 임계값은 10비트(최대 코드 1024) 이미지 기준 600-800 사이값에서 정해질 수 있다. 즉, 로우 임계 파라미터(low threshold parameter)는 장 노출 이미지의 루미넌스(luminance)를 기준으로 설정되고, 포화 임계 파라미터는 중간 노출 이미지의 루미넌스를 기준으로 설정될 수 있다.
디테일 이미지 생성부(320)는 이미지 합성부(310)에서 생성된 HDR 이미지로부터 디테일 이미지를 생성할 수 있으며, 제1 변환 블록(322), 로우 패스 필터(324), 제2 변환 블록(326) 및 계산 블록(328)을 포함할 수 있다.
제1 변환 블록(322)은 이미지 합성부(310)에서 생성된 HDR 이미지를 로그 도메인(domain)으로 변환하여 제1 변환 이미지를 생성할 수 있다.
로우 패스 필터(324)는 이미지 합성부(310)에서 생성된 HDR 이미지에 대해 로우 패스 필터링을 진행할 수 있다.
제2 변환 블록(326)은 로우 패스 필터에서 필터링된 이미지를 로그 도메인(domain)으로 변환하여 제2 변환 이미지를 생성할 수 있다.
계산 블록(328)은 제1 변환 블록(322)에서 출력된 제1 변환 이미지와 제2 변환 블록(326)에서 출력된 제2 변환 이미지의 차이값을 구하여 디테일 이미지를 생성할 수 있다.
이미지 세기 평가부(330)는 디테일 이미지 생성부(320)에서 생성된 디테일 이미지의 세기를 평가할 수 있다.
디테일 이미지의 세기는 일정 크기의 커널내에서 디테일 이미지의 변화 정도를 나타내며, 엣지와 같이 디테일 이미지의 변화가 큰 영역의 베리언스(variance)가 크게 나타나고 디테일 이미지의 변화가 적은 영역의 베리언스(variance)는 적게 나타난다.
도 3에 도시된 5x5 픽셀 이미지 커널(Kernel)에서, 하기 수식 1과 같이, 각 픽셀의 베리언스(variance) 값이 기 설정된 기준값(Threshold)보다 크면 디테일(Detail) 값이 “0”으로 설정되고, 디테일 값이 기 설정된 기준값보다 작으면 디테일 값이 “1”로 설정될 수 있다.
[수식 1]
Figure pat00003
노이즈 코어링부(340)는 이미지 세기 평가부(330)에서 평가된 이미지의 세기가 기 설정된 기준값보다 작은 경우에, 장 노출 이미지와 중간 노출 이미지가 섞이는 구간을 나타내는 로우 임계 파라미터(Low threshold parameter)와 중간 노출 이미지와 상기 단 노출 이미지가 섞이는 구간을 나타내는 포화 임계 파라미터(Saturation threshold parameter)를 이용하여 SNR 딥(dip)이 발생하는 구간을 특정하고 특정된 구간의 노이즈를 제거하는 노이즈 코어링(noise coring)을 실행할 수 있다.
이때, 'SNR 딥(dip)'은 서로 다른 노출 시간을 갖는 이미지들이 합쳐질 때 그 경계 영역에서 발생되는 SNR(신호대 잡음비)이 급격히 감소하는 현상을 나타내며, 장 노출 이미지와 중간 노출 이미지의 경계영역에서 SNR 딥이 발생될 수 있고, 중간 노출 이미지와 단기 노출 이미지의 경계영역에서 SNR 딥이 발생될 수 있다.
또한, 디테일이 뚜렷한 영역에서 디테일 이미지 값의 변화가 크게 나타나고 디테일이 흐릿한 영역에서 디테일 이미지 값의 변화가 작게 나타나며, SNR dip이 발생되는 영역에서는 디테일 이미지 변화가 작게 나타나게되므로 해당영역을 압축시켜줌으로써 SNR dip 노이즈를 제거할 수 있다. 이를 '노이즈 코어링(noise coring)으로 정의한다.
도 4를 참조하면, 'Lowth'는 장 노출 이미지에서 중간 노출 이미지로 바뀌는 지점을 가리키는 로우 임계 파라미터를 나타내고, 'Satth'는 중간 노출 이미지에서 단 노출 이미지로 바뀌는 지점을 가리키는 포화 임계 파라미터를 나타낸다.
노이즈 코어링부(340)는 로우 임계 파라미터의 적용 구간 및 포화 임계 파라미터의 적용 구간에서 코어링 폭 파라미터(coring width parameter)를 이용하여 노이즈 코어링 세기를 하기 수식 2 및 수식 3과 같이 조절할 수 있다.
[수식 2]
Figure pat00004
[수식 3]
Figure pat00005
상기 “coring strengthlow”는 로우 임계 파라미터 영역에서의 코어링 세기를 나타내고, “coring strengthsat”는 포화 임계 파라미터 영역에서의 코어링 세기를 나타내며, “Log”는 로그 도메인 변환 함수를 나타내고, “Lowth”는 로우 임계 파라미터를 나타내며, “Satth”는 포화 임계 파라미터를 나타내고, “coring_width”는 코어링 폭 변환 파라미터를 나타낸다.
또한 노이즈 코어링부(340)는 노이즈 코어링 세기(coring strength) 및 기울기 계수(acoeff)를 이용하여 하기 수식 4와 같이 노이즈 코어링 파라미터(coring parameter)를 획득할 수 있다.
[수식 4]
Figure pat00006
상기 'Detail(x)'는 디테일 이미지의 세기를 나타내는 디테일 값을 나타낸다.
한편 디테일 이미지 세기가 기 설정된 기준값보다 큰 경우에는 노이즈 코어링부(340)가 동작하지 않을 수 있다.
도 5를 참조하면, 노이즈 코어링부(340)가 노이즈 코어링을 실행함으로써 SNR 딥이 발생한 구간에서 SNR의 개선을 알 수 있다.
도 6은 본 발명의 일 실시예에 따른 이미지 센싱 장치의 블록도를 나타낸다.
도 6을 참조하면, 이미지 센싱 장치(10)는 이미지 센서(100) 및 이미지 신호 프로세서(ISP, 400)를 포함할 수 있다.
이미지 센싱 장치(10)는 PC(personal computer) 또는 모바일 컴퓨팅 장치로 구현될 수있다. 상기 이미지 센싱 장치는 랩탑 컴퓨터 (laptop computer), 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, PDA(personal digital assistant), EDA (enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), 모바일 인터넷 장치(mobile internet device(MID)), 웨어러블 컴퓨터, 사물 인터넷(internet of things(IoT))장치, 또는 만물 인터넷(internet of everything(IoE)) 장치로 구현될 수 있다.
도 6에 도시된 이미지 센서(100)는 픽셀 어레이(200)와 노이즈 제거 회로(300)를 포함할 수 있다.
픽셀 어레이(200)는 복수의 픽셀을 구비할 수 있다. 여기서, 픽셀(pixel)은 픽셀 데이터를 의미할 수 있고, RGB 데이터 포맷, YUV 데이터 포맷, 또는 YCbCr 데이터 포맷을 가질 수 있으나 이에 한정되는 것은 아니다.
노이즈 제거 회로(300)는 노이즈 코어링을 통해 노이즈가 제거된 이미지를 출력한다.
노이즈 제거 회로(300)의 상세 구성 및 도작은 도 1 내지 도 5에 도시된 노이즈 제거 회로(300)의 구성 및 동작과 실질적으로 동일하거나 유사하므로 이에 대한 상세한 설명은 생략한다.
이미지 신호 프로세서(400)는 프로세서의 일 실시 예로서 집적 회로, 시스템 온 칩(system on chip(SoC)), 또는 모바일 AP로 구현될 수 있다. 이미지 신호 프로세서(400)는 상기 이미지 센서(100)의 출력신호를 처리한다. 즉, 이미지 센서(100)내에 구비된 노이즈 제거 회로(300)에서 노이즈 코어링을 통해 노이즈가 제거된 이미지 출력신호를 제공받아 처리한다.
상세하게는, 이미지 신호 프로세서(400)는 픽셀 데이터에 상응하는 베이어 패턴(BAYER)을 처리하여 RGB 이미지 데이터를 생성할 수 있다. 예컨대, 이미지 신호 프로세서(400)는 이미지 데이터(IDATA)가 디스플레이에서 디스플레이될 수 있도록 베이어 패턴(BAYER)을 가공(또는 처리)하고, 가공(또는 처리)된 이미지 데이터를 인터페이스로 전송할 수 있다.
실시예에 따라, 이미지 센서(100)와 이미지 신호 프로세서(400)는 각각 칩으로 구현되고, 하나의 패키지, 예컨대 멀티-칩 패키지(multi-chip package(MCP))로 구현될 수 있다. 다른 실시 예에 따라, 이미지 센서(100)와 이미지 신호 프로세서(400)는 하나의 칩으로 구현될 수도 있다.
도 7은 본 발명의 다른 실시 예에 따른 이미지 센싱 장치의 블록도를 나타낸다.
도 7을 참조하면, 이미지 센싱 장치(10)는 이미지 센서(100) 및 이미지 신호 프로세서(ISP, 400)를 포함할 수 있다.
노이즈 제거 회로(300)는 이미지 센서(100) 내에 구현되지 않고 이미지 신호 프로세서(400) 내에 구현된 것을 제외하면, 도 8의 이미지 센싱 장치(10)의 구조와 동작은 도 6의 이미지 센싱 장치(10)의 구조와 동작이 실질적으로 동일하거나 유사하므로 상세한 설명은 생략한다.
이하, 도 8을 참조하여 본 발명의 또 다른 실시예에 따른 이미지 센싱 장치의 동작을 설명한다. 도 8은 본 발명의 또 다른 실시예에 따른 이미지 센싱 장치의 동작을 설명하는 흐름도이다.
도 8에 도시된 이미지 센싱 장치의 동작은 HDR 이미지를 생성하는 단계(S1000), 디테일 이미지를 생성하는 단계(S2000), 디테일 이미지 세기 평가 단계(S3000) 및 노이즈 코어링 실행 단계(S4000)를 포함한다.
HDR 이미지를 생성하는 단계(S1000)에서는 장 노출(long exposure) 이미지, 중간 노출(middle exposure) 이미지 및 단 노출(short exposure) 이미지를 합성하여 HDR(High Dynamic Range) 이미지를 생성할 수 있다.
디테일 이미지를 생성하는 단계(S2000)에서는 제1 변환 이미지 생성 단계(S2100), 로우 패스 필터링(S2200) 단계, 제2 변환 이미지 생성 단계(S2300) 및 이미지 생성 단계(S2400)을 포함할 수 있다.
제1 변환 단계(S2100)에서는 HDR 이미지를 생성하는 단계(S1000)에서 생성된 HDR 이미지를 로그 도메인(domain)으로 변환하여 제1 변환 이미지를 생성할 수 있다.
로우 패스 필터링 단계(S2200)에서는 HDR 이미지를 생성하는 단계(S1000)에서 생성된 HDR 이미지에 대해 로우 패스 필터링을 실행할 수 있다.
제2 변환 단계(S2300)에서는 로우 패스 필터링 단계(S2200)에서 로우 패스 필터링된 이미지를 로그 도메인(domain)으로 변환하여 제2 변환 이미지를 생성할 수 있다.
이미지 생성 단계(S2400)에서는 제1 변환 단계(S2100)에서 생성된 제1 변환 이미지와 제2 변환 단계(S2300)에서 생성된 제2 변환 이미지의 차이값을 구하여 디테일 이미지를 생성할 수 있다.
디테일 이미지 평가 단계(S3000)에서는 디테일 이미지를 생성하는 단계(S2000)에서 생성된 디테일 이미지의 세기를 평가할 수 있다.
노이즈 코어링 실행 단계(S4000)에서는 디테일 이미지 평가 단계(S3000)에서 평가된 이미지 세기가 기 설정된 기준값보다 작은 경우에, 장 노출 이미지와 중간 노출 이미지가 섞이는 구간을 나타내는 로우 임계 파라미터(Low threshold parameter) 및 중간 노출 이미지와 단 노출 이미지가 섞이는 구간을 나타내는 포화 임계 파라미터(Saturation threshold parameter)를 이용하여 SNR 딥(dip)이 발생하는 구간을 특정하고 특정된 구간의 노이즈 코어링(coring)를 실행할 수 있다.
이때, 노이즈 코어링 실행 단계(S4000)에서는 로우 임계 파라미터의 적용 구간 및 포화 임계 파라미터의 적용 구간에서 코어링 폭 파라미터(coring width parameter)를 이용하여 노이즈 코어링 세기를 조절할 수 있다.
이하, 본 발명의 일시예에 따른 이미지 센싱 장치가 적용된 시스템의 일 실시예를 설명한다. 도 9는 본 발명의 일시예에 따른 이미지 센싱 장치가 적용된 시스템의 일 실시예를 설명하는 블록도를 나타낸다.
도 9는 본 발명의 또 다른 실시 예에 따른 이미지 처리 시스템의 블록도를 나타낸다. 도 1 부터 도 9를 참조하면, 이미지 처리 시스템(30)은 이미지 센서(100), 프로세서(400), 디스플레이(500), 메모리(600), 및 인터 페이스(700)를 포함할 수 있다. 도 1부터 도 8을 참조하여 설명한 노이즈 제거 회로(300)는 프로세서(400) 또는 이미지 센서 (100)의 내부에 구현될 수 있다. 프로세서(400)는 이미지 센서(100)의 동작을 제어할 수 있다. 예를들면, 프로세서(400)는 이미지 센서(100)로부터 출력되는 픽셀 신호를 처리하여 이미지 데이터를 생성할 수 있다. 메모리(600)는 이미지 센서(100)의 동작을 제어하기 위한 프로그램과 프로세서(400)에 의해 생성된 이미지 데이터를 저장할 수 있다. 프로세서(400)는 메모리(600)에 저장된 프로그램을 실행할 수 있다. 예를들면, 메모리 (600)는 휘발성 메모리 또는 불휘발성 메모리로 구현될 수 있다. 디스플레이(500)는 프로세서(400) 또는 메모리(620)로부터 출력되는 상기 이미지 데이터를 디스플레이할 수 있 다. 인터페이스(700)는 이미지 데이터를 입출력하기 위한 인터페이스로 구현될 수 있다. 실시예에 따라, 인터페이스(700)는 유선 인터페이스 또는 무선 인터페이스로 구현될 수 있다.
한편, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
10: 이미지 센싱 장치
100: 이미지 센서
200: 픽셀 어레이
300: 노이즈 제거 회로
310: 이미지 합성부
320: 디테일 이미지 생성부
322: 제1 변환 블록
324: 로우 패스 필터
326: 제2 변환 블록
328: 계산 블록
330: 이미지 세기 평가부
340: 노이즈 코어링부
400: 이미지 신호 프로세서

Claims (19)

  1. 서로 다른 노출 시간을 갖는 이미지들을 합성하여 HDR(High Dynamic Range) 이미지를 생성하는 이미지 합성부;
    상기 이미지 합성부에서 생성된 HDR 이미지로부터 디테일 이미지를 생성하는 디테일 이미지 생성부;
    상기 디테일 이미지 생성부에서 생성된 디테일 이미지의 세기를 평가하는 이미지 세기 평가부; 및
    상기 이미지 세기 평가부에서 평가된 이미지의 세기가 기 설정된 기준값보다 작은 경우에, 로우 임계 파라미터(Low threshold parameter)와 포화 임계 파라미터(Saturation threshold parameter)를 이용하여 SNR 딥(dip)이 발생하는 구간을 특정하고 특정된 구간의 노이즈를 제거하는 노이즈 코어링(coring)을 실행하는 노이즈 코어링부를
    포함하는 노이즈 제거 회로.
  2. 제1항에 있어서,
    상기 디테일 이미지 생성부는
    상기 이미지 합성부에서 생성된 HDR 이미지를 로그 도메인(domain)으로 변환하는 제1 변환 블록;
    상기 이미 지 합성부에서 생성된 HDR 이미지에 대해 로우 패스 필터링을 진행하는 로우 패스 필터;
    상기 로우 패스 필터에서 필터링된 이미지를 로그 도메인(domain)으로 변환하는 제2 변환 블록; 및
    상기 제1 변환 블록에서 출력된 제1 변환 이미지와 상기 제2 변환 블록에서 출력된 제2 변환 이미지의 차이값을 구하여 상기 디테일 이미지를 생성하는 계산 블록을
    포함하는 노이즈 제거 회로.
  3. 제1항에 있어서,
    상기 서로 다른 노출 시간을 갖는 이미지들은 장 노출 이미지, 중간 노출 이미지 및 단 노출 이미지를 포함하되,
    상기 로우 임계 파라미터는 상기 장 노출 이미지와 상기 중간 노출 이미지가 섞이는 구간을 나타내고, 상기 포화 임계 파라미터는 상기 중간 노출 이미지와 상기 단 노출 이미지가 섞이는 구간을 나타내는
    노이즈 제거 회로.
  4. 제1항에 있어서,
    상기 디테일 이미지의 세기는 일정 크기의 커널(kernel)내에서의 디테일 이미지의 변화 정도를 나타내며, 디테일 이미지의 변화가 큰 영역에서 상기 이미지 세기의 값이 크고 디테일 이미지의 변화가 적은 영역에서 상기 이미지 세기의 값이 작은
    노이즈 제거 회로.
  5. 제1항에 있어서,
    상기 노이즈 코어링부는 상기 로우 임계 파라미터의 적용 구간 및 상기 포화 임계 파라미터의 적용 구간에서 코어링 폭 파라미터(coring width parameter)를 이용하여 노이즈 코어링 세기를 조절하는
    노이즈 제거 회로.
  6. 제5항에 있어서,
    상기 노이즈 코어링 세기는 하기 수식에 따라 표현되는 노이즈 제거 회로,
    Figure pat00007
    , and
    Figure pat00008

    상기 “coring strengthlow”는 로우 임계 파라미터 영역에서의 코어링 세기를 나타내고, “coring strengthsat”는 포화 임계 파라미터 영역에서의 코어링 세기를 나타내며, “Log”는 로그 도멘인 변환 함수를 나타내고, “Lowth”는 로우 임계 파라미터를 나타내며, “Satth”는 포화 임계 파라미터를 나타내고, “coring_width”는 코어링 폭 변환 파라미터를 나타낸다.
  7. 제5항에 있어서,
    상기 노이즈 코어링부는 상기 노이즈 코어링 세기 및 기울기 계수를 이용하여 노이즈 코어링 파라미터를 획득하는 노이즈 제거 회로.
  8. 복수의 픽셀을 구비한 이미지 센서; 및
    상기 이미지 센서의 출력신호를 처리하는 이미지 신호 프로세서를 포함하되,
    상기 이미지 센서 및 상기 이미지 신호 프로세서중 어느 하나의 내부에 노이즈 제거 회로가 구현되며,
    상기 노이즈 제거 회로는,
    장 노출 이미지, 중간 노출 이미지 및 단 노출 이미지를 합성하여 HDR(High Dynamic Range) 이미지를 생성하는 이미지 합성부;
    상기 이미지 합성부에서 생성된 HDR 이미지로부터 디테일 이미지를 생성하는 디테일 이미지 생성부;
    상기 디테일 이미지 생성부에서 생성된 디테일 이미지의 세기를 평가하는 이미지 세기 평가부; 및
    상기 이미지 세기 평가부에서 평가된 이미지의 세기가 기 설정된 기준값보다 작은 경우에, 상기 장 노출 이미지와 상기 중간 노출 이미지가 섞이는 구간을 나타내는 로우 임계 파라미터(Low threshold parameter)와 상기 중간 노출 이미지와 상기 단 노출 이미지가 섞이는 구간을 나타내는 포화 임계 파라미터(Saturation threshold parameter)를 이용하여 SNR 딥(dip)이 발생하는 구간을 특정하고 특정된 구간의 노이즈를 제거하는 노이즈 코어링(coring)을 실행하는 노이즈 코어링부를
    포함하는 이미지 센싱 장치.
  9. 제8항에 있어서,
    상기 디테일 이미지 생성부는
    상기 이미지 합성부에서 생성된 HDR 이미지를 로그 도메인(domain)으로 변환하는 제1 변환 블록;
    상기 이미 지 합성부에서 생성된 HDR 이미지에 대해 로우 패스 필터링을 진행하는 로우 패스 필터;
    상기 로우 패스 필터에서 필터링된 이미지를 로그 도메인(domain)으로 변환하는 제2 변환 블록; 및
    상기 제1 변환 블록에서 출력된 제1 변환 이미지와 상기 제2 변환 블록에서 출력된 제2 변환 이미지의 차이값을 구하여 상기 디테일 이미지를 생성하는 계산 블록을
    포함하는 이미지 센싱 장치.
  10. 제8항에 있어서,
    상기 디테일 이미지의 세기는 일정 크기의 커널내에서의 디테일 이미지의 변화 정도를 나타내며, 디테일 이미지의 변화가 큰 영역에서 상기 이미지 세기의 값이 크고 디테일 이미지의 변화가 적은 영역에서 상기 이미지 세기의 값이 작은
    이미지 센싱 장치.
  11. 제8항에 있어서,
    상기 노이즈 코어링부는 상기 로우 임계 파라미터의 적용 구간 및 상기 포화 임계 파라미터의 적용 구간에서 코어링 폭 파라미터(coring width parameter)를 이용하여 노이즈 코어링 세기를 조절하는
    이미지 센싱 장치.
  12. 제11항에 있어서,
    상기 노이즈 코어링 세기는 하기 수식에 따라 표현되는 이미지 센싱 장치,
    Figure pat00009
    , and
    Figure pat00010

    상기 “coring strengthlow”는 로우 임계 파라미터 영역에서의 코어링 세기를 나타내고, “coring strengthsat”는 포화 임계 파라미터 영역에서의 코어링 세기를 나타내며, “Log”는 로그 도멘인 변환 함수를 나타내고, “Lowth”는 로우 임계 파라미터를 나타내며, “Satth”는 포화 임계 파라미터를 나타내고, “coring_width”는 코어링 폭 변환 파라미터를 나타낸다.
  13. 제11항에 있어서,
    상기 노이즈 코어링부는 상기 노이즈 코어링 세기 및 기울기 계수를 이용하여 노이즈 코어링 파라미터를 획득하는 이미지 센싱 장치.
  14. 장 노출 이미지, 중간 노출 이미지 및 단 노출 이미지를 합성하여 HDR(High Dynamic Range) 이미지를 생성하는 단계;
    상기 HDR 이미지로부터 디테일 이미지를 생성하는 단계;
    상기 디테일 이미지의 세기를 평가하는 단계; 및
    상기 평가된 이미지 세기가 기 설정된 기준값보다 작은 경우에, 상기 장 노출 이미지와 상기 중간 노출 이미지가 섞이는 구간을 나타내는 로우 임계 파라미터(Low threshold parameter)와 상기 중간 노출 이미지와 상기 단 노출 이미지가 섞이는 구간을 나타내는 포화 임계 파라미터(Saturation threshold parameter)를 이용하여 SNR 딥(dip)이 발생하는 구간을 특정하고 특정된 구간의 노이즈를 제거하는 노이즈 코어링(coring)을 실행하는 단계를
    포함하는 이미지 센싱 장치의 동작 방법.
  15. 제14항에 있어서,
    상기 디테일 이미지를 생성하는 단계에서는
    상기 HDR 이미지를 로그 도메인(domain)으로 변환하여 제1 변환 이미지를 생성하는 단계;
    상기 HDR 이미지에 대해 로우 패스 필터링을 진행하는 단계;
    상기 로우 패스 필터링된 이미지를 로그 도메인(domain)으로 변환하여 제2 변환 이미지를 생성하는 단계; 및
    상기 제1 변환 이미지와 상기 제2 변환 이미지의 차이값을 구하여 상기 디테일 이미지를 생성하는 단계를
    포함하는 이미지 센싱 장치의 동작 방법.
  16. 제14항에 있어서,
    상기 디테일 이미지의 세기는 일정 크기의 커널내에서 디테일 이미지의 변화 정도를 나타내며, 디테일 이미지의 변화가 큰 영역에서 상기 이미지 세기의 값이 크고 디테일 이미지의 변화가 적은 영역에서 상기 이미지 세기의 값이 작은
    이미지 센싱 장치의 동작 방법.
  17. 제14항에 있어서,
    상기 노이즈 코어링(coring)를 실행하는 단계에서는
    상기 로우 임계 파라미터의 적용 구간 및 상기 포화 임계 파라미터의 적용 구간에서 코어링 폭 파라미터(coring width parameter)를 이용하여 노이즈 코어링 세기를 조절하는 이미지 센싱 장치의 동작 방법.
  18. 제17항에 있어서,
    상기 노이즈 코어링 세기는 하기 수식에 따라 표현되는 이미지 센싱 장치의 동작 방법,
    Figure pat00011
    , and
    Figure pat00012

    상기 “coring strengthlow”는 로우 임계 파라미터 영역에서의 코어링 세기를 나타내고, “coring strengthsat”는 포화 임계 파라미터 영역에서의 코어링 세기를 나타내며, “Log”는 로그 도멘인 변환 함수를 나타내고, “Lowth”는 로우 임계 파라미터를 나타내며, “Satth”는 포화 임계 파라미터를 나타내고, “coring_width”는 코어링 폭 변환 파라미터를 나타낸다.
  19. 제17항에 있어서,
    노이즈 코어링(coring)를 실행하는 단계에서는 상기 노이즈 코어링 세기 및 기울기 계수를 이용하여 노이즈 코어링 파라미터를 획득하는 이미지 센싱 장치의 동작 방법.
KR1020200088940A 2020-07-17 2020-07-17 노이즈 제거 회로, 이미지 센싱 장치 및 그 동작방법 KR20220010264A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020200088940A KR20220010264A (ko) 2020-07-17 2020-07-17 노이즈 제거 회로, 이미지 센싱 장치 및 그 동작방법
US17/151,407 US11651476B2 (en) 2020-07-17 2021-01-18 Noise removing circuit, image sensing device and operation method of the same
CN202110188792.XA CN113949819B (zh) 2020-07-17 2021-02-19 噪声去除电路、图像感测装置及其操作方法
US18/192,663 US11887282B2 (en) 2020-07-17 2023-03-30 Noise removing circuit, image sensing device and operation method of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200088940A KR20220010264A (ko) 2020-07-17 2020-07-17 노이즈 제거 회로, 이미지 센싱 장치 및 그 동작방법

Publications (1)

Publication Number Publication Date
KR20220010264A true KR20220010264A (ko) 2022-01-25

Family

ID=79292574

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200088940A KR20220010264A (ko) 2020-07-17 2020-07-17 노이즈 제거 회로, 이미지 센싱 장치 및 그 동작방법

Country Status (3)

Country Link
US (2) US11651476B2 (ko)
KR (1) KR20220010264A (ko)
CN (1) CN113949819B (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220010264A (ko) * 2020-07-17 2022-01-25 에스케이하이닉스 주식회사 노이즈 제거 회로, 이미지 센싱 장치 및 그 동작방법

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6879731B2 (en) * 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
JP2005348005A (ja) * 2004-06-02 2005-12-15 Konica Minolta Holdings Inc 撮像装置、撮像システム及び撮像システム動作プログラム
US7525579B2 (en) * 2004-12-27 2009-04-28 Konica Minolta Holdings, Inc. Image sensing apparatus and image processing method for use therein
JP2008104009A (ja) * 2006-10-19 2008-05-01 Sony Corp 撮像装置および撮像方法
US8570396B2 (en) * 2009-04-23 2013-10-29 Csr Technology Inc. Multiple exposure high dynamic range image capture
US8346008B2 (en) 2009-06-09 2013-01-01 Aptina Imaging Corporation Systems and methods for noise reduction in high dynamic range imaging
US8279328B2 (en) * 2009-07-15 2012-10-02 Tower Semiconductor Ltd. CMOS image sensor with wide (intra-scene) dynamic range
US8766999B2 (en) * 2010-05-20 2014-07-01 Aptina Imaging Corporation Systems and methods for local tone mapping of high dynamic range images
US8391598B2 (en) * 2011-01-05 2013-03-05 Aptina Imaging Corporation Methods for performing local tone mapping
CN103002225B (zh) * 2011-04-20 2017-04-12 高通科技公司 多曝光高动态范围图像捕捉
US9172890B2 (en) * 2013-07-01 2015-10-27 Qualcomm Technologies, Inc. Method, apparatus, and manufacture for enhanced resolution for images from high dynamic range (HDR) interlaced sensors
US9600887B2 (en) * 2013-12-09 2017-03-21 Intel Corporation Techniques for disparity estimation using camera arrays for high dynamic range imaging
LU92673B1 (en) * 2015-03-05 2016-09-06 Iee Int Electronics & Eng Sa Method and system for real-time noise removal and image enhancement of high-dynamic range images
KR20160138685A (ko) * 2015-05-26 2016-12-06 에스케이하이닉스 주식회사 저 복잡도의 하이 다이나믹 레인지 이미지 생성 장치 및 그 방법
EP3319013A1 (en) * 2016-11-03 2018-05-09 Thomson Licensing Method and device for estimating cast shadow regions and/or highlight regions in images
CN110062160B (zh) * 2019-04-09 2021-07-02 Oppo广东移动通信有限公司 图像处理方法和装置
CN111161162B (zh) * 2019-12-06 2022-10-14 华中科技大学鄂州工业技术研究院 一种红外图像细节层的处理方法及装置
KR20220010264A (ko) * 2020-07-17 2022-01-25 에스케이하이닉스 주식회사 노이즈 제거 회로, 이미지 센싱 장치 및 그 동작방법

Also Published As

Publication number Publication date
US20230237624A1 (en) 2023-07-27
CN113949819B (zh) 2023-12-26
US20220020122A1 (en) 2022-01-20
US11887282B2 (en) 2024-01-30
CN113949819A (zh) 2022-01-18
US11651476B2 (en) 2023-05-16

Similar Documents

Publication Publication Date Title
US8471928B2 (en) Apparatus and method for generating high ISO image
JP5530563B2 (ja) 高ダイナミックレンジ画像の捕捉及びレンダリング
US10262401B2 (en) Noise reduction using sequential use of multiple noise models
US8600187B2 (en) Image restoration apparatus and image restoration method
US11010873B2 (en) Per-pixel photometric contrast enhancement with noise control
CN112202986B (zh) 图像处理方法、图像处理装置、可读介质及其电子设备
JP5408053B2 (ja) 画像処理装置、画像処理方法
US9692985B2 (en) Image processing apparatus and image processing method for tone control by applying different gain
CN105635605B (zh) 一种控制设备以及包括该设备的图像处理***
CN107147851B (zh) 照片处理方法、装置、计算机可读存储介质及电子设备
JP4696812B2 (ja) 撮像装置
JP5765893B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
KR20210118232A (ko) 합성 이미지에서 이미지 데이터 프로세싱
US11620738B2 (en) Hue preservation post processing with early exit for highlight recovery
US11887282B2 (en) Noise removing circuit, image sensing device and operation method of the same
US20190174181A1 (en) Video signal processing apparatus, video signal processing method, and program
US9374526B2 (en) Providing frame delay using a temporal filter
KR20130069400A (ko) 영상 처리 방법 및 시스템
JP5863236B2 (ja) 画像処理装置、画像処理方法
JP4632100B2 (ja) 画像処理装置、画像処理方法、記録媒体、およびプログラム
JP5282533B2 (ja) 画像処理装置、撮像装置およびプログラム
JP2015076676A (ja) 画像処理装置、画像処理方法及びプログラム
JP6194793B2 (ja) 画像補正装置、画像補正方法及び画像補正プログラム
Majstorović et al. A highly flexible high-speed camera system with real-time noise cancellation
JP2018195189A (ja) 画像処理装置、画像処理方法、及び、プログラム