KR101397182B1 - 영상 처리 장치 및 가로줄 노이즈 개선 방법 - Google Patents
영상 처리 장치 및 가로줄 노이즈 개선 방법 Download PDFInfo
- Publication number
- KR101397182B1 KR101397182B1 KR1020120078073A KR20120078073A KR101397182B1 KR 101397182 B1 KR101397182 B1 KR 101397182B1 KR 1020120078073 A KR1020120078073 A KR 1020120078073A KR 20120078073 A KR20120078073 A KR 20120078073A KR 101397182 B1 KR101397182 B1 KR 101397182B1
- Authority
- KR
- South Korea
- Prior art keywords
- value
- noise
- pixel
- pixels
- average
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000003287 optical effect Effects 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000006872 improvement Effects 0.000 abstract description 11
- 230000002950 deficient Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000000605 extraction Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000003990 capacitor Substances 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
- H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
영상 처리 장치 및 가로줄 노이즈 개선 방법이 개시된다. 영상 처리 장치는, 옵티컬 블랙 영역 내의 대상 픽셀 존재 영역에 존재하는 복수의 대상 픽셀의 평균 픽셀값인 평균 노이즈 값을 산출하는 노이즈 값 산출부; 및 유효 픽셀의 픽셀값에 상기 평균 노이즈 값을 차감한 순수 픽셀값을 출력하는 노이즈 제거부를 포함한다.
Description
본 발명은 영상 처리 장치 및 가로줄 노이즈 개선 방법에 관한 것이다.
최근 고해상도 이미지 센서가 응용시장에서 주류를 이루고 있으며, 종래의 저해상도 이미지 센서에서 생기지 않던 문제가 하나 둘씩 발생하고 있다. 고해상도 이미지 센서에서 새롭게 문제되는 사항들 중 하나가 가로줄 노이즈(horizontal noise)이다.
도 1은 일반적인 이미지 센서의 구조를 나타낸 도면이고, 도 2는 전원 노이즈에 의해 변동된 ADC 레퍼런스 전압을 나타낸 도면이며, 도 3은 가로줄 노이즈가 발생된 영상을 예시한 도면이다.
도 1에 도시된 바와 같이, 이미지 센서는 포토다이오드에 전하가 충전된 후 데이터를 디지털 신호로 변환하기 위해 라인 별로 아날로그 디지털 변환기(ADC, Analog to Digital Converter)가 동시에 동작되는 구조를 가지고 있다.
이때, 각 라인 별로 아날로그 디지털 변환기가 동작하는 시점의 ADC 레퍼런스(Reference) 전압이 전원 노이즈에 의해 도 2에 예시된 바와 같이 변동된다.
즉, 모든 포토다이오드에 충전된 전하의 수가 동일할지라도 디지털 신호로 변환하는 순간의 레퍼런스 전압이 상이하므로, 아날로그 디지털 변환기는 라인 별로 다른 데이터를 출력하게 된다.
따라서 아날로그 디지털 변환기의 성능이 동일하다면 전원 노이즈에 의한 가로줄 노이즈가 도 3에 예시된 바와 같이 발생된다.
이와 같이 발생되는 가로줄 노이즈를 제거하기 위해서는 하드웨어적으로 전원을 안정화하는 노력이 요구된다. 예를 들어, 전원 안정화를 위해 저항 및 커패시터의 추가가 요구되고, 또한 PCB 패턴 설계시 신호선 배치에 많은 고려가 요구될 수 있다.
따라서, 보다 간이한 방법으로 가로줄 노이즈를 제거하기 위한 방안이 요구된다.
본 발명은 전원 안정화를 위한 수동 소자의 추가가 없으므로 보다 소형화된 카메라 모듈을 구현할 수 있고, 또한 보다 간이한 방법으로 가로줄 노이즈를 제거함으로써 화질 개선 및 인식률 향상을 도모할 수 있는 영상 처리 장치 및 가로줄 노이즈 개선 방법을 제공하기 위한 것이다.
본 발명은 가로줄 노이즈 제거와 동시에 블랙 레벨(black level) 보정이 이루어질 수 있어 보다 개선된 화질을 구현할 수 있는 영상 처리 장치 및 가로줄 노이즈 개선 방법을 제공하기 위한 것이다.
본 발명은 아날로그 전원과 디지털 전원을 통합할 수 있어 센서 전원의 수를 감소시킬 수 있는 영상 처리 장치 및 가로줄 노이즈 개선 방법을 제공하기 위한 것이다.
본 발명은 센서 게인(gain) 사용 범위를 확장할 수 있어 저조도에서 보다 밝은 영상을 확보할 수 있도록 하는 영상 처리 장치 및 가로줄 노이즈 개선 방법을 제공하기 위한 것이다.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 영상 처리 장치에 있어서, 옵티컬 블랙 영역 내의 대상 픽셀 존재 영역에 존재하는 복수의 대상 픽셀의 평균 픽셀값인 평균 노이즈 값을 산출하는 노이즈 값 산출부; 및 유효 픽셀의 픽셀값에 상기 평균 노이즈 값을 차감한 순수 픽셀값을 출력하는 노이즈 제거부를 포함하는 영상 처리 장치가 제공된다.
상기 대상 픽셀은 불량 픽셀 추출을 위해 미리 지정된 최소 임계값 및 최대 임계값 조건을 만족하는 픽셀일 수 있다.
상기 노이즈 제거부는 하나의 프레임에 대한 유효 픽셀들의 순수 픽셀값 중 최소값이 미리 지정된 기준값 이하인 경우 상기 최소값이 상기 기준값을 가지도록 블랙 레벨 보상(Black Level Compensation) 처리를 수행할 수 있다.
상기 노이즈 값 산출부는 라인(line) 또는 프레임(frame) 단위로 상기 평균 노이즈값을 산출할 수 있다.
상기 노이즈 값 산출부는 상기 평균 노이즈 값을 산출하기 위해 8개 이상의 대상 픽셀을 이용할 수 있다.
본 발명의 다른 측면에 따르면, 영상 처리 장치에서 수행되는 가로줄 노이즈 개선 방법에 있어서, 이미지 센서로부터 각 픽셀에 대한 픽셀값을 입력받는 단계; 옵티컬 블랙 영역 내의 대상 픽셀 존재 영역에 존재하는 복수의 대상 픽셀의 평균 픽셀값인 평균 노이즈 값을 산출하는 단계; 및 유효 픽셀의 픽셀값에 상기 평균 노이즈 값을 차감한 순수 픽셀값을 출력하는 단계를 포함하는 가로줄 노이즈 개선 방법이 제공된다.
상기 대상 픽셀은 불량 픽셀 추출을 위해 미리 지정된 최소 임계값 및 최대 임계값 조건을 만족하는 픽셀일 수 있다.
상기 출력하는 단계는 하나의 프레임에 대한 유효 픽셀들의 순수 픽셀값 중 최소값이 미리 지정된 기준값 이하인 경우 상기 최소값이 상기 기준값을 가지도록 블랙 레벨 보상(Black Level Compensation) 처리를 선행할 수 있다.
상기 산출하는 단계는 라인(line) 또는 프레임(frame) 단위로 수행될 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예에 따르면, 전원 안정화를 위한 수동 소자(예를 들어, 저항, 커패시터 등)의 추가가 없으므로 보다 소형화된 카메라 모듈을 구현할 수 있고, 또한 보다 간이한 방법으로 가로줄 노이즈를 제거함으로써 화질 개선 및 인식률 향상을 도모할 수 있는 효과가 있다.
또한 가로줄 노이즈 제거와 동시에 블랙 레벨(black level) 보정이 이루어질 수 있어 보다 개선된 화질을 구현할 수 있는 효과도 있다.
또한 아날로그 전원과 디지털 전원을 통합할 수 있어 센서 전원의 수를 감소시킬 수 있는 효과도 있다. 일반적으로 아날로그로 동작하는 회로의 경우 전원 안정화(즉, 디지털 회로 동작에 의해 발생한 노이즈가 아날로그 회로에 영향을 주어 발생되는 가로줄 노이즈 발생 억제)를 위해 아날로그 전원과 디지털 전원을 분리하고 있으나, 본 실시예에 따르면 소프트웨어적으로 가로줄 노이즈의 제거가 가능하므로 디지털 회로에 의해 아날로그 회로가 간섭을 받는 상황이 문제되지 않는다.
또한 센서 게인(gain) 사용 범위를 확장할 수 있어 저조도에서 보다 밝은 영상을 확보할 수 있도록 하는 효과도 있다. 일반적으로, 야간의 경우 빛이 부족하여 영상이 어둡게 되므로 센서 게인을 올려 증폭하게 되는데 이 경우 정상적 신호뿐 아니라 노이즈(전원 노이즈 등)도 함께 증폭되어 가로줄 노이즈가 발생된다. 그러나, 본 실시예에 따르면 소프트웨어적으로 가로줄 노이즈의 제거가 가능하여 증폭의 한계를 높일 수 있고, 따라서 보다 밝은 영상을 얻을 수 있게 된다.
도 1은 일반적인 이미지 센서의 구조를 나타낸 도면.
도 2는 전원 노이즈에 의해 변동된 ADC 레퍼런스 전압을 나타낸 도면.
도 3은 가로줄 노이즈가 발생된 영상을 예시한 도면.
도 4는 본 발명의 일 실시예에 따른 영상 처리 장치의 구성을 개략적으로 나타낸 도면.
도 5는 일반적인 이미지 센서에서 옵티컬 블랙 픽셀(optical black pixel)의 존재 영역과 유효 픽셀(valid pixel)의 존재 영역을 나타낸 도면.
도 6a 및 도 6b는 본 발명의 일 실시예에 따른 노이즈 값 산출 개념을 설명하기 위한 도면.
도 7은 블랙 레벨 보정 전후의 영상 화질의 차이를 나타낸 도면.
도 8 및 도 9는 본 발명의 일 실시예에 따른 가로줄 노이즈 개선 방법을 나타낸 순서도.
도 10은 본 발명의 일 실시예에 따른 가로줄 노이즈 개선 전후의 영상 화질의 차이를 나타낸 도면.
도 2는 전원 노이즈에 의해 변동된 ADC 레퍼런스 전압을 나타낸 도면.
도 3은 가로줄 노이즈가 발생된 영상을 예시한 도면.
도 4는 본 발명의 일 실시예에 따른 영상 처리 장치의 구성을 개략적으로 나타낸 도면.
도 5는 일반적인 이미지 센서에서 옵티컬 블랙 픽셀(optical black pixel)의 존재 영역과 유효 픽셀(valid pixel)의 존재 영역을 나타낸 도면.
도 6a 및 도 6b는 본 발명의 일 실시예에 따른 노이즈 값 산출 개념을 설명하기 위한 도면.
도 7은 블랙 레벨 보정 전후의 영상 화질의 차이를 나타낸 도면.
도 8 및 도 9는 본 발명의 일 실시예에 따른 가로줄 노이즈 개선 방법을 나타낸 순서도.
도 10은 본 발명의 일 실시예에 따른 가로줄 노이즈 개선 전후의 영상 화질의 차이를 나타낸 도면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
또한, 명세서에 기재된 "…부", "…유닛", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 4는 본 발명의 일 실시예에 따른 영상 처리 장치의 구성을 개략적으로 나타낸 도면이고, 도 5는 일반적인 이미지 센서에서 옵티컬 블랙 픽셀(optical black pixel)의 존재 영역과 유효 픽셀(valid pixel)의 존재 영역을 나타낸 도면이다. 도 6a 및 도 6b는 본 발명의 일 실시예에 따른 노이즈 값 산출 개념을 설명하기 위한 도면이고, 도 7은 블랙 레벨 보정 전후의 영상 화질의 차이를 나타낸 도면이다.
도 4를 참조하면, 옵티컬 블랙 영역(optical black region)에 포함된 픽셀들을 이용하여 노이즈를 측정한 후, 유효 픽셀들(valid pixels)에서 측정된 노이즈를 차감하여 출력하는 본 실시예에 따른 영상 처리 장치는 입력부(410), 노이즈 값 산출 유닛(420), 노이즈 제거부(430) 및 출력부(440)을 포함할 수 있다.
입력부(410)는 포토다이오드에 전하를 충전하고 상응하는 디지털 신호를 출력하는 이미지 센서(도시되지 않음)로부터 각 픽셀에 상응하는 영상 신호를 입력받는다.
노이즈 값 산출 유닛(420)은 옵티컬 블랙 영역(optical black region)에 배치된 픽셀들 중 데드 픽셀(dead pixel)이나 화이트 픽셀(white pixel)이 아닌 옵티컬 블랙 픽셀들(즉, 대상 픽셀들)에 대한 픽셀값의 평균값을 산출하여 평균 노이즈 값을 산출한다.
옵티컬 블랙 영역은 도 5의 (a) 내지 (d)에 예시된 바와 같이, 이미지 센서의 픽셀 영역들 중 주변부 등에 형성되는 영역으로, 옵티컬 블랙 영역에 배치된 옵티컬 블랙 픽셀은 금속 등으로 덮여 있어 빛이 유입되지 않아 빛에 의한 영향을 받지 않는다. 물론 옵티컬 블랙 영역의 형성 위치가 주변부 등으로 제한되지 않음은 당연하다. 따라서, 옵티컬 블랙 픽셀들의 픽셀값은 노이즈 값으로 이해될 수 있으며, 해당 값을 유효 픽셀들(valid pixels)의 픽셀값으로부터 차감함으로써 노이즈가 제거된 순수 픽셀값이 연산될 수 있다.
도 4를 참조하면, 노이즈 값 산출 유닛(420)은 불량 픽셀 추출부(422) 및 노이즈 값 산출부(424)를 포함할 수 있다.
불량 픽셀 추출부(422)는 노이즈 값 산출부(424)에 의해 평균 노이즈 값이 연산될 옵티컬 블랙 픽셀이 미리 지정된 최소 임계값 이하이거나 최대 임계값 이상인 경우, 해당 옵티컬 블랙 픽셀이 노이즈 값 산출부(424)의 적용 대상 픽셀에서 제외하도록 처리한다.
본 실시예에서 고려되는 가로줄 노이즈의 원인은 전원에 의한 랜덤 노이즈이므로, 라인(line) 또는/및 프레임(frame) 마다 그 값이 달라질 수 있다. 따라서, 튜닝을 통해 노이즈가 가장 많이 제거되는 값을 찾을 필요가 있다.
노이즈 값 산출부(424)에 의해 평균 노이즈 값이 연산될 대상 옵티컬 블랙 픽셀을 결정하기 위해, 픽셀이 가질 수 있는 픽셀값이 0 내지 256 중 어느 하나라 가정할 때 불량 픽셀 추출부(422)는 예를 들어 최소 임계값을 30으로 지정하고, 최대 임계값을 100으로 지정할 수 있다.
여기서, 최소 임계값 이하의 픽셀값을 가지는 옵티컬 블랙 픽셀은 데드 픽셀로 간주될 수 있고, 최대 임계값 이상의 픽셀값을 가지는 옵티컬 블랙 픽셀은 화이트 픽셀로 간주할 수 있다.
이는, 최소 임계값이나 최대 임계값의 조건을 만족하지 않는 픽셀값을 가지는 옵티컬 블랙 픽셀은 고장났거나 빛에 의한 반응이 둔감한 것으로 판단할 수 있고, 이와 같은 불량 픽셀을 제외할 때 가로줄 노이즈 제거에 보다 효과적일 수 있기 때문이다.
다만, 노이즈 값 산출 유닛(420)이 불량 픽셀을 추출(제외)하고 대상 픽셀들만을 대상으로 평균 노이즈 값을 산출함에 있어, 옵티컬 블랙 영역의 전체 영역 중 일부 영역만을 그 대상으로 할 수도 있다.
즉, 옵티컬 블랙 영역은 도 6a에 도시된 바와 같이, 영역 a와 영역 b로 구분될 수 있고, 이는 도 6b에 도시된 바와 같이 영역 a의 경우 영역 b와 달리 가로줄 무늬와 상관없이 특정 패턴으로 노이즈가 발생되는 영역이기 때문이다. 본 명세서에서 영역 b는 대상 픽셀 존재 영역으로 칭하기로 한다.
다시 도 4를 참조하면, 노이즈 값 산출부(424)는 대상 픽셀 존재 영역에 존재하는 하나 이상의 대상 픽셀들(즉, 불량 픽셀 추출부(422)의 판단에 의해 불량 픽셀이 아닌 것으로 인정된 픽셀들)이 각각 가지는 픽셀값의 평균값(즉, 평균 노이즈 값)을 산출한다.
노이즈 값 산출부(424)에 의한 평균 노이즈 값 산출 방법은 하기 수학식 1과 같이 정리될 수 있다.
여기서, n은 평균 노이즈 값 산출을 위해 연산 대상이 된 대상 픽셀의 개수이고, xk는 각 대상 픽셀의 픽셀값이다.
노이즈 제거부(430)는 이미지 센서로부터 입력되는 유효 픽셀의 픽셀값으로부터 노이즈 값 산출부(424)에 의해 산출된 평균 노이즈 값을 차감하여 유효 픽셀의 순수 픽셀값을 산출한다.
노이즈 제거부(430)는 순수 픽셀값을 산출함에 있어 블랙 레벨 보상(BLC, Black Level Compensation) 처리를 더 수행할 수 있다.
블랙 레벨 보상은 해당 프레임에 대한 순수 픽셀값들 중 가장 낮은 값을 가지는 순수 픽셀값이 미리 설정된 기준값(예를 들어 0(zero) 또는 이보다 큰 임의의 자연수)이 되도록 보상해 줌으로써 이미지를 보다 선명하게 처리하는 영상 처리 기법이다.
도 7에는 블랙 레벨 보정 전후의 영상 화질의 차이가 도시되어 있다. 즉, 도 7을 참조할 때, 블랙 레벨이 보정되지 않은 영상 (a)보다 블랙 레벨이 보정된 영상 (b)가 더 선명함을 확인할 수 있다.
이와 같이, 본 실시예에 따른 노이즈 제거부(430)는 대상 픽셀들의 픽셀값을 이용하여 연산된 평균 노이즈 값을 반영하여 가로줄 노이즈를 제거할 뿐 아니라 블랙 레벨 보정을 더 수행함으로써 보다 선명한 영상을 제공할 수 있다.
출력부(440)는 노이즈 제거부(430)에 의해 가로줄 노이즈 제거 및 블랙 레벨 보정 처리된 유효 픽셀의 픽셀값을 출력한다.
도 8 및 도 9는 본 발명의 일 실시예에 따른 가로줄 노이즈 개선 방법을 나타낸 순서도이고, 도 10은 본 발명의 일 실시예에 따른 가로줄 노이즈 개선 전후의 영상 화질의 차이를 나타낸 도면이다.
도 8을 참조하면, 단계 810에서 영상 처리 장치는 가로줄 노이즈 개선 처리를 위한 설정을 수행한다. 단계 810에 의한 설정은 예를 들어, 이미지 크기 설정, 평균 노이즈 값 산출을 위한 대상 픽셀 존재 영역의 설정, 불량 픽셀 추출을 위한 최소 및 최대 임계값 설정, 블랙 레벨 보상을 위한 기준값 설정 등 중 하나 이상일 수 있다.
영상 처리 장치는 단계 820에서 이미지 센서로부터 영상 신호가 입력되면, 단계 830으로 진행하여 평균 노이즈 값을 산출한다.
단계 830이 구체화되어 도시된 도 9를 참조하면, 단계 910에서 영상 처리 장치는 단계 810에서 설정된 대상 픽셀 존재 영역에 존재하는 픽셀들을 대상으로 평균 노이즈 값 산출을 개시한다.
단계 920에서 영상 처리 장치는 대상 픽셀 존재 영역에 존재하는 모든 픽셀에 대한 불량 픽셀 여부의 확인 및 픽셀값 합산 등이 완료되었는지 여부를 판단한다.
만일 대상 픽셀 존재 영역에 아직 판단되지 않은 픽셀이 존재한다면, 단계 930에서 영상 처리 장치는 해당 픽셀의 픽셀값이 단계 810에서 지정된 불량 픽셀 추출을 위한 최소/최대 임계값을 만족하는지 여부를 판단한다.
만일 미리 지정된 최소/최대 임계값을 만족하지 않는 경우(즉, 불량 픽셀인 경우)에는 단계 920으로 다시 진행한다.
그러나 만일 미리 지정된 최소/최대 임계값을 만족하는 경우(즉, 대상 픽셀인 경우)에는 단계 940으로 진행하여, 평균 노이즈 값의 산출을 위해 대상 픽셀의 픽셀값을 합산 처리하고 합산 처리된 대상 픽셀의 개수를 산출한 후 다시 단계 920으로 진행한다.
단계 920의 판단에 의해, 만일 대상 픽셀 존재 영역에 존재하는 모든 픽셀에 대한 불량 픽셀 여부의 확인 및 픽셀값 합산 등이 완료되었다면 단계 950으로 진행하여 영상 처리 장치는 합산 처리된 픽셀값 및 대상 픽셀의 개수를 이용하여 평균 노이즈 값을 연산한다.
도 9에는 대상 픽셀 존재 영역에 포함된 모든 픽셀을 대상으로 하여 평균 노이즈 값을 산출하는 방법이 도시되었으나, 평균 노이즈 값을 산출하기 위해 반드시 대상 픽셀 존재 영역에 포함된 모든 픽셀을 대상으로 하도록 제한되지는 않는다.
다시 도 8을 참조하면, 단계 840에서 영상 처리 장치는 전술한 과정에 의해 산출된 평균 노이즈 값을 유효 픽셀의 픽셀값에서 차감하여 연산한 순수 픽셀값을 수신단으로 출력한다.
영상 처리 장치는 순수 픽셀값을 수신단으로 출력 처리하기 이전에 블랙 레벨 보상 처리를 수행할 수 있음은 앞서 설명한 바와 같다.
전술한 과정에 의해 가로줄 노이즈가 제거되고 블랙 레벨 보상 처리된 영상 화질의 차이가 도 10에 예시되어 있다.
참고로, 도 10의 (a)는 가로줄 노이즈가 제거되지 않고 블랙 레벨 보상이 처리되지 않은 영상을 예시하고 있으며, 이에 비해 (b)는 가로줄 노이즈가 제거되고 또한 블랙 레벨 보상이 처리된 영상을 예시하고 있다.
도 10의 (a)와 (b)를 비교하여 판단할 때, 영상 (b)에서 가로줄 무늬가 제거되고 블랙 레벨 보상 처리가 수행됨으로 인해 보다 선명한 화질의 획득이 가능함을 쉽게 확인할 수 있을 것이다.
상술한 가로줄 노이즈 개선 방법은 디지털 처리 장치에 내장되거나 설치된 프로그램 등에 의해 시계열적 순서에 따른 자동화된 절차로 수행될 수도 있음은 당연하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 디지털 처리 장치가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 디지털 처리 장치에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.
상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
410 : 입력부
420 : 노이즈 값 산출 유닛
422 : 불량 픽셀 추출부
424 : 노이즈 값 산출부
430 : 노이즈 제거부
440 : 출력부
420 : 노이즈 값 산출 유닛
422 : 불량 픽셀 추출부
424 : 노이즈 값 산출부
430 : 노이즈 제거부
440 : 출력부
Claims (10)
- 영상 처리 장치에 있어서,
옵티컬 블랙 영역 내에서 가로줄 무늬와 무관하게 소정의 패턴으로 노이즈가 발생되는 영역이 제외된 대상 픽셀 존재 영역에 존재하는 복수의 픽셀들 중 미리 지정된 최소 임계값 및 최대 임계값 조건을 만족하는 복수의 대상 픽셀의 평균 픽셀값인 평균 노이즈 값을 산출하는 노이즈 값 산출부; 및
전원에 의한 랜덤 노이즈인 가로줄 노이즈를 제거하기 위해, 유효 픽셀의 픽셀값에 상기 평균 노이즈 값을 차감한 순수 픽셀값을 출력하는 노이즈 제거부를 포함하되,
상기 노이즈 제거부는 하나의 프레임에 대한 유효 픽셀들의 순수 픽셀값 중 최소값이 미리 지정된 기준값 이하인 경우, 상기 최소값이 상기 기준값을 가지도록 블랙 레벨 보상(Black Level Compensation) 처리를 더 수행하는 것을 특징으로 하는 영상 처리 장치.
- 삭제
- 삭제
- 제1항에 있어서,
상기 노이즈 값 산출부는 라인(line) 또는 프레임(frame) 단위로 상기 평균 노이즈값을 산출하는 것을 특징으로 하는 영상 처리 장치.
- 제1항에 있어서,
상기 노이즈 값 산출부는 상기 평균 노이즈 값을 산출하기 위해 8개 이상의 대상 픽셀을 이용하는 것을 특징으로 하는 영상 처리 장치.
- 영상 처리 장치에서 수행되는 가로줄 노이즈 개선 방법에 있어서,
이미지 센서로부터 각 픽셀에 대한 픽셀값을 입력받는 단계;
옵티컬 블랙 영역 내에서 가로줄 무늬와 무관하게 소정의 패턴으로 노이즈가 발생되는 영역이 제외된 대상 픽셀 존재 영역에 존재하는 복수의 픽셀들 중 미리 지정된 최소 임계값 및 최대 임계값 조건을 만족하는 복수의 대상 픽셀의 평균 픽셀값인 평균 노이즈 값을 산출하는 단계; 및
하나의 프레임에 대한 유효 픽셀들의 순수 픽셀값 중 최소값이 미리 지정된 기준값 이하인 경우, 상기 최소값이 상기 기준값을 가지도록 블랙 레벨 보상(Black Level Compensation) 처리를 수행하고, 전원에 의한 랜덤 노이즈인 가로줄 노이즈를 제거하기 위해 유효 픽셀의 픽셀값에 상기 평균 노이즈 값을 차감한 순수 픽셀값을 출력하는 단계를 포함하는 가로줄 노이즈 개선 방법.
- 삭제
- 삭제
- 제6항에 있어서,
상기 산출하는 단계는 라인(line) 또는 프레임(frame) 단위로 수행되는 것을 특징으로 하는 가로줄 노이즈 개선 방법.
- 제6항 또는 제9항 중 어느 한 항에 기재된 가로줄 노이즈 개선 방법을 수행하기 위하여 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 기록된 기록매체.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120078073A KR101397182B1 (ko) | 2012-07-18 | 2012-07-18 | 영상 처리 장치 및 가로줄 노이즈 개선 방법 |
PCT/KR2013/006384 WO2014014265A1 (ko) | 2012-07-18 | 2013-07-17 | 영상 처리 장치 및 가로줄 노이즈 개선 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120078073A KR101397182B1 (ko) | 2012-07-18 | 2012-07-18 | 영상 처리 장치 및 가로줄 노이즈 개선 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140011603A KR20140011603A (ko) | 2014-01-29 |
KR101397182B1 true KR101397182B1 (ko) | 2014-05-20 |
Family
ID=49949035
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020120078073A KR101397182B1 (ko) | 2012-07-18 | 2012-07-18 | 영상 처리 장치 및 가로줄 노이즈 개선 방법 |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR101397182B1 (ko) |
WO (1) | WO2014014265A1 (ko) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105184753B (zh) * | 2015-09-23 | 2018-01-12 | 武汉大学 | 一维信号处理引导下的遥感影像条带噪声快速滤除方法 |
CN105761231B (zh) * | 2016-03-21 | 2018-08-31 | 昆明理工大学 | 一种用于去除高分辨率天文图像中条纹噪声的方法 |
CN105957033A (zh) * | 2016-04-26 | 2016-09-21 | 成都市晶林科技有限公司 | 基于图像分层的红外图像条纹滤波方法 |
CN112954136B (zh) * | 2021-01-29 | 2023-05-19 | 中国科学院长春光学精密机械与物理研究所 | 抑制航空斜视远距离成像遥感图像散粒噪声的方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001036819A (ja) * | 1999-07-15 | 2001-02-09 | Olympus Optical Co Ltd | 撮像装置 |
KR20060049875A (ko) * | 2004-07-07 | 2006-05-19 | 소니 가부시끼 가이샤 | 신호 처리 장치 및 신호 처리 방법 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004015712A (ja) * | 2002-06-11 | 2004-01-15 | Sony Corp | 固体撮像装置及びその固定パターン雑音除去方法 |
-
2012
- 2012-07-18 KR KR1020120078073A patent/KR101397182B1/ko active IP Right Grant
-
2013
- 2013-07-17 WO PCT/KR2013/006384 patent/WO2014014265A1/ko active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001036819A (ja) * | 1999-07-15 | 2001-02-09 | Olympus Optical Co Ltd | 撮像装置 |
KR20060049875A (ko) * | 2004-07-07 | 2006-05-19 | 소니 가부시끼 가이샤 | 신호 처리 장치 및 신호 처리 방법 |
Also Published As
Publication number | Publication date |
---|---|
WO2014014265A1 (ko) | 2014-01-23 |
KR20140011603A (ko) | 2014-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10321072B2 (en) | Image obtaining apparatus and method for obtaining an image based on pixel binning | |
US9888186B2 (en) | Image acquisition method and image acquisition apparatus | |
US20050140795A1 (en) | Solid-state image pickup apparatus and image pickup method | |
KR101397182B1 (ko) | 영상 처리 장치 및 가로줄 노이즈 개선 방법 | |
JP4875032B2 (ja) | 固体撮像装置 | |
JP2009520402A (ja) | 光学的黒画素と電圧固定画素とを用いて撮像装置の黒レベルを設定する方法および装置 | |
EP1475957B1 (en) | Method and apparatus for removing column fixed pattern noise in solid state image sensors | |
JPWO2007074518A1 (ja) | 固体撮像素子及び暗電流成分除去方法 | |
CN111259715A (zh) | 感测装置及闪烁杂讯减轻方法 | |
RU2014137122A (ru) | Устройство захвата изображений, система захвата изображений и способ управления для устройства захвата изображений | |
US11936988B2 (en) | Control device, control method and non-transitory computer readable storage medium | |
US9214012B2 (en) | Apparatus and method for image processing and storage medium | |
JP5914843B2 (ja) | 画像処理装置及び画像処理方法 | |
US7710473B2 (en) | Smear-corrective device | |
US9106853B2 (en) | Solid-state imaging device | |
US20200267298A1 (en) | Image capturing apparatus, method of controlling same, and storage medium | |
US10313617B2 (en) | Image capturing apparatus, control method for the same, and storage medium | |
US20180176495A1 (en) | Image Sensor and Sensing Method Thereof | |
JP2008131546A (ja) | 固定パターンノイズ除去装置 | |
US10791289B2 (en) | Image processing apparatus, image processing method, and non-transitory computer readable recording medium | |
JP6705054B2 (ja) | 撮像装置 | |
US8411985B2 (en) | Image processing device, image processing method and non-transitory computer readable medium recording image processing program | |
JP4322258B2 (ja) | ノイズ処理装置および撮像装置 | |
JP5632703B2 (ja) | 画像処理装置、制御方法、及びプログラム | |
KR20140028938A (ko) | 이미지 센서 및 노이즈 처리 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20180425 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20190425 Year of fee payment: 6 |