KR20190064419A - 카메라에 의해 얻어진 디지털 비디오에서 색 번짐의 효과를 검출 및 감소하기 위한 방법, 장치 및 시스템 - Google Patents

카메라에 의해 얻어진 디지털 비디오에서 색 번짐의 효과를 검출 및 감소하기 위한 방법, 장치 및 시스템 Download PDF

Info

Publication number
KR20190064419A
KR20190064419A KR1020180121101A KR20180121101A KR20190064419A KR 20190064419 A KR20190064419 A KR 20190064419A KR 1020180121101 A KR1020180121101 A KR 1020180121101A KR 20180121101 A KR20180121101 A KR 20180121101A KR 20190064419 A KR20190064419 A KR 20190064419A
Authority
KR
South Korea
Prior art keywords
digital image
image frame
camera
blue
color component
Prior art date
Application number
KR1020180121101A
Other languages
English (en)
Other versions
KR102054596B1 (ko
Inventor
히젬스트롬 요나스
Original Assignee
엑시스 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑시스 에이비 filed Critical 엑시스 에이비
Publication of KR20190064419A publication Critical patent/KR20190064419A/ko
Application granted granted Critical
Publication of KR102054596B1 publication Critical patent/KR102054596B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N5/238—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 조리개(212)를 포함하는 카메라(210)에 의해 얻어진 디지털 비디오에서 색 번짐의 효과를 검출 및 감소하기 위한 방법, 장치 및 시스템에 관한 것이다. 상기 방법은: 제1 조리개 개구 크기(104)를 포함하는 제1 카메라 설정을 사용하여 상기 카메라(210)에 의해 제1 디지털 이미지 프레임(110)를 얻는 단계(S102); 제2 조리개 개구 크기(106)를 포함하는 제2 카메라 설정을 사용하여 상기 카메라(210)에 의해 제2 디지털 이미지 프레임(120)을 얻는 단계(S104), 여기서 상기 제2 개구 크기(106)는 상기 제1 개구 크기(104)보다 작음; 이의 적어도 특정 색 성분에서 제1(110) 및 제2(120) 디지털 이미지 프레임을 비교하는 단계(S106); 상기 제1 디지털 이미지 프레임(110)과 상기 제2 디지털 이미지 프레임(120) 사이의 상기 특정 색 성분에서 불균일 강도비를 갖는 영역(130a, 130b)을 국부화하는 단계(S108); 및 후속하여 얻어진 디지털 이미지 프레임(140)을 위해 상기 국부화된 영역(130a, 130b)에서 상기 특정 색 성분을 감소시키는 단계(S110)를 포함한다.

Description

카메라에 의해 얻어진 디지털 비디오에서 색 번짐의 효과를 검출 및 감소하기 위한 방법, 장치 및 시스템{METHOD, APPARATUS AND SYSTEM FOR DETECTING AND REDUCING THE EFFECTS OF COLOR FRINGING IN DIGITAL VIDEO ACQUIRED BY A CAMERA}
본 발명은 카메라에 의해 획득된 디지털 비디오에서 색 번짐(color fringing)의 효과를 감지 및 감소시키는 방법에 관한 것이다. 또한, 본 발명은 카메라를 제어하고 카메라에 의해 획득된 디지털 비디오에서 색 번짐 효과를 감소시키는 장치 및 카메라에 의해 획득된 디지털 비디오에서 색 번짐의 효과를 감지 및 감소시키는 시스템에 관한 것이다.
렌즈가 장착된 카메라로 디지털 비디오를 획득할 때 렌즈 수차(lens aberration)에 의해 다양한 문제가 발생할 수 있습니다. 이러한 종류의 렌즈 수차는 색 수차(chromatic aberration)로, 이는 렌즈 물질에 대한 광의 굴절률이 이의 파장에 따라 변하고, 이는 일반적으로 카메라의 디지털 이미지 센서와 같은 이미지 캡쳐 표면에서 가색상(false color)을 초래한다는 사실에 기인한다. 렌즈 수차는 종종 색 번짐으로 것에 원인이 되는 주요 현상이다. 흔히, 색 번짐은 청색/보라색 파장 영역에서 가장 두드러진다. 따라서, 자주색 번짐이라는 용어가 자주 사용된다. 그러나 색 번짐은 임의의 색상에서 발생할 수 있다. 색 번짐은 획득한 디지털 이미지 프레임에서 물체 주위에 가색상의 경계로서 나타난다. 상기 경계는 종종 획득된 디지털 이미지 프레임의 가장자리 근처의 과다-노출 영역 주위에서 나타난다. 이 문제는 장면의 가시성(visibility)을 향상시키기 위해 디지털 이미지 처리를 수행할 때 과장될 수 있으므로 디지털 이미지 프레임의 후-처리가 필요한 많은 적용에서 상당한 문제가 될 수 있다.
색 번짐 문제 중 일부는 카메라의 이미징 광학에서의 종방향 색수차(longitudinal chromatic aberration)에 기인하며, 종방향 수차는 녹색 또는 적색광보다 더 많이 굴절되는 청색광의 결과이다. 따라서, 예를 들어 청색광은 이미지면 전에 초점을 맞출 수 있으며, 결과적으로 청색광은 이미지면에서 초점이 맞지 않게 된다. 일부 색 번짐은 또한 이미지면 내의 다른 공간 위치에 초점이 맞추어지는 비스듬하게 입사된 광에 기인한 횡방향 색수차로부터 기인할 수 있다. 따라서, 모든 색상은 동일한 평면에 초점을 맞출 것이지만, 초점은 입사광의 광축을 따라 배치되지 않는다.
형석(fluorite)과 같은 특수 물질로 만들어진 고품질 렌즈를 사용하는 것과 같은 색수차로 인한 색 번짐을 줄이는 방법이 있다. 그러나, 이러한 렌즈를 제조하기 위해서는 높은 비용이 요구되기 때문에, 많은 적용에서 가격이 너무 높을 수 있다. 색 번짐을 감소시키는 또 다른 방법은 디지털 이미지 프레임을 분석하고 후-처리하는 것이다. 후-처리를 이용하여 기존의 디지털 이미지 프레임에서 색 번짐을 최소화하는 몇가지 방법이 있다. 그러나, 이는 문제가 되는 디지털 이미지 프레임에서의 영역을 쉽게 알 수 없으므로 사소한 문제가 아니다. 하나의 접근법은 색 번짐이 발생할 수 있는 영역에서 색 번짐을 보정하는 것이다. 색 번짐이 발생하는 하나의 일반적인 예는 디지털 이미지 프레임의 주변에서 과다-노출 영역에 가깝다. 색 번짐이 자주색일 때, 접근법은 디지털 이미지 프레임의 과다-노출된 영역의 경계에서 자주색 번짐을 보정하는 것일 수 있다. 이러한 접근법은 경우에 따라 작동하지만, 접근법이 부적절한 작용으로 이어질 수 있는 경우도 있다. 그 이유는 과다-노출 영역과 근접한 모든 픽셀이 색 번짐을 겪고 있는 것은 아니기 때문이다. 이러한 상황의 일례는 푸른 하늘에 뭉개 구름이다. 뭉개 구름은 과-포화 영역으로 보일 수 있으며, 결과적으로 이미지 분석은 하늘과 구름 사이의 경계에서 파란 하늘을 색 번짐이 있는 영역으로 잘못 해석할 수 있다. 따라서 디지털 비디오에서 색 번짐 효과를 감지하고 감소시키는 개선된 방법이 당업계에 필요하다.
당업계에서 상기 기술된 결함 및 단점 중 하나 이상을 단독 또는 임의의 조합으로 완화, 경감 또는 제거하고, 적어도 상기 기술된 문제를 해결하는 것을 목적으로 한다.
제1 양태에 따르면, 아이리스(iris)를 포함하는 카메라에 의해 획득된 디지털 비디오에서 색 번짐의 효과를 감지하고 감소시키는 방법이 제공되며, 상기 디지털 비디오는 연속의 획득된 디지털 이미지 프레임을 포함하고, 상기 방법은:
카메라에 의해, 제1 아이리스 애퍼처(iris aperture) 크기를 포함하는 제1 카메라 설정을 사용하여 제1 디지털 이미지 프레임을 획득하는 단계;
카메라에 의해, 제2 아이리스 애퍼처 크기를 포함하는 제2 카메라 설정을 사용하여 제2 디지털 이미지 프레임을 획득하는 단계;
-여기서 상기 제2 애퍼처 크기는 상기 제1 애퍼처 크기보다 작음-;
상기 제1 디지털 이미지 프레임과 상기 제2 디지털 이미지 프레임을 상기 제1 디지털 이미지 프레임과 제2 디지털 이미지 프레임의 적어도 특정 색 성분(color component)과 비교하는 단계;
상기 제1 디지털 이미지 프레임과 상기 제2 디지털 이미지 프레임 사이의 특정 색 성분에서 비비례 강도비(disproportional intensity ratio)를 갖는 영역을 국부화시키는 단계; 및
후속으로 획득된 디지털 이미지 프레임에 대해 상기 국부화된 영역에서 상기 특정 색 성분을 감소시키는 단계를 포함한다.
"아이리스(iris)"라는 용어는 크기가 조절될 수 있는 애퍼처를 갖는 광학 장치로 해석되어야 한다. 아이리스는 조리개(iris diaphragm)라고도 한다.
디지털 이미지 프레임의 "색 성분(color component)"이라는 용어는 예를 들어 상기 디지털 이미지 프레임에 존재하는 보라색, 청색, 녹색 및 적색과 같은 특정 색과 관련된 이미지 정보의 일부로 해석된다. "색(color)"라는 용어는 광범위하게 해석되는 것이 강조된다. 따라서, 색이라는 용어는 전자기 스펙트럼에서 특정 파장 또는 파장의 특정 범위로 제한되지 않는다. 대신, 색이라는 용어는 색 공간 표현(color space representation)에서 영역을 커버하는 파장의 혼합일 수 있다. 색 성분은 디지털 이미지 프레임 내의 각각의 픽셀에 대해 정의될 수 있다. 색 성분은 RGB-코딩된 디지털 이미지 프레임의 색 채널의 디지털 데이터일 수 있다. 따라서 청색 성분은 청색 채널 내에 저장된 이미지 정보의 부분에 해당할 수 있다. 선택적으로 또는 부가적으로, 색 성분은 하나 이상의 채널로부터의 데이터를 포함할 수 있다. 예를 들어, 청색 성분은 상기 디지털 이미지 프레임의 RGB 색 공간 내의 특정한 청색 또는 적어도 청색을 띤 영역일 수 있다.
"노출(exposure)"이라는 용어는 셔터 속도(shutter speed), 렌즈 애퍼처 및 장면 밝기(luminance)에 의해 결정되는 바와 같이, 카메라의 다지털 이미지 센서에 도달하는 단위 면적당 광량, 즉 이미지면 조도와 노출 시간을 곱하여 정의된다. 그러나, 본 발명의 문맥에서, "노출"이라는 용어는 종종 ISO 번호를 사용하여 참조되는 디지털 사진에서 디지털 이미지 센서의 게인을 포함하도록 확장된다. 따라서, 노출은 아이리스 애퍼처 크기, 셔터 속도 및 ISO 번호를 조절함으로써 변경될 수 있다.
당업자라면 쉽게 실현할 수 있듯이, 제1 및 제2 디지털 이미지 프레임을 획득하는 시간에서의 순서는 중요하지 않다. 따라서, 제1 디지털 이미지 프레임 또는 제2 디지털 이미지 프레임 중 어느 것이 먼저 획득될 수 있다. 후속하여 획득된 디지털 이미지 프레임은 제1 및 제2 디지털 이미지 쌍을 비교하는 것으로부터 유도된 정보를 사용하여 선택적으로 후-처리될 것이다.
상기 방법은 이미지 분석에 전적으로 의존하지 않고 디지털 이미지 프레임의 어느 영역에서 색 번짐이 발생하는지를 결정할 수 있으므로 유리할 수 있다. 상이한 아이리스 애퍼처 크기를 포함하는 상이한 카메라 설정을 사용하여 획득된 두개의 디지털 이미지 프레임을 비교함으로써, 두개의 이미지에 존재하는 색 번짐의 정도가 다를 것으로 예상될 것이다. 이는 아이리스를 닫음으로써 색 번짐 현상의 적어도 일부에 원인이 있는 종방향 색수차가 감소될 수 있다는 점에서 기원한다. 아이리스 애퍼처 크기만이 조절되고 카메라 설정의 나머지 파라미터가 일정하게 유지되는 경우, 아이리스를 닫으면 디지털 이미지 센서로 들어오는 빛이 감소되어 디지털 이미지 프레임이 어두워진다. 따라서, 청색 하늘과 구름의 예로 돌아가면, 디지털 이미지 프레임에서의 "실제" 청색 영역(예를 들어, 청색 하늘)은 더 어두워진다. 그러나, 종방향 색수차에 기인하는 청색 영역이 존재한다면, 이들 청색 영역은 "실제" 청색 영역보다 더 어두워질 것이다. 이는 디지털 이미지 센서의 전반 조명(general illumination)뿐만 아니라 종방향 색수차의 감소에도 영향을 미치는 닫힌 아이리스의 결과이다. 두개의 디지털 이미지 프레임을 비교함으로써 따라서 "실제" 청색 영역을 색 번짐을 겪는 영역으로부터 분리할 수 있고, 이에 따라 국부화된 영역에서 디지털 이미지 프레임을 선택적으로 후-처리하여 디지털 이미지 프레임의 색 번짐을 감소시킬 수 있다. 특히, 본 발명의 개념은 국부화된 영역에서 일련의 후속적으로 획득된 디지털 이미지 프레임을 후-처리할 수 있게 한다. 이는 감시 카메라의 디지털 비디오 스트림과 같이 디지털 비디오에 특히 중요할 수 있다. 카메라가 한쌍의 각각의 디지털 이미지 프레임에 대해 상이한 아이리스 애퍼처 크기를 사용하여 한쌍의 디지털 이미지 프레임을 획득하게 함으로써, 한쌍의 디지털 이미지 프레임은 분석되어 색 번짐의 영역을 국부화할 수 있다. 후속적으로 획득된 디지털 이미지 프레임은 국부화된 영역들을 입력(input)으로서 정의하는 좌표를 사용하여 이미지 후 처리 알고리즘들로 후-처리될 수 있다. 후-처리는 국부화 단계가 필요하지 않음에 따라 단순해질 것이며, 이에 의해 후-처리 단계의 속도는 빨라질 수 있다. 또한, 본 발명의 개념을 사용하여 획득된 국부화 단계는 단일 디지털 이미지 프레임의 이미지 분석에 순전히 기초한 국부화 단계와 비교하여 디지털 이미지 프레임에서의 아티팩트(artifact)로 인한 어려움이 적다. 상기 방법은 실질적으로 정지 장면을 묘사하는 디지털 비디오에서 색 번짐을 감소시키는데 특히 유용할 수 있다. 그러나, 상기 방법은 움직이는 물체를 갖는 장면에도 적용될 수 있다.
아이리스 애퍼처 크기가 변하면, 이미지 노출도 함께 변한다. 따라서, 제1 이미지와 제2 이미지 사이에서 이미지 강도의 변화가 있을 것이다. 종방향 색수차를 겪는 디지털 이미지 프레임의 영역은 아이리스 애퍼처가 감소하기 때문에, 제1 및 제2 디지털 이미지 프레임을 비교할 때, 종방향 색수차를 겪지 않는 디지털 이미지의 다른 영역들에서 발견되는 강도의 변화보다 더 현저한 강도 변화를 초래할 것이다. 이는 비비례 강도비가 항상 기준 강도비보다 큰 것을 의미한다. 기준 강도비가 아이리스 애퍼처 크기가 감소함에 따라 강도에서의 예상되는 비로 간주될 수 있다. 실제 상황에서, 기준 강도비는 추정되어야 한다. 기준 강도비를 추정하는 한가지 방법은 제1 및 제2 이미지 사이의 평균 강도에서의 비를 계산하는 것이다. 즉, 국부화된 영역의 청색 성분에서의 비비례 강도비는 제1 디지털 이미지 프레임과 제2 디지털 이미지 프레임 사이의 평균 강도비보다 클 수 있다. 기준 강도비를 추정하는 또 다른 방법은 제1 및 제2 이미지 사이의 녹색 채널에서의 강도비를 계산하는 것이다. 기준 강도비는 제1 및 제2 디지털 이미지 프레임으로부터 계산되어서는 안된다. 대신, 기준 강도비는 광학 지식 및 제1 애퍼처 크기와 제2 애퍼처 크기로부터 결정된 미리 결정된 값일 수 있다.
일부 실시 형태에 따르면, 국부화된 영역의 특정 색 성분에서의 비비례 강도비는 제1 디지털 이미지 프레임과 제2 디지털 이미지 프레임 사이의 평균 강도에서의 비보다 크다. 노이즈를 줄이기 위해, 임계값이 사용될 수 있다. 따라서, 일부 실시 형태에 따르면, 국부화된 영역의 특정 색 성분에서의 비비례 강도비는 제1 디지털 이미지 프레임과 제2 디지털 이미지 프레임 사이의 평균 강도에서의 비 및 임계값의 합보다 크다.
일부 실시 형태에 따르면, 연속 획득된 디지털 이미지 프레임의 획득된 디지털 이미지 프레임은 적색, 녹색 및 청색 채널을 포함하는 RGB 디지털 이미지 프레임이다.
일부 실시 형태에 따르면, 특정 색 성분은 국부화된 영역 내에 존재하는 픽셀에 대해, 후속으로 획득된 디지털 이미지 프레임 각각의 적색, 녹색 및 청색 채널의 기존의 강도 레벨을 각각에 동일한 새로운 강도 레벨로 대체함으로써 감소시킨다. 이러한 접근법은 보다 적은 컴퓨팅 능력을 갖는 시스템에도 적용될 수 있는 색 번짐의 간단하고 신속한 감소를 제공할 수 있다. 새로운 강도 레벨은 개별적으로 적색, 녹색 및 청색 채널에 대한 강도 레벨을 산술 평균함으로써 얻어질 수 있다.
일부 실시 형태에 따르면, 특정 색 성분은 국부화된 영역 내에 존재하는 픽셀에 대해, 후속으로 획득된 디지털 이미지 프레임 각각의 기존의 강도 레벨을 이웃하는 픽셀의 강도 레벨에 기초한 새로운 강도 레벨로 대체함으로써 감소된다. 이러한 접근법은 일부 적용에서 향상된 디지털 비디오를 제공할 수 있다.
일부 실시 형태에 따르면, 제2 카메라 설정은 제2 디지털 이미지 프레임이 제1 디지털 이미지 프레임과 동일한 노광을 얻도록 제1 카메라 설정과 관련된다. 이는 상기 카메라 설정이 아이리스 애퍼처 크기보다 많은 파라미터를 포함할 수 있음을 의미한다. 구체적으로, 카메라 설정은 노출 시간(예를 들어, 셔터 속도와 같음) 및 디지털 이미지 센서의 게인과 관련된 ISO 번호를 더 포함한다. 따라서, 다른 카메라 설정을 이용하여 동일한 노출을 얻을 수 있다. 예를 들어, 보다 큰 애퍼처 크기를 갖는 제1 카메라 설정은 보다 작은 아이리스 애퍼처 크기를 갖는 제2 카메라 설정보다 더 짧은 노출 시간을 가질 수 있다.
일부 실시 형태에 따르면, 후속으로 획득된 디지털 이미지 프레임은 제1 카메라 설정을 이용하여 획득된다. 대안으로, 후속으로 획득된 디지털 이미지 프레임은 제1 아이리스 애퍼처 크기를 포함하는 추가 카메라 설정을 이용하여 획득된다.
일부 실시 형태에 따르면, 특정 색 성분은 국부화된 영역 내에 존재하는 픽셀에 대해, 후속으로 획득된 디지털 이미지 프레임 각각의 기존 강도 레벨을 제2 디지털 이미지 프레임의 강도 레벨로 대체함으로써 감소된다. 이러한 접근법은 많은 상황에서 유효할 수 있고, 이는 많은 실제 상황에서 아이리스 애퍼처 크기의 감소가 색 번짐의 레벨을 크게 감소시키는 것으로 밝혀졌기 때문이다. 상기 접근법은 동일 노출을 얻기 위해 획득된 제1 및 제2 디지털 이미지 프레임에 기초한다. 그러나, 제2 디지털 이미지 프레임으로부터의 이미지 데이터를 후속으로 획득된 디지털 이미지 프레임으로 대체하는 것은 또한 제1 및 제2 디지털 이미지가 상이한 노출을 얻은 상황에서 실현될 수 있다. 이러한 경우, 제2 디지털 이미지 프레임의 국부화된 영역들로부터 수집된 이미지 데이터는 후속으로 획득된 디지털 이미지 프레임의 기존 강도 레벨을 대체하기 위해 입력되기 전에 노출에서의 차이에 대해 조절되어야 한다.
일부 실시 형태에 따르면, 특정 색 성분은 청색 성분이다. 이는 색 성분이 예를 들어 RGB-코딩된 디지털 이미지의 청색 채널 내에 저장된 이미지 정보의 부분과 같은 청색 또는 "청색을 띤(bluish)" 색과 관련된 일부 이미지 정보와 관련되는 것을 의미한다.
일부 실시 형태에 따르면, 청색 성분은 국부화된 영역 내에 존재하는 픽셀에 대해, 후속으로 획득된 디지털 이미지 프레임 각각의 청색 채널의 기존 강도 레벨을 기존 강도 레벨의 미리 결정된 비율인 새로운 강도 레벨로 대체함으로써 감소된다. 이러한 접근법은 보다 적은 컴퓨팅 능력을 갖는 시스템들에도 적용될 수 있는 청색 번짐의 간단하고 빠른 감소를 제공할 수 있다. 제안된 방법은 대안적으로 녹색 성분에 적용될 수 있으며, 따라서 적색 채널의 기존 강도 레벨의 교체를 포함하는, 녹색 채널의 기존 강도 레벨 또는 적색 성분을 교체하는 것을 포함한다.
일부 실시 형태에 따르면, 국부화된 영역에서 특정 색 성분을 감소시키는 단계는 미리 결정된 시간 주기 동안 수행된다. 대안으로, 국부화된 영역에서 특정 색 성분을 감소시키는 단계는 미리 결정된 수의 후속으로 획득된 디지털 이미지 프레임에 대해 수행된다. 접근법 중 어느 것이 사용되는지에 관계없이, 이는 방법이 연속적으로 개시될 수 있음을 의미한다. 예를 들어, 상기 방법은 미리 결정된 시간 기간의 끝에서 개시될 수 있다. 따라서, 새로운 쌍의 제1 및 제2 디지털 이미지 프레임이 매 5분마다 획득될 수 있다. 시간 기간은 동적 장면이 실질적으로 정적 장면보다 짧은 시간 간격으로 방법을 적용할 필요성을 증가시킬 것이기 때문에 카메라에 의해 이미지화된 장면에 의존할 수 있다.
일부 실시 형태에 따르면, 연소의 획득된 디지털 이미지 프레임은 제1 디지털 이미지 프레임, 제2 디지털 이미지 프레임 및 후속으로 획득된 디지털 이미지 프레임을 포함한다. 이는 획득된 이미지가 비디오에서 생략되지 않음을 의미한다. 이는 프레임 속도를 일정하게 유지하여 디지털 비디오를 부드럽게 하는 것을 보장할 수 있다. 디지털 비디오의 연속 디지털 이미지 프레임은 제1 디지털 이미지 프레임, 제2 디지털 이미지 프레임, 및 시간 순서대로 후속으로 획득된 디지털 이미지 프레임을 포함할 수 있다. 또한, 프로세스가 반복될 수 있기 때문에, 새로운 한쌍의 제1 및 제2 디지털 이미지 프레임에 뒤이어 새로운 세트의 후속으로 획득된 디지털 이미지 프레임이 이후에 추가될 수 있다.
제2 양태에 따르면 처리 능력을 갖는 장치에 의해 실행될 때 제1 양태에 따른 방법을 수행하도록 적용되는 컴퓨터 코드 명령어를 포함하는 컴퓨터 판독 가능 매체가 제공된다.
제3 양태에 따르면 카메라를 제어하고 상기 카메라에 의해 획득된 디지털 비디오에서 색 번짐의 영향을 감소시키는 장치가 제공되며, 상기 디지털 비디오는 연속 획득된 디지털 이미지 프레임을 포함하고, 상기 장치는:
제1 아이리스 애퍼처 크기를 포함하는 제1 카메라 설정을 이용하여 제1 디지털 이미지 프레임을 획득하는 카메라와 관련된 명령어를 상기 카메라에 전달하고;
제2 아이리스 애퍼처 크기를 포함하는 제2 카메라 설정을 이용하여 제2 디지털 이미지 프레임을 획득하는 카메라와 관련된 명령어를 상기 카메라에 전달하며;
-여기서 상기 제2 애퍼처 크기는 상기 제1 애퍼처 크기보다 작음-;
상기 제1 및 제2 디지털 이미지 프레임을 이의 적어도 특정 색 성분과 비교하며;
상기 제1 디지털 이미지 프레임과 상기 제2 디지털 이미지 프레임 사이의 상기 특정 색 성분에서 비비례 비를 갖는 영역을 국부화하고;
후속으로 획득된 디지털 이미지 프레임에 대한 상기 국부화된 영역에서 상기 특정 색 성분을 감소시키도록 구성된다.
제4 양태에 따르면, 카메라에 의해 획득된 디지털 비디오에서 색 번짐 효과를 감지하고 감소시키기 위한 시스템이 제공되며, 상기 시스템은:
연속의 획득된 디지털 이미지 프레임을 포함하는 디지털 비디오를 획득하도록 구성된 카메라- 상기 카메라는 아이리스를 포함함 -;
제3 양태에 따른 장치를 포함한다.
상기 카메라는 벽 또는 천장과 같은 지지 구조에 장착하기에 적합한 감시 카메라일 수 있다. 상기 시스템은 적어도 부분적으로 상기 시스템에 의해 수행되는 방법 단계의 적어도 일부가 상기 감시 카메라 내에서 수행되도록 카메라 하우징에 포함될 수 있다.
제2, 제3 및 제4 양태들의 효과들 및 특징들은 제1 양태와 관련하여 전술된 것들과 대체로 유사하다. 제1 양태와 관련하여 언급된 실시 형태는 제2, 제3 및 제4 양태와 크게 양립할 수 있다. 또한 본 발명의 개념은 달리 명시적으로 언급되지 않는 한 특징의 모든 가능한 조합에 관한 것이다.
본 발명의 또 다른 적용 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나, 본 발명의 바람직한 실시 형태를 나타내는 상세한 설명 및 특정 예는 본 발명의 범위 내에서 다양한 변경 및 수정이 상세한 설명으로부터 당업자에게 자명하게 될 것이므로 단지 예시로서 주어진 것임을 이해해야 한다.
따라서, 본 발명은 기술된 장치의 특정 구성 요소 부분들 또는 이러한 장치와 방법이 변경될 수 있는 것으로 기술된 방법들의 단계들로 제한되지 않는다는 것을 이해해야 한다. 본 발명에서 사용된 용어는 특정 실시 형태만을 설명하기 위한 것이며, 제한하려는 것은 아니다. 명세서 및 첨부된 청구항에서 사용된 바와 같이, "하나", "하나의", "그" 및 "상기"라는 문구는 문맥에서 명확하게 지시하지 않는 한 하나 이상의 요소가 있는 것을 의미한다. 따라서, 예를 들어 "유닛" 또는 "상기 유닛"에 대한 언급은 복수의 장치 등을 포함할 수 있다. 또한, "구성하는", "포함하는" 및 "함유하는" 등의 단어는 다른 요소 또는 단계를 제외하지 않는다.
본 발명은 현재 본 발명의 바람직한 실시 형태를 도시하는 첨부 도면을 참조하여 보다 상세히 설명될 것이다.
도 1은 본 발명의 실시 형태에 따른 시스템의 개략도를 나타낸다.
도 2는 본 발명의 실시 형태에 따른 방법의 순서도를 나타낸다.
도 3은 본 발명의 실시 형태에 따른 제1 및 제2 디지털 이미지 프레임의 3개의 컬러 채널 각각의 개략도를 도시한다. 도 3은 또한 제1 및 제2 디지털 이미지 프레임으로부터 추출 가능한 국부화된 영역을 나타낸다.
도 4a는 도 3의 제1 디지털 이미지 프레임의 청색 채널을 나타내며, 색 번짐의 국부화된 영역을 갖는 디지털 이미지 프레임의 일부를 강조한다.
도 4b는 제1 및 제2 디지털 이미지 프레임의 청색 채널로부터 얻어진 강도 프로파일을 각각 나타낸다. 강도 프로파일은 도 4a에 정의된 바와 같이 라인(L)을 따라 얻어진다.
도 4c는 도 4b의 두개의 강도 프로파일 사이의 비를 나타낸다.
도 4d는 제1 및 제2 디지털 이미지 프레임의 녹색 채널로부터 얻어진 강도 프로파일을 각각 나타낸다. 강도 프로파일은 도 4a에 정의된 바와 같이 라인(L)을 따라 얻어진다.
도 4e 는도 4d의 두개의 강도 프로파일 사이의 비를 나타낸다.
도 5는 본 발명의 실시 형태에 따른 연속의 디지털 이미지 프레임을 포함하는 디지털 비디오의 개략도를 나타낸다.
이하, 본 발명의 현재 바람직한 실시 형태를 나타내는 첨부된 도면을 참조하여 본 발명을 상세히 설명한다. 그러나, 본 발명은 많은 상이한 형태로 구현될 수 있으며, 본 발명에서 설명된 실시 형태에 한정되는 것으로 해석되어서는 안되며; 오히려, 이들 실시 형태는 철저하고 완전하게 제공되며, 본 발명의 범위를 당업자에게 완전히 전달한다.
첫째, 본 발명의 기초 원리에 대한 간단한 설명이 제공될 것이다. 본 발명의 발명 개념은 캡쳐된 디지털 이미지 프레임에서의 색 번짐의 심각성이 카메라에서의 아이리스의 애퍼처 크기에 의존한다는 사실을 이용하는 것에 기초한다. 아이리스 애퍼처 크기가 크면 더 많은 빛이 카메라에 들어올 수 있지만, 동시에 높은 정도의 렌즈 수차를 허용한다. 렌즈 수차에서의 애퍼처 크기의 영향은 입사광이 광축을 따라 다른 위치에 집중되는 종방향 색수차에 대해 가장 두드러진다. 렌즈 애퍼처를 줄이면, 렌즈의 주변부에서 이동한 광선이 렌즈 중심부에서 이동한 광선보다 더 많이 차단된다. 렌즈 중심으로부터의 반경 방향 거리에 따른 종방향 색 수차 크기의 심각성이 커짐에 따라 전체 효과는 애퍼처를 줄이면 축방향 색수차를 감소시키고, 따라서 캡쳐된 디지털 비디오에서 색 번짐 효과 또한 감소시킨다는 것이다. 종방향 색수차에 대해 가장 현저하지만, 애퍼처를 감소시키는 것은 색 번짐과 관련된 다른 형태의 이미지 아티팩트를 완화시키는 것으로 밝혀졌다.
카메라의 애퍼처가 줄어들면, 카메라의 디지털 이미지 센서에 닿는 총 빛의 양이 줄어든다. 일반적으로, 이는 이미지 품질이 저하될 수 있는 위험이 있으므로 바람직하지 않다. 이를 보상하기 위해, 이미지 노출 시간 및/또는 디지털 이미지 센서의 게인이 증가될 수 있다. 그러나, 모든 상황에서 이러한 방법이 권장되지는 않는다. 예를 들어, 노출 시간이 길어지면 움직이는 물체의 정확한 캡쳐를 위협하는 감소된 시간 해상도(time resolution)를 야기한다. 디지털 이미지 센서의 게인을 증가시키면 캡쳐된 이미지에서의 노이즈가 증가되고, 이는 일반적으로 이미지 품질을 저하시키고 이미지 아티팩트가 발생할 위험이 있다.
본 발명은 특정한 순간에만 감소된 애퍼처 크기를 이용함으로써 이를 해결한다. 작은 애퍼처 크기를 사용하여 획득된 디지털 이미지 프레임과 순간 직후 또는 직전에 큰 애퍼처 크기로 획득된 디지털 이미지 프레임 사이의 비를 분석함으로써, 색 번짐이 현저한 것으로 보이는 영역을 감지할 수 있다. 이러한 정보를 사용하여, 후속으로 획득된 이미지 프레임은 색 번짐을 위해 보정될 수 있다. 상기 방법은 정지된 디지털 이미지 프레임에 묘사된 물체에 의존하거나 또는 적어도 종종 이러한 물체에 의존할 수 있다는 것을 인지한다. 따라서, 기술의 적용 가능성은 상이한 적용에 따라 다를 수 있다.
도 1은 카메라(210)에 의해 획득된 디지털 비디오에서의 색 번짐 효과를 감지하고 감소시키기 위한 시스템(200)의 개략도를 나타낸다.
시스템(200)은 연속 획득된 디지털 이미지 프레임(150)을 포함하는 디지털 비디오를 획득하도록 구성된 카메라(210)를 포함한다. 디지털 비디오는 도 5에 개략적으로 도시된다. 카메라(210)는 카메라(210)에 입사하는 광을 수집하기 위한 수집 광학기(collection optics, 216)를 포함하는 광학 시스템(213)을 포함한다. 일반적으로, 수집 광학기(216)는 렌즈 시스템에서 일련의 렌즈를 포함한다. 광학 시스템(213)은 상이한 아이리스 애퍼처 크기를 허용하도록 제어될 수 있는 아이리스(212)를 더 포함한다. 아이리스(212)는 종종 분리 가능한 카메라 렌즈의 경우와 같이 수집 광학기(216)의 필수 부분일 수 있다. 카메라(210)는 카메라(210)의 연결 광학기(connection optics)를 통해 입사하는 광을 캡쳐하도록 구성된 디지털 이미지 센서(214)를 더 포함한다.
시스템(200)은 카메라(210)를 제어하고 카메라(210)에 의해 획득된 디지털 비디오에서 색 번짐의 효과를 감소시키는 장치(220)를 더 포함한다. 구체적으로, 장치(220)는 본 발명에서 개시된 실시 형태에 따른 카메라(210)에 의해 획득된 디지털 비디오에서 색 번짐 효과를 감지하고 감소시키기 위한 방법을 수행하도록 구성된다.
장치(220)는 카메라(210)와 통신하도록 구성된 통신 인터페이스(communication interface, 222)를 포함한다. 장치(220)는 하나 이상의 디지털 이미지 프레임을 획득하는 카메라(210)에 관한 명령어를 카메라(210)에 통신하도록 구성된다. 이는 단일 디지털 이미지 프레임, 즉 사진, 또는 연속 디지털 이미지 프레임(150), 즉 디지털 비디오를 캡쳐하는 단계를 포함할 수 있다. 장치(220)는 또한 아이리스 애퍼처 크기에 대한 정보를 포함하는 카메라 설정을 카메라(210)에 통신하도록 구성된다. 장치(220)는 또한 카메라(210)로부터 획득된 디지털 이미지 프레임을 수신하고 이들을 후 처리하도록 구성된다.
장치(220)가 이제 더 상세히 설명될 것이다. 장치(220)는 카메라(210)를 제어하기 위한 제어 유닛(226)을 포함한다. 특히, 제어 유닛(226)은 통신 인터페이스(222)를 통해 카메라로 하여금 하나 이상의 디지털 이미지 프레임의 획득을 시작하고, 디지털 이미지 프레임의 획득을 중지하며, 노출 등에 대한 설정을 조절하도록 구성된다. 이들 설정은 아이리스 애퍼처 크기, 노출 시간 및 디지털 이미지 센서(214)의 게인(ISO 번호)에 관한 정보를 포함하는 카메라 설정을 이용하여 카메라(210)로 전달된다.
장치(220)는 카메라(210)로부터 수신된 디지털 이미지 프레임과 같은 디지털 데이터를 처리하기 위한 처리 유닛(processing unit, 224)을 더 포함한다. 특히, 처리 유닛(224)은 디지털 이미지 프레임을 서로 비교 및 분석하고, 비교 및 분석 결과에 기초하여 후속으로 획득된 디지털 이미지 프레임(140)을 후 처리한다.
장치(220)는 카메라(210)에 포함될 수 있거나, 카메라(220)에 작동 가능하게 연결된 별도의 부분으로서 제공될 수 있다. 대안으로, 장치(220)의 제1 부분은 카메라(210)에 위치될 수 있고, 장치의 제2 부분(220)은 카메라(210)의 외부에 위치될 수 있어, 이하에 개시된 방법 단계 중 일부가 카메라(210)에서 수행되고 일부는 카메라(210)의 외부에서 수행된다. 일례로서, 제어 유닛(226)은 카메라(210)에 포함될 수 있는 반면, 처리 유닛(224)은 컴퓨터에서 구현되거나 카메라(210)에 작동 가능하게 연결된 추가 장치와 같이 카메라(210)의 외부에 위치될 수 있다.
이제 도 2 내지 도 4를 참조하여 시스템(200)의 작동이 설명될 것이다. 특히, 카메라(210)에 의해 획득된 디지털 비디오에서의 색 번짐 효과를 감지하고 감소시키는 방법이 설명될 것이다. 상기 방법은 본 발명에 개시된 시스템(200)에 의해 수행되지만, 대체 시스템이 첨부된 청구항에 의해 정의된 바와 같은 방법을 수행하도록 구성될 수 있음이 이해된다.
도 2는 카메라(210)에 의해 획득된 디지털 비디오에서 색 번짐 효과를 감지하고 감소시키기 위한 방법의 순서도를 나타낸다. 디지털 비디오는 연속 획득된 디지털 이미지 프레임(150)을 포함하고, 예를 들어 AVI, MPEG 등과 같은 임의의 포맷(format)일 수 있다. 전술한 바와 같이, 카메라(210)는 상이한 아이리스 애퍼처 크기로 조절될 수 있는 아이리스(212)를 포함한다.
상기 방법은 카메라(210)에 의해, 제1 아이리스 애퍼처 크기(104)를 포함하는 제1 카메라 설정을 이용하여 제1 디지털 이미지 프레임(110)을 획득하는 단계(S102)를 포함한다. 상기 방법은 카메라(210)에 의해, 제2 아이리스 애퍼처 크기(106)를 포함하는 제2 카메라 설정을 이용하여 제2 디지털 이미지 프레임(120)을 획득하는 단계(S104)를 추가로 포함한다. 제2 애퍼처 크기(106)는 제1 애퍼처 크기(104)보다 작다. 따라서, 제1 디지털 이미지 프레임(110) 및 제2 디지털 이미지 프레임(120)을 위해 사용된 카메라 설정은 적어도 아이리스 애퍼처 크기의 관점에서 상이할 것이다. 다른 설정도 다를 수 있다. 예를 들어, 디지털 이미지 센서(214)의 노출 시간 및/또는 게인이 제1 디지털 이미지 프레임(110) 및 제2 디지털 이미지 프레임(120)을 유사한 노출 레벨을 갖도록 조절될 수 있다. 제1 디지털 이미지 프레임(110)과 제2 디지털 이미지 프레임(120)을 획득하는 단계는 디지털 이미지 프레임을 획득하는 것과 관련된 명령어를 카메라(210)에 전달하도록 구성된 장치(220)의 제어 유닛(226)에 의해 개시된다. 제어 유닛(226)은 또한 카메라(210)가 특정 아이리스 애퍼처 크기를 포함하는 정확한 노출로 이미지를 획득할 수 있도록 카메라 설정을 카메라(210)에 전달하도록 구성된다. 제1 디지털 이미지 프레임(110) 및 제2 디지털 이미지 프레임(120)은 이제 통신 인터페이스(222)를 통해 장치(220)로 전송될 수 있다.
상기 방법은 제1 디지털 이미지 프레임(110)과 제2 디지털 이미지 프레임(120)을 이의 적어도 특정 색 성분과 비교하는 단계(S106)를 더 포함한다. 이러한 단계는 처리 유닛(226)에서 수행된다. 특정 색 성분은 상이한 방식으로 정의될 수 있다. 일반적으로, 연속의 획득된 디지털 이미지 프레임(150)의 획득된 디지털 이미지 프레임들은 적색, 녹색 및 청색 채널을 포함하는 RGB 디지털 이미지 프레임이다. 이러한 상황은 제1 디지털 이미지 프레임(110) 및 제2 디지털 이미지 프레임(120)의 적색, 녹색 및 청색 채널을 각각 나타내는 도 3에 도시된다. 도 3에 도시된 바와 같이, 이러한 예에서 주로 청색 채널 내에서 색 번짐이 발생한다. 따라서, 예를 들어 색 번짐은 청색 번짐 또는 대안으로 보라색 번짐으로 지칭될 수 있다. 구체적으로, 심한 색 번짐은 특히 원형 물체의 경계에서 제1 디지털 이미지 프레임(110)의 청색 채널(110B)에서 나타낼 수 있다. 도 3에 개략적으로 도시된 바와 같이, 제2 디지털 이미지 프레임(120)의 청색 채널(120B)에서의 색 번짐이 감소된다(도 3에서, 명료함을 증가시키기 위해 색 번짐이 완전히 제거되었음). 도 3의 예에서, 특정 색 성분은 청색 채널 내에 저장된 디지털 데이터이다. 그러나, 특정 색 성분은 대안적으로 또는 부가적으로 적색 채널 또는 심지어 녹색 채널과 같은 다른 채널로부터의 데이터를 포함할 수 있다. 예를 들어, 특정 색 성분은 RGB 색 공간 내의 특정 청색 또는 적어도 청색을 띤 영역일 수 있다.
상기 방법은 제1 디지털 이미지 프레임(110)과 제2 디지털 이미지 프레임(120) 사이의 특정 색 성분에서 비비례 강도비를 갖는 영역(130a, 130b)을 국부화시키는 단계(S108)를 더 포함한다. 아이리스 애퍼처가 변할 때, 이미지 노출은 이에 따라 변한다. 따라서, 제1 이미지(110)와 제2 이미지(120) 사이의 이미지 강도가 변경된다. 축방향 색수차를 겪는 디지털 이미지 프레임의 영역은 감소된 아이리스 애퍼처 크기로 인해, 제1 디지털 이미지 프레임(110)과 제2 디지털 이미지 프레임(120)을 비교할 때 종방향 색수차를 겪지 않고 디지털 이미지의 다른 영역에서 발견된 강도에서의 변화보다 더 현저한 변화로 나타난다. 따라서, 비비례 강도비는 항상 기준 강도비보다 크다. 기준 강도비는 감소된 아이리스 애퍼처 크기로 인해 강도에서 예상된 비로 간주될 수 있다. 실제 상황에서, 기준 강도비가 추정되어야 한다. 기준 강도 비를 추정하는 한 가지 방법은 제1 이미지(110)와 제2 이미지(120) 사이의 평균 강도에서의 비를 계산하는 것이다. 즉, 국부화된 영역들(130a, 130b)의 특정 색 성분에서의 비비례 강도비는 제1 디지털 이미지 프레임(110)과 제2 디지털 이미지 프레임(120) 사이의 평균 강도에서의 비보다 클 수 있다. 기준 강도비를 추정하는 또 다른 방법은 제1 이미지(110)와 제2 이미지(120) 사이의 기준 채널에서 강도비를 계산하는 것이다. 이러한 기준 채널은 색 번짐이 가장 적을 것으로 예상된 채널인 것으로 선택될 수 있다. 이는 일반적으로 녹색 채널이다. 기준 강도비는 제1 디지털 이미지 프레임(110) 및 제2 디지털 이미지 프레임(120)으로부터 계산되어서는 안된다. 대신, 기준 강도비는 광학 지식 및 제1 애퍼처 크기(104)와 제2 애퍼처 크기(106)로부터 결정된 미리 결정된 값일 수 있다.
도 3을 참조하여 설명된 예에서, 제1 디지털 이미지 프레임(110) 및 제2 디지털 이미지 프레임(120)은 RGB 디지털 이미지 프레임이고, 제1 디지털 이미지 프레임(110)과 제2 디지털 이미지 프레임(120) 사이의 특정 색 성분에서 비비례 강도비를 갖는 영역(130a, 130b)을 국부화하는 단계(S108)는 제1 이미지 프레임(110)의 청색 채널(110B)의 강도와 제2 디지털 이미지 프레임(120)의 청색 채널(120B) 사이의 비를 갖는 디지털 이미지 프레임 내에서 어느 픽셀이 기준 강도비보다 큰지를 결정하는 단계를 포함한다. 이러한 예에서, 기준 강도비는 제1 디지털 이미지 프레임(110)의 녹색 채널(110G)의 평균 강도와 제2 디지털 이미지 프레임(120)의 녹색 채널(120G)의 평균 강도 사이의 비로서 계산된다. 이는 도 4a에 도시된 바와 같이 선(L)을 따라 제1 디지털 이미지 프레임(110)의 청색 채널(110B)의 강도(I1B) 및 제2 디지털 이미지 프레임(120)의 청색 채널(120B)의 강도(I2B)를 나타낸 도 4b에 도시된다. 도 4c는 두개의 강도 프로파일 사이의 비, 즉 비(I1B/I2B)를 나타낸다. 도 4b에서 알 수 있는 바와 같이, 큰 아이리스 애퍼처 크기인 강도 프로파일(I1B)을 사용하여 얻어진 강도 프로파일은 작은 아이리스 애퍼처 크기인 강도 프로파일(I2B)을 사용하여 얻어진 강도 프로파일에는 나타나지 않는 두개의 최대값을 갖는다. 두개의 최대값은 과도한 색 번짐의 결과이다. 두개의 강도 프로파일 사이의 비(I1B/I2B)를 결정함으로써, 프로파일 모양에서의 상대적인 차이가 추출된다. 색 번짐이 전혀 없는 경우, 비(I1B/I2B)는 선(L)을 따라 실질적으로 일정할 것으로 예상될 것이다. 그러나, 도 4c에서 알 수 있는 바와 같이, I1B에서의 두개의 최대값은 비(I1B/I2B)에서 두개의 최대값으로서 나타날 것이다. 제1 카메라 설정과 제2 카메라 설정 간의 관계에 따라 오프셋(P)이 달라진다. 에지 검출 알고리즘(edge detection algorithm)과 같은 이미지 처리 알고리즘에 의해 최대값이 쉽게 추적될 수 있기 때문에 이는 문제가 되지 않을 수 있다. 그러나, 필요한 경우, 정보는 예를 들어 녹색 채널로부터 얻어진 해당 비로 나눔으로써 교정될 수 있다. 이는 도 4d 및 e에 나타낸다.
상기 방법은 후속으로 획득된 디지털 이미지 프레임(140)에 대해 국부화된 영역(130a, 130b)에서의 특정 색 성분을 감소시키는 단계(S110)를 더 포함한다. 따라서, 디지털 이미지 프레임에서 색 번짐이 발생하기 쉬운 위치에 대한 지식을 이용함으로써, 색 번짐을 선택적으로 보상할 수 있다. 상기 보상은 여러 가지 방법으로 이뤄질 수 있다.
일 실시 형태에서, 특정 색 성분은 국부화된 영역(130a, 130b) 내에 존재하는 픽셀에 대해, 후속하여 획득된 디지털 이미지 프레임(140) 각각의 적색, 녹색 및 청색 채널의 기존의 강도 레벨을 서로 동일한 새로운 강도 레벨로 대체함으로써 감소된다. 이는 국부화된 영역에서의 색 정보가 무시됨을 의미한다.
다른 실시 형태에서, 특정 색 성분은 국부화된 영역(130a, 130b) 내에 존재하는 픽셀에 대해 후속으로 획득된 디지털 이미지 프레임(140) 각각의 기존 강도 레벨을 이웃하는 픽셀의 강도 레벨에 기초한 새로운 강도 레벨로 대체함으로써 감소된다. 이는 확장된 영역의 이미지 분석이 필요함을 의미한다. 당업자는 디지털 이미지 프레임의 영역을 디지털 방식으로 교정하는 방법에 관한 당해 분야의 많은 방법론이 있음을 인지한다. 따라서, 청구항의 범주 내에서 특정 색 성분의 상기 감소를 달성하기 위한 많은 대안적인 방법이 존재한다는 것을 이해해야 한다.
또 다른 실시 형태에서, 색 번짐은 청색 번짐이 가장 두드러지고, 색 성분은 청색 성분이다. 본 실시 형태에서, 청색 성분은 국부화된 영역(130a, 130b) 내에 존재하는 픽셀에 대해, 후속으로 획득된 디지털 이미지 프레임(140) 각각의 청색 채널의 기존 강도 레벨을 기존 강도 레벨의 미리 결정된 비율인 새로운 강도 레벨로 대체함으로써 감소된다. 미리 결정된 비율은 예를 들어 기준비로부터 도출될 수 있다. 대안으로, 미리 결정된 비율은 사용자에 의해 미리 설정된 값일 수 있다.
도 5에 도시된 바와 같이, 디지털 비디오의 연속 디지털 이미지 프레임(150)은 또한 제1 디지털 이미지 프레임(110) 및 제2 디지털 이미지 프레임(120)을 포함할 수 있다. 따라서, 연속의 획득된 디지털 이미지 프레임(150)은 제1 디지털 이미지 프레임(110), 제2 디지털 이미지 프레임(120) 및 후속으로 획득된 디지털 이미지 프레임(140)을 포함한다. 이는 각각의 디지털 이미지 프레임이 다양한 크기의 애퍼처를 이용하여 기호로 도시된 도 5에서 개략적으로 도시된다. 이러한 예에서, 제1 디지털 이미지 프레임(110) 및 후속으로 획득된 디지털 이미지 프레임(140)은 동일한 카메라 설정, 즉 제1 카메라 설정을 이용하여 획득된다. 또한, 제2 카메라 설정은 제2 디지털 이미지 프레임(120)이 제1 디지털 이미지 프레임(110)과 동일한 노출을 얻도록 제1 카메라 설정과 관련된다. 이러한 예에서, 이는 제2 디지털 이미지 프레임(120)을 획득할 때 노출 시간(예를 들어, 셔터 속도)을 연장하고 디지털 이미지 센서의 게인(ISO 번호)을 증가시킴으로써 달성된다. 디지털 이미지 센서(214)의 게인이 이미지 노이즈를 증가시키기 때문에, 이미지화된 장면이 다소 정지되는 상황에서 ISO 번호를 조절하는 것을 피할 수 있다. 이러한 장면에 대해, 연장된 노출 시간은 제1 이미지(110) 및 제2 이미지(120)에 대해 동일한 노출을 얻기에 충분할 수 있다.
디지털 비디오에서 제1 디지털 이미지 프레임(110) 및 제2 디지털 이미지 프레임(120)을 포함하는 이점은 프레임 속도를 일정하게 유지함으로써 부드러운 디지털 비디오가 가능하다는 것이다.
국부화된 영역들(130a, 130b)에서의 특정 색 성분을 감소시키는 단계는 미리 결정된 시간(T) 동안 또는 미리 결정된 수의 후속으로 획득된 디지털 이미지 프레임들에 대해 수행될 수 있다. 따라서, 추가 한쌍의 제1 디지털 이미지 프레임(110') 및 제2 디지털 이미지 프레임(120')이, 예를 들어 매 5분마다 획득될 수 있다. 시간은 동적 장면이 실질적으로 정지 장면보다 짧은 시간 간격으로 방법을 적용할 필요성을 증가시키므로 카메라(210)에 의해 이미지화된 장면에 좌우될 수 있다. 이는 연속(150) 이후에 추가된 추가 연속 디지털 이미지 프레임(150')을 나타내는 도 5에 도시된다. 추가 연속 디지털 이미지 프레임(150')은 추가 한쌍의 제1 디지털 이미지 프레임(110')과 제2 디지털 이미지 프레임(120')에 뒤이어 추가 세트의 후속으로 획득된 디지털 이미지 프레임(150')을 포함한다. 처리는 여러번 반복될 수 있다. 따라서, 디지털 비디오는 디지털 이미지 프레임의 연속적인 스트림일 수 있다. 도 5에 나타낸 바와 같이, 처리는 시간 주기(T) 후에 반복된다. 추가 연속 디지털 이미지 프레임(150')의 시간 주기(T')는 추가 연속 디지털 이미지 프레임(150')이 더 길거나 더 짧은 시간 주기 후에 업데이트되도록 조절될 수 있다. 따라서, 연속의 디지털 이미지 프레임 내의 디지털 이미지 프레임의 수는 디지털 비디오 내의 연속 디지털 이미지 프레임 사이에서 변할 수 있다. 특히, 시간주기는 카메라(210)에 의해 이미지화된 장면에서의 움직임의 레벨에 따라 변할 수 있다.
당업자는 본 발명이 결코 전술한 바람직한 실시 형태에 제한되지 않는 것을 인지한다. 반대로, 첨부된 청구항의 범위 내에서 많은 수정 및 변형이 가능하다.
예를 들어, 제1 카메라 설정을 이용하여 하나 이상의 디지털 이미지 프레임이 획득될 수 있고, 제2 카메라 설정을 이용하여 하나 이상의 디지털 이미지 프레임이 획득될 수 있다. 즉, 제1 세트의 디지털 이미지 프레임은 제2 세트의 디지털 이미지 프레임과 비교될 수 있고, 제1 및 제2 세트는 상이한 아이리스 애퍼처 크기를 이용하여 획득된다.
또한, 개시된 실시 형태에 대한 변형은 도면, 명세서 및 첨부된 청구항의 연구로부터 청구된 발명을 실시하는 당업자에 의해 이해되고 영향을 받을 수 있다.

Claims (13)

  1. 아이리스(iris)를 포함하는 카메라에 의해 획득된 디지털 비디오에서 색 번짐(color fringing) 효과를 감지하고 감소시키는 방법으로서, 상기 디지털 비디오는 연속 획득된 RGB 디지털 이미지 프레임을 포함하고, 각각의 디지털 이미지 프레임은 적색, 녹색 및 청색 채널 내에 저장된 이미지 정보를 포함하며, 상기 방법은:
    카메라에 의해, 제1 아아리스 애퍼처 크기를 포함하는 제1 카메라 설정을 이용하여 제1 디지털 이미지 프레임을 획득하는 단계;
    카메라에 의해, 제2 아이리스 애퍼처 크기를 포함하는 제2 카메라 설정을 이용하여 제2 디지털 이미지 프레임을 획득하는 단계;
    -여기서 상기 제2 애퍼처 크기는 상기 제1 애퍼처 크기보다 작음-;
    상기 제1 디지털 이미지 프레임 및 상기 제2 디지털 이미지 프레임을 상기 제1 디지털 이미지 프레임 및 상기 제2 디지털 이미지 프레임의 상기 적색, 녹색 및 청색 성분의 적어도 하나의 특정 색 성분과 비교하는 단계;
    -상기 적색, 녹색 및 청색 성분 각각은 상기 적색, 녹색 및 청색 채널 내에 각각 저장된 이미지 정보에 해당함-를 포함하고,
    상기 방법은:
    상기 제1 디지털 이미지 프레임과 상기 제2 디지털 이미지 프레임 사이의 상기 특정 색 성분에서 비비례 강도비를 갖는 영역을 국부화시키는 단계; 및
    후속으로 획득된 디지털 이미지 프레임에 대해 상기 국부화된 영역에서 상기 특정 색 성분을 감소시키는 단계를 더 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서, 상기 국부화된 영역의 상기 특정 색 성분에서의 비비례 강도비는 상기 제1 디지털 이미지 프레임과 상기 제2 디지털 이미지 프레임 사이의 평균 강도에서의 비보다 큰 것을 특징으로 하는 방법.
  3. 제2항에 있어서, 상기 특정 색 성분은 상기 국부화된 영역 내에 존재하는 픽셀에 대해, 상기 후속으로 획득된 디지털 이미지 프레임 각각의 상기 적색, 녹색 및 청색 채널의 기존 강도 레벨을 각각 동일한 새로운 강도 레벨로 대체함으로써 감소시키는 것을 특징으로 하는 방법.
  4. 제2항에 있어서, 상기 특정 색 성분은 상기 국부화된 영역 내에 존재하는 픽셀에 대해, 상기 후속으로 획득된 디지털 이미지 프레임 각각의 기존 강도 레벨을 이웃하는 픽셀의 강도 레벨에 기초하여 새로운 강도 레벨로 대체함으로써 감소시키는 것을 특징으로 하는 방법.
  5. 제2항에 있어서, 상기 특정 색 성분은 상기 국부화된 영역 내에 존재하는 픽셀에 대해, 상기 후속으로 획득된 디지털 이미지 프레임 각각의 기존 강도 레벨을 상기 제2 디지털 이미지 프레임의 강도 레벨로 대체함으로써 감소시키는 것을 특징으로 하는 방법.
  6. 제1항에 있어서, 상기 특정 색 성분은 상기 청색 채널 내에 저장된 이미지 정보에 해당하는 청색 성분인 것을 특징으로 하는 방법.
  7. 제6항에 있어서, 상기 청색 성분은 상기 국부화된 영역 내에 존재하는 픽셀에 대해, 상기 후속으로 획득된 디지털 이미지 프레임 각각의 청색 채널의 기존 강도 레벨을 상기 기존 강도 레벨의 미리 결정된 비율인 새로운 강도 레벨로 대체함으로써 감소시키는 것을 특징으로 하는 방법.
  8. 제1항에 있어서, 상기 제2 카메라 설정은 상기 제2 디지털 이미지 프레임이 상기 제1 디지털 이미지 프레임과 동일한 노출을 얻도록 상기 제1 카메라 설정과 관련되는 것을 특징으로 하는 방법.
  9. 제1항에 있어서, 상기 국부화된 영역에서 상기 특정 색 성분을 감소시키는 단계는 미리 결정된 수의 후속으로 획득된 디지털 이미지 프레임에 대해 수행되는 것을 특징으로 하는 방법.
  10. 제1항에 있어서, 상기 연속 획득된 디지털 이미지 프레임은 상기 제1 디지털 이미지 프레임, 상기 제2 디지털 이미지 프레임 및 상기 후속으로 획득된 디지털 이미지 프레임을 포함하는 것을 특징으로 하는 방법.
  11. 처리 능력을 갖는 장치에 의해 실행될 때, 제1 및 제2 디지털 이미지 프레임을 비교하는 단계, 특정 색 성분에서 비비례 강도비를 갖는 영역을 국부화시키는 단계 및 제1항에 따른 방법의 후속으로 획득된 디지털 이미지 프레임에 대해 상기 국부화된 영역에서 청색 성분을 감소시키는 단계를 수행하도록 적용된 컴퓨터 코드 명령어를 포함하는 컴퓨터 판독 가능 매체.
  12. 카메라를 제어하고, 상기 카메라에 의해 획득된 디지털 비디오에서 색 번짐 효과를 감소시키는 장치로서, 상기 디지털 비디오는 연속 획득된 RGB 디지털 이미지 프레임을 포함하고, 상기 각각의 디지털 이미지 프레임은 적색, 녹색 및 청색 채널 내에 저장된 이미지 정보를 포함하며, 상기 장치는:
    제1 아이리스 애퍼처 크기를 포함하는 제1 카메라 설정을 이용하여 제1 디지털 이미지 프레임을 획득하는 상기 카메라에 관한 명령어를 상기 카메라에 전달하고;
    제2 아이리스 애퍼처 크기를 포함하는 제2 카메라 설정을 이용하여 제2 디지털 이미지 프레임을 획득하는 상기 카메라에 관한 명령어를 상기 카메라에 전달하며,
    -상기 제2 애퍼처 크기는 상기 제1 애퍼처 크기보다 작음-;
    상기 제1 및 제2 디지털 이미지 프레임을 이의 상기 적색, 녹색 및 청색 성분의 적어도 하나의 특정 색 성분과 비교하도록 구성되고,
    -상기 적색, 녹색 및 청색 성분 각각은 상기 적색, 녹색 및 청색 채널 내에 각각 저장된 이미지 정보에 해당함-,
    상기 장치는:
    상기 제1 디지털 이미지 프레임과 상기 제2 디지털 이미지 프레임 사이의 특정 색 성분에서 비비례 비를 갖는 영역을 국부화시키며;
    후속으로 획득된 디지털 이미지 프레임에 대해 상기 국부화된 영역에서 색 성분을 감소시키도록 추가로 구성되는 것을 특징으로 하는 장치.
  13. 카메라에 의해 획득된 디지털 비디오에서 색 번짐 효과를 감지하고 감소시키기 위한 시스템으로서, 상기 시스템은:
    연속 획득된 디지털 이미지 프레임을 포함하는 디지털 비디오를 획득하도록 구성된 카메라, -상기 카메라는 아이리스를 포함함-;
    제12항에 따른 장치를 포함하는 시스템.
KR1020180121101A 2017-11-30 2018-10-11 카메라에 의해 얻어진 디지털 비디오에서 색 번짐의 효과를 검출 및 감소하기 위한 방법, 장치 및 시스템 KR102054596B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17204717.7A EP3493527B1 (en) 2017-11-30 2017-11-30 Method, apparatus and system for detecting and reducing the effects of color fringing in digital video acquired by a camera
EP17204717.7 2017-11-30

Publications (2)

Publication Number Publication Date
KR20190064419A true KR20190064419A (ko) 2019-06-10
KR102054596B1 KR102054596B1 (ko) 2020-01-22

Family

ID=60569689

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180121101A KR102054596B1 (ko) 2017-11-30 2018-10-11 카메라에 의해 얻어진 디지털 비디오에서 색 번짐의 효과를 검출 및 감소하기 위한 방법, 장치 및 시스템

Country Status (6)

Country Link
US (1) US10687036B2 (ko)
EP (1) EP3493527B1 (ko)
JP (1) JP6594516B2 (ko)
KR (1) KR102054596B1 (ko)
CN (1) CN109862332B (ko)
TW (1) TWI694725B (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111199524B (zh) * 2019-12-26 2023-03-17 浙江大学 一种针对可调光圈光学***的图像紫边校正方法
CN112312032B (zh) * 2020-10-21 2022-03-25 Tcl通讯（宁波）有限公司 一种屏下摄像头摄像方法、装置、存储介质及移动终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009284009A (ja) * 2008-05-19 2009-12-03 Canon Inc 画像処理装置、撮像装置及び画像処理方法
JP2011211329A (ja) * 2010-03-29 2011-10-20 Fujifilm Corp 撮像装置およびその制御方法，ならびに画像処理装置，その制御方法，および画像処理プログラム
US20120106841A1 (en) * 2010-11-03 2012-05-03 Zoran Corporation System and method for providing multi resolution purple fringing detection and correction
US20140112581A1 (en) * 2012-10-18 2014-04-24 Athentech Technologies Inc. Method for correcting purple distortion in digital images and a computing device employing same

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0878970A3 (en) 1997-05-16 1999-08-18 Matsushita Electric Industrial Co., Ltd. Imager registration error and chromatic aberration measurement system for a video camera
JP4479457B2 (ja) 2004-05-27 2010-06-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
US7750956B2 (en) * 2005-11-09 2010-07-06 Nvidia Corporation Using a graphics processing unit to correct video and audio data
JP5047048B2 (ja) * 2008-04-30 2012-10-10 キヤノン株式会社 画像処理装置、撮像装置、制御方法、プログラム、及び記憶媒体
WO2011121760A1 (ja) * 2010-03-31 2011-10-06 キヤノン株式会社 画像処理装置、およびそれを用いた撮像装置
US8325248B2 (en) * 2010-06-04 2012-12-04 Apple Inc. Dual processing of raw image data
JP5818586B2 (ja) * 2011-08-31 2015-11-18 キヤノン株式会社 画像処理装置及び画像処理方法
KR102009185B1 (ko) * 2013-01-10 2019-08-09 삼성전자 주식회사 컬러 프린지 제거 방법
US20150092089A1 (en) * 2013-09-27 2015-04-02 Broadcom Corporation System And Method For Under Sampled Image Enhancement
KR102218832B1 (ko) 2014-12-16 2021-02-24 삼성전자주식회사 컬러 프린지를 제거하기 위한 이미지 처리 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009284009A (ja) * 2008-05-19 2009-12-03 Canon Inc 画像処理装置、撮像装置及び画像処理方法
JP2011211329A (ja) * 2010-03-29 2011-10-20 Fujifilm Corp 撮像装置およびその制御方法，ならびに画像処理装置，その制御方法，および画像処理プログラム
US20120106841A1 (en) * 2010-11-03 2012-05-03 Zoran Corporation System and method for providing multi resolution purple fringing detection and correction
US20140112581A1 (en) * 2012-10-18 2014-04-24 Athentech Technologies Inc. Method for correcting purple distortion in digital images and a computing device employing same

Also Published As

Publication number Publication date
TWI694725B (zh) 2020-05-21
EP3493527A1 (en) 2019-06-05
CN109862332B (zh) 2020-10-13
EP3493527B1 (en) 2019-09-25
JP6594516B2 (ja) 2019-10-23
CN109862332A (zh) 2019-06-07
KR102054596B1 (ko) 2020-01-22
TW201935917A (zh) 2019-09-01
JP2019118099A (ja) 2019-07-18
US10687036B2 (en) 2020-06-16
US20190166341A1 (en) 2019-05-30

Similar Documents

Publication Publication Date Title
KR101747603B1 (ko) 컬러 나이트 비전 시스템 및 그 동작 방법
JP6564421B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP7343090B2 (ja) 画像処理システム及び方法
EP3300363B1 (en) A bit rate controller and a method for limiting output bit rate
JP2014107852A (ja) 撮像装置
KR20190002289A (ko) 카메라 및 컬러 이미지 생성 방법
KR102054596B1 (ko) 카메라에 의해 얻어진 디지털 비디오에서 색 번짐의 효과를 검출 및 감소하기 위한 방법, 장치 및 시스템
JP5149055B2 (ja) 撮像装置
US11200647B2 (en) Image processing
US20170347008A1 (en) Method for adapting a brightness of a high-contrast image and camera system
US9769376B2 (en) Imaging device, imaging device body, and lens barrel
JP7121832B2 (ja) ビデオカメラの性能を向上させるための方法
JP2007201963A (ja) 撮像装置
JP2019029833A (ja) 撮像装置
JP6466809B2 (ja) 撮像装置および撮像方法
US8055071B2 (en) Image processing apparatus, imaging apparatus and recording medium storing image processing program
KR101005769B1 (ko) 하이 다이나믹 레인지 상황에 대응하는 자동 노출 제어 및 자동 화이트밸런스 방법
US11678060B2 (en) Apparatus, method for controlling apparatus, and storage medium
JP2010049491A (ja) 運転状態監視装置
JP6504892B2 (ja) 撮像装置
US8441550B2 (en) Imaging device program and method for preventing the generation of flicker
JP5533752B2 (ja) 画像信号処理装置
Bernhardt et al. Next generation enhanced vision system processing
KR101545323B1 (ko) 자동 화이트 밸런스 조정 시스템 및 자동 화이트 밸런스 조정 방법
JP2009177669A (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant