KR101823256B1 - 이미지 처리 장치 및 이미지 처리 방법 - Google Patents

이미지 처리 장치 및 이미지 처리 방법 Download PDF

Info

Publication number
KR101823256B1
KR101823256B1 KR1020160102286A KR20160102286A KR101823256B1 KR 101823256 B1 KR101823256 B1 KR 101823256B1 KR 1020160102286 A KR1020160102286 A KR 1020160102286A KR 20160102286 A KR20160102286 A KR 20160102286A KR 101823256 B1 KR101823256 B1 KR 101823256B1
Authority
KR
South Korea
Prior art keywords
image
exposure value
color
color images
single color
Prior art date
Application number
KR1020160102286A
Other languages
English (en)
Inventor
홍동석
김현
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020160102286A priority Critical patent/KR101823256B1/ko
Application granted granted Critical
Publication of KR101823256B1 publication Critical patent/KR101823256B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/007—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H04N5/2355—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 일 실시 예에 따른 이미지 처리 장치는, 노출값(exposure value)이 서로 다른 복수의 단일색상 이미지를 얻는 제1 이미지 센서와, 노출값이 서로 다른 복수의 다중색상 이미지를 얻는 제2 이미지 센서와, 복수의 단일색상 이미지에 대한 하이 다이나믹 레인지(HDR) 합성 동작을 수행하는 제1 합성부와, 복수의 다중색상 이미지에 대한 하이 다이나믹 레인지 합성 동작을 수행하는 제2 합성부와, 제1 합성부에 의해 합성된 이미지와 제2 합성부에 의해 합성된 이미지를 합성하는 제3 합성부를 포함할 수 있다.

Description

이미지 처리 장치 및 이미지 처리 방법{Image processing apparatus and method for image processing}
본 발명은 이미지 처리 장치 및 이미지 처리 방법에 관한 것이다.
통상 이미지의 역광을 보정하기 위해, 서로 다른 노출값을 가지는 복수의 이미지를 합성하여 다이나믹 레인지가 확대된 이미지를 얻을 수 있으며, 이는 하이 다이나믹 레인지(HDR) 합성이라고 정의될 수 있다.
일본 공개특허공보 특개2014-023062
본 발명의 일 실시 예는, 다이나믹 레인지를 확대하는 과정에서 발생하는 화질 열화를 줄일 수 있는 이미지 처리 장치 및 이미지 처리 방법을 제공한다.
본 발명의 일 실시 예에 따른 이미지 처리 장치는, 노출값(exposure value)이 서로 다른 복수의 단일색상 이미지를 얻는 제1 이미지 센서; 노출값이 서로 다른 복수의 다중색상 이미지를 얻는 제2 이미지 센서; 상기 복수의 단일색상 이미지에 대한 하이 다이나믹 레인지(HDR) 합성 동작을 수행하는 제1 합성부; 상기 복수의 다중색상 이미지에 대한 하이 다이나믹 레인지 합성 동작을 수행하는 제2 합성부; 및 상기 제1 합성부에 의해 합성된 이미지와 상기 제2 합성부에 의해 합성된 이미지를 합성하는 제3 합성부; 를 포함하고, 상기 제3 합성부는 상기 제2 합성부에 의해 합성된 이미지에서 포화 현상이 발생한 영역에 상기 제1 합성부에 의해 합성된 이미지에서 상기 영역에 대응되는 영역의 휘도정보를 적용할 수 있다.
본 발명의 일 실시 예에 따른 이미지 처리 방법은, 노출값(exposure value)이 서로 다른 복수의 단일색상 이미지를 얻는 단계; 노출값이 서로 다른 복수의 다중색상 이미지를 얻는 단계; 상기 복수의 단일색상 이미지로부터 다이나믹 레인지가 확장된 단일색상 이미지를 얻는 단계; 상기 복수의 다중색상 이미지로부터 다이나믹 레인지가 확장된 다중색상 이미지를 얻는 단계; 및 상기 다이나믹 레인지가 확장된 단일색상 이미지와 상기 다이나믹 레인지가 확장된 다중색상 이미지를 합성하는 단계; 를 포함하고, 상기 합성하는 단계는 상기 다이나믹 레인지가 확장된 다중색상 이미지에서 포화 현상이 발생한 영역에 상기 다이나믹 레인지가 확장된 단일색상 이미지에서 상기 영역에 대응되는 영역의 휘도정보를 적용할 수 있다.
본 발명의 일 실시 예에 따른 이미지 처리 장치는, 다이나믹 레인지를 확대하는 과정에서 발생하는 화질 열화를 줄일 수 있다.
도 1은 본 발명의 일 실시 예에 따른 이미지 처리 장치를 나타낸 도면이다.
도 2는 본 발명의 일 실시 예에 따른 이미지 처리 장치를 나타낸 도면이다.
도 3은 본 발명의 일 실시 예에 따른 이미지 처리 장치에 포함된 이미지 센서와 합성부를 나타낸 도면이다.
도 4는 본 발명의 일 실시 예에 따른 이미지 처리 방법을 나타낸 순서도이다.
도 5는 본 명세서에 개진된 하나 이상의 실시 예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시하는 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 이미지 처리 장치를 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 이미지 처리 장치는 제1 이미지 센서(110), 제2 이미지 센서(120), 제1 합성부(130), 제2 합성부(140) 및 제3 합성부(150)를 포함할 수 있다.
제1 및 제2 이미지 센서(110, 120)는 노출값(exposure value)이 서로 다른 복수의 이미지를 얻을 수 있다. 여기서, 이미지의 노출값은 상기 이미지를 얻을 때의 이미지 센서 노출값으로 정의될 수 있다. 이미지 센서의 노출값이 클수록 상기 이미지 센서에 들어오는 광량이 크므로, 노출값이 큰 이미지는 노출값이 작은 이미지에 비해 밝을 수 있다.
예를 들어, 상기 제1 및 제2 이미지 센서(110, 120)는 노출값이 서로 다른 복수의 이미지를 소정의 주기마다 반복적으로 얻을 수 있다. 만약 상기 복수의 이미지가 각각 -2, 0, 2의 노출값을 가질 경우, 상기 제1 및 제2 이미지 센서(110, 120)는 하나의 주기당 각각 -2, 0, 2의 노출값을 가지는 3개의 이미지를 얻을 수 있다.
상기 제1 이미지 센서(110)는 노출값이 서로 다른 복수의 단일색상 이미지를 얻을 수 있다. 여기서, 단일색상 이미지는 화소별 휘도정보를 가지고 화소별 색상정보를 가지지 않는 이미지이다.
예를 들어, 상기 제1 이미지 센서(110)는 화소마다 제1, 제2 및 제3 색상의 빛을 감지하고, 화소마다 상기 제1, 제2 및 제3 색상의 휘도정보를 합산하여 복수의 단일색상 이미지를 얻을 수 있다.
즉, 상기 제1 이미지 센서(110)는 빛의 색상을 구분하지 않고 함께 감지할 수 있다. 예를 들어, 상기 제1 이미지 센서(110)는 수광 주파수 범위가 넓은 픽셀 어레이(pixel array)를 포함하여 빛의 흡수율을 향상시킬 수 있다. 따라서, 상기 제1 이미지 센서(110)는 높은 감도 특성을 가질 수 있다.
상기 제2 이미지 센서(120)는 노출값이 서로 다른 복수의 다중색상 이미지를 얻을 수 있다. 여기서, 다중색상 이미지는 화소별 색상정보를 가지는 이미지이다.
예를 들어, 상기 제2 이미지 센서(120)는 화소마다 제1, 제2 및 제3 색상의 빛을 감지하고, 화소마다 상기 제1, 제2 및 제3 색상의 휘도정보에 기초하여 상기 복수의 다중색상 이미지의 색상을 결정할 수 있다.
즉, 상기 제2 이미지 센서(120)는 각각 제1, 제2 및 제3 색상의 빛을 각각 감지하는 복수의 픽셀 어레이를 포함하여 제1, 제2 및 제3 색상의 빛을 독립적으로 감지할 수 있다. 예를 들어, 상기 픽셀 어레이는 서로 다른 수광 주파수 범위를 가짐으로써 서로 다른 색상의 빛을 각각 감지할 수 있다. 다중색상 이미지의 색상정보는 상기 픽셀 어레이간의 감지 결과 차이에 기초하여 산출될 수 있다.
한편, 제1 색상은 적색이고, 제2 색상은 청색이고, 제3 색상은 백색 또는 녹색일 수 있다. 다중색상 이미지는 상기 제3 색상이 백색일 경우에 RWB 기반의 이미지이고, 상기 제3 색상이 녹색일 경우에 RGB 기반의 이미지이다.
제1 합성부(130)는 복수의 단일색상 이미지에 대한 하이 다이나믹 레인지(HDR) 합성 동작을 수행할 수 있다. 예를 들어, 상기 제1 합성부(130)는 노출값이 큰 이미지의 밝은 영역과 노출값이 작은 이미지의 어두운 영역이 합성된 이미지를 얻음으로써 다이나믹 레인지가 확대된 이미지를 얻을 수 있다. 이에 따라, 상기 제1 합성부(130)는 역광이 보정된 단일색상 이미지를 얻을 수 있다.
제2 합성부(140)는 복수의 다중색상 이미지에 대한 하이 다이나믹 레인지 합성 동작을 수행할 수 있다. 예를 들어, 상기 제2 합성부(140)는 제1 합성부(130)의 합성 원리와 동일한 원리를 활용하여 합성 동작을 수행할 수 있다. 이에 따라, 상기 제2 합성부(140)는 역광이 보정된 다중색상 이미지를 얻을 수 있다.
제3 합성부(150)는 제1 합성부(130)에 의해 합성된 이미지와 제2 합성부(140)에 의해 합성된 이미지를 합성할 수 있다. 즉, 상기 제3 합성부(150)는 단일색상 이미지의 높은 감도 특성과 다중색상 이미지의 색상정보를 모두 활용할 수 있다. 이에 따라, 본 발명의 일 실시 예에 따른 이미지 처리 장치는 다이나믹 레인지를 확대하는 과정에서의 포화 현상 발생을 감소시켜서 화질 열화를 줄일 수 있다.
예를 들어, 상기 제3 합성부(150)는 제1 합성부(130)에 의해 합성된 이미지에 제2 합성부(140)에 의해 합성된 이미지의 색상정보를 추가한 이미지를 생성할 수 있다. 만약 다중색상 이미지가 RWB 기반의 이미지일 경우, 상기 제3 합성부(150)는 단일색상 이미지에 다중색상 이미지의 제1 및 제2 색상의 휘도정보를 추가하고, 단일색상 이미지의 휘도정보와 제1 및 제2 색상의 휘도정보간의 상대적인 차이에 기초하여 색상정보를 얻을 수 있다.
예를 들어, 상기 제3 합성부(150)는 제2 합성부(140)에 의해 합성된 이미지에서 포화 현상이 발생한 영역에 제1 합성부(130)에 의해 합성된 이미지의 해당 영역의 휘도정보를 적용할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 이미지 처리 장치를 나타낸 도면이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 이미지 처리 장치는 제1 이미지 센서(210), 제1 이미지 처리부(215), 제2 이미지 센서(220), 제2 이미지 처리부(225), 제1 합성부(230), 제2 합성부(240) 및 제3 합성부(250)를 포함할 수 있다.
제1 이미지 센서(210)는 양의 제1 노출값을 가지는 제1 단일색상 이미지(211)와 상기 제1 노출값의 음수의 노출값을 가지는 제2 단일색상 이미지(212)를 얻을 수 있다.
제1 이미지 처리부(215)는 제1 단일색상 이미지(211)와 제2 단일색상 이미지(212)를 서로 정합하고 보정할 수 있다.
제2 이미지 센서(220)는 양의 제2 노출값을 가지는 제1 다중색상 이미지(221)과 상기 제2 노출값의 음수의 노출값을 가지는 제2 다중색상 이미지(222)를 얻을 수 있다.
제2 이미지 처리부(225)는 제1 다중색상 이미지(221)와 제2 다중색상 이미지(222)를 서로 정합하고 보정할 수 있다.
설계에 따라, 제1 및 제2 이미지 센서(210, 220)는 각각 0의 노출값을 가지는 단일색상 이미지 및 0의 노출값을 가지는 다중색상 이미지를 더 얻을 수도 있다.
제1 및 제2 이미지 처리부(215, 225)는 제1 및 제2 이미지 센서(210, 220)가 얻는 이미지의 노출값 수가 많을수록 더욱 정밀한 보정 동작을 수행할 수 있고, 제1 및 제2 이미지 센서(210, 220)가 얻는 이미지의 노출값 수가 적을수록 더욱 빠른 정합 및 보정 동작을 수행할 수 있다.
제1 및 제2 합성부(230, 240)는 각각 제1 및 제2 이미지 센서(210, 220)의 노출값을 제어할 수 있다.
한편, +1의 노출값은 0.5의 셔터속도 값을 가지고, 0의 노출값은 1의 셔터속도 값을 가지고, -1의 노출값은 2의 셔터속도 값을 가질 수 있으나, 이에 한정되지 않는다. 또한, +1의 노출값, 0의 노출값 및 -1의 노출값은 모두 1의 조리개 값과 100의 ISO 값을 가질 수 있으나, 이에 한정되지 않는다.
도 3은 본 발명의 일 실시 예에 따른 이미지 처리 장치에 포함된 이미지 센서와 합성부를 나타낸 도면이다.
도 3을 참조하면, 이미지 센서(300)는 픽셀 어레이(310), 디지털 블록(320) 및 레지스터(330)를 포함할 수 있고, 합성부(400)는 디모자이크(410), 3A 엔진(420), 컬러 프로세서(430), YUV 프로세서(440), HDR 제어부(450), 이미지 합성부(460), 비디오 인코더(470) 및 Jpeg 인코더(480)를 포함할 수 있다.
이미지 센서(300)는 도 1 내지 도 2를 참조하여 전술한 제1 및 제2 이미지 센서와 동일한 동작을 수행할 수 있다.
픽셀 어레이(310)는 화소별로 빛을 감지할 수 있다.
디지털 블록(320)은 픽셀 어레이(310)의 감지 결과를 기초로 휘도정보 및/또는 색상정보를 산출하는 디지털 프로세스(321) 동작과, 산출결과에 기초하여 이미지를 생성하는 출력 인터페이스(322) 동작을 수행할 수 있다.
레지스터(330)는 합성부(400)로부터 노출값 제어 신호를 받아서 이미지 센서(300)에 포함된 셔터의 개폐속도 및/또는 아날로그 이득을 조절할 수 있다.
합성부(400)는 도 1 내지 도 2를 참조하여 전술한 제1 내지 제3 합성부와 동일한 동작을 수행할 수 있다.
디모자이크(410)는 이미지에 대한 연산환경을 제공할 수 있다.
3A 엔진(420)은 이미지를 정합 및 보정하고 휘도정보를 얻는 연산과정을 수행할 수 있다.
컬러 프로세서(430) 및 YUV 프로세서(440)는 각각 색상정보에 대한 연산을 순차적으로 수행할 수 있다. 여기서, YUV 프로세서(440)는 YUV 방식에 따라 색상정보에 대한 연산을 수행할 수 있다.
HDR 제어부(450)는 노출값 제어 신호를 생성하여 이미지 센서(300)에 전달할 수 있다. 또한, 상기 HDR 제어부(450)는 합성부(400)에 의해 합성된 이미지의 휘도정보에 기초하여 이미지 센서의 최종 노출값을 결정할 수 있다.
이미지 합성부(460)는 휘도정보 및/또는 색상정보를 합성할 수 있다.
비디오 인코더(470) 및 Jpeg 인코더(480)는 이미지 합성부(460)의 합성 결과로부터 합성된 이미지를 생성할 수 있다. 여기서, Jpeg는 사진 등의 정지화상을 통신에 사용하기 위해서 압축하는 기술의 표준이다.
도 4는 본 발명의 일 실시 예에 따른 이미지 처리 방법을 나타낸 순서도이다.
도 4를 참조하면, 본 발명의 일 실시 예에 따른 이미지 처리 방법은 단일색상 이미지를 얻는 단계(S10), 다중색상 이미지를 얻는 단계(S20), 단일색상 이미지를 HDR 합성하는 단계(S30), 다중색상 이미지를 HDR 합성하는 단계(S40) 및 HDR 합성된 단일색상 이미지와 HDR 합성된 다중색상 이미지를 합성하는 단계(S50)를 포함할 수 있다.
예를 들어, 상기 S10, S20, S30, S40, S50 단계는 각각 도 1에 도시된 제1 및 제2 이미지 센서와 제1 내지 제3 합성부에 의해 수행될 수 있다. 따라서, 상기 이미지 처리 방법과 관련하여 전술한 이미지 처리 장치에 관한 설명과 동일하거나 그에 상응하는 내용에 대해서는 중복적으로 설명하지 아니한다.
S10 단계에서의 이미지 처리 장치는 노출값(exposure value)이 서로 다른 복수의 단일색상 이미지를 얻을 수 있다.
S20 단계에서의 이미지 처리 장치는 노출값이 서로 다른 복수의 다중색상 이미지를 얻을 수 있다.
S30 단계에서의 이미지 처리 장치는 상기 복수의 단일색상 이미지로부터 다이나믹 레인지가 확장된 단일색상 이미지를 얻을 수 있다.
S40 단계에서의 이미지 처리 장치는 상기 복수의 다중색상 이미지로부터 다이나믹 레인지가 확장된 다중색상 이미지를 얻을 수 있다.
S50 단계에서의 이미지 처리 장치는 상기 다이나믹 레인지가 확장된 단일색상 이미지와 상기 다이나믹 레인지가 확장된 다중색상 이미지를 합성할 수 있다.
예를 들어, 상기 S10, S20, S30, S40, S50 단계는 도 5에 도시된 컴퓨팅 환경에 의해 수행될 수 있다.
도 5는 본 명세서에 개진된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시하는 도면으로, 상술한 하나 이상의 실시예를 구현하도록 구성된 컴퓨팅 디바이스(1100)를 포함하는 시스템(1000)의 예시를 도시한다. 예를 들어, 컴퓨팅 디바이스(1100)는 개인 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩탑 디바이스, 모바일 디바이스(모바일폰, PDA, 미디어 플레이어 등), 멀티프로세서 시스템, 소비자 전자기기, 미니 컴퓨터, 메인프레임 컴퓨터, 임의의 전술된 시스템 또는 디바이스를 포함하는 분산 컴퓨팅 환경 등을 포함하지만, 이것으로 한정되는 것은 아니다.
컴퓨팅 디바이스(1100)는 적어도 하나의 프로세싱 유닛(1110) 및 메모리(1120)를 포함할 수 있다. 여기서, 프로세싱 유닛(1110)은 예를 들어 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 주문형 반도체(Application Specific Integrated Circuit, ASIC), Field Programmable Gate Arrays(FPGA) 등을 포함할 수 있으며, 복수의 코어를 가질 수 있다. 메모리(1120)는 휘발성 메모리(예를 들어, RAM 등), 비휘발성 메모리(예를 들어, ROM, 플래시 메모리 등) 또는 이들의 조합일 수 있다.
또한, 컴퓨팅 디바이스(1100)는 추가적인 스토리지(1130)를 포함할 수 있다. 스토리지(1130)는 자기 스토리지, 광학 스토리지 등을 포함하지만 이것으로 한정되지 않는다. 스토리지(1130)에는 본 명세서에 개진된 하나 이상의 실시예를 구현하기 위한 컴퓨터 판독 가능한 명령이 저장될 수 있고, 운영 시스템, 애플리케이션 프로그램 등을 구현하기 위한 다른 컴퓨터 판독 가능한 명령도 저장될 수 있다. 스토리지(1130)에 저장된 컴퓨터 판독 가능한 명령은 프로세싱 유닛(1110)에 의해 실행되기 위해 메모리(1120)에 로딩될 수 있다.
또한, 컴퓨팅 디바이스(1100)는 입력 디바이스(들)(1140) 및 출력 디바이스(들)(1150)를 포함할 수 있다. 여기서, 입력 디바이스(들)(1140)는 예를 들어 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스, 적외선 카메라, 비디오 입력 디바이스 또는 임의의 다른 입력 디바이스 등을 포함할 수 있다. 또한, 출력 디바이스(들)(1150)는 예를 들어 하나 이상의 디스플레이, 스피커, 프린터 또는 임의의 다른 출력 디바이스 등을 포함할 수 있다. 또한, 컴퓨팅 디바이스(1100)는 다른 컴퓨팅 디바이스에 구비된 입력 디바이스 또는 출력 디바이스를 입력 디바이스(들)(1140) 또는 출력 디바이스(들)(1150)로서 사용할 수도 있다.
또한, 컴퓨팅 디바이스(1100)는 네트워크(1200)를 통하여 다른 디바이스(예를 들어, 컴퓨팅 디바이스(1300))와 통신할 수 있게 하는 통신접속(들)(1160)을 포함할 수 있다. 여기서, 통신 접속(들)(1160)은 모뎀, 네트워크 인터페이스 카드(NIC), 통합 네트워크 인터페이스, 무선 주파수 송신기/수신기, 적외선 포트, USB 접속 또는 컴퓨팅 디바이스(1100)를 다른 컴퓨팅 디바이스에 접속시키기 위한 다른 인터페이스를 포함할 수 있다. 또한, 통신 접속(들)(1160)은 유선 접속 또는 무선 접속을 포함할 수 있다.
상술한 컴퓨팅 디바이스(1100)의 각 구성요소는 버스 등의 다양한 상호접속(예를 들어, 주변 구성요소 상호접속(PCI), USB, 펌웨어(IEEE 1394), 광학적 버스 구조 등)에 의해 접속될 수도 있고, 네트워크에 의해 상호접속될 수도 있다.
본 명세서에서 사용되는 "구성요소", "모듈", "시스템", "인터페이스" 등과 같은 용어들은 일반적으로 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어, 또는 실행중인 소프트웨어인 컴퓨터 관련 엔티티를 지칭하는 것이다. 예를 들어, 구성요소는 프로세서 상에서 실행중인 프로세스, 프로세서, 객체, 실행 가능물(executable), 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만, 이것으로 한정되는 것은 아니다. 예를 들어, 컨트롤러 상에서 구동중인 애플리케이션 및 컨트롤러 모두가 구성요소일 수 있다. 하나 이상의 구성요소는 프로세스 및/또는 실행의 스레드 내에 존재할 수 있으며, 구성요소는 하나의 컴퓨터 상에서 로컬화될 수 있고, 둘 이상의 컴퓨터 사이에서 분산될 수도 있다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
110, 210: 제1 이미지 센서
120, 220: 제2 이미지 센서
130, 230: 제1 합성부
140, 240: 제2 합성부
150, 250: 제3 합성부

Claims (9)

  1. 노출값(exposure value)이 서로 다른 복수의 단일색상 이미지를 얻는 제1 이미지 센서;
    노출값이 서로 다른 복수의 다중색상 이미지를 얻는 제2 이미지 센서;
    상기 복수의 단일색상 이미지에 대한 하이 다이나믹 레인지(HDR) 합성 동작을 수행하는 제1 합성부;
    상기 복수의 다중색상 이미지에 대한 하이 다이나믹 레인지 합성 동작을 수행하는 제2 합성부; 및
    상기 제1 합성부에 의해 합성된 이미지와 상기 제2 합성부에 의해 합성된 이미지를 합성하는 제3 합성부; 를 포함하고,
    상기 제3 합성부는 상기 제2 합성부에 의해 합성된 이미지에서 포화 현상이 발생한 영역에 상기 제1 합성부에 의해 합성된 이미지에서 상기 영역에 대응되는 영역의 휘도정보를 적용하는 이미지 처리 장치.
  2. 제1항에 있어서,
    상기 복수의 단일색상 이미지 중 일부는 양의 제1 노출값을 가지고,
    상기 복수의 단일색상 이미지 중 다른 일부는 상기 제1 노출값의 음수의 노출값을 가지고,
    상기 복수의 다중색상 이미지 중 일부는 양의 제2 노출값을 가지고,
    상기 복수의 다중색상 이미지 중 다른 일부는 상기 제2 노출값의 음수의 노출값을 가지는 이미지 처리 장치.
  3. 제2항에 있어서,
    상기 복수의 단일색상 이미지는 0의 노출값을 가지는 단일색상 이미지를 더 포함하고,
    상기 복수의 다중색상 이미지는 0의 노출값을 가지는 다중색상 이미지를 더 포함하고,
    상기 제1 노출값과 상기 제2 노출값은 서로 동일한 이미지 처리 장치.
  4. 제1항에 있어서,
    상기 제1 이미지 센서는 화소마다 제1, 제2 및 제3 색상의 빛을 감지하는 제1 픽셀 어레이를 포함하고,
    상기 제2 이미지 센서는 화소마다 상기 제1 색상의 빛을 감지하는 제2 픽셀 어레이, 화소마다 상기 제2 색상의 빛을 감지하는 제3 픽셀 어레이 및 화소마다 상기 제3 색상의 빛을 감지하는 제4 픽셀 어레이를 포함하고,
    상기 제2 이미지 센서는 상기 제2 내지 제4 픽셀 어레이의 휘도정보에 기초하여 상기 복수의 다중색상 이미지의 색상을 결정하는 이미지 처리 장치.
  5. 제4항에 있어서,
    상기 제3 합성부는 상기 제1 합성부에 의해 합성된 이미지에 상기 제2 합성부에 의해 합성된 이미지의 상기 제1 및 제2 색상의 휘도정보를 추가하고, 상기 제1 합성부에 의해 합성된 이미지의 휘도정보와 상기 제2 합성부에 의해 합성된 이미지의 상기 제1 및 제2 색상의 휘도정보에 기초하여 다중색상의 이미지를 얻는 이미지 처리 장치.
  6. 삭제
  7. 제1항에 있어서,
    상기 제3 합성부는 상기 제1 합성부에 의해 합성된 이미지와 상기 제2 합성부에 의해 합성된 이미지에 대한 합성 동작을 수행한 후에 합성된 이미지의 휘도정보에 기초하여 상기 제1 및 제2 이미지 센서의 최종 노출값을 결정하는 이미지 처리 장치.
  8. 제1항에 있어서,
    상기 제1 이미지 센서는 소정의 주기마다 셔터의 개폐속도를 조절하여 상기 복수의 단일색상 이미지의 노출값을 조절하고,
    상기 제2 이미지 센서는 소정의 주기마다 셔터의 개폐속도를 조절하여 상기 복수의 다중색상 이미지의 노출값을 조절하는 이미지 처리 장치.
  9. 노출값(exposure value)이 서로 다른 복수의 단일색상 이미지를 얻는 단계;
    노출값이 서로 다른 복수의 다중색상 이미지를 얻는 단계;
    상기 복수의 단일색상 이미지로부터 다이나믹 레인지가 확장된 단일색상 이미지를 얻는 단계;
    상기 복수의 다중색상 이미지로부터 다이나믹 레인지가 확장된 다중색상 이미지를 얻는 단계; 및
    상기 다이나믹 레인지가 확장된 단일색상 이미지와 상기 다이나믹 레인지가 확장된 다중색상 이미지를 합성하는 단계; 를 포함하고,
    상기 합성하는 단계는 상기 다이나믹 레인지가 확장된 다중색상 이미지에서 포화 현상이 발생한 영역에 상기 다이나믹 레인지가 확장된 단일색상 이미지에서 상기 영역에 대응되는 영역의 휘도정보를 적용하는 이미지 처리 방법.
KR1020160102286A 2016-08-11 2016-08-11 이미지 처리 장치 및 이미지 처리 방법 KR101823256B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160102286A KR101823256B1 (ko) 2016-08-11 2016-08-11 이미지 처리 장치 및 이미지 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160102286A KR101823256B1 (ko) 2016-08-11 2016-08-11 이미지 처리 장치 및 이미지 처리 방법

Publications (1)

Publication Number Publication Date
KR101823256B1 true KR101823256B1 (ko) 2018-01-29

Family

ID=61028269

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160102286A KR101823256B1 (ko) 2016-08-11 2016-08-11 이미지 처리 장치 및 이미지 처리 방법

Country Status (1)

Country Link
KR (1) KR101823256B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022025574A1 (ko) * 2020-07-28 2022-02-03 삼성전자 주식회사 이미지 센서와 이미지 시그널 프로세서를 포함하는 전자 장치 및 그의 방법
US11288782B2 (en) 2019-09-23 2022-03-29 Samsung Electronics Co., Ltd. Electronic device for performing video HDR processing based on image data obtained by plurality of image sensors

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013145487A1 (ja) * 2012-03-27 2013-10-03 ソニー株式会社 画像処理装置、撮像素子、および画像処理方法、並びにプログラム
JP2015033064A (ja) * 2013-08-05 2015-02-16 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記憶媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013145487A1 (ja) * 2012-03-27 2013-10-03 ソニー株式会社 画像処理装置、撮像素子、および画像処理方法、並びにプログラム
JP2015033064A (ja) * 2013-08-05 2015-02-16 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記憶媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11288782B2 (en) 2019-09-23 2022-03-29 Samsung Electronics Co., Ltd. Electronic device for performing video HDR processing based on image data obtained by plurality of image sensors
WO2022025574A1 (ko) * 2020-07-28 2022-02-03 삼성전자 주식회사 이미지 센서와 이미지 시그널 프로세서를 포함하는 전자 장치 및 그의 방법

Similar Documents

Publication Publication Date Title
US20160005362A1 (en) Determination Of Optical Condition And Adjustment Of Display
US9443323B2 (en) Image processing apparatus, image processing method and recording medium
US20160105656A1 (en) White balance method in multi-exposure imaging system
KR101629825B1 (ko) Ｈｄｒ 기능을 이용한 차량용 디스플레이 장치 및 방법
JP2002027491A (ja) 画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体
US10382671B2 (en) Image processing apparatus, image processing method, and recording medium
US7929025B2 (en) Automatic white balance control system, automatic white balance module, and method thereof
JP2015172926A (ja) 画像処理方法および画像処理装置
US10721449B2 (en) Image processing method and device for auto white balance
CN112218065B (zh) 图像白平衡方法、***、终端设备及存储介质
JP2007104151A (ja) 画像処理装置および画像処理プログラム
US7884837B2 (en) Method and apparatus for correcting spatial non-uniformity in display device
US9460523B1 (en) Image processing device, image processing method, and non-transitory computer-readable medium
US10510281B2 (en) Image processing apparatus and method, and electronic device
KR101715489B1 (ko) 화상 생성 장치 및 화상 생성 방법
KR101823256B1 (ko) 이미지 처리 장치 및 이미지 처리 방법
US11019254B2 (en) Image processing apparatus, control method for image processing apparatus, and storage medium having correction of effect of virtual light source
CN113542709B (zh) 投影图像亮度调整方法、装置、存储介质及投影设备
US8805063B2 (en) Method and apparatus for detecting and compensating for backlight frame
JP5930991B2 (ja) 撮像装置、撮像システムおよび撮像方法
CN107239248B (zh) 显示装置和方法
CN111489673A (zh) 显示装置及其显示方法
CN115587948A (zh) 一种图像暗场校正方法及设备
JPWO2010058678A1 (ja) 指定色領域画定回路、検出回路及びそれを用いた画像処理装置
TWI764484B (zh) 雙感測器攝像系統及其校準方法

Legal Events

Date Code Title Description
GRNT Written decision to grant