KR20100060140A - 영상 처리 장치에서의 광역 역광 보정 영상 획득 장치 및 방법 - Google Patents

영상 처리 장치에서의 광역 역광 보정 영상 획득 장치 및 방법 Download PDF

Info

Publication number
KR20100060140A
KR20100060140A KR1020080118603A KR20080118603A KR20100060140A KR 20100060140 A KR20100060140 A KR 20100060140A KR 1020080118603 A KR1020080118603 A KR 1020080118603A KR 20080118603 A KR20080118603 A KR 20080118603A KR 20100060140 A KR20100060140 A KR 20100060140A
Authority
KR
South Korea
Prior art keywords
image
wdr
exposure time
images
different exposure
Prior art date
Application number
KR1020080118603A
Other languages
English (en)
Inventor
송관웅
주영훈
김용석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080118603A priority Critical patent/KR20100060140A/ko
Priority to US12/626,133 priority patent/US20100128108A1/en
Publication of KR20100060140A publication Critical patent/KR20100060140A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 영상 처리 장치에 관한 것으로, 특히 영상 처리 장치에서 WDR 영상을 획득하는 장치 및 방법에 관한 것이다.
본 발명에 따른 영상 처리 장치에서의 광역 역광 보정(Wide Dynamic Range : WDR) 영상 획득 방법은, 적어도 두 개의 촬상 소자로 구성된 스테레오 카메라에 의해 연속하는 프레임들 각각에 대응하는 영상을 서로 다른 노출 시간에 의해 촬영하는 과정과, 매 프레임 별로 촬영된 서로 다른 노출 시간에 의해 촬영된 영상들 간의 상관관계를 확인하는 과정과, 상기 상관관계를 고려하여 상기 서로 다른 노출 시간에 의해 촬영된 영상들을 하나의 영상으로 합성하는 과정을 포함한다.
영상 처리 장치, 영상, WDR, 노출 시간.

Description

영상 처리 장치에서의 광역 역광 보정 영상 획득 장치 및 방법{APPARATUS AND METHOD FOR ACQUIRING WIDE DYNAMIC RANGE VIDEO IMAGE IN IMAGE PROCESSING APPARATUS}
본 발명은 영상 처리 장치에 관한 것으로, 특히 영상 처리 장치에서 WDR 영상을 획득하는 장치 및 방법에 관한 것이다.
최근 디지털 카메라, 디지털 캠코더, 카메라 폰 등을 포함하는 디지털 영상 처리 장치의 사용자 수요가 급격히 증대되면서 그 기능들이 갈수록 다양화되고 지능화되고 있다.
하지만 영상 처리 장치는, 획득 할 수 있는 동적영역이 실제 장면의 동적 영역에 비해 매우 작기 때문에 실제 장면에 대한 모든 정보를 처리하기에 부족하다. 특히 영상 처리 장치는 역광 등의 열화상태에서 영상을 취득하는 경우에는, 영상의 가장 밝은 부분과 어두운 부분에 대해서 충분한 정보의 획득이 불가능하며 이로 인해 해당 영역의 화질이 심각하게 열화되는 단점이 있다.
이에 상기 단점을 극복하기 위해 영상 처리 장치에서 광역 역광 보정(Wide Dynamic Range : 이하, WDR) 기법을 이용한다.
상기 WDR 기법은 두 장 이상의 영상을 이용하여 영상의 화질을 향상시키는 방법으로, 서로 다른 노출 시간에 의해 획득된 영상들을 바탕으로 동적 영역을 넓혀 영상의 화질을 향상시키는 방법이다.
도 1은 종래 영상 처리 장치에서 WDR 기법을 이용하여 영상을 획득하는 예를 보이고 있다.
도 1을 참조하면, 종래 영상 처리 장치는 긴 노출시간에 의해 획득한 밝은 영상(110)과 짧은 노출시간에 의해 획득한 어두운 영상(130)을 이용하여 WDR 영상(150)을 획득한다.
상기 설명한 바와 같이 종래 영상 처리 장치에서 정지된 피사체에 대한 영상들을 이용하여 WDR 영상을 획득할 수 있다.
그러나, 영상 처리 장치에서 움직이는 피사체에 대한 영상을 이용하여 WDR 영상을 획득하고자 하는 경우, 두 장의 영상을 연속적으로 획득해야 하기 때문에 사용자 손 떨림에 의하여 동일한 영상 획득이 쉽지 않고, 비디오의 특성 상 많은 모션 블러링(motion blurring)이 발생하게 된다.
이에 따라 영상 처리 장치에서 영상을 이용하여 효율적으로 WDR 영상을 획득하기 위한 방안이 요구된다.
본 발명에서는 영상 처리 장치에서 WDR 영상을 획득하는 방법 및 장치를 제안한다.
또한 본 발명에서는 영상 처리 장치에서 스테레오 카메라 기반의 WDR 영상을 획득하는 방법 및 장치를 제안한다.
본 발명에 따른 영상 처리 장치에서의 광역 역광 보정(Wide Dynamic Range : WDR) 영상 획득 장치는, 연속하는 프레임들 각각에 대응하는 영상을 서로 다른 노출 시간에 의해 촬영하는 적어도 두 개의 촬상 소자로 구성된 스테레오 카메라와, 상기 스테레오 카메라를 구성하는 적어도 두 개의 촬상 소자 각각에 대해 서로 다른 노출 시간을 제공하고, 상기 스테레오 카메라를 구성하는 적어도 두 개의 촬상 소자 각각에 의해 매 프레임 별로 촬영된 영상들을 획득하며, 상기 획득된 영상들을 프레임 단위로 출력하는 영상 획득부와, 상기 매 프레임 별로 서로 다른 노출 시간에 의해 촬영된 영상들 간의 상관관계를 확인하고, 상기 상관관계를 고려하여 상기 서로 다른 노출 시간에 의해 촬영된 영상들을 하나의 영상으로 합성하는 WDR 처리부를 포함한다.
또한 본 발명에 따른 영상 처리 장치에서의 광역 역광 보정(Wide Dynamic Range : WDR) 영상 획득 방법은, 적어도 두 개의 촬상 소자로 구성된 스테레오 카메라에 의해 연속하는 프레임들 각각에 대응하는 영상을 서로 다른 노출 시간에 의 해 촬영하는 과정과, 매 프레임 별로 촬영된 서로 다른 노출 시간에 의해 촬영된 영상들 간의 상관관계를 확인하는 과정과, 상기 상관관계를 고려하여 상기 서로 다른 노출 시간에 의해 촬영된 영상들을 하나의 영상으로 합성하는 과정을 포함한다.
본 발명은 스테레오 카메라를 이용하여 동일한 영상을 동일시간에 촬영할 수 있으므로, 인접한 두 프레임 간에 긴 노출 시간으로 인해 모션 블러링 등의 현상이 발생되지 않으며, 결과적으로 영상들 간의 잘못된 조합(mismatch)이 발생되지 않는다.
또한 본 발명은 스테레오 카메라를 이용한 WDR 영상 획득 시 가상 노출 프레임을 생성하지 않아도 되고, 상관관계 확인 시 이전 프레임의 상관관계를 이용할 수 있으므로, 연산량을 감소시켜 버퍼링(buffering) 시간 및 처리 시간을 감소시킴으로써 실시간으로 WDR 영상을 획득할 수 있다.
또한 본 발명은 동일한 프레임 내의 상관관계를 이용할 수 있기 때문에 매칭 포인트 선택이 쉽고, 정확하게 할 수 있다.
또한 본 발명은 움직이는 피사체에 대하여 WDR 영상을 획득하므로 영상에 변화(Scene change)가 발생한 경우에도 WDR 영상을 획득 할 수 있다.
또한 본 발명은 기존 단말에 구비된 스테레오 카메라를 이용하여 용이하게 구현 할 수 있다.
이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
본 발명의 주된 요지는, 영상 처리 장치에서 스테레오 카메라를 통해 프레임 별로 서로 다른 노출 시간 동안 획득된 영상들(긴 노출시간 동안 획득된 밝은 영상(L), 짧은 노출시간 동안 획득된 어두운 영상(S))을 합성하여 WDR 영상을 획득하는 것이다.
도 2는 본 발명의 실시 예에 따른 영상 처리 장치를 간략하게 보이고 있다.
도 2를 참조하면, 영상 처리 장치는 스테레오 카메라(210)와, 영상 획득부(230)와, WDR 처리부(250)와, 표시부(270)를 포함한다.
상기 스테레오 카메라(210)는 한 쌍의 촬상 소자, 즉 제1 렌즈(201)와 제2 렌즈(203)를 포함하고, 상기 제1 렌즈(201) 및 제2 렌즈(203)를 통해 영상들을 프레임 별로 촬영한다. 여기서, 상기 제1 렌즈(201) 및 제2 렌즈(203)는 움직이는 피사체에 대한 비디오 영상(Video sequence) 및 정지된 피사체에 대한 스틸 영상(Still image)을 모두 촬영할 수 있는 촬상 소자이다. 따라서 상기 제1 렌즈(201) 및 제2 렌즈(203)를 통해 촬영된 상기 영상들은, 비디오 영상들 및 스틸 영상들 중 어느 하나이다.
그리고, 상기 스테레오 카메라(210)는 상기 제1 렌즈(201)와 상기 제2 렌즈(203)를 통해 프레임 별로 서로 다른 노출 시간에 의해 영상들(S, L)을 촬영하여 영상 획득부(230)로 출력한다. 이때, 상기 노출 시간은 영상 획득부(230)의 제어 신호에 의해 제어된다.
예컨대 상기 제1 렌즈(201)가 긴 노출 시간에 의해 영상을 촬영하였다면, 상기 제2 렌즈(203)는 짧은 노출 시간에 의해 영상을 촬영한다. 그리고 상기 제1 렌즈(201)가 짧은 노출 시간에 의해 영상을 촬영하였다면, 상기 제2 렌즈(203)는 긴 노출 시간에 의해 영상을 촬영한다. 즉 상기 제 1 렌즈(201) 및 제 2 렌즈(203)의 노출 시간은 상이하게 결정된다.
또한 상기 제 1 렌즈(201)는 짧은 노출 시간에 의해 현재 프레임에 대응한 영상을 촬영하였다면, 다음 프레임에서는 긴 노출 시간에 의해 영상을 촬영할 것이다. 그리고 상기 제 2 렌즈(203)는 긴 노출 시간에 의해 현재 프레임에 대응한 영상을 촬영하였다면, 다음 프레임에서는 짧은 노출 시간에 의해 영상을 촬영할 것이다.
한편, 상기 스테레오 카메라(310)는 도 6과 같이 단말에 구현될 수 있다.
도 6은 본 발명의 실시 예에 따른 스테레오 카메라를 단말에 구현하는 예를 보이고 있다.
일반적으로, 3G 단말은 이미지 또는 비디오 촬영용 카메라와, 화상 통신용 카메라를 모두 포함한다. 이에 따라 도 6과 같이, 단말에서 적어도 하나의 카메라를 회전 기구에 의해 180도 회전이 가능하도록 설계하여, 두 개의 카메라가 동일한 방향에 위치하는 경우 스테레오 카메라와 동일한 기능을 하도록 구현할 수 있다.
상기 영상 획득부(230)는 도 3에 나타낸 바와 같이 동일한 프레임에서의 영상들이 서로 다른 노출 시간(exposure time)을 갖도록 제어하기 위한 제어 신호를 상기 스테레오 카메라(210)로 전달한다.
또한 상기 영상 획득부(230)는 상기 스테레오 카메라(310)를 구성하는 두 개의 렌즈 각각에 대해 매 프레임 별로 서로 다른 노출 시간이 교변적으로 제공될 수 있도록 제어 신호를 출력한다.
예컨대 임의의 프레임에 대응한 영상을 촬영하기 위해 상기 제1 렌즈(201)에 대해서는 긴 노출 시간을 갖도록 하고, 상기 제2 렌즈(203)에 대해서는 짧은 노출 시간을 갖도록 하는 제어 신호를 상기 스테레오 카메라(210)로 전달한다. 그리고 다음 프레임에 대응한 영상을 촬영하기 위해서는 상기 제1 렌즈(201)에 대해서는 짧은 노출 시간을 갖도록 하고, 상기 제2 렌즈(203)에 대해서는 긴 노출 시간을 갖도록 하는 제어 신호를 상기 스테레오 카메라(210)로 전달한다.
도 3에서는 본 발명의 실시 예에 따른 제1 및 제2 렌즈의 노출 시간을 제어하는 일 예를 보이고 있다.
도 3에 나타낸 제어 신호는, 스테레오 카메라(210)의 제1 렌즈(201)과 제2 렌즈(203)에서 동일한 프레임에서의 영상들이 서로 다른 노출 시간을 갖도록, 프레임들 간 영상들의 노출 시간을 지그재그 형태로 제어하는 신호이다.
이때, 도 3에서 지그재그 형태에 대한 시간은 피사체의 속도 및 카메라 동작 속도(렌즈의 동작 속도)에 따라 변경될 수 있다. 예컨대 피사체의 속도 및 카메라의 동작 속도에 반비례하여 긴 노출 시간과 짧은 노출 시간을 변경할 수 있다. 즉 피사체의 속도 및 카메라의 동작 속도가 증가할 수록 긴 노출 시간과 짧은 노출 시간을 감소시키고, 피사체의 속도 및 카메라의 동작 속도가 감소할 수록 긴 노출 시 간과 짧은 노출 시간을 증가시키는 것이 바람직하다.
이에 따라, 상기 영상 획득부(230)는 상기와 같이 지그재그 형태로 영상들의 노출 시간을 제어하는 경우, 상기 스테레오 카메라(210)로부터 동일한 프레임에서 서로 다른 노출 시간에 의해 촬영된 영상들을 획득할 수 있으며, 동일한 프레임에서 촬영되는 영상들의 노출시간이 서로 다르므로 프레임 별 노출시간 차이에 대한 영상들의 정렬을 수행하지 않아도 된다.
상기 WDR 처리부(250)는 동일한 프레임에서 상기 서로 다른 노출 시간에 의해 촬영된 영상들을 이용하여 도 4에서와 같이 WDR 기법을 통해 WDR 영상을 획득한다. 그리고 상기 획득된 WDR 영상은 표시부(270)를 통해 사용자에게 제공된다.
이하, 도 4를 참조하여 상기 WDR 처리부(250)에서 WDR 영상을 획득하는 방식에 대하여 설명하기로 한다.
도 4는 본 발명의 실시 예에 따른 WDR 영상을 획득하기 위한 WDR 기법을 보이고 있다.
도 4를 참조하면, WDR 처리부(250)는 프레임별로 서로 다른 노출 시간 동안 획득된 영상들(S, L)들을 합성하여 WDR 영상을 획득한다.
상기 WDR 처리부(250)에서 수행되는 WDR 기법을 상세하게 설명하면, 서로 다른 노출 시간 동안 획득된 영상들(S, L) 간의 상관관계를 확인하고, 상기 확인된 상관관계를 고려하여 각 영상에서 매칭 포인트(maching point)를 선택한다.
이때 상기 WDR 처리부(250)는 상기 상관관계를 확인 시, 다른 프레임(즉, 시 간)에서 서로 다른 영상들간의 상관관계(Ct1, C t2, C t3, C t4)보다 동일한 프레임에서 서로 다른 영상들간의 상관관계(C s1, C s2, C s3, Cs4, Cs5)가 더 크기 때문에 동일한 프레임에서 서로 다른 노출 시간 동안 획득된 영상들간의 상관관계(C s1, C s2, C s3, Cs4, Cs5)를 확인한다.
그리고, 동일한 프레임에서 서로 다른 노출 시간 동안 획득된 영상들간의 상관관계들(C s1, C s2, C s3, Cs4, Cs5)은 서로 매우 유사한 성격을 갖고 있으므로, WDR 처리부(250)는 C s1을 고려하여 C s2를 확인할 수 있다. 즉, WDR 처리부(250)는 최초 프레임을 제외한 나머지 프레임에 대한 C s는 이전 C s를 고려하여 확인할 수 있으며, 이로 인해 본 발명은 전체적인 연산량을 감소시킬 수 있다.
그리고, WDR 처리부(250)는 각 영상에서 선택된 매칭 포인트에 대해서 현재 상태에 맞게 미리 정의된 에너지를 최소화 시키도록 카메라 응답 함수(camera response function)를 생성한 후, 상기 생성된 카메라 응답 함수에 따라 노출시간 및 화소 값을 이용하여 WDR 화소 값에 매핑하여 WDR 영상을 획득한다.
도 5는 본 발명의 실시 예에 따른 영상 처리 방법을 나타낸 순서도이다.
도 5를 참조하면, 501 단계에서 스테레오 카메라(201)는 영상 획득부(230)로부터 전달된 제어 신호에 의해 제1 렌즈(201)와 제2 렌즈(203)를 통해 프레임 별로 서로 다른 노출 시간에 의해 영상들을 촬영한다. 그리고 503 단계에서 영상 획득부(230)는 상기 서로 다른 노출 시간에 의해 촬영된 영상들을 획득한다.
505 단계에서 WDR 처리부(250)는 동일한 프레임에서 서로 다른 노출 시간에 의해 촬영된 영상들 간의 상관관계를 확인하고, 507 단계에서 WDR 처리부(250)는 상기 확인된 상관관계를 고려하여 각 영상에서 매칭 포인트를 선택한다. 그리고 509 단계에서 WDR 처리부(250)는 상기 각 영상에서 선택된 매칭 포인트에 대해서 현재 상태에 맞게 미리 정의된 에너지를 최소화 시키도록 카메라 응답 함수를 생성한다. 511 단계에서 WDR 처리부(250)는 상기 생성된 카메라 응답 함수에 따라 노출시간 및 화소 값을 이용하여 WDR 화소 값에 매핑하여 513 단계에서 WDR 처리부(250)는 WDR 영상을 획득한다. 여기서, 획득된 WDR 영상을 출력부(270)를 통해 사용자에게 제공된다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허 청구의 범위뿐만 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.
예컨대 전술한 상세한 설명에서는 스테레오 카메라가 두 개의 촬상 소자로 구성된 경우만을 가정하고 있다. 하지만 그 이상의 촬상 소자에 의해 구성된 스테레오 카메라에 대해서도 본 발명을 동일하게 적용할 수 있을 것이다. 단지 스테레오 카메라를 구성하는 촬상 소자의 개수가 증가할 경우, 노출 시간을 촬상 소자의 개수에 대응하여 세분화할 필요가 있다.
도 1은 종래 영상 처리 장치에서 WDR 기법을 이용하여 영상을 획득하는 예를 나타낸 도면,
도 2는 본 발명의 실시 예에 따른 영상 처리 장치를 간략히 나타낸 블럭도,
도 3은 제 본 발명의 실시 예에 따른 제1 및 제2 렌즈의 노출 시간을 제어하는 일 예를 나타낸 도면,
도 4는 본 발명의 실시 예에 따른 WDR 영상을 획득하기 위한 WDR 기법을 나타낸 도면,
도 5는 본 발명의 실시 예에 따른 영상 처리 방법을 나타낸 순서도,
도 6은 본 발명의 실시 예에 따른 스테레오 카메라를 단말에 구현하는 예를 나타낸 도면.

Claims (16)

  1. 영상 처리 장치에서의 광역 역광 보정(Wide Dynamic Range : WDR) 영상 획득 장치에 있어서,
    연속하는 프레임들 각각에 대응하는 영상을 서로 다른 노출 시간에 의해 촬영하는 적어도 두 개의 촬상 소자로 구성된 스테레오 카메라와,
    상기 스테레오 카메라를 구성하는 적어도 두 개의 촬상 소자 각각에 대해 서로 다른 노출 시간을 제공하고, 상기 스테레오 카메라를 구성하는 적어도 두 개의 촬상 소자 각각에 의해 매 프레임 별로 촬영된 영상들을 획득하며, 상기 획득된 영상들을 프레임 단위로 출력하는 영상 획득부와,
    상기 매 프레임 별로 서로 다른 노출 시간에 의해 촬영된 영상들 간의 상관관계를 확인하고, 상기 상관관계를 고려하여 상기 서로 다른 노출 시간에 의해 촬영된 영상들을 하나의 영상으로 합성하는 WDR 처리부를 포함하는 WDR 영상 획득 장치.
  2. 제 1 항에 있어서,
    상기 영상 획득부는 상기 스테레오 카메라를 구성하는 적어도 두 개의 촬상 소자 각각에 대해 매 프레임 별로 서로 다른 노출 시간을 교변적으로 제공함을 특징으로 하는 WDR 영상 획득 장치.
  3. 제 1 항 또는 제 2 항 중 어느 한 항에 있어서,
    상기 영상 획득부는 임의의 프레임에 대응하는 영상들을 촬영하기 위해 노출 시간을 제공함에 있어, 상기 스테레오 카메라를 구성하는 적어도 두 개의 촬상 소자 중 하나의 촬상 소자에 대해서는 긴 노출 시간을 제공하고, 나머지 촬상 소자 중 하나의 촬상 소자에 대해서는 짧은 노출 시간을 제공함을 특징으로 하는 WDR 영상 획득 장치.
  4. 제 3 항에 있어서,
    상기 영상 획득부는 촬영하고자 하는 피사체의 움직임 속도 및 촬상 소자의 동작 속도를 고려하여 상기 긴 노출 시간과 상기 짧은 노출 시간을 결정함을 특징으로 하는 WDR 영상 획득 장치.
  5. 제 1 항 또는 제 2 항 중 어느 한 항에 있어서, 상기 WDR 처리부는,
    상기 매 프레임 별로 서로 다른 노출 시간에 의해 촬영된 영상들 간의 상관관계를 확인하고,
    상기 상관관계에 따라 상기 서로 다른 노출 시간에 의해 촬영된 영상들 상호 간의 매칭 포인트를 선택하고,
    상기 선택된 매칭 포인트에 대해서 카메라 응답 함수를 생성하고,
    상기 생성된 카메라 응답 함수에 따라 상기 각 영상의 노출 시간 및 화소 값을 이용하여 WDR 화소 값에 매핑하여 상기 서로 다른 노출 시간 동안 획득된 영상 들을 합성함을 특징으로 하는 WDR 영상 획득 장치.
  6. 제 3 항에 있어서,
    상기 스테레오 카메라를 구성하는 적어도 두 개의 촬상 소자 중 하나의 촬상 소자는 비디오 촬영을 위한 촬상 소자이며, 나머지 촬상 소자 중 하나의 촬상 소자는 화상 통신을 위한 촬상 소자임을 특징으로 하는 WDR 영상 획득 장치.
  7. 제 6 항에 있어서,
    상기 비디오 촬영을 위한 촬상 소자와 상기 화상 통신을 위한 촬상 소자 중 어느 하나의 촬상 소자는 회전 기구에 의해 회전되도록 함으로써, 상기 비디오 촬영을 위한 촬상 소자와 상기 화상 통신을 위한 촬상 소자가 동일한 방향에 위치하는 것이 가능하도록 함을 특징으로 하는 WDR 영상 획득 장치.
  8. 제 1 항에 있어서, 상기 촬영된 영상들은,
    비디오 영상들 및 스틸 영상들 중 어느 하나임을 특징으로 하는 WDR 영상 획득 장치.
  9. 영상 처리 장치에서의 광역 역광 보정(Wide Dynamic Range : WDR) 영상 획득 방법에 있어서,
    적어도 두 개의 촬상 소자로 구성된 스테레오 카메라에 의해 연속하는 프레 임들 각각에 대응하는 영상을 서로 다른 노출 시간에 의해 촬영하는 과정과,
    매 프레임 별로 촬영된 서로 다른 노출 시간에 의해 촬영된 영상들 간의 상관관계를 확인하는 과정과,
    상기 상관관계를 고려하여 상기 서로 다른 노출 시간에 의해 촬영된 영상들을 하나의 영상으로 합성하는 과정을 포함하는 WDR 영상 획득 방법.
  10. 제 9 항에 있어서,
    상기 스테레오 카메라를 구성하는 적어도 두 개의 촬상 소자 각각의 노출 시간은 매 프레임 별로 서로 다른 노출 시간이 교변적으로 적용됨을 특징으로 하는 WDR 영상 획득 방법.
  11. 제 9 항 또는 제 10 항 중 어느 한 항에 있어서,
    임의의 프레임에 대응하는 영상들을 촬영하기 위해, 상기 스테레오 카메라를 구성하는 적어도 두 개의 촬상 소자 중 하나의 촬상 소자에 대해서는 긴 노출 시간이 적용되고, 나머지 촬상 소자 중 하나의 촬상 소자에 대해서는 짧은 노출 시간이 적용됨을 특징으로 하는 WDR 영상 획득 방법.
  12. 제 11 항에 있어서,
    상기 긴 노출 시간과 상기 짧은 노출 시간은 촬영하고자 하는 피사체의 움직임 속도 및 촬상 소자의 동작 속도를 고려하여 결정함을 특징으로 하는 WDR 영상 획득 방법.
  13. 제 9 항 또는 제 10 항 중 어느 한 항에 있어서, 상기 합성하는 과정은,
    상기 상관관계에 따라 상기 서로 다른 노출 시간에 의해 촬영된 영상들 상호 간의 매칭 포인트를 선택하고,
    상기 선택된 매칭 포인트에 대해서 카메라 응답 함수를 생성하고,
    상기 생성된 카메라 응답 함수에 따라 상기 각 영상의 노출 시간 및 화소 값을 이용하여 WDR 화소 값에 매핑하여 상기 서로 다른 노출 시간 동안 획득된 영상들을 합성함을 특징으로 하는 WDR 영상 획득 방법.
  14. 제 11 항에 있어서,
    상기 스테레오 카메라를 구성하는 적어도 두 개의 촬상 소자 중 하나의 촬상 소자는 비디오 촬영을 위한 촬상 소자이며, 나머지 촬상 소자 중 하나의 촬상 소자는 화상 통신을 위한 촬상 소자임을 특징으로 하는 WDR 영상 획득 방법.
  15. 제 14 항에 있어서,
    상기 비디오 촬영을 위한 촬상 소자와 상기 화상 통신을 위한 촬상 소자 중 어느 하나의 촬상 소자는 회전 기구에 의해 회전되도록 함으로써, 상기 비디오 촬영을 위한 촬상 소자와 상기 화상 통신을 위한 촬상 소자가 동일한 방향에 위치하는 것이 가능하도록 함을 특징으로 하는 WDR 영상 획득 방법.
  16. 제 9 항에 있어서, 상기 촬영된 영상들은,
    비디오 영상 및 스틸 영상 중 어느 하나임을 특징으로 하는 WDR 영상 획득 방법.
KR1020080118603A 2008-11-27 2008-11-27 영상 처리 장치에서의 광역 역광 보정 영상 획득 장치 및 방법 KR20100060140A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080118603A KR20100060140A (ko) 2008-11-27 2008-11-27 영상 처리 장치에서의 광역 역광 보정 영상 획득 장치 및 방법
US12/626,133 US20100128108A1 (en) 2008-11-27 2009-11-25 Apparatus and method for acquiring wide dynamic range image in an image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080118603A KR20100060140A (ko) 2008-11-27 2008-11-27 영상 처리 장치에서의 광역 역광 보정 영상 획득 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20100060140A true KR20100060140A (ko) 2010-06-07

Family

ID=42195867

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080118603A KR20100060140A (ko) 2008-11-27 2008-11-27 영상 처리 장치에서의 광역 역광 보정 영상 획득 장치 및 방법

Country Status (2)

Country Link
US (1) US20100128108A1 (ko)
KR (1) KR20100060140A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190075034A (ko) * 2019-06-20 2019-06-28 주식회사 아이닉스 차량용 영상 생성 장치 및 방법
CN113657427A (zh) * 2021-06-29 2021-11-16 东风汽车集团股份有限公司 一种车内多源图像融合识别方法及装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5367640B2 (ja) * 2010-05-31 2013-12-11 パナソニック株式会社 撮像装置および撮像方法
US9210322B2 (en) 2010-12-27 2015-12-08 Dolby Laboratories Licensing Corporation 3D cameras for HDR
EP2975845A1 (en) 2014-07-17 2016-01-20 Thomson Licensing 3d high dynamic range image capture system
US9716819B2 (en) 2014-09-29 2017-07-25 Samsung Electronics Co., Ltd. Imaging device with 4-lens time-of-flight pixels and interleaved readout thereof
CN105578023A (zh) * 2015-05-27 2016-05-11 宇龙计算机通信科技(深圳)有限公司 一种快速拍摄图像方法及装置
KR102412020B1 (ko) 2015-09-25 2022-06-22 삼성전자주식회사 이미지 센서의 파라미터 제어 방법
CN105872393A (zh) * 2015-12-08 2016-08-17 乐视移动智能信息技术（北京）有限公司 高动态范围图像的生成方法和装置
CN107483839B (zh) * 2016-07-29 2020-08-07 Oppo广东移动通信有限公司 多帧图像合成方法和装置
CN108184075B (zh) * 2018-01-17 2019-05-10 百度在线网络技术（北京）有限公司 用于生成图像的方法和装置
US10609299B1 (en) * 2018-09-17 2020-03-31 Black Sesame International Holding Limited Method of measuring light using dual cameras
CN112700394A (zh) * 2020-12-24 2021-04-23 杭州艾芯智能科技有限公司 深度相机宽动态方法、***、计算机设备和存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3830689B2 (ja) * 1999-05-25 2006-10-04 三菱電機株式会社 ステレオカメラ
US6785427B1 (en) * 2000-09-20 2004-08-31 Arcsoft, Inc. Image matching using resolution pyramids with geometric constraints
FR2821167B1 (fr) * 2001-02-16 2003-12-05 Immervision Internat Pte Ltd Dispositif support d'appareil photographique
DE10239157C1 (de) * 2002-08-27 2003-11-27 Lumberg Connect Gmbh & Co Kg Schaltvorrichtung
US7557832B2 (en) * 2005-08-12 2009-07-07 Volker Lindenstruth Method and apparatus for electronically stabilizing digital images
US7978239B2 (en) * 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
US8063941B2 (en) * 2007-08-06 2011-11-22 Microsoft Corporation Enhancing digital images using secondary optical systems
US8253824B2 (en) * 2007-10-12 2012-08-28 Microsoft Corporation Multi-spectral imaging

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190075034A (ko) * 2019-06-20 2019-06-28 주식회사 아이닉스 차량용 영상 생성 장치 및 방법
CN113657427A (zh) * 2021-06-29 2021-11-16 东风汽车集团股份有限公司 一种车内多源图像融合识别方法及装置
CN113657427B (zh) * 2021-06-29 2024-01-23 东风汽车集团股份有限公司 一种车内多源图像融合识别方法及装置

Also Published As

Publication number Publication date
US20100128108A1 (en) 2010-05-27

Similar Documents

Publication Publication Date Title
KR20100060140A (ko) 영상 처리 장치에서의 광역 역광 보정 영상 획득 장치 및 방법
JP6911202B2 (ja) 撮像制御方法および撮像装置
CN106713755B (zh) 全景图像的处理方法及装置
US7825969B2 (en) Image stabilization using multi-exposure pattern
KR100886298B1 (ko) 영상 프로세서 및 영상 처리 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
WO2018147581A1 (en) Method and apparatus for selecting capture configuration based on scene analysis
TWI446098B (zh) 成像裝置及其快門驅動模式選擇方法
CN107948500A (zh) 图像处理方法和装置
JP5950678B2 (ja) 撮像装置、制御方法、及びプログラム
JP2000050151A (ja) 撮像装置
KR20110052507A (ko) 촬상장치 및 촬상방법
CN107509044A (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
CN110198418A (zh) 图像处理方法、装置、存储介质及电子设备
WO2019124289A1 (ja) 装置、制御方法および記憶媒体
CN110290325A (zh) 图像处理方法、装置、存储介质及电子设备
KR20090086349A (ko) 촬상장치 및 촬상방법
JP7142507B2 (ja) 画像処理装置および画像処理方法、ならびに撮像装置
CN108513062B (zh) 终端的控制方法及装置、可读存储介质和计算机设备
CN110930440B (zh) 图像对齐方法、装置、存储介质及电子设备
JP2007306436A (ja) 撮像装置
JP2016208118A (ja) 画像処理装置、画像処理方法及びプログラム
JP2015041869A (ja) 撮像装置、情報処理方法及びプログラム
JP2014176003A (ja) 撮像装置
JP2014027460A (ja) 撮像装置、カメラシステム、撮像装置の制御方法、プログラム、記憶媒体
JP7478006B2 (ja) 撮像装置及びその制御方法、プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application