KR101614914B1 - 모션 적응적 고대비 영상 획득 장치 및 방법 - Google Patents

모션 적응적 고대비 영상 획득 장치 및 방법 Download PDF

Info

Publication number
KR101614914B1
KR101614914B1 KR1020090067387A KR20090067387A KR101614914B1 KR 101614914 B1 KR101614914 B1 KR 101614914B1 KR 1020090067387 A KR1020090067387 A KR 1020090067387A KR 20090067387 A KR20090067387 A KR 20090067387A KR 101614914 B1 KR101614914 B1 KR 101614914B1
Authority
KR
South Korea
Prior art keywords
image
motion
unit
correction
images
Prior art date
Application number
KR1020090067387A
Other languages
English (en)
Other versions
KR20110009936A (ko
Inventor
오현화
최원희
이성덕
송현철
박성찬
유영진
권재현
이강의
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090067387A priority Critical patent/KR101614914B1/ko
Priority to US12/842,109 priority patent/US8462214B2/en
Publication of KR20110009936A publication Critical patent/KR20110009936A/ko
Priority to US13/485,357 priority patent/US8379094B2/en
Application granted granted Critical
Publication of KR101614914B1 publication Critical patent/KR101614914B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

모션 적응적 고대비 영상 획득 장치 및 방법이 개시된다. 본 발명의 일 양상에 따라, 상이한 노출 시간을 갖는 제 1 영상과 제 2 영상에서, 모션 발생 정도를 계산하고, 계산된 모션 발생 정도에 따라 모션 보정 강도를 조절하는 것이 가능하다. 모션 보정 강도는 글로벌 모션 보정, 로컬 모션 보정, 및 글로벌/로컬 모션 보정을 포함할 수 있다. 그리고 보정이 수행된 영상을 합성하여 출력함으로써 고대비 영상을 획득하는 것이 가능하다.
모션(motion), 상겹침(artifact), 고대비(high dynamic range), 영상 처리(image processing)

Description

모션 적응적 고대비 영상 획득 장치 및 방법{Motion adaptive high dynamic range image pickup apparatus and method}
노출 시간이 상이한 두 장의 영상을 처리하는 영상 처리 기술과 관련된다.
일반적으로 동적 환경에서 영상을 촬영하게 되면 카메라가 표현할 수 있는 Dynamic Range의 한계로 인해 어두운 영역과 밝은 영역의 정보가 손실된 영상을 획득하게 된다. 현재 상용 DSC의 Dynamic Range는 50~60dB 수준이다. 이는 사람 시각의 Dynamic Range 100~120dB와 비교하여 매우 부족한 수준이다.
예컨대, 모바일 환경에서 카메라로 노출이 상이한 다수의 영상을 연속으로 획득하게 되면 카메라와 물체의 움직임으로 인해 Inter-Frame 및 Intra-Frame에서 모션이 발생한다. 따라서 상기 모션에 의한 Artifact이 없는 선명한 HDR 영상을 획득하기 위해서는 영상들에서 발생한 모션을 검출 및 보정하는 과정이 반드시 선행되어야 한다.
그러나 Inter-Frame 모션이 발생한 경우 모션 보정이나 영상합성 과정 없이 입력 영상 중에서 한 장을 선택하여 출력하는 것이 통상적이다. 또는 외부의 별도 입력이나 입력 영상의 밝기를 분석하여 합성영상을 선택적으로 출력하기도 한다.
이러한 방법은 카메라/물체 등 모션의 자유도가 높은 동적 환경에서 선명한 HDR 영상을 자동으로 획득하는데 한계가 있다.
본 명세서에서는, 동적 환경에서 카메라 또는 피사체가 움직이더라도 High Dynamic Range 영상을 획득할 수 있는 영상 획득 장치 및 방법이 개시된다.
본 발명의 일 양상에 따른 영상 획득 장치는, 상이한 노출 시간을 갖는 적어도 2 이상의 영상에서 모션 발생 정도를 계산하는 영상 분석부, 계산된 모션 발생 정도에 따라 글로벌 모션 보정만 수행하거나, 로컬 모션 보정만 수행하거나, 글로벌 모션 보정 및 로컬 모션 보정을 모두 수행하는 보정 처리부, 및 보정 처리부의 출력 영상들을 합성하는 영상 합성부를 포함할 수 있다.
또한, 계산된 모션 발생 정도가 보정 가능 범위가 아닌 경우, 영상 중 어느 하나 또는 자동 노출 영상을 선택하는 단일 영상 선택부를 더 포함할 수도 있다.
또한, 본 발명의 다른 양상에 따른 영상 획득 장치는, 상이한 노출 시간을 갖는 적어도 2 이상의 영상을 수신하고, 수신된 영상 중 어느 하나를 제 1 영상으로, 다른 하나를 제 2 영상으로 설정하고, 제 1 영상과 제 2 영상을 비교하여 제 2 영상의 모션 발생 정도를 계산하는 모션 계산부, 제 2 영상의 글로벌 모션을 보정하는 제 1 보정부, 제 2 영상의 로컬 모션을 보정하는 제 2 보정부, 제 1 보정부 또는 제 2 보정부의 출력 영상을 수신하고, 수신된 영상들을 합성하는 영상 합성부, 제 1 영상, 제 2 영상, 및 자동 노출 영상 중에서 적어도 어느 하나를 선택하는 단일 영상 선택부, 및 계산된 모션 발생 정도에 따라, 제 1 영상과 제 2 영상 이, 제 1 보정부를 거쳐 영상 합성부로 전달되도록 하거나, 제 2 보정부를 거쳐 영상 합성부로 전달되도록 하거나, 제 1 보정부 및 제 2 보정부를 거쳐 상기 영상 합성부로 전달되도록 하거나, 단일 영상 선택부로 전달되도록 제어하는 제어부를 포함할 수 있다.
또한, 본 발명의 또 다른 양상에 따른 영상 획득 장치는, 상이한 노출 시간을 갖는 적어도 2 이상의 영상을 수신하고, 수신된 영상 중 어느 하나를 제 1 영상으로, 다른 하나를 제 2 영상으로 설정하고, 제 1 영상을 기준으로 제 2 영상의 글로벌 모션을 보정하는 제 1 보정부, 제 1 영상과 글로벌 모션이 보정된 제 2 영상을 비교하여 글로벌 모션이 보정된 제 2 영상의 모션 발생 정도를 계산하는 모션 계산부, 글로벌 모션이 보정된 제 2 영상의 로컬 모션을 보정하는 제 2 보정부, 제 1 보정부 또는 제 2 보정부의 출력 영상을 수신하고, 수신된 영상들을 합성하는 영상 합성부, 제 1 영상, 제 2 영상, 및 자동 노출 영상 중에서 적어도 어느 하나를 선택하는 단일 영상 선택부, 및 계산된 모션 발생 정도에 따라, 제 1 영상과 글로벌 모션이 보정된 제 2 영상이, 영상 합성부로 전달되도록 하거나, 제 2 보정부를 거쳐 상기 영상 합성부로 전달되도록 하거나, 또는 제 1 영상과 제 2 영상이 단일 영상 선택부로 전달되도록 제어하는 제어부를 포함할 수 있다.
한편, 본 발명의 일 양상에 따른 영상 획득 방법은, 상이한 노출 시간을 갖는 제 1 영상 및 제 2 영상을 수신하는 단계, 제 1 영상을 기준으로 제 2 영상의 모션 발생 정도를 계산하는 단계, 계산된 모션 발생 정도가 보정 가능 범위 인지 여부를 판단하는 단계, 보정 가능 범위가 아닌 경우, 제 1 영상, 제 2 영상, 및 자 동 노출 영상 중 어느 하나를 선택하는 단계, 계산된 모션 발생 정도가 보정 가능 범위인 경우, 계산된 모션 발생 정도에 따라 제 2 영상에 대해 글로벌 모션 보정만 수행하거나, 로컬 모션 보정만 수행하거나, 글로벌 모션 보정과 로컬 모션 보정을 모두 수행하는 단계를 포함할 수 있다.
개시된 내용에 따르면, 삼각대와 같은 카메라 고정장치가 없거나 촬영하고자 하는 장면에 움직이는 물체가 있더라도 촬영 환경의 제약 없이 고대비의 선명한 영상을 획득하는 것이 가능하다.
나아가 고정된 형태의 카메라뿐만 아니라 DSC, DSLR, Camera Phone 등의 모바일 카메라에 적용되어 고대비 환경에서 저휘도, 고휘도 영역 모두에서 선명한 영상 촬영이 가능하도록 화질을 크게 향상시키는 효과를 얻을 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시를 위한 구체적인 예를 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 영상 획득 장치의 구성을 도시한다.
도 1을 참조하면, 영상 획득 장치(100)는 영상 분석부(101), 보정 처리부(102), 영상 합성부(103), 및 단일 영상 선택부(104)를 포함할 수 있다.
영상 획득 장치(100)는, 상이한 노출 시간을 갖는 두 장의 영상 또는 그 이상의 영상을 획득하는 영상 처리 시스템에 있어서, 카메라 또는 피사체의 움직임으로 인해 영상에서 나타나는 상겹침(Artifact)를 보정하는 회로, 응용 프로그램, 소 프트웨어 아키텍처, 하드웨어 아키텍처 등이 될 수 있다.
영상 분석부(101)는 상이한 노출 시간을 갖는 제 1 영상(I1)과 제 2 영상(I2)를 수신한다. 예를 들어, 제 1 영상(I1)은 단노출 영상이 될 수 있고, 제 2 영상(I2)은 장노출 영상이 될 수 있다.
영상 분석부(101)는 제 1 영상(I1)과 제 2 영상(I2)을 비교하여 모션 발생 정도를 계산한다. 모션 발생 정도는 제 1 영상(I1)과 제 2 영상(I2)에서 촬영 시 카메라 또는 피사체의 움직임으로 인해 달라진 픽셀(pixel)의 개수, 또는 제 1 영상(I1)과 제 2 영상(I2) 간에 추정된 모션벡터 크기 등으로 정의될 수 있다.
예컨대, 영상 분석부(101)는 제 1 영상(I1)을 기준 영상으로 설정하고, 기준 영상으로 설정된 제 1 영상(I1)과 제 2 영상(I2)을 대비하여 제 2 영상(I2)에서 제 1 영상(I1)과 일치하지 아니하는 픽셀들을 검출하고, 검출된 픽셀의 개수를 카운팅하는 것이 가능하다.
또는 제 1 영상(I1)을 기준으로 제 2 영상(I2)을 상하좌우로 이동시키면서 두 영상의 matching 정도가 최대가 될 때의 이동 방향과 크기를 글로벌 모션벡터로 추정 가능하다. 또한 제 1 영상(I1)과 제 2 영상(I2)을 sub-block으로 분할하고, 각 block마다 제 1 영상(I1)을 기준으로 제 2 영상(I2)의 대응 block을 상하좌우로 이 동시키면서 각 block의 최적 이동 방향과 크기를 추정하여 로컬 모션벡터를 추정 가능하다.
보정 처리부(102)는 계산된 모션 발생 정도에 따라 글로벌 모션 보정만 수행하거나, 로컬 모션 보정만 수행하거나, 글로벌 모션 보정과 로컬 모션 보정을 모두 수행하는 것이 가능하다.
본 실시 예에서, 발생되는 모션은 글로벌 모션(Global Motion)과 로컬 모션(Local Motion)을 포함할 수 있다. 글로벌 모션이란 촬영 시의 손떨림과 같은 카메라 자체의 움직임으로 인해 발생되는 artifact를 의미한다. 예컨대, 글로벌 모션은 제 1 영상(I1)과 제 2 영상(I2) 내의 물체는 고정되어 있으나 촬영 순간에 카메라가 이동하여 영상에서 Inter-Frame Motion이 존재하는 경우 발생될 수 있다. 로컬 모션이란 촬영 시의 피사체의 움직임으로 인해 발생되는 artifact를 의미한다. 예컨대, 로컬 모션은 제 1 영상(I1)과 제 2 영상(I2)의 프레임은 고정되어 있으나 촬영 순간에 피사체의 움직임으로 인해 영상에서 Intra-Frame Motion이 존재하는 경우 발생될 수 있다.
통상적으로, 모션 보정은 보정 대상이 되는 영상 (Target Image)을 모션 벡터 방향으로 그 벡터 크기만큼 영상전체를 이동시키는 방식으로 이루어질 수 있다. 그러나 피사체 움직임으로 인해 로컬 모션이 발생하거나 카메라 및 피사체 움직임으로 인해 복합적인 모션이 발생하는 경우, 영상 전체를 이동시키는 모션 보정 방식으로는 영상의 일부 영역에서 나타나는 피사체의 움직임을 보정하는데 한계가 있 다. 그러나 본 발명의 일 실시 예로서 로컬 모션 보정은 입력된 두 영상을 대비하여 일치하지 않는 픽셀을 추출하고 목적영상의 픽셀 값을 기준영상의 픽셀 값으로 대체하는 방식으로 이루어질 수 있다. 예컨대, 보정 처리부(102)는 계산된 모션 발생 정도에 따라 적응적인 보정을 수행하므로 보다 선명한 고대비 영상을 생성하는 것이 가능하다.
구체적인 글로벌 모션 보정 방법 및 로컬 모션 보정 방법에 대해서는 후술한다.
영상 합성부(103)는 보정 처리부(102)의 출력 영상들을 합성한다. 예컨대, 영상 합성부(103)는 제 1 영상(I1)과 보정된 제 2 영상(I2`)을 합성하는 것이 가능하다.
단일 영상 선택부(104)는 영상 분석부(101)에서 계산된 모션 발생 정도가 보정 가능 범위를 초과하는 경우, 제 1 영상(I1), 제 2 영상(I2), 및 자동 노출 영상 중 어느 하나를 선택한다. 자동 노출 영상은 영상의 평균 밝기 또는 일정 영역, 예를 들어 영상 중심 영역의 평균 밝기가 사전에 정해진 특정 범위의 값이 되도록 노출 시간을 자동으로 조절하여 촬영된 영상이다. 또한, 선택적으로, 단일 영상 선택부(104)는 제 1 영상(I1)과 제 2 영상(I2) 중에서 자동 노출 영상과 노출 시간 차이가 적은 영상을 선택할 수도 있다.
도 2는 본 발명의 다른 실시 예에 따른 영상 획득 장치의 구성을 도시한다.
도 2를 참조하면, 영상 획득 장치(200)는 모션 계산부(201), 제 1 보정 부(202), 제 2 보정부(203), 영상 합성부(204), 단일 영상 선택부(205), 및 제어부(206)를 포함할 수 있다.
모션 계산부(201)는 상이한 노출 시간을 갖는 적어도 2 이상의 영상을 수신하고, 수신된 영상 중 어느 하나를 제 1 영상(I1)으로, 다른 하나를 제 2 영상(I2)으로 설정한다.
모션 계산부(201)는 제 1 영상(I1)과 상기 제 2 영상(I2)을 비교하여 제 2 영상(I2)의 모션 발생 정도를 계산한다. 예컨대, 모션 계산부(201)는 제 1 영상(I1)을 기준 영상으로 설정하고, 기준 영상으로 설정된 제 1 영상(I1)과 제 2 영상(I2)을 대비하여 제 2 영상(I2)에서 제 1 영상(I1)과 일치하지 아니하는 픽셀들을 검출하고, 검출된 픽셀의 개수를 카운팅하는 것이 가능하다.
제 1 보정부(202)는 제 1 영상(I1)과 제 2 영상(I2)을 수신하고, 제 2 영상(I2)의 글로벌 모션을 보정한다. 예컨대, 도 2에서, I2`는 글로벌 모션 보정이 수행된 제 2 영상이 될 수 있다.
제 2 보정부(202)는 제 1 영상(I1)과 제 2 영상(I2) 또는 제 1 영상(I1)과 글로벌 모션이 수행된 제 2 영상(I2`)을 수신하고, 제 2 영상(I2) 또는 글로벌 모션이 수행된 제 2 영상(I2`)의 로컬 모션을 보정한다. 예컨대, 도 2에서, I2``는 로컬 모션 보정이 수행된 제 2 영상이 될 수 있다.
영상 합성부(204)는 제 1 보정부(202)의 출력 영상 또는 제 2 보정부(203)의 출력 영상을 수신하고 수신된 영상들을 합성한다.
단일 영상 선택부(205)는 제 1 영상(I1), 제 2 영상(I2), 및 자동 노출 영상 중에서 적어도 어느 하나를 선택한다. 또한, 선택적으로, 제 1 영상(I1)과 제 2 영상(I2) 중에서 자동 노출 영상과 노출 시간 차이가 적은 영상을 선택할 수도 있다.
제어부(206)는 모션 계산부(201)에서 계산된 모션 발생 정도에 기초하여, 제 1 보정부(201), 제 2 보정부(202), 및 단일 영상 선택부(205)를 제어한다. 또한, 각각의 스위치(SW1, SW2, SW3)의 ON/OFF도 제어하는 것이 가능하다.
모션 발생 정도로서, 제 2 영상(I2)에 글로벌 모션만 있는 경우를 살펴본다.
글로벌 모션은 제 1 영상(I1)과 제 2 영상(I2) 내의 물체는 고정되어 있으나 촬영 순간에 카메라가 이동하여 영상에서 Inter-Frame Motion이 존재하는 경우 발생될 수 있다.
제 2 영상(I2)에 글로벌 모션만 있는 경우, 제어부(206)는 제 1 영상(I1)과 제 2 영상(I2)이 제 1 보정부(202)를 거쳐 영상 합성부(204)로 전달되도록 각각의 구성요소를 제어한다. 예컨대, 제어부(206)는, 제 1 스위치(SW1)를 OFF시키고, 제 2 스위치(SW2)를 ON시키고, 제 3 스위치(SW3)를 OFF시키는 것이 가능하다. 이러한 경우, 제 1 영상(I1)과 제 2 영상(I2)은 제 1 보정부(202)로 입력된다. 제 1 보정 부(202)는 제 2 영상(I2)의 글로벌 모션을 보정한 후, 제 1 영상(I1)과 보정된 제 2 영상(I2`)을 출력한다. 제 1 영상(I1)과 보정된 제 2 영상(I2`)은 제 2 스위치(SW2)를 거쳐 영상 합성부(204)로 입력된다. 영상 합성부(204)는 제 1 영상(I1)과 보정된 제 2 영상(I2`)을 합성하고 OUT_1을 출력한다.
모션 발생 정도로서, 제 2 영상(I2)에 로컬 모션만 있는 경우를 살펴본다.
로컬 모션은 제 1 영상(I1)과 제 2 영상(I2)의 프레임은 고정되어 있으나 촬영 순간에 피사체의 움직임으로 인해 영상에서 Intra-Frame Motion이 존재하는 경우 발생될 수 있다.
제 2 영상(I2)에 로컬 모션만 있는 경우, 제어부(206)는 제 1 영상(I1)과 제 2 영상(I2)이 제 2 보정부(203)를 거쳐 영상 합성부(204)로 전달되도록 각각의 구성요소를 제어한다. 예컨대, 제어부(206)는, 제 1 스위치(SW1)를 OFF시키고, 제 2 스위치(SW2)를 OFF시키고, 제 3 스위치(SW3)를 ON시키는 것이 가능하다. 이러한 경우, 제 1 영상(I1)과 제 2 영상(I2)은 제 2 보정부(203)로 입력된다. 제 2 보정부(203)는 제 2 영상(I2)의 로컬 모션을 보정한 후, 제 1 영상(I1)과 보정된 제 2 영상(I2``)을 출력한다. 제 1 영상(I1)과 보정된 제 2 영상(I2``)은 영상 합성부(204)로 입력된다. 영상 합성부(204)는 제 1 영상(I1)과 보정된 제 2 영상(I2``) 을 합성하고 OUT_2를 출력한다.
모션 발생 정도로서, 제 2 영상(I2)에 글로벌 모션 및 로컬 모션이 모두 있는 경우를 살펴본다.
제 2 영상(I2)에 글로벌 모션과 로컬 모션이 모두 있는 경우, 제어부(206)는 제 1 영상(I1)과 제 2 영상(I2)이 제 1 보정부(202) 및 제 2 보정부(203)를 거쳐 영상 합성부(204)로 전달되도록 각각의 구성요소를 제어한다. 예컨대, 제어부(206)는, 제 1 스위치(SW1)를 ON시키고, 제 2 스위치(SW2)를 OFF시키고, 제 3 스위치(SW3)를 OFF시키는 것이 가능하다. 이러한 경우, 제 1 영상(I1)과 제 2 영상(I2)은 먼저 제 1 보정부(202)로 입력된다. 제 1 보정부(202)는 제 2 영상(I2)의 글로벌 모션을 보정한 후, 제 1 영상(I1)과 1차 보정된 제 2 영상(I2`)을 출력한다. 제 1 영상(I1)과 1차 보정된 제 2 영상(I2`)은 제 2 보정부(203)로 입력된다. 제 2 보정부(203)는 1차 보정된 제 2 영상(I2`)의 로컬 모션을 보정한 후, 제 1 영상(I1)과 2차 보정된 제 2 영상(I2``)을 출력한다. 제 1 영상(I1)과 2차 보정된 제 2 영상(I2``)은 영상 합성부(204)로 입력된다. 영상 합성부(204)는 제 1 영상(I1)과 2차 보정된 제 2 영상(I2``)을 합성하고 OUT_3을 출력한다.
모션 발생 정도로서, 제 2 영상(I2)에 보정 가능 범위를 넘는 모션이 존재하 는 경우를 살펴본다.
제 2 영상(I2)에 보정 가능 범위를 넘는 모션이 존재하는 경우, 제어부(206)는 단일 영상 선택부(205)만 동작하도록 각각의 구성요소를 제어한다. 예컨대, 제어부(206)는 스위치들(SW1, SW2, SW3)을 모두 OFF시키는 것이 가능하다. 이러한 경우, 제 1 영상(I1)과 제 2 영상(I2)은 단일 영상 선택부(205)로 입력된다. 단일 영상 선택부(205)는 제 1 영상(I1), 제 2 영상(I2), 및 자동 노출 영상 중에서 어느 하나를 선택한다. 또한, 선택적으로, 제 1 영상(I1)과 제 2 영상(I2) 중에서 자동 노출 영상과 노출 시간 차이가 적은 영상을 선택할 수도 있다.
전술한 내용은 다음과 같이 정리할 수 있다.
Figure 112009045067780-pat00001
도 2에서, 영상 획득 장치(200)는 회로적인 구성으로 표현되었다. 그러나 이것은 설명의 편의를 위한 것으로, 영상 획득 장치(200)는 회로적인 구성 외에 응용 프로그램, 소프트웨어 또는 하드웨어 아키텍처로 구성되는 것도 가능하다.
도 3은 본 발명의 또 다른 실시 예에 따른 영상 획득 장치의 구성을 도시한다.
도 3을 참조하면, 영상 획득 장치(300)는 제 1 보정부(301), 모션 계산 부(302), 제 2 보정부(303), 영상 합성부(304), 단일 영상 선택부(305), 및 제어부(306)를 포함할 수 있다.
제 1 보정부(301)는 상이한 노출 시간을 갖는 적어도 2 이상의 영상을 수신하고, 수신된 영상 중 어느 하나를 제 1 영상(I1)으로, 다른 하나를 제 2 영상(I2)으로 설정하고, 제 1 영상(I1)을 기준으로 제 2 영상(I2)의 글로벌 모션을 보정한다.
모션 계산부(302)는 제 1 영상(I1)과 글로벌 모션이 보정된 제 2 영상(I2`)을 비교하여 글로벌 모션이 보정된 제 2 영상(I2`)의 모션 발생 정도를 계산한다.
제 2 보정부(303)는 제 1 영상(I1)과 글로벌 모션이 보정된 제 2 영상(I2`)을 수신하는 것이 가능하며, 글로벌 모션이 보정된 제 2 영상(I2`)의 로컬 모션을 보정하는 것이 가능하다.
영상 합성부(304)는 제 1 보정부(301) 또는 제 2 보정부(303)의 출력 영상을 수신하고, 수신된 영상들을 합성한다.
단일 영상 선택부(305)는 제 1 영상(I1), 제 2 영상(I2), 글로벌 모션이 보정된 제 2 영상(I2`), 및 자동 노출 영상 중에서 적어도 어느 하나를 선택한다. 또한, 선택적으로, 제 1 영상(I1), 제 2 영상(I2), 및 글로벌 모션이 보정된 제 2 영상(I2`) 중에서 자동 노출 영상과 노출 시간 차이가 적은 영상을 선택할 수도 있다.
제어부(306)는 모션 계산부(302)에서 계산된 모션 발생 정도에 기초하여, 제 2 보정부(303) 및 단일 영상 선택부(305)를 제어한다. 또한, 각각의 스위치(SW1, SW2)의 ON/OFF도 제어하는 것이 가능하다.
모션 발생 정도로서, 제 2 영상(I2)에 글로벌 모션만 있는 경우를 살펴본다.
글로벌 모션은 제 1 영상(I1)과 제 2 영상(I2) 내의 물체는 고정되어 있으나 촬영 순간에 카메라가 이동하여 영상에서 Inter-Frame Motion이 존재하는 경우 발생될 수 있다.
제 2 영상(I2)에 글로벌 모션만 있는 경우, 이 글로벌 모션은 제 1 보정부(301)를 거치면서 보정된다. 따라서 모션 계산부(302)는 제 1 영상(I1)과 글로벌 모션이 보정된 제 2 영상(I2`)에서 모션 발생 정도가 없는 것으로 판단할 수가 있다. 이 때, 제어부(306)는 제 1 스위치(SW1)를 ON시키고, 제 2 스위치(SW2)를 OFF시키는 것이 가능하다. 이러한 경우, 제 1 영상(I1)과 글로벌 모션이 보정된 제 2 영상(I2`)은 영상 합성부(304)로 입력된다. 영상 합성부(304)는 제 1 영상(I1)과 보정된 제 2 영상(I2`)을 합성하고 OUT_1을 출력한다.
모션 발생 정도로서, 제 2 영상(I2)에 로컬 모션만 있는 경우를 살펴본다.
로컬 모션은 제 1 영상(I1)과 제 2 영상(I2)의 프레임은 고정되어 있으나 촬영 순간에 피사체의 움직임으로 인해 영상에서 Intra-Frame Motion이 존재하는 경 우 발생될 수 있다.
제 2 영상(I2)에 로컬 모션만 있는 경우, 이 로컬 모션은 제 1 보정부(301)를 거치면서 여전히 남아있게 된다. 따라서 제어부(306)는 모션 계산부(302)에서 계산된 모션 발생 정도에 따라 제 1 영상(I1)과 1차 보정된 제 2 영상(I2`)이 제 2 보정부(303)를 거쳐 영상 합성부(304)로 전달되도록 각각의 구성요소를 제어한다. 예컨대, 제어부(306)는, 제 1 스위치(SW1)를 OFF시키고, 제 2 스위치(SW2)를 ON시키는 것이 가능하다. 이 때, 제 2 영상(I2)에 로컬 모션만 존재하므로 제 1 보정부(301)의 출력 영상 중 I2`는 I2와 동일할 수 있다. 즉 최초의 제 2 영상(I2)과 1차 보정된 제 2 영상(I2`)은 결국 동일하다.
이러한 경우, 제 1 영상(I1)과 제 2 영상(I2`)은 제 2 보정부(303)로 입력된다. 제 2 보정부(303)는 제 2 영상(I2`)의 로컬 모션을 보정한 후, 제 1 영상(I1)과 보정된 제 2 영상(I2``)을 출력한다. 제 1 영상(I1)과 보정된 제 2 영상(I2``)은 영상 합성부(304)로 입력된다. 영상 합성부(304)는 제 1 영상(I1)과 보정된 제 2 영상(I2``)을 합성하고 OUT_2를 출력한다.
모션 발생 정도로서, 제 2 영상(I2)에 글로벌 모션 및 로컬 모션이 모두 있는 경우를 살펴본다.
제 2 영상(I2)에 글로벌 모션과 로컬 모션이 모두 있는 경우, 글로벌 모션은 제 1 보정부(301)를 거치면서 제거되는 것이 가능하다. 그러나 로컬 모션이 남아 있으므로, 제어부(306)는 모션 계산부(302)에서 계산된 모션 발생 정도에 따라 제 1 영상(I1)과 1차 보정된 제 2 영상(I2`)이 제 2 보정부(303)를 거쳐 영상 합성부(304)로 전달되도록 각각의 구성요소를 제어한다. 예컨대, 제어부(206)는, 제 1 스위치(SW1)를 OFF시키고, 제 2 스위치(SW2)를 ON시키는 것이 가능하다. 이 때, 제 2 영상(I2)에 글로벌 모션 및 로컬 모션이 모두 존재하므로, 제 1 보정부(301)의 출력 영상 중 I2`는 I2에서 글로벌 모션이 보정된 영상을 나타낸다.
이러한 경우, 제 1 영상(I1)과 1차 보정된 제 2 영상(I2`)은 제 2 보정부(303)로 입력된다. 제 2 보정부(303)는 1차 보정된 제 2 영상(I2`)의 로컬 모션을 보정한 후, 제 1 영상(I1)과 2차 보정된 제 2 영상(I2``)을 출력한다. 제 1 영상(I1)과 2차 보정된 제 2 영상(I2``)은 영상 합성부(304)로 입력된다. 영상 합성부(304)는 제 1 영상(I1)과 2차 보정된 제 2 영상(I2``)을 합성하고 OUT_3을 출력한다.
모션 발생 정도로서, 제 2 영상(I2)에 보정 가능 범위를 넘는 모션이 존재하는 경우를 살펴본다.
제 2 영상(I2)에 보정 가능 범위를 넘는 모션이 존재하는 경우, 제 1 보정 부(301)를 거치더라도 여전히 모션이 존재하게 된다. 따라서 제어부(306)는 모션 계산부(302)에서 계산된 모션 발생 정도에 따라 단일 영상 선택부(305)만 동작하도록 각각의 구성요소를 제어한다. 예컨대, 제어부(306)는 스위치들(SW1, SW2)을 모두 OFF시키는 것이 가능하다. 이러한 경우, 제 1 영상(I1)과 제 2 영상(I2)은 단일 영상 선택부(305)로 입력된다. 단일 영상 선택부(305)는 제 1 영상(I1), 제 2 영상(I2), 및 자동 노출 영상 중에서 어느 하나를 선택한다. 또한, 선택적으로, 제 1 영상(I1)과 제 2 영상(I2) 중에서 자동 노출 영상과 노출 시간 차이가 적은 영상을 선택할 수도 있다.
전술한 내용은 다음과 같이 정리할 수 있다.
Figure 112009045067780-pat00002
이와 같이, 영상에 포함된 모션 정도에 따라 보정의 강도 및 합성되는 영상들을 적응적으로 조절할 수 있음을 알 수 있다.
도 4는 본 발명의 일 실시 예에 따른 모션 발생 정도를 계산하는 방법을 도시한다.
도 4에서, 참조번호 401은 차영상(Difference Image : Id)을 나타낸다. 차영상(401)은 제 1 영상과 제 2 영상의 밝기를 서로 일치시키고 제 1 영상과 제 2 영 상의 Intensity 차이로 정의되는 영상이 될 수 있다.
도 4에서, 참조번호 402는 모션 발생 영역을 나타낸다. 모션 발생 영역(402)은 제 1 영상 및 제 2 영상의 각각의 픽셀을 비교하여 불일치하는 부분에 해당하는 픽셀들의 집합이 될 수 있다.
도 4에서, 모션 발생 정도는 탐색 창(Checking Window)(403)을 차영상(401)에 스캐닝(Scanning)하면서 탐색 창(403) 내에서 모션 발생 영역(402)에 해당하는 픽셀을 카운팅한 후, 탐색 창 내 전체 픽셀 수와 모션 발생 영역(402)에 해당하는 픽셀 수의 비율로 계산되는 것이 가능하다.
본 실시 예에 따라, 계산된 모션 발생 정도는 글로벌 모션 보정만 할지, 로컬 모션 보정만 할지, 또는 둘 다 할지 등을 결정하는 기준이 된다. 예컨대, 모션 계산부(201, 302)는 계산된 모션 발생 정도를 정해진 임계 값과 비교하고, 그 비교 결과에 따라 다른 제어 신호를 제어부(206, 306)로 인가하는 것이 가능하다. 이 때 임계 값은 입력 영상의 해상도에 따라 달라질 수 있다.
도 4에서, 제 1 영상 및 제 2 영상은 최초의 입력 영상이 될 수도 있고, 글로벌 모션 보정이 수행된 입력 영상(예컨대, I2`)이 될 수도 있다. 또한 제 1 영상과 제 2 영상 간의 글로벌 및 로컬 모션 벡터를 추정하여 모션 발생 정도를 계산하는 것도 가능하다.
도 5는 본 발명의 일 실시 예에 따른 글로벌 모션 보정 방법을 도시한다.
도 5를 참조하면, 제 1 보정부(202, 301)는 제 1 영상(501) 및 제 2 영 상(502)에 대해 가로/세로의 크기를 반으로 줄이는 서브 샘플링(sub-sampling)을 순차적으로 수행하여 레벨 별 영상 피라미드를 생성하는 것이 가능하다. 그리고 동일 레벨의 두 영상으로부터 최적 이동 방향을 구하고, 구해진 최적 이동 방향을 기초로 모션 벡터를 갱신하는 것이 가능하다. 그리고 갱신된 모션 벡터를 기초로 제 1 영상(501) 또는 제 2 영상(502)을 보정하는 것이 가능하다. 이러한 글로벌 모션 보정은 도 5에서 설명한 방법 외에, Image Stabilizer를 통해 수행될 수도 있다.
도 6은 본 발명의 일 실시 예에 따른 로컬 모션 보정 방법을 도시한다.
도 6을 참조하면, 제 2 보정부(203, 303)은 보정 대상이 되는 영상(Target Image: Itgt)에서 모션 발생 영역(601)에 해당하는 픽셀들을 기준 영상(Reference Image : IRef)의 픽셀로 대체하는 것이 가능하다.
전술한 바와 같이, 보정 대상이 되는 영상은 제 2 영상(I2) 또는 1차 보정된 제 2 영상(I2`)이 될 수 있고, 기준 영상은 제 1 영상(I1)이 될 수 있다. 그러나 반드시 이에 한정되는 것은 아니며, 기준 영상은 입력된 영상들 중에서 포화된 픽셀이 최소인 영상 또는 잡음에 의한 픽셀 값 손실이 최소인 영상을 선택할 수도 있다.
또한, 픽셀을 대체하기 전에 보정 대상이 되는 영상과 기준 영상의 밝기를 일치시키는 과정이 추가될 수도 있다. 예컨대, 도 6에서, 참조번호 602는 밝기를 보정 대상 영상과 일치시킨 기준 영상이 될 수 있다.
또한, 도 6의 과정은 제 1 영상(I1)과 제 2영상(I2) 또는 1차 보정된 제 2영 상(I2`)에 대해 통상적인 로컬 모션 보정 방식을 적용한 후, 2차적으로 적용될 수도 있다. 통상적인 로컬 모션 보정 방식의 일 실시 예로는 보정 대상이 되는 영상과 기준 영상을 sub-block단위로 분할하고, 그 sub-block 단위로 추정된 로컬 모션 벡터로부터 interpolation으로 각 픽셀의 로컬 모션 벡터를 산출하여 이 로컬 모션 벡터에 대응하는 위치의 픽셀 값을 가져오는 방식이 가능하다.
다음으로, 도 7 및 도 1을 참조하여 본 발명의 일 실시 예에 따른 영상 획득 방법을 설명한다. 도 7은 본 발명의 일 실시 예에 따른 영상 획득 방법의 흐름도다.
먼저, 영상 분석부(101)가, 제 1 영상과 제 2 영상을 수신한다(701). 제 1 영상과 제 2 영상은 서로 다른 노출 시간을 가질 수 있다.
그리고 영상 분석부(101)가, 제 1 영상과 제 2 영상의 모션 발생 정도를 계산한다(702). 예컨대, 제 1 영상을 기준 영상으로 설정한 후, 제 2 영상의 제 1 영상과의 불일치 정도를 계산하는 것이 가능하다.
그리고 영상 분석부(101)가, 계산된 모션 발생 정도가 보정 가능 범위인지 여부를 판단한다(703). 예컨대, 계산된 모션 발생 정도를 정해진 임계 값과 비교하여 보정 가능 범위인지 여부를 판단하는 것이 가능하다.
판단 결과 보정 가능 범위가 아닌 경우, 단일 영상 선택부(104)가, 제 1 영상, 제 2 영상, 및 자동 노출 영상 중 어느 하나를 선택한다(704). 판단 결과 보정 가능 범위인 경우, 보정 처리부(102)가 계산된 모션 발생 정도에 따라 글로벌 모션 보정 및/또는 로컬 모션 보정을 수행한다(705). 예컨대, 계산된 모션 발생 정도에 따라, 글로벌 모션 보정만 수행하거나, 로컬 모션 보정만 수행하거나, 글로벌 모션 보정과 로컬 모션 보정을 모두 수행하는 것이 가능하다. 이어서 보정된 영상들은 영상 합성부(103)에 의해 합성된다(706).
이상에서 살펴본 바와 같이, 영상 획득 시스템에 있어서 카메라 또는 피사체가 움직이더라도 그 움직임 정도에 따라 적응적으로 보정 강도를 조절하기 때문에, 고대비 환경에서 선명한 영상을 획득하는 것이 가능하다.
한편, 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명의 실시를 위한 구체적인 예를 살펴보았다. 전술한 실시 예들은 본 발명을 예시적으로 설명하기 위한 것으로 본 발명의 권리범위가 특정 실시 예에 한정되지 아니할 것이다.
도 1은 본 발명의 일 실시 예에 따른 영상 획득 장치의 구성을 도시한다.
도 2는 본 발명의 다른 실시 예에 따른 영상 획득 장치의 구성을 도시한다.
도 3은 본 발명의 또 다른 실시 예에 따른 영상 획득 장치의 구성을 도시한다.
도 4는 본 발명의 일 실시 예에 따른 모션 발생 정도를 계산하는 방법을 도시한다.
도 5는 본 발명의 일 실시 예에 따른 글로벌 모션 보정 방법을 도시한다.
도 6은 본 발명의 일 실시 예에 따른 로컬 모션 보정 방법을 도시한다.
도 7은 본 발명의 일 실시 예에 따른 영상 획득 방법을 도시한다.

Claims (10)

  1. 상이한 노출 시간을 갖는 적어도 2 이상의 영상을 수신하고, 상기 수신된 영상 중 어느 하나를 제 1 영상으로, 다른 하나를 제 2 영상으로 설정하고, 상기 제 1 영상과 상기 제 2 영상을 비교하여 상기 제 2 영상의 모션 발생 정도를 계산하는 모션 계산부;
    상기 제 2 영상의 글로벌 모션을 보정하는 제 1 보정부;
    상기 제 2 영상에서 모션 발생 영역에 해당되는 픽셀들을 상기 제 1 영상의 픽셀로 대체하여 상기 제 2 영상의 로컬 모션을 보정하는 제 2 보정부;
    상기 제 1 보정부 또는 상기 제 2 보정부의 출력 영상을 수신하고, 수신된 영상들을 합성하는 영상 합성부;
    자동 노출 영상과의 노출 시간 차이에 기초하여 상기 제 1 영상 및 상기 제 2 영상 중에서 적어도 어느 하나를 선택하는 단일 영상 선택부; 및
    상기 계산된 모션 발생 정도가 보정 가능 범위이면 상기 제 1 영상과 상기 제 2 영상이, 상기 제 1 보정부를 거쳐 상기 영상 합성부로 전달되도록 하거나, 상기 제 2 보정부를 거쳐 상기 영상 합성부로 전달되도록 하거나, 상기 제 1 보정부 및 상기 제 2 보정부를 거쳐 상기 영상 합성부로 전달되도록 하고, 보정 가능 범위를 초과하면 상기 단일 영상 선택부로 전달되도록 제어하는 제어부; 를 포함하는 모션 적응적 고대비 영상 획득 장치.
  2. 제 1 항에 있어서,
    상기 제어부는,
    상기 계산된 모션 발생 정도가 보정 가능 범위이고 상기 글로벌 모션만 포함하는 경우 상기 제 1 영상과 상기 제 2 영상이 상기 제 1 보정부를 거쳐 상기 영상 합성부로 입력되도록 제어하고, 상기 계산된 모션 발생 정도가 상기 보정 가능 범위이고 상기 로컬 모션만 포함하는 경우 상기 제 1 영상과 상기 제 2 영상이 상기 제 2 보정부를 거쳐 상기 영상 합성부로 입력되도록 제어하고, 상기 계산된 모션 발생 정도가 상기 보정 가능 범위이고 상기 로컬 모션 및 상기 글로벌 모션을 모두 포함하는 경우 상기 제 1 영상과 상기 제 2 영상이 상기 제 1 보정부 및 상기 제 2 보정부를 거쳐 상기 영상 합성부로 입력되도록 제어하고, 상기 계산된 모션 발생 정도가 상기 보정 가능 범위가 아닌 경우 상기 제 1 영상과 상기 제 2 영상이 상기 단일 영상 선택부로 입력되도록 제어하는 모션 적응적 고대비 영상 획득 장치.
  3. 상이한 노출 시간을 갖는 적어도 2 이상의 영상을 수신하고, 상기 수신된 영상 중 어느 하나를 제 1 영상으로, 다른 하나를 제 2 영상으로 설정하고, 상기 제 1 영상을 기준으로 상기 제 2 영상의 글로벌 모션을 보정하는 제 1 보정부;
    상기 제 1 영상과 상기 글로벌 모션이 보정된 제 2 영상을 비교하여 상기 글로벌 모션이 보정된 제 2 영상의 모션 발생 정도를 계산하는 모션 계산부;
    상기 글로벌 모션이 보정된 제 2 영상에서 모션 발생 영역에 해당되는 픽셀들을 상기 제 1 영상의 픽셀로 대체하여 상기 글로벌 모션이 보정된 제 2 영상의 로컬 모션을 보정하는 제 2 보정부;
    상기 제 1 보정부 또는 상기 제 2 보정부의 출력 영상을 수신하고, 수신된 영상들을 합성하는 영상 합성부;
    자동 노출 영상과의 노출 시간 차이에 기초하여 상기 제 1 영상 및 상기 제 2 영상 중에서 적어도 어느 하나를 선택하는 단일 영상 선택부; 및
    상기 계산된 모션 발생 정도가 보정 가능 범위이면 상기 제 1 영상과 상기 글로벌 모션이 보정된 제 2 영상이, 상기 영상 합성부로 전달되도록 하거나, 상기 제 2 보정부를 거쳐 상기 영상 합성부로 전달되도록 하고, 보정 가능 범위를 초과하면 상기 제 1 영상과 상기 제 2 영상이 상기 단일 영상 선택부로 전달되도록 제어하는 제어부; 를 포함하는 모션 적응적 고대비 영상 획득 장치.
  4. 제 3 항에 있어서,
    상기 제어부는,
    상기 계산된 모션 발생 정도가 보정 가능 범위이고 상기 글로벌 모션만 포함하는 경우 상기 제 1 영상과 상기 글로벌 모션이 보정된 제 2 영상이 상기 영상 합성부로 입력되도록 제어하고, 상기 계산된 모션 발생 정도가 상기 보정 가능 범위이고 상기 로컬 모션 및 상기 글로벌 모션을 모두 포함하는 경우 상기 제 1 영상과 상기 글로벌 모션이 보정된 제 2 영상이 상기 제 2 보정부를 거쳐 상기 영상 합성부로 입력되도록 제어하고, 상기 계산된 모션 발생 정도가 상기 보정 가능 범위가 아닌 경우 상기 제 1 영상과 상기 제 2 영상이 상기 단일 영상 선택부로 입력되도록 제어하는 모션 적응적 고대비 영상 획득 장치.
  5. 상이한 노출 시간을 갖는 적어도 2 이상의 영상에서 모션 발생 정도를 계산하는 영상 분석부;
    상기 계산된 모션 발생 정도가 보정 가능 범위인 경우, 글로벌 모션 보정 및/또는 로컬 모션 보정을 수행하는 보정 처리부;
    상기 보정 처리부의 출력 영상들을 합성하는 영상 합성부; 및
    상기 계산된 모션 발생 정도가 보정 가능 범위를 초과하는 경우, 자동 노출 영상과의 노출 시간 차이에 기초하여 상기 영상 중 어느 하나를 선택하는 단일 영상 선택부; 를 포함하고,
    상기 로컬 모션 보정은 상기 적어도 2 이상의 영상 중 어느 하나에서 모션 발생 영역에 해당되는 픽셀들을 상기 적어도 2 이상의 영상 중 다른 하나의 픽셀로 대체하여 보정하는 모션 적응적 고대비 영상 획득 장치.
  6. 삭제
  7. 제 5 항에 있어서,
    상기 보정 처리부는, 상기 계산된 모션 발생 정도에 따라, 상기 글로벌 모션 보정만 수행하거나, 상기 로컬 모션 보정만 수행하거나, 상기 글로벌 모션 보정 및 상기 로컬 모션 보정을 모두 수행하는 모션 적응적 고대비 영상 획득 장치.
  8. 상이한 노출 시간을 갖는 제 1 영상 및 제 2 영상을 수신하는 단계;
    상기 제 1 영상을 기준으로 상기 제 2 영상의 모션 발생 정도를 계산하는 단계;
    상기 계산된 모션 발생 정도가 보정 가능 범위인 경우, 상기 제 2 영상에 대해 글로벌 모션 보정 및/또는 로컬 모션 보정을 수행하는 단계;
    상기 제 1 영상과 상기 모션 보정이 수행된 제 2 영상을 합성하는 단계; 및
    상기 보정 가능 범위를 초과하는 경우, 자동 노출 영상과의 노출 시간 차이에 기초하여 상기 제 1 영상 및 상기 제 2 영상 중 어느 하나를 선택하는 단계; 를 포함하고,
    상기 로컬 모션 보정은 상기 제 2 영상에서 모션 발생 영역에 해당되는 픽셀들을 상기 제 1 영상의 픽셀로 대체하여 보정하는 모션 적응적 고대비 영상 획득 방법.
  9. 삭제
  10. 제 8 항에 있어서,
    상기 보정을 수행하는 단계는, 상기 계산된 모션 발생 정도에 따라, 상기 글로벌 모션 보정만 수행하는 과정, 상기 로컬 모션 보정만 수행하는 과정, 및 상기 글로벌 모션 보정과 상기 로컬 모션 보정을 모두 수행하는 과정 중 어느 하나의 과정을 포함하는 모션 적응적 고대비 영상 획득 방법.
KR1020090067387A 2009-07-23 2009-07-23 모션 적응적 고대비 영상 획득 장치 및 방법 KR101614914B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020090067387A KR101614914B1 (ko) 2009-07-23 2009-07-23 모션 적응적 고대비 영상 획득 장치 및 방법
US12/842,109 US8462214B2 (en) 2009-07-23 2010-07-23 Apparatus and method for obtaining motion adaptive high dynamic range image
US13/485,357 US8379094B2 (en) 2009-07-23 2012-05-31 Apparatus and method for obtaining motion adaptive high dynamic range image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090067387A KR101614914B1 (ko) 2009-07-23 2009-07-23 모션 적응적 고대비 영상 획득 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110009936A KR20110009936A (ko) 2011-01-31
KR101614914B1 true KR101614914B1 (ko) 2016-04-25

Family

ID=43496961

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090067387A KR101614914B1 (ko) 2009-07-23 2009-07-23 모션 적응적 고대비 영상 획득 장치 및 방법

Country Status (2)

Country Link
US (2) US8462214B2 (ko)
KR (1) KR101614914B1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8896715B2 (en) 2010-02-11 2014-11-25 Microsoft Corporation Generic platform video image stabilization
US8711248B2 (en) * 2011-02-25 2014-04-29 Microsoft Corporation Global alignment for high-dynamic range image generation
US9824426B2 (en) 2011-08-01 2017-11-21 Microsoft Technology Licensing, Llc Reduced latency video stabilization
US20130044237A1 (en) * 2011-08-15 2013-02-21 Broadcom Corporation High Dynamic Range Video
US20130083151A1 (en) 2011-09-30 2013-04-04 Lg Electronics Inc. Electronic device and method for controlling electronic device
US8913153B2 (en) 2011-10-06 2014-12-16 Aptina Imaging Corporation Imaging systems and methods for generating motion-compensated high-dynamic-range images
US9129414B2 (en) * 2011-10-14 2015-09-08 Morpho, Inc. Image compositing apparatus, image compositing method, image compositing program, and recording medium
TWI466538B (zh) * 2012-01-20 2014-12-21 Altek Corp 影像處理方法及其裝置
US9172889B2 (en) 2012-02-09 2015-10-27 Semiconductor Components Industries, Llc Imaging systems and methods for generating auto-exposed high-dynamic-range images
US9007488B2 (en) 2012-03-08 2015-04-14 Semiconductor Components Industries, Llc Systems and methods for generating interpolated high-dynamic-range images
US9338372B2 (en) 2012-09-19 2016-05-10 Semiconductor Components Industries, Llc Column-based high dynamic range imaging systems
US9374532B2 (en) * 2013-03-15 2016-06-21 Google Inc. Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization
US9460492B2 (en) 2013-05-10 2016-10-04 Hanwha Techwin Co., Ltd. Apparatus and method for image processing
US20150009355A1 (en) * 2013-07-05 2015-01-08 Himax Imaging Limited Motion adaptive cmos imaging system
US20150116525A1 (en) * 2013-10-31 2015-04-30 Himax Imaging Limited Method for generating high dynamic range images
US9571720B2 (en) * 2013-12-10 2017-02-14 Olympus Corporation Image processing device, display device, imaging apparatus, image processing method, and program
US9380229B2 (en) 2014-02-28 2016-06-28 Samsung Electronics Co., Ltd. Digital imaging systems including image sensors having logarithmic response ranges and methods of determining motion
KR101783964B1 (ko) 2015-04-09 2017-10-10 삼성전자주식회사 단층 촬영 장치 및 그에 따른 단층 영상 복원 방법
JP6674255B2 (ja) * 2015-12-28 2020-04-01 キヤノン株式会社 固体撮像素子及び撮像装置
JP6697684B2 (ja) * 2016-10-13 2020-05-27 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理回路
WO2020055196A1 (en) 2018-09-11 2020-03-19 Samsung Electronics Co., Ltd. Apparatus and methods for generating high dynamic range media, based on multi-stage compensation of motion
KR20210053377A (ko) 2019-11-01 2021-05-12 삼성전자주식회사 이미지 센서 및 이미지 신호 처리기를 포함하는 이미지 장치, 및 이미지 센서의 동작 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002271686A (ja) * 2001-03-12 2002-09-20 Olympus Optical Co Ltd 撮像装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3630905B2 (ja) * 1997-02-28 2005-03-23 キヤノン株式会社 撮像方法及び撮像装置
JP4282113B2 (ja) 1998-07-24 2009-06-17 オリンパス株式会社 撮像装置および撮像方法、並びに、撮像プログラムを記録した記録媒体
JP2000050151A (ja) * 1998-07-28 2000-02-18 Olympus Optical Co Ltd 撮像装置
JP4245699B2 (ja) 1998-09-16 2009-03-25 オリンパス株式会社 撮像装置
JP2000224470A (ja) * 1999-02-02 2000-08-11 Minolta Co Ltd カメラシステム
KR100316717B1 (ko) 1999-10-05 2001-12-20 윤종용 영상처리 시스템의 다이나믹 레인지 확대 장치 및 방법
JP3731729B2 (ja) 2000-12-20 2006-01-05 松下電器産業株式会社 画像合成回路
US6879731B2 (en) 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
KR100810310B1 (ko) * 2003-08-29 2008-03-07 삼성전자주식회사 조도차가 다른 영상의 재구성 장치 및 방법
JP2006050457A (ja) * 2004-08-06 2006-02-16 Canon Inc 撮像装置
EP1689164B1 (en) 2005-02-03 2007-12-19 Sony Ericsson Mobile Communications AB Method and device for creating enhanced picture by means of several consecutive exposures
JP2006262220A (ja) 2005-03-18 2006-09-28 Seiko Epson Corp 撮像装置
US7546026B2 (en) * 2005-10-25 2009-06-09 Zoran Corporation Camera exposure optimization techniques that take camera and scene motion into account
US8120658B2 (en) * 2006-01-19 2012-02-21 Qualcomm Incorporated Hand jitter reduction system for cameras
JP2007300595A (ja) * 2006-04-06 2007-11-15 Winbond Electron Corp 静止画像撮影の手ブレ回避方法
JPWO2007119680A1 (ja) * 2006-04-11 2009-08-27 パナソニック株式会社 撮像装置
US7746934B2 (en) * 2006-04-19 2010-06-29 Nethra Imaging Inc. Image stabilization method
JP4671430B2 (ja) * 2006-06-02 2011-04-20 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム及び記録媒体
KR101340035B1 (ko) 2006-11-30 2013-12-10 삼성전자주식회사 디지털 영상 처리 장치의 영상 합성 방법
US7978239B2 (en) * 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
JP2008277896A (ja) 2007-04-25 2008-11-13 Kyocera Corp 撮像装置および撮像方法
KR101411639B1 (ko) 2007-09-11 2014-06-24 삼성전기주식회사 영상 정합 방법 및 장치
JP5179223B2 (ja) * 2008-02-26 2013-04-10 オリンパス株式会社 撮像装置及び撮像プログラム
US8482620B2 (en) * 2008-03-11 2013-07-09 Csr Technology Inc. Image enhancement based on multiple frames and motion estimation
JP5054583B2 (ja) * 2008-03-17 2012-10-24 株式会社リコー 撮像装置
JP5183297B2 (ja) * 2008-05-19 2013-04-17 三洋電機株式会社 画像処理装置、撮像装置及び画像処理方法
US8130278B2 (en) * 2008-08-01 2012-03-06 Omnivision Technologies, Inc. Method for forming an improved image using images with different resolutions
US20100157079A1 (en) * 2008-12-19 2010-06-24 Qualcomm Incorporated System and method to selectively combine images
TWI444753B (zh) * 2010-11-16 2014-07-11 Altek Corp 影像擷取裝置及其曝光時間調整方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002271686A (ja) * 2001-03-12 2002-09-20 Olympus Optical Co Ltd 撮像装置

Also Published As

Publication number Publication date
US20110019014A1 (en) 2011-01-27
US8462214B2 (en) 2013-06-11
US8379094B2 (en) 2013-02-19
KR20110009936A (ko) 2011-01-31
US20120236169A1 (en) 2012-09-20

Similar Documents

Publication Publication Date Title
KR101614914B1 (ko) 모션 적응적 고대비 영상 획득 장치 및 방법
KR101604068B1 (ko) 고대비 영상 생성 장치 및 방법
US8384805B2 (en) Image processing device, method, and computer-readable medium for executing pixel value correction in a synthesized image
US8311282B2 (en) Image processing apparatus, image processing method, and program
CN101312500B (zh) 图像处理方法和图像处理装置
US8570389B2 (en) Enhancing digital photography
US9544505B2 (en) Image processing apparatus for synthesizing images based on a plurality of exposure time periods and image processing method thereof
US8295629B2 (en) Method and system for processing low-illuminance image
US9596400B2 (en) Image pickup apparatus that periodically changes exposure condition, a method of controlling image pickup apparatus, and storage medium
JP5687553B2 (ja) 画像合成装置、画像合成方法及び画像合成プログラム
CN109328454B (zh) 图像处理装置
US20100220222A1 (en) Image processing device, image processing method, and recording medium storing image processing program
CN108028889B (zh) 图像处理设备、图像处理方法、程序和摄像***
JP2010166558A (ja) 撮像装置
JP2009194700A (ja) 画像処理装置及び画像処理プログラム
JP2012029014A (ja) 画像処理装置及びその制御方法
JP4420906B2 (ja) 撮像装置
JP2015144475A (ja) 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
US10368017B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP5882702B2 (ja) 撮像装置
JP2011055259A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが格納されたプログラム記憶媒体
WO2014065055A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP5713643B2 (ja) 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
KR101519622B1 (ko) 영상 정합 장치 및 영상 정합 방법
JP2003309763A (ja) 動画撮像システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190319

Year of fee payment: 4