KR101871945B1 - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR101871945B1
KR101871945B1 KR1020130005428A KR20130005428A KR101871945B1 KR 101871945 B1 KR101871945 B1 KR 101871945B1 KR 1020130005428 A KR1020130005428 A KR 1020130005428A KR 20130005428 A KR20130005428 A KR 20130005428A KR 101871945 B1 KR101871945 B1 KR 101871945B1
Authority
KR
South Korea
Prior art keywords
exposure image
image
short
long
motion artifact
Prior art date
Application number
KR1020130005428A
Other languages
English (en)
Other versions
KR20140093079A (ko
Inventor
이창민
Original Assignee
한화에어로스페이스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화에어로스페이스 주식회사 filed Critical 한화에어로스페이스 주식회사
Priority to KR1020130005428A priority Critical patent/KR101871945B1/ko
Priority to US13/935,609 priority patent/US9124811B2/en
Priority to CN201310751111.1A priority patent/CN103945145B/zh
Publication of KR20140093079A publication Critical patent/KR20140093079A/ko
Application granted granted Critical
Publication of KR101871945B1 publication Critical patent/KR101871945B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/52—Automatic gain control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은, 광역 역광 보정(WDR) 처리를 통해 넓은 동적 영역을 갖는 영상을 획득하는 영상 처리 장치 및 방법에 관한 것으로, 서로 다른 노출 시간들을 갖는 장노광 영상 및 단노광 영상을 입력받아, 장노광 영상과 단노광 영상의 융합시 발생가능한 모션 아티펙트 영역을 검출하고, 단노광 영상의 휘도 성분이 장노광 영상의 휘도 성분에 상응하도록 단노광 영상의 이득을 비선형적으로 조절하여 비선형이득 제어 단노광 영상을 생성하고, 검출된 모션 아티펙트 영역을 기초로 비선형이득 제어 단노광 영상 내의 움직임을 보상하고, 비선형이득제어 단노광 영상과 장노광 영상을 융합하여 광역 역광 보정 처리된 영상을 출력함으로써, 종래의 광역 역광 보정 기술들과 달리, 넓은 동적 영역을 갖는 영상을 획득하는 과정에서 움직이는 물체로 인해 발생할 수 있는 모션 아티펙트를 최소화할 수 있다.

Description

영상 처리 장치 및 방법{Apparatus and method for processing image}
본 발명은, 영상 처리 장치 및 방법에 관한 것으로, 광역 역광 보정(WDR) 처리를 통해 넓은 동적 영역을 갖는 영상을 획득하는 영상 처리 장치 및 방법에 관한 것이다.
최근 디지털 카메라, 디지털 캠코더, 카메라 폰 등을 포함하는 디지털 영상 처리 장치에 대한 사용자 수요가 급격하게 증대되고 있으며, 이에 따라 디지털 영상 처리 장치의 기능들이 갈수록 다양화되고 지능화되고 있다.
그러나, 이러한 디지털 영상 처리 장치들은 영상 센서 등을 통해 획득할 수 있는 동적 영역이 실제 장면의 동적 영역에 비해 상대적으로 매우 작기 때문에, 실제 장면에 대한 모든 정보를 처리하기에 부족하며, 특히, 역광 등에 의해 영상의 명부와 암부 사이의 조도 차이가 큰 상태에서 영상을 획득하는 경우에는 영상의 명부 및 암부 모두에 대하여 충분한 정보 획득이 불가능하며, 이로 인해 해당 영역의 화질이 심각하게 열화될 수 있다.
이를 극복하기 위한 기술로, 광역 역광 보정(WDR) 영상 처리 기술이 등장하였다.
WDR 영상 처리 기술은 영상의 명부가 선명하게 보이도록 노출 시간을 짧게 조절한 단노광 영상과 암부가 선명하게 보이도록 노출 시간을 길게 조절한 장노광 영상을 서로 융합하여 명부 및 암부 모두가 선명하게 보일 수 있는 영상을 생성하는 기술이다.
그러나, 이러한 WDR 처리된 영상은 실제 영상 내에 움직이는 물체가 등장하는 경우에는 해당 물체로 인하여 모션 아티펙트가 발생하게 된다.
따라서, WDR 영상 처리 기술을 적용하는 과정에서 이러한 모션 아티펙트를 보정할 수 있는 영상 처리 기술이 필요한 실정이다.
한국공개특허공보 제2010-0060140호
본 발명이 이루고자 하는 기술적 과제는, 광역 역광 보정(WDR) 처리 과정에서 발생할 수 있는 모션 아티펙트를 보정할 수 있는 영상 처리 장치 및 방법을 제공하는 데에 있다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기의 기술적 과제를 이루기 위한, 영상 처리 장치는 서로 다른 노출 시간들을 갖는 장노광 영상 및 단노광 영상을 입력받는 영상 입력부; 장노광 영상과 단노광 영상의 융합시 발생가능한 모션 아티펙트 영역을 검출하는 모션 아티펙트 영역 검출부; 단노광 영상의 휘도 성분이 장노광 영상의 휘도 성분에 상응하도록 단노광 영상의 이득을 비선형적으로 조절하여 비선형이득 제어 단노광 영상을 생성하고, 검출된 모션 아티펙트 영역을 기초로 비선형이득 제어 단노광 영상 내의 움직임을 보상하는 비선형이득조절부; 및 비선형이득제어 단노광 영상과 장노광 영상을 융합하여 광역 역광 보정 처리된 영상을 출력하는 융합부를 포함할 수 있다.
상기의 기술적 과제를 이루기 위한, 영상 처리 방법은 영상 센서를 통해 서로 다른 노출 시간들을 갖는 장노광 영상 및 단노광 영상을 입력받는 단계; 장노광 영상과 단노광 영상의 융합시 발생가능한 모션 아티펙트 영역을 검출하여 모션 아티펙트 영역의 위치 정보와 모션 아티펙트 영역에 적용할 가중치 정보를 생성하는 단계; 단노광 영상의 휘도 성분이 장노광 영상의 휘도 성분에 상응하도록 단노광 영상의 이득을 비선형적으로 조절하여 비선형이득 제어 단노광 영상을 생성하는 단계; 검출된 모션 아티펙트 영역을 기초로 비선형이득 제어 단노광 영상 내의 움직임을 보상하는 단계; 및 비선형이득제어 단노광 영상과 장노광 영상을 융합하여 광역 역광 보정 처리된 영상을 출력하는 단계를 포함할 수 있다.
본 발명이 이루고자하는 기술적 과제를 해결하기 위하여, 상기한 영상 처리 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독가능한 기록 매체를 제공할 수 있다.
본 발명에 따르면, 종래의 광역 역광 보정 기술들과 달리, 넓은 동적 영역을 갖는 영상을 획득하는 과정에서 움직이는 물체로 인해 발생할 수 있는 모션 아티펙트를 최소화할 수 있다.
도 1a 내지 1c는 종래의 광역 보정 기술 및 이에 발생하는 모션 아티펙트를 설명하기 위한 도면이다.
도 2a는 본 발명의 바람직한 일 실시예에 따른 영상 처리 장치의 구성을 개략적으로 도시한 블록도이다.
도 2b는 본 발명의 바람직한 일 실시예에 따른 영상 처리 방법의 흐름을 개략적으로 도시한 흐름도이다.
도 3a는 장노광 영상과 단노광 영상의 융합시 장노광 영상과 단노광 영상의 촬영 시차에 따라 발생할 수 있는 모션 아티펙트를 설명하기 위한 예를 도시한 도면이다.
도 3b는 본 발명의 바람직한 일 실시예에 따라 도 3a에 예시된 모션 아티펙트ㄹ를 검출하는 모션 아티펙트 영역 검출부의 구성을 개략적으로 도시한 블록도이다.
도 4a는 본 발명의 바람직한 일 실시예에 따른 영상 처리 장치의 일 구성요소인 비선형이득조절부의 구성을 개략적으로 도시한 블록도이다.
도 4b는 도 4a에 도시된 비선형이득조절부에서 수행될 수 있는 영상 처리 방법의 흐름을 개략적으로 도시한 흐름도이다.
도 4c는 도 4b에 도시된 영상 처리 방법의 구체적인 수행 과정을 예시한 도면이다.
도 5a는 본 발명의 바람직한 일 실시예에 따라 모션 아티펙트 영역을 기초로 비선형 단노광 영상 내의 움직임을 보상하는 방법의 흐름을 개략적으로 도시한 흐름도이다.
도 5b는 도 5a에 도시된 움직임 보상 방법의 알고리즘을 보다 상세하게 예시한 도면이다.
도 6은 본 발명의 바람직한 일 실시예에 따라 단노광 영상의 휘도 성분을 장노광 영상의 휘도 성분에 상응하도록 정규화하는 과정을 예시한 도면이다.
도 7은 본 발명의 바람직한 일 실시예에 따라 장노광 영상 및 단노광 영상을 융함하는 과정을 예시한 도면이다.
도 8은 본 발명의 바람직한 일 실시예에 따른 영상 처리 방법을 적용한 경우에 광역 역광 보정(WDR) 처리시 발생할 수 있는 모션 아티펙트가 제거된 결과를 예시한 도면이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다. 또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한, 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.
따라서, 프로세서 또는 이와 유사한 개념으로 표시된 기능 블록을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다. 또한, 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니 되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지 관용의 다른 하드웨어도 포함될 수 있다.
상술한 목적, 특징 및 장점들은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 더욱 분명해 질 것이다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략하거나 간략하게 설명하는 것으로 한다.
한편 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다.
디지털 카메라를 비롯한 영상 처리 장치들은 성능이 지속적으로 향상되고 있지만, 영상 획득에 사용되는 일반 CCD(charge coupled device) 또는 CMOS(complementary metal oxide semiconductor) 센서의 경우에는 동적 영역(dynamic range)의 한계로 밝은 영역 또는 어두운 영역의 정보를 상실하는 현상이 나타난다. 여기서 동적 영역이란, 영상에서 가장 밝은 영역과 가장 어두운 영역의 밝기 비율을 뜻한다. 영상 획득 장치에 사용되는 센서의 동적 영역은 실세계 장면의 동적 영역보다 매우 작기 때문에 실세계 장면의 밝기 범위를 모두 표현할 수 없다.
도 1a는, 실세계 장면의 밝기 범위를 충분히 표현할 수 있는 넓은 동적 영역을 갖는 영상을 생성하는 광역 역광 보정(WDR) 기술의 기본 원리를 개략적으로 도시한다.
도 1a를 참조하면, 광역 역광 보정을 위해서는 긴 노출 시간 동안 획득된 장노광 영상 신호(101) 및 짧은 노출 시간 동안 획득된 단노광 영상 신호(102)를 획득하고, 광량의 크기에 따라 장노광 영상 및 단노광 영상 각각에 적용되는 가중치를 달리 적용하여 장노광 영상 및 단노광 영상의 노출 밸런스를 맞추어 주는 소정의 노출 신호 처리(103)를 수행한 후 이들 영상을 서로 융합(Fusion)하여 넓은 동적 범위를 갖는 영상(104)을 생성할 수 있다. 예컨대 촬영 소자의 동적 범위가 60 dB인 경우에 광역 역광 보정 영상 처리를 통해 약 120 dB의 동적 범위를 갖는 영상을 획득할 수 있게 된다.
도 1b는 종래의 광역 역광 보정 기술에서 장/단 가변 노출(Long/short variable exposure) 방식을 통해 장노광 영상 및 단노광 영상을 센싱하는 과정을 개략적으로 도시하고, 도 1c는 이러한 종래의 광역 역광 보정 기술에서 나타나는 모션 아티펙트를 예시한다.
도 1b를 참조하면, 장/단 가변 노출 방식은 프레임 별로 선택적으로 노출 시간을 조절하여, 셔터를 제어함으로써, WDR 처리에 필요한 장노광 영상 및 단노광 영상을 획득한다.
하나의 영상 센서에서 일반적인 프레임 촬영시에 적용되는 노출 시간(Standard Exposure Time) 동안 장노광 신호(111)를 획득하여 이를 기초로 하나의 롱 프레임(121, 도 1c 참조)을 구성하고, 상대적으로 짧은 노출시간(Short Exposure) 동안 단노광 신호(112)를 획득하여 이를 기초로 다른 하나의 쇼트 프레임(122, 도 1c 참조)을 구성할 수 있다.
도 1b에 도시된 장/단 가변 노출 방식을 통해 롱 프레임(121) 및 쇼트 프레임(122)을 번갈아가며, 획득하는 경우에 롱 프레임의 촬영시점과, 쇼트 프레임의 촬영시점 사이의 시차로 인하여, 도 1c에 도시된 바와 같이, 장노광 영상 및 단노광 영상이 서로 융합된 융합 프레임(123)에서 모션 아티펙트(Motion artifact, 124)가 발생할 수 있다. 특히, 이는 영상 내에 빠르게 움직이는 물체(Fast moving object)가 포함되어 있는 경우에 더욱 그러하다,
도 2a는 본 발명의 바람직한 일 실시예에 따른 영상 처리 장치(200)의 구성을 개략적으로 도시한 블록도이며, 도 2b는 도 2a에 도시된 영상 처리 장치에서 수행될 수 있는 영상 처리 방법의 흐름을 개략적으로 도시한 흐름도이다.
도 2a를 참조하면, 본 실시예에 따른 영상 처리 장치(200)는 모션 아티펙트 영역 검출부(210), 비선형이득조절부(220) 및 융합부(230)를 포함하여 구성되며, 본 실시예에 따른 영상 처리 장치는 영상 센서를 통해 프레임별로 노출 시간을 선택적으로 조절하여 장노광 영상 및 단노광 영상을 획득(S201)하는 것을 전제로 한다.
본 실시예에 따른 영상 처리 장치(200)의 모션 아티펙트 영역 검출부(210), 비선형이득조절부(220) 및 융합부(230)는 그 중 적어도 일부가 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈 중 적어도 하나 이상을 포함하는 소프트웨어로 구성될 수 있으며, 물리적으로는 다양한 종류의 공지된 기억 장치에 저장될 수 있다. 또한, 이러한 소프트웨어 모듈들은 따른 영상 처리 장치(200)와 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 소프트웨어 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 본 발명 자체가 이에 한정되지는 않는다.
비선형이득조절부(220)는 단노광 영상의 휘도 성분(YS)이 장노광 영상의 휘도 성분(YL)에 상응하도록 단노광 영상의 이득(Gain)을 비선형적으로 조절하여 비선형이득제어 단노광 영상을 생성한다(S202). 본 실시예에 따른 영상 처리 장치의 영상 센서를 통해 획득된 장노광 영상 및 단노광 영상의 영상 신호는 R 25% G 50%, B 25%의 비율로 구성된 배열(R-G-G-B)인 Bayer 패턴의 형태로 입력된다. 따라서, 비선형이득조절부(220)는 이러한 Bayer 패턴의 단위 영역별로 최대색상을 산출하고, 단노광 영상의 휘도 성분을 장노광 영상의 휘도 성분에 상응하도록 단노광 영상의 이득을 비선형적으로 조절한 비선형 곡선으로부터 단위 영역별 최대색상에 상응하는 이득값을 산출한다.
모션 아티펙트 영역 검출부(210)는 장노광 영상 및 단노광 영상을 기초로 모션 아티펙트 영역을 검출하여(S203), 검출 결과를 비선형이득조절부(220)에 전달한다. 본 실시예에서, 모션 아티펙트 영역이란 장노광 영상과 단노광 영상 간에 모션 정보의 차이가 발생하는 영역을 가리킨다. 모션 아티펙트 영역 검출부(210)는 이러한 모션 아티펙트 영역의 위치를 검출하고, 검출된 모션 아티펙트 영역의 위치와 함께 해당 모션 아티펙트 영역에 대해 적용할 가중치를 비선형이득조절부(220)에 전달한다.
S202 단계 및 S203 단계는 (S202->S203)의 순서로 도시되어 있으나, 순서를 바꾸어 수행될 수 있으며, 또한, 별개의 프로세서 회로 또는 구성요소에 의해 서로 병렬적으로 혹은 동시에 수행될 수 있다. 본 발명은 양 자의 수행 순서를 한정하지 않는다고 할 것이다.
또한, 비선형이득조절부(220)는 S203 단계에서 검출된 모션 아티펙트 영역을 기초로 S202 단계에서 생성된 비선형이득제어 단노광 영상 내의 움직임을 보상한다(S204). 모션 아티펙트 영역이 검출된 경우에는 장노광 영상과 단노광 영산 간에 모션 정보의 차이가 존재한다는 것을 나타내며, 따라서 비선형이득조절부(220)는 비선형이득제어 단노광 영상에 대하여 이러한 차이를 보상하게 된다.
융합부(230)는 S204 단계에서 움직임 보상된 비선형이득제어 단노광 영상과 S201 단계에서 획득된 장노광 영상을 융합하여(S205), 광역 역광 보정 영상 처리된 영상을 출력한다.
도 3a는 장노광 영상과 단노광 영상의 융합시 장노광 영상과 단노광 영상의 촬영 시차에 따라 발생하는 모션 아티펙트를 설명하기 위한 예를 도시한 도면이며, 도 3b는 본 발명의 바람직한 일 실시예에 따라 도 3a에 예시된 모션 아티펙트를 검출하는 모션 아티펙트 영역 검출부(300)의 구성을 개략적으로 도시한 블록도이다.
도 3a에 따르면, 특히, 장/단 가변 노출 방식에 따라 장노광 영상 및 단노광 영상 획득시 장노광 영상 및 단노광 영상의 촬영 시점들 간의 시차 때문에, 움직이는 물체가 있는 경우에, 장노광 영상과 단노광 영상이 서로 융합되는 부분(L1)을 융합한 영상에서 해당 물체의 움직임에 대응되는 영역(L3)에 Motion Blur 현상이 발생한다. 이를 모션 아티펙트(Motion Artifact)라 한다.
도 3b를 참조하면, 본 실시예에 따른 모션 아티펙트 영역 검출부(300)는 증폭부(310), 제1저역통과필터(320), 로컬오브젝트검출부(330), 제2저역통과필터(340) 및 가중치설정부(350)를 포함한다.
먼저, 증폭부(310)는 단노광 영상의 노출 시간 및 장노광 영상의 노출 시간의 차이를 보상하기 위해, 장노광 영상의 노출 시간 대비 단노광 영상의 노출 시간의 비율만큼 단노광 영상을 증폭시킨다.
예컨대, 단노광 영상의 셔터 스피드가 x1/10이고, 장노광 영상의 셔터 스피드가 x1인 경우에는, 단노광 영상을 셔터 스피드 비율(shutter ratio)인 10배로 증폭시킬 수 있다.
제1저역통과필터(320)는 장노광 영상 중 단노광 영상과의 융합시 경계선을 형성할 부분 영역에 대한 평활화(smoothing) 처리를 수행한다.
로컬오브젝트검출부(330)는 장노광 영상 및 단노광 영상의 차이가 임계값(Thr) 이상인 영역을 로컬 오브젝트로 검출한다. 본 실시예에서 장노광 영상 및 단노광 영상의 차이는 SAD(Sum of Absolute Difference) 알고리즘을 사용하여 산출할 수 있다. 여기에서 로컬 오브젝트는 장노광 영상과 단노광 영상의 추후 융합시 모션 아티펙트가 발생할 것으로 예상되는 부분 영역을 가리킨다.
제2저역통과필터(340)는 로컬 오브젝트로 검출된 영역의 경계선을 형성할 부분에 대한 평활화(smoothing) 처리를 수행한다.
가중치설정부(350)는 검출된 로컬 오브젝트 영역에 대해 장노광 및 단노광 융합시 적용할 가중치를 설정한다. 이때 가중치는 기설정된 값일 수도 있으며, 장노광 영상 및 단노광 영상의 휘도 레벨이나, 모션 아티펙트의 유무에 따라 달리 설정될 수 있다.
도 4a는 본 발명의 바람직한 일 실시예에 따른 영상 처리 장치의 일 구성요소인 비선형이득조절부(400)의 구성을 개략적으로 도시한 블록도이며, 도 4b는 도 4a에 도시된 비선형이득조절부에서 수행될 수 있는 영상 처리 방법의 흐름을 개략적으로 도시한 흐름도이며, 도 4c는 이러한 영상 처리 방법의 구체적인 수행 과정을 예시한 도면이다.
도 4a를 참조하면, 본 실시예에 따른 비선형이득조절부(400)는 최대색상산출부(410), 최대색상비선형이득조절부(420), 모션 아티펙트 처리부(430), 및 적응적 이득 조절부(440)를 포함하여 구성되며, 입력된 단노광 영상에 대하여 밝은 부분과 어두운 부분 간의 콘트라스트를 향상시키고, 이러한 콘트라스트 향상 결과를 반영하여, 단노광 영상의 명암 대비 및 명암값의 분포에 관한 정보를 제공하는 히스토그램 그래프를 생성할 수 있다.
최대색상산출부(410)는 단노광 영상의 현재 픽셀을 기준으로 2*2 배열 형태의 베이어 패턴 영역(451, 도 4c 참조)을 선택하고, 해당 베이어 패턴 영역에서 가장 큰 최대색상을 선정하여(S401), 선정된 최대색상으로 해당 베이어 패턴 영역을 모두 대체한 최대색상 플레인(452, 도 4c 참조)을 생성한다(S402).
최대색상비선형이득조절부(420)는 비선형 곡선 상에서 해당 베이어 패턴 영역의 최대색상에 해당되는 비선형이득 값을 산출한다(453, 도 4c 참조). 본 실시예에서 비선형이득 값을 산출하기 위한 비선형 곡선은 단노광 영상의 휘도 성분의 각각의 영역을 장노광 영상의 휘도 성분의 각각의 영역에 상응하도록 정규화하는 과정에서 생성될 수 있다. 이때, 장노광 영상의 휘도 성분에 상응하는 단노광 영상의 휘도 성분을 저휘도 영역, 중휘도 영역 및 고휘도 영역의 3가지 영역들로 분류하고, 휘도 성분 영역들 각각에 대하여 서로 다른 계수(Coefficient)를 적용하여, 휘도 성분 영역들 각각의 선형 곡선을 형성하고, 이들 선형곡선을 연결하여 비선형 곡선을 형성할 수 있다.
이하의 수학식 1(454, 도 4c 참조)과 같이 최대색상(MaxColor) 및 산출된 최대색상에 대응되는 비선형이득 값(NonLinearGain(MaxColor))을 기초로 하는 계산을 통해 단노광 영상의 비선형이득을 조절하여 비선형이득제어 단노광 영상을 생성한다(S404).
[수학식 1]
NonLinearGain(MaxColor)/MaxColor * Input Pixel Image
본 실시예와 같이, 베이어 패턴 영역의 최대색상을 이용하여 비선형이득 조절을 수행하면, 화이트 밸런스 처리되기 이전의 영상이라 하더라도 색상의 틀어짐 없이 비선형이득을 제어할 수 있게 된다.
아울러, 전술한 모션 아티펙트 검출부에서 모션 아티펙트 영역을 검출하는 데에 성공하면(S405), 검출된 모션 아티펙트 영역을 기초로 비선형이득제어 단노광 영상 내의 움직임을 보상한다(S406).
도 5a는 본 발명의 바람직한 일 실시예에 따라 모션 아티펙트 영역을 기초로 비선형 단노광 영상 내의 움직임을 보상하는 방법의 흐름을 개략적으로 도시한 흐름도이며, 도 5b는 도 5a에 도시된 움직임 보상 방법의 알고리즘을 보다 상세하게 예시한 도면으로, 도 5a 및 도 5b에 도시된 움직임 보상 방법은 도 2a에 도시된 영상 처리 장치 및/또는 도 4a에 도시된 비선형이득 조절부에서 수행될 수 있다. 따라서, 도 2a에 도시된 영상 처리 장치 및/또는 도 4a에 도시된 비선형이득 조절부에서와 동일한 사항에 대해서는 이를 참조한다.
본 실시예에서는, 전술한 모션 아티펙트 검출부에서 모션 아티펙트 영역을 검출한 경우에, 검출된 모션 아티펙트 영역의 위치 및 이에 적용될 가중치 정보를 입력받는 것을 전제로 한다.
전술한 모션 아티펙트 검출부로부터 입력받은 모션 아티펙트 영역의 위치 정보를 기초로 비선형이득제어 단노광 영상의 아티펙트 로컬 블록(521)을 설정한다(S501, S511).
아울러, 전술한 모션 아티펙트 검출부로부터 입력받은 모션 아티펙트 영역의 위치 정보를 기초로 장노광 영상의 8개의 아티펙트 주위 로컬 블록들을 설정(S502, S512)
비선형이득제어 단노광 영상의 아티펙트 로컬 블록 및 장노광 영상의 8개의 아티펙트 주위 로컬 블록들 각각의 RGB 영역 평균값들을 산출한다(S503, S513~S514).
비선형이득제어 단노광 영상의 아티펙트 로컬 블록의 RGB 영역 평균값을 장노광 영상의 8개의 아티펙트 주위 로컬 블록들 각각의 RGB 영역 평균값들과 비교하여, 가장 유사한 아티펙트 주위 로컬 블록을 획득한다(S504, S515).
이때, 단노광 영상의 아티펙트 로컬 블록과 장노광 영상의 아티펙트 주위 로컬 블록을 비교하는 데에 있어서 SAD(Sum of Absolute Difference)를 사용할 수 있다.
전술한 일련의 과정을 통해, 장노광 영상 채널의 정보 중 단노광 영상에서 모션 아티펙트가 인식된 위치와 가장 유사한 정보를 획득할 수 있다. 장노광 영상 채널의 정보 중 가장 유사한 정보를 기초로 그와 유사한 단노광 영상의 정규화를 통해 모션 아티펙트를 제거할 수 있게 된다.
즉, 아티펙트 로컬 블록의 RGB 영역 평균값과 획득된 아티펙트 주위 로컬 블록의 RGB 영역 평균값을 비교하여 모션 아티펙트 보상을 위한 이득값을 산출한다(S505, S516).
하기의 수학식 2와 같이, 전술한 모션 아티펙트 검출부로부터 입력받은 모션 아티펙트 영역의 가중치(Weight) 및 모션 아티펙트 보상을 위한 이득값 (Motion_Arfifact_gain)을 비선형이득제어 단노광 영상(Short_NonLinearGain)에 적용하여 비선형이득제어 단노광 영상 내의 움직임을 보상한다. 이는 모션 아티펙트 영역을 보다 부드럽게 보상하기 위함이다.
[수학식 2]
Short_NonLinerGain_Motion_Artifact_removal= Short_NonLinearGain*(Motion_Arfifact_gain*Weight)
이처럼 본 발명에서는, WDR 영상 처리 기술에서 장노광 영상 및 단노광 영상의 노출 정도를 보상하는 것과 별개로, 장노광 영상 및 단노광 영상 간에 움직임 차이가 발생한 부분에 대해서 추가적인 보상을 실시함으로써, 움직임으로 인한 아티펙트를 저감할 수 있다.
도 6은 본 발명의 바람직한 일 실시예에 따라 단노광 영상의 휘도 성분을 장노광 영상의 휘도 성분에 상응하도록 정규화하는 과정을 예시한 도면으로, 본 실시예에 따른 단노광 영상 정규화 과정은 도 2a에 도시된 영상 처리 장치 및 도 4a에 도시된 비선형이득 조절부에서 수행될 수 있다. 따라서, 도 2a에 도시된 영상 처리 장치 및/또는 도 4a에 도시된 비선형이득 조절부에서와 동일한 사항에 대해서는 이를 참조한다.
본 실시예에 따른 단노광 영상 정규화 과정은 단노광 영상 및 장노광 영상의 휘도 성분을 저휘도 영역, 중휘도 영역 및 고휘도 영역의 3가지 영역으로 분리하고, 각 영역별로 서로 다른 가중치를 적용하여, 각 영역에 대한 선형 곡선(Linear Curve)를 생성한다.
이때, 각 영역별로 서로 다른 가중치를 적용함에 있어서, 저휘도 영역에서는 영상의 모션 아티펙트를 저감하는 방향으로 가중치를 조정하고, 중휘도 영역은 영상의 노이즈를 저감하는 방향으로 가중치를 조정하고, 고휘도 영역은 영상의 동적 영역을 넓히는 방향으로 가중치를 조정하는 것이 바람직하다.
이처럼 각 영역에 대하여 생성된 선형 곡선을 조합하여 단노광 영상의 비선형이득값을 갖는 비선형 곡선을 생성할 수 있다.
도 7은 본 발명의 바람직한 일 실시예에 따라 장노광 영상 및 단노광 영상을 융함하는 과정을 예시한 도면으로, 본 실시예에 따른 융합 과정은 도 2a에 도시된 영상 처리 장치에서 수행될 수 있다. 따라서, 도 2a에 도시된 영상 처리 장치에서와 동일한 사항에 대해서는 이를 참조한다.
도 7을 참조하면, 영상 센서로부터 획득된 장노광 영상(701)과 전술된 비선형이득 조절부에서 출력된 비선형이득제어 단노광 영상(702)을 서로 융합한다. 이때, 장노광 영상 및 단노광 영상을 융함함에 있어서, 장노광 영상의 휘도 성분 값을 기초로 Piecewise 방식의 Weight Curve를 구하여 이를 기초로 장노광 영상 및 단노광 영상의 융합 가중치(Weight)를 산출할 수 있다. 아울러, 이하의 수학식 3과 같이, 전술한 모션 아티펙트 검출부에서 도출한 모션 아티펙트 영역의 가중치(Motion_Detect_Weight)를 추가적으로 적용할 수 있다. 즉, 모션 아티펙트 영역 가중치(Motion_Detect_Weight)를 기초로 비선형이득제어 단노광 영상과 장노광 영상의 융합 가중치들(Weight, 1- Weight)을 조절할 수 있다.
[수학식 3]
Fusion = (Weight-Motion_Detect_Weight)*Long + (1-(Weight-Motion_Detect_Weight))*Short
도 8은 본 발명의 바람직한 일 실시예에 따른 영상 처리 방법을 적용한 경우에 광역 역광 보정(WDR) 처리시 발생할 수 있는 모션 아티펙트가 제거된 결과를 예시한 도면이다.
도 8을 참조하면, 롱 프레임(801) 및 쇼트 프레임(802)를 융합하여 융합 프레임 영상(803)를 구성함에 있어서, 도 1c에 도시된 예와 같이 모션 아티펙트로 인한 경계 영역을 평활화(804)하여, 보다 자연스러운 광역 역광 보정 처리된 프레임 영상을 제공할 수 있다.
이처럼 본 발명에 따른 영상 처리 방법을 적용하면, 종래의 광역 역광 보정 기술들과 달리, 넓은 동적 영역을 갖는 영상을 획득하는 과정에서 움직이는 물체로 인해 발생할 수 있는 모션 아티펙트를 최소화할 수 있다.
본 발명에 따른 영상 처리 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.
200: 영상 처리 장치
210: 모션 아티펙트 영역 탐지부
220: 비선형이득조절부
230: 융합부
300: 모션 아티펙트 영역 검출부
310: 증폭부
320: 제1저역통과필터
330: 로컬오브젝트검출부
340: 제2저역통과필터
350: 가중치설정부
400: 비선형이득조절부
410: 최대색상산출부
420: 최대색상비선형이득조절부
430: 모션 아티펙트 처리부
440: 적응적 이득 조절부

Claims (18)

  1. 서로 다른 노출 시간들을 갖는 장노광 영상 및 단노광 영상을 입력받는 영상 입력부;
    상기 장노광 영상과 상기 단노광 영상의 융합시 발생가능한 모션 아티펙트 영역을 검출하는 모션 아티펙트 영역 검출부;
    상기 단노광 영상의 휘도 성분이 상기 장노광 영상의 휘도 성분에 상응하도록 상기 단노광 영상의 이득을 비선형적으로 조절하여 비선형이득 제어 단노광 영상을 생성하고, 상기 검출된 모션 아티펙트 영역을 기초로 상기 비선형이득 제어 단노광 영상 내의 움직임을 보상하는 비선형이득조절부; 및
    상기 비선형이득제어 단노광 영상과 상기 장노광 영상을 융합하여 광역 역광 보정 처리된 영상을 출력하는 융합부;를 포함하고,
    상기 융합부는 상기 모션 아티펙트 영역 검출부로부터 상기 모션 아티펙트 영역에 적용할 가중치를 제공받아, 상기 제공받은 가중치를 기초로 상기 비선형이득제어 단노광 영상과 상기 장노광 영상의 융합 가중치들을 조절하는 것을 특징으로 하는 영상 처리 장치.
  2. [청구항 2은(는) 설정등록료 납부시 포기되었습니다.]
    제1항에 있어서,
    상기 영상 입력부는 영상 센서를 통해 프레임별로 노출 시간을 선택적으로 조절하여 상기 장노광 영상 및 상기 단노광 영상을 획득하는 것을 특징으로 하는 영상 처리 장치.
  3. 제1항에 있어서,
    상기 모션 아티펙트 영역 검출부는 상기 모션 아티펙트 영역의 위치 정보와 상기 모션 아티펙트 영역에 적용할 가중치 정보를 생성하는 것을 특징으로 하는 영상 처리 장치.
  4. 제1항에 있어서,
    상기 모션 아티펙트 영역 검출부는
    상기 장노광 영상의 노출 시간 대비 상기 단노광 영상의 노출 시간의 비율만큼 단노광 영상을 증폭시키는 증폭부;
    상기 장노광 영상 중 상기 단노광 영상과 상기 장노광 영상의 융합시 경계선을 형성할 부분 영역을 평활화시키는 제1저역통과필터;
    상기 장노광 영상 및 상기 단노광 영상의 차이를 기초로 상기 모션 아티펙트 영역을 검출하는 로컬 오브젝트 검출부;
    상기 검출된 모션 아티펙트 영역의 경계선을 형상할 부분 영역을 평활화시키는 제2저역통과필터; 및
    상기 검출된 모션 아티펙트 영역에 대해 적용될 가중치 값을 설정하는 가중치 설정부를 포함하는 것을 특징으로 하는 영상 처리 장치.
  5. 제1항에 있어서,
    상기 비선형이득조절부는 상기 단노광 영상의 베이어 패턴의 단위 영역별 최대색상을 산출하고, 상기 단노광 영상의 휘도 성분을 상기 장노광 영상의 휘도 성분에 상응하도록 상기 단노광 영상을 정규화하여 상기 단노광 영상의 이득을 조절한 비선형 곡선으로부터 상기 단위 영역별 최대색상에 상응하는 이득값을 산출하는 것을 특징으로 하는 영상 처리 장치.
  6. [청구항 6은(는) 설정등록료 납부시 포기되었습니다.]
    제5항에 있어서,
    상기 비선형 곡선은 상기 장노광 영상의 휘도 성분에 상응하는 상기 단노광 영상의 휘도 성분을 휘도 레벨에 따라 복수의 휘도 성분 영역들로 분류하고, 상기 분류된 휘도 성분 영역들 각각에 대하여 서로 다른 계수들을 적용하여 상기 휘도 성분 영역들 각각에 대응하는 선형 곡선들을 형성하고, 상기 형성된 선형 곡선들을 연결하여 생성된 것을 특징으로 하는 영상 처리 장치.
  7. 제1항에 있어서,
    상기 비선형이득 조절부는 상기 모션 아티펙트 영역의 위치 정보를 기초로 상기 비선형이득제어 단노광 영상의 아티펙트 로컬 블록 및 상기 장노광 영상의 아티펙트 주위 로컬 블록들을 설정하고 상기 아티펙트 주위 로컬 블록들 중 상기 아티펙트 로컬 블록과 가장 유사한 아티펙트 주위 로컬 블록을 획득하여, 상기 아티펙트 로컬 블록과 상기 아티펙트 주위 로컬 블록과의 차이를 기초로 상기 모션 아티펙트 보상을 위한 상기 단노광 영상의 이득값을 산출하는 것을 특징으로 하는 영상 처리 장치.
  8. [청구항 8은(는) 설정등록료 납부시 포기되었습니다.]
    제7항에 있어서,
    상기 비선형 이득 조절부는 상기 모션 아티펙트 영역 검출부로부터 상기 모션 아티펙트 영역에 적용할 가중치를 제공받아 상기 제공받은 가중치 및 상기 산출된 단노광 영상의 이득값을 기초로 상기 비선형이득 제어 단노광 영상 내의 움직임을 보상하는 것을 특징으로 하는 영상 처리 장치.
  9. 삭제
  10. 영상 센서를 통해 서로 다른 노출 시간들을 갖는 장노광 영상 및 단노광 영상을 입력받는 영상 입력 단계;
    상기 장노광 영상과 상기 단노광 영상의 융합시 발생가능한 모션 아티펙트 영역을 검출하여 상기 모션 아티펙트 영역의 위치 정보와 상기 모션 아티펙트 영역에 적용할 가중치 정보를 생성하는 모션 아티펙트 검출 단계;
    상기 단노광 영상의 휘도 성분이 상기 장노광 영상의 휘도 성분에 상응하도록 상기 단노광 영상의 이득을 비선형적으로 조절하여 비선형이득 제어 단노광 영상을 생성하는 비선형 이득 조절 단계;
    상기 검출된 모션 아티펙트 영역을 기초로 상기 비선형이득 제어 단노광 영상 내의 움직임을 보상하는 보상 단계; 및
    상기 비선형이득제어 단노광 영상과 상기 장노광 영상을 융합하여 광역 역광 보정 처리된 영상을 출력하는 융합 단계;를 포함하고,
    상기 융합 단계는 상기 모션 아티펙트 영역에 적용할 가중치를 기초로 상기 비선형이득제어 단노광 영상과 상기 장노광 영상의 융합 가중치들을 조절하는 것을 특징으로 하는 영상 처리 방법.
  11. [청구항 11은(는) 설정등록료 납부시 포기되었습니다.]
    제10항에 있어서,
    상기 영상 입력단계는 상기 영상 센서를 통해 프레임별로 노출 시간을 선택적으로 조절하여 상기 장노광 영상 및 상기 단노광 영상을 획득하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  12. 제10항에 있어서,
    상기 모션 아티펙트 검출 단계는
    상기 장노광 영상의 노출 시간 대비 상기 단노광 영상의 노출 시간의 비율만큼 상기 단노광 영상을 증폭시키는 단계;
    저역 통과 필터를 사용하여 상기 장노광 영상 중 상기 단노광 영상과 상기 장노광 영상의 융합시 경계선을 형성할 부분 영역을 평활화시키는 단계;
    상기 장노광 영상 및 상기 단노광 영상의 차이를 기초로 상기 모션 아티펙트 영역을 검출하는 단계;
    저역 통과 필터를 사용하여 상기 검출된 모션 아티펙트 영역의 경계선을 형상할 부분 영역을 평활화시키는 단계; 및
    상기 검출된 모션 아티펙트 영역에 대해 적용될 가중치 값을 설정하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  13. 제10항에 있어서,
    상기 비선형 이득 조절 단계는
    상기 단노광 영상의 베이어 패턴의 단위 영역별 최대색상을 산출하는 단계;
    상기 단노광 영상의 휘도 성분을 상기 장노광 영상의 휘도 성분에 상응하도록 상기 단노광 영상을 정규화하여 상기 단노광 영상의 이득을 조절한 비선형 곡선을 획득하는 단계; 및
    상기 비선형 곡선으로부터 상기 단위 영역별 최대색상에 상응하는 이득값을 산출하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법
  14. [청구항 14은(는) 설정등록료 납부시 포기되었습니다.]
    제13항에 있어서,
    상기 비선형 곡선은 상기 장노광 영상의 휘도 성분에 상응하는 상기 단노광 영상의 휘도 성분을 휘도 레벨에 따라 복수의 휘도 성분 영역들로 분류하고, 상기 분류된 휘도 성분 영역들 각각에 대하여 서로 다른 계수들을 적용하여 상기 휘도 성분 영역들 각각에 대응하는 선형 곡선들을 형성하고, 상기 형성된 선형 곡선들을 연결하여 생성된 것을 특징으로 하는 영상 처리 방법.
  15. 제10항에 있어서,
    상기 보상 단계는
    상기 모션 아티펙트 영역의 위치 정보를 기초로 상기 비선형이득제어 단노광 영상의 아티펙트 로컬 블록을 설정하는 단계;
    상기 모션 아티펙트 영역의 위치 정보를 기초로 상기 장노광 영상의 아티펙트 주위 로컬 블록들을 설정하는 단계;
    상기 아티펙트 주위 로컬 블록들 중 상기 아티펙트 로컬 블록과 가장 유사한 아티펙트 주위 로컬 블록을 획득하는 단계;
    상기 아티펙트 로컬 블록과 상기 아티펙트 주위 로컬 블록과의 차이를 기초로 상기 모션 아티펙트 보상을 위한 상기 단노광 영상의 이득값을 산출하는 단계; 및
    상기 단노광 영상의 이득값을 기초로 상기 비선형이득 제어 단노광 영상 내의 움직임을 보상하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  16. [청구항 16은(는) 설정등록료 납부시 포기되었습니다.]
    제15항에 있어서,
    상기 보상 단계는 상기 모션 아티펙트 영역에 적용할 가중치 및 상기 산출된 단노광 영상의 이득값을 기초로 상기 비선형이득 제어 단노광 영상 내의 움직임을 보상하는 것을 특징으로 하는 영상 처리 방법.
  17. 삭제
  18. [청구항 18은(는) 설정등록료 납부시 포기되었습니다.]
    제10항 내지 제16항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독가능한 기록매체.
KR1020130005428A 2013-01-17 2013-01-17 영상 처리 장치 및 방법 KR101871945B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130005428A KR101871945B1 (ko) 2013-01-17 2013-01-17 영상 처리 장치 및 방법
US13/935,609 US9124811B2 (en) 2013-01-17 2013-07-05 Apparatus and method for processing image by wide dynamic range process
CN201310751111.1A CN103945145B (zh) 2013-01-17 2013-12-31 处理图像的设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130005428A KR101871945B1 (ko) 2013-01-17 2013-01-17 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140093079A KR20140093079A (ko) 2014-07-25
KR101871945B1 true KR101871945B1 (ko) 2018-08-02

Family

ID=51164848

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130005428A KR101871945B1 (ko) 2013-01-17 2013-01-17 영상 처리 장치 및 방법

Country Status (3)

Country Link
US (1) US9124811B2 (ko)
KR (1) KR101871945B1 (ko)
CN (1) CN103945145B (ko)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9437171B2 (en) * 2012-12-05 2016-09-06 Texas Instruments Incorporated Local tone mapping for high dynamic range images
US9544505B2 (en) * 2014-04-11 2017-01-10 Hanwha Techwin Co., Ltd. Image processing apparatus for synthesizing images based on a plurality of exposure time periods and image processing method thereof
KR102289261B1 (ko) * 2014-10-30 2021-08-12 한화테크윈 주식회사 움직임 영역 검출 장치 및 방법
CN107431080B (zh) * 2015-03-30 2020-07-07 株式会社尼康 拍摄元件及拍摄装置
JP6572004B2 (ja) * 2015-06-18 2019-09-04 オリンパス株式会社 露出制御装置および露出制御方法
KR102368625B1 (ko) * 2015-07-23 2022-03-02 삼성전자주식회사 디지털 촬영 장치 및 그 방법
CN106412448B (zh) * 2016-02-03 2023-08-15 深圳市迪威码半导体有限公司 一种基于单帧图像的宽动态范围处理方法与***
JP2017143340A (ja) * 2016-02-08 2017-08-17 株式会社デンソー 情報処理装置及びプログラム
CN106131450B (zh) * 2016-07-29 2020-06-30 努比亚技术有限公司 一种图像处理的方法、装置和终端
WO2018035696A1 (zh) * 2016-08-22 2018-03-01 华为技术有限公司 一种图像处理方法以及装置
JP6793511B2 (ja) * 2016-09-30 2020-12-02 キヤノン株式会社 画像処理装置
JP6697684B2 (ja) * 2016-10-13 2020-05-27 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理回路
US10880504B2 (en) * 2016-12-27 2020-12-29 Canon Kabushiki Kaisha Image pickup device, image capturing system, and movable body
CN108496355B (zh) * 2017-01-26 2021-02-12 华为技术有限公司 一种通过多次曝光补偿相对照度的方法和设备
KR102317624B1 (ko) * 2017-03-27 2021-10-26 삼성전자 주식회사 전자 장치 및 그의 이미지 처리 방법
US10482625B1 (en) 2017-03-28 2019-11-19 Amazon Technologies, Inc. Calibration of networked imaging devices to a global color space
CN108965929B (zh) * 2017-05-23 2021-10-15 华为技术有限公司 一种视频信息的呈现方法、呈现视频信息的客户端和装置
CN107231530B (zh) * 2017-06-22 2019-11-26 维沃移动通信有限公司 一种拍照方法及移动终端
US10650246B1 (en) 2017-06-27 2020-05-12 Amazon Technologies, Inc. System for determining a camera radiance
US10863105B1 (en) * 2017-06-27 2020-12-08 Amazon Technologies, Inc. High dynamic range imaging for event detection and inventory management
US10491808B1 (en) 2017-06-27 2019-11-26 Amazon Technologies, Inc. Detecting sunlight in images
JP2019083364A (ja) * 2017-10-27 2019-05-30 キヤノン株式会社 画像処理装置、撮像装置および制御方法
CN107909617B (zh) * 2017-11-13 2020-03-17 四川大学 一种基于非线性对比度加权的光源颜色估计方法
US10554902B2 (en) * 2018-05-01 2020-02-04 Hanwha Techwin Co., Ltd. Apparatus and method for processing images
CN112219391B (zh) * 2018-06-07 2022-05-10 杜比实验室特许公司 生成hdr彩色图像的方法、hdr相机及蜂窝电话
CN109040524B (zh) * 2018-08-16 2021-06-29 Oppo广东移动通信有限公司 伪影消除方法、装置、存储介质及终端
US10721415B2 (en) * 2018-09-13 2020-07-21 Futurewei Technologies, Inc. Image processing system with LED flicker mitigation
US10587816B1 (en) * 2019-01-04 2020-03-10 Gopro, Inc. High dynamic range processing based on angular rate measurements
KR102643588B1 (ko) * 2019-01-21 2024-03-04 엘지전자 주식회사 카메라 장치 및 이를 구비하는 전자 장치
JP2020184669A (ja) * 2019-05-07 2020-11-12 シャープ株式会社 画像処理装置、撮像装置、画像処理方法、プログラム
US11062436B2 (en) * 2019-05-10 2021-07-13 Samsung Electronics Co., Ltd. Techniques for combining image frames captured using different exposure settings into blended images
WO2021033787A1 (ko) * 2019-08-19 2021-02-25 한국전기연구원 단일 컬러 카메라를 이용하고 가시광선 및 근적외선 영상 동시 획득이 가능한 가시광선 및 근적외선 영상 제공 시스템 및 방법
CN113327215B (zh) * 2021-05-28 2022-10-21 浙江大华技术股份有限公司 一种宽动态图像合成方法、装置、电子设备及存储介质
KR20230032359A (ko) * 2021-08-30 2023-03-07 에스케이하이닉스 주식회사 전자 장치 및 그 동작 방법
CN118104246A (zh) * 2021-10-21 2024-05-28 华为技术有限公司 运动目标检测方法、装置以及检测设备
CN116233607B (zh) * 2021-12-01 2024-05-14 Oppo广东移动通信有限公司 一种多曝光图像处理方法、装置、芯片及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011087269A (ja) * 2009-09-18 2011-04-28 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2565715B1 (fr) * 1984-06-08 1987-09-04 Dassault Electronique Dispositif de lecture de caracteres magnetiques-optiques avec possibilite d'impression et de memorisation
JP3134784B2 (ja) * 1996-08-05 2001-02-13 松下電器産業株式会社 画像合成回路
DE69822958T2 (de) * 1997-10-23 2005-03-10 Olympus Corporation Bildaufnahmevorrichtung mit Mitteln zur Erweiterung des Dynamikbereichs
NZ332626A (en) * 1997-11-21 2000-04-28 Matsushita Electric Ind Co Ltd Expansion of dynamic range for video camera
CN1276646C (zh) * 1999-11-22 2006-09-20 松下电器产业株式会社 固态成象设备
US6734905B2 (en) * 2000-10-20 2004-05-11 Micron Technology, Inc. Dynamic range extension for CMOS image sensors
JP2005141527A (ja) * 2003-11-07 2005-06-02 Sony Corp 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP4556722B2 (ja) * 2004-05-31 2010-10-06 コニカミノルタホールディングス株式会社 撮像装置
US7397509B2 (en) * 2004-08-27 2008-07-08 Micron Technology, Inc. High dynamic range imager with a rolling shutter
US20060115182A1 (en) * 2004-11-30 2006-06-01 Yining Deng System and method of intensity correction
KR100672856B1 (ko) 2005-04-14 2007-01-22 한국과학기술연구원 넓은 다이내믹 레인지를 갖는 카메라 영상신호 처리장치
JP4735051B2 (ja) * 2005-05-25 2011-07-27 コニカミノルタオプト株式会社 撮像装置
EP1924966B1 (en) 2005-08-08 2009-04-29 MEP Imaging Technologies Ltd. Adaptive exposure control
JP4649313B2 (ja) * 2005-10-28 2011-03-09 株式会社東芝 固体撮像装置
JP2007142500A (ja) * 2005-11-14 2007-06-07 Pioneer Electronic Corp 表示装置、信号処理回路、プログラム及び表示方法
JP4795929B2 (ja) * 2006-12-26 2011-10-19 富士通株式会社 補間方法を決定するプログラム、装置、および方法
JP4127411B1 (ja) * 2007-04-13 2008-07-30 キヤノン株式会社 画像処理装置及び方法
EP2141657A4 (en) * 2007-04-18 2015-04-08 Univ Tokyo METHOD FOR SELECTION OF CHARACTERISTICS, DEVICE FOR SELECTION OF CHARACTERISTICS, IMAGE CLASSIFICATION METHOD, IMAGE CLASSIFICATION DEVICE, COMPUTER PROGRAM AND RECORDING MEDIUM
US7812869B2 (en) * 2007-05-11 2010-10-12 Aptina Imaging Corporation Configurable pixel array system and method
CN101578885B (zh) * 2007-08-07 2012-09-12 松下电器产业株式会社 摄像处理装置以及摄像装置、图像处理方法
JP2009049547A (ja) * 2007-08-15 2009-03-05 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラム
JP4424402B2 (ja) * 2007-09-28 2010-03-03 ソニー株式会社 撮像装置、撮像制御方法、撮像制御プログラム
JP4424403B2 (ja) * 2007-09-28 2010-03-03 ソニー株式会社 撮像装置、撮像方法及び撮像プログラム
KR20100089828A (ko) * 2007-10-26 2010-08-12 다이요 유덴 가부시키가이샤 영상표시장치 및 방법과 그것에 내장되는 신호처리회로 및 액정 백라이트 구동장치
JP5208495B2 (ja) * 2007-12-27 2013-06-12 オリンパスメディカルシステムズ株式会社 医療用システム
KR101442153B1 (ko) * 2008-01-15 2014-09-25 삼성전자 주식회사 저조도 영상 처리 방법 및 시스템
JP2009211313A (ja) * 2008-03-03 2009-09-17 Fujitsu Ltd 画像処理装置、画像処理方法および画像処理プログラム
JP5231284B2 (ja) * 2008-03-31 2013-07-10 富士フイルム株式会社 撮像装置、撮像方法、およびプログラム
US8184904B2 (en) * 2008-06-04 2012-05-22 Wipro Limited Method and apparatus for dynamic and adaptive enhancement of colors in digital video images
JP4645707B2 (ja) * 2008-09-01 2011-03-09 ソニー株式会社 コンテンツデータ処理装置
TW201011691A (en) * 2008-09-05 2010-03-16 Primax Electronics Ltd Method for adjusting brightness of images
JP4561912B2 (ja) * 2008-09-12 2010-10-13 ソニー株式会社 撮像装置、撮像方法及びプログラム
JP4770907B2 (ja) * 2008-10-21 2011-09-14 ソニー株式会社 撮像装置、撮像方法及びプログラム
CN101867727B (zh) * 2009-04-16 2011-12-07 华为技术有限公司 一种视频处理方法及装置
US8525900B2 (en) 2009-04-23 2013-09-03 Csr Technology Inc. Multiple exposure high dynamic range image capture
JP2010279016A (ja) * 2009-04-30 2010-12-09 Sony Corp 固体撮像素子とその駆動方法および撮像装置
JP4728450B2 (ja) * 2009-05-14 2011-07-20 オリンパスメディカルシステムズ株式会社 撮像装置
JP5589585B2 (ja) * 2009-07-07 2014-09-17 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8605177B2 (en) * 2009-09-16 2013-12-10 Altasens, Inc. Image sensor with wide dynamic range
KR101616874B1 (ko) 2009-09-23 2016-05-02 삼성전자주식회사 다중 영상 합성 방법 및 그 장치
US8488055B2 (en) * 2010-09-30 2013-07-16 Apple Inc. Flash synchronization using image sensor interface timing signal
JP5655626B2 (ja) * 2011-02-24 2015-01-21 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
EP2681710B1 (en) * 2011-03-02 2018-09-12 Dolby Laboratories Licensing Corporation Local multiscale tone-mapping operator
JP5744614B2 (ja) * 2011-04-28 2015-07-08 オリンパス株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
JP2012234393A (ja) * 2011-05-02 2012-11-29 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2012257193A (ja) * 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
EP2538661B1 (en) * 2011-06-23 2014-07-16 JVC KENWOOD Corporation Image processing apparatus and image processing method
JP2013066145A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2013066142A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5936323B2 (ja) * 2011-09-26 2016-06-22 キヤノン株式会社 画像記録装置およびその制御方法
JP5875812B2 (ja) * 2011-09-27 2016-03-02 オリンパス株式会社 顕微鏡システムおよび照明強度調整方法
JP5860663B2 (ja) * 2011-10-18 2016-02-16 日立オートモティブシステムズ株式会社 ステレオ撮像装置
US9681059B2 (en) * 2011-12-16 2017-06-13 Sony Corporation Image-capturing device
JP5978949B2 (ja) * 2012-03-16 2016-08-24 富士通株式会社 画像合成装置及び画像合成用コンピュータプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011087269A (ja) * 2009-09-18 2011-04-28 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム

Also Published As

Publication number Publication date
CN103945145A (zh) 2014-07-23
US20140198226A1 (en) 2014-07-17
US9124811B2 (en) 2015-09-01
CN103945145B (zh) 2018-08-28
KR20140093079A (ko) 2014-07-25

Similar Documents

Publication Publication Date Title
KR101871945B1 (ko) 영상 처리 장치 및 방법
US9646397B2 (en) Image processing apparatus and image processing method
JP5948073B2 (ja) 画像信号処理装置、画像信号処理方法
US9350905B2 (en) Image signal processing apparatus, image signal processing method, and image capturing apparatus
US9699387B2 (en) Image processing device for processing pupil-divided images obtained through different pupil regions of an imaging optical system, control method thereof, and program
JP2010166558A (ja) 撮像装置
US9589339B2 (en) Image processing apparatus and control method therefor
US9892497B2 (en) Image processing apparatus, imaging apparatus, and image processing method
US11995809B2 (en) Method and apparatus for combining low-dynamic range images to a single image
US11838649B2 (en) Image capturing device and control method thereof and medium
JP2011041056A (ja) 撮像装置及び撮像方法
JP2016126592A5 (ko)
WO2013127849A1 (en) Exposure controller
US20200314401A1 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
US20110058067A1 (en) Apparatus and method for compensating for back light of image
US9007491B2 (en) Image processing apparatus and control method thereof
JP5520863B2 (ja) 画像信号処理装置
JP2016213717A (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP2016509432A (ja) マルチタップｃｃｄカメラのゲイン補正およびレベル補正のための方法および装置
JP7263018B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5631153B2 (ja) 画像処理装置、制御方法、及びプログラム
JP5307572B2 (ja) 撮像システム、映像信号処理プログラム、および撮像方法
KR101713255B1 (ko) 하이 다이내믹 레인지 영상 생성 장치 및 방법
JP5208799B2 (ja) 撮像システム、映像信号処理プログラム、および撮像方法
JP2010279002A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right