KR20150045877A - 영상 처리 장치 및 영상 처리 방법 - Google Patents

영상 처리 장치 및 영상 처리 방법 Download PDF

Info

Publication number
KR20150045877A
KR20150045877A KR20140051907A KR20140051907A KR20150045877A KR 20150045877 A KR20150045877 A KR 20150045877A KR 20140051907 A KR20140051907 A KR 20140051907A KR 20140051907 A KR20140051907 A KR 20140051907A KR 20150045877 A KR20150045877 A KR 20150045877A
Authority
KR
South Korea
Prior art keywords
image
exposure
region
exposure image
area
Prior art date
Application number
KR20140051907A
Other languages
English (en)
Other versions
KR102170695B1 (ko
Inventor
타케루 스즈키
Original Assignee
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사 filed Critical 삼성테크윈 주식회사
Publication of KR20150045877A publication Critical patent/KR20150045877A/ko
Application granted granted Critical
Publication of KR102170695B1 publication Critical patent/KR102170695B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Image Processing (AREA)

Abstract

판정부 및 합성부를 포함한 영상 처리 장치가 개시된다. 판정부는, 움직임 검출 결과와 사용-영상 선택 결과에 기초하여, 움직임 영역과 중노광 이상의 영상을 사용하는 영역이 중복되어 있는지를 판정한다. 합성부는, 움직임 영역과 중노광 이상의 영상을 사용하는 영역이 중복되어 있다고 판정된 경우, 움직임 영역에 대해서는 중노광 영상을 사용하고, 움직임 영역이 아닌 영역에 대해서는 중노광 영상 및 장노광 영상 중에서 적어도 어느 하나를 사용하여 제1 합성 영상을 생성한다.

Description

영상 처리 장치 및 영상 처리 방법{Image processing apparatus and image processing method}
본 발명은 영상 처리 장치 및 영상 처리 방법에 관한 것이다.
최근, 단시간 노광의 영상(이하, 단순하게 "단노광 영상"이라고도 함)과 장시간 노광의 영상(이하, 단순하게 "장노광 영상"이라고도 함)을 연속하여 촬영하여 합성함으로써, 영상 센서의 촬영 가능 다이나믹 레인지(dynamic range)보다 넓은 다이나믹 레인지를 획득하는 촬영 기능 즉, WDR(Wide Dynamic Range) 혹은 HDR(High Dynamic Range)의 촬영 기능이 사용되고 있다. 이러한 촬영 기능은 역광 구도 등 명암비가 매우 큰 장면(scene)에서는 특히 큰 효과가 있다.
또한, 최근에는 노광 설정을 3 종류 혹은 그 이상으로 늘려서 촬영 및 합성함으로써 광대한 다이나믹 레인지를 잡는 예도 있다. 그러나, 노광을 바꾸어 순차적으로 촬영한 영상들을 1 개로 합성한다는 구조에 있어서, 피사체에 움직임이 있으면 합성시에 어긋남이 생겨서 아티팩트(artifact)가 발생하는 문제가 있다. 이 아티팩트를 저감시키는 것을 목적으로 한 WDR 합성 수법으로서 이하와 같은 기술이 개시되어 있다.
예를 들어, 화소마다 움직임 유무를 검출하여, 움직임이 있는 화소에 대해서는 단노광 영상을 사용하고, 움직임이 없는 화소에 대해서는 단노광 영상 또는 장노광 영상을 사용하여 WDR 합성을 행하는 기술이 개시되어 있다(예를 들어, 일본 공개특허 제2012-231273호 참조, 이하 "특허문헌 1"이라 함). 이러한 기술에 의하면, 움직임이 있는 물체(이하, "동물체"라고도 함)가 합성됨으로써 생기는 떨림을 저감한 합성 영상을 생성하는 것이 가능해진다.
1. 일본 공개특허 제2012-231273호 공보 2. 일본 공개특허 제2011-205546호 공보 3. 일본 공개특허 제2008-160881호 공보
그러나, 특허문헌 1에 기재된 기술에 의하면, 단노광 영상의 움직임 영역을 높은 게인(gain)으로써 밝게 한 후에 영상 합성을 하므로, 움직임 영역에 노이즈(noise)가 발생될 수 있다.
또한, 특허문헌 1에서는, 3 개 이상의 영상들을 합성하는 경우에 대해서도 언급되어 있고, 마찬가지로 움직임 영역에서 최단 노광 영상만을 사용한다고 되어 있다. 이러한 구성에 의하면, 특허문헌 1에서의 실시예와 같이 노광량의 차이가 2 배에서 4 배 정도로 적으면, 최단 노광 영상의 노이즈(noise)도 약간 늘어나는 정도로 그다지 큰 문제는 생기지 않는다. 하지만, 합성 가능한 다이나믹 레인지를 확대하고자 하여 노광량의 차이를 크게 하면, 최단 노광 영상의 노이즈가 대폭으로 증가하여 큰 문제를 발생시킬 수 있다.
따라서, 본 발명의 실시예들은, 3 종류 이상의 노광으로 촬영 및 합성을 행하는 WDR에 있어서, 노이즈(noise) 발생이 억제되면서 WDR 합성시의 아티팩트(artifact)가 억제된 WDR 합성 영상을 얻을 수 있게 하는 영상 처리 장치 및 영상 처리 방법을 제공하고자 한다.
본 발명의 제1 측면의 영상 처리 장치는 판정부 및 합성부를 포함한다.
상기 판정부는, 움직임 검출 결과와 사용-영상 선택 결과에 기초하여, 움직임 영역과 중노광 이상의 영상을 사용하는 영역이 중복되어 있는지를 판정한다.
상기 합성부는, 상기 움직임 영역과 상기 중노광 이상의 영상을 사용하는 영역이 중복되어 있다고 판정된 경우, 상기 움직임 영역에 대하여서는 중노광 영상을 사용하고, 움직임 영역이 아닌 영역에 대하여서는 중노광 영상 및 장노광 영상 중에서 적어도 어느 하나를 사용하여 제1 합성 영상을 생성한다.
이러한 구성에 의하면, 움직임 영역과 중노광 이상의 영상을 사용하는 영역이 중복되어 있다는 조건을 만족시킨 경우에, 움직임 영역에 대해서는 중노광 영상을 사용하고, 움직임 영역이 아닌 영역에 대해서는 중노광 영상과 장노광 영상을 사용한 WDR 합성이 행해진다. 따라서, 이러한 구성에 의하면, 3 종류 이상의 노광으로 촬영 및 합성을 행하는 WDR에 있어서, 노이즈(noise) 발생이 억제되면서 WDR 합성시의 아티팩트(artifact)가 억제된 WDR 합성 영상을 얻는 것이 가능하다.
바람직하게는, 상기 판정부는, 상기 움직임 영역과 상기 중노광 이상의 영상을 사용하는 영역의 중복 화소들의 개수를 계측하고, 상기 중복 화소들의 개수가 문턱 값을 넘는지를 판정함으로써, 상기 움직임 영역과 상기 중노광 이상의 영상을 사용하는 영역이 중복되어 있는지를 판정한다. 예를 들어, 문턱 값은 움직임 검출의 정밀도에 따라 설정된다.
바람직하게는, 상기 합성부는, 상기 움직임 영역과 상기 중노광 이상의 영상을 사용하는 영역이 중복되지 않았다고 판정된 경우, 상기 사용-영상 선택 결과에 따라 단노광 영상, 중노광 영상 및 장노광 영상 중에서 적어도 어느 하나를 사용하여 제2 합성 영상을 생성한다.
바람직하게는, 상기 합성부는, 상기 판정부에 의한 판정 결과가 변한 경우, 상기 제1 합성 영상 생성과 상기 제2 합성 영상 생성의 사이에서 합성 영상 생성의 방법을 점차적으로 전환한다.
특히, 상기 합성부는, 상기 움직임 영역과 상기 중노광 이상의 영상을 사용하는 영역이 중복되지 않는 것으로서 상기 판정 결과가 변한 경우, 상기 제1 합성 영상 생성에서 상기 제2 합성 영상 생성으로 합성 영상 생성의 방법을 점차적으로 전환한다.
또한, 상기 합성부는, 상기 판정부에 의한 판정 결과가 변한 경우, 상기 제1 합성 영상 생성과 상기 제2 합성 영상 생성의 사이에서 합성 영상 생성의 방법을 전환하기 전에, 소정의 시간 동안에 대기한다.
특히, 상기 합성부는, 상기 움직임 영역과 상기 중노광 이상의 영상을 사용하는 영역이 중복되지 않는 것으로서 상기 판정 결과가 변한 경우, 상기 제1 합성 영상 생성에서 상기 제2 합성 영상 생성으로 합성 영상 생성의 방법을 전환하기 전에, 소정의 시간 동안에 대기한다.
이러한 구성에 의하면, 움직임 대상이 중노광 이상의 영상을 사용하는 영역 내에서 일단 멈추고 다시 움직이거나 그 영역의 경계에서 침입 및 탈출을 반복하는 것과 같은 상황이 발생해도, 합성 수법의 급격한 변화가 일어나지 않아 알아보기 쉬운 동영상을 얻을 수 있다.
본 발명의 제2 측면의 영상 처리 방법은 판정 단계 및 생성 단계를 포함한다.
상기 판정 단계에서는, 움직임 검출 결과와 사용-영상 선택 결과에 기초하여 움직임 영역과 중노광 이상의 영상을 사용하는 영역이 중복되어 있는지를 판정한다.
상기 생성 단계에서는, 상기 움직임 영역과 상기 중노광 이상의 영상을 사용하는 영역이 중복되어 있다고 판정된 경우, 상기 움직임 영역에 대하여서는 중노광 영상을 사용하고, 움직임 영역이 아닌 영역에 대하여서는 중노광 영상 및 장노광 영상 중에서 적어도 어느 하나를 사용하여 제1 합성 영상을 생성한다.
본 발명의 실시예의 상기 영상 처리 장치 및 영상 처리 방법에 의하면, 움직임 영역과 중노광 이상의 영상을 사용하는 영역이 중복되어 있다는 조건을 만족시킨 경우에, 움직임 영역에 대해서는 중노광 영상을 사용하고, 움직임 영역이 아닌 영역에 대해서는 중노광 영상과 장노광 영상을 사용한 WDR 합성이 행해진다. 따라서, 이러한 구성에 의하면, 3 종류 이상의 노광으로 촬영 및 합성을 행하는 WDR에 있어서, 노이즈(noise) 발생이 억제되면서 WDR 합성시의 아티팩트(artifact)가 억제된 WDR 합성 영상을 얻는 것이 가능하다.
도 1a 내지 1f는 일반적인 WDR 합성 기술을 설명하기 위한 도면들이다.
도 2는 본 발명의 제1 실시예의 영상 처리 장치의 구성을 보여주는 도면이다.
도 3은 도 2에서의 판정부의 구성의 예를 보여주는 도면이다.
도 4는 도 3의 판정부의 동작을 보여주는 흐름도이다.
도 5는 도 2에서의 WDR 합성부의 동작을 보여주는 흐름도이다.
도 6a 내지 6f는 도 2의 영상 처리 장치에 의한 처리 결과를 설명하기 위한 도면들이다.
도 7은 본 발명의 제2 실시예의 영상 처리 장치에 의한 사용-영상의 시간 변화의 예를 보여주는 도면이다.
하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다.
본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우, 그 상세한 설명이 생략된다.
본 발명은, 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 언어 또는 스크립팅 언어로 구현될 수 있다.
이하 첨부된 도면을 참조하면서 본 발명의 적합한 실시예에 대하여 상세하게 설명한다.
우선, 일반적인 WDR 합성 기술(예를 들어, 상기 특허문헌 1에 기재된 WDR 합성 기술)에 대하여 설명한다.
도 1a 내지 1f는, 일반적인 WDR 합성 기술을 설명하기 위한 도면이다. 도 1a 내지 1f를 참조하면, 일반적인 WDR 합성 기술에서의 단노광 영상(도 1a), 장노광 영상(도 1b), 움직임 검출 결과의 영상(도 1c), 사용-영상 선택 결과의 영상(도 1d), 2 개 영상들을 합성한 결과의 영상(도 1e), 및 3 개 영상들을 합성한 결과의 영상(도 1f) 각각의 예가 나타나 있다. 도 1a의 단노광 영상 및 도 1b의 장노광 영상 각각은 주간에 밝은 옥외가 보이는 창을 배경으로 하여 옥내를 촬영하여 얻어진 영상이다.
도 1a의 단노광 영상에서는, 창 밖의 풍경이 적정 노광으로 촬영되어 있지만, 실내 및 실내의 움직임 대상은 노광량이 부족하여 어둡게 촬영되어 있다. 한편, 도 1b의 장노광 영상에서는 실내 및 실내의 움직임 대상이 적정 노광으로 촬영되어 있지만, 창 밖의 풍경은 포화되어 보이지 않게 되어 있다. 그 바로 앞에 있는 인물은 왼쪽을 향하여 이동하고 있다.
또한, 도 1c에 도시된 바와 같은 움직임 검출 결과의 영상이 얻어졌다고 가정한다. 도 1c의 움직임 검출 결과의 영상을 참조하면, 검출된 움직임 영역이 흰 영역으로서 나타나 있고, 움직임 영역이 아닌 영역이 검은 영역으로서 나타나 있다. 여기에서, 움직임 영역에 대한 사용-영상으로서 단노광 영상을 선택하면, 도 1d에 도시된 바와 같은 사용-영상 선택 결과의 영상이 얻어진다. 이와 같은 사용-영상 선택 결과의 영상(도 1d)에 기초하여 단노광 영상(도 1a)과 장노광 영상(도 1b)을 합성하면, 도 1e에 도시된 바와 같이 이중 형상이 없는 합성 영상이 얻어질 수 있다.
여기에서, 특허문헌 1에 기재된 기술에 의하여 2 개 영상들이 합성된 경우(도 1e 참조), 움직임 영역에 대하여 단노광 영상을 높은 게인(gain)으로써 밝게 한 후에 단노광 영상과 장노광 영상을 합성하므로, 움직임 영역에 노이즈(noise)가 발생될 수 있다.
또한, 특허문헌 1에서는 3 개 이상을 합성하는 경우에 대해서도 언급되어 있고, 마찬가지로 움직임 영역에서 최단 노광 영상만을 사용한다고 되어 있다. 이러한 구성에 의하면, 특허문헌 1에서의 실시예와 같이 노광량의 차이가 2 배에서 4 배 정도로 작으면, 최단 노광 영상의 노이즈(noise)도 약간 늘어나는 정도로 그다지 큰 문제는 생기지 않지만, 합성 가능한 다이나믹 레인지를 확대하고자 하여 노광량의 차이를 크게 하면, 최단 노광 영상의 노이즈(noise)가 대폭으로 증가하여 큰 문제를 발생시킬 수 있다.
예를 들어, 노광 시간 1/60초로 장노광 영상, 노광 시간 1/480초로 중노광 영상, 노광 시간 1/3840초로 단노광 영상을 촬영하는 경우와 같이, 노광량을 8 배씩 바꾸어 촬영 및 합성하여, WDR의 효과를 증배시킨다. 이러한 WDR에서는, 1/3840초라는 매우 짧은 셔터 타임의 단노광 영상이 이용되기 때문에, 중노광 영상에서도 고휘도 포화-가능 영역을 촬영할 수 있다.
그러나, 이러한 WDR을 특허문헌 1에 기재된 기술에 적용한 경우, 단노광 영상에서의 움직임 영역은 1/3840초라는 매우 짧은 셔터 타임에 의해 매우 어둡게 촬영되어 있다. 그 때문에, 이 움직임 영역을 매우 큰 게인(gain)으로 증폭하여 합성 영상에 사용하게 되어, 세부가 인식 불가능할 정도로 노이즈(noise) 투성이가 된 합성 영상이 생성되고, 이와 같이 하여 생성된 합성 영상은 실용적이지 못하다.
이에 대하여 3 개 영상들을 합성한 결과의 영상을 보여주는 도 1f는, 창문의 영역이 1/3840초의 단노광으로 겨우 촬영 가능해질 정도의 매우 높은 휘도를 갖고 있다고 가정한 경우에, 장노광 영상, 중노광 영상 및 단노광 영상을 합성하여 얻어진 결과의 예를 나타내고 있다.
그래서, 본 명세서에서는, 3 종류 이상의 노광으로 촬영 및 합성을 행하는 WDR에 있어서, 노이즈(noise) 발생이 억제되면서 WDR 합성시의 아티팩트(artifact)가 억제된 WDR 합성 영상을 얻는 것이 가능한 기술을 제안한다. 또한, 본 명세서에서는 다른 노광량으로 촬영된 N(N은 3이상의 자연수)장의 영상의 예로서 노광량이 적은 순으로 단노광 영상, 중노광 영상 및 장노광 영상의 3가지 영상을 촬영하는 예를 주로 설명한다. 그러나, 나중에 설명하는 바와 같이, 4 개 이상의 영상을 촬영하는 경우에도 본 발명의 제1 실시예의 영상 처리 장치(1)는 적용 가능하다.
우선, 본 발명의 제1 실시예의 영상 처리 장치(1)의 기능 구성에 대하여 설명한다. 도 2는, 본 발명의 제1 실시예의 영상 처리 장치(1)의 기능 구성을 도시한 도면이다. 도 2에 도시된 바와 같이, 영상 처리 장치(1)는 영상 센서(10), 단노광 영상의 메모리(21), 중노광 영상의 메모리(22), 장노광 영상의 메모리(23), 사용-영상 선택부(30), 움직임 검출부(40), 판정부(50), WDR 합성부(60) 및 계조 압축부(80)를 구비한다. 이하, 영상 처리 장치(1)가 포함하는 각 기능 블록의 기능에 대하여 순차적으로 상세하게 설명한다.
영상 처리 장치(1)는 영상 센서(10)의 노광 설정을 바꾸어 3 개의 영상을 연속 촬영하는데, 여기에서는 단노광 촬영을 먼저 행하고, 그 다음에 중노광 촬영을 행하며, 그 다음에 장노광 촬영을 행하는 것으로 한다. 단노광 촬영된 단노광 영상은 단노광 영상의 메모리(21)에 기입된다. 영상 처리 장치(1)는, 단노광 촬영이 종료되면 노광 설정을 바꾸어 중노광 촬영을 행한다. 중노광 촬영된 중노광 영상은 중노광 영상의 메모리(22)에 기입된다. 영상 처리 장치(1)는, 중노광 촬영이 종료되면 노광 설정을 바꾸어 장노광 촬영을 행한다. 장노광 촬영된 장노광 영상은 장노광 영상의 메모리(23)에 기입된다.
도 2에 도시된 예에서는, 영상 처리 장치(1)는 장노광 영상, 중노광 영상 및 단노광 영상을 출력하기 위한 공통의 계통을 하나 가지며, 영상 센서(10)가 장노광 영상과 중노광 영상과 단노광 영상을 시분할로 출력하는 것으로 하였지만, 장노광 영상과 중노광 영상과 단노광 영상이 동시에 출력되어도 된다. 이러한 경우, 영상 처리 장치(1)는 영상 센서(10)로부터 장노광 영상을 출력하기 위한 계통과 중노광 영상을 출력하기 위한 계통과 단노광 영상을 출력하기 위한 계통의 3 개의 계통을 가지면 좋다. 각각의 셔터 타임은 예를 들어 촬영 대상의 다이나믹 레인지나 영상 센서 사양 등에 따라 결정된다.
또한, 단노광 영상, 중노광 영상 및 장노광 영상 각각의 독출 동작은 하드웨어 실장의 경우에는 시스템을 어떻게 짜는지에 따라 바뀔 수 있다. 예를 들어, 단노광 영상, 중노광 영상 및 장노광 영상 각각은 일단 DRAM(Dynamic Random Access Memory) 등의 메모리에 저장된 후, 합성시에 다시 독출되는 것과 같은 구성으로도 된다.
여기에서, 본 발명의 제1 실시예에서는 단노광 영상, 중노광 영상 및 장노광 영상이라는 용어를 사용하는데, 이들 용어는 촬영된 3 개의 영상 각각의 절대적인 노광 시간을 한정하는 것은 아니다. 따라서, 노광 시간이 다른 3 개의 영상이 촬영된 경우에, 그 3 개의 영상 중에서 노광 시간이 짧은 순으로 단노광 영상, 중노광 영상 및 장노광 영상이라고 이름이 붙여진다.
영상 센서(10)는 외부로부터의 광을 촬영 소자의 수광 평면에 결상시키고, 결상된 광을 전하량으로 광전 변환하며, 그 전하량을 전기 신호로 변환하는 영상 센서에 의해 구성된다. 영상 센서의 종류는 특별히 한정되지 않고, 예를 들어 CCD(Charge Coupled Device)이어도 되고, CMOS(Complementary Metal Oxide Semiconductor)이어도 된다.
사용-영상 선택부(30)는, 단노광 영상의 메모리(21)로부터 독출한 단노광 영상과 중노광 영상의 메모리(22)로부터 독출한 중노광 영상과 장노광 영상의 메모리(23)로부터 독출한 장노광 영상을 참조한다. 그리고, 사용-영상 선택부(30)는 단노광 영상, 중노광 영상 및 장노광 영상 각각의 포화 상태나 움직임 등을 검출하여 단노광 영상과 중노광 영상과 장노광 영상 중 어느 하나를 사용-영상으로서 선택하기 위한 사용-영상 선택 결과를 생성한다. 단노광 영상과 중노광 영상과 장노광 영상 중 어느 하나를 선택하는 알고리즘으로서 여러 가지가 있다.
예를 들어, 장노광 영상에서 포화된 영역은 중노광 영상에서는 포화되지 않을 가능성이 높기 때문에, 그 영역의 사용-영상으로서는 중노광 영상을 선택하면 좋다. 그러나, 그 영역이 중노광 영상에서도 포화되어 있는 경우에는 그 영역의 사용-영상으로서 단노광 영상을 선택해도 된다. 그러나, 이 처리만으로는 큰 움직임이 있는 영역에서는 윤곽이 이중이 되는 등의 아티팩트(artifact)가 발생할 수 있다. 그 때문에, 움직임을 검출하여 윤곽이 이중이 되는 현상을 저감하는 처리를 행해도 된다.
또한, 사용-영상 선택 결과는 단노광 영상, 중노광 영상 및 장노광 영상 중 어느 하나를 화소마다 선택하기 위한 데이터의 집합이어도 된다. 또한, 사용-영상 선택 결과는 단노광 영상, 중노광 영상 및 장노광 영상 각각을 어느 정도의 비율로 혼합할지를 화소마다 나타내는 혼합 비율의 집합이어도 된다. 예를 들어, 사용-영상 선택 결과는 단노광 영상, 중노광 영상 및 장노광 영상의 인접하는 2 개를 선택하기 위한 데이터와 이들을 어느 정도의 비율로 혼합할지를 나타내는 혼합 비율의 조합의 집합이어도 된다. 혼합 비율을 산출하는 알고리즘도 특별히 한정되지 않는다.
움직임 검출부(40)에서의 움직임 검출 방법은 특별히 한정되지 않지만, 복수매의 장노광 영상의 차이값으로부터 움직임을 검출하는 방법이어도 되고, 복수매의 중노광 영상의 차이값으로부터 움직임을 검출하는 방법이어도 되며, 복수매의 단노광 영상의 차이값으로부터 움직임을 검출하는 방법이어도 된다. 혹은, 움직임 검출 방법은 장노광 영상과 중노광 영상의 차이값으로부터 움직임을 검출하는 방법이어도 되고, 중노광 영상과 단노광 영상의 차이값으로부터 움직임을 검출하는 방법이어도 된다. 노광량이 다른 복수의 영상으로부터 움직임을 검출하는 경우에는, 어느 하나의 영상에 대하여 노광 비율에 따른 게인(gain)을 곱하여 정규화한 후에 차이값을 산출하는 것이 좋다.
혹은, 움직임 검출 방법은 장노광 영상 및 중노광 영상의 차이값으로부터 검출된 제1 움직임과 중노광 영상 및 단노광 영상의 차이값으로부터 검출된 제2 움직임을 통합하여 움직임을 검출하는 방법이어도 된다. 제1 움직임과 제2 움직임의 통합은 어떻게 이루어져도 되지만, 예를 들어 제1 움직임과 제2 움직임 중에서 보다 큰 움직임을 채용함으로써 제1 움직임과 제2 움직임의 통합이 이루어져도 된다.
더 나아가, 움직임 검출부(40)는, 검출한 움직임에 기초하여 움직임 영역과 움직임 영역이 아닌 영역을 검출하여 움직임 검출 정보를 얻는다. 예를 들어, 움직임 영역은 움직임 정도가 문턱 값보다 큰 영역이고, 움직임 영역이 아닌 영역은 움직임 정도가 문턱 값보다 적은 영역이다. 움직임 정도가 문턱 값과 동일한 영역은 어떤 영역으로서 검출되어도 된다.
판정부(50)는, 움직임 검출부(40)로부터의 움직임 검출 결과와 사용-영상 선택부(30)로부터의 사용-영상 선택 결과에 기초하여, 움직임 검출부(40)에 의해 검출된 움직임 영역과 사용-영상 선택 결과에서의 중노광 이상의 영상을 사용하는 영역이 중복되어 있는지를 판정한다. 중노광 이상의 영상은, 중노광 이상의 영상으로 밝은 영역을 잡을 수 있는 영상(중노광 이하의 노광량에 의해 촬영된 영상)에 상당할 수 있다. 예를 들어, 판정부(50)는 움직임 영역과 중노광 이상의 영상을 사용하는 영역의 중복 화소들의 개수를 계측하고, 중복 화소들의 개수가 문턱 값을 넘는지를 판정함으로써 움직임 영역과 중노광 이상의 영상을 사용하는 영역이 중복되어 있는지를 판정하면 좋다. 이러한 경우, 문턱 값은 움직임 검출의 정밀도에 따라 설정되어도 된다.
여기에서, 판정부(50)가 가지는 기능에 대하여 도 3 및 도 4를 참조하면서 더욱 상세하게 설명한다. 도 3은, 본 발명의 제1 실시예에 관한 판정부(50)의 상세 구성예를 도시한 도면이다. 도 3에 도시된 바와 같이, 판정부(50)는 비교 판정부(51)와 카운터(52)와 중복 판정부(53)를 가지고 있다. 또한, 도 4는 본 발명의 제1 실시예에 관한 판정부(50)의 동작 흐름의 예를 도시한 흐름도이다.
우선, 도 4에 도시된 바와 같이, 비교 판정부(51)는 대상의 화소가 움직임 영역 내의 화소로서, 또한 중노광 이상의 영상을 사용하는 영역 내의 화소인지를 판정한다(단계 S11). 비교 판정부(51)는, 대상의 화소가 움직임 영역 내의 화소로서, 또한, 중노광 이상의 영상을 사용하는 영역 내의 화소라고 판정된 경우, 카운터(52)를 가산시킨다(단계 S12). 한편, 비교 판정부(51)는, 대상의 화소가 움직임 영역이 아닌 영역 내의 화소이거나 중노광 이상의 영상을 사용하는 영역 내가 아닌 화소인 경우에는 카운터(52)를 가산시키지 않는다.
비교 판정부(51)는, 모든 화소들에 대한 판정이 종료되지 않은 경우(단계 S13에서 "아니오"의 경우), 단계 S11 및 그 이후의 단계들을 수행한다. 한편, 모든 화소들에 대한 판정이 종료된 경우(단계 S13에서 "예"의 경우), 움직임 영역과 단노광 영상 사용 영역의 중복 화소들의 개수 계측이 종료되기 때문에, 중복 판정부(53)는 중복 화소들의 개수가 문턱 값을 넘는지를 판정한다(단계 S14).
중복 판정부(53)는, 중복 화소들의 개수가 문턱 값을 넘는 경우(단계 S14에서 "예"의 경우), 움직임 영역과 중노광 이상의 영상을 사용하는 영역이 중복되어 있다고 판정한다(단계 S15). 중복 판정부(53)는, 중복 화소들의 개수가 문턱 값을 넘지 않는 경우(단계 S14에서 "아니오"의 경우), 움직임 영역과 중노광 이상의 영상을 사용하는 영역이 중복되지 않았다고 판정한다(단계 S16).
WDR 합성부(60)는, 움직임 검출부(40)로부터의 움직임 검출 결과와 사용-영상 선택부(30)로부터의 사용-영상 선택 결과와 판정부(50)로부터의 판정 결과를 받고, 그 움직임 검출 결과와 그 사용-영상 선택 결과와 그 판정 결과에 기초하여 단노광 영상과 중노광 영상과 장노광 영상을 합성함으로써 WDR 영상을 생성한다. 구체적으로 WDR 합성부(60)는, 판정부(50)에 의해 움직임 영역과 중노광 이상의 영상을 사용하는 영역이 중복되어 있다고 판정된 경우, 움직임 영역에 대해서는 중노광 영상을 사용하고, 움직임 영역이 아닌 영역에 대해서는 사용-영상 선택 결과에 따라 중노광 영상과 장노광 영상을 사용하여 제1 합성 영상을 생성한다.
이러한 구성에 의하면, 움직임 영역과 중노광 이상의 영상을 사용하는 영역이 중복되어 있다는 조건을 만족시킨 경우에, 움직임 영역에 대해서는 중노광 영상을 사용하고, 움직임 영역이 아닌 영역에 대해서는 중노광 영상과 장노광 영상을 사용한 WDR 합성이 행해진다. 따라서, 이러한 구성에 의하면, 3 종류 이상의 노광으로 촬영 및 합성을 행하는 WDR에 있어서, WDR 합성시의 아티팩트(artifact)가 억제되면서 움직임 영역에 대하여 무조건 단노광 영상이 사용되는 경우와 비교하여 보았을 때, 노이즈(noise)가 억제된 WDR 합성 영상을 얻는 것이 가능하다.
또한, WDR 합성부(60)는, 판정부(50)에 의해 움직임 영역과 중노광 이상의 영상을 사용하는 영역이 중복되지 않았다고 판정된 경우, 사용-영상 선택 결과에 따라 단노광 영상, 중노광 영상, 및 장노광 영상을 사용하여 제2 합성 영상을 생성한다.
WDR 합성부(60)에 의한 합성 방법은 특별히 한정되지 않는다. 예를 들어, WDR 합성부(60)는, 사용-영상 선택 결과가 단노광 영상, 중노광 영상 및 장노광 영상 중 어느 하나를 화소마다 선택하기 위한 데이터의 집합인 경우에는, 그 데이터에 기초하여 단노광 영상, 중노광 영상 및 장노광 영상 중 어느 하나를 사용하여 제2 합성 영상을 생성한다.
혹은, WDR 합성부(60)는, 사용-영상 선택 결과가 단노광 영상, 중노광 영상 및 장노광 영상 각각을 어느 정도의 비율로 혼합할지를 화소마다 나타내는 혼합 비율의 집합인 경우에는, 각각의 혼합 비율에 기초하여 단노광 영상, 중노광 영상 및 장노광 영상을 혼합하여 제2 합성 영상을 생성한다.
또한, WDR 합성부(60)는, 사용-영상 선택 결과가 단노광 영상, 중노광 영상 및 장노광 영상의 인접하는 2 개를 선택하기 위한 데이터와 이들을 어느 정도의 비율로 혼합할지를 나타내는 혼합 비율의 조합의 집합인 경우에는, 그 데이터에 따라 선택되는 2 개의 영상과 각각의 혼합 비율에 기초하여 2 개의 영상을 혼합하여 제2 합성 영상을 생성한다.
WDR 합성부(60)가 가지는 기능에 대하여 도 5를 참조하면서 더욱 상세하게 설명하기로 한다. 도 5는, 본 발명의 제1 실시예에 관한 WDR 합성부(60)의 동작 흐름의 예를 도시한 흐름도이다. 먼저, 도 5에 도시된 바와 같이, WDR 합성부(60)는, 판정부(50)에 의해 움직임 영역과 중노광 영상을 사용하는 영역이 중복되지 않았다고 판정된 경우(단계 S21에서 "아니오"의 경우), 대상의 화소에 대하여 사용-영상 선택 결과에 따라 단노광 영상, 중노광 영상 및 장노광 영상 중에서 적어도 어느 하나를 사용하여(단계 S22) WDR 합성을 행한다(단계 S26).
한편, WDR 합성부(60)는 판정부(50)에 의해 움직임 영역과 중노광 영상을 사용하는 영역이 중복되어 있다고 판정된 경우(단계 S21에서 "예"의 경우), 대상의 화소가 움직임 영역 내의 화소인지를 판정한다. WDR 합성부(60)는, 대상의 화소가 움직임 영역 내의 화소가 아니라고 판정한 경우(단계 S23에서 "아니오"의 경우), 대상의 화소에 대하여 중노광 영상 및 장노광 영상 중에서 적어도 어느 하나를 사용하여(단계 S24) WDR 합성을 행한다(단계 S26).
보다 구체적으로는, WDR 합성부(60)는, 대상의 화소가 움직임 영역 내의 화소가 아니라고 판정한 경우에는, 대상의 화소에 대하여 사용-영상의 상한을 중노광 영상으로 제한한다. 그 결과, 중노광 이상의 영상을 사용하는 영역에 대해서는 중노광 영상이 WDR 합성에 사용되고, 중노광 영상 미만을 사용하는 영역에 대해서는 사용-영상 선택 결과에 따른 사용-영상이 WDR 합성에 사용된다.
한편, WDR 합성부(60)는 대상의 화소가 움직임 영역 내의 화소라고 판정된 경우(단계 S23에서 "예"의 경우), 중노광 영상을 사용하여(단계 S25) WDR 합성을 행한다(단계 S26). WDR 합성부(60)는 모든 화소들에 대한 합성이 종료되지 않은 경우(단계 S27에서 "아니오"의 경우), 단계 S21 및 그 이후의 단계들을 수해한다. 한편, WDR 합성부(60)는 모든 화소들에 대한 합성이 종료된 경우(단계 S27에서 "예"의 경우 ), WDR 합성을 종료한다.
계조 압축부(80)는, 다이나믹 레인지가 넓은 영상 신호의 비트 레인지를 소정의 비트 레인지에 넣기 위한 압축 처리와 인간의 눈으로 본 정경에 가까워지는 것과 같은 계조 보정을 WDR 합성부(60)에 의해 생성된 WDR 영상에 대하여 행한다. 그 압축 처리와 그 계조 보정은 동시에 행해져도 되고, 다른 시점에서 행해져도 된다.
계조 압축부(80)의 후단은, 예를 들어 원 데이터로부터 RGB 형식의 데이터를 생성하는 디모자이크부, 윤곽 강조부, 및 컬러 매니지먼트 등을 포함한 영상 처리 엔진에 접속된다. 그 때문에, 계조 압축부(80)로부터의 출력 신호의 데이터 양은, 예를 들어 영상 처리 엔진에의 입력 데이터의 크기에 적합하도록(예를 들어, 12 비트 정도로) 조정되는 것이 바람직하다. 단순히 데이터 크기를 저하시키는 것만으로는 어두운 영상으로 변환되기 때문에, 인간의 시각 특성에 가까워지도록 고휘도측이 강하게 압축되면 좋다.
이어서, 본 발명의 제1 실시예의 영상 처리 장치(1)에 의한 처리 결과의 예를 상세하게 설명한다. 도 6a 내지 6f는, 본 발명의 제1 실시예의 영상 처리 장치(1)에 의한 처리 결과의 예를 상세하게 설명하기 위한 도면들로서, 3 개의 영상들에 대한 사용-영상 선택 결과의 영상(도 6b)과 이로 인한 합성 영상(도 6a), 동물체가 침입한 경우에 2 개의 영상들에 대한 사용-영상 선택 결과의 영상(도 6d)과 이로 인한 합성 영상(도 6c), 그리고 동물체가 이동한 경우에 2 개의 영상들에 대한 사용-영상 선택 결과의 영상(도 6f)과 이로 인한 합성 영상(도 6e) 각각의 예를 보여준다.
도 6b, 6d, 및 6f의 사용-영상 선택 결과의 영상들을 참조하면, 흰 영역이 단노광 영상을 사용하는 영역으로서 나타나고, 회색 영역이 중노광 영상을 사용하는 영역으로서 나타나며, 검은 영역이 장노광 영상을 사용하는 영역으로서 나타나 있다.
먼저, 3 개의 영상들에 대한 사용-영상 선택 결과의 영상(도 6b)을 참조하면, 유리창 영역의 사용-영상으로서 단노광 영상이 선택되어 있고, 창틀 영역의 사용-영상으로서 중노광 영상이 선택되어 있고, 벽면 영역의 사용-영상으로서 장노광 영상이 선택되어 있다.
움직임 대상이 화면 내에 침입하기 전의 상태에서는, 3 개의 영상들에 대한 사용-영상 선택 결과(도 6b에 상응함)에 따라, 단노광 영상과 중노광 영상과 장노광 영상을 사용한 합성 영상(도 6a)이 생성된다. 도 6a를 참조하면, 움직임 대상(이 예에서는, 인물이 존재하는 영역)이 화면 내에 침입하기 전의 상태에서는 유리창 영역도 포화되지 않게 보이고 있다.
움직임 대상이 화면 내에 침입하였을 경우, 2 개의 영상들에 대한 사용-영상 선택 결과의 예(도 6d)를 참조하면, 움직임 대상이 중노광 이상의 영상을 사용하는 영역과 겹쳐 있기 때문에, 움직임 영역에 대하여 중노광 영상이 사용되고, 화면 전체의 사용-영상도 중노광 이하(이 예에서는, 중노광 영상 및 장노광 영상)로 제한되어 있다. 이와 같이 하여 합성이 행해진 결과의 영상이 도 6c에 도시되어 있다.
도 6c를 참조하면, 유리창 영역에 대하여 사용-영상 선택 결과로서 단노광 영상이 사용되어야 하지만, 실제로는 중노광 영상이 사용되기 때문에 포화가 일어나 배경이 사라져 버린다. 그 대신에, 움직임 대상은 약간 노이즈(noise)가 늘어나는 정도로 충분히 시인할 수 있고, 움직임 아티팩트(artifact)도 발생하지 않는 장점을 얻을 수 있다. 이 상황은, 움직임 대상이 중노광 영상 사용 영역 및 단노광 영상 사용 영역 중 적어도 어느 하나와 겹쳐 있는 동안은 유지된다.
움직임 대상이 화면 내에서 이동하였을 경우, 2 개의 영상들에 대한 사용-영상 선택 결과의 예가 도 6f에 도시되어 있다. 도 6f를 참조하면, 움직임 대상이 이동되고 있지만 여전히 중노광 이상의 영상을 사용하는 영역과 겹쳐 있기 때문에, 움직임 영역에 대하여 중노광 영상이 사용되고, 화면 전체의 사용-영상도 중노광 이상(이 예에서는, 중노광 영상 및 장노광 영상)으로 제한된다. 이와 같이 하여 합성이 행해진 결과의 영상이 도 6e 에 도시되어 있다.
움직임 대상이 중노광 이상의 영상을 사용하는 영역으로부터 탈출하면, 움직임 대상이 화면 내에 침입하기 전의 상태(도 6a 및 6b 참조)로 되돌아간다.
본 발명의 실시예에 의한 WDR 합성 방법에 의하면, 일반적인 WDR 합성 방법과 비교하여 보았을 때, 단노광 영상 사용 영역에서의 포화를 일시적으로 허용하는 대신에 움직임 대상이 존재하는 영역에서 발생하는 노이즈(noise)을 저감하고 움직임 아티팩트(artifact)의 발생도 억제하는 것이 가능하다. 예를 들어, 본 발명의 실시예에 의한 WDR 합성 방법에 의하면, 단노광 영상 사용 영역에서의 포화는 움직임 대상이 그 영역을 통과할 때에만 한정될 수 있다. 또한, 일반적으로 움직임이 없는 단노광 영상의 사용 영역보다 움직임 대상이 주목받기 쉽기 때문에, 움직임이 없는 배경이 일시적으로 포화되었다고 해도 실제의 단점은 미미하고, 움직임 대상이 존재하는 영역에서 큰 노이즈(noise)를 발생시키지 않는 것이 합리적이다. 이러한 이유에 의해, 본 발명의 실시예에 의한 WDR 합성 방법은, 3 프레임들 이상을 합성하는 WDR의 제어 방법으로서 유효한 방법이라고 할 수 있다.
이어서, 본 발명의 제2 실시예에 대하여 설명한다. 움직임 대상이 중노광 이상의 영상을 사용하는 영역과 겹쳐 있는지로 합성 방법을 전환하는 제1 실시예에 관한 WDR 합성 기술을 동영상에 대하여 적용한 경우, 한 가지 문제가 발생할 수 있다. 예를 들어, 움직임 대상이 중노광 이상의 영상을 사용하는 영역 내에서 일단 멈추고 다시 움직이는 경우나, 그 영역의 경계에서 침입 및 탈출을 반복하는 것과 같은 경우에서, 배경이 보이거나 포화됨을 자주 반복하여 알아보기 어려운 동영상이 되는 현상이 생길 수 있다.
그래서, 본 발명의 제2 실시예에서는, 시간방향으로 점차적으로 변화하는 것과 같은 구조를 만들어 이 현상을 완화한다. 도 7은, 본 발명의 제2 실시예의 영상 처리 장치(1)에 의한 사용-영상의 시간 변화의 예를 도시한 도면이다. 예를 들어, 도 7에 도시된 바와 같이, WDR 합성부(60)는 사용-영상의 상한과 움직임 영역에 대하여 할당되는 사용-영상의 하한을 시간방향으로 제어함으로써 상기 현상을 완화하는 것이 가능하다.
우선, 움직임 대상이 화면 내에 침입하기 전의 상태에서는(도 6a 참조), 사용-영상의 상한과 움직임 영역에 대하여 할당되는 사용-영상의 하한 어느 것에도 제한이 되지 않는다. 움직임 대상이 중노광 이상의 영상을 사용하는 영역에 침입하면, 움직임 영역에 대하여 할당되는 사용-영상의 하한이 중노광 영상으로 설정된다. 이에 따라, 움직임 영역에 대하여 중노광 영상이 할당된다. 또한, 화면 전체의 사용-영상의 상한이 중노광 영상으로 설정된다. 도 7에 도시된 바와 같이, 침입이 검출된 프레임에서의 중복 판정 결과를 다음 프레임에서의 합성시에 이용함으로써 이러한 설정이 이루어져도 된다.
여기에서, WDR 합성부(60)는 "중복"과 "비중복"의 사이에서 판정 결과가 변한 경우, 상기 제1 합성 영상 생성과 상기 제2 합성 영상 생성의 사이에서 합성 영상 생성의 방법을 전환하는데, 전환 전에 소정의 시간을 대기하면 좋다. 특히, WDR 합성부(60)는, 적어도 "중복"에서 "비중복"으로 판정 결과가 변한 경우, 전환 전에 소정의 시간을 대기하면 좋다.
구체적으로는, 도 7에 도시된 바와 같이, 움직임 대상이 중노광 이상의 영상을 사용하는 영역으로부터 탈출해도 "WAIT" 시간만큼 제한 상태를 유지시키면 좋다. 예를 들어, 탈출 시점으로부터의 프레임 개수를 계수하여 그것이 "WAIT" 시간에 상당하는 프레임 개수에 도달할 때까지 제한 상태를 유지시키면 좋다.
또한, WDR 합성부(60)는 "중복"과 "비중복"의 사이에서 판정 결과가 변한 경우, 상기 제1 합성 영상 생성과 상기 제2 합성 영상 생성의 사이에서 합성 영상 생성의 방법을 점차적으로 전환한다. 특히, WDR 합성부(60)는 "중복"에서 "비중복"으로 판정 결과가 변한 경우, 상기 제1 합성 영상 생성에서 상기 제2 합성 영상 생성으로 합성 영상 생성의 방법을 점차적으로 전환한다.
구체적으로는, 도 7에 도시된 바와 같이, 사용-영상의 상한과 움직임 영역에 대하여 할당되는 사용-영상의 하한을 점차적으로 되돌리면 좋다. 예를 들어, 되돌아가는 속도는, 도 7의 "SLOPE"에서, 영상들끼리의 혼합에 사용되는 혼합 비율(α로 불리워짐)의 1 프레임 당 증감 양에 따라 결정될 수 있다.
사용-영상의 상한이 단노광 이상의 영상이 되면 점차적 처리는 종료되어도 된다. 움직임 영역에 할당되는 사용-영상의 하한도 사용-영상의 상한과 마찬가지로 제어되어도 된다. 또한, "WAIT"나 "SLOPE"의 동작 기간 중에 침입이 발생한 경우는 상태를 초기화하여 침입 직후의 상태로 되돌려도 된다. 이상으로 나타낸 바와 같은 방법에 의해, 움직임 대상이 중노광 이상의 영상을 사용하는 영역 내에서 일단 멈추고 다시 움직이거나 그 영역의 경계에서 침입 및 탈출을 반복하는 것과 같은 상황이 발생해도, 합성 방법의 급격한 변화가 일어나지 않아 알아보기 쉬운 동영상을 얻을 수 있다.
이상, 본 발명의 제1 실시예 및 제2 실시예에 대하여 설명하였다. 본 발명의 제1 실시예에 의하면, 움직임 검출 결과와 사용-영상 선택 결과에 기초하여 움직임 영역과 중노광 이상의 영상을 사용하는 영역이 중복되어 있는지를 판정하는 판정부(50)와, 움직임 영역과 중노광 이상의 영상을 사용하는 영역이 중복되어 있다고 판정된 경우, 움직임 영역에 대해서는 중노광 영상을 사용하고, 움직임 영역이 아닌 영역에 대해서는 중노광 영상 및 장노광 영상 중에서 적어도 어느 하나를 사용하여 제1 합성 영상을 생성하는 WDR 합성부(60)를 포함하는 영상 처리 장치(1)가 제공된다.
이러한 구성에 의하면, 움직임 영역과 중노광 이상의 영상을 사용하는 영역이 중복되어 있다는 조건을 만족시킨 경우에, 움직임 영역에 대해서는 중노광 영상을 사용하고, 움직임 영역이 아닌 영역에 대해서는 중노광 영상과 장노광 영상을 사용한 WDR 합성이 행해진다. 따라서, 이러한 구성에 의하면, 3 종류 이상의 노광으로 촬영 및 합성을 행하는 WDR에 있어서, 노이즈(noise) 발생이 억제되면서 WDR 합성시의 아티팩트(artifact)가 억제된 WDR 합성 영상을 얻는 것이 가능하다.
한편, WDR 합성부(60)는, 움직임 영역과 중노광 이상의 영상을 사용하는 영역이 중복되지 않았다고 판정된 경우, 사용-영상 선택 결과에 따라 단노광 영상, 중노광 영상 및 장노광 영상 중에서 적어도 어느 하나를 사용하여 제2 합성 영상을 생성한다.
또한, 본 발명의 제2 실시예에 있어서, WDR 합성부(60)는 판정부(50)에 의한 판정 결과가 변한 경우, 제1 합성 영상 생성과 제2 합성 영상 생성의 사이에서 합성 영상 생성의 방법을 점차적으로 전환한다. 특히, 상기 합성부는, 상기 움직임 영역과 상기 중노광 이상의 영상을 사용하는 영역이 중복되지 않는 것으로서 상기 판정 결과가 변한 경우, 상기 제1 합성 영상 생성에서 상기 제2 합성 영상 생성으로 합성 영상 생성의 방법을 점차적으로 전환한다.
이러한 구성에 의하면, 움직임 대상이 중노광 이상의 영상을 사용하는 영역 내에서 일단 멈추고 다시 움직이거나, 그 영역의 경계에서 침입 및 탈출을 반복하는 것과 같은 상황이 발생해도, 합성 방법의 급격한 변화가 일어나지 않아 알아보기 쉬운 동영상을 얻을 수 있다.
또한, WDR 합성부(60)는, 판정부(50)에 의한 판정 결과가 변한 경우, 제1 합성 영상 생성과 제2 합성 영상 생성의 사이에서 합성 영상 생성의 방법을 전환하기 전에 소정의 시간을 대기한다. 특히, WDR 합성부(60)는, 상기 움직임 영역과 상기 중노광 이상의 영상을 사용하는 영역이 중복되지 않는 것으로서 상기 판정 결과가 변한 경우, 상기 제1 합성 영상 생성에서 상기 제2 합성 영상 생성으로 합성 영상 생성의 방법을 전환하기 전에 소정의 시간을 대기한다.
이러한 구성에 의하면, 움직임 대상이 중노광 이상의 영상을 사용하는 영역 내에서 일단 멈추고 다시 움직이거나 그 영역의 경계에서 침입 및 탈출을 반복하는 것과 같은 상황이 발생해도, 합성 방법의 급격한 변화가 일어나지 않아 알아보기 쉬운 동영상을 얻을 수 있다.
이상 설명된 바와 같이, 본 발명의 실시예의 영상 처리 장치 및 영상 처리 방법에 의하면, 움직임 영역과 중노광 이상의 영상을 사용하는 영역이 중복되어 있다는 조건을 만족시킨 경우에, 움직임 영역에 대해서는 중노광 영상을 사용하고, 움직임 영역이 아닌 영역에 대해서는 중노광 영상과 장노광 영상을 사용한 WDR 합성이 행해진다. 따라서, 이러한 구성에 의하면, 3 종류 이상의 노광으로 촬영 및 합성을 행하는 WDR에 있어서, 노이즈(noise) 발생이 억제되면서 WDR 합성시의 아티팩트(artifact)가 억제된 WDR 합성 영상을 얻는 것이 가능하다.
이와 같은 본 발명의 실시예의 효과가 종래 기술들에서 얻어질 수 없는 이유를 예를 들어 설명하면 다음과 같다.
일본 공개특허 제2011-205546호 공보(이하 특허문헌 2라 함)에는, 단노광과 장노광을 반복하면서 노광 비율을 복수 종류 간에 변경하여 촬영하고, 얻어진 복수매의 영상군으로부터 피사체의 다이나믹 레인지에 맞는 2 개의 영상을 선택하여 합성하는 기술이 개시되어 있다. 특허문헌 2에서는, 노광 비율을 6 종류 간에 변경하고 있다. 이러한 기술에 의하면, 항상 시간적으로 인접하는 2 개를 합성에 이용하므로, 합성시의 움직임 떨림을 억제할 수 있고, 피사체가 초고휘도 물체를 포함하고 있어도 적절한 노광 비율 설정과 적절한 2 개의 영상 선택을 하면 합성 가능하다.
그러나, 특허문헌 2에 기재된 기술에서는, 시간적으로 인접하는 2 개를 합성에 이용하므로 합성시의 움직임 떨림을 억제할 수 있지만, 합성에 이용하는 영상이 2 개이어도 합성시의 움직임 떨림은 발생한다. 또한, 특허문헌 2에 기재된 기술에서는, 노광 비율이 다른 영상을 많이 준비해야 하기 때문에, 합성 결과로서 동영상을 얻고자 하면 초당 프레임 개수 즉, 프레임 비율(frame rate)이 현저히 저하되는 문제가 생길 수 있다.
일본 공개특허 제2008-160881호 공보(이하, 특허문헌 3이라 함)에는, 짧은 단위 노광 시간으로 영상을 연속 촬영하고, 얻어진 단위 영상을 가산하여 장노광 영상을 생성하는 기술이 개시되어 있다. 이러한 기술에 의하면, 단노광 영상을 장노광 영상 생성의 중심 시각에 촬영된 단위 영상으로 하면, 위치 어긋남이 거의 없는 합성 영상을 생성 가능하다.
그러나, 특허문헌 3에 기재된 기술에서는, 단위 노광 시간을 너무 짧게 하면 촬영 데이터의 전송 속도가 호응할 수 없고, 전송시의 소비전력이 매우 커질 수 있다. 따라서, 단위 노광 시간은 매우 작게 할 수 있지만 고휘도를 촬영하는 성능이 그다지 높아지지 않는다.
또한, 특허문헌 3에 기재된 기술에서는, 위치 어긋남이 없는 것은 장점이지만, 배경과 물체에서 휘도차가 큰 상황에서 그 동물체를 촬영한 경우, 장노광 영상에는 움직임 흐림이 생겨 물체가 크게 촬영되는 데에 대하여, 단노광 영상은 움직임 흐림이 없으므로 물체는 작게 촬영된다. 이 상황에서 합성을 행하면, 물체 주위에 "안개"와 같은 그림자가 발생하여 부자연스러운 영상이 된다고 생각된다.
이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다.
예를 들어, 본 명세서에서는 다른 노광량으로 촬영된 N(N은 3이상의 자연수)장의 영상의 예로서 노광량이 적은 순으로 단노광 영상, 중노광 영상 및 장노광 영상의 3 개의 영상들을 촬영하는 예를 주로 설명하였다. 그러나, 이미 서술한 바와 같이, 4 개 이상의 영상들을 촬영하는 경우에도 본 발명의 실시예의 영상 처리 장치(1)는 적용 가능하다. 예를 들어, 4 개의 영상들을 촬영하는 경우, 중노광 영상이 2 종류 존재한다. 이 2 종류의 중노광 영상 중에서 어느 쪽의 영상을 움직임 영역에서 사용하여 사용-영상의 상한으로 할지는 미리 선택해 두면 좋다. 예를 들어, 움직임 대상에 생기는 노이즈(noise)의 양이나 단노광 영상이 사용되지 않음으로써 발생하는 포화의 정도 등에 기초하여 선택되면 좋다.
그러므로 상기 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.
동영상의 중계 장치에서도 이용될 가능성이 있다.
1 : 영상 처리 장치, 10 : 영상 센서,
21 : 단노광 영상의 메모리, 22 : 중노광 영상의 메모리,
23 : 장노광 영상의 메모리, 30 : 사용-영상 선택부,
40 : 검출부, 50 : 판정부,
51 : 비교 판정부, 52 : 카운터,
53 : 중복 판정부, 60 : WDR 합성부,
80 : 계조 압축부.

Claims (8)

  1. 움직임 검출 결과와 사용-영상 선택 결과에 기초하여, 움직임 영역과 중노광 이상의 영상을 사용하는 영역이 중복되어 있는지를 판정하는 판정부; 및
    상기 움직임 영역과 상기 중노광 이상의 영상을 사용하는 영역이 중복되어 있다고 판정된 경우, 상기 움직임 영역에 대해서는 중노광 영상을 사용하고, 움직임 영역이 아닌 영역에 대해서는 중노광 영상 및 장노광 영상 중에서 적어도 어느 하나를 사용하여 제1 합성 영상을 생성하는 합성부;를 포함하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 판정부는, 상기 움직임 영역과 상기 중노광 이상의 영상을 사용하는 영역의 중복 화소들의 개수를 계측하고, 상기 중복 화소들의 개수가 문턱 값을 넘는지를 판정함으로써, 상기 움직임 영역과 상기 중노광 이상의 영상을 사용하는 영역이 중복되어 있는지를 판정하는 영상 처리 장치.
  3. 제1항에 있어서,
    상기 합성부는, 상기 움직임 영역과 상기 중노광 이상의 영상을 사용하는 영역이 중복되지 않았다고 판정된 경우, 상기 사용-영상 선택 결과에 따라 단노광 영상, 중노광 영상 및 장노광 영상 중에서 적어도 어느 하나를 사용하여 제2 합성 영상을 생성하는 영상 처리 장치.
  4. 제3항에 있어서,
    상기 합성부는, 상기 판정부에 의한 판정 결과가 변한 경우, 상기 제1 합성 영상 생성과 상기 제2 합성 영상 생성의 사이에서 합성 영상 생성의 방법을 점차적으로 전환하는 영상 처리 장치.
  5. 제4항에 있어서,
    상기 합성부는, 상기 움직임 영역과 상기 중노광 이상의 영상을 사용하는 영역이 중복되지 않는 것으로서 상기 판정 결과가 변한 경우, 상기 제1 합성 영상 생성에서 상기 제2 합성 영상 생성으로 합성 영상 생성의 방법을 점차적으로 전환하는 영상 처리 장치.
  6. 제3항에 있어서,
    상기 합성부는, 상기 판정부에 의한 판정 결과가 변한 경우, 상기 제1 합성 영상 생성과 상기 제2 합성 영상 생성의 사이에서 합성 영상 생성의 방법을 전환하기 전에, 소정의 시간 동안에 대기하는 영상 처리 장치.
  7. 제6항에 있어서,
    상기 합성부는, 상기 움직임 영역과 상기 중노광 이상의 영상을 사용하는 영역이 중복되지 않는 것으로서 상기 판정 결과가 변한 경우, 상기 제1 합성 영상 생성에서 상기 제2 합성 영상 생성으로 합성 영상 생성의 방법을 전환하기 전에, 소정의 시간 동안에 대기하는 영상 처리 장치.
  8. 움직임 검출 결과와 사용-영상 선택 결과에 기초하여 움직임 영역과 중노광 이상의 영상을 사용하는 영역이 중복되어 있는지를 판정하는 단계; 및
    상기 움직임 영역과 상기 중노광 이상의 영상을 사용하는 영역이 중복되어 있다고 판정된 경우, 상기 움직임 영역에 대해서는 중노광 영상을 사용하고, 움직임 영역이 아닌 영역에 대해서는 중노광 영상 및 장노광 영상 중에서 적어도 어느 하나를 사용하여 제1 합성 영상을 생성하는 단계;를 포함하는 영상 처리 방법.
KR1020140051907A 2013-10-21 2014-04-29 영상 처리 장치 및 영상 처리 방법 KR102170695B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2013-218156 2013-10-21
JP2013218156A JP6184290B2 (ja) 2013-10-21 2013-10-21 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
KR20150045877A true KR20150045877A (ko) 2015-04-29
KR102170695B1 KR102170695B1 (ko) 2020-10-27

Family

ID=53013097

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140051907A KR102170695B1 (ko) 2013-10-21 2014-04-29 영상 처리 장치 및 영상 처리 방법

Country Status (2)

Country Link
JP (1) JP6184290B2 (ko)
KR (1) KR102170695B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190126232A (ko) * 2018-05-01 2019-11-11 한화테크윈 주식회사 영상 처리 장치 및 방법
WO2021101037A1 (en) * 2019-11-19 2021-05-27 Samsung Electronics Co., Ltd. System and method for dynamic selection of reference image frame

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6887853B2 (ja) * 2017-04-03 2021-06-16 キヤノン株式会社 撮像装置、その制御方法、プログラム
CN112219391B (zh) * 2018-06-07 2022-05-10 杜比实验室特许公司 生成hdr彩色图像的方法、hdr相机及蜂窝电话
CN109040524B (zh) * 2018-08-16 2021-06-29 Oppo广东移动通信有限公司 伪影消除方法、装置、存储介质及终端
JP6726324B1 (ja) 2019-01-17 2020-07-22 オリンパス株式会社 撮像装置、画像合成方法、及び画像合成プログラム
CN109993722B (zh) * 2019-04-09 2023-04-18 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110198419A (zh) * 2019-06-28 2019-09-03 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110266954B (zh) * 2019-06-28 2021-04-13 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110198417A (zh) * 2019-06-28 2019-09-03 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
KR20210053377A (ko) 2019-11-01 2021-05-12 삼성전자주식회사 이미지 센서 및 이미지 신호 처리기를 포함하는 이미지 장치, 및 이미지 센서의 동작 방법
CN113824873B (zh) * 2021-08-04 2022-11-15 荣耀终端有限公司 一种图像处理的方法及相关电子设备
CN115278097A (zh) * 2022-06-24 2022-11-01 维沃移动通信有限公司 图像生成方法、装置、电子设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008160881A (ja) 2008-02-12 2008-07-10 Sony Corp 固体撮像装置および撮像方法
JP2011188277A (ja) * 2010-03-09 2011-09-22 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP2011205546A (ja) 2010-03-26 2011-10-13 Panasonic Corp 撮影装置、画像合成方法及び画像合成プログラム
JP2012231273A (ja) 2011-04-26 2012-11-22 Nikon Corp 撮像装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004254151A (ja) * 2003-02-21 2004-09-09 Fuji Film Microdevices Co Ltd 撮像装置及び撮像方法
JP5896788B2 (ja) * 2012-03-07 2016-03-30 キヤノン株式会社 画像合成装置及び画像合成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008160881A (ja) 2008-02-12 2008-07-10 Sony Corp 固体撮像装置および撮像方法
JP2011188277A (ja) * 2010-03-09 2011-09-22 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP2011205546A (ja) 2010-03-26 2011-10-13 Panasonic Corp 撮影装置、画像合成方法及び画像合成プログラム
JP2012231273A (ja) 2011-04-26 2012-11-22 Nikon Corp 撮像装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190126232A (ko) * 2018-05-01 2019-11-11 한화테크윈 주식회사 영상 처리 장치 및 방법
US10554902B2 (en) 2018-05-01 2020-02-04 Hanwha Techwin Co., Ltd. Apparatus and method for processing images
WO2021101037A1 (en) * 2019-11-19 2021-05-27 Samsung Electronics Co., Ltd. System and method for dynamic selection of reference image frame

Also Published As

Publication number Publication date
JP6184290B2 (ja) 2017-08-23
JP2015082675A (ja) 2015-04-27
KR102170695B1 (ko) 2020-10-27

Similar Documents

Publication Publication Date Title
KR102170695B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP6911202B2 (ja) 撮像制御方法および撮像装置
US10194091B2 (en) Image capturing apparatus, control method therefor, program, and recording medium
CN104980652B (zh) 图像处理设备和图像处理方法
US9646397B2 (en) Image processing apparatus and image processing method
JP2016034109A (ja) 撮像装置およびその制御方法ならびにプログラム
JP6598479B2 (ja) 画像処理装置、その制御方法、および制御プログラム
JP2021114696A (ja) 画像処理装置、画像処理方法、及びプログラム
KR102127306B1 (ko) 움직임 검출 장치 및 움직임 검출 방법
KR101964228B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP5882702B2 (ja) 撮像装置
JP6227935B2 (ja) 画像処理装置および画像処理方法
CN108513062B (zh) 终端的控制方法及装置、可读存储介质和计算机设备
CN110581957A (zh) 图像处理方法、装置、存储介质及电子设备
US9460492B2 (en) Apparatus and method for image processing
KR20160030350A (ko) 화상 처리 장치 및 화상 처리 방법
KR102247597B1 (ko) 영상 처리 장치 및 영상 처리 방법
KR102199472B1 (ko) 화상 처리 장치 및 화상 처리 방법
JP6563646B2 (ja) 画像処理装置および画像処理方法
JP6173027B2 (ja) 画像処理装置および画像処理方法
JP6603557B2 (ja) 画像処理装置および画像処理方法
KR102182696B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP6121234B2 (ja) 画像処理装置および画像処理方法
JP2007251997A (ja) 撮像装置
JP2017098750A (ja) ベクトル算出装置およびベクトル算出方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant