KR102465212B1 - 다중 노출 센서를 이용하는 촬영 장치 및 이의 촬영 방법 - Google Patents

다중 노출 센서를 이용하는 촬영 장치 및 이의 촬영 방법 Download PDF

Info

Publication number
KR102465212B1
KR102465212B1 KR1020150152253A KR20150152253A KR102465212B1 KR 102465212 B1 KR102465212 B1 KR 102465212B1 KR 1020150152253 A KR1020150152253 A KR 1020150152253A KR 20150152253 A KR20150152253 A KR 20150152253A KR 102465212 B1 KR102465212 B1 KR 102465212B1
Authority
KR
South Korea
Prior art keywords
exposure
image
time
color
motion
Prior art date
Application number
KR1020150152253A
Other languages
English (en)
Other versions
KR20170050556A (ko
Inventor
홍현석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150152253A priority Critical patent/KR102465212B1/ko
Priority to US15/070,192 priority patent/US10447940B2/en
Priority to CN201680063819.XA priority patent/CN108353134B/zh
Priority to PCT/KR2016/002708 priority patent/WO2017073852A1/en
Priority to EP16860036.9A priority patent/EP3323238B1/en
Publication of KR20170050556A publication Critical patent/KR20170050556A/ko
Application granted granted Critical
Publication of KR102465212B1 publication Critical patent/KR102465212B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H04N25/534—Control of the integration time by using differing integration times for different sensor regions depending on the spectral component
    • H04N5/2351—
    • H04N5/2353—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/35536—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)

Abstract

본 개시는 다중 노출 이미지 센서를 이용한 촬영 장치에서, 복수의 색을 포함하는 복수의 픽셀로 구성되는 이미지 센서, 사용자의 촬영 명령을 입력받는 입력부, 및 촬영 장치의 촬영 모드가 다중 노출 모드인 동안 상기 입력부를 통해 촬영 명령이 입력되면, 상기 복수의 픽셀이 색상별로 구분된 복수의 픽셀 그룹의 노광 시간을 제어하여 다중 노출 영상을 획득하는 프로세서를 포함하는 촬영 장치 및 이에 따른 촬영 방법에 관한 것이다.

Description

다중 노출 센서를 이용하는 촬영 장치 및 이의 촬영 방법 {Photographing apparatus using multiple exposure sensor and photographing method thereof}
본 개시는 다중 노출 이미지 센서를 통해 이미지를 촬영하는 촬영 장치 및 이의 촬영 방법에 관한 것으로, 구체적으로 촬영 장치가 이미지 센서의 노광 온/오프를 통해 광 누적 방식을 조절함으로써 영상 효과를 생성할 수 있는 방법을 제공하는 장치 및 이의 촬영 방법에 관한 것이다.
촬영 장치에서 렌즈로 입사된 빛을 전기적으로 변환하여 이미지를 생성하는 이미지 센서는 CCD(Charge-coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor)로 크게 구분될 수 있다.
CCD 및 CMOS는노광 개시와 노광 종료에 의한 빛의 양을 조절하는 셔터의 동작으로 적정 노출을 유지한다. 이 같은 빛의 양을 조절하는 셔터는 동작 방식에 따라 롤링 셔터와 글로벌 셔터로 구분된다.
롤링 셔터 방식은 이미지 센서에 픽셀 별 포토 다이오드의 전하를 저장할 수 있는 저장부가 없기 때문에, 각 픽셀별로 순차적으로 노광을 개시 및 종료하는 방식이다. 글로벌 셔터 방식은 이미지 센서의 전체 픽셀에서 동시에 노광을 개시하며, 적정 노광 시간 후에 각 픽셀별로 구비된 저장부를 이용하여 전체 픽셀에서 동시에 노광을 종료하는 방식이다.
글로벌 셔터 방식의 촬영 장치는 촬영할 이미지와 관련하여 복수의 픽셀 영역 각각에서 서로 상이한 노출 시간을 갖도록 설정할 수 있다. 즉, 촬영 장치는 촬영할 이미지와 관련하여 복수의 픽셀 영역 중 적어도 하나의 픽셀 영역에서 장노출 형태의 노광을 수행하고, 나머지 픽셀 영역에서 단노출 형태의 노광을 수행하도록 설정하여 촬영할 수 있다. 이때, 촬영된 이미지를 보정하여 HDR(High Dynamic Rage)를 갖는 이미지를 획득할 수 있다.
종래에는, 글로벌 셔터 방식의 촬영 장치는, 이미지 센서의 노광에 있어서, 모든 픽셀들에 대해 조리개 개방 시간 동안 광 축적 픽셀과 저장하는 픽셀을 구분하였다. 이때, 이미지 센서는 노광 시간 전체가 아닌 일부의 구분된 순간들에 대해서만 노광하였다. 이를 통해, 이미지 센서는 물체의 동작(motion)을 다중 노출 촬영 모드로 촬영할 때 발생하는 모션 블러 (Motion Blur)의 문제점을 해결하여, 이미지 한 장에서 샤프한 동작(motion)의 구분이 가능하도록 하였다.
그러나, 종래의 방식은, 촬영 장치가 조리개 개방 시간 동안 이미지 센서 내의 구분된 순간들에서 전체 픽셀의 노출(exposure)을 온/오프하도록 제어함으로써, 움직이는 물체의 구분 동작(motion)의 시간적 발생 순서는 알 수 없는 문제점이 있다.
본 개시는, 상술한 문제점을 해결하기 위한 것으로, 본 개시의 목적은, 조리개 개방 시간 동안 이미지 센서 내의 픽셀을 픽셀 그룹별로 노광 온/오프를 제어하고, 움직이는 물체의 구분 동작(motion)들은 상이한 색상 또는 밝기의 차이로 구분되어 구분 동작(motion)의 시간적 발생 순서를 알 수 있도록 하기 위한 촬영 장치 및 그의 촬영 방법을 제공함에 있다.
본 개시의 일 실시예에 따른, 다중 노출 센서를 통해 이미지를 촬영할 수 있는 촬영 장치는, 복수의 색을 포함하는 복수의 픽셀로 구성되는 이미지 센서; 사용자의 촬영 명령을 입력 받는 입력부; 및 상기 촬영 장치의 촬영 모드가 다중 노출 모드인 동안 상기 입력부를 통해 촬영 명령이 입력되면, 상기 복수의 픽셀이 색상별로 구분된 복수의 픽셀 그룹의 노광 시간을 제어하여 다중 노출 영상을 획득하는 프로세서;를 포함한다.
상기 프로세서는, 상기 이미지 센서가 이미지를 촬영하는 동안 상기 복수의 픽셀 그룹의 노광 시간을 제어하여 상기 이미지에 포함된 복수의 모션의 색 또는 밝기를 상이하게 촬영할 수 있다.
상기 프로세서는, 상기 이미지가 촬영되는 시간 동안 상기 복수의 픽셀 그룹의 노광 온/오프 혹은 노광 온/오프 빈도인 듀티 비율(Duty Ratio)을 갖는 노광 온/오프 중 적어도 하나를 제어하여 상기 복수의 픽셀 그룹의 노광 시간을 제어할 수 있다.
상기 프로세서는, 상기 이미지가 촬영되는 시간 중 제1 구간에서는 상기 복수의 픽셀 그룹 중 적어도 하나를 온하여 제1 색을 가지는 제1 동작(motion)을 획득하고, 상기 이미지가 촬영되는 시간 중 제2 구간에서는 상기 복수의 픽셀 중 다른 적어도 하나를 온하여 제2 색을 가지는 제2 동작(motion)을 획득할 수 있다.
상기 프로세서는, 상기 이미지가 촬영되는 시간 중 제1 구간에서는 상기 복수의 픽셀 그룹전체를 제1 시간 동안 온하여 상기 제1 시간에 대응되는 제1 밝기 값을 가지는 제1 동작(motion)을 획득하고, 상기 이미지가 촬영되는 시간 중 제2 구간에서는 상기 복수의 픽셀 그룹 전체를 제2 시간 동안 온하여 제2 밝기 값을 가지는 제2 동작(motion)을 획득할 수 있다.
상기 촬영 장치는 저장부;를 더 포함하고, 상기 프로세서는, 이미지에 포함된 복수의 모션의 색 또는 밝기를 설정하기 위한 사용자 명령이 입력되면, 상기 사용자 명령에 따라 상기 복수의 픽셀 그룹의 노광 시간을 판단하고, 상기 판단된 노광 시간을 상기 저장부에 저장할 수 있다.
상기 프로세서는, 라이브뷰 영상을 분석하여 지정된 속도를 바탕으로 이미지 속에 포함된 오브젝트의 움직임을 판단하고, 상기 판단된 움직임을 바탕으로 상기 오브젝트의 움직임을 예측하여 상기 복수의 픽셀 그룹의 노광 시간을 제어할 수 있다.
또한, 상기 프로세서는, 상기 오브젝트의 움직임이 많거나 빠르다고 판단된 경우, 상기 이미지 속에 포함된 상기 오브젝트의 동작(motion) 개수가 많아지도록 상기 복수의 픽셀 그룹의 노광 시간을 제어할 수 있다.
상기 프로세서는, 상기 복수의 픽셀이 영역별로 구분된 복수의 픽셀 그룹의 노광 시간을 제어하고, 상기 영역은, 상기 복수의 픽셀 중 이미지에 포함된 상이한 오브젝트의 동작(motion)이 발생하는 면적에 따라 구분될 수 있다.
상기 프로세서는, 상기 복수의 동작(motion)의 색 또는 밝기가, 촬영 전에 사용자에 의해 색상 프로파일로부터 결정되도록 제어할 수 있고, 라이브 뷰 상에서 주요 배경 색상을 미리 검출하여 자동으로 설정되도록 제어할 수 있다.
한편, 다중 노출 센서를 통해 이미지를 촬영할 수 있는 촬영 방법은, 복수의 색을 포함하는 복수의 픽셀로 구성되는 이미지 센서로부터 이미지를 캡쳐하는 단계;
사용자의 촬영 명령을 입력 받는 단계; 상기 촬영 장치의 촬영 모드가 다중 노출 모드인 동안 상기 입력 받는 단계를 통해 촬영 명령이 입력되면, 상기 복수의 픽셀이 색상 별로 구분된 복수의 픽셀 그룹의 노광 시간을 제어하는 단계; 및 다중 노출 영상을 획득하는 단계;를 포함한다.
상기 제어하는 단계는, 이미지를 촬영하는 동안 상기 이미지 센서가 상기 복수의 픽셀 그룹의 노광 시간을 제어하여 상기 이미지에 포함된 복수의 동작(motion)의 색 또는 밝기를 상이하게 촬영할 수 있다.
상기 제어하는 단계는, 상기 이미지가 촬영되는 시간 동안 상기 복수의 픽셀 그룹의 노광 온/오프 혹은 노광 온/오프 빈도인 듀티 비율(Duty Ratio)을 갖는 노광 온/오프 중 적어도 하나를 제어하여 상기 복수의 픽셀 그룹의 노광 시간을 제어할 수 있다.
상기 획득하는 단계는, 상기 이미지가 촬영되는 시간 중 제1 구간에서는 상기 복수의 픽셀 그룹 중 적어도 하나를 온하여 제1 색을 가지는 제1 동작(motion)을 획득하고, 상기 이미지가 촬영되는 시간 중 제2 구간에서는 상기 복수의 픽셀 중 다른 적어도 하나를 온하여 제2 색을 가지는 제2 동작(motion)을 획득할 수 있다.
상기 촬영 방법은, 저장하는 단계;를 더 포함하고, 상기 제어하는 단계는, 이미지에 포함된 복수의 모션의 색 또는 밝기를 설정하기 위한 사용자 명령이 입력되면, 상기 사용자 명령에 따라 상기 복수의 픽셀 그룹의 노광 시간을 판단하는 단계를 더 포함하고, 상기 판단된 노광 시간을 상기 저장하는 단계에서 저장할 수 있다.
상기 획득하는 단계는, 상기 이미지가 촬영되는 시간 중 제1 구간에서는 상기 복수의 픽셀 그룹전체를 제1 시간 동안 온하여 상기 제1 시간에 대응되는 제1 밝기 값을 가지는 제1 동작(motion)을 획득하고, 상기 이미지가 촬영되는 시간 중 제2 구간에서는 상기 복수의 픽셀 그룹 전체를 제2 시간 동안 온하여 제2 밝기 값을 가지는 제2 동작(motion)을 획득할 수 있다.
상기 제어하는 단계는, 라이브뷰 영상을 분석하여 지정된 속도를 바탕으로 이미지 속에 포함된 오브젝트의 움직임을 판단하고, 상기 판단된 움직임을 바탕으로 상기 오브젝트의 움직임을 예측하여 상기 복수의 픽셀 그룹의 노광 시간을 제어할 수 있다.
상기 제어하는 단계는, 상기 오브젝트의 움직임이 많거나 빠르다고 판단된 경우, 상기 이미지 속에 포함된 상기 오브젝트의 동작(motion) 개수가 많아지도록 상기 복수의 픽셀 그룹의 노광 시간을 제어할 수 있다.
상기 제어하는 단계는, 상기 복수의 픽셀이 영역별로 구분된 복수의 픽셀 그룹의 노광 시간을 제어하고, 상기 영역은, 상기 복수의 픽셀 중 이미지에 포함된 상이한 오브젝트의 동작(motion)이 발생하는 면적에 따라 구분되도록 제어할 수 있다.
상기 제어하는 단계는, 상기 복수의 모션의 색 또는 밝기가, 촬영 전에 사용자에 의해 색상 프로파일로부터 결정되도록 제어할 수 있고, 라이브뷰 상에서 주요 배경 색상을 미리 검출하여 자동으로 설정되도록 제어할 수 있다.
이상과 같은 본 개시의 일 실시예에 따른 장치 및 방법에 의하면, 다중 노출 이미지 센서의 촬영 장치에서 촬영된 동작(motion)의 이미지는, 각 구분 동작(motion)에 따른 색상 또는 밝기에 의해 해당 구분 동작(motion)의 시간적인 발생 순서를 알 수 있다.
도 1은, 본 개시의 일 실시예에 따른, 촬영 장치의 구성을 도시한 간단한 블록도,
도 2는, 본 개시의 일 실시예에 따른, 촬영 장치의 구성을 도시한 상세한 블록도,
도 3은, 본 개시의 일 실시예에 따른, 이미지 센서를 구성하는 복수의 픽셀 영역을 나타내는 예로써 RGGB Bayer Pattern을 갖는 센서 픽셀을 도시한 도면,
도 4는, 본 개시의 일 실시예에 따른, 다중 노출 모드로 촬영된 움직이는 피사체를 도시한 도면,
도 5는, 본 개시의 일 실시예에 따른, 조리개 개방 시간 동안 이미지 센서를 구성하는 복수의 픽셀 영역 중 전체 픽셀 그룹에서 노광 온/오프가 적용된 타이밍도,
도 6 및 도 7은, 본 개시의 일 실시예에 따른, 복수의 픽셀의 색상별 픽셀 그룹에서 노광 온/오프가 적용된 타이밍도,
도 8 및 도 9는, 본 개시의 일 실시예에 따른, 복수의 픽셀의 색상별 픽셀 그룹에서 픽셀 그룹의 제어를 통해 밝기 변화의 효과를 표현하는 노광 온/오프가 적용된 타이밍도,
도 10 및 도 11은, 본 개시의 일 실시예에 따른, 밝기 변화 효과 촬영 중 예측된 특정 이벤트에 대해 특정 색상 또는 자연색(White)으로 촬영되도록 색상별 픽셀 그룹에서 노광 온/오프가 적용된 타이밍도,
도 12는, 본 개시의 일 실시예에 따른, 복수의 픽셀의 영역별 픽셀 그룹을 설명하기 위해 도시한 도면,
도 13a 내지 도 14b는, 본 개시의 일 실시예에 따른, 영역별 픽셀 그룹에서 각 영역에 따라 상이한 색상 또는 밝기가 나타나도록 노광 온/오프가 적용된 타이밍도,
도 15 내지 도 16b는, 본 개시의 일 실시예에 따른, 움직임이 빠른 피사체의 색상 또는 밝기에 따른 픽셀 그룹에서 노광 온/오프가 적용된 타이밍도,
도 17a 내지 도18은, 본 개시의 일 실시예에 따른, 촬영 장치에서 사용자 명령을 설명하기 위한 사용자 인터페이스를 도시한 도면,
도 19는, 본 개시의 일 실시예에 따른, 색상별 픽셀 그룹에 따라 노광 온/오프가 적용된 이미지 및 색상에 따른 시간 순서가 디스플레이된 촬영 장치를 도시한 도면, 그리고
도 20은, 본 개시의 일 실시예에 따른, 다중 노출 센서를 통해 촬영한 이미지를 획득하는 단계를 설명하기 위한 순서도이다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 개시에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
또한, 본 명세서에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
이하에서는, 첨부된 도면을 참조하여 본 개시에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
이하에서는, 본 발명의 실시예를 첨부한 도면을 참조하여 상세히 설명하기로 한다. 도 1은, 본 개시의 일 실시예에 따른, 촬영 장치(100)의 구성을 도시한 간단한 블록도이다. 도 1에 도시된 바와 같이, 촬영 장치(100)는 이미지 센서(110), 프로세서(130) 및 입력부(150)를 포함한다.
촬영 장치(100)는 디지털 카메라, 무선 통신 장치, 모바일 폰, 카메라 폰 모바일 장치, 휴대 촬영 장치, 스마트 폰, 태블릿 PC 등 일수 있다. 그러나, 상술한 예들은 본 개시를 위한 일 실시예일 뿐, 이에 한정되지 아니한다.
이미지 센서(110)는, 복수의 색을 포함하는 복수의 픽셀로 구성되고, 렌즈(미도시)를 통해 입사되는 노광을 전기적인 신호로 변환하고, 변환된 전하를 복수의 픽셀 영역 각각에 축적하여 저장한다. 예를 들어, 복수의 픽셀은 RGB각 픽셀 및 RGB 베이어(RGB Bayer)일 수 있다. 그러나, 이는 본 개시의 설명을 위한 일 실시예일 뿐, 이미지 센서(110)는 다양한 픽셀로 이루어질 수 있다. 예를 들어, 이미지 센서(110)는 RGGB, RGBW, RGB-IR, CYYM, CMYK 등의 베이어 패턴(Bayer Pattern)을 갖는 센서 또는 각 픽셀당 다양한 색상을 수광할 수 있는 센서 등으로도 구현될 수 있다.
본 개시의 일 실시예에 따라, 이미지 센서(110)는 글로벌 셔터 방식의 이미지 센서로서 CCD(Charge-coupled Device)나 CIS (Complementary Metal Oxide Semiconductor Image Sensor) 등이 될 수 있다. 특히, CIS는 복수의 픽셀 각각에 수광부 역할을 하는 포토 다이오드 및 수광부에 축적된 전하를 저장하는 스토리지 다이오드를 포함한다.
입력부(150)는 사용자에 의해 촬영 명령을 입력 받는다. 입력부(150)는 사용자로부터 촬영 명령 또는 픽셀 그룹별 다중 노출 설정 명령 등의 사용자 명령을 입력 받을 수 있다. 입력부(150)는 터치 스크린, 마우스, 스타일러스 펜, 버튼, 휠 등 일수 있다. 그러나, 이는 본 개시를 설명하기 위한 일 실시예일 뿐, 이에 한정되지 아니한다.
한편, 촬영 장치(100)는 저장부(미도시)를 더 포함할 수 있다. 저장부(미도시)는 프로세서의 제어에 의해 획득된 이미지를 저장할 수 있다. 또한
저장부(미도시)는 이미지 센서(110)를 구성하는 복수의 픽셀 중 색상별 컬러 필터 또는 영역별 컬러 필터에 따라 구분된 픽셀 그룹 정보를 저장할 수 있다. 저장부(미도시)는 피사체의 움직임 궤적 또는 움직임 속도 등을 바탕으로 피사체의 지정된 포착 순간을 예측하는 정보 등을 저장할 수 있다.
프로세서(130)는 촬영 장치(100)의 촬영 모드가 다중 노출 모드일 때, 입력부(150)로부터 사용자의 촬영 명령이 입력되면 이미지 센서(110)를 구성하는 복수의 픽셀을 색상별, 영역별 픽셀에 적용되는 컬러 필터에 따라 구분된 픽셀 그룹의 노광 시간을 제어할 수 있다. 이때, 프로세서(130)는 이미지 센서(110)를 구성하는 포토 다이오드와 스토리지 다이오드를 연결하는 스위치를 제어하여 노광 온/오프를 제어할 수 있다.
프로세서(130)는 이미지 센서(110)를 통해 다중 노출 모드로 이미지를 촬영하는 동안, 복수의 픽셀 그룹의 노광 시간을 제어하여, 촬영 중인 이미지에 포함된 복수의 동작(motion)을 구분하도록 색상 또는 밝기를 상이하게 제어할 수 있다. 예를 들어, 노광 시간이 긴 장노출의 경우, 프로세서(130)는 영상의 강도(intensity)가 높아져 더 밝은 영상을 획득할 수 있다. 반면, 노광 시간이 짧은 단노출의 경우, 영상의 강도(intensity)가 낮아져 장노출의 영상보다 더 어두운 영상을 획득할 수 있다.
본 개시의 실시예들에서, "이미지를 촬영하는 동안" 및 "이미지가 촬영되는 시간"이란 표현은 "조리개가 개방되어 있는 시간 동안" 및 "조리개 개방 시간"과 동일한 표현일 수 있다. 또한, 영상의 강도(intensity)는 영상의 밝기와 동일한 표현일 수 있다.
또한, 프로세서(130)는 저장부(미도시)에 저장된 정보를 바탕으로 이미지 센서(110)의 노광 온/오프를 제어할 수 있다. 프로세서(130)는 이미지 센서(110)를 통해 획득한 노광 시간 정보를 바탕으로 획득한 영상 및 영상에 포함된 동작(motion)에 적용된 색상 또는 밝기의 시간 순서를 디스플레이하도록 디스플레이부(미도시)를 제어할 수 있다. 또한, 이러한 색상 또는 밝기의 시간 순서에 대한 디스플레이는 영상에 오버레이(overlay)되어 저장되거나 별도의 파일로 저장될 수 있다.
도 2는, 본 개시의 일 실시예에 따른, 촬영 장치(100)의 구성을 도시한 상세한 블록도이다. 도 2를 참조하면, 촬영 장치(100)는 이미지를 생성하고 처리하는 렌즈부(210), 이미지 센서(220), 이미지 처리부(230), 메모리(240), 및 디스플레이부(250)를 포함한다. 또한, 촬영 장치(100)는 통신부(260), 프로세서(270), 및 입력부(280)를 더 포함할 수 있다.
렌즈부(210)는 예를 들어 렌즈, 컬러 필터, 조리개 등을 포함한다. 이미지 센서(220)는 예를 들어 CMOS(Complementary Metal Oxide Semiconductor)나 CCD(Charge Coupled Device)로 일 수 있다. 이미지 센서(220)는 렌즈부(210)를 통해 입사되는 빛의 양에 따라 전기적인 아날로그 신호를 생성한다. 이미지 센서(220)에서 생성된 아날로그 신호는 이미지 처리부(230)에 공급되고, 이미지 처리부(230)는 이미지 센서(220)로부터 공급받은 신호를 처리하여 이미지를 생성한다. 이미지 처리부(230)에서 생성된 이미지는 메모리(240)에 저장되고, 디스플레이부(250)를 통해 촬영 장치(100)에 디스플레이된다.
본 개시의 일 실시예에 따라, 이미지 센서(220)는 복수의 픽셀로 구성되고, 복수의 픽셀은 영역별 또는 색상별로 픽셀에 적용되는 컬러 필터에 따라 픽셀 그룹으로 구분될 수 있다. 이때, 구분된 픽셀 그룹 중 적어도 하나의 픽셀 그룹은 프로세서(270)의 제어에 따라 시분할 다중 노광을 개시할 수 있다.
메모리(240)는 프로세서(270)에 의해 생성된 데이터를 임시로 저장할 수 있다. 또한 메모리(240)는 이미지 센서(220)에서 캡쳐한 이미지를 임시로 저장할 수 있다. 메모리(240)는 프로세서(270)에서 사용하는 프로그램, 연산 파라미터, 사용자 명령어 등을 저장할 수 있다. 메모리(240)는, 예를 들어, 하드디스크, 멀티미디어 카드, 플래시 메모리, 마이크로, SD 카드, XD 카드 등의 저장 매체 중 적어도 하나일 수 있다. 또한 메모리(240)는 프로세서(270) 내부의 램(RAM) 또는 롬(ROM) 등이 될 수도 있다.
디스플레이부(250)는 프로세서(270)의 제어 명령에 따라, 이미지 처리부(230)에서 처리된 이미지 데이터 및 메모리(240)에 저장된 이미지, 외부 저장 장치에 저장되어 있는 이미지, 외부 입력 인터페이스를 통해 입력되는 이미지 등을 표시할 수 있다. 또한, 메뉴 화면을 표시할 수 있으며, 다중 노출 촬영 모드로 획득된 이미지의 색상 또는 밝기에 따라 이미지의 시간 순서를 표시할 수 있다. 또한, 이미지뿐만 아니라 동영상이나 라이브 뷰(live view)를 표시할 수 있다. 그리고, 라이브 뷰 표시 중 팝업 메뉴를 표시할 수 있다.
그리고 디스플레이부(250)는 LCD, OLED, 플렉서블 디스플레이, 3차원 디스플레이 등 다양한 형태로 구현될 수 있다. 디스플레이부(250)는 터치 스크린으로 구성되어 출력 장치뿐만 아니라 사용자의 터치 명령을 입력 받는 입력 장치로도 사용될 수 있다.
통신부(260)는 외부 단말 장치 및 유/무선 데이터 통신을 수행할 수 있다. 무선 통신 방식으로 외부 단말 장치와 데이터 통신을 수행할 경우, 통신부(260)는 와이파이 다이렉트(WIFI DIRECT) 통신 모듈, 블루투스 모듈, 적외선 통신(IrDA, infrared data association) 모듈, NFC(Near Field Communication) 모듈, 지그비(Zigbee) 모듈, 셀룰러 통신 모듈, 3G(3세대) 이동통신 모듈, 4G 이동 통신 모듈, LTE(Long Term Evolution) 통신 모듈 중 적어도 하나를 포함할 수 있다.
여기서, 유선 통신 방식으로 외부 단말 장치와 데이터 통신을 수행할 경우, 통신부(260)는 USB와 같은 인터페이스 모듈을 포함할 수 있으며, 이 같은 인터페이스 모듈을 통해 PC와 같은 외부 단말 장치와 물리적으로 연결되어 이미지 데이터를 송수신하거나, 펌웨어 업그레이드를 수행하기 위한 펌웨어 데이터를 송수신할 수 있다.
입력부(280)는 사용자 명령을 입력 받을 수 있고, 버튼(미도시) 또는 휠(미도시)을 포함할 수 있다. 또한, 입력부(280)는 디스플레이부(250) 상에 위치하는 터치 패널(미도시)를 포함할 수 있다. 따라서, 입력부(280)는 사용자로부터 촬영 명령 또는 촬영된 이미지에 대한 편집 명령 등의 사용자 명령을 입력 받을 수 있다. 본 개시의 일 실시예로, 입력부(280)는 다중 노출 촬영 모드를 선택하고, 다중 노출 촬영 모드의 픽셀 그룹별 색상 또는 밝기에 대한 설정을 입력 받을 수 있다.
프로세서(270)는 이미지 센서(220)를 구성하는 복수의 픽셀 그룹을 영역별 또는 색상(밝기)별로 노광 온/오프를 제어할 수 있다. 또한, 프로세서(270)는 입력부(280)를 통해 입력 받은 사용자 명령에 따라 이미지 센서(220)의 픽셀 그룹별 노광 시간을 제어할 수 있다.
그리고, 프로세서(270)는 조리개가 개방되어 있는 시간 동안 복수의 픽셀 그룹의 노광 온/오프 혹은 노광 온/오프의 빈도를 나타내는 듀비 비율(duty ratio)을 갖는 노광 온/오프 중 적어도 하나를 제어하여 복수의 픽셀 그룹의 노광 시간을 제어할 수 있다.
이때, 프로세서(270)는 이미지가 촬영되는 시간 중 제1 구간에서는 복수의 픽셀 그룹 중 적어도 하나의 노광을 온(on)하여 제1 색을 가지는 제1 동작(motion)의 이미지를 획득하고, 제2 구간에서는 복수의 픽셀 중 다른 적어도 하나의 노광을 온(on)하여 제2 색을 가지는 제2 동작(motion)의 이미지를 획득할 수 있다.
또한, 프로세서(270)는 이미지가 촬영되는 시간 중 제1 구간에서는 복수의 픽셀 그룹 전체의 노광을 제1 시간 동안 온(on)하여, 제1 시간에 대응되는 제1 밝기 값을 가지는 제1 동작(motion)의 이미지를 획득하고, 조리개가 개방되어 있는 시간 중 제2 구간에서는 복수의 픽셀 그룹 전체의 노광을 제2 시간 동안 온(on)하여 제2 밝기 값을 가지는 제2 동작(motion)의 이미지를 획득할 수 있다.
프로세서(270)는 이미지에 포함된 복수의 동작(motion)들에 대한 색 또는 밝기를 설정하기 위한 사용자 명령이 입력부(150)를 통해 입력되면, 입력된 사용자 명령에 따라 복수의 픽셀 그룹의 노광 시간을 판단하고, 판단된 노광 시간을 저장부(미도시)에 저장할 수 있다.
또한, 프로세서(270)는 라이뷰 영상을 분석하여 저장부(미도시)에 저장된 지정된 속도를 바탕으로 이미지 속에 포함된 물체의 움직임을 판단할 수 있다. 이때, 저장부(미도시)에 저장된 지정된 속도는 피사체의 움직임을 예측하고 판단할 수 있는 정보일 수 있다. 프로세서(270)는 판단된 움직임을 바탕으로 물체의 움직임을 예측하여 복수의 픽셀 그룹의 노광 시간을 제어할 수 있다.
이때, 프로세서(270)는 물체의 움직임이 많거나 빠르다고 판단된 경우, 이미지 속에 포함된 물체의 움직임의 개수가 많아지도록 복수의 픽셀 그룹의 노광 시간을 제어할 수 있다.
도 3은, 본 개시의 일 실시예에 따른, 이미지 센서를 구성하는 복수의 픽셀 영역을 나타내는 4x4 RGB 어레이(RGB array)(300)를 도시한 도면이다. 도 3을 참조하면, 본 개시의 일 실시예로, RGB 어레이(300)에서 복수의 픽셀을 구성하는 각 픽셀 그룹은 R(레드), G(그린), B(블루) 각각 단일 컬러 필터로 구성될 수 있다. 또한, 각 픽셀 그룹은 R, G, B 의 컬러 필터가 혼합된 컬러 필터로 구현될 수도 있다.
구체적으로 예를 들어, 촬영 장치(100)는 이미지 센서 각 RGB 픽셀 그룹별 노광 온/오프 및 노광 온/오프 빈도수를 제어하여 다양한 색상 프로파일을 생성할 수 있다. 이미지 센서의 노광 시간을 R 픽셀 그룹에서 장노출로 하고, G 및 B 픽셀 그룹에서 오프한 경우, 대응되는 픽셀 그룹은 R(레드) 단일 컬러 필터에 따른 빨강색 이미지를 획득할 수 있다.
또한, 센서의 노광 시간 동안 100%의 R 컬러 필터를 수광하고 50%의 G 컬러 필터를 수광하도록 RGB 컬러 필터를 혼합하면 주황색 이미지를 획득할 수 있다. 그리고, 센서의 노광 시간 동안 80%의 R 컬러 필터를 수광하고 100%의 B 단일 컬러 필터를 수광하도록 RGB 컬러 필터를 조합(combination)하면 보라색 이미지를 획득할 수 있다. 그리고, R, G, B 각 컬러 필터를 동일한 강도(intensity)를 나타내는 동일한 비율 로 조합하면 자연색(white)의 이미지를 획득할 수 있다. 이때, 촬영 장치(100)는 RGB 컬러 필터의 조합에 따른 각 픽셀 그룹의 노광 온/오프 빈도(duty ratio)를 제어할 수 있다. 상술한 예시들은 본 개시를 설명하기 위한 일 실시예들일 분, 이에 한정되지 않는다. 또한, RGB 어레이는 8x8, 16x16 등 확장된 배열로 구현될 수 있다.
도 4는, 본 개시의 일 실시예에 따른, 다중 노출 모드로 촬영된 움직이는 피사체를 도시한 도면이다. 도 4를 참조하면, 다중 노출 모드로 촬영시, 촬영 장치(100)는 움직이는 피사체의 구분 동작(motion)을 한 장의 이미지로 저장할 수 있고, 한 장의 이미지를 디스플레이(400)에 디스플레이할 수 있다.
본 개시의 실시예에 따라, 촬영 장치(100)는 피사체의 제1 동작(motion)(410), 제2 동작(motion)(420), 제3 동작(motion)(430)을 색상별 또는 영역별 컬러 필터에 따라 구분할 수 있다. 예를 들어, 사용자의 선택에 의해 제1 동작(motion)(410)은 빨강색, 제2 동작(motion)(420)은 보라색, 제3 동작(motion)(430)은 파랑색으로 구분할 수 있다.
도 4에 도시된 바와 같이, 상이한 동작(motion)(410, 420, 430)이 촬영 장치(100)의 디스플레이(400)에 디스플레이 될 때, 피사체의 동작(motion) 중 첫 번째 동작(motion)인 제1 동작(motion)(410)을 구분한 빨강색을 촬영 장치(100)의 타임 바(미도시)에서 제1 순위로 표시하고, 두 번째 동작(motion)인 제2 동작(motion)(420)을 구분한 보라색을 촬영 장치(100)의 타임 바(미도시)에서 제2 순위로 표시하고, 세 번째 동작(motion)인 제3 동작(motion)(430)을 구분한 파랑색을 촬영 장치(100)의 타임 바(미도시)에서 제3 순위로 표시할 수 있다. 이를 통해, 사용자는 움직이는 피사체의 연속된 동작(motion)의 순서를 색상을 통해 용이하게 구분할 수 있다. 그러나, 이는 본 개시를 설명하기 위한 일 실시 예일뿐, 이에 한정하지 아니하며, 다양한 실시예들을 상술하기로 한다.
도 5는, 본 개시의 일 실시예에 따른, 종래 기술로서, 조리개 개방 시간 동안 이미지 센서를 구성하는 복수의 픽셀 영역에서 노광 온/오프가 적용된 타이밍도이다. 이때, 종래의 기술은, 글로벌 셔터 방식을 사용하는 촬영 장치의 다중 노출 이미지 센서(예, CMOS)를 의미한다.
도 5를 참조하면, 피사체의 구분 동작(motion)(410, 420, 430)은 각각 픽셀 그룹(510, 520, 530)으로 구분된다. 즉, 도 4의 제1 동작(motion)(410)은 제1 픽셀 그룹(510), 도 4의 제2 동작(motion)(420)은 제2 픽셀 그룹(520), 도 4의 제3 동작(motion)(430)은 제3 픽셀 그룹(520)으로 구분된다. 이때, 각각의 픽셀 그룹은 색상별 또는 영역별 컬러 필터로 구분되지 않고, 각각의 픽셀 그룹은 RGB 컬러 필터를 동일한 강도(intensity)로 조합한 컬러 필터를 적용한다. 또한, 각각의 픽셀 그룹(510, 520, 530)은 제1 노광 시간(510), 제2 노광 시간(520), 제3 노광 시간(530)에 각각 노광 온(on)되지만, 동일한 노광 시간이 적용된다. 따라서, 종래의 기술에서는 피사체의 구분 동작(motion)(410, 420, 430)의 시간 순서를 알기 쉽지 않다.
도 6 및 도 7은, 본 개시의 일 실시예에 따른, 복수의 픽셀의 컬러 필터별 픽셀 그룹에서 노광 온/오프가 적용된 타이밍도이다.
도 6을 참조하면, 도 4에 도시된 피사체의 구분 동작(motion)(410, 420, 430)은 각각 픽셀 그룹(610, 620, 630)으로 구분된다. 즉, 도 4의 제1 동작(motion)(410)은 제1 픽셀 그룹(610), 도 4의 제2 동작(motion)(420)은 제2 픽셀 그룹(620), 도 4의 제3 동작(motion)(430)은 제3 픽셀 그룹(520)으로 구분된다. 이때, 각각의 픽셀 그룹은 색상별 컬러 필터로 구분될 수 있고, 각각의 픽셀 그룹은 각 컬러 필터에 따른 단일 컬러 필터가 적용된다.
구체적으로 예를 들어, 도 4의 제1 동작(motion)(410)은 제1 구간(610)에서 R 컬러 필터(640)를 지닌 제1 픽셀 그룹으로 구분될 수 있다. 도 4의 제2 동작(motion)(420)은 제2 구간(620)에서 G 컬러 필터(650)을 지닌 제2 픽셀 그룹으로 구분될 수 있다. 또한, 도 4의 제3 동작(motion)(430)은 제3 구간(630)에서 B 컬러 필터(660)를 지닌 제3 픽셀 그룹으로 구분될 수 있다.
이때, 촬영 장치(100)는 각 픽셀 그룹(610, 620, 630)이 각 픽셀 그룹에 대응되는 노광 시간(610, 620, 630)에서 온되고, 나머지 노광 시간 동안에는 오프되도록 제어할 수 있다. 결과적으로, 도 4의 제1 동작(motion)(410)은 R 단일 컬러 필터(640)이 적용되어 빨강색으로 표시되고, 도 4의 제2 동작(motion)(420)은 G 단일 컬러 필터(650)이 적용되어 녹색으로 표시되며, 도 4의 제3 동작(motion)(430)은 B 단일 컬러 필터(660)이 적용되어 파랑색으로 표시된다.
이때, 촬영 장치(100)는 각 구분 동작(motion)(410, 420, 430)이 색상으로 구분된 한 장의 이미지와 각 동작(motion)의 색상에 대응되는 타임바를 표시할 수 있다. 이를 통해, 사용자는 움직이는 피사체의 구분 동작(motion)의 시간 순서를 색상을 통해 용이하게 판단할 수 있다. 그러나, 이는 본 개시를 설명하기 위한 일 실시예일 뿐, 다양한 컬러 필터의 선택을 이용하여 본 개시를 구현할 수 있다.
도 7을 참조하면, 도 4에 도시된 피사체의 구분 동작(motion)(410, 420, 430)은 각각의 구분 동작(motion)에 대응되는 노광 시간인 제1 구간 내지 제3 구간(701, 702, 703)에 적용되는 컬러 필터로 구분된다. 즉, 도 4의 제1 동작(motion)(410)은 제1 구간(701), 도 4의 제2 동작(motion)(420)은 제2 구간(702), 도 4의 제3 동작(motion)(430)은 제3 구간(703)으로 구분된다. 이때, 각각의 픽셀 그룹(704, 705, 706)은 색상별 컬러 필터로 구분될 수 있고, 각각의 픽셀 그룹은 RGB 각각의 컬러 필터를 조합하여 얻은 조합(combination) 컬러 필터가 적용된다.
구체적으로 예를 들어, 도 4의 제1 동작(motion)(410)은 제1 구간(701)에서 R 컬러 필터(704)를 지닌 제1 색상으로 구분될 수 있다. 도 4의 제2 동작(motion)(420)은 제2 구간(702)에서 R 컬러 필터(704)와 G 컬러 필터(705)를 조합(combination)한 제2 색상으로 구분될 수 있다. 도 4의 제3 동작(motion)(430)은 제3 구간(703)에서 R 컬러 필터(704)와 B 컬러 필터(706)를 조합(combination)한 제3 색상으로 구분될 수 있다.
이때, 촬영 장치(100)는 각 픽셀 그룹(701, 702, 703)이 각 픽셀 그룹에 대응되는 노광 시간(701, 702, 703)에서 온되고, 나머지 노광 시간 동안에는 오프되도록 제어할 수 있다. 결과적으로, 도 4의 제1 동작(motion)(410)은 R 단일 컬러 필터(704)가 적용되어 빨강색으로 표시된다. 반면, 도 4의 제2 동작(motion)(420)은 제2 노광 시간(702)동안 100%의 R 컬러 필터(704)를 수광하고 50%의 G 컬러 필터(705)를 수광하여 주황색으로 표시된다. 또한, 도 4의 제3 동작(motion)(430)은 제3 노광 시간(703) 동안 80%의 R 컬러 필터(704)를 수광하고 100%의 B 단일 컬러 필터(706)를 수광하여 보라색으로 표시된다. 이때, 촬영 장치(100)는 RGB 컬러 필터를 조합(combination)에 따른 각 픽셀 그룹(704, 705, 706)의 노광 온/오프 빈도인 듀티 비율(duty ratio)를 제어할 수 있다.
그리고, 촬영 장치(100)는 각 구분 동작(motion)(410, 420, 430)이 색상으로 구분된 한 장의 이미지와 각 동작(motion)의 색상에 대응되는 타임바(Time Bar)를 오버레이(overlay)하여 디스플레이에 표시할 수 있다. 이를 통해, 사용자는 움직이는 피사체의 구분 동작(motion)의 시간 순서를 다양한 색상을 통해 용이하게 판단할 수 있다. 그러나, 이는 본 개시를 설명하기 위한 일 실시예일 뿐, RGB 컬러 필터를 다양한 비율로 조합(combination)하여 다양한 색상을 이용하여 본 개시를 구현할 수 있다.
도 8 및 9는, 본 개시의 일 실시예에 따른, 복수의 픽셀의 색상별 픽셀 그룹에서 픽셀 그룹의 제어를 통해 밝기 변화의 효과를 표현하는 노광 온/오프가 적용된 타이밍도이다.
도 8은 움직이는 피사체의 구분 동작(motion)이 시간 순서에 따라 점점 어두워지는 것을 설명하기 위한 타이밍도이다. 도 8을 참조하면, 도 4에 도시된 피사체의 구분 동작(motion)(410, 420, 430)은 각 구분 동작(motion)에 대응되는 노광 시간인 제1 구간 내지 제3 구간(801, 802, 803)으로 구분된다. 즉, 도 4의 제1 동작(motion)(410)은 제1 구간(801), 도 4의 제2 동작(motion)(420)은 제2 구간(802), 도 4의 제3 동작(motion)(430)은 제3 구간(803)으로 구분된다. 이때, 각각의 구분 동작(410, 420, 430)은 픽셀그룹(804, 805, 806)의 노광 시간의 길이에 따라 각각 상이한 밝기가 적용될 수 있다.
여기서, 촬영 장치(100)는 조리개 개방 시간 동안(800) 각 노광 구간(801, 802, 803)에서 RGB 컬러 필터 각각의 수광 비율을 100%로 동일하게 하여 RGB 컬러 필터를 조합(combination)할 경우, 자연색(White)의 이미지 영상을 획득할 수 있다. 그리고, 획득된 자연색(White)은 노광 시간의 길이에 따라 컬러의 강도(intensity),밝기,가 상이하게 된다. 예를 들어, 노광 시간을 1초로 설정한 장노출 구간은 밝은 자연색(White)을 생성하고, 노광 시간을 0.5초로 설정한 중노출 구간은 중간 밝기의 자연색(White)을 생성하며, 노광 시간을 0.001초로 설정한 단노출 구간은 가장 어두운 밝기의 자연색(White)을 생성한다. 그러나, 노광 시간은 본 실시예를 설명하기 위한 하나의 예일 뿐, 이에 제한되지 않고 다양하게 구현될 수 있다.
구체적으로 예를 들어, 촬영 장치(100)는 도 4의 제1 동작 내지 제3 동작(motion)(410, 420, 430)에 대응되는 노광 구간인 제1 구간 내지 제3 구간(801, 802, 803)에서 R 픽셀 그룹(804), G 픽셀 그룹(805), B 픽셀 그룹(806) 각각의 수광 비율을 100%로 동일하게 조합(combination)하여 자연색(White)으로 표현되는 이미지 영상을 획득할 수 있다. 또한, 촬영 장치(100)는 각 픽셀 그룹(804, 805, 806)이 픽셀 그룹에 대응되는 노광 구간(801, 802, 803)에서 온되고, 나머지 노광 시간 동안에는 오프되도록 제어할 수 있다. 그리고 촬영 장치(100)는 각 픽셀 그룹(804, 805, 806)이 대응되는 각 노광 구간(801, 802, 803)의 노광 시간의 길이를 상이하게 제어하여 자연색(White)의 밝기를 제어할 수 있다.
도 8을 참조하면, 도 4에 도시된 피사체의 구분 동작(motion)(410, 420, 430)은 각각 구분 동작(motion)에 대응되는 노광 시간인 제1 구간 내지 제3 구간(801, 802, 803)으로 구분된다. 제1 노광 시간인 제1 구간(801)은 제2 노광 시간인 제2 구간(802) 및 제3 노광 시간인 제3 구간(803)과 비교하여 가장 길다. 또한, 제2 구간(802)은 제3 구간(803)보다 길다. 즉, 제1 노광 시간(801)은 장노출, 제2 노광 시간(802)은 중노출, 제3 노광 시간(803)은 단노출이라고 할 수 있다.
결과적으로, 도 4의 제1 동작(motion)(410)은 장노출(801)이 적용되어 가장 밝은 자연색(White)으로 표시된다. 그리고, 도 4의 제2 동작(motion)(420)은 중노출(802)이 적용되어 중간 밝기의 자연색(White)으로 표시된다. 반면, 도 4의 제3 동작(motion)(430)은 단노출(803)이 적용되어 가장 어두운 자연색(White)으로 표시된다.
그리고, 촬영 장치(100)는 각 구분 동작(motion)(410, 420, 430)이 자연색(White)의 강도(intensity)에 따른 밝기/선명도로 구분된 한 장의 이미지와 각 동작(motion)의 밝기/선명도에 대응되는 타임바(Time Bar)를 오버레이(overlay)하여 한 장의 이미지에 표시할 수 있다. 도 8의 실시 예에 따라, 각 구분 동작(motion)(410, 420, 430)은 점점 어두운 순서대로 이미지가 디스플레이될 수 있다. 즉, 제1 동작(motion)(410)이 가장 밝게, 제2 동작(motion)(420)이 중간 밝기로, 제3 동작(motion)(430)이 가장 어둡게 디스플레이 되어, 밝기의 순서에 따라 각 동작(motion)(410, 420, 430)의 시간 순서를 알 수 있다. 그러나, 이는 본 개시를 설명하기 위한 일 실시예일 뿐, 각 그룹별 노광 시간은 다양하게 구현할 수 있다.
한편, 도 9는 움직이는 피사체의 구분 동작(motion)이 시간 순서에 따라 점점 밝아지는 것을 설명하기 위한 타이밍도이다. 도 9을 참조하면, 도 4에 도시된 피사체의 구분 동작(motion)(410, 420, 430)은 각각 구분 동작(motion)에 대응되는 노광 시간인 제1 구간 내지 제3 구간(901, 902, 903)으로 구분된다. 제1 노광 시간인 제1 구간(901)은 제2 노광 시간인 제2 구간(902) 및 제3 노광 시간인 제3 구간(903)과 비교하여 가장 짧다. 또한, 제2 구간(902)은 제3 구간(903)보다 짧다. 즉, 제1 노광 시간(901)은 단노출, 제2 노광 시간(902)은 중노출, 제3 노광 시간(903)은 장노출이라고 할 수 있다.
결과적으로, 도 4의 제1 동작(motion)(410)은 단노출(901)이 적용되어 가장 어두운 자연색(White)으로 표시된다. 그리고, 도 4의 제2 동작(motion)(420)은 중노출(902)이 적용되어 중간 밝기의 자연색(White)으로 표시된다. 반면, 도 4의 제3 동작(motion)(430)은 장노출(903)이 적용되어 가장 어두운 자연색(White)으로 표시된다.
그리고, 촬영 장치(100)는 각 구분 동작(motion)(410, 420, 430)이 자연색(White)의 강도(intensity)에 따른 밝기/선명도로 구분된 한 장의 이미지와 각 동작(motion)의 밝기/선명도에 대응되는 타임바(Time Bar)를 오버레이(overlay)하여 한 장의 이미지에 표시할 수 있다. 도 9의 실시 예에 따라, 각 구분 동작(motion)(410, 420, 430)은 점점 밝은 순서대로 이미지가 디스플레이될 수 있다. 즉, 제1 동작(motion)(410)이 가장 어둡게, 제2 동작(motion)(420)이 중간 밝기로, 제3 동작(motion)(430)이 가장 밝게 디스플레이 되어, 밝기의 순서에 따라 각 동작(motion)(410, 420, 430)의 시간 순서를 알 수 있다. 그러나, 이는 본 개시를 설명하기 위한 일 실시예일 뿐, 각 그룹별 노광 시간은 다양하게 구현할 수 있다.
또한, 각 노광 구간에는 노광을 하지 않는 오프 상태인 구간이 존재한다. 즉, 도 9를 참조하면, 제1 구간(901)과 제2 구간(902) 사이에 노광 오프 상태가 존재하고, 제2 구간(902)과 제3 구간(903) 사이에 노광 오프 상태가 존재한다. 본 발명의 일 실시예들에서, 이러한 각 노광 구간 사이에서 노광 오프 상태인 구간은 모두 존재한다. 이때, 각 구간 사이의 노광을 하지 않는 노광 오프 상태인 구간에서는, 모든 픽셀 그룹(R,G,B)을 온 또는 오프시킬 수 있다. 또한, 각 구간 사이의 노광을 하지 않는 노광 오프 상태인 구간의 길이도 가변시킬 수 있다. 이때, 길이의 가변은 전체 노광 시간에 비례한 시간 간격이나 전후의 노광 시간을 고려해서 정할 수 있다. 그러나, 이는 본 개시를 설명하기 위한 일 실시예일뿐, 이에 한정되지 아니하며, 다양한 방법을 통하여 구현될 수 있다.
도 10 및 도 11은, 본 개시의 일 실시예에 따른, 밝기 변화 효과 촬영 중 예측된 특정 이벤트에 대해 특정 색상 또는 자연색(White)으로 촬영되도록 색상별 픽셀 그룹에서 노광 온/오프가 적용된 타이밍도이다.
본 개시의 일 실시예로, 촬영 장치(100)는 움직임이 있는 피사체를 배경 이미지(sub-image)의 색상과 구분하기 위해, 조리개 개방 시간 이전에 라이브 뷰 상태에서 배경 색상을 검출할 수 있다. 이때, 촬영 장치(100)는 피사체의 색상이 검출된 배경 색상과 유사한 색상은 출력할 피사체의 동작(motion) 색상에 제외하는 과정을 포함할 수 있다. 또한, 촬영 장치(100)는 피사체의 색상과 비슷한 색상은 피사체의 구분 동작(motion)을 표현할 색상에서 제외할 수 있다.
예를 들어, 촬영 장치(100)가 잔디밭에서 야구를 하고 있는 움직이는 두 사람을 촬영하는 것을 예로 들 수 있다. 구체적으로, 촬영 장치(100)는 이미지 센서를 통해 배경화면인 잔디밭, 투수인 제1 물체, 수비수인 제2 물체, 야구 배트인 제3 물체 등을 캡쳐할 수 있다. 이때, 촬영 장치(100)는 촬영 명령이 입력되기 전에 이미지 센서를 통해 캡쳐된 라이브 뷰 영상을 분석하여 배경 화면인 잔디밭의 배경 색상을 녹색으로 검출할 수 있고, 투수 및 포수의 색상을 검출할 수 있다.
그리고, 촬영 장치(100)는 검출된 잔디밭 색상(녹색) 및 투수와 포수의 색상을 미리 지정된 설정값에 의해 투수 및 포수의 동작(motion) 구분을 나타내는 색상에서 제외시킬 수 있다. 또는, 촬영 장치(100)는 사용자의 명령에 의해 검출된 색상과 투수 및 포수의 동작(motion)을 구분하는 색상과 차이가 없도록 할 수도 있다. 즉, 도 8 및 도 9에서 상술한 바와 같이, 각 픽셀 그룹의 RGB 컬러 필터의 노광 시간을 동일하게 하여 투수 및 포수의 이미지에 자연색(white)이 출력되도록 할 수 있다.
도 8 및 도 9에서 상술한 바와 같이, RGB 각 픽셀 그룹들의 노광이 온되는 시간의 길이에 따라, 각 픽셀 그룹의 영상 강도(image intensity)가 다르게 표현될 수 있다. 이때, 노광 온 타임이 길수록 이미지는 더 밝아진다. 이를 이용하여, 각 픽셀 그룹의 노광 온 시간 길이를 제어함으로써, 투수 및 포수의 구분 동작(motion)은 자연색(white)의 영상 강도(intensity)에 따라 구분 동작(motion)의 시간 순서를 알 수 있다.
또한, 본 개시의 다른 실시예로, 촬영 장치(100)는 촬영 명령이 개시 되기 전에, 라이뷰 영상의 분석을 통하여, 피사체의 움직임에 특정 이벤트가 발생될 것을 예측할 수 있다. 이때, 촬영 장치(100)는 노광이 온되는 시간 중 노광의 시작 및 끝을 정할 수 있다. 또한, 촬영 장치(100)는 도 7에서 상술한 바와 같이 조리개 개방 시간 동안 노광의 온/오프 비율을 설정할 수 있다.
구체적으로 예를 들어, 도 4에 도시된 바와 같이, 공으로 체조를 하는 체조 선수의 움직이는 장면(410, 420, 430)을 촬영할 때, 촬영 장치(100)는 다양한 움직임 패턴들을 분석하여 미리 저장된 움직임 궤적 또는 움직임의 속도 데이터를 바탕으로, 체조 선수의 몸과 공이 분리되는 순간(430)의 이벤트 시간을 예측할 수 있다. 이때, 촬영 장치는(100) 체조 선수의 몸과 공이 분리되는 순간의 이벤트(430)가 예측되면, 체조 선수의 움직임을 구분하는 다른 동작(motion)(410, 420)과 예측된 순간의 동작(motion)(430)의 RGB 픽셀 그룹의 노광 온/오프 시간을 다르게 제어할 수 있다.
본 개시의 실시예에 따른 도 10 및 도 11을 참조하여 구체적으로 설명하기로 한다. 도 10을 참조하면, 도 4의 제1 동작(motion)(410)은 R 단일 컬러 필터(1050)로 제1 노광 시간인 제1 구간(1010), 제2 동작(motion)(420)은 R 컬러 필터(1050) 및 G 컬러 필터(1060)의 조합(combination) 컬러 필터로 제2 노광 시간인 제2 구간(1020), 제3 동작(motion)(430)은 RGB 조합(combination) 컬러 필터(1050, 1060, 1070)로 제3 노광 시간인 제3 구간(1030)으로 구분될 수 있다.
이때, 특정 이벤트가 예측되는 제3 동작(motion)(430)에 대응되는 제3 구간(1030)은, RGB 컬러 필터에 의한 색상으로 구분되는 제1 구간(1010) 및 제2 구간(1020)과 다르게, RGB 전체 컬러 필터를 동일한 시간으로 노광을 온/오프하도록 제어할 수 있다. 즉, 촬영 장치(100)는 도 4의 제1 동작(motion)(410)은 빨강색, 제2 동작(motion)(420)은 주황색, 제3 동작(motion)(430)은 자연색(white)으로 표현된 한 장의 영상을 얻을 수 있다.
본 개시의 다른 일 실시예로, 도 11을 참조하면, 촬영 장치(100)는 미리 지정된 설정 또는 사용자 설정에 따라, 피사체의 움직임이 시작되는 순간의 이벤트 및 피사체의 움직이는 끝나는 순간의 이벤트를 중요 이벤트 순간으로 설정할 수도 있다. 이때, 촬영 장치(100)는 촬영 명령이 개시되기 전, 라이브 뷰 영상의 분석을 통해 피사체의 움직임의 시작과 끝을 예측할 수 있다.
구체적으로 예를 들어, 도 11에 도시된 바와 같이, 도 4의 체조 선수의 움직임이 시작되는 순간의 이벤트인 제1 동작(motion)(410) 및 공이 체조 선수의 몸과 분리되는 순간의 이벤트인 제3 동작(motion)(430)을 특정 이벤트로 판단될 수 있다. 이때, 도 4의 제1 동작(motion)(410)은 제1 구간(1110), 제2 동작(motion)(420)은 제2 구간(1120), 제3 동작(motion)(430)은 제3 구간(1130)으로 구분될 수 있다.
그리고, 중요 이벤트 순간인 제1 구간(1110) 및 제3 구간(1130)은 RGB 픽셀 그룹 전체를 동일한 시간 동안 온하여, 체조 선수의 구분 동작(motion)이 자연색(white)으로 표현되게 구현할 수 있다. 이때, 촬영 장치(100)는 제3 구간(1130)의 노광 시간이 제1 구간(1110)보다 길게 제어할 수 있다. 즉, 특정 이벤트가 끝나는 순간(430)이 특정 이벤트가 시작되는 순간(410)보다 영상의 선명도가 더 높게 표현될 수 있다.
또한, 촬영 장치(100)는 중요 이벤트 순간이 아닌 다른 움직임을 구분하는 동작(motion)(420)에서는 RGB 컬러 필터에 따른 색상으로 노광 시간을 구분하여 특정 색상을 특정 구분 동작에 적용할 수 있다. 도 4의 제2 동작(motion)은 제2 구간(1020)에서 G 단일 픽셀 그룹이 적용되어 녹색으로 표현될 수 있다.
그러나, 도 10 및 도 11의 실시예들은, 본 개시를 설명하기 위한 일 실시예들일뿐, 본 개시는 이에 한정되지 아니하며, 촬영 장치(100)는 다양한 방법 및 기술에 의해 노광 시간 길이 및 RGB 필터 픽셀의 제어하여 본 개시를 통한 이미지를 획득할 수 있다.
도 12는, 본 개시의 일 실시예에 따른, 복수의 픽셀의 영역별 컬러 필터에 따른 픽셀 그룹을 설명하기 위해 도시한 도면이다. 도 12를 참조하면, 8x8 베이어 픽셀(Bayer Pixel)에서, 움직이는 피사체가 차지하는 제1 영역은 행렬위치 (2,2), (3,1), (3,2), (3,3), (4,1), (4,2), (4,3), (5,1), (5,2), (5,3), (6,1), (6,2), (6,3)의 영역이다. 또한, 제2 영역에서 움직이는 피사체가 차지하는 영역은 행렬위치 (2,7), (3,6), (3,7), (3,8), (4,6), (4,7), (4,8), (5,6), (5,7), (6,6), (6,7)의 영역이다. 촬영 장치(100)는 제1 영역 및 제2 영역에 대해서 피사체의 픽셀 그룹을 구분할 수 있다. 즉, 제1 영역 및 제2 영역에서 움직이는 피사체들의 각각의 동작(motion)에 따라 픽셀 그룹이 구분될 수 있다.
예를 들어, 제1 영역의 제1 픽셀 그룹(1201-1) 내지 제3 픽셀 그룹(1203-1), 제2 영역의 제1 픽셀 그룹(1201) 내지 제3 픽셀 그룹(1203). 또한, 제 1 영역 및 제2 영역에서 동일한 시간에 움직이는 피사체들에 따라 픽셀 그룹이 구분 될 수도 있다. 예를 들어, 제1 픽셀 그룹(1201, 1201-1), 제2 픽셀 그룹(1202, 1202-1), 제3 픽셀 그룹(1203, 1203-1). 또한, 촬영 장치(100)는 구분된 각 픽셀 그룹에 따라 컬러 필터의 조합 및 노광 온/오프를 상이하게 적용하여, 각 픽셀 그룹에 해당하는 동작(motion)에서 상이한 색상 및 이미지 강도(intensity)인 밝기가 표현되도록 제어할 수 있다.
도 13a 및 도 14b는, 본 개시의 일 실시예에 따른, 영역별 컬러필터의 픽셀 그룹에서 각 영역에 따라 상이한 색상 또는 밝기가 나타나도록 노광 온/오프가 적용된 타이밍도이다.
본 개시의 일 실시예로, 도 13a는 도 12의 제1 영역의 픽셀 그룹들에 속하는 피사체의 구분 동작(motion)들을 자연색(white)으로 표현하기 위한 타이밍도이다. 도 13a를 참조하면, 도 12의 제1 움직임(1201-1)은 제1 움직임(1201-1)에 대응되는 제1 노광 시간인 제1 구간(1310), 도 12의 제2 움직임(1202-1)는 제2 움직임(1202-1)에 대응되는 제2 노광 시간인 제2 구간(1320), 도 12의 제3 움직임(1203-1)은 제3 움직임(1203-1)에 대응되는 제3 노광 시간인 제3 구간(1330)으로 구분될 수 있다.
그리고, 각 구분동작은 노광 시간(1310 내지 1330)에 움직임이 자연색(white)으로 표현되도록 각 RGB픽셀 그룹 전체(1301, 1302, 1303)를 노광하도록 제어하고, 각 RGB 픽셀 그룹 (1301, 1302, 1303)의 노광 시간(1310, 1320, 1330)을 동일하게 제어할 수 있다. 또한, 각 RGB 픽셀 그룹별(1301, 1302, 1303)로 노광 시간을 다르게 제어하여(장노출, 중노출, 단노출), 도 12의 구분 동작들(motion)(1201-1 내지 1201-3)의 영상의 강도(intensity)인 밝기가 다르게 표현되도록 구현할 수 있다.
본 개시의 일 실시예로, 도 13b는 도 12의 제2 영역의 픽셀 그룹들에 속하는 피사체의 구분 동작들을 서로 상이한 색으로 표현하기 위한 타이밍도이다. 도 13b를 참조하면, 도 12의 제1 움직임(1201)은 제1 움직임(1201)에 대응되는 제1 노광 시간인 제1 구간(1340), 도 12의 제2 움직임(1201)은 제2 움직임(1202)에 대응되는 제2 노광 시간인 제2 구간(1350), 도 12의 제3 움직임(1203)은 제3 움직임(1203)에 대응되는 제3 노광시간인 제3 구간(1360)으로 구분될 수 있다.
그리고, 각 노광 구간(1340 내지 1360)은 움직임이 상이한 색상으로 표현되도록 각 픽셀 그룹에 대응되는 노광 시간 동안(1340 내지 1360) RGB 단일 컬러 필터(1301, 1302, 1303)를 노광하도록 제어할 수 있다. 즉, 도 12의 제1 움직임(1201)은 제1 노광 시간(1340) 동안 R 단일 컬러 필터(1301)를 수광하여 빨강, 제2 움직임(1202)은 제2 노광 시간(1350) 동안 G 단일 컬러 필터(1302)를 수광하여 녹색, 제3 움직임(1203)은 제3 노광 시간(1360) 동안 B 단일 컬러 필터(1303)를 수광하여 파랑색으로 표현된 영상을 얻을 수 있다. 또한, 각 픽셀 그룹별로 RGB 노광 시간의 길이를 다르게 제어하여(장노출, 중노출, 단노출) 도 12의 구분 동작들(1201 내지 1201)의 영상의 강도(intensity)가 다르게 표현되도록 구현할 수 있다.
따라서, 도 13a 및 도 13b에 따른 본 개시의 실시예들을 통해, 촬영 장치(100)는 하나의 영상에서 서로 다른 피사체의 움직임이 차지하는 픽셀의 면적에 따라 픽셀 그룹이 구분되도록 제어할 수 있다. 또한, 촬영 장치(100)는 노광 시간 및 영역별 RGB 컬러 필터에 따라 서로 다른 피사체들의 동작(motion)을 구분하도록 색상 및 영상 강도(intensity) 조절을 할 수 있다. 그러나, 상술한 실시 예들은 본 개시를 설명하기 위한 일 실시예들로서, 본 개시는 이에 한정되지 아니하며 다양한 방법과 기술로 확장 적용될 수 있다.
도 14a는 본 개시의 일 실시예로, 도 12의 제1 영역 및 제2 영역에서 동 시간대에 움직이는 피사체의 동작(motion)에 따라 픽셀 그룹이 구분되고, 피사체의 구분 동작(motion)들을 상이한 색으로 표현하기 위한 타이밍도이다. 도 14a를 참조하면, 도 12의 제1 움직임(1201, 1201-1)은 제1 노광 구간(1410), 도 12의 제2 움직임(1202, 1202-1)은 제2 노광 구간(1420), 도 12의 제3 움직임(1203, 1203-1)은 제3 노광 구간(1430)으로 구분될 수 있다.
그리고, 각 노광 구간(1410 내지 1430)은 움직임이 상이한 색상으로 표현되도록 각 픽셀 그룹에 대응되는 노광 시간 동안(1340 내지 1360) RGB 단일 컬러 필터(1401, 1402, 1403)를 노광하도록 제어할 수 있다. 즉, 도 12의 제1 움직임(1201, 1201-1)은 제1 노광 시간(1410) 동안 R 단일 컬러 필터(1401)를 수광하여 빨강, 제2 움직임(1202, 1202-1)은 제2 노광 시간(1420) 동안 G 단일 컬러 필터(1402)를 수광하여 녹색, 제3 움직임(1203, 1203-1)은 제3 노광 시간(1430) 동안 B 단일 컬러 필터(1403)를 수광하여 파랑색으로 표현된 영상을 얻을 수 있다.
또한, 촬영 장치(100)는 각 구분 동작에 대응되는 노광 구간에서 RGB 컬러 필터를 조합(combination)하여 다양한 색상으로 피사체의 구분 동작(motion)을 표현할 수 있다. 그리고, 촬영 장치(100)는 각 픽셀 그룹별로 RGB 노광 시간의 길이를 다르게 제어하여(장노출, 중노출, 단노출) 도 12의 구분 동작(motion)들의 영상의 강도(intensity)가 다르게 표현되도록 구현할 수도 있다.
본 개시의 다른 일 실시예로, 도 14b는 도 12의 제1 영역 및 제2 영역에서 동 시간대에 움직이는 피사체의 동작(motion)에 따라 픽셀 그룹이 구분되고, 피사체의 구분 동작(motion)들을 자연색(white)으로 표현하기 위한 타이밍도이다. 도 14b를 참조하면, 피사체의 구분 동작(motion)들은 시간 순서에 따라 점점 영상의 밝기가 점점 어두워지도록 구현된 일 실시예이다. 그러나, 이는 본 개시를 설명하기 위한 일 실시예일 뿐, 피사체의 구분 동작(motion)들이 시간 순서에 따라 점점 영상의 밝기가 점점 밝아지도록 구현될 수도 있다.
도 14b에 도시된 바와 같이, 도 12의 제1 움직임(1201, 1201-1)은 제1 픽셀 그룹(1440), 도 12의 제2 움직임(1202, 1202-2)는 제2 픽셀 그룹(1450), 도 12의 제3 움직임(1203,1203-3)은 제3 픽셀 그룹(1460)으로 구분될 수 있다. 그리고, 각 픽셀 그룹(1440 내지 1460)은 움직임이 자연색(white)으로 표현되도록 조리개 개방 시간(1400)동안 각 픽셀 그룹을 전체 RGB(1440, 1450, 1460)를 노광하도록 제어하고, 각 픽셀 그룹의 노광 시간(1470, 1480, 1490)을 동일하게 제어할 수 있다. 또한, 각 픽셀 그룹별로 RGB 노광 시간을 다르게 제어하여(장노출, 중노출, 단노출) 도 12의 구분 동작(motion)들(1201-1 내지 1203-1)의 영상의 밝기가 다르게 표현되도록 구현할 수 있다.
따라서, 도 14a 및 도 14b에 따른 본 개시의 실시예들을 통해, 촬영 장치(100)는 하나의 영상에서 서로 다른 피사체가 동시간대에 발생하는 움직임이 차지하는 픽셀의 면적에 따라 픽셀 그룹이 구분되도록 제어할 수 있다. 또한, 촬영 장치(100)는 노광 시간 및 영역별 RGB 컬러 필터에 따라 서로 다른 시간대에서 피사체들의 동작(motion)을 구분하도록 색상 및 영상의 밝기조절을 할 수 있다. 그러나, 상술한 실시 예들은 본 개시를 설명하기 위한 일 실시예들로서, 본 개시는 이에 한정되지 아니하며 다양한 방법과 기술로 확장 적용될 수 있다.
도 15 내지 도 16b는, 본 개시의 일 실시예에 따른, 움직임이 빠르거나 움직임의 양이 많은 피사체의 픽셀 그룹에서 노광 온/오프가 적용된 타이밍도이다. 촬영 장치(100)는 미리 저장된 다른 피사체들의 움직임 속도 및 궤적에 따른 움직임 분석 데이터를 통해 촬영하고자 하는 피사체의 움직임의 속도 및 움직임의 양을 분석할 수 있다. 그룹(1550)으로 구분될 수 있다. 빠른 동작(motion)은 예를 들어, 다이빙하는 동작(motion), 체조 경기에서 공중 회전하는 동작(motion) 등 다양한 동작(motion)들일 수 있다.
이때, 촬영 장치(100)는 라이브 뷰 영상의 움직임 데이터를 분석할 수 있다. 그리고, 촬영 장치(100)는 분석된 피사체의 속도가 빠르거나 움직임의 횟수가 많은 경우, 조리개 개방 시간 동안 센서의 픽셀 그룹별 온/오프 제어 횟수를 더 많게 할 수 있다. 이를 통해, 촬영 장치(100)는 일정한 조리개 개방 시간 동안 캡쳐되는 동작들이 다수의 촘촘한 구분 동작으로 표현되도록 구현할 수 있다.
도 15는 조리개 개방 시간(1500) 동안, 빠르게 동작하는 피사체(예를 들어, 제1 동작, 제2 동작, 제3 동작, 제4 동작, 제5 동작)(미도시)의 구분 동작을 상이한 색상으로 표현할 수 있도록 적용된 타이밍도이다. 도 15를 참조하면, 제1 동작(미도시)은 제1 동작에 대응되는 제1 노광 구간(1510), 제2 동작은 제2 노광 구간(1520), 제3 동작은 제3 노광 구간(1530), 제4 동작은 제4 노광 구간(1540), 제5 동작은 제5 노광 구간(1550)으로 구분될 수 있다. 이때, 각각의 노광 구간(1510 내지 1550)은 색상에 따른 컬러 필터로 구분될 수 있고, 각각의 구분 동작은 RGB 컬러 필터를 조합(combination)하여 얻은 조합(combination) 컬러 필터로 다양한 색상으로 구분될 수 있다. 즉, 촬영 장치(100)는 각 구분 동작에 대응되는 노광 구간에서 적용된 픽셀 그룹의 컬러 필터 조합(combination)을 통해 한 장의 이미지에 구분 동작별로 상이한 색상을 표현할 수 있다.
구체적으로 예를 들어, 제1 동작(미도시)은 제1 구간(1510)에서 R 컬러 필터(1560)이 적용된 제1 색상으로 구분될 수 있다. 제2 동작(미도시)은 제2 구간(1520)에서 R 컬러 필터(1560)와 G 컬러 필터(1570)를 조합(combination)한 제2 색상으로 구분될 수 있다. 제3 동작(미도시)은 제3 구간(1530)에서 R 컬러 필터(1560)와 B 컬러 필터(1580)를 조합(combination)한 제3 색상으로 구분될 수 있다. 제4 동작(미도시)은 제4 구간(1540)에서 G 컬러 필터(1570)가 적용된 제4 색상으로 구분될 수 있다. 제5 동작(미도시)는 제5 구간(1550)에서 B 컬러 필터(1580)이 적용된 제5 색상으로 구분될 수 있다.
이때, 촬영 장치(100)는 각 구분 동작(미도시)이 각 구분 동작(미도시)에 대응되는 노광 시간(1510 내지 1550)에서 온되고, 나머지 노광 시간 동안에는 오프되도록 제어할 수 있다. 결과적으로, 제1 동작(미도시)은 R 단일 컬러 필터(1560)가 적용되어 빨강색으로 표시된다. 제2 동작(미도시)은 제2 노광 시간(1520)동안 100%의 R 컬러 필터(1560)를 수광하고 50%의 G 컬러 필터(1570)를 수광하여 주황색으로 표시된다. 또한, 제3 동작(미도시)은 제3 노광 시간(1530) 동안 80%의 R 컬러 필터(1560)를 수광하고 100%의 B 단일 컬러 필터(1580)를 수광하여 보라색으로 표시된다. 이때, 촬영 장치(100)는 RGB 컬러 필터를 조합(combination)에 따른 각 픽셀 그룹의 노광 온/오프 빈도(duty ratio)를 제어할 수 있다. 그리고, 제4 동작(미도시)는 제4 노광 시간(1540) 동안 G 단일 컬러 필터(1570)가 적용되어 녹색으로 표시된다. 마지막으로, 제5 동작(미도시)는 제5 노광 시간(1550) 동안 B 단일 컬러 필터(1580)이 적용되어 파랑색으로 표시될 수 있다.
그리고, 촬영 장치(100)는 각 구분 동작이 각 구분 동작에 대응되는 픽셀 그룹의 제어에 따른 색상으로 동작의 시간 순서를 알 수 있는한 장의 이미지와 각 동작의 색상에 대응되는 타임바를 오버레이(overlay)하여 표시할 수 있다. 이를 통해, 사용자는 움직이는 피사체의 구분 동작의 시간 순서를 다양한 색상을 통해 용이하게 판단할 수 있다. 그러나, 이는 본 개시를 설명하기 위한 일 실시예일 뿐, RGB 컬러 필터를 다양한 비율로 조합(combination)하여 다양한 색상을 이용하여 본 개시를 구현할 수 있다.
도 16a 및 도 16b는, 본 개시의 일 실시예에 따른, 조리개 개방 시간(1600) 동안, 빠르게 동작하는 피사체(예를 들어, 제1 동작, 제2 동작, 제3 동작, 제4 동작, 제5 동작)(미도시)의 구분 동작을 자연색(white)으로 표현하는 타이밍도이다. 이때, 촬영 장치(100)는 각 픽셀 그룹의 노광 시간의 길이를 다르게 적용하여, 각 픽셀 그룹에 대응하는 동작에 대한 영상의 밝기를 상이할 수 있다. 따라서, 촬영 장치(100)는 시간 순서에 따른 구분 동작의 밝기를 표현할 수 있다.
도 16a는 움직이는 피사체의 구분 동작이 시간 순서에 따라 점점 밝아지는 것을 설명하기 위한 타이밍도이다. 즉, 점점 밝아지는 것은 피사체의 구분 동작이 시간 순서에 따라 영상의 선명도가 강해지는 것을 의미한다. 도 16a를 참조하면, 제1 동작은 제1 노광 구간(1610), 제2 동작은 제2 노광 구간(1620), 제3 동작은 제3 노광 구간(1630), 제4 동작은 제4 노광 구간(1640), 제5 동작은 제5 노광 구간(1650)으로 구분될 수 있다.
그리고, 피사체의 구분 동작(제1 동작 내지 제5 동작)(미도시)은 각 구분 동작에 대응되는 노광 구간(1610 내지 1650)에서 적용되는 픽셀 그룹의 노광 온/오프 제어를 통해, 각 구분 동작에 적용되는 밝기를 구분할 수 있다. 이때, 각각의 노광 구간(1610 내지 1650)에 대응되는 각 구분 동작(motion)은 RGB 컬러 필터(1660, 1670, 1680)가 동일하게 조합(combination)되어 자연색(white)으로 표현될 수 있다.
이때, 각 픽셀 그룹별 노광 시간의 길이는 제1 노광 시간(1610)이 가장 짧고, 제5 노광 시간(1650)이 가장 길다. 도 16a에 도시된 바와 같이, 제1 노광 구간(1610)에 대응되는 제1 동작(motion)에서 제5 노광 구간(1650)에 대응되는 제5 동작(motion)으로 갈수록 노광 시간의 길이는 점점 길어진다.
즉, 제1 노광 시간(1610)은 단노출, 제5 노광 시간(1650)은 장노출이라고 할 수 있고, 제2 노광 시간 내지 제4 노광 시간(1620 내지 1640)은 단노출보다 길고, 장노출보다 짧은 노광 시간으로 지정된 노광 시간에 따른 값일 수 있거나, 사용자 설정에 의한 값일 수 있다. 결과적으로, 제1 동작(미도시)는 단노출(1610)이 적용되어 밝기가 가장 어두운, 즉 영상의 강도(intensity)가 낮은, 자연색(white)으로 표시된다. 그리고, 제5 동작(미도시)은 장노출(1650)이 적용되어 밝기가 가장 밝은, 즉 영상의 강도(intensity)가 높은, 자연색(white)으로 표시된다.
그리고, 촬영 장치(100)는 각 구분 동작들(미도시)이 자연색(white)의 밝기에 따라 구분된 한 장의 이미지와 각 동작의 구분 영상이 강도(intensity)에 따른 밝기에 대응되는 타임바를 오버레이하여 한 장의 이미지에 표시할 수 있다. 도 16a의 실시 예에 따라, 각 구분 동작(미도시)은 점점 밝은 순서대로 이미지가 디스플레이될 수 있다. 즉, 각 구분 동작(미도시)은 각 픽셀 그룹에 대응되는 자연색(white)의 밝기가 적용되어 타임바에 표시된 밝기의 순서에 따라 각 동작(미도시)의 시간 순서를 알 수 있다. 그러나, 이는 본 개시를 설명하기 위한 일 실시예일 뿐, 각 픽셀 그룹별 노광 시간은 다양하게 구현할 수 있다.
도 16b는 움직이는 피사체의 구분 동작이 시간 순서에 따라 점점 어두워지는 것을 설명하기 위한 타이밍도이다. 즉, 점점 어두워지는 것은 피사체의 구분 동작이 시간 순서에 따라 영상의 선명도가 약해지는 것을 의미한다. 도 16b를 참조하면, 제1 동작(미도시)은 제1 노광 구간(1610), 제2 동작(미도시)은 제2 노광 구간(1620), 제3 동작(미도시)은 제3 노광 구간(1630), 제4 동작(미도시)은 제4 노광 구간(1640), 제5 동작(미도시)은 제5 노광 구간(1650)으로 구분될 수 있다.
그리고, 피사체의 구분 동작(제1 동작 내지 제5 동작)(미도시)은 각각 노광 구간(1610 내지 1650)에서 적용되는 컬러 필터의 조합(combination)으로 구분될 수 있다. 각각의 구분 동작(미도시)는 각 RGB 픽셀 그룹(1660, 1670, 1680)의 컬러 필터가 동일하게 조합(combination)되어 자연색(white)으로 표현될 수 있다.
이때, 각 픽셀 그룹별 노광 시간의 길이는 제1 노광 시간(1610)이 가장 길고, 제5 노광 시간(1650)이 가장 짧다. 도 16b에 도시된 바와 같이, 제1 동작(미도시)에 대응되는 제1 노광 구간(1610)에서 제5 동작(미도시)에 대응되는 제5 노광 구간(1650)으로 갈수록 노광 시간의 길이는 점점 짧아진다.
즉, 제1 노광 시간(1610)은 장노출, 제5 노광 시간(1650)은 단노출이라고 할 수 있고, 제2 노광 시간 내지 제4 노광 시간(1620 내지 1640)은 장노출보다 짧고, 단노출보다 긴 노광 시간일 수 있다. 각 픽셀 그룹별 노광 시간은 지정된 노광 시간에 따른 값일 수 있거나, 사용자 설정에 의한 값일 수 있다. 결과적으로, 제1 동작(미도시)는 장노출(1610)이 적용되어 가장 밝은, 즉 영상의 강도(intensity)가 높은, 자연색(white)으로 표시된다. 그리고, 제5 동작(미도시)은 단노출(1650)이 적용되어 가장 어두운, 즉 영상의 강도(intensity)가 낮은, 자연색(white)으로 표시된다.
그리고, 촬영 장치(100)는 각 구분 동작들(미도시)이 자연색(white)의 강도(intensity)에 따라 구분된 한 장의 이미지와 각 동작의 구분 영상이 강도(intensity)에 따른 밝기에 대응되는 타임바를 오버레이하여 한 장의 이미지에 표시할 수 있다. 도 16b의 실시 예에 따라, 각 구분 동작(미도시)은 점점 어두운 순서대로 이미지가 디스플레이될 수 있다. 즉, 각 구분 동작(미도시)은 각 픽셀 그룹에 대응되는 자연색(white)의 밝기가 적용되어 타임바에 표시된 밝기의 순서에 따라 각 동작(미도시)의 시간 순서를 알 수 있다. 그러나, 이는 본 개시를 설명하기 위한 일 실시예일 뿐, 각 그룹별 노광 시간은 다양하게 구현할 수 있다.
또한, 본 개시에서는, 도 15 내지 도 16b를 통해 움직임이 빠른 동작의 구분 동작에 따른 픽셀 그룹을 다섯 가지로 한정하였으나, 이는 본 개시를 설명하기 위한 일 실시예들일 뿐, 본 개시는 이에 한정되지 않는다. 촬영 장치(100)는 움직임이 빠르고 동작이 많은 피사체의 동작을 촬영할 때, 조리개 개방 시간 동안 획득된 수만큼의 픽셀 그룹에 따른 구분 동작 이미지를 획득할 수 있다.
본 개시의 다른 실시예로, 사용자가 움직이는 피사체의 구분 동작의 색상별 픽셀 그룹을 무지개 색상 프로파일로 선택할 경우, 피사체의 첫번째 동작은 빨강생, 마지막 구분 동작은 보라색으로 표현될 수 있다. 이때, 촬영 장치(100)는 RGB 컬러 필터의 수광 비율을 제어하고 이에 따른 노광 시간 동안 노광 온/오프 빈도인 듀티 비율(duty ratio)을 제어하여 다양한 색상을 표현할 수 있다.
또한, 본 개시의 다른 실시예로, 사용자가 움직이는 피사체의 구분 동작의 색상을 자연색(white)으로 선택하고, 점점 밝게 또는 점점 어둡게 등의 설정을 선택할 수 있다. 이때, 촬영 장치(100)는 사용자의 선택에 따라 각 구분 동작의 상이한 선명도를 노광 시간의 길이를 제어함으로써 표현할 수 있다.
그리고, 본 개시의 일 실시예로, 피사체의 움직임이 느리거나 동작 횟수가 적은 동작에 따른 픽셀 그룹이 예시는 상술한 도 14를 통해 이해될 수 있다. 즉, 피사체의 움직임이 느리거나 동작 횟수가 적을 때, 획득되는 영상에는 구분 동작의 수가 적을 수 있다.
또한, 본 개시의 일 실시예에 따라, 촬영 장치(100)는 다중 프레임으로 촬영이 불가능한 피사체의 아주 빠른 동작의 촬영도 가능하다. 즉, 다중 프레임 촬영의 경우, 하나의 영상을 촬영한 후, 다음 영상을 촬영하는데 소요되는 시간이 존재한다. 따라서, 촬영 장치(100)의 다중 프레임 촬영 기능에서 영상 간 소용되는 시간보다 짧은 빠른 속도의 동작의 연속 촬영은 불가능하다.
그러나, 본 개시의 일 실시예에 따른 촬영 장치(100)는, 한 번의 조리개 개방 시간 동안 센서의 픽셀 그룹별 노광 온/오프 제어를 함으로써, 다중 프레임 촬영에서 불가능한 빠른 속도의 움직이는 피사체의 구분 동작을 획득할 수 있다. 또한, 촬영 장치(100)는 획득된 영상에서 구분 동작의 시간 순서에 따라 상이하게 적용되는 색상 및 영상의 선명도를 통해, 움직임이 빠른 피사체의 동작의 순서를 용이하게 알 수 있다.
또한, 본 개시의 다른 실시예로, 상술한 실시예들에 따라 하나의 이미지로 획득한 움직이는 물체의 구분된 동작 영상에서, 유사한 색상을 지닌 구분 동작 이미지들을 필터링할 수 있다. 이때, 필터링된 스틸 영상들의 각 프레임을 시간적으로 렌더링함으로써 동영상 효과(예, GIF 파일 포맷)도 생성할 수 있다.
도 17a 내지 도18은, 본 개시의 일 실시예에 따른, 촬영 장치에서 사용자 명령을 설명하기 위한 사용자 인터페이스를 도시한 도면이다.
도 17a 내지 도 17c는, 촬영 장치(100)에서 사용자가 다중 촬영 모드 명령을 선택하는 것을 설명하기 위해 도시한 도면이다.
도 17a는 촬영 모드를 선택할 수 있는 메뉴(1710 내지 1750)가 촬영 장치(100)의 디스플레이부(1700)에 디스플레이되는 것을 도시한 도면이다. 도 17a를 참조하면, 사용자는 화면의 메뉴를 터치, 스타일러스 펜, 버튼, 커서, 휠, 버튼, 바의 이동 등 다양한 방법을 통해 메뉴를 선택할 수 있다.
사용자가 다중 노출 촬영 모드(1720)를 선택하면, 메뉴 상에 해제(1730), 사용자 설정(1740), 연속촬영(1750)등의 기능이 디스플레이될 수 있다. 해제(1730)는 다중 노출 촬영 모드를 사용하지 않는 기능일 수 있다. 설정(1740)은 사용자에 의해 센서의 픽셀 그룹별 색상을 선택하는 기능일 수 있다. 이때, 색상은 배경색 등과 차이가 없는 자연색(white)일 수 있고, 배경색 등과 차이가 있는 특정 색상 프로파일일 수 있다. 또한, 설정(1740)은 촬영 장치(100)내에 지정된 디폴트 설정값이 적용되도록 하는 기본 설정일 수도 있다.
연속촬영(1750)은 피사체의 움직임이 예측 가능하거나, 움직임의 속도가 빠르거나, 움직임의 횟수가 많은 영상을 촬영하고자 할 때 적용되는 기능일 수 있다. 그러나, 연속 촬영(1750) 기능은 사용자에 의해 설정될 수도 있고, 촬영 장치(100)내에 지정된 기능으로 라이브 뷰의 동작 분석을 통해 자동으로 동작을 추천할 수도 있다. 그러나, 상술한 예시들은 본 개시를 설명하기 위한 일 실시예일 뿐, 본 개시는 이에 제한되지 않고 다양한 방법으로 구현될 수 있다.
도 17b는 다중 촬영 모드(1770)를 선택할 수 있는 메뉴가 촬영 장치(100)의 외부에 탑재된 것을 도시한 도면이다. 도 17b를 참조하면, 촬영 장치(100)는 촬영 모드(1760 내지 1780)를 선택할 수 있는 버튼 또는 바 등을 포함할 수 있다. 이때, 본 개시의 일 실시예에 따른 버튼 또는 바(bar)는, 촬영 장치(100)의 측면에 있을 수도 있고, 전면부 또는 후면부에 있을 수도 있다. 또한, 버튼 또는 바는 클릭에 의해 선택될 수도 있고, 휠 형식에 의해 제어될 수도 있다. 그러나, 상술한 예시들은 본 개시를 설명하기 위한 일 실시예일 뿐, 본 개시는 이에 제한되지 않고 다양한 방법으로 구현될 수 있다.
도 17c는 촬영 장치(100)가 라이브 뷰에서 피사체의 움직임 속도 및 궤적을 분석하여 다중 촬영 모드를 추천할 수 있는 기능을 도시한 도면이다. 촬영 장치(100)는 다양한 동작들의 속도 및 궤적의 분석을 통해 예측 가능한 동작의 시간 및 방향 등에 대한 정보를 바탕으로, 라이브 뷰에서 피사체의 동작을 분석하여 자동으로 다중 촬영 모드 촬영을 추천할 수도 있다. 도 17c를 참조하면, 디스플레이부(1790)는 라이브 뷰 화면에서 피사체의 움직임에 대한 분석을 마친 후, 사용자에게 팝업 메뉴(1793)을 통해 다중 노출 모드 촬영을 할 것인지 추천할 수 있다. 이때, 사용자는 촬영 중 팝업 메뉴(1793)을 확인할 수 있고, 다중 노출 촬영을 진행할 것인지(Y)(1795), 다중 노출 촬영을 하지 않을 것인지(N)(1795)를 선택할 수 있다. 촬영 장치(100)는 사용자의 선택에 따른 명령을 바탕으로 촬영을 진행할 수 있다.
도 18은 촬영 장치(100)에서 다중 노출 촬영 모드(1810)가 선택되고, 사용자가 설정(1830)을 선택할 경우, 설정할 내용을 상세히 설명하기 위해 도시한 도면이다. 도 18을 참조하면, 색상(1850)의 설정은 촬영 장치(100)에 내장된 정보에 의한 디폴트 값이 적용되는 기본 설정(1853) 및 사용자가 직접 색상 프로파일을 선택할 수 있는 사용자 설정(1855)가 있을 수 있다.
이때, 사용자 설정(1855)에서 촬영 장치(100)에 내장된 색상 프로파일 리스트(미도시)가 디스플레이될 수 있다. 또한, 사용자가 색상 프로파일 리스트(미도시) 중 색상을 조합하여 새로운 색상 프로파일(미도시)을 생성할 수도 있다. 사용자는 디스플레이된 색상 프로파일 리스트(미도시)에서 구분된 동작에 적용될 색상의 종류를 선택할 수 있다. 또한, 획득된 구분된 동작의 이미지 개수보다 사용자가 선택한 색상 프로파일 개수가 적을 때, 촬영 장치(100)는 선택된 색상과 유사한 색상으로 이미지를 표현할 수 있다.
또한, 사용자가 구분된 동작 및 특정 이벤트에 특정 색상 프로파일이 아닌 자연색(white)을 적용하고 싶을 때, 밝기(1860)를 선택할 수 있다. 밝기(1860)는 촬영 장치(100)에 내장된 정보에 의해 디폴트 값이 적용될 수 있는 기본 설정(1863) 및 사용자가 밝기의 밝기를 설정할 수 있는 사용자 설정(1865)가 포함될 수 있다. 또한 사용자 설정(1865)은 촬영된 움직이는 물체의 구분된 동작을 시간 순서에 따라 점점 밝게(1867) 또는 점점 어둡게(1869) 표현되도록 설정할 수 있다.
본 개시의 다른 일 실시예로, 사용자는 라이브 뷰 화면에서 촬영 도중 색상 프로파일 및 밝기를 선택할 수도 있다. 또한, 사용자는 라이브 뷰 화면에서 서로 상이한 두 피사체의 각각의 구분동작에 적용되는 색상 또는 밝기를 촬영 전 또는 촬영 도중에 선택할 수도 있다.
구체적으로 예를 들어, 야구 경기의 한 장면을 촬영하고자 할 때, 라이브 뷰 화면에서 공을 던지는 피사체 A의 구분 동작(motion) B와, 배트로 공을 맞추는 피사체 C의 구분 동작(motion) D를 포함할 수 있다. 이때, 사용자는 촬영 전 또는 촬영 도중에 라이브 뷰 스크린(미도시) 또는 전자 장치(100)의 버튼 등을 통해 설정 메뉴를 선택하고, 구분 동작(motion) B는 사용자 지정 색상 프로파일이 적용되고, 구분 동작(motion) D는 사용자 지정 밝기가 적용되도록 할 수 있다.
그러나, 도 17a 내지 18에서 예시한 실시예들은, 본 개시를 설명하기 위한 일 실시예일 뿐, 본 개시는 이에 한정되지 않는다. 또한, 촬영 장치(100)는 다양한 유저 인터페이스의 구현에 의해 본 개시를 적용할 수 있다.
도 19는, 본 개시의 일 실시예에 따른, 색상별 픽셀 그룹에 따라 노광 온/오프가 적용된 이미지 및 색상에 따른 시간 순서가 디스플레이된 촬영 장치를 도시한 도면이다. 도 19를 참조하면, 전자 장치(100)는 디스플레이부(1900)를 통해 움직이는 피사체의 구분 동작(motion)을 하나의 영상으로 표현할 수 있다.
이때, 제1 동작(motion)(1910)은 색상별 픽셀 그룹에서 빨강(R)(1910)이 적용되고, 제2 동작(motion)(1920)은 색상별 픽셀 그룹에서 녹색(G)(1920)이 적용되고, 제3 동작(motion)(1930)은 색상별 픽셀 그룹에서 파랑(B)(1930)이 적용된다. 그리고, 디스플레이부(1900)는 각각의 구분 동작(motion)에 적용된 픽셀 그룹의 색상을 타임바 R(1910), G(1920), B(1930)에 동작(motion)이 발생한 시간순서에 따라 표현할 수 있다. 따라서, 사용자는 타임바에 표시된 색상의 순서를 바탕으로 피사체의 구분 동작(motion)의 시간 순서를 용이하게 알 수 있다.
그러나, 상술한 예시는 본 개시를 설명하기 위한 일 실시예일뿐, 본 개시는 이에 한정되지 않는다. 또 다른 일 실시예로, 디스플레이부(1900)에 표현된 구분 동작(motion)이 13개인 속도가 빠르거나 움직임의 횟수가 많은 영상이 표현될 수 있다(미도시). 전자 장치(100)가 획득한 영상에서 구분 동작(motion)의 개수가 많을수록 사용자는 구분 동작(motion)의 시간 순서를 알기 어렵다. 그러나, 본 개시의 일 실시예에 따라, 디스플레이부(1900)에 구분된 동작(motion)에 적용된 색상 프로파일 및 밝기의 순서가 시간 순서대로 표시되므로, 사용자는 많은 개수의 구분 동작(motion)의 이미지일지라도, 각 동작(motion)의 시간 순서를 쉽게 알 수 있다. 또한, 각 구분동작에 적용된 색상 및 밝기와 함께 오버레이되어 표시되는 타임 바(time bar)는 디스플레이부(1900)의 하단 또는 양 측면에서 디스플레이될 수도 있다.
도 20은, 본 개시의 일 실시예에 따른, 다중 노출 센서를 통해 촬영한 이미지를 획득하는 단계를 설명하기 위한 순서도이다. 도 20을 참조하면, 촬영 장치(100)는 사용자에 의해 촬영 명령을 입력 받는다(s2010). 이때, 촬영 명령은 촬영 장치(100)가 촬영에 진입하기 위해 조리개가 개방되도록 준비되는 것도 포함될 수 있다. 또한, 사용자에 의해 다중 노출 촬영 모드를 명령을 입력 받을 수도 있다. 촬영 장치(100)가 촬영 모드에 진입하면, 촬영 장치(100)는 사용자에 의해 움직이는 피사체에 적용할 픽셀 그룹을 색상별로 설정할 수 있다(s2020). 또한, 촬영 장치(100)는 픽셀 그룹의 노광 시간 제어를 통해 자연색(White)의 이미지를 획득할 수 있고, 획득된 자연색 밝기를 구분 동작의 시간 순서에 따라 제어할 수도 있다. 이때, 사용자에 의한 설정은 촬영 전에 이루어질 수 있고, 촬영 도중에 이루어질 수도 있다. 또한, 사용자가 설정하기 전에 촬영 장치(100)에 내장된 설정 정보를 바탕으로 사용자에게 해당 명령을 추천할 수도 있다.
촬영 장치(100)는 상술한 바와 같이 설정된 색상 또는 밝기에 따라, 움직이는 피사체의 구분 동작(motion)을 표현하기 위해 영역별 또는 색상별 컬러 필터에 따라 구분된 픽셀 그룹의 노광 시간을 제어한다(s2030). 이때, 색상 또는 밝기의 선명도는 노광 시간의 길이에 따라 상이하게 구현될 수 있다. 또한 색상은 RGB 픽셀의 혼합 비율에 따라 노광 온/오프의 빈도수를 제어함으로써 상이한 색상을 구현할 수 있다.
촬영 장치(100)는 구분된 픽셀 그룹에 적용된 색상 또는 밝기에 의해 획득한 한 장의 이미지 및 적용된 색상 또는 밝기의 시간순서를 나타내는 타임 바를 오버레이하여 디스플레이 상에 한 장의 이미지로 표현할 수 있다(s2050).
따라서, 본 개시의 일 실시예들에 따라, 촬영 장치(100)는 움직임의 속도가 빠른 피사체의 구분 동작(motion)을 한 장의 영상으로 획득할 수 있다. 또한, 촬영 장치(100)는 획득된 영상에서 구분 동작(motion)들을 사용자가 선택한 색상 또는 밝기에 따라 표현되도록 할 수 있다. 그리고, 촬영 장치(100)는 구분 동작(motion)에 적용된 각각의 색상 또는 밝기를 구분 동작(motion)의 발생 시간 순서에 따라 타임바에 디스플레이할 수 있다. 이에 따라, 사용자는 움직임이는 피사체의 구분 동작(motion)의 시간 순서를 하나의 영상에서 쉽게 알 수 있다.
본 발명의 실시 예에 따른 촬영 방법은 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
다양한 실시 예에 따른 장치 또는 방법은, 예컨대, 컴퓨터로 읽을 수 있는 저장매체(computer readable storage medium)에 유지되는(maintain) 프로그램들 중 적어도 하나의 프로그램에 포함된 명령어(instructions)를 실행하는 적어도 하나의 컴퓨터(예: 프로세서)에 의하여 수행될 수 있다. 상기 명령어가 컴퓨터(예: 프로세서)에 의해 실행될 경우, 상기 적어도 하나의 컴퓨터는 상기 명령어에 해당하는 기능을 수행할 수 있다. 이때, 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 상기 메모리가 될 수 있다.
프로그램은, 예로, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예: 자기테이프), 광기록 매체 (optical media)(예: CD-ROM(compact disc read only memory), DVD (digital versatile disc), 자기-광 매체(magneto-optical media)(예: 플롭티컬 디스크 (floptical disk)), 하드웨어 장치(예: ROM (read only memory), RAM (random access memory), 또는 플래시 메모리 등) 등과 같은 컴퓨터로 읽을 수 저장 매체에 포함될 수 있다. 이 경우, 저장 매체는 일반적으로 촬영 장치의 구성의 일부로 포함되나, 촬영 장치의 포트(port)를 통하여 장착될 수도 있으며, 또는 촬영 장치의 외부에 위치한 외부 기기(예로, 클라우드, 서버 또는 다른 전자 기기)에 포함될 수도 있다.
또한, 프로그램은 복수의 저장 매체에 나누어 저장될 수도 있으며, 이 때, 복수의 저장 매체의 적어도 일부는 촬영 장치의 외부 기기에 위치할 수도 있다.
명령어는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
100: 촬영 장치
110: 이미지 센서
130: 프로세서
150: 입력부

Claims (20)

  1. 다중 노출 센서를 통해 이미지를 촬영할 수 있는 촬영 장치에서,
    복수의 색을 포함하는 복수의 픽셀로 구성되는 이미지 센서;
    사용자의 촬영 명령을 입력 받는 입력부; 및
    상기 촬영 장치의 촬영 모드가 다중 노출 모드인 동안 상기 입력부를 통해 촬영 명령이 입력되면, 상기 복수의 픽셀이 색상별로 구분된 각각의 복수의 픽셀 그룹의 노광 시간이 상이해지도록 상기 노광 시간을 제어하고,
    상기 각각의 복수의 픽셀 그룹의 상기 노광 시간에 기초하여, 상기 이미지 센서를 통해 상이한 색 또는 밝기로 구분 동작을 표시하는 복수의 이미지를 획득하는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 구분 동작의 색 또는 밝기가, 촬영 전에 사용자에 의해 색상 프로파일로부터 결정되도록 제어하고, 라이브 뷰 상에서 주요 배경 색상을 미리 검출하여 자동으로 설정되도록 제어하는 촬영 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 이미지 센서가 이미지를 촬영하는 동안 상기 복수의 픽셀 그룹의 노광 시간을 제어하여 상기 이미지에 포함된 복수의 모션의 색 또는 밝기를 상이하게 촬영하는 촬영 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 이미지가 촬영되는 시간 동안 상기 복수의 픽셀 그룹의 노광 온/오프 혹은 노광 온/오프 빈도인 듀티 비율(Duty Ratio)을 갖는 노광 온/오프 중 적어도 하나를 제어하여 상기 복수의 픽셀 그룹의 노광 시간을 제어하는 촬영 장치.
  4. 제2항에 있어서,
    상기 프로세서는,
    상기 이미지가 촬영되는 시간 중 제1 구간에서는 상기 복수의 픽셀 그룹 중 적어도 하나를 온하여 제1 색을 가지는 제1 동작(motion)을 획득하고, 상기 이미지가 촬영되는 시간 중 제2 구간에서는 상기 복수의 픽셀 중 다른 적어도 하나를 온하여 제2 색을 가지는 제2 동작(motion)을 획득하는 촬영 장치.
  5. 제2항에 있어서,
    상기 프로세서는,
    상기 이미지가 촬영되는 시간 중 제1 구간에서는 상기 복수의 픽셀 그룹전체를 제1 시간 동안 온하여 상기 제1 시간에 대응되는 제1 밝기 값을 가지는 제1 동작(motion)을 획득하고, 상기 이미지가 촬영되는 시간 중 제2 구간에서는 상기 복수의 픽셀 그룹 전체를 제2 시간 동안 온하여 제2 밝기 값을 가지는 제2 동작(motion)을 획득하는 촬영 장치.
  6. 제1항에 있어서,
    저장부;를 더 포함하고,
    상기 프로세서는,
    이미지에 포함된 복수의 동작(motion)의 색 또는 밝기를 설정하기 위한 사용자 명령이 입력되면, 상기 사용자 명령에 따라 상기 복수의 픽셀 그룹의 노광 시간을 판단하고, 상기 판단된 노광 시간을 상기 저장부에 저장하는 촬영 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    라이브뷰 영상을 분석하여 지정된 속도를 바탕으로 이미지 속에 포함된 오브젝트의 움직임을 판단하고,
    상기 판단된 움직임을 바탕으로 상기 오브젝트의 움직임을 예측하여 상기 복수의 픽셀 그룹의 노광 시간을 제어하는 촬영 장치.
  8. 제7항에 있어서,
    상기 오브젝트의 움직임이 많거나 빠르다고 판단된 경우, 상기 이미지 속에 포함된 상기 오브젝트의 동작(motion) 개수가 많아지도록 상기 복수의 픽셀 그룹의 노광 시간을 제어하는 촬영 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 복수의 픽셀이 영역별로 구분된 복수의 픽셀 그룹의 노광 시간을 제어하고,
    상기 영역은, 상기 복수의 픽셀 중 이미지에 포함된 상이한 오브젝트의 동작(motion)이 발생하는 면적에 따라 구분되는 촬영 장치.
  10. 삭제
  11. 복수의 색을 포함하는 복수의 픽셀로 구성되는 이미지 센서로부터 이미지를 캡쳐하는 단계;
    사용자의 촬영 명령을 입력 받는 단계;
    촬영 장치의 촬영 모드가 다중 노출 모드인 동안 상기 입력 받는 단계를 통해 촬영 명령이 입력되면, 상기 복수의 픽셀이 색상 별로 구분된 각각의 복수의 픽셀 그룹의 노광 시간이 상이해지도록 상기 노광 시간을 제어하는 단계; 및
    상기 각각의 복수의 픽셀 그룹의 상기 노광 시간에 기초하여, 상기 이미지 센서를 통해 상이한 색 또는 밝기로 구분 동작을 표시하는 복수의 이미지를 획득하는 단계;를 포함하고,
    상기 제어하는 단계는,
    상기 구분 동작의 색 또는 밝기가, 촬영 전에 사용자에 의해 색상 프로파일로부터 결정되도록 제어하고, 라이브 뷰 상에서 주요 배경 색상을 미리 검출하여 자동으로 설정되도록 제어하는 단계;를 포함하는 방법.
  12. 제11항에 있어서,
    상기 제어하는 단계는,
    이미지를 촬영하는 동안 상기 이미지 센서가 상기 복수의 픽셀 그룹의 노광 시간을 제어하여 상기 이미지에 포함된 복수의 동작(motion)의 색 또는 밝기를 상이하게 촬영하는 방법.
  13. 제12항에 있어서,
    상기 제어하는 단계는,
    상기 이미지가 촬영되는 시간 동안 상기 복수의 픽셀 그룹의 노광 온/오프 혹은 노광 온/오프 빈도인 듀티 비율(Duty Ratio)을 갖는 노광 온/오프 중 적어도 하나를 제어하여 상기 복수의 픽셀 그룹의 노광 시간을 제어하는 방법.
  14. 제12항에 있어서,
    상기 획득하는 단계는,
    상기 이미지가 촬영되는 시간 중 제1 구간에서는 상기 복수의 픽셀 그룹 중 적어도 하나를 온하여 제1 색을 가지는 제1 동작(motion)을 획득하고, 상기 이미지가 촬영되는 시간 중 제2 구간에서는 상기 복수의 픽셀 중 다른 적어도 하나를 온하여 제2 색을 가지는 제2 동작(motion)을 획득하는 방법.
  15. 제11항에 있어서,
    저장하는 단계;를 더 포함하고,
    상기 제어하는 단계는,
    이미지에 포함된 복수의 모션의 색 또는 밝기를 설정하기 위한 사용자 명령이 입력되면, 상기 사용자 명령에 따라 상기 복수의 픽셀 그룹의 노광 시간을 판단하는 단계를 더 포함하고, 상기 판단된 노광 시간을 상기 저장하는 단계에서 저장하는 방법.
  16. 제12항에 있어서,
    상기 획득하는 단계는,
    상기 이미지가 촬영되는 시간 중 제1 구간에서는 상기 복수의 픽셀 그룹전체를 제1 시간 동안 온하여 상기 제1 시간에 대응되는 제1 밝기 값을 가지는 제1 동작(motion)을 획득하고, 상기 이미지가 촬영되는 시간 중 제2 구간에서는 상기 복수의 픽셀 그룹 전체를 제2 시간 동안 온하여 제2 밝기 값을 가지는 제2 동작(motion)을 획득하는 방법.
  17. 제11항에 있어서,
    상기 제어하는 단계는,
    라이브뷰 영상을 분석하여 지정된 속도를 바탕으로 이미지 속에 포함된 오브젝트의 움직임을 판단하고,
    상기 판단된 움직임을 바탕으로 상기 오브젝트의 움직임을 예측하여 상기 복수의 픽셀 그룹의 노광 시간을 제어하는 방법.
  18. 제17항에 있어서,
    상기 오브젝트의 움직임이 많거나 빠르다고 판단된 경우, 상기 이미지 속에 포함된 상기 오브젝트의 동작(motion) 개수가 많아지도록 상기 복수의 픽셀 그룹의 노광 시간을 제어하는 방법.
  19. 제11항에 있어서,
    상기 제어하는 단계는,
    상기 복수의 픽셀이 영역별로 구분된 복수의 픽셀 그룹의 노광 시간을 제어하고,
    상기 영역은, 상기 복수의 픽셀 중 이미지에 포함된 상이한 오브젝트의 동작(motion)이 발생하는 면적에 따라 구분되는 방법.
  20. 삭제
KR1020150152253A 2015-10-30 2015-10-30 다중 노출 센서를 이용하는 촬영 장치 및 이의 촬영 방법 KR102465212B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150152253A KR102465212B1 (ko) 2015-10-30 2015-10-30 다중 노출 센서를 이용하는 촬영 장치 및 이의 촬영 방법
US15/070,192 US10447940B2 (en) 2015-10-30 2016-03-15 Photographing apparatus using multiple exposure sensor and photographing method thereof
CN201680063819.XA CN108353134B (zh) 2015-10-30 2016-03-17 使用多重曝光传感器的拍摄装置及其拍摄方法
PCT/KR2016/002708 WO2017073852A1 (en) 2015-10-30 2016-03-17 Photographing apparatus using multiple exposure sensor and photographing method thereof
EP16860036.9A EP3323238B1 (en) 2015-10-30 2016-03-17 Photographing apparatus using multiple exposure sensor and photographing method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150152253A KR102465212B1 (ko) 2015-10-30 2015-10-30 다중 노출 센서를 이용하는 촬영 장치 및 이의 촬영 방법

Publications (2)

Publication Number Publication Date
KR20170050556A KR20170050556A (ko) 2017-05-11
KR102465212B1 true KR102465212B1 (ko) 2022-11-10

Family

ID=58631744

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150152253A KR102465212B1 (ko) 2015-10-30 2015-10-30 다중 노출 센서를 이용하는 촬영 장치 및 이의 촬영 방법

Country Status (5)

Country Link
US (1) US10447940B2 (ko)
EP (1) EP3323238B1 (ko)
KR (1) KR102465212B1 (ko)
CN (1) CN108353134B (ko)
WO (1) WO2017073852A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190139189A1 (en) * 2017-11-06 2019-05-09 Qualcomm Incorporated Image remosaicing
CN108965729A (zh) * 2018-08-13 2018-12-07 Oppo广东移动通信有限公司 控制方法、装置、电子设备和计算机可读存储介质
KR102668970B1 (ko) * 2018-12-14 2024-05-24 삼성디스플레이 주식회사 비전 검사 장치 및 이의 구동 방법
CN109618034B (zh) * 2019-01-29 2023-12-26 努比亚技术有限公司 拍摄方法、移动终端及可读存储介质
CN109756680B (zh) * 2019-01-30 2021-05-14 Oppo广东移动通信有限公司 图像合成方法、装置、电子设备及可读存储介质
JP6690106B1 (ja) * 2019-03-26 2020-04-28 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 決定装置、撮像システム、及び移動体
CN110740272B (zh) * 2019-10-31 2021-05-14 Oppo广东移动通信有限公司 图像采集方法、摄像头组件及移动终端
CN110971799B (zh) * 2019-12-09 2021-05-07 Oppo广东移动通信有限公司 控制方法、摄像头组件及移动终端
CN113163124B (zh) * 2020-01-22 2022-06-03 杭州海康威视数字技术股份有限公司 一种成像***及图像处理方法
EP3933500A1 (en) * 2020-07-01 2022-01-05 Bk Ltd. Multi-functional photographing method capable of representing flash effect by using exposure amount, light sensitivity, and photographing shutt-off function
CN114125240A (zh) * 2021-11-30 2022-03-01 维沃移动通信有限公司 图像传感器、摄像模组、电子设备及拍摄方法

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2400418A1 (de) 1974-01-05 1975-07-17 Hoechst Ag Lichtabbaubare thermoplastische kunststofformmassen
US6943837B1 (en) * 1999-12-31 2005-09-13 Intel Corporation Method and apparatus for colormetric channel balancing for solid state image sensor using time division multiplexed sampling waveforms
JP4406195B2 (ja) * 2001-10-09 2010-01-27 セイコーエプソン株式会社 画像データの出力画像調整
WO2004073315A1 (en) 2003-02-14 2004-08-26 Koninklijke Philips Electronics N.V. Processing signals for a color sequential display
JP2006044793A (ja) * 2004-07-01 2006-02-16 Nitto Denko Corp 貼付材包装体
JP2006025310A (ja) * 2004-07-09 2006-01-26 Konica Minolta Photo Imaging Inc 撮像装置
US7911518B2 (en) 2005-02-01 2011-03-22 Samsung Electronics Co., Ltd. Variable exposure for color image sensor
US20090040364A1 (en) 2005-08-08 2009-02-12 Joseph Rubner Adaptive Exposure Control
US8107762B2 (en) * 2006-03-17 2012-01-31 Qualcomm Incorporated Systems, methods, and apparatus for exposure control
US7825969B2 (en) 2006-12-15 2010-11-02 Nokia Corporation Image stabilization using multi-exposure pattern
JP2008219320A (ja) 2007-03-02 2008-09-18 Sony Corp 撮像装置および画像処理方法
US7940311B2 (en) 2007-10-03 2011-05-10 Nokia Corporation Multi-exposure pattern for enhancing dynamic range of images
CN101889452B (zh) * 2007-12-04 2012-08-22 松下电器产业株式会社 图像生成装置及图像生成方法
JP2009164859A (ja) * 2008-01-04 2009-07-23 Fujifilm Corp 撮像装置及び撮像制御方法
JP4960907B2 (ja) * 2008-03-11 2012-06-27 富士フイルム株式会社 撮影装置および撮影方法
JP4544332B2 (ja) 2008-04-07 2010-09-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP5199736B2 (ja) 2008-06-06 2013-05-15 シャープ株式会社 画像撮像装置
JP4661922B2 (ja) * 2008-09-03 2011-03-30 ソニー株式会社 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
JP5098949B2 (ja) 2008-10-21 2012-12-12 株式会社ニコン 電子カメラおよび画像処理プログラム
US8184188B2 (en) 2009-03-12 2012-05-22 Micron Technology, Inc. Methods and apparatus for high dynamic operation of a pixel cell
US8520966B2 (en) 2009-03-30 2013-08-27 The Neat Company Image background enhancement for color images
US8405750B2 (en) * 2009-06-08 2013-03-26 Aptina Imaging Corporation Image sensors and image reconstruction methods for capturing high dynamic range images
JP5131257B2 (ja) 2009-08-27 2013-01-30 カシオ計算機株式会社 表示制御装置及び表示制御プログラム
KR101633460B1 (ko) * 2009-10-21 2016-06-24 삼성전자주식회사 다중 노출 제어 장치 및 그 방법
KR101639385B1 (ko) 2009-12-04 2016-07-13 삼성전자주식회사 이미지 센서
KR20110076729A (ko) * 2009-12-18 2011-07-06 삼성전자주식회사 전자 셔터를 이용한 다단계 노출 이미지 획득 방법 및 이를 이용한 촬영 장치
JP5482427B2 (ja) 2010-05-14 2014-05-07 カシオ計算機株式会社 撮像装置、手ブレ補正方法、プログラム
JP5655626B2 (ja) * 2011-02-24 2015-01-21 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US20120243802A1 (en) * 2011-03-25 2012-09-27 William Vernon Fintel Composite image formed from an image sequence
US8736697B2 (en) 2011-03-25 2014-05-27 Apple Inc. Digital camera having burst image capture mode
JP2013021660A (ja) * 2011-07-14 2013-01-31 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US20130027596A1 (en) 2011-07-27 2013-01-31 Chung Chun Wan Color imaging using time-multiplexed light sources and monochrome image sensors with multi-storage-node pixels
JP2013038504A (ja) 2011-08-04 2013-02-21 Sony Corp 撮像装置、および画像処理方法、並びにプログラム
JP2013172378A (ja) * 2012-02-22 2013-09-02 Ricoh Co Ltd 画像処理装置及び車両
JP2014007680A (ja) * 2012-06-27 2014-01-16 Xacti Corp 画像生成装置
CN102821251B (zh) * 2012-09-03 2016-05-04 广州市盛光微电子有限公司 一种应用快速开关光源的高速摄像方法及应用装置
JP6159105B2 (ja) * 2013-03-06 2017-07-05 キヤノン株式会社 撮像装置及びその制御方法
US9767571B2 (en) 2013-07-29 2017-09-19 Samsung Electronics Co., Ltd. Apparatus and method for analyzing image including event information
KR102129916B1 (ko) * 2013-07-29 2020-08-05 삼성전자주식회사 이벤트 정보를 포함하는 영상을 분석하는 장치 및 방법
US9503631B2 (en) 2014-02-12 2016-11-22 Lg Electronics Inc. Mobile terminal and control method thereof for displaying image cluster differently in an image gallery mode
KR102149187B1 (ko) 2014-02-21 2020-08-28 삼성전자주식회사 전자 장치와, 그의 제어 방법
US20150312504A1 (en) * 2014-04-28 2015-10-29 Isolynx, Llc Camera Systems For Processing Event Timing Images
CN104836947B (zh) * 2015-05-06 2017-11-14 广东欧珀移动通信有限公司 一种图像拍摄方法和装置

Also Published As

Publication number Publication date
KR20170050556A (ko) 2017-05-11
EP3323238A1 (en) 2018-05-23
EP3323238B1 (en) 2020-07-08
US10447940B2 (en) 2019-10-15
WO2017073852A1 (en) 2017-05-04
EP3323238A4 (en) 2018-05-23
CN108353134B (zh) 2020-11-10
CN108353134A (zh) 2018-07-31
US20170126947A1 (en) 2017-05-04

Similar Documents

Publication Publication Date Title
KR102465212B1 (ko) 다중 노출 센서를 이용하는 촬영 장치 및 이의 촬영 방법
US11394895B2 (en) System and method for generating a digital image
JP4149467B2 (ja) カメラの露出調節方法
EP3105713B1 (en) System and method for generating a digital image
US8472671B2 (en) Tracking apparatus, tracking method, and computer-readable storage medium
US20140285698A1 (en) Viewfinder Display Based on Metering Images
US9195880B1 (en) Interactive viewer for image stacks
US8922669B2 (en) Image processing apparatus having a display unit and image processing program for controlling the display unit
US9838609B2 (en) Image capturing apparatus, control apparatus and control method for controlling zooming function
JP2012119858A (ja) 撮影装置、撮影方法、およびプログラム
KR20140021821A (ko) 이미지 캡처 장치 및 이미지 캡처 방법
WO2016011859A1 (zh) 拍摄光绘视频的方法、移动终端和计算机存储介质
CN104754212A (zh) 电子装置以及通过使用该电子装置捕获移动对象的方法
KR20160063794A (ko) 촬영 장치 및 그 제어 방법
US20100123802A1 (en) Digital image signal processing method for performing color correction and digital image signal processing apparatus operating according to the digital image signal processing method
US20200029007A1 (en) Imaging apparatus and imaging method
JP2019186791A (ja) 撮像装置、撮像装置の制御方法、および制御プログラム
JP6450107B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
US20150358524A1 (en) Imaging apparatus and storage medium, and exposure amount control method
JP2011193066A (ja) 撮像装置
JP5847280B2 (ja) 撮影装置、撮影装置の制御方法、および撮影方法
US20240073543A1 (en) System and method for generating a digital image
JP2017069673A (ja) 撮像装置、撮像方法および撮像プログラム
JP5654771B2 (ja) 撮影装置、撮影装置の制御方法、および撮影方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right