KR20170084947A - 촬영 장치 및 그 동작 방법 - Google Patents

촬영 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20170084947A
KR20170084947A KR1020160004409A KR20160004409A KR20170084947A KR 20170084947 A KR20170084947 A KR 20170084947A KR 1020160004409 A KR1020160004409 A KR 1020160004409A KR 20160004409 A KR20160004409 A KR 20160004409A KR 20170084947 A KR20170084947 A KR 20170084947A
Authority
KR
South Korea
Prior art keywords
light source
flicker
image pickup
information
frame
Prior art date
Application number
KR1020160004409A
Other languages
English (en)
Other versions
KR102615091B1 (ko
Inventor
홍현석
이영록
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160004409A priority Critical patent/KR102615091B1/ko
Priority to US15/293,520 priority patent/US10404922B2/en
Priority to CN201710028358.9A priority patent/CN106973239B/zh
Publication of KR20170084947A publication Critical patent/KR20170084947A/ko
Application granted granted Critical
Publication of KR102615091B1 publication Critical patent/KR102615091B1/ko

Links

Images

Classifications

    • H04N5/2357
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/745Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H04N5/23216
    • H04N5/2353

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Human Computer Interaction (AREA)

Abstract

기 설정된 노광 조건에 기초하여, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득하는 촬상 소자; 적어도 하나의 프레임에 대응되는 촬상 신호를 이용하여, 광원의 플리커 정보를 결정하는 플리커 정보 결정부; 광원의 플리커 정보에 기초하여, 광원으로 인한 플리커 발생을 회피하기 위해 촬상 소자의 노광 시작 시점을 제어하는 촬상 소자 제어부;를 포함하는 촬영 장치 및 촬영 장치의 동작 방법을 제공한다.

Description

촬영 장치 및 그 동작 방법{Photographing apparatus and method for operating thereof}
본 개시는 촬영 장치 및 그 동작 방법에 관한 것이다.
촬영 장치가 바라보는 장면(scene)은 장면 내의 물체의 특성 외에 태양광이나 조명 등의 외부 광원의 밝기에 비례하여 촬영될 수 있다. 태양광이나 LED 조명의 경우 수 초 이내의 일정 시간에서는 밝기의 변화가 거의 없으나, 교류 전원을 사용하는 백열 전구나 형광등의 경우에는 전원의 주파수에 비례하는 속도로 밝기의 변화가 발생한다. 따라서, 짧은 노출 시간이 허용되는 고속 연사 촬영시, 동일한 장면에 대해서도 촬영 시마다 밝기가 다르게 촬영되는 플리커(flicker) 현상이 발생할 수 있다.
본 실시예들에 따르면, 광원의 플리커 정보에 기초하여, 광원으로 인한 촬영 영상의 플리커 발생을 회피하기 위한 방법 및 촬영 장치를 제공한다.
제 1 측면에 따른 촬영 장치는, 기 설정된 노광 조건에 기초하여, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득하는 촬상 소자; 적어도 하나의 프레임에 대응되는 촬상 신호를 이용하여, 광원의 플리커 정보를 결정하는 플리커 정보 결정부; 광원의 플리커 정보에 기초하여, 광원으로 인한 플리커 발생을 회피하기 위해 촬상 소자의 노광 시작 시점을 제어하는 촬상 소자 제어부;를 포함할 수 있다.
또한, 촬상 소자 제어부는, 광원의 플리커 정보에 기초하여, 광원으로 인한 플리커 발생을 회피하기 위해 촬상 소자의 라인별 노광 시간을 제어할 수 있다.
또한, 촬상 소자 제어부는, 광원의 플리커 정보에 기초하여, 촬상 소자의 라인별 보정 게인값을 산출하고, 적어도 하나의 프레임에 라인별 보정 게인값을 적용할 수 있다.
또한, 촬상 소자 제어부는, 광원의 플리커 정보에 기초하여, 광원으로 인한 플리커 발생을 회피하기 위한 노광 시작 시점을 결정하고, 결정된 노광 시작 시점에 따라 촬상 소자의 노광 시작 시점을 제어할 수 있다.
또한, 촬상 소자 제어부는,
라이브뷰 모드(liveview mode)에서 광원에 대한 플리커 발생을 위한 노광 시간 및 노광 시작 시점을 결정하고, 촬상 소자는, 결정된 노광 시간 및 노광 시작 시점에 기초하여, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득할 수 있다.
또한, 촬상 소자 제어부는, 라이브뷰의 FPS(Frame Per second)를 유지하거나 또는 변경하여, 노광 시간 및 노광 시작 시점을 결정할 수 있다.
또한, 촬상 소자 제어부는, 광원의 플리커 정보에 기초하여, 적어도 하나의 프레임에서 광원으로 인한 플리커가 발생하였는지 여부를 판단하고, 판단 결과 발생한 경우, 광원으로 인한 플리커 발생을 회피하기 위해 촬상 소자의 노광 시작 시점을 제어할 수 있다.
또한, 광원의 플리커 정보는, 광원의 위상 정보, 광원의 전원 주파수 정보, 광원의 진폭 정보 및 광원의 평균 밝기 정보 중 적어도 하나를 포함할 수 있다.
또한, 촬상 소자의 노광 시작 시점은 촬상 소자의 중앙 영역이 가장 밝게 수광되는 시점일 수 있다.
또한, 촬상 소자는, 촬상 소자 제어부에 의해 제어된 노광 시작 시점에 기초하여, 정지 영상 또는 동영상에 대응되는 촬상 신호를 획득하고, 플리커 정보 결정부는, 정지 영상 또는 동영상에 대응되는 촬상 신호를 이용하여, 광원의 플리커 정보를 업데이트하고, 촬상 소자 제어부는, 업데이트된 광원의 플리커 정보에 기초하여, 광원으로 인한 플리커 발생을 회피하기 위해 촬상 소자의 노광 시작 시점을 제어할 수 있다.
또한, 촬상 소자는, 촬상 소자 제어부에 의해 제어된 노광 시작 시점에 기초하여, 정지 영상 또는 동영상에 대응되는 촬상 신호를 획득하고, 정지 영상 또는 동영상 내에서 검출된 조명의 가장 밝은 라인의 위치에 기초하여, 촬상 소자의 노광 시작 시점을 제어할 수 있다.
또한, 촬상 소자는, 기 설정된 노광 조건에 기초하여, 적어도 하나의 프레임의 일부 영역에 대응되는 촬상 신호를 획득하고, 플리커 정보 결정부는, 적어도 하나의 프레임의 일부 영역에 대응되는 촬상 신호를 이용하여, 광원의 플리커 정보를 결정할 수 있다.
제 2 측면에 따른 촬영 장치는, 기 설정된 노광 조건에 기초하여, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득하는 촬상 소자; 적어도 하나의 프레임에 대응되는 촬상 신호를 이용하여, 광원의 플리커 정보를 결정하는 플리커 정보 결정부; 광원의 플리커 정보에 기초하여, 광원으로 인한 플리커 발생을 회피하기 위해 촬상 소자의 라인별 노광 시간을 제어하는 촬상 소자 제어부;를 포함할 수 있다.
제 3 측면에 따른 촬영 장치는, 기 설정된 노광 조건에 기초하여, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득하는 촬상 소자; 적어도 하나의 프레임에 대응되는 촬상 신호를 이용하여, 광원의 플리커 정보를 결정하는 플리커 정보 결정부; 광원의 플리커 정보에 기초하여, 촬상 소자의 라인별 보정 게인값을 산출하고, 적어도 하나의 프레임에 라인별 보정 게인값을 적용하는 촬상 소자 제어부;를 포함할 수 있다.
제 4 측면에 따른 촬영 장치의 동작 방법은, 기 설정된 노광 조건에 기초하여, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득하는 단계; 적어도 하나의 프레임에 대응되는 촬상 신호를 이용하여, 광원의 플리커 정보를 결정하는 단계; 및 광원의 플리커 정보에 기초하여, 광원으로 인한 플리커 발생을 회피하기 위해 촬상 소자의 노광 시작 시점을 제어하는 단계;를 포함할 수 있다.
제 5 측면에 따른 촬영 장치의 동작 방법은, 기 설정된 노광 조건에 기초하여, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득하는 단계; 적어도 하나의 프레임에 대응되는 촬상 신호를 이용하여, 광원의 플리커 정보를 결정하는 단계; 및 광원의 플리커 정보에 기초하여, 광원으로 인한 플리커 발생을 회피하기 위해 촬상 소자의 라인별 노광 시간을 제어하는 단계;를 포함할 수 있다.
제 6 측면에 따른 촬영 장치의 동작 방법은, 기 설정된 노광 조건에 기초하여, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득하는 단계; 적어도 하나의 프레임에 대응되는 촬상 신호를 이용하여, 광원의 플리커 정보를 결정하는 단계; 및 광원의 플리커 정보에 기초하여, 촬상 소자의 라인별 보정 게인값을 산출하고, 적어도 하나의 프레임에 라인별 보정 게인값을 적용하는 단계;를 포함할 수 있다.
제 7 측면에 따라, 전술한 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체가 제공된다.
도 1은 일 실시예에 따른 촬영 장치를 설명하기 위한 도면이다.
도 2는 라이브뷰의 FPS가 일정한 상태에서, 촬상 소자가 광원에 대한 플리커(flicker) 발생을 위한 노광 조건에 따라, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득하는 실시예를 나타낸다.
도 3은 라이브뷰의 FPS가 변경된 상태에서, 촬상 소자가 광원에 대한 플리커(flicker) 발생을 위한 노광 조건에 따라, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득하는 실시예를 나타낸다.
도 4A는 촬상 소자 제어부가 촬상 소자의 노광 시작 시점을 제어하는 실시예를 나타낸다.
도 4B는 플리커가 발생된 적어도 하나의 프레임의 전체 영역을 기초로, 광원의 플리커 정보를 결정하는 실시예를 나타낸다.
도 4C는 플리커가 발생된 적어도 하나의 프레임의 일부 영역을 기초로, 광원의 플리커 정보를 결정하는 실시예를 나타낸다.
도 5은 촬영 장치의 동작 방법의 일 실시예를 나타낸다.
도 6은 촬영 장치의 동작 방법의 일 실시예를 나타낸다.
도 7은 촬영 장치의 동작 방법의 일 실시예를 나타낸다.
도 8은 촬영 장치의 동작 방법의 일 실시예를 나타낸다.
도 9는 촬영 장치의 동작 방법의 일 실시예를 나타낸다.
도 10은 다른 실시예에 따른 촬영 장치를 나타낸다.
도 11은 일부 실시예에 따른 촬영 장치의 다른 예를 도시한 구성도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서 언급되는 촬영 장치(100, 1100a)는, 정지 이미지를 촬영하는 디지털 스틸 카메라 또는 동영상을 촬영하는 디지털 비디오 카메라 등의 다양한 형태로 구현될 수 있다. 또한, 촬영 장치(100, 1100a)는 디지털 일안 리플렉스 카메라(DSLR), 미러리스 카메라를 포함할 수 있다. 또한, 촬영 장치(100, 1100a)는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다. 또한, 일 실시예에 따른 촬영 장치(100, 1100a)는 전술한 기기들에 한정되지 않으며, 렌즈 및 촬상소자를 포함하여 피사체를 촬영하여 이미지를 생성할 수 있는 카메라 모듈을 탑재한 전자 장치를 포함할 수 있다.
명세서 전체에서 언급되는 플리커(flicker)란, 특정 주파수를 갖는 전원에 의해 주기적인 발광량의 편차를 갖는 형광등 등의 광원 하에서 영상을 촬영하는 경우, 촬영 영상에서 광원의 시간적 발광량 편차에 의한 동일 장면(scene)에서 촬영된 영상들 간의 밝기 차이를 의미할 수 있다. 즉, 광원에 대한 플리커 발생은 서로 다른 프레임의 촬영 영상에서 발생할 수 있고, 또는, 일 프레임의 촬영 영상 내의 서로 다른 라인에서 발생할 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 일 실시예에 따른 촬영 장치(100)를 설명하기 위한 도면이다.
일 실시예에 따라, 촬영 장치(100)는 촬상 소자(110), 플리커 정보 결정부(120), 및 촬상 소자 제어부(130)를 포함할 수 있다. 도 1에 도시된 촬영 장치(100)는 본 실시 예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시 예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
촬상 소자(110)는 기 설정된 노광 조건에 기초하여, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득할 수 있다. 일 실시예에 따라, 기 설정된 조건은 광원에 대한 플리커(flicker) 발생을 위한 노광 조건이 될 수 있다. 보다 구체적으로, 촬상 소자 제어부(130)는 광원에 대한 플리커 발생을 강제하기 위한 노광 조건인 노광 시작 시점 및 노광 시간을 결정할 수 있고, 촬상 소자(110)는 결정된 노광 시작 시점 및 노광 시간에 기초하여, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득할 수 있다. 예를 들어, 촬상 소자 제어부(130)는 주파수 60Hz의 전원을 고려하여, 1/120sec보다 더 짧은 노출시간을 광원에 대한 플리커 발생을 강제하기 위한 노광 조건으로 결정할 수 있다.
또한, 일 실시예에 따라, 촬상 소자 제어부(130)는 광원에 대한 플리커 발생을 강제하기 위한 노광 조건을 촬상 소자(110)의 일부 영역에 대해 설정할 수 있다. 예를 들어, 촬상 소자 제어부(130)는 촬상 소자(110)의 상단 일부 영역 및 하단 일부 영역에 대한 노출 시간을 다른 영역의 노출 시간보다 짧게 설정하여, 촬상 소자(100)의 상단 일부 영역 및 하단 일부 영역은 플리커 정보를 결정하기 위한 목적으로 사용하고, 다른 영역은 정지영상 또는 동영상을 저장하는 목적으로 사용할 수 있다.
또한, 촬상 소자(110)는 복수의 라인들로 구성될 수 있으며, 복수의 라인들 각각은 복수의 픽셀들의 라인이거나, 복수의 서브 픽셀들의 라인들일 수 있다.
또한, 촬상 소자(110)는 FPS(Frame Per Second)가 일정한 상태에서, 광원에 대한 플리커(flicker) 발생을 위한 노광 조건에 따라, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득할 수 있다. 또한, 다른 실시예에 따라, 촬상 소자(110)는 FPS(Frame Per Second)가 변경된 상태에서, 광원에 대한 플리커(flicker) 발생을 위한 노광 조건에 따라, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득할 수 있다.
또한, 촬상 소자(110)는 라이브뷰 모드(liveview mode) 하에서, 광원에 대한 플리커(flicker) 발생을 위한 노광 조건에 따라, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득할 수 있다. 일 실시예에 따라, 촬상 소자(110)는 라이브뷰의 FPS(Frame Per Second)가 일정한 상태에서, 광원에 대한 플리커(flicker) 발생을 위한 노광 조건에 따라, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득할 수 있다. 또한, 다른 실시예에 따라, 촬상 소자(110)는 라이브뷰의 FPS(Frame Per Second)가 변경된 상태에서, 광원에 대한 플리커(flicker) 발생을 위한 노광 조건에 따라, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득할 수 있다. 보다 구체적인 실시예는 도 2 및 3에서 살펴보기로 한다.
또한, 일 실시예에 따라, 촬상 소자(110)는, 사용자에 의해 설정된 노광 시간이 소정값보다 작은 경우, 기 설정된 노광 조건에 기초하여, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득할 수 있다. 예를 들어, 사용자에 의해 설정된 노광 시간이 소정값보다 작은 경우 플리커가 발생할 가능성이 크기 때문에, 촬상 소자(110)는 플리커 발생을 강제하기 위한 노광 조건에 기초하여, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득할 수 있다.
도 2는 라이브뷰의 FPS가 일정한 상태에서, 촬상 소자(110)가 광원에 대한 플리커(flicker) 발생을 위한 노광 조건에 따라, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득하는 실시예를 나타낸다.
도 2에 개시되어 있듯이, 촬상 소자(110)는 전 구간에서 라이브뷰의 FPS를 60 FPS로 일정하게 유지한 상태에서, 광원에 대한 플리커(flicker) 발생을 위한 노광 조건에 따라, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득할 수 있다. 곡선 그래프는 광원의 밝기 변화를 나타내는 예시이다. 화살표는 노광의 시작과 끝을 나타내며 t는 화살표의 길이에 해당하는 노출시간을 나타낸다. 구간별 각 t 및 FPS값은 60Hz를 주전원으로 가정한 경우에 대한 예시값을 나타낸다.
제 1 구간에서, 촬상 소자(110)는 노출 시작 시점(201,202) 및 노출 시간 1/60s에 따라, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득할 수 있다.
이어서, 제 2 구간에서, 촬상 소자(110)는 라이브뷰의 FPS(Frame Per Second)가 60 FPS로 일정한 상태에서, 광원에 대한 플리커(flicker) 발생을 위한 노광 조건에 따라, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득할 수 있다. 즉, 촬상 소자(110)는 노광 조건인 노출 시작 시점(203,204,205) 및 노출 시간 1/240s에 따라, 3 프레임의 촬상 신호를 획득할 수 있다.
이어서, 제 3 구간에서, 촬상 소자는 제 1 구간과 마찬가지의 조건으로, 노출 시작 시점(206) 및 노출 시간 1/60s에 따라, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득할 수 있다.
도 3은 라이브뷰의 FPS가 변경된 상태에서, 촬상 소자(110)가 광원에 대한 플리커(flicker) 발생을 위한 노광 조건에 따라, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득하는 실시예를 나타낸다. 곡선 그래프는 광원의 밝기 변화를 나타내는 예시이다. 화살표는 노광의 시작과 끝을 나타내며 t는 화살표의 길이에 해당하는 노출시간을 나타낸다. 구간별 각 t 및 FPS값은 60Hz를 주전원으로 가정한 경우에 대한 예시값을 나타낸다.
제 1 구간에서, 촬상 소자(110)는 라이브뷰의 FPS가 60 FPS인 상태에서, 노출 시작 시점(301,302) 및 노출 시간 1/60s에 따라, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득할 수 있다.
이어서, 제 2 구간에서, 라이브뷰의 FPS가 60 FPS에서 160 FPS 등의 더 높은 FPS로 변경되고, 촬상 소자(110)는 광원에 대한 플리커(flicker) 발생을 위한 노광 조건에 따라, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득할 수 있다. 즉, 촬상 소자(110)는 노광 조건인 노출 시작 시점(303,304,305) 및 변경된 FPS가 최대로 허용하는 노출시간보다 작은 노출 시간인 1/240s에 따라, 3 프레임의 촬상 신호를 획득할 수 있다. 이어서, 일 실시예에 따라, 제 3 구간에서, 라이브 뷰의 FPS는 다시 60 FPS로 변경될 수 있다.
이어서, 제 3 구간에서, 촬상 소자는 라이브뷰의 FPS가 60 FPS인 상태에서, 노출 시작 시점(306) 및 노출 시간 1/60s에 따라, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득할 수 있다.
도 1의 플리커 정보 결정부(120)는 촬상 소자(110)에 의해 획득된 적어도 하나의 프레임에 대응되는 촬상 신호를 이용하여, 광원의 플리커 정보를 결정할 수 있다. 일 실시예에 따라, 플리커 정보 결정부(120)는 적어도 하나의 프레임에 대응되는 촬상 신호를 이용하여, 광원의 플리커 정보인 광원의 전원 주파수 정보, 광원의 위상 정보, 광원의 진폭 정보, 및 광원에 의해 영향을 받지 않는 장면(scene)의 광원의 평균 밝기 정보를 결정할 수 있다. 예를 들어, 도 3의 제 2 구간에서, 플리커 정보 결정부(120)는 획득된 적어도 하나의 프레임에 대응되는 촬상 신호를 이용하여, 광원의 플리커 정보를 결정할 수 있다.
이하는 플리커 정보 결정부(120)가 광원의 플리커 정보를 결정하는 보다 구체적인 실시예를 나타낸다.
일 실시예에 따라, 시점 t에서 교류 전원에 의한 광원의 에너지 Elamp(t)를 수학식 1과 같이 정의할 수 있다.
Figure pat00001
수학식 1에서,
Figure pat00002
는 광원의 전원 진폭을 의미하고,
Figure pat00003
는 광원의 전원 주파수를 의미하고,
Figure pat00004
는 광원의 전원 위상을 의미한다. 또한, 시점 t의 기준 시점(t=0)은 플리커 정보를 결정하기 위해 이용된 첫 번째 영상의 노광 시작 시점을 의미할 수 있다.
또한, 플리커 정보 결정부(120)는 수학식 1에 의해 정의된 광원의 에너지에 기초하여, 촬상 소자(110)에 노광되는 광의 밝기인 Lmeasure(t)을 수학식 2를 이용하여 계산할 수 있다.
Figure pat00005
수학식 2에서, t는 노광 시작 시점을 의미하고, △t는 노광 시간을 의미하고,
Figure pat00006
는 광원의 시간당 평균 밝기를 의미할 수 있다.
또한, 수학식 2를 정리하면 수학식 3과 같이 나타낼 수 있다.
Figure pat00007
Figure pat00008
수학식 3에서,
Figure pat00009
이고,
Figure pat00010
이고
Figure pat00011
연산은 t보다 크지 않은 최대 정수값을 의미한다.
또한, 표현의 간결함을 위해, 변수
Figure pat00012
를 변수
Figure pat00013
로 대체하는 경우, 수학식 3은 수학식 4와 같이 나타낼 수 있다.
Figure pat00014
Figure pat00015
플리커 정보 결정부(120)는 촬상 소자(110)에 의해 획득된 적어도 하나의 프레임에 대응되는 촬상 신호를 통해 Lmeasure(t)을 획득할 수 있다. 또한 플리커 정보 결정부(120)는 촬상 소자(110)가 적어도 하나의 프레임에 대응되는 촬상 신호를 획득하기 위해 설정된 노광 시작 시점 t 및 노광 시간 △t을 획득할 수 있다. 따라서, 플리커 정보 결정부(120)는 수학식 3 또는 4에서 기 획득된 변수 t, △t, 및 Lmeasure(t)를 이용하여, 광원의 진폭에 대응하는 정보
Figure pat00016
, 광원의 평균 밝기에 대응하는 정보
Figure pat00017
, 광원의 전원 주파수 정보 flamp, 및 광원의 위상에 대응하는 정보
Figure pat00018
를 획득할 수 있고, 획득된 광원의 진폭에 대응하는 정보
Figure pat00019
, 광원의 평균 밝기에 대응하는 정보
Figure pat00020
, 광원의 전원 주파수 정보 flamp, 및 광원의 위상에 대응하는 정보
Figure pat00021
를 광원의 플리커 정보로써 결정할 수 있다.
또한, 촬상 소자(110)의 각 라인별 노광 시작 시간의 차이를 고려하여, 플리커 정보 결정부(120)는 수학식 5를 이용하여, 촬상 소자(110)에 노광되는 광의 밝기 L-measure(tf,l)를 계산할 수 있다.
Figure pat00022
Figure pat00023
]
수학식 5에서, Ll 은 라인 l에 대한 광원에 무관한 장면의 평균 밝기를 의미하고, tf는 f번째 프레임의 노광 시작 시점 또는 촬상 소자(110)의 최상단 0번째 라인(l=0)의 노광 시작 시점을 의미한다. 따라서, 촬상 소자(110)의 f번째 프레임의 l번째 라인의 노광 시작 시점은 tf+tL*l이 될 수 있다.
따라서, 플리커 정보 결정부(120)는 촬상 소자(110)에 의해 획득된 적어도 하나의 프레임에 대응되는 촬상 신호를 통해 Lmeasure(tf,l), tf, l, △t를 획득할 수 있는 바, 수학식 5를 이용하여 광원의 진폭에 대응하는 정보
Figure pat00024
, 광원의 평균 밝기에 대응하는 정보
Figure pat00025
, 광원의 전원 주파수 정보 flamp, 및 광원의 위상에 대응하는 정보
Figure pat00026
를 획득할 수 있고, 획득된 광원의 진폭에 대응하는 정보
Figure pat00027
, 광원의 평균 밝기에 대응하는 정보
Figure pat00028
, 광원의 전원 주파수 정보 flamp, 및 광원의 위상에 대응하는 정보
Figure pat00029
를 광원의 플리커 정보로써 결정할 수 있다.
또한, 일 실시예에 따라, 노광 시간이 광원 주기의 1/4 정도로 가정하는 경우, 플리커 정보 결정부(120)는 시점 t에서 촬상 소자(110)에 노광되는 광의 밝기인 Lmeasure(t)를 수학식 6을 이용하여 단순화하여 계산할 수 있다.
Figure pat00030
수학식 6에서, A는 광원의 진폭 정보, flamp는 광원의 전원 주파수를 의미하고,
Figure pat00031
는 광원의 위상을 의미하고, B는 광원의 평균 밝기를 의미할 수 있다. 수학식 1 내지 5에 사용된 광원의 진폭에 대응하는 정보
Figure pat00032
, 평균 밝기에 대응하는 정보
Figure pat00033
및 광원의 위상에 대응하는 정보
Figure pat00034
는 다음의 예처럼, 광원의 진폭 정보 A, 광원의 위상
Figure pat00035
, 평균 밝기 B와 관계를 대응시킬 수 있다;
Figure pat00036
,
Figure pat00037
*
Figure pat00038
+
Figure pat00039
,
Figure pat00040
-
Figure pat00041
. 단,
Figure pat00042
.
따라서, 플리커 정보 결정부(120)는 촬상 소자(110)에 의해 획득된 적어도 하나의 프레임에 대응되는 촬상 신호를 통해 Lmeasure(t), t, 및 △t를 획득할 수 있는 바, 수학식 6을 이용하여, 광원의 진폭 정보 A, 광원의 평균 밝기 정보 B, 광원의 전원 주파수 정보 flamp, 및 광원의 위상 정보
Figure pat00043
를 획득할 수 있고, 획득된 광원의 진폭 정보 A, 광원의 평균 밝기 정보 B, 광원의 전원 주파수 정보 flamp, 및 광원의 위상 정보
Figure pat00044
를 광원의 플리커 정보로써 결정할 수 있다.
또한, 촬상 소자(110)의 각 라인별 노광 시작 시간의 차이를 고려하여, 플리커 정보 결정부(120)는 수학식 7을 이용하여 촬상 소자(110)에 노광되는 광의 밝기 Lmeasure(tf,l)를 계산할 수 있다.
Figure pat00045
수학식 7에서, L-l 은 라인 l에 대한 광원에 무관한 장면의 평균 밝기를 의미하고, tf는 f번째 프레임의 노광 시작 시점 또는 촬상 소자(110)의 최상단 0번째 라인(l=0)의 노광 시작 시점을 의미하고, tL은 촬상 소자(110)의 라인간 노광 시작 시점의 시간 차이를 의미한다. 따라서, 촬상 소자(110)의 f번째 프레임의 l번째 라인의 노광 시작 시점은 tf+tL*l이 될 수 있다.
따라서, 플리커 정보 결정부(120)는 촬상 소자(110)에 의해 획득된 적어도 하나의 프레임에 대응되는 촬상 신호를 통해 Lmeasure(tf,l), tf, l, 및 △t를 획득할 수 있는 바, 수학식 7을 이용하여 광원의 진폭 정보 A, 광원의 평균 밝기 정보 B, 광원의 전원 주파수 정보 flamp, 및 광원의 위상 정보
Figure pat00046
를 획득할 수 있고, 획득된 광원의 진폭 정보 A, 광원의 평균 밝기 정보 B, 광원의 전원 주파수 정보 flamp, 및 광원의 위상 정보
Figure pat00047
를 광원의 플리커 정보로써 결정할 수 있다.
보다 구체적으로, 플리커 정보 결정부(120)는 촬상 소자(110)에 획득된 적어도 하나의 프레임의 각 라인 별로 3개 이상의 샘플 데이터
Figure pat00048
및 수학식 8를 이용하여 광원의 플리커 정보를 결정할 수 있다.
Figure pat00049
수학식 8에서,
Figure pat00050
는 l번째 센서 라인에서 시점
Figure pat00051
에 획득된 데이터이고, 시점
Figure pat00052
Figure pat00053
처럼 샘플 데이터가 실제로 얻어지는 시점이 된다.
수학식 8에서 pseudo inverse를 이용하면, 플리커 정보 결정부(120)는 수학식 9를 이용하여
Figure pat00054
에 해당하는 데이터를 계산할 수 있다.
Figure pat00055
또한, 플리커 정보 결정부(120)는 수학식 10을 이용하여, 광원의 플리커 정보인
Figure pat00056
Figure pat00057
를 계산할 수 있다.
Figure pat00058
Figure pat00059
광원의 영향을 받지 않는 장면(scene) 정보가 될 수 있는
Figure pat00060
Figure pat00061
라고 하면, 플리커 정보 결정부(120)는 장면 정보에 독립적인 광원의 플리커 정보인 A',
Figure pat00062
및 B'를 수학식 11 내지 수학식 14를 이용하여 결정할 수 있다.
Figure pat00063
Figure pat00064
Figure pat00065
Figure pat00066
Figure pat00067
수학식 11 내지 14에서,
Figure pat00068
Figure pat00069
가 될 수 있다.
또한, 수학식 5와 관련하여, 플리커 정보 결정부(120)는 장면 정보에 독립적인 광원의 플리커 정보를 수학식 15를 이용하여 결정할 수 있다.
Figure pat00070
Figure pat00071
이어서, 플리커 정보 결정부(120)는 획득된 플리커 정보인 A',
Figure pat00072
및 B'를 이용하여, 수학식 16을 통해, 다른 플리커 정보인 flamp를 결정할 수 있다.
Figure pat00073
수학식 16에서,
Figure pat00074
이고,
Figure pat00075
이다.
즉, 플리커 정보 결정부(120)는 기 획득된 데이터 (
Figure pat00076
, )를 이용하여, iterative approach를 통해 flamp를 획득할 수 있다. 보다 구체적으로, 플리커 정보 결정부(120)는 수학식 17로 나타난 objective function을 이용하여 수학식 18을 통해 flamp를 결정할 수 있다.
Figure pat00078
Figure pat00079
Figure pat00080
Figure pat00081
Figure pat00082
Figure pat00083
또한, 일 실시예에 따라, 플리커 정보 결정부(120)는 수학식 19을 이용하여 광원의 플리커 정보인 (
Figure pat00084
,
Figure pat00085
,
Figure pat00086
,
Figure pat00087
) 를 결정할 수 있다.
Figure pat00088
수학식 19에서,
Figure pat00089
이고,
Figure pat00090
이다.
즉, 플리커 정보 결정부(120)는 기 획득된 데이터 (
Figure pat00091
,
Figure pat00092
)를 이용하여, iterative approach를 통해
Figure pat00093
를 결정할 수 있다. 보다 구체적으로, 플리커 정보 결정부(120)는 수학식 20으로 나타난 objective function을 이용하여 수학식 21을 통해
Figure pat00094
를 결정할 수 있다.
Figure pat00095
Figure pat00096
Figure pat00097
Figure pat00098
Figure pat00099
Figure pat00100
Figure pat00101
Figure pat00102
Figure pat00103
Figure pat00104
또한, 촬상 소자(110)는 기 설정된 시간 간격에 따라, 기 설정된 노광 조건에 기초하여, 적어도 하나의 프레임에 대응되는 촬상 신호를 주기적으로 획득할 수 있고, 플리커 정보 결정부(120)는 기 설정된 시간 간격에 따라 획득된 촬상 신호를 이용하여, 이전에 결정된 광원의 플리커 정보를 주기적으로 업데이트할 수 있다.
촬상 소자 제어부(130)는 플리커 정보 결정부(120)에 의해 결정된 광원의 플리커 정보에 기초하여, 광원으로 인한 플리커 발생을 회피하기 위해 촬상 소자(110)의 노광 시작 시점을 제어할 수 있다. 즉, 촬상 소자 제어부(130)는 광원으로 인한 플리커 발생을 회피하기 위한 노광 시작 시점을 결정할 수 있고, 결정된 노광 시작 시점으로 촬상 소자(110)를 제어할 수 있다. 또한, 일 실시예에 따라, 촬상 소자 제어부(130)는 광원의 플리커 정보를 분석하여, 사용자 또는 자동 노출(auto exposure) 알고리즘에 의해 결정된 노출 시간에 대해 플리커 발생을 회피하기 위한 노광 시작 시점을 결정할 수 있고, 결정된 노광 시작 시점으로 촬상 소자(110)를 제어할 수 있다.
일 실시예에 따라, 촬상 소자 제어부(130)는 수학식 22에 기초하여, 촬상 소자(110)의 노광 시작 시점을 결정할 수 있다.
Figure pat00105
수학식 22에서,
Figure pat00106
는 플리커 정보 중 광원의 위상 정보를 의미하고,
Figure pat00107
는 플리커 정보를 결정하는 데 사용된 노출 시간을 의미하고,
Figure pat00108
는 촬영을 위해 설정된 노출 시간을 의미한다. 또한, 수학식 22에서 정의되는 노광 시작 시점은 기 획득된 적어도 하나의 프레임 중 첫번째 프레임의 첫번째 라인의 노광 시작 시점을 기준으로 설정될 수 있다. 따라서, 사용자가 노출 시간
Figure pat00109
로 정지 영상 촬영을 하고자 하는 경우, 플리커 정보 결정부(120)는 라이브뷰에서 획득된 촬상 신호에 기초하여 플리커 정보를 결정할 수 있고, 촬상 소자 제어부(130)는 결정된 플리커 정보 및 수학식 22를 이용하여, 광원으로 인한 플리커 발생을 회피하기 위한 촬상 소자(110)의 노광 시작 시점을 제어할 수 있다. 또한, 촬상 소자 제어부(130)에 의해 결정되는 노광 시작 시점은 광원에 의해 촬상 소자(110)가 가장 밝게 노광되는 시점이 될 수 있다. 보다 구체적으로는, 촬상 소자 제어부(130)에 의해 결정되는 노광 시작 시점은 촬상 소자(110)의 첫번째 라인에서 가장 밝게 노광되는 시점이 될 수 있다.
또한, 다른 실시예에 따라, 플리커 정보 결정부(120)가 수학식 6에 기초하여 광원의 플리커 정보를 획득한 경우, 촬상 소자 제어부(130)는 수학식 23에 기초하여, 촬상 소자(110)의 노광 시작 시점을 결정할 수 있다.
Figure pat00110
수학식 23에서,
Figure pat00111
는 플리커 정보 중 광원의 위상 정보를 의미하고,
Figure pat00112
는 플리커 정보를 결정하는 데 사용된 노출 시간을 의미하고,
Figure pat00113
는 촬영을 위해 설정된 노출 시간을 의미하고,
Figure pat00114
는 촬상 소자(110)의 라인 위치중 가장 밝은 조명상태로 촬영할 라인 위치를 나타내고, tL은 촬상 소자(110)의 라인간 노광 시작 시점의 시간 차이를 의미하고, flamp는 플리커 정보 중 광원의 전원 주파수 정보를 의미하고, N은 정수를 의미한다. 또한, 수학식 23에서 정의되는 노광 시작 시점은 기 획득된 적어도 하나의 프레임 중 첫번째 프레임의 첫번째 라인의 노광 시작 시점을 기준으로 설정될 수 있다. 따라서, 사용자가 노출 시간
Figure pat00115
로 정지 영상 촬영을 하고자 하는 경우, 플리커 정보 결정부(120)는 라이브뷰에서 획득된 촬상 신호에 기초하여 플리커 정보를 결정할 수 있고, 촬상 소자 제어부(130)는 결정된 플리커 정보 및 수학식 23을 이용하여, 광원으로 인한 플리커 발생을 회피하기 위한 촬상 소자(110)의 노광 시작 시점을 제어할 수 있다. 또한, 촬상 소자 제어부(130)에 의해 결정되는 노광 시작 시점은 광원에 의해 촬상 소자(110)가 가장 밝게 노광되는 시점이 될 수 있다. 보다 구체적으로는, 수학식 22와 비교하여 추가된 부분인
Figure pat00116
에 의해, 촬상 소자 제어부(130)에 의해 결정되는 노광 시작 시점은 촬상 소자(110)의 중간에 해당하는 라인에서 가장 밝게 노광되는 시점이 될 수 있다. 또한, 촬상 소자 제어부(130)는
Figure pat00117
를 조절하여, 촬상 소자(110)의 기 설정된 라인에서 가장 밝게 노광되는 시점을 제어할 수 있다. 또한, 수학식 22와 비교하여 추가된 부분인
Figure pat00118
에 의해, 촬상 소자 제어부(130)는 복수의 정지 영상들을 촬영하기 위한 노광 개시 시점들을 광원에 의해 촬상 소자(110)가 가장 밝게 노광되는 주기적인 시점들로 결정할 수 있다.
또 다른 실시예에 따라, 플리커 정보 결정부(120)가 수학식 3에 기초하여 광원의 플리커 정보를 결정한 경우, 촬상 소자 제어부(130)는 수학식 24에 기초하여, 촬상 소자(110)의 노광 시작 시점을 결정할 수 있다.
Figure pat00119
수학식 24에서,
Figure pat00120
는 플리커 정보 중 광원의 전원 위상 정보를 의미하고,
Figure pat00121
는 플리커 정보를 결정하는 데 사용된 노출 시간을 의미하고,
Figure pat00122
는 촬영을 위해 설정된 노출 시간을 의미하고,
Figure pat00123
는 촬상 소자(110)의 라인 위치중 가장 밝은 조명상태로 촬영할 라인 위치를 나타내고, tL은 촬상 소자(110)의 라인간 노광 시작 시점의 시간 차이를 의미하고, flamp는 플리커 정보 중 광원의 전원 주파수 정보를 의미하고, N은 정수를 의미한다. 또한, 수학식 24에서 정의되는 노광 시작 시점은 기 획득된 적어도 하나의 프레임 중 첫번째 프레임의 첫번째 라인의 노광 시작 시점을 기준으로 설정될 수 있다.
도 4는 촬상 소자 제어부(130)가 촬상 소자(110)의 노광 시작 시점을 제어하는 실시예를 나타낸다.
촬상 소자(110)는 기 설정된 노광 조건인 노광 개시 시점(401,402,403, 404)에 기초하여, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득할 수 있다. 이어서, 플리커 정보 결정부(120)는 획득된 촬상 신호에 기초하여, 광원의 플리커 정보를 결정할 수 있다.
따라서, 촬상 소자 제어부(130)는 광원의 플리커 정보에 기초하여, 광원으로 인한 플리커 발생을 회피하기 위해 촬상 소자(110)의 노광 시작 시점(405,406,407,408)을 제어할 수 있다. 즉, 촬상 소자 제어부(130)에 의해 제어되는 노광 시작 시점(405,406,407,408)은 광원에 의해 촬상 소자(110)가 가장 밝게 노광되는 시점이 될 수 있다.
또한, 촬상 소자 제어부(130)는 플리커 정보 결정부(120)에 의해 결정된 광원의 플리커 정보에 기초하여, 광원으로 인한 플리커 현상이 발생하였는지 여부를 판단할 수 있다. 일 실시예에 따라, 촬상 소자 제어부(130)는 광원의 플리커 정보 중 광원의 진폭 정보 및 광원의 평균 밝기 정보에 기초하여, 광원으로 인한 플리커 현상이 발생하였는지 여부를 판단할 수 있다. 예를 들어, 촬상 소자 제어부(130)는 수학식 6에서 개시되는 광원의 진폭 정보 A 및 광원의 평균 밝기 정보 B의 비율과 소정값과의 비교를 통해, 광원으로 인한 플리커 현상이 발생하였는지 여부를 판단할 수 있다. 판단 결과, 광원으로 인한 플리커 현상이 발생하는 경우, 촬상 소자 제어부(130)는 광원으로 인한 플리커 발생을 회피하기 위해 촬상 소자(110)의 노광 시작 시점을 제어할 수 있다. 또한, 판단 결과, 광원으로 인한 플리커 현상이 발생하지 않는 경우, 촬상 소자 제어부(130)는 별도로 플리커 발생을 회피하기 위한 촬상 소자의 노광 시점을 결정하지 않고, 기 설정된 방법에 따라 촬상 소자를 제어하여 촬영을 진행할 수 있다.
촬상 소자(110)는 촬상 소자 제어부(130)에 의해 제어된 노광 개시 시점에 기초하여, 정지 영상 또는 동영상에 대응되는 촬상 신호를 획득할 수 있다. 이어서, 플리커 정보 결정부(120)는 직전에 촬영된 정지 영상 또는 동영상에 대응되는 촬상 신호를 이용하여, 광원의 플리커 정보를 결정할 수 있고, 기존의 광원의 플리커 정보를 업데이트할 수 있다. 이어서, 촬상 소자 제어부(130)는 업데이트된 플리커 정보에 기초하여, 촬상 소자(110)의 노광 개시 시점을 제어할 수 있다. 따라서, 촬영 장치(100)가 정지 영상 또는 동영상을 촬영할 때마다, 플리커 정보 결정부(120)는 광원의 플리커 정보를 업데이트할 수 있고, 촬상 소자 제어부(130)는 업데이트된 플리커 정보에 기초하여, 변동 가능한 광원의 플리커 발생을 회피하기 위해,촬상 소자(110)의 노광 시작 시점을 제어할 수 있다.
일 실시예에 따라, 촬상 소자(110)는, 촬상 소자(110)의 전체 영역을 대상으로 제어된 노광 조건에 기초하여, 적어도 하나의 프레임의 전체 영역에 대응되는 촬상 신호를 획득할 수 있고, 플리커 정보 결정부(120)는 획득된 적어도 하나의 프레임의 전체 영역에 대응되는 촬상 신호에 기초하여, 광원의 플리커 정보를 결정할 수 있다. 이어서, 촬상 소자 제어부(130)는 결정된 광원의 플리커 정보에 기초하여, 플리커 발생을 회피하기 위해 촬상 소자(110)를 제어할 수 있다. 또한, 다른 실시예에 따라, 촬상 소자(110)는, 촬상 소자(110)의 일부 영역을 대상으로 제어된 노광 조건에 기초하여, 적어도 하나의 프레임의 일부 영역에 대응되는 촬상 신호를 획득할 수 있고, 플리커 정보 결정부(120)는 획득된 적어도 하나의 프레임의 일부 영역에 대응되는 촬상 신호에 기초하여, 광원의 플리커 정보를 결정할 수 있다. 이어서, 촬상 소자 제어부(130)는 결정된 광원의 플리커 정보에 기초하여, 적어도 하나의 프레임의 다른 일부 영역에서 플리커 현상이 회피되도록 촬상 소자(110)를 제어할 수 있다. 예를 들어, 촬영 장치(100)가 동영상을 촬영하는 경우, 촬상 소자 제어부(130)는 촬상 소자(110)의 상단 또는 하단 등 일부 영역에 대해서만 플리커 현상이 발생하기 위한 노광 조건을 적용할 수 있고, 촬상 소자 제어부(130)는 촬상 소자(110)의 그 외 영역에 대해서는 플리커 현상이 회피되도록 촬상 소자(110)를 제어할 수 있다. 그 결과, 촬영 장치(100)는 촬상 소자(110)의 그 외 영역에 대해서 플리커 현상이 회피되는 동영상을 촬영 및 저장할 수 있다.
도 4B는 플리커가 발생된 적어도 하나의 프레임의 전체 영역을 기초로, 광원의 플리커 정보를 결정하는 실시예를 나타낸다.
촬상 소자 제어부(130)는 f-3번째 프레임, f-2번째 프레임, 및 f-1번째 프레임의 전체 영역(예로, 도 4B의 플리커 검출 영역)에서 플리커 현상이 발생하도록 촬상 소자(110)를 제어할 수 있고, 플리커 정보 결정부(120)는 f-3번째 프레임, f-2번째 프레임, 및 f-1번째 프레임의 전체 영역을 기초로, 광원의 플리커 정보를 결정할 수 있다. 이어서, 촬상 소자 제어부(130)는 결정된 광원의 플리커 정보에 기초하여, 광원으로 인한 플리커 발생을 회피하기 위해 촬상 소자(110)를 제어할 수 있고, 그 결과 촬상 소자(110)는 플리커 발생이 회피된 f번째 프레임을 획득할 수 있다. 따라서, 촬영 장치(100)는 플리커 발생이 회피된 f번째 프레임을 저장할 수 있다. 또한, 이어서 촬영 장치(100)는 f-3번째 프레임 내지 f번째 프레임을 이용하여, 광원의 플리커 정보를 결정할 수 있고, 플리커 발생이 회피된 f+1번째 프레임을 저장할 수 있다.
도 4C는 플리커가 발생된 적어도 하나의 프레임의 일부 영역을 기초로, 광원의 플리커 정보를 결정하는 실시예를 나타낸다.
촬상 소자 제어부(130)는 f-3번째 프레임, f-2번째 프레임, 및 f-1번째 프레임 각각의 일부 영역(예로, 도 4C 상의 플리커 검출 영역)에서 플리커 현상이 발생하도록 촬상 소자(110)를 제어할 수 있고, 플리커 정보 결정부(120)는 플리커 현상이 발생한 각 프레임의 일부 영역을 기초로, 광원의 플리커 정보를 결정할 수 있다. 이어서, 촬상 소자 제어부(130)는 결정된 광원의 플리커 정보에 기초하여, 각 프레임의 다른 일부 영역(예로, 도 4C 상의 저장 영역)에서 플리커 발생을 회피되도록 촬상 소자(110)를 제어할 수 있고, 그 결과 촬영 장치(100)는 플리커 발생이 회피된 각 프레임의 다른 일부 영역을 저장할 수 있다.
또한, 다른 실시예에 따라, 촬영 장치(100)가 정지 영상 또는 동영상을 촬영할 때마다, 촬상 소자 제어부(130)는 직전에 촬영된 정지 영상 또는 동영상 내에서 검출된 조명의 가장 밝은 라인의 위치에 기초하여, 촬상 소자(110)의 노광 시작 시점을 제어할 수 있다. 일 실시예에 따라, 조명의 가장 밝은 라인위치는 영상들 간의 움직임이 보상된 평균영상과 직전에 촬영된 영상과의 비교, 또는 플리커 정보를 통해 예측된 촬영 영상과 실제 촬영된 영상과의 비교 등을 통해 결정될 수 있다. 즉, 직전에 촬영된 정지 영상 또는 동영상에 기초한 플리커 정보의 업데이트 없이도, 촬상 소자 제어부(130)는 직전에 촬영된 정지 영상 또는 동영상 내에서 검출된 조명의 가장 밝은 라인의 위치에 기초하여, 촬상 소자(110)의 노광 시작 시점을 제어할 수 있다. 예를 들어, 촬상 소자 제어부(130)는 수학식 25에 기초하여, 촬상 소자(110)의 노광 시작 시점을 제어할 수 있다.
Figure pat00124
수학식 25에서, △l은 직전에 촬영된 정지 영상 또는 동영상 내에서 검출된 조명의 가장 밝은 라인의 위치와 중앙 라인의 위치 차이를 의미하고,
Figure pat00125
는 플리커 정보 중 광원의 위상 정보를 의미하고,
Figure pat00126
는 플리커 정보를 획득하는 데 사용된 노출 시간을 의미하고, tL은 촬상 소자(110)의 라인간 노광 시작 시점의 시간 차이를 의미하고, flamp는 플리커 정보 중 광원의 전원 주파수 정보를 의미하고, N은 정수를 의미한다.
일 실시예에 따라, 촬상 소자 제어부(130)는 플리커 정보 결정부(120)에 의해 획득된 광원의 플리커 정보에 기초하여, 광원으로 인한 플리커 발생을 회피하기 위해 촬상 소자(110)의 라인 별 노광 시간을 제어할 수 있다.
일 실시예에 따라, 플리커 정보 결정부(120)는 라이브뷰에서 기 획득된 적어도 하나의 프레임에 대응되는 촬상 신호에 기초하여 광원의 플리커 정보를 결정하는 과정에서, 촬상 소자(110)의 라인별 밝기의 변화 정도를 계산할 수 있다. 따라서, 촬상 소자 제어부(130)는 촬상 소자(110)의 라인별 밝기의 변화 정도를 보상할 수 있는 촬상 소자(110)의 라인별 노광 시간을 결정할 수 있고, 결정된 라인별 노광 시간으로 촬상 소자(110)를 제어할 수 있다. 예를 들어, 촬상 소자 제어부(130)는 플리커 정보 결정부(120)에 의해 획득된 광원의 플리커 정보를 이용하여 촬상 소자(110)의 라인 l에서의 광원의 밝기 정보
Figure pat00127
를 계산할 수 있다. 단,
Figure pat00128
의 최대값은 1로 정규화 되었다고 가정한다. 이어서, 촬상 소자 제어부(130)는 기존의 라인별 노광 시간
Figure pat00129
을 이용하여, 촬상 소자(110)의 라인별 밝기 변화를 보상할 수 있는 라인별 노광 시간
Figure pat00130
=
Figure pat00131
/
Figure pat00132
을 결정할 수 있다.
따라서, 촬상 소자 제어부(130)는 결정된 라인별 노광 시간으로 촬상 소자(110)를 제어할 수 있고, 촬상 소자(110)는 균일한 밝기의 프레임에 대응되는 촬상 신호를 획득할 수 있다.
일 실시예에 따라, 촬상 소자 제어부(130)는 플리커 정보 결정부(120)에 의해 획득된 광원의 플리커 정보에 기초하여, 촬상 소자(110)의 라인별 보정 게인값을 산출할 수 있고, 기 획득된 적어도 하나의 프레임에 산출된 보정 게인값을 적용할 수 있다.
일 실시예에 따라, 플리커 정보 결정부(120)는 기 획득된 적어도 하나의 프레임에 대응되는 촬상 신호에 기초하여 광원의 플리커 정보를 결정하는 과정에서, 촬상 소자(110)의 라인별 밝기의 변화 정도를 계산할 수 있다. 따라서, 촬상 소자 제어부(130)는 촬상 소자(110)의 라인별 밝기의 변화 정도를 보상할 수 있는 라인별 보정 게인값을 산출할 수 있고, 산출된 라인별 보정 게인값을 기 획득된 적어도 하나의 프레임에 적용할 수 있다 예를 들어, 촬상 소자 제어부(130)는 플리커 정보 결정부(120)에 의해 획득된 광원의 플리커 정보를 이용하여 촬상 소자(110)의 라인 l에서의 광원의 밝기 정보
Figure pat00133
를 계산할 수 있다. 단,
Figure pat00134
의 최대값은 1로 정규화 되었다고 가정한다. 이어서, 촬상 소자 제어부(130)는 기존의 라인별 밝기를 나타내는 데이터
Figure pat00135
에 보정 게인값 1/
Figure pat00136
를 적용하여 밝기가 보정된 데이터
Figure pat00137
=
Figure pat00138
/
Figure pat00139
를 획득할 수 있다.
따라서, 촬상 소자 제어부(130)는 결정된 보정 게인값을 기 획득된 적어도 하나의 프레임에 적용하여 기 획득된 적어도 하나의 프레임의 플리커 현상을 제거할 수 있다.
도 5는 촬영 장치(100)의 동작 방법을 설명하기 위한 도면이다.
도 5에 도시된 방법은, 도 1의 촬영 장치(100)에 의해 수행될 수 있고, 중복되는 설명에 대해서는 생략한다.
단계 s510에서, 촬영 장치(100)는 기 설정된 노광 조건에 기초하여, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득할 수 있다. 일 실시예에 따라, 기 설정된 조건은 광원에 대한 플리커(flicker) 발생을 위한 노광 조건이 될 수 있다. 보다 구체적으로, 촬영 장치(100)는 광원에 대한 플리커 발생을 강제하기 위한 노광 조건인 노광 시작 시점 및 노광 시간을 결정할 수 있고, 촬영 장치(100)는 결정된 노광 시작 시점 및 노광 시간에 기초하여, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득할 수 있다.
또한, 촬영 장치(100)는 라이브뷰(liveview) 모드 하에서, 광원에 대한 플리커(flicker) 발생을 위한 노광 조건에 따라, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득할 수 있다. 일 실시예에 따라, 촬영 장치(100)는 라이브뷰의 FPS(Frame Per Second)가 일정한 상태에서, 광원에 대한 플리커(flicker) 발생을 위한 노광 조건에 따라, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득할 수 있다. 또한, 다른 실시예에 따라, 촬영 장치(100)는 라이브뷰의 FPS(Frame Per Second)가 변경된 상태에서, 광원에 대한 플리커(flicker) 발생을 위한 노광 조건에 따라, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득할 수 있다.
또한, 일 실시예에 따라, 촬영 장치(100)는, 사용자에 의해 설정된 노광 시간이 소정값보다 작은 경우, 기 설정된 노광 조건에 기초하여, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득할 수 있다. 예를 들어, 사용자에 의해 설정된 노광 시간이 소정값보다 작은 경우 플리커가 발생할 가능성이 크기 때문에, 촬영 장치(100)는 플리커 발생을 강제하기 위한 노광 조건에 기초하여, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득할 수 있다.
단계 s520에서, 촬영 장치(100)는 s510에서 획득된 촬상 신호를 이용하여, 광원의 플리커 정보를 결정할 수 있다.
일 실시예에 따라, 촬영 장치(100)는 적어도 하나의 프레임에 대응되는 촬상 신호를 이용하여, 광원의 플리커 정보인 광원의 전원 주파수 정보, 광원의 위상 정보, 광원의 진폭 정보, 및 광원에 의해 영향을 받지 않는 장면(scene)의 광원의 평균 밝기 정보를 결정할 수 있다.
또한, 촬영 장치(100)는 기 설정된 시간 간격에 따라, 기 설정된 노광 조건에 기초하여, 적어도 하나의 프레임에 대응되는 촬상 신호를 주기적으로 획득할 수 있고, 촬영 장치(100)는 기 설정된 시간 간격에 따라 획득된 촬상 신호를 이용하여, 이전에 결정된 광원의 플리커 정보를 주기적으로 업데이트할 수 있다.
단계 s530에서, 촬영 장치(100)는 s520에서 결정된 광원의 플리커 정보에 기초하여, 광원으로 인한 플리커 발생을 회피하기 위해 촬상 소자의 노광 시작 시점을 제어할 수 있다. 즉, 촬영 장치(100)는 광원으로 인한 플리커 발생을 회피하기 위한 노광 시작 시점을 결정할 수 있고, 결정된 노광 시작 시점으로 촬상 소자를 제어할 수 있다. 일 실시예에 따라, 촬상 소자의 노광 시작 시점은 촬상 소자의 첫번째 라인에서 가장 밝게 노광되는 시점이 될 수 있으며, 다른 실시예에 따라, 촬상 소자의 노광 시작 시점은 촬상 소자의 중간에 해당되는 라인에서 가장 밝게 노광되는 시점이 될 수 있다. 또한, 복수의 정지 영상들을 촬영하기 위해 촬상 소자의 노광 시작 시점은 광원에 의해 촬상 소자가 가장 밝게 노광되는 주기적인 시점들이 될 수 있다.
또한, 일 실시예에 따라, 촬영 장치(100)는 s520에서 결정된 광원의 플리커 정보에 기초하여, 광원으로 인한 플리커 발생을 회피하기 위해 촬상 소자의 라인 별 노광 시간을 제어할 수 있다. 일 실시예에 따라, 촬영 장치(100)는 라이브뷰에서 기 획득된 적어도 하나의 프레임에 대응되는 촬상 신호에 기초하여 광원의 플리커 정보를 결정하는 과정에서, 촬상 소자의 라인별 밝기의 변화 정도를 계산할 수 있다. 이어서, 촬영 장치(100)는 촬상 소자의 라인별 밝기의 변화 정도를 보상할 수 있는 촬상 소자의 라인별 노광 시간을 결정할 수 있고, 결정된 라인별 노광 시간으로 촬상 소자를 제어할 수 있다. 따라서, 촬영 장치(100)는 결정된 라인별 노광 시간으로 촬상 소자를 제어할 수 있고, 촬상 소자는 균일한 밝기의 프레임에 대응되는 촬상 신호를 획득할 수 있다.
또한, 다른 실시예에 따라, 촬영 장치(100)는 s520에서 결정된 광원의 플리커 정보에 기초하여, 촬상 소자(110)의 라인별 보정 게인값을 산출할 수 있고, 기 획득된 적어도 하나의 프레임에 산출된 보정 게인값을 적용할 수 있다. 일 실시예에 다라, 촬영 장치(100)는 기 획득된 적어도 하나의 프레임에 대응되는 촬상 신호에 기초하여 광원의 플리커 정보를 결정하는 과정에서, 촬상 소자의 라인별 밝기의 변화 정도를 계산할 수 있다. 이어서, 촬영 장치(100)는 촬상 소자의 라인별 밝기의 변화 정도를 보상할 수 있는 라인별 보정 게인값을 산출할 수 있고, 산출된 라인별 보정 게인값을 기 획득된 적어도 하나의 프레임에 대응되는 촬상 신호에 적용할 수 있다. 따라서, 촬영 장치(100)는 결정된 보정 게인값을 기 획득된 적어도 하나의 프레임에 적용하여 기 획득된 적어도 하나의 프레임의 플리커 현상을 제거할 수 있다.
도 6은 촬영 장치(100)의 동작 방법의 일 실시예를 나타낸다.
도 6에 도시된 방법은, 도 1의 촬영 장치(100)에 의해 수행될 수 있고, 중복되는 설명에 대해서는 생략한다.
단계 s610에서, 촬영 장치(100)는 기 설정된 노광 조건에 기초하여, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득할 수 있다. s610은 도 5의 s510과 대응될 수 있는 바, 중복되는 내용에 대해서는 설명을 생략한다.
단계 s620에서, 촬영 장치(100)는 s610에서 획득된 촬상 신호를 이용하여, 광원의 플리커 정보를 결정할 수 있다. s620은 도 5의 s520과 대응될 수 있는 바, 중복되는 내용에 대해서는 설명을 생략한다.
단계 s630에서, 촬영 장치(100)는 s620에서 결정된 광원의 플리커 정보에 기초하여, 광원으로 인한 플리커 발생을 회피하기 위해 촬상 소자의 노광 시작 시점을 제어할 수 있다. s630은 도 5의 s530과 대응될 수 있는 바, 중복되는 내용에 대해서는 설명을 생략한다.
단계 s640에서, 촬영 장치(100)는 s630에서 제어된 노광 시작 시점에 기초하여, 정지 영상 또는 동영상에 대응되는 촬상 신호를 획득할 수 있다.
단계 s650에서, 촬영 장치(100)는 s640에서 획득된 정지 영상 또는 동영상에 대응되는 촬상 신호를 이용하여, 기 결정된 광원의 플리커 정보를 업데이트할 수 있다. 즉, 촬영 장치(100)는 s640에서 획득된 정지 영상 또는 동영상에 대응되는 촬상 신호를 이용하여, 새로운 광원의 플리커 정보를 결정할 수 있고, 기존의 광원의 플리커 정보를 새로운 광원의 플리커 정보로 업데이트할 수 있다.
단계 s660에서, 촬영 장치(100)는 s650에서 업데이트된 광원의 플리커 정보에 기초하여, 촬상 소자의 노광 시작 시점을 제어할 수 있다. 따라서, 정지 영상 또는 동영상이 촬영될 때마다, 촬영 장치(100)는 광원의 플리커 정보를 업데이트하여, 변동 가능한 광원의 플리커 발생을 회피하기 위해, 촬상 소자의 노광 시작 시점을 제어할 수 있다.
또한, 일 실시예에 따라, 촬영 장치(100)는 s650에서 업데이트된 광원의 플리커 정보에 기초하여, 촬상 소자의 라인별 노광 시간을 제어할 수 있다.
또한, 다른 실시예에 따라, 촬영 장치(100)는 s650에서 업데이트된 광원의 플리커 정보에 기초하여, 촬상 소자의 라인별 보정 게인값을 산출할 수 있고, 기 획득된 정지 영상 또는 동영상에 대응되는 촬상 신호에 산출된 보정 게인값을 적용할 수 있다.
도 7은 촬영 장치(100)의 동작 방법의 일 실시예를 나타낸다.
도 7에 도시된 방법은, 도 1의 촬영 장치(100)에 의해 수행될 수 있고, 중복되는 설명에 대해서는 생략한다.
단계 s710에서, 촬영 장치(100)는 기 설정된 노광 조건에 기초하여, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득할 수 있다. S710은 도 5의 s510과 대응될 수 있는 바, 중복되는 내용에 대해서는 설명을 생략한다.
단계 s720에서, 촬영 장치(100)는 s710에서 획득된 촬상 신호를 이용하여, 광원의 플리커 정보를 결정할 수 있다. S720은 도 5의 s520과 대응될 수 있는 바, 중복되는 내용에 대해서는 설명을 생략한다.
단계 s730에서, 촬영 장치(100)는 s720에서 결정된 광원의 플리커 정보에 기초하여, 광원으로 인한 플리커 현상이 발생하였는지 여부를 판단할 수 있다. 일 실시예에 따라, 촬영 장치(100)는 광원의 플리커 정보 중 광원의 진폭 정보 및 광원의 평균 밝기 정보에 기초하여, 광원으로 인한 플리커 현상이 발생하였는지 여부를 판단할 수 있다.
S730에서 판단 결과, 광원으로 인한 플리커 현상이 발생하는 경우 촬영 장치(100)는 광원으로 인한 플리커 발생을 회피하기 위해 촬상 소자의 노광 시작 시점을 제어할 수 있다.(s740)
S730에서 판단 결과, 광원으로 인한 플리커 현상이 발생하지 않은 경우, 촬영 장치(100)는 별도로 플리커 발생을 회피하기 위한 촬상 소자의 노광 시점을 결정하지 않고, 기 설정된 방법에 따라 촬상 소자를 제어하여 촬영을 진행할 수 있다.(s750)
도 8은 촬영 장치(100)의 동작 방법의 일 실시예를 나타낸다.
도 8에 도시된 방법은, 도 1의 촬영 장치(100)에 의해 수행될 수 있고, 중복되는 설명에 대해서는 생략한다.
단계 s810에서, 촬영 장치(100)는 기 설정된 노광 조건에 기초하여, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득할 수 있다. S810은 도 5의 s510과 대응될 수 있는 바, 중복되는 내용에 대해서는 설명을 생략한다.
단계 s820에서, 촬영 장치(100)는 s810에서 획득된 촬상 신호를 이용하여, 광원의 플리커 정보를 결정할 수 있다. S820은 도 5의 s520과 대응될 수 있는 바, 중복되는 내용에 대해서는 설명을 생략한다.
단계 s830에서, 촬영 장치(100)는 s820에서 결정된 광원의 플리커 정보에 기초하여, 광원으로 인한 플리커 발생을 회피하기 위해 촬상 소자의 라인 별 노광 시간을 제어할 수 있다. 일 실시예에 따라, 촬영 장치(100)는 라이브뷰에서 기 획득된 적어도 하나의 프레임에 대응되는 촬상 신호에 기초하여 광원의 플리커 정보를 결정하는 과정에서, 촬상 소자의 라인별 밝기의 변화 정도를 계산할 수 있다. 이어서, 촬영 장치(100)는 촬상 소자의 라인별 밝기의 변화 정도를 보상할 수 있는 촬상 소자의 라인별 노광 시간을 결정할 수 있고, 결정된 라인별 노광 시간으로 촬상 소자를 제어할 수 있다. 따라서, 촬영 장치(100)는 결정된 라인별 노광 시간으로 촬상 소자를 제어할 수 있고, 촬상 소자는 균일한 밝기의 프레임에 대응되는 촬상 신호를 획득할 수 있다.
도 9는 촬영 장치(100)의 동작 방법의 일 실시예를 나타낸다.
도 9에 도시된 방법은, 도 1의 촬영 장치(100)에 의해 수행될 수 있고, 중복되는 설명에 대해서는 생략한다.
단계 s910에서, 촬영 장치(100)는 기 설정된 노광 조건에 기초하여, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득할 수 있다. S810은 도 5의 s510과 대응될 수 있는 바, 중복되는 내용에 대해서는 설명을 생략한다.
단계 s920에서, 촬영 장치(100)는 s910에서 획득된 촬상 신호를 이용하여, 광원의 플리커 정보를 결정할 수 있다. S920은 도 5의 s520과 대응될 수 있는 바, 중복되는 내용에 대해서는 설명을 생략한다.
단계 s930에서, 촬영 장치(100)는 s820에서 결정된 광원의 플리커 정보에 기초하여, 촬상 소자(110)의 라인별 보정 게인값을 산출할 수 있고, 기 획득된 적어도 하나의 프레임에 산출된 보정 게인값을 적용할 수 있다. 일 실시예에 다라, 촬영 장치(100)는 기 획득된 적어도 하나의 프레임에 대응되는 촬상 신호에 기초하여 광원의 플리커 정보를 결정하는 과정에서, 촬상 소자의 라인별 밝기의 변화 정도를 계산할 수 있다. 이어서, 촬영 장치(100)는 촬상 소자의 라인별 밝기의 변화 정도를 보상할 수 있는 라인별 보정 게인값을 산출할 수 있고, 산출된 라인별 보정 게인값을 기 획득된 적어도 하나의 프레임에 대응되는 촬상 신호에 적용할 수 있다. 따라서, 촬영 장치(100)는 결정된 보정 게인값을 기 획득된 적어도 하나의 프레임에 적용하여 기 획득된 적어도 하나의 프레임의 플리커 현상을 제거할 수 있다.
도 10은 다른 실시예에 따른 촬영 장치(1100a)를 나타낸다.
촬영 장치(1100a)는 일 실시예에 따라, 촬영부(1110), 아날로그 신호 처리부(1120), 메모리(1130), 저장/판독 제어부(1140), 데이터 저장부(1142), 프로그램 저장부(1150), 표시 구동부(1162), 표시부(1164), CPU/DSP(Central Processing Unit/Digital Signal Processor)(1170), 조작부(1180), 퀵뷰 이미지 생성부(1192), 및 퀵뷰 이미지 버퍼(1194)를 포함할 수 있다. 도 10에 도시된 촬영 장치(1100a)는 본 실시 예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 10에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시 예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
촬상 소자(1118)는 도 1의 촬상 소자(110)과 대응될 수 있으며, CPU/DSP(1170)는 도 1의 플리커 정보 결정부(120) 또는 촬상 소자 제어부(130)와 대응될 수 있으며, 촬상 소자 제어부(1119)는 도 1의 촬상 소자 제어부(130)와 대응될 수 있으며, 중복되는 내용에 대해서는 설명을 생략한다.
촬영 장치(1100a)의 전체 동작은 CPU/DSP(1170)에 의해 통괄된다. CPU/DSP(1170)는 렌즈 구동부(1112), 조리개 구동부(1115), 촬상 소자 제어부(1119), 표시 구동부(1162), 조작부(1180) 등 촬영 장치(1100a)에 포함된 각 구성 요소의 동작을 위한 제어 신호를 제공한다.
촬영부(1110)는 입사광으로부터 전기적인 신호의 영상을 생성하는 구성요소로서, 렌즈(1111), 렌즈 구동부(1112), 조리개(1113), 조리개 구동부(1115), 촬상 소자(1118), 및 촬상 소자 제어부(1119)를 포함한다.
렌즈(1111)는 복수 군, 복수 매의 렌즈들을 구비할 수 있다. 렌즈(1111)는 렌즈 구동부(1112)에 의해 그 위치가 조절된다. 렌즈 구동부(1112)는 CPU/DSP(1170)에서 제공된 제어 신호에 따라 렌즈(1111)의 위치를 조절한다.
조리개(1113)는 조리개 구동부(1115)에 의해 그 개폐 정도가 조절되며, 촬상 소자(1118)로 입사되는 광량을 조절한다.
렌즈(1111) 및 조리개(1113)를 투과한 광학 신호는 촬상 소자(1118)의 수광면에 이르러 피사체의 상을 결상한다. 촬상 소자(1118)는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device) 이미지센서 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor)일 수 있다. 촬상 소자(1118)는 촬상 소자 제어부(1119)에 의해 감도 등이 조절될 수 있다. 촬상 소자 제어부(1119)는 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 촬상 소자(1118)를 제어할 수 있다.
촬상 소자(1118)의 노광 시간은 셔터(미도시)로 조절된다. 셔터(미도시)는 가리개를 이동시켜 빛의 입사를 조절하는 기계식 셔터와, 촬상 소자(1118)에 전기 신호를 공급하여 노광을 제어하는 전자식 셔터가 있다.
아날로그 신호 처리부(1120)는 촬상 소자(1118)로부터 공급된 아날로그 신호에 대하여, 노이즈 저감 처리, 게인 조정, 파형 정형화, 아날로그-디지털 변환 처리 등을 수행한다.
아날로그 신호 처리부(1120)에 의해 처리된 신호는 메모리(1130)를 거쳐 CPU/DSP(1170)에 입력될 수도 있고, 메모리(1130)를 거치지 않고 CPU/DSP(1170)에 입력될 수도 있다. 여기서 메모리(1130)는 촬영 장치(1100a)의 메인 메모리로서 동작하고, CPU/DSP(1170)가 동작 중에 필요한 정보를 임시로 저장한다. 프로그램 저장부(1130)는 촬영 장치(1100a)를 구동하는 운영 시스템, 응용 시스템 등의 프로그램을 저장한다.
아울러, 촬영 장치(1100a)는 이의 동작 상태 또는 촬영 장치(1100a)에서 촬영한 영상 정보를 표시하도록 표시부(1164)를 포함한다. 표시부(1164)는 시각적인 정보 및/또는 청각적인 정보를 사용자에게 제공할 수 있다. 시각적인 정보를 제공하기 위해 표시부(1164)는 예를 들면, 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널 등으로 이루어질 수 있다.
또한, 촬영 장치(1100a)는 표시부(1164)를 2개 이상 포함할 수도 있고, 터치 입력을 인식할 수 있는 터치 스크린일 수 있다. 예를 들어, 촬영 장치(1100a)에는 촬영될 대상을 나타내는 라이브 뷰 영상을 표시하는 표시부와 촬영 장치(1100a)의 상태를 나타내는 영상을 표시하는 표시부를 포함할 수 있다.
표시 구동부(1162)는 표시부(1164)에 구동 신호를 제공한다.
CPU/DSP(1170)는 입력되는 영상 신호를 처리하고, 이에 따라 또는 외부 입력 신호에 따라 각 구성부들을 제어한다. CPU/DSP(1170)는 입력된 영상 데이터에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행할 수 있다. 또한, 화질 개선을 위한 영상 신호 처리를 하여 생성한 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식이어도 된다. 적절한 형식의 예로서, 정지 영상에 경우, JPEG(Joint Photographic Experts Group)형식이나 JPEG 2000 형식 등으로 변환도 가능하다. 또한, 동영상을 기록하는 경우, MPEG(Moving Picture Experts Group) 표준에 따라 복수의 프레임들을 압축하여 동영상 파일을 생성할 수 있다. 영상 파일은 예를 들면 Exif(Exchangeable image file format) 표준에 따라 생성될 수 있다.
CPU/DSP(1170)로부터 출력된 이미지 데이터는 메모리(1130)를 통하여 또는 직접 저장/판독 제어부(1140)에 입력되는데, 저장/판독 제어부(1140)는 사용자로부터의 신호에 따라 또는 자동으로 영상 데이터를 데이터 저장부(1142)에 저장한다. 또한 저장/판독 제어부(1140)는 데이터 저장부(1142)에 저장된 영상 파일로부터 영상에 관한 데이터를 판독하고, 이를 메모리(1130)를 통해 또는 다른 경로를 통해 표시 구동부에 입력하여 표시부(1164)에 이미지가 표시되도록 할 수도 있다. 데이터 저장부(1142)는 탈착 가능한 것일 수도 있고 촬영 장치(1100a)에 영구 장착된 것일 수 있다.
또한, CPU/DSP(1170)에서는 불선명 처리, 색채 처리, 블러 처리, 에지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다. 아울러, CPU/DSP(1170)에서는 표시부(1164)에 디스플레이하기 위한 표시 영상 신호 처리를 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 행할 수 있다. CPU/DSP(1170)는 외부 모니터와 연결되어, 외부 모니터에 디스플레이 되도록 소정의 영상 신호 처리를 행할 수 있으며, 이렇게 처리된 영상 데이터를 전송하여 외부 모니터에서 해당 영상이 디스플레이 되도록 할 수 있다.
또한, CPU/DSP(1170)는 프로그램 저장부(1150)에 저장된 프로그램을 실행하거나, 별도의 모듈을 구비하여, 오토 포커싱, 줌 변경, 초점 변경, 자동 노출 보정 등을 제어하기 위한 제어 신호를 생성하여, 조리개 구동부(1115), 렌즈 구동부(1112), 및 촬상 소자 제어부(1119)에 제공하고, 셔터, 스트로보 등 촬영 장치(1100a)에 구비된 구성 요소들의 동작을 총괄적으로 제어할 수 있다.
조작부(1180)는 사용자가 제어 신호를 입력할 수 있는 구성이다. 조작부(1180)는 정해진 시간 동안 촬상 소자(1118)를 빛에 노출하여 사진을 촬영하도록 하는 셔터-릴리즈 신호를 입력하는 셔터-릴리즈 버튼, 전원의 온-오프를 제어하기 위한 제어 신호를 입력하는 전원 버튼, 입력에 따라 화각을 넓어지게 하거나 화각을 좁아지게 줌 버튼, 모드 선택 버튼, 기타 촬영 설정값 조절 버튼 등 다양한 기능 버튼들을 포함할 수 있다. 조작부(1180)는 버튼, 키보드, 터치 패드, 터치스크린, 원격 제어기 등과 같이 사용자가 제어 신호를 입력할 수 있는 어떠한 형태로 구현되어도 무방하다.
센서(1190)는 물리량을 계측하거나 촬영 장치(1100a)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 촬영 장치(1100a)에 포함될 수 있는 센서(1190)의 일 예는 도 11을 참조하여 후술한다. 센서(1190)는 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 촬영 장치(1100a)는 CPU/DSP(1170)의 일부로서 또는 별도로, 센서(1190)를 제어하도록 구성된 프로세서를 더 포함하여, CPU/DSP(1170)가 슬립(sleep) 상태에 있는 동안, 센서(1190)를 제어할 수 있다.
도 10에 도시된 촬영 장치(1100a)는 촬영이 수행되는데 필요한 구성들을 도시한 일 예이며, 일부 실시예에 따른 촬영 장치(1100a)는 도 10에 도시된 촬영 장치(1100a)에 한정되지 않음은 물론이다.
도 11은 일부 실시예에 따른 촬영 장치의 다른 예를 도시한 구성도이다.
예를 들면, 전자 장치(2000)는, 도 1 및 도 10에 도시된 촬영 장치(100,1100a)의 전체 또는 일부를 포함할 수 있다. 전자 장치(2000)는 하나 이상의 프로세서(예를 들어, CPU/DSP 또는 AP(application processor))(2010), 통신 모듈(2020), 가입자 식별 모듈(2024), 메모리(2030), 센서 모듈(2040), 입력 장치(2050), 디스플레이(2060), 인터페이스(2070), 오디오 모듈(2080), 카메라 모듈(2091), 전력 관리 모듈(2095), 배터리(2096), 인디케이터(2097), 및 모터(2098) 를 포함할 수 있다.
프로세서(2010)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(2010)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(2010)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 프로세서(2010)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서(image signal processor)를 더 포함할 수 있다. 프로세서(2010)는 도 2에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈(2021))를 포함할 수도 있다. 프로세서(2010) 는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
통신 모듈(2020)은, 예를 들면, 셀룰러 모듈(2021), WiFi 모듈(2023), 블루투스 모듈(2025), GNSS 모듈(2027)(예: GPS 모듈, Glonass 모듈, Beidou 모듈, 또는 Galileo 모듈), NFC 모듈(2028) 및 RF(radio frequency) 모듈(2029)를 포함할 수 있다.
셀룰러 모듈(2021)은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(2021)은 가입자 식별 모듈(예: SIM 카드)(2024)을 이용하여 통신 네트워크 내에서 전자 장치(2000)의 구별 및 인증을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(2021)은 프로세서(2010)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈(2021)은 커뮤니케이션 프로세서(CP: communication processor)를 포함할 수 있다.
WiFi 모듈(2023), 블루투스 모듈(2025), GNSS 모듈(2027) 또는 NFC 모듈(2028) 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 어떤 실시예에 따르면, 셀룰러 모듈(2021), WiFi 모듈(2023), 블루투스 모듈(2025), GNSS 모듈(2027) 또는 NFC 모듈(2028) 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다.
RF 모듈(2029)은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈(2029)은, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter), LNA(low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시예에 따르면, 셀룰러 모듈(2021), WiFi 모듈(2023), 블루투스 모듈(2025), GNSS 모듈(2027) 또는 NFC 모듈(2028) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다.
가입자 식별 모듈(2024)은, 예를 들면, 가입자 식별 모듈을 포함하는 카드 및/또는 내장 SIM(embedded SIM)을 포함할 수 있으며, 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
메모리(2030)는, 예를 들면, 내장 메모리(2032) 또는 외장 메모리(234)를 포함할 수 있다. 내장 메모리(2032)는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다.
외장 메모리(2034)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 외장 메모리(2034)는 다양한 인터페이스를 통하여 전자 장치(2000)와 기능적으로 및/또는 물리적으로 연결될 수 있다.
센서 모듈(2040)은, 예를 들면, 물리량을 계측하거나 전자 장치(2000)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(2040)은, 예를 들면, 제스처 센서(2040A), 자이로 센서(2040B), 기압 센서(2040C), 마그네틱 센서(2040D), 가속도 센서(2040E), 그립 센서(2040F), 근접 센서(2040G), 컬러(color) 센서(2040H)(예: RGB(red, green, blue) 센서), 생체 센서(2040I), 온/습도 센서(2040J), 조도 센서(2040K), 또는 UV(ultra violet) 센서(2040M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로(additionally or alternatively), 센서 모듈(2040)은, 예를 들면, 후각 센서(E-nose sensor), EMG 센서(electromyography sensor), EEG 센서(electroencephalogram sensor), ECG 센서(electrocardiogram sensor), IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 센서 모듈(2040)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 전자 장치(2000)는 프로세서(2010)의 일부로서 또는 별도로, 센서 모듈(2040)을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서(2010)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(2040)을 제어할 수 있다.
입력 장치(2050)는, 예를 들면, 터치 패널(touch panel)(2052),(디지털) 펜 센서(pen sensor)(2054), 키(key)(2056), 또는 초음파(ultrasonic) 입력 장치(2058)를 포함할 수 있다. 터치 패널(2052)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(2052)은 제어 회로를 더 포함할 수도 있다. 터치 패널(2052)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다.
(디지털) 펜 센서(2054)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트(sheet)를 포함할 수 있다. 키(2056)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치(2058)는 마이크(예: 마이크(2088))를 통해, 입력 도구에서 발생된 초음파를 감지하여, 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이(2060)(예: 표시부(164))는 패널(2062), 홀로그램 장치(2064), 또는 프로젝터(2066)를 포함할 수 있다. 패널(2062)은, 예를 들면, 유연하게(flexible), 투명하게(transparent), 또는 착용할 수 있게(wearable) 구현될 수 있다. 패널(2062)은 터치 패널(2052)과 하나의 모듈로 구성될 수도 있다. 홀로그램 장치(2064)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터(2066)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(2000)의 내부 또는 외부에 위치할 수 있다. 한 실시예에 따르면, 디스플레이(2060)는 패널(2062), 홀로그램 장치(2064), 또는 프로젝터(2066)를 제어하기 위한 제어 회로를 더 포함할 수 있다.
인터페이스(2070)는, 예를 들면, HDMI(high-definition multimedia interface)(2072), USB(universal serial bus)(2074), 광 인터페이스(optical interface)(2076), 또는 D-sub(D-subminiature)(2078)를 포함할 수 있다. 추가적으로 또는 대체적으로(additionally and alternatively), 인터페이스(2070)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD(secure digital) 카드/MMC(multi-media card) 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
오디오 모듈(2080)은, 예를 들면, 소리(sound)와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(2080)은, 예를 들면, 스피커(2082), 리시버(2084), 이어폰(2086), 또는 마이크(2088) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
카메라 모듈(2091)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, ISP(image signal processor), 또는 플래시(flash)(예: LED 또는 xenon lamp 등)를 포함할 수 있다.
전력 관리 모듈(2095)은, 예를 들면, 전자 장치(2000)의 전력을 관리할 수 있다. 한 실시예에 따르면, 전력 관리 모듈(2095)은 PMIC(power management integrated circuit), 충전 IC(charger integrated circuit), 또는 배터리 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리(2096)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리(2096)는, 예를 들면, 충전식 전지(rechargeable battery) 및/또는 태양 전지(solar battery)를 포함할 수 있다.
인디케이터(2097)는 전자 장치(2000) 또는 그 일부(예: 프로세서(2010))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(2098)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동(vibration), 또는 햅틱(haptic) 효과 등을 발생시킬 수 있다. 도 3에는 도시되지는 않았으나, 전자 장치(2000)는 모바일 TV 지원을 위한 처리 장치(예: GPU)를 포함할 수 있다. 모바일 TV 지원을 위한 처리 장치는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting), 또는 미디어플로(mediaFloTM) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.
본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시예에서, 전자 장치는 본 문서에서 기술된 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 다양한 실시예에 따른 전자 장치의 구성요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
상기 살펴 본 실시 예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독 가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 실시 예에서 설명하는 특정 실행들은 예시들로서, 어떠한 방법으로도 기술적 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.
본 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 한정되는 것은 아니다. 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims (29)

  1. 기 설정된 노광 조건에 기초하여, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득하는 촬상 소자;
    상기 적어도 하나의 프레임에 대응되는 촬상 신호를 이용하여, 광원의 플리커 정보를 결정하는 플리커 정보 결정부; 및
    상기 광원의 플리커 정보에 기초하여, 상기 광원으로 인한 플리커 발생을 회피하기 위해 상기 촬상 소자의 노광 시작 시점을 제어하는 촬상 소자 제어부;를 포함하는 촬영 장치.
  2. 제 1 항에 있어서,
    상기 촬상 소자 제어부는,
    상기 광원의 플리커 정보에 기초하여, 상기 광원으로 인한 플리커 발생을 회피하기 위해 상기 촬상 소자의 라인별 노광 시간을 제어하는, 촬영 장치.
  3. 제 1 항에 있어서,
    상기 촬상 소자 제어부는,
    상기 광원의 플리커 정보에 기초하여, 상기 촬상 소자의 라인별 보정 게인값을 산출하고, 상기 적어도 하나의 프레임에 상기 라인별 보정 게인값을 적용하는, 촬영 장치.
  4. 제 1 항에 있어서,
    상기 촬상 소자 제어부는,
    상기 광원의 플리커 정보에 기초하여, 상기 광원으로 인한 플리커 발생을 회피하기 위한 노광 시작 시점을 결정하고, 상기 결정된 노광 시작 시점에 따라 상기 촬상 소자의 노광 시작 시점를 제어하는, 촬영 장치.
  5. 제 1 항에 있어서,
    상기 촬상 소자 제어부는,
    라이브뷰 모드(liveview mode)에서 상기 광원에 대한 플리커 발생을 위한 노광 시간 및 노광 시작 시점을 결정하고,
    상기 촬상 소자는,
    상기 결정된 노광 시간 및 노광 시작 시점에 기초하여, 상기 적어도 하나의 프레임에 대응되는 촬상 신호를 획득하는, 촬영 장치.
  6. 제 5 항에 있어서,
    상기 촬상 소자 제어부는,
    라이브뷰의 FPS(Frame Per second)를 유지하거나 또는 변경하여, 상기 노광 시간 및 노광 시작 시점을 결정하는, 촬영 장치.
  7. 제 1 항에 있어서,
    상기 촬상 소자 제어부는,
    상기 광원의 플리커 정보에 기초하여, 상기 적어도 하나의 프레임에서 상기 광원으로 인한 플리커가 발생하였는지 여부를 판단하고,
    상기 판단 결과 발생한 경우, 상기 광원으로 인한 플리커 발생을 회피하기 위해 상기 촬상 소자의 노광 시작 시점을 제어하는, 촬영 장치.
  8. 제 1 항에 있어서,
    상기 광원의 플리커 정보는,
    상기 광원의 위상 정보, 상기 광원의 전원 주파수 정보, 상기 광원의 진폭 정보 및 상기 광원의 평균 밝기 정보 중 적어도 하나를 포함하는, 촬영 장치.
  9. 제 1 항에 있어서,
    상기 촬상 소자의 노광 시작 시점은 상기 촬상 소자의 중앙 영역이 가장 밝게 수광되는 시점인, 촬영 장치.
  10. 제 1 항에 있어서,
    상기 촬상 소자는,
    상기 촬상 소자 제어부에 의해 제어된 노광 시작 시점에 기초하여, 정지 영상 또는 동영상에 대응되는 촬상 신호를 획득하고,
    상기 플리커 정보 결정부는,
    상기 정지 영상 또는 동영상에 대응되는 촬상 신호를 이용하여, 상기 광원의 플리커 정보를 업데이트하고,
    상기 촬상 소자 제어부는,
    상기 업데이트된 광원의 플리커 정보에 기초하여, 상기 광원으로 인한 플리커 발생을 회피하기 위해 상기 촬상 소자의 노광 시작 시점을 제어하는, 촬영 장치.
  11. 제 1 항에 있어서,
    상기 촬상 소자는,
    상기 촬상 소자 제어부에 의해 제어된 노광 시작 시점에 기초하여, 정지 영상 또는 동영상에 대응되는 촬상 신호를 획득하고,
    상기 정지 영상 또는 동영상 내에서 검출된 조명의 가장 밝은 라인의 위치에 기초하여, 상기 촬상 소자의 노광 시작 시점을 제어하는, 촬영 장치.
  12. 제 1 항에 있어서,
    상기 촬상 소자는,
    기 설정된 노광 조건에 기초하여, 적어도 하나의 프레임의 일부 영역에 대응되는 촬상 신호를 획득하고,
    상기 플리커 정보 결정부는,
    상기 적어도 하나의 프레임의 일부 영역에 대응되는 촬상 신호를 이용하여, 상기 광원의 플리커 정보를 결정하는, 촬영 장치.
  13. 기 설정된 노광 조건에 기초하여, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득하는 촬상 소자;
    상기 적어도 하나의 프레임에 대응되는 촬상 신호를 이용하여, 광원의 플리커 정보를 결정하는 플리커 정보 결정부; 및
    상기 광원의 플리커 정보에 기초하여, 상기 광원으로 인한 플리커 발생을 회피하기 위해 상기 촬상 소자의 라인별 노광 시간을 제어하는 촬상 소자 제어부;를 포함하는 촬영 장치.
  14. 기 설정된 노광 조건에 기초하여, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득하는 촬상 소자;
    상기 적어도 하나의 프레임에 대응되는 촬상 신호를 이용하여, 광원의 플리커 정보를 결정하는 플리커 정보 결정부; 및
    상기 광원의 플리커 정보에 기초하여, 상기 촬상 소자의 라인별 보정 게인값을 산출하고, 상기 적어도 하나의 프레임에 상기 라인별 보정 게인값을 적용하는 촬상 소자 제어부;를 포함하는 촬영 장치.
  15. 촬영 장치의 동작 방법에 있어서,
    기 설정된 노광 조건에 기초하여, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득하는 단계;
    상기 적어도 하나의 프레임에 대응되는 촬상 신호를 이용하여, 광원의 플리커 정보를 결정하는 단계; 및
    상기 광원의 플리커 정보에 기초하여, 상기 광원으로 인한 플리커 발생을 회피하기 위해 촬상 소자의 노광 시작 시점을 제어하는 단계;를 포함하는, 방법.
  16. 제 15 항에 있어서,
    상기 광원의 플리커 정보에 기초하여, 상기 광원으로 인한 플리커 발생을 회피하기 위해 상기 촬상 소자의 라인별 노광 시간을 제어하는 단계;를 더 포함하는, 방법.
  17. 제 15 항에 있어서,
    상기 광원의 플리커 정보에 기초하여, 상기 촬상 소자의 라인별 보정 게인값을 산출하는 단계; 및
    상기 적어도 하나의 프레임에 상기 라인별 보정 게인값을 적용하는 단계;를 더 포함하는, 방법.
  18. 제 15 항에 있어서,
    상기 제어하는 단계는,
    상기 광원의 플리커 정보에 기초하여, 상기 광원으로 인한 플리커 발생을 회피하기 위한 노광 시작 시점을 결정하고,
    상기 결정된 노광 시작 시점에 따라 상기 촬상 소자의 노광 시작 시점을 제어하는, 방법.
  19. 제 15 항에 있어서,
    상기 획득하는 단계는,
    라이브뷰 모드(liveview mode)에서 상기 광원에 대한 플리커 발생을 위한 노광 시간 및 노광 시작 시점을 결정하는 단계; 및
    상기 결정되는 노광 시간 및 노광 시작 시점에 기초하여, 상기 적어도 하나의 프레임에 대응되는 촬상 신호를 획득하는 단계;를 포함하는, 방법.
  20. 제 19 항에 있어서,
    상기 라이브뷰 모드에서 노광 시간 및 노광 시작 시점을 결정하는 단계는,
    라이브뷰의 FPS(Frame Per second)를 유지하거나 또는 변경하여, 상기 노광 시간 및 노광 시작 시점을 결정하는, 방법.
  21. 제 15 항에 있어서,
    상기 제어하는 단계는,
    상기 광원의 플리커 정보에 기초하여, 상기 적어도 하나의 프레임에서 상기 광원으로 인한 플리커가 발생하였는지 여부를 판단하는 단계;
    상기 판단 결과 발생한 경우, 상기 광원으로 인한 플리커 발생을 회피하기 위해 상기 촬상 소자의 노광 시작 시점을 제어하는 단계;를 포함하는, 방법.
  22. 제 15 항에 있어서,
    상기 광원의 플리커 정보는,
    상기 광원의 위상 정보, 상기 광원의 전원 주파수 정보, 상기 광원의 진폭 정보 및 상기 광원의 평균 밝기 정보 중 적어도 하나를 포함하는, 방법.
  23. 제 15 항에 있어서,
    상기 촬상 소자의 노광 시작 시점은 상기 촬상 소자의 중앙 영역이 가장 밝게 수광되는 시점인, 방법.
  24. 제 15 항에 있어서,
    상기 제어된 노광 시작 시점에 기초하여, 정지 영상 또는 동영상에 대응되는 촬상 신호를 획득하는 단계;
    상기 정지 영상 또는 동영상에 대응되는 촬상 신호를 이용하여, 상기 광원의 플리커 정보를 업데이트하는 단계; 및
    상기 업데이트된 광원의 플리커 정보에 기초하여, 상기 광원으로 인한 플리커 발생을 회피하기 위해 상기 촬상 소자의 노광 시작 시점을 제어하는 단계를 더 포함하는, 방법.
  25. 제 15 항에 있어서,
    상기 제어된 노광 시작 시점에 기초하여, 정지 영상 또는 동영상에 대응되는 촬상 신호를 획득하는 단계; 및
    상기 정지 영상 또는 동영상 내에서 검출된 조명의 가장 밝은 라인의 위치에 기초하여, 상기 촬상 소자의 노광 시작 시점을 제어하는 단계;를 더 포함하는, 방법.
  26. 촬영 장치의 동작 방법에 있어서,
    기 설정된 노광 조건에 기초하여, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득하는 단계;
    상기 적어도 하나의 프레임에 대응되는 촬상 신호를 이용하여, 광원의 플리커 정보를 결정하는 단계; 및
    상기 광원의 플리커 정보에 기초하여, 상기 광원으로 인한 플리커 발생을 회피하기 위해 촬상 소자의 라인별 노광 시간을 제어하는 단계;를 포함하는, 방법.
  27. 촬영 장치의 동작 방법에 있어서,
    기 설정된 노광 조건에 기초하여, 적어도 하나의 프레임에 대응되는 촬상 신호를 획득하는 단계;
    상기 적어도 하나의 프레임에 대응되는 촬상 신호를 이용하여, 광원의 플리커 정보를 결정하는 단계; 및
    상기 광원의 플리커 정보에 기초하여, 촬상 소자의 라인별 보정 게인값을 산출하고, 상기 적어도 하나의 프레임에 상기 라인별 보정 게인값을 적용하는 단계;를 포함하는, 방법.
  28. 제 15 항에 있어서,
    상기 촬상 신호를 획득하는 단계는,
    기 설정된 노광 조건에 기초하여, 적어도 하나의 프레임의 일부 영역에 대응되는 촬상 신호를 획득하고,
    상기 광원의 플리커 정보를 결정하는 단계는,
    상기 적어도 하나의 프레임의 일부 영역에 대응되는 촬상 신호를 이용하여, 상기 광원의 플리커 정보를 결정하는, 촬영 방법.
  29. 제 15 항 내지 제 28 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020160004409A 2016-01-13 2016-01-13 촬영 장치 및 그 동작 방법 KR102615091B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160004409A KR102615091B1 (ko) 2016-01-13 2016-01-13 촬영 장치 및 그 동작 방법
US15/293,520 US10404922B2 (en) 2016-01-13 2016-10-14 Image capturing apparatus with flicker compensation and method of operating the same
CN201710028358.9A CN106973239B (zh) 2016-01-13 2017-01-13 图像捕获设备和操作该图像捕获设备的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160004409A KR102615091B1 (ko) 2016-01-13 2016-01-13 촬영 장치 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20170084947A true KR20170084947A (ko) 2017-07-21
KR102615091B1 KR102615091B1 (ko) 2023-12-19

Family

ID=59276454

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160004409A KR102615091B1 (ko) 2016-01-13 2016-01-13 촬영 장치 및 그 동작 방법

Country Status (3)

Country Link
US (1) US10404922B2 (ko)
KR (1) KR102615091B1 (ko)
CN (1) CN106973239B (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2568924B (en) 2017-11-30 2022-07-20 Apical Ltd Method of flicker reduction
CN108462837B (zh) * 2018-03-13 2022-06-21 中兴通讯股份有限公司 拍摄方法及装置
KR20200016559A (ko) * 2018-08-07 2020-02-17 삼성전자주식회사 복수의 구간 영상들을 포함하는 동영상 데이터를 생성하는 전자 장치 및 방법
CN110213497B (zh) * 2019-05-15 2021-01-29 成都微光集电科技有限公司 一种检测图像闪烁条纹方法及调整图像曝光时间的方法
CN113873101B (zh) * 2020-06-30 2023-07-18 浙江大华技术股份有限公司 警戒灯的控制方法、装置、存储介质、电子装置
CN112019817B (zh) * 2020-09-03 2023-09-19 浙江大华技术股份有限公司 监控设备控制方法及***、存储介质、电子装置
CN114143470A (zh) * 2020-09-04 2022-03-04 华为技术有限公司 一种调整摄像机曝光时间的方法、装置以及程序产品
CN114422656A (zh) * 2020-10-12 2022-04-29 华为技术有限公司 图像处理方法和装置
CN112383718A (zh) * 2020-11-16 2021-02-19 维沃移动通信(杭州)有限公司 图像曝光方法、装置和电子设备
CN112738414B (zh) * 2021-04-06 2021-06-29 荣耀终端有限公司 一种拍照方法、电子设备及存储介质
CN113596344B (zh) * 2021-07-26 2023-10-24 艾酷软件技术(上海)有限公司 拍摄处理方法、装置、电子设备和可读存储介质
EP4352947A1 (en) 2021-12-16 2024-04-17 Samsung Electronics Co., Ltd. Method and apparatus for removing flicker in a video
WO2023113103A1 (en) * 2021-12-16 2023-06-22 Samsung Electronics Co., Ltd. Method and apparatus for removing flicker in a video

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090128683A1 (en) * 2007-11-21 2009-05-21 Canon Kabushiki Kaisha Image sensing apparatus and control method therefor
US20100123810A1 (en) * 2008-11-14 2010-05-20 Ati Technologies Ulc Flicker Detection Circuit for Imaging Sensors that Employ Rolling Shutters
US20110181753A1 (en) * 2010-01-26 2011-07-28 Canon Kabushiki Kaisha Image capture apparatus and zooming method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100337471C (zh) 2005-10-21 2007-09-12 北京中星微电子有限公司 一种行曝光模式下闪烁的简单判断和消除方法
JP2007189481A (ja) 2006-01-13 2007-07-26 Olympus Imaging Corp デジタル一眼レフカメラ
CN103108132B (zh) 2011-11-15 2016-06-15 慧荣科技股份有限公司 抗闪烁摄录装置与摄录方法
JP6296697B2 (ja) 2013-05-10 2018-03-20 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体
JP6242129B2 (ja) 2013-09-11 2017-12-06 キヤノン株式会社 撮像装置、その制御方法、及び制御プログラム
JP6220225B2 (ja) 2013-10-30 2017-10-25 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、及び記録媒体
KR20150088645A (ko) 2014-01-24 2015-08-03 삼성전자주식회사 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090128683A1 (en) * 2007-11-21 2009-05-21 Canon Kabushiki Kaisha Image sensing apparatus and control method therefor
US20100123810A1 (en) * 2008-11-14 2010-05-20 Ati Technologies Ulc Flicker Detection Circuit for Imaging Sensors that Employ Rolling Shutters
US20110181753A1 (en) * 2010-01-26 2011-07-28 Canon Kabushiki Kaisha Image capture apparatus and zooming method

Also Published As

Publication number Publication date
CN106973239A (zh) 2017-07-21
KR102615091B1 (ko) 2023-12-19
US10404922B2 (en) 2019-09-03
CN106973239B (zh) 2020-07-14
US20170201668A1 (en) 2017-07-13

Similar Documents

Publication Publication Date Title
KR102615091B1 (ko) 촬영 장치 및 그 동작 방법
CN105874776B (zh) 图像处理设备和方法
US10353574B2 (en) Photographic apparatus, control method thereof, and non-transitory computer-readable recording medium
KR20150099302A (ko) 전자 장치와, 그의 제어 방법
EP3609175B1 (en) Apparatus and method for generating moving image data including multiple section images in electronic device
KR20170059704A (ko) 촬영 장치 및 그 동작 방법
KR102400998B1 (ko) 사용자의 제스쳐를 이용하여 기능을 제어하는 방법 및 촬영 장치.
US20160165119A1 (en) Image acquisition method and apparatus
KR20160038460A (ko) 전자 장치와, 그의 제어 방법
US10187566B2 (en) Method and device for generating images
US11153498B2 (en) Image processing method and electronic device supporting same
KR20170014556A (ko) 이동체를 촬영하는 방법 및 촬영 장치.
KR102072731B1 (ko) 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
US10009545B2 (en) Image processing apparatus and method of operating the same
KR20190014959A (ko) 움직임 정보에 기반하여 동영상을 재생하기 위한 장치 및 그의 동작 방법
US9986163B2 (en) Digital photographing apparatus and digital photographing method
US10122937B2 (en) Method and apparatus for processing image obtained by camera
JP2014230088A (ja) 画像調整装置、画像調整方法、画像調整プログラムおよび撮像装置
US8531553B2 (en) Digital photographing apparatus, method of controlling the same and computer readable medium having recorded thereon program for executing the method
KR20210101941A (ko) 전자 장치 및 그의 hdr 영상 생성 방법
KR102494696B1 (ko) 영상을 생성하는 방법 및 디바이스.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant