KR102327842B1 - 촬영 장치 및 그 제어 방법 - Google Patents

촬영 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR102327842B1
KR102327842B1 KR1020150115540A KR20150115540A KR102327842B1 KR 102327842 B1 KR102327842 B1 KR 102327842B1 KR 1020150115540 A KR1020150115540 A KR 1020150115540A KR 20150115540 A KR20150115540 A KR 20150115540A KR 102327842 B1 KR102327842 B1 KR 102327842B1
Authority
KR
South Korea
Prior art keywords
image
information
camera module
buffer
stored
Prior art date
Application number
KR1020150115540A
Other languages
English (en)
Other versions
KR20170021125A (ko
Inventor
이태희
문경환
강권정
한희철
김재곤
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150115540A priority Critical patent/KR102327842B1/ko
Priority to US15/063,751 priority patent/US9848128B2/en
Priority to PCT/KR2016/002703 priority patent/WO2017030262A1/en
Priority to CN201680047437.8A priority patent/CN107925729B/zh
Priority to EP16837204.3A priority patent/EP3338445B1/en
Publication of KR20170021125A publication Critical patent/KR20170021125A/ko
Application granted granted Critical
Publication of KR102327842B1 publication Critical patent/KR102327842B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H04N5/225—
    • H04N5/2258—
    • H04N5/232—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

촬영 장치 및 그 제어 방법이 개시된다. 본 발명에 따른 촬영 장치는 복수의 카메라 모듈 중 제1 카메라 모듈로부터 생성된 복수의 이미지를 저장하는 제1 버퍼, 복수의 카메라 모듈 중 제2 카메라 모듈로부터 생성된 복수의 이미지를 저장하는 제2 버퍼, 제1 카메라 모듈로부터 생성된 이미지를 라이브 이미지로 디스플레이하는 디스플레이부 및 제1 및 제2 버퍼에 저장된 이미지별 영상 정보 및 복수의 카메라 모듈의 촬영 정보 중 적어도 하나를 이용하여 제1 및 제2 버퍼에 저장된 이미지를 분석하며, 제2 버퍼에 저장된 복수의 이미지 중 적어도 하나에 이벤트가 발생한 경우, 제2 카메라 모듈의 상태 알림 서비스를 제공하도록 디스플레이부를 제어하는 제어부를 포함한다. 이에 따라, 촬영 장치는 복수의 카메라 모듈 중 적어도 하나에 이물질이 발생하는 경우, 이물질이 발생한 상황을 보다 직관적으로 사용자에게 알려줄 수 있다.

Description

촬영 장치 및 그 제어 방법{Photographing apparatus and control method thereof}
본 발명은 촬영 장치 및 그 제어 방법에 관한 것으로써, 보다 상세하게는 복수의 카메라 모듈을 포함하는 촬영 장치 및 그 제어 방법에 관한 것이다.
스마트 폰, 테블릿 PC와 같은 휴대용 단말 장치에 장착된 카메라는 사용자가 가장 널리 사용하는 기능 중 하나이다. 따라서, 휴대용 단말 장치에 구비된 카메라의 성능 개선을 위한 기술 개발이 이루어지고 있다.
그러나, 스마트 폰과 같은 휴대용 단말 장치의 사이즈가 제한적이기 때문에 휴대용 단말 장치에 장착되는 카메라 모듈의 사이즈 또한 휴대용 단말 장치의 크기에 대응하여 점차 소형화되도록 개발되고 있다.
한편, 휴대용 단말 장치에 장착된 카메라의 화질과 같은 성능이 보다 우수해지길 바라는 사용자의 니즈를 충족시키기 위해서는 카메라 센서를 증가시켜야 한다. 그러나, 휴대용 단말 장치에 장착되는 카메라 모듈의 사이즈가 소형됨에 따라, 이 같은 카메라의 화질 성능을 개선하는데 한계가 있다.
이 같은 문제를 개선하기 위해서, 최근 스마트 폰과 같은 휴대용 단말 장치에 멀티 카메라가 장착되는 것에 대한 기술 개발이 이루어지고 있다. 이 같이, 휴대용 단말 장치에 멀티 카메라가 장착될 경우, 다양한 영상 서비스를 제공할 수 있다. 그러나, 이 같은 휴대용 단말 장치에 멀티 카메라가 장착될 경우, 종래 단일 카메라가 비해 카메라가 장착되는 영역이 넓어지게 됨으로써, 사용자의 손가락과 같은 이물질이 멀티 카메라의 렌즈에 쉽게 노출될 수 있으며, 이에 따라 사용자가 원하는 영상 촬영을 하지 못하는 문제가 있다.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은 복수의 카메라 모듈 중 적어도 하나에 이물질이 발생한 상황을 보다 직관적으로 사용자에게 알려주도록 함을 목적으로 한다.
나아가, 본 발명은 복수의 카메라 모듈 상에 이물질이 없는 상태에서 영상을 촬영하거나 합성된 영상을 생성하도록 함을 목적으로 한다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 촬영 장치는 복수의 카메라 모듈 중 제1 카메라 모듈로부터 생성된 복수의 이미지를 저장하는 제1 버퍼, 상기 복수의 카메라 모듈 중 제2 카메라 모듈로부터 생성된 복수의 이미지를 저장하는 제2 버퍼, 상기 제1 카메라 모듈로부터 생성된 이미지를 라이브 이미지로 디스플레이하는 디스플레이부 및 상기 제1 및 제2 버퍼에 저장된 이미지별 영상 정보 및 상기 복수의 카메라 모듈의 촬영 정보 중 적어도 하나를 이용하여 상기 제1 및 제2 버퍼에 저장된 이미지를 분석하며, 상기 제2 버퍼에 저장된 복수의 이미지 중 적어도 하나에 이벤트가 발생한 경우, 상기 제2 카메라 모듈의 상태 알림 서비스를 제공하도록 상기 디스플레이부를 제어하는 제어부를 포함한다.
그리고, 상기 제어부는, 상기 이벤트가 발생한 이미지가 검출되면, 상기 라이브 이미지에서 상기 이벤트가 발생한 이미지로 전환하여 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
또한, 상기 디스플레이부는, 메인 디스플레이부 및 상기 메인 디스플레이부로부터 일측으로 확장된 곡면 보조 디스플레이부를 포함하며, 상기 제어부는, 상기 이벤트가 발생한 이미지가 검출되면, 상기 라이브 이미지를 상기 메인 디스플레이부에 디스플레이하고, 상기 이벤트가 발생한 이미지에 대한 이벤트 UI를 상기 곡면 보조 디스플레이부에 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
그리고, 주변 단말 장치와 데이터 통신을 수행하는 통신부를 더 포함하며, 상기 이벤트가 발생한 이미지가 검출되면, 상기 주변 단말 장치로 이벤트 발생 관련 정보를 전송하도록 상기 통신부를 제어할 수 있다.
또한, 상기 영상 정보는, 이미지의 밝기 정보, 히스토그램 및 픽셀 정보중 적어도 하나를 포함하며, 상기 촬영 정보는, 상기 적어도 하나의 카메라 모듈의 오토 포커싱을 위한 렌즈 위치 정보, 위상차 정보, 콘트라스트 레벨 정보 중 적어도 하나를 포함하며, 상기 제1 및 제2 버퍼는, 상기 복수의 이미지별 영상 정보 및 촬영 정보를 매칭시켜 저장할 수 있다.
그리고, 상기 이벤트가 발생한 이미지는, 이물질에 의해 상기 제2 카메라 모듈의 일부 혹은 전체가 가려진 상태에서 생성된 이미지 혹은 상기 제2 버퍼에 저장된 나머지 이미지와 상이한 오토 포커싱이 수행된 이미지 중 하나일 수 있다
또한, 상기 제어부는, 상기 제1 및 제2 버퍼에 저장된 이미지로부터 합성 이미지를 생성하고, 상기 생성된 합성 이미지를 디스플레이하도록 상기 디스플레이부를 제어하며, 상기 이벤트가 발생한 이미지가 검출되면, 상기 제1 버퍼에 저장된 이미지와 상기 제2 버퍼에 저장된 이미지 중 상기 이벤트가 발생한 이미지와 인접한 이미지로부터 합성 이미지를 생성할 수 있다.
그리고, 상기 제어부는, 상기 제1 및 제2 버퍼에 저장된 각각의 이미지의 시차에 따른 폐쇄 영역(Occlusion Region)을 검출하고, 상기 폐쇄 영역의 검출량이 기설정된 임계값을 초과하는지 여부에 따라 상기 합성 이미지의 생성 여부를 판단할 수 있다.
또한, 상기 제1 카메라 모듈은 광각 렌즈를 포함하고, 상기 제2 카메라 모듈은 망원 렌즈를 포함하며, 상기 제어부는, 상기 제1 및 제2 카메라 모듈 각각의 포커싱 정보 및 사용자 명령에 대응되는 접사 촬영 정보에 기초하여 상기 합성 이미지의 생성 여부를 판단할 수 있다.
한편, 본 발명의 또다른 실시 예에 따르면, 복수의 카메라 모듈을 포함하는 촬영 장치의 제어 방법은 상기 복수의 카메라 모듈 중 제1 카메라 모듈로부터 생성된 이미지를 라이브 이미지로 디스플레이하는 단계, 상기 제1 카메라 모듈로부터 생성된 이미지를 제1 버퍼에 저장하고, 상기 복수의 카메라 모듈 중 제2 카메라 모듈로부터 생성된 이미지를 제2 버퍼에 저장하는 단계, 상기 제1 및 제2 버퍼에 저장된 이미지별 영상 정보 및 상기 복수의 카메라 모듈의 촬영 정보 중 적어도 하나를 이용하여 상기 제1 및 제2 버퍼에 저장된 이미지를 분석하는 단계 및 상기 제2 버퍼에 저장된 복수의 이미지 중 적어도 하나에 이벤트가 발생한 경우, 기 제2 카메라 모듈의 상태 알림 서비스를 제공하는 단계를 포함한다.
그리고, 상기 제공하는 단계는, 상기 이벤트가 발생한 이미지가 검출되면, 상기 라이브 이미지에서 상기 이벤트가 발생한 이미지로 전환하여 디스플레이할 수 있다.
또한, 상기 제공하는 단계는, 상기 이벤트가 발생한 이미지가 검출되면, 상기 라이브 이미지를 상기 메인 디스플레이부에 디스플레이하고, 상기 이벤트가 발생한 이미지에 대한 이벤트 UI를 상기 곡면 보조 디스플레이부에 디스플레이할 수 있다.
그리고, 상기 제공하는 단계는, 상기 이벤트가 발생한 이미지가 검출되면, 상기 주변 단말 장치로 이벤트 발생 관련 정보를 전송할 수 있다.
또한, 상기 영상 정보는, 이미지의 밝기 정보, 히스토그램 및 픽셀 정보 중 적어도 하나를 포함하며, 상기 촬영 정보는, 상기 적어도 하나의 카메라 모듈의 오토 포커싱을 위한 렌즈 위치 정보, 위상차 정보, 콘트라스트 레벨 정보 중 적어도 하나를 포함하며, 상기 제1 및 제2 버퍼는, 상기 복수의 이미지별 영상 정보 및 촬영 정보를 매칭시켜 저장할 수 있다.
그리고, 상기 이벤트가 발생한 이미지는, 이물질에 의해 상기 제2 카메라 모듈의 일부 혹은 전체가 가려진 상태에서 생성된 이미지 혹은 상기 제2 버퍼에 저장된 나머지 이미지와 상이한 오토 포커싱이 수행된 이미지 중 하나일 수 있다.
또한, 사용자 명령에 따라, 상기 제1 및 제2 버퍼에 저장된 이미지로부터 합성 이미지의 생성 여부를 판단하는 단계 및 상기 판단 결과에 기초하여 상기 제1 및 제2 버퍼에 저장된 이미지로부터 합성 이미지를 생성하고, 상기 생성된 합성 이미지를 디스플레이하는 단계를 더 포함하며, 상기 디스플레이하는 단계는, 상기 이벤트가 발생한 이미지가 검출되면, 상기 제1 버퍼에 저장된 이미지와 상기 제2 버퍼에 저장된 이미지 중 상기 이벤트가 발생한 이미지와 인접한 이미지로부터 합성 이미지를 생성하여 디스플레이할 수 있다.
그리고, 상기 판단하는 단계는, 상기 제1 및 제2 버퍼에 저장된 각각의 이미지의 시차에 따른 폐쇄 영역(Occlusion Region)을 검출하고, 상기 폐쇄 영역의 검출량이 기설정된 임계값을 초과하는지 여부에 따라 상기 합성 이미지의 생성 여부를 판단할 수 있다.
또한, 상기 제1 카메라 모듈은 광각 렌즈를 포함하고, 상기 제2 카메라 모듈은 망원 렌즈를 포함하며, 상기 판단하는 단계는, 상기 제1 및 제2 카메라 모듈 각각의 포커싱 정보 및 사용자 명령에 대응되는 접사 촬영 정보에 기초하여 상기 합성 이미지의 생성 여부를 판단할 수 있다.
한편, 본 발명의 또다른 실시 예에 따르면, 촬영 장치는 복수의 카메라 모듈 중 제1 카메라 모듈로부터 생성된 복수의 이미지를 저장하는 제1 버퍼, 상기 복수의 카메라 모듈 중 제2 카메라 모듈로부터 생성된 복수의 이미지를 저장하는 제2 버퍼, 상기 제1 카메라 모듈로부터 생성된 이미지를 라이브 이미지로 디스플레이하는 디스플레이부 및 사용자 명령에 따라, 상기 제1 및 제2 버퍼에 저장된 이미지로부터 합성 이미지를 생성하고, 상기 생성된 합성 이미지를 디스플레이하도록 상기 디스플레이부를 제어하는 제어부를 포함하며, 상기 제어부는, 상기 제1 및 제2 버퍼에 저장된 이미지별 영상 정보 및 상기 복수의 카메라 모듈의 촬영 정보 중 적어도 하나를 이용하여 상기 제1 및 제2 버퍼에 저장된 이미지를 분석하며, 상기 제2 버퍼에 저장된 복수의 이미지 중 적어도 하나에 이벤트가 발생한 경우, 상기 이벤트가 발생한 이미지를 제외한 나머지 이미지와 상기 제1 버퍼에 저장된 이미지로부터 합성 이미지를 생성한다.
그리고, 상기 제어부는, 성가 이벤트가 발생한 이미지가 검출되면, 상기 제1 버퍼에 저장된 이미지와 상기 제2 버퍼에 저장된 이미지 중 상기 이벤트가 발생한 이미지와 인접한 이미지로부터 합성 이미지를 생성하고, 상기 생성된 합성 이미지를 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
또한, 상기 제어부는, 성가 이벤트가 발생한 이미지가 검출되면, 상기 제2 카메라 모듈의 상태 알림 서비스를 제공하도록 상기 디스플레이부를 제어할 수 있다.
그리고, 상기 영상 정보는, 이미지의 밝기 정보, 히스토그램 및 픽셀 정보 중 적어도 하나를 포함하며, 상기 촬영 정보는, 상기 적어도 하나의 카메라 모듈의 오토 포커싱을 위한 렌즈 위치 정보, 위상차 정보, 콘트라스트 레벨 정보 중 적어도 하나를 포함하며, 상기 제1 및 제2 버퍼는, 상기 복수의 이미지별 영상 정보 및 촬영 정보를 매칭시켜 저장할 수 있다.
이상과 같이, 본 발명에 따르면, 촬영 장치는 복수의 카메라 모듈 중 적어도 하나에 이물질이 발생하는 경우, 이물질이 발생한 상황을 보다 직관적으로 사용자에게 알려줄 수 있다.
도 1a는 본 발명의 일 실시예에 따른 촬영 장치의 예시도,
도 1b는 본 발명의 또다른 실시예에 따른 촬영 장치의 예시도,
도 2는 본 발명의 일 실시예에 따른 촬영 장치의 구성을 개략적으로 나타내는 블록도,
도 3은 본 발명의 일 실시예에 따른 촬영 장치의 세부 구성을 나타내는 상세 블록도,
도 4는 본 발명의 일 실시예에 따른 촬영 장치에서 복수의 카메라 모듈에서 촬영 가능한 포커싱 영역을 나타내는 예시도,
도 5는 본 발명의 일 실시예에 따른 촬영 장치에서 이벤트가 발생한 이미지를 검출하는 예시도,
도 6은 본 발명의 일 실시예에 따른 촬영 장치에서 합성 이미지를 생성하는 예시도,
도 7은 본 발명의 일 실시예에 따른 촬영 장치에서 복수의 카메라 모듈에 대한 상태 알림 서비스를 제공하는 제1 예시도,
도 8은 본 발명의 또다른 실시예에 따른 촬영 장치에서 복수의 카메라 모듈에 대한 상태 알림 서비스를 제공하는 제2 예시도,
도 9는 본 발명의 또다른 실시예에 따른 촬영 장치에서 복수의 카메라 모듈에 대한 상태 알림 서비스를 제공하는 제3 예시도,
도 10은 본 발명의 또다른 실시예에 따른 촬영 장치에서 복수의 카메라 모듈에 대한 상태 알림 서비스를 제공하는 제4 예시도,
도 11은 본 발명의 또다른 실시예에 따른 촬영 장치에서 복수의 카메라 모듈에 대한 상태 알림 서비스를 제공하는 제5 예시도,
도 12는 본 발명의 일 실시예에 따른 촬영 장치의 제어 방법에 대한 흐름도,
도 13은 본 발명의 일 실시예에 따른 촬영 장치에서 복수의 카메라 모듈로부터 생성된 이미지로부터 합성 이미지를 생성하는 방법의 흐름도이다.
본 발명에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 본 발명의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1a는 본 발명의 일 실시예에 따른 촬영 장치의 예시도이며, 도 1b는 본 발명의 또다른 실시예에 따른 촬영 장치의 예시도이다.
촬영 장치는 예를 들어, 스마트 폰, 테블릿 PC와 같은 휴대용 단말 장치가 될 수 있으며, 영상을 촬영하는 복수의 카메라 모듈(이하 제1 및 제2 카메라 모듈이라 함)(10,20)을 포함할 수 있다. 일 실시예에 따라, 제1 및 제2 카메라 모듈(10,20)은 도 1a의 (a)에 도시된 바와 같이, 촬영 장치의 후면에 세로 방향으로 배치되도록 설계될 수 있다. 또다른 실시예에 따라, 제1 및 제2 카메라 모듈(10,20)은 도 1b의 (a)에 도시된 바와 같이, 촬영 장치의 후면에 세로 방향으로 배치되도록 설계될 수 있다.
한편, 제1 카메라 모듈(10)은 넓은 범위의 영상 촬영이 가능한 광각 렌즈를 포함할 수 있으며, 제2 카메라 모듈(20)은 원거리 촬영이 가능한 망원 렌즈를 포함할 수 있다. 따라서, 촬영 장치는 제1 및 제2 카메라 모듈(10,20)에 포함된 각각의 렌즈 특성에 대응되는 이미지를 획득할 수 있다. 즉, 제1 카메라 모듈(10)은 제1 카메라 모듈(10)과 동일한 거리로 포커싱된 제2 카메라 모듈(20)에 비해 와이드한 이미지를 제공할 수 있다. 그리고, 제2 카메라 모듈(20)은 제1 카메라 모듈(10)에서 촬영이 불가능한 거리의 이미지를 제공할 수 있다.
한편, 도 1a의 (b) 또는 도 1b의 (b)에 도시된 바와 같이, 촬영 장치의 전면에는 제1 및 제2 카메라 모듈(10,20) 중 적어도 하나로부터 생성된 이미지를 촬영할 피사체에 대한 라이브 이미지로 결정하고, 라이브 이미지로 결정된 이미지를 디스플레이하는 디스플레이 패널(30)을 포함할 수 있다.
여기서, 디스플레이 패널(30)은 제1 및 제2 카메라 모듈(10,20) 중 적어도 하나로부터 생성된 이미지에 대한 라이브 이미지를 디스플레이하며, 디스플레이된 라이브 이미지에 대한 사용자 명령을 입력받을 수 있다. 이에 따라, 촬영 장치는 라이브 이미지에 대한 사용자 명령에 따라, 디스플레이 패널(30)에 디스플레이된 라이브 이미지로부터 정지 영상 혹은 동영상을 촬영할 수 있다. 뿐만 아니라, 촬영 장치는 사용자 명령에 따라, 제1 및 제2 카메라 모듈(10,20)로부터 생성된 이미지를 합성하여 합성 이미지를 생성하거나 3D 이미지를 생성할 수 있다.
한편, 전술한 바와 같이, 촬영 장치는 제1 및 제2 카메라 모듈(10,20) 중 적어도 하나로부터 생성된 이미지를 라이브 이미지로 결정하고, 라이브 이미지로 결정된 이미지를 디스플레이 패널(30)을 통해 디스플레이 할 수 있다.
예를 들어, 제1 및 제2 카메라 모듈(10,20)을 통해 각각의 이미지가 생성될 수 있으며, 제1 및 제2 카메라 모듈(10,20)로부터 생성된 이미지 중 제1 카메라 모듈(10)로부터 생성된 이미지에 대한 라이브 이미지를 디스플레이 패널(30)을 통해 디스플레이할 수 있다.
한편, 도 1a의 (b) 또는 도 1b의 (b)에 도시된 바와 같이, 제1 카메라 모듈(10)로부터 생성된 이미지에 대한 라이브 이미지가 디스플레이되고 있는 상태에서, 사용자의 손가락이 제2 카메라 모듈(20) 상에 접촉될 수 있다. 이 경우, 제2 카메라 모듈(20)을 통해 생성된 이미지의 일 영역에는 사용자의 손가락 관련 이미지가 삽입될 수 있다. 이 경우, 촬영 장치는 제2 카메라 모듈(20)로부터 생성된 이미지를 분석하여 이벤트가 발생한 것으로 판단하고, 이벤트가 발생한 이미지를 디스플레이 패널(30)상에 디스플레이한다.
이에 따라, 사용자는 자신의 손가락이 제2 카메라 모듈(20)에 접촉된 것을 인지하고, 제2 카메라 모듈(20)에 접촉된 손가락을 제1 및 제2 카메라 모듈(10,20)이 배치되지 않은 영역으로 이동시킬 수 있다.
이와 같이, 본 발명에 따른 촬영 장치는 제1 및 제2 카메라 모듈(10,20) 중 적어도 하나로부터 생성된 이미지를 분석하여 이벤트 발생한 이미지를 검출하고, 그 검출된 이미지를 디스플레함으로써, 사용자는 보다 직관적으로 현재의 촬영 상태를 인지할 수 있다.
이하에서는 전술한 촬영 장치를 구성하는 각 구성에 대해서 상세히 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 촬영 장치의 구성을 개략적으로 나타내는 블록도이며, 도 3은 본 발명의 일 실시예에 따른 촬영 장치의 세부 구성을 나타내는 상세 블록도이다.
도 2에 도시된 바와 같이, 촬영 장치는 촬영부(110), 제1 및 제2 버퍼(120,130), 디스플레이부(140) 및 제어부(150)를 포함한다. 추가적으로, 촬영 장치는 도 3에 도시된 바와 같이, 촬영부(110), 제1 및 제2 버퍼(120,130), 디스플레이부(140) 및 제어부(150) 구성 이외에 이미지 처리부(160), 통신부(170), 입력부(180) 및 저장부(190)를 더 포함할 수 있다.
영상을 촬영하는 촬영부(110)는 실시예에 따라, 촬영부(110)는 콤팩트 시스템 카메라(Compact System Camera : CSC)와 같은 촬영 장치에 적용될 수 있다. 이 같은 촬영부(110)는 복수의 카메라 모듈(이하 제1 및 제2 카메라 모듈이라 함)(111,113)를 포함할 수 있다. 실시예에 따라, 제1 카메라 모듈(111)은 넓은 범위의 영상 촬영이 가능한 광각 렌즈를 포함할 수 있으며, 제2 카메라 모듈(113)은 원거리 촬영이 가능한 망원 렌즈를 포함할 수 있다.
따라서, 촬영부(110)는 제1 및 제2 카메라 모듈(111,113)에 포함된 각각의 렌즈 특성에 대응되는 이미지를 획득할 수 있다. 즉, 촬영부(110)는 제1 카메라 모듈(10)을 통해 제1 카메라 모듈(10)과 동일한 거리로 포커싱된 제2 카메라 모듈(20)에 비해 와이드한 이미지를 제공할 수 있다. 그리고, 촬영부(110)는 제2 카메라 모듈(20)을 통해 제1 카메라 모듈(10)에서 촬영이 불가능한 거리의 이미지를 제공할 수 있다.
한편, 제1 및 제2 카메라 모듈(111,113)은 각각의 카메라 모듈에 포함된 렌즈(광각 렌즈 및 망원 렌즈)를 통해 입사된 외부 광을 수광하고, 수광된 외부 광을 전기적인 신호로 변환한다. 구체적으로, 제1 및 제2 카메라 모듈(111,113)은 후술할 제어부(160)의 제어 명령에 따라 구동된 각각의 렌즈로부터 외부 광이 입사되어 촬상면에 결상되면, CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor)와 같은 광전 변환 소자를 이용하여 촬상면에 결상된 외부 광을 전기적 신호로 변환한다. 여기서, 제1 및 제2 카메라 모듈(111,113)에 포함되는 각각의 렌즈는 제어부(150)의 제어 명령에 따라 위치를 변화시켜 촬영할 피사체의 크기를 확대 혹은 축소시키거나, 피사체의 초점 조절을 위한 오토 포커싱을 수행할 수 있다.
한편, 도 3에 도시된 이미지 처리부(160)는 촬영부(110)의 제1 및 제2 카메라 모듈(111,113)을 통해 변화된 전기적 신호에 대한 로우 이미지 데이터를 영상 처리하여 촬영할 피사체에 대한 라이브 이미지를 생성한다.
이 같은 촬영부(110) 및 이미지 처리부(160)를 통해 외부 광을 전기적 신호로 변환하고, 변환된 전기적 신호로부터 라이브 이미지를 생성하는 방법은 전기적 뷰파인더 혹은 광학적 뷰파인더를 구비한 카메라 기술에 널기 공지된 기술이기에 본 발명에서는 상세한 설명을 생략하도록 한다.
제1 버퍼(120)는 복수의 카메라 모듈 중 제1 카메라 모듈(111)로부터 생성된 복수의 이미지를 임시 저장한다. 그리고, 제2 버퍼(130)는 복수의 카메라 모듈 중 제2 카메라 모듈(113)로부터 생성된 복수의 이미지를 임시 저장한다. 구체적으로, 제1 및 제2 버퍼(120,130)는 촬영 관련 사용자 명령이 입력되기 전까지 촬영할 피사체와 관련하여 제1 및 제2 카메라 모듈(111,113)로부터 생성된 복수의 이미지를 임시 저장한다. 이때, 제1 및 제2 버퍼(120,130)에 임시 저장되는 복수의 이미지는 생성된 시간 순서에 기초하여 순차적으로 저장되는 것이 바람직하다.
이때, 제1 및 제2 버퍼(120,130)는 임시 저장되는 복수의 이미지 및 각각의 이미지별 영상 정보 및 촬영 정보 중 적어도 하나를 매칭시켜 저장하는 것이 바람직하다. 여기서, 영상 정보는 이미지의 밝기 정보, 히스트로그램 및 픽셀 정보 중 적어도 하나를 포함할 수 있으며, 촬영 정보는 각 카메라 모듈에서 이미지 생성과 관련하여 오토 포커싱을 위한 렌즈 위치 정보, 위상차 정보 및 콘트라스트 레벨 중 적어도 하나를 포함할 수 있다.
따라서, 제1 및 제2 버퍼(120,130)는 제1 및 제2 카메라 모듈(111,113)로부터 생성된 복수의 이미지 및 복수의 이미지별 영상 정보 및 촬영 정보 중 적어도 하나를 서로 매칭시켜 임시 저장할 수 있다.
디스플레이부(140)는 복수의 카메라 모듈 중 제1 카메라 모듈(111)로부터 생성된 이미지를 라이브 이미지로 디스플레이한다. 본 발명에서는 설명의 편의상 제1 카메라 모듈(111)로부터 생성된 이미지를 라이브 이미지로 디스플레이하는 것으로 한정하였으나, 본 발명은 이에 한정되지 않으며, 복수의 카메라 모듈 중 제2 카메라 모듈(113)로부터 생성된 이미지를 라이브 이미지로 디스플레이할 수 있다. 뿐만 아니라, 본 발명은 제1 및 제2 카메라 모듈(113)로부터 생성된 각각의 이미지를 라이브 이미지로 디스플레이할 수 있다.
이 같은 디스플레이부(140)는 촬영할 피사체에 대한 라이브 이미지 뿐만 아니라, 촬영된 정지 영상, 동영상 및 촬영 장치의 동작을 제어하기 위한 사용자 명령 관련 UI를 디스플레이할 수 있다. 이 같은 디스플레이부(140)는 액정 표시 장치(Liquid Crystal Display,LCD), 유기 전기 발광 다이오드(Organic Light Emiiting Display, OLED) 또는 플라즈마 표시 패널(Plasma Display Panel,PDP) 등으로 구현될 수 있다. 뿐만 아니라, 디스플레이부(140)는 터치 패널로 구현되어 디스플레이된 UI와 관련하여 사용자의 터치 명령을 입력받을 수 있다.
제어부(150)는 제1 및 제2 버퍼(120,130)에 저장된 이미지별 영상 정보 및 제1 및 제2 카메라 모듈(111,113)의 촬영 정보 중 적어도 하나를 이용하여 제1 및 제2 버퍼(120,130)에 저장된 이미지를 분석한다. 분석 결과, 제2 버퍼(130)에 저장된 복수의 이미지 중 적어도 하나에 이벤트가 발생한 경우, 제어부(150)는 제2 카메라 모듈(113)의 상태 알림 서비스를 제공하도록 디스플레이부(140)를 제어한다.
여기서, 이벤트가 발생한 이미지는 사용자의 손가락과 같은 이물질에 의해 제2 카메라 모듈(113)의 일부 혹은 전체가 가려진 상태에서 제2 카메라 모듈(113)에 의해 생성된 이미지이거나 혹은 제2 버퍼(130)에 저장된 나머지 이미지와 상이한 오토 포커싱이 수행되어 생성된 이미지가 될 수 있다.
일 실시예에 따라, 제어부(150)는 이벤트가 발생한 이미지가 검출되면, 제1 카메라 모듈(111)을 통해 생성된 이미지에 대한 라이브 이미지에서 이벤트가 발생한 이미지로 전환하여 디스플레이하도록 디스플레이부(140)를 제어할 수 있다.
또다른 실시에에 따라, 제어부(150)는 이벤트가 발생한 이미지가 검출되면, 제1 카메라 모듈(111)를 통해 생성된 이미지에 대한 라이브 이미지를 디스플레이부(140)의 제1 영역에 디스플레하고, 이벤트가 발생한 이미지에 대한 이벤트 UI를 디스플레이부(140)의 제2 영역에 디스플레이하도록 제어할 수 있다.
실시예에 따라, 디스플레이부(140)는 도 3에 도시된 바와 같이, 메인 디스플레이부(141) 및 메인 디스플레이부(141)로부터 일측 방향으로 확장된 곡면 보조 디스플레부(143)을 포함할 수 있다.
구체적으로, 제어부(150)는 이벤트가 발생한 이미지가 검출되면, 제1 카메라 모듈(111)에 의해 생성된 이미지에 대한 라이브 이미지를 메인 디스플레이부(141)에 디스플레이한다. 그리고, 제어부(150)는 이벤트가 발생한 이미지 즉, 제2 카메라 모듈(113)에 의해 생성된 이미지에 대한 이벤트 UI를 곡면 보조 디스플레이부(143)에 디스플레이하도록 디스플레이부(140)를 제어한다. 이 같은 제어 명령에 따라, 디스플레이부(140)는 메인 디스플레이부(141)에 라이브 이미지를 디스플레이하고, 곡면 보조 디스플레이부(143)에 이벤트가 발생한 이미지에 대한 이벤트 UI를 디스플레이할 수 있다.
또다른 실시예에 따라, 제어부(150)는 이벤트가 발생한 이미지가 검출되면, 촬영 장치와 통신 가능한 주변 단말 장치(미도시)로 이벤트 발생 관련 정보를 전송하도록 통신부(170)를 제어한다. 이에 따라, 통신부(170)는 주변 단말 장치(미도시)로 이벤트 발생 관련 정보를 전송하며, 주변 단말 장치(미도시)는 촬영 장치로부터 전송된 이벤트 발생 관련 정보에 기초하여 제2 카메라 모듈(113)의 상태 알림 서비스를 제공할 수 있다. 실시예에 따라, 주변 단말 장치(미도시)는 촬영 장치로부터 전송된 이벤트 발생 관련 정보에 기초하여 진동 피드백, 메시지 알림 피드백, 비프음 피드백, 램프 알림 피드백 등과 같은 알림 서비스를 통해 제2 카메라 모듈(113)의 촬영이 비정상적으로 이루어질 수 있음을 안내할 수 있다.
한편, 주변 단말 장치(미도시)로 이벤트 발생 관련 정보를 전송하는 통신부(170)는 근거리 통신 모듈(171), 무선 랜 모듈 등의 무선 통신 모듈(173)과, HDMI(High-Definition Multimedia Interface), USB(Universal Serial Bus), IEEE(Institute of Electrical and Eletronics Engineers) 1394 등의 유선 통신 모듈 중 적어도 하나를 포함하는 커넥터(175)를 포함할 수 있다.
근거리 통신 모듈(171)은 촬영 장치와 주변 단말 장치(미도시) 사이에 무선으로 근거리 통신을 수행하는 구성이다. 이 같은 근거리 통신 모듈(111)은 블루투스(bluetooth)모듈, 적외선 통신(IrDA, infrared data association)모듈, NFC(Near Field Communication)모듈, 와이파이(WIFI)모듈, 지그비(Zigbee) 모듈 중 적어도 하나를 포함할 수 있다.
또한, 무선 통신 모듈(173)이란 IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 통신을 수행하는 모듈이다. 이 밖에 무선 통신 모듈은 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신 망에 접속하여 통신을 수행하는 이동 통신 모듈을 더 포함할 수도 있다.
이처럼 통신부(170)는 상술한 다양한 근거리 통신 방식에 의해 구현될 수 있고, 필요에 따라 본 명세서에 언급되지 않은 다른 통신 기술을 채용할 수 있다.
한편, 커넥터(175)는 USB 2.0, USB 3.0, HDMI, IEEE 1394 등 다양한 소스 장치와의 인터페이스를 제공하는 구성이다. 이 같은 커넥터(175)는 제어부(150)의 제어 명령에 따라 커넥터(175)에 연결된 유선 케이블을 통해 외부 서버(미도시)로부터 전송된 컨텐츠 데이터를 수신하거나, 기저장된 컨텐츠 데이터를 외부 기록 매체로 전송할 수 있다. 또한, 커넥터(175)는 커넥터(175)와 물리적으로 연결된 유선 케이블을 통해 전원 소스로부터 전원을 입력받을 수 있다.
입력부(180)는 다양한 사용자 명령을 입력받아 제어부(150)로 전달하기 위한 입력 수단으로써, 도시된 바와 같이, 사용자의 조작 명령을 입력받는 조작부(181) 및 터치 입력부(183)와, 원격 제어 장치(미도시)로부터 사용자 명령에 대응되는 제어 신호를 입력받는 사용자 입력부(185)를 포함할 수 있다.
여기서, 조작부(181)는 각종 기능키, 숫자키, 특수키, 문자키 등을 구비한 키패드(Key Pad)로 구현될 수 있으며, 터치 입력부(183)는 전술한 디스플레이부(140)가 터치 스크린 형태로 구현될 경우, 디스플레이부(140)와 상호 레어어 구조를 이루는 터치 패드로 구현될 수 있다.
사용자 입력부(185)는 원격 제어 장치(미도시)로부터 IR 신호, RF 신호 등의 제어 신호 혹은 사용자의 발화 음성에 대한 음성 신호를 통해 채널 선국 명령, 촬영 장치의 기능 설정 명령 등의 사용자 명령을 입력받을 수 있다.
저장부(190)는 촬영된 다양한 영상을 저장할 뿐만 아니라, 촬영 장치의 동작을 제어하기 위한 운영체제 프로그램을 저장할 수 있다. 여기서, 운용 프로그램은 촬영 장치가턴 온(Turn On)되는 경우, 저장부(190)에서 읽혀지고, 컴파일되어 휴대용 단말 장치(100)의 각 구성을 동작시키는 프로그램이 될 수 있다. 이 같은 저장부(190)는 롬(ROM), 램(RAM) 또는 휴대용 단말 장치(100)에 탈착/장착 가능한 메모리 카드(예, SD 카드, 메모리 스틱), 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나로 구현될 수 있다.
한편, 제어부(150)는 입력부(180)를 통해 합성 촬영 명령이 입력되면, 제1 및 제2 버퍼(120,130)에 저장된 이미지 중 합성 촬영 명령이 입력된 시점의 이미지로부터 합성 이미지를 생성하고, 생성된 합성 이미지를 디스플레이하도록 디스플레이부(140)를 제어한다. 실시예에 따라, 제어부(150)는 제1 및 제2 버퍼(120,130)에 저장된 이미지를 구성하는 각 픽셀값으로부터 뎁스 정보를 생성하고, 그 뎁스 정보에 기초하여 각 이미지를 합성할 수 있다. 그러나, 이 같은 합성 방법은 하나의 일 예에 불과할 뿐, 공지된 다양한 합성 알고리즘을 이용하여 제1 및 제2 버퍼(120,130)에 임시 저장된 이미지로부터 합성 이미지를 생성할 수 있다. 이 같은 실시예를 통해 합성 이미지가 생성되면, 디스플레이부(140)는 제1 및 제2 버퍼(120,130)에 저장된 이미지로부터 합성된 합성 이미지를 디스플레이할 수 있다.
한편, 제어부(150)는 이벤트가 발생한 이미지가 검출되면, 제1 버퍼(120)에 저장된 이미지와 제2 버퍼(130)에 저장된 이미지 중 이벤트가 발행한 이미지와 인접한 이미지로부터 합성 이미지를 생성할 수 있다. 구체적으로, 합성 촬영 명령이 입력된 시점에 이벤트가 발생한 이미지가 검출될 수 있다. 이 경우, 제어부(150)는 이벤트가 발생한 이미지와 인접한 이미지를 제2 버퍼(130)에서 추출한다. 여기서, 이벤트가 발생한 이미지와 인접한 이미지는 이벤트가 발생한 이미지가 제2 버퍼(130)에 임시 저장되기 직전에 저장된 이미지가 될 수 있다. 이 같은 인접한 이미지가 추출되면, 제어부(150)는 제1 버퍼(120)에 저장된 이미지 중 합성 촬영 명령이 입력된 시점에 저장된 이미지와 제2 버퍼(130)로부터 추출된 이미지로부터 합성 이미지를 생성한다. 이에 따라, 디스플레이부(140)는 제1 및 제2 버퍼(120,130)에 저장된 이미지로부터 합성 이미지를 디스플레이할 수 있다.
한편, 제어부(150)는 제1 및 제2 버퍼(120,130)에 저장된 이미지로부터 합성 이미지를 생성하기에 앞서, 다음과 같은 실시예에 기초하여 제1 및 제2 버퍼(120,130)에 저장된 이미지로부터 합성 이미지 생성이 가능한지 여부에 대해서 판단한다.
일 실시예에 따라, 제어부(150)는 합성 촬영 명령이 입력되면, 제1 및 제2 버퍼(120,130)에 저장된 각각의 이미지의 시차에 따른 폐쇄 영역(Occlusion Region)과 기설정된 임계값에 기초하여 합성 이미지 생성 여부를 판단할 수 있다. 구체적으로, 제어부(150)는 합성 촬영 명령이 입력되면, 제1 및 제2 버퍼(120,130)에 저장된 각각의 이미지의 시차에 따른 폐쇄 영역을 검출한다. 이후, 제어부(150)는 검출된 폐쇄 영역의 검출량이 기설정된 임계값을 초과하는지 여부를 판단한다. 판단 결과, 기설정된 임계값을 초과하지 않으면, 제어부(150)는 제1 및 제2 버퍼(120,130)에 저장된 이미지로부터 합성 이미지를 생성하고, 검출된 폐쇄 영역의 검출량이 기설정된 임계값을 초과하면, 제1 및 제2 버퍼(120,130)에 저장된 이미지 중 하나의 이미지를 선택하고, 그 선택된 이미지를 디스플레이하도록 디스플레이부(140)를 제어한다. 이에 따라, 디스플레이부(140)는 제1 및 제2 버퍼(120,130)에 저장된 이미지 중 선택된 이미지를 디스플레이할 수 있다.
또다른 실시예에 따라, 제어부(150)는 제1 및 제2 카메라 모듈(111,113) 각각의 포커싱 정보 및 사용자 명령에 대응되는 접사 촬영 정보에 기초하여 합성 이미지 생성 여부를 판단할 수 있다. 여기서, 제1 카메라 모듈(111)은 광각 렌즈를 포함하며, 제2 카메라 모듈(111,113)은 망원 렌즈를 포함할 수 있다.
즉, 제1 카메라 모듈(111)과 제2 카메라 모듈(113)은 각 모듈에 포함된 렌즈의 특성에 따라 촬영 가능한 포커싱 거리가 상이하게 적용될 수 있다.
도 4는 본 발명의 일 실시예에 따른 촬영 장치에서 복수의 카메라 모듈에서 촬영 가능한 포커싱 영역을 나타내는 예시도이다.
도 4에 도시된 바와 같이, 광각 렌즈를 포함하는 제1 카메라 모듈(111)는 근접 거리인 제1 지점(A)부터 원 거리인 제3 지점(C)까지 포커싱이 가능할 수 있다. 그리고, 망원 렌즈를 포함하는 제2 카메라 모듈(113)은 근접 거리인 제1 지점보다 먼 거리인 제2 지점(B)부터 원 겨리인 제3 지점(C)까지 포커싱이 가능할 수 있다.
즉, 망원 렌지를 포함하는 제2 카메라 모듈(113)은 광각 렌즈를 포함하는 제1 카메라 모듈(111)에 상대적으로 먼 거리의 포커싱이 가능한 반면, 근접 거리의 포커싱이 불가능하다. 따라서, 제2 카메라 모듈(113)의 포커싱이 불가능한 제1 지점에서 제2 지점 사이에 대한 접사 촬영 정보가 입력된 상태에서 합성 촬영 명령이 입력되면, 제어부(150)는 입력된 접사 촬영 정보 및 제1 및 제2 카메라 모듈(111,113)의 포커싱 정보에 기초하여 제2 카메라 모듈(113)로부터 생성된 이미지의 합성이 불가능한 것으로 판단할 수 있다.
이 같이, 제2 카메라 모듈(113)로부터 생성된 이미지의 합성이 불가능한 것으로 판단되면, 제어부(150)는 제1 및 제2 버퍼(120,130)에 저장된 이미지 중 제1 버퍼(120)에 저장된 이미지를 선택하고, 그 선택된 이미지를 디스플레이하도록 디스플레이부(140)를 제어한다. 이에 따라, 디스플레이부(140)는 제1 버퍼(120)에 저장된 이미지 중 선택된 이미지를 디스플레이할 수 있다.
이하에서는, 본 발명에 따른 촬영 장치에서 이벤트가 발생한 이미지를 검출하는 동작에 대해서 상세히 설명하도록 한다.
도 5는 본 발명의 일 실시예에 따른 촬영 장치에서 이벤트가 발생한 이미지를 검출하는 예시도이다.
도 5에 도시된 바와 같이, 제어부(150)는 제1 및 제2 버퍼(120,130)에 저장된 복수의 이미지를 분석하여 이벤트가 발생한 이미지를 검출할 수 있다. 구체적으로, 도 5의 (a)에 도시된 바와 같이, 제어부(150)는 제1 버퍼(120)에 저장된 이미지 간의 유사도를 측정할 수 있다. 또한, 도 5의 (b)에 도시된 바와 같이, 제어부(150)는 제2 버퍼(130)에 저장된 이미지 간의 유사도를 측정할 수 있다.
여기서, 제1 및 제2 버퍼(120,130)에 저장된 이미지 간의 유사도는 이미지의 밝기 정보, 히스토그램 및 픽셀 정보 중 적어도 하나로부터 측정될 수 있다. 도시된 바와 같이, 제1 버퍼(120)에 저장된 이미지로부터 측정된 유사도 값이 제2 버퍼(130)에 저장된 이미지로부터 측정된 유사도 값에 비해 낮으면, 제어부(150)는 제1 버퍼(120)에 저장된 이미지에 이벤트가 발생한 것으로 판단한다. 여기서, 제1 버퍼(120)에 저장된 이미지는 제1 카메라 모듈(111)에 의해 생성된 이미지가 될 수 있다. 따라서, 제1 버퍼(120)에 저장된 이미지에 이벤트가 발생한 것으로 판단되면, 제어부(150)는 전술한 다양한 실시예를 통해 제1 및 제2 카메라 모듈(111,113) 중 제1 카메라 모듈(111)에 대한 상태 알림 서비스를 제공한다.
이 같은 알림 서비스를 통해 사용자는 자신의 손가락이 제1 카메라 모듈(111)을 가리고 있는 것을 직관적으로 확인하고, 제1 카메라 모듈(111)을 가린 손가락을 이동시킬 수 있다. 이에 따라, 제1 및 제2 카메라 모듈(111,113)은 정상적으로 촬영할 피사체에 대한 이미지를 생성할 수 있다.
도 6은 본 발명의 일 실시예에 따른 촬영 장치에서 합성 이미지를 생성하는 예시도이다.
도 6의 (a)는 제1 버퍼(120)에서 제1 카메라 모듈(111)에 의해 생성된 복수의 이미지가 시간 순서에 따라 임시 저장되는 것을 나타낸 것이다. 그리고, 도 6의 (b)는 제2 버퍼(130)에서 제2 카메라 모듈(113)에 의해 생성된 복수의 이미지가 시간 순서에 따라 임시 저장되는 것을 나타낸 것이다.
즉, 제1 및 제2 카메라 모듈(111,113)는 동일 타이밍에 이미지를 생성할 수 있으며, 생성된 각각의 이미지는 시간 순서에 따라 제1 및 제2 버퍼(120,130)에 순차적으로 임시 저장될 수 있다. 예를 들어, 제1 및 제2 버퍼(120,130)에는 8개의 이미지가 각각 저장될 수 있으며, 8 번째 이미지가 저장되는 시점에 합성 촬영 명령이 입력될 수 있다. 이 경우, 제어부(150)는 합성 촬영 명령이 입력된 시점에 제1 및 제2 버퍼(120,130)에 저장된 8 번째 이미지(610-1,610'-1)를 합성할 수 있다. 한편, 제어부(150)는 제1 및 제2 버퍼(120,130)에 저장된 8 번째 이미지를 합성하기에 앞서, 제1 및 제2 버퍼(120,130)에 각각 저장된 복수의 이미지에 대한 영상 정보 및 촬영 정보 중 적어도 하나에 기초하여 이벤트 발생 여부를 판단한다.
일 실시예에 따라, 제어부(150)는 제1 및 제2 버퍼(120,130)에 각각 저장된 이미지의 밝기 정보, 히스토그램 정보 및 픽셀 정보 중 적어도 하나를 이용하여 이벤트 발생 여부를 판단할 수 있다.
만약, 밝기 정보에 기초하여 이벤트 발생 여부를 판단할 경우, 제어부(150)는 합성 촬영 명령이 입력된 시점에 제1 및 제2 버퍼(120,130)에 각각 저장된 8 번째 이미지(610-1,610'-1)의 밝기 정보와 이전 이미지(7 번째 이미지)(610-2,610'-2)의 밝기 정보에 기초하여 두 이미지의 유사도 정도를 판단한다. 구체적으로, 제어부(150)는 두 이미지의 밝기 정보에 기초하여 두 이미지의 밝기에 대한 차이 값을 산출하고, 그 산출된 차이 값과 기설정된 임계값으로부터 두 이미지의 유사도 정도를 판단할 수 있다. 만약 산출된 차이 값이 기설정된 임계값 이상이면, 제어부(150)는 두 이미지가 유사한 것으로 판단할 수 있으며, 산출된 차이 값이 기설정된 임계값 미만이면, 두 이미지가 상이한 것으로 판단할 수 있다.
이 같은 실시예를 통해 두 이미지가 상이한 것으로 판단되면, 제어부(150)는 제1 및 제2 버퍼(120,l30) 중 두 이미지가 상이한 것으로 판단된 버퍼의 8 번째 이미지를 이벤트 발생 이미지로 검출할 수 있다.
또다른 실시예에 따라, 제어부(150)는 제1 및 제2 카메라 모듈(111,113)의 오토 포커싱을 위한 렌즈 위치 정보, 위상차 정보 및 콘트라스트 레벨 정보 중 적어도 하나를 포함하는 촬영 정보를 이용하여 이벤트 발생 여부를 판단할 수 있다.
만약, 렌즈 위치 정보를 이용하여 이벤트 발생 여부를 판단할 경우, 제어부(150)는 제1 및 제2 버퍼(120,130)에 각각 저장된 8 번째 이미지(610-1,610'-1)의 렌즈 위치 정보와 이전 이미지(7 번째 이미지)(610-2,610'-2)의 렌즈 위치 정보를 비교하여 두 이미지 간의 유사도 정도를 판단한다. 구체적으로, 제어부(150)는 두 이미지의 렌즈 위치 정보에 기초하여 렌즈 간의 거리 차를 산출한다. 이후, 제어부(150)는 산출된 거리 차가 기설정된 임계값 미만이면, 두 이미지가 유사한 것으로 판단할 수 있으며, 산출된 거리 차가 기설정된 임계값 이상이면, 두 이미지가 상이한 것으로 판단할 수 있다.
이 같은 실시예를 통해 두 이미지가 상이한 것으로 판단되면, 제어부(150)는 제1 및 제2 버퍼(120,l30) 중 두 이미지가 상이한 것으로 판단된 버퍼의 8 번째 이미지를 이벤트 발생 이미지로 검출할 수 있다.
제어부(150)는 전술한 다양한 실시예를 통해 이벤트 발생 이미지를 검출할 수 있으며, 도시된 바와 같이, 제2 버퍼(130)의 8 번째 이미지(610'-1)를 이벤트가 발생한 이미지로 검출될 수 있다. 이 같이, 이벤트가 발생한 이미지가 검출되면, 제어부(150)는 이벤트가 발생한 이미지로 검출된 8 번째 이미지(610'-1)와 인접한 이미지(7 번째 이미)(610'-2)를 추출한다. 이후, 제어부(150)는 제1 버퍼(120)에 저장된 8 번째 이미지(610-1)와 제2 버퍼(130)에 저장된 7 번째 이미지(610'-2)를 합성하여 합성 이미지를 생성할 수 있다.
이하에서는, 본 발명에 따른 촬영 장치에서 복수의 카메라 모듈(111,113)에 대한 상태 알림 서비스를 제공하는 동작에 대해서 상세히 설명하도록 한다.
도 7은 본 발명의 일 실시예에 따른 촬영 장치에서 복수의 카메라 모듈에 대한 상태 알림 서비스를 제공하는 제1 예시도이다.
도 7의 (a)에 도시된 바와 같이, 촬영 장치는 제1 및 제2 카메라 모듈(111,113) 중 기설정된 제1 카메라 모듈(111)에 의해 생성된 이미지(710)를 라이브 이미지로 결정하여 디스플레이할 수 있다.
이때, 촬영 장치는 촬영 명령이 입력되기 전까지, 제1 카메라 모듈(111)에 의해 생성된 복수의 이미지를 제1 버퍼(120)에 임시 저장하고, 제2 카메라 모듈(113)에 의해 생성된 복수의 이미지를 제2 버퍼(130)에 임시 저장할 수 있다.
이 같이, 제1 및 제2 버퍼(120,130)를 통해 제1 및 제2 카메라 모듈(111,113)에서 생성된 복수의 이미지를 임시 저장하고 있는 동안, 촬영 장치는 제1 및 제2 버퍼(120,130)에 저장된 복수의 이미지별 영상 정보 및 촬영 정보 중 적어도 하나를 이용하여 제1 및 제2 버퍼(120,130)에 저장된 복수의 이미지를 분석한다.
분석 결과, 제2 버퍼(130)에 저장된 이미지 중 적어도 하나의 이미지가 이벤트가 발생한 이미지로 검출되면, 도 7의 (b)에 도시된 바와 같이, 촬영 장치는 이벤트가 발생한 이미지(720)를 라이브 이미지로 결정하여 디스플레이할 수 있다. 즉, 촬영 장치는 이물질(721)을 포함하는 이미지(720)에 대한 라이브 이미지를 디스플레이할 수 있다. 따라서, 사용자는 디스플레이된 라이브 이미지를 통해 자신의 손가락이 제2 카메라 모듈(113)의 렌즈 일부를 가리고 있는 것으로 확인하고, 해당 손가락을 다른 곳으로 이동시킨 후, 촬영 동작을 수행할 수 있다.
따라서, 촬영 장치는 사용자의 촬영 명령이 입력되면, 제1 및 제2 카메라 모듈(111,113) 상에 이물질이 없는 상태에서 영상을 촬영하거나 합성된 영상을 생성할 수 있다.
도 8은 본 발명의 또다른 실시예에 따른 촬영 장치에서 복수의 카메라 모듈에 대한 상태 알림 서비스를 제공하는 제2 예시도이다.
도 7의 (a)에서 설명한 바와 같이, 촬영 장치는 제1 및 제2 카메라 모듈(111,113) 중 기설정된 제1 카메라 모듈(111)에 의해 생성된 이미지(710)를 라이브 이미지로 디스플레이할 수 있다.
이때, 촬영 장치는 촬영 명령이 입력되기 전까지, 제1 카메라 모듈(111)에 의해 생성된 복수의 이미지를 제1 버퍼(120)에 임시 저장하고, 제2 카메라 모듈(113)에 의해 생성된 복수의 이미지를 제2 버퍼(130)에 임시 저장할 수 있다.
이 같이, 제1 및 제2 버퍼(120,130)를 통해 제1 및 제2 카메라 모듈(111,113)에서 생성된 복수의 이미지를 임시 저장하고 있는 동안, 촬영 장치는 제1 및 제2 버퍼(120,130)에 저장된 복수의 이미지별 영상 정보 및 촬영 정보 중 적어도 하나를 이용하여 제1 및 제2 버퍼(120,130)에 저장된 복수의 이미지를 분석한다.
분석 결과, 제2 버퍼(130)에 저장된 이미지 중 적어도 하나의 이미지가 이벤트가 발생한 이미지로 검출되면, 도 8에 도시된 바와 같이, 촬영 장치는 라이브 이미지(810)를 메인 디스플레이부(141)에 디스플레이하고, 이벤트가 발생한 이미지를 포함하는 제2 버퍼(130)에 저장된 복수의 이미지에 대한 이벤트 UI(820)를 곡면 보조 디스플레이부(143)에 디스플레이한다. 여기서, 곡면 보조 디스플레이부(143)에 디스플레이되는 이벤트 UI는 제2 버퍼(130)에 저장된 복수의 이미지 각각에 대응되는 썸네일 이미지가 될 수 있다. 따라서, 촬영 장치는 라이브 이미지(810)를 메인 디스플레이부(141)에 디스플레이하고, 이벤트가 발생한 이미지를 포함하는 제2 버퍼(130)에 저장된 복수의 이미지에 대응되는 썸네일 이미지를 곡면 보조 디스플레이부(143)에 디스플레이한다. 따라서, 사용자는 곡면 보조 디스플레이부(143)를 통해 디스플레이된 썸네일 이미지로부터 자신의 손가락이 제2 카메라 모듈(113)의 렌즈 일부를 가리고 있는 것으로 확인하고, 해당 손가락을 다른 곳으로 이동시킨 후, 촬영 동작을 수행할 수 있다.
추가적으로, 촬영 장치는 곡면 보조 디스플레이부(143)에 디스플레이된 복수의 이미지에 대한 썸네일 이미지 중 이벤트가 발생한 이미지에 대응되는 썸네일 이미지에 하이라이트 효과를 부여할 수 있다. 그러나, 본 발명은 이에 한정되지 않으며, 촬영 장치는 곡면 보조 디스플레이부(143)에 디스플레이된 복수의 이미지에 대한 썸네일 이미지 중 이벤트가 발생한 이미지에 대응되는 썸네일 이미지에 사용자가 인지할 수 있는 다양한 이벤트 효과가 부여될 수 있다.
이 같이, 이벤트가 발생한 이미지에 대응되는 썸네일 이미지에 하이라이트 효과를 부여함으로써, 사용자는 하이라이트 효과가 부여된 썸네일 이미지를 통해 자신의 손가락이 제2 카메라 모듈(113)의 렌즈 일부를 가리고 있는 것을 보다 직관적으로 확인할 수 있다.
도 9는 본 발명의 또다른 실시예에 따른 촬영 장치에서 복수의 카메라 모듈에 대한 상태 알림 서비스를 제공하는 제3 예시도이다.
도 9의 (a)에 도시된 바와 같이, 촬영 장치는 제1 및 제2 카메라 모듈(111,113) 중 기설정된 제1 카메라 모듈(111)에 의해 생성된 이미지(910)를 라이브 이미지로 결정하고, 라이브 이미지로 결정된 이미지를 메인 디스플레이부(141)를 통해 디스플레이할 수 있다. 그리고, 촬영 장치는 라이브 이미지로 결정된 이미지가 생성된 시점에 제2 카메라 모듈(113)에 의해 생성된 이미지의 히스토그램 정보에 대한 이벤트 UI(920)를 곡면 보조 디스플레이부(143)를 통해 디스플레이할 수 있다.
실시예에 따라, 촬영 장치는 제2 카메라 모듈(113)에 의해 생성된 이미지 분석을 통해 이벤트가 발생하지 않은 것으로 판단되면, 곡면 보조 디스플레이부(143)를 통해 제1 색상을 포함하는 띠 형태의 히스토그램 정보에 대한 이벤트 UI(920)를 디스플레이할 수 있다.
한편, 촬영 장치는 촬영 명령이 입력되기 전까지, 제1 카메라 모듈(111)에 의해 생성된 복수의 이미지를 제1 버퍼(120)에 임시 저장하고, 제2 카메라 모듈(113)에 의해 생성된 복수의 이미지를 제2 버퍼(130)에 임시 저장할 수 있다.
이 같이, 제1 및 제2 버퍼(120,130)를 통해 제1 및 제2 카메라 모듈(111,113)에서 생성된 복수의 이미지를 임시 저장하고 있는 동안, 촬영 장치는 제1 및 제2 버퍼(120,130)에 저장된 복수의 이미지별 영상 정보 및 촬영 정보 중 적어도 하나를 이용하여 제1 및 제2 버퍼(120,130)에 저장된 복수의 이미지를 분석한다.
분석 결과, 제2 버퍼(130)에 저장된 이미지 중 적어도 하나의 이미지가 이벤트가 발생한 이미지로 검출되면, 도 9의 (b) 도시된 바와 같이, 촬영 장치는 곡면 보조 디스플레이부(143)를 통해 제1 색상과 상이한 제2 색상으로 변경된 이벤트 UI(920')를 디스플레이할 수 있다. 이때, 촬영 장치는 곡면 보조 디스플레이부(143)의 디스플레이 영역 전체를 제1 색상과 상이한 제2 색상으로 표시하는 이벤트 UI(920')를 제공하거나 일부 영역을 제2 색상으로 표시하는 이벤트 UI(920')를 제공할 수 있다. 만약, 보조 디스플레이부(143)의 디스플레이 영역의 일부를 제2 색상으로 표시할 경우, 촬영 장치는 이벤트가 발생한 이미지가 저장되는 순서에 기초하여 제2 색상이 표시될 영역을 결정할 수 있다.
예를 들어, 제2 버퍼(130)에 임시 저장된 이미지 중 가장 최근에 저장된 이미지가 이벤트가 발생한 이미지로 검출될 경우, 촬영 장치는 곡면 보조 디스플레이부(143)의 우측 영역을 제2 색상으로 표시할 수 있다.
따라서, 사용자는 곡면 보조 디스플레이부(143)를 통해 디스플레이된 보조 영역(20)의 색상으로부터 자신의 손가락이 제2 카메라 모듈(113)의 렌즈 일부를 가리고 있는 것으로 확인하고, 해당 손가락을 다른 곳으로 이동시킨 후, 촬영 동작을 수행할 수 있다. 따라서, 촬영 장치는 사용자의 촬영 명령이 입력되면, 제1 및 제2 카메라 모듈(111,113) 상에 이물질이 없는 상태에서 영상을 촬영하거나 합성된 영상을 생성할 수 있다.
도 10은 본 발명의 또다른 실시예에 따른 촬영 장치에서 복수의 카메라 모듈에 대한 상태 알림 서비스를 제공하는 제4 예시도이다.
도 7의 (a)에서 설명한 바와 같이, 촬영 장치는 제1 및 제2 카메라 모듈(111,113) 중 기설정된 제1 카메라 모듈(111)에 의해 생성된 이미지(710)를 라이브 이미지로 디스플레이할 수 있다.
이때, 촬영 장치는 촬영 명령이 입력되기 전까지, 제1 카메라 모듈(111)에 의해 생성된 복수의 이미지를 제1 버퍼(120)에 임시 저장하고, 제2 카메라 모듈(113)에 의해 생성된 복수의 이미지를 제2 버퍼(130)에 임시 저장할 수 있다.
이 같이, 제1 및 제2 버퍼(120,130)를 통해 제1 및 제2 카메라 모듈(111,113)에서 생성된 복수의 이미지를 임시 저장하고 있는 동안, 촬영 장치는 제1 및 제2 버퍼(120,130)에 저장된 복수의 이미지별 영상 정보 및 촬영 정보 중 적어도 하나를 이용하여 제1 및 제2 버퍼(120,130)에 저장된 복수의 이미지를 분석한다.
분석 결과, 제2 버퍼(130)에 저장된 이미지 중 적어도 하나의 이미지가 이벤트가 발생한 이미지로 검출되면, 촬영 장치는 도 10에 도시된 바와 같이, 메인 디스플레이부(141)의 제1 영역(1010)을 통해 라이브 이미지를 디스플레이하고, 제2 영역(1020)을 통해 이벤트가 발생한 이미지를 디스플레이한다. 또한, 촬영 장치는 곡면 보조 디스플레이부(143)를 통해 제1 영역(1010)에 디스플레이된 라이브 이미지에 대한 촬영 정보 및 제2 영역(1020)에 디스플레이된 이벤트가 발생한 이미지에 대한 촬영 정보 중 적어도 하나를 포함하는 이벤트 UI(1030)를 디스플레이할 수 있다.
그러나, 본 발명은 이에 한정되지 않으며, 촬영 장치는 제2 버퍼(130)에 저장된 이미지 중 적어도 하나의 이미지가 이벤트가 발생한 이미지로 검출되면, 화면의 일 영역에 라이브 이미지를 디스플레이하고, 타 영역에 이벤트가 발생한 이미지를 디스플레이할 수 있다. 또한, 촬영 장치는 제2 버퍼(130)에 저장된 이미지 중 적어도 하나의 이미지가 이벤트가 발생한 이미지로 검출되면, 라이브 이미지가 디스플레이되는 영역의 일 영역에 이벤트가 발생한 이미지에 대한 촬영 정보를 디스플레이할 수 있다.
뿐만 아니라, 촬영 장치는 도 8 및 도 9에서 설명한 바와 같이, 이벤트가 발생한 이미지가 검출되면, 메인 디스플레이부(141)를 통해 라이브 이미지를 디스플레이하면서, 곡면 보조 디스플레이부(143)를 통해 이벤트가 발생한 이미지와 관련된 썸네일 이미지 혹은 히스토그램 정보를 디스플레이한다. 이때, 촬영 장치는 곡면 보조 디스플레이부(143)를 통해 이벤트가 발생한 이미지와 관련된 썸네일 이미지 혹은 히스토그램 정보를 디스플레이하면서, 이벤트가 발생한 이미지와 관련된 영상 정보 및 촬영 정보 중 적어도 하나를 메인 디스플레이부(141)의 일 영역에 디스플레이할 수 있다.
따라서, 사용자는 전술한 다양한 실시예를 통해 제공된 촬영 정보에 기초하여 제2 카메라 모듈(113)에 대한 오토 포커싱을 재수행한 후, 촬영 동작을 수행할 수 있다.
도 11은 본 발명의 또다른 실시예에 따른 촬영 장치에서 복수의 카메라 모듈에 대한 상태 알림 서비스를 제공하는 제5 예시도이다.
도 7의 (a)에서 설명한 바와 같이, 촬영 장치는 제1 및 제2 카메라 모듈(111,113) 중 기설정된 제1 카메라 모듈(111)에 의해 생성된 이미지(1120)를 라이브 이미지로 디스플레이할 수 있다.
이때, 촬영 장치는 촬영 명령이 입력되기 전까지, 제1 카메라 모듈(111)에 의해 생성된 복수의 이미지를 제1 버퍼(120)에 임시 저장하고, 제2 카메라 모듈(113)에 의해 생성된 복수의 이미지를 제2 버퍼(130)에 임시 저장할 수 있다.
이 같이, 제1 및 제2 버퍼(120,130)를 통해 제1 및 제2 카메라 모듈(111,113)에서 생성된 복수의 이미지를 임시 저장하고 있는 동안, 촬영 장치는 제1 및 제2 버퍼(120,130)에 저장된 복수의 이미지별 영상 정보 및 촬영 정보 중 적어도 하나를 이용하여 제1 및 제2 버퍼(120,130)에 저장된 복수의 이미지를 분석한다.
분석 결과, 제2 버퍼(130)에 저장된 이미지 중 적어도 하나의 이미지가 이벤트가 발생한 이미지로 검출되면, 촬영 장치는 촬영 장치와 데이터 통신이 가능한 주변 단말 장치로 이벤트 발생 관련 정보를 전송한다. 도시된 바와 같이, 촬영 장치와 데이터 통신이 가능한 주변 단말 장치는 사용자의 손목에 착용된 스마트 워치(1110)가 될 수 있다.
따라서, 촬영 장치는 제2 버퍼(130)에 저장된 이미지 중 적어도 하나의 이미지가 이벤트가 발생한 이미지로 검출되면, 스마트 워치(1110)로 이벤트 발생 관련 정보를 전송한다. 이에 따라, 스마트 워치(1110)는 촬영 장치로부터 수신된 이벤트 발생 관련 정보에 기초하여 제2 카메라 모듈(113)의 상태 알림 서비스를 제공할 수 있다. 실시예에 따라, 스마트 워치(1110)는 촬영 장치로부터 전송된 이벤트 발생 관련 정보에 기초하여 진동 피드백, 메시지 알림 피드백, 비프음 피드백, 램프 알림 피드백 등과 같은 알림 서비스를 통해 제2 카메라 모듈(113)의 촬영이 비정상적으로 이루어질 수 있음을 안내할 수 있다.
따라서, 사용자는 자신의 손목에 착용된 스마트 워치(1110)를 통해 제공된 알림 서비스에 기초하여 자신의 손가락이 제2 카메라 모듈(113)의 렌즈 일부를 가리고 있는 것으로 확인하고, 해당 손가락을 다른 곳으로 이동시킨 후, 촬영 동작을 수행할 수 있다. 따라서, 촬영 장치는 사용자의 촬영 명령이 입력되면, 제1 및 제2 카메라 모듈(111,113) 상에 이물질이 없는 상태에서 영상을 촬영하거나 합성된 영상을 생성할 수 있다.
지금까지, 본 발명에 따른 촬영 장치의 동작에 대해서 상세히 설명하였다. 이하에서는, 본 발명에 따른 촬영 장치의 제어 방법에 대해서 상세히 설명하도록 한다.
도 12는 본 발명의 일 실시예에 따른 촬영 장치의 제어 방법에 대한 흐름도이다.
도 12에 도시된 바와 같이, 촬영 장치는 복수의 카메라 모듈인 제1 및 제2 카메라 모듈 중 적어도 하나를 통해 이미지가 생성되면, 생성된 이미지를 화면상에 디스플레이한다(S1210). 그리고, 촬영 장치는 촬영 관련 사용자 명령이 입력되기 전까지, 제1 및 제2 카메라 모듈 중 적어도 하나로부터 생성된 이미지를 버퍼에 저장한다(S1220).
구체적으로, 복수의 카메라 모듈을 통해 이미지가 생성되면, 촬영 장치는 복수의 카메라 모듈 중 제1 카메라 모듈을 통해 생성된 이미지를 라이브 이미지로 디스플레이한다. 그리고, 촬영 장치는 촬영 관련 사용자 명령이 입력되기 전까지, 제1 카메라 모듈에 의해 생성된 복수의 이미지를 제1 버퍼에 임시 저장한다. 또한, 촬영 장치는 촬영 관련 사용자 명령이 입력되기 전까지, 제2 카메라 모듈에 의해 생성된 복수의 이미지를 제2 버퍼에 임시 저장한다.
이때, 촬영 장치는 제1 및 제2 카메라 모듈에 의해 생성된 이미지를 시간 순서에 기초하여 순차적으로 제1 및 제2 버퍼에 임시 저장하는 것이 바람직하다. 추가적으로, 촬영 장치는 제1 및 제2 카메라 모듈에 의해 생성된 이미지별 영상 정보 및 촬영 정보 중 적어도 하나를 매칭시켜 저장하는 것이 바람직하다. 여기서, 여기서, 영상 정보는 이미지의 밝기 정보, 히스트로그램 및 픽셀 정보 중 적어도 하나를 포함할 수 있으며, 촬영 정보는 각 카메라 모듈에서 이미지 생성과 관련하여 오토 포커싱을 위한 렌즈 위치 정보, 위상차 정보 및 콘트라스트 레벨 중 적어도 하나를 포함할 수 있다.
이후, 촬영 장치는 제1 및 제2 버퍼에 저장된 이미지별 영상 정보 및 제1 및 제2 카메라 모듈의 촬영 정보 중 적어도 하나를 이용하여 제1 및 제2 버퍼에 저장된 이미지를 분석하여 이벤트가 발생한 이미지가 있는지 여부를 판단한다(S1230). 판단 결과, 제1 및 제2 버퍼에 저장된 이미지 중 적어도 하나의 이미지가 이벤트가 발생한 이미지로 검출되면, 촬영 장치는 이벤트가 발생한 이미지와 관련된 카메라 모듈에대한 상태 알림 서비스를 제공한다(S1240,S1250).
예를 들어, 제1 및 제2 버퍼에 저장된 이미지별 영상 정보 및 촬영 정보 중 적어도 하나에 기초하여 제2 버퍼에 저장된 이미지에 이벤트가 발생한 경우, 촬영 장치는 제2 버퍼에 저장된 이미지와 관련된 제2 카메라 모듈의 상태 알림 서비스를 제공할 수 있다.
여기서, 이벤트가 발생한 이미지는 사용자의 손가락과 같은 이물질에 의해 제2 카메라 모듈의 일부 혹은 전체가 가려진 상태에서 제2 카메라 모듈에 의해 생성된 이미지이거나 혹은 제2 버퍼에 저장된 나머지 이미지와 상이한 오토 포커싱이 수행되어 생성된 이미지가 될 수 있다.
일 실시예에 따라, 촬영 장치는 이벤트가 발생한 이미지가 검출되면, 제1 카메라 모듈을 통해 생성된 이미지에 대한 라이브 이미지에서 이벤트가 발생한 이미지로 전환하여 디스플레이할 수 있다.
또다른 실시예에 따라, 촬영 장치는 이벤트가 발생한 이미지가 검출되면, 제1 카메라 모듈을 통해 생성된 이미지에 대한 라이브 이미지를 화면의 제1 영역에 디스플레이하고, 이벤트가 발생한 이미지에 대한 이벤트 UI를 화면의 제2 영역에 디스플레이할 수 있다. 여기서, 제1 영역은 메인 디스플레이부를 통해 디스플레이되는 영역이 될 수 있으며, 제2 영역은 메인 디스플레이부로부터 일측 방향으로 확장된 곡면 보조 디스플레이부를 통해 디스플레이되는 영역이 될 수 있다.
구체적으로, 촬영 장치는 이벤트가 발생한 이미지가 검출되면, 제1 카메라 모듈에 의해 생성된 이미지에 대한 라이브 이미지를 메인 디스플레이부를 통해 디스플레이되는 제1 영역에 디스플레이하고, 이벤트가 발생한 이미지 즉, 제2 카메라 모듈에 의해 생성된 이미지 관련 이벤트 UI를 곡면 보조 디스플레이부를 통해 디스플레이되는 제2 영역에 디스플레이할 수 있다. 여기서, 이벤트 UI는 이벤트가 발생한 이미지를 포함하는 제2 버퍼의 이미지에 대한 썸네일 이미지를 제공하는 UI이거나 혹은 제2 버퍼의 이미지에 대한 히스토그램 정보를 제공하는 UI가 될 수 있다.
또다른 실시예에 따라, 촬영 장치는 이벤트가 발생한 이미지가 검출되면, 촬영 장치와 통신 가능한 주변 단말 장치(미도시)로 이벤트 발생 관련 정보를 전송할 수 있다. 이에 따라, 주변 단말 장치(미도시)는 촬영 장치로부터 전송된 이벤트 발생 관련 정보에 기초하여 제2 카메라 모듈의 상태 알림 서비스를 제공할 수 있다. 실시예에 따라, 주변 단말 장치(미도시)는 촬영 장치로부터 전송된 이벤트 발생 관련 정보에 기초하여 진동 피드백, 메시지 알림 피드백, 비프음 피드백, 램프 알림 피드백 등과 같은 알림 서비스를 통해 제2 카메라 모듈의 촬영이 비정상적으로 이루어질 수 있음을 안내할 수 있다.
따라서, 사용자는 이 같은 다양한 실시예를 통해 자신의 손가락이 제2 카메라 모듈의 렌즈 일부 혹은 렌즈 전체를 가리고 있는 것을 확인하고, 해당 손가락을 다른 곳으로 이동시킨 후, 촬영 동작을 수행할 수 있다.
이후, 촬영 장치는 사용자의 촬영 관련 사용자 명령이 입력되면, 제1 및 제2 카메라 모듈 상에 이물질이 없는 상태에서 영상을 촬영하거나 합성된 영상을 생성한다(S1260).
이하에서는, 본 발명에 따른 촬영 장치에서 제1 및 제2 카메라 모듈로부터 생성된 이미지로부터 합성 이미지를 생성하는 방법에 대해서 상세히 설명하도록 한다.
도 13은 본 발명의 일 실시예에 따른 촬영 장치에서 복수의 카메라 모듈로부터 생성된 이미지로부터 합성 이미지를 생성하는 방법의 흐름도이다.
도 13에 도시된 바와 같이, 촬영 장치는 제1 및 제2 버퍼에 저장된 이미지 중 적어도 하나의 이미지가 이벤트가 발생한 이미지로 검출된 상태에서 합성 관련 촬영 명령을 입력받을 수 있다. 이 경우, 촬영 장치는 제1 및 제2 버퍼에 저장된 이미지 중 이벤트가 발생한 이미지를 제외한 나머지 이미지 중 합성을 위한 이미지를 선택한다(S1310). 만약, 제2 버퍼에 저장된 이미지 중 하나의 이미지가 이벤트가 발생한 이미지로 검출되면, 촬영 장치는 이벤트가 발생한 이미지로 검출된 이미지와 인접한 이미지를 합성을 위한 이미지로 선택할 수 있다.
이 같은 합성을 위한 이미지가 선택되면, 촬영 장치는 합성 관련 촬영 명령이 입력된 시점에 제1 버퍼에 저장된 이미지와 제2 버퍼로부터 선택된 이미지의 시차에 따른 폐쇄 영역을 검출한다(S1320). 이후, 촬영 장치는 검출된 폐쇄 영역의 검출량이 기설정된 임계값을 초과하는지 여부를 판단한다(S1330). 판단 결과, 검출된 폐쇄 영역의 검출량이 기설정된 임계값을 초과하면, 촬영 장치는 촬영 명령이 입력된 시점에 제1 버퍼에 저장된 이미지와 제2 버퍼로부터 선택된 이미지 중 하나의 이미지를 선택하고, 그 선택된 이미지를 디스플레이한다(S1340).
한편, 검출된 폐쇄 영역의 검출량이 기설정된 임계값 미만이면, 촬영 장치는 촬영 명령이 입력된 시점에 제1 버퍼에 저장된 이미지와 제2 버퍼로부터 선택된 이미지 각각에 대한 포커싱 정보 및 사용자 명령에 대응되는 접사 촬영 정보에 기초하여 합성 이미지 생 가능 여부를 판단한다(S1350). 여기서, 제1 카메라 모듈은 광각 렌즈를 포함하며, 제2 카메라 모듈은 망원 렌즈를 포함할 수 있다. 따라서, 제1 카메라 모듈과 제2 카메라 모듈은 각 모듈에 포함된 렌즈의 특성에 따라 촬영 가능한 포커싱 거리가 상이하게 적용될 수 있다.
따라서, 촬영 장치는 촬영 명령이 입력된 시점에 제1 버퍼에 저장된 이미지와 제2 버퍼로부터 선택된 이미지 각각에 대한 포커싱 정보 및 사용자 명령에 따른 접사 촬영 정보에 기초하여 각 이미지에 대한 합성 가능 여부를 판단할 수 있다. 판단 결과, 촬영 명령이 입력된 시점에 제1 버퍼에 저장된 이미지와 제2 버퍼로부터 선택된 이미지에 대한 합성이 가능한 것으로 판단되면, 촬영 장치는 두 이미지로부터 합성된 합성 이미지를 생성하고, 그 합성 이미지를 디스플레이한다(S1360,S1370)
한편, 합성이 불가능한 것으로 판단되면, 촬영 장치는 전술한 단계 S1340에 기초하여 촬영 명령이 입력된 시점에 제1 버퍼에 저장된 이미지와 제2 버퍼로부터 선택된 이미지 중 하나를 선택하고, 그 선택된 이미지를 디스플레이한다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
110 : 촬영부, 111 : 제1 카메라 모듈
113 : 제2 카메라 모듈 120 : 제1 버퍼
130 : 제2 버퍼 140 : 디스플레이부
141 : 메인 디스플레이부 143 : 곡면 보조 디스플레이부
150 : 제어부 160 : 이미지 처리부
170 : 통신부 171 : 근거리 통신 모듈
173 : 무선 통신 모듈 175 : 커넥터
180 : 입력부 181 : 조작부
183 : 터치 입력부 185 : 사용자 입력부
190 : 저장부

Claims (22)

  1. 복수의 카메라 모듈 중 제1 카메라 모듈로부터 생성된 복수의 이미지를 저장하는 제1 버퍼;
    상기 복수의 카메라 모듈 중 제2 카메라 모듈로부터 생성된 복수의 이미지를 저장하는 제2 버퍼;
    상기 제1 카메라 모듈로부터 생성된 이미지를 라이브 이미지로 디스플레이하는 디스플레이부; 및
    상기 제1 및 제2 버퍼에 저장된 이미지별 영상 정보 및 상기 복수의 카메라 모듈의 촬영 정보 중 적어도 하나를 이용하여 상기 제1 및 제2 버퍼에 저장된 이미지를 분석하며, 상기 제2 버퍼에 저장된 복수의 이미지 중 적어도 하나에 이벤트가 발생한 경우, 상기 제2 카메라 모듈의 상태 알림 서비스를 제공하도록 상기 디스플레이부를 제어하는 제어부;를 포함하고,
    상기 제어부는,
    상기 제1 및 제2 버퍼에 저장된 이미지로부터 합성 이미지를 생성하고, 상기 생성된 합성 이미지를 디스플레이하도록 상기 디스플레이부를 제어하며,
    상기 이벤트가 발생한 이미지가 검출되면, 상기 제1 버퍼에 저장된 이미지와 상기 제2 버퍼에 저장된 이미지 중 상기 이벤트가 발생한 이미지와 인접한 이미지로부터 합성 이미지를 생성하는 촬영 장치.
  2. 제 1 항에 있어서,
    상기 제어부는,
    상기 이벤트가 발생한 이미지가 검출되면, 상기 라이브 이미지에서 상기 이벤트가 발생한 이미지로 전환하여 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 촬영 장치.
  3. 복수의 카메라 모듈 중 제1 카메라 모듈로부터 생성된 복수의 이미지를 저장하는 제1 버퍼;
    상기 복수의 카메라 모듈 중 제2 카메라 모듈로부터 생성된 복수의 이미지를 저장하는 제2 버퍼;
    상기 제1 카메라 모듈로부터 생성된 이미지를 라이브 이미지로 디스플레이하는 디스플레이부; 및
    상기 제1 및 제2 버퍼에 저장된 이미지별 영상 정보 및 상기 복수의 카메라 모듈의 촬영 정보 중 적어도 하나를 이용하여 상기 제1 및 제2 버퍼에 저장된 이미지를 분석하며, 상기 제2 버퍼에 저장된 복수의 이미지 중 적어도 하나에 이벤트가 발생한 경우, 상기 제2 카메라 모듈의 상태 알림 서비스를 제공하도록 상기 디스플레이부를 제어하는 제어부;를 포함하고,
    상기 디스플레이부는,
    메인 디스플레이부; 및
    상기 메인 디스플레이부로부터 일측으로 확장된 곡면 보조 디스플레이부;를 포함하며,
    상기 제어부는,
    상기 이벤트가 발생한 이미지가 검출되면, 상기 라이브 이미지를 상기 메인 디스플레이부에 디스플레이하고,
    상기 이벤트가 발생한 이미지에 대한 이벤트 UI를 상기 곡면 보조 디스플레이부에 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 촬영 장치.
  4. 제 1 항에 있어서,
    주변 단말 장치와 데이터 통신을 수행하는 통신부;를 더 포함하며,
    상기 이벤트가 발생한 이미지가 검출되면, 상기 주변 단말 장치로 이벤트 발생 관련 정보를 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 촬영 장치.
  5. 제 1 항에 있어서,
    상기 영상 정보는,
    이미지의 밝기 정보, 히스토그램 및 픽셀 정보중 적어도 하나를 포함하며,
    상기 촬영 정보는,
    상기 적어도 하나의 카메라 모듈의 오토 포커싱을 위한 렌즈 위치 정보, 위상차 정보, 콘트라스트 레벨 정보 중 적어도 하나를 포함하며,
    상기 제1 및 제2 버퍼는,
    상기 복수의 이미지별 영상 정보 및 촬영 정보를 매칭시켜 저장하는 것을 특징으로 하는 촬영 장치.
  6. 제 5 항에 있어서,
    상기 이벤트가 발생한 이미지는,
    이물질에 의해 상기 제2 카메라 모듈의 일부 혹은 전체가 가려진 상태에서 생성된 이미지 혹은 상기 제2 버퍼에 저장된 나머지 이미지와 상이한 오토 포커싱이 수행된 이미지 중 하나인 것을 특징으로 하는 촬영 장치.
  7. 삭제
  8. 제 1 항에 있어서,
    상기 제어부는,
    상기 제1 및 제2 버퍼에 저장된 각각의 이미지의 시차에 따른 폐쇄 영역(Occlusion Region)을 검출하고, 상기 폐쇄 영역의 검출량이 기설정된 임계값을 초과하는지 여부에 따라 상기 합성 이미지의 생성 여부를 판단하는 것을 특징으로 하는 촬영 장치.
  9. 제 1 항에 있어서,
    상기 제1 카메라 모듈은 광각 렌즈를 포함하고, 상기 제2 카메라 모듈은 망원 렌즈를 포함하며,
    상기 제어부는,
    상기 제1 및 제2 카메라 모듈 각각의 포커싱 정보 및 사용자 명령에 대응되는 접사 촬영 정보에 기초하여 상기 합성 이미지의 생성 여부를 판단하는 것을 특징으로 하는 촬영 장치.
  10. 복수의 카메라 모듈을 포함하는 촬영 장치의 제어 방법에 있어서,
    상기 복수의 카메라 모듈 중 제1 카메라 모듈로부터 생성된 이미지를 라이브 이미지로 디스플레이하는 단계;
    상기 제1 카메라 모듈로부터 생성된 이미지를 제1 버퍼에 저장하고, 상기 복수의 카메라 모듈 중 제2 카메라 모듈로부터 생성된 이미지를 제2 버퍼에 저장하는 단계;
    상기 제1 및 제2 버퍼에 저장된 이미지별 영상 정보 및 상기 복수의 카메라 모듈의 촬영 정보 중 적어도 하나를 이용하여 상기 제1 및 제2 버퍼에 저장된 이미지를 분석하는 단계;
    상기 제2 버퍼에 저장된 복수의 이미지 중 적어도 하나에 이벤트가 발생한 경우, 기 제2 카메라 모듈의 상태 알림 서비스를 제공하는 단계;
    상기 제1 및 제2 버퍼에 저장된 이미지로부터 합성 이미지를 생성하는 단계; 및
    상기 생성된 합성 이미지를 디스플레이하는 단계;를 포함하고,
    상기 합성 이미지를 생성하는 단계는,
    상기 이벤트가 발생한 이미지가 검출되면, 상기 제1 버퍼에 저장된 이미지와 상기 제2 버퍼에 저장된 이미지 중 상기 이벤트가 발생한 이미지와 인접한 이미지로부터 합성 이미지를 생성하는, 제어 방법.
  11. 제 10 항에 있어서,
    상기 제공하는 단계는,
    상기 이벤트가 발생한 이미지가 검출되면, 상기 라이브 이미지에서 상기 이벤트가 발생한 이미지로 전환하여 디스플레이하는 것을 특징으로 하는 제어 방법.
  12. 복수의 카메라 모듈을 포함하는 촬영 장치의 제어 방법에 있어서,
    상기 복수의 카메라 모듈 중 제1 카메라 모듈로부터 생성된 이미지를 라이브 이미지로 디스플레이하는 단계;
    상기 제1 카메라 모듈로부터 생성된 이미지를 제1 버퍼에 저장하고, 상기 복수의 카메라 모듈 중 제2 카메라 모듈로부터 생성된 이미지를 제2 버퍼에 저장하는 단계;
    상기 제1 및 제2 버퍼에 저장된 이미지별 영상 정보 및 상기 복수의 카메라 모듈의 촬영 정보 중 적어도 하나를 이용하여 상기 제1 및 제2 버퍼에 저장된 이미지를 분석하는 단계; 및
    상기 제2 버퍼에 저장된 복수의 이미지 중 적어도 하나에 이벤트가 발생한 경우, 기 제2 카메라 모듈의 상태 알림 서비스를 제공하는 단계;를 포함하고,
    상기 제공하는 단계는,
    상기 이벤트가 발생한 이미지가 검출되면, 상기 라이브 이미지를 메인 디스플레이부에 디스플레이하고,
    상기 이벤트가 발생한 이미지에 대한 이벤트 UI를 곡면 보조 디스플레이부에 디스플레이하는 것을 특징으로 하는 제어 방법.
  13. 제 10 항에 있어서,
    상기 제공하는 단계는,
    상기 이벤트가 발생한 이미지가 검출되면, 주변 단말 장치로 이벤트 발생 관련 정보를 전송하는 것을 특징으로 하는 제어 방법.
  14. 제 10 항에 있어서,
    상기 영상 정보는,
    이미지의 밝기 정보, 히스토그램 및 픽셀 정보 중 적어도 하나를 포함하며,
    상기 촬영 정보는,
    상기 적어도 하나의 카메라 모듈의 오토 포커싱을 위한 렌즈 위치 정보, 위상차 정보, 콘트라스트 레벨 정보 중 적어도 하나를 포함하며,
    상기 제1 및 제2 버퍼는,
    상기 복수의 이미지별 영상 정보 및 촬영 정보를 매칭시켜 저장하는 것을 특징으로 하는 제어 방법.
  15. 제 14 항에 있어서,
    상기 이벤트가 발생한 이미지는,
    이물질에 의해 상기 제2 카메라 모듈의 일부 혹은 전체가 가려진 상태에서 생성된 이미지 혹은 상기 제2 버퍼에 저장된 나머지 이미지와 상이한 오토 포커싱이 수행된 이미지 중 하나인 것을 특징으로 하는 제어 방법.
  16. 제 10 항에 있어서,
    사용자 명령에 따라, 상기 제1 및 제2 버퍼에 저장된 이미지로부터 합성 이미지의 생성 여부를 판단하는 단계; 및
    상기 판단 결과에 기초하여 상기 제1 및 제2 버퍼에 저장된 이미지로부터 합성 이미지를 생성하고, 상기 생성된 합성 이미지를 디스플레이하는 단계;를 더 포함하며,
    상기 디스플레이하는 단계는,
    상기 이벤트가 발생한 이미지가 검출되면, 상기 제1 버퍼에 저장된 이미지와 상기 제2 버퍼에 저장된 이미지 중 상기 이벤트가 발생한 이미지와 인접한 이미지로부터 합성 이미지를 생성하여 디스플레이하는 것을 특징으로 하는 제어 방법.
  17. 제 16 항에 있어서,
    상기 판단하는 단계는,
    상기 제1 및 제2 버퍼에 저장된 각각의 이미지의 시차에 따른 폐쇄 영역(Occlusion Region)을 검출하고, 상기 폐쇄 영역의 검출량이 기설정된 임계값을 초과하는지 여부에 따라 상기 합성 이미지의 생성 여부를 판단하는 것을 특징으로 하는 제어 방법.
  18. 제 16 항에 있어서,
    상기 제1 카메라 모듈은 광각 렌즈를 포함하고, 상기 제2 카메라 모듈은 망원 렌즈를 포함하며,
    상기 판단하는 단계는,
    상기 제1 및 제2 카메라 모듈 각각의 포커싱 정보 및 사용자 명령에 대응되는 접사 촬영 정보에 기초하여 상기 합성 이미지의 생성 여부를 판단하는 것을 특징으로 하는 제어 방법.
  19. 복수의 카메라 모듈 중 제1 카메라 모듈로부터 생성된 복수의 이미지를 저장하는 제1 버퍼;
    상기 복수의 카메라 모듈 중 제2 카메라 모듈로부터 생성된 복수의 이미지를 저장하는 제2 버퍼;
    상기 제1 카메라 모듈로부터 생성된 이미지를 라이브 이미지로 디스플레이하는 디스플레이부; 및
    사용자 명령에 따라, 상기 제1 및 제2 버퍼에 저장된 이미지로부터 합성 이미지를 생성하고, 상기 생성된 합성 이미지를 디스플레이하도록 상기 디스플레이부를 제어하는 제어부;를 포함하며,
    상기 제어부는,
    상기 제1 및 제2 버퍼에 저장된 이미지별 영상 정보 및 상기 복수의 카메라 모듈의 촬영 정보 중 적어도 하나를 이용하여 상기 제1 및 제2 버퍼에 저장된 이미지를 분석하며, 상기 제2 버퍼에 저장된 복수의 이미지 중 적어도 하나에 이벤트가 발생한 경우, 상기 이벤트가 발생한 이미지를 제외한 나머지 이미지와 상기 제1 버퍼에 저장된 이미지로부터 합성 이미지를 생성하는 것을 특징으로 하는 촬영 장치.
  20. 제 19 항에 있어서,
    상기 제어부는,
    성가 이벤트가 발생한 이미지가 검출되면, 상기 제1 버퍼에 저장된 이미지와 상기 제2 버퍼에 저장된 이미지 중 상기 이벤트가 발생한 이미지와 인접한 이미지로부터 합성 이미지를 생성하고, 상기 생성된 합성 이미지를 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 촬영 장치.
  21. 제 19 항에 있어서,
    상기 제어부는,
    성가 이벤트가 발생한 이미지가 검출되면, 상기 제2 카메라 모듈의 상태 알림 서비스를 제공하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 촬영 장치.
  22. 제 19 항에 있어서,
    상기 영상 정보는,
    이미지의 밝기 정보, 히스토그램 및 픽셀 정보중 적어도 하나를 포함하며,
    상기 촬영 정보는,
    상기 적어도 하나의 카메라 모듈의 오토 포커싱을 위한 렌즈 위치 정보, 위상차 정보, 콘트라스트 레벨 정보 중 적어도 하나를 포함하며,
    상기 제1 및 제2 버퍼는,
    상기 복수의 이미지별 영상 정보 및 촬영 정보를 매칭시켜 저장하는 것을 특징으로 하는 촬영 장치.
KR1020150115540A 2015-08-17 2015-08-17 촬영 장치 및 그 제어 방법 KR102327842B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150115540A KR102327842B1 (ko) 2015-08-17 2015-08-17 촬영 장치 및 그 제어 방법
US15/063,751 US9848128B2 (en) 2015-08-17 2016-03-08 Photographing apparatus and method for controlling the same
PCT/KR2016/002703 WO2017030262A1 (en) 2015-08-17 2016-03-17 Photographing apparatus and method for controlling the same
CN201680047437.8A CN107925729B (zh) 2015-08-17 2016-03-17 拍摄装置及其控制方法
EP16837204.3A EP3338445B1 (en) 2015-08-17 2016-03-17 Photographing apparatus and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150115540A KR102327842B1 (ko) 2015-08-17 2015-08-17 촬영 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20170021125A KR20170021125A (ko) 2017-02-27
KR102327842B1 true KR102327842B1 (ko) 2021-11-18

Family

ID=58052233

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150115540A KR102327842B1 (ko) 2015-08-17 2015-08-17 촬영 장치 및 그 제어 방법

Country Status (5)

Country Link
US (1) US9848128B2 (ko)
EP (1) EP3338445B1 (ko)
KR (1) KR102327842B1 (ko)
CN (1) CN107925729B (ko)
WO (1) WO2017030262A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6139713B2 (ja) * 2013-06-13 2017-05-31 コアフォトニクス リミテッド デュアルアパーチャズームデジタルカメラ
KR102401659B1 (ko) * 2017-03-23 2022-05-25 삼성전자 주식회사 전자 장치 및 이를 이용한 카메라 촬영 환경 및 장면에 따른 영상 처리 방법
KR102569375B1 (ko) 2018-10-24 2023-08-22 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
KR20200053125A (ko) 2018-11-08 2020-05-18 삼성전자주식회사 전자 장치 및 그 제어 방법
CN110248101B (zh) * 2019-07-19 2021-07-09 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
US11350018B2 (en) * 2019-08-06 2022-05-31 Apple Inc. Camera with bumper for cushioning lateral movement
CN114868180A (zh) 2019-12-09 2022-08-05 三星电子株式会社 用于改变显示器的指定区域中的显示的电子装置及其操作方法
US11451694B1 (en) * 2021-03-16 2022-09-20 International Business Machines Corporation Mitigation of obstacles while capturing media content
CN113315940A (zh) * 2021-03-23 2021-08-27 海南视联通信技术有限公司 一种视频通话方法、装置及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070201726A1 (en) * 2006-02-24 2007-08-30 Eran Steinberg Method and Apparatus for Selective Rejection of Digital Images
US20090262125A1 (en) * 2008-04-18 2009-10-22 Vasanth Swaminathan Rendering A Multiple Viewpoint Image Into A Single Frame Buffer Using Off-Screen Rendering Surfaces
US20150220295A1 (en) * 2014-02-06 2015-08-06 Samsung Electronics Co., Ltd. User terminal apparatus, display apparatus, and control methods thereof

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060187322A1 (en) * 2005-02-18 2006-08-24 Janson Wilbert F Jr Digital camera using multiple fixed focal length lenses and multiple image sensors to provide an extended zoom range
JP2009272840A (ja) * 2008-05-03 2009-11-19 Olympus Imaging Corp 画像記録再生装置、画像記録再生方法、画像処理装置、および画像処理方法
US8355042B2 (en) * 2008-10-16 2013-01-15 Spatial Cam Llc Controller in a camera for creating a panoramic image
US8416282B2 (en) * 2008-10-16 2013-04-09 Spatial Cam Llc Camera for creating a panoramic image
JP2011078047A (ja) * 2009-10-02 2011-04-14 Sanyo Electric Co Ltd 撮像装置
JP4957850B2 (ja) 2010-02-04 2012-06-20 カシオ計算機株式会社 撮像装置、警告方法、および、プログラム
JP2012023546A (ja) * 2010-07-14 2012-02-02 Jvc Kenwood Corp 制御装置、立体映像撮像装置、および制御方法
JPWO2012033005A1 (ja) * 2010-09-08 2014-01-20 日本電気株式会社 撮影装置および撮影方法
US9204026B2 (en) * 2010-11-01 2015-12-01 Lg Electronics Inc. Mobile terminal and method of controlling an image photographing therein
US8451344B1 (en) * 2011-03-24 2013-05-28 Amazon Technologies, Inc. Electronic devices with side viewing capability
JP2013162348A (ja) 2012-02-06 2013-08-19 Nikon Corp 撮像装置
KR20140060760A (ko) 2012-11-12 2014-05-21 엘지전자 주식회사 어레이 카메라, 휴대 단말기 및 그 동작 방법
KR101954192B1 (ko) 2012-11-15 2019-03-05 엘지전자 주식회사 어레이 카메라, 휴대 단말기 및 그 동작 방법
US9247223B2 (en) * 2013-01-25 2016-01-26 Blackberry Limited Reduce operating environment effect using multiple cameras
KR102070776B1 (ko) * 2013-03-21 2020-01-29 엘지전자 주식회사 디스플레이 장치 및 그 제어 방법
DE102013103971A1 (de) 2013-04-19 2014-11-06 Sensovation Ag Verfahren zum Erzeugen eines aus mehreren Teilbildern zusammengesetzten Gesamtbilds eines Objekts
KR102031142B1 (ko) * 2013-07-12 2019-10-11 삼성전자주식회사 영상 디스플레이를 제어하는 전자 장치 및 방법
CN104618627B (zh) * 2014-12-31 2018-06-08 小米科技有限责任公司 视频处理方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070201726A1 (en) * 2006-02-24 2007-08-30 Eran Steinberg Method and Apparatus for Selective Rejection of Digital Images
US20090262125A1 (en) * 2008-04-18 2009-10-22 Vasanth Swaminathan Rendering A Multiple Viewpoint Image Into A Single Frame Buffer Using Off-Screen Rendering Surfaces
US20150220295A1 (en) * 2014-02-06 2015-08-06 Samsung Electronics Co., Ltd. User terminal apparatus, display apparatus, and control methods thereof

Also Published As

Publication number Publication date
US9848128B2 (en) 2017-12-19
CN107925729A (zh) 2018-04-17
EP3338445A1 (en) 2018-06-27
WO2017030262A1 (en) 2017-02-23
KR20170021125A (ko) 2017-02-27
EP3338445B1 (en) 2022-11-23
CN107925729B (zh) 2021-01-05
US20170054911A1 (en) 2017-02-23
EP3338445A4 (en) 2018-08-29

Similar Documents

Publication Publication Date Title
KR102327842B1 (ko) 촬영 장치 및 그 제어 방법
JP4671133B2 (ja) 画像処理装置
KR102157675B1 (ko) 촬영 장치 및 그 촬영 방법
KR102114377B1 (ko) 전자 장치에 의해 촬영된 이미지들을 프리뷰하는 방법 및 이를 위한 전자 장치
US9584713B2 (en) Image capturing apparatus capable of specifying an object in image data based on object detection, motion detection and/or object recognition, communication apparatus communicating with image capturing apparatus, and control method therefor
US20150049233A1 (en) Photographing apparatus and method of controlling the same
US9300858B2 (en) Control device and storage medium for controlling capture of images
US9609227B2 (en) Photographing apparatus, image pickup and observation apparatus, image comparison and display method, image comparison and display system, and recording medium
US8526685B2 (en) Method and apparatus for selectively supporting raw format in digital image processor
US8648960B2 (en) Digital photographing apparatus and control method thereof
JPWO2013088917A1 (ja) 画像処理装置、画像処理方法、及び記録媒体
US8576320B2 (en) Digital photographing apparatus and method of controlling the same
EP2587407A1 (en) Vision recognition apparatus and method
KR102661185B1 (ko) 전자 장치 및 그의 이미지 촬영 방법
KR102668233B1 (ko) 관심 영역을 통해 움직이는 외부 객체에 대해 프레임 레이트를 제어하여 이미지들을 획득하는 전자 장치 및 그의 동작 방법
KR20200016559A (ko) 복수의 구간 영상들을 포함하는 동영상 데이터를 생성하는 전자 장치 및 방법
US10075638B2 (en) Apparatus that performs zooming operation, control method therefor, and storage medium
US11610293B2 (en) Image processing apparatus and image processing method
US20100033582A1 (en) Method and apparatus for controlling thumbnail display and digital photographing apparatus
CN110771142B (zh) 摄像装置、摄像装置的控制方法及摄像装置的控制程序
EP2890116B1 (en) Method of displaying a photographing mode by using lens characteristics, computer-readable storage medium of recording the method and an electronic apparatus
WO2016019786A1 (zh) 物体运动轨迹拍摄方法、***及计算机存储介质
CN108476290B (zh) 用于提供全景图像的电子装置及其控制方法
US11165970B2 (en) Image processing apparatus, imaging apparatus, image processing method, and non-transitory computer readable medium
JP2008219367A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right