KR102603426B1 - 이미지 처리장치 및 방법 - Google Patents

이미지 처리장치 및 방법 Download PDF

Info

Publication number
KR102603426B1
KR102603426B1 KR1020160080143A KR20160080143A KR102603426B1 KR 102603426 B1 KR102603426 B1 KR 102603426B1 KR 1020160080143 A KR1020160080143 A KR 1020160080143A KR 20160080143 A KR20160080143 A KR 20160080143A KR 102603426 B1 KR102603426 B1 KR 102603426B1
Authority
KR
South Korea
Prior art keywords
image
black
sensor
image sensor
color
Prior art date
Application number
KR1020160080143A
Other languages
English (en)
Other versions
KR20180001254A (ko
Inventor
김성오
김광태
김수형
박현희
염동현
이기혁
이용만
안지훈
장슬기
전형주
최종범
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160080143A priority Critical patent/KR102603426B1/ko
Priority to US15/634,078 priority patent/US10469742B2/en
Priority to EP17820514.2A priority patent/EP3440829B1/en
Priority to PCT/KR2017/006777 priority patent/WO2018004238A1/en
Publication of KR20180001254A publication Critical patent/KR20180001254A/ko
Application granted granted Critical
Publication of KR102603426B1 publication Critical patent/KR102603426B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/841—Camera processing pipelines; Components thereof for processing colour signals to modify gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Telephone Function (AREA)
  • Studio Devices (AREA)

Abstract

본 개시의 다양한 실시 예에서는 프레임 레이트 (frame rate)를 변환하기 위한 이미지 처리장치 및 방법을 제안한다. 이를 위해, 흑백 이미지 센서를 통해 획득한 고 해상도의 흑백 이미지 프레임을 컬러 이미지 센서를 통해 획득한 저 해상도의 컬러 이미지를 사용하여 영상 합성을 수행하고, 이를 통해 고 해상도의 컬러 이미지를 생성하는 이미지 처리장치 및 방법을 제공할 수 있다.

Description

이미지 처리장치 및 방법{APPARATUS AND METHOD FOR PROCESSING AN IMAGE}
본 개시의 다양한 실시 예들은 다수의 이미지 센서들에 의해 획득한 이미지를 처리하는 이미지 처리장치 및 방법에 관한 것이다.
최근 방송 서비스는 통신 서비스와의 융합에 의한 영상 통신 서비스가 일반화되었다. 상기 영상 통신 서비스는 빠른 정보 처리가 가능한 단말뿐만 아니라 고속의 정보 전달을 제공하는 광대역 네트워크를 기반으로 하고 있다.
상기 영상 통신 서비스를 지원하는 단말은 이미지 처리로 인한 많은 전력 소모가 발생한다. 특히 처리할 이미지의 해상도는 디스플레이 시에 단말의 소비 전력을 결정하는 주요한 요인이 될 수 있다. 예컨대 휴대할 수 있는 단말 (이하 '휴대 단말'이라 칭함)에서 디스플레이 시의 소비 전력은 처리할 이미지의 해상도에 비례하여 증가할 수 있다.
상기 이미지 해상도의 증가는 처리할 이미지에 관한 정보를 전달할 링크 상에서의 대역폭을 증가시킨다. 일 예로 하나의 디바이스 내에서 애플리케이션 프로세서 (AP: Application Processor)가 디스플레이 디바이스로 프레임을 전송하기 위한 대역폭은 디스플레이 해상도에 비례하여 증가한다. 다른 예로 하나의 디바이스가 무선 네트워크상에서 다른 디바이스로 멀티미디어 데이터를 전달하는 경우, 상기 전달할 멀티미디어 데이터의 크기에 비례하여 상기 무선 네트워크에서 사용할 대역폭이 증가할 수 있다.
출력장치 (예: 디스플레이)의 발전 및 개선된 화질의 영상에 대한 사용자의 요구에 따라, 출력장치를 통하여 표시되는 영상의 해상도가 높아지고, 영상의 크기가 증가할 수 있다. 이에 따라, 전자장치에서 크고 복잡한 영상의 화질을 개선하기 위한 다양한 영상 처리 방법들이 개발되고 있다. 상기 화질을 개선하기 위한 영상 처리 기술 중 하나로 HDR (high dynamic range) 기술이 있다. 상기 HDR 기술은 밝기가 다른 사진을 연속하여 촬영한 후, 적어도 두 장의 사진을 하나의 사진으로 합성하는 기술이다.
고화질 또는 대용량의 영상을 처리하는 데에 전자장치는 많은 양의 자원을 사용할 수 있다. 예를 들면, 고화질의 영상의 변환 또는 보정과 관련된 많은 양의 데이터 연산을 수행하기 위해, 전자장치는 상대적으로 많은 양의 메모리 또는 처리 자원 (processing resource)을 사용할 수 있다. 또한, 다른 전자장치로 대용량의 영상을 전송하기 위해, 데이터 전송량 또는 전송 속도를 증가시킬 수 있도록, 전자장치는, 상대적으로 많은 양의 네트워킹 자원을 사용할 수 있다.
전자장치는, 고화질의 영상을 처리하고 대용량의 영상을 전송하기 위하여, 영상을 특정 영상 포맷으로 변환할 수 있다. 예를 들면, 전자장치는 RGB (red-green-blue) 색 모델에 기반을 둔 영상의 적색 성분, 녹색 성분, 및 청색 성분을, 영상의 밝기 (luminance) 성분, 청색 색차 성분 (blue difference chroma component), 및 적색 색차 성분 (red difference chroma component)으로 이루어진 YCbCr 영상 포맷으로 변환하여 영상을 처리할 수 있다. 예를 들면, 전자장치는 영상의 YCbCr 영상 포맷에 포함된 밝기 성분을 조절 (예: 증가)하여 영상의 밝기를 조절 (예: 증가)할 수 있다.
전자장치에서의 영상 품질은, 구비된 렌즈, 이미지 센서 등의 성능에 비례할 수 있다. 하지만, 고화질의 영상을 얻기 위해, 전자장치에 높은 성능의 렌즈, 이미지 센서 등을 구비하도록 하는 것은, 상기 전자장치를 생산하는 비용을 증가시키는 원인으로 작용할 수 있다.
따라서, 전자장치에 구비된 렌즈, 이미지 센서 등의 하드웨어 성능을 유지하면서 촬영 조건의 변화, 효율적인 이미지 처리 등을 기반으로 고 해상도의 이미지를 얻을 수 있는 방안을 마련하는 것이 필요하다.
본 개시의 다양한 실시 예에 따르면, 서로 다른 특성이 있는 두 개의 센서를 사용하여 프레임 레이트를 변환하는 이미지 처리장치 및 방법을 제공할 수 있다.
본 개시의 다양한 실시 예에 따르면, 서로 다른 특성이 있는 두 개의 센서를 사용하여 획득한 서로 다른 특성의 이미지를 합성하여 새로운 이미지를 생성하는 이미지 처리장치 및 방법을 제공할 수 있다.
본 개시의 다양한 실시 예에 따르면, 촬영을 위한 조건을 서로 다르게 설정한 적어도 두 개의 센서를 통해 획득한 다수의 이미지를 기반으로 새로운 이미지를 생성하는 이미지 처리장치 및 방법을 제공할 수 있다.
본 개시의 다양한 실시 예에 따르면, 저조도 상황에서 흑백 이미지 센서를 통해 획득한 고 해상도의 흑백 이미지와, 컬러 이미지 센서를 통해 획득한 저 해상도의 컬러 이미지를 사용한 영상 합성을 통해, 고 해상도의 컬러 이미지를 생성하는 이미지 처리장치 및 방법을 제공할 수 있다.
본 개시의 다양한 실시 예에 따르면, 극 저조도 상황에서 흑백 이미지 센서를 활성화하고, 컬러 이미지 센서를 비활성화시켜, 피사체를 촬영하는 이미지 처리장치 및 방법을 제공할 수 있다.
본 개시의 다양한 실시 예에 따른 전자 장치는, 메모리와, 제1 흑백 (BW) 이미지 센서와, 제2 이미지 센서 및 프로세서를 포함하되,
상기 프로세서는, 임의 시점에서의 조도를 지시하는 조도 값이 미리 설정된 조도 값을 만족하지 못하면, 상기 제1 BW 이미지 센서를 위한 제1 설정 값과 상기 제2 이미지 센서를 위한 제2 설정 값을 다르게 설정하고, 상기 제1 설정 값을 기반으로 상기 제1 BW 이미지 센서를 이용하여, 피사체에 대한 흑백 이미지를 획득하고, 상기 제2 설정 값을 기반으로 상기 제2 이미지 센서를 이용하여, 상기 피사체에 대한 적어도 하나의 컬러 이미지를 획득하고, 상기 흑백 이미지에 상기 적어도 하나의 컬러 이미지의 색상 정보 중 적어도 일부를 기반으로 하여 결정된 색상이 합성된 컬러 이미지를 생성하고, 상기 생성한 컬러 이미지를 상기 메모리에 비디오 데이터로 저장하도록 설정될 수 있으며, 여기서, 상기 흑백 이미지는 상기 적어도 하나의 컬러 이미지의 해상도에 비해 상대적으로 높은 해상도를 가질 수 있다.
본 개시의 다양한 실시 예에 따른 제1 흑백 (BW) 이미지 센서 및 제2 이미지 센서를 포함하는 전자 장치에서의 동작 방법은, 임의 시점에서의 조도를 지시하는 조도 값이 미리 설정된 조도 값을 만족하지 못하면, 상기 제1 BW 이미지 센서를 위한 제1 설정 값과 상기 제2 이미지 센서를 위한 제2 설정 값을 다르게 설정하는 동작과, 상기 제1 설정 값을 기반으로 상기 제1 BW 이미지 센서를 이용하여, 피사체에 대한 흑백 이미지를 획득하는 동작과, 상기 제2 설정 값을 기반으로 상기 제2 이미지 센서를 이용하여, 상기 피사체에 대한 적어도 하나의 컬러 이미지를 획득하는 동작과, 상기 흑백 이미지에 상기 적어도 하나의 컬러 이미지의 색상 정보 중 적어도 일부를 기반으로 하여 결정된 색상이 합성된 컬러 이미지를 생성하는 동작 및 상기 생성한 컬러 이미지를 상기 메모리에 비디오 데이터로 저장하는 동작을 포함할 수 있으며, 여기서, 상기 흑백 이미지는 상기 적어도 하나의 컬러 이미지의 해상도에 비해 상대적으로 높은 해상도를 가질 수 있다.
본 개시의 다양한 실시 예에 따른 제1 흑백 (BW) 이미지 센서 및 제2 이미지 센서를 포함하는 전자 장치의 컴퓨터 판독 가능한 기록 매체는, 임의 시점에서의 조도를 지시하는 조도 값이 미리 설정된 조도 값을 만족하지 못하면, 상기 제1 BW 이미지 센서를 위한 제1 설정 값과 상기 제2 이미지 센서를 위한 제2 설정 값을 다르게 설정하는 동작과, 상기 제1 설정 값을 기반으로 상기 제1 BW 이미지 센서를 이용하여, 피사체에 대한 흑백 이미지를 획득하는 동작과, 상기 제2 설정 값을 기반으로 상기 제2 이미지 센서를 이용하여, 상기 피사체에 대한 적어도 하나의 컬러 이미지를 획득하는 동작과, 상기 흑백 이미지에 상기 적어도 하나의 컬러 이미지의 색상 정보 중 적어도 일부를 기반으로 하여 결정된 색상이 합성된 컬러 이미지를 생성하는 동작 및 상기 생성한 컬러 이미지를 상기 메모리에 비디오 데이터로 저장하는 동작을 실행시키기 위한 프로그램을 기록할 수 있으며, 여기서, 상기 흑백 이미지는 상기 적어도 하나의 컬러 이미지의 해상도에 비해 상대적으로 높은 해상도를 가질 수 있다.
본 개시의 다양한 실시 예에 따라 이미지를 처리하는 장치 및 방법은, 높은 프레임 레이트를 가지는 이미지의 획득을 저해하는 수광량과 연산량의 문제를 해결할 수 있다.
도 1은 제안된 다양한 실시 예에 따른, 무선 터미널을 포함하는 네트워크 환경을 도시한 도면이다.
도 2는 제안된 다양한 실시 예에 따른, 무선 터미널에 대한 블록 구성을 도시한 도면이다.
도 3은 제안된 다양한 실시 예에 따른, 프로그램 모듈에 대한 블록 구성을 도시한 도면이다.
도 4는 제안된 다양한 실시 예에 따른, 이미지 처리장치의 구성에 대한 일 예를 도시한 도면이다.
도 5는 제안된 다양한 실시 예에 따른, 이미지 처리장치의 구성에 대한 다른 일 예를 도시한 도면이다.
도 6은 제안된 다양한 실시 예에 따른, 이미지 처리를 위한 블록 구성을 도시한 도면이다.
도 7은 제안된 다양한 실시 예에 따른, 이미지 처리 절차에 대한 제어 흐름을 도시한 도면이다.
도 8은 제안된 다양한 실시 예에 따른, 전자장치에서의 두 개의 이미지 센서를 사용한 촬영 예를 도시한 도면이다.
도 9는 제안된 다양한 실시 예에 따른, 전자장치에서 이미지 합성 예를 도시한 도면이다.
도 10은 제안된 다양한 실시 예에 따른, 전자장치에서 이미지 합성 절차를 도시한 도면이다.
도 11은 제안된 다양한 실시 예에 따른, 이미지 처리 결과에 대한 예를 도시한 도면이다.
도 12는 제안된 다양한 실시 예에 따른, 전자장치에서의 이미지 처리를 위한 제어 흐름을 도시한 도면이다.
이하, 본 문서의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 이는 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 문서의 실시 예의 다양한 변경 (modifications), 균등물 (equivalents), 및/또는 대체물 (alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징 (예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1", "제2", "첫 째", 또는 "둘 째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소 (예: 제1 구성요소)가 다른 구성요소 (예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어 ((operatively or communicatively) coupled with/to)" 있다거나 "접속되어 (connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 또 다른 구성요소 (예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소 (예: 제1 구성요소)가 다른 구성요소 (예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 또 다른 구성요소 (예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된 (또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한 (suitable for)", "~하는 능력을 가지는 (having the capacity to)", "~하도록 설계된 (designed to)", "~하도록 변경된 (adapted to)", "~하도록 만들어진 (made to)", 또는 "~를 할 수 있는 (capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된 (또는 설정된)"은 하드웨어적으로 "특별히 설계된 (specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된 (또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서 (예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서 (generic-purpose processor) (예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있을 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
본 문서의 다양한 실시 예들에 따른 전자 장치는, 예를 들면, 스마트폰 (smartphone), 태블릿 PC (tablet personal computer), 이동 전화기 (mobile phone), 영상 전화기, 전자책 리더기 (e-book reader), 데스크탑 PC (desktop personal computer), 랩탑 PC (laptop personal computer), 넷북 컴퓨터 (netbook computer), 워크스테이션 (workstation), 서버, PDA (personal digital assistant), PMP (portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라 (camera), 또는 웨어러블 장치 (wearable device) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예에 따르면, 웨어러블 장치는 액세서리형 (예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치 (head-mounted-device(HMD)), 직물 또는 의류 일체형 (예: 전자 의복), 신체 부착형 (예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형 (예: implantable circuit) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에서, 전자 장치는 가전 제품(home appliance)일 수 있다. 가전 제품은, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스 (set-top box), 홈 오토매이션 컨트롤 패널 (home automation control panel), 보안 컨트롤 패널 (security control panel), TV 박스 (예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔 (예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더 (camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시 예에서, 전자 장치는, 각종 의료기기 (예: 각종 휴대용 의료측정기기 (혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA (magnetic resonance angiography), MRI (magnetic resonance imaging), CT (computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 (navigation) 장치, GPS 수신기 (global positioning system receiver), EDR (event data recorder), FDR (flight data recorder), 자동차 인포테인먼트 (infotainment) 장치, 선박용 전자 장비 (예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기 (avionics), 보안 기기, 차량용 헤드 유닛 (head unit), 산업용 또는 가정용 로봇, 금융 기관의 ATM (automatic teller's machine), 상점의 POS (point of sales), 또는 사물 인터넷 장치 (internet of things) (예: 전구, 각종 센서, 전기 또는 가스 미터기, 스프링클러 장치, 화재경보기, 온도조절기 (thermostat), 가로등, 토스터 (toaster), 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예에 따르면, 전자 장치는 가구 (furniture) 또는 건물/구조물의 일부, 전자 보드 (electronic board), 전자 사인 수신 장치 (electronic signature receiving device), 프로젝터 (projector), 또는 각종 계측 기기 (예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예에서, 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시 예에 따른 전자 장치는 플렉서블 전자 장치일 수 있다. 또한, 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.
본 개시에서 제안된 다양한 실시 예에서는 상대적으로 낮은 프레임 레이트 (저 화질, 낮은 화소)의 컬러 영상과 상대적으로 높은 프레임 레이트 (고 화질, 높은 화소)의 흑백 영상을 정합하여 높은 프레임 레이트 (고 화질, 높은 화소)를 가지는 컬러 이미지를 획득하기 위한 방안을 마련할 것이다. 상기 높은 프레임 레이트를 가지는 컬러 이미지를 획득하기 위해, 낮은 프레임 레이트의 컬러 영상과 높은 프레임 레이트의 흑백 영상을 정합하는 방안은 다양하게 제안될 수 있다. 그에 따른 하나의 정합 예로써, 낮은 프레임 레이트의 컬러 영상에서 얻을 수 있는 색상 정보를 사용하여 높은 프레임 레이트 (고 화질)의 흑백 영상에 컬러를 확산 (컬러 디퓨징 (color diffusing))시킴으로써, 높은 프레임 레이트 (고 화질)의 컬러 영상을 생성할 수 있을 것이다.
이하, 첨부 도면을 참조하여, 다양한 실시 예에 따른 전자 장치가 설명된다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치 (예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1에서는, 다양한 실시 예를 위한 네트워크 환경(100) 내의 전자 장치(101)를 도시한다. 전자 장치(101)는 버스(110), 프로세서(120), 메모리(130), 입출력 인터페이스(150), 디스플레이(160), 통신 인터페이스(170), 및 영상 처리 모듈(140)을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(101)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가로 구비할 수 있다.
버스(110)는, 예를 들면, 구성요소들(120-170)을 서로 연결하고, 구성요소들(120-170) 간의 통신 (예: 제어 메시지 및/또는 데이터)을 전달하는 회로를 포함할 수 있다.
프로세서(120)는, 중앙처리장치 (central processing unit (CPU)), 어플리케이션 프로세서 (application processor (AP)), 또는 커뮤니케이션 프로세서 (communication processor (CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(120)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
메모리(130)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(130)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시 예에 따르면, 메모리(130)는 소프트웨어 및/또는 프로그램(180)을 저장할 수 있다. 프로그램(180)은, 예를 들면, 커널(181), 미들웨어(183), 어플리케이션 프로그래밍 인터페이스 (application programming interface (API))(185), 및/또는 어플리케이션 프로그램(또는 "어플리케이션")(187) 등을 포함할 수 있다. 커널(181), 미들웨어(183), 또는 API(185)의 적어도 일부는, 운영 시스템 (operating system (OS))으로 지칭될 수 있다.
커널(181)은, 예를 들면, 다른 프로그램들 (예: 미들웨어(183), API(185), 또는 어플리케이션 프로그램(187))에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들 (예: 버스(110), 프로세서(120), 또는 메모리(130) 등)을 제어 또는 관리할 수 있다. 또한, 커널(181)은 미들웨어(183), API(185), 또는 어플리케이션 프로그램(187)에서 전자 장치(101)의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어(183)는, 예를 들면, API(185) 또는 어플리케이션 프로그램(187)이 커널(181)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다.
또한, 미들웨어(183)는 어플리케이션 프로그램(187)으로부터 수신된 하나 이상의 작업 요청을 우선순위에 따라 처리할 수 있다. 예를 들면, 미들웨어(183)는 어플리케이션 프로그램(187) 중 적어도 하나에 전자 장치(101)의 시스템 리소스 (예: 버스(110), 프로세서(120), 또는 메모리(130) 등)를 사용할 수 있는 우선순위를 부여할 수 있다. 예컨대, 미들웨어(183)는 적어도 하나의 어플리케이션 프로그램에 부여된 우선순위에 따라 하나 이상의 작업 요청을 처리함으로써, 상기 하나 이상의 작업 요청에 대한 스케줄링 또는 로드 밸런싱 등을 수행할 수 있다.
API(185)는, 예를 들면, 어플리케이션 프로그램(187)이 커널(181) 또는 미들웨어(183)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 영상 처리, 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다.
입출력 인터페이스(150)는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치(101)의 다른 구성요소(들)에 전달할 수 있는 인터페이스의 역할을 할 수 있다. 또한, 입출력 인터페이스(150)은 전자 장치(101)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다. 예컨대, 입출력 인터페이스(150)은 서로 다른 특성이 있는 다수의 이미지 센서를 포함할 수 있다. 상기 입출력 인터페이스(150)은 다수의 이미지 센서에 의해 촬영된 이미지들을 버스(110)을 통해 영상 처리 모듈(140), 메모리(130), 디스플레이(160), 통신 인터페이스(170) 등으로 전달할 수 있다. 상기 촬영된 이미지들은 서로 다른 이미지 특성이 있을 수 있다. 이는 이미지 센서의 특성, 촬영을 위해 설정된 조건 등의 차이에 따른 것일 수 있다.
디스플레이(160)는, 예를 들면, 액정 디스플레이 (liquid crystal display(LCD)), 발광 다이오드 (light-emitting diode(LED)) 디스플레이, 유기 발광 다이오드 (organic light-emitting diode (OLED)) 디스플레이, 또는 마이크로 전자기계 시스템 (micro electromechanical systems (MEMS)) 디스플레이, 또는 전자종이 (electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(160)는, 예를 들면, 각종 콘텐츠 (예: 텍스트, 이미지, 비디오, 아이콘, 또는 심볼 등)를 표시할 수 있다. 디스플레이(160)는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다.
통신 인터페이스(170)는, 예를 들면, 전자 장치(101)와 외부 장치 (예: 제1 외부 전자 장치(102), 제2 외부 전자 장치(104), 또는 서버(106)) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스(170)는 무선 통신 또는 유선 통신을 통해서 네트워크(162)에 연결되어 외부 장치 (예: 제2 외부 전자 장치(104) 또는 서버(106))와 통신할 수 있다.
무선 통신은, 예를 들면, 셀룰러 통신 프로토콜로서, 예를 들면, LTE (long-term evolution), LTE-A (LTE Advance), CDMA (code division multiple access), WCDMA (wideband CDMA), UMTS (universal mobile telecommunications system), WiBro (wireless broadband), 또는 GSM (global system for mobile communications) 등 중 적어도 하나를 사용할 수 있다. 또한, 무선 통신은, 예를 들면, 근거리 통신(164)을 포함할 수 있다. 근거리 통신(164)은, 예를 들면, WiFi (wireless fidelity), 블루투스 (bluetooth), NFC (near field communication), MST (magnetic stripe transmission), 또는 지그비 (Zigbe) 등에서 적어도 하나를 포함할 수 있다. 무선 통신은 예들 들면, GPS (global positioning system), 또는 GNSS (global navigation satellite system)를 이용할 수 있다. 유선 통신은, 예를 들면, USB (universal serial bus), HDMI (high definition multimedia interface), RS-232 (recommended standard232), 또는 POTS (plain old telephone service) 등에서 적어도 하나를 포함할 수 있다. 네트워크(162)는 통신 네트워크 (telecommunications network), 예를 들면, 컴퓨터 네트워크 (computer network)(예: LAN 또는 WAN), 인터넷, 또는 전화망 (telephone network) 중 적어도 하나를 포함할 수 있다.
영상 처리 모듈(140)은, 예를 들면, 입력 영상과 관련된 엣지 정보 (예: 고주파 성분 정보)의 일부 또는 스케일 정보 (예: 다운스케일된 영상)의 일부에 기반하여 생성된 부가 정보 (예: 엣지 정보 또는 스케일 정보의 이진화 데이터, 고주파 성분 정보, 색상 정보, 밝기 정보, 패턴 정보, 모션 정보, 또는 블랙 레벨 값 등)를 획득하고, 상기 획득한 부가 정보에 기반하여 입력 영상의 적어도 일부에 대응하는 출력 영상을 생성할 수 있다. 영상 처리 모듈(140)은, 예를 들면, 스케일 정보에 포함된 다운-스케일된 입력 영상을 업-스케일하고, 상기 업-스케일된 입력 영상 및 엣지 정보를 이용하여 출력 영상을 생성할 수 있다.
영상 처리 모듈(140)은 입출력 인터페이스(150)에 구비된 서로 다른 특성이 있는 다수의 이미지 센서로부터 제공되는 다수의 이미지를 기반으로 새로운 이미지를 생성할 수 있다. 즉, 영상 처리 모듈(140)은 다수의 이미지 센서가 가지는 특성이 반영된 이미지로부터 그 특성에 관한 정보를 추출하고, 상기 추출한 정보를 사용하여 다른 특성이 있는 이미지를 가공함으로써, 새로운 특성이 있는 이미지를 생성할 수 있다.
한 실시 예에 따르면, 영상 처리 모듈(140)은 다수의 이미지 센서 중 하나인 컬러 이미지 센서로부터 상대적으로 낮은 해상도를 가지는 컬러 이미지를 얻을 수 있고, 상기 다수의 이미지 센서 중 하나인 흑백 (BW) 이미지 센서로부터 상대적으로 높은 해상도를 가지는 흑백 이미지를 얻을 수 있다. 이 경우, 상기 영상 처리 모듈(140)은 상대적으로 높은 해상도를 가지는 흑백 이미지와 상대적으로 낮은 해상도를 가지는 컬러 이미지를 합성 또는 정합하여 높은 해상도를 가지는 컬러 이미지를 생성할 수 있다.
하나의 예로써, 상기 영상 처리 모듈(140)은 상대적으로 낮은 해상도를 가지는 컬러 이미지로부터 색상 정보를 획득하고, 상기 획득한 색상 정보를 사용하여 상대적으로 높은 해상도를 가지는 흑백 이미지에 컬러를 확산시켜, 높은 해상도를 가지는 컬러 이미지를 생성할 수 있다.
도 1에서는 영상 처리 모듈(140)을 프로세서(120) 및 메모리(130)와 독립된 구성으로 나타내고 있지만, 다양한 실시 예들은 이에 한정되지 않는다. 영상 처리 모듈(140)은, 예를 들면, 프로세서(120)와 통합되어 (integrated with) 구현될 수 있고, 메모리(130)에 소프트웨어 형태로 저장되어 프로세서(120)에서 실행될 수 있는 형태로 구현될 수 있다. 또한, 영상 처리 모듈(140)은, 예를 들면, 프로세서(120) 및 메모리(130)에 분산되어 구현될 수 있다.
제1 및 제2 외부 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 한 실시 예에 따르면, 서버(106)는 하나 또는 그 이상의 서버들의 그룹을 포함할 수 있다. 다양한 실시 예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 전자 장치(102,104), 또는 서버(106))에서 실행될 수 있다. 한 실시 예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 전자 장치(102, 104), 또는 서버(106))에게 요청할 수 있다. 다른 전자 장치(예: 전자 장치(102, 104), 또는 서버(106))는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는 다양한 실시 예에 따른 전자 장치(201)의 블록도이다.
도 2를 참조하면, 전자 장치(201)는, 예를 들면, 도 1에 도시된 전자 장치(101)의 전체 또는 일부를 포함할 수 있다. 전자 장치(201)는 하나 이상의 프로세서 (예: AP (application processor))(210), 통신 모듈(220), 가입자 식별 모듈(224), 메모리(230), 센서 모듈(240), 입력 장치(250), 디스플레이(260), 인터페이스(270), 오디오 모듈(280), 카메라 모듈(291), 전력 관리 모듈(295), 배터리(296), 인디케이터(297), 및 모터(298) 를 포함할 수 있다.
프로세서(210)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(210)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(210)는, 예를 들면, SoC (system on chip) 로 구현될 수 있다. 한 실시 예에 따르면, 프로세서(210)는 GPU (graphic processing unit) 및/또는 이미지 신호 프로세서 (image signal processor)를 더 포함할 수 있다. 프로세서(210)는 도 2에 도시된 구성요소들 중 적어도 일부 (예: 셀룰러 모듈(221))를 포함할 수도 있다. 프로세서(210) 는 다른 구성요소들 (예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장할 수 있다.
통신 모듈(220)은, 도 1의 통신 인터페이스(170)와 동일 또는 유사한 구성을 가질 수 있다. 통신 모듈(220)은, 예를 들면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GPS 모듈(227), NFC 모듈(228) 및 RF (radio frequency) 모듈(229)을 포함할 수 있다.
셀룰러 모듈(221)은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(221)은 가입자 식별 모듈 (예: SIM 카드)(224)을 이용하여 통신 네트워크 내에서 전자 장치(201)의 구별 및 인증을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(221)은 프로세서(210)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(221)은 CP를 포함할 수 있다.
WiFi 모듈(223), 블루투스 모듈(225), GPS 모듈(227) 또는 NFC 모듈(228) 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 어떤 실시 예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GPS 모듈(227) 또는 NFC 모듈(228) 중 적어도 일부 (예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다.
RF 모듈(229)은, 예를 들면, 통신 신호 (예: RF 신호)를 송수신할 수 있다. RF 모듈(229)은, 예를 들면, 트랜시버 (transceiver), PAM (power amp module), 주파수 필터 (frequency filter), LNA (low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시 예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GPS 모듈(227) 또는 NFC 모듈(228) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다.
가입자 식별 모듈(224)은, 예를 들면, 가입자 식별 모듈을 포함하는 카드 및/또는 내장 SIM (embedded SIM)을 포함할 수 있으며, 고유한 식별 정보 (예: ICCID (integrated circuit card identifier)) 또는 가입자 정보 (예: IMSI (international mobile subscriber identity))를 포함할 수 있다.
메모리(230) (예: 메모리(130))는, 예를 들면, 내장 메모리(232) 또는 외장 메모리(234)를 포함할 수 있다. 내장 메모리(232)는, 예를 들면, 휘발성 메모리 (예: DRAM (dynamic RAM), SRAM (static RAM), 또는 SDRAM (synchronous dynamic RAM) 등), 비휘발성 메모리 (non-volatile Memory) (예: OTPROM(one time programmable ROM), PROM (programmable ROM), EPROM (erasable and programmable ROM), EEPROM (electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리 (예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브 (solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다.
외장 메모리(234)는 플래시 드라이브 (flash drive), 예를 들면, CF (compact flash), SD (secure digital), Micro-SD (micro secure digital), Mini-SD (mini secure digital), xD (extreme digital), MMC (multi-media card) 또는 메모리 스틱 (memory stick) 등을 더 포함할 수 있다. 외장 메모리(234)는 다양한 인터페이스를 통하여 전자 장치(201)와 기능적 및/또는 물리적으로 연결될 수 있다.
센서 모듈(240)은, 예를 들면, 물리량을 계측하거나 전자 장치(201)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(240)은, 예를 들면, 제스처 센서(240A), 자이로 센서(240B), 기압 센서(240C), 마그네틱 센서(240D), 가속도 센서(240E), 그립 센서(240F), 근접 센서(240G), 컬러 센서(240H) (예: RGB (red, green, blue) 센서), 생체 센서(240I), 온/습도 센서(240J), 조도 센서(240K), 또는 UV (ultra violet) 센서(240M) 중에서 적어도 하나를 포함할 수 있다. 추가로 또는 대체로 (additionally or alternatively), 센서 모듈(240)은, 예를 들면, 후각 센서 (E-nose sensor), EMG 센서 (electromyography sensor), EEG 센서 (electroencephalogram sensor), ECG 센서 (electrocardiogram sensor), IR (infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 센서 모듈(240)은 그 안에 속한 적어도 하나 이상의 센서를 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시 예에서, 전자 장치(201)는 프로세서(210)의 일부 또는 별도로, 센서 모듈(240)을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서(210)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(240)을 제어할 수 있다.
입력 장치(250)는, 예를 들면, 터치 패널 (touch panel)(252), (디지털) 펜 센서 (pen sensor)(254), 키(256), 또는 초음파 (ultrasonic) 입력 장치(258)를 포함할 수 있다. 터치 패널(252)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(252)은 제어 회로를 더 포함할 수도 있다. 터치 패널(252)은 택타일 레이어 (tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다.
(디지털) 펜 센서(254)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트 (sheet)를 포함할 수 있다. 키(256)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키 패드를 포함할 수 있다. 초음파 입력 장치(258)는 마이크(288)를 통해, 입력 도구에서 발생한 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이(260)는 패널(262), 홀로그램 장치(264), 또는 프로젝터(266)를 포함할 수 있다.
패널(262)은, 도 1의 디스플레이(160)와 동일 또는 유사한 구성을 포함할 수 있다. 패널(262)은, 예를 들면, 유연하게 (flexible), 투명하게 (transparent), 또는 착용할 수 있게 (wearable) 구현될 수 있다. 패널(262)은 터치 패널(252)과 하나의 모듈로 구성될 수도 있다.
한 실시 예에 따르면, 패널(262)은 적어도 하나의 센서를 포함할 수 있다. 예컨대, 패널(262)은 압력 센서 (또는 포스 센서 (interchangeably used hereinafter))를 포함할 수 있다. 상기 압력 센서는 사용자의 터치에 대한 압력의 세기를 측정할 수 있는 센서일 수 있다. 상기 압력 센서는 상기 터치 패널(252)과 일체형으로 구현되거나, 또는 상기 터치 패널(252)과 별도로 하나 이상의 센서로 구현될 수도 있다.
홀로그램 장치(264)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터(266)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(201)의 내부 또는 외부에 위치할 수 있다. 한 실시 예에 따르면, 디스플레이(260)는 패널(262), 홀로그램 장치(264), 또는 프로젝터(266)를 제어하기 위한 제어 회로를 더 포함할 수 있다.
인터페이스(270)는, 예를 들면, HDMI (high-definition multimedia interface)(272), USB (universal serial bus)(274), 광 인터페이스 (optical interface)(276), 또는 D-sub (D-subminiature)(278)를 포함할 수 있다. 인터페이스(270)는, 예를 들면, 도 1에 도시된 통신 인터페이스(170)에 포함될 수 있다. 추가로 또는 대체로, 인터페이스(270)는, 예를 들면, MHL (mobile high-definition link) 인터페이스, SD (secure digital) 카드/MMC (multi-media card) 인터페이스, 또는 IrDA (infrared data association) 규격 인터페이스를 포함할 수 있다.
오디오 모듈(280)은, 예를 들면, 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(280)의 적어도 일부 구성요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스(150)에 포함될 수 있다. 오디오 모듈(280)은, 예를 들면, 스피커(282), 리시버(284), 이어폰(286), 또는 마이크(288) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
카메라 모듈(291)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시 예에 따르면, 하나 이상의 이미지 센서 (예: 전면 센서 또는 후면 센서), 렌즈, ISP (image signal processor), 또는 플래시 (flash) (예: LED 또는 xenon lamp 등) 등을 포함할 수 있다. 즉, 카메라 모듈(291)은 서로 다른 특성이 있는 다수의 이미지 센서들을 포함할 수 있다. 상기 서로 다른 특성은 촬영된 이미지의 특성을 결정하는 요건으로써, 이미지의 종류 (흑백, 컬러 등), 해상도, 화각 등에 관한 특성이 될 수 있다.
예컨대, 카메라 모듈(291)은 서로 다른 해상도를 지원하는 이미지 센서들의 조합에 의해 구성될 수 있다. 즉, 카메라 모듈(291)에 포함된 이미지 센서들의 조합을 높은 해상도 (고 해상도)를 가지는 이미지 센서와 낮은 해상도 (저 해상도)를 가지는 이미지 센서로 구성하거나 또는 흑백 이미지를 얻기 위한 이미지 센서와 컬러 이미지를 얻기 위한 이미지 센서로 구성하거나 또는 넓은 화각을 가지는 이미지 센서와 좁은 화각을 가지는 이미지 센서로 구성할 수도 있다. 그뿐만 아니라 다수의 특성을 고려하여 이미지 센서의 조합을 구성할 수도 있다. 즉, 상대적으로 높은 해상도를 가지는 흑백 이미지를 얻을 수 있는 흑백 (BW) 이미지 센서와, 상대적으로 낮은 해상도를 가지는 컬러 이미지를 얻을 수 있는 컬러 이미지 센서의 조합에 의해 구성할 수 있다.
카메라 모듈(291)은 다수의 이미지 센서별로 촬영을 위한 조건을 달리 설정할 수 있다. 예컨대, 촬영을 위한 조건은 노출 값, 셔터 스피드, 조리개 값, 화이트 밸런스, 감도 등이 될 수 있다. 다수의 이미지 센서들은 설정된 촬영 조건에 따라 다른 결과물의 이미지를 생성할 수 있다.
전력 관리 모듈(295)은, 예를 들면, 전자 장치(201)의 전력을 관리할 수 있다. 한 실시 예에 따르면, 전력 관리 모듈(295)은 PMIC (power management integrated circuit), 충전 IC (charger integrated circuit), 또는 배터리(296) 또는 연료 게이지 (battery or fuel gauge) 등을 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리(296)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리(296)는, 예를 들면, 충전식 전지 (rechargeable battery) 및/또는 태양 전지 (solar battery)를 포함할 수 있다.
인디케이터(297)는 전자 장치(201) 또는 그 일부 (예: 프로세서(210))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(298)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동 (vibration), 또는 햅틱 (haptic) 효과 등을 발생시킬 수 있다. 도시되지는 않았으나, 전자 장치(201)는 모바일 TV 지원을 위한 처리 장치 (예: GPU)를 포함할 수 있다. 모바일 TV 지원을 위한 처리 장치는, 예를 들면, DMB (digital multimedia broadcasting), DVB (digital video broadcasting), 또는 미디어플로 (mediaFloTM) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.
본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품 (component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시 예에서, 전자 장치는 본 문서에서 기술된 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 다양한 실시 예에 따른 전자 장치의 구성요소들 중 일부를 결합하여 하나의 개체 (entity)를 구성함으로써, 결합하기 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
도 3은 다양한 실시 예에 따른 프로그램 모듈의 블록도이다.
도 3을 참조하면, 프로그램 모듈(310) (예: 프로그램(180))은 전자 장치에 관련된 자원을 제어하는 운영 체제 (operating system(OS)) 및/또는 운영 체제상에서 구동되는 다양한 어플리케이션 (예: 어플리케이션 프로그램(187))을 포함할 수 있다. 운영 체제는, 예를 들면, 안드로이드 (android), iOS, 윈도우 (windows), 심비안 (symbian), 타이젠 (tizen), 또는 바다 (bada) 등이 될 수 있다.
프로그램 모듈(310)은 커널(320), 미들웨어(330), 어플리케이션 프로그래밍 인터페이스 (application programming interface (API))(360), 및/또는 어플리케이션(370)을 포함할 수 있다. 프로그램 모듈(310)의 적어도 일부는 전자 장치상에 프리로드 (preload) 되거나, 외부 전자 장치 (예: 전자 장치(102, 104), 서버(106) 등)로부터 다운로드 가능하다.
상기 프로그램 모듈(310)에 포함된 커널(320), 미들웨어(330), API(360) 및 어플리케이션 (370) 각각의 예로써, 도 1의 프로그램(180)에 포함된 커널(181), 미들웨어(183), API(185) 및 어플리케이션(187)이 될 수 있다.
커널(320)은, 예를 들면, 시스템 리소스 매니저(321) 및/또는 디바이스 드라이버(323)를 포함할 수 있다. 시스템 리소스 매니저(321)는 시스템 리소스의 제어, 할당, 또는 회수 등을 수행할 수 있다. 한 실시 예에 따르면, 시스템 리소스 매니저(321)는 프로세스 관리부, 메모리 관리부, 또는 파일 시스템 관리부 등을 포함할 수 있다. 디바이스 드라이버(323)는, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WiFi 드라이버, 오디오 드라이버, 또는 IPC (inter-process communication) 드라이버 등을 포함할 수 있다.
미들웨어(330)는, 예를 들면, 어플리케이션(370)이 공통으로 필요로 하는 기능을 제공하거나, 어플리케이션(370)이 전자 장치 내부의 제한된 시스템 자원을 효율적으로 사용할 수 있도록 API(360)를 통해 다양한 기능들을 어플리케이션(370)으로 제공할 수 있다. 한 실시 예에 따르면, 미들웨어(330)는 런타임 라이브러리(335), 어플리케이션 매니저 (application manager)(341), 윈도우 매니저 (window manager)(342), 멀티미디어 매니저 (multimedia manager)(343), 리소스 매니저 (resource manager)(344), 파워 매니저 (power manager)(345), 데이터베이스 매니저 (database manager)(346), 패키지 매니저 (package manager)(347), 연결 매니저 (connectivity manager)(348), 통지 매니저 (notification manager)(349), 위치 매니저 (location manager)(350), 그래픽 매니저 (graphic manager)(351), 또는 보안 매니저 (security manager)(352) 중 적어도 하나를 포함할 수 있다.
런타임 라이브러리(335)는, 예를 들면, 어플리케이션(370)이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 런타임 라이브러리(335)는 입출력 관리, 메모리 관리, 또는 산술 함수에 대한 기능 등을 수행할 수 있다.
어플리케이션 매니저(341)는, 예를 들면, 어플리케이션(370) 중 적어도 하나의 어플리케이션의 생명 주기를 관리할 수 있다. 윈도우 매니저(342)는 화면에서 사용하는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저(343)는 다양한 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱을 이용하여 미디어 파일의 인코딩 또는 디코딩을 수행할 수 있다. 리소스 매니저(344)는 어플리케이션(370) 중 적어도 어느 하나의 어플리케이션의 소스 코드, 메모리 또는 저장 공간 등의 자원을 관리할 수 있다.
파워 매니저(345)는, 예를 들면, 바이오스 (BIOS: basic input/output system) 등과 함께 동작하여 배터리 또는 전원을 관리하고, 전자 장치의 동작에 필요한 전력 정보 등을 제공할 수 있다. 데이터베이스 매니저(346)는 어플리케이션(370) 중 적어도 하나의 어플리케이션에서 사용할 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저(347)는 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 갱신 (update)을 관리할 수 있다.
연결 매니저(348)는, 예를 들면, WiFi 또는 블루투스 등의 무선 연결을 관리할 수 있다. 통지 매니저(349)는 도착 메시지, 약속, 근접성 알림 등의 사건 (event)을 사용자에게 방해되지 않는 방식으로 표시 또는 통지할 수 있다. 위치 매니저(350)는 전자 장치의 위치 정보를 관리할 수 있다. 그래픽 매니저(351)는 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 보안 매니저(352)는 시스템 보안 또는 사용자 인증 등에 필요한 제반 보안 기능을 제공할 수 있다. 한 실시 예에 따르면, 전자 장치가 전화 기능을 포함한 경우, 미들웨어(330)는 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화 매니저 (telephony manager)를 더 포함할 수 있다.
미들웨어(330)는 전술한 구성요소들의 다양한 기능의 조합을 형성하는 미들웨어 모듈을 포함할 수 있다. 미들웨어(330)는 차별화된 기능을 제공하기 위해 운영 체제의 종류별로 특화된 모듈을 제공할 수 있다. 또한, 미들웨어(330)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다.
API(360)는, 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 플랫폼별로 하나의 API 셋을 제공할 수 있으며, 타이젠의 경우, 플랫폼별로 두 개 이상의 API 셋을 제공할 수 있다.
어플리케이션(370)은, 예를 들면, 홈(371), 다이얼러(372), SMS/MMS(373), IM(instant message)(374), 브라우저(375), 카메라(376), 알람(377), 컨택트(378), 음성 다이얼(379), 이메일(380), 달력(381), 미디어 플레이어(382), 앨범(383), 또는 시계(384) 등의 기능을 수행할 수 있는 하나 이상의 어플리케이션을 포함할 수 있다. 상기 어플리케이션(370)은 건강관리 (health care) (예: 운동량 또는 혈당 등을 측정), 또는 환경 정보 제공 (예: 기압, 습도, 또는 온도 정보 등을 제공) 등의 기능을 수행할 수 있는 어플리케이션을 포함할 수도 있다.
한 실시 예에 따르면, 어플리케이션(370)은 전자 장치 (예: 전자 장치(101))와 외부 전자 장치 사이의 정보 교환을 지원하는 어플리케이션 (이하, 설명의 편의 상, "정보 교환 어플리케이션"이라 칭함)을 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치에 특정 정보를 전달하기 위한 알림 전달 (notification relay) 어플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리 (device management) 어플리케이션을 포함할 수 있다.
예를 들면, 알림 전달 어플리케이션은 전자 장치의 다른 어플리케이션 (예: SMS/MMS 어플리케이션, 이메일 어플리케이션, 건강 관리 어플리케이션, 또는 환경 정보 어플리케이션 등)에서 발생한 알림 정보를 외부 전자 장치로 전달하는 기능을 포함할 수 있다. 또한, 알림 전달 어플리케이션은, 예를 들면, 외부 전자 장치로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다.
장치 관리 어플리케이션은, 예를 들면, 전자 장치와 통신하는 외부 전자 장치의 적어도 하나의 기능 (예: 외부 전자 장치 자체 (또는, 일부 구성 부품)의 턴-온/턴-오프 또는 디스플레이의 밝기 (또는, 해상도) 조절), 외부 전자 장치에서 동작하는 어플리케이션 또는 외부 전자 장치에서 제공되는 서비스 (예: 통화 서비스 또는 메시지 서비스 등)를 관리 (예: 설치, 삭제, 또는 업데이트)할 수 있다.
한 실시 예에 따르면, 어플리케이션(370)은 외부 전자 장치의 속성에 따라 지정된 어플리케이션 (예: 모바일 의료 기기의 건강관리 어플리케이션 등)을 포함할 수 있다. 한 실시 예에 따르면, 어플리케이션(370)은 외부 전자 장치로부터 수신된 어플리케이션을 포함할 수 있다. 한 실시 예에 따르면, 어플리케이션(370)은 프리로드 어플리케이션 (preloaded application) 또는 서버로부터 다운로드 가능한 제3자 어플리케이션 (third party application)을 포함할 수 있다. 도시된 실시 예에 따른 프로그램 모듈(310)의 구성요소들의 명칭은 운영 체제의 종류에 따라서 달라질 수 있다.
다양한 실시 예에 따르면, 프로그램 모듈(310)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어, 또는 이들 중 적어도 둘 이상의 조합으로 구현될 수 있다. 프로그램 모듈(310)의 적어도 일부는, 예를 들면, 프로세서 (예: 프로세서(210))에 의해 구현 (implement)(예: 실행)될 수 있다. 프로그램 모듈(310)의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트 (sets of instructions) 또는 프로세스 등을 포함할 수 있다.
본 문서에서 사용된 용어 "모듈"은, 예를 들면, 하드웨어, 소프트웨어 또는 펌웨어 (firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위를 의미할 수 있다. "모듈"은, 예를 들면, 유닛, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 바꾸어 사용 (interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, "모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC (application-specific integrated circuit) 칩, FPGAs (field-programmable gate arrays) 또는 프로그램 가능 논리 장치 (programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시 예에 따른 장치 (예: 모듈들 또는 그 기능들) 또는 방법 (예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체 (computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서 (예: 프로세서(120))에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 메모리(130)가 될 수 있다.
컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체 (magnetic media)(예: 자기테이프), 광기록 매체 (optical media)(예: CD-ROM(compact disc read only memory), DVD (digital versatile disc), 자기-광 매체 (magneto-optical media)(예: 플롭티컬 디스크 (floptical disk)), 하드웨어 장치 (예: ROM(read only memory), RAM (random access memory), 또는 플래시 메모리 등) 등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
다양한 실시 예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시 예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱 (heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다. 그리고 본 문서에 개시된 실시 예는 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 문서에서 기재된 기술의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 문서의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.
도 4는 제안된 다양한 실시 예에 따른, 이미지 처리장치의 구성에 대한 일 예를 도시한 도면이다.
도 4를 참조하면, 이미지 처리장치는 하나의 렌즈(410), 분배부(420), 제1 및 제2 센서(430, 440) 및 프로세서(450)를 포함할 수 있다. 상기 프로세서(450)는 이미지 처리부(452)와 센서 구동부(454)를 포함할 수 있다. 도면에서는 이미지 처리부(452)와 센서 구동부(454)가 프로세서(450)에 포함되는 구성으로 도시되고 있으나, 프로세서(450)와 별도의 독립적인 구성이 될 수도 있다. 그리고 도면에서는 두 개의 센서를 구비한 예를 도시하고 있으나 그 이상의 센서들에 의한 구현도 가능할 수 있다. 그리고 하나의 렌즈를 추가하고, 상기 추가된 렌즈에 대응하여서도 다수의 센서들을 배치할 수 있다.
상기 렌즈(410)는 피사체로부터 반사된 빛을 굴절시켜 투명 유리 체로써, 텔레비전 카메라나 필름 카메라, 사진 카메라 등 그 종류를 막론하고 카메라 몸체 앞 부분에 원통 모양으로 부착될 수 있다. 상기 렌즈(410)는 모양과 크기가 달라도 카메라의 눈으로서 피사체 모습을 재현하는 동일한 기능을 수행하는 것이 일반적이다.
상기 렌즈(410)는 그 기능에 따라 여러 종류로 구분될 수 있다. 예컨대, 초점 거리에 따라 광각 렌즈와 표준 렌즈, 망원렌즈 및 줌 렌즈 등으로 구분될 수 있다. 또한, 상기 렌즈(410)는 밝기 또는 속도 등의 특성에 따라 구분될 수도 있다. 예컨대, 상기 렌즈의 밝기 또는 속도는 최소 조리개 값 (f)과 관련된 렌즈(410)의 특성이 될 수 있다. 상기 렌즈(410)의 밝기는 최소 조리개 값 (f) (최대 조리개 개방)을 의미한다.
상기 렌즈(410)의 최대 조리개 개방 값이 클수록 (최소 조리개 f 값이 작을수록), 단위 시간당 더 많은 빛을 통과시킬 수 있다 (렌즈가 밝다). 상기 렌즈(410)가 밝을수록 빠른 셔터 스피드를 확보할 수 있어, 어두운 촬영 환경 (수광 량이 적은 환경)에서도 좀더 밝은 이미지를 얻을 수 있다..
상기 분배부(420)는 상기 렌즈(410)를 통해 굴절된 빛을 소정 개수의 경로로 분배할 수 있다. 예컨대, 거울 등의 매체를 이용하여 상기 렌즈(410)를 통해 굴절된 빛을 두 개의 경로들 각각으로 반사함으로써, 원하는 곳으로 동일한 빛을 전달할 수 있다.
제1 센서(430)와 제2 센서(440)는 상기 분배부(420)를 통해 공급되는 빛을 검지하고, 상기 검지한 빛을 기반으로 전기적인 이미지 신호 (이미지 프레임)를 생성할 수 있다. 상기 제1 센서(430)와 상기 제2 센서(440)를 구성하는 소자는, 금속산화물반도체 (MOS), 전하결합소자 (CCD), 또는 상보성 금속산화물반도체 (CMOS) 등을 포함할 수 있다. 상기 제1 센서(430)와 제2 센서(440)는 전기적 이미지 신호에 의해 표현되는 이미지의 종류에 따라, 흑백 이미지 센서와 컬러 이미지 센서로 구분할 수 있다. 일반적으로 센서에서 데이터 프레임을 높일 수 없는 대표적인 이유는, 센서의 수광 량이 제한적이기 때문이다. 그 외에, 아날로그-디지털 변환 소자의 개수, MIPI (mobile industry processor interface)의 대역폭 (bandwidth) 등의 제한으로 인한 것은 추후 이미지 센서를 제작 시에 해결 가능한 이슈가 될 수 있다.
상기 제1 센서(430)와 상기 제2 센서(440)는 구성하는 소자 등에 의해 서로 다른 특성이 있을 수 있다. 상기 특성은 촬영된 이미지의 성질 등을 결정하는 요건으로써, 이미지의 종류 (흑백, 컬러 등), 해상도, 화각 등에 관한 특성이 될 수 있다.
예컨대, 상기 제1 센서(430)와 상기 제2 센서(440)는 서로 다른 해상도를 지원할 수 있다. 즉, 상기 제1 센서(430)는 높은 해상도 (고 해상도)를 지원하고, 상기 제2 센서(440)는 낮은 해상도 (저 해상도)를 지원할 수 있다. 또한, 상기 제1 센서(430)는 검지한 빛을 기반으로 흑백 이미지를 생성하고, 상기 제2 센서(440)는 검지한 빛을 기반으로 컬러 이미지를 생성할 수 있다. 상기 제1 센서(430)와 상기 제2 센서(440)는 서로 다른 화각에 의한 이미지를 생성할 수도 있다. 그뿐만 아니라 상기 제1 센서(430) 및/또는 상기 제2 센서(440)는 다수의 특성에서 차이가 있을 수 있다. 즉, 제1 센서(430)는 상대적으로 높은 해상도를 가지는 흑백 이미지를 얻을 수 있는 흑백 (BW) 이미지 센서일 수 있고, 상기 제2 센서(440)는 상대적으로 낮은 해상도를 가지는 컬러 이미지를 얻을 수 있는 컬러 이미지 센서일 수 있다.
예컨대, 동일한 촬영 환경 (동일한 수광 량 공급, 일 예로 저조도 상황)을 가정할 때, 흑백 이미지 센서는 컬러 이미지 센서에 비해 상대적으로 높은 프레임 레이트 (fps; frame per second)를 제공할 수 있다. 즉, 동일한 촬영 환경에서 동일한 시간에 획득되는 이미지 프레임은 컬러 이미지 센서보다 흑백 이미지 센서에 의해 더 많이 획득될 수 있다. 이에 반해, 흑백 이미지 센서에 의해 획득된 흑백 이미지는 컬러 이미지 센서에 의해 획득된 컬러 이미지에 비해 상대적으로 작은 데이터양을 가진다.
상기 제1 센서(430)와 상기 제2 센서(440)에 대해서는 독립적인 촬영 조건이 설정될 수 있다. 예컨대, 상기 제1 센서(430)와 상기 제2 센서(440)에 대한 노출 값, 셔터 스피드 (exposure time), 센서 감도 (ISO 특성 값), 조리개 값 등을 다르게 설정할 수 있다. 이런 경우, 제1 센서(430)로부터 얻게 되는 이미지와 제2 센서(440)로부터 얻게 되는 이미지의 특성은 다를 수 있다.
이를 활용하면, 서로 다른 촬영 조건이 설정된 제1 센서(430)와 제2 센서(440)에 의해 동일한 시간에 낮은 해상도를 가지는 다수의 컬러 이미지와 높은 해상도를 가지는 흑백 이미지를 획득할 수 있다. 즉, 하나의 흑백 이미지의 리드 타임 (read time) 동안 다수의 촬영 조건에 의한 다수의 컬러 이미지를 촬영할 수 있다.
일 예로 극 저조도 환경에서 촬영하는 경우, 컬러 이미지 센서 (예컨대, 제2 이미지 센서(440))를 오프하고, 흑백 이미지 센서 (예컨대, 제1 이미지 센서(430))만으로 촬영을 시도할 수 있다. 이 경우, 흑백 이미지 센서 (예컨대, 제1 이미지 센서(430))에 의해 출력되는 다수의 흑백 이미지들을 합성하여 하나의 흑백 이미지가 생성될 수도 있다.
다른 예로 저조도 환경에서 촬영하는 경우, 컬러 이미지 센서 (예컨대, 제2 이미지 센서(440))와 흑백 이미지 센서 (예컨대, 제1 이미지 센서(430))에 대해 상이한 촬영 조건을 설정함으로써, 상기 컬러 이미지 센서 (예컨대, 제2 이미지 센서(440))와 상기 흑백 이미지 센서 (예컨대, 제1 이미지 센서(430))가 서로 다른 촬영 조건을 기반으로 피사체에 대한 흑백 이미지와 적어도 하나의 컬러 이미지를 생성할 수도 있다.
상기 프로세서(450)는 수광 량으로 인해 높은 프레임 레이트를 얻지 못하는 문제를 해결하기 위한 방안과, 이를 처리하기 위한 많은 연산량을 해결하기 위한 방안을 마련하고 있다.
상기 프로세서(450)는 상기 제1 센서(430)와 상기 제2 센서(440) 각각에 대해 독립적인 촬영 조건을 설정하고, 상기 제1 센서(430)와 상기 제2 센서(440)로부터 제공되는 이미지 프레임들을 이용한 컬러 합성, 영상 합성 등을 포함한 영상 정합을 수행할 수 있다.
상기 프로세서(450)를 구성하는 센서 구동부(454)는 상기 제1 센서(430)와 상기 제2 센서(440) 각각의 구동을 제어할 수 있다. 즉, 상기 센서 구동부(454)는 제1 센서(430)와 상기 제2 센서(440) 모두를 온 또는 오프 시키거나 제1 센서(430)와 상기 제2 센서(440) 중 하나만을 온 시킬 수도 있다. 상기 센서 구동부(454)는 상기 제2 센서(430)와 상기 제2 센서(440) 각각에 대한 독립적인 촬영 조건 (제1 및 제2 설정 값)을 설정하기 위해, 상기 제2 센서(430)와 상기 제2 센서(440) 별로 노출 값, 셔터 스피드, 센서 감도 (ISO 특성 값), 조리개 값 등을 설정할 수 있다.
예컨대, 상기 센서 구동부(454)는 저조도 환경에서 제1 센서(430)와 제2 센서(450)에 대한 카메라 설정 값 (노출 등의 촬영 조건)을 다르게 설정할 수 있다. 이를 기반으로 상기 이미지 처리부(452)는 다른 특성이 있는 이미지들을 얻을 수 있으며, 상기 얻어진 다른 특성이 있는 이미지들을 합성함으로써, 저조도 환경에서도 밝고 깨끗한 이미지를 획득할 수 있다. 이 경우, 상기 이미지 처리부(452)는 이미지 합성 시, 흑백 이미지가 가지는 넓은 동작 범위 (dynamic range, DR)와 컬러 이미지가 가지는 DR 및 색 재현 특성을 이용할 수 있다.
상기 센서 구동부(454)는 극 저조도 환경에서 컬러 이미지 센서인 제2 센서(440)를 오프 시키고, 흑백 이미지 센서인 제1 센서(430)를 온 시킬 수 있다. 이런 경우, 상기 이미지 처리부(452)는 제1 센서(430)에 의해 촬영된 흑백 이미지들을 합성하여 새로운 이미지를 생성할 수도 있다. 상기 제1 센서(430)는 흑백 이미지들 각각을 서로 다른 설정에 의해 촬영할 수 있다. 이를 위해, 상기 센서 구동부(454)는 센서별로 다수의 촬영 조건을 설정할 수도 있다.
상기 프로세서(450)를 구성하는 이미지 처리부(454)는 상기 제1 센서(430)로부터 제공되는 제1 이미지 프레임들과, 상기 제2 센서(440)로부터 제공되는 제2 이미지 프레임들을 사용하여 FRC 연산을 수행할 수 있다. 예컨대, 상기 FRC 연산은 복제 프레임 (duplicating frame)에 의한 방안과, 움직임 보상 (motion compensation)에 의한 방안 등이 있을 수 있다.
예컨대, 상기 이미지 처리부(452)는 제1 센서(430)로부터 상대적으로 높은 데이터 레이트를 가지는 흑백 이미지 프레임 (소스 흑백 이미지 프레임)을 획득하고, 제2 센서(440)로부터 상대적으로 낮은 데이터 레이트를 가지는 적어도 하나의 컬러 이미지 프레임을 획득할 수 있다. 상기 이미지 처리부(452)는 흑백 이미지 프레임과 적어도 하나의 컬러 이미지에 의해 영상 정합을 수행할 수 있다. 상기 영상 정합은 컬러 합성, 영상 합성 등을 포함할 수 있다.
예컨대, 상기 컬러 합성은 낮은 해상도의 컬러 이미지 프레임들로부터 획득한 컬러 정보를 사용하여 높은 해상도의 흑백 이미지 프레임을 대상으로 컬러 디퓨징하는 것에 의해 수행될 수 있다. 상기 컬러 디퓨징은 흑백 이미지 프레임에 획득한 컬러 정보를 확산시키는 것에 의해 이루어질 수 있다.
예컨대, 상기 영상 합성은 높은 해상도의 흑백 이미지 프레임으로부터 획득한 휘도 정보를 낮은 해상도의 컬러 이미지 프레임들에 적용하는 것에 의해 수행될 수 있다.
상기 컬러 합성 또는 상기 영상 합성에 의해서는 데이터 레이트를 변환한 컬러 이미지 프레임, 즉 해상도가 향상된 컬러 이미지 프레임을 출력 이미지로 얻을 수 있다.
상술한 바에 따르면, 낮은 해상도의 컬러 이미지 프레임으로부터 글로벌 모션을 검색함으로써, 연산량을 줄일 수 있을 뿐만 아니라, 글로벌 모션이 존재하는 부분에 대해서 지역 밀집 매칭 (local dense matching)을 수행할 수 있다. 이 또한 연산 량을 줄일 수 있는 이유가 된다. 상기 지역 밀집 매칭은 연속하는 이미지 프레임들 간에 움직임의 변화량이 없는 영역을 정의함으로써, 압축 데이터양을 줄이기 위해 사용될 수 있다.
일 실시 예에 따르면, 제1 센서(430)를 흑백 이미지 센서로 구성하고, 제2 센서(440)를 컬러 이미지 센서로 구성할 수 있다. 상기 흑백 이미지 센서는 상기 컬러 이미지 센서에 비해 대략 3배의 수광 량을 제공하는 특성이 있다. 예컨대, 고해상도 (HD급)를 기준으로 흑백 이미지 센서는 480 fps를 처리할 수 있으나, 컬러 이미지 센서는 240 fps를 처리할 수 있다. 통상적으로 흑백 이미지 센서는 720fps까지 처리가 가능하나, AP 코덱 성능, ADC 개수, MIPI 대역폭에 따라 fps를 조절하는 것이 가능할 수 있다.
이 경우, 제1 센서(430)는 제2 센서(450)에 비해 상대적으로 높은 프레임 레이트에 의한 흑백 이미지 프레임들을 출력할 수 있다. 그리고 상기 제2 센서(440)는 상기 제1 센서(430)에 비해 상대적으로 낮은 프레임 레이트의 컬러 이미지 프레임들을 출력할 수 있다.
하나의 예로써, 제1 센서(430)에 상응한 흑백 이미지 센서는 제1 시간에서 피사체에 대한 제1 흑백 이미지를 출력하고, 제2 시간에서 상기 피사체에 대한 제2 흑백 이미지를 출력할 수 있다. 상기 제1 센서(430)는 제1 및 제2 흑백 이미지 외에 더 많은 흑백 이미지를 출력할 수도 있다. 상기 제1 센서(430)는 더 많은 흑백 이미지를 제1 시간 간격으로 출력할 수 있다.
제2 센서(440)에 상응한 컬러 이미지 센서는 상기 피사체에 대한 컬러 이미지를 출력할 수 있다. 상기 제2 센서(440)는 제1 시간과 제2 시간 사이에서 다수의 컬러 이미지들을 출력할 수 있다.
상기 제1 흑백 이미지의 해상도는 상기 다수의 컬러 이미지들의 해상도보다 상대적으로 높을 수 있다.
상기 프로세서(450)는 제1 시간에서부터 제2 시간에 도달하기 전까지 제1 흑백 이미지와 다수의 컬러 이미지들을 획득할 수 있다. 상기 프로세서(450)는 상기 획득한 컬러 이미지들 또는 각각으로부터 색상 정보 또는 상기 색상 정보의 일부를 획득할 수 있다. 상기 프로세서(450)는 제1 흑백 이미지에 상기 획득한 색상을 합성하여 컬러 이미지를 생성할 수 있다.
도 5는 제안된 다양한 실시 예에 따른, 이미지 처리장치의 구성에 대한 다른 일 예를 도시한 도면이다.
도 5에서 도시하고 있는 이미지 처리장치는 도 4에서 도시한 이미지 처리장치를 구성하는 분배부(420)를 대신하여 센서별로 독립된 렌즈를 구비하는 구조를 가진다.
일 실시 예에 따르면, 제1 센서(530)과 제2 센서(540) 각각에 대응하여 제1 렌즈(510)와 제2 렌즈(520)를 독립적으로 구성할 수 있다. 상기 제1 렌즈(510)와 상기 제2 렌즈(520)는 모양과 크기가 다를 수 있으며, 그 기능에 따라 여러 종류로 구분될 수 있다. 예컨대, 초점 거리에 따라 광각 렌즈와 표준 렌즈, 망원렌즈 및 줌 렌즈 등으로 구분될 수 있다. 또한, 상기 제1 및 제2 렌즈들(510, 520)은 밝기 또는 속도 등의 특성에 따라 구분될 수도 있다. 예컨대, 상기 렌즈의 밝기 또는 속도는 최소 조리개 값 (f)과 관련된 렌즈의 특성이 될 수 있다. 상기 제1 및 제2 렌즈들(510, 520)의 밝기는 최소 조리개 값 (f) (최대 조리개 개방)을 의미한다.
상기 제1 및 제2 렌즈들(510, 520)의 최대 조리개 개방 값이 클수록 (최소 조리개 f 값이 작을수록), 단위 시간당 더 많은 빛을 통과시킬 수 있다 (렌즈가 밝다). 상기 제1 및 제2 렌즈들(510, 520)이 밝을수록 빠른 셔터 스피드를 확보할 수 있어, 어두운 촬영 환경 (수광 량이 적은 환경)에서도 좀 더 밝은 이미지를 얻을 수 있다.
제안된 다양한 실시 예에 따르면, 제1 렌즈(510)와 제2 렌즈(520)는 동일한 특성을 가질 수도 있지만, 그렇지 않을 수도 있다. 예컨대, 제1 렌즈(510)는 광각 렌즈이고, 제2 렌즈(520)는 망원렌즈일 수 있다. 상기 제1 렌즈(510)와 상기 제2 렌즈(520)는 그 종류에 따라 피사체로부터 반사된 빛을 굴절시키는 정도, 빛의 량 등이 상이할 수 있다.
그 외의 구성들, 즉 제1 및 제2 센서(530, 540)와 이미지 처리부(552)와 센서 구동부(554)를 포함하는 프로세서(550)의 기능 및 그에 따른 동작은 도 4에서 대응하는 구성들과 동일할 수 있다.
한편, 도시하고 있지는 않지만, 도 4 및 도 5에서 렌즈의 개수 및 센서의 개수는 제안된 다양한 실시 예들을 위해 한정되지는 않는다. 즉, 제안된 다양한 실시 예들은 특정 개수의 렌즈 또는 특정 개수의 센서에 대해서만 제한적으로 적용될 수 있는 것은 아니다. 또한, 도 4에서 제안된 구조와 도 5에서 제안된 구조가 결합된 구조에 의한 구현도 가능할 수 있다. 즉, 세 개 이상의 렌즈들 중 하나의 렌즈와 분배부를 사용하여 복수의 센서들로 빛을 공급하고, 나머지 두 개 이상의 렌즈들 각각이 대응하는 센서로 빛을 공급하는 구조로 이미지 처리장치를 구성하는 것도 가능할 수 있다.
도 6은 제안된 다양한 실시 예에 따른, 이미지 처리를 위한 블록 구성을 도시한 도면이다.
도 6을 참조하면, 이미지 처리부(450, 550)는 프레임 레이트 변환 모듈(610)과, 영상 정합 모듈(620)을 포함할 수 있다.
상기 프레임 레이트 변환 모듈(610)은 상대적으로 높은 데이터 레이트 또는 상대적으로 높은 해상도를 가지는 흑백 이미지 프레임들 (소스 흑백 이미지 프레임들)을 사용하여 복제 이미지 프레임들 (또는 확장 이미지 프레임들)을 획득할 수 있다.
상기 영상 정합 모듈(620)은 상대적으로 낮은 데이터 레이트 또는 상대적으로 낮은 해상도를 가지는 컬러 이미지 프레임들을 사용하여 영상 정합 후, 상기 소스 흑백 이미지 프레임들 및/또는 상기 확장 이미지 프레임들을 대상으로 영상 정합을 수행할 수 있다. 상기 영상 정합은 예를 들면, 컬러 이미지 프레임으로부터 획득한 컬러 정보를 사용하여 소스 흑백 이미지 프레임들 및/또는 확장 이미지 프레임들에 컬러를 추가하는 컬러 디퓨징 (color diffusing)을 수행하는 컬러 합성을 포함할 수 있다. 또한, 상기 영상 정합은 예들 들면, 소스 흑백 이미지 프레임들 및/또는 확장 이미지 프레임들로부터 획득한 휘도 정보를 사용하여 컬러 이미지 프레임의 해상도를 높이는 영상 합성을 포함할 수도 있다.
상기 이미지 처리부(450, 550)는 영상 정합의 결과로 데이터 레이트 또는 해상도를 변환한 컬러 이미지 프레임들을 출력 이미지로 얻을 수 있다.
일 실시 예에 따르면, 상기 프레임 레이트 변환 모듈(610)은 흑백 이미지 프레임들 (소스 흑백 이미지 프레임들)을 사용하여 복제 이미지 프레임들 (또는 확장 이미지 프레임들)을 획득하는 FRC를 수행할 수 있다. 상기 프레임 레이트 변환 모듈(610)은 복제 프레임에 의한 방안과, 움직임 보상에 의한 방안 등에 의해, FRC를 수행할 수 있다.
예컨대, 상기 프레임 레이트 변환 모듈(610)은 EBS (edged block scaling)를 기반으로 FRC를 수행할 수 있다. 상기 EBS는 에지 계층 (edged layer), 블록 계층 (block layer), 스케일링 계층 (scaling layer)으로 이루어진 3단계의 계층 (hierarchy) 구조를 기반으로 이미지를 처리하는 기술을 지칭한다. 일 예로, 에지 계층은 에지에 대해 압축을 수행함으로써 획득할 수 있는 모드 정보와 블록 크기 정보를 포함하는 에지 정보를 스케일링 계층으로 전달할 수 있다. 상기 블록 계층은 블록 단위의 영상에 대한 밝기, 조화 (texture), 복잡도 등의 부가 정보를 획득하고, 이를 출력할 수 있다. 상기 스케일링 계층은 상기 에지 계층에서 전달받은 모드 정보와 블록 크기 정보를 포함하는 에지 정보를 기반으로 입력 이미지에 대한 다운 스케일링을 수행할 수 있으며, 이에 따른 스케일링 정보를 출력할 수 있다. 상기 부가 정보는 에지 계층에 의해 획득된 에지 정보와 스케일링 계층에 의해 획득된 스케일링 정보를 포함할 수 있다.
일 실시 예에 따르면, EBS는 컬러 이미지에서 글로벌 모션 검색을 수행하고, 흑백 이미지의 에지를 추출하며, 상기 추출한 에지에 대하여 FRC를 수행함으로써, 보다 정확한 모션 벡터를 추출하는 것이 가능할 수 있다.
상기 영상 정합 모듈(620)은 상대적으로 낮은 해상도를 갖는 컬러 이미지 프레임으로부터 모션 벡터를 획득하며, 상기 획득한 모션 벡터를 이용하여 클로벌 모션을 검색할 수 있다. 그리고 상기 영상 정합 모듈(620)은 흑백 이미지 프레임으로부터 상기 글로벌 모션을 기준으로 심플 리얼 모션을 검색할 수 있다.
상술한 바에 따르면, 낮은 해상도의 컬러 이미지 프레임으로부터 글로벌 모션을 검색함으로써, 연산량을 줄일 수 있을 뿐만 아니라, 글로벌 모션이 존재하는 부분에 대해서 지역 밀집 매칭을 수행할 수 있다. 이 또한 연산량을 줄일 수 있는 이유가 된다.
도 7은 제안된 다양한 실시 예에 따른, 이미지 처리 절차에 대해 제어 흐름을 도시한 도면이다.
도 7을 참조하면, 이미지 처리장치 (예로써 제1 센서(430, 530) 또는 제2 센서(440, 540)는 710단계에서 촬영 이미지를 입력받을 수 있다. 상기 촬영 이미지는 하나 또는 다수의 렌즈에 의해 굴절된 빛이 다수의 센서에 의해 감지됨을 의미할 수 있다. 상기 감지된 빛은 상기 다수의 센서 각각에 의해 전기적 이미지 신호 (이미지 프레임들)로 출력될 수 있다.
상기 이미지 처리장치는 712단계에서 상기 다수의 센서 중 하나의 센서를 사용하여 흑백 이미지 프레임을 추출할 수 있다. 상기 이미지 처리장치는 714단계에서 추출한 흑백 이미지 프레임을 사용하여 프레임 레이트 변환을 수행할 수 있다.
일 실시 예에 따르면, 상대적으로 높은 데이터 레이트를 가지는 흑백 이미지 프레임 (소스 흑백 이미지 프레임)을 사용하여 복제 이미지 프레임 (또는 확장 이미지 프레임)을 획득할 수 있다. 즉, 흑백 이미지 프레임 (소스 흑백 이미지 프레임)을 사용하여 복제 이미지 프레임 (또는 확장 이미지 프레임)을 획득하는 FRC를 수행할 수 있다. 상기 FRC는 복제 프레임에 의한 방안과, 움직임 보상에 의한 방안 등에 의해 수행할 수 있다.
예컨대, FRC는 EBS를 기반으로 수행할 수 있다. 상기 EBS는 컬러 이미지에서 글로벌 모션 검색을 수행하고, 흑백 이미지의 에지를 추출하며, 상기 추출한 에지에 대하여 FRC를 수행함으로써, 더욱 정확한 모션 벡터를 추출하는 것이 가능할 수 있다.
상기 이미지 처리장치는 716단계에서 상기 다수의 센서 중 하나의 센서를 사용하여 상대적으로 낮은 해상도의 컬러 이미지 프레임을 추출할 수 있다. 상기 이미지 처리장치는 718단계에서 추출한 컬러 이미지 프레임들을 사용하여 모션 백터를 검색할 수 있다.
예컨대, 상기 이미지 처리장치는 상대적으로 낮은 데이터 레이트를 가지는 컬러 이미지 프레임들을 사용하여 영상 정합 후, 흑백 이미지 프레임을 대상으로 컬러 디퓨징을 수행할 수 있다.
일 실시 예에 따르면, 저 해상도의 컬러 이미지 프레임으로부터 모션 벡터를 획득할 수 있다. 그리고 상기 획득한 모션 벡터를 이용하여 글로벌 모션 벡터를 검색할 수 있다. 이때, 심플 리얼 모션은 고 해상도의 흑백 이미지 프레임으로부터 글로벌 모션 벡터를 기준으로 검색할 수 있다.
상기 이미지 처리장치는 720단계에서 상기 프레임 레이트의 변환이 이루어진 흑백 이미지 프레임 또는 획득한 흑백 이미지 프레임에 대해 채색을 상기 검색이 이루어진 모션 벡터를 기반으로 수행할 수 있다. 이로써, 상기 이미지 처리장치는 해상도를 변환한 컬러 이미지 프레임들을 출력 이미지로 얻을 수 있다.
도 8은 제안된 다양한 실시 예에 따른, 전자장치에서의 두 개의 이미지 센서를 사용한 촬영 예를 도시한 도면이다.
도 8을 참조하면, 위쪽 두 개의 컬러 이미지 (a, b)는 노출 조건을 다르게 하여 컬러 이미지 센서에 의해 촬영된 것이며, 아래쪽 한 개의 흑백 이미지 (c)는 흑백 이미지 센서에 의해 촬영된 것이다. 이와 같이, 동일한 시간에 하나의 흑백 이미지 (c)에 대응하여 두 개의 컬러 이미지들 (a, b)을 촬영할 수 있는 것은, 흑백 이미지와 컬러 이미지의 해상도 차이로 인한 것이다. 즉, 흑백 이미지는 컬러 이미지에 비해 상대적으로 높은 해상도를 가질 수 있다. 이 경우, 해상도가 높은 흑백 이미지의 리드 타임은 해상도가 낮은 컬러 이미지의 리드 타임에 비해 상대적으로 길 수 있다. 따라서, 한 개의 흑백 이미지 (c)에 대한 리드 타임 동안 두 개의 컬러 이미지들 (a, b)을 촬영하는 것이 가능할 수 있는 것이다. 참고로 두 개의 컬러 이미지들이 낮은 해상도임을 표현하기 위해, 해상도가 높은 한 개의 흑백 이미지 (c)의 아래에 작은 이미지 (d, e)로 도시하였다.
상기 두 개의 컬러 이미지들을 살펴보면, 첫 번째 컬러 이미지 a에 비해 두 번째 컬러 이미지 b의 촬영을 위한 노출 시간이 길게 설정되었음을 확인할 수 있다.
도 9는 제안된 다양한 실시 예에 따른, 전자장치에서 이미지 합성 예를 도시한 도면이다.
도 9를 참조하면, 하나의 합성 이미지 d는 하나의 흑백 이미지 c에 두 개의 컬러 이미지 a 및 b를 합성하여 생성할 수 있다. 상기 하나의 흑백 이미지 c의 동작 범위 (DR)가 두 개의 컬러 이미지 a와 b의 동작 범위 (DR)에 비해 상대적으로 넓음을 알 수 있다. 그리고 두 개의 컬러 이미지 a와 b 중 컬러 이미지 b의 동작 범위가 컬러 이미지 a의 동작 범위에 비해 넓음을 알 수 있다.
예컨대, 상기 하나의 합성 이미지 d는 하나의 흑백 이미지 c로부터 밝기 정보를 획득하고, 두 개의 컬러 이미지 a와 b로부터 색차 정보를 획득하며, 상기 획득한 밝기 정보 및 색차 정보를 사용하여 생성할 수 있다.
도 10은 제안된 다양한 실시 예에 따른, 전자장치에서 저조도 상황에서의 이미지 합성 절차를 도시한 도면이다.
도 10을 참조하면, 저조도 상황에서의 이미지 합성 절차는 정보 추출 단계 (1010)와 이미지 결합 단계 (1020)로 이루어질 수 있다.
상기 정보 추출 단계 (1010)는 짧은 노출 시간에 의해 촬영된 흑백 이미지로부터 밝기 정보를 추출 (1012)하고, 긴 노출 시간에 의해 촬영된 다수의 컬러 이미지로부터 색차 정보를 추출 (1016)하는 동작을 수행할 수 있다. 이를 위해, 흑백 이미지를 촬영할 이미지 센서에 대해서는 짧은 노출 시간을 위한 설정 (노출 및 셔터 스피드 등)이 이루어지고, 다수의 컬러 이미지를 촬영할 이미지 센서에 대해서는 긴 노출 시간을 위한 설정 (노출 및 셔터 스피드 등)이 이루어질 수 있다. 그리고 상기 흑백 이미지의 촬영과 상기 다수의 컬러 이미지의 촬영은 거의 유사한 시간에 이루어질 수 있어야 할 것이다.
만약 조도가 매우 낮다면, 여러 장의 이미지를 촬영하고, 상기 촬영된 여러 장의 이미지를 사용하여 밝기를 향상시키는 절차를 수행할 수 있다 (1014). 이는 흑백 이미지에만 적용되는 것이 아니라 컬러 이미지의 촬영 시에도 동일하게 적용될 수 있다. 그리고 조도가 낮을 경우, 컬러 이미지 센서에 대해서는 긴 노출이 이루어지도록 촬영 조건을 설정할 수 있다. 그뿐만 아니라, 컬러 이미지 센서에 대해 다수의 촬영 조건을 설정하고, 각 촬영 조건에 의한 컬러 이미지를 촬영하도록 할 수 있다. 이런 경우, 다른 촬영 조건에 의해 얻어진 다수의 컬러 이미지를 활용하여 향상된 품질의 컬러 이미지를 획득할 수도 있다.
하지만, 긴 노출을 요구하는 컬러 이미지 센서는, 극 저조도 환경에서 그 동작이 차단될 수도 있다. 이 경우, 흑백 이미지 센서만을 사용하여 서로 다른 조건에 의해 촬영된 다수의 흑백 이미지를 획득하도록 하고, 상기 다수의 흑백 이미지를 기반으로 향상된 품질의 흑백 이미지를 생성할 수도 있다.
도 11은 제안된 다양한 실시 예에 따른, 이미지 처리 결과에 대한 예를 도시한 도면이다.
도 11을 참조하면, 좌측 두 개의 이미지는 저조도 환경에서 컬러 이미지 센서와 흑백 이미지 센서에 의해 획득된 컬러 이미지와 흑백 이미지의 예이고, 우측 두 개의 이미지는 제안된 실시 예에 따른 이미지 처리 후에 얻은 결과 이미지의 예이다. 상기 이미지 처리 이전의 이미지에 비해 이미지 처리 후의 결과 이미지가 좀 더 밝고 깨끗함을 확인할 수 있다.
도 12는 제안된 다양한 실시 예에 따른, 전자장치에서의 이미지 처리를 위한 제어 흐름을 도시한 도면이다.
도 12를 참조하면, 전자장치(예: 프로세서(120))는 임의 시점에서 조도를 측정하고, 상기 측정에 따른 조도 값을 획득할 수 있다 (1210단계). 예컨대, 상기 전자장치는 BW 이미지 센서와 컬러 이미지 센서 중 적어도 하나를 이용하여 피사체를 촬영하고자 하는 시점에서, 주변의 조도를 측정할 수 있다.
상기 전자장치는 상기 획득한 조도 값이 미리 설정된 제1 기준 값 (임계 값)보다 낮은지를 판단한다 (1212단계). 상기 제1 기준 값은 촬영에 영향을 미치지 않을 정도의 조도가 제공되는 상황을 판단하기 위한 조도 값에 의해 미리 설정될 수 있다. 그렇지 않고, 상기 제1 기준 값은 저조도 상황을 판단하기 위한 기준 조도 값으로 미리 설정될 수도 있다. 이 경우, 상기 제1 기준 값은 50 록스 (lux)로 설정될 수 있다.
상기 전자장치는 상기 획득한 조도 값이 상기 미리 설정된 제1 기준 값보다 작지 않으면, 노말 모드에 의해 피사체를 촬영할 수 있다 (1216단계).
상기 전자장치는 상기 획득한 조도 값이 상기 미리 설정된 제1 기준 값보다 작으면, 상기 획득한 조도 값이 미리 설정된 제2 기준 값보다 작은지를 추가로 판단한다 (1214단계). 상기 제2 기준 값은 극 저조도 상황을 판단하기 위한 기준 조도 값으로 미리 설정될 수도 있다. 이 경우, 상기 제1 기준 값은 10 록스 (lux)로 설정될 수 있다.
상기 전자장치는 상기 획득한 조도 값이 상기 미리 설정된 제2 기준 값보다 작지 않으면, 현재 촬영 환경이 저조도 상황이라 판단하며, 이 경우 흑백 이미지 센서와 컬러 이미지 센서에 대해 상이한 설정 값을 적용할 수 있다 (1218단계). 즉, 상기 전자장치는 흑백 이미지 센서를 위한 제1 설정 값과 컬러 이미지 센서를 위한 제2 설정 값을 다르게 설정할 수 있다. 여기서 상기 제1 설정 값은 흑백 이미지 센서의 노출을 결정하는 값이고, 상기 제2 설정 값은 컬러 이미지 센서의 노출을 결정하는 값이 될 수 있다. 예컨대, 상기 제1 설정 값과 상기 제2 설정 값을 셔터 스피드, ISO, AWB/AE 중 적어도 하나를 결정하는 값이 될 수 있다.
상기 전자장치는 제1 설정 값을 기반으로 흑백 이미지 센서를 이용하여 피사체에 대한 흑백 이미지를 획득하고, 제2 설정 값을 기반으로 컬러 이미지 센서를 이용하여 피사체에 대한 적어도 하나의 컬러 이미지를 획득할 수 있다 (1220단계). 바람직하기로는, 상기 전자장치는 제2 설정 값을 정의하는 정보가 다수 설정 값들을 포함하도록 하고, 상기 컬러 이미지 센서를 이용하여 상기 다수의 설정 값들 각각을 기반으로 컬러 이미지를 획득할 수도 있다. 이 경우, 상기 전자장치는 흑백 이미지 센서를 이용하여 고 해상도를 갖는 하나의 흑백 이미지를 획득할 시간에, 컬러 이미지 센서를 통해 다양한 설정에 따른 저 해상도를 갖는 다수의 컬러 이미지들을 획득할 수 있다.
상기 전자장치는 앞서 획득한 흑백 이미지와 적어도 하나의 컬러 이미지를 사용하여 이미지 합성을 수행하고, 이를 통해 고 해상도의 컬러 이미지를 생성할 수 있다 (1222단계). 예컨대, 상기 전자장치는 저 해상도의 컬러 이미지로부터 색상 정보 또는 상기 색상 정보의 일부를 획득하고, 상기 획득한 색상 정보 또는 상기 색상 정보의 일부를 이용한 고 해상도의 흑백 이미지에 대한 영상 정합을 수행하여, 고 해상도의 컬러 이미지를 생성할 수 있다.
상술한 바에 따르면, 저조도 상황에서 상기 전자장치는 하나의 흑백 이미지를 획득하는 리드 타임 (read time) 동안 노출 정도를 결정하는 다양한 설정 값들을 기반으로 저 해상도의 컬러 이미지들을 획득할 수 있다. 이로써, 상기 전자장치는 고 해상도의 멀티 프레임 처리가 아니라 저 해상도의 멀티 프레임 (컬러 이미지 프레임) 처리와 하나의 고 해상도 프레임의 처리만으로 원하는 영상 이미지를 얻을 수 있다.
상기 전자장치는 상기 획득한 조도 값이 상기 미리 설정된 제2 기준 값보다 작으면, 촬영 환경이 극 저조도 상황이라 판단하며, 이 경우 흑백 이미지 센서를 '온 (활성화)'시키고, 컬러 이미지 센서를 '오프 (비활성화)'시킬 수 있다 (1224단계). 이런 경우, 상기 전자장치는 흑백 이미지 센서로부터 흑백 이미지만을 획득할 것이다 (1226단계).
상기 전자장치는 상기 노말 모드에 의해 촬영된 흑백 또는 컬러 이미지, 저조도 환경에서 생성한 고 해상도의 컬러 이미지, 극 저조도 환경에서 획득한 흑백 이미지 중 하나를 메모리에 비디오 데이터로 저장할 수 있다 (1228단계). 상기 전자장치는 기 노말 모드에 의해 촬영된 흑백 또는 컬러 이미지, 저조도 환경에서 생성한 고 해상도의 컬러 이미지, 극 저조도 환경에서 획득한 흑백 이미지 중 하나를 화면을 통해 표시할 수도 있다.
한편, 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시에서 제안한 다양한 실시 예에 따른 범위에서 벗어나지 않는 한도 내에서 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 여러 가지 변형에 의한 실시할 수 있음은 물론이다. 그러므로 본 개시에 따른 범위는 설명된 실시 예에 국한되어 정해져서는 안 되며, 후술하는 특허 청구의 범위뿐만 아니라, 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다. 그뿐만 아니라, 이러한 변형 실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (20)

  1. 메모리;
    제1 흑백 (BW) 이미지 센서;
    제2 이미지 센서; 및
    프로세서를 포함하되,
    상기 프로세서는,
    조도를 지시하는 조도 값이 미리 설정된 조도 값을 만족하지 못하면, 상기 제1 BW 이미지 센서를 위한 제1 설정 값과 상기 제2 이미지 센서를 위한 설정 값들을 다르게 설정하고,
    상기 제1 설정 값을 기반으로 상기 제1 BW 이미지 센서를 이용하여, 피사체에 대한 흑백 이미지를 획득하고,
    상기 제2 이미지 센서를 이용하여, 상기 피사체에 대해 서로 다른 설정 값들이 적용된 적어도 두 개의 컬러 이미지들을 획득하고,
    상기 흑백 이미지에 상기 적어도 두 개의 컬러 이미지들의 색상 정보를 기반으로 하여 결정된 색상이 합성된 컬러 이미지를 생성하고,
    상기 생성한 컬러 이미지를 상기 메모리에 비디오 데이터로 저장하도록 설정되며,
    여기서, 상기 흑백 이미지는 상기 적어도 두 개의 컬러 이미지들의 해상도에 비해 상대적으로 높은 해상도를 가짐을 특징으로 하는 전자 장치.
  2. 삭제
  3. 제1 항에 있어서,
    상기 제1 설정 값은 상기 제1 BW 이미지 센서의 노출을 결정하는 값이고, 상기 제2 이미지 센서를 위한 설정 값들은 상기 제2 이미지 센서의 노출을 결정하는 값들임을 특징으로 하는 전자 장치.
  4. 제3 항에 있어서,
    상기 제1 설정 값과 상기 제2 이미지 센서를 위한 설정 값들은 각각 셔터 스피드, ISO, AWB/AE 중 적어도 하나를 결정하는 값임을 특징으로 하는 전자 장치.
  5. 제1 항에 있어서, 상기 프로세서는,
    조도를 지시하는 조도 값이 상기 미리 설정된 조도 값에 상응한 제1 기준 값보다 낮게 설정된 제2 기준 값을 만족하지 못하면, 상기 제1 BW 이미지 센서를 이용한 흑백 이미지만을 획득하기 위해, 상기 제2 이미지 센서를 비 활성화시키고, 상기 제1 BW 이미지 센서를 활성화 시키도록 설정된 전자 장치.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 제1 흑백 (BW) 이미지 센서 및 제2 이미지 센서를 포함하는 전자 장치에서의 동작 방법에 있어서,
    조도를 지시하는 조도 값이 미리 설정된 조도 값을 만족하지 못하면, 상기 제1 BW 이미지 센서를 위한 제1 설정 값과 상기 제2 이미지 센서를 위한 설정 값들을 다르게 설정하는 동작;
    상기 제1 설정 값을 기반으로 상기 제1 BW 이미지 센서를 이용하여, 피사체에 대한 흑백 이미지를 획득하는 동작;
    상기 제2 이미지 센서를 이용하여, 상기 피사체에 대해 서로 다른 설정 값들이 적용된 적어도 두 개의 컬러 이미지들을 획득하는 동작;
    상기 흑백 이미지에 상기 적어도 두 개의 컬러 이미지들의 색상 정보를 기반으로 하여 결정된 색상이 합성된 컬러 이미지를 생성하는 동작; 및
    상기 생성한 컬러 이미지를 메모리에 비디오 데이터로 저장하는 동작을 포함하되,
    여기서, 상기 흑백 이미지는 상기 적어도 두 개의 컬러 이미지들의 해상도에 비해 상대적으로 높은 해상도를 가짐을 특징으로 하는 방법.
  12. 삭제
  13. 제11 항에 있어서,
    상기 제1 설정 값은 상기 제1 BW 이미지 센서의 노출을 결정하는 값이고, 상기 제2 이미지 센서를 위한 설정 값들은 상기 제2 이미지 센서의 노출을 결정하는 값들임을 특징으로 하는 방법.
  14. 제13 항에 있어서,
    상기 제1 설정 값과 상기 제2 이미지 센서를 위한 설정 값들은 각각 셔터 스피드, ISO, AWB/AE 중 적어도 하나를 결정하는 값들임을 특징으로 하는 방법.
  15. 제11 항에 있어서,
    조도를 지시하는 조도 값이 상기 미리 설정된 조도 값에 상응한 제1 기준 값보다 낮게 설정된 제2 기준 값을 만족하지 못하면, 상기 제1 BW 이미지 센서를 이용한 흑백 이미지만을 획득하기 위해, 상기 제2 이미지 센서를 비활성화시키고, 상기 제1 BW 이미지 센서를 활성화 시키는 동작을 더 포함하는 방법.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 제1 흑백 (BW) 이미지 센서 및 제2 이미지 센서를 포함하는 전자 장치로 하여금,
    조도를 지시하는 조도 값이 미리 설정된 조도 값을 만족하지 못하면, 상기 제1 BW 이미지 센서를 위한 제1 설정 값과 상기 제2 이미지 센서를 위한 설정 값들을 다르게 설정하는 동작;
    상기 제1 설정 값을 기반으로 상기 제1 BW 이미지 센서를 이용하여, 피사체에 대한 흑백 이미지를 획득하는 동작;
    상기 제2 이미지 센서를 이용하여, 상기 피사체에 대해 서로 다른 설정 값들이 적용된 적어도 두 개의 컬러 이미지들을 획득하는 동작;
    상기 흑백 이미지에 상기 적어도 두 개의 컬러 이미지들의 색상 정보를 기반으로 하여 결정된 색상이 합성된 컬러 이미지를 생성하는 동작; 및
    상기 생성한 컬러 이미지를 메모리에 비디오 데이터로 저장하는 동작을 실행시키기 위한 프로그램을 기록하되,
    여기서, 상기 흑백 이미지는 상기 적어도 두 개의 컬러 이미지들의 해상도에 비해 상대적으로 높은 해상도를 가지는 컴퓨터 판독 가능한 기록 매체.
KR1020160080143A 2016-06-27 2016-06-27 이미지 처리장치 및 방법 KR102603426B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160080143A KR102603426B1 (ko) 2016-06-27 2016-06-27 이미지 처리장치 및 방법
US15/634,078 US10469742B2 (en) 2016-06-27 2017-06-27 Apparatus and method for processing image
EP17820514.2A EP3440829B1 (en) 2016-06-27 2017-06-27 Apparatus and method for processing image
PCT/KR2017/006777 WO2018004238A1 (en) 2016-06-27 2017-06-27 Apparatus and method for processing image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160080143A KR102603426B1 (ko) 2016-06-27 2016-06-27 이미지 처리장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180001254A KR20180001254A (ko) 2018-01-04
KR102603426B1 true KR102603426B1 (ko) 2023-11-20

Family

ID=60678104

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160080143A KR102603426B1 (ko) 2016-06-27 2016-06-27 이미지 처리장치 및 방법

Country Status (4)

Country Link
US (1) US10469742B2 (ko)
EP (1) EP3440829B1 (ko)
KR (1) KR102603426B1 (ko)
WO (1) WO2018004238A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109906599B (zh) * 2016-10-28 2020-09-18 华为技术有限公司 一种终端的拍照方法和终端
US10810720B2 (en) * 2016-11-03 2020-10-20 Huawei Technologies Co., Ltd. Optical imaging method and apparatus
KR20180119281A (ko) * 2017-04-25 2018-11-02 엘지전자 주식회사 이동 단말기 및 그 제어 방법
CN109348124B (zh) * 2018-10-23 2021-06-11 Oppo广东移动通信有限公司 图像传输方法、装置、电子设备和存储介质
US11398011B2 (en) 2019-06-20 2022-07-26 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed laser mapping imaging system
US11276148B2 (en) 2019-06-20 2022-03-15 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11360028B2 (en) * 2019-06-20 2022-06-14 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11793399B2 (en) 2019-06-20 2023-10-24 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral imaging system
US11288772B2 (en) 2019-06-20 2022-03-29 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11288782B2 (en) 2019-09-23 2022-03-29 Samsung Electronics Co., Ltd. Electronic device for performing video HDR processing based on image data obtained by plurality of image sensors
CN111064899B (zh) * 2019-12-06 2021-06-08 成都华为技术有限公司 一种曝光参数的调节方法及装置
CN113518172B (zh) * 2020-03-26 2023-06-20 华为技术有限公司 图像处理方法和装置
CN112734866B (zh) * 2020-12-24 2024-06-04 努比亚技术有限公司 一种图像处理方法、终端和存储介质
CN115802183B (zh) * 2021-09-10 2023-10-20 荣耀终端有限公司 图像处理方法及其相关设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130141522A1 (en) * 2007-12-27 2013-06-06 Iain Richard Tyrone McCLATCHIE High-resolution, variable depth of field image device
US20140354853A1 (en) * 2008-05-20 2014-12-04 Pelican Imaging Corporation Systems and methods for synthesizing higher resolution images using a set of images containing a baseline image

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7057647B1 (en) * 2000-06-14 2006-06-06 E-Watch, Inc. Dual-mode camera system for day/night or variable zoom operation
US6788338B1 (en) * 2000-11-20 2004-09-07 Petko Dimitrov Dinev High resolution video camera apparatus having two image sensors and signal processing
US7453510B2 (en) * 2003-12-11 2008-11-18 Nokia Corporation Imaging device
US8139130B2 (en) * 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
KR100843087B1 (ko) 2006-09-06 2008-07-02 삼성전자주식회사 영상 생성 장치 및 방법
US8242426B2 (en) 2006-12-12 2012-08-14 Dolby Laboratories Licensing Corporation Electronic camera having multiple sensors for capturing high dynamic range images and related methods
US7978239B2 (en) * 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
DE102007026337B4 (de) 2007-06-06 2016-11-03 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Digitale Kamera
US20090086074A1 (en) 2007-09-27 2009-04-02 Omnivision Technologies, Inc. Dual mode camera solution apparatus, system, and method
KR101633893B1 (ko) * 2010-01-15 2016-06-28 삼성전자주식회사 다중노출 영상을 합성하는 영상합성장치 및 방법
US8885978B2 (en) 2010-07-05 2014-11-11 Apple Inc. Operating a device to capture high dynamic range images
US9270875B2 (en) * 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
JP2013183353A (ja) * 2012-03-02 2013-09-12 Toshiba Corp 画像処理装置
JP6108680B2 (ja) 2012-04-19 2017-04-05 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP5877277B2 (ja) * 2013-04-26 2016-03-02 富士フイルム株式会社 撮像装置及び画像表示方法
US9473708B1 (en) * 2013-08-07 2016-10-18 Google Inc. Devices and methods for an imaging system with a dual camera architecture
KR101477505B1 (ko) 2013-12-23 2015-01-07 이동현 하이 다이나믹 레인지 영상 형성 방법
JP2015177258A (ja) 2014-03-13 2015-10-05 コニカミノルタ株式会社 画像入力装置
US9319585B1 (en) 2014-12-18 2016-04-19 Omnivision Technologies, Inc. High resolution array camera

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130141522A1 (en) * 2007-12-27 2013-06-06 Iain Richard Tyrone McCLATCHIE High-resolution, variable depth of field image device
US20140354853A1 (en) * 2008-05-20 2014-12-04 Pelican Imaging Corporation Systems and methods for synthesizing higher resolution images using a set of images containing a baseline image

Also Published As

Publication number Publication date
US10469742B2 (en) 2019-11-05
EP3440829A4 (en) 2019-03-13
KR20180001254A (ko) 2018-01-04
WO2018004238A1 (en) 2018-01-04
EP3440829B1 (en) 2020-08-05
US20170374281A1 (en) 2017-12-28
EP3440829A1 (en) 2019-02-13

Similar Documents

Publication Publication Date Title
KR102603426B1 (ko) 이미지 처리장치 및 방법
KR102444085B1 (ko) 휴대용 통신 장치 및 휴대용 통신 장치의 영상 표시 방법
CN108289161B (zh) 电子设备及其图像捕捉方法
EP3264744B1 (en) Electronic device and image capturing method thereof
KR102329862B1 (ko) 영상의 컬러 변환 방법 및 전자 장치
US10319086B2 (en) Method for processing image and electronic device supporting the same
KR102401659B1 (ko) 전자 장치 및 이를 이용한 카메라 촬영 환경 및 장면에 따른 영상 처리 방법
KR102399764B1 (ko) 전자 장치 및 촬영 방법
KR102489279B1 (ko) 이미지 처리장치 및 방법
KR20170097860A (ko) 디스플레이를 이용하여 이미지를 촬영하는 전자 장치 및 이미지 촬영 방법
KR102272108B1 (ko) 영상 처리 장치 및 방법
US11153498B2 (en) Image processing method and electronic device supporting same
US20160373653A1 (en) Method for processing image and electronic device thereof
KR102423364B1 (ko) 영상을 제공하는 방법 및 이를 지원하는 전자 장치
US10623630B2 (en) Method of applying a specified effect to an area of an image and electronic device supporting the same
KR102305909B1 (ko) 이미지 처리 방법과 이를 지원하는 전자 장치
US20170111569A1 (en) Face detection method and electronic device for supporting the same
KR102317624B1 (ko) 전자 장치 및 그의 이미지 처리 방법
US11210828B2 (en) Method and electronic device for outputting guide
KR102638876B1 (ko) 전자 장치 및 그 제어 방법
KR102519803B1 (ko) 촬영 장치 및 그 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant