KR20140106221A

KR20140106221A - Photographing method and apparatus using multiple image sensors

Info

Publication number: KR20140106221A
Application number: KR1020130020492A
Authority: KR
Inventors: 김문수; 최홍석
Original assignee: 삼성전자주식회사
Priority date: 2013-02-26
Filing date: 2013-02-26
Publication date: 2014-09-03

Abstract

Described are various embodiments for image processing method and apparatus using an electronic device. According to one embodiment, an image photographing method in the electronic device having multiple image sensors, includes: a process of obtaining first and second original data, respectively from first and second image sensors; a process of generating third original data by synthesizing the first and second original data; a process of making the third original data into an image and converting the image into an image file of a corresponding format; and a process of displaying the image of the corresponding format. Various other embodiments can be provided.

Description

다수 이미지 센서를 이용한 촬영방법 및 장치{PHOTOGRAPHING METHOD AND APPARATUS USING MULTIPLE IMAGE SENSORS}TECHNICAL FIELD [0001] The present invention relates to a photographing method and apparatus using multiple image sensors,

본 발명의 다양한 실시 예들은 이미지 촬영 방법 및 전자장치에 관한 것으로, 특히 전자장치(예컨대 스마트폰 또는 태블릿 컴퓨터 등)와 기능적으로 연결된 적어도 하나 이상의 이미지 센서를 이용한 이미지 촬영방법 및 장치에 관한 것이다.
Various embodiments of the present invention are directed to an image capturing method and an electronic device, and more particularly, to a method and apparatus for capturing an image using at least one or more image sensors functionally connected to an electronic device (e.g., a smart phone or a tablet computer).

휴대용 전자장치(예컨대, 휴대폰 또는 태블릿 컴퓨터 등의 단말기)는 디지털 카메라 기능을 제공하여 메가 픽셀 이상의 영상을 촬영할 수도 있으며, 고해상도의 화면을 통해 촬영한 영상을 디스플레이할 수도 있고, 상기 디지털 카메라 기능을 위한 다수개의 이미지 센서들을 구비하여 입체 영상을 제공하거나 파노라마 기능을 제공하기도 한다.A portable electronic device (e.g., a terminal such as a mobile phone or a tablet computer) may provide a digital camera function to capture a megapixel image or more, display an image taken through a high-resolution screen, A plurality of image sensors may be provided to provide a stereoscopic image or provide a panoramic function.

한편, 휴대용 단말기는 전면부 및 후면부에 카메라를 배치하고 있으며, 셀카목적으로 전면부에 배치된 카메라를 이용하여 사용자(사용자의 얼굴)를 촬영하고 후면부에 배치된 카메라를 이용하여 배경을 촬영할 수 있다. 더하여, 이러한 휴대용 단말기는 카메라 스위칭 메뉴를 통해서 저장하고자 하는 영상 데이터를 선택할 수 있다. 즉, 휴대용 단말기는 전면부 또는 후면부에 배치된 카메라 가운데 하나의 카메라를 통해 획득되는 영상 데이터 또는 이미지 데이터를 저장할 수 있다.Meanwhile, a camera is disposed on the front and back sides of the portable terminal, and a user (a user's face) is photographed using a camera disposed on the front face for the purpose of self-care and a background can be photographed using a camera disposed on the rear face . In addition, the portable terminal can select image data to be stored through a camera switching menu. That is, the portable terminal may store image data or image data obtained through one of the cameras disposed on the front or back side.

종래에, 촬영방법은 각각의 이미지센서를 통해 획득된 이미지 데이터를 ISP(Image Signal Processor)에서 YUV형식으로 변환하고 변환된 이미지데이터를 디스플레이하고 촬영제어 명령에 따라 획득된 이미지데이터를 ISP에서 (Joint Photography Experts Group) 압축형식으로 메모리에 저장할 수 있다.Conventionally, the imaging method converts image data acquired through each image sensor from an ISP (Image Signal Processor) to a YUV format, displays the converted image data, and transmits image data acquired in accordance with the imaging control command to the ISP Photography Experts Group) compression format.

일반적으로 복수의 카메라로 촬영을 하는 방법은 복수의 카메라를 동시에 켜놓고 촬영명령에 따라 PIP(Picture In Picture) 기능을 이용하여 제1 영상이미지 내에 제2 영상이미지를 동시에 디스플레이할 수 있다.Generally, in a method of photographing with a plurality of cameras, a plurality of cameras are simultaneously turned on and a second image can be simultaneously displayed in the first image by using a PIP (Picture In Picture) function according to a photographing command.

종래의 PIP 기술은 JPEG로 압축된 두 개의 이미지를 합성하기 때문에 합성한 이후 이미지 재처리가 어려우며, 동시에 두 개의 카메라를 이용하여 촬영할 경우 하나의 이미지 처리 흐름에 두 개의 이미지가 포함되기 때문에 ISP에 부담이 커진다.Since the conventional PIP technology synthesizes two JPEG compressed images, it is difficult to reprocess the image after synthesis. When two cameras are used simultaneously, two images are included in one image processing flow. Lt; / RTI >

상술한 바와 같이, 종래의 기술은 각각의 이미지처리(Image Processing)를 하나의 ISP에서 수행할 경우 이미지 처리시간이 오래 걸릴 수 있다.
As described above, the conventional technique may take a long time for image processing when each image processing is performed by one ISP.

본 발명의 한 실시 예들은 다수 이미지 센서를 이용한 촬영방법 및 장치를 제공한다.One embodiment of the present invention provides a method and apparatus for imaging using multiple image sensors.

본 발명의 다양한 실시 예들은 복수의 카메라가 장착된 전자장치에서 카메라의 이미지 센서로부터 획득되는 복수의 이미지를 촬영할 경우, 가공되지 않은 원시(raw) 이미지 데이터를 합성하여 추후 이미지 재처리를 용이하게 하는 촬영방법 및 장치를 제공한다.Various embodiments of the present invention provide a method and system for compositing raw raw image data to facilitate subsequent image reprocessing when photographing multiple images obtained from an image sensor of a camera in an electronic device equipped with a plurality of cameras. A photographing method and an apparatus are provided.

본 발명의 다양한 실시 예들은 복수의 카메라가 장착된 전자장치에서 카메라의 이미지 센서로부터 획득되는 복수의 이미지를 촬영할 경우, 이미지 처리시간을 줄이기 위한 방법 및 장치를 제공한다.
Various embodiments of the present invention provide a method and apparatus for reducing image processing time when photographing a plurality of images obtained from an image sensor of a camera in an electronic device equipped with a plurality of cameras.

상기한 다양한 실시 예들을 달성하기 위한 본 발명의 제 1 견지에 따르면, 복수의 이미지 센서를 포함한 전자장치에서 이미지 촬영방법에 있어서, 제1 및 제2 이미지 센서로부터 각각 제1 및 제2 원시데이터를 획득하는 과정과, 상기 제1 및 상기 제2 원시데이터를 합성하여, 제3 원시데이터를 생성하는 과정과, 상기 제3 원시데이터를 이미지 처리하여 해당 포맷의 영상이미지 파일로 변환하는 과정과, 상기 해당 포맷의 영상이미지를 디스플레이하는 과정을 포함한다.According to a first aspect of the present invention for achieving the above-described various embodiments, there is provided an image capturing method in an electronic device including a plurality of image sensors, comprising the steps of: receiving first and second raw data from first and second image sensors, Generating third raw data by combining the first and second raw data, image processing the third raw data, and converting the third raw data into a video image file of a corresponding format, And displaying a video image in the format.

한 실시 예에서, 상기 제1 및 상기 제2 원시데이터를 합성하여, 제3 원시데이터를 생성하는 과정은, PIP(Picture in Picture) 영역을 확인하는 과정과, 상기 PIP 영역에 대응하는 상기 제1 원시데이터의 적어도 일부를 결정하는 과정과, 상기 PIP 영역에 표시될 상기 제2 원시데이터의 적어도 일부를 결정하는 과정과, 상기 제2 원시데이터의 적어도 일부를 상기 제1 원시데이터의 일부로 대체하는 과정을 포함한다.In one embodiment, the step of generating the third raw data by combining the first and second raw data comprises the steps of: checking a PIP (Picture in Picture) region; Determining at least a portion of the original data; determining at least a portion of the second raw data to be displayed in the PIP region; replacing at least a portion of the second raw data with a portion of the first raw data; .

한 실시 예에서, 상기 이미지 처리는, 보간(INTERPOLATION) 기능, 색조정(Color Correction) 기능, 감마보정(Gamma Correction) 기능, 색상 공간적 변환(Color Space Conversion) 기능,에지강조(Edge Enhancements) 기능, 자동 화이트밸런스(Auto White Balance) 기능, 또는 자동노출(Auto Exposure) 기능 중 적어도 하나 이상의 기능을 수행한다.In one embodiment, the image processing may include an INTERPOLATION function, a Color Correction function, a Gamma Correction function, a Color Space Conversion function, an Edge Enhancement function, An Auto White Balance function, or an Auto Exposure function.

한 실시 예에서, 상기 원시데이터는 상기 이미지 센서로부터의 가공되지 않은 데이터로써, 이미지 처리할 수 있다.In one embodiment, the raw data may be image processed with raw data from the image sensor.

한 실시 예에서, 상기 제1 및 제2 이미지 센서로부터 각각 제1 및 제2 원시데이터를 획득하는 과정은, 외부 피사체로부터 입사되는 광신호에 상응하는 전기적 신호를 발생하는 과정과, 상기 발생된 전기적 신호는 디지털신호로 변환하는 과정을 포함하되, 상기 디지털신호는 단위 화소별로 입력된 빛의 양에 상응하는 원시 데이터에 해당한다.In one embodiment, the step of acquiring the first and second raw data from the first and second image sensors may include the steps of generating an electrical signal corresponding to an optical signal incident from an external subject, And converting the signal into a digital signal, wherein the digital signal corresponds to raw data corresponding to the amount of light input for each unit pixel.

한 실시 예에서, 상기 제1 이미지 센서는 상기 전자장치의 제1 면에 위치하고, 상기 제2 이미지 센서는 상기 전자장치의 제2 면에 위치한다.In one embodiment, the first image sensor is located on a first side of the electronic device, and the second image sensor is located on a second side of the electronic device.

상기한 다양한 실시 예들을 달성하기 위한 본 발명의 제 1 견지에 따르면, 다수 이미지 센서를 이용한 촬영방법에 있어서, 적어도 둘 이상의 이미지 센서로부터 각각 원시데이터를 획득하는 과정과, 상기 적어도 둘 이상의 원시데이터를 합성하여, 제3 원시데이터를 생성하는 과정과, 상기 제3 원시데이터를 이미지 처리하여 해당 포맷의 영상이미지 파일로 변환하는 과정과, 상기 해당 포맷의 영상이미지를 디스플레이하는 과정을 포함한다.According to a first aspect of the present invention, there is provided a method of photographing using a plurality of image sensors, comprising the steps of: acquiring raw data from at least two image sensors, Generating third raw data by performing image processing on the third raw data and converting the third raw data into a video image file of a corresponding format; and displaying the video image of the corresponding format.

한 실시 예에서, 상기 적어도 둘 이상의 원시데이터를 합성하여, 제3 원시데이터를 생성하는 과정은, PIP(Picture in Picture) 영역을 확인하는 과정과, 상기 PIP 영역에 대응하는 상기 적어도 둘 이상의 원시데이터 중 제1 원시데이터의 적어도 일부들을 결정하는 과정과, 상기 PIP 영역에 표시될 상기 제1 원시데이터를 제외한 나머지 원시데이터들 각각의 적어도 일부를 결정하는 과정과, 상기 제1 원시데이터의 적어도 일부들에 대응하는 제1 데이터들과 상기 나머지 원시데이터들 각각의 적어도 일부에 대응하는 제2 데이터들을 대체하는 과정을 포함한다.In one embodiment, the step of synthesizing the at least two primitive data and generating the third primitive data includes the steps of: identifying a PIP (Picture in Picture) region; Determining at least a portion of each of the primitive data except for the first primitive data to be displayed in the PIP region; determining at least a portion of the first primitive data, And replacing the second data corresponding to at least a part of each of the remaining raw data.

한 실시 예에서, 적어도 둘 이상의 이미지 센서로부터 각각 원시데이터를 획득하는 과정은, 외부 피사체로부터 입사되는 광신호에 상응하는 전기적 신호를 발생하는 과정과, 상기 발생된 전기적 신호는 디지털신호로 변환하는 과정을 포함하되, 상기 디지털신호는 단위 화소별로 입력된 빛의 양에 상응하는 원시 데이터에 해당한다.In one embodiment, the step of acquiring the raw data from at least two image sensors includes the steps of generating an electrical signal corresponding to an optical signal incident from an external subject, and converting the generated electrical signal into a digital signal The digital signal corresponds to the raw data corresponding to the amount of light input per unit pixel.

상기한 다양한 실시 예들을 달성하기 위한 본 발명의 제3 견지에 따르면, 전자 장치에 있어서, 적어도 하나의 메모리; 및 이미지 처리 모듈을 실행시키기 위한 적어도 하나의 프로세서를 포함하되, 상기 이미지 처리 모듈은, 제1 및 제2 이미지 센서로부터 각각 제1 및 제2 원시데이터를 획득하고, 상기 제1 및 상기 제2 원시데이터를 합성하여, 제3 원시데이터를 생성하고, 상기 제3 원시데이터를 이미지 처리하여 해당 포맷의 영상이미지 파일로 변환하고, 상기 해당 포맷의 영상이미지를 디스플레이하도록 설정된다.According to a third aspect of the present invention, there is provided an electronic device comprising: at least one memory; And at least one processor for executing an image processing module, wherein the image processing module obtains first and second raw data, respectively, from the first and second image sensors, and wherein the first and second raw Generates third raw data, converts the third raw data into an image image file of a corresponding format, and displays the image of the corresponding format.

한 실시 예에서, 상기 이미지 처리 모듈은, PIP(Picture in Picture) 영역을 확인하고, 상기 PIP 영역에 대응하는 상기 제1 원시데이터의 적어도 일부를 결정하고, 상기 PIP 영역에 표시될 상기 제2 원시데이터의 적어도 일부를 결정하고, 상기 제2 원시데이터의 적어도 일부를 상기 제1 원시데이터의 일부로 대체하도록 설정된다.In one embodiment, the image processing module is configured to identify a Picture in Picture (PIP) area, determine at least a portion of the first raw data corresponding to the PIP area, And to replace at least a portion of the second source data with a portion of the first source data.

한 실시 예에서, 상기 이미지 처리 모듈은, 외부 피사체로부터 입사되는 광신호에 상응하는 전기적 신호를 발생하고, 상기 발생된 전기적 신호는 디지털신호로 변환하도록 설정되며, 상기 디지털신호는 단위 화소별로 입력된 빛의 양에 상응하는 원시 데이터에 해당한다.In one embodiment, the image processing module is configured to generate an electrical signal corresponding to an optical signal incident from an external subject, and convert the generated electrical signal into a digital signal, Corresponds to the raw data corresponding to the amount of light.

상기한 다양한 실시 예들을 달성하기 위한 본 발명의 제4 견지에 따르면, 전자 장치에 있어서, 적어도 하나의 메모리; 및 이미지 처리 모듈을 실행시키기 위한 적어도 하나의 프로세서를 포함하되, 상기 이미지 처리 모듈은 적어도 둘 이상의 이미지 센서로부터 각각 원시데이터를 획득하고, 상기 적어도 둘 이상의 원시데이터를 합성하여, 제3 원시데이터를 생성하고, 상기 제3 원시데이터를 이미지 처리하여 해당 포맷의 영상이미지 파일로 변환하고, 상기 해당 포맷의 영상이미지를 디스플레이하도록 설정된다.According to a fourth aspect of the present invention, there is provided an electronic device comprising: at least one memory; And at least one processor for executing an image processing module, wherein the image processing module obtains raw data from each of at least two image sensors, composites the at least two raw data, and generates third raw data Converts the third raw data into a video image file of a corresponding format, and displays the video image of the corresponding format.

한 실시 예에서, 상기 이미지 처리 모듈은, PIP(Picture in Picture) 영역을 확인하고, 상기 PIP 영역에 대응하는 상기 적어도 둘 이상의 원시데이터 중 제1 원시데이터의 적어도 일부들을 결정하고, 상기 PIP 영역에 표시될 상기 제1 원시데이터를 제외한 나머지 원시데이터들 각각의 적어도 일부를 결정하고,상기 제1 원시데이터의 적어도 일부들에 대응하는 제1 데이터들과 상기 나머지 원시데이터들 각각의 적어도 일부에 대응하는 제2 데이터들을 대체하도록 설정된 전자장치.In one embodiment, the image processing module identifies a PIP (Picture in Picture) area, determines at least some of the first of the at least two primitive data corresponding to the PIP area, Determining at least a portion of each of the remaining raw data except for the first raw data to be displayed and determining at least some of the first data corresponding to at least a portion of each of the remaining raw data and the first data corresponding to at least portions of the first source data And to replace the second data.

한 실시 예에서, 상기 이미지 처리 모듈은, 외부 피사체로부터 입사되는 광신호에 상응하는 전기적 신호를 발생하고, 상기 발생된 전기적 신호는 디지털신호로 변환하도록 설정되며, 상기 디지털신호는 단위 화소별로 입력된 빛의 양에 상응하는 원시 데이터에 해당한다.
In one embodiment, the image processing module is configured to generate an electrical signal corresponding to an optical signal incident from an external subject, and convert the generated electrical signal into a digital signal, Corresponds to the raw data corresponding to the amount of light.

상술한 바와 같이, 이미지 처리 이전에 원시 이미지 데이터를 합성함으로써 추후 이미지 화질 성능, 처리 시간 측면에서 이점을 가질 수 있다.
As described above, by combining raw image data before image processing, it can have an advantage in terms of image quality performance and processing time in the future.

도 1은 본 발명의 실시 예에 따른 다수 이미지 센서를 이용한 촬영방법을 위한 흐름도;
도 2는 본 발명의 실시 예에 따른 원시 이미지 데이터를 합성하기 위한 흐름도;
도 3은 본 발명의 제1 실시 예에 따른 두 개의 원시 이미지 데이터를 합성하는 예를 도시한 도면;
도 4는 본 발명의 제2 실시 예에 따른 두 개의 원시 이미지 데이터를 합성하는 예를 도시한 도면;
도 5는 본 발명의 실시 예에 따른 다수 이미지 센서를 이용한 촬영장치의 구성도;
도 6은 본 발명의 실시 예에 따른 이미지 신호 처리 장치의 구성도; 및
도 7은 본 발명의 실시 예에 따른 전자장치의 구성도.FIG. 1 is a flow chart for a photographing method using multiple image sensors according to an embodiment of the present invention; FIG.
2 is a flow chart for compositing raw image data according to an embodiment of the present invention;
3 is a diagram illustrating an example of compositing two original image data according to the first embodiment of the present invention;
FIG. 4 illustrates an example of combining two pieces of raw image data according to a second embodiment of the present invention; FIG.
5 is a configuration diagram of a photographing apparatus using a plurality of image sensors according to an embodiment of the present invention;
6 is a configuration diagram of an image signal processing apparatus according to an embodiment of the present invention; And
7 is a configuration diagram of an electronic device according to an embodiment of the present invention;

이하 본 발명의 바람직한 실시 예를 첨부된 도면의 참조와 함께 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to the preferred embodiments of the present invention, examples of which are illustrated in the accompanying drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The following terms are defined in consideration of the functions of the present invention, and may be changed according to the intentions or customs of the user, the operator, and the like. Therefore, the definition should be based on the contents throughout this specification.

이하, 본 발명의 한 실시 예는 다수 이미지 센서를 이용한 촬영방법 및 장치에 관해 설명하기로 한다.Hereinafter, an embodiment of the present invention will be described with respect to a photographing method and apparatus using a plurality of image sensors.

특히, 한 실시 예들은, 다수의 원시(raw) 이미지 데이터를 합성하여 이미지처리를 하고, 다수 이미지를 동시에 디스플레이할 수 있다.In particular, one embodiment may combine multiple raw image data to perform image processing and display multiple images simultaneously.

상기 원시 이미지 데이터는 이미지 파일 포맷 중 하나로 디지털 카메라나 이미지 스캐너의 이미지 센서로부터의 가공되지 않은 데이터를 의미하며, 다시 말해, 이미지 처리를 위한 화이트밸런스, 파라미터, 색공간 등이 정해져 있지 않고 촬영매체에 감지된 빛의 세기에 대한 정보만을 포함하는 데이터를 의미할 수 있다.The raw image data is unprocessed data from an image sensor of a digital camera or an image scanner in one of image file formats. In other words, white balance, parameters, color space, etc. for image processing are not fixed, And may include data including only information on the intensity of the sensed light.

원시 이미지 데이터의 장점은 디지털카메라에서 이미지 센서로부터 이미지를 해당 포맷의 파일(예: JEPG(Joint Photography Experts Group) 포맷)로 변환할 때, 이미지 촬영 전 기설정된 화이트밸런스, 파라미터, 색공간 등의 설정 값을 적용하여 이미지 처리를 수행할 수 있다. 원시 이미지 데이터를 지원하는 카메라들은 파일에 이러한 설정 값들을 저장해 두고 있지만 이미지 처리 시간을 지연시킨다. 원시 이미지 데이터는 별도의 이미지 처리가 수행될 경우에만 이용되는 것이 보통이지만, 원시 이미지 데이터는 JPEG 포맷 데이터보다 많은 이점이 있다.The advantage of the raw image data is that when the digital camera converts an image from the image sensor to a file of the corresponding format (eg Joint Photographic Experts Group (JEPG) format), the settings of preset white balance, parameters, Value can be applied to perform image processing. Cameras that support raw image data store these settings in the file, but delay image processing time. Although raw image data is typically only used when separate image processing is performed, raw image data has many advantages over JPEG format data.

즉, 원시 이미지 데이터는 JPEG 포맷 데이터보다 화질이 더 높고, 그리고 JPEG 포맷 데이터는 손실 압축 포맷이며 반면 원시 이미지 데이터 포맷은 압축되지 않거나 무손실 압축을 사용할 수 있다. 더하여, 원시 이미지 데이터는 원시 데이터 변환 소프트웨어를 사용하여 더 많은 변수(밝기, 화이트 밸런스, 색조, 채도 등)를 이용함으로써, 더 섬세하게 제어될 수 있다.That is, raw image data has higher image quality than JPEG format data, and JPEG format data is lossy compression format, while raw image data format can use uncompressed or lossless compression. In addition, raw image data can be more finely controlled by using more variables (brightness, white balance, hue, saturation, etc.) using raw data conversion software.

더하여, 카메라의 원시 이미지 데이터는 12비트 또는 14비트의 명암 정보를 가지고 있으며, 가공된 TIFF 데이터나 JPEG 데이터에 저장되어 있는 감마 압축 8비트를 사용하지 않는다. 그러므로, 원시 이미지 데이터는 그림자, 밝은 부분, 채도가 깊은 색에 더 정확성을 제공하고, 또한 색공간을 사용자가 원하는 대로 설정할 수 있다. 상기 색공간은 색의 속성을 나타내기 위해 사용되는 입체적 공간을 의미할 수 있다.
In addition, the raw image data of the camera has 12-bit or 14-bit contrast information and does not use 8-bit gamma compression stored in the processed TIFF data or JPEG data. Thus, raw image data provides more accuracy for shadows, shadows, deep color saturation, and also allows the user to customize the color space. The color space may refer to a three-dimensional space used to represent the attribute of the color.

이하, 한 실시 예들에서, 두 개의 카메라를 이용하여 영상 이미지를 촬영하는 실시 예를 들어 설명하지만, 한 실시 예들은 두 개의 카메라의 영상이미지 촬영에 제한되지 않으며, 둘 이상의 카메라의 영상이미지 촬영에 적용될 수 있음은 자명하다.Hereinafter, in one embodiment, although an embodiment of photographing an image by using two cameras is described, one embodiment is not limited to photographing two images of the camera, and may be applied to photographing two or more cameras It is self-evident.

도 1은 본 발명의 실시 예에 따른 다수 이미지 센서를 이용한 촬영방법을 위한 흐름도를 도시하고 있다.FIG. 1 is a flowchart illustrating a photographing method using a plurality of image sensors according to an embodiment of the present invention.

상기 도 1을 참조하면, 전자장치는 100단계에서 듀얼 카메라 촬영 모드를 선택할 수 있다. 상기 듀얼 카메라 촬영 모드는 적어도 둘 이상의 카메라를 통해 영상을 출력하는 모드를 의미할 수 있다. 상기 듀얼 카메라 촬영 모드에서, 각각의 카메라를 통해 출력되는 영상 이미지를 스위칭하여 출력할 수 있거나 또는 다수의 영상이미지를 합성하여 동시에 출력할 수도 있다.Referring to FIG. 1, in step 100, the electronic device can select a dual camera shooting mode. The dual camera photographing mode may be a mode for outputting an image through at least two cameras. In the dual camera photographing mode, the image images outputted through the respective cameras can be switched and output, or a plurality of image images can be combined and output simultaneously.

이후, 상기 전자장치는 102단계에서 제1 및 제2 카메라의 이미지센서로부터 각각 제1 및 제2 원시 이미지 데이터를 획득할 수 있다. 여기서, 제1 및 제2 카메라는 전자장치의 전면부 및 후면부에 배치될 수 있으며, 셀카목적으로 전면부에 배치된 카메라를 이용하여 사용자(사용자의 얼굴)를 촬영하고 후면부에 배치된 카메라를 이용하여 배경화면을 촬영할 수 있다. 하지만, 제1 및 제2 카메라의 위치는 전자장치의 전면부 및 후면부에 제한되지 않으며, 다양하게 배치될 수 있다. 예를 들어, 제1 및 제2 카메라는 전자장치와 별도로 존재할 수 있으며 이때 전자장치와 카메라는 NFC(Near Field Communication) 통신 또는 WiFi 다이렉트(direct) 통신을 통해 연결될 수 있다. The electronic device may then obtain first and second raw image data from the image sensors of the first and second cameras, respectively, Here, the first and second cameras may be disposed on the front and back sides of the electronic device, and the user (the user's face) may be photographed using a camera disposed on the front face for the purpose of self-care, and a camera So that the background screen can be photographed. However, the positions of the first and second cameras are not limited to the front and rear portions of the electronic device, and can be variously arranged. For example, the first and second cameras may be separate from the electronic device, and the electronic device and the camera may be connected through Near Field Communication (NFC) communication or WiFi direct communication.

이후, 상기 전자장치는 104단계에서 제1 및 제2 원시 이미지 데이터를 합성하여 또는 겹쳐서, 제3 원시 이미지 데이터를 생성할 수 있다. 제1 및 제2 원시 이미지 데이터를 합성하는 상세한 설명은 하기 도 3에서 설명하기로 한다.Thereafter, the electronic device may synthesize or overlay the first and second raw image data in step 104 to generate third raw image data. A detailed description of compositing the first and second raw image data will be described with reference to FIG.

이후, 상기 전자장치는 106단계에서 ISP(Image Signal Processor)를 통해 제3 원시 이미지 데이터를 JPEG 같은 해당 포맷의 영상이미지로 변환한다.In step 106, the electronic device converts the third raw image data into a video image of a corresponding format such as JPEG through an ISP (Image Signal Processor).

이후, 상기 전자장치는 108단계에서 영상이미지를 디스플레이한다.
Then, the electronic device displays a video image in step 108. [

도 2는 본 발명의 실시 예에 따른 원시 이미지 데이터를 합성하기 위한 흐름도를 도시하고 있다.2 is a flow chart for compositing raw image data according to an embodiment of the present invention.

상기 도 2를 참조하면, 상기 전자장치는 200단계에서 PIP(Picture in Picture) 영역을 설정할 수 있다. 상기 PIP 영역은 제1 원시 이미지 데이터에 대응하는 제1 영상이미지의 적어도 일부 영역에 제2 원시 이미지 데이터 전체 또는 일부에 대응하는 제2 영상이미지 전체 또는 일부를 디스플레이하기 위한 영역일 수 있다. 또 다른 실시 예에서, 상기 PIP 영역은 제2 원시 이미지 데이터에 대응하는 제2 영상이미지의 적어도 일부 영역에 제1 원시 이미지 데이터 전체 또는 일부에 대응하는 제1 영상이미지 전체 또는 일부를 디스플레이하기 위한 영역일 수 있다.Referring to FIG. 2, the electronic device may set a PIP (Picture in Picture) area in step 200. FIG. The PIP area may be an area for displaying all or a part of the second image image corresponding to all or a part of the second raw image data in at least a part of the first image image corresponding to the first raw image data. In yet another embodiment, the PIP region may include an area for displaying all or a portion of the first video image corresponding to all or a portion of the first raw image data in at least a portion of the second video image corresponding to the second raw image data Lt; / RTI >

이후, 상기 전자장치는 202단계에서 PIP 영역에 대응하는 제1 메모리 영역에 있는 제1 원시 이미지 데이터의 일부를 결정하고, 204단계에서 PIP 영역에 표시될 제2 메모리 영역에 있는 제2 원시 이미지 데이터의 일부 또는 전체를 결정할 수 있다.Then, the electronic device determines a part of the first raw image data in the first memory area corresponding to the PIP area in step 202, and determines the second raw image data in the second memory area to be displayed in the PIP area in step 204, Or a part or all of the < / RTI >

이후, 상기 전자장치는 206단계에서 제1 원시 이미지 데이터의 일부를 제2 원시 이미지 데이터의 전체 또는 일부로 대체할 수 있다.
Thereafter, the electronic device may replace a portion of the first raw image data with all or a portion of the second raw image data in step 206. [

도 3은 본 발명의 제1 실시 예에 따른 두 개의 원시 이미지 데이터를 합성하는 예를 도시하고 있다.FIG. 3 shows an example of combining two raw image data according to the first embodiment of the present invention.

상기 도 3의 (a)는 제1 이미지 센서로부터 획득된 영상이미지(d)에 대응하는 제1 원시 이미지 데이터(300)이고, 상기 도 3의 (b)는 제2 이미지 센서로부터 획득된 영상이미지(e)에 대응하는 제2 원시 이미지 데이터(310)이다. 여기서, 제1 및 제2 이미지 센서는 베이어 패턴(Bayer Pattern)을 가지는 센서로서, 단위 화소별로 렌즈를 통해 입력된 빛의 양에 상응하는 원시 데이터(raw data)를 출력할 수 있다.3 (a) is the first raw image data 300 corresponding to the image image d obtained from the first image sensor, and FIG. 3 (b) (e). < / RTI > Here, the first and second image sensors are sensors having a Bayer pattern, and can output raw data corresponding to the amount of light input through the lens for each unit pixel.

제1 원시 이미지 데이터(300) 및 제2 원시 이미지 데이터(310)가 각각 메모리 영역에 저장되며, 제1 원시 이미지 데이터(300) 및 제2 원시 이미지 데이터(310)를 합성하기 위해, PIP 영역에 대응하는 제1 원시 이미지 데이터(300)의 일부를 제2 원시 이미지 데이터(310)로 대체하여, 제3 원시 이미지 데이터(320)가 생성된다. 다시 말해, 제2 메모리 영역에 있는 제2 원시 이미지 데이터(310)가 제1 메모리 영역의 일부 영역(PIP 영역에 대응함)으로 복사되거나 대체된다.The first raw image data 300 and the second raw image data 310 are stored in the memory area respectively and the first raw image data 300 and the second raw image data 310 are stored in the memory area, A portion of the corresponding first raw image data 300 is replaced with the second raw image data 310 to generate the third raw image data 320. [ In other words, the second raw image data 310 in the second memory area is copied or replaced to a partial area (corresponding to the PIP area) of the first memory area.

상기 도 3의 (f)는 제3 원시 이미지 데이터(320)에 대응하는 합성 영상이미지(350)이다. 다시 말해, 상기 합성 영상이미지(350)는 제1 영상이미지(d)의 일부 영역(즉, PIP 영역(355))에, 제2 영상이미지(e)가 겹친 이미지를 의미할 수 있다. PIP 영역(355)에 해당하는 위치는 영상이미지(d) 내에 다양하게 설정될 수 있다.
FIG. 3F is a composite image 350 corresponding to the third raw image data 320. In other words, the composite image 350 may mean an image in which a second image (e) overlaps with a partial area of the first image d, that is, the PIP area 355. The position corresponding to the PIP area 355 can be variously set in the image image (d).

도 4는 본 발명의 제2 실시 예에 따른 두 개의 원시 이미지 데이터를 합성하는 예를 도시하고 있다.FIG. 4 shows an example of combining two pieces of raw image data according to the second embodiment of the present invention.

상기 도 4의 (a)는 제1 이미지 센서로부터 획득된 영상이미지(d)에 대응하는 제1 원시 이미지 데이터(400)이고, 상기 도 4의 (b)는 제2 이미지 센서로부터 획득된 영상이미지(e)에 대응하는 제2 원시 이미지 데이터(410)이다. 여기서, 제1 및 제2 이미지 센서는 베이어 패턴(Bayer Pattern)을 가지는 센서로서, 단위 화소별로 렌즈를 통해 입력된 빛의 양에 상응하는 원시 데이터(raw data)를 출력할 수 있다.4 (a) is the first raw image data 400 corresponding to the image image d obtained from the first image sensor, and FIG. 4 (b) (e). < / RTI > Here, the first and second image sensors are sensors having a Bayer pattern, and can output raw data corresponding to the amount of light input through the lens for each unit pixel.

제1 원시 이미지 데이터(400) 및 제2 원시 이미지 데이터(410)가 각각 메모리 영역에 저장되며, 제1 원시 이미지 데이터(400) 일부와 제2 원시 이미지 데이터(410)의 일부(405)를 합성하기 위해, PIP 영역에 대응하는 제1 원시 이미지 데이터(400)의 일부를 제2 원시 이미지 데이터(410)의 일부(405)로 대체하여, 제3 원시 이미지 데이터(420)가 생성된다. 다시 말해, 제2 메모리 영역에 있는 제2 원시 이미지 데이터(410)의 일부(405)가 제1 메모리 영역의 일부 영역(PIP 영역에 대응함)으로 복사되거나 대체된다(425). The first raw image data 400 and the second raw image data 410 are stored in the memory area respectively and a portion of the first raw image data 400 and a portion 405 of the second raw image data 410 are synthesized The third raw image data 420 is generated by replacing a portion of the first raw image data 400 corresponding to the PIP region with a portion 405 of the second raw image data 410. [ In other words, a portion 405 of the second raw image data 410 in the second memory region is copied or replaced 425 to a portion of the first memory region (corresponding to the PIP region).

상기 도 4의 (f)는 제3 원시 이미지 데이터(420)에 대응하는 합성 영상이미지(450)이다. 다시 말해, 상기 합성 영상이미지(450)는 제1 영상이미지(d)의 일부 영역(즉, PIP 영역(455))에, 제2 영상이미지(e)의 일부가 겹친 이미지를 의미할 수 있다. PIP 영역(455)에 해당하는 위치는 영상이미지(d) 내에 다양하게 설정될 수 있다.
FIG. 4F is a composite image 450 corresponding to the third raw image data 420. In other words, the composite image 450 may mean an image in which a part of the second image e overlaps with a part of the first image d (i.e., the PIP area 455). The position corresponding to the PIP area 455 can be variously set in the image image (d).

도 5는 본 발명의 실시 예에 따른 다수 이미지 센서를 이용한 촬영장치의 구성도를 도시하고 있다.5 is a block diagram of a photographing apparatus using a plurality of image sensors according to an embodiment of the present invention.

상기 도 5를 참조하면, 촬영장치는 제1 이미지 센서(500), 제2 이미지 센서(502), 원시 데이터 합성부(510), ISP(520)를 포함하여 구성될 수 있다.5, the photographing apparatus may include a first image sensor 500, a second image sensor 502, a raw data synthesizer 510, and an ISP 520.

제1 이미지 센서(500) 및 제2 이미지 센서(502)는 베이어 패턴(Bayer Pattern)을 가지는 센서로서, 외부 피사체로부터 입사되는 광신호에 상응하는 전기적 신호를 발생할 수 있다. 발생된 전기적 신호는 디지털화된다. 또한, 발생된 전기적 신호는 해당하는 픽셀에서 증폭되고, 별도의 회로를 통해 디지털화될 수도 있다. 도시되지 아니하였으나, 제1 이미지 센서(500) 및 제2 이미지 센서(502)에 의해 획득된 외부 영상에 상응하는 전기적 신호를 디지털화하기 위한 별도의 회로가 더 구비될 수 있다. 다시 말해, 제1 이미지 센서(500) 및 제2 이미지 센서(502)는 단위 화소별로 렌즈를 통해 입력된 빛의 양에 상응하는 원시 데이터(raw data)를 출력할 수 있다. 이미지 센서(500, 502)에 노출된 이미지의 색상을 검출하기 위해, 이미지 센서(500, 502)의 화소(pixel)는 컬러 필터의 색상을 제외한 모든 색상의 광 파장(light wavelength)을 흡수하는 각각의 컬러 필터로 덮여(cover)진다. 이미지 센서(500, 502)로부터 컬러 정보를 획득하는 일반적인 방법은 이미지 센서(500, 502)의 화소들 위에 컬러 필터 어레이(CFA, Color Filter Array)를 배치하는 것이다. 컬러 필터 어레이의 가장 일반적인 형태가 도 2에 도시된 베이어 모자이크(Bayer Mosaic) 필터이다. 베이어 모자이크 필터는 체커보드 형식(checkerboard like) 구조를 가지고, 교호하는 로우(row)의 적색(R), 녹색(G) 및 청색(B), 녹색 필터로 구성된다. 적색과 녹색 필터는 2개의 녹색 필터가 인접 로우와 컬럼(column) 사이의 가장자리를 공유하지 못하도록 서로 오프셋(offset)되어 있다. 각 화소의 완전한 색상 정보를 얻기 위해서는 주변 화소의 색상 세기를 기반한 보간(interpolation)이 요구된다.The first image sensor 500 and the second image sensor 502 are sensors having a Bayer pattern and can generate an electrical signal corresponding to an optical signal incident from an external subject. The generated electrical signal is digitized. Further, the generated electrical signal may be amplified in the corresponding pixel, and may be digitized through a separate circuit. Although not shown, a separate circuit for digitizing an electrical signal corresponding to the external image obtained by the first image sensor 500 and the second image sensor 502 may be further provided. In other words, the first image sensor 500 and the second image sensor 502 can output raw data corresponding to the amount of light input through the lens for each unit pixel. In order to detect the color of the image exposed to the image sensors 500 and 502, the pixels of the image sensors 500 and 502 are arranged to absorb light wavelengths of all colors except the color of the color filters Of the color filter. A typical method of obtaining color information from the image sensors 500 and 502 is to place a color filter array (CFA) on the pixels of the image sensor 500 and 502. The most common form of the color filter array is the Bayer Mosaic filter shown in FIG. The Bayer mosaic filter has a checkerboard like structure and consists of alternating rows of red (R), green (G) and blue (B) green filters. The red and green filters are offset from each other so that the two green filters do not share the edge between adjacent rows and columns. In order to obtain complete color information of each pixel, interpolation based on the intensity of the surrounding pixels is required.

원시 데이터 합성부(510)는 제1 이미지 센서(500)로부터의 제1 원시데이터를 제1 메모리블록(512)에 저장하고, 제2 이미지 센서(502)로부터의 제2 원시 데이터를 저장한 후, PIP 영역에 대응하는 제1 메모리블록(512)에 있는 제1 원시 데이터의 일부를 결정하고, PIP 영역에 표시될 제2 메모리 영역에 있는 제2 원시 이미지 데이터의 일부 또는 전체를 결정하여, 제1 원시 데이터의 일부를 제2 원시 데이터의 전체 또는 일부로 대체할 수 있다. 제1 원시 데이터의 일부가 제2 원시 데이터의 전체 또는 일부로 대체되어 생성된 원시데이터를 제3 원시데이터로 칭한다. The raw data compositing unit 510 stores the first raw data from the first image sensor 500 in the first memory block 512 and the second raw data from the second image sensor 502 A part of the first raw data in the first memory block 512 corresponding to the PIP area is determined and a part or the whole of the second raw image data in the second memory area to be displayed in the PIP area is determined, One part of the raw data may be replaced with all or part of the second raw data. A part of the first raw data is replaced with all or a part of the second raw data, and the generated raw data is referred to as third raw data.

ISP(520)는 원시 데이터 합성부(510)로부터의 제3 원시데이터를 YUV값으로 변환한다. YUV방식은 사람의 눈이 색상보다는 밝기에 민감하다는 사실에 착안한 방식으로, 색을 밝기(Luminance)인 Y성분과 색상(Chrominance)인 U와 V 성분으로 구분한다. Y성분은 오차에 민감하므로 색상 성분인 U와 V보다 많은 비트를 코딩할 수 있다. 전형적인 Y:U:V의 비율은 4:2:2이다.The ISP 520 converts the third raw data from the raw data composing unit 510 into a YUV value. The YUV method focuses on the fact that the human eye is sensitive to brightness rather than color, and divides the color into the Y component, which is the luminance, and the U component and the V component, which is the chrominance. Since the Y component is sensitive to errors, it can code more bits than U and V which are color components. The typical ratio of Y: U: V is 4: 2: 2.

ISP(520)는 감마교정, 컬러 인터폴레이션, 컬러정정, 컬러공간적 변환, 자동노출 제어, 화이트밸런스를 조절하는 AWB(Automatic White Balance), 초점을 조절하는 AF(Automatic Focus) 기능을 통해, 의 제3 원시데이터를 YUV값으로 변환할 수 있다.
The ISP 520 provides an automatic white balance (AWB) that adjusts gamma correction, color interpolation, color correction, color space conversion, automatic exposure control, white balance, and AF You can convert raw data to YUV values.

도 6은 본 발명의 실시 예에 따른 이미지 신호 처리 장치의 구성도를 도시하고 있다.6 shows a configuration diagram of an image signal processing apparatus according to an embodiment of the present invention.

상기 도 6을 참조하면, ISP(520)는 보간부(602), 색조정부(604), 감마보정부(606), 색상공간변환부(608), 엣지강조부(610), 색조절부(612), 자동노출부(614)를 포함하여 구성될 수 있다.6, the ISP 520 includes an interpolator 602, a color tone controller 604, a gamma corrector 606, a color space converter 608, an edge enhancer 610, a color tone converter 612 , And an automatic exposure unit 614.

상기 보간부(INTERPOLATION)(602)는 8비트 베이어 원시데이터만으로 컬러정보를 표현하기 곤란하기 때문에, 8비트 베이어 원시 데이터를 24비트 RGB 데이터로 변환할 수 있다. 상기 색조정부(Color Correction)(604)는 컬러필터의 왜곡 및 오차를 보정하고, 상기 감마보정부(Gamma Correction)(606)는 비선형 전달 함수(non-linear transfer function)를 사용하여 빛의 강도(intensity) 신호를 비선형적으로 변형함으로써, 디스플레이 장치의 고유의 왜곡 값을 미리 보정한다. 상기 색상 공간 변환부(Color Space Conversion)(608)는 RGB를 각각 명암과 색 정보를 갖는 YCbCr로 변환시킨다. 포맷은 YCbCr 4:4:4 YCbCr 4:2:2, YCbCr 4:2:0 등이 있으며, 이렇게 변환된 영상데이터에서 휘도를 조정하고자 할 때는 Y 데이터를 제어하고, 컬러를 조정하고자 할 때는 CbCr 데이터를 제어할 수 있다. 이에 반하여, RGB 영상데이터는 휘도+컬러 성분을 모두 갖고 있기 때문에 휘도 혹은 컬러만을 제어하기가 어렵다.Since the interpolation 602 is difficult to express color information only with 8-bit Bayer primitive data, it is possible to convert 8-bit Bayer primitive data into 24-bit RGB data. The color correction 604 corrects distortion and error of the color filter and the Gamma Correction 606 uses the non-linear transfer function to adjust the intensity of light intensity signal of the display device by nonlinearly correcting the distortion value inherent to the display device. The color space converter 608 converts RGB into YCbCr having lightness and color information, respectively. The format is YCbCr 4: 4: 4 YCbCr 4: 2: 2, YCbCr 4: 2: 0, and the Y data is controlled when the brightness is adjusted in the converted image data. Data can be controlled. On the other hand, since RGB image data has both luminance and color components, it is difficult to control only luminance or color.

상기 에지강조부(Edge Enhancements)(610)는 영상에서 고주파수(high frequency) 성분의 윤곽선 부분을 더욱 예리하게(sharp) 처리할 수 있다.The edge enhancements 610 may further sharpen the contour portion of the high frequency component in the image.

상기 색조절부(Auto White Balance)(612)는 사물에서 반사되는 영상은 색온도(Color temperature)에 따라 스펙트럼이 시프트되기 때문에, 광원에 따라 달라보이는 흰색을 자동으로 흰색에 맞추는 기능을 수행할 수 있다. 기본적으로 Cb,Cr 값을 확인하여 시프트된 값만큼 제어하여 원래의 값으로 환원될 수 있도록 한다.Since the spectrum of an image reflected by an object is shifted according to a color temperature, the Auto White Balance 612 can automatically adjust a white color that varies depending on a light source. Basically, it checks the Cb and Cr values and controls them as shifted values so that they can be reduced to their original values.

상기 자동노출부(Auto Exposure)(614)는 원하는 타깃 영상 데이터 레벨이 나올 때까지 자동으로 노출시간을 조정해 주는 역할을 수행할 수 있다. 이는 현재상태의 영상을 기준으로, 주로 Y 값을 측정하여 노출 값이 부족한지, 혹은 과도한지를 판단하여 적정 노출 값을 세팅해주는 기능이다.The Auto Exposure unit 614 may automatically adjust the exposure time until a desired target image data level is reached. This is a function to set the proper exposure value by judging whether the exposure value is insufficient or excessive by mainly measuring the Y value based on the image of the current state.

도 7은 본 발명의 실시 예에 따른 전자장치의 구성도를 도시하고 있다.7 shows a configuration diagram of an electronic device according to an embodiment of the present invention.

전자장치는, 휴대용 전자 장치(portable electronic device)일 수 있으며, 휴대용 단말기(portable terminal), 이동 단말기(mobile terminal), 이동 패드(mobile pad), 미디어 플레이어(media player), 태블릿 컴퓨터(tablet computer), 핸드헬드 컴퓨터(handheld computer) 또는 PDA(Personal Digital Assistant)와 같은 장치일 수 있다. 또한, 이러한 장치들 중 두 가지 이상의 기능을 결합한 장치를 포함하는 임의의 휴대용 전자 장치일 수도 있다.The electronic device may be a portable electronic device and may be a portable terminal, a mobile terminal, a mobile pad, a media player, a tablet computer, , A handheld computer, or a PDA (Personal Digital Assistant). It may also be any portable electronic device, including devices combining two or more of these devices.

상기 도 7을 참조하면, 전자장치는 제어기(700), 스피커/마이크로폰(710), 제1 카메라(720), 제2 카메라(725), GPS 수신기(730), RF 처리기(740), 센서모듈(750), 터치스크린(760), 터치스크린 제어기(765), 확장 메모리(770)를 포함하여 구성된다.7, the electronic device includes a controller 700, a speaker / microphone 710, a first camera 720, a second camera 725, a GPS receiver 730, an RF processor 740, A touch screen 760, a touch screen controller 765, and an expansion memory 770. The touch screen 760 is a touch screen.

제어기(700)는, 인터페이스(701), 하나 이상의 프로세서(702, 703) 그리고 내부 메모리(704)를 포함할 수 있다. 경우에 따라서는, 제어기(700) 전체를 프로세서로 칭하기도 한다. 인터페이스(701), 애플리케이션 프로세서(702), 통신 프로세서(703), 영상처리부(705), 내부 메모리(704)는 별개의 구성요소일 수 있거나 하나 이상의 집적화된 회로에 집적화될 수 있다.The controller 700 may include an interface 701, one or more processors 702 and 703, and an internal memory 704. In some cases, the entire controller 700 may be referred to as a processor. The interface 701, the application processor 702, the communication processor 703, the image processor 705, and the internal memory 704 may be separate components or may be integrated into one or more integrated circuits.

영상처리부(705)는 이미지 신호 처리 프로세서(Image Signal Processor : ISP)로써, 제1 카메라(720) 그리고 제2 카메라(725)로부터의 출력데이터(예: 미가공 데이터(raw data)를 미리 정해진 규약의 포맷을 가지는 화상 프레임(RGB/YUV) 데이터로 변환하여 애플리케이션 프로세서(702)로 제공할 수 있다.The image processing unit 705 is an image signal processor (ISP) that processes output data (e.g., raw data) from the first camera 720 and the second camera 725 into a predetermined protocol Format image frame (RGB / YUV) data and provide it to the application processor 702. [

애플리케이션 프로세서(702)는 여러 가지의 소프트웨어 프로그램을 실행하여 전자장치를 위한 여러 기능을 수행하고 통신 프로세서(703)는 음성 통신 및 데이터 통신을 위한 처리 및 제어를 수행할 수 있다. 또한, 이러한 통상적인 기능에 더하여, 프로세서(702, 703)는 확장 메모리(770) 혹은 내부 메모리(704)에 저장되어 있는 특정한 소프트웨어 모듈(명령어 세트)을 실행하여 그 모듈에 대응하는 특정한 여러 가지의 기능을 수행하는 역할도 한다. 즉, 프로세서(702, 703, 705)는 확장 메모리(770) 혹은 내부 메모리(704)에 저장된 소프트웨어 모듈들과 연동하여 다수 이미지 센서를 이용한 촬영방법을 수행할 수 있다.The application processor 702 may execute various software programs to perform various functions for the electronic device, and the communication processor 703 may perform processing and control for voice communication and data communication. In addition to these conventional functions, the processors 702 and 703 may execute a particular software module (instruction set) stored in the extended memory 770 or the internal memory 704 to determine whether the particular various It also serves to perform functions. That is, the processors 702, 703, and 705 can perform a photographing method using a plurality of image sensors in cooperation with the software modules stored in the extended memory 770 or the internal memory 704.

예를 들어, 애플리케이션 프로세서(702)가, 복수의 카메라 촬영 모드를 선택하고, 제1 및 제2 카메라의 이미지센서로부터 각각 제1 및 제2 원시 이미지 데이터를 획득하고, 제1 및 제2 원시 이미지 데이터를 합성하여, 제3 원시 이미지 데이터를 생성하고, 이미지신호처리(Image Signal Processing: ISP)에 따라 제3 원시 이미지 데이터를 JPEG 데이터 같은 해당 포맷의 영상이미지로 변환하고, 영상이미지를 디스플레이할 수 있다.For example, the application processor 702 may select a plurality of camera capture modes, obtain first and second raw image data, respectively, from the image sensors of the first and second cameras, And the third raw image data is converted into a video image of a corresponding format such as JPEG data according to an image signal processing (ISP), and a video image is displayed have.

더하여, 애플리케이션 프로세서(702)가, PIP(Picture in Picture) 영역을 설정하고, PIP 영역에 대응하는 제1 메모리 영역에 있는 제1 원시 이미지 데이터의 일부 원시 이미지 데이터를 결정하고, PIP 영역에 표시될 제2 메모리 영역에 있는 제2 원시 이미지 데이터의 일부 또는 전체 원시 이미지 데이터를 결정하고, 제1 원시 이미지 데이터의 일부를 제2 원시 이미지 데이터의 전체 또는 일부로 대체할 수 있다. 상기 PIP 영역은 제1 원시 이미지 데이터에 대응하는 제1 영상이미지의 적어도 일부 영역에 제2 원시 이미지 데이터 전체 또는 일부에 대응하는 제2 영상이미지 전체 또는 일부를 디스플레이하기 위한 영역일 수 있다. 또 다른 실시 예에서, 상기 PIP 영역은 제2 원시 이미지 데이터에 대응하는 제2 영상이미지의 적어도 일부 영역에 제1 원시 이미지 데이터 전체 또는 일부에 대응하는 제1 영상이미지 전체 또는 일부를 디스플레이하기 위한 영역일 수 있다.
In addition, the application processor 702 may set a PIP (Picture in Picture) area, determine some raw image data of the first raw image data in the first memory area corresponding to the PIP area, Determine some or all of the raw image data of the second raw image data in the second memory area and replace a portion of the first raw image data with all or part of the second raw image data. The PIP area may be an area for displaying all or a part of the second image image corresponding to all or a part of the second raw image data in at least a part of the first image image corresponding to the first raw image data. In yet another embodiment, the PIP region may include an area for displaying all or a portion of the first video image corresponding to all or a portion of the first raw image data in at least a portion of the second video image corresponding to the second raw image data Lt; / RTI >

한편, 다른 프로세서(도시하지 않음)는 하나 이상의 데이터 프로세서, 이미지 프로세서, 또는 코덱을 포함할 수 있다. 데이터 프로세서, 이미지 프로세서 또는 코덱은 별도로 구성할 수도 있다. 또한, 서로 다른 기능을 수행하는 여러 개의 프로세서로 구성될 수도 있다. 인터페이스(701)는 전자장치의 터치 스크린 제어기(765) 및 확장 메모리(770)에 연결시킨다.On the other hand, another processor (not shown) may include one or more data processors, image processors, or codecs. The data processor, image processor, or codec may be configured separately. Also, it may be composed of a plurality of processors performing different functions. The interface 701 is connected to the touch screen controller 765 and the expansion memory 770 of the electronic device.

센서모듈(750)은 인터페이스(701)에 결합되어 여러 가지 기능을 가능하게 할 수 있다. 예를 들어, 움직임 센서 및 광센서가 인터페이스(701)에 결합되어 각각 전자 장치의 움직임 감지 및 외부로부터의 빛 감지를 가능하게 할 수 있다. 이외에도, 위치측정 시스템, 온도센서 또는 생체 센서 등과 같은 기타 센서들이 인터페이스(750)에 연결되어 관련 기능들을 수행할 수 있다.The sensor module 750 may be coupled to the interface 701 to enable various functions. For example, a motion sensor and an optical sensor may be coupled to the interface 701 to enable motion sensing of the electronic device and light sensing from the outside, respectively. In addition, other sensors, such as a position measurement system, a temperature sensor, or a biosensor, may be coupled to interface 750 to perform related functions.

제1, 제2 카메라(720, 725)는 인터페이스(701)를 통해 센서모듈(750)과 결합하여, 사진 및 비디오 클립 레코딩과 같은 카메라 기능을 수행할 수 있다. 또한, 다른 실시 예에서, 제1, 제2 카메라(720, 725)는 전자장치와 별도로 분리되어 NFC(Near Field Communication]) 또는 WiFi Direct 등 무선연결을 이용하여 전자장치와 연결될 수도 있다.The first and second cameras 720 and 725 may be coupled to the sensor module 750 via the interface 701 to perform camera functions such as photograph and video clip recording. Also, in other embodiments, the first and second cameras 720 and 725 may be separate from the electronic device and connected to the electronic device using a wireless connection such as NFC (Near Field Communication) or WiFi Direct.

더 자세하게는, 제1 카메라(720)는 전자장치의 후면에 위치하고 제2 카메라(725)는 전자장치의 전면에 위치할 수 있다. 또한, 제1, 제2 카메라(720, 725)는 광학부, 이미지 센서 및 신호처리부(도시하지 않음) 등을 포함하여 구성될 수 있다. 상기 광학부는 메커 셔터(mecha-shutter), 모터 및 액추에이터에 의해 구동될 수도 있으며, 상기 액추에이터에 의해 주밍(zooming) 및 포커싱(focusing) 등의 동작을 수행할 수도 있다. 상기 광학부는 주변의 이미지를 촬상하며, 이미지센서는 상기 광학부에 의해 촬영되는 이미지를 감지하여 전기적인 신호로 변환할 수 있다. 여기서 상기 이미지 센서는 CMOS(Complemen-tary Metal Oxide Semiconductor) 또는 CCD(Charged Coupled Device) 센서가 될 수 있으며, 고해상도의 이미지 센서가 될 수 있다. 카메라의 이미지 센서는 글로벌 셔터(global shutter)를 내장할 수도 있다. 상기 글로벌 셔터는 센서에 내장된 메카셔터와 유사한 기능을 수행할 수 있다.More specifically, the first camera 720 may be located on the back of the electronic device and the second camera 725 may be located on the front of the electronic device. In addition, the first and second cameras 720 and 725 may include an optical unit, an image sensor, and a signal processing unit (not shown). The optical unit may be driven by a mecha-shutter, a motor, and an actuator, and the actuator may perform operations such as zooming and focusing. The optical unit captures an image of a surrounding area, and the image sensor senses an image taken by the optical unit and converts the sensed image into an electrical signal. Here, the image sensor may be a Complementary Metal Oxide Semiconductor (CMOS) or a Charged Coupled Device (CCD) sensor, and may be a high-resolution image sensor. The image sensor of the camera may also incorporate a global shutter. The global shutter may perform a function similar to a mechanical shutter incorporated in the sensor.

본 발명의 실시 예에서 상기 이미지 센서는 UHD(Ultra High Definition)급 이상의 이미지를 감지할 수 있는 센서가 될 수 있다. 그리고 상기 이미지 센서에서 감지되는 이미지는 신호처리부에서 통해 디지털 이미지로 변환되어 출력된다. 상기 복수의 카메라에서 출력데이터는 미가공 데이터(raw data)가 될 수 있다.In the embodiment of the present invention, the image sensor may be a sensor capable of detecting an image of UHD (Ultra High Definition) or higher. An image sensed by the image sensor is converted into a digital image through a signal processing unit and output. The output data from the plurality of cameras may be raw data.

RF 처리기(740)는 통신 기능이 수행된다. 예를 들어, 통신 프로세서(703)의 제어하에 RF 신호를 기저대역 신호로 변환하여 통신 프로세서(703)로 제공하거나 통신 프로세서(703)로부터의 기저대역 신호를 RF 신호로 변환하여 송신할 수 있다. 여기서, 통신 프로세서(703)는 다양한 통신방식에 기저대역신호를 처리할 수 있다. 예를 들어, 통신방식은, 이들에 한정하지는 않지만, GSM(Global System for Mobile Communication) 통신방식, EDGE(Enhanced Data GSM Environment) 통신방식, CDMA(Code Division Multiple Access) 통신방식, W-CDMA(W-Code Division Multiple Access) 통신방식, LTE(Long Term Evolution) 통신방식, OFDMA(Orthogonal Frequency Division Multiple Access) 통신방식, Wi-Fi(Wireless Fidelity) 통신방식, WiMax 통신방식 또는/및 Bluetooth 통신방식을 포함할 수 있다.The RF processor 740 performs a communication function. For example, under the control of the communication processor 703, an RF signal can be converted into a baseband signal and provided to the communication processor 703, or the baseband signal from the communication processor 703 can be converted into an RF signal and transmitted. Here, the communication processor 703 can process baseband signals in various communication schemes. For example, the communication method includes, but not limited to, a GSM (Global System for Mobile Communication) communication method, an EDGE (Enhanced Data GSM Environment) communication method, a CDMA (Code Division Multiple Access) communication method, a W- (Long Term Evolution) communication method, OFDMA (Orthogonal Frequency Division Multiple Access) communication method, Wi-Fi (Wireless Fidelity) communication method, WiMax communication method, and / or Bluetooth communication method can do.

스피커/마이크로폰(710)은 음성 인식, 음성 복제, 디지털 레코딩(recording) 및 전화 기능과 같은 오디오 스트림의 입력과 출력을 담당할 수 있다. 즉, 스피커/마이크로폰(710)은 음성신호를 전기신호로 변환하거나 전기신호를 음성신호로 변환할 수 있다. 도시하지 않았지만, 탈부착 가능한(attachable and detachable) 이어폰(ear phone), 헤드폰(head phone) 또는 헤드셋(head set)이 외부포트를 통해 전자장치에 연결될 수 있다.The speaker / microphone 710 may be responsible for input and output of audio streams such as voice recognition, voice reproduction, digital recording and telephone functions. That is, the speaker / microphone 710 can convert a voice signal into an electric signal or an electric signal into a voice signal. Although not shown, an attachable and detachable ear phone, a head phone, or a head set may be connected to the electronic device via an external port.

터치스크린 제어기(765)는 터치스크린(760)에 결합될 수 있다. 제스처 스크린(760) 및 터치 스크린 제어기(765)는, 이하에 한정되지는 않지만, 터치스크린(760)과의 하나 이상의 접촉점을 결정하기 위한 용량성, 저항성, 적외선 및 표면 음향파 기술들뿐만 아니라 기타 근접 센서 배열 또는 기타 요소들을 포함하는 임의의 멀티 터치 감지 기술을 이용하여 접촉 및 움직임 또는 이들의 중단을 검출할 수 있다.The touch screen controller 765 may be coupled to the touch screen 760. The gesture screen 760 and the touchscreen controller 765 may include capacitive, resistive, infrared and surface acoustic wave techniques for determining one or more contact points with the touchscreen 760, as well as other Any multi-touch sensing technique, including a proximity sensor arrangement or other elements, may be used to detect contact and movement or interruptions thereof.

터치스크린(760)은 전자장치와 사용자 사이에 입력/출력 인터페이스를 제공할 수 있다. 즉, 터치스크린(760)은 사용자의 터치입력을 전자 장치에 전달할 수 있다. 또한 전자 장치로부터의 출력을 사용자에게 보여주는 매개체이다. 즉, 터치스크린은 사용자에게 시각적인 출력을 보여준다. 이러한 시각적 출력(visual output)은 텍스트(text), 그래픽(graphic), 비디오(video)와 이들의 조합의 형태로 나타난다. 본 발명의 다양한 실시 예에서, 터치스크린(760)은 제1, 제2 카메라(720, 725)에서 촬영되는 이미지들 및 촬영 중의 정보들을 표시할 수 있다.The touch screen 760 may provide an input / output interface between the electronic device and the user. That is, the touch screen 760 may transmit the touch input of the user to the electronic device. It is also a medium that shows the output from the electronic device to the user. That is, the touch screen shows a visual output to the user. This visual output appears in the form of text, graphics, video, and combinations thereof. In various embodiments of the present invention, the touch screen 760 may display images taken at the first and second cameras 720 and 725 and information during shooting.

터치스크린(760)은 여러 가지 디스플레이가 사용될 수 있다. 예를 들면, 이에 한정하지는 않지만, LCD(liquid crystal display), LED(Light Emitting Diode), LPD(light emitting polymer display), OLED(Organic Light Emitting Diode), AMOLED(Active Matrix Organic Light Emitting Diode) 또는 FLED(Flexible LED)를 사용할 수 있다.The touch screen 760 can use various displays. (LED), an organic light emitting diode (OLED), an active matrix organic light emitting diode (AMOLED), or an organic light emitting diode (LED), for example, a liquid crystal display (Flexible LED) can be used.

GPS 수신기(730)는 인공위성으로부터 받은 신호를 위치, 속도, 시간 등의 정보로 변환할 수 있다. 예를 들어, 위성과 GPS 수신기간 거리는 빛의 속도와 신호도달 시간을 곱하면 계산되며, 3개 위성의 정확한 위치와 거리를 구하여 공지된 삼각측량의 원리로 전자장치의 위치가 측정된다.The GPS receiver 730 can convert a signal received from the satellite into information such as position, speed, and time. For example, the distance between the satellite and the GPS receiver is calculated by multiplying the speed of light by the signal arrival time, and the position and the position of the electronic device are measured on the principle of the known triangulation by obtaining the exact position and distance of the three satellites.

확장 메모리(770) 혹은 내부 메모리(704)는 하나 이상의 자기 디스크 저장 장치와 같은 고속 랜덤 액세스 메모리 및/또는 비휘발성 메모리, 하나 이상의 광 저장 장치 및/또는 플래시 메모리(예컨대, NAND, NOR)를 포함할 수 있다.Extension memory 770 or internal memory 704 may include a high speed random access memory and / or nonvolatile memory such as one or more magnetic disk storage devices, one or more optical storage devices and / or a flash memory (e.g., NAND, NOR) can do.

확장 메모리(770) 혹은 내부 메모리(704)는 소프트웨어를 저장할 수 있다. 소프트웨어 구성요소는 운영 체제(operating system) 소프트웨어 모듈, 통신 소프트웨어 모듈, 그래픽 소프트웨어 모듈, 사용자 인터페이스 소프트웨어 모듈 및 MPEG 모듈, 카메라 소프트웨어 모듈, 하나 이상의 애플리케이션 소프트웨어 모듈 등을 포함할 수 있다. 또한, 소프트웨어 구성요소인 모듈은 명령어들의 집합으로 표현할 수 있으므로, 모듈을 명령어 세트(instruction set)라고 표현하기도 한다. 모듈은 또한 프로그램으로 표현하기도 한다.Extension memory 770 or internal memory 704 may store software. The software components may include an operating system software module, a communication software module, a graphics software module, a user interface software module and an MPEG module, a camera software module, one or more application software modules, and the like. A module, which is a software component, can also be expressed as a set of instructions, so a module is sometimes referred to as an instruction set. Modules can also be expressed as programs.

본 발명의 다양한 실시 예에 더하여, 확장 메모리(770)는 제1 카메라(720) 및 제2 카메라(725)로부터 촬영되는 이미지 또는 촬영되는 동영상을 저장할 수 있다.In addition to the various embodiments of the present invention, the extended memory 770 may store images taken from the first camera 720 and the second camera 725, or moving images to be photographed.

운영 체제 소프트웨어는 일반적인 시스템 동작(system operation)을 제어하는 여러 가지의 소프트웨어 구성요소를 포함할 수 있다. 이러한 일반적인 시스템 작동의 제어는, 예를 들면, 메모리 관리 및 제어, 저장 하드웨어(장치) 제어 및 관리, 전력 제어 및 관리 등을 의미할 수 있다. 이러한 운영 체제 소프트웨어는 여러 가지의 하드웨어(장치)와 소프트웨어 구성요소(모듈) 사이의 통신을 원활하게 하는 기능도 수행할 수 있다.The operating system software may include various software components that control general system operations. Control of these general system operations may mean, for example, memory management and control, storage hardware (device) control and management, power control and management, and the like. Such operating system software may also facilitate the communication between various hardware (devices) and software components (modules).

통신 소프트웨어 모듈은, RF 처리기(740)를 통해 컴퓨터, 서버 및/또는 휴대용 단말기 등 다른 전자 장치와 통신을 가능하게 할 수 있다. 그리고, 통신 소프트웨어 모듈은, 해당 통신방식에 해당하는 프로토콜 구조로 구성된다.The communication software module may enable communication with other electronic devices, such as a computer, a server, and / or a portable terminal, via the RF processor 740. The communication software module has a protocol structure corresponding to the communication method.

그래픽 소프트웨어 모듈은 터치스크린(760) 상에 그래픽을 제공하고 표시하기 위한 여러 가지 소프트웨어 구성요소를 포함할 수 있다. 그래픽(graphics)이란 용어는 텍스트(text), 웹 페이지(web page), 아이콘(icon), 디지털 이미지(digital image), 비디오(video), 애니메이션(animation) 등을 포함하는 의미로 사용된다.The graphics software module may include various software components for providing and displaying graphics on the touch screen 760. The term graphics refers to text, a web page, an icon, a digital image, video, animation, and the like.

사용자 인터페이스 소프트웨어 모듈은 사용자 인터페이스에 관련한 여러 가지 소프트웨어 구성요소를 포함할 수 있다. 사용자 인터페이스의 상태가 어떻게 변경되는지 또는 사용자 인터페이스 상태의 변경이 어떤 조건에서 이루어지는지 등에 대한 내용을 포함할 수 있다.The user interface software module may include various software components related to the user interface. How the state of the user interface is changed, and under what conditions the change of the user interface state is made.

카메라 소프트웨어 모듈은 카메라 관련 프로세스 및 기능들을 가능하게 하는 카메라 관련 소프트웨어 구성요소를 포함할 수 있다. 애플리케이션 모듈은 렌더링 엔진을 포함하는 웹브라우저(browser), 이메일(email), 즉석 메시지(instant message), 워드 프로세싱(word processing), 키보드 에뮬레이션(keyboard emulation), 어드레스 북(address book), 접촉 리스트(touch list), 위젯(widget), 디지털 저작권 관리(DRM, Digital Right Management), 음성 인식(voice recognition), 음성 복제, 위치 결정 기능(position determining function), 위치기반 서비스(location based service) 등을 포함할 수 있다. 메모리(770, 704)는 위에서 기술한 모듈 이외에 추가적인 모듈(명령어들)을 포함할 수 있다. 또는, 필요에 따라, 일부의 모듈(명령어들)을 사용하지 않을 수 있다. 본 발명의 다양한 실시 예에서, 상기 웹브라우저는 웹페이지 내 동적으로 변하는 객체들의 디스플레이를 제어하는 실행버튼 및 선택메뉴를 포함하고 있다(도 3(a) 내지 3(d)).The camera software module may include camera-related software components that enable camera-related processes and functions. The application module may be a web browser including a rendering engine, an email, an instant message, word processing, keyboard emulation, an address book, a contact list touch list, widget, digital rights management (DRM), voice recognition, voice duplication, position determining function, location based service, etc. can do. The memories 770 and 704 may include additional modules (instructions) in addition to the modules described above. Alternatively, some modules (commands) may not be used as needed. In various embodiments of the present invention, the web browser includes an execution button and a selection menu that controls the display of dynamically changing objects within a web page (Figs. 3 (a) to 3 (d)).

본 발명의 다양한 실시 예와 관련하여, 애플리케이션 모듈은 다수 이미지 센서를 이용한 촬영 명령어들(상기 도 1 내지 도 2 참조)을 포함할 수 있다.In connection with various embodiments of the present invention, the application module may include imaging commands (see FIGS. 1 and 2 above) using multiple image sensors.

예를 들어, 애플리케이션 모듈은, 복수의 카메라 촬영 모드를 선택하고, 제1 및 제2 카메라의 이미지센서로부터 각각 제1 및 제2 원시 이미지 데이터를 획득하고, 제1 및 제2 원시 이미지 데이터를 합성하여, 제3 원시 이미지 데이터를 생성하고, 이미지신호처리(Image Signal Processing: ISP)에 따라 제3 원시 이미지 데이터를 JPEG 데이터 같은 해당 포맷의 영상이미지로 변환하고, 영상이미지를 디스플레이할 수 있다.For example, the application module may select a plurality of camera capture modes, obtain first and second raw image data, respectively, from the image sensors of the first and second cameras, and combine the first and second raw image data And the third raw image data may be converted into a video image of a corresponding format such as JPEG data according to an image signal processing (ISP), and the video image may be displayed.

더하여, 애플리케이션 모듈은, PIP(Picture in Picture) 영역을 설정하고, PIP 영역에 대응하는 제1 메모리 영역에 있는 제1 원시 이미지 데이터의 일부 원시 이미지 데이터를 결정하고, PIP 영역에 표시될 제2 메모리 영역에 있는 제2 원시 이미지 데이터의 일부 또는 전체 원시 이미지 데이터를 결정하고, 제1 원시 이미지 데이터의 일부를 제2 원시 이미지 데이터의 전체 또는 일부로 대체할 수 있다. 상기 PIP 영역은 제1 원시 이미지 데이터에 대응하는 제1 영상이미지의 적어도 일부 영역에 제2 원시 이미지 데이터 전체 또는 일부에 대응하는 제2 영상이미지 전체 또는 일부를 디스플레이하기 위한 영역일 수 있다. 또 다른 실시 예에서, 상기 PIP 영역은 제2 원시 이미지 데이터에 대응하는 제2 영상이미지의 적어도 일부 영역에 제1 원시 이미지 데이터 전체 또는 일부에 대응하는 제1 영상이미지 전체 또는 일부를 디스플레이하기 위한 영역일 수 있다.
In addition, the application module may set a PIP (Picture in Picture) area, determine some raw image data of the first raw image data in the first memory area corresponding to the PIP area, May determine some or all of the raw image data of the second raw image data in the region and replace a portion of the first raw image data with all or a portion of the second raw image data. The PIP area may be an area for displaying all or a part of the second image image corresponding to all or a part of the second raw image data in at least a part of the first image image corresponding to the first raw image data. In yet another embodiment, the PIP region may include an area for displaying all or a portion of the first video image corresponding to all or a portion of the first raw image data in at least a portion of the second video image corresponding to the second raw image data Lt; / RTI >

또한, 위에서 언급한, 그리고 이하에서 언급할, 본 발명에 따른 전자장치의 다양한 기능들은 하나 이상의 프로세싱(processing) 및/또는 애플리케이션 특정 집적 회로(ASIC, Application Specific Integrated circuit)를 포함하는 하드웨어 및/또는 소프트웨어 및/또는 이들의 결합으로 실행될 수 있다.
It should also be noted that the various functions of the electronic device according to the present invention, as mentioned above and below, may be implemented in hardware comprising one or more processing and / or application specific integrated circuits (ASICs) and / Software and / or a combination thereof.

한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments, but is capable of various modifications within the scope of the invention. Therefore, the scope of the present invention should not be limited by the illustrated embodiments, but should be determined by the scope of the appended claims and equivalents thereof.

500: 제1 이미지 센서 502: 제2 이미지 센서
510: 원시데이터 합성부 512: 제1 메모리블록
514: 제2 메모리블록 520: ISP500: first image sensor 502: second image sensor
510: primitive data composer 512: first memory block
514: second memory block 520: ISP

Claims

복수의 이미지 센서를 포함한 전자장치에서 이미지 촬영방법에 있어서,
제1 및 제2 이미지 센서로부터 각각 제1 및 제2 원시데이터를 획득하는 과정과,
상기 제1 및 상기 제2 원시데이터를 합성하여, 제3 원시데이터를 생성하는 과정과,
상기 제3 원시데이터를 이미지 처리하여 해당 포맷의 영상이미지 파일로 변환하는 과정과,
상기 해당 포맷의 영상이미지를 디스플레이하는 과정을 포함하는 방법.
A method of image capturing in an electronic device including a plurality of image sensors,
Obtaining first and second raw data from the first and second image sensors, respectively,
Synthesizing the first and second raw data to generate third raw data;
Converting the third raw data into a video image file of a corresponding format,
And displaying a video image of the corresponding format.

제1항에 있어서,
상기 제1 및 상기 제2 원시데이터를 합성하여, 제3 원시데이터를 생성하는 과정은,
PIP(Picture in Picture) 영역을 확인하는 과정과,
상기 PIP 영역에 대응하는 상기 제1 원시데이터의 적어도 일부를 결정하는 과정과,
상기 PIP 영역에 표시될 상기 제2 원시데이터의 적어도 일부를 결정하는 과정과,
상기 제2 원시데이터의 적어도 일부를 상기 제1 원시데이터의 일부로 대체하는 과정을 포함하는 방법.
The method according to claim 1,
Wherein the step of synthesizing the first and second raw data to generate third raw data comprises:
Checking a PIP (Picture in Picture) area,
Determining at least a portion of the first raw data corresponding to the PIP region;
Determining at least a portion of the second raw data to be displayed in the PIP area;
And replacing at least a portion of the second raw data with a portion of the first raw data.

제1항에 있어서,
상기 이미지 처리는,
보간(INTERPOLATION) 기능, 색조정(Color Correction) 기능, 감마보정(Gamma Correction) 기능, 색상 공간적 변환(Color Space Conversion) 기능,에지강조(Edge Enhancements) 기능, 자동 화이트밸런스(Auto White Balance) 기능, 또는 자동노출(Auto Exposure) 기능 중 적어도 하나 이상의 기능을 수행하는 것을 특징으로 하는 방법.
The method according to claim 1,
Wherein the image processing comprises:
It is equipped with INTERPOLATION function, Color Correction function, Gamma Correction function, Color Space Conversion function, Edge Enhancements function, Auto White Balance function, Or an Auto Exposure function. The method according to claim 1,

제1항에 있어서,
상기 원시데이터는 상기 이미지 센서로부터의 가공되지 않은 데이터로써, 이미지 처리할 수 있는 것을 포함하는 방법.
The method according to claim 1,
Wherein the raw data comprises image processing, with raw data from the image sensor.

제1항에 있어서,
상기 제1 및 제2 이미지 센서로부터 각각 제1 및 제2 원시데이터를 획득하는 과정은,
외부 피사체로부터 입사되는 광신호에 상응하는 전기적 신호를 발생하는 과정과,
상기 발생된 전기적 신호는 디지털신호로 변환하는 과정을 포함하되,
상기 디지털신호는 단위 화소별로 입력된 빛의 양에 상응하는 원시 데이터에 해당하는 것을 포함하는 방법.
The method according to claim 1,
And acquiring first and second raw data from the first and second image sensors, respectively,
Generating an electrical signal corresponding to an optical signal incident from an external subject;
Converting the generated electrical signal into a digital signal,
Wherein the digital signal corresponds to raw data corresponding to an amount of light input per unit pixel.

제1항에 있어서,
상기 제3 원시데이터를 저장하는 과정을 더 포함하는 방법.
The method according to claim 1,
And storing the third raw data.

다수 이미지 센서를 이용한 촬영방법에 있어서,
적어도 둘 이상의 이미지 센서로부터 각각 원시데이터를 획득하는 과정과,
상기 적어도 둘 이상의 원시데이터를 합성하여, 제3 원시데이터를 생성하는 과정과,
상기 제3 원시데이터를 이미지 처리하여 해당 포맷의 영상이미지 파일로 변환하는 과정과,
상기 해당 포맷의 영상이미지를 디스플레이하는 과정을 포함하는 방법.
A method of photographing using a plurality of image sensors,
Obtaining raw data from at least two image sensors, respectively,
Synthesizing the at least two raw data to generate third raw data;
Converting the third raw data into a video image file of a corresponding format,
And displaying a video image of the corresponding format.

제7항에 있어서,
상기 적어도 둘 이상의 원시데이터를 합성하여, 제3 원시데이터를 생성하는 과정은,
PIP(Picture in Picture) 영역을 확인하는 과정과,
상기 PIP 영역에 대응하는 상기 적어도 둘 이상의 원시데이터 중 제1 원시데이터의 적어도 일부들을 결정하는 과정과,
상기 PIP 영역에 표시될 상기 제1 원시데이터를 제외한 나머지 원시데이터들 각각의 적어도 일부를 결정하는 과정과,
상기 제1 원시데이터의 적어도 일부들에 대응하는 제1 데이터들과 상기 나머지 원시데이터들 각각의 적어도 일부에 대응하는 제2 데이터들을 대체하는 과정을 포함하는 방법.
8. The method of claim 7,
Wherein the step of synthesizing the at least two raw data and generating the third raw data comprises:
Checking a PIP (Picture in Picture) area,
Determining at least portions of the first raw data among the at least two pieces of raw data corresponding to the PIP region;
Determining at least a part of each of the remaining raw data except for the first raw data to be displayed in the PIP area;
Replacing first data corresponding to at least portions of the first raw data with second data corresponding to at least a portion of each of the remaining raw data.

제7항에 있어서,
상기 이미지 처리는,
보간(INTERPOLATION) 기능, 색조정(Color Correction) 기능, 감마보정(Gamma Correction) 기능, 색상 공간적 변환(Color Space Conversion) 기능,에지강조(Edge Enhancements) 기능, 자동 화이트밸런스(Auto White Balance) 기능, 또는 자동노출(Auto Exposure) 기능 중 적어도 하나 이상의 기능을 수행하는 것을 특징으로 하는 방법.
8. The method of claim 7,
Wherein the image processing comprises:
It is equipped with INTERPOLATION function, Color Correction function, Gamma Correction function, Color Space Conversion function, Edge Enhancements function, Auto White Balance function, Or an Auto Exposure function. The method according to claim 1,

제7항에 있어서,
상기 원시데이터는 상기 이미지 센서로부터의 가공되지 않은 데이터로써, 이미지 처리할 수 있는 것을 포함하는 방법.
8. The method of claim 7,
Wherein the raw data comprises image processing, with raw data from the image sensor.

제7항에 있어서,
적어도 둘 이상의 이미지 센서로부터 각각 원시데이터를 획득하는 과정은,
외부 피사체로부터 입사되는 광신호에 상응하는 전기적 신호를 발생하는 과정과,
상기 발생된 전기적 신호는 디지털신호로 변환하는 과정을 포함하되,
상기 디지털신호는 단위 화소별로 입력된 빛의 양에 상응하는 원시 데이터에 해당하는 것을 포함하는 방법.
8. The method of claim 7,
Acquiring raw data from at least two image sensors, respectively,
Generating an electrical signal corresponding to an optical signal incident from an external subject;
Converting the generated electrical signal into a digital signal,
Wherein the digital signal corresponds to raw data corresponding to an amount of light input per unit pixel.

전자 장치에 있어서,
적어도 하나의 메모리; 및
이미지 처리 모듈을 실행시키기 위한 적어도 하나의 프로세서를 포함하되, 상기 이미지 처리 모듈은
제1 및 제2 이미지 센서로부터 각각 제1 및 제2 원시데이터를 획득하고,
상기 제1 및 상기 제2 원시데이터를 합성하여, 제3 원시데이터를 생성하고,
상기 제3 원시데이터를 이미지 처리하여 해당 포맷의 영상이미지 파일로 변환하고,
상기 해당 포맷의 영상이미지를 디스플레이하도록 설정된 전자장치.
In an electronic device,
At least one memory; And
At least one processor for executing an image processing module, the image processing module
Acquiring first and second raw data from the first and second image sensors, respectively,
Synthesizing the first and second raw data to generate third raw data,
The third raw data is subjected to image processing and converted into a video image file of a corresponding format,
And display the video image of the corresponding format.

제12항에 있어서,
상기 이미지 처리 모듈은,
PIP(Picture in Picture) 영역을 확인하고,
상기 PIP 영역에 대응하는 상기 제1 원시데이터의 적어도 일부를 결정하고,
상기 PIP 영역에 표시될 상기 제2 원시데이터의 적어도 일부를 결정하고,
상기 제2 원시데이터의 적어도 일부를 상기 제1 원시데이터의 일부로 대체하도록 설정된 전자장치.
13. The method of claim 12,
The image processing module comprising:
Check the PIP (Picture in Picture) area,
Determining at least a portion of the first raw data corresponding to the PIP region,
Determining at least a portion of the second raw data to be displayed in the PIP region,
And replace at least a portion of the second raw data with a portion of the first raw data.

제12항에 있어서,
상기 이미지 처리는,
보간(INTERPOLATION) 기능, 색조정(Color Correction) 기능, 감마보정(Gamma Correction) 기능, 색상 공간적 변환(Color Space Conversion) 기능,에지강조(Edge Enhancements) 기능, 자동 화이트밸런스(Auto White Balance) 기능, 또는 자동노출(Auto Exposure) 기능 중 적어도 하나 이상의 기능을 수행하는 것을 특징으로 하는 전자장치.
13. The method of claim 12,
Wherein the image processing comprises:
It is equipped with INTERPOLATION function, Color Correction function, Gamma Correction function, Color Space Conversion function, Edge Enhancements function, Auto White Balance function, Or Auto Exposure function of the electronic device.

제12항에 있어서,
상기 원시데이터는 상기 이미지 센서로부터의 가공되지 않은 데이터로써, 이미지 처리할 수 있는 것을 포함하는 전자장치.
13. The method of claim 12,
Wherein the raw data comprises image data that can be processed with raw data from the image sensor.

제12항에 있어서,
상기 이미지 처리 모듈은,
외부 피사체로부터 입사되는 광신호에 상응하는 전기적 신호를 발생하고,
상기 발생된 전기적 신호는 디지털신호로 변환하도록 설정되며,
상기 디지털신호는 단위 화소별로 입력된 빛의 양에 상응하는 원시 데이터에 해당하는 것을 포함하는 전자장치.
13. The method of claim 12,
The image processing module comprising:
An electric signal corresponding to an optical signal incident from an external subject is generated,
The generated electrical signal is set to be converted into a digital signal,
Wherein the digital signal corresponds to raw data corresponding to an amount of light input per unit pixel.

제12항에 있어서,
상기 이미지 처리 모듈은 상기 제3 원시데이터를 저장하도록 설정된 전자장치.
13. The method of claim 12,
And the image processing module is configured to store the third raw data.

전자 장치에 있어서,
적어도 하나의 메모리; 및
이미지 처리 모듈을 실행시키기 위한 적어도 하나의 프로세서를 포함하되, 상기 이미지 처리 모듈은
적어도 둘 이상의 이미지 센서로부터 각각 원시데이터를 획득하고,
상기 적어도 둘 이상의 원시데이터를 합성하여, 제3 원시데이터를 생성하고,
상기 제3 원시데이터를 이미지 처리하여 해당 포맷의 영상이미지 파일로 변환하고,
상기 해당 포맷의 영상이미지를 디스플레이하도록 설정된 전자장치.
In an electronic device,
At least one memory; And
At least one processor for executing an image processing module, the image processing module
Acquiring raw data from at least two image sensors, respectively,
Synthesizing the at least two raw data to generate third raw data,
The third raw data is subjected to image processing and converted into a video image file of a corresponding format,
And display the video image of the corresponding format.

제18항에 있어서,
상기 이미지 처리 모듈은,
PIP(Picture in Picture) 영역을 확인하고,
상기 PIP 영역에 대응하는 상기 적어도 둘 이상의 원시데이터 중 제1 원시데이터의 적어도 일부들을 결정하고,
상기 PIP 영역에 표시될 상기 제1 원시데이터를 제외한 나머지 원시데이터들 각각의 적어도 일부를 결정하고,
상기 제1 원시데이터의 적어도 일부들에 대응하는 제1 데이터들과 상기 나머지 원시데이터들 각각의 적어도 일부에 대응하는 제2 데이터들을 대체하도록 설정된 전자장치.
19. The method of claim 18,
The image processing module comprising:
Check the PIP (Picture in Picture) area,
Determining at least some of the first of the at least two primitive data corresponding to the PIP region,
Determining at least a part of each of the remaining raw data except for the first raw data to be displayed in the PIP area,
And to replace the first data corresponding to at least portions of the first source data with the second data corresponding to at least a portion of each of the remaining source data.

제18항에 있어서,
상기 이미지 처리는,
보간(INTERPOLATION) 기능, 색조정(Color Correction) 기능, 감마보정(Gamma Correction) 기능, 색상 공간적 변환(Color Space Conversion) 기능,에지강조(Edge Enhancements) 기능, 자동 화이트밸런스(Auto White Balance) 기능, 또는 자동노출(Auto Exposure) 기능 중 적어도 하나 이상의 기능을 수행하는 것을 특징으로 하는 전자장치.
19. The method of claim 18,
Wherein the image processing comprises:
It is equipped with INTERPOLATION function, Color Correction function, Gamma Correction function, Color Space Conversion function, Edge Enhancements function, Auto White Balance function, Or Auto Exposure function of the electronic device.

제18항에 있어서,
상기 원시데이터는 상기 이미지 센서로부터의 가공되지 않은 데이터로써, 이미지 처리할 수 있는 것을 포함하는 전자장치.
19. The method of claim 18,
Wherein the raw data comprises image data that can be processed with raw data from the image sensor.

제18항에 있어서,
상기 이미지 처리 모듈은,
외부 피사체로부터 입사되는 광신호에 상응하는 전기적 신호를 발생하고,
상기 발생된 전기적 신호는 디지털신호로 변환하도록 설정되며,
상기 디지털신호는 단위 화소별로 입력된 빛의 양에 상응하는 원시 데이터에 해당하는 것을 포함하는 전자장치.19. The method of claim 18,
The image processing module comprising:
An electric signal corresponding to an optical signal incident from an external subject is generated,
The generated electrical signal is set to be converted into a digital signal,
Wherein the digital signal corresponds to raw data corresponding to an amount of light input per unit pixel.