KR20160143138A - Camera and control method thereof - Google Patents

Camera and control method thereof Download PDF

Info

Publication number
KR20160143138A
KR20160143138A KR1020150079301A KR20150079301A KR20160143138A KR 20160143138 A KR20160143138 A KR 20160143138A KR 1020150079301 A KR1020150079301 A KR 1020150079301A KR 20150079301 A KR20150079301 A KR 20150079301A KR 20160143138 A KR20160143138 A KR 20160143138A
Authority
KR
South Korea
Prior art keywords
pixels
group
image data
image
subject
Prior art date
Application number
KR1020150079301A
Other languages
Korean (ko)
Other versions
KR102429361B1 (en
Inventor
이권
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020150079301A priority Critical patent/KR102429361B1/en
Publication of KR20160143138A publication Critical patent/KR20160143138A/en
Application granted granted Critical
Publication of KR102429361B1 publication Critical patent/KR102429361B1/en

Links

Images

Classifications

    • H04N5/2353
    • H04N5/23212
    • H04N5/23216
    • H04N5/23229
    • H04N5/2355
    • H04N5/2357

Landscapes

  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

The present invention relates to a camera, which changes exposure time of pixels of an image sensor to photograph multiple images and obtain a high dynamic range (HDR) image by synthesizing the photographed images, and a control method thereof. According to an embodiment of the present invention, the camera includes: the image sensor includes a first group pixels forming a first pattern and a second group pixels forming a second pattern in an area adjacent to the first pattern; and a control unit which sets different exposure time for the first and second group pixels and changes the exposure time to obtain data of multiple images.

Description

카메라 및 그 제어 방법{CAMERA AND CONTROL METHOD THEREOF}[0001] CAMERA AND CONTROL METHOD THEREOF [0002]

본 발명은 카메라 및 그 제어 방법에 관한 것이다. The present invention relates to a camera and a control method thereof.

일반적으로, 디지털 카메라는 사람의 눈과 달리 다이내믹 레인지(dynamic range)가 작아 밝기 차이가 큰 물체 혹은 풍경이 공존하는 경우에 적절한 밝기로 이미지를 획득하기 어렵다. 예를 들면, 밝은 부분이 너무 밝게 찍혀 하얗게 포화되거나 어두운 부분이 너무 어둡게 찍혀 물체를 식별하기 어렵게 된다. 따라서, 종래 기술에 따른 디지털 카메라는 HDR(high dynamic range) 이미지를 생성하기 위해 다수의 이미지를 촬영하고, 그 촬영한 다수의 이미지를 합성하였다.In general, a digital camera has a small dynamic range, unlike a human eye, so that it is difficult to acquire an image with appropriate brightness when an object or landscape having a large brightness difference coexists. For example, bright areas are over-saturated and white areas are too dark or dark areas are too dark to identify objects. Accordingly, a digital camera according to the related art has taken a plurality of images to produce a high dynamic range (HDR) image, and synthesized a plurality of the captured images.

본 명세서는 이미지 센서의 픽셀들의 노출 시간을 변경함으로써 다수의 이미지를 촬영하고, 그 촬영한 다수의 이미지를 합성함으로써, HDR(high dynamic range) 이미지를 획득할 수 있는 카메라 및 그 제어 방법을 제공하는 데 그 목적이 있다.The present invention provides a camera and a control method thereof capable of acquiring a high dynamic range (HDR) image by photographing a plurality of images by changing the exposure time of pixels of the image sensor and synthesizing a plurality of the captured images It has its purpose.

본 명세서에 개시된 실시예에 따른 카메라는, 제1 패턴을 이루는 제1 그룹 픽셀들과, 상기 제1 패턴과 인접한 위치에 형성된 제2 패턴을 이루는 제2 그룹 픽셀들을 포함하는 이미지 센서와; 상기 제 1 그룹 픽셀들과 상기 제2 그룹 픽셀들의 노출 시간을 서로 다르게 한 후 그 노출 시간을 변경함으로써 다수의 이미지 데이터를 획득하는 제어부를 포함할 수 있다.A camera according to an embodiment disclosed herein includes an image sensor including first group of pixels forming a first pattern and second group of pixels forming a second pattern formed adjacent to the first pattern; And a controller for obtaining a plurality of image data by changing the exposure time of the first group of pixels and the second group of pixels after making the exposure time different from each other.

본 명세서에 개시된 실시예에 따르면, 상기 제1 및 제2 패턴은 각각 지그재그 패턴일 수 있다.According to the embodiments disclosed herein, the first and second patterns may each be a zigzag pattern.

본 명세서에 개시된 실시예에 따르면, 상기 제1 그룹 픽셀은 상기 이미지 센서의 홀수 번째 행의 픽셀들 또는 홀수 번째 열의 픽셀들을 포함하고, 상기 제2 그룹 픽셀은 상기 이미지 센서의 짝수 번째 행의 픽셀들 또는 짝수 번째 열의 픽셀들을 포함할 수 있다.According to the embodiment disclosed herein, the first group pixel includes pixels of odd-numbered rows or odd-numbered columns of the image sensor, and the second group of pixels includes pixels of even-numbered rows of the image sensor Or even-numbered columns of pixels.

본 명세서에 개시된 실시예에 따르면, 상기 다수의 이미지 데이터를 합성한 하나의 이미지는 HDR(High Dynamic Range) 이미지일 수 있다.According to the embodiment disclosed herein, one image obtained by combining the plurality of image data may be an HDR (High Dynamic Range) image.

본 명세서에 개시된 실시예에 따르면, 상기 제어부는, 상기 제 1 그룹 픽셀들을 제1 시간 동안 피사체에 노출시킴으로써 상기 제 1 그룹 픽셀들로부터 발생한 제1 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들을 상기 제1 시간과는 다른 제2 시간 동안 상기 피사체에 노출시킴으로써 상기 제 2 그룹 픽셀들로부터 발생한 제2 이미지 데이터를 획득한 후,According to the embodiment disclosed herein, the control unit obtains first image data generated from the first group of pixels by exposing the first group of pixels to a subject for a first time, and at the same time, After second image data generated from the second group of pixels is obtained by exposing the second image data to the subject for a second time different from the first time,

상기 제 1 그룹 픽셀들을 상기 제2 시간 동안 상기 피사체에 노출시킴으로써 상기 제 1 그룹 픽셀들로부터 발생한 제3 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들을 상기 제1 시간 동안 상기 피사체에 노출시킴으로써 상기 제 2 그룹 픽셀들로부터 발생한 제4 이미지 데이터를 획득할 수 있다.By exposing the first group of pixels to the subject for the second time to obtain third image data generated from the first group of pixels and exposing the second group of pixels to the subject during the first time And obtain fourth image data generated from the second group of pixels.

본 명세서에 개시된 실시예에 따르면, 상기 제어부는 피사체의 움직임을 검출하고, 상기 피사체의 움직임을 근거로 상기 제 1 내지 제2 이미지 데이터를 획득하거나 상기 제 1 내지 제4 이미지 데이터를 획득할 수 있다.According to the embodiment disclosed herein, the control unit may detect the motion of the subject, acquire the first or second image data based on the motion of the subject, or acquire the first to fourth image data .

본 명세서에 개시된 실시예에 따르면, 상기 제어부는 피사체의 움직임이 검출되면 상기 제 1 내지 제2 이미지 데이터를 획득하고, 상기 피사체의 움직임이 검출되지 않으면 상기 제 1 내지 제4 이미지 데이터를 획득할 수 있다.According to the embodiment disclosed herein, the control unit may acquire the first and second image data when motion of the subject is detected, and may acquire the first to fourth image data if motion of the subject is not detected have.

본 명세서에 개시된 실시예에 따르면, 상기 제어부는, 피사체의 움직임이 검출되면, 상기 제 1 그룹 픽셀들을 상기 제1 시간 동안 피사체에 노출시킴으로써 상기 제 1 그룹 픽셀들로부터 발생한 상기 제1 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들을 상기 제2 시간 동안 상기 피사체에 노출시킴으로써 상기 제 2 그룹 픽셀들로부터 발생한 제2 이미지 데이터를 획득하고, 상기 획득한 제1 및 제2 이미지 데이터를 합성함으로써 제1 이미지를 생성할 수 있다.According to the embodiment disclosed herein, when the motion of the subject is detected, the control unit acquires the first image data generated from the first group of pixels by exposing the first group of pixels to the subject for the first time period Acquiring second image data generated from the second group of pixels by exposing the second group of pixels to the subject for the second time, synthesizing the obtained first and second image data, 1 < / RTI > image.

본 명세서에 개시된 실시예에 따르면, 상기 제어부는, 상기 피사체의 움직임이 검출되지 않으면, 상기 제 1 그룹 픽셀들을 상기 제1 시간 동안 피사체에 노출시킴으로써 상기 제 1 그룹 픽셀들로부터 발생한 상기 제1 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들을 상기 제2 시간 동안 상기 피사체에 노출시킴으로써 상기 제 2 그룹 픽셀들로부터 발생한 제2 이미지 데이터를 획득한 후,According to the embodiment disclosed herein, the control unit may cause the first group of pixels to emit the first image data generated from the first group of pixels by exposing the first group of pixels to the subject during the first time period, if motion of the subject is not detected, Acquiring second image data generated from the second group of pixels by exposing the second group of pixels to the subject for the second time,

상기 제 1 그룹 픽셀들을 상기 제2 시간 동안 상기 피사체에 노출시킴으로써 상기 제 1 그룹 픽셀들로부터 발생한 제3 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들을 상기 제1 시간 동안 상기 피사체에 노출시킴으로써 상기 제 2 그룹 픽셀들로부터 발생한 제4 이미지 데이터를 획득하고, 상기 획득한 제1 내지 제4 이미지 데이터를 합성함으로써 제2 이미지를 생성할 수 있다.By exposing the first group of pixels to the subject for the second time to obtain third image data generated from the first group of pixels and exposing the second group of pixels to the subject during the first time Acquire fourth image data generated from the second group of pixels, and synthesize the acquired first through fourth image data to generate a second image.

본 명세서에 개시된 실시예에 따른 카메라 제어 방법은, 상기 제 1 그룹 픽셀들과 상기 제2 그룹 픽셀들의 노출 시간을 서로 다르게 함으로써 상기 제 1 그룹 픽셀들로부터 발생한 제1 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들로부터 발생한 제2 이미지 데이터를 획득하는 단계와; 상기 제1 및 제2 이미지 데이터를 획득한 후, 상기 제 1 그룹 픽셀들과 상기 제2 그룹 픽셀들의 상기 서로 다른 노출 시간을 변경함으로써 상기 제 1 그룹 픽셀들로부터 발생한 제3 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들로부터 발생한 제4 이미지 데이터를 획득하는 단계와; 상기 제1 내지 제4 이미지 데이터를 하나의 이미지로 합성하는 단계와; 상기 합성한 하나의 이미지를 메모리에 저장하는 단계를 포함할 수 있다.The method of controlling a camera according to an exemplary embodiment of the present invention includes acquiring first image data generated from the first group of pixels by making the exposure times of the first group pixels and the second group pixels different from each other, Obtaining second image data generated from the second group of pixels; Acquiring third image data generated from the first group of pixels by changing the different exposure times of the first group of pixels and the second group of pixels after obtaining the first and second image data, Simultaneously acquiring fourth image data generated from the second group of pixels; Synthesizing the first to fourth image data into one image; And storing the combined image in a memory.

본 발명의 실시예에 따른 카메라 및 그 제어 방법은, 이미지 센서의 픽셀들의 노출 시간을 변경함으로써 다수의 이미지를 촬영하고, 그 촬영한 다수의 이미지를 합성함으로써, HDR(high dynamic range) 이미지를 획득할 수 있다.A camera and a control method thereof according to an exemplary embodiment of the present invention can acquire a high dynamic range image by capturing a plurality of images by changing the exposure time of pixels of the image sensor, can do.

본 발명의 실시예에 따른 카메라 및 그 제어 방법은, 이미지 센서의 모든 픽셀 위치에서 장시간 노출과 단시간 노출에 따른 화소값 획득이 가능함으로써 이미지 보간(interpolation)으로 인한 열화를 최소화할 수 있으며, 이미지 화질을 대폭 향상시킬 수 있다.The camera and its control method according to the embodiment of the present invention can minimize the deterioration due to image interpolation by enabling the acquisition of pixel values according to the long time exposure and the short time exposure at all pixel positions of the image sensor, Can be greatly improved.

본 발명의 실시예에 따른 카메라 및 그 제어 방법은, 복잡한 이미지 보간 과정이 필요 없으므로 이미지 생성에 따른 전력소모를 줄일 수도 있다.The camera and the control method thereof according to the embodiment of the present invention do not require a complicated image interpolation process, thereby reducing power consumption due to image generation.

도 1은 본 발명의 실시예에 따른 카메라의 구성요소를 설명하기 위한 구성도이다.
도 2는 도 1의 카메라 모듈의 광학계를 설명하기 위한 개념도이다.
도 3은 본 발명의 실시예에 따른 카메라의 제어 방법을 나타낸 흐름도이다.
도 4a 내지 도 4c는 본 발명의 실시예에 따라 노출 시간을 변경함으로써 촬영된 다수의 이미지 데이터를 근거로 HDR(high dynamic range) 이미지를 생성하는 방법을 나타낸 예시도 이다.
도 5는 본 발명의 다른 실시예에 따른 카메라의 제어 방법을 나타낸 흐름도이다.
도 6은 본 발명의 실시예에 따른 동영상 촬영 모드에서 HDR 이미지를 생성하는 방법을 나타낸 예시도 이다.
1 is a block diagram illustrating components of a camera according to an embodiment of the present invention.
2 is a conceptual diagram for explaining an optical system of the camera module of FIG.
3 is a flowchart illustrating a method of controlling a camera according to an embodiment of the present invention.
FIGS. 4A through 4C illustrate a method of generating a high dynamic range (HDR) image based on a plurality of image data photographed by changing the exposure time according to an embodiment of the present invention.
5 is a flowchart illustrating a method of controlling a camera according to another embodiment of the present invention.
6 is a diagram illustrating an example of a method of generating an HDR image in a moving image capturing mode according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like reference numerals are used to designate identical or similar elements, and redundant description thereof will be omitted. The suffix "module" and " part "for the components used in the following description are given or mixed in consideration of ease of specification, and do not have their own meaning or role. In the following description of the embodiments of the present invention, a detailed description of related arts will be omitted when it is determined that the gist of the embodiments disclosed herein may be blurred. It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are intended to provide further explanation of the invention as claimed. , ≪ / RTI > equivalents, and alternatives.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinals, such as first, second, etc., may be used to describe various elements, but the elements are not limited to these terms. The terms are used only for the purpose of distinguishing one component from another.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. The singular expressions include plural expressions unless the context clearly dictates otherwise.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In the present application, the terms "comprises", "having", and the like are used to specify that a feature, a number, a step, an operation, an element, a component, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

도 1은 본 발명의 실시예에 따른 카메라의 구성요소를 설명하기 위한 구성도이고, 도 2는 도 1의 카메라 모듈의 광학계를 설명하기 위한 개념도이다. FIG. 1 is a block diagram for explaining components of a camera according to an embodiment of the present invention, and FIG. 2 is a conceptual diagram for explaining an optical system of the camera module of FIG.

본 발명의 실시예에 따른 카메라는 순차적으로 배열된 부의 굴절력을 가지는 제1 고정 렌즈군(110), 정의 굴절력을 가지는 제1 이동 렌즈군(120), 정의 굴절력을 가지는 제2 고정 렌즈군(130), 제2 이동 렌즈군(140), 이미지 센서(150), 메모리(160) 중에서 어느 하나 이상을 포함할 수 있다. The camera according to the embodiment of the present invention includes a first fixed lens group 110 having a negative refractive power, a first moving lens group 120 having a positive refractive power, a second fixed lens group 130 having a positive refractive power A second moving lens group 140, an image sensor 150, and a memory 160. The first moving lens group 140 may include a first moving lens group,

상기 제1 및 제2 이동 렌즈군(120, 140)은 제1 방향(D1)으로 연장되는 광축을 따라 이동하도록 형성된다. 즉, 상기 제1 이동 렌즈군(120)은 제1 구동부(121)와 연결되고, 상기 제2 이동 렌즈군(140)은 상기 제2 구동부(142)와 연결된다.The first and second moving lens groups 120 and 140 are formed to move along the optical axis extending in the first direction D1. That is, the first moving lens group 120 is connected to the first driving unit 121, and the second moving lens group 140 is connected to the second driving unit 142.

상기 제1 고정 렌즈군(110)은 제1 렌즈(L1), 제2 렌즈(L2) 및 그 사이에 배치되는 프리즘(prism)로 이루어진다. 구체적으로 상기 제1 고정 렌즈군(110)은 부의 굴절력을 가지는 매니스커스(meniscus)형상의 단식 렌즈의 제1 렌즈(L1), 광로를 약 90도로 전환되도록 형성되는 프리즘(P), 정의 굴절력을 가지는 단식렌즈로 형성되는 제2 렌즈(L1)로 이루어질 수 있다. The first fixed lens group 110 includes a first lens L1, a second lens L2, and a prism disposed therebetween. Specifically, the first fixed lens group 110 includes a first lens L1 of a meniscus type single lens having a negative refractive power, a prism P formed to switch the optical path to about 90 degrees, And a second lens L1 formed of a single lens having a positive refractive power.

상기 제1 이동 렌즈군(120)은 제3 내지 제5 렌즈(L3, L4, L5)로 이루어진다. 상기 제2 고정 렌즈군(130)은 제6 렌즈(L6)을 포함하고, 상기 제2 이동 렌즈군(140)은 제7 내지 제9 렌즈(L7, L8, L9)로 이루어진다. 빛은 상기 제1 고정 렌즈군(110), 제1 이동 렌즈군(120), 제2 고정 렌즈군(130) 및 제2 이동 렌즈군(140)을 통과하여 상기 이미지 센서(150)에 도달한다. The first moving lens group 120 includes third to fifth lenses L3, L4, and L5. The second fixed lens group 130 includes a sixth lens L6 and the second movable lens group 140 includes seventh through ninth lenses L7, L8, and L9. Light passes through the first fixed lens group 110, the first moving lens group 120, the second fixed lens group 130 and the second moving lens group 140 to reach the image sensor 150 .

상기 제2 이동 렌즈군(140)의 각 렌즈들 중 적어도 하나는 비구면 렌즈로 형성될 수 있다. 이 경우, 광각단에 있어서 부의 왜곡수차를 보정할 수 있다. At least one of the lenses of the second moving lens group 140 may be an aspherical lens. In this case, negative distortion aberration can be corrected at the wide-angle end.

상기 제1 이동 렌즈군(120) 및 상기 제2 이동 렌즈군(130) 사이에 조리개(IRIS)가 형성된다. 상기 이미지 센서(150) 및 상기 제2 이동 렌즈군(140) 사이에 저역필터(LP, Low Pass Filter), 적외선 커트 필터(Cut Filter) 및 CCD의 커버유리(CG)가 배치될 수 있다. An iris (IRIS) is formed between the first moving lens group 120 and the second moving lens group 130. A low pass filter (LP), an infrared cut filter, and a cover glass (CG) of a CCD may be disposed between the image sensor 150 and the second moving lens group 140.

상기 제어부(101)는 상기 제1 및 제2 이동 렌즈군(120, 140)을 이동시켜 주밍(zooming)을 수행한다. 단초점 거리단(광각단)으로부터 장초점 거리단(망원단)으로 변경하는 경우, 상기 제1 이동 렌즈군(120)이 객체가 위치하는 영역으로부터 상면측으로 이동한다. 상기 제어부(101)는 상기 제2 이동 렌즈군(140)를 이동시켜 포커스(focus)를 조정한다. The control unit 101 moves the first and second moving lens groups 120 and 140 to perform zooming. When changing from the short focal length extremity (wide-angle end) to the long focal length extremity (telephoto end), the first moving lens group 120 moves from the region where the object is located to the image side. The controller 101 moves the second moving lens group 140 to adjust the focus.

상기 제1 및 제2 이동 렌즈군(120, 140)은 상기 제1 및 제2 구동부(121, 141)에 의하여 서로 연동하여 이동할 수 있으나 이에 한정되지 아니하며, 이동하는 방향이 동일하거나 반대될 수 있다. The first and second moving lens groups 120 and 140 may be moved in association with each other by the first and second driving units 121 and 141, but the present invention is not limited thereto and the moving directions may be the same or opposite .

상기 제1 및 제2 이동 렌즈군(120, 140)과 상기 제1 및 제2 고정 렌즈군(110, 130)을 통과한 빛은 상기 이미지 센서(150)에 도달하여, 초점을 맺은 영상요소들이 변환되어 영상으로 출력된다. Light passing through the first and second movable lens groups 120 and 140 and the first and second fixed lens groups 110 and 130 reaches the image sensor 150, And output as an image.

상기 이미지 센서(image sensor)(150)는 1차원 또는 2차원 이상의 광학 정보를 전기적인 영상신호로 변환하는 장치이다. 상기 이미지 센서(150)는 CMOS(complementary metal-oxidesemiconductor)형 또는 CCD(charge coupled device)형의 2종류가 사용될 수 있다. CMOS 이미지 센서는 CMOS 제조 기술을 이용하여 광학적 이미지를 전기적 영상신호로 변환시키는 소자이다.The image sensor 150 converts one-dimensional or two-dimensional or more optical information into an electrical image signal. The image sensor 150 may be a CMOS (Complementary Metal-Oxide Semiconductor) type or a CCD (charge coupled device) type. CMOS image sensors are devices that convert optical images into electrical image signals using CMOS fabrication technology.

상기 이미지 센서(150)는 다수의 픽셀(예를 들면, 다수의 포토 다이오드)을 포함할 수 있으며, 상기 다수의 픽셀은 장시간 노출에 따른 전기적 영상신호(이미지 데이터)를 출력하거나 단시간 노출에 따른 전기적 영상신호(이미지 데이터)를 출력한다.The image sensor 150 may include a plurality of pixels (for example, a plurality of photodiodes), and the plurality of pixels may output an electrical image signal (image data) according to a long time exposure, And outputs a video signal (image data).

상기 이미지 센서(150)는 제1 패턴(예를 들면, 지그재그 패턴)을 이루는 제1 그룹 픽셀들과, 상기 제1 패턴과 인접한 위치에 형성된 제2 패턴(예를 들면, 지그재그 패턴)을 이루는 제2 그룹 픽셀들을 포함할 수 있다. The image sensor 150 includes a first group of pixels constituting a first pattern (for example, a zigzag pattern) and a second group of pixels constituting a second pattern (for example, a zigzag pattern) formed at a position adjacent to the first pattern Two group pixels.

일반적으로, 디지털 카메라는 사람의 눈과 달리 다이내믹 레인지(dynamic range)가 작아 밝기 차이가 큰 물체 혹은 풍경이 공존하는 경우에 적절한 밝기로 이미지를 획득하기 어렵다. 예를 들면, 밝은 부분이 너무 밝게 촬영되어 하얗게 포화되거나 어두운 부분이 너무 어둡게 촬영되어 물체를 식별하기 어렵게 된다. In general, a digital camera has a small dynamic range, unlike a human eye, so that it is difficult to acquire an image with appropriate brightness when an object or landscape having a large brightness difference coexists. For example, a bright part is photographed too brightly and saturates whitishly, or a dark part is photographed too dark, making it difficult to identify an object.

따라서, HDR(high dynamic range) 이미지를 생성하기 위해 노출을 달리한 이미지들을 동시에 획득하고, 그 획득한 이미지들을 합성한다. 예를 들면, 노출 시간을 짧게(단 노출) 하여 한 장의 이미지를 획득함과 동시에 노출을 길게(장 노출) 하여 다른 한 장의 이미지를 획득하고, 그 획득된 이미지들을 합성함으로써 HDR(high dynamic range) 이미지를 생성한다. Therefore, images with different exposures are simultaneously acquired to generate a high dynamic range (HDR) image, and the acquired images are synthesized. For example, a high dynamic range (HDR) image is obtained by acquiring one image by shortening the exposure time (short exposure) and acquiring another image by elongating the exposure (long exposure) Create an image.

이하에서는, 이미지 센서(150)의 픽셀들의 노출 시간을 변경함으로써 다수의 이미지를 촬영하고, 그 촬영한 다수의 이미지를 합성함으로써, HDR(high dynamic range) 이미지를 획득할 수 있는 카메라 및 그 제어 방법을 도 1 및 도 3을 참조하여 설명한다.Hereinafter, a camera capable of acquiring an HDR (high dynamic range) image by photographing a plurality of images by changing the exposure time of pixels of the image sensor 150 and synthesizing the captured images, and a control method thereof Will be described with reference to Figs. 1 and 3. Fig.

도 3은 본 발명의 실시예에 따른 카메라의 제어 방법을 나타낸 흐름도이다.3 is a flowchart illustrating a method of controlling a camera according to an embodiment of the present invention.

먼저, 상기 제어부(101)는 이미지 센서(150)의 제 1 그룹 픽셀들과 제2 그룹 픽셀들의 노출 시간을 서로 다르게 제어한다(S11). 예를 들면, 상기 제어부(101)는 이미지 센서(150)의 제 1 그룹 픽셀들의 노출 시간을 1/100초로, 상기 제2 그룹 픽셀들의 노출 시간을 1/500초로 설정할 수 있으며, 상기 노출 시간은 한정된 것은 아니며, 외부 조도에 따라 변경되거나 사용자의 요구에 따라 변경될 수 있다. First, the control unit 101 controls the exposure times of the first group pixels and the second group pixels of the image sensor 150 differently (S11). For example, the control unit 101 may set the exposure time of the first group pixels of the image sensor 150 to 1/100 second and the exposure time of the second group of pixels to 1/500 second, But is not limited to, it may be changed according to the external illuminance or changed according to the demand of the user.

상기 이미지 센서(150)는 제1 패턴(예를 들면, 지그재그 패턴)을 이루는 제1 그룹 픽셀들과, 상기 제1 패턴과 인접한 위치에 형성된 제2 패턴(예를 들면, 지그재그 패턴)을 이루는 제2 그룹 픽셀들을 포함할 수도 있으나, 상기 제1 내지 제2 그룹 픽셀들뿐만 아니라 그 이상의 그룹의 픽셀들을 포함할 수 있으며, 그 이상의 그룹의 픽셀들의 노출 시간은 상기 제어부(101)에 의해 서로 다르게 제어될 수 있다. The image sensor 150 includes a first group of pixels constituting a first pattern (for example, a zigzag pattern) and a second group of pixels constituting a second pattern (for example, a zigzag pattern) formed at a position adjacent to the first pattern 2 groups of pixels, but may include not only the first and second group pixels but also more groups of pixels, and the exposure time of the pixels of the further groups may be controlled differently by the control unit 101 .

상기 이미지 센서(150)는 상기 지그재그 패턴뿐만 아니라 다양한 패턴을 이루는 다수의 그룹 픽셀들을 포함할 수도 있다. 예를 들면, 상기 이미지 센서(150)의 홀수 번째 행의 픽셀들 또는 홀수 번째 열의 픽셀들을 제1 그룹 픽셀로 설정하거나, 짝수 번째 행의 픽셀들 또는 짝수 번째 열의 픽셀들을 제2 그룹 픽셀로 설정할 수도 있다. 상기 이미지 센서(150)의 각 픽셀의 노출 시간은 상기 제어부(101)에 의해 제어된다.The image sensor 150 may include a plurality of group pixels forming various patterns as well as the zigzag pattern. For example, it is also possible to set the odd-numbered row pixels or the odd-numbered column pixels of the image sensor 150 as the first group pixel, or the even-numbered row pixels or the even- have. The exposure time of each pixel of the image sensor 150 is controlled by the control unit 101.

상기 제어부(101)는 이미지 센서(150)의 제 1 그룹 픽셀들과 제2 그룹 픽셀들의 노출 시간을 서로 다르게 제어함으로써 상기 제 1 그룹 픽셀들로부터 발생한 제1 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들로부터 발생한 제2 이미지 데이터를 획득한다(S12).The control unit 101 obtains the first image data generated from the first group of pixels by controlling the exposure time of the first group of pixels and the second group of pixels of the image sensor 150 differently, The second image data generated from the two group pixels is obtained (S12).

상기 제어부(101)는 상기 제1 내지 제2 이미지 데이터를 획득한 후, 상기 이미지 센서(150)의 제 1 그룹 픽셀들과 제2 그룹 픽셀들의 노출 시간을 변경한다(S13). 예를 들면, 상기 제어부(101)는 이미지 센서(150)의 제 1 그룹 픽셀들의 노출 시간을 1/500초로, 상기 제2 그룹 픽셀들의 노출 시간을 1/100초로 설정할 수 있으며, 상기 노출 시간은 한정된 것은 아니며, 외부 조도에 따라 변경되거나 사용자의 요구에 따라 변경될 수 있다. 즉, 상기 제어부(101)는 상기 제1 그룹 픽셀들의 광 노출량과 상기 제2 그룹 픽셀들의 광 노출량이 서로 다르도록 상기 제 1 그룹 픽셀들 및 제2 그룹 픽셀들의 상기 노출 시간을 변경한다.After obtaining the first and second image data, the control unit 101 changes the exposure time of the first group of pixels and the second group of pixels of the image sensor 150 (S13). For example, the control unit 101 may set the exposure time of the first group pixels of the image sensor 150 to 1/500 second and the exposure time of the second group of pixels to 1/100 second, But is not limited to, it may be changed according to the external illuminance or changed according to the demand of the user. That is, the control unit 101 changes the exposure time of the first group of pixels and the second group of pixels so that the light exposure amount of the first group of pixels and the light exposure amount of the second group of pixels are different from each other.

상기 제어부(101)는 상기 제 1 그룹 픽셀들과 상기 제2 그룹 픽셀들의 상기 서로 다른 노출 시간을 변경함으로써 상기 제 1 그룹 픽셀들로부터 발생한 제3 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들로부터 발생한 제4 이미지 데이터를 획득한다(S14).The control unit 101 obtains the third image data generated from the first group pixels by changing the different exposure times of the first group pixels and the second group pixels, (Step S14).

즉, 상기 제어부(101)는 상기 제 1 그룹 픽셀들을 제1 시간 동안 피사체에 노출시킴으로써 상기 제 1 그룹 픽셀들로부터 발생한 제1 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들을 상기 제1 시간과는 다른 제2 시간 동안 상기 피사체에 노출시킴으로써 상기 제 2 그룹 픽셀들로부터 발생한 제2 이미지 데이터를 획득한다. 상기 제어부(101)는 제1 내지 제2 이미지 데이터를 획득한 후, 상기 제 1 그룹 픽셀들을 상기 제2 시간 동안 상기 피사체에 노출시킴으로써 상기 제 1 그룹 픽셀들로부터 발생한 제3 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들을 상기 제1 시간 동안 상기 피사체에 노출시킴으로써 상기 제 2 그룹 픽셀들로부터 발생한 제4 이미지 데이터를 획득한다.That is, the control unit 101 obtains the first image data generated from the first group of pixels by exposing the first group of pixels to a subject for a first time, and at the same time, And second image data generated from the second group of pixels by exposing the subject to a second time different from the first group of pixels. The control unit 101 obtains the third image data generated from the first group of pixels by exposing the first group of pixels to the subject for the second time after acquiring the first and second image data, At the same time, the fourth image data generated from the second group of pixels is obtained by exposing the second group of pixels to the subject for the first time.

상기 제어부(101)는 상기 제1 내지 제4 이미지 데이터를 하나의 이미지로 합성하고(S15), 그 합성한 하나의 이미지를 메모리(160)에 저장한다.The control unit 101 synthesizes the first to fourth image data into one image (S15), and stores the combined image in the memory 160. [

상기 메모리(160)는 이러한 제어부(101)의 동작을 위한 프로그램을 저장할 수 있고, 상기 제1 내지 제2 이미지 데이터를 합성함으로써 생성된 HDR(high dynamic range) 이미지와, 상기 제1 내지 제4 이미지 데이터를 합성함으로써 생성된 HDR(high dynamic range) 이미지를 저장할 수도 있다. The memory 160 may store a program for the operation of the control unit 101, and may include a high dynamic range (HDR) image generated by combining the first and second image data, Or a high dynamic range (HDR) image generated by synthesizing the data.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수도 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 애플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(101)에 의해 실행될 수도 있다.According to a software implementation, embodiments such as the procedures and functions described herein may be implemented with separate software modules. Each of the software modules may perform one or more of the functions and operations described herein. The software code may be implemented in a software application written in a suitable programming language. The software codes may be stored in the memory 160 and executed by the control unit 101. [

도 4a 내지 도 4c는 본 발명의 실시예에 따라 노출 시간을 변경함으로써 촬영된 다수의 이미지 데이터를 근거로 HDR(high dynamic range) 이미지를 생성하는 방법을 나타낸 예시도 이다.FIGS. 4A through 4C illustrate a method of generating a high dynamic range (HDR) image based on a plurality of image data photographed by changing the exposure time according to an embodiment of the present invention.

도 4a에 도시한 바와 같이, 상기 제어부(101)는 상기 제1 패턴(예를 들면, 제1 지그재그 패턴)의 제 1 그룹 픽셀들(예를 들면, R((Red), G(Green), B(Blue) 픽셀)(4-1)을 제1 시간 동안 피사체에 노출시킴으로써 상기 제 1 그룹 픽셀들(4-1)로부터 발생한 제1 이미지 데이터(4-1a)를 획득함과 동시에, 상기 제 2 그룹 픽셀들(예를 들면, R((Red), G(Green), B(Blue) 픽셀)(4-2)을 상기 제1 시간과는 다른 제2 시간 동안 상기 피사체에 노출시킴으로써 상기 제 2 그룹 픽셀들(4-2)로부터 발생한 제2 이미지 데이터(4-2a)를 획득한다. As shown in FIG. 4A, the controller 101 controls the first group of pixels (for example, R (Red), G (Green), and G (4-1) generated from the first group of pixels (4-1) by exposing the first group of pixels (4) to a subject during a first period of time, By exposing the two group pixels (for example, R (Red), G (Green), and B (Blue) pixels) 4-2 to the subject for a second time different from the first time, And second image data 4-2a generated from the second group pixels 4-2.

도 4b에 도시한 바와 같이, 상기 제어부(101)는 제1 내지 제2 이미지 데이터(4-1a, 4-2a)를 획득한 후, 상기 제 1 그룹 픽셀들(4-1)을 상기 제2 시간 동안 상기 피사체에 노출시킴으로써 상기 제 1 그룹 픽셀들(4-1)로부터 발생한 제3 이미지 데이터(4-1b)를 획득함과 동시에, 상기 제 2 그룹 픽셀들(4-2)을 상기 제1 시간 동안 상기 피사체에 노출시킴으로써 상기 제 2 그룹 픽셀들(4-2)로부터 발생한 제4 이미지 데이터(4-2b)를 획득한다. 즉, 상기 제어부(101)는 상기 제1 내지 제2 이미지 데이터(4-1a, 4-2a)를 동시에 획득한 후 상기 제3 내지 제4 이미지 데이터(4-1b, 4-2b)를 동시에 획득한다.4B, the controller 101 obtains the first and second image data 4-1a and 4-2a and then outputs the first group pixels 4-1 to the second (4-1b) generated from the first group of pixels (4-1) by exposing the second group of pixels (4-2) to the subject for a period of time, (4-2b) generated from the second group of pixels (4-2) by exposing the subject to the subject for a predetermined period of time. That is, the control unit 101 simultaneously acquires the first to second image data 4-1a and 4-2a, and simultaneously acquires the third to fourth image data 4-1b and 4-2b do.

도 4c에 도시한 바와 같이, 상기 제어부(101)는 상기 제1 내지 제4 이미지 데이터(4-1a, 4-2a, 4-1b, 4-2b)를 하나의 이미지로 합성하고, 그 합성한 하나의 이미지(4-3)를 메모리(160)에 저장한다.4C, the controller 101 synthesizes the first to fourth image data 4-1a, 4-2a, 4-1b, and 4-2b into one image, And stores one image 4-3 in the memory 160.

이하에서는, 상기 피사체의 움직임을 근거로 상기 제1 내지 제4 이미지 데이터(4-1a, 4-2a, 4-1b, 4-2b)를 획득하는 방법을 설명한다. 예를 들면, 장 노출과 단 노출 이미지를 동시에 촬영하면, 피사체 움직임에 의한 고스트(ghost) 발생을 최소화 하지만, 공간 해상도가 줄어들어 화질의 열화를 발생시킨다. 따라서, 고스트 발생을 최소화하면서 공간 해상도를 높일 수 있는 방법을 도 1 내지 도 5를 참조하여 설명한다.Hereinafter, a method of acquiring the first to fourth image data 4-1a, 4-2a, 4-1b, and 4-2b based on the motion of the subject will be described. For example, simultaneous shooting of a long exposure and a short exposure image minimizes the occurrence of ghost due to movement of the subject, but reduces the spatial resolution and causes image deterioration. Therefore, a method of increasing the spatial resolution while minimizing the occurrence of ghost will be described with reference to Figs. 1 to 5. Fig.

도 5는 본 발명의 다른 실시예에 따른 카메라의 제어 방법을 나타낸 흐름도이다.5 is a flowchart illustrating a method of controlling a camera according to another embodiment of the present invention.

먼저, 상기 제어부(101)는 스틸 이미지 촬영 모드 또는 동영상 촬영 모드일 때 이미지 센서(150)를 통해 프리뷰 이미지(Preview Image)를 획득하고, 상기 프리뷰 이미지 내에서 피사체 움직임을 검출한다(S21). 예를 들면, 상기 제어부(101)는 이미지 센서(150)를 통해 프리뷰 이미지를 획득하고, 상기 프리뷰 이미지 내에서 피사체의 움직임이 존재하는지 여부를 검출한다.First, the control unit 101 acquires a preview image through the image sensor 150 in a still image shooting mode or a moving image shooting mode, and detects a subject movement in the preview image (S21). For example, the control unit 101 acquires a preview image through the image sensor 150, and detects whether or not the motion of the subject exists in the preview image.

상기 제어부(101)는 이미지 센서(150)의 제 1 그룹 픽셀들과 제2 그룹 픽셀들의 노출 시간을 서로 다르게 제어한다. 예를 들면, 상기 제어부(101)는 이미지 센서(150)의 제 1 그룹 픽셀들의 노출 시간을 1/300초로, 상기 제2 그룹 픽셀들의 노출 시간을 1/150초로 설정할 수 있으며, 상기 노출 시간은 한정된 것은 아니며, 외부 조도에 따라 변경되거나 사용자의 요구에 따라 변경될 수 있다. The control unit 101 controls the exposure time of the first group of pixels and the second group of pixels of the image sensor 150 to be different from each other. For example, the control unit 101 may set the exposure time of the first group pixels of the image sensor 150 to 1/300 second and the exposure time of the second group of pixels to 1/150 second, But is not limited to, it may be changed according to the external illuminance or changed according to the demand of the user.

상기 제어부(101)는 상기 프리뷰 이미지 내에서 피사체의 움직임이 검출되면 이미지 센서(150)의 제 1 그룹 픽셀들과 제2 그룹 픽셀들의 노출 시간을 서로 다르게 동시에 제어함으로써 상기 제 1 그룹 픽셀들로부터 발생한 제1 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들로부터 발생한 제2 이미지 데이터를 획득한다(S22).When the movement of the subject is detected in the preview image, the controller 101 simultaneously controls exposure times of the first group of pixels and the second group of pixels of the image sensor 150, At the same time as acquiring the first image data, second image data generated from the second group of pixels is obtained (S22).

상기 제어부(101)는 상기 제1 내지 제2 이미지 데이터를 하나의 이미지로 합성하고(S23), 그 합성한 하나의 이미지를 메모리(160)에 저장한다. 즉, 상기 제어부(101)는 상기 제1 내지 제2 이미지 데이터를 합성함으로써 제1 이미지를 생성하고, 그 생성한 제1 이미지를 메모리(160)에 저장한다.The control unit 101 synthesizes the first and second image data into one image (S23), and stores the combined image in the memory 160. FIG. That is, the control unit 101 generates a first image by combining the first and second image data, and stores the generated first image in the memory 160. [

반면, 상기 제어부(101)는 상기 프리뷰 이미지 내에서 피사체의 움직임이 검출되지 않으면, 이미지 센서(150)의 제 1 그룹 픽셀들과 제2 그룹 픽셀들의 노출 시간을 동시에 서로 다르게 제어한다. On the other hand, if the motion of the subject is not detected in the preview image, the controller 101 controls the exposure time of the first group of pixels and the second group of pixels of the image sensor 150 at the same time.

상기 제어부(101)는 이미지 센서(150)의 제 1 그룹 픽셀들과 제2 그룹 픽셀들의 노출 시간을 서로 다르게 제어함으로써 상기 제 1 그룹 픽셀들로부터 발생한 제1 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들로부터 발생한 제2 이미지 데이터를 획득한다(S24).The control unit 101 obtains the first image data generated from the first group of pixels by controlling the exposure time of the first group of pixels and the second group of pixels of the image sensor 150 differently, And second image data generated from the two group pixels is obtained (S24).

상기 제어부(101)는 상기 제1 내지 제2 이미지 데이터를 획득한 후, 상기 이미지 센서(150)의 제 1 그룹 픽셀들과 제2 그룹 픽셀들의 노출 시간을 변경한다. 예를 들면, 상기 제어부(101)는 이미지 센서(150)의 제 1 그룹 픽셀들의 노출 시간을 1/300초로, 상기 제2 그룹 픽셀들의 노출 시간을 1/800초로 설정할 수 있으며, 상기 노출 시간은 한정된 것은 아니며, 외부 조도에 따라 변경되거나 사용자의 요구에 따라 변경될 수 있다. The control unit 101 changes the exposure time of the first group of pixels and the second group of pixels of the image sensor 150 after acquiring the first and second image data. For example, the control unit 101 may set the exposure time of the first group pixels of the image sensor 150 to 1/300 second and the exposure time of the second group of pixels to 1/800 second, But is not limited to, it may be changed according to the external illuminance or changed according to the demand of the user.

상기 제어부(101)는 상기 제 1 그룹 픽셀들과 상기 제2 그룹 픽셀들의 상기 서로 다른 노출 시간을 변경함으로써 상기 제 1 그룹 픽셀들로부터 발생한 제3 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들로부터 발생한 제4 이미지 데이터를 획득한다(S25). 즉, 상기 제어부(101)는 상기 제 1 그룹 픽셀들을 제1 시간 동안 피사체에 노출시킴으로써 상기 제 1 그룹 픽셀들로부터 발생한 제1 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들을 상기 제1 시간과는 다른 제2 시간 동안 상기 피사체에 노출시킴으로써 상기 제 2 그룹 픽셀들로부터 발생한 제2 이미지 데이터를 획득한다. 상기 제어부(101)는 제1 내지 제2 이미지 데이터를 획득한 후, 상기 제 1 그룹 픽셀들을 상기 제2 시간 동안 상기 피사체에 노출시킴으로써 상기 제 1 그룹 픽셀들로부터 발생한 제3 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들을 상기 제1 시간 동안 상기 피사체에 노출시킴으로써 상기 제 2 그룹 픽셀들로부터 발생한 제4 이미지 데이터를 획득한다.The control unit 101 obtains the third image data generated from the first group pixels by changing the different exposure times of the first group pixels and the second group pixels, (Step S25). That is, the control unit 101 obtains the first image data generated from the first group of pixels by exposing the first group of pixels to a subject for a first time, and at the same time, And second image data generated from the second group of pixels by exposing the subject to a second time different from the first group of pixels. The control unit 101 obtains the third image data generated from the first group of pixels by exposing the first group of pixels to the subject for the second time after acquiring the first and second image data, At the same time, the fourth image data generated from the second group of pixels is obtained by exposing the second group of pixels to the subject for the first time.

상기 제어부(101)는 상기 제1 내지 제4 이미지 데이터를 하나의 이미지로 합성하고(S26), 그 합성한 하나의 이미지를 메모리(160)에 저장한다.The control unit 101 synthesizes the first to fourth image data into one image (S26), and stores the combined image in the memory 160. [

상기 제어부(101)는 동영상을 촬영할 때 피사체 움직임이 검출되면 상기 제1 및 제2 이미지 데이터를 동시에 획득하고, 그 획득한 제1 및 제2 이미지 데이터를 합성함으로써 제1 이미지를 생성하고, 그 생성한 제1 이미지를 메모리(160)에 저장하고, 이어서 피사체 움직임이 검출되지 않으면 상기 제1 내지 제4 제2 이미지 데이터를 동시에 획득하고, 그 획득한 제1 내지 제4 이미지 데이터를 합성함으로써 제2 이미지를 생성하고, 그 생성한 제2 이미지를 메모리(160)에 저장함으로써 공간 해상도를 높임과 동시에 화질을 향상시킬 수 있다.When the motion of the subject is detected when capturing a moving image, the control unit 101 simultaneously obtains the first and second image data, generates a first image by combining the acquired first and second image data, The first image data is stored in the memory 160, and if the subject motion is not detected, the first to fourth second image data are acquired at the same time, and the obtained first to fourth image data are synthesized, An image is generated, and the generated second image is stored in the memory 160, thereby improving spatial resolution and image quality.

상기 제어부(101)는 동영상을 촬영할 때 실시간 처리를 위해서 첫 번째 프레임을 독립적으로 HDR 이미지로 생성하고, 두 번째 프레임부터 현재 프레임과 이전 프레임(제1 및 제2 이미지 데이터 또는 제1 내지 제4 이미지 데이터)을 근거로 HDR 이미지를 생성할 수도 있다.The control unit 101 independently generates a first frame as an HDR image for real-time processing when capturing a moving image, and generates a current frame and a previous frame (first and second image data or first to fourth images Data) to generate an HDR image.

도 6은 본 발명의 실시예에 따른 동영상 촬영 모드에서 HDR 이미지를 생성하는 방법을 나타낸 예시도 이다.6 is a diagram illustrating an example of a method of generating an HDR image in a moving image capturing mode according to an embodiment of the present invention.

도 6에 도시한 바와 같이, 상기 제어부(101)는 동영상을 촬영할 때 실시간 처리를 위해서 첫 번째 프레임(n번째 이미지)을 독립적으로 제1 HDR 이미지로 생성하고, 두 번째 프레임(n+1번째 이미지)과 세 번째 프레임(n+2 번째 이미지)을 근거로 제2 HDR 이미지를 생성하고, 세 번째 프레임(n+2 번째 이미지)과 네 번째 프레임(n+3 번째 이미지)을 근거로 제3 HDR 이미지를 생성할 수 있다.6, the control unit 101 independently generates a first HDR image as a first HDR image (n-th image) for real-time processing when capturing a moving image, and generates a second HDR image as a second frame (n + (N + 2) -th image) based on the third frame (n + 2) -th image and the third frame (n + Images can be generated.

예를 들면, 상기 제어부(101)는 동영상을 촬영할 때 실시간 처리를 위해서 첫 번째 프레임에 해당하는 제1 및 제2 이미지 데이터를 합성함으로써 제1 HDR 이미지로 생성한 후, 두 번째 프레임에서 피사체 움직임이 검출되면 상기 제1 및 제2 이미지 데이터를 합성함으로써 제2 HDR 이미지를 생성하고, 세 번째 프레임에서 피사체 움직임이 검출되지 않으면 상기 제1 내지 제4 이미지 데이터를 합성함으로써 제3 HDR 이미지를 생성할 수 있다.For example, the control unit 101 may generate first HDR images by combining first and second image data corresponding to a first frame for real-time processing when moving images are captured, A second HDR image is generated by combining the first and second image data, and when the subject motion is not detected in the third frame, the third HDR image can be generated by synthesizing the first through fourth image data have.

이상에서 설명한 바와 같이, 본 발명의 실시예에 따른 카메라 및 그 제어 방법은, 이미지 센서의 픽셀들의 노출 시간을 변경함으로써 다수의 이미지를 촬영하고, 그 촬영한 다수의 이미지를 합성함으로써, HDR(high dynamic range) 이미지를 획득할 수 있다.As described above, the camera and the control method thereof according to the embodiment of the present invention can capture a plurality of images by changing the exposure time of the pixels of the image sensor, synthesize a plurality of the captured images, dynamic range) images.

본 발명의 실시예에 따른 카메라 및 그 제어 방법은, 이미지 센서의 모든 픽셀 위치에서 장시간 노출과 단시간 노출에 따른 화소값 획득이 가능함으로써 이미지 보간(interpolation)으로 인한 열화를 최소화할 수 있으며, 이미지 화질을 대폭 향상시킬 수 있다.The camera and its control method according to the embodiment of the present invention can minimize the deterioration due to image interpolation by enabling the acquisition of pixel values according to the long time exposure and the short time exposure at all pixel positions of the image sensor, Can be greatly improved.

본 발명의 실시예에 따른 카메라 및 그 제어 방법은, 복잡한 이미지 보간 과정이 필요 없으므로 이미지 생성에 따른 전력소모를 줄일 수도 있다.The camera and the control method thereof according to the embodiment of the present invention do not require a complicated image interpolation process, thereby reducing power consumption due to image generation.

또한, 본 명세서에 개시된 일 실시 예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, cd-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.Further, according to the embodiment disclosed herein, the above-described method can be implemented as a code that can be read by a processor on a medium on which the program is recorded. Examples of the medium that can be read by the processor include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, etc., and may be implemented in the form of a carrier wave (e.g., transmission over the Internet) .

한편 상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 특히 본 발명의 실시 예에서는 제1 및 제2 패턴의 예로 지그재그 패턴을 언급하였으나, 얼마든지 다양한 형태의 패턴이 사용될 수 있음은 물론이다. While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made without departing from the spirit and scope of the invention. Particularly, in the embodiment of the present invention, the zigzag pattern is mentioned as an example of the first and second patterns, but it is needless to say that various patterns can be used.

이처럼 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석 되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the essential characteristics thereof. Therefore, the embodiments disclosed in the present invention are not intended to limit the scope of the present invention but to limit the scope of the technical idea of the present invention. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

Claims (11)

제1 패턴을 이루는 제1 그룹 픽셀들과, 상기 제1 패턴과 인접한 위치에 형성된 제2 패턴을 이루는 제2 그룹 픽셀들을 포함하는 이미지 센서와;
상기 제 1 그룹 픽셀들과 상기 제2 그룹 픽셀들의 노출 시간을 서로 다르게 한 후 상기 노출 시간을 변경함으로써 다수의 이미지 데이터를 획득하고, 상기 다수의 이미지 데이터를 합성함으로써 하나의 이미지를 생성하는 제어부를 포함하는 것을 특징으로 하는 카메라.
An image sensor including first group pixels constituting a first pattern and second group pixels constituting a second pattern formed at a position adjacent to the first pattern;
A control unit for obtaining a plurality of image data by changing the exposure time of the first group pixels and the second group pixels to different exposure times and generating an image by synthesizing the plurality of image data; The camera comprising:
제1 패턴을 이루는 제1 그룹 픽셀들과, 상기 제1 패턴과 인접한 위치에 형성된 제2 패턴을 이루는 제2 그룹 픽셀들을 포함하는 이미지 센서와;
상기 제 1 그룹 픽셀들과 상기 제2 그룹 픽셀들의 노출 시간을 서로 다르게 함으로써 상기 제 1 그룹 픽셀들로부터 발생한 제1 이미지 데이터를 획득함과 동시에 상기 제 2 그룹 픽셀들로부터 발생한 제2 이미지 데이터를 획득한 후,
상기 제 1 그룹 픽셀들과 상기 제2 그룹 픽셀들의 상기 서로 다른 노출 시간을 변경함으로써 상기 제 1 그룹 픽셀들로부터 발생한 제3 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들로부터 발생한 제4 이미지 데이터를 획득하고, 상기 제1 내지 제4 이미지 데이터를 하나의 이미지로 합성하고,
상기 합성한 하나의 이미지를 메모리에 저장하는 제어부를 포함하는 것을 특징으로 하는 카메라.
An image sensor including first group pixels constituting a first pattern and second group pixels constituting a second pattern formed at a position adjacent to the first pattern;
Acquiring first image data generated from the first group of pixels by making the exposure times of the first group of pixels and the second group of pixels different from each other and acquiring second image data generated from the second group of pixels After that,
Acquiring third image data generated from the first group of pixels by changing the different exposure times of the first group of pixels and the second group of pixels, and acquiring third image data generated from the second group of pixels, Acquiring data, synthesizing the first to fourth image data into one image,
And a controller for storing the synthesized one image in a memory.
제2항에 있어서, 상기 제1 및 제2 패턴은 각각 지그재그 패턴인 것을 특징으로 하는 카메라.3. The camera of claim 2, wherein the first and second patterns are each a zigzag pattern. 제2항에 있어서, 상기 제1 그룹 픽셀은 상기 이미지 센서의 홀수 번째 행의 픽셀들 또는 홀수 번째 열의 픽셀들을 포함하고,
상기 제2 그룹 픽셀은 상기 이미지 센서의 짝수 번째 행의 픽셀들 또는 짝수 번째 열의 픽셀들을 포함하는 것을 특징으로 하는 카메라.
3. The image sensor according to claim 2, wherein the first group pixel includes pixels of odd-numbered rows or pixels of odd-numbered columns of the image sensor,
Wherein the second group pixel includes pixels in even-numbered rows or pixels in even-numbered columns of the image sensor.
제2항에 있어서, 상기 합성한 하나의 이미지는 HDR(High Dynamic Range) 이미지인 것을 특징으로 하는 카메라.The camera according to claim 2, wherein the combined image is a high dynamic range (HDR) image. 제2항에 있어서, 상기 제어부는,
상기 제 1 그룹 픽셀들을 제1 시간 동안 피사체에 노출시킴으로써 상기 제 1 그룹 픽셀들로부터 발생한 제1 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들을 상기 제1 시간과는 다른 제2 시간 동안 상기 피사체에 노출시킴으로써 상기 제 2 그룹 픽셀들로부터 발생한 제2 이미지 데이터를 획득한 후,
상기 제 1 그룹 픽셀들을 상기 제2 시간 동안 상기 피사체에 노출시킴으로써 상기 제 1 그룹 픽셀들로부터 발생한 제3 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들을 상기 제1 시간 동안 상기 피사체에 노출시킴으로써 상기 제 2 그룹 픽셀들로부터 발생한 제4 이미지 데이터를 획득하는 것을 특징으로 하는 카메라.
3. The apparatus of claim 2,
Wherein the first group of pixels is obtained by exposing the first group of pixels to a subject during a first time period to obtain first image data generated from the first group of pixels, After acquiring second image data generated from the second group of pixels by exposing to a subject,
By exposing the first group of pixels to the subject for the second time to obtain third image data generated from the first group of pixels and exposing the second group of pixels to the subject for the first time And acquires fourth image data generated from the second group of pixels.
제2항에 있어서, 상기 제어부는,
피사체의 움직임을 검출하고, 상기 피사체의 움직임을 근거로 상기 제 1 내지 제2 이미지 데이터를 획득하거나 상기 제 1 내지 제4 이미지 데이터를 획득하는 것을 특징으로 하는 카메라.
3. The apparatus of claim 2,
A camera as claimed in claim 1 or 2, characterized in that it detects movement of a subject and acquires the first to second image data based on the movement of the subject or acquires the first to fourth image data.
제2항에 있어서, 상기 제어부는,
피사체의 움직임이 검출되면 상기 제 1 내지 제2 이미지 데이터를 획득하고, 상기 피사체의 움직임이 검출되지 않으면 상기 제 1 내지 제4 이미지 데이터를 획득하는 것을 특징으로 하는 카메라.
3. The apparatus of claim 2,
Acquires the first and second image data when the motion of the subject is detected, and acquires the first to fourth image data if motion of the subject is not detected.
제6항에 있어서, 상기 제어부는,
피사체의 움직임이 검출되면,
상기 제 1 그룹 픽셀들을 상기 제1 시간 동안 피사체에 노출시킴으로써 상기 제 1 그룹 픽셀들로부터 발생한 상기 제1 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들을 상기 제2 시간 동안 상기 피사체에 노출시킴으로써 상기 제 2 그룹 픽셀들로부터 발생한 제2 이미지 데이터를 획득하고, 상기 획득한 제1 및 제2 이미지 데이터를 합성함으로써 제1 이미지를 생성하는 것을 특징으로 하는 카메라.
7. The apparatus of claim 6,
When the motion of the subject is detected,
By exposing the first group of pixels to the subject during the first period of time to obtain the first image data generated from the first group of pixels and exposing the second group of pixels to the subject during the second period of time Acquires second image data generated from the second group of pixels, and combines the acquired first and second image data to generate a first image.
제9항에 있어서, 상기 제어부는,
상기 피사체의 움직임이 검출되지 않으면,
상기 제 1 그룹 픽셀들을 상기 제1 시간 동안 피사체에 노출시킴으로써 상기 제 1 그룹 픽셀들로부터 발생한 상기 제1 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들을 상기 제2 시간 동안 상기 피사체에 노출시킴으로써 상기 제 2 그룹 픽셀들로부터 발생한 제2 이미지 데이터를 획득한 후,
상기 제 1 그룹 픽셀들을 상기 제2 시간 동안 상기 피사체에 노출시킴으로써 상기 제 1 그룹 픽셀들로부터 발생한 제3 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들을 상기 제1 시간 동안 상기 피사체에 노출시킴으로써 상기 제 2 그룹 픽셀들로부터 발생한 제4 이미지 데이터를 획득하고, 상기 획득한 제1 내지 제4 이미지 데이터를 합성함으로써 제2 이미지를 생성하는 것을 특징으로 하는 카메라.
10. The apparatus according to claim 9,
If the motion of the subject is not detected,
By exposing the first group of pixels to the subject during the first period of time to obtain the first image data generated from the first group of pixels and exposing the second group of pixels to the subject during the second period of time After acquiring second image data generated from the second group of pixels,
By exposing the first group of pixels to the subject for the second time to obtain third image data generated from the first group of pixels and exposing the second group of pixels to the subject for the first time Acquires fourth image data generated from the second group of pixels, and combines the acquired first to fourth image data to generate a second image.
제1 패턴을 이루는 제1 그룹 픽셀들과, 상기 제1 패턴과 인접한 위치에 형성된 제2 패턴을 이루는 제2 그룹 픽셀들을 포함하는 이미지 센서를 포함하는 카메라의 제어 방법에 있어서,
상기 제 1 그룹 픽셀들과 상기 제2 그룹 픽셀들의 노출 시간을 서로 다르게 함으로써 상기 제 1 그룹 픽셀들로부터 발생한 제1 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들로부터 발생한 제2 이미지 데이터를 획득하는 단계와;
상기 제1 및 제2 이미지 데이터를 획득한 후, 상기 제 1 그룹 픽셀들과 상기 제2 그룹 픽셀들의 상기 서로 다른 노출 시간을 변경함으로써 상기 제 1 그룹 픽셀들로부터 발생한 제3 이미지 데이터를 획득함과 동시에, 상기 제 2 그룹 픽셀들로부터 발생한 제4 이미지 데이터를 획득하는 단계와;
상기 제1 내지 제4 이미지 데이터를 하나의 이미지로 합성하는 단계와;
상기 합성한 하나의 이미지를 메모리에 저장하는 단계를 포함하는 것을 특징으로 하는 카메라의 제어 방법.
A method of controlling a camera including an image sensor including first group pixels constituting a first pattern and second group pixels constituting a second pattern formed in a position adjacent to the first pattern,
Acquiring first image data generated from the first group of pixels by making the exposure times of the first group of pixels and the second group of pixels different from each other, and acquiring second image data generated from the second group of pixels ;
Acquiring third image data generated from the first group of pixels by changing the different exposure times of the first group of pixels and the second group of pixels after obtaining the first and second image data, Simultaneously acquiring fourth image data generated from the second group of pixels;
Synthesizing the first to fourth image data into one image;
And storing the synthesized single image in a memory.
KR1020150079301A 2015-06-04 2015-06-04 Camera and control method thereof KR102429361B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150079301A KR102429361B1 (en) 2015-06-04 2015-06-04 Camera and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150079301A KR102429361B1 (en) 2015-06-04 2015-06-04 Camera and control method thereof

Publications (2)

Publication Number Publication Date
KR20160143138A true KR20160143138A (en) 2016-12-14
KR102429361B1 KR102429361B1 (en) 2022-08-04

Family

ID=57575893

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150079301A KR102429361B1 (en) 2015-06-04 2015-06-04 Camera and control method thereof

Country Status (1)

Country Link
KR (1) KR102429361B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018182282A1 (en) * 2017-03-27 2018-10-04 삼성전자 주식회사 Electronic device and image processing method thereof
CN109005363A (en) * 2018-08-13 2018-12-14 Oppo广东移动通信有限公司 Image formation control method, device, electronic equipment and storage medium
WO2019059562A1 (en) * 2017-09-20 2019-03-28 삼성전자 주식회사 Electronic device comprising plurality of cameras using rolling shutter mode
KR102148128B1 (en) * 2020-03-06 2020-08-26 재단법인 다차원 스마트 아이티 융합시스템 연구단 Camera system with complementary pixlet structure

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110032344A (en) * 2009-09-22 2011-03-30 삼성전자주식회사 High dynamic range imaging apparatus and method
US20130208138A1 (en) * 2012-02-09 2013-08-15 Aptina Imaging Corporation Imaging systems and methods for generating auto-exposed high-dynamic-range images
KR20140032318A (en) * 2012-09-06 2014-03-14 캐논 가부시끼가이샤 Image pickup apparatus that periodically changes exposure condition, a method of controlling image pickup apparatus, and storage medium
KR20140136727A (en) * 2013-05-21 2014-12-01 삼성전자주식회사 Electronic sensor and control method of the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110032344A (en) * 2009-09-22 2011-03-30 삼성전자주식회사 High dynamic range imaging apparatus and method
US20130208138A1 (en) * 2012-02-09 2013-08-15 Aptina Imaging Corporation Imaging systems and methods for generating auto-exposed high-dynamic-range images
KR20140032318A (en) * 2012-09-06 2014-03-14 캐논 가부시끼가이샤 Image pickup apparatus that periodically changes exposure condition, a method of controlling image pickup apparatus, and storage medium
KR20140136727A (en) * 2013-05-21 2014-12-01 삼성전자주식회사 Electronic sensor and control method of the same

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018182282A1 (en) * 2017-03-27 2018-10-04 삼성전자 주식회사 Electronic device and image processing method thereof
US11070736B2 (en) 2017-03-27 2021-07-20 Samsung Electronics Co., Ltd Electronic device and image processing method thereof
WO2019059562A1 (en) * 2017-09-20 2019-03-28 삼성전자 주식회사 Electronic device comprising plurality of cameras using rolling shutter mode
US10979612B2 (en) 2017-09-20 2021-04-13 Samsung Electronics Co., Ltd. Electronic device comprising plurality of cameras using rolling shutter mode
CN109005363A (en) * 2018-08-13 2018-12-14 Oppo广东移动通信有限公司 Image formation control method, device, electronic equipment and storage medium
CN109005363B (en) * 2018-08-13 2020-07-17 Oppo广东移动通信有限公司 Imaging control method, imaging control device, electronic device and storage medium
KR102148128B1 (en) * 2020-03-06 2020-08-26 재단법인 다차원 스마트 아이티 융합시스템 연구단 Camera system with complementary pixlet structure

Also Published As

Publication number Publication date
KR102429361B1 (en) 2022-08-04

Similar Documents

Publication Publication Date Title
US8964061B2 (en) Image capturing apparatus with selection of thinning and readout mode in accordance with moving image recording mode
JP5132507B2 (en) Focus detection apparatus and camera system
US9344617B2 (en) Image capture apparatus and method of controlling that performs focus detection
JP5911252B2 (en) Imaging apparatus and image processing method
US20110025875A1 (en) Imaging apparatus, electronic instrument, image processing device, and image processing method
US20170054894A1 (en) Imaging system, imaging apparatus, lens unit, and method of controlling imaging system
US10171732B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for generating an image based on plurality of parallax images
KR102429361B1 (en) Camera and control method thereof
WO2011136026A1 (en) Image pickup device and image taking method
JPWO2014041845A1 (en) Imaging apparatus and signal processing method
JP6465704B2 (en) Imaging apparatus and control method thereof
WO2013027507A1 (en) Imaging device
US10691002B2 (en) Imaging device and image data generation method
JP2019220830A (en) Imaging apparatus and control method therefor, program and storage medium
CN109151265B (en) Image pickup apparatus, control method, and storage medium
US20150168739A1 (en) Image stabilizer, camera system, and imaging method
US8780228B2 (en) Image capture apparatus and control method thereof
JP6444254B2 (en) FOCUS DETECTION DEVICE, IMAGING DEVICE, FOCUS DETECTION METHOD, PROGRAM, AND STORAGE MEDIUM
JP5144469B2 (en) Imaging apparatus and control method thereof
JP2016048282A (en) Imaging apparatus
JP7307837B2 (en) IMAGING DEVICE AND CONTROL METHOD THEREOF, PROGRAM, STORAGE MEDIUM
JP2013246215A (en) Imaging device, control method of the same, program, and memory medium
JP2012147087A (en) Apparatus and method for generating image
JP6618575B2 (en) Image processing apparatus, imaging apparatus, lens apparatus, and image processing method
JP2014222268A (en) Imaging device and imaging device control method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant