KR20150025602A

KR20150025602A - 동영상 촬영 방법 및 그 전자 장치

Info

Publication number: KR20150025602A
Application number: KR20130103359A
Authority: KR
Inventors: 안승욱; 백우현
Original assignee: 삼성전자주식회사
Priority date: 2013-08-29
Filing date: 2013-08-29
Publication date: 2015-03-11
Also published as: US20150062436A1

Abstract

본 발명은 동영상 촬영을 위한 것으로, 상기 동영상 촬영이 가능한 전자 장치의 동작 방법은, 촬영 중인 동영상의 다수의 프레임들을 결합하는 과정과, 결합된 프레임을 프리뷰 화면으로서 표시하는 과정과, 상기 결합된 프레임을 인코딩하는 과정을 포함한다. 또한, 본 발명은 상술한 실시 예와 다른 실시 예들도 포함한다.

Description

동영상 촬영 방법 및 그 전자 장치{METHOD FOR RECODING VIDEO AND AN ELECTRONIC DEVICE THEREOF}

본 발명은 동영상 촬영 시 영상 처리에 관한 것이다.

현대 사회는 다양한 형태의 전자 장치들이 보편화되어 있으며, 과거 각각 존재하던 기기들이 통합되는 경향이 있다. 최근, 휴대용 전자 장치의 기술 발전은 휴대폰을 중심으로 진행되고 있으며, 상기 휴대폰은 단지 전화의 기능을 벗어나, 데이터 통신은 물론, 카메라, 캠코더 등의 종래 별도의 장치로 제공되는 기능들 또한 제공하고 있다.

상기 휴대폰을 비롯한 다양한 전자 장치들은 동영상 촬영 기능을 제공할 수 있다. 동영상을 촬영하는 데 있어서, 전자 장치는 렌즈를 통해 입력되는 빛을 센서를 통해 인식하고, 상기 센서를 통해 인식된 영상을 디지털화하여 저장한다. 이때, 기록되는 영상의 화질은 입력 후 전자 장치 내에서의 처리를 통해, 피사체가 놓여있는 외부 환경(예: 조도 등)에 의해 달라질 수 있다.

따라서, 본 발명의 일 실시 예는 전자 장치에서 동영상 촬영을 위한 장치 및 방법을 제공한다.

본 발명의 다른 실시 예는 전자 장치에서 동영상 촬영 시 영상 화질 개선을 위한 장치 및 방법을 제공한다.

본 발명의 또 다른 실시 예는 전자 장치에서 프리뷰(preview) 영상을 이용하여 저조도(low light) 환경을 극복하기 위한 장치 및 방법을 제공한다.

본 발명의 또 다른 실시 예는 전자 장치에서 프레임(frame) 결합을 통해 저조도 영상의 밝기를 개선하기 위한 장치 및 방법을 제공한다.

본 발명의 또 다른 실시 예는 전자 장치에서 저조도 환경 극복을 위한 동작 파라미터(parameter)를 설정하기 위한 장치 및 방법을 제공한다.

본 발명의 또 다른 실시 예는 전자 장치에서 저조도 환경 극복을 위한 영상 개선 기능의 수행 여부를 판단하기 위한 장치 및 방법을 제공한다.

본 발명의 실시 예에 따른 동영상 촬영이 가능한 전자 장치의 동작 방법은, 촬영 중인 동영상의 다수의 프레임들을 결합하는 과정과, 결합된 프레임을 프리뷰 화면으로서 표시하는 과정과, 상기 결합된 프레임을 인코딩하는 과정을 포함하는 것을 특징으로 한다.

본 발명의 다른 실시 예에 따른 동영상 촬영이 가능한 전자 장치는, 촬영 중인 동영상의 다수의 프레임들을 결합하고, 결합된 프레임을 인코딩하는 프로세서와, 상기 결합된 프레임을 프리뷰 화면으로서 표시하는 표시부를 포함하는 것을 특징으로 한다.

본 발명의 또 다른 실시 예에 따른 동영상 촬영이 가능한 전자 장치는, 적어도 하나의 프로세서와, 상기 적어도 하나의 프로세서에 의해 실행되는 소프트웨어 모듈을 저장하는 메모리를 포함하며, 상기 소프트웨어 모듈은, 촬영 중인 동영상의 다수의 프레임들을 결합하고, 결합된 프레임을 프리뷰 화면으로서 표시하고, 상기 결합된 프레임을 인코딩하는 명령어 집합을 포함하는 것을 특징으로 한다.

전자 장치에서 동영상 촬영 시 다수의 프레임들을 결합함으로써 프리뷰(preview) 화면과 인코딩 및 기록되는 화면 모두 저조도에서 밝은 이미지를 얻을 수 있다. 나아가, 환경 분석에 기초하여 저조도 개선 처리를 위한 동작 파라미터들을 제어함으로써, 효율적인 이미지 처리를 수행할 수 있다.

도 1은 본 발명의 실시 예에 따른 전자 장치에서 동영상 프레임 처리를 개념적으로 도시하는 도면,
도 2는 본 발명의 실시 예에 따른 전자 장치에서 입력 프레임 및 출력 프레임 간 관계를 도시하는 도면,
도 3은 본 발명의 실시 예에 따른 전자 장치에서 저조도(low light) 개선 처리를 위한 기능적 블록 구성을 도시하는 도면,
도 4는 본 발명의 실시 예에 따른 전자 장치에서 저조도 개선 처리를 위한 구체적인 블록 구성을 도시하는 도면,
도 5는 본 발명의 다른 실시 예에 따른 전자 장치에서 저조도 개선 처리를 위한 구체적인 블록 구성을 도시하는 도면,
도 6은 본 발명의 또 다른 실시 예에 따른 전자 장치에서 저조도 개선 처리를 위한 구체적인 블록 구성을 도시하는 도면,
도 7은 본 발명의 또 다른 실시 예에 따른 전자 장치에서 저조도 개선 처리를 위한 구체적인 블록 구성을 도시하는 도면,
도 8은 본 발명의 실시 예에 따른 전자 장치에서 프레임 결합의 예를 도시하는 도면,
도 9는 본 발명의 실시 예에 따른 전자 장치의 동작 절차를 도시하는 도면,
도 10은 본 발명의 다른 실시 예에 따른 전자 장치의 동작 절차를 도시하는 도면,
도 11은 본 발명의 또 다른 실시 예에 따른 전자 장치의 동작 절차를 도시하는 도면,
도 12는 본 발명의 실시 예에 따른 전자 장치 블록 구성을 도시하는 도면.

이하 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

이하 본 발명은 전자 장치에서 동영상 촬영 시 저조도(low light) 영상을 처리하기 위한 기술에 대하 설명한다. 본 발명에서, 상기 전자 장치는 휴대용 전자 장치(portable electronic device)일 수 있으며, 스마트폰(smart phone), 휴대용 단말기(portable terminal), 이동 전화(mobile phone), 이동 패드(mobile pad), 미디어 플레이어(media player), 태블릿 컴퓨터(tablet computer), 핸드헬드 컴퓨터(handheld computer) 또는 PDA(Personal Digital Assistant) 중 하나일 수 있다. 또한, 상기 전자 장치는 상술한 장치들 중 둘 이상의 기능들을 결합한 장치일 수 있다.

도 1은 본 발명의 실시 예에 따른 전자 장치에서 동영상 프레임 처리를 개념적으로 도시하고 있다.

상기 도 1을 참고하면, 입력 프레임들(111 내지 115)이 발생하면, 본 발명의 실시 예에 따른 저조도 개선을 위한 영상 처리(120)가 수행되고, 출력 프레임들(131 내지 135)이 출력된다. 이하 설명의 편의를 위해, 본 발명은 상기 '저조도 개선을 위한 영상 처리'를 '저조도 개선 처리'라 지칭한다.

상기 입력 프레임들(111 내지 115)은 동영상 촬영 동안 사용자의 편의를 위해 제공되는 프리뷰(preview) 화면을 위한 것으로, 표시 수단을 통해 표시된다. 상기 입력 프레임들(111 내지 115)은 인코딩(encoding) 및 기록(recoding)을 위한 프레임들과 구분된다. 단, 영상 처리 방식에 따라, 상기 입력 프레임들(111 내지 115)는 프리뷰만을 위해 사용되거나, 또는, 프리뷰 및 인코딩을 위해 모두 사용될 수 있다. 상기 도 1의 경우, 5개의 입력 프레임들(111 내지 115)만이 도시되어 있으나, 상기 프리뷰 프레임은 동영상 촬영 중 지속적으로 발생된다.

상기 저조도 개선 처리(120)는 프레임 정렬(frame alignment)(122), 노출 강화(Exposure Value enhancement)(124), 잡음 제거(noise reduction)(126)을 포함한다. 상기 프레임 정렬(122)은 프레임들의 결합을 위해 프레임 내 영상을 분할하는 것을 의미한다. 예를 들어, 상기 프레임 정렬(122)은 미리 정해진 패턴(pattern)으로 영상을 분할함으로써 수행되거나, 또는, 프레임 내 움직임이 존재하는 영역에 기초하여 수행될 수 있다.

상기 노출 강화(124)는 영상의 노출 값(exposure value)을 높이는 것을 의미한다. 상기 노출 값은 영상 캡쳐(capture) 시 빛이 입력되는 세기, 입력 시간 길이 등과 관련되는 인자로서, 영상의 결과물에 있어서 밝기에 관련된다. 즉, 상기 노출 강화(124)는 영상의 밝기를 높이는 것을 의미한다. 본 발명의 실시 예에 따라, 상기 노출 강화(124)는 상기 입력 프레임들(111 내지 115) 전부 또는 일부를 결합함으로써 수행될 수 있다. 여기서, 상기 결합은 결합될 영상들의 픽셀 또는 블록(block) 단위로 분석한 결과들에 기초하여, 보다 높은 조도의 환경에서 촬영시 입력되었을 픽셀의 값을 추정하는 것을 의미한다. 예를 들어, 상기 결합은 다수 프레임들 간 픽셀 값의 합산 등에 의해 수행될 수 있다. 상기 결합에 있어서, 이미지 결합을 통한 노출 강화를 위한 다양한 기법들이 적용될 수 있다.

상기 잡음 제거(126)는 영상 내 잡음을 감소시키는 것을 의미한다. 상기 잡음 제거(126)는 공간적 또는 시간적으로 수행될 수 있다. 예를 들어, 상기 잡음 제거(126)는 해당 프레임의 모든 픽셀들에 대한 필터링을 통해 수행될 수 있다. 구체적으로, 상기 필터링은 컨벌루션 필터(convolution filter), 평균 필터(mean filter), 가우시안 필터(Gaussian filter), 미디언 필터(median filter), 시그마 필터(sigma filter) 중 적어도 하나를 포함할 수 있다. 예를 들어, 상기 평균 필터는 이미지들을 매끈하게 하고 잡음을 제거하기 위한 가장 단순하고, 직관적인 방식이며, 작은 국부적인 윈도우(window)에 대한 평균이 필터링된 결과로서 결정된다. 구체적인 윈도우의 크기 등은 상기 잡음 제거(126)의 강도에 따라 조절될 수 있다. 다른 예로, 상기 잡음 제거(126)는 해당 프레임 및 인접한 프레임들 간 움직임 정보에 기초하여 수행될 수 있다. 구체적으로, 픽셀(pixel)들이 움직임 영역 및 비-움직임 영역으로 분류되고, 상기 비-움직임 영역의 경우, 시간 축을 따라 해당 프레임 및 인접 프레임들의 픽셀들에 대하여 필터링이 수행된다. 이때, 필더링에 사용되는 프레임 개수 등은 상기 잡음 제거(126)의 강도에 따라 조절될 수 있다.

상기 출력 프레임들(131 내지 135)은 상기 저조도 개선 처리(120)의 결과물이다. 따라서, 상기 출력 프레임들(131 내지 135)은 상기 입력 프레임들(111 내지 115)에 비하여 밝은 영상들을 포함한다. 상기 출력 프레임들(131 내지 135)은 프리뷰를 위해 사용되며, 또한, 인코딩 및 기록을 위해 사용될 수 있다. 상기 출력 프레임들(131 내지 135) 각각을 생성하기 위해 사용된 프리뷰 프레임의 개수는 상기 입력 프레임들(111 내지 115)에 포함된 구체적인 영상들에 따라 달라질 수 있다.

도 2는 본 발명의 실시 예에 따른 전자 장치에서 입력 프레임 및 출력 프레임 간 관계를 도시하고 있다.

상기 도 2를 참고하면, 입력 프레임들은 입력 프레임#1(211), 입력 프레임#2(212), 입력 프레임#3(213), 입력 프레임#4(214), 입력 프레임#5(215), 입력 프레임#6(216)의 순서로 발생한다. 상기 입력 프레임들(211 내지 216)에 저조도 개선 처리(220)에 따라, 출력 프레임#1(231), 출력 프레임#2(232), 출력 프레임#3(233), 출력 프레임#4(234), 출력 프레임#5(235), 출력 프레임#6(236)의 순서로 생성된다.

본 발명의 실시 예는 동영상 촬영되는 영상을 처리하므로, 처리 대상이 되는 입력 프레임들이 촬영 중 지속적으로 발생하고, 이에 따라, 출력 프레임들 역시 지속적으로 생성된다. 즉, 스틸(still) 카메라에서의 단일 이미지에 대한 영상 처리와 달리, 본 발명의 실시 예에 따른 영상 처리는 연속적인 입력 및 연속적인 출력을 가진다. 이에 따라, 하나의 입력 프레임이 다수의 출력 프레임들의 생성에 영향을 줄 수 있다. 또한, 출력 프레임 마다 생성의 기초가 되는 입력 프레임 개수가 상이할 수 있다.

상기 도 2를 살펴보면, 상기 입력 프레임#1(211)이 동영상 촬영 시작 후 최초로 입력된 프레임이므로, 이전 입력되는 프레임이 존재하지 아니한다. 따라서, 상기 출력 프레임#1(231)은 상기 입력 프레임#1(211)만을 기초로 생성된다. 상기 출력 프레임#2(232)는 상기 입력 프레임#1(211) 및 상기 입력 프레임#2(212)를 기초로 생성되고, 상기 출력 프레임#3(233)은 상기 입력 프레임#1(211), 상기 입력 프레임#2(212), 상기 입력 프레임#3(213)을 기초로 생성된다. 그리고, 상기 출력 프레임#4(234)는 상기 입력 프레임#1(211) 내지 상기 입력 프레임#4(214)를 기초로 생성되고, 상기 출력 프레임#5(235)는 상기 입력 프레임#1(211) 내지 상기 입력 프레임#5(215)를 기초로 생성된다. 상기 도 2의 경우, 5개의 입력 프레임들을 기초로 1개의 출력 프레임이 생성되는 실시 예를 도시하는 바, 상기 출력 프레임#6(236)은 상기 입력 프레임#2(212) 내지 상기 입력 프레임#6(216)을 기초로 생성된다.

도 3은 본 발명의 실시 예에 따른 전자 장치에서 저조도(low light) 개선 처리를 위한 기능적 블록 구성을 도시하고 있다.

상기 도 3을 참고하면, 상기 전자 장치는 센싱(sensing)부(310), 전처리(pre-processing)부(320), 저조도처리부(330), 표시부(340), 인코더(350)를 포함한다.

상기 센싱부(310)는 렌즈(lens)를 통해 입력되는 빛을 인지하고, 데이터화한다. 다시 말해, 상기 센싱부(310)는 입력되는 빛을 전기적 신호로 변환하고, 영상의 로우(raw) 데이터를 출력한다. 예를 들어, 상기 센싱부(310)는 CCD(Charge-Coupled Device), CMOS(Complementary Metal-Oxide Semiconductor) 중 적어도 하나를 포함할 수 있다.

상기 전처리부(320)는 상기 센싱부(310)로부터 제공되는 영상 데이터를 인코딩하거나 표시하기 위해 필요한 처리를 수행한다. 예를 들어, 상기 전처리부(320)는 스케일링(scailing), CSC(Color Space Conversion) 중 적어도 하나를 수행한다. 상기 스케일링은 표시 또는 인코딩을 위해 필요한 크기로 영상의 크기를 조절하는 것을 의미한다. 즉, 상기 전처리부(320)는 프리뷰 데이터를 표시 수단의 해상도에 맞도록, 인코딩 데이터를 인코딩 입력에 맞도록 영상의 크기를 변환한다. 상기 CSC는 색의 입력 형태 및 표시 형태와 중간의 저장 및 전송 형태 간 색을 나타내는 값의 변환을 의미한다. 즉, 색을 나타내는 값이 색상 모델에 따라 달라지므로, 상기 전처리부(320)는 색상 모델에 따라 데이터의 값을 변환하는 CSC 기능을 수행한다. 예를 들어, 상기 색상 모델은 RGB(Red Green Blue), YCbCr, HSV(Hue, Saturation, Value) 등을 포함한다. 예를 들어, 상기 CSC는 행렬 연산을 통해 수행될 수 있다.

상기 저조도처리부(330)는 본 발명의 실시 예에 따라 상기 전처리부(320)로부터 제공되는 영상에 대하여 저조도 개선 처리를 수행한다. 다시 말해, 상기 저도도처리부(330)는 프리뷰 프레임들을 결합함으로써 입력되는 프리뷰 프레임에 비하여 밝은 영상을 포함하는 프레임들을 생성한다. 이때, 상기 저조도처리부(330)는 상기 전처리부(320)로부터 2개의 경로로 프리뷰 프레임 및 기록 프레임을 구분하여 제공받거나, 하나의 경로로 프레임을 제공받을 수 있다.

상기 표시부(340)는 상기 저조도처리부(330)에 의해 처리된 프레임을 표시하는 표시 수단이다. 상기 표시부(340)는 LCD(liquid crystal display), LED(Light Emitting Diode), LPD(light emitting polymer display), OLED(Organic Light Emitting Diode), AMOLED(Active Matrix Organic Light Emitting Diode), FLED(Flexible LED) 중 적어도 하나를 포함할 수 있다. 상기 인코더(350)는 상기 저조도처리부(330)에 의해 처리된 프레임을 저장하기 위해 인코딩한다. 상기 도 3에 도시되지 아니하였으나, 상기 인코더(350)에 의해 인코딩된 영상을 저장하는 저장부가 더 포함될 수 있다.

이하 본 발명은 상기 전처리부(320) 및 상기 저조도처리부(330)의 결합에 대한 구체적인 예시를 살펴본다.

도 4는 본 발명의 실시 예에 따른 전자 장치에서 저조도 개선 처리를 위한 구체적인 블록 구성을 도시하고 있다.

상기 도 4를 참고하면, 상기 센싱부(310)는 센서(402)를 포함하며, 상기 전처리부(320)는 CAMIF(CAMera InterFace)(404), FIMC(Fully Interactive Mobile Camera interface)(406)를 포함하며, 상기 저조도처리부(330)는 LLV(Low Light Video) 라이브러리(library)(410)를 포함하며, HAL(Hardware Abstraction Layer)(408)이 더 포함된다.

상기 센서(402)는 렌즈를 통해 입력되는 빛을 인지하는 소자로서, CCD, CMOS 중 적어도 하나를 포함할 수 있다. 상기 CAMIF(404)는 상기 센서(402) 및 이후의 처리 블록들 간 인터페이스를 제공하며, CSC를 수행할 수 있다. 상기 FIMC(404)는 영상 스케일링 등의 기능을 수행한다. 상기 HAL(408)은 동영상 데이터가 다른 하드웨어로 전달되기 위한 기능을 수행하며, 다른 블록들이 디바이스에 독립적으로 동작할 수 있는 환경을 제공한다. 상기 LLV 라이브러리(410)는 상기 도 1 및 상기 도 2에서 설명한 저조도 개선 처리를 위한 명령어의 집합 또는 상기 명령어에 따라 연산을 수행하는 하드웨어 장치를 의미한다.

상기 도 4에 도시된 같이, 본 발명의 일 실시 예에 따르면, 프리뷰 프레임 및 기록 프레임은 하나의 경로로 제공될 수 있다. 이 경우, 상기 LLV 라이브러리(410)는 상기 하나의 경로 상에서 저조도 개선 처리를 수행한다. 이에 따라, 하나의 경로에 대한 처리로 인해, 상기 프리뷰 프레임 및 상기 기록 프레임 모두에 대한 저조도 개선 처리가 수행될 수 있다. 즉, 상기 LLV 라이브러리(410)는 상기 HAL(408)로부터 프레임들을 제공받고, 상기 저조도 개선 처리를 수행한 후, 상기 HAL(408)로 다시 제공한다. 이후, 상기 도 4에 도시되지 아니하였으나, 상기 HAL(408)는 표시 수단 및 인코딩 수단으로 저조도 개선 처리된 프레임들을 출력한다.

상기 도 4에 도시된 실시 예의 경우, 상기 LLV 라이브러리(410)는 상기 HAL(408)의 출력에 대하여 저조도 개선 처리를 수행한다. 그러나, 본 발명의 다른 실시 예에 따라, 상기 LLV 라이브러리(410)는 상기 FIMC(406)의 출력에 대하여 상기 저조도 개선 처리를 수행하고, 처리된 프레임들을 상기 HAL(408)로 제공할 수 있다.

도 5는 본 발명의 다른 실시 예에 따른 전자 장치에서 저조도 개선 처리를 위한 구체적인 블록 구성을 도시하고 있다.

상기 도 5를 참고하면, 상기 센싱부(310)는 센서(502)를 포함하며, 상기 전처리부(320)는 ISPIF(Image Signal Processing InterFace)(504), VFE(Video Front End)(506), CPP(508)를 포함하며, 상기 저조도처리부(330)는 LLV 라이브러리(510)를 포함하며, HAL(512)이 더 포함된다.

상기 센서(502)는 렌즈를 통해 입력되는 빛을 인지하는 소자로서, CCD, CMOS 중 적어도 하나를 포함할 수 있다. 상기 ISPIF(504)는 상기 센서(502) 및 이후의 처리 블록들 간 인터페이스를 제공한다. 상기 VFE(506)는 영상에 필요한 처리를 수행한다. 예를 들어, 상기 필요한 처리는 CSC, 데이터의 콘트라스트 또는 휘도 특성 수정, 캡쳐된 데이터에 관한 점등 상태를 디지털적으로 강화 또는 수정, 화이트 밸런싱, 자동 이득 제어, 및 감마 보정과 같은 보상 처리, 영상 필터링 등의 복합 이미지 프로세싱 등을 포함할 수 있다. 상기 CPP(508)는 영상 스케일링 등의 기능을 수행하고, 프리뷰 프레임 및 기록 프레임을 각각의 경로로 제공한다. 이때, 상기 CPP(508)는 상기 프리뷰 프레임 및 상기 기록 프레임을 서로 다른 코덱(codec)으로 처리할 수 있다. 상기 LLV 라이브러리(510)는 상기 도 1 및 상기 도 2에서 설명한 저조도 개선 처리를 위한 명령어의 집합 또는 상기 명령어에 따라 연산을 수행하는 하드웨어 장치를 의미한다. 상기 HAL(512)은 동영상 데이터가 다른 하드웨어로 전달되기 위한 기능을 수행하며, 다른 블록들이 디바이스에 독립적으로 동작할 수 있는 환경을 제공한다.

상기 도 5에 도시된 같이, 본 발명의 일 실시 예에 따르면, 프리뷰 프레임 및 기록 프레임은 서로 다른 경로들로 제공될 수 있다. 이 경우, 프리뷰 프레임에 대하여만 저조도 개선 처리를 수행하면, 저장되는 영상 및 프리뷰 영상 간 차이가 발생한다. 다시 말해, 프리뷰 프레임에 대하여만 저조도 개선 처리를 수행하면, 저장되는 영상은 상기 저조도 개선 처리되지 않은 프레임들로 구성된다. 따라서, 본 발명의 실시 예에 따라, 상기 LLV 라이브러리(510)는, 상기 프리뷰 프레임은 물론 상기 기록 프레임에 대하여도 동일한 저조도 개선 처리를 수행한다. 이에 따라, 상기 프리뷰 프레임 및 상기 기록 프레임 모두에 대한 저조도 개선 처리가 적용될 수 있다. 즉, 상기 LLV 라이브러리(510)는 상기 CPP(508)로부터 프리뷰 프레임들 및 기록 프레임들을 제공받고, 상기 저조도 개선 처리를 수행한 후, 각 경로를 통해 상기 HAL(512)로 출력한다. 이후, 상기 도 5에 도시되지 아니하였으나, 상기 HAL(512)는 표시 수단 및 인코딩 수단으로 저조도 개선 처리된 프레임들을 출력한다.

도 6은 본 발명의 또 다른 실시 예에 따른 전자 장치에서 저조도 개선 처리를 위한 구체적인 블록 구성을 도시하고 있다.

상기 도 6을 참고하면, 상기 센싱부(310)는 센서(602)를 포함하며, 상기 전처리부(320)는 ISPIF(604), VFE(606), CPP(608)를 포함하며, 상기 저조도처리부(330)는 LLV 라이브러리(610)를 포함하며, HAL(612)이 더 포함된다.

상기 센서(602)는 렌즈를 통해 입력되는 빛을 인지하는 소자로서, CCD, CMOS 중 적어도 하나를 포함할 수 있다. 상기 ISPIF(604)는 상기 센서(602) 및 이후의 처리 블록들 간 인터페이스를 제공한다. 상기 VFE(606)는 영상에 필요한 처리를 수행한다. 예를 들어, 상기 필요한 처리는 CSC, 데이터의 콘트라스트 또는 휘도 특성 수정, 캡쳐된 데이터에 관한 점등 상태를 디지털적으로 강화 또는 수정, 화이트 밸런싱, 자동 이득 제어, 및 감마 보정과 같은 보상 처리, 영상 필터링 등의 복합 이미지 프로세싱 등을 포함할 수 있다. 상기 CPP(608)는 영상 스케일링 등의 기능을 수행하고, 프리뷰 프레임 및 기록 프레임을 각각의 경로로 제공한다. 이때, 상기 CPP(608)는 상기 프리뷰 프레임 및 상기 기록 프레임을 서로 다른 코덱으로 처리할 수 있다. 상기 LLV 라이브러리(610)는 상기 도 1 및 상기 도 2에서 설명한 저조도 개선 처리를 위한 명령어의 집합 또는 상기 명령어에 따라 연산을 수행하는 하드웨어 장치를 의미한다. 상기 HAL(612)은 동영상 데이터가 다른 하드웨어로 전달되기 위한 기능을 수행하며, 다른 블록들이 디바이스에 독립적으로 동작할 수 있는 환경을 제공한다.

상기 도 6에 도시된 같이, 본 발명의 일 실시 예에 따르면, 프리뷰 프레임 및 기록 프레임은 서로 다른 경로들로 제공될 수 있다. 이 경우, 프리뷰 프레임에 대하여만 저조도 개선 처리를 수행하면, 저장되는 영상 및 프리뷰 영상 간 차이가 발생한다. 따라서, 본 발명의 실시 예에 따라, 상기 LLV 라이브러리(610)는, 상기 CPP(608)로 입력되는 영상 데이터에 대하여 저조도 개선 처리를 수행한다. 이에 따라, 상기 프리뷰 프레임 및 상기 기록 프레임 모두에 대한 저조도 개선 처리가 적용될 수 있다. 즉, 상기 LLV 라이브러리(610)는 상기 VFE(606)로부터 프레임들을 제공받고, 상기 저조도 개선 처리를 수행한 후, 처리된 프레임들을 상기 CPP(608)로 제공한다.

도 7은 본 발명의 또 다른 실시 예에 따른 전자 장치에서 저조도 개선 처리를 위한 구체적인 블록 구성을 도시하고 있다.

상기 도 7을 참고하면, 상기 센싱부(310)는 센서(702)를 포함하며, 상기 전처리부(320)는 ISPIF(704), VFE(706), 제1CPP(708)를 포함하며, 상기 저조도처리부(330)는 LLV 라이브러리(710), 메모리(memory)(712), 제2CPP(714)를 포함하며, HAL(716)이 더 포함된다.

상기 센서(702)는 렌즈를 통해 입력되는 빛을 인지하는 소자로서, CCD, CMOS 중 적어도 하나를 포함할 수 있다. 상기 ISPIF(704)는 상기 센서(702) 및 이후의 처리 블록들 간 인터페이스를 제공한다. 상기 VFE(706)는 영상에 필요한 처리를 수행한다. 예를 들어, 상기 필요한 처리는 CSC, 데이터의 콘트라스트 또는 휘도 특성 수정, 캡쳐된 데이터에 관한 점등 상태를 디지털적으로 강화 또는 수정, 화이트 밸런싱, 자동 이득 제어, 및 감마 보정과 같은 보상 처리, 영상 필터링 등의 복합 이미지 프로세싱 등을 포함할 수 있다. 상기 제1CPP(708)는 영상 스케일링 등의 기능을 수행하고, 프리뷰 프레임 및 기록 프레임을 각각의 경로로 제공한다. 이때, 상기 제1CPP(708)는 상기 프리뷰 프레임 및 상기 기록 프레임을 서로 다른 코덱으로 처리할 수 있다. 상기 LLV 라이브러리(710)는 상기 도 1 및 상기 도 2에서 설명한 저조도 개선 처리를 위한 명령어의 집합 또는 상기 명령어에 따라 연산을 수행하는 하드웨어 장치를 의미한다. 상기 HAL(716)은 동영상 데이터가 다른 하드웨어로 전달되기 위한 기능을 수행하며, 다른 블록들이 디바이스에 독립적으로 동작할 수 있는 환경을 제공한다.

상기 도 7에 도시된 같이, 본 발명의 일 실시 예에 따르면, 프리뷰 프레임 및 기록 프레임은 서로 다른 경로들로 제공될 수 있다. 이 경우, 프리뷰 프레임에 대하여만 저조도 개선 처리를 수행하면, 저장되는 영상 및 프리뷰 영상 간 차이가 발생한다. 따라서, 본 발명의 실시 예에 따라, 상기 LLV 라이브러리(710)는, 상기 프리뷰 프레임들을 저조도 개선 처리 후 상기 프리뷰 프레임들의 경로로 출력하고, 이에 더하여, 처리된 프리뷰 프레임들을 상기 기록 프레임의 경로로 출력한다.

상기 도 5에 도시된 실시 예와 달리, 상기 도 7에 도시된 실시 예는 프리뷰 프레임에 대하여만 저조도 개선 처리를 수행하므로, 처리된 프레임을 그대로 상기 기록 프레임으로서 사용할 수 없다. 이에 따라, 상기 저조도 개선 처리된 프리뷰 프레임들은 상기 메모리(712) 및 상기 제2CPP(714)를 통해 상기 기록 프레임으로서 제공된다. 상기 메모리(712)는 상기 저조도 개선 처리된 프리뷰 프레임들을 임시 저장하는 버퍼(buffer)로서 동작한다. 상기 제2CPP(714)는 상기 제1CPP(708)에서 상기 기록 프레임들에 대하여 수행되는 처리를 수행한다. 다시 말해, 상기 제2CPP(714)는 상기 메모리(712)에 임시 저장된 프레임에 대하여 상기 기록 프레임으로서 사용되기 위한 처리를 수행한다. 예를 들어, 상기 제2CPP(714)는 인코더의 입력에 맞게 상기 저조도 개선 처리된 프리뷰 프레임을 스케일링하고, 상기 기록 프레임을 위한 코덱으로 프레임을 처리한다. 이에 따라, 상기 프리뷰 프레임 및 상기 기록 프레임 모두에 대한 저조도 개선 처리가 적용될 수 있다.

상기 도 7에 도시된 실시 예에 따르면, 상기 LLV 라이브러리(710)는 프리뷰 프레임을 저조도 개선 처리 후, 복사된 프레임을 기록 프레임을 위한 경로로 제공한다. 그러나, 본 발명의 다른 실시 예에 따라, 상기 LLV 라이브러리(710)는 기록 프레임에 대하여 저조도 개선 처리 후, 저조도 개선 처리된 기록 프레임을 상기 프리뷰 프레임을 위한 경로로 제공할 수 있다. 이 경우, 상기 제2CPP(714)는 상기 프리뷰 프레임들에 대하여 수행되는 처리를 수행한다.

상술한 바와 같이, 본 발명의 실시 예에 따른 전자 장치는 동영상 촬영 시 저조도 개선 처리를 수행할 수 있다. 상술한 바와 같이, 상기 저조도 개선 처리를 통해 영상의 밝기를 높일 수 있으며, 이는 다수의 프레임들의 결합을 통해 이루어진다. 이때, 스틸 카메라에서의 단일 이미지에 대한 영상 처리와 달리, 본 발명의 실시 예에 따라 결합되는 프레임들은 동일한 영상을 포함함이 보장되지 아니한다. 결합되는 프레임들은 프리뷰 프레임들이므로, 피사체가 움직이는 경우 영상도 변화하기 때문이다. 이에 따라, 본 발명의 실시 예에 따른 프레임들의 결합은 단일 이미지의 화질 개선을 위한 결합과 다른 방식을 필요로 할 수 있다. 예를 들어, 상기 결합은 영상 내 움직임이 존재하는 영역을 제외하고 수행될 수 있으며, 구체적인 예는 이하 도 8과 같다.

도 8은 본 발명의 실시 예에 따른 전자 장치에서 프레임 결합의 예를 도시하고 있다. 상기 도 8에 도시된 예는 3개의 프레임들(811, 812, 813)을 기초로 저조도 처리된 프레임(830)을 도시하며, 상기 프레임들(811, 812, 813) 각각은 4개의 영역들로 분할된다. 상기 4개의 영역들은 영역A, 영역B, 영역C, 영역D를 포함한다. 상기 영역A의 경우, 제1프레임(811) 및 제2프레임(812) 간 움직임이 존재하며, 상기 제2프레임(811) 및 제3프레임(813) 간 움직임이 존재하지 아니한다. 따라서, 상기 저조도 처리된 프레임(830)에서 상기 영역A는 상기 제2프레임(812) 및 상기 제3프레임(813)를 기초로 생성된다. 상기 영역C의 경우, 상기 제1프레임(811) 및 상기 제2프레임(812) 간 움직임이 존재하지 아니하며, 상기 제2프레임(811) 및 상기 제3프레임(813) 간 움직임이 존재한다. 따라서, 상기 저조도 처리된 프레임(830)에서 상기 영역A는 상기 제1프레임(811) 및 상기 제2프레임(812)를 기초로 생성된다. 상기 영역B 및 상기 영역D의 경우, 모든 프레임들(811, 812, 813) 간 움직임이 존재하지 아니한다. 따라서, 상기 저조도 처리된 프레임(830)에서, 상기 영역B 및 상기 영역D는 모든 프레임들(811, 812, 813)을 기초로 생성된다.

상기 도 8에 도시된 프레임들은 4개의 영역들로 구분되었다. 그러나, 구체적인 실시 예에 따라, 프레임은 다른 개수 및 다른 모양의 영역들로 분할될 수 있다.

도 9는 본 발명의 실시 예에 따른 전자 장치의 동작 절차를 도시하고 있다.

상기 도 9를 참고하면, 상기 전자 장치는 901단계에서 다수의 프레임들을 결합한다. 여기서, 프레임은 동영상을 구성하는 개개의 단일 이미지를 의미한다. 상기 결합되는 프레임은 프리뷰 프레임일 수 있고, 또는, 상기 프리뷰 프레임 및 기록 프레임일 수 있다. 상기 결합은 영상의 밝기를 높이기 위해 수행된다. 단, 동영상 프레임들의 경우, 각 프레임에 포함된 영상들이 서로 다를 수 있으므로, 단순히 프레임 전체를 결합하는 것 외 다른 방식이 적용될 수 있다. 예를 들어, 상기 전자 장치는 프레임들 간 동일한 영상을 포함하는 영역들만으로 결합을 수행할 수 있다. 상기 도 9에 도시되지 아니하였으나, 상기 전자 장치는 결합된 프레임에 대한 잡음 제거를 더 수행할 수 있다.

이후, 상기 전자 장치는 903단계로 진행하여 결합된 프레임을 프리뷰 및 인코딩을 위해 사용한다. 다시 말해, 상기 전자 장치는 상기 결합된 프레임을 촬영 중인 동영상으로서 표시 수단을 통해 표시하고, 상기 결합된 프레임을 기록을 위한 형식에 따라 인코딩한다. 인코딩된 영상은 저장 수단에 저장될 수 있다. 이때, 상기 결합된 프레임을 프리뷰 및 인코딩하기 위해, 다양한 처리 방식이 적용될 수 있다. 프리뷰 프레임 및 기록 프레임이 동일 경로에서 처리되는 경우, 상기 전자 장치는 프레임이 처리되는 경로 상에서 상기 프레임을 결합할 수 있다. 반면, 상기 프리뷰 프레임 및 상기 기록 프레임이 서로 다른 경로들로 처리되는 경우, 본 발명의 일 실시 예에 따라, 상기 전자 장치는 상기 경로들이 분기하기 이전에 상기 프레임들을 결합할 수 있다. 본 발명의 다른 실시 예에 따라, 상기 전자 장치는 2개의 경로들 각각에서 상기 프레임들의 결합 동작을 중복 수행할 수 있다. 본 발명의 또 다른 실시 예에 따라, 상기 전자 장치는 하나의 경로에서 추출된 프리뷰 프레임들을 결합하고, 결합된 프리뷰 프레임을 복사 후, 기록 프레임의 경로로 출력할 수 있다. 본 발명의 또 다른 실시 예에 따라, 상기 전자 장치는 하나의 경로에서 추출된 기록 프레임들을 결합하고, 결합된 기록 프레임을 복사 후, 프리뷰 프레임의 경로로 출력할 수 있다.

도 10은 본 발명의 다른 실시 예에 따른 전자 장치의 동작 절차를 도시하고 있다.

상기 도 10을 참고하면, 상기 전자 장치는 1001단계에서 프레임을 다수의 영역들로 분할한다. 즉, 상기 전자 장치는 저조도 개선 처리를 위해 결합될 다수의 프레임들 각각을 분할한다. 이때, 분할은 미리 정의된 패턴에 따라 수행되거나, 또는, 프레임 내 영상에서 움직임이 존재하는 영역에 기초하여 수행될 수 있다. 예를 들어, 상기 전자 장치는 프레임들 내 영상에서 움직임이 존재하는 영역 및 존재하지 아니하는 영역을 구분하여 분할할 수 있다.

이후, 상기 전자 장치는 1003단계로 진행하여 동일한 영상을 포함하는 영역들 간 결합을 수행한다. 다시 말해, 상기 전자 장치는 분할된 영역들 중 서로 다른 프레임들 간 움직임이 없는 영역들을 결합함으로써, 해당 영역의 밝기를 높인다. 이때, 특정 영역만을 고려할 때, 결합될 다수의 프레임들 중 일부 프레임들 간에만 움직임이 없는 경우, 상기 특정 영역에 대한 결합은 움직임이 없는 프레임들만을 이용하여 수행된다. 즉, 영역에 따라 결합에 사용되는 프레임의 개수가 달라질 수 있다.

도 11은 본 발명의 또 다른 실시 예에 따른 전자 장치의 동작 절차를 도시하고 있다.

상기 도 11을 참고하면, 상기 전자 장치는 1101단계에서 동영상 촬영이 시작되는지 판단한다. 상기 동영상 촬영은 사용자의 조작 또는 미리 정의된 이벤트 발생에 의해 시작될 수 있다.

상기 동영상 촬영이 시작되면, 상기 전자 장치는 1103단계로 진행하여 환경 요소(condition parameter)를 확인한다. 예를 들어, 상기 환경 요소는 입력되는 영상의 노출 값(EV), 온도(temperature), 피사체의 움직임(movement) 여부 중 적어도 하나를 포함할 수 있다. 여기서, 상기 온도는 상기 전자 장치의 발열 정도를 포함한다. 다시 말해, 상기 전자 장치는 동영상 촬영 중에 노출 값, 온도, 움직임 여부 등의 정보를 수집한다. 이를 위해, 상기 전자 장치는 온도 센서를 구비할 수 있다.

상기 환경 요소를 확인한 후, 상기 전자 장치는 1105단계로 진행하여 저조도 개선 처리가 필요한지 판단한다. 상기 저조도 개선 처리의 필요 여부는 상기 환경 요소에 기초하여 판단될 수 있다. 예를 들어, 영상의 노출 값이 임계치 이상인 경우 또는 상기 온도가 임계치 이상인 경우, 상기 전자 장치는 상기 저조도 개선 처리가 필요하지 아니하다 판단할 수 있다. 만일, 상기 저조도 개선 처리가 필요하지 아니하다 판단된 경우, 상기 전자 장치는 이하 1111단계로 진행한다.

반면, 상기 저조도 개선 처리가 필요하다 판단된 경우, 상기 전자 장치는 1107단계로 진행하여 상기 환경 요소에 따라 동작 파라미터를 설정한다. 즉, 상기 저조도 개선 처리는 단순히 온/오프(on/off)의 단계뿐 아니라, 처리의 강도가 단계적으로 제어될 수 있다. 예를 들어, 상기 처리의 강도로서, 결합에 사용되는 프레임의 개수, 잡음 제거의 정도(예: 잡음 제거 수행 여부, 필터 윈도우 크기, 시간적 잡음 제거에 사용되는 프레임 개수 등), 노출 강화의 양 중 적어도 하나가 제어될 수 있다. 구체적인 예로, 상기 온도, 즉, 상기 전자 장치의 발열이 높을수록, 상기 노출 값이 높을수록, 또는, 피사체의 움직임이 많을수록, 저조도 개선 처리의 강도는 낮아질 수 있다. 다른 예로, 피사체가 움직이는 경우, 상기 잡음 제거가 생략될 수 있다. 즉, 움직임이 많은 경우 프레임들 간 영상의 차이가 상대적으로 커서 연산량이 커지므로, 처리의 강도를 낮추어 불필요한 연산이 감소된다.

이후, 상기 전자 장치는 1109단계로 진행하여 설정된 동작 파라미터에 따라 저조도 개선 처리를 수행한다. 본 발명의 실시 예에 따라, 상기 저조도 개선 처리는 영상 분할, 노출 강화, 잡음 제거를 포함할 수 있다. 단, 상기 동작 파라미터의 설정 결과에 따라, 상기 잡음 제거는 제외될 수 있다. 상기 노출 강화는 프레임들의 결합에 의해 수행되며, 결합되는 프레임은 프리뷰 프레임일 수 있고, 또는, 상기 프리뷰 프레임 및 기록 프레임일 수 있다. 단, 동영상 프레임들의 경우, 각 프레임에 포함된 영상들이 서로 다를 수 있으므로, 단순히 프레임 전체를 결합하는 것 외 다른 방식이 적용될 수 있다.

이어, 상기 전자 장치는 1111단계로 진행하여 저조도 개선 처리된 프레임을 이용하여 프리뷰 화면 표시 및 인코딩을 수행한다. 인코딩된 영상은 저장 수단에 저장되거나, 통신 수단을 통해 외부로 전송될 수 있다. 상기 1105단계에서 저조도 개선 처리가 필요하지 아니하다 판단된 경우, 상기 전자 장치는 발생한 프리뷰 프레임을 프리뷰 화면으로 표시하고, 기록 프레임을 인코딩한다.

이후, 상기 전자 장치는 1113단계로 진행하여 동영상 촬영이 종료되는지 판단한다. 상기 동영상 촬영은 사용자의 조작 또는 미리 정의된 이벤트 발생에 의해 종료될 수 있다. 상기 동영상 촬영이 지속되면, 상기 전자 장치는 상기 1103단계로 진행하여 상기 환경 요소를 지속적으로 모니터링하며, 상기 1105단계 내지 상기 1111단계를 반복한다.

도 12는 본 발명의 실시 예에 따른 전자 장치 블록 구성을 도시하고 있다.

상기 전자 장치는 메모리(1210), 프로세서 유닛(processor unit)(1220), 입출력(IO: Input Output) 시스템(1230), 카메라 서브 시스템(1280)을 포함한다. 상기 메모리(1210)는 다수 개로 구성될 수 있다.

상기 메모리(1210)는 적어도 하나의 소프트웨어, 마이크로 코드, 설정 정보 등을 저장한다. 상기 메모리(1210)는 적어도 하나의 고속 랜덤 액세스 메모리, 비휘발성 메모리, 적어도 하나의 광 저장 장치, 플래시 메모리(예: NAND, NOR) 중 적어도 하나를 포함할 수 있다. 상기 메모리(1210)에 저장된 소프트웨어 구성 요소는 운영 체제(operating system) 모듈(1211), 통신 모듈(1212), 그래픽 모듈(1212), 사용자 인터페이스 모듈(1213), 카메라 모듈(1214), 적어도 하나의 애플리케이션 모듈(1216) 등을 포함할 수 있다. 또한, 소프트웨어 구성 요소인 모듈은 명령어들의 집합으로 표현할 수 있고, 상기 모듈은 '명령어 집합(instruction set)' 또는 '프로그램'으로 지칭될 수 있다.

상기 운영 체제 모듈(1211)은 일반적인 시스템 작동(system operation)을 제어하는 명령어 집합을 포함한다. 예를 들어, 상기 운영 체제 모듈(1211)은 WINDOWS, LINUX, 다윈(Darwin), RTXC, UNIX, OS X, VxWorks, Android, iOS와 같은 내장 운영 체제일 수 있다. 예를 들어, 상기 운영 체제 모듈(1211)은 메모리 관리 및 제어, 저장 하드웨어 제어 및 관리, 전력 제어 및 관리 등의 일반적인 시스템 작동 제어를 담당한다. 상기 운영 체제 모듈(1211)은 적어도 하나의 하드웨어 요소 및 적어도 하나의 소프트웨어 구성 요소 간 통신이 원활하게 이루어지도록 제어한다.

상기 그래픽 모듈(1212)은 상기 터치 스크린(1233) 상에 그래픽을 제공하고 표시하기 위한 적어도 하나의 명령어 집합을 포함한다. 여기서, 그래픽은 텍스트(text), 웹 페이지(web page), 아이콘(icon), 디지털 이미지(digital image), 비디오(video), 애니메이션(animation) 등을 포함한다. 상기 터치 스크린(1233)은 영상을 표시하므로 '표시부'라 지칭될 수 있다.

상기 사용자 인터페이스 모듈(1213)은 사용자 인터페이스를 제공하기 위한 적어도 하나의 명령어 집합을 포함한다. 예를 들어, 상기 사용자 인터페이스 모듈(1213)은 상기 사용자 인터페이스의 상태가 어떻게 변경되는지, 또는, 사용자 인터페이스 상태의 변경이 어떤 조건에서 이루어지는지 등을 제어한다.

상기 카메라 모듈(1214)은 카메라 관련 프로세스 및 기능들을 수행하기 위한 적어도 하나의 명령어 집합을 포함한다.

상기 메모리(1210)는 상술한 모듈들(1211 내지 1214) 외에 추가적인 모듈을 포함할 수 있다. 또는, 본 발명의 다른 실시 예에 따라, 상술한 모듈들(1211 내지 1214) 중 일부가 배제될 수 있다.

상기 프로세서 유닛(1220)은 메모리 인터페이스(1221), 프로세서(1222) 및 주변장치 인터페이스(peripheral interface)(1223)를 포함한다. 경우에 따라, 상기 프로세서 유닛(1220) 전체가 '프로세서'로 지칭될 수 있다. 상기 메모리 인터페이스(1221), 상기 프로세서(1222), 상기 주변장치 인터페이스(1223) 각각은 별개의 구성 요소이거나, 또는, 적어도 하나의 집적화된 회로에 포함될 수 있다.

상기 프로세서(1222)는 적어도 하나의 하드웨어 칩(chip)을 포함할 수 있다. 상기 프로세서(1222)는 소프트웨어 모듈을 실행함으로써 상기 전자 장치가 상기 소프트웨어 모듈에 의해 구현되는 기능을 수행하게 한다. 특히, 상기 프로세서(1222)는 상기 메모리(1210)에 저장된 소프트웨어 모듈들과 연동하여 본 발명의 실시 예를 실시한다. 또한, 상기 프로세서(1222)는 적어도 하나의 데이터 프로세서, 이미지 프로세서를 포함할 수 있다. 본 발명의 다른 실시 예에 따라, 상기 데이터 프로세서, 상기 이미지 프로세서는 별도의 하드웨어로 구성될 수 있다. 또한, 상기 프로세서(1222)는 서로 다른 기능을 수행하는 다수의 프로세서들로 구성될 수 있다. 상기 프로세서(1222)는 AP(Application Process)로 지칭될 수 있다.

상기 메모리 인터페이스(1221)는 상기 메모리(1210) 및 상기 프로세서(1222) 간 데이터 및 제어 신호의 이동 경로를 제공한다. 예를 들어, 상기 메모리 인터페이스(1221)는 상기 메모리(1210)에 접근하기 위한 인터페이스를 제공한다. 상기 주변 장치 인터페이스(1223)는 상기 전자 장치의 상기 입출력 서브 시스템(1230) 및 적어도 하나의 주변 장치를 상기 프로세서(1221) 및 상기 메모리(1210)에 연결시킨다.

상기 입출력 서브 시스템(1230)은 터치 스크린 제어기(1231), 기타 입력 제어기(1232), 터치 스크린(1233), 기타 입력/제어 장치(1234)를 포함할 수 있다.

상기 터치 스크린 제어기(1231)는 상기 터치 스크린(1233)에 결합될 수 있다. 상기 터치 스크린(1233) 및 상기 터치 스크린 제어기(1231)는, 이에 한정되지 아니하나, 상기 터치 스크린(1233) 상에서의 적어도 하나의 접촉점을 결정하기 위한 용량성, 저항성, 적외선 및 표면 음향파 기술들 뿐만 아니라 기타 근접 센서 배열 또는 기타 요소들을 포함하는 감지 기술을 이용하여 접촉, 움직임, 상기 접촉 또는 상기 움직임의 중단을 검출할 수 있다.

상기 기타 입력 제어기(1232)는 상기 기타 입력/제어 장치(1234)에 결합될 수 있다. 상기 기타 입력/제어 장치(1234)에 적어도 하나의 볼륨(volumn) 제어를 위한 업/다운(up/down) 버튼이 포함될 수 있다. 또한, 상기 버튼은 푸시 버튼(push button) 또는 로커 버튼(rocker button), 로커(rocker) 스위치, 썸-휠(thumb-wheel), 다이얼(dial), 스틱(stick), 스타일러스(stylus)와 같은 포인터 장치 등의 형태를 가질 수 있다.

상기 터치 스크린(1233)은 상기 전자 장치와 사용자 사이에 입력/출력 인터페이스를 제공한다. 예를 들어, 상기 터치 스크린(1233)은 사용자의 터치 입력을 상기 전자 장치에 전달한다. 또한, 상기 터치 스크린(1233)은 상기 전자 장치로부터의 출력을 사용자에게 보여주는 매개체이다. 예를 들어, 상기 터치 스크린(1233)은 사용자에게 시각적 출력을 보여준다. 상기 시각적 출력(visual output)은 텍스트(text), 그래픽(graphic), 비디오(video), 이들의 조합의 형태로 표현된다. 상기 터치 스크린(1233)을 위해 다양한 디스플레이 수단이 사용될 수 있다. 예를 들면, 이에 한정되지 아니하나, 상기 터치 스크린(1233)은 LCD(liquid crystal display), LED(Light Emitting Diode), LPD(light emitting polymer display), OLED(Organic Light Emitting Diode), AMOLED(Active Matrix Organic Light Emitting Diode), FLED(Flexible LED) 중 적어도 하나를 포함할 수 있다.

상기 카메라 서브 시스템(1280)은 사진 촬영, 동영상 촬영 등의 기능을 수행할 수 있다. 상기 카메라 서브 시스템(1280)은 이미지 센서, 렌즈 등을 포함할 수 있다. 상기 이미지 센서로서, CCD, CMOS 중 적어도 하나가 사용될 수 있다. 예를 들어, 상기 카메라 서브 시스템(1280)은 렌즈를 통해 입력되는 빛을 상기 이미지 센서로 인식하고, 상기 이미지 센서에서 인식된 이미지를 데이터화한다.

본 발명의 실시 예에 따라, 상기 프로세서(1222)는 동영상 촬영 중 저조도 개선 처리를 수행한다. 이를 위해, 상기 프로세서(1222)는 상기 저조도 개선 처리를 위한 하드웨어 블록을 포함할 수 있다. 다른 실시 예에 따라, 상기 메모리(1210)는 상기 저조도 개선 처리를 위한 소프트웨어 모듈을 저장하고, 상기 프로세서(1222)는 상기 소프트웨어 모듈을 실행할 수 있다. 즉, 상기 프로세서(1222)는 상기 도 9 내지 상기 도 11의 절차들을 수행한다. 또 다른 실시 예에 따라, 상기 저조도 개선 처리를 위한 별도의 하드웨어 블록이 구비될 수 있다. 또 다른 실시 예에 따라, 상기 저조도 개선 처리를 위한 기능은 상기 프로세서(1222) 및 별도의 프로세서에 분산되어 구현될 수 있다.

본 발명의 실시 예에 따라, 상기 프로세서(1222)는 다수의 프레임들을 결합함으로써 영상의 밝기를 높인다. 이때, 프로세서(1222)는 결합된 프레임에 대한 잡음 제거를 더 수행할 수 있다. 그리고, 상기 프로세서(1222)는 결합된 프레임을 프리뷰 및 인코딩을 위해 사용한다. 즉, 상기 터치 스크린(1233)은 상기 결합된 프레임을 상기 프리뷰 화면으로서 표시한다.

본 발명의 다른 실시 예에 따라, 상기 프로세서(1222)는 저조도 개선 처리를 위해 결합될 다수의 프레임들 각각을 분할한다. 이때, 분할은 미리 정의된 패턴에 따라 수행되거나, 또는, 프레임 내 영상에서 움직임이 존재하는 영역에 기초하여 수행될 수 있다. 이후, 상기 프로세서(1222)는 분할된 영역들 중 서로 다른 프레임들 간 움직임이 없는 영역들을 결합함으로써, 해당 영역의 밝기를 높인다. 이때, 특정 영역만을 고려할 때, 결합될 다수의 프레임들 중 일부 프레임들 간에만 움직임이 없는 경우, 상기 특정 영역에 대한 결합은 움직임이 없는 프레임들만을 이용하여 수행될 수 있다.

본 발명의 또 다른 실시 예에 따라, 상기 동영상 촬영이 시작되면, 상기 프로세서(1222)는 환경 요소 정보를 수집한다. 예를 들어, 상기 환경 요소는 입력되는 영상의 노출 값, 온도, 피사체의 움직임 여부 중 적어도 하나를 포함할 수 있다. 상기 전자 장치는 온도 센서를 구비할 수 있다. 이후, 상기 프로세서(1222)는 상기 환경 요소에 기초하여 저조도 개선 처리가 필요한지 여부를 판단하고, 상기 환경 요소에 따라 동작 파라미터를 설정한다. 이어, 상기 프로세서(1222)는 설정된 동작 파라미터에 따라 저조도 개선 처리를 수행한 후, 저조도 개선 처리된 프레임을 이용하여 프리뷰 화면 표시 및 인코딩을 수행한다.

본 발명에 따른 상기 전자 장치의 다양한 기능들은 적어도 하나의 스트림 프로세싱(processing), 어플리케이션 특정 집적 회로(ASIC: Application Specific Integrated Circuit)를 포함하는 하드웨어, 소프트웨어, 이들의 결합으로 실행될 수 있다.

본 발명의 청구항 또는 명세서에 기재된 실시 예들에 따른 방법들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합의 형태로 구현될(implemented) 수 있다.

소프트웨어로 구현하는 경우, 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 판독 가능 저장 매체에 저장되는 하나 이상의 프로그램은, 전자 장치(device) 내의 하나 이상의 프로세서에 의해 실행 가능하도록 구성된다(configured for execution). 하나 이상의 프로그램은, 전자 장치로 하여금 본 발명의 청구항 또는 명세서에 기재된 실시 예들에 따른 방법들을 실행하게 하는 명령어(instructions)를 포함한다.

이러한 프로그램(소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리 (random access memory), 플래시(flash) 메모리를 포함하는 불휘발성(non-volatile) 메모리, 롬(ROM: Read Only Memory), 전기적 삭제가능 프로그램가능 롬(EEPROM: Electrically Erasable Programmable Read Only Memory), 자기 디스크 저장 장치(magnetic disc storage device), 컴팩트 디스크 롬(CD-ROM: Compact Disc-ROM), 디지털 다목적 디스크(DVDs: Digital Versatile Discs) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(magnetic cassette)에 저장될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.

또한, 상기 프로그램은 인터넷(Internet), 인트라넷(Intranet), LAN(Local Area Network), WLAN(Wide LAN), 또는 SAN(Storage Area Network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(access)할 수 있는 부착 가능한(attachable) 저장 장치(storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 본 발명의 실시 예를 수행하는 장치에 접속할 수 있다. 또한, 통신 네트워크상의 별도의 저장장치가 본 발명의 실시 예를 수행하는 장치에 접속할 수도 있다.

상술한 본 발명의 구체적인 실시 예들에서, 발명에 포함되는 구성 요소는 제시된 구체적인 실시 예에 따라 단수 또는 복수로 표현되었다. 그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 본 발명이 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.

한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims

동영상 촬영이 가능한 전자 장치의 동작 방법에 있어서,
촬영 중인 동영상의 다수의 프레임들을 결합하는 과정과,
결합된 프레임을 프리뷰 화면으로서 표시하는 과정과,
상기 결합된 프레임을 인코딩하는 과정을 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
결합되는 상기 다수의 프레임들은, 상기 프리뷰 화면을 위해 생성된 프레임들을 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 다수의 프레임들을 결합하는 과정은,
상기 동영상 촬영 중 프레임이 발생할 때마다 상기 결합된 프레임을 생성하는 과정을 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 다수의 프레임들을 결합하는 과정은,
상기 동영상 촬영 중 연속적으로 발생하는 프레임들 중 설정된 개수의 입력 프레임들을 선택하는 과정과,
상기 입력 프레임들에 기초하여 하나의 출력 프레임을 생성하는 과정을 포함하는 것을 특징으로 하는 방법.
제4항에 있어서,
상기 입력 프레임들을 선택하는 과정은,
제1시점에 제1입력 프레임 집합을 선택하는 과정과,
제2시점에 상기 제1입력 프레임 집합의 일부 및 다른 적어도 하나의 입력 프레임을 선택하는 과정을 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 다수의 프레임들을 결합하는 과정은,
프리뷰를 위한 프레임 및 기록을 위한 프레임를 위한 경로로 상기 결합된 프레임을 출력하는 과정을 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 다수의 프레임들을 결합하는 과정은,
프리뷰를 위한 프레임을 위한 제1경로에서 추출된 프레임들을 결합하고, 상기 제1경로로 결합된 프레임을 출력하는 과정과,
기록을 위한 프레임을 위한 제2경로에서 추출된 프레임들을 결합하고, 상기 제2경로로 결합된 프레임을 출력하는 과정을 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 다수의 프레임들을 결합하는 과정은,
프리뷰를 위한 프레임을 위한 제1경로에서 추출된 프레임들을 결합하는 과정과,
상기 제1경로로 상기 결합된 프레임을 출력하는 과정과,
상기 결합된 프레임을 복사하는 과정과,
기록을 위한 프레임을 위한 제2경로로 복사된 프레임을 출력하는 과정을 포함하는 것을 특징으로 하는 방법.
제8항에 있어서,
상기 다수의 프레임들을 결합하는 과정은,
상기 복사된 프레임에 대하여 상기 기록을 위한 프레임으로서 사용되기 위한 처리를 수행하는 과정을 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 다수의 프레임들을 결합하는 과정은,
상기 다수의 프레임들 각각을 다수의 영역들로 분할하는 과정과,
상기 영역들 중 서로 다른 프레임들 간 움직임이 없는 영역들을 결합하는 과정을 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
환경 요소에 기초하여 상기 프레임들의 결합 여부를 판단하는 과정을 더 포함하며,
상기 환경 요소는, 입력되는 영상의 노출 값(EV: Exposure Value), 온도(temperature), 피사체의 움직임(movement) 여부 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
환경 요소에 기초하여 상기 프레임들의 결합에 대한 동작 파라미터를 설정하는 과정을 더 포함하며,
상기 환경 요소는, 입력되는 영상의 노출 값, 온도, 피사체의 움직임 여부 중 적어도 하나를 포함하고,
상기 동작 파라미터는, 결합에 사용되는 프레임의 개수, 잡음 제거 수행 여부, 잡음 제거를 위한 필터 윈도우 크기, 시간적 잡음 제거에 사용되는 프레임 개수, 노출 강화의 양 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
제12항에 있어서,
상기 동작 파라미터는, 상기 온도가 높을수록, 상기 결합의 강도가 낮아지도록 설정되는 것을 특징으로 하는 방법.
제12항에 있어서,
상기 동작 파라미터는, 상기 노출 값이 높을수록, 상기 결합의 강도가 낮아지도록 설정되는 것을 특징으로 하는 방법.
제12항에 있어서,
상기 동작 파라미터는, 상기 피사체의 움직임이 많을수록, 상기 결합의 강도가 낮아지도록 설정되는 것을 특징으로 하는 방법.
제12항에 있어서,
상기 동작 파라미터는, 상기 피사체가 움직이는 경우, 상기 잡음 제거가 수행되지 아니하도록 설정되는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 결합된 프레임에 대한 잡음 제거를 수행하는 과정을 더 포함하는 것을 특징으로 하는 방법.
동영상 촬영이 가능한 전자 장치에 있어서,
촬영 중인 동영상의 다수의 프레임들을 결합하고, 결합된 프레임을 인코딩하는 프로세서와,
상기 결합된 프레임을 프리뷰 화면으로서 표시하는 표시부를 포함하는 것을 특징으로 하는 장치.
제18항에 있어서,
결합되는 상기 다수의 프레임들은, 상기 프리뷰 화면을 위해 생성된 프레임들을 포함하는 것을 특징으로 하는 장치.
제18항에 있어서,
상기 프로세서는, 상기 동영상 촬영 중 프레임이 발생할 때마다 상기 결합된 프레임을 생성하는 것을 특징으로 하는 장치.
제18항에 있어서,
상기 프로세서는, 상기 동영상 촬영 중 연속적으로 발생하는 프레임들 중 설정된 개수의 입력 프레임들을 선택하고, 상기 입력 프레임들에 기초하여 하나의 출력 프레임을 생성하는 것을 특징으로 하는 장치.
제21항에 있어서,
상기 프로세서는, 제1시점에 제1입력 프레임 집합을 선택하고, 제2시점에 상기 제1입력 프레임 집합의 일부 및 다른 적어도 하나의 입력 프레임을 선택하는 것을 특징으로 하는 장치.
제18항에 있어서,
상기 프로세서는, 프리뷰를 위한 프레임 및 기록을 위한 프레임를 위한 경로로 상기 결합된 프레임을 출력하는 것을 특징으로 하는 장치.
제18항에 있어서,
상기 프로세서는, 프리뷰를 위한 프레임을 위한 제1경로에서 추출된 프레임들을 결합하고, 상기 제1경로로 결합된 프레임을 출력하고, 기록을 위한 프레임을 위한 제2경로에서 추출된 프레임들을 결합하고, 상기 제2경로로 결합된 프레임을 출력하는 것을 특징으로 하는 장치.
제18항에 있어서,
상기 프로세서는, 프리뷰를 위한 프레임을 위한 제1경로에서 추출된 프레임들을 결합하고, 상기 제1경로로 상기 결합된 프레임을 출력하고, 상기 결합된 프레임을 복사하고, 기록을 위한 프레임을 위한 제2경로로 복사된 프레임을 출력하는 것을 특징으로 하는 장치.
제25항에 있어서,
상기 프로세서는, 상기 복사된 프레임에 대하여 상기 기록을 위한 프레임으로서 사용되기 위한 처리를 수행하는 것을 특징으로 하는 장치.
제18항에 있어서,
상기 프로세서는, 상기 다수의 프레임들 각각을 다수의 영역들로 분할하고, 상기 영역들 중 서로 다른 프레임들 간 움직임이 없는 영역들을 결합하는 것을 특징으로 하는 장치.
제18항에 있어서,
상기 프로세서는, 환경 요소에 기초하여 상기 프레임들의 결합 여부를 판단하며,
상기 환경 요소는, 입력되는 영상의 노출 값(EV: Exposure Value), 온도(temperature), 피사체의 움직임(movement) 여부 중 적어도 하나를 포함하는 것을 특징으로 하는 장치.
제18항에 있어서,
상기 프로세서는, 환경 요소에 기초하여 상기 프레임들의 결합에 대한 동작 파라미터를 설정하며,
상기 환경 요소는, 입력되는 영상의 노출 값, 온도, 피사체의 움직임 여부 중 적어도 하나를 포함하고,
상기 동작 파라미터는, 결합에 사용되는 프레임의 개수, 잡음 제거 수행 여부, 잡음 제거를 위한 필터 윈도우 크기, 시간적 잡음 제거에 사용되는 프레임 개수, 노출 강화의 양 중 적어도 하나를 포함하는 것을 특징으로 하는 장치.
제29항에 있어서,
상기 동작 파라미터는, 상기 온도가 높을수록, 상기 결합의 강도가 낮아지도록 설정되는 것을 특징으로 하는 장치.
제29항에 있어서,
상기 동작 파라미터는, 상기 노출 값이 높을수록, 상기 결합의 강도가 낮아지도록 설정되는 것을 특징으로 하는 장치.
제29항에 있어서,
상기 동작 파라미터는, 상기 피사체의 움직임이 많을수록, 상기 결합의 강도가 낮아지도록 설정되는 것을 특징으로 하는 장치.
제29항에 있어서,
상기 동작 파라미터는, 상기 피사체가 움직이는 경우, 상기 잡음 제거가 수행되지 아니하도록 설정되는 것을 특징으로 하는 장치.
제18항에 있어서,
상기 프로세서는, 상기 결합된 프레임에 대한 잡음 제거를 수행하는 것을 특징으로 하는 장치.
동영상 촬영이 가능한 전자 장치에 있어서,
적어도 하나의 프로세서와,
상기 적어도 하나의 프로세서에 의해 실행되는 소프트웨어 모듈을 저장하는 메모리를 포함하며,
상기 소프트웨어 모듈은, 촬영 중인 동영상의 다수의 프레임들을 결합하고, 결합된 프레임을 프리뷰 화면으로서 표시하고, 상기 결합된 프레임을 인코딩하는 명령어 집합을 포함하는 것을 특징으로 하는 장치.