KR20120081514A

KR20120081514A - 동영상 촬영 방법 및 장치

Info

Publication number: KR20120081514A
Application number: KR1020110002881A
Authority: KR
Inventors: 김은영; 이장원
Original assignee: 삼성전자주식회사
Priority date: 2011-01-11
Filing date: 2011-01-11
Publication date: 2012-07-19
Also published as: GB201121698D0; GB2487456A; GB2487456B; US20120176505A1

Abstract

본 발명은 동영상 촬영 방법 및 장치에 관한 것으로, 본 발명의 일 실시 예에 따른 동영상 촬영 방법은 영상을 초점 영역과 배경 영역으로 구분하고, 각각 다른 프레임 레이트로 촬영하여 저장하고, 각각 저장한 영상들을 합성함으로써, 초고속 동영상 촬영시 발생하는 해상도 제약사항을 개선할 수 있다.

Description

동영상 촬영 방법 및 장치{Moving picture photographing control method and apparatus}

본 발명은 동영상 촬영 방법 및 장치에 관한 것이다.

초고속 동영상 촬영은 재생하는 fps(frame per second)보다 더 많은 프레임을 촬영하여 기록하는 기술로서, 예를 들면 1000fps의 초고속 동영상 촬영의 경우, 1ms(milisecond)에 최소 1 프레임이 인코딩되어야 한다. 한편, 초고속 동영상 촬영은 센서의 스펙에 따라 기록 해상도가 결정되기 때문에 초고속 동영상 촬영 시 사용자는 해상도를 자유롭게 선택할 수 없다.

본 발명의 일 실시 예는 초고속 동영상을 촬영하는 경우 발생하는 해상도 제약사항을 개선하여 높은 해상도로 동영상 촬영이 가능하고, 사용자는 별도의 조작 없이도 편리하게 움직이는 피사체를 중심으로 초고속 촬영이 가능한 동영상 촬영 방법 및 장치를 제공하는 것이다.

상기 기술적 과제를 달성하기 위한, 본 발명의 일 실시 예에 따른 동영상 촬영 방법은 입력 영상을 제1 프레임 레이트로 촬영하는 제1 촬영 단계; 상기 입력 영상에서 움직이는 피사체를 검출하는 단계; 상기 검출한 피사체를 포함하는 초점 영역을 제2 프레임 레이트로 촬영하는 제2 촬영 단계; 및 상기 제1 프레임 레이트로 촬영한 제1 영상과 상기 제2 프레임 레이트로 촬영한 제2 영상을 합성하는 단계를 포함한다.

상기 동영상 촬영 방법은 상기 피사체의 속도에 따라 상기 입력 영상을 촬영하는 프레임 레이트를 가변적으로 설정하는 것을 특징으로 한다.

상기 동영상 촬영 방법은 상기 제1 영상을 제1 버퍼에 저장하는 단계; 및 상기 제2 영상을 제2 버퍼에 저장하는 단계를 더 포함하는 것을 특징으로 한다.

상기 동영상 촬영 방법은 상기 합성한 영상을 기록매체에 기록하는 단계를 더 포함하는 것을 특징으로 한다.

상기 동영상 촬영 방법은 상기 검출한 피사체의 속도를 판단하는 단계; 및 상기 피사체의 속도가 제1 임계값이상인 경우, 상기 피사체를 포함하는 초점 영역을 설정하는 단계를 더 포함하는 것을 특징으로 한다.

상기 제1 촬영 단계는 상기 입력 영상을 상기 제1 프레임 레이트로 일정 프레임 동안 촬영하는 것을 특징으로 한다.

상기 제1 영상은 상기 초점 영역을 제외한 배경 영역을 포함하는 영상인 것을 특징으로 한다.

상기 동영상 촬영 방법은 상기 제1 영상에서 움직이는 피사체가 검출된 경우, 상기 초점 영역을 갱신하는 단계를 더 포함하는 것을 특징으로 한다.

상기 다른 기술적 과제를 달성하기 위한, 본 발명의 다른 실시 예에 따른 동영상 촬영 방법은 입력 영상에서 움직이는 피사체를 검출하는 단계; 상기 검출한 피사체의 속도에 따라 상기 입력 영상을 촬영하는 프레임 레이트를 설정하는 단계; 및 상기 설정한 프레임 레이트에 따라 상기 입력 영상을 촬영하는 단계를 포함한다.

상기 동영상 촬영 방법은 상기 검출한 피사체를 포함하는 초점 영역을 설정하는 단계를 더 포함하고,

상기 설정 단계는 상기 초점 영역에 대해 미리 설정된 프레임 레이트보다 빠른 프레임 레이트로 설정하는 것을 특징으로 한다.

상기 동영상 촬영 방법은 상기 입력 영상에서 움직이는 피사체를 포함하는 초점 영역 및 상기 초점 영역을 제외한 배경 영역을 각각 설정하는 단계; 상기 배경 영역에 대해 제1 프레임 레이트로 촬영한 제1 영상을 저장하는 단계; 상기 초점 영역에 대해 제1 프레임 레이트보다 빠른 제2 프레임 레이트로 촬영한 제2 영상을 저장하는 단계; 및 상기 제1 영상 및 상기 제2 영상을 합성하는 단계를 포함한다.

상기 또 다른 기술적 과제를 달성하기 위한, 본 발명의 또 다른 실시 예에 따른 동영상 촬영 장치는 입력 영상을 서로 다른 프레임 레이트로 촬영하는 적어도 2 이상의 센서 모드를 구비한 이미지 센서; 및 상기 입력 영상에서 움직이는 피사체를 검출하고, 상기 검출한 피사체를 포함하는 초점 영역에 대해 미리 설정된 프레임 레이트보다 빠른 프레임 레이트로 촬영하도록 제어하는 디지털 신호 처리부를 포함한다.

상기 이미지 센서는 상기 입력 영상을 제1 프레임 레이트로 촬영하는 제1 센서 모드; 및 상기 초점 영역을 제2 프레임 레이트로 촬영하는 제2 센서 모드를 포함하는 것을 특징으로 한다.

상기 동영상 촬영 장치는 상기 입력 영상을 제1 프레임 레이트로 촬영한 제1 영상을 저장하는 제1 버퍼; 및 상기 초점 영역을 제2 프레임 레이트로 촬영한 제2 영상을 저장하는 제2 버퍼를 더 포함하고,

상기 디지털 신호 처리부는 상기 제1 버퍼에 저장한 제1 영상 및 상기 제2 버퍼에 저장한 제2 영상을 합성하는 것을 특징으로 한다.

상기 디지털 신호 처리부는 상기 입력 영상에서 움직이는 피사체를 검출하는 움직임 검출부; 상기 검출한 피사체의 속도가 제1 임계값이상인 경우, 상기 피사체를 포함하는 초점 영역을 설정하는 초점 영역 제어부; 상기 피사체의 속도에 따라 상기 초점 영역을 촬영하는 프레임 레이트를 설정하는 프레임 레이트 설정부; 및 상기 설정한 프레임 레이트에 따라 상기 이미지 센서의 센서 모드를 결정하는 센서 제어부를 포함하는 것을 특징으로 한다.

상기 이미지 센서는 상기 입력 영상을 제1 프레임 레이트로 촬영하는 제1 센서 모드; 및 상기 초점 영역을 제2 프레임 레이트로 촬영하는 제2 센서 모드를 구비하고,

상기 디지털 신호 처리부는 상기 제1 프레임 레이트로 촬영한 제1 영상을 제1 버퍼에 저장하고, 상기 제2 프레임 레이트로 촬영한 제2 영상을 제2 버퍼에 저장하도록 제어하는 메모리 제어부를 더 포함하는 것을 특징으로 한다.

상기 디지털 신호 처리부는 상기 제1 버퍼에 저장한 제1 영상 및 상기 제2 버퍼에 저장한 제2 영상을 합성하는 영상 합성부를 더 포함하는 것을 특징으로 한다.

상기 디지털 신호 처리부는 상기 피사체의 속도에 따라 상기 입력 영상을 촬영하는 프레임 레이트를 가변적으로 설정하는 것을 특징으로 한다.

본 발명의 일 실시 예에 따른 동영상 촬영 장치는 초고속 동영상을 촬영하는 경우 발생하는 해상도 제약사항을 개선하여 높은 해상도로 동영상 촬영이 가능하다.

또한, 사용자는 별도의 조작 없이도 편리하게 움직이는 피사체를 중심으로 초고속 촬영이 가능하며, 효율적으로 메모리를 사용하여 더 많은 동영상을 저장할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 동영상 촬영 장치의 일 예로 디지털 카메라(100)의 개략적인 구조를 도시한 도면이다.
도 2는 도 1에 도시된 디지털 신호 처리부(200)와 주변장치를 나타낸 상세 블록 도이다.
도 3은 본 발명의 다른 실시 예에 따른 제1 버퍼(141)와 제2 버퍼(142)에 저장한 동영상 프레임들을 설명하기 위한 도면이다.
도 4는 본 발명의 또 다른 실시 예에 따른 동영상 촬영 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 또 다른 실시 예에 따른 동영상 촬영 결과 화면을 설명하기 위한 도면이다.
도 6은 본 발명의 또 다른 실시 예에 다른 동영상 촬영 방법을 설명하기 위한 도면이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 본 발명의 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 일 실시 예에 따른 동영상 촬영 장치의 일 예로 디지털 카메라(100)의 개략적인 구조를 도시한 도면이다.

본 발명의 일 실시 예에 관한 동영상 촬영 장치로서 디지털 카메라(100)를 설명한다. 그러나 상기 동영상 촬영 장치가 도 1에 한정되는 것은 아니며, 카메라폰, PDA(personal digital assistant), PMP(portable multimedia player), 캠코더 등의 디지털 기기에도 적용될 수 있다.

디지털 카메라(100)는 렌즈부(110), 렌즈부 구동부(111), 조리개(112), 조리개 구동부(113), 이미지 센서(115), 프로그램 저장부(130), 버퍼(140), 데이터 저장부(150), 디스플레이 구동부(162), 디스플레이부(160), 디지털 신호 처리부(200), 및 조작부(170)를 포함할 수 있다. 여기서 렌즈부(110), 렌즈부 구동부(111), 조리개(112), 조리개 구동부(113), 이미지 센서(115)는 촬상부로 지칭할 수 있다.

렌즈부(110)(lens unit)는 광학 신호를 집광한다. 렌즈부(110)는 초점 거리(focal length)에 따라 화각이 좁아지거나 또는 넓어지도록 제어하는 줌 렌즈 및 피사체의 초점을 맞추는 포커스 렌즈 등을 포함하며, 줌 렌즈 및 피사체 렌즈는 각각 하나의 렌즈로 구성될 수도 있지만, 복수의 렌즈들의 군집으로 이루어질 수도 있다.

조리개(112)는 그 개폐 정도를 조절하여 입사광의 광량을 조절한다.

렌즈부 구동부(111) 및 조리개 구동부(113)는 디지털 신호 처리부(200)로부터 제어 신호를 제공받아, 각각 렌즈(110) 및 조리개(112)를 구동한다. 렌즈부 구동부(111)는 렌즈의 위치를 조절하여 초점 거리를 조절하고, 오토 포커싱, 줌 변경, 초점 변경들의 동작을 수행한다. 조리개 구동부(113)는 조리개의 개폐 정도를 조절하고, 특히 f 넘버 또는 조리개 값을 조절하여 오토 포커스, 자동 노출 보정, 초점 변경, 피사계 심도 조절 등의 동작을 수행한다.

렌즈부(110)를 투과한 광학 신호는 이미지 센서(115)의 수광면에 이르러 피사체의 상을 결상한다. 상기 이미지 센서(115)는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device), CIS(Complementary Metal Oxide Semiconductor Image Sensor) 또는 고속 이미지 센서 등을 포함할 수 있다. 이와 같은 이미지 센서(115)는 디지털 신호 처리부(200)에 의해 제어된다. 본 발명의 일 실시 예에서, 이미지 센서(115)는 적어도 2개 이상의 센서 모드를 구비할 수 있다. 이미지 센서(115)는 일반 동영상 촬영을 할 수 있는 모드와 고속 또는 초고속 동영상을 촬영할 수 있는 모드를 구비한다. 예를 들면 초당 30, 240, 480, 1000프레임을 촬영할 수 있는 모드들을 구비할 수 있다. 여기서 설명된 프레임 레이트는 예시적인 것으로 그 숫자에 한정되는 것은 아니다. 이러한 센서 모드는 디지털 신호 처리부(200)의 센서 모드 제어 신호에 의해 센서 모드가 변경된다.

이미지 센서(115)의 노광 시간은 셔터(미도시)로 조절된다. 셔터는 가리개의 이동하여 빛의 입사를 조절하는 기계식 셔터와, 이미지 센서(115)에 전기 신호를 공급하여 노광을 제어하는 전자식 셔터가 있다.

조작부(170)는 사용자가 제어 신호를 입력할 수 있는 유닛이다. 상기 조작부(170)는 정해진 시간 동안 이미지 센서(115)를 빛에 노출하여 사진을 촬영하는 셔터-릴리즈 신호를 입력하는 셔터-릴리즈 버튼, 전원의 온-오프를 제어하기 위한 제어 신호를 입력하는 전원 버튼, 입력에 따라 화각을 넓어지게 하거나 화각을 좁아지게 하는 광각-줌 버튼 및 망원-줌 버튼과, 문자 입력 또는 촬영 모드, 재생 모드 등의 모드 선택, 화이트 밸런스 설정 기능 선택, 노출 설정 기능 선택 등의 다양한 기능 버튼들을 포함할 수 있다. 또한, 본 발명의 일 실시 예에 따른 동영상 촬영을 위한 별도의 동영상 촬영 버튼을 구비할 수 있으며, 동영상 또는 초고속 동영상 촬영 모드 다이얼을 구비하고, 셔터 릴리즈 버튼의 조작을 통해 동영상 또는 초고속 동영상을 촬영한다. 조작부(170)는 상기와 같이 다양한 버튼의 형태를 가질 수도 있지만, 이에 한정되는 것은 아니며, 키보드, 터치 패드, 터치스크린, 원격 제어기 등과 같이 사용자가 입력할 수 있는 어떠한 형태로 구현되어도 무방하다.

디지털 카메라(100)는 이를 구동하는 운영 시스템, 응용 시스템 등의 프로그램을 저장하는 프로그램 저장부(130), 연산 수행 중에 필요한 데이터 또는 결과 데이터들을 임시로 저장하는 버퍼(140), 영상 신호를 포함하는 이미지 파일을 비롯하여 상기 프로그램에 필요한 다양한 정보들을 저장하는 데이터 저장부(150)를 포함한다. 본 발명의 일 실시 예에 따라 촬영한 동영상 데이터 또는 동영상 프레임들 버퍼(140)에 일시적으로 저장된다.

아울러, 상기 디지털 카메라(100)는 이의 동작 상태 또는 상기 디지털 카메라(100)에서 촬영한 정지 영상 또는 촬영한 동영상을 표시하도록 디스플레이부(160)를 포함한다. 디스플레이부(160)는 시각적인 정보 및 청각적인 정보를 사용자에게 제공할 수 있다. 시각적인 정보를 제공하기 위해 디스플레이부(160)는 예를 들면, 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED) 등으로 이루어질 수 있다. 디스플레이 구동부(162)는 디스플레이부(160)에 구동 신호를 제공한다.

그리고 상기 디지털 카메라(100)는 입력되는 영상 신호를 처리하고, 이에 따라 또는 외부 입력 신호에 따라 각 구성부들을 제어하는 디지털 신호 처리부(200)(Digital signal processing, DSP)를 포함한다. 디지털 신호 처리부(200)는 입력된 영상 데이터에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행할 수 있다. 또한, 화질 개선을 위한 영상 신호 처리를 하여 생성한 영상 데이터를 압축 처리하여 동영상 파일을 생성한다. 영상의 압축형식은 가역 형식 또는 비가역 형식이어도 된다. 압축한 데이터가 상기 데이터 저장부(150)에 저장될 수 있다. 또한, 디지털 신호 처리부(200)에서는 기능적으로 선명 처리, 색채 처리, 블러 처리, 엣지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 행할 수 있다.

또한, 디지털 신호 처리부(200)는 프로그램 저장부(130)에 저장된 프로그램을 실행하거나, 별도의 모듈을 구비하여, 오토 포커싱, 줌 변경, 초점 변경, 자동 노출 보정 등을 제어하기 위한 제어 신호를 생성하여, 렌즈부 구동부(111), 조리개 구동부(113), 및 이미지 센서 제어부(116)에 제공하고, 셔터, 플래시 등 디지털 카메라(100)에 구비된 구성 요소들의 동작을 총괄적으로 제어할 수 있다.

도 2는 도 1에 도시된 디지털 신호 처리부(200)와 주변 장치들을 나타낸 상세 블록 도이다.

도 2를 참조하면, 디지털 신호 처리부(200)는 움직임 검출부(210), 초점 영역 제어부(220), 프레임 레이트 설정부(230), 센서 제어부(240), 메모리 제어부(250) 및 영상 합성부(260)를 포함한다. 이미지 센서(115)는 제1 센서 모드(116)와 제2 센서 모드(117)를 포함하며, 디지털 신호 처리부(200)에 촬영한 프레임들을 출력하고, 디지털 신호 처리부(200)의 제어에 따라 센서 모드를 변경한다. 제1 버퍼(141)와 제2 버퍼(141)는 촬영된 프레임들을 일시적으로 저장한다. 예를 들면 제1 버퍼(141)는 제1 센서 모드(116)로 촬영한 프레임들을 저장하고, 제2 버퍼(142)는 제2 센서 모드(117)로 촬영한 프레임들을 저장한다. 여기서, 제1 버퍼(141)와 제2 버퍼(142)는 물리적으로 구분되어 있거나 동일한 버퍼의 메모리 영역 내에서 구분되어 있을 수 있다. 기록매체(270)는 초고속 동영상 촬영 파일을 저장한다.

디지털 신호 처리부(200)는 이미지 센서(115)에서 촬영된 동영상을 프레임 단위로 영상 처리하여 기록매체(270)에 저장한다.

움직임 검출부(210)는 이미지 센서(115)를 통해 입력된 영상에서 움직이는 피사체를 검출한다. 피사체 검출은 객체 검출 기법을 통해 피사체를 찾아내고, 검출한 피사체의 움직임을 검출한다. 여기서, 입력 영상은 일정 프레임 개수의 동영상 데이터이다. 움직임 검출은 연속하는 프레임들의 움직임 벡터(motion vector)를 계산하여 움직임을 검출하거나, 영상의 수평 및 수직 변화율을 고려하여 계산하거나, 전후 프레임들 차 영상으로부터 확률 계산을 통해 계산할 수 있다. 여기서, 움직임 검출은 다양한 공지기술들이 존재하며, 그 방법에 한정되지는 않는다.

초점 영역 제어부(220)는 입력 영상에서 움직이는 피사체를 검출한 경우, 피사체를 포함하는 영역을 초점 영역으로 설정한다. 구체적으로, 검출한 피사체의 속도를 판단하고, 피사체의 속도가 제1 임계값이상인 경우, 피사체를 포함하는 초점 영역을 설정한다. 여기서, 피사체 속도는 연속하는 프레임들에 존재하는 피사체의 움직임 거리를 기초로 계산할 수 있으며, 제1 임계값은 피사체가 빠르게 움직이고 있어서 이에 따라 현재 프레임 레이트로 촬영이 적합하지 않은 경우에 더 빠른 프레임 레이트로 설정하기 위한 기준 값이다. 또한, 본 발명의 일 실시 예에서는 일반적인 동영상 촬영 중에, 빠르게 움직이는 피사체가 나타난 경우에 피사체 부분만을 초점 영역으로 설정하여 현재 설정되어 있는 프레임 레이트보다 빠른 초고속 동영상 촬영에 적합한 프레임 레이트, 예를 들면 30fps로 촬영 중에 빠르게 움직이는 피사체를 검출한 경우, 해당 피사체를 포함하는 초점 영역만을 1000fps로 변경하여 촬영한다. 따라서, 해당 초점 영역만을 초고속 동영상으로 촬영하기 때문에 처리할 수 있는 데이터량을 제약을 극복하고 높은 해상도로 촬영이 가능하며, 갑자기 나타났다 사라지는 피사체를 놓치지 않고 촬영할 수 있다.

프레임 레이트 설정부(230)는 판단한 피사체의 속도에 따라 초점 영역을 촬영하는 프레임 레이트를 설정한다. 여기서, 프레임 레이트는 30fps, 240fps, 480fps, 1000fps 등으로 이미지 센서(115)의 스펙에 따라 다양하게 구비될 수 있다. 예를 들면 피사체의 속도가 아주 빠른 경우에는 프레임 레이트를 1000fps로 설정하고, 피사체의 속도가 빠른 경우에는 프레임 레이트를 480fps로 설정할 수 있다.

센서 제어부(240)는 프레임 레이트 설정부(230)에서 설정한 프레임 레이트에 맞도록 이미지 센서(115)의 센서 모드를 변경한다. 도 2에 도시된 것처럼, 이미지 센서(115)는 제1 센서 모드(116)와 제2 센서 모드(117) 2개를 구비한 것으로 한정하여 설명한다. 여기서, 제1 센서 모드(116)는 30fps로 촬영하는 일반 동영상 모드이고, 제2 센서 모드(117)는 1000fps로 촬영하는 초고속 동영상 모드이다. 현재 촬영 모드는 일반 동영상 모드로 제1 센서 모드(116)로 초당 30프레임으로 동영상을 촬영하다가, 입력 영상에서 움직이는 피사체를 검출한 경우, 특히 피사체의 속도가 아주 빠른 경우에, 센서 제어부(240)는 현재 설정되어 있는 제1 센서 모드(116)를 제2 센서 모드(117)로 변경하도록 하는 센서 모드 제어 신호를 출력한다. 그리고 이미지 센서(115)는 제2 센서 모드(117)에 따라 초점 영역 제어부(220)에서 설정된 초점 영역, 즉 움직이는 피사체를 포함하는 영역을 촬영한다.

메모리 제어부(250)는 이미지 센서(115)의 각각의 센서 모드(116 및 117)에 따라 촬영한 프레임들을 각각의 버퍼들(141 및 142)에 저장하도록 제어한다. 예를 들면 제1 센서 모드인 30fps로 촬영한 영상 프레임들을 제1 버퍼(141)에 저장하고, 제2 센서 모드인 1000fps로 촬영한 영상 프레임들을 제2 버퍼(142)에 저장하도록 제어한다. 여기서, 제1 버퍼(141)와 제2 버퍼(142)는 물리적으로 구분되어 있거나 또는 하나의 버퍼에 저장 영역을 달리할 수도 있다.

영상 합성부(260)는 제1 버퍼(141)에 저장한 영상 프레임들과 제2 버퍼(142)에 저장한 영상 프레임들을 합성한다. 그리고 합성한 영상 프레임들을 기록매체(270)에 저장한다. 여기서, 제1 버퍼(141)에 저장한 영상 프레임들은, 예를 들면 30 fps로 촬영한 프레임들이고, 제2 버퍼(142)에 저장한 영상 프레임들은, 예를 들면 1000fps로 촬영한 피사체를 포함하는 프레임들이다. 본 발명의 일 실시 예는, 움직이는 피사체 대비 주변의 움직임은 거의 없거나 움직임이 있다고 하더라도 움직이는 피사체에 비하여 그 속도가 굉장히 느린 경우이므로, 움직임이 없는 영역에 대해서는 일반 동영상 촬영을 수행하여 저장한다. 즉, 한 번에 처리할 수 있는 데이터 량에 한계가 있는 현재 전체 영역에 대하여 초고속으로 촬영을 하지 않는다. 본 발명의 일 실시 예는 영상을 초점 영역과 배경 영역으로 구분하여 각각 다른 프레임 레이트를 적용함으로써 초고속 동영상 촬영 시 발생하는 해상도 제약사항을 개선하여 보다 큰 해상도로 동영상 촬영이 가능하다.

도 3은 본 발명의 다른 실시 예에 따른 제1 버퍼(141)와 제2 버퍼(142)에 저장한 동영상 프레임들을 설명하기 위한 도면이다.

도 3을 참조하면, 동영상 촬영이 시작되면, 현재 설정되어 있는 프레임 레이트, 예를 들면 30fps로 영상을 촬영하고, 제1 버퍼(141)에는 30fps로 촬영한 프레임들(310)이 저장된다. 디지털 신호 처리부(200)는 촬영한 프레임들(310)을 분석하여 움직이는 피사체를 검출하고, 피사체의 속도를 판단하여 센서 모드 변경 여부를 결정한다. 즉, 촬영한 프레임들(310)에서 움직이는 피사체를 검출한 경우, 특히 빠르게 움직이는 피사체를 검출한 경우에는 피사체를 포함하는 초점 영역을 설정하고, 센서 모드를 변경한다.

센서 모드 변경 타이밍에서, 1000fps로 촬영한 프레임들(320)이 저장된다. 여기서, 저장된 프레임들(320)은 초점 영역, 즉 움직이는 피사체를 따라가면서 촬영한 영상들이고, 초점 영역을 제외한 배경 영역들은 촬영되지 않는다. 그리고 다음 센서 모드 변경 타이밍에서, 다시 제1 버퍼(141)에 30fps로 촬영된 프레임들(310)이 저장된다. 여기서, 빠르게 움직이는 피사체가 화면상에서 사라진 경우, 센서 모드를 다시 변경하여 불필요한 메모리 사용을 줄인다.

도 4는 본 발명의 또 다른 실시 예에 따른 동영상 촬영 방법을 설명하기 위한 흐름도이다.

도 4를 참조하면, 단계 400에서, 입력 영상에서 움직이는 피사체를 검출한다. 입력 영상의 프레임들을 분석하여 피사체를 검출하고, 피사체의 움직임을 검출한다. 단계 402에서, 피사체의 속도를 측정한다. 입력 영상의 프레임들에서 검출한 피사체의 움직임 벡터를 이용해서 피사체의 속도를 판단한다. 단계 404에서, 초점 영역을 설정한다. 움직이는 피사체를 포함하는 영역을 초점 영역으로 설정한다. 단계 406에서, 프레임 레이트를 설정한다. 피사체의 속도가 빠르다고 판단하는 경우, 즉 현재 프레임 레이트로 촬영이 어렵다고 판단하는 경우에는 현재 프레임 레이트보다 빠른 프레임 레이트를 설정한다. 단계 408에서, 초점 영역인 경우에는 단계 410에서, 초점 영역에서 피사체를 촬영하고, 단계 412에서, 제2 버퍼에 저장한다. 단계 406에서 설정한 프레임 레이트로 움직이는 피사체를 포함하는 초점 영역을 촬영하여 제2 버퍼에 저장한다.

단계 408에서, 초점 영역이 아닌 경우에는 단계 414에서, 초점 영역을 제외한 영역을 배경 영역으로 설정하고, 단계 416에서, 배경 영역을 촬영하여 제1 버퍼에 저장한다. 배경 영역은 움직임이 없거나 현재 프레임 레이트로 촬영할 수 있는 영역이므로 현재 설정되어 있는 프레임 레이트로 촬영하여 제1 버퍼에 저장한다.

단계 418에서, 제1 버퍼와 제2 버퍼에 저장된 영상들을 합성한다. 단계 412에서 제2 버퍼에 저장한 초점 영역에 대해 초고속으로 촬영한 영상들과, 단계 416에서, 배경 영역을 일반 속도로 촬영한 영상들을 합성한다. 여기서, 배경 영역만을 촬영하는 것으로 설명하였지만, 피사체를 포함한 전체 영역을 촬영한 영상들을 포함하며, 여기에, 초점 영역 부분만을 제2 버퍼에 저장한 영상들로 대체하여 합성할 수도 있다. 도 5에 도시된 바와 같이, 도면 번호 510은 초고속으로 촬영한 초점 영역을 나타내고, 도면 번호 520은 일반 속도 촬영한 배경 영역을 나타낸다. 도면번호 510에는 피사체가 빠른 속도로 움직이고 있으므로, 초고속 촬영을 하여 움직임을 따라가면서 촬영한 화면이지만, 배경 부분은 움직임이 없으므로 일반 촬영을 하여, 전체 영역을 모두 초고속으로 촬영한 경우의 해상도 제약을 받지 않는다.

도 6은 본 발명의 또 다른 실시 예에 다른 동영상 촬영 방법을 설명하기 위한 도면이다.

도 6을 참조하면, 단계 600에서, 동영상을 촬영한다. 여기서, 동영상 촬영 모드는 초고속 동영상 촬영 모드일 수 있으며, 사용자의 동영상 촬영 버튼을 누르거나, 동영상 촬영 모드에서 셔터 릴리즈 버튼을 눌러서 동영상 촬영이 시작된다. 단계 602에서, 제1 센서 모드로 전체 영역을 촬영한다. 동영상의 촬영의 시작 단계에서는 제1 센서 모드, 예를 들면 30fps로 전체 영역을 일정 프레임 또는 일정 시간 동안 촬영한다. 단계 604에서, 움직이는 피사체를 검출한다. 단계 608에서, 피사체 속도가 제1 임계값보다 큰지 판단한다. 여기서, 제1 임계값은 임의로 설정할 수 있는 값으로, 피사체 속도가 빠른 경우 현재 설정된 프레임 레이트, 즉 30fps로 촬영할 수 있는지를 판단하는 기준값이다. 단계 604에서 현재 입력 프레임들에서 움직이는 피사체가 없는 경우에는 단계 606에서, 촬영한 영상들을 제1 버퍼에 저장하고, 단계 606에서, 피사체 속도가 제1 임계값보다 작은 경우에도 단계 606에서, 제1 버퍼에 저장한다. 즉, 입력 영상 프레임들을 분석하여 움직이는 피사체가 없거나 움직이는 피사체가 있더라도, 피사체의 속도로 판단하여 현재 설정된 프레임 레이트로 촬영할 수 있는 경우에는 그대로 전체 영역을 촬영한 영상들을 제1 버퍼에 저장한다. 하지만, 제1 버퍼에 저장된 배경 영역들을 촬영한 영상들에서 움직임이 발생한 경우, 이를 갱신하여 저장할 수도 있다.

단계 610에서, 피사체를 중심으로 초점 영역을 설정한다. 단계 608에서, 피사체 속도가 제1 임계값이상인 경우에는 피사체를 중심으로 초점 영역을 설정한다. 여기서, 초점 영역 이외의 영역, 즉 배경 영역은 움직임이 없거나 움직임이 있더라도 현재 설정된 프레임 레이트로도 촬영이 가능하므로, 초고속 촬영을 할 필요는 없다고 판단할 수 있다.

단계 612에서, 제2 센서 모드로 초점 영역을 촬영한다. 예를 들면 1000fps로 초점 영역을 촬영한다. 단계 614에서, 촬영한 영상을 제2 버퍼에 저장한다.

단계 616에서, 제1 버퍼와 제2 버퍼에 저장된 동영상을 합성한다.

단계 618에서, 기록매체에 기록한다.

본 발명에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.

본 발명에서 인용하는 공개 문헌, 특허 출원, 특허 등을 포함하는 모든 문헌들은 각 인용 문헌이 개별적으로 및 구체적으로 병합하여 나타내는 것 또는 본 발명에서 전체적으로 병합하여 나타낸 것과 동일하게 본 발명에 병합될 수 있다.

본 발명의 이해를 위하여, 도면에 도시된 바람직한 실시 예들에서 참조 부호를 기재하였으며, 본 발명의 실시 예들을 설명하기 위하여 특정 용어들을 사용하였으나, 특정 용어에 의해 본 발명이 한정되는 것은 아니며, 본 발명은 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다.

본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

100 : 디지털 카메라
110 : 렌즈부
115: 이미지 센서
200 : 디지털 신호 처리부

Claims

동영상 촬영 방법에 있어서,
입력 영상을 제1 프레임 레이트로 촬영하는 제1 촬영 단계;
상기 입력 영상에서 움직이는 피사체를 검출하는 단계;
상기 검출한 피사체를 포함하는 초점 영역을 제2 프레임 레이트로 촬영하는 제2 촬영 단계; 및
상기 제1 프레임 레이트로 촬영한 제1 영상과 상기 제2 프레임 레이트로 촬영한 제2 영상을 합성하는 단계를 포함하는 동영상 촬영 방법.
제 1 항에 있어서,
상기 피사체의 속도에 따라 상기 입력 영상을 촬영하는 프레임 레이트를 가변적으로 설정하는 것을 특징으로 하는 동영상 촬영 방법.
제 1 항에 있어서,
상기 제1 영상을 제1 버퍼에 저장하는 단계; 및
상기 제2 영상을 제2 버퍼에 저장하는 단계를 더 포함하는 것을 특징으로 하는 동영상 촬영 방법.
제 1 항에 있어서,
상기 합성한 영상을 기록매체에 기록하는 단계를 더 포함하는 것을 특징으로 하는 동영상 촬영 방법.
제 1 항에 있어서,
상기 검출한 피사체의 속도를 판단하는 단계; 및
상기 피사체의 속도가 제1 임계값이상인 경우, 상기 피사체를 포함하는 초점 영역을 설정하는 단계를 더 포함하는 것을 특징으로 하는 동영상 촬영 방법.
제 1 항에 있어서,
상기 제1 촬영 단계는,
상기 입력 영상을 상기 제1 프레임 레이트로 일정 프레임 동안 촬영하는 것을 특징으로 하는 동영상 촬영 방법.
제 1 항에 있어서,
상기 제1 영상은,
상기 초점 영역을 제외한 배경 영역을 포함하는 영상인 것을 특징으로 하는 동영상 촬영 방법.
제 1 항에 있어서,
상기 제1 영상에서 움직이는 피사체가 검출된 경우, 상기 초점 영역을 갱신하는 단계를 더 포함하는 것을 특징으로 하는 동영상 촬영 방법.
동영상 촬영 방법에 있어서,
입력 영상에서 움직이는 피사체를 검출하는 단계;
상기 검출한 피사체의 속도에 따라 상기 입력 영상을 촬영하는 프레임 레이트를 설정하는 단계; 및
상기 설정한 프레임 레이트에 따라 상기 입력 영상을 촬영하는 단계를 포함하는 동영상 촬영 방법.
제 9 항에 있어서,
상기 검출한 피사체를 포함하는 초점 영역을 설정하는 단계를 더 포함하고,
상기 설정 단계는,
상기 초점 영역에 대해 미리 설정된 프레임 레이트보다 빠른 프레임 레이트로 설정하는 것을 특징으로 하는 동영상 촬영 방법.
제 9 항에 있어서,
상기 입력 영상에서 움직이는 피사체를 포함하는 초점 영역 및 상기 초점 영역을 제외한 배경 영역을 각각 설정하는 단계;
상기 배경 영역에 대해 제1 프레임 레이트로 촬영한 제1 영상을 저장하는 단계;
상기 초점 영역에 대해 제1 프레임 레이트보다 빠른 제2 프레임 레이트로 촬영한 제2 영상을 저장하는 단계; 및
상기 제1 영상 및 상기 제2 영상을 합성하는 단계를 포함하는 동영상 촬영 방법.
동영상 촬영 장치에 있어서,
입력 영상을 서로 다른 프레임 레이트로 촬영하는 적어도 2 이상의 센서 모드를 구비한 이미지 센서; 및
상기 입력 영상에서 움직이는 피사체를 검출하고, 상기 검출한 피사체를 포함하는 초점 영역에 대해 미리 설정된 프레임 레이트보다 빠른 프레임 레이트로 촬영하도록 제어하는 디지털 신호 처리부를 포함하는 동영상 촬영 장치.
제 12 항에 있어서,
상기 이미지 센서는,
상기 입력 영상을 제1 프레임 레이트로 촬영하는 제1 센서 모드; 및
상기 초점 영역을 제2 프레임 레이트로 촬영하는 제2 센서 모드를 포함하는 것을 특징으로 하는 동영상 촬영 장치.
제 13 항에 있어서,
상기 입력 영상을 제1 프레임 레이트로 촬영한 제1 영상을 저장하는 제1 버퍼; 및
상기 초점 영역을 제2 프레임 레이트로 촬영한 제2 영상을 저장하는 제2 버퍼를 더 포함하고,
상기 디지털 신호 처리부는,
상기 제1 버퍼에 저장한 제1 영상 및 상기 제2 버퍼에 저장한 제2 영상을 합성하는 것을 특징으로 하는 동영상 촬영 장치.
제 12 항에 있어서,
상기 디지털 신호 처리부는,
상기 입력 영상에서 움직이는 피사체를 검출하는 움직임 검출부;
상기 검출한 피사체의 속도가 제1 임계값이상인 경우, 상기 피사체를 포함하는 초점 영역을 설정하는 초점 영역 제어부;
상기 피사체의 속도에 따라 상기 초점 영역을 촬영하는 프레임 레이트를 설정하는 프레임 레이트 설정부; 및
상기 설정한 프레임 레이트에 따라 상기 이미지 센서의 센서 모드를 결정하는 센서 제어부를 포함하는 것을 특징으로 하는 동영상 촬영 장치.
제 15 항에 있어서,
상기 이미지 센서는,
상기 입력 영상을 제1 프레임 레이트로 촬영하는 제1 센서 모드; 및
상기 초점 영역을 제2 프레임 레이트로 촬영하는 제2 센서 모드를 구비하고,
상기 디지털 신호 처리부는,
상기 제1 프레임 레이트로 촬영한 제1 영상을 제1 버퍼에 저장하고, 상기 제2 프레임 레이트로 촬영한 제2 영상을 제2 버퍼에 저장하도록 제어하는 메모리 제어부를 더 포함하는 것을 특징으로 하는 동영상 촬영 장치.
제 16 항에 있어서,
상기 디지털 신호 처리부는,
상기 제1 버퍼에 저장한 제1 영상 및 상기 제2 버퍼에 저장한 제2 영상을 합성하는 영상 합성부를 더 포함하는 것을 특징으로 하는 동영상 촬영 장치.
제 12 항에 있어서,
상기 디지털 신호 처리부는,
상기 피사체의 속도에 따라 상기 입력 영상을 촬영하는 프레임 레이트를 가변적으로 설정하는 것을 특징으로 하는 동영상 촬영 장치.