KR20110088226A

KR20110088226A - 영상 처리 방법 및 장치

Info

Publication number: KR20110088226A
Application number: KR1020100008038A
Authority: KR
Inventors: 김은영; 이승아
Original assignee: 삼성전자주식회사
Priority date: 2010-01-28
Filing date: 2010-01-28
Publication date: 2011-08-03

Abstract

본 발명의 실시예들은 동영상을 처리함에 있어서, 동영상 촬영 영역 중 전체 영역에 대한 처리와는 별도로, 동영상 촬영 영역 내의 목표 영역을 처리하는 방법 및 장치를 제공하기 위한 것이다.
본 발명의 일 실시예에 따른 영상 처리 방법은, 동영상 촬영 영역 내에서 목표 영역을 설정하는 단계; 상기 동영상 촬영 영역의 전체 영역에 대한 처리를 수행하는 전체 영역 처리 단계; 및 상기 목표 영역에 대한 처리를 수행하는 목표 영역 처리 단계를 포함한다.

Description

영상 처리 방법 및 장치{A method and an apparatus for processing image}

본 발명의 실시예들은 동영상을 처리하는 영상 처리 방법 및 영상 처리 방법에 관한 것이다.

동영상을 처리하는 장치 및 방법은, 동영상을 촬영, 동영상 기록, 동영상 파일 생성 등의 동작을 포함한다. 움직이는 피사체를 촬영하는 경우, 동영상은 피사체의 움직임을 모두 기록할 수 있어, 최근 많은 디지털 촬영 장치들이 동영상 촬영 기능을 구비한다. 동영상 파일은 프레임 단위로 촬영된 동영상을 MPEG 표준 등 다양한 표준에 따라 압축하여 생성된다.

본 발명의 실시예들은 동영상을 처리함에 있어서, 동영상 촬영 영역 중 전체 영역에 대한 처리와는 별도로, 동영상 촬영 영역 내의 목표 영역을 처리하는 방법 및 장치를 제공하기 위한 것이다.

본 발명의 일 측면으로서, 본 발명의 일 실시예에 따른 영상 처리 방법은, 동영상 촬영 영역 내에서 목표 영역을 설정하는 단계; 상기 동영상 촬영 영역의 전체 영역에 대한 처리를 수행하는 전체 영역 처리 단계; 및 상기 목표 영역에 대한 처리를 수행하는 목표 영역 처리 단계를 포함한다.

본 발명의 일 실시예에 따르면, 상기 영상 처리 방법은, 동영상을 촬영하는 단계를 더 포함하고, 상기 전체 영역 처리 단계는, 상기 동영상 촬영 영역의 전체 영역을 기록한 제1 동영상 파일을 생성하는 단계를 포함하고, 상기 목표 영역 처리 단계는, 상기 목표 영역을 기록한 제2 동영상 파일을 생성하는 단계를 포함한다. 또한, 상기 제1 동영상 파일을 생성하는 단계는, 상기 동영상 촬영 시, 입사광을 광전 변환하는 촬상 소자로부터 입력된 입력 신호 중, 전체 영역에 대한 입력 신호를 목표 사이즈로 리사이징(resizing)하는 단계를 포함하고, 상기 제2 동영상 파일을 생성하는 단계는, 상기 동영상 촬영 시 상기 촬상 소자로부터 입력된 입력 신호 중, 상기 목표 영역에 대한 입력 신호를 상기 목표 사이즈로 리사이징하는 단계를 포함한다.

본 발명의 일 실시예의 일례로서, 상기 영상 처리 방법을 수행하는 장치는 복수의 표시부들을 구비하고, 상기 전체 영역 처리 단계는, 상기 동영상 촬영 중, 상기 전체 영역에 대한 라이브뷰 영상을 상기 복수의 표시부들 중 제1 표시부에 표시하는 단계를 더 포함하고, 상기 목표 영역 처리 단계는, 상기 동영상 촬영 중, 상기 목표 영역에 대한 라이브뷰 영상을 상기 복수의 표시부들 중 제2 표시부에 표시하는 단계를 더 포함할 수 있다.

본 발명의 다른 실시예에 따르면, 상기 영상 처리 방법은, 동영상 파일을 재생하는 단계를 더 포함하고, 상기 목표 영역을 설정하는 단계는, 상기 동영상 파일 재생 중 수행되고, 상기 전체 영역 처리 단계는, 상기 동영상 파일에 기록된 동영상의 상기 전체 영역을 재생하는 단계를 포함하고, 상기 목표 영역 처리 단계는, 상기 동영상 파일에 기록된 동영상의 상기 목표 영역을 재생하는 단계를 포함한다. 상기 전체 영역 처리 단계는, 상기 전체 영역에 대한 동영상 재생 중, 상기 목표 영역에 대한 정보를 제공하는 단계를 더 포함하고, 상기 목표 영역을 재생하는 단계는, 상기 전체 영역에 대한 동영상 재생 중, 상기 목표 영역의 재생을 요청하는 사용자 입력에 응답하여 수행될 수 있다.

본 발명의 다른 실시예에 따른 일례로서, 상기 영상 처리 방법을 수행하는 장치는 복수의 표시부들을 구비하고, 상기 전체 영역 처리 단계는, 상기 전체 영역에 대한 재생 영상을 상기 복수의 표시부들 중 제1 표시부에 표시하는 단계를 포함하고, 상기 목표 영역 처리 단계는, 상기 목표 영역에 대한 재생 영상을 상기 복수의 표시부들 중 상기 제1 표시부 및 제2 표시부 중 적어도 하나에 표시하는 단계를 포함할 수 있다.

또한, 상기 영상 처리 방법은, 상기 목표 영역을 재설정하는 단계를 더 포함하고, 상기 목표 영역 처리 단계는, 상기 목표 영역이 재설정됨에 응답하여, 재설정 된 상기 목표 영역에 대응되는 영상을 처리할 수 있다.

본 발명의 다른 실시예에 따르면, 상기 영상 처리 방법은, 동영상 파일을 재생하는 단계를 더 포함하고, 상기 목표 영역을 설정하는 단계는, 상기 동영상 파일 재생 중 수행되고, 상기 목표 영역 처리 단계는, 상기 목표 영역에 대한 제2 동영상 파일을 생성하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따르면, 상기 목표 영역을 설정하는 단계는, 상기 목표 영역을 지정하는 사용자 입력을 검출하는 단계; 사용자에 의해 지정된 상기 목표 영역 내에서 적어도 하나의 목표 객체를 인식하는 단계; 상기 적어도 하나의 목표 객체를 추적하는 단계; 및 동영상 데이터 처리 중, 상기 적어도 하나의 목표 객체를 포함하도록 상기 목표 영역을 계속해서 설정하는 단계를 포함한다.

본 발명의 다른 실시예에 따르면, 상기 영상 처리 방법은, 상기 동영상 촬영 영역 내에서 적어도 하나의 후보 객체를 인식하는 단계를 더 포함하고, 상기 목표 영역을 설정하는 단계는, 상기 적어도 하나의 후보 객체 중 적어도 하나의 목표 객체를 선택하는 단계; 및 상기 적어도 하나의 목표 객체를 추적하여, 상기 적어도 하나의 목표 객체 중 적어도 하나를 포함하도록 상기 목표 영역을 설정하는 단계를 포함한다.

또한, 본 발명의 다른 실시예에 따른 영상 처리 방법은, 상기 적어도 하나의 목표 객체가 복수인 경우, 상기 적어도 하나의 목표 객체의 우선순위를 결정하는 단계; 및 상기 동영상 촬영 영역 내에 존재하는 상기 적어도 하나의 목표 객체 중, 최우선 순위의 목표 객체를 포함하도록 상기 목표 영역을 설정하는 단계를 더 포함한다.

본 발명의 다른 실시예에 대한 다른 예로서, 상기 영상 처리 방법은, 상기 적어도 하나의 목표 객체가 복수인 경우, 상기 적어도 하나의 목표 객체가 모두 포함되도록 상기 목표 영역을 설정하는 단계를 더 포함할 수 있다.

본 발명의 다른 측면에 따르면, 동영상 촬영 영역 내에서 목표 영역을 설정하는 목표 영역 설정부; 상기 동영상 촬영 영역의 전체 영역에 대한 처리를 수행하는 전체 영역 처리부; 및 상기 목표 영역에 대한 처리를 수행하는 목표 영역 처리부를 포함하는, 영상 처리 장치가 제공된다.

본 발명의 실시예들에 따르면, 동영상 촬영 영역 중 사용자가 관심 있는 목표 영역의 파일을 전체 영역의 파일과는 별도의 생성하여, 사용자가 보다 편리하게 전체 영역과 함께 관심 있는 영역을 촬영할 수 있는 효과가 있다.

또한 본 발명의 실시예들에 따르면, 동영상 촬영 영역 중 사용자가 관심 있는 목표 영역을 전체 영역과 별도로 재생하여, 사용자가 보다 편리하게 목표 영역을 열람할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 예시적인 구조를 나타낸 도면이다.
도 2는 본 발명의 실시예들에 따른 전체 영역 영상과 목표 영역 영상을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 CPU/DSP(170a)의 구조를 나타낸 도면이다.
도 4는 리사이징 과정을 설명하기 위한 도면이다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 영상 처리 장치(100)를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 표시부(164)에 표시된 영상을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 동영상 처리 과정을 나타낸 흐름도이다.
도 8은 본 발명의 다른 실시예에 따른 CPU/DSP(170b)의 구조를 나타낸 도면이다.
도 9는 본 발명의 다른 실시예에 따른 동영상 파일 재생 및 생성 과정을 나타낸 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 목표 영역 설정부(310a)의 구조를 나타낸 도면이다.
도 11은 본 발명의 일 실시예에 따른 목표 영역 지정의 일례를 나타낸 도면이다.
도 12는 본 발명의 일 실시예에 따른 목표 영역 설정 과정을 나타낸 흐름도이다.
도 13은 본 발명의 다른 실시예에 따른 목표 영역 설정부(310b)의 구조를 나타낸 도면이다.
도 14는 본 발명의 다른 실시예에 따른 목표 객체 선택 장면을 나타낸 도면이다.
도 15는 본 발명의 다른 실시예에 따른 목표 영역 설정 과정을 나타낸 흐름도이다.

이하 첨부된 도면들을 참조하여 본 발명의 실시예들을 설명한다. 하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다.

또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.

이하 첨부된 도면을 참조하여 본 발명의 실시예들을 설명한다.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 예시적인 구조를 나타낸 도면이다.

본 발명의 일 실시예에 따른 영상 처리 장치(100)는 촬영 기능을 구비한 디지털 촬영 장치로서 구현될 수 있다. 또한, 영상 처리 장치(100)로 입력되는 영상은 디지털 촬영 장치에서 촬영된 영상일 수 있다. 도 1에서는 영상 처리 장치(100)가 디지털 촬영 장치로 구현된 경우, 본 발명의 일 실시예에 따른 영상 처리 장치(100)의 개략적인 구조를 설명한다.

본 발명의 일 실시예에 따른 영상 처리 장치(100)는 촬영부(110), 아날로그 신호 처리부(120), 메모리(130), 저장/판독 제어부(140), 데이터 저장부(142), 프로그램 저장부(150), 표시 구동부(162), 표시부(164), CPU/DSP(170), 및 조작부(180)를 포함할 수 있다.

영상 처리 장치(100)의 전체 동작은 CPU/DSP(170)에 의해 통괄된다. CPU/DSP(170)는 조리개 구동부(112), 렌즈 구동부(115), 촬상 소자 제어부(119) 등에 각 구성 요소의 동작을 위한 제어 신호를 제공한다.

촬영부(110)는 입사광으로부터 전기적인 신호의 영상을 생성하는 구성요소로서, 조리개(111), 조리개 구동부(112), 렌즈(113), 렌즈 구동부(115), 촬상 소자(118), 및 촬상 소자 제어부(119)를 포함한다.

조리개(111)는 조리개 구동부(112)에 의해 그 개폐 정도가 조절되며, 촬상 소자(118)로 입사되는 광량을 조절한다.

렌즈(113)는 줌렌즈, 포커스 렌즈 등 복수의 렌즈들을 구비할 수 있다. 렌즈(113)는 렌즈 구동부(115)에 의해 그 위치가 조절된다. 렌즈 구동부(115)는 CPU/DSP(170)에서 제공된 제어 신호에 따라 렌즈(113)의 위치를 조절한다.

조리개(111) 및 렌즈(113)를 투과한 광학 신호는 촬상 소자(118)의 수광면에 이르러 피사체의 상을 결상한다. 상기 촬상 소자(118)는 광학 신호를 전기 신호로 변환하는 CCD(Charge Coupled Device) 이미지센서 또는 CIS(Complementary Metal Oxide Semiconductor Image Sensor)일 수 있다. 이와 같은 촬상 소자(118)는 촬상 소자 제어부(119)에 의해 감도 등이 조절될 수 있다. 촬상 소자 제어부(119)는 실시간으로 입력되는 영상 신호에 의해 자동으로 생성되는 제어 신호 또는 사용자의 조작에 의해 수동으로 입력되는 제어 신호에 따라 촬상 소자(118)를 제어할 수 있다.

촬상 소자(118)의 노광 시간은 셔터(미도시)로 조절된다. 셔터(미도시)는 가리개를 이동시켜 빛의 입사를 조절하는 기계식 셔터와, 촬상 소자(118)에 전기 신호를 공급하여 노광을 제어하는 전자식 셔터가 있다.

아날로그 신호 처리부(120)는 촬상 소자(118)로부터 공급된 아날로그 신호에 대하여, 노이즈 저감 처리, 게인 조정, 파형 정형화, 아날로그-디지털 변환 처리 등을 수행한다.

아날로그 신호 처리부(120)에 의해 처리된 신호는 메모리(130)를 거쳐 CPU/DSP(170)에 입력될 수도 있고, 메모리(130)를 거치지 않고 CPU/DSP(170)에 입력될 수도 있다. 여기서 메모리(130)는 영상 처리 장치(100)의 메인 메모리로서 동작하고, CPU/DSP(170)가 동작 중에 필요한 정보를 임시로 저장한다. 프로그램 저장부(130)는 영상 처리 장치(100)를 구동하는 운영 시스템, 응용 시스템 등의 프로그램을 저장한다.

아울러, 영상 처리 장치(100)는 이의 동작 상태 또는 영상 처리 장치(100)에서 촬영한 영상 정보를 표시하도록 표시부(164)를 포함한다. 표시부(164)는 시각적인 정보 및/또는 청각적인 정보를 사용자에게 제공할 수 있다. 시각적인 정보를 제공하기 위해 표시부(164)는 예를 들면, 액정 디스플레이 패널(LCD), 유기 발광 디스플레이 패널(OLED) 등으로 이루어질 수 있다. 또한, 표시부(164)는 터치 입력을 인식할 수 있는 터치스크린일 수 있다.

표시 구동부(162)는 표시부(164)에 각각 구동 신호를 제공한다.

CPU/DSP(170)는 입력되는 영상 신호를 처리하고, 이에 따라 또는 외부 입력 신호에 따라 각 구성부들을 제어한다. CPU/DSP(170)는 입력된 영상 데이터에 대해 노이즈를 저감하고, 감마 보정(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 화질 개선을 위한 영상 신호 처리를 수행할 수 있다. 또한, 화질 개선을 위한 영상 신호 처리를 하여 생성한 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축형식은 가역 형식 또는 비가역 형식이어도 된다. 적절한 형식의 예로서, 정지 영상에 경우, JPEG(Joint Photographic Experts Group)형식이나 JPEG 2000 형식 등으로 변환도 가능하다. 또한, 동영상을 기록하는 경우, MPEG(Moving Picture Experts Group) 표준에 따라 복수의 프레임들을 압축하여 동영상 파일을 생성할 수 있다.

CPU/DSP(170)로부터 출력된 이미지 데이터는 메모리(130)를 통하여 또는 직접 저장/판독 제어부(140)에 입력되는데, 저장/판독 제어부(140)는 사용자로부터의 신호에 따라 또는 자동으로 영상 데이터를 데이터 저장부(142)에 저장한다. 또한 저장/판독 제어부(140)는 데이터 저장부(142)에 저장된 영상 파일로부터 영상에 관한 데이터를 판독하고, 이를 메모리(130)를 통해 또는 다른 경로를 통해 표시 구동부에 입력하여 표시부(164)에 이미지가 표시되도록 할 수도 있다. 데이터 저장부(142)는 탈착 가능한 것일 수도 있고 영상 처리 장치(100)에 영구장착된 것일 수 있다.

또한, CPU/DSP(170)에서는 불선명 처리, 색체 처리, 블러 처리, 엣지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 얼굴 인식, 장면 인식 처리 등을 행할 수 있다. 아울러, CPU/DSP(170)에서는 표시부(164)에 디스플레이하기 위한 표시 영상 신호 처리를 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 행할 수 있다. 상기 CPU/DSP(170)는 외부 모니터와 연결되어, 외부 모니터에 디스플레이 되도록 소정의 영상 신호 처리를 행할 수 있으며, 이렇게 처리된 영상 데이터를 전송하여 상기 외부 모니터에서 해당 영상이 디스플레이 되도록 할 수 있다.

또한 CPU/DSP(170)는 프로그램 저장부(130)에 저장된 프로그램을 실행하거나, 별도의 모듈을 구비하여, 오토 포커싱, 줌 변경, 초점 변경, 자동 노출 보정 등을 제어하기 위한 제어 신호를 생성하여, 조리개 구동부(112), 렌즈 구동부(115), 및 촬상 소자 제어부(119)에 제공하고, 셔터, 플래시 등 영상 처리 장치(100)에 구비된 구성 요소들의 동작을 총괄적으로 제어할 수 있다.

조작부(180)는 사용자가 제어 신호를 입력할 수 있는 곳이다. 조작부(180)는 정해진 시간 동안 촬상 소자(118)를 빛에 노출하여 사진을 촬영하도록 하는 셔터-릴리즈 신호를 입력하는 셔터-릴리즈 버튼, 전원의 온-오프를 제어하기 위한 제어 신호를 입력하는 전원 버튼, 입력에 따라 화각을 넓어지게 하거나 화각을 좁아지게 하는 광각-줌 버튼 및 망원-줌 버튼과, 문자 입력 모드, 촬영 모드, 재생 모드 등의 모드 선택, 화이트 밸런스 설정 기능 선택, 노출 설정 기능 선택 등의 다양한 기능 버튼들을 포함할 수 있다. 조작부(180)는 버튼, 키보드, 터치 패드, 터치스크린, 원격 제어기 등과 같이 사용자가 제어 신호를 입력할 수 있는 어떠한 형태로 구현되어도 무방하다.

도 1은 본 발명의 일 실시예에 따른 영상 처리 장치(100)의 예시적인 구조를 도시한 것이며, 영상 처리 장치(100)의 세부 구조는 실시예들에 따라 달라질 수 있다. 따라서 본 발명의 범위는 도 1에 도시된 영상 처리 장치(100)의 구조에 의하여 제한되지 않는다.

도 2는 본 발명의 실시예들에 따른 전체 영역 영상과 목표 영역 영상을 나타낸 도면이다. 본 명세서에서 전체 영역은 도 2 (A)에 도시된 바와 같이, 동영상 프레임의 전체에 해당하는 영역을 의미하고, 목표 영역은 동영상 프레임 중, 일부 영역(202)을 의미한다. 목표 영역은 사용자 선택에 기초하여 지정될 수 있다. 동영상은 기록 또는 재생하는 중에 계속해서 변하기 때문에, 목표 영역은 동영상이 진행됨에 따라 계속해서 정의되고, 예를 들면, 객체 인식 및 추적 등을 이용하여 정의된다.

도 3은 본 발명의 일 실시예에 따른 CPU/DSP(170a)의 구조를 나타낸 도면이다.

본 발명의 일 실시예에 따르면, 동영상 촬영 중, 전체 영역에 대한 제1 동영상 파일 및 제2 동영상 파일을 각각 생성하여 저장한다. 또한, 동영상 촬영 중, 전체 영역에 대한 라이브뷰 영상 및 목표 영역에 대한 라이브뷰 영상을 제공한다. 본 실시예에 따른 CPU/DSP(170a)는 목표 영역 설정부(310), 전체 영역 처리부(320a), 및 목표 영역 처리부(330a)를 포함한다.

목표 영역 설정부(310)는 동영상 촬영 영역, 즉 동영상 프레임 전체 영역 중, 목표 영역을 설정한다. 목표 영역은 사용자 입력에 따라 결정될 수 있다.

전체 영역 처리부(320a)는 동영상 촬영 영역 중 전체 영역에 대한 처리를 수행한다. 여기서 전체 영역에 대한 처리는, 동영상 촬영, 라이브뷰 영상 제공, 동영상 기록, 동영상 파일 압축 및 파일 생성, 동영상 파일 재생 등을 포함하는 개념이다. 본 실시예에 따른 전체 영역 처리부(320a)는 제1 리사이징(resizing)부(322), 제1 동영상 파일 생성부(324), 및 전체 영역 라이브뷰 제공부(326)를 포함한다.

제1 리사이징부(322)는 촬상 소자(118)로부터 출력된 RAW 데이터를 목표 사이즈로 리사이징한다. 여기서 목표 사이즈는, 생성되는 동영상 파일의 해상도에 따라 결정되는, 각 동영상 프레임의 크기를 의미한다. 도 4는 리사이징 과정을 설명하기 위한 도면이다. 도 4에 도시된 바와 같이, 촬상 소자(118)로부터 출력된 신호는 베이어 패턴의 RAW 데이터이다. 일반적으로 촬상소자로부터 출력된 베이어 패턴의 RAW 데이터의 사이즈는 상기 목표 사이즈와 다르기 때문에, 상기 RAW 데이터를 리사이징하는 과정이 요구된다. 이때, 제1 리사이징부(322)는 베이어 패턴의 RAW 데이터의 전체 영역을 목표 사이즈로 리사이징 한다(도 4(A) 참조).

제1 동영상 파일 생성부(324)는 제1 리사이징부(322)에서 리사이징 된 전체 영역의 프레임들을 압축하여, 전체 영역에 대한 제1 동영상 파일을 생성한다. 이때, MPEG 압축 표준 등 다양한 동영상 압축 표준에 따라 제1 동영상 파일을 생성할 수 있다. 생성된 제1 동영상 파일은 데이터 저장부(142)에 저장될 수 있다.

전체 영역 라이브뷰 제공부(326)는 전체 영역 영상에 대한 라이브뷰 영상을 제공한다. 이를 위해, 전체 영역 라이브뷰 제공부(326)는 전체 영역에 대한 라이브뷰 영상 신호를 표시 구동부(162)에 출력할 수 있다.

목표 영역 처리부(330a)는 동영상 촬영 영역 중 목표 영역에 대한 처리를 수행한다. 여기서 목표 영역에 대한 처리는, 동영상 촬영, 라이브뷰 영상 제공, 동영상 기록, 동영상 파일 압축 및 파일 생성, 동영상 파일 재생 등을 포함하는 개념이다. 본 실시예에 따른 목표 영역 처리부(330a)는 제2 리사이징부(332), 제2 동영상 파일 생성부(334a), 및 목표 영역 라이브뷰 제공부(336)를 포함한다.

제2 리사이징부(332)는 촬상 소자(118)로부터 출력된 RAW 데이터를 상기 목표 사이즈로 리사이징한다. 목표 사이즈는 상기 전체 영역 영상에 대한 목표 사이즈와 동일하게 설정되거나, 다르게 설정될 수 있다. 제2 리사이징부(332)는 베이어 패턴의 RAW 데이터 중 목표 영역에 해당하는 영상(402)을 목표 사이즈로 리사이징한다(도 4(B) 참조).

제2 동영상 파일 생성부(334a)는 제1 리사이징부(332)에서 리사이징 된 목표 영역의 프레임들을 압축하여, 목표 영역에 대한 제2 동영상 파일을 생성한다. 이때, 제1 동영상 파일 생성부(324)에서 사용되는 동일한 압축 표준에 따라 제2 동영상 파일을 생성할 수 있다. 생성된 제2 동영상 파일은 데이터 저장부(142)에 저장될 수 있다.

목표 영역 라이브뷰 제공부(336)는 목표 영역 영상에 대한 라이브뷰 영상을 제공한다. 이를 위해, 목표 영역 라이브뷰 제공부(336)는 목표 영역에 대한 라이브뷰 영상 신호를 표시 구동부(162)에 출력할 수 있다.

본 실시예와 같이, 촬영 및 파일 생성 단계에서 사용자가 관심 있는 목표 영역에 대한 영상을 따로 리사이징하고, 동영상 파일로 생성하면, 동영상 파일 기록 중, 또는 동영상 파일 재생 중에 줌인 등의 동작을 통해 목표 영역을 확대하여 촬영하거나 재생하는 것보다, 보다 고화질의 목표 영역 라이브뷰 및 목표 영역 동영상 파일을 얻을 수 있는 효과가 있다. 또한, 동영상 기록 중, 사용자가 동영상 촬영 영역 내의 특정 피사체에 대해 중점적으로 촬영하고 싶으면, 줌인 등의 동작을 통해 특정 피사체로 포커스를 이동하고, 상기 특정 피사체 이외의 영역에 대한 영상은 포기해야하는데, 본 실시예는 전체 영역에 대한 촬영과 목표 영역에 대한 촬영을 동시에 지원할 수 있다.

도 5a 및 도 5b는 본 발명의 일 실시예에 따른 영상 처리 장치(100)를 도시한 도면이다.

본 발명의 일 실시예에 따른 영상 처리 장치(100)는 복수의 표시부를 포함할 수 있다. 예를 들면, 본 실시예에 따른 영상 처리 장치(100)는 경통(510)이 배치된 영상 처리 장치의 전면에 제2 표시부(520)를 구비하고, 배면에 제1 표시부(164)를 구비할 수 있다. 이와 같이, 복수의 표시부를 구비하는 경우, 전체 영역에 대한 라이브뷰 영상 및 목표 영역에 대한 라이브뷰 영상은, 복수의 표시부에 따로 표시될 수 있다. 예를 들면, 전체 영역 라이브뷰 제공부(326)는 제1 표시부(164)에 전체 영역에 대한 라이브뷰 영상을 표시하고, 목표 영역 라이브뷰 제공부(336)는 제2 표시부(520)에 목표 영역에 대한 라이브뷰 영상을 표시할 수 있다. 또한, 전체 영역 라이브뷰 제공부(326)는 제1 표시부(164)에 전체 영역에 대한 라이브뷰 영상을 표시하면서, 목표 영역을 표시한 박스(202)를 함께 표시할 수 있다.

도 6은 본 발명의 일 실시예에 따른 표시부(164)에 표시된 영상을 나타낸 도면이다.

다른 예로서, 본 발명의 일 실시예에 따른 전체 영역 라이브뷰 제공부(326) 및 목표 영역 라이브뷰 제공부(336)는, 한 개의 표시부(164)를 이용하여 전체 영역 라이브뷰 영상 및 목표 영역 라이브뷰 영상을 표시할 수 있다. 도 6에 도시된 바와 같이, 전체 영역 라이브뷰 제공부(326)는 표시부(164)의 전체 영역을 이용하여 전체 영역 라이브뷰 영상을 표시하고, 목표 영역 라이브뷰 제공부(336)는 표시부(164)의 일부 영역(602)을 이용하여 목표 영역 라이브뷰 영상을 표시할 수 있다. 전체 영역 라이브뷰 영상과 목표 영역 라이브뷰 영상 중, 어느 것이 표시부(164)의 전체 영역에 표시되고, 어느 것이 표시부(164)의 일부 영역(602)에 표시될지는, 설정, 사용자 입력 등에 따라 달라질 수 있다.

도 7은 본 발명의 일 실시예에 따른 동영상 처리 과정을 나타낸 흐름도이다.

동영상 촬영이 시작되면(S702), 목표 영역이 설정된다(S704). 목표 영역 설정은 동영상 기록이 시작되기 전인, 라이브뷰 영상 표시 상태에서 수행될 수 있다. 다른 예로서, 목표 영역 설정은 동영상 기록 중 수행될 수 있다.

목표 영역이 설정되고(S704), 동영상 기록이 시작되면, 촬상 소자(118)에서 출력된 RAW 데이터로부터, 전체 영역에 대한 프레임들을 목표 사이즈로 리사이징한다(S706). 또한, 전체 영역에 대한 라이브뷰 영상이 표시부(164)를 통해 제공된다(S708). 다음으로, 목표 사이즈로 리사이징 된 전체 영역에 대한 프레임들을 압축하여 제1 동영상 파일을 생성한다(S710).

또한, 목표 영역이 설정되고(S704), 동영상 기록이 시작되면, 촬상 소자(118)에서 출력된 RAW 데이터로부터, 목표 영역에 대한 프레임들을 목표 사이즈로 리사이징한다(S712). 이때, 목표 영역에 대한 프레임들을 동영상 기록 중 계속해서 정의하기 위하여, 목표 영역에 포함된 객체를 추적하는 동작이 수행될 수 있다. 또한, 목표 영역에 대한 라이브뷰 영상이 표시부(164)를 통해 제공된다(S714). 앞서 설명한 바와 같이, 영상 처리 장치(100)가 복수의 표시부를 포함하는 경우, 목표 영역에 대한 라이브뷰 영상은 상기 전체 영역에 대한 라이브뷰 영상과 다른 표시부에 표시될 수 있다. 또한, 다른 예로서, 목표 영역에 대한 라이브뷰 영상은 상기 전체 영역에 대한 라이브뷰 영상과 함께, 표시부(164)의 일부 영역에 표시될 수 있다. 다음으로, 목표 사이즈로 리사이징 된 목표 영역에 대한 프레임들을 압축하여 제2 동영상 파일을 생성한다(S716).

전체 영역의 프레임들에 대한 S706 내지 S710의 동작들과, 목표 영역의 프레임들에 대한 S712 내지 S716의 동작들은, 동영상 기록이 종료될 때까지 각 프레임들에 대해 반복될 수 있다(S718).

도 8은 본 발명의 다른 실시예에 따른 CPU/DSP(170b)의 구조를 나타낸 도면이다.

본 발명의 다른 실시예에 따르면, 동영상 파일 재생 중, 동영상 촬영 영역 중 전체 영역에 대한 영상과는 별개로, 목표 영역에 대한 영상을 따로 표시한다. 또한, 본 발명의 다른 실시예에 따르면, 동영상 파일 재생 중, 목표 영역에 대한 제2 동영상 파일을 생성할 수 있다.

본 실시예에 따른 CPU/DSP(170b)는 동영상 파일 재생부(802), 목표 영역 설정부(310), 전체 영역 처리부(320b), 및 목표 영역 처리부(330b)를 포함한다.

동영상 파일 재생부(802)는 저장된 동영상 파일을 재생한다. 동영상 파일 재생은 특정 동영상 파일을 선택하고, 동영상 파일 재생을 요청하는 사용자 입력에 응답하여 수행될 수 있다. 동영상 파일 재생부(802)는 저장된 동영상 파일의 압축을 해제하여, 동영상 파일을 재생할 수 있다.

본 실시예에 따른 전체 영역 처리부(320b)는 전체 영역에 대한 동영상 파일 재생을 수행한다. 본 실시예에 따른 전체 영역 처리부(320b)는 전체 영역 재생부(812), 및 목표 영역 정보 제공부(814)를 포함한다.

전체 영역 재생부(812)는 동영상 파일 재생부(802)에서 재생되는 동영상 파일의 전체 영역에 대한 영상을 재생한다. 이를 위해, 전체 영역 재생부(812)는 전체 영역에 대한 영상을 표시 구동부(162)로 출력할 수 있다.

목표 영역 정보 제공부(814)는 전체 영역에 대한 영상을 재생할 때, 목표 영역에 대한 정보를 제공한다. 예를 들면, 영상 처리 장치(100)가 도 5a 및 도 5b에 도시된 바와 같이, 복수의 표시부들을 구비하고, 제1 표시부(164)에 전체 영역에 대한 영상을 재생하고, 제2 표시부(520)에 목표 영역에 대한 영상을 재생하는 경우, 목표 영역 정보 제공부(814)는 제1 표시부(164)에 전체 영역에 대한 영상을 재생 중, 목표 영역을 나타내는 박스를 전체 영역 영상 상에 표시할 수 있다.

본 실시예에 따른 목표 영역 처리부(330b)는 목표 영역에 대한 동영상 파일 재생 및 파일 생성을 수행한다. 본 실시예에 따른 목표 영역 처리부(330b)는 목표 영역 재생부(816) 및 제2 동영상 파일 생성부(334a)를 포함한다.

목표 영역 재생부(816)는 동영상 파일 재생부(802)에서 재생되는 동영상 파일의 목표 영역에 대한 영상을 재생한다. 이를 위해, 목표 영역 재생부(816)는 목표 영역에 대한 영상을 표시 구동부(162)로 출력할 수 있다. 또한, 목표 영역 재생부(816)는 동영상 파일로부터 목표 영역에 대한 영상을 추출하는 처리를 수행할 수 있다. 일례로서, 영상 처리 장치(100)가 도 5a 및 도 5b에 도시된 바와 같이, 복수의 표시부들을 구비하는 경우, 전체 영역 재생부(812)는 제1 표시부(164)에 전체 영역 영상을 재생하고, 목표 영역 재생부(816)는 제2 표시부(520)에 목표 영역 영상을 재생할 수 있다. 다른 예로서, 전체 영역 재생부(812)는 도 6에 도시된 바와 같이, 표시부(164) 전체 영역을 이용하여 전체 영역 영상을 재생하고, 목표 영역 재생부(816)는 표시부(164)의 일부 영역(602)을 이용하여 목표 영역 영상을 재생할 수 있다. 전체 영역 영상과 목표 영역 영상 중, 어느 것이 표시부(164)의 전체 영역에 표시되고, 어느 것이 표시부(164)의 일부 영역(602)에 표시될지는, 설정, 사용자 입력 등에 따라 달라질 수 있다. 또 다른 예로서, 전체 영역 재생부(812)는 표시부(164)의 전체 영역에 전체 영역 영상만을 표시하고, 목표 영역 영상을 요청하는 사용자 입력이 있으면, 전체 영역 영상에 대한 재생을 중단하고, 목표 영역 재생부(816)가 목표 영역 영상을 표시부(164)의 전체 영역을 이용하여 재생할 수 있다.

제2 동영상 파일 생성부(334b)는 동영상 파일 재생 중, 사용자가 목표 영역 영상에 대한 동영상 파일 생성을 요청하면, 목표 영역에 대한 동영상 파일을 생성할 수 있다. 이를 위해, 제2 동영상 파일 생성부(334b)는 동영상 파일 재생부(802)에서 재생되는 동영상 파일의 프레임들로부터, 목표 영역에 해당하는 영역을 추출하고 압축하여, 목표 영역에 대한 제2 동영상 파일을 생성할 수 있다. 생성된 제2 동영상 파일은 데이터 저장부(142)에 저장될 수 있다.

도 9는 본 발명의 다른 실시예에 따른 동영상 파일 재생 및 생성 과정을 나타낸 흐름도이다.

본 발명의 다른 실시예에 따른 영상 처리 방법은, 동영상 파일 재생 수행 중에(S902), 동영상 프레임 내에서 목표 영역을 설정한다(S904). 목표 영역은 사용자 입력에 따라 지정될 수 있고, 목표 영역 내의 객체 인식 및 추적을 통해 동영상 재생 중에 계속해서 정의될 수 있다.

다음으로, 전체 영역 영상이 재생되고(S906), 전체 영역 영상과 함께 목표 영역에 대한 정보가 표시될 수 있다(S908). 목표 영역에 대한 정보는 목표 영역을 나타내는 박스 등의 형태로 표시된다.

또한, 재생 중인 동영상 파일의 목표 영역에 대한 영상이 재생된다. 이를 위해, 동영상 파일로부터 목표 영역에 대한 영상을 추출하는 처리를 수행할 수 있다. 동영상 파일로부터 목표 영역에 대한 영상을 추출하는 처리가 수행될 수 있다. 동영상 파일 재생 중(S902), 사용자가 목표 영역 영상에 대한 동영상 파일 생성을 요청하면, 목표 영역에 대한 동영상 파일이 생성될 수 있다(S912). 이를 위해, 재생되는 동영상 파일의 프레임들로부터, 목표 영역에 해당하는 영역을 추출하고 압축하여, 목표 영역에 대한 제2 동영상 파일을 생성할 수 있다.

전체 영역의 프레임들에 대한 S906 내지 S908의 동작들과, 목표 영역의 프레임들에 대한 S910 내지 S912의 동작들은, 동영상 재생이 종료될 때까지 각 프레임들에 대해 반복될 수 있다(S914).

도 10은 본 발명의 일 실시예에 따른 목표 영역 설정부(310a)의 구조를 나타낸 도면이다.

본 발명의 일 실시예에 따른 목표 영역 설정부(310a)는 사용자 입력에 따라 목표 영역을 인식하고, 목표 영역 내의 객체를 인식 및 추적하여, 목표 영역을 정의한다. 본 실시예에 따른 목표 영역 설정부(310a)는 사용자 입력 검출부(1002), 목표 객체 인식부(1004), 목표 객체 추적부(1006), 및 목표 영역 정의부(1008)를 포함한다.

사용자 입력 검출부(1002)는 목표 영역을 지정하는 사용자 입력을 검출한다. 도 11은 본 발명의 일 실시예에 따른 목표 영역 지정의 일례를 나타낸 도면이다. 목표 영역 지정의 일례로서, 사용자는 도 11에 도시된 바와 같이, 터치스크린으로 구현된 표시부(164)를 통해, 터치스크린 입력으로 목표 영역을 지정할 수 있다. 예를 들면, 사용자는 X 지점으로부터 Y 지점으로의 드래그(drag) 입력을 통해 목표 영역을 지정할 수 있다. 다른 예로서, 사용자는 조작부(180)를 통한 키 조작을 통해 목표 영역을 지정하는 것도 가능하다. 또한, 사용자 입력 검출부(1002)는 동영상 처리 중, 사용자가 목표 영역을 재설정 하는 것이 가능하도록 구성될 수 있다. 이러한 경우, 사용자가 목표 영역을 재설정하는 사용자 입력이 사용자 입력 검출부(1002)에 의해 검출된다.

목표 객체 인식부(1004)는 사용자에 의해 지정된 목표 영역 내의 객체를 인식한다. 이를 위해 Adaboost 알고리즘 등, 다양한 객체 인식 알고리즘들이 사용될 수 있다. 예를 들면, 목표 객체 인식부(1004)는 목표 영역 내의 얼굴을 검출하여, 검출된 얼굴을 인식할 수 있다. 목표 영역 내에서 인식된 객체는 목표 객체로 지정된다. 목표 객체는 하나 이상일 수 있다.

목표 객체 추적부(1006)는 인식된 목표 객체를 동영상 처리 중 계속해서 추적한다. 이를 위해, 다양한 객체 추적 알고리즘이 이용될 수 있다.

목표 영역 정의부(1008a)는 상기 목표 객체를 포함하도록, 동영상 처리 중에 계속해서 목표 영역을 정의한다. 예를 들면, 동영상 처리 중, 각 프레임마다 목표 영역의 정의될 수 있다. 목표 영역의 크기는 미리 정의되거나, 사용자가 설정에 따라 달라질 수 있다. 목표 영역은 예를 들면, 동영상 프레임 내의 좌표 값으로 표현될 수 있다.

도 12는 본 발명의 일 실시예에 따른 목표 영역 설정 과정을 나타낸 흐름도이다.

우선, 목표 영역을 지정하는 사용자 입력을 검출한다(S1202). 목표 영역 지정을 위한 입력은, 앞서 설명한 바와 같이, 터치스크린 입력, 조작부(180)를 통한 키 조작 등을 통해 입력될 수 있다.

다음으로, 사용자에 의해 지정된 목표 영역 내에서 목표 객체를 인식한다(S1204). 목표 영역 내에서 인식된 객체는 목표 객체로 지정된다. 목표 객체는 하나 이상일 수 있다.

목표 객체가 인식되면, 동영상 처리 동안, 계속해서 목표 객체를 추적한다(S1206). 또한, 동영상 처리 동안, 계속해서 목표 객체를 포함하도록 목표 영역을 정의한다(S1208). 예를 들면, 동영상 처리 중, 각 프레임마다 목표 영역의 정의될 수 있다. 목표 영역의 크기는 미리 정의되거나, 사용자가 설정에 따라 달라질 수 있다. 목표 영역은 예를 들면, 동영상 프레임 내의 좌표 값으로 표현될 수 있다.

목표 객체 추적(S1206) 및 목표 영역 정의(S1208)는, 동영상 처리가 종료될 때까지 각 프레임들에 대해 반복될 수 있다(S1210).

도 13은 본 발명의 다른 실시예에 따른 목표 영역 설정부(310b)의 구조를 나타낸 도면이다.

본 발명의 다른 실시예에 따른 목표 영역 설정부(310b)는 객체 검출을 이용하여 목표 객체를 지정하고, 복수의 목표 객체를 포함하도록 목표 영역을 정의한다. 본 실시예에 따른 목표 영역 설정부(310b)는 후보 객체 인식부(1302), 목표 객체 선택부(1304), 목표 객체 추적부(1006), 목표 영역 정의부(1008b), 및 우선순위 결정부(1306)를 포함한다.

후보 객체 인식부(1302)는 동영상 촬영 영역 내에서 객체를 인식하여, 하나 이상의 후보 객체를 인식한다. 이를 위해, Adaboost 알고리즘과 같은 객체 인식 알고리즘이 이용될 수 있다. 예를 들면, 도 14에 도시된 바와 같이, 동영상 촬영 영역 내의 얼굴들이 검출될 수 있다. 후보 객체 인식은 예를 들면, 라이브뷰 영상이 표시되는 동안 수행될 수 있다. 또한, 후보 객체 인식부(1302)는 후보 객체를 표시하는 박스들을 라이브뷰 영상과 함께 표시하도록 더 구성될 수 있다.

목표 객체 선택부(1304)는 자동으로 또는 사용자 입력에 따라 목표 객체를 선택한다(1304). 예를 들면, 도 14에 도시된 바와 같이, 상기 후보 객체들 중에서, 적어도 하나를 선택하는 사용자 입력에 의해 목표 객체가 지정될 수 있다. 다른 예로서, 하나 이상의 후보 객체들 중, 미리 결정된 기준에 따라 자동으로 목표 객체가 선택될 수 있다. 예를 들면, 인식된 후보 객체들 중, 화면 중심에서 가장 가까운 후보 객체가 목표 객체로 결정될 수 있다. 목표 객체는 구현 예에 따라, 한 개만 선택되거나, 한 개 이상이 선택될 수 있다.

목표 객체 추적부(1006)는 동영상 처리 중, 계속해서 목표 객체를 추적한다.

목표 영역 정의부(1008b) 동영상 처리 중, 목표 객체를 포함하도록 계속해서 목표 영역을 정의한다.

일례로서, 목표 객체가 복수인 경우, 목표 영역 정의부(1008b)는 복수의 목표 객체를 모두 포함하도록 목표 영역을 정의할 수 있다.

다른 예로서, 목표 객체가 복수인 경우, 목표 영역 정의부(1306)는, 사용자가 지정한 우선순위에 따라 어떤 목표 객체를 포함하도록 목표 영역을 지정할 수 있다. 이를 위해, 본 실시예에 따른 목표 영역 설정부(310b)는 우선순위 결정부(1306)를 더 포함할 수 있다. 우선순위 결정부(1306)는 미리 결정된 기준에 따라, 또는 사용자 입력에 따라 복수의 목표 객체들의 우선순위를 결정한다. 예를 들면, 목표 영역 정의부(1008b)는 동영상 촬영 영역 내에 존재하는 목표 객체들 중, 최우선 순위의 목표 객체를 포함하도록 목표 영역을 정의하다가, 상기 최우선 순위의 목표 객체가 동영상 촬영 영역으로부터 사라지면, 다음 우선순위의 목표 객체를 포함하도록 목표 영역을 정의할 수 있다.

도 15는 본 발명의 다른 실시예에 따른 목표 영역 설정 과정을 나타낸 흐름도이다.

우선, 동영상 촬영 영역 내에서 하나 이상의 후보 객체들을 인식한다(S1502). 앞서 설명한 바와 같이, 동영상 촬영 영역 내의 하나 이상의 얼굴들이 검출될 수 있다. 또한, 후보 객체 인식은 라이브뷰 영상이 표시되는 동안 수행되고, 후보 객체를 표시하는 박스들을 라이브뷰 영상과 함께 표시할 수 있다.

후보 객체들이 인식되면, 상기 후보 객체들 중 적어도 하나의 목표 객체가 선택된다(S1504). 목표 객체는 미리 결정된 기준에 따라, 또는 사용자 입력에 따라 결정될 수 있다.

목표 객체가 한 개인 경우(S1506), 상기 목표 객체를 동영상 처리 중, 계속해서 추적하고(S1524), 상기 목표 객체를 포함하도록 목표 영역을 설정한다(S1526). 목표 객체 추적(S1524) 및 목표 영역 정의(S1526)는 동영상 처리가 완료될 때까지 반복된다(S1528).

목표 객체가 복수인 경우(S1506), 복수의 목표 객체들을 이용하여 우선순위 방식으로 목표 영역을 지정할지 여부를 판단한다(S1508). 그러나 우선순위 방식으로 할지 여부는, 구현 예에 따라 미리 결정되어 있을 수 있고, 그러한 경우, S1508의 단계는 수행되지 않을 수 있다.

우선순위 방식인 경우(S1508), 복수의 목표 객체들의 우선순위를 결정한다(S1510). 우선순위는 미리 결정된 기준에 따라 또는 사용자 입력에 따라 결정될 수 있다. 또한 동영상 처리가 수행되는 동안, 계속해서 복수의 목표 객체들을 추적한다(S1512). 다음으로, 상기 복수의 목표 객체들 중, 동영상 촬영 영역 내의 최우선 순위의 목표 객체를 포함하도록 목표 영역을 정의한다(S1514). 목표 객체 추적(S1512) 및 목표 영역 정의(S1514)는 동영상 처리가 완료될 때까지 반복될 수 있다(S1516).

우선순위 방식이 아닌 경우(S1508), 상기 복수의 목표 객체들을 추적하고(S1518), 상기 복수의 목표 객체들을 모두 포함하도록 목표 영역을 정의한다(S1520). 목표 객체 추적(S1518) 및 목표 영역 정의(S1520)는 동영상 처리가 완료될 때까지 반복될 수 있다(S1522).

이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.

100 영상 처리 장치 110 촬영부
111 조리개 112 조리개 구동부
113 렌즈부 115 렌즈 구동부
118 촬상 소자 119 촬상 소자 제어부
120 아날로그 신호 처리부 130 메모리
140 저장/판독 제어부 142 데이터 저장부
150 프로그램 저장부 162 표시 구동부
164 표시부 170, 170a, 170b CPU/DSP
180 조작부 310, 310a, 310b 목표 영역 설정부
320a, 320b 전체 영역 처리부 322 제1 리사이징부
324 제1 동영상 파일 생성부 326 전체 영역 라이브뷰 제공부
330a, 330b 목표 영역 처리부 332 제2 리사이징부
334a, 334b 제2 동영상 파일 생성부
336 목표 영역 라이브뷰 제공부
802 동영상 파일 생성부 812 전체 영역 재생부
814 목표 영역 정보 제공부 816 목표 영역 재생부
1002 사용자 입력 검출부 1004 목표 객체 인식부
1006 목표 객체 추적부 1008a, 1008b 목표 영역 정의부
1302 후보 객체 인식부 1304 목표 객체 선택부
1306 우선순위 결정부

Claims

동영상 촬영 영역 내에서 목표 영역을 설정하는 단계;
상기 동영상 촬영 영역의 전체 영역에 대한 처리를 수행하는 전체 영역 처리 단계; 및
상기 목표 영역에 대한 처리를 수행하는 목표 영역 처리 단계를 포함하는, 영상 처리 방법.
제1항에 있어서,
상기 영상 처리 방법은, 동영상을 촬영하는 단계를 더 포함하고,
상기 전체 영역 처리 단계는, 상기 동영상 촬영 영역의 전체 영역을 기록한 제1 동영상 파일을 생성하는 단계를 포함하고,
상기 목표 영역 처리 단계는, 상기 목표 영역을 기록한 제2 동영상 파일을 생성하는 단계를 포함하는, 영상 처리 방법.
제2항에 있어서,
상기 제1 동영상 파일을 생성하는 단계는, 상기 동영상 촬영 시, 입사광을 광전 변환하는 촬상 소자로부터 입력된 입력 신호 중, 전체 영역에 대한 입력 신호를 목표 사이즈로 리사이징(resizing)하는 단계를 포함하고,
상기 제2 동영상 파일을 생성하는 단계는, 상기 동영상 촬영 시 상기 촬상 소자로부터 입력된 입력 신호 중, 상기 목표 영역에 대한 입력 신호를 상기 목표 사이즈로 리사이징하는 단계를 포함하는, 영상 처리 방법.
제2항에 있어서,
상기 영상 처리 방법을 수행하는 장치는 복수의 표시부들을 구비하고,
상기 전체 영역 처리 단계는, 상기 동영상 촬영 중, 상기 전체 영역에 대한 라이브뷰 영상을 상기 복수의 표시부들 중 제1 표시부에 표시하는 단계를 더 포함하고,
상기 목표 영역 처리 단계는, 상기 동영상 촬영 중, 상기 목표 영역에 대한 라이브뷰 영상을 상기 복수의 표시부들 중 제2 표시부에 표시하는 단계를 더 포함하는, 영상 처리 방법.
제1항에 있어서,
상기 영상 처리 방법은, 동영상 파일을 재생하는 단계를 더 포함하고,
상기 목표 영역을 설정하는 단계는, 상기 동영상 파일 재생 중 수행되고,
상기 전체 영역 처리 단계는, 상기 동영상 파일에 기록된 동영상의 상기 전체 영역을 재생하는 단계를 포함하고,
상기 목표 영역 처리 단계는, 상기 동영상 파일에 기록된 동영상의 상기 목표 영역을 재생하는 단계를 포함하는, 영상 처리 방법.
제5항에 있어서,
상기 전체 영역 처리 단계는, 상기 전체 영역에 대한 동영상 재생 중, 상기 목표 영역에 대한 정보를 제공하는 단계를 더 포함하고,
상기 목표 영역을 재생하는 단계는, 상기 전체 영역에 대한 동영상 재생 중, 상기 목표 영역의 재생을 요청하는 사용자 입력에 응답하여 수행되는, 영상 처리 방법.
제1항에 있어서,
상기 영상 처리 방법을 수행하는 장치는 복수의 표시부들을 구비하고,
상기 전체 영역 처리 단계는, 상기 전체 영역에 대한 재생 영상을 상기 복수의 표시부들 중 제1 표시부에 표시하는 단계를 포함하고,
상기 목표 영역 처리 단계는, 상기 목표 영역에 대한 재생 영상을 상기 복수의 표시부들 중 상기 제1 표시부 및 제2 표시부 중 적어도 하나에 표시하는 단계를 포함하는, 영상 처리 방법.
제1항에 있어서,
상기 영상 처리 방법은, 상기 목표 영역을 재설정하는 단계를 더 포함하고,
상기 목표 영역 처리 단계는, 상기 목표 영역이 재설정됨에 응답하여, 재설정 된 상기 목표 영역에 대응되는 영상을 처리하는, 영상 처리 방법.
제1항에 있어서,
상기 영상 처리 방법은, 동영상 파일을 재생하는 단계를 더 포함하고,
상기 목표 영역을 설정하는 단계는, 상기 동영상 파일 재생 중 수행되고,
상기 목표 영역 처리 단계는, 상기 목표 영역에 대한 제2 동영상 파일을 생성하는 단계를 포함하는, 영상 처리 방법.
제1항에 있어서, 상기 목표 영역을 설정하는 단계는,
상기 목표 영역을 지정하는 사용자 입력을 검출하는 단계;
사용자에 의해 지정된 상기 목표 영역 내에서 적어도 하나의 목표 객체를 인식하는 단계;
상기 적어도 하나의 목표 객체를 추적하는 단계; 및
동영상 데이터 처리 중, 상기 적어도 하나의 목표 객체를 포함하도록 상기 목표 영역을 계속해서 설정하는 단계를 포함하는, 영상 처리 방법.
제1항에 있어서,
상기 영상 처리 방법은, 상기 동영상 촬영 영역 내에서 적어도 하나의 후보 객체를 인식하는 단계를 더 포함하고,
상기 목표 영역을 설정하는 단계는,
상기 적어도 하나의 후보 객체 중 적어도 하나의 목표 객체를 선택하는 단계; 및
상기 적어도 하나의 목표 객체를 추적하여, 상기 적어도 하나의 목표 객체 중 적어도 하나를 포함하도록 상기 목표 영역을 설정하는 단계를 포함하는, 영상 처리 방법.
제11항에 있어서,
상기 적어도 하나의 목표 객체가 복수인 경우, 상기 적어도 하나의 목표 객체의 우선순위를 결정하는 단계; 및
상기 동영상 촬영 영역 내에 존재하는 상기 적어도 하나의 목표 객체 중, 최우선 순위의 목표 객체를 포함하도록 상기 목표 영역을 설정하는 단계를 더 포함하는, 영상 처리 방법.
제11항에 있어서,
상기 적어도 하나의 목표 객체가 복수인 경우, 상기 적어도 하나의 목표 객체가 모두 포함되도록 상기 목표 영역을 설정하는 단계를 더 포함하는, 영상 처리 방법.
동영상 촬영 영역 내에서 목표 영역을 설정하는 목표 영역 설정부;
상기 동영상 촬영 영역의 전체 영역에 대한 처리를 수행하는 전체 영역 처리부; 및
상기 목표 영역에 대한 처리를 수행하는 목표 영역 처리부를 포함하는, 영상 처리 장치.
제14항에 있어서,
상기 영상 처리 장치는, 촬영 장치이고,
상기 전체 영역 처리부는, 상기 동영상 촬영 영역의 전체 영역을 기록한 제1 동영상 파일을 생성하는 제1 동영상 파일 생성부를 포함하고,
상기 목표 영역 처리부는, 상기 목표 영역을 기록한 제2 동영상 파일을 생성하는 제2 동영상 파일 생성부를 포함하는, 영상 처리 장치.
제15항에 있어서,
상기 촬영 장치는 입사광을 광전 변환하는 촬상 소자를 포함하고,
상기 제1 동영상 파일 생성부는, 상기 동영상 촬영 시, 상기 촬상 소자로부터 입력된 입력 신호 중, 상기 전체 영역에 대한 입력 신호를 목표 사이즈로 리사이징(resizing)하는 제1 리사이징부를 포함하고,
상기 제2 동영상 파일 생성부는, 상기 동영상 촬영 시, 상기 촬상 소자로부터 입력된 입력 신호 중, 상기 목표 영역에 대한 입력 신호를 상기 목표 사이즈로 리사이징하는 제2 리사이징부를 포함하는, 영상 처리 장치.
제15항에 있어서,
상기 영상 처리 장치는 복수의 표시부들을 구비하고,
상기 전체 영역 처리부는, 상기 동영상 촬영 중, 상기 전체 영역에 대한 라이브뷰 영상을 상기 복수의 표시부들 중 제1 표시부에 표시하는 전체 영상 라이브뷰 제공부를 더 포함하고,
상기 목표 영역 처리부는, 상기 동영상 촬영 중, 상기 목표 영역에 대한 라이브뷰 영상을 상기 복수의 표시부들 중 제2 표시부에 표시하는 목표 영역 라이브뷰 제공부를 더 포함하는, 영상 처리 장치.
제14항에 있어서,
상기 영상 처리 장치는, 동영상 파일을 재생하는 재생부를 더 포함하고,
상기 목표 영역 설정부는, 상기 동영상 파일 재생 중 상기 목표 영역 설정 처리를 수행하고,
상기 전체 영역 처리부는, 상기 동영상 파일에 기록된 동영상의 상기 전체 영역을 재생하는 전체 영역 재생부를 포함하고,
상기 목표 영역 처리부는, 상기 동영상 파일에 기록된 동영상의 상기 목표 영역을 재생하는 목표 영역 재생부를 포함하는, 영상 처리 장치.
제18항에 있어서,
상기 전체 영역 처리부는, 상기 전체 영역에 대한 동영상 재생 중, 상기 목표 영역에 대한 정보를 제공하는 목표 영역 정보 제공부를 더 포함하고,
상기 목표 영역 재생부는, 상기 전체 영역에 대한 동영상 재생 중, 상기 목표 영역의 재생을 요청하는 사용자 입력에 응답하여 상기 목표 영역을 재생하는, 영상 처리 장치.
제14항에 있어서,
상기 영상 처리 장치는 복수의 표시부들을 구비하고,
상기 전체 영역 처리부는, 상기 전체 영역에 대한 재생 영상을 상기 복수의 표시부들 중 제1 표시부에 표시하는 전체 영역 재생부를 포함하고,
상기 목표 영역 처리부는, 상기 목표 영역에 대한 재생 영상을 상기 복수의 표시부들 중 상기 제1 표시부 및 제2 표시부 중 적어도 하나에 표시하는 목표 영역 재생부를 포함하는, 영상 처리 장치.
제20항에 있어서,
상기 목표 영역 설정부는, 상기 목표 영역을 재설정 가능하도록 구성되고,
상기 목표 영역 처리부는, 상기 목표 영역이 재설정됨에 응답하여, 재설정 된 상기 목표 영역에 대응되는 영상을 처리하도록 구성된, 영상 처리 장치.
제14항에 있어서,
상기 영상 처리 장치는, 동영상 파일을 재생부를 더 포함하고,
상기 목표 영역 설정부는, 상기 동영상 파일 재생 중 상기 목표 영역 설정 처리를 수행하고,
상기 목표 영역 처리부는, 상기 목표 영역에 대한 제2 동영상 파일을 생성하는 제2 동영상 파일 생성부를 포함하는, 영상 처리 장치.
제14항에 있어서, 상기 목표 영역 설정부는,
상기 목표 영역을 지정하는 사용자 입력을 검출하는 사용자 입력 검출부;
사용자에 의해 지정된 상기 목표 영역 내에서 적어도 하나의 목표 객체를 인식하는 목표 객체 인식부;
상기 적어도 하나의 목표 객체를 추적하는 목표 객체 추적부; 및
동영상 데이터 처리 중, 상기 적어도 하나의 목표 객체를 포함하도록 상기 목표 영역을 계속해서 설정하는 목표 영역 정의부를 포함하는, 영상 처리 장치.
제14항에 있어서,
상기 영상 처리 장치는, 상기 동영상 촬영 영역 내에서 적어도 하나의 후보 객체를 인식하는 후보 객체 인식부를 더 포함하고, 상기 목표 영역 설정부는,
상기 적어도 하나의 후보 객체 중 적어도 하나의 목표 객체를 선택하는 목표 객체 선택부; 및
상기 적어도 하나의 목표 객체를 추적하여, 상기 적어도 하나의 목표 객체 중 적어도 하나를 포함하도록 상기 목표 영역을 설정하는 목표 객체 정의부를 포함하는, 영상 처리 장치.
제24항에 있어서, 상기 목표 영역 설정부는,
상기 적어도 하나의 목표 객체가 복수인 경우, 상기 적어도 하나의 목표 객체의 우선순위를 결정하는 우선순위 결정부를 더 포함하고,
상기 목표 영역 정의부는, 상기 동영상 촬영 영역 내에 존재하는 상기 적어도 하나의 목표 객체 중, 최우선 순위의 목표 객체를 포함하도록 상기 목표 영역을 설정하는, 영상 처리 장치.
제24항에 있어서,
상기 목표 영역 정의부는, 상기 적어도 하나의 목표 객체가 복수인 경우, 상기 적어도 하나의 목표 객체가 모두 포함되도록 상기 목표 영역을 설정하는, 영상 처리 장치.