KR101816446B1 - 평면 디스플레이에서 표시되는 텔레프레전스 이론을 적용한 3 차원 콘텐츠 영상 처리 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 평면 디스플레이에서 표시되는 텔레프레전스 이론을 적용한 3 차원 콘텐츠 영상 처리 시스템 및 그 방법에 관한 것이다. 본 발명의 영상 처리 시스템은 통신망, 복수 개의 카메라, 콘텐츠 생성 장치, 콘텐츠 제공 서버 및 콘텐츠 재생 장치를 포함한다. 콘텐츠 생성 장치는 다양한 움직임 등의 동작 기능을 갖는 피사체에 대한 영상에 다양한 인터렉션 기능을 부가하여 제공하고, 이를 통해 사용자가 실시간으로 영상 콘텐츠를 보거나 가상 체험 가능하도록 처리하는 영상 콘텐츠를 생성한다. 이렇게 생성된 다양한 내용의 영상 콘텐츠는 콘텐츠 제공 서버로 전송하여 데이터베이스화한다. 콘텐츠 재생 장치는 자이로스코프 센서가 구비된 스마트 폰, 3 차원 모션 디텍터가 구비된 대형 디스플레이 장치로 구비된다. 본 발명에 의하면, 텔레프레전스 이론을 이용하여 인터렉션에 대응되는 영상 콘텐츠를 제공함으로써, 영상 콘텐츠의 보다 생생한 감상과, 사용자가 영상 콘텐츠와의 양방향적으로 재생 가능하므로 예를 들어, 교육, 전자 상거래, 전시, 문화, 오프라인 마켓팅, 여행, 광고 등 영상 콘텐츠를 사용하거나 이를 통해 가상 체험할 수 있는 다양한 응용 분야에서 활용이 가능하다.

Description

평면 디스플레이에서 표시되는 텔레프레전스 이론을 적용한 3 차원 콘텐츠 영상 처리 시스템 및 그 방법{IMAGE PROCESSING SYSTEM FOR PROCESSING 3D CONTENTS DISPLYED ON THE FLAT DISPLAY AND APPLIED TELEPRESENCE, AND METHOD OF THE SAME}

본 발명은 3 차원 콘텐츠 영상 처리 시스템에 관한 것으로, 좀 더 구체적으로 복수 개의 카메라를 이용하여 촬영한 대상물에 대한 콘텐츠를 스트리밍 방식으로 제공하고, 평면 디스플레이에서 표시되고 사용자가 별도의 3 차원 재생 장치나 3 차원 재생 프로그램없이 콘텐츠와의 인터렉션을 통해 양방향적이고 능동적으로 콘텐츠를 보다 생동감있게 감상 가능하고 가상 체험할 수 있도록 처리하는 Steuer at el.,(1992)의 텔레프레전스(telepresence) 이론을 적용한 3 차원 콘텐츠 영상 처리 시스템 및 그 방법에 관한 것이다.

전통적인 영상 시각 미디어인 사진과 동영상은 전 산업에서 폭넓게 쓰이는 지배적 매체이다. 다양한 사용자 인터렉션이 가능한 모바일 환경에서도 폭넓게 사용되지만, 전통적인 사진과 동영상에서 제작된 콘텐츠들은 콘텐츠 생산자들의 제한된 주관과 시점이 사용자들에게 일방적으로 전달될 수 밖에 없고, 사용자들은 수동적으로 콘텐츠를 흡수해야 하는 제한점이 있다.

또한 이렇게 콘텐츠 생산자들 중심으로 제작된 콘텐츠는 단순하게 해당 콘텐츠를 사용자들에게 보여주는데에 초점이 맞추어져 있기 때문에, 사용자 개인별 경험을 지향하기가 어렵다.

최근 이러한 수동적 매체의 한계를 극복하고자 모바일 환경에서 능동적인 인터렉션을 통해 개인화된 경험을 추구할 수 있는 가상 현실(Virtual Reality : VR) 기반 콘텐츠들이 제작되고 있다. VR 기반 콘텐츠는 사용자들에게 몰입도를 높여서 사용자가 마치 콘텐츠 생산자가 촬영한 공간에 온 것 같은 느낌을 전달하여 전통적인 미디어들보다 차별화된 개인별 경험을 제공해 주려고 노력하고 있다.

하지만 기존 VR 기반 콘텐츠들은 일반적으로 3D 안경 또는 HMD(Head Mounted Display)를 따로 구매해서 착용해야 하는 번거로움이 존재하고, 해당 기기를 쓰고 장시간 시청할 경우, '사이버 멀미(Cyber sickness)' 문제가 발생되어 사용자들은 종종 메스꺼움, 불쾌감, 눈의 피로 또는 방향 감각 상실을 호소하는 사례들이 보고 되고 있으며, 또 현실과 가상을 구분하지 못하는 인지 장애가 나타나는 등의 문제점이 발생되고 있는 실정이다.

또한 360 도 카메라와 같은 광학 디바이스를 통해 제작된 VR 기반 콘텐츠들의 경우, 사용자들에게 단순히 시점 변화에 대한 인터렉션 만을 제공하고 있다. 따라서 현재까지 이와 같은 문제점들을 해결하고자 하는 연구는 부족한 상태이다.

한국 등록특허공보 제10-1501127호(공고일 2016년 02월 15일) 한국 등록특허공보 제10-1143606호(공고일 2012년 05월 09일) 한국 공개특허공보 제10-2013-0082858호(공고일 2013년 07월 22일) 한국 등록특허공보 제10-1481103호(공고일 2015년 01월 16일)

Steuer at el.,(1992), "Defining Virtual Reality : Dimensions Determining Telepresence", by Jonathan Steuer, Stanford University, Journal of Communication, Autumn 1992

본 발명의 목적은 양방향적이고 능동적으로 가상 체험이 가능한 3D 영상 콘텐츠를 제공하기 위한 평면 디스플레이에서 표시되는 3D 콘텐츠에 텔레프레전스 이론을 적용한 3D 콘텐츠 영상 처리 시스템 및 그 방법을 제공하는 것이다.

본 발명의 다른 목적은 3D 영상 콘텐츠에 다양한 인터렉션 기능을 부가하여 생성하고, 이를 별도의 3 차원 재생 장치의 사용없이 재생 가능하도록 제공하는 텔레프레전스 이론을 이용한 3D 콘텐츠 영상 처리 시스템 및 그 방법을 제공하는 것이다.

본 발명의 또 다른 목적은 사용자가 3D 영상 콘텐츠의 다양한 시점을 볼 수 있게 할 수 있을 뿐만 아니라, 가상 오브젝트를 실제와 같이 느낄 수 있도록 작동하게 해주어 사용자의 가상 콘텐츠 체험 수준을 높일 수 있도록 하기 위한 텔레프레전스 이론을 이용한 3D 콘텐츠 영상 처리 시스템 및 그 방법을 제공하는 것이다.

본 발명의 또 다른 목적은 사용자가 콘텐츠와의 양방향적으로 재생 가능하도록 실시간으로 스트리밍 방식으로 제공하여 교육, 전자 상거래, 전시, 문화, 오프라인 마켓팅, 여행, 광고 등 영상 콘텐츠를 사용하거나 이를 통해 가상 체험할 수 있는 다양한 응용 분야에서 활용이 가능한 텔레프레전스 이론을 이용한 영상 처리 시스템 및 그 방법을 제공하는 것이다.

상기 목적들을 달성하기 위한, 본 발명의 3D 콘텐츠 영상 처리 시스템은, 피사체에 대한 영상 콘텐츠에 다양한 인터렉션 기능을 부가하여 생성하고, 사용자가 콘텐츠와의 양방향적으로 재생 가능하도록 실시간으로 제공하는데 그 특징이 있다. 이와 같은 본 발명의 3D 콘텐츠 영상 처리 시스템은 실시간으로 피사체에 대한 영상 콘텐츠를 보거나 이를 통해 가상 체험할 수 있도록 할 수 있다.

이 특징에 따른 본 발명의 텔레프레전스 이론을 이용한 영상 처리 시스템은, 다양한 동작 기능을 갖는 피사체에 대한 촬영 방향을 서로 다르게 구비하고, 상기 피사체의 동작 기능에 따라 다양한 시점에서 상기 피사체를 촬영하는 복수 개의 카메라와; 상기 카메라로부터 촬영된 상기 피사체에 대한 영상을 전송받아서, 동기화하여 무한 반복 영상으로 제작하고, 상기 피사체의 동작 기능에 따라 적어도 하나의 인터렉션을 삽입하여 영상 콘텐츠를 생성하는 적어도 하나의 콘텐츠 생성 장치 및; 통신망을 통하여 상기 콘텐츠 생성 장치로부터 상기 영상 콘텐츠를 제공받아서 데이터베이스화하고, 상기 통신망을 통하여 실시간으로 콘텐츠 재생 장치로 상기 영상 콘텐츠를 스트리밍 방식으로 제공하여 상기 영상 콘텐츠를 재생하도록 하고, 상기 콘텐츠 재생 장치로부터 인터렉션에 대한 이벤트가 발생되면, 적어도 상기 영상 콘텐츠에 포함된 인터렉션에 대응되는 영상이 재생되거나 상기 피사체를 원격지에서 가상 체험하도록 처리하는 콘텐츠 제공 서버를 포함한다.

이 특징의 한 실시예에 있어서, 상기 콘텐츠 생성 장치는; 상기 카메라들 각각을 인식하고, 연결 상태를 체크하는 카메라 식별부와; 상기 카메라 식별부에 의해 상기 카메라들이 인식되면, 일정 시간 동안 상기 피사체의 영상을 수집하는 영상 수집부와; 상기 카메라들 각각으로부터 촬영된 영상들을 무한 반복 재생 가능하도록 통합 편집 및 보정하는 영상 편집부와; 상기 영상 편집부로부터 편집된 영상에서 상기 피사체의 동작 기능에 대응하는 특정 시점에 적어도 하나의 인터렉션을 삽입하는 인터렉션 삽입부 및; 상기 영상 편집부와 상기 인터렉션 삽입부에 의해 편집 및 보정, 인터렉션 삽입된 영상을 촬영하여 영상을 통합 편집하고, 적어도 하나의 인터렉션이 삽입된 영상으로부터 상기 영상 콘텐츠를 생성하는 콘텐츠 생성부를 포함한다.

다른 실시예에 있어서, 상기 콘텐츠 생성 장치는 상기 콘텐츠 제공 서버에 구비된다.

또 다른 실시예에 있어서, 상기 콘텐츠 재생 장치는; 감지된 움직임에 대응하는 인터렉션을 발생시키는 자이로스코프 센서와; 상기 통신망을 통하여 상기 콘텐츠 제공 서버와 상호 데이터 통신을 수행하는 통신부와; 사용자의 입력 동작에 따라 인터렉션을 발생시키는 입력부와; 상기 영상 콘텐츠에 포함된 인터렉션의 이벤트가 발생되면, 해당 영상을 출력하거나, 해당 영상에 포함된 오디오 및 햅틱 효과를 출력하는 콘텐츠 재생부 및; 상기 자이로스코프 센서, 상기 통신부, 상기 입력부 및 상기 콘텐츠 재생부를 제어하는 제어부를 포함한다.

또 다른 실시예에 있어서, 상기 콘텐츠 재생 장치는; 인식된 사용자의 모션이나 제스쳐에 대응하는 인터렉션을 발생시키는 3 차원 모션 디텍터와; 상기 통신망을 통하여 상기 콘텐츠 제공 서버와 상호 데이터 통신을 수행하는 통신부와; 상기 영상 콘텐츠에 포함된 인터렉션의 이벤트가 발생되면, 해당 영상을 출력하거나, 해당 영상과 해당 영상에 포함된 오디오를 출력하는 디스플레이 장치 및; 상기 통신부, 상기 입력부 및 상기 콘텐츠 재생부를 제어하는 제어부를 포함한다.

또 다른 실시예에 있어서, 상기 콘텐츠 제공 서버는; 상기 콘텐츠 생성 장치들로부터 다양한 내용의 상기 영상 콘텐츠를 전송받아서 데이터베이스에 저장 관리하는 콘텐츠 수집부와; 상기 데이터베이스에 저장된 상기 영상 콘텐츠를 복수 개의 상기 콘텐츠 재생 장치들로 스트리밍 방식으로 실시간 제공하는 콘텐츠 제공부를 포함한다.

본 발명의 다른 특징에 따르면, 텔레프레전스 이론을 이용한 영상 처리 시스템의 처리 방법이 제공된다.

이 특징에 따른 본 발명의 텔레프레전스 이론을 이용한 영상 처리 시스템의 영상 처리 방법은, 다양한 동작 기능을 갖는 피사체에 대한 촬영 방향이 서로 다르게 구비하고, 상기 피사체의 동작 기능에 따라 다양한 시점에서 상기 피사체를 촬영하는 복수 개의 카메라들을 이용하여 피사체의 영상을 일정 시간 동안 촬영하는 단계와; 상기 카메라들로부터 촬영된 영상을 콘텐츠 생성 장치로 제공하는 단계와; 상기 콘텐츠 생성 장치가 상기 카메라들로부터 촬영된 영상들을 동기화시키고, 무한 반복 가능한 영상으로 제작하고, 상기 피사체의 동작 기능에 따라 적어도 하나의 인터렉션을 삽입하여 영상 콘텐츠를 생성하는 단계와; 상기 콘텐츠 생성 장치가 생성된 상기 영상 콘텐츠를 통신망을 통하여 콘텐츠 제공 서버로 전송하는 단계와; 상기 콘텐츠 제공 서버가 상기 콘텐츠 생성 장치로부터 제공되는 다양한 내용의 상기 영상 콘텐츠들을 데이터베이스에 저장, 관리하는 단계와; 콘텐츠 재생 장치가 통신망을 통해 상기 콘텐츠 제공 서버에 접속하여 하나의 상기 영상 콘텐츠를 요청하면, 상기 콘텐츠 제공 서버는 해당 영상 콘텐츠를 통신망을 통하여 스트리밍 방식으로 상기 콘텐츠 재생 장치로 전송하는 단계와; 상기 콘텐츠 재생 장치가 상기 콘텐츠 제공 서버로부터 전송된 상기 영상 콘텐츠를 실시간으로 재생 출력하고, 재생 중 상기 콘텐츠 재생 장치에서 하나의 인터렉션에 대한 이벤트를 발생시키면, 상기 콘텐츠 제공 서버가 해당 인터렉션에 대한 영상, 오디오 및 햅틱 효과를 출력하도록 통신망을 통하여 스트리밍 방식으로 상기 콘텐츠 재생 장치로 전송하여 해당 영상 콘텐츠를 재생하도록 처리하는 단계를 포함한다.

이 특징의 한 실시예에 있어서, 상기 영상 콘텐츠를 생성하는 단계는; 상기 콘텐츠 생성 장치가 상기 무한 반복 재생 가능한 영상에 상기 피사체의 동작 기능에 대한 적어도 하나의 인터렉션을 삽입하고, 인터렉션이 삽입된 영상을 통합 편집 및 보정하여 상기 영상 콘텐츠를 생성한다.

다른 실시예에 있어서, 상기 영상 콘텐츠를 통합 편집 및 보정하는 것은; 영상이 튀지 않게 무한 반복 재생되도록 타임 라인을 설정하고, 상기 카메라들 중 일정 단위 간격으로 추출하여 추출된 위치의 상기 카메라들로부터 촬영된 영상들만을 복수 회 복사하여 상호 오버랩(overlap)시켜서 통합 편집하고, 영상의 선명도, 색상, 밝기, 필터들 중 적어도 어느 하나를 선택하여 영상 조절 및 필터 효과를 적용한다.

또 다른 실시예에 있어서, 상기 해당 영상 콘텐츠를 재생하도록 처리하는 단계는; 상기 콘텐츠 재생 장치가 상기 영상 콘텐츠의 재생 시, 자이로스코프 센서로부터 인식된 기울이는 모션 또는 사용자의 터치에 대응하여 서로 다른 위치에서의 상기 피사체의 인터렉션 기능이 부여된 영상을 재생하거나, 인터렉션에 대응하여 피사체의 동작 기능에 따른 서로 다른 영상과, 오디오를 재생하거나, 인터렉션 기능에 따라 복합의 피드백 기능을 제공하도록 처리한다.

상술한 바와 같이, 본 발명의 3D 콘텐츠 영상 처리 시스템은 복수 개의 카메라를 이용하여 피사체의 다양한 촬영 방향과, 사용자의 인터렉션에 반응하는 피사체의 움직임에 대한 영상을 촬영하고, 촬영된 영상들을 통합, 편집, 보정하여 반복 재생되는 영상 콘텐츠를 실시간으로 사용자에게 제공함으로써, 영상 콘텐츠의 보다 생생한 감상과 인터렉션에 대응되는 피사체에 대한 가상 체험이 가능하다.

또 본 발명의 3D 콘텐츠 영상 처리 시스템은 텔레프레전스 이론을 이용하여 인터렉션에 대응되는 영상 콘텐츠를 제공함으로써, 사용자가 콘텐츠와의 양방향적으로 재생 가능하므로 예를 들어, 교육, 전자 상거래, 전시, 문화, 오프라인 마켓팅, 여행, 광고 등 영상 콘텐츠를 사용하거나 이를 통해 가상 체험할 수 있는 다양한 응용 분야에서 활용이 가능하다.

또한 본 발명의 3D 콘텐츠 영상 처리 시스템은 대화면의 영상 출력 장치와 키넥트 디바이스를 결합하여 원격으로 영상 콘텐츠를 조작 가능하므로, 디지털 사이니지 분야에 적용이 가능하다.

뿐 만 아니라, 본 발명의 3D 콘텐츠 영상 처리 시스템은 별도의 3 차원 재생 장치 예를 들어, 3D 안경, 헤드 마운트 디스플레이 장치(Head Mounted Display : HMD)와, 3D 제작용 소프트웨어없이 실제 복수 개의 카메라를 이용하여 촬영된 영상을 통해 움직이는 영상 콘텐츠의 여러 시점이나 인터렉션이 부여된 시점에서 끊김없이 재생 가능하다.

도 1은 본 발명에 따른 텔레프레전스 이론을 이용하여 양방향적이고 능동적으로 가상 체험이 가능한 영상 콘텐츠를 제공하기 위한 개념을 설명하는 도면;
도 2는 본 발명에 따른 영상 생성을 위한 구성을 설명하기 위한 도면;
도 3은 본 발명에 따른 3D 콘텐츠 영상 처리 시스템의 네트워크 구성을 도시한 블럭도;
도 4는 도 3에 도시된 영상 콘텐츠를 생성하기 위한 콘텐츠 생성 클라이언트의 구성을 도시한 도면;
도 5는 도 3에 도시된 콘텐츠 제공 서버의 상세한 구성을 도시한 블럭도;
도 6은 도 3에 도시된 콘텐츠 이용 클라이언트의 일 실시예에 따른 구성을 도시한 블럭도;
도 7은 도 3에 도시된 콘텐츠 이용 클라이언트의 다른 실시예에 따른 구성을 도시한 블럭도;
도 8은 본 발명에 따른 3D 콘텐츠 영상 처리 시스템의 처리 수순을 도시한 흐름도;
도 9a 내지 도 9j는 본 발명의 실시예에 따른 콘텐츠 생성 과정을 나타내는 도면들; 그리고
도 10a 내지 도 10c는 본 발명의 실시예에 따른 스마트 폰에서의 인터렉션에 의한 콘텐츠 재생 처리 상태를 나타내는 도면들이다.

본 발명의 실시예는 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 서술하는 실시예로 인해 한정되어지는 것으로 해석되어서는 안된다. 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서 도면에서의 구성 요소의 형상 등은 보다 명확한 설명을 강조하기 위해서 과장되어진 것이다.

이하 첨부된 도 1 내지 도 10을 참조하여 본 발명의 실시예를 상세히 설명한다.

도 1은 본 발명에 따른 텔레프레전스 이론을 이용하여 양방향적이고 능동적으로 가상 체험이 가능한 영상 콘텐츠를 제공하기 위한 개념을 설명하는 도면이고, 도 2는 본 발명에 따른 영상 생성을 위한 구성을 설명하기 위한 도면이다.

먼저, 본 발명에서의 텔레프레전스(Telepresence) 이론이란, Steuer at el.,(1992)("Defining Virtual Reality : Dimensions Determining Telepresence", by Jonathan Steuer, Stanford University, Journal of Communication, Autumn 1992)가 제시한 텔레프레전스 개념을 말한다. 텔레프레전스는 공간적으로 떨어져 있는 장소 또는 가상의 장소를 신체적으로 경험하는 것을 말한다. 본 발명에서는 평면 디스플레이에서 사용자의 가상 콘텐츠의 체험 수준을 높이기 위해 Steuer at el.,(1992)가 제시한 텔레프레전스 컨셉을 사용하였다. Steuer at el.,(1992)에 따르면 텔레프레전스는 크게 생동함(Vividness)과 상호 작용성(Interactivity)으로 크게 구분하고, 이 두 개를 구성하고 있는 하위 요인들을 생생함(Vividness)에서는 폭(Breadth) 깊이(Depth), 그리고 상호작용성(Interactivity)에서는 속도(Speed), 범위(Range), 연결방식(Mapping)으로 구성하였다. 그리고 텔레프레전스의 하위 요인들의 수준이 사람들의 경험하는 일정 수준 이상일 경우 원격 현존감, 즉 텔레프레전스가 상승한다고 하였다.

따라서 본 발명에서는 생생함(Vividness)에 폭(Breadth)과 깊이(Depth) 개념을 만족할 수 있는 무한 반복 애니메이션(Perfectly Looped Animation)을 적용하고, 상호 작용성(Interactivity)에 속도(Speed), 범위(Range), 연결 방식(Mapping)의 개념을 만족시킬 수 있는 햅틱 효과, 오디오 효과, 자이로스코프 센서, 3D 모션 디텍터 등을 적용하여 평면 디스플레이에서도 사용자의 가상 콘텐츠의 체험 수준을 높이고자 한다.

도 1 및 도 2를 참조하면, 본 발명은 다양한 움직임 등의 동작 기능을 갖는 피사체(10)에 대한 영상에 다양한 인터렉션 기능을 부가하여 제공하고, 이를 통해 사용자가 실시간으로 영상 콘텐츠(이하 'virtualgraph(버추얼그래프)' 라 한다)를 보거나 가상 체험 가능하도록 처리하는 3D 콘텐츠 영상 처리 시스템을 제공한다.

이를 위해 본 발명의 3D 콘텐츠 영상 처리 시스템은 다양한 피사체(10)에 대하여 다양한 인터렉션이 포함되어 움직임 가능한 영상 콘텐츠(moving picture data)를 생성, 저장하여 데이터베이스화하고, 이를 스트리밍 방식으로 사용자에게 실시간 제공하고, 사용자는 영상 콘텐츠에 포함된 인터렉션에 대한 이벤트를 발생시켜서 해당 영상을 재생하도록 처리한다.

여기서 영상 콘텐츠는 기존의 전통적인 이미지, 동영상 등과는 다른 새로운 유형의 사진 기법(photography)으로, 포토, 비디오, 오디오 등이 포함되고 3 차원의 영상과 무한 반복 애니메이션(Perfectly Looped anmation)이 결합된 것으로, 별도의 3 차원 재생 장치 예를 들어, 3D 안경, 헤드 마운트 디스플레이 장치(Head mounted Display : HMD)와, 3D 제작용 소프트웨어없이 재생 가능하도록 제공된다. 이러한 영상 콘텐츠는 단방향적이고 콘텐츠 생산자가 제시하는 공간 정보에서 사용자 조작이 수동적이며 단순히 콘텐츠를 '보여준다' 라는 경험을 주는 전통적인 미디어와는 달리, 사용자가 콘텐츠와의 직접적인 인터렉션을 통해 '보여주면서 참여시킨다(Viewing and Interacting)' 라는 양방향적이고 능동적이며 인터랙티브한 구성으로 전통적인 미디어의 기능 즉, 사용자가 콘텐츠를 다양한 시점에서 볼 수 있게 할 수 있을 뿐만 아니라, 가상 오브젝트를 실제와 같이 느낄 수 있도록 작동하게 하여 원격지에서의 피사체에 대한 가상 체험을 제공해줄 수 있으므로, 사용자의 가상 콘텐츠 체험 수준을 높일 수 있다.

이러한 영상 콘텐츠는 도 2에 도시된 바와 같이, 예를 들어, 복수 개의 카메라를 이용하여 생동감의 움직임 영상을 표현하는 모션 플로우(motion flow) 기법과 피사체를 향하여 다양한 각도로 복수의 카메라를 설치하고 순간적으로 동시에 피사체를 촬영한 후 컴퓨터를 이용해 사진을 연결, 결합하여 피사체의 정지된 동작을 마치 무비 카메라로 찍은 듯이 보이게 하는 타임 슬라이스(time slice) 기법 등을 이용한다. 이러한 영상은 예를 들어, 움직임이 가능한 WebM 또는 gif 파일 포맷 등의 영상을 이용하여 파일의 크기를 줄여서 시스템의 부하를 최소화할 수 있다.

따라서 본 발명의 영상 처리 시스템은 도 1에 도시된 바와 같이, 사용자가 실시간으로 피사체에 대한 영상과 인터렉션이 포함된 영상 콘텐츠(virtualgraph)를 생성하여 콘텐츠 제공 서버(100) 또는 콘텐츠 이용 클라이언트(200)로 실시간 전송(Real-time Input Data)하고, 콘텐츠 제공 서버(Device, DB)에서 영상 콘텐츠를 데이터베이스화하여 영상 출력 레이어, 오디오 출력 레이어 및 햅틱 출력 레이어를 실시간 동기화(Real-time synchronization)하고, 다른 사용자에게 영상 콘텐츠를 스트리밍 방식으로 실시간 제공(Real-time Output)하면, 다른 사용자가 영상 재생 장치(Output device)를 이용하여 영상 콘텐츠의 피사체에 대해 영상 정보(Display output)를 보고(sight), 오디오 정보(Audio output)를 듣고(hearing), 영상 콘텐츠에 부가된 인터렉션을 통해 촉감(Haptic output)을 인지(touch)하여 피사체에 부여된 인터렉션에 부여된 기능을 가상 체험할 수 있다.

또한 본 발명의 영상 콘텐츠(virtualgraph)는 결과적으로 미디어 경험에서 중요하다고 보는 텔레프레전스(telepresence)를 높일 수 있다. 텔레프레전스는 공간적으로 떨어져 있는 장소 또는 가상의 장소를 신체적으로 경험하는 것으로써, 전통적인 미디어에서 부족했던 인터렉티브한 경험을 부과하여 사용자에게 긍정적인 태도를 이끌어 내는 효과가 있는 것으로 알려져 있다.

예를 들어, 텔레프레전스는 콘텐츠와 인터렉션을 하면서 사용자가 중요시 여기는 콘텐츠의 장면에 대한 각성의 수준을 더 높일 수 있거나, 기억이 증가되는 것으로 조사되고 있다. 뿐 만 아니라, 작업 능력과 기술 습득을 향상시킬 수 있거나, 미디어나 시뮬레이션 기술의 사용 시, 즐거움이나 흥미를 유발하는 것으로도 조사되고 있다.

또한 어떤 조건 하에서는 미디어 내용의 설득력을 높일 수 있다. 예를 들어, Klein, L. R.,(2003)는 광고에서 텔레프레전스의 정도가 높을 경우, 광고에 대한 태도가 상승될 뿐만 아니라, 광고에 대한 기억력, 브랜드 태도, 구매 의도에도 긍정적인 영향을 미친다고 하였다. 따라서 증가된 텔레프레전스가 미디어와 접목이 되었을 경우, 보다 긍정적인 효과를 기대할 수 있다.

구체적으로 도 3 내지 도 10을 이용하여 본 발명의 실시예를 설명한다.

즉, 도 3은 본 발명에 따른 3D 콘텐츠 영상 처리 시스템의 네트워크 구성을 도시한 블럭도이고, 도 4는 도 3에 도시된 영상 콘텐츠를 생성하기 위한 콘텐츠 생성 클라이언트의 구성을 도시한 블럭도이고, 도 5는 도 3에 도시된 콘텐츠 제공 서버의 상세한 구성을 도시한 블럭도이고, 도 6은 도 3에 도시된 콘텐츠 이용 클라이언트의 일 실시예에 따른 구성을 도시한 블럭도이며, 그리고 도 7은 도 3에 도시된 콘텐츠 이용 클라이언트의 다른 실시예에 따른 구성을 도시한 블럭도이다.

도 3 내지 도 7을 참조하면, 본 발명의 3D 콘텐츠 영상 처리 시스템(2)은 복수 개의 카메라(300)와, 콘텐츠 생성 클라이언트(200)와, 콘텐츠 이용 클라이언트(400) 및 콘텐츠 제공 서버(100)를 포함한다. 콘텐츠 생성 클라이언트(200)와 콘텐츠 제공 서버(100), 콘텐츠 이용 클라이언트(400)와 콘텐츠 제공 서버(100) 각각은 상호 통신망(4)을 통해 연결된다.

통신망(4)은 예를 들어, 유무선 통신망, 이동 통신망 등으로 구비된다. 통신망(4)은 콘텐츠 생성 클라이언트(200)와 콘텐츠 제공 서버(100), 콘텐츠 이용 클라이언트(400)와 콘텐츠 제공 서버(100)들 간에 상호 데이터 통신이 이루어지는 단일 또는 복합의 통신망으로 구비된다.

카메라(300)는 복수 개가 구비되고, 각각이 피사체에 대한 촬영 각도가 서로 다른 위치에서 피사체에 대한 영상을 획득하고, 피사체의 영상이 움직임이 가능하도록 일정 시간 동안 연속적으로 촬영한다. 이 때, 카메라(300)들 각각은 자신의 위치에서 피사체의 인터렉션 기능을 위한 이벤트 즉, 콘텐츠 이용 클라이언트(400)로부터 인풋 데이터가 발생될 수 있는 시점에 따른 피사체의 영상을 일정 시간 동안에 촬영한다. 또 카메라(300)는 피사체에 대한 영상을 통신망(4) 또는 유선 등을 이용하여 콘텐츠 생성 클라이언트(200)로 전송한다.

콘텐츠 생성 클라이언트(200)는 콘텐츠 생성 장치로서, 예를 들어, 스마트 폰, 테블릿 PC, 퍼스널 컴퓨터 등으로 구비된다. 콘텐츠 생성 클라이언트(200)는 카메라(300)들 각각을 인식하여 각각의 카메라(300)로부터 촬영된 영상을 전송받아서 영상을 무한 반복 애니메이션으로 제작하고, 다양한 시점에서 활영한 영상들을 동기화하고, 피사체의 동작에 따라 다양한 인터렉션을 삽입한다. 콘텐츠 생성 클라이언트(200)는 인터렉션이 삽입된 영상을 색상, 합성, 크기, 길이, 위치 및 화질과 촬영 위치 등을 편집 및 보정하여 영상 콘텐츠를 생성한다. 이 실시예에서 콘텐츠 생성 클라이언트(200)는 인터렉션이 삽입된 영상을 에프터 이펙트(after effect)를 이용하여 보정한다. 또 콘텐츠 생성 클라이언트(200)는 생성된 영상 콘텐츠를 통신망(4)을 통해 콘텐츠 제공 서버(100)로 전송한다.

구체적으로, 이 실시예의 콘텐츠 생성 클라이언트(200)는 도 4에 도시된 바와 같이, 카메라 식별부(210), 영상 수집부(220), 영상 편집부(230), 인터렉션 삽입부(240) 및 콘텐츠 생성부(250)를 포함한다.

카메라 식별부(210)는 복수 개의 카메라(300)들 각각을 인식하고, 연결 상태를 체크한다. 카메라 식별부(210)는 만약 특정 카메라가 인식되지 않은 경우에는 해당 카메라를 재연결하여 인식하도록 처리한다. 카메라 식별부(210)로부터 인식된 카메라(300)는 피사체에 대한 영상을 촬영하여 영상 수집부(220)로 제공한다.

영상 수집부(220)는 카메라 식별부(210)에 의해 인식된 복수 개의 카메라(300)로부터 일정 시간 동안 서로 다른 촬영 각도에서 촬영한 피사체의 영상을 수집한다.

영상 편집부(230)는 카메라(300)들 각각으로부터 촬영된 영상들을 통합 편집한다. 영상 편집부(230)는 영상 콘텐츠가 무한 반복 재생 가능하도록 통합하고, 영상의 색상, 합성, 크기, 길이 및 화질와 촬영 위치 등을 편집 및 보정한다. 또 영상 편집부(230)는 영상 콘텐츠의 자동 저장 공간을 최적화하도록 한다.

인터렉션 삽입부(240)는 편집된 영상의 특정 시점에 인터렉션을 삽입한다. 인터렉션 삽입부(240)는 적어도 하나의 인터렉션을 삽입할 수 있다. 인터렉션 삽입부(240)는 예를 들어, 영상에서 드래그(drag) 등을 이용하여 인터렉션에 대한 피사체의 영역을 설정하고, 해당 영역에 대한 인터렉션의 동작 예를 들어, 3D 터치(Force touch), 탭(tap), 더블 탭(double tap), 드래그(drag), 슬라이드(slide), 홀드/프레스(hole/press), 스와이프(swipe), 회전(rotate), 프레스 앤 드래그(press and drag), 핀치(pinch) 및 스프레드(spread) 등의 터치 제스쳐와 디스플레이에 표현되는 질감(tactile display)을 선택하며, 진동, 음향, 이미지 및 동영상 등의 인터렉션 효과를 추가 삽입한다. 이러한 인터렉션 삽입부(240)는 인터렉션에 대한 영역 설정, 동작 선택 및 효과 삽입을 서로 다른 시점에서의 복수 개의 인터렉션에 대해 반복 처리한다.

그리고 콘텐츠 생성부(250)는 영상 편집부(230)와 인터렉션 삽입부(240)에 의해 편집 및 보정, 인터렉션 삽입된 영상을 촬영하여 영상을 통합 편집하고, 적어도 하나의 인터렉션이 삽입된 영상으로부터 영상 콘텐츠(virtualgraph)를 생성, 저장한다. 또 콘텐츠 생성부(250)는 생성된 영상 콘텐츠의 필터 효과 예를 들어, 흑백 효과, 다양한 종류의 색상 효과 등을 더 적용할 수 있다. 이렇게 생성된 영상 콘텐츠는 통신망(4)을 통하여 콘텐츠 제공 서버(100)로 전송된다.

콘텐츠 제공 서버(100)는 통신망(4)을 통하여 복수 개의 콘텐츠 생성 클라이언트(200)들로부터 생성된 영상 콘텐츠를 실시간을 수집하고, 복수 개의 콘텐츠 이용 클라이언트(400)들로 실시간으로 영상 콘텐츠를 제공하도록 처리한다. 콘텐츠 제공 서버(100)는 온라인으로 다양한 서비스를 제공하는 시스템으로, 예를 들어, 교육, 전자 상거래, 전시, 문화, 온오프라인 마켓팅, 여행, 광고 등의 분야에서 관련된 상품 또는 서비스를 위한 피사체에 대한 영상 콘텐츠를 사용자가 볼 수 있도록 제공하거나 이를 통해 사용자가 가상 체험할 수 있도록 제공한다.

이 실시예의 콘텐츠 제공 서버(100)는 도 5에 도시된 바와 같이, 제어부(102)와, 통신부(104)와, 콘텐츠 처리부(110) 및 데이터베이스(120)를 포함한다.

제어부(102)는 콘텐츠 제공 서버(100)의 제반 동작을 제어한다. 즉, 제어부(102)는 통신부(104), 콘텐츠 처리부(110) 및 데이터베이스(120)를 제어하여 콘텐츠 생성 클라이언트(200)와 콘텐츠 이용 클라이언트(400) 및 콘텐츠 제공 서버(100)들이 상호 연동해서 사용자가 원하는 영상 콘텐츠를 실시간으로 수집하거나 제공하도록 처리한다. 이러한 제어부(102)는 도면에는 도시되지 않았으나, 예컨대 중앙 처리 장치, 메모리 또는 웹서버 등과 같은 하드웨어 뿐만 아니라, 운영체제 프로그램, 제어 프로그램 등의 소프트웨어를 포함할 수 있다. 또 제어부(102)는 콘텐츠 제공 서버(100)에서 제공되는 다양한 분야의 서비스를 제공하도록 제어할 수도 있다.

통신부(104)는 예컨대, 유무선 통신 장치, 이동 통신 장치 및 중계 장치 등으로 구비되어, 통신망(4)에 연결되고 제어부(102)의 제어를 받아서 콘텐츠 생성 클라이언트(200)들과, 콘텐츠 이용 클라이언트(400)들과 상호 데이터 통신이 이루어지도록 처리한다.

콘텐츠 처리부(110)는 제어부(102)의 제어를 받아서 콘텐츠 제공 서버(100)의 영상 콘텐츠를 수집, 제공하기 위한 제반 서비스를 온라인으로 처리한다. 이 실시예의 콘텐츠 처리부(110)는 웹 브라우저, 앱 브라우저, 어플리케이션 형태 등으로 제공될 수 있다. 즉, 콘텐츠 처리부(110)는 제공되는 다양한 서비스에 따른 영상 콘텐츠를 수집하고, 수집된 영상 콘텐츠를 실시간으로 제공한다. 이 실시예의 콘텐츠 처리부(110)는 복수 개의 콘텐츠 생성 클라이언트(200)들로부터 다양한 내용의 영상 콘텐츠를 전송받아서 데이터베이스(120)에 저장 관리하는 콘텐츠 수집부(112)와, 데이터베이스(120)에 저장된 영상 콘텐츠를 복수 개의 콘텐츠 이용 클라이언트(400)들로 스트리밍 방식으로 실시간 제공하는 콘텐츠 제공부(114)를 포함한다. 물론 콘텐츠 처리부(110)는 본 발명에 따른 영상 콘텐츠를 생성하는 콘텐츠 생성 클라이언트(200)의 처리 기능을 더 처리할 수도 있다. 즉, 콘텐츠 처리부(110)는 카메라(300)로부터 피사체에 대한 영상을 받아서 직접 영상 콘텐츠를 생성 처리하기 위하여, 콘텐츠 생성 클라이언트(200)의 카메라 식별부(210), 영상 수집부(220), 영상 편집부(230), 인터렉션 삽입부(240) 및 콘텐츠 생성부(250)의 기능들을 더 처리할 수 있다.

그리고 데이터베이스(120)는 제어부(102)의 제어를 받아서 콘텐츠 처리부(110)의 처리 과정에 따른 다양한 정보들을 저장하고, 저장된 정보들을 읽을 수 있도록 제공한다. 이 실시예에서 데이터베이스(120)는 콘텐츠 제공 서버(100)의 내부에 구비되어 있지만, 별도의 데이터베이스 서버로 구비될 수도 있다.

이 실시예의 데이터베이스(120)는 콘텐츠 생성 클라이언트(200)로부터 제공된 다양한 내용의 콘텐츠 정보(122)와, 콘텐츠 생성 클라이언트(200)와 콘텐츠 이용 클라이언트(400)의 사용자에 대한 개인 정보(예를 들어, 이름, ID, 이메일 주소 등)가 포함되는 회원 정보(124)를 적어도 저장한다. 이러한 회원 정보(124)는 콘텐츠 제공 서버(100)가 영상 콘텐츠를 이용하여 다양한 서비스를 제공하는 경우에 필요하다. 이 경우, 데이터베이스(120)에는 다양한 서비스 예를 들어, 온라인 쇼핑 서비스를 제공하기 위한 상품 정보, 주문 정보, 결제 정보 등이 더 저장될 수 있다.

그리고 콘텐츠 이용 클라이언트(400)는 영상 콘텐츠가 재생되고, 인터렉션이 가능한 콘텐츠 재생 장치로, 예를 들어, 스마트 폰, 태블릿 PC, 퍼스널 컴퓨터, 대화형 대형 디스플레이 장치 등으로 구비된다. 콘텐츠 이용 클라이언트(400)는 통신망(4)을 통해 콘텐츠 제공 서버(100)에 접속하여 영상 콘텐츠를 실시간 스트리밍 방식으로 제공받는다. 콘텐츠 이용 클라이언트(400)는 영상 콘텐츠를 재생하여 영상, 오디오 및 햅틱 기능을 출력한다. 이 때, 콘텐츠 이용 클라이언트(400)는 사용자가 영상 콘텐츠에 포함된 인터렉션에 대한 이벤트를 발생하면, 영상 콘텐츠의 인터렉션에 따른 영상, 오디오 및 햅틱 효과를 출력하여 제공한다.

일 실시예에서 콘텐츠 이용 클라이언트(400)는 도 6에 도시된 바와 같이, 사용자가 휴대 가능한 모바일 단말기 예컨대, 스마트 폰으로 구비된다. 이 실시예의 콘텐츠 이용 클라이언트(400)는 자신의 움직임을 감지하여 이에 대응하는 인터렉션을 발생시키는 자이로스코프 센서(430)와, 통신망(4)을 통하여 콘텐츠 제공 서버(100)와 상호 데이터 통신을 수행하는 통신부(420)와, 사용자의 입력 동작에 따라 인터렉션을 발생시키는 입력부(440)와, 영상 콘텐츠에 포함된 인터렉션의 이벤트가 발생되면, 해당 영상을 출력하거나, 해당 영상에 포함된 오디오 및 햅틱 효과를 출력하는 콘텐츠 재생부(450) 및, 콘텐츠 이용 클라이언트(400)의 제반 동작을 처리하도록 제어하는 제어부(410)를 포함한다.

또 다른 실시예에서 콘텐츠 이용 클라이언트(400a)는 도 7에 도시된 바와 같이, 대화형 대형 디스플레이 장치로 구비된다. 이 실시예의 콘텐츠 이용 클라이언트(400a)는 사용자의 모션이나 제스쳐를 인식하여 이에 대응하는 인터렉션을 발생시키는 3D 모션 디텍터(430a)와, 통신망(4)을 통하여 콘텐츠 제공 서버(100)와 상호 데이터 통신을 수행하는 통신부(420a)와, 영상 콘텐츠에 포함된 인터렉션의 이벤트가 발생되면, 해당 영상을 출력하거나, 해당 영상과 해당 영상에 포함된 오디오를 출력하는 디스플레이 장치(450a) 및, 콘텐츠 이용 클라이언트(400)의 제반 동작을 처리하도록 제어하는 제어부(410a)를 포함한다. 이 실시예에서 3D 모션 디텍터(430a)는 마이크로소프트 사의 키넥트 센서로 구비되고, 디스플레이 장치(450a)는 대형 디스플레이 패널을 갖는 디지털 사이니지(Digital Signage)로 구비된다.

이러한 콘텐츠 이용 클라이언트(400, 400a)는 본 발명에 따른 영상 콘텐츠를 재생하고, 재생 중 발생되는 이벤트에 대응하는 인터렉션 기능을 사용자에게 제공한다.

계속해서 도 8은 본 발명에 따른 3D 콘텐츠 영상 처리 시스템의 처리 수순을 도시한 흐름도이다.

도 8을 참조하면, 본 발명의 3D 콘텐츠 영상 처리 시스템(2)은 단계 S500에서 피사체(10)에 대한 서로 다른 촬영 각도를 갖는 복수 개의 카메라(300)들을 이용하여 피사체의 영상을 일정 시간 동안 촬영한다. 이 때, 카메라(300)들은 피사체(10)의 인터렉션 기능이 부가되는 시점에서의 영상을 일정 시간 동안 더 촬영한다. 카메라(300)들로부터 촬영된 영상들은 통신망(4) 또는 유선을 이용하여 콘텐츠 생성 클라이언트(200)로 제공된다.

물론 다른 예로서, 카메라(300)들로부터 촬영된 영상들은 통신망(4)을 이용하여 콘텐츠 제공 서버(100)로 제공될 수 있으며, 이 경우에 콘텐츠 제공 서버(100)는 콘텐츠 생성 클라이언트(200)의 영상 콘텐츠를 생성하는 기능을 처리할 수 있다. 여기서는 콘텐츠 생성 클라이언트(200)에 의해 영상 콘텐츠가 생성되는 경우에 대해 구체적으로 설명하고, 콘텐츠 제공 서버(100)에 의해 생성되는 경우에 대한 설명은 생략한다.

단계 S510에서 콘텐츠 생성 클라이언트(200)는 카메라(300)들로부터 촬영된 영상들을 동기화시키고, 단계 S520에서 피사체에 대한 인터렉션을 삽입한다. 인터렉션은 예를 들어, 피사체가 선풍기인 경우, 선풍기의 풍속을 조절하거나, 선풍기의 회전 방향을 조절하거나, 선풍기를 중지시키거나 또는 선풍기의 위치를 변경하는 등 하나의 인터렉션을 삽입하고, 이에 따른 움직이는 영상과 해당 인터렉션에 따른 음향을 제공하도록 설정한다. 단계 S530에서 콘텐츠 생성 클라이언트(200)는 인터렉션이 삽입된 영상을 통합 편집 및 보정한다.

단계 S540에서 다른 인터렉션을 추가 삽입하는 경우, 이 수순은 단계 520으로 진행하여, 콘텐츠 생성 클라이언트(200)가 단계 S520 내지 단계 S540을 반복 처리한다.

이렇게 적어도 하나의 인터렉션이 삽입되면, 단계 S550에서 콘텐츠 생성 클라이언트(200)는 인터렉션이 삽입된 영상을 통합 편집 및 보정한 영상을 통해 본 발명에 따른 영상 콘텐츠를 생성한다. 이렇게 생성된 영상 콘텐츠는 통신망(4)을 통하여 콘텐츠 제공 서버(100)로 전송된다. 콘텐츠 제공 서버(100)는 복수 개의 콘텐츠 생성 클라이언트(200)들로부터 제공되는 다양한 내용의 영상 콘텐츠들을 데이터베이스(120)에 저장, 관리한다.

단계 S560에서 콘텐츠 이용 클라이언트(400)가 통신망(4)을 통해 콘텐츠 제공 서버(100)에 접속하여 하나의 영상 콘텐츠를 요청하면, 콘텐츠 제공 서버(100)는 해당 영상 콘텐츠를 통신망(4)을 통하여 스트리밍 방식으로 콘텐츠 이용 클라이언트(400)로 전송하고, 콘텐츠 이용 클라이언트(400)는 이를 실시간으로 재생 출력한다.

단계 S570에서 콘텐츠 이용 클라이언트(400)에서 하나의 인터렉션에 대한 이벤트를 발생시키면, 단계 S580에서 콘텐츠 제공 서버(100)는 해당 인터렉션에 대한 영상, 오디오 및 햅틱 효과를 출력하도록 통신망(4)을 통하여 스트리밍 방식으로 콘텐츠 이용 클라이언트(400)로 전송하여 해당 영상 콘텐츠를 재생하도록 처리한다. 이 때, 해당 인터렉션에 대한 영상 콘텐츠는 다른 인터렉션의 이벤트가 발생되기 전까지 무한 반복 재생된다.

이어서 도 9a 내지 도 9j는 본 발명의 실시예에 따른 콘텐츠 생성 과정을 나타내는 도면들이고, 도 10a 내지 도 10c는 본 발명의 실시예에 따른 스마트 폰에서의 인터렉션에 의한 콘텐츠 재생 처리 상태를 나타내는 도면들이다.

도 9a 내지 도 9j를 참조하면, 먼저 이 실시예는 콘텐츠 생성 클라이언트(200)가 스마트 폰으로 구비되고, 피사체(10)로 선풍기인 경우를 이용하여 설명한다. 이 경우, 콘텐츠 생성 클라이언트(200)는 카메라 식별부(210), 영상 수집부(220), 영상 편집부(230), 인터렉션 삽입부(240) 및 콘텐츠 생성부(250)의 기능이 포함된 어플리케이션을 구비하고, 이를 이용하여 영상 콘텐트를 생성 처리한다. 또 카메라(300)의 경우, 복수 개가 구비되는 멀티 캠 방식으로 구비된다. 물론 다른 예로서, 스마트 폰의 카메라를 이용하여 피사체의 서로 다른 촬영 방향에서 복수 회로 촬영할 수도 있다.

이 실시예의 메인 화면(260)은 복수 개의 카메라(300)들로부터 피사체의 영상을 촬영하는 촬영하기, 복수 개의 카메라(300)를 연결하는 연결하기, 기생성, 저장된 영상 콘텐츠(virtualgraph)를 재생하는 감상하기 메뉴들이 제공된다. 이 메인 화면(260)에서 촬영하기 메뉴를 선택하면, 도 9b에 도시된 바와 같이, 카메라를 인식하는 카메라 연결 체크 화면(262)이 표시된다.

카메라 연결 체크 화면(262)에는 예컨대, 와이파이, 유선 등과 같은 유무선 네트워크를 이용하여 복수 개의 카메라(300)들 각각을 인식하여 카메라(300)들 각각의 연결 상태를 체크한다. 만약 연결된 카메라가 인식되면, 해당 카메라들 각각의 촬영 방향에서의 피사체 영상이 표시되고, 특정 카메라가 인식되지 않으면, 재연결하도록 제공된다. 모든 카메라(300)들이 연결되면, 도 9c에 도시된 각각의 카메라(300)들의 촬영 대기 화면(264)가 표시된다. 이 때, 복수 개의 카메라(300)들은 선풍기에 대해 서로 다른 촬영 방향으로 배치되고, 영상 시간, 화질, 프레임 수, 크기 등을 조정하여, 설정된 일정 시간 동안(예를 들어, 약 5 초 ~ 10 초 정도) 동시에 선풍기를 촬영한다.

이렇게 촬영된 영상들은 스마트 폰으로 전송되고, 스마트 폰은 도 9d에 도시된 바와 같이, 영상 통합 편집 화면(266)에서 타임 라인을 설정하여 반복 재생 효과를 제공하도록 영상들을 통합 편집한다. 이 때, 영상들은 복수 개의 카메라들 중 일정 단위 간격으로 추출하여 추출된 위치의 카메라들로부터 촬영된 영상들만을 복수 회 복사하여 상호 오버랩(overlap)되도록 하여 미리 보여주고, 이를 통해 편집 가능하게 제공된다. 이는 메모리의 부하 및 저장 공간을 줄일 수 있다. 또 타임 라인을 조정하여 튀지 않는 영상이 무한 반복 재생되도록 편집한다.

영상 통합 편집이 완료되면, 다음 단계에서 도 9e에 도시된 편집 후 자동 보정 화면(268)이 표시된다. 자동 보정 화면(268)에서 생성될 영상 콘텐츠를 코덱(codec)을 통해 압축하여 자동 저장 공간을 최적화하고, 각 카메라의 위치를 자동으로 보정한다. 또 자동 보정 화면(268)에서 인터렉션을 삽입하게 되면, 도 9f에 도시된 인터렉션 삽입 화면(270)을 표시하고, 인터렉션을 삽입되지 않으면, 도 9j의 미리보기 화면(278)을 표시하여 예를 들어, 선명도, 색상, 밝기, 다양한 종류의 필터들 중 어느 하나를 선택하여 영상 조절 및 필터 효과를 적용하고, 이를 통해 인터렉션 기능이 정상적으로 삽입되었는지를 미리보기 하고, 이상이 없다고 판단되면 해당 영상 콘텐츠를 압축된 형태의 파일로 저장한다.

인터렉션 삽입 화면(270)에서 삽입될 인터렉션에 대한 요소 즉, 이벤트를 설정한다. 이벤트에는 피사체의 영상에서 인터렉션이 인식되는 영역을 설정하고, 인터렉션을 입력하는 사용자의 동작 즉, 모션이나 제스쳐를 선택한다. 또 인터렉션에 의한 효과를 추가한다. 이 실시예에서 모션이나 제스쳐에는 예를 들어, 3D 터치(Force touch), 탭(tap), 더블 탭(double tap), 드래그(drag), 슬라이드(slide), 홀드/프레스(hole/press), 스와이프(swipe), 회전(rotate), 프레스 앤 드래그(press and drag), 핀치(pinch) 및 스프레드(spread) 등이 포함되고, 인터렉션 효과에는 진동, 음향, 이미지 및 동영상 등이 포함된다.

이렇게 하나의 인터렉션이 삽입되면, 인터렉션이 삽입된 영상을 촬영하기 위한 촬영 대기 화면(272)가 표시된다. 이 때, 복수 개의 카메라(300)들은 삽입된 인터렉션 기능의 선풍기에 대해 서로 다른 촬영 방향에서 일정 시간 동안(예를 들어, 약 5 초 ~ 10 초 정도) 동시에 선풍기를 촬영한다.

이렇게 촬영된 영상들은 다시 스마트 폰으로 전송되고, 스마트 폰은 도 9h에 도시된 바와 같이, 영상 통합 편집 화면(274)에서 인터렉션이 삽입된 타임 라인을 설정하여 반복 재생 효과를 제공하도록 영상들을 통합 편집한다.

영상 통합 편집이 완료되면, 도 9i에 도시된 편집 후 자동 보정 화면(276)이 다시 표시된다. 자동 보정 화면(276)에서 생성될 영상 콘텐츠의 자동 저장 공간을 최적화하고, 각 카메라의 위치를 자동으로 보정한다. 또 자동 보정 화면(276)에서 인터렉션을 추가 삽입하게 되면, 도 9f에 도시된 인터렉션 삽입 화면(270)을 다시 표시하여 도 9f 내지 도 9i의 화면(270 ~ 276)들을 순차적으로 반복 처리하도록 표시한다. 또 자동 보정 화면(276)에서 인터렉션을 추가 삽입되지 않으면, 도 9j의 미리보기 화면(278)을 다시 표시한다.

이렇게 생성된 영상 콘텐츠는 통신망(4)을 통하여 콘텐츠 제공 서버(100)로 제공되고, 콘텐츠 제공 서버(100)는 실시간으로 콘텐트 이용 클라이언트(400)로 제공하도록 처리한다.

즉, 도 10a에 도시된 바와 같이, 콘텐츠 이용 클라이언트(400)는 통신망(4)을 통해 콘텐츠 제공 서버(100)로부터 사용자가 원하는 영상 콘텐츠를 선택하면, 스트리밍 방식으로 전송받아서 재생 처리한다. 이 실시예에서 콘텐츠 이용 클라이언트(400)는 스마트 폰으로 구비된다.

이 때, 콘텐츠 이용 클라이언트(400)는 영상 콘텐츠의 재생 시, 자이로스코프 센서(430)로부터 인식된 상하 좌우 방향의 기울이는 모션에 대응하여 서로 다른 위치에서의 피사체 예를 들어, 선풍기의 인터렉션 기능이 부여된 영상을 재생한다.

또 도 10b를 참조하면, 콘텐츠 이용 클라이언트(400)는 영상 콘텐츠의 재생 시, 선풍기의 버튼 위치에 삽입된 인터렉션에 대응하여 선풍기의 기능 예를 들어, 끄기, 커기 및 회전 속도 제어에 따른 영상을 다르게 재생한다. 이 경우, 선풍기의 기능에 따라 서로 다른 오디오 효과를 제공한다.

또 도 10c를 참조하면, 콘텐츠 이용 클라이언트(400)는 영상 콘텐츠의 재생 시, 인터렉션 기능에 따라 복합의(multimodal) 피드백 예를 들어, 배경 화면 변경, 오디오 알림, 진동 등을 제공받는다.

상술한 바와 같이, 본 발명은 별도의 3 차원 재생 장치 예를 들어, 3D 안경, 헤드 마운트 디스플레이 장치(Head mounted Display : HMD)와, 3D 제작용 소프트웨어없이 실제 복수 개의 카메라를 이용하여 촬영된 영상을 통해 움직이는 영상 콘텐츠의 여러 시점이나 인터렉션이 부여된 시점에서 끊김없이 재생 가능하다.

이상에서, 본 발명에 따른 3D 콘텐츠 영상 처리 시스템의 구성 및 작용을 상세한 설명과 도면에 따라 도시하였지만, 이는 실시예를 들어 설명한 것에 불과하며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능하다.

2 : 3D 콘텐츠 영상 처리 시스템
4 : 통신망
100 : 콘텐츠 제공 서버
200 : 콘텐츠 생성 클라이언트
300 : 카메라
400, 400a : 콘텐츠 이용 클라이언트

Claims (10)

1. 영상 처리 시스템에 있어서:
   다양한 동작 기능을 갖는 피사체에 대한 촬영 방향을 서로 다르게 구비하고, 상기 피사체의 동작 기능에 따라 다양한 시점에서 상기 피사체를 촬영하는 복수 개의 카메라와;
   상기 카메라로부터 촬영된 상기 피사체에 대한 영상을 전송받아서, 동기화하여 무한 반복 영상으로 제작하고, 상기 피사체의 동작 기능에 따라 적어도 하나의 인터렉션을 삽입하여 영상 콘텐츠를 생성하는 적어도 하나의 콘텐츠 생성 장치 및;
   통신망을 통하여 상기 콘텐츠 생성 장치로부터 상기 영상 콘텐츠를 제공받아서 데이터베이스화하고, 상기 통신망을 통하여 실시간으로 콘텐츠 재생 장치로 상기 영상 콘텐츠를 스트리밍 방식으로 제공하여 상기 영상 콘텐츠를 재생하도록 하고, 상기 콘텐츠 재생 장치로부터 인터렉션에 대한 이벤트가 발생되면, 적어도 상기 영상 콘텐츠에 포함된 인터렉션에 대응되는 영상이 재생되거나 상기 피사체를 원격지에서 가상 체험하도록 처리하는 콘텐츠 제공 서버를 포함하고,
   상기 콘텐츠 생성 장치는,
   상기 카메라들 각각을 인식하고, 연결 상태를 체크하는 카메라 식별부와;
   상기 카메라 식별부에 의해 상기 카메라들이 인식되면, 일정 시간 동안 상기 피사체의 영상을 수집하는 영상 수집부와;
   상기 카메라들 각각으로부터 촬영된 영상들을 무한 반복 재생 가능하도록 통합 편집 및 보정하는 영상 편집부와;
   상기 영상 편집부로부터 편집된 영상에서 상기 피사체의 동작 기능에 대응하는 특정 시점에 적어도 하나의 인터렉션을 삽입하는 인터렉션 삽입부 및;
   상기 영상 편집부와 상기 인터렉션 삽입부에 의해 편집 및 보정, 인터렉션 삽입된 영상을 촬영하여 영상을 통합 편집하고, 적어도 하나의 인터렉션이 삽입된 영상으로부터 상기 영상 콘텐츠를 생성하는 콘텐츠 생성부를 포함하며,
   상기 콘텐츠 생성 장치는 스마트 폰으로 구비되고, 상기 카메라 식별부, 상기 영상 수집부, 상기 영상 편집부, 상기 인터렉션 삽입부, 상기 콘텐츠 생성부의 기능이 포함된 어플리케이션을 구비하여 영상 콘텐츠를 생성하고,
   상기 스마튼 폰의 메인 화면은 복수개의 카메라들로부터 피사체의 영상을 촬영하는 촬영하기 메뉴와, 상기 복수개의 카메라를 연결하는 연결하기 메뉴, 기생성 저장된 영상 콘텐츠를 재생하는 감상하기 메뉴가 표시되고,
   상기 메인 화면에서 상기 촬영하기 메뉴가 선택되면, 상기 카메라를 인식하는 카메라 연결 체크 화면이 표시되고, 상기 카메라 연결 체크 화면에는 상기 복수개의 카메라들 각각을 인식하여 카메라들 각각의 연결 상태를 체크하고, 연결된 카메라가 인식되면, 해당 카메라들 각각의 촬영 방향에서의 피사체 영상이 표시되고, 특정 카메라가 인식되지 않으면, 재연결하도록 제공되고,
   상기 카메라들이 연결되면, 상기 카메라들의 촬영 대기 화면이 표시되고 상기 복수개의 카메라들이 피사체에 대해 서로 다른 촬영 방향으로 배치되고, 영상 시간, 화질, 프레임 수, 크기를 조정하여 설정된 일정 시간 동안 동시에 피사체를를 촬영하며,
   상기 영상 편집부는 영상 통합 편집 화면에서 타임 라인을 설정하여 반복 재생 효과를 제공하도록 영상들을 통합 편집하고, 영상들은 상기 복수개의 카메라들 중 일정 단위 간격으로 추출하여 추출된 위치의 카메라들로부터 촬영된 영상들만을 복수 회 복사하여 상호 오버랩(overlap)되도록 하여 미리 보여주고, 이를 통해 편집 기능이 제공되고,
   상기 콘텐츠 생성부는 상기 인터렉션이 삽입되면, 인터렉션이 삽입된 영상을 촬영하기 위한 촬영 대기 화면이 표시되고 상기 복수개의 카메라들이 삽입된 인터렉션 기능의 피사체에 대해 서로 다른 촬영 방향에서 일정 시간 동안 동시에 피사체를 촬영하고, 상기 스마트 폰의 표시된 영상 통합 편집 화면에서 인터렉션이 삽입된 타임 라인을 설정하여 반복 재생 효과를 제공하도록 영상들을 통합 편집하는 것을 특징으로 하는 영상 처리 시스템.
   
2. 삭제
3. 제 1 항에 있어서,
   상기 콘텐츠 생성 장치는 상기 콘텐츠 제공 서버에 구비되는 것을 특징으로 하는 영상 처리 시스템.
   
4. 제 1 항에 있어서,
   상기 콘텐츠 재생 장치는;
   감지된 움직임에 대응하는 인터렉션을 발생시키는 자이로스코프 센서와;
   상기 통신망을 통하여 상기 콘텐츠 제공 서버와 상호 데이터 통신을 수행하는 통신부와;
   사용자의 입력 동작에 따라 인터렉션을 발생시키는 입력부와;
   상기 영상 콘텐츠에 포함된 인터렉션의 이벤트가 발생되면, 해당 영상을 출력하거나, 해당 영상에 포함된 오디오 및 햅틱 효과를 출력하는 콘텐츠 재생부 및;
   상기 자이로스코프 센서, 상기 통신부, 상기 입력부 및 상기 콘텐츠 재생부를 제어하는 제어부를 포함하는 것을 특징으로 하는 영상 처리 시스템.
   
5. 제 4 항에 있어서,
   상기 콘텐츠 재생 장치는;
   인식된 사용자의 모션이나 제스쳐에 대응하는 인터렉션을 발생시키는 3 차원 모션 디텍터와;
   상기 통신망을 통하여 상기 콘텐츠 제공 서버와 상호 데이터 통신을 수행하는 통신부와;
   상기 영상 콘텐츠에 포함된 인터렉션의 이벤트가 발생되면, 해당 영상을 출력하거나, 해당 영상과 해당 영상에 포함된 오디오를 출력하는 디스플레이 장치 및;
   상기 통신부, 상기 입력부 및 상기 콘텐츠 재생부를 제어하는 제어부를 포함하는 것을 특징으로 하는 영상 처리 시스템.
   
6. 제 1 항에 있어서,
   상기 콘텐츠 제공 서버는;
   상기 콘텐츠 생성 장치들로부터 다양한 내용의 상기 영상 콘텐츠를 전송받아서 데이터베이스에 저장 관리하는 콘텐츠 수집부와;
   상기 데이터베이스에 저장된 상기 영상 콘텐츠를 복수 개의 상기 콘텐츠 재생 장치들로 스트리밍 방식으로 실시간 제공하는 콘텐츠 제공부를 포함하는 것을 특징으로 하는 영상 처리 시스템.
   
7. 삭제
8. 삭제
9. 삭제
10. 삭제

Images