KR20130134130A

KR20130134130A - 융합형 미디어 서비스 플랫폼에서의 미디어 처리 장치 및 그 방법

Info

Publication number: KR20130134130A
Application number: KR20120057416A
Authority: KR
Inventors: 오현우
Original assignee: 한국전자통신연구원
Priority date: 2012-05-30
Filing date: 2012-05-30
Publication date: 2013-12-10
Also published as: US20130322856A1; US9143750B2

Abstract

미디어를 기반으로 실감효과를 추출하고, 사용자 인터랙션 피드백 정보와 연속적인 데이터 및 센서를 기반으로 실감효과를 미디어에 삽입 및 편집하여 생성한 융합형 미디어를 제공하도록 한 융합형 미디어 서비스 플랫폼에서의 미디어 처리 장치 및 그 방법이 제시된다. 제시된 융합형 미디어 서비스 플랫폼에서의 미디어 생성 장치는 AV 미디어로부터 실감효과를 추출하는 MSE 처리부; AV 미디어를 오디오 및 비디오로 분리하고, AV 미디어를 미디어 포맷을 근거로 디코딩하는 AV 처리부; 분리된 오디오의 파형에 동기를 맞춰 추출한 실감효과를 추가하고, 추가한 실감효과의 속성을 편집하는 실감효과 처리부; 및 추가되는 실감효과를 AV 미디어에 추가하여 융합형 미디어를 생성하는 미디어 생성부를 포함한다.

Description

융합형 미디어 서비스 플랫폼에서의 미디어 처리 장치 및 그 방법{APPARATUS AND METHOD FOR PROCESSING MEDIA IN CONVERGENCE MEDIA SERVICE PLATFORM}

본 발명은 융합형 미디어 서비스 플랫폼에서의 미디어 처리 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 미디어 및 사용자 인터랙션 피드백을 이용하여 실감효과를 삽입한 융합형 미디어를 제공하는 융합형 미디어 서비스 플랫폼에서의 미디어 처리 장치 및 그 방법에 대한 것이다.

융합형 미디어 서비스는 오디오 및 비디오의 형태로 제공되는 종래의 미디어에 사용자에게 실감효과를 추가하여 제공하는 서비스이다. 즉, 융합형 미디어 서비스는 미디어의 재생에 따른 조명, 향기, 진동 등의 실감효과를 사용자에게 제공한다.

융합형 미디어 서비스에 관련된 종래기술의 예를 들면, 먼저 논문('Architecture of the SMMD Media Service System', E-ACTIVITES, 2007)에서는 하나의 미디어에 실감효과 메타데이터를 추가하여 단일 ne-미디어를 생성한다. 단일 ne-미디어는 하나의 파일로 저작되어 홈서버에 저장된다. 홈서버는 ne-미디어 파일을 읽어들여 실감효과 메타데이터를 추출하고 미디어와 동기화를 맞추어 실감효과를 제공하는 장치들을 제어함으로써 실감효과를 극대화하는 서비스 구조에 관한 것이다.

다음으로, 한국공개특허 10-2008-0016393('SMMD 기반 유비쿼터스 홈 미디어 서비스 장치 및 방법과 그를 이용한 홈 미디어 서비스 시스템 및 그 방법', 2008. 02. 21. 공개)은 SMMD 기반 유비쿼터스 홈 미디어 서비스 장치 및 그 방법과 그를 이용한 홈 미디어 서비스 시스템 및 그 방법에 관한 것으로, 동영상, 오디오 및 텍스트로 이루어진 기존의 미디어에 실감 서비스를 위한 디바이스 제어 및 동기화정보를 추가할 수 있는 새로운 구조의 미디어(ne-미디어)를 생성한다. 생성한 ne-미디어에 개인의 취향 및 주변 디바이스 환경에 맞는 실감 재현정보를 입력한 후 주변 디바이스로 전송함으로써, 가정, 사무실, 공공장소 등 사용자의 물리적 위치에 관계없이 주변의 다양한 기능을 가진 디바이스들이 ne-미디어를 통해 자율적으로 융합하여 사용자에게 실감형 미디어 서비스를 제공한다.

그러나, 융합형 미디어 서비스에 관련된 종래기술에서는 기존에 이미 생성된 미디어에 저작자가 의도한 실감효과를 추가하기 위해서는 별도의 저작도구를 이용하여 기존 미디어에 실감효과를 추가해야하는 문제점이 있다. 즉, 종래기술에서는 저작자가 별도의 저작도구를 이용하여 미디어를 불러들여 수동으로 실감효과를 추가하고 실감효과의 속성(실감효과 종류, 위치, 방향, 강도, 값 등)을 직접 입력하여 미디어와 실감효과를 융합한 미디어를 저작해야 하기 때문에, 융합형 미디어의 생성에 많은 시간이 소비되는 문제점이 있다.

또한, 융합형 미디어 서비스에 관련된 종래기술에서는 저작도구를 통해 생성된 ne-미디어를 재현 시스템을 통해 ne-미디어를 파싱하고 분석하여 디바이스를 매핑하고 디바이스 제어 명령을 생성하여 디바이스를 동기화하여 제어한다. 따라서, 종래기술에서는 미리 설정된 실감효과만을 제공하기 때문에 사용자의 인터랙션을 반영하지 못하여 실감효과가 저하되는 문제점이 있다.

본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 미디어를 기반으로 실감효과를 추출하고, 사용자 인터랙션 피드백 정보와 연속적인 데이터 및 센서를 기반으로 실감효과를 미디어에 삽입 및 편집하여 생성한 융합형 미디어를 제공하도록 한 융합형 미디어 서비스 플랫폼에서의 미디어 처리 장치 및 그 방법을 제공하는 것을 목적으로 한다.

상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 융합형 미디어 서비스 플랫폼에서의 미디어 처리 장치의 융합형 미디어 생성부는, AV 미디어로부터 실감효과를 추출하는 MSE 처리부; AV 미디어를 오디오 및 비디오로 분리하고, AV 미디어를 미디어 포맷을 근거로 디코딩하는 AV 처리부; 분리된 오디오의 파형에 동기를 맞춰 추출한 실감효과를 추가하고, 추가한 실감효과의 속성을 편집하는 실감효과 처리부; 및 추가되는 실감효과를 AV 미디어에 추가하여 융합형 미디어를 생성하는 미디어 생성부를 포함한다.

MSE 처리부는, 미디어 장면으로부터 추출한 오브젝트의 움직임을 추적하여 모션효과 데이터를 생성하고, 미디어 장면의 특정 영역에 대한 RGB 색상을 추출하여 조명효과 데이터를 생성하고, 모션효과 데이터 및 조명효과 데이터를 실감효과로 추출한다.

하나 이상의 센서로부터 수신되는 센싱 데이터를 근거로 센서기반 실감효과 데이터를 생성하는 센서부를 더 포함하고, 실감효과 처리부는 생성된 센서기반 실감효과 데이터를 수신하여 실감효과로 추가하고, 추가한 실감효과의 속성을 편집한다.

센서부로부터의 센싱 데이터를 근거로 생성한 연속 3D 좌표값 모션효과 데이터 및 실감효과 메타데이터 스키마를 근거로 연속 실감효과 데이터를 생성하는 연속 데이터 처리부를 더 포함하고, 실감효과 처리부는 연속 실감효과 데이터를 수신하여 실감효과로 추가하고, 추가한 실감효과의 속성을 편집한다.

사용자 인터랙션 이벤트를 수신하여 사용자 인터랙션 피드백 정보를 생성하는 인터렉션 처리부를 더 포함하고, 실감효과 처리부는 사용자 인터랙션 피드백 정보를 수신하여 실감효과로 추가하고, 추가한 실감효과의 속성을 편집한다.

상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 융합형 미디어 서비스 플랫폼에서의 미디어 처리 장치의 융합형 미디어 재현부는, 융합형 미디어를 파싱하여 AV 데이터와 실감효과 데이터를 분리하는 융합형 미디어 파서부; 분리된 AV 데이터를 재현하는 AV 재현부; 분리된 실감효과 데이터를 분석하여 타깃 디바이스를 매핑하여 제어명령을 생성하고, 제어 명령을 근거로 디바이스를 제어하여 실감효과를 재현하는 실감효과 재현부; 및 AV 재현부로부터 수신한 AV 데이터 재생시간과 실감효과 재현부의 디바이스 제어 시간을 동기화하는 동기화부를 포함한다.

외부 연동 프로그램으로부터 실감효과 메시지를 수신하는 실감효과 메시지 수신부를 더 포함하고, 실감효과 재현부는 실감효과를 근거로 디바이스를 제어하여 실감효과를 재현한다.

수신되는 사용자 인터랙션 이벤트를 근거로 실감효과 인터랙션 메타데이터를 생성하는 인터랙션 처리부를 더 포함하고, 실감효과 재현부는 실감효과 인터랙션 메타데이터를 근거로 디바이스를 제어하여 실감효과를 재현한다.

분리된 실감효과 데이터 중에서 연속 실감효과 메타데이터를 근거로 디바이스를 매핑하여 제어 명령을 생성하고, 제어 명령을 근거로 디바이스를 제어하여 연속 실감효과를 재현하는 연속 데이터 재현부를 더 포함한다.

상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 융합형 미디어 서비스 플랫폼에서의 미디어 처리 방법은, 융합형 미디어 생성부에 의해, AV 미디어를 오디오 및 비디오로 분리하는 단계; 융합형 미디어 생성부에 의해, AV 미디어로부터 실감효과를 추출하는 단계; 융합형 미디어 생성부에 의해, 분리된 오디오에 동기화하여 추출한 실감효과를 추가하는 단계; 융합형 미디어 생성부에 의해, AV 미디어의 포맷에 따라 추가한 실감효과를 디코딩하는 단계; 및 융합형 미디어 생성부에 의해, AV 미디어와 디코딩된 실감효과를 융합한 융합형 미디어를 생성하는 단계를 포함한다.

실감효과를 추출하는 단계는, 융합형 미디어 생성부에 의해, 미디어 장면으로부터 추출한 오브젝트의 움직임을 추적하여 모션효과 데이터를 생성하는 단계; 융합형 미디어 생성부에 의해, 미디어 장면의 특정 영역에 대한 RGB 색상을 추출하여 조명효과 데이터를 생성하는 단계; 및 융합형 미디어 생성부에 의해, 생성한 모션효과 데이터 및 조명효과 데이터를 실감효과로 추출하는 단계를 포함한다.

실감효과를 추가하는 단계는, 융합형 미디어 생성부에 의해, 센서기반 실감효과 데이터와 사용자 인터랙션 피드백 정보 및 연속 실감효과 데이터 중에 적어도 하나를 수신하여 실감효과로 추가하는 단계; 및 융합형 미디어 생성부에 의해, 추가한 실감효과의 속성을 편집하는 단계를 포함한다.

실감효과를 추가하는 단계는, 융합형 미디어 생성부에 의해, 하나 이상의 센서로부터 수신되는 센싱 데이터를 근거로 센서기반 실감효과 데이터를 생성하는 단계를 더 포함한다.

실감효과를 추가하는 단계는, 융합형 미디어 생성부에 의해, 센싱 데이터를 근거로 연속 3D 좌표값 모션효과 데이터를 생성하는 단계; 및 융합형 미디어 생성부에 의해, 생성한 연속 3D 좌표값 모션효과 데이터 및 실감효과 메타데이터 스키마를 근거로 연속 실감효과 데이터를 생성하는 단계를 더 포함한다.

실감효과를 추가하는 단계는, 융합형 미디어 생성부에 의해, 사용자 인터랙션 이벤트를 수신하는 단계; 및 융합형 미디어 생성부에 의해, 수신한 사용자 인터랙션 이벤트를 근거로 사용자 인터랙션 피드백 정보를 생성하는 단계를 더 포함한다.

융합형 미디어 재현부에 의해, 융합형 미디어를 파싱하여 AV 데이터와 실감효과 데이터를 분리하는 단계; 융합형 미디어 재현부에 의해, 분리된 AV 데이터를 재현하는 단계; 융합형 미디어 재현부에 의해, 분리된 실감효과 데이터의 분석을 통해 타깃 디바이스를 매핑하여 제어명령을 생성하는 단계; 융합형 미디어 재현부에 의해, 재현되는 AV 데이터의 재생시간과 생성된 제어명령을 통한 디바이스 제어시간을 동기화하는 단계; 및 융합형 미디어 재현부에 의해, 동기화된 제어 명령을 근거로 디바이스를 제어하여 실감효과를 재현하는 단계를 더 포함한다.

융합형 미디어 재현부에 의해, 외부 연동 프로그램으로부터 실감효과 메시지를 수신하는 단계; 및 융합형 미디어 재현부에 의해, 수신한 실감효과 메시지를 근거로 디바이스를 제어하여 실감효과를 재현하는 단계를 더 포함한다.

융합형 미디어 재현부에 의해, 수신되는 사용자 인터랙션 이벤트를 근거로 실감효과 인터랙션 메타데이터를 생성하는 단계; 및 융합형 미디어 재현부에 의해, 생성한 실감효과 인터랙션 메타데이터를 근거로 디바이스를 제어하여 실감효과를 재현하는 단계를 더 포함한다.

융합형 미디어 재현부에 의해, 분리된 실감효과 데이터 중에서 연속 실감효과 메타데이터를 근거로 디바이스를 매핑하여 제어 명령을 생성하는 단계; 및 융합형 미디어 재현부에 의해, 생성된 제어 명령을 근거로 디바이스를 제어하여 연속 실감효과를 재현하는 단계를 더 포함한다.

본 발명에 따르면, 융합형 미디어 서비스 플랫폼에서의 미디어 처리 장치 및 그 방법은 이미 제작된 영상에 저작툴을 이용하여 저작자가 수동으로 실감효과를 추가하고, 생성된 ne-미디어를 재현시스템에서 미디어 재생과 함께 실감효과를 재현하는 종래기술과 달리, 미디어를 기반으로 모션 및 조명효과와 같은 실감효과를 자동으로 추출하여 실감효과 메타데이터를 생성할 수 있는 효과가 있다.

또한, 융합형 미디어 서비스 플랫폼에서의 미디어 처리 장치 및 그 방법은 기존 미디어에 실감효과를 추가하는 융합형 미디어를 생성하는 과정에서 사용자의 인터랙션을 통해 실감효과를 추가 편집함으로써, 사용자의 자율성과 편의성을 제공할 수 있는 효과가 있다.

또한, 융합형 미디어 서비스 플랫폼에서의 미디어 처리 장치 및 그 방법은 융합형 미디어를 재현하는 과정에서 사용자의 인터랙션을 수용하기 위한 인터랙션 실감효과를 정의하고 사용자 인터랙션 이벤트에 따른 액션을 정의함으로써, 사용자가 실감효과를 재현하는 동안 인터랙션 이벤트를 발생시켜 미디어 재생을 제어하거나 실감효과 제어할 수 있는 효과가 있다.

또한, 융합형 미디어 서비스 플랫폼에서의 미디어 처리 장치 및 그 방법은 사용자의 인터랙션 이벤트 발생을 통해 사용자가 미디어 재생 및 실감효과를 제어하도록 함으로써, 몰입감이 증가한 실감체험을 사용자에게 제공할 수 있는 효과가 있다.

또한, 융합형 미디어 서비스 플랫폼에서의 미디어 처리 장치 및 그 방법은 조이스틱과 같은 장치를 연결하여 4D의자와 같은 연속성이 있는 움직임을 제어하기 위한 3D 좌표값 연속 데이터를 실감효과로 추가 편집할 수 있는 효과가 있다.

또한, 융합형 미디어 서비스 플랫폼에서의 미디어 처리 장치 및 그 방법은 연속성이 있는 연속 데이터를 조이스틱 및 센서와 연동하여 3D 뷰어를 통해 4D의자의 움직임을 시뮬레이션함으로써, 모션효과에 대한 사용자의 직관적인 추가 편집을 가능하게 하는 효과가 있다.

또한, 융합형 미디어 서비스 플랫폼에서의 미디어 처리 장치 및 그 방법은 게임과 같은 외부프로그램에서 사용자의 인터랙션 이벤트에 따라 실감효과 메타데이터 메시지를 송수신할 수 있으며, 이를 기반으로 외부 프로그램 사용자의 인터랙션에 따라 실감효과를 재현할 수 있는 효과가 있다.

도 1은 본 발명의 실시예에 따른 융합형 미디어 서비스 플랫폼에서의 미디어 처리 장치를 설명하기 위한 도면.
도 2 및 도 3은 본 발명의 실시예에 따른 융합형 미디어 서비스 플랫폼에서의 미디어 처리 장치의 융합형 미디어 생성부를 설명하기 위한 도면.
도 4는 도 2의 AV 처리부를 설명하기 위한 도면이고.
도 5는 도 2의 실감효과 처리부를 설명하기 위한 도면.
도 6은 도 2의 인터랙션 처리부를 설명하기 위한 도면.
도 7은 도 2의 MSE 처리부를 설명하기 위한 도면.
도 8은 도 2의 연속 데이터 처리부를 설명하기 위한 도면.
도 9는 도 2의 미디어 생성부를 설명하기 위한 도면.
도 10은 도 1의 융합형 미디어 재현부를 설명하기 위한 도면.
도 11은 도 10의 융합형 미디어 파서부를 설명하기 위한 도면.
도 12는 도 10의 AV 재현부를 설명하기 위한 도면.
도 13은 도 10의 실감효과 재현부를 설명하기 위한 도면.
도 14는 도 10의 연속 데이터 재현부를 설명하기 위한 도면.
도 15는 도 10의 실감효과 메시지 전송부 및 실감효과 메시지 수신부를 설명하기 위한 도면.
도 16은 도 10의 인터랙션 처리부를 설명하기 위한 도면.
도 17 내지 도 23은 본 발명의 실시예에 따른 융합형 미디어 서비스 플랫폼에서의 미디어 처리 방법을 설명하기 위한 흐름도.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

이하, 본 발명의 실시예에 따른 융합형 미디어 서비스 플랫폼에서의 미디어 처리 장치를 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 1은 본 발명의 실시예에 따른 융합형 미디어 서비스 플랫폼에서의 미디어 처리 장치를 설명하기 위한 도면이다.

도 1에 도시된 바와 같이, 융합형 미디어 서비스 플랫폼에서의 미디어 처리 장치는 미디어를 기반으로 실감효과를 반영한 융합형 미디어를 생성하는 융합형 미디어 생성부(100). 융합형 미디어 생성부(100)에서 생성된 융합형 미디어를 재현하는 융합형 미디어 재현부(300)를 포함하여 구성된다. 여기서, 융합형 미디어 생서부(100)는 본 발명의 청구항에 기재된 융합형 미디어 서비스 플랫폼에서의 미디어 생성 장치에 해당하며, 융합형 미디어 재현부(300)는 융합형 미디어 서비스 플랫폼에서의 미디어 재현 장치에 해당한다.

융합형 미디어 생성부(100)는 기존에 제작된 AV 미디어를 로딩하여 미디어 포맷에 따라 디코딩을 수행하여 플레이어를 통해 플레이한다. 융합형 미디어 생성부(100)는 AV 미디어로부터 오디오 신호를 추출하여 오디오 신호에 동기화를 맞추어 실감효과를 추가하고 실감효과의 속성을 편집하고, 센서기반 실감효과 데이터를 수신 및 편집하고, 사용자 인터랙션 피드백 정보를 수신 및 편집하고, 연속적인 데이터를 수신 및 편집한다. 융합형 미디어 생성부(100)는 센서로부터 센싱데이터를 수신하여 기준값을 갖고 모션효과 데이터를 생성한다. 융합형 미디어 생성부(100)는 연속된 3D 좌표값으로 표현되는 연속적인 데이터를 처리한다. 융합형 미디어 생성부(100)는 사용자 인터랙션 이벤트를 수신하여 인터랙션 피드백 정보를 생성한다. 융합형 미디어 생성부(100)는 미디어를 기반으로 실감효과를 자동추출한다. 융합형 미디어 생성부(100)는 미디어에 실감효과를 추가하여 융합형 미디어를 생성한다. 융합형 미디어 생성부(100)는 센서부로부터 센서기반 실감효과 데이터를 카메라 영상과 결합하여 융합형 미디어를 생성한다. 융합형 미디어 생성부(100)는 기생성된 융합형 미디어를 저장하거나 외부서버로 전송한다.

융합형 미디어 재현부(300)는 융합형 미디어 생성부(100)에서 생성된 융합형 미디어를 파싱하여 AV 미디어와 실감효과 데이터를 분리한다. 융합형 미디어 재현부(300)는 파싱된 AV 미디어를 재현한다. 융합형 미디어 재현부(300)는 AV 미디어의 재생시간을 디바이스 제어와 동기화한다. 융합형 미디어 재현부(300)는 디바이스를 이용하여 실감효과를 제공하기 위해서, 파싱된 실감효과 데이터를 분석하여 타깃 디바이스를 매핑하여 제어하고, 외부로부터 수신된 실감효과 메시지를 기반으로 디바이스를 제어하고, 사용자 인터랙션 이벤트를 근거로 디바이스를 제어한다. 융합형 미디어 재현부(300)는 3D 좌표 데이터와 같은 연속적인 데이터를 기반으로 모션의자와 같은 디바이스를 제어한다. 융합형 미디어 재현부(300)는 사용자 인터랙션 이벤트를 수신하여 실감효과 인터랙션 메타데이터 정보를 생성한다. 융합형 미디어 재현부(300)는 외부 연동 프로그램에서 실감효과 메시지를 전송하고, 실감효과 메시지를 수신한다.

이하, 본 발명의 실시예에 따른 융합형 미디어 서비스 플랫폼에서의 미디어 처리 장치의 융합형 미디어 생성부를 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 2 및 도 3은 본 발명의 실시예에 따른 융합형 미디어 서비스 플랫폼에서의 미디어 처리 장치의 융합형 미디어 생성부를 설명하기 위한 도면이다. 도 4는 도 2의 AV 처리부를 설명하기 위한 도면이고, 도 5는 도 2의 실감효과 처리부를 설명하기 위한 도면이고, 도 6은 도 2의 인터랙션 처리부를 설명하기 위한 도면이다. 도 7은 도 2의 MSE 처리부를 설명하기 위한 도면이고, 도 8은 도 2의 연속 데이터 처리부를 설명하기 위한 도면이고, 도 9는 도 2의 미디어 생성부를 설명하기 위한 도면이다.

도 2에 도시된 바와 같이, 융합형 미디어 생성부(100)는 AV 처리부(111), 실감효과 처리부(112), 인터랙션 처리부(113), MSE(Media based Sensory Effect) 처리부(114), 연속 데이터 처리부(115), 센서부(116), 카메라 단말부(117), 미디어 생성부(118), 미디어 처리부(119)를 포함하여 구성된다. 이때, 도 3에 도시된 바와 같이, 융합형 미디어 생성부(100)는 사용자에 의한 융합형 미디어 생성을 위한 그래픽 유저 인터페이스(이하, GUI(122))와, 사용자에 의한 실감효과 이벤트 처리를 위한 사용자 인터페이스 이벤트 핸들러(이하, GUI 이벤트 핸들러(124))를 더 포함하여 구성될 수도 있다.

AV 처리부(111)는 기존의 미디어를 로딩하여 미디어의 포맷을 체크한다. AV 처리부(111)는 미디어 포맷이 MPEG-4이면 실감효과를 미디어의 트랙에 삽입하여 실감효과와 미디어가 통합된 단일 미디어를 생성한다. 이때, AV 처리부(111)는 미디어 포맷이 MPEG-4가 아닌 경우 실감효과를 별도의 파일로 생성한다. 물론, AV 처리부(111)는 미디어 포맷이 MPEG-4일 경우에 실감효과를 별도의 파일로 생성할 수도 있다. 즉, AV 처리부(111)는 MPEG-4 포맷의 미디어와, 실감효과 파일을 각각 생성한다.

AV 처리부(111)는 미디어에 포함된 오디오와 비디오를 분리한다. AV 처리부(111)는 분리한 오디오의 파형을 화면에 디스플레이한다. 이를 통해, AV 처리부(111)는 사용자가 실감효과를 삽입할 위치 및 시간 동기화를 설정할 수 있도록 한다.

AV 처리부(111)는 분리한 비디오를 플레이어(138)를 통해 재생한다. 이를 통해, AV 처리부(111)는 사용자가 재생되는 비디오(즉, 영상)와 추가 편집한 실감효과의 재현을 화면상에서 시뮬레이션할 수 있도록 한다.

이를 위해, 도 4에 도시된 바와 같이, AV 처리부(111)는 AV 로더(131), 포맷 체커(132), 퍼블리싱 규칙 업데이터(133), 퍼블리셔(134), 디코더(135), 플레이 제어기, 플레이어(138), 오디오 파서(139), 오디오 표현기(140)를 포함하여 구성된다.

AV 로더(131)는 기존 미디어를 불러들인다. 즉, AV 로더(131)는 실감효과가 포함되지 않은 미디어를 로드한다.

포맷 체커(132)는 AV 로더(131)에서 로드한 미디어의 포맷을 분석한다. 만일 미디어 포맷이 MPEG-4이면 융합형 미디어를 퍼블리싱할 때 미디어 트랙에 실감효과 데이터를 포함하여 하나의 융합형 미디어를 생성할 수 있고, 실감효과 데이터를 별도의 파일로 생성할 수 있다. 하지만, MPEG-4 포맷이 아닌 경우에는 실감효과 데이터를 별도의 파일로만 생성할 수 있다.

퍼블리싱 규칙 업데이터(133)는 포맷 체커(132)에서 분석된 결과를 퍼블리싱 규칙으로 업데이트하여 저장한다. 퍼블리싱 규칙 업데이터(133)는 저장된 퍼블리싱 규칙을 퍼블리셔(134)로 전송한다.

퍼블리셔(134)는 퍼블리싱 규칙 업데이터(133)로부터의 퍼블리싱 규칙에 따라 융합형 미디어를 퍼블리싱한다.

디코더(135)는 미디어 포맷에 따른 코덱(136)에 따라 미디어를 디코딩한다. 디코더(135)는 미디어에 포함된 영상 및 오디오를 각각 디코딩한다.

플레이 제어기는 디코딩된 영상의 재생, 일시정지, 빨리 재생 등 제어를 수행한다.

플레이어(138)는 플레이 제어기의 제어에 따라 디코딩된 영상을 재생한다.

오디오 파서(139)는 디코딩된 오디오의 파형을 추출한다.

오디오 표현기(140)는 오디오 파서(139)에서 추출한 오디오의 파형을 화면에 출력한다.

시간 동기화기(130)는 오디오 파서(139)에서 추출한 오디오의 파형을 미디어와 실감효과를 동기화한다.

실감효과 처리부(112)는 AV 처리부(111)에서 분리된 오디오의 파형을 시간적인 기준으로 아이콘 타입으로 기정의된 실감효과를 삽입하여 실감효과 타입에 대한 레이어를 생성한다.

실감효과 처리부(112)는 기생성한 레이어에 실감효과 프레그먼트를 추가한다. 실감효과 처리부(112)는 추가되는 실감효과 프레그먼트의 길이를 실감효과의 재현시간으로 설정한다. 실감효과 처리부(112)는 실감효과 프레그먼트에 대한 속성을 입력할 수도 이따. 이때, 실감효과 처리부(112)는 실감효과 종류, 위치, 방향, 크기, 강도, 값 등을 포함하는 실감효과 속성을 입력한다.

실감효과 처리부(112)는 MSE 처리부(114)로부터 실감효과 데이터를 수신한다. 즉, 실감효과 처리부(112)는 사용자 인터페이스를 통해 실감효과 자동추출 기능이 활성화되면 MSE 처리부(114)에서 자동추출된 실감효과 데이터를 수신한다.

실감효과 처리부(112)는 인터랙션 처리부(113)로부터 사용자 인터랙션 이벤트를 수신한다. 실감효과 처리부(112)는 수신한 사용자 인터랙션 이벤트를 근거로 생성된 실감효과를 추가 및 편집한다.

실감효과 처리부(112)는 연속 데이터 처리부(115)로부터 연속 데이터 실감효과를 수신하여 미디어에 추가 및 편집한다. 즉, 실감효과 처리부(112)는 조이스틱과 같은 장치로부터 모션 데이터를 연속적으로 수신하여 연속 데이터 처리부(115)에서 생성된 연속 데이터 실감효과를 수신하여 추가 및 편집한다.

실감효과 처리부(112)는 가속도, 각속도, 자이로 센서로부터 센싱된 데이터를 기반으로 센서부(116)에서 생성된 센서기반 연속 데이터 실감효과를 수신하여 추가 및 편집한다.

실감효과 처리부(112)는 연속 데이터 실감효과를 연속 데이터 처리부(115)로 전송한다. 실감효과 처리부(112)는 연속 데이터 처리부(115)로부터 연속 데이터 실감효과의 처리 결과를 수신하여 표현한다.

이를 위해, 도 5에 도시된 바와 같이, 실감효과 처리부(112)는 실감효과 레이어 관리기(141), 실감효과 프레그먼트 삽입기(142), 실감효과 프레그먼트 편집기(143), 프레그먼트 속성 편집기(144), 실감효과 3D 뷰어(145)를 포함하여 구성된다.

실감효과 레이어 관리기(141)는 GUI 이벤트 핸들러(124)에 의해 발생하는 실감효과 아이콘 클릭 이벤트에 해당하는 실감효과에 대한 실감효과 레이어를 추가한다.

실감효과 프레그먼트 삽입기(142)는 실감효과 레이어에 실감효과 프레그먼트를 추가한다. 이때, 프레그먼트의 길이는 실감효과의 재현 시간을 나타낸다.

실감효과 프레그먼트 편집기(143)는 추가된 실감효과 프레그먼트를 편집한다.

프레그먼트 속성 편집기(144)는 선택된 프레그먼트에 대한 실감효과의 속성을 편집한다. 이때, 프레그먼트 속성 편집기(144)는 실감효과 종류, 위치, 방향, 강도, 수준, 값 등을 포함하는 실감효과 속성을 편집한다. 이때, 프레그먼트 속성 편집기(144)는 실감효과 가운데 모션효과의 경우 사용자에게 직관적으로 효과를 입력할 수 있도록 하기 위해 4D의자에 대한 3D 구성을 한다.

실감효과 3D 뷰어(145)는 4D의자에 대해 3D로 구성하고 입체 공간에서 4D의자를 어떻게 움직일 것인가 하는 사용자의 직관적인 입력을 가능하게 한다. 또한, 실감효과 3D 뷰어(145)는 조이스틱과 같은 장치와 연결하여 조이스틱의 움직임에 대해 3D로 구성된 4D의자가 움직임으로써 사용자가 보다 쉽게 모션효과를 입력할 수 있도록 한다.

인터랙션 처리부(113)는 카메라, 센서, 음성 등의 인터페이스를 통해 발생하는 사용자 인터랙션 이벤트를 분석한다. 인터랙션 처리부(113)는 분석된 사용자 인터랙션 이벤트를 기반으로 해당되는 실감효과를 추가하거나 실감효과를 편집한다. 이를 위해, 도 6에 도시된 바와 같이, 인터랙션 처리부(113)는 인터랙션 실감효과 편집기(151), 인터랙션 액션 스크립터(152), 인터랙션 수신기(153), 인터랙션 분석기(154), 인터랙션 실감효과 설정기(155)를 포함하여 구성된다.

인터랙션 실감효과 편집기(151)는 미디어의 전체시간 또는 미디어의 특정 시간에 사용자의 인터랙션 이벤트를 처리할 수 있는 실감효과 프레그먼트를 생성하고 효과 재현시간 등을 편집한다.

인터랙션 액션 스크립터(152)는 사용자 인터랙션 이벤트에 따른 액션을 정의한다.

인터랙션 수신기(153)는 인터랙션 실감효과 프레그먼트를 생성한 후 사용자가 카메라 모션/센서/음성 등을 통해 입력하는 인터랙션 정보를 수신한다.

인터랙션 분석기(154)는 인터랙션 수신기(153)에서 수신된 정보를 이용하여 사용자 인터랙션 이벤트를 생성한다. 인터랙션 분석기(154)는 생성된 사용자 인터랙션 이벤트에 따른 액션을 생성한다.

인터랙션 실감효과 설정기(155)는 사용자 인터랙션 이벤트를 정의한다. 인터랙션 실감효과 설정기(155)는 인터랙션 액션 스크립터(152)에서 정의된 액션들을 실감효과로써 설정한다. 물론, 인터랙션 실감효과 설정기(155)는 사용자의 카메라 모션/센서/음성 등을 통해 인터랙티브한 실감효과 이벤트 및 액션을 정의할 수 있다.

인터랙션 실감효과 설정기(155)는 기생성된 이벤트와 액션을 사용자 인터랙션 실감효과 데이터로 생성한다. 이때, 인터랙션 실감효과 설정기(155)는 미디어를 기반으로 실감효과를 자동추출하여 실감효과 데이터를 추가 및 편집할 수 있다. 인터랙션 실감효과 설정기(155)는 사용자에 의한 모션 또는 조명효과에 대한 프레그먼트를 생성한 후 미디어의 특정 영역을 잡아주고 미디어 기반 실감효과 자동추출 알고리즘을 실행할 수 있다.

MSE 처리부(114)는 미디어 장면으로부터 실감효과를 자동추출하여 실감효과 데이터를 생성한다. MSE 처리부(114)는 미디어 장면으로부터 오브젝트를 추출한다. MSE 처리부(114)는 추출한 오브젝트의 움직임을 추적하여 모션효과 데이터를 생성한다. MSE 처리부(114)는 미디어 장면의 카메라 시점을 기반으로 미디어 장면의 움직임에 대한 모션효과 데이터를 생성한다. MSE 처리부(114)는 미디어 장면의 특정 영역에 대한 RGB 색상을 추출하여 조명효과 데이터를 생성한다. 이를 위해, 도 7에 도시된 바와 같이, MSE 처리부(114)는 영역/지점 선택기(161), 파라미터 송신기(162), MSE 제어기(163), 포맷 변환기(164), 객체 MSE 핸들러(165), 객체 감지기(166), 객체 위치 추적기(167), 객체 지점 추적기(168), 시점 MSE 핸들러(169), 시점 감지기(170), 시점 추적기(171), 시점 분석기(172), 시점 업데이터(173), 조명 MSE 핸들러(174), 영역 스캐너(175), 특징점 세그먼테이션(176), RGB 추출기(177), RGB 패턴 매핑기(178), 유효 패턴 선택기(179)를 포함하여 구성된다.

영역/지점 선택기(161)는 미디어 장면에서 특정 영역 및 지점을 선택한다.

파라미터 송신기(162)는 실감효과 프레그먼트 편집기(143)로부터 실감효과 프레그먼트에 대한 속성정보(효과 종류, 객체기반, 시점기반)를 수신한다. 파라미터 송신기(162)는 영역/지점 선택기(161)로부터 수신되는 영역 및 지점에 대한 정보를 수신하여 MSE 제어기(163)에 제공한다.

MSE 제어기(163)는 파라미터 송신기(162)로부터 수신한 정보를 기반으로 어떠한 알고리즘을 호출할 것인가를 판단한다. MSE 제어기(163)는 디코더(135)로부터 전달받은 미디어 포맷을 자동추출 알고리즘에서 받아들일 수 있는 YUV 또는 JPG 형태의 파일 포맷으로 변환하여 해당 알고리즘으로 전달한다.

포맷 변환기(164)는 AV 로더(131)에 의해 로딩되고 디코더(135)에 의해 디코딩된 미디어를 자동추출 알고리즘에서 사용할 수 있는 YUV 또는 JPG 포맷으로 변환한다.

객체 MSE 핸들러(165)는 영역/지점 선택기(161)에서 제한된 영역을 자동추출 대상 이미지로 설정한다.

객체 감지기(166)는 제한된 영역내에서 움직임의 대상이 되는 객체를 감지한다.

객체 위치 추적기(167)는 감지된 객체의 위치 이동에 대해 추적한다.

객체 지점 추적기(168)는 감지된 객체의 3D 움직임을 추적하는 것으로, 객체의 앞/뒤 움직임에 대해 추적한다.

시점 MSE 핸들러(169)는 영역/지점 선택기(161)에서 제한된 영역 또는 지점을 기반으로 미디어 장면에 대한 카메라 시점 변화를 설정한다.

시점 감지기(170)는 제한된 영역 또는 시점에 대해 각 미디어 장면에서 영역 내의 설정된 수만큼의 시점 및 전체 장면에서의 정해진 수만큼의 시점을 감지한다.

시점 추적기(171)는 시점 감지기(170)에서 감지된 시점을 각 미디어 장면에서 추적한다. 이때, 시점 추적기(171)는 추적된 시점의 변화 값을 유효 데이터 추출기로 전송한다. 시점 추적기(171)는 유효 데이터 추출기로부터 로우패스 필터링을 통해 불필요한 데이터와 지터를 제거한 추적된 시점의 변화 값을 수신한다. 시점 추적기(171)는 미디어 장면에서 새로운 시점이 감지될 때부터 시점이 없어질 때까지 지속적으로 시점을 추적한다.

시점 분석기(172)는 시점의 사라짐, 큰 변화, 새로운 시점 감지 등에 따라 한계점을 두고 한계점을 넘는 경우에 새로운 시점 생성한다.

시점 업데이터(173)는 시점 분석기(172)에서 생성된 새로운 시점에 대한 정보를 업데이트하여 시점 추적기(171)에 제공한다.

조명 MSE 핸들러(174)는 영역/시점 선택기에서 제한된 영역을 조명효과 자동추출 대상 이미지로 생성한다.

영역 스캐너(175)는 조명 MSE 핸들러(174)에서 생성된 조명효과 자동추출 대상 이미지를 스캔하여 특징점들을 설정한다.

특징점 세그먼테이션(176)은 영역 스캐너(175)에서 설정된 특징점들을 이어서 특징점 기반으로 세부 영역을 세그먼테이션한다. 특징점 세그먼테이션(176)은 세그먼테이션된 영역을 유효한 영역과 유효하지 않은 영역으로 분리한다.

RGB 추출기(177)는 세그먼테이션된 영역 내에서 각 픽셀의 RGB 값을 계산한다. RGB 추출기(177)는 RGB 값의 군을 대표 원색으로 삼고 RGB 값을 대표 원색으로 매핑하며 많이 추출되는 대표 원색에 가중치를 두어 RGB값을 산출한다. RGB 추출기(177)는 산출한 RGB 값들은 이용하여 세그먼테이션된 영역단위로 RGB 대표값을 산출한다.

RGB 패턴 매핑기(178)는 세그먼테이션된 영역단위로 계산된 RGB 대표값들을 이용하여 LED 조명 장치를 통해 표현할 수 있는 RGB 패턴과 매핑한다.

유효 패턴 선택기(179)는 RGB 패턴 매핑기(178)에서 세그먼테이션 영역단위로 매핑된 RGB 패턴 중 가장 넒은 영역의 가장 유사점이 많은 패턴을 선택한다.

연속 데이터 처리부(115)는 조이스틱으로부터 수신되는 연속 데이터 및 센서로부터 수신된 연속 데이터를 3D 뷰어를 통해 디스플레이하고 다른 실감효과 데이터와는 별도로 연속적인 3D 좌표값에 의한 실감효과 데이터를 생성한다.

이를 위해, 도 8에 도시된 바와 같이, 연속 데이터 처리부(115)는 연속 데이터 핸들러(192), 연속 데이터 뷰어(193), 연속 메타데이터 생성기(186)를 포함하여 구성된다.

연속 데이터 핸들러(192)는 조이스틱으로부터 수신되는 움직임 데이터를 x, y, z 축으로 구성되는 3D 좌표값으로 변환한다. 연속 데이터 핸들러(192)는 변환한 3D 좌표값을 이용하여 모션효과에 대한 연속적인 데이터를 생성한다.

연속 데이터 핸들러(192)는 가속도, 각속도, 자이로 센서로부터 센싱된 데이터를 기반으로 생성된 3D 좌표값 모션효과 데이터를 연속적인 데이터로 생성한다.

연속 데이터 뷰어(193)는 연속 데이터 핸들러(192)에서 생성된 3D 좌표값을 이용하여 화면상에 연속적인 모션효과 데이터를 표현한다.

연속 메타데이터 생성기(186)는 MPEG-V에서 표준화된 실감효과 메타데이터 스키마를 준수하여 연속적인 3D 좌표값 실감효과 데이터를 생성한다. 이때, 연속 메타데이터 생성기(186)에 의해 생성되는 실감효과 데이터는 실감효과의 한 종류로써 사용자의 인터랙션을 포함한다.

센서부(116)는 가속도 센서, 각속도 센서, 자이로 센서로부터 수신되는 센싱 데이터를 기반으로 연속적인 3D 좌표값을 생성하여 실감효과 처리부(112)에 제공한다.

카메라 단말부(117)는 센서부(116)에서 생성된 연속적인 3D 좌표값에 대한 실감효과 데이터를 수신한다. 카메라 단말부(117)는 내장된 카메라로부터 영상을 수신하여 영상과 실감효과가 결합되는 융합형 미디어를 생성한다.

미디어 생성부(118)는 AV 처리부(111)에서 체크한 미디어 포맷, 사용자에 의해 설정된 사항에 따라 미디어에 실감효과를 결합하여 하나의 융합형 미디어로 생성한다. 물론, 미디어 생성부(118)는 실감효과를 미디어와 별도의 파일로 생성할 수도 있다. 이를 위해, 도 9에 도시된 바와 같이, 미디어 생성부(118)는 센서데이터 수신기(181), 한계점 설정기(182), 기준값 설정기(183), 전송주기 설정기(184), 유효데이터 추출기(185), 연속 메타데이터 생성기(186), 메타데이터 생성기(187), RTC 타이머(188), 메타데이터 저장기(189), 메타데이터 전송기(191)를 포함하여 구성된다.

센서데이터 수신기(181)는 가속도, 각속도, 자이로 센서로부터 센싱데이터를 수신한다.

한계점 설정기(182)는 센서값의 변화에서 유효데이터로 인정하는 한계값을 설정한다.

기준값 설정기(183)는 센서데이터 수신기(181)로부터 센싱된 데이터를 일정기간 모니터링을 하여 모션의자의 정지상태인 기준값을 설정한다. 만일, 기준값 설정기(183)는 한계값을 넘어선 값들이 일정기간 모니터링이 되면 기준값을 업데이트한다.

전송주기 설정기(184)는 실감효과 데이터의 생성 주기를 설정한다. 즉, 전송주기 설정기(184)는 센싱된 값을 어떠한 주기로 실감효과 데이터로 생성할 것인가를 설정한다.

유효데이터 추출기(185)는 센싱된 데이터에서 불필요한 데이터 및 지터를 제거하여 유효데이터를 추출한다. 즉, 유효데이터 추출기(185)는 기준값을 기반으로 센싱된 데이터를 로우패스 필터링하여 불필요한 데이터와 지터를 제거한다. 유효데이터 추출기(185)는 불필요한 데이터와 지터를 제거한 유효데이터를 연속 메타데이터 생성기(186) 또는 메타데이터 생성기(187)로 전송한다. 이때, 유효데이터 추출기(185)는 모션효과에 해당하는 유효데이터인 경우 연속 메타데이터 생성기(186)로 추출한 유효데이터를 전송한다. 유효데이터 추출기(185)는 조명효과에 해당하는 유효데이터인 경우 메타데이터 생성기(187)로 추출한 유효데이터를 전송한다.

연속 메타데이터 생성기(186)는 가속도, 각속도, 자이로 센서로부터 센싱데이터를 수신하여 x, y, z 축에 대한 3D 좌표값으로써 메타데이터를 생성한다.

연속 메타데이터 생성기(186)는 지속적으로 센싱되는 데이터를 저장 및 전송한다. 이때, 연속 메타데이터 생성기(186)는 지속적으로 센싱되는 데이터를 전송주기에 맞춰 지속적으로 저장 및 전송한다.

메타데이터 생성기(187)는 조도 센서로부터 센싱데이터를 수신하여 RGB 값에 대한 메타데이터를 생성한다. 이때, 실감효과는 가속도, 각속도, 자이로 센서로부터 센싱데이터를 기반으로 생성될 수도 있다.

메타데이터 생성기(187)는 자동추출된 조명효과 데이터를 MPEG-V에서 표준화된 실감효과 메타데이터 포맷으로 변환한다. 메타데이터 생성기(187)는 변환된 실감효과 메타데이터를 실감효과 프레그먼트 편집기(143)로 전송한다. 그에 따라, 실감효과 프레그먼트 편집기(143)는 해당 실감효과 메타데이터를 화면에 표현하다.

메타데이터 생성기(187)는 미디어 처리부(119)로부터의 전송요청 시간과 RTC 타이머(188)에 의해 주어지는 시간을 이용하여 동기화한다.

RTC 타이머(188)는 절대시간에 대한 정보를 삽입하여 비연속적인(즉, 패턴에 의한 실감효과) 메타데이터를 동기화한다.

메타데이터 저장기(189)는 연속적/비연속적으로 생성된 메타데이터를 저장한다. 즉, 메타데이터 저장기(189)는 내장 메모리/HDD에 MPEG-V 표준화 스키마에 따라 연속적/비연속적으로 생성된 메타데이터를 저장한다.

메타데이터 전송기(191)는 연속적/비연속적으로 생성된 메타데이터를 외부로 전송한다. 이때, 메타데이터 전송기(191)는 연속적/비연속적으로 생성된 메타데이터를 메타데이터 전송 단위로 외부에 전송된다. 여기서, 카메라를 내장한 외부단말(200)에서는 메타데이터 전송기(191)로부터 실감효과 메타데이터를 수신할 수 있다.

이때, 도 9에 도시된 바와 같이, 외부단말(200)은 전송 개시기(210), 전송 요구 수신기(220), 메타데이터 수신기(230), 카메라 AV 수신기(240), 융합형 미디어 저장기(250)를 포함하여 구성된다.

전송 개시기(210)는 실감효과 메타데이터를 수신하기 위해 메타데이터 전송을 시작하라는 메시지를 전송한다. 이때, 전송 개시기(210)는 외부단말(200)의 내부 시간을 메시지에 추가하여 전송한다. 이와 함께, 전송 개시기(210)는 전송을 개시하는 시간에 카메라 AV 수신기(240)에 영상정보 수신을 요청한다.

전송 요구 수신기(220)는 실감효과 메타데이터 전송 개시 요청 메시지를 수신하고 RTC 타이머(188)에 전송개시가 요청된 시간을 넘겨준다.

메타데이터 수신기(230)는 실감효과 메타데이터를 메타데이터 전송기(191)로부터 수신한다.

카메라 AV 수신기(240)는 내장된 카메라로부터 영상을 수신하여 융합형 미디어 저장기(250)에 영상을 제공한다.

융합형 미디어 저장기(250)는 카메라 AV 수신기(240)로부터 수신되는 영상과 메타데이터 수신기(230)로부터 수신된 실감효과 메타데이터를 결합하여 융합형 미디어를 생성하여 내장 메모리/HDD에 저장한다.

미디어 처리부(119)는 카메라 단말부(117)에서 생성된 융합형 미디어를 저장하거나 또는 외부서버에 전송한다.

이하, 본 발명의 실시예에 따른 융합형 미디어 서비스 플랫폼에서의 미디어 처리 장치의 융합형 미디어 재현부(300)를 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 10은 도 1의 융합형 미디어 재현부를 설명하기 위한 도면이다. 도 11은 도 10의 융합형 미디어 파서부를 설명하기 위한 도면이고, 도 12는 도 10의 AV 재현부를 설명하기 위한 도면이고, 도 13은 도 10의 실감효과 재현부를 설명하기 위한 도면이고, 도 14는 도 10의 연속 데이터 재현부를 설명하기 위한 도면이고, 도 15는 도 10의 실감효과 메시지 전송부 및 실감효과 메시지 수신부를 설명하기 위한 도면이고, 도 16은 도 10의 인터랙션 처리부를 설명하기 위한 도면이다.

도 10에 도시된 바와 같이, 융합형 미디어 재현부(300)는 융합형 미디어 파서부(310), AV 재현부(320), 동기화부(330), 실감효과 재현부(340), 디바이스 제어부(350), 연속 데이터 재현부(360), 실감효과 메시지 전송부(370), 실감효과 메시지 수신부(380), 인터랙션 처리부(390)를 포함하여 구성된다.

융합형 미디어 파서부(310)는 융합형 미디어 생성부(100)에서 생성된 융합형 미디어를 파싱하여 AV 미디어와 실감효과 데이터를 분리한다. 이를 위해, 도 11에 도시된 바와 같이, 융합형 미디어 파서부(310)는 미디어 생성부(118)에서 생성된 융합형 미디어를 로딩하는 융합형 미디어 로더(312), 및 로딩된 융합형 미디어를 AV 미디어와 실감효과 데이터로 분리하는 융합형 미디어 파서(314)를 포함하여 구성된다. 융합형 미디어 파서(314)는 분리된 AV 미디어를 AV 재현부(320)로 전송하고, 분리된 실감효과 데이터를 실감효과 재현부(340)로 전송한다.

AV 재현부(320)는 융합형 미디어 파서부(310)에서 분리된 AV 미디어를 재생한다. 이를 위해, 도 12에 도시된 바와 같이, AV 재현부(320)는 분리된 AV 미디어의 재생에 관련된 제어를 수행하는 플레이어 제어기(324), 및 플레이어 제어기(324)의 제어에 따라 분리된 AV 미디어를 재생하는 플레이어(322)를 포함하여 구성된다. 이때, 플레이어 제어기(324)는 정지, 일시정지, 플레이, 빠르게 재생 등의 미디어 재생 제어를 수행한다. 플레이어(322)는 AV 미디어의 재생과 함께 재생시간을 동기화부(330)에게로 전송한다. 즉, 플레이어(322)는 AV 미디어의 재생시 소정주기로 AV 미디어의 재생시간을 동기화부(330)에게로 전송한다.

동기화부(330)는 AV 미디어의 재생과 디바이스 제어시간을 동기화한다. 즉, 동기화부(330)는 실감효과의 제공을 위한 디바이스 제어시간과 AV 재현부(320)로부터의 AV 미디어 재생시간을 동기화한다.

실감효과 재현부(340)는 실감효과 데이터를 분석하고 해당 디바이스를 매핑하여 제어 명령어를 생성한다. 실감효과 재현부(340)는 실감효과 메시지 수신부(380)를 통해 수신된 실감효과 메타데이터 메시지를 실감효과 재현부(340)를 통해 디바이스 제어가 이루어진다. 실감효과 재현부(340)는 사용자 인터랙션 이벤트에 따라 미디어 재생 및 실감효과 재현을 제어한다. 실감효과 재현 제어는 실감효과 삭제, 실감효과 강도 조절, 실감효과수준 변경 등이 있을 수 있다. 이를 위해, 도 13에 도시된 바와 같이, 실감효과 재현부(340)는 메타데이터 분석기(341), 메타데이터 제어기(342), 실감효과 타이머(343), 실감효과 핸들러(344), 디바이스 매핑기(345), 명령어 생성기(346)를 포함하여 구성된다.

메타데이터 분석기(341)는 융합 미디어 파서로부터 융합형 미디어로부터 분리된 실감효과 데이터를 수신한다. 메타데이터 분석기(341)는 실감효과 데이터를 실감효과 단위별로 분석한다. 메타데이터 분석기(341)는 분석결과를 메타데이터 제어기(342)에게로 전송한다.

메타데이터 제어기(342)는 메타데이터 분석기(341)로부터의 분석결과를 근거로 실감효과 데이터가 연속 실감효과인지 비연속 실감효과인지를 판단한다. 이때, 메타데이터 제어기(342)는 실감효과 데이터가 연속 실감효과인 경우 해당 실감효과 데이터를 연속 실감효과 핸들러(362)에게로 전송한다. 이와 함께, 메타데이터 제어기(342)는 해당 실감효과 데이터를 실감효과 타이머(343)에게로 전송한다. 여기서, 메타데이터 제어기(342)는 게임과 같은 외부 프로그램으로부터 실감효과 메타데이터를 수신하여 실감효과를 재현할 수도 있다. 즉, 메타데이터 제어기(342)는 게임 프로그램에서 사용자의 인터랙션이 발생하여 감지된 사용자 인터랙션 이벤트에 해당하는 실감효과 메시지를 실감효과 메시지 전송부(370)로부터 수신한다. 메타데이터 제어기(342)는 수신한 실감효과 메시지를 근거로 실감효과를 재현한다.

실감효과 타이머(343)는 실감효과의 재현시간을 체크하여 실감효과를 정렬한다. 즉, 실감효과 타이머(343)는 메타데이터 제어기(342)로부터 수신되는 실감효과 데이터들의 재현시간을 체크하여 실감효과를 정렬하여 스택에 저장한다.

실감효과 핸들러(344)는 실감효과 타이머(343)에 의해 정렬된 실감효과를 수행한다. 즉, 단순 실감효과 재현을 위한 실감효과 데이터인 경우, 실감효과 핸들러(344)는 실감효과 타이머(343)에서 타임아웃된 순서대로 실감효과 메타데이터를 스택에서 꺼내어 처리한다. 이때, 인터랙션을 위한 실감효과 데이터이면 실감효과 핸들러(344)에서 처리되지 않고, 후술할 인터랙션 실감효과 핸들러(395)에 의해 처리된다. 즉, 인터랙션을 위한 실감효과 데이터이면 인터랙션 실감효과 핸들러(395)에서 타임아웃된 순서대로 실감효과 메타데이터를 스택에서 꺼내어 처리한다.

디바이스 매핑기(345)는 실감효과 재현을 위한 디바이스를 매핑한다.

명령어 생성기(346)는 디바이스 매핑기(345)에서 매핑된 디바이스를 제어하기 위한 제어명령을 생성하여 디바이스 제어부(350)에게로 전송한다.

디바이스 제어부(350)는 디바이스 정합 인터페이스를 통해 디바이스를 제어하여 실감효과를 제공한다. 즉, 디바이스 제어부(350)는 4D의자와 같은 디바이스를 정합된 인터페이스를 통해 제어한다. 만일, 디바이스 제어부(350)는 비연속적인 실감효과이면 단순 실감효과 재현을 위한 실감효과 데이터인지 사용자 인터랙션을 위한 실감효과 데이터인지를 판단한다. 이를 위해, 디바이스 제어부(350)는 명령어 생성기(346)로부터 제어명령에 따라 해당 디바이스를 제어한다. 이때, 디바이스 제어부(350)는 동기화부(330)로부터 동기화 신호를 수신하여 디바이스를 제어한다.

연속 데이터 재현부(360)는 연속 실감효과를 재현한다. 즉, 연속 데이터 재현부(360)는 연속적으로 움직일 수 있는 4D의자와 같은 디바이스를 제어하여 연속 실감효과를 재현한다. 이를 위해, 도 14에 도시된 바와 같이, 연속 데이터 재현부(360)는 메타데이터 제어기(342) 및 실감효과 타이머(343)로부터의 실감효과 메타데이터를 근거로 연속 실감효과를 제어하는 연속 실감효과 핸들러(362)를 포함하여 구성된다. 이때, 연속 실감효과 핸들러(362)는 연속 실감효과를 재현하기 위한 디바이스를 매핑하여 명령어 생성기(346)로 전송한다. 명령어 생성기(346)는 3D 좌표값으로 주어지는 데이터를 기반으로 4D의자와 같은 연속적인 제어 명령어를 생성한다.

실감효과 메시지 전송부(370)는 게임과 같은 외부프로그램에서 생성되는 실감효과 메시지를 실감효과 메시지 수신부(380)로 전송한다. 즉, 실감효과 메시지 전송부(370)는 외부단말(200; 또는, 외부 프로그램)에서 발생한 이벤트에 따른 실감효과 메시지를 생성하여 실감효과 메시지 수신부(380)로 전송한다. 이를 위해, 도 15에 도시된 바와 같이, 외부단말(200; 또는, 외부 게임 프로그램)로부터 이벤트를 감지하는 게임 이벤트 핸들러(372), 및 게임 이벤트 핸들러(372)에서 실감효과에 해당하는 이벤트를 감지하면 실감효과 메시지를 생성하여 실감효과 메시지 수신부(380)로 전송하는 실감효과 메시지 전송기(374)를 포함하여 구성된다. 여기서, 실감효과 메시지 전송부(370)는 외부단말(200; 즉, 외부 프로그램이 구동하는 외부단말(200))에 구성될 수도 있다.

실감효과 메시지 수신부(380)는 실감효과 메시지 전송부(370)로부터 실감효과 메시지를 수신한다. 이때, 실감효과 메시지 수신부(380)는 실감효과 메시지 전송부(370; 또는, 외부 프로그램)로부터 메타데이터 형태의 실감효과 메시지를 수신한다. 실감효과 메시지 수신부(380)는 수신한 실감효과 메시지를 분석하여 실감효과의 종류 및 재현시점을 분석하고, 분석결과를 메타데이터 제어기(342)에게로 전송한다. 이를 위해, 도 15에 도시된 바와 같이, 실감효과 메시지 수신부(380)는 실감효과 메시지 전송부(370)로부터 실감효과 메시지를 수신하는 실감효과 메시지 수신기(382), 및 실감효과 메시지 수신기(382)를 통해 수신된 실감효과 메시지를 분석하여 실감효과 종류 및 재현시점을 판단하는 실감효과 메시지 분석기(384)를 포함하여 구성된다. 이때, 실감효과 메시지 수신기(382)는 실감효과 메시지 전송부(370)로부터 메타데이터 형태의 실감효과 메시지를 수신한다. 실감효과 메시지 분석기(384)는 메타데이터 형태의 실감효과 메시지를 분석하여 어떠한 실감효과이고 언제 재현되는 실감효과인지를 판단한다. 실감효과 메시지 분석기(384)는 분석결과를 메타데이터 제어기(342)에게로 전송한다.

인터랙션 처리부(390)는 실감효과 재현부(340)에 의해 실감효과가 미디어 플레이와 함께 재현되는 동안에 사용자의 인터랙션 이벤트를 수신하여 인터랙션 실감효과 이벤트 정의에 따른 액션을 수행할 수 있도록 실감효과 재현부(340)에 사용자 인터랙션 이벤트를 전달한다. 이를 위해, 도 16에 도시된 바와 같이, 인터랙션 처리부(390)는 인터랙션 감지기(391), 인터랙션 이벤트 핸들러(392), 인터랙션 이벤트 분석기(393), 인터랙션 이벤트 매핑기(394), 인터랙션 실감효과 핸들러(395), 인터랙션 액션 수행기(396)를 포함하여 구성된다.

인터랙션 감지기(391)는 실감효과의 재현중에 발생하는 사용자 인터랙션 이벤트를 감지한다. 즉, 사용자는 실감효과가 재현되는 동안 또는 인터랙션 실감효과가 재현되는 동안 사용자 인터랙션 이벤트를 발생할 수 있다. 따라서, 인터랙션 감지기(391)는 카메라, 센서, 음성 등을 통해 인터랙션 디바이스로부터 발생하는 사용자 인터랙션을 감지한다. 인터랙션 감지기(391)는 감지한 사용자 인터랙션 이벤트를 인터랙션 이벤트 핸들러(392)에게로 제공한다.

인터랙션 이벤트 핸들러(392)는 인터랙션 감지기(391)로부터의 사용자 인터랙션 이벤트를 분석한다. 즉, 인터랙션 이벤트 핸들러(392)는 수신한 사용자 인터랙션 이벤트가 모션인식인지, 센서데이터에 의한 인터랙션인지, 음성에 의한 인터랙션인지를 분석한다. 인터랙션 이벤트 핸들러(392)는 분석한 결과를 인터랙션 이벤트 분석기(393)에게로 전송한다.

인터랙션 이벤트 분석기(393)는 인터랙션 이벤트 핸들러(392)로부터 수신된 사용자 인터랙션 이벤트를 분석하여 인터랙션 이벤트 종류를 판단한다. 즉, 인터랙션 이벤트 분석기(393)는 모션의 경우 손을 흔들었는지, 손을 멈추었는지 등을 분석하고, 센서의 경우 아래로 움직였는지 위로 움직였는지 등을 분석하고, 음성의 경우 음성인식을 통해 어떠한 단어 및 음절인지를 분석한다.

인터랙션 이벤트 매핑기(394)는 인터랙션 이벤트 분석기(393)에서 분석된 사용자 인터랙션 이벤트를 인터랙션 실감효과 이벤트와 매핑한다. 즉, 인터랙션 이벤트 매핑기(394)는 분석된 사용자 인터랙션 이벤트 중에서 융합형 미디어에 정의되어 있는 인터랙션 실감효과 이벤트와 매핑되는 것이 있는지를 검색한다. 인터랙션 이벤트 매핑기(394)는 분석된 사용자 인터랙션 이벤트가 인터랙션 실감효과 이벤트와 매핑되는 경우 해당 사용자 인터랙션 이벤트를 인터랙션 이벤트로 결정한다.

인터랙션 실감효과 핸들러(395)는 인터랙션 이벤트로 결정된 사용자 인터랙션 이벤트에 대한 액션을 제어한다. 즉, 인터랙션 실감효과 핸들러(395)는 융합형 미디어에 정의된 인터랙션 이벤트가 검색되면 해당 인터랙션 이벤트에 따라 정의된 액션을 수행하도록 제어하기 위한 제어신호를 발생한다. 인터랙션 실감효과 핸들러(395)는 발생한 제어신호를 인터랙션 액션 수행기(396)에게로 전송한다.

인터랙션 액션 수행기(396)는 인터랙션 실감효과 핸들러(395)로부터의 제어신호에 따라 인터랙션 이벤트에 따라 정의된 액션을 수행한다. 이때, 인터랙션 실감효과 핸들러(395)는 정의된 액션이 플레이어 제어이면 플레이어 제어기(324)에게로 제어신호를 전송한다. 인터랙션 실감효과 핸들러(395)는 정의된 액션이 실감효과 제어인 경우에는 실감효과 핸들러(344)에게로 제어신호를 전송한다. 그에 따라, 실감효과 핸들러(344)에 의해 디바이스가 매핑되고 동기화되어 인터랙션에 따라 정의된 액션이 수행된다.

이하, 본 발명의 실시예에 따른 융합형 미디어 서비스 플랫폼에서의 미디어 처리 방법을 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 17 내지 도 23은 본 발명의 실시예에 따른 융합형 미디어 서비스 플랫폼에서의 미디어 처리 방법을 설명하기 위한 흐름도이다.

도 17은 융합형 미디어를 생성하는 방법을 설명하기 위한 흐름도이고, 도 18 및 도 19는 실감효과를 추출하는 방법을 설명하기 위한 흐름도이다.

먼저, 도 17을 참조하면, 융합형 미디어 생성부(100)는 AV 미디어를 로드하여 오디오 및 비디오로 분리한다(S100). 즉, 융합형 미디어 생성부(100)는 실감효과가 포함되지 않은 AV 미디어를 로드한다. 융합형 미디어 생성부(100)는 AV 미디어를 오디오와 비디오로 분리한다.

융합형 미디어 생성부(100)는 AV 미디어로부터 실감효과를 추출한다(S200). 이를 첨부된 도면을 참조하여 더욱 상세하게 설명하면 아래와 같다.

도 18에 도시된 바와 같이, 실감효과를 추출하는 단계에서 융합형 미디어 생성부(100)는 미디어 장면으로부터 추출한 오브젝트의 움직임을 추적하여 모션효과 데이터를 생성한다(S212).즉, 융합형 미디어 생성부(100)는 미디어 장면으로부터 오브젝트를 추출한다. 융합형 미디어 생성부(100)는 추출한 오브젝트의 움직임을 추적하여 모션효과 데이터를 생성한다. 융합형 미디어 생성부(100)는 미디어 장면의 카메라 시점을 기반으로 미디어 장면의 움직임에 대한 모션효과 데이터를 생성한다.

융합형 미디어 생성부(100)는 미디어 장면의 특정 영역에 대한 RGB 색상을 추출하여 조명효과 데이터를 생성한다(S214). 융합형 미디어 생성부(100)는 세그먼테이션된 영역 내에서 각 픽셀의 RGB 값을 계산한다. 융합형 미디어 생성부(100)는 RGB 값의 군을 대표 원색으로 삼고 RGB 값을 대표 원색으로 매핑하며 많이 추출되는 대표 원색에 가중치를 두어 RGB값을 산출한다. 융합형 미디어 생성부(100)는 산출한 RGB 값들은 이용하여 세그먼테이션된 영역단위로 RGB 대표값을 산출한다. 융합형 미디어 생성부(100)는 세그먼테이션된 영역단위로 계산된 RGB 대표값들을 이용하여 LED 조명 장치를 통해 표현할 수 있는 RGB 패턴과 매핑한다. 융합형 미디어 생성부(100)는 세그먼테이션 영역단위로 매핑된 RGB 패턴 중 가장 넒은 영역의 가장 유사점이 많은 패턴을 선택한다.

융합형 미디어 생성부(100)는 기생성한 모션효과 데이터 및 조명효과 데이터를 실감효과로 추출한다(S216).

도 19에 도시된 바와 같이, 실감효과를 추출하는 단계에서 융합형 미디어 생성부(100)는 하나 이상의 센서로부터 수신되는 센싱 데이터를 근거로 센서기반 실감효과 데이터를 생성한다(S222).

융합형 미디어 생성부(100)는 센싱 데이터를 근거로 연속 3D 좌표값 모션효과 데이터를 생성한다(S232). 즉, 융합형 미디어 생성부(100)는 조이스틱으로부터 수신되는 연속 데이터 및 센서로부터 수신된 연속 데이터를 3D 뷰어를 통해 디스플레이한다. 융합형 미디어 생성부(100)는 다른 실감효과 데이터와는 별도로 연속적인 3D 좌표값에 의한 실감효과 데이터를 생성한다. 융합형 미디어 생성부(100)는 조이스틱으로부터 수신되는 움직임 데이터를 x, y, z 축으로 구성되는 3D 좌표값으로 변환한다. 융합형 미디어 생성부(100)는 변환한 3D 좌표값을 이용하여 모션효과에 대한 연속적인 데이터를 생성한다. 융합형 미디어 생성부(100)는 가속도, 각속도, 자이로 센서로부터 센싱된 데이터를 기반으로 생성된 3D 좌표값 모션효과 데이터를 연속적인 데이터로 생성한다. 융합형 미디어 생성부(100)는 기생성된 3D 좌표값을 이용하여 화면상에 연속적인 모션효과 데이터를 표현한다.

융합형 미디어 생성부(100)는 데이터 스키마를 근거로 연속 실감효과 데이터를 생성한다(S234). 즉, 융합형 미디어 생성부(100)는 MPEG-V에서 표준화된 실감효과 메타데이터 스키마를 준수하여 연속적인 3D 좌표값 실감효과 데이터를 생성한다. 이때, 융합형 미디어 생성부(100)에 의해 생성되는 실감효과 데이터는 실감효과의 한 종류로써 사용자의 인터랙션을 포함한다.

융합형 미디어 생성부(100)는 생성한 연속 3D 좌표값 모션효과 데이터 및 실감효과 메타사용자 인터랙션 이벤트를 수신한다(S242).

융합형 미디어 생성부(100)는 수신한 사용자 인터랙션 이벤트를 근거로 사용자 인터랙션 피드백 정보를 생성한다(S244). 즉, 인터랙션 처리부(113)는 카메라, 센서, 음성 등의 인터페이스를 통해 발생하는 사용자 인터랙션 이벤트를 분석한다. 인터랙션 처리부(113)는 분석된 사용자 인터랙션 이벤트를 기반으로 해당되는 실감효과를 추가하거나 실감효과를 편집한다.

융합형 미디어 생성부(100)는 센서기반 실감효과 데이터와 사용자 인터랙션 피드백 정보 및 연속 실감효과 데이터 중에 적어도 하나를 수신하여 실감효과로 추가한다(S250).

융합형 미디어 생성부(100)는 추가한 실감효과의 속성을 편집한다(S260). 이때, 융합형 미디어 생성부(100)는 추가한 실감효과의 종류, 위치, 방향, 강도, 수준, 값 등을 포함하는 실감효과 속성을 편집한다.

융합형 미디어 생성부(100)는 분리된 오디오에 동기화하여 추출한 실감효과를 추가한다(S300).

융합형 미디어 생성부(100)는 AV 미디어의 포맷에 따라 추가한 실감효과를 디코딩한다(S400). 즉, 융합형 미디어 생성부(100)는 미디어 포맷에 따른 코덱(136)을 이용하여 미디어를 디코딩한다. 이때, 융합형 미디어 생성부(100)는 미디어에 포함된 영상 및 오디오를 각각 디코딩한다.

융합형 미디어 생성부(100)는 AV 미디어와 디코딩된 실감효과를 융합한 융합형 미디어를 생성한다(S500). 이를 더욱 상세하게 설명하면, 미디어 생성부(118)는 AV 처리부(111)에서 체크한 미디어 포맷, 사용자에 의해 설정된 사항에 따라 미디어에 실감효과를 결합하여 하나의 융합형 미디어로 생성한다. 물론, 미디어 생성부(118)는 실감효과를 미디어와 별도의 파일로 생성할 수도 있다. 미디어 처리부(119)는 카메라 단말부(117)에서 생성된 융합형 미디어를 저장하거나 또는 외부서버에 전송한다. 이때, 융합형 미디어 생성부(100)는 실감효과 데이터와 미디어 데이터가 하나의 파일로 구성된 융합형 미디어를 생성한다. 물론, 융합형 미디어 생성부(100)는 실감효과 데이터와 미디어 데이터 각각이 하나의 파일로 구성된 융합형 미디어를 생성할 수도 있다.

도 20 내지 도 23은 융합형 미디어를 재현하는 방법을 설명하기 위한 흐름도이다.

먼저, 도 20을 참조하면, 융합형 미디어 재현부(300)는 융합형 미디어를 파싱하여 AV 데이터와 실감효과 데이터를 분리한다(S610). 즉, 융합형 미디어 로더(312)는 융합형 미디어 생성부(100)에서 기생성된 융합형 미디어를 로드한다. 융합형 미디어 파서(314)는 로드한 융합형 미디어에서 AV 데이터를 분리한다. 이때, 융합형 미디어 파서(314)는 분리된 AV 미디어를 AV 재현부(320)로 전송하고, 분리된 실감효과 데이터를 실감효과 재현부(340)로 전송한다.

융합형 미디어 재현부(300)는 분리된 AV 데이터를 재현한다(S620). 즉, 융합형 미디어 재현부(300)는 분리된 AV 데이터를 재현한다. 플레이어 제어기(324)는 정지, 일시정지, 플레이, 빠르게 재생 등의 AV 미디어 재생 제어한다. 플레이어(322)는 플레이어 제어기(324)의 제어에 따라 분리된 AV 데이터를 재생한다. 이때, 플레이어 제어기(324)는 소정주기로 AV 미디어의 재생시간을 동기화부(330)에게로 전송한다.

융합형 미디어 재현부(300)는 분리된 실감효과 데이터의 분석을 통해 타깃 디바이스를 매핑하여 제어명령을 생성한다(S630). 즉, 실감효과 재현부(340)는 실감효과 데이터를 분석하고 해당 디바이스를 매핑하여 제어 명령어를 생성한다.

융합형 미디어 재현부(300)는 재현되는 AV 데이터의 재생시간과 생성된 제어명령을 통한 디바이스 제어시간을 동기화한다(S640). 즉, 동기화부(330)는 실감효과의 제공을 위한 디바이스 제어시간과 AV 재현부(320)로부터의 AV 미디어 재생시간을 동기화한다.

융합형 미디어 재현부(300)는 동기화된 제어 명령을 근거로 디바이스를 제어하여 실감효과를 재현한다(S650). 이때, 융합형 미디어 재현부(300)는 실감효과 삭제, 실감효과 강도 조절, 실감효과수준 변경 등의 실감효과 재현 제어를 통해 실감효과를 재현한다. 여기서, 융합형 미디어 재현부(300)가 실감효과를 재현하는 방법을 더욱 상세하게 설명하면 아래와 같다.

먼저, 메타데이터 분석기(341)는 융합 미디어 파서로부터 융합형 미디어로부터 분리된 실감효과 데이터를 수신한다. 메타데이터 분석기(341)는 실감효과 데이터를 실감효과 단위별로 분석한다. 메타데이터 분석기(341)는 분석결과를 메타데이터 제어기(342)에게로 전송한다.

디바이스 매핑기(345)는 실감효과 재현을 위한 디바이스를 매핑한다. 명령어 생성기(346)는 디바이스 매핑기(345)에서 매핑된 디바이스를 제어하기 위한 제어명령을 생성하여 디바이스 제어부(350)에게로 전송한다.

융합형 미디어 재현부(300)는 외부 연동 프로그램으로부터 수신한 실감효과 메타데이터 메시지를 통해 디바이스 제어하여 실감효과를 재현할 수도 있다. 즉, 도 21에 도시된 바와 같이, 융합형 미디어 재현부(300)는 외부 연동 프로그램으로부터 실감효과 메시지를 수신한다(S662). 즉, 실감효과 메시지 전송부(370)는 외부단말(200; 또는, 외부 프로그램)에서 발생한 이벤트에 따른 실감효과 메시지를 생성하여 실감효과 메시지 수신부(380)로 전송한다. 이를 위해, 실감효과 메시지 전송기(374)는 외부단말(200; 또는, 외부 게임 프로그램)로부터 이벤트를 감지하는 게임 이벤트 핸들러(372), 및 게임 이벤트 핸들러(372)에서 실감효과에 해당하는 이벤트를 감지하면 실감효과 메시지를 생성하여 실감효과 메시지 수신부(380)로 전송한다.

실감효과 메시지 수신부(380)는 실감효과 메시지 전송부(370)로부터 실감효과 메시지를 수신한다. 이때, 실감효과 메시지 수신부(380)는 실감효과 메시지 전송부(370; 또는, 외부 프로그램)로부터 메타데이터 형태의 실감효과 메시지를 수신한다. 실감효과 메시지 수신부(380)는 수신한 실감효과 메시지를 분석하여 실감효과의 종류 및 재현시점을 분석하고, 분석결과를 메타데이터 제어기(342)에게로 전송한다.

융합형 미디어 재현부(300)는 수신한 실감효과 메시지를 근거로 디바이스를 제어하여 실감효과를 재현한다(S664). 여기서, 디바이스를 제어하여 실감효과를 재현하는 방법은 상술한 S650 단계와 동일하므로 상세한 설명을 생략한다.

융합형 미디어 재현부(300)는 사용자 인터랙션 이벤트에 따라 미디어 재생 및 실감효과를 재현할 수도 있다. 즉, 도 22에 도시된 바와 같이, 융합형 미디어 재현부(300)는 수신되는 사용자 인터랙션 이벤트를 근거로 실감효과 인터랙션 메타데이터를 생성한다(S672). 이를 더욱 상세하게 설명하면 아래와 같다.

먼저, 인터랙션 감지기(391)는 실감효과의 재현중에 발생하는 사용자 인터랙션 이벤트를 감지한다. 즉, 사용자는 실감효과가 재현되는 동안 또는 인터랙션 실감효과가 재현되는 동안 사용자 인터랙션 이벤트를 발생할 수 있다. 따라서, 인터랙션 감지기(391)는 카메라, 센서, 음성 등을 통해 인터랙션 디바이스로부터 발생하는 사용자 인터랙션을 감지한다. 인터랙션 감지기(391)는 감지한 사용자 인터랙션 이벤트를 인터랙션 이벤트 핸들러(392)에게로 제공한다.

융합형 미디어 재현부(300)는 생성한 실감효과 인터랙션 메타데이터를 근거로 디바이스를 제어하여 실감효과를 재현한다(S674). 이를 더욱 상세하게 설명하면 아래와 같다.

먼저, 인터랙션 실감효과 핸들러(395)는 인터랙션 이벤트로 결정된 사용자 인터랙션 이벤트에 대한 액션을 제어한다. 즉, 인터랙션 실감효과 핸들러(395)는 융합형 미디어에 정의된 인터랙션 이벤트가 검색되면 해당 인터랙션 이벤트에 따라 정의된 액션을 수행하도록 제어하기 위한 제어신호를 발생한다. 인터랙션 실감효과 핸들러(395)는 발생한 제어신호를 인터랙션 액션 수행기(396)에게로 전송한다.

융합형 미디어 재현부(300)는 연속 실감효과를 재현할 수도 있다. 즉, 도 23에 도시된 바와 같이, 융합형 미디어 재현부(300)는 분리된 실감효과 데이터 중에서 연속 실감효과 메타데이터를 근거로 디바이스를 매핑하여 제어 명령을 생성한다(S682). 이때, 융합형 미디어 재현부(300)는 3D 좌표값으로 주어지는 데이터를 기반으로 4D의자와 같은 연속적인 제어 명령어를 생성한다.

융합형 미디어 재현부(300)는 생성된 제어 명령을 근거로 디바이스를 제어하여 연속 실감효과를 재현한다(684). 이때, 융합형 미디어 재현부(300)는 연속적으로 움직일 수 있는 4D의자와 같은 디바이스를 제어하여 연속 실감효과를 재현한다.

상술한 바와 같이, 융합형 미디어 서비스 플랫폼에서의 미디어 처리 장치 및 그 방법은 이미 제작된 영상에 저작툴을 이용하여 저작자가 수동으로 실감효과를 추가하고, 생성된 ne-미디어를 재현시스템에서 미디어 재생과 함께 실감효과를 재현하는 종래기술과 달리, 미디어를 기반으로 모션 및 조명효과와 같은 실감효과를 자동으로 추출하여 실감효과 메타데이터를 생성할 수 있는 효과가 있다.

이상에서 본 발명에 따른 바람직한 실시예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형예 및 수정예를 실시할 수 있을 것으로 이해된다.

100: 융합형 미디어 생성부 111: AV 처리부
112: 실감효과 처리부 113: 인터랙션 처리부
114: MSE 처리부 115: 연속 데이터 처리부
116: 센서부 117: 카메라 단말부
118: 미디어 생성부 119: 미디어 처리부
122: GUI 124: GUI 이벤트 핸들러
130: 시간 동기화기
131: AV 로더 132: 포맷 체커
133: 퍼블리싱 규칙 업데이터 134: 퍼블리셔
135: 디코더 136: 코덱
137: 플레이어 제어기 138: 플레이어
139: 오디오 파서 140: 오디오 표현기
141: 실감효과 레이어 관리기 142: 실감효과 프레그먼트 삽입기
143: 실감효과 프레그먼트 편집기 144: 프레그먼트 속성 편집기
145: 실감효과 3D 뷰어 151: 인터랙션 실감효과 편집기
152: 인터랙션 액션 스크립터 153: 인터랙션 수신기
154: 인터랙션 분석기 155: 인터랙션 실감효과 설정기
161: 영역/지점 선택기 162: 파라미터 송신기
163: MSE 제어기 164: 포맷 변환기
165: 객체 MSE 핸들러 166: 객체 감지기
167: 객체 위치 추적기 168: 객체 지점 추적기
169: 시점 MSE 핸들러 170: 시점 감지기
171: 시점 추적기 172: 시점 분석기
173: 시점 업데이터 174: 조명 MSE 핸들러
175: 영역 스캐너 176: 특징점 세그먼테이션
177: RGB 추출기 178: RGB 패턴 매핑기
179: 유효 패턴 선택기 181: 센서데이터 수신기
182: 한계점 설정기 183: 기준값 설정기
184: 전송주기 설정기 185: 유효데이터 추출기
186: 연속 메타데이터 생성기 187: 메타데이터 생성기
188: RTC 타이머 189: 메타데이터 저장기
190: 메타데이터 로더 191: 메타데이터 전송기
192: 연속 데이터 핸들러 193: 연속 데이터 뷰어
194: 연속 메타데이터 생성기 200: 외부단말
210: 전송 개시기 220: 전송 요구 수신기
230: 메타데이터 수신기 240: 카메라 AV 수신기
250: 융합형 미디어 저장기 300: 융합형 미디어 재현부
310: 융합형 미디어 파서부 312: 융합형 미디어 로더
314: 융합형 미디어 파서 320: AV 재현부
322: 플레이어 324: 플레이어 제어기
330: 동기화부 340: 실감효과 재현부
341: 메타데이터 분석기 342: 메타데이터 제어기
343: 실감효과 타이머 344: 실감효과 핸들러
345: 디바이스 매핑기 346: 명령어 생성기
350: 디바이스 제어부 360: 연속 데이터 재현부
362: 연속 실감효과 핸들러 370: 실감효과 메시지 전송부
372: 게임 이벤트 핸들러 374: 실감효과 메시지 전송기
380: 실감효과 메시지 수신부 382: 실감효과 메시지 수신기
384: 실감효과 메시지 분석기 390: 인터랙션 처리부
391: 인터랙션 감지기 392: 인터랙션 이벤트 핸들러
393: 인터랙션 이벤트 분석기 394: 인터랙션 이벤트 매핑기
395: 인터랙션 실감효과 핸들러 396: 인터랙션 액션 수행기

Claims

AV 미디어로부터 실감효과를 추출하는 MSE 처리부;
AV 미디어를 오디오 및 비디오로 분리하고, AV 미디어를 미디어 포맷을 근거로 디코딩하는 AV 처리부;
상기 분리된 오디오의 파형에 동기를 맞춰 상기 추출한 실감효과를 추가하고, 상기 추가한 실감효과의 속성을 편집하는 실감효과 처리부; 및
상기 추가되는 실감효과를 상기 AV 미디어에 추가하여 융합형 미디어를 생성하는 미디어 생성부를 포함하는 것을 특징으로 하는 융합형 미디어 서비스 플랫폼에서의 미디어 생성 장치.
청구항 1에 있어서,
상기 MSE 처리부는,
미디어 장면으로부터 추출한 오브젝트의 움직임을 추적하여 모션효과 데이터를 생성하고, 미디어 장면의 특정 영역에 대한 RGB 색상을 추출하여 조명효과 데이터를 생성하고, 상기 모션효과 데이터 및 조명효과 데이터를 실감효과로 추출하는 것을 특징으로 하는 융합형 미디어 서비스 플랫폼에서의 미디어 생성 장치.
청구항 1에 있어서,
하나 이상의 센서로부터 수신되는 센싱 데이터를 근거로 센서기반 실감효과 데이터를 생성하는 센서부를 더 포함하고,
상기 실감효과 처리부는 상기 생성된 센서기반 실감효과 데이터를 수신하여 실감효과로 추가하고, 상기 추가한 실감효과의 속성을 편집하는 것을 특징으로 하는 융합형 미디어 서비스 플랫폼에서의 미디어 생성 장치.
청구항 3에 있어서,
상기 센서부로부터의 센싱 데이터를 근거로 생성한 연속 3D 좌표값 모션효과 데이터 및 실감효과 메타데이터 스키마를 근거로 연속 실감효과 데이터를 생성하는 연속 데이터 처리부를 더 포함하고,
상기 실감효과 처리부는 상기 연속 실감효과 데이터를 수신하여 실감효과로 추가하고, 상기 추가한 실감효과의 속성을 편집하는 것을 특징으로 하는 융합형 미디어 서비스 플랫폼에서의 미디어 생성 장치.
청구항 1에 있어서,
사용자 인터랙션 이벤트를 수신하여 사용자 인터랙션 피드백 정보를 생성하는 인터렉션 처리부를 더 포함하고,
상기 실감효과 처리부는 상기 사용자 인터랙션 피드백 정보를 수신하여 실감효과로 추가하고, 상기 추가한 실감효과의 속성을 편집하는 것을 특징으로 하는 융합형 미디어 서비스 플랫폼에서의 미디어 생성 장치.
융합형 미디어를 파싱하여 AV 데이터와 실감효과 데이터를 분리하는 융합형 미디어 파서부;
상기 분리된 AV 데이터를 재현하는 AV 재현부;
상기 분리된 실감효과 데이터를 분석하여 타깃 디바이스를 매핑하여 제어명령을 생성하고, 상기 제어 명령을 근거로 디바이스를 제어하여 실감효과를 재현하는 실감효과 재현부; 및
상기 AV 재현부로부터 수신한 AV 데이터 재생시간과 상기 실감효과 재현부의 디바이스 제어 시간을 동기화하는 동기화부를 포함하는 것을 특징으로 하는 융합형 미디어 서비스 플랫폼에서의 미디어 재현 장치.
청구항 6에 있어서,
외부 연동 프로그램으로부터 실감효과 메시지를 수신하는 실감효과 메시지 수신부를 더 포함하고,
상기 실감효과 재현부는 상기 실감효과를 근거로 디바이스를 제어하여 실감효과를 재현하는 것을 특징으로 하는 융합형 미디어 서비스 플랫폼에서의 미디어 재현 장치.
청구항 6에 있어서,
수신되는 사용자 인터랙션 이벤트를 근거로 실감효과 인터랙션 메타데이터를 생성하는 인터랙션 처리부를 더 포함하고,
상기 실감효과 재현부는 상기 실감효과 인터랙션 메타데이터를 근거로 디바이스를 제어하여 실감효과를 재현하는 것을 특징으로 하는 융합형 미디어 서비스 플랫폼에서의 미디어 재현 장치.
청구항 6에 있어서,
상기 분리된 실감효과 데이터 중에서 연속 실감효과 메타데이터를 근거로 디바이스를 매핑하여 제어 명령을 생성하고, 상기 제어 명령을 근거로 디바이스를 제어하여 연속 실감효과를 재현하는 연속 데이터 재현부를 더 포함하는 것을 특징으로 하는 융합형 미디어 서비스 플랫폼에서의 미디어 재현 장치.
융합형 미디어 생성부에 의해, AV 미디어를 오디오 및 비디오로 분리하는 단계;
상기 융합형 미디어 생성부에 의해, AV 미디어로부터 실감효과를 추출하는 단계;
상기 융합형 미디어 생성부에 의해, 상기 분리된 오디오에 동기화하여 상기 추출한 실감효과를 추가하는 단계;
상기 융합형 미디어 생성부에 의해, 상기 AV 미디어의 포맷에 따라 상기 추가한 실감효과를 디코딩하는 단계; 및
상기 융합형 미디어 생성부에 의해, 상기 AV 미디어와 상기 디코딩된 실감효과를 융합한 융합형 미디어를 생성하는 단계를 포함하는 것을 특징으로 하는 융합형 미디어 서비스 플랫폼에서의 미디어 처리 방법.
청구항 10에 있어서,
상기 실감효과를 추출하는 단계는,
상기 융합형 미디어 생성부에 의해, 미디어 장면으로부터 추출한 오브젝트의 움직임을 추적하여 모션효과 데이터를 생성하는 단계;
상기 융합형 미디어 생성부에 의해, 미디어 장면의 특정 영역에 대한 RGB 색상을 추출하여 조명효과 데이터를 생성하는 단계; 및
상기 융합형 미디어 생성부에 의해, 상기 생성한 모션효과 데이터 및 조명효과 데이터를 실감효과로 추출하는 단계를 포함하는 것을 특징으로 하는 융합형 미디어 서비스 플랫폼에서의 미디어 처리 방법.
청구항 10에 있어서,
상기 실감효과를 추가하는 단계는,
상기 융합형 미디어 생성부에 의해, 센서기반 실감효과 데이터와 사용자 인터랙션 피드백 정보 및 연속 실감효과 데이터 중에 적어도 하나를 수신하여 실감효과로 추가하는 단계; 및
상기 융합형 미디어 생성부에 의해, 상기 추가한 실감효과의 속성을 편집하는 단계를 포함하는 것을 특징으로 하는 융합형 미디어 서비스 플랫폼에서의 미디어 처리 방법.
청구항 12에 있어서,
상기 실감효과를 추가하는 단계는,
상기 융합형 미디어 생성부에 의해, 하나 이상의 센서로부터 수신되는 센싱 데이터를 근거로 센서기반 실감효과 데이터를 생성하는 단계를 더 포함하는 것을 특징으로 하는 융합형 미디어 서비스 플랫폼에서의 미디어 처리 방법.
청구항 12에 있어서,
상기 실감효과를 추가하는 단계는,
상기 융합형 미디어 생성부에 의해, 상기 센싱 데이터를 근거로 연속 3D 좌표값 모션효과 데이터를 생성하는 단계; 및
상기 융합형 미디어 생성부에 의해, 상기 생성한 연속 3D 좌표값 모션효과 데이터 및 실감효과 메타데이터 스키마를 근거로 연속 실감효과 데이터를 생성하는 단계를 더 포함하는 것을 특징으로 하는 융합형 미디어 서비스 플랫폼에서의 미디어 처리 방법.
청구항 12에 있어서,
상기 실감효과를 추가하는 단계는,
상기 융합형 미디어 생성부에 의해, 사용자 인터랙션 이벤트를 수신하는 단계; 및
상기 융합형 미디어 생성부에 의해, 상기 수신한 사용자 인터랙션 이벤트를 근거로 사용자 인터랙션 피드백 정보를 생성하는 단계를 더 포함하는 것을 특징으로 하는 융합형 미디어 서비스 플랫폼에서의 미디어 처리 방법.
청구항 10에 있어서,
융합형 미디어 재현부에 의해, 융합형 미디어를 파싱하여 AV 데이터와 실감효과 데이터를 분리하는 단계;
상기 융합형 미디어 재현부에 의해, 상기 분리된 AV 데이터를 재현하는 단계;
상기 융합형 미디어 재현부에 의해, 상기 분리된 실감효과 데이터의 분석을 통해 타깃 디바이스를 매핑하여 제어명령을 생성하는 단계;
상기 융합형 미디어 재현부에 의해, 상기 재현되는 AV 데이터의 재생시간과 상기 생성된 제어명령을 통한 디바이스 제어시간을 동기화하는 단계; 및
상기 융합형 미디어 재현부에 의해, 상기 동기화된 제어 명령을 근거로 디바이스를 제어하여 실감효과를 재현하는 단계를 더 포함하는 것을 특징으로 하는 융합형 미디어 서비스 플랫폼에서의 미디어 처리 방법.
청구항 16에 있어서,
상기 융합형 미디어 재현부에 의해, 외부 연동 프로그램으로부터 실감효과 메시지를 수신하는 단계; 및
상기 융합형 미디어 재현부에 의해, 상기 수신한 실감효과 메시지를 근거로 디바이스를 제어하여 실감효과를 재현하는 단계를 더 포함하는 것을 특징으로 하는 융합형 미디어 서비스 플랫폼에서의 미디어 처리 방법.
청구항 16에 있어서,
상기 융합형 미디어 재현부에 의해, 수신되는 사용자 인터랙션 이벤트를 근거로 실감효과 인터랙션 메타데이터를 생성하는 단계; 및
상기 융합형 미디어 재현부에 의해, 상기 생성한 실감효과 인터랙션 메타데이터를 근거로 디바이스를 제어하여 실감효과를 재현하는 단계를 더 포함하는 것을 특징으로 하는 융합형 미디어 서비스 플랫폼에서의 미디어 처리 방법.
청구항 16에 있어서,
상기 융합형 미디어 재현부에 의해, 상기 분리된 실감효과 데이터 중에서 연속 실감효과 메타데이터를 근거로 디바이스를 매핑하여 제어 명령을 생성하는 단계; 및
상기 융합형 미디어 재현부에 의해, 상기 생성된 제어 명령을 근거로 디바이스를 제어하여 연속 실감효과를 재현하는 단계를 더 포함하는 것을 특징으로 하는 융합형 미디어 서비스 플랫폼에서의 미디어 처리 방법.