KR101721231B1 - 미디어 플랫폼을 이용한 mpeg-v 표준 기반의 4d 미디어 제작방법 - Google Patents

Abstract

본 발명은 다목적 영상 콘텐츠 제작 플랫폼을 통해서 영상 또는 액션카메라로 촬영된 특수영상을 재생, 편집, 저장 등의 기본적인 조작을 실시함은 물론, MPEG-V 표준을 기반으로 해당 영상의 메타데이터를 편집하여 증강객체 및 다양한 실감효과를 제작하여 영상에 삽입함으로써, 실감효과가 삽입된 영상 또는 특수영상이 국제 표준 파일에 해당하도록 제작하는 미디어 플랫폼을 이용한 MPEG-V 표준 기반의 4D 미디어 제작방법에 관한 것으로, 프로젝트를 생성하고 저장, 읽기, 목록관리, 프로젝트별 영상을 관리하는 영상 저장부(S11)와, 저장된 영상을 로딩(Loading)하여 분석하는 영상 분석부(S12)와, 로딩된 영상을 출력하여 재생, 일시정지, 정지하는 디스플레이부(S13)로 구성되는 영상조작부(S10);와, 영상의 메타데이터를 MPEG-V 표준에 기반하여 실감효과를 편집하는 속성편집부(S21)와, 실감효과 속성의 편집을 유도하는 직관적인 UI 및 사용자의 성향에 맞게 UI의 기능 및 위치를 조절하는 UI컨트롤부(S22)와, 영상의 메타데이터를 MPEG-V 표준 기반의 XML로 퍼블리싱하고, 메타데이터를 리스트별로 관리하는 XML생성부(S23);와, 영상의 메타데이터를 MPEG-V의 표준 메타데이터 파서(Parser)를 통해 로드하여 타임라인에 표시하는 메타데이터 로딩부(S24)로 구성되는 실감효과제작부(S20);로 구성됨에 따라 일반영상 또는 액션카메라로 촬영된 특수영상과 해당 영상에 연동하는 실감효과가 국제표준규격인 MPEG-V에 기반하여 제작된다.

Description

미디어 플랫폼을 이용한 MPEG-V 표준 기반의 4D 미디어 제작방법{4D media manufacture methods of MPEG-V standard base that use media platform}

본 발명은 다목적 영상 콘텐츠 제작 플랫폼을 통해서 영상 또는 액션카메라로 촬영된 특수영상을 재생, 편집, 저장 등의 기본적인 조작을 제공함은 물론, MPEG-V 표준을 기반으로 해당 영상에 실감효과 메타데이터를 삽입하고, 영상과 삽입된 실감효과 메타데이터들을 MPEG-V 표준에 맞게 재현할 수 있는 미디어 플랫폼을 이용한 MPEG-V 표준 기반의 4D 미디어 제작방법에 관한 것이다.

근래 들어 주변 환경 또는 주변 사물을 360°로 촬영할 수 있는 일명 '액션 카메라'가 등장하면서 새로운 형태의 영상들이 제공되고 있으며, 이러한 영상미에 사람들의 이목이 집중되고 있다. 더불어 영상에 바람, 향기, 진동 등의 실감효과를 삽입한 4D 영상을 제작하여 상영함에 따라 해당 영상을 접한 사람들은 다양한 형태로 오감을 자극받게 되고 이로부터 영상제작 발전의 새로운 계기가 되었다.

예컨대 대한민국 등록특허 제10-1580237호 "4D 콘텐츠 제작 서비스 제공 방법 및 시스템, 이를 위한 콘텐츠 제작 장치"가 게재되어 있으며, 사진, 텍스트 및 동영상 중 적어도 하나를 포함하는 영상 정보, 시놉시스 정보 및 영상 시간 정보를 전송하여 콘텐츠와 특수효과 코드를 수신하고, 콘텐츠의 각 재생구간에 대응되는 특수효과 코드를 선택하여 특수효과 선택 정보를 전송하는 단말 장치 및 상기 단말 장치로부터 수신한 시놉시스 정보, 영상 시간 정보에 기반하여 영상 정보를 이용하여 콘텐츠를 생성하고, 생성된 콘텐츠와 특수효과 코드를 상기 단말 장치로 전송하며, 상기 단말 장치로부터 특수효과 선택 정보를 수신한 후, 특수효과 선택 정보를 이용하여 4D 콘텐츠를 생성하는 콘텐츠 제작 장치로 구성된다.

특히, 위의 종래기술은 사용자의 입장에서 직접 콘텐츠 선정부터 제작까지 참여하여 자신만의 4D콘텐츠를 제작할 수 있다는 것을 특징으로 삼고 있다.

또 다른 일례로 대한민국 등록특허 제10-1075122호 "특수 효과 동기 장치 및 4D 상영 시스템"이 게재되어 있으며, 이 종래 기술은 영상의 상영 전에 영상 데이터의 타임 코드와 이에 부여되는 특수 효과 정보가 포함된 효과 테이블을 기저장하는 테이블 저장부와, 상영 중인 영상 데이터의 현 타임 코드와 매칭되는 효과 테이블의 타임 코드에 부여되어 있는 특수 효과 정보를 추출하는 정보 추출부가 구비된 특수 효과 동기장치 및 추출된 특수 효과 정보에 포함된 특수 효과를 구현하는 특수 효과 장치로 구성된다.

한편, 위의 대한민국 등록특허 제10-1580237호 "4D 콘텐츠 제작 서비스 제공 방법 및 시스템, 이를 위한 콘텐츠 제작 장치"가 특징이라 일컫는 자신만의 4D콘텐츠 제작과 같이, 위의 종래기술 외에 영화상영관, 극장, 4D라이더 등 4D 영상을 다루는 모든 업체가 각자의 독단적인 기술로 4D 콘텐츠를 제작하고, 이에 대응하는 실감효과 표현 장치를 제작하여 소비자들에게 제공하고 있다.

예컨대 A사 영화상영관에서 제작된 4D기반의 영화를 B사 영화상영관에서는 상영할 수가 없고, 이로 인해 A사 영화상영관에서 실감효과를 제작하여 B사 영화상영관에 제공해도 B사 영화상영관에서는 이를 재생하는 수단 또는 읽어들이는 수단 등의 차이가 있기 때문에 B사 영화상영관은 또다시 B사의 독단적인 기술력으로 실감효과를 편집하고 삽입하는 등의 번거로운 작업을 반복적으로 행하고 있다.

하지만, 이러한 궁극적인 문제점을 해결하기 위한 수단이 개발되지 않고, 현재에도 독단적인 4D 영상물 및 콘텐츠의 제작으로 동일한 영상에 각기 다른 실감효과를 제작하고 있기 때문에 이를 해결할 수 있는 수단이 매우 시급한 실정이다.

대한민국 등록특허 제10-1580237호 "4D 콘텐츠 제작 서비스 제공 방법 및 시스템, 이를 위한 콘텐츠 제작 장치" 대한민국 등록특허 제10-1075122호 "특수 효과 동기 장치 및 4D 상영 시스템"

본 발명은 위의 제반 문제점을 보다 적극적으로 해소하기 위하여 창출된 것으로, 일반적으로 촬영된 영상 또는 360° 카메라로 촬영된 액션 영상을 재생, 수정, 저장은 물론, 국제 표준 규격을 기반으로 한 실감효과 편집, 실감효과 삽입 등의 UI를 제공함으로써, 비 표준화로 일관된 4D 영상 제작의 현시점에 대한 문제점을 타계하여 다양한 장소에서 포맷의 제약 없이 간편하게 4D 콘텐츠를 사용할 수 있도록 제공하는 것이 해결하고자 하는 과제이다.

또한, 영상의 실감효과를 보다 면밀하게 수정하되, 비 전문가도 사용할 수 있도록 조작 UI를 비롯한 플랫폼의 구성요소를 극히 쉽고 간편하게 개편하는 것이 또 다른 해결과제이다.

위의 해결 과제를 달성하기 위하여 본 발명에서 제안하는 미디어 플랫폼을 이용한 MPEG-V 표준 기반의 4D 미디어 제작방법은 하기와 같다.

일반카메라 또는 액션카메라로 영상을 촬영하는 단계;와, 촬영된 영상을 MPEG-V 표준 기반의 실감효과 콘텐츠 및 재현 플랫폼에서 로딩하는 단계;와, 로딩된 영상을 재생하면서 실감효과의 삽입이 요구되는 구간의 모션, 보이스, 주변환경에 대한 실감효과 메타데이터를 MPEG-V 표준 기반으로 추출하고, 해당 구간의 음성, 제스처, 터치에 대한 인터렉션을 추가하는 단계;와, MPEG-V의 표준 기반으로 구성되고 사용자의 성향에 맞게 기능 및 위치가 조절되는 UI(User Interface)를 통해 General Info와, Effect Property와, Effect Variable를 편집하는 단계;와, 영상의 메타데이터를 MPEG-V 표준 기반의 XML로 변환하여 퍼블리싱하고, XML로 변환된 메타데이터를 리스트별로 관리하는 단계;와, 영상의 메타데이터를 MPEG-V의 표준 메타데이터 파서(Parser)를 통해 로드하여 타임라인에 표시하는 단계;를 순차 거쳐 MPEG-V의 표준 기반으로 제작된 실감효과를 영상에 삽입하여 표준화된 4D 영상을 제작하는 것에 특징이 있다.

이를 위한 본 발명에서는 프로젝트를 생성하고 저장, 읽기, 목록관리, 프로젝트별 영상을 관리하는 영상 저장부(S11)와, 저장된 영상을 로딩(Loading)하여 분석하는 영상 분석부(S12)와, 로딩된 영상을 출력하여 재생, 일시정지, 정지하는 디스플레이부(S13)로 구성되는 영상조작부(S10);와, 영상의 메타데이터를 MPEG-V 표준에 기반하여 실감효과를 편집하는 속성편집부(S21)와, 실감효과 속성의 편집을 유도하는 직관적인 UI 및 사용자의 성향에 맞게 UI의 기능 및 위치를 조절하는 UI컨트롤부(S22)와, 영상의 메타데이터를 MPEG-V 표준 기반의 XML로 퍼블리싱하고, 메타데이터를 리스트별로 관리하는 XML생성부(S23);와, 영상의 메타데이터를 MPEG-V의 표준 메타데이터 파서(Parser)를 통해 로드하여 타임라인에 표시하는 메타데이터 로딩부(S24)로 구성되는 실감효과제작부(S20);로 구성됨에 따라 일반영상 또는 액션카메라로 촬영된 특수영상과 해당 영상에 연동하는 실감효과가 국제표준규격인 MPEG-V에 기반하여 제작되는 것에 특징이 있으며, 더불어 위 속성편집부(S21)는 Property Grid를 통해 영상의 메타데이터를 MPEG-V의 표준에 맞게 속성이 편집되는 것을 특징으로 한다.

삭제

또한, 위 실감효과제작부(S20)는 실감효과를 전송하는 모듈이 구비되되, 위 모듈을 영상조작부(S10)에 연동하여 제작이 완료된 실감효과를 실감효과 재현서버로 전송하는 것에 특징이 있다.

상술한 바와 같은 구성으로 이루어지는 본 발명에 의하면, 일반 영상 또는 360° 카메라로 촬영된 영상을 국제 표준 규격인 MPEG-V의 기반으로 제공하는 플랫폼에서 제작이 실시됨에 따라 실감효과가 삽입된 해당 영상을 제작자 이외에 다양한 장소에서 영상의 포맷에 구애받지 않고 사용할 수 있는 효과가 있다.

더불어 영상에 삽입되는 실감효과를 국제 표준 규격에 맞춰 제작함으로써, 타 장소에서 별도의 실감효과를 제작할 필요가 없기 때문에 제작비용이 감소하여 경제발전에 이바지할 수 있는 효과가 있다.

또한, 영상에 바람, 물, 진동 등 오감을 자극할 수 있는 실감효과를 비 전문가인 초보자가 손쉽게 제작할 수 있음은 물론, 단순한 동작 인식까지 삽입할 수 있도록 구성함으로써, 더욱 진보된 오감체험을 기반으로 하는 감성 기술에 대한 영상 제작을 실현할 수 있는 효과가 있다.

도 1은 본 발명의 바람직한 실시 예에 의한 영상 콘텐츠 제작 플랫폼의 구성도.
도 2는 메타데이터의 속성을 편집하기 위한 구성도.
도 3은 메타데이터의 세분화된 속성을 편집하기 위한 UI를 나타낸 구성도.
도 4는 영상 기반 실감효과를 퍼블리싱하기 위한 UI를 나타낸 구성도.
도 5는 영상별 실감효과 메타데이터의 관리기능을 나타낸 구성도.

이하, 첨부도면을 참고하여 본 발명의 구성 및 작용, 그로 인해 파생되는 효과에 대해 일괄적으로 기술하면 다음과 같다.

또한, 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예를 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예는 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그리고, 명세서 전문에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.

본 발명은 다목적 영상 콘텐츠 제작 플랫폼을 통해서 영상 또는 액션카메라로 촬영된 특수영상을 재생, 편집, 저장 등의 기본적인 조작을 제공함은 물론, MPEG-V 표준을 기반으로 해당 영상의 메타데이터를 편집하여 증강객체 및 다양한 실감효과를 제작하여 영상에 삽입함으로써, 실감효과가 삽입된 영상 또는 특수영상이 국제 표준에 따라 동작하도록 제작하기 위한 미디어 플랫폼을 이용한 MPEG-V 표준 기반의 4D 미디어 제작방법에 관한 것임을 주지한다.

본 발명을 설명하기에 앞서 MPEG-V에 대해 간략하게 설명하자면, MPEG-V(Moving Picture Experts Group-Video)란 가상세계와 현실세계 간의 소통을 위한 인터페이스의 규격으로써, MPEG-V의 주된 특징인 Rose 기술은 팬, 발향기, 진동의자 등과 같이 다양한 디바이스를 해당 영상과 연동하여 영상이 표현하는 바람, 향기, 진동 등의 실감 효과를 적극적으로 제공함으로써 시청자로 하여금 해당 영상에 대해 몰입감을 더해준다.

하지만, 현재 실감효과 또는 증강객체 등이 삽입된 영상이나 이를 제어하는 제어장치들 모두 비 표준화로 형성되어 있기 때문에 해당 영상을 상영하는 업체들은 각각의 독단적인 방법으로 4D 영상을 제작하고 이를 제어한다. 때문에 A사에서 제작된 영상이나 실감효과를 B사 또는 C사에서는 작동이 불가하며, 이를 해결하기 위해서는 각각의 업체에서 독단적인 기술력으로 또다시 새로운 영상과 실감효과를 제작하여야만 한다.

이러한 문제점을 극복하기 위하여 본 발명에서는 MPEG-V 표준을 기반으로 하는 플랫폼을 제공하여 실감효과가 삽입된 영상을 MPEG-V 표준 규격에 따라 제작되는 것을 유도함은 물론, 극히 간편한 조작법을 제공하여 남녀노소 비 전문가도 부담없이 영상과 실감효과를 제작하도록 구성하였다.

도 1은 본 발명의 바람직한 실시 예에 의한 영상 콘텐츠 제작 플랫폼의 구성도이고, 도 2는 메타데이터의 속성을 편집하기 위한 구성도이고, 도 3은 메타데이터의 세분화된 속성을 편집하기 위한 UI를 나타낸 구성도이고, 도 4는 영상 기반 실감효과를 퍼블리싱하기 위한 UI를 나타낸 구성도이고, 도 5는 영상별 실감효과 메타데이터의 관리기능을 나타낸 구성도이다.

도 1에 도시된 바와 같이 본 발명이 제시하는 MPEG-V 표준 기반의 360° 영상 콘텐츠 제작 및 재현 플랫폼은 크게 영상의 출력과 재생에 관한 영상플랫폼의 기본적인 기능을 갖춘 영상조작부(S10);와, MPEG-V 국제 표준 규격에 따라 해당 영상의 메타데이터를 편집하여 실감 객체를 제작하고 영상에 삽입하는 실감효과제작부(S20);로 구성된다.

위 영상조작부(S10)는 프로젝트를 생성하고 저장, 읽기, 목록관리, 프로젝트별 영상을 관리하는 영상 저장부(S11)와, 저장된 영상을 로딩(Loading)하여 분석하는 영상 분석부(S12)와, 로딩된 영상을 출력하여 재생, 일시정지, 정지하는 디스플레이부(S13)를 포함한다.

위 영상 저장부(S11)는 프로젝트를 생성, 프로젝트의 저장 및 불러오기, 프로젝트의 목록관리 기능과, 프로젝트별 영상 관리, 타임라인의 객체관리 등의 기능으로 크게 두 가지의 기능을 실시한다. 다시 말해, 프로젝트를 추상화하여 실감 객체 제작에 사용된 영상, 실감 Effect, 속성, 리소스 등의 정보 등을 일괄적으로 관리하고, 더불어 프로젝트 파일의 읽기에 대한 명령어를 실행하면 최근 사용된 프로젝트의 히스토리를 제공한다.

또한, 프로젝트별 영상 관리기능은 프로젝트에 포함된 다수 개의 영상 파일 및 기본 정보를 관리하고, 타임라인 객체관리기능은 프로젝트 정보 및 영상 정보를 타임라인 객체를 통해 관리한다.

위 영상 분석부(S12)는 제작이 완료된 영상과 제작하고자 하는 영상의 속성 정보를 분석한 후, 플랫폼에 디스플레이함으로써 사용자로 하여금 별다른 조작 없이 해당 영상의 정보를 제공한다.

더불어, 해당 영상의 정보를 기반으로 타임라인이 생성되고, 위 타임라인으로부터 영상의 총재생시간과 현재시간 등의 정보를 표시하는 영상정보표시기능과, 비디오 썸네일, 오디오 파형 지원기능과, 타임 스케일을 통한 타임라인 Zoom 기능과, 영상 재생시간을 이동하기 위한 타임라인 시간 바 지원 기능 등의 다양한 역할을 수행하게 된다.

한편, 위 영상정보표시기능은 영상의 총재생시간 및 코덱의 정보 표시와, 영상의 편집 시간 및 영상 Effect의 편집 시간을 표시하고, 현재시간을 나타내는 타임 바를 지원한다.

위 비디오 썸네일 기능은 비디오의 썸네일을 1초, 10초, 30초, 1분 간격으로 표시하며, 지정된 Time Scale에 따라 유동적으로 선택된다. 더불어 비디오 썸네일은 아래 서술할 디스플레이부(S13)의 재생 바와 연동하여 사용자가 재생 바의 어느 한 구간을 선택하면 해당 구간의 썸네일이 제공된다. 또한, 오디오 파형 기능은 영상의 오디오를 자동 분석하여 파형으로 표시하고, 해당 파형을 사용자가 선택적으로 편집할 수 있게 구성하였다.

위 타임라인 Zoom기능은 Time Scale을 선택하기 위한 인터페이스가 제공되고, Time Scale은 비디오 썸네일과 마찬가지로 1초, 10초, 30초, 1분 간격으로 제공되며, Time Scale의 선택에 따라 타임라인이 표시된다.

위 타임라인 시간 바 지원 기능은 아래 서술할 디스플레이부(S13)의 재생 바 또는 해당 영상의 재생정보와 연동하여 영상의 재생 시간에 따라 타임라인의 시간 바가 이동되고, 반대로 타임라인 시간 바의 조정에 따라 영상의 재생 위치가 변경된다.

위 디스플레이부(S13)는 분석된 영상를 로딩하여 디스플레이에 출력하고, 영상가 출력된 디스플레이의 상단 또는 하단에 영상의 재생, 정지, 일시정지, 영상이 재생된 시간 또는 지점을 표시하는 재생 바(Bar)가 구비됨은 물론, 디스플레이의 상단에 구비된 확장 메뉴를 통해 영상의 재생, 정지, 일시정지가 더 구비되어 사용자로 하여금 다양한 방식으로 영상을 조작할 수 있도록 제공한다.

즉, 영상조작부(S10)는 프로젝트를 생성하고 저장, 읽기, 목록관리, 프로젝트별 영상관리 및 타임라인의 객체 관리로 구성된 영상 저장부(S11)와, 영상의 타임라인 생성과 썸네일, 오디오 파형, 재생시간을 수정하는 타임라인 시간 바(Bar) 등으로 구성되는 영상 분석부(S12)와, 영상를 출력하여 디스플레이하고, 재생, 정지, 일시정지 등 영상를 재생하는 기본적인 기능과 영상 분석부의 타임라인과 연동하여 재생 위치를 수정하고 파악하는 디스플레이부(S13)를 포함하여 구성함으로써, 영상 또는 액션카메라로 촬영된 특수영상을 재생하고 각각의 프로젝트별로 관리하는 역할을 수행한다.

실감효과제작부(S20)는 영상의 메타데이터를 MPEG-V 표준에 기반하여 실감효과를 편집하는 속성편집부(S21)와, 실감효과 속성의 편집을 유도하는 직관적인 UI(User Interface) 및 사용자의 성향에 맞게 UI의 기능 및 위치를 조절하는 UI컨트롤부(S22)와, 영상의 메타데이터를 MPEG-V 표준 기반의 XML로 변환하여 퍼블리싱하고, XML로 변환된 메타데이터를 리스트별로 관리하는 XML생성부(S23);와, 영상의 메타데이터를 MPEG-V의 표준 메타데이터 파서(Parser)를 통해 로드하여 타임라인에 표시하는 메타데이터 로딩부(S24)를 순차 거침으로써 해당 영상에 대응하는 실감효과 파일을 제작한다.

도 2와 같이 위 속성편집부(S21)는 출력된 영상을 기반으로 해당 영상의 메타데이터를 MPEG-V 표준에 기반하여 편집을 유도한다. 위 속성편집부는 General Info와, Effect Property와, Effect Variable의 편집 UI를 제공함으로써 해당 영상의 메타데이터를 보다 정확하고 면밀하게 편집할 수 있도록 하였다. 특히, 위 Effect Property 편집기능은 Property Grid를 통해 속성 편집이 가능토록 구성하였다.

한편, 본 발명의 바람직한 실시 예에 따른 속성편집부(S21)를 통해 영상의 메타데이터를 편집하는 과정을 간략하게 설명한다면, 도 3과 같이 메타데이터의 Effect(Wind, Fragrance, Vibration 등)를 선택한 후, 해당 Effect가 실시될 방향성과 세기 등을 지정한다. 그리고 선택된 Effect에서 General Info와, Effect Property와, Effect Variable를 각각 편집하는데 위 General Info는 Version과 Creator, Creator Time을 설정하고, Effect Property는 Effect ID와 Location을 입력한다. 또한, Effect Variable은 Type과 SEFragment ID를 입력하고, Start Time과 Duration, Active, Intensity Value, Color를 설정하는 것으로 극히 간단하게 조작할 수 있으나, 이는 일 실시 예에 관한 것일 뿐 이에 한정하지 않으며, 더욱 다양한 제어기능과 설정 값을 입력할 수 있음은 당연하다 할 것이다.

위 UI컨트롤부(S22)는 영상의 메타데이터를 편집하여 실감효과를 생성, 수정, 삽입 등의 작업을 수행할 수 있도록 장소와 기능을 제공한다. 위 속성편집부(S21)에 기재되어 있듯이, 영상의 메타데이터를 편집하기 위해선 크게 General Info와, Effect Property와, Effect Variable의 편집 UI가 필요하며, 위 편집 UI를 사용자가 사용하기 편한 위치로 이동시켜 사용할 수 있게 하였다.

위 XML생성부(S23)는 영상의 메타데이터를 MPEG-V 표준 기반의 XML로 변환하여 퍼블리싱하고, XML로 변환된 메타데이터를 리스트별로 관리하는 역할을 수행한다. 예컨대 XML(eXtensible Markup Language)이란 국제 표준 규격에 제정된 메타언어로써, 웹 문서에 쉽게 응용하기 위해 SGML(standard generalized markup language)의 특정 부분을 발췌 요약해 배우기 쉽고, 애플리케이션에서도 쉽게 구현될 수 있으며, 특히 문서의 내용에 관련된 태그를 사용자가 직접 정의하여 그 태그를 다른 사람들이 사용할 수 있는 것이 특징이다. 더불어, XML은 웹에서 구조화된 문서를 전송 가능하도록 설계되었기 때문에 문서를 구성하는 각 요소들의 독립성을 보장함으로써 문서의 호환성, 내용의 독립성, 요소 변경의 용이성 등의 특성을 제공한다.

위와 같이, 본 발명에서는 영상의 메타데이터를 MPEG-V 표준 기반의 XML로 생성하거나 저장하는 모듈을 제공하고, 제작 중인 실감효과 리스트를 일괄적으로 관리하며, 실감효과 편집 결과를 XML로 변환하여 나타내거나 저장한다. 예컨대 영상 기반 실감효과 퍼블리싱에 있어서, 영상의 포맷이 MP4일 경우, 해당 영상에 포함되어 퍼블리싱하는 기능과, MP4 외의 포맷일 경우 별도의 XML로 퍼블리싱하는 기능으로 구분된다.

한편, 영상의 포맷이 MP4일 경우와 MP4 외의 경우에 따라 실감효과의 생성과정이 달라질 수 있다. 다시 말해, 영상의 포맷이 MP4일 경우 MP4파일의 메타데이터를 분석하는 모듈이 제공되고, 이로부터 실감효과는 영상에 포함되어 퍼블리싱이 이루어지며, 실감효과의 편집 결과를 XML로 변환하여 제공한다. 위 제공된 실감효과 XML을 MP4 컨테이너에 퍼블리싱하는 반면, MP4 외의 경우 별도의 XML로 퍼블리싱한다.

도 4에 도시된 바와 같이, 본 발명의 바람직한 실시 예에 따른 퍼블리싱 기능을 살펴보면, 실감효과 메타데이터인 NeoDate에서 New NeoDate와 Open NeoDate를 선택 또는 설정할 수 있고, Reference MP4를 추가 또는 제거하거나 SEM-MP4 file support for General XML metadata, SEM-MP4 file support for Timed XML metadata 등의 Output을 선택할 수 있으며, 더불어 Other Video Option을 지정할 수 있다.

위 메타데이터 로딩부(S24)는 영상의 메타데이터를 MPEG-V의 표준 메타데이터 파서(Parser)를 통해 로드하여 타임라인에 표시하는 역할을 한다. 다시 말해 MPEG-V의 표준 메타데이터를 파서(Parser)하여 메타데이터 파일을 제작도구의 실감 객체 자료로 로딩하고, 타임라인과 연동해서 MPEG-V 표준 메타데이터 파서를 통해 로드된 메타데이터를 타임라인에 표시한다.

한편, 프로젝트에 다중 영상이 포함될 경우, 영상별로 실감효과 메타데이터의 편집을 위해 다중 영상 중 Focus된 영상에 대해 재생하고, 각각의 영상별로 Thumbnail 이미지를 표시함으로써 다중 영상의 실감효과를 개별로 표현하거나 편집할 수 있도록 기능을 추가하였으며, 실감 재현 서버의 목록관리와 재현 서버로 실감 효과를 전송 또는 연동하기 위한 기능으로 프로토콜을 통해 실감효과를 전송하는 모듈을 제공하고, 실감효과를 재현 서버에 등록, 삭제, 조회, 선택할 수 있는 UI를 제공하는 역할을 수행함에 따라 제작된 실감효과 목록을 서버별로 관리하고 각각의 해당 영상에 전송 또는 연동하게 된다.

위의 기능을 갖는 본 발명의 4D 미디어 재현 플랫폼은 다음과 같은 과정으로 4D 입체영상이 제작된다.
먼저, 일반카메라 또는 액션카메라로 영상을 촬영하는 단계와, 촬영된 영상을 MPEG-V 표준 기반의 실감효과 콘텐츠 및 재현 플랫폼에서 로딩하는 단계와, 로딩된 영상을 재생하면서 실감효과의 삽입이 요구되는 구간의 모션, 보이스, 주변환경에 대한 실감효과 메타데이터를 MPEG-V 표준 기반으로 추출하고, 해당 구간의 음성, 제스처, 터치에 대한 인터렉션을 추가하는 단계와, MPEG-V의 표준 기반으로 구성되고 사용자의 성향에 맞게 기능 및 위치가 조절되는 UI(User Interface)를 통해 General Info와, Effect Property와, Effect Variable를 편집하는 단계와, 영상의 메타데이터를 MPEG-V 표준 기반의 XML로 변환하여 퍼블리싱하고, XML로 변환된 메타데이터를 리스트별로 관리하는 단계와, 영상의 메타데이터를 MPEG-V의 표준 메타데이터 파서(Parser)를 통해 로드하여 타임라인에 표시하는 단계를 순차 거쳐 표준화된 실감객체 미디어를 제작할 수 있다.

예컨대 위의 기능들을 갖는 본 발명의 MPEG-V 표준 기반의 360° 영상 콘텐츠 제작 및 재현 플랫폼에 의하면, 360° 카메라로 촬영된 영상에 바람, 물, 진동 등 오감을 자극할 수 있는 실감효과를 초보자가 손쉽게 삽입하여 편집할 수 있음은 물론, 단순한 동작 인식까지 삽입할 수 있도록 구현됨으로써, 진보된 오감체험을 기반으로 하는 감성 기술에 대한 영상 제작을 실현할 수 있다. 더불어 영상이 국제 표준 규격인 MPEG-V에 기반하여 실감효과가 제작됨으로써, 제작사뿐만 아니라 다양한 장소에서 해당 영상을 사용할 수 있다.

이상에서 설명한 본 발명은, 도면에 도시된 일실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 명확히 하여야 할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

S10. 영상조작부 S11. 영상 저장부
S12. 영상 분석부 S13. 디스플레이부
S20. 실감효과제작부 S21. 속성편집부
S22. UI컨트롤부 S23. XML생성부
S24. 메타데이터 로딩부

Claims (3)

1. 일반카메라 또는 액션카메라로 영상을 촬영하는 단계;
   촬영된 영상을 MPEG-V 표준 기반의 실감효과 콘텐츠 및 재현 플랫폼에서 로딩하는 단계;
   로딩된 영상을 재생하면서 실감효과의 삽입이 요구되는 구간의 모션, 보이스, 주변환경에 대한 실감효과 메타데이터를 MPEG-V 표준 기반으로 추출하고, 해당 구간의 음성, 제스처, 터치에 대한 인터렉션을 추가하는 단계;
   MPEG-V의 표준 기반으로 구성되고 사용자의 성향에 맞게 기능 및 위치가 조절되는 UI(User Interface)를 통해 General Info와, Effect Property와, Effect Variable를 편집하는 단계;
   영상의 메타데이터를 MPEG-V 표준 기반의 XML로 변환하여 퍼블리싱하고, XML로 변환된 메타데이터를 리스트별로 관리하는 단계;
   영상의 메타데이터를 MPEG-V의 표준 메타데이터 파서(Parser)를 통해 로드하여 타임라인에 표시하는 단계;를 순차 거쳐 MPEG-V의 표준 기반으로 제작된 실감효과를 영상에 삽입하여 표준화된 4D 영상을 제작하는 것에 특징이 있는 미디어 플랫폼을 이용한 MPEG-V 표준 기반의 4D 미디어 제작방법.
2. 삭제
3. 삭제

Images