KR101493884B1 - 4ｄ 방송 서비스를 위한 방송 네트워크와 홈 네트워크의 제어 방법 및 장치 - Google Patents

4ｄ 방송 서비스를 위한 방송 네트워크와 홈 네트워크의 제어 방법 및 장치 Download PDF

Info

Publication number
KR101493884B1
KR101493884B1 KR20100115687A KR20100115687A KR101493884B1 KR 101493884 B1 KR101493884 B1 KR 101493884B1 KR 20100115687 A KR20100115687 A KR 20100115687A KR 20100115687 A KR20100115687 A KR 20100115687A KR 101493884 B1 KR101493884 B1 KR 101493884B1
Authority
KR
South Korea
Prior art keywords
data
mpeg
real
time
format
Prior art date
Application number
KR20100115687A
Other languages
English (en)
Other versions
KR20120054352A (ko
Inventor
윤재관
장종현
문경덕
박광로
김채규
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR20100115687A priority Critical patent/KR101493884B1/ko
Priority to US13/299,719 priority patent/US20120127268A1/en
Publication of KR20120054352A publication Critical patent/KR20120054352A/ko
Application granted granted Critical
Publication of KR101493884B1 publication Critical patent/KR101493884B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/64—Addressing
    • H04N21/6405—Multicasting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Library & Information Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 명세서는, 4D 방송 서비스를 위한 방송 네트워크와 홈 네트워크의 제어 방법 및 장치를 개시한다. 본 발명의 일실시예에 의한 4D (four-dimension) 방송 서비스를 위한 방송 네트워크의 제어 방법은, 멀티플 카메라에 의해 촬영된 특정 장소의 이미지 데이터를 인코딩 하는 단계와, 상기 촬영이 이루어 지는 동안 상기 특정 장소의 상태 정보를 센싱하는 적어도 하나 이상의 센서로부터 실감 효과 데이터를 수신하는 단계와, 상기 이미지 데이터에 대한 인코딩 시간을 고려하여, 상기 실감 효과 데이터와 상기 이미지 데이터의 동기화를 수행하는 단계와, 상기 수행된 동기화에 기초한 실감 효과 데이터 및 이미지 데이터를 포함하는 TS (transport stream)를 생성하는 단계와, 그리고 상기 생성된 TS 를 홈 네트워크로 전송하는 단계를 포함한다.

Description

4Ｄ 방송 서비스를 위한 방송 네트워크와 홈 네트워크의 제어 방법 및 장치{METHOD FOR CONTROLLING DATA RELATED 4D BROADCAST SERVICE IN NETWORK AND APPARATUS FOR CONTROLLING THE SAME}
본 발명은 4D(four-dimension) 방송 기술에 대한 것이다. 보다 상세하게는 본 발명의 일실시예는 4D 방송 서비스를 위한 방송 네트워크와 홈 네트워크의 제어 방법 및 장치에 관한 것이다.
최근 기술 발전에 의하면, 3D 컨텐츠를 방송 수신기에서 구현하는 솔루션들이 개발되고 있다. 3D 컨텐츠를 제공하는 방법의 대표적인 예로는, 안경 방식과 무안경 방식이 있다. 나아가, 무안경식 3D TV를 구현하기 위한 보다 구체적인 방법으로는, 패러랙스 배리어(Parallax Barrier) 기술과 렌티큘러(Lenticular) 기술이 논의되고 있다.
패러랙스 배리어는 디스플레이 장치에 시선에 따라 각 채널이 보이지 않도록 수많은 막대를 세워두는 것이다. 즉 일정 시점에서 오른쪽 눈에 왼쪽 영상을 가려주고, 왼쪽 눈에 오른쪽 영상을 가려주는 방식이다.
한편, 랜티큘러는 입체 그림엽서를 이용하는 것인데, 상기 입체 그림엽서에는 울퉁불퉁한 투명 막이 입혀져 있으며, 디스플레이에 작은 렌즈를 배열시켜서 좌우 화상을 굴절시켜 각각의 화상을 보내는 방식이다.
그러나, 현재까지 논의된 3D 기술은 영상의 입체감 제고에만 주로 포커싱되어 왔으며, 3D 영상과 관련된 실감 효과 데이터를 처리하는 연구 및 솔루션 개발이 미비한 상태이다.
본 발명의 일실시예에 의하면, 전술한 종래 기술의 문제점을 해결하고 3D 영상과 관련된 실감 효과 데이터를 보다 정확하고 신속하게 처리할 수 있는 네트워크의 프로토콜 및 디바이스를 제공하고자 한다.
본 발명의 일실시예에 의한 4D (four-dimension) 방송 서비스를 위한 방송 네트워크의 제어 방법은, 멀티플 카메라에 의해 촬영된 특정 장소의 이미지 데이터를 인코딩 하는 단계와, 상기 촬영이 이루어 지는 동안 상기 특정 장소의 상태 정보를 센싱하는 적어도 하나 이상의 센서로부터 실감 효과 데이터를 수신하는 단계와, 상기 이미지 데이터에 대한 인코딩 시간을 고려하여, 상기 실감 효과 데이터와 상기 이미지 데이터의 동기화를 수행하는 단계와, 상기 수행된 동기화에 기초한 실감 효과 데이터 및 이미지 데이터를 포함하는 TS (transport stream)를 생성하는 단계와, 그리고 상기 생성된 TS 를 홈 네트워크로 전송하는 단계를 포함한다.
또한, 본 발명의 일실시예에 의한 4D 방송 서비스를 위한 홈 네트워크의 제어 방법은, 멀티플 카메라에 의해 촬영된 특정 장소의 이미지 데이터 및 상기 특정 장소의 상태 정보를 센싱하는 적어도 하나 이상의 센서로부터 수신된 실감 효과 데이터를 포함하는 TS 를 수신하는 단계와, 상기 수신된 TS 중 이미지 데이터에 대응하는 제1영역을, 이미지 프로세서로 전송하는 단계와, 상기 수신된 TS 중 실감 효과 데이터에 대응하는 제2영역을, 실감 효과 데이터 분석 모듈로 전송하는 단계와, 그리고 상기 실감 효과 데이터 분석 모듈에 의해 분석된 실감 효과 데이터에 따른 커맨드 시그널을, 상기 홈네트워크의 해당 디바이스로 전송하는 단계를 포함한다.
나아가, 본 발명의 일실시예에 의한 방송 네트워크의 방송 서버는, 멀티플 카메라에 의해 촬영된 특정 장소의 이미지 데이터를 인코딩 하는 인코더로부터 인코딩된 이미지 데이터를 수신하는 제1수신 모듈과, 상기 촬영이 이루어 지는 동안 상기 특정 장소의 상태 정보를 센싱하는 적어도 하나 이상의 센서로부터 실감 효과 데이터를 수신하는 제2수신 모듈과, 상기 이미지 데이터에 대한 인코딩 시간을 고려하여, 상기 실감 효과 데이터와 상기 이미지 데이터의 동기화를 수행하는 동기화 모듈과, 상기 수행된 동기화에 기초한 실감 효과 데이터 및 이미지 데이터를 포함하는 TS 를 생성하는 TS 생성 모듈과, 그리고 상기 생성된 TS 를 홈 네트워크로 전송하는 전송 모듈을 포함한다.
그리고, 본 발명의 일실시예에 의한 홈네트워크의 컨트롤 디바이스는, 멀티플 카메라에 의해 촬영된 특정 장소의 이미지 데이터 및 상기 특정 장소의 상태 정보를 센싱하는 적어도 하나 이상의 센서로부터 수신된 실감 효과 데이터를 포함하는 TS 를 수신하는 수신 모듈과, 상기 수신된 TS 중 이미지 데이터에 대응하는 제1영역을 처리하는 이미지 프로세서와, 상기 수신된 TS 중 실감 효과 데이터에 대응하는 제2영역을 처리하는 실감 효과 데이터 분석 모듈과, 그리고 상기 실감 효과 데이터 분석 모듈에 의해 분석된 실감 효과 데이터에 따른 커맨드 시그널을, 상기 홈네트워크의 해당 디바이스로 전송하는 전송 모듈을 포함한다.
본 발명의 일실시예에 의하면, 동영상, 오디오 및 텍스트로 이루어진 기존의 방송용 미디어에 실감 서비스 등의 응용을 위해 필요한 실감 효과 정보 등을 추가함으로써 기존의 방송용 미디어가 제공하지 못하는 실감 효과를 재현할 수 있다.
또한, 본 발명의 다른 일실시예에 의하면, 실제 영상을 촬영하던 당시의 정보와 연계하여 3D 영상 관련 실감 효과 정보를 생성함으로써, 보다 리얼리티가 향상된 서비스가 가능하다.
나아가, 본 발명의 또 다른 일실시예에 의하면, 사람의 움직임 등과 같이 단시간에 많은 데이터가 생성되는 실감 효과와 관련하여, 어그레게이터(Aggregator)를 이용하여 실시간으로 생성함으로써, 하나의 씨퀀스(Sequence)로 관련 데이터를 처리할 수 있는 장점이 있다.
도 1은 본 발명의 일실시예에 의한 4D 방송 서비스를 위한 방송 네트워크와 홈 네트워크를 전체적으로 도시한 도면이다.
도 2는 도 1에 도시된 네트워크의 구성요소를 보다 상세히 도시한 도면이다.
도 3은 본 발명의 일실시예에 의한 실감 효과(예컨대, 온도 효과)와 관련된 메타데이터를 도시한 도면이다.
도 4는 본 발명의 일실시예에 의한 4D 방송 서비스를 위한 데이터를 처리하는 제1프로세스를 도시한 도면이다.
도 5는 본 발명의 일실시예에 의한 4D 방송 서비스를 위한 데이터를 처리하는 제2프로세스를 도시한 도면이다.
도 6은 본 발명의 일실시예에 의한 4D 방송 서비스를 위한 데이터를 처리하는 제3프로세스를 도시한 도면이다.
도 7 및 도 8은 본 발명의 일실시예에 의한 실감 효과와 관련된 메타데이터를 보다 상세히 도시한 도면이다.
도 9는 본 발명의 일실시예에 의한 4D 방송 서비스를 위한 방송 서버 및 컨트롤 디바이스를 보다 상세히 도시한 블록도 이다.
도 10은 도 9에 도시된 컨트롤 디바이스가 홈네트워크로 연결된 제1디바이스를 제어하는 과정을 설명하는 도면이다.
도 11은 도 9에 도시된 컨트롤 디바이스가 홈네트워크로 연결된 제2디바이스를 제어하는 과정을 설명하는 도면이다.
도 12는 도 9에 도시된 컨트롤 디바이스가 홈네트워크로 연결된 제3디바이스를 제어하는 과정을 설명하는 도면이다.
도 13은 도 9에 도시된 컨트롤 디바이스가 홈네트워크로 연결된 제4디바이스를 제어하는 과정을 설명하는 도면이다.
도 14는 본 발명의 일실시예에 의한 4D 방송 서비스를 위한 제어 방법을 전체적으로 도시한 플로우 차트이다.
그리고, 도 15는 본 발명의 다른 일실시예에 따라, 도 14에 도시된 S1410 단계를 보다 상세히 도시한 도면이다.
이하의 실시예들은 본 발명의 구성요소들과 특징들을 소정 형태로 결합한 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려될 수 있다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성할 수도 있다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다.
본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.
명세서 전체에서, 어떤 부분이 다른 부분과 “연결”되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
또한, 본 명세서에서 기재한 모듈(module)이란 용어는 특정한 기능이나 동작을 처리하는 하나의 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현할 수 있다.
이하의 설명에서 사용되는 특정(特定) 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일실시예에 의한 4D 방송 서비스를 위한 방송 네트워크와 홈 네트워크를 전체적으로 도시한 도면이다. 이하, 도 1을 참조하여, 본 발명의 일실시예에 의한 4D 방송 서비스를 위한 방송 네트워크와 홈 네트워크를 전체적으로 설명하면 다음과 같다.
본 발명의 일실시예에 의하면, 3D 카메라를 이용하여 실제 영화, 드라마 등의 방송을 녹화하는 상황에서 영상을 획득하는 곳에 설치된(혹은 이동형) 센서를 이용하여 자동으로 환경 정보, 모션 정보, 실감 정보를 획득하고 이를 실시간으로 영상에 추가한다. 반면, 3D 이미지를 획득하는 과정과 상기 3D 이미지를 획득하는 장소의 관련 실감 효과 데이터를 완전히 분리하여 처리한다면, 사용자는 3D 이미지가 촬영된 장소의 상황 내지는 느낌을 완벽하게 전달받을 수 없는 한계가 있다. 따라서, 이와 같은 문제점을 해결하기 위하여, 3D 카메라로부터 입력되는 영상을 방송용 미디어 포맷으로 변환하는 기술, 실감 효과를 수집하기 위한 어그레게이터(Aggregator) 기술, 영상과 실감 효과를 방송용 포맷인 MPEG-2 TS로 수납하기 위한 기술, 실감 효과를 영상에 맞게 동기화시켜서 송출하는 기술, 홈서버에서 영상과 실감 효과를 추출하는 기술, 실감 효과를 시뮬레이터에서 검증하는 기술, 그리고 실제 실감 디바이스를 이용하여 재현하는 기술 등을 이하 보다 상세히 설명하도록 하겠다.
도 1에 도시된 바와 같이, 적어도 2개 이상의 멀티플 카메라(100)를 이용하여 3D 영상과 관련된 오디오/비디오 데이터가 획득된다. 또한, NVS(Network Video Server, 101)를 이용하여 상기 획득된 오디오/비디오 데이터에 대한 인코딩 작업이 수행된다. 상기 NVS(101)는, 예를 들어 콤포넌트 케이블을 이용하여 SD급 영상을 입력받을 수도 있고, 또는 HDMI 케이블을 이용하여 HD급 영상을 입력 받을 수도 있다. 상기 NVS(101)는 인코딩된 영상을 유선 또는 무선 네트워크를 이용하여 방송 서버(103)로 전달한다.
또한, 상기 멀티플 카메라(100)에 의한 촬영이 진행되는 동안, 실감 효과 데이터를 수집하기 위한 어그레게이터(Aggregator, 102)는 주변 정보를 수집하고 이를 XML 형태로 전환하여 상기 방송 서버(103)로 전송한다. 다만, 상기 주변 정보는, 예를 들어 온도, 조도, 습도, 가속도, 각속도, 가스, 풍속, 위치 정보를 얻기 위한 센서를 이용하여 획득된다.
나아가, 상기 방송 서버(103)는, 수집된 실감 정보를 영상의 재생 시간과 맞추기 위해 동기화 작업을 수행한다. 실험적으로 볼 때, 이미지 데이터는 인코딩 시간이 길고, 실감 효과는 센서에 의해서 상대적으로 짧은 시간에 수집되므로, 영상의 재생 시간에 맞게 실감 효과의 시간을 일정 범위로 지연시킴으로써, 동기화 작업을 수행한다. 동기화 작업이 완료된 데이터를 저장용 포맷인 MPEG-4 파일로 변환한다.
방송 서비스를 위해서는 MPEG-4로 인코딩된 동영상을 MPEG-4 over MPEG-2 TS 인코더(MPEG-4 over MPEG-2 TS Encoder)를 이용하여 MPEG-2 TS 포맷으로 다시 인코딩한다. 이후 UDP/IP를 이용하여 IP 네트워크(104)에 멀티캐스팅을 한다. 한편, 전술한 설명에서는 MPEG-4 및 MPEG-2 를 예시하여 설명하였으나, 반드시 이에 한정되는 것은 아니며, 다른 포맷의 데이터가 사용될 수도 있다.
홈서버(106)에서는 멀티캐스팅 된 방송 콘텐츠를 UDP/IP 수신기를 이용하여 수신을 한 후, MPEG-2 TS 디먹스를 이용하여 TS의 헤더를 제거한다. 나아가, 이 과정에서 3D 영상은 3D 플레이어(105)로 전송되고, 실감 효과 데이터는 해당 디바이스(107)로 전송되어 3D 영상과 동기를 맞추어 재현된다. 특히, 상기 해당 디바이스(107)는, 전술한 방송 서버(103)로부터 전송된 실감 효과와 관련된 메타데이터를 처리 가능한 디바이스에 해당하며, 예를 들어 발향기, LED, 커튼, 버블 생성기, 티클러, 선풍기, 히터, 햅틱마우스, 트레드밀, 모션 체어, 디스플레이 등이 될 수가 있다.
도 2는 도 1에 도시된 네트워크의 구성요소를 보다 상세히 도시한 도면이다. 이하, 도 2를 참조하여, 도 1에 도시된 네트워크의 구성요소를 보다 상세히 설명하면 다음과 같다.
도 2에 도시된 바와 같이, 본 발명의 일실시예에 의한 시스템은, 프로덕션/딜리버리 네트워크(Production & Delivery Network, 200)와 홈 네트워크(Home Network, 201)로 구분될 수가 있다.
상기 프로덕션/딜리버리 네트워크(Production & Delivery Network, 200)는 3D 영상과 실감 효과를 획득하는 구성요소이고, 상기 홈 네트워크(Home Network, 201)는 이를 전달받아 재현하는 구성요소이다.
나아가, 상기 프로덕션/딜리버리 네트워크(Production & Delivery Network,200)는 MPEG-4(H.264) 인코더(Encoder)(210), MPEG-4 over MPEG-2 TS 변환기(211), 그리고 MPEG-2 TS 스트리머(212)로 구성될 수 있으며, 또한, 상기 홈네트워크(201)는, MPEG-2 TS 리멀티플렉서(Remultiplexer, 213), 실감 디바이스 재현기(214), 그리고 MPEG-4(H.264) Player(215)로 구성될 수 있다.
보다 구체적으로 설명하면, NVS 인코더(220)는 2D 카메라 혹은 3D 카메라를 이용하여 촬영한 아날로그 영상을 디지털 영상으로 변환하기 위한 인코더이며, 상기 NVS 인코더(220)에서 출력된 영상은 방송 서버의 로우 데이터 수신기(raw data receiver, 221)로 전송된다. 상기 로우 데이터 수신기(221)는, 수신된 로우 데이터(RAW data)를 MPEG-4 데이터로 컨버팅한다. 다만, 이를 홈 네트워크로 멀티캐스트 하기 위해서는, 다시 MPEG-2 TS 로 변환해야 할 필요가 있다. MPEG-4(H.264) over MPEG-2 TS 컨버터(222)는, MPEG-4 파일을 MPEG-2 TS로 변환한다.
한편, 실감 효과 데이터 어그리게이터(223)는 센서를 이용하여 실감 효과를 수집하고 이를 XML 형태의 메타데이터로 변환한다. 상기 실감 효과 메타 데이터의 구체적인 일예는 도 3에 도시하였다. 특히, 도 3에서는 온도 센서에 의해 감지된 온도 관련 실감 효과 데이터를 XML 형태로 예시하였다. 다만, 그 수치들은 일예에 불과하며, 본 발명의 권리범위가 이에 한정되는 것은 아니다.
본 발명의 일실시예에 의하면, 프로덕션/딜리버리 네트워크(200)는 센서에 의해 센싱된 값을 홈네트워크(201)로 전달한다. 나아가, 홈네트워크(201)측에서, 상기 프로덕션/딜리버리 네트워크(200)로부터 수신된 도 3의 XML 데이터를 처리하기 위해서는 홈네트워크와 설치된 가정의 현재 온도를 기록하고 있을 필요가 있다. 따라서, 상기 프로덕션/딜리버리 네트워크(200)로부터 수신된 XML 데이터에 대응하는 온도와 현재 집안의 온도를 비교하여, 상기 대응하는 온도에 이르도록 집안의 온도를 제어한다. 이는 해당하는 디바이스(에어컨, 선풍기, 히터 등)를 제어함으로써 구현 가능하다.
상기 실감 효과 데이터 어그레이터(223)로부터 수집된 실감 효과 메타데이터는, 실감 효과 데이터 삽입기 & UDP/IP 멀티캐스팅 모듈(224)를 통해 영상과 같이 MPEG-2 TS로 결합된다. 또한, 상기 실감 효과 데이터 삽입기 & UDP/IP 멀티캐스팅 모듈(224)은, 상기 결합된 MPEG-2 TS를 홈네트워크(201)로 멀티캐스팅 한다.
상기 Home Network(201)로 전송된 데이터는, 특히 MPEG-2 TS 리시버& MPEG-2 TS 리멀티플렉서(225)에서 수신된다. 수신된 MPEG-2 TS는 2D 또는 3D 이미지와 실감 효과 데이터로 분리된 후, 각각 MPEG-4 (H.264) 플레이어(229), 실감 검증 시뮬레이터(227), 실감 효과 데이터 분석기(226)로 전달된다.
상기 실감 효과 데이터 분석기(226)는, 전송된 실감 효과를 분석하고 이에 해당하는 디바이스 제어 코드로 변환한 후 디바이스 컨트롤러(Device Controller, 228)로 제어 명령을 보낸다.
도 4는 본 발명의 일실시예에 의한 4D 방송 서비스를 위한 데이터를 처리하는 제1프로세스를 도시한 도면이다. 이하, 도 4를 참조하여, NVS 에서 전송된 데이터가 MPEG-4 NAL (network abstraction layer) 프레임인 경우, MPEG-2 TS로 변환하는 과정을 설명하면 다음과 같다.
NVS로 입력될 수 있는 데이터는 예를 들어, 로우 데이터(RAW data), 또는 MPEG-4 NAL 프레임 등이 될 수 있다. 상기 로우 데이터(RAW data)의 경우 자체 포맷으로 변환을 하면 충분하지만, MPEG-4 NAL 포맷은 도 4에 도시된 바와 같이 처리할 필요가 있다.
NVS에서 MPEG-4(H.264) NAL 프레임(400)이 입력되어 올 경우, 프레임 내부에서 PES-packet(packetized elementary stream-packet)을 참조하여 MPEG-2 TS 형태의 PAT(program association table)(402), PMT(program map table)(403)를 생성한다.
즉, PES-packet 내부의 stream_ID를 분석하고 오디오와 비디오를 식별하여 ES(404, Elementary Stream)의 스트림 정보 디스크립터를 생성하고 삽입한다. 그리고, 디스크립터 생성시에는 임의의 PID 정보를 할당하여 MPEG-2 TS로 변환한다. 이때 오디오는 AUDIO-MPEG-2 TS (406)를 구성하여 MPEG-2 TS의 페이로드(Payload)에 수납하고, 비디오는 VIDEO-MPEG-2 TS (405)를 구성하여 MPEG-2 TS의 페이로드(Payload)에 수납한다. MPEG-2 TS 헤더(Header)(407)에는 이에 대한 정보를 보관한다.
도 5는 본 발명의 일실시예에 의한 4D 방송 서비스를 위한 데이터를 처리하는 제2프로세스를 도시한 도면이다. 이하, 도 5를 참조하여, 실시간 방송에서 사용되는 실감 효과 메타데이터를 전송하기 위한 인코딩 및 디코딩에 관한 프로세스를 설명하면 다음과 같다.
도 5에 도시된 바와 같이, 우선 XML(500)로 구성된 다큐먼트(Document)를 로딩(501)한다. 이후 다큐먼트(Document)가 정상적인 스키마인지 파싱(502)하는 단계를 거친 다음, 해당 XML 다큐먼트를, 트리 형태로 표시한다(503). 이후 사용자 등의 요청(예를 들어, ADD, DEL, REPLACE 등)에 따라, XML 문서를 편집하고(504), 해당 노드 위치 정보와 함께 홈서버에 전송되는 XML 문서를 생성한다(505).
나아가, 전술한 과정에 따라 XML 문서가 생성되면, 이를 MPEG-2 TS로 전송하기 위하여 AU(Access Unit, 506)형태로 패킷타이징한다. 패킷타이징된 AU는 MPEG-2 Private Section화 한 다음, MPEG-2 TS에 수납된다. 이와 같은 과정을 통해 수납된 MPEG2-TS 는 UDP/IP 통신을 이용하여 전송된다.
홈서버에서는 MPEG-2 TS를 수신한 후 TeM (Texture format for multimedia description streams) 정보 스트림을 식별한다. 그리고, MPEG-2 TS의 Private Section을 다시 AU 패킷으로 구성한 후 AU를 XSL Composer(507)을 통하여 XSL Queue(508)에 쌓는다. 이후, XSLT Engine(509)를 이용하여 홈서버에 저장되어 있는 초기 디스크립션 트리(510)와 비교한 후 변경된 디스크립션 트리(511, CDT)를 구성하고, 변경된 부분을 해당 디바이스로 전송한다. 상기 해당 디바이스는, 홈서버의 제어를 받는 홈네트워크 내 다양한 디바이스가 될 수 있다.
도 6은 본 발명의 일실시예에 의한 4D 방송 서비스를 위한 데이터를 처리하는 제3프로세스를 도시한 도면이다. 이하, 도 6을 참조하여, 3D 영상 처리를 위한 과정을 설명하면 다음과 같다.
도 6에 도시된 바와 같이, UDP/IP 멀티캐스트로 전송된 MPEG-4 over MPEG-2 TS 스트림은, UDP/IP 수신기(600)를 통해 수신된다. 나아가, 수신된 스트림은 버퍼(601)를 통해서 버퍼링된다. 그리고, 버퍼링된 스트림은, H/W 인젝션 및 S/W 인젝션 모듈(602)과 H/W 디코더 및 S/W 디코더(603)를 통해 오디오/비디오(604)로 출력된다.
도 7 및 도 8은 본 발명의 일실시예에 의한 실감 효과와 관련된 메타데이터를 보다 상세히 도시한 도면이다. 도 7 및 도 8을 참조하여, 실감 방송을 위한 실감 효과와 관련된 메타데이타를 보다 상세히 설명하면 다음과 같다.
도 7에서는 바람, 조도(커튼), 모션(기울기, 웨이브, 흔들기), 조명, 향기에 대한 효과 값을 표현하였다. 나아가, 도 8은 도 7에 도시된 값들을, 실감 효과 메타 데이터로 표시한 것이다. 도 7에서는 바람의 세기를 100으로 표현하여 강풍을 의미하였고, 커튼의 경우 Shading Range를 100으로 표시하여 커튼이 열렸음을 표시하였다. 한편, 모션의 경우 Pitch, Yaw, Roll의 3가지를 이용하여 기울기, 웨이브, 흔들림 등을 표현하였다. 조도는 RED, GREEN, BLUE의 값을 표현하였고, 향기는 정의된 향의 일련번호를 표시하였다. 다만, 이에 대한 구체적인 수치들은 일예에 불과하며, 본 발명의 권리범위는 원칙적으로 특허청구범위에 의해 정해져야 한다.
도 9는 본 발명의 일실시예에 의한 4D 방송 서비스를 위한 방송 서버 및 컨트롤 디바이스를 보다 상세히 도시한 블록도 이다. 이하, 도 9를 참조하여, 본 발명의 일실시예에 의한 4D 방송 서비스를 위한 방송 서버 및 컨트롤 디바이스를 보다 상세히 설명하면 다음과 같다. 나아가, 전술하여 설명한 도 1 내지 도 8에 대한 설명을 참조하여, 도 9 내지 도 15를 변형 또는 보충하여 구현하는 것도 본 발명의 권리범위에 속한다.
본 발명의 일실시예에 의한 방송 서버(900)는, 멀티플 카메라에 의해 촬영된 특정 장소의 이미지 데이터를 인코딩 하는 인코더(920)로부터 인코딩된 이미지 데이터를 수신하는 제1수신 모듈(902)을 포함한다. 또한, 상기 방송 서버(900)는 상기 촬영이 이루어 지는 동안 상기 특정 장소의 상태 정보를 센싱하는 적어도 하나 이상의 센서(910)로부터 실감 효과 데이터를 수신하는 제2수신 모듈(901)을 더 포함한다.
나아가, 상기 방송 서버(900)의 동기화 모듈(903)은, 상기 이미지 데이터에 대한 인코딩 시간을 고려하여, 상기 실감 효과 데이터와 상기 이미지 데이터의 동기화를 수행하고, TS 생성 모듈(904)은, 상기 수행된 동기화에 기초한 실감 효과 데이터 및 이미지 데이터를 포함하는 TS 를 생성한다. 그리고, 상기 방송 서버(900)의 전송 모듈(905)은, 상기 생성된 TS 를 홈 네트워크로 전송하도록 설계된다.
상기 인코더(920)는 예를 들어, 도 1에 도시된 NVS 인코더(101)에 대응하며, 상기 센서(910)는 예를 들어, 도 1에 도시된 실감 효과 데이터 어그레게이터(102)에 대응한다.
한편, 본 발명의 일실시예에 의한 홈네트워크의 컨트롤 디바이스(950)는, 멀티플 카메라에 의해 촬영된 특정 장소의 이미지 데이터 및 상기 특정 장소의 상태 정보를 센싱하는 적어도 하나 이상의 센서로부터 수신된 실감 효과 데이터를 포함하는 TS 를 수신하는 수신 모듈(9510)을 포함한다. 상기 홈네트워크의 컨트롤 디바이스(950)는 예컨대, 홈 서버(home server) 또는 방송 수신기에 해당한다.
나아가, 상기 컨트롤 디바이스(950)는 이미지 프로세서(952), 실감 효과 데이터 분석 모듈(953), 전송 모듈(954) 등을 더 포함한다.
상기 이미지 프로세서(952)는, 상기 수신된 TS 중 이미지 데이터에 대응하는 제1영역을 처리하고, 상기 실감 효과 데이터 분석 모듈(953)은, 상기 수신된 TS 중 실감 효과 데이터에 대응하는 제2영역을 처리한다.
그리고, 상기 전송 모듈(954)은, 상기 실감 효과 데이터 분석 모듈(953)에 의해 분석된 실감 효과 데이터에 따른 커맨드 시그널을, 상기 홈네트워크의 해당 디바이스(960)로 전송한다. 상기 해당 디바이스(960)는, 예를 들어 발향기, 선풍기, 히터 등 홈네트워크로 연결되어 데이터를 송수신할 수 있는 임의의 가전제품 등이 될 수 있다.
도 10은 도 9에 도시된 컨트롤 디바이스가 홈네트워크로 연결된 제1디바이스를 제어하는 과정을 설명하는 도면이다. 이하, 도 10을 참조하여, 컨트롤 디바이스가 홈네트워크로 연결된 제1디바이스인 선풍기를 제어하는 과정을 설명하면 다음과 같다.
도 10의 (a)에 도시된 바와 같이, 본 발명의 일실시예에 의한 홈서버 또는 방송 수신기(1000)는 가정내 위치한 선풍기(1010)와 홈네트워크로 연결되어 있으며, 약한 바람의 세기(1020)가 출력되고 있는 것으로 가정하겠다.
한편, 상기 홈서버 또는 방송 수신기(1000)가 전술한 방송 서버로부터 3D 영상이 촬영된 시점에 실시간으로 수집된 실감 효과 데이터(예를 들어, 온도 관련 XML 데이터)를 수신한 경우, 도 10의 (b)에 도시된 바와 같이, 상기 홈서버 또는 방송 수신기(1000)의 제어 명령으로 인하여 선풍기(1010)는 보다 강한 바람의 세기(1030)를 출력하도록 설계된다. 즉, 상기 온도 관련 XML 데이터가 현재 온도 보다 낮기 때문에, 3D 영상이 촬영된 시점과 유사한 온도 범위를 사용자에게 제공하기 위해서, 선풍기의 바람 세기를 보다 강하게 조절하게 되는 것이다. 따라서, 이와 같은 본 발명의 일실시예에 의하면, 사용자는 3D 영상이 촬영된 시점의 시원한 느낌을 그대로 체험할 수 있는 장점이 있다.
도 11은 도 9에 도시된 컨트롤 디바이스가 홈네트워크로 연결된 제2디바이스를 제어하는 과정을 설명하는 도면이다. 이하, 도 11을 참조하여, 컨트롤 디바이스가 홈네트워크로 연결된 제2디바이스인 히터를 제어하는 과정을 설명하면 다음과 같다.
도 11의 (a)에 도시된 바와 같이, 본 발명의 일실시예에 의한 홈서버 또는 방송 수신기(1100)는 가정내 위치한 히터(1110)와 홈네트워크로 연결되어 있으며, 약한 히팅(heating)량(1120)가 출력되고 있는 것으로 가정하겠다.
한편, 상기 홈서버 또는 방송 수신기(1100)가 전술한 방송 서버로부터 3D 영상이 촬영된 시점에 실시간으로 수집된 실감 효과 데이터(예를 들어, 온도 관련 XML 데이터)를 수신한 경우, 도 11의 (b)에 도시된 바와 같이, 상기 홈서버 또는 방송 수신기(1100)의 제어 명령으로 인하여 히터(1110)는 보다 강한 히팅량(1130)를 출력하도록 설계된다. 즉, 상기 온도 관련 XML 데이터가 현재 온도 보다 높기 때문에, 3D 영상이 촬영된 시점과 유사한 온도 범위를 사용자에게 제공하기 위해서, 히터의 히팅량을 보다 강하게 조절하게 되는 것이다. 따라서, 이와 같은 본 발명의 일실시예에 의하면, 사용자는 3D 영상이 촬영된 시점의 따뜻한 느낌을 그대로 체험할 수 있는 장점이 있다.
도 12는 도 9에 도시된 컨트롤 디바이스가 홈네트워크로 연결된 제3디바이스를 제어하는 과정을 설명하는 도면이다. 이하, 도 12를 참조하여, 컨트롤 디바이스가 홈네트워크로 연결된 제3디바이스인 발향기를 제어하는 과정을 설명하면 다음과 같다.
도 12의 (a)에 도시된 바와 같이, 본 발명의 일실시예에 의한 홈서버 또는 방송 수신기(1200)는 가정내 위치한 발향기(1210)와 홈네트워크로 연결되어 있으며, A 향기(1220)가 출력되고 있는 것으로 가정하겠다.
한편, 상기 홈서버 또는 방송 수신기(1200)가 전술한 방송 서버로부터 3D 영상이 촬영된 시점에 실시간으로 수집된 실감 효과 데이터(예를 들어, 향기 관련 XML 데이터)를 수신한 경우, 도 12의 (b)에 도시된 바와 같이, 상기 홈서버 또는 방송 수신기(1200)의 제어 명령으로 인하여 발향기(1210)는 B 향기(1230)를 출력하도록 설계된다. 따라서, 이와 같은 본 발명의 일실시예에 의하면, 사용자는 3D 영상이 촬영된 시점의 향기와 유사한 향기를 그대로 체험할 수 있는 장점이 있다.
도 13은 도 9에 도시된 컨트롤 디바이스가 홈네트워크로 연결된 제4디바이스를 제어하는 과정을 설명하는 도면이다. 이하, 도 13을 참조하여, 컨트롤 디바이스가 홈네트워크로 연결된 제4디바이스인 커튼을 제어하는 과정을 설명하면 다음과 같다.
도 13의 (a)에 도시된 바와 같이, 본 발명의 일실시예에 의한 홈서버 또는 방송 수신기(1300)는 가정내 위치한 커튼(1310)과 홈네트워크로 연결되어 있으며, 전체 커튼이 모두 close 된 상태를 가정하겠다.
한편, 상기 홈서버 또는 방송 수신기(1300)가 전술한 방송 서버로부터 3D 영상이 촬영된 시점에 실시간으로 수집된 실감 효과 데이터(예를 들어, 명암 관련 XML 데이터)를 수신한 경우, 도 13의 (b)에 도시된 바와 같이, 상기 홈서버 또는 방송 수신기(1300)의 제어 명령으로 인하여 커튼(1310)는 모두 open 된 상태로 변경하도록 설계된다. 따라서, 이와 같은 본 발명의 일실시예에 의하면, 사용자는 3D 영상이 촬영된 시점의 밝은 느낌 또는 어두운 느낌을 그대로 체험할 수 있는 장점이 있다.
도 14는 본 발명의 일실시예에 의한 4D 방송 서비스를 위한 제어 방법을 전체적으로 도시한 플로우 차트이다. 이하, 도 14를 참조하여, 본 발명의 일실시예에 의한 4D 방송 서비스를 위한 제어 방법을 설명하면 다음과 같다.
도 14에 도시된 바와 같이, 3D (three-dimension) 방송 서비스를 위한 방송 네트워크는, 멀티플 카메라에 의해 촬영된 특정 장소의 이미지 데이터를 인코딩 한다(S1410). 나아가, 상기 촬영이 이루어 지는 동안 상기 특정 장소의 상태 정보를 센싱하는 적어도 하나 이상의 센서로부터 실감 효과 데이터를 수신한다(S1420). 또한, 상기 이미지 데이터에 대한 인코딩 시간을 고려하여, 상기 실감 효과 데이터와 상기 이미지 데이터의 동기화를 수행한다(S1430).
나아가, 상기 수행된 동기화에 기초한 실감 효과 데이터 및 이미지 데이터를 포함하는 TS (transport stream)를 생성하고(S1440), 그리고 상기 생성된 TS 를 홈 네트워크로 전송한다(S1450).
나아가, 본 발명의 다른 일실시예에 의하면, 도 15에 도시된 바와 같이, 상기 S1410 단계는, 2D 카메라 또는 3D 카메라를 이용하여 촬영된 아날로그 영상을 디지털 영상으로 제1변환하는 단계(S1411)와, 상기 변환된 디지털 영상의 raw 데이터를 제1데이터 포맷으로 제2변환하는 단계(S1412)와, 그리고 상기 변환된 제1데이터 포맷을 제2데이터 포맷으로 제3변환하는 단계(S1413)를 더 포함한다.
또한, 본 발명의 또 다른 일실시예에 의하면, 상기 S1430 단계는, 상기 제1 내지 제3 변환으로 인한 시간 소요량 만큼 상기 실감 효과 데이터의 동기화 타이밍을 지연시키는 단계를 포함한다. 그리고, 상기 S1450 단계는, 상기 S1440 단계에서 생성된 TS를, UDP/IP 에 기초하여 홈 네트워크의 서버로 멀티캐스팅 하는 단계를 포함한다.
그리고, 상기 제1데이터 포맷은 예컨대 MPEG-4 파일 형식에 대응하고, 상기 제2데이터 포맷은 예컨대 MPEG-2 파일 형식에 대응한다. 또한, 상기 멀티플 카메라는, 예를 들어 3D 서비스를 위한 2D 카메라 및 3D 카메라를 포함한다. 나아가, 상기 적어도 하나 이상의 센서는, 예를 들어 온도 센서, 풍속 센서, 위치 정보 센서, 습도 센서 중 적어도 하나 이상을 포함한다.
한편, 본 발명의 일실시예에 의한 4D 방송 서비스를 위한 홈 네트워크의 제어 방법은, 멀티플 카메라에 의해 촬영된 특정 장소의 이미지 데이터 및 상기 특정 장소의 상태 정보를 센싱하는 적어도 하나 이상의 센서로부터 수신된 실감 효과 데이터를 포함하는 TS 를 수신한다(S1460).
나아가, 상기 수신된 TS 중 이미지 데이터에 대응하는 제1영역을, 이미지 프로세서로 전송하고(S1470), 상기 수신된 TS 중 실감 효과 데이터에 대응하는 제2영역을, 실감 효과 데이터 분석 모듈로 전송한다(S1480). 그리고, 상기 실감 효과 데이터 분석 모듈에 의해 분석된 실감 효과 데이터에 따른 커맨드 시그널을, 상기 홈네트워크의 해당 디바이스로 전송한다(S1490).
본 발명의 다른 일실시예에 의하면, 상기 S1460 단계는, 방송 서버로부터, 인코딩된 이미지 데이터 및 상기 이미지 데이터에 대한 촬영이 이루어 지는 동안 센싱된 실감 효과 데이터가 동기화된 TS 를 수신하는 단계를 포함한다.
상기 실감 효과 데이터는, 예를 들어 상기 홈 네트워크와 연결된 적어도 하나 이상의 디바이스 중 컨트롤 하고자 하는 특정 디바이스의 종류를 표시하는 제1데이터 및 기능을 표시하는 제2데이터가 맵핑되어 있다. 보다 구체적으로 예를 들면, 도 7과 같이 설계할 수도 있다. 그리고, 상기 제1영역 및 상기 제2영역은, 예를 들어 TS 의 페이로드에 위치하도록 설계한다.
전술하여 설명한 바와 같이, 본 발명의 일실시예에 의하면, 3D 영상을 위한 촬영을 모두 마치고 편집이 끝난 다음, 해당 동영상에 실감 효과를 임의로 추가하는 것이 아니라, 실제 촬영하던 당시의 상황을 동영상에 같이 포함하여 전송함으로써 사용자에게 실제 그 장소에 있는 것과 같은 효과를 재현할 수 있다. 또한, 이를 방송에 활용함으로써 뉴스, 다큐멘터리와 같이 실제의 상황을 느끼려고 하는 분야에서는 좀 더 효과적으로 미디어를 생산해 낼 수 있다.
200 : 프로덕션/딜리버리 네트워크(Production & Delivery Network)
201 : 홈 네트워크(Home Network)
900 : 방송 서버
950 : 컨트롤 디바이스

Claims (16)

  1. 4D 방송 서비스를 위한 방송 네트워크의 제어 방법에 있어서,
    실시간으로 멀티플 카메라에 의해 촬영된 특정 장소에서의 영상에 대한 서비스 데이터를 인코딩하되, MPEG-4 프레임의 스트림 정보 디스크립터가 MPEG-2 프레임에 삽입된 MPEG-2 형식의 서비스 데이터로의 변환 과정을 포함하여 인코딩하는 단계;
    상기 촬영이 이루어지는 동안 상기 특정 장소의 상태 정보를 센싱하는 복수의 센서로부터 실시간으로 촬영 시점에서의 환경 정보, 모션 정보 또는 실감 정보를 포함하는 실감 효과 데이터를 수신하는 단계;
    상기 서비스 데이터에 대한 상기 변환 과정의 시간을 반영하여, 상기 실감 효과 데이터와 변환된 상기 서비스 데이터 TS의 동기화를 수행하되, 상기 변환 과정을 수행하는 시간 소요량 동안 상기 실감 효과 데이터의 동기화 타이밍을 지연시키는 단계;
    동기화가 이루어진 상기 실감 효과 데이터가 변환된 상기 서비스 데이터에 삽입된 MPEG-2 형식의 TS를 생성하는 단계; 및
    생성된 상기 TS 를 홈 네트워크로 전송하는 단계를 포함하고,
    각각의 센서로부터의 상기 실감 효과 데이터는 XML 형태의 다큐먼트로 변환된 후 패킷화되어 상기 다큐먼트에 따라 실시간으로 상기 멀티플 카메라 각각의 해당 영상과 함께 상기 MPEG-2 형식의 TS에 수납되어 전송되며, 해당 시점의 각각의 영상과 실감 효과 데이터를 실시간으로 전송하기 위하여 상기 MPEG-2 형식의 TS가 UDP/IP 에 기초하여 멀티캐스팅 방식으로 전송되고,
    상기 각각의 센서에 대응된 홈네트워크 상의 각 디바이스에서 각각의 센서로부터의 상기 실감 효과 데이터에 의한 제어에 따라 동작하여 실감 효과를 구현하기 위한 것을 특징으로 하는 4D 방송 서비스를 위한 방송 네트워크의 제어 방법.
  2. 제1항에 있어서,
    상기 변환 과정은,
    촬영된 해당 아날로그 영상을 디지털 영상으로 변환하는 제1과정,
    상기 디지털 영상의 raw 데이터를 MPEG-4 파일 형식으로 변환하는 제2과정, 및
    상기 MPEG-4 파일 형식의 데이터를 MPEG-2 파일 형식으로 변환하는 제3과정
    을 포함하는 것을 특징으로 하는 4D 방송 서비스를 위한 방송 네트워크의 제어 방법.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 멀티플 카메라는,
    3D 이상의 서비스를 위한 2대 이상의 2D 카메라 또는 3D 카메라를 포함하는 것을 특징으로 하는 4D 방송 서비스를 위한 방송 네트워크의 제어 방법.
  7. 제1항에 있어서,
    상기 센서는,
    온도 센서, 풍속 센서, 위치 정보 센서, 습도 센서, 조도 센서, 가속도 센서, 각속도 센서, 또는 가스 센서를 포함하는 것을 특징으로 하는 4D 방송 서비스를 위한 방송 네트워크의 제어 방법.
  8. 4D 방송 서비스를 위한 홈 네트워크의 제어 방법에 있어서,
    멀티플 카메라에 의해 특정 장소의 촬영이 이루어지는 동안 상기 특정 장소의 상태에 대하여 복수의 센서에 의해 센싱된 환경 정보, 모션 정보 또는 실감 정보를 포함하는 실감 효과 데이터가 상기 촬영에 의한 해당 영상을 포함하는 서비스 데이터와 함께 동기화된 MPEG-2 형식의 TS(transport stream)를 수신하는 단계;
    수신된 상기 MPEG-2 형식의 TS 중 이미지 데이터에 대응하는 제1영역을, 해당 이미지 프로세서로 전송하는 단계;
    수신된 상기 MPEG-2 형식의 TS 중 실감 효과 데이터에 대응하는 제2영역을, 해당 실감 효과 데이터 분석 모듈로 전송하는 단계; 및
    상기 실감 효과 데이터 분석 모듈에 의해 분석된 실감 효과 데이터에 따른 커맨드 시그널을, 상기 홈네트워크의 해당 디바이스로 전송하는 단계를 포함하고,
    상기 MPEG-2 형식의 TS를 수신하는 단계에서, 방송서버가 실시간으로 상기 멀티플 카메라에 의해 촬영된 특정 장소에서의 영상과 함께 각각의 센서로부터의 상기 실감 효과 데이터를 인코딩하되, MPEG-4 프레임의 스트림 정보 디스크립터가 MPEG-2 프레임에 삽입된 MPEG-2 형식의 서비스 데이터로의 변환 과정을 포함하여 인코딩한, 상기 MPEG-2 형식의 TS를 수신하며, 상기 변환 과정을 수행하는 시간 소요량 동안 상기 실감 효과 데이터의 동기화 타이밍을 지연시켜서 동기화한 TS를 수신하고,
    여기서, 각각의 센서로부터의 상기 실감 효과 데이터가 상기 방송서버에서 XML 형태의 다큐먼트로 변환된 후 패킷화되어 상기 다큐먼트에 따라 실시간으로 상기 멀티플 카메라 각각의 해당 영상과 함께 수납되어 전송되는, 상기 MPEG-2 형식의 TS를 수신하되, 해당 시점의 각각의 영상과 실감 효과 데이터를 UDP/IP 에 기초하여 멀티캐스팅 방식으로 수신하고,
    상기 각각의 센서에 대응된 홈네트워크 상의 각 디바이스에서 각각의 센서로부터의 상기 실감 효과 데이터에 의한 제어에 따라 동작하여 실감 효과를 구현하기 위한 것을 특징으로 하는 4D 방송 서비스를 위한 홈 네트워크의 제어 방법.
  9. 삭제
  10. 제8항에 있어서,
    상기 실감 효과 데이터는,
    상기 홈 네트워크와 연결된 적어도 하나 이상의 디바이스 중 컨트롤 하고자 하는 특정 디바이스의 종류를 표시하는 제1데이터 및 기능을 표시하는 제2데이터를 포함하는 것을 특징으로 하는 4D 방송 서비스를 위한 홈 네트워크의 제어 방법.
  11. 삭제
  12. 제8항에 있어서,
    상기 제1영역 및 상기 제2영역은,
    TS 의 페이로드에 위치하도록 설계되어 있는 것을 특징으로 하는 4D 방송 서비스를 위한 홈 네트워크의 제어 방법.
  13. 방송 네트워크의 방송 서버에 있어서,
    실시간으로 멀티플 카메라에 의해 촬영된 특정 장소에서의 영상에 대한 서비스 데이터를 인코딩하되, MPEG-4 프레임의 스트림 정보 디스크립터가 MPEG-2 프레임에 삽입된 MPEG-2 형식의 서비스 데이터로의 변환 과정을 포함하여 인코딩한 서비스 데이터를 인코더로부터 수신하는 제1수신 모듈;
    상기 촬영이 이루어 지는 동안 상기 특정 장소의 상태 정보를 센싱하는 복수의 센서로부터 실시간으로 촬영시점에서의 환경 정보, 모션 정보 또는 실감 정보를 포함하는 실감 효과 데이터를 수신하는 제2수신 모듈;
    상기 서비스 데이터에 대한 상기 변환 과정의 시간을 반영하여, 상기 실감 효과 데이터와 변환된 상기 서비스 데이터의 동기화를 수행하되, 상기 변환 과정을 수행하는 시간 소요량 동안 상기 실감 효과 데이터의 동기화 타이밍을 지연시켜서 동기화를 수행하는 동기화 모듈;
    동기화가 이루어진 상기 실감 효과 데이터가, 변환된 상기 서비스 데이터에 삽입된 MPEG-2 형식의 TS(transport stream)를 생성하는 TS 생성 모듈; 및
    생성된 상기 TS 를 홈 네트워크로 전송하는 전송 모듈을 포함하고,
    각각의 센서로부터의 상기 실감 효과 데이터는 XML 형태의 다큐먼트로 변환된 후 패킷화되어 상기 다큐먼트에 따라 실시간으로 상기 멀티플 카메라 각각의 해당 영상과 함께 상기 MPEG-2 형식의 TS에 수납되어 전송되며, 해당 시점의 각각의 영상과 실감 효과 데이터를 실시간으로 전송하기 위하여 상기 MPEG-2 형식의 TS가 UDP/IP 에 기초하여 멀티캐스팅 방식으로 전송되고,
    상기 각각의 센서에 대응된 홈네트워크 상의 각 디바이스에서 각각의 센서로부터의 상기 실감 효과 데이터에 의한 제어에 따라 동작하여 실감 효과를 구현하기 위한 것을 특징으로 하는 방송 네트워크의 방송 서버.
  14. 제13항에 있어서,
    상기 인코더는, NVS (Network Video Server) 인코더에 해당하는 것을 특징으로 하는 방송 네트워크의 방송 서버.
  15. 홈네트워크의 컨트롤 디바이스에 있어서,
    멀티플 카메라에 의해 특정 장소의 촬영이 이루어지는 동안 상기 특정 장소의 상태에 대하여 복수의 센서에 의해 센싱된 환경 정보, 모션 정보 또는 실감 정보를 포함하는 실감 효과 데이터가 상기 촬영에 의한 해당 영상을 포함하는 서비스 데이터와 동기화된 MPEG-2 형식의 TS(transport stream)를 수신하는 수신 모듈;
    수신된 상기 MPEG-2 형식의 TS 중 이미지 데이터에 대응하는 제1영역을 처리하는 이미지 프로세서;
    수신된 상기 MPEG-2 형식의 TS 중 실감 효과 데이터에 대응하는 제2영역을 처리하는 실감 효과 데이터 분석 모듈; 및
    상기 실감 효과 데이터 분석 모듈에 의해 분석된 실감 효과 데이터에 따른 커맨드 시그널을, 상기 홈네트워크의 해당 디바이스로 전송하는 전송 모듈을 포함하고,
    상기 수신 모듈은, 방송서버가 실시간으로 상기 멀티플 카메라에 의해 촬영된 특정 장소에서의 영상과 함께 각각의 센서로부터의 상기 실감 효과 데이터를 인코딩하되, MPEG-4 프레임의 스트림 정보 디스크립터가 MPEG-2 프레임에 삽입된 MPEG-2 형식의 서비스 데이터로의 변환 과정을 포함하여 인코딩한, 상기 MPEG-2 형식의 TS를 수신하며, 상기 변환 과정을 수행하는 시간 소요량 동안 상기 실감 효과 데이터의 동기화 타이밍을 지연시켜서 동기화한 TS를 수신하고,
    여기서, 각각의 센서로부터의 상기 실감 효과 데이터가 상기 방송서버에서 XML 형태의 다큐먼트로 변환된 후 패킷화되어 상기 다큐먼트에 따라 실시간으로 상기 멀티플 카메라 각각의 해당 영상과 함께 수납되어 전송되는, 상기 MPEG-2 형식의 TS를 수신하되, 해당 시점의 각각의 영상과 실감 효과 데이터를 UDP/IP 에 기초하여 멀티캐스팅 방식으로 수신하고,
    상기 각각의 센서에 대응된 홈네트워크 상의 각 디바이스에서 각각의 센서로부터의 상기 실감 효과 데이터에 의한 제어에 따라 동작하여 실감 효과를 구현하기 위한 것을 특징으로 하는 홈네트워크의 컨트롤 디바이스.
  16. 제15항에 있어서,
    상기 홈네트워크의 컨트롤 디바이스는 홈 서버(home server) 또는 방송 수신기에 해당하는 것을 특징으로 하는 홈네트워크의 컨트롤 디바이스.
KR20100115687A 2010-11-19 2010-11-19 4ｄ 방송 서비스를 위한 방송 네트워크와 홈 네트워크의 제어 방법 및 장치 KR101493884B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20100115687A KR101493884B1 (ko) 2010-11-19 2010-11-19 4ｄ 방송 서비스를 위한 방송 네트워크와 홈 네트워크의 제어 방법 및 장치
US13/299,719 US20120127268A1 (en) 2010-11-19 2011-11-18 Method and apparatus for controlling broadcasting network and home network for 4d broadcasting service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20100115687A KR101493884B1 (ko) 2010-11-19 2010-11-19 4ｄ 방송 서비스를 위한 방송 네트워크와 홈 네트워크의 제어 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20120054352A KR20120054352A (ko) 2012-05-30
KR101493884B1 true KR101493884B1 (ko) 2015-02-17

Family

ID=46063999

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20100115687A KR101493884B1 (ko) 2010-11-19 2010-11-19 4ｄ 방송 서비스를 위한 방송 네트워크와 홈 네트워크의 제어 방법 및 장치

Country Status (2)

Country Link
US (1) US20120127268A1 (ko)
KR (1) KR101493884B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110202845A1 (en) * 2010-02-17 2011-08-18 Anthony Jon Mountjoy System and method for generating and distributing three dimensional interactive content
JP5198615B2 (ja) * 2011-03-28 2013-05-15 株式会社東芝 画像処理装置及び画像処理方法
KR101580237B1 (ko) 2013-05-15 2015-12-28 씨제이포디플렉스 주식회사 4ｄ 컨텐츠 제작 서비스 제공 방법 및 시스템, 이를 위한 컨텐츠 제작 장치
KR102159816B1 (ko) * 2014-01-13 2020-09-24 삼성전자 주식회사 실감형 멀티미디어 컨텐츠 재생 방법 및 장치
KR101864685B1 (ko) * 2016-10-05 2018-06-05 씨제이포디플렉스 주식회사 가상현실 4d 컨텐츠 상영 시스템 및 그 방법
CN106454365B (zh) * 2016-11-22 2018-07-10 包磊 多媒体数据的编码、解码方法及编码、解码装置
BR102018074626A2 (pt) 2018-11-28 2020-06-09 Samsung Eletronica Da Amazonia Ltda método para controle de dispositivos com internet das coisas através de receptores de tv digital usando transmissão a partir de um radiodifusor em um fluxo de transporte

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050019630A (ko) * 2003-08-20 2005-03-03 한국전자통신연구원 디지털 멀티미디어 방송 시스템 및 그 방법
KR20050045700A (ko) * 2003-11-12 2005-05-17 한국전자통신연구원 오감 데이터 동기화 전송 장치 및 그 방법과 그를 이용한실감형 멀티미디어 데이터 제공 시스템 및 그 방법
KR20100121614A (ko) * 2008-02-14 2010-11-18 소니 주식회사 방송 시스템, 송신 장치 및 송신 방법, 수신 장치 및 수신 방법, 및 프로그램

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8700791B2 (en) * 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
US7551272B2 (en) * 2005-11-09 2009-06-23 Aceris 3D Inspection Inc. Method and an apparatus for simultaneous 2D and 3D optical inspection and acquisition of optical inspection data of an object
CN2935210Y (zh) * 2006-08-16 2007-08-15 新康电脑科技（苏州）有限公司 声道数字气味电影放映装置
US20080158345A1 (en) * 2006-09-11 2008-07-03 3Ality Digital Systems, Llc 3d augmentation of traditional photography
KR101340762B1 (ko) * 2006-09-12 2013-12-12 삼성전자주식회사 지상파 디지털 멀티미디어 방송 서비스의 인터넷 프로토콜패킷 재전송 방법
KR101352790B1 (ko) * 2007-07-27 2014-01-16 삼성전자주식회사 환경정보 제공방법, 이를 적용한 영상기기 및 영상 시스템
US20110013023A1 (en) * 2009-07-17 2011-01-20 Datacom Systems, Inc. Network video server architecture and computer program for high quality, high camera density, and high reliability in a digital video surveillance system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050019630A (ko) * 2003-08-20 2005-03-03 한국전자통신연구원 디지털 멀티미디어 방송 시스템 및 그 방법
KR20050045700A (ko) * 2003-11-12 2005-05-17 한국전자통신연구원 오감 데이터 동기화 전송 장치 및 그 방법과 그를 이용한실감형 멀티미디어 데이터 제공 시스템 및 그 방법
KR20100121614A (ko) * 2008-02-14 2010-11-18 소니 주식회사 방송 시스템, 송신 장치 및 송신 방법, 수신 장치 및 수신 방법, 및 프로그램

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
오현우 외 2인. 3D 카메라와 자이로센서를 활용한 SMMD 4D 체험 시스템에 관한 연구. 한국통신학회 2010년도 하계종합학술발표회. 2010.06, pp.519-520 *
오현우 외 2인. 3D 카메라와 자이로센서를 활용한 SMMD 4D 체험 시스템에 관한 연구. 한국통신학회 2010년도 하계종합학술발표회. 2010.06, pp.519-520*

Also Published As

Publication number Publication date
KR20120054352A (ko) 2012-05-30
US20120127268A1 (en) 2012-05-24

Similar Documents

Publication Publication Date Title
KR101493884B1 (ko) 4ｄ 방송 서비스를 위한 방송 네트워크와 홈 네트워크의 제어 방법 및 장치
US20210225186A1 (en) 5th-GENERATION (5G) INTERACTIVE DISTANCE DEDICATED TEACHING SYSTEM BASED ON HOLOGRAPHIC TERMINAL AND METHOD FOR OPERATING SAME
KR102241082B1 (ko) 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
WO2019205872A1 (zh) 视频流处理方法、装置、计算机设备及存储介质
CN106303289B (zh) 一种将真实对象与虚拟场景融合显示的方法、装置及***
WO2017181777A1 (zh) 全景视频直播方法、装置和***以及视频源控制设备
JP6986158B2 (ja) 複数のビューポイントに関するメタデータを送受信する方法及び装置
KR102157658B1 (ko) 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
US9473813B2 (en) System and method for providing immersive surround environment for enhanced content experience
TW200943936A (en) Fusing of images captured by a multi-aperture imaging system
KR20190071805A (ko) 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
CN105791881A (zh) 一种基于光场摄像机的三维场景录播的实现方法
WO2022257480A1 (zh) 直播数据的生成方法、装置、存储介质及电子设备
KR20190103102A (ko) Vr 디바이스 및 vr 디바이스 제어 방법
CN107534797B (zh) 一种增强媒体记录的方法和***
Luque et al. Integration of multisensorial stimuli and multimodal interaction in a hybrid 3DTV system
WO2023226504A1 (zh) 一种媒体数据处理方法、装置、设备以及可读存储介质
TWI482470B (zh) 數位看板播放系統、即時監看系統及其即時監看之方法
CN108184078A (zh) 一种视频处理***及其方法
TW202249493A (zh) 將場景描述錨定到使用者環境以用於串流沉浸式媒體內容
CN114885198A (zh) 面向混合网络的伴音与视频协同呈现***
KR20090032702A (ko) 네트워크 기반의 맞춤형 콘텐츠 제공을 위한 사용자 장치및 그 방법과 저작 장치 및 그 방법
KR20130056829A (ko) 3dtv 방송을 위한 송수신 장치 및 그 제어 방법
Yun et al. Media/playback device synchronization for the 4D broadcasting service system
Bartocci et al. A novel multimedia-multisensorial 4D platform

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20180129

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190125

Year of fee payment: 5