KR20030056103A - Apparatus for activating specific region in mpeg-2 video using mpeg-4 scene description and method thereof - Google Patents
Apparatus for activating specific region in mpeg-2 video using mpeg-4 scene description and method thereof Download PDFInfo
- Publication number
- KR20030056103A KR20030056103A KR1020010086264A KR20010086264A KR20030056103A KR 20030056103 A KR20030056103 A KR 20030056103A KR 1020010086264 A KR1020010086264 A KR 1020010086264A KR 20010086264 A KR20010086264 A KR 20010086264A KR 20030056103 A KR20030056103 A KR 20030056103A
- Authority
- KR
- South Korea
- Prior art keywords
- mpeg
- specific region
- scene descriptor
- video
- scene
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23605—Creation or processing of packetized elementary streams [PES]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
본 발명은 디지털 방송에 관한 것으로, 특히 멀티미디어 데이터인 MPEG (Motion Picture Experts Group)-2 오디오/비디오 데이터에 부가적인 오디오/비디오 및 멀티미디어 데이터를 제공함에 있어서 MPEG-4 장면 기술자를 이용하여 MPEG-2 비디오의 특정 영역을 활성화하는 장치 및 그 방법에 관한 것이다.TECHNICAL FIELD The present invention relates to digital broadcasting. In particular, the present invention relates to MPEG-2 using MPEG-4 scene descriptors to provide additional audio / video and multimedia data to MPEG (Motion Picture Experts Group) -2 audio / video data. An apparatus and method for activating a specific area of video.
최근 디지털 방송 기술이 빠르게 발전함에 따라 기존 아날로그 TV 방송이 고품질과 다채널화된 오디오 비디오 서비스를 제공하는 디지털 방송으로 변화하고 있다.Recently, with the rapid development of digital broadcasting technology, existing analog TV broadcasting is changing to digital broadcasting providing high quality and multi-channel audio and video services.
이러한 디지털 방송은 시청자가 수동적으로 TV를 시청하는 방식에서 벗어나 시청자가 원하는 방식으로 직접 방송 콘텐츠를 소비할 수 있게 하며 이는 대화형 서비스를 통해 제공될 수 있다.Such digital broadcasting enables the viewer to consume broadcast content directly in a manner desired by the viewer, instead of passively watching TV, which can be provided through an interactive service.
대화형 서비스는 시청자의 입력에 따라 프로그램과 직접 관련이 있는 부가 정보 또는 주식이나 날씨 정보와 같이 프로그램과 무관한 부가 정보를 제공함으로써 다양하고 흥미로운 정보를 얻을 수 있도록 한다.The interactive service provides a variety of interesting information by providing additional information not directly related to the program or additional information not related to the program, such as stock or weather information, depending on the viewer's input.
기술적인 관점에서 대화형 서비스들은 MPEG-2, ATSC-DASE(DTV Application software Environment), DVB-MHP(Multimedia Home Platform), Java, HTML 등과 같은 기술을 이용하여 구현할 수 있다.From a technical point of view, interactive services can be implemented using technologies such as MPEG-2, ATSC-DASE (DTV Application Software Environment), DVB-MHP (Multimedia Home Platform), Java, HTML, and the like.
그러나 이러한 기술들은 MPEG-2 규격을 기반으로 하는 디지털 방송 환경에서 사용자의 대화형 기능을 제공하는 데 있어서 버튼이나 메뉴바를 제공하는 방식으로 한정되어 있다는 문제점이 있다. 즉, 디지털 방송에서 시청자에게 대화형 기능을 제공하는 일반적인 방법은 화면에서 부가정보 도착을 알리는 트리거 버튼이나 메뉴바를 표시하고 사용자가 그 버튼이나 메뉴바를 조작함으로써 부가 데이터를 소비하는 형태이다.However, these technologies have a problem in that they are limited to a method of providing a button or a menu bar in providing an interactive function of a user in a digital broadcasting environment based on the MPEG-2 standard. That is, a general method of providing an interactive function to a viewer in digital broadcasting is to display a trigger button or a menu bar indicating arrival of additional information on a screen, and consume additional data by manipulating the button or menu bar.
그러나 시청자가 화면의 특정 영역에 직접 입력을 가하여 부가 정보를 소히함으로써 훨씬 쉽고 편리하게 방송 콘텐츠를 이용할 수 있도록 하는 기능이 요구됨에 따라 기존의 부가 데이터 제공 방식과는 차별화된 새로운 방식이 필요하다.However, there is a need for a new method that is different from the existing method of providing additional data, as a function for allowing a viewer to directly input a specific area of the screen to consume additional information to access broadcast content more easily and conveniently.
따라서, 본 발명의 목적은 상기한 문제점을 해결하기 위한 것으로, 방송/통신/저장 매체용 영상 데이터인 MPEG-2 비디오 데이터에 대해 MPEG-4 표준에서 정의하고 있는 장면 기술자를 이용하여 비디오의 특정 영역을 활성화하는 장치 및 그 방법과, 그 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체를 제공하는 데 있다.Accordingly, an object of the present invention is to solve the above-mentioned problem, and a specific region of video using scene descriptors defined in the MPEG-4 standard for MPEG-2 video data, which is image data for broadcast / communication / storage media. An apparatus and method for activating the present invention, and a computer-readable recording medium having recorded thereon a program for executing the method.
도 1은 본 발명의 실시예에 따른 MPEG-4의 장면 기술자를 이용하여 MPEG-2 비디오의 특정 부분을 활성화하는 장치의 블록도이다.1 is a block diagram of an apparatus for activating a specific portion of MPEG-2 video using a scene descriptor of MPEG-4 according to an embodiment of the present invention.
도 2는 본 발명의 실시예에 따른 MPEG-4의 장면 기술자를 이용하여 MPEG-2 비디오의 특정 부분을 활성화하는 방법의 순서도이다.2 is a flowchart of a method of activating a specific portion of MPEG-2 video using a scene descriptor of MPEG-4 according to an embodiment of the present invention.
< 도면의 주요 부분에 대한 부호의 설명 ><Description of Symbols for Main Parts of Drawings>
100 : 특정 영역 설정 및 갱신부 200 : 장면 기술자 생성 및 부호화부100: specific region setting and updating unit 200: scene descriptor generation and encoding unit
300 : TS 캡슐화부 400 : 다중화부300: TS encapsulation unit 400: multiplexing unit
110 : 특정 영역 설정부 120 : 특정 영역 갱신부110: specific region setting unit 120: specific region updating unit
210 : 장면 기술자 생성부 220 : BIFS 부호화부210: Scene descriptor generator 220: BIFS encoder
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 MPEG-4 장면 기술자를 이용하여 MPEG-2 비디오의 특정 영역을 활성화하기 위한 장치는,An apparatus for activating a specific region of MPEG-2 video using an MPEG-4 scene descriptor according to a feature of the present invention for achieving the above object,
대화형 디지털 방송용 MPEG-2 비디오에서 특정 영역을 설정하고, 시간에 따라 변하는 상기 설정된 특정 영역에 대한 정보를 갱신하는 특정 영역 설정 및 갱신부; 상기 특정 영역 설정 및 갱신부에서 출력되는 상기 특정 영역의 정보를 기반으로 MPEG-4 시스템에서 장면을 구성하기 위한 텍스트 형식의 표현인 장면 기술자를 생성하여 부호화하는 장면 기술자 생성 및 부호화부; 상기 장면 기술자 생성 및 부호화부에 의해 생성된 장면 기술자 및 이 장면 기술자에 연결될 부가 데이터를 MPEG-2 형식의 패킷으로 캡슐화하는 캡슐화부; 및 상기 캡슐화부에 의해 캡슐화된 장면 기술자 및 부가 데이터를 상기 설정된 특정 영역이 포함된 MPEG-2 비디오 데이터에 삽입하는 다중화부를 포함한다.A specific region setting and updating unit which sets a specific region in the interactive digital broadcasting MPEG-2 video and updates information on the set specific region which changes with time; A scene descriptor generator and encoder for generating and encoding a scene descriptor which is a textual representation for composing a scene in an MPEG-4 system based on the information of the specific region output from the specific region setting and updating unit; An encapsulation unit for encapsulating the scene descriptor generated by the scene descriptor generation and encoding unit and additional data to be connected to the scene descriptor into a packet of MPEG-2 format; And a multiplexer for inserting the scene descriptor and additional data encapsulated by the encapsulation part into MPEG-2 video data including the set specific area.
상기 특정 영역 설정 및 갱신부는 상기 MPEG-2 비디오에 대해서 본 방송으로 재생되고 있는 화면이외에 부가 데이터를 제공하고자 하는 상기 화면 내의 관심 대상에 대하여 특정 영역을 설정하는 특정 영역 설정부; 및 상기 특정 영역 설정부에 의해 설정된 특정 영역이 시간에 따라 변하는 MPEG-2 비디오 화면 내에서 동일한 대상을 포함하도록 상기 특정 영역의 크기 및 위치 정보를 갱신하는 특정 영역 갱신부를 포함한다.The specific region setting and updating unit may include: a specific region setting unit configured to set a specific region for an object of interest in the screen to which additional data is to be provided in addition to the screen being reproduced by the present broadcast on the MPEG-2 video; And a specific region updating unit which updates the size and position information of the specific region so that the specific region set by the specific region setting unit includes the same object in the MPEG-2 video screen which changes with time.
상기 장면 기술자 생성 및 부호화부는 상기 특정 영역 설정 및 갱신부에서 출력되는 상기 특정 영역의 정보를 이용하여 사용자에의 대화형 기능과 부가 데이터를 제공할 수 있도록 하는 상기 장면 기술자를 생성하는 장면 기술자 생성부; 및 상기 장면 기술자 생성부에 의해 생성된 장면 기술자를 이진 형식으로 부호화하는 부호화부를 포함한다.The scene descriptor generation and encoding unit generates a scene descriptor generating unit to provide an interactive function and additional data to a user by using the information of the specific region output from the specific region setting and updating unit. ; And an encoder for encoding the scene descriptor generated by the scene descriptor generator in binary format.
또한, 본 발명의 다른 특징에 따른 MPEG-4 장면 기술자를 이용하여 MPEG-2 비디오 영역을 활성화하는 방법은,In addition, a method of activating an MPEG-2 video region using an MPEG-4 scene descriptor according to another aspect of the present invention,
a) 대화형 디지털 방송용 MPEG-2 비디오에서 특정 영역을 설정하고, 시간에 따라 변하는 상기 설정된 특정 영역에 대한 정보를 갱신하는 단계; b) 상기 설정된 특정 영역의 정보를 기반으로 MPEG-4 시스템에서 장면을 구성하기 위한 텍스트 형식의 표현인 장면 기술자를 생성하여 부호화하는 단계; c) 상기 부호화된 장면 기술자와 이 장면 기술자에 연결된 부가 데이터를 MPEG-2 형식의 패킷으로 캡슐화하는 단계; 및 d) 상기 캡슐화된 장면 기술자 및 부가 데이터를 상기 설정된 특정 영역이 포함된 MPEG-2 비디오 데이터에 삽입하는 단계를 포함한다.a) setting a specific area in the MPEG-2 video for interactive digital broadcasting, and updating information on the set specific area that changes with time; b) generating and encoding a scene descriptor which is a textual representation for composing a scene in an MPEG-4 system based on the information of the specific region set; c) encapsulating the encoded scene descriptor and additional data connected to the scene descriptor into a packet of MPEG-2 format; And d) inserting the encapsulated scene descriptor and additional data into MPEG-2 video data including the set specific region.
상기 장면 기술자는 상기 부가 데이터를 기술하는 객체 기술자와 연결되는 것을 특징으로 한다.The scene descriptor is connected to an object descriptor describing the additional data.
상기 단계 c)는 i) 동기화 정보가 필요한 지의 여부를 판단하는 단계; ii) 상기 단계 i)에서 동기화 정보가 필요한 것으로 판단되는 경우, 상기 부호화된 장면 기술자 및 부가 데이터를 PES로 패킷화하는 단계; iii) 상기 단계 i)에서 동기화 정보가 필요하지 않은 것으로 판단되는 경우, 상기 부호화된 장면 기술자 및 부가 데이터를 MPEG-2의 14496 섹션으로 패킷화하는 단계; 및 iv) 상기 PES 또는 MPEG-2의 14496 섹션으로 패킷화된 장면 기술자 및 부가 데이터를 MPEG-2 TS로 캡슐화하는 단계를 포함한다.Step c) comprises the steps of i) determining whether synchronization information is required; ii) packetizing the encoded scene descriptor and the additional data into the PES if it is determined in step i) that synchronization information is required; iii) packetizing the encoded scene descriptor and additional data into section 14496 of MPEG-2 if it is determined in step i) that synchronization information is not needed; And iv) encapsulating the scene descriptor and additional data packetized into the 14496 section of the PES or MPEG-2 into an MPEG-2 TS.
또한, 본 발명의 또 다른 특징에 따른 컴퓨터 판독 가능 기록 매체는,In addition, a computer-readable recording medium according to another aspect of the present invention,
MPEG-4 장면 기술자를 이용하여 MPEG-2 비디오 영역을 활성화하는 방법에 있어서, a) 대화형 디지털 방송용 MPEG-2 비디오에서 특정 영역을 설정하고, 시간에 따라 변하는 상기 설정된 특정 영역에 대한 정보를 갱신하는 단계; b) 상기 설정된 특정 영역의 정보를 기반으로 MPEG-4 시스템에서 장면을 구성하기 위한 텍스트 형식의 표현인 장면 기술자를 생성하여 부호화하는 단계; c) 상기 부호화된 장면 기술자와 이 장면 기술자에 연결된 부가 데이터를 MPEG-2 형식의 패킷으로 캡슐화하는 단계; 및 d) 상기 캡슐화된 장면 기술자 및 부가 데이터를 상기 설정된 특정 영역이 포함된 MPEG-2 비디오 데이터에 삽입하는 단계를 실행시키기 위한 프로그램이 기록된다.A method of activating an MPEG-2 video region using an MPEG-4 scene descriptor, the method comprising: a) setting a specific region in an interactive digital broadcast MPEG-2 video, and updating information on the set specific region that changes with time; Doing; b) generating and encoding a scene descriptor which is a textual representation for composing a scene in an MPEG-4 system based on the information of the specific region set; c) encapsulating the encoded scene descriptor and additional data connected to the scene descriptor into a packet of MPEG-2 format; And d) a program for executing the step of inserting the encapsulated scene descriptor and additional data into the MPEG-2 video data including the set specific region is executed.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 실시예에 따른 MPEG-4 장면 기술자를 이용한 MPEG-2 비디오의 특정 영역 활성화 장치의 블록도이다.1 is a block diagram of an apparatus for activating a specific region of MPEG-2 video using an MPEG-4 scene descriptor according to an embodiment of the present invention.
도 1에 도시 된 바와 같이, 본 발명의 실시예에 따른 MPEG-4 장면 기술자를 이용한 MPEG-2 비디오의 특정 영역 활성화 장치는 MPEG-2 비디오의 특정 영역의 위치를 설정하고, 설정된 영역에 대한 시간에 따라 변화하는 위치 정보를 갱신하기 위한 특정 영역 설정 및 갱신부(100); 특정 영역 설정 및 갱신부(100)에서 설정된 영역에 부가 데이터를 연결하기 위해 MPEG-4 BIFS(BInary Format for Scene)의 노드를 이용하여 장면 트리를 구성하고 객체 기술자와 연동시키는 장면 기술자 생성 및 부호화부(200); 장면 기술자 자동 생성부(200)에서 생성된 장면 기술자와 제공하고자 하는 부가 데이터를 MPEG-2 전송 스트림(Transport Stream, 이하 TS라고 함) 형식으로 캡슐화하는 TS 캡슐화부(300); 및 TS 캡슐화부(300)에서 캡슐화된 TS를 MPEG-2 오디오/비디오 TS에 삽입하는 다중화부(400)를 포함한다.As illustrated in FIG. 1, an apparatus for activating a specific region of MPEG-2 video using an MPEG-4 scene descriptor according to an embodiment of the present invention sets a position of a specific region of MPEG-2 video and time for the set region. A specific area setting and updating unit 100 for updating the location information that changes according to the information; Scene descriptor generation and encoding unit for constructing a scene tree by using nodes of MPEG-4 BIFS (Binary Format for Scene) and interworking with object descriptors in order to connect additional data to the region set by the specific region setting and updating unit 100. 200; A TS encapsulation unit 300 for encapsulating the scene descriptor generated by the scene descriptor automatic generation unit 200 and additional data to be provided in an MPEG-2 transport stream (hereinafter referred to as TS) format; And a multiplexer 400 for inserting the TS encapsulated in the TS encapsulation unit 300 into the MPEG-2 audio / video TS.
다음으로, 상기 각 구성 요소의 구체적인 구성 및 동작을 좀 더 상세히 살펴보면 다음과 같다.Next, the detailed configuration and operation of each component will be described in more detail.
특정 영역 설정 및 갱신부(100)는 특정 영역 설정부(110) 및 특정 영역 갱신부(120)를 포함한다.The specific region setting and updating unit 100 includes a specific region setting unit 110 and a specific region updating unit 120.
특정 영역 설정부(110)는 MPEG-2 비디오 프레임 상에서 정지해 있는 사물 또는 움직이고 있는 사람, 동물, 사물 등과 같이 화면을 통해 방송 프로그램에서 재생되는 것 외의 추가적인 정보를 제공하고자 하는 관심 대상을 가리키는 영역을 설정한다.The specific region setting unit 110 indicates an area indicating an object of interest to provide additional information other than being reproduced in a broadcast program through a screen such as a stationary object or a moving person, an animal, or an object on an MPEG-2 video frame. Set it.
특정 영역 갱신부(120)는 MPEG-2 비디오 프레임이 시간에 따라 변화하므로 이에 따라 특정 영역 설정부(110)에서 정해진 특정 영역의 정보를 시간에 따라 갱신한다.Since the MPEG-2 video frame changes with time, the specific region updater 120 updates information of the specific region determined by the specific region setting unit 110 according to time.
다음, 장면기술자 생성 및 부호화부(200)는 장면 기술자 생성부(210) 및 BIFS 부호화부(220)를 포함한다.Next, the scene descriptor generator and encoder 200 includes a scene descriptor generator 210 and a BIFS encoder 220.
장면 기술자 생성부(210)는 특정 영역 갱신부(120)로부터 입력된 특정 영역의 정보를 기반으로 그 특정 영역에 사용자 입력이 가해졌을 경우 그 영역의 객체와 관련된 부가 데이터를 보여줄 수 있도록 MPEG-4 시스템에서 장면을 구성하기 위한 텍스트 형식의 표현인 장면 기술자를 자동적으로 생성한다.The scene descriptor generator 210 may display additional data related to the object of the region when a user input is applied to the specific region based on the information of the specific region input from the specific region updater 120. The system automatically creates scene descriptors, which are textual representations for composing scenes.
사용자의 입력은 원격 제어 장치에서 나오는 각종 센서 또는 마우스 클릭과 같은 모든 입력 장치가 가능하며, MPEG-4 BIFS의 터치 센서(touchsensor)와 같은 노드를 이용하여 입력을 인식한다.The user's input can be any input device such as various sensors or mouse clicks from the remote control device, and recognizes the input using a node such as a touch sensor of MPEG-4 BIFS.
장면 기술자는 MPEG-2 비디오와 동기화하여 타이밍에 맞추어 생성함으로써 시간에 따라 변하는 특정 영역의 위치에 적절히 연동되는 오디오/비디오/텍스트/그래픽 등의 부가 데이터를 제공할 수 있다.Scene descriptors can generate additional data such as audio / video / text / graphics that are synchronized with MPEG-2 video and generated according to timing so as to be appropriately linked to the position of a specific area that changes with time.
실제 부가 데이터에 해당하는 객체는 객체 기술자에 의해 기술되고, 초기 객체 기술자(Initial Object Descriptor : IOD)에 의해 장면 기술자와 연결된다.The object corresponding to the actual additional data is described by the object descriptor and linked with the scene descriptor by the initial object descriptor (IOD).
그리고, BIFS 부호화부(220)는 장면 기술자 생성부(210)에서 생성된 텍스트 형식의 장면 기술 정보를 이진 형식으로 부호화하여 출력한다.The BIFS encoder 220 encodes the scene description information in the text format generated by the scene descriptor generator 210 in binary format and outputs the encoded information.
BIFS는 음성 및 비주얼(visual), 텍스트, 그래픽 등의 객체와 객체들의 움직임, 시공간적인 관계를 나타내는 장면 기술자를 압축 및 전송을 위하여 이진 형식으로 부호화한 것이다.BIFS encodes objects such as voice, visual, text, and graphics, and scene descriptors that represent the movements and temporal and spatial relationships of objects in binary format for compression and transmission.
BIFS 부호화는 MPEG-4 시스템 표준의 부록 H 에서 정의하고 있는 노드 부호화 테이블(node coding table)을 기반으로 이루어진다.BIFS coding is based on the node coding table defined in Appendix H of the MPEG-4 System Standard.
다음, TS 캡슐화부(300)는 BIFS 부호화부(220)에 의해 부호화된 장면 기술자와 부가 데이터를 MPEG-2 TS와 함께 전송하기 위하여 부호화된 장면 기술자와 부가 데이터를 MPEG-4 over MPEG-2 TS 규격에 따라 MPEG-2 형식으로 캡슐화하여 출력한다.Next, the TS encapsulation unit 300 transmits the encoded scene descriptor and the additional data to the MPEG-4 over MPEG-2 TS in order to transmit the scene descriptor and the additional data encoded by the BIFS encoder 220 together with the MPEG-2 TS. Encapsulates in MPEG-2 format according to the standard and outputs.
부호화된 장면 기술자와 부가 데이터는 MPEG-2 의 14496 섹션(section) 또는 PES(Pecketized Elementary Stream) 패킷으로 캡슐화될 수 있는데, 동기화 정보, 즉 타이밍 정보를 가지는 데이터는 PES 패킷으로 패킷화된 후 MPEG-2 TS로 캡슐화 되어 전송되고, 그렇지 않은 데이터는 14496 섹션으로 패킷화된 후 캡슐화된다.The coded scene descriptor and the additional data may be encapsulated in an 14496 section or a packetized elementary stream (PES) packet of MPEG-2. The synchronization information, that is, data having timing information, is packetized into a PES packet and then MPEG- 2 is encapsulated in TS and transmitted, otherwise data is encapsulated in 14496 sections.
한편, 다중화부(400)는 TS 캡슐화부(300)로부터 입력된 장면 기술자와 부가 데이터에 대한 패킷을 실제 영상에 대응되는 MPEG-2 TS로 삽입하는 역할을 한다.Meanwhile, the multiplexer 400 inserts a packet for scene descriptor and additional data input from the TS encapsulator 300 into an MPEG-2 TS corresponding to an actual video.
MPEG-2 시스템 규격에 따라 TS 캡슐화한 장면 기술자와 부가 데이터는 타이밍 정보에 따라 동기화되어 삽입되어야 한다. 즉, MPEG-4 데이터는 PES 혹은 14496 섹션으로 패킷화된 후 TS로 캡슐화되는데, PES로 캡슐화된 장면 기술자 패킷과 부가 데이터 패킷은 동기화를 위하여 그 PTS(Presentation Time Stamp)/DTS(Decoding Time Stamp) 값에 해당하는 MPEG-2 오디오/비디오 데이터 위치 이전에 삽입되며, 14496 섹션으로 캡슐화된 장면 기술자 패킷과 부가 데이터 패킷은 적어도 특정 영역이 활성화되기를 원하는 MPEG-2 비디오 프레임 앞에 삽입되어야 한다.According to the MPEG-2 system standard, TS encapsulated scene descriptors and additional data must be inserted in synchronization according to timing information. That is, MPEG-4 data is packetized into PES or 14496 sections and then encapsulated in TS. The PES encapsulated scene descriptor packet and the additional data packet are synchronized with the PTS (Presentation Time Stamp) / DTS (Decoding Time Stamp) for synchronization. The scene descriptor packet and the additional data packet, inserted before the MPEG-2 audio / video data position corresponding to the value and encapsulated in 14496 sections, should be inserted at least before the MPEG-2 video frame where a particular area is desired to be activated.
이하, 도 2를 참조하여 본 발명의 실시예에 따른 MPEG-4 장면 기술자를 이용한 MPEG-2 비디오의 특정 영역 활성화 방법에 대해 설명한다.Hereinafter, a method of activating a specific region of MPEG-2 video using an MPEG-4 scene descriptor according to an embodiment of the present invention will be described with reference to FIG. 2.
먼저, MPEG-2 비디오 프레임으로부터 특정 영역을 설정하는데(S100), 이 과정에서 부가 데이터를 제공하고자 하는 대상에 대한 관심 영역의 정보를 이용하여 특정 영역을 설정하고, 이렇게 설정된 특정 영역에 대해 시간에 따라 변하는 정보를 갱신한다(S110).First, a specific region is set from an MPEG-2 video frame (S100). In this process, a specific region is set by using information of a region of interest on a target to which additional data is to be provided, and the specific region is set in time. The information changing accordingly is updated (S110).
그 후, 특정 영역에 대한 정보를 기반으로 사용자가 해당 영역을 지정하였을 경우 해당 부가 데이터가 보여질 수 있도록 장면 기술자를 생성한다(S120). 이러한 장면 기술자는 MPEG-4 BIFS의 노드와 노드 간의 이벤트를 전달하는 라우트(route)를 통해 사용자의 입력을 받아서 전달하고 장면 트리를 구성하며 BIFS 명령(BIFS-command)을 통해 주어진 시간 순간에 노드를 추가하거나 삭제하며 장면을 대체시킬 수 있다.Thereafter, when the user designates the corresponding region based on the information on the specific region, the scene descriptor is generated to display the corresponding additional data (S120). These scene descriptors receive and pass user input through a route that passes events between nodes in the MPEG-4 BIFS, construct the scene tree, and process nodes at a given time instant via BIFS-commands. You can add or delete scenes and replace scenes.
사용자의 입력은 센서와 관련된 노드를 통하여 받아들이고, MPEG-2 비디오 프레임과 동기화하여 타이밍에 맞추어 생성함으로써 시간에 따라 변하는 특정 영역의 위치에 적절히 연동되는 부가데이터를 제공할 수 있다.The user's input is received through a node associated with the sensor and can be generated in synchronization with MPEG-2 video frames to provide additional data that is properly linked to the location of a particular area that changes over time.
다음, 텍스트 형식으로 기술된 장면 기술자는 MPEG-4 시스템 표준의 부록 H 에서 정의하고 있는 노드 부호화 테이블에 따라 이진 형식으로 BIFS 부호화된다(S130).Next, the scene descriptor described in text format is BIFS encoded in binary format according to the node encoding table defined in Appendix H of the MPEG-4 system standard (S130).
다음의 [표 1]은 본 발명에 따른 MPEG-4 장면 기술자를 이용하여 MPEG-2 비디오의 특정 영역을 활성화하기 위하여 사용자의 입력을 받아들이는데 사용되는 BIFS 노드의 일예로 터치 센서 노드를 나타낸다.Table 1 below shows a touch sensor node as an example of a BIFS node used to receive a user's input to activate a specific region of MPEG-2 video using the MPEG-4 scene descriptor according to the present invention.
다음의 [표 2]는 [표 1]에 대한 노드 부호화 테이블을 나타낸다. [표 1]의 노드는 [표 2]의 테이블을 참조하여 이진 형식으로 부호화된다.The following [Table 2] shows a node encoding table for [Table 1]. Nodes in Table 1 are encoded in binary form with reference to the table in Table 2.
[표 1]TABLE 1
[표 2]TABLE 2
그 후, BIFS 부호화된 장면 기술자와 이 장면 기술자에 연결될 부가 데이터 객체를 MPEG-2의 TS로 캡슐화하기 전에 동기화 정보가 필요한 지의 여부를 판단한다(S140).Thereafter, it is determined whether the synchronization information is necessary before encapsulating the BIFS encoded scene descriptor and the additional data object to be connected to the scene descriptor into the TS of MPEG-2 (S140).
만약 동기화 정보가 필요한 경우에는 BIFS 부호화된 장면 기술자와 이 장면 기술자에 연결될 부가 데이터 객체를 PES 패킷으로 패킷화한 후(S160) MPEG-2 TS로 캡슐화한다(S170). 그러나 동기화 정보가 필요하지 않은 경우에는 BIFS 부호화된 장면 기술자와 이 장면 기술자에 연결된 부가 데이터 객체를 MPEG-2의 14496 섹션으로 패킷화한 후 MPEG-2 TS로 캡슐화한다(S150).If synchronization information is required, the BIFS encoded scene descriptor and the additional data object to be connected to the scene descriptor are packetized into a PES packet (S160) and then encapsulated into an MPEG-2 TS (S170). However, if the synchronization information is not needed, the BIFS encoded scene descriptor and the additional data object connected to the scene descriptor are packetized into the 14496 section of MPEG-2 and encapsulated into the MPEG-2 TS (S150).
다음, MPEG-2 TS로 캡슐화된 데이터는 본 방송 프로그램인 MPEG-2 TS와 다중화된다(S180).Next, the data encapsulated in the MPEG-2 TS is multiplexed with the MPEG-2 TS which is the present broadcast program (S180).
이 때 PES로 캡슐화된 장면 기술자와 부가 데이터는 동기화를 위하여 그PTS/DTS 값에 해당하는 MPEG-2 프로그램의 위치 이전에 삽입되며, 반면에 14496 섹션으로 캡슐화된 장면 기술자와 데이터는 적어도 특정 영역이 활성화되기를 원하는 MPEG-2 비디오 프레임 앞에 삽입된다.At this point, the scene descriptor and additional data encapsulated by the PES are inserted before the position of the MPEG-2 program corresponding to the PTS / DTS value for synchronization, while the scene descriptor and the data encapsulated by the 14496 section have at least a specific area. It is inserted before the MPEG-2 video frame that you want to activate.
상기와 같은 과정에 의해 MPEG-4 장면 기술자를 이용한 MPEG-2 비디오의 특정 영역 활성화가 가능해지고, 이에 따라 사용자 단말에서는 사용자가 방송 프로그램 화면에서 특정 영역을 직접 조작함으로써 편리하고 쉽게 부가 정보를 얻을 수 있다.By the above process, it is possible to activate a specific region of MPEG-2 video using the MPEG-4 scene descriptor. Accordingly, the user terminal can conveniently and easily obtain additional information by directly manipulating the specific region on the broadcast program screen. have.
상술한 바와 같은 본 발명의 실시예에 따른 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(CD-ROM, RAM, ROM, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.The method according to an embodiment of the present invention as described above may be implemented as a program and stored in a recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.) in a computer-readable form. have.
비록, 본 발명이 가장 실제적이며 바람직한 실시예를 참조하여 설명되었지만, 본 발명은 상기 개시된 실시예에 한정되지 않으며, 후술되는 특허청구범위 내에 속하는 다양한 변형 및 등가물들도 포함한다.Although the present invention has been described with reference to the most practical and preferred embodiments, the present invention is not limited to the above disclosed embodiments, but also includes various modifications and equivalents within the scope of the following claims.
본 발명에 따르면, MPEG-2 비디오의 특정 영역에 MPEG-4 장면 기술자를 생성하고 부가 데이터가 기술된 객체 기술자와 연동시킴으로써 대화형 디지털 방송에서 임의의 시간에 사용자의 접근을 쉽고 편리하게 하며, 부가 데이터의 활용성을 높일 수 있는 효과가 있다.According to the present invention, by creating an MPEG-4 scene descriptor in a specific area of MPEG-2 video and linking with an object descriptor in which additional data is described, it is easy and convenient for the user to access at any time in an interactive digital broadcast. This can increase the usability of the data.
Claims (11)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2001-0086264A KR100438518B1 (en) | 2001-12-27 | 2001-12-27 | Apparatus for activating specific region in mpeg-2 video using mpeg-4 scene description and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2001-0086264A KR100438518B1 (en) | 2001-12-27 | 2001-12-27 | Apparatus for activating specific region in mpeg-2 video using mpeg-4 scene description and method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20030056103A true KR20030056103A (en) | 2003-07-04 |
KR100438518B1 KR100438518B1 (en) | 2004-07-03 |
Family
ID=32214323
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR10-2001-0086264A KR100438518B1 (en) | 2001-12-27 | 2001-12-27 | Apparatus for activating specific region in mpeg-2 video using mpeg-4 scene description and method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100438518B1 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030065002A (en) * | 2002-01-29 | 2003-08-06 | 주식회사 리코시스 | Method of Transmitting Multimedia Streaming Data via Wireless Network and Receiver Using the Same |
WO2006126852A1 (en) * | 2005-05-26 | 2006-11-30 | Electronics And Telecommunications Research Institute | Method and apparatus for synchronizing data service with video service in digital multimedia broadcasting |
KR100745252B1 (en) * | 2005-10-11 | 2007-08-01 | 엘지전자 주식회사 | Selecting receive method of program in the digital broadcasting system |
KR100955578B1 (en) * | 2007-12-18 | 2010-04-30 | 한국전자통신연구원 | System and Method for stereoscopic contents display |
US7808900B2 (en) | 2004-04-12 | 2010-10-05 | Samsung Electronics Co., Ltd. | Method, apparatus, and medium for providing multimedia service considering terminal capability |
WO2011078470A2 (en) * | 2009-12-22 | 2011-06-30 | 한국전자통신연구원 | Apparatus and method for producing/regenerating contents including mpeg-2 transport streams using screen description |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0926894A1 (en) * | 1997-12-23 | 1999-06-30 | CANAL+ Société Anonyme | Scrambling unit for a digital transmission system |
EP1090505A1 (en) * | 1998-06-26 | 2001-04-11 | General Instrument Corporation | Terminal for composing and presenting mpeg-4 video programs |
JP2001333405A (en) * | 2000-05-18 | 2001-11-30 | Canon Inc | Transmitter and authentication device and multimedia reproduction system and their control method, and storage medium |
JP2003529296A (en) * | 2000-03-27 | 2003-09-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Method of inserting data of a second format into an input stream of a first format |
-
2001
- 2001-12-27 KR KR10-2001-0086264A patent/KR100438518B1/en not_active IP Right Cessation
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030065002A (en) * | 2002-01-29 | 2003-08-06 | 주식회사 리코시스 | Method of Transmitting Multimedia Streaming Data via Wireless Network and Receiver Using the Same |
US7808900B2 (en) | 2004-04-12 | 2010-10-05 | Samsung Electronics Co., Ltd. | Method, apparatus, and medium for providing multimedia service considering terminal capability |
WO2006126852A1 (en) * | 2005-05-26 | 2006-11-30 | Electronics And Telecommunications Research Institute | Method and apparatus for synchronizing data service with video service in digital multimedia broadcasting |
KR100745252B1 (en) * | 2005-10-11 | 2007-08-01 | 엘지전자 주식회사 | Selecting receive method of program in the digital broadcasting system |
KR100955578B1 (en) * | 2007-12-18 | 2010-04-30 | 한국전자통신연구원 | System and Method for stereoscopic contents display |
US8773504B2 (en) | 2007-12-18 | 2014-07-08 | Electronics And Telecommunications Research Institute | Stereoscopic content service system and method |
WO2011078470A2 (en) * | 2009-12-22 | 2011-06-30 | 한국전자통신연구원 | Apparatus and method for producing/regenerating contents including mpeg-2 transport streams using screen description |
WO2011078470A3 (en) * | 2009-12-22 | 2011-10-13 | 한국전자통신연구원 | Apparatus and method for producing/regenerating contents including mpeg-2 transport streams using screen description |
Also Published As
Publication number | Publication date |
---|---|
KR100438518B1 (en) | 2004-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6535919B1 (en) | Verification of image data | |
KR100587324B1 (en) | Method for servicing digital multimedia broadcasting, transmitter/receiver, and data structure | |
US20010000962A1 (en) | Terminal for composing and presenting MPEG-4 video programs | |
CN100531298C (en) | Multimedia signal matching system and method for performing picture-in-picture function | |
KR100439338B1 (en) | Data encoding apparatus and method for digital terrestrial data broadcasting | |
US20080133604A1 (en) | Apparatus and method for linking basic device and extended devices | |
Avaro et al. | MPEG-4 systems: overview | |
KR101134926B1 (en) | Broadcast Terminal And Method Of Controlling Vibration Of Broadcast Terminal | |
KR101131856B1 (en) | Apparatus For Transmitting Broadcast Signal And Method Of Transmitting And Receiving Broadcast Signal Using Same | |
US7149770B1 (en) | Method and system for client-server interaction in interactive communications using server routes | |
US9426506B2 (en) | Apparatuses for providing and receiving augmented broadcasting service in hybrid broadcasting environment | |
JP4194240B2 (en) | Method and system for client-server interaction in conversational communication | |
KR100438518B1 (en) | Apparatus for activating specific region in mpeg-2 video using mpeg-4 scene description and method thereof | |
KR100876462B1 (en) | How to Broadcast Multimedia Signals to Multiple Terminals | |
KR100439339B1 (en) | Apparatus and method for controlling data broadcasting server | |
KR100755839B1 (en) | Broadcasting system and method for supporting sound multiplex | |
CN107005745B (en) | Method and apparatus for encapsulating a stream of audiovisual content | |
AU2003244588B2 (en) | Verification Apparatus, Verification Method, Verification System, and Storage Medium | |
Cheok et al. | SMIL vs MPEG-4 BIFS | |
KR100513795B1 (en) | Transmitting/receiving apparatus and its method for providing synchronized event service using system time clock in digital data broadcasting system | |
KR101275211B1 (en) | method for transmitting and receiving broadcasting signal | |
Cheok et al. | DEPARTMENT OF ELECTRICAL ENGINEERING TECHNICAL REPORT | |
JPH10262226A (en) | Television broadcasting system | |
Herpel et al. | Olivier Avaro Deutsche Telekom-Berkom GmbH, Darmstadt, Germany Alexandros Eleftheriadis Columbia University, New York, New York | |
JP2001238180A (en) | Recording and reproducing apparatus of digital data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20110609 Year of fee payment: 8 |
|
LAPS | Lapse due to unpaid annual fee |