KR100896688B1 - Multimedia service providing method considering a terminal capability, and terminal used therein - Google Patents

Multimedia service providing method considering a terminal capability, and terminal used therein Download PDF

Info

Publication number
KR100896688B1
KR100896688B1 KR1020080045156A KR20080045156A KR100896688B1 KR 100896688 B1 KR100896688 B1 KR 100896688B1 KR 1020080045156 A KR1020080045156 A KR 1020080045156A KR 20080045156 A KR20080045156 A KR 20080045156A KR 100896688 B1 KR100896688 B1 KR 100896688B1
Authority
KR
South Korea
Prior art keywords
information
terminal
data
scene
server
Prior art date
Application number
KR1020080045156A
Other languages
Korean (ko)
Other versions
KR20080049701A (en
Inventor
서덕영
Original Assignee
경희대학교 산학협력단
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단, 삼성전자주식회사 filed Critical 경희대학교 산학협력단
Priority to KR1020080045156A priority Critical patent/KR100896688B1/en
Publication of KR20080049701A publication Critical patent/KR20080049701A/en
Application granted granted Critical
Publication of KR100896688B1 publication Critical patent/KR100896688B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

단말의 성능(capability)을 반영하여 멀티미디어 서비스를 제공하는 방법, 수신하는 방법 및 그에 사용되는 단말기가 개시된다. 본 발명에 따라, 멀티미디어 서비스 제공방법은 (a) 단말기의 성능(capability) 관련 정보를 수신하는 단계; 및 (b) 상기 수신한 정보에 따라 데이터를 가공하여 상기 단말기로 전송하는 단계를 포함하는 것을 특징으로 한다. 이에 의해, 서버나 프락시 서버가 단말기의 가용 자원 정보를 알고 있기 때문에 단말기에서 처리할 수 없는 높은 품질의 데이터를 전송하거나, 단말기가 처리할 수 있는 품질보다 훨씬 낮은 품질의 데이터를 전송하거나 하는 것을 방지할 수 있다.

Figure R1020080045156

Disclosed are a method for providing a multimedia service, a method for receiving the terminal, and a terminal used therein. According to the present invention, a method for providing a multimedia service includes (a) receiving capability related information of a terminal; And (b) processing the data according to the received information and transmitting the data to the terminal. This prevents the server or proxy server from transmitting high quality data that the terminal cannot process because it knows the available resource information of the terminal, or transmitting data of much lower quality than the terminal can process. can do.

Figure R1020080045156

Description

단말의 성능을 고려한 멀티미디어 서비스 제공방법 및 그에 사용되는 단말기 {Multimedia service providing method considering a terminal capability, and terminal used therein}Multimedia service providing method considering terminal performance and terminal used therein {Multimedia service providing method considering a terminal capability, and terminal used therein}

본 발명은 멀티미디어 서비스에 관한 것으로, 보다 상세하게는 단말의 성능(capability)을 반영하여 멀티미디어 서비스를 제공하는 방법, 수신하는 방법 및 그에 사용되는 단말기에 관한 것이다.The present invention relates to a multimedia service, and more particularly, to a method, a receiving method, and a terminal used for providing a multimedia service reflecting the capability of the terminal.

이동통신 단말기의 보급이 증가함에 따라 이동통신망을 이용한 여러 가지 응용 서비스가 활성화되어 가는 추세에 있으며, 이에 따라 통신망 사업자는 음성통화 위주의 이동통신 서비스에서 인터넷 서비스 및 멀티미디어 서비스를 이동통신 단말기를 통해 제공하는 것에 대하여 중점을 두고 있다. 무선통신망을 이용한 멀티미디어 서비스는 휴대전화 이외에도 PDA(Personal Digital Assistance) 및 차량에 장착되는 무선 멀티미디어 단말기를 통하여 제공될 수 있다.As the spread of mobile communication terminals increases, various application services using mobile communication networks have been activated. Accordingly, network service providers provide Internet and multimedia services through mobile communication terminals in voice communication-oriented mobile communication services. The emphasis is on doing. The multimedia service using a wireless communication network may be provided through a PDA (Personal Digital Assistance) and a wireless multimedia terminal mounted in a vehicle in addition to a mobile phone.

한편, 동영상 압축 기술에 관한 표준화 작업을 수행하고 있는 MPEG(Moving Picture Expert Group)-4 에서는 여러 제약 조건이 존재하는 단말기가 이러한 다양한 멀티미디어 서비스를 수용하기 위한 경응용 장면 표현(Lightweight Application Scene Representation, LASeR)에 대한 표준화를 진행중에 있다. 즉, 현재의 MPEG-4 표준을 확장하여, 이동통신 단말기와 같은 제한된 환경에 적합한 장면표현 방법을 표준화하는 것을 목표로 한다.Meanwhile, in Moving Picture Expert Group (MPEG-4), which is performing standardization on video compression technology, a lightweight application scene representation (LASeR) is used to allow terminals with various constraints to accommodate such various multimedia services. Standardization is in progress. In other words, it aims to extend the current MPEG-4 standard to standardize a scene expression method suitable for a limited environment such as a mobile communication terminal.

이동통신 서비스 시스템에서는 통신채널과 단말기의 자원이 제한적이다. 채널의 대역폭, 손실, 지연이 주위환경과 시간에 따라 수시로 변하고, 단말기의 소비전력, CPU, 메모리 용량이 매우 제한적이다. 이러한 제한적인 환경에서 주어진 자원을 최대한 활용하기 위해서는 환경에 적응적으로 멀티미디어 컨텐츠를 제공할 수 있어야 하고, 그러기 위해서는 단말기의 가용 자원 및 상태를 알고 있어야 한다. 그러나 종래에는 이러한 정보를 고려하지 않았기 때문에 서비스의 수신중에 서비스가 끊기거나 단말기가 다운되는 등의 문제가 있었다.In a mobile communication service system, resources of a communication channel and a terminal are limited. The bandwidth, loss, and delay of the channel change from time to time depending on the environment and time, and the power consumption, CPU, and memory capacity of the terminal are very limited. In order to make full use of a given resource in this limited environment, it is necessary to be able to provide multimedia contents adaptively to the environment, and to do so, it is necessary to know the available resources and status of the terminal. However, since such information is not considered in the related art, there is a problem that the service is interrupted or the terminal is down while receiving the service.

따라서, 본 발명이 이루고자 하는 기술적 과제는 단말의 성능(capability)을 반영하여 멀티미디어 서비스를 제공하는 방법, 수신하는 방법 및 그에 사용되는 단말기를 제공하는 것이다.Accordingly, an aspect of the present invention is to provide a method of providing a multimedia service, a method of receiving and a terminal used therein, which reflect the capability of the terminal.

상기 기술적 과제는 본 발명에 따라, (a) 단말기의 성능(capability) 관련 정보를 수신하는 단계; 및 (b) 상기 수신한 정보에 따라 데이터를 가공하여 상기 단말기로 전송하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 서비스 제공방법에 의해서 달성된다.The technical problem according to the present invention, (a) receiving the capability (capability) related information of the terminal; And (b) processing the data according to the received information and transmitting the data to the terminal.

상기 (a) 단계는, (a1) 단말기의 성능관련 정보를 문의하는 단계; (a2) 상기 정보를 적어도 하나의 센서를 통하여 측정하는 단계; 및 (a3) 측정된 값을 양자화한 값으로 변환한 값으로 수신하는 단계를 포함하는 것이 바람직하다.Step (a) comprises the steps of: (a1) querying performance related information of the terminal; (a2) measuring the information through at least one sensor; And (a3) receiving the measured value by converting the measured value into a quantized value.

또한, 상기 성능관련 정보는, 차량내부망으로부터 전송되는 차량의 가속도와 위치정보; 및 수신된 신호의 세기와 가용 비트율 정보를 포함하는 것이 바람직하다.The performance related information may include acceleration and position information of the vehicle transmitted from the vehicle internal network; And strength and available bit rate information of the received signal.

상기 (b) 단계는 상기 수신한 정보에 따라, 전송한 데이터의 서비스 품질(QoS)을 변경시켜 상기 단말기로 전송하는 것이 바람직하다.In the step (b), the quality of service (QoS) of the transmitted data may be changed and transmitted to the terminal according to the received information.

또한, 상기 기술적 과제는 (a) 단말기의 성능(capability) 관련 정보를 전송하는 단계; 및 (b) 상기 전송한 정보에 따라 가공된 데이터를 수신하는 단계를 포 함하는 것을 특징으로 하는 멀티미디어 서비스 수신방법에 의해서도 달성된다.In addition, the technical problem (a) transmitting the capability (capability) related information of the terminal; And (b) receiving the processed data according to the transmitted information.

상기 (a) 단계는, (a1) 단말기의 성능관련 정보를 문의받는 단계; (a2) 상기 정보를 적어도 하나의 센서를 통하여 측정하는 단계; 및 (a3) 상기 측정된 값을 양자화한 값으로 변환한 값으로 전송하는 단계를 포함하는 것이 바람직하다.Step (a) comprises the steps of: (a1) receiving the performance related information of the terminal; (a2) measuring the information through at least one sensor; And (a3) transmitting the measured value as a value obtained by converting the measured value into a quantized value.

또한, 상기 (b) 단계는 상기 전송한 정보에 따라, 데이터의 서비스 품질(QoS)을 변경시킨 장면 정보를, 부호화된 객체들간의 가상 시공간상의 배치를 기술하는 언어로 표현하여 만들어진 데이터를 수신하는 것이 바람직하다.In addition, the step (b) is to receive the data produced by expressing the scene information, the quality of service (QoS) of the data in accordance with the transmitted information in a language describing the arrangement in the virtual space-time between the encoded objects It is preferable.

한편, 본 발명의 다른 분야에 따르면, 상기 기술적 과제는 단말기의 성능관련정보를 측정하는 적어도 하나의 센서; 상기 측정된 정보를 소정의 포맷으로 변환하는 TermCap 핸들러; 및 상기 소정의 포맷으로 수신된 정보를 소정의 시간 간격 또는 상기 서버의 요청에 따라 수신하여 네트워크 접속부를 통하여 상기 서버로 전송하는 경응용 장면 기술엔진을 포함하는 것을 특징으로 하는 멀티미디어 단말기에 의해서도 달성된다.On the other hand, according to another field of the present invention, the technical problem is at least one sensor for measuring the performance-related information of the terminal; A TermCap handler for converting the measured information into a predetermined format; And a scene application engine for receiving information received in the predetermined format at a predetermined time interval or at the request of the server and transmitting the received information to the server through a network connection unit. .

상기 센서는, 차량 내부망으로부터의 차량관련정보를 수신하는 제1센서; 및 상기 단말기가 수신하는 데이터의 전송과 관련된 정보를 수신하는 제2센서를 포함하는 것이 바람직하다.The sensor may include a first sensor configured to receive vehicle related information from a vehicle internal network; And a second sensor for receiving information related to transmission of data received by the terminal.

전술한 바와 같이 본 발명에 따르면, 서버나 프락시 서버가 단말기의 가용 자원 정보를 알고 있기 때문에 단말기에서 처리할 수 없는 높은 품질의 데이터를 전송하거나, 단말기가 처리할 수 있는 품질보다 훨씬 낮은 품질의 데이터를 전송하 거나 하는 것을 방지할 수 있어 효율적이다.As described above, according to the present invention, since the server or the proxy server knows the available resource information of the terminal, it transmits high quality data that the terminal cannot process, or data of much lower quality than the terminal can process. It is effective because it can prevent the data transmission.

즉, 신호의 세기값을 이용하여 핸드오프가 시작됨을 감지하고, 이에 따라 비디오의 기본 계층만 전송하여 전송률을 크게 떨어뜨리면서도 비디오 서비스는 계속 유지될 수 있다. 앞으로 4세대 무선 통신망에서는 셀의 크기가 피코셀(직경 100m) 정도로 작아지므로 핸드오프에 대한 대비가 더욱 필요한 점을 고려할 때 매우 효과적이다.That is, by detecting the start of the handoff using the signal strength value, accordingly, only the base layer of the video can be transmitted, and the video service can be maintained while significantly reducing the data rate. In the 4th generation wireless communication network, the size of the cell becomes smaller as picocell (diameter 100m), which is very effective considering the need for more preparation for handoff.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

MPEG-4에서는 자연영상을 비디오 객체(Video Object, VO) 단위로 나누고, 여러개의 비디오 객체(VO)들이 모여 특정의 시간에 복수의 비디오 객체평면(VOP)을 구성한다. VOP는 MPEG-4에서 다루는 영상 데이터의 기본단위이며, 정형형상의 경우에 VOP는 MPEG-1과 MPEG-2의 프레임 또는 필드에 해당된다. 또한 합성영상의 객체로 얼굴 객체, 메쉬 객체, 텍스쳐 객체가 정의되어 있다. 정형형상 비디오 객체의 부호화를 프레임 기반 부호화라고 하고 임의형상 비디오 객체의 부호화를 객체기반 또는 내용기반 부호화라고 한다. 그리고, 비디오 객체는 형상과 텍스처로 나뉘어 부호화되고, 이 과정에서 움직임 보상 및 예측 부호화가 이용된다. MPEG-4는 이러한 다양한 객체들을 통합한 멀티미디어 부호화 표준이다.In MPEG-4, a natural image is divided into video object (VO) units, and a plurality of video object (VO) gather to form a plurality of video object planes (VOPs) at a specific time. The VOP is a basic unit of video data dealt with in MPEG-4, and in the case of a standard shape, the VOP corresponds to a frame or field of MPEG-1 and MPEG-2. In addition, face objects, mesh objects, and texture objects are defined as objects of the composite image. Encoding of the shape video object is called frame-based encoding and encoding of arbitrary shape video object is called object-based or content-based encoding. The video object is divided into shapes and textures and encoded, and motion compensation and predictive encoding are used in this process. MPEG-4 is a multimedia coding standard that integrates these various objects.

도 1은 MPEG-4 단말의 구조를 도시한 도면이다.1 is a diagram illustrating the structure of an MPEG-4 terminal.

도 1을 참조하면, MPEG-4 시스템은 장면기술(Scene description)과 다중 화(multiplexing)의 2계층으로 구성되고, 다중화 계층 아래에 기존의 전송방식(MPEG-4 시스템에서는 이것을 TransMux라고 부른다. 예를 들면 MPEG-2 TS와 ITU-T H.223 등)과의 인터페이스를 규정하는 DMIF (Delivery Multimedia Integration Framework)라 불리는 계층이 있다. 이와 같이 MPEG-4 시스템은 여러 미디어 객체(오디오, 동영상, 컴퓨터 그래픽 및 정지영상을 포함한 넓은 의미에서 미디어 객체)의 부호화 비트스트림의 다중화 및 동기뿐만 아니라, 장면기술에 따른 합성을 취급한다.Referring to FIG. 1, the MPEG-4 system is composed of two layers of scene description and multiplexing, and a conventional transmission scheme (in the MPEG-4 system, this is called TransMux) under the multiplexing layer. For example, there is a layer called DMIF (Delivery Multimedia Integration Framework) that defines the interface between MPEG-2 TS and ITU-T H.223. As such, the MPEG-4 system handles multiplexing and synchronization of encoded bitstreams of multiple media objects (media objects in a broad sense, including audio, video, computer graphics, and still images), as well as synthesis according to scene description.

이를 위해 도 1에 도시한 바와 같이, 이미 정의된 다중화 스트림 포맷 이외에 각각의 미디어 객체의 시공간적인 관계를 기술한 장면기술 정보(Scene Description Information), 장면기술(Scene Description)과 미디어 객체의 관련성과 복호에 필요한 정보를 저장하는 객체기술자(Object Descriptor)가 포함되어 있다. To this end, as illustrated in FIG. 1, in addition to the predefined multiplexed stream format, the scene description information, the scene description, and the relation and decoding of the scene description and the media object, which describe the spatiotemporal relationship of each media object. Contains an Object Descriptor that stores information needed for.

다시 말하면, MPEG-1, MPEG-2의 시스템 기술이 오디오와 비디오 정보를 혼합(multiplexing)하고 동기화(synchronization)하는 것에 대한 표준을 다루어왔던 것에 비해, MPEG-4 시스템 표준은 오디오, 비디오, 컴퓨터 그래픽스, 아바타(avatar) 등의 멀티미디어 객체를 가상 시공간에 배치하고, 사용자 상호작용을 지원하며, 저작권 보호 기술과 메타데이타(metadata) 기술을 통합하는 일반적인 멀티미디어 콘텐츠의 부호 표준을 다룬다. 멀티미디어 객체를 통합하여 하나의 멀티미디어 문서를 구성하는 표준은 VRML(Virtual Reality Modeling Language), MHEG(Multimedia and Hypermedia Expert Group), HTML(HyperText Markup Language), SMIL(Synchronized Multimedia Integration Language) 등의 다양한 표준이 있는데, 이에 해당하는 MPEG-4 시스템 분야의 표준으로 BIFS(Binary Format for Scene)가 있다.In other words, while the MPEG-1 and MPEG-2 system technologies have dealt with standards for multiplexing and synchronizing audio and video information, the MPEG-4 system standard provides for audio, video and computer graphics. It deals with the coding standards of general multimedia content, which places multimedia objects such as avatars in virtual space-time, supports user interaction, and integrates copyright protection technology and metadata technology. Standards for integrating multimedia objects to form a single multimedia document include various standards such as Virtual Reality Modeling Language (VRML), Multimedia and Hypermedia Expert Group (MHEG), HyperText Markup Language (HTML), and Synchronized Multimedia Integration Language (SMIL). One such standard is the BIFS (Binary Format for Scene).

BIFS는 인터넷 가상공간에서의 가상현실을 구성하는 언어인 VRML을 더욱 확장시킨 것으로서, 자연 또는 합성의 음성 및 영상으로 부호화된 객체들을 가상 시공간에 배치하고, 사용자가 이를 조작할 수 있는 상호작용을 기술하는 언어이다. BIFS는 이진(binary) 정보를 사용해서 장면 구성을 압축적으로 표현하며, 객체 기술자(Object Descriptor, OD)를 통해 실제 미디어 스트림들과의 연결관계를 기술한다.BIFS is an extension of VRML, a language that constitutes virtual reality in the Internet virtual space. It describes the interaction that allows users to manipulate natural or synthetic speech and video encoded objects in virtual space time. It is a language. BIFS uses binary information to compress the scene composition, and describes the connection with the actual media streams through an object descriptor (OD).

한편, 사용자에게 보여지는 화면의 구성을 장면이라 하는데, MPEG-1, MPEG-2에서는 정형화된 비디오 부호화만을 취급해 왔기 때문에 장면이라는 개념이 없었다. 그러나 MPEG-4에서는 임의의 객체를 부호화할 수 있고, 압축 부호화한 비디오 이외에도 파라미터를 지정하여 생성되는 객체도 취급할 수 있다. 또한, 사용자에게 보여지는 화면은 복수의 객체를 합성한 것으로 볼 수 있기 때문에, MPEG-4 시스템에서는 객체의 표시방법과 특성을 지정하기 위해 장면을 기술하는 것이 필요하다.On the other hand, the configuration of the screen shown to the user is called a scene, and since MPEG-1 and MPEG-2 have only dealt with standardized video encoding, there is no concept of a scene. However, MPEG-4 can encode arbitrary objects and can handle objects created by specifying parameters in addition to compression-encoded video. In addition, since the screen displayed to the user can be regarded as a composite of a plurality of objects, it is necessary to describe the scene in order to specify the display method and characteristics of the object in the MPEG-4 system.

즉, 장면이란 하나의 화면이라 할 수 있는데, 이 하나의 화면 안에는 정지영상, 텍스트, 동영상, 오디오 등 여러종류의 미디어 객체가 포함되어 있다. 따라서, 이러한 객체들 간의 공간적 위치와 시간적인 관계를 표현하는 장면 기술자(Scene Descriptor)가 필요하며, 이를 상술한 BIFS를 사용하여 표준화하고 있다. 즉, 장면 기술자는 장면내에서 미디어 객체들 간의 시간적, 공간적인 관계를 기술한다.In other words, a scene may be referred to as a screen, which includes various types of media objects such as still images, text, video, and audio. Therefore, a scene descriptor representing a spatial position and a temporal relationship between these objects is required and standardized using the aforementioned BIFS. That is, the scene descriptor describes the temporal and spatial relationship between media objects in the scene.

또한, 장면 기술자를 사용하여 객체들을 장면으로 구성하고 화면에 출력하는 것 이외에, 단말기의 성능(capability)을 표현하는 것도 BIFS에 포함되어 있다. 현재 MPEG-4 BIFS에는 단말기의 성능을 측정하는 센서에 대한 항목으로 SphereSensor, ProximitySensor, TimeSonsor, TouchSensor 등이 있으며, 단말기의 성능을 문의하는데(query) 사용하는 TermCap이 있다. TermCap은 단말의 성능을 서버로 전달하기 위한 인터페이스를 담당한다. TermCap의 항목에는 화면구성에 대한 항목들과 CPU 점유도, 메모리 점유도에 관한 항목을 포함하여 9가지 항목이 있다. 본 발명에서는 이동통신 시스템이라는 제한적인 환경을 최대한으로 이용하기 위해 단말기 성능을 측정하는 센서들과 이를 표현하는 변수를 추가한다. TermCap의 인터페이스는 다음과 같다. In addition to using scene descriptors to organize objects into scenes and output them to the screen, BIFS is also included to express the capability of the terminal. Currently, MPEG-4 BIFS includes the SphereSensor, ProximitySensor, TimeSonsor, and TouchSensor as the items for sensors that measure the performance of the terminal, and there is a TermCap used to query the performance of the terminal. TermCap is in charge of the interface for delivering the capabilities of the terminal to the server. There are nine items in the TermCap item, including items for screen composition, CPU occupancy, and memory occupancy. In the present invention, in order to make full use of the limited environment of a mobile communication system, sensors for measuring terminal performance and a variable expressing the same are added. The interface of TermCap is as follows.

TermCap{TermCap {

eventIn SFTime eveluate    eventIn SFTime eveluate

field SFInt32 capability    field SFInt32 capability

eventOut SFInt32 value    eventOut SFInt32 value

}}

여기서 capability는 단말에게 문의하고자 하는 자원(resource)을 나타내는 것으로, 프레임 레이트(frame rate), 색도(color depth), 화면 크기(screen size), 그래픽 하드웨어(graphic hardware), 오디오 출력 포맷(audio output format), 오디오 샘플링 레이트의 최대값(maximum audio sampling rate), 공간 오디오 능력(spatial audio capability), CPU 로드(CPU load) 및 메모리 로드(memory load) 등 9가지 종류가 있다. 이러한 capability와 관련된 정보를 서버가 단말기에 문의하면(query) 단말기는 그 결과를 value라는 변수를 통해 서버에 알려준다.In this case, the capability indicates a resource to be inquired of the terminal, and includes a frame rate, a color depth, a screen size, graphic hardware, and an audio output format. ), Nine types of maximum audio sampling rate, spatial audio capability, CPU load, and memory load. When the server queries the terminal for information regarding this capability, the terminal informs the server of the result through a variable called value.

도 2는 차량에 장착되어 이동하는 단말에서의 네트워크 대역폭과 데이터 전송지연의 변화를 차량의 이동속도에 대하여 도시한 그래프이다.FIG. 2 is a graph illustrating a change in network bandwidth and data transmission delay in a terminal mounted on a vehicle and moving speed of the vehicle.

도 2에서는 단말기의 일예로 CDMA 1x EV-D0 단말기를 사용하였고, 차량이 10 분동안 이동하였을 때의 네트워크 대역폭과 데이터 전송지연의 변화를 도시한 그래프이다. 원래 CDMA 1x EV-DO 단말기의 통신채널은 최대 2Mbps까지 대역폭을 가지고 있지만, 도 2를 참조하면, 차량이 이동함에 따라 대역폭은 200kbps에서 800kbps까지 계속해서 변동하는 것을 알 수 있다. 또한, 대역폭과 함께 데이터의 전송지연도 마찬가지로 변동함을 알 수 있다. 여기서 지연은 단말에서 서버로의 데이터 왕복시간인 RTT(Round Trip Time)을 측정하였다.In FIG. 2, a CDMA 1x EV-D0 terminal is used as an example of the terminal, and a graph showing a change in network bandwidth and data transmission delay when the vehicle moves for 10 minutes. Originally, the communication channel of the CDMA 1x EV-DO terminal has a bandwidth of up to 2Mbps, but referring to FIG. 2, it can be seen that the bandwidth continuously varies from 200kbps to 800kbps as the vehicle moves. In addition, it can be seen that the transmission delay of the data fluctuates similarly with the bandwidth. In this case, the delay measured round trip time (RTT), which is a round trip time from the terminal to the server.

이러한 대역폭 및 데이터 전송지연의 변화는 채널을 공유하는 사용자의 수, 단말기의 위치와 이동속도 등 여러 가지 요인에 따라 달라진다. 그러나, MPEG-4 BIFS에 포함된 장면 기술자(Scene Descriptor)에는 이러한 단말의 환경변화를 측정하고 표현하는 기술자가 없으므로 이러한 정보를 이용할 수 없다. 따라서, 서버는 단말기의 현재 상태를 알 수 없고, 단말기의 현재 가용 성능(capability)으로 처리할 수 있는 정도를 넘어서는 비트율의 데이터를 수신하면 단말기가 다운되거나 재생이 중간에 끊기는 등의 문제점이 발생할 수 있다.The change in bandwidth and data transmission delay depends on various factors such as the number of users sharing the channel, the location and the moving speed of the terminal. However, the scene descriptor included in the MPEG-4 BIFS does not have a descriptor for measuring and expressing an environment change of the terminal. Therefore, such information cannot be used. Therefore, the server may not know the current state of the terminal and may receive a problem such that the terminal is down or the playback is interrupted when receiving a data rate of a bit rate beyond the level that can be handled by the terminal's current available capability. have.

도 3은 본 발명의 경응용 단말기를 통해 멀티미디어 서비스를 제공하는 시스템을 도시한 도면이다.3 is a diagram illustrating a system for providing a multimedia service through a light application terminal of the present invention.

도 3을 참조하면, 단말기(330)는 유선 또는 무선 네트워크를 통하여 서버(310)나 프락시 서버(320)에 접속하여 멀티미디어 서비스를 제공받는다. 단말기(330)는 경응용 단말기로써, 휴대전화, PDA 및 차량에 장착되는 멀티미디어 기기를 포함한다. 단말기(330)는 현재 가용한 자원을 서버(310)나 프락시 서버(320)에 보고하여, 가용한 자원내에서 처리할 수 있는 최대 품질의 멀티미디어 데이터를 수신한다. 서버(310)나 프락시 서버(320)는 단말(330)로부터 수신한 가용자원정보에 따라 멀티미디어 데이터를 가공한다.Referring to FIG. 3, the terminal 330 is connected to the server 310 or the proxy server 320 through a wired or wireless network to receive a multimedia service. The terminal 330 is a light application terminal and includes a mobile phone, a PDA, and a multimedia device mounted in a vehicle. The terminal 330 reports the currently available resources to the server 310 or the proxy server 320 and receives the multimedia data of the highest quality that can be processed within the available resources. The server 310 or the proxy server 320 processes the multimedia data according to the available resource information received from the terminal 330.

여기서, 데이터의 가공은 서비스의 품질(Quality of Service, QoS)을 변경하는 것을 말하며, QoS에는 비트율, 손실에 대한 강인성, 데이터의 품질(비디오의 경우에는 프레임의 크기, 초당 프레임 수 등) 등이 포함된다. 또한, 단말(330)의 자원이 매우 부족할 경우에는 특정 미디어의 전송은 수행하지 않는 미디어 필터링(media filtering)을 수행할 수도 있다. 예를 들어 네트워크의 상태가 매우 나빠지면 비디오 데이터는 전송하지 않고 오디오 데이터만을 전송하여 서비스가 끊기는 것을 방지할 수 있다.Here, the processing of data refers to changing the quality of service (QoS), which includes bit rate, robustness to loss, and quality of data (frame size in video, frames per second, etc.). Included. In addition, when resources of the terminal 330 are very insufficient, media filtering may not be performed. For example, if the network becomes very bad, it is possible to prevent service interruption by transmitting only audio data without transmitting video data.

이러한 데이터의 가공을 위한 데이터 가공부의 예로, MPEG-21 DIA(Digital Item Adaptation) 기능 수행부를 들 수 있다. MPEG-21 DIA는 여러 종류의 네트워크가 혼재된 네트워크에서 디지털 아이템(예를 들어, 비디오, 오디오가 각각 하나의 디지털 아이템이 될 수 있다.)을 네트워크 조건에 맞추어 적응하는 절차와 적응을 위해 전달되는 제어정보의 포맷을 정의한다.An example of a data processing unit for processing such data may be an MPEG-21 digital item adaptation (DIA) function performing unit. The MPEG-21 DIA is used to adapt and adapt digital items (e.g., video and audio can be one digital item each) in a mixed network. Define the format of control information.

도 4는 본 발명의 일실시예에 따른 단말기의 블록도이다.4 is a block diagram of a terminal according to an embodiment of the present invention.

단말기는 오브젝트 디코더(410), 장면 구성부(420), 경응용 장면 기술 엔진(430), TermCap 핸들러(440), 복수의 센서(450a - 450d) 및 네트워크 접속부(460)를 구비한다.The terminal includes an object decoder 410, a scene configuration unit 420, a hard scene description engine 430, a TermCap handler 440, a plurality of sensors 450a-450d, and a network connection 460.

오브젝트 디코더(410)는 네트워크 접속부(460)를 통해 수신된 오브젝트 데이터를 디코딩하고, 장면 구성부(420)는 경응용 장면 기술엔진(430)으로부터 장면 구성에 관한 정보를 수신하여, 디코딩된 오브젝트 데이터를 장면에 맞게 구성하여 화면에 출력한다. 오브젝트 디코더(410)는 각각의 오브젝트를 병렬적으로 디코딩할 수 있도록 복수개의 디코더를 포함할 수 있다.The object decoder 410 decodes the object data received through the network connection unit 460, and the scene configuration unit 420 receives information about the scene configuration from the hard application scene description engine 430 and decodes the object data. To match the scene and output to the screen. The object decoder 410 may include a plurality of decoders to decode each object in parallel.

본 발명에서는 단말의 성능(capability)을 측정할 수 있는 센서를 4가지 추가하고, 이를 서버로 전달하는 인터페이스를 담당하는 TermCap을 확장한다. 센서는 차량 내부망(IVN)으로부터 전달되는 정보를 측정하는 센서(450c-450d)와 네트워크 접속부(460)로부터 전달되는 정보를 측정하는 센서(450a-450b)로 나눌 수 있다. 차량 내부망으로부터 수신하는 정보는 차량의 움직임과 관련된 정보와 차량의 위치와 관련된 정보로 구성된다. 네트워크 접속부(460)에서 수신하는 정보는 무선신호의 세기와 가용 대역폭(available bandwidth)에 대한 정보이다. 신호의 세기는 네트워크 접속부(460)에서 측정하며, 가용 대역폭 정보는 기지국 또는 액세스 포인트가 제공하거나 단말에 내장된 응용 프로그램(application program)에서 측정한다. In the present invention, it adds four sensors that can measure the capability (capability) of the terminal, and extends the TermCap that is responsible for the interface for transmitting this to the server. The sensors may be divided into sensors 450c-450d for measuring information transmitted from the vehicle internal network IVN and sensors 450a-450b for measuring information transmitted from the network connection unit 460. The information received from the vehicle internal network consists of information related to the movement of the vehicle and information related to the position of the vehicle. The information received by the network connection unit 460 is information on the strength and available bandwidth of the radio signal. The signal strength is measured by the network connection unit 460, and the available bandwidth information is measured by an application program provided by a base station or an access point or embedded in a terminal.

TermCap 핸들러(440)는 경응용 장면 기술 엔진(430)에 단말기의 성능(capability)에 대한 정보를 요구하면, 센서(450a-450d)를 이용하여 측정된 값을 경응용 장면 기술 엔진(430)과 미리 약속한 값으로 변환하여 전달한다. 이때 가능 한한 적은 비트를 사용하여 변환한다. 그 예로서 표 1 내지 표 2d를 참조하여 후술한다.When the TermCap handler 440 requests information on the capability of the terminal from the hard application scene description engine 430, the TermCap handler 440 sends the measured value using the sensors 450a-450d to the hard application scene description engine 430. Convert it to the value promised in advance and deliver it. Use as few bits as possible to convert. Examples thereof will be described later with reference to Tables 1 to 2d.

경응용 장면 기술 엔진(430)은 서버나 프락시 서버가 요청시 또는 정기적으로 TermCap 핸들러(440)에게 단말기의 성능에 대한 값을 요구한다. 요구에 대하여 전달받은 값은 후술하는 표 1 내지 표 2d를 참조하여 예를 든 것과 같이 적은 비트로 변환하여 서버나 프락시 서버에 전달한다. The hard scene description engine 430 requests a value for the performance of the terminal from the server or proxy server upon request or periodically from the TermCap handler 440. The value received for the request is converted into fewer bits and transferred to the server or the proxy server as in the example with reference to Tables 1 to 2d described below.

서버 또는 프락시 서버는 경응용 장면 기술 엔진(430)으로부터 역방향 채널을 통해서 수신된 정보를 바탕으로 장면을 변경하고 장면 표현을 변경한다. 예를 들어, 가용한 대역폭이 감소했으면, 계층화된 비디오인 경우 높은 계층의 비디오 데이터는 전송하지 않고, 낮은 계층의 비디오 데이터만을 전송하고, 전송 신호의 세기가 약해져서 패킷 손실율이 증가했으면 손실에 대한 대책을 더욱 강화한다.The server or proxy server changes the scene and changes the scene representation based on the information received from the hard application scene description engine 430 through the reverse channel. For example, if the available bandwidth is reduced, if the layered video does not transmit the higher layer video data, but transmits only the lower layer video data, and if the transmission signal becomes weak and the packet loss rate increases, the countermeasure against loss Further strengthen.

손실에 대한 대책으로 순방향 오류 정정(Forward Error Correction, FEC)이나 재전송방법을 사용할 수 있다. 인터넷으로 실시간 데이터 서비스를 할 때에는 리드 솔로몬(Reed Solomon, RS) 코딩 방법으로 FEC가 주로 사용된다. 예를 들어, 10개의 데이터 패킷을 보낼 때, 4개의 패리티(parity) 패킷을 같이 보내면 14개의 패킷중에 최대 4개의 패킷을 잃어버려도 다시 복원할 수 있다. 따라서, 손실이 더 많아지면 패리티 패킷의 전송비율을 높여서 손실에 대한 대책을 강화할 수 있다.Forward error correction (FEC) or retransmission can be used as a countermeasure against loss. For real-time data service over the Internet, FEC is mainly used as a Reed Solomon (RS) coding method. For example, when sending 10 data packets, if 4 parity packets are sent together, up to 4 packets of 14 packets can be recovered. Therefore, as the loss increases, the countermeasure against loss can be strengthened by increasing the transmission rate of the parity packet.

또한, 주문형 비디오(Video On Demand, VOD)와 같이 약간의 지연이 허용되는 서비스에서는 재전송을 제한적으로 사용할 수 있다. 1회까지 재전송을 허용하느냐, 2회까지 허용하느냐 여부는 서비스에서 허용되는 지연의 정도와 네트워크에서 왕복 지연이 얼마인가에 따라 결정된다.In addition, retransmission is limited in services that allow some delay, such as Video On Demand (VOD). Whether retransmission is allowed up to one time or up to two times depends on the amount of delay allowed in the service and how much round trip delay is in the network.

네크워크 접속부(460)의 일예로 네트워크 인터페이스 카드(Network Interface Card, NIC)를 사용할 수 있으며, 네트워크 접속부(460)는 역방향 채널을 통하여 무선채널의 상태를 수시로 서버 또는 프락시 서버에 보고한다. 무선 채널의 상태이외에 차량의 속도 정보 또는 위치 정보는 차량 내부망(IVN)을 통해 수신하여 서버 또는 프락시 서버에 전송한다.As an example of the network connection unit 460, a network interface card (NIC) may be used, and the network connection unit 460 reports a state of a wireless channel to a server or a proxy server from time to time through a reverse channel. In addition to the state of the radio channel, the speed information or the position information of the vehicle is received through the vehicle internal network (IVN) and transmitted to the server or proxy server.

네크워크 접속부(460)는 무선 랜 또는 이동통신망에 접속되어 멀티미디어 컨텐츠를 수신한다. 네크워크 접속부(460)는 무선 채널의 현재신호세기(signal strength) 정보를 데시벨(decibel, dB) 단위로 수신하며, 가용 대역폭(available bandwidth) 정보도 기지국으로부터 수신한다. 가용 대역폭은 채널을 사용하고 있는 사용자의 수와 채널의 전파이득(propagation gain)의 정도에 의해서 결정된다. 또한, 차량의 이동에 의하여 기지국이 변경되는 핸드오프가 발생하는 것에 대한 정보도 네트워크 접속부(460)를 통하여 수신한다.The network connection unit 460 is connected to a wireless LAN or a mobile communication network to receive multimedia content. The network access unit 460 receives signal strength information of a wireless channel in decibels (dB) and also receives available bandwidth information from a base station. The available bandwidth is determined by the number of users using the channel and the degree of propagation gain of the channel. In addition, the network connection unit 460 also receives information about a handoff in which the base station is changed by the movement of the vehicle.

차량 내부망(IVN)은 차량에 장착된 각종 센서 등을 통하여 수신한 차량의 속도, 위치 등에 대한 정보를 차량의 각 구성부들이 서로 주고 받기 위한 네트워크로, 차량 내부망(IVN)을 통해 차량의 위치에 대한 정보와 이동속도(특히, 가속도)에 대한 정보를 수신한다. 위치 정보를 이용하여 단말기는 액세스 포인트(Access Point, AP)까지의 거리 또는 기지국까지의 거리를 측정할 수 있다. 신호의 세기는 액세스 포인트(AP) 또는 기지국까지의 거리에 따라 약해진다. CDMA 채널의 품질은 차량의 속도, 본 실시예에서는 가속도와 상관관계를 가진다. 이는 차량이 가속되는 경우 도플러효과(Doppler effect) 때문에 디지털 복조과정에서 동기화가 어렵기 때문이다. The vehicle internal network IVN is a network for each component of the vehicle to exchange information about the speed, location, and the like received through various sensors mounted on the vehicle, and the vehicle internal network IVN. Receive information about position and speed of movement (especially acceleration). The terminal may measure the distance to the access point (AP) or the base station using the location information. The strength of the signal weakens depending on the distance to the access point (AP) or base station. The quality of the CDMA channel correlates with the speed of the vehicle, in this embodiment acceleration. This is because synchronization in the digital demodulation process is difficult due to the Doppler effect when the vehicle is accelerated.

따라서, 멀티미디어 데이터 전송에 영향을 미치는 항목들에 대한 정보를 서버에 제공하여, 주어진 자원을 최대한 활용하는 것이다. 이를 위하여 단말기의 성능(capability)에 대한 항목 4가지를 MPEG-4 BIFS에 추가한다. 이렇게 추가된 항목을 포함하여 단말기의 성능에 대한 항목을 정리하면 다음 표 1과 같다. 표 1은 단말기의 성능에 대한 항목들을 정리한 도표이다.Therefore, by providing information on the items affecting the multimedia data transmission to the server, to maximize the given resources. To this end, four items on the capability of the terminal are added to MPEG-4 BIFS. The following table summarizes the performance of the terminal, including the added items. Table 1 is a table showing the items of the performance of the terminal.

capabilitycapability 의미meaning 00 프레임 레이트(frame rate)Frame rate 1One 색도(color depth)Color depth 22 화면 크기(screen size)Screen size 33 그래픽 하드웨어(graphic hardware)Graphic hardware 2121 신호 세기(signal strength)Signal strength 2222 가용 비트율(available bitrate)Available bitrate 2323 가속도(acceleration of vehicle)Acceleration of vehicle 2424 위치 정보(location)Location 3232 오디오 출력포맷(audio output format)Audio output format 3333 최대 오디오 샘플링레이트Maximum audio sampling rate 3434 공간 오디오 능력(spatial audio capability)Spatial audio capability 6464 CPU 로드(CPU load)CPU load 6565 메모리 로드(memory load)Memory load

표 1을 참조하면, TermCap 핸들러(440)에서 수신하는 정보로서 신호의 세기(signal strength), 가용 비트율(available bitrate), 가속도(acceleration of vehicle), 위치정보(특히, 기지국이나 액세스 포인트로부터의 거리)가 추가되어 있음을 알 수 있다. 가속도는 기지국 또는 액세스 포인트와의 직선거리에 대한 가속도를 말한다. 지구가 태양을 공전하듯이, 기지국 또는 액세스 포인트를 중심으로 회전할 때에는 기지국 또는 액세스 포인트로부터 거리가 변하지 않으므로 가속도가 없다고 할 수 있다. 만일 기지국 또는 액세스 포인트로부터 거리를 측정할 수 없으면 차량의 실제 가속도를 그대로 사용한다. 추가된 항목들은 시스템과 미리 약속된 값으로 표현된다. 표 2a 내지 표 2d는 추가된 항목들에 대한 값을 시스템과 미리 약속한 값으로 지정한 예를 도시한 도표이다.Referring to Table 1, signal strength, available bitrate, acceleration of vehicle, location information (especially, distance from a base station or an access point) as information received by the TermCap handler 440. You can see that) is added. Acceleration refers to acceleration over a straight line distance from a base station or an access point. As the earth revolves around the sun, it can be said that there is no acceleration because the distance from the base station or access point does not change when rotating about the base station or access point. If the distance cannot be measured from the base station or access point, the actual acceleration of the vehicle is used as it is. The added items are expressed in advance with the system. Tables 2a to 2d are diagrams showing examples of assigning values for added items to values previously promised by the system.

약속된 값Promised value 신호세기Signal strength 00 미정 Undefined 1One 10dB 이하 10 dB or less 22 10-20dB 10-20 dB 33 20-30dB 20-30dB 44 30-50dB 30-50dB 55 50dB 이상 50 dB or more

약속된 값Promised value 가용비트율Available Bit Rate 00 미정 Undefined 1One 20kbps 이하 20 kbps or less 22 20-100kbps  20-100 kbps 33 100-500kbps 100-500 kbps 44 500kbps-1Mbps 500 kbps-1 Mbps 55 1-2Mbps 1-2 Mbps 66 2-6Mbps 2-6 Mbps 77 6Mbps 이상 6 Mbps or more

약속된 값Promised value 가속도acceleration 00 미정 Undefined 1One 0.1m/sec2 이하0.1 m / sec 2 or less 22 0.1-0.5m/sec2 0.1-0.5m / sec 2 33 0.5-1m/sec2 0.5-1 m / sec 2 44 1-5m/sec2 1-5m / sec 2 55 5m/sec2 이상5 m / sec 2 or more

약속된 값Promised value 기지국이나 액세스 포인트로부터의 거리Distance from base station or access point 00 미정 Undefined 1One 1m 이하 1m or less 22 1-10m 1-10m 33 10-100m 10-100m 44 100-1000m 100-1000m 55 1000m 이상 More than 1000m

표 1에서 추가된 4가지 항목들은 상술한 TermCap의 신택스(syntax)를 따라 표현될 수 있다.Four items added in Table 1 may be expressed according to the syntax of the TermCap described above.

시간에 따라 단말기의 상술한 성능(capability)가 변하므로, 이를 반영하여 멀티미디어 데이터의 품질을 적응적으로 변경시켜야 하며, 장면 표현을 위한 장면 기술자(scene descriptor)도 변경되어야 한다. 즉, MPEG-4 BIFS를 이용하는 경우 장면기술자는 각각 객체들(예를 들어, 비디오, 오디오, 배경 그림 등)이 나타나는 시간, 위치, 배율 등을 기술하는데, 멀티미디어 데이터의 품질이 바뀌어서 크기가 달라졌거나, 어떤 객체를 제거하거나 새로 넣는 경우에는 장면기술자를 이에 수정하여야 한다. 수정하기 위해 BIFS에서 사용하는 명령어인 modify, insert, delete, pause 등을 사용할 수 있다.Since the above-mentioned capability of the terminal changes with time, the quality of multimedia data must be adaptively changed to reflect this, and a scene descriptor for scene representation must also be changed. In other words, when using MPEG-4 BIFS, the scene descriptor describes the time, position, and magnification of each object (eg, video, audio, background picture, etc.). In the case of removing or reinserting an object, the scene descriptor must be modified. You can use the commands BIFS uses to modify, insert, delete, pause, and so on.

계층화(scalability)가 가능한 멀티미디어 코덱은 본 발명과 관련하여 유용하게 사용될 수 있다. 인터넷 표준화기구인 IETF(Internet Engineering Task Force)에서 표준화중인 RTP(Real Time Protocol)/AVPF(Audio Visual Profile with early Feedback)의 역방향 시그널링과 연동하여 본 발명을 효과적으로 사용할 수 있다. 현재 AVPF에서는 다음과 같이 피드백 신호가 정의되어 있다. 즉, 피드백 신호값에 따라, 0: unassigned, 1: Picture Loss Indication, 2: Slice Lost Indication, 3: Reference Picture Selection Indication (RPSI)로 정의되어 있다.A multimedia codec capable of scalability may be usefully used in connection with the present invention. The present invention can be effectively used by interworking with reverse signaling of Real Time Protocol (RTP) / Audio Visual Profile with early Feedback (AVPF) being standardized by the Internet Engineering Task Force (IETF). In AVPF, the feedback signal is defined as follows. That is, according to the feedback signal value, 0: unassigned, 1: Picture Loss Indication, 2: Slice Lost Indication, and 3: Reference Picture Selection Indication (RPSI).

이들 피드백 신호는 RTCP(Realtime Control Protocol)의 RR(Receiver Report) 패킷에 담아서 보낼 수 있다. RTCP RR에 사용자가 정의할 수 있는 필드에 TermCap 핸들러에서 처리한 데이터를 담아서 보낼 수 있다. 이에 맞추어 서버나 프락시 서버는 멀티미디어 데이터이 품질을 적절하게 변경할 수 있다. 예를 들어, 계층 부호화된 비디오의 경우에는 가용 비트율에 맞게 전송할 계층을 선택할 수 있다. 또한, 신호의 세기에 따라 패킷 손실율을 예측하여 예측된 패킷 손실율에 따라 패리티 패킷의 비율을 결정할 수 있다. 패리티 패킷의 비율은 패킷 손실율의 2배 정도가 바람직하다. 즉, 손실율이 10%이면, 16개 데이터 패킷을 보낼 때, 4개의 패리티 패킷을 만들어 같이 보내는 것이 바람직하다. These feedback signals can be sent in a RR (Receiver Report) packet of the Realtime Control Protocol (RTCP). You can send the data processed by the TermCap handler in a user-definable field in the RTCP RR. In response, the server or proxy server can appropriately change the quality of the multimedia data. For example, in the case of hierarchically coded video, a layer to be transmitted may be selected according to an available bit rate. In addition, the packet loss rate may be predicted according to the signal strength, and the ratio of the parity packet may be determined according to the predicted packet loss rate. The ratio of parity packets is preferably about twice the packet loss rate. That is, if the loss rate is 10%, it is preferable to make four parity packets and send them together when sending 16 data packets.

도 5는 본 발명의 서비스 제공방법의 플로우차트이다.5 is a flowchart of a service providing method of the present invention.

경응용 장면 기술 엔진(430)이 TermCap 핸들러(440)에게 단말기의 현재 성능(capability)과 관련된 정보를 문의(query)하면(S510), TermCap 핸들러(440)는 그 문의를 해당 센서들중에 하나에게 요구한다(S520). 센서는 네트워크 접속부(460) 또는 차량 내부망으로부터, 요청한 값을 측정하여 TermCap 핸들러(440)에게 전달한다(S530). TermCap 핸들러(440)는 전달받은 값을 양자화한 값으로 변환하여 경응용 장면 기술 엔진(430)에게 전달하면(S540), 경응용 장면 기술 엔진(430)은 요청한 성능(capability) 항목과 그에 대응되는 양자화한 값을 포맷팅하여 서버 또는 프락시 서버로 전달한다(S550). 서버나 프락시 서버는 이 정보를 반영하여 장면 및 장면 기술자를 바꾸어 멀티미디어 데이터를 재구성하여 단말에 제공한다(S560).When the hard application scene description engine 430 queries the TermCap handler 440 for information related to the current capability of the terminal (S510), the TermCap handler 440 sends the query to one of the corresponding sensors. Request (S520). The sensor measures the requested value from the network connection unit 460 or the vehicle internal network and transmits the requested value to the TermCap handler 440 (S530). When the TermCap handler 440 converts the received value into a quantized value and transmits it to the light application scene description engine 430 (S540), the light application scene description engine 430 corresponds to the requested capability item and the corresponding capability item. The quantized value is formatted and transmitted to the server or proxy server (S550). The server or proxy server reflects this information, changes scenes and scene descriptors, reconstructs multimedia data, and provides the terminal to the terminal (S560).

도 6은 무선 랜에서 하나의 액세스 포인트에서 다른 액세스 포인트로의 핸드오프 발생시에 본 발명에 따른 서비스 제공시 비디오 품질의 변화를 도시한 그래프이다.6 is a graph illustrating a change in video quality when providing a service according to the present invention when a handoff occurs from one access point to another in a WLAN.

계층화된 비디오를 비디오는 계층화 인코딩된 것을 이용하였다. 두 개의 액세스 포인트와 각각 데이터를 주고 받을 수 있도록 네트워크 인터페이스를 두 개 가지고 있는 듀얼 채널 모드(dual channel mode)에서 비디오 품질이 가장 우수하기는 하지만, 본 발명과 같이 단말의 성능(capability)에 관한 정보를 수신하여 그에 맞게 멀티미디어 데이터를 가공하여 제공하는 경우에는 핸드오프시에 비디오의 품질은 다소 떨어지지만, 데이터의 끊어짐은 없음을 알 수 있다.For layered video, the video uses layered encoding. Although the video quality is the best in the dual channel mode, which has two network interfaces to exchange data with two access points, respectively, information about the capability of the terminal as in the present invention. In the case of receiving the multimedia data and processing the multimedia data accordingly, the quality of the video is somewhat reduced during the handoff, but the data is not broken.

이에 비하여 종래와 같이 채널 상태에 대한 정보를 수신하지 않고 일방적으로 멀티미디어 데이터를 제공하는 경우에는 핸드오프시 데이터가 끊기거나 하는 현상이 발생함을 알 수 있다.On the other hand, when multimedia data is unilaterally provided without receiving information on a channel state as in the related art, it can be seen that a phenomenon in which the data is cut off during handoff occurs.

한편, 전술한 멀티미디어 서비스 제공방법은 컴퓨터 프로그램으로 작성 가능하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 멀티미디어 서비스 제공방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체, 및 캐리어 웨이브 매체를 포함한다.On the other hand, the above-described multimedia service providing method can be created by a computer program. Codes and code segments constituting the program can be easily inferred by a computer programmer in the art. In addition, the program is stored in a computer readable media (computer readable media), and read and executed by a computer to implement a multimedia service providing method. The information storage medium includes a magnetic recording medium, an optical recording medium, and a carrier wave medium.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

도 1은 MPEG-4 단말의 구조를 도시한 도면,1 is a diagram illustrating a structure of an MPEG-4 terminal;

도 2는 차량에 장착되어 이동하는 단말에서의 네트워크 대역폭과 데이터 전송지연의 변화를 차량의 이동속도에 대하여 도시한 그래프,2 is a graph showing a change in network bandwidth and data transmission delay in a terminal mounted on a vehicle and moving speed of the vehicle;

도 3은 본 발명의 경응용 단말기를 통해 멀티미디어 서비스를 제공하는 시스템을 도시한 도면,3 is a diagram showing a system for providing a multimedia service through a light application terminal of the present invention;

도 4는 본 발명의 일실시예에 따른 단말기의 블록도,4 is a block diagram of a terminal according to an embodiment of the present invention;

도 5는 본 발명의 멀티미디어 서비스 제공방법의 플로우차트,5 is a flowchart of a method for providing a multimedia service of the present invention;

도 6은 무선 랜에서 하나의 액세스 포인트에서 다른 액세스 포인트로의 핸드오프 발생시에 본 발명에 따른 서비스 제공시 비디오 품질의 변화를 도시한 그래프이다.6 is a graph illustrating a change in video quality when providing a service according to the present invention when a handoff occurs from one access point to another in a WLAN.

Claims (22)

서버가 단말기에 멀티미디어 데이터를 제공하는 방법에 있어서,In the method for providing multimedia data to the terminal, (a) 상기 데이터의 전송에 영향을 미치는 항목들에 대한 정보를 상기 단말기로부터 수신하는 단계; 및(a) receiving information about items affecting the transmission of the data from the terminal; And (b) 상기 수신한 정보에 따라 데이터의 서비스 품질(QoS)를 변경시켜 상기 단말기에 전송하는 단계를 포함하고,(b) changing the quality of service (QoS) of the data according to the received information and transmitting it to the terminal; 상기 데이터 전송에 영향을 미치는 항목들에 대한 정보는 상기 데이터의 전송에 이용되는 무선 신호의 세기(signal strength), 상기 무선 신호의 가용 비트율(available bitrate), 상기 단말기가 장착된 차량의 가속도(acceleration of vehicle) 및 기지국 또는 액세스 포인트로부터 상기 단말기까지의 거리에 대한 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 멀티미디어 서비스 제공방법.Information on the items affecting the data transmission includes the signal strength of the radio signal used for the data transmission, the available bitrate of the radio signal, and the acceleration of the vehicle equipped with the terminal. and at least one of information on a distance from a base station or an access point to the terminal. 제1항에 있어서, 상기 (a) 단계는The method of claim 1, wherein step (a) (a1) 상기 데이터의 전송에 영향을 미치는 항목들에 대한 정보를 상기 단말기에 문의하는 단계;(a1) querying the terminal for information on items affecting the transmission of the data; (a2) 상기 단말기가 적어도 하나의 센서를 통하여 측정한 상기 정보를 양자화한 값으로 변환한 값으로 수신하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 서비스 제공방법.and (a2) receiving, by the terminal, a value obtained by converting the information measured by at least one sensor into a quantized value. 삭제delete 삭제delete 제1항에 있어서,The method of claim 1, 상기 서비스 품질은 송신 데이터의 비트율, 비디오 프레임의 크기 및 초당 프레임 수를 포함하는 것을 특징으로 하는 멀티미디어 서비스 제공방법.The quality of service comprises a bit rate of transmission data, the size of the video frame and the number of frames per second. 제1항에 있어서, 상기 (b) 단계는The method of claim 1, wherein step (b) 상기 수신한 정보에 따라 상기 데이터에 포함된 특정 데이터는 전송하지 않는 미디어 필터링(media filtering)을 수행하여 비디오 데이터 또는 오디오 데이터는 전송하지 않는 것을 특징으로 하는 멀티미디어 서비스 제공방법.The method according to the received information, characterized in that the media filtering (media filtering) does not transmit the specific data included in the data to transmit the video data or audio data characterized in that the transmission. 제1항에 있어서, 상기 (b) 단계는The method of claim 1, wherein step (b) 상기 수신한 정보에 따라, 전송할 데이터의 서비스 품질(QoS)을 변경시킨 장면 정보를, 부호화된 객체들간의 가상 시공간상의 배치를 기술하는 언어로 표현하여 단말기로 전송하는 것을 특징으로 하는 멀티미디어 서비스 제공방법.The multimedia information providing method according to the received information, the scene information, which changes the quality of service (QoS) of the data to be transmitted, is expressed in a language describing a virtual space-time arrangement between the encoded objects and transmitted to the terminal. . 제7항에 있어서,The method of claim 7, wherein 상기 언어는 이진 정보를 사용해서 장면 구성을 압축적으로 표현하며, 객체 기술자(Object Descriptor)를 통해 실제 미디어 스트림들과의 연결관계를 기술하는 BIFS(Binary Format for Scene) 언어인 것을 특징으로 하는 멀티미디어 서비스 제공방법.The language is a BIFS (Binary Format for Scene) language that uses binary information to express a scene composition in a compact manner and describes a connection relationship with actual media streams through an object descriptor. How to Provide Services. 제8항에 있어서, 상기 BIFS는The method of claim 8, wherein the BIFS is 각각의 미디어 객체들이 나타나는 시간, 위치, 배율을 기술하는 장면 기술자를 사용하며, 멀티미디어 데이터의 품질이 바뀌어서 크기가 달라졌거나, 어떤 객체를 제거하거나 새로 넣는 경우에는 장면기술자를 이에 맞게 수정하는 것을 특징으로 하는 멀티미디어 서비스 제공방법.It uses scene descriptors to describe the time, location, and scale of each media object, and changes the size of the scene descriptor when the quality of multimedia data changes, or when removing or inserting a new object. Multimedia service providing method. 제1항에 있어서, The method of claim 1, 상기 데이터 전송에 영향을 미치는 항목들에 대한 정보는 RTCP(Realtime Control Protocol)의 RR(Receiver Report) 패킷에 담아서 수신하는 것을 특징으로 하는 멀티미디어 서비스 제공방법.The information on the items affecting the data transmission is a multimedia service providing method characterized in that it is received in a RR (Receiver Report) packet of the Realtime Control Protocol (RTCP). 단말기가 서버로부터 멀티미디어 데이터를 수신하는 방법에 있어서,In the method for the terminal to receive multimedia data from the server, (a) 상기 데이터의 전송에 영향을 미치는 항목들에 대한 정보를 서버에 전송하는 단계; 및(a) transmitting information about items affecting the transmission of the data to a server; And (b) 상기 전송한 정보에 따라 서비스 품질(QoS)이 변경된 데이터를 상기 서버로부터 수신하는 단계를 포함하고,(b) receiving, from the server, data whose quality of service (QoS) has been changed according to the transmitted information; 상기 데이터 전송에 영향을 미치는 항목들에 대한 정보는 상기 데이터의 전송에 이용되는 무선 신호의 세기(signal strength), 상기 무선 신호의 가용 비트율(available bitrate), 상기 단말기가 장착된 차량의 가속도(acceleration of vehicle) 및 기지국 또는 액세스 포인트로부터 상기 단말기까지의 거리에 대한 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 멀티미디어 서비스 수신방법.Information on the items affecting the data transmission includes the signal strength of the radio signal used for the data transmission, the available bitrate of the radio signal, and the acceleration of the vehicle equipped with the terminal. and at least one of information on a distance from a base station or an access point to the terminal. 제11항에 있어서, 상기 (a) 단계는The method of claim 11, wherein step (a) (a1) 데이터 전송에 영향을 미치는 항목들에 대한 정보를 문의받는 단계;(a1) receiving information about items affecting data transmission; (a2) 상기 정보를 적어도 하나의 센서를 통하여 측정하는 단계; 및(a2) measuring the information through at least one sensor; And (a3) 상기 측정된 값을 양자화한 값으로 변환한 값으로 전송하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 서비스 수신방법.(a3) receiving the multimedia service by converting the measured value into a quantized value. 삭제delete 제11항에 있어서, 상기 (b) 단계는The method of claim 11, wherein step (b) 상기 전송한 정보에 따라, 서비스 품질(QoS)이 변경된 장면 정보를, 부호화된 객체들간의 가상 시공간상의 배치를 기술하는 언어로 표현하여 만들어진 데이터를 수신하는 것을 특징으로 하는 멀티미디어 서비스 수신방법.And receiving data generated by expressing scene information whose quality of service (QoS) has been changed in accordance with the transmitted information in a language that describes the arrangement in virtual space-time between coded objects. 제14항에 있어서,The method of claim 14, 상기 언어는 이진 정보를 사용해서 장면 구성을 압축적으로 표현하며, 객체 기술자(Object Descriptor)를 통해 실제 미디어 스트림들과의 연결관계를 기술하는 BIFS(Binary Format for Scene) 언어인 것을 특징으로 하는 멀티미디어 서비스 수신방법.The language is a BIFS (Binary Format for Scene) language that uses binary information to express a scene composition in a compact manner and describes a connection relationship with actual media streams through an object descriptor. How to receive service. 서버로부터 멀티미디어 데이터를 수신하는 단말기에 있어서,A terminal for receiving multimedia data from a server, 상기 데이터의 전송에 영향을 미치는 항목들에 대한 정보를 측정하는 적어도 하나의 센서;At least one sensor for measuring information on items affecting the transmission of the data; 상기 측정된 정보를 미리 약속된 값으로 변환하는 TermCap 핸들러; 및A TermCap handler for converting the measured information into a predetermined value; And 상기 미리 약속된 값으로 변환된 정보를 서버가 요청시 또는 주기적으로 수신하여 네트워크 접속부를 통하여 상기 서버에 전송하는 경응용 장면 기술엔진을 포함하고,And a scene application engine for receiving information converted into a predetermined value upon request or periodically by the server and transmitting the information to the server through a network connection unit. 상기 데이터 전송에 영향을 미치는 항목들에 대한 정보는 상기 데이터의 전송에 이용되는 무선 신호의 세기(signal strength), 상기 무선 신호의 가용 비트율(available bitrate), 상기 단말기가 장착된 차량의 가속도(acceleration of vehicle) 및 기지국 또는 액세스 포인트로부터 상기 단말기까지의 거리에 대한 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 멀티미디어 단말기.Information on the items affecting the data transmission includes the signal strength of the radio signal used for the data transmission, the available bitrate of the radio signal, and the acceleration of the vehicle equipped with the terminal. and at least one of information about a distance from a base station or an access point to the terminal. 제16항에 있어서, 상기 센서는The method of claim 16, wherein the sensor 차량 내부망으로부터의 차량관련정보를 수신하는 제1센서; 및A first sensor for receiving vehicle related information from a vehicle internal network; And 상기 단말기가 수신하는 데이터의 전송과 관련된 정보를 수신하는 제2센서를 포함하는 것을 특징으로 하는 멀티미디어 단말기.And a second sensor for receiving information related to transmission of data received by the terminal. 삭제delete 제17항에 있어서, 상기 제2센서는The method of claim 17, wherein the second sensor 수신한 데이터 신호의 세기와 가용 비트율을 측정하는 것을 특징으로 하는 멀티미디어 단말기.And measuring the strength and available bit rate of the received data signal. 제16항에 있어서,The method of claim 16, 상기 네트워크 접속부를 통해 상기 서버로부터 수신한 멀티미디어 데이터를 오브젝트 단위로 각각 디코딩하는 오브젝트 디코더; 및An object decoder to decode multimedia data received from the server through the network connection unit in object units; And 상기 서버로부터 장면 표현정보를 수신하여 상기 디코딩된 오브젝트들을 하나의 장면으로 재구성하여 화면으로 출력하는 장면 구성부를 더 포함하는 것을 특징으로 하는 멀티미디어 단말기.And a scene configuration unit which receives scene representation information from the server, reconstructs the decoded objects into a scene, and outputs the scene to a screen. 제 1항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium having recorded thereon a program for executing the method of claim 1. 제 11 항의 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium having recorded thereon a program for executing the method of claim 11.
KR1020080045156A 2008-05-15 2008-05-15 Multimedia service providing method considering a terminal capability, and terminal used therein KR100896688B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080045156A KR100896688B1 (en) 2008-05-15 2008-05-15 Multimedia service providing method considering a terminal capability, and terminal used therein

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080045156A KR100896688B1 (en) 2008-05-15 2008-05-15 Multimedia service providing method considering a terminal capability, and terminal used therein

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020040028636A Division KR20050103374A (en) 2004-04-12 2004-04-26 Multimedia service providing method considering a terminal capability, and terminal used therein

Publications (2)

Publication Number Publication Date
KR20080049701A KR20080049701A (en) 2008-06-04
KR100896688B1 true KR100896688B1 (en) 2009-05-14

Family

ID=39805375

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080045156A KR100896688B1 (en) 2008-05-15 2008-05-15 Multimedia service providing method considering a terminal capability, and terminal used therein

Country Status (1)

Country Link
KR (1) KR100896688B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015016584A1 (en) * 2013-07-29 2015-02-05 삼성전자주식회사 Method and device for providing multimedia service
WO2016003254A1 (en) * 2014-07-04 2016-01-07 삼성전자 주식회사 Devices and methods for transmitting/receiving data in communication system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220012658A (en) 2020-07-23 2022-02-04 삼성전자주식회사 Methods and apparatus for trnasmitting 3d xr media data

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001045097A (en) 1999-07-30 2001-02-16 Kyocera Corp Communication terminal or communication system
KR20050024585A (en) * 2003-09-03 2005-03-10 학교법인 고황재단 METHOD AND APPARATUS FOR DELIVERING MPEG MEDIA DATA USING IETF QoS PROTOCOLS

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001045097A (en) 1999-07-30 2001-02-16 Kyocera Corp Communication terminal or communication system
KR20050024585A (en) * 2003-09-03 2005-03-10 학교법인 고황재단 METHOD AND APPARATUS FOR DELIVERING MPEG MEDIA DATA USING IETF QoS PROTOCOLS

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015016584A1 (en) * 2013-07-29 2015-02-05 삼성전자주식회사 Method and device for providing multimedia service
WO2016003254A1 (en) * 2014-07-04 2016-01-07 삼성전자 주식회사 Devices and methods for transmitting/receiving data in communication system
US10701408B2 (en) 2014-07-04 2020-06-30 Samsung Electronics Co., Ltd. Devices and methods for transmitting/receiving data in communication system

Also Published As

Publication number Publication date
KR20080049701A (en) 2008-06-04

Similar Documents

Publication Publication Date Title
EP1594287B1 (en) Method, apparatus and medium for providing multimedia service considering terminal capability
EP1407596B1 (en) Video stream switching
KR100995968B1 (en) Multiple interoperability points for scalable media coding and transmission
US20050123042A1 (en) Moving picture streaming file, method and system for moving picture streaming service of mobile communication terminal
US7010032B1 (en) Moving image coding apparatus and decoding apparatus
CN105187850B (en) The method and apparatus that the information of encoded video data is provided and receives encoded video data
CN103210642B (en) Occur during expression switching, to transmit the method for the scalable HTTP streams for reproducing naturally during HTTP streamings
US20110274180A1 (en) Method and apparatus for transmitting and receiving layered coded video
US20160037176A1 (en) Automatic and adaptive selection of profiles for adaptive bit rate streaming
CN104735470A (en) Streaming media data transmission method and device
CN103814562A (en) Signaling characteristics of segments for network streaming of media data
CN101009824A (en) A network transfer method for audio/video data
CN115943631A (en) Streaming media data comprising addressable resource index tracks with switching sets
KR20100007368A (en) System for controlling bit rate of streaming service and method thereof
KR100896688B1 (en) Multimedia service providing method considering a terminal capability, and terminal used therein
US20010055341A1 (en) Communication system with MPEG-4 remote access terminal
US20070110168A1 (en) Method for generating high quality, low delay video streaming
KR20050103374A (en) Multimedia service providing method considering a terminal capability, and terminal used therein
KR20180065562A (en) Multimedia service providing method considering a terminal capability, and terminal used therein
CN114470745A (en) Cloud game implementation method, device and system based on SRT
KR101148072B1 (en) Multimedia supporting system and method thereof
KR100713363B1 (en) Apparatus and method for transmitting mpeg
Goor et al. Experimental Performance Analysis of RTP-Based Transmission Techniques for MPEG-4

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment
FPAY Annual fee payment
FPAY Annual fee payment

Payment date: 20160330

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170330

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20190328

Year of fee payment: 11