KR101148072B1 - 멀티미디어 지원 시스템 및 그 지원방법 - Google Patents

멀티미디어 지원 시스템 및 그 지원방법 Download PDF

Info

Publication number
KR101148072B1
KR101148072B1 KR1020090045801A KR20090045801A KR101148072B1 KR 101148072 B1 KR101148072 B1 KR 101148072B1 KR 1020090045801 A KR1020090045801 A KR 1020090045801A KR 20090045801 A KR20090045801 A KR 20090045801A KR 101148072 B1 KR101148072 B1 KR 101148072B1
Authority
KR
South Korea
Prior art keywords
stream
bit rate
unit
bit
memory unit
Prior art date
Application number
KR1020090045801A
Other languages
English (en)
Other versions
KR20100127896A (ko
Inventor
김응태
김성용
류장선
Original Assignee
한국산업기술대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국산업기술대학교산학협력단 filed Critical 한국산업기술대학교산학협력단
Priority to KR1020090045801A priority Critical patent/KR101148072B1/ko
Publication of KR20100127896A publication Critical patent/KR20100127896A/ko
Application granted granted Critical
Publication of KR101148072B1 publication Critical patent/KR101148072B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2416—Real-time traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/25—Flow control; Congestion control with rate being modified by the source upon detecting a change of network conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

멀티미디어 지원 시스템 및 그 지원방법이 개시된다. 본 발명에 따른 멀티미디어 지원 시스템은, 입력되는 미디어를 부호화하는 부호화기; 상기 부호화기로부터 출력되는 스트림을 일시적으로 저장하는 메모리부; 상기 메모리부에 저장된 스트림에 대한 출력 비트율을 제어하는 비트 제어부; 및 상기 비트 제어부에 의해 제어된 데이터 패킷에 대한 크기 또는 전송 간격을 제어하여 전송하는 전송부를 포함하는 것을 특징으로 한다.
멀티미디어, 지원, 부호화기, 비트율, 메모리, 장면 변화

Description

멀티미디어 지원 시스템 및 그 지원방법{Multimedia supporting system and method thereof}
본 발명은 멀티미디어 지원 시스템 및 그 지원방법에 관한 것으로서, 보다 상세하게는 메모리 공간상에 있는 스트림을 빠르게 소모 또는 제거할 수 있으며, 오디오와 비디오의 동기 시간을 조절할 수 있는 멀티미디어 지원 시스템 및 그 지원방법에 관한 것이다.
최근 미디어의 생산, 가공의 주체가 개인으로 바뀌면서 실시간적으로 동영상과 같은 미디어를 전송하는 기기 또는 그에 상응하는 소프트웨어가 중요해지고 있다. 일례로 UCC(User Created Contents) 와 같은 인터넷 콘텐츠를 이용하여 유저가 뉴스를 제공하거나 VoIP(Voice over Internet Protocol) 통신망을 이용하여 화상서비스를 제공하는 것을 들 수 있다. 또한, 각종 다양한 통신 기기들의 보급이 확산되면서, 사용자가 손쉽게 멀티미디어를 생산 및 배포하는 것이 가능해졌다.
도 1은 일반적인 멀티미디어 지원 시스템을 개략적으로 도시한 도면이다. 도면을 참조하면, 비디오 카메라, 디지털 방송 등의 영상 소스로부터 입력된 동영상 소스는 영상신호 처리부(1)에서 영상신호 처리되어 비디오 인터페이스를 통하여 비디오 부호화기(2)에 전달이 되며, 압축되지 않은 음원 또한 음성신호 처리부(3)에서 음성신호 처리되어 오디오 인터페이스를 통하여 오디오 부호화기(4)에 전달이 되고, 신호 합성부(5)는 부호화된 영상신호 및 부호화된 음성신호를 혼합하여 전송부(6)를 통해 IP기반의 프로토콜을 이용하여 원하는 단말기에 전달을 하게 된다. 이때, 부수적으로 파일 또는 여러 개의 콘텐츠가 있는 경우 이를 관리하는 스트리밍 서버를 두어 외부의 요청에 대응할 수 있다.
한편, 상기와 같이 IP기반으로 스트리밍을 무선으로 전송하는 경우, 각 부호 화기로부터 발생한 미디어 스트림은 메모리 공간에 일시적으로 저장한 후에 네트워크 상태에 따라 가용가능 한 크기로 전송하며, 네트워크 상태가 좋지 않은 경우에는 출력되는 스트림의 크기를 제한하여 메모리에 공간이 부족하지 않도록 하여 전송되지 못하고 없어지는 데이터가 없게 해야 한다. 이 때 크기를 변경한 시점이전의 스트림이 메모리에 남아 있어서 이를 전송한 후에 바뀐 크기의 스트림이 전송이 되어서 빠르게 크기조절을 하지 못한다. 따라서 메모리 공간상에 있는 스트림을 빠르게 소모 또는 제거해야만 한다.
또한, 단말기로부터 외부 영상소스를 변경한 경우에도 메모리에 여전히 이전 데이터가 남아 있기 때문에, 이를 소모하고 오디오와 비디오의 동기 시간을 조절할 필요가 있다.
본 발명은 상기와 같은 요구에 부응하기 위하여 창안된 것으로서, 메모리 공간상에 있는 스트림을 빠르게 소모 또는 제거할 수 있으며, 오디오와 비디오의 동기 시간을 조절할 수 있는 멀티미디어 지원 시스템 및 그 지원방법을 제공하는 것을 목적으로 한다.
상기의 목적을 달성하기 위한 본 발명에 따른 멀티미디어 지원 시스템의 제1 실시 예는, 입력되는 미디어를 부호화하는 부호화기; 상기 부호화기로부터 입력되는 스트림을 일시적으로 저장하는 메모리부; 상기 메모리부에 저장된 스트림에 대한 출력 비트율을 제어하는 비트 제어부; 및 상기 비트 제어부에 의해 제어된 데이터 패킷에 대한 크기 또는 전송 간격을 제어하여 전송하는 전송부를 포함하는 것을 특징으로 한다.
여기서, 상기의 멀티미디어 지원 시스템은, 상기 비트 제어부에 의해 제어되는 출력 비트율에 기초하여 상기 미디어에 대한 스트림 형태를 결정하는 어플리케이션부를 더 포함할 수 있다.
또한, 상기의 멀티미디어 지원 시스템은, 상기 어플리케이션부에 의해 사용이 가능하도록 상기 비트 제어부에 의해 제어되는 비트열의 크기를 제어하는 파서를 더 포함할 수도 있다.
여기서, 상기 파서는 키 프레임의 경우, 상기 부호화기에서 사용하는 블록의 끝을 나타내는 식별자를 이용하여 비트열의 길이를 조절하는 것이 바람직하다.
또한, 쌍방향 예측 프레임의 경우, 상기 파서는 복사모드를 포함하는 특수 비트열을 이용하는 것이 바람직하다.
또한, 예측 프레임의 경우, 상기 파서는 키 프레임과 쌍방향 예측 프레임 방식을 혼용하여 사용하는 것이 바람직하다.
바람직하게는, 상기 비트 제어부는 전송 계층에서의 네트워크 상태 및 IP 계층에서의 네트워크 상태에 기초하여 출력 비트율을 제어한다.
여기서, 상기 비트 제어부에 의한 출력 비트율의 제어는 다음과 같은 식으로 표현될 수 있다.
Figure 112009031485891-pat00001
여기서, ω1ω2는 각각 가중치 계수이며, Coefftr은 전송 계층에서의 네트워크 상태관련 표현계수이고, Coeffip는 IP 계층에서의 네트워크 상태관련 표현계수이다.
상기의 목적을 달성하기 위한 본 발명에 따른 멀티미디어 지원 시스템의 제2 실시 예는, 외부로부터 영상소스 변경 요청신호가 입력된 경우, 움직임 벡터 값과 예측오차 값에 기초하여 소정치 이상의 변화를 감지하는 장면 감지부; 및 상기 장면 감지부에 의해 변화가 감지되면, 상기 메모리부에 남아 있는 스트림과 새로운 스트림을 혼합하여 영상을 부드럽게 천이시키는 스트림 혼합기를 포함하는 것을 특징으로 한다.
여기서, 상기의 멀티미디어 지원 시스템은, 상기 장면 감지부에 의해 변화가 감지되면, 상기 메모리부에 남아있는 비트열의 타임스탬프 및 새로 만들어진 비트열의 타임스탬프에 기초하여 전송시간 동안의 타임스탬프를 조절하는 타임스탬프 조절부를 더 포함할 수 있다.
한편, 상기의 멀티미디어 지원 시스템은, 입력되는 미디어를 부호화하는 단계; 상기 부호화 단계로부터 출력되는 스트림을 일시적으로 저장하는 단계; 상기 저장된 스트림에 대한 출력 비트율을 제어하는 단계; 및 상기 비트율 제어단계에 의해 비트율이 제어된 데이터 패킷에 대한 크기 또는 전송 간격을 제어하여 전송하는 단계를 포함하는 멀티미디어 지원방법을 제공한다.
바람직하게는, 상기의 멀티미디어 지원방법은 상기 비트율 제어단계에 의해 제어되는 출력 비트율에 기초하여 상기 미디어에 대한 스트림 형태를 결정하는 단계를 더 포함할 수 있다.
이 경우, 상기 비트율 제어단계는 전송 계층에서의 네트워크 상태 및 IP 계층에서의 네트워크 상태에 기초하여 출력 비트율을 제어하는 것을 특징으로 하는 멀티미디어 지원방법.
또한, 상기 비트율 제어단계에 의한 출력 비트율의 제어는 다음과 같은 식으로 표현될 수 있다.
Figure 112009031485891-pat00002
여기서, ω1ω2는 각각 가중치 계수이며, Coefftr은 전송 계층에서의 네트워크 상태관련 표현계수이고, Coeffip는 IP 계층에서의 네트워크 상태관련 표현계수이다.
또한, 상기의 멀티미디어 지원방법은, 외부로부터 영상소스 변경 요청신호가 입력된 경우, 움직임 벡터 값과 예측오차 값에 기초하여 소정치 이상의 변화를 감지하는 단계; 및 상기 장면 감지부에 의해 변화가 감지되면, 메모리부에 남아 있는 스트림과 새로운 스트림을 혼합하여 영상을 부드럽게 천이시키는 단계를 더 포함할 수도 있다.
또한, 상기의 멀티미디어 지원방법은, 상기 감지단계에 의해 변화가 감지되면, 상기 메모리에 남아있는 비트열의 타임스탬프 및 새로 만들어진 비트열의 타임스탬프에 기초하여 전송시간 동안의 타임스탬프를 조절하는 단계를 더 포함할 수도 있다.
이로써, 본 발명에 따른 멀티미디어 지원 시스템 및 그 지원방법은 메모리 공간상에 있는 스트림을 빠르게 소모 또는 제거할 수 있으며, 오디오와 비디오의 동기 시간을 조절할 수 있게 된다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태를 설명한다. 그러나 이하에 기재된 본 발명의 실시 형태는 당업계에서 평균적인 지식을 가진 자가 본 발명을 보다 용이하게 이해할 수 있도록 제공되는 것이며, 본 발명의 실시 범위가 기재된 실시 형태에 한정되는 것은 아니다.
도 2는 본 발명에 따른 멀티미디어 지원 시스템의 제1 실시 예를 개략적으로 도시한 도면이다. 도면을 참조하면, 본 발명의 제1 실시 예에 따른 멀티미디어 지원 시스템(100)은 부호화기(10), 메모리부(20), 비트 제업(30), 전송부(40), 어플리케이션부(50), 파서(60), 상태 감시부(70), 및 IP 관리부(80)를 구비한다. 여기서, 도 2는 송신부의 역할을 하는 멀티미디어 지원 시스템을 도시한 것이며, 수신부의 역할을 하는 경우는 도 2의 역순으로 구성되며, 수신되는 데이터의 에러를 확인하여 에러에 대해 검출/보상, 재전송 요청하기 위한 요소들이 부가될 수 있다.
부호화기(10)는 입력되는 멀티미디어를 부호화한다. 이때, 부호화기(10)는 영상신호를 부호화하는 영상신호 부호화기 및 음성신호를 부호화하는 음성신호 부호화기를 포함한다. 부호화기(10)는 하드웨어 또는 소프트웨어 형태의 실시간 부호화기 또는 저장된 동영상 컨테이너 파일 포맷 해석기(Container File Format Demuxer)등의 형태를 가질 수 있다. 실시간 부호화기의 경우 어플리케이션부(50)로부터 출력 비트열의 크기 또는 부호화기의 압축율에 관한 파라미터를 실시간적으로 변경 및 입력 받을 수 있다. 부호화기(10)에서 발생한 압축된 미디어 데이터는 네트워크를 통하여 전송되기 전 버퍼(20)에 저장이 되며, 버퍼(메모리공간)(20)에 있는 데이터를 어플리케이션부(50)에서 일정부분씩 읽어 들여 전송을 하나, 이 경우 네트워크 상태에 따라 비트 율을 낮추게 된 시점에서는 여전히 큰 데이터를 보내게 되어야 하므로, 즉시 재생에 영향을 주게 된다. 이를 위해 비트 제어부(30)를 통해 어플리케이션부(50)에서 사용 가능한 비트열의 크기를 조절한다.
이때 입력의 크기는 IP관리자(70)로부터 얻어지는 상태 계수와 전송계층에서의 상태 계수를 이용가능하며, 다음의 수학식 1과 같이 표현이 가능하다.
Figure 112009031485891-pat00003
여기서, ω1ω2는 각각 가중치 계수이며, 시스템 설계 시에 정해진다. 또한, Coefftr은 전송 계층에서의 네트워크 상태관련 표현계수이며, 0~1 사이의 값을 갖는다. 또한, Coeffip는 IP 계층에서의 네트워크 상태관련 표현계수이며 0~1사이의 값을 갖는다. 여기서, 두 계수 모두 사용하지 않는 경우 1의 값을 갖는다.
메모리부(20)는 부호화기(10)로부터 출력되는 스트림을 일시적으로 저장하기 위한 버퍼로 형성된다.
비트 제어부(30)는 메모리부(20)에 저장된 스트림에 대한 출력 비트 율을 제 어하여 전송부(40)로 전달한다. 이때, 비트 제어부(30)는 파서(60)를 통하여 크기를 조절한다.
어플리케이션부(50)는 비트 제어부(30)에 의해 제어되는 출력 비트 율에 기초하여 멀티 미디어에 대한 스트림 형태를 결정한다. 또한, 어플리케이션부(50)는 외부의 요청에 따라 미디어의 사용 가능 여부 또는 실 시간적으로 외부 동영상에 대해 부호화기(10)로부터의 데이터를 전송부(40)로 전달하는 역할을 한다. 또한, 전송부(40)의 전송 상태 또는 IP 관리자(70)로부터의 네트워크 상태에 따라서 비트 제어부(30)와 부호화기(10)의 출력 비트열의 크기를 제어한다.
파서(60)는 비트 제어부(30)에 제어되는 스트림을 해석하며, 어플리케이션부(50)에 의해 사용이 가능하도록 비트 제어부(30)에 의해 제어되는 비트열의 크기를 제어한다. 파서(60)는 단말기에서 지원하는 부호화기(10)에 해당하는 복호화기의 모듈이다. 파서(60)를 이용하여 다음과 같은 방식으로 크기를 줄일 수 있다, 키프레임의 경우 대개의 MPEG, JPEG에서와 같이 블록 단위 부호화기에서 사용하는 블록의 끝을 나타내는 식별자를 이용하여 비트열의 길이를 조절한다. 쌍방향 예측 프레임(B-Frame)의 경우 움직임 벡터을 이용하므로 복사모드(Copy Mode)와 같이 짧은 비트열 중 하나인 특수 비트열을 이용할 수 있으며, 예측 프레임(P-frame)의 경우에는 키프레임과 쌍방향 예측 프레임 방식을 혼용 할 수 있다. 또한, 키프레임의 출력을 일정부분 P, B 프레임으로 변경 및 참조 프레임 위치를 변경함으로써 가장 큰 출력크기를 갖는 키프레임을 줄일 수도 있다. 또한, 매 블록의 끝을 알게 되므로 전송 시 프레임 전체 크기 단위로 보낸 것에 비해 쉽게 사이즈를 전송 패킷 사 이즈를 정할 수 있다. 네트워크 전송도중 손실 된 데이터의 검출 및 보정하는 에러 정정 코드부(도시하지 않음)에서는 파서를 이용 각 블록의 크기 또는 프레임의 크기를 알 수 있으므로 블록 또는 프레임별로 오류 코드의 크기를 일정 크기단위로 전송하는 것이 네트워크 버퍼 또는 복호화기의 버퍼 제어에 더욱 효율적이므로 이를 반영하여 효율적인 패킷의 크기와 에러코드의 크기를 정할 수도 있다. 또한 네트워크 상태에 따라 생략 또는 길이를 다르게 하여 정정 코드를 추가할 수 있다. 일정 크기 형태의 출력비트열은 전송부로 전달이 되며 다시 전송부의 상태에 따라 크기를 나누어질 수 있다.
상태 감시부(70)는 전송부(40)의 상태를 감시하며, IP 관리자(80)는 네트워크 상태에 따라 전송되는 스트림의 네트워크 패킷의 형태를 변환한다. 전송부(40)는 사용하는 전송프로토콜을 이용하여 네트워크 상태를 알 수 있다. 네트워크 상태는 TCP의 경우 전송버퍼 제어(슬라이딩) 방식으로부터 남은 버퍼 크기 체크 또는 데이터 요청 주기 검사 등을 통하여 할 수 있으며, UDP의 경우 특성상 전송되어 들어오는 패킷의 순서가 맞지 않을 수 있으므로, 패킷 재정렬이 필요로 하며 각 패킷이 전송 완료된 시점, 평균시점 등을 메시지 형태로 단말기 사이에 주고받거나, 요청간격을 이용할 수도 있다. RTP와 같이 프로토콜에서 직간접으로 지연, 지터(Jitter)를 알 수 있는 경우에는 이를 이용한다. 이 네트워크 상태를 이용 비트 제어부, 부호화기의 출력 크기를 제어 할 수 있으며 전송해야 할 패킷의 크기와 전송 간격을 조절할 수 있다. IP 관리자(80)에 전달된 패킷은 IP관리자를 이용 네트워크 상태에 따라 TCP/UDP 형태를 변경한다. IP 계층은 각 패킷을 포트번호을 이 용하여 구분하며 네트워크 상태가 좋거나, 전송 지연이 적은 경우에는 TCP를 이용하여 전송하도록 하며, 그렇지 못한 경우 UDP를 이용하여 전송하도록 한다.
UDP와 TCP에 사용하는 데이터는 어플리케이션으로 받는 동일한 데이터이며, UDP의 경우 오류 검출 코드가 옵션 사항이며, TCP 헤더에서 일부분만을 사용한 형태이므로 쉽게 변형이 가능하다. 이를 수신하는 단말기 역시 어플리케이션에서 사용 중인 포트번호를 이용하여 입력되는 패킷의 최종 목적지, 필요로 하는 어플리케이션을 구분하며 TCP 또는 UDP는 IP 헤더 내에 프로토콜 필드를 이용하여 구분할 수 있다. 네트워크 상태는 IP관리자(80)로 입력되는 상태 또는 전송부(40)를 이용하여 전송되는 패킷의 사이즈 또는 전송, 수신 간격을 조정할 수 있다.
도 3은 본 발명에 따른 멀티미디어 지원 시스템의 제2 실시 예를 개략적으로 도시한 도면이다. 도면을 참조하면, 제2 실시 예에 따른 멀티미디어 지원 시스템은 부호화기(10), 메모리부(20), 비트 제어부(30), 어플리케이션부(50), 파서(60), 장면 감지부(110), 스트림 혼합기(120), 및 타임스탬프 조절부(130)를 구비한다. 여기서, 도 2의 구성요소와 동일한 구성요소에 대해서는 동일한 부재번호를 부여하였으며, 그 기능 및 동작이 동일하므로 상세한 설명을 생략한다.
장면 감지부(110)는 외부로부터 영상소스 변경 요청신호가 입력된 경우, 움직임 벡터 값과 예측 오차 값에 기초하여 소정치 이상의 변화를 감지한다.
장면 감지부(110)에 의해 장면의 변화가 감지되면, 스트림 혼합기(120)는 메모리부(20)에 남아 있는 스트림과 새로 입력되는 스트림을 혼합하여 영상을 부드럽게 천이시킨다.
타임스탬프 조절부(130)는 장면 감지부(110)에 의해 장면 변화가 감지되면, 메모리부(20)에 남아있는 비트열의 타임스탬프 및 새로 만들어진 비트열의 타임스탬프에 기초하여 전송시간 동안의 타임스탬프를 조절한다.
단말기는 채널 또는 외부 영상소스에 대해 변경 요청을 받을 수 있으며, 이 경우 메모리에 적재되어 있는 데이터로 인해 즉각적으로 수신부에서 변동된 데이터를 재생하기가 어렵게 되며, 키 프레임이 속한 콘텐츠와 새로 시작한 콘텐츠가 B,P 프레임에 속하게 되어 부호화기의 움직임 벡터 검출 성능을 떨어뜨리게 된다. 이때, 본 발명에 따른 멀티미디어 지원 시스템(100)은 장면 검출기(110), 스트림 혼합기(120), 타임스탬프 조절부(130)를 이용하여 빠른 시간 내에 변동된 미디어를 재생할 수 있도록 한다.
외부로부터 변경 요청을 받은 경우, 어플리케이션부(50)는 일정시간 동안 부호화기(10)의 입력 영상을 차단 또는 변경 전 마지막 영상과 새로 들어오는 영상을 일정 부분 패이드 인아웃 같이 혼합하여 부호화기(10)로 전달함으로써 부호화기(10)의 움직임벡터 검출기의 성능을 유지시켜준다.
장면 감지부(110)를 사용하여 장면변화를 최소화하며, 콘텐츠의 변화에 이질감과 장면변화 시에 발생한 많은 움직임 벡터 값과 예측 오차 값에 따라 생성된 크기가 상대적으로 크기가 큰 P, B프레임을 사용하지 않음으로써, 빠르게 변경된 콘텐츠의 부호화된 비트열을 전송을 완료 할 수 있게 한다. 첫 키프레임으로부터 장면검출기로부터 얻어진 프레임 또는 검출이 되지 않은 경우, 마지막 프레임까지 전송을 한다. 새로 사용한 콘텐츠의 비트열의 타입과 동일한 스트림을 이용하여 파서 와 스트림 혼합기를 통하여 두 스트림을 혼합하여 영상의 천이가 부드럽게 진행되도록 하며, 빠르게 새로운 콘텐츠로 전이하도록 한다. 이 때 오디오와의 립싱크 동기를 맞추는 데 사용하는 타임스탬프가 맞지 않게 되므로, 이 전송시간 동안 다음의 수학식 2와 같이 타임스탬프를 조절하여 사용한다.
Figure 112009031485891-pat00004
Time_stampm은 메모리상에 남아 있는 비트열의 타임스탬프 값이며, time_stampn은 새로 만들어진 비트열의 타임 스탬프 값이며 이 두 값의 차이에 일정한 값 η을 곱하여 사용하며, η은 일정한 상수 값에 매 변경시마다 증가하는 값 τ을 곱하여 만들게 된다. τ는 일정량 전송 후에 새로운 콘텐츠의 타임스탬프보다 커지거나 같아지도록 증가하도록 만들며 커지거나 같아진경우 이전 비트열이 남아있더라도 혼합하지 않고 새로운 데이터를 보내도록 한다.
도 4는 도 2 및 도 3에 의한 멀티미디어 지원방법을 나타낸 흐름도이다. 도면을 참조하면, 부호화기(10)는 입력되는 멀티미디어를 부호화한다(S101). 부호화기(10)에 의해 부호화된 스트림은 메모리부(20)에 저장된다(S103).
비트 제어부(30)는 메모리부(20)에 저장된 스트림에 대한 출력 비트율을 제어한다(S105). 이때, 어플리케이션부(50)는 비트 제어부(30)에 의해 제어되는 출력 비트율에 기초하여 멀티미디어에 대한 스트림 형태를 결정한다(S107).
전송부(40)는 비트 제어부(30)에 의해 비트율이 제어된 데이터 패킷에 대한 크기 또는 전송 간격을 제어하여 IP 관리부(70)를 통해 네트워크로 전송한다(S109).
외부로부터 영상소스 변경 요청신호가 입력되는 경우, 장면 감지부(110)는 움직임 벡터 값과 예측 오차 값에 기초하여 소정치 이상의 변화를 감지한다(S111). 장면 감지부(110)에 의해 변화가 감지되면, 스트림 혼합기(120)는 메모리부(20)에 남아 있는 스트림과 새로운 스트림을 혼합하여 영상을 부드럽게 천이시킨다(S113).
또한, 장면 감지부(110)에 의해 변화가 감지되면, 타임스탬프 조절부(130)는 메모리부(20)에 남아있는 비트열의 타임스탬프 및 새로 만들어진 비트열의 타임스탬프에 기초하여 전송시간 동안의 타임스탬프를 조절한다(S115). 이때, 타임스탬프의 조절은 수학식 2와 같이 이루어질 수 있다.
이로써, 네트워크 상태에 따라 TCP 또는 UDP망을 바꿈에 따라 자유공간 상에서의 네트워크 전송에 능동적으로 대처가 가능해 지며, 파서를 이용하여 비트열의 크기를 제어함에 따라 기존 부호화기의 압축율을 변경하는 것에 비해 더 빠르게 비트열을 변동할 수 있으며, 효율적인 패킷의 크기를 결정할 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대해서 도시하고 설명하였으나, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
도 1은 일반적인 멀티미디어 지원 시스템을 개략적으로 도시한 도면이다.
도 2는 본 발명에 따른 멀티미디어 지원 시스템의 제1 실시 예를 개략적으로 도시한 도면이다.
도 3은 본 발명에 따른 멀티미디어 지원 시스템의 제2 실시 예를 개략적으로 도시한 도면이다.
도 4는 도 2 및 도 3의 멀티미디어 지원 시스템에 의한 멀티미디어 지원방법을 나타낸 흐름도이다.
< 도면의 주요부분에 대한 부호의 설명 >
10: 부호화기 20: 메모리부
30: 비트 제어부 40: 전송부
50: 어플리케이션부 60: 파서
70: 상태 감시부 80: IP 관리부
110: 장면 감지부 120: 스트림 혼합기
130: 타임스탬프 조절부

Claims (18)

  1. 입력되는 미디어를 부호화하는 부호화기;
    상기 부호화기로부터 출력되는 스트림을 일시적으로 저장하는 메모리부;
    상기 메모리부에 저장된 스트림에 대한 출력 비트율을 제어하는 비트 제어부; 및
    상기 비트 제어부에 의해 제어된 데이터 패킷에 대한 크기 또는 전송 간격을 제어하여 전송하는 전송부를 포함하며,
    상기 비트 제어부는,
    전송 계층에서의 네트워크 상태 및 IP 계층에서의 네트워크 상태를 기반으로소정 가중치를 상기 스트림의 비트율에 적용하여 상기 출력 비트율을 제어하는 것을 특징으로 하는 멀티미디어 지원 시스템.
  2. 제 1항에 있어서,
    상기 비트 제어부에 의해 제어되는 출력 비트율에 기초하여 상기 미디어에 대한 스트림 형태를 결정하는 어플리케이션부를 더 포함하는 것을 특징으로 하는 멀티미디어 지원 시스템.
  3. 제 2항에 있어서,
    상기 어플리케이션부에 의해 사용이 가능하도록 상기 비트 제어부에 의해 제어되는 비트열의 크기를 제어하는 파서를 더 포함하는 것을 특징으로 하는 멀티미 디어 지원 시스템.
  4. 제 3항에 있어서,
    키 프레임의 경우, 상기 파서는 상기 부호화기에서 사용하는 블록의 끝을 나타내는 식별자를 이용하여 비트열의 길이를 조절하는 것을 특징으로 하는 멀티미디어 지원 시스템.
  5. 제 3항에 있어서,
    쌍방향 예측 프레임의 경우, 상기 파서는 복사모드를 포함하는 특수 비트열을 이용하는 것을 특징으로 하는 멀티미디어 지원 시스템.
  6. 제 3항에 있어서,
    예측 프레임의 경우, 상기 파서는 키 프레임과 쌍방향 예측 프레임 방식을 혼용하여 사용하는 것을 특징으로 하는 멀티미디어 지원 시스템.
  7. 삭제
  8. 제 1항에 있어서,
    상기 비트 제어부에 의한 출력 비트율의 제어는 다음과 같은 식으로 표현 가능한 것을 특징으로 하는 멀티미디어 지원 시스템:
    Figure 112011000295068-pat00005
    여기서, ω1ω2는 각각 가중치 계수이며, Coefftr은 전송 계층에서의 네트워크 상태관련 표현계수이고, Coeffip는 IP 계층에서의 네트워크 상태관련 표현계수임.
  9. 제 1항 내지 제 6항 중의 어느 한 항에 있어서,
    외부로부터 영상소스 변경 요청신호가 입력된 경우, 움직임 벡터 값과 예측오차 값에 기초하여 소정치 이상의 변화를 감지하는 장면 감지부; 및
    상기 장면 감지부에 의해 변화가 감지되면, 상기 메모리부에 남아 있는 스트 림과 새로운 스트림을 혼합하여 영상을 부드럽게 천이시키는 스트림 혼합기를 더 포함하는 것을 특징으로 하는 멀티미디어 지원 시스템.
  10. 제 9항에 있어서,
    상기 장면 감지부에 의해 변화가 감지되면, 상기 메모리부에 남아있는 비트열의 타임스탬프 및 새로 만들어진 비트열의 타임스탬프에 기초하여 전송시간 동안의 타임스탬프를 조절하는 타임스탬프 조절부를 더 포함하는 것을 특징으로 하는 멀티미디어 지원 시스템.
  11. 입력되는 미디어를 기반으로 부호화된 스트림을 일시적으로 저장하기 위한 메모리부;
    외부로부터 영상소스 변경 요청신호가 입력된 경우, 움직임 벡터 값과 예측오차 값에 기초하여 소정치 이상의 변화를 감지하는 장면 감지부; 및
    상기 장면 감지부에 의해 변화가 감지되면, 상기 메모리부에 남아 있는 스트림과 새로운 스트림을 혼합하여 영상을 부드럽게 천이시키는 스트림 혼합기를 포함하는 것을 특징으로 하는 멀티미디어 지원 시스템.
  12. 제 11항에 있어서,
    상기 장면 감지부에 의해 변화가 감지되면, 상기 메모리부에 남아있는 비트 열의 타임스탬프 및 새로 만들어진 비트열의 타임스탬프에 기초하여 전송시간 동안의 타임스탬프를 조절하는 타임스탬프 조절부를 더 포함하는 것을 특징으로 하는 멀티미디어 지원 시스템.
  13. 입력되는 미디어를 부호화하는 부호화기, 부호화된 스트림을 저장하는 메모리부, 스트림의 비트율을 제어하는 비트 제어부 및 전송부를 포함하는 멀티미디어 지원 시스템에서 멀티미디어를 지원하는 방법에 있어서,
    입력된 미디어를 상기 부호화기에서 부호화하는 단계;
    상기 부호화 단계로부터 출력되는 스트림을 상기 메모리부에 일시적으로 저장하는 단계;
    상기 비트 제어부에서 상기 메모리부에 저장된 스트림에 대한 출력 비트율을 제어하는 단계; 및
    상기 비트율 제어단계에 의해 비트율이 제어된 데이터 패킷에 대한 크기 또는 전송 간격을 제어하여 상기 전송부를 통해 전송하는 단계를 포함하며,
    상기 출력 비트율을 제어하는 단계는,
    전송 계층에서의 네트워크 상태 및 IP 계층에서의 네트워크 상태를 기반으로소정 가중치를 상기 저장된 스트림의 비트율에 적용하여 상기 출력 비트율을 제어하는 것을 특징으로 하는 멀티미디어 지원방법.
  14. 제 13항에 있어서,
    상기 비트율 제어단계에 의해 제어되는 출력 비트율에 기초하여 어플리케이션부에서 상기 미디어에 대한 스트림 형태를 결정하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 지원방법.
  15. 삭제
  16. 제 13항에 있어서,
    상기 비트율 제어단계에 의한 출력 비트율의 제어는 다음과 같은 식으로 표현 가능한 것을 특징으로 하는 멀티미디어 지원방법:
    Figure 112011000295068-pat00006
    여기서, ω1ω2는 각각 가중치 계수이며, Coefftr은 전송 계층에서의 네트워크 상태관련 표현계수이고, Coeffip는 IP 계층에서의 네트워크 상태관련 표현계수임.
  17. 제 13항 내지 제 14항 또는 제16항 중의 어느 한 항에 있어서,
    외부로부터 영상소스 변경 요청신호가 입력된 경우, 장면 감지부에서 움직임 벡터 값과 예측오차 값에 기초하여 소정치 이상의 변화를 감지하는 단계; 및
    상기 감지단계에 의해 변화가 감지되면, 스트림 혼합기에서 상기 메모리부에 남아 있는 스트림과 새로운 스트림을 혼합하여 영상을 부드럽게 천이시키는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 지원방법.
  18. 제 17항에 있어서,
    상기 감지단계에 의해 변화가 감지되면, 타임스탬프 조절부에서 상기 메모리부에 남아있는 비트열의 타임스탬프 및 새로 만들어진 비트열의 타임스탬프에 기초하여 전송시간 동안의 타임스탬프를 조절하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 지원방법.
KR1020090045801A 2009-05-26 2009-05-26 멀티미디어 지원 시스템 및 그 지원방법 KR101148072B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090045801A KR101148072B1 (ko) 2009-05-26 2009-05-26 멀티미디어 지원 시스템 및 그 지원방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090045801A KR101148072B1 (ko) 2009-05-26 2009-05-26 멀티미디어 지원 시스템 및 그 지원방법

Publications (2)

Publication Number Publication Date
KR20100127896A KR20100127896A (ko) 2010-12-07
KR101148072B1 true KR101148072B1 (ko) 2012-05-24

Family

ID=43504916

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090045801A KR101148072B1 (ko) 2009-05-26 2009-05-26 멀티미디어 지원 시스템 및 그 지원방법

Country Status (1)

Country Link
KR (1) KR101148072B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040025994A (ko) * 2002-09-17 2004-03-27 삼성전자주식회사 멀티미디어 스트리밍 장치 및 방법
KR20050041597A (ko) * 2003-10-31 2005-05-04 주식회사 케이티프리텔 브이오디 서비스 시스템 및 그 서비스 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040025994A (ko) * 2002-09-17 2004-03-27 삼성전자주식회사 멀티미디어 스트리밍 장치 및 방법
KR20050041597A (ko) * 2003-10-31 2005-05-04 주식회사 케이티프리텔 브이오디 서비스 시스템 및 그 서비스 방법

Also Published As

Publication number Publication date
KR20100127896A (ko) 2010-12-07

Similar Documents

Publication Publication Date Title
US8621061B2 (en) Adaptive bitrate management for streaming media over packet networks
JP3931595B2 (ja) データ修正装置及びデータ修正方法
JP4558802B2 (ja) アダプティブバッファリングのための方法と装置
EP2919453B1 (en) Video stream switching
US8711929B2 (en) Network-based dynamic encoding
US7652994B2 (en) Accelerated media coding for robust low-delay video streaming over time-varying and bandwidth limited channels
US7881335B2 (en) Client-side bandwidth allocation for continuous and discrete media
US20050123042A1 (en) Moving picture streaming file, method and system for moving picture streaming service of mobile communication terminal
JP2005522102A (ja) データストリーミングシステムおよび方法
JP2009512265A (ja) ネットワーク上の動画データ伝送制御システムとその方法
JP4768250B2 (ja) 送信装置、受信装置、送受信装置、送信方法及び伝送システム
KR100511034B1 (ko) 화상전송장치및화상전송방법
US20070110168A1 (en) Method for generating high quality, low delay video streaming
JP2005033556A (ja) データ送信装置、データ送信方法、データ受信装置、データ受信方法
US8290063B2 (en) Moving image data conversion method, device, and program
KR101148072B1 (ko) 멀티미디어 지원 시스템 및 그 지원방법
KR100896688B1 (ko) 단말의 성능을 고려한 멀티미디어 서비스 제공방법 및 그에사용되는 단말기
CN114470745A (zh) 一种基于srt的云游戏实现方法、装置及***
JP2003163691A (ja) データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
CN100474923C (zh) 用于实时流式传输服务的mpeg-4编码模式选择方法
KR100713363B1 (ko) 이동통신 시스템에서 엠펙 전송 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150429

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170601

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee