KR102251278B1 - 일종 미디어 컨텐츠에 기반한 fec 메커니즘 - Google Patents

일종 미디어 컨텐츠에 기반한 fec 메커니즘 Download PDF

Info

Publication number
KR102251278B1
KR102251278B1 KR1020197034659A KR20197034659A KR102251278B1 KR 102251278 B1 KR102251278 B1 KR 102251278B1 KR 1020197034659 A KR1020197034659 A KR 1020197034659A KR 20197034659 A KR20197034659 A KR 20197034659A KR 102251278 B1 KR102251278 B1 KR 102251278B1
Authority
KR
South Korea
Prior art keywords
fec
coding
different
signaling
flow
Prior art date
Application number
KR1020197034659A
Other languages
English (en)
Other versions
KR20190133294A (ko
Inventor
이링 수
원쥔 장
쥔 쑨
쉬궈 탕
웨이 황
보 리
윈펑 관
닝 류
Original Assignee
상하이 지아오통 유니버시티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201510010097.9A external-priority patent/CN105827361B/zh
Priority claimed from CN201510080576.8A external-priority patent/CN105991226B/zh
Priority claimed from CN201510673115.1A external-priority patent/CN106603193B/zh
Priority claimed from CN201510673091.XA external-priority patent/CN106603192B/zh
Application filed by 상하이 지아오통 유니버시티 filed Critical 상하이 지아오통 유니버시티
Publication of KR20190133294A publication Critical patent/KR20190133294A/ko
Application granted granted Critical
Publication of KR102251278B1 publication Critical patent/KR102251278B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056—Systems characterized by the type of code used
    • H04L1/007—Unequal error protection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0009—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0015—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy
    • H04L1/0017—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy where the mode-switching is based on Quality of Service requirement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0023—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the signalling
    • H04L1/0028—Formatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0041—Arrangements at the transmitter end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056—Systems characterized by the type of code used
    • H04L1/0057—Block codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0076—Distributed coding, e.g. network coding, involving channel coding
    • H04L65/1003—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/35—Unequal or adaptive error protection, e.g. by providing a different level of protection according to significance of source information or by adapting the coding according to the change of transmission channel characteristics
    • H03M13/353—Adaptation to the channel
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/35—Unequal or adaptive error protection, e.g. by providing a different level of protection according to significance of source information or by adapting the coding according to the change of transmission channel characteristics
    • H03M13/356—Unequal error protection [UEP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0045—Arrangements at the receiver end
    • H04L1/0047—Decoding adapted to other signal detection operation
    • H04L1/0048—Decoding adapted to other signal detection operation in conjunction with detection of multiuser or interfering signals, e.g. iteration between CDMA or MIMO detector and FEC decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Error Detection And Correction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Communication Control (AREA)

Abstract

본 발명은 일종 미디어 컨텐츠에 기반한 FEC 메커니즘을 제공하는바, 이 메
커니즘은 미디어 컨텐츠에 대한 그레이딩을 하고, 다른 중요성을 부여한후 다시 다
른 중요한 정도의 프레임에 속하는 패킷에 근거, 유저가 체험한 느낌과 결부하여
인코팅 방안을 개선하고, 소속 프레임의 중요성에 따라 보호를 실시한다. 본 발명
의 기술방안을 적용하면, 현단계 FEC시스템에서 과도한 인코딩으로 초래되는 데이
터가 막히는 현상에 대해, 미디어 컨텐츠에 대한 그레이딩을 통해 다른 중요성을
부여하고, 시그널링과 인디케이터 통제를 이용하여 다른 FEC 인코딩 강도를 적용할
수 있다. 진일보로 언이퀄 에러 프로텍션 성능을 구비한 카피 익스팬딩 윈도우 파
운틴 코드를 적용하여 최대한도로 미디어 컨텐츠 품질을 보장함과 동시에, FEC로 초래된 막대한 데이터 양을 줄일 수 있다.

Description

일종 미디어 컨텐츠에 기반한 FEC 메커니즘 {FEC MECHANISM BASED ON MEDIA CONTENTS}
본 발명은 멀티미디어 전송 기술영역에 관한 것으로, 더 구체적으로 말하면, 일종 미디어 컨텐츠에 기반한 FEC(순방향 오류 정정) 메커니즘에 관한 것이다.
이종 네트워크 미디어 서비스 시스템에서 컨텐츠는 인터넷 프로토콜 또는 방송 프로토콜을 통해 각각 터미널 유닛으로 발송되고, 인터넷에서는 IP/TCP 또는 UDP메세지를 사용하여 미디어 데이터를 전송하며, 방송은 MPEG2-TS를 통해 컨텐츠를 전송한다. UDP메세지는 다수의 네트워크 설비를 통과한 후 분실될 가능성이 있다. 방송 TS 스트림은 전송 환경으로 인해 오류가 발생하여 터미널 유닛 측의 화면이 깨지거나 소리가 끊기는 결과를 초래할 가능성이 있다.
FEC(Forward Error Correction, 순방향 오류 정정) 기술은 일종 통신 시스템에서 광범위하게 응용되는 부호화 기술이다. 미디어 데이터에 대한 오류정정 부호화는 서버를 통해 실시되고; 리던던시 정보를 함께 발송하고; 터미널 유닛 측에서 역방향 FEC복호화를 하여 분실된 메세지를 회복한다. 전형적인 블록 코드를 예로 들면, 그 기본 원리는: 송신단에서 kbit 정보를 블록으로 부호화하고; (n-k) bit의 리던던시 검사 정보를 추가하여 n bit 길이의 코드를 구성한다. 코드는 채널을 통해 수신단에 도착한 후 만약 오류가 정정 범위에 속하면, 오류 bit는 검사될 수 있고 복호화를 통해 정정함으로써 채널에 의해 발생되는 교란에 저항하고, 시스템의 비트 오류율을 효과적으로 낮추고, 통신 시스템의 신뢰성을 높인다.
하지만 FEC처리는, 리던던시 오버헤드를 대가로 시스템의 비트 오류율을 감소시키므로; 과도한 FEC 부호화는 실시간 시스템 및 네트워크 상태에 압력을 주게 된다.
ISO-23008-1/10/13기준에서 기존의 FEC구조는 모든 정보에 대해 통일적으로 부호화를 실시하여 사용자 정보에 대해서 구분이 없었다. 따라서, 하이브리드 컨텐츠 또는또는 하이브리드 네트워크에서 적합하지 않기 때문에 도 1에 도시된 바와 같은 2층 구조가 제안되었다. 1층은 source packet block을 각각 FEC로 보호되는 다수의 작은 블록으로 나누고, 2층은 FEC로 보호되는 한 개의 블록이다. 1층은 세밀하게 획분하였기에 지연이 작고, 2층은 회복성능과 작은 리던던시를 보장한다.
하이브리드 컨텐츠 전송에 대해, 해당 컨텐츠는 timed와 non-timed로 나눌수 있다. 따라서 2층 구조가 사용될 수 있다. 타이밍 컨텐츠는 방식1을 이용하여 지연을 보장하고, 비타이밍 컨텐츠는 방식1과 방식2를 동시에 이용하여 정확성을 보장하였다.
각자 서로 다른 성능의 채널의 사용자에 대해, 채널 성능이 좋은 사용자는 FEC1 만을 이용하여 지연과 전력소모를 보장하였고, 채널 성능이 나쁜 사용자는 FEC1과 FEC2를 동시에 이용하여 정확성을 보장하였다.
이러한 해결책은 어느 정도 문제를 해결한다. 채널 성능이 떨어지는 사용자(GroupB)에 대하여, 2층 구조는 회복 성능을 향상시켰지만, 큰 지연을 발생시킨다. 채널 성능이 좋은 사용자(GroupA)에 대하여, FEC1을 수행하는 것은 필요하지 않을 수도 있으며, 패킷이 작을수록 지연도 작아진다. 정보의 중요도가 다르다는 것은 고려되지 않았다. 정보 또는 사용자는 2층 구조에 따라 분류될 수 있고, 큰 block을 작은 blcok으로 분할하는 구체적인 계획은 복잡한 문제이다.
동시에, 비균등 오류 보호(Unequal Error Protection, UEP)는 소스 채널 부호화을 결합한 유형이다. 그 핵심 사상은 코드 스트림의 각 부분 데이터의 상이한 중요도에 따라 데이터의 각 부분에 대해 서로 다른 채널 보호 메커니즘을 적용한다. 즉, 중요한 코드 스트림은 특별하게 보호된다. 비록 UEP가 중요하지 않은 코드 스트림의 노이즈 방지 성능을 감소시키지만, 시스템의 BER(비트 오류율) 방지의 전반적인 성능을 향상시키는데 도움이 된다.
일종 FEC(순방향 오류 정정) 기술로서, 디지털 파운틴 코드(Digtial Fountain Code)는 전송 과정에서 피드백 및 자동 재발송 메커니즘을 필요로 하지 않으며, 이는 신호의 리턴 지연 및 방송 응용에서 피드백이 폭발하는 문제를 방지한다. 디지털 파운틴의 기본 사상은: 송신단에서 기존 데이터를 k개의 데이터 심벌로 분할하고, 이 데이터 심벌에 대해 부호화를 실시하여 임의의 길이의 부호화 심벌코드 스트림을 출력하고, 수신단은 단지 n (n은 k보다 조금 큼)개의 부호화 심벌를 정확히 받기만 하면 아주 높은 확률로 k개의 데이터 심벌를 모두 회복할 수 있다.
디지털 파운틴 코드는 UEP 성능을 구비하며, 이는 서로 다른 중요도의 데이터를 보호할 수 있다. 기존의 고정 비트율의 채널 부호화 방법에 비해, 디지털 파운틴 코드는 아래와 같은 뚜렷한 이점이 있다:
1, 바람직한 확장 가능성을 갖는다. 단방향 방송은 피드백이 없기 때문에, 발송측은 사용자 수 증가로 인한 영향을 받지 않아, 발송측은 임의의 사용자 수에 서비스를 제공하는 것이 가능하다.
2, 시변 채널 적응으로 채널 용량에 대한 고효율 이용이 가능하다. 사용자의 복호화 성능은 채널 삭제 확률 및 대역과는 무관하다. 채널의 패킷 분실율이 높고, 조건이 좋지 않더라도, 수신단의 복호화에 영향을 미치지 않을 것이다. 즉 수신단은 더 강한 적응성으로 충분한 양의 부호화 데이터를 접수하여 정상적인 복호화가 가능하다.
3, 부호화 복호화 복잡도가 낮다. 바람직한 상황에서 파운틴 코드에 의해 생성된 각 부호화 심벌은 선형 부호화 복호화 복잡도를 갖고 있으므로, 송수신단에서의 부호기 복호기의 설계와 소프트웨어 구현 간소화에 유리하다.
4, 이종 사용자에 대한 적용성이 양호하다. 파운틴 코드의 BER 특성은 다른 패킷 분실율이나 대역의 사용자들 사이에 서로 영향을 주지 않으므로, 고품질 사용자는 저품질 사용자에 의해 제한받지 않는다. 또한, 디지털 파운틴 코드는 간헐적 전송, 비동기 접속 등 여러 서비스 방식을 제공한다.
종래 기술에 존재하는 결함을 해결하기 위해, 본 발명의 목적은 일종 미디어 컨텐츠에 기반한 FEC 메커니즘을 제공하는 것으로, 이를 통해 FEC시스템에서 실시간 성능이 좋을 경우 정확성이 떨어지고, 정확성이 좋을 경우 실시간 성능이 떨어지는 문제 및 과도한 FEC 부호화로 초래되는 데이터 밀집 문제를 해결하고자 한다.
상술한 목적을 실현하기 위해, 본 발명은 아래의 기술방안을 적용한다:
미디어 컨텐츠에 기반한 FEC(Forward Error Correction) 메커니즘으로서, 상기 FEC 메커니즘은 방법 1, 2, 3 및 4 중 임의의 하나를 적용하여 실현되며,
상기 방법1은: 미디어 컨텐츠에 대해 등급을 나누고, 서로 다른 중요도를 부여한 후, 채널 조건 및 사용자 경험을 조합하여 상이한 중요도를 갖는 프레임에 속하는 패킷에 따라 부호화 방식을 변경하여, 해당하는 프레임의 중요도에 따라 보호를 실시하는 것;을 포함한다,
상기 방법2는: 미디어 컨텐츠에 대해 등급을 나누고, 서로 다른 중요도를 부여하고, 서로 다른 정도의 보호를 실시하기 위해 기본 미디어 데이터 흐름을 분로(shunt)하지 않는 상황에서 채널 조건 및 사용자 경험을 조합하여 미디어 패킷에 포함된 프레임의 중요도에 따라, 해당하는 FEC 부호기에 데이터 패킷을 전송하는 것;을 포함한다,
상기 방법3은: 미디어 컨텐츠에 대해 등급을 나누고, 서로 다른 중요도를 부여하고, 기본 미디어 데이터 흐름을 분로(shunt)분로하지 않는 상황에서 채널 조건에 따라 미디어 데이터 패킷에 포함된 프레임의 중요도 및 이에 상응하는 부호화 방식을 다이내믹하게 조절하고, 서로 다른 정도의 보호를 실시하기 위해서 해당하는 REC 부호기에 상기 데이터 패킷을 전송하고, 하나의 소스 데이터 흐름은 하나의 FEC 코드 스트림으로 부호화되는 것;을 포함한다,
상기 방법4는: 미디어 컨텐츠에 대해 등급을 나누고, 서로 다른 중요도를 부여하고, 채널 조건 및 사용자 경험을 조합하여 비균등 오류 보호 성능을 구비한 디지털 파운틴 코드를 적용함으로써 서로 다른 중요도를 가지는 데이터를 보호하는 것;을 포함한다.
더 나아가, 상기 방법 1 내지 4는 미디어 처리 유닛(MPU)과 함께 전송되는 시그널링 정보에 비균등 오류 보호 플래그 비트를 추가하는 것;을 포함한다.
더 나아가, 상기 방법 1 내지 4 는 보다 개인화된 보호 방안을 형성하기 위해서 특수 지시 필드를 추가하는 것;을 포함한다.
여기서 더 나아가, 상기 특수 지시 필드는 MFU 패킷 헤더 앞에 추가된다.
더 나아가, 상기 방법 1 내지 4 는 보다 개인화된 보호 방안을 형성하기 위해서 미디어 처리 유닛(MPU)과 함께 전송되는 시그널링 정보에 비균등 오류 보호 플래그 비트를 추가하고 특수 지시 필드를 추가하는 것;을 포함한다.
더 나아가, 상기 방법 1 내지 3 은 미디어 컨텐츠에 대해 등급을 나누고, 서로 다른 중요도를 부여한 후 시그널링과 지시 비트를 이용하여 제어하고, 서로 다른 FEC 부호화 강도를 적용하여 부호화를 실시하는 것;을 포함한다.
더 나아가, 상기 방법4는 미디어 컨텐츠에 대해 등급을 나누고, 서로 다른 중요도를 부여한 후 시그널링과 지시 비트를 이용하여 제어하고, 비균등 오류 보호(UEP) 성능을 구비한 복제 확장 윈도우 파운틴 코드를 사용하는 것;을 포함한다.
더 나아가, 상기 방법 1 에서 MMT AL-FEC 송신단 구조에 대한 송신단 절차는 다음 단계를 포함한다.
a) 서버는 미디어 자원에 기반하여 MMTP 흐름과 시그널링을 생성하는 단계,
b) 미디어 자원 중 각 프레임의 중요도를 분석한 후, 이러한 MMT 로드를 서로 다른 기존 데이터 흐름으로 분배하여, 대응하는 FEC 메커니즘에 전달하여 보호를 실시하는 단계,
c) FEC 부호화가 완료된 후, 대응하는 복원 특성, FEC데이터 로드 표시 및 기존 데이터 로드 표시를 반환하는 단계, 및
d) 모든 복원 특성을 FEC 복원 패킷으로 묶은 후 전송 층으로 발송하는 단계
더 나아가, 상기 방법1은: 시그널링에 의해 FEC 흐름, 사용된 FEC 부호화 구조 및 FEC 코드를 식별하는 단계를 포함하고, 이와 같은 메커니즘을 지원하기 위해 시그널링 중의 FEC_FLOW_DESCRIPTOR 필드를 수정하는바: 기본 시그널링은 다수의 미디어 자원을 다수로 사용하는 하나의 FEC 흐름의 복원 정보만을 지원하며, 하나의 미디어 자원의 상이한 중요도를 갖는 부분을 추가하여 FEC 시그널링은 제어되어 FEC 메커니즘을 개선하고, 서버는 사용자의 네트워크 상태에 따라 다이내믹하게 미디어 자원의 서로 다른 부분의 FEC 강도를 조절할 수 있고, 이로써 네트워크 대역과 사용자 경험 사이에서 평형점을 얻는다.
더 나아가, 상기 방법2 에서 MMT AL-FEC 송신단 구조에 대해 송신단 절차는 다음 단계를 포함할 수 있다:
a) 서버에 의해 미디어 자원에 기반하여 MMTP 흐름과 시그널링을 생성하는 단계;
b) 미디어 자원 중 각 프레임의 중요도를 분석하여 MMT 패킷을 서로 다른 FEC 부호기로 전송하고, 상응하는 FEC 메커니즘을 적용하여 상응하는 FEC코드를 생성하는 단계;
c) FEC 부호화가 완료된 후, 상응하는 복원 특성 및 FEC데이터 로드 표시와 기존 데이터 로드 표시를 반환하는 단계;
d) 모든 복원 특성을 FEC 복원 패킷으로 묶은 후 전송층으로 발송하는 단계; 를 포함한다.
더 나아가, 상기 방법2는: 시그널링에 의해 FEC 흐름, 사용된 FEC 부호화 구조 및 FEC 코드를 식별하는 단계를 포함하고, 이와 같은 메커니즘을 지원하기 위해 시그널링 중의 fec_flow_descriptor 필드를 수정하는바: 기본 시그널링은 다수의 미디어 자원을 다수로 사용하는 하나의 FEC 흐름의 복원 정보만을 지원하며, 하나의 미디어 자원의 상이한 중요도를 갖는 부분을 추가하여, 수정된 시그널링은 하나의 미디어 자원의 서로 다른 중요도를 갖는 부분에 기반하여 각각 FEC 부호화를 제어하여, 서로 다른 FEC흐름을 달성하고, FEC 메커니즘을 개선하고, 서버는 사용자의 네트워크 상태에 따라 다이내믹하게 미디어 자원의 서로 다른 부분의 FEC 강도를 조절할 수 있고, 시그널링을 수신한 후에, 수신단은 대응하는 지시에 따라 미디어 자원을 회복하고, 이로써 네트워크 대역과 사용자 경험 사이에서 평형점을 얻는다.
더 나아가, 상기 시그널링 중의 fec_flow_descriptor 필드를 수정하는바: AL-FEC message에 있는 3가지 fec_coding_structure를 기반으로 새로운 fec_coding_structure를 추가하고, fec_coding_structure의 기능은 선택된 부호화 알고리즘, 개인 부호화 방식의 사용 여부, 최대 보호 시간 윈도우 시간 및 값을 포함하여 FEC 부호화 방식을 기술하는 것이고, 이 필드는 AL-FEC시그널링에 위치되고 수신단으로 전송되고, 신규 추가된 fec_coding_structure의 플래그 비트는 기존의 보류 범위 내에서 선택된다.
더 나아가, 신규 추가된 fec_coding_structure의 플래그 비트 값은 0100으로 선택된다.
더 나아가, 상기 방법3에서 MMT AL-FEC 송신단 구조에 대해, 송신단의 절차는 다음 단계를 포함한다:
a) 서버에 의해 미디어 자원에 기반하여 MMTP 흐름과 시그널링을 생성하는 단계;
b) MMT흐름 중 데이터의 각 프레임의 서로 다른 중요도에 따라, MMT 패킷을 FEC 부호기에 전달한 후 서로 다른 우선순위에 대하여 서로 다른 FEC 부호화 행렬을 사용하고, MMT 패킷의 FEC 부호화를 실시하여 대응하는 FEC코드를 생성하는 단계;
c) 이전 단계 중 동일한 데이터 흐름의 서로 다른 우선순위를 갖는 MMT 패킷의 FEC 부호화를 수행한 후 형성된 FEC코드를 통합하여 하나의 FEC코드 스트림을 생성하는 단계;
d) FEC 부호화가 완료된 후 대응하는 복원 특성, FEC데이터 로드 표시 및 기존 데이터 로드 표시를 반환하는 단계; 및
e) 모든 복원 특성을 FEC 복원 패킷으로 묶은 후 전송층으로 발송하는 단계를 포함한다.
더 나아가, 상기 방법은 시그널링에 의해 FEC 흐름, 사용된 FEC 부호화 구조 및 FEC 코드를 식별하는 단계를 포함하고, 이와 같은 메커니즘을 지원하기 위해 시그널링 중의 fec_flow_descriptor 필드를 수정하는바: 새로운 fec_coding_structure는 AL-FEC message에 있는 3가지 fec_coding_structure 필드에 기반하여 추가되고, fec_coding_structure의 기능은 선택된 부호화 알고리즘, 개인 부호화 방식의 사용 여부, 최대 보호 시간 윈도우 시간 및 값을 포함하여 FEC 부호화 방식을 기술하는 것이고, 필드는 AL-FEC 시그널링에 위치되고, 수신단으로 전송되고, 새로 추가된 fec_coding_structure의 플래그 비트는 기존의 보류 범위 내에서 선택되고, 기본 시그널링은 다수의 미디어 자원을 다수로 사용하는 하나의 FEC 흐름의 복원 정보만을 지원하며, 하나의 미디어 자원의 상이한 중요도를 갖는 부분을 추가하고, FEC 시그널링은 각각 제어되어 FEC 메커니즘을 개선하고, 서버는 사용자의 네트워크 상태에 따라 다이내믹하게 미디어 자원의 서로 다른 부분의 FEC 강도를 조절할 수 있고, 이로써 네트워크 대역과 사용자 경험 사이에서 평형점을 얻는다.
더 나아가, 신규 추가된 fec_coding_structure의 플래그 비트 값은 0110으로 선택된다.
더 나아가, 상기 방법4에서 MMT AL-FEC 송신단 구조에 대해 송신단의 절차는 다음을 포함한다:
a) 서버는 미디어 자원에 기반하여 MMTP 흐름과 시그널링을 생성하는 단계;
b) MMT로드를 FEC 메커니즘으로 전송하고, 플래그 비트의 컨텐츠 중요도의 구별에 따라, D-EWF 코드로 비균등 오류 보호를 수행하는 단계;
c) D-EWF 코드를 부호화한 후 대응하는 복원 특성 및 FEC데이터 로드 표시와 소스 데이터 로드 표시를 반환하는 단계;
d) 모든 복원 특성을 FEC복원 패킷으로 묶은 후 전송층으로 발송하는 단계를 포함한다.
더 나아가, 상기 방법4는: 시그널링을 통해 FEC 흐름, 사용된 FEC 부호화 구조 및 D-EWF을 식별하는 단계를 포함하고, 상기 메커니즘을 지원하기 위해 시그널링 중의 FEC_FLOW_DESCRIPTOR 필드를 수정하는바: 기본 시그널링은 다수의 미디어 자원을 다수로 사용하는 하나의 FEC 흐름의 복원 정보만을 지원하며, 하나의 미디어 자원의 상이한 중요도를 갖는 부분을 추가하여, FEC 시그널링은 각각 제어되어 FEC 메커니즘을 개선하고, 서버는 사용자의 네트워크 상태에 따라 다이내믹하게 미디어 자원의 서로 다른 부분의 D-EWF 강도를 조절할 수 있고, 이로써 네트워크 대역과 사용자 경험 사이에서 평형점을 얻는다.
더 나아가, 상기 방법4는: 확산인자 도입을 통해 확산도 분포 범위의 가상 확산을 수행하고, D-EWF 코드 윈도우 기술과 결합함으로써 가상 확장 데이터를 서로 다른 윈도우로 분할하고, 각 윈도우를 최적화된 robust soliton distribution을 사용함으로써 LT부호화하고, 이로써 중요한 데이터의 보호가 증진된다.
기존의 기술에 비해, 본 발명은 아래와 같은 유리한 효과가 있다:
본 발명에 따른 기술방안을 적용하면, 현단계 FEC시스템에서 과도한 부호화로 초래되는 데이터 밀집 현상에 대하여 미디어 컨텐츠에 대해 등급을 나눈 후 서로 다른 중요도를 부여하고, 시그널링 및/또는 지시 비트를 통해 제어할 수 있고; 서로 다른 FEC 부호화 강도를 적용할 수 있고; 더 나아가, 비균등 오류 보호(UEP) 성능을 구비한 복제 확장 윈도우 파운틴(D-EWF) 코드를 적용하여 미디어 컨텐츠 품질을 최대한 보장함과 동시에 FEC에 의해 발생되는 막대한 데이터 양을 줄일 수 있다.
본 발명의 기타 특징, 목적 및 이점은 아래의 도면을 참조하여 비제한성 실시예의 상세한 설명을 읽음으로써 더욱 명확해질 것이다.
도1은 MMT에서 미디어 자원에 대한 FEC 2층 구조를 도시한다.
도2는 이미지 그룹 내의 각 프레임의 의존 관계도를 도시한다.
도3은 일반적인 MPU구성요소의 중요도를 도시한다.
도4는 본 발명의 제 1 실시예에 따른 MMT AL-FEC 송신단 구조도를 도시한다.
도5는 본 발명의 제 2 실시예에 따른 MMT AL-FEC 송신단 구조도를 도시한다.
도6은 본 발명의 제 3 실시예에 따른 MMT AL-FEC 송신단 구조도를 도시한다.
도7은 본 발명의 제 4 실시예에 따른 MMT AL-FEC 송신단 구조도를 도시한다.
도8은 본 발명의 제 4 실시예의 D-EWF 코드 부호화 블록도를 도시한다.
도9는 본 발명의 제 4 실시예의 D-EWF 코드 부호화 흐름도를 도시한다.
본 발명은 아래에서 구체적인 실시예를 참조하여 설명된다. 아래의 실시예는 당업자가 더 나아가 본 발명을 이해하는데 도움이 될 것이며, 임의의 형식으로 본 발명을 제한하는 것은 아니다. 당업자는 본 발명의 개념을 이탈하지 않는다는 전제하에, 본 발명을 일부 변경하고 개선할 수 있다. 이와 같은 개선은 모두 본 발명의 보호 범위 내에 속한다.
도1에 개시된 바와 같이: MMT에서 미디어 자원의 FEC(순방향 오류 정정) 2층 구조에 대하여 1층은 소스 패킷 블록을 많은 작은 블록으로 나누고, 작은 블록들은 각각 FEC 보호를 실시하고, 2층은 하나의 블록으로 FEC 보호를 실시한다. 1층은 세밀하게 분할되므로더 작은 지연이 발생되고, 2층은 회복 성능과 더 작은 리던던시를 보장한다. 하지만 유연성은 부족하다.
도2에 개시된 바와 같이: 이미지 그룹 내의 각 프레임은 의존 관계에 있다. 도 2는 이미지 그룹에 서로 다른 프레임의 의존도와 중요도가 다르다는 것을 보여준다. I 프레임은 가장 중요하고, 앞의 P 프레임이 뒤의 P 프레임 보다 중요하고, B 프레임의 중요도가 제일 낮다. 따라서 중요도에 따라 층이 나눠진 FEC가 수행될 수 있으며, 이는 FEC의 기반이 된다.
[발명의 실시를 위한 형태]
제 1 실시예 :
본 실시예는 MMT전송 프로토콜의 예이며, 발명의 내용 중 방법1을 적용하여 실시된다:
MMT방식에서 MPU 패킷 하의 MFU 패킷들은 서로 다른 중요도를 갖고 있으며, 비균등 오류 보호가 부족하여, 이 경우 개인화된 전송 방식을 설정할 수 없게 된다. MMT 패킷에서 서로 다른 중요도의 프레임(예를 들어 I 프레임과 B 프레임)은 도2 및 3에 도시된 바와 같이 구분이 가능하다(지시 플래그 있음). . 하지만 부호화 과정은비균등 오류 보호를 포함하지 않는다. 비록 2 단 구조 방식과 LA-FEC(The layer-aware Federal Election Commission)는 일정한 정도의 비균등 오류 보호를 실현할 수 있지만, 유연성이 낮고, 복잡도가 높다. 더욱이 변화하는 채널 조건과 서로 다른 특징(예를 들어 서로 다른 버퍼)을 갖는 수신 사용자의 입장에서 기존의 두가지 방식은 리던던시가 크고, 적응성이 나쁘며, 오직 단일 상황만을 목표로 할 수 있고, 사용자 경험을 통해 고려할 수 없는 등의 문제가 있다.
해결방식:
1 정보 채널 조건 및 사용자 경험을 결합하여 서로 다른 중요도를 갖는 프레임의 패킷에 따라 부호화 방식을 변경한다(프레임의 중요도는 구분된다). 예를 들어 정보 채널 조건이 아주 나쁘거나 사용자 저장 용량이 제한된 경우 송신단은 I 프레임 데이터를 보호하는 경향이 있다. 따라서 사용자는 더 높은 확률로 I 프레임을 수신하는 반면, B 프레임과 P 프레임은 더 큰 정도로 수신 시에 버려진다. 그러므로 후속처리에서 수신단이 아닌 송신단에서 B프레임과 P 프레임을 버린다. 대역 자원은 더 중요한 프레임을 보호하기 위해 저장된다.
2 만약 특수 지시 필드를 추가하지 않는다면, 단지 이전 상황에만 근거하여 부호화를 실시할 수 밖에 없고, 비균등 오류 보호는 단지 해당하는 프레임의 중요도에 따라 배치할 수 밖에 없다. MPU와 함께 전송되는 시그널링에 비균등 오류 보호 플래그 비트를 추가한다.
3 하지만 더욱 개인화된 방식을 달성하기 위해서는 특수 지시 필드를 반드시 추가해야 한다. 더욱 개인화된 방식에서 보호 방식은 정보 채널의 품질에 따라 변경되고, 사용자 특성에 따라 맞춤 제작된다. 서로 다른 MFU(Milli Flux Unit)들은 각자 서로 다른 중요도를 가지므로, MFU 패킷 헤더 앞에 지시를 추가하는 것은방식을 더욱 개인화시킬 수 있다.
도4는 개선된 MMT AL-FEC 송신단 구조의 실시예를 도시한다. 주로 MMT프로토콜에서 스트리밍 후의 출력을 수정한다. 데이터 흐름을 서로 다른 우선순위에 따라 서로 다른 소스 버퍼에 각각 발송하여 각각 FEC를 실시한다.
송신단 구조는 도 4와 같다.
송신단의 절차는 다음 단계를 포함한다:
i) 서버는 미디어 자원에 근거하여 MMTP 흐름과 시그널링을 생성한다.
j) 미디어 자원의 각 프레임의 중요도를 분석한 후 이 MMT 로드를 서로 다른 기존 데이터 흐름으로 분배하여, 대응하는 FEC 메커니즘에 전달하여 보호를 실시한다.
k) FEC 부호화 후 대응하는 복원 특성 및 FEC데이터 로드 표시와 기존 데이터 로드 표시를 반환한다.
l) 모든 복원 특성을 FEC 복원 패킷으로 묶은 후 전송층으로 발송한다.
시그널링에 의해 FEC 흐름, 사용된 FEC 부호화 구조 및 FEC 코드를 식별한다. 이와 같은 메커니즘을 지원하기 위해 시그널링 중의 FEC_FLOW_DESCRIPTOR 필드를 수정하였다.
시그널링을 아래와 같이 수정한다:
Orignal Modified
...
fec_flag
private_fec_flag
reserved //value "111111"
if(fec_flag==1) {
fec_flow_descriptor() {
number_of_fec_flows //N1
for( i=0; i<N1; i++) {
fec_flow_id
source_flow_id
number_of_assets //N2
for( j=0; j<N2;j++) {
packet_id
}
//detail fec coding configuration
...
...
}
}
}		 ...
fec_flag
private_fec_flag
reserved // value "111110"
if(fec_flag==1) {
fec_flow_descriptor() {
number_of_assets //N1
for( i=0; i<N1; i++) {
packet_id
number_of_fec_flows //N2
for( j=0; j<N2;j++) {
fec_flow_id
source_flow_id
//detail fec coding configuration
...
}

}
}
}
기본 시그널링은 다수의 미디어 자원을 다수로 사용하는 하나의 FEC 흐름의 복원 정보만을 지원한다. 목적을 달성하기 위해, 본 실시예에서는 fec_flow_descriptor 필드 순서와 정의를 조절 및 수정하였다. 하나의 보류 필드를 사용함으로써 이와 같은 변화를 지시하였다. 수정 후 number_of_assets는 FEC를 수행하는 모든 미디어 자원을 지시하고, packet_id는 각각 대응하는 미디어 자원의 표시이고, number_of_fec_flows는 각각의 하나의 미디어 자원이 몇 개의 FEC 흐름과 대응하는지(즉, 몇 개의 레벨로 나눌지)를 지시한다. 하나의 미디어 자원의 서로 다른 중요도 부분에 대하여 각각 FEC 시그널링 제어를 실시하여 서로 다른 FEC 흐름을 얻은 후 FEC 메커니즘을 더 세분화하고, 서버는 사용자 네트워크 상태에 따라 다이내믹하게 미디어 자원의 서로 다른 부분의 FEC 강도를 조절한다. 시그널링을 수신한 후 수신단은 대응하는 지시에 따라 미디어 자원을 회복하고, 네트워크 대역과 사용자 경험 사이에서 평형점을 얻는다. 상술한 해결방식의 이점: 1 자원이 절약된다. 만약 수신단에서 상황에 근거하여 인위적으로 이미 수신한 프레임(예를 들어 B 프레임)을 버리면, 전송 자원을 낭비하게 된다. 상술한 해결방식은 더 큰 정도로 중요 패킷을 보호하기 위해 더 큰 확률로 전송에서 불필요한 패킷을 버림으로써 소스단에서부터 이러한 문제를 해결할 수 있다. 2 전송 방식이 개인화된다. 동영상 전송은 사용자 경험에 기반해야 한다. 더 세밀한 비균등 오류 보호를 할 경우, I 프레임과 B 프레임에 대한 FEC보호의 정도는 사용자 상황(예를 들어, 시각 경험 및 버퍼 상태)에 기반하여 설계될 수 있다.
아래 표는 RS코드(Reed-solomon code)를 간단히 적용한 MMT에서 컨텐츠 레벨 부호화 전송 예시를 나타낸다. 네트워크 상태 및 사용자 수요에 따라 유연하게 부호화 방안을 변경할 수 있다: 각 프레임의 FEC 강도를 합리적으로 구성하여, 대역을 절감하는 동시에 수신단의 프레임 수신율을 최대한으로 최대화시켜 최상의 사용자 경험을 얻는다.
Figure 112019120647004-pat00001
제 2 실시예 :
본 실시예는 MMT전송 프로토콜의 예이며, 발명의 내용 중 방법2를 적용하여 실시된다:
MMT방식에서 MPU 패킷 하의 MFU 패킷들은 서로 다른 중요도를 갖고 있으며, 비균등 오류 보호가 부족하여, 이 경우 개인화된 전송 방식을 설정할 수 없게 된다. MMT 패킷에서 서로 다른 중요도의 프레임(예를 들어 I 프레임과 B 프레임)은 도2 및 3에 도시된 바와 같이 구분이 가능하다(지시 플래그 있음). 하지만 부호화 과정은 비균등 오류 보호를 포함하지 않는다. 비록 2 단 구조 방식과 LA-FEC(The layer-aware Federal Election Commission)는 일정한 정도의 비균등 오류 보호를 실현할 수 있지만, 유연성이 낮고, 복잡도가 높다. 더욱이 변화하는 채널 조건과 서로 다른 특징(예를 들어 서로 다른 버퍼)을 갖는 수신 사용자의 입장에서 기존의 두가지 방식은 리던던시가 크고, 적응성이 나쁘며, 오직 단일 상황만을 목표로 할 수 있고, 사용자 경험을 통해 고려할 수 없는 등의 문제가 있다.
해결방식:
1 정보 채널 조건 및 사용자 경험을 결합하여 서로 다른 중요도를 갖는 프레임의 패킷에 따라 부호화 방식을 변경한다(프레임의 중요도는 구분된다). 예를 들어 정보 채널 조건이 아주 나쁘거나 사용자 저장 용량이 제한된 경우 송신단은 I 프레임 데이터를 보호하는 경향이 있다. 따라서 사용자는 더 높은 확률로 I 프레임을 수신하는 반면, B 프레임과 P 프레임은 더 큰 정도로 수신 시에 버려진다. 그러므로 후속처리에서 수신단이 아닌 송신단에서 B프레임과 P 프레임을 버린다. 대역 자원은 더 중요한 프레임을 보호하기 위해 저장된다.
2 만약 특수 지시 필드를 추가하지 않는다면, 단지 이전 상황에만 근거하여 부호화를 실시할 수 밖에 없고, 비균등 오류 보호는 단지 해당하는 프레임의 중요도에 따라 배치할 수 밖에 없다. MPU와 함께 전송되는 시그널링에 비균등 오류 보호 플래그 비트를 추가한다.
3 하지만 더욱 개인화된 방식을 달성하기 위해서는 특수 지시 필드를 반드시 추가해야 한다. 더욱 개인화된 방식에서 보호 방식은 정보 채널의 품질에 따라 변경되고, 사용자 특성에 따라 맞춤 제작된다. 서로 다른 MFU(Milli Flux Unit)들은 각자 서로 다른 중요도를 가지므로, MFU 패킷 헤더 앞에 지시를 추가하는 것은 방식을 더욱 개인화시킬 수 있다.
도5는 개선된 MMT AL-FEC 송신단 구조의 실시예를 도시한다. 주로 MMT프로토콜에서 스트리밍 후의 출력을 수정하고, MMT데이터 패킷을 우선순위에 따라 서로 다른 FEC 부호기로 발송하여, 각각 FEC를 실시한다.
송신단 구조는 도 5 도시된 바와 같다.
송신단의 절차는 다음 단계를 포함한다:
a) 서버는 미디어 자원에 기반하여 MMTP 흐름과 시그널링을 생성한다.
b) MMT스트림중 각 프레임 데이터의 중요도가 다르다는데 근거하여 MMT 패킷을 서로 다른 FEC 부호로 전송하여, 대응하는 FEC코드를 생성한다.
c) FEC 부호화 후 대응하는 복원 특성 및 FEC데이터 로드 표시와 기존 데이터 로드 표시를 반환한다.
d) 모든 복원 특성을 FEC 복원 패킷으로 묶은 후 전송층으로 발송한다.
시그널링에 의해 FEC 흐름, 사용된 FEC 부호화 구조 및 FEC 코드를 식별한다. 이와 같은 메커니즘을 지원하기 위해 시그널링 중의 fec_flow_descriptor 필드를 수정하였다: 기본 시그널링은 단지 하나의 FEC 흐름에서 다수의 미디어 자원을 다수로 사용하는 복원 정보 만을 지원하며, 하나의 미디어 자원에 대해 서로 다른 중요도 부분을 추가하였는바, 수정 후의 시그널링은 하나의 미디어 자원의 서로 다른 중요도 부분에 대하여 각각 FEC 부호화 제어를 하여 서로 다른 FEC 흐름을 얻은후 FEC 메커니즘을 더 세분화하고, 서버는 사용자 네트워크 상태에 근거하여 다이내믹하게 미디어 자원중 서로 다른 부분의 FEC 강도를 조절한다. 수신단은 시그널링을 접수한 후 대응하는 지시에 근거하여 미디어 자원을 회복하여 네트워크 대역과 사용자 경험 사이에서 평형점을 얻는다.
표 2: 새로운 fec_coding_structure 의 설명
Syntax Values No. of bits Mnemonic
if( fec _coding_structure == 0100) {
num_of_priority_for_mmtps
if(private_ fec _flag == 1) {
private_flag
private_field_length
private_field
}
for( l=0;l<N4;l++){
priority_id
fec_code_id_for_repair_flow
repair_flow_id

maximum_k_for_repair_flow

maximum_p_for_repair_flow

protection_window_time

protection_window_size
}
}
N4



''









8

1
7
N7*8


8
8
8

24

24

32

32


uimbsf

bslbf
bslbf
uimbsf


uimbsf
uimbsf
uimbsf

uimbsf

uimbsf

uimbsf

uimbsf

기본 시그널링은 단지 하나의 FEC 흐름에서 다수의 미디어 자원을 다수로 사용하는 복원 정보 만을 지원하며, 목적을 달성하기 위해 본 실시예는 AL-FEC message에 있는 3가지 fec_coding_structure필드를 기반으로 새로운 fec_coding_structure를 추가한다. fec_coding_structure의 기능은 선택된 부호화 알고리즘, 개인 부호화 방식의 사용 여부, 최대 보호 시간 윈도우 시간 및 값을 포함하여 FEC 부호화 방식을 기술하는 것이다. 이 필드는 AL-FEC시그널링에 위치되고 수신단으로 전송되고, 신규 추가된 fec_coding_structure의 플래그 비트는 기존의 보류 범위 내에서 선택된다. 본 방식에서는 0100이 권장된다. 상기 표에서 필드의 의미는 아래와 같다: num_of_priority_for_mmtps: 하나의 미디어 자원에 대한 우선순위 번호.
private_fec_flag: 지시 비트, 개인 FEC 부호화 방식을 사용할지 여부를 지시.
private_flag: 지시 비트, FEC 부호화 방식을 설명할 수 있는 하나의 private_field가 존재하는지 여부를 지시.
private_field_length: 길이 필드, 개인 FEC 부호화 방식의 필드 길이를 설명하는데 사용.
private_field: 개인 FEC방식의 상세한 정보를 설명하는데 사용.
priority_id: 우선순위id, MMT 패킷의 우선순위를 지시하는데 사용.
fec_code_id_for_repair_flow: 사용하는 FEC 부호화 방식을 설명하는데 사용.
repair_flow_id: 8자리 정수, 생성된 FEC 복원 흐름복원 흐름과 FEC 복원복원 패킷 헤더의 packet id 사이의 대응관계를 지시하는데 사용.
maximum_k_for_repair_flow: 24자리 정수, 하나의 소스 심벌 블록에서 소스 심벌의 최대 수량 설명하는데 사용.
maximum_p_for_repair_flow: 24자리 정수, 하나의 복원 심벌 블록에서 복원 심벌의 최대 수량 설명하는데 사용.
protection_window_time: 보호 윈도우 시간, FEC 부호화 과정에서 처음 소스 또는 복원 패킷의 발송과 마지막 소스 또는 복원 패킷의 발송 사이의 최대 시간차이를 지시하는데 사용하고, 단위는 밀리초이다.
protection_window_size: 보호 윈도우 값, FEC 부호화 흐름에서 처음 FEC 패킷의 로드 발송과 마지막 FEC 패킷 로드 발송 사이의 최대 계수값을 지시하는데 사용.
본 실시예에서 미디어 컨텐츠에 대해 등급을 나누고, 서로 다른 중요도를 부여한 후 기본 미디어 데이터 흐름에 대해 분로 하지 않는 상황에서 채널 조건 및 사용자 경험을 조합하여 미디어 패킷에 포함된 프레임의 중요도에 따라, 데이터 패킷을 대응하는 FEC 부호기에 전송하여 서로 다른 정도의 보호를 실시한다.
상술한 해결방식의 이점:
1 자원이 절약된다. 만약 수신단에서 상황에 근거하여 인위적으로 이미 수신한 프레임(예를 들어 B 프레임)을 버리면, 전송 자원을 낭비하게 된다. 상술한 해결방식은 더 큰 정도로 중요 패킷을 보호하기 위해 더 큰 확률로 전송에서 불필요한 패킷을 버림으로써 소스단에서부터 이러한 문제를 해결할 수 있다.
2 전송 방식이 개인화된다. 동영상 전송은 사용자 경험에 기반해야 한다. 더 세밀한 비균등 오류 보호를 할 경우, I 프레임과 B 프레임에 대한 FEC보호의 정도는 사용자 상황(예를 들어, 시각 경험 및 버퍼 상태)에 기반하여 설계될 수 있다.
제 3 실시예 :
본 실시예는 MMT전송 프로토콜의 예이며, 발명의 내용 중 방법3을 적용하여 실시된다:
MMT방식에서 MPU 패킷 하의 MFU 패킷들은 서로 다른 중요도를 갖고 있으며, 비균등 오류 보호가 부족하여, 이 경우 개인화된 전송 방식을 설정할 수 없게 된다. MMT 패킷에서 서로 다른 중요도의 프레임(예를 들어 I 프레임과 B 프레임)은 도2 및 3에 도시된 바와 같이 구분이 가능하다(지시 플래그 있음). . 하지만 부호화 과정은비균등 오류 보호를 포함하지 않는다. 비록 2 단 구조 방식과 LA-FEC(The layer-aware Federal Election Commission)는 일정한 정도의 비균등 오류 보호를 실현할 수 있지만, 유연성이 낮고, 복잡도가 높다. 더욱이 변화하는 채널 조건과 서로 다른 특징(예를 들어 서로 다른 버퍼)을 갖는 수신 사용자의 입장에서 기존의 두가지 방식은 리던던시가 크고, 적응성이 나쁘며, 오직 단일 상황만을 목표로 할 수 있고, 사용자 경험을 통해 고려할 수 없는 등의 문제가 있다.
해결방식:
1 정보 채널 조건 및 사용자 경험을 결합하여 서로 다른 중요도를 갖는 프레임의 패킷에 따라 부호화 방식을 변경한다(프레임의 중요도는 구분된다). 예를 들어 정보 채널 조건이 아주 나쁘거나 사용자 저장 용량이 제한된 경우 송신단은 I 프레임 데이터를 보호하는 경향이 있다. 따라서 사용자는 더 높은 확률로 I 프레임을 수신하는 반면, B 프레임과 P 프레임은 더 큰 정도로 수신 시에 버려진다. 그러므로 후속처리에서 수신단이 아닌 송신단에서 B프레임과 P 프레임을 버린다. 대역 자원은 더 중요한 프레임을 보호하기 위해 저장된다. 반면 시변 채널에서는, 네트워크 상황의 변화에 근거하여 자체 적응하는 FEC 부호화 방식을 변화할 수 있다. 예를 들어, 네트워크 상황이 악화되면, FEC seed를 변화시킴으로써 FEC 부호화의 부호화 행렬를 변화시켜 전송 데이터의 보호 강도를 높일수 있다.
2 만약 특수 지시 필드를 추가하지 않는다면, 단지 이전 상황에만 근거하여 부호화를 실시할 수 밖에 없고, 비균등 오류 보호는 단지 해당하는 프레임의 중요도에 따라 배치할 수 밖에 없다. MPU와 함께 전송되는 시그널링에 비균등 오류 보호 플래그 비트를 추가한다.
3 하지만 더욱 개인화된 방식을 달성하기 위해서는 특수 지시 필드를 반드시 추가해야 한다. 더욱 개인화된 방식에서 보호 방식은 정보 채널의 품질에 따라 변경되고, 사용자 특성에 따라 맞춤 제작된다. 서로 다른 MFU(Milli Flux Unit)들은 각자 서로 다른 중요도를 가지므로, MFU 패킷 헤더 앞에 지시를 추가하는 것은 방식을 더욱 개인화시킬 수 있다.
도6은 개선된 MMT AL-FEC 송신단 구조의 실시예를 도시한다. 주로 MMT프로토콜에서 스트리밍 후의 출력을 수정하고, MMT 패킷을 우선순위에 따라 서로 다른 부호기로 발송하여 각각 FEC 부호화를 수행한다. MMT패킷의 서로 다른 우선순위에 따라, 서로 다른 부호화 행렬이 선택된다. 각 우선순위의 FEC 부호기 처리를 통해 생성된 FEC코드는 하나의 FEC 코드 흐름으로 통합한다.
송신단 구조 도 6과 같다.
송신단의 절차는 다음 단계를 포함한다.
a) 서버는 미디어 자원에 기반하여 MMTP 흐름과 시그널링을 생성한다.
b) MMT스트림중 각 프레임 데이터의 중요도가 다르다는데 근거하여 MMT 패킷을 서로 다른 FEC 부호기에 전달한 후, 서로 다른 우선순위에 대하여 서로 다른 FEC 부호화 행렬을 적용하고, MMT 패킷의 FEC 부호화를 실시하여 대응하는 FEC코드를 생성한다.
c) 이전 단계에서 동일한 데이터 흐름의 서로 다른 우선순위를 갖는 MMT 패킷에 대하여 FEC 부호화 후 형성된 FEC코드를 통합하여 하나의 FEC코드 스트림을 생성한다.
d) FEC 부호화가 완료된 후 대응하는 복원 특성 및 FEC데이터 로드 표시와 기존 데이터 로드 표시를 반환한다.
e) 모든 복원 특성을 FEC 복원 패킷으로 묶은 후 전송층으로 발송한다.
시그널링에 의해 FEC 흐름, 사용된 FEC 부호화 구조 및 FEC 코드를 식별한다. 이와 같은 메커니즘을 지원하기 위해 시그널링 중의fec_flow_descriptor 필드를 수정하였다.
표 3: fec_coding_structure의 설명
Syntax Values No. of bits Mnemonic
if(fec_coding_structure == 0110) {

seed

num _of_priority_for_ mmtps
for( l= 0;l<N4;l++) {

priority_mapping
}
if(private_ fec _flag == 1) {
private_f lag
private_field_length
private_field
}


repair_flow_id
fec_code_id_for_repair_flow
maximum_k_for_repair_flow

maximum_p_for_repair_flow

protection_window_time

protection_window_siz

}

N4




''
32





8


1
7
N7*8


8
8
8
24

24

32

32

uimbsf







bslbf
bslbf
uimbsf


uimbsf
uimbsf
uimbsf
uimbsf

uimbsf

uimbsf

uimbsf

기본 시그널링은 단지 하나의 FEC 흐름에서 다수의 미디어 자원을 다수로 사용하는 복원 정보 만을 지원하며, 본 실시예에서는 새로운 fec_coding_structure를 추가하고, fec_coding_structure의 기능은 선택된 부호화 알고리즘, 개인 부호화 방식의 사용 여부, 최대 보호 시간 윈도우 시간 및 값을 포함하여 FEC 부호화 방식을 기술하는 것이다. 이 필드는 AL-FEC시그널링에 위치하고 수신단으로 전송된다. 신규 추가된 fec_coding_structure의 플래그 비트는 기존의 보류 범위에서 선택될 수 있고, 본 방식에서 0110이 권장된다. 상기 표의 필드 의미는 아래와 같다: seed: 랜덤 씨드, 허위 랜덤 수를 발생하는 초기 조건으로서, FEC 부호화에 대한 발생 행렬과 검사 행렬을 구성하는 허위 랜덤 순서를 위해 사용된다. 시스템 시간 얻기 및 프로세스 ID얻기와 같은seed 선택을 위한 많은 알리고즘이 있다. num_of_priority_for_mmtps: 하나의 미디어 자원 중 우선순위의 번호.
priority_mapping: 우선순위 맵핑, 미디어 자원 중 서로 다른 패킷과 자원 우선순위 사이의 맵핑을 지시하는데 사용.
private_fec_flag: 지시 비트, 개인 FEC 부호화 방식을 사용할지 여부를 지시하는데 사용.
private_flag: 지시 비트, FEC 부호화 방식을 설명할 수 있는 하나의 private_field가 존재하는지 여부를 지시한다.
private_field_length: 길이 필드, 개인 FEC 부호화 방식의 필드 길이를 설명하는데 사용.
private_field: 개인 FEC방식의 상세한 정보를 설명하는데 사용.
priority_id: 우선순위id, MMT 패킷의 우선순위를 지시하는데 사용.
fec_code_id_for_repair_flow: 사용된 FEC 부호화 방식을 설명하는데 사용.
repair_flow_id: 8자리 정수, 생성된 FEC 복원 흐름과 FEC 복원 패킷 헤더의 패킷 id 사이의 대응관계를 지시하는데 사용.
maximum_k_for_repair_flow: 24자리 정수, 하나의 소스 심벌 블록에서 소스 심벌의 최대 수량 설명.
maximum_p_for_repair_flow: 24자리 정수, 하나의 복원 심벌 블록에서 복원 심벌의 최대 수량 설명.
protection_window_time: 보호 윈도우 시간, FEC 부호화 과정에서 처음 소스 또는 복원 패킷의 발송과 마지막 소스 또는 복원 패킷의 발송 사이의 최대 시간차이를 지시하는데 사용하고, 단위는 밀리초이다.
protection_window_size: 보호 윈도우 값, FEC 부호화 흐름에서 처음 FEC 패킷의 로드 발송과 마지막 FEC 패킷 로드 발송 사이의 최대 계수값을 지시하는데 사용.
개선된 시그널링은 하나의 미디어 자원의 서로 다른 중요도를 갖는 부분에 기반하여 서로 다른 부호화 행렬으로 각각 서로 다른 우선순위에 대해 FEC 부호화를 제어를 한다. 하나의 미디어 데이터 흐름에 대해 하나의 FEC코드 흐름만을 생성함으로써 FEC 메커니즘을 더 세분화함과 동시에 과도한 FEC 부호화로 인해 증가된 네트워크 트래픽을 감소시킨다. 이 방식에서 서버는 사용자의 네트워크 상태에 근거하여 다이내믹하게 미디어 자원의 서로 다른 부분의 FEC 강도를 조절할 수 있다. 수신단은 시그널링을 수신한 후 각 자원 패킷의 우선 순위 및 씨드를 해석하고, FEC 복호화를 수행하기 위해 씨드에 따라 검사 행렬을 생성하고, 미디어 자원을 회복함으로써 네트워크 대역과 사용자 경험 사이에서 평형점을 얻는다.
상술한 해결방식의 이점:
1 자원 절약이 절약된다. 만약 수신단에서 상황에 근거하여 인위적으로 이미 수신한 프레임(예를 들어 B 프레임)을 버리면, 전송 자원을 낭비하게 된다. 상술한 해결방식은 더 큰 정도로 중요 패킷을 보호하기 위해 더 큰 확률로 전송에서 불필요한 패킷을 버림으로써 소스단에서부터 이러한 문제를 해결할 수 있다.
2 전송 방식이 개인화된다. 동영상 전송은 사용자 경험에 기반해야 한다. 더 세밀한 비균등 오류 보호를 할 경우, I 프레임과 B 프레임에 대한 FEC보호의 정도는 사용자 상황(예를 들어, 시각 경험 및 버퍼 상태)에 기반하여 설계될 수 있다. 3 네트워크 상황에 근거하여 자체 적응식으로 FEC 부호화 방식을 변경할 수 있다. 서로 다른 우선순위의 데이터에 대해 서로 다른 강도로 FEC 보호를 실시하는 기초상에서 만약 네트워크 상황 악화가 발생하여 패킷 분실율이 증가될 경우 자체 적응으로 FEC의seed를 조절하여 FEC의 생성 행렬을 변화시킬 수 있고, FEC 강도를 증가시켜 네트워크 악화로 인한 영향에 저항할 수 있다.
4 MMT에서 기존의 AL-FEC방식은 단지 서로 다른 우선순위를 가진 MMT 패킷에 대해 서로 다른 FEC코드 흐름의 생성을 지원하며, 본 방식은 하나의 미디어 자원 데이터 흐름에 대해 오직 하나의 FEC 코드 스트림의 생성만을 지원한다. 이는 FEC로 인한 흐름의 증가를 크게 줄이고, 네트워크 압력을 줄일 수 있다.
제 4 실시예 :
본 실시예는 MMT전송 프로토콜의 예이며, 발명의 내용 중 방법4를 적용하여 실시된다:
MMT에서 미디어 자원의 FEC 2층 구조은 도 1에 도시된 바와 같다. MMT에서 미디어 자원의 FEC를 목표로하는 두 개의 층에 대하여, 1층은 source packet block을 각각 FEC로 보호되는 다수의 작은 블록으로 나누고, 2층은 FEC로 보호되는 한 개의 블록이다. 1층은 세밀하게 획분하였기에 지연이 작고, 2층은 회복성능과 작은 리던던시를 보장한다. 도면에서 P1, P2는 각각 FEC 부호기 1, 2가 생성한 복원 심벌 블록이다.
도8에 도시된 바와 같이, 구체적으로 전송 소스 데이터가 두개의 중요도를 가진 상황이 고려된다. K개의 소스 데이터를 중요도에 따라 2개의 중요도 등급으로 나눈다, 즉 s 1 ,s 2 . s 1 을 제일 중요한 부분 MIB(Most ImPortant Bits, 제일 중요한 정보 비트)로 설정하고, s 2 를 제일 중요하지 않은 부분 LIB(Least ImPortant Bits, 제일 중요하지 않은 데이터 비트)로 설정한다.
MMT방안에서 MPU 패킷 하의 MFU 패킷은 다른 중요성을 갖고 있음으로 인해 언이퀄 에러 프로텍션이 부족하며, 이 경우 개성화 전송 방안을 설정할 수 없게 된다. MMT 패킷에서 다른 중요성 컨텐츠는 구분이 가능하다(지시 플래그 있음). 도3 참고. 하지만 인코딩 과정에서 결코 언이퀄 에러 프로텍션과 관련이 없는바, 비록 도1에서 표시한 2층 인코딩 방안과 LA-FEC는 일정한 정도에서 언이퀄 에러 프로텍션을 실현할 수 있지만, 반면에 유연성이 낮고, 복잡도가 높다. 더욱이는 변화하는 채널 상황과 다른 특징(예하면 캐시 다름)을 구비한 접수 유저의 입장에서 이왕의 두가지 방식은 모두 리던던시가 크고, 적응성이 차하며, 당지 단일한 상황만 상대하기에, 유저 체험으로부터 고려할 수 없는 등 문제가 있다.
해결방식:
MMT방식에서 MPU 패킷 하의 MFU 패킷들은 서로 다른 중요도를 갖고 있으며, 비균등 오류 보호가 부족하여, 이 경우 개인화된 전송 방식을 설정할 수 없게 된다. MMT 패킷에서 서로 다른 중요도의 프레임은 도 3에 도시된 바와 같이 구분이 가능하다(지시 플래그 있음). 하지만 부호화 과정은 비균등 오류 보호를 포함하지 않는다. 비록 도 1에 도시된 2 층 부호화 방식 및 LA-FEC는 일정한 정도의 비균등 오류 보호를 실현할 수 있지만, 유연성이 낮고, 복잡도가 높다. 더욱이 변화하는 채널 조건과 서로 다른 특징(예를 들어 서로 다른 버퍼)을 갖는 수신 사용자의 입장에서 기존의 두가지 방식은 리던던시가 크고, 적응성이 나쁘며, 오직 단일 상황만을 목표로 할 수 있고, 사용자 경험을 통해 고려할 수 없는 등의 문제가 있다.
해결방식:
1 더욱 개인화된 방식을 달성하기 위해서는 특수 지시 필드를 반드시 추가해야 한다. 더욱 개인화된 방식에서 보호 방식은 정보 채널의 품질에 따라 변경되고, 사용자 특성에 따라 맞춤 제작된다. 서로 다른 MFU들은 각자 서로 다른 중요도를 가지므로, MFU 패킷 헤더 앞에 지시를 추가하는 것은 방식을 더욱 개인화시킬 수 있다.
도7은 개선된 MMT AL-FEC 송신단 구조로, 주로 MMT프로토콜에서 유동화 후의 출력을 수정하여 데이터 흐름을 버퍼영역으로 전송하고, 표시가 지시한 서로 다른 컨텐츠의 중요도 정도에 근거하여 D-EWF 부호화를 실시한다.
도7은 개선된 MMT AL-FEC 송신단 구조의 실시예를 도시한다. 주로 MMT프로토콜에서 스트리밍 후의 출력을 수정한다. 데이터 흐름은 소스 버퍼에 전송되고, D-EWF부호화는 플래그 비트에 의해 지시된 서로 다른 컨텐츠 중요도에 따라 수행된다.
송신단 구조는 도 7과 같다.
송신단의 절차는 다음 단계를 포함한다:
a) 서버는 미디어 자원에 근거하여 MMTP 흐름과 시그널링을 생성한다.
b) MMT로드를 FEC 메커니즘으로 전송하고, 플래그 비트의 컨텐츠 중요도의 구분에 근거하여 D-EWF 코드로 비균등 오류 보호를 실행한다.
c) D-EWF 코드 부호화 후 대응하는 복원 특성, FEC데이터 로드 표시와 기존 데이터 로드 표시를 반환한다.
d) 모든 복원 특성을 FEC복원 패킷으로 묶은 후 전송층으로 발송한다.
시그널링을 통해 FEC 흐름을 식별한 후 적용한 FEC 부호화 구조와 D-EWF 코드, 이와 같은 메커니즘을 지원하기 위해 본 실시예에서 시그널링 중의 FEC_FLOW_DESCRIPTOR 필드에 대해 아래와 같이 수정하였다:
시그널링에 의해 FEC 흐름, 사용된 FEC 부호화 구조 및 D-EWF 코드를 식별한다. 이와 같은 메커니즘을 지원하기 위해 시그널링 중의 FEC_FLOW_DESCRIPTOR 필드를 수정하였다.
Orignal Modified
...
fec_flag
private_fec_flag
reserved //value "111111"
if(fec_flag==1) {
fec_flow_descriptor() {
number_of_fec_flows //N1
for( i=0; i<N1; i++) {
fec_flow_id
source_flow_id
number_of_assets //N2
for( j=0; j<N2;j++) {
packet_id
}
//detail fec coding configuration
...
...
}
}
}		 ...
fec_flag
private_fec_flag
reserved // value "111110"
if(fec_flag==1) {
fec_flow_descriptor() {
number_of_assets //N1
for( i=0; i<N1; i++) {
packet_id
number_of_fec_flows //N2
for( j=0; j<N2;j++) {
fec_flow_id
source_flow_id
//detail fec coding configuration
...
}

}
}
}
본 실시예에서 fec_flow_descriptor 필드 순서와 정의를 조절 및 수정하고, 하나의 보류 필드를 이용하여 UEP메커니즘을 도입하였다. 수정 후 number_of_assets는 FEC를 수행하는 모든 미디어 자원을 지시하고, packet_id는 각각 대응하는 미디어 자원의 표시이고, number_of_fec_flows는 각각 하나의 미디어 자원이 몇개의 FEC 흐름과 대응하는지를, 즉 몇 개의 레벨로 나눌지를 지시한다. 하나의 미디어 자원의 서로 다른 중요도 부분에 대하여 자체적으로 UEP 성능을 구비한 복제 확장 윈도우 파운틴(D-EWF) 코드를 적용하여 보호를 실시한다. 서버는 사용자 네트워크 상태에 근거하여 다이내믹하게 D-EWF 부호화 강도를 조절하고, 수신단은 시그널링을 수신한 후 대응하는 지시에 근거하여 미디어 자원을 회복하고, 네트워크 대역과 사용자 경험 사이에서 평형점을 얻는다. 2서로 다른 중요도의 미디어 컨텐츠에 대하여 복제 확장 윈도우 파운틴 코드를 적용하여 중요한 미디어 컨텐츠에 대한 보호를 강화한다. 구체 실시 과정은 아래와 같다: 전송 소스 데이터가 두개의 중요한 등급을 구비한 상황을 고려한다. 도3과 같이, 소스 k개 데이터를 중요성에 따라 2개의 중요성 등급으로 나눈다. 즉 s 1 ,s 2 으로 나눈다.s 1 을 제일 중요한 부분 MIB(Most ImPortant Bits, 제일 중요한 정보 비트)로 설정하고, s 2 를 제일 중요하지 않은 부분 LIB(Least ImPortant Bits, 제일 중요하지 않은 데이터 비트)로 설정, π 1 , π 2 는 각각 s 1 , s 2 을 위해 총 데이터 비중을 차지하고, s 1 , s 2 와 대응하는 데이터 길이는 각각 k 1 = π 1 .K, k 2 = π 2 .K, 그 중 π 1 + π 2 =1이다.획득한 2층 데이터에 대해, 확산인자 Ψ 1 , Ψ 2 에 따라 확산하고, 가상 확장층 데이터를 얻는다: s 1 ', s 2 ', 그 중 k 1 ' , k 2 '는 s 1 ', s 2 ' 데이터 심벌 길이이고 k 1 '= k 1 .Ψ 1 , k 2 '= k 2 .Ψ 2 를 나타낸다. 가상 확장 데이터의 비중은 γ1, γ2 로 설명되고, 가상 확장층 데이터 총합계는: K'=k 1 '+ k 2 '.이다.
가상 확산층 데이터 s 1 ', s 2 '를 2개 윈도우로 분할한다. 즉 W 1=s 1 ', W 2 =s 1 '+ s 2 '이다. W 1의 가상 총데이터는 k 1 ', W 2 의 가상 총데이터는
Figure 112019120647004-pat00002
이다. 첫번째 윈도우 W 1의 도 분포는 k 1 에서 k 1 '로 증가하고, 두번재 윈도우 W 2 의 도 분포는 K에서 K'로 증가한다. Robust Soliton distribution도 분포 Ω rs (k, c, δ)를 적용하면, 그 확률 분포는 각각:
Figure 112019120647004-pat00003
Figure 112019120647004-pat00004
그중,
Figure 112019120647004-pat00005
, k는 데이터 심벌 개수이고, δ는 복호화 실패 확률이다. c=0.1, δ=0.5로 설정하고, W 1 , W 2 에 대해 각각 각각 Robust Soliton distribution도 분포 함수
Figure 112019120647004-pat00006
를 적용한다. 첫번째 윈도우 W 1 의 선택 확률은 Γ1,W 2 의 선택 확률은 Γ2=1-Γ1 이다.
윈도우를 획분한 후 LT 부호화의 색인 교체 과정을 실행한다: 무작위로 한 개의 수 ξ를 생성하고, 0<ξ<Γ1, 즉 첫번째 윈도우 W 1 을 선택시, 도 분포 Ω(1)로 도 d 1 을 발생하고, W 1 가상 데이터에서 무작위로 d 1 개 데이터를 선택한다. j는 W 1 모의 데이터 k 1 · Ψ 1 중의 색인을 대표하고,
Figure 112019120647004-pat00007
, m은 로우k 1 의 색인
Figure 112019120647004-pat00008
을 대표하며, 아래를 통해 전환한 후 j가 색인 m= jmodk 1 를 얻는다,
Figure 112019120647004-pat00009
;
Figure 112019120647004-pat00010
, 즉 두번째 윈도우 W 2 선택시, 도 분포 Ω (2) 가 도 d 2 를 발생시키고, W 2 가상 데이터에서 무작위로 d 2 개 데이터를 선택한다. j는 W 2 가상 데이터
Figure 112019120647004-pat00011
중의 색인을 대표하고,
Figure 112019120647004-pat00012
, m은 기존k 2 의 색인
Figure 112019120647004-pat00013
을 대표하고, 아래를 통해 전환한 후 j가 색인 m을 얻는다:
Figure 112019120647004-pat00014
색인 m가 기존 심벌을 얻은 후 XOR 조작을 하여 부호화 코드를 얻고, 상술한 과정을 충족한 부호화 코드를 얻을 때까지 반복한다. 도9는 D-EWF 코드 부호화 흐름 설명도이다.
상술한 해결방식의 우세:
1 자원이 절약된다. 만약 수신단에서 상황에 근거하여 인위적으로 이미 수신한 프레임을 버리면, 전송 자원을 낭비하게 된다. 상술한 해결방식은 더 큰 정도로 중요 패킷을 보호하기 위해 전송 중에 덜 중요한 미디어 컨텐츠를 낮은 정도로 보호하고 더 중요한 컨텐트로 더 많은 대역 자원을 분배함으로써 소스단에서부터 이러한 문제를 해결할 수 있다.
2 전송 방식이 개인화된다. 동영상 전송은 사용자 경험에 기반해야 한다. 중요한 미디어 컨텐츠 및 중요하지 않은 미디어 컨텐츠의 D-EWF 부호화 강도를 변경함으로써, 비균등 오류 보호는 사용자 상황(예를 들어, 시각 경험 및 버퍼 상태)에 기반하여 정교해질 수 있다.
이상에서 본 발명에 대한 부분적인 구체 실시예에 대해 설명하였다. 이해해야 할 점은, 본 발명은 상술한 특정 실시 방식에 국한되는 것이 아니고, 본 영역 기술자라면 청구항의 범주에서 각종 변형이나 수정을 할수 있으며, 이는 본 발명의 실질 컨텐츠에 영향을 주지 아니한다.

Claims (8)

  1. 미디어 컨텐츠에 기반한 FEC(Forward Error Correction) 메커니즘으로서, 상기 FEC 메커니즘은 아래 방법 중 임의의 하나의 방법을 적용하여 실현되며,
    상기 방법은: 상기 FEC 메커니즘이 미디어 컨텐츠에 대해 등급을 나누고, 서로 다른 중요도를 부여하고, 기본 미디어 데이터 흐름을 분로(shunt)하지 않는 상황에서 채널 조건에 따라 미디어 데이터 패킷에 포함된 프레임의 중요도 및 이에 상응하는 부호화 방식을 다이내믹하게 조절하고, 서로 다른 정도의 보호를 실시하기 위해서 해당하는 REC 부호기에 상기 데이터 패킷을 전송하고, 하나의 소스 데이터 흐름은 하나의 FEC 코드 스트림으로 부호화되는 것; 또는
    상기 방법은: 상기 FEC 메커니즘이 미디어 컨텐츠에 대해 등급을 나누고, 서로 다른 중요도를 부여한 후 시그널링과 지시 비트를 이용하여 제어하고, 서로 다른 FEC 부호화 강도를 적용하여 부호화를 실시하는 것; 또는
    상기 방법은: MMT AL-FEC sender architecture에 관한 것으로, 상기 MMT AL-FEC 송신단은MMT 패킷의 스트리밍 출력을 수정하고, 상기 MMT 패킷의 우선순위에 따라 각각 FEC 인코딩을 수행하기 위해 우선 순위에 따라 상기 MMT 패킷을 FEC 인코더로 전송하고,
    상기 FEC 메커니즘에 의하여 상이한 레벨, 상이한 코딩 매트릭스가 선택되고, 및 FEC 코드 스트림은 FEC 인코더에 의해 처리된 후 각 우선순위에 의해 생성된 FEC 코드 스트림은 하나의 FEC 코드 스트림에 통합되고,
    상기 방법 중 임의의 하나의 방법에서 MMT AL-FEC 송신단 구조에 대해, 송신단의 절차는,
    a) 서버에 의해 미디어 자원에 기반하여 MMTP 흐름과 시그널링을 생성하는 단계;
    b) MMT흐름 중 데이터의 각 프레임의 서로 다른 중요도에 따라, MMT 패킷을 FEC 부호기에 전달한 후 서로 다른 우선순위에 대하여 서로 다른 FEC 부호화 행렬을 사용하고, MMT 패킷의 FEC 부호화를 실시하여 대응하는 FEC 코드 스트림을 생성하는 단계;
    c) 이전 단계 중 동일한 데이터 흐름의 서로 다른 우선순위를 갖는 MMT 패킷의 FEC 부호화를 수행한 후 형성된 FEC 코드 스트림을 통합하여 하나의 FEC 코드 스트림을 생성하는 단계;
    d) FEC 부호화가 완료된 후 대응하는 복원 특성, FEC데이터 로드 표시 및 기존 데이터 로드 표시를 반환하는 단계; 및
    e) 모든 복원 특성을 FEC 복원 패킷으로 묶은 후 전송층으로 발송하는 단계를 포함하는 FEC 메커니즘.
  2. 제1항에 있어서,
    상기 방법 중 임의의 하나의 방법은 상기 FEC 메커니즘에 미디어 처리 유닛(MPU)과 함께 전송되는 시그널링 정보에 비균등 오류 보호 플래그 비트를 추가하는 것;을 포함하는 FEC 메커니즘.
  3. 제1항에 있어서,
    상기 방법 중 임의의 하나의 방법은 개인화된 보호 방안을 형성하기 위해서 상기 FEC 메커니즘에 특수 지시 필드를 추가하는 것;을 포함하는 FEC 메커니즘.
  4. 제3항에 있어서,
    상기 특수 지시 필드는 MFU 패킷 헤더 앞에 추가되는 FEC 메커니즘.
  5. 제1항에 있어서,
    상기 방법 중 임의의 하나의 방법은 상기 FEC 메커니즘에 개인화된 보호 방안을 형성하기 위해서 미디어 처리 유닛(MPU)과 함께 전송되는 시그널링 정보에 비균등 오류 보호 플래그 비트를 추가하고 특수 지시 필드를 추가하는 것;을 포함하는 FEC 메커니즘.
  6. 제1항에 있어서,
    상기 방법 중 임의의 하나의 방법은 현재 네트워크 상태의 변화에 따라 코딩 방식을 적응적으로 변경할 수 있는 것;을 포함하는 FEC 메커니즘.
  7. 제1항에 있어서,
    상기 방법 중 임의의 하나의 방법은 시그널링에 의해 FEC 흐름, 사용된 FEC 부호화 구조 및 FEC 코드를 식별하는 단계를 포함하고, 상기 FEC 메커니즘을 지원하기 위해 시그널링 중의 fec_flow_descriptor 필드를 수정하는 단계를 포함하고: 새로운 fec_coding_structure는 AL-FEC message에 있는 3가지 fec_coding_structure 필드에 기반하여 추가되고, fec_coding_structure의 기능은 선택된 부호화 알고리즘, 개인 부호화 방식의 사용 여부, 최대 보호 시간 윈도우 시간 및 값을 포함하여 FEC 부호화 방식을 기술하는 것이고, 상기 fec_flow_descriptor 필드는 AL-FEC 시그널링에 위치되고, 수신단으로 전송되고, 새로 추가된 fec_coding_structure의 플래그 비트는 보류 범위 내에서 선택되고, 기본 시그널링은 다수의 미디어 자원을 다수로 사용하는 하나의 FEC 흐름의 복원 정보만을 지원하며, 하나의 미디어 자원의 상이한 중요도를 갖는 부분을 추가하고, FEC 시그널링은 각각 제어되어 FEC 메커니즘을 개선하고, 서버는 사용자의 네트워크 상태에 따라 다이내믹하게 미디어 자원의 서로 다른 부분의 FEC 강도를 조절할 수 있는FEC 메커니즘.
  8. 제7항에 있어서,
    fec_coding_structure의 새로 추가된 플래그 값은 0110 또는 0100으로 선택되는 것;을 포함하는 FEC 메커니즘.
KR1020197034659A 2015-01-08 2016-01-08 일종 미디어 컨텐츠에 기반한 fec 메커니즘 KR102251278B1 (ko)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
CN201510010097.9 2015-01-08
CN201510010097.9A CN105827361B (zh) 2015-01-08 2015-01-08 一种基于媒体内容的fec方法
CN201510080576.8A CN105991226B (zh) 2015-02-13 2015-02-13 一种基于不等差错保护的前向纠错方法
CN201510080576.8 2015-02-13
CN201510673115.1A CN106603193B (zh) 2015-10-16 2015-10-16 一种基于媒体内容的fec方法
CN201510673115.1 2015-10-16
CN201510673091.X 2015-10-16
CN201510673091.XA CN106603192B (zh) 2015-10-16 2015-10-16 一种基于媒体内容的自适应fec方法
PCT/CN2016/070525 WO2016110275A1 (zh) 2015-01-08 2016-01-08 一种基于媒体内容的fec机制

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020177021722A Division KR102083302B1 (ko) 2015-01-08 2016-01-08 일종 미디어 컨텐츠에 기반한 fec 메커니즘

Publications (2)

Publication Number Publication Date
KR20190133294A KR20190133294A (ko) 2019-12-02
KR102251278B1 true KR102251278B1 (ko) 2021-05-13

Family

ID=56355544

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177021722A KR102083302B1 (ko) 2015-01-08 2016-01-08 일종 미디어 컨텐츠에 기반한 fec 메커니즘
KR1020197034659A KR102251278B1 (ko) 2015-01-08 2016-01-08 일종 미디어 컨텐츠에 기반한 fec 메커니즘

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020177021722A KR102083302B1 (ko) 2015-01-08 2016-01-08 일종 미디어 컨텐츠에 기반한 fec 메커니즘

Country Status (5)

Country Link
US (1) US10469202B2 (ko)
JP (2) JP2018505597A (ko)
KR (2) KR102083302B1 (ko)
CA (1) CA2998900C (ko)
WO (1) WO2016110275A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI622313B (zh) * 2016-02-19 2018-04-21 聯發科技股份有限公司 Ｍｐｅｇ媒體傳送的自適應應用層前向糾錯的方法和接收實體
CN108667557B (zh) * 2017-03-29 2021-04-02 上海交通大学 一种基于媒体内容的自适应fec编码矩阵设计方法
CN109245850B (zh) * 2017-07-11 2021-04-02 上海交通大学 基于媒体内容的自适应***码fec编译码方法
KR102383892B1 (ko) * 2017-07-11 2022-04-08 상하이 지아오통 유니버시티 미디어 콘텐츠 기반의 자가 적응 시스템 코드 fec의 코딩 및 디코딩 방법, 장치, 시스템 및 매체
JP7269112B2 (ja) * 2019-06-26 2023-05-08 日本放送協会 受信装置及びプログラム
CN114257858B (zh) * 2022-03-02 2022-07-19 浙江宇视科技有限公司 一种基于情感计算的内容同步方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011530907A (ja) 2008-08-12 2011-12-22 テレフオンアクチーボラゲット エル エム エリクソン（パブル） チャネル切替のためのメディアストリームの分離

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8233532B2 (en) * 2007-09-21 2012-07-31 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Information signal, apparatus and method for encoding an information content, and apparatus and method for error correcting an information signal
US8776161B2 (en) * 2008-02-12 2014-07-08 Ciena Corporation Systems and methods for video processing in network edge devices
CN101478373B (zh) * 2009-01-16 2011-11-09 北京航空航天大学 一种信源信道编码联合优化的自适应差错控制方法
US9215082B2 (en) * 2009-10-06 2015-12-15 Thomson Licensing Method and apparatus for hop-by-hop reliable multicast in wireless networks
CN101902296B (zh) * 2010-06-23 2014-07-16 中兴通讯股份有限公司 一种喷泉码的编解码方法和装置
US8879640B2 (en) * 2011-02-15 2014-11-04 Hong Kong Applied Science and Technology Research Institute Company Limited Memory efficient implementation of LDPC decoder
CN102227103B (zh) 2011-06-23 2013-07-31 天津大学 一种基于不等差错保护喷泉码的信道编码传输方法
KR101874116B1 (ko) * 2011-10-24 2018-07-04 삼성전자주식회사 멀티미디어 시스템에서 순방향 오류 정정 부호화 방법 및 장치
KR101995221B1 (ko) * 2011-11-24 2019-07-16 삼성전자주식회사 통신 시스템에서 패킷 송수신 장치 및 방법
CN108600786A (zh) * 2011-11-30 2018-09-28 三星电子株式会社 用于发送/接收广播数据的装置和方法
EP2873243A1 (en) * 2012-06-29 2015-05-20 VID SCALE, Inc. Frame prioritization based on prediction information
CN103795996B (zh) * 2012-11-01 2016-08-03 上海贝尔股份有限公司 3d视频传递方法和设备
US9235467B2 (en) * 2013-03-15 2016-01-12 Pmc-Sierra Us, Inc. System and method with reference voltage partitioning for low density parity check decoding
WO2015053788A1 (en) * 2013-10-11 2015-04-16 Hewlett-Packard Development Company, L.P. Utilizing collected data from a software-defined networking network to diagnose a user experience
US9722651B2 (en) * 2015-01-09 2017-08-01 Qualcomm Incorporated Adaptive channel coding using polarization
US10644829B2 (en) * 2016-09-15 2020-05-05 Huawei Technologies Co., Ltd. Method and apparatus for encoding data using a polar code

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011530907A (ja) 2008-08-12 2011-12-22 テレフオンアクチーボラゲット エル エム エリクソン（パブル） チャネル切替のためのメディアストリームの分離

Also Published As

Publication number Publication date
US20180069654A1 (en) 2018-03-08
KR20190133294A (ko) 2019-12-02
CA2998900A1 (en) 2016-07-14
JP2021153298A (ja) 2021-09-30
CA2998900C (en) 2022-08-30
KR102083302B1 (ko) 2020-03-02
JP2018505597A (ja) 2018-02-22
US10469202B2 (en) 2019-11-05
KR20170102524A (ko) 2017-09-11
WO2016110275A1 (zh) 2016-07-14
JP7343915B2 (ja) 2023-09-13

Similar Documents

Publication Publication Date Title
KR102251278B1 (ko) 일종 미디어 컨텐츠에 기반한 fec 메커니즘
KR102048452B1 (ko) 멀티미디어 시스템에서 순방향 오류 정정 패킷을 생성하는 방법과 그 오류 정정 패킷을 송수신하는 방법 및 장치
US10361810B2 (en) Data packet transmission/reception apparatus and method
KR100971715B1 (ko) 다이내믹한 네트워크 손실 조건에 대해 간단하게 적응하는 멀티미디어 서버
US6724727B2 (en) Policy-based forward error correction in packet networks
CN103023813B (zh) 抖动缓冲器
CN110224793B (zh) 一种基于媒体内容的自适应fec方法
CN111800218B (zh) 一种数据流的传输方法和设备
US20060291475A1 (en) Selective forward error correction
KR20130140938A (ko) 방송 및 통신 시스템에서 패킷 송수신 장치 및 방법
KR102163338B1 (ko) 방송 및 통신 시스템에서 패킷 송수신 장치 및 방법
US20150006991A1 (en) Graceful degradation-forward error correction method and apparatus for performing same
RU2646346C2 (ru) Устройство и способ передачи и приема пакета с прямой коррекцией ошибок
CN105827361A (zh) 一种基于媒体内容的fec机制
CN108667557B (zh) 一种基于媒体内容的自适应fec编码矩阵设计方法
CN112769523A (zh) 一种基于媒体内容的自适应fec方法及***
He et al. Multiple description coding for uncompressed video streaming over 60ghz networks
Wang et al. Time-distortion optimized forward error correction for delay-sensitive wireless multimedia transmission
CN105991226A (zh) 一种基于不等差错保护的前向纠错方法
Cooklev Dynamic bandwidth allocation and channel coding in providing QoS for wireless local area networks
Chin et al. Improving perceptual quality for Internet video streaming
Andronico et al. A Methodology for Redundancy Assignment in Priority Encoding Transmission (PET) over ATM Networks
Al-Suhail et al. A Cross-Layer Model for Video Multicast Based TCP-Adaptive FEC over Heterogeneous Networks

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant