JP2003348155A - Communication quality measurement system - Google Patents

Communication quality measurement system

Info

Publication number
JP2003348155A
JP2003348155A JP2002151712A JP2002151712A JP2003348155A JP 2003348155 A JP2003348155 A JP 2003348155A JP 2002151712 A JP2002151712 A JP 2002151712A JP 2002151712 A JP2002151712 A JP 2002151712A JP 2003348155 A JP2003348155 A JP 2003348155A
Authority
JP
Japan
Prior art keywords
qos
measurement
rule
probe
communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002151712A
Other languages
Japanese (ja)
Inventor
Yoko Shiga
陽子 志賀
Minoru Koizumi
稔 小泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2002151712A priority Critical patent/JP2003348155A/en
Publication of JP2003348155A publication Critical patent/JP2003348155A/en
Pending legal-status Critical Current

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)
  • Telephonic Communication Services (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a QoS measurement system applicable to any point in a network such as a point under the environment of an end user. <P>SOLUTION: In the communication quality measurement system comprising: a QoS probe placed at an optional position in the network and acquiring measurement information; and a QoS manager for collecting and analyzing the measurement information, the QoS probe is characterized in that the probe has a protocol analysis means for analyzing the communication contents carried by an IP packet, identifies particular communication among continuously distributed packets and measures the packets in the identified communication unit to measure the packets in response to the communication contents. <P>COPYRIGHT: (C)2004,JPO

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、通信ネットワーク
の品質計測システムに関する。
[0001] The present invention relates to a quality measurement system for a communication network.

【0002】[0002]

【従来の技術】ネットワークの広帯域化およびサービス
の多様化に伴い、従来はテキストデータの送受が主な用
途であったIPネットワークを用いて、動画像や音声のや
り取りが行われるようになった。元来、IPネットワーク
は帯域幅や遅延、遅延のばらつきであるゆらぎなどの通
信品質(Quality of Service、以下、QoSという)を保
証しないが、動画像や音声の品質はネットワークのQoS
に大きく影響されるため、QoS保証のためのさまざまな
技術が考案されている。これらの技術の内で、ネットワ
ーク側からのアプローチとしては、IntServやDiffServ
などルータやスイッチのQoS機能を利用したQoS保証技術
があり、アプリケーション側からのアプローチとして
は、QoSが保証されないネットワークでもある程度の品
質で動画像や音声をやり取りできるように工夫されたプ
ロトコルRTP/RTCP、RTSPなどがある。
2. Description of the Related Art With the broadening of networks and the diversification of services, moving images and voices have been exchanged using an IP network which has been mainly used for transmitting and receiving text data. Originally, IP networks do not guarantee the quality of service (hereinafter referred to as QoS), such as bandwidth, delay, and fluctuations of delay variation, but the quality of moving images and voices is not guaranteed by the network QoS.
Therefore, various technologies for QoS guarantee have been devised. Among these technologies, approaches from the network side include IntServ and DiffServ.
There are QoS assurance technologies that use the QoS functions of routers and switches, etc.The approach from the application side is a protocol RTP / RTCP that has been devised so that video and audio can be exchanged with a certain level of quality even in networks where QoS is not guaranteed. , RTSP and others.

【0003】RTPは動画や音声などのリアルタイム性が
必要なアプリケーションのために開発されたUDPベース
のプロトコルである。RTPプロトコルヘッダにはシーケ
ンス番号やタイムスタンプが含まれており、シーケンス
番号からパケットロスを求めることができる。また、タ
イムスタンプからはRTPパケットの時間的な順序がわか
る。また、送信側と受信側の時刻が同期している保証が
無いため正確ではないが、RTPパケットの受信時刻から
タイムスタンプの差分をとることにより遅延を求めるこ
ともできる。RTCPはRTPセッションに参加しているホス
トがRTPに関する情報を交換するためのプロトコルであ
り、データ受信端末から他のホストへQoSに関する情報
を送るためのReceiver Reportメッセージや、アプリケ
ーションが固有の情報をやり取りするためのApplicatio
n Specificメッセージがある(RFC1889)。一方、RTSP
はストリーミングのためのプロトコルであり、下位レイ
ヤのプロトコルとしてRTPを利用できる。RTSPではコン
テンツに対する再生開始、終了、一時停止などアプリケ
ーションに近いメソッドを提供する(RFC2326)。
[0003] RTP is a UDP-based protocol developed for applications that require real-time properties such as moving images and audio. The RTP protocol header includes a sequence number and a time stamp, and packet loss can be obtained from the sequence number. Also, the time stamp shows the time order of the RTP packets. In addition, although it is not accurate because there is no guarantee that the time on the transmitting side and the time on the receiving side are synchronized, it is also possible to obtain the delay by taking the difference of the time stamp from the receiving time of the RTP packet. RTCP is a protocol for hosts participating in an RTP session to exchange information about RTP.Receiver Report messages for sending information about QoS from a data receiving terminal to another host, and applications exchange information specific to the host. Applicatio to do
n There is a Specific message (RFC1889). Meanwhile, RTSP
Is a protocol for streaming, and RTP can be used as a lower layer protocol. RTSP provides methods similar to applications, such as playback start, end, and pause for content (RFC2326).

【0004】現在、キャリアやネットワークプロバイダ
のインターネット接続サービスではQoSを保証するもの
は見当たらないが、複数のコンテンツプロバイダがRTSP
などの技術を利用してインターネットを介しニュースや
ライブなどの動画像配信を提供している。コンテンツプ
ロバイダは、ネットワークのQoSが保証されないため実
際に利用者がどのような品質でコンテンツを受信してい
るのかを知る方法を必要としている。
[0004] At present, there is no Internet connection service provided by carriers or network providers that guarantees QoS, but a plurality of content providers use RTSP.
It provides moving image distribution such as news and live performances via the Internet using such technologies. Content providers need a way to know at what quality users are actually receiving content because network QoS is not guaranteed.

【0005】IPネットワーク計測に関する活動は近年活
発化しており、インターネットの標準化団体であるIETF
(The Internet Engineering Task Force)のIPPM(IP Per
formance Metrics) WGなどにおいて、品質の尺度、計測
方法、計測項目やデータ表現形式などの標準化が進めら
れている。また、実際にQoS情報を収集する製品も出荷
されている。いくつかの製品において、QoS情報をネッ
トワークから取得するモジュールをQoSプローブ、取得
されたQoS情報を集め、統計処理などを行うモジュール
をQoSマネージャと呼ぶ。
[0005] The activities related to IP network measurement have recently become active, and the IETF, an Internet standardization organization,
(The Internet Engineering Task Force) IPPM (IP Per
formance Metrics) The WG and other organizations are working on standardization of quality measures, measurement methods, measurement items and data representation formats. Products that actually collect QoS information are also being shipped. In some products, a module that acquires QoS information from a network is called a QoS probe, and a module that collects acquired QoS information and performs statistical processing is called a QoS manager.

【0006】[0006]

【発明が解決しようとする課題】上記従来技術を利用し
て、ネットワークの任意の箇所にQoSプローブを置くこ
とで計測情報を取得することができる。しかし、従来の
技術には次のような問題点がある。
By using the above-mentioned conventional technology, measurement information can be obtained by placing a QoS probe at an arbitrary location on a network. However, the conventional technology has the following problems.

【0007】既存のIPネットワークの品質計測システム
は、IPパケットレベルで計測を行い、IPパケットが運ぶ
内容は関知しない。このため、特定の通信内容について
計測を行うことや、通信内容に応じ計測の項目を差別化
することができない。
[0007] The existing IP network quality measurement system measures at the IP packet level and does not care what the IP packet carries. For this reason, it is not possible to measure specific communication contents or to differentiate measurement items according to the communication contents.

【0008】また、既存のIPネットワークの品質計測シ
ステムは、木目細かな計測を行うためCPU等のマシン・
リソースを消費する。そこでQoSプローブの専用ハード
ウェアを持つことが望ましいが、計測箇所が多数になる
と各箇所に専用ハードウェアを置くコストが高くなる。
[0008] In addition, the existing IP network quality measurement system uses a machine such as a CPU to perform detailed measurements.
Consume resources. Therefore, it is desirable to have dedicated hardware for the QoS probe, but if there are many measurement points, the cost of installing dedicated hardware at each point increases.

【0009】さらに、既存のIPネットワークの品質計測
システムは、計測した大量のデータをすべて保管し、一
個所に収集した後に解析することを前提としており、デ
ータを記録するディスク・スペース、データを送信する
ネットワーク・リソースを消費する。
Furthermore, the existing IP network quality measurement system is based on the premise that all measured large amounts of data are stored, collected at one location, and then analyzed. Disk space for recording data and transmission of data Consume network resources.

【0010】[0010]

【課題を解決するための手段】本発明による通信品質計
測システムでは以下の構成をとる。すなわち、ネットワ
ークの任意の個所に設置され、ネットワークによって通
信するQoSプローブ装置(以下QoSプローブという)とQo
Sマネージャ装置(以下QoSマネージャという)によって
構成される通信品質計測システムにおいて、上記QoSプ
ローブはIPパケットが運ぶ通信内容を解析するプロトコ
ル解析手段を持ち、連続して流れるパケットの中から特
定の通信を識別し、識別した通信単位の計測を行うこと
で、通信内容に応じた計測を行う。
The communication quality measuring system according to the present invention has the following configuration. That is, a QoS probe device (hereinafter referred to as a QoS probe) installed at an arbitrary point in the network and communicating with the network.
In a communication quality measurement system constituted by an S manager device (hereinafter referred to as a QoS manager), the QoS probe has a protocol analyzing means for analyzing the communication contents carried by the IP packet, and performs a specific communication from packets flowing continuously. By performing the identification and the measurement of the identified communication unit, the measurement according to the communication content is performed.

【0011】また、上記QoSプローブはQoS計測の制御ル
ールを持ち、当該ルールに基づいてSLA(Service Level
Agreement)に応じ計測項目を変更することでマシン・
リソース消費量を低減することを特徴とするシステム。
これにより、高い品質を保証することをユーザに対して
約束したコンテンツについては詳細な計測を行い、中程
度の品質を保証することを約束したコンテンツについて
は簡易な計測を行うことが可能になる。
The above-mentioned QoS probe has a QoS measurement control rule, and based on the rule, an SLA (Service Level)
By changing the measurement items according to the agreement)
A system characterized by reducing resource consumption.
This makes it possible to perform detailed measurement for content that promises to the user to guarantee high quality, and to perform simple measurement for content that promises to guarantee medium quality.

【0012】さらに、上記QoSプローブはQoS計測によっ
て得られた結果の判定ルールを持ち、当該ルールに基づ
いて計測情報を絞ることで、ディスク・スペース、ネッ
トワーク・リソースの消費を低減することを特徴とする
システム。高い品質を保証することをユーザに対して約
束したコンテンツについては、問題なしとする基準値を
高くし、中程度の品質を保証するコンテンツについては
基準値を低くする。そして、問題がある場合に限ってQo
Sマネージャに報告することでネットワーク・リソースの
消費を減らすことができる。
Further, the QoS probe has a rule for determining a result obtained by QoS measurement, and reduces measurement information based on the rule to reduce consumption of disk space and network resources. System to do. For content that promises to the user that high quality is guaranteed, the reference value for no problem is set high, and for content that guarantees medium quality, the reference value is set low. And Qo only when there is a problem
Reporting to the S manager can reduce network resource consumption.

【0013】本発明によれば、ルータなどの既存のデー
タ転送装置にQoSプローブ装置としての機能を持たせ、
一つの装置でパケットの転送と計測というタスクを実行
する場合であっても、本来のタスクを圧迫しないよう計
測のオーバーヘッドを低減することが可能になる。
According to the present invention, an existing data transfer device such as a router is provided with a function as a QoS probe device,
Even when the task of packet transfer and measurement is executed by one device, the overhead of measurement can be reduced so as not to compress the original task.

【0014】また、本発明によれば、マシン・リソース
と同様に、データの記録と送信に必要なディスク・スペ
ース、ネットワーク・リソースを低減することが可能に
なる。
Further, according to the present invention, it is possible to reduce the disk space and network resources required for recording and transmitting data as well as the machine resources.

【0015】[0015]

【発明の実施の形態】図1は本発明の一実施例のシステ
ム構成図である。本実施例のシステムは、ユーザに映画
やニュースなどの動画配信を行うコンテンツプロバイダ
のネットワーク(101)と、個人宅内や企業内に構築
される複数のユーザネットワーク(102)と、プロバ
イダネットワーク(101)とユーザネットワーク(1
02)とを接続するIPネットワーク(100)とから構
成される。コンテンツプロバイダネットワーク(10
1)、およびユーザネットワーク(102)はルータ
(110)およびADSLなどのアクセス網(111)を介
してIPネットワーク(100)と接続する。
FIG. 1 is a system configuration diagram of an embodiment of the present invention. The system according to the present embodiment includes a network (101) of a content provider that distributes a moving image such as a movie or news to a user, a plurality of user networks (102) built in a private house or a company, and a provider network (101). And user network (1
02) and an IP network (100) for connecting to the IP network. Content provider network (10
1) and the user network (102) are connected to the IP network (100) via a router (110) and an access network (111) such as ADSL.

【0016】コンテンツプロバイダネットワーク(10
1)には、動画配信用のPCサーバ(120)があり、PC
サーバ(120)のメモリ上には、Webサーバ(13
0)、動画の配信を行うストリーミングサーバ(14
0)、プロトコル(180)、QoSプローブ(170)
が取得した計測情報を収集するQoSマネージャ(15
0)が存在する。上記PCサーバ(120)のハードディ
スク上には、計測情報を取得するQoSプローブ(17
0)のプログラム、QoSプローブが計測実行時に利用す
る情報であるQoSカテゴリ(201)、ルールDB(19
0)、コンテンツDB(191)がある。ルールDB(19
0)は、計測項目や計測間隔を指示する計測ルール(2
02)、計測情報の善し悪しを判定する評価ルール(2
03)、計測情報をQoSレポートとしてQoSマネージャに
報告するか否かを指示するレポートルール(205)を
保持する。コンテンツDB(191)は、映画やニュース
番組などのコンテンツ(300)を保持する。
The content provider network (10
1) has a PC server (120) for video distribution,
The web server (13) is stored in the memory of the server (120).
0), a streaming server (14
0), protocol (180), QoS probe (170)
QoS manager (15) that collects measurement information acquired by
0) exists. On the hard disk of the PC server (120), a QoS probe (17
0) program, QoS category (201) which is information used by the QoS probe at the time of measurement execution, rule DB (19)
0) and a content DB (191). Rule DB (19
0) is a measurement rule (2) indicating a measurement item and a measurement interval.
02), an evaluation rule (2) for determining whether the measurement information is good or bad.
03), and holds a report rule (205) for instructing whether to report the measurement information as a QoS report to the QoS manager. The content DB (191) holds contents (300) such as movies and news programs.

【0017】一方、ユーザネットワーク(102)に
は、動画受信用のPC(121)があり、PC(121)の
メモリ上には、コンテンツ配信サービスのポータルサイ
トの閲覧、コンテンツ鑑賞を行うストリーミングクライ
アント(160)、プロトコル(180)、コンテンツ
配信の計測を行うQoSプローブ(170)が存在する。
ハードディスク上には、Webサーバ(130)とストリ
ーミングクライアント(160)を介して、PCサーバ
(120)からダウンロードされたQoSプローブ(17
0)、QoSカテゴリ(201)、計測ルール(20
2)、評価ルール(203)、レポートルール(20
4)が保持される。
On the other hand, the user network (102) has a PC (121) for receiving a moving image, and a streaming client (Browsing a portal site of a content distribution service and viewing a content) on a memory of the PC (121). 160), a protocol (180), and a QoS probe (170) for measuring content distribution.
The QoS probe (17) downloaded from the PC server (120) via the Web server (130) and the streaming client (160) is stored on the hard disk.
0), QoS category (201), measurement rule (20
2), evaluation rule (203), report rule (20)
4) is retained.

【0018】コンテンツプロバイダは、上記システムに
よってコンテンツ配信およびQoS計測サービスを提供す
る。QoS計測サービスは、コンテンツ配信を利用するユ
ーザがオプションとして選択するものとする。ユーザ
は、Webサーバが提供するコンテンツ配信のポータルペ
ージ上で、QoS計測サービスへの登録を行う。なお、ス
トリーミングクライアント(170)はHTTPプロトコル
とRTSPプロトコルの双方をサポートし、Webサーバ(1
30)からコンテンツ配信サービスのポータルサイトペ
ージを取得し、ストリーミングサーバ(140)から動
画コンテンツを取得する。
The content provider provides a content distribution and QoS measurement service using the above system. It is assumed that the user using the content distribution selects the QoS measurement service as an option. The user registers with the QoS measurement service on the portal page for content distribution provided by the Web server. The streaming client (170) supports both the HTTP protocol and the RTSP protocol, and the web server (1)
The portal site page of the content distribution service is obtained from 30), and the moving image content is obtained from the streaming server (140).

【0019】図2は本実施例におけるQoSプローブ(1
70)の機能構成図である。QoSプローブ(170)
は、計測対象となるRTPパケットを計測部(172)に
送るプロトコル処理部(171)、RTPパケットから計
測情報を求める計測部(172)、得られた計測情報を
後述するQoSレベルに段階付ける評価部(173)、QoS
計測記録部(175)、計測情報をQoSマネージャ(1
50)に送信するレポート部(174)から構成され
る。各処理部は計算機上でそれぞれのプログラムが実行
されることにより実現される。これらのプログラムは、
予め、上記計算機の記憶装置に導入されていても良い
し、記憶媒体または通信媒体を介して他の装置から導入
されても良い。
FIG. 2 shows a QoS probe (1) in this embodiment.
FIG. 70 is a functional configuration diagram of FIG. QoS probe (170)
Is a protocol processing unit (171) that sends an RTP packet to be measured to the measurement unit (172), a measurement unit (172) that obtains measurement information from the RTP packet, and an evaluation that grades the obtained measurement information to a QoS level described later. Department (173), QoS
The measurement recording unit (175) stores the measurement information in the QoS manager (1
50) and a report section (174) to be transmitted to it. Each processing unit is realized by executing a respective program on a computer. These programs are
It may be installed in the storage device of the computer in advance, or may be installed from another device via a storage medium or a communication medium.

【0020】なお、QoSプローブ(170)はストリー
ミングクライアント(170)の一部の機能として働
き、上記プロトコル処理部(171)は、ストリーミン
グサーバ(140)がストリーミングクライアント(1
60)に送るRTPパケット、ストリーミングクライアン
ト(160)がストリーミングサーバ(140)に送る
RTPパケットをプロトコル(180)から取得し、当該R
TPパケットからRTSPパケットを組み立てて、コンテンツ
再生の開始や終了、一時停止、再開を判断し、計測部
(172)に計測の開始、終了を指示する。QoS計測記
録部(175)は、計測部が取得した計測情報(150
0)および当該計測情報を統計値に変換したQoSレポー
トを記録、保持する。レポート部(174)は計測情報
(1500)またはQoSレポート(1600)をRTCPのA
pplication Specificメッセージを用いてQoSマネージャ
(150)に送信する。
The QoS probe (170) functions as a part of the function of the streaming client (170).
RTP packet to send to 60), streaming client (160) sends to streaming server (140)
The RTP packet is obtained from the protocol (180), and the R
By assembling the RTSP packet from the TP packet, the start / end, pause, and restart of the content reproduction are determined, and the measurement unit (172) is instructed to start and end the measurement. The QoS measurement recording unit (175) stores the measurement information (150
0) and a QoS report in which the measurement information is converted into a statistical value is recorded and held. The report unit (174) transmits the measurement information (1500) or the QoS report (1600) to the RTCP A
It transmits to QoS manager (150) using a pplication Specific message.

【0021】図3は上記QoSカテゴリ(201)を示す
図である。QoSカテゴリ(201)とは要求される品質
ごとの区分であり、上記コンテンツ(300)は内容に
応じた3種類のQoSカテゴリに分類される。QoSカテゴリ
(201)は、カテゴリ名(201)と識別URI(Unifor
m Resource Identifier)(202)から成る。コンテン
ツがどのQoSカテゴリに属するかは、そのコンテンツのU
RIと識別URI(202)を比較し、判別する。例えば、
映画はQoSカテゴリAであり、高画質、高音質での再生が
必要である。ニュースはQoSカテゴリBであり、画質、音
質ともに低い品質で十分である。語学番組はQoSカテゴ
リCであり画質より音質を重視する。
FIG. 3 is a diagram showing the QoS category (201). The QoS category (201) is a classification for each required quality, and the content (300) is classified into three types of QoS categories according to the content. The QoS category (201) has a category name (201) and an identification URI (Unifor
m Resource Identifier) (202). Which QoS category the content belongs to depends on the U of the content.
The RI and the identification URI (202) are compared and determined. For example,
Movies are in QoS category A and need to be played with high image quality and high sound quality. News is of QoS category B, and low image and sound quality is sufficient. Language programs are in QoS category C and sound quality is more important than image quality.

【0022】次に、QoSプローブ(170)の計測部
(172)を制御する計測ルール(202)について説
明する。計測ルール(202)は、上記QoSカテゴリ
(201)のカテゴリ毎に分れている。QoSプローブ
(170)の計測部(172)は、帯域、遅延、パケッ
トロスの3種類の項目を計測することが可能である。計
測ルール(202)は、QoSカテゴリ(201)ごと
に、計測の対象となる項目を帯域、遅延、パケットロス
の3種類の中から指定する。さらに、計測ルール(20
2)は、計測対象項目ごとに計測割合、計測ゾーンを指
定する。QoSプローブの計測部(172)は、計測ルー
ル(202)の計測割合、計測ゾーンに基づいて計測項
目、計測割合を制御する。計測割合は、計測情報取得を
実行する割合である。計測ゾーンは、統計処理の時間で
ある。
Next, the measurement rule (202) for controlling the measurement unit (172) of the QoS probe (170) will be described. The measurement rule (202) is divided for each category of the QoS category (201). The measurement unit (172) of the QoS probe (170) can measure three types of items: bandwidth, delay, and packet loss. The measurement rule (202) specifies, for each QoS category (201), an item to be measured out of three types of bandwidth, delay, and packet loss. In addition, measurement rules (20
In 2), a measurement ratio and a measurement zone are specified for each measurement target item. The measurement unit (172) of the QoS probe controls the measurement item and the measurement ratio based on the measurement ratio and the measurement zone of the measurement rule (202). The measurement ratio is a ratio at which measurement information acquisition is performed. The measurement zone is the time for statistical processing.

【0023】図4はQoSカテゴリAの計測ルールA(80
0)を示す。計測ルールA(800)は、帯域(80
1)、遅延(802)、パケットロス(803)の3種
類の項目が計測対象であり、それぞれについて、計測ゾ
ーン(804)は10分、計測割合(805)は60%と
して計測することを示している。計測ゾーンが10分と
は、QoS計測を10分毎に区切って実行し、その単位で平
均値と分散を計算することを意味する。例えば、2時間
の映画のQoSを計測する場合、2時間全体の遅延の平均値
と分散を得ても品質は分かりづらい。このため、統計処
理の時間単位を数分から数十分に区切り、時間単位ごと
の値を出す。計測割合は60%とは、計測ゾーンの開始
から60%の時間が経過する間だけ、つまり計測ゾーンが1
0分ならば6分間だけ帯域や遅延を計算することを意味す
る。このように遅延の計算を間欠的に実行するのは、全
到着パケットの遅延を計算するとオーバーヘッドが高く
なるためである。なお、計測ゾーンにおいて計測を実行
する区間をActiveであると表現する。
FIG. 4 shows a measurement rule A (80 for QoS category A).
0). The measurement rule A (800) indicates that the band (80
1), delay (802), and packet loss (803) are the measurement targets, and the measurement zone (804) is 10 minutes and the measurement ratio (805) is 60% for each. ing. The measurement zone of 10 minutes means that the QoS measurement is performed in units of 10 minutes and the average value and the variance are calculated in the unit. For example, when measuring the QoS of a two-hour movie, it is difficult to understand the quality even if the average and variance of the delay over the entire two hours are obtained. For this reason, the time unit of the statistical processing is divided into minutes to tens of minutes, and a value for each time unit is output. A measurement ratio of 60% means that only 60% of the time has elapsed since the start of the measurement zone, that is, one measurement zone
If it is 0 minutes, it means to calculate the bandwidth and delay only for 6 minutes. The reason for calculating the delay intermittently in this way is that calculating the delay of all arriving packets increases overhead. Note that a section in which measurement is performed in the measurement zone is expressed as Active.

【0024】これにより、コンテンツプロバイダが提供
するコンテンツ配信サービスにおいてQoS保証をユーザ
に対して約束している場合は、計測割合を100にして常
にQoS計測を行い、契約しておらず、品質の把握のみを
行う場合は計測割合を10にするなど、柔軟なQoS計測が
可能である。
[0024] With this, when the content delivery service provided by the content provider promises QoS assurance to the user, the measurement rate is set to 100 and QoS measurement is always performed. When only performing measurement, flexible QoS measurement such as setting the measurement ratio to 10 is possible.

【0025】図5はQoSプローブ(170)が計測する
遅延を示す図である。送信側時間軸(501)に対して
ストリーミングサーバ(140)が送信するRTPパケッ
ト列(503)を、受信側時間軸(502)に対してQo
Sプローブ(170)が受信するRTPパケット列(50
6)を示す。計測ゾーン(504)は10分であり、Acti
veである区間(507)は6分である。遅延(505)
は、送信側がRTPパケットを送出した時間と受信側がRTP
パケットを受信した時間との差分である。なお、遅延
(504)は、Activeである区間(507)に到着した
RTPパケットについて求める。
FIG. 5 is a diagram showing the delay measured by the QoS probe (170). The RTP packet sequence (503) transmitted by the streaming server (140) to the transmitting side time axis (501) is Qo-transformed to the receiving side time axis (502).
RTP packet sequence (50
6) is shown. The measurement zone (504) is 10 minutes,
The section (507) of ve is 6 minutes. Delay (505)
Is the time when the sender sent the RTP packet and the receiver
This is the difference from the time when the packet was received. Note that the delay (504) has arrived at the section (507) that is active.
Ask about RTP packets.

【0026】図6はQoSプローブ(170)が計測する
帯域を示す図である。受信側時間軸(601)に対し
て、QoSプローブ(170)が受信するRTPパケット列
(602)を示す。計測ゾーン(603)は10分であ
り、Activeである区間(605)は6分である。一秒間
にQoSプローブ(170)が受信するRTPパケットのデー
タ量が帯域(604)となる。なお、帯域(604)は
Activeである区間(605)に到着したRTPパケットに
ついて求める。
FIG. 6 is a diagram showing a band measured by the QoS probe (170). The RTP packet sequence (602) received by the QoS probe (170) is shown with respect to the reception-side time axis (601). The measurement zone (603) is 10 minutes, and the section (605) that is active is 6 minutes. The data amount of the RTP packet received by the QoS probe (170) per second is the bandwidth (604). The band (604) is
The RTP packet arriving in the active section (605) is obtained.

【0027】図7はQoSプローブ(170)が計測する
パケットロスを示す図である。送信側時間軸(701)
に対してストリーミングサーバ(140)が送信するRT
Pパケット列(703)を、受信側時間軸(702)に
対してQoSプローブ(170)が受信するRTPパケット列
(706)を示す。計測ゾーン(704)は10分であ
り、Activeである区間(707)は6分である。QoSプロ
ーブ(170)はRTPパケット(706)のシーケンス
番号を確認する。シーケンス番号は通常1ずつ増加する
ため、抜けがある場合はパケットロス(705)が発生
したとして紛失パケット数を記録する。例えば、シーケ
ンス番号が3増加している場合は2つのパケットが転送中
に失われたことになる。なお、パケットロス(705)
はActiveである区間(605)に到着したRTPパケット
について求める。
FIG. 7 is a diagram showing packet loss measured by the QoS probe (170). Transmission side time axis (701)
Sent by the streaming server (140) to the
The P packet sequence (703) indicates the RTP packet sequence (706) received by the QoS probe (170) with respect to the receiving side time axis (702). The measurement zone (704) is 10 minutes, and the section (707) that is active is 6 minutes. The QoS probe (170) checks the sequence number of the RTP packet (706). Since the sequence number usually increases by one, if there is a missing packet, it is determined that a packet loss (705) has occurred and the number of lost packets is recorded. For example, if the sequence number is increased by 3, two packets have been lost during transmission. The packet loss (705)
Is obtained for the RTP packet arriving in the active section (605).

【0028】続いて、計測情報から計算したQoSレポー
トを評価する評価ルール(203)、QoSレポートをQoS
マネージャ(150)に報告するか否かを決定するレポ
ートルール(204)について説明する。評価ルール
(203)、レポートルール(204)も、計測ルール
(202)と同様に、上記QoSカテゴリ(201)のカ
テゴリ毎に分れている。
Next, an evaluation rule (203) for evaluating the QoS report calculated from the measurement information, and the QoS report
The report rule (204) for determining whether to report to the manager (150) will be described. Similarly to the measurement rule (202), the evaluation rule (203) and the report rule (204) are divided into the QoS categories (201).

【0029】上記評価ルール(203)はQoSカテゴリ
(201)ごとに、計測情報から計算したQoSレポート
に対する、複数段階の評価のしきい値を示す。評価はGo
od、Fair、Poorの3段階であり、これをQoSレベルと呼
ぶ。帯域のしきい値、遅延のしきい値は平均値と分散で
指定し、パケットロスのしきい値はロス率で指定する。
例えば、図8はQoSカテゴリAの計測ルールA(900)
を示している。計測ルールA(900)によれば、帯域
しきい値(901)は平均1500kbps以上かつ分散25
0以下がGoodであり、平均1000kbps以上かつ分
散250以下がFair、これを満たさない場合はPoorであ
る。遅延しきい値(902)は平均100msec以下かつ
分散5以下がGoodであり、平均200msec以下かつ分散20以
下がFair、これを満たさない場合はPoorである。パケッ
トロスしきい値(903)は0.01以下がGood、0.50以下
がFair、これを満たさない場合はPoorである。このよう
に、高い品質を必要とするコンテンツに対しては、高い
しきい値を設定することで、コンテンツ毎の評価が可能
になる。
The evaluation rule (203) indicates a threshold value of a plurality of levels of evaluation for the QoS report calculated from the measurement information for each QoS category (201). Evaluation is Go
There are three stages, od, Fair, and Poor, which are called QoS levels. The bandwidth threshold and the delay threshold are specified by the average and the variance, and the packet loss threshold is specified by the loss rate.
For example, Fig. 8 shows QoS rule A measurement rule A (900)
Is shown. According to the measurement rule A (900), the bandwidth threshold (901) has an average of 1500 kbps or more and a variance of 25 kbps.
A value of 0 or less is Good, an average of 1000 kbps or more and a variance of 250 or less is Fair, and a case of not satisfying this is Poor. The delay threshold value (902) is Good when the average is 100 msec or less and the variance is 5 or less, Fair is when the average is 200 msec or less and the variance is 20 or less, and Poor when this is not satisfied. The packet loss threshold (903) is Good if 0.01 or less, Fair if 0.50 or less, and Poor if it is not satisfied. As described above, by setting a high threshold value for content requiring high quality, it becomes possible to evaluate each content.

【0030】上記報告ルール(204)はQoSカテゴリ
(201)ごとに、QoSマネージャ(150)への報告
が必要になるQoSレベルおよび報告値を指定する。報告
値はQoSマネージャへ送る値であり、取得した計測情報
の値全てを送信するか、平均値と分散からなる統計値を
送信するかを指定する。報告値が1の場合、取得した計
測情報の値を全て送信する。報告値が2の場合、平均値
と分散からなる統計値を送信する。例えば、QoSカテゴ
リAのレポートルールAは、帯域、パケットロスのそれぞ
れについてQoSレベルがPoorであればその統計値をQoSマ
ネージャ(150)に報告することを指示する。遅延に
ついては、QoSレベルがFairである場合、全ての計測情
報をQoSマネージャ(150)に報告することを指示す
る。このように、QoSプローブ(170)がコンテンツ
単位に品質を問題なしと判断するしきい値を持ち、当該
しきい値を満たさないQoSレベルである場合に限って、Q
oSマネージャに報告することで、ネットワークに与える
負荷を軽減する。
The reporting rule (204) specifies a QoS level and a report value that need to be reported to the QoS manager (150) for each QoS category (201). The report value is a value to be sent to the QoS manager, and specifies whether to transmit all the values of the acquired measurement information or to transmit a statistical value including an average value and a variance. When the report value is 1, all the values of the acquired measurement information are transmitted. If the reported value is 2, a statistic consisting of the mean and the variance is sent. For example, the report rule A of the QoS category A instructs to report the statistical value to the QoS manager (150) if the QoS level is Poor for each of the bandwidth and the packet loss. Regarding the delay, when the QoS level is Fair, it instructs to report all measurement information to the QoS manager (150). As described above, the QoS probe (170) has a threshold for judging that there is no problem in quality for each content, and only when the QoS level does not satisfy the threshold, Q
Report to the oS manager to reduce the load on the network.

【0031】図9はQoSカテゴリAのレポートルールA
(1000)を示している。レポートルールA(100
0)は、帯域(1001)、パケットロス(1003)
のそれぞれについてQoSレベル(1004)がPoorであ
れば、報告値(1005)として、その統計値をQoSマ
ネージャ(150)に報告することを指示する。遅延
(1002)については、QoSレベル(1004)がFai
rである場合、報告値(1005)として全ての計測情
報をQoSマネージャ(150)に報告することを指示す
る。このように、QoSプローブ(170)がコンテンツ
単位に品質を問題なしと判断するしきい値を持ち、当該
しきい値を満たさないQoSレベルである場合に限って、Q
oSマネージャに報告することで、ネットワークに与える
負荷を軽減する。
FIG. 9 shows a report rule A of the QoS category A.
(1000). Report rule A (100
0) is the band (1001), the packet loss (1003)
If the QoS level (1004) is Poor for each of these, a report value (1005) is instructed to report the statistical value to the QoS manager (150). Regarding the delay (1002), the QoS level (1004) is Fai
If it is r, it instructs that all measurement information be reported to the QoS manager (150) as the report value (1005). As described above, the QoS probe (170) has a threshold for judging that there is no problem in quality for each content, and only when the QoS level does not satisfy the threshold, Q
Report to the oS manager to reduce the load on the network.

【0032】図10は本実施例の通信シーケンス図であ
る。このシーケンス図は、ユーザがQoS計測サービスを
契約してQoSプローブ(170)をダウンロードし、QoS
計測サービスが付加されたコンテンツ配信を利用する場
合である。
FIG. 10 is a communication sequence diagram of the present embodiment. In this sequence diagram, a user subscribes to a QoS measurement service, downloads a QoS probe (170),
This is a case where the content distribution to which the measurement service is added is used.

【0033】ユーザがストリーミングクライアント(1
60)を用いてコンテンツ配信のポータルページを開く
と、ストリーミングクライアント(160)はポータル
ページの取得要求をWebサーバ(130)に対して発行
し(1101)、Webサーバ(130)はこの要求を受
けてポータルページの取得応答を返す(1102)。上
記ポータルページには、図11に示すQoS計測サービス
の申し込み画面(1200)が表示される。当該申し込
み画面では、QoS計測サービスの概要説明と「申し込
み」ボタン(1202)、「キャンセル」ボタン(12
03)を備えている。ユーザが「申し込み」ボタン(1
202)を押下すると、ストリーミングクライアント
(160)はQoSプローブ(170)取得要求をWebサー
バ(130)に対して発行する(1103)。Webサー
バ(130)は、この要求を受けてQoSプローブ(17
0)とQoSカテゴリ(201)と計測ルール(20
2)、評価ルール(203)、レポートルール(20
4)とを送信する(1104)。ストリーミングクライ
アント(160)はQoSプローブ(170)とQoSカテゴ
リ(201)と計測ルール(202)、評価ルール(2
03)、レポートルール(204)とを受信し、ハード
ディスク上のあらかじめ決められたディレクトリに保存
する。
When the user enters the streaming client (1
When the content distribution portal page is opened using (60), the streaming client (160) issues a portal page acquisition request to the web server (130) (1101), and the web server (130) receives the request. And returns a portal page acquisition response (1102). An application screen (1200) for the QoS measurement service shown in FIG. 11 is displayed on the portal page. On the application screen, a brief description of the QoS measurement service, an “application” button (1202), and a “cancel” button (12
03). When the user clicks the "Apply" button (1
When the user presses 202), the streaming client (160) issues a QoS probe (170) acquisition request to the Web server (130) (1103). The Web server (130) receives this request and receives the QoS probe (17
0), QoS category (201), and measurement rule (20)
2), evaluation rule (203), report rule (20)
4) is transmitted (1104). The streaming client (160) has a QoS probe (170), a QoS category (201), a measurement rule (202), and an evaluation rule (2).
03), receives the report rule (204) and saves it in a predetermined directory on the hard disk.

【0034】次にユーザはコンテンツへのリンク一覧が
表示されたページを開く。ストリーミングクライアント
はコンテンツ一覧の取得要求(1105)をWebサーバ
(130)に対して発行する。Webサーバ(130)は
この要求を受けて、コンテンツ一覧の取得応答(110
6)を返す。続いてユーザはコンテンツ一覧から一つの
コンテンツを選択する。ストリーミングクライアント
(160)はQoSプローブ(170)を起動し、ストリ
ーミングクライアント(160)は選択されたコンテン
ツの取得要求をストリーミングサーバ(140)に対し
て発行する。ストリーミングサーバ(140)はこの要
求を受けて、要求されたコンテンツを送信する(110
8)。コンテンツ取得要求、コンテンツはRSTPプロトコ
ルで送信される。一方、QoSプローブは計測情報(15
00)の取得を行う。コンテンツ配信が終了すると、Qo
Sプローブ(170)は計測情報をQoSマネージャ(15
0)に送信する(1109)。
Next, the user opens a page on which a list of links to contents is displayed. The streaming client issues a content list acquisition request (1105) to the Web server (130). In response to this request, the Web server (130) receives the content list acquisition response (110
6) is returned. Subsequently, the user selects one content from the content list. The streaming client (160) activates the QoS probe (170), and the streaming client (160) issues a request for acquiring the selected content to the streaming server (140). Upon receiving this request, the streaming server (140) transmits the requested content (110).
8). The content acquisition request and the content are transmitted by the RSTP protocol. On the other hand, the QoS probe uses measurement information (15
00) is obtained. When the content distribution ends, Qo
The S probe (170) sends the measurement information to the QoS manager (15
0) (1109).

【0035】図12はQoS計測記録部(175)に保存
された計測情報(1500)である。受信時刻(150
1)、受信バイト数(1502)、タイムスタンプ(1
503)、パケットロス数(1504)から成る。計測
部は計測処理の最後に行う統計処理において、当該計測
情報から統計値を計算する。
FIG. 12 shows measurement information (1500) stored in the QoS measurement recording section (175). Reception time (150
1), number of received bytes (1502), time stamp (1
503) and the number of packet losses (1504). The measurement unit calculates a statistical value from the measurement information in a statistical process performed at the end of the measurement process.

【0036】図13はQoS計測記録部(175)に保存
されたQoSレポート(1600)である。QoSレポート
(1600)は計測情報(1500)を統計値にしてQo
Sレベル判定結果を加えたデータであり、帯域データ
(1601)、遅延データ(1602)、パケットロス
データ(1603)に分れる。
FIG. 13 shows a QoS report (1600) stored in the QoS measurement recording unit (175). The QoS report (1600) uses the measurement information (1500) as a statistical value and
This is data to which the S level determination result is added, and is divided into band data (1601), delay data (1602), and packet loss data (1603).

【0037】帯域データ(1601)は、計測ゾーンの
番号(1604)、帯域の平均(1605)、帯域の分
散(1606)、評価部(173)が決定するQoSレベ
ル(1607)から成る。計測ゾーンの番号(160
4)とは、QoS計測を実行した時間を計測ゾーンで区切
り順番に付けた番号である。以下、計測部(172)が
実行する帯域データ(1601)の計算方法を説明す
る。計測部(172)は、まず1秒ごとに受信したパケ
ットのビット数を出して帯域とする。そして、計測ルー
ル(202)の計測ゾーン(504)が指示する時間内
の帯域の平均値と分散とを求め記録する。
The band data (1601) includes a measurement zone number (1604), a band average (1605), a band variance (1606), and a QoS level (1607) determined by the evaluation unit (173). Measurement zone number (160
4) is a number in which the time at which the QoS measurement was performed is assigned in the order in which the time was measured by the measurement zone. Hereinafter, a calculation method of the band data (1601) executed by the measuring unit (172) will be described. First, the measuring unit (172) outputs the number of bits of the packet received every second and sets it as a band. Then, the average and variance of the band within the time specified by the measurement zone (504) of the measurement rule (202) are obtained and recorded.

【0038】遅延データ(1602)は、計測ゾーンの
番号(1608)、遅延の平均(1609)、遅延の分
散(1610)、評価部(173)が決定するQoSレベ
ル(1611)から成る。計測部(172)は、まず計
測情報(1500)の受信時刻(1501)からタイム
スタンプ(1503)の値を減算し各パケットの遅延を
求める。そして、計測ルール(202)の計測ゾーン
(603)が指示する時間内に得た遅延に対して平均値
と分散とを求め記録する。
The delay data (1602) includes a measurement zone number (1608), an average delay (1609), a delay variance (1610), and a QoS level (1611) determined by the evaluation unit (173). The measuring unit (172) first obtains the delay of each packet by subtracting the value of the time stamp (1503) from the reception time (1501) of the measurement information (1500). Then, an average value and a variance are obtained and recorded for the delay obtained within the time specified by the measurement zone (603) of the measurement rule (202).

【0039】パケットロスデータ(1603)は、計測
ゾーンの番号(1612)、パケットロス率(161
3)、評価部(173)が決定するQoSレベル(161
4)から成る。計測部(172)は、計測ルール(20
2)の計測ゾーン(704)が指示する時間内に発生し
たパケットロスのロス率を求め記録する。
The packet loss data (1603) includes a measurement zone number (1612) and a packet loss rate (161).
3) QoS level (161) determined by the evaluation unit (173)
4). The measuring unit (172) executes the measurement rule (20
The loss rate of the packet loss occurring within the time specified by the measurement zone (704) of 2) is obtained and recorded.

【0040】図14はQoSプローブ(170)からQoSマ
ネージャ(150)に送信されるメッセージである。RT
CPのApplication Specificメッセージには、RTPを利用
するアプリケーションが固有の情報をやり取りするため
のフィールドがあり、利用者はフィールドのフォーマッ
トを規定して任意の情報を格納することができる。本実
施例のQoSプローブ(170)のレポート機能は、当該A
pplication Specificメッセージを利用して、計測情報
をQoSマネージャ(150)に送信する。
FIG. 14 shows a message transmitted from the QoS probe (170) to the QoS manager (150). RT
The CP Application Specific message has a field for an application using the RTP to exchange unique information, and the user can define a format of the field and store arbitrary information. The reporting function of the QoS probe (170) of this embodiment
The measurement information is transmitted to the QoS manager (150) using the pplication Specific message.

【0041】Application Specificメッセージ(170
0)により送信する内容は、コンテンツ再生の開始時刻
(1701)、終了時刻(1702)、コンテンツURI
(1703)、QoSレポート(1704)である。QoSレ
ポート(1704)は帯域データリスト(1705)、
遅延データリスト(1706)、パケットロスデータリ
スト(1707)に分れる。
The application specific message (170
The contents to be transmitted by 0) are the content reproduction start time (1701), end time (1702), content URI
(1703) and the QoS report (1704). The QoS report (1704) includes a bandwidth data list (1705),
It is divided into a delay data list (1706) and a packet loss data list (1707).

【0042】帯域データリスト(1705)はひとつ以
上の帯域データ(1731)から成り、遅延データリス
ト(1706)はひとつ以上の遅延データ(1732)
から成り、パケットロスデータリスト(1707)は、
ひとつ以上のパケットロスデータ(1733)から成
る。
The band data list (1705) includes one or more band data (1731), and the delay data list (1706) includes one or more delay data (1732).
And the packet loss data list (1707)
It consists of one or more packet loss data (1733).

【0043】報告値が1である場合、帯域データ(17
31)は計測ゾーン番号(1716)、ひとつ以上の帯
域(1717、1718)からなる。遅延データ(17
32)は計測ゾーン番号(1719)、ひとつ以上の遅
延(1720、1721)から成る。パケットロスデー
タ(1733)は計測ゾーン番号(1722)、パケッ
トロス数(1723)から成る。
If the reported value is 1, the band data (17
31) is composed of a measurement zone number (1716) and one or more bands (1717, 1718). Delayed data (17
32) comprises a measurement zone number (1719) and one or more delays (1720, 1721). The packet loss data (1733) includes a measurement zone number (1722) and a packet loss number (1723).

【0044】報告値が2である場合、帯域データ(17
31)は計測ゾーン番号(1708)、平均値(170
9)、分散(1710)からなる。遅延データ(173
2)は計測ゾーン番号(1711)、平均値(171
2)、分散(1713)から成る。パケットロスデータ
(1733)は計測ゾーン番号(1714)、パケット
ロス率(1715)から成る。QoSマネージャ(15
0)は、当該Application Specificメッセージ(170
0)を参照することにより、あるユーザの計測ゾーン毎
の受信品質を知ることができる。
If the reported value is 2, the band data (17
31) is the measurement zone number (1708) and the average value (170)
9) and dispersion (1710). Delayed data (173
2) is the measurement zone number (1711) and the average value (171)
2) and dispersion (1713). The packet loss data (1733) includes a measurement zone number (1714) and a packet loss rate (1715). QoS Manager (15
0) is the Application Specific message (170
By referring to 0), it is possible to know the reception quality of each user in each measurement zone.

【0045】図15はQoSプローブ(170)のプロト
コル処理部(171)、評価部(173)、レポート部
(174)の動作を示すフローチャートである。なお、
計測部はプロトコル処理部(171)と並行して動作す
る。
FIG. 15 is a flowchart showing the operation of the protocol processing unit (171), the evaluation unit (173), and the report unit (174) of the QoS probe (170). In addition,
The measuring unit operates in parallel with the protocol processing unit (171).

【0046】まず、プロトコル処理部(171)はスト
リーミングクライアント(160)がストリーミングサ
ーバ宛てに送信したRTPパケットをプロトコル(18
0)から受け取り、当該RTPパケットからRTSPパケット
を組み立て、ストリーミングクライアント(160)が
送信したコンテンツ取得要求を検出する(1301)。
そして、検出したコンテンツ取得要求に含まれるURIと
上記QoSカテゴリの識別URIを前方一致によって比較し、
取得するコンテンツのカテゴリ、つまり適用すべき計測
ルール(202)、評価ルール(203)、レポートル
ール(204)を決定、ハードディスクに保存された計
測ルール(202)、評価ルール(203)、レポート
ルール(205)を取得する(1302)。例えば、UR
Iがrtsp://hoge.com/movie/eiga.xxxである場合、当該U
RIはQoSカテゴリAの識別URIと一致し、QoSカテゴリAと
なる。
First, the protocol processing unit (171) converts the RTP packet transmitted by the streaming client (160) to the streaming server into the protocol (18).
0), assembles an RTSP packet from the RTP packet, and detects a content acquisition request transmitted by the streaming client (160) (1301).
Then, the URI included in the detected content acquisition request is compared with the identification URI of the QoS category by prefix matching,
The category of the content to be acquired, that is, the measurement rule (202), the evaluation rule (203), and the report rule (204) to be applied are determined, and the measurement rule (202), the evaluation rule (203), and the report rule ( 205) is obtained (1302). For example, UR
If I is rtsp: //hoge.com/movie/eiga.xxx, the U
The RI matches the identification URI of the QoS category A, and becomes the QoS category A.

【0047】次に、プロトコル処理部(171)はRTP
パケットを受信すると(1303)、RTPパケットヘッ
ダと受信時刻を一旦保持し、受信時刻によってActiveで
ある時間内に到着したパケットであるか判断する(13
04)。例えば、計測ゾーンが10分、計測割合が30%で
ある場合には、計測ゾーンの開始から30%の時間が経過
する間、つまり3分間だけパケットサイズを記録し、そ
の後当該計測ゾーンの終了する7分間は記録しない。次
の計測ゾーンが開始すると再度計測を始め、同様に30%
の時間が経過する間だけパケットサイズを記録する。パ
ケットがActiveである時間内に到着したか否かを確認す
る方法としては、パケット処理部(171)はActiveで
ある区間に真となり、Activeでない区間に偽となるActi
veフラグと、Active時間を計るタイマ、Activeでない時
間を計るタイマとを持ち、これらのタイマを交互にセッ
トしてActiveフラグを反転させ、Activeフラグが真であ
る時間内に到着したパケットだけを計測部(172)に
渡す(1305)。計測対象でない場合は次のパケット
を待ち、ステップ1303に戻る。
Next, the protocol processing unit (171) executes the RTP
When the packet is received (1303), the RTP packet header and the reception time are temporarily held, and it is determined whether or not the packet has arrived within the Active time based on the reception time (13).
04). For example, when the measurement zone is 10 minutes and the measurement ratio is 30%, the packet size is recorded only for 30 minutes after the start of the measurement zone, that is, for 3 minutes, and then the measurement zone ends. Do not record for 7 minutes. When the next measurement zone starts, measurement starts again, and 30%
The packet size is recorded only while the time elapses. As a method of confirming whether or not a packet has arrived within the active time, the packet processing unit (171) determines that the active section is true and the inactive section is false.
It has a ve flag, a timer that measures the Active time, and a timer that measures the time that is not Active. These timers are set alternately, the Active flag is inverted, and only packets that arrive within the time when the Active flag is true are measured. (1305). If not, the process waits for the next packet and returns to step 1303.

【0048】なお、上記プロトコル処理部(172)の
動作と並行して、計測部(172)は計測ルール(20
2)に基づいて渡されたRTPヘッダから、計測情報(1
500)を取得し、QoS計測記録部(175)に保存、Q
oSレポート(1600)に変換する。計測部(172)
の詳細な動作は図16で説明する。
In parallel with the operation of the protocol processing unit (172), the measuring unit (172) executes the measurement rule (20).
From the RTP header passed based on 2), the measurement information (1
500) and save it in the QoS measurement recording unit (175).
Convert to oS report (1600). Measuring unit (172)
The detailed operation of will be described with reference to FIG.

【0049】次に、プロトコル処理部(171)はコン
テンツの再生開始からの経過時間が標準的な再生時間で
あるPLAY TIMEを超過したか否か、またはコンテンツ再
生終了を要求するRSTPのTEARDOWNメッセージがストリー
ミングクライアント(180)からストリーミングサー
バ(140)に対して発行されたか否か、セッションが
無効になっているか否かを確認する。これらの結果がひ
とつでも真である場合はコンテンツの閲覧が終了したと
して、計測部(172)に終了を通知する(130
6)。
Next, the protocol processing unit (171) determines whether or not the elapsed time from the start of the reproduction of the content has exceeded the PLAY TIME, which is a standard reproduction time, or the RSTP TEARDOWN message requesting the end of the content reproduction. It is confirmed whether the streaming client (180) has issued to the streaming server (140) and whether the session has been invalidated. If at least one of these results is true, it is determined that the browsing of the content has ended, and the end is notified to the measuring unit (172) (130).
6).

【0050】計測終了後、評価部(173)は計測情報
記録部(175)に保存された計測情報(1500)に
ついて評価ルール(203)に基づいて評価を行う(1
307)。例えば、評価ルールAによると、遅延の平均
値が150msec、分散が9である場合はFairである。帯域の
平均値が967kbpsであり、分散が243である場合はPoorで
ある。パケットロス数が1である場合はGoodである。
After the measurement, the evaluation unit (173) evaluates the measurement information (1500) stored in the measurement information recording unit (175) based on the evaluation rule (203) (1).
307). For example, according to the evaluation rule A, if the average value of the delay is 150 msec and the variance is 9, Fair is determined. If the average value of the band is 967 kbps and the variance is 243, it is Poor. If the packet loss number is 1, it is Good.

【0051】最後にレポート部(174)がレポートル
ール(204)および評価部(173)が決定した評価
に基づいてQoSマネージャに対し計測情報を通知する
(1308)。例えば、選択されたコンテンツのQoSカ
テゴリがAである場合、QoSプローブ(170)はレポー
トルールAに基づいてQoSマネージャへの報告を行う。レ
ポートルールAによると、遅延がPoorとなった時間単位
が3回あれば、その3回についてQoSマネージャ(15
0)にApplication Specificメッセージ(1700)を
送る。
Finally, the report unit (174) notifies the QoS manager of measurement information based on the report rule (204) and the evaluation determined by the evaluation unit (173) (1308). For example, if the QoS category of the selected content is A, the QoS probe (170) reports to the QoS manager based on the report rule A. According to report rule A, if there are three time units in which the delay is Poor, the QoS manager (15
0) sends an Application Specific message (1700).

【0052】図16はQoSプローブ(170)の計測部
(172)が行う計測処理のフローチャートである。計
測部(172)は選択されたコンテンツのQoSカテゴリ
がAである場合、計測ルールA(800)に基づいて計測
処理を実行する。計測部(172)は、パケット処理部
(171)から渡されたパケットと受信時刻を受け取り
(1401)、受信時刻を記録(1403)、計測ルー
ルA(800)を参照し帯域が計測対象であるか確認し
(1404)、計測対象であれば受信時刻とRTPパケッ
トのパケットサイズをバイト単位で記録する(140
5)。計測対象でない場合は、ステップ1406に移
る。続いて、遅延が計測対象であるか確認し(140
6)、計測対象であればRTPパケットのタイムスタンプ
を1/1000秒単位で記録する(1407)。計測対象でな
い場合は、ステップ1408に移る。さらに、パケット
ロスが計測対象であるか確認し(1408)、計測対象
であればRTPパケットのシーケンス番号を確認し、紛失
パケットの有無を確認、紛失パケットがあればその数を
記録する(1409)。
FIG. 16 is a flowchart of a measurement process performed by the measurement unit (172) of the QoS probe (170). When the QoS category of the selected content is A, the measurement unit (172) executes the measurement process based on the measurement rule A (800). The measurement unit (172) receives the packet passed from the packet processing unit (171) and the reception time (1401), records the reception time (1403), and refers to the measurement rule A (800) to measure the bandwidth. (1404), and if it is a measurement target, the reception time and the packet size of the RTP packet are recorded in byte units (140).
5). If it is not a measurement target, the process proceeds to step 1406. Subsequently, it is confirmed whether the delay is a measurement target (140).
6) If it is a measurement target, record the time stamp of the RTP packet in 1/1000 second units (1407). If it is not a measurement target, the process proceeds to step 1408. Further, it is checked whether the packet loss is a measurement target (1408). If it is a measurement target, the sequence number of the RTP packet is checked, the presence or absence of a lost packet is checked, and if there is a lost packet, the number is recorded (1409). .

【0053】そして、計測部(172)はプロトコル処
理部(171)が発行した計測終了通知の有無を確認、
当該計測終了通知を検出した場合(1410)、計測を
終了し、計測情報(1500)を統計処理してQoSレポ
ート(1600)を作成、QoS計測記録部(175)に
記録し(1411)終了する。計測部(172)が当該
通知を検出しない場合は(1410)ステップ1401
に戻る。このようにして、コンテンツのQoSカテゴリに
応じたQoS計測を実現する。
The measuring unit (172) checks whether or not there is a measurement end notification issued by the protocol processing unit (171).
When the measurement end notification is detected (1410), the measurement is ended, the measurement information (1500) is statistically processed, a QoS report (1600) is created, recorded in the QoS measurement recording unit (175), and the process ends (1411). . If the measurement unit (172) does not detect the notification (1410), step 1401
Return to In this way, QoS measurement according to the QoS category of the content is realized.

【0054】以上説明したように、本実施例によると、
上記QoSプローブ(170)はIPパケットが運ぶ通信内
容を解析するプロトコル解析部を持ち、IPパケットが搬
送するコンテンツを識別し、識別したコンテンツ単位の
計測を行う。そして、コンテンツおよびユーザの環境に
応じた受信品質の監視を行うことで、コンテンツの再生
など他のタスクに影響を与えないQoS計測が可能にな
る。
As described above, according to the present embodiment,
The QoS probe (170) has a protocol analysis unit for analyzing the communication content carried by the IP packet, identifies the content carried by the IP packet, and measures the identified content unit. By monitoring the reception quality according to the content and the environment of the user, it becomes possible to perform QoS measurement that does not affect other tasks such as reproduction of the content.

【0055】また、コンテンツに応じた基準で受信品質
の判定を行い、受信品質に問題がある場合に限ってQoS
レポートをQoSマネージャに送ることで、ネットワーク
・リソースの消費を抑えることが可能になる。
Also, the reception quality is determined based on the criteria according to the content, and the QoS is determined only when there is a problem with the reception quality.
By sending the report to the QoS manager, it is possible to reduce the consumption of network resources.

【0056】ところで、コンテンツ自体に計測ルール、
評価ルール、レポートルールを付加することで、あらか
じめ決められたQoSカテゴリに当てはまらないコンテン
ツに対しても、柔軟なQoS計測を実現可能である。
By the way, the content itself has a measurement rule,
By adding evaluation rules and report rules, flexible QoS measurement can be realized even for contents that do not fall into the predetermined QoS category.

【0057】また、ユーザが利用するPCの性能などに合
わせて、ユーザ自身が計測ルールを選択することで、ユ
ーザ環境に応じたQoS計測が可能になる。
Further, the QoS measurement according to the user environment can be performed by selecting the measurement rule by the user according to the performance of the PC used by the user.

【0058】さらに、本実施例ではQoSプローブ(17
0)はユーザの利用するPC上に存在するが、ルータ上ま
たはIPネットワーク(100)またはプロバイダネット
ワーク(101)とユーザネットワーク(102)の任
意の箇所にあっても良い。ただし、この場合は当該箇所
を流れるIPパケットをすべて取得し、ストリーミングサ
ーバ(140)およびWebサーバ(150)とストリー
ミングクライアント(160)とがやり取りするIPパケ
ットを送信元、あて先IPアドレスによりフィルタリング
する必要がある。
Further, in this embodiment, the QoS probe (17
0) exists on the PC used by the user, but may be located on the router or at any place of the IP network (100) or the provider network (101) and the user network (102). However, in this case, it is necessary to obtain all the IP packets flowing through the relevant part and filter the IP packets exchanged between the streaming server (140) and the web server (150) and the streaming client (160) by the source and destination IP addresses. There is.

【0059】本実施例はコンテンツ配信だけでなく、IP
電話システムにおけるQoS計測にも適用することが可能
である。この場合は、通話の相手に応じ計測ルール、評
価ルール、レポートルールを設定することも考えられ
る。
In this embodiment, not only the content distribution but also the IP
It can also be applied to QoS measurement in telephone systems. In this case, it is conceivable to set measurement rules, evaluation rules, and report rules according to the other party of the call.

【0060】本実施形態によると、通信内容によって決
まるひとまとまりの通信単位を識別することで、識別し
た通信単位のQoS計測が可能になる。また、コンテンツ
およびユーザの環境に応じた受信品質の監視を行うこと
で、コンテンツの再生など他のタスクに影響を与えない
QoS計測が可能になる。さらに、コンテンツに応じた基
準で受信品質の判定を行い、受信品質に問題がある場合
に限ってQoSレポートをQoSマネージャに送ることで、ネ
ットワーク・リソースの消費を抑えることが可能にな
る。
According to the present embodiment, the QoS measurement of the identified communication unit can be performed by identifying a set of communication units determined by the communication contents. In addition, by monitoring the reception quality according to the content and the environment of the user, other tasks such as content reproduction are not affected.
QoS measurement becomes possible. Furthermore, by deciding the reception quality based on the criterion according to the content and sending the QoS report to the QoS manager only when there is a problem in the reception quality, it is possible to suppress the consumption of network resources.

【0061】このように、軽量なQoS計測システムによ
ってコンテンツプロバイダはユーザごとの受信品質を管
理することが可能になり、木目細かなサービスの実現に
利用することができる。また、ネットワークプロバイダ
に受信品質に関する情報を提供することにより、ネット
ワークプロバイダがネットワークの問題発見に役立てる
ことができる。
As described above, the lightweight QoS measurement system allows the content provider to manage the reception quality of each user, and can be used for realizing detailed services. Also, by providing information on the reception quality to the network provider, the network provider can use it for finding a problem in the network.

【0062】[0062]

【発明の効果】本発明によれば、本来のタスクを圧迫し
ないよう計測のオーバーヘッドを低減することが可能に
なる。また、ディスク・スペース、ネットワーク・リソ
ースを低減することが可能になる。
According to the present invention, it is possible to reduce the measurement overhead so that the original task is not pressed. In addition, it is possible to reduce disk space and network resources.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の第一の実施例におけるシステム構成図
である。
FIG. 1 is a system configuration diagram according to a first embodiment of the present invention.

【図2】本発明の第一の実施例におけるQoSプローブの
機能構成図である。
FIG. 2 is a functional configuration diagram of a QoS probe according to the first embodiment of the present invention.

【図3】本発明の第一の実施例におけるQoSカテゴリを
示す図である。
FIG. 3 is a diagram showing QoS categories according to the first embodiment of the present invention.

【図4】本発明の第一の実施例における計測ルールの例
を示す図である。
FIG. 4 is a diagram showing an example of a measurement rule according to the first embodiment of the present invention.

【図5】本発明の第一の実施例におけるQoSプローブが
計測する遅延を示す図である。
FIG. 5 is a diagram illustrating a delay measured by a QoS probe according to the first embodiment of the present invention.

【図6】本発明の第一の実施例におけるQoSプローブが
計測する帯域を示す図である。
FIG. 6 is a diagram illustrating a band measured by a QoS probe according to the first embodiment of the present invention.

【図7】本発明の第一の実施例におけるQoSプローブが
計測するパケットロスを示す図である。
FIG. 7 is a diagram illustrating packet loss measured by a QoS probe according to the first embodiment of the present invention.

【図8】本発明の第一の実施例における評価ルールの例
を示す図である。
FIG. 8 is a diagram showing an example of an evaluation rule according to the first embodiment of the present invention.

【図9】本発明の第一の実施例におけるレポートルール
の例を示す図である。
FIG. 9 is a diagram illustrating an example of a report rule according to the first embodiment of this invention.

【図10】本発明の第一の実施例における通信シーケン
スを示す図である。
FIG. 10 is a diagram showing a communication sequence in the first embodiment of the present invention.

【図11】本発明の第一の実施例におけるQoS計測サー
ビスの申し込み画面を示す図である。
FIG. 11 is a diagram showing an application screen for a QoS measurement service in the first embodiment of the present invention.

【図12】本発明の第一の実施例における計測情報を示
す図である。
FIG. 12 is a diagram showing measurement information in the first embodiment of the present invention.

【図13】本発明の第一の実施例におけるQoSレポート
を示す図である。
FIG. 13 is a diagram showing a QoS report according to the first embodiment of the present invention.

【図14】本発明の第一の実施例におけるQoSプローブ
からQoSマネージャに送信されるメッセージを示す図で
ある。
FIG. 14 is a diagram showing a message transmitted from the QoS probe to the QoS manager according to the first embodiment of the present invention.

【図15】本発明の第一の実施例におけるQoSプローブ
のフローチャートを示す図である。
FIG. 15 is a diagram showing a flowchart of a QoS probe in the first embodiment of the present invention.

【図16】本発明の第一の実施例における計測情報を示
す図である。
FIG. 16 is a diagram showing measurement information according to the first embodiment of the present invention.

【符号の説明】[Explanation of symbols]

100…IPネットワーク、110…ルータ、101…コ
ンテンツプロバイダネットワーク、102…ユーザネッ
トワーク、120…PCサーバ、121…PC、140…ス
トリーミングサーバ、150…QoSマネージャ、160
…ストリーミングクライアント、170…QoSプロー
ブ、201…QoSカテゴリ、202…計測ルール、20
3…評価ルール、204…レポートルール、300…コ
ンテンツ、191…コンテンツDB、190…ルールDB、
130…Webサーバ、171…プロトコル処理部、17
2…計測部、173…評価部、174…レポート部、1
75…QoS計測記録部、1500…計測情報、1600
…QoSレポート。
100: IP network, 110: Router, 101: Content provider network, 102: User network, 120: PC server, 121: PC, 140: Streaming server, 150: QoS manager, 160
... streaming client, 170 ... QoS probe, 201 ... QoS category, 202 ... measurement rule, 20
3: Evaluation rule, 204: Report rule, 300: Content, 191: Content DB, 190: Rule DB,
130 Web server, 171 Protocol processing unit, 17
2 ... Measurement unit, 173 ... Evaluation unit, 174 ... Report unit, 1
75 QoS measurement recording section 1500 measurement information 1600
… QoS report.

Claims (7)

【特許請求の範囲】[Claims] 【請求項1】ネットワークの任意の個所に設置され計測
情報を取得するQoSプローブと、取得された前記計測情
報を収集、解析するQoSマネージャによって構成され、 前記QoSプローブは、通信内容を解析するプロトコル処
理部を持ち、当該プロトコル処理部が通信内容によって
決まるひとまとまりの通信単位を識別し、識別した通信
単位の計測を実行することを特徴とする通信品質計測シ
ステム。
1. A QoS probe which is installed at an arbitrary point in a network and acquires measurement information, and a QoS manager which collects and analyzes the acquired measurement information, wherein the QoS probe is a protocol for analyzing communication contents. A communication quality measurement system comprising a processing unit, wherein the protocol processing unit identifies a set of communication units determined by communication contents and executes measurement of the identified communication unit.
【請求項2】請求項1記載の通信品質計測システムにお
いて、 前記QoSプローブはQoS計測によって得られた計測情報に
対する評価ルールを持ち、当該評価ルールに基づいて計
測情報の一部を選択し、選択した計測情報を記録し、Qo
Sマネージャに送信することを特徴とする通信品質計測
システム。
2. The communication quality measurement system according to claim 1, wherein the QoS probe has an evaluation rule for measurement information obtained by QoS measurement, and selects and selects a part of the measurement information based on the evaluation rule. Record the measurement information
A communication quality measurement system that transmits to the S manager.
【請求項3】請求項2記載の通信品質計測システムにお
いて、 前記QoSプローブはQoS計測の動作を制御する計測ルール
を持ち、当該ルールに基づいて計測項目および計測の木
目細かさを変更することで、前記QoSプローブが使用す
るCPU消費量を低減することを特徴とする通信品質計測
システム。
3. The communication quality measurement system according to claim 2, wherein the QoS probe has a measurement rule for controlling an operation of the QoS measurement, and changes a measurement item and a granularity of the measurement based on the rule. A communication quality measuring system, wherein the CPU consumption used by the QoS probe is reduced.
【請求項4】請求項3記載の通信品質計測システムにお
いて、 前記計測ルールは、通信内容や利用者とサービス提供者
の契約や利用者の環境によって決まることを特徴とする
通信品質計測システム。
4. The communication quality measurement system according to claim 3, wherein said measurement rule is determined by communication contents, a contract between a user and a service provider, and a user environment.
【請求項5】請求項2記載の通信品質計測システムであ
って、 前記評価ルールは、通信内容や利用者とサービス提供者
の契約や利用者の環境によって決まることを特徴とする
通信品質計測システム。
5. The communication quality measurement system according to claim 2, wherein said evaluation rule is determined by communication contents, a contract between a user and a service provider, and an environment of the user. .
【請求項6】請求項2記載の通信品質計測システムにお
いて、 前記QoSプローブおよびQoSカテゴリは、ユーザがQoS計
測サービスを登録することにより、Webサーバからクラ
イアントを通じてダウンロードされ、ユーザの環境にイ
ンストールされることを特徴とする通信品質計測システ
ム。
6. The communication quality measurement system according to claim 2, wherein the QoS probe and the QoS category are downloaded from a web server through a client when the user registers a QoS measurement service, and are installed in a user environment. A communication quality measurement system, characterized in that:
【請求項7】請求項3記載の通信品質計測システムにお
いて、 前記QoSプローブは、前記計測ルールに応じて、間欠的
に計測を実行することを特徴とする通信品質計測システ
ム。
7. The communication quality measurement system according to claim 3, wherein said QoS probe performs measurement intermittently in accordance with said measurement rule.
JP2002151712A 2002-05-27 2002-05-27 Communication quality measurement system Pending JP2003348155A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002151712A JP2003348155A (en) 2002-05-27 2002-05-27 Communication quality measurement system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002151712A JP2003348155A (en) 2002-05-27 2002-05-27 Communication quality measurement system

Publications (1)

Publication Number Publication Date
JP2003348155A true JP2003348155A (en) 2003-12-05

Family

ID=29769211

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002151712A Pending JP2003348155A (en) 2002-05-27 2002-05-27 Communication quality measurement system

Country Status (1)

Country Link
JP (1) JP2003348155A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007527664A (en) * 2004-02-12 2007-09-27 ノキア コーポレイション Classified media experience quality
JP2009543451A (en) * 2006-07-06 2009-12-03 アルカテル−ルーセント ユーエスエー インコーポレーテッド Packet loss reduction for packet data services during transport network congestion
WO2009148021A1 (en) * 2008-06-03 2009-12-10 株式会社日立製作所 Packet analysis apparatus
JP2010130616A (en) * 2008-12-01 2010-06-10 Fujitsu Ltd Method of measuring packet loss rate, device for measuring packet loss rate, and computer program
JP2011010239A (en) * 2009-06-29 2011-01-13 Nippon Telegr & Teleph Corp <Ntt> Information collection system, transmission apparatus, receiving device, information collection device and program
US8159963B2 (en) 2006-10-30 2012-04-17 Nec Corporation QoS routing method and QoS routing apparatus for determining measurement accuracy of communication quality

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007527664A (en) * 2004-02-12 2007-09-27 ノキア コーポレイション Classified media experience quality
US8452884B2 (en) 2004-02-12 2013-05-28 Core Wireless Licensing S.A.R.L. Classified media quality of experience
US10225312B2 (en) 2004-02-12 2019-03-05 Conversant Wireless Licencing S.a r.l. Classified media quality of experience
US10652306B2 (en) 2004-02-12 2020-05-12 Conversant Wireless Licensing S.A R.L. Classified media quality of experience
JP2009543451A (en) * 2006-07-06 2009-12-03 アルカテル−ルーセント ユーエスエー インコーポレーテッド Packet loss reduction for packet data services during transport network congestion
US8159963B2 (en) 2006-10-30 2012-04-17 Nec Corporation QoS routing method and QoS routing apparatus for determining measurement accuracy of communication quality
WO2009148021A1 (en) * 2008-06-03 2009-12-10 株式会社日立製作所 Packet analysis apparatus
US20110085443A1 (en) * 2008-06-03 2011-04-14 Hitachi. Ltd. Packet Analysis Apparatus
JP5211162B2 (en) * 2008-06-03 2013-06-12 株式会社日立製作所 Information processing apparatus and information processing method
JP2010130616A (en) * 2008-12-01 2010-06-10 Fujitsu Ltd Method of measuring packet loss rate, device for measuring packet loss rate, and computer program
JP2011010239A (en) * 2009-06-29 2011-01-13 Nippon Telegr & Teleph Corp <Ntt> Information collection system, transmission apparatus, receiving device, information collection device and program

Similar Documents

Publication Publication Date Title
US9398347B2 (en) Systems and methods for measuring quality of experience for media streaming
EP1593234B1 (en) Method and apparatus for measuring stream availability, quality and performance
US7647418B2 (en) Real-time streaming media measurement system and method
KR101037020B1 (en) System and method for selecting data providers
US7061871B2 (en) System and method for identifying errors in a video conference conducted on a packet-based network
US20070121626A1 (en) User and activity based end-to-end utilization measurement system
US20080010379A1 (en) Method and system for content charging
US20060020697A1 (en) System and method for presenting chat QoS indication to user
CN1913449A (en) Method and systems for optimization analysis in networks
US20140129708A1 (en) METHOD AND SYSTEM TO IDENTIFY A NETWORK DEVICE ASSOCIATED WITH POOR QoS
JP2003348155A (en) Communication quality measurement system
Gomes et al. Source traffic analysis
KR20040099050A (en) Method and System for Realtime Monitoring of Wireless Packet Data Call
CN100555929C (en) Access network with believable real-time feedback
Ramadha et al. Design and implementation named data networking-based video streaming system
CA2742038A1 (en) Systems and methods for measuring quality of experience for media streaming
JP2003037630A (en) Method and device for measuring service quality in transmission of digital contents, and method and device for controlling service quality
JP3964879B2 (en) Call number monitoring method, call number monitoring apparatus, and video conference system
Jarwalli et al. Evaluating Quality of Experience (QoE) for Live Radio Streaming Over IP Networks
Lin et al. VoIP communication quality and flow volume preference—A SIP and Red5 example
Shaikh Non-Intrusive Network-Based Estimation of Web Quality of Experience Indicators
Sousa et al. A framework for the development of tolerant real-time applications
Ellawindy QoE aware real-time multimedia streaming in software-defined networks
EP2811692B1 (en) Methods and systems for monitoring the quality-of-experience of an application available over a network
JP2005057690A (en) Delay time measuring device, jitter tolerance measuring device, and speech quality evaluation device using the same