JP2004289748A - Quality monitoring system and its quality monitoring method for multimedia communications - Google Patents
Quality monitoring system and its quality monitoring method for multimedia communications Download PDFInfo
- Publication number
- JP2004289748A JP2004289748A JP2003082317A JP2003082317A JP2004289748A JP 2004289748 A JP2004289748 A JP 2004289748A JP 2003082317 A JP2003082317 A JP 2003082317A JP 2003082317 A JP2003082317 A JP 2003082317A JP 2004289748 A JP2004289748 A JP 2004289748A
- Authority
- JP
- Japan
- Prior art keywords
- information
- packet
- communication
- audio
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Time-Division Multiplex Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
Description
【０００１】
【発明の属する技術分野】
本発明は、ＩＰネットワーク上でＲＴＰ（Ｒｅａｌ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）を用いて音声／画像データの通信を行うマルチメディア通信システムにおいて当該音声／画像データの品質（音質や画質）を監視する為の品質監視システム及びその品質監視方法に関する。
【０００２】
【従来の技術】
従来、ＩＰネットワーク上で音声／画像データの通信が行われるマルチメディア通信システムには、例えばＲＴＰを用いて音声／画像データの双方向通信を行うビデオ会議システムがある。ここで、この種のマルチメディア通信システムにおいては、送受信される音声／画像データの品質（音質や画質）が劣化してしまうことがあるので、品質劣化が生じた場合にはその劣化した品質の補正や品質劣化の防止を図る必要がある。このような補正等の策を講じる為にはその品質劣化原因を特定しなければならず、その特定方法として、例えば特開２００２−０５１０４１号公報に、ユーザが品質劣化を認識した後に品質測定用のパケット（例えばＩＣＭＰ（Ｉｎｔｅｒｎｅｔ Ｃｏｎｔｒｏｌ Ｍｅｓｓａｇｅ Ｐｒｏｔｏｃｏｌ）を使用する）の送受信を行うことで往復遅延やパケットのロス等を算出し、ネットワーク障害発生部位の特定を行ってユーザへ通知を行う方法が開示されている。
【０００３】
【特許文献１】
特開２００２−０５１０４１号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来の品質劣化原因特定方法においては品質測定用として用意されたパケットが使用されるので、実際に送受信されている音声／画像データ（音声／画像パケット）との相違の程度如何によっては、実際の音声／画像パケットについての伝送遅延，パケットロス率及びゆらぎに関するデータと品質測定用パケットを用いて算出されたこれらの結果とが必ずしも一致しない可能性がある。即ち、従来の特定方法では、必ずしも特定された品質劣化原因が真の原因であるとはいえない場合もある。
【０００５】
また、従来は品質劣化を認識したユーザが品質測定の開始を指示して品質劣化原因を特定するものであり、特定された原因の補正方法があったとしてもユーザには一旦品質の劣化した画像や音声が提供されてしまう。即ち、未然にシステム側で音声／画像データの品質劣化を検知して原因の特定が行えれば、ユーザに品質の劣化した音声や画像を提供せずとも済むが、従来の品質劣化原因特定方法は会議の視聴中にユーザに先駆けて音声や画像の品質劣化を検知することができないので、ユーザは少なくとも補正が為されるまで品質の劣化した音声や画像を視聴しなければならない。
【０００６】
そこで、本発明は、かかる従来例の有する不都合を改善し、音声／画像データの品質劣化を高精度に、そしてユーザに先駆けて検知することが可能なマルチメディア通信の品質監視システム及びその品質監視方法を提供することを、その目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成する為、本発明に係る品質監視システムでは、一方の通信端末に、その通信先たる他方の通信端末へと送信する音声／画像パケットに送信時刻のタイムスタンプを付与して送信データ記憶部へ格納する機能と、この送信データ記憶部に格納した音声／画像パケットのタイムスタンプ及びシーケンス番号の情報を前記他方の通信端末に送信する機能とを設けている。また、前記他方の通信端末には、前記一方の通信端末から受信した前記送信時刻のタイムスタンプが付与された音声／画像パケットに受信時刻のタイムスタンプを付与して受信データ記憶部へ格納する機能と、自身のパフォーマンスデータを収集する機能と、前記受信データ記憶部に格納した音声／画像パケットのタイムスタンプ及びシーケンス番号の情報並びに前記一方の通信端末から受信した送信時刻のタイムスタンプ及びシーケンス番号の情報に基づいて、品質劣化の要因たる伝送遅延，パケットロス率及びゆらぎの情報を算出する機能と、これら算出した伝送遅延，パケットロス率及びゆらぎの情報並びに前記収集したパフォーマンスデータの情報が予め設定されているこれらの閾値を超過しているか否かを判定する機能と、この判定により閾値を超過している場合に品質劣化発生の可能性があることをモニタ上に通知する機能とを設けている。
【０００８】
また、上記目的を達成する為、本発明に係る品質監視方法では、通信端末が、その通信先の通信端末から受信した送信時刻のタイムスタンプが付与された音声／画像パケットに受信時刻のタイムスタンプを付与して受信データ記憶部へ格納する工程と、自身のパフォーマンスデータを収集する工程と、前記受信データ記憶部に格納された音声／画像パケットのタイムスタンプ及びシーケンス番号の情報並びに前記通信先の通信端末から受信した当該通信先の通信端末の送信データ記憶部内の送信時刻のタイムスタンプ及びシーケンス番号の情報に基づいて、品質劣化の要因たる伝送遅延，パケットロス率及びゆらぎの情報を算出する工程と、これら算出した伝送遅延，パケットロス率及びゆらぎの情報並びに前記収集したパフォーマンスデータの情報が予め設定されているこれらの閾値を超過しているか否かを判定する工程と、この判定により閾値を超過している場合に品質劣化発生の可能性があることをモニタ上に通知する工程とを有している。
【０００９】
また、上記目的を達成する為、本発明に係る品質監視プログラムは、通信先の通信端末から受信した送信時刻のタイムスタンプが付与された音声／画像パケットに受信時刻のタイムスタンプを付与して受信データ記憶部へ格納させる指令と、自身のパフォーマンスデータを収集させる指令と、前記受信データ記憶部に格納された音声／画像パケットのタイムスタンプ及びシーケンス番号の情報並びに前記通信先の通信端末から受信した当該通信先の通信端末の送信データ記憶部内の送信時刻のタイムスタンプ及びシーケンス番号の情報に基づいて、品質劣化の要因たる伝送遅延，パケットロス率及びゆらぎの情報を算出させる指令と、これら算出された伝送遅延，パケットロス率及びゆらぎの情報並びに前記収集されたパフォーマンスデータの情報が予め設定されているこれらの閾値を超過しているか否かを判定させる指令と、この判定により閾値を超過している場合に品質劣化発生の可能性があることをモニタ上に通知させる指令とを有している。
【００１０】
【発明の実施の形態】
本発明に係るマルチメディア通信の品質監視システムは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ），ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネット等のネットワーク２０上の複数の通信端末１０ｋ（ｋ＝１，２，…，ｎ）で構成されたマルチメディア通信システムにおいて音声／画像データの品質を監視するものである。
【００１１】
ここで、かかるマルチメディア通信システムにおいて本発明に係る品質監視システムを構築する為には、以下の如き処理機能を有する図１に示す制御手段１１を上記通信端末１０ｋに持たせる。
【００１２】
この通信端末１０ｋの制御手段１１は、品質監視プログラムの処理指令に基づいて動作するＣＰＵを備えており、その処理指令に基づいた処理機能として、図１に示す如く、ＩＰアドレス取得機能１１ａ，ズレ時間算出機能１１ｂ，パケットデータ収集機能１１ｃ，送信パケットデータ転送機能１１ｄ，伝送遅延情報算出機能１１ｅ，パケットロス率算出機能１１ｆ，ゆらぎ情報算出機能１１ｇ，パフォーマンスデータ収集機能１１ｈ，品質劣化判定機能１１ｉ及び通知機能１１ｊを有する。
【００１３】
上記ＩＰアドレス取得機能１１ａとは、かかる処理機能が設けられた通信端末（以下、上記各機能の説明においては「本端末」ともいう。）１０ｋ自身のＩＰアドレスと、通信先の他の通信端末（以下、上記各機能の説明においては「通信先端末」ともいう。）１０ｋのＩＰアドレスとを取得する機能のことである。ここで、自身のＩＰアドレスは、本端末１０ｋの設定値を参照することによって取得する。また、通信先端末１０ｋのＩＰアドレスは、本端末１０ｋの図示しない記憶装置等を参照して取得する。尚、この通信先端末１０ｋのＩＰアドレスは、予め本端末１０ｋのユーザに設定させることによって記憶装置等に格納しておく。
【００１４】
また、上記ズレ時間算出機能１１ｂとは、本端末１０ｋと通信先端末１０ｋの夫々の時計が有する時間のズレを算出し、この算出結果を本端末１０ｋのメモリ領域に格納する機能のことである。
【００１５】
ここで、そのズレ時間の情報の演算処理機能について詳述する。先ず、本端末１０ｋのズレ時間算出機能１１ｂが通信先端末１０ｋに対してパケット（Ｐｉｎｇのような送信データが送信元に戻ってくるもの）を送信する。かかる送信時には、本端末１０ｋの時計から取得した図２に示す送信時刻Ｔａのタイムスタンプがそのパケットに対して付与される。続いて、このパケットは、通信先端末１０ｋで受信された後、本端末１０ｋに返信されてくる。その間、通信先端末１０ｋにおいては、そのパケットに対して、通信先端末１０ｋの時計から取得した図２に示す受信時刻Ｔｂ及び送信時刻Ｔｃのタイムスタンプが付与される。また、本端末１０ｋにおいては、そのパケットに対して、本端末１０ｋの時計から取得した図２に示す受信時刻Ｔｄのタイムスタンプが付与される。
【００１６】
このズレ時間算出機能１１ｂは、返信されてきたパケットからタイムスタンプ情報Ｔａ〜Ｔｄを抽出し、下式（１）に基づいてズレ時間Ｔｇを算出する。
【００１７】
【数式１】
ここで、マルチメディア通信システムが双方向通信を行うものである場合は、通信先端末１０ｋのメモリ領域にもズレ時間情報を保持しておく必要がある。かかる場合には通信先端末１０ｋが自身のズレ時間算出機能１１ｂにより算出したズレ時間情報をメモリ領域に格納してもよいが、本端末１０ｋのズレ時間算出機能１１ｂに算出結果の送信機能を設け、これによって伝達されたズレ時間情報を通信先端末１０ｋが格納してもよい。
【００１９】
また、上記パケットデータ収集機能１１ｃとは、通信先端末１０ｋからＲＴＰを用いた音声／画像データ（音声／画像パケット）を受信した際に、この音声／画像パケットに受信時刻のタイムスタンプを付与して図１に示す受信データ記憶部１２に格納する機能のことである。ここで、本端末１０ｋが受信する音声／画像パケットには、送信元の通信先端末１０ｋの送信時刻のタイムスタンプが付与されている。これが為、その通信先端末１０ｋには、少なくとも送信対象の音声／画像パケットに送信時刻のタイムスタンプを付与するパケットデータ収集機能１１ｃが設けられる。尚、この通信先端末１０ｋのパケットデータ収集機能１１ｃは、送信時刻のタイムスタンプが付与された音声／画像パケットを図１に示す送信データ記憶部１３に格納する機能も設けられている。
【００２０】
このような本端末１０ｋと通信先端末１０ｋの夫々のパケットデータ収集機能１１ｃは、一方向（通信先端末１０ｋから本端末１０ｋ）のみの音声／画像データの送信を行うマルチメディア通信システムであれば上記の如き機能を各々が別個に備えていればよい。しかしながら、マルチメディア通信システムが双方向通信を行うものである場合は、本端末１０ｋからも通信先端末１０ｋへの音声／画像パケットの送信が行われ、通信先端末１０ｋでも本端末１０ｋからの音声／画像パケットの受信が行われる。これが為、かかる場合における本端末１０ｋと通信先端末１０ｋの夫々のパケットデータ収集機能１１ｃには、上記二つの機能，即ち、受信した音声／画像パケットに受信時刻のタイムスタンプを付与して受信データ記憶部１２に格納する機能と、送信対象の音声／画像パケットに送信時刻のタイムスタンプを付与して送信データ記憶部１３に格納する機能とが設けられている。
【００２１】
尚、上記収集処理や以下の転送処理は、音声パケットや画像パケット毎に行われる。ここで、音声パケットと画像パケットの識別は、そのヘッダ情報に含まれるペイロードタイプにより行われる。
【００２２】
続いて、上記送信パケットデータ転送機能１１ｄについて説明する。この送信パケットデータ転送機能１１ｄは、一方向のみの音声／画像データの送信を行うマルチメディア通信システムにあっては送信元たる通信先端末１０ｋのみに、双方向通信のマルチメディア通信システムにあっては本端末１０ｋと通信先端末１０ｋの双方に設けられる。
【００２３】
具体的にこの送信パケットデータ転送機能１１ｄとは、送信データ記憶部１３に格納されている音声／画像パケットについてのシーケンス番号及びタイムスタンプの情報を定期的に相手方の通信端末１０ｋへと送信する機能のことである。例えば、この送信パケットデータ転送機能１１ｄは、音声／画像パケットについてのシーケンス番号及びタイムスタンプの情報を夫々の音声／画像パケットから抽出し、これを５秒おきに転送する。ここで、そのシーケンス番号情報は、音声／画像パケットのヘッダ情報から抽出する。尚、例えば転送後の音声／画像パケットを送信データ記憶部１３から削除する等して、一度転送した音声／画像パケットについてのシーケンス番号及びタイムスタンプの情報が再び相手方の通信端末１０ｋへと送信されないようにする。
【００２４】
次に、音声／画像パケットを受信する側の通信端末１０ｋ（マルチメディア通信システムが一方向通信であれば上記本端末１０ｋのみ、双方向通信であれば上記本端末１０ｋと通信先端末１０ｋの双方）に設けられる上記伝送遅延情報算出機能１１ｅ，パケットロス率算出機能１１ｆ，ゆらぎ情報算出機能１１ｇ，パフォーマンスデータ収集機能１１ｈ，品質劣化判定機能１１ｉ及び通知機能１１ｊについて説明する。尚、これら伝送遅延情報算出機能１１ｅ，パケットロス率算出機能１１ｆ，ゆらぎ情報算出機能１１ｇ，パフォーマンスデータ収集機能１１ｈ及び品質劣化判定機能１１ｉに係る処理は、音声パケットや画像パケット毎に行われる。
【００２５】
先ず、上記伝送遅延情報算出機能１１ｅとは、受信データ記憶部１２に格納されている音声／画像パケットの送信時刻のタイムスタンプＴｓ及び受信時刻のタイムスタンプＴｒ，並びにメモリ領域に格納されているズレ時間情報Ｔｇに基づいて下式（２）により伝送遅延Ｔｄを算出する機能のことである。
【００２６】
【数式２】
ここで、この伝送遅延情報算出機能１１ｅによる演算処理は、定期的（例えば５秒おき）に行うものであってもよく、音声／画像パケットを受信する度に行うものであってもよい。また、受信した全ての音声／画像パケットを演算処理の対象にしてもよく、受信データ記憶部１２から間引きして取得した音声／画像パケットをその対象にしてもよい。
【００２８】
また、上記パケットロス率算出機能１１ｆとは、相手方の通信端末１０ｋの送信パケットデータ転送機能１１ｄにより送信されてきた複数の音声／画像パケットのシーケンス番号情報に基づいて、受信データ記憶部１２に格納されている音声／画像パケットの損失率（パケットロス率）を算出する機能のことである。ここで、このパケットロス率算出機能１１ｆは、前述した如く定期的に送られてきた一回分又は複数回分のシーケンス番号情報に係る音声／画像パケットを、パケットロス率の演算処理の対象とする。
【００２９】
具体的にこのパケットロス率算出機能１１ｆは、上記一回分又は複数回分のシーケンス番号情報をその番号順に並べ、この並べられた先頭と末尾のシーケンス番号情報から本来受信されているべき音声／画像パケットの総数Ｐａを算出する機能と、並べられた全てのシーケンス番号情報に該当する音声／画像パケットが受信データ記憶部１２に存在しているか否かを検索し、欠落しているシーケンス番号情報の総数をロスしたパケット数Ｐｇとして算出する機能と、下式（３）に基づいてパケットロス率Ｐｌ（％）を算出する機能とを有する。
【００３０】
【数式３】
また、上記ゆらぎ情報算出機能１１ｇとは、連続して受信する音声／画像パケットの間隔の変動（偏差）のばらつき，即ちゆらぎ（ジッタ）の標準偏差値を算出する機能のことである。
【００３２】
ゆらぎ（ジッタ）が発生している通信シーケンスを図３に例示する。ここで、この図３におけるゆらぎ（ジッタ）とは、通信先端末１０ｋの音声／画像パケットＰｉ及び音声／画像パケットＰ（ｉ＋１）の送信間隔Ｘｉ｛ｉ＝１，２，…，ｎ｝と、本端末１０ｋにおけるその音声／画像パケットＰｉ，Ｐ（ｉ＋１）の受信間隔Ｙｉ｛ｉ＝１，２，…，ｎ｝との差分（Ｙｉ−Ｘｉ）のことをいう。このゆらぎ情報算出機能１１ｇは、その差分（Ｙｉ−Ｘｉ）に基づき下式（４）を用いてジッタ標準偏差値Ｓを求める。
【００３３】
【数式４】
ここで、本発明においては音声パケットと画像パケットの二つのデータが送受信される。夫々のパケットについては、上記の式（４）を用いて算出したジッタ標準偏差値Ｓにより後述する品質劣化の判定を行うことは可能である。しかしながら、音声パケットについては、以下の如き式（５）を用いてジッタ標準偏差値Ｓを求めてもよく、これにより実装上のパフォーマンスの向上等が図れる。
【００３５】
音声データは、その圧縮方式によって異なるが、その送信間隔については圧縮方式が同一であれば常に一定である。これが為、このような特性を利用し、音声パケットについては、上記の式（４）に送信間隔Ｘｉ（ｉ＝１，２，…，ｎ）＝Ｘ＝一定を代入した下記の式（５）を用いてジッタ標準偏差値Ｓを求める。
【００３６】
【数式５】
尚、Ｘの値は使用する圧縮方式に依存するものであり、予め知ることができる。これが為、例えば図３の場合においては、本端末１０ｋが予めＸの値の情報を持っているものとする。
【００３８】
また、音声データの通信においては、音声の入力が無い場合に音声データの送出を停止させる無音圧縮という技術を用いるものもある。かかる技術が用いられている場合、例えば図４の受信間隔Ｙ３をジッタ標準偏差値Ｓの演算処理の対象から除かなければ、正確な品質判定結果を得ることができない。
【００３９】
ここで、音声パケットのヘッダ情報（ＲＴＰのヘッダ情報）には、ＭａｒｋｅｒＢｉｔというデータの始点を示す情報が存在する。このＭａｒｋｅｒＢｉｔは、「１」であればデータの始点（音声データの始まり）であることを示し、「０」であればデータの途中（途中の音声データ）であることを示す。即ち、「０」であるＭａｒｋｅｒＢｉｔの音声パケットの次に受け取った音声パケットにおいてそのＭａｒｋｅｒＢｉｔが「１」である場合、これらの音声パケットの区間は無音圧縮が為されていたことが判る。これが為、このゆらぎ情報算出機能１１ｇは、演算対象とされる音声パケットのＭａｒｋｅｒＢｉｔを見ることによって無音圧縮の有無を判断し、無音圧縮区間を検出した場合には上記式（４）又は式（５）のジッタ標準偏差値Ｓの演算処理の対象から当該区間を除外する。
【００４０】
また、上記パフォーマンスデータ収集機能１１ｈとは、この通信端末１０ｋ自身のＣＰＵ使用率やメモリ使用率等のパフォーマンスデータを収集する機能のことである。ここで、このパフォーマンスデータ収集機能１１ｈは、パフォーマンスデータの収集を常時（又は定期的に）行う。
【００４１】
続いて、上記品質劣化判定機能１１ｉとは、上記伝送遅延情報算出機能１１ｅ，パケットロス率算出機能１１ｆ，ゆらぎ情報算出機能１１ｇ及びパフォーマンスデータ収集機能１１ｈにより得た結果と、予め用意されているこれらの比較情報（閾値）とを比較して、品質劣化の有無を判断する機能のことである。
【００４２】
また、上記通知機能１１ｊとは、上記品質劣化判定機能１１ｉの判定結果が品質劣化を示すものである場合に、品質が劣化している旨，その品質劣化の要素，そしてそれが画質なのか音質なのかをユーザに通知する機能のことである。ここで、品質劣化の要素の通知とは、伝送遅延なのか、パケットロスなのか、ゆらぎなのか、パフォーマンス低下なのかを通知することである。
【００４３】
以下に、上述した機能を有する通信端末１０ｋ間における品質監視システムの一実施形態を、図１に示すネットワーク２０上の第一通信端末１０１と第二通信端末１０２との間のビデオ会議等のマルチメディア通信を例に挙げて説明する。
【００４４】
尚、ここでは第一通信端末１０１側の処理動作について図６のフローチャートに基づき説明するが、第二通信端末１０２側についても同様の処理動作が行われる。
【００４５】
先ず、第一通信端末１０１の制御手段１１が、そのＩＰアドレス取得機能１１ａにより、自身のＩＰアドレスを取得し（ステップＳＴ１）、しかる後、通信先の第二通信端末１０２のＩＰアドレスを取得する（ステップＳＴ２）。そして、この第一通信端末１０１は、そのズレ時間算出機能１１ｂにより、第二通信端末１０２との間のズレ時間を演算し、このズレ時間の情報をメモリ領域に格納する（ステップＳＴ３）。
【００４６】
続いて、この第一通信端末１０１の制御手段１１は、品質監視を始める準備ができたことをモニタ上に通知すると共に会議を開始するよう促すメッセージをモニタ上に表示する（ステップＳＴ４）。
【００４７】
ユーザにより会議が開始される（ステップＳＴ５）と、第一通信端末１０１と第二通信端末１０２との間で音声／画像データの送受信が行われる。
【００４８】
ここで、この第一通信端末１０１は、そのパケットデータ収集機能１１ｃにより、送信及び受信した音声／画像パケットにタイムスタンプを付与して当該音声／画像パケットの収集を始めると共に、パフォーマンスデータ収集機能１１ｈにより、ＣＰＵ使用率やメモリ使用率等のパフォーマンスデータの収集を始める（ステップＳＴ６）。尚、このパフォーマンスデータは、これ以降、常時又は定期的に収集されているものとする。
【００４９】
かかる収集処理が繰り返されているときに、この第一通信端末１０１は、第二通信端末１０２から定期的に送信された当該第二通信端末１０２の送信済音声／画像パケットについてのシーケンス番号及びタイムスタンプの情報を受信する（ステップＳＴ７）。
【００５０】
次に、この第一通信端末１０１は、品質測定を行う（ステップＳＴ８）。
【００５１】
即ち、その伝送遅延情報算出機能１１ｅが、受信データ記憶部１２に格納されている音声／画像パケットの送信時刻のタイムスタンプＴｓ及び受信時刻のタイムスタンプＴｒ，並びにメモリ領域に格納されているズレ時間情報Ｔｇを上述した式（２）に代入して伝送遅延Ｔｄを算出する。
【００５２】
また、そのパケットロス率算出機能１１ｆが、上記ステップＳＴ７で受信したシーケンス番号情報から本来受信されているべき音声／画像パケットの総数Ｐａを算出し、更にそのシーケンス番号情報と上記ステップＳＴ６で収集した受信音声／画像パケットとによりロスしたパケット数Ｐｇを算出する。そして、これら音声／画像パケット総数Ｐａとロスしたパケット数Ｐｇを上述した式（３）に代入して、パケットロス率Ｐｌ（％）を算出する。
【００５３】
また、そのゆらぎ情報算出機能１１ｇが、第二通信端末１０２から受信した複数の音声／画像パケットをシーケンス番号の順番に並べ、これらの送信時刻及び受信時刻のタイムスタンプから音声／画像パケットの送信間隔Ｘｉ（ｉ＝１，２，…，ｎ）及び受信間隔Ｙｉ（ｉ＝１，２，…，ｎ）を算出する。そして、これら送信間隔Ｘｉ及び受信間隔Ｙｉを上述した式（４）に代入して、ジッタ標準偏差値Ｓを算出する。尚、前述した如く、音声パケットについては上記式（５）を用いてジッタ標準偏差値Ｓを算出してもよい。
【００５４】
上記ステップＳＴ８で品質測定が行われると、次に第一通信端末１０１は、その品質劣化判定機能１１ｉにより品質劣化有無の判定を行う（ステップＳＴ９）。
【００５５】
即ち、上記ステップＳＴ８で算出した伝送遅延Ｔｄ，パケットロス率Ｐｌ及びジッタ標準偏差値Ｓ並びに上記ステップＳＴ６で収集したパフォーマンスデータと予め設定されているこれらの閾値とを比較することにより品質劣化の有無を判定する。
【００５６】
ここで、上記四要素の内の一つでも閾値を超えていれば品質が劣化していると判定し、通知機能１１ｊにより、品質が劣化している旨，その品質劣化の要素，そしてそれが画質なのか音質なのかをユーザに通知する（ステップＳＴ１０）。
【００５７】
以降、会議が終了する（解析対象のパケットがなくなる）まで上記ステップＳＴ６〜ＳＴ１０の処理を繰り返す（ステップＳＴ１１）。
【００５８】
以上示した如く本実施形態によれば、ユーザが品質劣化を認識する前にシステム側で品質劣化の検知を行い、これをユーザに通知することができる。そして、これによりユーザは、これから劣化する画像又は音声を早急に補正することできる。また、実際に送受信されている音声／画像パケットを用いて品質測定を行うので、品質劣化を高精度に知ることができる。
【００５９】
【発明の効果】
本発明に係るマルチメディア通信の品質監視システム及びその品質監視方法によれば、ユーザが品質劣化を認識する前に、その品質の劣化を実際の音声／画像パケットに基づいて高精度に検知することができ、更にこれをユーザに通知することができる。これが為、ユーザは、品質の補正を早急に行うことが可能になる。
【図面の簡単な説明】
【図１】本発明に係る通信端末の構成を示すブロック図である。
【図２】通信端末間の時間のズレ補正を説明する図である。
【図３】ゆらぎが発生している通信シーケンスを説明する図である。
【図４】無音圧縮技術が用いられている音声データについてゆらぎが発生している通信シーケンスを説明する図である。
【図５】本発明に係る通信端末で構成されたマルチメディア通信システムの一例を示す図である。
【図６】本発明に係る通信端末で構成されたマルチメディア通信システムにおける当該通信端末の処理動作を説明するフローチャートである。
【符号の説明】
１０ｋ（ｋ＝１，２，…，ｎ） 通信端末
１１ 制御手段
１１ａ ＩＰアドレス取得機能
１１ｂ ズレ時間算出機能
１１ｃ パケットデータ収集機能
１１ｄ 送信パケットデータ転送機能
１１ｅ 伝送遅延情報算出機能
１１ｆ パケットロス率算出機能
１１ｇ ゆらぎ情報算出機能
１１ｈ パフォーマンスデータ収集機能
１１ｉ 品質劣化判定機能
１１ｊ 通知機能
１２ 受信データ記憶部
１３ 送信データ記憶部
２０ ネットワーク[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a quality monitoring system for monitoring the quality (sound quality or image quality) of voice / image data in a multimedia communication system that performs voice / image data communication using RTP (Real Time Protocol) over an IP network. And its quality monitoring method.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, as a multimedia communication system in which voice / image data communication is performed on an IP network, there is a video conference system in which voice / image data is bidirectionally communicated using, for example, RTP. Here, in this type of multimedia communication system, the quality (sound quality and image quality) of transmitted / received voice / image data may be deteriorated. It is necessary to prevent correction and quality deterioration. In order to take such measures such as correction, it is necessary to specify the cause of the quality deterioration. As a method of specifying the cause, for example, Japanese Patent Application Laid-Open No. 2002-051041 discloses a method for measuring the quality after the user recognizes the quality deterioration. (For example, using ICMP (Internet Control Message Protocol)) to transmit and receive packets to calculate round trip delay and packet loss, etc., specify a network failure site, and notify the user. ing.
[0003]
[Patent Document 1]
JP-A-2002-051041
[0004]
[Problems to be solved by the invention]
However, in the above-mentioned conventional method for identifying the cause of quality deterioration, packets prepared for quality measurement are used, so depending on the degree of difference from the actually transmitted / received audio / image data (audio / image packet). However, there is a possibility that data on transmission delay, packet loss rate, and fluctuation of an actual audio / video packet does not always coincide with these results calculated using the quality measurement packet. That is, in the conventional specifying method, the specified cause of quality deterioration may not always be the true cause.
[0005]
Conventionally, the user who has recognized the quality deterioration specifies the start of the quality measurement and specifies the cause of the quality deterioration. And audio will be provided. In other words, if the system can detect the quality deterioration of the audio / image data beforehand and specify the cause, it is not necessary to provide the user with the sound or image whose quality has deteriorated. Cannot detect the deterioration of the voice or image quality prior to the user during the viewing of the conference, so the user must watch the voice or image with the deteriorated quality at least until the correction is made.
[0006]
Accordingly, the present invention is to improve the disadvantages of the conventional example, and to provide a quality monitoring system for multimedia communication capable of detecting the quality deterioration of audio / video data with high accuracy and prior to the user, and its quality monitoring. Its purpose is to provide a method.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, in the quality monitoring system according to the present invention, one communication terminal is provided with a transmission time stamp to an audio / image packet to be transmitted to the other communication terminal as a communication destination. A function for storing the information in the storage unit and a function for transmitting the information of the time stamp and the sequence number of the audio / video packet stored in the transmission data storage unit to the other communication terminal are provided. Further, the other communication terminal has a function of adding a time stamp of a reception time to an audio / image packet to which the time stamp of the transmission time received from the one communication terminal is added and storing the packet in a reception data storage unit. And a function of collecting its own performance data, information on the time stamp and sequence number of the audio / video packet stored in the received data storage unit, and the time stamp and sequence number of the transmission time received from the one communication terminal. A function of calculating information on transmission delay, packet loss rate and fluctuation as factors of quality deterioration based on the information, and information on the calculated transmission delay, packet loss rate and fluctuation, and information on the collected performance data are preset. Function to determine whether these thresholds are exceeded It is provided and a function of notifying on a monitor that if exceeds the threshold there is a possibility of the quality degradation caused by.
[0008]
In order to achieve the above object, in the quality monitoring method according to the present invention, the communication terminal transmits the time stamp of the reception time to the audio / image packet to which the time stamp of the transmission time received from the communication terminal of the communication destination is added. And storing the received performance data in the received data storage unit; collecting the performance data of the voice / image packet stored in the received data storage unit; A step of calculating information on a transmission delay, a packet loss rate, and fluctuation as factors of quality deterioration based on information on a transmission time stamp and a sequence number in a transmission data storage unit of the communication terminal of the communication destination received from the communication terminal. And information on the calculated transmission delay, packet loss rate and fluctuation, and the collected performance data. Determining whether or not the information exceeds the preset thresholds, and notifying the monitor that there is a possibility of quality degradation when the thresholds are exceeded by this determination And a process.
[0009]
In order to achieve the above object, a quality monitoring program according to the present invention provides a sound / image packet to which a time stamp of a transmission time received from a communication terminal of a communication destination is added with a time stamp of a reception time. A command to store the data in the data storage unit, a command to collect the own performance data, and information on the time stamp and sequence number of the audio / video packet stored in the reception data storage unit and the information received from the communication terminal of the communication destination A command for calculating information on a transmission delay, a packet loss rate, and a fluctuation which is a factor of quality degradation based on information on a transmission time stamp and a sequence number in a transmission data storage unit of the communication terminal of the communication destination; Transmission delay, packet loss rate and fluctuation information, and the collected performance data A command for determining whether or not the information exceeds these preset thresholds, and a command for notifying on a monitor that there is a possibility that quality degradation may occur when the threshold is exceeded by this determination. And
[0010]
BEST MODE FOR CARRYING OUT THE INVENTION
The quality monitoring system for multimedia communication according to the present invention includes a plurality of communication terminals 10 on a
[0011]
Here, in order to construct the quality monitoring system according to the present invention in such a multimedia communication system, the control means 11 having the following processing functions shown in FIG. k To have.
[0012]
This communication terminal 10 k The control means 11 includes a CPU that operates based on a processing command of a quality monitoring program. As processing functions based on the processing command, as shown in FIG. 1, an IP address obtaining function 11a, a shift time calculating function 11b , A packet
[0013]
The IP address acquisition function 11a is a communication terminal provided with such a processing function (hereinafter, also referred to as “this terminal” in the description of each function). k The own IP address and another communication terminal of the communication destination (hereinafter, also referred to as “communication destination terminal” in the description of each function) 10 k And a function of acquiring the IP address. Here, the IP address of the terminal 10 k It is obtained by referring to the setting value of. In addition, the communication destination terminal 10 k Of the terminal 10 k With reference to a storage device (not shown). In addition, this communication destination terminal 10 k Of the terminal 10 k Is stored in a storage device or the like by allowing the user to set.
[0014]
Also, the shift time calculation function 11b is the terminal 10 k And communication destination terminal 10 k Of the time of each of the clocks is calculated, and this calculation result is k Function in the memory area of
[0015]
Here, the calculation processing function of the information of the shift time will be described in detail. First, the terminal 10 k Of the communication destination terminal 10 k (A transmission data such as Ping that returns to the transmission source). At the time of such transmission, the terminal 10 k The time stamp of the transmission time Ta shown in FIG. Subsequently, this packet is transmitted to the destination terminal 10. k , The terminal 10 k Will be replied to. Meanwhile, the communication destination terminal 10 k , The communication destination terminal 10 k The time stamp of the reception time Tb and the transmission time Tc shown in FIG. In addition, the terminal 10 k In this case, the terminal 10 k The time stamp of the reception time Td shown in FIG.
[0016]
The shift time calculating function 11b extracts the time stamp information Ta to Td from the returned packet and calculates a shift time Tg based on the following equation (1).
[0017]
[Formula 1]
Here, when the multimedia communication system performs two-way communication, the communication destination terminal 10 k It is necessary to hold the shift time information also in the memory area of. In such a case, the communication destination terminal 10 k May store the shift time information calculated by its own shift time calculation function 11b in the memory area. k A transmission function of the calculation result is provided in the shift time calculation function 11b of the communication destination terminal 10. k May be stored.
[0019]
Further, the packet
[0020]
Such a terminal 10 k And communication destination terminal 10 k Each of the packet data collection functions 11c of the k From this terminal 10 k ), A multimedia communication system that transmits only audio / video data may have each of the above functions separately. However, if the multimedia communication system performs two-way communication, the terminal 10 k From the communication destination terminal 10 k The transmission of the audio / image packet to the communication destination terminal 10 is performed. k But this terminal 10 k Of audio / video packets from the PC. For this reason, the terminal 10 in such a case k And communication destination terminal 10 k Each of the packet
[0021]
Note that the above-described collection processing and the following transfer processing are performed for each audio packet or image packet. Here, the audio packet and the image packet are identified by the payload type included in the header information.
[0022]
Next, the transmission packet data transfer function 11d will be described. This transmission packet data transfer function 11d is used in a multimedia communication system for transmitting audio / video data in one direction only, and is a communication destination terminal 10 as a transmission source. k Only in a multimedia communication system of two-way communication, k And communication destination terminal 10 k Are provided in both.
[0023]
More specifically, the transmission packet data transfer function 11d periodically and periodically transmits information on the sequence number and time stamp of the audio / video packet stored in the transmission data storage unit 13 to the communication terminal 10 of the other party. k It is a function to send to. For example, the transmission packet data transfer function 11d extracts the sequence number and time stamp information of the audio / video packet from each audio / video packet, and transfers it every 5 seconds. Here, the sequence number information is extracted from the header information of the audio / video packet. For example, the sequence number and time stamp information of the once transferred audio / image packet are deleted again by, for example, deleting the transferred audio / image packet from the transmission data storage unit 13 or the like. k Should not be sent to.
[0024]
Next, the communication terminal 10 that receives the audio / video packet k (If the multimedia communication system is one-way communication, the terminal 10 k Only for bidirectional communication, the terminal 10 k And communication destination terminal 10 k The transmission delay information calculation function 11e, the packet loss rate calculation function 11f, the fluctuation information calculation function 11g, the performance data collection function 11h, the quality deterioration determination function 11i, and the notification function 11j provided in both of them will be described. Note that the processes related to the transmission delay information calculation function 11e, the packet loss rate calculation function 11f, the fluctuation information calculation function 11g, the performance data collection function 11h, and the quality deterioration determination function 11i are performed for each voice packet or image packet.
[0025]
First, the transmission delay information calculation function 11e includes a time stamp Ts of the transmission time of the audio / video packet stored in the reception data storage unit 12, a time stamp Tr of the reception time, and a deviation stored in the memory area. This is a function to calculate the transmission delay Td by the following equation (2) based on the time information Tg.
[0026]
[Formula 2]
Here, the arithmetic processing by the transmission delay information calculating function 11e may be performed periodically (for example, every 5 seconds) or may be performed every time an audio / video packet is received. In addition, all the received audio / image packets may be subjected to the arithmetic processing, or the audio / image packets obtained by thinning out the received data storage unit 12 may be used as the targets.
[0028]
The packet loss rate calculation function 11f is a communication terminal 10 of the other party. k Based on the sequence number information of a plurality of audio / video packets transmitted by the transmission packet data transfer function 11d, the loss rate (packet loss rate) of the audio / video packets stored in the reception data storage unit 12 is calculated. Function. Here, as described above, the packet loss rate calculation function 11f targets the audio / video packets related to the sequence number information for one or more times that are periodically transmitted, as a target of the packet loss rate calculation processing.
[0029]
More specifically, the packet loss rate calculating function 11f arranges the sequence number information for one or more times in the order of the number, and, based on the arranged sequence number information at the beginning and end, arranges the audio / video packet to be originally received. A function for calculating the total number Pa of the sequence numbers, and searching whether or not the audio / video packets corresponding to all the arranged sequence number information exist in the reception data storage unit 12, and searching for the total number of the missing sequence number information. Has a function of calculating the packet loss rate Pl (%) based on the following equation (3).
[0030]
(Equation 3)
The fluctuation information calculating function 11g is a function of calculating the fluctuation (deviation) of the interval between the audio / video packets received continuously, that is, the standard deviation value of the fluctuation (jitter).
[0032]
FIG. 3 illustrates a communication sequence in which fluctuation (jitter) occurs. Here, the fluctuation (jitter) in FIG. k The transmission interval Xi {i = 1, 2,..., N} of the audio / image packet Pi and the audio / image packet P (i + 1) of the terminal 10 k , The difference (Yi−Xi) from the reception interval Yi {i = 1, 2,..., N} of the audio / video packets Pi, P (i + 1). The fluctuation information calculating function 11g obtains the jitter standard deviation S based on the difference (Yi-Xi) using the following equation (4).
[0033]
(Equation 4)
Here, in the present invention, two data of an audio packet and an image packet are transmitted and received. For each packet, it is possible to determine the quality degradation described later based on the jitter standard deviation S calculated using the above equation (4). However, for a voice packet, the jitter standard deviation S may be obtained by using the following equation (5), whereby the performance in mounting can be improved.
[0035]
The audio data varies depending on the compression method, but the transmission interval is always constant if the compression method is the same. For this reason, using such characteristics, for voice packets, the following equation (5) is obtained by substituting the transmission interval Xi (i = 1, 2,..., N) = X = constant into the above equation (4). Is used to determine the jitter standard deviation value S.
[0036]
(Equation 5)
Note that the value of X depends on the compression method used, and can be known in advance. For this reason, for example, in the case of FIG. k Has information on the value of X in advance.
[0038]
In some cases, audio data communication uses a technique called silence compression that stops sending audio data when there is no audio input. When such a technique is used, an accurate quality determination result cannot be obtained unless, for example, the reception interval Y3 in FIG.
[0039]
Here, in the header information (RTP header information) of the voice packet, there exists information indicating a start point of data called MarkerBit. If this Marker Bit is "1", it indicates the start point of data (start of audio data), and if it is "0", it indicates that it is in the middle of data (audio data in the middle). That is, when the MarkerBit is “1” in the audio packet received next to the MarkerBit audio packet of “0”, it is understood that the sections of these audio packets have been subjected to the silence compression. For this reason, the fluctuation information calculating function 11g determines the presence or absence of silence compression by looking at the MarkerBit of the audio packet to be calculated, and when detecting a silence compression section, the above equation (4) or (5) ) Is excluded from the target of the calculation processing of the jitter standard deviation value S.
[0040]
The performance data collection function 11h is the communication terminal 10 k This function collects performance data such as its own CPU usage rate and memory usage rate. Here, the performance data collection function 11h always (or periodically) collects performance data.
[0041]
Subsequently, the quality degradation determination function 11i includes the results obtained by the transmission delay information calculation function 11e, the packet loss rate calculation function 11f, the fluctuation information calculation function 11g, and the performance data collection function 11h, and those prepared in advance. Is compared with the comparison information (threshold value) to determine the presence or absence of quality deterioration.
[0042]
The notifying function 11j means that when the result of the judgment by the quality deterioration judging function 11i indicates quality deterioration, the fact that the quality has deteriorated, the element of the quality deterioration, and whether the quality is image quality or sound quality. This is a function that notifies the user of the fact. Here, the notification of the element of quality deterioration is to notify whether it is transmission delay, packet loss, fluctuation, or performance degradation.
[0043]
Hereinafter, the communication terminal 10 having the above-described functions will be described. k An embodiment of the quality monitoring system between the first communication terminals 10 on the
[0044]
Here, the first communication terminal 10 1 The processing operation of the second communication terminal 10 will be described with reference to the flowchart of FIG. 2 A similar processing operation is performed on the side.
[0045]
First, the first communication terminal 10 1 The control means 11 obtains its own IP address by its IP address obtaining function 11a (step ST1), and thereafter, the second communication terminal 10 of the communication destination 2 (Step ST2). And this first communication terminal 10 1 Is calculated by the shift time calculating function 11b. 2 Is calculated, and information on the time difference is stored in the memory area (step ST3).
[0046]
Subsequently, the first communication terminal 10 1 The control means 11 notifies the monitor that the quality monitoring is ready to start and displays a message on the monitor prompting to start the conference (step ST4).
[0047]
When the conference is started by the user (step ST5), the first communication terminal 10 1 And the second communication terminal 10 2 The transmission / reception of the audio / image data is performed between the transmission / reception device and the device.
[0048]
Here, the first communication terminal 10 1 The packet
[0049]
When such collection processing is repeated, the first communication terminal 10 1 Is the second communication terminal 10 2 The second communication terminal 10 periodically transmitted from 2 Of the transmitted audio / video packet (step ST7).
[0050]
Next, the first communication terminal 10 1 Performs a quality measurement (step ST8).
[0051]
That is, the transmission delay information calculation function 11e calculates the transmission time stamp Ts and the reception time stamp Tr of the audio / video packet stored in the reception data storage unit 12, and the deviation time stored in the memory area. The transmission delay Td is calculated by substituting the information Tg into the above equation (2).
[0052]
Further, the packet loss rate calculation function 11f calculates the total number Pa of audio / video packets to be originally received from the sequence number information received in step ST7, and further collects the sequence number information and the information in step ST6. The number of packets Pg lost due to the received voice / image packet is calculated. Then, the packet loss rate Pl (%) is calculated by substituting the total number Pa of audio / video packets and the number Pg of lost packets into the above-described equation (3).
[0053]
In addition, the fluctuation information calculation function 11g is the second communication terminal 10 2 Are arranged in the order of the sequence number, and the transmission interval Xi (i = 1, 2,..., N) and the reception interval of the audio / video packet are determined from the transmission time and the reception time stamp. Yi (i = 1, 2,..., N) is calculated. Then, the jitter standard deviation S is calculated by substituting the transmission interval Xi and the reception interval Yi into the above equation (4). Note that, as described above, the jitter standard deviation S may be calculated for the voice packet using the above equation (5).
[0054]
After the quality measurement is performed in step ST8, the first communication terminal 10 1 Determines the presence or absence of quality deterioration by the quality deterioration determination function 11i (step ST9).
[0055]
That is, by comparing the transmission delay Td, the packet loss rate P1 and the jitter standard deviation value S calculated in step ST8, and the performance data collected in step ST6 with these preset thresholds, the presence or absence of quality deterioration is determined. Is determined.
[0056]
Here, if even one of the above four elements exceeds the threshold, it is determined that the quality has deteriorated, and the notification function 11j indicates that the quality has deteriorated, the element of the quality deterioration, and The user is notified of image quality or sound quality (step ST10).
[0057]
Thereafter, the processing of steps ST6 to ST10 is repeated until the conference ends (there is no more packets to be analyzed) (step ST11).
[0058]
As described above, according to the present embodiment, before the user recognizes the quality degradation, the system can detect the quality degradation and notify the user of the quality degradation. Thus, the user can promptly correct the image or sound that will be deteriorated. In addition, since quality measurement is performed using actually transmitted / received voice / image packets, quality deterioration can be known with high accuracy.
[0059]
【The invention's effect】
ADVANTAGE OF THE INVENTION According to the quality monitoring system and the quality monitoring method for multimedia communication according to the present invention, before the user recognizes the quality deterioration, the quality deterioration is accurately detected based on actual audio / video packets. Can be notified to the user. For this reason, the user can quickly correct the quality.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a communication terminal according to the present invention.
FIG. 2 is a diagram for explaining time shift correction between communication terminals.
FIG. 3 is a diagram illustrating a communication sequence in which fluctuation occurs.
FIG. 4 is a diagram illustrating a communication sequence in which fluctuation occurs in audio data using the silence compression technique.
FIG. 5 is a diagram showing an example of a multimedia communication system constituted by communication terminals according to the present invention.
FIG. 6 is a flowchart illustrating a processing operation of the communication terminal in the multimedia communication system including the communication terminal according to the present invention.
[Explanation of symbols]
10 k (K = 1, 2, ..., n) Communication terminal
11 control means
11a IP address acquisition function
11b Delay time calculation function
11c Packet data collection function
11d Transmission packet data transfer function
11e Transmission delay information calculation function
11f Packet loss rate calculation function
11g fluctuation information calculation function
11h Performance data collection function
11i Quality degradation judgment function
11j Notification function
12 Received data storage
13 Transmission data storage unit
20 Network
Claims (3)
一方の前記通信端末には、その通信先たる他方の前記通信端末へと送信する音声／画像パケットに送信時刻のタイムスタンプを付与して送信データ記憶部へ格納する機能と、該送信データ記憶部に格納した音声／画像パケットのタイムスタンプ及びシーケンス番号の情報を前記他方の通信端末に送信する機能とを設け、前記他方の通信端末には、前記一方の通信端末から受信した前記送信時刻のタイムスタンプが付与された音声／画像パケットに受信時刻のタイムスタンプを付与して受信データ記憶部へ格納する機能と、自身のパフォーマンスデータを収集する機能と、前記受信データ記憶部に格納した音声／画像パケットのタイムスタンプ及びシーケンス番号の情報並びに前記一方の通信端末から受信した送信時刻のタイムスタンプ及びシーケンス番号の情報に基づいて、品質劣化の要因たる伝送遅延，パケットロス率及びゆらぎの情報を算出する機能と、該算出した伝送遅延，パケットロス率及びゆらぎの情報並びに前記収集したパフォーマンスデータの情報が予め設定されているこれらの閾値を超過しているか否かを判定する機能と、該判定により閾値を超過している場合に品質劣化発生の可能性があることをモニタ上に通知する機能とを設けたことを特徴とするマルチメディア通信の品質監視システム。A multimedia communication quality monitoring system for transmitting and receiving audio / image data between a plurality of communication terminals,
A function of adding a time stamp of a transmission time to an audio / image packet to be transmitted to the other communication terminal as the communication destination and storing the packet in a transmission data storage unit; Transmitting a time stamp and sequence number information of an audio / video packet stored in the other communication terminal to the other communication terminal, wherein the other communication terminal has a time of the transmission time received from the one communication terminal. A function of adding a time stamp of a reception time to a sound / image packet to which a stamp has been added and storing the time stamp in a received data storage unit, a function of collecting own performance data, and a sound / image stored in the received data storage unit Information on the time stamp and sequence number of the packet and the time stamp and sequence of the transmission time received from the one communication terminal. A function of calculating information on transmission delay, packet loss rate and fluctuation as factors of quality degradation based on information on the can number, information on the calculated transmission delay, packet loss rate and fluctuation, and information on the collected performance data A function to determine whether or not these thresholds are set in advance, and a function to notify on a monitor that there is a possibility of quality deterioration occurring when the thresholds are exceeded by the determination. A quality monitoring system for multimedia communication, comprising:
前記通信端末は、その通信先の前記通信端末から受信した送信時刻のタイムスタンプが付与された音声／画像パケットに受信時刻のタイムスタンプを付与して受信データ記憶部へ格納する工程と、自身のパフォーマンスデータを収集する工程と、前記受信データ記憶部に格納された音声／画像パケットのタイムスタンプ及びシーケンス番号の情報並びに前記通信先の通信端末から受信した当該通信先の通信端末の送信データ記憶部内の送信時刻のタイムスタンプ及びシーケンス番号の情報に基づいて、品質劣化の要因たる伝送遅延，パケットロス率及びゆらぎの情報を算出する工程と、該算出した伝送遅延，パケットロス率及びゆらぎの情報並びに前記収集したパフォーマンスデータの情報が予め設定されているこれらの閾値を超過しているか否かを判定する工程と、該判定により閾値を超過している場合に品質劣化発生の可能性があることをモニタ上に通知する工程とを有することを特徴としたマルチメディア通信の品質監視方法。A method for monitoring quality of multimedia communication for transmitting and receiving audio / image data between a plurality of communication terminals, comprising:
A step of adding the time stamp of the reception time to the audio / image packet to which the time stamp of the transmission time received from the communication terminal of the communication destination is added and storing the packet in the reception data storage unit; Collecting the performance data; information on the timestamp and sequence number of the audio / video packet stored in the reception data storage unit; and the transmission data storage unit of the communication destination communication terminal received from the communication destination communication terminal. Calculating information on transmission delay, packet loss rate and fluctuation as factors of quality degradation based on information on the time stamp and sequence number of the transmission time, and information on the calculated transmission delay, packet loss rate and fluctuation, and The information of the collected performance data exceeds these preset thresholds Determining whether or not there is a possibility that quality degradation may occur when the threshold is exceeded by the determination on a monitor. .
通信先の前記通信端末から受信した送信時刻のタイムスタンプが付与された音声／画像パケットに受信時刻のタイムスタンプを付与して受信データ記憶部へ格納させる指令と、自身のパフォーマンスデータを収集させる指令と、前記受信データ記憶部に格納された音声／画像パケットのタイムスタンプ及びシーケンス番号の情報並びに前記通信先の通信端末から受信した当該通信先の通信端末の送信データ記憶部内の送信時刻のタイムスタンプ及びシーケンス番号の情報に基づいて、品質劣化の要因たる伝送遅延，パケットロス率及びゆらぎの情報を算出させる指令と、該算出された伝送遅延，パケットロス率及びゆらぎの情報並びに前記収集されたパフォーマンスデータの情報が予め設定されているこれらの閾値を超過しているか否かを判定させる指令と、該判定により閾値を超過している場合に品質劣化発生の可能性があることをモニタ上に通知させる指令とを設けたことを特徴とするマルチメディア通信の品質監視プログラム。A multimedia communication quality monitoring program for operating control means of the communication terminal in multimedia communication for transmitting / receiving audio / image data between a plurality of communication terminals,
A command to add a time stamp of a reception time to an audio / image packet to which a time stamp of a transmission time received from the communication terminal of the communication destination is added and store the packet in a reception data storage unit, and a command to collect own performance data And information on the timestamp and sequence number of the audio / video packet stored in the received data storage unit, and the timestamp of the transmission time in the transmission data storage unit of the communication terminal of the communication destination received from the communication terminal of the communication destination And a command for calculating information on transmission delay, packet loss rate and fluctuation as factors of quality degradation based on information on sequence number and sequence number, information on the calculated transmission delay, packet loss rate and fluctuation, and the collected performance It is determined whether data information exceeds these preset thresholds. A command for multimedia communication quality monitoring program, characterized in that a and command to notify on a monitor that if exceeds the threshold value by the determination there is a possibility of the quality degradation occurs.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003082317A JP2004289748A (en) | 2003-03-25 | 2003-03-25 | Quality monitoring system and its quality monitoring method for multimedia communications |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003082317A JP2004289748A (en) | 2003-03-25 | 2003-03-25 | Quality monitoring system and its quality monitoring method for multimedia communications |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004289748A true JP2004289748A (en) | 2004-10-14 |
Family
ID=33295643
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003082317A Withdrawn JP2004289748A (en) | 2003-03-25 | 2003-03-25 | Quality monitoring system and its quality monitoring method for multimedia communications |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004289748A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007235637A (en) * | 2006-03-02 | 2007-09-13 | Nec Infrontia Corp | Telephone system, telephone device, sound quality deterioration notification method used for them, and its program |
| WO2009059521A1 (en) * | 2007-11-01 | 2009-05-14 | Huawei Technologies Co., Ltd. | Method and system for monitoring and controlling media transmission quality |
| JP2010130650A (en) * | 2008-12-01 | 2010-06-10 | Nec Corp | Means, system, apparatus, method and program for detecting symptom of communication quality deterioration and preventing the deterioration |
| JP2011004200A (en) * | 2009-06-19 | 2011-01-06 | Fujitsu Ltd | Packet analysis method, program and device |
| WO2012035629A1 (en) * | 2010-09-15 | 2012-03-22 | 三菱電機株式会社 | Communication device and delay detection method |
| US9112961B2 (en) | 2009-09-18 | 2015-08-18 | Nec Corporation | Audio quality analyzing device, audio quality analyzing method, and program |
-
2003
- 2003-03-25 JP JP2003082317A patent/JP2004289748A/en not_active Withdrawn
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007235637A (en) * | 2006-03-02 | 2007-09-13 | Nec Infrontia Corp | Telephone system, telephone device, sound quality deterioration notification method used for them, and its program |
| WO2009059521A1 (en) * | 2007-11-01 | 2009-05-14 | Huawei Technologies Co., Ltd. | Method and system for monitoring and controlling media transmission quality |
| JP2010130650A (en) * | 2008-12-01 | 2010-06-10 | Nec Corp | Means, system, apparatus, method and program for detecting symptom of communication quality deterioration and preventing the deterioration |
| JP2011004200A (en) * | 2009-06-19 | 2011-01-06 | Fujitsu Ltd | Packet analysis method, program and device |
| US9112961B2 (en) | 2009-09-18 | 2015-08-18 | Nec Corporation | Audio quality analyzing device, audio quality analyzing method, and program |
| WO2012035629A1 (en) * | 2010-09-15 | 2012-03-22 | 三菱電機株式会社 | Communication device and delay detection method |
| CN103109491A (en) * | 2010-09-15 | 2013-05-15 | 三菱电机株式会社 | Communication device and delay detection method |
| DE112010005881T5 (en) | 2010-09-15 | 2013-07-18 | Mitsubishi Electric Corporation | Communication device and delay detection method |
| US9270554B2 (en) | 2010-09-15 | 2016-02-23 | Mitsubishi Electric Corporation | Communication apparatus and delay detecting method |
| DE112010005881B4 (en) | 2010-09-15 | 2021-08-19 | Mitsubishi Electric Corporation | Communication device and delay detection method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20020154600A1 (en) | Data communication system | |
| US9030959B2 (en) | Apparatus and method for monitoring quality metrics associated with a wireless network | |
| US7864695B2 (en) | Traffic load density measuring system, traffic load density measuring method, transmitter, receiver, and recording medium | |
| US7852766B2 (en) | Detection method, detecting device, reference value calculating device and recording medium | |
| US10616088B2 (en) | Apparatus and method for measurements at intermediate nodes in end-to-end performance test | |
| CN101356814B (en) | Communication processing device, communication control method | |
| EP1111871A2 (en) | Measuring efficiency of data transmission | |
| US20110149775A1 (en) | System and method for interworking between media quality assessment at terminal device and qos control in transport network | |
| US20080247331A1 (en) | Method and Apparatus for High Resolution Passive Network Latency Measurement | |
| JP2009303089A (en) | Delay time measuring instrument, delay time measuring program, and delay time measuring method | |
| US20090135735A1 (en) | Method and apparatus of RTP control protocol (RTCP) processing in real-time transport protocol (RTP) intermediate systems | |
| CN107517410B (en) | Method and device for evaluating video service quality | |
| JP5271247B2 (en) | Communication quality data monitoring measurement apparatus and method and program | |
| EP3491784B1 (en) | Estimation of losses in a video stream | |
| CN108924485B (en) | Client real-time video stream interrupt processing method and system and monitoring system | |
| JP2003244238A (en) | Traffic monitoring device and method, and computer program | |
| JP5479793B2 (en) | Method and apparatus for estimating one-way fluctuation delay time | |
| JP4889787B2 (en) | Measuring method, measuring apparatus and computer program | |
| US7123618B2 (en) | Data transmitting apparatus and data receiving apparatus | |
| JP2004289748A (en) | Quality monitoring system and its quality monitoring method for multimedia communications | |
| JP5451775B2 (en) | Link quality estimation method in wireless network | |
| JP4930691B2 (en) | Reproduction system, reproduction apparatus, reproduction method, and program | |
| US20090129282A1 (en) | Method and apparatus for measuring quality of VoIP call | |
| CN105611406A (en) | Method for access network service provider to monitor delay feature from user to video server | |
| JP2004140596A (en) | Method and system for estimating quality in data transfer on transmission control protocol |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060606 |