JP2004289748A

JP2004289748A - マルチメディア通信の品質監視システム及びその品質監視方法

Info

Publication number: JP2004289748A
Application number: JP2003082317A
Authority: JP
Inventors: Yuji Fujii; 裕士藤井
Original assignee: Hitachi Information Systems Ltd
Current assignee: Hitachi Information Systems Ltd
Priority date: 2003-03-25
Filing date: 2003-03-25
Publication date: 2004-10-14

Abstract

【課題】品質劣化を高精度に、そしてユーザに先駆けて検知すること
【解決手段】通信端末１０_ｋに、通信先から受信した音声／画像パケットに受信時刻のタイムスタンプを付与して収集する機能１１ｃと、自身のパフォーマンスデータを収集する機能１１ｈと、収集した音声／画像パケットのタイムスタンプ及びシーケンス番号の情報並びに通信先からの送信時刻のタイムスタンプ及びシーケンス番号の情報に基づいて、品質劣化要因たる伝送遅延，パケットロス率及びゆらぎの情報を算出する機能１１ｅ，１１ｆ，１１ｇと、これら算出した品質劣化要因及び前記収集したパフォーマンスデータの情報が閾値を超過しているか否か判定する機能１１ｉと、この判定により閾値を超過している場合に品質劣化発生の可能性があることをモニタ上に通知する機能１１ｊとを設けること。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、ＩＰネットワーク上でＲＴＰ（ＲｅａｌＴｉｍｅＰｒｏｔｏｃｏｌ）を用いて音声／画像データの通信を行うマルチメディア通信システムにおいて当該音声／画像データの品質（音質や画質）を監視する為の品質監視システム及びその品質監視方法に関する。
【０００２】
【従来の技術】
従来、ＩＰネットワーク上で音声／画像データの通信が行われるマルチメディア通信システムには、例えばＲＴＰを用いて音声／画像データの双方向通信を行うビデオ会議システムがある。ここで、この種のマルチメディア通信システムにおいては、送受信される音声／画像データの品質（音質や画質）が劣化してしまうことがあるので、品質劣化が生じた場合にはその劣化した品質の補正や品質劣化の防止を図る必要がある。このような補正等の策を講じる為にはその品質劣化原因を特定しなければならず、その特定方法として、例えば特開２００２−０５１０４１号公報に、ユーザが品質劣化を認識した後に品質測定用のパケット（例えばＩＣＭＰ（ＩｎｔｅｒｎｅｔＣｏｎｔｒｏｌＭｅｓｓａｇｅＰｒｏｔｏｃｏｌ）を使用する）の送受信を行うことで往復遅延やパケットのロス等を算出し、ネットワーク障害発生部位の特定を行ってユーザへ通知を行う方法が開示されている。
【０００３】
【特許文献１】
特開２００２−０５１０４１号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来の品質劣化原因特定方法においては品質測定用として用意されたパケットが使用されるので、実際に送受信されている音声／画像データ（音声／画像パケット）との相違の程度如何によっては、実際の音声／画像パケットについての伝送遅延，パケットロス率及びゆらぎに関するデータと品質測定用パケットを用いて算出されたこれらの結果とが必ずしも一致しない可能性がある。即ち、従来の特定方法では、必ずしも特定された品質劣化原因が真の原因であるとはいえない場合もある。
【０００５】
また、従来は品質劣化を認識したユーザが品質測定の開始を指示して品質劣化原因を特定するものであり、特定された原因の補正方法があったとしてもユーザには一旦品質の劣化した画像や音声が提供されてしまう。即ち、未然にシステム側で音声／画像データの品質劣化を検知して原因の特定が行えれば、ユーザに品質の劣化した音声や画像を提供せずとも済むが、従来の品質劣化原因特定方法は会議の視聴中にユーザに先駆けて音声や画像の品質劣化を検知することができないので、ユーザは少なくとも補正が為されるまで品質の劣化した音声や画像を視聴しなければならない。
【０００６】
そこで、本発明は、かかる従来例の有する不都合を改善し、音声／画像データの品質劣化を高精度に、そしてユーザに先駆けて検知することが可能なマルチメディア通信の品質監視システム及びその品質監視方法を提供することを、その目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成する為、本発明に係る品質監視システムでは、一方の通信端末に、その通信先たる他方の通信端末へと送信する音声／画像パケットに送信時刻のタイムスタンプを付与して送信データ記憶部へ格納する機能と、この送信データ記憶部に格納した音声／画像パケットのタイムスタンプ及びシーケンス番号の情報を前記他方の通信端末に送信する機能とを設けている。また、前記他方の通信端末には、前記一方の通信端末から受信した前記送信時刻のタイムスタンプが付与された音声／画像パケットに受信時刻のタイムスタンプを付与して受信データ記憶部へ格納する機能と、自身のパフォーマンスデータを収集する機能と、前記受信データ記憶部に格納した音声／画像パケットのタイムスタンプ及びシーケンス番号の情報並びに前記一方の通信端末から受信した送信時刻のタイムスタンプ及びシーケンス番号の情報に基づいて、品質劣化の要因たる伝送遅延，パケットロス率及びゆらぎの情報を算出する機能と、これら算出した伝送遅延，パケットロス率及びゆらぎの情報並びに前記収集したパフォーマンスデータの情報が予め設定されているこれらの閾値を超過しているか否かを判定する機能と、この判定により閾値を超過している場合に品質劣化発生の可能性があることをモニタ上に通知する機能とを設けている。
【０００８】
また、上記目的を達成する為、本発明に係る品質監視方法では、通信端末が、その通信先の通信端末から受信した送信時刻のタイムスタンプが付与された音声／画像パケットに受信時刻のタイムスタンプを付与して受信データ記憶部へ格納する工程と、自身のパフォーマンスデータを収集する工程と、前記受信データ記憶部に格納された音声／画像パケットのタイムスタンプ及びシーケンス番号の情報並びに前記通信先の通信端末から受信した当該通信先の通信端末の送信データ記憶部内の送信時刻のタイムスタンプ及びシーケンス番号の情報に基づいて、品質劣化の要因たる伝送遅延，パケットロス率及びゆらぎの情報を算出する工程と、これら算出した伝送遅延，パケットロス率及びゆらぎの情報並びに前記収集したパフォーマンスデータの情報が予め設定されているこれらの閾値を超過しているか否かを判定する工程と、この判定により閾値を超過している場合に品質劣化発生の可能性があることをモニタ上に通知する工程とを有している。
【０００９】
また、上記目的を達成する為、本発明に係る品質監視プログラムは、通信先の通信端末から受信した送信時刻のタイムスタンプが付与された音声／画像パケットに受信時刻のタイムスタンプを付与して受信データ記憶部へ格納させる指令と、自身のパフォーマンスデータを収集させる指令と、前記受信データ記憶部に格納された音声／画像パケットのタイムスタンプ及びシーケンス番号の情報並びに前記通信先の通信端末から受信した当該通信先の通信端末の送信データ記憶部内の送信時刻のタイムスタンプ及びシーケンス番号の情報に基づいて、品質劣化の要因たる伝送遅延，パケットロス率及びゆらぎの情報を算出させる指令と、これら算出された伝送遅延，パケットロス率及びゆらぎの情報並びに前記収集されたパフォーマンスデータの情報が予め設定されているこれらの閾値を超過しているか否かを判定させる指令と、この判定により閾値を超過している場合に品質劣化発生の可能性があることをモニタ上に通知させる指令とを有している。
【００１０】
【発明の実施の形態】
本発明に係るマルチメディア通信の品質監視システムは、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ），ＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）やインターネット等のネットワーク２０上の複数の通信端末１０_ｋ（ｋ＝１，２，…，ｎ）で構成されたマルチメディア通信システムにおいて音声／画像データの品質を監視するものである。
【００１１】
ここで、かかるマルチメディア通信システムにおいて本発明に係る品質監視システムを構築する為には、以下の如き処理機能を有する図１に示す制御手段１１を上記通信端末１０_ｋに持たせる。
【００１２】
この通信端末１０_ｋの制御手段１１は、品質監視プログラムの処理指令に基づいて動作するＣＰＵを備えており、その処理指令に基づいた処理機能として、図１に示す如く、ＩＰアドレス取得機能１１ａ，ズレ時間算出機能１１ｂ，パケットデータ収集機能１１ｃ，送信パケットデータ転送機能１１ｄ，伝送遅延情報算出機能１１ｅ，パケットロス率算出機能１１ｆ，ゆらぎ情報算出機能１１ｇ，パフォーマンスデータ収集機能１１ｈ，品質劣化判定機能１１ｉ及び通知機能１１ｊを有する。
【００１３】
上記ＩＰアドレス取得機能１１ａとは、かかる処理機能が設けられた通信端末（以下、上記各機能の説明においては「本端末」ともいう。）１０_ｋ自身のＩＰアドレスと、通信先の他の通信端末（以下、上記各機能の説明においては「通信先端末」ともいう。）１０_ｋのＩＰアドレスとを取得する機能のことである。ここで、自身のＩＰアドレスは、本端末１０_ｋの設定値を参照することによって取得する。また、通信先端末１０_ｋのＩＰアドレスは、本端末１０_ｋの図示しない記憶装置等を参照して取得する。尚、この通信先端末１０_ｋのＩＰアドレスは、予め本端末１０_ｋのユーザに設定させることによって記憶装置等に格納しておく。
【００１４】
また、上記ズレ時間算出機能１１ｂとは、本端末１０_ｋと通信先端末１０_ｋの夫々の時計が有する時間のズレを算出し、この算出結果を本端末１０_ｋのメモリ領域に格納する機能のことである。
【００１５】
ここで、そのズレ時間の情報の演算処理機能について詳述する。先ず、本端末１０_ｋのズレ時間算出機能１１ｂが通信先端末１０_ｋに対してパケット（Ｐｉｎｇのような送信データが送信元に戻ってくるもの）を送信する。かかる送信時には、本端末１０_ｋの時計から取得した図２に示す送信時刻Ｔａのタイムスタンプがそのパケットに対して付与される。続いて、このパケットは、通信先端末１０_ｋで受信された後、本端末１０_ｋに返信されてくる。その間、通信先端末１０_ｋにおいては、そのパケットに対して、通信先端末１０_ｋの時計から取得した図２に示す受信時刻Ｔｂ及び送信時刻Ｔｃのタイムスタンプが付与される。また、本端末１０_ｋにおいては、そのパケットに対して、本端末１０_ｋの時計から取得した図２に示す受信時刻Ｔｄのタイムスタンプが付与される。
【００１６】
このズレ時間算出機能１１ｂは、返信されてきたパケットからタイムスタンプ情報Ｔａ〜Ｔｄを抽出し、下式（１）に基づいてズレ時間Ｔｇを算出する。
【００１７】
【数式１】

【００１８】
ここで、マルチメディア通信システムが双方向通信を行うものである場合は、通信先端末１０_ｋのメモリ領域にもズレ時間情報を保持しておく必要がある。かかる場合には通信先端末１０_ｋが自身のズレ時間算出機能１１ｂにより算出したズレ時間情報をメモリ領域に格納してもよいが、本端末１０_ｋのズレ時間算出機能１１ｂに算出結果の送信機能を設け、これによって伝達されたズレ時間情報を通信先端末１０_ｋが格納してもよい。
【００１９】
また、上記パケットデータ収集機能１１ｃとは、通信先端末１０_ｋからＲＴＰを用いた音声／画像データ（音声／画像パケット）を受信した際に、この音声／画像パケットに受信時刻のタイムスタンプを付与して図１に示す受信データ記憶部１２に格納する機能のことである。ここで、本端末１０_ｋが受信する音声／画像パケットには、送信元の通信先端末１０_ｋの送信時刻のタイムスタンプが付与されている。これが為、その通信先端末１０_ｋには、少なくとも送信対象の音声／画像パケットに送信時刻のタイムスタンプを付与するパケットデータ収集機能１１ｃが設けられる。尚、この通信先端末１０_ｋのパケットデータ収集機能１１ｃは、送信時刻のタイムスタンプが付与された音声／画像パケットを図１に示す送信データ記憶部１３に格納する機能も設けられている。
【００２０】
このような本端末１０_ｋと通信先端末１０_ｋの夫々のパケットデータ収集機能１１ｃは、一方向（通信先端末１０_ｋから本端末１０_ｋ）のみの音声／画像データの送信を行うマルチメディア通信システムであれば上記の如き機能を各々が別個に備えていればよい。しかしながら、マルチメディア通信システムが双方向通信を行うものである場合は、本端末１０_ｋからも通信先端末１０_ｋへの音声／画像パケットの送信が行われ、通信先端末１０_ｋでも本端末１０_ｋからの音声／画像パケットの受信が行われる。これが為、かかる場合における本端末１０_ｋと通信先端末１０_ｋの夫々のパケットデータ収集機能１１ｃには、上記二つの機能，即ち、受信した音声／画像パケットに受信時刻のタイムスタンプを付与して受信データ記憶部１２に格納する機能と、送信対象の音声／画像パケットに送信時刻のタイムスタンプを付与して送信データ記憶部１３に格納する機能とが設けられている。
【００２１】
尚、上記収集処理や以下の転送処理は、音声パケットや画像パケット毎に行われる。ここで、音声パケットと画像パケットの識別は、そのヘッダ情報に含まれるペイロードタイプにより行われる。
【００２２】
続いて、上記送信パケットデータ転送機能１１ｄについて説明する。この送信パケットデータ転送機能１１ｄは、一方向のみの音声／画像データの送信を行うマルチメディア通信システムにあっては送信元たる通信先端末１０_ｋのみに、双方向通信のマルチメディア通信システムにあっては本端末１０_ｋと通信先端末１０_ｋの双方に設けられる。
【００２３】
具体的にこの送信パケットデータ転送機能１１ｄとは、送信データ記憶部１３に格納されている音声／画像パケットについてのシーケンス番号及びタイムスタンプの情報を定期的に相手方の通信端末１０_ｋへと送信する機能のことである。例えば、この送信パケットデータ転送機能１１ｄは、音声／画像パケットについてのシーケンス番号及びタイムスタンプの情報を夫々の音声／画像パケットから抽出し、これを５秒おきに転送する。ここで、そのシーケンス番号情報は、音声／画像パケットのヘッダ情報から抽出する。尚、例えば転送後の音声／画像パケットを送信データ記憶部１３から削除する等して、一度転送した音声／画像パケットについてのシーケンス番号及びタイムスタンプの情報が再び相手方の通信端末１０_ｋへと送信されないようにする。
【００２４】
次に、音声／画像パケットを受信する側の通信端末１０_ｋ（マルチメディア通信システムが一方向通信であれば上記本端末１０_ｋのみ、双方向通信であれば上記本端末１０_ｋと通信先端末１０_ｋの双方）に設けられる上記伝送遅延情報算出機能１１ｅ，パケットロス率算出機能１１ｆ，ゆらぎ情報算出機能１１ｇ，パフォーマンスデータ収集機能１１ｈ，品質劣化判定機能１１ｉ及び通知機能１１ｊについて説明する。尚、これら伝送遅延情報算出機能１１ｅ，パケットロス率算出機能１１ｆ，ゆらぎ情報算出機能１１ｇ，パフォーマンスデータ収集機能１１ｈ及び品質劣化判定機能１１ｉに係る処理は、音声パケットや画像パケット毎に行われる。
【００２５】
先ず、上記伝送遅延情報算出機能１１ｅとは、受信データ記憶部１２に格納されている音声／画像パケットの送信時刻のタイムスタンプＴｓ及び受信時刻のタイムスタンプＴｒ，並びにメモリ領域に格納されているズレ時間情報Ｔｇに基づいて下式（２）により伝送遅延Ｔｄを算出する機能のことである。
【００２６】
【数式２】

【００２７】
ここで、この伝送遅延情報算出機能１１ｅによる演算処理は、定期的（例えば５秒おき）に行うものであってもよく、音声／画像パケットを受信する度に行うものであってもよい。また、受信した全ての音声／画像パケットを演算処理の対象にしてもよく、受信データ記憶部１２から間引きして取得した音声／画像パケットをその対象にしてもよい。
【００２８】
また、上記パケットロス率算出機能１１ｆとは、相手方の通信端末１０_ｋの送信パケットデータ転送機能１１ｄにより送信されてきた複数の音声／画像パケットのシーケンス番号情報に基づいて、受信データ記憶部１２に格納されている音声／画像パケットの損失率（パケットロス率）を算出する機能のことである。ここで、このパケットロス率算出機能１１ｆは、前述した如く定期的に送られてきた一回分又は複数回分のシーケンス番号情報に係る音声／画像パケットを、パケットロス率の演算処理の対象とする。
【００２９】
具体的にこのパケットロス率算出機能１１ｆは、上記一回分又は複数回分のシーケンス番号情報をその番号順に並べ、この並べられた先頭と末尾のシーケンス番号情報から本来受信されているべき音声／画像パケットの総数Ｐａを算出する機能と、並べられた全てのシーケンス番号情報に該当する音声／画像パケットが受信データ記憶部１２に存在しているか否かを検索し、欠落しているシーケンス番号情報の総数をロスしたパケット数Ｐｇとして算出する機能と、下式（３）に基づいてパケットロス率Ｐｌ（％）を算出する機能とを有する。
【００３０】
【数式３】

【００３１】
また、上記ゆらぎ情報算出機能１１ｇとは、連続して受信する音声／画像パケットの間隔の変動（偏差）のばらつき，即ちゆらぎ（ジッタ）の標準偏差値を算出する機能のことである。
【００３２】
ゆらぎ（ジッタ）が発生している通信シーケンスを図３に例示する。ここで、この図３におけるゆらぎ（ジッタ）とは、通信先端末１０_ｋの音声／画像パケットＰｉ及び音声／画像パケットＰ（ｉ＋１）の送信間隔Ｘｉ｛ｉ＝１，２，…，ｎ｝と、本端末１０_ｋにおけるその音声／画像パケットＰｉ，Ｐ（ｉ＋１）の受信間隔Ｙｉ｛ｉ＝１，２，…，ｎ｝との差分（Ｙｉ−Ｘｉ）のことをいう。このゆらぎ情報算出機能１１ｇは、その差分（Ｙｉ−Ｘｉ）に基づき下式（４）を用いてジッタ標準偏差値Ｓを求める。
【００３３】
【数式４】

【００３４】
ここで、本発明においては音声パケットと画像パケットの二つのデータが送受信される。夫々のパケットについては、上記の式（４）を用いて算出したジッタ標準偏差値Ｓにより後述する品質劣化の判定を行うことは可能である。しかしながら、音声パケットについては、以下の如き式（５）を用いてジッタ標準偏差値Ｓを求めてもよく、これにより実装上のパフォーマンスの向上等が図れる。
【００３５】
音声データは、その圧縮方式によって異なるが、その送信間隔については圧縮方式が同一であれば常に一定である。これが為、このような特性を利用し、音声パケットについては、上記の式（４）に送信間隔Ｘｉ（ｉ＝１，２，…，ｎ）＝Ｘ＝一定を代入した下記の式（５）を用いてジッタ標準偏差値Ｓを求める。
【００３６】
【数式５】

【００３７】
尚、Ｘの値は使用する圧縮方式に依存するものであり、予め知ることができる。これが為、例えば図３の場合においては、本端末１０_ｋが予めＸの値の情報を持っているものとする。
【００３８】
また、音声データの通信においては、音声の入力が無い場合に音声データの送出を停止させる無音圧縮という技術を用いるものもある。かかる技術が用いられている場合、例えば図４の受信間隔Ｙ３をジッタ標準偏差値Ｓの演算処理の対象から除かなければ、正確な品質判定結果を得ることができない。
【００３９】
ここで、音声パケットのヘッダ情報（ＲＴＰのヘッダ情報）には、ＭａｒｋｅｒＢｉｔというデータの始点を示す情報が存在する。このＭａｒｋｅｒＢｉｔは、「１」であればデータの始点（音声データの始まり）であることを示し、「０」であればデータの途中（途中の音声データ）であることを示す。即ち、「０」であるＭａｒｋｅｒＢｉｔの音声パケットの次に受け取った音声パケットにおいてそのＭａｒｋｅｒＢｉｔが「１」である場合、これらの音声パケットの区間は無音圧縮が為されていたことが判る。これが為、このゆらぎ情報算出機能１１ｇは、演算対象とされる音声パケットのＭａｒｋｅｒＢｉｔを見ることによって無音圧縮の有無を判断し、無音圧縮区間を検出した場合には上記式（４）又は式（５）のジッタ標準偏差値Ｓの演算処理の対象から当該区間を除外する。
【００４０】
また、上記パフォーマンスデータ収集機能１１ｈとは、この通信端末１０_ｋ自身のＣＰＵ使用率やメモリ使用率等のパフォーマンスデータを収集する機能のことである。ここで、このパフォーマンスデータ収集機能１１ｈは、パフォーマンスデータの収集を常時（又は定期的に）行う。
【００４１】
続いて、上記品質劣化判定機能１１ｉとは、上記伝送遅延情報算出機能１１ｅ，パケットロス率算出機能１１ｆ，ゆらぎ情報算出機能１１ｇ及びパフォーマンスデータ収集機能１１ｈにより得た結果と、予め用意されているこれらの比較情報（閾値）とを比較して、品質劣化の有無を判断する機能のことである。
【００４２】
また、上記通知機能１１ｊとは、上記品質劣化判定機能１１ｉの判定結果が品質劣化を示すものである場合に、品質が劣化している旨，その品質劣化の要素，そしてそれが画質なのか音質なのかをユーザに通知する機能のことである。ここで、品質劣化の要素の通知とは、伝送遅延なのか、パケットロスなのか、ゆらぎなのか、パフォーマンス低下なのかを通知することである。
【００４３】
以下に、上述した機能を有する通信端末１０_ｋ間における品質監視システムの一実施形態を、図１に示すネットワーク２０上の第一通信端末１０_１と第二通信端末１０_２との間のビデオ会議等のマルチメディア通信を例に挙げて説明する。
【００４４】
尚、ここでは第一通信端末１０_１側の処理動作について図６のフローチャートに基づき説明するが、第二通信端末１０_２側についても同様の処理動作が行われる。
【００４５】
先ず、第一通信端末１０_１の制御手段１１が、そのＩＰアドレス取得機能１１ａにより、自身のＩＰアドレスを取得し（ステップＳＴ１）、しかる後、通信先の第二通信端末１０_２のＩＰアドレスを取得する（ステップＳＴ２）。そして、この第一通信端末１０_１は、そのズレ時間算出機能１１ｂにより、第二通信端末１０_２との間のズレ時間を演算し、このズレ時間の情報をメモリ領域に格納する（ステップＳＴ３）。
【００４６】
続いて、この第一通信端末１０_１の制御手段１１は、品質監視を始める準備ができたことをモニタ上に通知すると共に会議を開始するよう促すメッセージをモニタ上に表示する（ステップＳＴ４）。
【００４７】
ユーザにより会議が開始される（ステップＳＴ５）と、第一通信端末１０_１と第二通信端末１０_２との間で音声／画像データの送受信が行われる。
【００４８】
ここで、この第一通信端末１０_１は、そのパケットデータ収集機能１１ｃにより、送信及び受信した音声／画像パケットにタイムスタンプを付与して当該音声／画像パケットの収集を始めると共に、パフォーマンスデータ収集機能１１ｈにより、ＣＰＵ使用率やメモリ使用率等のパフォーマンスデータの収集を始める（ステップＳＴ６）。尚、このパフォーマンスデータは、これ以降、常時又は定期的に収集されているものとする。
【００４９】
かかる収集処理が繰り返されているときに、この第一通信端末１０_１は、第二通信端末１０_２から定期的に送信された当該第二通信端末１０_２の送信済音声／画像パケットについてのシーケンス番号及びタイムスタンプの情報を受信する（ステップＳＴ７）。
【００５０】
次に、この第一通信端末１０_１は、品質測定を行う（ステップＳＴ８）。
【００５１】
即ち、その伝送遅延情報算出機能１１ｅが、受信データ記憶部１２に格納されている音声／画像パケットの送信時刻のタイムスタンプＴｓ及び受信時刻のタイムスタンプＴｒ，並びにメモリ領域に格納されているズレ時間情報Ｔｇを上述した式（２）に代入して伝送遅延Ｔｄを算出する。
【００５２】
また、そのパケットロス率算出機能１１ｆが、上記ステップＳＴ７で受信したシーケンス番号情報から本来受信されているべき音声／画像パケットの総数Ｐａを算出し、更にそのシーケンス番号情報と上記ステップＳＴ６で収集した受信音声／画像パケットとによりロスしたパケット数Ｐｇを算出する。そして、これら音声／画像パケット総数Ｐａとロスしたパケット数Ｐｇを上述した式（３）に代入して、パケットロス率Ｐｌ（％）を算出する。
【００５３】
また、そのゆらぎ情報算出機能１１ｇが、第二通信端末１０_２から受信した複数の音声／画像パケットをシーケンス番号の順番に並べ、これらの送信時刻及び受信時刻のタイムスタンプから音声／画像パケットの送信間隔Ｘｉ（ｉ＝１，２，…，ｎ）及び受信間隔Ｙｉ（ｉ＝１，２，…，ｎ）を算出する。そして、これら送信間隔Ｘｉ及び受信間隔Ｙｉを上述した式（４）に代入して、ジッタ標準偏差値Ｓを算出する。尚、前述した如く、音声パケットについては上記式（５）を用いてジッタ標準偏差値Ｓを算出してもよい。
【００５４】
上記ステップＳＴ８で品質測定が行われると、次に第一通信端末１０_１は、その品質劣化判定機能１１ｉにより品質劣化有無の判定を行う（ステップＳＴ９）。
【００５５】
即ち、上記ステップＳＴ８で算出した伝送遅延Ｔｄ，パケットロス率Ｐｌ及びジッタ標準偏差値Ｓ並びに上記ステップＳＴ６で収集したパフォーマンスデータと予め設定されているこれらの閾値とを比較することにより品質劣化の有無を判定する。
【００５６】
ここで、上記四要素の内の一つでも閾値を超えていれば品質が劣化していると判定し、通知機能１１ｊにより、品質が劣化している旨，その品質劣化の要素，そしてそれが画質なのか音質なのかをユーザに通知する（ステップＳＴ１０）。
【００５７】
以降、会議が終了する（解析対象のパケットがなくなる）まで上記ステップＳＴ６〜ＳＴ１０の処理を繰り返す（ステップＳＴ１１）。
【００５８】
以上示した如く本実施形態によれば、ユーザが品質劣化を認識する前にシステム側で品質劣化の検知を行い、これをユーザに通知することができる。そして、これによりユーザは、これから劣化する画像又は音声を早急に補正することできる。また、実際に送受信されている音声／画像パケットを用いて品質測定を行うので、品質劣化を高精度に知ることができる。
【００５９】
【発明の効果】
本発明に係るマルチメディア通信の品質監視システム及びその品質監視方法によれば、ユーザが品質劣化を認識する前に、その品質の劣化を実際の音声／画像パケットに基づいて高精度に検知することができ、更にこれをユーザに通知することができる。これが為、ユーザは、品質の補正を早急に行うことが可能になる。
【図面の簡単な説明】
【図１】本発明に係る通信端末の構成を示すブロック図である。
【図２】通信端末間の時間のズレ補正を説明する図である。
【図３】ゆらぎが発生している通信シーケンスを説明する図である。
【図４】無音圧縮技術が用いられている音声データについてゆらぎが発生している通信シーケンスを説明する図である。
【図５】本発明に係る通信端末で構成されたマルチメディア通信システムの一例を示す図である。
【図６】本発明に係る通信端末で構成されたマルチメディア通信システムにおける当該通信端末の処理動作を説明するフローチャートである。
【符号の説明】
１０_ｋ（ｋ＝１，２，…，ｎ）通信端末
１１制御手段
１１ａＩＰアドレス取得機能
１１ｂズレ時間算出機能
１１ｃパケットデータ収集機能
１１ｄ送信パケットデータ転送機能
１１ｅ伝送遅延情報算出機能
１１ｆパケットロス率算出機能
１１ｇゆらぎ情報算出機能
１１ｈパフォーマンスデータ収集機能
１１ｉ品質劣化判定機能
１１ｊ通知機能
１２受信データ記憶部
１３送信データ記憶部
２０ネットワーク

Claims

複数の通信端末間で音声／画像データの送受信を行うマルチメディア通信の品質監視システムであって、
一方の前記通信端末には、その通信先たる他方の前記通信端末へと送信する音声／画像パケットに送信時刻のタイムスタンプを付与して送信データ記憶部へ格納する機能と、該送信データ記憶部に格納した音声／画像パケットのタイムスタンプ及びシーケンス番号の情報を前記他方の通信端末に送信する機能とを設け、前記他方の通信端末には、前記一方の通信端末から受信した前記送信時刻のタイムスタンプが付与された音声／画像パケットに受信時刻のタイムスタンプを付与して受信データ記憶部へ格納する機能と、自身のパフォーマンスデータを収集する機能と、前記受信データ記憶部に格納した音声／画像パケットのタイムスタンプ及びシーケンス番号の情報並びに前記一方の通信端末から受信した送信時刻のタイムスタンプ及びシーケンス番号の情報に基づいて、品質劣化の要因たる伝送遅延，パケットロス率及びゆらぎの情報を算出する機能と、該算出した伝送遅延，パケットロス率及びゆらぎの情報並びに前記収集したパフォーマンスデータの情報が予め設定されているこれらの閾値を超過しているか否かを判定する機能と、該判定により閾値を超過している場合に品質劣化発生の可能性があることをモニタ上に通知する機能とを設けたことを特徴とするマルチメディア通信の品質監視システム。
複数の通信端末間で音声／画像データの送受信を行うマルチメディア通信の品質監視方法であって、
前記通信端末は、その通信先の前記通信端末から受信した送信時刻のタイムスタンプが付与された音声／画像パケットに受信時刻のタイムスタンプを付与して受信データ記憶部へ格納する工程と、自身のパフォーマンスデータを収集する工程と、前記受信データ記憶部に格納された音声／画像パケットのタイムスタンプ及びシーケンス番号の情報並びに前記通信先の通信端末から受信した当該通信先の通信端末の送信データ記憶部内の送信時刻のタイムスタンプ及びシーケンス番号の情報に基づいて、品質劣化の要因たる伝送遅延，パケットロス率及びゆらぎの情報を算出する工程と、該算出した伝送遅延，パケットロス率及びゆらぎの情報並びに前記収集したパフォーマンスデータの情報が予め設定されているこれらの閾値を超過しているか否かを判定する工程と、該判定により閾値を超過している場合に品質劣化発生の可能性があることをモニタ上に通知する工程とを有することを特徴としたマルチメディア通信の品質監視方法。
複数の通信端末間で音声／画像データの送受信を行うマルチメディア通信における当該通信端末の制御手段を動作させるマルチメディア通信の品質監視プログラムであって、
通信先の前記通信端末から受信した送信時刻のタイムスタンプが付与された音声／画像パケットに受信時刻のタイムスタンプを付与して受信データ記憶部へ格納させる指令と、自身のパフォーマンスデータを収集させる指令と、前記受信データ記憶部に格納された音声／画像パケットのタイムスタンプ及びシーケンス番号の情報並びに前記通信先の通信端末から受信した当該通信先の通信端末の送信データ記憶部内の送信時刻のタイムスタンプ及びシーケンス番号の情報に基づいて、品質劣化の要因たる伝送遅延，パケットロス率及びゆらぎの情報を算出させる指令と、該算出された伝送遅延，パケットロス率及びゆらぎの情報並びに前記収集されたパフォーマンスデータの情報が予め設定されているこれらの閾値を超過しているか否かを判定させる指令と、該判定により閾値を超過している場合に品質劣化発生の可能性があることをモニタ上に通知させる指令とを設けたことを特徴とするマルチメディア通信の品質監視プログラム。