JP2005244609A - Network quality control target value calculating method and apparatus thereof, network quality monitoring method, and apparatus thereof - Google Patents
Network quality control target value calculating method and apparatus thereof, network quality monitoring method, and apparatus thereof Download PDFInfo
- Publication number
- JP2005244609A JP2005244609A JP2004051817A JP2004051817A JP2005244609A JP 2005244609 A JP2005244609 A JP 2005244609A JP 2004051817 A JP2004051817 A JP 2004051817A JP 2004051817 A JP2004051817 A JP 2004051817A JP 2005244609 A JP2005244609 A JP 2005244609A
- Authority
- JP
- Japan
- Prior art keywords
- quality
- target value
- network
- application
- packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003908 quality control method Methods 0.000 title claims abstract description 25
- 238000012544 monitoring process Methods 0.000 title claims description 46
- 238000000034 method Methods 0.000 title claims description 31
- 238000004891 communication Methods 0.000 claims abstract description 86
- 230000006866 deterioration Effects 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims description 140
- 238000007726 management method Methods 0.000 claims description 111
- 238000013441 quality evaluation Methods 0.000 claims description 99
- 230000007423 decrease Effects 0.000 claims description 54
- 238000011156 evaluation Methods 0.000 claims description 53
- 230000009467 reduction Effects 0.000 claims description 34
- 238000005259 measurement Methods 0.000 claims description 23
- 238000012806 monitoring device Methods 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 230000015556 catabolic process Effects 0.000 claims description 14
- 238000006731 degradation reaction Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 238000013500 data storage Methods 0.000 claims description 12
- 230000006872 improvement Effects 0.000 claims description 12
- 230000014509 gene expression Effects 0.000 claims description 3
- 238000001303 quality assessment method Methods 0.000 claims 1
- 230000035807 sensation Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 16
- 238000002474 experimental method Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
Description
本発明は、ネットワーク品質管理目標値算出方法およびネットワーク品質監視方法に関し、特に、パケット通信網で用いられるアプリケーションに対して設定されるネットワーク品質目標値に応じて、パケット通信網の品質管理で用いられるネットワーク品質管理目標値を算出するネットワーク品質管理目標値算出方法、および、そのアプリケーション品質目標値に基づきネットワーク品質を監視するネットワーク品質監視方法に関する。 The present invention relates to a network quality management target value calculation method and a network quality monitoring method, and in particular, is used in quality management of a packet communication network according to a network quality target value set for an application used in the packet communication network. The present invention relates to a network quality management target value calculation method for calculating a network quality management target value, and a network quality monitoring method for monitoring network quality based on the application quality target value.
従来より、パケット通信網におけるリアルタイム系アプリケーション(例えば、VoIP(Voice over IP))の音声に対するユーザが感じる主観品質を考慮したネットワーク管理技術が提案されている(例えば、特許文献1参照)。
このようなリアルタイム系アプリケーションにおいては、ネットワーク上でパケットが連続または集中して損失する現象(バースト損失)が発生すると、連続的に損失しない場合と比べて、ユーザが感じる主観品質が異なる傾向を示すという報告がある(例えば、非特許文献1参照)。したがって、上述したネットワーク管理技術においても、バースト損失がリアルタイム系アプリケーションに対する主観品質に与える影響を考慮する必要がある。
2. Description of the Related Art Conventionally, a network management technique that takes into account subjective quality perceived by a user with respect to voice of a real-time application (for example, VoIP (Voice over IP)) in a packet communication network has been proposed (for example, see Patent Document 1).
In such real-time applications, when the phenomenon that packets are lost continuously or concentrated on the network (burst loss) occurs, the subjective quality perceived by the user tends to differ from the case where packets are not lost continuously. (For example, refer nonpatent literature 1). Therefore, it is necessary to consider the influence of burst loss on subjective quality for real-time applications even in the network management technology described above.
一方、バースト現象をモデル化し、ITU−T勧告G.107E−modelを用いてユーザの主観品質を推定する手法が提案されている(非特許文献2参照)。しかし、このITU−T勧告G.107E−modelは、一般的なモデルであり、実際にリアルタイム系アプリケーションの音声等に対するユーザの主観品質を評価し、品質劣化要因であるバースト特性をモデル化したものではない。このため、上記の手法では、リアルタイム系アプリケーションの実装特性、より具体的にはそのアプリケーションの製品特性をも考慮したユーザの主観品質の推定を行うことはできなかった。
また、上記の手法を用いて、バースト損失の影響を考慮したネットワーク管理・設計を行う技術はなかった。
On the other hand, the burst phenomenon is modeled and ITU-T recommendation G.I. A method for estimating the subjective quality of a user using 107E-model has been proposed (see Non-Patent Document 2). However, this ITU-T recommendation G.I. 107E-model is a general model, and does not actually model the user's subjective quality with respect to the voice or the like of the real-time system application, and does not model the burst characteristic that is a quality degradation factor. For this reason, the above-described method cannot estimate the subjective quality of the user in consideration of the mounting characteristics of the real-time application, more specifically, the product characteristics of the application.
In addition, there has been no technology for network management / design that takes into account the effects of burst loss using the above method.
なお、出願人は、本明細書に記載した先行技術文献情報で特定される先行技術文献以外には、本発明に関連する先行技術文献を出願時までに発見するには至らなかった。
したがって、従来の技術では、バースト損失およびリアルタイム系アプリケーションの実装特性の両方がユーザの主観品質に与える影響を考慮して、パケット通信網を管理することはできなかった。
本発明はこのような課題を解決するためになされたものであり、その目的は、バースト損失が発生するパケット通信網において、バースト損失という現象が、リアルタイム系アプリケーションの各種メディア(音声や映像など)に対するユーザ体感品質(主観品質または客観品質)に与える影響を考慮して、パケット通信網を管理できるようにすることにある。
Therefore, in the conventional technology, it is impossible to manage the packet communication network in consideration of the influence of both the burst loss and the mounting characteristics of the real-time application on the subjective quality of the user.
The present invention has been made in order to solve such a problem. The object of the present invention is to solve the phenomenon of burst loss in a packet communication network in which burst loss occurs, and various media (such as voice and video) of real-time applications. The packet communication network can be managed in consideration of the influence on the user experience quality (subjective quality or objective quality).
このような目的を達成するために、本発明に係るネットワーク品質管理目標値算出方法は、パケット通信網で用いられるアプリケーションに求められるユーザ体感品質評価値の目標値であるアプリケーション品質目標値に応じて、パケット通信網の品質管理で用いられるネットワーク品質管理目標値を算出するネットワーク品質管理目標値算出方法であって、パケットがバースト的に損失するバースト損失によるアプリケーションに対するユーザ体感品質評価値の低下量を推定する第1のステップと、ユーザ体感品質評価値の低下量に基づきネットワーク品質管理目標値を算出する第2のステップとを備えることを特徴とする。なお、ユーザ体感品質は、主観品質または客観品質のいずれでもよい(以下同様)。 In order to achieve such an object, a network quality management target value calculation method according to the present invention is based on an application quality target value that is a target value of a user experience quality evaluation value required for an application used in a packet communication network. A network quality management target value calculation method for calculating a network quality management target value used in quality control of a packet communication network, wherein a decrease amount of a user experience quality evaluation value for an application due to a burst loss in which packets are lost in bursts. A first step of estimating and a second step of calculating a network quality management target value based on a decrease amount of the user experience quality evaluation value are provided. The user experience quality may be either subjective quality or objective quality (the same applies hereinafter).
ここで、第1のステップは、アプリケーションを実験的に動作させて得られたアプリケーションの実測評価データから、バースト損失情報量とユーザ体感品質評価値との関係を示す第1の回帰曲線を算出するステップと、第1の回帰曲線の特性に基づきユーザ体感品質評価値の低下量を推定するステップとを備えるものであってもよい。
バースト損失情報量は、連続して損失したパケットの数の平均値、および、パケット損失終了から次のパケット損失開始までに受信されたパケットの数の平均値の少なくとも1つであってもよい。
Here, in the first step, a first regression curve indicating the relationship between the burst loss information amount and the user experience quality evaluation value is calculated from the measured evaluation data of the application obtained by experimentally operating the application. There may be provided a step and a step of estimating the amount of decrease in the user experience quality evaluation value based on the characteristic of the first regression curve.
The burst loss information amount may be at least one of an average value of the number of packets lost continuously and an average value of the number of packets received from the end of packet loss to the start of the next packet loss.
また、上述したネットワーク品質管理目標値算出方法は、第1の回帰曲線の関数式、または、バースト損失情報量とユーザ体感品質評価値の低下量との関係を示すテーブルをデータベースに保存する第3のステップを更に備えるものであってもよい。
また、第2のステップは、アプリケーションを実験的に動作させて得られたアプリケーションの実測評価データから、パケットの損失がランダムに発生する際のパケット損失に関する性能情報とユーザ体感品質評価値との関係を示す第2の回帰曲線を求めるステップと、第2の回帰曲線の特性に基づき、ユーザ体感品質評価値の低下量を性能情報の低下量に変換するステップと、第2の回帰曲線における性能情報に性能情報の低下量を加味した重み付き無効パケット率とユーザ体感品質評価値との関係を示す第3の回帰曲線を求めるステップと、第3の回帰曲線を参照し、アプリケーション品質目標値に応じた重み付き性能情報を算出し、ネットワーク品質管理目標値とするステップとを備えるものであってもよい。
ここで、パケット損失に関する性能情報は、無効パケット率またはパケット損失率であってもよい。
In the network quality management target value calculation method described above, the function equation of the first regression curve or the table indicating the relationship between the burst loss information amount and the decrease amount of the user experience quality evaluation value is stored in the database. These steps may be further provided.
In the second step, the relationship between the performance information on the packet loss when the packet loss occurs at random and the user experience quality evaluation value from the measured evaluation data of the application obtained by experimentally operating the application. A step of obtaining a second regression curve indicating the above, a step of converting a decrease amount of the user experience quality evaluation value into a decrease amount of performance information based on the characteristics of the second regression curve, and performance information in the second regression curve A step of obtaining a third regression curve indicating the relationship between the weighted invalid packet rate and the user experience quality evaluation value, taking into account the amount of decrease in performance information, and referring to the third regression curve, according to the application quality target value A step of calculating weighted performance information and setting it as a network quality management target value.
Here, the performance information regarding the packet loss may be an invalid packet rate or a packet loss rate.
また、本発明に係るネットワーク品質監視方法は、パケット通信網で用いられるアプリケーションに求められるユーザ体感品質評価値の目標値であるアプリケーション品質目標値に応じて、パケット通信網の品質を監視するネットワーク品質監視方法であって、パケット通信網上で実際にアプリケーションがやり取りした各パケットからバースト損失が考慮された性能情報を測定する第4のステップと、測定された性能情報と、上述したネットワーク品質管理目標値算出方法により算出されたネットワーク品質管理目標値とを比較する第5のステップと、比較結果に基づきパケット通信網の品質を監視する第6のステップとを備えることを特徴とする。 The network quality monitoring method according to the present invention also provides a network quality for monitoring the quality of a packet communication network according to an application quality target value that is a target value of a user experience quality evaluation value required for an application used in the packet communication network. A monitoring method, a fourth step of measuring performance information in consideration of burst loss from each packet actually exchanged by an application on a packet communication network, the measured performance information, and the network quality management target described above A fifth step of comparing the network quality management target value calculated by the value calculation method and a sixth step of monitoring the quality of the packet communication network based on the comparison result are provided.
ここで、第6のステップは、測定された性能情報がネットワーク品質管理目標値を満足していない場合に、パケット通信網上で実際にアプリケーションがやり取りした各パケットから測定されるバースト損失情報量および性能情報からアプリケーションに対する実際のユーザ体感品質評価値を推定するステップと、実際のユーザ体感品質評価値とアプリケーション品質目標値とを比較するステップと、実際のユーザ体感品質評価値がアプリケーション品質目標値を満足していない場合には、バースト損失がパケット通信網の品質劣化の要因であると判断するステップとを備えるものであってもよい。 Here, in the sixth step, when the measured performance information does not satisfy the network quality management target value, the burst loss information amount measured from each packet actually exchanged by the application on the packet communication network and Estimating the actual user experience quality evaluation value for the application from the performance information, comparing the actual user experience quality evaluation value with the application quality target value, and the actual user experience quality evaluation value If not satisfied, a step of determining that burst loss is a factor of quality deterioration of the packet communication network may be included.
また、本発明に係るネットワーク品質監視方法は、パケット通信網で用いられるアプリケーションに求められるユーザ体感品質評価値の目標値であるアプリケーション品質目標値に応じて、パケット通信網の品質を監視するネットワーク品質監視方法であって、アプリケーションを実験的に動作させて得られたアプリケーションの実測評価データから、パケットがバースト的に損失するバースト損失情報量とアプリケーションに対するユーザ体感品質評価値との関係を示す第1の回帰曲線と、パケットがランダムに損失する際のパケット損失に関する性能情報とユーザ体感品質評価値との関係を示す第2の回帰曲線を求める第1のステップと、第2の回帰曲線を参照し、アプリケーション品質目標値に対応する性能情報を算出し、ネットワーク品質管理目標値とする第2のステップと、パケット通信網上で実際にアプリケーションがやり取りした各パケットからパケット損失に関する性能情報を測定する第3のステップと、測定された性能情報とネットワーク品質管理目標値とを比較する第4のステップと、比較の結果、測定された性能情報がネットワーク品質管理目標値を満足している場合に、第1および第2の回帰曲線を参照し、パケット通信網上で実際にアプリケーションがやり取りした各パケットから測定されるバースト損失情報量および性能情報からアプリケーションに対する実際のユーザ体感品質評価値を推定する第5のステップと、実際のユーザ体感品質評価値とアプリケーション品質目標値とを比較する第6のステップと、実際のユーザ体感品質評価値がアプリケーション品質目標値を満たしていない場合には、バースト損失がパケット通信網の品質劣化の要因であると判断する第7のステップとを備えることを特徴とする。 The network quality monitoring method according to the present invention also provides a network quality for monitoring the quality of a packet communication network according to an application quality target value that is a target value of a user experience quality evaluation value required for an application used in the packet communication network. A monitoring method is a first method showing a relationship between a burst loss information amount in which a packet is lost in a burst manner and a user experience quality evaluation value for the application from actual measurement evaluation data of the application obtained by experimentally operating the application. A first step of obtaining a regression curve, a second regression curve indicating a relationship between performance information relating to packet loss when a packet is randomly lost and a user experience quality evaluation value, and the second regression curve , Calculate performance information corresponding to the application quality target value, and A second step of setting a quality control target value; a third step of measuring performance information relating to packet loss from each packet actually exchanged by the application on the packet communication network; and the measured performance information and network quality control target A fourth step of comparing values, and when the measured performance information satisfies the network quality control target value as a result of the comparison, the first and second regression curves are referred to and A fifth step of estimating an actual user experience quality evaluation value for the application from the burst loss information amount and performance information measured from each packet actually exchanged by the application, an actual user experience quality evaluation value, and an application quality target The sixth step of comparing the value with the actual user experience quality evaluation value Deployment If not meeting quality target value, the burst loss; and a seventh step of determining that the cause of quality deterioration of the packet communication network.
また、このネットワーク品質監視方法は、パケット通信網の品質劣化の要因がバースト損失であると判断した場合には、バースト損失改善要求をネットワーク管理者に知らせるステップと、要因がバースト損失以外であると判断した場合には、バースト損失以外のネットワーク管理項目に対する改善要求をネットワーク管理者に知らせるステップと、要因がバースト損失とそれ以外との両方であると判断した場合には、どちらがより強い要因であるかを判断し、優先順位をつけて改善要求をネットワーク管理者に知らせるステップとを備えるものであってもよい。 In addition, in this network quality monitoring method, when it is determined that the quality deterioration factor of the packet communication network is a burst loss, a step of notifying the network administrator of a burst loss improvement request and that the factor is other than the burst loss. If determined, the step of notifying the network administrator of the improvement request for the network management items other than the burst loss and the stronger factor when determining that the cause is both the burst loss and the other factors. And a step of giving a priority order and notifying a network administrator of an improvement request.
また、本発明に係るネットワーク品質管理目標値算出装置は、パケット通信網で用いられるアプリケーションに求められるユーザ体感品質評価値であるアプリケーション品質目標値に応じて、パケット通信網の品質管理で用いられるネットワーク品質管理目標値を算出するネットワーク品質管理目標値算出装置であって、パケットがバースト的に損失するバースト損失によるアプリケーションに対するユーザ体感品質評価値の低下量を推定する第1の演算処理部と、ユーザ体感品質評価値の低下量に基づきネットワーク品質管理目標値を算出する第2の演算処理部とを備えることを特徴とする。 The network quality management target value calculation apparatus according to the present invention is a network used in quality management of a packet communication network according to an application quality target value that is a user experience quality evaluation value required for an application used in the packet communication network. A network quality management target value calculation device for calculating a quality control target value, the first arithmetic processing unit for estimating a reduction amount of a user experience quality evaluation value for an application due to burst loss in which packets are lost in bursts, and a user And a second arithmetic processing unit that calculates a network quality management target value based on the amount of decrease in the sensation quality evaluation value.
ここで、第1の演算処理部は、アプリケーションを実験的に動作させて得られたアプリケーションの実測評価データから、バースト損失情報量とユーザ体感品質評価値との関係を示す第1の回帰曲線を算出する第1の回帰曲線算出部と、第1の回帰曲線の特性に基づきユーザ体感品質評価値の低下量を推定する品質評価値低下量算出部とを備えるものであってもよい。
バースト損失情報量は、連続して損失したパケットの数の平均値、および、パケット損失終了から次のパケット損失開始までに受信されたパケットの数の平均値の少なくとも1つであってもよい。
Here, the first arithmetic processing unit obtains a first regression curve indicating the relationship between the burst loss information amount and the user experience quality evaluation value from the actually measured evaluation data of the application obtained by experimentally operating the application. You may provide the 1st regression curve calculation part to calculate, and the quality evaluation value fall amount calculation part which estimates the fall amount of a user experience quality evaluation value based on the characteristic of a 1st regression curve.
The burst loss information amount may be at least one of an average value of the number of packets lost continuously and an average value of the number of packets received from the end of packet loss to the start of the next packet loss.
また、上述したネットワーク品質管理目標値算出装置は、第1の回帰曲線の関数式、または、バースト損失情報量とユーザ体感品質評価値の低下量との関係を示すテーブルが格納されるデータ蓄積部更に備えるものであってもよい。
また、第2の演算処理部は、アプリケーションを実験的に動作させて得られたアプリケーションの実測評価データから、パケットの損失がランダムに発生する際のパケット損失に関する性能情報とユーザ体感品質評価値との関係を示す第2の回帰曲線を求める第2の回帰曲線算出部と、第2の回帰曲線の特性に基づき、ユーザ体感品質評価値の低下量を性能情報の低下量に変換する低下量変換部と、第2の回帰曲線における性能情報に性能情報の低下量を加味した重み付き無効パケット率とユーザ体感品質評価値との関係を示す第3の回帰曲線を求める第3の回帰曲線算出部と、第3の回帰曲線を参照し、アプリケーション品質目標値に応じた重み付き性能情報を算出し、ネットワーク品質管理目標値とする品質管理目標値算出部とを備えるものであってもよい。
ここで、パケット損失に関する性能情報は、無効パケット率またはパケット損失率であってもよい。
In addition, the network quality management target value calculation device described above includes a data storage unit in which a function equation of the first regression curve or a table indicating the relationship between the burst loss information amount and the user experience quality evaluation value decrease amount is stored. Further, it may be provided.
In addition, the second arithmetic processing unit, based on the actual measurement evaluation data of the application obtained by experimentally operating the application, performance information on the packet loss when the packet loss occurs at random, the user experience quality evaluation value, A second regression curve calculation unit that obtains a second regression curve indicating the relationship between the first and second regression curves, and a decrease amount conversion that converts a decrease amount of the user experience quality evaluation value into a decrease amount of performance information based on the characteristics of the second regression curve And a third regression curve calculation unit for obtaining a third regression curve indicating a relationship between the weighted invalid packet rate obtained by adding the amount of decrease in performance information to the performance information in the second regression curve and the user experience quality evaluation value And a quality management target value calculation unit that refers to the third regression curve, calculates weighted performance information according to the application quality target value, and sets it as a network quality management target value It may be of.
Here, the performance information regarding the packet loss may be an invalid packet rate or a packet loss rate.
また、本発明に係るネットワーク品質監視装置は、パケット通信網で用いられるアプリケーションに求められるユーザ体感品質評価値であるアプリケーション品質目標値に応じて、パケット通信網の品質を監視するネットワーク品質監視装置であって、パケット通信網上で実際にアプリケーションがやり取りした各パケットからバースト損失が考慮された性能情報を測定する性能情報測定部と、測定された性能情報と、上述したネットワーク品質管理目標値算出装置により算出されたネットワーク品質管理目標値とを比較し、比較結果に基づきパケット通信網の品質を監視する品質評価部とを備えることを特徴とする。 The network quality monitoring apparatus according to the present invention is a network quality monitoring apparatus that monitors the quality of a packet communication network according to an application quality target value that is a user experience quality evaluation value required for an application used in the packet communication network. A performance information measurement unit that measures performance information in consideration of burst loss from each packet that is actually exchanged by an application on a packet communication network, the measured performance information, and the network quality management target value calculation device described above And a quality evaluation unit that compares the network quality management target value calculated by the above and monitors the quality of the packet communication network based on the comparison result.
ここで、品質評価部は、測定された性能情報がネットワーク品質管理目標値を満足していない場合に、パケット通信網上で実際にアプリケーションがやり取りした各パケットから測定されるバースト損失情報量および性能情報からアプリケーションに対する実際のユーザ体感品質評価値を推定する品質評価算出部と、実際のユーザ体感品質評価値とアプリケーション品質目標値とを比較し、実際のユーザ体感品質評価値がアプリケーション品質目標値を満足していない場合には、バースト損失がパケット通信網の品質劣化の要因であると判断する品質評価値比較部とを備えていてもよい。 Here, the quality evaluation unit determines the amount and performance of burst loss information measured from each packet actually exchanged by the application on the packet communication network when the measured performance information does not satisfy the network quality management target value. Compare the actual user experience quality evaluation value with the application quality target value, and compare the actual user experience quality evaluation value with the application quality target value. If not satisfied, a quality evaluation value comparison unit that determines that the burst loss is a factor of quality degradation of the packet communication network may be provided.
また、本発明に係るネットワーク品質監視装置は、パケット通信網で用いられるアプリケーションに求められるユーザ体感品質評価値であるアプリケーション品質目標値に応じて、パケット通信網の品質を監視するネットワーク品質監視装置であって、アプリケーションを実験的に動作させて得られたアプリケーションの実測評価データから、パケットがバースト的に損失するバースト損失情報量とアプリケーションに対するユーザ体感品質評価値との関係を示す第1の回帰曲線と、パケットがランダムに損失する際のパケット損失に関する性能情報とユーザ体感品質評価値との関係を示す第2の回帰曲線を求める回帰曲線算出部と、第2の回帰曲線を参照し、アプリケーション品質目標値に対応する性能情報を算出し、ネットワーク品質管理目標値とする品質管理目標値算出部と、パケット通信網上で実際にアプリケーションがやり取りした各パケットからパケット損失に関する性能情報を測定する性能情報測定部と、測定された性能情報とネットワーク品質管理目標値とを比較する品質管理目標値比較部と、比較の結果、測定された性能情報がネットワーク品質管理目標値を満足している場合に、第1および第2の回帰曲線を参照し、パケット通信網上で実際にアプリケーションがやり取りした各パケットから測定されるバースト損失情報量および性能情報からアプリケーションに対する実際のユーザ体感品質評価値を推定する品質評価値算出部と、実際のユーザ体感品質評価値とアプリケーション品質目標値とを比較し、実際のユーザ体感品質評価値がアプリケーション品質目標値を満たしていない場合には、バースト損失がパケット通信網の品質劣化の要因であると判断する品質目標値比較部とを備えることを特徴とする。 The network quality monitoring apparatus according to the present invention is a network quality monitoring apparatus that monitors the quality of a packet communication network according to an application quality target value that is a user experience quality evaluation value required for an application used in the packet communication network. The first regression curve showing the relationship between the burst loss information amount that the packet is lost in a burst manner and the user experience quality evaluation value for the application from the actual measurement evaluation data of the application obtained by experimentally operating the application. A regression curve calculation unit for obtaining a second regression curve indicating the relationship between the performance information on the packet loss when the packet is randomly lost and the user experience quality evaluation value, and referring to the second regression curve, and the application quality Performance information corresponding to the target value is calculated and network quality control Quality control target value calculation unit that is a target value, performance information measurement unit that measures performance information related to packet loss from each packet actually exchanged by the application on the packet communication network, measured performance information and network quality management target A quality control target value comparison unit that compares the values with each other, and when the measured performance information satisfies the network quality management target value as a result of the comparison, the first and second regression curves are referred to and packet communication is performed. A quality evaluation value calculation unit for estimating an actual user experience quality evaluation value for the application from burst loss information amount and performance information measured from each packet actually exchanged on the network, and an actual user experience quality evaluation value; Compared with the application quality target value, the actual user experience quality evaluation value is the application quality If not satisfy the target value, the burst loss is characterized in that it comprises a quality target value comparison unit determines that the cause of quality deterioration of the packet communication network.
また、上述したネットワーク品質監視装置は、パケット通信網の品質劣化の要因がバースト損失であると判断した場合には、バースト損失改善要求をネットワーク管理者に知らせる手段と、要因がバースト損失以外であると判断した場合には、バースト損失以外のネットワーク管理項目に対する改善要求をネットワーク管理者に知らせる手段と、要因がバースト損失とそれ以外との両方であると判断した場合には、どちらがより強い要因であるかを判断し、優先順位をつけて改善要求をネットワーク管理者に知らせる手段とを備えるものであってもよい。 The network quality monitoring apparatus described above is means for notifying the network administrator of a burst loss improvement request when the cause of the quality deterioration of the packet communication network is a burst loss, and the cause is other than the burst loss. If it is determined that the cause is both the burst loss and the other means, it is the stronger factor. It may be provided with a means for determining whether or not there is a priority and notifying a network administrator of a request for improvement by giving priority.
本発明では、バースト損失によるユーザ体感品質評価値の低下量を推定し、この低下量に基づきネットワーク品質管理目標値を算出する。このネットワーク品質管理目標値を用いてパケット通信網の管理を行うことにより、バースト損失が発生した場合にも、人間の知覚に則した管理が可能となる。
また、アプリケーションをバースト損失条件下で動作させて得られたバースト損失情報量や、ランダム損失条件下で動作させて得られた性能情報を基に、バースト損失がユーザ体感品質評価値に与える影響を推定するので、個々のアプリケーションの製品特性をも考慮した推定が可能となる。
また、ネットワーク管理の際に、急激な品質劣化(これまで提案されてきたパケット損失率等では説明できない急激な品質劣化)があってもその要因を追求することができる。これにより、ネットワーク管理者は、品質劣化に対して適切な対処を迅速に行うことができる。
In the present invention, a reduction amount of the user experience quality evaluation value due to burst loss is estimated, and a network quality management target value is calculated based on the reduction amount. By managing the packet communication network using this network quality management target value, even if burst loss occurs, management according to human perception becomes possible.
Also, based on the amount of burst loss information obtained by operating the application under burst loss conditions and the performance information obtained by operating under random loss conditions, the impact of burst loss on the user experience quality evaluation value Since estimation is performed, it is possible to perform estimation in consideration of product characteristics of individual applications.
Further, in network management, even if there is a rapid quality degradation (abrupt quality degradation that cannot be explained by the packet loss rate proposed so far), the cause can be pursued. As a result, the network administrator can quickly take appropriate measures against quality degradation.
本発明は、パケットのバースト損失がリアルタイム系アプリケーションにもたらすユーザ体感品質の低下を定量化し、この定量化された品質量を考慮してネットワーク品質管理目標値を決定し、この目標値を基準にネットワーク品質を管理するものである。本発明は、音声や映像などの各種メディアのアプリケーションに対応可能であるが、以下ではIP電話などの音声系アプリケーションに対応した形態について説明する。 The present invention quantifies a decrease in user experience quality caused by a packet burst loss to a real-time application, determines a network quality management target value in consideration of the quantified amount of quality, and uses the target value as a reference to determine the network quality control target value. It is to manage quality. The present invention can be applied to various media applications such as voice and video. Hereinafter, a mode corresponding to a voice application such as an IP phone will be described.
[第1の実施の形態]
図1は、本発明の第1の実施の形態に係るネットワーク音声品質管理目標値算出装置の構成を示すブロック図である。このネットワーク音声品質管理目標値算出装置(以下、目標値算出装置という)1は、全体としてパソコンなどのコンピュータからなり、演算処理部10、データ蓄積部20およびデータ入力部30が設けられている。
[First Embodiment]
FIG. 1 is a block diagram showing a configuration of a network voice quality management target value calculation apparatus according to the first embodiment of the present invention. This network voice quality control target value calculation device (hereinafter referred to as target value calculation device) 1 is composed of a computer such as a personal computer as a whole, and includes an
ここで、データ蓄積部20は、ハードディスクやメモリなどの記憶装置からなり、品質管理対象となる音声系アプリケーションを実験網上で評価して得られた実測評価データ21,22が予め格納されている。実測評価データ21は、パケットの損失がランダムに発生するランダム損失の条件の下で得られた無効パケット率21Aと音声品質客観評価値(PESQ値)21Bとからなる。実測評価データ22は、パケットの損失がバースト的に発生するバースト損失の条件の下で得られたバースト損失情報量22Aと音声品質客観評価値(PESQ値)22Bとからなる。なお、上記ランダム損失には、バースト特性を保持する損失は含まれない。実測評価データ21,22の取得方法については、後で詳しく説明する。
Here, the
データ入力部30は、キーボードやマウスなどの操作入力部からなり、品質管理対象となる音声系アプリケーションで得たい所望のアプリケーション品質目標値として、音声主観品質目標値(MOS)が管理者により入力される。
演算処理部10は、CPUなどのマイクロプロセッサとその周辺回路からなり、所定のプログラムを実行することにより、回帰曲線算出部11,12、PESQ低下量算出部13、低下量変換部14、重み付き無効パケット率算出部15、回帰曲線算出部16および品質管理目標値算出部17を実現する。
The
The
演算処理部10により実現される各部の機能を簡単に説明する。回帰曲線算出部11は、データ蓄積部20から実測評価データ21を読み込み、無効パケット率21AとPESQ値21Bとの関係を示す回帰曲線を算出する。
回帰曲線算出部12は、データ蓄積部20から実測評価データ22を読み込み、バースト損失情報量22AとPESQ値22Bとの関係を示す回帰曲線を算出する。
PESQ低下量算出部13は、このバースト損失情報量22AとPESQ値22Bとの回帰曲線の特性に基づき、バースト損失により音声系アプリケーションに対するPESQが低下する量を算出する。
The function of each unit realized by the
The regression
The PESQ decrease
低下量変換部14は、回帰曲線算出部11で求められた無効パケット率21AとPESQ値21Bとの回帰曲線の特性に基づき、PESQ低下量算出部13で求められたPESQ低下量を、パケット毎の性能情報の低下量に変換する。
重み付き無効パケット率算出部15は、実測評価データ21の無効パケット率21Aに低下量変換部14で得られた性能情報の低下量を加味した重み付き無効パケット率を算出する。
回帰曲線算出部16は、この重み付き無効パケット率と実測評価データ21のPESQ値21Bとの関係を示す回帰曲線を算出する。
The decrease
The weighted invalid packet
The regression
品質管理目標値算出部17は、この重み付き無効パケット率とPESQ値21Bとの回帰曲線を参照し、データ入力部30から入力される音声主観品質目標値と等価なPESQ値21Bに対応する重み付き無効パケット率41を求め、この重み付き無効パケット率41をネットワーク音声品質管理目標値40とする。
The quality control target
次に、実測評価データ21,22の取得方法について説明する。図2は、実測評価データ21,22を得るための実験系を示すブロック図である。この実験系5は、管理対象となる音声系アプリケーション51A,51Bが用いられるパケット通信網を模擬したものである。
Next, a method for obtaining the actual
実験系5において、パケット送信側となるLAN−Aには、音声パケットをやり取りするための音声系アプリケーション51A、この音声系アプリケーション51Aに接続された電話機52A、LAN−Aを構成するハブ(HUB)53A、音声系アプリケーション51Aから送信された音声パケットをハブ53Aを介して監視(キャプチャ)するパケット監視装置54Aが設けられている。
パケット受信側となるLAN−Bには、音声パケットをやり取りするための音声系アプリケーション51B、この音声系アプリケーション51Bに接続された電話機52B、LAN−Bを構成するハブ(HUB)53B、音声系アプリケーション51Bで受信される音声パケットをハブ53Bを介して監視(キャプチャ)するパケット監視装置54Bが設けられている。
In the
The LAN-B on the packet receiving side includes a
LAN−Aのハブ53AとLAN−Bのハブ53Bとは、パケットの挙動を人工的に制御できるネットワークエミュレータ55を介して接続されている。
また、LAN−B側には、パケット監視装置54Bで得られた音声パケット毎の性能情報に基づき無効パケット率を算出する無効パケット率算出装置56、同じく音声パケット毎の性能情報に基づきバースト損失情報量を算出するバースト損失情報量算出装置57が設けられている。
さらに、LAN−A側の電話機52Aからの音声信号を示す参照信号59とLAN−B側の電話機52Bへの音声信号を示す被試験信号60とを比較し、音声品質客観評価値としてPESQ値を出力する客観評価装置58が設けられている。
The LAN-
On the LAN-B side, an invalid packet
Further, the
実験は、ネットワークエミュレータ55によりパケットの挙動としてランダム損失およびバースト損失の2つの条件を与えて行われる。まず、ランダム損失の条件下で行われる実験について説明する。
送信側の電話機52Aから予め用意した録音音声を受信側の電話機52Bへ向けて送信する。この際、ネットワークエミュレータ55により、音声系アプリケーション51A,51B間でやり取りされる音声パケットがランダムに損失するように制御する。
The experiment is performed by the
Recorded voice prepared in advance is transmitted from the transmission-
この状態で、客観評価装置57において、参照信号59と被試験信号60とを比較し、この比較結果に基づき音声品質客観評価値としてPESQ値21Bを算出する。PESQ値21Bの算出には、ITU−T P.862で勧告されているPESQアルゴリズムが用いられる。PESQ値を算出する客観評価装置57としては、公知の評価装置を用いればよく、ここでの詳細な説明は省略する。
In this state, the
一方、パケット監視装置54Bでは、音声系アプリケーション51A,51B間でやり取りされる音声パケットをキャプチャし(取り込み)、音声パケット毎の性能情報を無効パケット算出装置56へ出力する。この性能情報は、順序性をもった各音声パケットの到着時刻や到着有無を示す情報からなる。無効パケット率算出装置56では、入力された性能情報に基づき各音声パケットが無効パケットかどうかを判定し、この判定結果に基づき無効パケット率21Aを算出する。
On the other hand, the
本実施の形態では、音声系アプリケーションで正常に機能せず、音声主観品質の低下要因となる無効パケットとして、損失パケットおよび遅着パケットを想定している。損失パケットとは、何らかの原因でパケット通信網上で損失したパケットを指す。また、遅着パケットとは、何らかの原因で通常より遅れて到着したため音声系アプリケーションで正常に音声再生されなかったパケットを指す。 In this embodiment, a lost packet and a late arrival packet are assumed as invalid packets that do not function normally in a voice system application and cause a reduction in voice subjective quality. A lost packet refers to a packet lost on the packet communication network for some reason. The late arrival packet refers to a packet that has not been normally reproduced by the voice application because it arrived later than usual for some reason.
無効パケット率算出装置56では、特許文献1に記載されている方法を用いて損失パケット数PLおよび遅着パケット数PDを計数し、式(1)により無効パケット率RPを算出する。なお、全送信パケットとは、所定の計測期間に音声系アプリケーションで送信したすべての音声パケットの数を示す。
RP=(PL+PD)/全送信パケット数 …(1)
なお、この実験では、パケット毎の性能情報が広い範囲に分布するように、いくつかのランダム損失の条件を与えて行う。
このようにして、無効パケット率21AとPESQ値21Bからなる実測評価データ21が実測され、図1に示した目標値算出装置1のデータ蓄積部10へ格納される。
The invalid packet
R P = (P L + P D ) / total number of transmitted packets (1)
In this experiment, several random loss conditions are given so that the performance information for each packet is distributed over a wide range.
In this way, the actual
次に、バースト損失の条件下で行われる実験について説明する。なお、バースト損失の条件については、損失長や損失の発生を確率モデルを用いて設定する方法や、伝送シミュレーションにおいてITU−T勧告G.191(例えば、非特許文献3参照)等でも用いられているギルバート−エリオットモデル等により設定する方法をとる。
ネットワークエミュレータ55により音声系アプリケーション51A,51B間でやり取りされる音声パケットがバースト的に損失するように制御した状態で、上述した実験と同様に、客観評価装置57において、音声品質客観評価値としてPESQ値22Bを算出する。
Next, an experiment performed under the condition of burst loss will be described. As for the burst loss condition, a method for setting the loss length and the occurrence of loss using a probabilistic model or the ITU-T Recommendation G. 191 (for example, refer nonpatent literature 3) etc., and the method of setting by the Gilbert-Eliot model etc. which are used is taken.
In the state in which the voice packets exchanged between the
同時に、バースト損失情報量算出部57では、パケット監視装置54Bから入力された性能情報に基づき、各音声パケットが損失パケットかどうかを判定し、この判定結果に基づきバースト損失情報量22Aを算出する。
本実施の形態では、バースト損失情報量として、平均連続損失長および平均損失発生間隔の少なくとも一方を算出する。平均連続損失長とは、連続して損失したパケットの数の平均値を指す。また、平均損失発生間隔とは、パケット損失終了から次のパケット損失開始までに受信されたパケットの数の平均値を指す。
At the same time, the burst loss information
In the present embodiment, at least one of the average continuous loss length and the average loss occurrence interval is calculated as the burst loss information amount. The average continuous loss length refers to an average value of the number of packets lost continuously. The average loss occurrence interval refers to an average value of the number of packets received from the end of packet loss to the start of the next packet loss.
平均連続損失長は、次のようにして求められる。まず、客観評価単位毎に、その評価を実施している際に受信されたパケットを確認し、パケット損失が連続して発生した回数(損失発生回数)および総損失パケット数(Σ連続損失長)を計数する。ここで、連続して損失したパケット数がいくつであっても、損失発生回数は1回として計数する。そして、この損失発生回数で総損失パケット数を割る。その商が平均連続損失長となる。
例えば、図3に示す例では、連続損失パケットが「1」、「2」、「3」の順で発生しており、損失発生回数は「3回」、総損失パケット数は「6」となる。よって、平均連続損失長は「2」となる。
The average continuous loss length is obtained as follows. First, for each objective evaluation unit, the received packets are checked, and the number of consecutive packet losses (number of loss occurrences) and the total number of lost packets (Σ continuous loss length) Count. Here, no matter how many packets are lost continuously, the loss occurrence count is counted as one. Then, the total number of lost packets is divided by the number of loss occurrences. The quotient is the average continuous loss length.
For example, in the example shown in FIG. 3, consecutive loss packets are generated in the order of “1”, “2”, “3”, the number of loss occurrences is “3 times”, and the total number of lost packets is “6”. Become. Therefore, the average continuous loss length is “2”.
また、平均損失発生間隔は、次のようにして求められる。まず、客観評価単位毎に、その評価を実施している際に受信されたパケットを確認し、パケット損失終了から次のパケット損失開始までに受信されたパケット数(損失発生間隔)を計数する。この時、パケット損失が連続して発生した回数(損失発生回数)も計数する。ここで、連続して損失したパケット数がいくつであっても、損失発生回数は1回として計数する。損失発生回数が0回または1回である場合には、平均損失発生間隔についての客観評価値への影響はないので、平均損失発生間隔の算出は行わない。損失発生回数が0回または1回ではない場合には、その損失発生回数から1を減じ、その値で上記損失発生間隔の総和(Σ損失発生間隔)を割る。その商が平均損失発生間隔となる。 The average loss occurrence interval is obtained as follows. First, for each objective evaluation unit, the packets received when the evaluation is performed are confirmed, and the number of packets (loss occurrence interval) received from the end of the packet loss to the start of the next packet loss is counted. At this time, the number of times packet loss has occurred continuously (number of loss occurrences) is also counted. Here, no matter how many packets are lost continuously, the loss occurrence count is counted as one. When the number of loss occurrences is 0 or 1, there is no influence on the objective evaluation value with respect to the average loss occurrence interval, so the average loss occurrence interval is not calculated. If the number of loss occurrences is not zero or one, 1 is subtracted from the number of loss occurrences, and the sum of the loss occurrence intervals (Σ loss occurrence interval) is divided by the value. The quotient is the average loss occurrence interval.
例えば、図4に示す例では、損失発生回数が「3回」、損失発生間隔が「1」、「2」の順で発生しており、損失発生間隔の総和は「3」となる。よって、平均損失発生間隔は「1.5」となる。
なお、平均連続損失長および平均損失発生間隔の算出における客観評価単位について言えば、例えば8secの音声(や映像)に対して1つの客観評価を実施する場合には、8secを客観評価単位とする。
このようにして、バースト損失情報量22AとPESQ値22Bからなる実測評価データ22が実測され、図1に示した目標値算出装置1のデータ蓄積部10へ格納される。
For example, in the example illustrated in FIG. 4, the number of loss occurrences is “3”, the loss occurrence intervals are “1”, and “2” in this order, and the total loss occurrence interval is “3”. Therefore, the average loss occurrence interval is “1.5”.
As for the objective evaluation unit in the calculation of the average continuous loss length and the average loss occurrence interval, for example, when one objective evaluation is performed for 8 sec. Audio (or video), 8 sec is the objective evaluation unit. .
In this way, the actual
次に、図1に示した目標値算出装置1の動作について、具体例を交えて詳細に説明する。データ蓄積部20には、上述したランダム損失条件下の実験で得られた無効パケット率21AとPESQ値21Bからなる実測評価データ21が予め格納されている。この実測評価データ21を回帰曲線算出部11へ読み込み、無効パケット率21AとPESQ値21Bとの関係を示す回帰曲線を算出する。
Next, the operation of the target
図5は、無効パケット率21AとPESQ値21Bとの関係を示す回帰曲線の一例を示す図である。この図には、無効パケット率21AとPESQ値21Bとの関係が、各データ点としてプロットされている。これらデータ点に対し回帰分析を行うことにより、回帰曲線が算出される。例えば、指数回帰を行うと、この回帰曲線は回帰式(2)で表される。
無効パケット率回帰式:
PESQ=3.68exp(−5.17IP) …(2)
FIG. 5 is a diagram showing an example of a regression curve showing the relationship between the invalid packet rate 21A and the PESQ value 21B. In this figure, the relationship between the invalid packet rate 21A and the PESQ value 21B is plotted as each data point. A regression curve is calculated by performing regression analysis on these data points. For example, when exponential regression is performed, this regression curve is expressed by the regression equation (2).
Invalid packet rate regression formula:
PESQ = 3.68exp (−5.17IP) (2)
また、データ蓄積部20には、上述したバースト損失条件下の実験で得られたバースト損失情報量22AとPESQ値22Bからなる実測評価データ22が予め格納されている。この実測評価データ22を回帰曲線算出部12へ読み込み、バースト損失情報量22AとPESQ値22Bとの関係を示す回帰曲線を算出する。
The
図6は、バースト損失情報量22Aとして平均連続損失長(BL)を用いた場合の回帰曲線の一例を示す図である。この回帰曲線は、例えば対数回帰を行うと、回帰式(3)で表される。
平均連続損失長回帰式:
PESQ=−0.075log(BL)+3.204 …(3)
図7は、バースト損失情報量22Aとして平均損失発生間隔(LI)を用いた場合の回帰曲線の一例を示す図である。この回帰曲線は、例えば対数回帰を行うと、回帰式(4)で表される。
平均損失発生間隔回帰式:
PESQ=0.1388log(LI)+2.7863 …(4)
FIG. 6 is a diagram illustrating an example of a regression curve when the average continuous loss length (BL) is used as the burst loss information amount 22A. For example, this logarithmic curve is represented by a regression equation (3) when logarithmic regression is performed.
Average continuous loss length regression formula:
PESQ = −0.075 log (BL) +3.204 (3)
FIG. 7 is a diagram illustrating an example of a regression curve when the average loss occurrence interval (LI) is used as the burst loss information amount 22A. For example, this logarithmic curve is represented by a regression equation (4) when logarithmic regression is performed.
Average loss interval regression formula:
PESQ = 0.1388 log (LI) +2.7863 (4)
ついで、PESQ低下量算出部13において、バースト損失情報量22AとPESQ値22Bとの回帰曲線の特性に基づき、バースト損失により音声系アプリケーションに対するPESQが低下する量を算出する。
バースト損失情報量22Aとして平均連続損失長(BL)を用いた場合には、図6に示した回帰曲線の回帰式(3)の傾きを、特性に応じたPESQ低下量算出関数f(BL)に適用する。
PESQ低下量算出関数:
f(BL)=(−0.075log(BL))+a …(5)
a:補正係数
ただし、f(BL)≦0のときは、f(BL)=0
Next, the PESQ reduction
When the average continuous loss length (BL) is used as the burst loss information amount 22A, the slope of the regression equation (3) of the regression curve shown in FIG. 6 is used as the PESQ reduction amount calculation function f (BL) according to the characteristics. Applies to
PESQ reduction amount calculation function:
f (BL) = (− 0.075 log (BL)) + a (5)
a: Correction coefficient However, when f (BL) ≦ 0, f (BL) = 0
バースト損失情報量22Aとして平均損失発生間隔(LI)を用いた場合には、図7に示した回帰曲線の回帰式(4)の傾きを、特性に応じたPESQ低下量算出関数f(BL)に適用する。
PESQ低下量算出関数式:
f(LI)=(0.1388log(LI))+a …(6)
ただし、f(LI)≧bの時は、f(LI)=b
b:PESQ低下量最大値
When the average loss occurrence interval (LI) is used as the burst loss information amount 22A, the slope of the regression equation (4) of the regression curve shown in FIG. 7 is used as the PESQ reduction amount calculation function f (BL) according to the characteristics. Applies to
PESQ reduction amount calculation function formula:
f (LI) = (0.1388 log (LI)) + a (6)
However, when f (LI) ≧ b, f (LI) = b
b: PESQ reduction maximum value
式(5)または式(6)で表されるPESQ低下量算出関数式を用いて、バースト損失特性に応じた音声系アプリケーションに対するPESQ低下量を算出する。これらの関数式を、その音声系アプリケーションの特性として、データ蓄積部20に格納する。音声系アプリケーションの各種製品に対して実験を行い関数式を求める度に、これらの関数式をデータ蓄積部20に格納する。これにより、一度、実験を行った製品に対しては、それ以降、同じ実験を行わなくても、PESQ低下量の算出が可能となる。ここでは、関数式そのものを格納してもよいし、バースト損失情報量とPESQ低下量との関係を関数式により予め数値化し、これらのテーブルを格納してもよい。
The PESQ reduction amount for the voice application according to the burst loss characteristic is calculated using the PESQ reduction amount calculation function expressed by the equation (5) or the equation (6). These function expressions are stored in the
ついで、低下量変換部14において、PESQ低下量算出部13で求められたPESQ低下量を、パケット通信網で実際に測定可能な音声パケット毎の性能情報の低下量に変換する。ただし、無効パケット率とPESQ値の関係は、個々の音声系アプリケーションの特性に依存するため、その特性を考慮した変換を行う。
Next, the decrease
具体的には、音声系アプリケーションに対してランダム損失条件が与えられたときの無効パケット率21AとPESQ値21Bとの回帰曲線(図5)の回帰式(2)を利用する。この回帰式(2)と、式(5)または式(6)により表されるPESQ低下量算出関数f(x)(xは、平均連続損失長(BL)または平均損失発生間隔(LI))とから、PESQ低下量を損失の重み(PLW)に変換する損失変換式(7)を導く。
損失変換式:
PLW=−log[{3.68−(b−f(x))}/3.68]/5.17
…(7)
低下量変換部14では、この損失変換式(7)を用いて、PESQ低下量を損失の重み(PLW)に変換する。
Specifically, the regression equation (2) of the regression curve (FIG. 5) of the invalid packet rate 21A and the PESQ value 21B when a random loss condition is given to the voice system application is used. The regression equation (2) and the PESQ decrease amount calculation function f (x) represented by the equation (5) or the equation (6) (x is the average continuous loss length (BL) or the average loss occurrence interval (LI)). From this, a loss conversion equation (7) for converting the PESQ reduction amount into a loss weight (PLW) is derived.
Loss conversion formula:
PLW = −log [{3.68− (b−f (x))} / 3.68] /5.17
... (7)
The decrease
ついで、重み付き無効パケット率算出部15において、式(8)にしたがい、すべてのPESQに対して実測評価データ21の無効パケット率21A(IP)に低下量変換部14で得られた損失の重み(PLW)を加えることにより、重み付き無効パケット率(WIP)を算出する。
重み付き無効パケット率変換式:
WIP=IP+PLW …(8)
Next, in the weighted invalid packet
Weighted invalid packet rate conversion formula:
WIP = IP + PLW (8)
ついで、回帰曲線算出部16において、この重み付き無効パケット率(WIP)と実測評価データ21のPESQ値21Bとの関係を示す回帰曲線を算出する。
図8は、バースト損失情報量22Aとして平均連続損失長(PL)を用いた場合の回帰曲線の一例を示す図である。この回帰曲線は、例えば指数回帰を行うと、回帰式(9)で表される。
平均連続損失長重み回帰式:
f(PL)=3.7248exp(−4.0873PL) …(9)
Next, the regression
FIG. 8 is a diagram showing an example of a regression curve when the average continuous loss length (PL) is used as the burst loss information amount 22A. For example, when exponential regression is performed, this regression curve is represented by the regression equation (9).
Average continuous loss length weight regression equation:
f (PL) = 3.7248exp (−4.0873PL) (9)
図9は、バースト損失情報量22Aとして平均損失発生間隔(PL)を用いた場合の回帰曲線の一例を示す図である。この回帰曲線は、例えば指数回帰を行うと、回帰式(10)で表される。
平均損失発生間隔重み回帰式:
f(PL)=3.7459exp(−3.6837PL) …(10)
FIG. 9 is a diagram showing an example of a regression curve when the average loss occurrence interval (PL) is used as the burst loss information amount 22A. For example, when exponential regression is performed, this regression curve is represented by the regression equation (10).
Average loss occurrence interval weight regression formula:
f (PL) = 3.759exp (-3.6837PL) (10)
ついで、品質管理目標値算出部17において、図8または図9の重み付き無効パケット率とPESQ値21Bとの回帰曲線を参照し、データ入力部30から入力される音声主観品質目標値31に基づき重み付き無効パケット率を求める。この際、音声主観品質目標値31としてMOS値が用いられている場合には、そのMOS値をPESQ値と見なし、そのMOS値に対応する重み付き無効パケット率を求めればよい。このようにして求められた管理対象となる音声系アプリケーションの重み付き無効パケット率を、パケット通信網のパケット損失に関するネットワーク音声品質管理目標値40を示す重み付き無効パケット率41として出力する。
Next, the quality control target
[第2の実施の形態]
図10は、本発明の第2の実施の形態に係るネットワーク音声品質監視装置の構成を示すブロックである。ネットワーク音声品質監視装置(以下、品質監視装置という)6は、主観品質およびバースト損失が考慮されたネットワーク音声品質管理目標値に基づき、実際に音声系アプリケーション71A,71Bが利用されるパケット通信網7の音声品質を定常的(一定時間、一定時刻)に監視するものであり、ネットワーク音声品質管理目標値には第1の実施の形態に係る目標値算出装置1で算出されたネットワーク音声品質管理目標値40が用いられる。
[Second Embodiment]
FIG. 10 is a block diagram showing the configuration of the network voice quality monitoring apparatus according to the second embodiment of the present invention. A network voice quality monitoring device (hereinafter referred to as a quality monitoring device) 6 is a
図10において、一方の音声系アプリケーション71Aはルータ72Aを介してパケット通信網7に接続され、他方の音声系アプリケーション71Bはルータ72Bを介してパケット通信網7に接続されている。品質監視装置6は、ルータ72Aに接続され、音声系アプリケーション71A,71B間でやり取りされる音声パケットに基づき音声品質を監視する。
In FIG. 10, one
品質監視装置6には、パケットキャプチャ部61、無効パケット率算出部62、バースト損失情報量算出部63、品質評価部64、警報出力部65および表示部66が設けられている。無効パケット率算出部62、バースト損失情報量算出部63および品質評価部64は、CPUなどのマイクロプロセッサが所定のプログラムを実行することにより実現される。
図11に示すように、品質評価部64は更に、重み付き無効パケット率算出部81、音声品質管理目標値比較部82、PESQ低下量算出部83、PESQ算出部84、加算部85、音声主観品質目標値比較部86の各部からなる。
The quality monitoring device 6 includes a
As shown in FIG. 11, the
図12は、品質監視装置6の動作の流れを示すフローチャートである。
パケットキャプチャ部61では、ルータ72Aを介して音声系アプリケーション71A,71B間でやり取りされる音声パケットをキャプチャする。
無効パケット率算出部62では、パケットキャプチャ部61でキャプチャされた音声パケットからパケット損失および遅延揺らぎを測定し、その測定結果から無効パケット率62Aを算出する。測定期間や測定時刻については、パケット通信網7、提供サービス、測定機器などの形態に応じて任意に選択すればよいが、測定期間については3分が望ましい。
バースト損失情報量算出部63では、同じくパケットキャプチャ部61でキャプチャされた音声パケットの挙動から、上述した平均連続損失長または平均損失発生間隔などのバースト損失情報量63Aを算出する。
FIG. 12 is a flowchart showing an operation flow of the quality monitoring apparatus 6.
The
The invalid packet
Similarly, the burst loss information
品質評価部64では、まず重み付き無効パケット率算出部81において、無効パケット率62Aとバースト損失情報量63Aとから、バースト損失が考慮された重み付き無効パケット率81Aを算出する。この重み付き無効パケット率算出部81は、目標値算出装置1のPESQ低下量算出部33、低下量変換部14および重み付き無効パケット率算出部15を合わせた機能を備えている。すなわち、式(5)または式(6)で表されるPESQ低下量算出関数式を用いてバースト損失情報量63AからPESQ低下量を算出し、式(7)で表される損失変換式を用いてPESQ低下量を損失の重みに変換し、式(8)で表される重み付き無効パケット率変換式にしたがって損失の重みを無効パケット率62Aに加えることにより、重み付き無効パケット率81Aを算出することができる(ステップS1)。
In the
ついで、音声品質管理目標値比較部82において、目標値算出装置1から取り込まれた重み付き無効パケット率41からなるネットワーク音声品質管理目標値40と、重み付き無効パケット率算出部81で算出された重み付き無効パケット率81Aとを比較し、重み付き無効パケット率81Aが音声品質管理目標値40を満足しているかどうか判定する。この結果、音声品質管理目標値40を満足している場合には(ステップS2,YES)、パケット通信網7の音声品質の状態は、バースト損失を考慮しても安定していると判断する(ステップS3)。
Next, the voice quality management target
これに対し、音声品質管理目標値40を満足していない場合には(ステップS2,NO)、音声品質が劣化していると判断し、その要因追求を以下の手順で実施する。まず、PESQ低下量算出部83において、式(5)または式(6)で表されるPESQ低下量算出関数式を用いて、バースト損失情報量63Aに対応するPESQ低下量83Aを算出する(ステップS4)。なお、このPESQ低下量算出部83は、目標値算出装置1のPESQ低下量算出部33と同じ機能を備えている。
On the other hand, if the audio quality
また、PESQ算出部84において、式(9)または式(10)で表される回帰式を用いて、バースト損失が考慮された重み付き無効パケット率81に対応するPESQ値84Aを算出する(ステップS5)。
加算部85において、PESQ値84AとPESQ低下量83Aとを加算する。これにより、バースト損失が考慮されていない無効パケット率62Aに対応するPESQ値85Aが得られる(ステップS6)。
Further, the
The adding
ついで、音声主観品質目標値比較部86において、目標値算出装置1で指定された音声主観品質目標値31と、加算部85で算出されたPESQ値85Aとを比較し、PESQ値85Aが音声主観品質目標値31を満足しているかどうか判定する。この結果、音声主観品質目標値31を満足している場合には(ステップS7,YES)、音声品質が劣化した要因がバースト損失にあると判断する。そして、バースト損失による品質劣化に対する対処を行なうように、警報出力部65のアラームを発するとともに(ステップS8)、表示部66に具体的な指示を表示する。
Next, the speech subjective quality target
これに対し、音声主観品質目標値31を満足していない場合には(ステップS7,NO)、音声品質が劣化した要因は、バースト損失以上に、無効パケット率(パケット損失と遅延揺らぎ)の方が強いと判断する。そして、優先順位を損失と遅延による要因、バースト損失による要因の順として、品質劣化に対する対処を行なうように、警報出力部65のアラームを発するとともに(ステップS9)、表示部66に具体的な指示を表示する。
On the other hand, when the subjective voice
なお、音声品質劣化の要因追求を、より簡易に行うこともできる。すなわち、ステップS2において音声品質が劣化していると判断したときに、バースト損失の有無を確認する。バースト損失があった場合には、そのバースト損失の発生状態に応じて、バースト損失を優先的に対処するかを判断する。例えば、バースト損失が単位時間内に何回発生したかにより判断する。ただし、発生回数の閾値については、ユーザが任意に決定できる。発生回数が閾値を超える場合には、バースト損失に対処するようにアラームを発する。また、バースト損失がなかった場合には、パケット損失および遅延揺らぎに対処するようにアラームで知らせる。このようにすることにより、音声品質劣化の要因追求に要する処理負担を軽減することができる。 It should be noted that it is possible to more easily pursue the cause of the voice quality degradation. That is, when it is determined in step S2 that the voice quality has deteriorated, the presence or absence of burst loss is confirmed. When there is a burst loss, it is determined whether to deal with the burst loss preferentially according to the occurrence state of the burst loss. For example, the determination is made based on how many burst losses have occurred within a unit time. However, the user can arbitrarily determine the occurrence frequency threshold. If the number of occurrences exceeds the threshold, an alarm is issued to deal with burst loss. If there is no burst loss, an alarm is given to deal with packet loss and delay fluctuation. By doing so, it is possible to reduce the processing load required for pursuing the cause of the voice quality degradation.
次に、図13および図14を参照し、本実施の形態に係る品質監視装置6の効果について説明する。図13は、無効パケット率とPESQ値との関係を示す図であり、図14は、重み付き無効パケット率とPESQ値との関係を示す図である。両図には、同じバースト損失の条件下で得られたデータ点がプロットされている。
パケット通信網7においてバースト損失が発生した場合には、図13に示すように、PESQ値の値が急激に低下することがある。従来のように、ネットワーク音声品質管理目標値に無効パケット率を用いていると、無効パケット率が0.025であるから音声品質評価値が十分に高いと考え、実際には音声品質評価値がPESQ=2.7であり、音声品質が劣化していることに気づかない。
Next, the effect of the quality monitoring apparatus 6 according to the present embodiment will be described with reference to FIGS. 13 and 14. FIG. 13 is a diagram showing the relationship between the invalid packet rate and the PESQ value, and FIG. 14 is a diagram showing the relationship between the weighted invalid packet rate and the PESQ value. In both figures, data points obtained under the same burst loss conditions are plotted.
When burst loss occurs in the
これに対し、重み付き無効パケット率には、すでにバースト損失の影響が考慮されているので、図14に示すように、バースト損失が発生しても、そのときのPESQ値を的確に表すことができる。よって、重み付き無効パケット率をネットワーク音声品質管理目標値として用いることにより、バースト損失が発生した場合にも、パケット通信網7の品質管理を人間の知覚に合わせて的確に行うことが可能となる。
On the other hand, since the influence of burst loss has already been taken into consideration for the weighted invalid packet rate, even if burst loss occurs, the PESQ value at that time can be accurately represented as shown in FIG. it can. Therefore, by using the weighted invalid packet rate as the network voice quality management target value, it is possible to accurately perform the quality management of the
[第3の実施の形態]
図15は、本発明の第3の実施の形態に係るネットワーク音声品質監視装置の構成を示すブロックである。第2の実施の形態に係る音声品質監視装置6では、バースト損失が考慮されたネットワーク音声品質管理目標値が用いられるのに対し、本実施の形態に係る音声品質監視装置9では、バースト損失が考慮されていないネットワーク音声品質管理目標値が用いられる。具体的には、目標値算出装置101において、無効パケット率回帰式(2)を用いて算出されたネットワーク音声品質管理目標値101Aが用いられる(特許文献1参照)。この目標値101Aに基づいてパケット通信網7の監視が行われる。
[Third Embodiment]
FIG. 15 is a block diagram showing the configuration of the network voice quality monitoring apparatus according to the third embodiment of the present invention. In the voice quality monitoring apparatus 6 according to the second embodiment, the network voice quality management target value considering the burst loss is used, whereas in the voice quality monitoring apparatus 9 according to the present embodiment, the burst loss is low. Network voice quality control target values that are not taken into account are used. Specifically, the target
ただし、音声品質監視装置9は、バースト損失についても測定を行い、バースト損失に対するPESQ低下量を算出し、バースト要因によりパケット通信網7の音声品質が目標値101Aを下回っていないか、また、下回っていたとすると、どの程度であるかなどを監視する。
音声品質監視装置9の構成は、品質評価部90を除き音声品質監視装置6と同様である。品質評価部90は、図16に示すように、PESQ低下量算出部91、音声品質管理目標値比較部92、PESQ算出部93、減算部94、音声主観品質目標値比較部95の各部からなる。
However, the voice quality monitoring device 9 also measures the burst loss, calculates the PESQ reduction amount with respect to the burst loss, and whether the voice quality of the
The configuration of the voice quality monitoring device 9 is the same as that of the voice quality monitoring device 6 except for the
図17は、音声品質監視装置9の動作の流れを示すフローチャートである。
パケットキャプチャ部61では、ルータ72Aを介して音声系アプリケーション71A,71B間でやり取りされる音声パケットをキャプチャする。
バースト損失情報量算出部63では、キャプチャされた音声パケットの挙動から、上述した平均連続損失長または平均損失発生間隔などのバースト損失情報量63Aを算出する。
品質評価部90では、PESQ低下量算出部91において、式(5)または式(6)で表されるPESQ低下量算出関数式を用いて、バースト損失情報量63Aに対応するPESQ低下量91Aを算出する(ステップS11)。なお、このPESQ低下量算出部91は、目標値算出装置1のPESQ低下量算出部33と同じ機能を備えている。
FIG. 17 is a flowchart showing an operation flow of the voice quality monitoring apparatus 9.
The
The burst loss information
In the
また、無効パケット率算出部62では、パケットキャプチャ部61でキャプチャされた音声パケットからパケット損失および遅延揺らぎを測定し、その測定結果から無効パケット率62Aを算出する(ステップS12)。
そして、品質評価部90では、音声品質管理目標値比較部92において、目標値算出装置101から取り込まれた無効パケット率からなるネットワーク音声品質管理目標値101Aと、無効パケット率算出部62で算出された無効パケット率62Aとを比較し、無効パケット率62Aが音声品質管理目標値101を満足しているかどうか判定する。この結果、音声品質管理目標値101Aを満足していない場合には(ステップS13,NO)、パケット通信網7の音声状態は劣化しており、その要因は、無効パケット率が上昇したことから、パケット通信網7上でのパケット損失および遅延揺らぎの増加にあると判断する。そして、損失および遅延による品質劣化に対する対処を行なうように、警報出力部65のアラームを発するとともに(ステップS14)、表示部66に具体的な指示を表示する。例えば、管理対象となる音声系アプリケーションが自身の管理下にあり、設定変更が可能な場合には、音声系アプリケーションの揺らぎ吸収バッファを遅延との兼ね合いから変更し、次いでパケット通信網7内のノードでの設定変更を実施するよう、この手順を表示する。実際の設定内容等に関しては、ユーザが決定する。
The invalid packet
Then, in the
これに対し、音声品質管理目標値101Aを満足している場合には(ステップS13,YES)、まずPESQ算出部93において、式(2)で表される無効パケット率回帰式を用いて、無効パケット率62Aに対応するPESQ値93Aを算出する(ステップS15)。
そして、減算部94において、PESQ値84AからPESQ低下量83Aを減算する。これにより、バースト損失が考慮された無効パケット率に対応するPESQ値94Aが得られる(ステップS16)。
On the other hand, if the voice quality
Then, the
ついで、音声主観品質目標値比較部95において、目標値算出装置101で指定された音声主観品質目標値101Aと、減算部94で算出されたPESQ値94Aとを比較し、PESQ値94Aが音声主観品質目標値101Aを満足しているかどうか判定する。この結果、音声主観品質目標値101Aを満足していない場合には(ステップS17,NO)、パケット通信網7の音声状態は劣化しており、その要因はバースト損失にあると判断する。そして、バースト損失による品質劣化に対する対処を行なうように、警報出力部65のアラームを発するとともに(ステップS18)、表示部66に具体的な指示を表示する。例えば、管理網中のノード(例えば、ルータ)設定を確認し、最適なバッファリングやQoS(Quality of Service)制御を設定しなおす等の網内設備中の設定変更を実施するような指示を表示する。なお、実際の設定内容等については、ユーザが決定する。
Next, the speech subjective quality target
これに対し、音声主観品質目標値101Aを満足している場合には(ステップS17,YES)、パケット通信網7の音声品質の状態は、バースト損失を考慮しても安定していると判断する(ステップS19)。
On the other hand, when the subjective voice
なお、上述した音声品質監視装置6,9では、音声系アプリケーションの音声主観品質目標値31,101Aを複数の範囲に区分して複数の品質クラスを設け、その品質クラスに基づきパケット通信網7の音声品質を管理してもよい。
図18は、品質クラスの設定例を示す図である。この例では、品質クラスとして、「安全クラス」、「注意クラス」および「危険クラス」の3つの品質クラスが設定されている。
In the voice quality monitoring devices 6 and 9 described above, the voice subjective quality target values 31 and 101A of the voice application are divided into a plurality of ranges, and a plurality of quality classes are provided. Based on the quality classes, the
FIG. 18 is a diagram illustrating an example of setting a quality class. In this example, three quality classes of “safety class”, “caution class”, and “danger class” are set as quality classes.
安全クラスは、(重み付き)無効パケット率が0.02未満のクラスであり、90%以上のユーザがその音声サービスを主観的によいと判断するクラスに相当する。危険クラスは、(重み付き)無効パケット率が0.1以上のクラスであり、50%以上のユーザがその音声サービスを主観的に不快と判断するクラスに相当する。また、注意クラスは、安全クラスと危険クラスとの間のクラスであり、50%以上のユーザがその音声サービスを主観的によいと判断するクラスに相当する。 The safety class is a class having a (weighted) invalid packet rate of less than 0.02, and corresponds to a class in which 90% or more of the users judge that the voice service is subjectively good. The dangerous class is a class having a (weighted) invalid packet rate of 0.1 or more, and corresponds to a class in which 50% or more of users judge that the voice service is subjectively unpleasant. The attention class is a class between the safety class and the danger class, and corresponds to a class in which 50% or more of the users judge that the voice service is subjectively good.
音声系アプリケーションの音声主観品質目標値31,101Aとして安全クラスが指定され、実際にパケット通信網7から得られた性能情報から求めた品質評価が安全クラスに属する場合には、品質改善のためのアクションは必要なくアラームを発する必要はない。また、注意クラスに属する場合には、ユーザから苦情が届く可能性がでてくるため、その対応準備を指示するアラームを発すればよい。さらに、危険クラスに属する場合には、ユーザからの苦情有無に関係なく品質改善を指示するアラームを発する。
このように品質クラスを設けることにより、音声系アプリケーションに対する通信サービスについて、より迅速な品質管理を実現できる。
When the safety class is designated as the speech subjective
By providing the quality class in this way, it is possible to realize quicker quality management for the communication service for the voice application.
また、音声品質管理装置6,9では、無効パケット率とPESQとの相関が強いことに着目し、その無効パケット率を算出するためにパケット損失および遅延揺らぎを管理項目としている。しかし、これらの項目以外であっても、PESQとの相関が強いパラメータであれば、そのパラメータを管理項目としてもよい。例えば、VoIP−GW(Gateway)から取得可能なネットワーク管理情報ベース(MIB:Management Information Base)等でもよい。
また、以上の実施の形態では、バースト損失による音声系アプリケーションの音声に対するユーザ体感品質の低下量を品質客観評価値の一例であるPESQ値で表す例を示したが、受聴MOS等の品質主観評価値を用いてもよい。また、PESQのように主観品質を精度よく推定可能な客観評価技術が存在すれば、その技術により得られる品質客観評価値を用いてもよい。
The voice quality management devices 6 and 9 pay attention to the strong correlation between the invalid packet rate and the PESQ, and use packet loss and delay fluctuation as management items in order to calculate the invalid packet rate. However, other than these items, if the parameter has a strong correlation with the PESQ, the parameter may be used as a management item. For example, a network management information base (MIB) that can be acquired from VoIP-GW (Gateway) may be used.
In the above embodiment, the example in which the amount of decrease in the user experience quality with respect to the voice of the voice system application due to burst loss is represented by the PESQ value which is an example of the quality objective evaluation value. A value may be used. Further, if there is an objective evaluation technique that can accurately estimate the subjective quality such as PESQ, a quality objective evaluation value obtained by the technique may be used.
1,101…ネットワーク音声品質管理目標値算出装置、5…実験系、6,9…ネットワーク音声品質監視装置、7…パケット通信網、10…演算処理部、11,12,16…回帰曲線算出部、13,83,91…PESQ低下量算出部、14…低下量変換部、15,81…重み付きパケット率算出部、17…品質管理目標値算出部、20…データ蓄積部、21,22…実測評価データ、21A,62A…無効パケット率、21B,22B…PESQ、22A,63A…バースト損失情報量、30…データ入力部、31…音声主観品質目標値、40,101A…ネットワーク音声品質管理目標値、41…重み付き無効パケット率、51A,51B,71A,71B…音声系アプリケーション、52A,52B…電話機、53A,53B…HUB、54A,54B…パケット監視装置、55…ネットワークエミュレータ、56…無効パケット率算出装置、57,63…バースト損失情報算出部、58…客観評価装置、59…参照信号、60…被試験信号、61…パケットキャプチャ部、62…無効パケット率算出部、64,90…品質評価部、65…警報出力部、66…表示部、72A,72B…ルータ、82,92…音声品質管理目標値比較部、84,93…PESQ算出部、83A,91A…PESQ低下量、84A,85A,93A,94A…PESQ値、85…加算部、86,95…音声主観品質目標値比較部、94…減算部。
DESCRIPTION OF SYMBOLS 1,101 ... Network voice quality management target value calculation apparatus, 5 ... Experimental system, 6,9 ... Network voice quality monitoring apparatus, 7 ... Packet communication network, 10 ... Arithmetic processing part, 11, 12, 16 ... Regression curve calculation part , 13, 83, 91... PESQ reduction amount calculation unit, 14... Reduction amount conversion unit, 15, 81... Weighted packet rate calculation unit, 17... Quality control target value calculation unit, 20. Measured evaluation data, 21A, 62A ... invalid packet rate, 21B, 22B ... PESQ, 22A, 63A ... burst loss information amount, 30 ... data input unit, 31 ... voice subjective quality target value, 40, 101A ... network voice quality management target Value: 41 ... Weighted invalid packet rate, 51A, 51B, 71A, 71B ... Voice application, 52A, 52B ... Telephone, 53A, 53B ...
Claims (20)
パケットがバースト的に損失するバースト損失による前記アプリケーションに対するユーザ体感品質評価値の低下量を推定する第1のステップと、
前記ユーザ体感品質評価値の低下量に基づき前記ネットワーク品質管理目標値を算出する第2のステップと
を備えることを特徴とするネットワーク品質管理目標値算出方法。 Network quality management target for calculating a network quality management target value used in quality management of the packet communication network according to an application quality target value that is a target value of a user experience quality evaluation value required for an application used in the packet communication network In the value calculation method,
A first step of estimating a decrease in user experience quality evaluation value for the application due to burst loss in which packets are lost in bursts;
A network quality management target value calculation method comprising: a second step of calculating the network quality management target value based on a decrease amount of the user experience quality evaluation value.
前記第1のステップは、
前記アプリケーションを実験的に動作させて得られた前記アプリケーションの実測評価データから、バースト損失情報量と前記ユーザ体感品質評価値との関係を示す第1の回帰曲線を算出するステップと、
前記第1の回帰曲線の特性に基づき前記ユーザ体感品質評価値の低下量を推定するステップと
を備えることを特徴とするネットワーク品質管理目標値算出方法。 In the network quality management target value calculation method according to claim 1,
The first step includes
Calculating a first regression curve indicating a relationship between the burst loss information amount and the user experience quality evaluation value from the measurement evaluation data of the application obtained by experimentally operating the application;
Estimating the amount of decrease in the user experience quality evaluation value based on the characteristic of the first regression curve.
前記バースト損失情報量は、連続して損失したパケットの数の平均値、および、パケット損失終了から次のパケット損失開始までに受信されたパケットの数の平均値の少なくとも1つであることを特徴とするネットワーク品質管理目標値算出方法。 In the network quality management target value calculation method according to claim 2,
The burst loss information amount is at least one of an average value of the number of packets lost continuously and an average value of the number of packets received from the end of packet loss to the start of the next packet loss. Network quality management target value calculation method.
前記第1の回帰曲線の関数式、または、前記バースト損失情報量と前記ユーザ体感品質評価値の低下量との関係を示すテーブルをデータベースに保存する第3のステップを更に備えることを特徴とするネットワーク品質管理目標値算出方法。 In the network quality management target value calculation method according to claim 2 or 3,
The method further comprises a third step of storing, in a database, a function expression of the first regression curve or a table indicating a relationship between the burst loss information amount and the reduction amount of the user experience quality evaluation value. Network quality control target value calculation method.
前記第2のステップは、
前記アプリケーションを実験的に動作させて得られた前記アプリケーションの実測評価データから、パケットの損失がランダムに発生する際のパケット損失に関する性能情報と前記ユーザ体感品質評価値との関係を示す第2の回帰曲線を求めるステップと、
前記第2の回帰曲線の特性に基づき、前記ユーザ体感品質評価値の低下量を前記性能情報の低下量に変換するステップと、
前記第2の回帰曲線における前記性能情報に前記性能情報の低下量を加味した重み付き無効パケット率と前記ユーザ体感品質評価値との関係を示す第3の回帰曲線を求めるステップと、
前記第3の回帰曲線を参照し、前記アプリケーション品質目標値に応じた重み付き性能情報を算出し、前記ネットワーク品質管理目標値とするステップと
を備えることを特徴とするネットワーク品質管理目標値算出方法。 In the network quality management target value calculation method according to any one of claims 2 to 4,
The second step includes
A second value indicating the relationship between performance information related to packet loss when the packet loss occurs at random and the user experience quality evaluation value based on the measured evaluation data of the application obtained by experimentally operating the application. Obtaining a regression curve;
Converting the amount of decrease in the user experience quality evaluation value into the amount of decrease in the performance information based on the characteristics of the second regression curve;
Obtaining a third regression curve indicating a relationship between a weighted invalid packet rate obtained by adding a decrease amount of the performance information to the performance information in the second regression curve and the user experience quality evaluation value;
A network quality management target value calculation method comprising: referring to the third regression curve, calculating weighted performance information corresponding to the application quality target value, and setting the network quality management target value as the network quality management target value. .
前記パケット損失に関する性能情報は、無効パケット率またはパケット損失率であることを特徴とするネットワーク品質管理目標値算出方法。 The network quality management target value calculation method according to claim 5,
The network quality management target value calculation method according to claim 1, wherein the performance information regarding the packet loss is an invalid packet rate or a packet loss rate.
前記パケット通信網上で実際に前記アプリケーションがやり取りした各パケットからバースト損失が考慮された性能情報を測定する第4のステップと、
測定された前記性能情報と、請求項1〜7のいずれか1項に記載のネットワーク品質管理目標値算出方法により算出された前記ネットワーク品質管理目標値とを比較する第5のステップと、
比較結果に基づき前記パケット通信網の品質を監視する第6のステップと
を備えることを特徴とするネットワーク品質監視方法。 In the network quality monitoring method for monitoring the quality of the packet communication network according to the application quality target value which is the target value of the user experience quality evaluation value required for the application used in the packet communication network,
A fourth step of measuring performance information in consideration of burst loss from each packet actually exchanged by the application on the packet communication network;
A fifth step of comparing the measured performance information with the network quality management target value calculated by the network quality management target value calculation method according to any one of claims 1 to 7;
And a sixth step of monitoring the quality of the packet communication network based on the comparison result.
前記第6のステップは、
測定された前記性能情報が前記ネットワーク品質管理目標値を満足していない場合に、前記パケット通信網上で実際に前記アプリケーションがやり取りした各パケットから測定されるバースト損失情報量および前記性能情報から前記アプリケーションに対する実際のユーザ体感品質評価値を推定するステップと、
前記実際のユーザ体感品質評価値と前記アプリケーション品質目標値とを比較するステップと、
前記実際のユーザ体感品質評価値が前記アプリケーション品質目標値を満足していない場合には、バースト損失が前記パケット通信網の品質劣化の要因であると判断するステップと、
を備えることを特徴とするネットワーク品質監視方法。 The network quality monitoring method according to claim 7, wherein
The sixth step includes
When the measured performance information does not satisfy the network quality control target value, the burst loss information amount measured from each packet actually exchanged by the application on the packet communication network and the performance information Estimating an actual user experience quality rating for the application;
Comparing the actual user experience quality evaluation value with the application quality target value;
If the actual user experience quality evaluation value does not satisfy the application quality target value, determining that burst loss is a factor of quality degradation of the packet communication network;
A network quality monitoring method comprising:
前記アプリケーションを実験的に動作させて得られた前記アプリケーションの実測評価データから、パケットがバースト的に損失するバースト損失情報量と前記アプリケーションに対するユーザ体感品質評価値との関係を示す第1の回帰曲線と、パケットがランダムに損失する際のパケット損失に関する性能情報と前記ユーザ体感品質評価値との関係を示す第2の回帰曲線を求める第1のステップと、
前記第2の回帰曲線を参照し、前記アプリケーション品質目標値に対応する性能情報を算出し、ネットワーク品質管理目標値とする第2のステップと、
前記パケット通信網上で実際に前記アプリケーションがやり取りした各パケットからパケット損失に関する性能情報を測定する第3のステップと、
測定された前記性能情報と前記ネットワーク品質管理目標値とを比較する第4のステップと、
比較の結果、測定された前記性能情報が前記ネットワーク品質管理目標値を満足している場合に、前記第1および第2の回帰曲線を参照し、前記パケット通信網上で実際に前記アプリケーションがやり取りした各パケットから測定されるバースト損失情報量および前記性能情報から前記アプリケーションに対する実際のユーザ体感品質評価値を推定する第5のステップと、
前記実際のユーザ体感品質評価値と前記アプリケーション品質目標値とを比較する第6のステップと、
前記実際のユーザ体感品質評価値が前記アプリケーション品質目標値を満たしていない場合には、バースト損失が前記パケット通信網の品質劣化の要因であると判断する第7のステップと
を備えることを特徴とするネットワーク品質監視方法。 In the network quality monitoring method for monitoring the quality of the packet communication network according to the application quality target value which is the target value of the user experience quality evaluation value required for the application used in the packet communication network,
A first regression curve showing a relationship between a burst loss information amount in which packets are lost in a burst manner and a user experience quality evaluation value for the application, based on actual measurement evaluation data of the application obtained by experimentally operating the application And a first step of obtaining a second regression curve indicating a relationship between performance information relating to packet loss when a packet is randomly lost and the user experience quality evaluation value;
A second step of referring to the second regression curve, calculating performance information corresponding to the application quality target value, and setting it as a network quality management target value;
A third step of measuring performance information related to packet loss from each packet actually exchanged by the application on the packet communication network;
A fourth step of comparing the measured performance information with the network quality control target value;
As a result of the comparison, when the measured performance information satisfies the network quality management target value, the application actually exchanges on the packet communication network with reference to the first and second regression curves. A fifth step of estimating an actual user experience quality evaluation value for the application from the amount of burst loss information measured from each packet and the performance information;
A sixth step of comparing the actual user experience quality evaluation value with the application quality target value;
And a seventh step of determining that burst loss is a factor of quality degradation of the packet communication network when the actual user experience quality evaluation value does not satisfy the application quality target value. Network quality monitoring method.
前記パケット通信網の品質劣化の要因がバースト損失であると判断した場合には、バースト損失改善要求をネットワーク管理者に知らせるステップと、
前記要因がバースト損失以外であると判断した場合には、バースト損失以外のネットワーク管理項目に対する改善要求をネットワーク管理者に知らせるステップと、
前記要因がバースト損失とそれ以外との両方であると判断した場合には、どちらがより強い要因であるかを判断し、優先順位をつけて改善要求をネットワーク管理者に知らせるステップと
を備えることを特徴とするネットワーク品質監視方法。 The network quality monitoring method according to claim 8 or 9,
When determining that the cause of quality degradation of the packet communication network is burst loss, informing the network administrator of a burst loss improvement request;
If it is determined that the factor is other than burst loss, informing the network administrator of an improvement request for network management items other than burst loss;
Determining that the factor is both a burst loss and other factors, determining which is a stronger factor, and prioritizing and notifying the network administrator of the improvement request. A characteristic network quality monitoring method.
パケットがバースト的に損失するバースト損失による前記アプリケーションに対するユーザ体感品質評価値の低下量を推定する第1の演算処理部と、
前記ユーザ体感品質評価値の低下量に基づき前記ネットワーク品質管理目標値を算出する第2の演算処理部と
を備えることを特徴とするネットワーク品質管理目標値算出装置。 Network quality management target for calculating a network quality management target value used in quality management of the packet communication network according to an application quality target value that is a target value of a user experience quality evaluation value required for an application used in the packet communication network In the value calculation device,
A first arithmetic processing unit that estimates a reduction amount of a user experience quality evaluation value for the application due to burst loss in which packets are lost in bursts;
A network quality management target value calculation device comprising: a second arithmetic processing unit that calculates the network quality management target value based on a decrease amount of the user experience quality evaluation value.
前記第1の演算処理部は、
前記アプリケーションを実験的に動作させて得られた前記アプリケーションの実測評価データから、バースト損失情報量と前記ユーザ体感品質評価値との関係を示す第1の回帰曲線を算出する第1の回帰曲線算出部と、
前記第1の回帰曲線の特性に基づき前記ユーザ体感品質評価値の低下量を推定する品質評価値低下量算出部と
を備えることを特徴とするネットワーク品質管理目標値算出装置。 In the network quality management target value calculation device according to claim 11,
The first arithmetic processing unit includes:
First regression curve calculation for calculating a first regression curve indicating the relationship between burst loss information amount and the user experience quality evaluation value from the measured evaluation data of the application obtained by experimentally operating the application And
A network quality management target value calculation device comprising: a quality evaluation value decrease amount calculation unit that estimates a decrease amount of the user experience quality evaluation value based on characteristics of the first regression curve.
前記バースト損失情報量は、連続して損失したパケットの数の平均値、および、パケット損失終了から次のパケット損失開始までに受信されたパケットの数の平均値の少なくとも1つであることを特徴とするネットワーク品質管理目標値算出装置。 In the network quality management target value calculation device according to claim 12,
The burst loss information amount is at least one of an average value of the number of packets lost continuously and an average value of the number of packets received from the end of packet loss to the start of the next packet loss. A network quality management target value calculation device.
前記第1の回帰曲線の関数式、または、前記バースト損失情報量と前記ユーザ体感品質評価値の低下量との関係を示すテーブルが格納されるデータ蓄積部更に備えることを特徴とするネットワーク品質管理目標値算出装置。 In the network quality management target value calculation device according to claim 12 or 13,
The network quality management further comprising: a data storage unit storing a function expression of the first regression curve or a table indicating a relationship between the burst loss information amount and the amount of decrease in the user experience quality evaluation value Target value calculation device.
前記第2の演算処理部は、
前記アプリケーションを実験的に動作させて得られた前記アプリケーションの実測評価データから、パケットの損失がランダムに発生する際のパケット損失に関する性能情報と前記ユーザ体感品質評価値との関係を示す第2の回帰曲線を求める第2の回帰曲線算出部と、
前記第2の回帰曲線の特性に基づき、前記ユーザ体感品質評価値の低下量を前記性能情報の低下量に変換する低下量変換部と、
前記第2の回帰曲線における前記性能情報に前記性能情報の低下量を加味した重み付き無効パケット率と前記ユーザ体感品質評価値との関係を示す第3の回帰曲線を求める第3の回帰曲線算出部と、
前記第3の回帰曲線を参照し、前記アプリケーション品質目標値に応じた重み付き性能情報を算出し、前記ネットワーク品質管理目標値とする品質管理目標値算出部と
を備えることを特徴とするネットワーク品質管理目標値算出装置。 In the network quality management target value calculation device according to any one of claims 12 to 14,
The second arithmetic processing unit includes:
A second value indicating the relationship between performance information related to packet loss when the packet loss occurs at random and the user experience quality evaluation value based on the measured evaluation data of the application obtained by experimentally operating the application. A second regression curve calculation unit for obtaining a regression curve;
Based on the characteristics of the second regression curve, a reduction amount conversion unit that converts a reduction amount of the user experience quality evaluation value into a reduction amount of the performance information;
Third regression curve calculation for obtaining a third regression curve indicating the relationship between the weighted invalid packet rate in which the performance information in the second regression curve is added to the performance information reduction amount and the user experience quality evaluation value And
A network quality comprising: a quality management target value calculation unit that refers to the third regression curve, calculates weighted performance information according to the application quality target value, and sets the network quality management target value as the network quality management target value Management target value calculation device.
前記パケット損失に関する性能情報は、無効パケット率またはパケット損失率であることを特徴とするネットワーク品質管理目標値算出装置。 In the network quality management target value calculation device according to claim 15,
The network quality management target value calculation apparatus according to claim 1, wherein the performance information regarding the packet loss is an invalid packet rate or a packet loss rate.
前記パケット通信網上で実際に前記アプリケーションがやり取りした各パケットからバースト損失が考慮された性能情報を測定する性能情報測定部と、
測定された前記性能情報と、請求項11〜17のいずれか1項に記載のネットワーク品質管理目標値算出装置により算出された前記ネットワーク品質管理目標値とを比較し、比較結果に基づき前記パケット通信網の品質を監視する品質評価部と、
を備えることを特徴とするネットワーク品質監視装置。 In the network quality monitoring apparatus for monitoring the quality of the packet communication network according to the application quality target value which is the target value of the user experience quality evaluation value required for the application used in the packet communication network,
A performance information measuring unit for measuring performance information in consideration of burst loss from each packet actually exchanged by the application on the packet communication network;
The measured performance information is compared with the network quality management target value calculated by the network quality management target value calculation apparatus according to any one of claims 11 to 17, and the packet communication is performed based on a comparison result. A quality assessment department that monitors the quality of the network;
A network quality monitoring apparatus comprising:
前記品質評価部は、
測定された前記性能情報が前記ネットワーク品質管理目標値を満足していない場合に、前記パケット通信網上で実際に前記アプリケーションがやり取りした各パケットから測定されるバースト損失情報量および前記性能情報から前記アプリケーションに対する実際のユーザ体感品質評価値を推定する品質評価算出部と、
前記実際のユーザ体感品質評価値と前記アプリケーション品質目標値とを比較し、前記実際のユーザ体感品質評価値が前記アプリケーション品質目標値を満足していない場合には、バースト損失が前記パケット通信網の品質劣化の要因であると判断する品質評価値比較部と、
を備えることを特徴とするネットワーク品質監視装置。 The network quality monitoring device according to claim 17,
The quality evaluation unit
When the measured performance information does not satisfy the network quality control target value, the burst loss information amount measured from each packet actually exchanged by the application on the packet communication network and the performance information A quality evaluation calculator that estimates an actual user experience quality evaluation value for the application;
The actual user experience quality evaluation value is compared with the application quality target value, and if the actual user experience quality evaluation value does not satisfy the application quality target value, burst loss may occur in the packet communication network. A quality evaluation value comparison unit that determines that it is a factor of quality degradation;
A network quality monitoring apparatus comprising:
前記アプリケーションを実験的に動作させて得られた前記アプリケーションの実測評価データから、パケットがバースト的に損失するバースト損失情報量と前記アプリケーションに対するユーザ体感品質評価値との関係を示す第1の回帰曲線と、パケットがランダムに損失する際のパケット損失に関する性能情報と前記ユーザ体感品質評価値との関係を示す第2の回帰曲線を求める回帰曲線算出部と、
前記第2の回帰曲線を参照し、前記アプリケーション品質目標値に対応する性能情報を算出し、ネットワーク品質管理目標値とする品質管理目標値算出部と、
前記パケット通信網上で実際に前記アプリケーションがやり取りした各パケットからパケット損失に関する性能情報を測定する性能情報測定部と、
測定された前記性能情報と前記ネットワーク品質管理目標値とを比較する品質管理目標値比較部と、
比較の結果、測定された前記性能情報が前記ネットワーク品質管理目標値を満足している場合に、前記第1および第2の回帰曲線を参照し、前記パケット通信網上で実際に前記アプリケーションがやり取りした各パケットから測定されるバースト損失情報量および前記性能情報から前記アプリケーションに対する実際のユーザ体感品質評価値を推定する品質評価値算出部と、
前記実際のユーザ体感品質評価値と前記アプリケーション品質目標値とを比較し、前記実際のユーザ体感品質評価値が前記アプリケーション品質目標値を満たしていない場合には、バースト損失が前記パケット通信網の品質劣化の要因であると判断する品質目標値比較部と
を備えることを特徴とするネットワーク品質監視装置。 According to an application quality target value which is a user experience quality evaluation value required for an application used in a packet communication network, in the network quality monitoring device for monitoring the quality of the packet communication network,
A first regression curve showing a relationship between a burst loss information amount in which packets are lost in a burst manner and a user experience quality evaluation value for the application, based on actual measurement evaluation data of the application obtained by experimentally operating the application A regression curve calculation unit for obtaining a second regression curve indicating a relationship between performance information on packet loss when packets are randomly lost and the user experience quality evaluation value;
A quality management target value calculation unit that refers to the second regression curve, calculates performance information corresponding to the application quality target value, and sets it as a network quality management target value;
A performance information measuring unit that measures performance information related to packet loss from each packet actually exchanged by the application on the packet communication network;
A quality control target value comparison unit that compares the measured performance information with the network quality control target value;
As a result of the comparison, when the measured performance information satisfies the network quality management target value, the application actually exchanges on the packet communication network with reference to the first and second regression curves. A quality evaluation value calculation unit that estimates an actual user experience quality evaluation value for the application from the amount of burst loss information measured from each packet and the performance information;
When the actual user experience quality evaluation value is compared with the application quality target value, and the actual user experience quality evaluation value does not satisfy the application quality target value, burst loss is the quality of the packet communication network. A network quality monitoring apparatus comprising: a quality target value comparison unit that determines that it is a factor of deterioration.
前記パケット通信網の品質劣化の要因がバースト損失であると判断した場合には、バースト損失改善要求をネットワーク管理者に知らせる手段と、
前記要因がバースト損失以外であると判断した場合には、バースト損失以外のネットワーク管理項目に対する改善要求をネットワーク管理者に知らせる手段と、
前記要因がバースト損失とそれ以外との両方であると判断した場合には、どちらがより強い要因であるかを判断し、優先順位をつけて改善要求をネットワーク管理者に知らせる手段と
を備えることを特徴とするネットワーク品質監視装置。
The network quality monitoring device according to claim 18 or 19,
When determining that the cause of quality degradation of the packet communication network is burst loss, means for notifying a network administrator of a burst loss improvement request;
If it is determined that the factor is other than burst loss, means for notifying the network administrator of an improvement request for a network management item other than burst loss;
When it is determined that the factor is both a burst loss and the other, it is provided with means for determining which one is the stronger factor and giving priority to notify the network administrator of the improvement request. A characteristic network quality monitoring device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004051817A JP3905891B2 (en) | 2004-02-26 | 2004-02-26 | Network quality management target value calculation method and apparatus, and network quality monitoring method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004051817A JP3905891B2 (en) | 2004-02-26 | 2004-02-26 | Network quality management target value calculation method and apparatus, and network quality monitoring method and apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005244609A true JP2005244609A (en) | 2005-09-08 |
JP3905891B2 JP3905891B2 (en) | 2007-04-18 |
Family
ID=35025850
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004051817A Expired - Lifetime JP3905891B2 (en) | 2004-02-26 | 2004-02-26 | Network quality management target value calculation method and apparatus, and network quality monitoring method and apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3905891B2 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007194893A (en) * | 2006-01-19 | 2007-08-02 | Nippon Telegr & Teleph Corp <Ntt> | Image quality evaluation apparatus and method |
JP2007329773A (en) * | 2006-06-08 | 2007-12-20 | Nippon Telegr & Teleph Corp <Ntt> | Packet loss characteristic analysis apparatus, method, and program |
JP2007329774A (en) * | 2006-06-08 | 2007-12-20 | Nippon Telegr & Teleph Corp <Ntt> | User's bodily sensation quality estimating apparatus, method, and program |
JP2008172365A (en) * | 2007-01-09 | 2008-07-24 | Kddi Corp | Listening quality evaluation method and apparatus |
WO2011090185A1 (en) * | 2010-01-25 | 2011-07-28 | 日本電気株式会社 | Audio quality measurement apparatus, audio quality measurement method, and program |
JP5123384B2 (en) * | 2008-06-11 | 2013-01-23 | 日本電信電話株式会社 | Audio quality estimation method, audio quality estimation apparatus and program |
WO2021161440A1 (en) * | 2020-02-13 | 2021-08-19 | 日本電信電話株式会社 | Voice quality estimating device, voice quality estimating method and program |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107864214B (en) * | 2017-11-20 | 2020-11-17 | 中冶沈勘秦皇岛工程设计研究总院有限公司 | Networked assay quality control tube system and method |
-
2004
- 2004-02-26 JP JP2004051817A patent/JP3905891B2/en not_active Expired - Lifetime
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007194893A (en) * | 2006-01-19 | 2007-08-02 | Nippon Telegr & Teleph Corp <Ntt> | Image quality evaluation apparatus and method |
JP4490374B2 (en) * | 2006-01-19 | 2010-06-23 | 日本電信電話株式会社 | Video quality evaluation apparatus and method |
JP4634339B2 (en) * | 2006-06-08 | 2011-02-16 | 日本電信電話株式会社 | User experience quality estimation apparatus, method, and program |
JP2007329773A (en) * | 2006-06-08 | 2007-12-20 | Nippon Telegr & Teleph Corp <Ntt> | Packet loss characteristic analysis apparatus, method, and program |
JP2007329774A (en) * | 2006-06-08 | 2007-12-20 | Nippon Telegr & Teleph Corp <Ntt> | User's bodily sensation quality estimating apparatus, method, and program |
JP4584870B2 (en) * | 2006-06-08 | 2010-11-24 | 日本電信電話株式会社 | Packet loss characteristic analysis apparatus, method, and program |
JP2008172365A (en) * | 2007-01-09 | 2008-07-24 | Kddi Corp | Listening quality evaluation method and apparatus |
JP5123384B2 (en) * | 2008-06-11 | 2013-01-23 | 日本電信電話株式会社 | Audio quality estimation method, audio quality estimation apparatus and program |
US8868222B2 (en) | 2008-06-11 | 2014-10-21 | Nippon Telegraph And Telephone Corporation | Audio quality estimation method, audio quality estimation apparatus, and computer readable recording medium recording a program |
WO2011090185A1 (en) * | 2010-01-25 | 2011-07-28 | 日本電気株式会社 | Audio quality measurement apparatus, audio quality measurement method, and program |
JPWO2011090185A1 (en) * | 2010-01-25 | 2013-05-23 | 日本電気株式会社 | Voice quality measuring device, voice quality measuring method and program |
WO2021161440A1 (en) * | 2020-02-13 | 2021-08-19 | 日本電信電話株式会社 | Voice quality estimating device, voice quality estimating method and program |
JPWO2021161440A1 (en) * | 2020-02-13 | 2021-08-19 | ||
JP7298719B2 (en) | 2020-02-13 | 2023-06-27 | 日本電信電話株式会社 | Voice quality estimation device, voice quality estimation method and program |
Also Published As
Publication number | Publication date |
---|---|
JP3905891B2 (en) | 2007-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9871912B2 (en) | Detecting conference call performance issue from aberrant behavior | |
JP3905891B2 (en) | Network quality management target value calculation method and apparatus, and network quality monitoring method and apparatus | |
CN110890972B (en) | Health degree evaluation method and device of business system | |
EP2741439B1 (en) | Network failure detecting method and monitoring center | |
JP4460506B2 (en) | User experience quality estimation apparatus, method, and program | |
EP1414187A1 (en) | Method for evaluating the quality of service of a telecommunication link via a network | |
CN106559582B (en) | VoLTE user subjective perception guarantee method and system | |
JP4510583B2 (en) | Bidirectional multimodal service quality estimation apparatus and method | |
JP4933475B2 (en) | BAND MANAGEMENT PROGRAM, BAND MANAGEMENT DEVICE, AND BAND MANAGEMENT METHOD | |
JP3714551B2 (en) | Network voice quality management target value calculation method and apparatus, and network voice quality monitoring method and apparatus | |
JP4383196B2 (en) | Video service quality management method and apparatus for implementing the method | |
JP2007135040A (en) | Device for estimating user sensory quality, method, and program | |
JP5533177B2 (en) | Packet loss rate estimation device, packet loss rate estimation method, packet loss rate estimation program, and communication system | |
JP4761391B2 (en) | Listening quality evaluation method and apparatus | |
JP3579334B2 (en) | Subjective quality estimation method, subjective quality estimation device, fluctuation absorption allowable time estimation method, and fluctuation absorption allowable time estimation device | |
Tasaka et al. | Real-time estimation of user-level QoS in audio-video IP transmission by using temporal and spatial quality | |
Zach et al. | Quality of experience of voice services in corporate network | |
JP2007329774A (en) | User's bodily sensation quality estimating apparatus, method, and program | |
JP4327685B2 (en) | User experience quality monitoring method, user experience quality monitoring apparatus, estimation model generation method, and estimation model generation apparatus | |
JP4733071B2 (en) | Video quality estimation method and apparatus | |
JP5216809B2 (en) | Call quality estimation method, call quality estimation apparatus, and call quality estimation system | |
JP7298719B2 (en) | Voice quality estimation device, voice quality estimation method and program | |
JP2007329776A (en) | Network quality analysis apparatus, quality class determining apparatus, network quality analysis method, quality class determining method, and program | |
JP3910969B2 (en) | Multi-point communication total quality estimation apparatus, method, quality monitoring apparatus, and method | |
JP3785384B2 (en) | Delivery service quality degradation estimation method and apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050601 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061010 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061017 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070112 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 3905891 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110119 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110119 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120119 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130119 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |