JP2003234779A - 品質推定方法および装置 - Google Patents

品質推定方法および装置

Info

Publication number
JP2003234779A
JP2003234779A JP2002032857A JP2002032857A JP2003234779A JP 2003234779 A JP2003234779 A JP 2003234779A JP 2002032857 A JP2002032857 A JP 2002032857A JP 2002032857 A JP2002032857 A JP 2002032857A JP 2003234779 A JP2003234779 A JP 2003234779A
Authority
JP
Japan
Prior art keywords
subjective evaluation
evaluation value
value
estimated
objective measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002032857A
Other languages
English (en)
Other versions
JP3764394B2 (ja
Inventor
Yukitaka Masuda
征貴 増田
Katsunori Ori
織  克典
Ginga Kawaguchi
銀河 川口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2002032857A priority Critical patent/JP3764394B2/ja
Publication of JP2003234779A publication Critical patent/JP2003234779A/ja
Application granted granted Critical
Publication of JP3764394B2 publication Critical patent/JP3764394B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)
  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

(57)【要約】 【課題】 リアルタイム系アプリケーションに対する利
用者の心理的な距離の違いを正規化して心理的距離を同
一尺度にすることができ、知覚上の品質すなわち主観評
価値をネットワーク品質から推定でき、あるいはパケッ
ト網管理指標に対する客観測定値を推定できるようにす
る。 【解決手段】 推定部10で、入力客観測定値PIに対
応する所望の推定主観評価値:推定MOSを、その入力
客観測定値と被試験者の評価尺度上の心理的距離の違い
を正規化した推定主観評価値との正規化された推定対応
関係に基づき推定する。そのとき、推定対応関係とし
て、予め実測された客観測定値PIと主観評価値MOS
との対応関係m(PI)の主観評価値に含まれる心理的
距離の違いを、予め実測された同一評価対象に対する各
客観測定値のバラツキの大きさf(MOS)に基づき正
規化して得られた対応関係を用いて、心理的距離を考慮
した所望の推定主観評価値:推定MOSを推定する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、品質推定方法およ
び装置に関し、特にパケット網におけるVoIP(Voic
e over IP)等のリアルタイム系アプリケーションの主
観評価値やパケット網管理指標に対する客観測定値を推
定する品質推定方法および装置に関するものである。
【0002】
【従来の技術】パケット網における例えばVoIP音声
系アプリケーションなどのリアルタイム系アプリケーシ
ョンに対する品質評価は、主観評価や客観評価によって
行われる。特に、利用者の知覚的品質を定量的に表すた
めに、主観評価が主流である。また、近年では、客観評
価を行う測定機器が多く開発されつつあり、客観測定値
から主観評価値を推定するアプローチも存在する。主観
評価とは、最終的にアプリケーションを利用する形態
で、利用者たる人間がその品質を評価する方法であり、
例えば音声系アプリケーションについては、電話系の総
合品質評価に用いられるオピニオン評価法に準じて主観
評価を推定する。
【0003】オピニオン評価法は、系列範疇法(Method
of Successive Categories)と呼ばれる心理測定法の
一種である。被験者は、被試験音声の品質を、日常使用
している電話の品質に照らして、「非常によい」〜「非
常に悪い」まで5段階で評価する。そして、その評価に
5〜1点(あるいは4〜0点)の評点を与え、多数の被
験者による投票率にしだがって加重平均値を求めたもの
をMOS値(Mean OpinionSource:平均オピニオン値)
として用いる(例えば、浅谷,「通信ネットワークの品
質設計」,社団法人電子情報通信学会,1993,Marなど参
照)。
【0004】このようなMOS値等で表される主観評価
値は、多数の被験者の投票率に従った荷重平均であり、
「非常に良い」や「非常に悪い」と評価された評価対象
に対する分散は小さいが「普通(まあ良い)」と判断さ
れる評価対象は、被験者の心理的特性が強く反映される
ため、先の評価対象に比べて分散が大きくなる。したが
って、主観評価値は、心理的な距離の違いを保持する評
価尺度であるとされている。
【0005】
【発明が解決しようとする課題】しかしながら、従来の
品質評価技術では、このような心理的距離までを考慮し
て客観測定値から主観品質を推定するものはなかった。
また、パケットごとの性能情報、例えばパケット損失な
どのネットワーク品質から心理的距離の違いを考慮した
主観品質を推定する技術もなく、あるいは、このような
心理的特性まで考慮してパケット網管理指標に対する客
観測定値を推定するものもなかった。本発明はこのよう
な課題を解決するためのものであり、音声系アプリケー
ションに対する利用者の心理的な距離の違いを正規化し
て心理的距離を同一尺度にすることができ、知覚上の品
質すなわち主観評価値をネットワーク品質から推定で
き、あるいはパケット網管理指標に対する客観測定値を
推定できる品質推定方法および装置を提供することを目
的としている。
【0006】
【課題を解決するための手段】このような目的を達成す
るために、本発明にかかる品質推定方法は、パケット網
で用いられるリアルタイム系アプリケーションの品質に
ついて、ネットワーク性能として測定可能な客観測定値
から、被試験者の主観的な評価に基づく主観評価値を推
定する品質推定装置で用いる品質推定方法において、品
質推定装置の推定部で、入力客観測定値に対応する所望
の推定主観評価値を、その入力客観測定値と推定主観評
価値との推定対応関係に基づき推定し、推定対応関係と
して、予め実測された客観測定値と主観評価値との対応
関係の主観評価値に含まれる心理的距離の違いを、予め
実測された同一評価対象に対する各客観測定値のバラツ
キの大きさに基づき正規化して得られた対応関係を用い
るようにしたものである。
【0007】具体的には、推定部で、入力客観測定値に
対応する正規化主観評価値を、その入力客観測定値と正
規化主観評価値との正規化対応関係に基づき算出し、得
られた正規化主観評価値を所望の評価尺度における主観
評価値へ変換し推定主観評価値として出力し、そのと
き、正規化対応関係として、予め実測された客観測定値
と主観評価値との対応関係の各主観評価値ごとに、その
主観評価値に対応するバラツキの大きさを用いて当該主
観評価値に含まれる心理的距離の違いを正規化して得ら
れた各正規化主観評価値と、各客観測定値との対応関係
を用いるようにしてもよい。
【0008】さらに、正規化対応関係として、当該主観
評価値に対応するバラツキの大きさと主観評価値の基準
値に対応するバラツキの大きさとの違いに基づき、当該
主観評価値が基準値以上の場合には当該主観評価値を増
加させ、当該主観評価値が基準値を下回る場合は当該主
観評価値を減少させることにより得られた正規化主観評
価値を用いるようにしてもよい。
【0009】他の具体例として、推定部で、予め実測さ
れた各客観測定値と主観評価値とから、それぞれの主観
評価値に対応するバラツキの大きさを重み付けに用いて
得られた回帰推定式に基づき、入力客観測定値に対応す
る推定主観評価値を出力するようにしてもよい。バラツ
キとして当該主観評価値の分散を用いるようにしてもよ
い。
【0010】また、本発明にかかる他の品質推定方法
は、パケット網で用いられるリアルタイム系アプリケー
ションの品質について、サービス利用限界として指定さ
れた指定主観評価値に応じた客観測定値を推定する品質
推定装置で用いる品質推定方法において、品質推定装置
の推定部で、指定主観評価値に対応する所望の推定客観
測定値を、その指定主観評価値と推定客観測定値との推
定対応関係に基づき推定し、推定対応関係として、予め
実測された客観測定値と主観評価値との対応関係の主観
評価値に含まれる心理的距離の違いを、予め実測された
同一評価対象に対する各客観測定値のバラツキの大きさ
に基づき正規化して得られた対応関係を用いるようにし
たものである。
【0011】また、本発明にかかる品質推定装置は、パ
ケット網で用いられるリアルタイム系アプリケーション
の品質について、ネットワーク性能として測定可能な客
観測定値から、被試験者の主観的な評価に基づく主観評
価値を推定する品質推定装置において、入力客観測定値
に対応する所望の推定主観評価値を、その入力客観測定
値と推定主観評価値との推定対応関係に基づき推定する
推定部を備え、この推定部で、推定対応関係として、予
め実測された客観測定値と主観評価値との対応関係の主
観評価値に含まれる心理的距離の違いを、予め実測され
た同一評価対象に対する各客観測定値のバラツキの大き
さに基づき正規化して得られた対応関係を用いるように
したものである。
【0012】具体的構成としては、推定部に、入力客観
測定値に対応する正規化主観評価値を、その入力客観測
定値と正規化主観評価値との正規化対応関係に基づき算
出する正規化手段と、この正規化手段で得られた正規化
主観評価値を所望の評価尺度における主観評価値へ変換
し推定主観評価値として出力する変換手段とを設け、正
規化対応関係として、予め実測された客観測定値と主観
評価値との対応関係の各主観評価値ごとに、その主観評
価値に対応するバラツキの大きさを用いて当該主観評価
値に含まれる心理的距離の違いを正規化して得られた各
正規化主観評価値と、各客観測定値との対応関係を用い
るようにしてもよい。
【0013】さらに、正規化対応関係として、当該主観
評価値に対応するバラツキの大きさと主観評価値の基準
値に対応するバラツキの大きさとの違いに基づき、当該
主観評価値が基準値以上の場合には当該主観評価値を増
加させ、当該主観評価値が基準値を下回る場合は当該主
観評価値を減少させることにより得られた正規化主観評
価値を用いるようにしてもよい。
【0014】他の具体的構成としては、推定部に、予め
実測された客観測定値と主観評価値とから、それぞれの
主観評価値に対応するバラツキの大きさを重み付けに用
いて得られた回帰推定式に基づき、入力客観測定値に対
応する推定主観評価値を出力する重み付け回帰推定手段
を設けてもよい。バラツキとして当該主観評価値の分散
を用いるようにしてもよい。
【0015】本発明にかかる他の品質推定装置は、パケ
ット網で用いられるリアルタイム系アプリケーションの
品質について、サービス利用限界として指定された指定
主観評価値に応じた客観測定値を推定する品質推定装置
において、指定主観評価値に対応する所望の推定客観測
定値を、その指定主観評価値と推定客観測定値との推定
対応関係に基づき推定する推定部を備え、この推定部
で、推定対応関係として、予め実測された客観測定値と
主観評価値との対応関係の主観評価値に含まれる心理的
距離の違いを、予め実測された同一評価対象に対する各
客観測定値のバラツキの大きさに基づき正規化して得ら
れた対応関係を用いるようにしたものである。
【0016】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。図1は本発明の一実施の形
態にかかる品質推定装置の構成を示すブロック図であ
る。この品質推定装置は、全体としてコンピュータから
なり、演算処理部1、データ入出力部2、データ蓄積部
3、操作入力部4および画面表示部5が設けられてお
り、これらが内部バス6を介して相互に接続されてい
る。演算処理部1は、CPUなどのマイクロプロセッサ
とその周辺回路から構成されている。
【0017】データ入出力部2は、品質推定装置の動作
に用いるデータ、例えば計測機器により実測された客観
測定値、被試験者により判定された主観評価値、さらに
は演算処理部1で実行するプログラムなどを入出力する
ための回路部である。データ蓄積部3は、ハードディス
クやメモリなどの記憶装置からなり、データ入出力部2
から入力された各種データや演算処理部1の動作に用い
る各種データ、さらには演算処理部1で実行するプログ
ラムなどを記憶し蓄積する回路部である。
【0018】操作入力部4は、キーボードやマウスなど
の操作を検出して演算処理部1へ通知する回路部であ
る。画面表示部5は、CRTやLCDなどの画面表示装
置からなり、演算処理部1での処理結果など各種情報を
表示する回路部である。演算処理部1には、機能部とし
て声系アプリケーションの品質を推定する推定部10が
設けられている。この推定部10は、演算処理部1のハ
ードウェア資源とプログラムからなるソフトウェア資源
とが協働して構成されており、操作入力部4からの指示
に応じて起動され、データ蓄積部3、データ入出力部2
あるいは操作入力部4から入力されたデータに基づき処
理を開始する。そして、その処理結果を画面表示部5へ
表示する。
【0019】[第1の実施の形態]次に、図2を参照し
て、本発明の第1の実施の形態にかかる品質推定装置に
ついて説明する。図2は第1の実施の形態にかかる品質
推定装置の推定部10を示す機能ブロック図である。本
実施の形態の品質推定装置は、前述した図1の構成を有
しており、その推定部10には、図2に示すように、正
規化手段11と変換手段12とが設けられている。
【0020】推定部10では、入力された客観測定値P
I(21)に対応する推定主観評価値:推定MOS(2
3)を、その入力客観測定値PIと被試験者の評価尺度
上の心理的距離の違いを正規化した推定主観評価値:推
定MOSとの正規化された推定対応関係に基づき推定推
定する。このとき、推定対応関係として、予め実測され
た客観測定値と主観評価値との対応関係の主観評価値に
含まれる心理的距離の違いを、予め実測された同一評価
対象に対する各客観測定値のバラツキの大きさに基づき
正規化して得られた対応関係を用いて、心理的距離を考
慮した所望の推定主観評価値:推定MOSを推定する。
【0021】推定部10では、このような推定処理を正
規化手段11と変換手段12を用いて実現している。正
規化手段11は、予め得られた客観測定値と心理的距離
の違いが正規化された正規化主観評価値との対応を示す
正規化対応関係g(PI)に基づき、入力された客観測
定値PI(Packet Information)(21)に対応する正
規化主観評価値CSS(Converted Subject Score)
(22)を算出する機能部である。変換手段12は、こ
の正規化手段11で得られた正規化主観評価値CSSを
所望の評価尺度における主観評価値へ変換し所望の推定
主観評価値:推定MOS(23)として出力する機能部
である。
【0022】正規化手段11で用いられる正規化対応関
係は、上記対応関係により得られた各客観測定値に対す
る主観評価値ごとに、その主観評価値に対応するバラツ
キの大きさを用いて当該主観評価値に含まれる心理的距
離を正規化して得られた各正規化主観評価値と、元の各
客観測定値との対応関係からなる。
【0023】[客観測定値と主観評価値との対応関係]
まず、予め実測により得ておく、客観測定値と主観評価
値との対応関係m(PI)について説明する。図3に客
観測定値と主観評価値との対応関係を得るための測定系
の構成例を示す。この対応関係は、一般的な主観評価試
験を実施することにより得られる(例えば、本発明の発
明者による特願2000−247421号など参照)。
以下、図3を参照して、その一例について説明する。
【0024】パケット送信側となるLAN−Aには、V
oIPなどのリアルタイム系アプリケーションを実行す
るVoIPアプリケーション31A、このVoIPアプ
リケーション31Aに接続された電話機32A、LAN
−Aを構成するハブ(HUB)33A、VoIPアプリ
ケーション31AのVoIPから送信された試験用パケ
ットをハブ33Aを介して監視(キャプチャ)するパケ
ット監視装置34A、WANの通信回線37とLAN−
Aとを接続するためのルータ36Aが設けられている。
【0025】パケット受信側となるLAN−Bには、V
oIPなどのリアルタイム系アプリケーションを実行す
るVoIPアプリケーション31B、このVoIPアプ
リケーション31Bに接続された電話機32B、LAN
−Bを構成するハブ(HUB)33B、VoIPアプリ
ケーション31BのVoIPで受信される試験用パケッ
トをハブ33Aを介して監視(キャプチャ)するパケッ
ト監視装置34B、WANの通信回線37とLAN−B
とを接続するためのルータ36Bが設けられている。
【0026】図4は無効パケット率とMOS値との対応
関係m(PI)を示すグラフである。このグラフの各回
帰曲線は、図3に示した測定系の背景負荷生成装置35
A,35Bを制御して、種々のネットワーク負荷を仮想
的に発生させて実際に試験して得られたものである。M
OS値については、ネットワーク上で送信側の電話機3
2Aから音声を流して受信側の電話機32Bで録音した
224条件の音声ファイル各々に対し、20人の被験者
が5段階で評価を行い、その平均値を音声ファイルに対
するMOS値として用いた。
【0027】また、このときの全送信パケット数に対す
る損失パケット数の割合を示すパケット損失率を算出
し、これらの対応関係から回帰曲線を求めた。なお、客
観測定値として、パケット損失率のほか、パケット遅延
揺らぎについて回帰曲線を求めてもよい。
【0028】[主観評価値の心理的距離]続いて、主観
評価値の心理的距離について説明する。主観評価試験に
おいて、1つの評価対象(例えば1つの評価音声)に対
する被験者全員の評点の平均、すなわち主観評価値MO
Sと分散を全評価対象に対して得ると図5のようにな
る。なお、この主観評価試験は、前述した客観測定値と
主観評価値との対応関係を求めるための主観評価試験の
試験結果を利用してもよく、これとは別個に実施しても
よい。
【0029】この図5により、主観評価値が「1」や
「5」近くに評価される評価対象の評点の分散は、
「3」の近くに評価されるものの分散より小さい。この
ような分散の違いが心理的距離の違いである。この距離
を正規化するために、図5に示したようなMOSに対す
る95%信頼区間(分散×係数)の多項式(2次式)近
似を行い、回帰曲線r(MOS)を算出する。また、そ
の回帰曲線の逆数を、上記距離を正規化するための主観
評価値の重み関数f(MOS)とする。このようにし
て、同一評価対象に対する各客観測定値のバラツキの大
きさ、ここではf(MOS)を予め得ておく。図5から
得られたr(MOS)およびf(MOS)を数1に示
す。
【0030】
【数1】
【0031】[スケール変換法]以上のようにして、客
観測定値と主観評価値との対応関係m(PI)、および
同一評価対象に対する各客観測定値のバラツキの大きさ
f(MOS)を予め得ておく。ここで対応関係m(P
I)で用いられた主観評価値には、被試験者の心理的距
離の違いが含まれているため、本実施の形態では、これ
を同一評価対象に対する各客観測定値のバラツキの大き
さで正規化している。これをスケール変換法という。
【0032】そして、客観測定値PI(21)と心理的
距離を考慮した主観評価値すなわち正規化主観評価値C
SS(22)との関係式すなわち正規化対応関係gを得
ておくことにより、ネットワークから実測された入力客
観測定値に対応する所望の主観評価値を推定する際の処
理、特に正規化手段11における正規化処理の効率化を
実現している。
【0033】以下、スケール変換法について説明する。
このスケール変換法では、数2に示すように、前述した
同一評価対象に対する各客観測定値のバラツキの大きさ
f(MOS)を重み関数に用いて、対応関係m(PI)
の主観評価値MOSを、心理的距離が正規化された主観
評価値CSSに変換している。数2では、「MOS=
3」が「普通(まあ良い)」と評価される評点を主観評
価値の基準値としているが、主観評価値が「0」から
「4」の尺度で表現される場合は、その中央に位置する
「2」を基準とすればよい。
【0034】
【数2】
【0035】ここでは、主観評価値でのバラツキの大き
さと基準値でのバラツキの大きさの違い、すなわちf
(MOS)とf(3)との差を求め、正規化する主観評
価値が基準値以上の場合は、当該主観評価値に差を加算
し、正規化する主観評価値が基準値を下回る場合は、当
該主観評価値から差を減算している。これにより、基準
値を中心に主観評価値の評価尺度が、「MOS=1」お
よび「MOS=5」の両端方向へ延伸され、特にバラツ
キが少ない両端付近ほど大きく引き延ばされた形とな
る。
【0036】上記数2により変換された主観評価値CS
Sと客観測定値PIであるパケットごとの性能情報との
関係は、図6のようなグラフとなる。この図6の各プロ
ットから求められた回帰曲線を示す多項式すなわち正規
化対応関係g(PI)が数3である。なお、図6には、
比較として、正規化を行わない重み付けなしの主観評価
値の各プロットから求められた回帰曲線も示してある。
【0037】
【数3】
【0038】この正規化対応関係g(PI)を用いて主
観評価値を推定した結果を図7に示す。また、比較のた
めに、正規化を行わずに推定した結果、すなわち重みを
付けずに距離のみ変換したものを図8に示す。図7で
は、寄与率が0.93であり、図8では寄与率が0.8
9であった。このように、寄与率やグラフからも推定精
度が向上しており、特に主観評価値の低い部分での推定
精度が向上していることが分かる。
【0039】その後、最終的に所望の推定主観評価値:
推定MOSを推定する際には、先の正規化対応関係g
(PI)より算出した値すなわち正規化主観評価値CS
Sを、変換手段12において数4の変換式p(CSS)
を用いて再変換し、主観評価値を推定する。ここで用い
る変数MOSは、先の数2で用いたMOSと同じ値を用
いる。つまり、数2とは逆の加減算を行う。
【0040】
【数4】
【0041】以上の処理を行って、事前に、正規化対応
関係g(PI)を導出しておくことにより、以後では客
観測定を行うのみで、入力された客観測定値PIから所
望の推定主観評価値:推定MOSを推定することが可能
となる。ただし、その際には、数4の式f(MOS)
を、「変換された主観評価値CSS」が変数となるよう
に、変換式h(CSS)を事前に決定しておく必要があ
る。つまり、数4を数5に変換して用いる。
【0042】
【数5】
【0043】このように、本実施の形態によれば、推定
部10で、入力客観測定値PIに対応する所望の推定主
観評価値:推定MOSを、その入力客観測定値と被試験
者の評価尺度上の心理的距離の違いを正規化した推定主
観評価値との正規化された推定対応関係に基づき推定す
るものとし、そのとき、推定対応関係として、予め実測
された客観測定値PIと主観評価値MOSとの対応関係
m(PI)の主観評価値に含まれる心理的距離の違い
を、予め実測された同一評価対象に対する各客観測定値
のバラツキの大きさf(MOS)に基づき正規化して得
られた対応関係を用いて、心理的距離を考慮した所望の
推定主観評価値:推定MOSを推定するようにした。こ
れにより、音声系アプリケーションに対する利用者の心
理的な距離の違いを正規化して心理的距離を同一尺度に
することにより、知覚上の品質すなわち主観品質をネッ
トワーク品質から推定できる。
【0044】また、推定部10の正規化手段11で、予
め実測により得られた同一評価対象に対する各客観測定
値PIのバラツキの大きさ、具体的には客観測定値PI
の分散を用いて、主観評価値に含まれる被試験者の心理
的距離の違いを正規化した正規化主観評価値CSSを求
めて、客観測定値PIと正規化主観評価値CSSとの正
規化対応関係g(PI)を前もって用意しておき、この
正規化対応関係g(PI)を用いて入力客観測定値PI
に対応する正規化主観評価値CSSを算出し、変換手段
12で、変換式p(CSS)を用いてその正規化主観評
価値CSSを所望の評価尺度における主観評価値へ変換
し所望の推定主観評価値:推定MOSとして出力するよ
うにした。これにより、予め実測で得られた客観測定値
と主観評価値との対応関係で用いた主観評価値に含まれ
る心理的な距離の違いを、数2で示したような複雑な演
算を必要とすることなく正規化できる。
【0045】さらに、正規化対応関係g(PI)は、当
該主観評価値に対応するバラツキの大きさf(MOS)
と主観評価値の基準値に対応するバラツキの大きさf
(3)との違いに基づき、当該主観評価値が基準値以上
の場合には当該主観評価値を増加させ、当該主観評価値
が基準値を下回る場合は当該主観評価値を減少させるこ
とにより得られた正規化主観評価値CSSを用いるよう
にした。これにより、主観評価値のうち評価の高い部分
と低い部分での心理的距離が大きく改善されて推定精度
が高くなり、特に主観評価値の低い部分で厳密に推定で
き、VoIP音声系アプリケーションの利用限界を判断
する際に極めて有用である。
【0046】[重み付け回帰法]次に、本発明の第2の
実施の形態にかかる品質推定装置について説明する。前
述した第1の実施の形態では、スケール変換法を用い
て、入力客観測定値に対応する所望の推定主観評価値:
推定MOSを推定する場合について説明したが、本実施
の形態では、客観測定値PIと推定主観評価値:推定M
OSとの対応関係w(PI)を重み付け回帰により直接
導出する重み付け回帰法を用いる場合について説明す
る。
【0047】本実施の形態にかかる品質推定装置の構成
は、前述した図1と同様である。ただし、推定部10の
構成は図9となる。図9は、第2の実施の形態にかかる
品質推定装置の推定部10を示す機能ブロック図であ
る。推定部10には、回帰推定式w(PI)に基づき、
入力客観測定値PI(21)に対応する所望の推定主観
評価値:推定MOS(23)を算出する重み付け回帰推
定手段15が設けられている。
【0048】回帰推定式w(PI)を導出するにあたっ
て、前述と同様に、予め主観評価試験を行い、客観測定
値と主観評価値との対応関係m(PI)、および主観評
価値に含まれる心理的距離を正規化するための主観評価
値の重み関数f(MOS)を得ておく。そして、対応関
係m(PI)を示す各プロットについて重み関数値f
(MOS)で重み付けを行う。このとき、主観評価値M
OSを持つプロットごとに、その主観評価値MOSから
求められ重み関数値f(MOS)を用いて重み付けを行
う。このようにして、重み付けを行った各ブロックから
回帰曲線を求める。これにより、客観測定値と心理的距
離を考慮した所望の推定主観評価値:推定MOSとの対
応関係を示す回帰推定式w(PI)が得られる。
【0049】図10は、客観評価値ここではパケットご
との性能情報PIとMOS(変換されていない主観評価
値)の関係を示し、その2つをf(MOS)の重みを付
けて多項式により近似した回帰曲線が示されている。そ
の多項式すなわち回帰推定式w(PI)を数6に示す。
【0050】
【数6】
【0051】このように、事前に回帰推定式w(PI)
を算出することにより、以後、客観測定を行うのみで、
客観測定値から主観評価値を推定することが可能とな
る。この重み付回帰を用いて算出されたw(PI)によ
って推定主観評価値:推定MOSを推定した結果を図1
1に示す。比較のために、重み付けを行わずに算出した
回帰推定式を用いて推定した結果を図12に示す。これ
らより、寄与率からも推定精度が向上していることが分
かる。特に、主観値の低い部分での推定精度が向上して
おり、音声系アプリケーションの品質が悪い箇所を厳密
に推定可能であることを意味している。
【0052】[品質管理目標値の推定]次に、本発明の
第3の実施の形態にかかる品質推定装置について説明す
る。前述した第1および第2の実施の形態では、実測に
より得られた客観測定値に対応する推定主観評価値を推
定する場合について説明したが、本実施の形態では、音
声系アプリケーションの品質について、サービス利用限
界として指定された指定主観評価値に応じた客観測定値
を推定する場合について説明する。
【0053】音声系アプリケーションの品質を管理する
際、目標とする品質が得られているかどうかをチェック
するには、ネットワークから測定された客観測定値で判
断するほうが客観的に判断できる。しかし、実際に目標
とする品質を決定する場合は、利用者の主観評価値によ
り決定される。したがって、目標とする主観評価値に対
応する客観測定値を求め、その客観測定値により品質を
管理すればよい。
【0054】このとき、前述したように目標とする主観
評価値には、被試験者の評価尺度上の心理的距離の違い
が含まれているため、この心理的距離の違いが考慮され
ていない客観測定値を品質管理に用いた場合、知覚上の
品質とのずれが生じる。本実施の形態では、このような
心理的距離の違いを考慮して、目標となる主観評価値に
対応する客観測定値を求めるようにしたものである。
【0055】本実施の形態にかかる品質推定装置の構成
は、前述した図1と同様であるものの、図13に示すよ
うに、推定部10には、変換手段42と正規化手段41
とが設けられている。変換手段42および正規化手段4
1は、前述した図2の変換手段12および正規化手段1
1の逆処理を行う機能手段である。
【0056】まず、変換手段12では、変換式p(CS
S)を用いて正規化主観評価値CSSを推定主観評価
値:推定MOSへ変換していたが、変換手段42では、
目標として選択された主観評価値MOSを正規化主観評
価値CSSへ変換する。同じく、正規化手段11では、
入力客観測定値PIから正規化主観評価値CSSを算出
していたが、正規化手段41では、正規化主観評価値C
SSを客観測定値PIへ変換する。このとき、変換手段
42では、前述した変換式p(CSS)の逆変換を行う
変換式P(MOS)を用いればよい。また、正規化手段
41では、前述した正規化対応関係g(PI)の逆変換
を行う正規化対応関係G(CSS)を用いればよい。
【0057】また、図13に代えて、図14に示すよう
な推定部10を用いてもよい。この推定部10には、前
述した図9の重み付け回帰推定手段15の逆処理を行う
重み付け回帰推定手段45が設けられている。重み付け
回帰推定手段15では、入力客観測定値PIから推定主
観評価値を推定していたが、重み付け回帰推定手段45
では、主観評価値から客観測定値を推定する。このと
き、重み付け回帰推定手段45では、前述した回帰推定
式w(PI)の逆変換を行う回帰推定式W(MOS)を
用いればよい。
【0058】本実施の形態では、このようにして、主観
評価値に含まれる心理的距離の違いを考慮して、目標と
なる主観評価値に対応する客観測定値を求めるようにし
たので、目標として選択した主観評価値とネットワーク
の品質管理に用いる客観測定値とにずれが生じなくな
り、目標の主観評価値に対応する適切なネットワーク管
理指針を示すことが可能となり、主観的な品質を意識し
た品質管理を実現できる。
【0059】なお、以上の各実施の形態では、パケット
網で用いられる音声系アプリケーションを例として説明
したが、これに限定されるものではない。例えば、動画
系アプリケーションなどのリアルタイム系のアプリケー
ションに対して本発明を広く適用でき、同様の作用効果
が得られる。
【0060】
【発明の効果】以上説明したように、本発明は、入力客
観測定値に対応する所望の推定主観評価値を、その入力
客観測定値と推定主観評価値との推定対応関係に基づき
推定するものとし、そのとき、推定対応関係として、予
め実測された客観測定値と主観評価値との対応関係の主
観評価値に含まれる心理的距離の違いを、予め実測され
た同一評価対象に対する各客観測定値のバラツキの大き
さに基づき正規化して得られた対応関係を用いるように
したので、リアルタイム系アプリケーションに対する利
用者の心理的な距離の違いを正規化してその心理的距離
を同一尺度にすることができ、知覚上の品質すなわち主
観品質をネットワーク品質から推定できる。
【0061】また、品質推定装置の推定部で、指定主観
評価値に対応する所望の推定客観測定値を、その指定主
観評価値と推定客観測定値との推定対応関係に基づき推
定するものとし、そのとき、推定対応関係として、予め
実測された客観測定値と主観評価値との対応関係の主観
評価値に含まれる心理的距離の違いを、予め実測された
同一評価対象に対する各客観測定値のバラツキの大きさ
に基づき正規化して得られた対応関係を用いるようにし
たので、リアルタイム系アプリケーションに対する利用
者の心理的な距離の違いを正規化してその心理的距離を
同一尺度にすることができ、目標とするパケット網管理
指標に対する知覚上のずれのない客観測定値を推定でき
る。
【図面の簡単な説明】
【図1】 本発明の一実施の形態にかかる品質評価装置
の構成を示すブロック図である。
【図2】 第1の実施の形態にかかる品質推定装置の推
定部を示す機能ブロック図である。
【図3】 主観評価システムの構成例である。
【図4】 無効パケット率とMOS値との対応関係m
(PI)を示すグラフである。
【図5】 MOS値とその95%信頼区間(分散×係
数)の関係r(MOS)を示すグラフである。
【図6】 客観測定値PIと正規化主観評価値CSSと
の関係g(PI)を示すグラフである。
【図7】 g(PI)で正規化した推定主観評価値と実
測主観評価値との関係を示すグラフである。
【図8】 正規化していない推定主観評価値と実測主観
評価値との関係を示すグラフである。
【図9】 第2の実施の形態にかかる品質推定装置の推
定部を示す機能ブロック図である。
【図10】 客観測定値PIと推定主観評価値:推定M
OSとの関係w(PI)を示すグラフである。
【図11】 w(PI)で正規化した推定主観評価値と
実測主観評価値との関係を示すグラフである。
【図12】 正規化していない推定主観評価値と実測主
観評価値との関係を示すグラフである。
【図13】 第3の実施の形態にかかる品質推定装置の
推定部を示す機能ブロック図である。
【図14】 第3の実施の形態にかかる品質推定装置の
他の推定部を示す機能ブロック図である。
【符号の説明】
1…演算処理部、2…データ入出力部、3…データ蓄積
部、4…操作入力部、5…画面表示部、6…内部バス、
10…推定部、11、41…正規化手段、12、42…
変換手段、15、45…重み付け回帰推定手段、21…
客観測定値PI、22…正規化主観評価値CSS、23
…推定主観評価値:推定MOS、31A,31B…Vo
IPアプリケーション、32A,32B…電話機、33
A,33B…バブ(HUB)、34A,34B…パケッ
ト監視装置、35A,35B…背景負荷発生装置、36
A,36B…ルータ、37…通信回線。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 川口 銀河 東京都千代田区大手町二丁目3番1号 日 本電信電話株式会社内 Fターム(参考) 5K030 HB01 JA10 KX30 MA04 5K051 AA02 BB02 CC02 FF03 KK00

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】 パケット網で用いられるリアルタイム系
    アプリケーションの品質について、ネットワーク性能と
    して測定可能な客観測定値から、被試験者の主観的な評
    価に基づく主観評価値を推定する品質推定装置で用いる
    品質推定方法において、 品質推定装置の推定部で、入力客観測定値に対応する所
    望の推定主観評価値を、その入力客観測定値と推定主観
    評価値との推定対応関係に基づき推定し、 前記推定対応関係として、予め実測された客観測定値と
    主観評価値との対応関係の主観評価値に含まれる心理的
    距離の違いを、予め実測された同一評価対象に対する各
    客観測定値のバラツキの大きさに基づき正規化して得ら
    れた対応関係を用いることを特徴とする品質推定方法。
  2. 【請求項2】 請求項1記載の品質推定方法において、 前記推定部では、 前記入力客観測定値に対応する正規化主観評価値を、そ
    の入力客観測定値と正規化主観評価値との正規化対応関
    係に基づき算出し、 得られた正規化主観評価値を所望の評価尺度における主
    観評価値へ変換し前記推定主観評価値として出力し、 前記正規化対応関係は、予め実測された客観測定値と主
    観評価値との対応関係の各主観評価値ごとに、その主観
    評価値に対応する前記バラツキの大きさを用いて当該主
    観評価値に含まれる心理的距離の違いを正規化して得ら
    れた各正規化主観評価値と、前記各客観測定値との対応
    関係からなることを特徴とする品質推定方法。
  3. 【請求項3】 請求項2記載の品質推定方法において、 前記正規化対応関係は、当該主観評価値に対応する前記
    バラツキの大きさと主観評価値の基準値に対応する前記
    バラツキの大きさとの違いに基づき、当該主観評価値が
    前記基準値以上の場合には当該主観評価値を増加させ、
    当該主観評価値が前記基準値を下回る場合は当該主観評
    価値を減少させることにより得られた正規化主観評価値
    を用いることを特徴とする品質推定方法。
  4. 【請求項4】 請求項1記載の品質推定方法において、 前記推定部で、予め実測された各客観測定値と主観評価
    値とから、それぞれの主観評価値に対応する前記バラツ
    キの大きさを重み付けに用いて得られた回帰推定式に基
    づき、前記入力客観測定値に対応する推定主観評価値を
    出力することを特徴とする品質推定方法。
  5. 【請求項5】 請求項1〜4記載の品質推定方法におい
    て、 前記バラツキとして当該主観評価値の分散を用いること
    を特徴とする品質推定方法。
  6. 【請求項6】 パケット網で用いられるリアルタイム系
    アプリケーションの品質について、サービス利用限界と
    して指定された指定主観評価値に応じた客観測定値を推
    定する品質推定装置で用いる品質推定方法において、 品質推定装置の推定部で、指定主観評価値に対応する所
    望の推定客観測定値を、その指定主観評価値と推定客観
    測定値との推定対応関係に基づき推定し、 前記推定対応関係として、予め実測された客観測定値と
    主観評価値との対応関係の主観評価値に含まれる心理的
    距離の違いを、予め実測された同一評価対象に対する各
    客観測定値のバラツキの大きさに基づき正規化して得ら
    れた対応関係を用いることを特徴とする品質推定方法。
  7. 【請求項7】 パケット網で用いられるリアルタイム系
    アプリケーションの品質について、ネットワーク性能と
    して測定可能な客観測定値から、被試験者の主観的な評
    価に基づく主観評価値を推定する品質推定装置におい
    て、 入力客観測定値に対応する所望の推定主観評価値を、そ
    の入力客観測定値と推定主観評価値との推定対応関係に
    基づき推定する推定部を備え、 この推定部は、前記推定対応関係として、予め実測され
    た客観測定値と主観評価値との対応関係の主観評価値に
    含まれる心理的距離の違いを、予め実測された同一評価
    対象に対する各客観測定値のバラツキの大きさに基づき
    正規化して得られた対応関係を用いることを特徴とする
    品質推定装置。
  8. 【請求項8】 請求項7記載の品質推定装置において、 前記推定部は、 前記入力客観測定値に対応する正規化主観評価値を、そ
    の入力客観測定値と正規化主観評価値との正規化対応関
    係に基づき算出する正規化手段と、 この正規化手段で得られた正規化主観評価値を所望の評
    価尺度における主観評価値へ変換し前記推定主観評価値
    として出力する変換手段とを有し、 前記正規化対応関係は、予め実測された客観測定値と主
    観評価値との対応関係の各主観評価値ごとに、その主観
    評価値に対応する前記バラツキの大きさを用いて当該主
    観評価値に含まれる心理的距離の違いを正規化して得ら
    れた各正規化主観評価値と、前記各客観測定値との対応
    関係からなることを特徴とする品質推定装置。
  9. 【請求項9】 請求項8記載の品質推定装置において、 前記正規化対応関係は、当該主観評価値に対応する前記
    バラツキの大きさと主観評価値の基準値に対応する前記
    バラツキの大きさとの違いに基づき、当該主観評価値が
    前記基準値以上の場合には当該主観評価値を増加させ、
    当該主観評価値が前記基準値を下回る場合は当該主観評
    価値を減少させることにより得られた正規化主観評価値
    を用いることを特徴とする品質推定装置。
  10. 【請求項10】 請求項7記載の品質推定装置におい
    て、 前記推定部は、予め実測された客観測定値と主観評価値
    とから、それぞれの主観評価値に対応する前記バラツキ
    の大きさを重み付けに用いて得られた回帰推定式に基づ
    き、前記入力客観測定値に対応する推定主観評価値を出
    力する重み付け回帰推定手段を有することを特徴とする
    品質推定装置。
  11. 【請求項11】 請求項7〜10記載の品質推定装置に
    おいて、 前記バラツキとして当該主観評価値の分散を用いること
    を特徴とする品質推定装置。
  12. 【請求項12】 パケット網で用いられるリアルタイム
    系アプリケーションの品質について、サービス利用限界
    として指定された指定主観評価値に応じた客観測定値を
    推定する品質推定装置において、 指定主観評価値に対応する所望の推定客観測定値を、そ
    の指定主観評価値と推定客観測定値との推定対応関係に
    基づき推定する推定部を備え、 この推定部は、前記推定対応関係として、予め実測され
    た客観測定値と主観評価値との対応関係の主観評価値に
    含まれる心理的距離の違いを、予め実測された同一評価
    対象に対する各客観測定値のバラツキの大きさに基づき
    正規化して得られた対応関係を用いることを特徴とする
    品質推定装置。
JP2002032857A 2002-02-08 2002-02-08 品質推定方法および装置 Expired - Lifetime JP3764394B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002032857A JP3764394B2 (ja) 2002-02-08 2002-02-08 品質推定方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002032857A JP3764394B2 (ja) 2002-02-08 2002-02-08 品質推定方法および装置

Publications (2)

Publication Number Publication Date
JP2003234779A true JP2003234779A (ja) 2003-08-22
JP3764394B2 JP3764394B2 (ja) 2006-04-05

Family

ID=27775852

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002032857A Expired - Lifetime JP3764394B2 (ja) 2002-02-08 2002-02-08 品質推定方法および装置

Country Status (1)

Country Link
JP (1) JP3764394B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007060490A (ja) * 2005-08-26 2007-03-08 Oki Electric Ind Co Ltd 音声ガイダンスシステム、音声ガイダンス制御装置および音声ガイダンス試験方法
JP2013076596A (ja) * 2011-09-30 2013-04-25 Isuzu Motors Ltd 全体評価値推定式の導出方法、評価方法、全体評価値推定式の導出装置、評価装置、全体評価値推定式の導出プログラム、及び評価プログラム
JP2016046695A (ja) * 2014-08-25 2016-04-04 日本電信電話株式会社 音響品質評価装置、音響品質評価方法、およびプログラム
CN110472844A (zh) * 2019-07-30 2019-11-19 上海电力大学 一种用于含微型pmu装置的智能配电网的评价控制方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007060490A (ja) * 2005-08-26 2007-03-08 Oki Electric Ind Co Ltd 音声ガイダンスシステム、音声ガイダンス制御装置および音声ガイダンス試験方法
JP2013076596A (ja) * 2011-09-30 2013-04-25 Isuzu Motors Ltd 全体評価値推定式の導出方法、評価方法、全体評価値推定式の導出装置、評価装置、全体評価値推定式の導出プログラム、及び評価プログラム
JP2016046695A (ja) * 2014-08-25 2016-04-04 日本電信電話株式会社 音響品質評価装置、音響品質評価方法、およびプログラム
CN110472844A (zh) * 2019-07-30 2019-11-19 上海电力大学 一种用于含微型pmu装置的智能配电网的评价控制方法

Also Published As

Publication number Publication date
JP3764394B2 (ja) 2006-04-05

Similar Documents

Publication Publication Date Title
WO2021072890A1 (zh) 基于模型的流量异常监测方法、装置、设备及存储介质
Hoßfeld et al. Speed index: Relating the industrial standard for user perceived web performance to web qoe
WO2019104854A1 (zh) 性能测试评价方法、装置、终端设备及存储介质
CA2617893C (en) Video communication quality estimation device, method, and program
JP2004518344A (ja) 自動ビデオ品質評価のための拡張可能な客観的メトリック
US20050228875A1 (en) System for estimating processing requirements
CN105144174B (zh) 生物体年龄预测装置及方法
WO2021208079A1 (zh) 获取动力电池寿命数据的方法、装置、计算机设备及介质
US7817578B2 (en) Method for integrating downstream performance and resource usage statistics into load balancing weights
WO2015079526A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN108390775B (zh) 一种基于spice的用户体验质量评价方法及***
CN112382406B (zh) 传染病的基本再生数的估算方法及装置、介质和设备
JP2003234779A (ja) 品質推定方法および装置
JP5957419B2 (ja) QoE推定装置、QoE推定方法及びプログラム
CN108989095A (zh) 可抵抗恶意评价的公有云可信度评估方法及其评估***
KR20200082860A (ko) 악력 측정을 통한 근감소증 치료를 위한 총운동량 피드백 제공 방법
JP2004023594A (ja) ネットワーク音声品質管理目標値算出方法および装置、ならびにネットワーク音声品質監視方法および装置
JP2002243496A (ja) 測定方法および測定装置
JP5315504B2 (ja) 歩行動作評価システム及び歩行動作評価方法
Xu et al. Cross-sectional human immunodeficiency virus incidence estimation accounting for heterogeneity across communities
US9977721B2 (en) Evaluating and predicting computer system performance using kneepoint analysis
JP2693435B2 (ja) ソフトウェア信頼度成長曲線の適合度検定方法
CN110879723B (zh) 基于Pareto最优集的软件服务价值的客观评测方法及装置
CN112788646B (zh) 网络质量监测方法、装置、设备和存储介质
JP2003228391A (ja) 情報処理方法、情報処理システム、情報処理装置、コンピュータプログラム、及び記録媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050519

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060119

R151 Written notification of patent or utility model registration

Ref document number: 3764394

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090127

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100127

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110127

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110127

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120127

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130127

Year of fee payment: 7

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term