JP2018063135A - 評価試験計画装置、主観評価装置、それらの方法、およびプログラム - Google Patents
評価試験計画装置、主観評価装置、それらの方法、およびプログラム Download PDFInfo
- Publication number
- JP2018063135A JP2018063135A JP2016200560A JP2016200560A JP2018063135A JP 2018063135 A JP2018063135 A JP 2018063135A JP 2016200560 A JP2016200560 A JP 2016200560A JP 2016200560 A JP2016200560 A JP 2016200560A JP 2018063135 A JP2018063135 A JP 2018063135A
- Authority
- JP
- Japan
- Prior art keywords
- evaluation
- test
- time
- subjective
- subjective evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Abstract
【解決手段】主観評価試験で用いられる評価方法に基づいて、主観評価試験に必要な試行の総数、試行のそれぞれで提示される音信号の個数、および音信号が提示されてから評価者によって主観評価結果が入力されるまでの評価時間、を含む試験条件を得る。さらに、少なくとも、当該試験条件、音信号それぞれの提示時間、評価者の評価室への1回の入退室に要する入退室所要時間、および評価者の評価室外での1回の休憩に要する休憩時間に基づいて、主観評価試験の実施に必要な総実施時間、試験稼働時間での主観評価試験の実施の可否、および試験稼働時間で実施可能な試行の回数の少なくとも何れかを得る。
【選択図】図1
Description
[概要]
本形態では、「評価室」内で「評価者」(被験者)に音信号を提示し、音信号に対する主観評価結果を入力させる「試行」を繰り返す「主観評価試験」の実施計画を生成する。「条件設定部」は、「主観評価試験」で用いられる「評価方法」(試験方法)に基づいて、「主観評価試験」に必要な「試行」の総数、「試行」のそれぞれで提示される音信号の個数、および音信号が提示されてから「評価者」によって主観評価結果が入力されるまでの「評価時間」、を含む「試験条件」を得て出力する。「結果取得部」は、少なくとも、当該「試験条件」、音信号それぞれの「提示時間」、「評価者」の評価室への1回の入退室に要する「入退室所要時間」、および「評価者」の「評価室」外での1回の休憩に要する休憩時間に基づいて、「主観評価試験」の実施に必要な「総実施時間」、「試験稼働時間」での「主観評価試験」の実施の可否、および「試験稼働時間」で実施可能な試行の回数の少なくとも何れかを得て出力する。これにより各条件での主観評価試験の実現性を推し量ることができ、それを利用することで、効率よく主観評価試験を行うための実施計画を容易に作成できる。
・「試行」のそれぞれで「評価者」が希望する限り音信号の提示を繰り返すことができる評価方法で「主観評価試験」を行う場合に、「試行」のそれぞれで音信号が繰り返し提示される回数(見込み回数)
・音信号が提示されてから「評価者」によって主観評価結果が入力されるまでの「評価時間」
・「主観評価試験」の開始前に「評価者」が行う「主観評価試験」の練習時間
次に、図面を用いて実施形態を説明する。
<構成>
図1に例示するように、本形態の主観評価システム1は、評価試験計画装置11、記憶部12,13、および主観評価装置14を有する。これらは、1つの筐体内に構成されていてもよいし、通信可能なように有線接続されていてもよいし、ネットワークを通じて接続されていてもよいし、遠隔地に分散配置されていてもよい。
本形態では、ACR(Absolute Category Rating:絶対範疇尺度法)、DCR(Degradation Category Rating:劣化範疇尺度法)、CCR(Comparison Category Rating:比較範疇尺度法)、対比較試験(Pair Comparison)、BS.1116(Triple stimulus/Hidden reference/Double blind method)、およびXAB試験から選択された評価方法によって主観評価試験を行う例を示す。しかし、これは本発明を限定するものではなく、Mushra(MUltiple Stimuli with Hidden Reference and Anchor)などのその他の評価方法が用いられてもよい。まず、本形態で例示する評価方法であるACR、DCR、CCR、対比較試験、BS.1116の概要を述べる。
ACRの各試行における試験音の提示例を図3Aに示す。ACRは、ITU-T P.800(非特許文献1)に準拠した評価方法で、音声品質の主観評価法としては最も一般的な手法であり、通話品質の評価などに用いられる。評価者は、提示された試験音(評価対象となる音信号)に対し(受聴パタン1)、5段階に分類された評価カテゴリー(図3B:とても良い〜とても悪い)を参考に、個人的な主観尺度で絶対評価を行う。本手法をMOS試験と称することもある。試験音は原音に各試験条件に応じた効果(例えばエコーやノイズの付与や除去など)を与えた音である。
DCRの各試行における試験音の提示例を図3Cに示す。DCRは、ACRを拡張した評価法で、基準音(評価基準とする音)と比較して(受聴パタン1)、試験音がどれだけ劣化しているか、5段階に分類された評価カテゴリー(図3D:劣化がない〜劣化がとても気になる)を用いて評価する手法である。本手法をDMOS試験と称することもある。基準音との直接比較による相対評価を行うため、ACRより安定した結果を得ることができるが、ACRの2倍の時間を要する。基準音の例は原音であるが、必ずしもこれに限定されない。
CCRの各試行における試験音の提示例を図4Aに示す。CCRは、ACRを拡張した評価法で、基準音と試験音を比較して試験音の優劣を7段階に分類された評価カテゴリー(図4B:とても良い〜とても悪い)を用いて評価する手法である。本手法をCMOS試験と称することもある。CCRでは基準音と試験音の提示順(前後)を入れ替えて提示する(受聴パタン1,2)。これは、提示順による印象の違いを相殺するためである。先入観による試験への影響を取り除くため、評価者にはどちらの音が基準音であるかを伏せて提示する。このようにCCRは相対的な評価を行うため、ACRより安定した結果を得られるが、ACRの4倍、DCRの2倍の時間を要する。
対比較試験の各試行における試験音の提示例を図4Cに示す。対比較試験は、2つの試験音A,Bに対し、どちらが良い音かを選択して評価(図4D:前の音が良い、後の音が良い)する手法である。比較して品質の優劣を評価する手法という点ではCCRと同じであるが、CCRが基準音を介した比較であるのに対し、対比較試験は直接比較して評価するため、CCRより優劣が明らかとなりやすい。対比較試験は、CCRと同様に提示順による影響を受けやすい。実施の際は、2つの試験音A,Bの提示順(前後)を入れ替えるとともに(受聴パタン1,2)、提示順を評価者に伏せておく。
BS.1116での各試行における試験音の提示例を図5Aに示す。BS.1116は、ITU-R BS.1116.1に準拠した評価法で、エキスパートリスナーを対象とした手法である。評価者は、品質劣化が小さい試験音を評価対象とし、DCRと同様に、基準音と比較して試験音がどれだけ劣化しているか、5段階に分類された劣化カテゴリー(図5B:わからない〜とても気になる)を用い、0.1刻みで評価する。DCRとの違いは、DCRが基準音と試験音の直接比較であるのに対し、BS.1116は、基準音と試験音A、試験音Bの3つの音を受聴して評価することにある。ここで、試験音A、試験音Bは、どちらか一方が “評価対象の試験音” で、もう一方が “隠された基準音”である。2つの試験音A,Bは、ランダムに入れ替えられ(受聴パタン1,2)、評価者にはどちらがどの条件の音か伏せて提示される。評価者は、基準音、試験音A、試験音Bのそれぞれの音に対し、好きな順番で、かつ納得がいくまで何回でも受聴し、“隠された基準音”だと思う方に5.0、“評価対象の試験音”だと思う方に評点を付与する。
XAB試験での各試行における試験音の提示例を図5Aに示す。XAB試験は、BS.1116を簡略化した評価法で、評価実施時間などの制約がある場合に実施することが多い。BS.1116と同様、エキスパートリスナーを対象とし、品質差が小さい試験音を評価対象に、基準音と比較して試験音がどれだけ劣化しているか、5段階に分類された劣化カテゴリー(図5B:わからない〜とても気になる)を用い、0.1、または1刻みで評価する。BS.1116との違いは、BS.1116が基準音や試験音を好きな順序で好きなだけ受聴できるのに対し、XAB試験では、基準音、試験音A、試験音Bが順番に提示され、全評価者が同じ音を受聴した上で、規定時間内に評価する。XAB試験でも、BS.1116と同様に、2つの試験音A,Bがランダムに入れ替えられ、どちらがどの試験音であるかは伏せて提示される。評価者が試験音提示のタイミングを決める事はできない。
前処理として、記憶部13(図1)に、各評価方法の主観評価試験で使用される音信号のデータ、ならびに前述の評価カテゴリーおよび劣化カテゴリーの画像データなどを格納しておく。また、評価試験計画装置11の記憶部113(図2)に、主観評価試験で用いられる評価方法の候補と、当該評価方法での主観評価試験の各パラメータを対応付けたテーブル(参照テーブル)を格納しておく。このテーブルは、評価方法の候補と、試験条件のうち経験則に基づいて定められた「経験則条件」と、を対応付けたレコードを含む。図6Aおよび図6Bの例では、欄「U3」「V3」「W3」「X3」「Y3」のそれぞれに、ACRに対応する「評価方法」「受聴パタン数」「提示音数」「繰り返し回数」「評価時間」である「(1)ACR」「1」「1」「1」「4」が格納されている。欄「U4」「V4」「W4」「X4」「Y4」のそれぞれに、DCRに対応する「評価方法」「受聴パタン数」「提示音数」「繰り返し回数」「評価時間」である「(2)DCR」「1」「2」「1」「4」が格納されている。欄「U5」「V5」「W5」「X5」「Y5」のそれぞれに、CCRに対応する「評価方法」「受聴パタン数」「提示音数」「繰り返し回数」「評価時間」である「(3)CCR」「2」「2」「1」「4」が格納されている。欄「U6」「V6」「W6」「X6」「Y6」のそれぞれに、対比較試験に対応する「評価方法」「受聴パタン数」「提示音数」「繰り返し回数」「評価時間」である「(4) 対比較」「2」「2」「1」「4」が格納されている。欄「U7」「V7」「W7」「X7」「Y7」のそれぞれに、XAB試験に対応する「評価方法」「受聴パタン数」「提示音数」「繰り返し回数」「評価時間」である「(5) XAB」「2」「3」「2」「6」が格納されている。欄「U8」「V8」「W8」「X8」「Y8」のそれぞれに、BS.1116に対応する「評価方法」「受聴パタン数」「提示音数」「繰り返し回数」「評価時間」である「(6) BS.1116」「2」「3」「2.8」「6」が格納されている。ここで、「受聴パタン数」は各試行で提示される受聴パタンの個数を表す。「提示音数」は各受聴パタンが含む音信号(基準音および/または試験音)の個数を表す。「繰り返し回数」は各試行での受聴パタンの繰り返し回数を表す。「評価時間」は、各受聴パタンの音信号がすべて提示されてから、評価者によって主観評価結果が入力されるまでの時間を表す。BS.1116に対応する「提示音数」およびすべての「評価時間」は「経験則条件」であり、その他は例えば公的な規格等によって定められた条件である。
評価試験計画装置11が行う評価試験計画処理を説明する。
≪入力部111への入力情報の入力≫
管理者が主観評価試験の実施計画を生成する場合、管理者は評価試験計画装置11の入力部111に、主観評価試験の内容を設定するための入力情報を入力する。本形態では以下の入力情報が入力部111に入力される。
(C3)試験開始時刻
(C4)試験終了時刻
(C5)休憩時間(主観評価試験そのものを中断する時間)
(H3)実施する評価方法
(H4)1原音あたりの試験条件数
(H5)1試験条件あたりの原音数
(H17)評価室を使用するグループ数
(H19)音信号長(音信号それぞれの提示時間)
(H26)全体説明時間(主観評価試験開始前の全体説明時間)
(H28)試験の説明(個別の試験開始前の説明時間)
(H29)練習の数(主観評価の練習数)
(H33)1受聴あたりの受聴時間(評価者が試行を継続的に繰り返す受聴を実施可能な受聴時間)
(H36)1受聴あたりの試行数
(H38)1セッションあたりの受聴数
(H42)1セッション中の1回の休憩時間(受聴が実施されるたびに評価者が評価室内で行う1回の休憩に要する小休憩時間)
(H43)評価室入退室の所要時間(評価者の評価室への1回の入退室に要する入退室所要時間)
(H45)次のセッションまでの休憩時間(評価者の評価室外での1回の休憩に要する休憩時間)
(H56)データ確認時間
条件設定部112は、入力情報の少なくとも一部を用いて「試験条件」を得て出力する。「試験条件」は、主観評価試験に必要な試行の総数、試行のそれぞれで提示される音信号の個数、および音信号が提示されてから評価者によって主観評価結果が入力されるまでの評価時間を含む。条件設定部112は、記憶部113に格納されたテーブルを参照し、主観評価試験で用いられる評価方法に対応付けられた経験則条件を含む「試験条件」を設定する。
稼働時間:C6
条件設定部112は、以下のように稼働時間を欄「C6」に設定し、表示部118は、設定された稼働時間を図7に例示した表示画面1180の欄「C6」に表示する。
C6=C4-C3-C5
ただし、式中の欄を表す識別子(例えば、C3,C4,C5,C6)は、その欄に入力または設定され、表示された値を表す。例えば、式(1)は、欄「C4」に表示された値から、「C3」に表示された値と「C5」に表示された値を減じた値を欄「C6」に設定して表示することを意味する(以下も同様)。
条件設定部112は、以下のように受聴パタン数を欄「H6」に設定し、表示部118は、設定された受聴パタン数を図8に例示した表示画面1180の欄「H6」に表示する。
H6=VLOOKUP(H3,U3:Y8,2)
ただし、VLOOKUP(α,β:γ,δ)はExcel(登録商標)のVLOOKUP関数であり、欄「α」に表示された値を検索値として欄「β」と「γ」で指定された範囲のテーブルを検索し、「α」に表示された値に対応する行のδ列目の値を出力の欄に設定するとともに表示する関数である。例えば、H6=VLOOKUP(H3,U3:Y8,2)は、図8の例では、欄「H3」の値は「(2)DCR」であり、これを検索値として図6Aおよび図6Bに例示した欄「U3」と「Y8」で指定された範囲のテーブルを検索すると、「(2)DCR」に対応する行の2列目の値「1」(受聴パタン数)を欄「H6」に設定するとともに表示する。
条件設定部112は、以下のように総試行数(主観評価試験に必要な試行の総数)を欄「H7」に設定し、表示部118は、設定された総試行数を図8に例示した表示画面1180の欄「H7」に表示する。
H7=H4*H5*H6
ただし、「*」は乗算演算子である。
条件設定部112は、以下のように1試行あたりの音信号数を欄「H20」に設定し、表示部118は、設定された1試行あたりの音信号数を図8に例示した表示画面1180の欄「H20」に表示する。
H20=VLOOKUP(H3,U3:Y8,3)
条件設定部112は、以下のように繰り返し回数を欄「H21」に設定し、表示部118は、設定された繰り返し回数を図8に例示した表示画面1180の欄「H21」に表示する。
H21=VLOOKUP(H3,U3:Y8,4)
条件設定部112は、以下のように1試行あたりの評価時間を欄「H22」に設定し、表示部118は、設定された1試行あたりの評価時間を図8に例示した表示画面1180の欄「H22」に表示する。
H22=VLOOKUP(H3,U3:Y8,5)
条件設定部112は、以下のように1試行あたりの受聴時間を欄「H23」に設定し、表示部118は、設定された1試行あたりの受聴時間を図8に例示した表示画面1180の欄「H23」に表示する。
H23=(H19+0.5)*H20*H21+H22+1
条件設定部112は、以下のように練習の所要時間を欄「H30」に設定し、表示部118は、設定された練習の所要時間を図8に例示した表示画面1180の欄「H30」に表示する。
H30=ROUNDUP(H29*H23/60,0)
ただし、ROUNDUP(α,β)はExcelの切り上げ関数であり、欄「α」の値の小数第β位未満の桁を切り上げた値を出力の欄に設定するとともに表示する。なお、β=0の場合には当該欄「α」の値の小数第1位以下を切り上げた値を当該欄に設定するとともに表示する。
条件設定部112は、以下のように1受聴あたりの試行数を欄「H34」に設定し、表示部118は、設定された1受聴あたりの試行数を図9に例示した表示画面1180の欄「H34」に表示する。
H34=QUOTIENT(H33*60,H23)
ただし、QUOTIENT(α,β)はExcelのQUOTIENT関数であり、欄「α」の値を欄「β」の値で割った商の整数部分を出力の欄に設定するとともに表示する。欄「H34」に表示された値は、管理者が前述のように欄「H36」に「(H36)1受聴あたりの試行数」を入力する際の参考となる。
条件設定部112は、以下のように1受聴あたりの所要時間を欄「H37」に設定し、表示部118は、設定された1受聴あたりの所要時間を図9に例示した表示画面1180の欄「H37」に表示する。
H37=ROUNDUP(((H36*H23)/60),0)
条件設定部112は、以下のように1セッションあたりの試行数を欄「H39」に設定し、表示部118は、設定された1セッションあたりの試行数を図9に例示した表示画面1180の欄「H39」に表示する。
H39=H38*H36
条件設定部112は、以下のように1セッションあたりの所要時間(評価者が試行を継続的に繰り返す「受聴」を繰り返すことが可能なセッション時間)を欄「H40」に設定し、表示部118は、設定された1セッションあたりの所要時間を図9に例示した表示画面1180の欄「H40」に表示する。
H40=ROUNDUP(H38*((H36*H23)/60+H42)+(H43-H42),0)
条件設定部112は、以下のように次のセッションまでの休憩時間(評価者の評価室外での1回の休憩に要する休憩時間)を欄「H44」に設定し、表示部118は、設定された次のセッションまでの休憩時間を図9に例示した表示画面1180の欄「H44」に表示する。
H44=ROUNDUP(H40*2/3,0)
ただし、ROUNDUP(α,β)はExcelの切り上げ関数であり、欄「α」の値の小数第β+1の桁を切り上げた値を出力の欄に設定するとともに表示する。なお、β=0の場合には欄「α」の値の小数第1位を切り上げた値を当該欄に設定するとともに表示する。欄「H44」に表示される休憩時間は、欄「H40」に表示された1セッションあたりの所要時間(セッション時間)の2/3またはその2/3の近傍の時間である。次のセッションまでの休憩時間は、セッション時間の2/3以上またはセッション時間の2/3の近傍以上であることが望ましい。欄「H44」に表示された値は、管理者が前述のように欄「H45」に「(H45)次のセッションまでの休憩時間」を入力する際の参考となる。
条件設定部112は、以下のようにフル受聴されるセッション数(受聴が最大限まで繰り返されるセッションの個数)を欄「H48」に設定し、表示部118は、設定されたフル受聴されるセッション数を図10に例示した表示画面1180の欄「H48」に表示する。
H48=QUOTIENT(H7,H39)
条件設定部112は、以下のように最終セッションの試行数を欄「H50」に設定し、表示部118は、設定された最終セッションの試行数を図10に例示した表示画面1180の欄「H50」に表示する。
H50=MOD(H7,H39)
ただし、MOD(α,β)はExcelのMOD関数であり、欄「α」の値を欄「β」の値で割った余りを出力の欄に設定するとともに表示する。
条件設定部112は、以下のように最終セッションでフルに受聴される数(最終セッションで試行が最大限まで繰り返される受聴の個数)を欄「H51」に設定し、表示部118は、設定された最終セッションでフルに受聴される数を図10に例示した表示画面1180の欄「H51」に表示する。
H51=IF(H50>0, QUOTIENT(H50,H36))
ただし、IF(α,β,γ)はExcelのIF関数であり、条件αが真であればβを出力の欄に設定するとともに表示し、条件αが偽であればγを当該欄に設定するとともに表示する。
条件設定部112は、以下のように最終セッションの最終受聴での試行数を欄「H52」に設定し、表示部118は、設定された最終セッションの最終受聴での試行数を図10に例示した表示画面1180の欄「H52」に表示する。
H52=MOD(H50,H36)
条件設定部112は、以下のように最終セッションの所要時間を欄「H53」に設定し、表示部118は、設定された最終セッションの所要時間を図10に例示した表示画面1180の欄「H53」に表示する。
H53=IF(H50>0,IF(H51=0,ROUNDUP((H52*H23+H43)/60,0),ROUNDUP((H36*H23*H51+H52*H23+H42*H51+H43)/60,0)),0)
結果取得部114は、入力情報の少なくとも一部(例えば「(H19)音信号長」、「(H43)評価室入退室の所要時間」、および「(H45)次のセッションまでの休憩時間」)および条件設定部112で得られた「試験条件」を用い、主観評価試験の実施に必要な総実施時間、試験稼働時間での主観評価試験の実施の可否、および試験稼働時間で実施可能な試行の回数の少なくとも何れかを含む「結果」を得る。
実稼働時間に対する試験実施の可否判定:H11
結果取得部114は、以下のように実稼働時間に対する試験実施の可否判定(試験稼働時間での主観評価試験の実施の可否判定)の結果を欄「H11」に設定し、表示部118は、当該結果を図8に例示した表示画面1180の欄「H11」に表示する。
H11=IF(H65>=0,“実施可能”,“実施不可”)
ただし、H65>=0は欄「H65」に表示された値が0以上であるという条件を表す。
結果取得部114は、以下のように1グループの場合に実施可能な試行数を欄「H12」に設定し、表示部118は、当該試行数を図8に例示した表示画面1180の欄「H12」に表示する。
H12=ROUNDDOWN(H36*H38*(D6*60-(H26+H28+H30+H56))/(H40+H45),0)
D6=HOUR(C6)+(MINUTE(C6)/60)
ただし、D6は欄「C6」を時刻からシリアル値に変換するためのものである。
結果取得部114は、以下のように2グループの場合に実施可能な試行数を欄「H13」に設定し、表示部118は、当該試行数を図8に例示した表示画面1180の欄「H13」に表示する。
H13=ROUNDDOWN(H36*H38*(D6*60-(H26+H28+H30+H56))/(H40+H40),0)
結果取得部114は、以下のように総評価時間を欄「H59」「H60」に設定し、表示部118は、当該総評価時間を図10に例示した表示画面1180の欄「H59」「H60」に表示する。
H59=H40*H48+H45*(H48-1)+H53+IF(H50>0, H45,)
H60=(QUOTIENT(H59,60), MOD(H59,60))
H60は、H59を分表示から、時間表示に変換するためのものであり、QUOTIENT(H59,60)は「時間」、MOD(H59,60)は「分」を表す。
結果取得部114は、以下のように総評価時間を欄「H62」「H63」に設定し、表示部118は、当該総評価時間を図10に例示した表示画面1180の欄「H62」「H63」に表示する。
H62=IF(H17=1,H26+H28+H30+H56+H59,H26+H28+H56+(H30+H40*H48+H53)*2)
H63=(QUOTIENT(H62,60), MOD(H62,60))
H63は、H62を分表示から、時間表示に変換するためのものである。
結果取得部114は、以下のように余りの時間を欄「H65」「H66」に設定し、表示部118は、当該余りの時間を図10に例示した表示画面1180の欄「H65」「H66」に表示する。
H65=D6*60-H62
H66=(QUOTIENT(H65,60),MOD(H65,60))
H66は、H65を分表示から、時間表示に変換するためのものである。
入力部111に入力された入力情報および条件設定部112で設定された試験条件は出力部117に送られ、出力部117はこれらを試験計画データとして出力し、記憶部12に格納する。
入力部111に入力された入力情報、条件設定部112で設定された試験条件、および結果取得部114で得られた結果は試験予定表生成部115に送られる。試験予定表生成部115は、これらの少なくとも一部(例えば、「試験条件」、「音信号それぞれの提示時間」、および「休憩時間」)を用い、主観評価試験の実施計画を表すタイムテーブルである試験予定表を生成して出力する。図11は、1グループの評価者のみが主観評価試験を行う試験予定表の例であり、図12は、2グループの評価者のみが主観評価試験を行う試験予定表の例である。例えば、試験予定表生成部115は、欄「C3」「C4」「C5」「H26」「H28」「H29」「H30」「H36」「H37」「H38」「H39」「H40」「H42」「H43」「H45」「H48」「H51」「H52」「H53」「H56」「H65」などの値を用いて、試験予定表を生成して出力する。図12の例では、評価者がグループCとグループDとに区分されている。評価室150内でグループCの評価者に音信号を提示し、主観評価結果を入力させる試行を繰り返す期間と、評価室150内でグループDの評価者に音信号を提示し、主観評価結果を入力させる試行を繰り返す期間とが存在する。この場合、前述の「入退室所要時間」は、グループCの評価者またはグループDの評価者のうち、評価室150内に滞在する何れか一方のグループの評価者と、評価室150外に滞在する他方のグループの評価者と、を1回入れ替えるために要する時間である。グループCの評価者の評価室150外での「休憩時間」は、グループDの評価者の評価室150内での滞在時間と等しく、グループDの評価者の評価室150外での「休憩時間」は、グループCの評価者の評価室150内での滞在時間と等しい。
主観評価装置14の制御部146(図1)は、記憶部12に格納された試験計画データを読み込み、試験計画データに従って主観評価試験を実行する。音信号提示部141および表示部145は、試験計画データによって特定されるスケジュールや評価方法に従って、記憶部13から試験データを読み込み、評価室150内の評価者151−1〜151−Nへの指示の表示や評価対象となる音信号を提示(出力)する。評価者151−1〜151−Nは、提示された音信号に対する主観評価結果を入力部142に入力する。この試行が繰り返されることで主観評価試験が進んでいく。ここで、主観評価結果の入力処理を効率化するための工夫がなされてもよい。例えば、音信号提示部141は、評価対象となるi個の音信号を提示し(iは2以上の整数)、評価者151−1〜151−Nは、提示されたi個の音信号のうちi−1個の音信号に対する主観評価結果の入力のみを入力部142に入力する。評価設定部143は、入力されたi−1個の音信号に対する主観評価結果を用い、i個の音信号のうち残り1個の音信号に対する主観評価結果を自動的に設定して出力する。例えば、評価者151−1〜151−Nは、i個の音信号のうち主観評価の低いi−1個の音信号に対する主観評価結果を入力部142に入力し、評価設定部143は、i個の音信号のうち、最も主観評価の高い1個の音信号に対する主観評価結果を自動的に設定して出力する。例えば、BS.1116やXAB試験(図5Aおよび図5B)が行われる場合、評価者151−1〜151−Nは、ランダムな順序で提示される3つの音信号(基準音、試験音A、試験音B)のうち、“評価対象の試験音”だと思う音信号に対する主観評価結果のみを入力部142に入力し、評価設定部143は、主観評価結果が入力されなかった残りの1個の音信号を“隠された基準音”として主観評価結果「5.0」を自動的に設定して出力してもよい。入力部142に入力されたり、評価設定部143で設定されたりした主観評価結果は、試験結果集計部144に送られる。試験結果集計部144はこれらを得られた主観評価結果を集計してその結果を出力する。
本形態では、評価試験計画装置11への入力情報に応じて「試験条件」および「結果」が自動的に設定され、これにより各条件での主観評価試験の実現性を推し量ることができる。管理者は、それを利用することで、効率よく主観評価試験を行うための実施計画を容易に作成できる。
なお、本発明は上述の実施の形態に限定されるものではない。例えば、上述の具体例では、欄「H29」に「(H29)練習の数」を入力することとしたが、「実施する評価方法」と「練習の数」とを対応付けたテーブルを設定しておき、条件設定部112が、このテーブルを参照し、欄「H3」に入力された「(H3)実施する評価方法」に対応する「練習の数」が自動的に設定してもよい。あるいは、「実施する評価方法」と「練習の所要時間(主観評価試験の開始前に評価者が行う主観評価試験の練習時間)」とを対応付けたテーブルを設定しておき、条件設定部112が、このテーブルを参照し、欄「H3」に入力された「(H3)実施する評価方法」に対応する「練習の所要時間」が自動的に設定してもよい。なお、「練習の所要時間」および「練習の数」は、前述の「経験則条件」の例である。
11 評価試験計画装置
14 主観評価装置
Claims (15)
- 評価室内で評価者に音信号を提示し、前記音信号に対する主観評価結果を入力させる試行を繰り返す主観評価試験の実施計画を生成するための評価試験計画装置であって、
前記主観評価試験で用いられる評価方法に基づいて、前記主観評価試験に必要な前記試行の総数、前記試行のそれぞれで提示される前記音信号の個数、および前記音信号が提示されてから前記評価者によって前記主観評価結果が入力されるまでの評価時間、を含む試験条件を得る条件設定部と、
少なくとも、前記試験条件、前記音信号それぞれの提示時間、前記評価者の前記評価室への1回の入退室に要する入退室所要時間、および前記評価者の前記評価室外での1回の休憩に要する休憩時間に基づいて、前記主観評価試験の実施に必要な総実施時間、試験稼働時間での前記主観評価試験の実施の可否、および前記試験稼働時間で実施可能な前記試行の回数の少なくとも何れかを得る結果取得部と、
を有する評価試験計画装置。 - 請求項1の評価試験計画装置であって、
前記評価者は第1グループと第2グループとに区分され、
前記評価室内で前記第1グループの前記評価者に前記音信号を提示し、前記主観評価結果を入力させる試行を繰り返す期間と、前記評価室内で前記第2グループの前記評価者に前記音信号を提示し、前記主観評価結果を入力させる試行を繰り返す期間とが存在し、
前記入退室所要時間は、前記第1グループの前記評価者または前記第2グループの前記評価者のうち、前記評価室内に滞在する何れか一方のグループの前記評価者と、前記評価室外に滞在する他方のグループの前記評価者と、を1回入れ替えるために要する時間であり、
前記休憩時間は、前記評価者の前記評価室内での滞在時間と等しい、評価試験計画装置。 - 請求項1または2の評価試験計画装置であって、
前記結果取得部は、さらに、前記評価者が前記試行を継続的に繰り返す受聴を実施可能な受聴時間、前記評価者が前記試行を継続的に繰り返す受聴を繰り返すことが可能なセッション時間、および前記受聴が実施されるたびに前記評価者が前記評価室内で行う1回の休憩に要する小休憩時間の少なくとも何れかに基づいて、前記総実施時間、前記試験稼働時間での前記主観評価試験の実施の可否、および前記試験稼働時間で実施可能な前記試行の回数の少なくとも何れかを得る、評価試験計画装置。 - 請求項3の評価試験計画装置であって、
前記受聴時間は、6分間以上8分間以下の時間または6分間以上8分間以下の時間の近傍であり、
前記小休憩時間は、1分間または1分間の近傍であり、
前記セッション時間は、前記受聴を2回または3回繰り返すことが可能な時間であり、
前記休憩時間は、前記セッション時間の2/3以上または前記セッション時間の2/3の近傍以上である、評価試験計画装置。 - 請求項1から4の何れかの評価試験計画装置であって、
前記主観評価試験で用いられる評価方法の候補と、前記試験条件のうち経験則に基づいて定められた経験則条件と、を対応付けたテーブルを格納する記憶部を有し、
前記条件設定部は、前記テーブルを参照し、前記主観評価試験で用いられる評価方法に対応付けられた前記経験則条件を含む前記試験条件を設定する、評価試験計画装置。 - 請求項5の評価試験計画装置であって、
前記経験則条件は、前記試行のそれぞれで前記音信号が繰り返し提示される回数、前記評価時間、または前記主観評価試験の開始前に評価者が行う前記主観評価試験の練習時間、の何れかを少なくとも含む、評価試験計画装置。 - 請求項1から6の何れかの評価試験計画装置であって、
少なくとも、前記試験条件、前記音信号それぞれの提示時間、および前記休憩時間を用い、前記主観評価試験の実施計画を表すタイムテーブルである試験予定表を生成する試験予定表生成部を有する、評価試験計画装置。 - 評価室内で評価者に音信号を提示し、前記音信号に対する主観評価結果を入力させる試行を繰り返す主観評価試験の実施計画を生成するための評価試験計画装置であって、
前記主観評価試験で用いられる評価方法が入力されるとともに、入力された評価方法を表示する第1ユーザインタフェースと、
前記評価方法に基づいて得られた前記主観評価試験に必要な前記試行の総数、前記試行のそれぞれで提示される前記音信号の個数、および前記音信号が提示されてから前記評価者によって前記主観評価結果が入力されるまでの評価時間、を含む試験条件を表示する第2ユーザインタフェースと、
少なくとも、前記試験条件、前記音信号それぞれの提示時間、前記評価者の前記評価室への1回の入退室に要する入退室所要時間、および前記評価者の前記評価室外での1回の休憩に要する休憩時間に基づいて得られた、前記主観評価試験の実施に必要な総実施時間、試験稼働時間での前記主観評価試験の実施の可否、および前記試験稼働時間で実施可能な前記試行の回数の少なくとも何れかを表示する第3ユーザインタフェースと、
を有する評価試験計画装置。 - iが2以上の整数であり、
評価対象となるi個の音信号を提示する音信号提示部と、
前記i個の音信号のうちi−1個の音信号に対する主観評価結果の入力を受け付ける入力部と、
前記i−1個の音信号に対する主観評価結果を用い、前記i個の音信号のうち残り1個の音信号に対する主観評価結果を自動的に設定する評価設定部と、
を有する主観評価装置。 - 請求項9の主観評価装置であって、
前記入力部は、前記i個の音信号のうち主観評価の低いi−1個の音信号に対する主観評価結果の入力を受け、
前記評価設定部は、前記i個の音信号のうち、最も主観評価の高い1個の音信号に対する主観評価結果を自動的に設定する、主観評価装置。 - 評価室内で評価者に音信号を提示し、前記音信号に対する主観評価結果を入力させる試行を繰り返す主観評価試験の実施計画を生成するための評価試験計画装置の評価試験計画方法であって、
前記評価試験計画装置の条件設定部が、前記主観評価試験で用いられる評価方法に基づいて、前記主観評価試験に必要な前記試行の総数、前記試行のそれぞれで提示される前記音信号の個数、および前記音信号が提示されてから前記評価者によって前記主観評価結果が入力されるまでの評価時間、を含む試験条件を得るステップと、
前記評価試験計画装置の結果取得部が、少なくとも、前記試験条件、前記音信号それぞれの提示時間、前記評価者の前記評価室への1回の入退室に要する入退室所要時間、および前記評価者の前記評価室外での1回の休憩に要する休憩時間に基づいて、前記主観評価試験の実施に必要な総実施時間、試験稼働時間での前記主観評価試験の実施の可否、および前記試験稼働時間で実施可能な前記試行の回数の少なくとも何れかを得るステップと、
を有する評価試験計画方法。 - 評価室内で評価者に音信号を提示し、前記音信号に対する主観評価結果を入力させる試行を繰り返す主観評価試験の実施計画を生成するための評価試験計画方法であって、
第1ユーザインタフェースに前記主観評価試験で用いられる評価方法が入力されるとともに、入力された評価方法を前記第1ユーザインタフェースに表示するステップと、
前記評価方法に基づいて得られた前記主観評価試験に必要な前記試行の総数、前記試行のそれぞれで提示される前記音信号の個数、および前記音信号が提示されてから前記評価者によって前記主観評価結果が入力されるまでの評価時間、を含む試験条件を第2ユーザインタフェースに表示するステップと、
少なくとも、前記試験条件、前記音信号それぞれの提示時間、前記評価者の前記評価室への1回の入退室に要する入退室所要時間、および前記評価者の前記評価室外での1回の休憩に要する休憩時間に基づいて得られた、前記主観評価試験の実施に必要な総実施時間、試験稼働時間での前記主観評価試験の実施の可否、および前記試験稼働時間で実施可能な前記試行の回数の少なくとも何れかを第3ユーザインタフェースに表示するステップと、
を有する評価試験計画方法。 - 主観評価装置の主観評価方法であって、
iが2以上の整数であり、
前記主観評価装置の音信号提示部が、評価対象となるi個の音信号を提示するステップと、
前記主観評価装置の入力部が、前記i個の音信号のうちi−1個の音信号に対する主観評価結果の入力を受け付けるステップと、
前記主観評価装置の評価設定部が、前記i−1個の音信号に対する主観評価結果を用い、前記i個の音信号のうち残り1個の音信号に対する主観評価結果を自動的に設定するステップと、
を有する主観評価方法。 - 請求項1から8の何れかの評価試験計画装置としてコンピュータを機能させるためのプログラム。
- 請求項9または10の主観評価装置としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016200560A JP6434470B2 (ja) | 2016-10-12 | 2016-10-12 | 評価試験計画装置、主観評価装置、それらの方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016200560A JP6434470B2 (ja) | 2016-10-12 | 2016-10-12 | 評価試験計画装置、主観評価装置、それらの方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018063135A true JP2018063135A (ja) | 2018-04-19 |
JP6434470B2 JP6434470B2 (ja) | 2018-12-05 |
Family
ID=61967774
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016200560A Active JP6434470B2 (ja) | 2016-10-12 | 2016-10-12 | 評価試験計画装置、主観評価装置、それらの方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6434470B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112215469A (zh) * | 2020-09-15 | 2021-01-12 | 中国第一汽车股份有限公司 | 一种汽车按键类开关声音设计方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06236198A (ja) * | 1993-02-09 | 1994-08-23 | Nec Corp | 音質主観評価予測方式 |
JP2009236645A (ja) * | 2008-03-27 | 2009-10-15 | Toshiba Tec Corp | 音評価方法、音評価装置および音評価プログラム |
JP2011186143A (ja) * | 2010-03-08 | 2011-09-22 | Hitachi Ltd | ユーザ挙動を学習する音声合成装置、音声合成方法およびそのためのプログラム |
JP2016046694A (ja) * | 2014-08-25 | 2016-04-04 | 日本電信電話株式会社 | 音響品質評価装置、音響品質評価方法、およびプログラム |
JP2016046695A (ja) * | 2014-08-25 | 2016-04-04 | 日本電信電話株式会社 | 音響品質評価装置、音響品質評価方法、およびプログラム |
-
2016
- 2016-10-12 JP JP2016200560A patent/JP6434470B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06236198A (ja) * | 1993-02-09 | 1994-08-23 | Nec Corp | 音質主観評価予測方式 |
JP2009236645A (ja) * | 2008-03-27 | 2009-10-15 | Toshiba Tec Corp | 音評価方法、音評価装置および音評価プログラム |
JP2011186143A (ja) * | 2010-03-08 | 2011-09-22 | Hitachi Ltd | ユーザ挙動を学習する音声合成装置、音声合成方法およびそのためのプログラム |
JP2016046694A (ja) * | 2014-08-25 | 2016-04-04 | 日本電信電話株式会社 | 音響品質評価装置、音響品質評価方法、およびプログラム |
JP2016046695A (ja) * | 2014-08-25 | 2016-04-04 | 日本電信電話株式会社 | 音響品質評価装置、音響品質評価方法、およびプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112215469A (zh) * | 2020-09-15 | 2021-01-12 | 中国第一汽车股份有限公司 | 一种汽车按键类开关声音设计方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6434470B2 (ja) | 2018-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wetzel et al. | Stress management training for surgeons—a randomized, controlled, intervention study | |
Mishara et al. | Comparison of the effects of telephone suicide prevention help by volunteers and professional paid staff: Results from studies in the USA and Q uebec, C anada | |
Carrasco et al. | The memory failures of everyday questionnaire (MFE): internal consistency and reliability | |
Glymour | Probability and the explanatory virtues | |
Khilnani et al. | Structured oral examination in pharmacology for undergraduate medical students: Factors influencing its implementation | |
Petticrew | Public health evaluation: epistemological challenges to evidence production and use | |
De Bakker et al. | The communicative effect of risk identification on project success | |
De Silva et al. | Using Theory of Change in the development, implementation and evaluation of complex health interventions | |
Morris et al. | A standardized approach to bereavement risk-screening: a quality improvement project | |
JP6434470B2 (ja) | 評価試験計画装置、主観評価装置、それらの方法、およびプログラム | |
Raviselvam et al. | Demographic factors and their influence on designer creativity and empathy evoked through user extreme conditions | |
Callanan et al. | Can gpt models be financial analysts? an evaluation of chatgpt and gpt-4 on mock cfa exams | |
Wambaugh et al. | Sound production treatment for acquired apraxia of speech: An examination of dosage in relation to probe performance | |
Thibodeau et al. | Psychoacoustic performance in children completing Fast ForWord training | |
O'Leary et al. | Improving patient satisfaction: Timely feedback to specific physicians is essential for success | |
Horr et al. | Timing rhythms: Perceived duration increases with a predictable temporal structure of short interval fillers | |
Moreira et al. | Bayesian clinical reasoning: does intuitive estimation of likelihood ratios on an ordinal scale outperform estimation of sensitivities and specificities? | |
JP2007102668A (ja) | 統計比較処理装置 | |
Perry et al. | Out-of-hospital cardiac arrest protocol comparison | |
Reich | COVID-19 Test & Trace Success Determinants: Modeling On A Network | |
JP2017189381A (ja) | コミュニケーション能力評価支援装置、コミュニケーション能力評価支援システム、コミュニケーション能力評価支援方法及びプログラム | |
van Zaalen et al. | Clinical success using the audio-visual feedback training for cluttering | |
Head et al. | Young Women's Perspectives on Being Screened for Hereditary Breast and Ovarian Cancer Risk During Routine Primary Care | |
Manuel et al. | Implementation of a frailty intervention in the transition from hospital to home: a realist process evaluation protocol for the FORTRESS trial | |
Mickelson et al. | A distress-processing model for clients in suicidal crisis: Development and initial validation. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180919 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181108 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6434470 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |