JP2018064161A - Acoustic quality evaluation device, acoustic quality evaluation method, data structure, and program - Google Patents
Acoustic quality evaluation device, acoustic quality evaluation method, data structure, and program Download PDFInfo
- Publication number
- JP2018064161A JP2018064161A JP2016200561A JP2016200561A JP2018064161A JP 2018064161 A JP2018064161 A JP 2018064161A JP 2016200561 A JP2016200561 A JP 2016200561A JP 2016200561 A JP2016200561 A JP 2016200561A JP 2018064161 A JP2018064161 A JP 2018064161A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- sound
- acoustic
- evaluation
- acoustic signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Telephone Function (AREA)
Abstract
Description
本発明は、通話品質を評価するための技術に関し、特に拡声系通信システムの品質評価試験技術に関する。 The present invention relates to a technique for evaluating call quality, and more particularly to a quality evaluation test technique for a loudspeaker communication system.
特許文献1〜3には、拡声系通信システムでの会話MOS試験を模擬した評価試験を少ない稼働で行うための試験用のデータおよび音響品質評価方法が開示されている。 Patent Documents 1 to 3 disclose test data and an acoustic quality evaluation method for performing an evaluation test simulating a conversational MOS test in a loudspeaker communication system with less operation.
特許文献1〜3では、拡声系通信システムの実環境を模擬した環境で収録されたデータを用いて評価試験を行っている。そのため、データの音質も想定された実環境に即したものとなり、高音質のデータに対する評価試験を行うことができなかった。 In Patent Documents 1 to 3, an evaluation test is performed using data recorded in an environment simulating the real environment of a loudspeaker communication system. For this reason, the sound quality of the data is in line with the assumed actual environment, and it was not possible to perform an evaluation test on high-quality sound data.
本発明の課題は、広範な音質のデータを対象とし、拡声系通信システムでの会話MOS試験を模擬した評価試験を行うことである。 An object of the present invention is to perform an evaluation test that simulates a conversation MOS test in a loudspeaker communication system for a wide range of sound quality data.
システムの第1端側の第1音響信号に由来する信号がシステムの第2端側の第2音響信号に重畳した信号における、第2音響信号の品質を評価するためのデータ構造が提供される。このデータ構造は、第1音響信号を含む第1チャネルの第1データと、第1音響信号に由来する信号と第2音響信号とに基づく重畳信号であって第2端側の空間環境または当該空間環境を模擬した条件に基づいて劣化した第2重畳信号を含む第2チャネルの第2データと、第1音響信号に由来する信号と第2音響信号とに基づく重畳信号であって第2端側の空間環境に基づく劣化若しくは当該空間環境を模擬した条件に基づく劣化がない信号に信号処理を行って得られた処理信号に由来する第3重畳信号を含む第2チャネルの第3データと、を有する。第1データおよび第2データまたは第3データが音響品質評価装置で読み出されたとき、第1データが表す音が両耳装着型音響再生装置の一方のチャネルから再生され、第2データまたは第3データが表す音が両耳装着型音響再生装置の他方のチャネルから再生され、評価結果を表す情報が音響品質評価装置に入力される。 A data structure is provided for evaluating the quality of a second acoustic signal in a signal obtained by superimposing a signal derived from the first acoustic signal on the first end side of the system on the second acoustic signal on the second end side of the system. . This data structure is a superimposed signal based on the first data of the first channel including the first acoustic signal, the signal derived from the first acoustic signal, and the second acoustic signal, and the spatial environment on the second end side or The second end of the second channel includes the second data including the second superimposed signal degraded based on the condition simulating the spatial environment, the signal derived from the first acoustic signal, and the second acoustic signal. Third data of the second channel including a third superimposed signal derived from a processed signal obtained by performing signal processing on a signal that is not degraded based on a spatial environment on the side or a degradation based on conditions simulating the spatial environment; Have When the first data and the second data or the third data are read by the sound quality evaluation apparatus, the sound represented by the first data is reproduced from one channel of the binaural-type sound reproduction apparatus, and the second data or the second data The sound represented by the three data is reproduced from the other channel of the binaural sound reproduction device, and information representing the evaluation result is input to the sound quality evaluation device.
第2データは、第2端側の空間または空間を模擬した条件の下での劣化を反映しているが、第3データは、第2端側の空間での劣化も空間を模擬した条件の下での劣化も反映しない。これにより、広範な音質のデータを対象とし、拡声系通信システムでの会話MOS試験を模擬した評価試験を行うことができる。 The second data reflects the degradation under the condition that simulates the space or the space on the second end side, but the third data is also the condition under the condition that simulates the space on the second end side. It does not reflect the deterioration below. Thus, an evaluation test simulating a conversation MOS test in a loudspeaker communication system can be performed on a wide range of sound quality data.
以下、図面を参照して本発明の実施形態を説明する。
[第1実施形態]
<拡声系通信システムでの会話MOS試験を模擬した評価試験>
まず、拡声系通信システムでの会話MOS試験を模擬した評価試験を概念的に説明する。この評価試験では、近端話者と遠端話者とが拡声系通信システムを通じて会話を行い、近端話者側に位置する評価者が当該拡声系通信システムの品質評価を行う。なお、拡声系通信システムとは、マイクロホンとスピーカーとを備えた端末装置間で音響信号を送受信する通信システムであって、端末装置のスピーカーから出力された音の少なくとも一部がその端末装置のマイクロホンで受音されるもの(音の回り込みが生じるもの)をいう。拡声系通信システムの一例は、音声会議システムやテレビ会議システムである。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[First Embodiment]
<Evaluation test simulating conversational MOS test in loudspeaker communication system>
First, an evaluation test simulating a conversation MOS test in a loudspeaker communication system will be conceptually described. In this evaluation test, a near-end speaker and a far-end speaker have a conversation through a loudspeaker communication system, and an evaluator located on the near-end speaker side evaluates the quality of the loudspeaker communication system. Note that the loudspeaker communication system is a communication system that transmits and receives an acoustic signal between terminal devices including a microphone and a speaker, and at least a part of the sound output from the speaker of the terminal device is a microphone of the terminal device. The sound received by the sound (the sound wraps around). An example of a loudspeaker communication system is an audio conference system or a video conference system.
図3に例示する拡声系通信システムでは、近端話者の音声が近端話者側のマイクロホンで受音され、それに基づいて得られた音響信号がネットワーク経由で遠端話者側に伝送され、当該音響信号が表す音が遠端話者側のスピーカーから出力される。また、遠端話者側の音が遠端話者側のマイクロホンで受音され、それに基づいて得られた音響信号がネットワーク経由で近端話者側に伝送され、当該音響信号が表す音が近端話者側のスピーカーから出力される。ただし、遠端話者側のスピーカーから出力された音の少なくとも一部は遠端話者側のマイクロホンでも受音される。すなわち、遠端話者側のマイクロホンで受音される遠端話者側の音は、遠端話者の音声に近端話者の音声の回り込み(音響エコー)が重畳されたものである。すなわち、遠端話者側のマイクロホンで受音される遠端話者側の音は、近端話者の音声に基づく信号と遠端話者の音声に基づく信号とが遠端話者側の空間で劣化して重畳した信号に基づく。また、近端話者側に伝送される音響信号は、遠端話者側のマイクロホンで受音された音を表す信号に所定の「信号処理」を行って得られた処理信号に由来するものであってもよいし、このような信号処理を行うことなく得られたものであってもよい。「信号処理」は、どのような処理であってもよい。「信号処理」の例は、エコーキャンセル処理およびノイズキャンセル処理の少なくとも一方を含む処理である。 In the loudspeaker communication system illustrated in FIG. 3, the near-end speaker's voice is received by the near-end speaker's microphone, and an acoustic signal obtained based on the sound is transmitted to the far-end speaker via the network. The sound represented by the acoustic signal is output from the far-end speaker. Further, the far-end speaker side sound is received by the far-end speaker side microphone, and the acoustic signal obtained based on the received sound is transmitted to the near-end speaker side via the network, and the sound represented by the acoustic signal is Output from the near-end speaker. However, at least part of the sound output from the speaker on the far end speaker side is also received by the microphone on the far end speaker side. That is, the far-end speaker's sound received by the far-end speaker's microphone is obtained by superimposing the near-end talker's voice (acoustic echo) on the far-end talker's voice. That is, the far-end speaker's sound received by the far-end speaker's microphone is a signal based on the near-end speaker's voice and a signal based on the far-end talker's voice. Based on a signal that is degraded and superimposed in space. The acoustic signal transmitted to the near-end speaker is derived from a processed signal obtained by performing predetermined “signal processing” on the signal representing the sound received by the far-end speaker's microphone. It may be obtained without performing such signal processing. “Signal processing” may be any processing. An example of “signal processing” is processing including at least one of echo cancellation processing and noise cancellation processing.
評価者は、ヘッドフォンやイヤホン等の両耳装着型音響再生装置を用い、近端話者からの直接音を一方の耳(例えば利き耳ではない方の耳−例えば右耳)で聴き、近端話者側のスピーカーから出力される音を他方の耳(例えば利き耳−例えば左耳)で聴き、通話品質を主観評価(オピニオン評価)する。本実施形態では、近端話者からの直接音側のチャネルを「Rch」と表記し、近端話者側のスピーカーから出力される音側のチャネルを「Lch」と表記する。上述のように、近端話者側のスピーカーから出力される音は、遠端話者の音声に近端話者の音声の音響エコーが重畳された遠端話者側の音が遠端話者側のマイクロホンで受音され、それに基づいて得られた音響信号が近端話者側に伝送され、近端話者側のスピーカーから出力されたものである。そのため、近端話者側のスピーカーから出力される音に含まれる近端話者の音声の音響エコー成分は、この近端話者の音声の直接音よりも遅延している(音響信号が近端話者側と遠端話者側との間を一往復する時間の遅延)。また、近端話者側のスピーカーから出力される音に含まれる遠端話者の音声の成分は、この遠端話者の音声が発せられた時点よりも遅延している(音響信号が遠端話者側から近端話者側へ伝送される時間の遅延)。ここで、近端話者からの直接音を表す音響信号と、遠端話者側の空間での音の回り込みがある場合の近端話者側のスピーカーから出力される音を表す音響信号と、の組を「劣化信号」と呼ぶ。この遠端話者側の空間での音の回り込みの際に当該空間での音質劣化が生じる。特に上述の「信号処理」が行われていない「劣化信号」を「劣化信号D1」と表記し、「信号処理」が行われた「劣化信号」を「劣化信号D2」と表記する。また、近端話者からの直接音を表す音響信号と、遠端話者側の空間での音の回り込みがあるものの当該空間での劣化がない場合の近端話者側のスピーカーから出力される音を表す音響信号と、の組を「特殊信号」と表記する。特に上述の「信号処理」が行われていない「特殊信号」を「特殊信号D3」と表記し、「信号処理」が行われた「特殊信号」を「特殊信号D4」と表記する。さらに参照用として、近端話者からの直接音を表す音響信号と、遠端話者側での音の回り込みがないと仮定した場合の近端話者側のスピーカーから出力される音を表す音響信号と、の組を「参照信号」と呼ぶ。評価者は、例えば「劣化信号D1」「劣化信号D2」「特殊信号D3」「特殊信号D4」「参照信号」の何れかの組を比較することで通話品質を主観評価する。 The evaluator listens to the direct sound from the near-end speaker with one ear (for example, the ear that is not the dominant ear—for example, the right ear) using a binaural sound reproduction device such as headphones or earphones. The sound output from the speaker on the speaker side is heard with the other ear (for example, the dominant ear—for example, the left ear), and the speech quality is subjectively evaluated (opinion evaluation). In this embodiment, the channel on the direct sound side from the near-end speaker is denoted as “Rch”, and the channel on the sound side output from the near-end speaker is denoted as “Lch”. As described above, the sound output from the speaker on the near-end speaker side is the sound on the far-end speaker side where the acoustic echo of the near-end speaker sound is superimposed on the far-end speaker sound. The sound signal received based on the microphone on the speaker side and transmitted based on the sound is transmitted to the near-end speaker side and output from the speaker on the near-end speaker side. Therefore, the acoustic echo component of the near-end speaker's voice included in the sound output from the near-end speaker's speaker is delayed from the direct sound of the near-end speaker's voice (the acoustic signal is near Delay of one round trip between the end speaker and far end speaker). In addition, the far-end speaker's voice component included in the sound output from the near-end speaker's speaker is delayed from the time when the far-end talker's voice is emitted (the acoustic signal is far away). The delay in time transmitted from the end speaker side to the near end speaker side). Here, an acoustic signal representing the direct sound from the near-end speaker, and an acoustic signal representing the sound output from the speaker on the near-end speaker side when there is a sound wrap around in the space on the far-end speaker side, , Is called “degraded signal”. When sound wraps around in the far-end speaker side space, sound quality degradation occurs in the space. In particular, a “degraded signal” that has not been subjected to the “signal processing” is denoted as “degraded signal D 1 ”, and a “degraded signal” that has been subjected to “signal processing” is denoted as “degraded signal D 2 ”. It is also output from the near-end speaker when there is an acoustic signal that represents the direct sound from the near-end speaker and the sound wraps around the far-end speaker side, but there is no degradation in that space. A set of sound signals representing the sound to be heard is referred to as a “special signal”. In particular, the “special signal” that has not been subjected to the “signal processing” is referred to as “special signal D 3 ”, and the “special signal” that has been subjected to “signal processing” is referred to as “special signal D 4 ”. Furthermore, for reference, an acoustic signal representing a direct sound from the near-end speaker and a sound output from the speaker on the near-end speaker when it is assumed that there is no sound wraparound on the far-end speaker side are represented. A set of acoustic signals is called a “reference signal”. The evaluator subjectively evaluates the call quality by comparing any set of “degraded signal D 1 ”, “degraded signal D 2 ”, “special signal D 3 ”, “special signal D 4 ”, and “reference signal”, for example.
<データ生成装置>
次に、拡声系通信システムでの会話MOS試験を模擬した評価試験を行うためのデータ構造を生成するデータ生成装置を例示する。図1および図2Aに例示するように、本実施形態のデータ生成装置1は、近端話者音響信号記憶部101、遠端話者音響信号記憶部102、再生部103,104、スピーカー105,106、マイクロホン107、時間調整処理部108,208,280、収録処理部109、信号処理部270、近端端末部110、遠端端末部120、出力部131,132,141,142,151,152,231,232,241,242,251,252、およびデータ記憶部180を有する。遠端端末部120は信号処理部121を含み、近端端末部110と遠端端末部120とはネットワーク(NW)を通じて通信可能に構成されている。少なくとも、スピーカー105,106およびマイクロホン107は、同じ室内に配置されている。図2Bに例示するように、信号処理部270は、例えば、入力部271,272、出力部273、加算部274、適応フィルタ275、および時間調整処理部276を含む。信号処理部270がさらに雑音除去部278および乗算部277を含んでもよい。また、図2Bでは適応フィルタ275を用いてエコーキャンセラが構成されているが、音声スイッチやエコーリダクションその他の技術またはそれと適応フィルタ275との組み合わせでエコーキャンセラが構成されてもよい。データ生成装置1は、例えば、スピーカーやマイクロホンが接続され、CPU(central processing unit)等のプロセッサ(ハードウェア・プロセッサ)やRAM(random-access memory)・ROM(read-only memory)等のメモリ等を備えた汎用または専用の1個以上のコンピュータが所定のプログラムを実行することで構成される装置である。各コンピュータは1個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めROM等に記録されていてもよい。また、CPUのようにプログラムが読み込まれることで機能構成を実現する電子回路(circuitry)ではなく、単独で処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、1個の装置を構成する電子回路が複数のCPUを含んでいてもよい。
<Data generation device>
Next, a data generation apparatus that generates a data structure for performing an evaluation test simulating a conversation MOS test in a loudspeaker communication system will be exemplified. As illustrated in FIGS. 1 and 2A, the data generation device 1 of the present embodiment includes a near-end speaker acoustic signal storage unit 101, a far-end speaker acoustic signal storage unit 102, playback units 103 and 104, a speaker 105, 106, microphone 107, time adjustment processing units 108, 208, 280, recording processing unit 109, signal processing unit 270, near end terminal unit 110, far end terminal unit 120, output units 131, 132, 141, 142, 151, 152 , 231, 232, 241, 242, 251, 252 and a data storage unit 180. The far-end terminal unit 120 includes a signal processing unit 121, and the near-end terminal unit 110 and the far-end terminal unit 120 are configured to be able to communicate through a network (NW). At least the speakers 105 and 106 and the microphone 107 are arranged in the same room. As illustrated in FIG. 2B, the signal processing unit 270 includes, for example, input units 271, 272, an output unit 273, an addition unit 274, an adaptive filter 275, and a time adjustment processing unit 276. The signal processing unit 270 may further include a noise removal unit 278 and a multiplication unit 277. In FIG. 2B, the echo canceller is configured using the adaptive filter 275, but the echo canceller may be configured by a voice switch, echo reduction, or another technique or a combination thereof and the adaptive filter 275. The data generator 1 is connected to a speaker or a microphone, for example, a processor (hardware processor) such as a CPU (central processing unit), a memory such as a random-access memory (RAM), a read-only memory (ROM), or the like. Is a device configured by executing a predetermined program by one or more general-purpose or dedicated computers. Each computer may include one processor or memory, or may include a plurality of processors or memories. This program may be installed in a computer, or may be recorded in a ROM or the like in advance. In addition, some or all of the processing units may be configured using an electronic circuit that realizes a processing function independently instead of an electronic circuit (circuitry) that realizes a functional configuration by reading a program like a CPU. . In addition, an electronic circuit constituting one device may include a plurality of CPUs.
<データ生成処理>
次に、本実施形態のデータ生成処理を説明する。
事前処理として、評価者が受聴する近端話者の直接音(近端話者の音声)に相当する音を表す近端話者音響信号(システムの第1端側の第1音響信号)のデータを近端話者音響信号記憶部101に格納し、遠端話者の直接音(遠端話者の音声)に相当する音を表す遠端話者音響信号(システムの第2端側の第2音響信号)のデータを遠端話者音響信号記憶部102に格納する。本実施形態の近端話者音響信号および遠端話者音響信号は何れも時系列の音響信号であり、例えば、防音室で収録した音声に基づいて得られたものである。ただし、これは本発明を限定するものではなく、近端話者音響信号および遠端話者音響信号の少なくとも一方が通常の室内環境で収録されたものであってもよい。また、本形態では、近端話者音響信号が表す近端話者音声と遠端話者音響信号が表す遠端話者音声との間の発話タイミング(すなわち、近端話者音声の発話時に対する遠端話者音声の発話時の相対時間、例えば、近端話者音声と遠端話者音声とのかぶり)に制約は設けない。ただし、これは本発明を限定するものではなく、近端話者音声と遠端話者音声との間の発話タイミングに何らかの制約を設けてもよい。また、近端話者および遠端話者に制約はなく、これらが評価者以外の人であってもよいし、これらの少なくとも一方が評価者と同一人物であってもよい。以上の前提のもと、上述の評価試験を行うためのデータ構造が次のように生成される。
<Data generation processing>
Next, the data generation process of this embodiment is demonstrated.
As pre-processing, a near-end speaker acoustic signal (first acoustic signal on the first end side of the system) representing a sound corresponding to the direct sound (near-end speaker voice) of the near-end speaker that the evaluator listens to The data is stored in the near-end speaker acoustic signal storage unit 101, and the far-end speaker acoustic signal (the second end side of the system) representing the sound corresponding to the far-end speaker's direct sound (far-end speaker's voice) is stored. The data of the second sound signal is stored in the far-end speaker sound signal storage unit 102. Both the near-end speaker sound signal and the far-end speaker sound signal of this embodiment are time-series sound signals, and are obtained based on, for example, sound recorded in a soundproof room. However, this does not limit the present invention, and at least one of the near-end speaker sound signal and the far-end speaker sound signal may be recorded in a normal indoor environment. In this embodiment, the speech timing between the near-end speaker sound represented by the near-end speaker sound signal and the far-end speaker sound represented by the far-end speaker sound signal (that is, when the near-end speaker sound is uttered). There is no restriction on the relative time when the far-end speaker voice is uttered with respect to (for example, the fogging of the near-end talker voice and the far-end talker voice). However, this does not limit the present invention, and some restrictions may be placed on the speech timing between the near-end speaker speech and the far-end speaker speech. Moreover, there is no restriction | limiting in a near end speaker and a far end speaker, These may be persons other than an evaluator, and at least one of these may be the same person as an evaluator. Based on the above assumptions, a data structure for performing the above-described evaluation test is generated as follows.
≪参照信号および劣化信号の生成≫
まず、図1を用い、参照信号E1および劣化信号D1,D2の生成方法について説明する。再生部103は、近端話者音響信号記憶部101から近端話者音響信号のデータを抽出して近端話者音響信号を出力する。再生部103から出力された近端話者音響信号は、出力部131,141,151および近端端末部110に送られる。出力部131,141,151は、送られた近端話者音響信号(システムの第1端側の第1音響信号)を、それぞれ「劣化信号D1」「劣化信号D2」「参照信号E1」のRchのデータ(システムの第1端側の第1音響信号を含む第1チャネルの第1データ)として出力する。また、近端端末部110は、送られた近端話者音響信号をネットワーク経由で遠端端末部120に伝送する。遠端端末部120は伝送された近端話者音響信号(第1音響信号に由来する信号)をスピーカー105に送り、スピーカー105は近端話者音響信号が表す音を出力する。
≪Generation of reference signal and degraded signal≫
First, a method for generating the reference signal E 1 and the degradation signals D 1 and D 2 will be described with reference to FIG. The reproduction unit 103 extracts the near-end speaker sound signal data from the near-end speaker sound signal storage unit 101 and outputs the near-end speaker sound signal. The near-end speaker sound signal output from the reproduction unit 103 is sent to the output units 131, 141, 151 and the near-end terminal unit 110. The output units 131, 141, and 151 output the transmitted near-end speaker acoustic signals (first acoustic signals on the first end side of the system) to “degraded signal D 1 ”, “degraded signal D 2 ”, and “reference signal E”, respectively. 1 "Rch data (first data of the first channel including the first acoustic signal on the first end side of the system). Further, the near-end terminal unit 110 transmits the sent near-end speaker sound signal to the far-end terminal unit 120 via the network. The far-end terminal unit 120 sends the transmitted near-end speaker sound signal (a signal derived from the first sound signal) to the speaker 105, and the speaker 105 outputs the sound represented by the near-end speaker sound signal.
再生部104は、遠端話者音響信号記憶部102から遠端話者音響信号のデータを抽出して遠端話者音響信号を出力する。再生部104から出力された遠端話者音響信号は時間調整処理部108およびスピーカー106に送られる。時間調整処理部108は送られた遠端話者音響信号を遅延させて出力部152に送る。時間調整処理部108での遅延量τは、遠端端末部120から近端端末部110までの伝送遅延量Bを模擬するものであり、例えば、この伝送遅延量Bに基づいて定められる。例えば、遠端端末部120から近端端末部110までの伝送遅延量B、当該伝送遅延量Bの予測値、当該伝送遅延量Bの平均値、またはこれらの何れかの近似値または補正値(関数値)を時間調整処理部108での遅延量τとする。なお、「αの近似値」とは、α−β1以上α+β2以下の範囲に属する値を意味する。β1およびβ2は正の値(例えば定数)であり、β1=β2であってもよいし、β1≠β2であってもよい。また、伝送遅延量Bは、往復の遅延量C(近端話者音響信号が近端端末部110から遠端端末部120に伝送され、スピーカー105からそれを表す音が出力され、マイクロホン107で受音されて得られた信号が、さらに遠端端末部120から近端端末部110に伝送されるまでの時間)の約半分である。そのため、遅延量Cに基づいて遅延量τが定められてもよい。例えば、遅延量Cの1/2値、当該遅延量Cの予測値の1/2値、当該遅延量Cの平均値の1/2値、またはこれらの何れかの関数値を遅延量τとしてもよい。遅延量τは固定値であってもよいし、実際に測定された伝送遅延量Bに基づいて決定されてもよい。ただし、ネットワーク環境によっては往路と復路との遅延量が異なる場合もある。また、近端端末部110や遠端端末部120や信号処理部121やネットワーク環境が変化すれば伝送遅延量Bや遅延量Cが変化するため、そのような変化に応じて遅延量τを定めることが望ましい。出力部152は、時間調整処理部108で遅延させた遠端話者音響信号(基準音響信号、第2音響信号を含む信号に基づく比較用信号)を「参照信号E1」のLchのデータ(第2音響信号を含む信号に基づく比較用信号を含む第2チャネルの第4データ)として出力する。 The reproduction unit 104 extracts far-end speaker sound signal data from the far-end speaker sound signal storage unit 102 and outputs a far-end speaker sound signal. The far-end speaker sound signal output from the reproduction unit 104 is sent to the time adjustment processing unit 108 and the speaker 106. The time adjustment processing unit 108 delays the sent far-end speaker sound signal and sends it to the output unit 152. The delay amount τ in the time adjustment processing unit 108 simulates the transmission delay amount B from the far-end terminal unit 120 to the near-end terminal unit 110, and is determined based on the transmission delay amount B, for example. For example, the transmission delay amount B from the far-end terminal unit 120 to the near-end terminal unit 110, the predicted value of the transmission delay amount B, the average value of the transmission delay amount B, or any approximate value or correction value thereof ( (Function value) is the delay amount τ in the time adjustment processing unit 108. The “approximate value of α” means a value belonging to a range of α−β 1 or more and α + β 2 or less. β 1 and β 2 are positive values (for example, constants), and β 1 = β 2 may be satisfied, or β 1 ≠ β 2 may be satisfied. Further, the transmission delay amount B is a round-trip delay amount C (a near-end speaker acoustic signal is transmitted from the near-end terminal unit 110 to the far-end terminal unit 120, and a sound representing it is output from the speaker 105. The signal obtained by receiving the sound is about half of the time until the signal is further transmitted from the far-end terminal unit 120 to the near-end terminal unit 110. Therefore, the delay amount τ may be determined based on the delay amount C. For example, ½ value of the delay amount C, ½ value of the predicted value of the delay amount C, ½ value of the average value of the delay amount C, or any one of these function values is used as the delay amount τ. Also good. The delay amount τ may be a fixed value or may be determined based on the actually measured transmission delay amount B. However, depending on the network environment, the amount of delay between the forward path and the return path may be different. Further, if the near-end terminal unit 110, the far-end terminal unit 120, the signal processing unit 121, and the network environment change, the transmission delay amount B and the delay amount C change, so the delay amount τ is determined according to such change. It is desirable. The output unit 152 uses the Lch data (reference signal E 1 ) of the Lch data (a comparison signal based on the signal including the reference sound signal and the second sound signal) delayed by the time adjustment processing unit 108. 4th data of the second channel including the comparison signal based on the signal including the second acoustic signal).
スピーカー106は、送られた遠端話者音響信号(システムの第2端側の第2音響信号)が表す音(第2端側の第2音響信号に由来する再生信号)を出力する。スピーカー105から出力された音およびスピーカー106から出力された音は室内空間で重畳し、マイクロホン107で受音される。ここで、スピーカー105および106から出力された音は、遠端端末部120側(第2端側)の室内空間での残響、反響、雑音などの空間影響に基づいて劣化する。すなわち、マイクロホン107で受音される音は、スピーカー105および106から出力された音が空間影響に基づいて劣化しつつ重畳したものである。マイクロホン107で受音して得られた受音信号は、遠端端末部120の信号処理部121に送られる。信号処理部121は、送られた受音信号に対する信号処理の実行の有無を制御可能である。信号処理が実行される場合、信号処理部121は、送られた受音信号に信号処理を行って処理信号を得、遠端端末部120は処理信号をネットワーク経由で近端端末部110(第1端側)に伝送する。この信号処理には、さらに近端端末部110からネットワーク経由で遠端端末部120に伝送された近端話者音響信号(スピーカー105に入力される近端話者音響信号)が用いられてもよい。一方、信号処理が実行されない場合、遠端端末部120は、信号処理部121に送られた受音信号をネットワーク経由で近端端末部110(第1端側)に伝送する。また信号処理部121は、例えば、信号処理の有無を表す情報を収録処理部109に送る。信号処理部121は、送られた受音信号に対して信号処理を実行して処理信号を得、遠端端末部120はこの処理信号をネットワーク経由で近端端末部110に伝送し、さらに、この信号処理の対象となった受音信号またはそれと同一の条件のもとで得られた同一とみなせる受音信号をネットワーク経由で近端端末部110に伝送してもよい。すなわち、同一または同一とみなせる2つの受音信号の一方に信号処理する場合の一連の処理が行われ、他方に信号処理を実行しない場合の一連の処理が行われてもよい。「同一の条件」とは、少なくとも、データ生成装置1、近端話者音響信号、遠端話者音響信号、および発話タイミングが同一であることを意味する。「信号処理」はどのような処理であってもよく、「信号処理」の例はエコーキャンセル処理およびノイズキャンセル処理の少なくとも一方を含む処理である。なお、エコーキャンセル処理とは、エコーを低減させるための広義のエコーキャンセラによる処理を意味する。広義のエコーキャンセラによる処理とは、エコーを低減させるための処理全般を意味する。広義のエコーキャンセラによる処理は、例えば、適応フィルタを用いた狭義のエコーキャンセラのみによって実現されてもよいし、音声スイッチによって実現されてもよいし、エコーリダクションによって実現されてもよいし、これらの少なくとも一部の技術の組み合わせによって実現されてもよいし、さらにその他の技術との組み合わせによって実現されてもよい(例えば、参考文献1「知識ベース 知識の森、2群−6編−5章、“音響エコーキャンセラ”、電子情報通信学会」参照)。またノイズキャンセル処理とは、遠端端末のマイクロホンの周囲で発生する、遠端話者の音声以外のあらゆる環境雑音に起因する雑音成分を抑圧または除去する処理を意味する。環境雑音とは、例えば、オフィスの空調音、走行中の車内音、交差点での車の通行音、虫の音、キーボードのタッチ音、複数の人の声(ガヤガヤ音)などを指し、音の大/小、屋内/屋外は問わない。 The speaker 106 outputs a sound (a reproduction signal derived from the second acoustic signal on the second end side) represented by the transmitted far-end speaker acoustic signal (second acoustic signal on the second end side of the system). The sound output from the speaker 105 and the sound output from the speaker 106 are superimposed in the indoor space and received by the microphone 107. Here, the sound output from the speakers 105 and 106 deteriorates based on spatial effects such as reverberation, reverberation, and noise in the indoor space on the far end terminal unit 120 side (second end side). That is, the sound received by the microphone 107 is the sound output from the speakers 105 and 106 superimposed while being deteriorated based on the spatial influence. The sound reception signal obtained by receiving the sound with the microphone 107 is sent to the signal processing unit 121 of the far-end terminal unit 120. The signal processing unit 121 can control whether or not signal processing is performed on the received sound reception signal. When signal processing is executed, the signal processing unit 121 performs signal processing on the received sound reception signal to obtain a processed signal, and the far-end terminal unit 120 transmits the processed signal to the near-end terminal unit 110 (the first terminal) via the network. 1 end side). For this signal processing, a near-end speaker sound signal (a near-end speaker sound signal input to the speaker 105) transmitted from the near-end terminal unit 110 to the far-end terminal unit 120 via the network is used. Good. On the other hand, when the signal processing is not executed, the far-end terminal unit 120 transmits the received sound signal sent to the signal processing unit 121 to the near-end terminal unit 110 (first end side) via the network. For example, the signal processing unit 121 sends information indicating the presence or absence of signal processing to the recording processing unit 109. The signal processing unit 121 performs signal processing on the received sound signal to obtain a processed signal, and the far-end terminal unit 120 transmits the processed signal to the near-end terminal unit 110 via the network. The received sound signal subjected to this signal processing or the received sound signal obtained under the same conditions as the same may be transmitted to the near-end terminal unit 110 via the network. That is, a series of processes when signal processing is performed on one of two received sound signals that can be regarded as the same or the same may be performed, and a series of processes when signal processing is not performed on the other may be performed. The “same condition” means that at least the data generation device 1, the near-end speaker sound signal, the far-end speaker sound signal, and the speech timing are the same. “Signal processing” may be any processing, and an example of “signal processing” is processing including at least one of echo cancellation processing and noise cancellation processing. Note that the echo cancellation processing means processing by an echo canceller in a broad sense for reducing echo. The processing by the echo canceller in a broad sense means all processing for reducing echo. The processing by the broad echo canceller may be realized only by a narrow sense echo canceller using an adaptive filter, may be realized by a voice switch, may be realized by echo reduction, or these It may be realized by a combination of at least a part of the techniques, or may be realized by a combination with other techniques (for example, Reference 1 “Knowledge Base Knowledge Forest, Group 2-6, Chapter 5; (See “Acoustic Echo Canceller”, IEICE). The noise canceling process means a process for suppressing or removing a noise component caused by any environmental noise other than the voice of the far-end speaker that occurs around the microphone of the far-end terminal. Environmental noise refers to, for example, office air-conditioning sound, in-car sound while driving, car traffic sound at intersections, insect sounds, keyboard touch sounds, voices of multiple people (gray noise), etc. It doesn't matter whether it's large / small or indoor / outdoor.
遠端端末部120からネットワーク経由で伝送された信号(第1音響信号に由来する信号とシステムの第2端側の第2音響信号とに基づく重畳信号であって、第2端側の空間環境に基づいて劣化した第2重畳信号)は、近端端末部110に入力され、収録処理部109に送られる。ここで、信号処理部121で信号処理が実行されている場合(信号処理ON時)、収録処理部109は、送られた信号(第2重畳信号)を出力部142に送る。出力部142は、送られた信号(評価対象音響信号T2)を「劣化信号D2」のLchのデータ(第2重畳信号を含む第2チャネルの第2データ)として出力する。一方、信号処理部121で信号処理が実行されていない場合(信号処理OFF時)、収録処理部109は、送られた信号(第2重畳信号)を出力部132に送る。出力部132は、送られた信号(評価対象音響信号T1)を「劣化信号D1」のLchのデータ(第2重畳信号を含む第2チャネルの第2データ)として出力する。 A signal transmitted from the far-end terminal unit 120 via a network (a superimposed signal based on a signal derived from the first acoustic signal and a second acoustic signal on the second end side of the system, and a spatial environment on the second end side) The second superimposition signal deteriorated based on the signal is input to the near-end terminal unit 110 and sent to the recording processing unit 109. Here, when signal processing is being performed by the signal processing unit 121 (when signal processing is ON), the recording processing unit 109 sends the transmitted signal (second superimposed signal) to the output unit 142. The output unit 142 outputs the transmitted signal (evaluation target acoustic signal T 2 ) as Lch data of the “degraded signal D 2 ” (second data of the second channel including the second superimposed signal). On the other hand, when the signal processing unit 121 is not executing signal processing (when the signal processing is OFF), the recording processing unit 109 sends the transmitted signal (second superimposed signal) to the output unit 132. The output unit 132 outputs the transmitted signal (evaluation target acoustic signal T 1 ) as Lch data of the “degraded signal D 1 ” (second data of the second channel including the second superimposed signal).
出力部131から出力されたRchの近端話者音響信号のデータと、出力部132から出力されたLchの評価対象音響信号T1のデータとの組は、「劣化信号D1」としてデータ記憶部180に格納される。出力部141から出力されたRchの近端話者音響信号のデータと、出力部142から出力されたLchの評価対象音響信号T2のデータとの組は、「劣化信号D2」としてデータ記憶部180に格納される。出力部151から出力されたRchの近端話者音響信号のデータと、出力部152から出力されたLchの基準音響信号のデータとの組は、「参照信号E1」としてデータ記憶部180に格納される。なお、同じ時間区間に対応する「劣化信号D1」「劣化信号D2」「参照信号E1」のRchの近端話者音響信号は互いに同一である。そのため、必ずしも「劣化信号D1」「劣化信号D2」「参照信号E1」のそれぞれについて、互いに同一なRchの近端話者音響信号のデータをデータ記憶部180に格納する必要はない。もちろん、「劣化信号D1」「劣化信号D2」「参照信号E1」のそれぞれについて、互いに同一なRchの近端話者音響信号のデータをデータ記憶部180に格納してもかまわない。 A set of Rch near-end speaker acoustic signal data output from the output unit 131 and Lch evaluation target acoustic signal T 1 data output from the output unit 132 is stored as “deteriorated signal D 1 ”. Stored in the unit 180. The pair of the Rch near-end speaker acoustic signal data output from the output unit 141 and the data of the Lch evaluation target acoustic signal T 2 output from the output unit 142 is stored as “deteriorated signal D 2 ”. Stored in the unit 180. A set of Rch near-end speaker acoustic signal data output from the output unit 151 and Lch reference acoustic signal data output from the output unit 152 is stored in the data storage unit 180 as “reference signal E 1 ”. Stored. Note that the Rch near-end speaker acoustic signals of “degraded signal D 1 ”, “degraded signal D 2 ”, and “reference signal E 1 ” corresponding to the same time interval are the same. Therefore, it is not always necessary to store in the data storage unit 180 the near-end speaker acoustic signal data of the same Rch for each of “degraded signal D 1 ”, “degraded signal D 2 ”, and “reference signal E 1 ”. Of course, the data of the near-end speaker acoustic signal of the same Rch may be stored in the data storage unit 180 for each of the “degraded signal D 1 ”, “degraded signal D 2 ”, and “reference signal E 1 ”.
図4を用い、上述のように得られた「参照信号E1」「劣化信号D1」「劣化信号D2」を例示する。図4の例では、前述した同一または同一とみなせる2つの受音信号の一方に信号処理する場合の一連の処理が行われ、他方に信号処理を実行しない場合の一連の処理が行われ、信号処理を実行した場合の「劣化信号D2」と、信号処理を実行していない場合の「劣化信号D1」との両方が得られている。また図4の例では、「信号処理」としてエコーキャンセル処理を含む処理を用いている。 Using FIG. 4, “reference signal E 1 ”, “deteriorated signal D 1 ”, and “deteriorated signal D 2 ” obtained as described above are illustrated. In the example of FIG. 4, a series of processes when signal processing is performed on one of the two received sound signals that can be regarded as the same or the same is performed, and a series of processes when signal processing is not performed on the other is performed. Both “degraded signal D 2 ” when processing is performed and “degraded signal D 1 ” when signal processing is not performed are obtained. In the example of FIG. 4, processing including echo cancellation processing is used as “signal processing”.
本実施形態の「参照信号E1」のデータ構造は、前述の近端話者音響信号を含むRchのデータ(システムの第1端側の第1音響信号を含む第1チャネルの第1データ)と、前述の遠端話者音響信号に基づく基準音響信号を含むLchのデータ(第2音響信号を含む信号に基づく比較用信号を含む第2チャネルの第4データ)とを含む。これらのRchの第1データとLchの第4データとは互いに対応付けられている。本実施形態の「劣化信号D1」のデータ構造は、前述の近端話者音響信号を含むRchのデータ(第1音響信号を含む第1チャネルの第1データ)と、前述の評価対象音響信号T1を含むLchのデータ(第2重畳信号を含む第2チャネルの第2データ)とを含む。これらのRchの第1データとLchの第2データとは互いに対応付けられている。評価対象音響信号T1は信号処理を行うことなく得られた比較用の信号である。本実施形態の「劣化信号D2」のデータ構造は、前述の近端話者音響信号を含むRchのデータ(システムの第1端側の第1音響信号を含む第1チャネルの第1データ)と、前述の評価対象音響信号T2を含むLchのデータ(第1音響信号に由来する信号と第2音響信号とに基づく信号に信号処理を行って得られた処理信号に由来する第2重畳信号(第2端側の空間環境に基づいて劣化した信号)を含む第2チャネルの第2データ)とを含む。これらのRchの第1データとLchの第2データも互いに対応付けられている。 The data structure of the “reference signal E 1 ” of the present embodiment is Rch data including the above-mentioned near-end speaker acoustic signal (first data of the first channel including the first acoustic signal on the first end side of the system). And Lch data including the reference sound signal based on the far-end speaker sound signal (fourth data of the second channel including the comparison signal based on the signal including the second sound signal). The Rch first data and the Lch fourth data are associated with each other. The data structure of the “degraded signal D 1 ” of the present embodiment includes the Rch data including the near-end speaker acoustic signal (first data of the first channel including the first acoustic signal) and the evaluation target acoustic. and a data Lch including signal T 1 (second data of the second channel including a second superimposed signal). The first data of Rch and the second data of Lch are associated with each other. Evaluated acoustic signal T 1 is the signal for comparison obtained without performing signal processing. The data structure of the “degraded signal D 2 ” of the present embodiment is Rch data including the above-mentioned near-end speaker acoustic signal (first data of the first channel including the first acoustic signal on the first end side of the system). When a second superimposed from Lch data (signals and processing signal obtained by performing signal processing on a signal based on a second sound signal from the first acoustic signal comprising evaluated acoustic signal T 2 of the above Signal (second data of the second channel including a signal deteriorated based on the spatial environment on the second end side). These Rch first data and Lch second data are also associated with each other.
図4に例示するように、「参照信号E1」「劣化信号D1」「劣化信号D2」のRchのデータの時間区間a−bには、互いに同一な近端話者音響信号(第1音響信号)が含まれる。「劣化信号D1」「劣化信号D2」のLchのデータの時間区間e−d’には、近端話者音響信号の音響エコー成分が含まれる。音響エコー成分は上記の近端話者音響信号に由来する信号(第1音響信号に由来する信号)であるが、近端話者音響信号に比べて時間区間a−e(遅延量C)だけ遅延している。この遅延量Cは、近端話者音響信号が近端端末部110から遠端端末部120に伝送され、スピーカー105からそれを表す音が出力され、マイクロホン107で受音されて得られた信号が、さらに遠端端末部120から近端端末部110に伝送されるまでの時間に相当する。 As illustrated in FIG. 4, the same near-end speaker acoustic signal (first signal) is used in the time interval ab of the Rch data of “reference signal E 1 ”, “degraded signal D 1 ”, and “degraded signal D 2 ”. 1 acoustic signal). The time interval ed ′ of the Lch data of “degraded signal D 1 ” and “degraded signal D 2 ” includes the acoustic echo component of the near-end speaker acoustic signal. The acoustic echo component is a signal derived from the above-mentioned near-end speaker acoustic signal (a signal derived from the first acoustic signal), but only in the time interval ae (delay amount C) compared to the near-end speaker acoustic signal. There is a delay. This delay amount C is a signal obtained by transmitting a near-end speaker acoustic signal from the near-end terminal unit 110 to the far-end terminal unit 120, outputting a sound representing it from the speaker 105, and receiving it by the microphone 107. Corresponds to the time until the data is further transmitted from the far-end terminal unit 120 to the near-end terminal unit 110.
「参照信号E1」のLchのデータの時間区間c−dには、遠端話者音響信号に基づく遠端話者音響信号成分(第2音響信号に基づく成分)が含まれ、「劣化信号D1」のLchのデータの時間区間c’−d’には、遠端話者音響信号に基づく遠端話者音響信号成分(第2音響信号に基づく成分)が重畳され、「劣化信号D2」のLchのデータの時間区間c’−d’には、遠端話者音響信号に基づく遠端話者音響信号成分(第2音響信号に基づく成分)が重畳されている。「劣化信号D1」「劣化信号D2」のRchの近端話者音響信号の開始時点aからLchの遠端話者音響信号成分の開始時点c’までには時間差a−c’が存在する。また、「参照信号E1」のRchの近端話者音響信号の開始時点aからLchの遠端話者音響信号成分の開始時点cまでには時間差a−cが存在する。ここで「劣化信号D1」「劣化信号D2」での時間差a−c’は、近端話者音響信号の開始タイミングと遠端話者音響信号の開始タイミングとの時間差Aと、信号が遠端端末部120から近端端末部110に伝送されるまでの伝送遅延量Bとの合計A+Bに相当する。一方、「参照信号E1」での時間差a−cは、時間差Aと時間調整処理部108での遅延量τとの合計A+τに相当する。前述のように遅延量τは伝送遅延量Bに基づいて定められているため、遅延量τと伝送遅延量Bとが一致または近似し、時間差a−cを時間差a−c’に一致または近似させることができる。このようなデータ構造を用いた評価試験では、「劣化信号D2」のRchで近端話者音響信号を出力してからLchで遠端話者音響信号成分を出力するまでの時間と、「参照信号E1」のRchで近端話者音響信号を出力してからLchで遠端話者音響信号成分を出力するまでの時間とを、一致または近似させることができる。同様に、「劣化信号D1」のRchで近端話者音響信号を出力してからLchで遠端話者音響信号成分を出力するまでの時間と、「参照信号E1」のRchで近端話者音響信号を出力してからLchで遠端話者音響信号成分を出力するまでの時間とを、一致または近似させることができる。さらに、「劣化信号D1」のRchで近端話者音響信号を出力してからLchで遠端話者音響信号成分を出力するまでの時間と、「劣化信号D2」のRchで近端話者音響信号を出力してからLchで遠端話者音響信号成分を出力するまでの時間とを一致または近似させることができる。すなわち、第2重畳信号は、第2音響信号に基づく第1成分を含み、比較用信号は、第2音響信号に基づく第2成分を含み、第1チャネルで第1音響信号を出力してから第2チャネルで第1成分を出力するまでの時間と、第1チャネルで第1音響信号を出力してから第2チャネルで第2成分を出力するまでの時間とを、一致または近似させることができる。なお、図4では、近端話者が遠端話者に先行して発話する状況を例示したが、遠端話者が近端話者に先行して発話したり、時間差がa−c’≒0となったりする場合もある。例えば、近端話者音響信号の開始タイミングと遠端話者音響信号の開始タイミングとの時間差Aと、信号が遠端端末部120から近端端末部110に伝送されるまでの伝送遅延量Bとが等しい場合は、時間差a−c’= 差分A−B≒0となる場合がある。さらに遠端話者が近端話者に対して伝送遅延量Bよりも早く話し始めた場合には波形の位置関係が逆転し、Lchの遠端話者音響信号成分の開始時点c’が「劣化信号D1」「劣化信号D2」のRchの近端話者音響信号の開始時点aよりも前になる場合もある。このような場合であっても同様に時間調整を行うことができる。 The time interval cd of the Lch data of the “reference signal E 1 ” includes a far-end speaker acoustic signal component (component based on the second acoustic signal) based on the far-end speaker acoustic signal, and the “deterioration signal”. The far-end speaker acoustic signal component (component based on the second acoustic signal) based on the far-end speaker acoustic signal is superimposed on the time interval c′-d ′ of the Lch data of “D 1 ”. The far-end speaker acoustic signal component based on the far-end speaker acoustic signal (component based on the second acoustic signal) is superimposed on the time interval c′-d ′ of the 2 ″ Lch data. There is a time difference a−c ′ from the start time a of the Rch near-end speaker acoustic signal of the “deterioration signal D 1 ” and the “degradation signal D 2 ” to the start time c ′ of the Lch far-end speaker sound signal component. To do. Further, there is a time difference a−c from the start time a of the Rch near-end speaker sound signal of the “reference signal E 1 ” to the start time c of the Lch far-end speaker sound signal component. Here, the time difference a−c ′ between the “degraded signal D 1 ” and the “degraded signal D 2 ” is the time difference A between the start timing of the near-end speaker acoustic signal and the start timing of the far-end speaker acoustic signal, This corresponds to the sum A + B of the transmission delay amount B from the far end terminal unit 120 to the near end terminal unit 110. On the other hand, the time difference ac in the “reference signal E 1 ” corresponds to the sum A + τ of the time difference A and the delay amount τ in the time adjustment processing unit 108. Since the delay amount τ is determined based on the transmission delay amount B as described above, the delay amount τ and the transmission delay amount B match or approximate, and the time difference a−c matches or approximates the time difference a−c ′. Can be made. In the evaluation test using such a data structure, the time from the output of the near-end speaker acoustic signal at the Rch of the “degraded signal D 2 ” to the output of the far-end speaker acoustic signal component at the Lch, The time from when the near-end speaker acoustic signal is output at the Rch of the reference signal E 1 ”to when the far-end speaker acoustic signal component is output at the Lch can be matched or approximated. Similarly, the time from when the near-end speaker acoustic signal is output at the Rch of the “degraded signal D 1 ” to when the far-end speaker acoustic signal component is output at the Lch, and the Rch of the “reference signal E 1 ” It is possible to match or approximate the time from the output of the end speaker sound signal to the output of the far end speaker sound signal component on Lch. Furthermore, the time from the output of the near-end speaker acoustic signal at the Rch of the “degraded signal D 1 ” to the output of the far-end speaker acoustic signal component at the Lch, and the near-end at the Rch of the “degraded signal D 2 ”. It is possible to match or approximate the time from when the speaker acoustic signal is output to when the far-end speaker acoustic signal component is output at Lch. That is, the second superimposed signal includes a first component based on the second acoustic signal, the comparison signal includes a second component based on the second acoustic signal, and the first acoustic signal is output on the first channel. The time until the first component is output in the second channel and the time from the output of the first acoustic signal in the first channel to the output of the second component in the second channel are matched or approximated. it can. FIG. 4 illustrates the situation where the near-end speaker speaks before the far-end speaker, but the far-end speaker speaks before the near-end speaker, or the time difference is ac−c ′. In some cases, ≈0. For example, the time difference A between the start timing of the near-end speaker sound signal and the start timing of the far-end speaker sound signal, and the transmission delay amount B until the signal is transmitted from the far-end terminal unit 120 to the near-end terminal unit 110 May be equal to time difference a−c ′ = difference A−B≈0. Further, when the far-end speaker starts speaking to the near-end speaker earlier than the transmission delay amount B, the positional relationship of the waveforms is reversed, and the start time c ′ of the Lch far-end speaker acoustic signal component is “ In some cases, the deterioration signal D 1 ”“ deterioration signal D 2 ”may be before the start time a of the Rch near-end speaker acoustic signal. Even in such a case, the time adjustment can be similarly performed.
≪参照信号および特殊信号の生成≫
次に、図2Aを用い、参照信号E2および特殊信号D3,D4の生成方法について説明する。本形態では前述したコンピュータを用いた計算機シミュレートによって、参照信号E2および特殊信号D3,D4を作成する。近端話者音響信号記憶部101から近端話者音響信号が抽出され、出力部231,241,251、時間調整処理部280の入力部282、および信号処理部270の入力部272に送られる。遠端話者音響信号記憶部102から遠端話者音響信号が抽出され、時間調整処理部208および時間調整処理部280の入力部281に入力される。
≪Generation of reference signal and special signal≫
Next, a method for generating the reference signal E 2 and the special signals D 3 and D 4 will be described with reference to FIG. 2A. In this embodiment, the reference signal E 2 and the special signals D 3 and D 4 are created by computer simulation using the computer described above. Near-end speaker acoustic signals are extracted from the near-end speaker acoustic signal storage unit 101 and sent to the output units 231, 241, 251, the input unit 282 of the time adjustment processing unit 280, and the input unit 272 of the signal processing unit 270. . The far-end speaker sound signal is extracted from the far-end speaker sound signal storage unit 102 and input to the time adjustment processing unit 208 and the input unit 281 of the time adjustment processing unit 280.
出力部231,241,251は、送られた近端話者音響信号(第1音響信号)を、それぞれ「特殊信号D3」「特殊信号D4」「参照信号E2」のRchのデータ(第1音響信号を含む第1チャネルの第1データ)として出力する。 The output units 231, 241, and 251 convert the transmitted near-end speaker acoustic signals (first acoustic signals) into Rch data (“special signal D 3 ”, “special signal D 4 ”, and “reference signal E 2 ”) ( 1st channel first data including the first acoustic signal).
時間調整処理部280は、入力部281および282に入力された遠端話者音響信号(第2音響信号)および近端話者音響信号(第1音響信号)に「時間調整処理」および「加算処理(重畳処理)」を行い、それによって得られた重畳信号(模擬信号)を出力部283から出力する。例えば、時間調整処理部280は、当該遠端話者音響信号に遅延量B’の遅延を与え、当該近端話者音響信号に遅延量C’の遅延を与え、遅延させたこれらの信号を加算(重畳)して得られる重畳信号を出力部283から出力する。上述の遅延量B’は、例えば、前述の伝送遅延量B(遠端端末部120から近端端末部110までの伝送遅延量)を模擬するものである。一方、遅延量C’は、例えば、前述の遅延量C(信号が近端端末部110から遠端端末部120に伝送され、スピーカー105からそれを表す音が出力され、マイクロホン107で受音されて得られた信号が、さらに遠端端末部120から近端端末部110に伝送されるまでの時間)を模擬するものである。そのため、B’<C’であることが望ましい(例えば、C’=2×B’)。しかしながら、これは本発明を限定するものではなく、B’=C’やB’>C’または、B’=C’=0であってもよい。 The time adjustment processing unit 280 performs “time adjustment processing” and “addition” on the far-end speaker sound signal (second sound signal) and the near-end speaker sound signal (first sound signal) input to the input units 281 and 282. Processing (superimposition processing) ”is performed, and the superimposed signal (simulated signal) obtained thereby is output from the output unit 283. For example, the time adjustment processing unit 280 gives a delay of a delay amount B ′ to the far-end speaker sound signal, gives a delay of a delay amount C ′ to the near-end speaker sound signal, and outputs these delayed signals. A superimposed signal obtained by addition (superimposition) is output from the output unit 283. The delay amount B ′ described above simulates, for example, the above-described transmission delay amount B (transmission delay amount from the far-end terminal unit 120 to the near-end terminal unit 110). On the other hand, the delay amount C ′ is, for example, the above-described delay amount C (a signal is transmitted from the near-end terminal unit 110 to the far-end terminal unit 120, a sound representing it is output from the speaker 105, and received by the microphone 107. The time until the signal obtained in this way is further transmitted from the far-end terminal unit 120 to the near-end terminal unit 110) is simulated. Therefore, it is desirable that B ′ <C ′ (for example, C ′ = 2 × B ′). However, this is not a limitation of the present invention, and B '= C', B '> C', or B '= C' = 0.
出力部283から出力された重畳信号は、出力部232および信号処理部270の入力部271に入力される。出力部232は、送られた重畳信号(評価対象音響信号T3:第1音響信号に由来する信号と第2音響信号とに基づく重畳信号であって、第2端側の空間環境に基づく劣化若しくは空間環境を模擬した条件に基づく劣化がない信号。例えば、第1音響信号に由来する信号と第2音響信号とに基づく重畳信号であって、第2端側の空間環境に基づく劣化も空間環境を模擬した条件に基づく劣化もない信号)を「特殊信号D3」のLchのデータとして出力する。 The superimposed signal output from the output unit 283 is input to the output unit 232 and the input unit 271 of the signal processing unit 270. The output unit 232 is a superimposed signal based on the transmitted superimposed signal (evaluation target acoustic signal T 3 : a signal derived from the first acoustic signal and the second acoustic signal, and is deteriorated based on the spatial environment on the second end side. Alternatively, a signal that is not deteriorated based on conditions simulating the spatial environment, for example, a superimposed signal based on the signal derived from the first acoustic signal and the second acoustic signal, and the degradation based on the spatial environment on the second end side is also spatial. A signal without deterioration based on conditions simulating the environment) is output as Lch data of “special signal D 3 ”.
信号処理部270は、入力部271に入力された重畳信号と入力部272に入力された近端話者音響信号を用い、当該重畳信号に信号処理を行って処理信号(第1音響信号に由来する信号と第2音響信号とに基づく重畳信号であって、第2端側の空間環境に基づく劣化若しくは空間環境を模擬した条件に基づく劣化がない信号に信号処理を行って得られた処理信号に由来する第3重畳信号。例えば、第1音響信号に由来する信号と第2音響信号とに基づく重畳信号であって、第2端側の空間環境に基づく劣化も空間環境を模擬した条件に基づく劣化もない信号に信号処理を行って得られた処理信号に由来する第3重畳信号)を得る。信号処理部121と同様、「信号処理」はどのような処理であってもよく、「信号処理」の例はエコーキャンセル処理およびノイズキャンセル処理の少なくとも一方を含む。図2Bの例の場合、信号処理部270は、入力部272に入力された近端話者音響信号を時間調整処理部276で遅延させた信号に適応フィルタ275を適用して得られた信号と、入力部271に入力された重畳信号(模擬信号)と、を加算部274で重畳することでエコーキャンセル処理を行い、それによって処理信号(第3重畳信号)を得る。信号処理部270が、上述のエコーキャンセル処理の後、さらにノイズキャンセル処理を行って処理信号を得てもよい。あるいは、信号処理部270がエコーキャンセル処理を行うことなくノイズキャンセル処理を行って処理信号を得てもよい。なお、ノイズキャンセル処理の方法は、例えば、加算部274からの出力信号に対して、推定した定常雑音レベルの分だけ振幅が抑圧されるように、乗算部277でゲイン値を乗じるものである(例えば、参考文献2「阪内澄宇,羽田陽一,田中雅史,佐々木潤子,片岡章俊,“雑音抑圧及びエコー抑圧機能を備えた音響エコーキャンセラ”,電子情報通信学会論文誌 Vol.J87-A, No.4, pp.448-457 (2004年4月)」等参照)。得られた処理信号は出力部273から出力される。出力部273は処理信号を出力部242に送る。出力部242は、送られた処理信号を「特殊信号D4」のLchのデータ(評価対象音響信号T4:第3重畳信号を含む第2チャネルの第3データ)として出力する。 The signal processing unit 270 uses the superimposed signal input to the input unit 271 and the near-end speaker acoustic signal input to the input unit 272 to perform signal processing on the superimposed signal to obtain a processed signal (derived from the first acoustic signal). Processed signal obtained by performing signal processing on a signal that is a superimposed signal based on the signal to be transmitted and the second acoustic signal and that is not deteriorated based on the spatial environment on the second end side or based on conditions simulating the spatial environment The third superimposed signal derived from the above, for example, a superimposed signal based on the signal derived from the first acoustic signal and the second acoustic signal, and the deterioration based on the spatial environment on the second end side is also a condition simulating the spatial environment A third superimposed signal derived from a processed signal obtained by performing signal processing on a signal without deterioration based on the signal is obtained. Similar to the signal processing unit 121, the “signal processing” may be any processing, and the example of “signal processing” includes at least one of echo cancellation processing and noise cancellation processing. In the case of the example of FIG. 2B, the signal processing unit 270 applies the signal obtained by applying the adaptive filter 275 to the signal obtained by delaying the near-end speaker acoustic signal input to the input unit 272 by the time adjustment processing unit 276. The superimposition signal (simulated signal) input to the input unit 271 is superposed by the addition unit 274 to perform echo cancellation processing, thereby obtaining a processed signal (third superimposition signal). The signal processing unit 270 may perform noise cancellation processing after the echo cancellation processing described above to obtain a processing signal. Alternatively, the signal processing unit 270 may perform noise cancellation processing without performing echo cancellation processing to obtain a processed signal. Note that the noise cancellation processing method is such that, for example, the output value from the adder 274 is multiplied by a gain value in the multiplier 277 so that the amplitude is suppressed by the estimated steady noise level ( For example, Reference 2 “Seiuchi Hanai, Yoichi Haneda, Masafumi Tanaka, Junko Sasaki, Akitoshi Kataoka,“ Acoustic Echo Canceller with Noise Suppression and Echo Suppression ”, IEICE Transactions Vol.J87-A, No.4, pp.448-457 (April 2004) "). The obtained processing signal is output from the output unit 273. The output unit 273 sends the processing signal to the output unit 242. The output unit 242 outputs the transmitted processing signal as Lch data (evaluation target acoustic signal T 4 : third data of the second channel including the third superimposed signal) of the “special signal D 4 ”.
また、時間調整処理部208は、入力された遠端話者音響信号を遅延量τ’だけ遅延させ、遅延させた遠端話者音響信号を出力部252に送る。遅延量τ’は、例えば、上述の遅延量B’に対応する。例えば、遅延量B’または当該遅延量B’の近似値もしくは補正値(関数値)を遅延量τ’とする。あるいは、遅延量τ’が遅延量C’に対応してもよい。例えば、τ’がC’/2またはC’/2の関数値であってもよい。あるいは、遅延量τ’が遅延量B’および遅延量C’に対応してもよい。出力部252は、時間調整処理部208で遅延させた遠端話者音響信号を「参照信号E2」のLchのデータ(第2音響信号を含む信号に基づく比較用信号を含む第2チャネルの第4データ)として出力する。以上のように得られたデータ構造はデータ記憶部180に格納される。 In addition, the time adjustment processing unit 208 delays the input far-end speaker sound signal by the delay amount τ ′ and sends the delayed far-end speaker sound signal to the output unit 252. The delay amount τ ′ corresponds to, for example, the delay amount B ′ described above. For example, the delay amount τ ′ is the delay amount B ′ or an approximate value or correction value (function value) of the delay amount B ′. Alternatively, the delay amount τ ′ may correspond to the delay amount C ′. For example, τ ′ may be a function value of C ′ / 2 or C ′ / 2. Alternatively, the delay amount τ ′ may correspond to the delay amount B ′ and the delay amount C ′. The output unit 252 outputs the far-end speaker sound signal delayed by the time adjustment processing unit 208 from the Lch data of the “reference signal E 2 ” (the second channel including the comparison signal based on the signal including the second sound signal). 4th data). The data structure obtained as described above is stored in the data storage unit 180.
本実施形態の「参照信号E2」のデータ構造は、前述の近端話者音響信号を含むRchのデータ(第1音響信号を含む第1チャネルの第1データ)と、前述の遠端話者音響信号に基づく基準音響信号を含むLchのデータ(第2音響信号を含む信号に基づく比較用信号を含む第2チャネルの第4データ)とを含む。これらのRchの第1データとLchの第4データとは互いに対応付けられている。本実施形態の「特殊信号D3」のデータ構造は、前述の近端話者音響信号を含むRchのデータ(第1音響信号を含む第1チャネルの第1データ)と、前述の評価対象音響信号T3を含むLchのデータ(第1音響信号に由来する信号とシステムの第2端側の第2音響信号とに基づく重畳信号であって、第2端側の空間環境に基づく劣化若しくは空間環境を模擬した条件に基づく劣化がない信号を含む第2チャネルのデータ。例えば、第1音響信号に由来する信号とシステムの第2端側の第2音響信号とに基づく重畳信号であって、第2端側の空間環境に基づく劣化も空間環境を模擬した条件に基づく劣化もない信号を含む第2チャネルのデータ)とを含む。これらのRchの第1データとLchのデータとは互いに対応付けられている。評価対象音響信号T3は信号処理を行うことなく得られた比較用の信号である。本実施形態の「特殊信号D4」のデータ構造は、前述の近端話者音響信号を含むRchのデータ(第1音響信号を含む第1チャネルの第1データ)と、前述の評価対象音響信号T4を含むLchのデータ(第1音響信号に由来する信号と第2音響信号とに基づく重畳信号であって、第2端側の空間環境に基づく劣化若しくは空間環境を模擬した条件に基づく劣化がない信号に信号処理を行って得られた処理信号に由来する第3重畳信号を含む第2チャネルの第3データ。例えば、第1音響信号に由来する信号と第2音響信号とに基づく重畳信号であって、第2端側の空間環境に基づく劣化も空間環境を模擬した条件に基づく劣化もない信号に信号処理を行って得られた処理信号に由来する第3重畳信号を含む第2チャネルの第3データ)とを含む。これらのRchの第1データとLchの第3データとは互いに対応付けられている。なお、同じ時間区間に対応する「特殊信号D3」「特殊信号D4」「参照信号E2」のRchの近端話者音響信号は互いに同一である。そのため、必ずしも「特殊信号D3」「特殊信号D4」「参照信号E2」のそれぞれについて、互いに同一なRchの近端話者音響信号のデータをデータ記憶部180に格納する必要はない。もちろん、「特殊信号D3」「特殊信号D4」「参照信号E2」のそれぞれについて、互いに同一なRchの近端話者音響信号のデータをデータ記憶部180に格納してもかまわない。 The data structure of the “reference signal E 2 ” of the present embodiment includes Rch data including the above-mentioned near-end speaker acoustic signal (first data of the first channel including the first acoustic signal) and the above-described far-end speech. Lch data including the reference sound signal based on the person sound signal (fourth data of the second channel including the comparison signal based on the signal including the second sound signal). The Rch first data and the Lch fourth data are associated with each other. The data structure of the “special signal D 3 ” in the present embodiment includes the Rch data including the above-mentioned near-end speaker acoustic signal (the first data of the first channel including the first acoustic signal) and the above-described evaluation target sound. a Lch data (superposition signal based on a second audio signal of the second end side of the signal and a system derived from the first audio signal including a signal T 3, degradation or space based on spatial environment of the second end side Second channel data including a signal that is not degraded based on conditions simulating the environment, for example, a superimposed signal based on a signal derived from the first acoustic signal and a second acoustic signal on the second end side of the system, Data of the second channel including a signal that is not deteriorated based on the spatial environment on the second end side or deteriorated based on conditions simulating the spatial environment). The first data of Rch and the data of Lch are associated with each other. Evaluated acoustic signal T 3 is the signal for comparison obtained without performing signal processing. The data structure of the “special signal D 4 ” of the present embodiment includes the Rch data including the above-mentioned near-end speaker acoustic signal (first data of the first channel including the first acoustic signal) and the above-described evaluation target sound. a signal and the superimposed signal based on a second sound signal from the Lch data (first audio signal comprising a signal T 4, based on the condition that simulates the deterioration or spatial environment based on spatial environment of the second end side Third data of the second channel including a third superimposed signal derived from a processed signal obtained by performing signal processing on a signal without deterioration, for example, based on a signal derived from the first acoustic signal and a second acoustic signal A third superposition signal including a third superposition signal derived from a processed signal obtained by performing signal processing on a signal that is neither a degradation based on the spatial environment on the second end side nor a degradation based on a condition simulating the spatial environment. 3rd data of 2 channels) and Including. The Rch first data and the Lch third data are associated with each other. Note that the Rch near-end speaker acoustic signals of “special signal D 3 ”, “special signal D 4 ”, and “reference signal E 2 ” corresponding to the same time interval are the same. Therefore, it is not always necessary to store the data of the near-end speaker acoustic signal of the same Rch in each of “special signal D 3 ”, “special signal D 4 ”, and “reference signal E 2 ” in the data storage unit 180. Of course, for each of the “special signal D 3 ”, the “special signal D 4 ”, and the “reference signal E 2 ”, the data of the near-end speaker acoustic signal of the same Rch may be stored in the data storage unit 180.
このようなデータ構造を用いた評価試験では、「特殊信号D3」のRchで近端話者音響信号を出力してからLchで遠端話者音響信号成分を出力するまでの時間と、「参照信号」のRchで近端話者音響信号を出力してからLchで遠端話者音響信号成分を出力するまでの時間とを、一致または近似させることができる。同様に、「特殊信号D4」のRchで近端話者音響信号を出力してからLchで遠端話者音響信号成分を出力するまでの時間と、「参照信号」のRchで近端話者音響信号を出力してからLchで遠端話者音響信号成分を出力するまでの時間とを、一致または近似させることができる。さらに、「特殊信号D3」のRchで近端話者音響信号を出力してからLchで遠端話者音響信号成分を出力するまでの時間と、「特殊信号D4」のRchで近端話者音響信号を出力してからLchで遠端話者音響信号成分を出力するまでの時間とを一致または近似させることができる。すなわち、第3重畳信号は、第2音響信号に基づく第3成分を含み、比較用信号は、第2音響信号に基づく第4成分を含み、第1チャネルで第1音響信号を出力してから第2チャネルで第3成分を出力するまでの時間と、第1チャネルで第1音響信号を出力してから第2チャネルで第4成分を出力するまでの時間とを、一致または近似させることができる。 In the evaluation test using such a data structure, the time from the output of the near-end speaker sound signal at the Rch of the “special signal D 3 ” to the output of the far-end speaker sound signal component at the Lch, The time from when the near-end speaker acoustic signal is output at the Rch of the “reference signal” to when the far-end speaker acoustic signal component is output at the Lch can be matched or approximated. Similarly, the time from the output of the near-end speaker sound signal at the Rch of the “special signal D 4 ” to the output of the far-end speaker sound signal component at the Lch and the near-end talk at the Rch of the “reference signal” It is possible to match or approximate the time from the output of the speaker audio signal to the output of the far-end speaker audio signal component on the Lch. Furthermore, the time from the output of the near-end speaker sound signal at the Rch of the “special signal D 3 ” to the output of the far-end speaker sound signal component at the Lch, and the near-end at the Rch of the “special signal D 4 ” It is possible to match or approximate the time from when the speaker acoustic signal is output to when the far-end speaker acoustic signal component is output at Lch. That is, the third superimposed signal includes a third component based on the second acoustic signal, the comparison signal includes a fourth component based on the second acoustic signal, and after the first acoustic signal is output on the first channel. The time until the third component is output in the second channel and the time from the output of the first acoustic signal in the first channel to the output of the fourth component in the second channel are matched or approximated. it can.
≪参照信号、劣化信号、および特殊信号を含むデータ構造≫
上述のように、本実施形態の評価試験を行うためのデータ構造は、(1)「参照信号E1」「劣化信号D1」「劣化信号D2」の三つ組み、および(2)「参照信号E2」「特殊信号D3」「特殊信号D4」の三つ組みを含む。(1)「参照信号E1」「劣化信号D1」「劣化信号D2」の三つ組み、および、(2)「参照信号E2」「特殊信号D3」「特殊信号D4」の三つ組みのそれぞれは、単数であってもよいし、複数であってもよい。1つの(1)「参照信号E1」「劣化信号D1」「劣化信号D2」の三つ組みは、1つの近端話者音響信号および遠端話者音響信号の組から生成される。同様に、1つの(2)「参照信号E2」「特殊信号D3」「特殊信号D4」の三つ組みは、1つの近端話者音響信号および遠端話者音響信号の組から生成される。(1)「参照信号E1」「劣化信号D1」「劣化信号D2」の三つ組み、および(2)「参照信号E2」「特殊信号D3」「特殊信号D4」の三つ組みは、1つの近端話者音響信号および遠端話者音響信号の組から生成されてもよいし、互いに異なる2つの近端話者音響信号および遠端話者音響信号の組から生成されてもよい。複数の(1)「参照信号E1」「劣化信号D1」「劣化信号D2」の三つ組みは、例えば、互いに異なる複数の近端話者音響信号および遠端話者音響信号の組からそれぞれ生成される。複数の(2)「参照信号E2」「特殊信号D3」「特殊信号D4」の三つ組みは、例えば、互いに異なる複数の近端話者音響信号および遠端話者音響信号の組からそれぞれ生成される。
≪Data structure including reference signal, degraded signal, and special signal≫
As described above, the data structure for performing the evaluation test of the present embodiment includes (1) the triple of “reference signal E 1 ”, “deterioration signal D 1 ”, and “deterioration signal D 2 ”, and (2) “reference” It includes a triple of signal E 2, “special signal D 3 ”, and “special signal D 4 ”. (1) Triple set of “reference signal E 1 ”, “degraded signal D 1 ”, and “degraded signal D 2 ”, and (2) triple set of “reference signal E 2 ”, “special signal D 3 ”, and “special signal D 4 ”. Each of the numbers may be singular or plural. One (1) “reference signal E 1 ”, “degraded signal D 1 ”, and “degraded signal D 2 ” triplet is generated from a set of one near-end speaker sound signal and far-end speaker sound signal. Similarly, one (2) triple of “reference signal E 2 ”, “special signal D 3 ”, and “special signal D 4 ” is generated from a set of one near-end speaker sound signal and far-end speaker sound signal. Is done. (1) Triple set of “reference signal E 1 ”, “Degraded signal D 1 ”, and “Degraded signal D 2 ”, and (2) Triple set of “Reference signal E 2 ”, “Special signal D 3 ”, and “Special signal D 4 ” May be generated from one near-end speaker sound signal and far-end speaker sound signal set, or generated from two different near-end speaker sound signals and far-end speaker sound signal sets. Also good. A plurality of (1) “reference signal E 1 ”, “degraded signal D 1 ”, and “degraded signal D 2 ” triplets are, for example, a plurality of different sets of near-end speaker audio signals and far-end speaker audio signals. Each is generated. The plurality of (2) triples of “reference signal E 2 ”, “special signal D 3 ”, and “special signal D 4 ” are, for example, a set of a plurality of different near-end speaker sound signals and far-end speaker sound signals. Each is generated.
このようなデータ構造を用いた評価試験を行う音響品質評価装置は、Rchで近端話者音響信号を出力しつつ、Lchで基準音響信号を出力する制御と、Rchで近端話者音響信号を出力しつつ、Lchで評価対象音響信号T1を出力する制御とを行うことができる。同様に、Rchで近端話者音響信号を出力しつつ、Lchで基準音響信号を出力する制御と、Rchで近端話者音響信号を出力しつつ、Lchで評価対象音響信号T2を出力する制御とを行うこともできる。さらに、音響品質評価装置は、Rchで近端話者音響信号を出力しつつ、Lchで評価対象音響信号T1を出力する制御と、Rchで近端話者音響信号を出力しつつ、Lchで評価対象音響信号T2を出力する制御とを行うこともできる。さらに、音響品質評価装置は、Rchで近端話者音響信号を出力しつつ、Lchで基準音響信号を出力する制御と、Rchで近端話者音響信号を出力しつつ、Lchで評価対象音響信号T3を出力する制御とを行うことができる。同様に、音響品質評価装置は、Rchで近端話者音響信号を出力しつつ、Lchで基準音響信号を出力する制御と、Rchで近端話者音響信号を出力しつつ、Lchで評価対象音響信号T4を出力する制御とを行うこともできる。さらに、音響品質評価装置は、Rchで近端話者音響信号を出力しつつ、Lchで評価対象音響信号T3を出力する制御と、Rchで近端話者音響信号を出力しつつ、Lchで評価対象音響信号T4を出力する制御とを行うこともできる。すなわち、音響品質評価装置は、少なくとも第1チャネルで第1音響信号を出力しつつ、第2チャネルで比較用信号を出力する制御と、第1チャネルで第1音響信号を出力しつつ、第2チャネルで第2重畳信号を出力する制御と、第1チャネルで第1音響信号を出力しつつ、第2チャネルで第3重畳信号を出力する制御と、が可能である。 An acoustic quality evaluation apparatus that performs an evaluation test using such a data structure includes a control for outputting a reference sound signal at Lch while outputting a near-end speaker sound signal at Rch, and a near-end speaker sound signal at Rch. while outputs, it is possible to perform the control for outputting the evaluated acoustic signal T 1 by Lch. Similarly, while outputs the near-end talker audio signals Rch, and a control for outputting a reference sound signal Lch, while outputs the near-end talker audio signals Rch, outputs the evaluated acoustic signal T 2 in Lch Control can also be performed. Furthermore, the acoustic quality evaluation unit, while outputting a near-end talker audio signals Rch, and a control for outputting the evaluated acoustic signal T 1 in Lch, while outputs the near-end talker audio signals Rch, in Lch it is also possible to perform the control for outputting the evaluated acoustic signal T 2. Furthermore, the sound quality evaluation device outputs the reference sound signal at the Lch while outputting the near-end speaker sound signal at the Rch, and the sound to be evaluated at the Lch while outputting the near-end speaker sound signal at the Rch. it is possible to perform a control for outputting a signal T 3. Similarly, the sound quality evaluation apparatus outputs a reference sound signal at Lch while outputting a near-end speaker sound signal at Rch, and outputs an object at Lch while outputting a near-end speaker sound signal at Rch. it is also possible to perform the control for outputting an acoustic signal T 4. Furthermore, the acoustic quality evaluation unit, while outputting a near-end talker audio signals Rch, and a control for outputting the evaluated acoustic signal T 3 in Lch, while outputs the near-end talker audio signals Rch, in Lch it is also possible to perform the control for outputting the evaluated acoustic signal T 4. That is, the acoustic quality evaluation device outputs the first acoustic signal on at least the first channel, outputs the comparison signal on the second channel, and outputs the first acoustic signal on the first channel while Control for outputting the second superimposed signal on the channel and control for outputting the third superimposed signal on the second channel while outputting the first acoustic signal on the first channel are possible.
評価試験の際、「参照信号E1」「劣化信号D1」「劣化信号D2」が何らかの順序で再生されるか、または、「参照信号E2」「特殊信号D3」「特殊信号D4」が何らかの順序で再生される。これらのRchの信号の再生音は、例えば、両耳装着型音響再生装置の右のスピーカーから出力され、Lchの信号の再生音は、例えば、この両耳装着型音響再生装置の左のスピーカーから出力される(ステレオ再生)。評価者は、この両耳装着型音響再生装置を両耳に装着し、ステレオ再生されたこれらの音を聴いて通話品質を主観評価する。この際、評価者はLchの信号の再生音を利き耳(例えば左耳)で聴き、Rchの信号の再生音を利き耳ではない耳(例えば右耳)で聴くことが望ましい。 In the evaluation test, “reference signal E 1 ”, “degraded signal D 1 ”, and “degraded signal D 2 ” are reproduced in some order, or “reference signal E 2 ”, “special signal D 3 ”, and “special signal D”. 4 "are played back in some order. The reproduced sound of these Rch signals is output from, for example, the right speaker of the binaural-mounted sound reproducing apparatus, and the reproduced sound of the Lch signals is output from, for example, the left speaker of this binaural-mounted sound reproducing apparatus. Output (stereo playback). The evaluator wears the binaural sound reproducing apparatus on both ears and listens to these sounds reproduced in stereo to subjectively evaluate the call quality. At this time, the evaluator preferably listens to the reproduced sound of the Lch signal with the dominant ear (for example, the left ear) and listens to the reproduced sound of the Rch signal with the ear that is not the dominant ear (for example, the right ear).
すなわち、第1データおよび第2データまたは第3データが音響品質評価装置で読み出されたとき、第1データが表す音が両耳装着型音響再生装置の一方のチャネルから再生され、第2データまたは第3データが表す音が両耳装着型音響再生装置の他方のチャネルから再生され、評価結果を表す情報が音響品質評価装置に入力される。評価試験の詳細は第3実施形態で説明する。 That is, when the first data and the second data or the third data are read by the sound quality evaluation device, the sound represented by the first data is reproduced from one channel of the binaural sound reproduction device, and the second data Alternatively, the sound represented by the third data is reproduced from the other channel of the binaural sound reproduction device, and information representing the evaluation result is input to the sound quality evaluation device. Details of the evaluation test will be described in a third embodiment.
[第1実施形態の変形例1]
第1実施形態では、遠端話者音響信号を遅延量τだけ遅延させたものを「参照信号E1」のLchの基準音響信号とした。これは「参照信号E1」と「劣化信号D1」「劣化信号D2」との間で、近端話者音響信号(Rch)の開始時と遠端話者音響信号成分(Lch)の開始時との間の時間区間を一致または近似(例えば、図4の時間区間a−cと時間区間a−c’との一致または近似)させるためである。しかしながら、このような目的は他の手段によっても実現できる。例えば、再生部104から出力された遠端話者音響信号を遅延させることなく「参照信号E1」のLchの基準音響信号として出力部152から出力し、再生部103から出力された近端話者音響信号を時間τだけ時間的に繰り上げたもの(遅延の逆の時間シフトをしたもの)を「参照信号E1」のRchの近端話者音響信号としてもよい。あるいは、再生部104から出力された遠端話者音響信号を時間τ−Tだけ遅延させたものを「参照信号E1」のLchの基準音響信号として出力部152から出力し、再生部103から出力された近端話者音響信号を時間Tだけ時間的に繰り上げたものを「参照信号E1」のRchの近端話者音響信号としてもよい。ただし、Tの値は、例えば、0≦T≦τである。あるいは、評価試験時の処理により、「参照信号E1」と「劣化信号D1」「劣化信号D2」との間で、近端話者音響信号(Rch)の開始時と遠端話者音響信号成分(Lch)の開始時との間の時間区間を一致または近似できるデータ構造であってもよい。例えば、「参照信号E1」「劣化信号D1」「劣化信号D2」のファイル名やそれらを構成する信号の時間情報を持つデータ構造であればよい。データ構造がさらに遅延量τを特定するための情報を持っていてもよい。このような場合、データ記憶部180に格納されている「参照信号E1」と「劣化信号D1」「劣化信号D2」との間で、近端話者音響信号(Rch)の開始時と遠端話者音響信号成分(Lch)の開始時との間の時間区間が一致または近似されていなくてもよい。要は、何らかの方法で、「参照信号E1」「劣化信号D1」「劣化信号D2」の間で、近端話者音響信号(Rch)の開始時と遠端話者音響信号成分(Lch)の開始時との間の時間区間を一致または近似させることが可能なデータ構造であればよい。さらに環境によっては、「参照信号E1」「劣化信号D1」「劣化信号D2」の間で、近端話者音響信号(Rch)の開始時と遠端話者音響信号成分(Lch)の開始時との間の時間区間を調整することなく、評価試験が行われてもよい。このような場合には、「参照信号E1」「劣化信号D1」「劣化信号D2」の間で、近端話者音響信号(Rch)の開始時と遠端話者音響信号成分(Lch)の開始時との間の時間区間を一致または近似させることが不可能なデータ構造であってもよい。また、「劣化信号D1」「劣化信号D2」との間で、近端話者音響信号(Rch)の開始時と遠端話者音響信号成分(Lch)の開始時との間の時間区間が一致していないデータ構造であってもよい。
[First Modification of First Embodiment]
In the first embodiment, the far-end speaker sound signal delayed by the delay amount τ is used as the Lch standard sound signal of the “reference signal E 1 ”. This is because between the “reference signal E 1 ” and the “degraded signal D 1 ” “degraded signal D 2 ”, the start of the near-end speaker acoustic signal (Rch) and the far-end speaker acoustic signal component (Lch). This is because the time interval from the start time is matched or approximated (for example, the time interval ac and the time interval ac ′ in FIG. 4 are matched or approximated). However, such an object can be realized by other means. For example, the far-end talker signal output from the playback unit 104 is output from the output unit 152 as the Lch standard sound signal of the “reference signal E 1 ” without delaying the far-end speaker sound signal output from the playback unit 104. It is also possible to use the Rch near-end speaker acoustic signal of the “reference signal E 1 ” that is a person acoustic signal that is carried forward by time τ (a signal that is shifted in time opposite to the delay). Alternatively, the far-end speaker sound signal output from the playback unit 104 is delayed by time τ-T and output from the output unit 152 as the Lch reference sound signal of the “reference signal E 1 ”. The output of the near-end speaker sound signal that has been advanced by time T may be used as the Rch near-end speaker sound signal of “reference signal E 1 ”. However, the value of T is, for example, 0 ≦ T ≦ τ. Alternatively, by the process during the evaluation test, the near-end speaker acoustic signal (Rch) is started and the far-end speaker between “reference signal E 1 ”, “deteriorated signal D 1 ”, and “degraded signal D 2 ”. A data structure that can match or approximate the time interval from the start of the acoustic signal component (Lch) may be used. For example, any data structure having file names of “reference signal E 1 ”, “degraded signal D 1 ”, and “degraded signal D 2 ” and time information of signals constituting them may be used. The data structure may further have information for specifying the delay amount τ. In such a case, when the near-end speaker acoustic signal (Rch) starts between “reference signal E 1 ” and “degraded signal D 1 ” “degraded signal D 2 ” stored in the data storage unit 180. And the time interval between the start of the far-end speaker sound signal component (Lch) may not match or approximate. In short, in some way, between the “reference signal E 1 ”, the “degraded signal D 1 ”, and the “degraded signal D 2 ”, the near-end speaker acoustic signal (Rch) starts and the far-end speaker acoustic signal component ( Any data structure that can match or approximate the time interval from the start of (Lch) can be used. Furthermore, depending on the environment, between the “reference signal E 1 ”, the “degraded signal D 1 ”, and the “degraded signal D 2 ”, the start of the near-end speaker acoustic signal (Rch) and the far-end speaker acoustic signal component (Lch) The evaluation test may be performed without adjusting the time interval between the start of the first time and the first time. In such a case, between the “reference signal E 1 ”, “degraded signal D 1 ”, and “degraded signal D 2 ”, the near-end speaker acoustic signal (Rch) starts and the far-end speaker acoustic signal component ( The data structure may not be able to match or approximate the time interval from the start of (Lch). Further, the time between the start of the near-end speaker acoustic signal (Rch) and the start of the far-end speaker acoustic signal component (Lch) between the “deteriorated signal D 1 ” and the “degraded signal D 2 ”. A data structure in which the sections do not match may be used.
[第1実施形態の変形例2]
第1実施形態では、時間調整処理部208,280それぞれの遅延処理により、「参照信号E2」「特殊信号D3」「特殊信号D4」の間で、近端話者音響信号(Rch)の開始時と遠端話者音響信号成分(Lch)の開始時との間の時間区間を一致または近似させた。しかしながら、このような目的は他の手段によっても実現できる。例えば、遠端話者音響信号記憶部102から読み出された遠端話者音響信号を遅延させることなく「参照信号E2」のLchの基準音響信号として出力部252から出力し、近端話者音響信号記憶部101から読み出された近端話者音響信号を時間τ’だけ時間的に繰り上げたものを「参照信号E2」のRchの近端話者音響信号としてもよい。要は、
(1)「特殊信号D4」のRchの近端話者音響信号が出力されてから、そのLchの評価対象音響信号T4に含まれる遠端話者音響信号成分が出力されるまでの時間と、「参照信号E2」のRchの近端話者音響信号が出力されてから、そのLchの基準音響信号に含まれる遠端話者音響信号成分が出力されるまでの時間との一致または近似、および、
(2)「特殊信号D3」のRchの近端話者音響信号が出力されてから、そのLchの評価対象音響信号T3に含まれる遠端話者音響信号成分が出力されるまでの時間と、「参照信号E2」のRchの近端話者音響信号が出力されてから、そのLchの基準音響信号に含まれる遠端話者音響信号成分が出力されるまでの時間との一致または近似、
の少なくとも一方を行う1個以上の時間調整処理部を備えていればよい。その他、評価試験の時の処理により、「参照信号E2」「特殊信号D3」「特殊信号D4」の間で、近端話者音響信号(Rch)の開始時と遠端話者音響信号成分(Lch)の開始時との間の時間区間を一致または近似できるデータ構造であってもよい。要は、何らかの方法で、「参照信号E2」「特殊信号D3」「特殊信号D4」の間で、近端話者音響信号(Rch)の開始時と遠端話者音響信号成分(Lch)の開始時との間の時間区間を一致または近似させることが可能なデータ構造であればよい。さらに環境によっては、「参照信号E2」「特殊信号D3」「特殊信号D4」の間で、近端話者音響信号(Rch)の開始時と遠端話者音響信号成分(Lch)の開始時との間の時間区間を調整することなく、評価試験が行われてもよい。このような場合には、「参照信号E2」「特殊信号D3」「特殊信号D4」の間で、近端話者音響信号(Rch)の開始時と遠端話者音響信号成分(Lch)の開始時との間の時間区間を一致または近似させることが不可能なデータ構造であってもよい。
[Modification 2 of the first embodiment]
In the first embodiment, the near-end speaker acoustic signal (Rch) between the “reference signal E 2 ”, the “special signal D 3 ”, and the “special signal D 4 ” by the delay processing of each of the time adjustment processing units 208 and 280. The time interval between the start time of and the start time of the far-end speaker sound signal component (Lch) is matched or approximated. However, such an object can be realized by other means. For example, the far-end speaker acoustic signal read from the far-end talker acoustic signal storage unit 102 is output from the output unit 252 as the Lch reference acoustic signal of the “reference signal E 2 ” without delay, and the near-end talker The near-end speaker sound signal read from the speaker sound signal storage unit 101 may be used as the Rch near-end speaker sound signal of the “reference signal E 2 ” by temporally raising the near-end speaker sound signal by the time τ ′. In short,
(1) Time from when the Rch near-end speaker acoustic signal of the “special signal D 4 ” is output until the far-end speaker acoustic signal component included in the Lch evaluation target acoustic signal T 4 is output And the time from when the Rch near-end speaker acoustic signal of the “reference signal E 2 ” is output until the far-end speaker acoustic signal component included in the Lch reference acoustic signal is output or Approximation, and
(2) Time from when the Rch near-end speaker acoustic signal of the “special signal D 3 ” is output until the far-end speaker acoustic signal component included in the Lch evaluation target acoustic signal T 3 is output And the time from when the Rch near-end speaker acoustic signal of the “reference signal E 2 ” is output until the far-end speaker acoustic signal component included in the Lch reference acoustic signal is output or Approximation,
One or more time adjustment processing units that perform at least one of the above may be provided. In addition, the processing at the time of the evaluation test, between the “reference signal E 2 ”, the “special signal D 3 ”, and the “special signal D 4 ”, starts the near-end speaker sound signal (Rch) and the far-end speaker sound. A data structure that can match or approximate the time interval from the start of the signal component (Lch) may be used. In short, in some way, between the “reference signal E 2 ”, the “special signal D 3 ”, and the “special signal D 4 ”, the start of the near-end speaker acoustic signal (Rch) and the far-end speaker acoustic signal component ( Any data structure that can match or approximate the time interval from the start of (Lch) can be used. Further, depending on the environment, between the “reference signal E 2 ”, “special signal D 3 ”, and “special signal D 4 ”, the near-end speaker acoustic signal (Rch) starts and the far-end speaker acoustic signal component (Lch). The evaluation test may be performed without adjusting the time interval between the start of the first time and the first time. In such a case, between the “reference signal E 2 ”, “special signal D 3 ”, and “special signal D 4 ”, the start of the near-end speaker acoustic signal (Rch) and the far-end speaker acoustic signal component ( The data structure may not be able to match or approximate the time interval from the start of (Lch).
[第2実施形態]
第2実施形態は第1実施形態の変形例であり、通信環境および室内環境を電気的に模擬したデータ生成装置で、評価試験を行うためのすべてのデータ構造を生成するものである。以下では、これまで説明した事項との相違点を中心に説明する。既に説明した事項については、それらに用いた参照番号を流用して説明を簡略化する。
[Second Embodiment]
The second embodiment is a modification of the first embodiment, and is a data generation device that electrically simulates a communication environment and an indoor environment, and generates all data structures for performing an evaluation test. Below, it demonstrates centering on the difference with the matter demonstrated so far. About the already demonstrated matter, the reference number used for them is diverted and description is simplified.
<データ生成装置>
図5に例示するように、本実施形態のデータ生成装置2は、近端話者音響信号記憶部101、遠端話者音響信号記憶部102、時間調整処理部208、通信環境模擬処理部260、信号処理部270、出力部231,232,241,242,251,252、およびデータ記憶部180を有する。データ生成装置2は、例えば、音声信号の処理が可能な汎用または専用の1個以上のコンピュータが所定のプログラムを実行することで構成される装置である。また、単独で処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。
<Data generation device>
As illustrated in FIG. 5, the data generation device 2 of this embodiment includes a near-end speaker acoustic signal storage unit 101, a far-end speaker acoustic signal storage unit 102, a time adjustment processing unit 208, and a communication environment simulation processing unit 260. , Signal processing unit 270, output units 231, 232, 241, 242, 251, 252, and data storage unit 180. The data generation device 2 is a device configured by, for example, one or more general-purpose or dedicated computers capable of processing audio signals executing a predetermined program. Further, a part or all of the processing units may be configured using an electronic circuit that realizes a processing function independently.
通信環境模擬処理部260は、通信環境を電気的に模擬した通信環境模擬処理を行う。さらに通信環境模擬処理部260は、前述した遠端端末部120側(第2端側)の空間環境(空間伝達系)を電気的に模擬するか、模擬しないかを切り替えることもできる。すなわち、通信環境模擬処理部260は、遠端端末部120側(第2端側)の空間環境を模擬した条件に基づいて信号を劣化させるか、当該空間環境を模擬した条件に基づいた劣化をさせないかを切り替えることができる。この通信環境模擬処理は、少なくとも、近端話者音響信号(第1音響信号)に第1時間調整処理を含む処理を行って得られる信号と、遠端話者音響信号(第2音響信号)に第2時間調整処理を含む処理を行って得られる信号と、を重畳する処理を含む。また空間環境を電気的に模擬する処理(空間環境を模擬した条件に基づいて信号を劣化させる処理)は、擬似エコーおよび擬似雑音の少なくとも一方を信号に重畳する処理を含む。例えば、図6に例示するように、通信環境模擬処理部260は、時間調整処理部264,266、擬似エコー生成部265、加算部267、入力部261,262、出力部263、および切り替え部269aを含む。さらに、通信環境模擬処理部260が擬似雑音源268および切り替え部269bを含んでもよい。なお、擬似エコー生成部265は、遠端端末部120側の空間での反響や残響を模擬するためのものである。擬似雑音源268は、遠端端末部120のマイクロホン107の周囲で発生する、遠端話者の音声以外のあらゆる環境雑音を模擬するためのものである。 The communication environment simulation processing unit 260 performs communication environment simulation processing that electrically simulates the communication environment. Furthermore, the communication environment simulation processing unit 260 can switch between electrically simulating or not simulating the space environment (space transmission system) on the far end terminal unit 120 side (second end side) described above. That is, the communication environment simulation processing unit 260 degrades the signal based on a condition simulating the spatial environment on the far-end terminal unit 120 side (second end side), or degrades based on the condition simulating the spatial environment. You can switch whether or not. The communication environment simulation process includes at least a signal obtained by performing a process including a first time adjustment process on the near-end speaker sound signal (first sound signal), and a far-end speaker sound signal (second sound signal). Includes a process of superimposing a signal obtained by performing a process including the second time adjustment process. Further, the process of electrically simulating the spatial environment (the process of degrading the signal based on conditions simulating the spatial environment) includes a process of superimposing at least one of a pseudo echo and a pseudo noise on the signal. For example, as illustrated in FIG. 6, the communication environment simulation processing unit 260 includes time adjustment processing units 264 and 266, a pseudo echo generation unit 265, an addition unit 267, input units 261 and 262, an output unit 263, and a switching unit 269a. including. Furthermore, the communication environment simulation processing unit 260 may include a pseudo noise source 268 and a switching unit 269b. The pseudo echo generator 265 is for simulating echo and reverberation in the space on the far end terminal unit 120 side. The pseudo noise source 268 is for simulating all environmental noises generated around the microphone 107 of the far end terminal unit 120 other than the voice of the far end speaker.
<データ生成処理>
次に、本実施形態のデータ生成処理を説明する。
第1実施形態と同じく、まず事前処理として、近端話者音響信号(第1音響信号)のデータを近端話者音響信号記憶部101に格納し、遠端話者音響信号(第2音響信号)のデータを遠端話者音響信号記憶部102に格納する。以上の前提のもと、上述の評価試験を行うためのデータ構造が次のように生成される。
<Data generation processing>
Next, the data generation process of this embodiment is demonstrated.
As in the first embodiment, first, as a pre-process, the data of the near-end speaker sound signal (first sound signal) is stored in the near-end speaker sound signal storage unit 101, and the far-end speaker sound signal (second sound) is stored. Signal) data is stored in the far-end speaker sound signal storage unit 102. Based on the above assumptions, a data structure for performing the above-described evaluation test is generated as follows.
≪参照信号および劣化信号の生成≫
参照信号E1および劣化信号D1,D2の生成を行う場合、切り替え部269a(図6)は時間調整処理部264を擬似エコー生成部265に接続し、擬似エコー生成部265を駆動させる。通信環境模擬処理部260が擬似雑音源268および切り替え部269bを含む場合には、切り替え部269bが擬似雑音源268を加算部267に接続し、擬似雑音源268を駆動させる。
≪Generation of reference signal and degraded signal≫
When generating the reference signal E 1 and the degradation signals D 1 and D 2 , the switching unit 269a (FIG. 6) connects the time adjustment processing unit 264 to the pseudo echo generation unit 265, and drives the pseudo echo generation unit 265. When the communication environment simulation processing unit 260 includes the pseudo noise source 268 and the switching unit 269b, the switching unit 269b connects the pseudo noise source 268 to the adding unit 267 and drives the pseudo noise source 268.
近端話者音響信号記憶部101(図5)から近端話者音響信号が抽出され、出力部231,241,251、通信環境模擬処理部260の入力部262、および信号処理部270の入力部272に送られる。遠端話者音響信号記憶部102から遠端話者音響信号が抽出され、時間調整処理部208および通信環境模擬処理部260の入力部261に入力される。 Near-end speaker acoustic signals are extracted from the near-end speaker acoustic signal storage unit 101 (FIG. 5), and output units 231, 241, 251, an input unit 262 of the communication environment simulation processing unit 260, and an input of the signal processing unit 270. Part 272. The far-end speaker sound signal is extracted from the far-end speaker sound signal storage unit 102 and input to the time adjustment processing unit 208 and the input unit 261 of the communication environment simulation processing unit 260.
出力部231,241,251は、送られた近端話者音響信号(第1音響信号)を、それぞれ、「劣化信号D1」,「劣化信号D2」,「参照信号E1」のRchのデータ(第1音響信号を含む第1チャネルの第1データ)として出力する。 The output units 231, 241, 251 convert the transmitted near-end speaker acoustic signals (first acoustic signals) to Rch of “degraded signal D 1 ”, “degraded signal D 2 ”, and “reference signal E 1 ”, respectively. Data (first data of the first channel including the first acoustic signal).
通信環境模擬処理部260は、入力部261および262に入力された遠端話者音響信号(第2音響信号)および近端話者音響信号(第1音響信号)に対し、前述した「空間環境を電気的に模擬する処理」を含む「通信環境模擬処理」を行い、それによって得られた重畳信号を出力部263から出力する。図6の例の場合、入力部261に入力された遠端話者音響信号は時間調整処理部266に入力され、入力部262に入力された近端話者音響信号は時間調整処理部264に入力される。時間調整処理部266は、当該遠端話者音響信号に遅延量B’の遅延を与え、それによって得られた信号を加算部267に送る(第1時間調整処理)。時間調整処理部264は、当該近端話者音響信号に遅延量C’の遅延を与え、遅延された近端話者音響信号を、切り替え部269a経由で擬似エコー生成部265に送る(第2時間調整処理)。擬似エコー生成部265は、第2時間調整処理で遅延させた近端話者音響信号を用いて擬似エコー信号を作成(例えば、近端話者音響信号を遠端話者側のスピーカーで再生して遠端話者側のマイクロホンで収音するときの空間伝達系および収音時の波形歪みを模擬した信号を擬似エコー信号として生成)し、当該擬似エコー信号を加算部267に送る。加算部267は、第1時間調整処理によって得られた信号と、擬似エコー信号と、を重畳して重畳信号を得る。擬似雑音源268が存在する場合には、加算部267は、第1時間調整処理によって得られた信号と、擬似エコー信号と、擬似雑音源268から出力された擬似雑音信号と、を重畳して重畳信号を得てもよい。加算部267で得られた重畳信号(模擬信号)は出力部263に送られ、出力部263はそれを出力する。前述のように、遅延量B’は、例えば、第1実施形態の伝送遅延量Bを模擬するものである。一方、遅延量C’は、例えば、第1実施形態の遅延量Cを模擬するものである。そのため、B’<C’であることが望ましい(例えば、C’=2×B’)。しかしながら、これは本発明を限定するものではなく、B’=C’やB’>C’または、B’=C’=0であってもよい。 The communication environment simulation processing unit 260 applies the above-described “spatial environment” to the far-end speaker acoustic signal (second acoustic signal) and the near-end speaker acoustic signal (first acoustic signal) input to the input units 261 and 262. “Communication environment simulation processing” including “processing for electrically simulating” is performed, and the superimposed signal obtained thereby is output from the output unit 263. In the case of the example of FIG. 6, the far-end speaker sound signal input to the input unit 261 is input to the time adjustment processing unit 266, and the near-end speaker sound signal input to the input unit 262 is input to the time adjustment processing unit 264. Entered. The time adjustment processing unit 266 gives a delay amount B ′ to the far-end speaker sound signal, and sends the signal obtained thereby to the addition unit 267 (first time adjustment processing). The time adjustment processing unit 264 gives a delay of a delay amount C ′ to the near-end speaker sound signal, and sends the delayed near-end speaker sound signal to the pseudo echo generation unit 265 via the switching unit 269a (second). Time adjustment process). The pseudo echo generation unit 265 creates a pseudo echo signal using the near-end speaker acoustic signal delayed by the second time adjustment process (for example, the near-end speaker acoustic signal is reproduced by the far-end speaker side speaker). Then, a signal simulating the spatial transmission system when the sound is collected by the microphone on the far-end speaker side and the waveform distortion at the time of sound collection is generated as a pseudo echo signal), and the pseudo echo signal is sent to the adder 267. The adder 267 superimposes the signal obtained by the first time adjustment process and the pseudo echo signal to obtain a superimposed signal. When the pseudo noise source 268 exists, the adder 267 superimposes the signal obtained by the first time adjustment process, the pseudo echo signal, and the pseudo noise signal output from the pseudo noise source 268. A superimposed signal may be obtained. The superimposed signal (simulated signal) obtained by the adding unit 267 is sent to the output unit 263, and the output unit 263 outputs it. As described above, the delay amount B ′ simulates the transmission delay amount B of the first embodiment, for example. On the other hand, the delay amount C ′ simulates the delay amount C of the first embodiment, for example. Therefore, it is desirable that B ′ <C ′ (for example, C ′ = 2 × B ′). However, this is not a limitation of the present invention, and B '= C', B '> C', or B '= C' = 0.
出力部263から出力された重畳信号は、出力部232および信号処理部270の入力部271に入力される。出力部232は、送られた重畳信号(評価対象音響信号T1)を「劣化信号D1」のLchのデータ(第1音響信号に由来する信号と第2音響信号とに基づく重畳信号であって、第2端側の空間環境を模擬した条件に基づいて劣化した第2重畳信号を含む第2チャネルの第2データ)として出力する。 The superimposed signal output from the output unit 263 is input to the output unit 232 and the input unit 271 of the signal processing unit 270. The output unit 232 is a superimposed signal based on the Lch data (the signal derived from the first acoustic signal and the second acoustic signal) of the “degraded signal D 1 ” of the transmitted superimposed signal (evaluation target acoustic signal T 1 ). The second data of the second channel including the second superimposed signal deteriorated based on the condition simulating the spatial environment on the second end side.
信号処理部270は、入力部271に入力された重畳信号と入力部272に入力された近端話者音響信号を用い、当該重畳信号に信号処理を行って処理信号(第2重畳信号)を得る。図2Bの例の場合、近端話者音響信号を時間調整処理部276で遅延させた信号に適応フィルタ275を適用して得られた信号と当該重畳信号とを加算部274で重畳することでエコーキャンセル処理を行い、雑音除去部278および乗算部277を有する場合には、さらにノイズキャンセル処理を行って、それによって処理信号を得る。ノイズキャンセル処理の方法は、例えば、近端話者および遠端話者のどちらの音響信号も存在しない状態で、図6の擬似雑音源268が送出する擬似雑音の定常雑音レベルを雑音推定部278で推定し、加算部274からの出力信号に対して、推定した定常雑音レベルの分だけ振幅が抑圧されるように、乗算部277でゲイン値を乗じるものである(例えば、参考文献2等参照)。得られた処理信号は出力部273から出力される。出力部273は処理信号を出力部242に送る。出力部242は、送られた処理信号(評価対象音響信号T2)を「劣化信号D2」のLchのデータ(第2重畳信号を含む第2チャネルの第2データ)として出力する。 The signal processing unit 270 uses the superimposed signal input to the input unit 271 and the near-end speaker acoustic signal input to the input unit 272 to perform signal processing on the superimposed signal to generate a processed signal (second superimposed signal). obtain. In the case of the example in FIG. 2B, the signal obtained by applying the adaptive filter 275 to the signal obtained by delaying the near-end speaker acoustic signal by the time adjustment processing unit 276 and the superimposed signal are superimposed by the adding unit 274. When the echo canceling process is performed and the noise removing unit 278 and the multiplying unit 277 are provided, the noise canceling process is further performed, thereby obtaining a processed signal. The noise canceling method is, for example, that the steady noise level of the pseudo noise transmitted from the pseudo noise source 268 in FIG. The multiplication unit 277 multiplies the output signal from the adder 274 by a gain value so that the amplitude is suppressed by the estimated steady noise level (see, for example, Reference 2). ). The obtained processing signal is output from the output unit 273. The output unit 273 sends the processing signal to the output unit 242. The output unit 242 outputs the transmitted processing signal (evaluation target acoustic signal T 2 ) as Lch data (second data of the second channel including the second superimposed signal) of the “degraded signal D 2 ”.
時間調整処理部208は、入力された遠端話者音響信号を遅延量τ’だけ遅延させ、遅延させた遠端話者音響信号を出力部252に送る。前述のように、遅延量τ’は、例えば、上述の遅延量B’に対応する。例えば、遅延量B’または当該遅延量B’の近似値もしくは補正値(関数値)を遅延量τ’とする。あるいは、遅延量τ’が遅延量C’に対応してもよい。例えば、τ’がC’/2またはC’/2の関数値であってもよい。あるいは、遅延量τ’が遅延量B’および遅延量C’に対応してもよい。出力部252は、時間調整処理部208で遅延させた遠端話者音響信号(基準音響信号)を「参照信号E1」のLchのデータ(第2音響信号を含む信号に基づく比較用信号を含む第2チャネルの第4データ)として出力する。以上の処理によっても図4に例示するようなデータ構造を得ることができる。得られたデータ構造はデータ記憶部180に格納される。 The time adjustment processing unit 208 delays the input far-end speaker sound signal by the delay amount τ ′ and sends the delayed far-end speaker sound signal to the output unit 252. As described above, the delay amount τ ′ corresponds to the delay amount B ′ described above, for example. For example, the delay amount τ ′ is the delay amount B ′ or an approximate value or correction value (function value) of the delay amount B ′. Alternatively, the delay amount τ ′ may correspond to the delay amount C ′. For example, τ ′ may be a function value of C ′ / 2 or C ′ / 2. Alternatively, the delay amount τ ′ may correspond to the delay amount B ′ and the delay amount C ′. The output unit 252 converts the far-end speaker sound signal (reference sound signal) delayed by the time adjustment processing unit 208 into the Lch data of the “reference signal E 1 ” (the signal for comparison based on the signal including the second sound signal). 4th data of the second channel including). The data structure as illustrated in FIG. 4 can also be obtained by the above processing. The obtained data structure is stored in the data storage unit 180.
≪参照信号および特殊信号の生成≫
参照信号E2および特殊信号D3,D4の生成を行う場合、切り替え部269aは時間調整処理部264を擬似エコー生成部265から切断し、加算部267に接続するとともに、擬似エコー生成部265を停止させる。通信環境模擬処理部260が擬似雑音源268および切り替え部269bを含む場合には、切り替え部269bは擬似雑音源268を加算部267から切断し、擬似雑音源268を停止させる。
≪Generation of reference signal and special signal≫
When generating the reference signal E 2 and the special signals D 3 and D 4 , the switching unit 269 a disconnects the time adjustment processing unit 264 from the pseudo echo generation unit 265 and connects it to the addition unit 267 and also the pseudo echo generation unit 265. Stop. When the communication environment simulation processing unit 260 includes the pseudo noise source 268 and the switching unit 269b, the switching unit 269b disconnects the pseudo noise source 268 from the adding unit 267 and stops the pseudo noise source 268.
近端話者音響信号記憶部101から近端話者音響信号が抽出され、出力部231,241,251、通信環境模擬処理部260の入力部262、および信号処理部270の入力部272に送られる。遠端話者音響信号記憶部102から遠端話者音響信号が抽出され、時間調整処理部208および通信環境模擬処理部260の入力部261に入力される。 Near-end speaker sound signals are extracted from the near-end speaker sound signal storage unit 101 and sent to the output units 231, 241, 251, the input unit 262 of the communication environment simulation processing unit 260, and the input unit 272 of the signal processing unit 270. It is done. The far-end speaker sound signal is extracted from the far-end speaker sound signal storage unit 102 and input to the time adjustment processing unit 208 and the input unit 261 of the communication environment simulation processing unit 260.
出力部231,241,251は、送られた近端話者音響信号(第1音響信号)を、それぞれ、「特殊信号D3」,「特殊信号D4」,「参照信号E2」のRchのデータ(第1音響信号を含む第1チャネルの第1データ)として出力する。 The output units 231, 241, 251 convert the transmitted near-end speaker acoustic signals (first acoustic signals) into Rchs of “special signal D 3 ”, “special signal D 4 ”, and “reference signal E 2 ”, respectively. Data (first data of the first channel including the first acoustic signal).
通信環境模擬処理部260は、入力部261および262に入力された遠端話者音響信号(第2音響信号)および近端話者音響信号(第1音響信号)に対し、「空間環境を電気的に模擬」しない「通信環境模擬処理」を行い、それによって得られた重畳信号を出力部263から出力する。図6の例の場合、入力部261に入力された遠端話者音響信号は時間調整処理部266に入力され、入力部262に入力された近端話者音響信号は時間調整処理部264に入力される。時間調整処理部266は、当該遠端話者音響信号に遅延量B’の遅延を与え、それによって得られた信号を加算部267に送る(第1時間調整処理)。時間調整処理部264は、当該近端話者音響信号に遅延量C’の遅延を与え、遅延された近端話者音響信号を、加算部267に送る(第2時間調整処理)。加算部267は第1時間調整処理によって得られた信号と第2時間調整処理によって得られた信号を重畳する。加算部267で得られた重畳信号は出力部263に送られ、出力部263はそれを出力する。前述のように、遅延量B’は、例えば伝送遅延量Bを模擬するものである。一方、遅延量C’は、例えば遅延量Cを模擬するものである。そのため、B’<C’であることが望ましい(例えば、C’=2×B’)。しかしながら、これは本発明を限定するものではなく、B’=C’やB’>C’または、B’=C’=0であってもよい。 The communication environment simulation processing unit 260 performs “electrical spatial environment on the far end speaker acoustic signal (second acoustic signal) and the near end speaker acoustic signal (first acoustic signal) input to the input units 261 and 262. “Communication environment simulation processing” that is not “simulated” is performed, and the superposition signal obtained thereby is output from the output unit 263. In the case of the example of FIG. 6, the far-end speaker sound signal input to the input unit 261 is input to the time adjustment processing unit 266, and the near-end speaker sound signal input to the input unit 262 is input to the time adjustment processing unit 264. Entered. The time adjustment processing unit 266 gives a delay amount B ′ to the far-end speaker sound signal, and sends the signal obtained thereby to the addition unit 267 (first time adjustment processing). The time adjustment processing unit 264 gives a delay amount C ′ to the near-end speaker sound signal, and sends the delayed near-end speaker sound signal to the addition unit 267 (second time adjustment process). The adder 267 superimposes the signal obtained by the first time adjustment process and the signal obtained by the second time adjustment process. The superimposed signal obtained by the adding unit 267 is sent to the output unit 263, and the output unit 263 outputs it. As described above, the delay amount B 'simulates the transmission delay amount B, for example. On the other hand, the delay amount C 'simulates the delay amount C, for example. Therefore, it is desirable that B ′ <C ′ (for example, C ′ = 2 × B ′). However, this is not a limitation of the present invention, and B '= C', B '> C', or B '= C' = 0.
出力部263から出力された重畳信号は、出力部232および信号処理部270の入力部271に入力される。出力部232は、送られた重畳信号(評価対象音響信号T3)を「特殊信号D3」のLchのデータとして出力する。 The superimposed signal output from the output unit 263 is input to the output unit 232 and the input unit 271 of the signal processing unit 270. The output unit 232 outputs the transmitted superimposed signal (evaluation target acoustic signal T 3 ) as Lch data of the “special signal D 3 ”.
信号処理部270は、入力部271に入力された重畳信号と入力部272に入力された近端話者音響信号を用い、前述のように当該重畳信号に信号処理を行って処理信号(第1音響信号に由来する信号と第2音響信号とに基づく重畳信号であって、第2端側の空間環境に基づく劣化若しくは空間環境を模擬した条件に基づく劣化がない信号に信号処理を行って得られた処理信号に由来する第3重畳信号。例えば、第1音響信号に由来する信号と第2音響信号とに基づく重畳信号であって、第2端側の空間環境に基づく劣化も空間環境を模擬した条件に基づく劣化もない信号に信号処理を行って得られた処理信号に由来する第3重畳信号)を得る。得られた処理信号(第3重畳信号)は出力部273から出力される。出力部273は処理信号を出力部242に送る。出力部242は、送られた重畳信号(評価対象音響信号T4:第3重畳信号)を「特殊信号D4」のLchのデータ(第3重畳信号を含む第2チャネルの第3データ)として出力する。 The signal processing unit 270 uses the superimposed signal input to the input unit 271 and the near-end speaker acoustic signal input to the input unit 272, performs signal processing on the superimposed signal as described above, and processes the processed signal (first signal). A signal obtained by performing signal processing on a superimposed signal based on a signal derived from an acoustic signal and a second acoustic signal, which is not degraded based on a spatial environment on the second end side or based on a condition simulating the spatial environment. A third superimposed signal derived from the processed signal, for example, a superimposed signal based on the signal derived from the first acoustic signal and the second acoustic signal, and the deterioration based on the spatial environment on the second end side is also affected by the spatial environment. A third superimposed signal derived from a processed signal obtained by performing signal processing on a signal that is not deteriorated based on the simulated conditions is obtained. The obtained processed signal (third superimposed signal) is output from the output unit 273. The output unit 273 sends the processing signal to the output unit 242. The output unit 242 uses the transmitted superimposed signal (evaluation target acoustic signal T 4 : third superimposed signal) as Lch data of the “special signal D 4 ” (third data of the second channel including the third superimposed signal). Output.
時間調整処理部208は、入力された遠端話者音響信号を遅延量τ’だけ遅延させ、遅延させた遠端話者音響信号を出力部252に送る。出力部252は、時間調整処理部208で遅延させた遠端話者音響信号を「参照信号E2」のLchのデータ(第2音響信号を含む信号に基づく比較用信号を含む第2チャネルの第4データ)として出力する。得られたデータ構造はデータ記憶部180に格納される。 The time adjustment processing unit 208 delays the input far-end speaker sound signal by the delay amount τ ′ and sends the delayed far-end speaker sound signal to the output unit 252. The output unit 252 outputs the far-end speaker sound signal delayed by the time adjustment processing unit 208 from the Lch data of the “reference signal E 2 ” (the second channel including the comparison signal based on the signal including the second sound signal). 4th data). The obtained data structure is stored in the data storage unit 180.
[第2実施形態の変形例]
第2実施形態では、時間調整処理部208,264,266,276それぞれの遅延処理により、「参照信号E1」「劣化信号D1」「劣化信号D2」の間および「参照信号E2」「特殊信号D3」「特殊信号D4」の間で、近端話者音響信号(Rch)の開始時と遠端話者音響信号成分(Lch)の開始時との間の時間区間を一致または近似させた。しかしながら、第1実施形態の変形例1,2と同様、このような目的は他の手段によっても実現できる。例えば、遠端話者音響信号記憶部102から読み出された遠端話者音響信号を遅延させることなく「参照信号E1」「参照信号E2」のLchの基準音響信号として出力部252から出力し、近端話者音響信号記憶部101から読み出された近端話者音響信号を時間τ’だけ時間的に繰り上げたものを「参照信号E1」「参照信号E2」のRchの近端話者音響信号としてもよい。要は、
(1)「劣化信号D2」のRchの近端話者音響信号が出力されてから、そのLchの評価対象音響信号T2に含まれる遠端話者音響信号成分が出力されるまでの時間と、「参照信号E1」のRchの近端話者音響信号が出力されてから、そのLchの基準音響信号に含まれる遠端話者音響信号成分が出力されるまでの時間との一致または近似、
(2)「特殊信号D4」のRchの近端話者音響信号が出力されてから、そのLchの評価対象音響信号T4に含まれる遠端話者音響信号成分が出力されるまでの時間と、「参照信号E2」のRchの近端話者音響信号が出力されてから、そのLchの基準音響信号に含まれる遠端話者音響信号成分が出力されるまでの時間との一致または近似、
(3)「劣化信号D1」のRchの近端話者音響信号が出力されてから、そのLchの評価対象音響信号T1に含まれる遠端話者音響信号成分が出力されるまでの時間と、「参照信号E1」のRchの近端話者音響信号が出力されてから、そのLchの基準音響信号に含まれる遠端話者音響信号成分が出力されるまでの時間との一致または近似、および、
(4)「特殊信号D3」のRchの近端話者音響信号が出力されてから、そのLchの評価対象音響信号T3に含まれる遠端話者音響信号成分が出力されるまでの時間と、「参照信号E2」のRchの近端話者音響信号が出力されてから、そのLchの基準音響信号に含まれる遠端話者音響信号成分が出力されるまでの時間との一致または近似、
の少なくともいずれかを行う1個以上の時間調整処理部を備えていればよい。その他、評価試験の時の処理により、「参照信号E1」「劣化信号D1」「劣化信号D2」の間および「参照信号E2」「特殊信号D3」「特殊信号D4」の間で、近端話者音響信号(Rch)の開始時と遠端話者音響信号成分(Lch)の開始時との間の時間区間を一致または近似できるデータ構造であってもよい。要は、何らかの方法で、「参照信号E1」「劣化信号D1」「劣化信号D2」の間および「参照信号E2」「特殊信号D3」「特殊信号D4」の間で、近端話者音響信号(Rch)の開始時と遠端話者音響信号成分(Lch)の開始時との間の時間区間を一致または近似させることが可能なデータ構造であればよい。さらに環境によっては、「参照信号」「劣化信号D1」「劣化信号D2」および「参照信号E2」「特殊信号D3」「特殊信号D4」の間で、近端話者音響信号(Rch)の開始時と遠端話者音響信号成分(Lch)の開始時との間の時間区間を調整することなく、評価試験が行われてもよい。このような場合には、「参照信号」「劣化信号D1」「劣化信号D2」の間で、近端話者音響信号(Rch)の開始時と遠端話者音響信号成分(Lch)の開始時との間の時間区間を一致または近似させることが不可能なデータ構造であってもよい。
[Modification of Second Embodiment]
In the second embodiment, the time adjustment processing units 208, 264, 266, and 276 each perform delay processing, between “reference signal E 1 ”, “degraded signal D 1 ”, “degraded signal D 2 ”, and “reference signal E 2 ”. The time interval between the start of the near-end speaker sound signal (Rch) and the start of the far-end speaker sound signal component (Lch) is the same between “special signal D 3 ” and “special signal D 4 ”. Or approximated. However, like the first and second modifications of the first embodiment, such an object can be realized by other means. For example, the far-end speaker sound signal read from the far-end speaker sound signal storage unit 102 is output from the output unit 252 as the Lch standard sound signal of the “reference signal E 1 ” and “reference signal E 2 ” without delay. The output of the near-end speaker sound signal read out from the near-end speaker sound signal storage unit 101 and temporally advanced by the time τ ′ is the Rch of “reference signal E 1 ” and “reference signal E 2 ”. It may be a near-end speaker acoustic signal. In short,
(1) Time from when the Rch near-end speaker acoustic signal of “degraded signal D 2 ” is output until the far-end speaker acoustic signal component included in the Lch evaluation target acoustic signal T 2 is output And the time from when the Rch near-end speaker acoustic signal of the “reference signal E 1 ” is output until the far-end speaker acoustic signal component included in the Lch reference acoustic signal is output or Approximation,
(2) Time from when the Rch near-end speaker acoustic signal of the “special signal D 4 ” is output until the far-end speaker acoustic signal component included in the Lch evaluation target acoustic signal T 4 is output And the time from when the Rch near-end speaker acoustic signal of the “reference signal E 2 ” is output until the far-end speaker acoustic signal component included in the Lch reference acoustic signal is output or Approximation,
(3) Time from when the Rch near-end speaker acoustic signal of “deteriorated signal D 1 ” is output until the far-end speaker acoustic signal component included in the Lch evaluation target acoustic signal T 1 is output And the time from when the Rch near-end speaker acoustic signal of the “reference signal E 1 ” is output until the far-end speaker acoustic signal component included in the Lch reference acoustic signal is output or Approximation, and
(4) Time from when the Rch near-end speaker acoustic signal of the “special signal D 3 ” is output until the far-end speaker acoustic signal component included in the Lch evaluation target acoustic signal T 3 is output And the time from when the Rch near-end speaker acoustic signal of the “reference signal E 2 ” is output until the far-end speaker acoustic signal component included in the Lch reference acoustic signal is output or Approximation,
One or more time adjustment processing units that perform at least one of the above may be provided. In addition, by the processing at the time of the evaluation test, between “reference signal E 1 ”, “deterioration signal D 1 ”, “deterioration signal D 2 ” and “reference signal E 2 ”, “special signal D 3 ”, and “special signal D 4 ”. A data structure that can match or approximate the time interval between the start of the near-end speaker acoustic signal (Rch) and the start of the far-end speaker acoustic signal component (Lch) may be used. In short, between “reference signal E 1 ”, “degraded signal D 1 ”, “degraded signal D 2 ” and “reference signal E 2 ”, “special signal D 3 ”, and “special signal D 4 ” Any data structure that can match or approximate the time interval between the start of the near-end speaker sound signal (Rch) and the start of the far-end speaker sound signal component (Lch) may be used. Further, depending on the environment, the near-end speaker acoustic signal between “reference signal”, “degraded signal D 1 ”, “degraded signal D 2 ” and “reference signal E 2 ”, “special signal D 3 ”, and “special signal D 4 ”. The evaluation test may be performed without adjusting the time interval between the start of (Rch) and the start of the far-end speaker sound signal component (Lch). In such a case, between the “reference signal”, “degraded signal D 1 ”, and “degraded signal D 2 ”, the near-end speaker acoustic signal (Rch) starts and the far-end speaker acoustic signal component (Lch). It may be a data structure in which it is impossible to match or approximate the time interval between the start time of and the start time.
[第3実施形態]
第3実施形態では、前述のように生成されたデータ構造を用いた品質評価方法を説明する。
<音響品質評価装置>
図7に例示するように、本実施形態の音響品質評価装置3は、データ記憶部180、集計結果記憶部305、再生制御部301、表示制御部302、集計部303、制御部304、音響出力処理部310−n、表示部320−n、および入力部330−nを有する。ただし、n=1,・・・,Nであり、Nは1以上の整数(例えば、Nは1以上4以下)である。音響品質評価装置3は、例えば、表示装置(ディスプレイ等)および入力装置(キーボードやマウス等)を備えた前述のような1個以上のコンピュータが所定のプログラムを実行することで構成される装置である。また、単独で処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。
[Third Embodiment]
In the third embodiment, a quality evaluation method using the data structure generated as described above will be described.
<Sound quality evaluation device>
As illustrated in FIG. 7, the sound quality evaluation apparatus 3 according to the present embodiment includes a data storage unit 180, a tabulation result storage unit 305, a playback control unit 301, a display control unit 302, a tabulation unit 303, a control unit 304, and a sound output. The processing unit 310-n, the display unit 320-n, and the input unit 330-n are included. However, n = 1,..., N, and N is an integer of 1 or more (for example, N is 1 or more and 4 or less). The sound quality evaluation apparatus 3 is an apparatus configured by, for example, one or more computers including a display device (display, etc.) and an input device (keyboard, mouse, etc.) executing a predetermined program. is there. Further, a part or all of the processing units may be configured using an electronic circuit that realizes a processing function independently.
<音響品質評価処理>
音響品質評価装置3は、前述したデータ構造を用い、制御部304の制御のもと、前述した拡声系通信システムでの会話MOS試験を模擬した評価試験を行う。
<Sound quality evaluation process>
The sound quality evaluation apparatus 3 uses the data structure described above and performs an evaluation test that simulates the conversation MOS test in the above-described loudspeaker communication system under the control of the control unit 304.
n=1,・・・,Nについて、音響出力処理部310−nの出力部311−nに両耳装着型音響再生装置340−nの一方のチャネルであるRch(第1チャネル:例えば右チャネル)が接続され、出力部312−nに両耳装着型音響再生装置340−nの他方のチャネルであるLch(第2チャネル:例えば左チャネル)が接続される。なお、両耳装着型音響再生装置340−nとは、一方のチャネルRchの音を出力する一方の耳専用のスピーカーと、他方のチャネルLchの音を出力する他方の耳専用のスピーカーと、を備えたステレオ再生可能な音響再生装置である。両耳装着型音響再生装置340−nの具体例は、ヘッドフォンやイヤホン等である。評価者350−nは、両耳装着型音響再生装置340−nを装着し、表示部320−nから出力される表示内容に従って、両耳装着型音響再生装置340−nから出力される音の主観評価を行い、評価結果を入力部330−nに入力する。なお、評価者350−nは、その利き耳(例えば、左耳)にチャネルLchの音を出力する側のスピーカーを装着し、利き耳ではない側の耳(例えば、右耳)にチャネルRchの音を出力する側のスピーカーを装着することが望ましい。以下、これらの処理を詳細に説明する。 For n = 1,..., N, the Rch (first channel: for example, the right channel) that is one channel of the binaural-type sound reproducing device 340-n is connected to the output unit 311-n of the sound output processing unit 310-n. ) Is connected, and the Lch (second channel: for example, the left channel), which is the other channel of the binaural sound reproducing device 340-n, is connected to the output unit 312-n. The binaural-mounted sound reproducing device 340-n includes a speaker dedicated to one ear that outputs sound of one channel Rch and a speaker dedicated to the other ear that outputs sound of the other channel Lch. This is a stereo sound reproduction apparatus equipped with stereo reproduction. Specific examples of the binaural-mounted sound reproducing device 340-n include headphones and earphones. The evaluator 350-n wears the binaural-type sound reproduction device 340-n, and according to the display content output from the display unit 320-n, the sound output from the binaural-type sound reproduction device 340-n. Subjective evaluation is performed, and the evaluation result is input to the input unit 330-n. Note that the evaluator 350-n wears a speaker on the side that outputs the sound of the channel Lch in the dominant ear (for example, the left ear), and the channel Rch in the ear (for example, the right ear) that is not the dominant ear. It is desirable to attach a speaker that outputs sound. Hereinafter, these processes will be described in detail.
再生制御部301は、制御部304の制御に従い(制御内容は後述)、データ記憶部180から前述したデータ構造から「参照信号E1」「劣化信号D1」「劣化信号D2」「参照信号E2」「特殊信号D3」「特殊信号D4」の何れかを抽出し、音響出力処理部310−n(ただし、n=1,・・・,N)に送る。この際に、近端話者音響信号(Rch)の開始時と遠端話者音響信号成分(Lch)の開始時との間の時間区間を一致または近似させるための処理がなされてもよい。音響出力処理部310−nは、送られた信号に応じて以下の処理を行う。なお、「参照信号E1」および「参照信号E2」の基準音響信号が表す音を「基準音」とよび、「劣化信号D1」および「特殊信号D3」の評価対象音響信号T1およびT3が表す音、および「劣化信号D2」および「特殊信号D4」の評価対象音響信号T2およびT4が表す音を「評価音」とよぶことにする。 The reproduction control unit 301 performs “reference signal E 1 ”, “deterioration signal D 1 ”, “deterioration signal D 2 ”, and “reference signal” from the data structure described above from the data storage unit 180 in accordance with control of the control unit 304. Any one of “E 2 ”, “special signal D 3 ”, and “special signal D 4 ” is extracted and sent to the sound output processing unit 310-n (where n = 1,..., N). At this time, a process for matching or approximating the time interval between the start time of the near-end speaker sound signal (Rch) and the start time of the far-end speaker sound signal component (Lch) may be performed. The sound output processing unit 310-n performs the following processing according to the transmitted signal. Note that the sound represented by the reference sound signal of “reference signal E 1 ” and “reference signal E 2 ” is called “reference sound”, and the evaluation target sound signal T 1 of “deterioration signal D 1 ” and “special signal D 3 ”. And the sound represented by T 3 and the sound represented by the evaluation target acoustic signals T 2 and T 4 of the “deterioration signal D 2 ” and the “special signal D 4 ” are referred to as “evaluation sound”.
≪「参照信号E1」または「参照信号E2」が送られた場合≫
「参照信号E1」または「参照信号E2」が送られた場合、音響出力処理部310−n(ただし、n=1,・・・,N)は、送られた「参照信号E1」または「参照信号E2」の近端話者音響信号(第1音響信号)を出力部311−nから両耳装着型音響再生装置340−nの一方のチャネルであるRch(第1チャネル)に出力しつつ、送られた「参照信号E1」または「参照信号E2」の基準音響信号を出力部312−nから両耳装着型音響再生装置340−nの他方のチャネルであるLch(第2チャネル)に出力する(第1処理)。
≪When “reference signal E 1 ” or “reference signal E 2 ” is sent≫
When “reference signal E 1 ” or “reference signal E 2 ” is sent, the sound output processing unit 310-n (where n = 1,..., N) sends the “reference signal E 1 ” Alternatively, the near-end speaker sound signal (first sound signal) of the “reference signal E 2 ” is sent from the output unit 311-n to Rch (first channel) which is one channel of the binaural-mounted sound reproduction device 340-n. While outputting, the reference sound signal of the “reference signal E 1 ” or “reference signal E 2 ” is sent from the output unit 312-n to the Lch (first channel) of the other ear-mounted sound reproduction device 340-n. 2 channels) (first process).
≪「劣化信号D1」が送られた場合≫
「劣化信号D1」が送られた場合、音響出力処理部310−n(ただし、n=1,・・・,N)は、送られた「劣化信号D1」の近端話者音響信号(第1音響信号)を出力部311−nから両耳装着型音響再生装置340−nのRch(第1チャネル)に出力しつつ、送られた「劣化信号D1」の評価対象音響信号T1(第2重畳信号)を出力部312−nから両耳装着型音響再生装置340−nのLch(第2チャネル)に出力する(第2処理)。
≪When “deterioration signal D 1 ” is sent≫
When “degraded signal D 1 ” is sent, the sound output processing unit 310-n (where n = 1,..., N) sends the near-end speaker acoustic signal of the sent “degraded signal D 1 ”. (First acoustic signal) is output from the output unit 311-n to the Rch (first channel) of the binaural-equipped acoustic reproduction device 340-n, and the evaluation target acoustic signal T of the transmitted “degraded signal D 1 ” is transmitted. 1 (second superimposed signal) is output from the output unit 312-n to the Lch (second channel) of the binaural-type sound reproducing device 340-n (second processing).
≪「劣化信号D2」が送られた場合≫
「劣化信号D2」が送られた場合、音響出力処理部310−n(ただし、n=1,・・・,N)は、「劣化信号D2」の近端話者音響信号(第1音響信号)を出力部311−nから両耳装着型音響再生装置340−nのRch(第1チャネル)に出力しつつ、「劣化信号D2」の評価対象音響信号T2(第2重畳信号)を出力部312−nから両耳装着型音響再生装置340−nのLch(第2チャネル)に出力する(第2処理)。
«If the" deterioration signal D 2 "has been sent»
When the “degraded signal D 2 ” is sent, the sound output processing unit 310-n (where n = 1,..., N) transmits the near-end speaker acoustic signal (first signal) of the “degraded signal D 2 ”. while outputting a sound signal) from the output unit 311-n to the Rch (first channel) of two earset sound reproducing apparatus 340-n, evaluated acoustic signals T 2 (second superimposed signal of the "degraded signal D 2" ) From the output unit 312-n to the Lch (second channel) of the binaural-type sound reproduction device 340-n (second processing).
≪「特殊信号D3」が送られた場合≫
「特殊信号D3」が送られた場合、音響出力処理部310−n(ただし、n=1,・・・,N)は、送られた「特殊信号D3」の近端話者音響信号(第1音響信号)を出力部311−nから両耳装着型音響再生装置340−nのRch(第1チャネル)に出力しつつ、送られた「特殊信号D3」の評価対象音響信号T3を出力部312−nから両耳装着型音響再生装置340−nのLch(第2チャネル)に出力する。
≪「特殊信号D4」が送られた場合≫
「特殊信号D4」が送られた場合、音響出力処理部310−n(ただし、n=1,・・・,N)は、送られた「特殊信号D4」の近端話者音響信号(第1音響信号)を出力部311−nから両耳装着型音響再生装置340−nのRch(第1チャネル)に出力しつつ、送られた「特殊信号D4」の評価対象音響信号T4(第3重畳信号)を出力部312−nから両耳装着型音響再生装置340−nのLch(第2チャネル)に出力する(第3処理)。
≪When “Special signal D 3 ” is sent≫
When the “special signal D 3 ” is transmitted, the sound output processing unit 310-n (where n = 1,..., N) transmits the near-end speaker sound signal of the transmitted “special signal D 3 ”. (First acoustic signal) is output from the output unit 311-n to the Rch (first channel) of the binaural-equipped sound reproducing device 340-n, and the evaluation target acoustic signal T of the “special signal D 3 ” sent thereto 3 is output from the output unit 312-n to the Lch (second channel) of the binaural sound reproduction apparatus 340-n.
≪When “Special signal D 4 ” is sent≫
When the “special signal D 4 ” is transmitted, the sound output processing unit 310-n (where n = 1,..., N) transmits the near-end speaker sound signal of the transmitted “special signal D 4 ”. (First acoustic signal) is output from the output unit 311-n to the Rch (first channel) of the binaural-mounted acoustic reproduction device 340-n, and the evaluation target acoustic signal T of the “special signal D 4 ” sent 4 (third superimposed signal) is output from the output unit 312-n to the Lch (second channel) of the binaural-mounted sound reproduction device 340-n (third process).
表示制御部302は、制御部304の制御に従い(制御内容は後述)、表示部320−n(ただし、n=1,・・・,N)に表示情報を送る。表示部320−nは、送られた表示情報に従い、基準音と評価音との違いが分かるか否かと、評価音の聞き取りにくさについての2段階以上の度合いと、の組み合わせからなる3段階以上のカテゴリーを含む評価カテゴリーを表示する。評価者350−nは、この表示に従って両耳装着型音響再生装置340−nから出力された音を主観評価する。ここで「基準音」は、遠端話者から理想的な状態で受信した音響信号に相当する。近端話者からの直接音に相当する「近端話者音」と合わせて提示することで、拡声系通信システムの理想的な状態を模擬することができる。「近端話者音」を「基準音響信号」と同時に提示することで、近端話者の音声の回り込み(音響エコー)と、遠端話者の音声を区別しやすくなる。「評価音」を常に「基準音」と比較することで、評価対象とする通信システムがどれだけ理想的な状態に近いか、または異なる状態であるか、を客観的に、かつ主観的に評価することができる。 「評価音」のみを提示して評価すると、遠端話者の言いよどみや、遠端話者の周囲騒音などが劣化要因として判断され、低く評価される可能性が高い。常に「基準音」と比較することで、通信システム以外の劣化要因が評価対象から排除され、ばらつきの少ない、的確な評価値を得ることができる。また、この評価カテゴリーは、基準音に対する評価音の劣化のみならず、評価音の聞き取りにくさ(聞き取り易さ)に対する評価基準を定めたものである。このように、評価音の基準音からの劣化度と聞き取りやすさの度合いを組み合わせた評価カテゴリーを表示することで、従来のDCR(劣化カテゴリ評価)のように劣化のみに着目した評価カテゴリーを表示する場合に比べ、どのような基準で評価を行えばよいかが明確になり、複数の要因が複雑に絡み合うような環境でも評価ばらつきを小さくすることができる。また、評価音の聞き取り「にくさ」についての評価基準(否定的な評価基準)を表示することで、評価音の聞き取り「易さ」についての評価基準(肯定的な評価基準)を表示する場合に比べて評価者350−nの選択が厳密になり、評価精度が向上する。これは生理学上の自然法則に基づく。 The display control unit 302 sends display information to the display unit 320-n (where n = 1,..., N) in accordance with the control of the control unit 304 (details of control will be described later). The display unit 320-n has three or more levels consisting of a combination of whether or not the difference between the reference sound and the evaluation sound is known and the degree of two or more levels of difficulty in hearing the evaluation sound according to the display information sent. The evaluation category including the category is displayed. The evaluator 350-n subjectively evaluates the sound output from the binaural sound reproduction device 340-n according to this display. Here, the “reference sound” corresponds to an acoustic signal received from the far-end speaker in an ideal state. An ideal state of a loudspeaker communication system can be simulated by presenting it together with a “near-end speaker sound” corresponding to a direct sound from the near-end speaker. By presenting the “near-end speaker sound” at the same time as the “reference acoustic signal”, it becomes easy to distinguish between the near-end speaker's voice wraparound (acoustic echo) and the far-end speaker's voice. By comparing "evaluation sound" with "reference sound" at all times, objectively and subjectively evaluate how close or different the communication system is to be evaluated is. can do. When only the “evaluation sound” is presented and evaluated, the far-end speaker's stagnation, the far-end speaker's ambient noise, etc. are judged as degradation factors and are likely to be evaluated low. By always comparing with the “reference sound”, deterioration factors other than the communication system are excluded from the evaluation target, and an accurate evaluation value with little variation can be obtained. This evaluation category defines not only the deterioration of the evaluation sound with respect to the reference sound but also the evaluation standard for difficulty in hearing the evaluation sound (easy to hear). In this way, by displaying an evaluation category that combines the degree of deterioration of the evaluation sound from the reference sound and the degree of ease of hearing, an evaluation category that focuses only on deterioration, such as conventional DCR (deterioration category evaluation), is displayed. Compared to the case, it becomes clear what criteria should be used for evaluation, and the evaluation variation can be reduced even in an environment where a plurality of factors are intertwined in a complicated manner. In addition, by displaying the evaluation standard (negative evaluation standard) for the evaluation sound listening “Nikusa”, the evaluation standard (positive evaluation standard) for the evaluation sound listening “ease” is displayed. In comparison with the above, the selection of the evaluator 350-n becomes strict and the evaluation accuracy is improved. This is based on the natural laws of physiology.
好ましくは、評価カテゴリーは、基準音と評価音との違いが分かるか否かと、評価音の聞き取りにくさについての3段階以上の度合いと、の組み合わせからなる4段階以上のカテゴリーを含む。評価音の聞き取りにくさについての3段階以上の度合いについての評価基準を定めることで、評価精度をより向上させることができる。特に、評価カテゴリーは、基準音と評価音との違いが分からないことを表す1段階のカテゴリーと、基準音と評価音との違いが分かる旨と評価音の聞き取りにくさについての4段階の度合いとの組み合わせからなる4段階のカテゴリーとを含むことが望ましい。以下に評価カテゴリーの具体例を示す。
以下に従来のDCR(劣化カテゴリ評価)で用いられていた劣化のみに着目した評価カテゴリーを示す。表1の評価カテゴリーと比べて主観的・内面的な表現が多いことが分かる。
さらに、表示制御部302が出力する表示情報が、評価音の聞き取り易さの評価を指示するための情報を含み、表示部320−nが、さらに評価音の聞き取り易さの評価を指示するための表示(「何を評価するか」を表す表示)を行ってもよい。例えば、表示部320−nは「評価音の『女声(左側)』の聞き取り易さ、を評価してください」と表示してもよい。この例において左側とは「参照信号」「劣化信号D1」「劣化信号D2」におけるLch(第2チャネル)側のスピーカーの出力を指している。上述のように、評価カテゴリーは、基準音と評価音との違いが分かるか否かと評価音の聞き取りにくさについての度合いとの組み合わせからなる。生理学上、人間は違いの有無には敏感であり、特に注意をしていなくても基準音と評価音との違いの有無を評価することができる。一方、聞き取り易さについては注意をしていないと適切な評価を行うことができない。このような自然法則に基づき、表示部320−nが、さらに評価音の聞き取り易さの評価を指示するための表示を行うことで、評価精度を向上できたり、評価ばらつきを低減できたりする。なお、何を評価するかを表す表示として「評価音の聞き取り『にくさ』の評価を指示するための表示」を行った場合、生理学上、評価者350−nは詳細な点に注目しすぎてしまい、「聞き取り易さ」への影響が小さな劣化をも評価してしまう傾向がある。何を評価するかを表す表示として「評価音の聞き取り『易さ』の評価を指示するための表示」することで、評価者350−nの評価が適切になり、評価精度を向上できたり、評価ばらつきを低減できたりする。 Furthermore, the display information output by the display control unit 302 includes information for instructing evaluation of the ease of hearing of the evaluation sound, and the display unit 320-n further instructs evaluation of the ease of hearing of the evaluation sound. (Display indicating “what to evaluate”) may be performed. For example, the display unit 320-n may display “Please rate the ease of hearing of the evaluation sound“ female voice (left side) ””. In this example, the left side indicates the output of the speaker on the Lch (second channel) side in the “reference signal”, “degraded signal D 1 ”, and “degraded signal D 2 ”. As described above, the evaluation category includes a combination of whether or not the difference between the reference sound and the evaluation sound is known and the degree of difficulty in hearing the evaluation sound. Physiologically, humans are sensitive to the difference and can evaluate the difference between the reference sound and the evaluation sound without particular attention. On the other hand, appropriate evaluation cannot be performed unless attention is paid to the ease of hearing. Based on such a natural law, the display part 320-n can further improve the evaluation accuracy or reduce the evaluation variation by performing display for instructing the evaluation of the ease of hearing of the evaluation sound. In addition, when the “display for instructing the evaluation of listening to the evaluation sound“ Nikusa ”” is performed as a display indicating what is evaluated, the evaluator 350-n pays too much attention to details in terms of physiology. Therefore, there is a tendency to evaluate even a small deterioration having an influence on “easy to hear”. As a display indicating what is to be evaluated, “display for instructing evaluation of listening to“ ease of evaluation sound ”” makes evaluation of the evaluator 350-n appropriate and can improve evaluation accuracy, Evaluation variation can be reduced.
さらに、表示制御部302が出力する表示情報が、何に着目するかを表示するための情報を含み、表示部320−nが「何に着目するか」を表示してもよい。例えば、表示部320−nは、上述の「第1処理」の際に基準音に着目する旨の指示を表す表示を行い、「第2処理」や「第3処理」の際に評価音に着目する旨の指示を表す表示を行ってもよい。例えば、表示部320−nは、「第1処理」の際に「基準音(1):『女声(左側)』に着目してください」との表示を行い、「劣化信号D1」を出力する「第2処理」の際に「評価音(1):『女声(左側)』に着目してください」との表示を行い、「劣化信号D2」を出力する「第2処理」の際に「評価音(2):『女声(左側)』に着目してください」との表示を行ってもよい。同様に、表示部320−nは、「特殊信号D3」を出力する際に「評価音(1):『女声(左側)』に着目してください」との表示を行い、「特殊信号D4」を出力する「第3処理」の際に「評価音(2):『女声(左側)』に着目してください」との表示を行ってもよい。これにより、評価対象を明らかにし、評価者350−nを評価対象音響信号(遠端話者音響信号側)に着目させるとともに、評価者350−nを近端話者音響信号側に着目させないようにすることができる。また、音響出力処理部310−nから出力される信号に応じて、表示部320−nから表示される「何に着目するか」「何を評価するか」の表示が変わることで、評価対象音響信号の発生タイミングを視覚的に認識させることができる。 Further, the display information output by the display control unit 302 may include information for displaying what is focused on, and the display unit 320-n may display “what to focus on”. For example, the display unit 320-n performs a display indicating an instruction to pay attention to the reference sound during the “first process” described above, and the evaluation sound is displayed during the “second process” or the “third process”. You may perform the display showing the instruction | indication to pay attention. For example, the display unit 320-n displays “reference sound (1): pay attention to“ female voice (left side) ”during“ first processing ”and outputs“ deterioration signal D 1 ”. When “second processing” is performed, “evaluation sound (1): pay attention to“ female voice (left side) ”is displayed and“ deterioration signal D 2 ”is output. "Evaluation sound (2): Pay attention to" Female voice (left side) "" may be displayed. Similarly, when outputting the “special signal D 3 ”, the display unit 320-n displays “Evaluation sound (1):“ Focus on the female voice (left side) ”” and “Special signal D In the “third process” in which “ 4 ” is output, “Evaluation sound (2): Pay attention to“ female voice (left side) ”may be displayed. As a result, the evaluation target is clarified so that the evaluator 350-n is focused on the evaluation target acoustic signal (far-end speaker acoustic signal side) and the evaluator 350-n is not focused on the near-end speaker acoustic signal side. Can be. In addition, depending on the signal output from the sound output processing unit 310-n, the display of “what to focus on” and “what to evaluate” displayed from the display unit 320-n is changed. The generation timing of the acoustic signal can be visually recognized.
主観評価を行った評価者350−nは、評価カテゴリーから選択したカテゴリーを表す情報(第2重畳信号および第3重畳信号に対する評価結果を表す情報)である評価値I−nを入力部330−nに入力する。図8に表示部320−nが表示する表示画面321を例示する。この表示画面321は、「何に着目するか」を表示する着目内容提示部3211、「何を評価するか」を表示する評価指示提示部3212、評価カテゴリーを表示する評価カテゴリー提示部3213、評価を表す値「1」〜「5」(評価値I−n)の入力のためにタッチまたはクリックされるアイコン3214〜3218、入力確定のためにタッチまたはクリックされるアイコン3219を含む。なお、図8のように、アイコン3214〜3219の並びは一列であることが望ましい。評価者350−nは、着目内容提示部3211、評価指示提示部3212、評価カテゴリー提示部3213の表示に従い、両耳装着型音響再生装置340−nから出力された音を主観評価し、評価に対応するアイコン3214〜3218の何れかをタッチまたはクリックし、確定のためのアイコン3219をタッチまたはクリックする。アイコン3214〜3219がアクティブでアイコン3219がタッチまたはクリックされるまでは、評価者350−nはアイコン3214〜3218を何度も選び直すタッチまたはクリック操作が可能である。これにより、評価カテゴリーから選択されたカテゴリーを表す評価値I−nが入力部330−nに入力される。なお、評価条件を同一とするため、上述の評価試験は、すべての評価者350−n(ただし、n=1,・・・,N)によって同時に実行されることが望ましい。一定時間以上評価が確定しない評価者がいる場合は、その評価者に対して確定を促す画面表示と、他の評価者に対しては待たせる画面表示を行ってもよい。 The evaluator 350-n who has performed the subjective evaluation inputs the evaluation value In, which is information indicating the category selected from the evaluation category (information indicating the evaluation result for the second superimposed signal and the third superimposed signal), to the input unit 330- Input to n. FIG. 8 illustrates a display screen 321 displayed by the display unit 320-n. The display screen 321 includes an attention content presentation unit 3211 that displays “what to focus on”, an evaluation instruction presentation unit 3212 that displays “what to evaluate”, an evaluation category presentation unit 3213 that displays an evaluation category, and an evaluation The icons 3214 to 3218 that are touched or clicked to input the values “1” to “5” (evaluation value In) that represent the values “3” and the icon 3219 that is touched or clicked to confirm the input are included. As shown in FIG. 8, the icons 3214 to 3219 are preferably arranged in a line. The evaluator 350-n subjectively evaluates the sound output from the binaural-equipped sound reproduction device 340-n according to the display of the attention content presentation unit 3211, the evaluation instruction presentation unit 3212, and the evaluation category presentation unit 3213, and evaluates it. One of the corresponding icons 3214 to 3218 is touched or clicked, and the icon 3219 for confirmation is touched or clicked. Until the icon 3214 to 3219 is active and the icon 3219 is touched or clicked, the evaluator 350-n can perform a touch or click operation to reselect the icons 3214 to 3218 many times. Thereby, the evaluation value In representing the category selected from the evaluation categories is input to the input unit 330-n. In addition, in order to make evaluation conditions the same, it is desirable that the above-described evaluation test is simultaneously executed by all the evaluators 350-n (where n = 1,..., N). When there is an evaluator who does not confirm the evaluation for a certain time or more, a screen display that prompts the evaluator to confirm and a screen display that waits for other evaluators may be displayed.
入力部330−nに入力された評価値I−nは集計部303に送られる。集計部303は、評価値I−nを集計し、それによって得られた集計結果を集計結果記憶部305に格納する。例えば、集計結果は、評価者350−nを表すID、評価試験に用いられた「劣化信号D2」や「特殊信号D4」等の音響信号やその条件とともに格納される。評価値I−nの集計結果は、評価値I−nの集合であってもよいし、評価試験に用いられた音響信号ごとでの最大値、最小値、平均値、分散値等であってもよい。評価内容に疑いがある評価者350−nに対応する評価値I−nを除外してから求めた最大値、最小値、平均値、分散値等を集計結果としてもよい。その他、他の処理装置でさらに詳しい分析が行われてもよい。 The evaluation value In input to the input unit 330-n is sent to the counting unit 303. The tabulation unit 303 tabulates the evaluation value In and stores the tabulation result obtained thereby in the tabulation result storage unit 305. For example, the tabulation result is stored together with an ID representing the evaluator 350-n, an acoustic signal such as “deterioration signal D 2 ” or “special signal D 4 ” used in the evaluation test, and its conditions. The aggregation result of the evaluation values In may be a set of the evaluation values In, or may be a maximum value, a minimum value, an average value, a variance value, etc. for each acoustic signal used in the evaluation test. Also good. The maximum value, the minimum value, the average value, the variance value, and the like obtained after excluding the evaluation value In corresponding to the evaluator 350-n whose suspicion is in the evaluation content may be used as the aggregation result. In addition, further detailed analysis may be performed by another processing apparatus.
≪制御部304の制御内容≫
次に、図9から図13を用い、制御部304の制御内容を例示する。これらの図の横軸は時間軸を表し、紙面の右に向かうほど後の時間を表す。これらの図の「Lch」の行は、両耳装着型音響再生装置340−nのLch側のスピーカーから出力させる音を表し、「Rch」の行は、両耳装着型音響再生装置340−nのRch側のスピーカーから出力させる音を表す。これらの図の「3211」の列は、着目内容提示部3211の提示内容(何に着目するか)を表し、「3212」の列は、評価指示提示部3212の提示内容(何を評価するか)を表し、「3213」の列は、評価カテゴリー提示部3213の提示内容(評価カテゴリー)を表す。
<< Control contents of control unit 304 >>
Next, the control contents of the control unit 304 will be illustrated using FIGS. 9 to 13. The horizontal axis of these figures represents the time axis, and represents the later time as it goes to the right of the page. In these figures, the “Lch” row represents the sound output from the speaker on the Lch side of the binaural-mounted sound reproducing device 340-n, and the “Rch” row represents the binaural-mounted sound reproducing device 340-n. Represents the sound output from the speaker on the Rch side. In these figures, the column “3211” represents the presentation content of the focus content presentation unit 3211 (what to focus on), and the column “3212” represents the content of the evaluation instruction presentation unit 3212 (what to evaluate). The column “3213” represents the presentation content (evaluation category) of the evaluation category presentation unit 3213.
≪図9の例≫
図9の例では、まず、再生制御部301がデータ記憶部180から「参照信号E1」を読み込み、それを音響出力処理部310−n(ただし、n=1,・・・,N)に送る。音響出力処理部310−nは、出力部312−nから「参照信号E1」の基準音響信号を出力し、出力部311−nから「参照信号E1」の近端話者音響信号を出力する。これにより、両耳装着型音響再生装置340−nのLchからは基準音響信号が表す「基準音」が出力され、Rchからは近端話者からの直接音に相当する「近端話者音」が出力される。この際、表示制御部302は、着目内容F1および評価カテゴリーを表す表示情報を表示部320−nに送る。なお、着目内容F1は、基準音(Lch)に着目する旨の指示を表す内容(例えば「基準音(1):「女声(左側)」に着目してください」)を意味する。また、評価カテゴリーは、前述の「基準音と評価音との違いが分かるか否かと、評価音の聞き取りにくさについての2段階以上の度合いと、の組み合わせからなる3段階以上のカテゴリーを含む評価カテゴリー」である。表示部320−nは、着目内容F1を着目内容提示部3211に提示し、評価カテゴリーを評価カテゴリー提示部3213に提示する(ステップS1)。
≪Example of FIG. 9≫
In the example of FIG. 9, first, the reproduction control unit 301 reads “reference signal E 1 ” from the data storage unit 180 and sends it to the sound output processing unit 310-n (where n = 1,. send. The sound output processing unit 310-n outputs a reference sound signal of “reference signal E 1 ” from the output unit 312-n, and outputs a near-end speaker sound signal of “reference signal E 1 ” from the output unit 311-n. To do. As a result, the “reference sound” represented by the reference acoustic signal is output from the Lch of the binaural-mounted sound reproducing device 340-n, and the “near-end speaker sound” corresponding to the direct sound from the near-end speaker is output from the Rch. Is output. At this time, the display control unit 302 sends a display information indicating the attention content F 1 and evaluation categories on the display unit 320-n. Note that the focus content F 1 means content indicating an instruction to focus on the reference sound (Lch) (for example, “focus on the reference sound (1):“ female voice (left side) ”). In addition, the evaluation category includes an evaluation including three or more categories consisting of a combination of the above-mentioned “whether or not the difference between the reference sound and the evaluation sound is known and the degree of difficulty of hearing the evaluation sound in two or more levels. Category ". Display unit 320-n presents the focused content F 1 to the target content presentation unit 3211 presents the evaluation category rating category presentation unit 3213 (step S1).
次に、再生制御部301がデータ記憶部180から「劣化信号D2」を読み込み、それを音響出力処理部310−n(ただし、n=1,・・・,N)に送る。音響出力処理部310−nは、出力部312−nから「劣化信号D2」の評価対象音響信号T2を出力し、出力部311−nから「劣化信号D2」の近端話者音響信号を出力する。これにより、両耳装着型音響再生装置340−nのLchからは「劣化信号D2」の評価対象音響信号T2が表す「評価音」が出力され、Rchからは近端話者音響信号が表す「近端話者音」が出力される。この際、表示制御部302は、着目内容F2、評価指示S1、および、評価カテゴリーを表す表示情報を表示部320−nに送る。なお、着目内容F2は、評価音(Lch)に着目する旨の指示を表す内容(例えば「評価音(1):『女声(左側)』に着目してください」)を意味する。評価指示S1は、評価音(Lch)の聞き取り易さの評価の指示(例えば「評価音の『女声(左側)』の聞き取り易さ、を評価してください」)を意味する。表示部320−nは、着目内容F2を着目内容提示部3211に提示し、評価指示S1を評価指示提示部3212に提示し、評価カテゴリーを評価カテゴリー提示部3213に提示する(ステップS2)。 Next, the reproduction control unit 301 reads “deterioration signal D 2 ” from the data storage unit 180 and sends it to the sound output processing unit 310-n (where n = 1,..., N). Sound output processing unit 310-n outputs the evaluated acoustic signal T 2 of the "degraded signal D 2 'from the output unit 312-n, the near-end speaker sound" degraded signal D 2' from the output unit 311-n Output a signal. As a result, the “evaluation sound” represented by the evaluation target sound signal T 2 of the “deterioration signal D 2 ” is output from the Lch of the binaural-mounted sound reproduction device 340-n, and the near-end speaker sound signal is output from the Rch. A “near-end speaker sound” is output. At this time, the display control unit 302 sends the attention content F 2 , the evaluation instruction S 1 , and display information representing the evaluation category to the display unit 320-n. In addition, attention contents F 2, the contents (for example, "evaluation sound (1):" female voice (please focus on the left side), ""), which represents an instruction to focus on the evaluation sound (Lch) means. The evaluation instruction S 1 means an instruction for evaluating the ease of hearing of the evaluation sound (Lch) (for example, “evaluate the ease of hearing of the“ female voice (left side) ”of the evaluation sound”). Display unit 320-n presents the focused content F 2 to the target content presentation unit 3211 presents the evaluation instruction S 1 to the evaluation instruction presentation unit 3212 presents the evaluation category rating category presentation unit 3213 (step S2) .
さらに、ステップS1をもう一度実行し(ステップS3)、さらにステップS2をもう一度実行してもよい(ステップS4)。また、ステップS1、ステップS2の繰り返しを3回以上としてもよい。 Further, step S1 may be executed again (step S3), and step S2 may be executed again (step S4). Further, the repetition of step S1 and step S2 may be three or more times.
その後、アイコン3214〜3219をアクティブにして、入力部330−nからの評価値I−nおよび確定の旨の入力を受け付ける(ステップS5)。 Thereafter, the icons 3214 to 3219 are activated, and the evaluation value In and the input of confirmation are received from the input unit 330-n (step S5).
さらに、ステップS1〜S4の少なくとも何れかの「劣化信号D2」を「劣化信号D1」に置換し、「評価対象音響信号T2」を「評価対象音響信号T1」に置換した処理が実行されてもよい。ステップS1〜S4の少なくとも何れかの「劣化信号D2」を「特殊信号D3」に置換し、「評価対象音響信号T2」を「評価対象音響信号T3」に置換した処理が実行されてもよい。ステップS1〜S4の少なくとも何れかの「劣化信号D2」を「特殊信号D4」に置換し、「評価対象音響信号T2」を「評価対象音響信号T4」に置換した処理が実行されてもよい。ステップS1〜S4の少なくとも何れかの「参照信号E1」を「参照信号E2」に置換した処理が実行されてもよい。ただし、ステップS1〜S4で出力される「基準音」および「評価音」は、同一の「近端話者音響信号および遠端話者音響信号の組」から得られた信号(参照信号、および劣化信号または特殊信号)に対応する。例えば、ステップS1で出力される「基準音」が「参照信号E1」に対応する場合、ステップS2で出力される「評価音」は「劣化信号D1」または「劣化信号D2」に対応し、ステップS3で出力される「基準音」が「参照信号E1」に対応する場合、ステップS4で出力される「評価音」は「劣化信号D1」または「劣化信号D2」に対応する。例えば、ステップS1で出力される「基準音」が「参照信号E2」に対応する場合、ステップS2で出力される「評価音」は「特殊信号D3」または「特殊信号D4」に対応し、ステップS3で出力される「基準音」が「参照信号E2」に対応する場合、ステップS4で出力される「評価音」は「特殊信号D3」または「特殊信号D4」に対応する。また、評価カテゴリー提示部3213の評価カテゴリーの提示はステップS1〜S5を通して継続的に行われてもよいし、各ステップが終了するたびに評価カテゴリーの提示が消えてもよい。 Furthermore, at least one of “deterioration signal D 2 ” in steps S1 to S4 is replaced with “deterioration signal D 1 ”, and “evaluation target acoustic signal T 2 ” is replaced with “evaluation target acoustic signal T 1 ”. May be executed. At least one of “deterioration signal D 2 ” in steps S 1 to S 4 is replaced with “special signal D 3 ”, and “evaluation target acoustic signal T 2 ” is replaced with “evaluation target acoustic signal T 3 ”. May be. At least one of the “deterioration signal D 2 ” in steps S1 to S4 is replaced with “special signal D 4 ”, and “evaluation target acoustic signal T 2 ” is replaced with “evaluation target acoustic signal T 4 ”. May be. Processing in which at least one of “reference signal E 1 ” in steps S 1 to S 4 is replaced with “reference signal E 2 ” may be executed. However, the “reference sound” and the “evaluation sound” output in steps S1 to S4 are the same signals (reference signal, and sound signal) obtained from the same “set of near-end speaker sound signal and far-end speaker sound signal”. Corresponding to deterioration signal or special signal). For example, when the “reference sound” output in step S1 corresponds to “reference signal E 1 ”, the “evaluation sound” output in step S2 corresponds to “deterioration signal D 1 ” or “deterioration signal D 2 ”. When the “reference sound” output in step S3 corresponds to “reference signal E 1 ”, the “evaluation sound” output in step S4 corresponds to “deterioration signal D 1 ” or “deterioration signal D 2 ”. To do. For example, when the “reference sound” output in step S1 corresponds to “reference signal E 2 ”, the “evaluation sound” output in step S2 corresponds to “special signal D 3 ” or “special signal D 4 ”. When the “reference sound” output in step S3 corresponds to “reference signal E 2 ”, the “evaluation sound” output in step S4 corresponds to “special signal D 3 ” or “special signal D 4 ”. To do. In addition, the presentation of the evaluation category by the evaluation category presentation unit 3213 may be continuously performed through steps S1 to S5, or the presentation of the evaluation category may disappear every time each step is completed.
≪図10の例≫
図10の例では、「基準音」、評価対象音響信号T1が表す「評価音」、および評価対象音響信号T2が表す「評価音」のうち、対比を行う一組の音をランダムに選択し、選択した音を順番に出力する。
≪Example of FIG. 10≫
In the example of FIG. 10, among the “reference sound”, the “evaluation sound” represented by the evaluation target acoustic signal T 1 , and the “evaluation sound” represented by the evaluation target acoustic signal T 2 , a pair of sounds for comparison are randomly selected. Select and output the selected sounds in order.
以下に処理の具体例を示す。
まず再生制御部301は、「参照信号E1」「劣化信号D1」「劣化信号D2」から、対比する組をランダムに選択する。対比する組の例は、「参照信号E1」と「劣化信号D1」とからなる組、「参照信号E1」と「劣化信号D2」とからなる組、「劣化信号D1」と「劣化信号D2」とからなる組である。対比する組を構成する信号のうち、先に出力する信号を「第1出力信号」とよび、後に出力する信号を「第2出力信号」とよぶ。対比する組を構成する信号のうち何れを先に出力してもかまわない。例えば、「参照信号E1」と「劣化信号D1」とからなる組を対比する場合、「参照信号E1」を「第1出力信号」とし、「劣化信号D1」を「第2出力信号」としてもよいし、「参照信号E1」を「第2出力信号」とし、「劣化信号D1」を「第1出力信号」としてもよい。
A specific example of processing is shown below.
First, the reproduction control unit 301 randomly selects a pair to be compared from “reference signal E 1 ”, “degraded signal D 1 ”, and “degraded signal D 2 ”. Examples of a pair to be compared are a group composed of “reference signal E 1 ” and “degraded signal D 1 ”, a group composed of “reference signal E 1 ” and “degraded signal D 2 ”, and “degraded signal D 1 ”. It is a set consisting of “deterioration signal D 2 ”. Of the signals constituting the pair to be compared, a signal output first is called a “first output signal”, and a signal output later is called a “second output signal”. Any of the signals constituting the pair to be compared may be output first. For example, when comparing a set of “reference signal E 1 ” and “degraded signal D 1 ”, “reference signal E 1 ” is set as “first output signal”, and “degraded signal D 1 ” is set as “second output”. The “reference signal E 1 ” may be the “second output signal”, and the “deterioration signal D 1 ” may be the “first output signal”.
次に、Lchから「第1出力信号」に対応する「基準音または評価音」が出力され、Rchから「第1出力信号」に対応する「近端話者音」が出力される(ステップS21)。「第1出力信号」が「参照信号E1」である場合のステップS21の処理は、前述のステップS1と同じである。「第1出力信号」が「劣化信号D2」である場合のステップS21の処理は、評価指示S1を評価指示提示部3212に提示しない以外、前述のステップS2と同じである。「第1出力信号」が「劣化信号D1」である場合のステップS21の処理は、前述のステップS2の処理において「劣化信号D2」を「劣化信号D1」に置換し、「評価対象音響信号T2」を「評価対象音響信号T1」に置換し、評価指示S1を評価指示提示部3212に提示しないこととした処理である。 Next, the “reference sound or evaluation sound” corresponding to the “first output signal” is output from the Lch, and the “near-end speaker sound” corresponding to the “first output signal” is output from the Rch (step S21). ). The processing in step S21 when the “first output signal” is “reference signal E 1 ” is the same as that in step S1 described above. Step S21 if the "first output signal" is "degraded signal D 2" except that it does not provide an evaluation instruction S 1 to the evaluation instruction presentation unit 3212 is the same as step S2 described above. When the “first output signal” is “degraded signal D 1 ”, the process of step S21 replaces “degraded signal D 2 ” with “degraded signal D 1 ” in the process of step S2 described above, This is a process in which the “acoustic signal T 2 ” is replaced with “evaluation target acoustic signal T 1 ” and the evaluation instruction S 1 is not presented to the evaluation instruction presentation unit 3212.
次にLchから「第2出力信号」に対応する「基準音または評価音」が出力され、Rchから「第2出力信号」に対応する「近端話者音」が出力される(ステップS22)。「第2出力信号」が「参照信号E1」である場合のステップS22の処理は、前述のステップS1に加え、評価指示S1を評価指示提示部3212に提示する処理を行うものである。「第2出力信号」が「劣化信号D2」である場合のステップS21の処理は、前述のステップS2と同じである。「第2出力信号」が「劣化信号D1」である場合のステップS21の処理は、前述のステップS2の処理において「劣化信号D2」を「劣化信号D1」に置換し、「評価対象音響信号T2」を「評価対象音響信号T1」に置換した処理である。最後に、評価値の入力とその確定が行われる(ステップS5)。 Next, the “reference sound or evaluation sound” corresponding to the “second output signal” is output from the Lch, and the “near-end speaker sound” corresponding to the “second output signal” is output from the Rch (step S22). . In the case where the “second output signal” is the “reference signal E 1 ”, the process of step S 22 is a process of presenting the evaluation instruction S 1 to the evaluation instruction presentation unit 3212 in addition to the above-described step S 1 . The process of step S21 when the “second output signal” is “degraded signal D 2 ” is the same as step S2 described above. When the “second output signal” is “degraded signal D 1 ”, the process of step S21 is performed by replacing “degraded signal D 2 ” with “degraded signal D 1 ” in the process of step S2 described above. an acoustic signal T 2 "is a substituted processed" evaluated sound signals T 1 ". Finally, the evaluation value is input and confirmed (step S5).
また、ステップS21,22において、「参照信号E1」を「参照信号E2」に置換し、「劣化信号D1」を「特殊信号D3」に置換し、「劣化信号D2」を「特殊信号D4」に置換してもよい。ただし、ステップS21,22で出力される「基準音」および「評価音」は、同一の「近端話者音響信号および遠端話者音響信号の組」から得られた信号(参照信号、および劣化信号または特殊信号)に対応する。その他、ステップS21,22の変形例として、Lchから出力されている音が「基準音」であるか「評価音」であるかを提示しないこととしてもよい。すなわち、着目内容F1および着目内容F2に代えて、Lchに着目する旨の指示を表す内容(例えば「『女声(左側)』に着目してください」)を提示してもよい。この場合、評価者350−nは提示されている音が「基準音」であるか「評価音」であるかを知らされることなく、主観評価を行うことになる。 In steps S21 and S22, “reference signal E 1 ” is replaced with “reference signal E 2 ”, “deterioration signal D 1 ” is replaced with “special signal D 3 ”, and “deterioration signal D 2 ” is replaced with “ A special signal D 4 ”may be substituted. However, the “reference sound” and the “evaluation sound” output in steps S21 and S22 are the same signals (reference signals and far-end speaker sound signals) obtained from the same “set of near-end speaker sound signals and far-end speaker sound signals”. Corresponding to deterioration signal or special signal). In addition, as a modified example of steps S21 and S22, it may not indicate whether the sound output from the Lch is a “reference sound” or an “evaluation sound”. That is, instead of the focus content F 1 and the focus content F 2 , content indicating an instruction to focus on Lch (eg, “focus on“ female voice (left side) ”) may be presented. In this case, the evaluator 350-n performs the subjective evaluation without being notified whether the presented sound is the “reference sound” or the “evaluation sound”.
≪図11の例≫
図11の例では、1回目に「基準音」が出力され、2回目および3回目にそれぞれ「隠された基準音」または評価対象音響信号T1が表す「評価音」もしくは評価対象音響信号T2が表す「評価音」が出力される。ここで、2回目に「隠された基準音」が出力された場合、3回目には評価対象音響信号T1が表す「評価音」もしくは評価対象音響信号T2が表す「評価音」が出力される(パターン1)。一方、2回目に評価対象音響信号T1が表す「評価音」もしくは評価対象音響信号T2が表す「評価音」が出力された場合、3回目に「隠された基準音」が出力される(パターン2)。なお、「隠された基準音」とは、「基準音」であることを示さずに出力する「基準音」を意味する。また、パターン1とするかパターン2とするかはランダムに定められる。以下に処理の具体例を示す。
≪Example of FIG. 11≫
In the example of FIG. 11, the “reference sound” is output at the first time, and the “evaluation sound” or the evaluation target sound signal T represented by the “hidden reference sound” or the evaluation target sound signal T 1 at the second time and the third time. The “evaluation sound” represented by 2 is output. Here, when the “hidden reference sound” is output for the second time, the “evaluation sound” represented by the evaluation target acoustic signal T 1 or the “evaluation sound” represented by the evaluation target acoustic signal T 2 is output for the third time. (Pattern 1). On the other hand, when the “evaluation sound” represented by the evaluation target acoustic signal T 1 or the “evaluation sound” represented by the evaluation target acoustic signal T 2 is output for the second time, the “hidden reference sound” is output for the third time. (Pattern 2). The “hidden reference sound” means a “reference sound” that is output without indicating that it is a “reference sound”. Whether to use pattern 1 or pattern 2 is determined randomly. A specific example of processing is shown below.
まず、Lchから「参照信号E1」に対応する「基準音」が出力され、Rchから「参照信号E1」に対応する「近端話者音」が出力される(ステップS31)。ステップS31の処理は、前述のステップS21と同じである。 First, the output is "reference tone" corresponding to the "reference signal E 1 'from Lch, corresponds to the" reference signal E 1' from Rch "Kintanhanashi Shaoto" is outputted (step S31). The process in step S31 is the same as that in step S21 described above.
次に、再生制御部301は、パターン1とするかパターン2とするかをランダムに選択する。
パターン1が選択された場合、まず、Lchから「参照信号E1」に対応する「隠された基準音」が出力され、Rchから「参照信号E1」に対応する「近端話者音」が出力され(ステップS32)、次に、Lchから「劣化信号D1」の評価対象音響信号T1が表す「評価音」もしくは「劣化信号D2」の評価対象音響信号T2が表す「評価音」が出力され、Rchから「劣化信号D1」もしくは「劣化信号D2」に対応する「近端話者音」が出力される(ステップS33)。
一方、パターン2が選択された場合、Lchから評価対象音響信号T1が表す「評価音」もしくは評価対象音響信号T2が表す「評価音」が出力され、Rchから「劣化信号D1」もしくは「劣化信号D2」に対応する「近端話者音」が出力され(ステップS32)、次に、Lchから「参照信号E1」に対応する「隠された基準音」が出力され、Rchから「参照信号E1」に対応する「近端話者音」が出力される(ステップS33)。
Next, the playback control unit 301 randomly selects pattern 1 or pattern 2.
When the pattern 1 is selected, first, the “hidden reference sound” corresponding to the “reference signal E 1 ” is output from the Lch, and the “near-end speaker sound” corresponding to the “reference signal E 1 ” is output from the Rch. There is outputted (step S32), then evaluated acoustic signal T 1 is represented "evaluated sound" or evaluated acoustic signal T 2 represents "evaluation of the" degraded signal D 2 "of the" degraded signal D 1 'from Lch sound "is output, corresponds to the" deterioration signal D 1 "or" degraded signal D 2 'from Rch "Kintanhanashi Shaoto" is outputted (step S33).
On the other hand, when the pattern 2 is selected, the “evaluation sound” represented by the evaluation target acoustic signal T 1 or the “evaluation sound” represented by the evaluation target acoustic signal T 2 is output from the Lch, and the “deterioration signal D 1 ” or “Near-end speaker sound” corresponding to “deteriorated signal D 2 ” is output (step S32), and then “hidden reference sound” corresponding to “reference signal E 1 ” is output from Lch, and Rch The “near-end speaker sound” corresponding to “reference signal E 1 ” is output (step S33).
Lchから「参照信号E1」に対応する「隠された基準音」を出力し、Rchから「参照信号E1」に対応する「近端話者音」を出力する処理は、着目内容F2に代えて着目内容F1を着目内容提示部3211に提示し、評価指示S1を評価指示提示部3212に提示する以外は、前述のステップS1と同じである。また、Lchから評価対象音響信号T1が表す「評価音」もしくは評価対象音響信号T2が表す「評価音」を出力し、Rchから「劣化信号D1」もしくは「劣化信号D2」に対応する「近端話者音」を出力する処理は、前述のステップS2の処理、またはステップS2の処理において「劣化信号D2」を「劣化信号D1」に置換し、「評価対象音響信号T2」を「評価対象音響信号T1」に置換した処理と同じである。 The process of outputting the “hidden reference sound” corresponding to the “reference signal E 1 ” from the Lch and outputting the “near-end speaker sound” corresponding to the “reference signal E 1 ” from the Rch is the content of attention F 2. Instead of presenting the attention content F 1 to the attention content presentation unit 3211 and presenting the evaluation instruction S 1 to the evaluation instruction presentation unit 3212, this is the same as step S 1 described above. Further, “evaluation sound” represented by the evaluation target acoustic signal T 1 or “evaluation sound” represented by the evaluation target acoustic signal T 2 is output from the Lch, and corresponds to the “deterioration signal D 1 ” or “deterioration signal D 2 ” from the Rch. In the process of outputting the “near-end speaker sound” to be performed, “degraded signal D 2 ” is replaced with “degraded signal D 1 ” in the process of step S2 or the process of step S2, and “evaluation target acoustic signal T 2 ”is the same as the processing in which“ evaluation target acoustic signal T 1 ”is replaced.
最後に、評価値の入力とその確定が行われる(ステップS5)。ただし、評価者350−nは、ステップS32,S33で出力された音のうち、どちらが評価音かを判断し、評価音と判断した音に対してのみ評価値を入力する。評価音と判断されなかった音については自働的に「隠された基準音」と判断したとみなされ、隠された基準音に対する評価値「5」が付与される。また、評価者350−nが入力部330−nに指示入力を行うことにより、ステップS5の前に、ステップS31〜S33を所望の順序で何度でも実行できる構成であってもよい。また、ステップS31〜31において、「参照信号E1」を「参照信号E2」に置換し、「劣化信号D1」を「特殊信号D3」に置換し、「劣化信号D2」を「特殊信号D4」に置換してもよい。ただし、ステップS31〜31で出力される「基準音」および「評価音」は、同一の「近端話者音響信号および遠端話者音響信号の組」から得られた信号(参照信号、および劣化信号または特殊信号)に対応する。 Finally, the evaluation value is input and confirmed (step S5). However, the evaluator 350-n determines which one of the sounds output in steps S32 and S33 is the evaluation sound, and inputs the evaluation value only for the sound determined to be the evaluation sound. A sound that is not judged as an evaluation sound is automatically regarded as a “hidden reference sound” and is given an evaluation value “5” for the hidden reference sound. Further, the evaluator 350-n may input instructions to the input unit 330-n so that steps S31 to S33 can be executed any number of times in a desired order before step S5. In steps S31 to S31, “reference signal E 1 ” is replaced with “reference signal E 2 ”, “deterioration signal D 1 ” is replaced with “special signal D 3 ”, and “deterioration signal D 2 ” is replaced with “ A special signal D 4 ”may be substituted. However, the “reference sound” and the “evaluation sound” output in steps S31 to S31 are the same signals (reference signals and far-end speaker sound signals) obtained from the same “set of near-end speaker sound signals and far-end speaker sound signals”. Corresponding to deterioration signal or special signal).
≪図12の例≫
図12の例でも、1回目に「基準音」が出力され、2回目および3回目にそれぞれ、ランダムに選択されたパターン1またはパターン2に従い、「隠された基準音」または評価対象音響信号T1が表す「評価音」もしくは評価対象音響信号T2が表す「評価音」が出力される。ただし、2回目および3回目の出力時にそれぞれに対する評価値が入力され(ステップS132,S133)、最後に評価値の確定入力のみがなされる(ステップS105)。なお、評価者350−nは、ステップS132,S133で出力された音のうち、「隠された基準音」と判断したほうに評価値「5」を入力し、「評価音」と判断したほうに自らの評価値を入力する。その他の詳細は、図11の例と同じである。また、ステップS31,S132,S133において、「参照信号E1」を「参照信号E2」に置換し、「劣化信号D1」を「特殊信号D3」に置換し、「劣化信号D2」を「特殊信号D4」に置換してもよい。ただし、ステップS31,S132,S133で出力される「基準音」および「評価音」は、同一の「近端話者音響信号および遠端話者音響信号の組」から得られた信号(参照信号、および劣化信号または特殊信号)に対応する。
<< Example of FIG. 12 >>
Also in the example of FIG. 12, the “reference sound” is output at the first time, and the “hidden reference sound” or the evaluation target sound signal T according to the pattern 1 or the pattern 2 selected at random for the second time and the third time, respectively. The “evaluation sound” represented by 1 or the “evaluation sound” represented by the evaluation target acoustic signal T 2 is output. However, the evaluation values for the second and third outputs are input (steps S132 and S133), and finally, the final determination value is input (step S105). Note that the evaluator 350-n inputs the evaluation value “5” to the one judged as “hidden reference sound” among the sounds outputted in steps S132 and S133, and judged as “evaluation sound”. Enter your own evaluation value in. Other details are the same as in the example of FIG. In steps S31, S132, and S133, “reference signal E 1 ” is replaced with “reference signal E 2 ”, “deterioration signal D 1 ” is replaced with “special signal D 3 ”, and “deterioration signal D 2 ”. May be replaced with “special signal D 4 ”. However, the “reference sound” and the “evaluation sound” output in steps S31, S132, and S133 are signals (reference signals) obtained from the same “set of near-end speaker sound signal and far-end speaker sound signal”. , And degradation signals or special signals).
≪図13の例≫
図13では、1回目に「基準音」が出力され(ステップS41)、2回目からx+1回目(xは3以上の整数(例えばxは14以下))に「評価音1」から「評価音x」が出力され(ステップS42−1〜S42−x)、評価値の入力とその確定が行われる(ステップS5)。なお、「評価音1」から「評価音x」は、評価対象音響信号T1が表す「評価音」および評価対象音響信号T2が表す「評価音」の少なくとも一方、1個の「隠された基準音」、1個以上の「アンカー音」を含む。なお、「アンカー音」とは悪い音響品質の基準となる音を表す。複数のアンカー音を含む場合は、段階的に悪くなる音響品質の基準を用いてよい。また、ステップS5では、ステップS42−1〜S42−xで出力された音それぞれの評価値が入力される。また、「評価音1」から「評価音x」の出力順序はランダムに定められる。ただし、評価者350−nが入力部330−nに指示入力を行うことにより、ステップS5の前に、ステップS42−1〜S42−xを所望の順序で何度でも実行できる構成であってもよい。その他は、図11の例と同様である。また、ステップS41,S42−1〜S42−xにおいて、「参照信号E1」を「参照信号E2」に置換し、「劣化信号D1」を「特殊信号D3」に置換し、「劣化信号D2」を「特殊信号D4」に置換してもよい。ただし、ステップS41,S42−1〜S42−xで出力される「基準音」および「評価音」は、同一の「近端話者音響信号および遠端話者音響信号の組」から得られた信号(参照信号、および劣化信号または特殊信号)に対応する。
≪Example of FIG. 13≫
In FIG. 13, “reference sound” is output for the first time (step S41), and “evaluation sound 1” to “evaluation sound x” for the second to x + 1th time (x is an integer of 3 or more (eg, x is 14 or less)). Is output (steps S42-1 to S42-x), and the evaluation value is input and confirmed (step S5). The “evaluation sound 1” to “evaluation sound x” are at least one of “evaluation sound” represented by the evaluation target acoustic signal T 1 and “evaluation sound” represented by the evaluation target acoustic signal T 2. "Reference sound" and one or more "anchor sounds". The “anchor sound” represents a sound that is a reference for bad acoustic quality. When a plurality of anchor sounds are included, a sound quality standard that gradually deteriorates may be used. In step S5, the evaluation values of the sounds output in steps S42-1 to S42-x are input. Further, the output order of “evaluation sound 1” to “evaluation sound x” is determined randomly. However, even if the evaluator 350-n inputs an instruction to the input unit 330-n, the steps S42-1 to S42-x can be executed any number of times in a desired order before step S5. Good. Others are the same as the example of FIG. In steps S41, S42-1 to S42-x, “reference signal E 1 ” is replaced with “reference signal E 2 ”, “deteriorated signal D 1 ” is replaced with “special signal D 3 ”, and “deteriorated” The signal D 2 ”may be replaced with“ special signal D 4 ”. However, the “reference sound” and “evaluation sound” output in steps S41, S42-1 to S42-x were obtained from the same “set of near-end speaker sound signal and far-end speaker sound signal”. Corresponds to signals (reference signal and degraded or special signal).
[第3実施形態の変形例1]
図7に例示するように、各入力部330−nと集計部303との間に評点記録部330−nが配置されていてもよい。各評点記録部330−nは、各入力部330−nから入力された評価値I−nを格納し、集計部303は、各評点記録部330−nから評価値I−nを抽出し、それによって得られた集計結果を集計結果記憶部305に格納する。各評価者350−nによって入力された評価値I−nを評点記録部330−nに記録しておくことにより、試験終了後または評価試験中に、異常な評価値I−n(例えば、評価試験中に評価者350−nが眠っていたときの評価値I−n、評価者350−nが間違えて入力した評価値I−nなど)を評点記録部330−nから除外し、正常な評価値I−nのみを用いて集計結果を生成することができる。また、評価試験中であれば、異常な評価値I−nを入力した評価者350−nについて再評価試験を行い、正常な評価値I−nを得て評点記録部330−nに格納された値を更新してもよい。
[Modification 1 of the third embodiment]
As illustrated in FIG. 7, a score recording unit 330-n may be disposed between each input unit 330-n and the totaling unit 303. Each score recording unit 330-n stores the evaluation value In inputted from each input unit 330-n, and the totaling unit 303 extracts the evaluation value In from each score recording unit 330-n, The tabulation result obtained thereby is stored in the tabulation result storage unit 305. By recording the evaluation value In input by each evaluator 350-n in the score recording unit 330-n, an abnormal evaluation value In (for example, evaluation) after the test is completed or during the evaluation test. The evaluation value In when the evaluator 350-n was asleep during the test and the evaluation value In input by the evaluator 350-n by mistake were excluded from the score recording unit 330-n, and normal A total result can be generated using only the evaluation value In. If the evaluation test is in progress, a re-evaluation test is performed on the evaluator 350-n that has input the abnormal evaluation value In, and a normal evaluation value In is obtained and stored in the score recording unit 330-n. You may update the value.
[第4実施形態]
本発明者は、第3実施形態で得られる主観評価値(基準音響信号に対応する基準音と評価対象音響信号に対応する評価音との違いについての5段階評価に基づくMOS値(表1に例示))と、PESQ値(基準音響信号と、当該基準音響信号を含む信号に基づく評価対象音響信号と、に対するPESQ値)との関係が線形関係に近似できることを見出した(特許文献1〜3等参照)。この知見に基づき、自動的に算出されたPESQ値を用い、煩雑な主観評価や計算量の多い非線形演算を行うことなく、演算量の少ない線形演算でMOS値を推定できる。
[Fourth Embodiment]
The inventor has obtained a subjective evaluation value obtained in the third embodiment (a MOS value based on a five-step evaluation of the difference between the reference sound corresponding to the reference sound signal and the evaluation sound corresponding to the evaluation target sound signal (see Table 1)). It was found that the relationship between the PESQ value (for example) and the PESQ value (the PESQ value for the reference acoustic signal and the evaluation target acoustic signal based on the signal including the reference acoustic signal) can be approximated to a linear relationship (Patent Documents 1 to 3) Etc.). Based on this knowledge, the automatically calculated PESQ value can be used to estimate the MOS value by a linear calculation with a small amount of calculation without performing complicated subjective evaluation and non-linear calculation with a large amount of calculation.
しかし、特許文献1〜3では、拡声系通信システムの実環境を模擬した環境で収録されたデータ(劣化信号D1,D2)を用いて評価試験を行っていたため、高音質のデータに対する評価試験を行うことができなかった。そのため、高音質のデータでもMOS値とPESQ値との関係が線形関係に近似できることは確認されていなかった。また、低音質のデータに対する評価も不十分であったため、低音質のデータでもMOS値とPESQ値との関係が線形関係に近似できるかについても十分確認されていなかった。これに対し、本発明の第1,2実施形態では、「第1音響信号に由来する信号と第2音響信号とに基づく重畳信号であって、第2端側の空間環境に基づく劣化若しくは空間環境を模擬した条件に基づく劣化がない信号に信号処理を行って得られた処理信号に由来する第3重畳信号を含む第2チャネルの第3データ」、例えば「第1音響信号に由来する信号と第2音響信号とに基づく重畳信号であって、第2端側の空間環境に基づく劣化も空間環境を模擬した条件に基づく劣化もない信号に信号処理を行って得られた処理信号に由来する第3重畳信号を含む第2チャネルの第3データ」を生成した。そのため、従来確認できなかった高音質のデータ(特殊信号D4)でもMOS値とPESQ値との関係が線形関係に近似できるか否かを確認できるようになった。また、低音質のデータは、第2実施形態で説明した通信環境模擬処理部260(図2B)の擬似エコー生成部265で得られる擬似エコー信号や擬似雑音源268で得られる擬似雑音信号の振幅を増加させることで生成できる。そのため、従来確認していなかった低音質のデータでもMOS値とPESQ値との関係が線形関係に近似できるか否かを確認できる。 However, in Patent Documents 1 to 3, since an evaluation test was performed using data (degraded signals D 1 and D 2 ) recorded in an environment simulating the real environment of a loudspeaker communication system, evaluation on high sound quality data was performed. The test could not be performed. Therefore, it has not been confirmed that the relationship between the MOS value and the PESQ value can be approximated to a linear relationship even in high-quality sound data. Further, since the evaluation for the low sound quality data is insufficient, it has not been sufficiently confirmed whether the relationship between the MOS value and the PESQ value can be approximated to a linear relationship even for the low sound quality data. On the other hand, in the first and second embodiments of the present invention, “a superimposed signal based on the signal derived from the first acoustic signal and the second acoustic signal, which is deteriorated or spatial based on the spatial environment on the second end side. “Third data of the second channel including a third superimposed signal derived from a processed signal obtained by performing signal processing on a signal that is not deteriorated based on conditions simulating the environment”, for example, “a signal derived from the first acoustic signal” Derived from a processed signal obtained by performing signal processing on a signal that is based on the second and second acoustic signals and has neither degradation based on the spatial environment on the second end side nor degradation based on conditions simulating the spatial environment The third data of the second channel including the third superimposed signal to be generated ". For this reason, it has become possible to confirm whether or not the relationship between the MOS value and the PESQ value can be approximated to a linear relationship even with high-quality sound data (special signal D 4 ) that could not be confirmed conventionally. The low sound quality data includes the amplitude of the pseudo echo signal obtained by the pseudo echo generation unit 265 of the communication environment simulation processing unit 260 (FIG. 2B) described in the second embodiment and the pseudo noise signal obtained by the pseudo noise source 268. Can be generated by increasing. Therefore, it can be confirmed whether or not the relationship between the MOS value and the PESQ value can be approximated to a linear relationship even in low sound quality data that has not been confirmed conventionally.
図15は、「参照信号E1」「参照信号E2」「劣化信号D1」「劣化信号D2」「特殊信号D3」「特殊信号D4」を用い、第3実施形態で例示した評価試験を行って得られたMOS値(DMOS(Degradation MOS)値)と、それらに対応する「基準音響信号」および「評価対象音響信号T1〜T4」から得られたPESQ値との関係を表したグラフである。縦軸はMOS値(DMOS値)を表し、横軸はPESQ値を表す。小さなダイヤ形のマークは主観評価試験による測定値を表し、破線直線上の大きな正方形のマークはそれらの線形関係に基づいた推定値(回帰分析で推定した値)を表す。この図に示すように、高音質のデータ(PESQ値が3.5以上)でも、MOS値とそれに対応するPESQ値との関係を線形関係で近似できることが分かる。また、低音質のデータでも、大方、MOS値とそれに対応するPESQ値との関係を線形関係で近似できることが分かる。しかしながら、低音質のデータの中には、この線形関係で近似できないものも存在する(図15の領域rのデータ)。発明者は、この現象がPESQ値の算出時に実行される「時間ずれの補正処理」の誤りに起因することを見出した。すなわち、「基準音響信号」と当該「基準音響信号」を含む信号に基づく「評価対象音響信号」とに対するPESQ値を算出する場合、「基準音響信号」と「評価対象音響信号」との間の時間ずれ(例えば、遅延により生じた基準音響信号と評価対象音響信号の語頭若しくは話頭のずれ)が自動的に補正される(例えば、参考文献3「ITU-T Recommendation P.862」等参照)。本来、この補正は、「基準音響信号」の開始時間(例えば、図4の時間c)と、「評価対象音響信号」が含む「基準音響信号」成分(遠端話者音響信号成分)の開始時間(例えば、図4の時間c’)と、の間の時間ずれの削減を目的としている。「基準音響信号」の開始時間と「評価対象音響信号」が含む「基準音響信号」成分の開始時間との間の時間ずれが小さいほど、「基準音響信号」と「評価対象音響信号」が含む「基準音響信号」成分との間の類似度を正確に評価でき、PESQ値を正しく算出できるからである。しかし、低音質のデータの中には、「評価対象音響信号」に含まれるエコー成分(近端話者音響信号に基づく回り込み成分)の比率が大きいものも存在する。このようなデータの場合、「評価対象音響信号」に含まれるエコー成分の開始時間が「基準音響信号」成分の開始時間であると誤って判断され、「基準音響信号」の開始時間とエコー成分の開始時間との時間合わせが行われてしまう場合がある。例えば、図4の「劣化信号D1」の「評価対象音響信号T1」はエコー成分がキャンセルされていないため、「評価対象音響信号T1」が含む「基準音響信号」成分の開始時間c’をうまく検出できない場合がある。このような場合、「評価対象音響信号T1」の開始時間eが「基準音響信号」成分の開始時間c’であると誤って判断され、「基準音響信号」の開始時間cと「評価対象音響信号T1」の開始時間eとの間の時間ずれが補正されてしまう。その結果、実際よりも悪い(小さい)PESQ値が算出されてしまい、MOS値とPESQ値との関係が所定の線形関係から乖離してしまう(図15の領域rのデータ)。このような誤った判断によって補正される時間ずれの大きさは、正しい判断によって補正される時間ずれの大きさよりも大きい。そのため、補正された時間ずれの大きさによってPESQ値の信頼性を判断でき、さらには上述の線形関係を用いて当該PESQ値からMOS値を推定できるのかを判断できる。図16は、図15のデータから、補正された時間ずれの大きさが所定値を超えたデータを取り除いたものである。このように補正された時間ずれの大きさが所定値を超えたデータを取り除くことで、低音質のデータが含まれていても、MOS値とそれに対応するPESQ値との関係を線形関係で近似できる。 FIG. 15 illustrates the third embodiment using “reference signal E 1 ”, “reference signal E 2 ”, “degraded signal D 1 ”, “degraded signal D 2 ”, “special signal D 3 ”, and “special signal D 4 ”. Relationship between MOS value (DMOS (Degradation MOS) value) obtained by performing the evaluation test and PESQ value obtained from “reference acoustic signal” and “evaluation target acoustic signals T 1 to T 4 ” corresponding to the MOS value It is the graph showing. The vertical axis represents the MOS value (DMOS value), and the horizontal axis represents the PESQ value. A small diamond mark represents a measured value by the subjective evaluation test, and a large square mark on the broken line represents an estimated value (estimated by regression analysis) based on the linear relationship. As shown in this figure, it can be seen that the relationship between the MOS value and the corresponding PESQ value can be approximated by a linear relationship even with high sound quality data (PESQ value of 3.5 or more). It can also be seen that even for low sound quality data, the relationship between the MOS value and the corresponding PESQ value can be approximated by a linear relationship. However, some low sound quality data cannot be approximated by this linear relationship (data in region r in FIG. 15). The inventor has found that this phenomenon is caused by an error of “time shift correction processing” executed when calculating the PESQ value. That is, when calculating the PESQ value for the “reference acoustic signal” and the “evaluation target acoustic signal” based on the signal including the “reference acoustic signal”, the value between the “reference acoustic signal” and the “evaluation target acoustic signal” is The time lag (for example, the difference between the beginning or the beginning of the reference acoustic signal and the evaluation target acoustic signal caused by the delay) is automatically corrected (for example, see Reference 3 “ITU-T Recommendation P.862”). Originally, this correction is based on the start time of the “reference sound signal” (eg, time c in FIG. 4) and the start of the “reference sound signal” component (far-end speaker sound signal component) included in the “evaluation target sound signal”. The purpose is to reduce the time lag between the time (for example, time c ′ in FIG. 4). The smaller the time difference between the start time of the “reference sound signal” and the start time of the “reference sound signal” component included in the “evaluation target sound signal”, the more the “reference sound signal” and the “evaluation target sound signal” include This is because the similarity between the “reference acoustic signal” component can be accurately evaluated, and the PESQ value can be calculated correctly. However, some low-quality sound data has a large ratio of echo components (around components based on the near-end speaker acoustic signal) included in the “evaluation target acoustic signal”. In the case of such data, it is erroneously determined that the start time of the echo component included in the “evaluation target acoustic signal” is the start time of the “reference acoustic signal” component, and the start time and the echo component of the “reference acoustic signal” In some cases, time adjustment with the start time is performed. For example, since “evaluation target acoustic signal T 1 ” of “deterioration signal D 1 ” in FIG. 4 does not cancel the echo component, start time c of “reference acoustic signal” component included in “evaluation target acoustic signal T 1 ” c 'May not be detected well. In such a case, it is erroneously determined that the start time e of the “evaluation target acoustic signal T 1 ” is the start time c ′ of the “reference acoustic signal” component, and the start time c of the “reference acoustic signal” and the “evaluation target” The time lag with respect to the start time e of the acoustic signal T 1 ”is corrected. As a result, a PESQ value worse (smaller) than the actual value is calculated, and the relationship between the MOS value and the PESQ value deviates from a predetermined linear relationship (data in region r in FIG. 15). The magnitude of the time lag corrected by such an erroneous determination is larger than the magnitude of the time lag corrected by the correct judgment. Therefore, the reliability of the PESQ value can be determined based on the corrected magnitude of the time shift, and further, it can be determined whether the MOS value can be estimated from the PESQ value using the above-described linear relationship. FIG. 16 is obtained by removing data from which the corrected time lag exceeds a predetermined value from the data in FIG. By removing data in which the corrected time lag exceeds a predetermined value, even if low-quality data is included, the relationship between the MOS value and the corresponding PESQ value is approximated by a linear relationship. it can.
以上より、PESQ値の算出値に行われる時間ずれの補正の大きさが所定値以下の場合には、上述の線形関係を用いて当該PESQ値からMOS値を推定し、そうでない場合には当該PESQ値を破棄することにすれば、高い精度でMOS値を推定できる。特に、「基準音響信号」の開始時間と「評価対象音響信号」に含まれた「評価対象音響信号の成分」の開始時間とが同一または近似していることが好ましく、この場合にはより高い精度でMOS値を推定できる。なお、αとβとが近似するとは、αとβとの差分が|α|のγ%以下であることを意味する。γ%の例は10%または20%である。より具体的には、例えば、事前に得られた「基準音響信号」と「評価対象音響信号」とから上述の線形関係を表す線形関数Fを定式化しておく。この線形関数Fは、例えば所定の傾きaおよび切片bを持つ一次関数y=a×x+bである。ただし、xはPESQ値を表し、yはMOS値を表す。aは1.3または1.3の近傍であり、bは‐0.3または‐0.3の近傍である。なお、αの近傍とはα‐δ1以上α‐δ2以下の範囲に属する値を意味する。ただし、δ1およびδ2は正値であり、δ1=δ2であってもよいし、δ1≠δ2であってもよい。δ1およびδ2の例は|α|の10%または20%の値である。例えば、a=1.33であり、b=−0.27である。新たな「基準音響信号」と「評価対象音響信号」とからPESQ値が算出され、その際に補正された「基準音響信号」と「評価対象音響信号」との間の時間ずれの大きさが所定値以下の場合に、そのPESQ値がこの線形関数に代入されてMOS値が算出される。補正された時間ずれの大きさが所定値よりも大きい場合には、得られたPESQ値が破棄される。これにより、自動的に算出されたPESQ値を用い、煩雑な主観評価や計算量の多い非線形演算を行うことなく、高い精度のMOS値を推定できる。 From the above, when the magnitude of the time shift correction performed on the calculated value of the PESQ value is equal to or smaller than the predetermined value, the MOS value is estimated from the PESQ value using the linear relationship described above. If the PESQ value is discarded, the MOS value can be estimated with high accuracy. In particular, the start time of the “reference acoustic signal” and the start time of the “component of the evaluation target acoustic signal” included in the “evaluation target acoustic signal” are preferably the same or approximate, and in this case, higher The MOS value can be estimated with accuracy. Note that “approximate α and β” means that the difference between α and β is γ% or less of | α |. Examples of γ% are 10% or 20%. More specifically, for example, a linear function F representing the above-described linear relationship is formulated from a “reference acoustic signal” and an “evaluation target acoustic signal” obtained in advance. The linear function F is, for example, a linear function y = a × x + b having a predetermined slope a and intercept b. However, x represents a PESQ value and y represents a MOS value. a is in the vicinity of 1.3 or 1.3, and b is in the vicinity of -0.3 or -0.3. The vicinity of α means a value belonging to a range of α-δ 1 or more and α-δ 2 or less. However, δ 1 and δ 2 are positive values, and δ 1 = δ 2 may be satisfied, or δ 1 ≠ δ 2 may be satisfied. Examples of δ 1 and δ 2 are values of 10% or 20% of | α |. For example, a = 1.33 and b = −0.27. The PESQ value is calculated from the new “reference acoustic signal” and “evaluation target acoustic signal”, and the magnitude of the time difference between the “reference acoustic signal” and the “evaluation target acoustic signal” corrected at that time is When the value is equal to or less than the predetermined value, the PESQ value is substituted into this linear function to calculate the MOS value. If the corrected time shift is larger than a predetermined value, the obtained PESQ value is discarded. Thereby, it is possible to estimate the MOS value with high accuracy without performing complicated subjective evaluation and non-linear calculation with a large amount of calculation by using the automatically calculated PESQ value.
<構成>
図14に例示するように、本実施形態の音響品質評価装置4は、PESQ算出部41、線形変換部42、および判定部43を有する。音響品質評価装置4は、例えば、前述のような1個以上のコンピュータが所定のプログラムを実行することで構成される装置である。また、単独で処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。
<Configuration>
As illustrated in FIG. 14, the acoustic quality evaluation device 4 of this embodiment includes a PESQ calculation unit 41, a linear conversion unit 42, and a determination unit 43. The acoustic quality evaluation apparatus 4 is an apparatus configured by, for example, one or more computers as described above executing a predetermined program. Further, a part or all of the processing units may be configured using an electronic circuit that realizes a processing function independently.
<前処理>
音響品質評価処理の前処理として、「基準音響信号」と当該「基準音響信号」を含む信号に基づく「評価対象音響信号」との組をリファレンス信号として用い、「基準音響信号(第2の基準音響信号)」と当該「基準音響信号」を含む信号に基づく「評価対象音響信号(第2の評価対象音響信号)」とに対応するPESQ値(第2のPESQ値)と、当該「基準音響信号」に対応する基準音と当該「評価対象音響信号」に対応する評価音との違いについての5段階評価に基づくMOS値(第2のMOS値)と、の線形関係を求めておく。このとき基準音響信号と当該基準音響信号を含む信号に基づく評価対象音響信号の組については様々な組み合わせを行い、また評価者についても複数人で主観評価試験を実施し、リファレンス信号への依存性や評価者個人差への依存性を軽減する形で、線形関係を統計的に解析する。この解析結果として得た情報が、図15に示されるPESQ値(第2のPESQ値)とMOS値(第2のMOS値)との線形関係(所定の傾きの直線で表される第2のPESQ値と第2のMOS値との間の線形関係)である。このような線形関係を表す情報は線形変換部42に設定される。「線形関係を表す情報」の例は、所定の傾きαの直線を表す線形関数Fや、この線形関数Fを特定するパラメータ等である。
<Pretreatment>
As a pre-processing of the sound quality evaluation process, a set of “reference sound signal” and “evaluation target sound signal” based on a signal including the “reference sound signal” is used as a reference signal, and “reference sound signal (second reference signal) PESQ value (second PESQ value) corresponding to an “evaluation target acoustic signal (second evaluation target acoustic signal)” based on a signal including the “reference acoustic signal” and the “reference acoustic signal” A linear relationship between the MOS value (second MOS value) based on the five-step evaluation of the difference between the reference sound corresponding to the “signal” and the evaluation sound corresponding to the “evaluation target acoustic signal” is obtained. At this time, various combinations of the reference acoustic signal and the evaluation target acoustic signal based on the signal including the reference acoustic signal are performed, and a subjective evaluation test is performed by a plurality of evaluators. And statistically analyze the linear relationship in a manner that reduces dependence on individual evaluator differences. The information obtained as a result of this analysis is a linear relationship between the PESQ value (second PESQ value) and the MOS value (second MOS value) shown in FIG. A linear relationship between the PESQ value and the second MOS value). Information representing such a linear relationship is set in the linear conversion unit 42. Examples of “information representing a linear relationship” are a linear function F representing a straight line having a predetermined inclination α, a parameter for specifying the linear function F, and the like.
なお、「基準音響信号」は、第1,2実施形態で例示したものであってもよいし、その他の音声信号であってもよいし、音楽や背景音等のその他の音響信号であってもよい。「評価対象音響信号」は、第1,2実施形態で例示したものであってもよいし、「基準音響信号」成分を含むその他の信号であってもよい。 The “reference acoustic signal” may be the one exemplified in the first and second embodiments, may be another audio signal, or other acoustic signal such as music or background sound. Also good. The “evaluation target acoustic signal” may be those exemplified in the first and second embodiments, or may be other signals including a “reference acoustic signal” component.
PESQ算出部41におけるPESQ値の算出方法は周知であり、例えば、参考文献3等に詳細に記載されている。参考文献3に記載された「original X(t)」が「基準音響信号」に、「degraded signal Y(t)」が「評価対象音響信号」に、それぞれ該当する。前述のように、PESQ値の算出処理は、「基準音響信号」と「評価対象音響信号」との時間ずれを補正する処理を含む。 The calculation method of the PESQ value in the PESQ calculation unit 41 is well known, and is described in detail in Reference 3 and the like, for example. “Original X (t)” described in Reference 3 corresponds to “reference acoustic signal”, and “degraded signal Y (t)” corresponds to “evaluation target acoustic signal”. As described above, the PESQ value calculation process includes a process of correcting a time lag between the “reference acoustic signal” and the “evaluation target acoustic signal”.
基準音響信号に対応する基準音と評価対象音響信号に対応する評価音との違いについての5段階評価に基づくMOS値は、例えば、受聴された基準音と評価音との違いについて5段階評価(主観評価)の平均値である。5段階評価自体は5段階の評価カテゴリーを表す5つの値の何れかであるが、その平均値であるMOS値は1以上5以下の範囲に属する何れかの値である。「基準音と評価音との違いについて5段階評価」の内容に限定はない。このような5段階評価の例は、「基準音と評価音との違いが分かるか否かと、評価音の聞き取り易さおよび/または聞き取りにくさについての度合いと、の組み合わせからなる評価カテゴリーについての5段階評価」である。特に、このような5段階評価が「基準音と評価音との違いが分かるか否かと、評価音の聞き取りにくさについての4段階の度合いと、の組み合わせからなる評価カテゴリーについての5段階評価」である場合、より誤差の小さな線形関係が成り立つ。より好ましくは、このような5段階評価が、「基準音と評価音との違いが分からないことを表す1段階のカテゴリーと、基準音と評価音との違いが分かる旨と評価音の聞き取りにくさについての4段階の度合いとの組み合わせからなる4段階のカテゴリーと、を含む評価カテゴリーについての5段階評価」であることが望ましい。なお、「基準音と評価音との違いが分かるか否か」および「評価音の聞き取りにくさについての度合い」の具体例は、第3実施形態に例示した通りである。「評価音の聞き取り易さについての度合い」の具体例は、「聞き取りには問題がない」「少し聞き取り易い」「聞き取り易い」「非常に聞き取り易い」である。また、このような5段階評価に基づくMOS値は、「評価音の聞き取り易さの評価」を指示して得られた5段階評価に基づくものであることが望ましい。例えば、第3実施形態で例示したように、主観評価試験時に「評価音の『女声(左側)』の聞き取り易さ、を評価してください」等の内容が評価者に提示されて得られた5段階評価に基づくMOS値であることが望ましい。 The MOS value based on the five-step evaluation about the difference between the reference sound corresponding to the reference sound signal and the evaluation sound corresponding to the evaluation target sound signal is, for example, a five-step evaluation on the difference between the received reference sound and the evaluation sound ( This is the average value of subjective evaluation. The five-level evaluation itself is one of five values representing a five-level evaluation category, but the average MOS value is any value in the range of 1 to 5. There is no limitation on the content of “5-level evaluation of the difference between the reference sound and the evaluation sound”. An example of such a five-level evaluation is “for an evaluation category consisting of a combination of whether or not the difference between the reference sound and the evaluation sound is known and the degree of ease of hearing and / or difficulty in hearing the evaluation sound. It is a “5-level evaluation”. In particular, such a five-step evaluation is “a five-step evaluation for an evaluation category consisting of a combination of whether or not the difference between the reference sound and the evaluation sound is known and a four-step degree of difficulty in hearing the evaluation sound”. In this case, a linear relationship with smaller error is established. More preferably, such a five-step evaluation is “in order to understand the difference between the reference sound and the evaluation sound, and the one-step category indicating that the difference between the reference sound and the evaluation sound is unknown”. It is desirable to be a “5-level evaluation for an evaluation category” including a 4-level category consisting of a combination of the 4-level degree of the stiffness. Specific examples of “whether or not the difference between the reference sound and the evaluation sound is known” and “the degree of difficulty in hearing the evaluation sound” are as illustrated in the third embodiment. Specific examples of “degree of ease of hearing of evaluation sound” are “no problem in listening”, “a little easy to hear”, “easy to hear”, “very easy to hear”. Further, it is desirable that the MOS value based on such a five-step evaluation is based on the five-step evaluation obtained by instructing “evaluation of ease of hearing of evaluation sound”. For example, as exemplified in the third embodiment, contents such as “evaluate the ease of hearing of the evaluation sound“ female voice (left side) ”” were presented to the evaluator during the subjective evaluation test. A MOS value based on a five-step evaluation is desirable.
<音響品質評価処理>
以上の前提のもと、以下のように音響品質評価処理が行われる。まず、PESQ算出部41は、「基準音響信号(第1の基準音響信号)」と当該「基準音響信号」を含む信号に基づく「評価対象音響信号(第1の評価対象音響信号)」とを入力とし、これらの間の時間ずれを補正してから、当該「基準音響信号」と「評価対象音響信号」とに対するPESQ値を得て出力する。さらに、PESQ算出部41は、補正された時間ずれの大きさ(例えば、遅延量)を出力する。前述のように、「基準音響信号(第1の基準音響信号)」の開始時間と、「評価対象音響信号(第1の評価対象音響信号)」に含まれた「基準音響信号(第1の基準音響信号)」の成分の開始時間とは、同一または近似していることが望ましい。
<Sound quality evaluation process>
Based on the above assumptions, the sound quality evaluation process is performed as follows. First, the PESQ calculation unit 41 obtains a “reference acoustic signal (first reference acoustic signal)” and an “evaluation target acoustic signal (first evaluation target acoustic signal)” based on a signal including the “reference acoustic signal”. As an input, the time difference between them is corrected, and then the PESQ values for the “reference acoustic signal” and the “evaluation target acoustic signal” are obtained and output. Further, the PESQ calculating unit 41 outputs the corrected time shift magnitude (for example, delay amount). As described above, the start time of the “reference acoustic signal (first reference acoustic signal)” and the “reference acoustic signal (first evaluation acoustic signal)” included in the “evaluation target acoustic signal (first evaluation target acoustic signal)”. It is desirable that the start time of the component “reference acoustic signal)” be the same or approximate.
PESQ算出部41から出力されたPESQ値および補正された時間ずれの大きさは判定部43に入力される。判定部43は、入力された時間ずれの大きさが所定値以下であったか、または、時間ずれの大きさが所定値よりも大きかったか、を判定する。ここで、時間ずれの大きさが所定値以下であったと判定されるか、または、時間ずれの大きさが所定値よりも大きくなかったと判定された場合、判定部43はPESQ値を線形変換部42に送る。そうでない場合、判定部43はPESQ値を破棄する。例えば、「所定値」は、0.4秒の近傍以上1秒の近傍未満の範囲に属する値である。「所定値」の例は0.4秒である。 The PESQ value output from the PESQ calculation unit 41 and the corrected magnitude of the time shift are input to the determination unit 43. The determination unit 43 determines whether the input time lag is less than a predetermined value or whether the time lag is larger than a predetermined value. Here, when it is determined that the magnitude of the time lag is equal to or less than the predetermined value, or when it is determined that the magnitude of the time lag is not greater than the predetermined value, the determination unit 43 converts the PESQ value to the linear conversion unit. 42. Otherwise, the determination unit 43 discards the PESQ value. For example, the “predetermined value” is a value that belongs to a range from the vicinity of 0.4 seconds to the vicinity of 1 second. An example of the “predetermined value” is 0.4 seconds.
PESQ値が送られた線形変換部42は、上述した線形関係に基づいて、入力されたPESQ値(時間ずれの大きさが所定値以下であった第1の基準音響信号と第1の評価対象音響信号とに対する第1のPESQ値)を線形変換してMOSの推定値(第1のMOS値)を得て出力する。例えば、線形変換部42は、PESQ値を前述の線形関数Fに代入して得られた結果をMOSの推定値として出力する。このように、線形変換部42は、補正された時間ずれの大きさが「所定値」よりも大きかった場合を除き、前述の線形関係に基づいてPESQ値を線形変換してMOS値を得て出力する。言い換えると、線形変換部42は、前述の線形関係に基づいて、補正された時間ずれの大きさが「所定値」以下であった「基準音響信号」と「評価対象音響信号」とに対する「PESQ値」のみを線形変換して「MOS値」を得て出力する。 Based on the linear relationship described above, the linear conversion unit 42 to which the PESQ value is sent receives the input PESQ value (the first reference acoustic signal whose magnitude of the time shift is equal to or less than a predetermined value and the first evaluation object). A first PESQ value) with respect to the acoustic signal is linearly converted to obtain and output an estimated MOS value (first MOS value). For example, the linear conversion unit 42 outputs the result obtained by substituting the PESQ value into the above-described linear function F as the MOS estimated value. As described above, the linear conversion unit 42 linearly converts the PESQ value based on the above-described linear relationship to obtain the MOS value, except when the corrected time shift is larger than the “predetermined value”. Output. In other words, the linear conversion unit 42 performs “PESQ” with respect to the “reference acoustic signal” and the “evaluation target acoustic signal” in which the magnitude of the corrected time shift is equal to or less than the “predetermined value” based on the above-described linear relationship. Only the “value” is linearly converted to obtain the “MOS value” and output it.
[第4実施形態の変形例1]
図17に例示するように、この変形例の音響品質評価装置5は、PESQ算出部41、線形変換部42、判定部43、遠端話者音響信号記憶部102、およびデータ記憶部180を有する。PESQ算出部41は、遠端話者音響信号記憶部102から遠端話者音響信号を基準音響信号として読み出し、データ記憶部180からこの遠端話者音響信号に対応する評価対象音響信号T1またはT3を読み出す(図4参照)。PESQ算出部41は、これらに対するPESQ値を得て出力する。以降の処理は第4実施形態と同じである。なお、PESQ算出部41が、遠端話者音響信号記憶部102から遠端話者音響信号を基準音響信号として読み出すことに代えて、データ記憶部180から基準音響信号を読み出してもよい。
[Modification 1 of Fourth Embodiment]
As illustrated in FIG. 17, the acoustic quality evaluation apparatus 5 of this modification includes a PESQ calculation unit 41, a linear conversion unit 42, a determination unit 43, a far-end speaker acoustic signal storage unit 102, and a data storage unit 180. . The PESQ calculation unit 41 reads the far-end speaker acoustic signal from the far-end speaker acoustic signal storage unit 102 as a reference acoustic signal, and the evaluation target acoustic signal T 1 corresponding to the far-end speaker acoustic signal from the data storage unit 180. or read the T 3 (see FIG. 4). The PESQ calculation unit 41 obtains and outputs PESQ values for these. The subsequent processing is the same as in the fourth embodiment. Note that the PESQ calculation unit 41 may read the reference sound signal from the data storage unit 180 instead of reading the far end speaker sound signal from the far end speaker sound signal storage unit 102 as the reference sound signal.
[第4実施形態の変形例2]
第4実施形態の変形例1の評価対象音響信号T1を評価対象音響信号T2に置換した形態であってもよい。あるいは、評価対象音響信号T3を評価対象音響信号T4に置換した形態であってもよい。すなわち、PESQ算出部41は、遠端話者音響信号記憶部102から遠端話者音響信号を基準音響信号として読み出し、データ記憶部180からこの遠端話者音響信号に対応する評価対象音響信号T2またはT4を読み出す。PESQ算出部41は、これらに対するPESQ値を得て出力する。以降の処理は第4実施形態と同じである。
[Modification 2 of the fourth embodiment]
Fourth may be in the form obtained by substituting evaluated acoustic signal T 1 of the first modification of the embodiment in the evaluation target sound signal T 2. Alternatively, it may be in a form that is to replace the evaluation target acoustic signal T 3 to the evaluation target sound signal T 4. That is, the PESQ calculation unit 41 reads the far-end speaker acoustic signal as the reference acoustic signal from the far-end speaker acoustic signal storage unit 102, and the evaluation target acoustic signal corresponding to the far-end speaker acoustic signal from the data storage unit 180. read the T 2 or T 4. The PESQ calculation unit 41 obtains and outputs PESQ values for these. The subsequent processing is the same as in the fourth embodiment.
[第4実施形態の変形例3]
図17に例示するように、この変形例の音響品質評価装置は、PESQ算出部41、線形変換部42、判定部43、近端話者音響信号記憶部101、遠端話者音響信号記憶部102、データ記憶部180、および信号処理部621を含む。なお、信号処理部621は、何らかの「信号処理」を行う処理部である。「信号処理」の例は、エコーキャンセル処理およびノイズキャンセル処理の少なくとも一方を含む処理である。その他、「信号処理」が、エコーキャンセル処理もノイズキャンセル処理も含まない処理であってもよい。PESQ算出部41は、遠端話者音響信号記憶部102から遠端話者音響信号を基準音響信号として読み出す。信号処理部621は、データ記憶部180からこの遠端話者音響信号に対応する評価対象音響信号T1またはT3を読み出し、近端話者音響信号記憶部101から評価対象音響信号T1またはT3に対応する近端話者音響信号を読み出す(図4参照)。信号処理部621は、これらを用いて評価対象音響信号T1に信号処理を行い、それによって得られた信号を評価対象信号としてPESQ算出部41に送る。PESQ算出部41は、入力された信号に対するPESQ値を得て出力する。以降の処理は第4実施形態と同じである。
[Modification 3 of the fourth embodiment]
As illustrated in FIG. 17, the acoustic quality evaluation apparatus of this modification includes a PESQ calculation unit 41, a linear conversion unit 42, a determination unit 43, a near-end speaker acoustic signal storage unit 101, and a far-end speaker acoustic signal storage unit. 102, a data storage unit 180, and a signal processing unit 621. The signal processing unit 621 is a processing unit that performs some kind of “signal processing”. An example of “signal processing” is processing including at least one of echo cancellation processing and noise cancellation processing. In addition, the “signal processing” may be processing that does not include echo cancellation processing and noise cancellation processing. The PESQ calculation unit 41 reads the far-end speaker sound signal from the far-end speaker sound signal storage unit 102 as a reference sound signal. The signal processing unit 621 reads the evaluated acoustic signal T 1 or T 3 corresponding from the data storage unit 180 to the far-end talker's sound signal, evaluated acoustic signal T 1 or the near-end talker sound signal storage unit 101 It reads the near-end talker sound signal corresponding to T 3 (see FIG. 4). The signal processing unit 621, these evaluated target sound signal T 1 to signal processing using, sends a signal obtained thereby to the PESQ calculation unit 41 as the evaluation target signal. The PESQ calculation unit 41 obtains and outputs a PESQ value for the input signal. The subsequent processing is the same as in the fourth embodiment.
[その他の変形例等]
なお、本発明は上述の実施の形態に限定されるものではない。例えば、参照信号や劣化信号が音声以外の音響信号(音楽や背景音等)に基づいて得られたものであってもよい。また、参照信号や劣化信号が時系列信号でなくてもよい。また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
[Other variations]
The present invention is not limited to the embodiment described above. For example, the reference signal or the deterioration signal may be obtained based on an acoustic signal (music, background sound, etc.) other than voice. Further, the reference signal and the deteriorated signal may not be a time series signal. In addition, the various processes described above are not only executed in time series according to the description, but may be executed in parallel or individually according to the processing capability of the apparatus that executes the processes or as necessary. Needless to say, other modifications are possible without departing from the spirit of the present invention.
上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な(non-transitory)記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。 When the above configuration is realized by a computer, the processing contents of the functions that each device should have are described by a program. By executing this program on a computer, the above processing functions are realized on the computer. The program describing the processing contents can be recorded on a computer-readable recording medium. An example of a computer-readable recording medium is a non-transitory recording medium. Examples of such a recording medium are a magnetic recording device, an optical disk, a magneto-optical recording medium, a semiconductor memory, and the like.
このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。 This program is distributed, for example, by selling, transferring, or lending a portable recording medium such as a DVD or CD-ROM in which the program is recorded. Furthermore, the program may be distributed by storing the program in a storage device of the server computer and transferring the program from the server computer to another computer via a network.
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。 A computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. When executing the process, this computer reads a program stored in its own recording device and executes a process according to the read program. As another execution form of the program, the computer may read the program directly from the portable recording medium and execute processing according to the program, and each time the program is transferred from the server computer to the computer. The processing according to the received program may be executed sequentially. The above-described processing may be executed by a so-called ASP (Application Service Provider) type service that realizes a processing function only by an execution instruction and result acquisition without transferring a program from the server computer to the computer. Good.
上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。 In the above embodiment, the processing functions of the apparatus are realized by executing a predetermined program on a computer. However, at least a part of these processing functions may be realized by hardware.
1,2 データ生成装置
3〜6 音響品質評価装置
1, 2 Data generation devices 3-6 Sound quality evaluation device
Claims (8)
前記第1音響信号を含む第1チャネルの第1データと、
前記第1音響信号に由来する信号と前記第2音響信号とに基づく重畳信号であって前記第2端側の空間環境または前記空間環境を模擬した条件に基づいて劣化した第2重畳信号を含む第2チャネルの第2データと、
前記第1音響信号に由来する信号と前記第2音響信号とに基づく重畳信号であって前記第2端側の空間環境に基づく劣化若しくは前記空間環境を模擬した条件に基づく劣化がない信号に信号処理を行って得られた処理信号に由来する第3重畳信号を含む前記第2チャネルの第3データと、を有し、
前記第1データおよび前記第2データまたは前記第3データが音響品質評価装置で読み出されたとき、前記第1データが表す音が両耳装着型音響再生装置の一方のチャネルから再生され、前記第2データまたは前記第3データが表す音が前記両耳装着型音響再生装置の他方のチャネルから再生され、評価結果を表す情報が前記音響品質評価装置に入力される、データ構造。 A data structure for evaluating the quality of the second acoustic signal in a signal obtained by superimposing a signal derived from the first acoustic signal on the first end side of the system on the second acoustic signal on the second end side of the system. And
First data of a first channel including the first acoustic signal;
A superimposed signal based on the signal derived from the first acoustic signal and the second acoustic signal, including a second superimposed signal degraded based on a spatial environment on the second end side or a condition simulating the spatial environment Second data of the second channel;
A signal that is a superimposed signal based on the signal derived from the first acoustic signal and the second acoustic signal and that is not degraded based on the spatial environment on the second end side or based on conditions simulating the spatial environment. And third data of the second channel including a third superimposed signal derived from a processed signal obtained by performing processing,
When the first data and the second data or the third data are read by the sound quality evaluation device, the sound represented by the first data is reproduced from one channel of the binaural-type sound reproduction device, A data structure in which the sound represented by the second data or the third data is reproduced from the other channel of the binaural sound reproduction device, and information representing the evaluation result is input to the sound quality evaluation device.
前記信号処理は、エコーキャンセル処理およびノイズキャンセル処理の少なくとも一方を含む、データ構造。 The data structure of claim 1, comprising:
The signal processing includes a data structure including at least one of echo cancellation processing and noise cancellation processing.
前記第2音響信号を含む信号に基づく比較用信号を含む前記第2チャネルの第4データをさらに含み、
前記第1チャネルで前記第1音響信号を出力しつつ、前記第2チャネルで前記比較用信号を出力する制御と、
前記第1チャネルで前記第1音響信号を出力しつつ、前記第2チャネルで前記第2重畳信号を出力する制御と、
前記第1チャネルで前記第1音響信号を出力しつつ、前記第2チャネルで前記第3重畳信号を出力する制御と、
が可能なデータ構造。 A data structure according to claim 1 or 2, wherein
Further including fourth data of the second channel including a comparison signal based on a signal including the second acoustic signal;
Control for outputting the comparison signal on the second channel while outputting the first acoustic signal on the first channel;
Control to output the second superimposed signal on the second channel while outputting the first acoustic signal on the first channel;
Control to output the third superimposed signal on the second channel while outputting the first acoustic signal on the first channel;
A data structure that can be used.
前記第1音響信号を両耳装着型音響再生装置の一方のチャネルである第1チャネルに出力しつつ、前記第1音響信号に由来する信号と前記第2音響信号とに基づく重畳信号であって前記第2端側の空間環境または前記空間環境を模擬した条件に基づいて劣化した第2重畳信号を前記両耳装着型音響再生装置の他方のチャネルである第2チャネルに出力する第2処理と、
前記第1音響信号を前記第1チャネルに出力しつつ、前記第1音響信号に由来する信号と前記第2音響信号とに基づく重畳信号であって前記第2端側の空間環境に基づく劣化若しくは前記空間環境を模擬した条件に基づく劣化がない信号に信号処理を行って得られた処理信号に由来する第3重畳信号を前記第2チャネルに出力する第3処理と、を行う音響出力処理部と、
前記第2重畳信号および前記第3重畳信号に対する評価結果を表す情報の入力を受け付ける入力部と、
を有する音響品質評価装置。 An acoustic quality evaluation device for evaluating the quality of the second acoustic signal in a signal obtained by superimposing a signal derived from the first acoustic signal on the first end side of the system on the second acoustic signal on the second end side of the system Because
A superimposed signal based on the signal derived from the first acoustic signal and the second acoustic signal while outputting the first acoustic signal to the first channel which is one channel of the binaural-equipped sound reproducing device. A second process of outputting a second superimposed signal deteriorated based on a spatial environment on the second end side or a condition simulating the spatial environment to a second channel which is the other channel of the binaural-type sound reproducing device; ,
While the first acoustic signal is output to the first channel, it is a superimposed signal based on the signal derived from the first acoustic signal and the second acoustic signal, and is deteriorated based on the spatial environment on the second end side or And a third process for outputting a third superimposed signal derived from a processed signal obtained by performing signal processing on a signal that is not deteriorated based on a condition simulating the spatial environment to the second channel. When,
An input unit for receiving input of information representing an evaluation result for the second superimposed signal and the third superimposed signal;
A sound quality evaluation apparatus.
前記信号処理は、エコーキャンセル処理およびノイズキャンセル処理の少なくとも一方を含む、音響品質評価装置。 The sound quality evaluation apparatus according to claim 4,
The sound quality evaluation apparatus, wherein the signal processing includes at least one of echo cancellation processing and noise cancellation processing.
前記第1音響信号を前記第1チャネルに出力しつつ、前記第2音響信号を含む信号に基づく比較用信号を前記第2チャネルに出力する第1処理を有する音響品質評価装置。 The sound quality evaluation apparatus according to claim 4 or 5,
An acoustic quality evaluation apparatus including a first process of outputting a comparison signal based on a signal including the second acoustic signal to the second channel while outputting the first acoustic signal to the first channel.
前記第1音響信号を両耳装着型音響再生装置の一方のチャネルである第1チャネルに出力しつつ、前記第1音響信号に由来する信号と前記第2音響信号とに基づく重畳信号であって前記第2端側の空間環境または前記空間環境を模擬した条件に基づいて劣化した第2重畳信号を前記両耳装着型音響再生装置の他方のチャネルである第2チャネルに出力するステップと、
前記第1音響信号を前記第1チャネルに出力しつつ、前記第1音響信号に由来する信号と前記第2音響信号とに基づく重畳信号であって前記第2端側の空間環境に基づく劣化若しくは前記空間環境を模擬した条件に基づく劣化がない信号に信号処理を行って得られた処理信号に由来する第3重畳信号を前記第2チャネルに出力するステップと、
前記第2重畳信号および前記第3重畳信号に対する評価結果を表す情報の入力を受け付けるステップと、
を有する音響品質評価方法。 An acoustic quality evaluation method for evaluating the quality of the second acoustic signal in a signal obtained by superimposing a signal derived from the first acoustic signal on the first end side of the system on the second acoustic signal on the second end side of the system. And
A superimposed signal based on the signal derived from the first acoustic signal and the second acoustic signal while outputting the first acoustic signal to the first channel which is one channel of the binaural-equipped sound reproducing device. Outputting the second superimposed signal deteriorated based on the spatial environment on the second end side or the condition simulating the spatial environment to the second channel which is the other channel of the binaural sound reproduction device;
While the first acoustic signal is output to the first channel, it is a superimposed signal based on the signal derived from the first acoustic signal and the second acoustic signal, and is deteriorated based on the spatial environment on the second end side or Outputting a third superimposed signal derived from a processed signal obtained by performing signal processing on a signal that is not deteriorated based on a condition simulating the spatial environment to the second channel;
Receiving an input of information representing an evaluation result for the second superimposed signal and the third superimposed signal;
A method for evaluating sound quality.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016200561A JP6594840B2 (en) | 2016-10-12 | 2016-10-12 | Acoustic quality evaluation apparatus, acoustic quality evaluation method, data structure, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016200561A JP6594840B2 (en) | 2016-10-12 | 2016-10-12 | Acoustic quality evaluation apparatus, acoustic quality evaluation method, data structure, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018064161A true JP2018064161A (en) | 2018-04-19 |
JP6594840B2 JP6594840B2 (en) | 2019-10-23 |
Family
ID=61968047
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016200561A Active JP6594840B2 (en) | 2016-10-12 | 2016-10-12 | Acoustic quality evaluation apparatus, acoustic quality evaluation method, data structure, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6594840B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060200346A1 (en) * | 2005-03-03 | 2006-09-07 | Nortel Networks Ltd. | Speech quality measurement based on classification estimation |
JP2007228028A (en) * | 2006-02-21 | 2007-09-06 | Nec Electronics Corp | Evaluation method of acoustic echo canceller, and storage medium for use therein |
JP2016045389A (en) * | 2014-08-25 | 2016-04-04 | 日本電信電話株式会社 | Data structure, data generation device, data generation method, and program |
JP2016046695A (en) * | 2014-08-25 | 2016-04-04 | 日本電信電話株式会社 | Acoustic quality evaluation device, acoustic quality evaluation method, and program |
-
2016
- 2016-10-12 JP JP2016200561A patent/JP6594840B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060200346A1 (en) * | 2005-03-03 | 2006-09-07 | Nortel Networks Ltd. | Speech quality measurement based on classification estimation |
JP2007228028A (en) * | 2006-02-21 | 2007-09-06 | Nec Electronics Corp | Evaluation method of acoustic echo canceller, and storage medium for use therein |
JP2016045389A (en) * | 2014-08-25 | 2016-04-04 | 日本電信電話株式会社 | Data structure, data generation device, data generation method, and program |
JP2016046695A (en) * | 2014-08-25 | 2016-04-04 | 日本電信電話株式会社 | Acoustic quality evaluation device, acoustic quality evaluation method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP6594840B2 (en) | 2019-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6163468B2 (en) | Sound quality evaluation apparatus, sound quality evaluation method, and program | |
US11539844B2 (en) | Audio conferencing using a distributed array of smartphones | |
EP3257236B1 (en) | Nearby talker obscuring, duplicate dialogue amelioration and automatic muting of acoustically proximate participants | |
US8842851B2 (en) | Audio source localization system and method | |
US9491561B2 (en) | Acoustic echo cancellation with internal upmixing | |
Hersbach et al. | Combining directional microphone and single-channel noise reduction algorithms: a clinical evaluation in difficult listening conditions with cochlear implant users | |
EP1913708B1 (en) | Determination of audio device quality | |
JP6571623B2 (en) | Sound quality evaluation apparatus, sound quality evaluation method, and program | |
CN112071328B (en) | Audio noise reduction | |
GB2495472B (en) | Processing audio signals | |
JP2009517936A (en) | Method for recording and playing back sound sources with time-varying directional characteristics | |
WO2021152759A1 (en) | Evaluation method, evaluation device, and program | |
JP7238978B2 (en) | Evaluation device, evaluation method, and program | |
US10192566B1 (en) | Noise reduction in an audio system | |
JP6363429B2 (en) | Data structure, data generation apparatus, data generation method, and program | |
JP6126053B2 (en) | Sound quality evaluation apparatus, sound quality evaluation method, and program | |
JP6594840B2 (en) | Acoustic quality evaluation apparatus, acoustic quality evaluation method, data structure, and program | |
Holub et al. | Delay effect on conversational quality in telecommunication networks: Do we mind? | |
JP7184174B2 (en) | Data correction device, data correction method, and program | |
JP7184173B2 (en) | SOUND QUALITY EVALUATION DEVICE, SOUND QUALITY EVALUATION METHOD, AND PROGRAM | |
Müsch | Subjective rating and PESQ prediction of listener echo and duplex impairments | |
JP2012094945A (en) | Voice communication system and voice communication apparatus | |
WO2024121962A1 (en) | Acoustic quality evaluation device, acoustic quality evaluation method, and program | |
Ghimire | Speech intelligibility measurement on the basis of ITU-T Recommendation P. 863 | |
Drew et al. | Negative impacts from latency masked by noise in simulated beamforming |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181219 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190416 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190924 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190925 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6594840 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |