JP2004514327A - 電気通信網における電話リンクの会話品質の測定 - Google Patents
電気通信網における電話リンクの会話品質の測定 Download PDFInfo
- Publication number
- JP2004514327A JP2004514327A JP2002541902A JP2002541902A JP2004514327A JP 2004514327 A JP2004514327 A JP 2004514327A JP 2002541902 A JP2002541902 A JP 2002541902A JP 2002541902 A JP2002541902 A JP 2002541902A JP 2004514327 A JP2004514327 A JP 2004514327A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- return
- representation
- quality
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/22—Arrangements for supervision, monitoring or testing
- H04M3/26—Arrangements for supervision, monitoring or testing with means for applying test signals or for measuring
- H04M3/28—Automatic routine testing ; Fault testing; Installation testing; Test methods, test equipment or test arrangements therefor
- H04M3/32—Automatic routine testing ; Fault testing; Installation testing; Test methods, test equipment or test arrangements therefor for lines between exchanges
- H04M3/323—Automatic routine testing ; Fault testing; Installation testing; Test methods, test equipment or test arrangements therefor for lines between exchanges for the arrangements providing the connection (test connection, test call, call simulation)
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/22—Arrangements for supervision, monitoring or testing
- H04M3/2236—Quality of speech transmission monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Telephonic Communication Services (AREA)
- Monitoring And Testing Of Exchanges (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Prepayment Telephone Systems (AREA)
- Telephone Function (AREA)
Abstract
Description
(背景技術)
本発明は、電気通信システムにおける電話リンクの質を測定する分野にある。詳細には、本発明は、電気通信網における電話リンクの会話品質の測定、つまり、電話中に話者により主観的に観察される電気通信システムにおける電話リンクの知覚的品質に対する、エコー妨害及び側音歪みなどの復帰信号の影響を測定することに関する。
【0002】
このような方法及び対応する装置は、本願に参照して組み込まれている適時にではなく公開された国際特許出願PCT/EP第00/08884号(参考資料[1]、参考資料に関する図書目録詳細については、Dを参照すること)に説明されている。電気通信網における電話リンクの話者側での知覚的品質に対するエコーの影響を測定するための説明された方法及び装置に従って、トーカー音声信号及び結合された信号が、PSQMシステムなどの、知覚会話品質の推定値を表す出力信号を取得するための客観的な測定装置に送られる。結合された信号は、ネットワークから発信し、トーカー音声信号に対応する復帰信号と、トーカー音声信号自体の信号組み合わせである。説明された技法には以下の問題がある。復帰信号が、電話システム内に存在する雑音、電話接続の相手側にいる話者の背景雑音から引き出される雑音、あるいは干渉信号から引き出される雑音のような話者の声に直接的に関係しない信号成分を含む場合、このような信号成分には、エコーに対するいわゆるマスキング効果がある可能性があり、したがって主観的に知覚される会話品質が高まることになる。しかしながら、ITU−T勧告R.861により勧告された知覚的な音声会話品質計測(PSQM)モデル(参考資料[2]を参照すること)、またはITU−T勧告P.862により勧告された音声品質の知覚的評価(PESQ)(参考資料[3]を参照すること)に基づいたような客観的な測定システムは、雑音成分を、通常、品質の低下という点で解釈するだろう。無線リンクを介して受信される音声信号の品質の客観的な測定におけるPSQMなどの客観的な測定の適用は、例えば、参考資料[4]に開示されている。言及された問題は、一般的に音声処理(例えば参考資料[5]から[8]を参照すること)、あるいは音響システム(参考資料[9]を参照すること)の世界で既知であるような雑音抑制または減衰技法を使用することによって解決を試みられてよい。ただし、これらの既知の抑制技法または減衰技法は、聴音品質を最適化するために開発されており、会話品質の測定及び最適化には適していない。特にマスキング雑音及び自分自身の声によるマスキングの影響において、会話品質は、聴音品質とは異なる。雑音は、一般的には聴音品質を減少させるが、会話品質を上昇させる。
【0003】
(発明の要約)
本発明の目的は、前記問題を持たない、電気通信網における電話リンクの会話品質を測定するため、つまり電話リンクの話者側での知覚的品質に及ぼされる雑音の影響を含む、エコー、側音歪みなどの復帰信号の影響を測定するための客観的な測定方法及び対応する装置を提供することである。
【0004】
本発明の第1態様に従って、電気通信網における電話リンクの会話品質を測定する方法は、トーカー音声信号に関して低下した音声信号を客観的な測定技法にかけ、品質信号を発生する主要ステップを有する。該低下音声信号は、電話リンクの順方向チャネルでのトーカー音声信号の伝送中に電話リンクの帰路チャネルで発生する信号に相当する復帰信号を含む。該主要ステップは、復帰信号に存在する雑音の結果におけるマスキング効果をモデル化するステップを含む。
【0005】
本発明の別の態様に従って、電気通信網における電話リンクの会話品質を測定する装置は、トーカー音声信号に関して低下した音声信号を客観的な測定技法にかけ、品質信号を発生する測定手段を有する。該低下音声信号は、電話リンクの順方向チャネルにおけるトーカー音声信号の伝送中に電話リンクの帰路チャネルで発生する信号に相当する復帰信号を含む。該測定手段は、復帰信号に存在する雑音の結果におけるマスキング効果のモデル化の手段を含む。
【0006】
本発明は、とりわけ、PSQM及びPESQなどの客観的な測定システムが音声信号の聴音品質を測定するために開発されたという認識に基づいている。したがって、電話リンクの会話品質を測定するために同様の客観的な測定を提供するためには、エコーマスキング効果をモデル化するステップが客観的な測定方法及び装置に導入される。
【0007】
既知の測定システム(つまり、PSQM)の1つに従って、最初に、オーディオまたは音声の処理またはトランスポートシステムの出力信号であり、信号品質が評価されなければならない音声信号及び基準信号が、人間の聴覚組織の精神物理学知覚モデルの表現信号にマッピングされる。これらの表現信号は、事実上、音声信号と基準信号の圧縮されたラウドネス密度関数である。したがって、2つの認識効果をモデル化するために非対称処理と無音間隔加重を暗示する2つの演算が、評価される音声信号の聴覚の基準である品質信号を発生するために、2つの表現信号の差異信号で実行される。しかしながら、エコー信号中の雑音、特に電話リンクの加入者B側で発する背景雑音がエコー信号に対してマスキング効果を有することがあり、したがって主観的に知覚される会話品質の改善につながることが知られている。それから、アルゴリズムの差異に対して実行される演算では、エコー信号中の雑音が挿入された歪みとして解釈され、客観的に測定される会話品質の劣化につながり、したがってこれらの演算が、雑音のエコーマスキング効果をモデル化するステップによって修正、及び/または補足されなければならないことが理解された。同は、言及された既知の測定技法(つまり、PESQ)の他方に当てはまる。
【0008】
したがって、本発明の追加の目的は、会話品質を客観的に測定するために適切となるために、言及された既知の客観的な測定方法及び装置を適応させることである。
【0009】
本発明の追加の態様に従って、方法は、低下音声信号及びトーカー音声信号を処理し、それぞれ第1表現信号と第2表現信号を発生するための第1処理ステップと第2処理ステップを有する。方法は、さらに、品質信号を発生できるように第1表現信号と第2表現信号を結合する結合ステップを有する。第1表現信号は、トーカー音声信号と復帰信号の信号組み合わせの表現信号であり、結合ステップは復帰信号に存在する雑音の結果においてマスキング効果をモデル化するステップを含む。
【0010】
本発明のさらに追加の態様に従って、装置は低下音声信号とトーカー音声信号を処理し、第1表現信号と第2表現信号を発生する第1処理手段と第2処理手段を有する。装置は、さらに、品質信号を発生できるように第1表現信号と第2表現信号を結合する結合手段を有する。結合手段はマスキング効果をモデル化する手段を含む。
【0011】
(参考資料)
[1]PCT/EP第00/08884号(出願人所有、提出日:08.09.2000)
[2]ITU−T勧告P.861:電話帯域(330−3400Hz)音声コーデックの客観的な品質測定、1996年8月
[3]ITU−T勧告P.862(2001年2月)、「音声品質の知覚的評価、(PESQ)、今日帯域電話網及び音声コーデックのエンドツーエンド音声品質評価の客観的な方法」、2001年2月
[4]WO第98/59509号
[5]R.Le Bouquin、「騒々しい音声信号の改良:移動無線通信への適用(Enhancement of Noisy Speech Signals:Applications to Mobile Radio Communications)、音声通信(Speech Communication)、第18巻、3−19ページ(1996年)
[6]J.−H Chen及びA.Gersho、「コード化された音声の品質改良のための適応ポストフィルタリング(Adaptive Postfiltering for Quality Enhancement of Coded Speech)」、音声及びオ−ディイオ処理に関するIEEE議事録(IEEE Trans. on Speech and Audio Processing)、第3巻、59−71ページ(1995年1月)
[7]D.E.Tsoukalas,J.Mourjopoulos及びG.Kokkinakis、「音声信号改良のための知覚フィルタ(Perceptual Filters for Audio Signal Enhancement)」、日本音声工学学会(J.Audio Eng. Soc.)、第45巻、22−36ページ(1997年1月/2月)
[8]F.Xie及びD.van Compernolle、「スペクトル規模推定による音声改良――統一アプローチ(Speech Enhancement by Spectral Magnitude Estimation――A Unifying Approach)、音声通信(Speech Communication)第19巻、89−104ページ(1996年)
[9]米国A第4,677,676号
参考資料[1]から[9]は、本願に参照して組み込まれている。
【0012】
本発明は、例証となる実施形態の説明によってさらに説明され、以下の図を有する図面が参照される。
【0013】
(例証となる実施形態の説明)
GSM、UMTS、DECT、IP及びATMのような現代の無線及び/またはパケットベースのネットワーク技法は、本来、SDHとPDHのような古典的な回線交換網技術より多くの遅延を生じさせるため、遅延及びエコーは、電話サービスの質において増大する役割を果たしている。遅延及びエコーは、側音とともに、話者が自分自身の声を電話リンクでどのように知覚するのかを決定する。話者が自分自身の声を知覚する品質が、会話品質と定義される。それは、リスナーが他の声(及び音楽)をどのように知覚するのかを扱う聴音品質とは区別されなければならない。会話品質と聴音品質は、対話品質とともに、電話リンクの会話の質を決定する。対話品質は、電話呼で他者と対話する容易さとして定義され、システムの遅延及びそれがチンプンカンプンの状況に対処する方法に支配されている。本発明は、電話リンクの会話品質の客観的な測定に、詳細にはそこでの雑音の影響の説明に関係する。
【0014】
図1は、電気通信網の加入者Aとか入社Bの間に確立された通常の電話リンクの例を示す。それぞれ加入者Aと加入者Bの電話機11と12は、2線接続13と14及び4線インタフェース、つまりハイブリッド15と16によってネットワーク10に接続されている。ネットワークを通して、確立された電話リンクは2線部分、つまり2線接続13と14、及び加入者Aからの音声信号が伝達される4線送信部17を含む順方向チャネル、及び2線部分、つまり2線接続14と13、及び加入者Bからの音声信号が伝達される4線受信部18を含む帰路チャネルを有する。加入者Aの電話機11のマイクMに当たる音声信号sは、電話リンクの順方向チャネル(13、17、14)を介して電話機12のイヤホンRに渡され、そこでネットワークによって影響された音声信号s“として加入者Bにとって可聴になる。順方向チャネル上の各音声信号s(t)は、通常、特に前記ハイブリッドの存在のために電話リンクの帰路チャネル(18、13)上で電気的な型のエコー信号を含む復帰信号r(t)を生じさせ、これが電話機11のイヤホンRに渡され、したがってそこで加入者Aを困惑させる。さらに、イヤホンまたはラウドスピーカ信号の加入者Bの電話機のマイクへの音響及び/または機械的な結合が、加入者Aの電話機に戻る音響型のエコー信号を引き起こし、復帰信号に寄与する。(GSMシステムで、あるいはボイスオーバIPシステムでなど)エンドツーエンドデジタル電話リンクでは、このような音響エコー信号は復帰信号に貢献する唯一の種類のエコー信号である。
【0015】
復帰信号r(t)を要約すると、電話リンクの順方向チャネルでの音声信号s(t)により引き起こされるような電話リンクの帰路チャネルでの多様な段階で、以下を含むことがある。
【0016】
−音響エコーを表す信号r1
−音響エコーとおそらく組み合わされる電気エコーを表す信号r2
−ネットワーク10によって影響を受ける、つまり遅延される、または歪められる信号r2を表す信号r3
−側音と組み合わせて信号r3を表す信号r4、及び
−やはり局所的に発生する側音を含む、信号r4から引き出される音響信号である信号r5
図2は、参考資料[1]に説明されるように、音声信号の知覚的な品質を測定するための既知の客観的な測定技法を使用して電話リンクの会話品質を測定するためのセットアップを概略で示す。該セットアップは、これ以後簡略さのためにネットワーク20と呼ばれる、試験中のシステムまたは電気通信網20、及び以後簡略さのためだけにPSQMシステムと示される、提供される音声信号の知覚分析用のシステム22を有する。一方、ネットワーク20の入力信号として、及び他方、PSQMシステム22の第1入力(つまり基準)信号として任意のトーカー音声信号s(t)が使用される。入力トーカー音声信号s(t)に対応するネットワーク20から得られる復帰信号r(t)は、結合回路24内でトーカー音声信号s(t)と結合され、次にPSQMシステムの第2入力(つまり低下)信号として使用される結合音声信号s’(t)を提供する。必要ならば、信号s(t)は結合回路内で復帰信号r(t)と結合される前に正しいレベルに拡大縮小される。PSQMシステム22の出力信号qは、会話品質の、つまりそれが電話ユーザによって自分自身の電話機で会話中に経験されるように、ネットワーク20を通した電話リンクの知覚的な品質の推定値を表す。ここでは、データベースに記憶されている信号が使用されてよい。これらの信号は、シミュレーションによって、あるいは加入者Bの音声無音中にリンクが確立された場合、加入者Aの電話機から得られてよい、あるいは得られた可能性がある(例えば、電子ドメイン内の信号r4または音響ドメイン内の信号r5)。電話加入者アクセスポイントとネットワークとの4線インタフェースの間の2線接続は、復帰信号r(t)のエコー成分に寄与しない、あるいはほとんど寄与しない(言うまでもなく、それは電話リンクの加入者Bの帰路チャネルで発生する復帰信号のエコー成分には資する)。しかしながら、任意のこのような信号の寄与は短い遅延を有し、それどころか側音の一部を形成する。
【0017】
信号s(t)及びr(t)は、それぞれ順方向チャネルの4線部分17と4線インタフェース15近くの帰路チャネルの4線部分18から分岐されてよい。これは、参考資料[1]にすでに説明されたように、電話リンクが確立された場合に、ライブトラフィックをじゃませずに使用し、会話品質の測定の恒久的な機会を提供する。
【0018】
試験されているシステムまたはネットワークは、言うまでもなく、電気通信ネットワークをシミュレーションするシミュレーションシステムでもあってよい。
【0019】
しかしながら、説明されている技法には以下の問題がある。試験中のシステムまたはネットワークは、通常理想的ではないため、任意の復帰信号r(t)は、電話システムに存在する雑音、電話接続の相手側でのリスナーの背景雑音から引き出される雑音、あるいは干渉する信号から引き出される雑音のような話者の声に直接的に関係しない信号成分も含むだろう。このようなケースでは、これらの信号成分は、エコーに対するいわゆるマスキング効果を有してよく、したがって結果的に会話品質を高める。しかしながら、現在まで音声信号の聴音品質を評価するために開発されてきたPSQMのような客観的な測定システムは、このような雑音成分を品質の減少という点で解釈するだろう。以下では、問題を回避するために、および図2に図示されるようなセットアップで使用されるときに、変型を使用しない場合より、主観的に測定される会話品質と高い相関性をもって会話品質を客観的に測定するのに既存のアルゴリズムを適切とするために、本質的にPSQMのようなアルゴリズムの変型を暗示する方法及び装置が説明される。
【0020】
図3は、可聴信号の知覚的な品質を客観的に測定する測定装置を概略で示す。装置は信号プロセッサ31及び結合装置32を有する。信号プロセッサには信号入力33と34が、及び結合装置36の対応する信号入力に結合される信号出力35と36が備えられる。結合装置36の信号出力37は、同時に測定装置の信号出力である。信号プロセッサは、それぞれ信号入力33と34に結合される、入力信号s(t)とs’(t)を処理し、人間の聴覚組織の知覚モデルに従ってそれぞれ入力信号s(t)とs’(t)の時間/周波数表現を形成する表現信号R(t,f)とR’(t,f)を発生するための知覚モデル化手段38と39を含む。代表信号は、時間と周波数の関数(Hzスケールまたはバークスケール)である。通常、信号処理は、フレームごとに実行される。つまり、音声信号は(10msと100msの間の)人間の耳のウィンドウにほぼ等しいフレームで分割され、フレームあたりのラウドネスは知覚モデルに基づいて計算される。簡略さの理由からだけ、このフレームに関しての処理は図に示されていない。
【0021】
表現信号R(t,f)とR’(t,f)は、信号出力35と36を介して結合装置32に渡される。既知のPSQMのようなアルゴリズムの結合装置では、最初に、表現信号の差異信号が決定され、続いて差異信号について多様な処理ステップが実行される。多様な処理ステップの最後のステップは、周波数と時間に関しての積分ステップを暗示し、信号出力37で使用可能な品質信号を生じさせる結果となる。
【0022】
聴音品質を決定する場合、入力信号s’(t)は、信号処理またはトランスポート動作が評価されるオーディオ信号または音声信号処理またはトランスポートシステムの出力信号であるが、評価されるシステムの対応する入力信号である入力信号s(t)は基準信号として使用される。しかしながら、図2に関して説明されたように、入力信号s’(t)が信号s(t)と復帰信号r(t)の組み合わせである場合に会話品質を決定するためには、既知の結合装置を修正する必要がある。
【0023】
推奨されるPSQMのようなアルゴリズム(参考資料[2]、詳細には図3/861ページを参照すること)に従って、結合装置によって(内で)実行される多様な処理ステップは、いくつかの知覚効果をモデル化するための非対称処理及び無音間隔加重ステップを含む。エコー信号中の雑音、特に電話リンクの加入者Bの側で発する背景雑音が、エコー信号に対するマスキング効果を有し、このようにして主観的に知覚される会話品質の改善につながることが知られている。しかしながら、次に、エコー信号中の雑音が挿入された歪みとして解釈されるだろうアルゴリズムの認知効果をモデル化するためのステップの存在が、客観的に測定される会話品質の劣化につながるため、このようにして維持できないことが理解された。
【0024】
代わりに、会話品質を正しく測定するためには、復帰信号に存在する雑音が近くされるエコー妨害に対して有するだろうマスキング効果をモデル化するステップが導入される。このようなモデル化ステップは、復帰信号r(t)に存在するエコー成分及び雑音成分の考えられる分離に基づかせることができるだろう。しかしながら、信頼できるモデル化には、別のさらに簡略な方法で到達できるだろう。このモデル化ステップは、原則的には知覚モデル化手段(図3の39)の中で復帰信号に対し実行されてよいが、好ましくは雑音の推定値を使用することによって、差異信号に関して実行される特定的な雑音抑制ステップを暗示する。したがって、結合装置32は、
−第1部分32aでは、信号プロセッサ31から受信される2つの表現信号R(t,f)とR’(t,f)を知覚的に差し引き、差異信号D(t、f)を発生する減算手段40と、
−第2部分32bでは、入力信号s’(t)に存在する雑音の推定雑音値Neを発生する雑音推定手段41と、差異信号D(t,f)から推定雑音値Ne修正差異信号D’(t,f)を引き出す雑音抑制手段42と、
−第3部分32cでは、修正された差異信号D’(t,f)を周波数と時間に対して連続して積分し、品質信号qを発生する積分手段43と、
を有する。
【0025】
推定雑音値Neは、例えば電話リンクの種類から引き出される所定の値であってよいか、あるいは好ましくは信号出力36と雑音推定手段41の信号入力44の間の破点線によって図3で視覚化される表現信号、つまりR’(t,f)の1つから得られる。表現信号R(t,f)とR’(t、f)は、通常、それぞれ基準音声信号s(t)と低下音声信号s’(t)のラウドネス密度関数である。減算手段40の出力信号、つまりD(t,f)は、好ましくは、小さな知覚補正、つまりいわゆる内部雑音の小さな密度補正によって削減される、低下された(つまり、復帰信号中のエコー、側音、及び雑音信号の存在により歪められた)信号と基準信号(つまり、元のトーカー音声信号)のラウドネス密度間の符号付きの差異を表す。
【0026】
事実上ラウドネス密度関数である、結果として生じる差異信号D(t、f)は、背景マスキング雑音推定を受ける。この背景となる重要な考え方とは、電話呼の間に話者がつねに話の中に無音間隔を有するため、このような間隔の間(言うまでもなくエコー遅延時間後)経時的な低下信号の最小のラウドネスは、背景雑音によってほぼ完全に引き起こされるということである。音声信号処理はフレームで実行されるので、この最小値は表現信号R’(t,f)のフレームで発見される最小ラウドネス密度Neに等しく置かれてよい。それから、この最小Neは、この閾値以下のラウドネスを有する差異信号D(t、f)の全てのフレームの内容をゼロに設定し、他のフレームの内容を未変更のままとするための閾値T(Ne)を定めるために使用できる。ゼロに設定されたフレーム及び未変更のフレームは、ともに修正された差異信号D’(t,f)、つまり雑音抑制手段42の出力信号が引き出される信号を構成する(以下を参照すること)。その結果、表現信号を引き出すPSQMのようなアルゴリズムの主要ステップで使用される標準ホス雑音背景マスキング雑音は、アルゴリズムから省略されなければならない。
【0027】
図4は、流れ図によってさらに詳細に、雑音推定手段41によって発生される推定雑音値Neを使用して雑音抑制手段42が差異信号D(t、f)に対して実行するようなモデル化ステップを図解して示す。再び、簡略さのためだけに図には示されないが、信号処理がフレームに関してであることが理解される。流れ図は以下のボックスを含む。
【0028】
−ボックス45は、周波数に関して、出力36を介して信号プロセッサ31によって発生されるような表現信号R’(t,f)を積分し、ラウドネスが低下した信号R’(t)を生じさせるステップを示す。
【0029】
−ボックス46は、ラウドネスが低下した信号R’(t)に存在する雑音の推定雑音値Neを求め、Nがラウドネス低下信号R’(t)で発見されるラウドネスの最小値に等しいステップを示す。
【0030】
−差異信号から閾値差異信号Dc(t,f)を引き出す基準Cに差異信号D(t、f)を照らすステップを示すボックス47、48及び49であって、ボックス48は、ラウドネスが低下した信号R’(t)のフレームのラウドネスが基準に十分であるフレームについてDc(t,f)=D(t,f)であることを示し、ボックス49は、ラウドネスが低下した信号R’(t)のフレームのラウドネスが基準Cに十分ではないフレームについてDc(t,f)=0であることを示す。
【0031】
−ボックス50は、閾値差異信号Dc(t,f)とラウドネスが低下した信号R’(t)、の歪みラウドネス対信号ラウドネス比(DSR)つまりD’(t,f)=DSR(t,f)を計算することにより、閾値差異信号Dc(t、f)から修正された差異信号D’(t,f)を求めるステップを示す。
【0032】
実験的に、適切な基準Cは、ラウドネスが低下した信号R’(t)のフレームのラウドネスが、閾値T(Ne)より大きい、または等しいかどうかであるように考えられ、前期閾値が定数因子Cfかける推定値Ne、つまりT(Ne)=Cf.Neであることを選ぶ。定数因子に適切な値はCf=1.6であると考えられる。
【0033】
差異信号のDSRを計算する際に、クリッピングが信号ラウドネスで、それ以下の信号ラウドネスはその閾値に設定される閾値を導入することにより実行される。4という閾値の最適化では、Soneが発見された。
【0034】
最後に、修正された差異信号D’(t,f)は、p=0.8のLpノルム(つまり、一般的に知られているルベーグp平均化関数またはルベーグノルム)を使用して、及び経時的にはp=6のLpノルムを使用して、まず周波数に関して積分手段43によって積分され、結果として会話品質の出力値qが生じる。
【0035】
試験音声信号の7つのデータベースについて実験的に得られるような会話品質を評価するための、このようにして修正された客観的な測定方法及び装置の品質出力値は、主観的に知覚される会話品質の平均オピニオン評点(MOS)で(0.93を超える)高い相関性を示した。
【0036】
会話品質の測定のためには、表現信号R’(t、f)がトーカー音声信号と復帰信号の信号組み合わせの表現であることが必要である。しかしながら、これを実現するために、低下信号s’(t)が、図2(信号結合器24)に、及び図3(s’(t)=s(t)+r(t))に示されるようなこれら2つの信号の信号組み合わせであることは必要ではない。また、復帰信号(r(t))を低下信号(s’(t))として使用し、知覚モデル化手段38によって実行されるように、基準信号を処理する中間段階で中間信号を取得することも可能であり、それからそれは、知覚モデル化手段39によって実行されるように、低下信号を処理する対応する中間段階で取得される対応する中間信号(Ps’(f))と組み合わされる。好ましくは、中間信号は、基準音声信号(s(t))の高速フーリエ変換べき表現(Ps(f))である。この修正は、図5にさらに詳細に図解して示される。知覚モデル化手段38と39は、それぞれトーカー音声信号s(t)と、ここでは復帰信号r(t)に等しい低下信号s’(t)のFTTべき表現である中間信号Ps(f)とPr(f)を発生するために、それぞれボックス51と52で示される、通常通り(参考資料[2]を参照すること)に処理する第1段階でハニング窓(HW)を決定するステップと、続いて高速フーリエ変換(FFT)ベキ表現を決定するステップを実行する。処理の第2段階では、表現信号R(t,f)とR’(t,f)を発生するために、それぞれボックス53と54で示される、勾配定規への周波数曲がり(frequency warping)(FW)のステップが実行され、周波数スミアリング(frequency smearing)(FS)と強度曲がり(intensity warping)(IW)のステップが続く。第1段階と第2段階の間で、ボックス52と54で示されるように、信号加算器55により示される中間信号Ps(f)とPr(f)の中間信号加算が実行され、加算での中間信号合計は第2処理段階(ボックス54)の入力である。中間信号加算が適用される前に、中間信号P(s(f))は、通常通り正しいレベルに縮小拡大されなければならない。
【0037】
その結果、外部加算(s’(t)=s(t)+r(t))の代わりに、このような中間信号加算(Ps(f)+Pr(f))を知覚モデル化手段の内側で使用するとき、組み合わせ回路24は不必要になる。図5に関して説明されるような修正を含んだ図3に関して説明されるような装置が、参考資料[1]ですでに説明されているように、電話リンクで直接的に使用される場合には、装置の入力ポート33と34は、それぞれ電話リンクの順方向チャネルと帰路チャネルの4線部分17と18に直接的に結合されてよい。
【図面の簡単な説明】
【図1】
図1は電気通信網における通常の電話リンクの例を示す。
【図2】
図2は音声信号の知覚的品質を測定するための既知の客観的な測定技法を使用して電話リンクの会話品質を測定するための前述されたセットアップを概略で示す。
【図3】
図3は図2のセットアップで使用される本発明による電話リンクの会話品質の客観的測定のための装置を概略で示す。
【図4】
図4は図3に図示される装置の一部の詳細な動作の流れ図を示す。
【図5】
図5は図3に示される装置の追加の部分の変型を概略で示す。
Claims (15)
- トーカー音声信号s(t)に関して低下した音声信号s’(t)を客観的測定技法(22)にかけ、品質信号(q)を発生する主要ステップを有し、
低下音声信号が、電話リンクの順方向チャネルでのトーカー音声信号の伝送中に電話リンクの帰路チャネルで発生する信号に相当する復帰信号r(t)を含み、前記主要ステップが、復帰信号に存在する雑音の結果でマスキング効果をモデル化するステップを含むことを特徴とする、電気通信網における電話リンクの会話品質を測定するための方法。 - 該主要ステップが、
低下音声信号(s’(t))を処理し、第1表現信号(R’(t,f))を発生する第1処理ステップと、
トーカー音声信号(s(t))を処理し、第2表現信号(R(t,f))を発生する第2処理ステップと、
品質信号(q)を発生できるように、第1表現信号と第2表現信号を組み合わせる結合ステップと、を有し、
第1表現信号(R(t,f))がトーカー音声信号と復帰信号の信号組み合わせの表現信号であり、結合ステップが、復帰信号に存在する雑音の結果でマスキング効果をモデル化する前記ステップを含むことを特徴とする請求項1に記載の方法。 - 結合ステップが、
差異信号(D(t,f))を発生できるように、第1表現信号を第2表現信号から差し引く(32a)ステップと、
修正された差異信号を発生できるように、差異信号で実行される雑音のマスキング効果をモデル化する(32b)ステップと、
品質信号を発生できるように、周波数と時間に関して修正された差異信号を積分する(32c)ステップと、を含み、
モデル化ステップが、
復帰信号に存在する雑音のラウドネスの推定値(Ne)を発生する(41)第1サブステップと、
修正された差異信号(D’(t,f))を発生できるように、前記発生された推定値(Ne)を使用して差異信号に実行される雑音抑制(42、46)の第2サブステップと、
を含むことを特徴とする請求項2に記載の方法。 - 雑音抑制の第2サブステップが、追加の、
ラウドネス基準(C)を推定値(Ne)から引き出す(46)サブステップと、
基準に足りない差異信号のラウドネス(ドメイン)での歪みを閾値差異信号(Dc(t,f))のラウドネス(ドメイン)でゼロに設定する(47、48、49)サブステップと、
第1表現信号(R’(t,f))から引き出されるラウドネスが低下した信号(R’(t))に関して、閾値信号(Dc(t、f))の歪みラウドネス対信号ラウドネス比(DSR(t、f))を計算することにより、修正された差異信号(D’(t,f))を引き出す(50)サブステップと、を含むことを特徴とする請求項3の方法。 - 雑音ラウドネスの推定値が第1表現信号(R’(t,f))から引き出されることを特徴とする請求項2から4のいずれかに記載の方法。
- 低下信号(s’(t))が、トーカー音声信号(s(t))と復帰信号(r(t))の信号組み合わせであることを特徴とする請求項2から5のいずれかに記載の方法。
- 復帰信号(r(t))が、低下信号(s’(t))として使用され、基準信号を処理する第2処理ステップの中間段階中に得られる中間信号(Ps(f))が、低下信号を処理する第1処理ステップの対応する中間段階の間に取得される対応する中間信号(Ps’(f))と組み合わされることを特徴とする請求項2から5のいずれかに記載の方法。
- 中間信号が、基準音声信号(s(t))の高速フーリエ変換べき表現(Ps(f))であることを特徴とする請求項7に記載の方法。
- トーカー音声信号及び復帰信号が確立された電話リンクから取り去られることを特徴とする請求項1から8のいずれかに記載の方法。
- 電気通信網(10)における電話リンクの会話品質を測定する装置であって、トーカー音声信号s(t)に関して低下した音声信号s’(t)を客観的な測定技法にかけ、品質信号(q)を発生する測定手段(22,31、36)を有し、
低下音声信号が、電話リンクの順方向チャネルでのトーカー音声信号の伝送中に電話リンクの帰路チャネルで発生する信号に相当する復帰信号r(t)を含み、
測定手段が、復帰信号に存在する雑音の結果でマスキング効果をモデル化する手段(32b)を含むことを特徴とする装置。 - 装置が、
低下音声信号(s’(t))を処理し、第1表現信号(R’(t,f))を発生する第1処理手段(39)と、
トーカー音声信号(s(t))を処理し、第2表現信号(R(t,f))を発生する第2処理手段(38)と、
品質信号(q)を発生できるように第1表現信号と第2表現信号を結合する結合手段(32)であって、マスキング効果をモデル化する前記手段(32b)を含む結合手段と、
を有することを特徴とする請求項10に記載の装置。 - 結合手段が、
差異信号(D(t,f))を発生できるように、第2表現信号から第1表現信号を差し引く減算手段(40)と、
修正された差異信号を発生できるように、差異信号で実行されるマスキング効果をモデル化する前記モデル化手段(41,42)と、
品質信号を発生できるように周波数に関して修正された差異信号を積分する積分手段(43)と、を含み、
モデル化手段が、
復帰信号に存在する雑音のラウドネスの推定値(Ne)を発生する手段(41)と、
前記発生された推定値(Ne)を使用して差異信号に雑音抑制を実行し、修正された差異信号(D’(t,f))を発生する手段(42)と、
を含み、
第1表現信号(R’(t,f))がトーカー音声信号と復帰信号の信号組み合わせの表現信号であることを特徴とする請求項11に記載の装置。 - 装置が、低下信号(s’(t))を形成できるように、トーカー音声信号(s(t))と復帰信号(r(t))を結合する信号結合器(24)を含むことを特徴とする請求項10、11、または12に記載の装置。
- 装置が第2処理手段(38)の中間段階で取得される中間信号(Ps(f))を、第1処理手段(39)の対応する中間段階で取得される対応する中間信号(Ps’(f))と組み合わせる中間信号組み合わせ手段を含み、低下信号(s’(t))が復帰信号(r(t))であることを特徴とする請求項10、11、または12に記載の装置。
- 中間信号組み合わせ手段(55)が、高速フーリエ変換(FTT)を実行する手段の後の第1処理手段(39)に含まれることを特徴とする請求項14に記載の装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP00203936A EP1206104B1 (en) | 2000-11-09 | 2000-11-09 | Measuring a talking quality of a telephone link in a telecommunications network |
PCT/EP2001/011777 WO2002039707A2 (en) | 2000-11-09 | 2001-10-11 | Measuring a talking quality of a telephone link in a telecommunications network |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004514327A true JP2004514327A (ja) | 2004-05-13 |
JP4098083B2 JP4098083B2 (ja) | 2008-06-11 |
Family
ID=8172245
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002541902A Expired - Fee Related JP4098083B2 (ja) | 2000-11-09 | 2001-10-11 | 電気通信網における電話リンクの会話品質の測定 |
Country Status (9)
Country | Link |
---|---|
US (1) | US7366663B2 (ja) |
EP (2) | EP1206104B1 (ja) |
JP (1) | JP4098083B2 (ja) |
AT (1) | ATE333751T1 (ja) |
AU (1) | AU2002223612A1 (ja) |
DE (1) | DE60029453T2 (ja) |
DK (1) | DK1206104T3 (ja) |
ES (1) | ES2267457T3 (ja) |
WO (1) | WO2002039707A2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011215211A (ja) * | 2010-03-31 | 2011-10-27 | Clarion Co Ltd | 音質評価装置およびそのためのプログラム |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
PT945045E (pt) * | 1996-12-13 | 2000-10-31 | Koninkl Kpn Nv | Dispositivo e um metodo para a determinacao da qualidade de um sinal |
EP1241663A1 (en) * | 2001-03-13 | 2002-09-18 | Koninklijke KPN N.V. | Method and device for determining the quality of speech signal |
US20040167774A1 (en) * | 2002-11-27 | 2004-08-26 | University Of Florida | Audio-based method, system, and apparatus for measurement of voice quality |
BRPI0410740A (pt) * | 2003-05-28 | 2006-06-27 | Dolby Lab Licensing Corp | método, aparelho e programa de computador para calcular e ajustar o volume percebido de um sinal de áudio |
EP1492084B1 (en) | 2003-06-25 | 2006-05-17 | Psytechnics Ltd | Binaural quality assessment apparatus and method |
JP4317222B2 (ja) * | 2003-08-28 | 2009-08-19 | コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ | ネットワークにおける通信リンクの送話品質の測定 |
US7525952B1 (en) * | 2004-01-07 | 2009-04-28 | Cisco Technology, Inc. | Method and apparatus for determining the source of user-perceived voice quality degradation in a network telephony environment |
ATE405922T1 (de) * | 2004-09-20 | 2008-09-15 | Tno | Frequenzkompensation für die wahrnehmungsbezogene sprachanalyse |
CA2581810C (en) | 2004-10-26 | 2013-12-17 | Dolby Laboratories Licensing Corporation | Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal |
US8199933B2 (en) | 2004-10-26 | 2012-06-12 | Dolby Laboratories Licensing Corporation | Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal |
US20060200346A1 (en) * | 2005-03-03 | 2006-09-07 | Nortel Networks Ltd. | Speech quality measurement based on classification estimation |
US8005675B2 (en) * | 2005-03-17 | 2011-08-23 | Nice Systems, Ltd. | Apparatus and method for audio analysis |
PL1931197T3 (pl) * | 2005-04-18 | 2015-09-30 | Basf Se | Preparat zawierający co najmniej jeden fungicyd konazolowy, inny fungicyd i jeden kopolimer stabilizujący |
TWI517562B (zh) * | 2006-04-04 | 2016-01-11 | 杜比實驗室特許公司 | 用於將多聲道音訊信號之全面感知響度縮放一期望量的方法、裝置及電腦程式 |
EP2002426B1 (en) * | 2006-04-04 | 2009-09-02 | Dolby Laboratories Licensing Corporation | Audio signal loudness measurement and modification in the mdct domain |
DE602007011594D1 (de) | 2006-04-27 | 2011-02-10 | Dolby Lab Licensing Corp | Tonverstärkungsregelung mit erfassung von publikumsereignissen auf der basis von spezifischer lautstärke |
MY144271A (en) | 2006-10-20 | 2011-08-29 | Dolby Lab Licensing Corp | Audio dynamics processing using a reset |
US8521314B2 (en) * | 2006-11-01 | 2013-08-27 | Dolby Laboratories Licensing Corporation | Hierarchical control path with constraints for audio dynamics processing |
US8456840B1 (en) | 2007-07-06 | 2013-06-04 | Exaflop Llc | Modular data center cooling |
JP5192544B2 (ja) * | 2007-07-13 | 2013-05-08 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 聴覚情景分析とスペクトルの歪みを用いた音響処理 |
EP2410516B1 (en) * | 2007-09-11 | 2013-02-13 | Deutsche Telekom AG | Method and system for the integral and diagnostic assessment of listening speech quality |
EP2232700B1 (en) | 2007-12-21 | 2014-08-13 | Dts Llc | System for adjusting perceived loudness of audio signals |
US8472909B2 (en) * | 2008-05-21 | 2013-06-25 | Nxp, B.V. | Filter device for detecting and/or removing erroneous components in and/or from a signal |
DE102008030086A1 (de) * | 2008-06-25 | 2010-01-14 | Siemens Aktiengesellschaft | Automatisierte Rückmeldung über eine Sprachqualtität |
US8949114B2 (en) | 2009-06-04 | 2015-02-03 | Optis Wireless Technology, Llc | Method and arrangement for estimating the quality degradation of a processed signal |
US8655651B2 (en) * | 2009-07-24 | 2014-02-18 | Telefonaktiebolaget L M Ericsson (Publ) | Method, computer, computer program and computer program product for speech quality estimation |
US8538042B2 (en) * | 2009-08-11 | 2013-09-17 | Dts Llc | System for increasing perceived loudness of speakers |
US9031221B2 (en) * | 2009-12-22 | 2015-05-12 | Cyara Solutions Pty Ltd | System and method for automated voice quality testing |
US9312829B2 (en) | 2012-04-12 | 2016-04-12 | Dts Llc | System for adjusting loudness of audio signals in real time |
CN103077727A (zh) * | 2013-01-04 | 2013-05-01 | 华为技术有限公司 | 一种用于语音质量监测和提示的方法和装置 |
CN106531190B (zh) * | 2016-10-12 | 2020-05-05 | 科大讯飞股份有限公司 | 语音质量评价方法和装置 |
CN106713623A (zh) * | 2016-12-08 | 2017-05-24 | 深圳市传测科技有限公司 | 一种通信终端植入式的通话检测***与方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4449238A (en) * | 1982-03-25 | 1984-05-15 | Bell Telephone Laboratories, Incorporated | Voice-actuated switching system |
US4677676A (en) * | 1986-02-11 | 1987-06-30 | Nelson Industries, Inc. | Active attenuation system with on-line modeling of speaker, error path and feedback pack |
US5001703A (en) * | 1989-01-23 | 1991-03-19 | Motorola, Inc. | Spectrally efficient TDM duplex communication system |
CA2483322C (en) * | 1991-06-11 | 2008-09-23 | Qualcomm Incorporated | Error masking in a variable rate vocoder |
US5271057A (en) * | 1991-10-09 | 1993-12-14 | Bell Communications Research, Inc. | Audio processing system for teleconferencing system |
US5649299A (en) * | 1993-10-27 | 1997-07-15 | Motorola, Inc. | Apparatus and method for adapting a digital radiotelephone system to increased subscriber traffic |
EP0984661B1 (en) * | 1994-05-18 | 2002-08-07 | Nippon Telegraph and Telephone Corporation | Transmitter-receiver having ear-piece type acoustic transducer part |
TW271524B (ja) * | 1994-08-05 | 1996-03-01 | Qualcomm Inc | |
DE69517325T2 (de) * | 1994-08-18 | 2000-12-28 | British Telecommunications P.L.C., London | Tonqualitätsanalyse |
US6201960B1 (en) * | 1997-06-24 | 2001-03-13 | Telefonaktiebolaget Lm Ericsson (Publ) | Speech quality measurement based on radio link parameters and objective measurement of received speech signals |
KR100244193B1 (ko) * | 1997-06-30 | 2000-02-01 | 윤종용 | 더미 파일럿을 이용한 하드 핸드오프 방법 |
-
2000
- 2000-11-09 AT AT00203936T patent/ATE333751T1/de not_active IP Right Cessation
- 2000-11-09 EP EP00203936A patent/EP1206104B1/en not_active Expired - Lifetime
- 2000-11-09 DE DE60029453T patent/DE60029453T2/de not_active Expired - Lifetime
- 2000-11-09 ES ES00203936T patent/ES2267457T3/es not_active Expired - Lifetime
- 2000-11-09 DK DK00203936T patent/DK1206104T3/da active
-
2001
- 2001-10-11 AU AU2002223612A patent/AU2002223612A1/en not_active Abandoned
- 2001-10-11 US US10/398,263 patent/US7366663B2/en not_active Expired - Fee Related
- 2001-10-11 JP JP2002541902A patent/JP4098083B2/ja not_active Expired - Fee Related
- 2001-10-11 WO PCT/EP2001/011777 patent/WO2002039707A2/en not_active Application Discontinuation
- 2001-10-11 EP EP01994017A patent/EP1336288A2/en not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011215211A (ja) * | 2010-03-31 | 2011-10-27 | Clarion Co Ltd | 音質評価装置およびそのためのプログラム |
US9031837B2 (en) | 2010-03-31 | 2015-05-12 | Clarion Co., Ltd. | Speech quality evaluation system and storage medium readable by computer therefor |
Also Published As
Publication number | Publication date |
---|---|
ATE333751T1 (de) | 2006-08-15 |
AU2002223612A1 (en) | 2002-05-21 |
DE60029453D1 (de) | 2006-08-31 |
WO2002039707A2 (en) | 2002-05-16 |
DK1206104T3 (da) | 2006-10-30 |
WO2002039707A3 (en) | 2002-07-18 |
DE60029453T2 (de) | 2007-04-12 |
ES2267457T3 (es) | 2007-03-16 |
EP1336288A2 (en) | 2003-08-20 |
US7366663B2 (en) | 2008-04-29 |
JP4098083B2 (ja) | 2008-06-11 |
EP1206104B1 (en) | 2006-07-19 |
US20040042617A1 (en) | 2004-03-04 |
EP1206104A1 (en) | 2002-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4098083B2 (ja) | 電気通信網における電話リンクの会話品質の測定 | |
EP0981888B1 (en) | Testing telecommunications equipment | |
JP3568922B2 (ja) | エコー処理装置 | |
EP1927192B1 (en) | Method for measuring speech intelligibility | |
JP2002237785A (ja) | 人間の聴覚補償によりsidフレームを検出する方法 | |
CN109565625B (zh) | 耳机佩戴状态监测装置及方法 | |
JP2004282700A (ja) | エコー検出および監視 | |
JP4317222B2 (ja) | ネットワークにおける通信リンクの送話品質の測定 | |
Moeller et al. | Objective estimation of speech quality for communication systems | |
EP1492084A1 (en) | Binaural quality assessment apparatus and method | |
Gierlich et al. | Advances in perceptual modeling of speech quality in telecommunications | |
Gierlich et al. | Advanced speech quality testing of modern telecommunication equipment: An overview | |
Möller et al. | Extending the e-model for capturing noise reduction and echo canceller impairments | |
Gierlich et al. | Background Noise Transmission and Comfort Noise Insertion: The Influence of Signal Processing on" Speech"-Quality in Complex Telecommunication Scenarios | |
Reimes | Assessment of Listening Effort for various Telecommunication Scenarios | |
JP3579622B2 (ja) | 反響抑圧における所望エコー抑圧量導出方法及びその装置 | |
Biscainho et al. | An objective method for quality assessment of ultra-wideband speech corrupted by echo | |
JPH10150343A (ja) | 反響消去方法および装置 | |
EP1216519B1 (en) | Measuring the perceptual quality of speech signals including echo disturbances | |
Gierlich | Challenges in wideband communication | |
Gierlich et al. | Conversational speech quality-the dominating parameters in VoIP systems | |
JP2002033708A (ja) | 信号伝送媒体の信号伝送品質の評価装置、評価方法、ならびに、情報記録媒体 | |
Krebber et al. | Enhancement of telephone situations for hearing impaired | |
Rietz et al. | Towards conversational crowdsourcing tests: Measuring loudness ratings and delay of German crowdworkers | |
Kettler et al. | Objective end-to-end (mouth-to-ear) conversational speech quality tests for VoIP scenarios |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060221 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060512 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20060519 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060821 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070227 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070507 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070514 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070627 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070827 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080312 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110321 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |