JP2002040926A - インターネット上での自動発音比較方法を用いた外国語発音学習及び口頭テスト方法 - Google Patents
インターネット上での自動発音比較方法を用いた外国語発音学習及び口頭テスト方法Info
- Publication number
- JP2002040926A JP2002040926A JP2000395975A JP2000395975A JP2002040926A JP 2002040926 A JP2002040926 A JP 2002040926A JP 2000395975 A JP2000395975 A JP 2000395975A JP 2000395975 A JP2000395975 A JP 2000395975A JP 2002040926 A JP2002040926 A JP 2002040926A
- Authority
- JP
- Japan
- Prior art keywords
- pronunciation
- difference
- learner
- comparison
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012360 testing method Methods 0.000 title claims abstract description 25
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 17
- 238000011156 evaluation Methods 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims description 25
- 230000005236 sound signal Effects 0.000 claims description 14
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 9
- 238000010998 test method Methods 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 8
- 230000033764 rhythmic process Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 2
- 230000000052 comparative effect Effects 0.000 claims 1
- 210000005036 nerve Anatomy 0.000 abstract 1
- 230000001755 vocal effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005312 nonlinear dynamic Methods 0.000 description 2
- 210000000225 synapse Anatomy 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 102100033041 Carbonic anhydrase 13 Human genes 0.000 description 1
- 101000867860 Homo sapiens Carbonic anhydrase 13 Proteins 0.000 description 1
- ZVQOOHYFBIDMTQ-UHFFFAOYSA-N [methyl(oxido){1-[6-(trifluoromethyl)pyridin-3-yl]ethyl}-lambda(6)-sulfanylidene]cyanamide Chemical compound N#CN=S(C)(=O)C(C)C1=CC=C(C(F)(F)F)N=C1 ZVQOOHYFBIDMTQ-UHFFFAOYSA-N 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
Landscapes
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- Marketing (AREA)
- Educational Technology (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
(57)【要約】
【課題】 本発明は、インターネット上での自動発音比
較方法を用いて外国語発音学習及び口頭テストのための
サービスを提供する。 【解決手段】 外国語の聴き取り及び会話をインターネ
ットに連結されたコンピュータを用いて学習でき、しか
も客観的な尺度を通じて学習者の外国語の会話能力をテ
スト出来る本発明は、学習者音声信号１０と、ネーティ
ブスピーカーの音声信号２０と、自動音声比較ネットワ
ーク３０と、ＤＴＷ基盤差異比較モデル４０と、誤差補
正神経回路網５０と、専門化評価比較ネットワーク６０
と、誤差計算ネットワークとを備える。
較方法を用いて外国語発音学習及び口頭テストのための
サービスを提供する。 【解決手段】 外国語の聴き取り及び会話をインターネ
ットに連結されたコンピュータを用いて学習でき、しか
も客観的な尺度を通じて学習者の外国語の会話能力をテ
スト出来る本発明は、学習者音声信号１０と、ネーティ
ブスピーカーの音声信号２０と、自動音声比較ネットワ
ーク３０と、ＤＴＷ基盤差異比較モデル４０と、誤差補
正神経回路網５０と、専門化評価比較ネットワーク６０
と、誤差計算ネットワークとを備える。
Description
【０００１】
【発明の属する技術分野】本発明は、インターネット上
での自動初本比較方法を用いた外国語発音学習及び口頭
テストのための学習サービスの提供方法に関するもので
ある。特に、ネーティブスピーカー音声、学習者音声、
専門家評価からなるデータを用いて自動音声比較ネット
ワークを学習し、学習された自動音声比較ネットワーク
を用いて学習者が発音した音声をネーティブスピーカー
の発音と比較し、発音の正確度を求めるテストが行える
ようにする双方向外国語発音学習及び口頭テストのため
のサービスに関するものである。
での自動初本比較方法を用いた外国語発音学習及び口頭
テストのための学習サービスの提供方法に関するもので
ある。特に、ネーティブスピーカー音声、学習者音声、
専門家評価からなるデータを用いて自動音声比較ネット
ワークを学習し、学習された自動音声比較ネットワーク
を用いて学習者が発音した音声をネーティブスピーカー
の発音と比較し、発音の正確度を求めるテストが行える
ようにする双方向外国語発音学習及び口頭テストのため
のサービスに関するものである。
【０００２】
【従来の技術】従来の外国語学習方法において、聴き取
りと会話学習はカセットテープやビデオテープを通じて
ネーティブスピーカーの発音を繰り返して聴き、学習者
が発音の真似をし、ネーティブスピーカーの発音と似通
った程度を自らが判断しながら発音が正確になるように
反復して学習した。
りと会話学習はカセットテープやビデオテープを通じて
ネーティブスピーカーの発音を繰り返して聴き、学習者
が発音の真似をし、ネーティブスピーカーの発音と似通
った程度を自らが判断しながら発音が正確になるように
反復して学習した。
【０００３】斯かる学習方式は、自分の外国語発音に対
する客観的な評価が行えないので、客観的な尺度を通じ
て自分とネーティブスピーカーとの発音における差を求
める努力が行われてきた。
する客観的な評価が行えないので、客観的な尺度を通じ
て自分とネーティブスピーカーとの発音における差を求
める努力が行われてきた。
【０００４】すなわち、従来には時間領域での音声差、
例えば、音声信号のトンと全体発音時間の差を単純に比
較し、ネーティブスピーカーの発音と学習者との発音を
比較する方法が主に用いられた。
例えば、音声信号のトンと全体発音時間の差を単純に比
較し、ネーティブスピーカーの発音と学習者との発音を
比較する方法が主に用いられた。
【０００５】最近、音声信号処理技術を用いた発音比較
方法が開発されており、該方法は隠れマルコフ・モデル
(Hidden Markov Model;以下、ＨＭＭという。）を用い
て学習者の発音音声に対する認識をした後、ネーティブ
スピーカーの音声と比較するアルゴリズムがほとんどで
ある。
方法が開発されており、該方法は隠れマルコフ・モデル
(Hidden Markov Model;以下、ＨＭＭという。）を用い
て学習者の発音音声に対する認識をした後、ネーティブ
スピーカーの音声と比較するアルゴリズムがほとんどで
ある。
【０００６】しかし、学習者が周辺雑音のある環境で発
音をしたり、学習者の発音が不分明したりして認識上に
おいて誤謬が発生すると、ネーティブスピーカー発音と
の差が意味なくなる可能性が多い。
音をしたり、学習者の発音が不分明したりして認識上に
おいて誤謬が発生すると、ネーティブスピーカー発音と
の差が意味なくなる可能性が多い。
【０００７】また、学習者の外国語における聴き取りと
会話能力を評価するためには、ＴＳＥ(Test of Speakin
g English)，ＳＥＰＴ(Spoken English Proficiency Te
st)等のような専門評価試験を、指定された時間及び場
所でネーティブスピーカー語学専門家に直接質問され応
答をするインタビュー方式により、学習者の外国語能力
を評価することが出来た。
会話能力を評価するためには、ＴＳＥ(Test of Speakin
g English)，ＳＥＰＴ(Spoken English Proficiency Te
st)等のような専門評価試験を、指定された時間及び場
所でネーティブスピーカー語学専門家に直接質問され応
答をするインタビュー方式により、学習者の外国語能力
を評価することが出来た。
【０００８】
【発明が解決しようとする課題】しかしながら、これら
の方法は、やはり外国語能力をテストするにおいて時間
と空間が制約され、専門家の評価も疲労度や周辺状況に
よる主観的な要素に影響を受けやすいという問題があっ
た。
の方法は、やはり外国語能力をテストするにおいて時間
と空間が制約され、専門家の評価も疲労度や周辺状況に
よる主観的な要素に影響を受けやすいという問題があっ
た。
【０００９】本発明は、前記問題点に鑑みてなされたも
のであり、本発明の目的は、動的時間ワーピング(Dynam
ic Time Warping;以下、ＤＴＷという。）基盤の自動音
声比較アルゴリズムを通じて学習者の音声を認識せず、
ネーティブスピーカー音声との差を迅速且つ正確に比較
することが出来る語学学習方法を具現するようにしたイ
ンターネット上での自動発音比較方法を用いた外国語発
音及学習及び口頭テスト方法を提供することにある。
のであり、本発明の目的は、動的時間ワーピング(Dynam
ic Time Warping;以下、ＤＴＷという。）基盤の自動音
声比較アルゴリズムを通じて学習者の音声を認識せず、
ネーティブスピーカー音声との差を迅速且つ正確に比較
することが出来る語学学習方法を具現するようにしたイ
ンターネット上での自動発音比較方法を用いた外国語発
音及学習及び口頭テスト方法を提供することにある。
【００１０】本発明の他の目的は、インターネット上の
ウェッブ基盤状態で学習者が時間と場所に拘らず、希望
の時間と場所で自分の外国語発音を練習して口頭テスト
を受けることが出来る、インターネット上での自動発音
比較方法を用いた外国語発音学習及び口頭テスト方法を
提供することにある。
ウェッブ基盤状態で学習者が時間と場所に拘らず、希望
の時間と場所で自分の外国語発音を練習して口頭テスト
を受けることが出来る、インターネット上での自動発音
比較方法を用いた外国語発音学習及び口頭テスト方法を
提供することにある。
【００１１】
【課題を解決するための手段】上述した目的を達成する
ために本発明は、ネーティブスピーカーの音声と学習者
の音声を自動により比較し、その差を求める外国語発音
学習方法において、学習者音声とネーティブスピーカー
音声の音韻及び韻律の差値がＤＴＷ基盤差比較ネットワ
ークによって計算され、誤差計算ネットワークによって
専門家評価比較ネットワークで評価した比較数値との差
が計算され、その差値が小さくなるようにＤＴＷ基盤差
ネットワークを学習するようにするインターネット上で
の自動発音比較方法を用いた外国語発音学習及び口頭テ
スト方法が提示される。
ために本発明は、ネーティブスピーカーの音声と学習者
の音声を自動により比較し、その差を求める外国語発音
学習方法において、学習者音声とネーティブスピーカー
音声の音韻及び韻律の差値がＤＴＷ基盤差比較ネットワ
ークによって計算され、誤差計算ネットワークによって
専門家評価比較ネットワークで評価した比較数値との差
が計算され、その差値が小さくなるようにＤＴＷ基盤差
ネットワークを学習するようにするインターネット上で
の自動発音比較方法を用いた外国語発音学習及び口頭テ
スト方法が提示される。
【００１２】
【発明の実施の形態】以下、本発明をその実施の形態を
示す図面に基づいて具体的に説明する。図１は、本発明
に係るインターネット上での外国語発音学習及び口頭テ
ストのための自動音声比較ネットワークアルゴリズムを
示したブロック構成図である。
示す図面に基づいて具体的に説明する。図１は、本発明
に係るインターネット上での外国語発音学習及び口頭テ
ストのための自動音声比較ネットワークアルゴリズムを
示したブロック構成図である。
【００１３】まず、自動音声比較ネットワークアルゴリ
ズムの具現のために、与えられたデータはネーティブス
ピーカーと学習者が発音したそれぞれの単語や文章に対
し、専門家が比較した発音差値である。普通、発音差値
は、１〜５まで５個の離散値(discrete value)を採る。
ここで、ネーティブスピーカーの音声は時間によって発
音記号が表示されたデータ(transcribed date)として仮
定する。
ズムの具現のために、与えられたデータはネーティブス
ピーカーと学習者が発音したそれぞれの単語や文章に対
し、専門家が比較した発音差値である。普通、発音差値
は、１〜５まで５個の離散値(discrete value)を採る。
ここで、ネーティブスピーカーの音声は時間によって発
音記号が表示されたデータ(transcribed date)として仮
定する。
【００１４】図１に図示された自動音声比較ネットワー
クアルゴリズムをみると、学習者音声信号１０と、ネー
ティブスピーカー音声信号２０、自動音声比較ネットワ
ーク３０、専門家評価比較ネットワーク６０及び誤差計
算ネットワーク７０とから構成されている。
クアルゴリズムをみると、学習者音声信号１０と、ネー
ティブスピーカー音声信号２０、自動音声比較ネットワ
ーク３０、専門家評価比較ネットワーク６０及び誤差計
算ネットワーク７０とから構成されている。
【００１５】この時、学習者の音声信号１０とネーティ
ブスピーカーの音声信号２０はネットワーク３０によっ
て音韻と韻律の差値が計算される。自動音声比較ネット
ワーク３０ではＤＴＷ基盤差比較ネットワーク４０と誤
差補正神経回路網５０をさらに含んで構成される。
ブスピーカーの音声信号２０はネットワーク３０によっ
て音韻と韻律の差値が計算される。自動音声比較ネット
ワーク３０ではＤＴＷ基盤差比較ネットワーク４０と誤
差補正神経回路網５０をさらに含んで構成される。
【００１６】誤差計算ネットワーク７０には、専門家評
価比較ネットワーク６０の数値と自動音声比較ネットワ
ーク３０で求めた比較数値との差を求め、その差値が小
さくなるように誤差補正神経回路網５０の学習が行われ
る。
価比較ネットワーク６０の数値と自動音声比較ネットワ
ーク３０で求めた比較数値との差を求め、その差値が小
さくなるように誤差補正神経回路網５０の学習が行われ
る。
【００１７】図２は、図１に図示されたＤＴＷ基盤差比
較モデルの部分詳細図である。図２に図示されたＤＴＷ
基盤差比較モデル（又はＤＴＷ基盤差比較モデルネット
ワーク）をさらに詳しく説明すると、学習者の音声信号
１０とネーティブスピーカーの音声信号２０はＤＴＷ基
盤差比較モデル４０により音韻差と韻律差が計算され
る。
較モデルの部分詳細図である。図２に図示されたＤＴＷ
基盤差比較モデル（又はＤＴＷ基盤差比較モデルネット
ワーク）をさらに詳しく説明すると、学習者の音声信号
１０とネーティブスピーカーの音声信号２０はＤＴＷ基
盤差比較モデル４０により音韻差と韻律差が計算され
る。
【００１８】まず、音韻差計算モデル４２には、強さ差
異比較４２ａブロックと、時間差比較４２ｂブロック
と、周波数差比較４２ｃブロックが計算され、与えられ
たネーティブスピーカーの文章発音に対して単語別、音
節別、音素別に学習者発音の正確度を計算するブロック
である。
異比較４２ａブロックと、時間差比較４２ｂブロック
と、周波数差比較４２ｃブロックが計算され、与えられ
たネーティブスピーカーの文章発音に対して単語別、音
節別、音素別に学習者発音の正確度を計算するブロック
である。
【００１９】強さ差異比較４２ａブロックでは話者(spe
aker)による音声信号の特徴を全て無くした後、２音声
の信号間の差を求める。すなわち、学習者が発音した音
声とネーティブスピーカー音声の言語学メッセージ(lin
guistic message)のみの差を求めるブロックと言える。
時間差比較４２ｂブロックは文章、単語、音節、音素等
の発音持続時間の差を求めるブロックであり、周波数差
比較４２ｃブロックは学習者が発音した音声とネーティ
ブスピーカーの音声間のホルマント(formant)位置差を
計算するブロックを示す。
aker)による音声信号の特徴を全て無くした後、２音声
の信号間の差を求める。すなわち、学習者が発音した音
声とネーティブスピーカー音声の言語学メッセージ(lin
guistic message)のみの差を求めるブロックと言える。
時間差比較４２ｂブロックは文章、単語、音節、音素等
の発音持続時間の差を求めるブロックであり、周波数差
比較４２ｃブロックは学習者が発音した音声とネーティ
ブスピーカーの音声間のホルマント(formant)位置差を
計算するブロックを示す。
【００２０】音韻差計算モデル４４は、文章全体で音素
と音素の間、音節と音節の間、単語と単語の間等を学習
者が正確に発音したかを求めるブロックを示す。音韻差
計算モデル４４には、強勢(stress)差比較４４ａブロッ
クと、イントネーション(intonation)差比較４４ｂブロ
ック及び、リズム(rhythm)差比較４４ｃブロックが計算
される。
と音素の間、音節と音節の間、単語と単語の間等を学習
者が正確に発音したかを求めるブロックを示す。音韻差
計算モデル４４には、強勢(stress)差比較４４ａブロッ
クと、イントネーション(intonation)差比較４４ｂブロ
ック及び、リズム(rhythm)差比較４４ｃブロックが計算
される。
【００２１】この時、音韻計算モデル４４は、学習者と
ネーティブスピーカー音声のピッチ輪郭線(pitch conto
ur)差から得られる。すなわち、学習者とネーティブス
ピーカーの音声で時間によるピッチ形状を既存のピッチ
検出方法を用いる。強勢差比較４４ａブロックは、ピッ
チ輪郭線で最大ピーク(peak)値の相対的な位置差を求め
るブロックである。イントネーション差比較４４ｂブロ
ックは、学習者とネーティブスピーカー発音のエンド部
分で２つのピッチ輪郭線の傾き差から求めるブロックを
示しており、リズム差比較４４ｃブロックは隣接した単
語や音節の間で現れるピークとバリー(valley)の相対的
な位置及び大きさから計算されるブロックを示す。
ネーティブスピーカー音声のピッチ輪郭線(pitch conto
ur)差から得られる。すなわち、学習者とネーティブス
ピーカーの音声で時間によるピッチ形状を既存のピッチ
検出方法を用いる。強勢差比較４４ａブロックは、ピッ
チ輪郭線で最大ピーク(peak)値の相対的な位置差を求め
るブロックである。イントネーション差比較４４ｂブロ
ックは、学習者とネーティブスピーカー発音のエンド部
分で２つのピッチ輪郭線の傾き差から求めるブロックを
示しており、リズム差比較４４ｃブロックは隣接した単
語や音節の間で現れるピークとバリー(valley)の相対的
な位置及び大きさから計算されるブロックを示す。
【００２２】前記のようなＤＴＷ基盤差比較モデル４０
で計算された６つの出力値は専門家評価ネットワーク６
０の専門家評価数値と比較される前に誤差補正神経回路
網５０を通過する。この時、誤差補正神経回路網５０
は、自動により計算された発音比較値が専門家の評価値
に近づくように音韻と韻律の差計算ネットワーク、すな
わち、ＤＴＷ基盤差比較ネットワーク４０の６つの出力
値を非線形的に組み立てるネットワークである。誤差補
正神経回路網５０の構造としては、２層の多層構造パー
セプロトンモデル(Multi-Layer Perceptron)が適用され
る。
で計算された６つの出力値は専門家評価ネットワーク６
０の専門家評価数値と比較される前に誤差補正神経回路
網５０を通過する。この時、誤差補正神経回路網５０
は、自動により計算された発音比較値が専門家の評価値
に近づくように音韻と韻律の差計算ネットワーク、すな
わち、ＤＴＷ基盤差比較ネットワーク４０の６つの出力
値を非線形的に組み立てるネットワークである。誤差補
正神経回路網５０の構造としては、２層の多層構造パー
セプロトンモデル(Multi-Layer Perceptron)が適用され
る。
【００２３】自動発音比較ネットワークのアルゴリズム
により計算された数値と専門家評価比較ネットワーク６
０の専門家評価数値は誤差補正神経回路網５０で誤差が
計算され、信号回路網ネットワークのシナプス(synaps
e)加重値を学習することになる。この時、学習は既存の
２乗平均誤差関数(Mean Squared Error Function)と誤
差逆伝播学習アルゴリズム(Error-Back Propagation al
gorithm)からなる。
により計算された数値と専門家評価比較ネットワーク６
０の専門家評価数値は誤差補正神経回路網５０で誤差が
計算され、信号回路網ネットワークのシナプス(synaps
e)加重値を学習することになる。この時、学習は既存の
２乗平均誤差関数(Mean Squared Error Function)と誤
差逆伝播学習アルゴリズム(Error-Back Propagation al
gorithm)からなる。
【００２４】図３は、図２に図示された音韻差計算モデ
ルで強さ差異比較の詳細流れ図である。図３に図示され
た強さ差異比較ブロックの詳細流れ図を説明すると、ネ
ーティブスピーカーと学習者音声の強さ差異計算は次の
ようなアルゴリズムにより具現される。まず、ネーティ
ブスピーカーの音声信号Ｓ１００でエンド点を抽出Ｓ１
０２し、学習者の音声信号Ｓ１０１でもエンド点を抽出
Ｓ１０３し、エネルギー規準化ブロックＳ１０４ を通
過する。次いで、マイクによる出力エネルギーの差を除
去した後、フレームブロック化Ｓ１０５， Ｓ１０６し
てフーリエ変換Ｓ１０７， Ｓ１０８を行う。この時、
フレームブロック化Ｓ１０５，Ｓ１０６は、時系列に入
る音声信号を数十ミリ秒(milli-second)で分け、ハミン
グ窓(Hamming window)やハニング窓(Hanning window)を
覆う部分である。
ルで強さ差異比較の詳細流れ図である。図３に図示され
た強さ差異比較ブロックの詳細流れ図を説明すると、ネ
ーティブスピーカーと学習者音声の強さ差異計算は次の
ようなアルゴリズムにより具現される。まず、ネーティ
ブスピーカーの音声信号Ｓ１００でエンド点を抽出Ｓ１
０２し、学習者の音声信号Ｓ１０１でもエンド点を抽出
Ｓ１０３し、エネルギー規準化ブロックＳ１０４ を通
過する。次いで、マイクによる出力エネルギーの差を除
去した後、フレームブロック化Ｓ１０５， Ｓ１０６し
てフーリエ変換Ｓ１０７， Ｓ１０８を行う。この時、
フレームブロック化Ｓ１０５，Ｓ１０６は、時系列に入
る音声信号を数十ミリ秒(milli-second)で分け、ハミン
グ窓(Hamming window)やハニング窓(Hanning window)を
覆う部分である。
【００２５】また、フーリエ変換Ｓ１０７，Ｓ１０８
は、２音声信号を各フレーム別にフーリエ変換によって
時間領域信号を周波数領域信号に変える。次いで、線形
周波数変換とＤＴＷを通じて話者による特性を除去する
時間−周波数動的ワーピングＳ１０９した後、バーク(B
ark)単位での周波数ワーピングＳ１１０，Ｓ１１１と、
ラウドネス(Loudness)単位での強さワーピングＳ１１２
２，Ｓ１１３過程を通ることになる。
は、２音声信号を各フレーム別にフーリエ変換によって
時間領域信号を周波数領域信号に変える。次いで、線形
周波数変換とＤＴＷを通じて話者による特性を除去する
時間−周波数動的ワーピングＳ１０９した後、バーク(B
ark)単位での周波数ワーピングＳ１１０，Ｓ１１１と、
ラウドネス(Loudness)単位での強さワーピングＳ１１２
２，Ｓ１１３過程を通ることになる。
【００２６】この時、時間−周波数動的ワーピングＳ１
０９は、ネーティブスピーカーの音声と学習者の音声の
間で話者の差による影響、すなわち、発音持続(duratio
n)時間の差と声道長さ差による周波数領域の差を無くす
ためのブロックである。発音持続時間差は、ＤＴＷによ
って除去でき、声道長さによる差は、線形周波数変換に
よって除去することが出来る。
０９は、ネーティブスピーカーの音声と学習者の音声の
間で話者の差による影響、すなわち、発音持続(duratio
n)時間の差と声道長さ差による周波数領域の差を無くす
ためのブロックである。発音持続時間差は、ＤＴＷによ
って除去でき、声道長さによる差は、線形周波数変換に
よって除去することが出来る。
【００２７】バーク(Bark)単位での周波数ワーピングＳ
１１０，Ｓ１１１は、ヘルツＨｚ単位の音声信号を音響
心理学的(psychoacoustic)周波数単位であるバーク(Bar
k)単位に変える部分である。ラウドネス(Loudness)単位
での強さワーピングＳ１１２，Ｓ１１３は、フーリエ変
換Ｓ１０７，Ｓ１０８を通じて出てきたスペクトルのエ
ネルギーを音響心理学的強さ単位であるラウドネス単位
に変えるブロックである。
１１０，Ｓ１１１は、ヘルツＨｚ単位の音声信号を音響
心理学的(psychoacoustic)周波数単位であるバーク(Bar
k)単位に変える部分である。ラウドネス(Loudness)単位
での強さワーピングＳ１１２，Ｓ１１３は、フーリエ変
換Ｓ１０７，Ｓ１０８を通じて出てきたスペクトルのエ
ネルギーを音響心理学的強さ単位であるラウドネス単位
に変えるブロックである。
【００２８】フーリエ逆変換Ｓ１１４，Ｓ１１５した
後、ケプストラム(cepstrum)計算ブロックＳ１１６，Ｓ
１１７によって最終的にケプストラム特徴ベクターを抽
出する。すなわち、フーリエ逆変換Ｓ１１４，Ｓ１１５
はラウドネス単位強さワーピングを行った信号が実数値
を採り、対称的であるので、コサイン変換(Cosine tran
sform)により計算する部分である。
後、ケプストラム(cepstrum)計算ブロックＳ１１６，Ｓ
１１７によって最終的にケプストラム特徴ベクターを抽
出する。すなわち、フーリエ逆変換Ｓ１１４，Ｓ１１５
はラウドネス単位強さワーピングを行った信号が実数値
を採り、対称的であるので、コサイン変換(Cosine tran
sform)により計算する部分である。
【００２９】ネーティブスピーカーの音声信号Ｓ１００
と学習者の音声信号Ｓ１０１で比較されるケプストラム
特徴ベクターをケプストラム計算ブロックＳ１１６，Ｓ
１１７によって最終的に抽出する。この時、前記した本
発明の方法は、既存のＰＬＰ(perceptual linear predi
ction)特徴抽出方法と類似するが、音声信号の話者特性
を無くすための時間−周波数動的ワーピングを特徴抽出
する過程に施行する時間−周波数動的ワーピングブロッ
クＳ１０９が新しく追加された点における差がある。
と学習者の音声信号Ｓ１０１で比較されるケプストラム
特徴ベクターをケプストラム計算ブロックＳ１１６，Ｓ
１１７によって最終的に抽出する。この時、前記した本
発明の方法は、既存のＰＬＰ(perceptual linear predi
ction)特徴抽出方法と類似するが、音声信号の話者特性
を無くすための時間−周波数動的ワーピングを特徴抽出
する過程に施行する時間−周波数動的ワーピングブロッ
クＳ１０９が新しく追加された点における差がある。
【００３０】次いで、フレーム別距離を計算した後Ｓ１
１８、音韻の強さ差異単位に変換させることになる１１
９。この時、フレーム別距離計算ブロックＳ１１８は、
ネーティブスピーカーと学習者音声の特徴ベクターをフ
レーム単位で距離差を計算する部分である。距離計算
は、ユークリッド距離に計算し、全てのフレームに対
し、距離差の値を出して２音声の発音差値にする。
１８、音韻の強さ差異単位に変換させることになる１１
９。この時、フレーム別距離計算ブロックＳ１１８は、
ネーティブスピーカーと学習者音声の特徴ベクターをフ
レーム単位で距離差を計算する部分である。距離計算
は、ユークリッド距離に計算し、全てのフレームに対
し、距離差の値を出して２音声の発音差値にする。
【００３１】また、フレーム別距離計算ブロックＳ１１
８で求めた発音差値を専門家評価数値との比較のため１
から５までの大きさを有するように音韻の強さ差異計算
ブロックＳ１１７で線形変換やロジスティックス(logis
tic)変換を用いて変換する。
８で求めた発音差値を専門家評価数値との比較のため１
から５までの大きさを有するように音韻の強さ差異計算
ブロックＳ１１７で線形変換やロジスティックス(logis
tic)変換を用いて変換する。
【００３２】図４は、図３に図示された時間−周波数動
的ワーピング段階の部分詳細図である。図４を説明する
と、フーリエ変換されたネーティブスピーカー音声２０
０と学習者音声２０１は、これらのケプストラム特徴ベ
クターのフレーム別距離が最小になるように、時間と周
波数領域でワーピングが起きる。すなわち、学習者音声
２０１は、話者間の音声信号差の主要因として挙げる声
道長さによる差を無くすために、線形周波数ワーピング
ネットワーク２０２を通過し、ネーティブスピーカー音
声２００との発音時間差を無くすために、非線形動的時
間ワーピング２０３を通過する。
的ワーピング段階の部分詳細図である。図４を説明する
と、フーリエ変換されたネーティブスピーカー音声２０
０と学習者音声２０１は、これらのケプストラム特徴ベ
クターのフレーム別距離が最小になるように、時間と周
波数領域でワーピングが起きる。すなわち、学習者音声
２０１は、話者間の音声信号差の主要因として挙げる声
道長さによる差を無くすために、線形周波数ワーピング
ネットワーク２０２を通過し、ネーティブスピーカー音
声２００との発音時間差を無くすために、非線形動的時
間ワーピング２０３を通過する。
【００３３】そして、ケプストラム特徴ベクターを抽出
するブロック２０４，２０５に入り、ケプストラムが計
算され、フレーム別距離計算ブロック２０６でケプスト
ラムベクター間のユークリッド距離が計算される。この
時、この誤差が最小になるように線形周波数ワーピング
２０２と非線形動的時間ワーピング２０３が行われる。
するブロック２０４，２０５に入り、ケプストラムが計
算され、フレーム別距離計算ブロック２０６でケプスト
ラムベクター間のユークリッド距離が計算される。この
時、この誤差が最小になるように線形周波数ワーピング
２０２と非線形動的時間ワーピング２０３が行われる。
【００３４】一方、図２の時間差比較４２ｂブロック
は、図４の時間−周波数動的ワーピングによって計算さ
れた学習者とネーティブスピーカーの特徴ベクターで時
間によるワーピング程度を利用して計算することが出来
る。すなわち、時間軸にて整列された２音声信号の音素
別発音持続時間差を全て出して総音素の個数で割算した
値が時間差比較４２ｂブロックの出力値になる。
は、図４の時間−周波数動的ワーピングによって計算さ
れた学習者とネーティブスピーカーの特徴ベクターで時
間によるワーピング程度を利用して計算することが出来
る。すなわち、時間軸にて整列された２音声信号の音素
別発音持続時間差を全て出して総音素の個数で割算した
値が時間差比較４２ｂブロックの出力値になる。
【００３５】これと同様に、図２で周波数差比較４２ｃ
ブロックは、前記の時間差比較４２ｂブロックで求めた
方法と類似に周波数軸による線形変換を行った後、学習
者が発音した音声とネーティブスピーカーの音声間の第
１ホルマントＦ１、第２ホルマントＦ２、第３ホルマン
トＦ３等の位置差から計算する。
ブロックは、前記の時間差比較４２ｂブロックで求めた
方法と類似に周波数軸による線形変換を行った後、学習
者が発音した音声とネーティブスピーカーの音声間の第
１ホルマントＦ１、第２ホルマントＦ２、第３ホルマン
トＦ３等の位置差から計算する。
【００３６】図５ａ乃至５ｃは、図２に図示された韻律
差計算モデルの比較グラフである。図５に図示したよう
に、２音声信号の韻律差は、ピッチ輪郭線の差から計算
されるが、音声のピッチは既存の周波数フィルタリング
やケプストラムを用いる方法によって求め、線形回帰方
法により有声音発音と無声音発音でのピッチ輪郭線が続
けられるようにする。
差計算モデルの比較グラフである。図５に図示したよう
に、２音声信号の韻律差は、ピッチ輪郭線の差から計算
されるが、音声のピッチは既存の周波数フィルタリング
やケプストラムを用いる方法によって求め、線形回帰方
法により有声音発音と無声音発音でのピッチ輪郭線が続
けられるようにする。
【００３７】図５ａを説明すると、ネーティブスピーカ
ーと学習者の文章発音に対し、ピッチ輪郭線を時間によ
って示したグラフである。図２の強勢差比較４４ａブロ
ックは、ピッチ輪郭線で最大ピークが表れる音節や単語
が、間違った程度を２音声の強勢差で比較する。すなわ
ち、学習者が強勢を置いて発音する音節と、ネーティブ
スピーカーの強勢音節との時間差を計算するに当り、差
区間内の音節個数が強勢差として現れることが判る。
ーと学習者の文章発音に対し、ピッチ輪郭線を時間によ
って示したグラフである。図２の強勢差比較４４ａブロ
ックは、ピッチ輪郭線で最大ピークが表れる音節や単語
が、間違った程度を２音声の強勢差で比較する。すなわ
ち、学習者が強勢を置いて発音する音節と、ネーティブ
スピーカーの強勢音節との時間差を計算するに当り、差
区間内の音節個数が強勢差として現れることが判る。
【００３８】図５ｂを説明すると、図２のイントネーシ
ョン差比較４４ｂブロックを説明するためのものであ
り、イントネーション差は文章発音のエンド部分で現れ
るピッチ輪郭線の傾き差から計算される。すなわち、普
通の文章の場合、文章エンド部分でのピッチ傾きは負数
であり、疑問文の場合は大体的に傾きは正数になる。前
記した傾き差を用いて２音声のイントネーションの差を
求めることが出来る。
ョン差比較４４ｂブロックを説明するためのものであ
り、イントネーション差は文章発音のエンド部分で現れ
るピッチ輪郭線の傾き差から計算される。すなわち、普
通の文章の場合、文章エンド部分でのピッチ傾きは負数
であり、疑問文の場合は大体的に傾きは正数になる。前
記した傾き差を用いて２音声のイントネーションの差を
求めることが出来る。
【００３９】図５ｃは、図２のリズム差比較４４ｃブロ
ックを説明するグラフであり、２音声のピッチ輪郭線で
三角形のピークを示しており、逆三角形はバリー(valle
y)を示している。２音声のリズム差は前記したピークと
バリーの個数と大きさの差から求めることが出来る。
ックを説明するグラフであり、２音声のピッチ輪郭線で
三角形のピークを示しており、逆三角形はバリー(valle
y)を示している。２音声のリズム差は前記したピークと
バリーの個数と大きさの差から求めることが出来る。
【００４０】図６は、本発明に係る外国語発音学習及び
口頭テストのためのインターネットシステムの概略構成
図である。図６に図示されたように、外国語発音学習及
び口頭テストのためのサーバーコンピュータ３００は、
前記サーバーコンピュータ３０と連結されたインターネ
ット３２０連結網、前記インターネット３２０連結網を
介して接続する学習者コンピュータ３４０ａ，３４０
ｂ，・・・と学習者３６０ａ，３６０ｂ，・・・からなるシス
テムである。この時、学習者３６０ａ，３６０ｂ，・・・
は音声信号を聴き、録音できるようにマイク装置とスピ
ーカーを有する。
口頭テストのためのインターネットシステムの概略構成
図である。図６に図示されたように、外国語発音学習及
び口頭テストのためのサーバーコンピュータ３００は、
前記サーバーコンピュータ３０と連結されたインターネ
ット３２０連結網、前記インターネット３２０連結網を
介して接続する学習者コンピュータ３４０ａ，３４０
ｂ，・・・と学習者３６０ａ，３６０ｂ，・・・からなるシス
テムである。この時、学習者３６０ａ，３６０ｂ，・・・
は音声信号を聴き、録音できるようにマイク装置とスピ
ーカーを有する。
【００４１】図７は、コンピュータとサーバーコンピュ
ータ間で行われる一連のデータ処理過程を示したもので
ある。図７ａは、学習者コンピュータで大部分のアルゴ
リズムが処理されており、図７ｂではサーバーコンピュ
ータで大部分のアルゴリズムが処理される。まず、図７
ａを説明すると、学習者コンピュータ３４０では、マイ
クを介して学習者の音声発音を録音した学習者の音声信
号３４２とサーバーコンピュータ３００のネーティブス
ピーカー音声信号データベース３０２から発音練習をし
ようとするネーティブスピーカー音声信号３０４を持っ
てきて、自動発音比較アルゴリズム３４４によって２音
声の差を数値化し、発音比較結果ディスプレー３４６ブ
ロックを介して学習者コンピュータ画面に表す。
ータ間で行われる一連のデータ処理過程を示したもので
ある。図７ａは、学習者コンピュータで大部分のアルゴ
リズムが処理されており、図７ｂではサーバーコンピュ
ータで大部分のアルゴリズムが処理される。まず、図７
ａを説明すると、学習者コンピュータ３４０では、マイ
クを介して学習者の音声発音を録音した学習者の音声信
号３４２とサーバーコンピュータ３００のネーティブス
ピーカー音声信号データベース３０２から発音練習をし
ようとするネーティブスピーカー音声信号３０４を持っ
てきて、自動発音比較アルゴリズム３４４によって２音
声の差を数値化し、発音比較結果ディスプレー３４６ブ
ロックを介して学習者コンピュータ画面に表す。
【００４２】また、サーバーコンピュータ３００では、
ネーティブスピーカーの音声信号データベース３０２を
具備し、学習者が要請した発音練習シナリオに従い、イ
ンターネットを介して学習者コンピュータ３４０にネー
ティブスピーカー音声信号３４２を送る。
ネーティブスピーカーの音声信号データベース３０２を
具備し、学習者が要請した発音練習シナリオに従い、イ
ンターネットを介して学習者コンピュータ３４０にネー
ティブスピーカー音声信号３４２を送る。
【００４３】次いで、図７ｂを説明すると、学習者コン
ピュータ３４０では、前記過程と同じく、マイクを介し
て入ってきた学習者の音声信号３４２をサーバーコンピ
ュータ３００に送り、ネーティブスピーカー音声信号デ
ータベース３０２から練習しようとするネーティブスピ
ーカー音声信号３０４を選択する。以後、自動発音比較
アルゴリズム３０６で２音声の差が数値化され学習者コ
ンピュータの発音比較結果ディスプレー３４６に送られ
画面に表示されることになる。
ピュータ３４０では、前記過程と同じく、マイクを介し
て入ってきた学習者の音声信号３４２をサーバーコンピ
ュータ３００に送り、ネーティブスピーカー音声信号デ
ータベース３０２から練習しようとするネーティブスピ
ーカー音声信号３０４を選択する。以後、自動発音比較
アルゴリズム３０６で２音声の差が数値化され学習者コ
ンピュータの発音比較結果ディスプレー３４６に送られ
画面に表示されることになる。
【００４４】図８は、本発明の実施例に係る外国語発音
学習の過程を示した流れ図である。図８を説明すると、
学習者が自分のコンピュータでインターネットを介して
サーバーコンピュータに接続する段階Ｓ４００と；学習
者が自分の情報を入力する段階Ｓ４０２と；学習者がサ
ーバーから提供される複数の発音練習シナリオの中から
希望のシナリオを選択する段階Ｓ４０４と；選択された
シナリオからネーティブスピーカーの文章発音を聴取す
る段階Ｓ４０６と；学習者自分の発音を録音する段階Ｓ
４０８と；２音声の差を自動により計算し、比較結果を
画面にディスプレーする段階Ｓ４１０と；文章発音練習
を継続するかを判断する段階Ｓ４１２と；前期段階４１
０で、中断しようとする場合、他のシナリオで練習する
かの可否を選択する段階Ｓ４１４とを備える。
学習の過程を示した流れ図である。図８を説明すると、
学習者が自分のコンピュータでインターネットを介して
サーバーコンピュータに接続する段階Ｓ４００と；学習
者が自分の情報を入力する段階Ｓ４０２と；学習者がサ
ーバーから提供される複数の発音練習シナリオの中から
希望のシナリオを選択する段階Ｓ４０４と；選択された
シナリオからネーティブスピーカーの文章発音を聴取す
る段階Ｓ４０６と；学習者自分の発音を録音する段階Ｓ
４０８と；２音声の差を自動により計算し、比較結果を
画面にディスプレーする段階Ｓ４１０と；文章発音練習
を継続するかを判断する段階Ｓ４１２と；前期段階４１
０で、中断しようとする場合、他のシナリオで練習する
かの可否を選択する段階Ｓ４１４とを備える。
【００４５】図９は、本発明の実施例に係る外国語発音
口頭テストの過程を示した流れ図であり、学習者がサー
バーコンピュータに接続して自分の外国語発音能力をテ
ストする過程を示した流れ図である。図９を説明する
と、学習者がサーバーコンピュータに接続する段階Ｓ５
００と；学習者が自分の情報を入力する段階Ｓ５０２
と；学習者が発音テストをしようとする単語や文章の難
易度を選択する段階Ｓ５０４と；選択された難易度文章
に対し、ネーティブスピーカーの発音を聴取する段階Ｓ
５０６と；学習者が自分の発音を録音する段階Ｓ５０８
と；テストしようとする文章をすべて発音したかをチェ
ックする段階Ｓ５１０と；及び他の難易度の問題で再び
テストを行うかを選択する段階Ｓ５１２と；及び学習者
が発音した音声に対し、最終的な発音比較結果を画面に
ディスプレーする段階Ｓ５１４とを備える。
口頭テストの過程を示した流れ図であり、学習者がサー
バーコンピュータに接続して自分の外国語発音能力をテ
ストする過程を示した流れ図である。図９を説明する
と、学習者がサーバーコンピュータに接続する段階Ｓ５
００と；学習者が自分の情報を入力する段階Ｓ５０２
と；学習者が発音テストをしようとする単語や文章の難
易度を選択する段階Ｓ５０４と；選択された難易度文章
に対し、ネーティブスピーカーの発音を聴取する段階Ｓ
５０６と；学習者が自分の発音を録音する段階Ｓ５０８
と；テストしようとする文章をすべて発音したかをチェ
ックする段階Ｓ５１０と；及び他の難易度の問題で再び
テストを行うかを選択する段階Ｓ５１２と；及び学習者
が発音した音声に対し、最終的な発音比較結果を画面に
ディスプレーする段階Ｓ５１４とを備える。
【００４６】
【発明の効果】以上にて説明したとおり、本発明に係る
インターネット上での自動発音比較方法を用いた外国語
発音学習及び口頭テスト方法によると、次のようなメリ
ットがある。一つ、外国語の発音を学習しようとする学
習者の音声とネーティブスピーカーの音声を、音声信号
処理技術を用いた自動音声比較アルゴリズムによって比
較することにより、学習者が自分の発音能力に対する客
観的な評価数値が判るというメリットがある。
インターネット上での自動発音比較方法を用いた外国語
発音学習及び口頭テスト方法によると、次のようなメリ
ットがある。一つ、外国語の発音を学習しようとする学
習者の音声とネーティブスピーカーの音声を、音声信号
処理技術を用いた自動音声比較アルゴリズムによって比
較することにより、学習者が自分の発音能力に対する客
観的な評価数値が判るというメリットがある。
【００４７】二つ、自動音声比較アルゴリズムをウェッ
ブ状態で、すなわち、インターネットに連結されたコン
ピュータで外国語発音学習と口頭テストが行える外国語
学習サービスを提供することにより、語学専門家を側に
置いて学習を行うような、学習者が自分の外国語発音能
力を検証することが出来る。
ブ状態で、すなわち、インターネットに連結されたコン
ピュータで外国語発音学習と口頭テストが行える外国語
学習サービスを提供することにより、語学専門家を側に
置いて学習を行うような、学習者が自分の外国語発音能
力を検証することが出来る。
【図１】 本発明に係るインターネット上での外国語発
音学習及び口頭テストのための自動音声比較ネットワー
クアルゴリズムのブロック構成図である。
音学習及び口頭テストのための自動音声比較ネットワー
クアルゴリズムのブロック構成図である。
【図２】 図１に図示された自動音声比較ネットワーク
の部分詳細図である。
の部分詳細図である。
【図３】 図２に図示された音韻差計算モデルで強さ差
異比較の詳細流れ図である。
異比較の詳細流れ図である。
【図４】 図３に図示された時間−周波数動的ワーピン
グ基盤の部分詳細図である。
グ基盤の部分詳細図である。
【図５】 ５ａ乃至５ｃは、図２に図示された音韻差計
算モデルの比較を示したグラフである。
算モデルの比較を示したグラフである。
【図６】 本発明に係る外国語発音学習及び口頭テスト
のためのインターネットシステムの概略構成図である。
のためのインターネットシステムの概略構成図である。
【図７】 本発明に係る学習者コンピュータとサーバー
コンピュータ間のデータ処理を示した流れ図である。
コンピュータ間のデータ処理を示した流れ図である。
【図８】 本発明の実施例に係る外国語発音学習の過程
を示した流れ図である。
を示した流れ図である。
【図９】 本発明の実施例に係る外国語発音口頭テスト
の過程を示した流れ図である。
の過程を示した流れ図である。
１０ 学習者音声信号 ２０ ネーティブスピーカー音声信号 ３０ 自動音声比較ネットワーク ４０ ＤＴＷ基盤差比較モデル ４２ 音韻差計算モデル ４４ 韻律差計算モデル ５０ 誤差補正神経回路網 ６０ 専門家評価比較ネットワーク ７０ 誤差計算ネットワーク ３００ サーバーコンピュータインターネット ３４０ 学習者コンピュータ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ１０Ｌ 15/00 Ｇ１０Ｌ 3/00 ５３３Ｚ 15/24 ５３９ // Ｇ１０Ｌ 101:027 ５５１Ｅ 101:18 ５７１Ｓ Ｆターム(参考） 2C028 AA03 BA03 BB04 BB06 BC02 BD02 CA13 CB02 5D015 CC03 CC04 CC11 CC12 CC13 CC14 CC15 FF03 HH07 JJ00 KK02 LL13
Claims (8)
- 【請求項１】 ネーティブスピーカーの音声と学習者の
音声を自動により比較し、その差を求める外国語発音学
習方法において、 学習者の音声とネーティブスピーカーとの音声の音韻及
び韻律の差値がＤＴＷ基盤差比較ネットワークによって
算出される第１段階と；前記ＤＴＷ基盤差比較ネットワ
ークの算出値と専門家評価比較ネットワークで評価した
比較数値との差が誤差計算ネットワークによって算出さ
れる第２段階と；及び前記第１及び第２の算出差値が小
さくなるようにＤＴＷ基盤差比較ネットワークを学習す
る第３段階とから構成されるインターネット上での自動
発音比較方法を用いた外国語発音学習及び口頭テスト方
法。 - 【請求項２】 前記ＤＴＷ基盤差比較ネットワークに
は、各々の音素、音節、単語、文章別に言語学的発音正
確度を計算する強さ差異比較ブロックと、発音持続時間
の差を計算する時間差比較ブロック及びホルマント(for
mant)位置の差を計算する周波数差比較ブロックからな
る音韻差異計算モデルを備えることを特徴とする請求項
１記載のインターネット上での自動発音比較方法を用い
た外国語発音及学習及び口頭テスト方法。 - 【請求項３】 前記ＤＴＷ基盤差比較ネットワークに
は、ピッチ輪郭線で最大ピーク値らの相対的な位置差を
求める強さ差異比較ブロックと、 学習者とネーティブスピーカーとの発音のエンド部分で
２つのピッチ輪郭線らの傾き差から求めるイントネーシ
ョン差比較ブロック及び隣接した単語や音節の間で現れ
るピークとバリー(valley)の相対的な位置及び大きさか
ら計算されるリズム差比較ブロックとから構成される韻
律差計算モデルを備えることを特徴とする請求項１記載
のインターネット上での自動発音比較方法を用いた外国
語発音学習及び口頭テスト方法。 - 【請求項４】 前記自動発音比較値を求める方法は、誤
差補正補正神経回路網を介して前記ＤＴＷ基盤差比較ネ
ットワークで求めた６個の出力値を非線形的に組み立
て、専門家評価比較ネットワークの比較数値と近づくよ
うに学習して自動発音比較値を算出することを特徴とす
る請求項１乃至３のうちのいずれか１項記載のインター
ネット上での自動発音比較方法を用いた外国語発音学習
及び口頭テスト方法。 - 【請求項５】 前記音韻の強さ差異比較を計算する方法
は、ネーティブスピーカーと学習者との音声信号で時間
−周波数領域の特徴を抽出し、線形周波数変換とＤＴＷ
を通じて話者による特性を除去する時間−周波数動的ワ
ーピング過程と、２音声の特徴ベクターのフレーム別差
をユークリッド距離(Euclidean distance)により合算
し、音韻の言語学的な強さ差異を計算して求める、こと
を特徴とする請求項１又は２記載のインターネット上で
の自動発音比較方法を用いた外国語発音学習及び口頭テ
スト方法。 - 【請求項６】 前記学習者の外国語発音学習及び口頭テ
スト具現過程は、学習者がマイクを介して自分の音声を
学習者のコンピュータに録音し、ネーティブスピーカー
の音声はサーバーコンピュータのネーティブスピーカー
音声信号データベースから持ってきて学習者が聴取し、
学習者のコンピュータから２音声の差が自動発音比較ア
ルゴリズムにより計算され、その結果を画面にディスプ
レーする、ことを特徴とする請求項１記載のインターネ
ット上での自動発音比較方法を用いた外国語発音学習及
び口頭テスト方法。 - 【請求項７】 前記学習者の外国語発音学習過程は、 学習者が自分のコンピュータでインターネットを通じて
サーバーコンピュータに接続する段階と；学習者が自分
の情報を入力する段階と；学習者がサーバーから提供さ
れる幾つかの発音練習シナリオの中から希望のシナリオ
を選択する段階と；学習者自分の発音を録音する段階
と；２音声の差を自動により計算し、比較結果を画面に
ディスプレーする段階と；文章発音練習を継続するかを
判断する段階と；及び他のシナリオで練習するか否かを
選択する段階とを備えることを特徴とする請求項６記載
のインターネット上での自動発音比較方法を用いた外国
語発音学習及び口頭テスト方法。 - 【請求項８】 前記学習者の外国語発音学習口頭テスト
の家庭は、 学習者がサーバーコンピュータに接続する段階と；学習
者が自分の情報を入力する段階と；学習者が発音テスト
しようとする単語や文章の難易度を選択する段階と；選
択された難易度の文章に対し、ネーティブスピーカーの
発音を聴取する段階と；学習者が自分の発音を録音する
段階と；テストしようとする文章を全て発音したかをチ
ェックする段階と；他の難易度の問題で再びテストを行
うかを選択する段階と；及び学習者が発音した音声に対
し、最終的な発音比較結果を画面にディスプレーする段
階とを備えることを特徴とする請求項６記載のインター
ネット上での自動発音比較方法を用いた外国語発音学習
及び口頭テスト方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR200040979 | 2000-07-18 | ||
| KR1020000040979A KR100568167B1 (ko) | 2000-07-18 | 2000-07-18 | 자동발음 비교방법을 이용한 외국어 발음 테스트 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002040926A true JP2002040926A (ja) | 2002-02-08 |
Family
ID=19678429
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000395975A Pending JP2002040926A (ja) | 2000-07-18 | 2000-12-26 | インターネット上での自動発音比較方法を用いた外国語発音学習及び口頭テスト方法 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2002040926A (ja) |
| KR (1) | KR100568167B1 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004061796A1 (en) * | 2002-12-31 | 2004-07-22 | Burlingtonspeech Limited | Comprehensive spoken language learning system |
| JP2006201491A (ja) * | 2005-01-20 | 2006-08-03 | Advanced Telecommunication Research Institute International | 発音評定装置、およびプログラム |
| WO2006125347A1 (en) * | 2005-05-27 | 2006-11-30 | Intel Corporation | A homework assignment and assessment system for spoken language education and testing |
| JP4762976B2 (ja) * | 2004-04-16 | 2011-08-31 | モエ，リチャード，エイ | 計時練習方法及びそのシステム |
| CN103080991A (zh) * | 2010-10-07 | 2013-05-01 | 阿姆司教育株式会社 | 基于音乐的语言学习方法及使用该方法的学习装置 |
| US8447603B2 (en) | 2009-12-16 | 2013-05-21 | International Business Machines Corporation | Rating speech naturalness of speech utterances based on a plurality of human testers |
| CN103680231A (zh) * | 2013-12-17 | 2014-03-26 | 深圳环球维尔安科技有限公司 | 多信息同步编码学习装置及方法 |
| JP2021501912A (ja) * | 2017-11-02 | 2021-01-21 | 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． | フィルタリングモデル訓練方法および音声認識方法 |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100362292B1 (ko) * | 2001-02-19 | 2002-11-23 | 보이스미디어텍(주) | 음성인식 기술을 이용한 영어 발음 학습 방법 및 시스템 |
| KR20010044657A (ko) * | 2001-03-14 | 2001-06-05 | 김선래 | 말하기 능력 평가 시스템 |
| KR20010070631A (ko) * | 2001-05-28 | 2001-07-27 | 최영빈 | 보이스 큐어 시스템 |
| KR20030027990A (ko) * | 2001-09-27 | 2003-04-08 | 주식회사 아이티엔방송 | 음성 인식 시스템을 이용한 인터넷 영어 능력 평가 시스템및 그 방법 |
| KR20020012154A (ko) * | 2001-12-28 | 2002-02-15 | 백종관 | 음성인식기술을 이용한 스코어링 시스템 및 그 방법 |
| KR20030065259A (ko) * | 2002-01-31 | 2003-08-06 | 윤병원 | 음성인식을 이용한 어학학습장치, 어학학습 방법, 및 그저장매체 |
| KR20030079497A (ko) * | 2002-04-04 | 2003-10-10 | (주)코이소프트 | 대화형 언어학습 시스템 및 서비스방법 |
| KR100914502B1 (ko) * | 2002-04-15 | 2009-09-30 | 윤춘호 | 네트웍 기반 대화형 멀티미디어 학습 시스템 및 방법 |
| KR20040002176A (ko) * | 2002-06-29 | 2004-01-07 | 인벤텍 코오포레이션 | 장면에 대한 구술 따라하기와 평가 기능을 구비한컴퓨터를 이용한 언어 청취 및 구술 교육 시스템과 교육방법 |
| KR100531694B1 (ko) * | 2003-03-31 | 2005-11-28 | 주식회사 라임미디어테크놀러지스 | 다자간 역할 학습장치, 방법 및 그 기록매체 |
| KR20050061227A (ko) * | 2003-12-18 | 2005-06-22 | 주식회사 와이비엠시사닷컴 | 인터넷을 이용한 발음 연습 서비스 방법 |
| KR100554892B1 (ko) * | 2004-04-26 | 2006-02-24 | 김영운 | 단계별 내용어 연결과 내용어와 기능어 연결을 활용한외국어 학습시스템 및 그 방법 |
| KR100593590B1 (ko) * | 2004-06-17 | 2006-06-30 | 윤병원 | 콘텐츠 자동 생성방법 및 이를 이용한 어학학습방법 |
| KR100995847B1 (ko) * | 2008-03-25 | 2010-11-23 | (주)잉큐영어교실 | 인터넷상에서의 소리분석 기반 어학 학습방법 및 시스템 |
| KR101981332B1 (ko) * | 2012-12-26 | 2019-05-23 | 주식회사 케이티 | 청취 난이도를 이용하여 학습 데이터를 생성하는 서버 및 방법 |
| KR101598950B1 (ko) * | 2013-10-30 | 2016-03-03 | 에스케이텔레콤 주식회사 | 발음 평가 장치 및 이를 이용한 발음 평가 방법에 대한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체 |
| KR20170036404A (ko) | 2015-09-24 | 2017-04-03 | 국민대학교산학협력단 | 읽기검사 오류분석 방법 및 이를 적용한 읽기검사 오류분석 단말 및 시스템 |
| KR101856667B1 (ko) | 2015-09-25 | 2018-06-19 | 국민대학교산학협력단 | 한글 읽기 말하기 유창성 강화 훈련 파이프 및 이를 적용한 유창성 강화 훈련 시스템 |
| KR20180088103A (ko) | 2017-01-26 | 2018-08-03 | 주식회사 아이디엘 | 표준음소이미지 기반 읽기검사 진단시스템 |
| KR20180088097A (ko) | 2017-01-26 | 2018-08-03 | 주식회사 아이디엘 | 음소이미지를 활용한 온라인 학습관리 시스템 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR200197477Y1 (ko) * | 2000-03-10 | 2000-09-15 | 이동익 | 언어 학습 장치 |
| KR20010092176A (ko) * | 2000-03-21 | 2001-10-24 | 이동익 | 언어 학습 방법과 그의 인터넷을 이용한 구현 방법 및그를 위한시스템 |
| KR20010107035A (ko) * | 2000-05-24 | 2001-12-07 | 서주철 | 음성인식 및 음성합성을 이용한 인터넷영어학습 서비스방법 |
-
2000
- 2000-07-18 KR KR1020000040979A patent/KR100568167B1/ko not_active IP Right Cessation
- 2000-12-26 JP JP2000395975A patent/JP2002040926A/ja active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004061796A1 (en) * | 2002-12-31 | 2004-07-22 | Burlingtonspeech Limited | Comprehensive spoken language learning system |
| JP4762976B2 (ja) * | 2004-04-16 | 2011-08-31 | モエ，リチャード，エイ | 計時練習方法及びそのシステム |
| JP2006201491A (ja) * | 2005-01-20 | 2006-08-03 | Advanced Telecommunication Research Institute International | 発音評定装置、およびプログラム |
| WO2006125347A1 (en) * | 2005-05-27 | 2006-11-30 | Intel Corporation | A homework assignment and assessment system for spoken language education and testing |
| US8447603B2 (en) | 2009-12-16 | 2013-05-21 | International Business Machines Corporation | Rating speech naturalness of speech utterances based on a plurality of human testers |
| CN103080991A (zh) * | 2010-10-07 | 2013-05-01 | 阿姆司教育株式会社 | 基于音乐的语言学习方法及使用该方法的学习装置 |
| CN103680231A (zh) * | 2013-12-17 | 2014-03-26 | 深圳环球维尔安科技有限公司 | 多信息同步编码学习装置及方法 |
| JP2021501912A (ja) * | 2017-11-02 | 2021-01-21 | 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． | フィルタリングモデル訓練方法および音声認識方法 |
| US11211052B2 (en) | 2017-11-02 | 2021-12-28 | Huawei Technologies Co., Ltd. | Filtering model training method and speech recognition method |
| JP7034279B2 (ja) | 2017-11-02 | 2022-03-11 | 華為技術有限公司 | フィルタリングモデル訓練方法および音声認識方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20020007597A (ko) | 2002-01-29 |
| KR100568167B1 (ko) | 2006-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002040926A (ja) | インターネット上での自動発音比較方法を用いた外国語発音学習及び口頭テスト方法 | |
| JP4085130B2 (ja) | 感情認識装置 | |
| US9177558B2 (en) | Systems and methods for assessment of non-native spontaneous speech | |
| JP3520022B2 (ja) | 外国語学習装置、外国語学習方法および媒体 | |
| US8972259B2 (en) | System and method for teaching non-lexical speech effects | |
| Turk et al. | Robust processing techniques for voice conversion | |
| WO2004061822A1 (en) | Speech recognition method | |
| WO2006034200A2 (en) | Method and system for the automatic generation of speech features for scoring high entropy speech | |
| WO2004063902A2 (en) | Speech training method with color instruction | |
| JPH11143346A (ja) | 語学練習用発話評価方法およびその装置並びに発話評価処理プログラムを記憶した記憶媒体 | |
| WO2021074721A2 (en) | System for automatic assessment of fluency in spoken language and a method thereof | |
| Liu et al. | Acoustical assessment of voice disorder with continuous speech using ASR posterior features | |
| Zhang et al. | Adjustment of cue weighting in speech by speakers and listeners: Evidence from amplitude and duration modifications of Mandarin Chinese tone | |
| Hinterleitner | Quality of Synthetic Speech | |
| Kabashima et al. | Dnn-based scoring of language learners’ proficiency using learners’ shadowings and native listeners’ responsive shadowings | |
| Kalita et al. | Intelligibility assessment of cleft lip and palate speech using Gaussian posteriograms based on joint spectro-temporal features | |
| Hayes et al. | Student authentication for oral assessment in distance learning programs | |
| Bohac et al. | A cross-lingual adaptation approach for rapid development of speech recognizers for learning disabled users | |
| Skarnitzl et al. | Tuning the performance of automatic speaker recognition in different conditions: effects of language and simulated voice disguise. | |
| Ahmed et al. | Voice morphing: An illusion or reality | |
| Cucchiarini et al. | Automatic assessment of foreign speakers' pronunciation of Dutch. | |
| Minematsu et al. | The acoustic universal structure in speech and its correlation to para-linguistic information in speech | |
| Malatji | The development of accented english synthetic voices | |
| Rosdi et al. | The Effect Of Changes In Speech Features On The Recognition Accuracy Of ASR System: A Study On The Malay Speech Impaired Children | |
| Marcoux et al. | Acoustic characteristics of non-native Lombard speech in the DELNN corpus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040316 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040616 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040810 |