JP2013109125A - 単語追加装置、単語追加方法、およびプログラム - Google Patents

単語追加装置、単語追加方法、およびプログラム Download PDF

Info

Publication number
JP2013109125A
JP2013109125A JP2011253615A JP2011253615A JP2013109125A JP 2013109125 A JP2013109125 A JP 2013109125A JP 2011253615 A JP2011253615 A JP 2011253615A JP 2011253615 A JP2011253615 A JP 2011253615A JP 2013109125 A JP2013109125 A JP 2013109125A
Authority
JP
Japan
Prior art keywords
word
unregistered
frequency
unregistered word
occurrence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011253615A
Other languages
English (en)
Other versions
JP5670293B2 (ja
Inventor
Shoko Yamahata
祥子 山畠
Yoshikazu Yamaguchi
義和 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2011253615A priority Critical patent/JP5670293B2/ja
Publication of JP2013109125A publication Critical patent/JP2013109125A/ja
Application granted granted Critical
Publication of JP5670293B2 publication Critical patent/JP5670293B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】少量の関連文書からでも、入力音声のタスクに関連した未登録単語を効果的に選択することで、認識辞書の語彙数の増大を抑え、認識精度を向上することができる単語追加装置を提供する。
【解決手段】本発明の単語追加装置10は、未登録単語抽出部100が、認識辞書を用いて、未登録単語を抽出する。未登録単語特徴量抽出部200が、未登録単語を特徴づける共起頻度ベクトルを生成する。認識結果特徴量抽出部300が、認識結果を特徴づける単語頻度ベクトルを生成する。タスク関連度算出部400が、タスク関連度を算出する。未登録単語頻度算出部500が、未登録単語の関連文書における出現頻度である未登録単語頻度を算出する。登録優先度算出部600が、登録優先度を算出する。認識辞書登録部700が、予め設定された閾値を用いて、追加登録単語を抽出し、認識辞書に追加登録単語を追加して拡張認識辞書を生成する。
【選択図】図1

Description

本発明は、音声認識システムに用いる認識辞書に単語を追加する単語追加装置、単語追加方法、およびプログラムに関する。
音声認識システムに用いる認識辞書に単語を追加する方法には、入力音声のタスクに関連した音声認識結果を用いてWeb上から関連文書を収集し、関連文書に含まれる認識辞書に登録されていない未登録単語を全て、ないしは頻度やtf−idf値に応じて登録するものがある(非特許文献1および非特許文献2参照)。
また、入力音声のタスクに関連した音声認識結果と、単語同士の意味の近さを表す語彙データベースを用いて、音声認識結果に出現する各単語と未登録単語の関連度を求め、関連度が高い未登録単語を辞書に登録するもの(特許文献1参照)や、入力音声のタスクに関連した音声認識結果の特徴を表すベクトルを概念ベースから求め、単語の特徴を表すベクトルが格納されている語彙データベースを用いて、音声認識結果の特徴ベクトルと語彙データベース中に存在する未登録単語を辞書に登録するもの(特許文献2参照)がある。特許文献1,2では、未登録単語の特徴を適切にとらえるために、語彙データベースや概念ベースの構築に、大規模なコーパスを用いることを想定している。
特開2005−250071号公報 特開2005−149014号公報
C.E.Liu, K.Thambiratnam, F.Seide, "Online Vocabulary Adaptation using Limited Adaptation Data", InterSpeech2007, pp. 1822-1824. 増村亮, 咸聖俊, 伊藤彰則, "教師なし言語モデル適応のためのWeb Documentを用いた単語のトピック表現", 情報処理学会研究報告, Vol.82, No.18, pp.1-6.
しかしながら、非特許文献1,2に記載された方法において、関連文書中の認識辞書未登録単語を全て、ないしは頻度やtf−idf値に応じて登録する場合には、入力音声のタスクに関連しない単語が登録されてしまう。その結果、認識辞書の語彙数の増大を招き、認識精度が劣化することがある。
また、特許文献1,2に記載された方法において、新たな単語を含む関連文書が少量ずつ得られ、頻繁に認識辞書の更新を行いたい場合には、更新の度に、既存の大規模なコーパスと新たに得られた関連文書の両方を用いて、概念ベースや語彙データベースを構築し直さなければいけないため、更新の度に多大な計算コストがかかることになる。また、新たに得られた関連文書にしか出現しない未登録単語は、既存の大規模なコーパスに存在する未登録単語と比較して、関連度の信頼性が低くなってしまう。ここで、少量の関連文書としては、入力音声のタスクに関連がありそうな単語をクエリとして指定したWeb検索文書、人手で収集したマニュアル、WebFAQ、ニュース文書などが考えられる。
本発明はこのような点に鑑みてなされたものであり、少量の関連文書からでも、入力音声のタスクに関連した未登録単語を効果的に選択することで、認識辞書の語彙数の増大を抑え、認識精度を向上することができる単語追加装置を提供することを目的とする。
上記の課題を解決するために、本発明の単語追加装置は、認識結果記憶部と関連文書記憶部と認識辞書記憶部と拡張認識辞書記憶部と未登録単語記憶部と未登録単語抽出部と未登録単語特徴量抽出部と認識結果特徴量抽出部とタスク関連度算出部と未登録単語頻度算出部と登録優先度算出部と認識辞書登録部を備える。認識結果記憶部には、入力音声を音声認識した認識結果が記憶される。関連文書記憶部には、入力音声のタスクに関連のある関連文書が記憶される。認識辞書記憶部には、認識辞書が記憶される。拡張認識辞書記憶部には、認識辞書に追加登録単語を追加した拡張認識辞書が記憶される。未登録単語記憶部には、認識辞書に登録されていない未登録単語が記憶される。未登録単語抽出部は、関連文書から、認識辞書を用いて、未登録単語を抽出する。未登録単語特徴量抽出部は、未登録単語と関連文書から、当該未登録単語を特徴づける共起頻度ベクトルを生成する。認識結果特徴量抽出部は、認識結果から、当該認識結果を特徴づける単語頻度ベクトルを生成する。タスク関連度算出部は、共起頻度ベクトルと単語頻度ベクトルから、未登録単語ごとに、タスク関連度を算出する。未登録単語頻度算出部は、未登録単語と関連文書から、当該未登録単語の関連文書における出現頻度である未登録単語頻度を算出する。登録優先度算出部は、タスク関連度と未登録単語頻度から、未登録単語ごとに、登録優先度を算出する。認識辞書登録部は、未登録単語と登録優先度から、予め設定された閾値を用いて、追加登録単語を抽出し、認識辞書に追加登録単語を追加して拡張認識辞書を生成する。
本発明によれば、入力音声のタスクに関連した未登録単語を効果的に選択して登録することで、認識辞書の語彙数が必要以上に増大することがなく、不要な単語が誤認識を起こす湧き出しを抑えることができ、認識精度を向上することができる。
また、大規模なコーパスを用いた概念ベースや語彙データベースを使用せず、少量の関連文書と音声認識結果のみを用いても、入力音声のタスクに必要な単語を選択できるため、未登録単語を認識辞書に追加する際の計算コストを抑えることができる。
さらに、関連文書が少量であり関連度を適切に求めることができないような単語であっても、人手により収集した関連文書であれば入力音声のタスクと関連していることがあらかじめ保証することができるため、その関連文書に多く出現する単語は入力音声のタスクに重要であると考えられ、登録すべき単語として適切に選択することができる。
実施例1の単語追加装置の構成を示すブロック図。 実施例1の単語追加装置の動作を示すフローチャート。 未登録単語特徴量抽出部の抽出する共起窓の例。 実施例2の単語追加装置の構成を示すブロック図。 実施例3の単語追加装置の構成を示すブロック図。 実施例4の単語追加装置の構成を示すブロック図。 実施例5の単語追加装置の構成を示すブロック図。 実施例6の単語追加装置の構成を示すブロック図。
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
図1、図2を参照して、本発明の実施例1に係る単語追加装置10の動作を詳細に説明する。図1は本発明の実施例1に係る単語追加装置10の構成を示すブロック図である。図2は本発明の実施例1に係る単語追加装置10の動作を示すフローチャートである。
以下、実際に行われる手続きの順に説明してゆく。本実施例の単語追加装置10は、未登録単語抽出部100、未登録単語特徴量抽出部200、認識結果特徴量抽出部300、タスク関連度算出部400、未登録単語頻度算出部500、登録優先度算出部600、認識辞書登録部700、認識結果記憶部910、関連文書記憶部920、認識辞書記憶部930、未登録単語記憶部940、拡張認識辞書記憶部950を備える。
認識結果記憶部910には、入力音声のタスクに関連した音声認識結果が、あらかじめ記憶されている。
関連文書記憶部920には、入力音声のタスクに関連のある関連文書が、あらかじめ記憶されている。
認識辞書記憶部930には、既存単語が単語クラスごとに登録されている認識辞書が、あらかじめ記憶されている。
未登録単語抽出部100は、関連文書記憶部920に記憶されている関連文書を形態素解析する。この際、形態素解析済みの関連文書を、例えば関連文書記憶部920に記憶してもよい。次に、解析した形態素から、認識辞書記憶部930に記憶されている認識辞書に登録されていない形態素を抽出する。そして、抽出した未登録の形態素を未登録単語oとして未登録単語記憶部940へ記憶する。(S100)。この際、未登録の形態素の他に、関連文書に対して固有表現抽出を行い、得られた単語を未登録単語oとして未登録単語記憶部940へ記憶してもよい。
未登録単語特徴量抽出部200は、共起窓抽出手段210、共起頻度ベクトル生成手段220を備える。共起窓抽出手段210は、関連文書記憶部920に記憶されている関連文書を形態素解析し、未登録単語記憶部940に記憶されている未登録単語oと形態素解析済みの関連文書から、未登録単語oが含まれる文とその前後n文を共起窓Wとして、未登録単語oが出現するすべての箇所について共起窓Wを抽出する(S210)。未登録単語抽出部100で形態素解析済みの関連文書を記憶している場合には、記憶されている形態素解析済みの関連文書を用いてもよい。すべての共起窓Wの集合をWo_allと表す。図3に共起窓の例を示す。共起頻度ベクトル生成手段220は、共起窓の集合Wo_allに含まれる単語である共起単語dt(以下、iは1からIまでの整数、Iは共起窓の集合Wo_allに含まれる単語の種類の数、を表す。)をすべて抽出する。次に、すべての共起単語dtについて、共起窓の集合Wo_allにおける出現頻度である共起頻度dfdt_iを求める。そして、未登録単語oの共起頻度ベクトルvを、式(1)のように生成する。(S220)。
Figure 2013109125
認識結果特徴量抽出部300は、発話窓抽出手段310、単語頻度ベクトル算出手段320を備える。発話窓抽出手段310は、認識結果記憶部910に記憶されている認識結果がM発話からなるとして、認識結果をm発話ごとに分割して発話窓Wu_k(以下、kは1からM/m(小数点以下繰り上げ)の整数を表す。)を生成する(S310)。単語頻度ベクトル算出手段320は、すべての発話窓Wu_kについて、発話窓Wu_kに含まれる単語である発話単語wt(以下、jは1からJまでの整数、Jは発話窓Wu_kに含まれる単語の種類の数、を表す。)をすべて抽出する。次に、すべての発話単語wtについて、発話窓Wu_kにおける出現頻度である単語頻度wfwt_jを求める。そして、発話窓Wu_kに対する単語頻度ベクトルvu_kを、式(2)のように生成する(S320)。
Figure 2013109125
タスク関連度算出部400は、コサイン距離算出手段410、線形二乗和計算手段420を備える。コサイン距離算出手段410は、すべての発話窓Wu_kについて、未登録単語oを特徴づける共起頻度ベクトルvと発話窓Wu_kを特徴づける単語頻度ベクトルvu_kのコサイン距離を算出する(S410)。線形二乗和計算手段420は、すべての未登録単語oについて、コサイン距離算出手段410の算出したコサイン距離の線形二乗和を計算して、未登録単語oのタスク関連度Rを算出する(S420)。
未登録単語頻度算出部500は、関連文書記憶部920に記憶されている関連文書を形態素解析し、未登録単語記憶部940に記憶されているすべての未登録単語oについて、形態素解析済みの関連文書における未登録単語oの出現頻度である未登録単語頻度fを算出する(S500)。未登録単語抽出部100で形態素解析済みの関連文書を記憶している場合には、記憶されている形態素解析済みの関連文書を用いてもよい。
登録優先度算出部600は、すべての未登録単語oについて、タスク関連度Rと未登録単語頻度fから、登録優先度Pを式(3)のように算出する(S600)。
Figure 2013109125
認識辞書登録部700は、未登録単語oと登録優先度Pから、予め設定された閾値θを用いて、追加登録単語を抽出する。次に、認識辞書記憶部930に記憶された認識辞書に、抽出した追加登録単語を追加して拡張認識辞書を生成する。そして、生成した拡張認識辞書を拡張認識辞書記憶部950へ記憶する(S700)。未登録単語oを追加登録単語として抽出する条件は、例えば、未登録単語oの登録優先度Pが予め設定した閾値θ以上とすることができる。また、登録優先度Pの高い順に並べた上位θ位までとすることもできる。
このように、本実施例の単語追加装置10は、入力音声のタスクに関連した未登録単語を効果的に選択して登録することで、認識辞書の語彙数が必要以上に増大することがなく、不要な単語が誤認識を起こす湧き出しを抑えることができ、認識精度を向上することができる。
また、大規模なコーパスを用いた概念ベースや語彙データベースを使用せず、少量の関連文書と音声認識結果のみを用いても、入力音声のタスクに必要な単語を選択できるため、未登録単語を認識辞書に追加する際の計算コストを抑えることができる。
さらに、関連文書が少量であり関連度を適切に求めることができないような単語であっても、人手により収集した関連文書であれば入力音声のタスクと関連していることがあらかじめ保証することができるため、その関連文書に多く出現する単語は入力音声のタスクに重要であると考えられ、登録すべき単語として適切に選択することができる。
図4を参照して、本発明の実施例2に係る単語追加装置20の動作を詳細に説明する。図4は本発明の実施例2に係る単語追加装置20の構成を示すブロック図である。
実施例2の単語追加装置20は、実施例1の単語追加装置10と比較して、共起頻度ベクトル算出手段220の替わりに、共起tf−idfベクトル算出手段221を備える点が相違する。
共起tf−idfベクトル算出手段221は、共起窓抽出手段210の抽出する共起窓の集合Wo_allに含まれる単語である共起単語dtをすべて抽出する。次に、すべての共起単語dtについて、共起窓の集合Wo_allにおける出現頻度である共起頻度dtfdt_iを求める。さらに、関連文書記憶部920の記憶する関連文書のうち共起単語dtが含まれる文書数ddfdt_iを求める。そして、共起単語dtの共起tf−idf値dtfidfdt_iを、式(4)のように生成する。
Figure 2013109125
ここで、Dは関連文書の総数を表す。
そして、未登録単語oの共起頻度ベクトルvを、式(5)のように生成する。
Figure 2013109125
本発明の実施例2は、このような構成とすることにより、未登録単語oの共起頻度ベクトルvを構成する共起単語dtについて、どの未登録単語oの共起頻度ベクトルvにも出現するような単語はベクトル成分の値が低くなり、各未登録単語oに特有の単語はベクトル成分の値が高くなるため、より各未登録単語oの特徴を際立たせることができる。
図5を参照して、本発明の実施例3に係る単語追加装置30の動作を詳細に説明する。図5は本発明の実施例3に係る単語追加装置30の構成を示すブロック図である。
実施例3の単語追加装置30は、実施例1の単語追加装置10と比較して、単語頻度ベクトル算出手段320の替わりに、単語tf−idfベクトル算出手段321を備える点が相違する。
単語tf−idfベクトル算出手段321は、発話窓抽出手段310の抽出する発話窓Wu_kに含まれる単語である発話単語wtをすべて抽出する。次に、すべての発話単語wtについて、発話窓Wu_kにおける出現頻度である単語頻度wtfwt_jを求める。さらに、発話窓Wu_kのうち発話単語wtが含まれる発話窓数wdfwt_jを求める。そして、発話単語wtの単語tf−idf値wtfidfwt_jを、式(6)のように生成する。
Figure 2013109125
ここで、Wは発話窓の総数を表す。
そして、発話窓Wu_kに対する単語頻度ベクトルvu_kを、式(7)のように生成する。
Figure 2013109125
本発明の実施例3は、このような構成とすることにより、発話窓Wu_kに対する単語頻度ベクトルvu_kを構成する発話単語wtについて、どの発話窓Wu_kに対する単語頻度ベクトルvu_kにも出現するような単語はベクトル成分の値が低くなり、各発話窓Wu_kに特有の単語はベクトル成分の値が高くなるため、より各発話窓Wu_kの特徴を際立たせることができる。
図6を参照して、本発明の実施例4に係る単語追加装置40の動作を詳細に説明する。図6は本発明の実施例4に係る単語追加装置40の構成を示すブロック図である。
実施例4の単語追加装置40は、実施例1の単語追加装置10と比較して、登録優先度算出部600の替わりに、登録優先度算出部601を備える点が相違する。
登録優先度算出部601は、未登録単語oをタスク関連度Rの高い順に並べた場合の順位rankorと、未登録単語oを未登録単語頻度fの高い順に並べた場合の順位rankofから、すべての未登録単語oについて、登録優先度Pを式(8)のように算出する。
Figure 2013109125
本発明の実施例1では、例えばタスク関連度Rは未登録単語oごとに顕著に差が出たが、未登録単語頻度fはタスク関連度Rほどの差が出なかった場合、登録優先度Pはタスク関連度Rの寄与が大きくなり、未登録単語頻度fの寄与が薄れてしまう。
本発明の実施例4は、このような構成とすることにより、それぞれの順位の逆数をとることで、タスク関連度Rや未登録単語頻度f自体の値の影響をなくすことができるため、タスク関連度Rと出現頻度fの両者の特徴を公平に反映した登録優先度Pを算出することができ、両者の特徴を効果的に加味して登録すべき単語を選択することができる。
図7を参照して、本発明の実施例5に係る単語追加装置50の動作を詳細に説明する。図7は本発明の実施例5に係る単語追加装置50の構成を示すブロック図である。
実施例5の単語追加装置50は、実施例1の単語追加装置10と比較して、未登録単語頻度算出部500の替わりに、未登録単語tf−idf算出部501を備え、登録優先度算出部600の替わりに、登録優先度算出部602を備える点が相違する。
未登録単語tf−idf算出部501は、関連文書記憶部920に記憶されている関連文書を形態素解析し、未登録単語記憶部940に記憶されているすべての未登録単語oについて、形態素解析済みの関連文書における未登録単語oの出現頻度である未登録単語頻度fを算出する。未登録単語抽出部100で形態素解析済みの関連文書を記憶している場合には、記憶されている形態素解析済みの関連文書を用いてもよい。さらに、未登録単語oが含まれる関連文書数dfを生成する。そして、未登録単語oの未登録単語tf−idf値tfidfを、式(9)のように生成する。
Figure 2013109125
ここで、Dは関連文書の総数を表す。
登録優先度算出部602は、すべての未登録単語oについて、タスク関連度Rと未登録単語tf−idf値tfidfから、登録優先度Pを式(10)のように算出する。
Figure 2013109125
出現頻度が高い未登録単語は、関連文書中だけでなく、入力音声のタスクに関係のない関連文書にも出現する可能性が高い。
本発明の実施例5は、このような構成とすることにより、どの関連文書にも出現するような未登録単語の影響を抑え、それぞれの関連文書に特有な未登録単語がより際立つようになる。このため、それぞれの関連文書に特有な未登録単語の登録優先度が高くなり、これらの未登録単語を登録すべき単語として効果的に選択することができる。
図8を参照して、本発明の実施例6に係る単語追加装置60の動作を詳細に説明する。図8は本発明の実施例6に係る単語追加装置60の構成を示すブロック図である。
実施例6の単語追加装置60は、実施例1の単語追加装置10と比較して、発話窓抽出手段310の替わりに、発話窓抽出手段311を備える点が相違する。
発話窓抽出手段311は、認識結果記憶部910に記憶されている認識結果をトピック境界で分割して、発話窓Wu_h(以下、hは1以上の整数を表す。)を生成する。
トピック境界の検出方法は、例えば、「嶋江聡,山内勝也,山下優,松永昭一,“音声認識結果と単語出現頻度を用いたニューストピック分割”,日本音響学会研究発表会講演論文集,2010.9,pp.189-190」に記載されている方法を用いることができる。
この発明の実施例6は、このように、認識結果をトピック境界で分割して発話窓を生成することにより、認識結果の各話題の特徴をより効果的に反映した単語頻度ベクトルを生成することができる。
<プログラム、記録媒体>
上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
本発明は、音声認識システムに用いる認識辞書に単語を追加するために利用することができる。
10,20,30,40,50,60 単語追加装置
100 未登録単語抽出部
200,201 未登録単語特徴量抽出部
210 共起窓抽出手段 220 共起頻度ベクトル算出手段
221 共起tf−idfベクトル算出手段
300,301 認識結果特徴量抽出部
310 発話窓抽出手段 320 単語頻度ベクトル算出手段
321 単語tf−idfベクトル算出手段
400 タスク関連度算出部
410 コサイン距離算出手段 420 線形二乗和計算手段
500 未登録単語頻度算出部 501 未登録単語tf−idf算出部
600,601,602 登録優先度算出部
700 認識辞書登録部
910 認識結果記憶部 920 関連文書記憶部
930 認識辞書記憶部 940 未登録単語記憶部
950 拡張認識辞書記憶部

Claims (9)

  1. 入力音声を音声認識した認識結果が記憶された認識結果記憶部と、
    前記入力音声のタスクに関連のある関連文書が記憶された関連文書記憶部と、
    認識辞書が記憶された認識辞書記憶部と、
    前記認識辞書に追加登録単語を追加した拡張認識辞書を記憶する拡張認識辞書記憶部と、
    前記認識辞書に登録されていない未登録単語を記憶する未登録単語記憶部と、
    前記関連文書から、前記認識辞書を用いて、前記未登録単語を抽出する未登録単語抽出部と、
    前記未登録単語と前記関連文書から、当該未登録単語を特徴づける共起頻度ベクトルを生成する未登録単語特徴量抽出部と、
    前記認識結果から、当該認識結果を特徴づける単語頻度ベクトルを生成する認識結果特徴量抽出部と、
    前記共起頻度ベクトルと前記単語頻度ベクトルから、前記未登録単語ごとに、タスク関連度を算出するタスク関連度算出部と、
    前記未登録単語と前記関連文書から、当該未登録単語の前記関連文書における出現頻度である未登録単語頻度を算出する未登録単語頻度算出部と、
    前記タスク関連度と前記未登録単語頻度から、前記未登録単語ごとに、登録優先度を算出する登録優先度算出部と、
    前記未登録単語と前記登録優先度から、予め設定された閾値を用いて、前記追加登録単語を抽出し、前記認識辞書に前記追加登録単語を追加して前記拡張認識辞書を生成する認識辞書登録部と、
    を備えることを特徴とする単語追加装置。
  2. 請求項1に記載の単語追加装置であって、
    前記未登録単語特徴量抽出部は、
    前記未登録単語と前記関連文書から、当該未登録単語が含まれる文とその前後n文を含む共起窓を抽出する共起窓抽出手段と、
    前記共起窓に含まれるすべての共起単語を抽出し、当該共起単語の前記共起窓における出現頻度である共起頻度を算出して、前記共起頻度ベクトルを生成する共起頻度ベクトル生成手段を有し、
    前記認識結果特徴量抽出部は、
    前記認識結果を所定の発話数で分割して発話窓を生成する発話窓抽出手段と、
    前記発話窓ごとに、当該発話窓に含まれるすべての発話単語を抽出し、当該発話単語の当該発話窓における出現頻度である単語頻度を算出して、前記単語頻度ベクトルを生成する単語頻度ベクトル生成手段を有し、
    前記タスク関連度算出部は、
    前記共起頻度ベクトルと前記単語頻度ベクトルとのコサイン距離を算出するコサイン距離算出手段と、
    前記未登録単語ごとに、前記コサイン距離の線形二乗和を計算して、前記タスク関連度を算出する線形二乗和計算手段を有し、
    前記登録優先度算出部は、
    前記未登録単語ごとに、前記タスク関連度と前記未登録単語頻度を乗算して、前記登録優先度を算出する
    ことを特徴とする単語追加装置。
  3. 請求項2に記載の単語追加装置であって、
    dtはi番目の前記共起単語を表し、dtfdt_iは前記共起単語dtの前記共起頻度を表し、ddfdt_iは前記共起単語dtが含まれる前記関連文書の数を表し、Dは前記関連文書の総数を表すとして、
    前記共起頻度ベクトル算出手段は、
    Figure 2013109125

    を計算することにより、前記共起頻度ベクトルを生成する
    ことを特徴とする単語追加装置。
  4. 請求項2または3に記載の単語追加装置であって、
    wtはj番目の前記発話単語を表し、wtfwt_jは前記発話単語wtの前記単語頻度を表し、wdfwt_jは前記発話単語wtが含まれる前記発話窓の数を表し、Wは前記発話窓の総数を表すとして、
    前記単語頻度ベクトル算出手段は、
    Figure 2013109125

    を計算することにより、前記単語頻度ベクトルを生成する
    ことを特徴とする単語追加装置。
  5. 請求項1から4のいずれかに記載の単語追加装置であって、
    oは前記未登録単語を表し、fは前記未登録単語oの前記未登録単語頻度を表し、dfは前記未登録単語oが含まれる前記関連文書の数を表し、Dは前記関連文書の総数を表すとして、
    前記未登録単語頻度算出部は、
    Figure 2013109125

    を計算することにより、前記未登録単語頻度を生成する
    ことを特徴とする単語追加装置。
  6. 請求項1から5のいずれかに記載の単語追加装置であって、
    rankorは前記未登録単語を前記タスク関連度の高い順に並べた順位を表し、rankofは前記未登録単語を前記未登録単語頻度の高い順に並べた順位を表すとして、
    前記登録優先度算出部は、
    Figure 2013109125

    を計算することにより、前記登録優先度を求める
    ことを特徴とする単語追加装置。
  7. 請求項2から6のいずれかに記載の単語追加装置であって、
    前記発話窓抽出手段は、
    前記認識結果をトピック境界で分割して前記発話窓を生成する
    ことを特徴とする単語追加装置。
  8. 認識結果記憶部に、入力音声を音声認識した認識結果が記憶されており、
    関連文書記憶部に、前記入力音声のタスクに関連のある関連文書が記憶されており、
    認識辞書記憶部に、認識辞書が記憶されており、
    未登録単語抽出部が、前記関連文書から、前記認識辞書を用いて、前記未登録単語を抽出する未登録単語抽出ステップと、
    未登録単語特徴量抽出部が、前記未登録単語と前記関連文書から、当該未登録単語を特徴づける共起頻度ベクトルを生成する未登録単語特徴量抽出ステップと、
    認識結果特徴量抽出部が、前記認識結果から、当該認識結果を特徴づける単語頻度ベクトルを生成する認識結果特徴量抽出ステップと、
    タスク関連度算出部が、前記共起頻度ベクトルと前記単語頻度ベクトルから、前記未登録単語ごとに、タスク関連度を算出するタスク関連度算出ステップと、
    未登録単語頻度算出部が、前記未登録単語と前記関連文書から、当該未登録単語の前記関連文書における出現頻度である未登録単語頻度を算出する未登録単語頻度算出ステップと、
    登録優先度算出部が、前記タスク関連度と前記未登録単語頻度から、前記未登録単語ごとに、登録優先度を算出する登録優先度算出ステップと、
    認識辞書登録部が、前記未登録単語と前記登録優先度から、予め設定された閾値を用いて、追加登録単語を抽出し、前記認識辞書に前記追加登録単語を追加して前記拡張認識辞書を生成する認識辞書登録ステップと、
    を有することを特徴とする単語追加方法。
  9. 請求項1から7のいずれかに記載の単語追加装置としてコンピュータを機能させるためのプログラム。
JP2011253615A 2011-11-21 2011-11-21 単語追加装置、単語追加方法、およびプログラム Expired - Fee Related JP5670293B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011253615A JP5670293B2 (ja) 2011-11-21 2011-11-21 単語追加装置、単語追加方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011253615A JP5670293B2 (ja) 2011-11-21 2011-11-21 単語追加装置、単語追加方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2013109125A true JP2013109125A (ja) 2013-06-06
JP5670293B2 JP5670293B2 (ja) 2015-02-18

Family

ID=48705947

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011253615A Expired - Fee Related JP5670293B2 (ja) 2011-11-21 2011-11-21 単語追加装置、単語追加方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP5670293B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014002237A (ja) * 2012-06-18 2014-01-09 Nippon Telegr & Teleph Corp <Ntt> 音声認識単語追加装置とその方法とプログラム
JP2015215390A (ja) * 2014-05-08 2015-12-03 日本電信電話株式会社 音声認識辞書更新装置、音声認識辞書更新方法、プログラム
JP2020112920A (ja) * 2019-01-09 2020-07-27 富士ゼロックス株式会社 情報処理装置、及び情報処理プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6021384A (en) * 1997-10-29 2000-02-01 At&T Corp. Automatic generation of superwords
JP2004326479A (ja) * 2003-04-25 2004-11-18 Hitachi Ltd 単語間類似度計算プログラム及び装置
JP2005149014A (ja) * 2003-11-13 2005-06-09 Nippon Telegr & Teleph Corp <Ntt> 文書関連語彙獲得方法及び装置及びプログラム
JP2005250071A (ja) * 2004-03-03 2005-09-15 Nippon Telegr & Teleph Corp <Ntt> 音声認識方法及び装置及び音声認識プログラム及び音声認識プログラムを格納した記憶媒体
JP2010154397A (ja) * 2008-12-26 2010-07-08 Sony Corp データ処理装置、データ処理方法、及び、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6021384A (en) * 1997-10-29 2000-02-01 At&T Corp. Automatic generation of superwords
JP2004326479A (ja) * 2003-04-25 2004-11-18 Hitachi Ltd 単語間類似度計算プログラム及び装置
JP2005149014A (ja) * 2003-11-13 2005-06-09 Nippon Telegr & Teleph Corp <Ntt> 文書関連語彙獲得方法及び装置及びプログラム
JP2005250071A (ja) * 2004-03-03 2005-09-15 Nippon Telegr & Teleph Corp <Ntt> 音声認識方法及び装置及び音声認識プログラム及び音声認識プログラムを格納した記憶媒体
JP2010154397A (ja) * 2008-12-26 2010-07-08 Sony Corp データ処理装置、データ処理方法、及び、プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014002237A (ja) * 2012-06-18 2014-01-09 Nippon Telegr & Teleph Corp <Ntt> 音声認識単語追加装置とその方法とプログラム
JP2015215390A (ja) * 2014-05-08 2015-12-03 日本電信電話株式会社 音声認識辞書更新装置、音声認識辞書更新方法、プログラム
JP2020112920A (ja) * 2019-01-09 2020-07-27 富士ゼロックス株式会社 情報処理装置、及び情報処理プログラム
US11314810B2 (en) 2019-01-09 2022-04-26 Fujifilm Business Innovation Corp. Information processing apparatus and non-transitory computer readable medium
JP7192507B2 (ja) 2019-01-09 2022-12-20 富士フイルムビジネスイノベーション株式会社 情報処理装置、及び情報処理プログラム

Also Published As

Publication number Publication date
JP5670293B2 (ja) 2015-02-18

Similar Documents

Publication Publication Date Title
JP6829559B2 (ja) 固有表現抽出用ドキュメント専用地名辞典
JP6310150B2 (ja) 意図理解装置、方法およびプログラム
US8140530B2 (en) Similarity calculation device and information search device
US9519870B2 (en) Weighting dictionary entities for language understanding models
US20110184981A1 (en) Personalize Search Results for Search Queries with General Implicit Local Intent
US20130060769A1 (en) System and method for identifying social media interactions
JP2016513269A (ja) 音響言語モデルトレーニングのための方法およびデバイス
JP2019082931A (ja) 検索装置、類似度算出方法、およびプログラム
CN114091425A (zh) 医学实体对齐方法及装置
JP2015118498A (ja) 同一意図の類似文を作成するプログラム、装置及び方法
JP5670293B2 (ja) 単語追加装置、単語追加方法、およびプログラム
JP5546565B2 (ja) 単語追加装置、単語追加方法、およびプログラム
JP2006338261A (ja) 翻訳装置、翻訳方法及び翻訳プログラム
Yang et al. Vocabulary expansion through automatic abbreviation generation for Chinese voice search
JP5770753B2 (ja) Cjk名前検出
JP2007065029A (ja) 構文・意味解析装置、音声認識装置、及び構文・意味解析プログラム
WO2021107006A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6486789B2 (ja) 音声認識装置、音声認識方法、プログラム
JP5293607B2 (ja) 略語生成装置およびプログラム、並びに、略語生成方法
Chen et al. Learning semantic hierarchy with distributed representations for unsupervised spoken language understanding.
JP2006107353A (ja) 情報処理装置および方法、記録媒体、並びにプログラム
JP4674609B2 (ja) 情報処理装置および方法、プログラム、並びに記録媒体
JP2014215970A (ja) 誤り検出装置、方法、及びプログラム
JP5755603B2 (ja) 言語モデル作成装置、言語モデル作成方法、プログラム
JP5700566B2 (ja) スコアリングモデル生成装置、学習データ生成装置、検索システム、スコアリングモデル生成方法、学習データ生成方法、検索方法及びそのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141217

R150 Certificate of patent or registration of utility model

Ref document number: 5670293

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees