JP2010175708A - 音声認識検索システム及び音声認識検索方法 - Google Patents

Abstract

【課題】語彙数を実用に耐える認識精度を担保する範囲におさえ、発話に対するカバー率を向上させる音声認識検索システムを提供する。
【解決手段】放送番組の番組情報のデータを蓄積するＥＰＧ ＤＢ２９と、音声入力部１１と、入力された音声を認識してテキスト化する音声認識部２１と、音声認識部２１で参照される音声認識辞書２２と、音声認識部２１が認識したテキストを検索キーワードとしてＥＰＧ ＤＢ２９内の検索対象範囲を検索する検索部２８と、音声認識結果、検索結果などを表示する表示部２７と、表示される音声認識候補の選択、表示の切り替えなどを行う操作部１２と、音声認識部２１が認識したテキストから、ユーザの発話傾向を抽出する発話傾向抽出部２３と、発話傾向をデータとして蓄積する発話傾向ＤＢ２４と、検索対象範囲のデータと発話傾向ＤＢ２４の内容に基づいて、音声認識辞書２２を生成する音声認識辞書生成部２５を具備する。
【選択図】図１

Description

本発明は、音声認識入力により所望の情報を対象検索範囲より検索する音声認識検索システム及び音声認識検索方法に関する。

カーナビゲーションシステムなど、手による操作ができない状況下で音声認識入力によって所望の情報の検索、操作を行う取り組みがなされている。或る一定時間中において音声の始端と終端とをそれぞれ一回のみ検出する孤立単語音声認識の場合、語彙数と認識率は二律背反の関係にある。そこで、入力される音声の属性（例えば、ジャンル等）によって適切に音声認識辞書を切り替えることにより、音声認識精度を確保する方法が考えられ、例えば、入力属性を先に指示し、適切な音声認識辞書を選択してから音声入力する方法が提案されている（例えば、特許文献１参照。）。

また、全語彙を対象とした音声認識を実施し、音声検索キー候補が多い場合に、検索キー確定関連質問を提示し関連情報を発話させ、検索キー認識尤度と関連情報認識尤度から音声検索キー候補を同定する方法が提案されている（例えば、特許文献２参照。）。

しかしながら、手による操作が可能な用途（例えば、テレビの番組（コンテンツ）予約など）において、リモコン装置等の操作の負担を軽減させるべく音声認識入力を用いる場合、入力の全てを音声認識入力で行うよりも、キー操作と適切に組み合わせることによって、全体としての使い勝手が向上すると考えられる。このような観点から、ＥＰＧ（Electronic Program Guide）を利用して音声認識により番組予約を行う取り組みが提案されている（例えば、特許文献３参照。）。

特開２００７−２６４１９８号公報 特許第３４２０９６５号公報 特開２０００−３１６１２８号公報

手による操作が可能な用途で音声認識入力を用いる場合、従来技術では、予め用意した音声認識用の辞書を固定的に使用している。ところが、番組情報、インターネット上の情報など、日々変化する情報の検索においては、検索対象範囲の内容に応じて音声認識用の辞書を更新することが、音声認識精度の維持には必要である。また、音声認識用の辞書の語彙数と認識精度の関係は、発話に対するカバー率を上げるために語彙数を増やすと認識精度が低下し、語彙数を少なくすると認識精度は向上するものの発話に対するカバー率が低下する。

そこで、本発明は、上記した問題に鑑みてなされたもので、語彙数を実用に耐える認識精度を担保する範囲におさえ、その中で発話に対するカバー率を向上させる音声認識検索システム及び音声認識検索方法を提供することを目的とする。

本発明の一態様によれば、コンテンツ情報のデータを蓄積するコンテンツ情報データベースと、音声を入力するための音声入力部と、前記音声入力部から入力された音声を認識してテキスト化する音声認識部と、認識処理のため前記音声認識部で参照される音声認識辞書と、前記音声認識部が認識したテキストを検索キーワードとして前記コンテンツ情報データベース内の検索対象範囲を検索する検索部と、検索結果を表示する表示部と、前記表示部に表示される音声認識候補の選択を行う操作部と、前記音声認識部が認識したテキストから、ユーザの発話傾向を抽出する発話傾向抽出部と、前記発話傾向抽出部が抽出した発話傾向を蓄積する発話傾向データベースと、前記検索対象範囲のデータと前記発話傾向データベースの内容に基づいて、前記音声認識辞書を生成する音声認識辞書生成部を具備することを特徴とする音声認識検索システムが提供される。

また、本発明の別の一態様によれば、ユーザから音声を用いて入力される検索対象となる音声検索キーを音声認識する音声認識検索システムにおける音声認識検索方法であって、検索キーワードを音声入力し、入力された音声信号に対して音声認識を行ってテキスト化し、音声認識候補を尤度の高い順に複数個提示し、提示された候補中から選択した該文字列を検索キーワードとしてコンテンツ情報データベースを検索し、コンテンツ候補リスト中からコンテンツを選択し、コンテンツを選択した際に、発話傾向を抽出し、選択したコンテンツの正式名と発話した内容とを比較し、該発話の特徴を抽出し、発話傾向データベースに格納する、ことを特徴とする音声認識検索方法が提供される。

本発明によれば、語彙数を実用に耐える認識精度を担保する範囲におさえ、その中で発話に対するカバー率を向上させることができる。

本発明の実施の形態に係る音声認識検索システムの一例を示すブロック図である。 本発明の実施の形態に係る音声認識検索システムのリモコン装置の実装例を示す概略図である。 本発明の実施の形態に係る音声認識検索システムにおいて無線通信機能を搭載した一例を示すブロック図である。 本発明の実施の形態に係る音声認識検索システムの処理動作を示すフローチャートである。 音声認識候補の提示例を説明する図である。 検索結果の表示例を説明する図である。 番組名の読みの付与例を説明する図である。 ＥＰＧデータの例を説明する図である。 音声認識辞書生成部が音声認識辞書を生成する際の処理動作を示すフローチャートである。

以下、本発明の実施の形態について図面を参照しながら説明する。各図において同一箇所については同一の符号を付すとともに、重複した説明は省略する。

図１は、本発明の実施の形態に係る音声認識検索システム１００の構成例を示すブロック図であり、図２は、リモコン装置１０の実装例を示す概略図である。

図１に示すように、音声認識検索システム１００は、リモコン装置１０および録画機器２０を備えている。リモコン装置１０は、図２に示すように、音声入力部１１および操作部１２を備えている。音声入力部１１は、リモコン装置１０の任意の位置に内蔵あるいは外付けで備えることができ、例えばマイクロフォンである。図２は、音声入力部１１を内蔵させた場合の例である。操作部１２は、操作者の操作を受け付ける部位である。図２に示す例では、リモコン装置１０の任意の位置に、認識した音声の候補の移動等を行う十字キーと押しボタンを２個備えている。操作部１２の構成はこれに限られず、ポインティングデバイスでポインタを操作できるように構成することもできる。

録画機器２０は、音声認識部２１、音声認識辞書２２、発話傾向抽出部２３、発話傾向データベース（以下、発話傾向ＤＢという）２４、音声認識辞書生成部２５、音声認識候補表示部２６、表示部２７、検索部２８、EPGデータベース（以下、ＥＰＧ ＤＢという）２９を備えるとともに、図示しない録画・制御部をも備えている。録画・制御部は、ビデオハードディスクレコーダ、録画機能付のテレビ、パソコンなど録画機能を備えた機器である。尚、録画・制御部を録画機能付パソコンで構成する場合には、音声入力部１１をパソコンに接続し、操作部１２はマウス等パソコンの操作機器を使用しても構わない。

音声認識部２１は、リモコン装置１０の音声入力部１１を介して取得した音声を認識するものである。音声認識部２１には、例えば、形態素解析等を含む音声認識エンジンが搭載される。

音声認識辞書２２には、音声認識のためのデータが多数蓄積されており、音声認識部２１からのアクセスを受け付ける。音声認識辞書２２は、例えば、ＨＤＤやＥＥＰＲＯＭで構築することができる。

発話傾向抽出部２３は、音声入力部１１を介して取り込まれた発話者の発話傾向（後述する）を抽出するものである。この発話傾向抽出部２３は、例えばソフトウェアで構築することができる。

発話傾向ＤＢ２４は、発話傾向抽出部２３で抽出された発話傾向のデータを蓄積するものである。発話傾向ＤＢ２４は、例えば、揮発性メモリで構築することができる。

音声認識辞書生成部２５は、発話傾向ＤＢ２４およびＥＰＧ ＤＢ２９からデータを取り込んで音声認識辞書を生成するものである。音声認識辞書生成部２５で生成された音声認識辞書は、音声認識辞書２２に送られる。

音声認識候補表示部２６は、音声認識部２１での音声認識の結果、尤度にしたがって音声認識候補をリストアップするものである。音声認識候補表示部２６は、例えば、揮発性メモリで構築することができる。

表示部２７は、音声認識および検索作業における各種表示を司るものである。表示部２７は、ＬＣＤ等のディスプレイが好適である。

検索部２８は、音声認識候補から選択された文字列を検索キーワードとしてＥＰＧ ＤＢ２９を検索するものである。この検索部２８は、例えばソフトウェアで構築することができる。

ＥＰＧ ＤＢ２９は、ＥＰＧ（Electric Program Guide）データを蓄積するもので、例えば、ＨＤＤやＥＥＰＲＯＭで構築することができる。ＥＰＧデータは、テレビ番組表をデジタルデータとして提供し、画面に表示したり、録画予約を簡単に行なったりするためのシステムである。ＥＰＧデータの提供方法には、地上波に乗せる「ADAMS-EPG」やBSデジタルに乗せるARIB（Association of Radio Industries and Businesses of Japan：電波産業会）規格の「EPG」、インターネットを通じて提供される「ADAMS-EPG+」や「iEPG」がある。図８は、ＥＰＧデータの一例を示している。図８に示すように、＜ＴＩＴＬＥ＞で番組名が、＜ＴＥＸＴ＞で出演者の情報がＸＭＬ（Extensible Markup Language）ベースで盛り込まれている。

図１に示すように、リモコン装置１０と録画機器２０との間は、有線で接続することができるが、これに限られない。図３に示すように、リモコン装置１０に通信部１３、録画機器２０に通信部３０を備えることにより、無線通信可能な構成としても良い。尚、無線通信に係る構成以外は同じ構成で実施可能であるため、以下、図１に示す構成にしたがって説明する。

次に、以上のように構成した音声認識検索システムにおける音声認識および検索の処理動作について、図４のフローチャートを参照しながら説明する。

まず、音声認識検索システムは、ユーザからの音声認識開始指示を待つ（ステップＳ１０）。音声認識開始指示は、リモコン装置１０の操作部１２のうち、音声認識開始指示機能に割り当てたボタンを押下する。あるいは、録画機器２０の表示部２７上に配置された表示上のボタンを、操作部１２を使って押下することでもよい。音声認識開始指示が有るまで指示を待ち（ステップＳ１１）、音声認識開始指示が有った後、ユーザは所望の検索キーワードを音声入力部１１に音声入力する（ステップＳ１２）。また、音声認識開始の指示を行い、音声認識部２１が音声入力後の無音区間を検出して自動的に音声認識終了とする（ステップＳ１３）。音声認識開始後、いつ音声認識終了するかについては、ボタンを押下している間に音声認識を実施するようにしてもよい。

次に、音声認識部２１は、音声入力部１１に入力された音声信号に対して、音声認識辞書２２を用いて音声認識を行い、音声認識候補を尤度の高い順に複数個提示する（ステップＳ１４）。

図５は、音声認識候補の提示例を説明する図である。図５に示す例においては、「えーびーしーこうこうこうざ」という入力された音声に対して、音声認識の結果、音声認識候補として３つの候補がリストアップされている。この候補は、音声認識候補表示部２６に提示される。尚、音声認識候補は、出来るだけ絞ってリストアップするのが、ユーザにとっても使いやすいものである。そこで、例えば音声認識のスコアが８０点以上となる候補をリストアップするように設定することができる。カッコで括られた部分が各候補の「読み」であって、カッコの前の部分が、各文字列である。このように、候補とその読みを両方表示するようにしておくと、ユーザはその候補がどのような理由でリストアップされたか確認でき、わかりやすい。提示される音声認識候補の数と順番は、もっぱら、音声認識エンジンの認識性能等に依存する。

ユーザは、提示された候補の中に所望の文字列、例えば番組名（部分語）あるいは出演者名がある場合は、操作部１２を操作して所望の候補を選択し、所望の候補がない場合は、再度音声認識入力を行う（ステップＳ１５）。

所望の文字列が選択されると、検索部２８は、その文字列を第一の検索キーワードとして、ＥＰＧ ＤＢ２９を検索する（ステップＳ１６）。ここで、その文字列が出演者名である場合は、図８にその一例を示すＥＰＧデータのうち、＜ＩＴＥＭ＞出演者＜／ＩＴＥＭ＞の後の＜ＴＥＸＴ＞タグを検索する。その文字列が番組名（またはその一部）である場合は、＜ＴＩＴＬＥ＞タグを検索する。検索の結果、ヒットする番組のＥＰＧデータから、番組放送日時、チャンネル、番組名などを抽出し、表示部２７にリストアップする（ステップＳ１７）。

検索結果の表示例を図６に示す。この例では、図５に示す音声認識候補リストで提示された文字列のうち、ユーザが「ＡＢＣ高校講座」を選択したことを受けて、ＥＰＧ ＤＢ２９を検索し、「ＡＢＣ高校講座」に該当する番組候補として１０個の番組のリストを一覧にして表示している。

上述したように、図５に示した音声認識候補について、例えば音声認識のスコアが８０点以上である候補をリストアップするように設定することができるが、第一候補の尤度が第二候補以下の候補よりも明らかに高い場合には、直接検索を実施し、図５に示した音声認識候補のリストアップを提示することなく、図６に示す番組候補をリストアップするようにしても良い。

検索の結果、図６に示す番組候補リスト中にある所望の番組を選択する（ステップＳ１８）。番組を選択すると、図８のようなＥＰＧデータの詳細を参照できる（ステップＳ１９）。

さらに、所望の番組を選択した後に、発話傾向の抽出も実施する。後述するが、番組名の読みは、音声認識辞書２２の生成時に、正式な番組名だけでなく、所定のルールに基づいて分割された部分的な番組名が生成されている。所定のルールとしては、例えば図７において、番組名のカッコの前後で分割、スペースの有無で分割、カッコ内を分割、“の”の前後で分割することができる。但し、闇雲に分割することは、検索のキーワードが必要以上に増えるので、適当ではない。

発話傾向抽出部２３は、選択した番組の正式名と実際にユーザが発話した内容とを比較し、その発話の特徴を例えば以下に示す二つの例のいずれか、あるいは両方の組み合わせで抽出し（ステップＳ２０）、発話傾向ＤＢ２４に格納する（ステップＳ２１）。

＜発話の長さによる発話の特徴抽出＞
図７は、番組名の読みの付与例を説明する図である。図７の例では、正式な番組名の読みは「えーびーしーこうこうこうざりかそうごうらっかぶったいのぶつり」で、３０文字である。これに対して、実際に発話された読みの長さを評価する。「えーびーしーこうこうこうざりかそうごう」と発話した場合は１９文字、「らっかぶったいのぶつり」と発話した場合は１１文字、「ぶつり」と発話した場合は３文字となる。これら実際に発話された読みの長さを、正式な番組名の読みの長さで正規化して、それぞれ１９／３０、１１／３０、３／３０という値を発話傾向ＤＢ２４に格納する。あるいは、予め正式な番組名の読みの長さに対して、１／３未満、１／３以上２／３未満、２／３以上と閾値をいくつか設定しておき、それぞれの範囲の度数をカウントするようにしても良い。

＜発話の位置による発話の特徴抽出＞
図７の例では、正式な番組名の読みは「えーびーしーこうこうこうざりかそうごうらっかぶったいのぶつり」で、３０文字である。これに対して、実際に発話された読みの位置、すなわち正式な番組名のどの部分が読まれたのかを評価する。「えーびーしーこうこうこうざ」のように正式番組名の最初から発話した場合は「前半」、「りかそうごう」のように正式番組名の最初からでもなく最後まででもなく発話した場合は「中間」、「ぶつり」のように正式番組名の最後まで発話した場合は後半とし、それらを発話傾向ＤＢ２４に格納する。

次に、音声認識辞書２２の生成方法について説明する。地上波デジタル放送などで配信されるＥＰＧデータは、放送信号と共に送信されており、周知の方法でＥＰＧ ＤＢ２９に格納されている。音声認識辞書生成部２５は、ＥＰＧ ＤＢ２９のＥＰＧデータを、例えば一日一回の頻度で分析し、発話傾向ＤＢ２４内の発話傾向データの内容に応じて、音声認識辞書２２を生成していく。以下、生成方法の例を図９のフローチャートを参照しながら説明する。図９は、音声認識辞書生成部２５が音声認識辞書２２を生成する際の処理動作を示すフローチャートである。

図８は１番組分のＥＰＧデータの例である。この例では、ＸＭＬ形式のデータとなっていることがわかるが、ｉＥＰＧなどのようにＸＭＬ形式でないデータでも良い。これらのＥＰＧデータをＥＰＧ ＤＢ２９に蓄積する。ＥＰＧ ＤＢ２９は、ＸＭＬ形式のデータの場合はＸＭＬデータベースで構築することが望ましいが、他のデータベース（ＲＤＢなど）で構築しても構わない。ＥＰＧ ＤＢ２９に格納されたＥＰＧデータのうち、＜ＴＩＴＬＥ＞タグで括られた番組名、＜ＩＴＥＭ＞出演者＜／ＩＴＥＭ＞の次の＜ＴＥＸＴ＞タグで括られた出演者名を抽出する（ステップＳ３０）。

次に、番組名については、そのままではかなり長いものやサブタイトルが含まれるものがあるため、例えば、番組名に含まれるスペース、括弧、形態素解析で抽出した助詞（例えば「の」など）を手がかりに文字列を分割する。この際に、発話傾向ＤＢ２４に格納された過去の発話傾向を読み出して反映させ、番組名を分割し、音声認識辞書２２を生成して登録する読みを変更する（ステップＳ３１、Ｓ３２）。例えば、発話の長さが短い傾向があれば、正式な番組名から長さの短い読みを優先的に辞書に登録することとし、逆に発話の長さが長い傾向があれば、正式な番組名から長さの長い読みを優先的に辞書に登録する。または、正式な番組名の前半を多く発話する傾向があれば、正式な番組名の前半の読みを優先的に辞書に登録することとし、逆に正式な番組名の中間あるいは後半を多く発話する傾向があれば、正式な番組名の中間あるいは後半の読みを優先的に辞書に登録する。

こうすることによって、同一番組名に対して、発話に対するカバー率を向上させるために複数の読みを付与する。闇雲に部分語を増やしたのでは音声認識辞書２２に格納する語彙数が多くなってしまうが、このように過去のユーザの発話傾向に応じて発話される可能性が高いものを優先的に音声認識辞書２２に格納させることで、音声認識精度を確保しつつカバー率を向上させることが出来る。

読みの付与には、汎用の仮名漢字変換辞書を使用しても良いし、愛称など、別の読み方をインターネット上の情報をもとに生成しても良く、その手段は問わない（ステップＳ３３）。また、それぞれの読みが番組名に関するものであるか、出演者名に関するものであるか、識別子を用意しておくと検索の際に都合がよい。

上記、音声認識辞書２２の更新処理は、例えば、一日一回、深夜などに定期的に実施すると好適である。

本実施形態によれば、番組情報、インターネット上の情報など日々変化する情報の検索を音声認識入力により行う際に、検索対象範囲にとって適切な音声認識辞書を動的に生成し、かつユーザの発話傾向に応じて適切に生成語彙を変更できるため、語彙数を実用に耐える認識精度を担保する範囲におさえ、その中で発話に対するカバー率を向上させることができる。

なお、本発明は上記の実施形態のそのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１００・・・音声認識検索システム、１０・・・リモコン装置、１１・・・音声入力部、１２・・・操作部、２０・・・録画機器、２１・・・音声認識部、２２・・・音声認識辞書、２３・・・発話傾向抽出部、２４・・・発話傾向ＤＢ、２５・・・音声認識辞書生成部、２６・・・音声認識候補表示部、２７・・・表示部、２８・・・検索部、２９・・・ＥＰＧ ＤＢ。

Claims (7)

1. コンテンツ情報のデータを蓄積するコンテンツ情報データベースと、
   音声を入力するための音声入力部と、
   前記音声入力部から入力された音声を認識してテキスト化する音声認識部と、
   認識処理のため前記音声認識部で参照される音声認識辞書と、
   前記音声認識部が認識したテキストを検索キーワードとして前記コンテンツ情報データベース内の検索対象範囲を検索する検索部と、
   検索結果を表示する表示部と、
   前記表示部に表示される音声認識候補の選択を行う操作部と、
   前記音声認識部が認識したテキストから、ユーザの発話傾向を抽出する発話傾向抽出部と、
   前記発話傾向抽出部が抽出した発話傾向を蓄積する発話傾向データベースと、
   前記検索対象範囲のデータと前記発話傾向データベースの内容に基づいて、前記音声認識辞書を生成する音声認識辞書生成部を具備することを特徴とする音声認識検索システム。
2. 前記発話傾向抽出部は、前記認識したテキストの文字数で表わされる発話長を抽出する発話長抽出手段を具備し、
   前記発話傾向データベースには前記発話長を蓄積するとともに、
   前記音声認識辞書生成部は、前記発話長の傾向に基づいて生成する音声認識辞書を変更することを特徴とする請求項１に記載の音声認識検索システム。
3. 前記発話傾向抽出部は、同一キーワードに対する複数の部分語のうち、正式コンテンツ名に対する部分語の位置の特徴を抽出する部分語位置抽出手段を具備し、
   前記発話傾向データベースには前記部分語位置の特徴を蓄積するとともに、
   前記音声認識辞書生成部は、前記部分語位置の傾向に基づいて生成する音声認識辞書を変更することを特徴とする請求項１または請求項２に記載の音声認識検索システム。
4. 前記発話長の傾向は、前記発話長を正式なコンテンツ名の読みの長さで正規化して判定することを特徴とする請求項２に記載の音声認識検索システム。
5. 前記部分語位置の特徴は、正式なコンテンツ名を最初から発話した場合、正式なコンテンツ名を途中まで発話した場合、正式なコンテンツ名を最後まで発話した場合のいずれかで判定することを特徴とする請求項３に記載の音声認識検索システム。
6. 前記音声認識結果あるいは検索結果は、候補を尤度の高い順に前記表示部に表示されることを特徴とする請求項１記載の音声認識検索システム。
7. ユーザから音声を用いて入力される検索対象となる音声検索キーを音声認識する音声認識検索システムにおける音声認識検索方法であって、
   検索キーワードを音声入力し、
   入力された音声信号に対して音声認識を行ってテキスト化し、音声認識候補を尤度の高い順に複数個提示し、
   提示された候補中から選択した該文字列を検索キーワードとしてコンテンツ情報データベースを検索し、
   コンテンツ候補リスト中からコンテンツを選択し、
   コンテンツを選択した際に、発話傾向を抽出し、
   選択したコンテンツの正式名と発話した内容とを比較し、該発話の特徴を抽出し、発話傾向データベースに格納する、
   ことを特徴とする音声認識検索方法。