JP2005215726A - 話者に対する情報提示システム及びプログラム - Google Patents
話者に対する情報提示システム及びプログラム Download PDFInfo
- Publication number
- JP2005215726A JP2005215726A JP2004017948A JP2004017948A JP2005215726A JP 2005215726 A JP2005215726 A JP 2005215726A JP 2004017948 A JP2004017948 A JP 2004017948A JP 2004017948 A JP2004017948 A JP 2004017948A JP 2005215726 A JP2005215726 A JP 2005215726A
- Authority
- JP
- Japan
- Prior art keywords
- information
- voice
- keyword
- speaker
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】 人間の発話音声の中から情報処理装置が予め定められた単語を抽出し、発話する人間に対して、情報処理装置が音声認識を利用して情報を提示する。
【解決手段】話者の発話音声を入力する音声入力手段7と、所定のキーワードに対応する条件とそれに関連するアクション情報とを対応づけて記憶するアクションデータ記憶手段10と、音声認識を利用した情報提示を行う情報提示処理手段9を備え、該情報提示処理手段9は、発話音声の音声認識処理を行い、この処理結果から、前記アクションデータ記憶手段10に記憶されたキーワードを検出し、検出されたキーワードが前記条件を満たすか否かを判定し、条件を満たす場合には対応するアクション情報を前記アクションデータ記憶手段10から抽出し、抽出されたアクション情報に基づく処理を実行する。
【選択図】 図2
【解決手段】話者の発話音声を入力する音声入力手段7と、所定のキーワードに対応する条件とそれに関連するアクション情報とを対応づけて記憶するアクションデータ記憶手段10と、音声認識を利用した情報提示を行う情報提示処理手段9を備え、該情報提示処理手段9は、発話音声の音声認識処理を行い、この処理結果から、前記アクションデータ記憶手段10に記憶されたキーワードを検出し、検出されたキーワードが前記条件を満たすか否かを判定し、条件を満たす場合には対応するアクション情報を前記アクションデータ記憶手段10から抽出し、抽出されたアクション情報に基づく処理を実行する。
【選択図】 図2
Description
この発明は、入力された人間の自然な発話音声を認識し、情報処理装置が,その発話の中から予め定められた単語を抽出し、発話する人間に対して、情報を提示する音声認識を利用した情報提示システム及びプログラムの提供に関する。
人間の自然な発話音声を認識し、その発話の中からキーワードを抽出し、そのキーワードに対応した情報を人間に提供する発明として、特開2003−208439号公報(以下、「従来発明」と記す)に記載のものがある。
この従来発明は、ユーザからの電話を介した問合せに対してオペレータが対応するコールセンターのような場所で使用されることを念頭に置いたものである。オペレータが会話応答時に使用すると想定される単語を予め抽出しておき、この単語がユーザとオペレータとの会話の中で出現したとき、その単語に対応する1以上の応答情報となりうる情報と関連づけてオペレータ端末に記憶させておく。そして、オペレータ端末にインストールしたソフトウェアがユーザとオペレータとの会話の音声認識を行い、その認識結果と上記した抽出済みの単語とのマッチングを行い、マッチングの度合いによって、1以上の応答情報となりうる情報を抽出し、これをオペレータ端末に画面表示する。オペレータは、表示された情報そのものをユーザに応答する情報とすることができるし、あるいは、表示された情報の中からいずれかを特定することで適切な情報を得ることができる。この従来発明によって、オペレータは、ユーザからの質問に対し迅速かつ効率よく返答できるようになった。
特開2003−208439号公報
この従来発明は、ユーザからの電話を介した問合せに対してオペレータが対応するコールセンターのような場所で使用されることを念頭に置いたものである。オペレータが会話応答時に使用すると想定される単語を予め抽出しておき、この単語がユーザとオペレータとの会話の中で出現したとき、その単語に対応する1以上の応答情報となりうる情報と関連づけてオペレータ端末に記憶させておく。そして、オペレータ端末にインストールしたソフトウェアがユーザとオペレータとの会話の音声認識を行い、その認識結果と上記した抽出済みの単語とのマッチングを行い、マッチングの度合いによって、1以上の応答情報となりうる情報を抽出し、これをオペレータ端末に画面表示する。オペレータは、表示された情報そのものをユーザに応答する情報とすることができるし、あるいは、表示された情報の中からいずれかを特定することで適切な情報を得ることができる。この従来発明によって、オペレータは、ユーザからの質問に対し迅速かつ効率よく返答できるようになった。
この発明の基本的なコンセプトは、上記の従来発明と共通する。その上で、話者へ提供する情報の質的な充実を図ること、話者に迅速な情報の提示を確保すること、音声認識の精度を高めることで、ユーザへの情報提示サービスの向上を図ることを課題とした。
第1の発明は、話者に対する情報提示システムにおいて、話者の発話音声を入力する音声入力手段と、所定のキーワードに対応する条件とそれに関連するアクション情報とを対応づけたキーワードとアクションの対応データを記憶するアクションデータ記憶手段と、音声認識を利用した情報提示を行う情報提示処理手段を備え、該情報提示処理手段は、話者の発話音声の音声認識処理を行い、この処理の結果から、前記アクションデータ記憶手段に記憶されたキーワードを検出し、検出されたキーワードが前記条件を満たすか否かを判定し、条件を満たす場合には対応するアクション情報を前記アクションデータ記憶手段から抽出し、抽出されたアクション情報に基づく処理を実行することを特徴とする。
話者の発話音声から予め定めたキーワードが検出された場合に、このシステムは、話者への情報提示というアクションを起こす。このアクションは読み込んだファイルの内容を表示することであったり、プログラムの実行であったり、インターネットのサイトの閲覧であったりする。このアクションの基礎になるファイルやサイトを特定する情報が「アクション情報」である。
第2の発明は、第1の発明において、話者が閲覧可能な出力手段を備え、前記抽出されたアクション情報に基づく処理は前記出力手段に情報を表示させることを特徴とする。
第3の発明は、第1又は第2の発明において、前記情報提示処理手段は、入力された音声をディクテーション処理を用いた方式でテキスト化し、このテキストから前記アクションデータ記憶手段に記憶されているキーワードを検出することを特徴とする。
第4の発明は、第3の発明において、単語をその表記と読み方とを対応させて記憶するユーザ単語を記憶したユーザ辞書記憶手段を備え、前記ディクテーション処理によって得られたテキストに前記ユーザ辞書記憶手段に記憶されたユーザ単語が含まれる場合には、そのテキスト中の該ユーザ単語の先頭位置を示す情報を出力することを特徴とし、前記情報提示処理手段は該ユーザ単語の先頭位置のみからキーワードの検索を実行することを特徴とする。
「ユーザ単語」とは、アクションデータ記憶手段に登録したキーワードの検出の基礎になる単語である。少なくとも先頭部分が「ユーザ単語」として登録されていないキーワードは、テキストのどの位置から検索してよいか不明のため、検出されない。
第5の発明は、第4の発明において、前記アクションデータ記憶手段に記憶させるキーワードを、前記ユーザ辞書記憶手段にユーザ単語として記憶させるユーザ単語登録処理手段を備えることを特徴とする。
第6の発明は、第1〜第5のいずれか1の発明において、前記情報提示処理手段は、前記アクションデータ記憶手段にキーワードに対応する条件と対応づけられたアクション情報が、ファイルの種類とファイル名を特定する情報であれば、そのファイルをオープンし、その種類に応じた処理を行い、インターネット上のサイトのURLであれば、そのサイトのWebページの閲覧請求をすることを特徴とする。
第7の発明は、第6の発明において、前記ファイルをオープンし、その種類に応じた処理が、ファイルの種類がプログラムファイルである場合に、音声認識結果をそのプログラムの引数とすることを特徴とする。
第8の発明は、第1〜第7のいずれか1の発明において、前記音声入力手段は、電話回線を介した質問に対応する応答員と質問者との会話の音声を入力し、その会話の音声を前記情報提示処理手段に渡すことを特徴とする。
第9の発明は、第8の発明において、前記音声入力手段は、電話回線を介した質問に対応する応答員の話す音声のみを採集する専用のマイクを備え、該マイクに入力された音声が電話回線を経由せずに前記情報提示処理手段の入力データとなることを特徴とする。
第10の発明は、コンピュータプログラムにおいて、コンピュータに読み込まれて実行されることにより該コンピュータを話者の発話音声から音声認識によって検出したキーワードに対応した情報を提示する情報提示システムとして動作させるためのコンピュータプログラムであって、前記コンピュータを、所定のキーワードに対応する条件とそれに関連するファイル情報とを対応づけたアクションデータをアクションデータ記憶手段に登録する手段、入力された話者の発話音声に対し音声認識処理を行う手段、音声認識の結果から前記アクションデータ記憶手段に記憶されたキーワードを検出し、検出されたキーワードが前記条件を満たすか否かを判定し、条件を満たす場合には対応するファイル情報を前記アクションデータ記憶手段から抽出し、抽出されたファイル情報に基づく処理を実行する手段、その実行結果を出力させる手段として機能させることを特徴とする。
この発明によれば、連続する発話音声をシステムが音声認識し、検出したキーワードに適した情報を話者に提示することができる。電話による問合せへの応対を業務とするコールセンターの応答員等を、この発明のシステムのユーザとすれば、発話の進行につれ、システムがタイムリーに情報を提示してくれるので、電話の相手方に迅速・的確に応対できる。
また、この発明は、単数のキーワードだけでなく、複数のキーワードが出現した場合にも対応できる点に特色がある。複数のキーワード間の論理関係(and、or、not)から、その論理値を抽出する。すなわち、単なる単語の羅列ではなく、文章そのものを抽出したことになるので、より質の高い情報提供が可能となる。
さらに、この発明によれば、キーワードの候補をユーザ単語として登録し、ディクテーション処理結果のテキスト中、ユーザ単語の先頭位置からキーワードを検索するので、迅速にキーワードが検出できる。その結果、話者の自然な発話の進行にあわせて、タイミングよい情報の提示が可能になる。しかも、キーワードの登録とユーザ単語の登録は、1度の操作でできるので、煩雑なデータ登録の手間が軽減されるとともに、データ間の不整合を防止できる。
さらにまた、この発明によれば、話者の音声を専用のマイクで採集するので、音質劣化がなく、精度の高い音声認識が可能となる。
以下に、この発明の情報提示システムが、顧客からの電話による問合せに応対する応答員を配備したコールセンターに適用される場合の実施形態を説明する。
図1は、この実施形態のシステム全体の構成例を示す図である。
応答員は、情報処理装置1と電話機2が設置されている場所に配置されている。この応答員側の電話機2は、公衆通信回線網N1によって、顧客側の電話機3と接続し、双方向の通信が行われる。応答員側の情報処理装置1は、通信回線N2を介して応答員を管理する管理者側の情報処理装置4と接続する。さらに、情報処理装置1は、インターネットN3を介して、ホームページ用サーバ(以下「HP用サーバ」と記す)5と接続可能である。
図1は、この実施形態のシステム全体の構成例を示す図である。
応答員は、情報処理装置1と電話機2が設置されている場所に配置されている。この応答員側の電話機2は、公衆通信回線網N1によって、顧客側の電話機3と接続し、双方向の通信が行われる。応答員側の情報処理装置1は、通信回線N2を介して応答員を管理する管理者側の情報処理装置4と接続する。さらに、情報処理装置1は、インターネットN3を介して、ホームページ用サーバ(以下「HP用サーバ」と記す)5と接続可能である。
図2は、応答員側の情報処理装置1の構成を示すブロック図である。
情報処理装置1は、コンピュータ本体6と、音声入力手段7と、出力手段8を備えている。
情報処理装置1は、コンピュータ本体6と、音声入力手段7と、出力手段8を備えている。
コンピュータ本体6は、情報提示処理手段9、アクションデータ記憶手段10、ユーザ辞書記憶手段11、ファイル記憶手段12、ユーザ単語登録処理手段13を備えている。さらに、コンピュータ本体6は、通信インタフェース(不図示)を備え、音声入力手段7や出力手段8、さらにLANやインターネット等を介して管理者側の情報処理装置4やHP用サーバ5等との接続機能を有している。
音声入力手段7は、話者の発話音声を採集するための手段であり、音声を採集できる手段ならば、なんでもよい。したがって、電話機2をコンピュータ本体6に接続し、これを音声入力手段としてもよい。しかし、この実施形態では、電話機2とは別に、電話回線に流れる前の応答員の発話音声を採集する専用のマイクを備え、これを音声入力の手段としている。いったん電話回線に流れると音質の劣化は免れがたいので、これを防止し、精度の高い音声認識が行えるようにするためである。
なお、音声入力手段7から収集された音声データはアナログ信号データであるので、これを情報提示処理手段9に入力する前に、デジタル信号データに変換する。以後、情報提示処理手段9による音声認識処理の対象となる音声データとは、このA/D変換後のデータのことである。
データ変換等の詳細は、この発明にとっての本質的事項ではないので、説明を省略する。
データ変換等の詳細は、この発明にとっての本質的事項ではないので、説明を省略する。
出力手段8は、応答員に対して、発話音声の音声認識結果から抽出されたキーワードと所定の関連のある情報を出力する手段である。出力手段8としては、話者が閲覧可能なディスプレイが考えられる。しかし、ディスプレイに限らず、応答員が提示される情報を知得しうるものならばなんでもよい。
情報提示処理手段9は、音声入力手段7によって入力された音声を、音声認識処理し、その認識結果からキーワードを検出し、そのキーワードと対応する条件が成立するとき、予め定められた処理を行い、その処理結果を出力手段8に送信し出力させる。これらの処理は、外部補助記憶装置やROMに格納されているコンピュータプログラムをメモリ上にロードすることによって行われる。
この実施形態では、情報提示処理手段9による音声認識処理は、ディクテーションを使用する方法によって音声をテキスト化する処理部分、このテキストから予め定められたキーワードを検出する処理部分に分かれる。説明の便宜上、前者をディクテーション処理、後者をキーワード検出処理と表現する。このディクテーション処理は、一般的な文章を「てにをは」を含めて認識する。あらかじめ作成した単語等のリストにある単語を認識対象とするルールグラマーを利用した方法に比べると、多くの可能性のある中で処理をする点で困難な方法である。そこで、この困難の緩和のために、公知の手法であるNグラムを用いたモデリングを用いる。
このNグラムモデルは、N=3の場合(トライグラムという)を例にとると、与えられた単語列w1w2・・・wnの出現確率P(w1w2・・・wn)の推定をする場合に、P(w1w2・・・wn)=ΠP(wi|wi-2、wi-1)×P(w1w2)のような近似をするモデルである。右辺のP(wi|wi-2、wi-1)は、単語wi-2、wi-1と来たときに、次にwiが来る条件付確率を表す。P(wi|wi-2、wi-1)のすべての積を計算し、P(w1w2・・・wn)が最も大きな値を取る単語列の組み合わせを認識結果として決定する。
このNグラムモデルは、N=3の場合(トライグラムという)を例にとると、与えられた単語列w1w2・・・wnの出現確率P(w1w2・・・wn)の推定をする場合に、P(w1w2・・・wn)=ΠP(wi|wi-2、wi-1)×P(w1w2)のような近似をするモデルである。右辺のP(wi|wi-2、wi-1)は、単語wi-2、wi-1と来たときに、次にwiが来る条件付確率を表す。P(wi|wi-2、wi-1)のすべての積を計算し、P(w1w2・・・wn)が最も大きな値を取る単語列の組み合わせを認識結果として決定する。
このようなディクテーション処理によって、音声をテキスト化できるので、このテキストを文字列検索することでキーワードの検出が容易にできる。
また、音声認識の結果がテキストとして得られるため、このテキストを後日の記録として保存できる。さらに、このテキストを編集して応答員が日報を簡単に作成できる等の副次的な効果も得られる。
また、音声認識の結果がテキストとして得られるため、このテキストを後日の記録として保存できる。さらに、このテキストを編集して応答員が日報を簡単に作成できる等の副次的な効果も得られる。
アクションデータ記憶手段10は、キーワードに対応する条件とそれに関連するアクション情報とを対応づけたキーワードとアクションの対応データを格納するものである。キーワードとアクションの対応データについては、後に詳しく説明する。
ユーザ辞書記憶手段11は、後に詳しく説明するユーザ辞書を格納するものである。
ファイル記憶手段12は、上記したアクション情報として登録されているファイル等を格納しておく手段である。
アクションデータ記憶手段10、ユーザ辞書記憶手段11、ファイル記憶手段12は、コンピュータ本体6に備えられたCD−ROMやハードディスクなどの補助記憶装置に実装されている。
ユーザ辞書記憶手段11は、後に詳しく説明するユーザ辞書を格納するものである。
ファイル記憶手段12は、上記したアクション情報として登録されているファイル等を格納しておく手段である。
アクションデータ記憶手段10、ユーザ辞書記憶手段11、ファイル記憶手段12は、コンピュータ本体6に備えられたCD−ROMやハードディスクなどの補助記憶装置に実装されている。
次に、ユーザ単語登録処理手段13は、アクションデータ記憶手段10に記憶させるキーワードを、ユーザ辞書記憶手段11にユーザ単語として記憶させる手段である。
なお、情報提示処理手段9、ユーザ単語登録処理手段13は、コンピュータ本体6に搭載されたCPUが、ROM,あるいは補助記憶装置等から所定のコンピュータプログラムを読み込んで実行することにより実現されている。
なお、情報提示処理手段9、ユーザ単語登録処理手段13は、コンピュータ本体6に搭載されたCPUが、ROM,あるいは補助記憶装置等から所定のコンピュータプログラムを読み込んで実行することにより実現されている。
次に、アクションデータ記憶手段10に格納されるキーワードとアクションの対応データについて説明する。図3は、キーワードに対応する条件とアクション情報との対応を例示したものである。キーワードとは、図3の例では、キーワードに対応する条件欄14(以下「条件欄」という)に現れる「新型電子レンジ」、「電子レンジ」、「冷蔵庫」、「価格」、「値段」、「わかりました」という単語のことである。ディクテーション処理の出力テキストからキーワードが検出されると、そのキーワードは有効であるとする。検出されないキーワードは無効である。
なお、便宜上、有効とは論理値“真”を、無効とは論理値“偽”を持つ状態として説明する。
キーワードに対応する条件とは、各キーワードが持つ値を論理演算した結果をいい、これが“真”の場合、キーワードに対応する条件が満たされたと判定される。条件欄14に掲げる条件が満たされたとき、対応するアクション情報欄15に記述されたファイル識別子やURLに基づく処理が実行されることになる。
なお、便宜上、有効とは論理値“真”を、無効とは論理値“偽”を持つ状態として説明する。
キーワードに対応する条件とは、各キーワードが持つ値を論理演算した結果をいい、これが“真”の場合、キーワードに対応する条件が満たされたと判定される。条件欄14に掲げる条件が満たされたとき、対応するアクション情報欄15に記述されたファイル識別子やURLに基づく処理が実行されることになる。
キーワードに対応する条件について、以下に、詳しく説明する。
条件欄14aは、キーワード「新型電子レンジ」の値が真、つまり、「新型電子レンジ」が話者の発話音声から検出されたことを条件として、アクション情報欄15aに基づく処理を実行することを意味する。
条件欄14bは、キーワード「電子レンジ」の値が真、かつ、「not新型電子レンジ」が真、つまり、キーワード「新型電子レンジ」の値が偽の場合に、対応したアクション情報に基づく処理を実行することを意味する。
条件欄14cは、キーワード「新型電子レンジ」の値が真、かつ、「価格 or 値段」が真、つまり、キーワード「価格」か「値段」のいずれかの値が真の場合に、対応したアクション情報に基づく処理を実行することを意味する。
条件欄14aは、キーワード「新型電子レンジ」の値が真、つまり、「新型電子レンジ」が話者の発話音声から検出されたことを条件として、アクション情報欄15aに基づく処理を実行することを意味する。
条件欄14bは、キーワード「電子レンジ」の値が真、かつ、「not新型電子レンジ」が真、つまり、キーワード「新型電子レンジ」の値が偽の場合に、対応したアクション情報に基づく処理を実行することを意味する。
条件欄14cは、キーワード「新型電子レンジ」の値が真、かつ、「価格 or 値段」が真、つまり、キーワード「価格」か「値段」のいずれかの値が真の場合に、対応したアクション情報に基づく処理を実行することを意味する。
アクション情報欄15には、ファイル識別子やURLが記述されている。アクション情報欄15aに記述されたファイル識別子「c:\product\new_microwave.jpg」から、ファイル名とファイルの格納場所とファイル種類がわかる。ファイル拡張子が「jpg」であることから、当該ファイルは画像ファイルであり、キーワード「新型電子レンジ」が出現したときに、情報提示処理手段9は、このファイルをファイル記憶手段12から読み出し、画像データを出力手段8に出力することになる。
なお、ファイル拡張子は、他に、実行形式ファイルを意味する「exe」やWord(マイクロソフト社の製品名)で作成された文書ファイルを意味する「doc」など種々があり、情報提示処理手段9は、それぞれのファイル種別に応じた処理を行う。例えば、アクション情報欄15bには「warning」という名前のプログラムを格納したファイルが指定されている。このように、アクション情報欄15にプログラムファイルが記述されているときは、音声認識処理の結果を引数とすることができる。音声認識処理の結果とは、ディクテーション処理によって得られたテキストや、キーワード検出処理によって得られたキーワードなどのことである。また、引数をとる場合は、その個数は1個に限らない。
アクション情報欄15cには「http://pricelist/new_microwave」というURLが記述されている。情報提示処理手段9は、条件欄14cが真の場合、HP用サーバ5に対し、このURLのサイトのコンテンツを送信するように要求する。
アクション情報欄15には、上記のようにプログラムを指定することができるが、このプログラムは、応答員に対し、顧客からの質問などに答えるための情報を取得させるものに限定されない。応答員のOJTを目的とするものであってもよい。
例えば、アクション情報欄15bで指定されている「warning」は、不適当な言葉遣いを検出したときに、警告を発し、正しい言葉遣いを画面に表示させるプログラムであるとする。応答員が不適当な言葉遣い(図3の例では、「わかりました」)をすると、これが引数としてプログラム「warning」に渡され、正しい言葉遣い(例えば、「かしこまりました」)を応答員に示せば、応答員に対する教育指導ができる。あるいは、不適当な言葉遣いの頻度の高い応答員の発話内容を管理者側のコンピュータ4に転送するようなプログラムであってもよい。
要するに、アクションデータとして、どのようなキーワードを登録し、どのような条件のもと、どのような処理を実行するかについて、この実施形態は制約を設けていない。
例えば、アクション情報欄15bで指定されている「warning」は、不適当な言葉遣いを検出したときに、警告を発し、正しい言葉遣いを画面に表示させるプログラムであるとする。応答員が不適当な言葉遣い(図3の例では、「わかりました」)をすると、これが引数としてプログラム「warning」に渡され、正しい言葉遣い(例えば、「かしこまりました」)を応答員に示せば、応答員に対する教育指導ができる。あるいは、不適当な言葉遣いの頻度の高い応答員の発話内容を管理者側のコンピュータ4に転送するようなプログラムであってもよい。
要するに、アクションデータとして、どのようなキーワードを登録し、どのような条件のもと、どのような処理を実行するかについて、この実施形態は制約を設けていない。
次に、ユーザ辞書記憶手段11に格納されるユーザ辞書について説明する。
図4は、ユーザ辞書の一例を示したものである。この辞書には、上記したアクションデータ記憶手段10に登録するキーワードを、その表記と読み方とを対応づけて登録する。
後に詳しく説明する情報提示のためのキーワードの検出は、このユーザ辞書に登録されている単語のみを対象とする。このように検出するべきキーワードを絞り込んでいるので、話者の自然な発声に追従可能な処理スピードが実現できる。
図4は、ユーザ辞書の一例を示したものである。この辞書には、上記したアクションデータ記憶手段10に登録するキーワードを、その表記と読み方とを対応づけて登録する。
後に詳しく説明する情報提示のためのキーワードの検出は、このユーザ辞書に登録されている単語のみを対象とする。このように検出するべきキーワードを絞り込んでいるので、話者の自然な発声に追従可能な処理スピードが実現できる。
アクションデータの登録およびユーザ辞書への登録は、別々に行おうとすると手間のかかる作業となる。
この実施形態では、ユーザが、図示しないキーボードやマウスなどの入力手段を用いてアクションデータ記憶手段10にキーワードを登録すると、ユーザ単語登録処理手段13がこのキーワードの表記をユーザ辞書に登録する。表記と対応した読み方は、ユーザ単語登録処理手段13がシステム辞書(不図示)を参照等することにより、ユーザが入力しなくても登録できる。なお、単語の表記から読み方を求める処理は公知であり、この実施形態も公知な処理にしたがっている。
なお、ここでいう「ユーザ」とは、この実施形態のシステムを使用する者のことであり、コールセンターの管理者や応答員も「ユーザ」に該当する。
この実施形態では、ユーザが、図示しないキーボードやマウスなどの入力手段を用いてアクションデータ記憶手段10にキーワードを登録すると、ユーザ単語登録処理手段13がこのキーワードの表記をユーザ辞書に登録する。表記と対応した読み方は、ユーザ単語登録処理手段13がシステム辞書(不図示)を参照等することにより、ユーザが入力しなくても登録できる。なお、単語の表記から読み方を求める処理は公知であり、この実施形態も公知な処理にしたがっている。
なお、ここでいう「ユーザ」とは、この実施形態のシステムを使用する者のことであり、コールセンターの管理者や応答員も「ユーザ」に該当する。
この実施形態では、ユーザは、アクションデータ記憶手段10にキーワードを登録するキーボード入力などの操作をすれば、ユーザ辞書へ登録するための操作を行う必要がないという点に意味がある。ユーザ辞書へ登録するために、ユーザの操作が別途必要であるとすれば、この操作を失念した結果、アクションデータとユーザ辞書との整合がとれなくなるという不都合が生じうる。しかし、ユーザが意識しないうちにユーザ単語登録処理手段13がユーザ辞書への登録まで行うので、このような問題は生じない。
なお、このことは、ユーザがユーザ辞書への登録手続きを行おうとする余地を排除することを意味するのではない。例えば、「WYSIWYG」のように、読み方が難しいキーワードの場合は、ユーザがキーボードの操作等によって「うぃずぃうぃぐ」とユーザ辞書に登録することを妨げるものではない。
なお、このことは、ユーザがユーザ辞書への登録手続きを行おうとする余地を排除することを意味するのではない。例えば、「WYSIWYG」のように、読み方が難しいキーワードの場合は、ユーザがキーボードの操作等によって「うぃずぃうぃぐ」とユーザ辞書に登録することを妨げるものではない。
ところで、情報提示処理手段9による処理は、コールセンターの稼動時間中、絶え間なく行われる性質のものである。これに対し、ユーザ単語登録処理手段13による処理は、システムの運用開始前、運用開始後のメンテナンス時などに行われ、恒常的に行われる性質のものではない。そのうえ、特定の担当者をその登録処理に充てたほうが適切な場合もある。そこで、ユーザ単語登録処理手段13は、応答員側の情報処理装置1に備えず、管理者側の情報処理装置4に備えるようにしてもよい。
次に、この実施形態の作用について説明する。
コールセンターの応答員が、電話による問合せをしてきたお客様と対話をし、このとき、応答員が、「かしこまりました。新型電子レンジをご購入されるためのお値段のお問い合わせでございますね」と発話した場合を例に説明する。以下の説明において、図3、図4に示す例を利用する。
この応答員の発話音声が音声入力手段7を介して、情報提示処理手段9に入力される。
コールセンターの応答員が、電話による問合せをしてきたお客様と対話をし、このとき、応答員が、「かしこまりました。新型電子レンジをご購入されるためのお値段のお問い合わせでございますね」と発話した場合を例に説明する。以下の説明において、図3、図4に示す例を利用する。
この応答員の発話音声が音声入力手段7を介して、情報提示処理手段9に入力される。
情報提示処理手段9は、ユーザ辞書記憶手段11に格納されたユーザ辞書および図示しないシステム辞書を用いて、ディクテーション処理を行い、入力された音声をテキストに変換する。ディクテーション処理によって、例えば「貸し困りました。☆新型☆電子レンジを五個乳されるためのお☆値段のお問い合わせでございますね」という認識結果が得られたとする。ここで、☆は「ユーザ単語の先頭位置を示す情報」を表す。先頭位置を示すものであれば、テキストが格納されたメモリの該当するアドレスでも、何番目の文字であるかといった情報でも、なんでもよい。
次いで、情報提示処理手段9は、応答員の発声に合わせて、上記テキストを順次に処理していく。例えば、「貸し困りました。☆新型☆電子レンジを」までのテキストを受け取ったところで、キーワードの先頭位置を示す情報がある「新」から始まる文字列「新型電子レンジを」及び「電」から始まる文字列「電子レンジを」を対象に、アクションデータ記憶手段10からキーワードの検索を行う。
ここで、「新」が出現する以前の「貸し困りました。」はキーワード検出の対象とする必要がない。このように、キーワードを検出する範囲が絞り込めるので、迅速な処理が実現できる。
なお、図4に示すユーザ辞書の例では、「新型電子レンジ」がユーザ単語として登録されていない。しかし、「新型」が登録されているので、「新」から始まる文字列をキーワード検索の対象とするべきことがわかる。したがって、図3の例にあるキーワード「新型電子レンジ」が検出洩れになることはない。
ここで、「新」が出現する以前の「貸し困りました。」はキーワード検出の対象とする必要がない。このように、キーワードを検出する範囲が絞り込めるので、迅速な処理が実現できる。
なお、図4に示すユーザ辞書の例では、「新型電子レンジ」がユーザ単語として登録されていない。しかし、「新型」が登録されているので、「新」から始まる文字列をキーワード検索の対象とするべきことがわかる。したがって、図3の例にあるキーワード「新型電子レンジ」が検出洩れになることはない。
キーワードの検索を行うことにより、キーワード「新型電子レンジ」及び「電子レンジ」が検出され、これらのキーワードを有効にする。ここで、キーワードの検索は、文字列の左端(「新」「新型」「新型電」...)がキーワードの集合(数万語に達することもある)の要素との一致の有無を調べることによって行う。1つの文字列と多数のキーワードを対象とするこの検索は、ハッシュインデクスなどの公知の方法で高速に行うことができる。また、ユーザ単語の先頭位置からのみキーワードの検索を行うので、検索回数が少なくて済み、効率的に処理ができる。
このように効率的な処理ができるということは、応答員の自然な発話にこのシステムが対応できることを意味する。もし、このシステムによる検索処理の効率が悪ければ、応答員に不自然な発話を強いることになりかねない。それでは、応答員の業務を支援するという目的がまっとうできない。
キーワード「新型電子レンジ」が検出されたので、アクションデータ記憶手段10からキーワードに対応する条件を満たすものを求めると、「新型電子レンジ c:\product\new_microwave.jpg」が該当する。そこで、情報提示処理手段9は、ファイル「c:\product\new_microwave.jpg」をオープンし、読み込んだ画像データを出力手段8に送信し表示させる。
さらに、「...五個乳されるためのお☆値段の」まで処理が進むと、キーワード「値段」が検出されたので、これを有効にする。それ以前の「五個乳されるためのお」はキーワード検出の対象とする必要がない。
ここまでの処理で、「新型電子レンジ」と「値段」が検出され、いずれも有効なので、アクションデータ「新型電子レンジ and (価格 or 値段) http://pricelist/new_microwave」の条件が満たされた。そこで、当該URLのサイトにコンテンツの閲覧請求をする。
さらに、「...五個乳されるためのお☆値段の」まで処理が進むと、キーワード「値段」が検出されたので、これを有効にする。それ以前の「五個乳されるためのお」はキーワード検出の対象とする必要がない。
ここまでの処理で、「新型電子レンジ」と「値段」が検出され、いずれも有効なので、アクションデータ「新型電子レンジ and (価格 or 値段) http://pricelist/new_microwave」の条件が満たされた。そこで、当該URLのサイトにコンテンツの閲覧請求をする。
さらに、応答員の発声が終了し、お客様の発声が始まると、情報提示処理手段9のキーワード検出処理部分は、ディクテーション処理部分の処理結果であるテキストを一定時間(例えば10秒間)にわたって受け取ることができない。そこで、キーワード検出処理部分は、それまでに検出されたキーワード「新型電子レンジ」と「値段」を無効にする。ここで、例えばお客様の発声の後で応答員が「別途のご質問で冷蔵庫についてでございますね」と発声し、キーワード「冷蔵庫」が検出されたとき、既にキーワード「値段」は無効になっている。そのため、アクションデータ「冷蔵庫and (価格 or 値段) http://pricelist/refregerator」が誤って「条件を満たす」と判定されることを防止できる。
なお、この実施形態では、ディクテーション処理の結果であるテキストが一定時間にわたって受け取られなかったことをキーワード検出処理部分が検知することにより、それまでに検出されたキーワードを無効にした。しかし、キーワードを無効にする条件は、これに限定されない。例えば、応答員によるキーボードやマウスの操作あるいは電話の切断をもってキーワードを無効にすることも可能である。
上記の実施形態では、応答員の発話音声のみを音声認識処理の入力データとした。しかし、応答員側の情報処理装置1に電話機2を接続し、応答員と顧客との会話音声を電話機2から情報提示処理手段9へ入力してもよい。あるいは、応答員の音声のみを電話機2から情報提示処理手段9へ入力してもよい。
また、上記の実施形態では、情報処理装置1が公衆通信回線網N1、通信回線網N2、インターネットN3を介して、外部の電話機3やHP用サーバ5等と接続していた。しかし、この発明は、単独の情報処理装置1に対しても適用できる。つまり、コールセンター以外の用途にも適用の余地がある。
さらに、上記の実施形態では、出力手段8として、もっぱら視覚により閲覧可能な表示装置を念頭に説明した。しかし、出力手段8は、聴覚的な情報提示手段であってもよい。例えば、視覚障害者が、質問等を音声で入力すると、音声で適当な応答が返ってくるようにすれば、福祉や教育の分野への応用も可能になる。
さらにまた、上記の実施形態では、キーワードの検出をディクテーションによる方法で行った。しかし、ディクテーションによる方法に限定されるものではなく、連続する発声からキーワードの検出ができるならば、他の方法を用いても差し支えないことは当然である。
2 音声入力手段(電話機)
7 音声入力手段(専用のマイク)
8 出力手段
9 情報提示処理手段
10 アクションデータ記憶手段
11 ユーザ辞書記憶手段
13 ユーザ単語登録処理手段
7 音声入力手段(専用のマイク)
8 出力手段
9 情報提示処理手段
10 アクションデータ記憶手段
11 ユーザ辞書記憶手段
13 ユーザ単語登録処理手段
Claims (10)
- 話者に対する情報提示システムにおいて、話者の発話音声を入力する音声入力手段と、所定のキーワードに対応する条件とそれに関連するアクション情報とを対応づけたキーワードとアクションの対応データを記憶するアクションデータ記憶手段と、音声認識を利用した情報提示を行う情報提示処理手段を備え、該情報提示処理手段は、話者の発話音声の音声認識処理を行い、この処理の結果から、前記アクションデータ記憶手段に記憶されたキーワードを検出し、検出されたキーワードが前記条件を満たすか否かを判定し、条件を満たす場合には対応するアクション情報を前記アクションデータ記憶手段から抽出し、抽出されたアクション情報に基づく処理を実行することを特徴とする話者に対する情報提示システム。
- 話者が閲覧可能な出力手段を備え、前記抽出されたアクション情報に基づく処理は前記出力手段に情報を表示させることを特徴とする請求項1に記載の話者に対する情報提示システム。
- 前記情報提示処理手段は、入力された音声をディクテーション処理を用いた方式でテキスト化し、このテキストから前記アクションデータ記憶手段に記憶されているキーワードを検出することを特徴とする請求項1又は2に記載の話者に対する情報提示システム。
- 単語をその表記と読み方とを対応させて記憶するユーザ単語を記憶したユーザ辞書記憶手段を備え、前記ディクテーション処理によって得られたテキストに前記ユーザ辞書記憶手段に記憶されたユーザ単語が含まれる場合には、そのテキスト中の該ユーザ単語の先頭位置を示す情報を出力することを特徴とし、前記情報提示処理手段は該ユーザ単語の先頭位置のみからキーワードの検索を実行することを特徴とする請求項3に記載の話者に対する情報提示システム。
- 前記アクションデータ記憶手段に記憶させるキーワードを、前記ユーザ辞書記憶手段にユーザ単語として記憶させるユーザ単語登録処理手段を備えることを特徴とする請求項4に記載の話者に対する情報提示システム。
- 前記情報提示処理手段は、前記アクションデータ記憶手段にキーワードに対応する条件と対応づけられたアクション情報が、ファイルの種類とファイル名を特定する情報であれば、そのファイルをオープンし、その種類に応じた処理を行い、インターネット上のサイトのURLであれば、そのサイトのWebページの閲覧請求をすることを特徴とする請求項1〜5のいずれか1に記載の話者に対する情報提示システム。
- 前記ファイルをオープンし、その種類に応じた処理が、ファイルの種類がプログラムファイルである場合に、音声認識結果をそのプログラムの引数とすることを特徴とする請求項6に記載の話者に対する情報提示システム。
- 前記音声入力手段は、電話回線を介した質問に対応する応答員と質問者との会話の音声を入力し、その会話の音声を前記情報提示処理手段に渡すことを特徴とする請求項1〜7のいずれか1に記載の話者に対する情報提示システム。
- 前記音声入力手段は、電話回線を介した質問に対応する応答員の話す音声のみを採集する専用のマイクを備え、該マイクに入力された音声が電話回線を経由せずに前記情報提示処理手段の入力データとなることを特徴とする請求項8に記載の話者に対する情報提示システム。
- コンピュータに読み込まれて実行されることにより該コンピュータを話者の発話音声から音声認識によって検出したキーワードに対応した情報を提示する情報提示システムとして動作させるためのコンピュータプログラムであって、前記コンピュータを、所定のキーワードに対応する条件とそれに関連するファイル情報とを対応づけたアクションデータをアクションデータ記憶手段に登録する手段、入力された話者の発話音声に対し音声認識処理を行う手段、音声認識の結果から前記アクションデータ記憶手段に記憶されたキーワードを検出し、検出されたキーワードが前記条件を満たすか否かを判定し、条件を満たす場合には対応するファイル情報を前記アクションデータ記憶手段から抽出し、抽出されたファイル情報に基づく処理を実行する手段、その実行結果を出力させる手段として機能させるためのコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004017948A JP2005215726A (ja) | 2004-01-27 | 2004-01-27 | 話者に対する情報提示システム及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004017948A JP2005215726A (ja) | 2004-01-27 | 2004-01-27 | 話者に対する情報提示システム及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005215726A true JP2005215726A (ja) | 2005-08-11 |
Family
ID=34902594
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004017948A Pending JP2005215726A (ja) | 2004-01-27 | 2004-01-27 | 話者に対する情報提示システム及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005215726A (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008033835A (ja) * | 2006-07-31 | 2008-02-14 | Fujitsu Ltd | オペレータ支援プログラム、オペレータ支援装置およびオペレータ支援方法 |
WO2008126355A1 (ja) | 2007-03-29 | 2008-10-23 | Panasonic Corporation | キーワード抽出装置 |
WO2011139461A2 (en) * | 2010-05-06 | 2011-11-10 | Motorola Solutions, Inc. | Method and system for operational improvements in dispatch console systems in a multi-source environment |
JP2013137472A (ja) * | 2011-12-28 | 2013-07-11 | Nikon Corp | 投影装置 |
US8712779B2 (en) | 2007-03-19 | 2014-04-29 | Nec Corporation | Information retrieval system, information retrieval method, and information retrieval program |
KR101455924B1 (ko) * | 2013-03-26 | 2014-11-03 | 주식회사 엘지유플러스 | 통화 기반 관심사 제공을 위한 단말, 서버 장치, 방법, 및 기록 매체 |
KR101484702B1 (ko) * | 2013-03-26 | 2015-01-20 | (주) 다이퀘스트 | 사용자 다이알로그에 따른 서비스 제공 방법 및 다이알로그 에이전트 시스템 |
JP2015056685A (ja) * | 2013-09-10 | 2015-03-23 | 株式会社日立情報通信エンジニアリング | 自動支援サーバおよび自動支援方法 |
EP2717258B1 (en) * | 2012-10-05 | 2017-05-10 | Avaya Inc. | Phrase spotting systems and methods |
US9927878B2 (en) | 2011-12-28 | 2018-03-27 | Nikon Corporation | Display device and projection device |
-
2004
- 2004-01-27 JP JP2004017948A patent/JP2005215726A/ja active Pending
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4734191B2 (ja) * | 2006-07-31 | 2011-07-27 | 富士通株式会社 | オペレータ支援プログラム、オペレータ支援装置およびオペレータ支援方法 |
JP2008033835A (ja) * | 2006-07-31 | 2008-02-14 | Fujitsu Ltd | オペレータ支援プログラム、オペレータ支援装置およびオペレータ支援方法 |
US8712779B2 (en) | 2007-03-19 | 2014-04-29 | Nec Corporation | Information retrieval system, information retrieval method, and information retrieval program |
WO2008126355A1 (ja) | 2007-03-29 | 2008-10-23 | Panasonic Corporation | キーワード抽出装置 |
US8370145B2 (en) | 2007-03-29 | 2013-02-05 | Panasonic Corporation | Device for extracting keywords in a conversation |
WO2011139461A2 (en) * | 2010-05-06 | 2011-11-10 | Motorola Solutions, Inc. | Method and system for operational improvements in dispatch console systems in a multi-source environment |
WO2011139461A3 (en) * | 2010-05-06 | 2012-01-05 | Motorola Solutions, Inc. | Method and system for operational improvements in dispatch console systems in a multi-source environment |
US9927878B2 (en) | 2011-12-28 | 2018-03-27 | Nikon Corporation | Display device and projection device |
JP2013137472A (ja) * | 2011-12-28 | 2013-07-11 | Nikon Corp | 投影装置 |
US10409386B2 (en) | 2011-12-28 | 2019-09-10 | Nikon Corporation | Display device and projection device |
US11086405B2 (en) | 2011-12-28 | 2021-08-10 | Nikon Corporation | Display device and projection device |
EP2717258B1 (en) * | 2012-10-05 | 2017-05-10 | Avaya Inc. | Phrase spotting systems and methods |
US10229676B2 (en) | 2012-10-05 | 2019-03-12 | Avaya Inc. | Phrase spotting systems and methods |
KR101455924B1 (ko) * | 2013-03-26 | 2014-11-03 | 주식회사 엘지유플러스 | 통화 기반 관심사 제공을 위한 단말, 서버 장치, 방법, 및 기록 매체 |
KR101484702B1 (ko) * | 2013-03-26 | 2015-01-20 | (주) 다이퀘스트 | 사용자 다이알로그에 따른 서비스 제공 방법 및 다이알로그 에이전트 시스템 |
JP2015056685A (ja) * | 2013-09-10 | 2015-03-23 | 株式会社日立情報通信エンジニアリング | 自動支援サーバおよび自動支援方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5042799B2 (ja) | 音声チャットシステム、情報処理装置およびプログラム | |
US8341142B2 (en) | Methods and apparatus for searching the Internet | |
US8380516B2 (en) | Retrieval and presentation of network service results for mobile device using a multimodal browser | |
US8843376B2 (en) | Speech-enabled web content searching using a multimodal browser | |
US9633004B2 (en) | Better resolution when referencing to concepts | |
JP5851507B2 (ja) | インターネット検索に関する方法及び装置 | |
US8909532B2 (en) | Supporting multi-lingual user interaction with a multimodal application | |
US8380512B2 (en) | Navigation using a search engine and phonetic voice recognition | |
US9349367B2 (en) | Records disambiguation in a multimodal application operating on a multimodal device | |
US20120059810A1 (en) | Method and apparatus for processing spoken search queries | |
US11687526B1 (en) | Identifying user content | |
JPWO2008114811A1 (ja) | 情報検索システム、情報検索方法及び情報検索用プログラム | |
JP2004295837A (ja) | 音声制御方法、音声制御装置、音声制御プログラム | |
KR20130108173A (ko) | 유무선 통신 네트워크를 이용한 음성인식 질의응답 시스템 및 그 운용방법 | |
JP2009042968A (ja) | 情報選別システム、情報選別方法及び情報選別用プログラム | |
JP2005215726A (ja) | 話者に対する情報提示システム及びプログラム | |
JP5068225B2 (ja) | 音声ファイルの検索システム、方法及びプログラム | |
JP2009163358A (ja) | 情報処理装置、情報処理方法、プログラムおよび音声チャットシステム | |
JP6347939B2 (ja) | 発話内重要語抽出装置とその装置を用いた発話内重要語抽出システムと、それらの方法とプログラム | |
JP2003515832A (ja) | 音声ナビゲーションのためのカテゴリーによるウェブページの参照 | |
US11657805B2 (en) | Dynamic context-based routing of speech processing | |
WO2021161856A1 (ja) | 情報処理装置及び情報処理方法 | |
JP2008216461A (ja) | 音声認識・キーワード抽出・知識ベース検索連携装置 | |
JP5300576B2 (ja) | 検索装置、検索方法、および検索プログラム | |
JP2010139843A (ja) | 音声情報収集装置、その方法およびそのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070110 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080528 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080930 |