JP6327848B2 - コミュニケーション支援装置、コミュニケーション支援方法およびプログラム - Google Patents

Description

本発明の実施形態は、コミュニケーション支援装置、コミュニケーション支援方法およびプログラムに関する。

ユーザ間の会話を音声認識によりテキストに変換し、必要に応じて機械翻訳により他国語のテキストに変換して、ユーザが使用する端末装置に表示する技術が知られている。この技術は、例えば遠隔会議システムなどにおいて、会議に参加するユーザ同士のコミュニケーションを支援する技術として有用である。また、この技術を利用すれば、テキストに変換された会話の内容を例えば会議の議事録として保存し、後に参照することもできる。

上記の技術では、音声認識や機械翻訳で用いる辞書に登録されていない単語がユーザの発言に含まれていると誤認識や誤訳が生じ、ユーザ同士のコミュニケーションを適切に支援できない場合がある。このため、誤認識や誤訳が生じている単語を適切に検出し、正しい単語を辞書に登録することが求められる。また、例えば会議の議事録として保存されたテキストから誤認識や誤訳が生じている単語を適切に検出し、正しい単語に修正することが求められる。

辞書に登録すべき単語や修正対象となる単語をテキストから抽出する方法は様々検討されているが、従来の方法は会話による情報伝達の成否を判断材料としていないため、コミュニケーション支援の観点から適切な単語の抽出を行うことが難しい。

特開２０１１−１８２１２５号公報 特開２００５−２９５０１７号公報 特開平５−１２０２７５号公報

本発明が解決しようとする課題は、ユーザ間の会話を変換したテキストから、会話による情報伝達の失敗要因となっている単語を適切に選び出すことができるコミュニケーション支援装置、コミュニケーション支援方法およびプログラムを提供することである。

実施形態のコミュニケーション支援装置は、辞書を用いてユーザ間の会話をテキストに変換して端末装置に表示させるコミュニケーション支援装置であって、検出部と、抽出部と、選択部と、を備える。検出部は、ユーザの１回の発言に対応するテキスト単位であるセンテンスを解析して、会話による情報伝達が失敗しているときに起こり得る発言のパターンとして予め定められた発言のパターンであるイベントを検出する。抽出部は、前記イベントが検出されたセンテンスから単語を抽出する。選択部は、前記抽出部により抽出された単語のうち、情報伝達の失敗要因となっている単語を選択する。複数の前記イベントの各々に対し、会話による情報伝達が失敗したときに当該イベントが発生する度合いを表す伝達失敗指標の値が定められており、前記イベントが検出されたセンテンスには、当該センテンスにおいて検出された全てのイベントの伝達失敗指標の値を合算した第１総計値が与えられ、前記抽出部により抽出された単語には、当該単語が出現する全てのセンテンスに与えられた第１総計値を合算した第２総計値が与えられる。前記選択部は、前記抽出部により抽出された単語のうち、前記第２総計値が所定の閾値以上の単語を、情報伝達の失敗要因となっている単語として選択する。

図１は、遠隔会議システムの概略構成図である。 図２は、コミュニケーション支援装置の機能的な構成例を示すブロック図である。 図３は、変換部が用いる辞書の一例を模式的に示す図である。 図４は、センテンステーブルの一例を示す図である。 図５は、センテンス表示用ＵＩ画面の一例を示す図である。 図６は、イベント種別テーブルの一例を示す図である。 図７は、イベントテーブルの一例を示す図である。 図８は、単語テーブルの一例を示す図である。 図９は、単語修正用ＵＩ画面の一例を示す図である。 図１０は、コミュニケーション支援装置の動作の一例を示すフローチャートである。 図１１は、会議終了後に表示されるセンテンス表示用ＵＩ画面の一例を示す図である。 図１２は、変形例において追加されるイベント種別テーブルの一例を示す図である。 図１３は、変形例のコミュニケーション支援装置の動作の一例を示すフローチャートである。 図１４は、コミュニケーション支援装置のハードウェア構成の一例を概略的に示すブロック図である。

以下、実施形態のコミュニケーション支援装置、コミュニケーション支援方法およびプログラムを、図面を参照して詳細に説明する。以下で示す実施形態は、遠隔会議システムへの適用例であるが、本発明を適用可能なシステムはこれに限らない。

（遠隔会議システム）
図１は、実施形態のコミュニケーション支援装置を備える遠隔会議システムの概略構成図である。遠隔会議システムは、図１に示すように、本実施形態のコミュニケーション支援装置１０と、会議参加者が使用する端末装置２０と、システム管理者が使用する端末装置３０とが、通信ネットワーク４０を介して接続された構成である。

コミュニケーション支援装置１０は、典型的には、一般的なコンピュータシステムとしてのハードウェア構成（プロセッサ、主記憶部、補助記憶部、通信インタフェース）を備えるサーバ装置として実現される。しかし、コミュニケーション支援装置１０の実現方法はこの例に限らず、クラウドシステム上で動作する仮想マシンとして実現されてもよいし、端末装置２０，３０上で動作するアプリケーションとして実現されていてもよい。本実施形態では、コミュニケーション支援装置１０は、通信ネットワーク４０を介して端末装置２０，３０との間でＷｅｂベースの通信を行う、Ｗｅｂサーバの機能を持ったサーバ装置として実現されているものとする。

会議参加者が使用する端末装置２０は、例えば、ソフトウェアとしてＷｅｂブラウザを搭載したＰＣ（パーソナルコンピュータ）本体２１と、ＰＣ本体２１に内蔵または外付けで接続された表示部２２、マイク２３およびスピーカ２４を備える。このほか、端末装置２０としては、例えばタブレット端末や携帯電話機など、表示部２２、マイク２３およびスピーカ２４をハードウェアとして備え、ソフトウェアとしてＷｅｂブラウザを搭載した各種の情報処理端末を利用することができる。システム管理者が使用する端末装置３０は、会議参加者が使用する端末装置２０と同様の構成である。

本実施形態では、遠隔会議システムを、異なる言語を母国語とする会議参加者間で実施する遠隔会議において利用することを想定する。遠隔会議システムでは、会議参加者の発言が端末装置２０のマイク２３を用いて取得される。コミュニケーション支援装置１０は、この発言を音声認識によりテキストに変換する。合わせて、音声から変換されたテキストを、機械翻訳により他の会議参加者の母国語のテキストに変換する。なお、会議に使用する言語は、会議参加者それぞれの母国語でもよいし、予め定められた言語を使用言語とし、その使用言語と異なる言語を母国語とする会議参加者の発言のみが使用言語に翻訳される構成でもよい。

コミュニケーション支援装置１０において音声認識や機械翻訳により変換されたテキストは、会議参加者が使用する端末装置２０のＷｅｂブラウザの機能により、表示部２２に表示される。本実施形態では、会議参加者の１回の発言に対応するテキスト単位をセンテンスと呼ぶ。会議参加者のそれぞれが使用する端末装置２０の表示部２２には、会議が行われている間、センテンス表示用ＵＩ画面が表示される。そして、センテンス表示用ＵＩ画面には、会議参加者の発言があるたびに、その発言に対応したセンテンスが順次表示されていく。合わせて、会議参加者の発言は、会議参加者のそれぞれが使用する端末装置２０のスピーカ２４から音声出力される。なお、音声の共有は、コミュニケーション支援装置１０の１つの機能として実現してもよいし、ビデオ会議装置などの別の装置、あるいは端末装置２０上で動作するアプリケーションを利用して実現してもよい。

コミュニケーション支援装置１０は、会議参加者の発言に対応するセンテンスを、例えば発言の音声と関連付けて保存する機能を持つ。保存されたセンテンスは、会議が終了した後に、例えば端末装置２０の表示部２２にセンテンス表示用ＵＩ画面上で表示させることができ、会議の振り返りなどに利用することができる。

コミュニケーション支援装置１０は、会議参加者の発言に対応するセンテンスを解析し、発言の言い直しや聞き直しなど、会話による情報伝達が失敗していることが推察される状況を検出する。このような状況を、本実施形態ではイベントと呼ぶ。情報伝達が失敗しているときに起こり得るいくつかの発言のパターンが予めイベントとして定められ、それぞれのイベントには、情報伝達が失敗している場合に当該イベントが発生する度合いを表す伝達失敗指標が与えられている。

その後、コミュニケーション支援装置１０は、イベントが検出されたセンテンスに対して形態素解析などを行って単語を抽出し、抽出した単語のうち、情報伝達の失敗の要因となっている単語を、伝達失敗指標に基づいて選択する。そして、コミュニケーション支援装置１０は、選択した単語を正しい単語に修正するための単語修正用ＵＩ画面を、会議参加者が使用する端末装置２０やシステム管理者が使用する端末装置３０の表示部２２に表示させる。この単語修正用ＵＩ画面から正しい単語が入力されると、コミュニケーション支援装置１０は、この入力された単語を音声認識や機械翻訳に用いる辞書に登録したり、センテンスの修正を行ったりする。イベントが検出されたセンテンスから単語を抽出し、情報伝達の失敗の要因となっている単語を選択して、端末装置２０，３０の表示部２２に単語修正用ＵＩ画面を表示させるタイミングは、会議中であってもよいし、会議終了後であってもよい。

（コミュニケーション支援装置）
次に、本実施形態のコミュニケーション支援装置１０の詳細について、具体例を挙げながら説明する。図２は、コミュニケーション支援装置１０の機能的な構成例を示すブロック図である。コミュニケーション支援装置１０は、図２に示すように、変換部１１と、センテンス管理部１２と、ＵＩ制御部１３と、イベント検出部１４と、単語抽出部１５と、単語選択部１６とを備える。

変換部１１は、端末装置２０のマイク２３を用いて取得された会議参加者の発言に対し、辞書Ｄを用いて音声認識および必要に応じて機械翻訳を行ってテキストに変換する。音声認識は、マイク２３から入力された音声から自動的に発話区間を検出し、それを単一センテンスとして音声認識する構成でもよいし、会議参加者が例えばセンテンス表示用ＵＩ画面から明示的に発話開始と終了タイミングを入力し、その区間を単一センテンスとして音声認識する構成でもよい。

図３は、変換部１１が用いる辞書Ｄの一例を模式的に示す図である。辞書Ｄには、登録されたそれぞれの単語について、原言語テキスト、読み、および原言語テキストに対応する翻訳語テキストが対応付けて格納されている。変換部１１は、会議者の発言に含まれる単語がこの辞書Ｄに登録されていれば、この辞書Ｄを用いて、その単語を正しい原言語テキストや翻訳語テキストに変換することができる。

センテンス管理部１２は、変換部１１による処理の結果であるセンテンスを受け取り、センテンステーブルＴｂ１に記録する。また、センテンス管理部１２は、変換部１１から受け取ったセンテンスをＵＩ制御部１３に渡す。

図４は、センテンステーブルＴｂ１の一例を示す図である。センテンステーブルＴｂ１には、会議参加者の発言をテキストに変換した各センテンスが、センテンスＩＤおよび発言者の情報と対応付けて格納される。センテンスＩＤは、各センテンスに対して与えられる固有の識別情報である。発言者の情報は、例えば、会議を開催する際に会議主催者が登録した情報などを利用することができる。センテンステーブルＴｂ１は、会議ごとに独立して作成される。

本例では、会議参加者の発言に、固有のサービス名である「Ｔｏｓｃｒｉｂｅ（読み：てぅーすくらいぶ）」や、組織略称（ソリューション事業部の略称）である「Ｓｏｌジ（読み：そるじ）」が含まれている場合を想定する。これらの単語は、辞書Ｄに登録されていないため、音声認識や機械翻訳に失敗している。

ＵＩ制御部１３は、会議参加者が使用する端末装置２０やシステム管理者が使用する端末３０の表示部２２に、センテンス表示用ＵＩ画面ＤＳ１や単語修正用ＵＩ画面ＤＳ２を表示させたり、これらのＵＩ画面ＤＳ１，ＤＳ２から入力された操作入力を受け付けたりといった制御を行う。本実施形態では、このＵＩ制御部１３の機能をＷｅｂサーバにより実現する。ＵＩ制御部１３は、センテンス管理部１２から新たなセンテンスを受け取るたびにセンテンス表示用ＵＩ画面ＤＳ１を更新し、Ｗｅｂブラウザを搭載した端末装置２０の表示部２２に、最新のセンテンス表示用ＵＩ画面ＤＳ１を表示させる。

図５は、端末装置２０の表示部２２に表示されるセンテンス表示用ＵＩ画面ＤＳ１の一例を示す図である。センテンス表示用ＵＩ画面ＤＳ１では、その上部の表示領域１０１に会議の情報、中央の表示領域１０２に発話の時系列順に並べられたセンテンスが表示される。会議の情報は、例えば、会議を開催する際に会議主催者が登録した情報を利用することができる。音声入力中は、下部の表示領域１０３に音声認識中のテキスト、およびその機械翻訳結果のテキストが表示される。図５に示す例では、日本語の発話が英語に翻訳される場合を想定している。

イベント検出部１４は、センテンステーブルＴｂ１に記録されたセンテンスを解析し、会話による情報伝達が失敗していることを示すイベントを検出する。イベントは、上述したように、情報伝達が失敗しているときに起こり得る発言のパターンであり、伝達失敗指標と対応付けられて、予めイベント種別テーブルＴｂ２に登録されている。イベント検出部１４は、このイベント種別テーブルＴｂ２に基づいてイベントを検出し、イベントが検出されたセンテンスをイベントテーブルＴｂ３に記録する。

図６は、イベント種別テーブルＴｂ２の一例を示す図である。イベント種別テーブルＴｂ２には、予め定められた発言のパターンであるイベントが、イベント種別ＩＤおよび伝達失敗指標の値と対応付けて格納されている。本実施形態では、「言い直し」、「言い直し対象」、「疑問表現」、「疑問対象」、「説明表現」、「説明対象」、「誤動作表現」、「誤動作対象」、「聞き直し」、「聞き直し対象」が、それぞれイベントとして予め定められている。イベント種別ＩＤは、各イベントに対して与えられる固有の識別情報である。伝達失敗指標は、上述したように、情報伝達が失敗している場合に当該イベントが発生する度合いを表し、イベントの種別ごとに定められた値を持つ。伝達失敗指標の値は、イベントの種別ごとに予め固定値として設定されていてもよいし、実際に単語修正用ＵＩ画面ＤＳ２で修正された単語を含むセンテンスに対応するイベントの失敗伝達指標の値を大きくするなど、システムの利用状況に応じて動的に変化する値であってもよい。

図６のイベント種別テーブルＴｂ２で例示するイベントのうち、「言い直し」と「言い直し対象」は、ある会議参加者が他の会議参加者の発言を待たずに同様の発言を繰り返すパターンである。イベント検出部１４は、直前のセンテンスと同様のセンテンスが同一の会議参加者から続けて発言されている場合に、そのセンテンスを「言い直し」イベントが検出されたセンテンスとしてイベントテーブルＴｂ３に記録する。また、イベント検出部１４は、「言い直し」イベントが検出された直前のセンテンスを、「言い直し対象」イベントが検出されたセンテンスとしてイベントテーブルＴｂ３に記録する。

「疑問表現」と「疑問対象」は、特定の単語の意味を問い合わせる場合の発言のパターンである。イベント検出部１４は、例えば「○○とはなんですか」などの、特定の単語に対する意味を問うセンテンスを特定のルールで検知し、そのセンテンスを「疑問表現」イベントが検出されたセンテンスとしてイベントテーブルＴｂ３に記録する。また、イベント検出部１４は、「疑問表現」イベントを引き起こした直前の他の会議参加者が発言したセンテンスを、「疑問対象」イベントが検出されたセンテンスとしてイベントテーブルＴｂ３に記録する。

「説明表現」と「説明対象」は、特定の単語の意味を説明する場合の発言のパターンである。イベント検出部１４は、特定の単語の意味を説明しているセンテンスを特定のルールで検知し、そのセンテンスを「説明表現」イベントが検出されたセンテンスとしてイベントテーブルＴｂ３に記録する。また、イベント検出部１４は、「説明表現」イベントが検出されたセンテンスを発言した会議参加者と同一の会議参加者がそのセンテンスより前に発言した、「説明表現」イベントの対象となる単語を含むセンテンスを、「説明対象」イベントが検出されたセンテンスとしてイベントテーブルＴｂ３に記録する。

「誤動作表現」と「誤動作対象」は、コミュニケーション支援装置１０が正しく動作していないことを表明する場合の発言のパターンである。イベント検出部１４は、例えば「うまく出ない」などの、コミュニケーション支援装置１０が正しく動作していないことを表明しているセンテンスを特定のルールで検知し、そのセンテンスを「誤動作表現」イベントが検出されたセンテンスとしてイベントテーブルＴｂ３に記録する。また、イベント検出部１４は、「誤動作表現」イベントが検出されたセンテンスの直前のセンテンスを、「誤動作対象」イベントが検出されたセンテンスとしてイベントテーブルＴｂ３に記録する。

「聞き直し」と「聞き直し対象」は、ある会議参加者が他の会議参加者に対して同様の発言の繰り返しを要求する場合の発言のパターンである。イベント検出部１４は、例えば「もう一度言ってください」などの、他の会議参加者に対して同様の発言を要求するセンテンスを特定のルールで検知し、そのセンテンスを「聞き直し」イベントが検出されたセンテンスとしてイベントテーブルＴｂ３に記録する。また、イベント検出部１４は、「聞き直し」イベントを引き起こした直前の他の会議参加者が発言したセンテンスを、「聞き直し対象」イベントが検出されたセンテンスとしてイベントテーブルＴｂ３に記録する。

上述したセンテンスを検知するルールとしては、例えば、形態素解析を行った結果に対して、形態素や特定単語の列でのマッチングを行う方式などを用いることができる。単語のマッチングにおいては、単語間の違いを表す距離を定義し、一定範囲内の距離の単語は同一と判定してもよい。また、上述したセンテンスを検知するルールは、確率的言語モデルで示されたものであってもよい。また、各イベント種別に対して複数のルールが存在してもよい。

図７は、イベントテーブルＴｂ３の一例を示す図である。イベントテーブルＴｂ３には、イベントが検出されたセンテンスのセンテンスＩＤと、そのセンテンスにより検出された全てのイベントのイベント種別ＩＤと、伝達失敗指標総計とが、対応付けて格納されている。伝達失敗指標総計は、そのセンテンスにより検出された全てのイベントの伝達失敗指標の値を加算した総計値（第１総計値）であり、情報伝達が失敗していることの確からしさを表す指標となる。

単語抽出部１５は、イベントテーブルＴｂ３およびセンテンステーブルＴｂ１を用い、イベントが検出されたセンテンスから単語を抽出して、単語テーブルＴｂ４を作成する。

図８は、単語テーブルＴｂ４の一例を示す図である。単語テーブルＴｂ４には、イベントが検出されたセンテンスから抽出された単語が、単語ＩＤ、センテンスＩＤおよび伝達失敗指標総計と対応付けて格納されている。単語ＩＤは、抽出された各単語に対して与えられる固有の識別情報である。センテンスＩＤは、当該単語が抽出されたセンテンスのセンテンスＩＤであり、複数のセンテンスから同じ単語が抽出された場合は、全てのセンテンスのセンテンスＩＤが列挙される。伝達失敗指標総計は、当該単語が抽出されたセンテンスに与えられた伝達失敗指標総計であり、複数のセンテンスから同じ単語が抽出された場合は、全てのセンテンスに与えられた伝達失敗指標総計を加算した総計値（第２総計値）が、その単語に対応する伝達失敗指標総計となる。

単語抽出部１５が単語テーブルＴｂ４を作成する際は、まず、イベントが検出された各センテンスに対して形態素解析を行って、単語を抽出する。そして、センテンスから抽出した各単語を、単語テーブルＴｂ４に記録していく。この際、抽出した単語が単語テーブルＴｂ４に存在していなければ、単語テーブルＴｂ４に新たに単語を追加し、当該単語を抽出したセンテンスのセンテンスＩＤを対応付けて記録するとともに、当該センテンスの持つ伝達失敗指標総計を単語の伝達失敗指標総計としてそのまま転記する。一方、抽出した単語が単語テーブルＴｂ４にすでに存在する場合は、当該単語を抽出したセンテンスのセンテンスＩＤを当該単語に対応するセンテンスＩＤに追記し、当該センテンスの伝達失敗指標総計を単語の伝達失敗指標総計に加算する。単語抽出部１５は、抽出した単語全てについて以上の処理を行って、単語テーブルＴｂ４を作成する。図８に示す例では、図示を簡略化するために一部の単語のみを記載しているが、単語テーブルＴｂ４には、イベントが検出された全てのセンテンスから抽出された全ての単語が列挙される。なお、全ての単語を単語テーブルＴｂ４に記録する代わりに、既存の未知語抽出方式を用いて抽出された未知語のみを追記してもよい。

単語選択部１６は、単語テーブルＴｂ４に記録された単語の伝達失敗指標総計をもとに、単語テーブルＴｂ４に記録された単語のうち、情報伝達の失敗要因となっている単語を選択する。例えば単語選択部１６は、単語テーブルＴｂ４に記録された単語のうち、単語の伝達失敗指標総計が所定の閾値以上となっている単語を、情報伝達の失敗要因となっている単語として選択する。また、単語選択部１６は、単語テーブルＴｂ４に記録された単語を伝達失敗指標総計の値が大きい順にソートし、上位の所定数の単語を、情報伝達の失敗要因となっている単語として選択するようにしてもよい。上記の閾値や所定数は、適切な値を予め定めておけばよい。

単語選択部１６により選択された単語は、ＵＩ制御部１３に渡される。ＵＩ制御部１３は、単語選択部１６から単語を受け取ると、その単語を正しい単語に修正するための単語修正用ＵＩ画面ＤＳ２を作成し、Ｗｅｂブラウザを搭載した端末装置２０，３０の表示部２２に、作成した単語修正用ＵＩ画面ＤＳ２を表示させる。

図９は、端末装置２０，３０の表示部２２に表示される単語修正用ＵＩ画面ＤＳ２の一例を示す図である。単語修正用ＵＩ画面ＤＳ２には、単語選択部１６により選択された単語が、伝達失敗指標総計の値が大きい順に、修正対象語２０１として表示される。修正対象語２０１の右側には、その修正対象語２０１に対して正しい単語を入力するための正解入力のテキストボックス２０２が設けられ、さらにその修正対象語２０１が出現した文例（センテンス）２０３や、そのセンテンスから検出されたイベント２０４が表示される。端末装置２０を使用する会議参加者や、端末装置３０を使用するシステム管理者は、表示部２２に表示された単語修正用ＵＩ画面ＤＳ２のテキストボックス２０２に、修正対象語２０１に対する正しい単語を入力することで、修正対象語２０１の修正を行うことができる。

本実施形態では、システム管理者が単語修正用ＵＩ画面ＤＳ２を用いて辞書Ｄの更新を行うことを想定する。この場合、ＵＩ制御部１３は、会議終了後にシステム管理者からの要求に応じて、システム管理者が使用する端末装置３０の表示部２２に単語修正用ＵＩ画面ＤＳ２を表示させる。そして、この単語修正用ＵＩ画面ＤＳ２のテキストボックス２０２から単語が入力されると、ＵＩ制御部１３は、この入力を受け付けて、入力された単語を辞書Ｄに追加する処理を行う。なお、単語を辞書Ｄに追加する処理は、ＵＩ制御部１３とは別の機能により行うようにしてもよい。

また、ＵＩ制御部１３は、会議中に会議参加者が使用する端末装置２０の表示部２２に単語修正用ＵＩ画面ＤＳ２を表示し、この単語修正用ＵＩ画面ＤＳ２のテキストボックス２０２から入力された単語を辞書Ｄに追加する処理を行うようにしてもよい。この場合、イベント検出部１４、単語抽出部１５および単語選択部１６の処理が会議中に随時行われる。そして、ある単語の伝達失敗指標総計の値が閾値以上になると、ＵＩ制御部１３が、例えばセンテンス表示用ＵＩ画面ＤＳ１上のポップアップ画面として、会議参加者が使用する端末装置２０の表示部２２に単語修正用ＵＩ画面ＤＳ２を表示させる。そして、この単語修正用ＵＩ画面ＤＳ２のテキストボックス２０２から単語が入力されると、ＵＩ制御部１３は、この入力を受け付けて、入力された単語を辞書Ｄに追加する処理を行う。

また、ＵＩ制御部１３は、単語修正用ＵＩ画面ＤＳ２のテキストボックス２０２から入力された単語を辞書Ｄに追加することに加えて、あるいは辞書Ｄに追加する代わりに、センテンステーブルＴｂ１に記録されているセンテンス中の修正前の単語を正しい単語に置き換えることで、センテンスの修正を行うようにしてもよい。なお、修正前の単語を含むセンテンスを修正する処理は、ＵＩ制御部１３とは別の機能により行うようにしてもよい。

また、センテンステーブルＴｂ１に記録されているセンテンスに対応する発言の音声が保存されている場合には、単語修正用ＵＩ画面ＤＳ２のテキストボックス２０２から入力された単語が辞書Ｄに追加された後、センテンステーブルＴｂ１に記録されているセンテンスに対応する発言の音声に対して音声認識や機械翻訳を再度行い、その結果をセンテンス表示用ＵＩ画面ＤＳ１上で表示したり、センテンステーブルＴｂ１に追記したりしてもよい。

また、辞書Ｄに単語を追加する際に、追加した単語に高い重みをもたせ、音声認識時に優先的に使われるようにしてもよい。さらに、辞書Ｄに単語を追加する際に、その単語が含まれているセンテンスを、機械学習に基づく未知語抽出方式の学習用途に用いるようにしてもよい。

（動作）
次に、本実施形態のコミュニケーション支援装置１０の動作について、図１０を参照しながら説明する。図１０は、本実施形態のコミュニケーション支援装置１０の動作の一例を示すフローチャートである。図１０に示す例は、会議中は会議参加者が使用する端末装置２０の表示部２２にセンテンス表示用ＵＩ画面ＤＳ１を表示させ、会議終了後にシステム管理者が使用する端末装置３０の表示部２２に単語修正用ＵＩ画面ＤＳ２を表示させて辞書Ｄの更新を行う場合のコミュニケーション支援装置１０の動作を示している。

会議中、会議参加者の端末装置２０のマイク２３により発言の音声が取得されると（ステップＳ１０１）、コミュニケーション支援装置１０の変換部１１が、この発言を音声認識や機械翻訳によりテキストに変換し（ステップＳ１０２）、発言単位のセンテンスとしてセンテンス管理部１２に渡す。

センテンス管理部１２は、変換部１１から受け取ったセンテンスをセンテンステーブルＴｂ１に追記し（ステップＳ１０３）、このセンテンスをＵＩ制御部１３に渡す。

ＵＩ制御部１３は、センテンス管理部１２からセンテンスを受け取ると、センテンス表示用ＵＩ画面ＤＳ１を更新し（ステップＳ１０４）、更新したセンテンス表示用ＵＩ画面ＤＳ１を、会議参加者が使用する端末装置２０の表示部２２に表示させる。

次に、イベント検出部１４が、センテンステーブルＴｂ１に記録されたセンテンスを解析して（ステップＳ１０５）、イベントが検出されたか否かを判定する（ステップＳ１０６）。そして、イベントが検出された場合（ステップＳ１０６：Ｙｅｓ）、イベント検出部１４は、検出されたイベントの情報をイベントテーブルＴｂ３に記録する（ステップＳ１０７）。イベントが検出されない場合は（ステップＳ１０６：Ｎｏ）、ステップＳ１０７の処理はスキップする。

その後、コミュニケーション支援装置１０は、会議が終了したか否かを判定し（ステップＳ１０８）、会議が終了していなければ（ステップＳ１０８：Ｎｏ）、ステップＳ１０１に戻って以降の処理が繰り返される。なお、会議が終了したか否かは、例えば、会議参加者がセンテンス表示用ＵＩ画面ＤＳ１から明示的に会議終了の入力を行ったか否かにより判定される。

会議が終了すると（ステップＳ１０８：Ｙｅｓ）、単語抽出部１５が、イベントテーブルＴｂ３に記録された、イベントが検出されたセンテンスから単語を抽出し、単語テーブルＴｂ４を作成する（ステップＳ１０９）。そして、単語選択部１６が、単語テーブルＴｂ４に記録された単語のうち、伝達失敗指標総計の値が所定の閾値以上の単語を、情報伝達の失敗要因となっている単語として選択し（ステップＳ１１０）、選択した単語をＵＩ制御部１３に渡す。

ＵＩ制御部１３は、単語選択部１６から単語を受け取ると、単語修正用ＵＩ画面ＤＳ２を作成して、システム管理者が使用する端末装置３０の表示部２２に表示させる（ステップＳ１１１）。そして、ＵＩ制御部１３は、この単語修正用ＵＩ画面ＤＳ２を用いてシステム管理者が行った修正入力を受け付けて（ステップＳ１１２）、修正語の単語を辞書Ｄに登録する（ステップＳ１１３）。

（変形例）
なお、以上説明した例では、会議中に作成されたイベントテーブルＴｂ３に基づいて、会議終了後に単語テーブルＴｂ４を作成している。しかし、イベントの検出およびイベントテーブルＴｂ３への情報の記録を会議中だけでなく会議終了後にも行い、得られたイベントテーブルＴｂ３に基づいて単語テーブルＴｂ４を作成するようにしてもよい。

以下では、会議終了後に会議の振り返りを行うために、端末装置２０の表示部２２にセンテンス表示用ＵＩ画面を表示させる場合を想定し、このセンテンス表示用ＵＩ画面からの入力操作をイベントの一つとして検出してイベントテーブルＴｂ３への情報の記録を行う変形例について説明する。なお、本変形例では、会議参加者による会議中の発言の音声が、その発言をテキスト化したセンテンスと関連付けられて保存されているものとする。また、本変形例では、音声認識を用いた発言のテキスト化のみを行い、機械翻訳や会議中のセンテンスの表示は行わないものとする。

本変形例では、ＵＩ制御部１３は、会議終了後に会議参加者などからの要求に応じて、会議の振り返りを行うためのセンテンス表示用ＵＩ画面ＤＳ１’を、端末装置２０の表示部２２に表示させる。図１１は会議終了後に端末装置２０の表示部２２に表示されるセンテンス表示用ＵＩ画面ＤＳ１’の一例を示す図である。このセンテンス表示用ＵＩ画面ＤＳ１’では、その上部の表示領域１０１に会議の情報が表示され、中央の表示領域１０２にセンテンステーブルＴｂ１に記録されているセンテンスが発話の時系列順に並べて表示される。また、このセンテンス表示用ＵＩ画面ＤＳ１’には、表示中のセンテンスに対する修正を行うための「修正」ボタン１０５、表示中のセンテンスに対応する音声を再生するための「再生」ボタン１０６、表示中のセンテンスに対する修正を保守サービス（システム管理者など）に依頼する「修正依頼」ボタン１０７が設けられている。

本変形例では、イベント検出部１４が、このセンテンス表示用ＵＩ画面ＤＳ１’に設けられた「修正」ボタン１０５、「再生」ボタン１０６および「修正依頼」ボタン１０７に対する操作をそれぞれイベントとして検出して、イベントテーブルＴｂ３に追記する。このとき、イベント検出部１４が参照するイベント種別テーブルＴｂ２には、図１２に示すように、「修正」、「再生」、「修正依頼」のそれぞれがイベントとして登録されており、イベント種別ＩＤおよび伝達失敗指標の値と対応付けられている。

その後、センテンス表示用ＵＩ画面ＤＳ１’によるセンテンスの閲覧が終了すると、上述した例と同様の方法によって、単語抽出部１５が単語テーブルＴｂ４を作成し、単語選択部１６が情報伝達の失敗要因となっている単語を選択する。

（変形例の動作）
次に、変形例のコミュニケーション支援装置１０の動作について、図１３を参照しながら説明する。図１３は、変形例のコミュニケーション支援装置１０の動作の一例を示すフローチャートである。

会議中、会議参加者の端末装置２０のマイク２３により発言の音声が取得されると（ステップＳ２０１）、コミュニケーション支援装置１０の変換部１１が、この発言を音声認識によりテキストに変換し（ステップＳ２０２）、発言単位のセンテンスとしてセンテンス管理部１２に渡す。

センテンス管理部１２は、変換部１１から受け取ったセンテンスをセンテンステーブルＴｂ１に追記する（ステップＳ２０３）。

次に、イベント検出部１４が、センテンステーブルＴｂ１に記録されたセンテンスを解析して（ステップＳ２０４）、イベントが検出されたか否かを判定する（ステップＳ２０５）。そして、イベントが検出された場合（ステップＳ２０５：Ｙｅｓ）、イベント検出部１４は、検出されたイベントの情報をイベントテーブルＴｂ３に記録する（ステップＳ２０６）。イベントが検出されない場合は（ステップＳ２０５：Ｎｏ）、ステップＳ２０６の処理はスキップする。

その後、コミュニケーション支援装置１０は、会議が終了したか否かを判定し（ステップＳ２０７）、会議が終了していなければ（ステップＳ２０７：Ｎｏ）、ステップＳ２０１に戻って以降の処理が繰り返される。なお、会議が終了したか否かは、例えば、マイク２３による音声の取得が一定時間以上途絶えているか否かにより判定される。

会議が終了した後（ステップＳ２０７：Ｙｅｓ）、例えば、会議の振り返りを行う会議参加者から会議名を指定したセンテンス閲覧要求があると、ＵＩ制御部１３が、指定された会議名に対応するセンテンステーブルＴｂ１に基づいてセンテンス表示用ＵＩ画面ＤＳ１’を作成し、センテンス閲覧要求を行った会議参加者が使用する端末装置２０の表示部２２にセンテンス表示用ＵＩ画面ＤＳ１’を表示させる（ステップＳ２０８）。

センテンス表示用ＵＩ画面ＤＳ１’を端末装置２０の表示部２２に表示させている間、ＵＩ制御部１３は、センテンス表示用ＵＩ画面ＤＳ１’に設けられた「修正」ボタン１０５、「再生」ボタン１０６、「修正依頼」ボタン１０７のいずれかが操作されたか否かを判定する（ステップＳ２０９）。そして、「修正」ボタン１０５、「再生」ボタン１０６、「修正依頼」ボタン１０７のいずれかが操作されると（ステップＳ２０９：Ｙｅｓ）、イベント検出部１４がその操作をイベントとして検出し、検出したイベントの情報をイベントテーブルＴｂ３に追記する（ステップＳ２１０）。いずれのボタンも操作されない場合は（ステップＳ２０９：Ｎｏ）、ステップＳ２１０の処理はスキップする。

その後、コミュニケーション支援装置１０は、会議の振り返りのためのセンテンスの閲覧が終了したか否かを判定し（ステップＳ２１１）、センテンスの閲覧が終了していなければ（ステップＳ２１１：Ｎｏ）、ステップＳ２０９に戻って以降の処理が繰り返される。なお、センテンスの閲覧が終了したか否かは、例えば、会議の振り返りを行っている会議参加者がセンテンス表示用ＵＩ画面ＤＳ１’から明示的に閲覧終了の入力を行ったか否かにより判定される。

センテンスの閲覧が終了すると（ステップＳ２１１：Ｙｅｓ）、単語抽出部１５が、イベントテーブルＴｂ３に記録された、イベントが検出されたセンテンスから単語を抽出し、単語テーブルＴｂ４を作成する（ステップＳ２１２）。そして、単語選択部１６が、単語テーブルＴｂ４に記録された単語のうち、伝達失敗指標総計の値が所定の閾値以上の単語を、情報伝達の失敗要因となっている単語として選択し（ステップＳ２１３）、選択した単語をＵＩ制御部１３に渡す。

ＵＩ制御部１３は、単語選択部１６から単語を受け取ると、単語修正用ＵＩ画面ＤＳ２を作成して、例えば、システム管理者が使用する端末装置３０の表示部２２に表示させる（ステップＳ２１４）。そして、ＵＩ制御部１３は、この単語修正用ＵＩ画面ＤＳ２を用いてシステム管理者が行った修正入力を受け付けて（ステップＳ２１５）、修正語の単語を辞書Ｄに登録する（ステップＳ２１６）。

（実施形態の効果）
以上、具体的な例を挙げながら詳細に説明したように、本実施形態のコミュニケーション支援装置１０は、会議参加者の発言をテキスト化したセンテンスを解析して、会話による情報伝達に失敗していることを示すイベントを検出する。そして、イベントが検出されたセンテンスから単語を抽出し、抽出した単語のうち、イベント種別ごとに定められた値を持つ伝達失敗指標に基づいて、情報伝達の失敗要因となっている単語を選択する。したがって、本実施形態のコミュニケーション支援装置１０によれば、ユーザ間の会話を変換したテキストから、会話による情報伝達の失敗要因となっている単語を適切に選び出すことができる。

また、本実施形態のコミュニケーション支援装置１０によれば、選択された単語に対する修正を受け付けて、修正された単語を音声認識や機械翻訳に用いる辞書Ｄに登録することによって、辞書Ｄの更新を低コストで実現することができる。また、辞書Ｄを更新することで誤認識や誤訳を減らし、コミュニケーションの支援を適切に行うことができる。

また、本実施形態のコミュニケーション支援装置１０によれば、選択された単語に対する修正を受け付けて、修正された単語でセンテンスを修正することにより、ユーザ間で伝達すべき情報を明確化することができ、コミュニケーションの支援を適切に行うことができる。

（補足）
以上説明した本実施形態のコミュニケーション支援装置１０における各機能的な構成要素は、例えば、汎用のコンピュータシステムを基本ハードウェアとして用いて実行されるプログラム（ソフトウェア）により実現することができる。

図１４は、コミュニケーション支援装置１０のハードウェア構成の一例を概略的に示すブロック図である。コミュニケーション支援装置１０は、図１４に示すように、ＣＰＵなどのプロセッサ５１と、ＲＡＭなどの主記憶部５２と、各種の記憶装置を用いた補助記憶部５３と、通信インタフェース５４と、これらの各部を接続するバス５５とを含んだ汎用のコンピュータシステムとして構成される。なお、補助記憶部５３は、有線または無線によるＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などで各部に接続されてもよい。

コミュニケーション支援装置１０の各機能的な構成要素は、例えば、プロセッサ５１が、主記憶部５２を利用して、補助記憶部５３などに格納されたプログラムを実行することによって実現される。このプログラムは、例えば、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。

また、このプログラムを、インターネットなどのネットワークに接続された他のコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、このプログラムをインターネットなどのネットワーク経由で提供または配布するように構成してもよい。また、このプログラムを、コンピュータ内部のＲＯＭ（補助記憶部５３）などに予め組み込んで提供するように構成してもよい。

このプログラムは、コミュニケーション支援装置１０の機能的な構成要素（変換部１１、センテンス管理部１２、ＵＩ制御部１３、イベント検出部１４、単語抽出部１５および単語選択部１６）を含むモジュール構成となっており、実際のハードウェアとしては、例えば、プロセッサ５１が上記記録媒体からプログラムを読み出して実行することにより、上記の各構成要素が主記憶部５２上にロードされ、上記の各構成要素が主記憶部５２上に生成されるようになっている。なお、コミュニケーション支援装置１０の機能的な構成要素は、その一部または全部を、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）などの専用のハードウェアを用いて実現することも可能である。

以上、本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ コミュニケーション支援装置
１１ 変換部
１２ センテンス管理部
１３ ＵＩ制御部
１４ イベント検出部
１５ 単語抽出部
１６ 単語選択部
２０，３０ 端末装置
４０ 通信ネットワーク
Ｄ 辞書
ＤＳ１ センテンス表示用ＵＩ画面
ＤＳ２ 単語修正用ＵＩ画面
Ｔｂ１ センテンステーブル
Ｔｂ２ イベント種別テーブル
Ｔｂ３ イベントテーブル
Ｔｂ４ 単語テーブル

Claims (10)

1. 辞書を用いてユーザ間の会話をテキストに変換して端末装置に表示させるコミュニケーション支援装置であって、
   ユーザの１回の発言に対応するテキスト単位であるセンテンスを解析して、会話による情報伝達が失敗しているときに起こり得る発言のパターンとして予め定められた発言のパターンであるイベントを検出する検出部と、
   前記イベントが検出されたセンテンスから単語を抽出する抽出部と、
   前記抽出部により抽出された単語のうち、情報伝達の失敗要因となっている単語を選択する選択部と、を備え、
   複数の前記イベントの各々に対し、会話による情報伝達が失敗したときに当該イベントが発生する度合いを表す伝達失敗指標の値が定められており、
   前記イベントが検出されたセンテンスには、当該センテンスにおいて検出された全てのイベントの伝達失敗指標の値を合算した第１総計値が与えられ、
   前記抽出部により抽出された単語には、当該単語が出現する全てのセンテンスに与えられた第１総計値を合算した第２総計値が与えられ、
   前記選択部は、前記抽出部により抽出された単語のうち、前記第２総計値が所定の閾値以上の単語を、情報伝達の失敗要因となっている単語として選択するコミュニケーション支援装置。
2. 前記選択部により選択された単語を提示して正しい単語の入力を受け付けるＵＩ画面を前記端末装置に表示させるＵＩ制御部をさらに備える、請求項１に記載のコミュニケーション支援装置。
3. 前記ＵＩ画面から入力された単語が前記辞書に追加される、請求項２に記載のコミュニケーション支援装置。
4. 前記ＵＩ画面から入力された単語により、前記選択部により選択された単語を含むセンテンスが修正される、請求項２または３に記載のコミュニケーション支援装置。
5. 前記検出部は、同様の発言が繰り返される言い直しを、前記イベントの一つとして検出する、請求項１乃至４のいずれか一項に記載のコミュニケーション支援装置。
6. 前記検出部は、同様の発言を繰り返すことを要求する聞き直しを、前記イベントの一つとして検出する、請求項１乃至５のいずれか一項に記載のコミュニケーション支援装置。
7. 前記検出部は、発言の意味を問う疑問表現を、前記イベントの一つとして検出する、請求項１乃至６のいずれか一項に記載のコミュニケーション支援装置。
8. 前記検出部は、発言の意味を説明する説明表現を、前記イベントの一つとして検出する、請求項１乃至７のいずれか一項に記載のコミュニケーション支援装置。
9. 辞書を用いてユーザ間の会話をテキストに変換して端末装置に表示させるコミュニケーション支援装置において実行されるコミュニケーション支援方法であって、
   ユーザの１回の発言に対応するテキスト単位であるセンテンスを解析して、会話による情報伝達が失敗しているときに起こり得る発言のパターンとして予め定められた発言のパターンであるイベントを検出するステップと、
   前記イベントが検出されたセンテンスから単語を抽出するステップと、
   抽出した単語のうち、情報伝達の失敗要因となっている単語を選択するステップと、を含み、
   複数の前記イベントの各々に対し、会話による情報伝達が失敗したときに当該イベントが発生する度合いを表す伝達失敗指標の値が定められており、
   前記イベントが検出されたセンテンスには、当該センテンスにおいて検出された全てのイベントの伝達失敗指標の値を合算した第１総計値が与えられ、
   前記抽出された単語には、当該単語が出現する全てのセンテンスに与えられた第１総計値を合算した第２総計値が与えられ、
   前記単語を選択するステップでは、前記抽出された単語のうち、前記第２総計値が所定の閾値以上の単語を、情報伝達の失敗要因となっている単語として選択するコミュニケーション支援方法。
10. コンピュータに、
    辞書を用いてユーザ間の会話をテキストに変換して端末装置に表示させる機能と、
    ユーザの１回の発言に対応するテキスト単位であるセンテンスを解析して、会話による情報伝達が失敗しているときに起こり得る発言のパターンとして予め定められた発言のパターンであるイベントを検出する機能と、
    前記イベントが検出されたセンテンスから単語を抽出する機能と、
    抽出した単語のうち、情報伝達の失敗要因となっている単語を選択する機能と、を実現させるためのプログラムであって、
    複数の前記イベントの各々に対し、会話による情報伝達が失敗したときに当該イベントが発生する度合いを表す伝達失敗指標の値が定められており、
    前記イベントが検出されたセンテンスには、当該センテンスにおいて検出された全てのイベントの伝達失敗指標の値を合算した第１総計値が与えられ、
    前記抽出された単語には、当該単語が出現する全てのセンテンスに与えられた第１総計値を合算した第２総計値が与えられ、
    前記抽出された単語のうち、前記第２総計値が所定の閾値以上の単語を、情報伝達の失敗要因となっている単語として選択するプログラム。

Images