JP2006251898A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】 会議参加者の関心やスタンスを的確に把握できる情報処理装置を提供することを目的とする。
【解決手段】 会議履歴表示装置（情報処理装置）１は、音声認識技術を用いて話者の音声データから書き起こしテキストを生成することにより発話データを作成する音声認識部３と、発話データを記憶する発話データベース４と、話者を設定する話者設定部５と、発話データベース４に記憶された発話データに基づいて、発話データの時間軸に対応させて発話データ内の単語の出現回数を集計する集計部６と、発話データ内の単語の出現回数を話者データの時間軸に対応させたグラフを表示する制御部７とを備える。本発明によれば、たとえば会議を後から振り返る際、誰がいつどのような内容を話したかが容易にわかり、参加者各人の関心、スタンスを的確に把握できる。
【選択図】 図１

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。

従来、会議等の情報が漏れなく記録でき、後でユーザが要求する情報を容易に指定して選択された部分のみを再生できる再生装置が提案されている（特許文献１）。

また、会議における参加者の発言の構造を検出し、表示する発言構造検出表示装置が特許文献２で提案されている。特許文献２記載の装置は、発言者毎の発言区間の情報と、発言者毎の姿勢と誰への発言かを特定し、所定の時間区間における発言の流れを検出することにより、インターラクションの高い発言相互の関係が表示できるというものである。

また、関連のある複数の発言群ごとに適切な発言構造区間を特定し、提示することにより、会議情報の再生に際し、所望する個所に効率よくアクセスするための発言構造情報提示装置が提案されている（特許文献３）。

特開平６−３４３１４６号公報 特開平１１−２５９５０１号公報 特開平１１−２７２６７９号公報

しかしながら、従来技術では、たとえばある会議参加者が会議で何についてどのように語ったのか、またどのような関心やスタンスを持っているのかなどを的確に把握することは難しいという問題がある。

そこで、本発明は、上記問題点に鑑みてなされたもので、各人の関心やスタンスを的確に把握できる情報処理装置、情報処理方法およびプログラムを提供することを目的とする。

上記課題を解決するために、本発明は、発話データを記憶する記憶手段と、前記記憶手段に記憶された発話データに基づいて、前記発話データの時間軸に対応させて前記発話データ内の単語の出現回数を集計する集計手段とを備える情報処理装置である。本発明によれば、発話データの時間軸に対応させて発話データ内の単語の出現回数（出現頻度）を集計することで、たとえば会議を後から振り返る際、誰がいつどのような内容を話したかが容易にわかり、参加者各人の関心、スタンス（姿勢）を的確に把握することができる。

本発明は、前記発話データ内の単語の出現回数を前記話者データの時間軸に対応させたグラフを表示する制御手段をさらに備える。これにより、たとえば会議を後から振り返る際、誰がいつどのような内容を話したかが容易にわかり、参加者各人の関心、姿勢、スタンスを的確に把握することができる。本発明は、前記発話データ内の単語の出現回数を前記話者データの時間軸に対応させたグラフを話者毎に表示する制御手段をさらに備える。前記制御手段は、前記発話データ内の単語の中で出現回数の多い単語名を前記グラフに対応させて表示することを特徴とする。これにより、どのような単語名を話したのかを一目で知ることができる。

前記制御手段は、前記発話データ内の単語の中で出現回数の多い単語名を発話時刻とともに前記グラフに対応させて表示することを特徴とする。これにより、いつどのような単語名を話したのかを一目で把握することができる。前記制御手段は、前記グラフに対応させて発話相手を表示することを特徴とする。これにより、だれと話したのかを一目で把握することができる。前記制御手段は、前記グラフ上で所定の操作を行うことにより対応する映像を再生することを特徴とする。これにより、実際に話者データを確認できる。

本発明は、前記集計手段が集計する話者を設定する設定手段をさらに備える。本発明によれば、特定の話者に対して単語の出現回数を知ることができる。本発明は、所定の音声認識技術を用いて話者の音声データから書き起こしテキストを生成することにより前記発話データを作成する音声処理手段をさらに備える。あらかじめ書き起こしテキストを作成しておくことにより、すばやく結果を表示させることができる。前記発話データは、会議中に検出された音声データから作成されていることを特徴とする。これにより会議の振り返りを支援することができる。また、前記発話データは、発話開始時刻、発話終了時刻、話者、発話内容および発話相手を含むことを特徴とする。

本発明は、所定の記憶手段に記憶された発話データを取得するステップと、前記発話データに基づいて、前記発話データの時間軸に対応させて前記発話データ内の単語の出現回数を集計するステップとを有する情報処理方法である。本発明によれば、発話データの時間軸に対応させて発話データ内の単語の出現回数（出現頻度）を集計することで、会議を後から振り返る際、誰がいつどのような内容を話したかが容易にわかり、参加者各人の関心、姿勢、スタンスを的確に把握することができる。本発明は、前記発話データ内の単語の出現回数を前記話者データの時間軸に対応させたグラフを表示するステップをさらに有する。

本発明は、発話データを取得するステップ、前記発話データに基づいて、前記時間軸に対応させて前記発話データ内の単語の出現回数を集計するステップ、前記発話データ内の単語の出現回数を前記話者データの時間軸に対応させたグラフを表示するための情報を生成するステップをコンピュータに実行させるためのプログラムである。本発明によれば、発話データの時間軸に対応させて発話データ内の単語の出現回数（出現頻度）を集計することで、会議を後から振り返る際、誰がいつどのような内容を話したかが容易にわかり、参加者各人の関心、姿勢、スタンスを的確に把握することができる。

本発明によれば、各人の関心やスタンスを的確に把握できる情報処理装置、情報処理方法およびプログラムを提供することができる。

以下、本発明を実施するための最良の形態について説明する。

図１は、会議履歴表示装置（情報処理装置）１のブロック図である。図１に示すように、会議履歴表示装置１は、会議記録データベース２、音声認識部３、発話データベース４、話者設定部５、集計部６、制御部７、表示部８およびスピーカ９を備える。

会議履歴表示装置１は、会議の履歴を表示するものである。会議記録データベース２は、会議中に検出された会議参加者（話者）の音声データおよび会議映像データを格納するものである。音声認識部３は、所定の音声認識技術を用いて会議記録データベース２に格納された話者の音声データから書き起こしテキストを生成することにより発話内容を含む発話データを作成し、発話開始時刻、発話修了時刻、話者、発話相手、発話内容を含む発話データを発話データベース４に格納する。このようにして、発話データは、会議中に検出された音声データから作成される。

図２は発話データベース４の内容を示す図である。図２に示すように、発話データベース４内は、発話の開始時刻、発話の終了時刻、話者、発話内容（発話データ）、発話相手のフィールドからなる。ここでは、会議参加者（話者）として、Ａさん、Ｂさん、Ｃさん、Ｄさんが存在する。このため、発話相手もＡさん、Ｂさん、Ｃさん、Ｄさんが存在する。また、発話内容はテキストデータとして保持されている。話者設定部５は、たとえばキーボードやマウス等により構成される。ユーザは、話者設定部５を用いることにより集計部６で集計する話者を設定することができる。

集計部６は、設定された話者が話した発話データを発話データベース４から抽出する。図３は、話者としてＣさんが設定された場合に発話データベース４から抽出された発話データを示す図である。話者としてＣが設定された場合、発話データベース４からは図３に示す発話データが発話データベース４から抽出される。集計部６は、抽出された発話データのうち「発話内容」のフィールドにあるテキストを解析し、発話データの時間軸に対応させて発話データ内の単語の出現回数を集計する。ここで、発話データの時間軸に対応させてとは、発話データの時間を保持しながらまたは発話データの時間軸を考慮しながらという意味である。集計部６が、図３に示した発話内容のフィールドにあるテキストから名詞のみを抽出した例を図４に示す。図４に示すように、集計部６は、発話内容のフィールド内の名詞だけを単語として抽出する。

表示部８は、たとえばディスプレイ装置によって構成される。制御部７は、集計結果をもとに、グラフ上に（例えば）棒グラフで出現した単語の合計回数とその中で出現回数が多かった単語を表示し、あわせて、そのときの発話相手のアイコンも表示する。

次に、表示部８の表示例について説明する。図５は、話者としてＣさんを設定した場合の表示例を示す図である。図５に示すように、制御部７は、発話データの発話内容内の単語の出現回数を話者データの時間軸に対応させた棒グラフを表示する。図５において、横軸は会議経過時間を示し、会議開始時刻と会議終了時刻が分かるように表示されている。縦軸はＣさんの発話単語数を示す。ウインドウ２０には、話者設定部５により設定された話者名（Ｃさん）が表示されている。

また、制御部７は、発話データの発話内容内の単語の中で出現回数の多い（出現数が上位の）単語名「コスト」、「問題」、「拠点」、「××」をグラフに対応させて表示する。さらに、制御部７は、発話データの発話内容内の単語の中で出現回数の多い単語名を発話時刻「１５時４３分０４秒」、「１５時４３分４５秒」「１５時４４分４５秒」とともにグラフに対応させて表示する。制御部７は、発話データの発話内容内の単語の中で出現回数の多い単語名を表示する際に、対話相手であるＢさんを表わすアイコンＢをグラフに対応させて表示する。ユーザがたとえばバー２１を移動またはクリックするなどのように、グラフ上で所定の操作を行うと、制御部７は、対応する会議映像および音声データを表示部８およびスピーカ９から再生する。

次に、他の表示例について説明する。図６は、Ａ、Ｂ、Ｃさんを話者として設定した場合の表示例を示す図である。図６に示すように、制御部７は、発話データの発話内容内の単語の出現回数を話者データの時間軸に対応させた折れ線グラフを話者（Ａ、Ｂ、Ｃ）毎に表示する。図６において、横軸は会議経過時間を示し、会議開始時刻と会議終了時刻が分かるように表示されている。縦軸は話者の発話単語数を示す。ウインドウ２０には、話者設定部５により設定された話者名Ａ、Ｂ、Ｃさんが表示されている。

制御部７は、発話データの発話内容内の単語の出現回数を話者データの時間軸に対応させた折れ線グラフを表示する際に、対話相手である、Ａさん、Ｂさん、Ｃさんを表わすアイコンＡ、Ｂ、Ｃをグラフに対応させて表示する。「Ａさんの発言」の線Ｌ１は、文字通り「Ａさんがいつ何単語話したか」を表わしている。それらの線上に現れる顔アイコンは、「Ａさんの発言」の線Ｌ１上であれば、その時点でのＡさんの対話相手をあらわしている。ＡからＤの４人の会議の場合、「Ａさんの発言」の線Ｌ１上にはＡさん以外の参加者であるＢ、Ｃ、Ｄのうちの誰かの顔アイコンが現れることになる。逆に、Ａさんの発言の線上にはＡさんの顔アイコンは現れない。Ｌ２１は、Ｂさんの発言をあらわす線である。そこだけたちあがっているのは、その前後の時間には発言がまったくなかった（会議開始からしばらくは発言があったが、その後のある時間は発言しておらず、会議の最後の方で少し発言した）ということをあらわしている。ユーザがたとえばバー２１を移動またはクリックするなどのように、グラフ上で所定の操作を行うと、制御部７は、対応する会議映像を再生する。

次に、会議履歴表示装置１の動作について説明する。図７は、会議履歴表示装置１の動作フローチャートである。ステップＳ１で、音声認識部３は、所定の音声認識技術を用いて会議記録データベース２に格納された話者の音声データから書き起こしテキストを生成することにより発話データを作成し、発話開始時刻、発話修了時刻、話者、発話相手に対応させて話者データを発話データベース４に格納する。ステップＳ２で、ユーザは、話者設定部５を用いることにより集計部６で集計する話者を設定する。

ステップＳ３で、集計部６は、抽出されたデータの「発話内容」のフィールドにあるテキストを解析し、発話データの時間軸に対応させて発話データの発話内容内の単語の出現回数を集計する。ステップＳ４で、制御部７は、図５および図６に示すように、発話データ内の単語の出現回数を話者データの時間軸に対応させたグラフを表示する。

本実施例の会議履歴表示装置によれば、ある参加者を設定すると、あらかじめ音声認識されてテキスト化されているデータを検索し、その参加者の発話頻度や発話内容を解析した結果を視覚的に表示することによって、誰がいつどのような内容を話したかが容易にわかり、参加者各人の関心やスタンスを的確かつ直感的に把握することができる。すなわち、少なくとも参加者の音声が記録されている会議を後から振り返る際、参加者各人の関心や姿勢を容易にかつ直観的に把握することができる。

なお、本発明による情報処理装置は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等を用いて実現される。プログラムをハードディスク装置や、ＣＤ−ＲＯＭ、ＤＶＤまたはフレキシブルディスクなどの可搬型記憶媒体等からインストールし、または通信回路からダウンロードし、ＣＰＵがこのプログラムを実行することで、情報処理方法の各ステップが実現される。また、プログラムは、発話データを取得するステップ、前記発話データに基づいて、前記時間軸に対応させて前記発話データ内の単語の出現回数を集計するステップ、前記発話データ内の単語の出現回数を前記話者データの時間軸に対応させたグラフを表示するための情報を生成するステップをコンピュータに実行させる。発話データベース４は発話データを記憶する記憶手段に、音声認識部３が音声処理手段にそれぞれ対応する。

以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

会議履歴表示装置のブロック図である。 発話データベース４の内容を示す図である。 話者としてＣさんが設定された場合に発話データベース４から抽出された発話データを示す図である。 テキストから名詞のみを抽出した例である。 話者としてＣさんを設定した場合の表示例である。 Ａ、Ｂ、Ｃさんを話者として設定した場合の表示例である。 会議履歴表示装置の動作フローチャートである。

符号の説明

１ 会議履歴表示装置
２ 会議記録データベース
３ 音声認識部
４ 発話データベース
５ 話者設定部
６ 集計部
７ 制御部
８ 表示部
９ スピーカ

Claims (14)

1. 発話データを記憶する記憶手段と、
   前記記憶手段に記憶された発話データに基づいて、前記発話データの時間軸に対応させて前記発話データ内の単語の出現回数を集計する集計手段と
   を備えることを特徴とする情報処理装置。
2. 前記発話データ内の単語の出現回数を前記話者データの時間軸に対応させたグラフを表示する制御手段をさらに備えることを特徴とする請求項１に記載の情報処理装置。
3. 前記発話データ内の単語の出現回数を前記話者データの時間軸に対応させたグラフを話者毎に表示する制御手段をさらに備えることを特徴とする請求項１に記載の情報処理装置。
4. 前記制御手段は、前記発話データ内の単語の中で出現回数の多い単語名を前記グラフに対応させて表示することを特徴とする請求項２または請求項３に記載の情報処理装置。
5. 前記制御手段は、前記発話データ内の単語の中で出現回数の多い単語名を発話時刻とともに前記グラフに対応させて表示することを特徴とする請求項２または請求項３に記載の情報処理装置。
6. 前記制御手段は、前記グラフに対応させて発話相手を表示することを特徴とする請求項２または請求項３に記載の情報処理装置。
7. 前記制御手段は、前記グラフ上で所定の操作を行うことにより対応する映像を再生することを特徴とする請求項２または請求項３に記載の情報処理装置。
8. 前記集計手段が集計する話者を設定する設定手段をさらに備えることを特徴とする請求項１に記載の情報処理装置。
9. 所定の音声認識技術を用いて話者の音声データから書き起こしテキストを生成することにより前記発話データを作成する音声処理手段をさらに備えることを特徴とする請求項１に記載の情報処理装置。
10. 前記発話データは、会議中に検出された音声データから作成されていることを特徴とする請求項１から請求項９のいずれか一項に記載の情報処理装置。
11. 前記発話データは、発話開始時刻、発話終了時刻、話者、発話内容および発話相手を含むことを特徴とする請求項１から請求項９のいずれか一項に記載の情報処理装置。
12. 所定の記憶手段に記憶された発話データを取得するステップと、
    前記発話データに基づいて、前記発話データの時間軸に対応させて前記発話データ内の単語の出現回数を集計するステップと
    を有することを特徴とする情報処理方法。
13. 前記発話データ内の単語の出現回数を前記話者データの時間軸に対応させたグラフを表示するステップをさらに有することを特徴とする請求項１２に記載の情報処理方法。
14. 発話データを取得するステップ、
    前記発話データに基づいて、前記時間軸に対応させて前記発話データ内の単語の出現回数を集計するステップ、
    前記発話データ内の単語の出現回数を前記話者データの時間軸に対応させたグラフを表示するための情報を生成するステップをコンピュータに実行させるためのプログラム。
    

Images