JP6818916B2 - サマリ生成装置、サマリ生成方法及びサマリ生成プログラム - Google Patents

Description

本発明の実施形態は、サマリ生成装置、サマリ生成方法及びサマリ生成プログラムに関する。

従来、音声認識技術の精度向上に伴い、会議等の発言録作成に音声認識技術を活用したシステムが提案されている。このような状況で、人手による作成のために手間がかかっていた会議等の議事録作成を支援する技術がある。例えば、議事録の雛形を準備し、分析したうえで、議事録の雛形に従った議事録を作成するための技術がある。

特開２０１５−１３８１０３号公報

しかしながら、従来技術は、議事録作成のための事前の準備が煩雑であるという問題がある。具体的には、従来技術は、事前に準備した議事録の雛形を使用するため、議事録作成のための事前の準備が煩雑である。

本発明が解決しようとする課題は、事前準備の手間を削減することができるサマリ生成装置、サマリ生成方法及びサマリ生成プログラムを提供することである。

実施形態のサマリ生成装置は、素性抽出部と、セグメント候補生成部と、構造化推定部とを有する。素性抽出部は、テキスト情報に含まれる単語の素性情報を抽出する。セグメント候補生成部は、抽出された素性情報に基づいて、表示のための構成単位となるセグメントの候補を生成する。構造化推定部は、生成されたセグメントの候補と、構造化のための推定モデルとに基づいて、大局的な構造の情報から局所的な構造の情報までを含む構造情報を推定する。

実施形態に係るサマリ生成システムのシステム構成を示す図。 実施形態に係るサマリ生成装置のハードウェア構成を示すブロック図。 実施形態に係るサマリ生成装置の機能構成を示すブロック図。 実施形態に係る音声認識処理結果を示す図。 実施形態に係る形態素解析処理結果を示す図。 実施形態に係るコマンド表現を示す図。 実施形態に係る品詞のプロパティ情報、意味クラスを示す図。 実施形態に係るシステム由来の情報を示す図。 実施形態に係るセグメント化の結果を示す図。 実施形態に係る構造化推定の候補抽出を説明する図。 実施形態に係る表示形式の候補を説明する図。 実施形態に係る素性抽出部による処理の流れを示すフローチャート。 実施形態に係るセグメント候補生成部による処理の流れを示すフローチャート。 実施形態に係る構造化推定部による処理の流れを示すフローチャート。 実施形態に係る表示形式変換部による処理の流れを示すフローチャート。

（実施形態）
図１は、実施形態に係るサマリ生成システム１のシステム構成例を示す図である。図１に示すように、サマリ生成システム１には、サマリ生成装置１００と、端末装置２００とが含まれる。サマリ生成システム１において、各装置は、無線又は有線により通信可能である。また、サマリ生成システム１には、複数台の端末装置２００が含まれていても良い。サマリ生成システム１は、会議等における音声データから、書式構造付きのテキストとして可視化したサマリ文書を作成するものである。

上述した構成において、端末装置２００は、会議等における音声データを取得し、ネットワークを介して、取得した音声データをサマリ生成装置１００に対して送信する。音声データは、端末装置２００に接続されるマイクロフォン等から取得される。会議では、１のマイクロフォンが使用されても良いし、複数のマイクロフォンが使用されても良い。異なる拠点間を通じて会議が開催される場合もあるため、サマリ生成システム１には複数の端末装置２００が含まれることも有り得る。かかる端末装置２００は、ＰＣ（Personal Computer）やタブレット端末等の情報機器である。

サマリ生成装置１００は、端末装置２００から音声データを取得し、発話者の明示的な要約指示や発話に含まれる構造化要求の表現を検知し、適切な表示単位（セグメント）を推定する。そして、サマリ生成装置１００は、発話者からの終端指示等に応じて、各セグメントをその内容に応じて組み替え、各種の表示形式に変換して出力する。かかるサマリ生成装置１００は、サーバ装置等の情報処理装置である。

図２は、実施形態に係るサマリ生成装置１００のハードウェア構成例を示すブロック図である。図２に示すように、サマリ生成装置１００は、ＣＰＵ（Central Processing Unit）１２と、ＲＯＭ（Read Only Memory）１３と、ＲＡＭ（Random Access Memory）１４と、通信部１５とを有する。上記各部は、バス１１により互いに接続される。

ＣＰＵ１２は、サマリ生成装置１００全体の動作を制御する。ＣＰＵ１２は、ＲＡＭ１４等を作業領域として、ＲＯＭ１３等に記憶されたプログラムを実行することで、サマリ生成装置１００全体の動作を制御する。ＲＡＭ１４は、各種処理に関する情報等を一時的に記憶するとともに、ＲＯＭ１３等に格納されたプログラムの実行時の作業領域として使用される。ＲＯＭ１３は、サマリ生成装置１００による処理を実現するためのプログラムを記憶する。通信部１５は、無線又は有線によるネットワークを介して、端末装置２００等の外部装置と通信する。なお、図２に示したハードウェア構成は一例であり、上記の他にも、処理結果を出力する表示部や各種情報を入力するための操作部等が含まれていても良い。

図３は、実施形態に係るサマリ生成装置１００の機能構成例を示すブロック図である。図３に示すように、サマリ生成装置１００は、音声認識部１１０と、素性抽出部１２０と、セグメント候補生成部１３０と、構造化推定部１４０と、指示部１６０と、表示形式変換部１７０とを有する。上記各部は、これらの一部又は全てがソフトウェア（プログラム）で実現されても良いし、ハードウェア回路で実現されても良い。また、サマリ生成装置１００は、ＲＯＭ１３等に、構造推定モデル１５０を記憶している。

音声認識部１１０は、音声データに対して音声認識処理を実行する。より具体的には、音声認識部１１０は、端末装置２００から送信された音声データの入力を受け付ける。そして、音声認識部１１０は、音声認識処理を実行し、各発話の文字データと、発話されたときの時刻の情報とを含むテキスト情報を生成する。図４は、実施形態に係る音声認識処理結果の例を示す図である。図４に示すように、音声認識結果であるテキスト情報には、各発話の文字データと、発話されたときの時刻の情報とが含まれる。

また、音声認識部１１０は、音声データの音響特徴として、発話区間や無音区間等を特定し、これらの区間の時間長を検出する。なお、音声認識部１１０は、サマリ生成装置１００に含まれていなくても良く、音声認識処理・音響特徴の抽出処理の実行結果をもとに、後段の素性抽出部１２０が処理するような構成としても良い。

素性抽出部１２０は、テキスト情報に含まれる素性情報を抽出する。より具体的には、素性抽出部１２０は、音声認識部１１０によって生成されたテキスト情報に対して、形態素解析処理を適用する。図５は、実施形態に係る形態素解析処理結果の例を示す図である。図５に示すように、形態素解析処理により、意味を有する言語の最小単位に分割される。そして、素性抽出部１２０は、テキスト情報に含まれる品詞情報を特定し、意味クラス解析処理を行なう。名詞であれば、そのプロパティ情報に基づくより詳細な情報（例えば、人名や日付等の情報）を素性情報として抽出する。例えば、意味クラス解析処理では、数量表現や単位表現の有無、人名や組織名、イベント名、専門用語等のキーワードが素性情報として抽出される。続いて、素性抽出部１２０は、テキスト情報に対して論理要素の判定を行なう。例えば、論理要素の判定では、順序付きの箇条書き表現や、構造化のためのコマンド表現等がテキスト情報に含まれているか否かが判定される。素性抽出部１２０は、テキスト情報に論理要素が含まれていれば、それらのメタデータを付与しておく。

図６は、実施形態に係るコマンド表現の例を示す図である。図６に示すように、コマンド表現は、「まとめます（conclusion）」、「ＴＯＤＯ（todo）」、「以上（terminate）」、「終わります（terminate）」等である。図７は、実施形態に係る品詞のプロパティ情報、意味クラスの例を示す図である。図７に示すように、品詞のプロパティ情報や意味クラスは、「１０日」であれば「ＤＡＴＥ」、「西口」であれば「ＰＥＲＳＯＮ」等となる。

その後、素性抽出部１２０は、テキスト情報に対してセグメントラベルの判定を行なう。セグメントラベルとは、セグメント（表示単位）の役割を表す名称であり、前段で抽出された意味クラスや名詞のプロパティ情報、又は、このような要素を有さない発話のテキスト、構造化指示のコマンド（指示命令）を含むか否か、等に応じて付与されるメタデータのことである。例えば、構造化指示のコマンドは、構造化の開始を示唆する指示命令を指し、「箇条書きはじまり」、「ここから表」、「ここから表形式」等がこれに該当する。また、素性抽出部１２０は、音声認識部１１０によって検出された発話区間や無音区間を周辺情報として付与しておく。

また、素性情報として、サマリ生成システム１由来の情報も利用可能である。例えば、素性抽出部１２０は、システム由来の情報として、マイクロフォンや接続されている端末装置２００のログインユーザをもとにした話者ＩＤの検出、会議室等の利用時刻やスケジューラ等と連動して参照可能な会議タイトル、会議の開催時刻、参加者、会議室等の会議情報、会議中に音声を入力している個別の話者情報等の会議詳細情報があれば、これらを素性情報として取得しておく。図８は、実施形態に係るシステム由来の情報例を示す図である。図８に示すように、システム由来の情報は、「話者ＩＤ」であれば「Ａ」であり、「会議日時」であれば「２０１５／１０／２３」等である。

セグメント候補生成部１３０は、構造化のための最小構成単位の候補のバリエーションを生成する。構造化における最小構成単位の候補には、粒度の大きな順に、話者、パラグラフ、フレーズ、漢字やカタカナ等の同一文字種の連続、意味クラス、単語、品詞等の単位で区切られる文字列が該当する。より具体的には、セグメント候補生成部１３０は、音声認識部１１０によって生成されたテキスト情報と、素性抽出部１２０によって抽出された素性情報とを読み込む。そして、セグメント候補生成部１３０は、各素性情報に存在するセグメントラベルを検出する。例えば、セグメントラベルの検出では、開始指示や終端指示、これらのほか、構造化の手がかりになるようなラベル等が検出される。

続いて、セグメント候補生成部１３０は、これまでに読み込んで蓄積されている素性情報をグルーピングする。例えば、グルーピングでは、類似する要素の規則的な出現の繰り返しや、種別が異なる素性情報の出現パターン等が検出され、このような繰り返しの単位を同一のグループとする。例を挙げると、類似する要素としては、「日付、場所、任意のテキスト文」等の要素（３要素）の繰り返しが規則的に出現しているものを指す。

また、セグメント候補生成部１３０は、セグメントラベルに構造化の終端指示が含まれていれば、それまでにグルーピングされた素性情報間に対して順序付けを行なう。順序付けの例としては、素性情報の種別に対し事前に順序付け定義をしておき、そのうえで順序付けを固定的に定義する方法や、抽出された素性情報の具体例において、各素性に含まれる文字長（平均の文字長）を基準に順序付けする方法、特定の要素（意味クラス）の含有数を基準に順序付けする方法等がある。

図９は、実施形態に係るセグメント化の結果例を示す図である。図９に示すように、セグメント化により、時刻ごとのテキストに含まれるコマンド表現、品詞のプロパティ情報や意味クラス、システム由来の情報等が付与されたテキスト情報が生成される。

構造化推定部１４０は、セグメント情報をもとに構造情報を推定する。より具体的には、構造化推定部１４０は、セグメント候補生成部１３０によって生成されたセグメント情報を読み込む。そして、構造化推定部１４０は、構造推定モデル１５０から構造推定モデルを読み込む。構造推定モデルは、表示に適した形式例や過去に編集・確定された結果を学習データとして学習されたものである。構造化推定部１４０は、このような構造推定モデルをもとに、素性情報の出現の組み合わせやパターンを与えることで、好適な構造化候補を順序付きで提示する。初期の構造情報の提示では、順序付きセグメントパターンから最も尤度の高い構造化結果が提示される。

続いて、構造化推定部１４０は、ユーザからの確定指示を受け付ける。ユーザからの指示は、指示部１６０を介して受け付けられる。例えば、現在の提示候補に対して、ユーザが問題なければ、提示候補を確定した構造化結果として提示する。一方、ユーザからの確定指示が得られない場合（次候補の提示の要求を受け付けた場合）には、次の構造化結果が提示される。次の構造化結果を提示する場合には、セグメントの組み合わせの変更だけではなく、セグメントそのものの取り出し方に遡ってバリエーションを変更して提示しても良い。なお、構造化結果の提示は、端末装置２００から出力しても良いし、サマリ生成装置１００から出力しても良い。

図１０は、実施形態に係る構造化推定の候補抽出例を説明する図である。図１０に示すように、セグメント情報をもとに、大局的な構造の情報から局所的な構造の情報までを構造化結果とする。

表示形式変換部１７０は、確定された構造化結果をユーザが閲覧するための表示形式に変換する。より具体的には、表示形式変換部１７０は、構造化推定部１４０において確定された構造化結果を読み込む。そして、表示形式変換部１７０は、表示形式変換モデルを読み込む。表示形式変換モデルは、構造化結果に対応して、どのような表示形式で提示するかの定義パターンが記載されているものであり、ＣＳＳ（Cascading Style Sheets）やＸＳＬＴ（XSL Transformations）等で記述することが可能である。

続いて、表示形式変換部１７０は、構造化結果と、表示形式変換モデルとから、初期の変換結果を提示する。この提示に対し、指示部１６０を介して、ユーザからの確定指示を受け付けた場合には、変換結果をサマリ文書として出力する。一方、ユーザからの確定指示が得られない場合（次候補の提示の要求を受け付けた場合）には、次に尤度の高い変換結果が提示される。なお、変換結果の提示は、端末装置２００から出力しても良いし、サマリ生成装置１００から出力しても良い。

図１１は、実施形態に係る表示形式の候補例を説明する図である。図１１に示すように、構造化結果のうち、何れかの構造の情報で提示する場合に、日付順に表示されたり、人名ごとに表示されたり、項目と人のみが表示されたりする。

図１２は、実施形態に係る素性抽出部１２０による処理の流れの例を示すフローチャートである。図１２に示すように、素性抽出部１２０は、音声認識部１１０によって生成されたテキスト情報を取得する（ステップＳ１０１）。そして、素性抽出部１２０は、取得したテキスト情報に対して、形態素解析処理を適用する（ステップＳ１０２）。続いて、素性抽出部１２０は、テキスト情報に含まれる品詞情報を特定し、意味クラス解析処理を実行する（ステップＳ１０３）。その後、素性抽出部１２０は、テキスト情報に対して論理要素の判定を行なう（ステップＳ１０４）。

そして、素性抽出部１２０は、テキスト情報に対してセグメントラベルの判定を行なう（ステップＳ１０５）。続いて、素性抽出部１２０は、音声認識部１１０によって検出された発話区間や無音区間を周辺情報として付与する（ステップＳ１０６）。その後、素性抽出部１２０は、システム由来の情報として、マイクロフォンや端末装置２００のログインユーザをもとにした話者ＩＤを検出する（ステップＳ１０７）。そして、素性抽出部１２０は、外部装置が管理する会議詳細情報等を検出する（ステップＳ１０８）。

図１３は、実施形態に係るセグメント候補生成部１３０による処理の流れの例を示すフローチャートである。図１３に示すように、セグメント候補生成部１３０は、音声認識部１１０によって生成されたテキスト情報と、素性抽出部１２０によって抽出された素性情報とを読み込む（ステップＳ２０１）。そして、セグメント候補生成部１３０は、各素性情報に含まれるセグメントラベルを読み込む（ステップＳ２０２）。続いて、セグメント候補生成部１３０は、これまでの読み込みによって蓄積された素性情報をグルーピングする（ステップＳ２０３）。その後、セグメント候補生成部１３０は、この時点でグルーピングされている素性情報間の順序付けを行なう（ステップＳ２０４）。

そして、セグメント候補生成部１３０は、セグメントラベルに構造化の終端指示が含まれているか否かを判定する（ステップＳ２０５）。このとき、セグメント候補生成部１３０は、セグメントラベルに構造化の終端指示が含まれている場合に（ステップＳ２０５：Ｙｅｓ）、グルーピングされた素性情報間の順序付けを行なう（ステップＳ２０６）。一方、セグメント候補生成部１３０は、セグメントラベルに構造化の終端指示が含まれていない場合に（ステップＳ２０５：Ｎｏ）、ステップＳ２０１の処理に戻る。

図１４は、実施形態に係る構造化推定部１４０による処理の流れの例を示すフローチャートである。図１４に示すように、構造化推定部１４０は、セグメント候補生成部１３０によって生成された順序付きのセグメント情報を読み込む（ステップＳ３０１）。そして、構造化推定部１４０は、構造推定モデル１５０から構造推定モデルを読み込む（ステップＳ３０２）。続いて、構造化推定部１４０は、読み込んだセグメント情報や構造推定モデルをもとに、素性情報の出現の組み合わせやパターンを与えることで、初期の構造情報（構造化の候補）を提示する（ステップＳ３０３）。

その後、構造化推定部１４０は、構造情報の提示に応じてユーザからの確定指示を受け付けた場合に（ステップＳ３０４：Ｙｅｓ）、提示した候補を確定した構造情報として付与する（ステップＳ３０５）。また、構造化推定部１４０は、構造情報の提示に応じてユーザからの確定指示が受け付けられない（次候補の提示要求を受け付けた）場合に（ステップＳ３０４：Ｎｏ）、次点でスコアの高い構造情報の候補を提示する（ステップＳ３０６）。候補の提示後は、ステップＳ３０４の処理に戻り、ユーザからの確定指示待ちの状態となる。

図１５は、実施形態に係る表示形式変換部１７０による処理の流れの例を示すフローチャートである。図１５に示すように、表示形式変換部１７０は、構造化推定部１４０において確定された構造化結果を読み込む（ステップＳ４０１）。そして、表示形式変換部１７０は、表示形式変換モデルを読み込む（ステップＳ４０２）。続いて、表示形式変換部１７０は、構造化結果と、表示形式変換モデルとから、初期の変換結果を提示する（ステップＳ４０３）。

その後、表示形式変換部１７０は、変換結果の提示に応じてユーザからの確定指示を受け付けた場合に（ステップＳ４０４：Ｙｅｓ）、この変換結果をサマリ文書として出力する（ステップＳ４０５）。また、変換結果の提示に応じてユーザからの確定指示が受け付けられない（次候補の提示の要求を受け付けた）場合に（ステップＳ４０４：Ｎｏ）、次点でスコアの高い変換結果の候補を提示する（ステップＳ４０６）。候補の提示後は、ステップＳ４０４の処理に戻り、ユーザからの確定指示待ちの状態となる。

実施形態によれば、音声データに対する音声認識処理結果から、話者による明示的な指示や構造化要求のための表現をもとにセグメントを推定し、セグメントをその内容に応じて組み替え、各種の表示形式に変換して提示するので、事前準備の手間を削減することができる。

また、上記実施形態に係るサマリ生成装置１００は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることで実現することが可能である。実行されるプログラムは、上述してきた各機能を含むモジュール構成となっている。また、実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供しても、ＲＯＭ等に予め組み込んで提供しても良い。

また、上述した実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。また、各実施形態は、内容を矛盾させない範囲で適宜組み合わせることが可能である。また、各実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００ サマリ生成装置
１１０ 音声認識部
１２０ 素性抽出部
１３０ セグメント候補生成部
１４０ 構造化推定部
１５０ 構造推定モデル
１６０ 指示部
１７０ 表示形式変換部

Claims (9)

1. テキスト情報に含まれる単語の素性情報を抽出する素性抽出部と、
   抽出された前記素性情報に基づいて、表示のための構成単位となるセグメントの候補を生成するセグメント候補生成部と、
   生成されたセグメントの候補と、構造化のための推定モデルとに基づいて、前記テキスト情報を相互に異なる構造に構造化した結果である複数の構造情報を推定する構造化推定部と、
   複数の前記構造情報のうち、指示された前記構造情報を、前記テキスト情報のサマリとして出力する出力制御部と、
   を有するサマリ生成装置。
2. 音声データの音声認識処理を実行し、前記テキスト情報を生成する音声認識部をさらに有し、
   前記素性抽出部は、生成された前記テキスト情報に含まれる単語の素性情報を抽出する請求項１に記載のサマリ生成装置。
3. 前記音声認識部は、発話の文字情報と、発話されたときの時刻とが対応付けられた前記テキスト情報を生成して、前記音声データの音響特徴を抽出し、
   前記素性抽出部は、前記文字情報に対する時刻と、前記音響特徴とを前記単語に対する周辺情報として抽出する請求項２に記載のサマリ生成装置。
4. 前記出力制御部は、指示された前記構造情報を閲覧用の表示形式に変換して出力する、
   請求項１〜３の何れか一つに記載のサマリ生成装置。
5. 前記構造化推定部は、過去の処理結果に基づく学習データである前記推定モデルをもとに、該推定モデルに対する尤度が他の構造情報より高い構造情報を提示し、
   前記出力制御部は、提示された前記構造情報に対して確定指示が受け付けられた場合に、提示された前記構造情報を、前記テキスト情報のサマリとして出力する、
   請求項１〜４の何れか一つに記載のサマリ生成装置。
6. 前記出力制御部は、ユーザ指示に応じて前記表示形式を変更する請求項４に記載のサマリ生成装置。
7. 前記構造化推定部は、前記推定モデルに対する尤度の順で複数の前記構造情報を提示し、
   前記出力制御部は、提示された前記構造情報に対して確定指示が受け付けられた場合に、提示された前記構造情報を、前記テキスト情報のサマリとして出力する、
   請求項１に記載のサマリ生成装置。
8. サマリ生成装置によって実行されるサマリ生成方法であって、
   テキスト情報に含まれる単語の素性情報を抽出するステップと、
   抽出された前記素性情報に基づいて、表示のための構成単位となるセグメントの候補を生成するステップと、
   生成されたセグメントの候補と、構造化のための推定モデルとに基づいて、前記テキスト情報を相互に異なる構造に構造化した結果である複数の構造情報を推定する構造化推定ステップと、
   複数の前記構造情報のうち、指示された前記構造情報を、前記テキスト情報のサマリとして出力する出力制御ステップと、
   を含むサマリ生成方法。
9. サマリ生成装置に、
   テキスト情報に含まれる単語の素性情報を抽出するステップと、
   抽出された前記素性情報に基づいて、表示のための構成単位となるセグメントの候補を生成するステップと、
   生成されたセグメントの候補と、構造化のための推定モデルとに基づいて、前記テキスト情報を相互に異なる構造に構造化した結果である複数の構造情報を推定する構造化推定ステップと、
   複数の前記構造情報のうち、指示された前記構造情報を、前記テキスト情報のサマリとして出力する出力制御ステップと、
   を実行させるためのサマリ生成プログラム。

Images