JP2007256498A - 音声状況データ生成装置、音声状況可視化装置、音声状況データ編集装置、音声データ再生装置、および音声通信システム - Google Patents

Abstract

【課題】複数の音源からの音声データを経時的に記録したデータを利用する際に、利用者に対して使い勝手の良い状態でデータを提供することにある。
【解決手段】録音サーバ１０１のネットワークＩ／Ｆ４は、ネットワーク１００で通信される多地点音声会議の音声ファイルを取得する。音声ファイルには収音された装置を表す装置データ、収音方位を表す方位データ、収音時間を表す時間データが添付されている。音声ファイルは記録部３の音声ファイル記録部３１へ装置毎に記録される。音声状況データ生成部２は、音声ファイルの方位データと時間データとに基づいて音声ファイルを区分化するための音声状況データを生成して記録部３に与え、音声状況データは記録部３の音声状況データ記録部３２に記録される。議事録作成者が会議後に録音サーバ１０１にアクセスすると、音声状況データに基づいて音声ファイルを区分化されて表示され、編集可能となる。
【選択図】図３

Description

この発明は、会議音声等の音声を記録して利用する装置およびシステムに関するものである。

多地点をネットワークで結んで音声会議を行う音声会議システムが各種考案されている（例えば、特許文献１参照）。

このような音声会議システムでは、会議を行う各地点（会議室）に音声会議装置が配置され、各音声会議装置に対して一人または複数の会議者が在席する。各音声会議装置は、自室内の会議者の発言を収音して音声データ化し、ネットワークを介して相手先の音声会議装置に送信する。また、各音声会議装置は、相手先の音声会議装置からの音声データを受信すれば音声化して放音する。

そして、特許文献１に記載の音声会議システムでは、ＲＦＩＤタグとマイクとを各会議者の近傍に配置し、音声会議装置は、マイクで収音すると、収音音声信号と対応するＲＦＩＤタグにより得られる会議者情報とを関連付けして送信する。

この音声会議システムには録音サーバが備えられており、録音サーバに録音される収音音声信号には前記会議者情報が関連付けされている。
特開２００５−８０１１０公報

特許文献１に記載の音声通信システムでは、会議後に会議参加者の１人が議事録作成等のために、録音サーバにパソコン等を接続して記録された音声データを再生すると、関連付けされた会議者情報が表示される。

しかしながら、特許文献１の音声通信システムでは、単に時系列で録音サーバに記憶された音声データを選択することで、対応する会議者を初めて知ることができるため、特定の会議者の発言を抽出したり、記録された会議の全体の流れ（状況）を把握したりすることが容易ではできなかった。

また、音声データや会議者情報から得られる音声状況（会議状況）に基づいて各音声データを区分化する等の編集を行い、この音声状況を記憶しておくことができなかった。

このため、会議後等に録音サーバに記録された音声データを利用する際に、利用者が使い辛いものとなってしまっていた。

したがって、この発明の目的は、多地点音声会議後に議事録を作成する等のように、複数の音源からの音声データを経時的に記録したデータを利用する際に、利用者に対して使い勝手の良い状態でデータを提供することにある。

この発明の音声状況データ生成装置は、音声データと当該音声データの話者を識別する話者識別データとを経時的に取得するデータ取得手段と、音声データの話者毎の時間分布を分析したデータである音声状況データを生成する音声状況データ生成手段と、音声データおよび音声状況データを記憶する記憶手段と、を備えたことを特徴としている。

この構成では、データ取得手段で音声データと話者識別データとを経時的に取得して記憶手段でこれらのデータを記憶する。また、音声状況データ生成手段は、取得した音声データの時間データと話者識別データとから、話者毎に音声データが時間区分される。この音声データの各区分と時間データと話者識別データとの関係が音声状況データとして生成され、音声データとともに記憶手段に記憶される。このように話者と時間とにより音声データを区分して識別可能にすることで、後述する可視化、編集、再生の際に各区分の音声データを容易に識別できる。

特に、この発明の音声状況データ生成装置は、話者識別データを音声の到来方向を検出した方位データとすることを特徴としている。

この構成では、検出できる各方位に話者がいるものとして関連付けし、取得した方位データを話者識別データとする。

具体的に、音声会議の議事録作成の場合であれば、議事録作成者が会議後にこれらのデータを利用する際に、方位データにより会議者が識別され、時間データにより発言時間が識別されるので、各会議者の発言タイミングが容易に識別される。さらに、会議全体の発言状況（会議の流れ）が容易に識別される。

また、この発明の音声状況可視化装置は、前述の音声状況データ生成装置の各手段と、音声状況データに基づいて音声データの時間分布を話者別で時系列にグラフ化して表示する表示手段と、を備えたことを特徴としている。

この構成では、表示手段により、時間区分化された音声データが話者別（方位別）で時系列にグラフ表示されることで、利用者へ視覚的に音声状況が提供される。表示手段とは、具体的に液晶ディスプレイ等の表示器と、表示器上に画像を映し出す制御部および表示アプリケーションとを有し、制御部が表示アプリケーションを実行することで、音声状況データに基づいて、音声データ全体を話者別（方位別）で時系列に区分してなる区分化音声データがタイムチャートのように表示される。これにより、利用者に対して、音声状況がより分かりやすく提供される。

具体的に、前述の音声会議の議事録作成の場合であれば、各会議者の発言タイミングや会議全体の発言状況がタイムチャート等で表示され、議事録作成者へ視覚的に提供される。これにより、議事録作成者に対して会議の発言状況等がより分かりやすく提供される。

また、この発明の音声状況データ編集装置は、前述の音声状況可視化装置と、音声状況データを編集する操作入力を受け付ける操作受付手段と、該操作受付手段により受け付けた編集内容を解析して音声状況データを編集するデータ編集手段と、を備えたことと特徴としている。

この構成では、データ編集手段により、音声状況データの各項目が変更される。この際、利用者からの操作は操作受付手段により受け付けられる。例えば、方位と話者との関係が分かっており、方位名を話者名に変更したい場合には、利用者は操作受付手段により方位名変更の操作を行う。操作受付手段はこの操作を受け付けてデータ編集手段に与える。データ編集手段は、データ編集アプリケーションを有し、前記制御部でデータ編集アプリケーションを実行することで、指示された内容にしたがい方位名を話者名に変更し、音声状況データの更新記録を行う。

具体的に、前述の音声会議の議事録作成の場合であれば、方位名を会議者名に変更する等の操作が可能となる。これにより、会議者が直接的に分からない方位名ではなく、会議者名がそのまま表示されるので、より分かりやすい議事録が作成される。

また、この発明の音声データ再生装置は、前述の音声状況データ編集装置と、操作受付手段により選択された話者の音声データを全音声データ中から選択して再生する再生手段と、を備えたことを特徴としている。

この構成では、操作受付手段を操作することで、区分化音声データが選択されると、該当する区分化音声データが再生手段により再生される。これにより、各区分化音声データを、会議後に再度聴くことができる。また、前述の編集時に各区分化音声データの再生音を聞くことで、話者の特定を聴覚的にも行うことができる。

具体的に、前述の音声会議の議事録作成の場合であれば、各区分化音声データを選択して再生することで、会議者を聴覚的に特定することができるとともに、どの会議者が何を話したかを、会議後であっても確実に知ることができる。

また、この発明は、複数の放収音装置がネットワークを介して音声データを通信する音声通信システムに関するものである。そして、この発明の音声通信システムは、前述の音声状況データ生成装置、音声状況可視化装置、音声状況データ編集装置、および音声データ再生装置のいずれかが複数の放収音装置とは別体でネットワークに接続されており、各装置のデータ取得手段は、複数の放収音装置間で通信される音声データと話者識別データとを取得することを特徴としている。

この構成では、各放収音装置で収音した音声データがネットワークを介して前述の音声状況データ生成装置、音声状況可視化装置、音声状況データ編集装置、および音声データ再生装置（以下、総称して「音声データ処理装置」とする。）に入力される。このように、放収音装置と音声データ処理装置とが別体で構成されていることで、膨大な記憶容量を要する音声データ処理装置を、比較的小型化が要求される放収音装置に備え付ける必要がなくなる。

また、この発明は、複数の放収音装置がネットワークを介して音声データを通信する音声通信システムに関するものである。そして、この発明の音声通信システムは、前述の音声状況データ生成装置、音声状況可視化装置、音声状況データ編集装置、および音声データ再生装置のいずれかが複数の放収音装置のいずれか１台に内蔵されており、各装置のデータ取得手段は、音声データ処理装置が内蔵される放収音装置で送受信される音声データと話者識別データとを取得することを特徴としている。

この構成では、前述の音声データ処理装置を放収音装置に備える。これにより、サーバレスで音声通信を記録することができる。

また、この発明の音声通信システムの放収音装置は、マイクアレイを備え、該マイクアレイの各マイクの収音音声信号に基づいて、それぞれに異なる方位に強い指向性を有する複数の収音ビーム信号を形成し、該複数の収音ビーム信号を比較して、最も信号強度の強い収音ビーム信号を選択するとともに、選択された収音ビーム信号に対応する方位を検出して、選択された収音ビーム信号を音声データとし、検出した方位を話者識別データとして出力することを特徴としている。

この構成では、放収音装置は、マイクアレイの各マイクの収音音声信号から複数の収音ビーム信号を形成して、最も信号強度の高い収音ビーム信号を選択するとともに、当該収音ビーム信号に対応する方位を検出する。そして、放収音装置は、選択した収音ビーム信号を音声データとし、検出方位を話者識別データとして出力する。これにより、従来のように、会議者を識別するＲＦＩＤタグ等を必要としないので、より簡素に音声通信システムが構成される。

この発明によれば、複数の音源からの音声データを経時的に記録したデータを利用する場合に、利用者に対して使い勝手の良い状態でデータを提供することができる。具体例として、多地点会議システムで各会議者の発言を記録しておくような場合に、各会議者の発言をタイムチャート等により、より分かりやすく議事録作成者に提供することができる。

また、この発明によれば、収音信号により話者方向を自動検出する放収音装置を用いることで、音声通信システムおよびこのシステムで通信される音声データの記録を、従来よりも簡素な構成で実現することができる。

以下の実施形態では具体的なシステム例として議事録作成システムについて説明する。
本発明の実施形態に係る議事録作成システムについて図を参照して説明する。
図１は本実施形態の議事録作成システムの構成図である。
図２は本実施形態の音声会議装置１１１，１１２の主要構成を示すブロック図である。
図３は本実施形態の録音サーバ１０１の主要構成を示すブロック図である。
議事録作成システムは、ネットワーク１００に接続された音声会議装置１１１，１１２と、録音サーバ１０１とを備える。

音声会議装置１１１、１１２は、それぞれ離れた地点ａ、地点ｂにそれぞれ配置されている。地点ａには、音声会議装置１１１が配置されており、該音声会議装置１１１を囲むように話者Ａ〜Ｇの７人が音声会議装置１１１に対してそれぞれ方位Ｄｉｒ１１〜Ｄｉｒ１６，Ｄｉｒ１８で在席している。地点ｂには、音声会議装置１１２が配置されており、該音声会議装置１１２を囲むように会議者Ｈ〜Ｌの５人が音声会議装置１１２に対してそれぞれ方位Ｄｉｒ２１，Ｄｉｒ２２，Ｄｉｒ２４，Ｄｉｒ２６，Ｄｉｒ２８で在席している。

音声会議装置１１１、１１２は、図２に示すように、制御部１１、入出力Ｉ／Ｆ１２、放音指向性制御部１３、Ｄ／Ａコンバータ１４、放音アンプ１５、スピーカＳＰ１〜ＳＰ１６、マイクＭＩＣ１０１〜１１６、２０１〜２１６、収音アンプ１６、Ａ／Ｄコンバータ１７、収音ビーム生成部１８、収音ビーム選択部１９、エコーキャンセル回路２０、操作部３１、表示部３２を備える。制御部１１は、音声会議装置１１１，１１２の全体制御を行う。入出力Ｉ／Ｆ１２はネットワーク１００に接続し、ネットワーク１００を介して入力された相手装置からの音声ファイルを、ネットワーク形式のデータから一般的な音声信号に変換してエコーキャンセル回路２０を介して放音指向性制御部１３に出力する。この際、制御部１１は、入力音声信号に添付された方位データを取得して、放音指向性制御部１３に対して放音制御を行う。

放音指向性制御部１３は、放音制御内容に応じてスピーカＳＰ１〜ＳＰ１６に対する放音音声信号を生成する。スピーカＳＰ１〜ＳＰ１６に対する放音音声信号は、入力音声データを遅延制御や振幅制御等の信号制御処理を行うことにより形成される。Ｄ／Ａコンバータ１４はディジタル形式の放音音声信号をアナログ形式に変換し、放音アンプ１５は放音音声信号を増幅してスピーカＳＰ１〜ＳＰ１６に与え、スピーカＳＰ１〜ＳＰ１６は、放音音声信号を音声変換して放音する。これにより、自装置の会議者に、ネットワークで接続された相手先装置の会議者の音声を放音する。

マイクＭＩＣ１０１〜１１６、２０１〜２１６は自装置の会議者の発声音を含む周囲の音を収音して電気信号変換し、収音音声信号を生成する。収音アンプ１６は収音音声信号を増幅し、Ａ／Ｄコンバータ１７はアナログ形式の収音音声信号をディジタル形式に変換する。

収音ビーム生成部１８は、マイクＭＩＣ１０１〜１１６、２０１〜２１６の収音信号に対して遅延処理等を行い、所定方位に強い指向性を有する収音ビーム音声信号ＭＢ１〜ＭＢ８を生成する。収音ビーム音声信号ＭＢ１〜ＭＢ８はそれぞれ異なる方位に強い指向性を有するように設定されている。図１の音声会議装置１１１であれば、ＭＢ１を方位Ｄｉｒ１１に、ＭＢ２を方位Ｄｉｒ１２に、ＭＢ３を方位Ｄｉｒ１３に、ＭＢ４を方位Ｄｉｒ１４に、ＭＢ５を方位Ｄｉｒ１５に、ＭＢ６を方位Ｄｉｒ１６に、ＭＢ７を方位Ｄｉｒ１７に、ＭＢ８を方位Ｄｉｒ１８に設定される。一方、音声会議装置１１２、ＭＢ１を方位Ｄｉｒ２１に、ＭＢ２を方位Ｄｉｒ２２に、ＭＢ３を方位Ｄｉｒ２３に、ＭＢ４を方位Ｄｉｒ２４に、ＭＢ５を方位Ｄｉｒ２５に、ＭＢ６を方位Ｄｉｒ２６に、ＭＢ７を方位Ｄｉｒ２７に、ＭＢ８を方位Ｄｉｒ２８に設定される。

収音ビーム選択部１９は、収音ビーム音声信号ＭＢ１〜ＭＢ８の信号強度を比較して、最も強度の高い収音ビーム音声信号を選択し、収音ビーム音声信号ＭＢとしてエコーキャンセル回路２０に出力する。収音ビーム選択部１９は、選択した収音ビーム音声信号ＭＢに対応する方位Ｄｉｒを検出して制御部１１に与える。エコーキャンセル回路２０は、適応型フィルタ２１で入力音声信号に基づいて擬似回帰音信号を生成して、ポストプロセッサ２２で収音ビーム音声信号ＭＢから擬似回帰音信号を減算する。これにより、スピーカＳＰからマイクＭＩＣへの回り込み音を抑圧する。入出力Ｉ／Ｆ１２は、エコーキャンセル回路２０からの収音ビーム音声信号ＭＢをネットワーク形式で所定データ長からなる音声ファイルに変換し、制御部１１から得られる方位データと収音時間データとを添付して、ネットワーク１００に出力する。

このような構成により、ネットワーク１００に接続された音声会議装置１１１，１１２で多地点会議を行うことができる。

録音サーバ１０１は、制御部１、音声状況データ生成部２、記録部３、ネットワークＩ／Ｆ４を備える。録音サーバ１０１は、音声会議装置１１１、１１２のいずれかと同じ場所に配置しても、これらとは全く異なる場所に配置してもよい。
制御部１は、ネットワークＩ／Ｆ４に対するネットワーク通信制御や、記録部３に対する記録制御等の録音サーバ１０１全体制御を行う。
音声状況データ生成部２は、音声ファイルから時間データおよび方位データを取得して、音声ファイルの各部分の属性を識別する音声状況データを生成する。ここで属性には、音声ファイルの送信元装置、該装置での収音方位、収音時刻を少なくとも備え、さらに、収音時間長等を備える。
記録部３は、大容量の磁気ディスク装置等からなり、機能的に音声ファイル記録部３１と音声状況データ記録部３２とを備える。音声ファイル記録部３１は、ネットワークＩ／Ｆ４を介して入力される音声ファイルを順次記録する。この際、音声ファイル記録部３１には、音声会議装置１１１用の記録領域と、音声会議装置１１２用の記録領域とが用意されており、音声ファイルに添付された装置データに基づいて、それぞれ対応する領域に音声ファイルが記録される。音声状況データ記録部３２は、音声状況データ生成部２で生成された音声状況データを記録する。

次に、録音サーバ１０１の録音フローについて図４、図５を参照して説明する。
図４は録音サーバ１０１の録音処理フローを示すフローチャートである。
図５は録音サーバ１０１に記録された音声ファイルの概念図である。
録音サーバ１０１は、ネットワーク１００での音声ファイル通信を監視している。録音サーバ１０１は、会議開始トリガを検出すると録音を開始する（Ｓ１→Ｓ２）。この際、会議開始トリガとしては、ネットワーク１００に音声ファイルが通信されたことを検知することで得られたり、各音声会議装置１１１、１１２が会議開始スイッチの押下により会議開始パルスを発してこれを検知することにより得ることができる。また、録音サーバ１０１に録音開始スイッチが備えられており、この録音開始スイッチが押下されることにより検知することもできる。

録音が開始されると、録音サーバ１０１（制御部１）は録音開始時間を取得し、音声状況データ生成部２に与える。音声状況データ生成部２は、この録音開始時刻を１つの音声状況データのタイトルとして保存する（Ｓ３）。

ネットワークＩ／Ｆ４は、ネットワーク１００で通信される音声ファイルを取得し、記憶部３に与え、記憶部３は順次音声ファイルを記憶する（Ｓ４）。

この際、制御部１は、ネットワークＩ／Ｆ４が取得した音声ファイルから装置データ、方位データ、時間データを取得して、装置データを記憶部３に与える。記憶部３は、制御部１から取得した装置データに従い、音声ファイルを装置別に順次音声ファイル記録部３１に記録する。

なお、音声会議装置１１１，１１２は並行して音声ファイルをネットワークに出力するので、これらの音声ファイルを同時に記憶するため、記録サーバ１０１はマルチタスク処理を実行可能とするように構成されている。

また、制御部１は、音声ファイルから装置データ、方位データ、時間データを取得し、音声状況データ生成部２に与える（Ｓ５）。音声状況データ生成部２は、これら装置データ、方位データおよび時間データを順次記憶する。

この処理は、装置毎に方位データの変化を制御部１が検出するまで繰り返し行われ、方位データの変化を制御部１が検出すると（Ｓ６）、制御部１はセッション終了処理制御を音声状況データ生成部２に与える（Ｓ７）。音声状況データ生成部２は、同じ方位データからなる音声ファイル群を関連付けするため、該当する音声ファイル群の装置データと方位データと開始時間データとを備える音声状況データを生成して記憶部３に与える。記憶部３は、音声状況データ生成部２からの音声状況データを音声状況データ記録部３２に記録する（Ｓ８）。このような音声状況データの生成、記録処理と音声ファイルの記録処理とは、録音終了トリガが検出されるまで繰り返し行われ、方位データが変化する毎に音声状況データの生成、記録される。

そして、録音終了トリガが検出されれば、制御部１は、音声状況データ生成部２に録音終了制御指示を与える。なお、録音終了トリガは、ネットワーク１００に接続された音声会議装置１１１，１１２の会議終了スイッチ押下や電源オフ等を検出することにより得られる。音声状況データ生成部２は、最終の音声状況データを生成、記録するとともに、音声状況データ記録部３２に予め記録された各音声状況データを録音開始時に取得したタイトルでグループ化するグループ化指示データを生成して音声状況データ記録部３２に記録する（Ｓ１１）。

このような構成および処理を行うことで、図５に示すように、音声ファイル記録部３１には、経時的に連続する音声ファイルが装置毎に記録される。この際、音声ファイルは、音声状況データ記憶部３２に記録された音声状況データにより、方位別に区分されている。例えば、地点ａの音声ファイルであれば、方位Ｄｉｒ１１の音声ファイル、方位Ｄｉｒ１２からの音声ファイル、方位Ｄｉｒ１３からの音声ファイル、方位Ｄｉｒ１４からの音声ファイル、方位Ｄｉｒ１５からの音声ファイル、方位Ｄｉｒ１６からの音声ファイル、および方位の指定されていない無音の音声ファイルとで区分化される。そして、各区分化音声ファイルには区分の開始時間データが関連付けされている。ここで、前述のように音声会議装置１１１を利用する会議者が７人であるにも関わらず、記録される方位が６方向であるが、これは方位Ｄｉｒ１８の会議者の発言が無かったからであり、このように発言がなければ、方位データも生成されないので、音声状況データには記録されない。同様に、地点ｂの音声ファイルであれば、方位Ｄｉｒ２１の音声ファイル、方位Ｄｉｒ２２からの音声ファイル、方位Ｄｉｒ２４からの音声ファイル、方位Ｄｉｒ２６からの音声ファイル、および方位の指定されていない無音の音声ファイルとで区分化され、区分毎の開始時間データが関連付けされている。この場合も、前述のように音声会議装置１１２を利用する会議者が５人であるにも関わらず、記録される方位が４方向であるが、これは方位Ｄｉｒ２８の会議者の発言が無かったからであり、このように発言がなければ、方位データも生成されないので、音声状況データには記録されない。

このように、本実施形態の構成及び処理を用いることで、会議者に対応する方位データを備えた状態で議事録を記録することができる。そして、時間データも関連付けされていることで、各会議者の発言状況をも含んで議事録を記録することができる。これにより、後述するような議事録作成処理を行う場合に、議事録作成者に対して使い勝手の良い記録データを提供することができる。

次に、議事録作成時の構成および処理について説明する。
図６は議事録作成時の音声通信システムの構成図である。
図７は図６に示すパソコン１０２の主要構成を示すブロック図である。
図８は編集アプリ実行時にパソコン１０２の表示部１２３に表示される表示画像を示す図であり、（Ａ）が初期状態、（Ｂ）が編集後状態を示す。

図６に示すように、議事録作成時には、議事録作成者はパソコン１０２をネットワーク１００に接続する。この際、ネットワーク１００には、録音サーバ１０１がＯＮ状態で接続され、音声会議装置１１１，１１２は接続されていない。なお、音声会議装置１１１，１１２はネットワーク１００に接続されていてもよいが、議事録作成処理とは無関係であるので、実質的に接続していないのと同じである。

パソコン１０２は、ＣＰＵ１２１、ハードディスク等の記憶部１２２、表示部１２３、操作入力部１２４、ネットワークＩ／Ｆ１２５、スピーカ１２６を備える。

ＣＰＵ１２１は通常のパソコンの処理制御を行うととも、記憶部１２２に記憶されている、編集アプリや再生アプリを読み出して実行することで、音声状況ファイルの表示手段、編集手段や、音声ファイルの再生手段として機能する。

記憶部１２２は、ハードディスク等の磁気ディスクやメモリからなり、編集アプリや再生アプリを記憶するとともに、ＣＰＵ１２１が各機能を実行する際の作業部として利用される。なお、本実施形態では編集アプリに表示アプリも含まれているが、編集アプリと表示アプリとを別にしてもよい。

表示部１２３は、液晶ディスプレイ等により構成され、ＣＰＵ１２１で編集アプリが実行されると、編集アプリ内の表示アプリが起動してＣＰＵ１２１から表示画像情報が与えられ図８に示すような画像を表示する。

操作入力部１２４は、キーボードやマウスからなり、ユーザ（議事録作成者）の操作入力を受け付けてＣＰＵ１２１に与える。例えば、マウスで表示画面上のカーソルを移動させ、該当位置でマウスをクリックすることにより、クリック情報がＣＰＵ１２１に与えられ、ＣＰＵ１２１はクリック位置とクリック状況から操作入力内容を判断して後述するような所定の編集、再生処理を行う。

ネットワークＩ／Ｆ１２５は、パソコン１０２をネットワーク１００に接続させる機能部であり、ＣＰＵ１２１からの通信制御に応じて、ＣＰＵ１２１からの制御信号や、録音サーバ１０１から音声状況データおよび音声ファイルを通信する。

スピーカ１２６は、ＣＰＵ１２１の制御に従い音声ファイルを放音する。

次に、音声状況データの編集方法について、図８を参照しながら詳述する。
議事録作成者が会議後にパソコン１０２を操作して編集アプリを実行すると、パソコン１０２は、録音サーバ１０１から音声状況データを取得し、図８（Ａ）に示すような画面を表示する。

図８（Ａ）に示すように編集画面は、表題表示部２０１、タイムチャート表示部２０２、を備える。タイムチャート表示部２０２は、各音声ファイルを示すバーグラフ２０３、方位（会議者）表示部２０４、装置（地点）表示部２０５、内容表示部２０６を備える。

（１）表題表示部２０１
初期状態で、図８（Ａ）に示すように表題表示部２０１には音声状況ファイルのファイル名に相当する、議事録記録年月日が表示される。議事録作成者がマウスを用いて表題表示部２０１を選択すると、表題表示部２０１は編集可能となる。そして、議事録作成者が、会議名である「商品販売検討会議」をキーボード等で入力すると、図８（Ｂ）に示すように表題表示部２０１には、「商品販売検討会議」が表示される。ＣＰＵ１２１は、編集アプリが終了する際、この変更を有効にするかを確認し、有効にする選択がされれば、音声状況ファイルに表題名が「商品販売検討会議」であることを関連付けする。この場合、音声状況ファイル名を直接「商品販売検討会議」に変更して、録音サーバ１０１に記憶させても良い。これにより、表題が単なる年月日表示から具体的な会議名の表示になるので、後からでも容易に議事録を認識することができる。

（２）タイムチャート表示部２０２
タイムチャート表示部２０２は、音声状況ファイル名から得られる区分化の情報に従い、各区分化音声ファイルを方位別で時系列に並べてバーグラフ２０３として表示する。この際、バーグラフ２０３の長さは区分化音声ファイルの時間長を表す。この際、方位を表す情報として、方位表示部２０４が表示される。

各方位表示部２０４には、図８（Ａ）に示すように、音声状況ファイルから得られた方位データ（Ｄｉｒ１１〜１６，Ｄｉｒ２１，Ｄｉｒ２２，Ｄｉｒ２４，Ｄｉｒ２６）が初期状態で表示される。議事録作成者がマウスを用いて方位表示部２０４を選択すると、方位表示部２０４は編集可能となる。そして、議事録作成者が、方位毎に対応する会議者（話者）名をキーボード等で入力すると、方位表示部２０４には、図８（Ｂ）に示すように話者名（話者Ａ〜Ｆ、話者Ｈ〜Ｋ）が表示される。ＣＰＵ１２１は、編集アプリが終了する際、この変更を有効にするかを確認し、有効にする選択がされれば、各方位データに対応する話者名を関連付けする。この場合、方位データを直接話者名データに置き換えて、録音サーバ１０１に記憶させても良い。これにより、各区分化音声ファイルが単に方位で識別されるのではなく、発言した話者で識別される。

この際、各区分化音声状況ファイルをマウスでダブルクリックする等の操作を行えば、ＣＰＵ１２１はこれを認識して、該当する区分化音声ファイルを録音サーバ１０１から読み出して再生する。再生音はスピーカ１２６から議事録作成者に放音される。議事録作成者はこの音声を聞くことにより、各区分化音声ファイルに対応する話者を聴覚的に把握することができる。これにより、会議中に各話者がどの方位にいたかをメモ等で記録しておかなくても、方位と話者とを一致させることができる。

また、各方位表示部２０４をマウスでダブルクリックすると、ＣＰＵ１２１はこれを認識して、選択された各方位表示部２０４（話者）に対応する区分化音声ファイルを録音サーバ１０１から読み出して再生する。これにより、会議全体をいちいち聞き直すことなく、必要な話者の発言のみを容易に抽出して聴き取ることができる。

装置（地点）表示部２０５には、図８（Ａ）に示すように、音声状況ファイルから得られた装置データ（装置１１１，１１２）が初期状態で表示される。議事録作成者がマウスを用いて装置表示部２０５を選択すると、装置表示部２０５は編集可能となる。そして、議事録作成者が、各装置の配置場所をキーボード等で入力すると、装置表示部２０５には、図８（Ｂ）に示すように場所名（「本社」、「大阪支社」）が表示される。ＣＰＵ１２１は、編集アプリが終了する際、この変更を有効にするかを確認し、有効にする選択がされれば、各装置データに対応する場所名を関連付けする。この場合、装置データを直接場所名データに置き換えて、録音サーバ１０１に記憶させても良い。これにより、どの地点間で会議が行われたかを容易に識別することができる。

内容表示部２０６には、図８（Ａ）に示すように初期状態では枠しか表示されない。議事録作成者がマウスを用いて内容表示部２０６を選択すると、内容表示部２０６は編集可能となる。そして、議事録作成者が議事内容をキーボード等で入力すると、内容表示部２０６には、図８（Ｂ）に示すように議事内容（「会議の趣旨確認」、「コスト見積もり」、「マーケティング」）が表示される。この際、各内容表示部２０６は、それぞれ異なる色やパターンで表示される。そして、いずれかの内容表示部２０６を選択した状態で、各区分化音声ファイルのバーグラフ２０３を選択すると、これらが関連付けされて、内容表示部２０６と同じ色、パターンで表示される。制御部１２１は、編集アプリが終了する際、この変更を有効にするかを確認し、有効にする選択がされれば、各内容表示部２０６に対応する議事内容を関連付けして記憶するとともに、さらに各区分化音声ファイルと議事内容とを関連付けして記憶する。なお、これらの情報は音声状況ファイルに付加されるものである。これにより、各区分化音声ファイルの内容を容易に識別することができる。

さらに、このように関連付けされた後、内容表示部２０６をマウスでダブルクリックすると、ＣＰＵ１２１はこれを認識して、選択された内容表示部２０６に関連付けされている区分化音声ファイルを録音サーバ１０１から読み出して再生する。これにより、会議全体をいちいち聞き直すことなく、必要な内容の部分のみを容易に抽出して聴き取ることができる。

以上のような構成および処理を用いることで、より分かりやすい議事録を簡単に形成することができる。また、会議の必要部のみを容易に聞き直すことができる。

なお、前述の説明では、録音サーバ１０１と、音声状況ファイルの表示、編集装置であり、音声ファイルの再生装置であるパソコン１０２とがネットワーク接続される場合を示したが、パソコン１０２が録音サーバ１０１を備えるような構成としてもよい。
図９はパソコンが録音サーバを兼用する場合のパソコンの主要構成を示すブロック図である。
図９に示すように、録音サーバを兼用したパソコンは、制御部（ＣＰＵ）１、音声状況データ生成部２、記録部３、ネットワークＩ／Ｆ４、表示部５、操作入力部６、スピーカ７を備える。音声状況データ生成部２は前述の図３に示した音声状況データ生成部２と同じである。記録部３は、録音サーバとして記録部（図３の記録部３）とパソコンのアプリのための記憶部（図７の記憶部１２２）とを兼ね備え、ネットワークＩ／Ｆ４は、録音サーバとしてのネットワークＩ／Ｆ（図３のネットワークＩ／Ｆ４）とパソコンとしてのネットワークＩ／Ｆ（図７のネットワークＩ／Ｆ１２５）とを兼ね備える。制御部１はパソコンの制御部（ＣＰＵ）であるとともに、録音サーバの制御部として機能する。表示部５操作入力部６、スピーカ７は、前述のパソコン１０２の表示部１２３、操作入力部１２４、スピーカ１２６と同じである。

このような構成とすることで、録音サーバ（音声ファイルの記録と音声状況ファイルの生成記録とを行う装置）、音声状況（会議発言状況）を可視化する装置、音声状況データの編集装置、音声ファイルの再生装置を一体形成することができる。なお、記録部はパソコンに内蔵される磁気記録装置であっても、外付けされる各種の記録装置であってもよい。

また、前述の説明では、録音サーバ１０１と音声会議装置１１１，１１２とを別体形成した例を示したが、ネットワーク１００に接続する音声会議装置のうち、少なくともいずれか１つの音声会議装置に内蔵させても良い。

図１０は録音サーバが内蔵された音声会議装置の構成を示すブロック図である。
図１０に示すように、録音サーバを音声会議装置に内蔵させる場合、図２に示した構成に対して、記憶部３０を追加する。

記憶部３０には、エコーキャンセル回路２０の収音ビーム音声信号ＭＢが入力されるとともに、入出力Ｉ／Ｆ１２からの入力音声信号が入力される。記憶部３０はこれらを音声ファイルとして記憶する。制御部１０は収音ビーム音声信号が記憶部３０に入力される場合、自身の装置データと収音ビーム選択部１９から得られる方位データと、収音時間データとを添付して記憶するとともに、音声状況データを生成して記憶部３０に記憶する。また、制御部１０は入力音声信号が記憶部３０に入力される場合、入出力Ｉ／Ｆ１２から受信元の装置データ、入力音声信号に添付された方位データ、収音時間データを取得して、記憶部３０の音声状況データを更新する。この際、まだ、音声状況データが生成、記憶されていなければ、音声状況データを生成、記憶する。

このような構成とすることで、録音サーバを別途設ける必要が無く、議事録作成システムをより簡素な構造で実現することができる。なお、記憶部を備える音声会議装置はネットワークに接続する１台のみである必要はなく、複数台に備えさせても良い。

また、音声会議装置に備えられる記憶部はあまり大きなものとすることができないので、音声会議装置に記憶部を備えさせるとともに、別途録音サーバを設けても良い。この場合、音声会議装置の記憶部で対応可能な時間までは、音声会議装置の記憶部で音声ファイルおよび音声状況データを記憶し続け、記憶部の容量が一杯となる時点で録音サーバに転送を行ってもよい。

また、前述の説明では、ネットワークに接続する複数の音声会議装置で多地点会議を行う場合を示したが、単一の音声会議装置のみを使う場合であっても同時に方位を検出して収音音声信号に関連付けすることで同様の作用・効果を得ることができる。

また、前述の説明では、議事録作成の場合を例に説明したが、他の多地点間の通信音声を記録装置（システム）に対しても同様の作用・効果を得ることができる。

本発明の実施形態の議事録作成システムの構成図である。 本実施形態の音声会議装置１１１，１１２の主要構成を示すブロック図である。 本実施形態の録音サーバ１０１の主要構成を示すブロック図である。 録音サーバ１０１の録音処理フローを示すフローチャートである。 録音サーバ１０１に記録された音声ファイルの概念図である。 議事録作成時の音声通信システムの構成図である。 図６に示すパソコン１０２の主要構成を示すブロック図である。 編集アプリ実行時にパソコン１０２の表示部１２３に表示される表示画像を示す図である。 パソコンが録音サーバを兼用する場合のパソコンの主要構成を示すブロック図である。 録音サーバが内蔵された音声会議装置の構成を示すブロック図である。

符号の説明

１００−ネットワーク、１０１−録音サーバ、１−制御部、２−音声状況データ生成部、３−記録部、３１−音声ファイル記録部、３２−音声状況データ記録部、４−ネットワークＩ／Ｆ、１１１，１１２−音声会議装置

Claims (8)

1. 音声データと当該音声データの話者を識別する話者識別データとを経時的に取得するデータ取得手段と、
   前記音声データの話者毎の時間分布を分析したデータである音声状況データを生成する音声状況データ生成手段と、
   前記音声データおよび前記音声状況データを記憶する記憶手段と、
   を備えたことを特徴とする音声状況データ生成装置。
2. 前記話者識別データは音声の到来方向を検出した方位データである請求項１に記載の音声状況データ生成装置。
3. 請求項１または請求項２に記載の音声状況データ生成装置と、
   前記音声状況データに基づいて前記音声データの時間分布を話者別で時系列にグラフ化して表示する表示手段と、
   を備えたことを特徴とする音声状況可視化装置。
4. 請求項３に記載の音声状況可視化装置と、
   前記音声状況データを編集する操作入力を受け付ける操作受付手段と、
   該操作受付手段により受け付けた編集内容を解析して、前記音声状況データを編集するデータ編集手段と、
   を備えたことと特徴とする音声状況データ編集装置。
5. 請求項４に記載の音声状況データ編集装置と、
   前記操作受付手段により選択された話者の音声データを全音声データ中から選択して再生する再生手段と、
   を備えたことを特徴とする音声データ再生装置。
6. 複数の放収音装置がネットワークを介して音声データを通信する音声通信システムであって、
   請求項１または請求項２に記載の音声状況データ生成装置、請求項３に記載の音声状況可視化装置、請求項４に記載の音声状況データ編集装置、請求項５に記載の音声データ再生装置のいずれかは、前記複数の放収音装置とは別体でネットワークに接続され、
   前記データ取得手段は、前記複数の放収音装置間で通信される音声データと話者識別データとを取得することを特徴とする音声通信システム。
7. 複数の放収音装置がネットワークを介して音声データを通信する音声通信システムであって、
   請求項１または請求項２に記載の音声状況データ生成装置、請求項３に記載の音声状況可視化装置、請求項４に記載の音声状況データ編集装置、請求項５に記載の音声データ再生装置のいずれかは、前記複数の放収音装置のいずれか１台に内蔵され、
   前記データ取得手段は、音声データ処理装置が内蔵される放収音装置で送受信される音声データと話者識別データとを取得することを特徴とする音声通信システム。
8. 前記放収音装置は、マイクアレイを備え、該マイクアレイの各マイクの収音音声信号に基づいて、それぞれに異なる方位に強い指向性を有する複数の収音ビーム信号を形成し、該複数の収音ビーム信号を比較して、最も信号強度の強い収音ビーム信号を選択するとともに、選択された収音ビーム信号に対応する方位を検出して、前記選択された収音ビーム信号を音声データとし、前記検出した方位を話者識別データとして出力する請求項６または請求項７に記載の音声通信システム。

Images