JP2008262046A - 会議可視化システム、会議可視化方法、及び集計処理サーバ - Google Patents
会議可視化システム、会議可視化方法、及び集計処理サーバ Download PDFInfo
- Publication number
- JP2008262046A JP2008262046A JP2007105004A JP2007105004A JP2008262046A JP 2008262046 A JP2008262046 A JP 2008262046A JP 2007105004 A JP2007105004 A JP 2007105004A JP 2007105004 A JP2007105004 A JP 2007105004A JP 2008262046 A JP2008262046 A JP 2008262046A
- Authority
- JP
- Japan
- Prior art keywords
- conference
- stream
- speech
- query
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 205
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000000694 effects Effects 0.000 claims abstract description 64
- 230000008569 process Effects 0.000 claims abstract description 36
- 238000012800 visualization Methods 0.000 claims description 33
- 230000002776 aggregation Effects 0.000 claims description 17
- 238000004220 aggregation Methods 0.000 claims description 17
- 238000007794 visualization technique Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 9
- 230000001186 cumulative effect Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 10
- 238000009499 grossing Methods 0.000 description 10
- 238000012937 correction Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 230000003993 interaction Effects 0.000 description 6
- 239000000047 product Substances 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000004083 survival effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000010248 power generation Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012351 Integrated analysis Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】
会議中の複数の参加者の音声を取得して,刻々と変わる参加者の会話状況をリアルタイムに表示することで,より積極的な議論を誘発するような会議可視化システムを提供する。
【解決手段】
複数の会議参加者に対応した複数の音声収集部から収集した音声データを音声処理サーバ40で処理し、発話情報を抽出する。この発話情報を集計処理サーバ200に順次入力する。処理サーバ200のストリームデータ処理部で、この発話情報に対して、クエリ処理を施すことにより会議参加者の会議における発言回数累積値などのアクティビティデータを生成する。表示処理部203は、このアクティビティデータに基づき、会議参加者の対話状況を円の大きさや線の太さなどを用いて可視化して表示する。
【選択図】図1
会議中の複数の参加者の音声を取得して,刻々と変わる参加者の会話状況をリアルタイムに表示することで,より積極的な議論を誘発するような会議可視化システムを提供する。
【解決手段】
複数の会議参加者に対応した複数の音声収集部から収集した音声データを音声処理サーバ40で処理し、発話情報を抽出する。この発話情報を集計処理サーバ200に順次入力する。処理サーバ200のストリームデータ処理部で、この発話情報に対して、クエリ処理を施すことにより会議参加者の会議における発言回数累積値などのアクティビティデータを生成する。表示処理部203は、このアクティビティデータに基づき、会議参加者の対話状況を円の大きさや線の太さなどを用いて可視化して表示する。
【選択図】図1
Description
本発明は、複数のメンバが集まる会議等において、音声データの収集および解析を行なうことによって、リアルタイムにメンバ間のインタラクション状況を表示するための会議可視化技術に関する。
知識労働者の生産性、創造性を向上させる手法が注目を集めている。新規のアイデアや知識(ナレッジ)を創出するためには、異分野の専門家が集まり、議論を重ねることが重要である。その中でも、個人の持つ知恵を組織の財産として共有・管理していくための方法としてナレッジマネジメントと呼ばれる方法論が注目されている。ナレッジマネジメントは、組織文化・風土の改革までを含めた考え方であり、情報技術による知識共有の支援ツールとしてナレッジマネジメント支援ツールと呼ばれるソフトウェアが開発・販売されている。現在販売されているナレッジマネジメント支援ツールの多くはオフィスで生産された文書を効率的に管理する機能が中心である。また、オフィス内の知識の多くがメンバ間のコミュニケーションの中に存在することに注目したものがある。特許文献1には、組織のメンバ間でなされる対話の状況を蓄積する技術が開示されている。更に、電子的なコミュニケーションの場を提供することで知識の表出化を促進するツールが開発されている。特許文献2には、電子的なインタラクションという観点において、電子メールの送受信数カウントの比較結果によってメンバ間の影響を表示する技術が開示されている。
新規のアイデアや知識(ナレッジ)を創出するためには、異分野の専門家が集まり、議論を重ねることが重要であり、有限の時間を有効に使った実りのある議論のプロセスが重要である。従来のナレッジマネジメントツールは、議論の過程に着目したものではなく、その結果に対しての情報共有に主眼をおいている。特許文献1では、参加者もしくは参加者以外のものが蓄積された対話状況を再現することが目的であり、対話のプロセス自体に注目したものではない。また、特許文献2では、メンバ間の影響度合いを計算しているが、電子メールの送受信数という単純な数値に基づいており、議論のプロセスにまで踏み込んだものではない。しかも、電子メールによるインタラクションは、一般的に深い議論を行なうには、適しておらず、例え、高精細なテレビ会議システムなど、電子的なインタラクション技術が成熟したとしても、フェイス・トゥ・フェイスでの議論を完全に置換するものにはなり得ない。オフィスでのナレッジ創出には電子的なメディアを介さないフェイス・トゥ・フェイスでの会話や会議が必須となっている。
本発明は、複数のメンバが集まる会議等において、アイデアやナレッジの創出を促進・誘発するための情報処理システムに関するものである。会議中の音声を取得して、発言者(発話者)および、その発言回数、対話シーケンス、会議の活性度を計算して、刻々と変わる会議の状況をリアルタイムに表示することで、参加者自身にフィードバックがかかり、より積極的な議論を誘発するする会議可視化システムの提供を目的とする。
上記目的を達成するため、本発明においては、会議における複数の会議参加者間の対話状況を可視化して表示する会議可視化システムであって、会議参加者に対応した複数の音声収集部と、音声収集部から収集した音声データを処理し、発話情報を抽出する音声処理部と、音声処理部で抽出された発話情報が順次入力され、この発話情報に対してクエリ処理を施すことにより会議参加者の会議におけるアクティビティデータを生成するストリーム処理部と、このアクティビティデータに基づき、前記会議参加者の対話状況を可視化して表示させる表示処理部とを有する
会議可視化システムを提供する。
会議可視化システムを提供する。
本発明においては、音声データに所定の処理を行ない、発言者およびその発言回数、対話回数を特定し、発言回数を円の大きさで、対話回数を線の太さで、リアルタイムに表示する。さらに、キーストローク情報から得られた議論内容、発言者毎の発言回数累積、活性度を同時に表示する。
本発明によれば、議論状況をリアルタイムに把握しながら、議論を行なうことにより、発言量が足りないメンバに対しては発言を促すようなフィードバックがかかる。もしくは、会議の調停者が、議論状況をリアルタイムに把握しつつ、より多く参加者からのアイデアを出してもらうようなコントロールを行なうことで、議論の活性化および有効なナレッジ創出が期待できる。
以下、本発明の一実施形態を添付図面に基づいて説明する。
図3に第一の実施例の会議可視化システムを利用した会議シーンの一例を示す。4人のメンバ(メンバA、メンバB、メンバC、メンバD)が会議を行なっている。会議卓に設置されたマイク(マイクA、マイクB、マイクC、マイクD)より各メンバの発話がセンシングされて、これらの発話データは音声処理サーバ40を経由したのち、集計処理サーバ200で所定の処理が行なわれ、最終的に、この会議の状況がモニタ画面300にリアルタイムに表示されている。参加メンバが可視化された会議状況から直接フィードバックを受けることで、各メンバが発言のモチベーションを高めたり、司会者がより多くのアイデアが集まるような会議進行を行なう、といった効果が期待される。なお、ここで音声処理サーバ40や集計処理サーバ200などのサーバは、通常のコンピュータシステムと同義であり、例えば、集計処理サーバ200は、処理部(CPU)、記憶部(半導体メモリや磁気記憶装置)、キーボードやマウスなどの入力部、ネットワークと接続される通信部などの入出力インタフェース部、更に必要ならCDやDVDなどのメディアの読取書込み部などが内部バスで接続されている構成を有する。この音声処理サーバ40と集計処理サーバ200は、一個のサーバ(コンピュータシステム)で構成して良いことはいうまでもない。
図1に第一の実施例の会議可視化システムの全体図を示す。会議可視化システムは、活動状況のセンシング、センシングデータの集計・解析処理、および、結果の表示、という大きく分けて3つの機能より構成される。以下、これらの順番に従ってシステムの詳細を説明する。会議卓30には、メンバの着座位置に応じて音声収集部であるセンサ(マイク)20が設置されており、メンバが会議にて発言を行なった場合には、これらセンサ20にて発言のセンシングを行なう。また、会議卓30には、パーソナルコンピュータ(PC)10が設置されている。このPC10は、キーストローク情報出力部として機能し、会議の記録係が会議録を記述する際のキーストロークデータを出力する。このキーストロークデータは、集計処理サーバ200の入出力インタフェース部を介して、サーバ200内に入力される。
図1の例においては、4つのセンサ(センサ20−0〜20−3)が設置されており、それぞれ、メンバA〜メンバDの発話音声を取得する。センサ20から取得された音声データは音声処理サーバ40に転送される。音声処理サーバ40においては、その内部に設置されたサウンドボード41にて音声データのサンプリング処理が行なわれ、その後、音声処理部42にて、音の特徴量データ(具体的には、音声エネルギーの大きさ等)が抽出される。通常この音声処理部42は、音声処理サーバ40内の図示されていない処理部(CPU)におけるプログラム処理として構成される。そして、音声処理サーバ40にて生成された特徴量データは、その入出力インタフェース部を介して、メンバの発話情報として集計処理サーバ200の入出力インタフェース部に転送される。転送される音声特徴量データ52は、時刻52T、センサID(識別子)52S、および、エネルギー52Eを含んでいる。また、発言者発言内容出力部であるPC10から取得されたキーストロークデータ51も、集計処理サーバ200に転送され、これは、時刻51T、発言者51N、および、発言内容51Wを含んでいる。
これらのセンシングデータは、集計処理サーバ200内のストリームデータ処理部100にて、会議の状況を可視化するためのデータである、アクティビティデータADに変換される。ストリームデータ処理100では、それぞれのデータソースに対応したWindow110を持っており、一定時間メモリに蓄えられている時系列のデータセットに対して、所定の数値演算処理を行なう。この演算処理は、リアルタイムクエリ処理120と呼ばれ、具体的なクエリの設定や、参加者とデータのIDとの対応付けは、それぞれ、クエリ登録インタフェース202、参加者登録インタフェース201を通して行なわれる。なお、上述のストリームデータ処理部100、参加者登録インタフェース201、クエリ登録インタフェース202は、先に説明した集計処理サーバ200の図示されない処理部(CPU)で実行されるプログラムとして構成される。
通常、ストリームデータ処理部100で生成されたアクティビティデータADは、集計処理サーバ200中の図示されない記憶部中のテーブルなどに記憶され、順次、表示処理部203の処理対象なる。本実施例では、具体的な、アクティビティデータADとして、4つのデータが生成される。
1つ目は、議論活性化度54であり、これは、時刻54Tと、その時刻での議論の活性化度54Aより構成される複数のリストである。議論活性化度54Aは、その議論に関しての発言量総和やメンバ参加数等をパラメータにして、計算される。例えば、単位時間当たりの、発言総回数と発言を行なった参加者総数によって決定される。同図1では、一分当たりの議論活性化度54を例示している。2つ目のアクティビティデータは、発言内容データ55であり、これは、時刻55Tと、その時刻に対応する発言者55Sと発言内容55C、および、重要性55Fより構成されている。実際には、PC10からのキーストロークデータ51に含まれる、時刻51T、発言者51N、および、発言内容51Wが、それぞれ、時刻55T、発言者55S、発言内容55Cにマッピングされる。3つ目のアクティビティデータは、発言回数データ56であり、これは、時刻56Tと、その時刻に対応する、発言者56Nと、発言者56Nに対応する発言累積(回数)56Cより構成されている。4つ目のアクティビティデータは、発言シーケンスデータ57であり、これは、時刻57Tと、その時刻に対応する、発言者の発話の順序関係である。具体的には、その時刻にて、発言者(前)57Bの発話の直後に、発言者(後)57Aが発話を行なった回数57Nを、あるウィンドウ時間内で求めたものである。
さて、ストリームデータ処理部100で生成されたアクティビティデータADに基づき、表示処理部203にて描画処理が行なわれる。即ち、アクティビティデータADは、次段の表示処理部203にて、描画処理の素材データとして使用される。この表示処理部203も集計処理サーバ200の処理部(CPU)で実行される描画処理プログラムとして提供される。例えば、Webベースでの表示を行なう場合には、表示処理部203でHTML(Hyper Text Makeup Language)画像の生成処理等が行なわれる。表示処理部203で生成された画像は、入出力インタフェース部を介して、モニタに出力され、モニタ画面300に示される画面構成で表示される。会議の様子は、モニタ画面300にて、活性度・発言表示310、発言累積320、および、発言シーケンス330の3つの要素として表示される。
以下、素材データであるアクティビティデータを用いて表示される3つの要素について説明する。活性度・発言表示310では、時間軸に沿って、リアルタイムにその会議の活性度311と発言313が表示される。活性度311は、アクティビティデータADの議論活性化度54の表示を行なったものであり、発言313はアクティビティデータAD発言内容データ55を表示したものである。また、会議の統計データなどに基づいて、活性度の指標312を表示することも可能である。発言累積320は、アクティビティデータADの発言回数データ56に基づいて、会議開始からの参加者毎の発言回数を累積として表示したものである。最後に、発言シーケンス330は、アクティビティデータADの発言回数データ56と発言シーケンスデータ57を使用して、参加者間の発話のやり取りを可視化したものである。
具体的には、この発言シーケンス330で図示されている参加者毎の円の大きさ(331A、331B、331C、および、331D)は、過去から現在までの一定期間(例えば5分間)においての発言回数を円の大きさとして表しており、円と円との間のリンクの太さは、参加者間での会話が多いか少ないか(会話のインタラクションの量)を可視化したものである。例えば、AとBとの間のリンク332は細く、AとDとの間のリンク333は太く描かれており、AとDとのインタラクションが多いことが示されている。本例では、Aの発言の後にDが発言した場合と、Dの発言の後にAが発言した場合とは区別されてはいないが、発言シーケンスデータ57を使用することによりこれらを区別するような表示方法も可能である。素材データ各々を用いて、これら活性度・発言表示310、発言累積320、および発言シーケンス330の各要素を適宜表示することは、通常の図形描画処理プログラムを、集計処理サーバ200の図示されない処理部(CPU)で実行することにより実現できることは言うまでもない。
図2は、図1で示した全体図における代表的な機能モジュールでの処理シーケンスを示したものである。まず音声収集部としてのセンサ(マイク)20では音声データが取得される(20A)。次に、サウンドボード41にて、音声のサンプリング処理が行なわれる(41A)。次に音声処理部42にて、発話情報としての特徴量の抽出(具体的にはエネルギーへの変換)が行なわれる(42A)。エネルギーは、例えば数ミリ秒の音波形の絶対値の2乗を全範囲に渡って積分したものである。なお後段にてより確度の高い音声処理を行なうために、ここで、音声/非音声の識別を行なうことも可能である(42B)。音声/非音声の識別方法として、時間におけるエネルギーの変化度合いによる識別があげられる。音声には音波形エネルギーの強弱とその変化パターンがあり、それらを用いることで音声と非音声の識別を行なう。上述の通り、特徴量抽出42A、更には音声/非音声判別42Bは、図示されない処理部(CPU)のプログラム処理として実行される。
次に、ストリームデータ処理部100にて、音源の選択(100A)、スムージング処理(100B)、アクティビティデータ生成(100C)が行なわれる。最後に、表示処理部203にて、アクティビティデータADに基づいた、画面データ生成(203A)が行なわれる。なお、これらの具体的構成は他の実施例とも共通する部分が多いので後述する。
図4は参加者の登録画面60を示したものである。会議卓30のそれぞれの座席に座るメンバとマイク(20)とを対応させるために、画面の座席位置(61A〜61F)の空欄に参加者の名前を入力して登録を行なう(62)。図4では、座席位置61A、61B、61C、61Dに、それぞれ、参加者の名前A、B、C、Dを登録している例を示している。なお、この登録画面60は、上述したPCの画面や、各自の座席位置に設置した手書き文字入力タブレットの入力画面等を用いれば良い。これらの登録作業は、これらの手段によって入力された名前データに基づき、集計処理サーバ200の参加者登録インタフェース201を使用して行なわれる。
以上説明した第一の実施例の会議可視化システムにより、発言者および、その発言回数、対話シーケンス、会議の活性度を計算して、刻々と変わる会議の状況をリアルタイムに表示することが可能となるため、参加者にフィードバックがかかって、より積極的で活性度の高い議論を誘発することができる。
第一の実施例では、マイク20から取得した音声データをベースに会議を可視化する方法を示した。第二の実施例においては、会議の参加メンバに無線センサノードと呼ばれるデバイスを与えることで、音声以外の情報も加味してより詳細に会議の状況を可視化する会議可視化システムを提供する。
まず、無線センサノードの構成について図11を用いて説明する。図11は、無線センサノード70の構成の一例を示すブロック図である。無線センサノード70は、メンバ自身の動きの測定(加速度を使用)、音声の測定(マイクロホンを使用)、着席位置の測定(赤外線の送受信を使用)を行なうセンサ74と、センサ74を制御するコントローラ73と、無線基地局76と通信を行なう無線処理部73と、これらの各ブロックに電力を供給する電源71、無線データの送受信を行なうアンテナ75より構成される。センサ74には具体的には、加速度センサ741、マイクロホン742、赤外線送受信器743が搭載されている。
コントローラ73は、予め設定された周期、もしくは不定期にセンサ74の測定データを読み込み、この測定データに予め設定したセンサノードのIDを加えて無線処理部72に転送する。測定データにはセンシングを行った時間情報をタイムスタンプとして与える場合もある。無線処理部72は、コントローラ73から送られたデータを基地局76(図12に示す)に送信する。電源71は、電池を使用する場合や、太陽電池や振動発電などの自律発電機構を具備する構成としても良い。
図12に示すように、この無線センサノード70を名札型に加工した名札型センサノード70Aをユーザが装着することにより、ユーザの状態(動き等)に関するセンシングデータを、リアルタイムに無線基地局76を経由して、集計処理サーバ200に送信することが可能となる。さらに、図12に示すように、会議卓の各座席位置に設置された赤外線送信器77からのID情報を、名札型センサノード70Aが赤外線送受信器743にて定期的に検出することで、着席位置の情報を自律的に集計処理サーバ200に送信することも可能となる。このように、本実施例においては、名札型センサノード70が、ユーザの着席位置を、自動的に集計処理サーバ200に送付すれば、登録画面60を使用した参加者登録処理(図4)を自動化することが可能となる。
さて次に、図5以下の図面を用いて、上述した会議可視化システムを実現するストリームデータ処理部100について詳述する。上述の各実施例におけるアクティビティデータ生成にはストリームデータ処理を用いる。このストリームデータ処理と呼ばれる技術自身は公知の技術であり、B.Babcock、S.Babu、M.Datar、R.Motwani and J.Widom、“Models and issues in data stream systems”、In Proc. of PODS 2002、 pp.1−16.(2002)、A.Arasu、S.Babu and J.Widom、“CQL: A Language for Continuous Queries over Streams and Relations”、In Proc. of DBPL 2003、 pp.1−19 (2003)、などの文献に開示されている。
図5は図1のストリームデータ処理部100の機能動作を説明するための図である。ストリームデータ処理は、絶え間なく到来するデータの流れを対象に、フィルタリング処理や集計処理などを、継続的に実行する技術である。個々のデータにはタイムスタンプが付与されており、データはタイムスタンプの昇順に並んで流れる。以下では、このようなデータの流れをストリームと呼び、個々のデータをストリームタプル、あるいは単にタプルと呼ぶ。ある一つのストリーム上を流れるタプルは、単一のデータ型に従う。このデータ型をスキーマと呼ぶ。スキーマとは任意個のカラムの組合せであり、各カラムは一つの基本型(整数型、実数型、文字列型など)と、一つの名前(カラム名)の組合せである。
ストリームデータ処理は、スキーマが定義されたストリーム上のタプルを対象に、リレーショナルデータベースの計算モデルである関係代数に準じて、射影、選択、結合、集計、和集合、差集合などの演算を実施する。但し、関係代数はデータの集合に対して定義されるので、絶え間なくデータ列が続く(即ち、無限に集合の要素が増え続ける)ストリームに対して関係代数を継続的に処理するには、処理対象となるタプルの集合を常に限定しながら実行する必要がある。
このために、ストリームデータ処理では、ある時刻において処理対象となるタプル集合を限定する、ウィンドウ演算が定義されている。このように、ストリーム上のタプルは、関係代数で処理される前に、まずウィンドウ演算によって、処理対象となる期間を定義される。以下では、この期間をタプルの生存期間と呼び、生存期間を定義されたタプルの集合をリレーションと呼ぶ。そして、このリレーションに対して関係代数が実施される。
ウィンドウ演算の例を、501〜503を用いて説明する。501はストリームを、502および503は、ストリーム501に対してウィンドウ演算を施した結果である、リレーションを示している。ウィンドウ演算は、生存期間の定義の仕方によって、時間ウィンドウと個数ウィンドウに分かれる。時間ウィンドウは、各タプルの生存期間を定数時間に定める。一方、個数ウィンドウは、同時に生存するタプルの個数を定数個に制限する。リレーション502および503は、ストリーム501を時間ウィンドウ(521)と個数ウィンドウ(522)で処理した結果を、それぞれ示している。
ストリームの図における各黒丸はストリームタプルを表す。ストリーム501には、1時2分3秒、4秒、7秒、8秒、10秒、および11秒に流れてくる、6つのストリームタプルが存在する。一方、リレーションの図における、黒丸を起点、白丸を終点とする各線分は、タプルの生存期間を表す。なお、丁度終点の時刻は生存期間に含まれない。リレーション502は、ストリーム501を、生存期間3秒の時間ウィンドウで処理した結果である。例として、1時2分3秒のタプルの生存期間は、1時2分3秒から1時2分6秒までとなる。但し1時2分6秒丁度は生存期間に含まれない。リレーション503は、ストリーム501を、同時生存数3個の個数ウィンドウで処理した結果である。例として、1時2分3秒のタプルの生存期間は、1時2分3秒から、その3個後に流れてくるタプルのタイムスタンプ1時2分8秒までとなる。但し1時2分8秒丁度は生存期間に含まれない。
リレーション上の関係代数は、入力のリレーションに対する演算結果として、次のような性質を持つ結果リレーションを出力する。まず、入力リレーションにおいて、ある時刻に生存するタプルの集合に対し、従来の関係代数を実施した結果を、該時刻における結果タプル集合と呼ぶ。このとき、任意の時刻において、該時刻における結果タプル集合が、結果リレーションにおいて該時刻に生存するタプルの集合と一致する。
リレーション上の関係代数の例を、504〜508を用いて説明する。この例は、リレーション504とリレーション505の間の差集合演算を示し、リレーション506、507、508は、その結果を示している。例えば、入力リレーション504と505において、1時2分8秒に生存するタプル集合は、それぞれ2個のタプルと1個のタプルから成る。従って、1時2分8秒の結果タプル集合(即ち、両タプル集合の差集合)は、2−1=1個のタプルから成るタプル集合である。このような関係が、1時2分7秒から1時2分9秒までの期間で成立する(但し、1時2分9秒丁度は含まず)。従って、結果リレーションにおいて、この期間に生存するタプルは1個となる。結果リレーションの例として、506、507、508は、全てこの性質を持つ。このように、一般に、リレーション上の関係代数の結果は、一意には定まらない。但し、ストリームデータ処理においては、その何れも、リレーション上の関係代数の対象として等価である。
以上のように、リレーション上の関係代数の結果は一意には定まらないため、そのままアプリケーションに渡すことは好ましくない。これに対し、ストリームデータ処理では、リレーションをアプリケーションに渡す前に、再びストリームに変換する演算が用意されている。これを、ストリーム化演算と呼ぶ。ストリーム化演算は、等価な結果リレーションの全てを同一のストリームに変換する。
ストリーム化演算によってリレーションから変換されたストリームを、さらにウィンドウ演算でリレーションに変換することも可能である。このように、ストリームデータ処理の中では、リレーション化とストリーム化を任意に組合せることが可能である。
ストリーム化演算は、IStream、DStream、RStreamの3種類に分かれる。IStreamは、リレーションにおいて、ある時刻に生存するタプル集合に、タプルの増加があった場合に、その増加分のタプルを、該時刻をタイムスタンプとするストリームタプルとして出力する。DStreamは、リレーションにおいて、ある時刻に生存するタプル集合に、タプルの減少があった場合に、その減少分のタプルを、該時刻をタイムスタンプとするストリームタプルとして出力する。RStreamは、一定時間間隔で、リレーションにおいてその時点で生存するタプル集合を、ストリームタプルとして出力する。
ストリーム化演算の例を、509〜511を用いて説明する。ストリーム509は、リレーション506〜508を、IStream(523)でストリーム化した結果である。例として、リレーション506では、1時2分3秒にタプルが0個から1個に、1時2分5秒に1個から2個に増える。このため、ストリーム509には1時2分3秒と1時2分5秒に、それぞれ増分1個のストリームタプルが出力される。この結果は、リレーション507に対して処理しても変らない。例えば、リレーション507においては、1時2分9秒に一つのタプルの生存期間が始まっているが、同時に、別のタプル(1時2分3秒から生存期間が始まるタプル)の生存期間が終わる。このとき、後者のタプルの生存期間に1時2分9秒丁度は含まれないため、1時2分9秒に生存するタプルは、丁度1個である。従って、1時2分9秒にはタプルの増減は無いことになり、リレーション506に対する結果と同じく、1時2分9秒のストリームタプルは出力されない。DStream(524)とRStream(525)についても同様に、リレーション506、507、508の何れを対象としても、ストリーム化した結果は、それぞれストリーム510およびストリーム511になる(但し、RStreamのストリーム化間隔は1秒)。このように、一意には定まらない結果リレーションを、ストリーム化演算によって、一意のストリームに変換することが可能である。なお、以降の図では、生存期間終了の白丸を省略する。
ストリームデータ処理では、データ処理の内容をCQL(Continuous Query Language)という宣言型言語で定義する。CQLの文法は、リレーショナルデータベースにおいて標準的に利用される、関係代数に基づくクエリ言語SQLに、ウィンドウ演算、およびストリーム化演算の記法を追加した形式をとる。CQL文法の詳細な定義は、http://infolab.stanford.edu/stream/code/cql−spec.txtに開示されている。ここでは、その概要を説明する。次の4行は、CQL文法に従うクエリの一例である。
REGISTER QUERY q AS
ISTREAM(
SELECT c1
FROM st[ROWS 3]
WHERE c2=5)
FROM句の“st”は、ストリームを表す識別子(以下、ストリーム識別子、あるいはストリーム名と呼ぶ)である。ストリーム名に続く“[“と”]”に囲まれた部分は、ウィンドウ演算を表す記法である。例中の記述“st[ROWS 3]”は、ストリームstを、同時生存数3個の個数ウィンドウによって、リレーションに変換することを示している。従って、この記述全体では、リレーションを出力する表現となる。なお、時間ウィンドウは“[RANGE 3 sec]”のように、“RANGE”以降に生存期間を示す記法となる。この他の記法として、“[NOW]”と、“[UNBOUNDED]”があり、それぞれ、非常に短い(但し、0ではない)生存期間と、永続を意味する。
ISTREAM(
SELECT c1
FROM st[ROWS 3]
WHERE c2=5)
FROM句の“st”は、ストリームを表す識別子(以下、ストリーム識別子、あるいはストリーム名と呼ぶ)である。ストリーム名に続く“[“と”]”に囲まれた部分は、ウィンドウ演算を表す記法である。例中の記述“st[ROWS 3]”は、ストリームstを、同時生存数3個の個数ウィンドウによって、リレーションに変換することを示している。従って、この記述全体では、リレーションを出力する表現となる。なお、時間ウィンドウは“[RANGE 3 sec]”のように、“RANGE”以降に生存期間を示す記法となる。この他の記法として、“[NOW]”と、“[UNBOUNDED]”があり、それぞれ、非常に短い(但し、0ではない)生存期間と、永続を意味する。
FROM句のリレーションを対象に、関係代数が実施される。例中の記述“WHERE c2=5”は、カラムc2が5であるタプルを選択することを示している。また、例中の記述“SELECT c1”は、選択されたタプルのc1カラムのみを残して、結果リレーションとすることを示している。つまり、これらの記述の意味はSQLと全く同じである。
さらに、SELECT句からWHERE句までの、リレーションを生成する表現全体を、“(“と”)”で囲い、その前にストリーム化指定(例中の記述“ISTREAM”)を置く記法は、該リレーションのストリーム化演算を示している。ストリーム化指定は、他に“DSTREAM”と“RSTREAM”があり、“RSTREAM”では、“[“、”]”で囲って、ストリーム化間隔を指定する。
この例のクエリは、以下のように分解して定義することも可能である。
REGISTER QUERY s AS
st[ROWS 3]
REGISTER QUERY r AS
SELECT c1
FROM s
WHERE c2=5
REGISTER QUERY q AS
ISTREAM(r)
ここで、ウィンドウ演算の前に置けるのはストリームを生成する表現、FROM句に登場できるのはリレーションを生成する表現、ストリーム化演算の引数はリレーションを生成する表現に、それぞれ限定される。
st[ROWS 3]
REGISTER QUERY r AS
SELECT c1
FROM s
WHERE c2=5
REGISTER QUERY q AS
ISTREAM(r)
ここで、ウィンドウ演算の前に置けるのはストリームを生成する表現、FROM句に登場できるのはリレーションを生成する表現、ストリーム化演算の引数はリレーションを生成する表現に、それぞれ限定される。
図5中のストリームデータ処理部100は、以上のようなストリームデータ処理を実現するためのソフトウェア構成を示す。ストリームデータ処理部100は、CQLで定義されたクエリが、クエリ登録インタフェース202に与えられると、クエリ解析部122でクエリを構文解析し、クエリ生成部121によって、木構造の実行形式(以下、実行木と呼ぶ)に展開する。該実行木は、各種演算を行なう演算子(ウィンドウ演算子110、関係代数演算子111、ストリーム化演算子112)をノードとし、オペレータ間を繋ぐタプルキュー(ストリームキュー113、リレーションキュー114)をエッジとして構成される。ストリームデータ処理部100は、該実行木上の各演算子の処理を、適当な順番で実行することで、処理を進める。
上述したストリームデータ処理技術に対応し、各実施例において、音声処理サーバ40から送られる発話情報であるストリーム52、参加者登録インタフェース201を介して登録されるストリーム53、58などの、ストリームデータ処理100の外部から送られるストリームタプルは、まず、ストリームキュー113に入る。これらタプルは、ウィンドウ演算子110によって生存期間を定義され、リレーションキュー114に入る。リレーションキュー114上のタプルは、関係代数演算子111によって、リレーションキュー114を介してパイプライン的に処理される。リレーションキュー114上のタプルは、ストリーム化演算子112によってストリーム化され、ストリームキュー113に入る。ストリームキュー113上のタプルは、ストリームデータ処理部100の外部へ送られるか、ウィンドウ演算子110で処理される。ウィンドウ演算子110からストリーム化演算子112までのパスには、リレーションキュー114で接続された任意個の関係代数演算子111が置かれる。一方、ストリーム化演算子112からウィンドウ演算子110へは、一つのストリームキュー113で直接つながる。
次に、図15を用いて、実施例の会議可視化システムにおけるストリームデータ処理部100による会議可視化データ処理の実現方法を具体的に開示する。
1500〜1521は、ストリーム、またはリレーションの、識別名、およびスキーマを表す。上側の太枠四角が識別名を、下側の四角の並びがスキーマを構成するカラム名を示している。710、720、730、810、820、830、840、850、910、920、930、940、1000、1010、1020、1310、1320、1330の角丸四角は、データ処理の基本処理単位を示している。基本処理単位のそれぞれを、CQL文法に従うクエリで実現する。クエリ定義、および動作の説明は、図7〜10、および図13を用いて後述する。発話情報である音声特徴量データストリーム1500は、音声処理サーバ40から、音量補正値ストリーム1501、および参加者ストリーム1502は、参加者登録インタフェース201から、身振り強度ストリーム1503、およびうなずきストリーム1504は、名札型センサノード70から、発言ログストリーム1505は、PC(キーストロークセンシング)10から、それぞれ送られてくる。これらを、音源選択100A、スムージング処理100B、およびアクティビティデータ生成100Cの、各プロセスで順に処理して、出力となるストリーム1517〜1521を生成する。1506〜1516は、中間データとなるストリーム、またはリレーションである。
音源選択100Aの処理は、基本処理単位710、720、730から構成される。各処理の実現形態については、図7を用いて後述する。スムージング処理100Bは、基本処理単位810、820、830、840、850から構成される。各処理の実現形態については、図8を用いて後述する。アクティビティデータ生成100Cの処理は、基本処理単位910、920、930、940、1000、1010、1020、1310、1320、1330から構成される。基本処理単位910〜940は、モニタ画面300の320に可視化される発言数1517、330に可視化される発言時間1518、および会話数1519を生成する。これら基本処理単位については、図9を用いて後述する。基本処理単位1000〜1020は、モニタ画面300の311に可視化される活性度1520を生成する。これら基本処理単位については、図10を用いて後述する。基本処理単位1310〜1330は、モニタ画面300の313に可視化される発言ログ1521を生成する。これら基本処理単位については、図13を用いて後述する。
次に、図6を用いて、入力ストリームのスキーマ登録について開示する。
コマンド600を、例えば、集積解析処理サーバ200の入力部からなどからクエリ登録インタフェース202を介して、ストリームデータ処理部100に投入することで、入力ストリーム1500〜1505を受け付ける6本のストリームキュー113が生成される。REGISTER STREAM の直後はストリーム名を、括弧内はスキーマを示している。スキーマの、“,”に区切られた個々の記述は、カラムの名称と型の組合せを示している。
601は、音声特徴量データストリーム1500(voice)に入るストリームタプルの例を示している。本例では、10ミリ秒毎に、4つのマイクから、センサID(idカラム)と音量(energyカラム)を組み合わせたストリームタプルが生成される様子を示している。
次に、図7を用いて、音源選択処理100Aの基本処理単位710、720、730の実現方法を開示する。
コマンド700を、クエリ登録インタフェース202を介して、ストリームデータ処理部100に投入することで、基本処理単位710、720、730を実現する実行木が生成される。コマンド700は、3つのクエリ登録書式710、720、730に分けられ、それぞれ、基本処理単位710、720、730の処理内容を定義する(以下同様に、基本処理単位と、その処理内容を定義するクエリの登録書式を、同義として扱い、同一の番号で示す。また、クエリ登録書式を、単にクエリと呼ぶ)。
クエリ710は、10ミリ秒ごとの各時刻において、最大の音量を記録するマイク20を選択する。まず好適には、各マイクの音量に、定数の補正値を加算する。会議卓に取り付けられた各マイクの感度は、会議卓の形状、材質、壁に対する位置関係、マイク自体の品質、など様々な要因により、バラつきを持つため、該加算処理により、マイクの感度を均等化する。マイク毎に異なる補正値は、音量補正値ストリーム1501(offset)として参加者登録インタフェース201より登録される。図1のストリーム58は、音量補正値ストリームの例である(センサIDカラム58S、および補正値カラム58Vが、それぞれ音量補正値ストリーム1501のidカラム、およびvalueカラムを示す)。音声データストリーム1500と、音量補正値ストリーム1501とを、idカラムに関する結合演算により結合し、ストリーム1500の音量カラム(energy)の値に、ストリーム1501の補正値カラム(value)の値を加算し、この値を改めてenergyカラムとする。該energyカラムと、idカラムとを組み合わせたタプルから成る、ストリームを、voice_rとする。ストリーム601とストリーム58に対する、このクエリの結果をストリーム601Rに示す。
該ストリームvoice_rから、集計演算“MAX(energy)”によって最大音量を算出し、その値と同じ音量のタプルを、energyカラムに関する結合演算により抽出する。ストリーム601Rに対するこのクエリの結果(voice_max_set)を、リレーション711に示す(クエリ710ではNOWウィンドウを用いており、リレーション711の各タプルの生存期間は非常に短いため、点で図示する。以下、NOWウィンドウによって定義されるタプルの生存期間は点で示す。なお、本クエリに関しては、NOWウィンドウの代わりに、10ミリ秒未満の時間ウィンドウを用いても構わない)。
同時刻に最大音量を記録するマイクが2つ以上存在する場合もある。これに対し、クエリ720は、クエリ710の結果から、センサIDが最小のマイクのデータのみを選択することで、マイクを一つに絞り込む。まず、集計演算“MIN(id)”によって最小IDを算出し、その値と同じIDのタプルを、idカラムに関する結合演算により抽出する。リレーション711に対するこのクエリの結果(voice_max)を、リレーション721に示す。
クエリ730は、クエリ720の結果から、閾値を超えるデータのみを音源として残す。また、センサIDを参加者データ53と付き合わせて、参加者名に変換する。まず、energyカラムに関して範囲選択(>1.0)をかけ、idカラムに関する結合演算とnameカラムの射影演算で、音源となる発話者名のストリームを生成する。リレーション721に対するこのクエリの結果(voice_over_threshold)を、ストリーム731に示す。以上で、音源選択100Aの処理が完了する。
次に、図8を用いて、スムージング処理100Bの基本処理単位810、820、830、840、850の実現方法を開示する。
コマンド800を、クエリ登録インタフェース202を介して、ストリームデータ処理部100に投入することで、基本処理単位810、820、830、840、850を実現する実行木が生成される。
クエリ810は、クエリ730で得られた音源データにおける、同一発言者の連続する音源断片について、間欠部分を補完し、平滑化された発言期間を抽出する。まず、ウィンドウ演算“[RANGE 20 msec]”によって、ストリーム731上の各タプルに20ミリ秒の生存期間を与え、“DISTINCT”(重複排除演算)によって、同一発言者のタプル重複を排除する。ストリーム731に対するこのクエリの結果(voice_fragment)を、リレーション811に示す。リレーション812は、該結果に至る中間状態であり、ストリーム731上の、nameカラムの値が“B”であるタプルについて、ウィンドウ演算で生存期間を定義した結果である。ストリーム731上では、9時2分5.03秒、5.05秒、および5.07秒において、nameカラムBのタプルが抜けているが、リレーション812では、20ミリ秒の生存期間によって補完される。一方、9時2分5.08秒と5.09秒のようにデータが連続する箇所では、生存期間の重複が発生するが、DISTINCTによって排除される。その結果、nameカラムBのタプルは、生存期間が9時2分5.02秒から5.11秒までの、一本のタプル813に平滑化される。nameカラムA、Dのタプルのように、散発的に現れるタプルについては、タプル814、815、816のように、20ミリ秒の生存期間が定義されたタプルが散在する結果となる。
クエリ820は、クエリ810の結果から、持続時間が非常に短い瞬間的な発言(期間)を、ノイズとして除去する。まず、リレーション811の各タプルについて、ストリーム化演算“ISTREAM”とウィンドウ演算“[RANGE 50 msec]”によって、タプルの開始時刻から50ミリ秒の生存期間を持つコピー(nameカラムの値が、元のタプルと同一のタプル)を生成し、差集合演算“EXCEPT”によって、リレーション811から差し引くことで、生存期間が50ミリ秒以下のタプルを除去する。リレーション811に対するこのクエリの結果(speech)を、リレーション821に示す。リレーション822は、該結果に至る中間状態であり、リレーション811上の各タプルについて、生存期間50ミリ秒のコピーを作成した結果である。リレーション811と822の差集合を取ると、タプル814、815、816は、タプル824、825、826によって完全に消去される。一方、タプル813については、タプル823の生存期間を差引かれて、9時2分5.07秒から9時2分5.11秒までの生存期間を持つタプル827が残る。このように、生存期間が50ミリ秒以下のタプルは全て除去され、それ以上の生存期間を持つタプルのみが、実際の発言データとして残る。
クエリ830、840、および850は、クエリ820の結果から、ストリーム化演算IStream、DStream、およびRStreamによって、それぞれ、発言の開始時刻、終了時刻、および発言中の時刻をタイムスタンプとする、ストリームタプルを生成する。リレーション821に対する、各クエリの結果(start_speech、stop_speech、およびon_speech)を、それぞれストリーム831、841、851に示す。以上で、スムージング処理100Bが完了する。
次に、図9を用いて、アクティビティデータ生成100C中の基本処理単位910、920、930、940の実現方法を開示する。コマンド900を、クエリ登録インタフェース202を介して、ストリームデータ処理100に投入することで、基本処理単位910、920、930、940を実現する実行木が生成される。
クエリ910は、クエリ830の結果から、会議中の累積発言回数をカウントする。まず、ウィンドウ演算“[ROWS 1]”によって、発言開始タプルが発生する度にnameカラムの値が切替るリレーションを生成する。但し、同一発言者の発言開始タプルが連続する場合には、リレーションは切替らない。このリレーションをストリーム化演算“ISTREAM”でストリーム化することで、発言者に変化があった際の、発言開始時刻を切り出す。さらに、該ストリームをウィンドウ演算“[UNBOUNDED]”で永続化し、nameカラムでグルーピングして、集計演算“COUNT”でカウントすることによって、発言者ごとの累積発話回数を算出する。
speechリレーション901に対するこのクエリの結果(speech_count)を、リレーション911に示す。ストリーム912は、リレーション901に対するクエリ830の結果(start_speech)である。リレーション913は、ストリーム912を[ROWS 1]のウィンドウ演算で処理した結果である。ストリーム914は、リレーション913をIStreamでストリーム化した結果である。このとき、タプル915の開始時刻に対して、ストリームタプル917が生成されるが、タプル915と916は、同一発言者“B”のリレーションであり、タプル915の終点とタプル916の始点は同一時刻(9時18分15秒)になるため、9時18分15秒のタプルは生成されない。ストリーム914を、nameでグルーピングして永続化してカウントした結果が、リレーション911となる。永続化したリレーションをカウントするので、ストリーム914にタプルが発生する度に、発言数が累積される。
クエリ920は、クエリ850の結果から、過去5分間における発言者ごとの発言時間を算出する。まず、on_speechストリームの各タプルに対し、ウィンドウ演算“[RANGE 5 min]”で、5分間の生存期間を定義し、nameカラムでグルーピングして、集計演算“COUNT”によってカウントする。この処理は、過去5分間において、on_speechストリーム上に存在したタプルの個数を数えることに相当する。なお、on_speechストリームタプルは、秒間100個のレートで生成されるため、SELECT句でこの個数を100で割って、秒単位の発言時間を算出する。
クエリ930は、クエリ830および840の結果から、ある発言の終了後3秒以内に、別の発言者の発言が開始されたケースを、二者間の会話として抽出する。まず、stop_speechストリームとstart_speechストリームの各タプルに対し、それぞれウィンドウ演算“[RANGE 3 sec]”と“[NOW]”で、生存期間を定義し、nameカラムに関する結合演算(一致しないことを条件とする)により、stop_speechタプル発生の3秒以内に、start_speechタプルが発生する組合せを抽出する。結果は、stop_speech.nameをpreカラムに、start_speech.nameをpostカラムに射影して出力する。speechリレーション901に対するこのクエリの結果(speech_sequence)を、ストリーム931に示す。ストリーム932は、リレーション901に対するクエリ840の結果(stop_speech)であり、リレーション933は、ストリーム932の各タプルに3秒間の生存期間を定義した中間状態である。また、ストリーム912をNOWウィンドウでリレーションに変換した結果は、912と同一の図になる。該リレーションと、リレーション933の結合演算の結果を、さらにIStreamでストリーム化した結果が、ストリーム931となる。
クエリ940は、クエリ930の結果から、会議中の累積会話回数を、二者の組合せ別にカウントする。まず、ウィンドウ演算“[UNBOUNDED]”で永続化し、“Group by pre,post”で、preカラムとpostカラムの組合せ別にグルーピングし、集計演算“COUNT”によってカウントする。永続化したリレーションをカウントするので、ストリーム931にタプルが発生する度に、会話数が累積される。
次に、図10を用いて、アクティビティデータ生成100C中の基本処理単位1000、1010、1020の実現方法を開示する。クエリ1000、1010、および1020を、クエリ登録インタフェース202を介して、ストリームデータ処理部100に投入することで、それぞれ、基本処理単位1000、1010、および1020を実現する実行木が生成される。これら3種のクエリは、全て会議の盛り上り度を算出する。但し、盛り上り度の定義は各クエリで異なる。
クエリ1000は、ストリーム1500(voice)の全マイクの音量値を、過去30秒間累積した値として、盛り上り度を算出する。本クエリは、ウィンドウ演算“[RANGE 30 sec]”と、集計演算“SUM(energy)”により、過去30秒間におけるストリーム1500上のタプルのenergyカラム値の和を計算する。また、ストリーム化演算“RSTREAM[3 sec]”によって、結果の出力を3秒間隔としている(以下、クエリ1010、1020についても同様)。以上、クエリ1000では、会議出席者の発言エネルギーの総和を、盛り上り度の指標としている。
クエリ1010は、過去30秒間における、発言者数と会話回数の積として、盛り上り度を算出する。この盛り上り度は先に説明した単位時間当たりの発言総回数と発言者総数の積から算出する議論活性化度54の一具体例となる。クエリ1011は、ストリーム1514(speech_sequence)の、過去30秒間のタプルをカウントする。該クエリの結果のリレーション名をrecent_sequences_countとする。クエリ1012は、ストリーム1511(start_speech)の、過去30秒間のタプルをカウントする。該クエリの結果のリレーション名をrecent_speakers_countとする。クエリ1013は、両者の積を算出する。recent_sequences_countとrecent_speakers_countのどちらのリレーションにおいても、自然数の値を持つcntカラムのみから成るタプルが、常に丁度一つ生存することになる。従って、両者の積を取った結果も、常に丁度一つのタプルが生存するリレーションとなる。
但し、この積を単純に“recent_sequences_count.cnt * recent_speakers_count.cnt”で計算すると、一人の発言者が長時間話している期間では、会話数が0になるので、結果も0となってしまう。これを回避するため、“recent_sequences_count.cnt”の代わりに、“(recent_sequences_count.cnt +1/(1+recent_sequences_count.cnt))”を利用する。“+”以降の、“+1/(1+recent_sequences_count.cnt)”の部分は、整数の商であるため、recent_sequences_count.cntが0の場合に+1、0より大きい場合に+0となる。その結果、誰も発言者が居ない沈黙の期間は盛り上り度が0、一人の発言者が長時間話している期間は1、二人以上の発言者がいる期間は発言者数と会話数の積となる。以上、クエリ1010では、会議出席者の中で議論に参加している人数が多いこと、および、意見の交換が頻繁であることを、盛り上がり度の指標としている。
クエリ1020は、発言者の身振りの強度として、盛り上り度を算出する。クエリ1021は、身振りの瞬間強度を表すストリーム1503(motion)をNOWウィンドウで処理した結果のリレーションと、発言者の発言期間を表すリレーション1510(speech)とを、nameカラムに関する結合演算にかけることで、発言中の出席者について身振り強度を抽出する。クエリ1022は、過去30秒間における、発言者の身振り強度を累積する。以上、クエリ1020では、発言者の身振りの強弱が、議論の白熱度を反映すると仮定し、盛り上り度の指標としている。
ここで示した盛り上り度の定義は一例であり、会議の盛り上り度の数値化は、確立した定義のない、人間の主観に関わるデータであるため、試行を繰返し的確な定義を探索する必要がある。新しい定義を試行する度に、算出ロジックを、C、C#、Java(登録商標)などの手続き型言語でコーディングするのでは、開発工数が甚大である。特に、クエリ1010のような、発言間の順序関係に基づいた指標を算出するロジックは、コードが複雑化し、デバグも困難となる。これに対し、議論活性化度などを例示して説明した本実施例のように、ストリームデータ処理を利用することで、簡潔な宣言型クエリによる定義が可能となるため、このような工数を大幅に軽減する。
次に、図13を用いて、アクティビティデータ生成100C中の基本処理単位1310、1320、1330の実現方法を開示する。
コマンド1300を、クエリ登録インタフェース202を介して、ストリームデータ処理100に投入することで、基本処理単位1310、1320、1330を実現する実行木が生成される。
多くの出席者から賛同を得た発言は、会議中の重要発言であると捉える。このような発言を抽出するために、クエリ1310は、リレーション1510(speech)と、うなずき状態を表すストリーム1504(nod)から、発言者の意見が多数の出席者に賛同されている(=うなずかれている)状態を抽出する。うなずき状態の検出は、名札型センサノード70が備える加速度センサ741で計測する加速度値より、パターン認識技術を利用して、実現することが可能である。本実施例では、1秒間隔で、その時刻において出席者がうなずき動作中である場合に、該出席者名をnameカラムに示すタプルが発生する、と仮定する。まず、ストリーム1504上の各タプルに対し、ウィンドウ演算“[RANGE 1 sec]”によって1秒の生存期間を定義することで、出席者ごとのうなずき期間を表すリレーションが得られる(例:リレーション1302)。
該リレーションと、発言期間を表すリレーション1510(例:リレーション1301)を、nameカラムに関する結合演算(一致しないことを条件とする)にかけることで、発言者以外の出席者がうなずいている期間を、タプルの生存期間とするリレーション(例:リレーション1312)が得られる。該リレーションにおいて、生存タプルが2個以上ある(=2人以上の出席者が、うなずきながら聞いている)期間を、HAVING句によって抽出する。このとき、射影演算によって、発言者の名前(speech.nameカラム)と、定数文字列’yes’の値を持つflagカラムから成るタプルを出力する(例:リレーション1313)。この結果をIStreamでストリーム化し、クエリ1310の結果を得る(例:ストリーム1311)。ストリーム1311は、発言者Bの発言が、他の出席者CとDの二人にうなずかれたタイミングで、タプルが発生する様子を示している。
クエリ1310によって、重要発言の発生を抽出する一方、発言の内容は、ストリーム1505(statement)としてPC10から入力される。発言内容は議事録係のキーストロークから抽出されるため、音声解析と加速度解析から自動抽出した重要発言の発生タイミングに対し、数十秒遅れて入力されることになる。これに対し、クエリ1320、およびクエリ1330は、ある発言者の重要発言が検出された後、最初に入力された該発言者の発言内容に、重要発言のフラグを立てる処理である。
クエリ1320は、発言者ごとに、発言重要度を表すフラグを保持するトグルスイッチの役目を果たす。該クエリの結果リレーションacceptance_toggleは、次にストリーム1505(statement)から入力される発言内容が、重要発言となるか否かを、発言者ごとに表している(例:リレーション1321)。nameカラムは発言者名を示し、flagカラムは、’yes’/’no’によって重要性を示している。クエリ1330は、ストリーム1505をNOWウィンドウでリレーション化した結果と、クエリ1320の結果リレーションを、nameカラムに関する結合演算で処理し、発言内容に重要性の指標を付加して出力する(例:ストリーム1331)。
クエリ1320では、まず、ストリーム1505から発言内容の入力があった際に、その発言者に関する重要度のフラグを’no’にクリアするタプルを生成する。但し、該タプルのタイムスタンプは、元となる発言内容タプルのタイムスタンプから、若干時刻を遅らせる。この処理を、“DSTREAM(statament[RANGE 1 msec])”の記述によって定義している。例として、statementストリーム1303上のストリームタプル1304が入力されると、そこから1 msec分タイムスタンプのずれたストリームタプル1324が、中間状態ストリーム1322上に発生する。このような’no’タプルのストリームと、クエリ1310の結果を、和集合演算“UNION ALL”でマージする。例として、該ストリーム1322と、ストリーム1311のマージ結果が、ストリーム1323となる。このストリームを、ウィンドウ演算“PARTITION BY name ROWS 1]”でリレーション化する。このウィンドウ演算は、nameカラムの値に基づいて分けた各グループを、同時生存数1個の個数ウィンドウでリレーション化する。これにより、各発言者別に、重要度’yes’か’no’どちらか一方のフラグが立つことになる。例として、ストリーム1323をリレーション化した結果が、リレーション1321となる。ここで、’no’タプルのタイムスタンプを若干ずらす理由は、クエリ1330において、’no’タプルと、その元となるstatementタプル自身が、結合するのを避けるためである。以上で、アクティビティデータ生成100Cの処理が完了する。
続いて、アクティビティデータ生成100Cによって得られたアクティビティデータに基づいて、表示処理部203、即ち集計処理サーバ200の処理部(CPU)で実行される描画処理プログラムによって得られる画面イメージを図16、17を用いて説明する。
図16は、発言者の動きに基づいたアクティビティデータ1520を、動きの活性度311Mとして、活性度・発言表示310Aに反映した画面イメージである。本画面により、会議内での活動について、単なる音声だけではなくメンバの行動面を併せて可視化することができる。
また、図17は、うなずきによる発言の重要度を示すアクティビティデータ1521を、重要発言指標311aとして、活性度・発言表示310Bに反映した画面イメージである。メンバの発言313と重要発言指標311aとをリンクさせて表示することにより、どの発言が参加メンバの納得感を得たものなのかを可視化することができる。このように、本画面により、単なる音声だけではなく、メンバの納得度を併せて会議状況を可視化することができる。
さて図14は、図2で示した機能モジュールでの処理シーケンスの別の実施例を示したものである。本実施例における処理シーケンスでは、音声処理部42において、特徴量データを取得した後、音声処理サーバ40において、音声/非音声判別処理、スムージング処理、及び音源選択処理を実行する。好適には、これらの処理も、音声処理サーバ40の図示されない処理部(CPU)のプログラム処理として実行される。
図14において、図2同様、センサ(マイク)20では音声データが取得される(20A)。次に、サウンドボード41にて、音声のサンプリング処理が行なわれる(41A)。次に音声処理部42にて、特徴量の抽出(エネルギーへの変換)が行なわれる(42A)。エネルギーは数ミリ秒の音波形の絶対値の2乗を全範囲に渡って積分したものである。
本実施例においては、音声処理サーバ40の音声処理42として、特徴量抽出(42A)から取得した特徴量データをもとに、音声/非音声の識別を行なう(42B)。音声/非音声の識別方法として、数秒時間におけるエネルギーの変化度合いによる識別があげられる。音声には特有の音波形エネルギーの強弱とその変化パターンがあり、それらを用いることで音声と非音声の識別を行なう。
また、数秒単位の音声/非音声識別結果をそのまま用いると、数10秒からなる意味のかたまりとしての1発話単位の区間を求めることが難しい。そこで、スムージング処理(42C)を導入することにより、1発話単位の区間を求め,これを音源選択に使用する。
上述の部分は音声処理42で、センサ(マイク)20毎に行なう処理であり、最終的にどのセンサ(マイク)20から音声が入力されたかを判断する必要がある。そこで本実施例においては、音声処理42において、スムージング処理(42C)に引続き音源選択42Dを行ない、センサ(マイク)20の中から実際に発話されたセンサ(マイク)20を選択する。一番近くのセンサ(マイク)20に届く音声は、その他のセンサ(マイク)20より音声と判断される区間が長い。よって、本実施例においては、それぞれのセンサ(マイク)20のスムージング処理42Cの結果から一番長かったセンサ(マイク)20を音源選択42Dの出力とした。次に、ストリームデータ処理部100にて、アクティビティデータ生成(100C)が行なわれ、最後に、表示処理部203にて、アクティビティデータADに基づいた、画面データ生成(203A)が行なわれることは先に説明した通りである。
10…PC、20…センサ(マイク)、30…会議卓、40…音声処理サーバ、100…ストリームデータ処理部、200…集計処理サーバ、300…モニタ画面、310…会議活性度・発言内容表示、320…発言累積表示、330…発言シーケンス表示。
Claims (20)
- 会議における複数の会議参加者間の対話状況を可視化して表示する会議可視化システムであって、
前記会議参加者に対応した複数の音声収集部と、
前記音声収集部から収集した音声データを処理し、発話情報を抽出する音声処理部と、
前記音声処理部で抽出された前記発話情報が順次入力され、前記発話情報に対して、クエリ処理を施すことにより前記会議参加者の会議におけるアクティビティデータを生成するストリーム処理部と、
前記ストリーム処理部で生成された前記アクティビティデータに基づき、前記会議参加者の対話状況を可視化して表示させる表示処理部とを有する
会議可視化システム。 - 請求項1記載の会議可視化システムであって、
前記アクティビティデータは、前記会議参加者毎の発言累積回数と、前記会議参加者間の対話回数とを含む
会議可視化システム。 - 請求項1記載の会議可視化システムであって、
複数の前記会議参加者中の発言者と発言内容をキーストローク情報として入力するキーストローク情報入力部を更に有し、
前記ストリーム処理部は、前記キーストローク情報に対してクエリ処理を施すことにより、前記アクティビティデータとして前記会議参加者の前記発言内容を抽出する
会議可視化システム。 - 請求項1記載の会議可視化システムであって、
前記発話情報は前記音声データから抽出した音声エネルギーである
会議可視化システム。 - 請求項4記載の会議可視化システムであって、
前記ストリーム処理部は、前記音声エネルギーの最大値を出力する前記音声収集部に対応する前記会議参加者を発言者と判断する
会議可視化システム。 - 請求項1記載の会議可視化システムであって、
前記ストリーム処理部は、前記音声収集部と前記会議参加者の対応付けを行なうための参加者登録インタフェースを有する
会議可視化システム。 - 請求項6記載の会議可視化システムであって、
前記会議参加者の着席位置を示すID(識別子)を検出する検出器を有し、
前記ストリーム処理部の前記参加者登録インタフェースは、前記検出器からの前記IDに基づき、前記音声収集部と前記会議参加者の対応付けを行なう
会議可視化システム。 - 会議における複数の会議参加者に対応する複数のマイクからの音声データを音声処理、並びに集計処理し、前記会議参加者間の対話状況を表示させるサーバにおける会議可視化方法であって、
前記会議参加者に対応した複数の前記マイクから収集した前記音声データを音声処理し、発話情報のストリームデータを抽出する工程と、
前記発話情報のストリームデータに対して、クエリ処理を施すことにより前記会議参加者の会議におけるアクティビティデータを生成する工程と、
前記アクティビティデータに基づき、前記会議参加者間の対話状況を表示させる工程とからなる
会議可視化方法。 - 請求項8記載の会議可視化方法であって、
前記発話情報は前記音声データから抽出した音声エネルギーである
会議可視化方法。 - 請求項8記載の会議可視化方法であって、
複数の前記会議参加者中の発言者と発言内容をキーストローク情報として受信する工程と、
前記キーストローク情報に対してクエリ処理を施すことにより、前記アクティビティデータとして前記会議参加者の前記発言内容を生成する
会議可視化方法。 - 請求項8記載の会議可視化方法であって、
前記アクティビティデータは、前記会議参加者毎の発言累積と、前記会議参加者間の対話回数とを含む
会議可視化方法。 - 請求項8記載の会議可視化方法であって、
前記アクティビティデータは、単位時間当たりの、前記会議参加者の発言総回数と、発言を行なった前記会議参加者総数で決定される議論活性化度を含む
会議可視化方法。 - 請求項9記載の会議可視化方法であって、
前記マイクと前記会議参加者の対応付けを行なう工程を更に有する
会議可視化方法。 - 請求項13記載の会議可視化方法であって、
前記アクティビティデータ生成工程において、複数の前記マイクに対応する前記音声エネルギーの最大値を出力する前記マイクに対応する前記会議参加者を発言者と判断する
会議可視化方法。 - 会議可視化システムにおける集計処理サーバであって、
会議における複数の会議参加者の音声データを処理して抽出されたストリームデータである発話情報に対してクエリ処理を施すことにより前記会議参加者の会議におけるアクティビティデータを算出するストリーム処理部と、
前記ストリーム処理部から入力される前記アクティビティデータを可視化して表示させる表示処理部とを有する
集計処理サーバ。 - 請求項15記載の集計処理サーバであって、
前記ストリーム処理部は、発言者と発言内容についてのキーストローク情報に対してクエリ処理を施すことにより、前記アクティビティデータとして前記会議参加者の発言内容を抽出する
集計処理サーバ。 - 請求項15記載の集計処理サーバであって、
前記ストリーム処理部は、前記発話情報に対する前記クエリ処理として、
所定の時刻における複数の前記会議参加者に対応する前記発話情報の最大値を検出するクエリと、
検出された前記発話情報の最大値に対応する前記会議参加者を発話者として特定し、前記発話者のストリームを生成するクエリとを実行する
集計処理サーバ。 - 請求項17記載の集計処理サーバであって、
前記ストリーム処理部は、前記発話情報に対する前記クエリ処理として、前記発話者のストリームを生成するクエリを実行するに際し、
検出された前記発話情報の最大値が所定の閾値を越える場合にのみ、前記発話者を特定する
集計処理サーバ。 - 請求項17記載の集計処理サーバであって、
前記ストリーム処理部は、
生成された前記発話者のストリームにおける、連続する同一の前記発話者の間欠部分を補完して平滑化された発言期間を抽出する
集計処理サーバ。 - 請求項19記載の集計処理サーバであって、
前記ストリーム処理部は、
生成された前記発話者のストリームから、前記平滑化された発言期間を抽出するに際し、瞬間的な発言期間を削除する
集計処理サーバ。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007105004A JP2008262046A (ja) | 2007-04-12 | 2007-04-12 | 会議可視化システム、会議可視化方法、及び集計処理サーバ |
US12/078,520 US8290776B2 (en) | 2007-04-12 | 2008-04-01 | Meeting visualization system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007105004A JP2008262046A (ja) | 2007-04-12 | 2007-04-12 | 会議可視化システム、会議可視化方法、及び集計処理サーバ |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012230381A Division JP5433760B2 (ja) | 2012-10-18 | 2012-10-18 | 会議分析システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008262046A true JP2008262046A (ja) | 2008-10-30 |
Family
ID=39854539
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007105004A Pending JP2008262046A (ja) | 2007-04-12 | 2007-04-12 | 会議可視化システム、会議可視化方法、及び集計処理サーバ |
Country Status (2)
Country | Link |
---|---|
US (1) | US8290776B2 (ja) |
JP (1) | JP2008262046A (ja) |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010134599A (ja) * | 2008-12-03 | 2010-06-17 | Hitachi Ltd | ストリームデータ処理制御方法、ストリームデータ処理装置及びストリームデータ処理制御プログラム |
WO2010134242A1 (ja) * | 2009-05-22 | 2010-11-25 | 株式会社日立製作所 | ストリームデータ処理において逆再生を行うデータ処理システム |
JP2013072978A (ja) * | 2011-09-27 | 2013-04-22 | Fuji Xerox Co Ltd | 音声解析装置および音声解析システム |
JP2013105374A (ja) * | 2011-11-15 | 2013-05-30 | Konica Minolta Holdings Inc | 議事録作成支援装置、議事録作成支援システム、および、議事録作成用プログラム |
WO2014038014A1 (ja) * | 2012-09-05 | 2014-03-13 | 株式会社日立製作所 | 対面データ生成装置及び対面データの生成方法 |
JP2015028625A (ja) * | 2013-06-28 | 2015-02-12 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
JP2015072635A (ja) * | 2013-10-03 | 2015-04-16 | 富士ゼロックス株式会社 | 音声解析装置、表示装置、音声解析システムおよびプログラム |
JP2016158003A (ja) * | 2015-02-23 | 2016-09-01 | カシオ計算機株式会社 | コミュニケーション制御装置、コミュニケーション制御方法及びプログラム |
JPWO2014097748A1 (ja) * | 2012-12-18 | 2017-01-12 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 特定の話者の音声を加工するための方法、並びに、その電子装置システム及び電子装置用プログラム |
JP2017215931A (ja) * | 2016-02-02 | 2017-12-07 | 株式会社リコー | 会議支援システム、会議支援装置、会議支援方法及びプログラム |
WO2018174088A1 (ja) * | 2017-03-21 | 2018-09-27 | 国立大学法人東京工業大学 | コミュニケーション解析装置およびそれに使用される測定・フィードバック装置、インタラクション装置 |
JP2019061557A (ja) * | 2017-09-27 | 2019-04-18 | 富士ゼロックス株式会社 | 情報処理装置、情報処理システム及びプログラム |
WO2019142233A1 (ja) * | 2018-01-16 | 2019-07-25 | ハイラブル株式会社 | 音声分析装置、音声分析方法、音声分析プログラム及び音声分析システム |
US10531045B2 (en) | 2018-04-12 | 2020-01-07 | Fujitsu Limited | Recording medium on which user assistance program is recorded, information processing device, and user assistance method |
JP2020035030A (ja) * | 2018-08-28 | 2020-03-05 | 株式会社 日立産業制御ソリューションズ | 会議評価装置、会議評価方法及び会議評価プログラム |
WO2020116531A1 (ja) * | 2018-12-05 | 2020-06-11 | 株式会社 東芝 | 会話分析システム、方法及びプログラム |
JP2021086385A (ja) * | 2019-11-27 | 2021-06-03 | 株式会社リコー | サーバ装置、情報処理方法および情報処理システム |
EP3876230A1 (en) | 2020-03-06 | 2021-09-08 | Hitachi, Ltd. | Utterance support apparatus, utterance support method, and utterance support program |
JP2022130635A (ja) * | 2016-02-02 | 2022-09-06 | 株式会社リコー | 会議支援システム、会議支援装置、会議支援方法及びプログラム |
JP2022174241A (ja) * | 2021-11-08 | 2022-11-22 | ハイラブル株式会社 | 音声分析装置、音声分析方法、音声分析プログラム及び音声分析システム |
WO2022244366A1 (ja) * | 2021-05-17 | 2022-11-24 | 株式会社シンギュレイト | 情報処理装置、情報処理方法、およびプログラム |
WO2024116395A1 (ja) * | 2022-12-01 | 2024-06-06 | 日本電信電話株式会社 | 対話構造比較装置、対話構造比較方法及びプログラム |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8589436B2 (en) | 2008-08-29 | 2013-11-19 | Oracle International Corporation | Techniques for performing regular expression-based pattern matching in data streams |
JP5337447B2 (ja) * | 2008-10-28 | 2013-11-06 | 株式会社日立製作所 | ストリームデータ処理方法、及びシステム |
US9377991B1 (en) | 2009-02-13 | 2016-06-28 | Northwest Analytics, Inc. | System for applying privacy settings in connection with creating, storing, distributing, and editing mixed-media collections |
US8935293B2 (en) | 2009-03-02 | 2015-01-13 | Oracle International Corporation | Framework for dynamically generating tuple and page classes |
US8527458B2 (en) | 2009-08-03 | 2013-09-03 | Oracle International Corporation | Logging framework for a data stream processing server |
US8131801B2 (en) * | 2009-12-08 | 2012-03-06 | International Business Machines Corporation | Automated social networking based upon meeting introductions |
US8959106B2 (en) | 2009-12-28 | 2015-02-17 | Oracle International Corporation | Class loading using java data cartridges |
US9305057B2 (en) | 2009-12-28 | 2016-04-05 | Oracle International Corporation | Extensible indexing framework using data cartridges |
US9430494B2 (en) | 2009-12-28 | 2016-08-30 | Oracle International Corporation | Spatial data cartridge for event processing systems |
US8484243B2 (en) * | 2010-05-05 | 2013-07-09 | Cisco Technology, Inc. | Order-independent stream query processing |
US8786597B2 (en) * | 2010-06-30 | 2014-07-22 | International Business Machines Corporation | Management of a history of a meeting |
US8713049B2 (en) | 2010-09-17 | 2014-04-29 | Oracle International Corporation | Support for a parameterized query/view in complex event processing |
US9189280B2 (en) | 2010-11-18 | 2015-11-17 | Oracle International Corporation | Tracking large numbers of moving objects in an event processing system |
US8990416B2 (en) * | 2011-05-06 | 2015-03-24 | Oracle International Corporation | Support for a new insert stream (ISTREAM) operation in complex event processing (CEP) |
US9329975B2 (en) * | 2011-07-07 | 2016-05-03 | Oracle International Corporation | Continuous query language (CQL) debugger in complex event processing (CEP) |
US9710940B2 (en) * | 2011-11-06 | 2017-07-18 | Sharp Laboratories Of America, Inc. | Methods, systems and apparatus for summarizing a meeting |
US9959548B2 (en) * | 2012-08-31 | 2018-05-01 | Sprinklr, Inc. | Method and system for generating social signal vocabularies |
US9805095B2 (en) | 2012-09-28 | 2017-10-31 | Oracle International Corporation | State initialization for continuous queries over archived views |
US9563663B2 (en) | 2012-09-28 | 2017-02-07 | Oracle International Corporation | Fast path evaluation of Boolean predicates |
US10956422B2 (en) | 2012-12-05 | 2021-03-23 | Oracle International Corporation | Integrating event processing with map-reduce |
US10298444B2 (en) | 2013-01-15 | 2019-05-21 | Oracle International Corporation | Variable duration windows on continuous data streams |
US9098587B2 (en) | 2013-01-15 | 2015-08-04 | Oracle International Corporation | Variable duration non-event pattern matching |
US9390135B2 (en) | 2013-02-19 | 2016-07-12 | Oracle International Corporation | Executing continuous event processing (CEP) queries in parallel |
US9047249B2 (en) | 2013-02-19 | 2015-06-02 | Oracle International Corporation | Handling faults in a continuous event processing (CEP) system |
US9418113B2 (en) | 2013-05-30 | 2016-08-16 | Oracle International Corporation | Value based windows on relations in continuous data streams |
US9934279B2 (en) | 2013-12-05 | 2018-04-03 | Oracle International Corporation | Pattern matching across multiple input data streams |
WO2015189723A1 (en) | 2014-06-10 | 2015-12-17 | Koninklijke Philips N.V. | Supporting patient-centeredness in telehealth communications |
US9244978B2 (en) | 2014-06-11 | 2016-01-26 | Oracle International Corporation | Custom partitioning of a data stream |
US9712645B2 (en) | 2014-06-26 | 2017-07-18 | Oracle International Corporation | Embedded event processing |
US10120907B2 (en) | 2014-09-24 | 2018-11-06 | Oracle International Corporation | Scaling event processing using distributed flows and map-reduce operations |
US9886486B2 (en) | 2014-09-24 | 2018-02-06 | Oracle International Corporation | Enriching events with dynamically typed big data for event processing |
US10296861B2 (en) * | 2014-10-31 | 2019-05-21 | Microsoft Technology Licensing, Llc | Identifying the effectiveness of a meeting from a meetings graph |
US9535905B2 (en) * | 2014-12-12 | 2017-01-03 | International Business Machines Corporation | Statistical process control and analytics for translation supply chain operational management |
WO2016157642A1 (ja) * | 2015-03-27 | 2016-10-06 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
WO2017018901A1 (en) | 2015-07-24 | 2017-02-02 | Oracle International Corporation | Visually exploring and analyzing event streams |
US9965518B2 (en) * | 2015-09-16 | 2018-05-08 | International Business Machines Corporation | Handling missing data tuples in a streaming environment |
JP6739041B2 (ja) * | 2016-07-28 | 2020-08-12 | パナソニックIpマネジメント株式会社 | 音声モニタリングシステム及び音声モニタリング方法 |
US11080723B2 (en) * | 2017-03-07 | 2021-08-03 | International Business Machines Corporation | Real time event audience sentiment analysis utilizing biometric data |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04323689A (ja) * | 1991-04-24 | 1992-11-12 | Toshiba Corp | 会議進行支援装置 |
JP2004350134A (ja) * | 2003-05-23 | 2004-12-09 | Nippon Telegr & Teleph Corp <Ntt> | 多地点電子会議システムにおける会議概要把握支援方法、多地点電子会議システム用サーバ、会議概要把握支援プログラム、および該プログラムを記録した記録媒体 |
JP2006208482A (ja) * | 2005-01-25 | 2006-08-10 | Sony Corp | 会議の活性化を支援する装置,方法,プログラム及び記録媒体 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6346950B1 (en) * | 1999-05-20 | 2002-02-12 | Compaq Computer Corporation | System and method for display images using anamorphic video |
US20040021765A1 (en) * | 2002-07-03 | 2004-02-05 | Francis Kubala | Speech recognition system for managing telemeetings |
JP2004046680A (ja) | 2002-07-15 | 2004-02-12 | Recruit Co Ltd | コミュニケーションパターン判定方法及びコミュニケーションパターン判定システム |
US7298930B1 (en) * | 2002-11-29 | 2007-11-20 | Ricoh Company, Ltd. | Multimodal access of meeting recordings |
US7428000B2 (en) * | 2003-06-26 | 2008-09-23 | Microsoft Corp. | System and method for distributed meetings |
JP3940723B2 (ja) | 2004-01-14 | 2007-07-04 | 株式会社東芝 | 対話情報分析装置 |
US7730411B2 (en) * | 2007-02-01 | 2010-06-01 | Cisco Technology, Inc. | Re-creating meeting context |
-
2007
- 2007-04-12 JP JP2007105004A patent/JP2008262046A/ja active Pending
-
2008
- 2008-04-01 US US12/078,520 patent/US8290776B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04323689A (ja) * | 1991-04-24 | 1992-11-12 | Toshiba Corp | 会議進行支援装置 |
JP2004350134A (ja) * | 2003-05-23 | 2004-12-09 | Nippon Telegr & Teleph Corp <Ntt> | 多地点電子会議システムにおける会議概要把握支援方法、多地点電子会議システム用サーバ、会議概要把握支援プログラム、および該プログラムを記録した記録媒体 |
JP2006208482A (ja) * | 2005-01-25 | 2006-08-10 | Sony Corp | 会議の活性化を支援する装置,方法,プログラム及び記録媒体 |
Cited By (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010134599A (ja) * | 2008-12-03 | 2010-06-17 | Hitachi Ltd | ストリームデータ処理制御方法、ストリームデータ処理装置及びストリームデータ処理制御プログラム |
JP4659877B2 (ja) * | 2008-12-03 | 2011-03-30 | 株式会社日立製作所 | ストリームデータ処理制御方法、ストリームデータ処理装置及びストリームデータ処理制御プログラム |
US8024350B2 (en) | 2008-12-03 | 2011-09-20 | Hitachi, Ltd. | Stream data processing control method, stream data processing apparatus, and stream data processing control program |
WO2010134242A1 (ja) * | 2009-05-22 | 2010-11-25 | 株式会社日立製作所 | ストリームデータ処理において逆再生を行うデータ処理システム |
JP2010272022A (ja) * | 2009-05-22 | 2010-12-02 | Hitachi Ltd | ストリームデータ処理において逆再生を行うデータ処理システム |
JP2013072978A (ja) * | 2011-09-27 | 2013-04-22 | Fuji Xerox Co Ltd | 音声解析装置および音声解析システム |
JP2013105374A (ja) * | 2011-11-15 | 2013-05-30 | Konica Minolta Holdings Inc | 議事録作成支援装置、議事録作成支援システム、および、議事録作成用プログラム |
WO2014038014A1 (ja) * | 2012-09-05 | 2014-03-13 | 株式会社日立製作所 | 対面データ生成装置及び対面データの生成方法 |
JP5947902B2 (ja) * | 2012-09-05 | 2016-07-06 | 株式会社日立製作所 | 対面データ生成装置及び対面データの生成方法 |
JPWO2014038014A1 (ja) * | 2012-09-05 | 2016-08-08 | 株式会社日立製作所 | 対面データ生成装置及び対面データの生成方法 |
JPWO2014097748A1 (ja) * | 2012-12-18 | 2017-01-12 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 特定の話者の音声を加工するための方法、並びに、その電子装置システム及び電子装置用プログラム |
JP2015028625A (ja) * | 2013-06-28 | 2015-02-12 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
JP2015072635A (ja) * | 2013-10-03 | 2015-04-16 | 富士ゼロックス株式会社 | 音声解析装置、表示装置、音声解析システムおよびプログラム |
JP2016158003A (ja) * | 2015-02-23 | 2016-09-01 | カシオ計算機株式会社 | コミュニケーション制御装置、コミュニケーション制御方法及びプログラム |
JP2017215931A (ja) * | 2016-02-02 | 2017-12-07 | 株式会社リコー | 会議支援システム、会議支援装置、会議支援方法及びプログラム |
US11625681B2 (en) | 2016-02-02 | 2023-04-11 | Ricoh Company, Ltd. | Conference support system, conference support method, and recording medium |
JP2022130635A (ja) * | 2016-02-02 | 2022-09-06 | 株式会社リコー | 会議支援システム、会議支援装置、会議支援方法及びプログラム |
JP7098875B2 (ja) | 2016-02-02 | 2022-07-12 | 株式会社リコー | 会議支援システム、会議支援装置、会議支援方法及びプログラム |
WO2018174088A1 (ja) * | 2017-03-21 | 2018-09-27 | 国立大学法人東京工業大学 | コミュニケーション解析装置およびそれに使用される測定・フィードバック装置、インタラクション装置 |
JPWO2018174088A1 (ja) * | 2017-03-21 | 2020-01-23 | 国立大学法人東京工業大学 | コミュニケーション解析装置およびそれに使用される測定・フィードバック装置、インタラクション装置 |
JP7002143B2 (ja) | 2017-03-21 | 2022-01-20 | 国立大学法人東京工業大学 | コミュニケーション解析装置およびそれに使用される測定・フィードバック装置、インタラクション装置 |
JP2019061557A (ja) * | 2017-09-27 | 2019-04-18 | 富士ゼロックス株式会社 | 情報処理装置、情報処理システム及びプログラム |
US11194535B2 (en) | 2017-09-27 | 2021-12-07 | Fujifilm Business Innovation Corp. | Information processing apparatus, information processing system, and non-transitory computer readable medium storing program |
JP7056055B2 (ja) | 2017-09-27 | 2022-04-19 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置、情報処理システム及びプログラム |
WO2019142233A1 (ja) * | 2018-01-16 | 2019-07-25 | ハイラブル株式会社 | 音声分析装置、音声分析方法、音声分析プログラム及び音声分析システム |
US10531045B2 (en) | 2018-04-12 | 2020-01-07 | Fujitsu Limited | Recording medium on which user assistance program is recorded, information processing device, and user assistance method |
JP2020035030A (ja) * | 2018-08-28 | 2020-03-05 | 株式会社 日立産業制御ソリューションズ | 会議評価装置、会議評価方法及び会議評価プログラム |
WO2020116531A1 (ja) * | 2018-12-05 | 2020-06-11 | 株式会社 東芝 | 会話分析システム、方法及びプログラム |
CN113330472A (zh) * | 2018-12-05 | 2021-08-31 | 株式会社东芝 | 对话分析***、方法以及程序 |
JPWO2020116531A1 (ja) * | 2018-12-05 | 2021-09-30 | 株式会社東芝 | 会話分析システム、方法及びプログラム |
JP7305678B2 (ja) | 2018-12-05 | 2023-07-10 | 株式会社東芝 | 会話分析システム、方法及びプログラム |
JP7413735B2 (ja) | 2019-11-27 | 2024-01-16 | 株式会社リコー | サーバ装置、情報処理方法および情報処理システム |
JP2021086385A (ja) * | 2019-11-27 | 2021-06-03 | 株式会社リコー | サーバ装置、情報処理方法および情報処理システム |
US11398234B2 (en) | 2020-03-06 | 2022-07-26 | Hitachi, Ltd. | Utterance support apparatus, utterance support method, and recording medium |
EP3876230A1 (en) | 2020-03-06 | 2021-09-08 | Hitachi, Ltd. | Utterance support apparatus, utterance support method, and utterance support program |
WO2022244366A1 (ja) * | 2021-05-17 | 2022-11-24 | 株式会社シンギュレイト | 情報処理装置、情報処理方法、およびプログラム |
JP7449577B2 (ja) | 2021-05-17 | 2024-03-14 | 株式会社シンギュレイト | 情報処理装置、情報処理方法、およびプログラム |
JP2022174241A (ja) * | 2021-11-08 | 2022-11-22 | ハイラブル株式会社 | 音声分析装置、音声分析方法、音声分析プログラム及び音声分析システム |
JP7414319B2 (ja) | 2021-11-08 | 2024-01-16 | ハイラブル株式会社 | 音声分析装置、音声分析方法、音声分析プログラム及び音声分析システム |
WO2024116395A1 (ja) * | 2022-12-01 | 2024-06-06 | 日本電信電話株式会社 | 対話構造比較装置、対話構造比較方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US8290776B2 (en) | 2012-10-16 |
US20080255847A1 (en) | 2008-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008262046A (ja) | 会議可視化システム、会議可視化方法、及び集計処理サーバ | |
JP5433760B2 (ja) | 会議分析システム | |
JP6791197B2 (ja) | 電子会議システム | |
JP6866860B2 (ja) | 電子会議システム | |
US10891436B2 (en) | Device and method for voice-driven ideation session management | |
US20050209848A1 (en) | Conference support system, record generation method and a computer program product | |
CN107211062A (zh) | 虚拟声学空间中的音频回放调度 | |
JP2007318438A (ja) | 音声状況データ生成装置、音声状況可視化装置、音声状況データ編集装置、音声データ再生装置、および音声通信システム | |
JP2013222347A (ja) | 議事録生成装置及び議事録生成方法 | |
WO2016187910A1 (zh) | 一种语音文字的转换方法及设备、存储介质 | |
US20200410998A1 (en) | Voice interface system for facilitating anonymized team feedback for a team health monitor | |
CN111144359A (zh) | 一种展品评价装置和方法及展品推送方法 | |
Herrmann et al. | From textual to verbal communication: towards applying sentiment analysis to a software project meeting | |
JP2019174894A (ja) | ワークショップ支援システムおよびワークショップ支援方法 | |
JP2007257330A (ja) | 顧客対応要員を評価させるプログラム、評価方法、および顧客対応要員の評価装置 | |
JP2023033634A (ja) | サーバ装置、会議支援方法及びプログラム | |
WO2022267322A1 (zh) | 会议纪要的生成方法、装置、终端设备及计算机存储介质 | |
JP2017191531A (ja) | コミュニケーションシステム、サーバ及びコミュニケーション方法 | |
US20230066829A1 (en) | Server device, conference assistance system, and conference assistance method | |
JP5573402B2 (ja) | 会議支援装置、会議支援方法、会議支援プログラムおよび記録媒体 | |
KR102291113B1 (ko) | 회의록 작성 장치 및 방법 | |
US20230069287A1 (en) | Server device, conference assistance system, conference assistance method, and non-transitory computer readable storage medium | |
GB2555945A (en) | Hierarchical annotation of dialog acts | |
JP7041093B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
TR2021016559A2 (tr) | Toplanti notlarinin akilli bi̇çi̇mde yöneti̇lmesi̇ni̇ sağlayan bi̇r si̇stem |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100303 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120723 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120821 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130219 |