JP6762973B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP6762973B2 JP6762973B2 JP2018019066A JP2018019066A JP6762973B2 JP 6762973 B2 JP6762973 B2 JP 6762973B2 JP 2018019066 A JP2018019066 A JP 2018019066A JP 2018019066 A JP2018019066 A JP 2018019066A JP 6762973 B2 JP6762973 B2 JP 6762973B2
- Authority
- JP
- Japan
- Prior art keywords
- utterance
- voice data
- information processing
- participant
- variation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
実施の形態に係る情報処理装置は、会議や講演等、発話を軸とするコミュニケーションを記録した音声及び撮影データを解析することにより、議論展開の契機となった発話を検出する。ここで「議論展開」とは、発話者の発話内容を聞いた聞き手がその発話内容に納得し、新たな気づきが与えられ、発話内容に関連する新たな発話が聞き手から発せられることを意味する。
図2は、実施の形態に係る情報処理装置1の機能構成を模式的に示す図である。情報処理装置1は、記憶部2と制御部3とを備える。
Ix=h/H (1)
以下、評価値Ixの算出方法のバリエーションを説明する。
重要な議論展開発話があったときは、各参与者Pの相槌発話及び身体動作が長時間継続すると考えられる。そこで、計測部33は、時間範囲内における各参与者Pの発話及び動作の重複区間Oの長さをさらに取得する。指標値算出部34は、各参与者Pの発話及び動作の重複区間Oの長さが長い場合は、短い場合よりも重要であることを示す指標値を出力する。
Ix=lx・h/H (2)
式(2)を用いて評価値Ixを算出することにより、指標値算出部34は、各発話区分の重要性をより精度よく評価することができる。
ある議論展開発話があったとき、発話内容が各参与者Pにただちに受け入れられる場合と、各参与者Pにおいて発話内容を理解するまでに時間差がある場合とでは、前者の方が後者よりも重要な議論展開発話であると本願の発明者は仮定した。シンプルかつ明快で、誰にでも容易に理解できる内容は、理解に時間がかかるものよりも重要であると考えられるからである。
ある議論展開発話があったとき、それに対する応答で各参与者Pの動作が大きい場合と、各参与者Pの動作が小さい場合とでは、前者の方がより重要な議論展開発話であると本願の発明者は仮定した。斬新なアイデアや議論の盲点等、意外性のある議論に触れた参与者Pは、驚きとともに身体を大きく動かす蓋然性が高いと考えられるからである。
上述したように、ある議論展開発話があったとき、発話内容が各参与者Pにただちに受け入れられる場合と、各参与者Pにおいて発話内容を理解するまでに時間差がある場合とでは、前者の方がより重要な議論展開発話であると本願の発明者は仮定した。発話内容が各参与者Pにただちに受け入れられた場合、各参与者Pは相槌発話をするとほぼ同時に身体を動かすと考えられる。反対に、発話内容の理解に時間を要する場合には、参与者Pは、例えば、沈黙したまま腕組みをして思考をめぐらし、発話内容を理解した時点で相槌発話を発する。このような場合、各参与者Pの相槌発話の開始時刻と身体動作の開始時刻とにずれが生じる。
図4は、実施の形態に係る情報処理装置1が実行する情報処理の処理フローを説明するためのフローチャートである。本フローチャートにおける処理は、例えば情報処理装置1が起動したときに開始する。
以上説明したように、実施の形態に係る情報処理装置1によれば、会議等の音声及び撮影データから会議の要部を推定することができる。特に、コミュニケーションにおける身体動作と相槌発話の同期パターンを用いることにより、複雑な言語処理や知識モデルに基づく処理を行うことなく、新規アイデアの創出や盲点の指摘といった、議論展開の契機となるイベントを推定・検索することができる。これにより、情報処理装置1は、会議等の重要場面を要約して検討することが可能となり、参与者Pや関係者による事後的な再検討に有用な情報を提供することができる。
上記では、情報処理装置1は評価値Ixの算出に際して参与者Pを全て同格に扱う場合について説明した。しかしながら、参与者P毎にその役割の重要性が異なる場合もあると考えられる。そのような場合は、情報処理装置1は、各参与者Pで重みを変えて評価値Ixを算出してもよい。また、情報処理装置1は、各参与者Pの発話時間や発話回数から、参与者P毎に重みを算出してもよい。さらに、図示しない視線検出装置等の出力情報や画像処理などから参与者Pの注視対象が観測し、注視を集めていた量から参与者P毎の重みを算出してもよい。
2・・・記憶部
3・・・制御部
30・・・音声データ取得部
31・・・動き取得部
32・・・区分特定部
33・・・計測部
34・・・指標値算出部
35・・・要約部
36・・・ばらつき算出部
36a・・・第1ばらつき算出部
36b・・・第2ばらつき算出部
37・・・差分取得部
C・・・カメラ
S・・・音声入力装置
Claims (8)
- 会話における発話者及び複数の参与者それぞれの発話の音声データを取得する音声データ取得部と、
前記複数の参与者それぞれの動きを取得する動き取得部と、
前記音声データを解析して前記発話者の会話における発話区分を特定する区分特定部と、
前記発話区分を基準として定められた所定の時間範囲内において発話及び動作が重複して発生した前記参与者の数を取得する計測部と、
前記数が多い場合は、少ない場合よりも重要であることを示す評価値を算出する指標値算出部と、
前記評価値が示す重要度が所定の値を超えた場合、前記発話区分の末尾を含む所定の範囲の音声データを、他の範囲の音声データと区別して記録する要約部と、
を備える情報処理装置。 - 前記計測部は、前記時間範囲内における各参与者の発話及び動作の重複区間の長さをさらに取得し、
前記指標値算出部は、各参与者の発話及び動作の重複区間の長さが長い場合は、短い場合よりも重要であることを示す指標値を算出する、
請求項1に記載の情報処理装置。 - 前記重複区間の開始時から前記複数の参与者それぞれの発話音量が最大となるまでの時間のばらつきを示す統計量である第1ばらつき指標を算出する第1ばらつき算出部をさらに備え、
前記指標値算出部は、前記第1ばらつき指標が示すばらつきが小さい場合は、大きい場合よりも重要であることを示す評価値を算出する、
請求項2に記載の情報処理装置。 - 前記重複区間の開始時から前記複数の参与者それぞれの身体動作の加速度が最大となるまでの時間のばらつきを示す統計量である第2ばらつき指標を算出する第2ばらつき算出部をさらに備え、
前記指標値算出部は、前記第2ばらつき指標が示すばらつきが小さい場合は、大きい場合よりも重要であることを示す評価値を算出する、
請求項2又は3に記載の情報処理装置。 - 前記指標値算出部は、前記重複区間における各参与者の身体動作が大きい場合は、小さい場合よりも重要であることを示す評価値を算出する、
請求項2から4のいずれか一項に記載の情報処理装置。 - 前記重複区間の開始時から各参与者の身体動作の加速度が最大となるまでの時間と発話音量が最大となるまでの時間との差を取得する差分取得部をさらに備え、
前記指標値算出部は、前記重複区間の開始時から各参与者の加速度が最大となるまでの時間と発話音量が最大となるまでの時間との差が大きい場合は、小さい場合よりも重要であることを示す評価値を算出する、
請求項2から5のいずれか一項に記載の情報処理装置。 - プロセッサが、
会話における発話者及び複数の参与者それぞれの発話の音声データを取得するステップと、
前記複数の参与者それぞれの動きを取得するステップと、
前記音声データを解析して前記発話者の会話における発話区分を特定するステップと、
前記発話区分を基準として定められた所定の時間範囲内において発話及び動作が重複して発生した前記参与者の数を取得するステップと、
前記数が多い場合は、少ない場合よりも重要であることを示す評価値を算出するステップと、
前記評価値が示す重要度が所定の値を超えた場合、前記発話区分の末尾を含む所定の範囲の音声データを、他の範囲の音声データと区別して記録するステップと、
を実行する情報処理方法。 - コンピュータに、
会話における発話者及び複数の参与者それぞれの発話の音声データを取得する機能と、
前記複数の参与者それぞれの動きを取得する機能と、
前記音声データを解析して前記発話者の会話における発話区分を特定する機能と、
前記発話区分を基準として定められた所定の時間範囲内において発話及び動作が重複して発生した前記参与者の数を取得する機能と、
前記数が多い場合は、少ない場合よりも重要であることを示す評価値を算出する機能と、
前記評価値が示す重要度が所定の値を超えた場合、前記発話区分の末尾を含む所定の範囲の音声データを、他の範囲の音声データと区別して記録する機能と、
を実現させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018019066A JP6762973B2 (ja) | 2018-02-06 | 2018-02-06 | 情報処理装置、情報処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018019066A JP6762973B2 (ja) | 2018-02-06 | 2018-02-06 | 情報処理装置、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019138937A JP2019138937A (ja) | 2019-08-22 |
JP6762973B2 true JP6762973B2 (ja) | 2020-09-30 |
Family
ID=67693757
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018019066A Active JP6762973B2 (ja) | 2018-02-06 | 2018-02-06 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6762973B2 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5433760B2 (ja) * | 2012-10-18 | 2014-03-05 | 株式会社日立製作所 | 会議分析システム |
WO2016157642A1 (ja) * | 2015-03-27 | 2016-10-06 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
-
2018
- 2018-02-06 JP JP2018019066A patent/JP6762973B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019138937A (ja) | 2019-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11455985B2 (en) | Information processing apparatus | |
WO2020006935A1 (zh) | 动物声纹特征提取方法、装置及计算机可读存储介质 | |
JP5602653B2 (ja) | 情報処理装置、情報処理方法、情報処理システム、およびプログラム | |
JP6923827B2 (ja) | コミュニケーションスキル評価システム、装置、方法、及びプログラム | |
JP2010256391A (ja) | 音声情報処理装置 | |
JP6891601B2 (ja) | ロボットの制御プログラム、ロボット装置、及びロボットの制御方法 | |
CN111080109A (zh) | 客服服务质量评价方法、装置及电子设备 | |
CN112053702B (zh) | 一种语音处理的方法、装置及电子设备 | |
WO2019119279A1 (en) | Method and apparatus for emotion recognition from speech | |
JP2018169506A (ja) | 会話満足度推定装置、音声処理装置および会話満足度推定方法 | |
Ishii et al. | Multimodal fusion using respiration and gaze for predicting next speaker in multi-party meetings | |
US20190008466A1 (en) | Life log utilization system, life log utilization method, and recording medium | |
CN104135638A (zh) | 优化的视频快照 | |
US20230095526A1 (en) | Target speaker mode | |
Ronzhin et al. | Speaker turn detection based on multimodal situation analysis | |
Pathak et al. | Recognizing emotions from speech | |
Ahmed et al. | Real time distant speech emotion recognition in indoor environments | |
JP4775961B2 (ja) | 映像を用いた発音の推定方法 | |
JP6762973B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN112567455B (zh) | 使用深度信息净化声音的方法和***以及计算机可读介质 | |
Abel et al. | A data driven approach to audiovisual speech mapping | |
Abel et al. | Cognitively inspired audiovisual speech filtering: towards an intelligent, fuzzy based, multimodal, two-stage speech enhancement system | |
JP6997733B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
Xu et al. | MFFCN: multi-layer feature fusion convolution network for audio-visual speech enhancement | |
Jothimani et al. | A new spatio-temporal neural architecture with Bi-LSTM for multimodal emotion recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191216 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200819 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200825 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200909 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6762973 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |