JP6589040B1 - 音声分析装置、音声分析方法、音声分析プログラム及び音声分析システム - Google Patents
音声分析装置、音声分析方法、音声分析プログラム及び音声分析システム Download PDFInfo
- Publication number
- JP6589040B1 JP6589040B1 JP2018502279A JP2018502279A JP6589040B1 JP 6589040 B1 JP6589040 B1 JP 6589040B1 JP 2018502279 A JP2018502279 A JP 2018502279A JP 2018502279 A JP2018502279 A JP 2018502279A JP 6589040 B1 JP6589040 B1 JP 6589040B1
- Authority
- JP
- Japan
- Prior art keywords
- speech
- section
- amount
- voice
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 177
- 230000002123 temporal effect Effects 0.000 claims abstract description 22
- 238000004891 communication Methods 0.000 claims description 70
- 230000008859 change Effects 0.000 description 30
- 238000000034 method Methods 0.000 description 19
- 230000004807 localization Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
図1は、本実施形態に係る音声分析システムSの模式図である。音声分析システムSは、音声分析装置100と、集音装置10と、通信端末20とを含む。音声分析システムSが含む集音装置10及び通信端末20の数は限定されない。音声分析システムSは、その他のサーバ、端末等の機器を含んでもよい。
図2は、本実施形態に係る音声分析システムSのブロック図である。図2において、矢印は主なデータの流れを示しており、図2に示していないデータの流れがあってよい。図2において、各ブロックはハードウェア(装置)単位の構成ではなく、機能単位の構成を示している。そのため、図2に示すブロックは単一の装置内に実装されてよく、あるいは複数の装置内に別れて実装されてよい。ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてよい。
図3は、本実施形態に係る音声分析システムSが行う音声分析方法の模式図である。まず分析者は、通信端末20の操作部22を操作することによって、分析条件の設定を行う。例えば分析条件は、分析対象とする議論の参加者の人数と、集音装置10を基準とした各参加者(すなわち、複数の参加者それぞれ)が位置する向きとを示す情報である。通信端末20は、分析者から分析条件の設定を受け付け、設定情報として音声分析装置100に送信する(a)。音声分析装置100の設定部111は、通信端末20から設定情報を取得して設定情報記憶部131に記憶させる。
音声分析装置100の出力部116は、分析結果を表示する際に、表示対象の議論についての分析部114による分析結果及び区間設定部115による区間情報を分析結果記憶部133から読み出す。出力部116は、分析部114による分析が完了した直後の議論を表示対象としてもよく、あるいは分析者によって指定された議論を表示対象としてもよい。
出力部116は、グラフB1において、議論中(すなわち音声取得部112が取得した音声の時間内)に発生した所定のイベントを表示してもよい。これにより、分析者はイベントの発生が各参加者Uの発言量に与えた影響を分析することができる。イベントは、例えば(1)議論の補助者(教師、ファシリテータ等)のグループへの接近、又は(2)補助者の特定の発言(言葉)である。ここに示したイベントは一例であり、出力部116は、音声分析装置100が認識可能なその他イベントの発生を表示してもよい。
出力部116は、同じ区間における複数の発言量のグラフを抽出して表示することができる。図8は、区間抽出画面Cを表示している通信端末20の表示部21の前面図である。出力部116は、例えば図5〜図7の発言量画面Bにおいて分析者がいずれかの区間の名称B2を指定した場合に、指定された区間について区間抽出画面Cを表示する。区間抽出画面Cは、同じ区間の発言量のグラフを抽出した結果を表示する画面であり、発言量のグラフC1と、区間の名称C2と、グループの名称C3とを含む。
出力部116は、図5のような積み上げグラフに限られず、各参加者Uの発言量の時間変化を示すヒートマップを表示してもよい。図9は、発言量画面Dを表示している通信端末20の表示部21の前面図である。発言量画面Dは、発言量のヒートマップD1と、区間の名称D2と、区間の切り替え線D3とを含む。区間の名称D2及び区間の切り替え線D3は、図5における区間の名称B2及び区間の切り替え線B3と同様である。
図10は、本実施形態に係る音声分析システムSが行う音声分析方法のシーケンス図である。まず通信端末20は、分析者から分析条件の設定を受け付け、設定情報として音声分析装置100に送信する(S11)。音声分析装置100の設定部111は、通信端末20から設定情報を取得して設定情報記憶部131に記憶させる。
ハークネス法は議論の開始から終了までの全期間の発言の傾向を示すため、議論の時系列に沿った各参加者の発言量の変化を示すことができない。そのため、各参加者の発言量の時間変化に基づく分析が難しいという問題があった。それに対して、本実施形態に係る音声分析装置100は、区間ごとに各参加者の発言量の時間変化を表示する。これにより分析者は、各参加者の発言量の時間変化を、区間ごとに把握することができる。
100 音声分析装置
110 制御部
112 音声取得部
114 分析部
115 区間設定部
116 出力部
10 集音装置
20 通信端末
21 表示部
Claims (11)
- グループに属する複数の参加者が発した音声を前記グループに関連付けて取得する取得部と、
前記音声における、前記複数の参加者それぞれの時間ごとの発言量を特定する分析部と、
ユーザからの入力に基づいて、前記音声における少なくとも一部の区間及び前記区間の名称を設定する区間設定部と、
前記複数の参加者の前記発言量の時間変化を互いに積み上げたグラフと、前記グラフにおける前記区間を示す情報とを出力する出力部と、
を有し、
前記出力部は、複数の前記グループに関連付けられた複数の前記音声において同じ前記名称が設定された前記区間の複数の前記グラフを、複数の前記グラフそれぞれに対応する複数の前記グループそれぞれに関連付けて出力する音声分析装置。 - 前記出力部は、連続する2つの前記区間の境界の時刻の位置を、前記グラフ上で、前記区間を示す情報として出力する、請求項1に記載の音声分析装置。
- 前記区間設定部は、前記ユーザからの前記入力として、前記音声分析装置と通信する通信端末における前記ユーザによる操作と、前記音声を取得する集音装置における前記ユーザによる操作と、前記ユーザが発生させた所定の音を前記取得部が取得したタイミングとのうち少なくとも1つに基づいて、前記区間を設定する、請求項1又は2に記載の音声分析装置。
- 前記出力部は、前記複数の参加者それぞれの前記発言量に基づいて前記発言量の時間変化を積み上げる順番を決定し、決定した前記順番で前記発言量の時間変化を互いに積み上げた前記グラフを出力する、請求項1から3のいずれか一項に記載の音声分析装置。
- 前記出力部は、前記複数の参加者それぞれについて算出された前記発言量のばらつきの程度が小さい順に、前記発言量の時間変化を互いに積み上げた前記グラフを出力する、請求項4に記載の音声分析装置。
- 前記出力部は、前記複数の参加者それぞれについて算出された前記区間ごとの前記発言量のばらつきの程度が小さい順に、前記区間ごとに前記発言量の時間変化を互いに積み上げた前記グラフを出力する、請求項5に記載の音声分析装置。
- 前記グラフ及び前記区間を示す情報に加えて、前記音声の時間内に発生したイベントを示す情報を、前記グラフ上に出力する、請求項1から6のいずれか一項に記載の音声分析装置。
- 前記分析部は、所定の時間窓内に参加者の発言を行った時間の長さを、前記時間窓の長さで割った値を、前記発言量として特定する、請求項1から7のいずれか一項に記載の音声分析装置。
- プロセッサが、
グループに属する複数の参加者が発した音声を前記グループに関連付けて取得するステップと、
前記音声における、前記複数の参加者それぞれの時間ごとの発言量を特定するステップと、
ユーザからの入力に基づいて、前記音声における少なくとも一部の区間及び前記区間の名称を設定するステップと、
前記複数の参加者の前記発言量の時間変化を互いに積み上げたグラフと、前記グラフにおける前記区間を示す情報とを出力するステップと、
を実行し、
前記出力するステップは、複数の前記グループに関連付けられた複数の前記音声において同じ前記名称が設定された前記区間の複数の前記グラフを、複数の前記グラフそれぞれに対応する複数の前記グループそれぞれに関連付けて出力する音声分析方法。 - コンピュータに、
グループに属する複数の参加者が発した音声を前記グループに関連付けて取得するステップと、
前記音声における、前記複数の参加者それぞれの時間ごとの発言量を特定するステップと、
ユーザからの入力に基づいて、前記音声における少なくとも一部の区間及び前記区間の名称を設定するステップと、
前記複数の参加者の前記発言量の時間変化を互いに積み上げたグラフと、前記グラフにおける前記区間を示す情報とを出力するステップと、
を実行させ、
前記出力するステップは、複数の前記グループに関連付けられた複数の前記音声において同じ前記名称が設定された前記区間の複数の前記グラフを、複数の前記グラフそれぞれに対応する複数の前記グループそれぞれに関連付けて出力する音声分析プログラム。 - 音声分析装置と、前記音声分析装置と通信可能な通信端末と、を備え、
前記通信端末は、情報を表示する表示部を有し、
前記音声分析装置は、
グループに属する複数の参加者が発した音声を前記グループに関連付けて取得する取得部と、
前記音声における、前記複数の参加者それぞれの時間ごとの発言量を特定する分析部と、
ユーザからの入力に基づいて、前記音声における少なくとも一部の区間及び前記区間の名称を設定する区間設定部と、
前記複数の参加者の前記発言量の時間変化を互いに積み上げたグラフと、前記グラフにおける前記区間を示す情報とを、前記表示部に表示させる出力部と、
を有し、
前記出力部は、複数の前記グループに関連付けられた複数の前記音声において同じ前記名称が設定された前記区間の複数の前記グラフを、複数の前記グラフそれぞれに対応する複数の前記グループそれぞれに関連付けて出力する、音声分析システム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/000942 WO2019142231A1 (ja) | 2018-01-16 | 2018-01-16 | 音声分析装置、音声分析方法、音声分析プログラム及び音声分析システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6589040B1 true JP6589040B1 (ja) | 2019-10-09 |
JPWO2019142231A1 JPWO2019142231A1 (ja) | 2020-01-23 |
Family
ID=67300990
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018502279A Active JP6589040B1 (ja) | 2018-01-16 | 2018-01-16 | 音声分析装置、音声分析方法、音声分析プログラム及び音声分析システム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6589040B1 (ja) |
WO (1) | WO2019142231A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021245759A1 (ja) * | 2020-06-01 | 2021-12-09 | ハイラブル株式会社 | 音声会議装置、音声会議システム及び音声会議方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008139654A (ja) * | 2006-12-04 | 2008-06-19 | Nec Corp | 対話状況区切り推定方法、対話状況推定方法、対話状況推定システムおよび対話状況推定プログラム |
JP2015028625A (ja) * | 2013-06-28 | 2015-02-12 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
JP2016206355A (ja) * | 2015-04-20 | 2016-12-08 | 本田技研工業株式会社 | 会話解析装置、会話解析方法及びプログラム |
JP2017033443A (ja) * | 2015-08-05 | 2017-02-09 | 日本電気株式会社 | データ処理装置、データ処理方法、及び、プログラム |
JP2017161731A (ja) * | 2016-03-09 | 2017-09-14 | 本田技研工業株式会社 | 会話解析装置、会話解析方法およびプログラム |
-
2018
- 2018-01-16 WO PCT/JP2018/000942 patent/WO2019142231A1/ja active Application Filing
- 2018-01-16 JP JP2018502279A patent/JP6589040B1/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008139654A (ja) * | 2006-12-04 | 2008-06-19 | Nec Corp | 対話状況区切り推定方法、対話状況推定方法、対話状況推定システムおよび対話状況推定プログラム |
JP2015028625A (ja) * | 2013-06-28 | 2015-02-12 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
JP2016206355A (ja) * | 2015-04-20 | 2016-12-08 | 本田技研工業株式会社 | 会話解析装置、会話解析方法及びプログラム |
JP2017033443A (ja) * | 2015-08-05 | 2017-02-09 | 日本電気株式会社 | データ処理装置、データ処理方法、及び、プログラム |
JP2017161731A (ja) * | 2016-03-09 | 2017-09-14 | 本田技研工業株式会社 | 会話解析装置、会話解析方法およびプログラム |
Non-Patent Citations (1)
Title |
---|
横山ひとみ 他: ""自動推定された発話交替パターンに基づく会話状態の推定可能性"", HUMAN INTERFACE 2015 論文集, JPN6019005805, 1 September 2015 (2015-09-01), pages 939 - 943, ISSN: 0003981764 * |
Also Published As
Publication number | Publication date |
---|---|
JPWO2019142231A1 (ja) | 2020-01-23 |
WO2019142231A1 (ja) | 2019-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20190130910A1 (en) | Information processing apparatus | |
CN110782962A (zh) | 听力语言康复装置、方法、电子设备及存储介质 | |
WO2007139040A1 (ja) | 音声状況データ生成装置、音声状況可視化装置、音声状況データ編集装置、音声データ再生装置、および音声通信システム | |
JP7453714B2 (ja) | 議論分析装置及び議論分析方法 | |
CN105448305A (zh) | 语音处理装置和语音处理方法 | |
US20230317095A1 (en) | Systems and methods for pre-filtering audio content based on prominence of frequency content | |
Ramsay et al. | The intrinsic memorability of everyday sounds | |
JP6589040B1 (ja) | 音声分析装置、音声分析方法、音声分析プログラム及び音声分析システム | |
Harrison | Variability of formant measurements | |
JP6646134B2 (ja) | 音声分析装置、音声分析方法、音声分析プログラム及び音声分析システム | |
JP6589042B1 (ja) | 音声分析装置、音声分析方法、音声分析プログラム及び音声分析システム | |
CN109377806B (zh) | 一种基于学习等级的测试题分配方法及学习客户端 | |
JP6733452B2 (ja) | 音声分析プログラム、音声分析装置、及び音声分析方法 | |
KR102463243B1 (ko) | 사용자 음성 분석 기반의 이명 상담 시스템 | |
JP2020173415A (ja) | 教材提示システム及び教材提示方法 | |
JP7427274B2 (ja) | 音声分析装置、音声分析方法、音声分析プログラム及び音声分析システム | |
JP6994874B2 (ja) | アノテーション装置および騒音測定システム | |
JP6975755B2 (ja) | 音声分析装置、音声分析方法、音声分析プログラム及び音声分析システム | |
CN111785280A (zh) | 身份认证方法和装置、存储介质和电子设备 | |
JP6589041B1 (ja) | 音声分析装置、音声分析方法、音声分析プログラム及び音声分析システム | |
JP7449577B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2022079777A1 (ja) | 分析装置、分析システム、分析方法、およびプログラムが格納された非一時的なコンピュータ可読媒体 | |
JP7414319B2 (ja) | 音声分析装置、音声分析方法、音声分析プログラム及び音声分析システム | |
KR20230064870A (ko) | 온라인 음악 활동을 통한 저시력 장애인 심리분석 서버 및 이를 이용한 심리분석 방법 | |
JP2020016893A (ja) | 音声分析装置、音声分析方法、音声分析プログラム及び音声分析システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190425 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190827 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190913 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6589040 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |