JP6812604B2 - オーディオアクティビティ追跡および要約 - Google Patents
オーディオアクティビティ追跡および要約 Download PDFInfo
- Publication number
- JP6812604B2 JP6812604B2 JP2020520512A JP2020520512A JP6812604B2 JP 6812604 B2 JP6812604 B2 JP 6812604B2 JP 2020520512 A JP2020520512 A JP 2020520512A JP 2020520512 A JP2020520512 A JP 2020520512A JP 6812604 B2 JP6812604 B2 JP 6812604B2
- Authority
- JP
- Japan
- Prior art keywords
- audio
- mode
- activity
- tracked
- feedback
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000694 effects Effects 0.000 title claims description 239
- 238000000034 method Methods 0.000 claims description 30
- 230000005236 sound signal Effects 0.000 claims description 25
- 230000008451 emotion Effects 0.000 claims description 24
- 230000000007 visual effect Effects 0.000 claims description 21
- 238000003860 storage Methods 0.000 claims description 10
- 230000002996 emotional effect Effects 0.000 claims description 5
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 238000010923 batch production Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 11
- 239000004568 cement Substances 0.000 description 9
- 230000008901 benefit Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000003997 social interaction Effects 0.000 description 6
- 230000001413 cellular effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 239000011295 pitch Substances 0.000 description 5
- 239000004576 sand Substances 0.000 description 5
- 210000000707 wrist Anatomy 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 4
- 239000004984 smart glass Substances 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000001052 transient effect Effects 0.000 description 3
- 206010011224 Cough Diseases 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 2
- 206010039740 Screaming Diseases 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000000059 Dyspnea Diseases 0.000 description 1
- 206010013975 Dyspnoeas Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 208000013220 shortness of breath Diseases 0.000 description 1
- 201000009032 substance abuse Diseases 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/54—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for retrieval
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/088—Word spotting
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Child & Adolescent Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Radar Systems Or Details Thereof (AREA)
- Telephone Function (AREA)
Description
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
[C1]
オーディオ信号を受信したことに基づいてオーディオイベントを決定することと、
前記決定されたオーディオイベントに基づいてオーディオアクティビティを追跡することと、
要約モードに基づいて、前記追跡されたオーディオアクティビティを要約することと、
フィードバックモードに基づいて、前記要約された追跡されたオーディオアクティビティのフィードバックを提供することと
を行うように構成された1つまたは複数のプロセッサ
を備えるデバイス。
[C2]
前記1つまたは複数のプロセッサに結合されたオーディオデコーダをさらに備え、前記オーディオデコーダが、別のデバイスからパケットを受信するように構成された、C1に記載のデバイス。
[C3]
前記オーディオデコーダがペイロードデータ抽出器に結合され、前記ペイロードデータ抽出器が、別のデバイスから受信された前記パケットから、人識別、識別タイプ、個人識別情報、リモートデバイスID、またはタイムスタンプのうちの少なくとも1つを抽出するように構成された、C2に記載のデバイス。
[C4]
1つまたは複数のマイクロフォンからの出力に基づくオーディオ波形がオーディオイベント決定器に提供されるか、または別のデバイスから受信された前記パケットが前記オーディオイベント決定器に提供されるかを選択するように構成されたオーディオ経路選択器をさらに備える、C2に記載のデバイス。
[C5]
前記オーディオ経路選択器が、コントローラ入力を受信し、デバイスモードを提供するように構成された、C4に記載のデバイス。
[C6]
オーディオ波形を出力するように構成され、前記オーディオ波形を前記1つまたは複数のプロセッサに提供するように構成されたオーディオコーデックに結合された、1つまたは複数のマイクロフォンをさらに備える、C1に記載のデバイス。
[C7]
前記決定されたオーディオイベントが、音声メトリック決定器ユニットから、1つの音声メトリックを少なくとも分類することに基づき、前記1つまたは複数のプロセッサが、ローカルクロックと、ローカルデバイス識別値と、前記オーディオイベントとのうちの少なくとも1つを提供するように構成されたオーディオイベント分類器バンクを含む、C6に記載のデバイス。
[C8]
前記イベント分類器バンクがデバイスモードによって制御される、C7に記載のデバイス。
[C9]
前記1つまたはプロセッサが、前記要約モードに基づいて、前記追跡されたオーディオアクティビティを要約するように構成された要約モード選択器を含み、ここにおいて、前記要約モードが、時間モード、感情モード、前記追跡されたオーディオアクティビティ、環境モード、スピーチ状態、グループ関連付け、重複モード、または推奨モードのうちの1つまたは複数である、C1に記載のデバイス。
[C10]
要約された追跡されたオーディオアクティビティバッファを含むメモリをさらに備える、C9に記載のデバイス。
[C11]
前記1つまたは複数のプロセッサが、前記フィードバックモードを選択するように構成されたオーディオアクティビティフィードバック提供器を含む、C10に記載のデバイス。
[C12]
視覚フィードバックモードが選択されたとき、要約された追跡されたオーディオアクティビティの視覚フィードバックを表示するように構成されたディスプレイデバイスをさらに備える、C11に記載のデバイス。
[C13]
可聴フィードバックモードが選択されたとき、要約された追跡されたオーディオアクティビティの可聴フィードバックを発生するように構成された1つまたは複数のラウドスピーカーをさらに備える、C11に記載のデバイス。
[C14]
前記1つまたは複数のラウドスピーカーがヒアラブルデバイスに組み込まれた、C13に記載のデバイス。
[C15]
前記1つまたは複数のプロセッサが、前記要約モードに基づいて、前記追跡されたオーディオアクティビティを提供するためのオーディオアクティビティ追跡器を含み、前記オーディオアクティビティ追跡器は、前記決定されたオーディオイベントが同じオーディオイベントであるか異なるオーディオイベントであるかを決定するために前のオーディオイベントと比較することを備える、C1に記載のデバイス。
[C16]
前記オーディオアクティビティ追跡器が、前記決定されたオーディオイベントをアグリゲートすることに基づいて、およびタイムスタンプ、デバイス識別値、または人識別値のうちの少なくとも1つに基づいて、2つ以上のオーディオイベントをバッチ処理するように構成された、C15に記載のデバイス。
[C17]
前記追跡されたオーディオアクティビティが、環境、感情、スピーチ状態、可聴コンテキスト、視覚コンテキスト、またはセンサー示度のうちの少なくとも1つを検出することに基づく、C16に記載のデバイス。
[C18]
前記追跡されたオーディオアクティビティが、識別データタイプと、人識別と、個人識別情報とのうちの1つにさらに基づく、C17に記載のデバイス。
[C19]
前記要約された追跡されたオーディオアクティビティに関連付けられた感情のリンクを表すように構成されたディスプレイデバイスをさらに備える、C1に記載のデバイス。
[C20]
オーディオ信号を受信したことに基づいてオーディオイベントを決定することと、
前記決定されたオーディオイベントに基づいてオーディオアクティビティを追跡することと、
要約モードに基づいて、前記追跡されたオーディオアクティビティを要約することと、
フィードバックモードに基づいて、前記要約された追跡されたオーディオアクティビティのフィードバックを提供することと
を備える方法。
[C21]
前記要約モードに基づいて、追跡されたオーディオアクティビティを要約すること、ここにおいて、前記要約モードが、時間モード、感情モード、前記追跡されたオーディオアクティビティ、環境モード、スピーチ状態、グループ関連付け、重複モード、または推奨モードのうちの1つまたは複数である、C20に記載の方法。
[C22]
フィードバックモードを選択することをさらに備える、C20に記載の方法。
[C23]
前記要約された追跡されたオーディオアクティビティの前記フィードバックは、前記フィードバックモードが視覚フィードバックモードであるとき、表示される、C22に記載の方法。
[C24]
前記要約された追跡されたオーディオアクティビティの前記フィードバックは、前記フィードバックモードが可聴フィードバックモードであるとき、可聴である、C22に記載の方法。
[C25]
前記要約された追跡されたオーディオアクティビティは、前記決定されたオーディオイベントが同じオーディオイベントであるか異なるオーディオイベントであるかを決定するために前のオーディオイベントと比較することに基づく、C20に記載の方法。
[C26]
前記要約された追跡されたオーディオアクティビティが、前記決定されたオーディオイベントをアグリゲートすることに基づいて2つ以上のオーディオイベントをバッチ処理する、C20に記載の方法。
[C27]
前記要約された追跡されたオーディオアクティビティが別のデバイスに送信される、C20に記載の方法。
[C28]
オーディオ信号を受信したことに基づいてオーディオイベントを決定するための手段と、
前記決定されたオーディオイベントに基づいてオーディオアクティビティを追跡するための手段と、
要約モードに基づいて、前記追跡されたオーディオアクティビティを要約するための手段と、
フィードバックモードに基づいて、前記要約された追跡されたオーディオアクティビティのフィードバックを提供するための手段と
を備える装置。
[C29]
前記フィードバックモードを選択するための手段をさらに備える、C28に記載の装置。
[C30]
実行されたとき、デバイスの1つまたは複数のプロセッサに、
オーディオ信号を受信したことに基づいてオーディオイベントを決定することと、
前記決定されたオーディオイベントに基づいてオーディオアクティビティを追跡することと、
要約モードに基づいて、前記追跡されたオーディオアクティビティを要約することと、
フィードバックモードに基づいて、前記要約された追跡されたオーディオアクティビティのフィードバックを提供することと
を行わせる命令を記憶した非一時的コンピュータ可読記憶媒体。
Claims (28)
- オーディオ信号を受信したことに基づいてオーディオイベントを決定することと、
前記決定されたオーディオイベントに基づいてオーディオアクティビティを追跡することと、
要約モードのユーザ選択に基づいて、前記追跡されたオーディオアクティビティを要約することと、ここにおいて、前記要約モードが、時間モード、感情モード、アクティビティモード、環境モード、スピーチ状態モード、関連付けモード、重複モード、または推奨モードのうちの1つまたは複数である、
フィードバックモードに基づいて、前記要約された追跡されたオーディオアクティビティのフィードバックを提供することとを行うように構成された1つまたは複数のプロセッサを備えるデバイス。 - 前記1つまたは複数のプロセッサに結合されたオーディオデコーダをさらに備え、前記オーディオデコーダが、別のデバイスからパケットを受信するように構成された、請求項1に記載のデバイス。
- 前記オーディオデコーダがペイロードデータ抽出器に結合され、前記ペイロードデータ抽出器が、別のデバイスから受信された前記パケットから、人識別、識別タイプ、個人識別情報、リモートデバイスID、またはタイムスタンプのうちの少なくとも1つを抽出するように構成された、請求項2に記載のデバイス。
- 1つまたは複数のマイクロフォンからの出力に基づくオーディオ波形がオーディオイベント決定器に提供されるか、または別のデバイスから受信された前記パケットが前記オーディオイベント決定器に提供されるかを選択するように構成されたオーディオ経路選択器をさらに備える、請求項2に記載のデバイス。
- 前記オーディオ経路選択器が、コントローラ入力を受信し、デバイスモードを提供するように構成された、請求項4に記載のデバイス。
- オーディオ波形を出力するように構成され、前記オーディオ波形を前記1つまたは複数のプロセッサに提供するように構成されたオーディオコーデックに結合された、1つまたは複数のマイクロフォンをさらに備える、請求項1に記載のデバイス。
- 前記決定されたオーディオイベントが、音声メトリック決定器ユニットから、1つの音声メトリックを少なくとも分類することに基づき、前記1つまたは複数のプロセッサが、ローカルクロックと、ローカルデバイス識別値と、前記オーディオイベントとのうちの少なくとも1つを提供するように構成されたオーディオイベント分類器バンクを含む、請求項6に記載のデバイス。
- 前記イベント分類器バンクがデバイスモードによって制御される、請求項7に記載のデバイス。
- 要約された追跡されたオーディオアクティビティバッファを含むメモリをさらに備える、請求項1に記載のデバイス。
- 前記1つまたは複数のプロセッサが、前記フィードバックモードを選択するように構成されたオーディオアクティビティフィードバック提供器を含む、請求項9に記載のデバイス。
- 視覚フィードバックモードが選択されたとき、要約された追跡されたオーディオアクティビティの視覚フィードバックを表示するように構成されたディスプレイデバイスをさらに備える、請求項10に記載のデバイス。
- 可聴フィードバックモードが選択されたとき、要約された追跡されたオーディオアクティビティの可聴フィードバックを発生するように構成された1つまたは複数のラウドスピーカーをさらに備える、請求項10に記載のデバイス。
- 前記1つまたは複数のラウドスピーカーがヒアラブルデバイスに組み込まれた、請求項12に記載のデバイス。
- 前記1つまたは複数のプロセッサが、前記要約モードに基づいて、前記追跡されたオーディオアクティビティを提供するためのオーディオアクティビティ追跡器を含み、前記オーディオアクティビティ追跡器は、前記決定されたオーディオイベントが同じオーディオイベントであるか異なるオーディオイベントであるかを決定するために前のオーディオイベントと比較することを備える、請求項1に記載のデバイス。
- 前記オーディオアクティビティ追跡器が、前記決定されたオーディオイベントをアグリゲートすることに基づいて、およびタイムスタンプ、デバイス識別値、または人識別値のうちの少なくとも1つに基づいて、2つ以上のオーディオイベントをバッチ処理するように構成された、請求項14に記載のデバイス。
- 前記追跡されたオーディオアクティビティが、環境、感情、スピーチ状態、可聴コンテキスト、視覚コンテキスト、またはセンサー示度のうちの少なくとも1つを検出することに基づく、請求項15に記載のデバイス。
- 前記追跡されたオーディオアクティビティが、識別データタイプと、人識別と、個人識別情報とのうちの1つにさらに基づく、請求項16に記載のデバイス。
- 前記要約された追跡されたオーディオアクティビティに関連付けられた感情のリンクを表すように構成されたディスプレイデバイスをさらに備える、請求項1に記載のデバイス。
- オーディオ信号を受信したことに基づいてオーディオイベントを決定することと、
前記決定されたオーディオイベントに基づいてオーディオアクティビティを追跡することと、
要約モードのユーザ選択に基づいて、前記追跡されたオーディオアクティビティを要約することと、ここにおいて、前記要約モードが、時間モード、感情モード、アクティビティモード、環境モード、スピーチ状態モード、関連付けモード、重複モード、または推奨モードのうちの1つまたは複数である、
フィードバックモードに基づいて、前記要約された追跡されたオーディオアクティビティのフィードバックを提供することとを備える方法。 - フィードバックモードを選択することをさらに備える、請求項19に記載の方法。
- 前記要約された追跡されたオーディオアクティビティの前記フィードバックは、前記フィードバックモードが視覚フィードバックモードであるとき、表示される、請求項20に記載の方法。
- 前記要約された追跡されたオーディオアクティビティの前記フィードバックは、前記フィードバックモードが可聴フィードバックモードであるとき、可聴である、請求項20に記載の方法。
- 前記要約された追跡されたオーディオアクティビティは、前記決定されたオーディオイベントが同じオーディオイベントであるか異なるオーディオイベントであるかを決定するために前のオーディオイベントと比較することに基づく、請求項19に記載の方法。
- 前記要約された追跡されたオーディオアクティビティが、前記決定されたオーディオイベントをアグリゲートすることに基づいて2つ以上のオーディオイベントをバッチ処理する、請求項19に記載の方法。
- 前記要約された追跡されたオーディオアクティビティが別のデバイスに送信される、請求項19に記載の方法。
- オーディオ信号を受信したことに基づいてオーディオイベントを決定するための手段と、
前記決定されたオーディオイベントに基づいてオーディオアクティビティを追跡するための手段と、
要約モードのユーザ選択に基づいて、前記追跡されたオーディオアクティビティを要約するための手段と、ここにおいて、前記要約モードが、時間モード、感情モード、アクティビティモード、環境モード、スピーチ状態モード、関連付けモード、重複モード、または推奨モードのうちの1つまたは複数である、
フィードバックモードに基づいて、前記要約された追跡されたオーディオアクティビティのフィードバックを提供するための手段とを備える装置。 - 前記フィードバックモードを選択するための手段をさらに備える、請求項26に記載の装置。
- 実行されたとき、デバイスの1つまたは複数のプロセッサに、
オーディオ信号を受信したことに基づいてオーディオイベントを決定することと、
前記決定されたオーディオイベントに基づいてオーディオアクティビティを追跡することと、
要約モードのユーザ選択に基づいて、前記追跡されたオーディオアクティビティを要約することと、ここにおいて、前記要約モードが、時間モード、感情モード、アクティビティモード、環境モード、スピーチ状態モード、関連付けモード、重複モード、または推奨モードのうちの1つまたは複数である、
フィードバックモードに基づいて、前記要約された追跡されたオーディオアクティビティのフィードバックを提供することとを行わせる命令を記憶した非一時的コンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/782,287 US10614831B2 (en) | 2017-10-12 | 2017-10-12 | Audio activity tracking and summaries |
US15/782,287 | 2017-10-12 | ||
PCT/US2018/055739 WO2019075423A1 (en) | 2017-10-12 | 2018-10-12 | MONITORING AND RECAPITULATIONS OF AUDIO ACTIVITY |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020537180A JP2020537180A (ja) | 2020-12-17 |
JP6812604B2 true JP6812604B2 (ja) | 2021-01-13 |
Family
ID=64110114
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020520512A Active JP6812604B2 (ja) | 2017-10-12 | 2018-10-12 | オーディオアクティビティ追跡および要約 |
Country Status (9)
Country | Link |
---|---|
US (1) | US10614831B2 (ja) |
EP (1) | EP3695404B1 (ja) |
JP (1) | JP6812604B2 (ja) |
KR (1) | KR102229039B1 (ja) |
CN (1) | CN111194465B (ja) |
BR (1) | BR112020006904A2 (ja) |
SG (1) | SG11202001986RA (ja) |
TW (1) | TWI779113B (ja) |
WO (1) | WO2019075423A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190102509A (ko) * | 2018-02-26 | 2019-09-04 | 삼성전자주식회사 | 음성 명령을 수행하는 방법 및 시스템 |
US10970040B2 (en) * | 2019-03-01 | 2021-04-06 | Bose Corporation | Systems and methods for augmented reality content harvesting and information extraction |
CN111049848B (zh) * | 2019-12-23 | 2021-11-23 | 腾讯科技(深圳)有限公司 | 通话方法、装置、***、服务器及存储介质 |
CN111241336A (zh) * | 2020-01-07 | 2020-06-05 | 厦门快商通科技股份有限公司 | 音频场景识别方法、装置、电子设备及介质 |
US11582554B1 (en) | 2020-09-22 | 2023-02-14 | Apple Inc. | Home sound loacalization and identification |
US11343612B2 (en) * | 2020-10-14 | 2022-05-24 | Google Llc | Activity detection on devices with multi-modal sensing |
DE102020129602A1 (de) | 2020-11-10 | 2022-05-12 | nxtbase technologies GmbH | Verfahren zur steuerung von prozessen mittels einer sprachbefehlseingabe |
DE102020129606A1 (de) | 2020-11-10 | 2022-05-12 | nxtbase technologies GmbH | Verfahren zur steuerung von prozessen mittels einer sprachbefehlseingabe |
US12002455B2 (en) | 2021-07-22 | 2024-06-04 | Qualcomm Incorporated | Semantically-augmented context representation generation |
DE102022119188A1 (de) * | 2021-08-11 | 2023-02-16 | Sony Europe B.V. | Informationsverarbeitungssystem und informationsverarbeitungsverfahren |
KR102635981B1 (ko) * | 2023-02-06 | 2024-02-13 | 김영숙 | 양육 지원 상담 및 코칭 어플리케이션 제공 장치 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9112989B2 (en) * | 2010-04-08 | 2015-08-18 | Qualcomm Incorporated | System and method of smart audio logging for mobile devices |
JP2014519071A (ja) * | 2011-03-28 | 2014-08-07 | アンビエンツ | 音響コンテキストを使用する検索システム及び方法 |
US9848260B2 (en) * | 2013-09-24 | 2017-12-19 | Nuance Communications, Inc. | Wearable communication enhancement device |
US10585486B2 (en) * | 2014-01-03 | 2020-03-10 | Harman International Industries, Incorporated | Gesture interactive wearable spatial audio system |
US9549273B2 (en) * | 2014-08-28 | 2017-01-17 | Qualcomm Incorporated | Selective enabling of a component by a microphone circuit |
GB201419396D0 (en) * | 2014-10-31 | 2014-12-17 | Univ Salford Entpr Ltd | Assistive Mixing System And Method Of Assembling A Synchronised Spattial Sound Stage |
US9552816B2 (en) * | 2014-12-19 | 2017-01-24 | Amazon Technologies, Inc. | Application focus in speech-based systems |
US9965685B2 (en) * | 2015-06-12 | 2018-05-08 | Google Llc | Method and system for detecting an audio event for smart home devices |
WO2017088026A1 (en) * | 2015-11-25 | 2017-06-01 | Supered Pty Ltd | Computer-implemented frameworks and methodologies configured to enable delivery of content and/or user interface functionality based on monitoring of activity in a user interface environment and/or control access to services delivered in an online environment responsive to operation of a risk assessment protocol |
US10134422B2 (en) * | 2015-12-01 | 2018-11-20 | Qualcomm Incorporated | Determining audio event based on location information |
US20170199934A1 (en) * | 2016-01-11 | 2017-07-13 | Google Inc. | Method and apparatus for audio summarization |
US9661473B1 (en) * | 2016-06-17 | 2017-05-23 | Qualcomm Incorporated | Methods and apparatus for determining locations of devices in confined spaces |
EP3288035B1 (en) | 2016-08-22 | 2022-10-12 | Dolby Laboratories Licensing Corp. | Personal audio analytics and behavior modification feedback |
-
2017
- 2017-10-12 US US15/782,287 patent/US10614831B2/en active Active
-
2018
- 2018-10-12 EP EP18797314.4A patent/EP3695404B1/en active Active
- 2018-10-12 TW TW107136063A patent/TWI779113B/zh active
- 2018-10-12 CN CN201880064773.2A patent/CN111194465B/zh active Active
- 2018-10-12 JP JP2020520512A patent/JP6812604B2/ja active Active
- 2018-10-12 SG SG11202001986RA patent/SG11202001986RA/en unknown
- 2018-10-12 WO PCT/US2018/055739 patent/WO2019075423A1/en unknown
- 2018-10-12 BR BR112020006904-3A patent/BR112020006904A2/pt unknown
- 2018-10-12 KR KR1020207010405A patent/KR102229039B1/ko active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
EP3695404C0 (en) | 2024-01-03 |
KR102229039B1 (ko) | 2021-03-16 |
TWI779113B (zh) | 2022-10-01 |
EP3695404A1 (en) | 2020-08-19 |
BR112020006904A2 (pt) | 2020-10-06 |
US10614831B2 (en) | 2020-04-07 |
SG11202001986RA (en) | 2020-04-29 |
TW201923758A (zh) | 2019-06-16 |
CN111194465B (zh) | 2021-07-06 |
KR20200062229A (ko) | 2020-06-03 |
WO2019075423A1 (en) | 2019-04-18 |
CN111194465A (zh) | 2020-05-22 |
EP3695404B1 (en) | 2024-01-03 |
JP2020537180A (ja) | 2020-12-17 |
US20190115045A1 (en) | 2019-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6812604B2 (ja) | オーディオアクティビティ追跡および要約 | |
US11418893B2 (en) | Selective modification of background noises | |
US11979716B2 (en) | Selectively conditioning audio signals based on an audioprint of an object | |
CN1761265B (zh) | 移动设备上的多传感语音增强方法和装置 | |
JP7167910B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
KR20170100007A (ko) | 청취 로그 및 음악 라이브러리를 생성하기 위한 시스템 및 방법 | |
US10171971B2 (en) | Electrical systems and related methods for providing smart mobile electronic device features to a user of a wearable device | |
JP2015118185A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
KR20210006419A (ko) | 건강 관련 정보 생성 및 저장 | |
CN108922224B (zh) | 位置提示方法及相关产品 | |
JP6884854B2 (ja) | 音声提供装置、音声提供方法及びプログラム | |
US11397799B2 (en) | User authentication by subvocalization of melody singing | |
US20220020387A1 (en) | Interrupt for noise-cancelling audio devices | |
EP3288035B1 (en) | Personal audio analytics and behavior modification feedback | |
US11935557B2 (en) | Techniques for detecting and processing domain-specific terminology | |
US20230386104A1 (en) | Information display device and information display method | |
WO2020211467A1 (zh) | 一种电子设备、控制方法及设备*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200513 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200717 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200513 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200513 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200824 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201216 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6812604 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |