JP7327161B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- JP7327161B2 JP7327161B2 JP2019521168A JP2019521168A JP7327161B2 JP 7327161 B2 JP7327161 B2 JP 7327161B2 JP 2019521168 A JP2019521168 A JP 2019521168A JP 2019521168 A JP2019521168 A JP 2019521168A JP 7327161 B2 JP7327161 B2 JP 7327161B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- sensing
- users
- response
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 41
- 238000003672 processing method Methods 0.000 title claims description 7
- 230000004044 response Effects 0.000 claims description 137
- 230000009471 action Effects 0.000 claims description 34
- 238000004458 analytical method Methods 0.000 claims description 30
- 239000003795 chemical substances by application Substances 0.000 description 45
- 238000005516 engineering process Methods 0.000 description 33
- 238000010586 diagram Methods 0.000 description 22
- 230000005236 sound signal Effects 0.000 description 15
- 238000001514 detection method Methods 0.000 description 12
- 238000000034 method Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000008921 facial expression Effects 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000008451 emotion Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 235000019640 taste Nutrition 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- 230000009118 appropriate response Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/63—Querying
- G06F16/635—Filtering based on additional data, e.g. user or group profiles
- G06F16/636—Filtering based on additional data, e.g. user or group profiles by using biological or physiological data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/63—Querying
- G06F16/635—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K15/00—Acoustics not otherwise provided for
- G10K15/04—Sound-producing devices
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/81—Detection of presence or absence of voice signals for discriminating voice from music
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Physiology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- User Interface Of Digital Computer (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
2.エージェント装置の構成と動作
3.応答システムの第1の利用例(団欒モード)
4.応答システムの第2の利用例(別々行動モード)
5.応答システムの第3の利用例(邪魔者乱入モード)
6.応答システムの第4の利用例(パーティーモード)
7.ニューラルネットワークへの適用
8.クラウドコンピューティングへの適用
9.その他
図1は、本技術を適用した応答システムの概要を示している。
(エージェント装置の構成例)
図2は、本技術を適用したエージェント装置20のハードウェア構成例を示すブロック図である。
ここで、センシング情報を得るのに必要なセンシング技術の詳細について説明する。
スマートフォンやウェアラブル機器など、ユーザが携帯可能なデバイスが有するGPS機能によって、センシング情報として、位置情報を取得することができる。位置情報は、ユーザの嗜好(どのような楽曲を好んで選ぶかの傾向)と紐づけることができる。蓄積された位置情報により、ユーザの現在位置が、日頃よく行く場所であるか、ユーザにとって非日常的な場所であるか、などを判定することも可能となる。
スマートフォンやウェアラブル機器など、ユーザが携帯可能なデバイスが有する加速度センサによって、センシング情報として、ユーザの動作を表す動作情報を取得することができる。動作情報は、ユーザの嗜好と紐づけることができる。
ユーザが存在する環境に設けられた照度センサによって、センシング情報として、その場の照度を取得したり、光源推定を行うことができる。照度や光源推定結果は、ユーザの嗜好と紐づけることができる。
ユーザが存在する環境において、センシング情報として、マイクによって検出された音声を取得することで、その場の“うるささ”の判定や、音源方向推定を行うことができる。音源方向推定の結果により、例えば、子供が走り回っているのか、大人同士の会話が盛り上がっているのか、テレビの音声が流れているのか、などといった、音源の種類を特定することもできる。
センシング情報として、カメラによって撮像された画像(動画像)を取得し、リアルタイムで解析することで、顔認識と動作認識を行うことができる。顔認識や動作認識の結果として得られる、その環境に誰がいるのか、何をしているのか、などの情報を、センシング情報として取得するようにしてもよい。
視線検出が可能なメガネ型のウェアラブル機器をユーザが装着したり、視線検出機能を有するカメラがユーザを撮像することで、センシング情報として、ユーザの視線位置を示す視線情報を取得することができる。
心拍の変動検知が可能なリストバンド型のウェアラブル機器をユーザが装着することで、センシング情報として、ユーザの心拍の変動を示す心拍情報を取得することができる。ここでは、心拍情報が取得されるものとするが、これ以外にも、心電図、血圧、体温などの生体情報が取得されるようにしてもよい。
センシング情報として、カメラによって撮像された画像(動画像)を取得し、リアルタイムで解析することで、ユーザの発話時の表情を認識することができる。
センシング情報として、マイクによって検出されたユーザの発話時の音声を取得し、その特徴量を解析することで、そのユーザの感情を推定することができる。
センシング情報として、ユーザのカレンダ情報やToDoリストなどから、例えばその日のユーザの予定や過去の行動を示す予定情報を取得することができる。ユーザの予定情報をモデル化することで、ユーザの置かれている状況を推定することもできる。このとき、「デート」や「ライブ」などの短期的な予定を示す予定情報と、「資格試験」などの長期的な予定を示す予定情報とを区別してモデル化してもよい。さらに、ユーザ固有の習慣を考慮して、ユーザの予定情報をモデル化してもよい。
センシング情報として、動画投稿サイトでの他者による動画像の評価を取得することができる。さらに、投稿ユーザ情報やタグ情報を取得することで、その動画像が楽曲中心の動画像であるか否かを推定することができる。
センシング情報として、ユーザによる発話履歴を取得することができる。発話履歴は、複数人のユーザ同士の会話の内容を示すものであってもよいし、エージェント装置20に対する依頼のための発話の内容を示すものであってもよい。
センシング情報として、エージェント装置20以外で楽曲を出力可能なデバイスを示すデバイス情報を取得することができる。デバイス情報は、例えばクラウド上に蓄積されるようにする。これにより、複数人のユーザが存在する環境にあるオーディオ機器、ユーザ個人が所有するスマートフォンや携帯音楽プレーヤなどから、選択的に応答を出力することができる。
エージェント装置20のカメラによって撮像された画像を解析することで、センシング情報として、家の中でのユーザの位置情報を取得することができる。
センシング情報として、家の中の家電製品(冷暖房器具や照明器具)のON/OFF状況を取得することで、家の中でのユーザの位置情報を取得することができる。
次に、図3のフローチャートを参照して、エージェント装置20によって実行される応答出力処理の流れについて説明する。
図6は、本技術を適用した応答システムの第1の利用例について説明する図である。
図8は、本技術を適用した応答システムの第2の利用例について説明する図である。
図10は、本技術を適用した応答システムの第3の利用例について説明する図である。
図12は、本技術を適用した応答システムの第4の利用例について説明する図である。
本技術は、ニューラルネットワークへ適用することができる。
本技術は、クラウドコンピューティングへ適用することもできる。
<9.その他>
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
(1)
複数人のユーザが存在する環境におけるセンシングにより得られたセンシング情報を分析する分析部と、
前記センシング情報の分析結果に応じて、少なくともいずれかの前記ユーザに対する応答を生成する応答生成部と
を備える情報処理装置。
(2)
前記分析部は、前記センシング情報を分析することで、前記環境における前記ユーザの状態を推定し、
前記応答生成部は、推定された前記ユーザの状態に対応した前記応答を生成する
(1)に記載の情報処理装置。
(3)
前記ユーザの状態をクラスタリングすることで、前記ユーザの状態が分類されるクラスタを決定するクラスタリング部をさらに備え、
前記応答生成部は、決定された前記クラスタに対応した前記応答を生成する
(2)に記載の情報処理装置。
(4)
前記応答生成部は、前記センシング情報を用いて、前記クラスタに対応した前記応答を生成する
(3)に記載の情報処理装置。
(5)
前記応答生成部は、前記ユーザそれぞれのプロファイルを用いて、前記クラスタに対応した前記応答を生成する
(3)または(4)に記載の情報処理装置。
(6)
前記応答生成部は、前記複数人のユーザの中に、前記プロファイルのない前記ユーザが存在する場合、前記プロファイルのない前記ユーザの属性に応じた一般化プロファイルを用いて、前記クラスタに対応した前記応答を生成する
(5)に記載の情報処理装置。
(7)
前記応答は、楽曲である
(1)乃至(6)のいずれかに記載の情報処理装置。
(8)
前記応答は、発話音声である
(1)乃至(6)のいずれかに記載の情報処理装置。
(9)
前記センシング情報は、前記環境を撮像した画像を含む
(1)乃至(8)のいずれかに記載の情報処理装置。
(10)
前記センシング情報は、前記環境において検出された音声を含む
(1)乃至(8)のいずれかに記載の情報処理装置。
(11)
前記センシング情報は、前記ユーザの視線情報を含む
(1)乃至(8)のいずれかに記載の情報処理装置。
(12)
前記センシング情報は、前記ユーザの生体情報を含む
(1)乃至(8)のいずれかに記載の情報処理装置。
(13)
前記センシング情報は、前記ユーザの位置情報を含む
(1)乃至(8)のいずれかに記載の情報処理装置。
(14)
前記センシング情報は、前記ユーザの動作情報を含む
(1)乃至(8)のいずれかに記載の情報処理装置。
(15)
前記センシング情報は、前記環境における照度を含む
(1)乃至(8)のいずれかに記載の情報処理装置。
(16)
前記センシング情報は、前記ユーザの予定情報を含む
(1)乃至(8)のいずれかに記載の情報処理装置。
(17)
前記センシング情報は、前記ユーザの発話履歴を含む
(1)乃至(8)のいずれかに記載の情報処理装置。
(18)
前記環境においてセンシングを行うセンシング部をさらに備える
(1)乃至(17)のいずれかに記載の情報処理装置。
(19)
前記応答生成部は、前記ユーザの状態が、複数人の前記ユーザが互いに楽しく会話を交わしているような状態であると推定された場合、前記ユーザ同士の会話を邪魔しないような前記応答を生成する
(2)乃至(18)のいずれかに記載の情報処理装置。
(20)
前記応答生成部は、前記ユーザの状態が、複数人の前記ユーザが別々の作業を行っているような状態であると推定された場合、前記ユーザ同士の会話を発生させるような前記応答を生成する
(2)乃至(18)のいずれかに記載の情報処理装置。
(21)
前記応答生成部は、前記ユーザの状態が、第1のユーザが第2のユーザが行っている作業の邪魔になるような行動をとっているような状態であると推定された場合、前記第1のユーザに対する前記応答を生成する
(2)乃至(18)のいずれかに記載の情報処理装置。
(22)
前記応答生成部は、前記ユーザの状態が、超多人数で盛り上がっている状態であると推定された場合、その盛り上がりを邪魔しないような前記応答を生成する
(2)乃至(18)のいずれかに記載の情報処理装置。
(23)
情報処理装置が、
複数人のユーザが存在する環境におけるセンシングにより得られたセンシング情報を分析し、
前記センシング情報の分析結果に応じて、少なくともいずれかの前記ユーザに対する応答を生成する
情報処理方法。
(24)
コンピュータに、
複数人のユーザが存在する環境におけるセンシングにより得られたセンシング情報を分析し、
前記センシング情報の分析結果に応じて、少なくともいずれかの前記ユーザに対する応答を生成する
処理を実行させるプログラム。
Claims (8)
- 複数人のユーザが存在する環境におけるセンシングにより得られた第1のセンシング情報を分析することで、前記環境における複数人の前記ユーザの状態を推定する分析部と、
推定された前記ユーザの状態に対応した応答を生成する応答生成部と
を備え、
前記応答生成部は、前記ユーザの状態として、第1のユーザが第2のユーザの邪魔になるような行動をとっている状態であることが推定された場合、前記センシングにより得られた第2のセンシング情報を用いて、前記第1のユーザに対する発話音声を生成する
情報処理装置。 - 複数人の前記ユーザの状態を分類する複数の行動モードから、推定された前記ユーザの状態が分類される前記行動モードを決定する分類部をさらに備え、
前記応答生成部は、決定された前記行動モードに対応した前記応答を生成する
請求項1に記載の情報処理装置。 - 前記応答生成部は、前記ユーザそれぞれのプロファイルを用いて、前記行動モードに対応した前記応答を生成する
請求項2に記載の情報処理装置。 - 前記応答生成部は、前記複数人のユーザの中に、前記プロファイルのない前記ユーザが存在する場合、前記プロファイルのない前記ユーザの属性に応じた一般化プロファイルを用いて、前記行動モードに対応した前記応答を生成する
請求項3に記載の情報処理装置。 - 前記第1のセンシング情報は、前記環境を撮像した画像、前記環境において検出された音声、前記ユーザの視線情報、および、前記ユーザの生体情報を含み、
前記第2のセンシング情報は、前記環境を撮像した画像、前記ユーザの予定情報、および、前記ユーザの発話履歴を含む
請求項1乃至4のいずれかに記載の情報処理装置。 - 前記環境においてセンシングを行うセンシング部をさらに備える
請求項1乃至5のいずれかに記載の情報処理装置。 - 情報処理装置が、
複数人のユーザが存在する環境におけるセンシングにより得られた第1のセンシング情報を分析することで、前記環境における複数人の前記ユーザの状態を推定し、
推定された前記ユーザの状態に対応した応答を生成し、
前記ユーザの状態として、第1のユーザが第2のユーザの邪魔になるような行動をとっている状態であることが推定された場合、前記センシングにより得られた第2のセンシング情報を用いて、前記第1のユーザに対する発話音声を生成する
情報処理方法。 - コンピュータに、
複数人のユーザが存在する環境におけるセンシングにより得られた第1のセンシング情報を分析することで、前記環境における複数人の前記ユーザの状態を推定し、
推定された前記ユーザの状態に対応した応答を生成し、
前記ユーザの状態として、第1のユーザが第2のユーザの邪魔になるような行動をとっている状態であることが推定された場合、前記センシングにより得られた第2のセンシング情報を用いて、前記第1のユーザに対する発話音声を生成する
処理を実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017210011 | 2017-10-31 | ||
JP2017210011 | 2017-10-31 | ||
PCT/JP2018/038608 WO2019087779A1 (ja) | 2017-10-31 | 2018-10-17 | 情報処理装置、情報処理方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019087779A1 JPWO2019087779A1 (ja) | 2020-09-24 |
JP7327161B2 true JP7327161B2 (ja) | 2023-08-16 |
Family
ID=66332586
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019521168A Active JP7327161B2 (ja) | 2017-10-31 | 2018-10-17 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210110846A1 (ja) |
EP (1) | EP3575978A4 (ja) |
JP (1) | JP7327161B2 (ja) |
WO (1) | WO2019087779A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002366166A (ja) | 2001-06-11 | 2002-12-20 | Pioneer Electronic Corp | コンテンツ提供システム及び方法、並びにそのためのコンピュータプログラム |
JP2008263274A (ja) | 2007-04-10 | 2008-10-30 | Sony Corp | 画像保存処理装置、画像検索装置、画像保存処理方法、画像検索方法、プログラム |
JP2013120473A (ja) | 2011-12-07 | 2013-06-17 | Nikon Corp | 電子機器、情報処理方法およびプログラム |
JP2014130467A (ja) | 2012-12-28 | 2014-07-10 | Sony Corp | 情報処理装置、情報処理方法及びコンピュータプログラム |
WO2016136104A1 (ja) | 2015-02-23 | 2016-09-01 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3437617B2 (ja) * | 1993-06-03 | 2003-08-18 | 株式会社東芝 | 時系列データ記録再生装置 |
JP6535497B2 (ja) | 2015-03-31 | 2019-06-26 | 株式会社エクシング | 楽曲推薦システム、プログラム及び楽曲推薦方法 |
-
2018
- 2018-10-17 WO PCT/JP2018/038608 patent/WO2019087779A1/ja unknown
- 2018-10-17 EP EP18873612.8A patent/EP3575978A4/en not_active Ceased
- 2018-10-17 JP JP2019521168A patent/JP7327161B2/ja active Active
- 2018-10-17 US US16/464,542 patent/US20210110846A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002366166A (ja) | 2001-06-11 | 2002-12-20 | Pioneer Electronic Corp | コンテンツ提供システム及び方法、並びにそのためのコンピュータプログラム |
JP2008263274A (ja) | 2007-04-10 | 2008-10-30 | Sony Corp | 画像保存処理装置、画像検索装置、画像保存処理方法、画像検索方法、プログラム |
JP2013120473A (ja) | 2011-12-07 | 2013-06-17 | Nikon Corp | 電子機器、情報処理方法およびプログラム |
JP2014130467A (ja) | 2012-12-28 | 2014-07-10 | Sony Corp | 情報処理装置、情報処理方法及びコンピュータプログラム |
WO2016136104A1 (ja) | 2015-02-23 | 2016-09-01 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
Non-Patent Citations (1)
Title |
---|
澤田 竜一,顔画像を用いた対話者の年齢・性別推定とロボットからの話題提供への応用,第78回(平成28年)全国大会講演論文集(2) 人工知能と認知科学,一般社団法人情報処理学会,2016年03月10日,pp.2-117~2-118,3M-02 |
Also Published As
Publication number | Publication date |
---|---|
EP3575978A1 (en) | 2019-12-04 |
EP3575978A4 (en) | 2020-04-01 |
WO2019087779A1 (ja) | 2019-05-09 |
US20210110846A1 (en) | 2021-04-15 |
JPWO2019087779A1 (ja) | 2020-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10276188B2 (en) | Systems and methods for identifying human emotions and/or mental health states based on analyses of audio inputs and/or behavioral data collected from computing devices | |
US9626695B2 (en) | Automatically presenting different user experiences, such as customized voices in automated communication systems | |
US10498673B2 (en) | Device and method for providing user-customized content | |
US11074905B2 (en) | System and method for personalization in speech recognition | |
US20180101776A1 (en) | Extracting An Emotional State From Device Data | |
JP2019207720A (ja) | 情報処理装置、情報処理方法及びプログラム | |
US7660825B2 (en) | Audio/visual content providing system and audio/visual content providing method | |
US11314475B2 (en) | Customizing content delivery through cognitive analysis | |
WO2016042889A1 (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム | |
US20180054688A1 (en) | Personal Audio Lifestyle Analytics and Behavior Modification Feedback | |
KR20190033719A (ko) | 개인방송 컨텐츠 추천방법 | |
JP2017064853A (ja) | ロボット、コンテンツ決定装置、コンテンツ決定方法、及びプログラム | |
Wyatt et al. | A Privacy-Sensitive Approach to Modeling Multi-Person Conversations. | |
US11393462B1 (en) | System to characterize vocal presentation | |
US20160357498A1 (en) | Gamified Adaptive Digital Disc Jockey | |
JP7327161B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
WO2019244455A1 (ja) | 情報処理装置及び情報処理方法 | |
EP3654194A1 (en) | Information processing device, information processing method, and program | |
WO2020066154A1 (ja) | 情報処理装置及び情報処理方法、コンピュータプログラム、並びに対話システム | |
US12047660B2 (en) | Information processing apparatus, information processing method, and program | |
Cao | Objective sociability measures from multi-modal smartphone data and unconstrained day-long audio streams | |
US20220217442A1 (en) | Method and device to generate suggested actions based on passive audio | |
de Andrade et al. | Edge emotion recognition: applying fast Fourier transform on speech Mel spectrograms to classify emotion on a Raspberry Pi for near real-time analytics | |
Flutura et al. | Mobilessi-a multi-modal framework for social signal interpretation on mobile devices | |
Vildjiounaite et al. | Requirements and software framework for adaptive multimodal affect recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220913 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230317 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230717 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7327161 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |