JP6756328B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- JP6756328B2 JP6756328B2 JP2017509478A JP2017509478A JP6756328B2 JP 6756328 B2 JP6756328 B2 JP 6756328B2 JP 2017509478 A JP2017509478 A JP 2017509478A JP 2017509478 A JP2017509478 A JP 2017509478A JP 6756328 B2 JP6756328 B2 JP 6756328B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- users
- conversation
- communication
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 title claims description 90
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000004891 communication Methods 0.000 claims description 96
- 238000000605 extraction Methods 0.000 claims description 30
- 230000003993 interaction Effects 0.000 claims description 29
- 230000033001 locomotion Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 10
- 230000002123 temporal effect Effects 0.000 claims description 8
- 239000000090 biomarker Substances 0.000 claims description 2
- 230000009471 action Effects 0.000 description 44
- 238000001514 detection method Methods 0.000 description 39
- 238000000034 method Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 23
- 230000001133 acceleration Effects 0.000 description 16
- 230000003044 adaptive effect Effects 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 10
- 230000006399 behavior Effects 0.000 description 8
- 230000006978 adaptation Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 239000013589 supplement Substances 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004800 psychological effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/107—Computer-aided management of electronic mailing [e-mailing]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/206—Drawing of charts or graphs
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/24—Speech recognition using non-acoustical features
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/13—Receivers
- G01S19/34—Power consumption
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Primary Health Care (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Computer Hardware Design (AREA)
- Data Mining & Analysis (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- User Interface Of Digital Computer (AREA)
- Telephonic Communication Services (AREA)
Description
1.第一の実施形態
1−1.概要およびシステム構成
1−2.会話検出のための処理の例
1−3.応用的な情報の生成例
1−4.第一の実施形態に係る補足
2.第二の実施形態
2−1.概要およびシステム構成
2−2.応用例
2−3.第二の実施形態に係る補足
3.ハードウェア構成
(1−1.概要およびシステム構成)
図1は、本開示の一実施形態における会話の検出について概念的に説明するための図である。図1には、(a)〜(c)として、本実施形態において複数のユーザの中から会話が発生しているユーザが特定される過程が示されている。まず、(a)に示すように、対象ユーザとの間で会話が発生しているか否かを判定するために、対象ユーザ以外のユーザが、候補ユーザと他のユーザとに分けられる。候補ユーザは、例えば、GNSSやWi−Fi測位などによって対象ユーザに近い位置にいることが示されるユーザである。他のユーザ、すなわち物理的な制約から会話が発生している可能性が低いと推定されるユーザを以降の検出処理の対象から除外することによって、処理量を削減し、かつ検出の精度を向上させることができる。
図4は、本開示の一実施形態におけるアクションの検出について説明するための図である。図4に示された例では、ウェアラブル端末100cに、ヘッドセット110と、ユーザのうなずきを検出するためのモーションセンサ120とが含まれている。ヘッドセット110は、マイクロフォン112を含み、音声データを取得する。モーションセンサ120は、ジャイロセンサ122および加速度センサ124を含み、角速度および加速度のセンサデータを取得する。ここで、上述したシステム10におけるアクション検出部12は、音声データ抽出されるエネルギーが閾値を超えることを開始条件、エネルギーが閾値を下回った状態が所定の時間以上継続することを終了条件として、ユーザの発話区間を検出することができる。一方、アクション検出部12は、角速度の所定の周波数が大きい区間から加速度の分散の大きい区間を除去することによって、ユーザのうなずきが発生した区間を検出することができる。
・発話の交換(第1のユーザの発話と第2のユーザの発話とが交互に発生)
・発話中の非発話者のうなずき
・発話の短い間における非発話者のうなずき
・両者同時のうなずき
・相手の発話の間における発話+うなずきの応答
・発話区間の一致(第1のユーザの発話と第2のユーザの発話とが同時に発生)
・発話に対する非発話者のリアクションがない
・発話者の発話終了時における非発話者のジェスチャによる反応
・発話に含まれる単語に共通性がある
・発話内容に共通性があり、受け答えが整合している
・発話者と非発話者との身体方向が交差している
・歩行や食事などの動作が共通している
・両者の脈拍の変化に相関性がある
図11は、本開示の一実施形態における、会話の検出によって得られた情報の利用例について説明するための図である。例えば、上記で図3を参照して説明した例では、会話判定部15による会話発生の判定結果が、スコア算出部16およびグルーピング部17によって利用されたが、本実施形態における情報の利用例はこのような例には限られず、他にも様々な利用が可能である。図11には、そのような利用のための機能構成として、UI生成部171〜話題推薦部183を示した。これらの機能構成は、端末装置またはサーバにおいて、例えばプロセッサおよびメモリまたはストレージを用いてソフトウェア的に実装される。以下、これらの機能構成によって提供される情報について、さらに説明する。
UI生成部171は、例えば、上記で図6〜図8を参照して説明したような、ユーザ間の会話の状態を時系列でグラフ表示するユーザインターフェースを提供してもよい。また、例えば、UI生成部171は、上記のようなリアルタイムの会話の状態をリストで表示するユーザインターフェースを提供してもよい。また、UI生成部171は、そのようにして表示されたリアルタイムの会話の状態を、他のアプリケーションに連携することを可能にしてもよい。例えば、UI生成部171は、ソーシャルメディアへのリンク機能172とも協働して、共通の会話グループに属するユーザの間で画像などのデータの共有を可能にしたり、ゲームを同時にプレイしたりすることをサポートしてもよい。
第2の例では、ログ出力部175、およびソーシャルメディアへのリンク機能172によって、会話した相手の履歴がタイムライン上に出力される。図15には、そのような出力のための機能構成が示されている(なお、図示された例では会話の推定は端末装置で実行されているが、サーバで実行されてもよい)。図15に示された例では、端末装置100zが、センシング部11、アクション検出部12、候補選出部13、特徴量抽出部14、会話判定部15、通信部31、ログ出力部175、およびソーシャルメディアとリンクする機能172を有する。ログ出力部175は、会話判定部15の判定に基づく会話の発生履歴に基づいて、複数のユーザ(処理対象になるすべてのユーザ)に含まれる少なくとも1のユーザが会話した相手の情報、または会話した相手との会話情報の少なくともいずれかを含むログを出力する。ログ出力部175によって生成されたログは、ソーシャルメディアとリンクする機能172を介して、上記少なくとも1のユーザに提示されるソーシャルメディアのタイムライン(他の例では、ソーシャルメディアとは関係のないタイムラインであってもよい)上に出力される。また、サーバ300zでは、音声認識部34およびトピック認識部35がソフトウェア的に実装される。
第3の例では、上記の第2の例において、必ずしも会話を交換していない相手について、例えばソーシャルメディア上でのアクションが可能になる。上述のように、本実施形態において、特徴量抽出部14は、複数のユーザのそれぞれの発話音声同士に関係に基づいて特徴量を抽出するだけではなく、一方のユーザの発話音声と、他方のユーザの発話以外のアクション(例えばモーションまたは生体指標)との時間的な関係に基づいて特徴量を抽出することが可能である。これを利用して、例えば、単発的に会話した人認識部173は、ユーザが発話を交換して会話した他のユーザだけではなく、ユーザの発話に対して何らかのアクションをした他のユーザ、または、ユーザのアクションが向けられた発話をした他のユーザを認識して、ログ出力部175によって提供されるタイムライン上に表示することが可能である。これに基づいて、ユーザは、上記の他のユーザ(多くの場合、知り合いではない)に対して、クラウド上でのアクション174を実施することが可能である。このとき、クラウド上のアクションでは、プライバシーの保護のため、例えば相手のアバターが見える程度で、必ずしも個人情報はやりとりされなくてもよい。
第4の例では、図11に示された話題推薦部183が、話題を提供することによってユーザのコミュニケーションをサポートする。例えば、話題推薦部183は、特徴量抽出部14によって抽出された特徴量によって示される会話のテンポから、会話の盛り上がりの程度を推定し、それに応じて話題を推薦する。より具体的には、話題推薦部183は、会話判定部15によって算出される会話の発生確率が低下傾向であったり、別途推定される会話の盛り上がり度合い(例えばユーザの発話のテンポや、声の大きさによって推定される)が低下傾向であったりする場合に、ユーザが新たな話題を必要としていると判断して、それまでとは異なる話題を推薦してもよい。また、例えば、話題推薦部183は、会話の発生確率が上昇傾向であったり、会話の盛り上がり度合いが上昇傾向で合ったりする場合には、現在の話題が継続されると判断して、現在の話題に関する情報をユーザに提供してもよい。
第5の例では、図11に示された親密度グラフ生成部177が、ログ出力部175によって出力されたログに基づいてユーザ間の親密度を示すグラフを生成する。ここで生成される親密度グラフは、会話の発生履歴に基づいて、複数のユーザの関係性を表現するグラフ構造ともいえる。従って、親密度グラフ生成部177は、そのようなグラフ構造を特定する関係性グラフ特定部ともいえる。親密度グラフ生成部177は、例えば、ログ出力部175のログによって会話の頻度が高かったり、会話の累計時間が長かったりするユーザ同士の間で、親密度グラフにおける強いリンクを生成する。また、親密度グラフ生成部177は、アクション検出部12や特徴量抽出部14によって抽出されたリアクションの多さや種類に基づいて親密度を推定し、親密度が高いユーザ同士の間に強いリンクを生成してもよい。より具体的には、親密度グラフ生成部177は、あるユーザが他のユーザとの会話の中で、よく発話するのか、うなずいているだけなのかによって、親密度グラフにおけるユーザ間のリンクの強さを変えてもよい。また、親密度グラフ生成部177は、例えば外部(ユーザのプロフィールなど)から取得される情報に基づいて、ユーザ間のリンクにラベル(例えば、親、兄弟、上司、同僚、友人、恋人など)を与えてもよい。同様に、親密度グラフ生成部177は、親密度グラフ上で形成されたグループにラベル(例えば、家族、会社、同期、サークル)などを与えてもよい。
第6の例では、図11に示した共有欲求グラフ生成部179が、親密度グラフ生成部177によって生成された親密度グラフに適応グラフ生成部181によって生成されたフィルタを適用することによって、ユーザがコンテンツを共有する範囲を設定する。共有欲求グラフ生成部179は、複数のユーザ(処理対象になるすべてのユーザ)に含まれる少なくとも1のユーザが情報を共有する局面において、ユーザ同士の関係性を表現するグラフ構造に、共有される情報に関連するフィルタを適用することによって情報を共有する他のユーザを特定する共有ユーザ特定部の一例である。近年、ユーザ個人の生活に密着した画像や音声、資料、ライフログなどのコンテンツが大量に取得されているため、そのようなコンテンツの共有範囲を自動的に設定できる、または共有範囲の候補を自動的に絞り込むことができることは有用でありうる。
本開示の実施形態は、例えば、上記で説明したような情報処理装置、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
(2−1.概要およびシステム構成)
以上では、ユーザ間のインタラクションを示す特徴量に基づいて、対象ユーザと候補ユーザとの間で会話が発生しているか否かが判定される実施形態について説明された。以下では、上述された第一の実施形態の応用例である第二の実施形態について説明される。第二の実施形態では、複数のユーザ間において測位情報が授受されるシステムについて説明される。
(1)GNSS測位部41または仮想GNSS測位部43が生成した測位情報
(2)受信される他の端末のBluetooth(登録商標)またはWi−Fiの端末識別情報(ID)
(3)マイクロフォンが受音する音声
(4)カメラが撮像する撮像画像の情報
以上では他の装置が測位した測位情報を用いるシステムの例が説明された。以下では、当該システムの応用例が説明される。当該応用例では、近接に位置する複数の端末間で測位情報が共有される。この応用例は、例えばショッピングモールなどの限られた範囲に多数の端末が密集するような状況で有効である。
次に、図26を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図26は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
(1)少なくともユーザの発話音声を含む音声データから抽出される、前記ユーザを含む複数のユーザの間のインタラクションを示す特徴量に基づいて、前記複数のユーザの間でコミュニケーションが発生しているか否かを判定するコミュニケーション判定部を備える、情報処理装置。
(2)前記複数のユーザは、第1のユーザおよび第2のユーザを含み、
前記特徴量は、前記音声データに含まれる前記第1のユーザの発話音声と前記第2のユーザの発話音声との時間的な関係性に基づいて抽出される、前記(1)に記載の情報処理装置。
(3)前記音声データは、前記第1のユーザの発話音声を含む第1の音声データと、前記第2のユーザの発話音声を含む第2の音声データとを含む、前記(2)に記載の情報処理装置。
(4)前記音声データは、前記第1のユーザの発話音声と前記第2のユーザの発話音声とを含む単一の音声データを含む、前記(2)に記載の情報処理装置。
(5)前記音声データから前記特徴量を抽出する特徴量抽出部をさらに備える、前記(1)〜(4)のいずれか1項に記載の情報処理装置。
(6)前記コミュニケーション判定部は、前記複数のユーザから各ユーザの位置関係に基づいて選出されたユーザの間で前記コミュニケーションが発生しているか否かを判定する、前記(1)〜(5)のいずれか1項に記載の情報処理装置。
(7)前記コミュニケーション判定部は、前記複数のユーザから各ユーザの行動情報に基づいて選出されたユーザの間で前記コミュニケーションが発生しているか否かを判定する、前記(1)〜(6)のいずれか1項に記載の情報処理装置。
(8)前記特徴量は、さらに、前記複数のユーザのモーションまたは生体指標を示すセンサデータから抽出される、前記(1)〜(7)のいずれか1項に記載の情報処理装置。
(9)前記複数のユーザは、第3のユーザおよび第4のユーザを含み、
前記特徴量は、前記音声データに含まれる前記第3のユーザの発話音声と、前記センサデータによって示される前記第4のユーザのモーションまたは生体指標との関係に基づいて抽出される、前記(8)に記載の情報処理装置。
(10)前記コミュニケーションを時系列で提示する画面を表示させる表示制御部をさらに備える、前記(1)〜(9)のいずれか1項に記載の情報処理装置。
(11)前記画面において、前記コミュニケーションは、前記特徴量に基づいて算出される前記コミュニケーションの発生確率に対応した形態で提示される、前記(10)に記載の情報処理装置。
(12)前記コミュニケーションの発生履歴に基づいて、前記複数のユーザに含まれる少なくとも1のユーザがコミュニケートした相手の情報、または前記コミュニケートした相手との会話情報の少なくともいずれかを含むログを出力するログ出力部をさらに備える、前記(1)〜(11)のいずれか1項に記載の情報処理装置。
(13)前記ログ出力部は、前記ログを前記少なくとも1のユーザに提示されるタイムライン上に出力する、前記(12)に記載の情報処理装置。
(14)前記コミュニケーションの発生履歴に基づいて、前記複数のユーザの関係性を表現するグラフ構造を特定する関係性グラフ特定部をさらに備える、前記(1)〜(13)のいずれか1項に記載の情報処理装置。
(15)前記複数のユーザに含まれる少なくとも1のユーザが情報を共有する局面において、前記グラフ構造に、前記共有される情報に関連するフィルタを適用することによって前記情報を共有する他のユーザを特定する共有ユーザ特定部をさらに備える、前記(14)に記載の情報処理装置。
(16)前記フィルタは、前記グラフ構造に含まれるユーザの位置関係、前記グラフ構造に含まれるユーザの所属先、前記グラフ構造に含まれるユーザの興味の対象、前記グラフ構造に含まれるユーザの行動情報、または前記グラフ構造に含まれるユーザの有するナレッジに基づいて構成される、前記(15)に記載の情報処理装置。
(17)前記関係性グラフ特定部は、第1の期間における前記コミュニケーションの発生履歴に基づいて特定された前記グラフ構造を、前記第1の期間よりも短い直近の第2の期間において発生した前記コミュニケーションの内容に応じて一時的に補正する、前記(14)〜(16)のいずれか1項に記載の情報処理装置。
(18)前記複数のユーザは、第5のユーザおよび第6のユーザを含み、
前記関係性グラフ特定部は、前記第2の期間において発生した前記コミュニケーションにおいて前記第5のユーザが発信した内容に前記第6のユーザの名称が含まれる場合に、前記グラフ構造において前記第5のユーザと前記第6のユーザとの関係性を一時的に強化する、前記(17)に記載の情報処理装置。
(19)プロセッサが、少なくともユーザの発話音声を含む音声データから抽出される、前記ユーザを含む複数のユーザの間のインタラクションを示す特徴量に基づいて、前記複数のユーザの間でコミュニケーションが発生しているか否かを判定することを含む、情報処理方法。
(20)少なくともユーザの発話音声を含む音声データから抽出される、前記ユーザを含む複数のユーザの間のインタラクションを示す特徴量に基づいて、前記複数のユーザの間でコミュニケーションが発生しているか否かを判定する機能をコンピュータに実現させるためのプログラム。
(21)
前記ユーザの同伴者を認識するための同伴者認識情報に基づいて前記同伴者を認識する同伴者認識部と、
GNSS測位を行うためのGNSS測位権を前記ユーザが有する第1の情報処理装置に与えるか前記同伴者が有する第2の情報処理装置に与えるかを判定するGNSS測位決定部と、を備える、前記(1)に記載の情報処理装置。
(22)
前記同伴者認識情報は、前記ユーザと前記同伴者との間のインタラクションを示す特徴量、または前記ユーザが有する第1の情報処理装置が撮像する画像情報、または前記第1の情報処理装置と前記第2の情報処理装置との間の距離に関する情報、または前記第1の情報処理装置または前記第2の情報処理装置が発する端末識別情報のいずれか1つまたはこれらの組み合わせを含む、前記(21)に記載の情報処理装置。
(23)
前記第1の情報処理装置および前記第2の情報処理装置の電池残量を認識し、前記電池残量に基づいて前記GNSS測位権を与える情報処理装置を決定する、前記(21)または前記(22)に記載の情報処理装置。
(24)
前記第1の情報処理装置に近接するGNSS測位を行うことが可能な車両が認識された場合、前記車両から測位情報を取得する、前記(21)から前記(23)のいずれか1項に記載の情報処理装置。
(25)
通信部をさらに備え、前記通信部が認識する近接端末の数に応じて、間欠的にGNSS測位を行う頻度を変更する、前記(21)から前記(24)のいずれか1項に記載の情報処理装置。
11 センシング部
12 アクション検出部
13 候補選出部
14 特徴量抽出部
15 会話判定部
16 スコア算出部
17 グルーピング部
38、40 同伴者認識部
39 GNSS測位決定部
100a アイウェア
100b リストウェア
200 モバイル端末
300 サーバ
Claims (18)
- 少なくともユーザの発話音声を含む音声データから抽出される、前記ユーザを含む複数のユーザの間のインタラクションを示す特徴量に基づいて、前記複数のユーザの間でコミュニケーションが発生しているか否かを判定するコミュニケーション判定部と、
前記コミュニケーションの発生履歴に基づいて、前記複数のユーザの関係性を表現するグラフ構造を特定し、
第1の期間における前記コミュニケーションの発生履歴に基づいて特定された前記グラフ構造を、前記第1の期間よりも短い直近の第2の期間において発生した前記コミュニケーションの内容に応じて一時的に補正する
関係性グラフ特定部と
を備える、情報処理装置。 - 前記複数のユーザは、第1のユーザおよび第2のユーザを含み、
前記特徴量は、前記音声データに含まれる前記第1のユーザの発話音声と前記第2のユーザの発話音声との時間的な関係性に基づいて抽出される、請求項1に記載の情報処理装置。 - 前記音声データは、前記第1のユーザの発話音声を含む第1の音声データと、前記第2のユーザの発話音声を含む第2の音声データとを含む、請求項2に記載の情報処理装置。
- 前記音声データは、前記第1のユーザの発話音声と前記第2のユーザの発話音声とを含む単一の音声データを含む、請求項2に記載の情報処理装置。
- 前記音声データから前記特徴量を抽出する特徴量抽出部をさらに備える、請求項1〜4のいずれか1項に記載の情報処理装置。
- 前記コミュニケーション判定部は、前記複数のユーザから各ユーザの位置関係に基づいて選出されたユーザの間で前記コミュニケーションが発生しているか否かを判定する、請求項1〜5のいずれか1項に記載の情報処理装置。
- 前記コミュニケーション判定部は、前記複数のユーザから各ユーザの行動情報に基づいて選出されたユーザの間で前記コミュニケーションが発生しているか否かを判定する、請求項1〜6のいずれか1項に記載の情報処理装置。
- 前記特徴量は、さらに、前記複数のユーザのモーションまたは生体指標を示すセンサデータから抽出される、請求項1〜7のいずれか1項に記載の情報処理装置。
- 前記複数のユーザは、第3のユーザおよび第4のユーザを含み、
前記特徴量は、前記音声データに含まれる前記第3のユーザの発話音声と、前記センサデータによって示される前記第4のユーザのモーションまたは生体指標との関係に基づいて抽出される、請求項8に記載の情報処理装置。 - 前記コミュニケーションを時系列で提示する画面を表示させる表示制御部をさらに備える、請求項1〜9のいずれか1項に記載の情報処理装置。
- 前記画面において、前記コミュニケーションは、前記特徴量に基づいて算出される前記コミュニケーションの発生確率に対応した形態で提示される、請求項10に記載の情報処理装置。
- 前記コミュニケーションの発生履歴に基づいて、前記複数のユーザに含まれる少なくとも1のユーザがコミュニケートした相手の情報、または前記コミュニケートした相手との会話情報の少なくともいずれかを含むログを出力するログ出力部をさらに備える、請求項1〜11のいずれか1項に記載の情報処理装置。
- 前記ログ出力部は、前記ログを前記少なくとも1のユーザに提示されるタイムライン上に出力する、請求項12に記載の情報処理装置。
- 前記複数のユーザに含まれる少なくとも1のユーザが情報を共有する局面において、前記グラフ構造に、前記共有される情報に関連するフィルタを適用することによって前記情報を共有する他のユーザを特定する共有ユーザ特定部をさらに備える、請求項1に記載の情報処理装置。
- 前記フィルタは、前記グラフ構造に含まれるユーザの位置関係、前記グラフ構造に含まれるユーザの所属先、前記グラフ構造に含まれるユーザの興味の対象、前記グラフ構造に含まれるユーザの行動情報、または前記グラフ構造に含まれるユーザの有するナレッジに基づいて構成される、請求項14に記載の情報処理装置。
- 前記複数のユーザは、第5のユーザおよび第6のユーザを含み、
前記関係性グラフ特定部は、前記第2の期間において発生した前記コミュニケーションにおいて前記第5のユーザが発信した内容に前記第6のユーザの名称が含まれる場合に、前記グラフ構造において前記第5のユーザと前記第6のユーザとの関係性を一時的に強化する、請求項1に記載の情報処理装置。 - プロセッサが、
少なくともユーザの発話音声を含む音声データから抽出される、前記ユーザを含む複数のユーザの間のインタラクションを示す特徴量に基づいて、前記複数のユーザの間でコミュニケーションが発生しているか否かを判定し、
前記コミュニケーションの発生履歴に基づいて、前記複数のユーザの関係性を表現するグラフ構造を特定し、
第1の期間における前記コミュニケーションの発生履歴に基づいて特定された前記グラフ構造を、前記第1の期間よりも短い直近の第2の期間において発生した前記コミュニケーションの内容に応じて一時的に補正する
ことを含む、情報処理方法。 - 少なくともユーザの発話音声を含む音声データから抽出される、前記ユーザを含む複数のユーザの間のインタラクションを示す特徴量に基づいて、前記複数のユーザの間でコミュニケーションが発生しているか否かを判定
前記コミュニケーションの発生履歴に基づいて、前記複数のユーザの関係性を表現するグラフ構造を特定し、
第1の期間における前記コミュニケーションの発生履歴に基づいて特定された前記グラフ構造を、前記第1の期間よりも短い直近の第2の期間において発生した前記コミュニケーションの内容に応じて一時的に補正する
機能をコンピュータに実現させるためのプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015066901 | 2015-03-27 | ||
JP2015066901 | 2015-03-27 | ||
PCT/JP2015/085187 WO2016157642A1 (ja) | 2015-03-27 | 2015-12-16 | 情報処理装置、情報処理方法、およびプログラム |
JPPCT/JP2015/085187 | 2015-12-16 | ||
PCT/JP2016/057392 WO2016158267A1 (ja) | 2015-03-27 | 2016-03-09 | 情報処理装置、情報処理方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016158267A1 JPWO2016158267A1 (ja) | 2018-01-25 |
JP6756328B2 true JP6756328B2 (ja) | 2020-09-16 |
Family
ID=57004909
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017509478A Expired - Fee Related JP6756328B2 (ja) | 2015-03-27 | 2016-03-09 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20180040317A1 (ja) |
EP (1) | EP3276622A4 (ja) |
JP (1) | JP6756328B2 (ja) |
CN (1) | CN107408396A (ja) |
WO (2) | WO2016157642A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230143808A (ko) * | 2022-04-06 | 2023-10-13 | 네이버 주식회사 | 음성 기록을 시각화하여 재연하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램 |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6449232B2 (ja) | 2013-03-15 | 2019-01-09 | フルークコーポレイションFluke Corporation | 測定データの自動記録及びグラフ化 |
JP6468258B2 (ja) * | 2016-08-01 | 2019-02-13 | トヨタ自動車株式会社 | 音声対話装置および音声対話方法 |
US10924376B2 (en) * | 2016-12-30 | 2021-02-16 | Google Llc | Selective sensor polling |
JP7006176B2 (ja) * | 2017-11-22 | 2022-01-24 | 株式会社ぐるなび | 情報処理装置、情報処理方法及びプログラム |
JP2019106054A (ja) * | 2017-12-13 | 2019-06-27 | 株式会社東芝 | 対話システム |
JP6762973B2 (ja) * | 2018-02-06 | 2020-09-30 | Kddi株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2020066019A1 (ja) * | 2018-09-28 | 2020-04-02 | 富士通株式会社 | 対話装置、対話方法及び対話プログラム |
US11553158B2 (en) | 2018-11-09 | 2023-01-10 | Sony Group Corporation | Information processing apparatus, information processing method, and program |
JP7155927B2 (ja) * | 2018-11-19 | 2022-10-19 | トヨタ自動車株式会社 | 情報処理システム、プログラム、及び情報処理方法 |
JP7041046B2 (ja) * | 2018-12-05 | 2022-03-23 | Kddi株式会社 | グループ推定装置及びグループ推定方法 |
JP7290977B2 (ja) * | 2019-03-28 | 2023-06-14 | 株式会社日本総合研究所 | プログラム及び情報処理装置 |
JP7225276B2 (ja) * | 2021-01-29 | 2023-02-20 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
JP6924912B1 (ja) * | 2021-01-29 | 2021-08-25 | Kddi株式会社 | 情報処理装置及び情報処理方法 |
JP7434451B2 (ja) | 2022-07-28 | 2024-02-20 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
WO2024100703A1 (ja) * | 2022-11-07 | 2024-05-16 | マクセル株式会社 | 映像表示装置、映像表示システム及び映像表示装置の制御方法 |
WO2024142291A1 (ja) * | 2022-12-27 | 2024-07-04 | 株式会社I’mbesideyou | コミュニケーション可視化システム |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE4227826C2 (de) * | 1991-08-23 | 1999-07-22 | Hitachi Ltd | Digitales Verarbeitungsgerät für akustische Signale |
JP2002073072A (ja) * | 2000-08-31 | 2002-03-12 | Sony Corp | モデル適応装置およびモデル適応方法、記録媒体、並びにパターン認識装置 |
JP2002108396A (ja) * | 2000-09-29 | 2002-04-10 | Matsushita Electric Ind Co Ltd | 音声通信方法 |
US6782363B2 (en) * | 2001-05-04 | 2004-08-24 | Lucent Technologies Inc. | Method and apparatus for performing real-time endpoint detection in automatic speech recognition |
JP2003228449A (ja) * | 2002-02-01 | 2003-08-15 | Sharp Corp | 対話装置及び対話処理プログラムを記録した記録媒体 |
US20030158735A1 (en) * | 2002-02-15 | 2003-08-21 | Canon Kabushiki Kaisha | Information processing apparatus and method with speech synthesis function |
WO2004021601A1 (en) * | 2002-08-27 | 2004-03-11 | Closer Communications Llc | Wireless information retrieval and content dissemination system and method |
US7428000B2 (en) * | 2003-06-26 | 2008-09-23 | Microsoft Corp. | System and method for distributed meetings |
US7933226B2 (en) * | 2003-10-22 | 2011-04-26 | Palo Alto Research Center Incorporated | System and method for providing communication channels that each comprise at least one property dynamically changeable during social interactions |
US7894637B2 (en) * | 2004-05-21 | 2011-02-22 | Asahi Kasei Corporation | Device, program, and method for classifying behavior content of an object person |
CN101390380A (zh) * | 2006-02-28 | 2009-03-18 | 松下电器产业株式会社 | 可佩戴式终端 |
US7730411B2 (en) * | 2007-02-01 | 2010-06-01 | Cisco Technology, Inc. | Re-creating meeting context |
JP4364251B2 (ja) * | 2007-03-28 | 2009-11-11 | 株式会社東芝 | 対話を検出する装置、方法およびプログラム |
JP2008262046A (ja) * | 2007-04-12 | 2008-10-30 | Hitachi Ltd | 会議可視化システム、会議可視化方法、及び集計処理サーバ |
US9491573B2 (en) * | 2008-11-06 | 2016-11-08 | Texas Instruments Incorporated | Communication device for providing value-added information based upon content and/or context information |
US20100318571A1 (en) * | 2009-06-16 | 2010-12-16 | Leah Pearlman | Selective Content Accessibility in a Social Network |
WO2012036305A1 (ja) * | 2010-09-17 | 2012-03-22 | 日本電気株式会社 | 音声認識装置、音声認識方法、及びプログラム |
JP5525433B2 (ja) * | 2010-12-24 | 2014-06-18 | Kddi株式会社 | ソーシャルグラフ更新システム、ソーシャルグラフ更新方法、およびプログラム |
JP2012155374A (ja) * | 2011-01-21 | 2012-08-16 | Sony Corp | 情報処理装置、情報処理方法、プログラムおよび情報処理システム |
US8990416B2 (en) * | 2011-05-06 | 2015-03-24 | Oracle International Corporation | Support for a new insert stream (ISTREAM) operation in complex event processing (CEP) |
JP5772448B2 (ja) * | 2011-09-27 | 2015-09-02 | 富士ゼロックス株式会社 | 音声解析システムおよび音声解析装置 |
JP2013135325A (ja) * | 2011-12-26 | 2013-07-08 | Fuji Xerox Co Ltd | 音声解析装置 |
JP2013140534A (ja) * | 2012-01-06 | 2013-07-18 | Fuji Xerox Co Ltd | 音声解析装置、音声解析システムおよびプログラム |
JP2013164468A (ja) * | 2012-02-09 | 2013-08-22 | Fuji Xerox Co Ltd | 音声解析装置、音声解析システムおよびプログラム |
JP5433760B2 (ja) * | 2012-10-18 | 2014-03-05 | 株式会社日立製作所 | 会議分析システム |
CN103888423B (zh) * | 2012-12-20 | 2019-01-15 | 联想(北京)有限公司 | 信息处理方法和信息处理设备 |
US20130281801A1 (en) * | 2013-03-04 | 2013-10-24 | Hello Inc. | System using patient monitoring devices with unique patient ID's and a telemetry system |
JP6464449B2 (ja) * | 2014-08-29 | 2019-02-06 | 本田技研工業株式会社 | 音源分離装置、及び音源分離方法 |
US10120907B2 (en) * | 2014-09-24 | 2018-11-06 | Oracle International Corporation | Scaling event processing using distributed flows and map-reduce operations |
-
2015
- 2015-12-16 WO PCT/JP2015/085187 patent/WO2016157642A1/ja active Application Filing
-
2016
- 2016-03-09 EP EP16772151.3A patent/EP3276622A4/en not_active Ceased
- 2016-03-09 JP JP2017509478A patent/JP6756328B2/ja not_active Expired - Fee Related
- 2016-03-09 CN CN201680016943.0A patent/CN107408396A/zh active Pending
- 2016-03-09 WO PCT/JP2016/057392 patent/WO2016158267A1/ja active Application Filing
- 2016-03-09 US US15/554,328 patent/US20180040317A1/en not_active Abandoned
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230143808A (ko) * | 2022-04-06 | 2023-10-13 | 네이버 주식회사 | 음성 기록을 시각화하여 재연하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램 |
KR102616058B1 (ko) * | 2022-04-06 | 2023-12-21 | 네이버 주식회사 | 음성 기록을 시각화하여 재연하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램 |
Also Published As
Publication number | Publication date |
---|---|
CN107408396A (zh) | 2017-11-28 |
EP3276622A1 (en) | 2018-01-31 |
WO2016158267A1 (ja) | 2016-10-06 |
JPWO2016158267A1 (ja) | 2018-01-25 |
US20180040317A1 (en) | 2018-02-08 |
WO2016157642A1 (ja) | 2016-10-06 |
EP3276622A4 (en) | 2018-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6756328B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN107850443B (zh) | 信息处理装置、信息处理方法以及程序 | |
CN107924506B (zh) | 用于推断用户可用性的方法、***及计算机存储介质 | |
JP6729571B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2020125660A1 (zh) | 信息推荐方法、装置、设备及存储介质 | |
US20190220933A1 (en) | Presence Granularity with Augmented Reality | |
US20170126963A1 (en) | Image capturing device | |
WO2021093427A1 (zh) | 访客信息管理方法及装置、电子设备和存储介质 | |
US10969924B2 (en) | Information processing apparatus, method, and non-transitory computer readable medium that controls a representation of a user object in a virtual space | |
CN111656324A (zh) | 个性化的通知代理 | |
KR102585230B1 (ko) | 통화 요청에 대한 알림 메시지를 제공하는 디바이스 및 방법 | |
US9977510B1 (en) | Gesture-driven introduction system | |
CN111433766A (zh) | 用于对时间序列数据进行分类的方法和*** | |
JP2015118185A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JPWO2016136104A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2015190141A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP6733662B2 (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム | |
KR102185369B1 (ko) | 사용자와의 대화를 위한 정보를 생성하는 시스템 및 방법 | |
US11217253B2 (en) | Information processing apparatus, information processing method, and information processing system | |
WO2016189909A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2015198672A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
WO2016147693A1 (ja) | 情報処理装置、情報処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190124 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190124 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190222 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200310 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200427 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200728 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200810 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6756328 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |