JPWO2016181670A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JPWO2016181670A1
JPWO2016181670A1 JP2017517618A JP2017517618A JPWO2016181670A1 JP WO2016181670 A1 JPWO2016181670 A1 JP WO2016181670A1 JP 2017517618 A JP2017517618 A JP 2017517618A JP 2017517618 A JP2017517618 A JP 2017517618A JP WO2016181670 A1 JPWO2016181670 A1 JP WO2016181670A1
Authority
JP
Japan
Prior art keywords
user
information
prediction
information processing
output control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017517618A
Other languages
English (en)
Inventor
由幸 小林
由幸 小林
倉田 雅友
雅友 倉田
呂尚 高岡
呂尚 高岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016181670A1 publication Critical patent/JPWO2016181670A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • G06N5/041Abduction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Game Theory and Decision Science (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】あるユーザに関する予測結果を用いて他のユーザへ有益な情報を提供することが可能な情報処理装置、情報処理方法及びプログラムを提案する。【解決手段】第2のユーザのコンテキスト情報の履歴に基づいて生成された、第1のユーザの前記コンテキスト情報に関連する、前記第2のユーザの前記コンテキスト情報の予測結果を示す予測情報を、前記第1のユーザを対象として出力させる出力制御部、を備える情報処理装置。【選択図】図1

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。
近年、ユーザの過去の情報を用いてユーザの未来の行動を予測し、予測結果に基づく情報の提供を行う技術が注目されている。例えば、下記特許文献1では、ウェアラブルセンサから得られた時系列データを用いてユーザの活動状態を確率的状態遷移モデルとして学習することにより、目的地までの経路及び時間を求める技術が開示されている。
特開2011−059924号公報
しかし、上記特許文献1などで提案されている技術には、予測結果に基づいて提供される情報の有益性に向上の余地があった。例えば、あるユーザに関する予測結果が、当該ユーザへの情報の提供のために用いられるに留まっていた。
そこで、本開示では、あるユーザに関する予測結果を用いて他のユーザへ有益な情報を提供することが可能な、新規且つ改良された情報処理装置、情報処理方法及びプログラムを提案する。
本開示によれば、第2のユーザのコンテキスト情報の履歴に基づいて生成された、第1のユーザの前記コンテキスト情報に関連する、前記第2のユーザの前記コンテキスト情報の予測結果を示す予測情報を、前記第1のユーザを対象として出力させる出力制御部、を備える情報処理装置が提供される。
また、本開示によれば、第2のユーザのコンテキスト情報の履歴に基づいて生成された、第1のユーザの前記コンテキスト情報に関連する、前記第2のユーザの前記コンテキスト情報の予測結果を示す予測情報を、前記第1のユーザを対象としてプロセッサにより出力させること、を含む情報処理方法が提供される。
また、本開示によれば、コンピュータを、第2のユーザのコンテキスト情報の履歴に基づいて生成された、第1のユーザの前記コンテキスト情報に関連する、前記第2のユーザの前記コンテキスト情報の予測結果を示す予測情報を、前記第1のユーザを対象として出力させる出力制御部、として機能させるためのプログラムが提供される。
以上説明したように本開示によれば、あるユーザに関する予測結果を用いて他のユーザへ有益な情報を提供することが可能である。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本実施形態に係る情報処理システムの概要を説明するための図である。 本実施形態に係る情報処理システムの論理的な構成の一例を示すブロック図である。 本実施形態に係る情報処理システムによる表示例を説明するための図である。 本実施形態に係る情報処理システムによる表示例を説明するための図である。 本実施形態に係る情報処理システムによる表示例を説明するための図である。 本実施形態に係る情報処理システムによる表示例を説明するための図である。 本実施形態に係る情報処理システムによる表示例を説明するための図である。 本実施形態に係る情報処理システムによる表示例を説明するための図である。 本実施形態に係る情報処理システムによる表示例を説明するための図である。 本実施形態に係る情報処理システムによる表示例を説明するための図である。 本実施形態に係る情報処理システムによる表示例を説明するための図である。 本実施形態に係る情報処理システムによる表示例を説明するための図である。 本実施形態に係るサーバにおいて実行される予測器の学習処理の流れの一例を示すフローチャートである。 本実施形態に係るサーバにおいて実行される予測情報の表示処理の流れの一例を示すフローチャートである。 本実施形態に係るサーバにおいて実行される第2のユーザの選択処理の流れの一例を示すフローチャートである。 本実施形態に係るサーバにおいて実行される予測情報の生成処理の流れの一例を示すフローチャートである。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.概要
2.構成例
3.技術的特徴
3.1.コンテキスト情報
3.2.学習及び予測
3.3.第2のユーザの選択
3.4.予測情報の生成
3.5.出力可否の設定
3.6.生成された予測情報のフィルタリング
3.7.ユーザ自身の予測情報の出力
4.動作処理例
5.ハードウェア構成例
6.まとめ
<<1.概要>>
まず、図1を参照して、本開示の一実施形態に係る情報処理システムの概要を説明する。
図1は、本実施形態に係る情報処理システムの概要を説明するための図である。図1に示す画像10は、実空間を撮像した画像に、拡張現実(AR:Augmented Reality)技術により情報11が重畳表示された画像である。AR技術は、実世界に付加的な情報を重畳してユーザに提示する技術である。AR技術においてユーザに提示される情報は、アノテーションとも呼ばれ、テキスト、アイコンまたはアニメーションなど様々な形態の仮想的なオブジェクトを用いて可視化され得る。
ユーザは、多様なユーザ端末(端末装置)を用いて、図1に示したようなアノテーションが重畳表示された画像を閲覧し得る。ユーザ端末の具体例としては、例えばスマートフォン、HMD(Head Mounted Display)及びカーナビゲーションシステム等が挙げられる。以下では、一例として、ユーザ端末が、透過型のHMDとして実現される場合を想定して説明する。透過型のHMDとは、装着状態でユーザの眼前に配置される表示部が、透明または半透明の状態のままでテキスト又は図等の画像を表示することで、実空間の風景にアノテーションを重畳表示することができる装置である。ユーザ端末の表示部(透過型ディスプレイ)に表示される像(透過して視認される背景及び重畳表示されるアノテーションを含む)を、以下では実空間画像とも称する。即ち、画像10は、実空間画像である。
図1に示した実空間画像10は、ユーザが昼食時に食堂を訪れたときに表示される画像の一例である。実空間画像10においては、食事中の他のユーザが席を立つまでの残り時間の予測結果を示すアノテーション11が、他のユーザの各々に対応付けられて表示されている。これにより、ユーザは、最も残り時間が少ないと予測された他のユーザの近くで待つ等を行うことが可能となる。
ここで、残り時間を予測されたユーザにとっては、自身が席を立つまでの残り時間の予測結果を示す情報が自身に提示されたとしても、あまり有益とは言えない。これに対し、図1に示した例のように、あるユーザの予測結果を示す情報は、その他のユーザにとって有益なものになり得る。本実施形態に係る情報処理システムは、このような、あるユーザの予測結果を示す情報を他のユーザに可視化することを相互に行うことで、ユーザ全体の利便性を向上させることが可能である。
以上、本実施形態に係る情報処理システムの概要を説明した。続いて、本実施形態に係る情報処理システムの構成例を説明する。
なお、以下では、本実施形態に係る情報処理システムにより情報が収集され、及び/又は情報の提示を受ける対象を、ユーザと称する。また、情報の提示を受けるユーザを、第1のユーザとも称する。提示される情報に対応付けられるユーザを、第2のユーザとも称する。即ち、第1のユーザには、第2のユーザに関する予測結果を示す情報が提示される。また、第1のユーザ及び第2のユーザ以外のユーザを、第3のユーザと称する場合がある。以下では、第1のユーザ、第2のユーザ及び第3のユーザを特に区別する必要が無い場合には、単にユーザと称する。
<<2.構成例>>
図2は、本実施形態に係る情報処理システム1の論理的な構成の一例を示すブロック図である。図2に示すように、本実施形態に係る情報処理システム1は、サーバ100、ユーザ端末200、認識装置300、出力装置400及び外部機器500を含む。
(1)サーバ
図2に示すように、サーバ100は、通信部110、コンテキスト情報DB120、予測器DB130及び処理部140を含む。
通信部110は、有線/無線によりサーバ100と他の装置との間でデータの送受信を行うための通信モジュールである。例えば、通信部110は、直接的に又は他のノードを経由して間接的に、ユーザ端末200、認識装置300、出力装置400及び外部機器500と通信する。
コンテキスト情報DB120は、ユーザのコンテキスト情報を記憶する機能を有する。コンテキスト情報とは、ユーザに関する情報である。詳細については後述する。
予測器DB130は、コンテキスト情報を予測するための予測器を記憶する機能を有する。
処理部140は、サーバ100の様々の機能を提供する。図2に示すように、処理部140は、取得部141、学習部142、生成部143及び出力制御部144を含む。なお、処理部140は、これらの構成要素以外の他の構成要素をさらに含み得る。即ち、処理部140は、これらの構成要素の動作以外の動作も行い得る。
取得部141は、コンテキスト情報を取得する機能を有する。例えば、取得部141は、ユーザ端末200及び認識装置300により認識されたコンテキスト情報を取得する。そして、取得部141は、取得したコンテキスト情報をコンテキスト情報DB120に記憶させる。
学習部142は、コンテキスト情報の時系列変化を学習する機能を有する。例えば、学習部142は、コンテキスト情報DB120に記憶されたコンテキスト情報の履歴に基づいて、コンテキスト情報の時系列変化を予測するための予測器を学習する。そして、学習部142は、学習した予測器を予測器DB130に記憶させる。
生成部143は、第1のユーザへ提示する予測情報(アノテーション)を生成する機能を有する。例えば、生成部143は、第2のユーザのコンテキスト情報の履歴に基づいて予測情報を生成する。具体的には、生成部143は、取得部141により取得された第2のユーザのリアルタイムのコンテキスト情報を、予測器DB130に記憶された第2のユーザの予測器に入力することで、第2のユーザのコンテキスト情報の予測を行う。そして、生成部143は、第2のユーザのコンテキスト情報の予測結果を示す予測情報を生成する。
出力制御部144は、生成部143により生成された予測情報を第1のユーザを対象として出力させる機能を有する。例えば、出力制御部144は、第1のユーザのユーザ端末200、又はユーザ端末200の周辺にある環境設置型の出力装置400により予測情報を出力させる。
ここで、実空間に固定的に又は半固定的に設けられる装置には、環境型又は環境設置型等の言葉を使用するものとする。例えば、デジタルサイネージは環境設置型の出力装置400である。また、監視カメラは環境設置型の認識装置300である。
(2)ユーザ端末
図2に示すように、ユーザ端末200は、通信部210、認識部220及び出力部230を含む。
通信部210は、有線/無線によりユーザ端末200と他の装置との間でデータの送受信を行うための通信モジュールである。例えば、通信部210は、直接的に又は他のノードを経由して間接的に、サーバ100と通信する。
認識部220は、コンテキスト情報を認識する機能を有する。認識されたコンテキスト情報は、通信部210によりサーバ100へ送信される。認識部220は、多様なセンサを含んでいてもよく、検出されたセンサ情報に基づいてコンテキスト情報を認識する。
例えば、認識部220は、カメラ、マイク、加速度センサ、ジャイロセンサ、GPS(Global Positioning System)、地磁気センサ等の各種センサを含み得る。他にも、認識部220は、Wi−Fi(登録商標、Wireless Fidelity)、Bluetooth(登録商標)等の周辺の電波に関する情報を検出する通信インタフェースを含んでいてもよい。また、認識部220は、温度、湿度、風速、気圧、照度、物質(花粉等のストレス物質、におい等)等の環境に関する情報を検出するセンサを含んでいてもよい。また、認識部220は、体温、発汗、心電、脈波、心拍、血圧、血糖、筋電、脳波等の生体情報を検出するセンサを含んでいてもよい。また、認識部220は、ユーザからのコンテキスト情報の入力を受け付ける入力部を含んでいてもよい。
出力部230は、サーバ100からの情報を出力する機能を有する。例えば、出力部230は、画像表示可能な表示部、音声出力可能なスピーカ、及び振動可能な振動モータ等を含み得る。なお、ユーザ端末200が透過型のHMDとして実現される場合、出力部230は、透過型のディスプレイとして実現され得る。
(3)認識装置
図2に示すように、認識装置300は、通信部310及び認識部320を含む。通信部310及び認識部320の構成は、通信部210及び認識部220と同様である。
なお、認識装置300は、例えばウェアラブルデバイス、環境設置型カメラ、環境設置型マイク、IoT(Internet of Things)、IoE(Internet of Everything)等により実現され得る。
(4)出力装置
図2に示すように、出力装置400は、通信部410及び出力部420を含む。通信部410及び出力部420の構成は、通信部210及び出力部230と同様である。
なお、出力装置400は、例えばデジタルサイネージ、車内案内表示装置、プロジェクションマッピング装置又は音声案内装置等により実現され得る。
(5)外部機器
外部機器500は、ユーザに関する情報を有する装置である。例えば、外部機器500は、SNS(social networking service)サーバ、メールサーバ、位置情報を用いたサービスを提供するサーバ等である。外部機器500は、ユーザのコンテキスト情報をサーバ100へ送信する。
なお、図2では、ユーザ端末200、認識装置300、出力装置400及び外部機器500がそれぞれひとつずつ図示されているが、各装置は複数であってもよい。
このように、情報処理システム1には、ユーザ端末200以外にも、環境設置型の認識装置300及び出力装置400が含まれる。このため、情報処理システム1は、ユーザ端末200を有さないユーザの予測情報も生成及び出力可能であるし、ユーザ端末200を有さないユーザを対象として予測情報を出力することも可能である。
以上、本実施形態に係る情報処理システム1の構成例を説明した。続いて、本実施形態に係る情報処理システム1の技術的特徴について説明する。
<<3.技術的特徴>>
<3.1.コンテキスト情報>
コンテキスト情報とは、ユーザが置かれた状況を示す情報である。コンテキスト情報は、ユーザに関する各種情報から認識されてもよいし、ユーザにより入力されてもよい。以下、コンテキスト情報の一例を説明する。
(1)ユーザの行動を示す情報
例えば、コンテキスト情報は、ユーザの行動を示す情報を含んでいてもよい。
認識される行動は、基本的な行動の要素である基本行動と、基本行動の組み合わせから成る高次行動とに分類され得る。基本行動としては、例えば座って静止、立って静止、歩いている、走っている、エレベーター(上り、下り)に乗っている、エスカレーター(上り、下り)に乗っている、乗り物に乗っている(自転車、電車、車、バス、…、その他の乗り物)等が挙げられる。高次行動としては、例えば移動中(通学中、帰宅中、 …、その他の移動)、勉強中、仕事中(肉体労働、デスクワーク、…、(さらに細かい仕事の種類))、遊び中(遊びの種類)、スポーツ中(スポーツの種類)、買い物中(買い物のジャンル)、食事中(食事の内容)等が挙げられる。
例えば、ユーザの行動を示す情報は、ユーザが携帯するユーザ端末200が有する加速度センサ、ジャイロセンサ、及び地磁気センサ等により検出されたセンサ情報に基づき認識され得る。他にも、ユーザの行動を示す情報は、例えば監視カメラ等により撮像された撮像画像の画像認識結果により認識され得る。また、ユーザの行動を示す情報は、例えばユーザ端末200でランニング用アプリケーションが利用されている場合はランニング中であると認識される等、ユーザ端末200で利用中のアプリケーションに基づいて認識され得る。また、ユーザの行動を示す情報は、例えばユーザ端末200で利用中のメッセージングアプリケーションにおいて行われた仕事中/退席中等の状態設定に基づいて認識され得る。なお、これらの認識手法は組み合わされてもよいし、他の任意の認識手法が用いられてもよい。
(2)ユーザの位置を示す情報
例えば、コンテキスト情報は、ユーザの位置を示す情報を含んでいてもよい。
位置を示す情報は、地理的な絶対座標の他、ある物体からの相対座標、屋内であるか屋外であるか、高さ等を示す情報を含み得る。具体的には、位置を示す情報は、緯度(Latitude)、経度(Longitude)、標高(Altitude)、住所、GEOタグ、建物名、店舗名等を示す情報を含み得る。
例えば、位置を示す情報は、GPSを用いた測位技術、自律測位技術等により認識され得る。また、位置を示す情報は、ユーザ端末200に含まれる加速度センサ、ジャイロセンサ、地磁気センサ等のセンサ情報から認識され得る。また、位置を示す情報は、環境設置型カメラの撮像画像に基づく人検出技術、顔認識技術等により認識され得る。また、位置を示す情報は、Bluetooth、ビーコン等の、ユーザ端末200との距離(即ち、近接関係)を推定可能な環境設置型の通信装置に関する通信結果等により認識され得る。また、位置を示す情報は、ユーザ端末200による位置情報を用いたサービスの利用結果等により認識され得る。なお、これらの認識手法は組み合わされてもよいし、他の任意の認識手法が用いられてもよい。
(3)視線を示す情報
例えば、コンテキスト情報は、ユーザの視線を示す情報を含んでいてもよい。
視線を示す情報は、ユーザが注目した物体、ユーザが注目した他のユーザの特徴、注目した他のユーザのコンテキスト情報、及び注目した時点でのユーザ自身のコンテキスト情報等を含み得る。例えば、視線を示す情報は、ユーザ自身がどんな行動を行っているときに、どんな行動を行っている他のユーザを注目したか、を示す情報であってもよい。
例えば、視線を示す情報は、例えばHMDにユーザの眼球を撮像範囲として設けられるステレオカメラによる撮像画像及び深度情報に基づく視線の向きの認識結果により認識され得る。また、視線を示す情報は、SfM(Structure from Motion)法又はSLAM(Simultaneous Localization And Mapping)法などの公知の画像認識技術によって認識される、実空間におけるユーザ端末200の位置及び姿勢を示す情報に基づき認識され得る。また、視線を示す情報は、眼球周辺の筋電に基づいて認識され得る。また、視線を示す情報は、環境設置型カメラの撮像画像に基づく顔認識技術、視線検出技術等により認識され得る。なお、これらの認識手法は組み合わされてもよいし、他の任意の認識手法が用いられてもよい。
(4)ユーザが出力した情報
例えば、コンテキスト情報は、ユーザが出力した情報を含んでいてもよい。
ユーザが出力した情報は、ユーザが発話した内容、書き込んだテキスト等を示す情報を含み得る。
例えば、ユーザが出力した情報は、ユーザ端末200のマイクにより取得された音声を対象とした音声認識により認識され得る。また、ユーザが出力した情報は、環境設置型のマイク、レーザードップラーセンサ等により取得された音声を対象とした音声認識により認識され得る。また、ユーザが出力した情報は、環境設置型のカメラにより撮像された口元の撮像画像を対象とした画像認識により認識され得る。また、ユーザが出力した情報は、ユーザにより送信されたメールの内容、メッセージの内容、SNSへの投稿、検索キーワード等によっても認識され得る。なお、これらの認識手法は組み合わされてもよいし、他の任意の認識手法が用いられてもよい。
(5)ユーザの状態を示す情報
例えば、コンテキスト情報は、ユーザの状態を示す情報を含んでいてもよい。
ユーザの状態を示す情報は、ユーザの感情、健康状態、睡眠中であるか否か等を示す情報を含み得る。
例えば、ユーザの状態を示す情報は、生体情報を用いて認識され得る。また、ユーザの状態を示す情報は、環境設置されたカメラにより撮像されたユーザの顔の表情に基づいて認識され得る。また、ユーザの状態を示す情報は、ユーザが発話した内容、書き込んだテキストに基づいて認識され得る。なお、これらの認識手法は組み合わされてもよいし、他の任意の認識手法が用いられてもよい。
(6)ユーザの属性情報
例えば、コンテキスト情報は、ユーザの属性情報を含んでいてもよい。
属性情報は、性別、誕生日(年齢)、職業、経歴、住所(自宅、学校、職場等)、趣味、好きな食べ物、好きなコンテンツ(音楽、映画、本等)、ライフログ(よく行く場所、旅行歴等)、病気、病歴等を示す情報を含み得る。
例えば、属性情報は、ユーザによるアプリケーションへの入力、SNSへの投稿等に基づいて認識され得る。また、属性情報は、ショッピングサービス、コンテンツ配信サービスへのユーザフィードバック(例えば、商品、コンテンツの購入、再生履歴、評価情報)等に基づいて認識され得る。また、属性情報は、ユーザ端末200の使用履歴、操作履歴に基づいて認識され得る。また、属性情報は、環境設置型のカメラで撮像された撮像画像を対象とした画像認識により認識され得る。より具体的には、例えば顔部分の画像から年齢及び性別が認識され得、服装部分の画像から職業が認識され得る。また、属性情報は、位置情報の時系列変化により認識され得る。より具体的には、例えば夜に長時間滞在する場所は自宅であると認識され得、昼に長時間滞在する場所は職場又は学校であると認識され得る。なお、これらの認識手法は組み合わされてもよいし、他の任意の認識手法が用いられてもよい。
(7)ユーザの人間関係を示す情報
例えば、コンテキスト情報は、ユーザの人間関係を示す情報を含んでいてもよい。
人間関係を示す情報は、誰と一緒にいるか、家族関係、友人関係、親密度合等を示す情報を含み得る。
例えば、人間関係を示す情報は、ユーザによるアプリケーションへの入力、SNSへの投稿等に基づいて認識され得る。また、人間関係を示す情報は、一緒にいる時間の長さ、一緒にいるときの表情等に基づいて認識され得る。また、人間関係を示す情報は、自宅が同じか否か、職場又は学校が同じか否か等に基づいて認識され得る。
以上、コンテキスト情報の一例を説明した。コンテキスト情報は、上記説明した情報の少なくともいずれかを含んでいればよい。
コンテキスト情報の認識処理は、ユーザ端末200及び認識装置300により行われてもよいし、サーバ100により行われてもよい。サーバ100側で行う場合、ユーザ端末200及び認識装置300とサーバ100との間で生のセンサ情報が送受信されることとなるので、通信量の観点からはユーザ端末200及び認識装置300側で認識処理が行われることが望ましい。
また、認識されるコンテキスト情報は、コンテキスト情報の予測に役立つものであれば、直接予測されないものであってもよい。例えば、発話の予測が行われない場合であっても、発話の内容から次の行動が予測される場合、発話の内容が認識されてもよい。
このように、コンテキスト情報は、ユーザによる能動的な入力を経ずに認識可能である。これにより、ユーザの負担が軽減される。なお、スケジュール入力及びカーナビゲーションシステムへの目的地の入力等、ユーザにより能動的に入力される情報も、コンテキスト情報の認識に用いられてもよい。
<3.2.学習及び予測>
サーバ100(例えば、学習部142)は、予測器の学習を行う。そして、サーバ100(例えば、生成部143)は、予測器を用いてコンテキスト情報の予測を行う。
予測器の学習は、状態遷移モデル、ニューラルネットワーク、Deep Learning、HMM(Hidden Markov Model)、k近傍法(k-nearest neighbor algorithm)、カーネル法、SVM(support vector machine)等の技術を用いて行われ得る。例えば、行動に関する技術としては、対象者の行動習慣性を抽出することで未来の行動を予測する技術、及び対象者の移動パターンを抽出することで未来の移動を予測する技術等が挙げられる。
予測器は、ユーザごとに学習されてもよいし、複数のユーザ同士で又は全ユーザで共通して学習されてもよい。例えば、家族単位で、職場単位で、友人単位で共通する予測器が学習され得る。また、予測器の学習は、認識部220ごと、即ちユーザ端末200又は認識装置300ごとに行われてもよい。
予測器は、コンテキスト情報の履歴に基づいて生成される、複数のコンテキスト情報の依存関係(例えば、時系列変化)を表現するモデルと捉えられてもよい。予測処理の際には、リアルタイムに取得されたコンテキスト情報が予測器に入力されることで、依存関係のある(例えば、時系列で次の時刻に取得されることが予測される)コンテキスト情報が出力される。例えば、現時刻のユーザの行動、ユーザの位置、ユーザが出力した内容、ユーザの視線、ユーザの状態、ユーザの属性情報、ユーザの人間関係が予測器に入力されることで、未来のユーザの行動、ユーザの位置、ユーザが出力する内容、ユーザの視線、ユーザの状態、ユーザの属性情報、ユーザの人間関係の予測結果が出力される。生成部143は、このようにして予測器から出力された予測結果を示す予測情報を生成する。
<3.3.第2のユーザの選択>
サーバ100(例えば、生成部143及び出力制御部144)は、第1のユーザのコンテキスト情報に関連する予測情報を第1のユーザへ表示させる。そのために、サーバ100は、どのユーザの予測情報を第1のユーザへ表示させるべきかを選択する、即ちどのユーザを第2のユーザとするかを選択する。
例えば、サーバ100は、第1のユーザのコンテキスト情報に基づいて複数の他のユーザの中から選択された第2のユーザの予測情報を表示させる。これにより、第1のユーザは、自身の置かれた状況(即ち、コンテキスト情報)に対応するユーザの予測情報を知ることができる。よって、過剰な数の予測情報が表示されて、実空間画像が煩雑になることが防止される。
具体的には、サーバ100は、第1のユーザとコンテキスト情報が関連すると判定された第2のユーザの予測情報を表示させてもよい。図1に示した例では、第1のユーザ(実空間画像10を見ているユーザ)が、食堂にいてこれから昼食を食べるというコンテキスト情報と関連する、食堂で食事中の他のユーザが、第2のユーザとして選択されている。このように、第1のユーザは、自身の置かれた状況に関連する、又はこれから置かれる状況に関連するユーザの予測情報を知ることができる。
また、サーバ100は、第1のユーザが注目していると判定された第2のユーザの予測情報を表示させてもよい。図1に示した例では、第1のユーザが注目していると判定された、第1のユーザが着席を希望する席に座っている他のユーザが、第2のユーザとして選択されている。このように、第1のユーザは、自身が知りたいと考えているユーザの予測情報を知ることができる。
また、サーバ100は、第1のユーザが過去に注目した第3のユーザとコンテキスト情報が類似すると判定された第2のユーザの予測情報を表示させてもよい。図1に示した例では、第1のユーザが過去に注目していた、第1のユーザが着席を希望する席に座っていた他のユーザと類似する、同一の席に現在座っている他のユーザが、第2のユーザとして選択されている。このように、第1のユーザは、自身が過去に予測情報を知りたいと考えていたユーザと同様のユーザの予測情報を知ることができる。
<3.4.予測情報の生成>
サーバ100(例えば、生成部143及び出力制御部144)は、第1のユーザのコンテキスト情報に関連する予測情報を第1のユーザへ表示させる。その際、サーバ100(例えば、生成部143及び出力制御部144)は、第2のユーザのコンテキスト情報に基づいて生成された予測情報を表示させる。つまり、サーバ100は、第1のユーザ及び第2のユーザのコンテキスト情報に基づいて、表示させる予測情報の内容を制御する。これにより、第1のユーザは、自身の置かれた状況に対応する内容の予測情報を知ることができる。
具体的には、サーバ100は、第2のユーザが移動中であるか否かに応じて異なる予測情報を表示させてもよい。例えば、サーバ100は、第2のユーザが移動中であると判定された場合、第2のユーザの移動軌跡の予測結果を示す予測情報を表示させる。これにより、第1のユーザは、自身と第2のユーザとで移動軌跡が交錯するか否かを事前に知ることができる。一方で、サーバ100は、第2のユーザが移動中でないと判定された場合、第2のユーザが移動を開始すると予測される時間を示す予測情報を表示させる。これにより、第1のユーザは、例えば第2のユーザが移動を開始するまでの残り時間を把握しながら、移動等を行うことができる。具体的な表示例については、後に詳しく説明する。
なお、予測情報における残り時間は、任意の行動が開始される又は終了されるまでの残り時間としても捉えることが可能である。例えば、移動を開始するまでの残り時間は、静止行動が終了するまでの残り時間である。他にも、移動が開始されてから移動が停止されるまでの残り時間等が、予測情報として表示され得る。
また、サーバ100は、第1のユーザと第2のユーザとの人間関係に対応する予測情報を表示させてもよい。例えば、サーバ100は、第1のユーザとの親密度が高い第2のユーザに関しては詳細な予測情報を表示させ、第2のユーザとの親密度が低い第2のユーザに関しては簡略化された予測情報を表示させる又は隠蔽してもよい。これにより、第1のユーザにとっては不要な予測情報を見ずに済むし、第2のユーザにとってはプライバシーを守ることができる。
また、サーバ100は、第2のユーザのコンテキスト情報の履歴が無い又は十分でない場合、第2のユーザと属性情報が類似すると判定された第3のユーザのコンテキスト情報の履歴に基づいて生成された予測情報を表示させてもよい。例えば、サーバ100は、カフェに初めて来た第2のユーザに関し、第2のユーザの年齢及び職業等の認識結果に基づいて、同様の年齢及び職業の第3のユーザの予測器を用いて滞在時間及び行動の予測等を行い、予測情報を表示させる。なお、コンテキスト情報の履歴が十分でない場合とは、例えば予測器の予測精度が閾値を下回る場合を指すものとする。これにより、第1のユーザは、第2のユーザに関する学習が十分でない場合であっても、適切な予測情報の提示を受けることができる。
また、サーバ100は、予測精度の高いコンテキスト情報の予測結果を示す予測情報を、優先的に表示させてもよい。これにより、第1のユーザが、誤った予測情報に惑わされることが防止される。
また、サーバ100は、実空間画像の代わりに、地図上に複数の第2のユーザの予測情報を表示させてもよい。これにより、第1のユーザは、複数の第2のユーザの予測情報を俯瞰的に視認することが可能となる。このような表示は、例えば遊園地の管理者にとって有益である。
なお、サーバ100は、一人の第2のユーザについて複数の予測情報を表示させてもよい。例えば、サーバ100は、種別の異なる複数のコンテキスト情報の予測結果を示す予測情報を、それぞれ表示させてもよい。
以下、図3〜図11を参照して、具体的な表示例について説明する。
(1)残り時間
図3は、本実施形態に係る情報処理システム1による表示例を説明するための図である。図3に示した実空間画像20には、電車に乗っている第1のユーザから見た電車内の様子が表示されている。また、実空間画像20では、座席に座っており移動中でないと判定された第2のユーザ21に関し、座席を立つ(即ち、下車する)までの予測時間(即ち、移動を開始すると予測される時間)を示す予測情報22が表示されている。予測情報22によれば、第2のユーザ21は2分後に下車することが予測されている。これにより、第1のユーザは、下車する第2のユーザのために道を空ける準備をしたり、第2のユーザが座っている座席に座るための準備をしたりすることが可能となる。第2のユーザにとっても、周囲のユーザが自身の下車のための準備を予め行うことが期待されるので、より快適に下車することができる。このように、第2のユーザの予測情報を第1のユーザに公開することは、第1のユーザにとっても第2のユーザにとっても有益になり得る。
図4は、本実施形態に係る情報処理システム1による表示例を説明するための図である。図4に示した実空間画像30には、座席に座っており移動中でないと判定された第2のユーザ31及び32に関し、座席を立つまでの予測時間(即ち、移動を開始すると予測される時間)を示す予測情報33及び34が表示されている。予測情報33及び34によれば、第2のユーザ31及び32は、25分後に席を立つことが予測されている。ここで、図4に示すように、予測情報33及び34では、座席に座っているという行動に関する、全体の時間における残り時間又は経過時間の割合がバー表示されている。バーを用いた表示は、図5に示すように多様な形態をとり得る。
図5は、本実施形態に係る情報処理システム1による表示例を説明するための図である。図5では、バー表示される予測情報の具体例を示している。予測情報35では、現在の行動を開始してから、終了予測時間までの長さを100%として(符号36)、現在の行動を開始してから経過した時間がバーの長さ(符号37)で表現されている。図4に示した例は、これに該当する。予測情報38では、予測精度が低い場合に用いられ得る表示方法であり、予測に幅があり得ることが表現されている。予測時間は、直近に取得されたコンテキスト情報に応じて伸び縮みし得るが、このような割合が表示されることにより、第1のユーザは、大体の終了時刻の揺れを予想することができる。
以上、移動中でない第2のユーザに関して、移動を開始するまでの残り時間を示す予測情報が表示される例を説明したが、本技術はかかる例に限定されない。例えば、第2のユーザが任意の行動を開始する(行う)又は終了するまでの残り時間を示す情報が表示されてもよい。例えば、図6を参照して説明するように、第2のユーザが特定の言葉を発話するまでの残り時間を示す情報が表示されてもよい。
図6は、本実施形態に係る情報処理システム1による表示例を説明するための図である。図6に示した実空間画像30には、第1のユーザである親から見た、家族で散歩中の子供の様子が表示されている。実空間画像40では、第2のユーザである子供41が特定の行動を行うまでの残り時間を示す予測情報42が表示されている。予測情報42によれば、すでに「疲れて歩けなく」なったこと、1時間20分後に「トイレに行きたい」と言うことが予測されること、30分後に「おなかがすいた」と言うことが予測されることが示されている。このような表示により、親は、子供の要求を先回りして満たすよう行動することが可能となる。このように、行動を共にする複数人のユーザが互いの予測情報を知ることで、複数人行動におけるトラブルが未然に防止される。
(2)移動軌跡
図7は、本実施形態に係る情報処理システム1による表示例を説明するための図である。図7に示した実空間画像50には、車51を運転中である第1のユーザから見た、車52及び53(詳しくは、車52を運転する第2のユーザ及び車53を運転する第2のユーザ)の予測情報54及び55が表示されている。移動中でない(例えば、停車中である)と判定された車52に関しては、移動を開始するまでの予測時間を示す予測情報54が表示されている。残り時間が5分3秒と余裕があるので、第1のユーザは、安心して車52を追い抜くことができる。また、移動中である(例えば、走行中である又は右折のための一時停止中である)と判定された車53に関しては、移動軌跡の予測結果を示す予測情報55が表示されている。第1のユーザは、移動軌跡が進行方向に交錯することを容易に知ることができるので、安全に停止することができる。このような予測情報が表示されることで、交通の安全性が向上する。
図8は、本実施形態に係る情報処理システム1による表示例を説明するための図である。図8に示した実空間画像60には、車61を運転中である第1のユーザから見た、バイク62(詳しくは、バイク62を運転する第2のユーザ)の移動軌跡の予測結果を示す予測情報63が表示されている。予測情報63によれば、バイク62はそのまま直進するので、第1のユーザは、バイク62の車線変更を気にせずに車61を直進させることができる。このような予測情報が表示されることで、運転の快適性が向上する。
図9は、本実施形態に係る情報処理システム1による表示例を説明するための図である。図9に示した実空間画像70には、道を歩行中の第1のユーザから見た、他の歩行中の第2のユーザ71及び72の移動軌跡の予測結果を示す予測情報73及び74が表示されている。これにより、第1のユーザは、第2のユーザ71及び72とぶつからないように、歩行を行うことができる。また、第1のユーザが第2のユーザ71を注目した場合、より詳細な予測結果を示す予測情報75が表示され得る。予測情報75には、5分後にはAA駅に着き、電車にのって移動して、15分後にはBB駅に着き、徒歩で移動して、25分後にはCC会社に着く、といった第2のユーザ71の行動予定のリストが含まれている。
(3)注目度
図10は、本実施形態に係る情報処理システム1による表示例を説明するための図である。図10に示した実空間画像80には、エレベータ内の様子が表示されている。また、実空間画像80では、何人の第2のユーザが第1のユーザを注目するかの予測結果を示す予測情報81が表示されている。より詳しくは、予測情報81では、第1のユーザを注目すると予測される人数の時系列変化が表示されている。これにより、第1のユーザは、例えばドアが開いて自身に注目が集まる前に、身だしなみを整える等を行うことができる。
(4)リアルタイムなコンテキスト情報
図11は、本実施形態に係る情報処理システム1による表示例を説明するための図である。図11に示した実空間画像30には、図4に示した実空間画像30に加えて、第2のユーザ31の現在の感情を示す情報39が表示されている。感情を示す情報39では、第2のユーザ31が現在喜んでいることが示されている。このように、サーバ100は、予測情報33に加えて第2のユーザ31のコンテキスト情報を表示させてもよい。これにより、第1のユーザは、例えば第2のユーザが困っている場合に手助けする等、第2のユーザが現在置かれている状況に応じた行動を行うことが可能となる。
(5)その他
他にも、サーバ100は、多様な予測情報を表示させ得る。例えば、サーバ100は、第2のユーザが話すと予測されるキーワードを表示させてもよい。その場合、第1のユーザは、当該キーワードを使って話を盛り上げることができる。
<3.5.出力可否の設定>
サーバ100(例えば、生成部143及び出力制御部144)は、ユーザの予測情報の他のユーザへの出力可否を設定することができる。第1のユーザへの予測情報の表示という観点から言うと、サーバ100は、第2のユーザの予測情報の、第1のユーザへの出力可否を設定することができる。
例えば、サーバ100は、第2のユーザにより表示することを許可された予測情報を表示させる。これにより、第2のユーザは、プライバシーを守ることができる。
許可は、第2のユーザによる指示に基づいて行われ得る。その場合、第2のユーザは、直接的に予測情報の公開可否を設定する。他にも、許可は、第2のユーザの位置に関連する設定に基づいて行われ得る。例えば、第2のユーザが自宅から近い場所にいるほど詳細な予測情報の公開を許可しない、等の設定が可能である。他にも、許可は、第1のユーザと第2のユーザとの人間関係に関連する設定に基づいて行われ得る。例えば、10分後以内の予測は全員に公開を許可し、1時間後以内の予測は友人に公開を許可し、それ以上後の予測は誰にも公開を許可しない、等の設定が可能である。
<3.6.生成された予測情報のフィルタリング>
サーバ100(例えば、生成部143及び出力制御部144)は、生成された予測情報をフィルタリングしてもよい。例えば、サーバ100は、生成された予測情報のうち一部を表示させて、他の一部を表示させない。
例えば、サーバ100は、表示させた予測情報と第1のユーザとのインタラクション機能を提供する。そして、サーバ100は、第1のユーザを対象として表示させた予測情報が第1のユーザにより削除された(表示を消された)場合、削除された予測情報を記憶しておき、以降は同種の予測情報を表示させない。これにより、適切な予測情報のみが提示されることとなる。
<3.7.ユーザ自身の予測情報の出力>
サーバ100(例えば、生成部143及び出力制御部144)は、第1のユーザのコンテキスト情報の予測結果を示す予測情報を、第1のユーザ自身を対象として表示させてもよい。つまり、サーバ100は、他のユーザを対象として表示されている第1のユーザの予測情報を、第1のユーザ自身にも視認可能に表示させてもよい。これにより、第1のユーザは、自身のどのような予測情報が他のユーザに公開されているかを知ることができる。
図1を参照して上記説明したように、一般的には、自分自身の予測結果が自身に提示されたとしても、あまり有益とは言えない。しかし、自分自身の予測結果が他者にどのように公開されているか、という観点からは、自分自身の予測結果が自身に提示されることも有益となり得る。
以下、図12を参照して、ユーザ自身の予測情報に関する表示例を説明する。
図12は、本実施形態に係る情報処理システム1による表示例を説明するための図である。図12に示した実空間画像90には、電車の座席に座っている第1のユーザから見た電車内の様子が表示されている。図12に示した実空間画像90には、第2のユーザ91の予測情報92に加えて、第1のユーザの予測情報93及び94が表示されている。予測情報92では、第2のユーザ91が30分後に下車すると予測されることが示されている。予測情報93では、第1のユーザが1時間後に昼食をとると予測されることが示されている。予測情報94では、第1のユーザが2分後に下車すると予測されることが示されている。ここで、予測情報94は、他のユーザに注目されている(例えば、多くの他のユーザに表示されている)場合、図12に示すように強調されていてもよい。これにより、第1のユーザは、第1のユーザのどのような予測情報に基づいて第2のユーザがこれから行動するかを知ることができる。
ここで、予測情報は、ユーザにより修正されてもよい。第1のユーザへの予測情報の表示という観点から言うと、サーバ100は、第2のユーザによる指示に基づいて修正された予測情報を表示させてもよい。例えば、図12に示した例では、予測情報93又は94に誤りがある場合に、第1のユーザは、これらの予測情報を修正する。これにより、他のユーザが、誤った予測情報に惑わされることが防止される。また、予測情報に誤りがある場合には、図12に示した例のように他のユーザに注目されている予測情報を強調することは、第1のユーザに対し修正を促すことに繋がり得る。これにより、例えば第1のユーザが実際には30分後に下車する場合には、第1のユーザは、予測情報94を2分後から30分後に修正することで、周囲の他のユーザが第1のユーザの下車のために準備してしまうことを防止することができる。このように、注目度が高い予測情報に関しては、より正確な情報が提示されることが期待される。
以上、本実施形態に係る情報処理システム1の技術的特徴について説明した。続いて、図13〜16を参照して、本実施形態に係る情報処理システム1の動作処理例について説明する。
<<4.動作処理例>>
(1)学習処理
図13は、本実施形態に係るサーバ100において実行される予測器の学習処理の流れの一例を示すフローチャートである。
図13に示すように、まず、取得部141は、通信部110を経由してユーザ端末200及び認識装置300からコンテキスト情報を取得して(ステップS102)、コンテキスト情報DB120に記憶する(ステップS104)。そして、学習部142は、コンテキスト情報DB120に蓄積されたコンテキスト情報の履歴に基づいて、予測器を学習する(ステップS106)。
(2)表示処理
図14は、本実施形態に係るサーバ100において実行される予測情報の表示処理の流れの一例を示すフローチャートである。
図14に示すように、まず、生成部143は、第2のユーザを選択する(ステップS202)。ここでの処理は、後に図15を参照して詳細に説明する。次いで、生成部143は、第2のユーザの予測情報を生成する(ステップS204)。ここでの処理は、後に図16を参照して詳細に説明する。そして、出力制御部144は、生成された予測情報をユーザ端末200又は出力装置400により表示させる(ステップS206)。
なお、ステップS202及びS204は順番が逆であってもよい。逆の場合、生成部143は、第2のユーザになり得るユーザ(例えば、実空間画像に含まれる他のユーザ全員)の予測情報を生成しておき、その中から表示させる予測情報を選択することとなる。
(3)第2のユーザの選択処理
図15は、本実施形態に係るサーバ100において実行される第2のユーザの選択処理の流れの一例を示すフローチャートである。本フローは、図14におけるステップS202を詳細に表現したものである。
図15に示すように、まず、生成部143は、人間関係を示す情報に基づいて選択する(ステップS302)。例えば、生成部143は、第1のユーザと友人関係にある等の関連性がある他のユーザを、第2のユーザの候補として選択する。次いで、生成部143は、位置を示す情報に基づいて選択する(ステップS304)。例えば、生成部143は、第1のユーザが近い位置にいる他のユーザを、第2のユーザの候補として選択する。次に、生成部143は、行動を示す情報に基づいて選択する(ステップS306)。例えば、生成部143は、第1のユーザと行う行動が類似する又は関係する行動を行う他のユーザを、第2のユーザの候補として選択する。そして、生成部143は、視線を示す情報に基づいて選択する(ステップS308)。例えば、生成部143は、これまで第2のユーザの候補として選択したユーザを、第1のユーザが注目した度合に応じてソートし、注目した度合が高いユーザから順に所定数を第2のユーザとして選択する。
(4)予測情報の生成処理
図16は、本実施形態に係るサーバ100において実行される予測情報の生成処理の流れの一例を示すフローチャートである。本フローは、図14におけるステップS204を詳細に表現したものである。
図16に示すように、まず、生成部143は、第2のユーザは移動中であるか否かを判定する(ステップS402)。移動中であると判定された場合(ステップS402/YES)、生成部143は、第2のユーザの移動軌跡の予測結果を示す予測情報を生成する(ステップS404)。一方で、移動中でないと判定された場合(ステップS402/NO)、生成部143は、移動開始までの残り時間を示す予測情報を生成する(ステップS406)。
次いで、生成部143は、公開可否の設定に基づいて、予測情報の内容を調節する(ステップS408)。例えば、生成部143は、第1のユーザと第2のユーザとの人間関係に応じて、予測情報の内容を簡略化したり隠蔽したりする。次に、生成部143は、注目度に基づいて予測情報の内容を調節する(ステップS410)。例えば、生成部143は、第1のユーザの注目度が高い第2のユーザについては、予測情報の内容を詳細にする。
以上、本実施形態に係る情報処理システム1の動作処理例について説明した。
<<5.ハードウェア構成例>>
最後に、図17を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図17は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図17に示す情報処理装置900は、例えば、図2に示したサーバ100、ユーザ端末200、認識装置300、出力装置400又は外部機器500を実現し得る。本実施形態に係るサーバ100、ユーザ端末200、認識装置300、出力装置400又は外部機器500による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
図17に示すように、情報処理装置900は、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903及びホストバス904aを備える。また、情報処理装置900は、ブリッジ904、外部バス904b、インタフェース905、入力装置906、出力装置907、ストレージ装置908、ドライブ909、接続ポート911及び通信装置913を備える。情報処理装置900は、CPU901に代えて、又はこれとともに、DSP若しくはASIC等の処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置900内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。CPU901は、例えば、図2に示す処理部140を形成し得る。
CPU901、ROM902及びRAM903は、CPUバスなどを含むホストバス904aにより相互に接続されている。ホストバス904aは、ブリッジ904を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス904bに接続されている。なお、必ずしもホストバス904a、ブリッジ904および外部バス904bを分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
入力装置906は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置906は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置900の操作に対応した携帯電話やPDA等の外部接続機器であってもよい。さらに、入力装置906は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などを含んでいてもよい。情報処理装置900のユーザは、この入力装置906を操作することにより、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりすることができる。
他にも、入力装置906は、ユーザに関する情報をセンシングするセンサにより形成され得る。例えば、入力装置906は、画像センサ(例えば、カメラ)、深度センサ(例えば、ステレオカメラ)、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサを含み得る。また、入力装置906は、情報処理装置900の姿勢、移動速度等、情報処理装置900自身の状態に関する情報や、情報処理装置900の周辺の明るさや騒音等、情報処理装置900の周辺環境に関する情報を取得してもよい。また、入力装置906は、GPS信号を受信して装置の緯度、経度及び高度を測定するGPSセンサを含んでもよい。
入力装置906は、例えば、図2に示す認識部220及び認識部320を形成し得る。
出力装置907は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置、レーザープロジェクタ、LEDプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置907は、例えば、情報処理装置900が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置900が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。上記表示装置及び上記音声出力装置は、例えば、図2に示す出力部230及び出力部420を形成し得る。
ストレージ装置908は、情報処理装置900の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置908は、例えば、HDD等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置908は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置908は、CPU901が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置908は、例えば、図2に示すコンテキスト情報DB120及び予測器DB130を形成し得る。
ドライブ909は、記憶媒体用リーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ909は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、RAM903に出力する。また、ドライブ909は、リムーバブル記憶媒体に情報を書き込むこともできる。
接続ポート911は、外部機器と接続されるインタフェースであって、例えばUSB(Universal Serial Bus)などによりデータ伝送可能な外部機器との接続口である。
通信装置913は、例えば、ネットワーク920に接続するための通信デバイス等で形成された通信インタフェースである。通信装置913は、例えば、有線若しくは無線LAN(Local Area Network)、LTE(Long Term Evolution)、Bluetooth(登録商標)又はWUSB(Wireless USB)用の通信カード等である。また、通信装置913は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用のモデム等であってもよい。この通信装置913は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。通信装置913は、例えば、図2に示す通信部110、通信部210、通信部310及び通信部410を形成し得る。
なお、ネットワーク920は、ネットワーク920に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク920は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク920は、IP−VPN(Internet Protocol−Virtual Private Network)などの専用回線網を含んでもよい。
以上、本実施形態に係る情報処理装置900の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
なお、上述のような本実施形態に係る情報処理装置900の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
<<6.まとめ>>
以上、図1〜図17を参照して、本開示の一実施形態に係る情報処理システム1について詳細に説明した。上記説明したように、本実施形態に係る情報処理システム1は、第2のユーザのコンテキスト情報の履歴に基づいて生成された、第1のユーザのコンテキスト情報に関連する、第2のユーザの予測情報を、第1のユーザを対象として表示することが可能である。これにより、第2のユーザの予測情報が、第1のユーザにとって有益な情報として提示される。第1のユーザにとっては、例えば第2のユーザの未来の行動を視認できるので、スムーズなコミュニケーションが可能になると共に、自身の行動計画も容易に立てることが可能となる。
また、情報処理システム1は、第1のユーザのコンテキスト情報に関連する予測情報として、第2のユーザのコンテキスト情報に基づいて生成された予測情報を表示する。これにより、第1のユーザは、自身の置かれた状況に対応する内容の予測情報を知ることができる。例えば、第1のユーザが車を運転している場合には他の車の進路が可視化されスムーズな交通が実現される。また、第1のユーザが会話を行おうとする場合には、相手に声をかけていいか否かを知ることができる。また、第1のユーザが電車に乗っている場合には、混んでいる車内で席の空きを事前に知ることができる。また、第1のユーザが初めて行く場所に向かう場合には、自分と同じ目的地に向かっている第2のユーザの後ろに付いていくことで、目的地に容易にたどり着くことができる。
また、情報処理システム1は、第1のユーザのコンテキスト情報に基づいて複数の他のユーザの中から選択された第2のユーザの予測情報を表示させる。これにより、過剰な数の予測情報が表示されて、実空間画像が煩雑になることが防止される。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、ユーザ端末200が透過型のHMDとして実現される例を説明したが、本技術はかかる例に限定されない。例えば、ユーザ端末200は、実空間の撮像画像を表示しつつ、当該実空間の撮像画像にARの仮想オブジェクトを重畳表示する、没入型(ビデオスルー型)のHMDとして実現されてもよい。さらに、没入型のHMDに関して、実空間の撮像画像の代わりに仮想空間の撮像画像が用いられてもよい。また、ユーザ端末200は、ユーザの網膜に直接的に画像を投影するLED光源等が設けられる、プロジェクション型のHMDとして実現されてもよい。
また、上記実施形態では、サーバ100が単一の装置として形成される例を説明したが、本技術はかかる例に限定されない。例えば、サーバ100の一部又は全部が、それぞれ異なる装置に含まれていてもよい。例えば、コンテキスト情報DB120及び予測器DB130が、サーバ100と異なる装置として実現されてもよい。
また、上記実施形態では、ユーザ端末200とサーバ100とが分離して形成される例を説明したが、本技術はかかる例に限定されない。例えば、サーバ100の一部又は全部がユーザ端末200に含まれていてもよい。その場合、ユーザ端末200において、コンテキスト情報の蓄積及び/又は予測器の学習が行われ得る。認識装置300及び出力装置400に関しても同様である。
また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
第2のユーザのコンテキスト情報の履歴に基づいて生成された、第1のユーザの前記コンテキスト情報に関連する、前記第2のユーザの前記コンテキスト情報の予測結果を示す予測情報を、前記第1のユーザを対象として出力させる出力制御部、
を備える情報処理装置。
(2)
前記出力制御部は、前記第1のユーザの前記コンテキスト情報に基づいて複数の他のユーザの中から選択された前記第2のユーザの前記予測情報を表示させる、前記(1)に記載の情報処理装置。
(3)
前記出力制御部は、前記第1のユーザと前記コンテキスト情報が関連すると判定された前記第2のユーザの前記予測情報を表示させる、前記(2)に記載の情報処理装置。
(4)
前記コンテキスト情報は、ユーザの視線を示す情報を含み、
前記出力制御部は、前記第1のユーザが注目していると判定された前記第2のユーザの前記予測情報を表示させる、前記(2)又は(3)に記載の情報処理装置。
(5)
前記コンテキスト情報は、ユーザの視線を示す情報を含み、
前記出力制御部は、前記第1のユーザが過去に注目した第3のユーザと前記コンテキスト情報が類似すると判定された前記第2のユーザの前記予測情報を表示させる、前記(2)〜(4)のいずれか一項に記載の情報処理装置。
(6)
前記出力制御部は、前記第2のユーザの前記コンテキスト情報に基づいて生成された前記予測情報を表示させる、前記(1)〜(5)のいずれか一項に記載の情報処理装置。
(7)
前記コンテキスト情報は、ユーザの行動を示す情報を含み、
前記出力制御部は、前記第2のユーザが移動中であるか否かに応じて異なる前記予測情報を表示させる、前記(6)に記載の情報処理装置。
(8)
前記出力制御部は、前記第2のユーザが移動中であると判定された場合、前記第2のユーザの移動軌跡の予測結果を示す前記予測情報を表示させる、前記(7)に記載の情報処理装置。
(9)
前記出力制御部は、前記第2のユーザが移動中でないと判定された場合、前記第2のユーザが移動を開始すると予測される時間を示す前記予測情報を表示させる、前記(7)又は(8)に記載の情報処理装置。
(10)
前記コンテキスト情報は、ユーザの人間関係を示す情報を含み、
前記出力制御部は、前記第1のユーザと前記第2のユーザとの人間関係に対応する前記予測情報を表示させる、前記(6)〜(9)のいずれか一項に記載の情報処理装置。
(11)
前記コンテキスト情報は、ユーザの属性情報を含み、
前記出力制御部は、前記第2のユーザの前記コンテキスト情報の履歴が無い又は十分でない場合、前記第2のユーザと属性情報が類似すると判定された第3のユーザの前記コンテキスト情報の履歴に基づいて生成された前記予測情報を表示させる、前記(6)〜(10)のいずれか一項に記載の情報処理装置。
(12)
前記出力制御部は、前記第2のユーザにより表示することを許可された前記予測情報を表示させる、前記(1)〜(11)のいずれか一項に記載の情報処理装置。
(13)
前記許可は、前記第2のユーザによる指示、又は前記第2のユーザの位置若しくは前記第1のユーザと前記第2のユーザとの人間関係の少なくともいずれかに関する設定に基づいて行われる、前記(12)に記載の情報処理装置。
(14)
前記出力制御部は、前記第2のユーザによる指示に基づいて修正された前記予測情報を表示させる、前記(1)〜(13)のいずれか一項に記載の情報処理装置。
(15)
前記出力制御部は、前記第1のユーザの前記コンテキスト情報の予測結果を示す前記予測情報を表示させる、前記(1)〜(14)のいずれか一項に記載の情報処理装置。
(16)
前記出力制御部は、前記予測情報に加えて前記第2のユーザの前記コンテキスト情報を表示させる、前記(1)〜(15)のいずれか一項に記載の情報処理装置。
(17)
前記コンテキスト情報は、ユーザの行動を示す情報、ユーザの位置を示す情報、ユーザの視線を示す情報、ユーザが出力した情報、ユーザの状態を示す情報、ユーザの属性情報又はユーザの人間関係を示す情報の少なくともいずれかを含む、前記(1)〜(16)のいずれか一項に記載の情報処理装置。
(18)
前記出力制御部は、前記第1のユーザの端末装置又は前記第1のユーザの周辺に設けられた出力装置により前記予測情報を表示させる、前記(1)〜(17)のいずれか一項に記載の情報処理装置。
(19)
第2のユーザのコンテキスト情報の履歴に基づいて生成された、第1のユーザの前記コンテキスト情報に関連する、前記第2のユーザの前記コンテキスト情報の予測結果を示す予測情報を、前記第1のユーザを対象としてプロセッサにより出力させること、
を含む情報処理方法。
(20)
コンピュータを、
第2のユーザのコンテキスト情報の履歴に基づいて生成された、第1のユーザの前記コンテキスト情報に関連する、前記第2のユーザの前記コンテキスト情報の予測結果を示す予測情報を、前記第1のユーザを対象として出力させる出力制御部、
として機能させるためのプログラム。
1 情報処理システム
100 サーバ
110 通信部
120 コンテキスト情報DB
130 予測器DB
140 処理部
141 取得部
142 学習部
143 生成部
144 出力制御部
200 ユーザ端末
210 通信部
220 認識部
230 出力部
300 認識装置
310 通信部
320 認識部
400 出力装置
410 通信部
420 出力部
500 外部機器

Claims (20)

  1. 第2のユーザのコンテキスト情報の履歴に基づいて生成された、第1のユーザの前記コンテキスト情報に関連する、前記第2のユーザの前記コンテキスト情報の予測結果を示す予測情報を、前記第1のユーザを対象として出力させる出力制御部、
    を備える情報処理装置。
  2. 前記出力制御部は、前記第1のユーザの前記コンテキスト情報に基づいて複数の他のユーザの中から選択された前記第2のユーザの前記予測情報を表示させる、請求項1に記載の情報処理装置。
  3. 前記出力制御部は、前記第1のユーザと前記コンテキスト情報が関連すると判定された前記第2のユーザの前記予測情報を表示させる、請求項2に記載の情報処理装置。
  4. 前記コンテキスト情報は、ユーザの視線を示す情報を含み、
    前記出力制御部は、前記第1のユーザが注目していると判定された前記第2のユーザの前記予測情報を表示させる、請求項2に記載の情報処理装置。
  5. 前記コンテキスト情報は、ユーザの視線を示す情報を含み、
    前記出力制御部は、前記第1のユーザが過去に注目した第3のユーザと前記コンテキスト情報が類似すると判定された前記第2のユーザの前記予測情報を表示させる、請求項2に記載の情報処理装置。
  6. 前記出力制御部は、前記第2のユーザの前記コンテキスト情報に基づいて生成された前記予測情報を表示させる、請求項1に記載の情報処理装置。
  7. 前記コンテキスト情報は、ユーザの行動を示す情報を含み、
    前記出力制御部は、前記第2のユーザが移動中であるか否かに応じて異なる前記予測情報を表示させる、請求項6に記載の情報処理装置。
  8. 前記出力制御部は、前記第2のユーザが移動中であると判定された場合、前記第2のユーザの移動軌跡の予測結果を示す前記予測情報を表示させる、請求項7に記載の情報処理装置。
  9. 前記出力制御部は、前記第2のユーザが移動中でないと判定された場合、前記第2のユーザが移動を開始すると予測される時間を示す前記予測情報を表示させる、請求項7に記載の情報処理装置。
  10. 前記コンテキスト情報は、ユーザの人間関係を示す情報を含み、
    前記出力制御部は、前記第1のユーザと前記第2のユーザとの人間関係に対応する前記予測情報を表示させる、請求項6に記載の情報処理装置。
  11. 前記コンテキスト情報は、ユーザの属性情報を含み、
    前記出力制御部は、前記第2のユーザの前記コンテキスト情報の履歴が無い又は十分でない場合、前記第2のユーザと属性情報が類似すると判定された第3のユーザの前記コンテキスト情報の履歴に基づいて生成された前記予測情報を表示させる、請求項6に記載の情報処理装置。
  12. 前記出力制御部は、前記第2のユーザにより表示することを許可された前記予測情報を表示させる、請求項1に記載の情報処理装置。
  13. 前記許可は、前記第2のユーザによる指示、又は前記第2のユーザの位置若しくは前記第1のユーザと前記第2のユーザとの人間関係の少なくともいずれかに関する設定に基づいて行われる、請求項12に記載の情報処理装置。
  14. 前記出力制御部は、前記第2のユーザによる指示に基づいて修正された前記予測情報を表示させる、請求項1に記載の情報処理装置。
  15. 前記出力制御部は、前記第1のユーザの前記コンテキスト情報の予測結果を示す前記予測情報を表示させる、請求項1に記載の情報処理装置。
  16. 前記出力制御部は、前記予測情報に加えて前記第2のユーザの前記コンテキスト情報を表示させる、請求項1に記載の情報処理装置。
  17. 前記コンテキスト情報は、ユーザの行動を示す情報、ユーザの位置を示す情報、ユーザの視線を示す情報、ユーザが出力した情報、ユーザの状態を示す情報、ユーザの属性情報又はユーザの人間関係を示す情報の少なくともいずれかを含む、請求項1に記載の情報処理装置。
  18. 前記出力制御部は、前記第1のユーザの端末装置又は前記第1のユーザの周辺に設けられた出力装置により前記予測情報を表示させる、請求項1に記載の情報処理装置。
  19. 第2のユーザのコンテキスト情報の履歴に基づいて生成された、第1のユーザの前記コンテキスト情報に関連する、前記第2のユーザの前記コンテキスト情報の予測結果を示す予測情報を、前記第1のユーザを対象としてプロセッサにより出力させること、
    を含む情報処理方法。
  20. コンピュータを、
    第2のユーザのコンテキスト情報の履歴に基づいて生成された、第1のユーザの前記コンテキスト情報に関連する、前記第2のユーザの前記コンテキスト情報の予測結果を示す予測情報を、前記第1のユーザを対象として出力させる出力制御部、
    として機能させるためのプログラム。
JP2017517618A 2015-05-11 2016-01-28 情報処理装置、情報処理方法及びプログラム Pending JPWO2016181670A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015096596 2015-05-11
JP2015096596 2015-05-11
PCT/JP2016/052491 WO2016181670A1 (ja) 2015-05-11 2016-01-28 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
JPWO2016181670A1 true JPWO2016181670A1 (ja) 2018-03-01

Family

ID=57247933

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017517618A Pending JPWO2016181670A1 (ja) 2015-05-11 2016-01-28 情報処理装置、情報処理方法及びプログラム

Country Status (5)

Country Link
US (1) US20180025283A1 (ja)
EP (1) EP3296944A4 (ja)
JP (1) JPWO2016181670A1 (ja)
CN (1) CN107533712A (ja)
WO (1) WO2016181670A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018168247A1 (ja) 2017-03-15 2018-09-20 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US11669345B2 (en) * 2018-03-13 2023-06-06 Cloudblue Llc System and method for generating prediction based GUIs to improve GUI response times
KR102111672B1 (ko) * 2018-05-30 2020-05-15 가천대학교 산학협력단 소셜미디어 컨텐츠 기반 감정 분석 방법, 시스템 및 컴퓨터-판독가능 매체
US20190378334A1 (en) * 2018-06-08 2019-12-12 Vulcan Inc. Augmented reality portal-based applications
WO2019237085A1 (en) 2018-06-08 2019-12-12 Vulcan Inc. Session-based information exchange
US10665032B2 (en) * 2018-10-12 2020-05-26 Accenture Global Solutions Limited Real-time motion feedback for extended reality
CN110334669B (zh) * 2019-07-10 2021-06-08 深圳市华腾物联科技有限公司 一种形态特征识别的方法和设备
JP7405660B2 (ja) * 2020-03-19 2023-12-26 Lineヤフー株式会社 出力装置、出力方法及び出力プログラム
WO2023135939A1 (ja) * 2022-01-17 2023-07-20 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP2024055512A (ja) * 2022-10-07 2024-04-18 株式会社日立製作所 表示方法、表示システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002297832A (ja) * 2001-03-30 2002-10-11 Fujitsu Ltd 情報処理装置、料金提示用プログラムおよび料金提示方法
JP2006345269A (ja) * 2005-06-09 2006-12-21 Sony Corp 情報処理装置および方法、並びにプログラム
JP2012221234A (ja) * 2011-04-08 2012-11-12 Sony Computer Entertainment Inc 画像処理装置および画像処理方法
JP2013171516A (ja) * 2012-02-22 2013-09-02 Nec Corp 予測情報提示システム、予測情報提示装置、予測情報提示方法および予測情報提示プログラム
JP2014123277A (ja) * 2012-12-21 2014-07-03 Sony Corp 表示制御システム及び記録媒体
JP2015056772A (ja) * 2013-09-12 2015-03-23 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030210228A1 (en) * 2000-02-25 2003-11-13 Ebersole John Franklin Augmented reality situational awareness system and method
US7233933B2 (en) * 2001-06-28 2007-06-19 Microsoft Corporation Methods and architecture for cross-device activity monitoring, reasoning, and visualization for providing status and forecasts of a users' presence and availability
JP5495014B2 (ja) * 2009-09-09 2014-05-21 ソニー株式会社 データ処理装置、データ処理方法、およびプログラム
US20110153343A1 (en) * 2009-12-22 2011-06-23 Carefusion 303, Inc. Adaptable medical workflow system
US9348141B2 (en) * 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US9019174B2 (en) * 2012-10-31 2015-04-28 Microsoft Technology Licensing, Llc Wearable emotion detection and feedback system
US9959674B2 (en) * 2013-02-26 2018-05-01 Qualcomm Incorporated Directional and X-ray view techniques for navigation using a mobile device
US9500865B2 (en) * 2013-03-04 2016-11-22 Alex C. Chen Method and apparatus for recognizing behavior and providing information
US8738292B1 (en) * 2013-05-14 2014-05-27 Google Inc. Predictive transit calculations

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002297832A (ja) * 2001-03-30 2002-10-11 Fujitsu Ltd 情報処理装置、料金提示用プログラムおよび料金提示方法
JP2006345269A (ja) * 2005-06-09 2006-12-21 Sony Corp 情報処理装置および方法、並びにプログラム
JP2012221234A (ja) * 2011-04-08 2012-11-12 Sony Computer Entertainment Inc 画像処理装置および画像処理方法
JP2013171516A (ja) * 2012-02-22 2013-09-02 Nec Corp 予測情報提示システム、予測情報提示装置、予測情報提示方法および予測情報提示プログラム
JP2014123277A (ja) * 2012-12-21 2014-07-03 Sony Corp 表示制御システム及び記録媒体
JP2015056772A (ja) * 2013-09-12 2015-03-23 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
WO2016181670A1 (ja) 2016-11-17
EP3296944A4 (en) 2018-11-07
EP3296944A1 (en) 2018-03-21
US20180025283A1 (en) 2018-01-25
CN107533712A (zh) 2018-01-02

Similar Documents

Publication Publication Date Title
WO2016181670A1 (ja) 情報処理装置、情報処理方法及びプログラム
US10853650B2 (en) Information processing apparatus, information processing method, and program
KR102334942B1 (ko) 돌봄 로봇을 위한 데이터 처리 방법 및 장치
US10302444B2 (en) Information processing system and control method
US9316502B2 (en) Intelligent mobility aid device and method of navigating and providing assistance to a user thereof
US20190383620A1 (en) Information processing apparatus, information processing method, and program
JP5904021B2 (ja) 情報処理装置、電子機器、情報処理方法、及びプログラム
US20210145340A1 (en) Information processing system, information processing method, and recording medium
JP2005315802A (ja) ユーザ支援装置
CN110996796A (zh) 信息处理设备、方法和程序
US20170131103A1 (en) Information processing apparatus, information processing method, and program
JP6552548B2 (ja) 地点提案装置及び地点提案方法
US20220306155A1 (en) Information processing circuitry and information processing method
US20220357172A1 (en) Sentiment-based navigation
JPWO2018163560A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2020026986A1 (ja) 情報処理装置、情報処理方法およびプログラム
US11270682B2 (en) Information processing device and information processing method for presentation of word-of-mouth information
WO2022124164A1 (ja) 注目対象共有装置、注目対象共有方法
JP2017228167A (ja) 情報出力システム及び情報出力方法
JP6855825B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2024073110A (ja) 制御方法及び情報処理装置
WO2019054009A1 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181203

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181203

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200331

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200915