JPWO2018135057A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JPWO2018135057A1
JPWO2018135057A1 JP2018562875A JP2018562875A JPWO2018135057A1 JP WO2018135057 A1 JPWO2018135057 A1 JP WO2018135057A1 JP 2018562875 A JP2018562875 A JP 2018562875A JP 2018562875 A JP2018562875 A JP 2018562875A JP WO2018135057 A1 JPWO2018135057 A1 JP WO2018135057A1
Authority
JP
Japan
Prior art keywords
image
user
information processing
processing apparatus
setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018562875A
Other languages
English (en)
Other versions
JP6969577B2 (ja
Inventor
大輔 三木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018135057A1 publication Critical patent/JPWO2018135057A1/ja
Application granted granted Critical
Publication of JP6969577B2 publication Critical patent/JP6969577B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)

Abstract

ネットワークを介したユーザ間のコミュニケーションをより好適な態様で実現する。外部装置と所定のネットワークを介して通信を行う通信部と、第１のユーザに関連付けられた第１の画像に対して、当該第１のユーザに関連付けられた第１の設定と、第２のユーザに関連付けられた第２の設定と、に基づく画像処理が施されることで生成された第２の画像の、前記第２のユーザへの提示に関する制御を行う制御部と、を備える、情報処理装置。

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
ネットワークやコミュニケーションツールの発達に伴い、遠隔地のユーザ間におけるコミュニケーションの態様が多様化してきており、音声によるコミュニケーションに限らず、静止画像や動画像のような映像を介したコミュニケーションも可能となってきている。
また、近年では、コミュニケーションツールとして、ＨＭＤ（Head Mounted Display）のような頭部装着型の装置の利用を想定した、遠隔地のユーザ間におけるコミュニケーションのための技術も各種検討されている。例えば、特許文献１には、ネットワークを介したユーザ間のコミュニケーションを実現するための技術の一例として、頭部装着型の装置を利用したシステムの一例が開示されている。
特開２０１３−２５８５５５号公報
ところで、対面でのユーザ間においては、音声等の言語による言語コミュニケーションのみに限らず、表情や視線、姿勢、身体動作等を利用した所謂非言語コミュニケーションがあわせて用いられることで、より円滑なコミュニケーションが実現される。このような状況から、ネットワークを介したユーザ間のコミュニケーションにおいても、非言語コミュニケーションをより好適な態様で実現することが可能な技術の提供が求められている。
そこで、本開示では、ネットワークを介したユーザ間のコミュニケーションをより好適な態様で実現することが可能な情報処理装置、情報処理方法、及びプログラムを提案する。
本開示によれば、外部装置と所定のネットワークを介して通信を行う通信部と、第１のユーザに関連付けられた第１の画像に対して、当該第１のユーザに関連付けられた第１の設定と、第２のユーザに関連付けられた第２の設定と、に基づく画像処理が施されることで生成された第２の画像の、前記第２のユーザへの提示に関する制御を行う制御部と、を備える、情報処理装置が提供される。
また、本開示によれば、コンピュータが、外部装置と所定のネットワークを介して通信を行うことと、第１のユーザに関連付けられた第１の画像に対して、当該第１のユーザに関連付けられた第１の設定と、第２のユーザに関連付けられた第２の設定と、に基づく画像処理が施されることで生成された第２の画像の、前記第２のユーザへの提示に関する制御を行うことと、を含む、情報処理方法が提供される。
また、本開示によれば、コンピュータに、外部装置と所定のネットワークを介して通信を行うことと、第１のユーザに関連付けられた第１の画像に対して、当該第１のユーザに関連付けられた第１の設定と、第２のユーザに関連付けられた第２の設定と、に基づく画像処理が施されることで生成された第２の画像の、前記第２のユーザへの提示に関する制御を行うことと、を実行させる、プログラムが提供される。
以上説明したように本開示によれば、ネットワークを介したユーザ間のコミュニケーションをより好適な態様で実現することが可能な情報処理装置、情報処理方法、及びプログラムが提供される。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理システムの概略的なシステム構成の一例を示した図である。 同実施形態に係る情報処理装置の概略的な構成の一例について説明するための説明図である。 同実施形態に係る情報処理装置の機能構成の一例を示したブロック図である。 表情の種類に応じて適用されるゲインの設定の一例を示した図である。 同実施形態に係る情報処理システムによる制御の一例について説明するための説明図である。 同実施形態に係る情報処理装置の一連の処理の流れの一例を示したフローチャートである。 同実施形態に係る情報処理装置の一連の処理の流れの一例を示したフローチャートである。 変形例１に係る情報処理装置の機能構成の一例を示したブロック図である。 変形例２に係る情報処理装置の機能構成の一例を示したブロック図である。 変形例２に係る情報処理システムにおけるゲイン制御の一例について説明するための説明図である。 変形例３に係る情報処理装置３００の機能構成の一例を示したブロック図である。 変形例３に係る情報処理システムにおけるゲイン制御の一例について説明するための説明図である。 変形例４に係る情報処理システムの構成の一例を示した図である。 本開示の一実施形態に係る情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．概略構成
２．ユーザ間のコミュニケーションに関する検討
３．技術的特徴
３．１．概要
３．２．機能構成
３．３．処理
３．４．変形例
４．ハードウェア構成の一例
５．むすび
＜＜１．概略構成＞＞
まず、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明する。例えば、図１は、本開示の一実施形態に係る情報処理システムの概略的なシステム構成の一例を示した図である。
本実施形態に係る情報処理システム１は、複数のユーザ間におけるネットワークを介したコミュニケーションを実現するための仕組みを提供する。具体的には、図１に示すように、本実施形態に係る情報処理システム１は、複数の情報処理装置１００を含む。例えば、図１に示す例では、ユーザＵａ及びＵｂは、それぞれに関連付けられた情報処理装置１００ａ及び１００ｂをコミュニケーションツールとして利用する。情報処理装置１００ａと情報処理装置１００ｂとは、所定のネットワークＮ１１を介して互いに情報を送受信可能に接続されている。また、情報処理システム１は、サーバ８００を含んでもよく、当該サーバ８００により情報処理装置１００ａと情報処理装置１００ｂとの間の通信が仲介されてもよい。
なお、ネットワークＮ１１の種別は特に限定されない。具体的な一例として、ネットワークＮ１１は、Ｗｉ−Ｆｉ（登録商標）規格に基づくネットワークのような、所謂無線のネットワークにより構成されていてもよい。また、他の一例として、ネットワークＮ１１は、インターネット、専用線、ＬＡＮ（Local Area Network）、または、ＷＡＮ（Wide
Area Network）等により構成されていてもよい。また、ネットワークＮ１１は、複数のネットワークを含んでもよく、少なくとも一部が有線のネットワークとして構成されていてもよい。
情報処理装置１００は、所謂ＨＭＤのような頭部装着型の装置として構成されている。例えば、図２は、本実施形態に係る情報処理装置の概略的な構成の一例について説明するための説明図である。図２に示すように、情報処理装置１００は、ユーザの頭部に装着されることで、当該ユーザの眼前に、画像を表示するための出力部１９１（例えば、表示パネル）を保持するように構成されている。また、情報処理装置１００は、所謂スピーカ、ヘッドホン、イヤホン等のように、音声等の音響を出力するための音響出力部（図示を省略する）を備えてもよい。
また、図示は省略するが、情報処理装置１００は、所謂マイクロホンのように、ユーザの音声や周囲の環境音等の音響を集音する集音部や、所謂デジタルカメラのように、ユーザの画像を撮像する撮像部等を備えてもよい。また、当該集音部や当該撮像部は、情報処理装置１００とは異なる装置として設けられ、当該情報処理装置１００と連携して動作するように構成されていてもよい。
なお、情報処理装置１００として適用可能な頭部装着型の表示装置（ＨＭＤ）には、所謂、没入型ＨＭＤ、シースルー型ＨＭＤ、ビデオシースルー型ＨＭＤ、及び網膜投射型ＨＭＤが含まれる。
没入型ＨＭＤは、ユーザの頭部または顔部に装着された場合に、ユーザの眼を覆うように装着され、ユーザの眼前にディスプレイ等の表示部が保持される。そのため、没入型ＨＭＤを装着したユーザは、外部の風景（即ち、現実世界の風景）を直接視野に入れることが困難であり、表示部に表示された映像のみが視界に入ることとなる。このような構成により、没入型ＨＭＤは、画像を視聴しているユーザに対して没入感を与えることが可能となる。なお、図２に示す情報処理装置１００は、没入型ＨＭＤとして構成され得る。
シースルー型ＨＭＤは、例えば、ハーフミラーや透明な導光板を用いて、透明な導光部等からなる虚像光学系をユーザの眼前に保持し、当該虚像光学系の内側に画像を表示させる。そのため、シースルー型ＨＭＤを装着したユーザは、虚像光学系の内側に表示された画像を視聴している間も、外部の風景を視野に入れることが可能となる。なお、シースルー型ＨＭＤの具体的な一例として、メガネのレンズに相当する部分を虚像光学系として構成した、所謂メガネ型のウェアラブルデバイスが挙げられる。
ビデオシースルー型ＨＭＤは、没入型ＨＭＤと同様に、ユーザの眼を覆うように装着され、ユーザの眼前にディスプレイ等の表示部が保持される。一方で、ビデオシースルー型ＨＭＤは、周囲の風景を撮像するための撮像部を有し、当該撮像部により撮像されたユーザの視線方向の風景の画像を表示部に表示させる。このような構成により、ビデオシースルー型ＨＭＤを装着したユーザは、外部の風景を直接視野に入れることは困難ではあるが、表示部に表示された画像により、外部の風景を確認することが可能となる。
網膜投射型ＨＭＤは、ユーザの眼前に投影部が保持されており、当該投影部からユーザの眼に向けて、外部の風景に対して画像が重畳するように当該画像が投影される。より具体的には、網膜投射型ＨＭＤでは、ユーザの眼の網膜に対して、投影部から画像が直接投射され、当該画像が網膜上で結像する。このような構成により、近視や遠視のユーザの場合においても、より鮮明な映像を視聴することが可能となる。また、網膜投射型ＨＭＤを装着したユーザは、投影部から投影される画像を視聴している間も、外部の風景を視野に入れることが可能となる。
また、本実施形態に係る情報処理装置１００は、例えば、加速度センサや、角速度センサ（ジャイロセンサ）等の各種センサが設けられ、当該情報処理装置１００を装着したユーザの頭部の動き（頭部の姿勢）を検知可能に構成されていてもよい。具体的な一例として、情報処理装置１００は、ユーザの頭部の動きとして、ヨー（yaw）方向、ピッチ（pitch）方向、及びロール（roll）方向それぞれの成分を検出してもよい。このような構成に基づき、例えば、情報処理装置１００は、各種センサによりユーザの頭部の動きの検知結果に応じて当該ユーザの視線の方向を推定し、推定された視線の方向に応じた映像を、出力部１９１を介してユーザに提示することが可能となる。これにより、例えば、ユーザは、所謂全天周画像や、所謂ＶＲ（Virtual Reality）技術により実現された仮想空間内の画像のように、当該ユーザの視野よりも広く展開された画像を、見回すように視点を移動させながら参照することが可能となる。
以上のような構成に基づき、例えば、ユーザＵａが使用する情報処理装置１００ａは、撮像部により撮像されたユーザＵａの映像（例えば、動画像や静止画像）を、ネットワークＮ１１を介して他の情報処理装置１００ｂに送信する。ユーザＵｂが使用する情報処理装置１００ｂは、ネットワークＮ１１を介して情報処理装置１００ａから送信されるユーザＵａの映像を、出力部１９１を介してユーザＵｂに提示する。同様に、ユーザＵｂの映像が、情報処理装置１００ｂからネットワークＮ１１を介して情報処理装置１００ａに送信され、当該情報処理装置１００ａの出力部１９１を介してユーザＵａに提示されてもよい。また、ユーザの映像に限らず、例えば、マイクロホン等のような集音部により集音されたユーザの音声が情報処理装置１００ａ及び１００ｂ間で送受信され、スピーカ、イヤホン、またはヘッドホン等のような音響出力部を介して各ユーザに提示されてもよい。以上のような構成により、ユーザＵａ及びＵｂは、情報処理装置１００をコミュニケーションツールとして利用することで、遠隔地間においても、ネットワークＮ１１を介して互いにコミュニケーションをとることが可能となる。
以上、図１及び図２を参照して、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明した。
＜＜２．ユーザ間のコミュニケーションに関する検討＞＞
続いて、ユーザ間のコミュニケーションについて、特に、ＨＭＤのような頭部装着型の装置をコミュニケーションツールとして利用した場合に着目して説明したうえで、本実施形態に係る情報処理システムの課題について整理する。
一般的には、対面でのユーザ間においては、音声等の言語による言語コミュニケーションのみに限らず、表情や視線、姿勢、身体動作等を利用した所謂非言語コミュニケーションがあわせて用いられることで、より円滑なコミュニケーションが実現される。
また、近年、ネットワークやコミュニケーションツールの発達に伴い、遠隔地のユーザ間におけるコミュニケーションの態様が多様化してきており、音声によるコミュニケーションに限らず、静止画像や動画像のような映像を介したコミュニケーションも可能となってきている。
例えば、近年では、コミュニケーションツールとして、ＨＭＤのような頭部装着型の装置の利用が注目されており、当該装置の利用を想定した、遠隔地のユーザ間におけるコミュニケーションのための技術も各種検討されている。具体的な一例として、ＶＲ技術を応用することで、遠隔地のユーザどうしが、ネットワークを介して仮想空間を共有し、当該仮想空間内において互いにコミュニケーションをとることが可能である。このような仮想空間内におけるコミュニケーションにおいて、コミュニケーションツールとしてＨＭＤを利用することで、ユーザに対して、あたかも仮想空間内にいるかのような臨場感あふれる体験を提供することが可能となる。これにより、例えば、仮想空間内におけるユーザ間のコミュニケーションにおいて、当該ユーザどうしがあたかも対面しているような状況を模擬することも可能となる。
また、他の一例として、所謂ＡＲ（Augmented Reality）技術を、ネットワークを介したユーザ間のコミュニケーションに応用することも可能である。具体的な一例として、ＡＲ技術を応用することで、コミュニケーションの相手となる他のユーザの映像を、実空間上に重畳するように提示することが可能となる。このような構成により、遠隔地のユーザ間のコミュニケーションにおいて、一方のユーザの眼の前に、あたかもコミュニケーションの相手となる他のユーザが存在し、当該ユーザどうしが対面しているような状況を模擬することも可能となる。なお、この場合には、コミュニケーションツールとして、例えば、シースルー型ＨＭＤ、ビデオシースルー型ＨＭＤ、網膜投射型ＨＭＤ等を適用すればよい。
このように、近年の各種技術の発展に伴い、遠隔地のユーザどうしがあたかも対面しているような状況を模擬することが可能となってきている。このような背景から、ネットワークを介したユーザ間においても、より円滑なコミュニケーションを可能となるために、当該ユーザ間における非言語コミュニケーションをより好適な態様で実現することが可能な技術の提供が求められている。
一方で、ＨＭＤのような頭部装着型の装置をコミュニケーションツールとして利用するような状況下では、当該装置を頭部に装着した状態でコミュニケーションが行われることとなる。そのため、例えば、外付けの撮像部等によりユーザの外観の映像を撮像したとしても、頭部に装着された装置によりユーザの顔の少なくとも一部（特に、眼の周辺）が遮蔽されるため、撮像された映像からユーザの表情を判別することが困難となる場合がある。このような状況下では、ユーザの表情を利用した非言語コミュニケーションを実現することが困難となる場合がある。
また、ネットワークを介したコミュニケーションにおいては、各ユーザが置かれる環境が異なる場合がある一方で、各ユーザが置かれている環境を他のユーザが認識することが困難な場合がある。そのため、あるユーザについては、比較的大きいリアクションを取ることが困難な環境に置かれているような状況が想定され、このような状況を他のユーザが認識することが困難な場合もあり得る。このような場合においては、例えば、あるユーザは、リアクションを小さくせざるを得ない状況も想定され、このようなリアクションが、他のユーザに対して本来の意図とは異なる印象を与え、ひいては誤解が生じる場合も想定され得る。
また、リアクションの大きさにより受ける印象は、体調等のようなユーザの状態に応じて異なる場合がある一方で、ネットワークを介したコミュニケーションにおいては、当該ユーザの状態を他のユーザが認識することが困難な場合がある。そのため、例えば、一方のユーザが、体調不良等により、他方のユーザのリアクションが大きすぎることが負担（例えば、ストレス）になっているような状況下においても、他方のユーザが、一方のユーザの状態を鑑みて自発的にリアクションの大きさを調整することが困難な場合も想定され得る。
このような状況を鑑み、本開示では、ネットワークを介したユーザ間のコミュニケーション、特に、ＨＭＤ等の頭部装着型の装置をコミュニケーションツールとして利用した非言語コミュニケーションをより好適な態様で実現することが可能な技術を提案する。
＜＜３．技術的特徴＞＞
＜３．１．概要＞
まず、本実施形態に係る情報処理システムの概要について説明する。前述したように、本実施形態に係る情報処理システムでは、ＨＭＤ等のような頭部装着型の装置がコミュニケーションツールとして利用されるため、当該装置を装着したユーザを撮像した画像からは、当該ユーザの表情を判別することが困難となる場合がある。
そこで、本実施形態に係る情報処理装置１００は、各種センサ等のような所定の検出部により、利用者であるユーザの各種状態を検出し、検出結果に応じて当該ユーザの表情や感情を推定する。具体的な一例して、情報処理装置１００は、所謂生体情報取得センサによるユーザの生体情報の検出結果に基づき、当該ユーザの表情や感情を推定してもよい。生体情報としては、例えば、体温、脈拍、血液成分、発汗、脳波、脳血流、眼電位、筋電等が挙げられる。
なお、上記検出部の構成や設置位置については、検出対象に応じて適宜決定されればよい。例えば、脳波に関する情報を検知する脳波センサや血液成分に関する情報を検知する血液センサ等は、情報処理装置１００の筐体のうち、ユーザの前頭部に接触する箇所のように、ユーザが当該情報処理装置１００を装着した場合に、脳により近い位置に設けられるとよい。また、他の一例として、体温を検知する体温センサや脈拍を検知する脈拍センサ等は、情報処理装置１００の筐体のうち、ユーザの耳およびその周辺に接触する箇所のように、体温や脈拍の測定がしやすい位置に設けられるとよい。
もちろん、上述した検出部の例はあくまで一例であり、ユーザの表情や感情を推定することが可能であれば、検出対象となる状態、当該状態を検出するための構成、及び当該構成の設置位置等は特に限定されない。
次いで、情報処理装置１００は、表情や感情の推定結果に応じて、ユーザに関連付けられた画像（例えば、ユーザの顔の画像）に対して画像処理を施すことで、当該ユーザの表情や感情が反映された画像を生成する。なお、このとき情報処理装置１００は、所定の設定（例えば、事前のユーザ入力に基づく設定）に応じて、ユーザに関連付けられた画像に対して施される画像処理の適用量（例えば、ゲイン、度合い、あるいはレベル）を制御してもよい。
そして、情報処理装置１００は、画像処理に応じて生成した、ユーザの表情や感情が反映された画像を、ネットワークを介して他の情報処理装置１００に送信する。なお、本説明では、ユーザＵａが利用する情報処理装置１００ａが、ユーザＵａの表情や感情が反映された画像を、ユーザＵｂが利用する情報処理装置１００ｂにネットワークを介して送信するものとする。この場合には、情報処理装置１００ｂは、情報処理装置１００ａから送信された画像（即ち、ユーザＵａの表情や感情が反映された画像）を、出力部１９１を介してユーザＵｂに提示する。
このような構成により、ユーザが頭部装着型の装置を装着することで、当該ユーザの顔の少なくとも一部が遮蔽されているような状況下においても、当該ユーザの表情や感情が反映された画像を、ネットワークを介して他のユーザに提示することが可能となる。また、前述の通り、情報処理装置１００は、所定の設定に応じて、ユーザに関連付けられた画像に対する画像処理の適用量を制御する。このような制御により、例えば、ユーザが実際にオーバーリアクションを取りづらいような状況下においても、画像処理の適用量を増加させることで、当該ユーザが意図する表情や感情が模擬された画像を、他のユーザに提示することが可能となる。
また、情報処理装置１００ｂは、ユーザＵｂに対して、ユーザＵａの表情や感情が反映された画像を提示する際に、ユーザＵｂに関連付けられた設定（例えば、ユーザＵｂにより指定された設定）に応じて、当該画像中のユーザＵａの表情を調整してもよい。このような構成により、例えば、ユーザＵａがユーザＵｂ側の状態を鑑みて自発的に表情を調整することが困難な状況下においても、ユーザＵｂの状態に応じて、当該ユーザＵｂに提示される画像中のユーザＵａの表情を情報処理装置１００ｂ側で調整することが可能となる。
以上のようにして、本実施形態に係る情報処理システムは、ネットワークを介したユーザ間において、ユーザの表情を利用した非言語コミュニケーションをより好適な態様で実現する。
以上、本実施形態に係る情報処理システムの概要について説明した。なお、以降では、本実施形態に係る情報処理システムについてさらに詳しく説明する。
＜３．２．機能構成＞
続いて、図３を参照して、本実施形態に係る情報処理装置１００の機能構成の一例について説明する。図３は、本実施形態に係る情報処理装置１００の機能構成の一例を示したブロック図である。
図３に示すように、本実施形態に係る情報処理装置１００は、出力部１９１と、入力部１９７と、撮像部１９３と、検出部１９５と、通信部１９９と、自表情推定部１０１と、自表情画像制御部１０３と、記憶部１０７と、他表情推定部１１３と、他表情画像制御部１１５と、ゲイン演算部１１７とを含む。また、情報処理装置１００は、圧縮処理部１０５と、伸張処理部１１１とを含んでもよい。
通信部１９９は、情報処理装置１００が、所定のネットワークを介して他の装置（例えば、サーバ８００や他の情報処理装置１００等の外部装置）との間で各種情報の送受信を行うための構成である。通信部１９９は、例えば、無線のネットワークを介して他の装置との間で各種情報の送受信を行う場合には、通信アンテナ、ＲＦ（Radio Frequency）回路、ベースバンドプロセッサ等を含み得る。なお、以降の説明では、情報処理装置１００の各構成が、他の装置との間で情報の送受信を行う場合には、特に説明が無い場合には、当該通信部１９９を介して当該情報の送受信が行われるものとする。
出力部１９１は、図２を参照して説明した出力部１９１に相当し、提示対象となる情報を、例えば、視認可能に提示された画像情報としてユーザに提示する。出力部１９１は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や、有機ＥＬ（ＯＬＥＤ：Organic Light Emitting Diode）ディスプレイ等により構成され得る。
入力部１９７は、ユーザが情報処理装置１００に対して各種情報を入力するための入力インターフェースである。入力部１９７は、例えば、ボタン、レバー、及びタッチパネル等のような入力デバイスを含んでもよい。
撮像部１９３は、ユーザの画像を撮像するための構成であり、例えば、所謂カメラ（デジタルカメラ）等により構成され得る。撮像部１９３は、例えば、情報処理装置１００とは異なる装置として構成され、当該情報処理装置１００を装着したユーザの外観の画像（例えば、静止画像や動画像）を撮像してもよい。そして、撮像部１９３は、撮像したユーザの画像を、自表情画像制御部１０３に出力する。
記憶部１０７は、各種データを一時的または恒常的に記憶するための記憶領域である。記憶部１０７には、例えば、情報処理装置１００の利用者であるユーザに関連付けられた画像が記憶されている。なお、ユーザに関連付けられた画像としては、例えば、当該ユーザの顔が提示された画像が挙げられる。また、他の一例として、ユーザの表情を他のユーザに提示するための媒介として、あらかじめ設定されたキャラクタの画像（特に、キャラクタの顔の画像）が、当該ユーザに関連付けられた画像として記憶されていてもよい。具体的な一例として、ユーザに対してあらかじめ設定されたアバターの画像（特に、アバターの顔の画像）が、当該ユーザに関連付けられた画像として記憶されていてもよい。なお、上述したユーザに関連付けられた画像が、「第１の画像」の一例に相当する。
検出部１９５は、ユーザの各種状態や状況を検出するため構成であり、例えば、１以上の各種センサ（例えば、図３に示すセンサ１９５ａ、１９５ｂ、…等）を含み得る。検出部１９５を構成する各種センサとしては、例えば、体温、脈拍、血液成分、発汗、脳波、脳血流、眼電位、筋電等の生体情報を検出する生体情報取得センサが挙げられる。また、他の一例として、検出部１９５は、音声等の音響を集音する集音部を備え、当該集音部によりユーザが発話する音声を集音することで、集音結果に基づき当該ユーザの声色や声量等を示す情報を取得してもよい。また、検出部１９５は、集音された音声を解析することで、ユーザの会話の内容を示す情報を取得してもよい。また、検出部１９５は、ユーザの眼の瞳孔の状態を示す情報や、まばたきの状態を示す情報等を取得してもよい。この場合には、例えば、検出部１９５は、所謂カメラ等の撮像部を備え、当該撮像部によりユーザの眼の画像を撮像し、当該画像の撮像結果を解析することで、瞳孔の状態を示す情報や、まばたきの状態を示す情報を取得してもよい。また、撮像部によりユーザの眼の画像の撮像結果に基づき、ユーザが涙を流しているか否かを検出することも可能である。
以上のようにして、検出部１９５は、ユーザの各種状態や状況を検出し、検出結果を示す情報を自表情推定部１０１に出力する。
自表情推定部１０１は、検出部１９５からユーザの各種状態や状況の検出結果を示す情報を取得し、取得した当該情報に基づき、ユーザの表情や感情（以降では、これらを総じて単に「表情」と称する）を推定する。具体的には、自表情推定部１０１は、喜怒哀楽等のようなあらかじめ設定された表情の種類Ｅｎと、当該表情の度合いを示す表情レベルＥＬｍｒｎとを推定する。なお、本説明では、表情の種類Ｅｎとして、「喜び（Ｅ１）」、「悲しみ（Ｅ２）」、「怒り（Ｅ３）」、「驚き（Ｅ４）」、「不安（Ｅ５）」、「嫌悪（Ｅ６）」が設定されているものとして説明する。また、生体情報等のような各種状態や状況の検出結果を利用することで、表情の種類や表情レベルを推定する手法としては、既存の技術を利用することが可能であるため、当該推定の手法については詳細な説明を省略する。
そして、自表情推定部１０１は、表情の種類Ｅｎ及び表情レベルＥＬｍｒｎの推定結果を示す情報を、自表情画像制御部１０３に出力する。
ゲイン演算部１１７は、ユーザの表情の推定結果に応じて、当該ユーザに関連付けられた画像（例えば、ユーザの顔の画像）に対して適用する画像処理の適用量を制御するためのゲインを、所定の条件に基づき決定する。具体的な一例として、ゲイン演算部１１７は、入力部１９７を介したユーザからの指定（即ち、ユーザ入力）に基づき、当該ゲインを決定してもよい。また、ゲイン演算部１１７は、表情の種類Ｅｎごとに個別にゲインを決定してもよい。
なお、詳細は後述するが、当該ゲインとしては、自表情画像制御部１０３により実行される画像処理に適用されるゲインＧｍｎと、他表情画像制御部１１５により実行される画像処理に適用されるゲインＧｏｎと、が設定される。具体的には、ゲインＧｍｎは、情報処理装置１００を利用するユーザに関連付けられた画像に対する画像処理の適用量を制御するためのゲインである。また、ゲインＧｏｎは、他の情報処理装置１００から送信される他のユーザに関連付けられた画像に対する画像処理の適用量を制御するためのゲインである。なお、以降の説明では、情報処理装置１００を利用するユーザを「自ユーザ」とも称し、当該自ユーザに関連付けられた画像を「自ユーザ画像」とも称する。また、他の情報処理装置１００を利用する他のユーザを「他ユーザ」とも称し、当該他ユーザに関連付けられた画像を「他ユーザ画像」とも称する。また、自表情画像制御部１０３により実行される画像処理に適用されるゲインＧｍｎを、「自映像に対するゲインＧｍｎ」とも称する。また、他表情画像制御部１１５により実行される画像処理に適用されるゲインＧｏｎを、「他映像に対するゲインＧｏｎ」とも称する。
例えば、図４は、表情の種類に応じて適用されるゲインの設定の一例を示した図である。図４に示す例では、「喜び（Ｅ１）」、「悲しみ（Ｅ２）」、「怒り（Ｅ３）」、「驚き（Ｅ４）」、「不安（Ｅ５）」、及び「嫌悪（Ｅ６）」のそれぞれに対して、自映像に対するゲインＧｍｎと、他映像に対するゲインＧｏｎと、が設定されている。
そして、ゲイン演算部１１７は、所定の条件に応じて決定した自映像に対するゲインＧｍｎを示す情報を、自表情画像制御部１０３に出力する。また、ゲイン演算部１１７は、所定の条件に応じて決定した他映像に対するゲインＧｏｎを示す情報を、他表情画像制御部１１５に出力する。
自表情画像制御部１０３は、自ユーザの表情の推定結果が反映された当該自ユーザの画像を生成するための構成である。
具体的には、自表情画像制御部１０３は、自表情推定部１０１から自ユーザの表情の推定結果を示す情報（即ち、表情の種類Ｅｎ及び表情レベルＥＬｍｒｎの推定結果を示す情報）を取得する。また、自表情画像制御部１０３は、記憶部１０７にあらかじめ記憶された当該ユーザに関連付けられた画像（即ち、自ユーザ画像）を、当該記憶部１０７から読み出す。また、自表情画像制御部１０３は、ゲイン演算部１１７から、自映像に対するゲインＧｍｎを示す情報（特に、表情の種類Ｅｎの推定結果に対応するゲインＧｍｎを示す情報）を取得する。そして、自表情画像制御部１０３は、取得した自映像に対するゲインＧｍｎを示す情報に基づき、表情レベルＥＬｍｒｎを調整する。例えば、調整後の表情レベルをＥＬｍａｎとした場合に、当該調整後の表情レベルＥＬｍａｎは、以下に（式１）として示す計算式により算出される。
Figure 2018135057
次いで、自表情画像制御部１０３は、記憶部１０７から読み出した自ユーザ画像に対して、表情の種類Ｅｎの推定結果に応じた画像処理を、調整後の表情レベルＥＬｍａｎに応じた適用量で適用することにより、自ユーザの表情の推定結果が反映された自ユーザ画像を生成する。なお、自ユーザの表情の推定結果が反映された自ユーザ画像が、「第３の画像」の一例に相当する。
また、自表情画像制御部１０３は、撮像部１９３により撮像された自ユーザの外観の画像（即ち、情報処理装置１００を装着した自ユーザの画像）を、当該撮像部１９３から取得する。自表情画像制御部１０３は、取得した当該画像に対して画像解析を施すことで、当該画像中における自ユーザの顔の位置や向きを推定し、推定結果に応じて、当該画像に対して自ユーザの表情の推定結果が反映された自ユーザ画像（例えば、顔画像）を合成する。これにより、自ユーザの表情の推定結果が反映された、当該自ユーザの外観の画像が生成される。なお、以降では、当該自ユーザ画像が合成された自ユーザの外観の画像を「自映像」とも称する。そして、自表情画像制御部１０３は、生成した自映像のデータを圧縮処理部１０５に出力する。
圧縮処理部１０５は、自表情画像制御部１０３から生成された自映像のデータを取得し、取得した当該自映像のデータに対して、所定のフォーマットに基づく圧縮処理（エンコード処理）を施す。また、圧縮処理部１０５は、自映像のデータに対して、例えば、所定の規格に応じた符号化処理や暗号化処理等を施してもよい。そして、圧縮処理部１０５は、圧縮処理が施された自映像のデータを、所定のネットワークを介して他の装置（例えば、他の情報処理装置１００やサーバ８００等）に送信する。
伸張処理部１１１は、他の情報処理装置１００により生成された他のユーザの外観の映像（以降では、「他映像」とも称する）のデータを、所定のネットワークを介して他の装置（例えば、当該他の情報処理装置１００やサーバ８００等）から取得する。伸張処理部１１１は、取得した他映像のデータに対して、所定のフォーマットに基づく伸張処理（デコード処理）を施すことで他映像を復元する。また、このとき伸張処理部１１１は、取得した当該データに対して所定の規格に応じた符号化処理や暗号化処理が施されている場合には、当該規格に応じた復調処理や復号処理を施すことで他映像を復元してもよい。そして、伸張処理部１１１は、復元した他映像のデータを、他表情推定部１１３に出力する。
他表情推定部１１３は、伸張処理部１１１から他映像のデータを取得する。他表情推定部１１３は、取得した当該他映像に対して画像解析処理を施すことで、他映像中における他ユーザの顔の位置や向きを推定し、推定結果に基づき当該他映像から当該他ユーザの顔画像（即ち、他ユーザ画像）を抽出する。なお、抽出された他ユーザ画像は、対応する他ユーザが利用する他の情報処理装置１００において、当該他ユーザの表情の推定結果に応じて生成された他ユーザの顔画像に相当する。
また、他表情推定部１１３は、抽出した他ユーザ画像に対して画像解析処理を施すことで、他ユーザの表情を推定する。具体的には、他表情推定部１１３は、他ユーザの表情の種類Ｅｎと、当該表情の度合いを示す表情レベルＥＬｏｒｎとを推定する。なお、画像解析に基づき表情の種類や表情レベルを推定する手法としては、既存の技術を利用することが可能であるため、当該推定の手法については詳細な説明は省略する。
そして、他表情推定部１１３は、他の装置からネットワークを介して取得した他映像と、当該他映像に対応する他ユーザの表情の種類Ｅｎ及び当該表情レベルＥＬｏｒｎの推定結果を示す情報と、を他表情画像制御部１１５に出力する。
他表情画像制御部１１５は、他映像に提示された他ユーザの表情を所定の条件に基づき調整することで、自ユーザに提示する他ユーザの画像（即ち、他映像）を生成するための構成である。
他表情画像制御部１１５は、他の装置から取得された他映像と、当該他映像に対応する他ユーザの表情の種類Ｅｎ及び当該表情レベルＥＬｏｒｎの推定結果を示す情報と、を他表情推定部１１３から取得する。また、他表情画像制御部１１５は、ゲイン演算部１１７から、他映像に対するゲインＧｏｎを示す情報（特に、表情の種類Ｅｎの推定結果に対応するゲインＧｏｎを示す情報）を取得する。そして、他表情画像制御部１１５は、取得した他映像に対するゲインＧｏｎを示す情報に基づき、表情レベルＥＬｏｒｎを調整する。例えば、調整後の表情レベルをＥＬｏａｎとした場合に、当該調整後の表情レベルＥＬｏａｎは、以下に（式２）として示す計算式により算出される。
Figure 2018135057
なお、他の装置から取得された他映像の表情レベルが、自表情画像制御部１０３により前述した（式１）に基づく推定結果に応じて制御されていることを考慮した場合に、上記（式２）は、以下に（式３）として示す関係式で表すことも可能である。
Figure 2018135057
上記（式３）において、ＥＬｍｒｎは、他の情報処理装置１００による当該他の情報処理装置１００のユーザ（即ち、他ユーザ）の表情レベルの推定結果に相当する。また、ゲインＧｍｎは、当該他の情報処理装置１００が、表情レベルＥＬｍｒｎの推定結果に対して適用したゲインに相当する。即ち、（式３）に示した調整後の表情レベルＥＬｏａｎには、他の情報処理装置１００における表情の調整結果が反映されているとも言える。
次いで、他表情画像制御部１１５は、他映像中の他ユーザの顔画像（例えば、他表情推定部１１３により抽出された他ユーザ画像）に対して、表情の種類Ｅｎの推定結果に応じた画像処理を、調整後の表情レベルＥＬｏａｎに応じた適用量で適用することにより、他ユーザの表情の推定結果が反映された当該他ユーザの画像を生成する。なお、他ユーザの表情の推定結果が反映された当該他ユーザの画像が、「第２の画像」の一例に相当する。
そして、他表情画像制御部１１５は、他ユーザの表情の推定結果が反映された当該他ユーザの画像を、出力部１９１を介してユーザに提示する。なお、他表情画像制御部１１５による出力部１９１を介して他ユーザの画像の提示に係る制御が、当該自ユーザへの当該画像の提示に関する制御の一例に相当する。
以上のように、本実施形態に係る情報処理システム１では、例えば、ユーザＵａが利用する情報処理装置１００ａは、検出部１９５による検出結果に基づき当該ユーザＵａの表情を推定する。次いで、情報処理装置１００ａは、ユーザＵａに関連付けられた画像に対して表情の推定結果に応じた画像処理を施すことで、当該表情の推定結果が反映されたユーザＵａの画像（自映像）を生成する。また、このとき情報処理装置１００ａは、あらかじめ設定された自映像に対するゲインＧｍｎに応じて、当該自ユーザ画像に対する画像処理の適用量を制御してもよい。このような制御により、例えば、ユーザＵａが、オーバーリアクションを取りづらい場合においても、ゲインＧｍｎの設定を調整することで、当該ユーザＵａが意図する表情や感情が模擬された画像を生成することが可能となる。
また、本実施形態に係る情報処理システム１では、情報処理装置１００ｂは、自身を利用するユーザＵｂに対して、情報処理装置１００ａから送信されたユーザＵａの画像を提示する場合に、当該画像中のユーザＵａの表情を制御してもよい。具体的には、情報処理装置１００ｂは、情報処理装置１００ａから送信されたユーザＵａの画像（他映像）を解析することで当該ユーザＵａの表情を推定する。次いで、情報処理装置１００ｂは、情報処理装置１００ａから送信された他映像に対して、表情の推定結果に応じた画像処理を施し、当該表情の推定結果に応じて他映像中のユーザＵａの表情を調整することで、ユーザＵｂに提示するユーザＵａの画像を生成する。また、このとき情報処理装置１００ｂは、あらかじめ設定された他映像に対するゲインＧｏｍｎに応じて、当該他映像に対する画像処理の適用量を制御してもよい。このような制御により、例えば、情報処理装置１００ａ側の設定に応じて表情が調整されたユーザＵａの画像に対して、情報処理装置１００ｂ側の設定に応じて改めて表情を調整したうえで、当該調整後のユーザＵａの画像がユーザＵｂに提示される。
ここで、図５を参照して、本実施形態に係る情報処理システム１における、ユーザの表情の推定結果が反映された画像の生成に係る制御について、より具体的な一例を挙げて説明する。図５は、本実施形態に係る情報処理システム１による制御の一例について説明するための説明図である。なお、本説明では、情報処理装置１００ａを利用するユーザＵａの表情の推定結果が反映された当該ユーザＵａの画像（顔画像）を、情報処理装置１００ｂを利用するユーザＵｂに提示する場合に着目して説明する。
図５において、参照符号Ｖ０は、ユーザＵａに関連付けられた画像（例えば、ユーザＵａの顔画像）の一例を示している。即ち、顔画像Ｖ０に対して、ユーザＵａの表情の推定結果に応じた画像処理が施されることで、当該表情の推定結果が反映されたユーザＵａの顔画像が生成される。
例えば、ユーザＵａが「喜び（Ｅ１）」の表情を示していたものとする。この場合には、情報処理装置１００ａは、検出部１９５による検出結果に基づき、ユーザＵａの表情の種類Ｅ１と、当該表情の表情レベルＥＬｍｒ１とを推定する。また、情報処理装置１００ａは、表情の種類Ｅ１の推定結果に応じた自映像に対するゲインＧｍ１に基づき、表情レベルＥＬｍｒ１を調整することで、調整後の表情レベルＥＬｍａ１を算出する。次いで、情報処理装置１００ａは、顔画像Ｖ０に対して、推定した表情の種類Ｅ１に応じた画像処理を、調整後の表情レベルＥＬｍａ１に応じた適用量で適用することにより、「喜び（Ｅ １）」の表情の推定結果が反映されたユーザＵａの顔画像Ｖ１１を生成する。そして、情報処理装置１００ａは、生成したユーザＵａの顔画像Ｖ１１が反映された当該ユーザＵａの外観の画像を、所定のネットワークを介して情報処理装置１００ｂに送信する。
また、情報処理装置１００ｂは、情報処理装置１００ａから送信された、顔画像Ｖ１１が反映されたユーザＵａの外観の画像を、所定のネットワークを介して取得する。情報処理装置１００ｂは、取得した当該画像を解析することで、ユーザＵａの表情の種類Ｅ１と、当該表情の表情レベルＥＬｏｒ１とを推定する。また、情報処理装置１００ｂは、表情の種類Ｅ１の推定結果に応じた他映像に対するゲインＧｏ１に基づき、表情レベルＥＬｏｒ１を調整することで、調整後の表情レベルＥＬｏａ１を算出する。次いで、情報処理装置１００ａは、取得したユーザＵａの外観の画像中における顔画像Ｖ１１に対して、推定した表情の種類Ｅ１に応じた画像処理を、調整後の表情レベルＥＬｏａ１に応じた適用量で適用することにより、「喜び（Ｅ１）」の表情の推定結果に応じて調整されたユーザＵａの顔画像Ｖ１３を生成する。そして、情報処理装置１００ｂは、表情が調整された顔画像Ｖ１３が提示されたユーザＵａの外観の画像を、出力部１９１を介してユーザＵｂに提示する。
また、他の一例として、参照符号Ｖ２１は、ユーザＵａが「怒り（Ｅ３）」の表情を示していた場合において、情報処理装置１００ａにより生成される当該ユーザＵａの顔画像の一例を示している。この場合には、顔画像Ｖ０に対して、情報処理装置１００ａにより推定されたユーザＵａの表情の種類Ｅ３及び当該表情の表情レベルＥＬｍｒ３と、当該表情の種類Ｅ３に応じた自映像に対するゲインＧｍ３と基づく画像処理が施されることで、顔画像Ｖ２１が生成される。
また、参照符号Ｖ２３は、顔画像Ｖ２１に対して、情報処理装置１００ｂにより表情の調整が施されることで生成されるユーザＵａの顔画像の一例を示している。この場合には、顔画像Ｖ２１に対して、情報処理装置１００ｂにより推定されたユーザＵａの表情の種類Ｅ３及び当該表情の表情レベルＥＬｏｒ３と、当該表情の種類Ｅ３に応じた他映像に対するゲインＧｏｍ３と基づく画像処理が施されることで、顔画像Ｖ２３が生成される。
このような制御により、例えば、図５に示す例では、情報処理装置１００ｂは、ユーザＵａの「喜び（Ｅ１）」の表情が反映された当該ユーザＵａの画像を、ユーザＵｂに対して提示する際に、当該ユーザＵａの「喜び（Ｅ１）」の表情をより強調している。また、他の一例として、情報処理装置１００ｂは、ユーザＵａの「怒り（Ｅ３）」の表情が反映された当該ユーザＵａの画像を、ユーザＵｂに対して提示する際に、当該ユーザＵａの「怒り（Ｅ３）」の表情をより緩和している。このように、本実施形態に係る情報処理システム１に依れば、情報処理装置１００ｂにおいて、ユーザＵａの画像をユーザＵｂに提示する際に、情報処理装置１００ｂ側の設定（例えば、ユーザＵｂにより指定された設定）に応じて、当該ユーザＵａの表情を制御することも可能となる。
なお、図３を参照して説明した情報処理装置１００の機能構成はあくまで一例であり、上述した情報処理装置１００の各機能を実現することが可能であれば、当該情報処理装置１００の機能構成は、必ずしも図３に示す例には限定されない。例えば、情報処理装置１００の各構成のうち、一部の構成が当該情報処理装置１００の外部に設けられていてもよい。具体的な一例として、出力部１９１、検出部１９５、入力部１９７等が、情報処理装置１００に対して外付けされていてもよい。また、他の一例として、自表情推定部１０１、自表情画像制御部１０３、他表情推定部１１３、他表情画像制御部１１５、及びゲイン演算部１１７による一連の処理の流れが実現されれば、当該各構成のうち一部の構成がサーバ８００等のような他の装置に設けられていてもよい。また、上記では、各ユーザの映像が情報処理装置１００間で送受信される場合に、当該映像に対して圧縮処理が施される例について説明したが、圧縮処理が施されていない映像が、情報処理装置１００間で送受信されてもよい。なお、この場合には、当該映像の圧縮に係る処理や、圧縮された映像の伸張に係る処理が実行されなくてもよいことは言うまでもない。
以上、図３を参照して、本実施形態に係る情報処理装置１００の機能構成の一例について説明する
＜３．３．処理＞
続いて、本実施形態に係る情報処理装置１００の一連の処理の流れの一例について説明する。
（自映像の生成及び送信）
まず、図６を参照して、情報処理装置１００が自ユーザの表情を推定し、当該推定結果が反映された自映像を、他の装置（例えば、他の情報処理装置１００やサーバ８００等）に送信する処理について説明する。図６は、本実施形態に係る情報処理装置１００の一連の処理の流れの一例を示したフローチャートである。
情報処理装置１００（自表情推定部１０１）は、所定の検出部１９５からユーザの各種状態や状況の検出結果を示す情報を取得し、取得した当該情報に基づき、ユーザの表情を推定する。具体的な一例として、情報処理装置１００は、自ユーザの表情について、表情の種類Ｅｎ及び表情レベルＥＬｍｒｎを推定する（Ｓ１０１）。
次いで、情報処理装置１００（自表情画像制御部１０３）は、自ユーザに関連付けられた画像（自ユーザ画像）に対して、推定した表情の種類Ｅｎ及び表情レベルＥＬｍｒｎに応じた画像処理を施すことで、自ユーザの表情の推定結果が反映された自ユーザ画像（例えば、顔画像）を生成する。また、このとき情報処理装置１００は、あらかじめ設定された自映像に対するゲインＧｍｎに応じて、当該自ユーザ画像に対する画像処理の適用量を制御してもよい（Ｓ１０３）。
次いで、情報処理装置１００（自表情画像制御部１０３）は、所定の撮像部１９３により撮像された自ユーザの外観の画像を取得し、取得した当該画像に対して画像解析を施すことで、当該画像中における自ユーザの顔の位置や向きを推定する。そして、情報処理装置１００は、当該推定結果に基づき、自ユーザの外観の画像に対して、自ユーザの表情の推定結果が反映された自ユーザ画像（例えば、顔画像）を合成する。これにより、自ユーザの表情の推定結果が反映された当該自ユーザの外観の画像（即ち、自映像）が生成される（Ｓ１０５）。
そして、情報処理装置１００（圧縮処理部１０５）は、生成した自映像に対して所定のフォーマットに基づく圧縮処理（エンコード処理）を施し、圧縮処理後の当該自映像のデータを、所定のネットワークを介して他の装置（例えば、他の情報処理装置１００やサーバ８００等）に送信する（Ｓ１０７）。
以上、図６を参照して、情報処理装置１００が自ユーザの表情を推定し、当該推定結果が反映された自映像を、他の装置（例えば、他の情報処理装置１００やサーバ８００等）に送信する処理について説明した。
（他映像の調整及び提示）
続いて、図７を参照して、情報処理装置１００が、他の装置（例えば、他の情報処理装置１００やサーバ８００等）から送信された他映像を、当該他映像中の他ユーザの表情を調整したうえで自ユーザに提示する処理について説明する。図７は、本実施形態に係る情報処理装置１００の一連の処理の流れの一例を示したフローチャートである。
情報処理装置１００（伸張処理部１１１）は、他の情報処理装置１００により生成された他のユーザの外観の映像（即ち、他映像）のデータを、所定のネットワークを介して他の装置（例えば、当該他の情報処理装置１００やサーバ８００等）から取得する。情報処理装置１００は、取得した他映像のデータに対して、所定のフォーマットに基づく伸張処理（デコード処理）を施すことで他映像を復元する（Ｓ２０１）。
次いで、情報処理装置１００（他表情推定部１１３）は、復元した他映像に対して画像解析処理を施すことで、他映像中における他ユーザの顔の位置や向きを推定し、推定結果に基づき当該他映像から当該他ユーザの顔画像（即ち、他ユーザ画像）を抽出する。また、情報処理装置１００は、抽出した他ユーザ画像に対して画像解析処理を施すことで、他ユーザの表情を推定する。具体的な一例として、情報処理装置１００は、他ユーザの表情について、表情の種類Ｅｎ及び表情レベルＥＬｏｒｎを推定する（Ｓ２０３）。
次いで、情報処理装置１００（他表情画像制御部１１５）は、他映像中の他ユーザの顔画像（例えば、抽出した他ユーザ画像）に対して、推定した表情の種類Ｅｎ及び表情レベルＥＬｍｏｎに応じた画像処理を施すことで、他ユーザの表情の推定結果が反映された当該他ユーザの画像を生成する（即ち、他ユーザの表情を調整する）。また、このとき情報処理装置１００は、あらかじめ設定された他映像に対するゲインＧｏｎに応じて、当該他ユーザの顔画像に対する画像処理の適用量を制御してもよい（Ｓ２０５）。
そして、情報処理装置１００（他表情画像制御部１１５）は、他ユーザの表情の推定結果が反映された当該他ユーザの画像を、出力部１９１を介してユーザに提示する（Ｓ２０７）。
以上、図７を参照して、情報処理装置１００が、他の装置（例えば、他の情報処理装置１００やサーバ８００等）から送信された他映像を、当該他映像中の他ユーザの表情を調整したうえで自ユーザに提示する処理について説明した。
＜３．４．変形例＞
続いて、本実施形態に係る情報処理システムの変形例について説明する。
（変形例１）
まず、変形例１として、本実施形態に係る情報処理装置の構成の他の一例について説明する。なお、以降の説明では、変形例１に係る情報処理装置を、前述した実施形態に係る情報処理装置と区別するために、「情報処理装置１００’」と称する場合がある。
例えば、図８は、変形例１に係る情報処理装置の機能構成の一例を示したブロック図である。なお、変形例１に係る情報処理装置１００’は、ゲイン演算部１１７の動作が、前述した実施形態に係る情報処理装置１００と異なる。そこで、本説明では、変形例１に係る情報処理装置１００’の構成について、前述した実施形態に係る情報処理装置１００と異なる部分に着目して説明し、当該情報処理装置１００と実質的に同様の部分については、詳細な説明は省略する。
前述した実施形態に係る情報処理装置１００では、ゲイン演算部１１７は、自映像に対するゲインＧｍｎと、他映像に対するゲインＧｏｎとを、入力部１９７を介したユーザ入力に基づき決定していた。これに対して、変形例１に係る情報処理装置１００’では、ゲイン演算部１１７は、所定の状態や状況の検出結果に応じて、上記ゲインＧｍｎと上記ゲインＧｏｎとを決定してもよい。
例えば、ゲイン演算部１１７は、検出部１９５に含まれる各センサのうち少なくとも一部のセンサにより検出された所定の状態または状況に応じて、ゲインＧｍｎ及びＧｏｎを決定してもよい。より具体的な一例として、ゲイン演算部１１７は、検出部１９５による検出結果に基づき、ユーザが疲労している状態を認識した場合に、ゲインＧｍｎ及びＧｏ ｎの振れ幅がより小さくなるように制御してもよい。
また、他の一例として、ゲイン演算部１１７は、自ユーザの表情の推定結果に応じて、他映像に対するゲインＧｏｎを決定してもよい。同様に、ゲイン演算部１１７は、他ユーザの表情の推定結果に応じて、自映像に対するゲインＧｍｎを決定してもよい。また、ゲイン演算部１１７は、入力部１９７を介したユーザ入力と、所定の状態や状況の検出結果と、に応じて、ゲインＧｍｎ及びＧｏｎを決定してもよい。具体的な一例として、ゲイン演算部１１７は、入力部１９７を介したユーザ入力に応じてゲインＧｍｎ及びＧｏｎの初期値を決定し、所定の状態や状況の検出結果に応じて当該ゲインＧｍｎ及びＧｏｎを当該初期値を基準として動的に制御してもよい。
また、ゲイン演算部１１７が所定の状態や状況の検出結果に応じて制御するゲインは、表情の種類Ｅｎごとに規定されたゲインＧｍｎ及びＧｏｎのうち、一部のゲインであってもよいし、全部のゲインであってもよい。また、ゲイン演算部１１７は、表情の種類Ｅｎごとに規定されたゲインＧｍｎ及びＧｏｎのうち、一部のゲインに対して他のゲインとは異なる制御を適用してもよい。
また、ゲイン演算部１１７は、所定の設定に応じてゲインＧｍｎ及びＧｏｎを決定してもよい。例えば、文化圏の違いに応じて、表現の差異が生じる場合も想定され得る。このような状況を想定し、ゲイン演算部１１７は、例えば、文化圏に関する設定に応じて、少なくとも一部の表情や感情の表現がより抑制される（または、より誇張される）ように、ゲインＧｍｎ及びＧｏｎを制御してもよい。所定の設定は、文化圏に加え、人種、性別、年齢および国籍のうち少なくとも１つに関するダイバーシティ情報に基づいて定義されてもよい。
もちろん、ゲイン演算部１１７は、前述した実施形態に係る情報処理装置１００の場合と同様に、入力部１９７を介したユーザ入力に基づき、上記ゲインＧｍｎ及びＧｏｎを決定してもよいことは言うまでもない。
以上、変形例１として、図８を参照して、本実施形態に係る情報処理装置の構成の他の一例について説明した。
（変形例２）
続いて、変形例２として、本実施形態に係る情報処理システムの構成の他の一例について説明する。なお、以降の説明では、変形例２に係る情報処理装置を、前述した実施形態や他の変形例に係る情報処理装置と区別するために、「情報処理装置２００」と称する場合がある。
前述した実施形態に係る情報処理システムでは、各情報処理装置１００が、他ユーザの映像（即ち、他映像）に対して画像解析を施すことで、当該他ユーザの表情の推定を行っていた。これに対して、変形例２に係る情報処理システムでは、各情報処理装置２００による自ユーザの表情の推定結果をサーバ８００側で管理する。このような構成に基づき、変形例２に係る情報処理システムでは、情報処理装置２００が、自身で他ユーザの表情の推定を行わなくとも、当該他ユーザの表情の推定結果をサーバ８００から取得可能とする。また、変形例２に係る情報処理システムでは、自映像に対するゲインＧｍｎと、他映像に対するゲインＧｏｎと、の双方をサーバ８００側で管理してもよい。そこで、以下に、変形例２に係る情報処理装置２００のより詳細な構成の一例について説明する。
例えば、図９は、変形例２に係る情報処理装置２００の機能構成の一例を示したブロック図である。図９に示すように、変形例２に係る情報処理装置２００は、出力部１９１と、入力部１９７と、撮像部１９３と、検出部１９５と、通信部１９９と、自表情推定部２０１と、自表情画像制御部２０３と、記憶部２０７と、他表情画像制御部２１５と、ゲイン演算部２１７とを含む。また、情報処理装置２００は、圧縮処理部２０５と、伸張処理部２１１とを含んでもよい。
なお、出力部１９１と、入力部１９７と、撮像部１９３と、検出部１９５と、通信部１９９と、については、前述した実施形態に係る情報処理装置１００（図３参照）と同様である。また、自表情推定部２０１、自表情画像制御部２０３、記憶部２０７、他表情画像制御部２１５、及びゲイン演算部２１７は、前述した実施形態に係る情報処理装置１００における、自表情推定部１０１、自表情画像制御部１０３、記憶部１０７、他表情画像制御部１１５、及びゲイン演算部１１７にそれぞれ対応している。そこで、本説明では、変形例２に係る情報処理装置２００の機能構成について、前述した実施形態に係る情報処理装置１００と異なる部分に着目して説明し、当該情報処理装置１００と実質的に同様の部分については、詳細な説明は省略する。
自表情推定部２０１は、検出部１９５からユーザの各種状態や状況の検出結果を示す情報を取得し、取得した当該情報に基づき、ユーザの表情を推定する。具体的な一例として、自表情推定部２０１は、検出部１９５から取得した情報に基づき、表情の種類Ｅｎ及び表情レベルＥＬｍｒｎを推定する。そして、自表情推定部２０１は、表情の種類Ｅｎ及び表情レベルＥＬｍｒｎの推定結果を示す情報を、自表情画像制御部２０３に出力する。また、自表情推定部２０１は、当該表情の種類Ｅｎ及び表情レベルＥＬｍｒｎの推定結果を示す情報を、所定のネットワークを介してサーバ８００に送信する。
ゲイン演算部２１７は、自映像に対するゲインＧｍｎと、他映像に対するゲインＧｏｎとを、所定の条件に応じて決定し、決定した当該ゲインＧｍｎ及びＧｏｎを示す情報を、所定のネットワークを介してサーバ８００に送信してもよい。これにより、当該ゲインＧｍｎ及びＧｏｎがサーバ８００で管理される。また、他の一例として、当該ゲインＧｍｎ及びＧｏｎを示す情報が、各情報処理装置２００（ひいては、当該情報処理装置２００の利用者であるユーザ）ごとに、サーバ８００にあらかじめ管理されていてもよい。
ゲイン演算部２１７は、サーバ８００で管理されたゲインＧｍｎを示す情報を、所定のネットワークを介して当該サーバ８００から取得し、取得した当該ゲインＧｍｎを示す情報を自表情画像制御部２０３に出力してもよい。同様に、ゲイン演算部２１７は、サーバ８００で管理されたゲインＧｏｎを示す情報を、ネットワークを介して当該サーバ８００から取得し、取得した当該ゲインＧｏｎを示す情報を他表情画像制御部２１５に出力してもよい。なお、このとき取得されるゲインＧｍｎ及びＧｏｎは、サーバ８００により、所定の条件に応じて制御されてもよい。なお、サーバ８００によるゲインＧｍｎ及びＧｏｎの制御の一例については、詳細を別途後述する。
自表情画像制御部２０３は、自ユーザの表情の推定結果が反映された自ユーザの画像（即ち、自映像）を生成するための構成である。なお、自表情画像制御部２０３による、自映像の生成に係る処理は、前述した実施形態に係る情報処理装置１００における自表情画像制御部１０３と同様である。
即ち、自表情画像制御部２０３は、記憶部２０７に記憶された自ユーザ画像に対して、自表情推定部２０１による表情の種類Ｅｎ及び表情レベルＥＬｍｒｎの推定結果と、ゲイン演算部２１７から出力されるゲインＧｍｎとに基づき画像処理を施すことで、自ユーザの表情の推定結果が反映された自ユーザ画像を生成する。また、自表情画像制御部２０３は、撮像部１９３により撮像された自ユーザの外観の画像に対して、自ユーザの表情の推定結果が反映された自ユーザ画像を合成することで、自ユーザの表情の推定結果が反映された、当該自ユーザの外観の画像（即ち、自映像）を生成する。そして、自表情画像制御部２０３は、生成した自映像のデータを圧縮処理部２０５に出力する。
圧縮処理部２０５は、前述した実施形態に係る情報処理装置１００における圧縮処理部１０５と実質的に同様である。即ち、圧縮処理部２０５は、自表情画像制御部２０３から生成された自映像のデータを取得し、取得した当該自映像のデータに対して、所定のフォーマットに基づく圧縮処理（エンコード処理）を施す。そして、圧縮処理部２０５は、圧縮処理が施された自映像のデータを、所定のネットワークを介してサーバ８００に送信する。なお、サーバ８００に送信された当該自映像のデータは、当該サーバ８００により、情報処理装置１００の通信相手となる他の情報処理装置１００に送信される。
伸張処理部２１１は、他の情報処理装置１００により生成された他のユーザの外観の映像（即ち、他映像）のデータと、当該他のユーザの表情の推定結果（即ち、表情の種類Ｅ ｎ及び表情レベルＥＬｏｒｎ）を示す情報と、を所定のネットワークを介してサーバ８００から取得する。伸張処理部２１１は、取得した他映像のデータに対して、所定のフォーマットに基づく伸張処理（デコード処理）を施すことで他映像を復元する。そして、伸張処理部２１１は、復元した他映像のデータと、取得した他のユーザの表情の推定結果を示す情報とを、他表情画像制御部２１５に出力する。
他表情画像制御部２１５は、他映像に提示された他ユーザの表情を所定の条件に基づき調整することで、自ユーザに提示する他ユーザの画像を生成するための構成である。なお、他表情画像制御部２１５による、自ユーザに提示する他ユーザの画像の生成に係る処理は、前述した実施形態に係る情報処理装置１００における他表情画像制御部１１５と同様である。
即ち、他表情画像制御部２１５は、サーバ８００から取得された他映像に対して、当該サーバ８００から取得された他ユーザの表情の推定結果（即ち、表情の種類Ｅｎ及び当該表情レベルＥＬｏｒｎの推定結果）と、ゲイン演算部２１７から出力されるゲインＧｏｎを示す情報と、に基づき画像処理を施す。これにより、他ユーザの表情の推定結果が反映された当該他ユーザの画像（換言すると、他ユーザの表情が調整された画像）が生成される。そして、他表情画像制御部２１５は、他ユーザの表情の推定結果が反映された当該他ユーザの画像を、出力部１９１を介してユーザに提示する。
続いて、図１０を参照して、変形例２に係る情報処理システムにおける、サーバ８００によるゲインＧｍｎ及びＧｏｎの制御の一例について説明する。図１０は、変形例２に係る情報処理システムにおけるゲイン制御の一例について説明するための説明図である。
図１０に示す例では、各ユーザに役割が設定されており、サーバ８００は、各ユーザに設定された役割に応じて、当該ユーザについて表情の種類Ｅｎごとに設定されたゲインＧｍｎ及びＧｏｎのうち少なくとも一部のゲインを制御する。具体的には、図１０に示す例では、ユーザＵａに対して「教師」の役割が設定されており、ユーザＵｂに対して「生徒」の役割が設定されている。このような構成の基で、サーバ８００は、ユーザに設定された役割に応じて、当該ユーザに対応するゲインを制御してもよい。
より具体的な一例として、「教師」の役割を担うユーザＵａが、「生徒」の役割が設定されたユーザＵｂの表情を確認する場合に、当該ユーザＵｂの感情の推定結果がより忠実に反映された状態（即ち、ゲインにより誇張されていない状態）で、当該ユーザＵｂの表情が確認できた方が望ましい場合が想定され得る。また、「教師」の役割を担うユーザＵａの表情が、「生徒」の役割が設定されたユーザＵｂに対して提示される場合に、当該ユーザＵａの感情の推定結果がより忠実に反映された状態（即ち、ゲインにより誇張されていない状態）で、当該ユーザＵａの表情が提示された方が望ましい場合も想定され得る。このような状況を鑑み、サーバ８００が、各ユーザに設定された役割に応じて、各ユーザについて設定されたゲインＧｍｎ及びＧｏｎそれぞれを制御してもよい。
例えば、図１０に示す例では、ユーザＵｂの利用する情報処理装置２００ｂにおいて、ユーザＵａの画像がユーザＵｂに対して提示される場合に、当該ユーザＵａの画像に対して最終的に適用されるゲインが０．８〜１．１の範囲に制限されるように、ユーザＵｂに対応するゲインＧｏｎが、サーバ８００により制御されている（即ち、リミッタ（上限値および／または下限値）が設けられている）。例えば、ユーザＵａが利用する情報処理装置２００ａにおいて、当該ユーザＵａの画像に適用されるゲインＧｍｎのうち、「怒り（Ｅ３）」に対応するゲインＧｍ３は「１．２」に設定されている。即ち、当該ゲインＧｍ ３は、「怒り」の表情がより誇張されるように設定されている。そのため、ユーザＵｂが利用する情報処理装置２００ｂにおいて、ユーザＵａの画像に対して最終的に適用されるゲインが０．８〜１．１の範囲に制御されるように（即ち、０．８≦Ｇｍ３×Ｇｏ３≦１．１となるように）、ユーザＵｂに対応するゲインの設定におけるゲインＧｏｎのうち、「怒り（Ｅ３）」に対応するゲインＧｏ３が「０．９２」に設定されている。
同様に、図１０に示す例では、ユーザＵａの利用する情報処理装置２００ａにおいて、ユーザＵｂの画像がユーザＵａに対して提示される場合に、当該ユーザＵｂの画像に対して最終的に適用されるゲインが０．８〜１．１の範囲に制限されるように、ユーザＵａに対応するゲインＧｏｎが、サーバ８００により制御されている。例えば、ユーザＵｂが利用する情報処理装置２００ｂにおいて、当該ユーザＵｂの画像に適用されるゲインＧｍｎのうち、「嫌悪（Ｅ３）」に対応するゲインＧｍ６は「０．２」に設定されている。即ち、当該ゲインＧｍ６は、「嫌悪」の表情がより表現されにくくなるように設定されている。そのため、ユーザＵａが利用する情報処理装置２００ａにおいて、ユーザＵｂの画像に対して最終的に適用されるゲインが０．８〜１．１の範囲に制御されるように（即ち、０．８≦Ｇｍ６×Ｇｏ６≦１．１となるように）、ユーザＵａに対応するゲインの設定におけるゲインＧｏｎのうち、「嫌悪（Ｅ３）」に対応するゲインＧｏ６が「４．０」に制御されている。
また、サーバ８００は、各ユーザについて表情の種類Ｅｎごとに設定されたゲインＧｍ ｎ及びＧｏｎのうち少なくとも一部のゲインの設定を無効化してもよい。この場合には、サーバ８００は、対応するゲインを「１．０」に設定すればよい。
また、上述したサーバ８００によるゲインの制御に係る機能は、所定の条件（例えば、管理者による操作）に応じて有効化及び無効化が選択的に制御されてもよい。また、上述したサーバ８００によるゲインの制御のうち、少なくとも一部の制御に関する設定が、所定の条件に応じて変更されてもよい。
なお、上記に説明した変形例２に係る情報処理システムの構成はあくまで一例であり、上述した情報処理装置２００及びサーバ８００の各機能が実現されれば、当該情報処理装置２００及びサーバ８００の構成は必ずしも上述した例のみには限定されない。例えば、情報処理装置２００の各構成のうち、少なくとも一部の構成がサーバ８００側に設けられていてもよい。
具体的な一例として、自表情推定部２０１に相当する構成が、サーバ８００に設けられていてもよい。この場合には、情報処理装置２００は、検出部１９５による検出結果を示す情報をサーバ８００に送信すればよい。また、当該サーバ８００は、情報処理装置２００から送信される情報に基づき、当該情報処理装置２００を利用するユーザの表情を推定すればよい。また、このときサーバ８００は、図８を参照して説明した例と同様に、情報処理装置２００から送信される情報（即ち、検出部１９５による検出結果を示す情報）に基づき、当該情報処理装置２００のユーザに対応するゲインＧｍｎ及びＧｏｎを決定してもよい。
また、自表情画像制御部２０３に相当する構成が、サーバ８００に設けられていてもよく、当該情報処理装置２００を利用するユーザに関連付けられた画像（即ち、自ユーザ画像）が当該サーバ８００側に保持されていてもよい。この場合には、情報処理装置２００は、撮像部１９３により撮像されたユーザの外観の画像をサーバ８００に送信すればよい。また、当該サーバ８００は、ユーザの表情の推定結果に応じて当該ユーザの表情が反映された顔画像を生成し、情報処理装置２００から送信される画像に当該顔画像を合成することで、当該ユーザの表情が反映された画像（即ち、自映像に相当する画像）を生成すればよい。
同様に、他表情画像制御部２１５に相当する構成が、サーバ８００に設けられていてもよい。この場合には、サーバ８００は、送信元となる情報処理装置２００のユーザに対応する自映像中の当該ユーザの表情を、送信先となる他の情報処理装置２００に対応するゲインＧｏｎに応じて調整し、調整後の画像を当該他の情報処理装置２００に送信すればよい。なお、この場合には、サーバ８００から他の情報処理装置２００への当該調整後の画像の送信に係る制御が、当該サーバ８００における、当該他の情報処理装置２００のユーザへの当該調整後の画像の提示に関する制御の一例に相当する。また、当該他の情報処理装置２００は、サーバ８００から送信される画像（即ち、調整後の他映像に相当する画像）を、出力部１９１を介して自ユーザに提示すればよい。この場合には、他の情報処理装置２００による出力部１９１を介して画像の提示に係る制御が、当該他の情報処理装置２００における、当該自ユーザへの当該画像の提示に関する制御の一例に相当する。
また、上記では、情報処理装置２００に対して、他ユーザの画像（即ち、他映像）として、送信元となる他の情報処理装置２００側に対応するゲインＧｍｎに応じた画像処理が施された画像が送信される例について説明した。一方で、当該ゲインＧｍｎに応じた画像処理が、送信先となる情報処理装置２００側で実行されてもよい。この場合には、例えば、送信元となる他の情報処理装置２００のユーザ（即ち、他ユーザ）に関連付けられた画像（即ち、他ユーザ画像）、当該他ユーザの表情の推定結果、及び当該他ユーザに対応するゲインＧｍｎを示す情報が、送信先となる情報処理装置２００に送信されればよい。なお、このような構成とすることで、送信先となる情報処理装置２００は、他ユーザの表情の推定結果が反映されていない他映像を、容易に再現することも可能となる。
以上、変形例２として、図９及び図１０を参照して、本実施形態に係る情報処理システムの構成の他の一例について説明した。
（変形例３）
続いて、変形例３として、本実施形態に係る情報処理システムの構成の他の一例について説明する。変形例３では、３人以上のユーザそれぞれが相互にコミュニケーションをとる場合における、情報処理システムの構成の一例について説明する。なお、以降の説明では、変形例３に係る情報処理装置を、前述した実施形態や他の変形例に係る情報処理装置と区別するために、「情報処理装置３００」と称する場合がある。また、本説明では、変形例３に係る情報処理システムは、変形例２に係る情報処理システムと同様に、各情報処理装置３００による自ユーザの表情の推定結果を、サーバ８００側で管理するように構成されているものとする。
例えば、図１１は、変形例３に係る情報処理装置３００の機能構成の一例を示したブロック図である。図１１に示すように、変形例３に係る情報処理装置３００は、出力部１９１と、入力部１９７と、撮像部１９３と、検出部１９５と、通信部１９９と、自表情推定部３０１と、自表情画像制御部３０３と、記憶部３０７と、複数の他表情画像制御部３１５と、ゲイン演算部２１７とを含む。例えば、図１１に示す例では、情報処理装置３００は、複数の他表情画像制御部３１５として、他表情画像制御部３１５ａ及び３１５ｂとを含んでいる。また、情報処理装置３００は、圧縮処理部３０５と、複数の伸張処理部３１１とを含んでもよい。例えば、図１１に示す例では、情報処理装置３００は、複数の伸張処理部３１１として、伸張処理部３１１ａ及び３１１ｂとを含んでいる。
なお、出力部１９１と、入力部１９７と、撮像部１９３と、検出部１９５と、通信部１９９と、については、前述した実施形態に係る情報処理装置１００（図３参照）と同様である。また、自表情推定部３０１、自表情画像制御部３０３、記憶部３０７、及び圧縮処理部３０５については、前述した変形例２に係る情報処理装置２００における、自表情推定部２０１、自表情画像制御部２０３、記憶部２０７、及び圧縮処理部２０５と実質的に同様である。そこで、本説明では、変形例３に係る情報処理装置３００の機能構成について、前述した変形例２に係る情報処理装置２００と異なる部分に着目して説明し、当該情報処理装置２００と実質的に同様の部分については、詳細な説明は省略する。
また、本説明では、変形例３に係る情報処理装置３００の特徴をよりわかりやすくするために、必要に応じて、ユーザＵａ〜Ｕｃそれぞれが利用する情報処理装置３００ａ〜３００ｃ間において、各ユーザの映像が送受信される場合の例に着目して説明する。
変形例３に係る情報処理装置３００では、互いに異なる他の情報処理装置３００それぞれから送信された当該他の情報処理装置３００を利用するユーザの画像（即ち、他映像）を、当該ユーザに対応する設定（例えば、ゲインＧｏｎ等）に応じて個別に調整する。
具体的な一例として、ユーザＵｃが利用する情報処理装置３００ｃが、情報処理装置３００ａ及び３００ｂから送信されたユーザＵａ及びＵｂに対応する他映像に対して、当該他映像中の当該ユーザの表情の調整を施し、調整後の他映像をユーザＵｃに提示するものとする。この場合には、例えば、伸張処理部３１１ａ及び他表情画像制御部３１５ａが、ユーザＵａに対応する他映像を処理対象とし、伸張処理部３１１ｂ及び他表情画像制御部３１５ｂが、ユーザＵｂに対応する他映像を処理対象とする。
また、ゲイン演算部３１７は、サーバ８００で管理されたユーザＵａに対応するゲインＧｏｎを示す情報を、所定のネットワークを介して当該サーバ８００から取得し、取得した当該ゲインＧｏｎを示す情報を他表情画像制御部３１５ａに出力する。また、ゲイン演算部３１７は、サーバ８００で管理されたユーザＵｂに対応するゲインＧｏｎを示す情報を、所定のネットワークを介して当該サーバ８００から取得し、取得した当該ゲインＧｏ ｎを示す情報を他表情画像制御部３１５ｂに出力する。
伸張処理部３１１ａは、情報処理装置３００ａにより生成されたユーザＵａの外観の映像（即ち、ユーザＵａに対応する他映像）のデータと、当該ユーザＵａの表情の推定結果（即ち、表情の種類Ｅｎ及び当該表情レベルＥＬｏｒｎの推定結果）を示す情報と、を所定のネットワークを介してサーバ８００から取得する。伸張処理部３１１ａは、取得したユーザＵａに対応する他映像のデータに対して、所定のフォーマットに基づく伸張処理（デコード処理）を施すことでユーザＵａに対応する他映像を復元する。そして、伸張処理部３１１ａは、復元したユーザＵａに対応する他映像のデータと、取得したユーザＵａのユーザの表情の推定結果を示す情報とを、他表情画像制御部３１５ａに出力する。
他表情画像制御部３１５ａは、ユーザＵａに対応する他映像のデータと、当該ユーザＵａの表情の推定結果を示す情報とを、伸張処理部３１１ａから取得する。また、他表情画像制御部３１５ａは、ユーザＵａに対応するゲインＧｏｎを示す情報を、ゲイン演算部３１７から取得する。次いで、他表情画像制御部３１５ａは、ユーザＵａに対応する他映像に対して、当該ユーザＵａの表情の推定結果を示す情報と、当該ユーザＵａに対応するゲインＧｏｎを示す情報と、に基づき画像処理を施すことで、ユーザＵａの表情の推定結果が反映された当該ユーザＵａの画像（換言すると、ユーザＵａの表情が調整された画像）を生成する。そして、他表情画像制御部３１５ａは、生成したユーザＵａの画像、即ち、ユーザＵａの表情の推定結果が反映された当該ユーザＵａの外観の画像を、画像合成部３１９に出力する。
また、伸張処理部３１１ｂは、情報処理装置３００ｂにより生成されたユーザＵｂの外観の映像（即ち、ユーザＵｂに対応する他映像）のデータと、当該ユーザＵｂの表情の推定結果（即ち、表情の種類Ｅｎ及び当該表情レベルＥＬｏｒｎの推定結果）を示す情報と、を所定のネットワークを介してサーバ８００から取得する。伸張処理部３１１ｂは、取得したユーザＵｂに対応する他映像のデータに対して、所定のフォーマットに基づく伸張処理（デコード処理）を施すことでユーザＵｂに対応する他映像を復元する。そして、伸張処理部３１１ｂは、復元したユーザＵｂに対応する他映像のデータと、取得したユーザＵａのユーザの表情の推定結果を示す情報とを、他表情画像制御部３１５ｂに出力する。
他表情画像制御部３１５ｂは、ユーザＵｂに対応する他映像のデータと、当該ユーザＵｂの表情の推定結果を示す情報とを、伸張処理部３１１ｂから取得する。また、他表情画像制御部３１５ｂは、ユーザＵｂに対応するゲインＧｏｎを示す情報を、ゲイン演算部３１７から取得する。次いで、他表情画像制御部３１５ｂは、ユーザＵｂに対応する他映像に対して、当該ユーザＵｂの表情の推定結果を示す情報と、当該ユーザＵｂに対応するゲインＧｏｎを示す情報と、に基づき画像処理を施すことで、ユーザＵｂの表情の推定結果が反映された当該ユーザＵｂの画像（換言すると、ユーザＵｂの表情が調整された画像）を生成する。そして、他表情画像制御部３１５ｂは、生成したユーザＵｂの画像、即ち、ユーザＵｂの表情の推定結果が反映された当該ユーザＵｂの外観の画像を、画像合成部３１９に出力する。
画像合成部３１９は、他表情画像制御部３１５ａから、ユーザＵａの表情の推定結果が反映された当該ユーザＵａの外観の画像を取得する。また、画像合成部３１９は、他表情画像制御部３１５ｂから、ユーザＵｂの表情の推定結果が反映された当該ユーザＵｂの外観の画像を取得する。次いで、画像合成部３１９は、取得したユーザＵａ及びＵｂの外観の画像それぞれを、所定の条件に基づき合成することで、ユーザＵａ及びＵｂそれぞれの外観が提示され、かつ当該ユーザＵａ及びＵｂそれぞれの表情の推定結果が反映された画像を生成する。そして、画像合成部３１９は、生成した画像、即ち、ユーザＵａ及びＵｂそれぞれの外観が提示された画像を、出力部１９１を介して自ユーザ（即ち、ユーザＵｃ）に提示する。
なお、画像合成部３１９による、取得された各他ユーザの画像の合成方法は、変形例３に係る情報処理システムの利用シーンに応じて適宜設定されてもよい。例えば、仮想空間内におけるユーザＵａ〜Ｕｃ間のコミュニケーションを想定した場合には、画像合成部３１９は、仮想空間内におけるユーザＵａ〜Ｕｃの位置関係に応じて、ユーザＵａ及びＵｂそれぞれの画像を仮想空間内の画像に合成することで、ユーザＵｃに提示する画像を生成してもよい。
また、図１１は、あくまで情報処理装置３００の論理的な機能構成を示したものであり、必ずしも情報処理装置３００の物理的なハードウェア構成を限定するものではない。具体的には、伸張処理部３１１ａ及び他表情画像制御部３１５ａと、伸張処理部３１１ｂ及び他表情画像制御部３１５ｂと、のそれぞれについて、ＩＣやプロセッサ等のような各種演算を行うデバイスが個別に設けられていなくてもよい。例えば、１つのプロセッサにより、伸張処理部３１１ａ及び他表情画像制御部３１５ａによる処理と、伸張処理部３１１ｂ及び他表情画像制御部３１５ｂによる処理とが実行されてもよい。
また、伸張処理部３１１ａ及び３１１ｂと、他表情画像制御部３１５ａ及び３１５ｂと、のそれぞれの論理的な構成についても限定されない。例えば、伸張処理部３１１ａ及び３１１ｂを１つの伸張処理部３１１として構成し、当該伸張処理部３１１が、複数のユーザに対応する他映像のデータそれぞれに対して伸張処理（デコード処理）を施すで、各ユーザに対応する他映像を個別に復元してもよい。同様に、他表情画像制御部３１５ａ及び３１５ｂとを１つの他表情画像制御部３１５として構成し、当該他表情画像制御部３１５が、各ユーザに対応する他映像に対して上述した画像処理を施すことで、当該ユーザの表情の推定結果が反映された画像を個別に生成してもよい。また、コミュニケーションの対象となるユーザの数に応じて、伸張処理部３１１及び他表情画像制御部３１５それぞれに相当する構成が、適宜追加で設けられてもよい。
続いて、図１２を参照して、変形例３に係る情報処理システムにおける、サーバ８００によるゲインＧｍｎ及びＧｏｎの制御の一例について説明する。図１２は、変形例３に係る情報処理システムにおけるゲイン制御の一例について説明するための説明図である。
図１２に示す例では、図１０を参照して前述した例と同様に、各ユーザに役割が設定されており、サーバ８００は、各ユーザに設定された役割に応じて、当該ユーザについて表情の種類Ｅｎごとに設定されたゲインＧｍｎ及びＧｏｎのうち少なくとも一部のゲインを制御する。より具体的には、図１２に示す例では、ユーザＵａに対して「教師」の役割が設定されており、ユーザＵｂ及びＵｃそれぞれに対して「生徒」の役割が設定されている。このような構成の基で、サーバ８００は、ユーザに設定された役割に応じて、当該ユーザに対応するゲインを制御してもよい。
なお、図１２に示すように、３人以上のユーザ間におけるコミュニケーションを想定した場合には、例えば、他映像に対するゲインＧｏｎは、コミュニケーションの相手となり得るユーザごとに個別に設定されてもよい。具体的な一例として、ユーザＵａに対応する設定の場合には、ユーザＵｂに対応するゲインＧｏｎと、ユーザＵｃに対応するゲインＧｏｎと、が個別に設定されていてもよい。これは、ユーザＵｂ及びＵｃそれぞれに対応する設定についても同様である。
また、図１０を参照して前述した例と同様に、コミュニケーションを行うユーザそれぞれの役割に応じて、当該ユーザそれぞれの画像に対して最終的に適用されるゲインが所定の範囲内に制限されるように、当該ユーザに対応するゲインＧｍｎ及びＧｏｎが制御されてもよい。具体的な一例として、図１２に示す例では、「教師」の役割を担うユーザＵａと、「生徒」の役割を担うユーザＵｂ及びＵｃのそれぞれと、の間においては、各ユーザの画像に対して適用される最終的に適用されるゲインが、０．８〜１．１の範囲に制限されるように、各ユーザに対応するゲインＧｏｎが制御されている。
例えば、ユーザＵａが利用する情報処理装置２００ａにおいて、当該ユーザＵａの画像に適用されるゲインＧｍｎのうち、「怒り（Ｅ３）」に対応するゲインＧｍ３は「１．２」に設定されている。即ち、当該ゲインＧｍ３は、「怒り」の表情がより誇張されるように設定されている。そのため、ユーザＵｂが利用する情報処理装置２００ｂにおいて、ユーザＵａの画像に対して最終的に適用されるゲインが０．８〜１．１の範囲に制御されるように（即ち、０．８≦Ｇｍ３×Ｇｏ３≦１．１となるように）、ユーザＵｂに対応するゲインの設定において、ユーザＵａに対して設定されたゲインＧｏｎのうち、「怒り（Ｅ ３）」に対応するゲインＧｏ３が「０．９２」に設定されている。
また、他の一例として、ユーザＵｂが利用する情報処理装置２００ｂにおいて、当該ユーザＵｂの画像に適用されるゲインＧｍｎのうち、「嫌悪（Ｅ３）」に対応するゲインＧｍ６は「０．２」に設定されている。即ち、当該ゲインＧｍ６は、「嫌悪」の表情がより表現されにくくなるように設定されている。そのため、ユーザＵａが利用する情報処理装置２００ａにおいて、ユーザＵｂの画像に対して最終的に適用されるゲインが０．８〜１．１の範囲に制御されるように（即ち、０．８≦Ｇｍ６×Ｇｏ６≦１．１となるように）、ユーザＵａに対応するゲインの設定における、ユーザＵｂに対して設定されたゲインＧｏｎのうち、「嫌悪（Ｅ３）」に対応するゲインＧｏ６が「４．０」に制御されている。
一方で、「生徒」の役割を担うユーザＵｂ及びＵｃ間においては、上述したゲインの制御が行われなくてもよい。例えば、図１２に示す例では、ユーザＵｂに対応するゲインの設定において、ユーザＵｃに対して設定されたゲインＧｏｎについては、サーバ８００によるゲインの制御が行われず、ユーザＵｂにより事前に設定された値がそのまま適用されてもよい。これは、ユーザＵｃに対応するゲインの設定における、ユーザＵｂに対して設定されたゲインＧｏｎについても同様である。
なお、上記はあくまで一例であり、必ずしもサーバ８００によるゲインの制御を限定するものではない。例えば、サーバ８００は、上述した各ユーザに設定された役割に応じた制御に限らず、ユーザごとに個別にゲインを制御してもよい。具体的な一例として、サーバ８００は、ユーザＵａ及びＵｂ間のコミュニケーションと、ユーザＵａ及びＵｃ間のコミュニケーションとで、ゲイン制御の内容を選択的に変更してもよい。
また、上記に説明した変形例３に係る情報処理システムの構成はあくまで一例であり、上述した情報処理装置２００及びサーバ８００の各機能が実現されれば、当該情報処理装置２００及びサーバ８００の構成は必ずしも上述した例のみには限定されない。
以上、変形例３として、図１１及び図１２を参照して、本実施形態に係る情報処理システムの構成の他の一例について説明した。
（変形例４）
続いて、変形例４として、本実施形態に係る情報処理システムのシステム構成の一例について説明する。
本実施形態に係る情報処理システムは、複数の情報処理装置１００が所定のネットワークを介して互いに情報（例えば、各ユーザの画像）を送受信することが可能であれば、システム構成は特に限定されない。例えば、図１３は、変形例４に係る情報処理システムの構成の一例を示した図である。図１３に示す例では、複数の情報処理装置１００（例えば、情報処理装置１００ａ〜１００ｄ）のそれぞれが、サーバ８００等の他の装置を介さずに、他の情報処理装置１００それぞれとの間でネットワークを構築している。より具体的な一例として、複数の情報処理装置１００が、所謂アドホックネットワークを構築している場合が挙げられる。
この場合には、各情報処理装置１００が、図３を参照して説明した例と同様に、自ユーザの表情の推定及び当該自ユーザの表情の調整と、他ユーザの表情の推定及び当該他ユーザの表情の調整と、を個別に実行してもよい。
また、他の一例として、各情報処理装置１００が、他の情報処理装置１００に対して、自ユーザの画像（即ち、自映像）に加えて当該自ユーザの表情の推定結果を送信してもよい。この場合には、図９を参照して説明した例と同様に、各情報処理装置１００は、他の情報処理装置１００から送信される当該他の情報処理装置１００のユーザ（即ち、他ユーザ）の表情の推定結果を、当該他ユーザの画像（即ち、他映像）の調整に利用してもよい。また、送信元となる情報処理装置１００のユーザの表情の調整が、送信先となる他の情報処理装置１００側で一括して実行されてもよい。この場合には、例えば、送信元となる情報処理装置１００から、当該情報処理装置１００のユーザに関連付けられた画像（即ち、画像処理が施される前の画像）が、当該ユーザの表情の推定結果や、当該ユーザに対応するゲインＧｍｎを示す情報とともに、送信先となる他の情報処理装置１００に送信されてもよい。
また、他の一例として、複数の情報処理装置１００のうち、少なくとも１以上の情報処理装置１００が、図９を参照して説明した例におけるサーバ８００の役割を担ってもよい。また、複数の情報処理装置１００による分散処理により、図９を参照して説明した例におけるサーバ８００の機能が実現されてもよい。
もちろん、上述した例はあくまで一例であり、前述した実施形態や各種変形例に係る情報処理システムの各機能が実現されれば、その構成は特に限定されない。
以上、変形例４として、図１３を参照して、本実施形態に係る情報処理システムのシステム構成の一例について説明した。
＜＜４．ハードウェア構成の一例＞＞
続いて、図１４を参照しながら、前述した情報処理装置１００やサーバ８００のように、本開示の一実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一例について、詳細に説明する。図１４は、本開示の一実施形態に係る通信システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
本実施形態に係る通信システムを構成する情報処理装置９００は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インターフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。例えば、図３に示す自表情推定部１０１、自表情画像制御部１０３、圧縮処理部１０５、伸張処理部１１１、他表情推定部１１３、他表情画像制御部１１５、及びゲイン演算部１１７は、ＣＰＵ９０１により構成され得る。
ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インターフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。例えば、図３に示す入力部１９７は、入力装置９１５により構成され得る。
出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。例えば、図３に示す出力部１９１は、出力装置９１７により構成され得る。
ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。例えば、図３に示す記憶部１０７は、ストレージ装置９１９により構成され得る。
ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア又はＢｌｕ−ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）又は電子機器等であってもよい。
接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ
Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。
通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。例えば、図３に示す通信部１９９は、通信装置９２５により構成され得る。
以上、本開示の実施形態に係る通信システムを構成する情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図１４では図示しないが、情報処理システムを構成する情報処理装置９００に対応する各種の構成を当然備える。
なお、上述のような本実施形態に係る情報処理システムを構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。
＜＜５．むすび＞＞
以上説明したように、本実施形態に係る情報処理システムでは、ユーザＵａに関連付けられた画像（例えば、顔画像）がユーザＵｂに提示される場合に、当該ユーザＵａに関連付けられた画像に対して、当該ユーザＵａに関連付けられた第１の設定と、ユーザＵｂに関連付けられた第２の設定と、に基づく画像処理が施される。ここで、ユーザＵａに関連付けられた第１の設定としては、例えば、ユーザＵａにより設定された、自身（即ち、ユーザＵａ）の感情の推定結果に基づき当該自身に関連付けられた画像に対する画像処理の適用量に関する設定（例えば、ユーザＵａにより設定されたゲインＧｍｎ等）が挙げられる。また、ユーザＵｂに関連付けられた第２の設定としては、例えば、ユーザＵｂにより設定された、他のユーザ（例えば、ユーザＵａ）の感情の推定結果に基づき当該他のユーザに関連付けられた画像に対する画像処理の適用量に関する設定（例えば、ユーザＵｂにより設定されたゲインＧｏｎ等）が挙げられる。
このような構成により、本実施形態に係る情報処理システムに依れば、ユーザが頭部装着型の装置を装着することで、当該ユーザの顔の少なくとも一部が遮蔽されているような状況下においても、当該ユーザの表情や感情が反映された画像を、ネットワークを介して他のユーザに提示することが可能となる。また、前述の通り、本実施形態に係る情報処理装置１００は、所定の設定に応じて、ユーザに関連付けられた画像に対する画像処理の適用量を制御する。このような制御により、例えば、ユーザが実際にオーバーリアクションを取りづらいような状況下においても、画像処理の適用量を増加させることで、当該ユーザが意図する表情や感情が模擬された画像を、他のユーザに提示することが可能となる。
また、例えば、情報処理装置１００ｂは、ユーザＵｂに対してユーザＵａの表情や感情が反映された画像を提示する際に、ユーザＵｂに関連付けられた設定（例えば、ユーザＵｂにより指定された設定）に応じて、当該画像中のユーザＵａの表情を調整してもよい。このような構成により、例えば、ユーザＵａがユーザＵｂ側の状態を鑑みて自発的に表情を調整する（例えば、リアクションの大きさを調整する）ことが困難な状況下においても、ユーザＵｂの状態に応じて、当該ユーザＵｂに提示される画像中のユーザＵａの表情を情報処理装置１００ｂ側で調整することも可能となる。
以上のように、本実施形態に係る情報処理システムに依れば、ネットワークを介したユーザ間において、ユーザの表情を利用した非言語コミュニケーションをより好適な態様で実現することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
外部装置と所定のネットワークを介して通信を行う通信部と、
第１のユーザに関連付けられた第１の画像に対して、当該第１のユーザに関連付けられた第１の設定と、第２のユーザに関連付けられた第２の設定と、に基づく画像処理が施されることで生成された第２の画像の、前記第２のユーザへの提示に関する制御を行う制御部と、
を備える、情報処理装置。
（２）
前記第１の設定及び前記第２の設定のうち少なくともいずれかは、前記第１のユーザの表情または感情の推定結果に応じて決定される、前記（１）に記載の情報処理装置。
（３）
前記第２の設定は、前記第１のユーザごとに設定される、前記（１）または（２）に記載の情報処理装置。
（４）
前記第１の設定及び前記第２の設定のそれぞれは、前記画像処理の適用量に関する情報を含む、前記（１）〜（３）のいずれかに記載の情報処理装置。
（５）
前記第１の画像に基づき前記第２の画像を生成するための前記画像処理の適用量は、前記第１の設定に基づく前記画像処理の適用量と、前記第２の設定に基づく前記画像処理の適用量と、に応じて決定される、前記（４）に記載の情報処理装置。
（６）
前記第２の設定に基づく前記画像処理の適用量は、所定の制限値に応じて制御される、前記（４）または（５）に記載の情報処理装置。
（７）
前記第１の設定及び前記第２の設定のうち少なくともいずれかの設定に基づく前記画像処理の適用量は、当該設定に対応するユーザからのユーザ入力に応じて制御される、前記（４）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記第１の設定及び前記第２の設定のうち少なくともいずれかの設定に基づく前記画像処理の適用量は、所定の状態または状況の検出結果に応じて制御される、前記（４）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記第１の設定及び前記第２の設定のうち少なくともいずれかの設定に基づく前記画像処理の適用量は、文化圏、人種、国籍、性別、および年齢のうち少なくとも１つに関するダイバーシティ情報に応じて制御される、前記（４）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記制御部は、前記制御として、前記第２の画像を所定の出力部を介して前記第２のユーザに提示する制御を行う、前記（１）〜（９）のいずれか一項に記載の情報処理装置。（１１）
前記ネットワークを介して外部装置から送信される、前記第１の画像に対して第１の設定に基づく画像処理が施されることで生成された第３の画像に対して、前記第２の設定に基づく画像処理を施すことで前記第２の画像を生成する画像処理部を備える、前記（１０）に記載の情報処理装置。
（１２）
前記第３の画像に対して解析処理を施すことで、当該解析処理の結果に基づき、前記第１のユーザの表情または感情を推定する推定部を備え、
前記画像処理部は、前記第１のユーザの表情または感情の推定結果に応じて決定される前記第２の設定に基づき、前記第３の画像に対して前記画像処理を施すことで、前記第２の画像を生成する、
前記（１１）に記載の情報処理装置。
（１３）
前記画像処理部は、
前記第１のユーザの表情または感情の推定結果を示す情報を、前記ネットワークを介して外部装置から取得し、
当該推定結果に応じて決定される前記第２の設定に基づき、前記第３の画像に対して前記画像処理を施すことで、前記第２の画像を生成する、
前記（１１）に記載の情報処理装置。
（１４）
前記ネットワークを介して外部装置から送信される前記第１の画像に対して、当該外部装置から通知される情報に基づく前記第１の設定と、前記第２の設定と、に基づく画像処理を施すことで前記第２の画像を生成する画像処理部を備える、前記（１０）に記載の情報処理装置。
（１５）
前記制御部は、前記制御として、前記第２のユーザに関連付けられた外部装置に、前記ネットワークを介して前記第２の画像を送信する制御を行う、前記（１）〜（９）のいずれか一項に記載の情報処理装置。
（１６）
前記第１の画像に対して、前記第１の設定及び前記第２の設定に基づき画像処理を施すことで前記第２の画像を生成する画像処理部を備え、
前記制御部は、生成された前記第２の画像を、前記第２のユーザに関連付けられた外部装置に送信する、
前記（１５）に記載の情報処理装置。
（１７）
前記第１の設定及び前記第２の設定は、前記第１のユーザに関連付けられた外部装置から前記ネットワークを介して通知される当該第１のユーザの表情または感情の推定結果を示す情報に応じて決定される、前記（１６）に記載の情報処理装置。
（１８）
前記第１のユーザに関連付けられた外部装置から前記ネットワークを介して通知される、所定の検出部による検出結果を示す情報に基づき、当該第１のユーザの表情または感情を推定する推定部を備え、
前記第１の設定及び前記第２の設定は、前記推定結果に応じて決定される、
前記（１６）に記載の情報処理装置。
（１９）
前記第１の画像に対して第１の設定に基づく画像処理が施されることで生成された第３の画像に対して、前記第２の設定に基づく画像処理を施すことで前記第２の画像を生成する画像処理部を備え、
前記制御部は、生成された前記第２の画像を、前記第２のユーザに関連付けられた外部装置に送信する、
前記（１５）に記載の情報処理装置。
（２０）
前記第１の画像に対して第１の設定に基づく画像処理を施すことで第３の画像を生成する画像処理部を備え、
前記制御部は、前記制御として、生成された前記第３の画像を、前記第２の画像を生成するためのデータとして、前記ネットワークを介して外部装置に送信する制御を行う、
前記（１）〜（９）のいずれか一項に記載の情報処理装置。
（２１）
前記情報処理装置は、前記第１のユーザに関連付けられた装置であり、
前記制御部は、前記制御として、前記第１の画像と、前記第１の設定に関する情報と、のうち少なくともいずれかを、前記第２の画像を生成するためのデータとして、前記ネットワークを介して外部装置に送信する制御を行う、
前記（１）〜（９）のいずれか一項に記載の情報処理装置。
（２２）
前記第１の画像は、前記第１のユーザの顔が提示された画像である、前記（１）〜（２１）のいずれか一項に記載の情報処理装置。
（２３）
コンピュータが、
外部装置と所定のネットワークを介して通信を行うことと、
第１のユーザに関連付けられた第１の画像に対して、当該第１のユーザに関連付けられた第１の設定と、第２のユーザに関連付けられた第２の設定と、に基づく画像処理が施されることで生成された第２の画像の、前記第２のユーザへの提示に関する制御を行うことと、
を含む、情報処理方法。
（２４）
コンピュータに、
外部装置と所定のネットワークを介して通信を行うことと、
第１のユーザに関連付けられた第１の画像に対して、当該第１のユーザに関連付けられた第１の設定と、第２のユーザに関連付けられた第２の設定と、に基づく画像処理が施されることで生成された第２の画像の、前記第２のユーザへの提示に関する制御を行うことと、
を実行させる、プログラム。
１ 情報処理システム
１００、２００、３００ 情報処理装置
１０１、２０１、３０１ 自表情推定部
１０３、２０３、３０３ 自表情画像制御部
１０５、２０５、３０５ 圧縮処理部
１０７、２０７、３０７ 記憶部
１１１、２１１、３１１ 伸張処理部
１１３ 他表情推定部
１１５、２１５、３１５ 他表情画像制御部
１１７、２１７、３１７ ゲイン演算部
１９１ 出力部
１９３ 撮像部
１９５ 検出部
１９７ 入力部
１９９ 通信部
３１９ 画像合成部
８００ サーバ

Claims (24)

  1. 外部装置と所定のネットワークを介して通信を行う通信部と、
    第１のユーザに関連付けられた第１の画像に対して、当該第１のユーザに関連付けられた第１の設定と、第２のユーザに関連付けられた第２の設定と、に基づく画像処理が施されることで生成された第２の画像の、前記第２のユーザへの提示に関する制御を行う制御部と、
    を備える、情報処理装置。
  2. 前記第１の設定及び前記第２の設定のうち少なくともいずれかは、前記第１のユーザの表情または感情の推定結果に応じて決定される、請求項１に記載の情報処理装置。
  3. 前記第２の設定は、前記第１のユーザごとに設定される、請求項１に記載の情報処理装置。
  4. 前記第１の設定及び前記第２の設定のそれぞれは、前記画像処理の適用量に関する情報を含む、請求項１に記載の情報処理装置。
  5. 前記第１の画像に基づき前記第２の画像を生成するための前記画像処理の適用量は、前記第１の設定に基づく前記画像処理の適用量と、前記第２の設定に基づく前記画像処理の適用量と、に応じて決定される、請求項４に記載の情報処理装置。
  6. 前記第２の設定に基づく前記画像処理の適用量は、所定の制限値に応じて制御される、請求項４に記載の情報処理装置。
  7. 前記第１の設定及び前記第２の設定のうち少なくともいずれかの設定に基づく前記画像処理の適用量は、当該設定に対応するユーザからのユーザ入力に応じて制御される、請求項４に記載の情報処理装置。
  8. 前記第１の設定及び前記第２の設定のうち少なくともいずれかの設定に基づく前記画像処理の適用量は、所定の状態または状況の検出結果に応じて制御される、請求項４に記載の情報処理装置。
  9. 前記第１の設定及び前記第２の設定のうち少なくともいずれかの設定に基づく前記画像処理の適用量は、文化圏、人種、国籍、性別、および年齢のうち少なくとも１つに関するダイバーシティ情報に応じて制御される、請求項４に記載の情報処理装置。
  10. 前記制御部は、前記制御として、前記第２の画像を所定の出力部を介して前記第２のユーザに提示する制御を行う、請求項１に記載の情報処理装置。
  11. 前記ネットワークを介して外部装置から送信される、前記第１の画像に対して第１の設定に基づく画像処理が施されることで生成された第３の画像に対して、前記第２の設定に基づく画像処理を施すことで前記第２の画像を生成する画像処理部を備える、請求項１０に記載の情報処理装置。
  12. 前記第３の画像に対して解析処理を施すことで、当該解析処理の結果に基づき、前記第１のユーザの表情または感情を推定する推定部を備え、
    前記画像処理部は、前記第１のユーザの表情または感情の推定結果に応じて決定される前記第２の設定に基づき、前記第３の画像に対して前記画像処理を施すことで、前記第２の画像を生成する、
    請求項１１に記載の情報処理装置。
  13. 前記画像処理部は、
    前記第１のユーザの表情または感情の推定結果を示す情報を、前記ネットワークを介して外部装置から取得し、
    当該推定結果に応じて決定される前記第２の設定に基づき、前記第３の画像に対して前記画像処理を施すことで、前記第２の画像を生成する、
    請求項１１に記載の情報処理装置。
  14. 前記ネットワークを介して外部装置から送信される前記第１の画像に対して、当該外部装置から通知される情報に基づく前記第１の設定と、前記第２の設定と、に基づく画像処理を施すことで前記第２の画像を生成する画像処理部を備える、請求項１０に記載の情報処理装置。
  15. 前記制御部は、前記制御として、前記第２のユーザに関連付けられた外部装置に、前記ネットワークを介して前記第２の画像を送信する制御を行う、請求項１に記載の情報処理装置。
  16. 前記第１の画像に対して、前記第１の設定及び前記第２の設定に基づき画像処理を施すことで前記第２の画像を生成する画像処理部を備え、
    前記制御部は、生成された前記第２の画像を、前記第２のユーザに関連付けられた外部装置に送信する、
    請求項１５に記載の情報処理装置。
  17. 前記第１の設定及び前記第２の設定は、前記第１のユーザに関連付けられた外部装置から前記ネットワークを介して通知される当該第１のユーザの表情または感情の推定結果を示す情報に応じて決定される、請求項１６に記載の情報処理装置。
  18. 前記第１のユーザに関連付けられた外部装置から前記ネットワークを介して通知される、所定の検出部による検出結果を示す情報に基づき、当該第１のユーザの表情または感情を推定する推定部を備え、
    前記第１の設定及び前記第２の設定は、前記推定結果に応じて決定される、
    請求項１６に記載の情報処理装置。
  19. 前記第１の画像に対して第１の設定に基づく画像処理が施されることで生成された第３の画像に対して、前記第２の設定に基づく画像処理を施すことで前記第２の画像を生成する画像処理部を備え、
    前記制御部は、生成された前記第２の画像を、前記第２のユーザに関連付けられた外部装置に送信する、
    請求項１５に記載の情報処理装置。
  20. 前記第１の画像に対して第１の設定に基づく画像処理を施すことで第３の画像を生成する画像処理部を備え、
    前記制御部は、前記制御として、生成された前記第３の画像を、前記第２の画像を生成するためのデータとして、前記ネットワークを介して外部装置に送信する制御を行う、
    請求項１に記載の情報処理装置。
  21. 前記情報処理装置は、前記第１のユーザに関連付けられた装置であり、
    前記制御部は、前記制御として、前記第１の画像と、前記第１の設定に関する情報と、のうち少なくともいずれかを、前記第２の画像を生成するためのデータとして、前記ネットワークを介して外部装置に送信する制御を行う、
    請求項１に記載の情報処理装置。
  22. 前記第１の画像は、前記第１のユーザの顔が提示された画像である、請求項１に記載の情報処理装置。
  23. コンピュータが、
    外部装置と所定のネットワークを介して通信を行うことと、
    第１のユーザに関連付けられた第１の画像に対して、当該第１のユーザに関連付けられた第１の設定と、第２のユーザに関連付けられた第２の設定と、に基づく画像処理が施されることで生成された第２の画像の、前記第２のユーザへの提示に関する制御を行うことと、
    を含む、情報処理方法。
  24. コンピュータに、
    外部装置と所定のネットワークを介して通信を行うことと、
    第１のユーザに関連付けられた第１の画像に対して、当該第１のユーザに関連付けられた第１の設定と、第２のユーザに関連付けられた第２の設定と、に基づく画像処理が施されることで生成された第２の画像の、前記第２のユーザへの提示に関する制御を行うことと、
    を実行させる、プログラム。
JP2018562875A 2017-01-20 2017-10-20 情報処理装置、情報処理方法、及びプログラム Active JP6969577B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017008440 2017-01-20
JP2017008440 2017-01-20
PCT/JP2017/038077 WO2018135057A1 (ja) 2017-01-20 2017-10-20 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2018135057A1 true JPWO2018135057A1 (ja) 2019-11-21
JP6969577B2 JP6969577B2 (ja) 2021-11-24

Family

ID=62908030

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018562875A Active JP6969577B2 (ja) 2017-01-20 2017-10-20 情報処理装置、情報処理方法、及びプログラム

Country Status (5)

Country Link
US (1) US11368664B2 (ja)
JP (1) JP6969577B2 (ja)
CN (1) CN110199244B (ja)
DE (1) DE112017006881T5 (ja)
WO (1) WO2018135057A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6754412B2 (ja) * 2018-11-07 2020-09-09 スカパーＪｓａｔ株式会社 体験記録システム及び体験記録方法
JP7254346B2 (ja) * 2019-08-26 2023-04-10 株式会社Agama-X 情報処理装置及びプログラム
JP7476091B2 (ja) * 2020-12-18 2024-04-30 Ｌｉｎｅヤフー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015035769A (ja) * 2013-08-09 2015-02-19 株式会社リコー 情報処理装置、情報処理システム及びプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659691A (en) * 1993-09-23 1997-08-19 Virtual Universe Corporation Virtual reality network with selective distribution and updating of data to reduce bandwidth requirements
JP2004185437A (ja) 2002-12-04 2004-07-02 Nippon Hoso Kyokai <Nhk> 身体情報反映チャット用プログラム、身体情報反映チャット用サーバ、身体情報反映チャット用クライアントおよび身体情報反映チャット方法
US20060284791A1 (en) * 2005-06-21 2006-12-21 National Applied Research Laboratories National Center For High-Performance Computing Augmented reality system and method with mobile and interactive function for multiple users
JP5621421B2 (ja) * 2010-09-06 2014-11-12 ソニー株式会社 画像処理装置、プログラム及び画像処理方法
JP5632100B2 (ja) * 2011-11-24 2014-11-26 株式会社Ｎｔｔドコモ 表情出力装置及び表情出力方法
WO2013084395A1 (ja) * 2011-12-07 2013-06-13 株式会社ニコン 電子機器、情報処理方法およびプログラム
JP2013258555A (ja) 2012-06-12 2013-12-26 Sony Computer Entertainment Inc ヘッドマウントディスプレイ、生体情報管理装置、および生体情報表示方法
KR20140061620A (ko) * 2012-11-13 2014-05-22 삼성전자주식회사 증강 현실을 활용한 소셜 네트워크 서비스 제공 시스템 및 방법과, 디바이스
JP6155643B2 (ja) * 2013-01-07 2017-07-05 セイコーエプソン株式会社 表示装置、および、表示装置の制御方法
JP6122735B2 (ja) * 2013-08-28 2017-04-26 ヤフー株式会社 情報処理装置、判定方法および判定プログラム
KR102332326B1 (ko) * 2014-01-23 2021-11-30 소니그룹주식회사 화상 표시 장치 및 화상 표시 방법
GB2534580B (en) * 2015-01-28 2020-06-17 Sony Interactive Entertainment Europe Ltd Image processing
US9784976B2 (en) * 2015-02-04 2017-10-10 Seiko Epson Corporation Head mounted display, information processing apparatus, image display apparatus, image display system, method for sharing display of head mounted display, and computer program
US9910275B2 (en) * 2015-05-18 2018-03-06 Samsung Electronics Co., Ltd. Image processing for head mounted display devices
DE102016110903A1 (de) * 2015-06-14 2016-12-15 Facense Ltd. Head-Mounted-Devices zur Messung physiologischer Reaktionen
KR20170001490A (ko) * 2015-06-26 2017-01-04 삼성전자주식회사 전자 장치 및 생체 센서를 이용한 전자 장치의 기능 제어 방법
DE112016004437T5 (de) * 2015-09-29 2018-07-05 BinaryVR, Inc. Head-Mounted-Display mit Gesichtsausdruck-Erkennungsfähigkeit
US10817066B2 (en) * 2016-12-05 2020-10-27 Google Llc Information privacy in virtual reality

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015035769A (ja) * 2013-08-09 2015-02-19 株式会社リコー 情報処理装置、情報処理システム及びプログラム

Also Published As

Publication number Publication date
JP6969577B2 (ja) 2021-11-24
WO2018135057A1 (ja) 2018-07-26
CN110199244B (zh) 2022-05-24
CN110199244A (zh) 2019-09-03
US20190373242A1 (en) 2019-12-05
DE112017006881T5 (de) 2019-11-14
US11368664B2 (en) 2022-06-21

Similar Documents

Publication Publication Date Title
US11398067B2 (en) Virtual reality presentation of body postures of avatars
WO2020177582A1 (zh) 视频合成的方法、模型训练的方法、设备及存储介质
US10832448B2 (en) Display control device, display control method, and program
JP5208810B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム
JP6760271B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2020192465A1 (zh) 一种三维对象重建方法和装置
US20180123813A1 (en) Augmented Reality Conferencing System and Method
CN114222960A (zh) 用于计算机生成现实的多模态输入
US9541996B1 (en) Image-recognition based game
WO2017130486A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2017221492A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20210191504A1 (en) Information processing device, information processing method, and program
CN109426343B (zh) 基于虚拟现实的协作训练方法及***
JPWO2019187862A1 (ja) 情報処理装置、情報処理方法、および記録媒体
WO2021147465A1 (zh) 一种图像渲染方法、电子设备及***
WO2018135057A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN109358744A (zh) 信息共享方法、装置、存储介质及穿戴式设备
WO2019087502A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN114207557A (zh) 虚拟和物理相机的位置同步
Nijholt Capturing obstructed nonverbal cues in augmented reality interactions: a short survey
JP2018507432A (ja) 個人的コンテンツの表示法
US20230336689A1 (en) Method and Device for Invoking Public or Private Interactions during a Multiuser Communication Session
WO2018198447A1 (ja) 情報処理装置および情報処理方法
CN109361727A (zh) 信息共享方法、装置、存储介质及穿戴式设备
US20230027060A1 (en) Display system and method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200717

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210928

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211011

R151 Written notification of patent or utility model registration

Ref document number: 6969577

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151