JP5798536B2 - 映像コミュニケーションシステム、および映像コミュニケーション方法 - Google Patents
映像コミュニケーションシステム、および映像コミュニケーション方法 Download PDFInfo
- Publication number
- JP5798536B2 JP5798536B2 JP2012199326A JP2012199326A JP5798536B2 JP 5798536 B2 JP5798536 B2 JP 5798536B2 JP 2012199326 A JP2012199326 A JP 2012199326A JP 2012199326 A JP2012199326 A JP 2012199326A JP 5798536 B2 JP5798536 B2 JP 5798536B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- user
- image
- person
- virtual space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
映像生成部が、前記ユーザ毎に、前記人物表現過程において配置した前記他のユーザの人物領域の映像と、前記物体表現過程において取得した当該ユーザの前記視点の位置及び前記視線の方向に対応した前記物体の映像と、前記環境表現過程において生成された前記仮想空間環境映像とを合成して仮想空間の映像を生成し、前記ディスプレイ位置取得過程において取得した当該ユーザのディスプレイの位置に対応する前記仮想空間におけるディスプレイ面に、生成した前記仮想空間の映像を透視投影変換し、透視投影変換した前記仮想空間の映像に入っていない前記他のユーザの人物領域の映像を透視投影変換した前記仮想空間の映像内に再配置する映像生成過程と、映像表示部が、前記ユーザ毎に、前記映像生成過程において再配置された後の当該ユーザの前記仮想空間の映像を当該ユーザのディスプレイに表示させる映像表示過程と、を有することを特徴とする映像コミュニケーション方法である。
本実施形態の映像コミュニケーションシステムは、複数地点のユーザのディスプレイに、物体が置かれている仮想空間を他のユーザと共有している映像を表示させ、この映像によって各ユーザが物体を観察しながら対話相手である他のユーザと対話することを可能とする。また、本実施形態の映像コミュニケーションシステムにより、各ユーザは、仮想空間における自分の位置と方向に応じて物体を映像で観察することができる。これらにより、映像コミュニケーションに参加しているユーザは、全ユーザの仮想空間における位置関係と観察対象を瞬時に全体像として把握することが可能となる。このような特長によって、映像コミュニケーションに参加しているユーザは、共有して観察している物体を会話のきっかけとし、相手と活発にコミュニケーションをとることができる。また、本実施形態の映像コミュニケーションシステムは、多様なディスプレイサイズに対応した仮想空間の映像を表示させる。
一方、ユーザAの視線方向に対するユーザBの視線方向が第1の回転量上限を超える場合、人物表現部107は、ユーザBの頭部の人物映像をユーザAの方向に第1の回転量上限だけ回転させ、頭部の回転人物映像を生成する。さらに、人物表現部107は、ユーザBの体の人物映像を、ユーザAの視線方向に対するユーザBの視線方向が第2の回転量以下である場合はユーザBの視線方向に、第2の回転量上限を超える場合はユーザAの方向に第2の回転量上限だけ回転させ、体の回転人物映像を生成する。このように人物表現部107は、対話相手の体の回転量よりも顔の回転量を少なくし、対話相手であるユーザBの顔をユーザAの方向に向けた映像を生成することで、対話相手の表情を認識しやすいように表示する。
このとき、人物表現部107は、視点の位置が示す距離を仮想空間における距離に変換して、ユーザの人物映像と対話相手の回転人物映像を配置する。しかし、ディスプレイにはある範囲内の仮想空間の映像しか表示できないため、仮想空間における距離が大きすぎると、人物映像がディスプレイに表示できなくなってしまう。そこで、予め距離の上限を決めておき、人物表現部107は、変換した仮想空間における距離が、その距離の上限を超えている場合は、その上限の距離にユーザの人物映像や対話相手の回転人物映像を配置する。また、人物表現部107は、配置した人物映像または回転人物映像により物体映像が隠れてしまう場合には、物体映像が隠れない位置まで配置をずらす。
(参考文献2)谷本ら,”自由視点映像技術”, 映像メディア学会誌, vol.60, no.1, pp29−34, 2006.
映像取得部201は、従拠点のユーザBを被写体の人物として1台以上のカメラにより撮影した映像を取得する。
人物映像取得部202は、人物映像取得部102と同様の処理により、映像取得部201が取得した映像からユーザBの頭部及び体の人物映像を取得する。
位置関係取得部205は、予め決められた従拠点内の基準点に対する従拠点のユーザBの視点の位置と視線の方向を取得する。基準点は、仮想空間において物体が存在する位置に対応する。
ディスプレイ位置取得部206は、基準点に対する従拠点(ユーザB)のディスプレイの位置を取得する。ディスプレイは、物体やユーザAなど任意の観察方向に設置され、移動可能である。
映像表示部211は、映像生成部110が生成した従拠点のユーザB用の映像をディスプレイに表示させる。
すなわち、人物表現部107は、ユーザBの視線方向に対するユーザAの視線方向に基づいてユーザAの頭部及び体の回転量を決定し、決定した回転量によりユーザAの頭部及び体の人物映像を回転させて回転人物映像を生成する。人物表現部107は、ユーザA及びユーザBの視点の位置に基づいて、物体を中心とした仮想空間にユーザAの回転人物映像とユーザBの後ろからの人物映像を配置する(ステップS50)。
符号300は、仮想空間における物体と主拠点のユーザ、従拠点1のユーザ、及び従拠点2のユーザの位置関係を示している。また、符号301は主拠点の様子であり、符号302は従拠点1の様子である。主拠点および従拠点1のそれぞれにおいて、ユーザは大型のディスプレイを用いて物体と対話相手の様子を観察している。符号303は、従拠点2の様子であり、ユーザは、タブレット型の端末を用いて物体と相手の様子を観察している。各拠点のユーザは、ディスプレイに表示されている映像により、物体を中心とした仮想空間における他の対話相手の表示位置や、顔の表情、視線及び体の向きによって表される観察方向を一目で把握できる。
このように、映像コミュニケーションシステムは、ユーザが利用するディスプレイの大きさや、ユーザとの距離や角度に応じた表現で対話相手の映像を表示させ、さらには、人物と物体や空間を連続的に表現することで、コミュニケーションを活性化することができる。
さらには、本実施形態によれば、映像生成部110は、多様なサイズのディスプレイに対応して、共有して観察する物体と対話相手全員の位置と表情を一覧して把握することができるように仮想空間の再構成を行っている。よって、各ユーザをコミュニケーションしやすい位置関係に配置した仮想空間の映像をディスプレイに表示することができる。
符号320は、物体及び各ユーザが配置された仮想空間を示し、符号321は、符号320の仮想空間の再配置を行わずにディスプレイに表示させたイメージを示し、符号322は、符号320の仮想空間をディスプレイのサイズに合わせて再構成してディスプレイに表示させたイメージを示している。
このように、映像生成部110は、共有して観察する物体と、対話相手全員の位置及び表情を一見して把握することができるように、多様なサイズのディスプレイに対応して空間の再構成を行うため、コミュニケーションをしやすい位置関係の映像を表示させることができる。この人物の表示位置の再構成により、相手の位置や表情の情報を十分に伝達することができ、コミュニケーションを阻害しない。
なお、人物周囲に表示枠を用意することで、観察方向の表現を補強することも考えられる。
全身の回転人物映像を用いた場合、身体動作などを表現する事ができる。頭部のみの回転人物映像を用いた場合、少ない表示領域により人物を表現する事ができる。上半身のみの回転人物映像を用いた場合、胴体の方向から観察方向を容易に理解でき、指差しなどの動作を含めた映像を表示することができる。
枠が長方形型の場合、直線で構成された形状であるため、透視投影を行った際に奥行きの認識が容易となり、各人物の向きも容易に知覚できる。また、枠がユーザの用いるディスプレイと同じ形状になり、枠内に人物の映像だけでなく遠隔地の拠点の環境の映像も同時に表示することで、遠隔地とあたかも空間が結合したような表現ができる。この場合、人物映像取得部102は、人物が含まれる映像から、人物が含まれる矩形の領域の映像を取得する。
枠が円形または楕円形で、人物の顔のみを枠内に表示する場合、ディスプレイ内の領域をあまり使用せずに表現する事ができる。また、仮想空間内の任意の位置に人物映像を移動させる場合でも、人物領域が狭いために移動が比較的少なくてすむ。
一方、枠による観察方向の表現と組み合わせて人物の映像を表示する場合、最も観察方向の理解が容易となるため、対話相手の観察方向がユーザと物体に対して垂直に近い場合でも、観察方向を表現する事ができる。
また、人物表現部107は、頭部の回転人物映像は1枚とし、頭部以外の回転人物映像は複数並べて表示させてもよい。この場合、人物を横から観察した際の不自然さを軽減することができる。
図6は、枠内に上半身の回転人物映像を表示した例を示しており、枠内に環境の映像を同時に表示している。
101、201 映像取得部
102、202 人物映像取得部
103 物体映像取得部
104 環境映像取得部
105、205 位置関係取得部
106、206 ディスプレイ位置取得部
107 人物表現部
108 物体表現部
109 環境表現部
110 映像生成部
111、211 映像表示部
200 従拠点装置
Claims (6)
- 各拠点のユーザを被写体として含む映像から人物領域の映像を取得する人物映像取得部と、
物体を被写体として含む映像から物体のみの映像を取得する物体映像取得部と、
環境の映像を取得する環境映像取得部と、
前記物体がある前記拠点のユーザの前記物体に対する視点の位置及び視線の方向、ならびに、前記物体がない前記拠点のユーザの当該拠点の基準点に対する視点の位置及び視線の方向を取得する位置関係取得部と、
前記物体がある前記拠点のディスプレイの前記物体に対する位置、ならびに、前記物体がない前記拠点のディスプレイの当該拠点の前記基準点に対する位置を取得するディスプレイ位置取得部と、
前記位置関係取得部が取得した前記ユーザの前記視点の位置及び前記視線の方向に基づいて、前記ユーザ毎に、前記人物映像取得部が取得した他の前記ユーザの前記人物領域の映像を回転させ、回転させた前記人物領域の映像を仮想空間内に配置する人物表現部と、
前記ユーザ毎に、前記物体映像取得部が取得した前記物体の映像から、前記位置関係取得部が取得した当該ユーザの前記視点の位置及び前記視線の方向に対応した前記物体の映像を取得する物体表現部と、
環境の映像を所定の形状の仮想空間に貼り付けて仮想空間環境映像を生成する環境表現部と、
前記ユーザ毎に、前記人物表現部が配置した前記他のユーザの人物領域の映像と、前記物体表現部が取得した当該ユーザの前記視点の位置及び前記視線の方向に対応した前記物体の映像と、前記環境表現部が生成した前記仮想空間環境映像とを合成して仮想空間の映像を生成し、前記ディスプレイ位置取得部が取得した当該ユーザのディスプレイの位置に対応する前記仮想空間におけるディスプレイ面に、生成した前記仮想空間の映像を透視投影変換し、透視投影変換した前記仮想空間の映像に入っていない前記他のユーザの人物領域の映像を透視投影変換した前記仮想空間の映像内に再配置する映像生成部と、
前記ユーザ毎に、前記映像生成部が再配置した後の当該ユーザの前記仮想空間の映像を当該ユーザのディスプレイに表示させる映像表示部と、
を備えることを特徴とする映像コミュニケーションシステム。 - 前記人物表現部は、前記他のユーザの前記人物領域の映像を頭部の映像と頭部以外の映像に分割し、前記頭部以外の映像を前記頭部の映像より大きく回転させる、
ことを特徴とする請求項1に記載の映像コミュニケーションシステム。 - 前記人物表現部は、前記他のユーザの前記人物領域の映像を回転させ、回転させた前記人物領域の映像を当該他のユーザの視線の方向に複数並べて前記仮想空間内に配置する、
ことを特徴とする請求項1または請求項2に記載の映像コミュニケーションシステム。 - 前記人物表現部は、前記他のユーザの前記人物領域の映像を回転させ、回転させた前記人物領域の頭部以外の映像を当該他のユーザの視線の方向に複数並べて前記仮想空間内に配置する、
ことを特徴とする請求項1または請求項2に記載の映像コミュニケーションシステム。 - 前記人物表現部は、回転させた前記人物領域の頭部の映像を前記仮想空間内に配置する、
ことを特徴とする請求項1または請求項2に記載の映像コミュニケーションシステム。 - 映像コミュニケーションシステムが実行する映像コミュニケーション方法であって、
人物映像取得部が、各拠点のユーザを被写体として含む映像から人物領域の映像を取得する人物映像取得過程と、
環境映像取得部が、物体を被写体として含む映像から物体のみの映像を取得する物体映像取得過程と、
環境映像取得部が、環境の映像を取得する環境映像取得過程と、
位置関係取得部が、前記物体がある前記拠点のユーザの前記物体に対する視点の位置及び視線の方向、ならびに、前記物体がない前記拠点のユーザの当該拠点の基準点に対する視点の位置及び視線の方向を取得する位置関係取得過程と、
ディスプレイ位置取得部が、前記物体がある前記拠点のディスプレイの前記物体に対する位置、ならびに、前記物体がない前記拠点のディスプレイの当該拠点の前記基準点に対する位置を取得するディスプレイ位置取得過程と、
人物表現部が、前記位置関係取得過程において取得した前記ユーザの前記視点の位置及び前記視線の方向に基づいて、前記ユーザ毎に、前記人物映像取得過程において取得した他の前記ユーザの前記人物領域の映像を回転させ、回転させた前記人物領域の映像を仮想空間内に配置する人物表現過程と、
物体表現部が、前記ユーザ毎に、前記物体映像取得過程において取得した前記物体の映像から、前記位置関係取得過程において取得した当該ユーザの前記視点の位置及び前記視線の方向に対応した前記物体の映像を取得する物体表現過程と、
環境表現部が、環境の映像を所定の形状の仮想空間に貼り付けて仮想空間環境映像を生成する環境表現過程と、
映像生成部が、前記ユーザ毎に、前記人物表現過程において配置した前記他のユーザの人物領域の映像と、前記物体表現過程において取得した当該ユーザの前記視点の位置及び前記視線の方向に対応した前記物体の映像と、前記環境表現過程において生成された前記仮想空間環境映像とを合成して仮想空間の映像を生成し、前記ディスプレイ位置取得過程において取得した当該ユーザのディスプレイの位置に対応する前記仮想空間におけるディスプレイ面に、生成した前記仮想空間の映像を透視投影変換し、透視投影変換した前記仮想空間の映像に入っていない前記他のユーザの人物領域の映像を透視投影変換した前記仮想空間の映像内に再配置する映像生成過程と、
映像表示部が、前記ユーザ毎に、前記映像生成過程において再配置された後の当該ユーザの前記仮想空間の映像を当該ユーザのディスプレイに表示させる映像表示過程と、
を有することを特徴とする映像コミュニケーション方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012199326A JP5798536B2 (ja) | 2012-09-11 | 2012-09-11 | 映像コミュニケーションシステム、および映像コミュニケーション方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012199326A JP5798536B2 (ja) | 2012-09-11 | 2012-09-11 | 映像コミュニケーションシステム、および映像コミュニケーション方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014056308A JP2014056308A (ja) | 2014-03-27 |
JP5798536B2 true JP5798536B2 (ja) | 2015-10-21 |
Family
ID=50613593
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012199326A Expired - Fee Related JP5798536B2 (ja) | 2012-09-11 | 2012-09-11 | 映像コミュニケーションシステム、および映像コミュニケーション方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5798536B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10638091B2 (en) | 2016-07-28 | 2020-04-28 | Sony Corporation | Information processing device and information processing method |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016032277A (ja) * | 2014-07-30 | 2016-03-07 | 日本電信電話株式会社 | 映像通信システム及び映像通信方法 |
US10375353B2 (en) | 2015-12-11 | 2019-08-06 | Sony Corporation | Information processing apparatus, information processing method, and program |
WO2018168247A1 (ja) | 2017-03-15 | 2018-09-20 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP7280223B2 (ja) * | 2020-06-17 | 2023-05-23 | Kddi株式会社 | 情報端末装置、遠隔コミュニケーション支援方法及びプログラム |
US12034785B2 (en) | 2020-08-28 | 2024-07-09 | Tmrw Foundation Ip S.Àr.L. | System and method enabling interactions in virtual environments with virtual presence |
WO2023204104A1 (ja) * | 2022-04-22 | 2023-10-26 | 株式会社Nttドコモ | 仮想空間提供装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3452348B2 (ja) * | 1999-02-08 | 2003-09-29 | 日本電信電話株式会社 | 仮想空間における発話者特定方法及びそのプログラムを記録した記録媒体 |
JP2004178036A (ja) * | 2002-11-25 | 2004-06-24 | Hitachi Ltd | 遠隔者の映像を伴う仮想空間の提示装置 |
JP2004326179A (ja) * | 2003-04-21 | 2004-11-18 | Sharp Corp | 画像処理装置、画像処理方法および画像処理プログラムならびに画像処理プログラムを記録した記録媒体 |
JP4555701B2 (ja) * | 2005-02-14 | 2010-10-06 | 日本電信電話株式会社 | 情報処理方法、インタフェース装置、プログラム、および記録媒体 |
JP5208810B2 (ja) * | 2009-02-27 | 2013-06-12 | 株式会社東芝 | 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム |
-
2012
- 2012-09-11 JP JP2012199326A patent/JP5798536B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10638091B2 (en) | 2016-07-28 | 2020-04-28 | Sony Corporation | Information processing device and information processing method |
US11343471B2 (en) | 2016-07-28 | 2022-05-24 | Sony Corporation | Information processing device and information processing method for communication using three-dimensional space |
Also Published As
Publication number | Publication date |
---|---|
JP2014056308A (ja) | 2014-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5798536B2 (ja) | 映像コミュニケーションシステム、および映像コミュニケーション方法 | |
JP5839427B2 (ja) | アイコンタクトが可能な3次元遠隔会議装置およびこれを用いた方法 | |
US10684467B2 (en) | Image processing for head mounted display devices | |
KR102246355B1 (ko) | 하이브리드 비쥬얼 커뮤니케이션 | |
Fuchs et al. | Immersive 3D telepresence | |
US7106358B2 (en) | Method, system and apparatus for telepresence communications | |
US10602121B2 (en) | Method, system and apparatus for capture-based immersive telepresence in virtual environment | |
US8928659B2 (en) | Telepresence systems with viewer perspective adjustment | |
TWI543624B (zh) | 在視訊中使眼睛對齊之系統及方法 | |
CN117784938A (zh) | 在增强现实和虚拟现实环境之间链接和交互的***和方法 | |
JP2016500954A5 (ja) | ||
US20140267396A1 (en) | Augmenting images with higher resolution data | |
WO2018175335A1 (en) | Method and system for discovering and positioning content into augmented reality space | |
EP3671653A1 (en) | Generating and signaling transition between panoramic images | |
JP2020065229A (ja) | 映像通信方法、映像通信装置及び映像通信プログラム | |
TW201828258A (zh) | 場景的渲染方法和裝置 | |
US11727645B2 (en) | Device and method for sharing an immersion in a virtual environment | |
JP2018007180A (ja) | 映像表示装置、映像表示方法及び映像表示プログラム | |
EP4145397A1 (en) | Communication terminal device, communication method, and software program | |
JP6516316B1 (ja) | 画像処理装置、方法、コンピュータプログラム | |
WO2016182504A1 (en) | A virtual reality headset | |
JP7525598B2 (ja) | 通信端末装置、通信方法、およびソフトウェアプログラム | |
JP2019121074A (ja) | Vr空間における自撮り装置、方法、およびプログラム | |
JP2014086774A (ja) | 映像コミュニケーションシステム及び映像コミュニケーション方法 | |
KR100745290B1 (ko) | 휴대 단말기에서의 아바타 생성방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140827 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150730 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150818 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150821 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5798536 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |