JPWO2019013016A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JPWO2019013016A1 JPWO2019013016A1 JP2019529056A JP2019529056A JPWO2019013016A1 JP WO2019013016 A1 JPWO2019013016 A1 JP WO2019013016A1 JP 2019529056 A JP2019529056 A JP 2019529056A JP 2019529056 A JP2019529056 A JP 2019529056A JP WO2019013016 A1 JPWO2019013016 A1 JP WO2019013016A1
- Authority
- JP
- Japan
- Prior art keywords
- user
- visual field
- image
- view
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 76
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 230000000007 visual effect Effects 0.000 claims abstract description 631
- 238000004891 communication Methods 0.000 claims abstract description 56
- 230000033001 locomotion Effects 0.000 claims description 78
- 230000004044 response Effects 0.000 claims description 15
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 13
- 238000005520 cutting process Methods 0.000 claims description 11
- 230000004886 head movement Effects 0.000 claims description 11
- 238000005516 engineering process Methods 0.000 abstract description 15
- 230000006872 improvement Effects 0.000 abstract description 3
- 238000000034 method Methods 0.000 description 48
- 230000008569 process Effects 0.000 description 33
- 238000010586 diagram Methods 0.000 description 23
- 238000001514 detection method Methods 0.000 description 21
- 238000012545 processing Methods 0.000 description 15
- 240000004050 Pentaglottis sempervirens Species 0.000 description 8
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000001154 acute effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 206010001488 Aggression Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000001028 reflection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
- 208000008918 voyeurism Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/22—Cropping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
1.本技術を適用したコンテンツ視聴システムの構成例
2.各ユーザの視野の提示
3.他のユーザの視野を追尾した追尾画像
4.発話中のユーザの強調
5.ユーザ装置20による視野情報提示処理
6.視野画像と広域画像の切り替え
7.視野画像の移動
8.表示するアバタの選択
9.一連の処理のソフトウェアによる実行
<1.本技術を適用したコンテンツ視聴システムの構成例>
図1は、本技術を適用したコンテンツ視聴システムの構成例を示すブロック図である。
図4は、コンテンツ画像全体を平面に展開した全体画像の例を示す図である。
図5は、ユーザAが用いる表示装置22に表示される、コンテンツ画像から視野範囲101Aを切り出すことにより生成された視野画像111Aの表示例を示す図である。
図7は、ユーザが用いる表示装置22に表示される視野画像111Aに、コンテンツを共有している他のユーザの視野の位置を示すシンボル画像として、他のユーザの視野が存在している方向を表す視野方向指示マーク121が重畳表示されている場合の表示例を示す図である。
図10は、ユーザが用いる表示装置22に表示される視野画像111Aに、コンテンツを共有している他のユーザの視野の位置を示すシンボル画像として、他のユーザの視野が存在している方向を表す視野方向指示ライン131が重畳表示されている場合の表示例を示す図である。
ユーザ装置20は、サーバ装置40から取得する他のユーザ装置20の視野情報に基づき、他のユーザ装置20の他のユーザの視野を追尾することができる。
ユーザAの視野に対応する視野画像111Aに、常に他のユーザの視野(視野の方向を含む)を表示していると、他のユーザの数が増えた場合、ユーザAにとって視野画像111Aが見づらくなることがある。そこで、他のユーザの視野の表示では、例えば、ユーザ間のコミュニケーションとしてメッセージを送信しているユーザだけの視野の表示を行うことや、メッセージを送信しているユーザの視野を強調表示することができる。
次に、ユーザ装置20の表示装置22にユーザの視野に対応する視野画像を表示しつつ、他のユーザの視野がどこに存在しているのかをユーザに提示するための視野情報提示処理について説明する。
ここまでの説明では、広域画像(図6)は、視野画像(図5)に重畳表示するか、他の表示デバイスに表示するものとして説明したが、表示装置22において視野画像と広域画像とを切り替えて表示するようにしてもよい。
次に、図16は、視野画像と広域画像とを切り替える画像切り替え処理を説明するフローチャートである。
次に、視野画像の移動について説明する。
ユーザ装置20では、頭部が回転されなくても、視線が移動されるだけで、視野画像を移動させ、これにより、ユーザの視野を移動させることができる。
ユーザが視線の移動、及び頭部の回転を素早く行っている場合、そのユーザは視野の大きな移動に気付きにくいと考えられる。そこで、ユーザ装置20では、一定時間における、ユーザの視線の移動量としての回転角、及び頭部の回転量(回転角)が閾値以上である場合、頭部の回転量よりも大きく視野画像を移動させるようにする。
図20は、ユーザの視線の移動量を表す視線移動角の定義を説明するための図であり、表示装置22によって与えられるユーザの視野を上方から見た状態を示している。同図に示されるように、視野の中央を表す視野中央から視線の移動後の視線方向までの角度を、ユーザの視線の動き量としての回転角を表す視線移動角とし、例えば、視野中央から左の視野端側を正の視線移動角、視野中央から右の視野端側を負の視線移動角と定義する。
次に、視線の移動量及び頭部の回転量に応じた視野画像移動処理について説明する。
複数のユーザが同一のコンテンツを視聴するに際し、コンテンツが自由視点画像である場合、各ユーザはそれぞれの視点を任意に変えることができる。したがって、あるユーザの視野(ユーザが見ている視野画像)に、他のユーザ(の視点)が存在していることがあり、このような場合、視野画像(に映るコンテンツ空間)の、他のユーザ(の視点)が存在している位置に、他のユーザの分身としてのキャラクタである、例えば、アバタを(重畳)表示することができる。アバタは、絵であっても写真であってもよい。また、2次元的な表示でもよいし、3次元的な表示でもよい。
次に、図25は、上述したように、アバタに優先順位を設定して表示させるアバタ表示処理を説明するフローチャートである。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
コンテンツのデータを取得するように構成されたコンテンツ取得部と、
前記コンテンツのデータに基づくコンテンツ画像から第1のユーザの視野に対応する第1の視野画像を切り出すように構成された画像切り出し部と、
前記コンテンツ画像を視聴する第2のユーザの視野を表す視野情報を取得するように構成された視野情報取得部と、
前記第1の視野画像を表示するよう表示装置を制御することと、前記第2のユーザの視野情報に基づいて前記第2のユーザの視野を表示するよう前記表示装置を制御することとを行うように構成された表示制御部と
を備える情報処理装置。
<2>
前記表示制御部は、前記第2のユーザの視野情報に基づき、前記第2のユーザの視野の位置を示す視野位置指示画像を表示するよう前記表示装置を制御するように構成される
<1>に記載の情報処理装置。
<3>
前記視野位置指示画像は、前記第1の視野画像及び前記第2のユーザの視野に対応する第2の視野画像を含む広域画像を含む
<2>に記載の情報処理装置。
<4>
前記表示制御部は、所定のトリガに応じて、前記第1の視野画像と前記広域画像とを切り替えるよう前記表示装置を制御するように構成される
<3>に記載の情報処理装置。
<5>
前記所定のトリガは、前記第1のユーザによるキー操作、音声コマンド、頭部の動き、又はジェスチャ操作のうちの少なくとも一つを含む
<4>に記載の情報処理装置。
<6>
前記広域画像は、正距円筒図、メルカトル図、鳥瞰図、俯瞰図、又は2次元地図のうち少なくとも1つを含む
<3>ないし<5>のいずれかに記載の情報処理装置。
<7>
前記視野位置指示画像は、前記第2のユーザの視野の位置を示す、前記第1の視野画像に対して重畳されるシンボル画像を含む
<2>ないし<6>のいずれかに記載の情報処理装置。
<8>
前記第1のユーザの視線の移動、又は前記第1のユーザの頭部の移動の少なくとも一方に基づき、前記コンテンツ画像から切り出す前記第1の視野画像を決定するように構成された視野画像決定部をさらに備える
<1>ないし<7>のいずれかに記載の情報処理装置。
<9>
前記視野画像決定部は、前記第1のユーザの視線が前記第1の視野画像の端部に近づいたことに応じ、前記第1の視野画像を、前記第1のユーザの視線を基準として移動するように構成される
<8>に記載の情報処理装置。
<10>
前記視野画像決定部は、前記第1のユーザの視線の回転角と前記第1のユーザの頭部の回転角とに基づいて、前記第1の視野画像の回転角を、前記第1のユーザの頭部の回転角よりも大きくするように構成される
<8>又は<9>に記載の情報処理装置。
<11>
前記視野画像決定部は、前記第1のユーザが前記コンテンツの視聴を実質的に開始したタイミングに対応する前記第1のユーザの視野画像の初期位置を、前記第2のユーザの視野情報に基づいて決定するように構成される
<8>ないし<10>のいずれかに記載の情報処理装置。
<12>
前記表示装置は、ヘッドマウントディスプレイであり、
前記視野画像決定部は、前記ヘッドマウントディスプレイに関連付けられた、前記第1のユーザの視線の移動、又は前記第1のユーザの頭部の移動の少なくとも一方に基づき、前記第1の視野画像を決定するように構成される
<8>ないし<11>のいずれかに記載の情報処理装置。
<13>
前記第2のユーザは、複数のユーザを含み、
前記表示制御部は、前記複数のユーザに対応する複数のユーザ画像のうち少なくとも一つを前記第1の視野画像に重畳させるように前記表示装置を制御するように構成され、
前記表示制御部は、前記第1の視野画像と、前記複数のユーザそれぞれの視野との位置関係に応じて、前記複数のユーザ画像それぞれを前記第1の視野画像に重畳させるか否かを制御するように構成される
<1>ないし<12>のいずれかに記載の情報処理装置。
<14>
前記表示制御部は、前記複数のユーザのうち、その視野が前記第1の視野画像と相対的に近いユーザに対応するユーザ画像を前記第1の視野画像に優先的に重畳させるよう前記表示装置を制御するように構成される
<13>に記載の情報処理装置。
<15>
前記表示制御部は、前記第1のユーザと前記複数のユーザとのコミュニケーションの履歴に応じ、前記複数のユーザ画像のうち一部を優先的に前記第1の視野画像に重畳させるように前記表示装置を制御するよう構成される
<13>又は<14>に記載の情報処理装置。
<16>
前記コンテンツ画像は、全天球画像又は自由視点画像である
<1>ないし<15>のいずれかに記載の情報処理装置。
<17>
前記表示装置をさらに備える
<1>ないし<16>のいずれかに記載の情報処理装置。
<18>
コンテンツのデータを取得することと、
前記コンテンツのデータに基づくコンテンツ画像から第1のユーザの視野に対応する第1の視野画像を切り出すことと、
前記コンテンツ画像を視聴する第2のユーザの視野を表す視野情報を取得することと、
前記第1の視野画像を表示するよう表示装置を制御することと、前記第2のユーザの視野情報に基づいて前記第2のユーザの視野を表示するよう前記表示装置を制御することと
を含む情報処理方法。
<19>
コンテンツのデータを取得するように構成されたコンテンツ取得部と、
前記コンテンツのデータに基づくコンテンツ画像から第1のユーザの視野に対応する第1の視野画像を切り出すように構成された画像切り出し部と、
前記コンテンツ画像を視聴する第2のユーザの視野を表す視野情報を取得するように構成された視野情報取得部と、
前記第1の視野画像を表示するよう表示装置を制御することと、前記第2のユーザの視野情報に基づいて前記第2のユーザの視野を表示するよう前記表示装置を制御することとを行うように構成された表示制御部と
して、コンピュータを機能させるためのプログラム。
Claims (19)
- コンテンツのデータを取得するように構成されたコンテンツ取得部と、
前記コンテンツのデータに基づくコンテンツ画像から第1のユーザの視野に対応する第1の視野画像を切り出すように構成された画像切り出し部と、
前記コンテンツ画像を視聴する第2のユーザの視野を表す視野情報を取得するように構成された視野情報取得部と、
前記第1の視野画像を表示するよう表示装置を制御することと、前記第2のユーザの視野情報に基づいて前記第2のユーザの視野を表示するよう前記表示装置を制御することとを行うように構成された表示制御部と
を備える情報処理装置。 - 前記表示制御部は、前記第2のユーザの視野情報に基づき、前記第2のユーザの視野の位置を示す視野位置指示画像を表示するよう前記表示装置を制御するように構成される
請求項1に記載の情報処理装置。 - 前記視野位置指示画像は、前記第1の視野画像及び前記第2のユーザの視野に対応する第2の視野画像を含む広域画像を含む
請求項2に記載の情報処理装置。 - 前記表示制御部は、所定のトリガに応じて、前記第1の視野画像と前記広域画像とを切り替えるよう前記表示装置を制御するように構成される
請求項3に記載の情報処理装置。 - 前記所定のトリガは、前記第1のユーザによるキー操作、音声コマンド、頭部の動き、又はジェスチャ操作のうちの少なくとも一つを含む
請求項4に記載の情報処理装置。 - 前記広域画像は、正距円筒図、メルカトル図、鳥瞰図、俯瞰図、又は2次元地図のうち少なくとも1つを含む
請求項3に記載の情報処理装置。 - 前記視野位置指示画像は、前記第2のユーザの視野の位置を示す、前記第1の視野画像に対して重畳されるシンボル画像を含む
請求項2に記載の情報処理装置。 - 前記第1のユーザの視線の移動、又は前記第1のユーザの頭部の移動の少なくとも一方に基づき、前記コンテンツ画像から切り出す前記第1の視野画像を決定するように構成された視野画像決定部をさらに備える
請求項1に記載の情報処理装置。 - 前記視野画像決定部は、前記第1のユーザの視線が前記第1の視野画像の端部に近づいたことに応じ、前記第1の視野画像を、前記第1のユーザの視線を基準として移動するように構成される
請求項8に記載の情報処理装置。 - 前記視野画像決定部は、前記第1のユーザの視線の回転角と前記第1のユーザの頭部の回転角とに基づいて、前記第1の視野画像の回転角を、前記第1のユーザの頭部の回転角よりも大きくするように構成される
請求項8に記載の情報処理装置。 - 前記視野画像決定部は、前記第1のユーザが前記コンテンツの視聴を実質的に開始したタイミングに対応する前記第1の視野画像の初期位置を、前記第2のユーザの視野情報に基づいて決定するように構成される
請求項8に記載の情報処理装置。 - 前記表示装置は、ヘッドマウントディスプレイであり、
前記視野画像決定部は、前記ヘッドマウントディスプレイに関連付けられた、前記第1のユーザの視線の移動、又は前記第1のユーザの頭部の移動の少なくとも一方に基づき、前記第1の視野画像を決定するように構成される
請求項8に記載の情報処理装置。 - 前記第2のユーザは、複数のユーザを含み、
前記表示制御部は、前記複数のユーザに対応する複数のユーザ画像のうち少なくとも一つを前記第1の視野画像に重畳させるように前記表示装置を制御するように構成され、
前記表示制御部は、前記第1の視野画像と、前記複数のユーザそれぞれの視野との位置関係に応じて、前記複数のユーザ画像それぞれを前記第1の視野画像に重畳させるか否かを制御するように構成される
請求項1に記載の情報処理装置。 - 前記表示制御部は、前記複数のユーザのうち、その視野が前記第1の視野画像と相対的に近いユーザに対応するユーザ画像を前記第1の視野画像に優先的に重畳させるよう前記表示装置を制御するように構成される
請求項13に記載の情報処理装置。 - 前記表示制御部は、前記第1のユーザと前記複数のユーザとのコミュニケーションの履歴に応じ、前記複数のユーザ画像のうち一部を優先的に前記第1の視野画像に重畳させるように前記表示装置を制御するよう構成される
請求項13に記載の情報処理装置。 - 前記コンテンツ画像は、全天球画像又は自由視点画像である
請求項1に記載の情報処理装置。 - 前記表示装置をさらに備える
請求項1に記載の情報処理装置。 - コンテンツのデータを取得することと、
前記コンテンツのデータに基づくコンテンツ画像から第1のユーザの視野に対応する第1の視野画像を切り出すことと、
前記コンテンツ画像を視聴する第2のユーザの視野を表す視野情報を取得することと、
前記第1の視野画像を表示するよう表示装置を制御することと、前記第2のユーザの視野情報に基づいて前記第2のユーザの視野を表示するよう前記表示装置を制御することと
を含む情報処理方法。 - コンテンツのデータを取得するように構成されたコンテンツ取得部と、
前記コンテンツのデータに基づくコンテンツ画像から第1のユーザの視野に対応する第1の視野画像を切り出すように構成された画像切り出し部と、
前記コンテンツ画像を視聴する第2のユーザの視野を表す視野情報を取得するように構成された視野情報取得部と、
前記第1の視野画像を表示するよう表示装置を制御することと、前記第2のユーザの視野情報に基づいて前記第2のユーザの視野を表示するよう前記表示装置を制御することとを行うように構成された表示制御部と
して、コンピュータを機能させるためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017137027 | 2017-07-13 | ||
JP2017137027 | 2017-07-13 | ||
PCT/JP2018/024763 WO2019013016A1 (ja) | 2017-07-13 | 2018-06-29 | 情報処理装置、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019013016A1 true JPWO2019013016A1 (ja) | 2020-05-07 |
JP7127645B2 JP7127645B2 (ja) | 2022-08-30 |
Family
ID=65001256
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019529056A Active JP7127645B2 (ja) | 2017-07-13 | 2018-06-29 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (6)
Country | Link |
---|---|
US (4) | US11094097B2 (ja) |
EP (1) | EP3654159A4 (ja) |
JP (1) | JP7127645B2 (ja) |
KR (2) | KR20240064020A (ja) |
CN (2) | CN110869900B (ja) |
WO (1) | WO2019013016A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11287653B2 (en) | 2015-09-09 | 2022-03-29 | Vantrix Corporation | Method and system for selective content processing based on a panoramic camera and a virtual-reality headset |
JP6744271B2 (ja) * | 2017-09-22 | 2020-08-19 | Kddi株式会社 | 表示装置、表示プログラム、表示方法及び表示システム |
JP7080164B2 (ja) * | 2018-12-17 | 2022-06-03 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および画像生成方法 |
JP7339740B2 (ja) * | 2019-02-14 | 2023-09-06 | キヤノン株式会社 | 画像表示装置、画像表示装置の制御方法及びプログラム |
JP7416048B2 (ja) * | 2019-03-12 | 2024-01-17 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US11972037B2 (en) | 2019-03-18 | 2024-04-30 | Maxell, Ltd. | Head mounted information processing apparatus and head mounted display system |
CN110324648B (zh) * | 2019-07-17 | 2021-08-06 | 咪咕文化科技有限公司 | 直播展现方法和*** |
CA3084900A1 (en) * | 2019-11-29 | 2021-05-29 | Vantrix Corporation | Method and system for selective content processing based on a panoramic camera and a virtual-reality headset |
CN113138734A (zh) * | 2020-01-20 | 2021-07-20 | 北京芯海视界三维科技有限公司 | 用于显示的方法、装置和产品 |
US10999527B1 (en) * | 2020-02-14 | 2021-05-04 | Gopro, Inc. | Generation of enhanced panoramic visual content |
JP7496412B2 (ja) | 2020-03-30 | 2024-06-06 | 株式会社ソニー・インタラクティブエンタテインメント | 画像表示システム、画像処理装置、画像表示方法、およびコンピュータプログラム |
US11568610B2 (en) | 2020-05-12 | 2023-01-31 | Magic Leap, Inc. | Privacy preserving expression generation for augmented or virtual reality client applications |
JP7414139B2 (ja) * | 2020-06-17 | 2024-01-16 | 日本電信電話株式会社 | 情報処理装置、情報処理方法及びプログラム |
US11622100B2 (en) * | 2021-02-17 | 2023-04-04 | flexxCOACH VR | 360-degree virtual-reality system for dynamic events |
JP7466039B1 (ja) | 2023-06-13 | 2024-04-11 | Kddi株式会社 | 情報処理装置、情報処理方法及びプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013198692A (ja) * | 2012-03-26 | 2013-10-03 | Namco Bandai Games Inc | プログラム、情報記憶媒体、ゲーム装置、およびサーバシステム |
WO2016002445A1 (ja) * | 2014-07-03 | 2016-01-07 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2016131662A (ja) * | 2015-01-19 | 2016-07-25 | 株式会社バンダイナムコエンターテインメント | プログラム及びゲームシステム |
US20160361658A1 (en) * | 2015-06-14 | 2016-12-15 | Sony Interactive Entertainment Inc. | Expanded field of view re-rendering for vr spectating |
JP2017034479A (ja) * | 2015-07-31 | 2017-02-09 | キヤノン株式会社 | 制御装置、再生システム、補正方法、及び、コンピュータプログラム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7673246B2 (en) * | 2001-12-12 | 2010-03-02 | Canon Kabushiki Kaisha | Image information processing apparatus and method, virtual space presentation apparatus, information administration apparatus, and control methods thereof |
JP4013922B2 (ja) | 2004-06-14 | 2007-11-28 | 松下電工株式会社 | 仮想現実感生成装置および方法 |
US8161398B2 (en) * | 2009-05-08 | 2012-04-17 | International Business Machines Corporation | Assistive group setting management in a virtual world |
US8437506B2 (en) * | 2010-09-07 | 2013-05-07 | Microsoft Corporation | System for fast, probabilistic skeletal tracking |
US9094572B2 (en) * | 2013-03-06 | 2015-07-28 | Avaya Inc. | Systems and methods to duplicate audio and visual views in a conferencing system |
US20140267589A1 (en) * | 2013-03-14 | 2014-09-18 | Dai Nippon Printing Co., Ltd. | Free viewpoint video display apparatus |
US9129430B2 (en) * | 2013-06-25 | 2015-09-08 | Microsoft Technology Licensing, Llc | Indicating out-of-view augmented reality images |
US20150331240A1 (en) * | 2014-05-15 | 2015-11-19 | Adam G. Poulos | Assisted Viewing Of Web-Based Resources |
JP2016045623A (ja) * | 2014-08-21 | 2016-04-04 | ソニー株式会社 | 情報処理装置および制御方法 |
GB2532243A (en) * | 2014-11-13 | 2016-05-18 | Nokia Technologies Oy | An apparatus, method and computer program for using gaze tracking information |
CN106296796B (zh) * | 2015-06-04 | 2019-08-13 | 北京智谷睿拓技术服务有限公司 | 信息处理方法、信息处理装置及用户设备 |
EP3128413A1 (en) * | 2015-08-04 | 2017-02-08 | Nokia Technologies Oy | Sharing mediated reality content |
US10565773B1 (en) * | 2019-01-15 | 2020-02-18 | Nokia Technologies Oy | Efficient light field video streaming |
-
2018
- 2018-06-29 CN CN201880045231.0A patent/CN110869900B/zh active Active
- 2018-06-29 JP JP2019529056A patent/JP7127645B2/ja active Active
- 2018-06-29 KR KR1020247014065A patent/KR20240064020A/ko active Search and Examination
- 2018-06-29 WO PCT/JP2018/024763 patent/WO2019013016A1/ja unknown
- 2018-06-29 CN CN202311779793.7A patent/CN117931023A/zh active Pending
- 2018-06-29 KR KR1020197038942A patent/KR102662947B1/ko active IP Right Grant
- 2018-06-29 EP EP18832704.3A patent/EP3654159A4/en active Pending
- 2018-06-29 US US16/628,300 patent/US11094097B2/en active Active
-
2021
- 2021-08-11 US US17/399,518 patent/US11620776B2/en active Active
-
2023
- 2023-03-06 US US18/178,921 patent/US11861773B2/en active Active
- 2023-11-02 US US18/386,474 patent/US20240070947A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013198692A (ja) * | 2012-03-26 | 2013-10-03 | Namco Bandai Games Inc | プログラム、情報記憶媒体、ゲーム装置、およびサーバシステム |
WO2016002445A1 (ja) * | 2014-07-03 | 2016-01-07 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US20170150230A1 (en) * | 2014-07-03 | 2017-05-25 | Sony Corporation | Information processing apparatus, information processing method, and program |
JP2016131662A (ja) * | 2015-01-19 | 2016-07-25 | 株式会社バンダイナムコエンターテインメント | プログラム及びゲームシステム |
US20160361658A1 (en) * | 2015-06-14 | 2016-12-15 | Sony Interactive Entertainment Inc. | Expanded field of view re-rendering for vr spectating |
JP2017034479A (ja) * | 2015-07-31 | 2017-02-09 | キヤノン株式会社 | 制御装置、再生システム、補正方法、及び、コンピュータプログラム |
Non-Patent Citations (1)
Title |
---|
横井"THORMAN"祐介 ほか, メタルギア ソリッド2 サンズ オブ リバティ 公式完全ガイド〜エキスパート・ファイル〜, vol. 第1版,ISBN 4-575-16307-4, JPN6018028152, 5 March 2002 (2002-03-05), JP, pages 24 - 25, ISSN: 0004786447 * |
Also Published As
Publication number | Publication date |
---|---|
US20200219300A1 (en) | 2020-07-09 |
EP3654159A4 (en) | 2020-07-22 |
WO2019013016A1 (ja) | 2019-01-17 |
CN117931023A (zh) | 2024-04-26 |
CN110869900B (zh) | 2024-01-19 |
JP7127645B2 (ja) | 2022-08-30 |
US11861773B2 (en) | 2024-01-02 |
EP3654159A1 (en) | 2020-05-20 |
US11620776B2 (en) | 2023-04-04 |
KR20240064020A (ko) | 2024-05-10 |
CN110869900A (zh) | 2020-03-06 |
US20230281897A1 (en) | 2023-09-07 |
US11094097B2 (en) | 2021-08-17 |
KR20200031083A (ko) | 2020-03-23 |
US20220028142A1 (en) | 2022-01-27 |
KR102662947B1 (ko) | 2024-05-07 |
US20240070947A1 (en) | 2024-02-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7127645B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP7498209B2 (ja) | 情報処理装置、情報処理方法およびコンピュータプログラム | |
JP7167949B2 (ja) | 画像処理装置、画像処理方法、および画像提供システム | |
US11250636B2 (en) | Information processing device, information processing method, and program | |
JP6462059B1 (ja) | 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置 | |
JPWO2016002445A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP6306765B1 (ja) | 仮想空間を移動するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラムおよび情報処理装置 | |
US11361497B2 (en) | Information processing device and information processing method | |
US20220224735A1 (en) | Information processing apparatus, non-transitory computer readable medium storing program, and method | |
CN113938748B (zh) | 视频播放方法、装置、终端、存储介质及程序产品 | |
CN114651448A (zh) | 信息处理***、信息处理方法和程序 | |
JP2018007180A (ja) | 映像表示装置、映像表示方法及び映像表示プログラム | |
JP2021009647A (ja) | 仮想現実制御装置、仮想現実ヘッドセット、仮想現実制御方法およびプログラム | |
JP6999538B2 (ja) | 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置 | |
JP2018067157A (ja) | 通信装置およびその制御方法 | |
WO2019138682A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7521039B1 (ja) | 仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法 | |
JP7521038B1 (ja) | 仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法 | |
JP5653771B2 (ja) | 映像表示機器及びプログラム | |
JP2023067708A (ja) | 端末、情報処理方法、プログラム、および記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210518 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220614 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220719 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220801 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7127645 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |