JP7398222B2 - Program, information processing device, and information processing method - Google Patents
Program, information processing device, and information processing method Download PDFInfo
- Publication number
- JP7398222B2 JP7398222B2 JP2019153022A JP2019153022A JP7398222B2 JP 7398222 B2 JP7398222 B2 JP 7398222B2 JP 2019153022 A JP2019153022 A JP 2019153022A JP 2019153022 A JP2019153022 A JP 2019153022A JP 7398222 B2 JP7398222 B2 JP 7398222B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual reality
- information
- reality content
- hmd
- watermark information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 19
- 238000003672 processing method Methods 0.000 title description 7
- 238000000034 method Methods 0.000 claims description 55
- 230000033001 locomotion Effects 0.000 claims description 48
- 230000000007 visual effect Effects 0.000 description 47
- 238000004891 communication Methods 0.000 description 33
- 238000010586 diagram Methods 0.000 description 33
- 210000001508 eye Anatomy 0.000 description 31
- 230000008569 process Effects 0.000 description 14
- 238000001514 detection method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 210000003128 head Anatomy 0.000 description 9
- 238000009877 rendering Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 7
- 210000003811 finger Anatomy 0.000 description 7
- 210000000056 organ Anatomy 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 3
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 210000003813 thumb Anatomy 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
- G06F21/12—Protecting executable software
- G06F21/14—Protecting executable software against software analysis or reverse engineering, e.g. by obfuscation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
- G06F21/16—Program or content traceability, e.g. by watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/835—Generation of protective data, e.g. certificates
- H04N21/8358—Generation of protective data, e.g. certificates involving watermark
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Signal Processing (AREA)
- Technology Law (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Description
本開示は、プログラム、情報処理装置、及び情報処理方法に関する。 The present disclosure relates to a program, an information processing device, and an information processing method.
特許文献1には、ストリーミング配信された特定のコンテンツデータが複製された場合に、複製されたコンテンツデータが不正なものであると判断できるコンテンツデータ再生装置が開示されている。 Patent Document 1 discloses a content data reproducing device that can determine that, when specific content data distributed by streaming is copied, the copied content data is fraudulent.
複製されたコンテンツデータが不正なものであると判断するための手法には改善の余地がある。 There is room for improvement in the method for determining whether copied content data is fraudulent.
本開示は、再生中の360度コンテンツが不正複製されたものであるか否かを容易に判断可能なプログラム、情報処理装置、および情報処理方法を提供することを目的とする。 An object of the present disclosure is to provide a program, an information processing device, and an information processing method that can easily determine whether 360-degree content being reproduced has been illegally copied.
本開示が示す一態様によれば、
透かし情報が埋め込まれた360度コンテンツを取得するステップと、
前記透かし情報を打ち消した状態で前記360度コンテンツを再生するステップと、をコンピュータに実行させるためのプログラムであって、
前記透かし情報は、前記360度コンテンツの少なくとも一部の情報を可逆的に変換したものである、プログラムを提供する。
According to one aspect of the present disclosure,
obtaining 360-degree content with embedded watermark information;
A program for causing a computer to execute a step of reproducing the 360-degree content with the watermark information canceled,
A program is provided in which the watermark information is obtained by reversibly converting at least part of information of the 360-degree content.
また、本開示が示す一態様によれば、
360度コンテンツを取得するステップと、
前記360度コンテンツに透かし情報を埋め込むステップと、
前記360度コンテンツを配信するステップと、をコンピュータに実行させるためのプログラムであって、
前記透かし情報は、前記360度コンテンツの少なくとも一部の情報を可逆的に変換したものである、プログラムを提供する。
Further, according to one aspect of the present disclosure,
acquiring 360 degree content;
embedding watermark information in the 360 degree content;
A program for causing a computer to execute the step of distributing the 360-degree content,
A program is provided in which the watermark information is obtained by reversibly converting at least part of information of the 360-degree content.
本開示によれば、再生中の360度コンテンツが不正複製されたものであるか否かを容易に判断することができる。 According to the present disclosure, it is possible to easily determine whether the 360-degree content being played back has been illegally copied.
以下、この技術的思想の実施の形態について図面を参照しながら詳細に説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。本開示において示される1以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなすものとする。 Hereinafter, embodiments of this technical idea will be described in detail with reference to the drawings. In the following description, the same parts are given the same reference numerals. Their names and functions are also the same. Therefore, detailed descriptions thereof will not be repeated. In one or more embodiments shown in this disclosure, elements included in each embodiment can be combined with each other, and the resultant product of the combination also forms part of the embodiments shown in this disclosure.
[HMDシステムの構成]
図1を参照して、HMD(Head-Mounted Device)システム100の構成について説明する。図1は、本実施の形態に従うHMDシステム100の構成の概略を表す図である。HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
[HMD system configuration]
The configuration of an HMD (Head-Mounted Device) system 100 will be described with reference to FIG. 1. FIG. 1 is a diagram schematically showing the configuration of an HMD system 100 according to this embodiment. The HMD system 100 is provided as a home-use system or a business-use system.
HMDシステム100は、サーバ600と、HMDセット110A,110B,110C,110Dと、外部機器700と、ネットワーク2とを含む。HMDセット110A,110B,110C,110Dの各々は、ネットワーク2を介してサーバ600や外部機器700と通信可能に構成される。以下、HMDセット110A,110B,110C,110Dを総称して、HMDセット110とも言う。HMDシステム100を構成するHMDセット110の数は、4つに限られず、3つ以下でも、5つ以上でもよい。HMDセット110は、HMD120と、コンピュータ200と、HMDセンサ410と、ディスプレイ430と、コントローラ300とを備える。HMD120は、モニタ130と、注視センサ140と、第1カメラ150と、第2カメラ160と、マイク170と、スピーカ180とを含む。コントローラ300は、モーションセンサ420を含み得る。
The HMD system 100 includes a
ある局面において、コンピュータ200は、インターネットその他のネットワーク2に接続可能であり、ネットワーク2に接続されているサーバ600その他のコンピュータと通信可能である。その他のコンピュータとしては、例えば、他のHMDセット110のコンピュータや外部機器700が挙げられる。別の局面において、HMD120は、HMDセンサ410の代わりに、センサ190を含み得る。
In one aspect, the computer 200 can be connected to the Internet or other network 2 and can communicate with the
HMD120は、ユーザ5の頭部に装着され、動作中に仮想空間をユーザ5に提供し得る。より具体的には、HMD120は、右目用の画像および左目用の画像をモニタ130にそれぞれ表示する。ユーザ5の各目がそれぞれの画像を視認すると、ユーザ5は、両目の視差に基づき当該画像を3次元画像として認識し得る。HMD120は、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。 HMD 120 is attached to the head of user 5 and can provide virtual space to user 5 during operation. More specifically, HMD 120 displays a right-eye image and a left-eye image on monitor 130, respectively. When each eye of the user 5 visually recognizes each image, the user 5 can recognize the image as a three-dimensional image based on the parallax between the eyes. HMD 120 may include either a so-called head-mounted display including a monitor, or a head-mounted device to which a smartphone or other terminal having a monitor can be attached.
モニタ130は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ130は、ユーザ5の両目の前方に位置するようにHMD120の本体に配置されている。したがって、ユーザ5は、モニタ130に表示される3次元画像を視認すると、仮想空間に没入することができる。ある局面において、仮想空間は、例えば、背景、ユーザ5が操作可能なオブジェクト、ユーザ5が選択可能なメニューの画像を含む。ある局面において、モニタ130は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機EL(Electro Luminescence)モニタとして実現され得る。 The monitor 130 is realized, for example, as a non-transmissive display device. In one aspect, the monitor 130 is arranged on the main body of the HMD 120 so as to be located in front of both eyes of the user 5. Therefore, when the user 5 views the three-dimensional image displayed on the monitor 130, he or she can immerse himself in the virtual space. In one aspect, the virtual space includes, for example, a background, objects that can be operated by the user 5, and images of menus that can be selected by the user 5. In one aspect, the monitor 130 can be implemented as a liquid crystal monitor or an organic EL (Electro Luminescence) monitor included in a so-called smartphone or other information display terminal.
別の局面において、モニタ130は、透過型の表示装置として実現され得る。この場合、HMD120は、図1に示されるようにユーザ5の目を覆う密閉型ではなく、メガネ型のような開放型であり得る。透過型のモニタ130は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。モニタ130は、仮想空間を構成する画像の一部と、現実空間とを同時に表示する構成を含んでいてもよい。例えば、モニタ130は、HMD120に搭載されたカメラで撮影した現実空間の画像を表示してもよいし、一部の透過率を高く設定することにより現実空間を視認可能にしてもよい。 In another aspect, monitor 130 may be implemented as a transmissive display device. In this case, the HMD 120 may not be a closed type that covers the eyes of the user 5 as shown in FIG. 1, but may be an open type such as a pair of glasses. The transmissive monitor 130 may be temporarily configured as a non-transmissive display device by adjusting its transmittance. The monitor 130 may include a configuration that simultaneously displays a portion of the image forming the virtual space and the real space. For example, the monitor 130 may display an image of the real space taken with a camera mounted on the HMD 120, or may make the real space visible by setting the transmittance of a part to be high.
ある局面において、モニタ130は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ130は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ130は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。 In one aspect, monitor 130 may include a sub-monitor for displaying an image for the right eye and a sub-monitor for displaying an image for the left eye. In another aspect, the monitor 130 may be configured to integrally display the right eye image and the left eye image. In this case, monitor 130 includes a high speed shutter. The high-speed shutter operates so that images for the right eye and images for the left eye can be alternately displayed so that the images are only perceived by one eye.
ある局面において、HMD120は、図示せぬ複数の光源を含む。各光源は例えば、赤外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ410は、HMD120の動きを検出するためのポジショントラッキング機能を有する。より具体的には、HMDセンサ410は、HMD120が発する複数の赤外線を読み取り、現実空間内におけるHMD120の位置および傾きを検出する。 In one aspect, HMD 120 includes a plurality of light sources (not shown). Each light source is realized by, for example, an LED (Light Emitting Diode) that emits infrared rays. HMD sensor 410 has a position tracking function for detecting movement of HMD 120. More specifically, HMD sensor 410 reads a plurality of infrared rays emitted by HMD 120 and detects the position and tilt of HMD 120 in real space.
別の局面において、HMDセンサ410は、カメラにより実現されてもよい。この場合、HMDセンサ410は、カメラから出力されるHMD120の画像情報を用いて、画像解析処理を実行することにより、HMD120の位置および傾きを検出することができる。 In another aspect, HMD sensor 410 may be realized by a camera. In this case, the HMD sensor 410 can detect the position and tilt of the HMD 120 by performing image analysis processing using the image information of the HMD 120 output from the camera.
別の局面において、HMD120は、位置検出器として、HMDセンサ410の代わりに、あるいはHMDセンサ410に加えてセンサ190を備えてもよい。HMD120は、センサ190を用いて、HMD120自身の位置および傾きを検出し得る。例えば、センサ190が角速度センサ、地磁気センサ、あるいは加速度センサである場合、HMD120は、HMDセンサ410の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ190が角速度センサである場合、角速度センサは、現実空間におけるHMD120の3軸周りの角速度を経時的に検出する。HMD120は、各角速度に基づいて、HMD120の3軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD120の傾きを算出する。 In another aspect, HMD 120 may include sensor 190 as a position detector instead of or in addition to HMD sensor 410. HMD 120 can use sensor 190 to detect the position and tilt of HMD 120 itself. For example, when the sensor 190 is an angular velocity sensor, a geomagnetic sensor, or an acceleration sensor, the HMD 120 can detect its own position and inclination using any of these sensors instead of the HMD sensor 410. As an example, when the sensor 190 is an angular velocity sensor, the angular velocity sensor detects the angular velocity around three axes of the HMD 120 in real space over time. The HMD 120 calculates temporal changes in the angle of the HMD 120 around the three axes based on each angular velocity, and further calculates the inclination of the HMD 120 based on the temporal changes in the angle.
注視センサ140は、ユーザ5の右目および左目の視線が向けられる方向を検出する。つまり、注視センサ140は、ユーザ5の視線を検出する。視線の方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、例えば、ユーザ5の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ5の視線を検知することができる。 Gaze sensor 140 detects the direction in which the right and left eyes of user 5 are directed. That is, the gaze sensor 140 detects the user's 5 line of sight. Detection of the direction of the line of sight is realized, for example, by a known eye tracking function. The gaze sensor 140 is realized by a sensor having the eye tracking function. In one aspect, gaze sensor 140 preferably includes a right eye sensor and a left eye sensor. The gaze sensor 140 may be, for example, a sensor that irradiates the right and left eyes of the user 5 with infrared light and detects the rotation angle of each eyeball by receiving reflected light from the cornea and iris of the irradiated light. . The gaze sensor 140 can detect the user's 5 line of sight based on each detected rotation angle.
第1カメラ150は、ユーザ5の顔の下部を撮影する。より具体的には、第1カメラ150は、ユーザ5の鼻および口などを撮影する。第2カメラ160は、ユーザ5の目および眉などを撮影する。HMD120のユーザ5側の筐体をHMD120の内側、HMD120のユーザ5とは逆側の筐体をHMD120の外側と定義する。ある局面において、第1カメラ150は、HMD120の外側に配置され、第2カメラ160は、HMD120の内側に配置され得る。第1カメラ150および第2カメラ160が生成した画像は、コンピュータ200に入力される。別の局面において、第1カメラ150と第2カメラ160とを1台のカメラとして実現し、この1台のカメラでユーザ5の顔を撮影するようにしてもよい。 The first camera 150 photographs the lower part of the user's 5 face. More specifically, the first camera 150 photographs the nose, mouth, etc. of the user 5. The second camera 160 photographs the eyes, eyebrows, etc. of the user 5. The housing on the user 5 side of the HMD 120 is defined as the inside of the HMD 120, and the housing on the opposite side of the HMD 120 from the user 5 is defined as the outside of the HMD 120. In one aspect, first camera 150 may be placed outside HMD 120, and second camera 160 may be placed inside HMD 120. Images generated by the first camera 150 and the second camera 160 are input to the computer 200. In another aspect, the first camera 150 and the second camera 160 may be implemented as one camera, and the face of the user 5 may be photographed with this one camera.
マイク170は、ユーザ5の発話を音声信号(電気信号)に変換してコンピュータ200に出力する。スピーカ180は、音声信号を音声に変換してユーザ5に出力する。別の局面において、HMD120は、スピーカ180に替えてイヤホンを含み得る。 The microphone 170 converts the speech of the user 5 into an audio signal (electrical signal) and outputs it to the computer 200. The speaker 180 converts the audio signal into audio and outputs it to the user 5. In another aspect, HMD 120 may include earphones instead of speaker 180.
コントローラ300は、有線または無線によりコンピュータ200に接続されている。コントローラ300は、ユーザ5からコンピュータ200への命令の入力を受け付ける。ある局面において、コントローラ300は、ユーザ5によって把持可能に構成される。別の局面において、コントローラ300は、ユーザ5の身体あるいは衣類の一部に装着可能に構成される。さらに別の局面において、コントローラ300は、コンピュータ200から送信される信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。さらに別の局面において、コントローラ300は、ユーザ5から、仮想空間に配置されるオブジェクトの位置や動きを制御するための操作を受け付ける。 Controller 300 is connected to computer 200 by wire or wirelessly. Controller 300 accepts command input from user 5 to computer 200 . In one aspect, the controller 300 is configured to be graspable by the user 5. In another aspect, the controller 300 is configured to be attachable to the body or part of clothing of the user 5. In yet another aspect, the controller 300 may be configured to output at least one of vibration, sound, and light based on a signal transmitted from the computer 200. In yet another aspect, the controller 300 receives an operation from the user 5 for controlling the position and movement of an object placed in the virtual space.
ある局面において、コントローラ300は、複数の光源を含む。各光源は例えば、赤外線を発するLEDにより実現される。HMDセンサ410は、ポジショントラッキング機能を有する。この場合、HMDセンサ410は、コントローラ300が発する複数の赤外線を読み取り、現実空間内におけるコントローラ300の位置および傾きを検出する。別の局面において、HMDセンサ410は、カメラにより実現されてもよい。この場合、HMDセンサ410は、カメラから出力されるコントローラ300の画像情報を用いて、画像解析処理を実行することにより、コントローラ300の位置および傾きを検出することができる。 In some aspects, controller 300 includes multiple light sources. Each light source is realized by, for example, an LED that emits infrared rays. HMD sensor 410 has a position tracking function. In this case, the HMD sensor 410 reads a plurality of infrared rays emitted by the controller 300 and detects the position and tilt of the controller 300 in real space. In another aspect, HMD sensor 410 may be realized by a camera. In this case, the HMD sensor 410 can detect the position and tilt of the controller 300 by executing image analysis processing using image information of the controller 300 output from the camera.
モーションセンサ420は、ある局面において、ユーザ5の手に取り付けられて、ユーザ5の手の動きを検出する。例えば、モーションセンサ420は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ200に送られる。モーションセンサ420は、例えば、コントローラ300に設けられている。ある局面において、モーションセンサ420は、例えば、ユーザ5に把持可能に構成されたコントローラ300に設けられている。別の局面において、現実空間における安全のため、コントローラ300は、手袋型のようにユーザ5の手に装着されることにより容易に飛んで行かないものに装着される。さらに別の局面において、ユーザ5に装着されないセンサがユーザ5の手の動きを検出してもよい。例えば、ユーザ5を撮影するカメラの信号が、ユーザ5の動作を表わす信号として、コンピュータ200に入力されてもよい。モーションセンサ420とコンピュータ200とは、一例として、無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Bluetooth(登録商標)その他の公知の通信手法が用いられる。 In a certain aspect, motion sensor 420 is attached to the user's 5 hand and detects the movement of the user's 5 hand. For example, the motion sensor 420 detects the rotation speed, number of rotations, etc. of the hand. The detected signal is sent to computer 200. Motion sensor 420 is provided in controller 300, for example. In one aspect, the motion sensor 420 is provided, for example, in the controller 300 that is configured to be graspable by the user 5. In another aspect, for safety in real space, the controller 300 is attached to the hand of the user 5, such as a glove, so that it does not easily fly away. In yet another aspect, a sensor that is not attached to the user 5 may detect the movement of the user's 5 hand. For example, a signal from a camera photographing the user 5 may be input to the computer 200 as a signal representing the user's 5 action. The motion sensor 420 and the computer 200 are, for example, connected to each other wirelessly. In the case of wireless communication, the communication form is not particularly limited, and for example, Bluetooth (registered trademark) or other known communication methods may be used.
ディスプレイ430は、モニタ130に表示されている画像と同様の画像を表示する。これにより、HMD120を装着しているユーザ5以外のユーザにも当該ユーザ5と同様の画像を視聴させることができる。ディスプレイ430に表示される画像は、3次元画像である必要はなく、右目用の画像や左目用の画像であってもよい。ディスプレイ430としては、例えば、液晶ディスプレイや有機ELモニタなどが挙げられる。 Display 430 displays an image similar to the image displayed on monitor 130. This allows users other than the user 5 wearing the HMD 120 to view the same images as the user 5. The image displayed on the display 430 does not need to be a three-dimensional image, and may be an image for the right eye or an image for the left eye. Examples of the display 430 include a liquid crystal display and an organic EL monitor.
サーバ600は、コンピュータ200にプログラムを送信し得る。別の局面において、サーバ600は、他のユーザによって使用されるHMD120に仮想現実を提供するための他のコンピュータ200と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各コンピュータ200は、各ユーザの動作に基づく信号をサーバ600を介して他のコンピュータ200と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。各コンピュータ200は、各ユーザの動作に基づく信号をサーバ600を介さずに他のコンピュータ200と通信するようにしてもよい。
外部機器700は、コンピュータ200と通信可能な機器であればどのような機器であってもよい。外部機器700は、例えば、ネットワーク2を介してコンピュータ200と通信可能な機器であってもよいし、近距離無線通信や有線接続によりコンピュータ200と直接通信可能な機器であってもよい。外部機器700としては、例えば、スマートデバイス、PC(Personal Computer)、及びコンピュータ200の周辺機器などが挙げられるが、これらに限定されるものではない。
The
[コンピュータのハードウェア構成]
図2を参照して、本実施の形態に係るコンピュータ200について説明する。図2は、本実施の形態に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ210と、メモリ220と、ストレージ230と、入出力インターフェイス240と、通信インターフェイス250とを備える。各構成要素は、それぞれ、バス260に接続されている。
[Computer hardware configuration]
Referring to FIG. 2, computer 200 according to this embodiment will be described. FIG. 2 is a block diagram showing an example of the hardware configuration of computer 200 according to this embodiment. Computer 200 includes a processor 210, memory 220, storage 230, input/output interface 240, and communication interface 250 as main components. Each component is connected to a bus 260, respectively.
プロセッサ210は、コンピュータ200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ220またはストレージ230に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ210は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、MPU(Micro Processor Unit)、FPGA(Field-Programmable Gate Array)その他のデバイスとして実現される。 Processor 210 executes a series of instructions included in a program stored in memory 220 or storage 230 based on a signal given to computer 200 or based on the satisfaction of a predetermined condition. In one aspect, the processor 210 is implemented as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an MPU (Micro Processor Unit), an FPGA (Field-Programmable Gate Array), or other device.
メモリ220は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ230からロードされる。データは、コンピュータ200に入力されたデータと、プロセッサ210によって生成されたデータとを含む。ある局面において、メモリ220は、RAM(Random Access Memory)その他の揮発メモリとして実現される。 Memory 220 temporarily stores programs and data. The program is loaded from storage 230, for example. The data includes data input to computer 200 and data generated by processor 210. In one aspect, memory 220 is implemented as RAM (Random Access Memory) or other volatile memory.
ストレージ230は、プログラムおよびデータを永続的に保持する。ストレージ230は、例えば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ230に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ200との通信を実現するためのプログラムを含む。ストレージ230に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。 Storage 230 permanently holds programs and data. The storage 230 is implemented as, for example, a ROM (Read-Only Memory), a hard disk device, a flash memory, or other nonvolatile storage device. The programs stored in the storage 230 include a program for providing a virtual space in the HMD system 100, a simulation program, a game program, a user authentication program, and a program for realizing communication with other computers 200. The data stored in the storage 230 includes data and objects for defining a virtual space.
別の局面において、ストレージ230は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ200に内蔵されたストレージ230の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。 In another aspect, storage 230 may be realized as a removable storage device such as a memory card. In yet another aspect, a configuration may be used in which programs and data stored in an external storage device are used instead of the storage 230 built into the computer 200. According to such a configuration, for example, in a scene where a plurality of HMD systems 100 are used, such as in an amusement facility, it becomes possible to update programs and data all at once.
入出力インターフェイス240は、HMD120、HMDセンサ410、モーションセンサ420およびディスプレイ430との間で信号を通信する。HMD120に含まれるモニタ130,注視センサ140,第1カメラ150,第2カメラ160,マイク170およびスピーカ180は、HMD120の入出力インターフェイス240を介してコンピュータ200との通信を行ない得る。ある局面において、入出力インターフェイス240は、USB(Universal Serial Bus)、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実現される。入出力インターフェイス240は上述のものに限られない。 Input/output interface 240 communicates signals between HMD 120, HMD sensor 410, motion sensor 420, and display 430. The monitor 130, gaze sensor 140, first camera 150, second camera 160, microphone 170, and speaker 180 included in the HMD 120 can communicate with the computer 200 via the input/output interface 240 of the HMD 120. In one aspect, the input/output interface 240 is realized using a USB (Universal Serial Bus), DVI (Digital Visual Interface), HDMI (registered trademark) (High-Definition Multimedia Interface), or other terminals. The input/output interface 240 is not limited to those described above.
ある局面において、入出力インターフェイス240は、さらに、コントローラ300と通信し得る。例えば、入出力インターフェイス240は、コントローラ300およびモーションセンサ420から出力された信号の入力を受ける。別の局面において、入出力インターフェイス240は、プロセッサ210から出力された命令を、コントローラ300に送る。当該命令は、振動、音声出力、発光等をコントローラ300に指示する。コントローラ300は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。 In some aspects, input/output interface 240 may further communicate with controller 300. For example, input/output interface 240 receives input signals output from controller 300 and motion sensor 420. In another aspect, input/output interface 240 sends instructions output from processor 210 to controller 300. The command instructs the controller 300 to perform vibration, audio output, light emission, etc. Upon receiving the command, the controller 300 performs vibration, audio output, or light emission in accordance with the command.
通信インターフェイス250は、ネットワーク2に接続されて、ネットワーク2に接続されている他のコンピュータ(例えば、サーバ600)と通信する。ある局面において、通信インターフェイス250は、例えば、LAN(Local Area Network)その他の有線通信インターフェイス、あるいは、WiFi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェイスとして実現される。通信インターフェイス250は上述のものに限られない。 Communication interface 250 is connected to network 2 and communicates with other computers (eg, server 600) connected to network 2. In one aspect, the communication interface 250 is realized as, for example, a LAN (Local Area Network) or other wired communication interface, or a WiFi (Wireless Fidelity), Bluetooth (registered trademark), NFC (Near Field Communication) or other wireless communication interface. be done. Communication interface 250 is not limited to those described above.
ある局面において、プロセッサ210は、ストレージ230にアクセスし、ストレージ230に格納されている1つ以上のプログラムをメモリ220にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ210は、入出力インターフェイス240を介して、仮想空間を提供するための信号をHMD120に送る。HMD120は、その信号に基づいてモニタ130に映像を表示する。 In some aspects, processor 210 accesses storage 230, loads one or more programs stored in storage 230 into memory 220, and executes a series of instructions contained in the programs. The one or more programs may include the operating system of the computer 200, an application program for providing a virtual space, game software executable in the virtual space, and the like. Processor 210 sends a signal for providing a virtual space to HMD 120 via input/output interface 240. HMD 120 displays video on monitor 130 based on the signal.
図2に示される例では、コンピュータ200は、HMD120の外部に設けられる構成が示されているが、別の局面において、コンピュータ200は、HMD120に内蔵されてもよい。一例として、モニタ130を含む携帯型の情報通信端末(例えば、スマートフォン)がコンピュータ200として機能してもよい。 In the example shown in FIG. 2, a configuration is shown in which the computer 200 is provided outside the HMD 120, but in another aspect, the computer 200 may be built into the HMD 120. As an example, a portable information communication terminal (for example, a smartphone) including the monitor 130 may function as the computer 200.
コンピュータ200は、複数のHMD120に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。 The computer 200 may have a configuration that is commonly used by a plurality of HMDs 120. According to such a configuration, for example, the same virtual space can be provided to a plurality of users, so each user can enjoy the same application as other users in the same virtual space.
ある実施の形態において、HMDシステム100では、現実空間における座標系である実座標系が予め設定されている。実座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、並びに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。実座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、実座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。 In one embodiment, in the HMD system 100, a real coordinate system that is a coordinate system in real space is set in advance. The real coordinate system has three reference directions (axes) that are parallel to a vertical direction in real space, a horizontal direction perpendicular to the vertical direction, and a front-back direction perpendicular to both the vertical direction and the horizontal direction. The horizontal direction, vertical direction (vertical direction), and longitudinal direction in the real coordinate system are defined as the x-axis, y-axis, and z-axis, respectively. More specifically, in the real coordinate system, the x-axis is parallel to the horizontal direction of real space. The y-axis is parallel to the vertical direction of real space. The z-axis is parallel to the front-back direction of real space.
ある局面において、HMDセンサ410は、赤外線センサを含む。赤外線センサが、HMD120の各光源から発せられた赤外線をそれぞれ検出すると、HMD120の存在を検出する。HMDセンサ410は、さらに、各点の値(実座標系における各座標値)に基づいて、HMD120を装着したユーザ5の動きに応じた、現実空間内におけるHMD120の位置および傾き(向き)を検出する。より詳しくは、HMDセンサ410は、経時的に検出された各値を用いて、HMD120の位置および傾きの時間的変化を検出できる。 In some aspects, HMD sensor 410 includes an infrared sensor. When the infrared sensor detects each infrared ray emitted from each light source of HMD 120, the presence of HMD 120 is detected. The HMD sensor 410 further detects the position and inclination (orientation) of the HMD 120 in the real space according to the movement of the user 5 wearing the HMD 120 based on the value of each point (each coordinate value in the real coordinate system). do. More specifically, HMD sensor 410 can detect temporal changes in the position and tilt of HMD 120 using each value detected over time.
HMDセンサ410によって検出されたHMD120の各傾きは、実座標系におけるHMD120の3軸周りの各傾きに相当する。HMDセンサ410は、実座標系におけるHMD120の傾きに基づき、uvw視野座標系をHMD120に設定する。HMD120に設定されるuvw視野座標系は、HMD120を装着したユーザ5が仮想空間において物体を見る際の視点座標系に対応する。 Each inclination of HMD 120 detected by HMD sensor 410 corresponds to each inclination of HMD 120 around three axes in the real coordinate system. The HMD sensor 410 sets the uvw visual field coordinate system to the HMD 120 based on the inclination of the HMD 120 in the real coordinate system. The uvw visual field coordinate system set in the HMD 120 corresponds to the viewpoint coordinate system when the user 5 wearing the HMD 120 views an object in the virtual space.
[uvw視野座標系]
図3を参照して、uvw視野座標系について説明する。図3は、ある実施の形態に従うHMD120に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ410は、HMD120の起動時に、実座標系におけるHMD120の位置および傾きを検出する。プロセッサ210は、検出された値に基づいて、uvw視野座標系をHMD120に設定する。
[uvw visual field coordinate system]
The uvw visual field coordinate system will be described with reference to FIG. 3. FIG. 3 is a diagram conceptually representing a UVW visual field coordinate system set in HMD 120 according to an embodiment. HMD sensor 410 detects the position and tilt of HMD 120 in the real coordinate system when HMD 120 is activated. Processor 210 sets the uvw visual field coordinate system in HMD 120 based on the detected value.
図3に示されるように、HMD120は、HMD120を装着したユーザ5の頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD120は、実座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、実座標系内においてHMD120の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD120におけるuvw視野座標系のピッチ軸(u軸)、ヨー軸(v軸)、およびロール軸(w軸)として設定する。 As shown in FIG. 3, the HMD 120 sets a three-dimensional UVW visual field coordinate system centered on the head of the user 5 wearing the HMD 120 (origin). More specifically, HMD 120 changes the horizontal direction, vertical direction, and front-back direction (x-axis, y-axis, z-axis) that define the real coordinate system by the inclination around each axis of HMD 120 within the real coordinate system. The three directions newly obtained by tilting around the respective axes are set as the pitch axis (u axis), yaw axis (v axis), and roll axis (w axis) of the uvw visual field coordinate system in HMD 120.
ある局面において、HMD120を装着したユーザ5が直立し、かつ、正面を視認している場合、プロセッサ210は、実座標系に平行なuvw視野座標系をHMD120に設定する。この場合、実座標系における水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)は、HMD120におけるuvw視野座標系のピッチ軸(u軸)、ヨー軸(v軸)、およびロール軸(w軸)に一致する。 In a certain situation, when the user 5 wearing the HMD 120 is standing upright and viewing the front, the processor 210 sets the uvw visual field coordinate system parallel to the real coordinate system on the HMD 120. In this case, the horizontal direction (x-axis), vertical direction (y-axis), and longitudinal direction (z-axis) in the real coordinate system are the pitch axis (u-axis) and yaw axis (v-axis) of the uvw visual field coordinate system in HMD 120. , and coincides with the roll axis (w axis).
uvw視野座標系がHMD120に設定された後、HMDセンサ410は、HMD120の動きに基づいて、設定されたuvw視野座標系におけるHMD120の傾きを検出できる。この場合、HMDセンサ410は、HMD120の傾きとして、uvw視野座標系におけるHMD120のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ軸周りのHMD120の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー軸周りのHMD120の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール軸周りのHMD120の傾き角度を表す。 After the uvw visual field coordinate system is set on the HMD 120, the HMD sensor 410 can detect the tilt of the HMD 120 in the set uvw visual field coordinate system based on the movement of the HMD 120. In this case, the HMD sensor 410 detects the pitch angle (θu), yaw angle (θv), and roll angle (θw) of the HMD 120 in the uvw visual field coordinate system as the inclination of the HMD 120, respectively. The pitch angle (θu) represents the tilt angle of the HMD 120 around the pitch axis in the uvw visual field coordinate system. The yaw angle (θv) represents the tilt angle of the HMD 120 around the yaw axis in the uvw visual field coordinate system. The roll angle (θw) represents the tilt angle of the HMD 120 around the roll axis in the uvw visual field coordinate system.
HMDセンサ410は、検出されたHMD120の傾きに基づいて、HMD120が動いた後のHMD120におけるuvw視野座標系を、HMD120に設定する。HMD120と、HMD120のuvw視野座標系との関係は、HMD120の位置および傾きに関わらず、常に一定である。HMD120の位置および傾きが変わると、当該位置および傾きの変化に連動して、実座標系におけるHMD120のuvw視野座標系の位置および傾きが変化する。 The HMD sensor 410 sets the uvw visual field coordinate system in the HMD 120 after the HMD 120 has moved based on the detected inclination of the HMD 120. The relationship between HMD 120 and the uvw visual field coordinate system of HMD 120 is always constant regardless of the position and inclination of HMD 120. When the position and inclination of HMD 120 change, the position and inclination of the uvw visual field coordinate system of HMD 120 in the real coordinate system change in conjunction with the change in the position and inclination.
ある局面において、HMDセンサ410は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係(例えば、各点間の距離など)に基づいて、HMD120の現実空間内における位置を、HMDセンサ410に対する相対位置として特定してもよい。プロセッサ210は、特定された相対位置に基づいて、現実空間内(実座標系)におけるHMD120のuvw視野座標系の原点を決定してもよい。 In one aspect, the HMD sensor 410 detects the HMD 120 based on the infrared light intensity obtained based on the output from the infrared sensor and the relative positional relationship between a plurality of points (for example, the distance between each point). The position in real space may be specified as a relative position with respect to the HMD sensor 410. The processor 210 may determine the origin of the uvw visual field coordinate system of the HMD 120 in real space (real coordinate system) based on the specified relative position.
[仮想空間]
図4を参照して、仮想空間についてさらに説明する。図4は、ある実施の形態に従う仮想空間11を表現する一態様を概念的に表す図である。仮想空間11は、中心12の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間11のうちの上半分の天球が例示されている。仮想空間11では各メッシュが規定される。各メッシュの位置は、仮想空間11に規定されるグローバル座標系であるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間11に展開可能なパノラマ画像13(静止画、動画等)を構成する各部分画像を、仮想空間11において対応する各メッシュにそれぞれ対応付ける。
[Virtual space]
The virtual space will be further explained with reference to FIG. 4. FIG. 4 is a diagram conceptually representing one aspect of representing the virtual space 11 according to an embodiment. The virtual space 11 has a spherical structure that covers the entire 360 degree direction of the center 12. In FIG. 4, the celestial sphere in the upper half of the virtual space 11 is illustrated in order not to complicate the explanation. In the virtual space 11, each mesh is defined. The position of each mesh is predefined as a coordinate value in an XYZ coordinate system, which is a global coordinate system defined in the virtual space 11. The computer 200 associates each partial image forming the panoramic image 13 (still image, moving image, etc.) that can be developed in the virtual space 11 with each corresponding mesh in the virtual space 11 .
ある局面において、仮想空間11では、中心12を原点とするXYZ座標系が規定される。XYZ座標系は、例えば、実座標系に平行である。XYZ座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX軸(水平方向)が実座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向)が実座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)が実座標系のz軸と平行である。 In one aspect, in the virtual space 11, an XYZ coordinate system with the center 12 as the origin is defined. For example, the XYZ coordinate system is parallel to the real coordinate system. The horizontal direction, vertical direction (vertical direction), and front-back direction in the XYZ coordinate system are defined as the X-axis, Y-axis, and Z-axis, respectively. Therefore, the X-axis (horizontal direction) of the XYZ coordinate system is parallel to the x-axis of the real coordinate system, the Y-axis (vertical direction) of the XYZ coordinate system is parallel to the y-axis of the real coordinate system, and the The Z-axis (front-back direction) is parallel to the z-axis of the real coordinate system.
HMD120の起動時、すなわちHMD120の初期状態において、仮想カメラ14が、仮想空間11の中心12に配置される。ある局面において、プロセッサ210は、仮想カメラ14が撮影する画像をHMD120のモニタ130に表示する。仮想カメラ14は、現実空間におけるHMD120の動きに連動して、仮想空間11を同様に移動する。これにより、現実空間におけるHMD120の位置および傾きの変化が、仮想空間11において同様に再現され得る。 When the HMD 120 is activated, that is, in the initial state of the HMD 120, the virtual camera 14 is placed at the center 12 of the virtual space 11. In one aspect, processor 210 displays an image captured by virtual camera 14 on monitor 130 of HMD 120. The virtual camera 14 similarly moves in the virtual space 11 in conjunction with the movement of the HMD 120 in the real space. Thereby, changes in the position and inclination of HMD 120 in real space can be similarly reproduced in virtual space 11.
仮想カメラ14には、HMD120の場合と同様に、uvw視野座標系が規定される。仮想空間11における仮想カメラ14のuvw視野座標系は、現実空間(実座標系)におけるHMD120のuvw視野座標系に連動するように規定されている。したがって、HMD120の傾きが変化すると、それに応じて、仮想カメラ14の傾きも変化する。仮想カメラ14は、HMD120を装着したユーザ5の現実空間における移動に連動して、仮想空間11において移動することもできる。 As in the case of the HMD 120, the uvw visual field coordinate system is defined for the virtual camera 14. The UVW visual field coordinate system of the virtual camera 14 in the virtual space 11 is defined to be linked to the UVW visual field coordinate system of the HMD 120 in the real space (real coordinate system). Therefore, when the tilt of HMD 120 changes, the tilt of virtual camera 14 also changes accordingly. The virtual camera 14 can also move in the virtual space 11 in conjunction with the movement of the user 5 wearing the HMD 120 in the real space.
コンピュータ200のプロセッサ210は、仮想カメラ14の位置と傾き(基準視線16)とに基づいて、仮想空間11における視界領域15を規定する。視界領域15は、仮想空間11のうち、HMD120を装着したユーザ5が視認する領域に対応する。つまり、仮想カメラ14の位置は、仮想空間11におけるユーザ5の視点と言える。 The processor 210 of the computer 200 defines the viewing area 15 in the virtual space 11 based on the position and inclination (reference line of sight 16) of the virtual camera 14. The viewing area 15 corresponds to an area of the virtual space 11 that is visible to the user 5 wearing the HMD 120 . In other words, the position of the virtual camera 14 can be said to be the viewpoint of the user 5 in the virtual space 11.
注視センサ140によって検出されるユーザ5の視線は、ユーザ5が物体を視認する際の視点座標系における方向である。HMD120のuvw視野座標系は、ユーザ5がモニタ130を視認する際の視点座標系に等しい。仮想カメラ14のuvw視野座標系は、HMD120のuvw視野座標系に連動している。したがって、ある局面に従うHMDシステム100は、注視センサ140によって検出されたユーザ5の視線を、仮想カメラ14のuvw視野座標系におけるユーザ5の視線とみなすことができる。 The line of sight of the user 5 detected by the gaze sensor 140 is the direction in the viewpoint coordinate system when the user 5 visually recognizes an object. The uvw visual field coordinate system of the HMD 120 is equal to the viewpoint coordinate system when the user 5 views the monitor 130 . The uvw visual field coordinate system of the virtual camera 14 is linked to the uvw visual field coordinate system of the HMD 120. Therefore, the HMD system 100 according to a certain aspect can consider the line of sight of the user 5 detected by the gaze sensor 140 as the line of sight of the user 5 in the uvw visual field coordinate system of the virtual camera 14.
[ユーザの視線]
図5を参照して、ユーザ5の視線の決定について説明する。図5は、ある実施の形態に従うHMD120を装着するユーザ5の頭部を上から表した図である。
[User's line of sight]
Determination of the line of sight of the user 5 will be described with reference to FIG. 5 . FIG. 5 is a top view of the head of user 5 wearing HMD 120 according to an embodiment.
ある局面において、注視センサ140は、ユーザ5の右目および左目の各視線を検出する。ある局面において、ユーザ5が近くを見ている場合、注視センサ140は、視線R1およびL1を検出する。別の局面において、ユーザ5が遠くを見ている場合、注視センサ140は、視線R2およびL2を検出する。この場合、ロール軸wに対して視線R2およびL2が成す角度は、ロール軸wに対して視線R1およびL1が成す角度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。 In one aspect, the gaze sensor 140 detects each line of sight of the user's 5 right eye and left eye. In a certain situation, when the user 5 is looking nearby, the gaze sensor 140 detects the lines of sight R1 and L1. In another aspect, when the user 5 is looking far away, the gaze sensor 140 detects the lines of sight R2 and L2. In this case, the angle that the lines of sight R2 and L2 make with the roll axis w is smaller than the angle that the lines of sight R1 and L1 make with the roll axis w. Gaze sensor 140 transmits detection results to computer 200.
コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点である注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ5の視線N0を特定する。コンピュータ200は、例えば、ユーザ5の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線N0として検出する。視線N0は、ユーザ5が両目により実際に視線を向けている方向である。視線N0は、視界領域15に対してユーザ5が実際に視線を向けている方向に相当する。 When the computer 200 receives the detected values of the line of sight R1 and L1 from the gaze sensor 140 as the detection result of the line of sight, it specifies the point of gaze N1, which is the intersection of the line of sight R1 and L1, based on the detected values. On the other hand, when the computer 200 receives the detected values of the lines of sight R2 and L2 from the gaze sensor 140, it specifies the intersection of the lines of sight R2 and L2 as the point of gaze. The computer 200 specifies the line of sight N0 of the user 5 based on the position of the specified gaze point N1. The computer 200 detects, for example, the direction in which a straight line passing through the midpoint of the straight line connecting the right eye R and the left eye L of the user 5 and the gaze point N1 is the line of sight N0. The line of sight N0 is the direction in which the user 5 is actually directing his/her line of sight with both eyes. The line of sight N0 corresponds to the direction in which the user 5 is actually directing his or her line of sight with respect to the viewing area 15.
別の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間11においてテレビ番組を表示することができる。 In another aspect, HMD system 100 may include a television broadcast reception tuner. According to such a configuration, the HMD system 100 can display television programs in the virtual space 11.
さらに別の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。 In yet another aspect, the HMD system 100 may include a communication circuit for connecting to the Internet or a calling function for connecting to a telephone line.
[視界領域]
図6および図7を参照して、視界領域15について説明する。図6は、仮想空間11において視界領域15をX方向から見たYZ断面を表す図である。図7は、仮想空間11において視界領域15をY方向から見たXZ断面を表す図である。
[Visibility area]
The viewing area 15 will be described with reference to FIGS. 6 and 7. FIG. 6 is a diagram showing a YZ cross section of the viewing area 15 viewed from the X direction in the virtual space 11. FIG. 7 is a diagram showing an XZ cross section of the viewing area 15 viewed from the Y direction in the virtual space 11.
図6に示されるように、YZ断面における視界領域15は、領域18を含む。領域18は、仮想カメラ14の位置と基準視線16と仮想空間11のYZ断面とによって定義される。プロセッサ210は、仮想空間における基準視線16を中心として極角αを含む範囲を、領域18として規定する。 As shown in FIG. 6, the viewing area 15 in the YZ cross section includes a region 18. The region 18 is defined by the position of the virtual camera 14, the reference line of sight 16, and the YZ cross section of the virtual space 11. The processor 210 defines a range including the polar angle α centered on the reference line of sight 16 in the virtual space as the region 18 .
図7に示されるように、XZ断面における視界領域15は、領域19を含む。領域19は、仮想カメラ14の位置と基準視線16と仮想空間11のXZ断面とによって定義される。プロセッサ210は、仮想空間11における基準視線16を中心とした方位角βを含む範囲を、領域19として規定する。極角αおよびβは、仮想カメラ14の位置と仮想カメラ14の傾き(向き)とに応じて定まる。 As shown in FIG. 7, the viewing area 15 in the XZ cross section includes a region 19. The region 19 is defined by the position of the virtual camera 14, the reference line of sight 16, and the XZ cross section of the virtual space 11. The processor 210 defines a range including the azimuth angle β centered on the reference line of sight 16 in the virtual space 11 as a region 19 . The polar angles α and β are determined depending on the position of the virtual camera 14 and the inclination (orientation) of the virtual camera 14.
ある局面において、HMDシステム100は、コンピュータ200からの信号に基づいて、視界画像17をモニタ130に表示させることにより、ユーザ5に仮想空間11における視界を提供する。視界画像17は、パノラマ画像13のうち視界領域15に対応する部分に相当する画像である。ユーザ5が、頭に装着したHMD120を動かすと、その動きに連動して仮想カメラ14も動く。その結果、仮想空間11における視界領域15の位置が変化する。これにより、モニタ130に表示される視界画像17は、パノラマ画像13のうち、仮想空間11においてユーザ5が向いた方向の視界領域15に重畳する画像に更新される。ユーザ5は、仮想空間11における所望の方向を視認することができる。 In one aspect, the HMD system 100 provides the user 5 with a view in the virtual space 11 by displaying the view image 17 on the monitor 130 based on a signal from the computer 200. The visibility image 17 is an image corresponding to a portion of the panoramic image 13 that corresponds to the visibility area 15. When the user 5 moves the HMD 120 worn on the head, the virtual camera 14 also moves in conjunction with the movement. As a result, the position of the viewing area 15 in the virtual space 11 changes. Thereby, the visual field image 17 displayed on the monitor 130 is updated to an image of the panoramic image 13 that is superimposed on the visual field 15 in the direction toward which the user 5 faces in the virtual space 11 . The user 5 can visually recognize a desired direction in the virtual space 11.
このように、仮想カメラ14の傾きは仮想空間11におけるユーザ5の視線(基準視線16)に相当し、仮想カメラ14が配置される位置は、仮想空間11におけるユーザ5の視点に相当する。したがって、仮想カメラ14の位置または傾きを変更することにより、モニタ130に表示される画像が更新され、ユーザ5の視界が移動される。 In this way, the inclination of the virtual camera 14 corresponds to the line of sight (reference line of sight 16) of the user 5 in the virtual space 11, and the position where the virtual camera 14 is placed corresponds to the viewpoint of the user 5 in the virtual space 11. Therefore, by changing the position or inclination of the virtual camera 14, the image displayed on the monitor 130 is updated and the field of view of the user 5 is moved.
ユーザ5は、HMD120を装着している間、現実世界を視認することなく、仮想空間11に展開されるパノラマ画像13のみを視認できる。そのため、HMDシステム100は、仮想空間11への高い没入感覚をユーザ5に与えることができる。 While wearing the HMD 120, the user 5 can view only the panoramic image 13 developed in the virtual space 11 without viewing the real world. Therefore, the HMD system 100 can provide the user 5 with a highly immersive feeling in the virtual space 11.
ある局面において、プロセッサ210は、HMD120を装着したユーザ5の現実空間における移動に連動して、仮想空間11において仮想カメラ14を移動し得る。この場合、プロセッサ210は、仮想空間11における仮想カメラ14の位置および傾きに基づいて、HMD120のモニタ130に投影される画像領域(視界領域15)を特定する。 In one aspect, the processor 210 may move the virtual camera 14 in the virtual space 11 in conjunction with the movement of the user 5 wearing the HMD 120 in the real space. In this case, the processor 210 specifies the image area (visual area 15) to be projected on the monitor 130 of the HMD 120 based on the position and tilt of the virtual camera 14 in the virtual space 11.
ある局面において、仮想カメラ14は、2つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含み得る。ユーザ5が3次元の仮想空間11を認識できるように、適切な視差が、2つの仮想カメラに設定される。別の局面において、仮想カメラ14を1つの仮想カメラにより実現してもよい。この場合、1つの仮想カメラにより得られた画像から、右目用の画像と左目用の画像とを生成するようにしてもよい。本実施の形態においては、仮想カメラ14が2つの仮想カメラを含み、2つの仮想カメラのロール軸が合成されることによって生成されるロール軸(w)がHMD120のロール軸(w)に適合されるように構成されているものとして、本開示に係る技術思想を例示する。 In some aspects, virtual camera 14 may include two virtual cameras: a virtual camera for providing images for the right eye and a virtual camera for providing images for the left eye. Appropriate parallax is set for the two virtual cameras so that the user 5 can recognize the three-dimensional virtual space 11. In another aspect, the virtual camera 14 may be realized by one virtual camera. In this case, an image for the right eye and an image for the left eye may be generated from an image obtained by one virtual camera. In this embodiment, the virtual camera 14 includes two virtual cameras, and the roll axis (w) generated by combining the roll axes of the two virtual cameras is adapted to the roll axis (w) of the HMD 120. The technical idea according to the present disclosure will be exemplified as being configured so as to.
[コントローラ]
図8を参照して、コントローラ300の一例について説明する。図8は、ある実施の形態に従うコントローラ300の概略構成を表す図である。
[controller]
An example of the controller 300 will be described with reference to FIG. 8. FIG. 8 is a diagram showing a schematic configuration of a controller 300 according to an embodiment.
図8に示されるように、ある局面において、コントローラ300は、右コントローラ300Rと図示せぬ左コントローラとを含み得る。右コントローラ300Rは、ユーザ5の右手で操作される。左コントローラは、ユーザ5の左手で操作される。ある局面において、右コントローラ300Rと左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ5は、右コントローラ300Rを把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ300は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ300Rについて説明する。 As shown in FIG. 8, in one aspect, the controller 300 may include a right controller 300R and a left controller (not shown). The right controller 300R is operated by the user 5's right hand. The left controller is operated with the user's 5 left hand. In one aspect, the right controller 300R and the left controller are symmetrically configured as separate devices. Therefore, the user 5 can freely move the right hand holding the right controller 300R and the left hand holding the left controller. In another aspect, controller 300 may be an integrated controller that accepts operation with both hands. The right controller 300R will be explained below.
右コントローラ300Rは、グリップ310と、フレーム320と、天面330とを備える。グリップ310は、ユーザ5の右手によって把持されるように構成されている。たとえば、グリップ310は、ユーザ5の右手の掌と3本の指(中指、薬指、小指)とによって保持され得る。 The right controller 300R includes a grip 310, a frame 320, and a top surface 330. The grip 310 is configured to be held by the user's 5 right hand. For example, the grip 310 may be held by the palm and three fingers (middle finger, ring finger, little finger) of the user 5's right hand.
グリップ310は、ボタン340,350と、モーションセンサ420とを含む。ボタン340は、グリップ310の側面に配置され、右手の中指による操作を受け付ける。ボタン350は、グリップ310の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン340,350は、トリガー式のボタンとして構成される。モーションセンサ420は、グリップ310の筐体に内蔵されている。ユーザ5の動作がカメラその他の装置によってユーザ5の周りから検出可能である場合には、グリップ310は、モーションセンサ420を備えなくてもよい。 Grip 310 includes buttons 340 and 350 and a motion sensor 420. The button 340 is arranged on the side surface of the grip 310 and accepts operation by the middle finger of the right hand. Button 350 is arranged on the front surface of grip 310 and accepts operation by the index finger of the right hand. In some aspects, buttons 340, 350 are configured as trigger-type buttons. Motion sensor 420 is built into the housing of grip 310. If the motion of the user 5 can be detected from around the user 5 by a camera or other device, the grip 310 may not include the motion sensor 420.
フレーム320は、その円周方向に沿って配置された複数の赤外線LED360を含む。赤外線LED360は、コントローラ300を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線LED360から発せられた赤外線は、右コントローラ300Rと左コントローラとの各位置や姿勢(傾き、向き)を検出するために使用され得る。図8に示される例では、二列に配置された赤外線LED360が示されているが、配列の数は図8に示されるものに限られない。一列あるいは3列以上の配列が使用されてもよい。 Frame 320 includes a plurality of infrared LEDs 360 arranged along its circumferential direction. The infrared LED 360 emits infrared rays while a program using the controller 300 is being executed in accordance with the progress of the program. The infrared rays emitted from the infrared LED 360 can be used to detect the respective positions and postures (tilt, orientation) of the right controller 300R and the left controller. Although the example shown in FIG. 8 shows infrared LEDs 360 arranged in two rows, the number of arrangements is not limited to that shown in FIG. 8. A single row or an array of three or more rows may be used.
天面330は、ボタン370,380と、アナログスティック390とを備える。ボタン370,380は、プッシュ式ボタンとして構成される。ボタン370,380は、ユーザ5の右手の親指による操作を受け付ける。アナログスティック390は、ある局面において、初期位置(ニュートラルの位置)から360度任意の方向への操作を受け付ける。当該操作は、たとえば、仮想空間11に配置されるオブジェクトを移動するための操作を含む。 The top surface 330 includes buttons 370 and 380 and an analog stick 390. Buttons 370, 380 are configured as push buttons. The buttons 370 and 380 accept operations by the thumb of the user's 5 right hand. In a certain situation, the analog stick 390 accepts operation in any direction of 360 degrees from the initial position (neutral position). The operation includes, for example, an operation for moving an object placed in the virtual space 11.
ある局面において、右コントローラ300Rおよび左コントローラは、赤外線LED360その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型などを含むが、これらに限定されない。別の局面において、右コントローラ300Rと左コントローラは、たとえば、コンピュータ200のUSBインターフェイスに接続され得る。この場合、右コントローラ300Rおよび左コントローラは、電池を必要としない。 In one aspect, the right controller 300R and the left controller include batteries for driving the infrared LEDs 360 and other components. Batteries include, but are not limited to, rechargeable types, button types, dry battery types, and the like. In another aspect, the right controller 300R and the left controller may be connected to a USB interface of the computer 200, for example. In this case, the right controller 300R and the left controller do not require batteries.
図8の状態(A)および状態(B)に示されるように、例えば、ユーザ5の右手に対して、ヨー、ロール、ピッチの各方向が規定される。ユーザ5が親指と人差し指とを伸ばした場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向として規定される。 As shown in states (A) and (B) of FIG. 8, for example, the yaw, roll, and pitch directions are defined for the right hand of the user 5. When user 5 extends his thumb and index finger, the direction in which the thumb extends is the yaw direction, the direction in which the index finger extends is the roll direction, and the direction perpendicular to the plane defined by the yaw axis and the roll axis is the pitch direction. It is defined as.
[サーバのハードウェア構成]
図9を参照して、本実施の形態に係るサーバ600について説明する。図9は、ある実施の形態に従うサーバ600のハードウェア構成の一例を表すブロック図である。サーバ600は、主たる構成要素として、プロセッサ610と、メモリ620と、ストレージ630と、入出力インターフェイス640と、通信インターフェイス650とを備える。各構成要素は、それぞれ、バス660に接続されている。
[Server hardware configuration]
With reference to FIG. 9,
プロセッサ610は、サーバ600に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ620またはストレージ630に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ610は、CPU、GPU、MPU、FPGAその他のデバイスとして実現される。
Processor 610 executes a series of instructions included in a program stored in memory 620 or storage 630 based on a signal given to
メモリ620は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ630からロードされる。データは、サーバ600に入力されたデータと、プロセッサ610によって生成されたデータとを含む。ある局面において、メモリ620は、RAMその他の揮発メモリとして実現される。
Memory 620 temporarily stores programs and data. The program is loaded from storage 630, for example. The data includes data input to
ストレージ630は、プログラムおよびデータを永続的に保持する。ストレージ630は、例えば、ROM、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ630に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、コンピュータ200との通信を実現するためのプログラムを含んでもよい。ストレージ630に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含んでもよい。 Storage 630 permanently holds programs and data. The storage 630 is implemented as, for example, a ROM, a hard disk device, a flash memory, or other nonvolatile storage device. The programs stored in the storage 630 may include a program for providing a virtual space in the HMD system 100, a simulation program, a game program, a user authentication program, and a program for realizing communication with the computer 200. The data stored in the storage 630 may include data and objects for defining a virtual space.
別の局面において、ストレージ630は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、サーバ600に内蔵されたストレージ630の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
In another aspect, storage 630 may be implemented as a removable storage device such as a memory card. In yet another aspect, a configuration may be used in which programs and data stored in an external storage device are used instead of the storage 630 built into the
入出力インターフェイス640は、入出力機器との間で信号を通信する。ある局面において、入出力インターフェイス640は、USB、DVI、HDMIその他の端子を用いて実現される。入出力インターフェイス640は上述のものに限られない。 Input/output interface 640 communicates signals with input/output devices. In one aspect, the input/output interface 640 is implemented using a USB, DVI, HDMI, or other terminal. The input/output interface 640 is not limited to those described above.
通信インターフェイス650は、ネットワーク2に接続されて、ネットワーク2に接続されているコンピュータ200と通信する。ある局面において、通信インターフェイス650は、例えば、LANその他の有線通信インターフェイス、あるいは、WiFi、Bluetooth、NFCその他の無線通信インターフェイスとして実現される。通信インターフェイス650は上述のものに限られない。 Communication interface 650 is connected to network 2 and communicates with computer 200 connected to network 2 . In one aspect, the communication interface 650 is implemented as, for example, a LAN or other wired communication interface, or a WiFi, Bluetooth, NFC, or other wireless communication interface. Communication interface 650 is not limited to those described above.
ある局面において、プロセッサ610は、ストレージ630にアクセスし、ストレージ630に格納されている1つ以上のプログラムをメモリ620にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、サーバ600のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ610は、入出力インターフェイス640を介して、仮想空間を提供するための信号をコンピュータ200に送ってもよい。
In some aspects, processor 610 accesses storage 630, loads one or more programs stored in storage 630 into memory 620, and executes a series of instructions contained in the programs. The one or more programs may include the operating system of the
[HMDの制御装置]
図10を参照して、HMD120の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図10は、ある実施の形態に従うコンピュータ200をモジュール構成として表わすブロック図である。
[HMD control device]
A control device for the HMD 120 will be described with reference to FIG. 10. In one embodiment, the control device is implemented by a computer 200 having a known configuration. FIG. 10 is a block diagram illustrating computer 200 as a modular configuration according to an embodiment.
図10に示されるように、コンピュータ200は、コントロールモジュール510と、レンダリングモジュール520と、メモリモジュール530と、通信制御モジュール540とを備える。ある局面において、コントロールモジュール510とレンダリングモジュール520とは、プロセッサ210によって実現される。別の局面において、複数のプロセッサ210がコントロールモジュール510とレンダリングモジュール520として作動してもよい。メモリモジュール530は、メモリ220またはストレージ230によって実現される。通信制御モジュール540は、通信インターフェイス250によって実現される。 As shown in FIG. 10, the computer 200 includes a control module 510, a rendering module 520, a memory module 530, and a communication control module 540. In some aspects, control module 510 and rendering module 520 are implemented by processor 210. In another aspect, multiple processors 210 may act as control module 510 and rendering module 520. Memory module 530 is realized by memory 220 or storage 230. Communication control module 540 is realized by communication interface 250.
コントロールモジュール510は、ユーザ5に提供される仮想空間11を制御する。コントロールモジュール510は、仮想空間11を表す仮想空間データを用いて、HMDシステム100における仮想空間11を規定する。仮想空間データは、例えば、メモリモジュール530に記憶されている。コントロールモジュール510が、仮想空間データを生成したり、サーバ600などから仮想空間データを取得するようにしたりしてもよい。
Control module 510 controls virtual space 11 provided to user 5 . Control module 510 defines virtual space 11 in HMD system 100 using virtual space data representing virtual space 11 . The virtual space data is stored in the memory module 530, for example. The control module 510 may generate virtual space data or obtain virtual space data from the
コントロールモジュール510は、オブジェクトを表すオブジェクトデータを用いて、仮想空間11にオブジェクトを配置する。オブジェクトデータは、例えば、メモリモジュール530に記憶されている。コントロールモジュール510が、オブジェクトデータを生成したり、サーバ600などからオブジェクトデータを取得するようにしたりしてもよい。オブジェクトは、例えば、ユーザ5の分身であるアバターオブジェクト、キャラクタオブジェクト、コントローラ300によって操作される仮想手などの操作オブジェクト、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、街並み、動物等を含み得る。
The control module 510 places objects in the virtual space 11 using object data representing the objects. Object data is stored in memory module 530, for example. The control module 510 may generate object data or obtain object data from the
コントロールモジュール510は、ネットワーク2を介して接続される他のコンピュータ200のユーザ5のアバターオブジェクトを仮想空間11に配置する。ある局面において、コントロールモジュール510は、ユーザ5のアバターオブジェクトを仮想空間11に配置する。ある局面において、コントロールモジュール510は、ユーザ5を含む画像に基づいて、ユーザ5を模したアバターオブジェクトを仮想空間11に配置する。別の局面において、コントロールモジュール510は、複数種類のアバターオブジェクト(例えば、動物を模したオブジェクトや、デフォルメされた人のオブジェクト)の中からユーザ5による選択を受け付けたアバターオブジェクトを仮想空間11に配置する。 The control module 510 places the avatar object of the user 5 of the other computer 200 connected via the network 2 in the virtual space 11 . In one aspect, the control module 510 places the avatar object of the user 5 in the virtual space 11. In one aspect, the control module 510 places an avatar object imitating the user 5 in the virtual space 11 based on an image including the user 5. In another aspect, the control module 510 arranges in the virtual space 11 an avatar object selected by the user 5 from among multiple types of avatar objects (for example, an object imitating an animal or a deformed human object). do.
コントロールモジュール510は、HMDセンサ410の出力に基づいてHMD120の傾きを特定する。別の局面において、コントロールモジュール510は、モーションセンサとして機能するセンサ190の出力に基づいてHMD120の傾きを特定する。コントロールモジュール510は、第1カメラ150および第2カメラ160が生成するユーザ5の顔の画像から、ユーザ5の顔を構成する器官(例えば、口,目,眉)を検出する。コントロールモジュール510は、検出した各器官の動き(形状)を検出する。 Control module 510 identifies the tilt of HMD 120 based on the output of HMD sensor 410. In another aspect, control module 510 identifies the tilt of HMD 120 based on the output of sensor 190 functioning as a motion sensor. The control module 510 detects organs (eg, mouth, eyes, eyebrows) that make up the user's 5 face from the images of the user's 5 face generated by the first camera 150 and the second camera 160. The control module 510 detects the movement (shape) of each detected organ.
コントロールモジュール510は、注視センサ140からの信号に基づいて、ユーザ5の仮想空間11における視線を検出する。コントロールモジュール510は、検出したユーザ5の視線と仮想空間11の天球とが交わる視点位置(XYZ座標系における座標値)を検出する。より具体的には、コントロールモジュール510は、uvw座標系で規定されるユーザ5の視線と、仮想カメラ14の位置および傾きとに基づいて、視点位置を検出する。コントロールモジュール510は、検出した視点位置をサーバ600に送信する。別の局面において、コントロールモジュール510は、ユーザ5の視線を表す視線情報をサーバ600に送信するように構成されてもよい。係る場合、サーバ600が受信した視線情報に基づいて視点位置を算出し得る。
Control module 510 detects the line of sight of user 5 in virtual space 11 based on the signal from gaze sensor 140 . The control module 510 detects a viewpoint position (coordinate value in the XYZ coordinate system) where the detected line of sight of the user 5 intersects with the celestial sphere of the virtual space 11. More specifically, the control module 510 detects the viewpoint position based on the line of sight of the user 5 defined by the uvw coordinate system and the position and tilt of the virtual camera 14. Control module 510 transmits the detected viewpoint position to
コントロールモジュール510は、HMDセンサ410が検出するHMD120の動きをアバターオブジェクトに反映する。例えば、コントロールモジュール510は、HMD120が傾いたことを検知して、アバターオブジェクトを傾けて配置する。コントロールモジュール510は、検出した顔器官の動作を、仮想空間11に配置されるアバターオブジェクトの顔に反映させる。コントロールモジュール510は、サーバ600から他のユーザ5の視線情報を受信し、当該他のユーザ5のアバターオブジェクトの視線に反映させる。ある局面において、コントロールモジュール510は、コントローラ300の動きをアバターオブジェクトや操作オブジェクトに反映する。この場合、コントローラ300は、コントローラ300の動きを検知するためのモーションセンサ、加速度センサ、または複数の発光素子(例えば、赤外線LED)などを備える。
The control module 510 reflects the movement of the HMD 120 detected by the HMD sensor 410 on the avatar object. For example, the control module 510 detects that the HMD 120 is tilted and places the avatar object at a tilt. The control module 510 reflects the detected motions of the facial organs on the face of the avatar object placed in the virtual space 11. The control module 510 receives the gaze information of the other user 5 from the
コントロールモジュール510は、仮想空間11においてユーザ5の操作を受け付けるための操作オブジェクトを仮想空間11に配置する。ユーザ5は、操作オブジェクトを操作することにより、例えば、仮想空間11に配置されるオブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、ユーザ5の手に相当する仮想手である手オブジェクト等を含み得る。ある局面において、コントロールモジュール510は、モーションセンサ420の出力に基づいて現実空間におけるユーザ5の手の動きに連動するように仮想空間11において手オブジェクトを動かす。ある局面において、操作オブジェクトは、アバターオブジェクトの手の部分に相当し得る。 The control module 510 arranges in the virtual space 11 an operation object for receiving an operation by the user 5 in the virtual space 11 . The user 5 operates, for example, an object arranged in the virtual space 11 by operating the operation object. In one aspect, the operation object may include, for example, a hand object that is a virtual hand corresponding to the user's 5 hand. In one aspect, the control module 510 moves the hand object in the virtual space 11 in conjunction with the movement of the user's 5 hand in the real space based on the output of the motion sensor 420. In one aspect, the manipulation object may correspond to a hand portion of an avatar object.
コントロールモジュール510は、仮想空間11に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。コントロールモジュール510は、例えば、あるオブジェクトのコリジョンエリアと、別のオブジェクトのコリジョンエリアとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。コントロールモジュール510は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。コントロールモジュール510は、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。例えば、コントロールモジュール510は、操作オブジェクトと、他のオブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出して、予め定められた処理を行なう。 The control module 510 detects a collision when each of the objects arranged in the virtual space 11 collides with another object. The control module 510 can detect, for example, the timing at which a collision area of a certain object touches a collision area of another object, and performs predetermined processing when this detection is performed. The control module 510 can detect the timing when objects are no longer in contact with each other, and performs predetermined processing when this detection is performed. The control module 510 can detect that objects are touching. For example, when a manipulation object and another object touch, the control module 510 detects the contact between the manipulation object and the other object, and performs a predetermined process.
ある局面において、コントロールモジュール510は、HMD120のモニタ130における画像表示を制御する。例えば、コントロールモジュール510は、仮想空間11に仮想カメラ14を配置する。コントロールモジュール510は、仮想空間11における仮想カメラ14の位置と、仮想カメラ14の傾き(向き)を制御する。コントロールモジュール510は、HMD120を装着したユーザ5の頭の傾きと、仮想カメラ14の位置に応じて、視界領域15を規定する。レンダリングモジュール520は、決定された視界領域15に基づいて、モニタ130に表示される視界画像17を生成する。レンダリングモジュール520により生成された視界画像17は、通信制御モジュール540によってHMD120に出力される。 In one aspect, control module 510 controls image display on monitor 130 of HMD 120. For example, the control module 510 arranges the virtual camera 14 in the virtual space 11. The control module 510 controls the position of the virtual camera 14 in the virtual space 11 and the tilt (orientation) of the virtual camera 14. The control module 510 defines the viewing area 15 according to the tilt of the head of the user 5 wearing the HMD 120 and the position of the virtual camera 14. The rendering module 520 generates the viewing image 17 displayed on the monitor 130 based on the determined viewing area 15. The view image 17 generated by the rendering module 520 is output to the HMD 120 by the communication control module 540.
コントロールモジュール510は、HMD120から、ユーザ5のマイク170を用いた発話を検出すると、当該発話に対応する音声データの送信対象のコンピュータ200を特定する。音声データは、コントロールモジュール510によって特定されたコンピュータ200に送信される。コントロールモジュール510は、ネットワーク2を介して他のユーザのコンピュータ200から音声データを受信すると、当該音声データに対応する音声(発話)をスピーカ180から出力する。 When control module 510 detects user 5's utterance using microphone 170 from HMD 120, control module 510 identifies computer 200 to which audio data corresponding to the utterance is to be transmitted. The audio data is sent to the specified computer 200 by control module 510. When control module 510 receives audio data from another user's computer 200 via network 2, it outputs audio (speech) corresponding to the audio data from speaker 180.
メモリモジュール530は、コンピュータ200が仮想空間11をユーザ5に提供するために使用されるデータを保持している。ある局面において、メモリモジュール530は、空間情報と、オブジェクト情報と、ユーザ情報とを保持している。 Memory module 530 holds data used by computer 200 to provide virtual space 11 to user 5 . In some aspects, memory module 530 maintains spatial information, object information, and user information.
空間情報は、仮想空間11を提供するために規定された1つ以上のテンプレートを保持している。 The spatial information holds one or more templates defined for providing the virtual space 11.
オブジェクト情報は、仮想空間11を構成する複数のパノラマ画像13、仮想空間11にオブジェクトを配置するためのオブジェクトデータを含む。パノラマ画像13は、静止画像および動画像を含み得る。パノラマ画像13は、非現実空間の画像と現実空間の画像とを含み得る。非現実空間の画像としては、例えば、コンピュータグラフィックスで生成された画像が挙げられる。 The object information includes a plurality of panoramic images 13 constituting the virtual space 11 and object data for arranging objects in the virtual space 11. Panoramic image 13 may include still images and moving images. The panoramic image 13 may include an image in a non-real space and an image in a real space. Examples of images in unreal space include images generated by computer graphics.
ユーザ情報は、ユーザ5を識別するユーザIDを保持する。ユーザIDは、例えば、ユーザが使用するコンピュータ200に設定されるIP(Internet Protocol)アドレスまたはMAC(Media Access Control)アドレスであり得る。別の局面において、ユーザIDはユーザによって設定され得る。ユーザ情報は、HMDシステム100の制御装置としてコンピュータ200を機能させるためのプログラム等を含む。 The user information holds a user ID that identifies the user 5. The user ID may be, for example, an IP (Internet Protocol) address or a MAC (Media Access Control) address set on the computer 200 used by the user. In another aspect, the user ID may be set by the user. The user information includes a program for causing the computer 200 to function as a control device for the HMD system 100, and the like.
メモリモジュール530に格納されているデータおよびプログラムは、HMD120のユーザ5によって入力される。あるいは、プロセッサ210が、当該コンテンツを提供する事業者が運営するコンピュータ(例えば、サーバ600)からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール530に格納する。 Data and programs stored in memory module 530 are input by user 5 of HMD 120. Alternatively, processor 210 downloads a program or data from a computer (for example, server 600) operated by a business providing the content, and stores the downloaded program or data in memory module 530.
通信制御モジュール540は、ネットワーク2を介して、サーバ600その他の情報通信装置と通信し得る。
The communication control module 540 can communicate with the
ある局面において、コントロールモジュール510及びレンダリングモジュール520は、例えば、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用いて実現され得る。別の局面において、コントロールモジュール510及びレンダリングモジュール520は、各処理を実現する回路素子の組み合わせとしても実現され得る。 In certain aspects, control module 510 and rendering module 520 may be implemented using, for example, Unity® provided by Unity Technologies. In another aspect, the control module 510 and the rendering module 520 may be implemented as a combination of circuit elements that implement each process.
コンピュータ200における処理は、ハードウェアと、プロセッサ210により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール530に予め格納されている場合がある。ソフトウェアは、CD-ROMその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール540を介してサーバ600その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ210によって記憶モジュールから読み出され、実行可能なプログラムの形式でRAMに格納される。プロセッサ210は、そのプログラムを実行する。
Processing in computer 200 is realized by hardware and software executed by processor 210. Such software may be pre-stored in the hard disk or other memory module 530. Software may be stored on a CD-ROM or other computer-readable non-volatile data storage medium and distributed as a program product. Alternatively, the software may be provided as a downloadable program product by an information provider connected to the Internet or other networks. Such software is read from a data recording medium by an optical disk drive or other data reading device, or is downloaded from the
[HMDシステムの制御構造]
図11を参照して、HMDセット110の制御構造について説明する。図11は、ある実施の形態に従うHMDセット110において実行される処理の一部を表すシーケンスチャートである。
[Control structure of HMD system]
The control structure of the HMD set 110 will be described with reference to FIG. 11. FIG. 11 is a sequence chart showing part of the processing performed in the HMD set 110 according to an embodiment.
図11に示されるように、ステップS1110にて、コンピュータ200のプロセッサ210は、コントロールモジュール510として、仮想空間データを特定し、仮想空間11を定義する。 As shown in FIG. 11, in step S1110, the processor 210 of the computer 200, as the control module 510, specifies virtual space data and defines the virtual space 11.
ステップS1120にて、プロセッサ210は、仮想カメラ14を初期化する。たとえば、プロセッサ210は、メモリのワーク領域において、仮想カメラ14を仮想空間11において予め規定された中心点12に配置し、仮想カメラ14の視線をユーザ5が向いている方向に向ける。 In step S1120, processor 210 initializes virtual camera 14. For example, in the work area of the memory, the processor 210 places the virtual camera 14 at a predefined center point 12 in the virtual space 11, and directs the line of sight of the virtual camera 14 in the direction in which the user 5 is facing.
ステップS1130にて、プロセッサ210は、レンダリングモジュール520として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、通信制御モジュール540によってHMD120に出力される。 In step S1130, processor 210, as rendering module 520, generates view image data for displaying the initial view image. The generated visual field image data is output to the HMD 120 by the communication control module 540.
ステップS1132にて、HMD120のモニタ130は、コンピュータ200から受信した視界画像データに基づいて、視界画像を表示する。HMD120を装着したユーザ5は、視界画像を視認すると仮想空間11を認識し得る。 In step S1132, monitor 130 of HMD 120 displays a visual field image based on the visual field image data received from computer 200. The user 5 wearing the HMD 120 can recognize the virtual space 11 by viewing the visual field image.
ステップS1134にて、HMDセンサ410は、HMD120から発信される複数の赤外線光に基づいて、HMD120の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ200に出力される。 In step S1134, HMD sensor 410 detects the position and tilt of HMD 120 based on a plurality of infrared lights emitted from HMD 120. The detection results are output to the computer 200 as motion detection data.
ステップS1140にて、プロセッサ210は、HMD120の動き検知データに含まれる位置と傾きとに基づいて、HMD120を装着したユーザ5の視界方向を特定する。 In step S1140, processor 210 identifies the viewing direction of user 5 wearing HMD 120 based on the position and tilt included in the motion detection data of HMD 120.
ステップS1150にて、プロセッサ210は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間11にオブジェクトを配置する。 In step S1150, processor 210 executes the application program and places objects in virtual space 11 based on instructions included in the application program.
ステップS1160にて、コントローラ300は、モーションセンサ420から出力される信号に基づいて、ユーザ5の操作を検出し、その検出された操作を表す検出データをコンピュータ200に出力する。別の局面において、ユーザ5によるコントローラ300の操作は、ユーザ5の周囲に配置されたカメラからの画像に基づいて検出されてもよい。 In step S1160, controller 300 detects the operation of user 5 based on the signal output from motion sensor 420, and outputs detection data representing the detected operation to computer 200. In another aspect, the operation of the controller 300 by the user 5 may be detected based on images from cameras placed around the user 5.
ステップS1170にて、プロセッサ210は、コントローラ300から取得した検出データに基づいて、ユーザ5によるコントローラ300の操作を検出する。 In step S1170, processor 210 detects the operation of controller 300 by user 5 based on the detection data acquired from controller 300.
ステップS1180にて、プロセッサ210は、ユーザ5によるコントローラ300の操作に基づく視界画像データを生成する。生成された視界画像データは、通信制御モジュール540によってHMD120に出力される。 In step S1180, processor 210 generates visual field image data based on user 5's operation of controller 300. The generated visual field image data is output to the HMD 120 by the communication control module 540.
ステップS1190にて、HMD120は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像をモニタ130に表示する。 In step S1190, HMD 120 updates the view image based on the received view image data, and displays the updated view image on monitor 130.
[アバターオブジェクト]
図12(A)、(B)を参照して、本実施の形態に従うアバターオブジェクトについて説明する。以下、HMDセット110A,110Bの各ユーザ5のアバターオブジェクトを説明する図である。以下、HMDセット110Aのユーザをユーザ5A、HMDセット110Bのユーザをユーザ5B、HMDセット110Cのユーザをユーザ5C、HMDセット110Dのユーザをユーザ5Dと表す。HMDセット110Aに関する各構成要素の参照符号にAが付され、HMDセット110Bに関する各構成要素の参照符号にBが付され、HMDセット110Cに関する各構成要素の参照符号にCが付され、HMDセット110Dに関する各構成要素の参照符号にDが付される。例えば、HMD120Aは、HMDセット110Aに含まれる。
[Avatar object]
The avatar object according to this embodiment will be described with reference to FIGS. 12(A) and 12(B). The following is a diagram explaining the avatar objects of each user 5 of the HMD sets 110A and 110B. Hereinafter, the user of HMD set 110A will be referred to as user 5A, the user of HMD set 110B will be referred to as user 5B, the user of HMD set 110C will be referred to as user 5C, and the user of HMD set 110D will be referred to as user 5D. A is attached to the reference numeral of each component regarding the HMD set 110A, B is attached to the reference numeral of each component regarding the HMD set 110B, C is attached to the reference numeral of each component regarding the HMD set 110C, and the HMD set D is added to the reference numeral of each component related to 110D. For example, HMD 120A is included in HMD set 110A.
図12(A)は、ネットワーク2において、各HMD120がユーザ5に仮想空間11を提供する状況を表す模式図である。コンピュータ200A~200Dは、HMD120A~120Dを介して、ユーザ5A~5Dに、仮想空間11A~11Dをそれぞれ提供する。図12(A)に示される例において、仮想空間11Aおよび仮想空間11Bは同じデータによって構成されている。換言すれば、コンピュータ200Aとコンピュータ200Bとは同じ仮想空間を共有していることになる。仮想空間11Aおよび仮想空間11Bには、ユーザ5Aのアバターオブジェクト6Aと、ユーザ5Bのアバターオブジェクト6Bとが存在する。仮想空間11Aにおけるアバターオブジェクト6Aおよび仮想空間11Bにおけるアバターオブジェクト6BがそれぞれHMD120を装着しているが、これは説明を分かりやすくするためのものであって、実際にはこれらのオブジェクトはHMD120を装着していない。 FIG. 12A is a schematic diagram showing a situation in which each HMD 120 provides the virtual space 11 to the user 5 in the network 2. Computers 200A to 200D provide virtual spaces 11A to 11D to users 5A to 5D via HMDs 120A to 120D, respectively. In the example shown in FIG. 12(A), the virtual space 11A and the virtual space 11B are configured by the same data. In other words, the computer 200A and the computer 200B share the same virtual space. In the virtual space 11A and the virtual space 11B, an avatar object 6A of the user 5A and an avatar object 6B of the user 5B exist. The avatar object 6A in the virtual space 11A and the avatar object 6B in the virtual space 11B are each wearing an HMD 120, but this is to make the explanation easier to understand, and in reality, these objects are not wearing the HMD 120. Not yet.
ある局面において、プロセッサ210Aは、ユーザ5Aの視界画像17Aを撮影する仮想カメラ14Aを、アバターオブジェクト6Aの目の位置に配置し得る。 In one aspect, the processor 210A may place the virtual camera 14A that captures the visual field image 17A of the user 5A at the eye position of the avatar object 6A.
図12(B)は、図12(A)におけるユーザ5Aの視界画像17Aを示す図である。視界画像17Aは、HMD120Aのモニタ130Aに表示される画像である。この視界画像17Aは、仮想カメラ14Aにより生成された画像である。視界画像17Aには、ユーザ5Bのアバターオブジェクト6Bが表示されている。特に図示はしていないが、ユーザ5Bの視界画像にも同様に、ユーザ5Aのアバターオブジェクト6Aが表示されている。 FIG. 12(B) is a diagram showing the visual field image 17A of the user 5A in FIG. 12(A). The visual field image 17A is an image displayed on the monitor 130A of the HMD 120A. This visual field image 17A is an image generated by the virtual camera 14A. An avatar object 6B of the user 5B is displayed in the view image 17A. Although not particularly illustrated, the avatar object 6A of the user 5A is also displayed in the visual field image of the user 5B.
図12(B)の状態において、ユーザ5Aは仮想空間11Aを介してユーザ5Bと対話による通信(コミュニケーション)を図ることができる。より具体的には、マイク170Aにより取得されたユーザ5Aの音声は、サーバ600を介してユーザ5BのHMD120Bに送信され、HMD120Bに設けられたスピーカ180Bから出力される。ユーザ5Bの音声は、サーバ600を介してユーザ5AのHMD120Aに送信され、HMD120Aに設けられたスピーカ180Aから出力される。
In the state shown in FIG. 12(B), the user 5A can communicate with the user 5B through dialogue through the virtual space 11A. More specifically, user 5A's voice acquired by microphone 170A is transmitted to user 5B's HMD 120B via
ユーザ5Bの動作(HMD120Bの動作およびコントローラ300Bの動作)は、プロセッサ210Aにより仮想空間11Aに配置されるアバターオブジェクト6Bに反映される。これにより、ユーザ5Aは、ユーザ5Bの動作を、アバターオブジェクト6Bを通じて認識できる。 The actions of the user 5B (the actions of the HMD 120B and the actions of the controller 300B) are reflected on the avatar object 6B placed in the virtual space 11A by the processor 210A. Thereby, the user 5A can recognize the actions of the user 5B through the avatar object 6B.
図13は、本実施の形態に従うHMDシステム100において実行される処理の一部を表すシーケンスチャートである。図13においては、HMDセット110Dを図示していないが、HMDセット110Dについても、HMDセット110A、110B、110Cと同様に動作する。以下の説明でも、HMDセット110Aに関する各構成要素の参照符号にAが付され、HMDセット110Bに関する各構成要素の参照符号にBが付され、HMDセット110Cに関する各構成要素の参照符号にCが付され、HMDセット110Dに関する各構成要素の参照符号にDが付されるものとする。 FIG. 13 is a sequence chart showing part of the processing executed in HMD system 100 according to this embodiment. Although the HMD set 110D is not illustrated in FIG. 13, the HMD set 110D also operates in the same manner as the HMD sets 110A, 110B, and 110C. In the following description, A is added to the reference numeral of each component regarding the HMD set 110A, B is added to the reference numeral of each component regarding the HMD set 110B, and C is added to the reference numeral of each component regarding the HMD set 110C. D is added to the reference numeral of each component related to the HMD set 110D.
ステップS1310Aにおいて、HMDセット110Aにおけるプロセッサ210Aは、仮想空間11Aにおけるアバターオブジェクト6Aの動作を決定するためのアバター情報を取得する。このアバター情報は、例えば、動き情報、フェイストラッキングデータ、および音声データ等のアバターに関する情報を含む。動き情報は、HMD120Aの位置および傾きの時間的変化を示す情報や、モーションセンサ420A等により検出されたユーザ5Aの手の動きを示す情報などを含む。フェイストラッキングデータは、ユーザ5Aの顔の各パーツの位置および大きさを特定するデータが挙げられる。フェイストラッキングデータは、ユーザ5Aの顔を構成する各器官の動きを示すデータや視線データが挙げられる。音声データは、HMD120Aのマイク170Aによって取得されたユーザ5Aの音声を示すデータが挙げられる。アバター情報には、アバターオブジェクト6A、あるいはアバターオブジェクト6Aに関連付けられるユーザ5Aを特定する情報や、アバターオブジェクト6Aが存在する仮想空間11Aを特定する情報等が含まれてもよい。アバターオブジェクト6Aやユーザ5Aを特定する情報としては、ユーザIDが挙げられる。アバターオブジェクト6Aが存在する仮想空間11Aを特定する情報としては、ルームIDが挙げられる。プロセッサ210Aは、上述のように取得されたアバター情報を、ネットワーク2を介してサーバ600に送信する。
In step S1310A, processor 210A in HMD set 110A acquires avatar information for determining the behavior of avatar object 6A in virtual space 11A. This avatar information includes information regarding the avatar, such as movement information, face tracking data, and voice data. The motion information includes information indicating temporal changes in the position and tilt of the HMD 120A, information indicating the movement of the user's 5A hand detected by the motion sensor 420A, and the like. Examples of the face tracking data include data that specifies the position and size of each part of the user's 5A face. Examples of the face tracking data include data indicating the movement of each organ that makes up the face of the user 5A and line of sight data. Examples of the audio data include data representing the user's 5A's voice acquired by the microphone 170A of the HMD 120A. The avatar information may include information that specifies the avatar object 6A or the user 5A associated with the avatar object 6A, information that specifies the virtual space 11A in which the avatar object 6A exists, and the like. Information that specifies the avatar object 6A and the user 5A includes a user ID. A room ID can be cited as information for specifying the virtual space 11A in which the avatar object 6A exists. Processor 210A transmits the avatar information acquired as described above to
ステップS1310Bにおいて、HMDセット110Bにおけるプロセッサ210Bは、ステップS1310Aにおける処理と同様に、仮想空間11Bにおけるアバターオブジェクト6Bの動作を決定するためのアバター情報を取得し、サーバ600に送信する。同様に、ステップS1310Cにおいて、HMDセット110Cにおけるプロセッサ210Bは、仮想空間11Cにおけるアバターオブジェクト6Cの動作を決定するためのアバター情報を取得し、サーバ600に送信する。
In step S1310B, processor 210B in HMD set 110B acquires avatar information for determining the behavior of avatar object 6B in virtual space 11B, and transmits it to
ステップS1320において、サーバ600は、HMDセット110A、HMDセット110B、およびHMDセット110Cのそれぞれから受信したプレイヤ情報を一旦記憶する。サーバ600は、各アバター情報に含まれるユーザIDおよびルームID等に基づいて、共通の仮想空間11に関連付けられた全ユーザ(この例では、ユーザ5A~5C)のアバター情報を統合する。そして、サーバ600は、予め定められたタイミングで、統合したアバター情報を当該仮想空間11に関連付けられた全ユーザに送信する。これにより、同期処理が実行される。このような同期処理により、HMDセット110A、HMDセット110B、およびHMDセット110Cは、互いのアバター情報をほぼ同じタイミングで共有することができる。
In step S1320,
続いて、サーバ600から各HMDセット110A~110Cに送信されたアバター情報に基づいて、各HMDセット110A~110Cは、ステップS1330A~S1330Cの処理を実行する。ステップS1330Aの処理は、図11におけるステップS1180の処理に相当する。
Subsequently, each HMD set 110A to 110C executes the processes of steps S1330A to S1330C based on the avatar information transmitted from
ステップS1330Aにおいて、HMDセット110Aにおけるプロセッサ210Aは、仮想空間11Aにおける他のユーザ5B,5Cのアバターオブジェクト6B、アバターオブジェクト6Cの情報を更新する。具体的には、プロセッサ210Aは、HMDセット110Bから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間11におけるアバターオブジェクト6Bの位置および向き等を更新する。例えば、プロセッサ210Aは、メモリモジュール530に格納されたオブジェクト情報に含まれるアバターオブジェクト6Bの情報(位置および向き等)を更新する。同様に、プロセッサ210Aは、HMDセット110Cから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間11におけるアバターオブジェクト6Cの情報(位置および向き等)を更新する。 In step S1330A, the processor 210A in the HMD set 110A updates the information of the avatar objects 6B and 6C of the other users 5B and 5C in the virtual space 11A. Specifically, processor 210A updates the position, orientation, etc. of avatar object 6B in virtual space 11 based on movement information included in the avatar information transmitted from HMD set 110B. For example, the processor 210A updates the information (position, orientation, etc.) of the avatar object 6B included in the object information stored in the memory module 530. Similarly, the processor 210A updates the information (position, orientation, etc.) of the avatar object 6C in the virtual space 11 based on the movement information included in the avatar information transmitted from the HMD set 110C.
ステップS1330Bにおいて、HMDセット110Bにおけるプロセッサ210Bは、ステップS1330Aにおける処理と同様に、仮想空間11Bにおけるユーザ5A,5Cのアバターオブジェクト6A,6Cの情報を更新する。同様に、ステップS1330Cにおいて、HMDセット110Cにおけるプロセッサ210Cは、仮想空間11Cにおけるユーザ5A,5Bのアバターオブジェクト6A,6Bの情報を更新する。 In step S1330B, processor 210B in HMD set 110B updates information on avatar objects 6A and 6C of users 5A and 5C in virtual space 11B, similar to the process in step S1330A. Similarly, in step S1330C, the processor 210C in the HMD set 110C updates the information of the avatar objects 6A, 6B of the users 5A, 5B in the virtual space 11C.
次に、図14~図20を参照することで、本実施形態に係るプログラムにおける360度コンテンツの配信処理の流れを説明する。図14は、360度コンテンツの配信処理の流れを示すシーケンスチャートである。図15、図17、および図18は、ユーザ側に配信される360度コンテンツの一例を示す図である。図16は、360度コンテンツに透かし情報が埋め込まれる処理を説明するための模式図であり、図19は、埋め込まれた透かし情報を打ち消す処理を説明するための模式図である。図20は、360度コンテンツに埋め込まれる透かし情報がオフセットされた状態を示す図である。 Next, the flow of the 360-degree content distribution process in the program according to this embodiment will be explained with reference to FIGS. 14 to 20. FIG. 14 is a sequence chart showing the flow of 360-degree content distribution processing. FIG. 15, FIG. 17, and FIG. 18 are diagrams showing examples of 360-degree content distributed to the user side. FIG. 16 is a schematic diagram for explaining the process of embedding watermark information in 360-degree content, and FIG. 19 is a schematic diagram for explaining the process of canceling the embedded watermark information. FIG. 20 is a diagram showing a state in which watermark information embedded in 360-degree content is offset.
図14に示されるように、HMDセット110AのHMD120を装着したユーザ5Aが360度コンテンツを視聴するために視聴用アプリケーションのインストールを要求する入力操作を行うと、ステップS1431において、HMDセット110Aにおけるプロセッサ210Aは、360度コンテンツ視聴用アプリケーションのインストール要求信号をサーバ600へ送信する。
As shown in FIG. 14, when the user 5A wearing the HMD 120 of the HMD set 110A performs an input operation requesting installation of a viewing application in order to view 360-degree content, in step S1431, the processor of the HMD set 110A 210A transmits an installation request signal for a 360-degree content viewing application to the
ステップS1432において、サーバ600(情報処理装置の一例)は、HMDセット110Aから受信したインストール要求信号に基づいて、360度コンテンツ視聴用アプリケーションに関する情報(以下、アプリケーション情報と称す)をストレージ630から読み出す。アプリケーション情報には、360度コンテンツ視聴用アプリケーションの実体ファイルや、当該アプリケーションを取得するために必要な通信プロトコル、ロケーション情報等が含まれている。 In step S1432, the server 600 (an example of an information processing device) reads information regarding the 360-degree content viewing application (hereinafter referred to as application information) from the storage 630 based on the installation request signal received from the HMD set 110A. The application information includes the actual file of the 360-degree content viewing application, the communication protocol necessary to obtain the application, location information, and the like.
また、アプリケーション情報には、アプリケーションを介して配信される360度コンテンツに埋め込まれる透かし情報を打ち消すための方法に関する情報(以下、打消し情報と称す)や、透かし情報が埋め込まれる位置に関連付けられた基準位置に関する情報(以下、基準位置情報と称す)が含まれている。打消し情報には、例えば、透かし情報を打ち消すためのアルゴリズムやパラメータなどが含まれ得る。打消し情報は、単一の打消し方法を含んでもよく、複数の打消し方法を含んでもよい。基準位置情報は、例えば、360度コンテンツの座標系における特定の座標値を含む。基準位置は、HMD120に表示される360度コンテンツの初期の視界画像内に含まれる座標値であることが好ましい。 The application information also includes information on a method for canceling watermark information embedded in 360-degree content distributed via the application (hereinafter referred to as cancellation information), and information associated with the position where the watermark information is embedded. Information regarding the reference position (hereinafter referred to as reference position information) is included. The cancellation information may include, for example, algorithms and parameters for canceling the watermark information. The cancellation information may include a single cancellation method or a plurality of cancellation methods. The reference position information includes, for example, specific coordinate values in the coordinate system of the 360-degree content. It is preferable that the reference position is a coordinate value included in the initial view image of the 360-degree content displayed on the HMD 120.
ステップS1433において、サーバ600は、打消し情報や基準位置情報を含むアプリケーション情報をHMDセット110Aに配信する。
In step S1433, the
ステップS1434において、HMDセット110Aにおけるプロセッサ210Aは、サーバ600からHMDセット110Aに配信されたアプリケーション情報に基づいて、360度コンテンツ視聴用アプリケーションをインストールするとともに、打消し情報や基準位置情報を取得する。これにより、HMD120を装着するユーザ5Aは、インストールされたアプリケーションを実行することによりHMD120に表示されるプラットフォーム画像を介して配信された所望の360度コンテンツを視聴することが可能となる。図示は省略するが、具体的には、プラットフォーム画像には、サーバ600のストレージ630に格納された複数の視聴用360度動画コンテンツの概要画像(サムネイル)が関連付けられている。対応するサムネイルがプラットフォーム画像に関連付けられた各視聴用360度動画コンテンツは、ユーザ5Aが視聴のために選択可能なコンテンツの候補(候補動画コンテンツ)である。ユーザ5Aは、サムネイルの選択を通じて、当該サムネイルに対応する候補動画コンテンツを選択することができる。サムネイルの選択は、ユーザ5Aの視線方向が所定時間以上特定のサムネイルに向けられたことにより実行されてもよく、ユーザ5Aによるコントローラ300の操作により実行されてもよい。
In step S1434, the processor 210A in the HMD set 110A installs the 360-degree content viewing application based on the application information distributed from the
ステップS1435において、プロセッサ210Aは、ユーザ5Aによる入力操作に基づいて、対象となるサムネイルを特定し、複数の候補動画コンテンツのうち特定したサムネイルに関連付けられた360度動画コンテンツの視聴を要求するための信号(以下、視聴要求信号とする)をサーバ600へ送信する。
In step S1435, the processor 210A specifies the target thumbnail based on the input operation by the user 5A, and requests viewing of the 360-degree video content associated with the specified thumbnail from among the plurality of candidate video contents. A signal (hereinafter referred to as a viewing request signal) is transmitted to the
ステップS1436において、サーバ600は、HMDセット110Aから受信した視聴要求信号に基づいて、ストレージ630に格納された複数の360度動画コンテンツのうち対象の360度動画コンテンツを特定する。図15は、ステップS1436で特定された360度動画コンテンツの初期の視界画像1561を示す。図15に示すポイント1562は、360度動画コンテンツの座標系において設定される基準位置を示す。説明のため、図15では基準位置(ポイント)1562を視認可能な状態で図示しているが、実際の視界画像には基準位置1562は表示されない。
In step S1436, the
ステップS1437において、サーバ600は、360度動画コンテンツに透かし情報を埋め込む。透かし情報は、可逆性を持つ方法で360度動画コンテンツの色変換を行うことで電子透かしとして埋め込まれる。図16に示すように、透かし情報は、360度動画コンテンツの視界画像1561に対して所定形状(例えば、360度動画コンテンツの真正な出所を示すためのロゴ1663)で色情報を加算することにより埋め込まれてもよい。360度動画コンテンツの色彩がRGB値により指定されている場合に、例えば、基準位置1562を含む領域においてロゴ1663の形状でB値を+100にすることで、ロゴ1663とロゴ1663以外の部分とで色を変化させることができる。透かし情報をロゴ1663で表現することで、再生中の360度動画コンテンツにロゴ1663が表示されると、ロゴ1663を視認した視聴者が再生中の360度動画コンテンツの真正な出所を認識することができる。
In step S1437, the
図17は、ロゴ1663が埋め込まれた状態の360度動画コンテンツの初期の視界画像1761の一例を示す。上述の通り、ロゴ1663が埋め込まれる位置は、ステップS1433においてサーバ600からHMDセット110Aに配信されるアプリケーション情報に含まれる基準位置情報(例えば、基準位置1562)に関連付けられている。図17に示す例においては、ロゴ1663は360度動画コンテンツの基準位置1562に埋め込まれるが、基準位置1562から所定距離だけオフセットされた位置に埋め込まれるようにしてもよい。
FIG. 17 shows an example of an
また、ロゴ1663は、ユーザ5Aによる360度動画コンテンツの視界画像1761の閲覧を阻害しないような位置または大きさで埋め込まれていることが好ましい。具体的には、図17に示すように、ロゴ1663は、360度動画コンテンツの初期の視界画像1761における下方領域に配置されていることが好ましい。ロゴ1663が埋め込まれた360度動画コンテンツが不正複製された場合でなくとも、例えば、真正な権利者から配信された360度動画コンテンツを汎用のブラウザで閲覧したような場合には、電子透かしとして埋め込まれたロゴ1663を打ち消すことができない。そのため、360度動画コンテンツの閲覧を阻害しないような位置や大きさでロゴ1663を埋め込むことが好ましい。
Further, it is preferable that the
上述の通り、ロゴ1663は360度動画コンテンツにおける特定の座標値に埋め込まれた後に、HMDセット110Aへロゴ1663が埋め込まれた状態の360度動画コンテンツが配信される。そのため、例えば、HMD120を装着したユーザ5Aの頭部の向きに応じて仮想視点(視界領域)が変化した場合には、図18の視界画像1817に示すように、視界画像内におけるロゴ1663の表示位置も変化する。すなわち、ロゴ1663は、視界画像内の特定領域に固定表示されるものではなく、仮想視点の変化に応じて、視界画像から外れて視認できなくなる場合もあり得る。
As described above, after the
ステップS1438において、サーバ600は、ロゴ1663が埋め込まれた360度動画コンテンツのデータと、360度動画コンテンツの座標系におけるロゴ1663の埋め込み位置に関する情報(以下、埋め込み位置情報と称す)とをHMDセット110Aのプロセッサ210Aへ配信する。
In step S1438, the
ステップS1439において、HMDセット110Aのプロセッサ210Aは、サーバ600から取得した360度動画コンテンツのデータおよび埋め込み位置情報に基づき、ロゴ1663の埋め込み位置が、ステップS1434で取得した基準位置情報に含まれる基準位置1562と一致しているか否かを判定する。
In step S1439, the processor 210A of the HMD set 110A determines, based on the 360-degree video content data and embedding position information acquired from the
ロゴ1663の埋め込み位置が基準位置1562と一致していると判定された場合には(ステップS1439のYES)、ステップS1441において、プロセッサ210Aは、ステップS1434にて取得した打消し情報に基づいて、360度動画コンテンツの基準位置1562に埋め込まれているロゴ1663を打ち消す。
If it is determined that the embedding position of the
打消し情報は、例えば、360度動画コンテンツに対して色変換により埋め込まれたロゴ1663に対して反対の変換(逆変換)を行う旨の情報を含んでいる。したがって、プロセッサ210Aは、360度動画コンテンツの基準位置1562に埋め込まれたロゴ1663の色情報を減算することによりロゴ1663を打ち消す。具体的には、図19に示すように、プロセッサ210Aは、ロゴ1663に対して、色彩を構成するRGB値のうちB値を-100にすることで、ロゴ1663の色を変化させる(すなわち、360度動画コンテンツ1561にロゴ1663が埋め込まれる前の状態に戻す)。このように、本ステップにおいて、可逆性を持つ色変換処理の逆変換を行うことにより、360度動画コンテンツに埋め込まれた電子透かしとしてのロゴ1663を打ち消すことができる。
The cancellation information includes, for example, information to perform the opposite conversion (inverse conversion) on the
ステップS1442において、プロセッサ210Aは、ロゴ1663が打ち消された状態の360度動画コンテンツの初期の視界画像をHMD120のモニタ130に表示する。本ステップにおいてHMD120で表示される視界画像には、図15に示す360度動画コンテンツの初期の視界画像1561と同様に、ロゴ1663が表示されない。
In step S1442, the processor 210A displays an initial view image of the 360-degree video content with the
一方、ステップS1439にてロゴ1663の埋め込み位置が基準位置1562と一致していないと判定された場合には(ステップS1439のNO)、ステップS1443において、プロセッサ210Aは、基準位置1562に対するロゴ1663の埋め込み位置のオフセット量を特定する。例えば、図20に示すように、ロゴ1663が基準位置1562に対して距離2062だけオフセットされている場合には、プロセッサ210Aは、基準位置1562に対するロゴ1663のオフセット量を360度動画コンテンツの座標系に関連付けて特定する。
On the other hand, if it is determined in step S1439 that the embedding position of the
ステップS1444において、プロセッサ210Aは、特定されたオフセット量に基づいて、基準位置1562から距離2062だけオフセットされた位置に埋め込まれているロゴ1663を打ち消す。ロゴ1663の打消し方法については、ステップS1441と同様に、打消し情報に基づいて指定される。そして、プロセッサ210Aは、ロゴ1663が打ち消された状態の360度動画コンテンツをHMD120で再生する(ステップS1442)。この場合も、HMD120で表示される視界画像には、図15に示す360度動画コンテンツの初期の視界画像1561と同様に、ロゴ1663が表示されない。
In step S1444, processor 210A cancels
次に、360度動画コンテンツ視聴用のアプリケーションをインストールしていない外部機器700が、透かし情報が埋め込まれた360度動画コンテンツのデータをサーバ600から不正搾取する場合について、図14を参照して説明する。ステップS1451において、外部機器700は、ロゴ1663が埋め込まれた360度動画コンテンツのデータを不正複製する。例えば、外部機器700は、サーバ600に記憶されている360度動画コンテンツのデータを不正複製ツール等により搾取する。
Next, a case will be described with reference to FIG. 14 about a case where the
ステップS1452において、外部機器700は、不正複製した360度動画コンテンツを再生する。この場合、外部機器700により再生される360度動画コンテンツの視界画像には、図17に示す視界画像1761のようにロゴ1663が表示される。そのため、外部機器700で再生される360度動画コンテンツの視界画像1761を見た視聴者は、当該360度動画コンテンツの真正な権利者の情報を示すロゴ1663を視認することで、当該360度動画コンテンツが不正複製されたものであることを認識することができる。
In step S1452, the
以上説明したように、本実施形態に係るプログラムによれば、HMDセット110Aのプロセッサ210Aは、透かし情報としてのロゴ1663が埋め込まれた360度動画コンテンツとロゴ1663の打消し情報をサーバ600から取得し、打消し情報に基づいてロゴ1663を打ち消した状態で360度動画コンテンツ(視界画像1561)を再生するように構成されている。ここで、透かし情報としてのロゴ1663は、360度動画コンテンツの少なくとも一部の情報を可逆的に変換したものである。一方で、360度動画コンテンツを不正搾取した外部機器700では、透かし情報であるロゴ1663が表示されたまま360度動画コンテンツ(視界画像1761)が再生される。この構成によれば、360度コンテンツが真正なアプリケーション等を介して取得された場合には、透かし情報が打ち消された状態で360度動画コンテンツが表示され、360度動画コンテンツが不正複製された場合には透かし情報が打ち消されることなく360度動画コンテンツが表示される。これにより、再生された360度動画コンテンツが不正複製されたものであるか否かを、ユーザ(視聴者)が容易に認識することができる。
As explained above, according to the program according to the present embodiment, the processor 210A of the HMD set 110A acquires the 360-degree video content in which the
また、本実施形態に係るプログラムにおいて、プロセッサ210Aは、360度動画コンテンツの座標系に関連付けられた基準位置1562を所定のタイミングでサーバ600から取得し、基準位置1562に関連付けられた位置に埋め込まれたロゴ1663を打ち消すように構成されている。この構成によれば、プロセッサ210Aは、ロゴ1663が埋め込まれた基準位置1562を360度動画コンテンツの配信側であるサーバ600と共有することで、ロゴ1663の打消し処理を容易かつ確実に行うことができる。
Further, in the program according to the present embodiment, the processor 210A acquires the
また、本実施形態に係るプログラムにおいて、プロセッサ210Aは、基準位置1562に関連付けられたオフセット情報を所定のタイミングでサーバ600から取得し、オフセット情報に基づいて、基準位置1562からオフセットされた位置に埋め込まれたロゴ1663を打ち消すように構成されていてもよい。このように、ロゴ1663の埋め込み位置を基準位置1562からオフセットさせることで、360度動画コンテンツが不正複製された場合にロゴ1663が容易に打ち消されないような対策を講じることができる。
Furthermore, in the program according to the present embodiment, the processor 210A acquires offset information associated with the
なお、360度動画コンテンツの再生時間の経過に伴い、基準位置1562に対するロゴ1663のオフセット位置が変化するようにしてもよい。例えば、360度動画コンテンツの再生が進むにつれて、基準位置1562から離れるように、ロゴ1663が仮想空間の水平方向に沿って移動するようにしてもよい。これにより、不正複製された360度動画コンテンツにおけるロゴ1663の打消し防止対策をより確実に講じることができる。
Note that the offset position of the
また、本実施形態に係るプログラムにおいて、プロセッサ210Aは、ロゴ1663を打ち消すための方法に関する打消し情報を所定のタイミングでサーバ600から取得し、取得した打消し情報に基づいてロゴ1663を打ち消すように構成されている。この構成によれば、打消し情報が不正搾取されない限り、ロゴ1663が容易に打ち消されることがなく、不正複製された360度動画コンテンツにおけるロゴ1663の打消し防止対策をより確実に講じることができる。
Furthermore, in the program according to the present embodiment, the processor 210A acquires cancellation information regarding a method for canceling the
なお、プロセッサ210Aは、ロゴ1663を打ち消すための打消し情報として複数の打消し方法に関する情報をサーバ600から取得し、複数の打消し方法のうち特定の打消し方法を指定する指定情報を所定のタイミングでサーバ600から取得して、指定情報に基づいて指定された特定の打消し方法によりロゴ1663を打ち消すように構成されてもよい。例えば、360度動画コンテンツの色彩を構成するRGB値のうちB値を加減算する方法に加えて、R値やG値を加減算する方法を採用してもよい。この場合、ステップS1438においてサーバ600からHMDセット110Aへ360度動画コンテンツのデータを配信する際に、ロゴ1663の埋め込み方法(RGB値のうちどの色情報を減算すべきか)に関する情報も併せて配信し、配信された埋め込み方法に基づいてプロセッサ210Aはロゴ1663を適切に打ち消すことができる。このように、サーバ600とHMDセット110Aとで複数の打消し方法を共有し、複数の打消し方法から所定の打消し方法を適宜選択することで、360度動画コンテンツが不正複製された場合にロゴ1663が容易に打ち消されないような対策をより確実に講じることができる。
Note that the processor 210A obtains information regarding a plurality of cancellation methods from the
なお、不正複製対策を強化するために、360度動画コンテンツの再生時間の経過に伴い、打消し方法の指定情報が変化するように構成されていてもよい。例えば、再生時間の経過に伴い、色情報の変換値を変化させることができる。具体的には、再生時間が進むにつれて、B値の変換値を+100から徐々に大きく、または徐々に小さくしていくような方法が考えられる。また、再生時間の経過に伴い、ロゴ1663の大きさを変化させてもよい。
Note that, in order to strengthen countermeasures against unauthorized duplication, the designation information of the cancellation method may be configured to change as the playback time of the 360-degree video content passes. For example, the conversion value of color information can be changed as the playback time passes. Specifically, a method can be considered in which the converted value of the B value is gradually increased or decreased from +100 as the reproduction time progresses. Furthermore, the size of the
なお、上記の実施形態においては、360度動画コンテンツの初期の視界画像1761に対して1つのロゴ1663のみが埋め込まれている例を説明しているが、この例に限られない。例えば、不正搾取された360度動画コンテンツの視界画像(例えば、外部機器700がタブレット端末やスマートフォンである場合はこれらの機器の表示画面)よりも狭い間隔で複数のロゴ1663が360度動画コンテンツに埋め込まれていてもよい。この構成によれば、360度動画コンテンツの視界画像が変化しても、少なくとも1つのロゴ1663を視界画像内に確実に表示させることができる。そのため、不正複製対策を強化することができる。
Note that in the above embodiment, an example is described in which only one
また、本実施形態に係るプログラムにおいて、サーバ600は、視聴要求信号に基づいて特定の360度動画コンテンツを取得し(記憶部620から読出し)、360度動画コンテンツに透かし情報としてのロゴ1663を埋め込み、ロゴ1663が埋め込まれた360度動画コンテンツをHMDセット110Aへ配信するように構成されている。この構成によれば、複製された360度動画コンテンツが不正なものであるか否かを容易に判断可能なプログラムを提供することができる。
Furthermore, in the program according to the present embodiment, the
上記実施形態においては、HMD120によってユーザが没入する仮想空間(VR空間)を例示して説明したが、HMDとして、透過型のHMDを採用してもよい。この場合、透過型のHMDを介してユーザが視認する現実空間に仮想空間を構成する画像の一部を合成した視界画像を出力することにより、拡張現実(AR:Augumented Reality)空間または複合現実(MR:Mixed Reality)空間における仮想体験をユーザに提供してもよい。この場合、操作オブジェクトに代えて、ユーザの手の動きに基づいて、仮想空間内における対象オブジェクトへの作用を生じさせてもよい。具体的には、プロセッサは、現実空間におけるユーザの手の位置の座標情報を特定するとともに、仮想空間内における対象オブジェクトの位置を現実空間における座標情報との関係で定義してもよい。これにより、プロセッサは、現実空間におけるユーザの手と仮想空間における対象オブジェクトとの位置関係を把握し、ユーザの手と対象オブジェクトとの間で上述したコリジョン制御等に対応する処理を実行可能となる。その結果、ユーザの手の動きに基づいて対象オブジェクトに作用を与えることが可能となる。 In the above embodiment, the virtual space (VR space) in which the user is immersed by the HMD 120 has been described as an example, but a transmissive HMD may be adopted as the HMD. In this case, an augmented reality (AR) space or a mixed reality (AR) space or mixed reality (AR) space or mixed reality ( A virtual experience in an MR (Mixed Reality) space may be provided to the user. In this case, an effect on the target object in the virtual space may be caused based on the movement of the user's hand instead of the operation object. Specifically, the processor may specify the coordinate information of the position of the user's hand in the real space, and define the position of the target object in the virtual space in relation to the coordinate information in the real space. This enables the processor to grasp the positional relationship between the user's hand in real space and the target object in virtual space, and execute processing corresponding to the above-mentioned collision control etc. between the user's hand and the target object. . As a result, it becomes possible to apply an action to the target object based on the user's hand movements.
以上、本開示の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲及びその均等の範囲に基づいて定められるべきである。 Although the embodiments of the present disclosure have been described above, the technical scope of the present invention should not be interpreted to be limited by the description of the present embodiments. This embodiment is an example, and those skilled in the art will understand that various changes can be made within the scope of the invention as set forth in the claims. The technical scope of the present invention should be determined based on the scope of the invention described in the claims and the scope of equivalents thereof.
[付記事項]
本開示の内容を列記すると以下の通りである。
[Additional notes]
The contents of the present disclosure are listed below.
(項目1)
透かし情報が埋め込まれた360度コンテンツを取得するステップと、
前記透かし情報を打ち消した状態で前記360度コンテンツを再生するステップと、をコンピュータに実行させるためのプログラムであって、
前記透かし情報は、前記360度コンテンツの少なくとも一部の情報を可逆的に変換したものである、プログラム。
この構成によれば、再生中の360度コンテンツが不正複製されたものであるか否かを容易に判断可能なプログラムを提供することができる。
(Item 1)
obtaining 360-degree content with embedded watermark information;
A program for causing a computer to execute a step of reproducing the 360-degree content with the watermark information canceled,
The program, wherein the watermark information is obtained by reversibly converting at least part of information of the 360-degree content.
According to this configuration, it is possible to provide a program that can easily determine whether or not the 360-degree content being reproduced has been illegally copied.
(項目2)
前記360度コンテンツの座標系に関連付けられた基準位置を所定のタイミングで取得するステップをさらに前記コンピュータに実行させ、
前記再生するステップでは、前記基準位置に関連付けられた位置に埋め込まれた前記透かし情報を打ち消す、項目1に記載のプログラム。
この構成によれば、透かし情報が埋め込まれた基準位置を360度コンテンツの配信側と共有することで、透かし情報の打消し処理を容易かつ確実に行うことができる。
(Item 2)
further causing the computer to execute a step of acquiring a reference position associated with the coordinate system of the 360-degree content at a predetermined timing;
The program according to item 1, wherein in the step of reproducing, the watermark information embedded in a position associated with the reference position is canceled.
According to this configuration, by sharing the reference position in which the watermark information is embedded with the 360-degree content distribution side, it is possible to easily and reliably cancel the watermark information.
(項目3)
前記基準位置に関連付けられたオフセット情報を所定のタイミングで取得するステップをさらに前記コンピュータに実行させ、
前記再生するステップでは、前記オフセット情報に基づいて、前記基準位置からオフセットされた位置に埋め込まれた前記透かし情報を打ち消す、項目2に記載のプログラム。
(Item 3)
further causing the computer to execute a step of acquiring offset information associated with the reference position at a predetermined timing;
The program according to item 2, wherein in the reproducing step, the watermark information embedded in a position offset from the reference position is canceled based on the offset information.
(項目4)
前記360度コンテンツの再生時間の経過に伴い、前記オフセットされた位置が変化する、項目3に記載のプログラム。
(Item 4)
The program according to item 3, wherein the offset position changes as the playback time of the 360-degree content changes.
(項目5)
前記透かし情報を打ち消すための方法に関する打消し情報を所定のタイミングで取得するステップをさらに前記コンピュータに実行させ、
前記再生するステップでは、前記打消し情報に基づいて前記透かし情報を打ち消す、項目1から項目4のいずれかに記載のプログラム。
(Item 5)
further causing the computer to execute a step of acquiring cancellation information regarding a method for canceling the watermark information at a predetermined timing;
The program according to any one of items 1 to 4, wherein in the step of reproducing, the watermark information is canceled based on the cancellation information.
(項目6)
前記透かし情報を打ち消すための複数の打消し方法に関する打消し情報と、前記複数の打消し方法のうち特定の打消し方法を指定する指定情報とを所定のタイミングで取得するステップをさらに前記コンピュータに実行させ、
前記再生するステップでは、前記打消し情報および前記指定情報に基づいて前記特定の打消し方法により前記透かし情報を打ち消す、項目1から項目4のいずれかに記載のプログラム。
(Item 6)
The computer further includes a step of acquiring at a predetermined timing cancellation information regarding a plurality of cancellation methods for canceling the watermark information and designation information specifying a specific cancellation method among the plurality of cancellation methods. let it run,
The program according to any one of items 1 to 4, wherein in the step of reproducing, the watermark information is canceled by the specific cancellation method based on the cancellation information and the specified information.
(項目7)
前記360度コンテンツの再生時間の経過に伴い、前記指定情報が変化する、項目6に記載のプログラム。
(Item 7)
The program according to item 6, wherein the designation information changes as the playback time of the 360-degree content changes.
360度コンテンツが不正複製された場合に透かし情報が容易に打ち消されないような対策を講じるために、上記の項目3から7のような構成を採用することが好ましい。 In order to take measures to prevent watermark information from being easily canceled when 360-degree content is illegally copied, it is preferable to adopt configurations such as items 3 to 7 above.
(項目8)
前記透かし情報は、前記360度コンテンツの閲覧を阻害しないような位置または大きさで前記360度コンテンツに埋め込まれている、項目1から項目7のいずれかに記載のプログラム。
360度コンテンツが不正複製された場合以外であっても、例えば、汎用のブラウザで閲覧したような場合には透かし情報が打ち消せないため、このような場合には、透かし情報が360度コンテンツの閲覧を阻害しないように配置することが好ましい。
(Item 8)
The program according to any one of items 1 to 7, wherein the watermark information is embedded in the 360-degree content at a position or size that does not hinder viewing of the 360-degree content.
Even if the 360-degree content is not copied illegally, for example, if the watermark information is viewed using a general-purpose browser, the watermark information cannot be canceled. It is preferable to arrange it so as not to obstruct viewing.
(項目9)
前記360度コンテンツには、前記360度コンテンツが表示される画像表示装置の表示領域よりも狭い間隔で複数の前記透かし情報が埋め込まれている、項目1から項目8のいずれかに記載のプログラム。
この構成によれば、360度コンテンツの表示領域(例えば、画像表示装置がユーザの頭部に関連付けられたヘッドマウントデバイスである場合には、視界領域)が変化しても、常に透かし情報を表示領域内に表示させることができる。
(Item 9)
The program according to any one of items 1 to 8, wherein a plurality of the watermark information is embedded in the 360-degree content at intervals narrower than a display area of an image display device on which the 360-degree content is displayed.
According to this configuration, even if the display area of the 360-degree content (for example, the viewing area if the image display device is a head-mounted device associated with the user's head) changes, the watermark information is always displayed. It can be displayed within the area.
(項目10)
前記透かし情報は、前記360度コンテンツの所有者に関連付けられたロゴの形状で前記360度コンテンツに埋め込まれている、項目1から項目9のいずれかに記載のプログラム。
この構成によれば、360度コンテンツが不正複製された場合に、当該360度コンテンツの出所表示機能を発揮させることができる。
(Item 10)
The program according to any one of items 1 to 9, wherein the watermark information is embedded in the 360-degree content in the shape of a logo associated with the owner of the 360-degree content.
According to this configuration, when the 360-degree content is illegally copied, the function of displaying the origin of the 360-degree content can be performed.
(項目11)
プロセッサを備えた情報処理装置であって、
透かし情報が埋め込まれた360度コンテンツを取得するステップと、
前記透かし情報を打ち消した状態で前記360度コンテンツを再生するステップと、
が前記プロセッサの制御により実行され、
前記透かし情報は、前記360度コンテンツの少なくとも一部の情報を可逆的に変換したものである、情報処理装置。
(Item 11)
An information processing device including a processor,
obtaining 360-degree content with embedded watermark information;
reproducing the 360-degree content with the watermark information canceled;
is executed under the control of the processor,
The information processing apparatus, wherein the watermark information is obtained by reversibly converting at least part of information of the 360-degree content.
(項目12)
コンピュータによって実行される情報処理方法であって、
透かし情報が埋め込まれた360度コンテンツを取得するステップと、
前記透かし情報を打ち消した状態で前記360度コンテンツを再生するステップと、
を含み、
前記透かし情報は、前記360度コンテンツの少なくとも一部の情報を可逆的に変換したものである、情報処理方法。
(Item 12)
An information processing method performed by a computer, the method comprising:
obtaining 360-degree content with embedded watermark information;
reproducing the 360-degree content with the watermark information canceled;
including;
The information processing method, wherein the watermark information is obtained by reversibly converting at least part of information of the 360-degree content.
(項目13)
360度コンテンツを取得するステップと、
前記360度コンテンツに透かし情報を埋め込むステップと、
前記360度コンテンツを配信するステップと、をコンピュータに実行させるためのプログラムであって、
前記透かし情報は、前記360度コンテンツの少なくとも一部の情報を可逆的に変換したものである、プログラム。
この構成によれば、再生中の360度コンテンツが不正複製されたものであるか否かを容易に判断可能なプログラムを提供することができる。
(Item 13)
acquiring 360 degree content;
embedding watermark information in the 360 degree content;
A program for causing a computer to execute the step of distributing the 360-degree content,
The program, wherein the watermark information is obtained by reversibly converting at least part of information of the 360-degree content.
According to this configuration, it is possible to provide a program that can easily determine whether or not the 360-degree content being reproduced has been illegally copied.
(項目14)
前記360度コンテンツの座標系に関連付けられた基準位置を所定のタイミングで配信するステップをさらに前記コンピュータに実行させ、
前記透かし情報は、前記基準位置に関連付けられた位置に埋め込まれている、項目13に記載のプログラム。
この構成によれば、透かし情報が埋め込まれた基準位置を360度コンテンツの再生側と共有することで、透かし情報の打消し処理を容易かつ確実に行うことができる。
(Item 14)
further causing the computer to execute a step of distributing a reference position associated with the coordinate system of the 360-degree content at a predetermined timing;
14. The program according to item 13, wherein the watermark information is embedded in a position associated with the reference position.
According to this configuration, by sharing the reference position in which the watermark information is embedded with the 360-degree content playback side, it is possible to easily and reliably cancel the watermark information.
(項目15)
前記基準位置に関連付けられたオフセット情報を所定のタイミングで配信するステップをさらに前記コンピュータに実行させ、
前記透かし情報は、前記オフセット情報に関連付けられた位置に埋め込まれている、項目14に記載のプログラム。
(Item 15)
further causing the computer to execute a step of distributing offset information associated with the reference position at a predetermined timing;
15. The program according to item 14, wherein the watermark information is embedded in a position associated with the offset information.
(項目16)
前記360度コンテンツの再生時間の経過に伴い、前記オフセット情報が変化する、項目15に記載のプログラム。
(Item 16)
The program according to item 15, wherein the offset information changes as the playback time of the 360-degree content changes.
(項目17)
前記透かし情報を打ち消すための方法に関する打消し情報を所定のタイミングで配信するステップをさらに前記コンピュータに実行させる、項目13から項目16のいずれかに記載のプログラム。
(Item 17)
The program according to any one of items 13 to 16, further causing the computer to execute a step of distributing cancellation information regarding a method for canceling the watermark information at a predetermined timing.
(項目18)
前記透かし情報を打ち消すための複数の打消し方法に関する打消し情報と、前記複数の打消し方法のうち特定の打消し方法を指定する指定情報とを所定のタイミングで配信するステップをさらに前記コンピュータに実行させる、項目13から項目16のいずれかに記載のプログラム。
(Item 18)
Further, the step of distributing to the computer at a predetermined timing cancellation information regarding a plurality of cancellation methods for canceling the watermark information and designation information specifying a specific cancellation method among the plurality of cancellation methods. The program according to any one of items 13 to 16 to be executed.
(項目19)
前記360度コンテンツの再生時間の経過に伴い、前記指定情報が変化する、項目18に記載のプログラム。
(Item 19)
The program according to item 18, wherein the designation information changes as the playback time of the 360-degree content changes.
360度コンテンツが不正複製された場合に透かし情報が容易に打ち消されないような対策を講じるために、上記の項目15から19のような構成を採用することが好ましい。 In order to take measures to prevent watermark information from being easily canceled when 360-degree content is illegally copied, it is preferable to adopt configurations such as items 15 to 19 above.
(項目20)
前記透かし情報は、前記360度コンテンツの閲覧を阻害しないような位置または大きさで前記360度コンテンツに埋め込まれている、項目13から項目19のいずれかに記載のプログラム。
360度コンテンツが不正複製された場合以外であっても、例えば、汎用ブラウザ閲覧等の場合には透かし情報が打ち消せないため、このような場合には、透かし情報が360度コンテンツの閲覧を阻害しないように配置することが好ましい。
(Item 20)
The program according to any one of items 13 to 19, wherein the watermark information is embedded in the 360-degree content at a position or size that does not obstruct viewing of the 360-degree content.
Even in cases other than when 360-degree content is illegally copied, for example, watermark information cannot be canceled when viewed using a general-purpose browser, so in such cases, watermark information may impede viewing of 360-degree content. It is preferable to arrange it so that it does not occur.
(項目21)
前記360度コンテンツには、前記360度コンテンツが表示される画像表示装置の表示領域よりも狭い間隔で複数の前記透かし情報が埋め込まれている、項目13から項目20のいずれかに記載のプログラム。
この構成によれば、360度コンテンツの表示領域(例えば、画像表示装置がユーザの頭部に関連付けられたヘッドマウントデバイスである場合には、視界領域)が変化しても、常に透かし情報を表示領域内に表示させることができる。
(Item 21)
The program according to any one of items 13 to 20, wherein a plurality of the watermark information is embedded in the 360-degree content at intervals narrower than a display area of an image display device in which the 360-degree content is displayed.
According to this configuration, even if the display area of the 360-degree content (for example, the viewing area if the image display device is a head-mounted device associated with the user's head) changes, the watermark information is always displayed. It can be displayed within the area.
(項目22)
前記透かし情報は、前記360度コンテンツの所有者に関連付けられたロゴの形状で前記360度コンテンツに埋め込まれている、項目13から項目21のいずれかに記載のプログラム。
この構成によれば、360度コンテンツが不正複製された場合に、当該360度コンテンツの出所表示機能を発揮させることができる。
(Item 22)
The program according to any one of items 13 to 21, wherein the watermark information is embedded in the 360-degree content in the shape of a logo associated with the owner of the 360-degree content.
According to this configuration, when the 360-degree content is illegally copied, the function of displaying the origin of the 360-degree content can be performed.
(項目23)
プロセッサを備えた情報処理装置であって、
360度コンテンツを取得するステップと、
前記360度コンテンツに透かし情報を埋め込むステップと、
前記360度コンテンツを配信するステップと、が前記プロセッサの制御により実行され、
前記透かし情報は、前記360度コンテンツの少なくとも一部の情報を可逆的に変換したものである、情報処理装置。
(Item 23)
An information processing device including a processor,
acquiring 360 degree content;
embedding watermark information in the 360 degree content;
the step of distributing the 360-degree content is performed under the control of the processor;
The information processing apparatus, wherein the watermark information is obtained by reversibly converting at least part of information of the 360-degree content.
(項目24)
コンピュータによって実行される情報処理方法であって、
360度コンテンツを取得するステップと、
前記360度コンテンツに透かし情報を埋め込むステップと、
前記360度コンテンツを配信するステップと、
を含み、
前記透かし情報は、前記360度コンテンツの少なくとも一部の情報を可逆的に変換したものである、情報処理方法。
(Item 24)
An information processing method performed by a computer, the method comprising:
acquiring 360 degree content;
embedding watermark information in the 360 degree content;
delivering the 360 degree content;
including;
The information processing method, wherein the watermark information is obtained by reversibly converting at least part of information of the 360-degree content.
2:ネットワーク
11:仮想空間
13:パノラマ画像
14:仮想カメラ
15:視界領域
17:視界画像
100:HMDシステム
110:HMDセット
120:HMD
130:モニタ
140:注視センサ
150:第1カメラ
160:第2カメラ
170:マイク
180:スピーカ
200:コンピュータ
210:プロセッサ
220:メモリ
230:ストレージ
240:入出力インターフェイス
250:通信インターフェイス
300:コントローラ
310:グリップ
320:フレーム
330:天面
340、350、370、380:ボタン
360:赤外線LED
390:アナログスティック
410:HMDセンサ
420:モーションセンサ
430:ディスプレイ
510:コントロールモジュール
520:レンダリングモジュール
530:メモリモジュール
540:通信制御モジュール
600:サーバ
700:外部機器
1561:初期の視界画像
1562:基準位置
1663:ロゴ
2: Network 11: Virtual space 13: Panoramic image 14: Virtual camera 15: Viewing area 17: Viewing image 100: HMD system 110: HMD set 120: HMD
130: Monitor 140: Gaze sensor 150: First camera 160: Second camera 170: Microphone 180: Speaker 200: Computer 210: Processor 220: Memory 230: Storage 240: Input/output interface 250: Communication interface 300: Controller 310: Grip 320: Frame 330: Top surface 340, 350, 370, 380: Button 360: Infrared LED
390: Analog stick 410: HMD sensor 420: Motion sensor 430: Display 510: Control module 520: Rendering module 530: Memory module 540: Communication control module 600: Server 700: External device 1561: Initial view image 1562: Reference position 1663 :logo
Claims (21)
前記透かし情報を打ち消した状態で前記仮想現実コンテンツを再生する手段と、をコンピュータに実行させるためのプログラムであって、
前記透かし情報は、前記仮想現実コンテンツの少なくとも一部の情報を可逆的に変換したものであり、
前記再生する手段では、前記仮想現実コンテンツの一部である視界画像を画像表示装置の表示領域に表示し、
前記画像表示装置に対するユーザの動作または操作に応じて、前記仮想現実コンテンツのうち、前記視界画像に含まれる視界領域が変化し、
前記視界領域が変化する場合、前記表示領域における前記透かし情報の位置が変化し、
前記仮想現実コンテンツには、前記表示領域よりも狭い間隔で複数の前記透かし情報が埋め込まれている、
プログラム。 means for obtaining virtual reality content embedded with watermark information;
A program for causing a computer to execute a means for reproducing the virtual reality content with the watermark information canceled,
The watermark information is obtained by reversibly converting at least part of information of the virtual reality content,
The reproducing means displays a view image that is part of the virtual reality content in a display area of an image display device,
A viewing area included in the viewing image of the virtual reality content changes according to a user's movement or operation on the image display device,
When the viewing area changes, the position of the watermark information in the display area changes,
A plurality of the watermark information is embedded in the virtual reality content at intervals narrower than the display area.
program.
前記再生する手段では、前記基準位置に関連付けられた位置に埋め込まれた前記透かし情報が打ち消された前記仮想現実コンテンツを再生する、請求項1に記載のプログラム。 further causing the computer to execute means for acquiring a reference position associated with the coordinate system of the virtual reality content at a predetermined timing;
2. The program according to claim 1, wherein the reproducing means reproduces the virtual reality content in which the watermark information embedded in a position associated with the reference position has been canceled .
前記再生する手段では、前記オフセット情報に基づいて、前記基準位置からオフセットされた位置に埋め込まれた前記透かし情報が打ち消された前記仮想現実コンテンツを再生する、請求項2に記載のプログラム。 further causing the computer to execute means for acquiring offset information associated with the reference position at a predetermined timing;
3. The program according to claim 2, wherein the reproducing means reproduces the virtual reality content in which the watermark information embedded at a position offset from the reference position is canceled based on the offset information.
前記再生する手段では、前記打消し情報に基づいて前記透かし情報が打ち消された前記仮想現実コンテンツを再生する、請求項1から4のいずれか一項に記載のプログラム。 further causing the computer to execute means for acquiring cancellation information regarding a method for canceling the watermark information at a predetermined timing;
5. The program according to claim 1, wherein the reproducing means reproduces the virtual reality content with the watermark information canceled based on the cancellation information.
前記再生する手段では、前記打消し情報および前記指定情報に基づいて前記特定の打消し方法により前記透かし情報が打ち消された前記仮想現実コンテンツを再生する、請求項1から4のいずれか一項に記載のプログラム。 The computer further includes means for acquiring, at a predetermined timing, cancellation information regarding a plurality of cancellation methods for canceling the watermark information and designation information specifying a specific cancellation method among the plurality of cancellation methods. let it run,
5. The virtual reality content according to claim 1, wherein the reproduction means reproduces the virtual reality content in which the watermark information has been canceled by the specific cancellation method based on the cancellation information and the specified information. Programs listed.
透かし情報が埋め込まれた仮想現実コンテンツを取得する手段と、
前記透かし情報を打ち消した状態で前記仮想現実コンテンツを再生する手段と、を備え、
前記透かし情報は、前記仮想現実コンテンツの少なくとも一部の情報を可逆的に変換したものであり、
前記再生する手段は、前記仮想現実コンテンツの一部である視界画像を画像表示装置の表示領域に表示し、
前記画像表示装置に対するユーザの動作または操作に応じて、前記仮想現実コンテンツのうち、前記視界画像に含まれる視界領域が変化し、
前記視界領域が変化する場合、前記表示領域における前記透かし情報の位置が変化し、
前記仮想現実コンテンツには、前記表示領域よりも狭い間隔で複数の前記透かし情報が埋め込まれている、情報処理装置。 An information processing device,
means for obtaining virtual reality content embedded with watermark information;
means for reproducing the virtual reality content with the watermark information canceled;
The watermark information is obtained by reversibly converting at least part of information of the virtual reality content,
The reproducing means displays a view image that is part of the virtual reality content in a display area of an image display device,
A viewing area included in the viewing image of the virtual reality content changes according to a user's movement or operation on the image display device,
When the viewing area changes, the position of the watermark information in the display area changes,
An information processing apparatus , wherein a plurality of the watermark information is embedded in the virtual reality content at intervals narrower than the display area .
前記仮想現実コンテンツに透かし情報を埋め込む手段と、
前記仮想現実コンテンツを配信する手段と、をコンピュータに実行させるためのプログラムであって、
前記透かし情報は、前記仮想現実コンテンツの少なくとも一部の情報を可逆的に変換したものであり、
前記仮想現実コンテンツの一部である視界画像が画像表示装置の表示領域に表示され、
前記画像表示装置に対するユーザの動作または操作に応じて、前記仮想現実コンテンツのうち、前記視界画像に含まれる視界領域が変化し、
前記視界領域が変化する場合、前記表示領域における前記透かし情報の位置が変化し、
前記仮想現実コンテンツには、前記表示領域よりも狭い間隔で複数の前記透かし情報が埋め込まれている、プログラム。 a means for obtaining virtual reality content;
means for embedding watermark information in the virtual reality content;
A program for causing a computer to execute the means for distributing the virtual reality content,
The watermark information is obtained by reversibly converting at least part of information of the virtual reality content,
A view image that is part of the virtual reality content is displayed in a display area of an image display device,
A viewing area included in the viewing image of the virtual reality content changes according to a user's movement or operation on the image display device,
When the viewing area changes, the position of the watermark information in the display area changes,
A program , wherein a plurality of the watermark information is embedded in the virtual reality content at intervals narrower than the display area .
前記透かし情報は、前記基準位置に関連付けられた位置に埋め込まれている、請求項11に記載のプログラム。 further causing the computer to execute means for distributing a reference position associated with the coordinate system of the virtual reality content at a predetermined timing;
The program according to claim 11 , wherein the watermark information is embedded in a position associated with the reference position.
前記透かし情報は、前記オフセット情報に関連付けられた位置に埋め込まれている、請求項12に記載のプログラム。 further causing the computer to execute means for distributing offset information associated with the reference position at a predetermined timing;
The program according to claim 12 , wherein the watermark information is embedded in a position associated with the offset information.
仮想現実コンテンツを取得する手段と、
前記仮想現実コンテンツに透かし情報を埋め込む手段と、
前記仮想現実コンテンツを配信する手段と、を備え、
前記透かし情報は、前記仮想現実コンテンツの少なくとも一部の情報を可逆的に変換したものであり、
前記仮想現実コンテンツの一部である視界画像が画像表示装置の表示領域に表示され、
前記画像表示装置に対するユーザの動作または操作に応じて、前記仮想現実コンテンツのうち、前記視界画像に含まれる視界領域が変化し、
前記視界領域が変化する場合、前記表示領域における前記透かし情報の位置が変化し、
前記仮想現実コンテンツには、前記表示領域よりも狭い間隔で複数の前記透かし情報が埋め込まれている、情報処理装置。 An information processing device,
a means for obtaining virtual reality content;
means for embedding watermark information in the virtual reality content;
means for distributing the virtual reality content;
The watermark information is obtained by reversibly converting at least part of information of the virtual reality content,
A view image that is part of the virtual reality content is displayed in a display area of an image display device,
A viewing area included in the viewing image of the virtual reality content changes according to a user's movement or operation on the image display device,
When the viewing area changes, the position of the watermark information in the display area changes,
An information processing apparatus , wherein a plurality of the watermark information is embedded in the virtual reality content at intervals narrower than the display area .
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019153022A JP7398222B2 (en) | 2019-08-23 | 2019-08-23 | Program, information processing device, and information processing method |
PCT/JP2020/030179 WO2021039345A1 (en) | 2019-08-23 | 2020-08-06 | Program, information processing device, and information processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019153022A JP7398222B2 (en) | 2019-08-23 | 2019-08-23 | Program, information processing device, and information processing method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021034876A JP2021034876A (en) | 2021-03-01 |
JP2021034876A5 JP2021034876A5 (en) | 2022-08-17 |
JP7398222B2 true JP7398222B2 (en) | 2023-12-14 |
Family
ID=74676144
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019153022A Active JP7398222B2 (en) | 2019-08-23 | 2019-08-23 | Program, information processing device, and information processing method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7398222B2 (en) |
WO (1) | WO2021039345A1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004336529A (en) | 2003-05-09 | 2004-11-25 | Internatl Business Mach Corp <Ibm> | Motion picture data processing apparatus, method and program |
JP2017187715A (en) | 2016-04-08 | 2017-10-12 | 株式会社コロプラ | Display control method and program for causing computer to execute the method |
JP6425846B1 (en) | 2018-03-30 | 2018-11-21 | 株式会社コロプラ | PROGRAM, INFORMATION PROCESSING DEVICE, AND INFORMATION PROCESSING METHOD |
-
2019
- 2019-08-23 JP JP2019153022A patent/JP7398222B2/en active Active
-
2020
- 2020-08-06 WO PCT/JP2020/030179 patent/WO2021039345A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004336529A (en) | 2003-05-09 | 2004-11-25 | Internatl Business Mach Corp <Ibm> | Motion picture data processing apparatus, method and program |
JP2017187715A (en) | 2016-04-08 | 2017-10-12 | 株式会社コロプラ | Display control method and program for causing computer to execute the method |
JP6425846B1 (en) | 2018-03-30 | 2018-11-21 | 株式会社コロプラ | PROGRAM, INFORMATION PROCESSING DEVICE, AND INFORMATION PROCESSING METHOD |
Also Published As
Publication number | Publication date |
---|---|
JP2021034876A (en) | 2021-03-01 |
WO2021039345A1 (en) | 2021-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20180247454A1 (en) | Unknown | |
JP7394158B2 (en) | Program and method executed on a computer and information processing apparatus for providing a virtual space via a head-mounted device | |
JP7138138B2 (en) | Program, information processing method and information processing apparatus | |
JP2023099570A (en) | program and system | |
US20190114841A1 (en) | Method, program and apparatus for providing virtual experience | |
JP2019133309A (en) | Program, information processor and information processing method | |
JP6771006B2 (en) | Programs, methods and information processing equipment | |
JP7192151B2 (en) | Program, information processing device, and information processing method | |
JP7356827B2 (en) | Program, information processing method, and information processing device | |
JP2019168962A (en) | Program, information processing device, and information processing method | |
JP7398222B2 (en) | Program, information processing device, and information processing method | |
JP6703578B2 (en) | Program, method and information processing apparatus | |
JP6826082B2 (en) | Programs, information processing equipment, and methods | |
JP6441517B1 (en) | Program, information processing apparatus, and method | |
JP2019155115A (en) | Program, information processor and information processing method | |
JP7386948B2 (en) | Program, method and information processing device | |
JP7458779B2 (en) | Program, method and information processing device | |
JP7438786B2 (en) | Program, information processing method, and information processing device | |
JP7295045B2 (en) | Programs, computer implemented methods and computers | |
JP7514076B2 (en) | Program, method and information processing device | |
JP6718930B2 (en) | Program, information processing apparatus, and method | |
JP6453499B1 (en) | Program, information processing apparatus, and method | |
JP2020156104A (en) | Video output system | |
JP2020156103A (en) | Program, information processing device, and method | |
JP2021002390A (en) | Program, method, and information processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220808 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230711 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230906 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7398222 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |