JP7421736B2 - 仮想現実提供システム - Google Patents
仮想現実提供システム Download PDFInfo
- Publication number
- JP7421736B2 JP7421736B2 JP2022099690A JP2022099690A JP7421736B2 JP 7421736 B2 JP7421736 B2 JP 7421736B2 JP 2022099690 A JP2022099690 A JP 2022099690A JP 2022099690 A JP2022099690 A JP 2022099690A JP 7421736 B2 JP7421736 B2 JP 7421736B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual
- data
- head
- display data
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 238000000034 method Methods 0.000 description 40
- 238000010586 diagram Methods 0.000 description 39
- 230000008569 process Effects 0.000 description 36
- 210000003128 head Anatomy 0.000 description 27
- 230000005540 biological transmission Effects 0.000 description 23
- 238000012545 processing Methods 0.000 description 23
- 230000033001 locomotion Effects 0.000 description 16
- 238000001514 detection method Methods 0.000 description 13
- 230000002776 aggregation Effects 0.000 description 12
- 238000004220 aggregation Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 12
- 238000012986 modification Methods 0.000 description 12
- 239000013598 vector Substances 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000000926 separation method Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B69/00—Training appliances or apparatus for special sports
- A63B69/0002—Training appliances or apparatus for special sports for baseball
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4781—Games
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B69/00—Training appliances or apparatus for special sports
- A63B69/0002—Training appliances or apparatus for special sports for baseball
- A63B2069/0004—Training appliances or apparatus for special sports for baseball specially adapted for particular training aspects
- A63B2069/0008—Training appliances or apparatus for special sports for baseball specially adapted for particular training aspects for batting
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
- A63B2071/0636—3D visualisation
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B2071/0647—Visualisation of executed movements
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B2071/0658—Position or arrangement of display
- A63B2071/0661—Position or arrangement of display arranged on the user
- A63B2071/0666—Position or arrangement of display arranged on the user worn on the head or face, e.g. combined with goggles or glasses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Physical Education & Sports Medicine (AREA)
- Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Generation (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
第1の実施の形態における仮想現実提供システムを、図面を参照しつつ説明する。図1は、第1の実施の形態における仮想現実提供システムの概略構成図である。
(2)球速(初速)
(3)ホームベース上の所定の通過点の座標(実着弾点座標)
(4)リリースポイント付近から、ホームベース付近までの縦方向(Z方向)及び横方向(X方向)の変化量
ここで、変化量は、図3に示すように、リリース時のベクトルは同じだが、無回転で、まったく変化しないボールのホームベース上の仮着弾点座標と、実際に投げられたボールの着弾点座標との縦方向及び横方向のそれぞれの差分である。
リリースポイント座標は、トラッキングデータから取得できる。尚、リリースポイント座標は、ヘッドマウントディスプレイシステム5に表示される投手の仮想動体の投球モーションに合わせるので、厳密な座標値でなくても良い。
加速度は、トラッキングデータから取得した変化量を、ヘッドマウントディスプレイシステム5の表示フレームレートで除算することにより得ることが出来る。
ボールへの空気抵抗は、初速に対して終速(実着弾点座標付記の速度)が90%-92%となるように設定する。
初速ベクトルのうち、投手からホームベースのY方向のベクトルは、トラッキングデータから取得した初速から求めることができる。しかし、投手からみて、X方向及びZ方向のベクトルは、トラッキングデータから取得できない。一方、初速ベクトルのうち、X方向及びZ方向のベクトルなくても、実着弾点は異なるが、まったく同じスピード、変化量の投球をシミュレートできる。そこで、初速ベクトルのX方向及びZ方向のベクトルの値を少しずつ変更しながら、ボールの着弾点が本来の実着弾点に近づくようにする。ボールの着弾点が実着弾点に最も近い時のX方向及びZ方向のベクトルを、X方向及びZ方向のベクトルとして採用する。
第1の実施の形態の変形例を説明する。第1の実施の形態の変形例は、3次元表示データを送信する手段として、ハイブリッドキャストを用いる例を説明する。図10は第1の実施の形態の変形例における仮想現実提供システムの概略構成図である。
第2の実施の形態は、コンテンツデリバリネットワーク(content delivery network、CDN)等を用いて、ライブ配信される試合の映像とともに、トラッキングデータの3次元表示データを送信する例を説明する。図12は第2の実施の形態における仮想現実提供システムの概略構成図である。
第2の実施の形態も、第1の実施の形態と同様に、3次元表示データにタイミング情報を含めることも可能である。そして、トラッキングデータの取得時刻を3次元表示データに含めず、タイミング情報のみを含めても良い。
第3の実施の形態は、第1の実施の形態(第1の実施の形態の変形例も含む)又は第2の実施の形態(第2の実施の形態の変形例も含む)に加えて、ユーザ側に試合に用いられ用具(例えば、バットやグラブ)と同様な用具を用意し、実アスリート1から得られたトラッキングデータから再現される飛体(例えば、ボール)を打ったり、捉えたりすることを体験できるように構成したものである。
第4の実施の形態は、第3の実施の形態に加えて、各ヘッドマウントディスプレイシステム5における仮想飛体と仮想用具体とが衝突したかの衝突結果と、新たな前記仮想飛体の軌道データから得られる仮想飛体の飛翔結果とを集計し、その集計結果をライブ映像に反映させる態様である。
第5の実施の形態は、第1の実施の形態(第1の実施の形態の変形も含む)、又は、第2の実施の形態(第2の実施の形態の変形も含む)に加えて、過去の実績から、投手等のアスリート1が次にバッターに投じるボールの球種を予測する予測サーバ12を有する。
ユーザに仮想空間の3次元映像を提供する少なくとも一以上の仮想空間提供システムと
センサから取得される、少なくともピッチ上の実アスリートから放たれる飛体のトラッキングデータを取得するトラッキングデータ取得手段と、
取得したトラッキングデータに基づいて、前記仮想空間提供システムに表示される仮想空間に前記飛体に対応する仮想飛体を表示するための三次元座標データを生成する三次元座標データ生成手段と、
同報送信手段を介して、前記三次元座標データを、前記少なくとも1以上の仮想空間提供システムに送信する送信手段と
を有する仮想現実提供システム。
前記トラッキングデータは、ピッチ上の実アスリートの動きのトラッキングデータを含み、
前記三次元座標データ生成手段は、取得したトラッキングデータに基づいて、前記仮想空間提供システムに表示される仮想空間に前記実アスリートに対応する仮想動作体を表示するための三次元座標データを生成する
付記1に記載の仮想現実提供システム。
前記アスリートの試合の実映像の映像データと前記三次元座標データとを含む配信データを生成する配信データ生成手段を有し、
前記送信手段は、同報送信手段を介して、前記配信データを、前記少なくとも1以上の仮想空間提供システムに送信し、
前記仮想空間提供システムは、前記配信データから、前記映像データと前記三次元座標データとを分離する分離手段を有する
付記1又は付記2に記載の仮想現実提供システム。
前記配信データ生成手段は、前記実映像の映像データと前記実映像に対応する三次元座標データとが同期するように、前記配信データを生成する
付記3に記載の仮想現実提供システム。
前記仮想空間提供システムは、
前記仮想飛体及び前記仮想動作体のオブジェクトデータと、前記ユーザが扱う用具に対応する仮想用具体のオブジェクトデータとを記憶する記憶手段と、
前記三次元座標データを受信する受信手段と、
前記仮想空間における前記ユーザの位置データ及び前記ユーザの向きデータを検出する位置・向き検出手段と、
前記ユーザが扱う用具のトラッキングデータを取得する用具トラッキングデータ取得手段と、
前記用具のトラッキングデータに基づいて、前記仮想空間提供システムに表示される仮想空間に前記用具に対応する仮想用具体を表示するための三次元座標データを算出する第1の演算手段と、
前記仮想飛体の三次元座標データと前記仮想用具体の三次元座標データとに基づいて、前記仮想空間内で前記仮想飛体と前記仮想用具体との衝突に起因する前記仮想飛体の飛翔軌道の三次元座標データを算出する第2の演算手段と、
前記三次元座標データ、前記オブジェクトデータ及び前記ユーザの位置データ及び向きデータに基づいて、前記ユーザの位置姿勢に対応する前記仮想空間内の視点位置からの前記仮想飛体、前記仮想動作体及び前記仮想用具体の軌道映像を生成し、前記仮想空間提供システムの表示手段に表示する第1の画像生成手段と、
前記仮想空間内で前記仮想飛体と前記仮想用具体との衝突に起因する前記仮想飛体の飛翔軌道の三次元座標データに基づいて、前記ユーザの位置姿勢に対応する前記仮想空間内の視点位置からの前記仮想飛体の飛翔軌道の軌道映像を生成し、前記仮想空間提供システムの表示手段に表示する第2の画像生成手段と
を有する付記1から付記4に記載の仮想現実提供システム。
前記記憶手段は、複数の仮想飛体の少なくとも大きさに関する飛体データ及び前記複数の仮想飛体の前記仮想用具に対する反発係数の飛体反発係数データと、複数の仮想用具の少なくとも大きさに関する用具データ及び前記複数の仮想用具の前記仮想飛体に対する反発係数の用具反発係数データが記憶され、
前記第2の演算手段は、飛体データ及び前記飛体反発係数データと前記用具データ及び前記反発係数データとを参照し、前記仮想飛体と前記仮想用具体との衝突に起因する新たな前記仮想飛体の軌道データを算出する
付記5に記載の仮想現実提供システム。
集計サーバを有し、
前記仮想空間提供システムは、
前記仮想飛体と前記仮想用具体とが衝突したかの衝突結果と、前記仮想飛体の飛翔軌道の三次元座標データから得られる前記仮想飛体の飛翔結果とを算出する第3の演算手段と、
前記衝突結果及び前記飛翔結果を、前記集計サーバに送信する送信手段と
を有し、
前記集計サーバは、
前記仮想空間提供システムは、から送信される前記衝突結果及び前記飛翔結果を集計して集計結果を算出し、前記実アスリートの実映像である放送映像又は同報送信映像に前記集計結果を表示するための編成装置に送信する手段を
有する付記5又は付記6に記載の仮想現実提供システム。
前記仮想空間提供システムは、ユーザの頭部に装着され、仮想空間の3次元映像を表示する表示手段と、前記仮想空間の3次元映像を生成する3次元映像生成手段とを有するヘッドマウントディスプレイシステムである
付記1から付記7のいずれかに記載の仮想現実提供システム。
ユーザに仮想空間の3次元映像を提供する仮想空間提供システムのコンピュータのプログラムであって、
センサから取得された、少なくともピッチ上の実アスリートから放たれる飛体のトラッキングデータから生成された仮想空間に前記飛体に対応する仮想飛体を表示するための三次元座標データを、同報送信手段から受信する処理と、
前記仮想空間における前記ユーザの位置データ及び前記ユーザの向きデータを検出する処理と、
前記仮想飛体の三次元座標データ、前記仮想飛体のオブジェクトデータ及び前記ユーザの位置データ及び向きデータに基づいて、前記ユーザの位置姿勢に対応する前記仮想空間内の視点位置からの前記仮想飛体の軌道映像を生成し、前記仮想空間提供システムの表示手段に表示する処理と
をコンピュータに実行させるプログラム。
前記プログラムは、
前記ユーザが扱う用具のトラッキングデータを取得する処理と、
前記用具のトラッキングデータに基づいて、前記用具に対応する仮想用具体の三次元座標データを算出する処理と、
前記仮想飛体の三次元座標データと前記仮想用具体の三次元座標データとに基づいて、前記仮想空間内で前記仮想飛体と前記仮想用具体との衝突に起因する前記仮想飛体の飛翔軌道の三次元座標データを算出する処理と、
前記三次元座標データ、前記オブジェクトデータ及び前記ユーザの位置データ及び向きデータに基づいて、前記ユーザの位置姿勢に対応する前記仮想空間内の視点位置からの前記仮想飛体及び前記仮想用具体の軌道映像を生成し、前記仮想空間提供システムの表示手段に表示する処理と、
前記仮想空間内で前記仮想飛体と前記仮想用具体との衝突に起因する前記仮想飛体の飛翔軌道の三次元座標データに基づいて、前記ユーザの位置姿勢に対応する前記仮想空間内の視点位置からの前記仮想飛体の飛翔軌道の軌道映像を生成し、前記仮想空間提供システムの表示手段に表示する処理と
を更に有する付記8に記載のプログラム。
前記プログラムは、
前記仮想飛体と前記仮想用具体とが衝突したかの衝突結果と、前記仮想飛体の飛翔軌道の三次元座標データから得られる前記仮想飛体の飛翔結果とを算出する処理と、
前記衝突結果及び前記飛翔結果を集計するサーバに、前記前記衝突結果及び前記飛翔結果を送信する処理と
を更に有する付記9又は付記11に記載のプログラム。
前記仮想空間提供システムは、ユーザの頭部に装着され、仮想空間の3次元映像を表示する表示手段と、前記仮想空間の3次元映像を生成する3次元映像生成手段とを有するヘッドマウントディスプレイシステムである
付記9から付記11のいずれかに記載のプログラム。
2 トラッキングシステム
3 3次元(3D)表示データ生成サーバ
4 同報送信システム
5 ヘッドマウントディスプレイシステム
6 カメラ
7 放送設備
8 テレビ
9 ライブ映像生成部
10 配信データ生成サーバ
11 集計サーバ
12 予測サーバ
Claims (1)
- 試合中のアスリート及び前記アスリートから放たれた飛体をトラッキングするセンサのセンサ情報から得られた前記アスリート及び前記飛体のトラッキングデータを、リアルタイムに取得するトラッキングデータ取得部と、
取得したトラッキングデータを用いて、仮想空間に、前記アスリートに対応する仮想アスリート及び前記飛体に対応する仮想飛体の飛翔映像を含む仮想映像を表示するための3次元表示データを生成する3次元表示データ生成部と、
前記試合の試合映像と、前記試合映像と時間的に同期する前記3次元表示データと、を含む、配信データを配信する配信部と、
前記配信データを受信し、前記配信データに含まれる3次元表示データを用いて、ユーザの位置姿勢に対応する仮想空間内の視点位置からの前記仮想アスリート及び前記仮想飛体の飛翔映像を含み、前記試合映像と時間的に同期した仮想映像を、仮想空間に表示する少なくとも一以上の仮想空間提供システムと、
を備え、
前記仮想空間提供システムは、ユーザにより、前記試合映像の表示と前記仮想映像の表示とのいずれかの映像の表示が選択可能である、
仮想現実提供システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023219009A JP2024032713A (ja) | 2017-04-11 | 2023-12-26 | 仮想現実提供システム、データ配信装置、仮想空間提供装置、及びプログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017078385 | 2017-04-11 | ||
JP2017078385 | 2017-04-11 | ||
JP2020069086A JP7098119B2 (ja) | 2017-04-11 | 2020-04-07 | 仮想現実提供システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020069086A Division JP7098119B2 (ja) | 2017-04-11 | 2020-04-07 | 仮想現実提供システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023219009A Division JP2024032713A (ja) | 2017-04-11 | 2023-12-26 | 仮想現実提供システム、データ配信装置、仮想空間提供装置、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022132286A JP2022132286A (ja) | 2022-09-08 |
JP2022132286A5 JP2022132286A5 (ja) | 2022-11-15 |
JP7421736B2 true JP7421736B2 (ja) | 2024-01-25 |
Family
ID=63792677
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019512520A Active JP6695583B2 (ja) | 2017-04-11 | 2018-04-10 | 仮想現実提供システム、3次元表示データ提供装置、仮想空間提供システム及びプログラム |
JP2020069086A Active JP7098119B2 (ja) | 2017-04-11 | 2020-04-07 | 仮想現実提供システム |
JP2022099690A Active JP7421736B2 (ja) | 2017-04-11 | 2022-06-21 | 仮想現実提供システム |
JP2023219009A Pending JP2024032713A (ja) | 2017-04-11 | 2023-12-26 | 仮想現実提供システム、データ配信装置、仮想空間提供装置、及びプログラム |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019512520A Active JP6695583B2 (ja) | 2017-04-11 | 2018-04-10 | 仮想現実提供システム、3次元表示データ提供装置、仮想空間提供システム及びプログラム |
JP2020069086A Active JP7098119B2 (ja) | 2017-04-11 | 2020-04-07 | 仮想現実提供システム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023219009A Pending JP2024032713A (ja) | 2017-04-11 | 2023-12-26 | 仮想現実提供システム、データ配信装置、仮想空間提供装置、及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11093025B2 (ja) |
JP (4) | JP6695583B2 (ja) |
CN (1) | CN110603573B (ja) |
WO (1) | WO2018190327A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020062041A1 (en) * | 2018-09-28 | 2020-04-02 | Intel Corporation | Automated generation of camera paths |
JPWO2020129115A1 (ja) * | 2018-12-17 | 2021-11-04 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理システム、情報処理方法およびコンピュータプログラム |
CN115956259A (zh) | 2020-06-30 | 2023-04-11 | 美国斯耐普公司 | 生成用于虚拟现实体验的基础真实数据集 |
CN112181139B (zh) * | 2020-09-17 | 2022-04-15 | 东北大学 | 一种虚拟现实和混合现实的协作控制交互方法 |
CN112370795B (zh) * | 2020-10-21 | 2022-11-22 | 潍坊歌尔电子有限公司 | 基于头戴设备的挥拍类球类运动方法、装置及设备 |
CN113313744B (zh) * | 2021-07-30 | 2021-09-28 | 成都工业学院 | 一种无人飞行器高度及位置显示方法 |
JP7403581B2 (ja) | 2022-05-23 | 2023-12-22 | ソフトバンク株式会社 | システム及びデバイス |
CN118069754B (zh) * | 2024-04-18 | 2024-07-12 | 江西耀康智能科技有限公司 | 一种训练台与虚拟现实环境数据同步方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002518722A (ja) | 1998-06-12 | 2002-06-25 | アニヴィジョン インコーポレイテッド | スポーツ競技の仮想観覧形成方法及び仮想観覧形成装置 |
JP2017012397A (ja) | 2015-06-30 | 2017-01-19 | 株式会社セガゲームス | プログラム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3181275B2 (ja) * | 1999-07-30 | 2001-07-03 | 株式会社ケイシーイーオー | 競技方法及び装置、記録媒体 |
US7782363B2 (en) * | 2000-06-27 | 2010-08-24 | Front Row Technologies, Llc | Providing multiple video perspectives of activities through a data network to a remote multimedia server for selective display by remote viewing audiences |
JP4956273B2 (ja) * | 2007-05-17 | 2012-06-20 | 日本放送協会 | 投球球種識別装置、識別器生成装置、投球球種識別プログラム及び識別器生成プログラム |
JP2011030179A (ja) * | 2009-06-29 | 2011-02-10 | Sony Corp | 画像データ送信装置、制御方法およびプログラム |
JP2012014676A (ja) * | 2010-05-31 | 2012-01-19 | Sony Computer Entertainment Inc | 仮想現実空間提供システム、仮想現実空間提供方法およびそのプログラム |
US9121724B2 (en) * | 2011-09-30 | 2015-09-01 | Apple Inc. | 3D position tracking for panoramic imagery navigation |
CN106464958B (zh) * | 2014-02-28 | 2020-03-20 | 杉史拜(上海)信息技术有限公司 | 用于执行体育事件的时空分析的***和方法 |
JP6467698B2 (ja) | 2014-08-28 | 2019-02-13 | 学校法人立命館 | 野球の打撃練習支援システム |
CN105830457B (zh) * | 2014-11-27 | 2020-03-10 | 索尼公司 | 信息处理设备和信息处理方法 |
US9288545B2 (en) * | 2014-12-13 | 2016-03-15 | Fox Sports Productions, Inc. | Systems and methods for tracking and tagging objects within a broadcast |
US9744449B2 (en) * | 2014-12-22 | 2017-08-29 | Sony Interactive Entertainment Inc. | Peripheral devices having dynamic weight distribution to convey sense of weight in HMD environments |
US10073516B2 (en) * | 2014-12-29 | 2018-09-11 | Sony Interactive Entertainment Inc. | Methods and systems for user interaction within virtual reality scene using head mounted display |
JP6122459B2 (ja) * | 2015-03-31 | 2017-04-26 | 株式会社コロプラ | ポジショントラッキング領域表示システム、及び方法 |
KR101722947B1 (ko) * | 2016-01-19 | 2017-04-04 | 주식회사 레드로버 | 4차원 효과를 구현할 수 있는 가상현실 시스템 및 그 4차원 효과 처리방법 |
-
2018
- 2018-04-10 WO PCT/JP2018/015012 patent/WO2018190327A1/ja active Application Filing
- 2018-04-10 JP JP2019512520A patent/JP6695583B2/ja active Active
- 2018-04-10 US US16/604,469 patent/US11093025B2/en active Active
- 2018-04-10 CN CN201880029445.9A patent/CN110603573B/zh active Active
-
2020
- 2020-04-07 JP JP2020069086A patent/JP7098119B2/ja active Active
-
2022
- 2022-06-21 JP JP2022099690A patent/JP7421736B2/ja active Active
-
2023
- 2023-12-26 JP JP2023219009A patent/JP2024032713A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002518722A (ja) | 1998-06-12 | 2002-06-25 | アニヴィジョン インコーポレイテッド | スポーツ競技の仮想観覧形成方法及び仮想観覧形成装置 |
JP2017012397A (ja) | 2015-06-30 | 2017-01-19 | 株式会社セガゲームス | プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7098119B2 (ja) | 2022-07-11 |
JP6695583B2 (ja) | 2020-05-20 |
JP2022132286A (ja) | 2022-09-08 |
CN110603573B (zh) | 2022-12-09 |
CN110603573A (zh) | 2019-12-20 |
WO2018190327A1 (ja) | 2018-10-18 |
JPWO2018190327A1 (ja) | 2019-12-19 |
JP2020119584A (ja) | 2020-08-06 |
US11093025B2 (en) | 2021-08-17 |
JP2024032713A (ja) | 2024-03-12 |
US20200150749A1 (en) | 2020-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7421736B2 (ja) | 仮想現実提供システム | |
Miles et al. | A review of virtual environments for training in ball sports | |
CN112334886B (zh) | 内容分发***、内容分发方法、记录介质 | |
CN110392246B (zh) | 体育赛事播放***与方法 | |
US10139899B1 (en) | Hypercatching in virtual reality (VR) system | |
EP2840463A1 (en) | Haptically enabled viewing of sporting events | |
CN107469343B (zh) | 虚拟现实交互方法、装置及*** | |
JP6467698B2 (ja) | 野球の打撃練習支援システム | |
JP2018518081A (ja) | スポーツバーチャルリアリティシステム | |
CN103218198A (zh) | 运动用户的声音定位 | |
JP2003244728A (ja) | 仮想映像作成装置及び仮想映像作成方法 | |
AU2012231923B2 (en) | Virtual golf simulation apparatus and method and sensing device and method used for the same | |
CN109068181A (zh) | 基于视频直播的足球游戏交互方法、***、终端及装置 | |
JP2012181616A (ja) | プログラム、情報記憶媒体、ゲーム装置及びサーバシステム | |
KR101835818B1 (ko) | 방송 객체의 3d 모델링 데이터를 이용한 방송 시청 시점 다각화 시스템 및 그 방법 | |
Bang et al. | Interactive experience room using infrared sensors and user's poses | |
CN113992974A (zh) | 模拟参赛的方法、装置、计算设备及计算机可读存储介质 | |
KR20110130846A (ko) | 경기 참여자 관점의 야구공 영상생성 장치, 시스템, 및 그 방법의 기록매체 | |
CN103830904A (zh) | 实现3d立体仿真游戏的装置 | |
CN110753267B (zh) | 显示器的控制方法、控制装置和显示器 | |
JP7403581B2 (ja) | システム及びデバイス | |
TWI697848B (zh) | 多人連線遊戲的體感遊戲系統及其方法 | |
JP7024862B2 (ja) | パフォーマンス評価装置、データ取得装置、それらの方法、およびプログラム | |
KR101587730B1 (ko) | 실시간 3 차원 게임 시스템 및 그의 처리 방법 | |
Min et al. | Development of a virtual pitching system in screen baseball game |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220621 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230628 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230824 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231025 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7421736 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |