JP2020144748A - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP2020144748A JP2020144748A JP2019042400A JP2019042400A JP2020144748A JP 2020144748 A JP2020144748 A JP 2020144748A JP 2019042400 A JP2019042400 A JP 2019042400A JP 2019042400 A JP2019042400 A JP 2019042400A JP 2020144748 A JP2020144748 A JP 2020144748A
- Authority
- JP
- Japan
- Prior art keywords
- coordinates
- objects
- unit
- virtual camera
- space data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】遅延を軽減し、リアルタイム性の高い自由視点映像を作成する。【解決手段】情報処理装置100は、生成部101、選択部102、設定部103、参照部104、予測部105、決定部106及び作成部107を含む。設定部103は、2つの対象物に対して、3次元モデル空間データにおける2点の座標を設定する。参照部104は、2つの対象物に関連する過去の移動データを参照する。予測部105は過去の移動データに基づき、前記2つの対象物の所定時間後の次の2点の座標を予測する。決定部106は予測された次の2点の座標から次の仮想カメラの予測位置を決定する。作成部107は、次の仮想カメラの予測位置に基づいて、次の3次元モデル映像を作成する。【選択図】図1
Description
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
スタジアム内に設置した複数台の高解像度カメラ(実カメラ)からの撮影映像を元に3次元モデル空間データを構築し、該3次元モデル空間データ内の任意の位置に配置した仮想カメラからの映像(自由視点映像)を再現する技術が知られている。今後、第5世代移動通信システム(いわゆる「5G」)が開始されると、より一般的に、スタジアムでサッカー等のスポーツを観戦する観客は、こうした自由視点映像を、携帯端末を通じて受信して閲覧可能になると期待されている。特許文献1には、ユーザ端末の位置および方向に基づき仮想カメラの位置および方向を決定することが開示されている。
しかしながら、ユーザの観たい対象(例えば、選手)が移動した際、ユーザ自身の操作でその対象を追いかける必要があり、映像自体に集中できない場合がある。またユーザが端末の操作に慣れていない場合、観客席において、リアルタイムで展開される試合を見ながら、臨場感のある3D自由視点映像を維持できないことも考えられる。したがって、まるで自分がそこに飛び込んだような臨場感のある映像となる仮想カメラ視点が自動で設定され、そうした自由視点映像がユーザに対して自動で提供されることが求められる。しかしながら、こうした自由視点映像を、リアルタイム映像を元に作成すると、大幅なタイムラグが生じてしまうことが懸念される。これにより、リアルタイム性が損なわれ、臨場感がなくなってしまうという問題がある。
本発明は上記の点に鑑みてなされたもので、遅延を軽減し、リアルタイム性の高い3次元映像を作成可能な情報処理装置、情報処理方法及びプログラムを提供することを目的とする。
本発明の一態様にかかる情報処理装置は、
複数台のカメラにより撮像された複数の撮影画像に基づいて、3次元モデル空間データを生成するとともに、該3次元モデル空間データを用いて3次元モデル映像を生成する生成部と、
前記3次元モデル映像から少なくとも1つの移動する対象物を含む2つの対象物を選択する選択部と、
前記2つの対象物に対して、前記3次元モデル空間データにおける2点の座標を設定する設定部と、
前記2つの対象物に関連する過去の移動データを参照する参照部と、
前記過去の移動データに基づき、前記2つの対象物の所定時間後の次の2点の座標を予測する予測部と、
前記予測された次の2点の座標から次の仮想カメラの予測位置を決定する決定部と、
前記次の仮想カメラの予測位置に基づいて、次の3次元モデル空間データと次の3次元モデル映像を作成する作成部と、を備えるものである。
複数台のカメラにより撮像された複数の撮影画像に基づいて、3次元モデル空間データを生成するとともに、該3次元モデル空間データを用いて3次元モデル映像を生成する生成部と、
前記3次元モデル映像から少なくとも1つの移動する対象物を含む2つの対象物を選択する選択部と、
前記2つの対象物に対して、前記3次元モデル空間データにおける2点の座標を設定する設定部と、
前記2つの対象物に関連する過去の移動データを参照する参照部と、
前記過去の移動データに基づき、前記2つの対象物の所定時間後の次の2点の座標を予測する予測部と、
前記予測された次の2点の座標から次の仮想カメラの予測位置を決定する決定部と、
前記次の仮想カメラの予測位置に基づいて、次の3次元モデル空間データと次の3次元モデル映像を作成する作成部と、を備えるものである。
本発明の一態様にかかる情報処理方法は、複数台のカメラにより撮像された複数の撮影画像に基づいて、3次元モデル空間データを生成するとともに、該3次元モデル空間データを用いて3次元モデル映像を生成し、
前記3次元モデル映像から少なくとも1つの移動する対象物を含む2つの対象物を選択し、
前記2つの対象物に対して、前記3次元モデル空間データにおける2点の座標を設定し、
前記2つの対象物に関連する過去の移動データを参照し、
前記過去の移動データに基づき、前記2つの対象物の所定時間後の次の2点の座標を予測し、
前記予測された次の2点の座標から次の仮想カメラの予測位置を決定し、
前記次の仮想カメラの予測位置に基づいて、次の3次元モデル空間データと次の3次元モデル映像を作成する、ものである。
前記3次元モデル映像から少なくとも1つの移動する対象物を含む2つの対象物を選択し、
前記2つの対象物に対して、前記3次元モデル空間データにおける2点の座標を設定し、
前記2つの対象物に関連する過去の移動データを参照し、
前記過去の移動データに基づき、前記2つの対象物の所定時間後の次の2点の座標を予測し、
前記予測された次の2点の座標から次の仮想カメラの予測位置を決定し、
前記次の仮想カメラの予測位置に基づいて、次の3次元モデル空間データと次の3次元モデル映像を作成する、ものである。
本発明の一態様にかかるプログラムは、複数台のカメラにより撮像された複数の撮影画像に基づいて、3次元モデル空間データを生成するとともに、該3次元モデル空間データを用いて3次元モデル映像を生成する処理と、
前記3次元モデル映像から少なくとも1つの移動する対象物を含む2つの対象物を選択する処理と、
前記2つの対象物に対して、前記3次元モデル空間データにおける2点の座標を設定する処理と、
前記2つの対象物に関連する過去の移動データを参照する処理と、
前記過去の移動データに基づき、前記2つの対象物の所定時間後の次の2点の座標を予測する処理と、
前記予測された次の2点の座標から次の仮想カメラの予測位置を決定する処理と、
前記次の仮想カメラの予測位置に基づいて、次の3次元モデル空間データと次の3次元モデル映像を作成する処理と、をコンピュータに実行させるものである。
前記3次元モデル映像から少なくとも1つの移動する対象物を含む2つの対象物を選択する処理と、
前記2つの対象物に対して、前記3次元モデル空間データにおける2点の座標を設定する処理と、
前記2つの対象物に関連する過去の移動データを参照する処理と、
前記過去の移動データに基づき、前記2つの対象物の所定時間後の次の2点の座標を予測する処理と、
前記予測された次の2点の座標から次の仮想カメラの予測位置を決定する処理と、
前記次の仮想カメラの予測位置に基づいて、次の3次元モデル空間データと次の3次元モデル映像を作成する処理と、をコンピュータに実行させるものである。
本発明によれば、遅延を軽減し、リアルタイム性の高い自由視点映像を作成可能な情報処理装置、情報処理方法及びプログラムを提供することができる。
図1を参照して、本発明に係る情報処理装置100の概要について説明する。
情報処理装置100は、生成部101、選択部102、設定部103、参照部104、予測部105、決定部106及び作成部107を含む。生成部101は、複数台のカメラにより撮像された複数の撮影画像に基づいて、3次元モデル空間データを生成するとともに、3次元モデル空間データを用いて3次元モデル映像を生成する。選択部102は、3次元モデル映像から少なくとも1つの移動する対象物を含む2つの対象物を選択する。設定部103は、2つの対象物に対して、3次元モデル空間データにおける2点の座標を設定する。参照部104は、2つの対象物に関連する過去の移動データを参照する。予測部105は過去の移動データに基づき、2つの対象物の所定時間後の次の2点の座標を予測する。決定部106は予測された次の2点の座標から次の仮想カメラの予測位置を決定する。作成部107は、次の仮想カメラの予測位置に基づいて、次の3次元空間データ及び次の3次元モデル映像を作成する。
情報処理装置100は、生成部101、選択部102、設定部103、参照部104、予測部105、決定部106及び作成部107を含む。生成部101は、複数台のカメラにより撮像された複数の撮影画像に基づいて、3次元モデル空間データを生成するとともに、3次元モデル空間データを用いて3次元モデル映像を生成する。選択部102は、3次元モデル映像から少なくとも1つの移動する対象物を含む2つの対象物を選択する。設定部103は、2つの対象物に対して、3次元モデル空間データにおける2点の座標を設定する。参照部104は、2つの対象物に関連する過去の移動データを参照する。予測部105は過去の移動データに基づき、2つの対象物の所定時間後の次の2点の座標を予測する。決定部106は予測された次の2点の座標から次の仮想カメラの予測位置を決定する。作成部107は、次の仮想カメラの予測位置に基づいて、次の3次元空間データ及び次の3次元モデル映像を作成する。
このように、前もって仮想カメラの位置を予測することで、遅延を軽減し、リアルタイム性の高い3次元モデル映像を作成することができる。
以下、本発明を適用した具体的な実施形態について、図面を参照しながら詳細に説明する。ただし、本発明が以下の実施形態に限定される訳ではない。また、説明を明確にするため、以下の記載および図面は、適宜、簡略化されている。
図2は、本発明の実施形態にかかる情報処理システム1の全体構成を示す図である。
情報処理システム1は、ネットワークを介して接続された、3Dモデル空間作成サーバ21、座標位置予測サーバ22、映像作成サーバ(仮想カメラ位置計算サーバとも呼ばれる)23、及びユーザ端末30を備える。ここでいうネットワークには、LAN、WLAN、セルラネットワーク、または他の適切な有線もしくは無線通信ネットワークなどが含まれる。なお、これらのサーバは、本システムの主体的な動作を行い、サーバ、コンピュータ等により構成される。本システムでは、3つのサーバを有し、分散的に処理する構成としたが、これに限定されず、物理的に単一のサーバであってもよい。
情報処理システム1は、ネットワークを介して接続された、3Dモデル空間作成サーバ21、座標位置予測サーバ22、映像作成サーバ(仮想カメラ位置計算サーバとも呼ばれる)23、及びユーザ端末30を備える。ここでいうネットワークには、LAN、WLAN、セルラネットワーク、または他の適切な有線もしくは無線通信ネットワークなどが含まれる。なお、これらのサーバは、本システムの主体的な動作を行い、サーバ、コンピュータ等により構成される。本システムでは、3つのサーバを有し、分散的に処理する構成としたが、これに限定されず、物理的に単一のサーバであってもよい。
3Dモデル空間作成サーバ21は、複数台の実カメラ10からの撮影映像を元に3次元モデル空間データを構築する。この作成された3次元モデル空間データ内を仮想カメラが自由に移動し、所定の位置から映像を撮影することができる。本発明の実施の形態では、ディープラーニング(詳しくは後述する)により仮想カメラに映ることがないと判断できる部分については、3次元モデル空間データは作成しないので、3次元モデル空間データの作成の処理効率を向上させることができる。また、3Dモデル空間作成サーバ21は、3次元モデル空間データ内のユーザにより選択された対象物(選手やボールなど)の座標データを、座標位置予測サーバ22及び映像作成サーバ23に送信する。
座標位置予測サーバ22は、3Dモデル空間作成サーバ21より受信した座標データがどのように移動するかを、過去の試合映像データに基づいて学習した学習済みモデルを用いて予測する。なお、こうした学習済みモデルは、座標位置予測サーバ22内部の記憶部、あるいは、座標位置予測サーバ22ネットワークを介して接続された外部の記憶部に予め記憶しておいてもよい。予測データは、3Dモデル空間作成サーバ21及び映像作成サーバ23に送信される。
映像作成サーバ23は、座標位置予測サーバ22から得た座標の予測に基づき、次の仮想カメラの位置を計算する。また、映像作成サーバ23は、その仮想カメラ位置と、3次元モデル空間データに基づいて、事前に3次元自由視点映像を作成し、適切なタイミングでユーザ端末30に送信する。
図3は、本実施形態におけるサーバ21,22,23のハードウェア構成例を示すブロック図である。図3に示すように、本実施形態のサーバ21,22,23の制御部は、CPU(Central Processing Unit)201、RAM(Random access memory)202、ROM(Read Only Memory)203などを有するコンピュータである。CPU201は、RAM202、ROM203、または、ハードディスク204に格納されたソフトウェアに従い演算および制御を行う。RAM202は、CPU201が各種処理を実行する際の一時記憶領域として使用される。ハードディスク204には、オペレーティングシステム(OS)や、後述の登録プログラムなどが記憶される。ディスプレイ205は、液晶ディスプレイとグラフィックコントローラとから構成され、ディスプレイ205には、画像やアイコンなどのオブジェクト、および、GUIなどが表示される。入力部206は、ユーザが各サーバ21,22,23に各種指示を与えるための装置であり、例えばマウスやキーボードによって構成される。I/F(インターフェース)部207は、IEEE 802.11aなどの規格に対応した無線LAN通信や有線LAN通信を制御することができ、TCP/IPなどのプロトコルに基づき同一通信ネットワークおよびインターネットを介して外部機器と通信する。システムバス208は、CPU201、RAM202、ROM203、および、ハードディスク204などとのデータのやり取りを制御する。
CPU201がプログラムを実行することにより、制御部は、上述した生成部101、選択部102、設定部103、参照部104、予測部105、決定部106及び作成部107として機能する。なお、生成部101、選択部102、設定部103、参照部104、予測部105、決定部106及び作成部107は別々のハードウェアによって実現されてもよい。
情報処理システム1は、リアルタイムで3次元自由視点映像をユーザ端末30に配信する。具体的には、情報処理システム1は、複数台の実カメラ10からの撮影映像を元に3次元モデル空間データを構築し、該3次元モデル空間データ内の任意の位置に配置した仮想カメラからの自由視点映像(仮想視点映像とも呼ばれる)を再現し、該映像データをユーザ端末30に配信する。
図2では、サッカー等のスタジアムにおいて、複数台の実カメラ10がフィールド7全体を撮影している。3Dモデル空間作成サーバ21は、これらの実カメラ10からの実映像を元に3次元モデル空間データを構築する。また、3Dモデル空間作成サーバ21は、特定の人物(例えば、お気に入りの選手)及び物体(例えば、サッカーボールやゴールポストなど)の座標データも取得することができる。ユーザは、観客席でフィールド7全体を目視しつつ、ユーザ端末30を用いて、こうした自由視点映像を受信し、特定の選手の映像を享受することができる。
図2では、2台の実カメラ10を示したが、これに限定されず、3台以上の実カメラ10がフィールド全体を取り囲むように設けられてもよい。また、サッカー等のフィールド7の場合、ハーフウェイライン8により半分に分けた自陣エリアと相手エリアを撮像するために、それぞれ同じ台数のカメラを略等間隔で設置するようにしてもよい。また、通常のテレビ中継で使われるライブ映像及びライブリプレイ用のカメラを別途設けてもよい。
ユーザ端末30の例としては、スタジアムでの観戦を目的とした場合、スマートフォン、タブレット、携帯電話、PDA(personal digital assistant)、ウェアラブル端末、ラップトップ型パーソナルコンピュータ(PC)、ヘッドマウントディスプレイ(HMD)など携帯端末が挙げられる。また、ユーザ端末30は、自宅での観戦を目的とした場合には、デスクトップ型パーソナルコンピュータ等であってもよい。以下では、ユーザ端末30がスマートフォンの場合を例に説明する。
図4は、ユーザ端末の構成の一例を説明するブロック図である。ユーザ端末30は、図4に示すように、外部映像を撮影する撮像部(例えば、カメラ)310と、外部から受信された映像信号(3次元モデル映像信号を含む)を処理する映像処理部320と、映像処理部320によって処理される映像信号を映像で表示するディスプレイ部330と、ユーザの入力を受け付けるユーザ入力部340と、各種のデータを記憶する記憶部350と、外部と有線・無線通信を行う通信部360と、ユーザ端末30の各構成要素を制御する制御部300と、を含む。撮像部(例えば、カメラ)310は、イメージセンサ311(例えば、CCD/CMOSイメージセンサ)を含む。また、ディスプレイ部330は、タッチスクリーン331を含む。ユーザ端末30にインストールされたクライアントアプリケーションは、ユーザが自由視点映像を享受し、各種設定を行うのに、これらの各構成要素を制御することができる。ユーザは、ユーザ端末30のクライアントアプリケーションを用いて、自由視点映像から、対象物を選択したり、仮想カメラの位置決定等に関する任意の設定を選択することができる。
次に、図5を参照して、仮想カメラの位置(座標及び高さ)の決定処理を説明する。
リアルタイムで3次元映像を配信する本システムでは、ユーザにより選択された物体や人物を少なくとも2点の座標として設定し、それらの位置関係から実際には存在しない仮想カメラの視点を自動的に決定するものである。
リアルタイムで3次元映像を配信する本システムでは、ユーザにより選択された物体や人物を少なくとも2点の座標として設定し、それらの位置関係から実際には存在しない仮想カメラの視点を自動的に決定するものである。
ユーザは、ユーザ端末30を介して、3Dモデル空間作成サーバ21により作成された3Dモデル映像内の2つの対象物を選択する。この場合は、2つの対象物として、平面座標Aの対象選手5と、平面座標Bのボール3が選択されている。つまり、2つの対象物はともに移動する対象物である。3Dモデル空間作成サーバ21は、作成された3次元モデル映像から、選択した2つの対象物の平面座標を取得し、座標位置予測サーバ22及び映像作成サーバ23に送信する。選択した2つの対象物は移動するので、2つの対象物の平面座標A、Bも逐次、座標位置予測サーバ22及び映像作成サーバ23に送信される。
また、図5では、仮想カメラ11の向きとして、座標Bから座標Aへの向きが設定されている。平面座標A,Bをつなぐ直線上に仮想カメラの座標Cが設定され、さらに、仮想カメラの高さ(h)が設定される。すなわち、仮想カメラ11は、その画角内に対象選手5と、対象選手5から見たボール3と、を収めた画像(自由視点映像)を提供することになる。
座標B,C間の距離BCと仮想カメラ11の高さhは、ユーザが任意のユーザ設定値として設定することができる。座標B,C間の距離BCと仮想カメラの高さhは、ユーザ設定値で固定してもよい。あるいは、より俯瞰した映像を提供するため、B,C間の距離BCと仮想カメラの高さhは、A,B間の距離に比例し変化させてもよい。
また、仮想カメラの向きが座標A,Bどちらに向くかを、ユーザが任意に設定することができる。また、対象物のいずれか一方が固定物(例えば、ゴールポスト、コーナーフラッグなど)である場合、移動する対象物(例えば、選手)から固定物へ向かう方向に(あるいはその逆の方向に)、仮想カメラの向きを予め設定してもよい。
あるいは、仮想カメラの向きは決定せずに位置データを利用することでVR(Virtual reality)映像として提供することもできる。ここでいうVR映像は、例えば、HMD(Head Mounted Display,頭部装着ディスプレイ)を装着したユーザに対し、頭部の向きに合わせて仮想空間における360度の視野範囲の動画像を一挙に提供可能な映像であってもよい。あるいは、VR映像は、スマートフォンの向きに合わせて仮想空間における360度の視野範囲の動画像を一挙に提供可能な映像であってもよい。
対象の座標A,Bが移動すると、それに追従して上記のように設定した位置関係を保ちながら仮想カメラ11も移動する。このように、情報処理システム1では、映像作成サーバ23(仮想カメラ位置決定サーバとも呼ばれる)を備えることで、仮想カメラの位置を自動的に決定することができる。したがって、ユーザの操作を必要とせずに、仮想カメラ11は、その画角内に対象選手5と、対象選手5から見たボール3を収めた画像(自由視点映像)を提供することができる。
更に、上記の方法で臨場感を損なわずにリアルタイム性の高い映像を提供するには、映像の作成に要するタイムラグを軽減する必要がある。そのために、本実施の形態にかかる情報処理システム1では、座標位置予測サーバ22を備えることで、対象物体の動きを予測し、あらかじめ次の映像(数パターンの映像)を描画しておく。座標位置予測サーバ22は、シチュエーション(サッカーの試合、各チームの選手のポジション、選手の特性など)毎の物体、人物の動きのデータを基にしたディープラーニング等の機械学習により、学習済みモデルを作成し、それにより、対象物の座標の次の動きを予測する。映像作成サーバ23は、こうした予測に基づき、先回って次の仮想カメラ位置からの映像を作成しておく。これにより、自由視点映像の作成に要するタイムラグを軽減することができ、よりリアルタイム性の高い自由視点映像を提供することができる。
次に、図6乃至図8を参照して、情報処理システム1全体の処理を説明する。
図6は、ユーザによる自由視点映像の設定及び視聴処理を説明するフローチャートである。
ユーザ端末30のユーザインタフェース部(ディスプレイ部330)には、ネットワークを介して、映像作成サーバ23から順次、3次元モデル映像が送られてくる。ユーザは、ユーザ端末30のユーザインタフェース部を介して、3次元モデル映像内の対象物2点を選択すると、3次元モデル空間データにおける平面座標A,Bが設定される(ステップS301)。次に、ユーザは、ユーザ端末30を介して、前述した仮想カメラ位置の決定に必要な、BC間の距離(BC)及び仮想カメラの高さhを設定する(ステップS302)。ユーザは、以下のように4つの選択肢から1つを選択して設定することができる。
図6は、ユーザによる自由視点映像の設定及び視聴処理を説明するフローチャートである。
ユーザ端末30のユーザインタフェース部(ディスプレイ部330)には、ネットワークを介して、映像作成サーバ23から順次、3次元モデル映像が送られてくる。ユーザは、ユーザ端末30のユーザインタフェース部を介して、3次元モデル映像内の対象物2点を選択すると、3次元モデル空間データにおける平面座標A,Bが設定される(ステップS301)。次に、ユーザは、ユーザ端末30を介して、前述した仮想カメラ位置の決定に必要な、BC間の距離(BC)及び仮想カメラの高さhを設定する(ステップS302)。ユーザは、以下のように4つの選択肢から1つを選択して設定することができる。
第1の選択肢として、ユーザが距離BCと高さhをともに定数になるように設定した場合、映像視聴画面が映像作成サーバ23により、作成される(ステップS303)。
第2の選択肢として、ユーザが距離BCを変数に、高さhを定数になるように設定した場合、変数BCを決定するために、ユーザは、ステップS301で選択した対象物の座標A,Bの間の距離ABに対する比例定数kを設定する(BC=kAB)(ステップS3021)。その後、映像視聴画面が作成される(ステップS303)。
第3の選択肢として、ユーザが距離BCを定数に、高さhを変数になるように設定した場合、変数hを決定するために、ユーザは、ステップS301で選択したA,Bの距離ABに対する比例定数lを設定する(h=lAB)(ステップS3022)。その後、映像視聴画面が作成される(ステップS303)。
第4の選択肢として、ユーザが距離BCを変数に、高さhを変数になるように設定した場合、まず変数BCを決定するために、ユーザは、ステップS301で選択したA,Bの距離ABに対する比例定数kを設定する(BC=kAB)(ステップS3023)。さらに、変数hを決定するため、ユーザは、ステップS301で選択したA,Bの距離ABに対する比例定数lを設定する(h=lAB)(ステップS3024)。その後、映像視聴画面が映像作成サーバ23により、作成される(ステップS303)。
次に、座標A,Bに合わせて仮想カメラ位置を決定する(ステップS304)。ここで、図5及び図7を参照して、映像作成サーバ23による仮想カメラ位置決定処理を詳細に説明する。
まず、直線AB(本例では、図5に示すようにボール3と対象選手5を結ぶ直線)を再算出する(ステップS401)。BC間距離(BC)は変数であるかを判定する(ステップS402)。ここで、BC間距離(BC)は、図5に示すように直線AB上の仮想カメラ11の座標を示す。BC間距離(BC)が変数の場合(ステップS402でYES)には、図6を用いて前述したユーザによる設定(比例定数k)に従い、BC間の距離を算出する(ステップS403)。
次に、仮想カメラの高さ(h)が変数であるかを判定する(ステップS404)。仮想カメラの高さ(h)が変数の場合(ステップS404でYES)には、図6を用いて前述したユーザによる設定(比例定数l)に従い、仮想カメラの高さ(h)を算出する(ステップS405)。以上の処理をすることで、仮想カメラ11の位置を決定することができる(ステップS406)。以上により、仮想カメラの位置決定処理は完了する。
再び図6に戻って、仮想カメラの位置決定後の自由視点映像の設定及び視聴処理を説明する。
ユーザは、仮想カメラの位置が決定された自由視点映像を閲覧し、設定を変更するか否かを決定することができる(ステップS306)。自由視点映像が気にいらなければ(ステップS306でYES)、再び設定処理(ステップS301〜S304)を繰り返す。映像を変更する必要がなければ(ステップS306でNO)、選択した対象物の過去のデータ(詳細は図8を参照して後述する)に基づき、対象物(本例では、対象選手5とボール3)の次の座標位置を予測する(ステップS308)。
ユーザは、仮想カメラの位置が決定された自由視点映像を閲覧し、設定を変更するか否かを決定することができる(ステップS306)。自由視点映像が気にいらなければ(ステップS306でYES)、再び設定処理(ステップS301〜S304)を繰り返す。映像を変更する必要がなければ(ステップS306でNO)、選択した対象物の過去のデータ(詳細は図8を参照して後述する)に基づき、対象物(本例では、対象選手5とボール3)の次の座標位置を予測する(ステップS308)。
図8を参照して、座標位置予測サーバ22による座標予測処理フローを説明する。
座標位置予測サーバ22は予測に必要な入力用のデータセットを用意する(ステップS501)。本例では、対象物は、対象選手5とボール3であるから、例えば対象選手5および対象選手5の周辺にいる他の選手の座標位置、ボール3とボール3の周辺にいる選手の座標位置などのデータセットを用意する。なお、こうした学習済みモデルは、座標位置予測サーバ22内部の記憶部、あるいは、座標位置予測サーバ22ネットワークを介して接続された外部の記憶部に予め記憶しておき、必要の場合にアクセスすることができる。
座標位置予測サーバ22は予測に必要な入力用のデータセットを用意する(ステップS501)。本例では、対象物は、対象選手5とボール3であるから、例えば対象選手5および対象選手5の周辺にいる他の選手の座標位置、ボール3とボール3の周辺にいる選手の座標位置などのデータセットを用意する。なお、こうした学習済みモデルは、座標位置予測サーバ22内部の記憶部、あるいは、座標位置予測サーバ22ネットワークを介して接続された外部の記憶部に予め記憶しておき、必要の場合にアクセスすることができる。
座標位置予測サーバ22のデータベースには、過去の撮影シーン情報が蓄積されている。撮影シーン情報には、選手の移動軌跡データ、選手の特性(ドリブル、パス、シュート等の選択傾向)や、味方チーム及び相手チームのフォーメーション、ボールの位置移動の軌跡データなどが含まれる。選手やボールの過去の移動軌跡データは、深層学習(ディープラーニング)技術等に対する、座標位置予測の教師データに利用することができる。すなわち、ある時点の座標位置のデータから所定時間後の座標位置を予測し、所定時間後の実際の座標位置を正解データとして予測と比較することで、深層学習を行うことが可能である。こうして得られた予測アルゴリズム(学習済みモデルとも呼ばれる)を予測に用いる。予測アルゴリズムでは、複数の予測パターンがそのパターンが発生する確率データとともに形成されている。
座標位置予測サーバ22はステップS501で用意したデータセットを予測アルゴリズムに入力し、所定時間後の座標A,Bの移動位置を予測する(ステップS502)。
座標位置予測サーバ22は、座標A,Bの予測移動位置座標データを映像作成サーバ23に送信する(ステップS503)。
再び図6に戻って、座標予測後の自由視点映像の設定及び視聴処理を説明する。
映像作成サーバ23では、座標位置予測サーバ22から送られた座標A,Bの予測移動位置座標データに基づいて、仮想カメラの予測位置も決定することができる(そのため、映像作成サーバ23は仮想カメラ位置決定サーバとも称される)。仮想カメラの予測位置に基づいて、予め映像データを作成し、準備する(ステップS310)。こうして作成された映像データは、ネットワークを介して、スタジアムで観戦するユーザのユーザ端末30に配信される。
映像作成サーバ23では、座標位置予測サーバ22から送られた座標A,Bの予測移動位置座標データに基づいて、仮想カメラの予測位置も決定することができる(そのため、映像作成サーバ23は仮想カメラ位置決定サーバとも称される)。仮想カメラの予測位置に基づいて、予め映像データを作成し、準備する(ステップS310)。こうして作成された映像データは、ネットワークを介して、スタジアムで観戦するユーザのユーザ端末30に配信される。
本実施の形態によれば、予測アルゴリズムによる座標予測により、予め仮想カメラ位置を予測し、映像を準備することで、遅延を軽減し、リアルタイム性の高い自由視点映像を作成することができる。また、予測された位置の仮想カメラから映ることがないと判断できる部分については、3次元モデル空間データは作成しないので、3次元モデル空間データの作成の処理効率を向上させることができる。
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、DVD(Digital Versatile Disc)、BD(Blu-ray(登録商標) Disc)、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上記実施形態では、2つの対象物として、対象選手とボール(両方とも移動する対象物)を選択したが、これに限定されない。例えば、2つの対象物として、味方チームの選手と相手チームの選手(両方とも移動する対象物)としてもよいし、ゴールポストとフリーキッカーである対象選手(一方は固定対象物で、他方は移動する対象物)としてもよい。また予測アルゴリズムの学習は座標位置予測サーバ22で行うようになっているが、別の学習専用サーバで行うようにし、座標位置予測サーバ22はその学習済みの予測アルゴリズムを学習専用サーバからダウンロードして使うようにしてもよい。複数の予測アルゴリズムは用意し、その中から1つまたは複数を選択するようにしてもよい。例えば、選手ごとの動きに特化した予測アルゴリズムをそれぞれ作り、それらを組み合わせて予測を行うようにしてもよい。また、学習と予測に用いる所定時間は1つではなく複数を設定してもよい。
1 情報処理システム
3 ボール
5 対象選手
6 相手選手
7 フィールド
8 ハーフウェイライン
10 実カメラ
11 仮想カメラ
21 3Dモデル空間作成サーバ
22 座標位置予測サーバ
23 映像作成サーバ
30 ユーザ端末
100 情報処理装置
101 生成部
102 選択部
103 設定部
104 参照部
105 予測部
106 決定部
107 作成部
3 ボール
5 対象選手
6 相手選手
7 フィールド
8 ハーフウェイライン
10 実カメラ
11 仮想カメラ
21 3Dモデル空間作成サーバ
22 座標位置予測サーバ
23 映像作成サーバ
30 ユーザ端末
100 情報処理装置
101 生成部
102 選択部
103 設定部
104 参照部
105 予測部
106 決定部
107 作成部
Claims (6)
- 複数台のカメラにより撮像された複数の撮影画像に基づいて、3次元モデル空間データを生成するとともに、該3次元モデル空間データを用いて3次元モデル映像を生成する生成部と、
前記3次元モデル映像から少なくとも1つの移動する対象物を含む2つの対象物を選択する選択部と、
前記2つの対象物に対して、前記3次元モデル空間データにおける2点の座標を設定する設定部と、
前記2つの対象物に関連する過去の移動データを参照する参照部と、
前記過去の移動データに基づき、前記2つの対象物の所定時間後の次の2点の座標を予測する予測部と、
前記予測された次の2点の座標から次の仮想カメラの予測位置を決定する決定部と、
前記次の仮想カメラの予測位置に基づいて、次の3次元モデル空間データと次の3次元モデル映像を作成する作成部と、を備える情報処理装置。 - 前記予測部は、前記過去の移動データに基づき、ディープラーニングによって得られた学習済みモデルを用いて座標を予測する、請求項1に記載の情報処理装置。
- 前記決定部は、前記2つの対象物の次の2点の座標をつなぐ直線上に前記仮想カメラの座標を設定する、請求項1に記載の情報処理装置。
- 前記決定部は、前記2つの対象物の次の2点の座標間の距離に比例して、前記仮想カメラの座標及び高さを設定する、請求項3に記載の情報処理装置。
- 複数台のカメラにより撮像された複数の撮影画像に基づいて、3次元モデル空間データを生成するとともに、該3次元モデル空間データを用いて3次元モデル映像を生成し、
前記3次元モデル映像から少なくとも1つの移動する対象物を含む2つの対象物を選択し、
前記2つの対象物に対して、前記3次元モデル空間データにおける2点の座標を設定し、
前記2つの対象物に関連する過去の移動データを参照し、
前記過去の移動データに基づき、前記2つの対象物の所定時間後の次の2点の座標を予測し、
前記予測された次の2点の座標から次の仮想カメラの予測位置を決定し、
前記次の仮想カメラの予測位置に基づいて、次の3次元モデル空間データと次の3次元モデル映像を作成する、情報処理方法。 - 複数台のカメラにより撮像された複数の撮影画像に基づいて、3次元モデル空間データを生成するとともに、該3次元モデル空間データを用いて3次元モデル映像を生成する処理と、
前記3次元モデル映像から少なくとも1つの移動する対象物を含む2つの対象物を選択する処理と、
前記2つの対象物に対して、前記3次元モデル空間データにおける2点の座標を設定する処理と、
前記2つの対象物に関連する過去の移動データを参照する処理と、
前記過去の移動データに基づき、前記2つの対象物の所定時間後の次の2点の座標を予測する処理と、
前記予測された次の2点の座標から次の仮想カメラの予測位置を決定する処理と、
前記次の仮想カメラの予測位置に基づいて、次の3次元モデル空間データと次の3次元モデル映像を作成する処理と、をコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019042400A JP2020144748A (ja) | 2019-03-08 | 2019-03-08 | 情報処理装置、情報処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019042400A JP2020144748A (ja) | 2019-03-08 | 2019-03-08 | 情報処理装置、情報処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020144748A true JP2020144748A (ja) | 2020-09-10 |
Family
ID=72354284
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019042400A Pending JP2020144748A (ja) | 2019-03-08 | 2019-03-08 | 情報処理装置、情報処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020144748A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7218979B1 (ja) | 2022-07-07 | 2023-02-07 | Jp Games株式会社 | 情報処理装置、情報処理方法及びプログラム |
-
2019
- 2019-03-08 JP JP2019042400A patent/JP2020144748A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7218979B1 (ja) | 2022-07-07 | 2023-02-07 | Jp Games株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2024008779A (ja) * | 2022-07-07 | 2024-01-19 | Jp Games株式会社 | 情報処理装置、情報処理方法及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6994556B2 (ja) | 異なるレンダリング及び音像定位を使用する無線ヘッドマウントディスプレイ | |
WO2020090786A1 (ja) | 仮想空間中のアバター表示システム、仮想空間中のアバター表示方法、コンピュータプログラム | |
JP6558587B2 (ja) | 情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム | |
US9779538B2 (en) | Real-time content immersion system | |
WO2020210213A1 (en) | Multiuser asymmetric immersive teleconferencing | |
US11956546B2 (en) | Selecting spectator viewpoints in volumetric video presentations of live events | |
EP3573026B1 (en) | Information processing apparatus, information processing method, and program | |
JPWO2016009865A1 (ja) | 情報処理装置及び方法、表示制御装置及び方法、再生装置及び方法、プログラム、並びに情報処理システム | |
JP7023696B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7423974B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
US20180288390A1 (en) | Methods and Systems for Capturing a Plurality of Three-Dimensional Sub-Frames for Use in Forming a Volumetric Frame of a Real-World Scene | |
US20210304418A1 (en) | Digital representation of multi-sensor data stream | |
US20230154106A1 (en) | Information processing apparatus, information processing method, and display apparatus | |
JP7087158B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2022501748A (ja) | 立体ストライクゾーンの表示方法及び装置 | |
WO2021213301A1 (zh) | 深度图处理方法、视频重建方法及相关装置 | |
KR102105510B1 (ko) | 타임 슬라이스 영상을 제공하는 서버, 방법 및 사용자 단말 | |
JP2020144748A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2019197340A (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
US20230353717A1 (en) | Image processing system, image processing method, and storage medium | |
JP7514346B2 (ja) | 画像処理装置及び方法、プログラム | |
JP7322191B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP6149967B1 (ja) | 動画配信サーバ、動画出力装置、動画配信システム、及び動画配信方法 | |
JP2020013470A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2023150471A1 (en) | Directing computer game streaming |