JP2022043539A - 画像処理装置、画像処理システム、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理システム、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2022043539A JP2022043539A JP2020148857A JP2020148857A JP2022043539A JP 2022043539 A JP2022043539 A JP 2022043539A JP 2020148857 A JP2020148857 A JP 2020148857A JP 2020148857 A JP2020148857 A JP 2020148857A JP 2022043539 A JP2022043539 A JP 2022043539A
- Authority
- JP
- Japan
- Prior art keywords
- speed
- virtual viewpoint
- image
- image processing
- maximum speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Studio Devices (AREA)
Abstract
【課題】仮想視点を効率よく設定できるようにする。
【解決手段】複数の撮像装置が複数の異なる方向からオブジェクトを撮像することによって得られた動画像に基づいて、仮想視点から見た仮想視点画像を生成する画像生成装置120は、前記仮想視点の移動経路を指示するための操作情報であって、ユーザによるコントローラの操作の内容を示す操作情報を取得する受付部808と、前記オブジェクトの移動速度を取得するオブジェクト移動速度算出部807と、前記操作情報が示す前記コントローラの操作量に応じた前記仮想視点の移動速度をオブジェクト移動速度算出部807によって取得された前記オブジェクトの移動速度に基づき決定する仮想カメラ情報決定部810と、を有する。
【選択図】図4
【解決手段】複数の撮像装置が複数の異なる方向からオブジェクトを撮像することによって得られた動画像に基づいて、仮想視点から見た仮想視点画像を生成する画像生成装置120は、前記仮想視点の移動経路を指示するための操作情報であって、ユーザによるコントローラの操作の内容を示す操作情報を取得する受付部808と、前記オブジェクトの移動速度を取得するオブジェクト移動速度算出部807と、前記操作情報が示す前記コントローラの操作量に応じた前記仮想視点の移動速度をオブジェクト移動速度算出部807によって取得された前記オブジェクトの移動速度に基づき決定する仮想カメラ情報決定部810と、を有する。
【選択図】図4
Description
本開示の技術は、画像処理装置、画像処理システム、画像処理方法、及びプログラムに関する。
複数のカメラを異なる位置に設置して複数の視点で同期して撮像し、撮像により得られた複数の画像を用いて、仮想視点から見た画像である仮想視点画像を生成する技術がある。
特許文献1には、オブジェクトを取り囲むように配置された複数のカメラの撮像画像を用いて、任意の視点から見たオブジェクトの画像を生成する方法が開示されている。
仮想視点の移動方向および移動速度は、ユーザによるコントローラ等の操作に応じて決定される。また、仮想視点画像の生成では、サッカーなどの試合が行われているフィールド内の選手またはボール等のオブジェクトを追従するような視点からの仮想視点画像を生成することが考えられる。オブジェクトを適切に追従するようにユーザが仮想視点を操作するためには、コントローラの操作量に対応する仮想視点の移動速度が適切に設定されていることが好ましい。
しかしながら、仮想視点の追従対象となりうるオブジェクトの速度は、生成される仮想視点画像の内容により異なる。例えば、追従対象となりうる選手またはボール等の速さは、バスケットボール、サッカー、陸上競技など競技種目の違い、または、プロ選手の試合、アマチュア選手の試合などの競技レベルの違いなどにより異なる。このため、仮想視点画像の生成の都度、コントローラの操作量に対応する仮想視点の移動速度を設定する手間が発生し、仮想視点を効率よく設定することができないという問題があった。
本開示の技術は、仮想視点を効率よく設定できるようにすることを目的とする。
本開示の画像処理装置は、複数の撮像装置が複数の異なる方向からオブジェクトを撮像することによって得られた動画像に基づいて、仮想視点から見た仮想視点画像を生成する画像処理装置であって、前記仮想視点の移動経路を指示するための操作情報であって、ユーザによるコントローラの操作の内容を示す操作情報を取得する第1の取得手段と、
前記オブジェクトの移動速度を取得する第2の取得手段と、前記操作情報が示す前記コントローラの操作量に応じた前記仮想視点の移動速度を、前記第2の取得手段によって取得された前記オブジェクトの移動速度に基づき決定する決定手段と、を有することを特徴とする。
前記オブジェクトの移動速度を取得する第2の取得手段と、前記操作情報が示す前記コントローラの操作量に応じた前記仮想視点の移動速度を、前記第2の取得手段によって取得された前記オブジェクトの移動速度に基づき決定する決定手段と、を有することを特徴とする。
本開示の技術によれば、仮想視点を効率よく設定することができる。
以下、添付図面を参照して実施形態を詳細に説明する。なお、以下の実施形態は本開示の技術を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本開示の技術の解決手段に必須のものとは限らない。
<実施形態1>
[システム構成]
図1は、本実施形態の画像処理システム100の構成を示す図である。本実施形態の画像処理システム100は仮想視点画像を生成するためのシステムである。
[システム構成]
図1は、本実施形態の画像処理システム100の構成を示す図である。本実施形態の画像処理システム100は仮想視点画像を生成するためのシステムである。
仮想視点画像とは、実際に設置されている撮像装置の設置位置及び撮像方向とは異なる、仮想視点の位置及び仮想視点からの視線方向等に基づいて生成される画像である。例えば、スタジアム内の異なる位置に配置された複数の実カメラが同期して撮像を行うことによって得られた撮像画像の画像データに基づき、実在しないカメラの視点である仮想視点から見た仮想視点画像が生成される。仮想視点画像は、動画であっても、静止画であってもよい。本実施形態では、仮想視点画像は動画であるものとして説明を行う。
仮想視点画像によって、例えば、サッカーやバスケットボールの試合を撮像した撮像画像に基づき、迫力のある視点からのコンテンツを視聴者に提供することができる。他にも、コンテンツを視聴しているユーザ自身が、仮想視点を移動させながら試合を観戦することが出来るようになり、従来の撮像画像と比較して仮想視点画像はユーザに高臨場感を与えることができる。また、録画コンテンツを用いれば、視点の移動だけでなく、再生時刻の変更による早戻し、一時停止、スロー再生などの仮想視点画像を生成することが可能となる。
仮想視点画像の生成は、複数の撮像装置の撮像画像をサーバなどの画像処理部に集約し、その画像処理部にて、仮想視点に基づくレンダリングなどの処理をすることによって行われる。そして、生成された画像を端末に表示することでユーザは仮想視点画像を閲覧できる。なお、本実施形態では説明の便宜上、仮想視点を表す概念として、仮想視点を仮想的なカメラ(仮想カメラ)に置き換えて説明する場合がある。このとき、仮想カメラの位置は仮想視点の位置、仮想視点からの視線方向は仮想カメラの姿勢にそれぞれ対応する。また、仮想視点画像は、仮想カメラにより仮想的に撮像されることにより得られる撮像画像に対応する。
画像処理システム100は、複数の撮像装置110と、画像生成装置120と、端末装置130と、を有する。各撮像装置110と画像生成装置と120は、LAN(Local Area Network)ケーブル等の通信ケーブルを介して接続している。なお、本実施形態においては、通信ケーブルはLANケーブルであるものとして説明するが、通信ケーブルはLANケーブルに限定されるものではない。
撮像装置110は、例えば、静止画像及び動画像等の撮像画像を撮像可能なデジタルカメラである。各撮像装置110は、サッカー場等のスタジアムにおいて、特定のオブジェクトを取り囲むように設置され静止画像または動画像を撮像する。撮像装置110による撮像対象は、例えば、サッカー場のフィールドである。撮像された画像は、撮像装置110から画像生成装置120に送信される。
図2は、撮像装置110の設置例を示す図である。本実施形態においては、複数の撮像装置110は、撮像対象であるサッカー場のすべて又は一部を撮像するように設置されている。つまり、本実施形態の画像処理システム100の撮像装置110は、オブジェクトを複数の方向から撮像するための複数の撮像装置である。
画像生成装置120は、仮想視点画像を生成する画像処理装置であり、例えば、サーバによって構成される。画像生成装置120は、データベース機能を有する。データベースには、競技の開始前などオブジェクトが存在しない状態の撮像対象を撮像装置110が予め撮像することによって得られた画像が、背景画像として記憶されている。ただし、背景画像は予め撮像された画像に限定されず、随時更新されてもよい。
また、画像生成装置120は、撮像装置110が撮像することにより得られた、オブジェクトが含まれる撮像画像(フレーム)を取得する。競技中の選手などオブジェクトが存在するシーンでは、撮像画像内の特定のオブジェクトを示す前景を、画像処理により、撮像画像から分離して特定オブジェクト画像として保持しておく。特定オブジェクトは、競技する選手だけでなく、例えば、控え選手、監督、審判など他の特定人物であってもよく、ボールやゴールなど、画像パターンが予め定められている物体であってもよい。
画像生成装置120は、仮想視点画像を、データベースで管理している背景画像と特定オブジェクト画像とに基づき生成する。生成された仮想視点画像は、LANケーブルなどを介して、端末装置130に送信される。
仮想視点画像の生成方法として、例えば、モデルベースレンダリング(Model-Based Rendering:MBR)がある。MBRとは、オブジェクトを複数の方向から撮像した複数の撮像画像に基づいて生成される三次元形状(三次元モデル)を用いて仮想視点画像を生成する方式である。具体的には、視体積交差法、Multi-View-Stereo(MVS)などの三次元形状復元方法により得られた対象シーンの三次元モデルを利用し、仮想カメラからのシーンの見えを画像として生成する技術である。なお、仮想視点画像の生成方法は、MBR以外のレンダリング方法が用いられてもよい。例えば、イメージベースレンダリング(Image-Based Rendering:IBR)が用いられてもよい。
端末装置130は、例えば、PC(Personal Computer)やタブレットによって構成される。端末装置130のコントローラ131は、例えば、マウス、キーボード、6軸コントローラ、またはタッチパネル等によって構成される。ユーザ(操縦者)がコントローラ131を操作することで、端末装置130は、ユーザによるコントローラ131の操作に応じた、再生時刻と、仮想視点の移動量および移動方向と、に関する指示を受け付ける。端末装置130は、受け付けたユーザの指示に応じた情報を示す伝送信号を画像生成装置120に送信する。表示部132は、例えば、液晶ディスプレイ等によって構成され、静止画像や動画像が表示される。例えば、表示部132には画像生成装置120から受信した仮想視点画像が表示される。
端末装置130はヘッドマウントディスプレイ等で構成されてもよく、外部の装置で、ヘッドマウントディスプレイ等の操作による位置および方向を検出して、検出された結果をユーザが指示した仮想視点の情報として画像生成装置120に送信されてもよい。
[ハードウェア構成]
図3は、画像生成装置120のハードウェア構成を示す図である。端末装置130のハードウェア構成も、画像生成装置120のハードウェア構成と同様である。画像生成装置120は、CPU301と、ROM302と、RAM303と、HDD304と、表示部305と、入力部306と、通信部307と、を有する。
図3は、画像生成装置120のハードウェア構成を示す図である。端末装置130のハードウェア構成も、画像生成装置120のハードウェア構成と同様である。画像生成装置120は、CPU301と、ROM302と、RAM303と、HDD304と、表示部305と、入力部306と、通信部307と、を有する。
CPU301は、ROM302に記憶された制御プログラムを読み出して各種処理を実行する。RAM303は、CPU301の主メモリ、ワークエリア等の一時記憶領域として用いられる。HDD304は、各種データや各種プログラム等を記憶する。
表示部305は、例えば液晶ディスプレイやLED等で構成され、各種情報を表示する。入力部306は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。CPU801は、表示部305を制御する表示制御部、及び入力部306を制御する操作制御部としても機能する。本実施形態では表示部305と入力部306が画像生成装置120の内部に存在するものとするが、表示部305と入力部306との少なくとも一方が画像生成装置120の外部に別の装置として存在していてもよい。
通信部307は、ネットワークを介して撮像装置110等の外部装置との通信処理を行う。なお、ネットワークとしては、イーサネット(登録商標)が挙げられる。また、他の例としては、通信部307は、無線により外部装置との通信を行ってもよい。
また、画像生成装置120はCPU301とは異なる専用の1又は複数のハードウェアあるいはGPU(Graphics Processing Unit)を有してもよい。そして、CPU301による処理の少なくとも一部をGPUあるいは専用のハードウェアが行うようにしても良い。専用のハードウェアの例としては、ASIC(特定用途向け集積回路)、及びDSP(デジタルシグナルプロセッサ)等がある。
[仮想視点の操作について]
ここで、本実施形態の概要を説明する。仮想視点の位置および仮想視点からの視線方向を示す仮想カメラの移動経路を、エンドユーザや専任のオペレータ等のユーザが操作することができる。仮想カメラの操縦者であるユーザは、UI画面を見ながらコントローラ131の操作レバーを傾ける操作をすることで、仮想カメラの移動方向や移動速度等を指示することができる。
ここで、本実施形態の概要を説明する。仮想視点の位置および仮想視点からの視線方向を示す仮想カメラの移動経路を、エンドユーザや専任のオペレータ等のユーザが操作することができる。仮想カメラの操縦者であるユーザは、UI画面を見ながらコントローラ131の操作レバーを傾ける操作をすることで、仮想カメラの移動方向や移動速度等を指示することができる。
仮想カメラの移動速度は、コントローラの操作量に応じて決定される。例えば、コントローラ131が6軸コントローラの場合、ユーザが操作レバーを横方向や縦方向などの方向へ倒す角度(操作量)を変えることで仮想カメラの移動速度が変わるように、制御される。画像生成装置120は、当該操作に応じた入力値(操作レバーであればその傾けた方向と角度)を順次取得し、取得された入力値に基づき仮想カメラ情報を生成する。
例えば、ユーザが指示可能な仮想カメラの移動速度の最高の速度が設定されている。操作レバーが可動域の最大に倒されると、予め設定された最高速度で移動するように、仮想カメラの移動速度が制御される。具体的には、操作レバーによって、縦、横、高さを表す、X軸、Y軸、Z軸の方向に対して仮想カメラの移動方向を操作することが可能であり、各軸の操作レバーの可動域の可変段階は+10から-10段階であるものとする。この場合、操作レバーをある軸の方向の可動域の最大に達するまで倒すと、+10という値が、その軸の値として入力される。設定されている仮想カメラの最高速度が5m/秒の場合、操作レバーによる入力値が+10のときは、仮想カメラが5m/秒で移動するように制御される。入力値が可変段階のうち+1の値のときは、設定されている最高速度の1/10の0.5m/秒で仮想カメラが移動するように制御される。
図4は、本実施形態の仮想視点画像の生成を説明するための図であり、三次元空間上にオブジェクトの三次元モデルとユーザが操作する仮想カメラとを示した図である。図4では、三次元空間上に、撮像装置110の撮像画像に基づき生成されたオブジェクト401、402の三次元モデルが表示されている。実線の矢印411、412は、後述する三次元形状情報に基づき算出された所定時間内でのオブジェクトの位置の軌跡を示している。また、破線の矢印413は、仮想視点の位置および仮想視点からの視線方向を示す仮想カメラ403の所定時間内での位置の軌跡(カメラパス)を示している。つまり図4では、仮想カメラ403がオブジェクト401を追従するような視点で仮想視点画像を生成する場合の仮想カメラのカメラパスを示している。
図4に示すように、オブジェクト401に追従するような仮想視点での仮想視点画像を生成する場合がある。この場合、仮想カメラ403がそのオブジェクト401に対応する速度で移動するように、ユーザがコントローラ131を操作する。
予め設定されている仮想カメラ403の最高速度が、オブジェクト401の最高速度より遅いと、仮想カメラ403はオブジェクト401を継続的に追従できなくなる。このため、仮想カメラ403の最高速度を十分な速さに設定しておくこと考えられる。しかしながら、この場合は、コントローラ131の操作レバーの稼働段階を+1だけ傾けた場合に対応する仮想カメラ403の速度が大きくなり、ユーザが、追従対象のオブジェクト401の速度に合わせて仮想カメラ403の速度を操作するのが難しくなる。このため、ユーザが操作する仮想カメラ403の最高速度は、追従するオブジェクト401の最高速度に対応する速度に予め設定されていることが好ましい。
生成される仮想視点画像のコンテンツの内容、追従するオブジェクトに応じて、オブジェクトの最高速度は異なる。このため、仮想視点画像を生成する都度、ユーザは仮想カメラの最高速度を設定するのが好ましい。しかしながら、ユーザが、仮想視点画像を生成する都度、仮想カメラの最高速度を設定するのは手間である。そこで本実施形態では、オブジェクトの移動速度を算出し、仮想カメラの最高速度をオブジェクトの移動速度に応じた速度に設定する。
図5は、端末装置130の表示部132に表示される画面500の例である。画面500は、仮想カメラの最高速度を設定するためのオブジェクトを、ユーザが選択するための画面である。ユーザがオブジェクトを選択するための画面500では、識別可能なオブジェクトが少なくとも1つ以上表示される。ユーザは画面500からオブジェクトを選択することで、仮想カメラの最高速度を設定するためのオブジェクトが指定される。
図6は、オブジェクトを選択するための画面500において指定されたオブジェクトの最高速度を、仮想カメラの最高速度として設定する方法を説明するための概念図である。図6(a)に示すように、ユーザによって指定されたオブジェクト401の最高速度を、それぞれの方向の成分ごとに表すと、X方向に10m/秒、Y方向に5m/秒であるとする。この場合、図6(b)に示すように、仮想カメラ403の最高速度は、同様にX方向に10m/秒、Y方向に5m/秒として設定される。なお、仮想カメラ403の最高速度の設定値は上記に限定されない。例えば、オブジェクト401のX方向の最高速度とY方向の最高速度とを比較し、大きい方が仮想カメラ403のX方向及びY方向の最高速度として設定されてもよい。この場合、例えば、オブジェクト401の最高速度が、X方向に10m/秒、Y方向に5m/秒であれば、仮想カメラ403の最高速度は、X方向及びY方向ともに10m/秒となる。
図7は、端末装置130の表示部132に表示された、オブジェクトの最高速度に基づき最高速度が設定された仮想カメラの視点からの仮想視点画像を示す図である。ユーザが指定したオブジェクトの最高速度と同じ速度で仮想視点を操作することができるため、ユーザは指定したオブジェクトを仮想カメラで追従する操作が容易となり、指定したオブジェクトが仮想カメラの画角内に収められなくなることが軽減される。また、仮想カメラの最高速度を都度設定する手間が軽減される。なお、図7に示すように、オブジェクトの移動速度が、仮想カメラの最高速度に適用されたことを示すために、設定された仮想カメラの最高速度を仮想視点画像に重畳して表示してもよい。また、オブジェクトごとの最高速度を画面に表示してもよい。
[機能構成]
図8は、画像生成装置120の機能構成を示す図である。画像生成装置120は、撮像画像取得部801、前景背景分離部802、撮像画像データ管理部803、カメラパラメータ管理部804、三次元モデル生成部805、オブジェクト位置履歴管理部806、オブジェクト移動速度算出部807を有する。さらに、画像生成装置120は、受付部808は、オブジェクト指定部809、仮想カメラ情報決定部810、仮想視点画像生成部811、および画像出力部812を有する。
図8は、画像生成装置120の機能構成を示す図である。画像生成装置120は、撮像画像取得部801、前景背景分離部802、撮像画像データ管理部803、カメラパラメータ管理部804、三次元モデル生成部805、オブジェクト位置履歴管理部806、オブジェクト移動速度算出部807を有する。さらに、画像生成装置120は、受付部808は、オブジェクト指定部809、仮想カメラ情報決定部810、仮想視点画像生成部811、および画像出力部812を有する。
撮像画像取得部801は、撮像装置110からLANケーブルを介して画像生成装置120に入力された伝送信号を撮像画像データに変換することで撮像画像データを取得する。撮像画像取得部801は、撮像画像データを前景背景分離部802に出力する。
前景背景分離部802は、撮像画像取得部801が取得した撮像画像のうち、競技の開始前などオブジェクトが存在しない状態の撮像対象の画像を、背景画像データとして、撮像画像データ管理部803へ出力する。また、競技中の撮像対象を撮像することによって得られた撮像画像から背景画像データとオブジェクトの存在する撮像画像データとの差分データを生成することで撮像画像から選手などオブジェクトを抽出する。前景背景分離部802は、オブジェクトを抽出した結果得られたデータは、前景画像データとして、撮像画像データ管理部803へ出力する。
前景画像データには、例えば、オブジェクトの形状を示す前景領域を黒で示し、それ以外の領域を白で示す2値画像であるマスク画像と、撮像画像から切り出された前景のテクスチャを表すテクスチャ画像と、が含まれる。
撮像画像データ管理部803は、前景背景分離部802から出力された背景画像データおよび前景画像データを、ROM302またはHDD304等の記憶部に記憶させる。また、撮像画像データ管理部803は、三次元モデル生成部805へ前景画像データを出力し、仮想視点画像生成部811により指定された背景画像データと前景画像データとを仮想視点画像生成部811に出力する。
カメラパラメータ管理部804は、複数の撮像装置110の位置情報および撮像装置110の焦点距離やシャッタースピードなどの設定情報をカメラパラメータ情報として、予め記憶部に記憶させて管理している。撮像装置110は予め決められた位置に設置されているものとする。また、カメラパラメータ管理部804は、カメラパラメータ情報を三次元モデル生成部805と、仮想視点画像生成部811と、へ出力する。
三次元モデル生成部805は、撮像画像データ管理部803から取得した前景画像データと、カメラパラメータ管理部804から取得したカメラパラメータ情報と、を用いて、オブジェクトの三次元形状を推定し、オブジェクトの三次元形状情報を生成する。例えば、三次元モデル生成部805は、視体積交差法などの三次元形状復元方法を用いてオブジェクトの三次元形状情報を生成する。三次元形状情報(三次元形状データとも記す)によって表されるオブジェクトの三次元形状を三次元モデルとも記す。三次元モデル生成部805は、生成したオブジェクトの三次元形状情報を仮想視点画像生成部811へ出力する。
オブジェクト位置履歴管理部806は、三次元モデル生成部805から取得した三次元形状情報に基づき撮像開始時刻から撮像終了時刻までのそれぞれの撮像時刻におけるオブジェクトの位置を決定する。そして、オブジェクト位置履歴管理部806は、時刻ごとのオブジェクトの位置情報を位置履歴情報として記憶させる。位置履歴情報には、例えば、時刻ごとのオブジェクトの三次元モデルの重心の位置、およびオブジェクトの大きさ等が含まれている。オブジェクト位置履歴管理部806は、オブジェクトの位置履歴情報をオブジェクト移動速度算出部807へ出力する。なお、オブジェクトの位置履歴情報には、撮像開始時刻から撮像終了時刻までの間のすべての時刻におけるオブジェクトの位置情報が含まれている必要はない。例えば、位置履歴情報には、現在の再生時刻から過去の時刻におけるオブジェクトの位置情報など、任意の時間範囲におけるオブジェクトの位置情報が含まれているだけでもよい。
オブジェクト移動速度算出部807は、オブジェクトの位置履歴情報を取得し、オブジェクトの位置履歴情報に基づき、単位時間あたりに移動したオブジェクトの移動距離を算出して、オブジェクトの移動速度を算出する。単位時間は本実施形態では1秒であるものとして説明するが、単位時間は1秒に限らず、分、時などでもよい。
さらに、オブジェクト移動速度算出部807は、所定期間におけるオブジェクトの移動速度から、速さを示す値が最も大きい速度(最高速度)を導出し、オブジェクトの最高速度を、オブジェクトの移動速度情報として仮想カメラ情報決定部810へ出力する。
最高速度を導出するための所定期間は、例えば、撮像開始から撮像終了までの撮像期間である。または、撮像開始から撮像終了までの撮像期間のうちのいずれかの期間を所定期間としてもよい。例えば、撮像画像がライブ撮像に基づく画像である場合は、撮像開始時刻から現在時刻などの最新の撮像時刻までの期間を所定期間としてもよい。
なお、移動速度情報はオブジェクトの最高速度に限られない。他にも例えば、最高速度に達した期間が短い等の場合は、速さを示す値が2番目に大きい速度の情報を移動速度情報としてもよい。
複数のオブジェクトの三次元モデルが生成された場合、オブジェクト移動速度算出部807は、オブジェクトごとに最高速度を算出する。そして指定オブジェクト情報によってオブジェクトが指定されている場合、指定されたオブジェクトの移動速度情報を仮想カメラ情報決定部810へ出力する。
受付部808は、ユーザによるコントローラ131の操作情報を取得する。受付部808は、端末装置130から出力された、ユーザによるコントローラ131の操作に応じた伝送信号を受け付ける。受付部808は、伝送信号を各種ユーザ入力データに変換することで、ユーザによるコントローラ131の操作情報を取得する。ユーザ入力データが、再生時刻情報または仮想カメラに係る指示である場合、受付部808はユーザ入力データを仮想カメラ情報決定部810へ出力する。ユーザ入力データが、ユーザが指定したオブジェクトを示す情報である「指定オブジェクト情報」である場合、受付部808はユーザ入力データをオブジェクト指定部809へ出力する。なお、ユーザ入力データはこれらに限らず、各種機能に対する設定の変更指示などが含まれもよい。
再生時刻情報とは、ユーザによって指定される撮像画像の撮像時刻の時刻情報である。ユーザが再生時刻を指定することで、その時刻に撮像された撮像画像に基づき生成された三次元空間上の三次元モデルを用いて仮想視点画像が生成される。
オブジェクト指定部809は、受付部808から指定オブジェクト情報を取得し、指定オブジェクト情報によって指定されたオブジェクトをオブジェクト移動速度算出部807に通知する。
仮想カメラ情報決定部810は、受付部808から仮想カメラに係るユーザ入力データを取得し、三次元空間内の再生時刻での仮想視点の位置と方向とを含む仮想カメラ情報を生成する。
仮想カメラ情報は、ユーザの指示に基づき、仮想視点の三次元空間における位置、角度、および移動速度等を示すパラメータである。仮想カメラ情報は、撮像装置110が撮像したスタジアムの中央など所定位置に対する相対的な位置、つまり所定位置に対する前後、左右、上下の位置情報、その所定位置からの向き、つまり前後、左右、上下を軸とする角度の方向情報とが少なくとも含まれる。
例えば、ユーザがコントローラ131を操作して、コントローラ131をある方向に可動域の最大に達するように倒すと、端末装置130から受付部808を介して+10という入力値が取得される。予め設定された仮想カメラの最高速度が5m/秒である場合、仮想カメラ情報決定部810は、入力値が+10の値のときは、仮想カメラが5m/秒で移動するものとして仮想カメラ情報を生成する。入力値が+1という値のときは、仮想カメラが0.5m/秒で移動するものとして仮想カメラ情報を生成する。
仮想カメラ情報決定部810は、オブジェクトが指定されたことが通知された場合、指定されたオブジェクトの最高速度に基づき、仮想カメラの最高速度を設定する。例えば、指定されたオブジェクトの最高速度が10m/秒である場合、仮想カメラの最高速度は10m/秒に設定される。この場合、受付部808から入力値が+10という値が取得されたときは、仮想カメラが10m/秒で移動するように仮想カメラ情報が生成される。
なお、仮想カメラ情報決定部810は、仮想カメラの最高速度を、指定されたオブジェクトの最高速度と同値に設定しなくてもよく、仮想カメラの最高速度はオブジェクトの最高速度に対応する速度に設定されればよい。例えば、指定されたオブジェクトの最高速度に所定割合を乗算した結果得られた値を、仮想カメラの最高速度として設定してもよい。例えば、指定されたオブジェクトの最高速度が10m/秒である場合、指定されたオブジェクトの最高速度の1.2倍の12m/秒を、仮想カメラの最高速度として設定してもよい。
仮想カメラ情報決定部810は、仮想カメラ情報と再生時刻情報とを仮想視点画像生成部811へ出力する。なお、仮想空間の原点はスタジアムの中心などが予め設定されているものとする。
仮想視点画像生成部811は、再生時刻情報を仮想カメラ情報決定部810から取得し、仮想カメラ情報に基づいた前景画像データと背景画像データとを撮像画像データ管理部803から取得する。また撮像装置110のカメラパラメータ情報をカメラパラメータ管理部804から取得し、オブジェクトの三次元形状情報を三次元モデル生成部805から取得する。そして、仮想視点画像生成部811は、背景画像データを仮想カメラの位置から背景として見えるように投影変換や画像処理を施して仮想視点画像の背景とする。仮想視点画像生成部811は、仮想カメラから見た三次元モデルに対して、当該時刻に実カメラで撮像された画像データの色情報でレンダリング(着色処理)して仮想視点画像を生成する。例えば、仮想カメラからオブジェクトの三次元モデルが見えている状況で、三次元モデルの位置から所定の範囲内に実カメラ位置情報がある場合、その実カメラの前景画像データに基づき三次元モデルに着色処理される。仮想視点画像生成部811は、生成した仮想視点画像を画像出力部812へ出力する。
画像出力部812は、仮想視点画像生成部811から出力された画像データを、端末装置130へ伝送可能な伝送信号に変換して、端末装置130へ出力する。
図8の各部の機能は、画像生成装置120のCPUがROMまたは外部記憶装置に記憶されているプログラムコードをRAMに展開し実行することにより実現される。または、上記の各部の一部または全部の機能をASICや電子回路等のハードウェアで実現してもよい。
[画像処理装置による画像処理について]
図9は、画像生成装置120における仮想視点画像を生成する画像処理の一例を示すフローチャートである。図9のフローチャートで示される一連の処理は、画像生成装置120のCPUがROMに記憶されているプログラムコードをRAMに展開し実行することにより行われる。また、図9におけるステップの一部または全部の機能をASICまたは電子回路等のハードウェアで実現してもよい。なお、各処理の説明における記号「S」は、当該フローチャートにおけるステップであることを意味し、以後のフローチャートにおいても同様とする。
図9は、画像生成装置120における仮想視点画像を生成する画像処理の一例を示すフローチャートである。図9のフローチャートで示される一連の処理は、画像生成装置120のCPUがROMに記憶されているプログラムコードをRAMに展開し実行することにより行われる。また、図9におけるステップの一部または全部の機能をASICまたは電子回路等のハードウェアで実現してもよい。なお、各処理の説明における記号「S」は、当該フローチャートにおけるステップであることを意味し、以後のフローチャートにおいても同様とする。
本フローチャートでは、撮像装置110は動画を撮像し、画像生成装置120は動画を構成するフレームごとに三次元モデルを生成して、動画の仮想視点画像を生成するものとして説明を行う。また、本フローチャートの前にフレームの前景画像データが生成されているのもとして説明を行う。図9に示す処理は、CPU301がROM302に記憶された制御プログラムを読み出して実行することにより実現される。
S901において三次元モデル生成部805は、撮像画像データ管理部803から所定の撮像時刻の前景画像データを取得し、カメラパラメータ管理部804からカメラパラメータ情報を取得する。本ステップが最初のループにおける処理である場合、所定の撮像時刻は、例えば撮像開始時刻である。三次元モデル生成部805は、取得したデータを用いて、所定の撮像時刻のオブジェクトの三次元モデルを示す三次元形状情報を生成する。三次元形状情報は、複数の点群からなり、各点の位置情報が含まれる。
S902においてオブジェクト位置履歴管理部806は、三次元モデル生成部805から、S901で生成された三次元形状情報とその撮像時刻の時刻情報とを取得してROM302またはHDD304等の記憶部に記憶させる。
S903において三次元モデル生成部805は、次の撮像時刻のフレームに含まれるオブジェクトの三次元形状情報が生成できるかを確認する。すなわち撮像コンテンツが終了したかを確認する。具体的には、三次元モデル生成部805は、撮像画像データ管理部803に次の撮像時刻のフレームに対応する前景画像データがあるか否かを確認する。
次の撮像時刻の前景画像データがある場合(S903がNO)、S901に戻り、S901~S902の処理を繰り返す。オブジェクト位置履歴管理部806は、S902の処理が行われる毎に生成されたオブジェクトの三次元形状情報とその撮像時刻を取得して記憶し続ける。S901~S902の処理を繰り返すことで、時間的に連続したオブジェクトの三次元モデルを表す三次元形状情報とオブジェクトの位置履歴情報が生成される。
次の撮像時刻の前景画像データがない場合(S903がYES)、S904に進む。S904おいてオブジェクト移動速度算出部807は、オブジェクトの位置履歴情報を取得し、単位時間あたりに移動したオブジェクトの移動距離を算出して、オブジェクトの移動速度を算出する。そして、算出した移動速度からオブジェクトの最高速度を算出して、最高速度を保持する。複数のオブジェクトの三次元形状情報が生成された場合は、オブジェクトごとに最高速度を決定する。
S905においてオブジェクト移動速度算出部807はユーザによってオブジェクトの指定がされているか判定する。オブジェクト指定部809が指定オブジェクト情報を取得している場合(S905のYES)、S906へ進む。
S906においてオブジェクト移動速度算出部807は、指定オブジェクト情報において指定されているオブジェクトの移動速度情報を仮想カメラ情報決定部810へ出力する。仮想カメラ情報決定部810は、指定されたオブジェクトの最高速度を、仮想カメラの最高速度として設定する。なお、S904の処理は、S906の処理の直前に行われてもよい。
一方、オブジェクトの指定がされてない場合(S905がNO)、S907において仮想カメラ情報決定部810は、ユーザによって指示された最高速度を、仮想カメラの最高速度として設定する。
S908において仮想カメラ情報決定部810は、ユーザによるコントローラ131の操作に応じた入力値に基づき、仮想視点の位置、速度等を表す仮想カメラ情報を生成する。
オブジェクトが指定されている場合、ユーザがコントローラ131を介して仮想カメラが最高速度で移動するように操作したときは、指定されたオブジェクトの最高速度で仮想カメラが移動するように仮想カメラ情報が生成される。
S909において仮想視点画像生成部811は、仮想カメラ情報決定部810から出力された仮想カメラ情報に基づき、背景画像データを仮想カメラから見た形状に投影変換や画像処理を施して仮想視点画像の背景とする。また仮想カメラ情報に基づき、仮想カメラから見たオブジェクトの三次元モデルに対して、実カメラで撮像された画像データの色情報でレンダリングして仮想視点画像を生成する。そして画像出力部812を介して仮想視点画像を出力する。
以上説明したように本実施形態では、仮想視点画像の生成において、選手などオブジェクトの移動速度に基づく速度が、ユーザが仮想カメラを操作する際の仮想カメラの最高速度に適用される。このため、本実施形態によれば、オブジェクトを追従するように仮想カメラをユーザが操作することが容易になり、また、ユーザの操作量に対応する仮想視点の移動速度を調整する手間を軽減することができる。
なお、本実施形態は、画像処理システム100以外のシステムに対して適用してもよい。オブジェクトの最高速度を仮想カメラの速度として適用するかをON/OFFで切り替える機能を有していてもよい。
また、オブジェクトの最高速度を算出するための所定期間は、撮像開始時刻から撮像終了時刻またはコンテンツの開始時刻から終了時刻に限られない。所定期間は、例えば、現在の再生時刻から過去の時刻までの期間であってもよい。例えば、現在の再生時刻から30分前のように所定期間を決めて、オブジェクトの最高速度を決定してもよい。例えば、サッカーの試合における後半のシーンの仮想視点画像を生成する場合、そのサッカー試合の前半の期間を所定期間として、オブジェクトの最高速度を算出してもよい。
また録画されたコンテンツから三次元形状情報を生成して仮想視点画像を生成する場合は、現在の再生時刻から30分先のように再生時刻から未来の時刻までの期間を所定期間としてオブジェクトの最高速度を決定してもよい。
または、所定期間は、予め決めた期間に限らず、再生時刻に応じて順次変更されてもよい。この場合、所定の頻度で、オブジェクトの最高速度を算出し、その頻度で、前記仮想視点の最高速度を更新してもよい。ユーザが端末装置等から、仮想カメラの最高速度を更新するタイミングを設定してもよい。最高速度を更新するタイミングまで、前に算出されたオブジェクト最高速度を仮想カメラの最高速度に設定し続けてもよい。
例えば、撮像開始時刻から現在の再生時刻までの期間を所定期間としてオブジェクトの最高速度を算出してもよい。そして、オブジェクトの最高速度を更新する再生時刻になったら、撮像開始時刻から現在の再生時刻までの期間を所定期間としてオブジェクトの最高速度を算出してオブジェクトの最高速度を更新し、仮想カメラの最高速度についても順次更新してもよい。
または、所定期間は、1フレームに対応する期間でもよい。例えば、フレーム単位でオブジェクトの速度を解析し、解析されたオブジェクトの速度を仮想カメラの最高速度に設定することで、フレーム単位で仮想カメラの最高速度を更新してもよい。フレーム単位で仮想カメラの最高速度を更新することで、ユーザはコントローラを操作して仮想カメラが最高速度で移動するように指示することで、仮想カメラの移動速度をオブジェクトの移動速度に合わせることができる。このため、オブジェクトを追従するような視点での仮想視点画像を生成する場合において、ユーザは仮想カメラの速度を調整する手間が抑制される。
また、上記の説明ではユーザが指定したオブジェクトの最高速度をオブジェクトの最高速度として仮想カメラの最高速度に設定する方法を説明したが、複数のオブジェクトの最高速度のうち、最も速い速度を仮想カメラの最高速度に設定してもよい。
また、過去の試合や競技を撮像することによって得られた、オブジェクトの位置履歴情報および過去に生成された仮想視点画像に用いられた仮想カメラの移動速度情報を記憶しておいてもよい。そして、異なる試合や競技を撮像して仮想視点画像を生成する場合、記憶されているオブジェクトの位置履歴情報に基づき、仮想カメラの最高速度を設定してもよい。例えば、陸上競技または水泳競技における決勝戦におけるある選手を追従するような仮想視点画像を生成する場合、準決勝におけるその選手の最高速度に基づき、仮想視点の最高速度を設定してもよい。
また、サッカーやバスケットボールなど競技の種別ごとに、オブジェクトの位置履歴情報および仮想カメラの移動速度情報を管理して記憶しておいてもよい。例えば、オブジェクトが100m走の選手である場合や、スケート選手である場合等に応じて、あらかじめ想定されるオブジェクトの移動速度がHDD等に記憶される。そして、ある競技を撮像して仮想視点画像を生成する場合は、記憶されている同じ種別の競技のオブジェクトの移動速度に基づき、仮想カメラの最高速度が設定される。
<実施形態2>
実施形態1では、ユーザによって指定されたオブジェクトの最高速度を仮想カメラの最高速度に設定する方法を説明した。本実施形態では、複数のオブジェクトの最高速度における縦、横、高さの三次元方向の方向成分の速度を求める。そして仮想視点カメラの最高速度を、求められた複数のオブジェクトの最高速度の方向成分の速度に基づき設定する方法を説明する。本実施形態では、実施形態1からの差分を中心に説明する。特に明記しない部分については実施形態1と同じ構成および処理である。
実施形態1では、ユーザによって指定されたオブジェクトの最高速度を仮想カメラの最高速度に設定する方法を説明した。本実施形態では、複数のオブジェクトの最高速度における縦、横、高さの三次元方向の方向成分の速度を求める。そして仮想視点カメラの最高速度を、求められた複数のオブジェクトの最高速度の方向成分の速度に基づき設定する方法を説明する。本実施形態では、実施形態1からの差分を中心に説明する。特に明記しない部分については実施形態1と同じ構成および処理である。
図10は、本実施形態の画像処理システム100に含まれる画像生成装置1000の機能構成を示すブロック図である。画像生成装置1000は、図4の画像生成装置120の機能に替えて、図10に示す機能ブロックを有する。実施形態1の画像生成装置120と同一の機能のブロックについては同じ番号を付して説明を省略する。
移動速度算出指示部1001は、移動速度算出指示がユーザによって入力された場合、ユーザ入力データに含まれる移動速度算出指示をオブジェクト移動速度算出部1002に出力する。例えば、端末装置130に接続されたコントローラ131または表示部132に、移動速度算出指示するためのボタンが割り当てられており、ユーザがそのボタンを押下することで移動速度算出指示が画像生成装置120に受け付けられる。
オブジェクト移動速度算出部1002は、実施形態1のオブジェクト移動速度算出部807と同様にオブジェクトの最高速度を算出する。そして、本実施形態のオブジェクト移動速度算出部1002は、それぞれのオブジェクトの最高速度における、縦方向(X方向)、横方向(Y方向)、高さ方向(Z方向)の各方向成分の速度を算出する。単位時間は実施形態1と同様に1秒として説明するが、分、時などを単位時間としてもよい。
図11は、本実施形態に係る画像生成装置1000による画像処理を示すフローチャートである。図11に示す処理は、CPU301がROM302に記憶された制御プログラムを読み出して実行することにより実現される。S1101~S1104の処理は、S901~S904と同一であるため説明を省略する。
S1105において移動速度算出指示部1001は、受付部808を介して取得されたユーザ入力データに移動速度算出指示が含まれるかを判定する。ユーザ入力データに移動速度算出指示が含まれていない場合(S1105がNO)、S1107に進み、S907と同様に、仮想カメラ情報決定部810は、ユーザによって指定された最高速度を仮想カメラの最高速度に設定する。
ユーザ入力データに移動速度算出指示が含まれている場合(S1105がYES)、移動速度算出指示部1001は、移動速度算出指示をオブジェクト移動速度算出部1002に出力してS1106に進む。
S1106においてオブジェクト移動速度算出部1002は、オブジェクト位置履歴管理部806からオブジェクトの位置履歴情報を取得する。そして、オブジェクト移動速度算出部1002は、実施形態1と同様に、オブジェクトの位置履歴情報から単位時間あたりに移動したオブジェクトの移動距離を測定して、オブジェクトの移動速度を算出する。オブジェクト移動速度算出部1002は、算出した移動速度から所定期間内のオブジェクトの最高速度を決定して、決定した最高速度を保持する。複数のオブジェクトがある場合は、オブジェクトごとの最高速度を決定して保持する。そして、オブジェクト移動速度算出部1002は、それぞれのオブジェクトの最高速度の、X方向、Y方向、Z方向の各方向成分の速度を算出する。
仮想カメラ情報決定部810は、オブジェクト移動速度算出部1002によって算出された方向成分の速度から、方向成分ごとの、最も速い速度を決定する。各方向成分の最も速い速度を、仮想カメラの最高速度における方向成分の速度とすることにより、仮想カメラの最高速度を設定する。
S1108~S1109の処理は、S908~S909と同様であるため説明を省略する。
図12は、オブジェクトの最高速度に基づき仮想カメラの最高速度を設定する方法を説明するための図である。撮像画像に含まれるオブジェクト1201とオブジェクト1202との三次元モデルが生成された場合、図12(a)に示すように、オブジェクト1201の最高速度は、X方向に10m/秒、Y方向に5m/秒と算出されたことを示している。また、オブジェクト1202の最高速度は、X方向に2m/秒、Y方向に7m/秒と算出されたことを示している。図12(a)の例では、オブジェクトの移動方向にZ方向成分は含まれないため、Z方向成分の記載は省略している。
図12(a)のオブジェクトの最高速度における各方向成分の速度に基づき、仮想カメラの最高速度は、図12(b)に示すように設定される。仮想視点カメラの最高速度のX方向成分の速度は、オブジェクト1201およびオブジェクト1202の最高速度のX方向成分の速度のうち、最も速い(値が最も大きい)、オブジェクト1201の10m/秒に設定される。同様に、仮想視点カメラの最高速度のY方向成分の速度は、オブジェクト1201およびオブジェクト1202の最高速度のY方向成分の速度のうち、最も速い(値が最も大きい)オブジェクト1202の7m/秒に設定される。
図13は、端末装置130に表示された、複数のオブジェクトの最高速度に基づき仮想カメラの最高速度が設定された仮想カメラから見た仮想視点画像の表示例である。本実施形態では、仮想カメラの最高速度は、三次元モデルが生成された全オブジェクトの最高速度に基づき設定される。このため、仮想カメラがオブジェクトを追従するような仮想視点画像を生成する場合、仮想カメラがどのオブジェクトを追従する場合でも、仮想カメラの画角内に追従するオブジェクトが収められなくなることが軽減される。なお、図13に示すように仮想カメラの最高速度を表示することで、オブジェクトの移動速度に基づき仮想カメラの最高速度が設定されたことを示すようにしてもよい。
以上説明したように本実施形態においては、仮想視点画像を生成するための仮想カメラの最高速度を、複数のオブジェクトの最高速度に基づき設定される。このため、複数のオブジェクトの移動速度に違いがある場合でも、ユーザはオブジェクトを追従するように仮想カメラを操作することができる。
<実施形態3>
本実施形態では、三次元空間内の所定の領域に位置するオブジェクトの最高速度に基づき、仮想カメラの最高速度を設定する方法を説明する。本実施形態では、実施形態1からの差分を中心に説明する。特に明記しない部分については実施形態1と同じ構成および処理である。
本実施形態では、三次元空間内の所定の領域に位置するオブジェクトの最高速度に基づき、仮想カメラの最高速度を設定する方法を説明する。本実施形態では、実施形態1からの差分を中心に説明する。特に明記しない部分については実施形態1と同じ構成および処理である。
図14は、本実施形態の画像処理システム100に含まれる画像生成装置1400の機能構成を示すブロック図である。画像生成装置1400は、図4の画像生成装置120の機能に替えて、図14に示す機能ブロックを有する。実施形態1の画像生成装置120と同一の機能ブロックについては同じ番号を付して説明を省略する。
領域指定部1401は、受付部808を介して取得されたユーザ入力データに領域の指定の指示が含まれているかを確認する。領域指定部1401は、ユーザによる領域の指定の指示がある場合、仮想視点画像を生成するための三次元空間内の所定領域の情報をオブジェクト移動速度算出部1402へ出力する。所定領域は、例えば、仮想カメラの位置を中心とする(例えば半径10m)の円形領域である。所定領域の形状は円形に限らず矩形や不規則の形状でもよい。または、高さの情報を持つ空間を所定領域としてもよい。所定領域は、ユーザによって指定された三次元空間内の領域でもよい。
オブジェクト移動速度算出部1402は、実施形態2のオブジェクト移動速度算出部1002と同様にオブジェクトの最高速度を算出し、最高速度における各方向成分の速度を算出する。本実施形態のオブジェクト移動速度算出部1402は、領域指定部1401から取得した所定領域内にオブジェクトが存在するかを確認し、所定領域内のオブジェクトごとに最高速度を算出する。
図15は、本実施形態の画像生成装置1400による画像処理を示すフローチャートである。図15に示す処理は、CPU301がROM302に記憶された制御プログラムを読み出して実行することにより実現される。S1501~S1504の処理は、S901~S904と同一であるため説明を省略する。
S1505において領域指定部1401は、受付部808が取得したユーザ入力データに領域の指定の指示が含まれるか判定する。ユーザによる領域の指定の指示がされていない場合(S1505がNO)、S1507ではS907と同様に、ユーザによって指定された最高速度が仮想カメラの最高速度に設定される。
ユーザにより領域の指定の指示がされている場合(S1505がYES)、S1506に進む。S1506においてオブジェクト移動速度算出部1402は、三次元空間内の所定領域内にオブジェクトがあるか確認し、所定領域内のオブジェクトごとの最高速度を算出する。最高速度の算出方法は、S1106と同様であるため説明を省略する。
そして、オブジェクト移動速度算出部1402は、所定領域内のそれぞれのオブジェクトの最高速度の、X方向、Y方向、Z方向の各方向成分の速度を算出する。
仮想カメラ情報決定部810は、オブジェクト移動速度算出部1402によって算出された方向成分の速度から、方向成分ごとの、最も速い速度を決定する。各方向成分の最も速い速度を、仮想カメラの最高速度における方向成分の速度とすることにより、仮想カメラの最高速度を設定する。
S1508~S1509の処理は、S908~S909と同様であるため説明を省略する。
図16は、本実施形態の方法による仮想視点画像の生成を説明するための図である。図16(a)と図16(b)とは、オブジェクト1601、1602の三次元モデルが生成されている同じ三次元空間を表しているが、図16(a)と図16(b)とでは所定領域として異なる領域が指定されている。領域1611、1612は、最高速度を算出する対象となるオブジェクトを決定するための、仮想カメラの位置を中心とした所定領域を示す。
図16(a)では、仮想カメラの位置を中心とする領域1611内に、オブジェクト1601が含まれているがオブジェクト1602が含まれていない例を示している。また、図16(b)では、仮想カメラの位置を中心とする領域1612内にオブジェクト1601およびオブジェクト1602が含まれている例を示している。
図17は、図16(a)において領域1611が所定領域として指定された場合の、仮想カメラの最高速度を設定する方法を説明するための図である。図16(a)に示した三次元空間の領域1611内のオブジェクトの最高速度を方向成分は、図17(a)に示すように、X方向は10m/秒、Y方向は5m/秒であるものとする。この場合、仮想カメラの最高速度は、図17(b)に示すように、X方向成分は10m/秒、Y方向は5m/秒の速度として設定される。
図18は、図16(b)において領域1612が所定領域として指定された場合の、仮想カメラの最高速度を設定する方法を説明するための図である。図16(b)に示した三次元空間の領域1612内には、オブジェクト1601だけでなくオブジェクト1602が含まれる。図17(a)に示すように、オブジェクト1601の最高速度の方向成分は、X方向は10m/秒、Y方向は5m/秒であり、オブジェクト1602の最高速度の方向成分は、X方向は2m/秒、Y方向は7m/秒であるものとする。この場合、所定領域内に含まれるオブジェクトの最高速度の方向成分から最も大きい値を決定すると、X方向は10m/秒、Y方向は7m/秒である。よって、領域1612が所定領域として指定された場合、仮想カメラの最高速度は、図17(b)に示すように、X方向成分は10m/秒、Y方向は7m/秒の速度として設定される。
以上説明したように本実施形態によれば、仮想カメラを含む領域として所定領域を決定することで、仮想カメラの近くを移動するオブジェクトを追従するような仮想カメラの操作を容易にすることができる。
<その他の実施形態>
上述した実施形態は、任意の実施形態を組み合わせて実施することができる。例えば、実施形態1において、オブジェクトのZ方向の最高速度に基づいて、仮想カメラのZ方向の最高速度が設定されてもよい。
上述した実施形態は、任意の実施形態を組み合わせて実施することができる。例えば、実施形態1において、オブジェクトのZ方向の最高速度に基づいて、仮想カメラのZ方向の最高速度が設定されてもよい。
また、上述した実施形態においては、オブジェクトの三次元形状を生成し、三次元形状の位置と時刻とに基づいてオブジェクトの移動速度が算出される構成について説明した。しかしながら、オブジェクトの三次元形状に基づかない方法により、オブジェクトの移動速度が取得されてもよい。例えば、オブジェクト移動速度算出部807は、撮像装置110から得られる動画像から人物などのオブジェクトを検出する。そして、オブジェクト移動速度算出部807は、撮像装置110のカメラパラメータ及び動画におけるオブジェクトの移動距離に基づいて、実際の空間におけるオブジェクトの移動速度を算出してもよい。また例えば、オブジェクト移動速度算出部807は、人物やボールに取り付けられたセンサ等により、オブジェクトの位置を検出して移動速度を算出してもよい。あるいは、オブジェクト移動速度算出部807は、センサ等により測定されるオブジェクトの移動速度を取得してもよい。このように、オブジェクトの移動速度の取得方法は種々の方法が使用されてよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
120 画像生成装置
808 受付部
807 オブジェクト移動速度算出部
810 仮想カメラ情報決定部
808 受付部
807 オブジェクト移動速度算出部
810 仮想カメラ情報決定部
Claims (19)
- 複数の撮像装置が複数の異なる方向からオブジェクトを撮像することによって得られた動画像に基づいて、仮想視点から見た仮想視点画像を生成する画像処理装置であって、
前記仮想視点の移動経路を指示するための操作情報であって、ユーザによるコントローラの操作の内容を示す操作情報を取得する第1の取得手段と、
前記オブジェクトの移動速度を取得する第2の取得手段と、
前記操作情報が示す前記コントローラの操作量に応じた前記仮想視点の移動速度を、前記第2の取得手段によって取得された前記オブジェクトの移動速度に基づき決定する決定手段と、
を有することを特徴とする画像処理装置。 - 前記決定手段は、
ユーザが前記コントローラを介して指示することが可能な前記仮想視点の最高速度を、前記第2の取得手段によって取得された前記オブジェクトの移動速度に基づき設定し、前記仮想視点の最高速度に基づき、前記操作量に応じた前記仮想視点の移動速度を決定する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記決定手段は、
前記オブジェクトの移動速度に所定割合を乗算した結果得られた速度を、前記仮想視点の最高速度として設定する
ことを特徴とする請求項2に記載の画像処理装置。 - 前記第2の取得手段は、
前記オブジェクトの移動速度として、前記動画像の撮像開始時刻から撮像終了時刻までの撮像期間のうちの所定期間のオブジェクトの最高速度を取得し、
前記決定手段は、
前記オブジェクトの最高速度に基づき、前記仮想視点の最高速度を設定する
ことを特徴とする請求項2または3に記載の画像処理装置。 - 前記第2の取得手段は、
所定の頻度で、前記オブジェクトの最高速度を取得し、
前記決定手段は、
前記オブジェクトの最高速度が取得された場合、前記仮想視点の最高速度を更新する
ことを特徴とする請求項4に記載の画像処理装置。 - 前記所定期間は、1フレームに対応する期間である
ことを特徴とする請求項4または5に記載の画像処理装置。 - 前記所定期間は、前記撮像期間である
ことを特徴とする請求項4に記載の画像処理装置。 - 前記第2の取得手段は、
前記オブジェクトの最高速度における方向成分の速度を取得し、
前記決定手段は、
前記仮想視点の最高速度における方向成分の速度を、前記オブジェクトの最高速度における方向成分の速度に基づき設定することにより、前記仮想視点の最高速度を設定する
ことを特徴とする請求項4から7のいずれか1項に記載の画像処理装置。 - 前記第2の取得手段は、
前記動画像に含まれる複数のオブジェクトの最高速度を取得して、前記複数のオブジェクトの最高速度ごとの方向成分の速度を取得し、
前記決定手段は、
前記第2の取得手段によって取得された夫々の最高速度の方向成分の速度から方向成分ごとの最も速い速度を決定し、前記仮想視点の最高速度における方向成分の速度を、前記決定された速度に基づき設定することにより、前記仮想視点の最高速度を設定する
ことを特徴とする請求項4から7のいずれか1項に記載の画像処理装置。 - 仮想視点画像を生成する三次元空間内の所定の領域を指定する領域指定手段をさらに有し、
前記複数のオブジェクトは、前記所定の領域に含まれるオブジェクトである
ことを特徴とする請求項9に記載の画像処理装置。 - 前記領域指定手段は、ユーザの指示があった場合、前記所定の領域を指定する
ことを特徴とする請求項10に記載の画像処理装置。 - 前記動画像に含まれる複数のオブジェクトから、ユーザの指示に基づきオブジェクトを指定する指定手段をさらに有し、
前記第2の取得手段は、前記指定されたオブジェクトの移動速度を取得する
ことを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。 - ユーザが指示した速度を前記仮想視点の最高速度として設定する設定手段をさらに有し、
前記決定手段は、
前記領域指定手段が前記所定の領域を指定した場合、前記操作量に応じた前記仮想視点の移動速度を、前記第2の取得手段によって取得されたオブジェクトの移動速度に基づき決定し、
前記領域指定手段が前記所定の領域を指定しない場合、前記操作量に応じた前記仮想視点の移動速度を、前記設定手段によって設定された最高速度に基づき決定する
ことを特徴とする請求項10または11に記載の画像処理装置。 - ユーザが指示した速度を前記仮想視点の最高速度として設定する設定手段をさらに有し、
前記決定手段は、
前記指定手段がオブジェクトを指定した場合、前記操作量に応じた前記仮想視点の移動速度を、前記第2の取得手段によって取得されたオブジェクトの移動速度に基づき決定し、
前記指定手段がオブジェクトを指定しない場合、前記操作量に応じた前記仮想視点の移動速度を、前記設定手段によって設定された最高速度に基づき決定する
ことを特徴とする請求項12に記載の画像処理装置。 - 前記第2の取得手段は、前記動画像に基づき生成された前記オブジェクトの三次元形状データに基づいて前記オブジェクトの移動速度を算出する
ことを特徴とする請求項1から14のいずれか1項に記載の画像処理装置。 - 前記三次元形状データは前記動画像のフレームごとに生成され、前記三次元形状データに基づき所定の撮像時刻におけるオブジェクトの位置を管理する管理手段をさらに有し、
前記第2の取得手段は、
前記オブジェクトの位置に基づき、前記オブジェクトが単位時間で移動した距離を算出することにより前記オブジェクトの移動速度を算出する
ことを特徴とする請求項15に記載の画像処理装置。 - 請求項1から16のいずれか1項に記載の画像処理装置と、
前記コントローラと、前記操作情報を前記画像処理装置に送信する送信手段と、を有する装置と、
を有することを特徴とする画像処理システム。 - 複数の撮像装置が複数の異なる方向からオブジェクトを撮像することによって得られた動画像に基づいて、仮想視点から見た仮想視点画像を生成する画像処理方法であって、
前記仮想視点の移動経路を指示するための操作情報であって、ユーザによるコントローラの操作の内容を示す操作情報を取得する第1の取得ステップと、
前記オブジェクトの移動速度を取得する第2の取得ステップと、
前記操作情報が示す前記コントローラの操作量に応じた前記仮想視点の移動速度を、前記第2の取得ステップで取得された前記オブジェクトの移動速度に基づき決定する決定ステップと、
を有することを特徴とする画像処理方法。 - コンピュータを、請求項1から16のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020148857A JP2022043539A (ja) | 2020-09-04 | 2020-09-04 | 画像処理装置、画像処理システム、画像処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020148857A JP2022043539A (ja) | 2020-09-04 | 2020-09-04 | 画像処理装置、画像処理システム、画像処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022043539A true JP2022043539A (ja) | 2022-03-16 |
Family
ID=80668444
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020148857A Pending JP2022043539A (ja) | 2020-09-04 | 2020-09-04 | 画像処理装置、画像処理システム、画像処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022043539A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023189690A1 (ja) * | 2022-03-28 | 2023-10-05 | 日本電気通信システム株式会社 | リアルタイムコミュニケーション支援システム及びその方法、携帯端末、サーバ並びにコンピュータ可読媒体 |
-
2020
- 2020-09-04 JP JP2020148857A patent/JP2022043539A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023189690A1 (ja) * | 2022-03-28 | 2023-10-05 | 日本電気通信システム株式会社 | リアルタイムコミュニケーション支援システム及びその方法、携帯端末、サーバ並びにコンピュータ可読媒体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6918455B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
KR102187974B1 (ko) | 가상 시점 화상의 생성에 관한 정보 처리 장치, 방법 및 프로그램 | |
JP4700476B2 (ja) | 多視点映像合成装置及び多視点映像合成システム | |
JP7023696B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7366611B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
CN112640472B (zh) | 信息处理设备、信息处理方法和存储介质 | |
JP2018073105A (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
WO2020050103A1 (ja) | 仮想視点の制御装置及びその制御方法 | |
JP2024079736A (ja) | 画像表示装置、制御方法、およびプログラム | |
CN110868583A (zh) | 信息处理装置、信息处理方法和存储介质 | |
JP7446754B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6812181B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP2022043539A (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
US11468258B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP7514346B2 (ja) | 画像処理装置及び方法、プログラム | |
JP2022016929A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP7479793B2 (ja) | 画像処理装置、仮想視点映像を生成するシステム、画像処理装置の制御方法及びプログラム | |
JP2020095741A (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
WO2019235106A1 (ja) | ヒートマップ提示装置およびヒートマップ提示用プログラム | |
JP2020135290A (ja) | 画像生成装置、画像生成方法、画像生成システム、及びプログラム | |
US11758112B2 (en) | Information processing apparatus, control method, and storage medium | |
JP2021144522A (ja) | 画像処理装置、画像処理方法、プログラム、及び画像処理システム | |
JP7296735B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7494153B2 (ja) | 生成装置、生成方法、及び、プログラム | |
JP2019053738A (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム |