JP2022012900A - 情報処理装置、表示方法、及び、プログラム - Google Patents
情報処理装置、表示方法、及び、プログラム Download PDFInfo
- Publication number
- JP2022012900A JP2022012900A JP2020115061A JP2020115061A JP2022012900A JP 2022012900 A JP2022012900 A JP 2022012900A JP 2020115061 A JP2020115061 A JP 2020115061A JP 2020115061 A JP2020115061 A JP 2020115061A JP 2022012900 A JP2022012900 A JP 2022012900A
- Authority
- JP
- Japan
- Prior art keywords
- virtual viewpoint
- information
- virtual
- image
- virtual camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】 複数の仮想視点の指定に関してユーザの負荷を軽減する。【解決手段】 画像生成装置104は、複数の撮像装置により撮像される特定の撮像対象を含む仮想視点画像に対応する第1の仮想視点情報を変更するためのユーザ指定を受け付けた場合、複数の仮想視点情報のうち第1の仮想視点情報に基づいて特定され、且つ第1の仮想視点情報とは仮想視点からの視線方向が異なる第2の仮想視点情報であって、特定の撮像対象を含む仮想視点画像に対応する第2の仮想視点情報と、第1の仮想視点情報と、を変更し、変更された第1の仮想視点情報に対応する仮想視点画像と変更された第2の仮想視点情報に対応する仮想視点画像とを表示装置に表示させる。【選択図】 図2
Description
本発明は、仮想視点画像を生成する技術に関するものである。
近年、撮像領域の周囲に複数の撮像装置を配置して撮像を行い、それぞれの撮像装置から取得された複数の撮像画像を用いて、指定された視点(仮想視点)から見た画像(仮想視点画像)を生成する技術が注目されている。
特許文献1には、タッチパネルを備えた画像表示装置に仮想視点画像を表示する際に、タッチパネルに対して行うタップ操作によって仮想視点の視点位置及び視線方向の指定を行う方法が記載されている。
複数の仮想視点から見たときの複数の仮想視点画像を生成し、それぞれ表示部に表示することを考える。例えば注目したいオブジェクト等、特定の撮像対象を異なる複数の方向から見たような複数の仮想視点画像を生成することが考えられる。そして、オブジェクトの動きに合わせて仮想視点の視点位置などを変更する場合、特許文献1の技術では、複数の仮想視点それぞれに対して変更を行う必要がある。このため、複数の仮想視点の指定に係るユーザの負荷が大きくなるおそれがあった。
本発明は上記の課題に鑑みてなされたものである。その目的は、複数の仮想視点の指定に関してユーザの負荷を軽減することである。
本発明に係る情報処理装置は、複数の撮像装置が行う撮像に基づく複数の画像データに基づいて生成される仮想視点画像に対応する仮想視点の視点位置及び仮想視点からの視線方向を表す仮想視点情報を変更するためのユーザ指定を受け付ける受付手段と、表示手段に表示された複数の仮想視点画像に対応する複数の仮想視点情報に含まれる第1の仮想視点情報であって、前記複数の撮像装置により撮像される特定の撮像対象を含む仮想視点画像に対応する第1の仮想視点情報に基づいて、前記複数の仮想視点情報の中から、前記第1の仮想視点情報とは少なくとも仮想視点からの視線方向が異なり、且つ前記特定の撮像対象を含む仮想視点画像に対応する第2の仮想視点情報を特定する特定手段と、前記第1の仮想視点情報を変更するためのユーザ指定を前記受付手段が受け付けた場合、前記第1の仮想視点情報と、前記第1の仮想視点情報に基づいて前記特定手段により特定される前記第2の仮想視点情報とを変更する変更手段と、前記変更手段により変更された前記第1の仮想視点情報に対応する仮想視点画像と、前記変更手段により変更された前記第2の仮想視点情報に対応する仮想視点画像とを、表示手段に表示させる表示制御手段とを有することを特徴とする。
本発明によれば、複数の仮想視点の指定に関してユーザの負荷を軽減することができる。
以下、本発明の実施形態について、図面を参照しながら説明する。なお、以下の実施形態に記載される構成要素は、本発明の実施の形態の一例を示すものであり、本発明をそれらのみに限定するものではない。
(第1の実施形態)
本実施形態では、複数の撮像装置を使用して撮像領域を撮像することにより得られた複数の撮像画像から仮想視点画像を生成するシステムにおける、複数の仮想視点の連動処理について説明する。ここで、仮想視点画像とは、複数の撮像装置による撮像に基づく複数の画像と、指定された任意の視点(仮想視点)とに基づいて、指定された仮想視点からの見えを表す画像である。また、本実施形態における仮想視点画像は、自由視点画像とも呼ばれるものであるが、ユーザが自由に(任意に)指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態における仮想視点画像は、静止画及び動画のいずれであってもよい。また、画像生成システムが扱う画像データについても、静止画及び動画のいずれであってもよい。すなわち、本実施形態の画像生成システムは、静止画及び動画の何れについても処理可能であるものとする。
本実施形態では、複数の撮像装置を使用して撮像領域を撮像することにより得られた複数の撮像画像から仮想視点画像を生成するシステムにおける、複数の仮想視点の連動処理について説明する。ここで、仮想視点画像とは、複数の撮像装置による撮像に基づく複数の画像と、指定された任意の視点(仮想視点)とに基づいて、指定された仮想視点からの見えを表す画像である。また、本実施形態における仮想視点画像は、自由視点画像とも呼ばれるものであるが、ユーザが自由に(任意に)指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態における仮想視点画像は、静止画及び動画のいずれであってもよい。また、画像生成システムが扱う画像データについても、静止画及び動画のいずれであってもよい。すなわち、本実施形態の画像生成システムは、静止画及び動画の何れについても処理可能であるものとする。
<画像生成システムの構成>
図1は、本実施形態における画像生成システム100の構成について説明するための図である。図1(a)は、画像生成システム100の構成を示すブロック図である。画像生成システム100は、センサシステム101aからセンサシステム101nのn台のセンサシステムを有する。以降では特に説明がない限り、n台のセンサシステムを区別せずに、センサシステム101と表記する。また、画像生成システム100は、操作部105aから操作部105mのm個の操作部を有する。以降では特に説明がない限り、m個の操作部を区別せずに、操作部105と表記する。また、画像生成システム100は、スクリーン111aからスクリーン111mのm個のスクリーンを有する。以降では特に説明がない限り、m個のスクリーンを区別せずに、スクリーン111と表記する。また、画像生成システム100は、画像記録装置102、データベース103、及び、画像生成装置104を有する。以下、各ブロックについて説明する。
図1は、本実施形態における画像生成システム100の構成について説明するための図である。図1(a)は、画像生成システム100の構成を示すブロック図である。画像生成システム100は、センサシステム101aからセンサシステム101nのn台のセンサシステムを有する。以降では特に説明がない限り、n台のセンサシステムを区別せずに、センサシステム101と表記する。また、画像生成システム100は、操作部105aから操作部105mのm個の操作部を有する。以降では特に説明がない限り、m個の操作部を区別せずに、操作部105と表記する。また、画像生成システム100は、スクリーン111aからスクリーン111mのm個のスクリーンを有する。以降では特に説明がない限り、m個のスクリーンを区別せずに、スクリーン111と表記する。また、画像生成システム100は、画像記録装置102、データベース103、及び、画像生成装置104を有する。以下、各ブロックについて説明する。
センサシステム101は、撮像領域の撮像に基づき、仮想視点画像を生成するために使用される画像を取得する。図1(b)は、複数のセンサシステム101の設置の一例を示す図である。各センサシステム101a~101nは、少なくとも1台の撮像装置を含む。複数のセンサシステム101は、撮像対象の領域である撮像撮像領域120を囲むように設置され、それぞれ異なる方向から撮像領域120を撮像する。本実施形態では、撮像対象の撮像領域120をサッカーの試合が行わるスタジアムのフィールドとし、フィールドを囲むようにn台(例えば100台)のセンサシステム101が設置される。ただし、設置されるセンサシステム101の数は限定されない。また、撮像対象の撮像領域120はスタジアムのフィールドに限らない。撮像領域120にスタジアムの客席が含まれてもよいし、撮像領域120が屋内のスタジオや舞台等であってもよい。また、複数のセンサシステム101は撮像領域120の全周にわたって設置されていなくてもよく、設置場所の制限等によっては撮像領域120の周囲の一部にのみ設置されてもよい。また、複数のセンサシステム101が有する複数の撮像装置には、望遠カメラ及び広角カメラなど、機能が異なる撮像装置が含まれていてもよい。
複数のセンサシステム101が有する複数の撮像装置は同期して撮像を行い、撮像に基づいて取得した画像データを転送する処理を行う。本実施形態においては、複数の撮像装置が撮像することにより得られる種々の画像を纏めて画像データと呼ぶ。画像データは、撮像に基づく撮像画像、及び、撮像画像に対して所定の画像処理を行うことで得られた画像を含む。所定の画像処理とは、例えば、撮像画像において選手やボールなどの動きのあるオブジェクトに対応する領域(以下、前景領域という)と、前景領域以外の領域(以下、背景領域という)とを分離する分離処理である。分離処理を行うことにより、前景領域を含む前景画像が取得される。また、撮像画像において前景領域の画素値を1、背景領域の画素値を0とする2値化処理を行うことにより、シルエット画像が取得される。前景画像及びシルエット画像も、画像データの一例である。所定の画像処理は、センサシステム101内で行われてもよいし、後述する画像生成装置104により行われてもよい。
なお、各センサシステム101は、撮像装置に加えて不図示のマイクを有してもよい。複数のセンサシステム101それぞれのマイクは同期して音声を収音する。この収音された音声に基づいて、仮想視点画像と共に再生される音響信号を生成することができる。以降では説明の簡略化のため、音声についての記載を省略するが、基本的に画像データと音声データとは共に処理されるものとする。勿論、画像データと音声データとが別々に処理される構成であっても構わない。
本実施形態における複数のセンサシステム101は、図1(a)に表されるように、デイジーチェーン接続されるものとする。複数のセンサシステム101は、自身が取得した画像データを、他のセンサシステム101を介して画像記録装置102に転送する。画像記録装置102は、複数のセンサシステム101から転送された画像データを取得し、データベース103に記憶させる。なお、複数のセンサシステム101の接続方法は、デイジーチェーン接続に限定されない。例えば、複数のセンサシステム101と画像記録装置102とがスター型接続されていてもよい。
画像生成装置104は、以下の情報処理を行う。すなわち、画像生成装置104は、操作部105に対して行われるユーザ操作の受付を行い、受け付けたユーザ操作と、データベース103に記憶された画像データとに基づいて仮想視点画像を生成する。画像生成装置104の機能構成については後述する。操作部105は、例えばジョイスティック、タッチパネル、キーボード、及びマウス等の入力装置でありうる。ユーザは、操作部105を操作することにより、仮想視点の視点位置、及び、仮想視点からの視線方向を決定するための操作を行うことが可能である。なお、操作部105として使用されるデバイスは上記に限定されない。例えば、人が身に着ける衣類やプロテクタ等へ位置測位タグを装着し、測位した位置を仮想視点の操作に使用する装置であってもよい。また、ヘッドマウントディスプレイを装着したユーザの視線の方向に基づいて、仮想視点が操作される構成であってもよい。
以降の説明においては、仮想視点の視点位置及び仮想視点からの視線方向を表す情報を、仮想視点情報と呼ぶ。なお、仮想視点情報に含まれる情報はこれに限定されない。例えば、仮想視点の画角(視野の広さ)が仮想視点情報に含まれてもよい。すなわち、画像生成装置104は、操作部105に対するユーザ操作により決定される仮想視点情報に基づいて、仮想視点画像を生成する。
本実施形態における画像生成装置104は、操作部105に対して行われるユーザ操作に基づき、複数の仮想視点情報を決定し、各仮想視点情報に基づいて生成される複数の仮想視点画像を、それぞれ複数のスクリーン111に表示させる表示制御を行う。スクリーン111は、画像生成装置104により生成された仮想視点画像を表示する表示部である。複数のスクリーン111のそれぞれは、1台の表示装置であっても良いし、1台の表示装置の表示画面を分割した部分領域の1つであっても良い。本実施形態においては、1つの仮想視点画像が表示される領域又は装置をスクリーンと呼ぶ。
複数のスクリーン111の例を図1(c)、(d)に示す。図1(c)は、1台の表示装置を1つのスクリーンとし、複数の表示装置121a~121mが、複数の表示装置で構成される例である。また、図1(d)は、1台の表示装置121aの表示画面が分割され、各部分領域が1つのスクリーンとして使用される例である。図1(d)の例における表示装置121aは、表示画面が4つに分割され、4つのスクリーンとして使用されている。なお、複数のスクリーン111は、図1(c)、(d)に示す構成の組み合わせであっても良い。また、複数のスクリーン111の構成は、仮想視点の操作中や仮想視点画像の表示中などの任意のタイミングで変更することも可能である。さらに、複数のスクリーン111の構成(表示装置に対する表示の割り当てなど)をデータベースに記憶しておくことにより、所望の構成を設定することが容易になる。
なお、表示装置は、例えば液晶ディスプレイ等である。また、表示装置は、タッチパネルを備えたタブレットのように、入力装置と表示装置とが一体となったデバイスであってもよい。すなわち、操作部105とスクリーン111とが同じ装置であってもよい。表示装置は、画像を出力できる装置であれば、上記に限定されない。
以上が、画像生成システム100における各ブロックについての説明である。なお、画像生成システム100の構成は図1(a)に示すものに限定されない。例えば、複数の画像生成装置104がデータベース103に接続され、各画像生成装置104に対し1つの操作部104と1つのスクリーン106とが接続される構成であっても良い。また、本実施形態では仮想視点の指定がユーザ操作に基づいて行われる場合について説明するが、これに限定されない。画像解析の結果等に基づいて、仮想視点が自動で決定される構成であってもよい。画像生成装置104は、例えば、画像データに基づいて特定の選手を検出し、検出した特定の選手を追尾するような仮想視点を表す仮想視点情報を決定してもよい。
また、本実施形態においては、操作部105a~105mのそれぞれを操作することにより、各操作部105a~105mに対応するm個の仮想視点情報が決定される。また、m個の仮想視点情報のそれぞれに基づく仮想視点画像が、スクリーン111a~111mに表示される。しかしながら、操作部105の数mと、スクリーン111の数mとが必ずしも一致していなくてもよい。例えば、一つの入力装置(ジョイスティック等)に対する操作により複数の仮想視点情報が決定される構成であってもよい。
<画像生成装置の構成>
図2は、画像生成システム100における画像生成装置104の構成を説明するための図である。図2(a)を用いて、画像生成装置104の機能構成について説明する。画像生成装置104は、仮想カメラ制御部201、モデル生成部202、画像生成部203、及び、連動設定部204を有する。以下、各処理部について説明する。
図2は、画像生成システム100における画像生成装置104の構成を説明するための図である。図2(a)を用いて、画像生成装置104の機能構成について説明する。画像生成装置104は、仮想カメラ制御部201、モデル生成部202、画像生成部203、及び、連動設定部204を有する。以下、各処理部について説明する。
仮想カメラ制御部201は、複数の操作部105a~105mに対して行われるユーザ操作を受け付け、受け付けたユーザ操作に基づいて仮想視点情報を決定する。以降の説明においては、仮想視点を表現する用語として、仮想カメラを使用する。仮想カメラは、仮想視点の視点位置に配置される仮想的なカメラである。また、仮想カメラの光軸方向が、仮想視点からの視線方向に対応する。なお、仮想カメラの光軸は、仮想カメラの姿勢に基づいて決定される。また、仮想カメラの画角は、仮想視点の画角に対応する。仮想視点からの見えを表す仮想視点画像は、仮想カメラが行う仮想的な撮像により取得される撮像画像に対応する。仮想カメラ制御部201は、ユーザ操作に基づいて、仮想カメラの位置(座標)、及び、姿勢(ベクトル)等の情報を仮想視点情報として決定する。また、仮想カメラ制御部201は、後述する連動設定部204から連動設定の情報を受け取り、複数の仮想カメラ110を連動して制御する処理を行う。詳細な処理については後述する。
モデル生成部202は、データベース103から取得した画像データに基づいて、撮像領域120内のオブジェクトの三次元形状を表す三次元モデルを生成する。モデル生成部202は、複数の撮像画像に対して分離処理を行うことにより取得される複数の前景画像を使用することにより、三次元モデルを生成する。三次元モデルは、例えば、公知技術である視体積交差法(shape-from-silhouette法)等の方法を用いることにより生成される。また、三次元モデルは点群データとして生成される。ただし、三次元モデルのデータ形式は点群データに限定されず、例えば、ボクセルデータ及びメッシュデータ等であってもよい。
画像生成部203は、仮想カメラ制御部201により決定された仮想カメラの位置、姿勢及び画角等の情報(仮想視点情報)と、モデル生成部202により生成された三次元モデルとに基づき、仮想視点画像を生成する。具体的には、画像生成部203は、三次元モデルを構成する点それぞれに対し、前景画像等の画像データの画素値に基づいて色付け処理を行う。画像生成部203は、色付けされた三次元モデルを三次元の仮想空間に配置し、仮想カメラに投影してレンダリングすることにより、仮想視点画像が生成される。本実施形態においては、三次元モデルに基づいて仮想視点画像が生成される例について説明したが、これに限定されない。例えば、三次元モデルを生成せず、撮像画像の射影変換により仮想視点画像を生成するイメージベースドレンダリング等の方法が使用されてもよい。このとき、モデル生成部202は、三次元モデルの生成処理の代わりに、射影変換等の画像処理を行う構成であってもよい。
連動設定部204は、操作部105a~105mと複数の仮想カメラとの対応付け、及び、複数の仮想カメラとスクリーン111a~111mとの対応付けを管理する。本実施形態では、操作部105a、105b、・・・、105mは、それぞれ仮想カメラ110a、110b、・・・、110mの位置、姿勢及び画角を操作することができるものとする。また、仮想カメラ110a、110b、・・・、110mの位置、姿勢及び画角に基づく複数の仮想視点画像が、それぞれスクリーン111a、111b、・・・、111mに表示される。以降の説明においては、特に説明がない限り、m個の仮想カメラを区別せずに、仮想カメラ110と記載する。
連動設定部204は、複数の仮想カメラ110a~110m間の連動設定を管理する。連動設定については後述する。連動設定部204は、操作部105と仮想カメラ110との対応付け、仮想カメラ110とスクリーン111との対応付け、及び、連動設定の情報をデータベース等に記憶しておき、必要に応じて所望の情報を参照することが可能である。
以上が、画像生成装置104の機能構成についての説明である。なお、画像生成装置104の機能構成は図2(a)に示すものに限定されない。例えば、図2(a)の画像生成装置104の構成要素の少なくとも一部が、スクリーン111a~111nや別装置に実装されていてもよい。また、画像生成装置104と、複数の操作部105及び複数のスクリーン111の少なくとも何れかが一体となって構成されていてもよい。
次に、画像生成装置104のハードウェア構成について説明する。図2(b)は、画像生成装置104のハードウェア構成を説明するための図である。CPU(Central Processing Unit)211は、RAM(Random Access Memory)212やROM(Read Only Memory)213に格納されるプログラムやデータを用いて処理する。CPU211は、画像生成装置104の全体の動作制御を行い、図2(a)に示す各機能を実現するための処理を実行する。なお、画像生成装置104がCPU211とは異なる1又は複数の専用のハードウェアを有し、CPU211による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ASIC(特定用途向け集積回路)、FPGA(フィールドプログラマブルゲートアレイ)、およびDSP(デジタルシグナルプロセッサ)などがある。
ROM213は、プログラムやデータを保持する。RAM212は、ROM213から読み出されるプログラムやデータを一時的に記憶するワークエリアを有する。また、RAM212は、CPU211が各処理を実行する際に用いるワークエリアを提供する。入力部214は、例えば、操作部105等から入力される情報を取得する。通信インターフェース215は、データベース103及びスクリーン106などの外部の装置との情報の送受信に使用される。例えば、画像生成装置104が外部の装置と有線で接続される場合には、通信用のケーブルが通信インターフェース215に接続される。画像生成装置104が外部の装置と無線通信する機能を有する場合には、通信インターフェース215はアンテナを備える。出力部216は、仮想視点画像をスクリーン111に出力する。また、出力部215は、連動設定部204が管理する対応付け及び連動設定を示す情報を、データベース103に出力する。
<仮想カメラの設定>
図3を使用して、仮想カメラの設定について説明する。図3(a)、(b)は、仮想カメラ110の位置及び姿勢を説明するための図である。本実施形態における仮想カメラ110は、図3(a)に示すような、X軸・Y軸・Z軸で表される三次元空間上の直交座標系を使用し、位置及び姿勢が指定される。座標系は、撮像領域に対して設定される。図3(b)は、座標系の設定の一例を示す図である。図3(b)の例では、サッカーのスタジアムのフィールド321の中心に、原点(0、0、0)が設定されている。また、X軸、Y軸、Z軸は、それぞれフィールド321の長辺方向、フィールド321の短辺方向、フィールドに対する鉛直方向に設定される。なお、座標系の設定方法は、これらに限定されない。
図3を使用して、仮想カメラの設定について説明する。図3(a)、(b)は、仮想カメラ110の位置及び姿勢を説明するための図である。本実施形態における仮想カメラ110は、図3(a)に示すような、X軸・Y軸・Z軸で表される三次元空間上の直交座標系を使用し、位置及び姿勢が指定される。座標系は、撮像領域に対して設定される。図3(b)は、座標系の設定の一例を示す図である。図3(b)の例では、サッカーのスタジアムのフィールド321の中心に、原点(0、0、0)が設定されている。また、X軸、Y軸、Z軸は、それぞれフィールド321の長辺方向、フィールド321の短辺方向、フィールドに対する鉛直方向に設定される。なお、座標系の設定方法は、これらに限定されない。
次に、図3(c)、(d)を用いて、仮想カメラの位置、姿勢、及び、視錐台について説明する。図3(c)の例において、位置301は仮想カメラの位置を表し、位置301を視点とするベクトル302は仮想カメラの姿勢に基づく光軸方向を表す。以降、姿勢ベクトル302と呼ぶ。仮想カメラの位置301は、三次元空間の座標(x,y,z)で表現され、姿勢は各軸の成分をスカラーとする単位ベクトルで表現される。
姿勢ベクトル302は、前方クリップ面303及び後方クリップ面304の中心点を通る。また、位置301と、前方クリップ面303の各頂点と、後方クリップ面304の各頂点とを結ぶことにより特定される空間305は、仮想カメラの視錐台を表す。以降、視錐台305と呼ぶ。視錐台305は、仮想視点情報に基づいて特定される特定範囲であり、仮想カメラが仮想的に撮像する撮像範囲を表す。また、視錐台305は、仮想カメラの位置301及び姿勢ベクトル302に基づいて画像生成部203が仮想視点画像として描画する範囲ともいうことができる。また、仮想カメラの画角は、位置301を頂点とする四角錐の、頂点301における角度に相当する。
図3(d)を用いて、仮想カメラの移動及び回転について説明する。仮想カメラは、三次元座標で表現された空間内において移動及び回転する。矢印311は、仮想カメラ仮想カメラの位置301が移動する変更量及び変更方向を表す。矢印311は、三次元座標軸における各軸の成分(x、y、z)で表現される。矢印312は、仮想カメラの回転量及び回転方向を表す。矢印312は、図3(a)に示す様に、Z軸回りの回転であるヨー(Yaw)、X軸回りの回転であるピッチ(Pitch)、Y軸回り(仮想カメラの光軸周り)の回転であるロール(Roll)で表現される。
以上説明した仮想カメラの設定に基づき、三次元空間上に仮想的に配置される仮想カメラの位置、姿勢及び画角を表現することができる。ユーザは、操作部105を操作することにより仮想カメラの位置、姿勢及び画角を指定する。画像生成装置104は、指定された仮想カメラの位置、姿勢及び画角を示す情報を受け取り、受け取った情報に基づいて仮想視点画像を生成する。
<仮想カメラの連動設定>
画像生成装置104が行う連動設定について説明する。本実施形態における画像生成装置104は、ユーザが一つの仮想カメラを操作することにより、複数の仮想カメラを操作できるような機能を提供する。この機能によれば、例えば特定の選手を異なる方向から見る複数の仮想カメラが設定されている場合に、一つの仮想カメラを移動させることで他の仮想カメラも連動して移動させることができる。また、本実施形態における画像生成装置104は、複数の仮想カメラの中から、連動して移動させる仮想カメラを自動で選択することができる。
画像生成装置104が行う連動設定について説明する。本実施形態における画像生成装置104は、ユーザが一つの仮想カメラを操作することにより、複数の仮想カメラを操作できるような機能を提供する。この機能によれば、例えば特定の選手を異なる方向から見る複数の仮想カメラが設定されている場合に、一つの仮想カメラを移動させることで他の仮想カメラも連動して移動させることができる。また、本実施形態における画像生成装置104は、複数の仮想カメラの中から、連動して移動させる仮想カメラを自動で選択することができる。
図4は、連動設定部204が行う仮想カメラの連動設定と、連動設定に基づく仮想カメラの連動制御を説明するための図である。図4は、フィールドを俯瞰した図を表す。また、フィールド上に4つの仮想カメラ110a~110dが配置されている。各仮想カメラ110a~110dの視錐台は、それぞれ視錐台115a~115dで表される。視錐台115a~115dは、実際には立体で表されるが、ここでは説明の簡略のため、俯瞰図における平面であるとして考える。
まず、図4(a)の例を用いて、連動設定部204が行う仮想カメラの連動設定について説明する。連動設定は、複数の仮想カメラのうち、特定の仮想カメラ(第1の仮想カメラ)と他の仮想カメラとを連動させるか否かを判定する処理である。連動設定部204は、第1の仮想カメラの視錐台と、他の仮想カメラの視錐台とが閾値以上重複する場合、他の仮想カメラを第2の仮想カメラとして特定し、第1の仮想カメラと第2の仮想カメラとを連動させると判定する。閾値は、例えば視錐台が重複する範囲のサイズ、又は視錐台全体の体積のうち重複する範囲が占める割合等によって定義される。すなわち、連動設定部204は、視錐台が重複する範囲が所定のサイズ以上である、又は視錐台全体の体積のうち重複する範囲が占める割合が所定の割合以上であることに基づいて、第2の仮想カメラを特定する。なお、本実施形態においては重複する視錐台の体積に基づいて連動の判定が行われるが、図4(a)に示すように、視錐台をxy平面上に投影した場合の面積に基づいて判定が行われる構成であってもよい。このように、連動設定部204は、第1の仮想カメラの位置及び姿勢から算出される視錐台に基づいて第2の仮想カメラを特定し、連動設定を行う。
例えば、図4(a)において、仮想カメラ110aの視錐台115aと仮想カメラ111dの視錐台115dとは、閾値以上重複しているものとする。連動設定部204は、各仮想カメラの視錐台に基づいて、仮想カメラ110aと仮想カメラ110dとを連動させると判定する。また、図4(a)における仮想カメラ110bの視錐台115bと仮想カメラ110cの視錐台115cとは、閾値以上重複している。連動設定部204は、各仮想カメラの視錐台に基づいて、仮想カメラ110bと仮想カメラ110cとを連動させると判定する。
一方、図4(a)における仮想カメラ110aの視錐台115aと仮想カメラ110cの視錐台115cとは、重複していない。したがって、連動設定部204は、各仮想カメラの視錐台に基づいて、仮想カメラ110aと仮想カメラ110cとを連動させないと判定する。
このように連動の判定を行うことにより、仮想カメラ110aと仮想カメラ110d、及び、仮想カメラ110bと仮想カメラ110cの組み合わせが、互いに連動する仮想カメラの組み合わせとなる。また、その他の組み合わせの仮想カメラは連動しないこととなる。連動設定部204は、仮想カメラごとの連動の有無(連動設定)を示す情報を、仮想カメラ制御部201に送信する。なお、連動の判定方法はこれに限定されず、例えば、所定値以上離れた位置にある仮想カメラ同士は連動しないと判定されてもよい。同様に、仮想カメラ間の距離が所定値未満である仮想カメラ同士は連動させると判定されてもよい。この判定方法によれば、仮想カメラの位置の情報に基づいて判定することができるので、すべての仮想カメラの視錐台を算出する必要がなくなるため、処理負荷が軽減される。
上述したように、仮想カメラどうしの視錐台の重複に基づくことにより、例えばフィールドにおける選手及びボール等の特定のオブジェクトを視錐台に含む複数の仮想カメラを特定し、連動設定を行うことができる。また例えば、フィールドにおけるゴール前等の特定の位置を視錐台に含む複数の仮想カメラを特定し、連動設定を行うことができる。
連動設定部204により互いに連動すると判定された複数の仮想カメラのうち、複数の仮想カメラのうち1つの仮想カメラが操作されると、仮想カメラ制御部201は、他の仮想カメラも連動して動作するように制御する。例えば、図4(a)の例では、操作部105aを使用して仮想カメラ110aを操作すると、仮想カメラ110dも連動して動作する。このとき、仮想カメラ110aの位置が矢印121aのように変更される場合、仮想カメラ制御部201は、仮想カメラ110dの視点位置も矢印121aと同様の変更量及び変更方向を示す矢印121dのように変更する。
次に、図4(b)の例について説明する。図4(b)に示す例では、連動設定部204により、4つの仮想カメラ110a~110dの視錐台が互いに閾値以上重複している。したがって、連動設定部204は、4つの仮想カメラ110a~110dを連動させると判定する。これにより、4つの仮想カメラ110a~110dは、いずれか1つの仮想カメラが操作されると、連動して操作される。例えば、仮想カメラ110a~110dを操作するための操作部105a~105dのうち、いずれか1つの操作部を使用して、仮想カメラの位置を矢印122に示すように移動させる操作が行われたとする。この場合、仮想カメラ制御部201は、4つの仮想カメラ110a~110dの位置を矢印122が示すように平行移動させるように制御する。
なお、図4(a)及び(b)は、xy平面上で複数の仮想カメラが平行移動する例を示すが、z軸方向の移動についても同様に連動して平行移動する構成であってもよい。
次に、図4(c)、(d)を使用して、仮想カメラが行う拡大表示を連動させる例について説明する。図4(c)、(d)における仮想カメラ1110aと仮想カメラ110dとは、連動設定部204により連動させると判定されているものとする。
図4(c)は、複数の仮想カメラが連動して移動することにより拡大表示を行う例である。位置の移動による仮想カメラの拡大表示は、仮想カメラが光軸方向と同方向に移動することにより実現される。図4(c)では、仮想カメラ制御部201が、仮想カメラ110aに対する拡大操作として、光軸方向と同方向である矢印123aのように位置を移動させる操作を受け付けたとする。この場合、仮想カメラ制御部201は、連動設定されている仮想カメラ110dの位置も、矢印123dのように移動させる。これにより、2つの仮想カメラ110a及び仮想カメラ110dに基づいて生成される仮想視点画像はいずれも変更前よりも拡大表示される。縮小表示させる場合は、各仮想カメラを光軸方向と逆方向に移動するように変更すれば良い。
なお、仮想カメラの位置の変更による拡大表示及び縮小表示を行う場合は、複数の仮想カメラの平行移動と区別される必要がある。したがって、例えば、操作部105に平行移動と拡大/縮小表示とを選択するためのスイッチ等を設けることにより、ユーザは平行移動と拡大/縮小表示とを切り替えることができる。
図4(d)は、拡大表示の別の例を説明するための図である。図4(d)は、複数の仮想カメラが連動して画角を変更することで、拡大表示が行われる例である。仮想カメラの画角は、例えば操作部105に画角を変更するためのつまみ又はスイッチ等を設けることで変更可能である。また、操作部105がタッチパネルの場合、ピンチイン又はピンチアウト操作により画角が変更される構成でもよい。
図4(d)では、仮想カメラ110aに対して画角を大きくする変更が行われたとする。このとき、仮想カメラ110aの視錐台115aの画角は、矢印124aのように広がる。この場合、仮想カメラ制御部201は、連動設定されている仮想カメラ110dの画角も仮想カメラ110aと同様に変更する。仮想カメラ110dの画角の変更量は、仮想カメラ110aの変更前の画角からの変更量に基づいて決定されてもよいし、仮想カメラ110aの変更後の画角と同じとなるように決定されてもよい。これにより、仮想カメラ110dの画角は矢印124dのように広がる。結果として、2つの仮想カメラ110a及び仮想カメラ110dに基づいて生成される仮想視点画像はいずれも変更前よりも拡大表示される。
次に、図4(e)を使用して、複数の仮想カメラの姿勢を連動して制御する例について説明する。図4(e)における仮想カメラ1110aと仮想カメラ110dとは、連動設定部204により連動させると判定されているものとする。仮想カメラ1110a及び仮想カメラ110dは、姿勢の変更前は図4(a)の状態であるものとする。
仮想カメラ制御部201は、仮想カメラ110aを図4(e)の矢印125aのように回転させる操作を受け付けたとする。この場合、仮想カメラ制御部201は、連動設定されている仮想カメラ110dが矢印125dのように回転するように、仮想カメラ110dの姿勢を変更する。この制御により、2つの仮想カメラ110a及び仮想カメラ110dの姿勢は、図4(a)の状態から図4(e)の状態に変更される。なお、図4(e)の例では、連動して回転する際の変更方向は互いに逆方向となっているが、これに限定されず、仮想カメラ110dは仮想カメラ110aと同じ方向に回転しても構わない。この場合に、タッチパネル上でのタッチ操作の種類ごとに、連動する仮想カメラの姿勢がいずれの方向に回転するかを対応付けてもよい。
また、連動して姿勢を回転させることにより、連動して回転する仮想カメラ同士の視錐台の重複が閾値より小さくなる場合がある。この場合、連動設定部204は、視錐台が重複する領域の変化に応じて連動設定を解除してもよい。また、図4(e)は、仮想カメラがヨー方向に回転する例を示すが、回転軸はこれに限定されない。仮想カメラがピッチ方向又はロール方向に回転する場合についても、同様に連動制御が行われる。
以上、仮想カメラの位置、姿勢及び画角が連動して制御される例について説明したが、この他に、生成される仮想視点画像の再生スピードが連動して変更されてもよい。例えば、仮想カメラ110aと仮想カメラ110dとが連動設定されており、各仮想カメラに基づいて生成される2つの仮想視点画像が、それぞれスクリーン111aとスクリーン111bとに表示されているものとする。ここで、操作部105aに対して、スクリーン111aに表示される仮想視点画像をスロー再生にする操作が行われたとする。この場合、仮想カメラ制御部201は、仮想カメラ110aの設定を「スロー再生」に変更するとともに、仮想カメラ110aと連動設定されている仮想カメラ110dの設定についても「スロー再生」に変更する。結果として、スクリーン111a及びスクリーン111bに表示される仮想視点画像は、いずれもスロー再生される。同様に、仮想視点画像の早送り、再生停止、及び、巻き戻しなどが連動して行われてもよい。
また、生成される仮想視点画像がスクリーンに表示される際の再生速度を表すフレームレートが連動して変更されてもよい。例えば、連動設定された仮想カメラ110a及び仮想カメラ110bに基づく2つの仮想視点画像が、それぞれ60fps(frame per second)の動画として生成されているとする。ここで、操作部105aに対して、仮想カメラ110aに対して、生成される仮想視点画像のフレームレートを30fpsに変更する操作が行われたとする。仮想カメラ制御部201は、仮想カメラ110aの設定を「30fps」に変更するとともに、仮想カメラ110aと連動設定されている仮想カメラ110dの設定についても「30fps」に変更する。結果として、スクリーン111a及びスクリーン111bに表示される仮想粗点画像は、いずれも30fpsの動画となる。上述した例のように、仮想視点画像のフレームレートを一律に変更可能にすることで、以下のような効果がある。例えばテニスコートのラインを異なる方向から撮像する複数の仮想カメラを設定しておく。このとき、ボールがラインから一定以上離れている場合は、一律にフレームレートを低く(例えば、30fpsに)するように変更し、ボールがラインに一定以上近づいた場合に、一律にフレームレートを高く(例えば、120fpsに)するように変更する。これにより、連動する複数の仮想カメラについて、判定用途の仮想視点画像が必要な場合のみ容易に高フレームレートに切り替えることができる。
以上、仮想カメラの視錐台に基づいて連動設定し、連動する複数の仮想カメラが連動して制御される例について説明した。これにより、例えば注目したい選手及び重要なシーンが発生しやすい位置等を異なる方向から仮想的に撮像する複数の仮想カメラを設定し、設定された複数の仮想カメラの位置、姿勢及び画角を変更する操作が容易になる。また、本実施形態における画像生成装置104は、各仮想カメラ105の視錐台に基づいて、連動させる仮想カメラを自動で判定することが可能である。これにより、ユーザは複数の仮想カメラの位置、姿勢及び画角を指定するだけで、自動で適切な組み合わせの仮想カメラが連動設定される。結果として、特定の撮像対象(例えば、特定の選手や重要シーンの発生位置など)を異なる方向から見た複数の仮想視点に対応する複数の仮想視点画像を容易に生成することができる。
なお、上記の連動設定において連動する仮想カメラ数は限定されない。また、仮想カメラ制御部201は、複数の操作部105の構成によっては、連動設定された複数の仮想カメラ110について、異なる操作部105から同時に操作を受け付けることが可能な場合がある。この場合、仮想カメラ制御部201は、あらかじめ各操作部105に対して優先度を設定しておき、優先度の高い操作部105からの操作に基づき連動制御を行う。また、操作部105に連動解除用のボタンを設けることで、連動設定された複数の仮想カメラの連動を解除可能にすることができる。この場合、仮想カメラ制御部201は、操作部105から連動解除の指示を受け付け、連動設定部204に通知し、連動設定を解除させる。
<画像生成装置104が行う処理、及び、処理の一例>
図5、及び図6を使用して、画像処理装置104が行う処理について説明する。図5は、画像生成装置104が行う処理を説明するためのフローチャートである。図5に示す処理は、CPU211がROM213等に記憶されたプログラムを読み出して実行することにより実現される。
図5、及び図6を使用して、画像処理装置104が行う処理について説明する。図5は、画像生成装置104が行う処理を説明するためのフローチャートである。図5に示す処理は、CPU211がROM213等に記憶されたプログラムを読み出して実行することにより実現される。
また、図6は、画像生成装置104がユーザ操作に基づき仮想視点画像を生成する処理の一例を説明するための図である。図6(a)~(c)は表示装置として1台のタブレット端末が使用され、その画面を4つに分割した各部分領域を、スクリーン601a~601dとした例である。タブレット端末はタッチパネルを備え、分割された部分領域(スクリーン)毎にタッチ操作を受け付け、各スクリーンに対応する仮想カメラを操作することが可能である。すなわち、各部分領域が、操作部105a~105dに相当する。タッチ操作により仮想カメラが操作されると、操作された仮想カメラに対応する仮想視点画像がスクリーンに表示される。
なお、タッチパネルを使用した仮想カメラの操作は、タッチ、ドラッグ、ピンチイン、ピンチアウトなどの種々のタッチ操作に、仮想カメラの移動、回転、画角の変更などを割り当てることにより実現される。
以下、フローチャートの処理ステップごとに説明する。以降の説明において、処理ステップを単にSと表記する。画像生成装置104が起動すると、処理が開始される。
S500において、仮想カメラ制御部201は、複数の仮想カメラの初期値を取得する。本実施形態における仮想カメラ制御部201は、仮想カメラの位置、姿勢及び画角の初期値を指定するためのユーザ操作を受け付けることにより、仮想カメラの初期値を取得する。ただしこれに限定されず、仮想カメラ制御部201は、データベース103にあらかじめ記憶された仮想視点情報を仮想カメラの初期値として取得してもよい。
S501において、仮想カメラ制御部201は、操作部105に対し、仮想カメラの位置、姿勢及び画角等(仮想視点情報)を変更するためのユーザ指定が行われたか否かを判定する。ユーザ指定が行われたと判定した場合、S502へ処理を進める。一方、ユーザ指定が行われなかったと判定した場合、S506以降の処理を行い、各仮想カメラに対応する仮想視点画像の生成及び表示を行う。仮想カメラの初期値が設定されてから、特にユーザによる操作が行われない場合、図6のように4つの仮想カメラの初期値に対応する仮想視点画像が、それぞれスクリーン601a~601dに表示された状態となる。
S502において、仮想カメラ制御部201は、操作部105から、仮想カメラの位置、姿勢及び画角等を変更するための操作を受け付ける。図6は、スクリーン601a(操作部105aに相当)に対してユーザがタッチ操作を行った例を示している。このユーザ操作により、スクリーン601aに表示される仮想視点画像に対応する仮想カメラが操作される。なお、S502において、複数の操作部105に対し優先度を設けた場合は、複数の操作部105が同時に操作されてもよい。
S503において、連動設定部204は、複数の仮想カメラのうち、S502で受け付けたユーザ操作により操作された仮想カメラを第1の仮想カメラとし、第1の仮想カメラと他の仮想カメラとを連動させるか否かを判定する。なお、S502において複数の操作部105に対して同時に操作が行われた場合は、最も優先度の高い操作部105に対応する仮想カメラを第1の仮想カメラとする。連動設定部204は、変更される前の第1の仮想カメラの位置、姿勢及び画角に基づいて、第1の仮想カメラの視錐台を算出する。また、他の仮想カメラ110b~110dについても同様に視錐台を算出し、第1の仮想カメラの視錐台と他の仮想カメラの視錐台とが閾値以上重複するか否かを判定する。視錐台が閾値以上重複する仮想カメラがある場合、連動設定部204は、当該仮想カメラを第2の仮想カメラとして、第1の仮想カメラと第2の仮想カメラとを連動させると判定し、S504へ処理を進める。一方、視錐台が閾値以上重複する仮想カメラがない場合、S505へ処理を進める。
S504において、仮想カメラ制御部201は、連動設定部204により設定された連動設定に基づいて、第1の仮想カメラの情報、及び、第1の仮想カメラと連動する仮想カメラの情報を変更する。ここで、図6(b)の例について説明する。図6(b)におけるスクリーン601a~601dに表示される4つの仮想視点画像に対応する仮想カメラの変更前の配置は、図4(a)における仮想カメラ110a~110dと同様であるとする。この場合、仮想カメラ110aと110d、及び、仮想カメラ110bと110cが、それぞれ連動設定される。この構成において、例えば、図6(b)におけるスクリーン601aに対し、左方向へ矢印612aだけドラッグする操作が行われたとする。仮想カメラ制御部201は、ユーザ操作に基づいて、仮想カメラ110aの位置を移動する。また、仮想カメラ制御部201は、仮想カメラ110aの位置の変更量及び変更方向(矢印612a)に基づいて、仮想カメラ110dも平行移動させる。
また、図6(c)の例についても説明する。図6(c)におけるスクリーン601a~601dに表示される4つの仮想視点画像に対応する仮想カメラの変更前の配置は、図4(b)における仮想カメラ110a~110dと同様であるとする。この場合、仮想カメラ110a~110dの4つが連動設定される。この構成において、例えば、図6(c)におけるスクリーン601aに対し、左方向へ矢印613aだけドラッグする操作が行われたとする。仮想カメラ制御部201は、ユーザ操作に基づいて、仮想カメラ110aの位置を移動する。また、仮想カメラ制御部201は、仮想カメラ110aの位置の変更量及び変更方向(矢印613a)に基づいて、仮想カメラ110b~110dの位置も平行移動させる。
S504においては、連動させる仮想カメラがある場合について説明した。一方、S505において、仮想カメラ制御部201は、連動させる仮想カメラがないため、第1の仮想カメラの情報のみを変更する。図6(a)の例では、仮想カメラ110aは他の仮想カメラと連動しないと判定されているものとする。このとき、図6(a)におけるスクリーン601aに対し、左方向へ矢印611だけドラッグする操作が行われたとする。仮想カメラ制御部201は、ユーザ操作に基づいて、仮想カメラ110aの位置のみを変更する。
S506において、画像生成装置104は、全ての仮想カメラについて、S507、S508の処理が行われたか否かを判定する。未処理の仮想カメラが存在する場合、S507の処理を行う。S507において、画像生成部203は、S504及びS505において仮想カメラ制御部201により制御された仮想カメラの情報に基づいて、仮想視点画像を生成する。このとき、画像生成部203は、仮想カメラの位置、姿勢及び画角に基づいて、仮想視点画像の生成に必要な画像データをモデル生成部202から取得する。画像生成部203は、取得した画像データに基づいて、仮想視点画像を生成する。
S508において、画像生成部203は、生成した仮想視点画像を、対応する表示部に表示させる。図6の例では、変更後の仮想カメラ110a~110dの情報に基づいて生成される4つの仮想視点画像が、それぞれスクリーン601a~601dに表示される。
図6(b)の例では、仮想カメラ110aと仮想カメラ110dとが連動して平行移動され、結果として、仮想カメラ110dに対応する仮想視点画像は矢印612dが示す方向に移動した領域が描画されたものとなる。また、図6(c)の例では、仮想カメラ110a~110dが連動して平行移動され、結果として、仮想カメラ110b~110cに対応する仮想視点画像は、それぞれ矢印613b~613dが示す方向に移動した領域が描画されたものとなる。図6(b)、(c)において、スクリーン601aに表示される仮想視点画像と、スクリーン601b~601dに表示される仮想視点画像とが別方向に移動しているように見える。しかし、各仮想カメラは、図4(a)における三次元空間上において同方向に連動して移動している。
全ての仮想カメラについてS507、S508の処理が終了すると、S509において、画像処理装置104は、ユーザ操作等により、仮想カメラの操作及び仮想視点画像の生成の処理を終了する指示を受け付けたか否かを判定する。終了の指示を受け付けた場合、処理を終了する。指示を受け付けなかった場合、S501以降の処理を再度行う。
上記の様な連動処理を行うことで、撮像領域における特定の撮像対象を異なる方向から見るような複数の仮想視点を容易に変更することができる。これにより、例えば移動する撮像対象(選手やボールなど)を異なる方向から見る複数の仮想視点が設定されている場合に、ユーザは一つの仮想視点の視点位置を移動させる操作を行うだけで複数の仮想視点の視点位置を移動させて撮像対象を追うことができる。この結果、視点の操作に係るユーザの負荷が軽減される。また例えば、重要なシーンが発生する位置(サッカーのゴール前等)を異なる方向から見る複数の仮想視点が設定された場合に、ユーザは複数の仮想視点の視線方向及び画角をまとめて調整することができる。
なお、仮想視点画像の表示領域が変更されなくとも、タイムコード等の時間経過によって、フィールド上の人やボール等のオブジェクトは動くため、仮想視点画像の表示内容はそれに応じてフレーム毎に変化することになる。
また、本実施形態においては、仮想カメラの情報を変更するためのユーザ操作が行われてから(S502)、連動させる仮想カメラがあるか否かを判定する(S503)構成であったが、処理の順番はこれに限定されない。例えば、複数の仮想カメラの初期値を取得(S500)した後に、各仮想カメラの初期値に基づいてS503と同様の判定を行う構成でもよい。画像生成装置104は、初期値に基づいて最初に連動設定を行うことにより、仮想カメラの情報を変更するユーザ操作が行われるたびに判定を行う必要がなくなり、処理工程を削減することができる。一方、本実施形態のように仮想カメラの情報を変更するユーザ操作が行われてから連動設定を行う構成であれば、画像生成装置104は、ユーザ操作が行われた時点の仮想カメラの情報に基づいて連動設定を逐次更新することができる。
(第2の実施形態)
本実施形態では、複数のスクリーンに対して複数の仮想視点画像を表示する構成において、仮想視点画像の1つとして、撮像領域を俯瞰する俯瞰画像を表示させる形態について説明する。俯瞰画像には、俯瞰画像以外の他の仮想視点画像の生成に使用される複数の仮想カメラの情報が表示される。
本実施形態では、複数のスクリーンに対して複数の仮想視点画像を表示する構成において、仮想視点画像の1つとして、撮像領域を俯瞰する俯瞰画像を表示させる形態について説明する。俯瞰画像には、俯瞰画像以外の他の仮想視点画像の生成に使用される複数の仮想カメラの情報が表示される。
図7と図8を用いて、本実施形態における画像生成装置が行う処理について説明する。なお、本実施形態における画像生成装置の機能構成及びハードウェア構成、並びに画像生成システムの構成は、第1の実施形態における画像生成装置104及び画像生成システム100と同様であるため、説明を省略する。また、同様の装置及び処理部については、第1の実施形態と同じ符号を使用して説明する。
図7は、本実施形態における画像生成装置104が行う処理を説明するためのフローチャートである。図7に示す処理は、仮想視点画像の動画フレームごとに行われる。また、図8は、画像処理装置104が図7に示す処理を行った場合のユーザ操作方法及び仮想視点画像の表示の一例を示す図である。図8の例では、1台のタブレットの画面が4つのスクリーン801a~801dに分割され、それぞれに仮想視点画像が表示されている。スクリーン801aに表示されている仮想視点画像が俯瞰画像である。俯瞰画像は、撮像領域を上空から見下ろすように配置された仮想カメラ110aに基づいて生成される。以降の説明において、俯瞰画像に対応する仮想カメラを、俯瞰カメラともいう。3つのスクリーン801b~801dには、仮想カメラ110b~110dに基づいて生成された仮想視点画像が表示される。また、俯瞰画像上には、仮想カメラ110b~110dの情報を位置及び姿勢を示す情報として、仮想カメラ情報802b~802dが表示される。仮想カメラと俯瞰画像上の仮想カメラ情報とのうちいずれか一方が操作されると、もう一方も連動して変更される。
なお、図8は一例であり、表示装置の数、スクリーンの数、仮想カメラの数、及び表示装置に対する俯瞰画像の表示位置などはこれに限定されない。
以下、図7の各処理ステップについて説明する。S701において、仮想カメラ制御部201は、複数の仮想カメラの位置、姿勢及び画角等の初期値を取得する。このとき、仮想カメラ制御部201は、俯瞰カメラに対応する仮想カメラには、俯瞰カメラであることを示すタグ等を紐づけしておく。S702において、画像生成部203は、取得された複数の仮想カメラそれぞれの初期値に基づいて、仮想視点画像を表示するためのS701~S707の処理を実行する。
S703において、画像生成部203は、処理対象の仮想カメラが俯瞰カメラであるか否かを判定する。俯瞰カメラではないと判定した場合、画像生成装置203は、S704において仮想カメラの情報に基づいて仮想視点画像を生成し、対応するスクリーンに表示される。図8の例では、この処理ステップにより、スクリーン801b~801dに仮想視点画像が表示される。一方、処理対象の仮想カメラが俯瞰カメラである場合、画像生成部203はS705以降の処理を実行する。
S705において、画像生成部203は、俯瞰カメラの情報に基づいて、俯瞰画像を生成し、対応するスクリーンに表示させる。図8の例では、この処理ステップにより、スクリーン801aに俯瞰画像が表示される。S506において、画像生成装置203は、仮想カメラ制御部201から、俯瞰カメラ以外の他の仮想カメラの情報を取得する。S707において、画像生成部203は、取得した他の仮想カメラの情報に基づいて、俯瞰画像上に他の仮想カメラの情報を示す表示を行う。図8の例では、この処理ステップにより、仮想カメラ110b~110dそれぞれの位置及び姿勢を表す仮想カメラ情報802b~802dが俯瞰画像上に表示される。
S706において、画像生成装置104は、ユーザ操作等により処理全体を終了させる指示が行われたか否かを判定する。指示が行われた場合、処理を終了させる。指示が行われていない場合、S709以降の処理を実行する。S709において、仮想カメラ制御部201は、操作部105に対し、仮想カメラの位置、姿勢及び画角等(仮想視点情報)を変更するためのユーザ操作が行われたか否かを判定する。ユーザ操作が行われたと判定した場合、S710へ処理を進める。一方、ユーザ操作が行われなかったと判定した場合、S702~S707の処理を行い、各仮想カメラに対応する仮想視点画像の生成及び表示を行う。
710において、仮想カメラ制御部201は、操作部105から、仮想カメラの位置、姿勢及び画角等を変更するための操作を受け付ける。S711において、仮想カメラ制御部201は、変更された仮想カメラが俯瞰カメラであるか否かを判定する。俯瞰カメラではない場合、仮想カメラ制御部201は、S712~S714の処理を行う。S712~S714の処理は、図5におけるS503~S505と同様であるため、説明を省略する。
ここで、ユーザが変更する仮想カメラを指定する方法の一例について、図8(b)(c)を使用して説明する。図8(b)は、俯瞰画像上に表示された仮想カメラ情報に対してタッチ操作を行うことにより、仮想カメラの情報を変更する例である。図8(b)の例では、ユーザはスクリーン601a上で仮想カメラ情報802dを指定し、矢印813dのようにドラッグ操作する。この操作を行うことにより、仮想視点情報802dに対応する仮想カメラ110dの情報が変更される。また、図8(c)の例では、スクリーン801b上で矢印823bのようなドラッグ操作が行われている。この場合、スクリーン801bに対応する仮想カメラ110bの情報が変更される。
図7に戻り、S711において、変更された仮想カメラが俯瞰カメラであった場合、S715において、仮想カメラ制御部201は俯瞰カメラの情報を変更する。ユーザは、例えば、図8のスクリーン801a上でピンチイン又はピンチアウト操作を行うことで、俯瞰カメラの画角を変更し、俯瞰画像を拡大表示又は縮小表示することができる。
S712~S715の処理が終了すると、画像生成部203は、S702以降の処理を再度行い、変更後の仮想カメラの情報に基づいて仮想視点情報を生成及び表示する。以上の処理を実行することにより、画像生成装置は、俯瞰画像上の仮想視点情報と、スクリーンに表示される仮想視点画像とを連動して変更することができる。図8(b)の例では、俯瞰画像上の仮想カメラ情報802dが変更されると、スクリーン801d上の仮想視点画像が連動して変更される。また、図8(c)の例では、スクリーン801b上で操作が行われると、俯瞰画像上の仮想カメラ情報802bが連動して変更される。なお、図8(b)、(c)の例では、S712~S714において連動設定された他の仮想カメラの移動については省略されているものとする。実際は、連動設定された仮想カメラについても同様に、俯瞰画像上の仮想カメラ情報、及び、スクリーンに表示される仮想視点画像が連動して変更される。
以上、本実施形態によれば、俯瞰画像を含む複数の仮想視点画像が生成される。また、俯瞰画像上に他の仮想カメラの情報を表示させることにより、ユーザはより直感的な操作を行うことができる。
(第3の実施形態)
本実施形態では、複数スクリーンに複数の仮想視点画像を表示する構成において、スクリーンの構成要素に応じて、仮想カメラの操作感度を制御する手段について説明する。なお、本実施形態における画像生成装置の機能構成及びハードウェア構成、並びに画像生成システムの構成は、第1、第2の実施形態における画像生成装置104及び画像生成システム100と同様であるため、説明を省略する。また、同様の装置及び処理部については、第1の実施形態と同じ符号を使用して説明する。
本実施形態では、複数スクリーンに複数の仮想視点画像を表示する構成において、スクリーンの構成要素に応じて、仮想カメラの操作感度を制御する手段について説明する。なお、本実施形態における画像生成装置の機能構成及びハードウェア構成、並びに画像生成システムの構成は、第1、第2の実施形態における画像生成装置104及び画像生成システム100と同様であるため、説明を省略する。また、同様の装置及び処理部については、第1の実施形態と同じ符号を使用して説明する。
図9を用いて、スクリーンの構成要素について説明する。図9(a)は、タブレット900に複数のスクリーン901~903が表示されている例を示す。図9(a)の例では、スクリーン901をメイン・スクリーンとし、その上にスクリーン902と903とがサブ・スクリーンとして表示される。各スクリーンには被写体の一部が仮想視点画像として表示されている。
図9(b)は、撮像領域を俯瞰した図を表す。撮像領域には、フィールド911及び観客席912があり、フィールド上には選手913及びボール914等が存在する。また、スクリーン902及び903が、撮像領域の三次元空間内に仮想的に配置されている。図9(b)の例では、俯瞰画像上に3つの仮想カメラ931a~931cが表示されている。フィールド中央にある仮想カメラ931aは、メイン・スクリーンであるスクリーン901に対応付けされている。仮想カメラ931aに基づいて生成される仮想視点画像をスクリーン901に表示すると、スクリーン902及び903がスクリーン901上の仮想視点画像に表示される。また、仮想カメラ931及び931cは、それぞれサブ・スクリーンであるスクリーン902及び903に対応付けされている。仮想カメラ931b及び931cに基づいて生成された仮想視点画像は、それぞれスクリーン902及び903に表示される。
スクリーンの構成要素とは、図9の様な構成における、スクリーンのサイズ及び位置、並びにスクリーンに紐付けられた仮想カメラの解像度及び画角を指す。図9に示す構成であっても、第1の実施形態で説明した連動制御を行うことができる。図9の例では、複数のスクリーンはメイン・スクリーンとサブ・スクリーンでサイズが異なる。このとき、スクリーンサイズに応じて、仮想カメラの解像度及び画角が異なっていてもよい。
図9のようにスクリーンの構成要素が異なる場合、例えば、タブレット900の画面上では同じ操作距離(例えば、ドラッグ距離)が行われると、スクリーンサイズが異なるため、各スクリーンに対する操作距離の比率が異なる。例えば、図9(c)に示す様に、タブレット画面上では同じ操作距離のドラッグ操作941と942であっても、サブ・スクリーン902に置いては画面横幅一杯の操作距離であるのに対して、メイン・スクリーン901では1/3以下の操作距離となる。このため、同じドラッグ操作でも、サブ・スクリーンに対応する仮想カメラの方が、メイン・スクリーンに対応する仮想カメラよりも大きく変化してしまい、ユーザ操作に違和感を与える可能性がある。
本実施形態における画像生成装置104は、構成要素の差によってユーザ操作に違和感を与えない様に、スクリーンの構成要素に応じて仮想カメラの操作感度を変更する。図9の例では、例えば、サブ・スクリーンに対するユーザ操作の操作感度を1/3にする。すなわち、サブ・スクリーン上で行われたユーザ操作に対応する仮想カメラの変更量は、メイン・スクリーン上で行われたユーザ層に対応する仮想カメラの変更量の1/3となる。
これにより、ユーザはサイズの異なるスクリーンに対しても違和感なく操作を行うことができる。なお、メイン・スクリーンを基準として位置が遠いサブ・スクリーンに対して、操作感度を下げる様に設定しても良い。なお、パラメータの重み付けはサブ・スクリーンのサイズに限らず、紐付けられた仮想カメラの解像度や画角などに応じて変更しても良い。
これにより、ユーザはサイズの異なるスクリーンに対しても違和感なく操作を行うことができる。なお、メイン・スクリーンを基準として位置が遠いサブ・スクリーンに対して、操作感度を下げる様に設定しても良い。なお、パラメータの重み付けはサブ・スクリーンのサイズに限らず、紐付けられた仮想カメラの解像度や画角などに応じて変更しても良い。
以上説明した方法は、第1の実施形態において説明した連動制御にも適用可能である。例えば、図9(d)の例では、タブレット900上にメイン・スクリーンとしてスクリーン904が割り当てられ、スクリーン904上に、サブ・スクリーンとしてスクリーン905が割り当てられている。また、スクリーン904及び905には、第1の実施形態において説明した方法により連動設定された2つの仮想カメラ931b及び931cに対応する仮想視点画像が表示されている。スクリーン905の操作感度は、スクリーン904の操作感度の1/3であるとする。このとき、スクリーン905に対し、矢印951のようなドラッグ操作が行われたとする。この操作により、仮想カメラ931b及び931cの位置が変更されるが、位置の変更量は矢印951の1/3の大きさの矢印952となる。結果として、スクリーン904には、矢印952が表す変更量分位置が変更された仮想カメラ931bに対応する仮想視点画像が表示される。またこのときのスクリーン904上の変更量は、矢印953となる。
図10を用いて、スクリーンの構成要素に応じてパラメータを変更する連動処理について説明する。図10の処理は、図5におけるS501~S505の処理と置き換えて実行される。
S1001において、仮想カメラ制御部201は、複数のスクリーンの構成要素を取得する。仮想カメラ制御部201は、データベース等に記憶されているスクリーンの構成に関する情報を取得してもよいし、ユーザによる入力に基づいて構成要素を取得してもよい。S1002において、仮想カメラ制御部201は、構成要素に応じてスクリーン毎の操作感度を決定する。仮想カメラ制御部201は、例えば図9においては、仮想カメラ制御部201は、メイン・スクリーンとサブ・スクリーンとの辺の長さの日に基づき、サブ・スクリーンの操作感度を1/3に決定する。
S1003において、仮想カメラ制御部201は、仮想カメラの位置、姿勢及び画角等(仮想視点情報)を変更するためのユーザ操作が行われたか否かを判定する。ユーザ操作が行われたと判定した場合、S1004へ処理を進める。一方、ユーザ操作が行われなかったと判定した場合、S506以降の処理を実行する。
S1004において、仮想カメラ制御部201は、操作部105から、仮想カメラの位置、姿勢及び画角等を変更するための操作を受け付ける。S1005において、仮想カメラ制御部201は、S1002において決定した操作感度に基づき、受け付けたユーザ操作により変更される仮想カメラの変更量を調整する。例えば図9(d)に関して、S1002においてスクリーン905の操作感度が1/3に決定された場合、スクリーン905に対して行われたユーザ操作(矢印951)に基づく変更量は、矢印952となるように調整される。
S1006において、連動設定部204は、ユーザ操作により指定された仮想カメラと他の仮想カメラとを連動させるか否かを判定する。S1007において、仮想カメラ制御部201は、S1006において連動させると判定された複数の仮想カメラを制御する。S1007において、仮想カメラ制御部201は、ユーザ操作により変更された仮想カメラを制御する。なお、S1006及びS1007における仮想カメラの制御は、S1005において調整された変更量に基づいて行われる。図9(d)の例では、矢印951のようなユーザ操作に対し、変更量は矢印952のように調整される。これに伴い、連動設定されたスクリーン904に表示される仮想視点画像の変更量は、調整された矢印952に相当する変更量である矢印953となる。
以上に説明した様に、本実施形態における画像生成装置104は、構成要素の異なる複数のスクリーンが含まれる場合でも、ユーザ操作に違和感を与えることなく仮想カメラの変更を行うことができる。なお、スクリーン毎に操作感度を変更する処理は、複数スクリーンに重畳関係がない場合に適用してもよく、例えば、図1(d)の様に等分に4分割された複数のスクリーンに適用してもよい。その場合は、構成要素でなく、ユーザ設定に応じてスクリーン毎の操作感度が決定されてもよい。
(第4の実施形態)
本実施形態は、ユーザが連動設定を管理する方法の例について説明する。図11は、仮想カメラの連動設定を管理するUI画面の一例を説明するための図である。図11のUI画面1100は、画像生成装置104の複数のスクリーン111とは異なるモニタ及びウェブブラウザ等により表示される。また、図11のUI画面1100は、連動設定部204により生成及び表示される。連動設定を管理するオペレータは、UI画面1100を使用して、どの仮想カメラが連動して動作するかを管理することができる。
本実施形態は、ユーザが連動設定を管理する方法の例について説明する。図11は、仮想カメラの連動設定を管理するUI画面の一例を説明するための図である。図11のUI画面1100は、画像生成装置104の複数のスクリーン111とは異なるモニタ及びウェブブラウザ等により表示される。また、図11のUI画面1100は、連動設定部204により生成及び表示される。連動設定を管理するオペレータは、UI画面1100を使用して、どの仮想カメラが連動して動作するかを管理することができる。
まず、図11の設定画面1100において、オペレータは新規作成ボタン1101を押下する。これにより、1つの仮想カメラの操作に必要な設定リスト1110が表示される。図11の例では、4つの仮想カメラのための設定リスト1110、1120、1130、1140が表示されており、新規作成ボタン401が4回押下されたことを意味している。なお、設定できる仮想カメラ数は4に限定されない。ここでは一例として、4つの仮想カメラが生成され、その内、2つずつが連動して制御される場合について説明する。
各設定リスト1110~1140には、各仮想カメラを操作に要求されるパラメータを設定するための設定項目1111~1113を含む。各設定項目について説明する。
設定項目1111においては、仮想カメラの操作に使用される入力デバイス(操作部105)の識別子を設定する。オペレータは、ジョイスティック、マウス、及びタブレット等の選択肢の中から使用される入力デバイスを1つ選択する。
操作部106a~106mのそれぞれには識別子が付与されている。オペレータは識別子を指定し、どのコントローラをどの仮想視点画像の生成に使用するのかを設定する。図11の例では、「ジョイスティックA」、「タブレットA」のように入力デバイスの種類名にアルファベットが付記されている。
設定項目1112には、連動設定部204により連動すると判定された仮想カメラの識別子が表示される。オペレータは、設定項目1112のプルダウンから、連動する仮想カメラの識別子を変更したり、「連動解除」を選択することにより、連動設定を変更及び解除することができる。
設定項目413には、連動制御する際の優先度として、「主導」または「追随」が表示される。主導・追随の設定は、主導に設定された仮想カメラの操作と、追随に設定された仮想カメラの操作とが同時に行われた場合、主導に設定された仮想カメラの操作に追随に設定された仮想カメラの操作が追随することを意味する。なお、優先度の表現方法はこれに限定されず、例えば数値によって優先度の高低が表されてもよい。
図11の例では、仮想カメラAの設定パネル1110において、設定項目1112の連動する仮想カメラの識別子として「仮想カメラD」が設定され、設定項目1113において「主導」が設定されている。一方で、仮想カメラDの設定パネル1140においては、設定項目1112の連動する仮想カメラの識別子として「仮想カメラA」が設定され、設定項目1113において「追随」が設定されている。この様な場合、仮想カメラAの設定項目1111において指定される「ジョイスティックA」に対するオペレータの操作によって、仮想カメラAに加えて、仮想カメラDも操作されることになる。また、仮想カメラDの設定項目1111において指定される「ジョイスティックD」が「ジョイスティックA」と同時に操作された場合、ジョイスティックDに対して行われた操作は無効となる。
なお、主導に設定された仮想カメラの操作と、追随に設定された仮想カメラの操作とが同時に行われない場合は、一方の操作に基づき、もう一方の仮想カメラが連動して制御される。連動しないようにしたい場合は、連動設定を解除すればよい。
以上説明した構成により、ユーザ(オペレータ)は、仮想カメラの連動設定を管理することができる。なお、UI画面の構成は図11の例に限定されず、複数の仮想視点の連動の有無、及び、入力デバイスを設定できればよい。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
104 画像生成装置
201 仮想カメラ制御部
203 画像生成部
201 仮想カメラ制御部
203 画像生成部
Claims (19)
- 複数の撮像装置が行う撮像に基づく複数の画像データに基づいて生成される仮想視点画像に対応する仮想視点の視点位置及び仮想視点からの視線方向を表す仮想視点情報を変更するためのユーザ指定を受け付ける受付手段と、
表示手段に表示された複数の仮想視点画像に対応する複数の仮想視点情報に含まれる第1の仮想視点情報であって、前記複数の撮像装置により撮像される特定の撮像対象を含む仮想視点画像に対応する第1の仮想視点情報に基づいて、前記複数の仮想視点情報の中から、前記第1の仮想視点情報とは少なくとも仮想視点からの視線方向が異なり、且つ前記特定の撮像対象を含む仮想視点画像に対応する第2の仮想視点情報を特定する特定手段と、
前記第1の仮想視点情報を変更するためのユーザ指定を前記受付手段が受け付けた場合、前記第1の仮想視点情報と、前記第1の仮想視点情報に基づいて前記特定手段により特定される前記第2の仮想視点情報とを変更する変更手段と、
前記変更手段により変更された前記第1の仮想視点情報に対応する仮想視点画像と、前記変更手段により変更された前記第2の仮想視点情報に対応する仮想視点画像とを、表示手段に表示させる表示制御手段と
を有することを特徴とする情報処理装置。 - 前記特定手段は、前記複数の撮像装置により撮像される撮像領域における前記複数の仮想視点情報に基づいて特定される複数の特定範囲のうち、前記第1の仮想視点情報に基づいて特定される特定範囲と重複する特定範囲に対応する仮想視点情報を、第2の仮想視点情報として特定することを特徴とする請求項1に記載の情報処理装置。
- 前記特定手段は、前記複数の特定範囲のうち、前記第1の仮想視点情報に基づいて特定される特定範囲と重複する範囲が所定のサイズ以上である特定範囲に対応する仮想視点情報を、前記第2の仮想視点情報として特定することを特徴とする請求項2に記載の情報処理装置。
- 前記特定手段は、前記複数の特定範囲のうち、前記第1の仮想視点情報に基づいて特定される特定範囲に対して重複する範囲が所定の割合以上である特定範囲に対応する仮想視点情報を、前記第2の仮想視点情報として特定することを特徴とする請求項2に記載の情報処理装置。
- 前記特定範囲は、前記仮想視点情報に対応する仮想視点の視点位置、仮想視点からの視線方向、及び、画角に基づいて特定されることを特徴とする請求項2乃至4のいずれか1項に記載の情報処理装置。
- 前記変更手段は、前記第1の仮想視点情報により表される仮想視点の視点位置を変更するためのユーザ指定を前記受付手段が受け付けた場合、前記ユーザ指定に基づく視点位置の変更量及び変更方向に基づいて、前記第2の仮想視点情報により表される仮想視点の視点位置を変更することを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
- 前記変更手段は、前記変更量及び前記変更方向に基づいて、前記第1の仮想視点情報により表される仮想視点の視点位置と前記第2の仮想視点情報により表される仮想視点の視点位置とが平行移動するように、前記第2の仮想視点情報により表される仮想視点の視点位置を変更することを特徴とする請求項6に記載の情報処理装置。
- 前記変更手段は、前記変更方向が前記第1の仮想視点情報により表される仮想視点からの視線方向と同方向である場合、前記第2の仮想視点情報により表される仮想視点の視点位置が前記第2の仮想視点情報により表される仮想視点からの視線方向と同方向に移動するように、前記第2の仮想視点情報により表される仮想視点の視点位置を変更することを特徴とする請求項6に記載の情報処理装置。
- 前記変更手段は、前記変更方向が前記第1の仮想視点情報により表される仮想視点からの視線方向と逆方向である場合、前記第2の仮想視点情報により表される仮想視点の視点位置が前記第2の仮想視点情報により表される仮想視点からの視線方向と逆方向に移動するように、前記第2の仮想視点情報により表される仮想視点の視点位置を変更することを特徴とする請求項6に記載の情報処理装置。
- 前記変更手段は、前記第1の仮想視点情報に対応する仮想視点画像が表示される表示部の大きさと、前記第2の仮想視点情報に対応する仮想視点画像が表示される表示部の大きさとに基づいて、前記ユーザ指定に基づく視点位置の変更量を決定することを特徴とする請求項6乃至9のいずれか1項に記載の情報処理装置。
- 前記変更手段は、
前記第1の仮想視点情報により表される仮想視点からの視線方向を変更するためのユーザ指定を前記受付手段が受け付けた場合、前記ユーザ指定に基づく視線方向の変更量及び変更方向に基づいて、前記第2の仮想視点情報により表される仮想視点からの視線方向を変更することを特徴とする請求項1乃至10のいずれか1項に記載の情報処理装置。 - 前記変更手段は、前記第2の仮想視点情報により表される仮想視点からの視線方向を前記変更方向とは逆方向に変更させるように、前記第2の仮想視点情報により表される仮想視点からの視線方向を変更することを特徴とする請求項11に記載の情報処理装置。
- 前記仮想視点情報は、画角をさらに表し、
前記変更手段は、前記第1の仮想視点情報により表される画角を変更するためのユーザ指定を前記受付手段が受け付けた場合、前記ユーザ指定に基づく画角の変更量又は前記ユーザ指定に基づく変更後の画角に基づいて、前記第2の仮想視点情報により表される画角を変更する
ことを特徴とする請求項1乃至12のいずれか1項に記載の情報処理装置。 - 前記仮想視点情報は、前記仮想視点情報に基づいて生成される仮想視点画像の再生速度を示すパラメータを含み、
前記変更手段は、前記第1の仮想視点情報に含まれる前記パラメータを変更するためのユーザ指定を前記受付手段が受け付けた場合、前記ユーザ指定に基づく変更後のパラメータに基づいて、前記第2の仮想視点情報に含まれる前記パラメータを変更する
ことを特徴とする請求項1乃至13のいずれか1項に記載の情報処理装置。 - 前記第1の仮想視点情報を変更するためのユーザ指定に基づく前記第2の仮想視点情報の変更が行われないように、前記変更手段を制御する制御手段を有することを特徴とする請求項1乃至14のいずれか1項に記載の情報処理装置。
- 前記特定の撮像対象は、前記複数の撮像装置により撮像される撮像領域における特定のオブジェクトを含むことを特徴とする請求項1乃至15のいずれか1項に記載の情報処理装置。
- 前記特定の撮像対象は、前記複数の撮像装置により撮像される撮像領域における特定の位置を含むことを特徴とする請求項1乃至16のいずれか1項に記載の情報処理装置。
- 複数の撮像装置が行う撮像に基づく複数の画像データに基づいて生成される仮想視点画像に対応する仮想視点の視点位置及び仮想視点からの視線方向を表す仮想視点情報を変更するためのユーザ指定を受け付ける受付工程と、
表示手段に表示された複数の仮想視点画像に対応する複数の仮想視点情報に含まれる第1の仮想視点情報であって、前記複数の撮像装置により撮像される特定の撮像対象を含む仮想視点画像に対応する第1の仮想視点情報に基づいて、前記複数の仮想視点情報の中から、前記第1の仮想視点情報とは少なくとも仮想視点からの視線方向が異なり、且つ前記特定の撮像対象を含む仮想視点画像に対応する第2の仮想視点情報を特定する特定工程と、
前記第1の仮想視点情報を変更するためのユーザ指定を前記受付工程において受け付けた場合、前記第1の仮想視点情報と、前記第1の仮想視点情報に基づいて特定される前記第2の仮想視点情報とを変更する変更工程と、
前記変更工程において変更された前記第1の仮想視点情報に対応する仮想視点画像と、前記変更工程において変更された前記第2の仮想視点情報に対応する仮想視点画像とを、表示手段に表示させる表示制御工程と
を有することを特徴とする仮想視点画像の表示方法。 - コンピュータを、請求項1乃至17のいずれか1項に記載の情報処理装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020115061A JP2022012900A (ja) | 2020-07-02 | 2020-07-02 | 情報処理装置、表示方法、及び、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020115061A JP2022012900A (ja) | 2020-07-02 | 2020-07-02 | 情報処理装置、表示方法、及び、プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022012900A true JP2022012900A (ja) | 2022-01-17 |
Family
ID=80148977
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020115061A Pending JP2022012900A (ja) | 2020-07-02 | 2020-07-02 | 情報処理装置、表示方法、及び、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022012900A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024070762A1 (ja) * | 2022-09-29 | 2024-04-04 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム |
-
2020
- 2020-07-02 JP JP2020115061A patent/JP2022012900A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024070762A1 (ja) * | 2022-09-29 | 2024-04-04 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11663785B2 (en) | Augmented and virtual reality | |
JP6627861B2 (ja) | 画像処理システムおよび画像処理方法、並びにプログラム | |
JP6742869B2 (ja) | 画像処理装置および画像処理方法 | |
US11627251B2 (en) | Image processing apparatus and control method thereof, computer-readable storage medium | |
JP7378243B2 (ja) | 画像生成装置、画像表示装置および画像処理方法 | |
CN108377361B (zh) | 一种监控视频的显示控制方法及装置 | |
JP2019083402A (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
US11847735B2 (en) | Information processing apparatus, information processing method, and recording medium | |
US10732706B2 (en) | Provision of virtual reality content | |
KR20210136858A (ko) | 화상표시장치, 제어방법, 및 프로그램 | |
JP2022188095A (ja) | 情報処理装置、情報処理装置の制御方法、及びプログラム | |
JP2020042362A (ja) | 制御装置及びその制御方法 | |
EP3665656B1 (en) | Three-dimensional video processing | |
JP2024019537A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2022012900A (ja) | 情報処理装置、表示方法、及び、プログラム | |
KR20230152589A (ko) | 화상 처리 시스템, 화상 처리방법, 및 기억매체 | |
JP2020102687A (ja) | 情報処理装置、画像処理装置、画像処理方法、及びプログラム | |
JP6358998B2 (ja) | 警備シミュレーション装置 | |
JP6358996B2 (ja) | 警備シミュレーション装置 | |
US20220408069A1 (en) | Information processing apparatus, information processing method, and storage medium | |
WO2024070762A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
WO2024070761A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP7459199B1 (ja) | 画像処理システム | |
WO2023145571A1 (ja) | 情報処理装置、情報処理方法、データ構造及びプログラム | |
US20220245887A1 (en) | Image processing device and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20200731 |