JP2024017779A - 画像処理装置、画像処理方法及びコンピュータプログラム - Google Patents
画像処理装置、画像処理方法及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2024017779A JP2024017779A JP2022120653A JP2022120653A JP2024017779A JP 2024017779 A JP2024017779 A JP 2024017779A JP 2022120653 A JP2022120653 A JP 2022120653A JP 2022120653 A JP2022120653 A JP 2022120653A JP 2024017779 A JP2024017779 A JP 2024017779A
- Authority
- JP
- Japan
- Prior art keywords
- event
- virtual viewpoint
- image
- time
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 37
- 238000004590 computer program Methods 0.000 title claims description 6
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000003384 imaging method Methods 0.000 claims description 38
- 230000004397 blinking Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 5
- 238000003860 storage Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 238000000034 method Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 240000004050 Pentaglottis sempervirens Species 0.000 description 6
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 235000005156 Brassica carinata Nutrition 0.000 description 1
- 244000257790 Brassica carinata Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 239000007858 starting material Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/004—Annotating, labelling
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】 イベントを仮想視点画像の適切な位置に含むような仮想カメラの操作を容易にするための画像処理装置を提供する。【解決手段】 仮想視点の位置および仮想視点からの視線方向と、仮想視点画像に対応する時刻より後の時刻に発生するイベントの発生位置を表すイベント情報を示す画像を重畳表示する仮想視点画像を生成する。【選択図】 図5
Description
本開示は、仮想視点画像を生成する画像処理装置、画像処理方法及びコンピュータプログラムに関する。
複数の撮像装置を異なる位置に設置して多視点で同期撮像し、当該撮像により得られた複数の画像を用いて3次元モデルを生成する事で、3次元空間内に仮想的に配置したカメラ(仮想カメラ)からの視点から見た仮想視点画像を生成する技術がある。特許文献1では、ユーザーは、操作部を操作し、表示画面において仮想カメラに対応するアイコンを移動および回転させることにより、仮想カメラを所望の位置および姿勢に設定する技術が提案されている。
しかしながら、仮想カメラ操縦者は、生成される仮想視点画像を参考に仮想カメラを操縦するため、バスケットボールにおけるトラベリングといった突発的に発生するイベントを仮想視点画像の適切な位置に含むように仮想カメラを操縦することが困難であった。
本開示は、イベントを仮想視点画像の適切な位置に含むような仮想カメラの操作を容易にするための画像処理装置を提供することを目的としている。
本開示の1つの実施態様の画像処理装置は、
複数の撮像装置により撮像される画像に基づいて生成される仮想視点画像に対応する仮想視点の位置および仮想視点からの視線方向と、前記仮想視点画像に対応するタイムコードより後のタイムコードに発生するイベントであって、前記イベントの発生位置および前記イベントの発生時刻に対応するタイムコードを表すイベント情報とを取得する取得手段と、
前記イベント情報を含む仮想視点画像を生成する生成手段と
を有することを特徴とする。
複数の撮像装置により撮像される画像に基づいて生成される仮想視点画像に対応する仮想視点の位置および仮想視点からの視線方向と、前記仮想視点画像に対応するタイムコードより後のタイムコードに発生するイベントであって、前記イベントの発生位置および前記イベントの発生時刻に対応するタイムコードを表すイベント情報とを取得する取得手段と、
前記イベント情報を含む仮想視点画像を生成する生成手段と
を有することを特徴とする。
本開示によれば、イベントを仮想視点画像の適切な位置に含むような仮想カメラの操作を容易にすることができる。
以下、図面を参照して本開示の実施形態を説明する。ただし、本開示は以下の実施形態に限定されるものではない。なお、各図において、同一の部材または要素については同一の参照番号を付し、重複する説明は省略または簡略化する。
<実施形態1>
本実施形態の画像処理システムは、複数の撮像装置による撮像に基づく複数の画像と、指定された仮想視点とに基づいて、指定された仮想視点からの光景を表す仮想視点画像を生成するシステムである。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザーが自由に(任意に)指定した視点に対応する画像に限定されず、例えば複数の候補からユーザーが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点の指定がユーザー操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて自動で行われてもよい。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。
本実施形態の画像処理システムは、複数の撮像装置による撮像に基づく複数の画像と、指定された仮想視点とに基づいて、指定された仮想視点からの光景を表す仮想視点画像を生成するシステムである。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザーが自由に(任意に)指定した視点に対応する画像に限定されず、例えば複数の候補からユーザーが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点の指定がユーザー操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて自動で行われてもよい。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。
仮想視点画像の生成に用いられる視点情報は、仮想視点の位置及び向き(視線方向)を示す情報である。具体的には、視点情報は、仮想視点の3次元位置を表すパラメータと、パン、チルト、及びロール方向における仮想視点の向きを表すパラメータとを含む、パラメータセットである。なお、視点情報の内容は上記に限定されない。例えば、視点情報としてのパラメータセットには、仮想視点の視野の大きさ(画角)を表すパラメータが含まれてもよい。また、視点情報は複数のパラメータセットを有していてもよい。例えば、視点情報が、仮想視点画像の動画を構成する複数のフレームにそれぞれ対応する複数のパラメータセットを有し、連続する複数の時点それぞれにおける仮想視点の位置及び向きを示す情報であってもよい。
本実施形態の画像処理システムは、撮像領域を複数の方向から撮像する複数の撮像装置を有する。撮像領域は、例えばサッカーや空手などの競技が行われる競技場、もしくはコンサートや演劇が行われる舞台などである。複数の撮像装置は、このような撮像領域を取り囲むようにそれぞれ異なる位置に設置され、同期して撮像を行う。なお、複数の撮像装置は撮像領域の全周にわたって設置されていなくてもよく、設置場所の制限等によっては撮像領域の周囲の一部にのみ設置されていてもよい。また、撮像装置の数は図に示す例に限定されず、例えば撮像領域をサッカーの競技場とする場合には、競技場の周囲に30台程度の撮像装置が設置されてもよい。また、望遠カメラと広角カメラなど機能が異なる撮像装置が設置されていてもよい。
なお、本実施形態における複数の撮像装置は、それぞれが独立した筐体を有し単一の視点で撮像可能なカメラであるものとする。ただしこれに限らず、2以上の撮像装置が同一の筐体内に構成されていてもよい。例えば、複数のレンズ群と複数のセンサを備えており複数視点から撮像可能な単体のカメラが、複数の撮像装置として設置されていてもよい。
仮想視点画像は、例えば以下のような方法で生成される。まず、複数の撮像装置によりそれぞれ異なる方向から撮像することで複数の画像(複数視点画像)が取得される。次に、複数視点画像から、人物やボールなどの所定のオブジェクトに対応する前景領域を抽出した前景画像と、前景領域以外の背景領域を抽出した背景画像が取得される。また、所定のオブジェクトの3次元形状を表す前景モデルと前景モデルに色付けするためのテクスチャデータとが前景画像に基づいて生成され、競技場などの背景の3次元形状を表す背景モデルに色づけするためのテクスチャデータが背景画像に基づいて生成される。そして、前景モデルと背景モデルに対してテクスチャデータをマッピングし、視点情報が示す仮想視点に応じてレンダリングを行うことにより、仮想視点画像が生成される。ただし、仮想視点画像の生成方法はこれに限定されず、3次元モデルを用いずに撮像画像の射影変換により仮想視点画像を生成する方法など、種々の方法を用いることができる。
図1は、本実施形態に係る画像処理システムの装置構成の1例を示す図である。
タイムサーバ101は、カメラ群102が同期して撮像するためのタイムコードを設定し、カメラ群102に送信する。
カメラ群102は、被写体の3次元モデルの生成を目的として全台同期撮像を行う。同期はタイムサーバ101から供給される時刻情報に基づき撮像を行い、カメラ群102は撮像画像にその撮像時刻情報を付与して、3次元モデル生成装置103に出力する。
3次元モデル生成装置103は、カメラ群102にて撮像した撮像画像を取得し、3次元モデルを生成する。本実施形態において、3次元モデルの生成手段については特に限定しないが、例えば、視体積交差法のようにシルエット画像を元に3次元モデルを生成しても構わない。また、カメラ群102が距離センサなどを含んで構成され、距離センサからのデプスマップなどから3次元モデルを生成しても構わない。
3次元モデル格納装置104は、3次元モデル生成装置103が生成した3次元モデルを、撮像時刻情報に紐づけて格納する。また、3次元モデル取得部111から受信した仮想視点画像生成時刻を基に、仮想視点画像生成時刻に対応する撮像時刻情報に紐づく3次元モデルを3次元モデル取得部111に送信する。仮想視点画像生成時刻は、仮想カメラ操縦者が生成したい仮想視点画像の時刻として、コントローラ107から設定されるものである。なお、仮想視点画像生成時刻は、コントローラ107から設定されるものに限定されず、仮想カメラ制御装置108や外部装置(不図示)により設定されても構わない。
イベント情報取得装置105は、例えば、バスケットボールの試合におけるトラベリングやブロッキング等、被写体に生じたイベント情報を取得する。本実施形態ではバスケットボールの例を用いて説明するが、イベントはこれに限定されない。サッカーや陸上競技等のスポーツでもよいし、コンサートや競馬等でも構わない。本実施形態においてイベント情報は、イベント発生時刻、イベント発生位置、イベントに関与する被写体、イベント種別のいずれかを含む。イベント情報の取得手段として、本実施形態では特定の手段に限定しない。例えば、カメラ群102で撮像した撮像画像に対して画像処理を行った結果を基にイベントを検知し、イベント情報として取得しても良い。その3次元モデルの位置や被写体に付けられたGPSセンサからの情報からイベント発生場所を取得することができる。または、陸上競技におけるゴールセンサ、スターターピストルセンサや、フェンシングにおける剣先センサ等のような、センサから得られた信号を基にイベント情報を取得しても良い。またはマイク等の音声収録装置で収音した音声信号の解析結果を基にイベント情報を取得しても良い。またはイベント発生後に、手動でイベント内容を入力する事でイベント情報を取得しても良い。また、イベント情報は必ずしも予め決められたイベントでなくてもよい。例えば解説者が注目したポイントや注目したプレイをイベント情報として取得しても良い。
イベント情報格納装置106は、イベント情報取得装置105で取得したイベント情報を格納し、図3のようなテーブルで管理する。また、イベント情報取得部110から仮想視点画像生成時刻を取得し、取得した仮想視点画像生成時刻から所定の時間、例えば数秒間の間に発生したイベントのイベント情報をイベント情報取得部110に送信する。なお、1つのイベントに関与する被写体が複数人いる場合、関与する被写体全員を記録してもよいし、代表となる被写体のみを記録してもよい。本実施形態では、1つのイベントに2人の被写体が関与するプッシングの反則において、実行した被写体と反則を被った被写体の2人を記述する。
コントローラ107は、ジョイスティックを有するコントローラである。しかしながらこれに限定されず、タッチパネルを有するタブレット端末やキーボードやマウスであってもよい。仮想カメラ操縦者は、後述する操縦者用ディスプレイ114を見ながら、コントローラ107を操作して仮想カメラを操縦する。操縦によって得られた操作情報は仮想カメラ制御装置108に送信される。操作情報とは、コントローラ107の機能を割り当てられた各種ボタンが押されたか否か、カメラの動きや位置の制御を行うためのジョイスティックをどれくらい傾けているか、などといったコントローラ107の操作に基づく情報である。なお、操作情報には、仮想視点画像生成時刻が含まれる。
仮想カメラ制御装置108は、コントローラ107から受信した操作情報を基に仮想カメラの位置や姿勢、画角等の仮想カメラ情報を生成し、生成した仮想カメラ情報を仮想カメラ情報取得部109に送信する。なお、仮想カメラ情報は少なくとも仮想視点画像生成時刻を含む。
仮想カメラ情報取得部109は、仮想カメラ制御装置108から取得した仮想カメラ情報を、イベント情報取得部110と、3次元モデル取得部111に送信する。
イベント情報取得部110は、仮想カメラ情報取得部109から取得した仮想カメラ情報に含まれる仮想視点画像生成時刻を、イベント情報格納装置106に対し送信する。その後、仮想視点画像生成時刻から数秒間の間に発生したイベントのイベント情報をイベント情報格納装置106から取得する。本実施形態において、イベント情報は、イベント発生時刻、イベント発生位置、被写体、イベント種別(イベントの名称)とするがこれに限定されない。イベント情報は、イベント発生時刻とイベント発生位置を含んでいればよい。また、イベントの種別に応じた優先度を設けても構わない。なお、イベント情報はタイムサーバ101にて設定されるタイムコードと対応付けられる。更に、取得した仮想カメラ情報と、取得したイベント情報を、操縦者用画像生成部113に送信する。
3次元モデル取得部111は、仮想カメラ情報取得部109から取得した仮想カメラ情報に含まれる仮想視点画像生成時刻を基に、3次元モデル格納装置104から対応する時刻の3次元モデルを取得する。更に、取得した仮想カメラ情報と、取得した3次元モデルを、仮想視点画像生成部112に送信する。
仮想視点画像生成部112は、3次元モデル取得部111から取得した3次元モデルと、仮想カメラ情報を基に、仮想視点画像を生成する。具体的には、取得した3次元モデルを、仮想カメラ情報が示す仮想カメラが撮像した画像を仮想視点画像として生成する。なお、仮想視点画像生成部112は別途3次元背景データを保持しており、取得した3次元モデルと、3次元背景データを合成する事で仮想視点画像を生成する。本実施形態においては3次元背景データが予め生成されたものとして説明するが、背景となる部分を撮像した映像を合成しても構わない。また、本実施形態では、仮想視点画像とタイムサーバ101にて管理されるタイムコードが対応付けられて生成される。更に、生成した仮想視点画像を、配信装置115に送信する。なお、本実施形態において、仮想視点画像の送信先を配信装置115に限定しない。例えばディスプレイ等のデバイスを送信先としても良い。生成した仮想視点画像は操縦者用画像生成部113にも送信される。
操縦者用画像生成部113は、イベント情報取得部110から取得したイベント情報と、仮想カメラ情報と、仮想視点画像生成部112から取得した仮想視点画像を基に、操縦者用画像を生成する。ここで操縦者用画像は、仮想視点画像に対し、例えばイベント発生位置、被写体、イベント種別、イベント発生までのカウントダウンを重畳した画像となる。例として、「<選手A>トラベリング発生まであと00:00:04;23」の様なメッセージを生成し、仮想視点画像に重畳する。イベント発生位置には、イベントの発生を示す3次元仮想オブジェクトまたはアイコンが表示される。なお、イベント発生時刻301と、仮想カメラ情報に含まれる仮想視点画像生成時刻を基に、イベント発生までのカウントダウンの時間を求める。なお、仮想視点画像とイベント情報にはタイムコードが対応付けられているため、それぞれのタイムコードの差分に基づいてカウントダウンの時間を求めても構わない。また操縦者用画像生成部113は、生成した操縦者用画像を操縦者用ディスプレイ114に送信する。なお、本開示は送信先をディスプレイに限定せず、操縦者が視聴可能なデバイスであれば良い。なお、本実施形態ではカウントダウンの時刻表示を行うことにより、仮想視点画像生成時刻からイベント発生時刻までの時間を示したが、これに限定されない。例えば、イベント発生時刻の表示でも構わないし、文字や数字ではなく、アイコン等の表示の色彩、大きさ、点滅の周期などを用いて表現しても構わない。例えば、イベント発生時刻までカウントダウンの値が比較的大きな値の場合は緑色で表現して、カウントダウンの値が小さくなるまで黄色や赤などの色に変えることで発生までの時間的な長さを表現できる。同様にカウントダウンの値が大きい場合は文字や数字、アイコンは小さく、カウントダウンの値が小さい場合は大きくする。点滅に関しては、カウントダウンの値が大きい場合は点滅周期が長いが、カウントダウンの値が小さくなるにつれ、徐々に短くすることで表現できる。また、本実施形態では重畳するイベント情報が1つの場合を示したが、これに限定されず、複数表示されていても構わない。
操縦者用ディスプレイ114は、仮想視点画像生成装置116から受信した仮想視点画像を表示する。表示される仮想視点画像は、操縦者用画像生成部113にて生成された仮想視点画像であり、イベント情報を含む。仮想カメラ操縦者は、イベント情報が表示された仮想視点画像を参考にコントローラ107を介して仮想カメラの操作を行う。
配信装置115は、仮想視点画像生成装置116から受信した仮想視点画像を配信する。配信される仮想視点画像は、仮想視点画像生成部112で生成された仮想視点画像であり、仮想視点画像上にイベント情報が表示された画像ではない。しかしながら、これに限定されず、操縦者用画像生成部113で生成されたイベント情報を含む仮想視点画像を配信してもよい。
仮想視点画像生成装置116は、仮想カメラ情報取得部109、イベント情報取得部110、3次元モデル取得部111、仮想視点画像生成部112および操縦者用画像生成部113を有する装置である。なお、上記構成に限定されず、コントローラ107、仮想カメラ制御装置108および操縦者用ディスプレイ114の少なくとも何れかを含んでいてもよい。
図2は、仮想視点画像生成装置116のハードウェア構成を示す図である。なお、3次元モデル生成装置103、3次元モデル格納装置104、イベント情報取得装置105、イベント情報格納装置106、仮想カメラ制御装置108、配信装置115のハードウェア構成も、以下で説明する仮想視点画像生成装置116の構成と同様である。仮想視点画像生成装置116は、CPU201、ROM202、RAM203、補助記憶装置204、表示部205、操作部206、通信I/F207、及びバス208を有する。
CPU201は、ROM202やRAM203に格納されているコンピュータプログラムやデータを用いて仮想視点画像生成装置116の全体を制御することで、図1に示す仮想視点画像生成装置116の各機能を実現する。なお、仮想視点画像生成装置116がCPU201とは異なる1又は複数の専用のハードウェアを有し、CPU201による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ASIC(特定用途向け集積回路)、FPGA(フィールドプログラマブルゲートアレイ)、およびDSP(デジタルシグナルプロセッサ)などがある。ROM202は、変更を必要としないプログラムなどを格納する。RAM203は、補助記憶装置204から供給されるプログラムやデータ、及び通信I/F207を介して外部から供給されるデータなどを一時記憶する。補助記憶装置204は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。
表示部205は、例えば液晶ディスプレイやLED等で構成され、ユーザーが仮想視点画像生成装置116を操作するためのGUI(Graphical User Interface)などを表示する。操作部206は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザーによる操作を受けて各種の指示をCPU201に入力する。CPU201は、表示部205を制御する表示制御部、及び操作部206を制御する操作制御部として動作する。通信I/F207は、仮想視点画像生成装置116の外部の装置との通信に用いられる。例えば、仮想視点画像生成装置116が外部の装置と有線で接続される場合には、通信用のケーブルが通信I/F207に接続される。仮想視点画像生成装置116が外部の装置と無線通信する機能を有する場合には、通信I/F207はアンテナを備える。バス208は、仮想視点画像生成装置116の各部をつないで情報を伝達する。
本実施形態では表示部205と操作部206が仮想視点画像生成装置116の内部に存在するものとするが、表示部205と操作部206との少なくとも一方が仮想視点画像生成装置116の外部に別の装置として存在していてもよい。
図3は、イベント情報格納装置106が管理するデータの1例である。
イベント発生時刻301は、イベントが発生した時刻(タイムコード)を表している。なお本実施形態では時刻の格納形式を”年/月/日 時間/分/秒/フレーム”としており、フレームレートは60fpsとしている。すなわちフレームは0~59の値を取り得る。ただし、これに限定されない。
位置302は、イベントが発生した位置を表している。なお、本実施形態では格納形式を”X座標,Y座標,Z座標”としており、単位はメートルとしている。ただし、これに限定されず、極座標で表したり、単位をフィートなどとしたりしても構わない。
被写体303は、イベントに関与した被写体を表している。
イベント種別304は、どのようなイベントが発生したかを表している。なお、本実施形態ではバスケットボールの試合におけるイベント種別について記載している。イベント種別はその競技や撮像の対象となる演目などによって予め決めておいても構わないし、その場で内容を短く表しても構わない。
なお、上記のほかに、イベントの重要度を示す指数を設定してもよい。具体的には、被写体やイベント種別に基づいて設定する。有名な被写体に関するイベントであれば重要度を高く設定し、バスケのダンクや3ポイントシュート成功などの特定のイベント種別には重要度を高く設定する。一方、審判に関するイベントでは重要度は低く設定してもよい。
図4は、仮想視点画像生成装置116において、操縦者用画像を生成するフローチャートである。
ステップS401では、仮想視点画像生成装置116は、仮想カメラ制御装置108から仮想カメラ情報を取得する。なお、仮想カメラ情報は、仮想カメラの位置、姿勢、画角等の情報の他、仮想視点画像生成時刻も含まれる。
ステップS402では、仮想視点画像生成装置116は、ステップS401で取得した仮想視点画像生成時刻を基に、3次元モデル格納装置104から仮想視点画像生成時刻に対応する撮像時刻の3次元モデルを取得する。
ステップS403では、イベント情報取得部110において、ステップS401で取得した仮想視点画像生成時刻を基に、イベント情報格納装置106からイベント情報を取得する。なお、本実施形態では仮想視点画像生成時刻から10秒後までに発生したイベント情報を取得する。仮想視点画像生成時刻から何秒後までのイベント情報を取得するかという閾値は、予め設定しておいても良いし、動的に変更されても良い。例えば、イベントの重要度を設定して置き、そのイベントの重要度に応じて閾値を設定しても構わない。具体的には、重要度が高いイベントは仮想視点画像生成時刻から15秒後までのイベント情報を取得し、重要度が低いイベントは仮想視点画像生成時刻から7秒後までのイベント情報を取得する。また、仮想視点画像生成時刻から設定した時刻後までのイベント情報を複数取得してもよい。具体的には、仮想視点画像生成時刻から10秒後までに発生したイベント情報を3つ取得する。なお、イベント情報を取得する条件は複数設定しても構わない。具体的には、仮想視点画像生成時刻から10秒後までに発生したイベント情報が5つ存在する場合、イベントの重要度が高い順に3つのイベント情報を取得する。
ステップS404では、仮想視点画像生成部112において、ステップS401で取得した仮想カメラ情報と、ステップS402で取得した3次元モデルと、予め保持している3次元背景データを基に、仮想視点画像を生成する。
ステップS405では、ステップS404で生成した仮想視点画像と、ステップS401で取得した仮想カメラ情報と、ステップS403で取得したイベント情報を基に、操縦者用画像を生成する。この際、取得したイベントの発生位置が仮想カメラの画角内であるか否かにより、仮想視点画像に重畳するイベント情報の表示方法を変更する。具体的には、図5および6にて説明する。なお、操縦者用画像には、イベント情報を示す文字、数字、3次元仮想オブジェクトやアイコンが表示される。イベント情報として3次元仮想オブジェクトを表示する場合は、3次元仮想オブジェクトを仮想カメラから見た画像を仮想視点画像に重畳表示または合成することにより、操縦者用画像を生成する。
ステップS406では、ステップS405で生成した操縦者用画像を操縦者用ディスプレイ114に送信する。
上記処理フローにより、仮想視点画像生成時刻から数秒後までに発生したイベント情報を仮想視点画像に表示した画像を生成できる。よって仮想カメラの操縦者は、操作の際に参考にしている仮想視点画像上に、これから発生するイベントの発生時刻と発生位置が表示されているため、そのイベントに合わせて仮想カメラを操縦することが可能になる。
なお、本実施形態において、仮想視点画像に重畳または合成したイベント情報を示す文字、数字、3次元仮想オブジェクトまたはアイコンは、仮想視点画像生成装置116にて生成されることを想定している。これに限定されず、予めイベント情報を示す画像のテンプレート、3次元仮想オブジェクトまたはアイコンを記憶していてもよい。
図5は、イベントの発生位置が仮想カメラの画角内に存在するときの操縦者用画像を示す図である。バスケットボールの試合における仮想視点画像に対し、イベントの発生位置を示す球体(3次元仮想オブジェクト)501と、被写体、イベント種別、カウントダウンを示す画像502を重畳して表示させている。つまり、仮想カメラの操縦者は、仮想視点画像の中でイベントがいつ、どこで発生するかを把握したうえで仮想カメラの操縦をすることが出来る。これにより操縦者は、トラベリングのような注目すべきイベントを仮想視点画像の適切な位置に含むような仮想カメラの操縦が容易となる。なお、イベントに関する被写体の輪郭を強調するエフェクトやアイコンを表示してもよい。その場合、イベントの発生位置と被写体を視覚的に把握できるため、イベントを仮想視点画像の適切な位置に含むような仮想カメラの操縦がより容易になる。
図6は、イベントの発生位置が仮想カメラの画角内に存在しないときの操縦者用画像を示す図である。図5と同様、仮想視点画像に対し、イベントの発生位置の方向を示す矢印(アイコン)601と、被写体、イベント種別、カウントダウンを示す画像502を重畳して表示させている。本実施形態では、トラベリングが発生する位置が現在表示している仮想視点画像の画角外に存在する場合に、トラベリングが発生する位置が画面外であって、画面外のどこの位置で発生するかを大まかに示すための矢印を表示している。イベントの発生位置の方向を示す表示はアイコンに限定されず、イベントの発生位置に近い画像端を点滅させるエフェクトで表示してもよい。
上記のように、本実施形態では、仮想視点画像に対し、イベント発生位置と、イベント発生までのカウントダウンを重畳して表示させた画像を操縦者用画像として仮想カメラの操縦者に提示する。これにより、仮想カメラの操縦者は、数秒後に発生するイベントの発生時刻と発生位置を考慮し、イベントを仮想視点画像の適切な位置に含むような仮想カメラの操作を容易にする事ができる。
また、本実施形態では実画像から被写体の3次元モデルを推定したが、これに限定されず、関節等にマーカを設け撮像してその関節位置を元にCGなどを生成するモーションキャプチャーを用いても構わない。
<実施形態2>
実施形態1では、仮想視点画像に対し、イベント発生位置と、イベント発生までのカウントダウンを重畳して表示する手段について記載した。仮想カメラの操縦に熟練した人であれば上記情報を基に仮想カメラを操縦し、イベントを仮想視点画像の適切な位置に含むように捉える事が容易となる。しかしながら、仮想カメラの操縦に熟練していない人の場合、上記情報だけではどのように操縦すればイベントを適切な位置で収めることが出来るかが容易に想像できず、結果として適切な位置に仮想カメラを誘導することが出来ない可能性がある。そこで実施形態2では、イベント発生位置とイベント発生までのカウントダウンを重畳するだけではなく、仮想カメラをどのように操縦すればよいかという仮想カメラ誘導情報を表示する構成について記載する。
実施形態1では、仮想視点画像に対し、イベント発生位置と、イベント発生までのカウントダウンを重畳して表示する手段について記載した。仮想カメラの操縦に熟練した人であれば上記情報を基に仮想カメラを操縦し、イベントを仮想視点画像の適切な位置に含むように捉える事が容易となる。しかしながら、仮想カメラの操縦に熟練していない人の場合、上記情報だけではどのように操縦すればイベントを適切な位置で収めることが出来るかが容易に想像できず、結果として適切な位置に仮想カメラを誘導することが出来ない可能性がある。そこで実施形態2では、イベント発生位置とイベント発生までのカウントダウンを重畳するだけではなく、仮想カメラをどのように操縦すればよいかという仮想カメラ誘導情報を表示する構成について記載する。
図7は、実施形態2に係る画像処理システムの装置構成の1例を示す図である。なお、操縦者用画像生成部701と仮想カメラ誘導情報生成部702以外は図1と同様の為、説明は省略する。
操縦者用画像生成部701は、図1で説明した操縦者用画像生成部113の機能に加え、下記の機能を有する。すなわち、仮想カメラ誘導情報生成部702に対し、仮想カメラ情報と、イベント情報を送信する。また、仮想カメラ誘導情報生成部702から仮想カメラ誘導情報を取得し、仮想視点画像に重畳する事で操縦者用画像を生成する。
仮想カメラ誘導情報生成部702は、操縦者用画像生成部701から取得した仮想カメラ情報と、イベント情報を基に、どのように仮想カメラを操縦するのが適切かを示す仮想カメラ誘導情報を生成する。仮想カメラ誘導情報の1例としては、図8のメッセージ801に示すような、「左から回り込んで少し近づきましょう」といったような、仮想カメラをどのように操縦するのが適切かを操縦者に提示するための情報である。その後、生成した仮想カメラ誘導情報を操縦者用画像生成部701に送信する。なお仮想カメラ誘導情報の生成方法について、本開示では限定しない。1例として、イベント位置と仮想カメラ位置の位置関係をいくつかのパターンに予め分類しておき、パターンに当てはまる場合に、予め用意されているメッセージを操縦者に提示しても良い。例えば、カメラ位置とイベントが発生する被写体の動きを検出し、例えば、トラベリングであれば、イベントが理解しやすいように被写体の進行方向の横から撮像するなどのパターンを決めておくことで対応できる。または機械学習による予測を適用し過去の操縦履歴を学習する事により、最適なメッセージを生成しても良い。
図8は、仮想カメラ誘導情報を含む操縦者用画像を示す図である。仮想視点画像に対し、イベントの発生位置を示す球体(3次元仮想オブジェクト)501と、被写体、イベント種別、カウントダウンを示す画像502に加え、仮想カメラを誘導するためのメッセージと矢印(仮想カメラ誘導情報)801を重畳して表示している。これにより仮想カメラの操縦者は、トラベリングのような注目すべきイベントを仮想視点画像の適切な位置に含むような仮想カメラの操作が、実施形態1よりも更に容易となる。
以上のように、実施形態2では、仮想視点画像に対し、イベント発生位置とイベント発生までのカウントダウンに加え、仮想カメラ誘導情報を重畳して表示する手段について記載した。これにより、仮想カメラの操縦に熟練した人でなくとも、突発的に発生したイベントを適切な画角で捉えるための仮想カメラの操縦が容易となる。
また、本実施形態では仮想カメラ誘導情報を重畳して表示する構成について説明したが、操縦者が重畳された誘導情報部分をタップ、またはマウスでクリックする事により自動で仮想カメラが操縦される構成であっても構わない。
<実施形態3>
実施形態1および2では、仮想視点画像に対し、イベント発生位置と、イベント発生までのカウントダウンを重畳して表示する手段について記載した。しかしながら、イベントを仮想視点画像に含むように仮想カメラを操作しても、イベントに関与しない被写体が手前に位置してしまい、結果として適切な位置に仮想カメラを誘導することができない可能性がある。そこで、実施形態3では、イベント発生位置とイベント発生までのカウントダウンを重畳するだけではなく、仮想視点画像の生成時刻より後の撮像画像を重畳表示する。
実施形態1および2では、仮想視点画像に対し、イベント発生位置と、イベント発生までのカウントダウンを重畳して表示する手段について記載した。しかしながら、イベントを仮想視点画像に含むように仮想カメラを操作しても、イベントに関与しない被写体が手前に位置してしまい、結果として適切な位置に仮想カメラを誘導することができない可能性がある。そこで、実施形態3では、イベント発生位置とイベント発生までのカウントダウンを重畳するだけではなく、仮想視点画像の生成時刻より後の撮像画像を重畳表示する。
図9は、リアルタイムで撮像される画像を含む操縦者用画像を示す図である。なお、実画像901以外は図5と同様の為、説明は省略する。
実画像901は、リアルタイムで撮像される画像である。本実施形態では、カメラ群102により撮像される画像を、そのまま仮想視点画像に重畳することを想定しているが、これに限定されない。カメラ群102とは異なる撮像装置により撮像された画像であってもよい。また、リアルタイムで撮像された画像に限定されず、仮想視点画像の生成時刻より後の時刻に対応する画像であればよい。
上記構成により、イベントが発生したときのイベント発生位置の周辺位置の様子を把握することができ、イベントに関与しない被写体を考慮して、適切な位置に仮想カメラを操縦することが容易になる。なお、撮影時の状況や、イベント情報取得装置105の不調等によりイベント情報が取得できない場合においても、実画像が表示されることにより、イベントの発生および発生位置を把握することができる。また、本実施形態では、リアルタイムで撮影される画像を操縦者用画像に重畳表示したが、これに限定されず、リアルタイムで撮影される画像と操縦者用画像を並べて表示しても構わない。
<実施形態4>
実施形態1の図6において、イベントの発生位置が仮想カメラの画角内に存在しないときの操縦者用画像について記載した。しかしながら、操縦者用画像に表示するイベント発生位置に関する情報は、イベント発生位置の方向を示すアイコンまたはエフェクトであって、イベント発生位置を正確に把握することはできない。そこで、実施形態4では、イベント発生位置の方向とイベント発生までのカウントダウンを重畳表示するだけでなく、イベント発生位置を示す俯瞰画像を重畳表示する。
実施形態1の図6において、イベントの発生位置が仮想カメラの画角内に存在しないときの操縦者用画像について記載した。しかしながら、操縦者用画像に表示するイベント発生位置に関する情報は、イベント発生位置の方向を示すアイコンまたはエフェクトであって、イベント発生位置を正確に把握することはできない。そこで、実施形態4では、イベント発生位置の方向とイベント発生までのカウントダウンを重畳表示するだけでなく、イベント発生位置を示す俯瞰画像を重畳表示する。
図10は、俯瞰図を含む操縦者用画像を示す図である。なお、俯瞰図1001、仮想カメラ1002、イベント発生位置1003以外は図6と同様の為、説明を省略する。
俯瞰図1001は、撮像領域を上空から俯瞰した図である。本実施形態では、バスケットボールのコートを示す図である。
仮想カメラ1002は、操縦者によって操作されている仮想カメラの位置を示すアイコンである。本実施形態では、仮想カメラの画角を示すアイコンも表示するが、これに限定されない。
イベント発生位置1003は、イベント情報取得110において取得したイベントの発生位置を示すアイコンである。仮想視点画像生成時刻より後に発生するイベントの発生位置を俯瞰画像上に表示する。
上記構成により、イベントの発生位置の方向に加え、仮想カメラの位置に対するイベント発生位置が把握でき、適切な位置に仮想カメラを操縦することが容易になる。例えば、仮想カメラを後退させて、仮想カメラの後方に発生するイベントを撮像したい場合、俯瞰図を用いることで仮想カメラとイベント発生位置との距離感を把握できるため、適切な操縦が容易となる。
なお、本実施形態では、俯瞰図にはコートと仮想カメラとイベント発生位置のみを表示しているが、これに限定されず、被写体を示すアイコンを表示してもよい。また、本実施形態では、俯瞰図を操縦者用画像に重畳表示したが、これに限定されず、俯瞰図と操縦者用画像を並べて表示しても構わない。
以上、本開示を複数の実施形態に基づいて詳述してきたが、本開示は上記実施形態に限定されるものではなく、本開示の主旨に基づき種々の変形が可能であり、それらを本開示の範囲から除外するものでない。例えば、以上の実施形態1~4を適宜組み合わせてもよい。
尚、本実施形態における制御の一部または全部を上述した実施形態の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して画像処理システム等に供給するようにしてもよい。そしてその画像処理システム等におけるコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、および該プログラムを記憶した記憶媒体は本開示を構成することとなる。
尚、本実施形態の開示は、以下の構成、方法およびプログラムを含む。
(構成1)
複数の撮像装置により撮像される画像に基づいて生成される仮想視点画像に対応する仮想視点の位置および仮想視点からの視線方向と、第1の時刻より後の第2の時刻に発生するイベントのイベント情報であって、前記イベントの発生位置を表すイベント情報とを取得する取得手段と、
前記第1の時刻に対応する仮想視点画像であって、前記イベント情報を示す画像を重畳表示する前記仮想視点画像を生成する生成手段と
を含むことを特徴とする装置。
複数の撮像装置により撮像される画像に基づいて生成される仮想視点画像に対応する仮想視点の位置および仮想視点からの視線方向と、第1の時刻より後の第2の時刻に発生するイベントのイベント情報であって、前記イベントの発生位置を表すイベント情報とを取得する取得手段と、
前記第1の時刻に対応する仮想視点画像であって、前記イベント情報を示す画像を重畳表示する前記仮想視点画像を生成する生成手段と
を含むことを特徴とする装置。
(構成2)
前記イベント情報は、前記第2の時刻に対応するイベント情報を含むことを特徴とする構成1に記載の装置。
前記イベント情報は、前記第2の時刻に対応するイベント情報を含むことを特徴とする構成1に記載の装置。
(構成3)
前記イベント情報は、前記第1の時刻と前記第2の時刻との差である、前記イベントが発生するまでの時間を含むことを特徴とする構成2に記載の装置。
前記イベント情報は、前記第1の時刻と前記第2の時刻との差である、前記イベントが発生するまでの時間を含むことを特徴とする構成2に記載の装置。
(構成4)
前記イベント情報を示す画像は、前記イベントが発生するまでの時間を示す数字と、前記イベントの発生位置を示す3次元仮想オブジェクトまたはアイコンを含むことを特徴とする構成3に記載の装置。
前記イベント情報を示す画像は、前記イベントが発生するまでの時間を示す数字と、前記イベントの発生位置を示す3次元仮想オブジェクトまたはアイコンを含むことを特徴とする構成3に記載の装置。
(構成5)
前記仮想視点画像は、第1タイムコードに対応付けられており、
前記イベント情報は、第2タイムコードに対応付けられており、
前記第1タイムコードは、前記第1の時刻を表すコードであり、
前記第2タイムコードは、前記第2の時刻を表すコードであることを特徴とする構成1乃至4のいずれか1項に記載の装置。
前記仮想視点画像は、第1タイムコードに対応付けられており、
前記イベント情報は、第2タイムコードに対応付けられており、
前記第1タイムコードは、前記第1の時刻を表すコードであり、
前記第2タイムコードは、前記第2の時刻を表すコードであることを特徴とする構成1乃至4のいずれか1項に記載の装置。
(構成6)
前記イベント情報は、前記イベントの名称を示す情報を含み、
前記イベント情報を示す画像は、前記イベントの名称を示す文字を含むことを特徴とする構成1乃至5のいずれか1項に記載の装置。
前記イベント情報は、前記イベントの名称を示す情報を含み、
前記イベント情報を示す画像は、前記イベントの名称を示す文字を含むことを特徴とする構成1乃至5のいずれか1項に記載の装置。
(構成7)
前記イベント情報は、前記イベントに関する被写体を示す情報を含み、
前記イベント情報を示す画像は、前記イベントに関する被写体を特定する文字、アイコンまたはエフェクトの少なくとも何れかを含むことを特徴とする構成1乃至6のいずれか1項に記載の装置。
前記イベント情報は、前記イベントに関する被写体を示す情報を含み、
前記イベント情報を示す画像は、前記イベントに関する被写体を特定する文字、アイコンまたはエフェクトの少なくとも何れかを含むことを特徴とする構成1乃至6のいずれか1項に記載の装置。
(構成8)
前記イベントに関する被写体は、1つのイベントに対し複数の被写体が関係づけられていることを特徴とする構成7に記載の装置。
前記イベントに関する被写体は、1つのイベントに対し複数の被写体が関係づけられていることを特徴とする構成7に記載の装置。
(構成9)
前記生成手段は、前記イベントの発生位置が前記仮想視点の画角内に位置するか否かによって、異なる前記イベント情報を示す画像を重畳表示する仮想視点画像を生成することを特徴とする構成1乃至8のいずれか1項に記載の装置。
前記生成手段は、前記イベントの発生位置が前記仮想視点の画角内に位置するか否かによって、異なる前記イベント情報を示す画像を重畳表示する仮想視点画像を生成することを特徴とする構成1乃至8のいずれか1項に記載の装置。
(構成10)
前記仮想視点画像は、前記イベントの発生位置が前記仮想視点の画角内に位置する場合、前記イベントの発生位置に3次元仮想オブジェクトまたはアイコンを含み、前記イベントの発生位置が前記仮想視点の画角内に位置しない場合、前記イベントの発生位置が存在する方向を示す3次元仮想オブジェクトまたはアイコンを含むことを特徴とする構成9に記載の装置。
前記仮想視点画像は、前記イベントの発生位置が前記仮想視点の画角内に位置する場合、前記イベントの発生位置に3次元仮想オブジェクトまたはアイコンを含み、前記イベントの発生位置が前記仮想視点の画角内に位置しない場合、前記イベントの発生位置が存在する方向を示す3次元仮想オブジェクトまたはアイコンを含むことを特徴とする構成9に記載の装置。
(構成11)
前記イベント情報を示す画像は、前記イベントが発生するまでの時間に応じて、前記仮想視点画像に表示される前記イベント情報の色彩、大きさ、点滅周期のうち少なくとも1つを変更することを特徴とする構成3又は4に記載の装置。
前記イベント情報を示す画像は、前記イベントが発生するまでの時間に応じて、前記仮想視点画像に表示される前記イベント情報の色彩、大きさ、点滅周期のうち少なくとも1つを変更することを特徴とする構成3又は4に記載の装置。
(構成12)
前記取得手段は、前記第1の時刻から所定の時間後までの時刻に発生するイベントの発生位置を表すイベント情報を取得することを特徴とする構成1乃至11のいずれか1項に記載の装置。
前記取得手段は、前記第1の時刻から所定の時間後までの時刻に発生するイベントの発生位置を表すイベント情報を取得することを特徴とする構成1乃至11のいずれか1項に記載の装置。
(構成13)
前記取得手段は、前記イベントの優先度に応じて前記所定の時間を変更することを特徴とする構成12に記載の装置。
前記取得手段は、前記イベントの優先度に応じて前記所定の時間を変更することを特徴とする構成12に記載の装置。
(構成14)
前記仮想視点画像は、前記第2の時刻において、前記イベントの発生位置を仮想視点の画角内に含めるための仮想視点の誘導情報を示す画像を重畳表示することを特徴とする構成1乃至13のいずれか1項に記載の装置。
前記仮想視点画像は、前記第2の時刻において、前記イベントの発生位置を仮想視点の画角内に含めるための仮想視点の誘導情報を示す画像を重畳表示することを特徴とする構成1乃至13のいずれか1項に記載の装置。
(構成15)
前記イベントは、スポーツまたはコンサートに係るイベントであることを特徴とする構成1乃至14のいずれか1項に記載の装置。
前記イベントは、スポーツまたはコンサートに係るイベントであることを特徴とする構成1乃至14のいずれか1項に記載の装置。
(構成16)
前記イベント情報は、複数の撮像装置により撮像される画像、GPSセンサ、音声収録装置により取得されることを特徴とする構成1乃至15に記載の装置。
前記イベント情報は、複数の撮像装置により撮像される画像、GPSセンサ、音声収録装置により取得されることを特徴とする構成1乃至15に記載の装置。
(構成17)
前記生成手段は、前記第1の時刻より後の時刻に対応する撮像画像または俯瞰画像を含む前記仮想視点画像を生成することを特徴とする構成1に記載の装置。
前記生成手段は、前記第1の時刻より後の時刻に対応する撮像画像または俯瞰画像を含む前記仮想視点画像を生成することを特徴とする構成1に記載の装置。
(構成18)
複数の撮像装置により撮像される画像に基づいて生成される仮想視点画像に対応する仮想視点の位置および仮想視点からの視線方向を示す視点情報を入力する入力手段と、
前記仮想視点画像に対応する時刻より後の時刻で発生するイベントの発生位置および当該イベントの発生までの時刻情報を示すイベント情報と、前記視点情報に基づいて生成される仮想視点画像とを表示する表示手段と
を有することを特徴とする装置。
複数の撮像装置により撮像される画像に基づいて生成される仮想視点画像に対応する仮想視点の位置および仮想視点からの視線方向を示す視点情報を入力する入力手段と、
前記仮想視点画像に対応する時刻より後の時刻で発生するイベントの発生位置および当該イベントの発生までの時刻情報を示すイベント情報と、前記視点情報に基づいて生成される仮想視点画像とを表示する表示手段と
を有することを特徴とする装置。
(構成19)
前記表示手段は、前記イベントの発生位置を示す画像および前記イベントの発生までの時刻情報を示す画像の少なくとも何れかを、前記仮想視点画像に重畳表示することを特徴とする構成18に記載の装置。
前記表示手段は、前記イベントの発生位置を示す画像および前記イベントの発生までの時刻情報を示す画像の少なくとも何れかを、前記仮想視点画像に重畳表示することを特徴とする構成18に記載の装置。
(構成20)
複数の撮像装置により撮像される画像に基づいて生成される仮想視点画像に対応する仮想視点の位置および仮想視点からの視線方向を示す視点情報を送信する送信手段と、
前記仮想視点画像に対応する時刻より後の時刻で発生するイベントの発生位置およびイベント発生までの時刻情報を示すイベント情報と、前記視点情報に基づいて生成される仮想視点画像とを受信する受信手段と
を有することを特徴とする装置。
複数の撮像装置により撮像される画像に基づいて生成される仮想視点画像に対応する仮想視点の位置および仮想視点からの視線方向を示す視点情報を送信する送信手段と、
前記仮想視点画像に対応する時刻より後の時刻で発生するイベントの発生位置およびイベント発生までの時刻情報を示すイベント情報と、前記視点情報に基づいて生成される仮想視点画像とを受信する受信手段と
を有することを特徴とする装置。
(方法)
複数の撮像装置により撮像される画像に基づいて生成される仮想視点画像に対応する仮想視点の位置および仮想視点からの視線方向と、第1の時刻より後の第2の時刻に発生するイベントであって、前記イベントの発生位置および前記第2の時刻を表すイベント情報とを取得する取得工程と、
前記イベント情報を示す画像を重畳表示する仮想視点画像を生成する生成工程と
を含むことを特徴とする方法。
複数の撮像装置により撮像される画像に基づいて生成される仮想視点画像に対応する仮想視点の位置および仮想視点からの視線方向と、第1の時刻より後の第2の時刻に発生するイベントであって、前記イベントの発生位置および前記第2の時刻を表すイベント情報とを取得する取得工程と、
前記イベント情報を示す画像を重畳表示する仮想視点画像を生成する生成工程と
を含むことを特徴とする方法。
(プログラム)
構成1乃至20のいずれか1項に記載の装置の各手段をコンピュータにより制御するためのコンピュータプログラム。
構成1乃至20のいずれか1項に記載の装置の各手段をコンピュータにより制御するためのコンピュータプログラム。
105 イベント情報取得装置
106 イベント情報格納装置
110 イベント情報取得部
113 操縦者用画像生成部
114 操縦者用ディスプレイ
115 配信装置
106 イベント情報格納装置
110 イベント情報取得部
113 操縦者用画像生成部
114 操縦者用ディスプレイ
115 配信装置
Claims (22)
- 複数の撮像装置により撮像される画像に基づいて生成される仮想視点画像に対応する仮想視点の位置および仮想視点からの視線方向と、第1の時刻より後の第2の時刻に発生するイベントのイベント情報であって、前記イベントの発生位置を表すイベント情報とを取得する取得手段と、
前記第1の時刻に対応する仮想視点画像であって、前記イベント情報を示す画像を重畳表示する前記仮想視点画像を生成する生成手段と
を含むことを特徴とする画像処理装置。 - 前記イベント情報は、前記第2の時刻に対応するイベント情報を含むことを特徴とする請求項1に記載の画像処理装置。
- 前記イベント情報は、前記第1の時刻と前記第2の時刻との差である、前記イベントが発生するまでの時間を含むことを特徴とする請求項2に記載の画像処理装置。
- 前記イベント情報を示す画像は、前記イベントが発生するまでの時間を示す数字と、前記イベントの発生位置を示す3次元仮想オブジェクトまたはアイコンを含むことを特徴とする請求項3に記載の画像処理装置。
- 前記仮想視点画像は、第1タイムコードに対応付けられており、
前記イベント情報は、第2タイムコードに対応付けられており、
前記第1タイムコードは、前記第1の時刻を表すコードであり、
前記第2タイムコードは、前記第2の時刻を表すコードであることを特徴とする請求項1に記載の画像処理装置。 - 前記イベント情報は、前記イベントの名称を示す情報を含み、
前記イベント情報を示す画像は、前記イベントの名称を示す文字を含むことを特徴とする請求項1に記載の画像処理装置。 - 前記イベント情報は、前記イベントに関する被写体を示す情報を含み、
前記イベント情報を示す画像は、前記イベントに関する被写体を特定する文字、アイコンまたはエフェクトの少なくとも何れかを含むことを特徴とする請求項1に記載の画像処理装置。 - 前記イベントに関する被写体は、1つのイベントに対し複数の被写体が関係づけられていることを特徴とする請求項7に記載の画像処理装置。
- 前記生成手段は、前記イベントの発生位置が前記仮想視点の画角内に位置するか否かによって、異なる前記イベント情報を示す画像を重畳表示する仮想視点画像を生成することを特徴とする請求項1に記載の画像処理装置。
- 前記仮想視点画像は、前記イベントの発生位置が前記仮想視点の画角内に位置する場合、前記イベントの発生位置に3次元仮想オブジェクトまたはアイコンを含み、前記イベントの発生位置が前記仮想視点の画角内に位置しない場合、前記イベントの発生位置が存在する方向を示す3次元仮想オブジェクトまたはアイコンを含むことを特徴とする請求項9に記載の画像処理装置。
- 前記イベント情報を示す画像は、前記イベントが発生するまでの時間に応じて、前記仮想視点画像に表示される前記イベント情報の色彩、大きさ、点滅周期のうち少なくとも1つを変更することを特徴とする請求項3に記載の画像処理装置。
- 前記取得手段は、前記第1の時刻から所定の時間後までの時刻に発生するイベントの発生位置を表すイベント情報を取得することを特徴とする請求項1に記載の画像処理装置。
- 前記取得手段は、前記イベントの優先度に応じて前記所定の時間を変更することを特徴とする請求項12に記載の画像処理装置。
- 前記仮想視点画像は、前記第2の時刻において、前記イベントの発生位置を仮想視点の画角内に含めるための仮想視点の誘導情報を示す画像を重畳表示することを特徴とする請求項1に記載の画像処理装置。
- 前記イベントは、スポーツまたはコンサートに係るイベントであることを特徴とする請求項1に記載の画像処理装置。
- 前記イベント情報は、複数の撮像装置により撮像される画像、GPSセンサ、音声収録装置により取得されることを特徴とする請求項1に記載の画像処理装置。
- 前記生成手段は、前記第1の時刻より後の時刻に対応する撮像画像または俯瞰画像を含む前記仮想視点画像を生成することを特徴とする請求項1に記載の画像処理装置。
- 複数の撮像装置により撮像される画像に基づいて生成される仮想視点画像に対応する仮想視点の位置および仮想視点からの視線方向を示す視点情報を入力する入力手段と、
前記仮想視点画像に対応する時刻より後の時刻で発生するイベントの発生位置および当該イベントの発生までの時刻情報を示すイベント情報と、前記視点情報に基づいて生成される仮想視点画像とを表示する表示手段と
を有することを特徴とする画像処理装置。 - 前記表示手段は、前記イベントの発生位置を示す画像および前記イベントの発生までの時刻情報を示す画像の少なくとも何れかを、前記仮想視点画像に重畳表示することを特徴とする請求項18に記載の画像処理装置。
- 複数の撮像装置により撮像される画像に基づいて生成される仮想視点画像に対応する仮想視点の位置および仮想視点からの視線方向を示す視点情報を送信する送信手段と、
前記仮想視点画像に対応する時刻より後の時刻で発生するイベントの発生位置およびイベント発生までの時刻情報を示すイベント情報と、前記視点情報に基づいて生成される仮想視点画像とを受信する受信手段と
を有することを特徴とする画像処理システム。 - 複数の撮像装置により撮像される画像に基づいて生成される仮想視点画像に対応する仮想視点の位置および仮想視点からの視線方向と、第1の時刻より後の第2の時刻に発生するイベントであって、前記イベントの発生位置および前記第2の時刻を表すイベント情報とを取得する取得工程と、
前記イベント情報を示す画像を重畳表示する仮想視点画像を生成する生成工程と
を含むことを特徴とする画像処理方法。 - 請求項1乃至20のいずれか1項に記載の画像処理装置の各手段をコンピュータにより制御するためのコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022120653A JP2024017779A (ja) | 2022-07-28 | 2022-07-28 | 画像処理装置、画像処理方法及びコンピュータプログラム |
US18/352,496 US20240037843A1 (en) | 2022-07-28 | 2023-07-14 | Image processing apparatus, image processing system, image processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022120653A JP2024017779A (ja) | 2022-07-28 | 2022-07-28 | 画像処理装置、画像処理方法及びコンピュータプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024017779A true JP2024017779A (ja) | 2024-02-08 |
Family
ID=89664621
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022120653A Pending JP2024017779A (ja) | 2022-07-28 | 2022-07-28 | 画像処理装置、画像処理方法及びコンピュータプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20240037843A1 (ja) |
JP (1) | JP2024017779A (ja) |
-
2022
- 2022-07-28 JP JP2022120653A patent/JP2024017779A/ja active Pending
-
2023
- 2023-07-14 US US18/352,496 patent/US20240037843A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240037843A1 (en) | 2024-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6918455B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6329343B2 (ja) | 画像処理システム、画像処理装置、画像処理プログラム、および画像処理方法 | |
US10705678B2 (en) | Image processing apparatus, image processing method, and storage medium for generating a virtual viewpoint image | |
JP7140487B2 (ja) | 情報処理装置、表示制御方法、及び、プログラム | |
CN105404441B (zh) | 可视化相同环境的表面数据和全景图像数据的方法 | |
US20040041822A1 (en) | Image processing apparatus, image processing method, studio apparatus, storage medium, and program | |
US6945869B2 (en) | Apparatus and method for video based shooting game | |
EP4054186A1 (en) | Information processing apparatus, information processing method, and program | |
JP7446754B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2022183213A (ja) | ヘッドマウントディスプレイ | |
KR20110088995A (ko) | 3차원 모델 안에서 감시 카메라 영상을 시각화하기 위한 방법 및 시스템, 및 기록 매체 | |
US20220277520A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2020042362A (ja) | 制御装置及びその制御方法 | |
JP2024019537A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2022016929A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2021131583A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2020135290A (ja) | 画像生成装置、画像生成方法、画像生成システム、及びプログラム | |
JP2024017779A (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
JP2022043539A (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
JP6358996B2 (ja) | 警備シミュレーション装置 | |
WO2024070762A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
WO2024070761A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
US20240078767A1 (en) | Information processing apparatus and information processing method | |
JP2024078339A (ja) | 画像処理システム、制御方法、及びプログラム | |
JP2023183059A (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |