JP2024017779A - 画像処理装置、画像処理方法及びコンピュータプログラム - Google Patents

Abstract

【課題】 イベントを仮想視点画像の適切な位置に含むような仮想カメラの操作を容易にするための画像処理装置を提供する。【解決手段】 仮想視点の位置および仮想視点からの視線方向と、仮想視点画像に対応する時刻より後の時刻に発生するイベントの発生位置を表すイベント情報を示す画像を重畳表示する仮想視点画像を生成する。【選択図】 図５

Description

本開示は、仮想視点画像を生成する画像処理装置、画像処理方法及びコンピュータプログラムに関する。

複数の撮像装置を異なる位置に設置して多視点で同期撮像し、当該撮像により得られた複数の画像を用いて３次元モデルを生成する事で、３次元空間内に仮想的に配置したカメラ（仮想カメラ）からの視点から見た仮想視点画像を生成する技術がある。特許文献１では、ユーザーは、操作部を操作し、表示画面において仮想カメラに対応するアイコンを移動および回転させることにより、仮想カメラを所望の位置および姿勢に設定する技術が提案されている。

特開２０１６－２４４９０号公報

しかしながら、仮想カメラ操縦者は、生成される仮想視点画像を参考に仮想カメラを操縦するため、バスケットボールにおけるトラベリングといった突発的に発生するイベントを仮想視点画像の適切な位置に含むように仮想カメラを操縦することが困難であった。

本開示は、イベントを仮想視点画像の適切な位置に含むような仮想カメラの操作を容易にするための画像処理装置を提供することを目的としている。

本開示の１つの実施態様の画像処理装置は、
複数の撮像装置により撮像される画像に基づいて生成される仮想視点画像に対応する仮想視点の位置および仮想視点からの視線方向と、前記仮想視点画像に対応するタイムコードより後のタイムコードに発生するイベントであって、前記イベントの発生位置および前記イベントの発生時刻に対応するタイムコードを表すイベント情報とを取得する取得手段と、
前記イベント情報を含む仮想視点画像を生成する生成手段と
を有することを特徴とする。

本開示によれば、イベントを仮想視点画像の適切な位置に含むような仮想カメラの操作を容易にすることができる。

実施形態１に係る画像処理システムの装置構成の１例を示す図である。 実施形態１に係る仮想視点画像生成装置のハードウェア構成を示す図である。 実施形態１に係るイベント情報格納装置が管理するデータの１例を示す図である。 実施形態１に係るイベント発生位置が仮想カメラの画角内に存在するときの操縦者用画像を示す図である。 実施形態１に係るイベント発生位置が仮想カメラの画角内に存在しないときの操縦者用画像を示す図である。 実施形態１に係る操縦者用画像を生成する動作フローを説明するためのフローチャートである。 実施形態２に係る画像処理システムの装置構成の１例を示す図である。 実施形態２に係る仮想カメラ誘導情報を含む操縦者用画像を示す図である。 実施形態３に係るリアルタイムで撮像される画像を含む操縦者用画像を示す図である。 実施形態４に係る俯瞰図を含む操縦者用画像を示す図である。

以下、図面を参照して本開示の実施形態を説明する。ただし、本開示は以下の実施形態に限定されるものではない。なお、各図において、同一の部材または要素については同一の参照番号を付し、重複する説明は省略または簡略化する。

＜実施形態１＞
本実施形態の画像処理システムは、複数の撮像装置による撮像に基づく複数の画像と、指定された仮想視点とに基づいて、指定された仮想視点からの光景を表す仮想視点画像を生成するシステムである。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザーが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザーが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点の指定がユーザー操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて自動で行われてもよい。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。

仮想視点画像の生成に用いられる視点情報は、仮想視点の位置及び向き（視線方向）を示す情報である。具体的には、視点情報は、仮想視点の３次元位置を表すパラメータと、パン、チルト、及びロール方向における仮想視点の向きを表すパラメータとを含む、パラメータセットである。なお、視点情報の内容は上記に限定されない。例えば、視点情報としてのパラメータセットには、仮想視点の視野の大きさ（画角）を表すパラメータが含まれてもよい。また、視点情報は複数のパラメータセットを有していてもよい。例えば、視点情報が、仮想視点画像の動画を構成する複数のフレームにそれぞれ対応する複数のパラメータセットを有し、連続する複数の時点それぞれにおける仮想視点の位置及び向きを示す情報であってもよい。

本実施形態の画像処理システムは、撮像領域を複数の方向から撮像する複数の撮像装置を有する。撮像領域は、例えばサッカーや空手などの競技が行われる競技場、もしくはコンサートや演劇が行われる舞台などである。複数の撮像装置は、このような撮像領域を取り囲むようにそれぞれ異なる位置に設置され、同期して撮像を行う。なお、複数の撮像装置は撮像領域の全周にわたって設置されていなくてもよく、設置場所の制限等によっては撮像領域の周囲の一部にのみ設置されていてもよい。また、撮像装置の数は図に示す例に限定されず、例えば撮像領域をサッカーの競技場とする場合には、競技場の周囲に３０台程度の撮像装置が設置されてもよい。また、望遠カメラと広角カメラなど機能が異なる撮像装置が設置されていてもよい。

なお、本実施形態における複数の撮像装置は、それぞれが独立した筐体を有し単一の視点で撮像可能なカメラであるものとする。ただしこれに限らず、２以上の撮像装置が同一の筐体内に構成されていてもよい。例えば、複数のレンズ群と複数のセンサを備えており複数視点から撮像可能な単体のカメラが、複数の撮像装置として設置されていてもよい。

仮想視点画像は、例えば以下のような方法で生成される。まず、複数の撮像装置によりそれぞれ異なる方向から撮像することで複数の画像（複数視点画像）が取得される。次に、複数視点画像から、人物やボールなどの所定のオブジェクトに対応する前景領域を抽出した前景画像と、前景領域以外の背景領域を抽出した背景画像が取得される。また、所定のオブジェクトの３次元形状を表す前景モデルと前景モデルに色付けするためのテクスチャデータとが前景画像に基づいて生成され、競技場などの背景の３次元形状を表す背景モデルに色づけするためのテクスチャデータが背景画像に基づいて生成される。そして、前景モデルと背景モデルに対してテクスチャデータをマッピングし、視点情報が示す仮想視点に応じてレンダリングを行うことにより、仮想視点画像が生成される。ただし、仮想視点画像の生成方法はこれに限定されず、３次元モデルを用いずに撮像画像の射影変換により仮想視点画像を生成する方法など、種々の方法を用いることができる。

図１は、本実施形態に係る画像処理システムの装置構成の１例を示す図である。

タイムサーバ１０１は、カメラ群１０２が同期して撮像するためのタイムコードを設定し、カメラ群１０２に送信する。

カメラ群１０２は、被写体の３次元モデルの生成を目的として全台同期撮像を行う。同期はタイムサーバ１０１から供給される時刻情報に基づき撮像を行い、カメラ群１０２は撮像画像にその撮像時刻情報を付与して、３次元モデル生成装置１０３に出力する。

３次元モデル生成装置１０３は、カメラ群１０２にて撮像した撮像画像を取得し、３次元モデルを生成する。本実施形態において、３次元モデルの生成手段については特に限定しないが、例えば、視体積交差法のようにシルエット画像を元に３次元モデルを生成しても構わない。また、カメラ群１０２が距離センサなどを含んで構成され、距離センサからのデプスマップなどから３次元モデルを生成しても構わない。

３次元モデル格納装置１０４は、３次元モデル生成装置１０３が生成した３次元モデルを、撮像時刻情報に紐づけて格納する。また、３次元モデル取得部１１１から受信した仮想視点画像生成時刻を基に、仮想視点画像生成時刻に対応する撮像時刻情報に紐づく３次元モデルを３次元モデル取得部１１１に送信する。仮想視点画像生成時刻は、仮想カメラ操縦者が生成したい仮想視点画像の時刻として、コントローラ１０７から設定されるものである。なお、仮想視点画像生成時刻は、コントローラ１０７から設定されるものに限定されず、仮想カメラ制御装置１０８や外部装置（不図示）により設定されても構わない。

イベント情報取得装置１０５は、例えば、バスケットボールの試合におけるトラベリングやブロッキング等、被写体に生じたイベント情報を取得する。本実施形態ではバスケットボールの例を用いて説明するが、イベントはこれに限定されない。サッカーや陸上競技等のスポーツでもよいし、コンサートや競馬等でも構わない。本実施形態においてイベント情報は、イベント発生時刻、イベント発生位置、イベントに関与する被写体、イベント種別のいずれかを含む。イベント情報の取得手段として、本実施形態では特定の手段に限定しない。例えば、カメラ群１０２で撮像した撮像画像に対して画像処理を行った結果を基にイベントを検知し、イベント情報として取得しても良い。その３次元モデルの位置や被写体に付けられたＧＰＳセンサからの情報からイベント発生場所を取得することができる。または、陸上競技におけるゴールセンサ、スターターピストルセンサや、フェンシングにおける剣先センサ等のような、センサから得られた信号を基にイベント情報を取得しても良い。またはマイク等の音声収録装置で収音した音声信号の解析結果を基にイベント情報を取得しても良い。またはイベント発生後に、手動でイベント内容を入力する事でイベント情報を取得しても良い。また、イベント情報は必ずしも予め決められたイベントでなくてもよい。例えば解説者が注目したポイントや注目したプレイをイベント情報として取得しても良い。

イベント情報格納装置１０６は、イベント情報取得装置１０５で取得したイベント情報を格納し、図３のようなテーブルで管理する。また、イベント情報取得部１１０から仮想視点画像生成時刻を取得し、取得した仮想視点画像生成時刻から所定の時間、例えば数秒間の間に発生したイベントのイベント情報をイベント情報取得部１１０に送信する。なお、１つのイベントに関与する被写体が複数人いる場合、関与する被写体全員を記録してもよいし、代表となる被写体のみを記録してもよい。本実施形態では、１つのイベントに２人の被写体が関与するプッシングの反則において、実行した被写体と反則を被った被写体の２人を記述する。

コントローラ１０７は、ジョイスティックを有するコントローラである。しかしながらこれに限定されず、タッチパネルを有するタブレット端末やキーボードやマウスであってもよい。仮想カメラ操縦者は、後述する操縦者用ディスプレイ１１４を見ながら、コントローラ１０７を操作して仮想カメラを操縦する。操縦によって得られた操作情報は仮想カメラ制御装置１０８に送信される。操作情報とは、コントローラ１０７の機能を割り当てられた各種ボタンが押されたか否か、カメラの動きや位置の制御を行うためのジョイスティックをどれくらい傾けているか、などといったコントローラ１０７の操作に基づく情報である。なお、操作情報には、仮想視点画像生成時刻が含まれる。

仮想カメラ制御装置１０８は、コントローラ１０７から受信した操作情報を基に仮想カメラの位置や姿勢、画角等の仮想カメラ情報を生成し、生成した仮想カメラ情報を仮想カメラ情報取得部１０９に送信する。なお、仮想カメラ情報は少なくとも仮想視点画像生成時刻を含む。

仮想カメラ情報取得部１０９は、仮想カメラ制御装置１０８から取得した仮想カメラ情報を、イベント情報取得部１１０と、３次元モデル取得部１１１に送信する。

イベント情報取得部１１０は、仮想カメラ情報取得部１０９から取得した仮想カメラ情報に含まれる仮想視点画像生成時刻を、イベント情報格納装置１０６に対し送信する。その後、仮想視点画像生成時刻から数秒間の間に発生したイベントのイベント情報をイベント情報格納装置１０６から取得する。本実施形態において、イベント情報は、イベント発生時刻、イベント発生位置、被写体、イベント種別（イベントの名称）とするがこれに限定されない。イベント情報は、イベント発生時刻とイベント発生位置を含んでいればよい。また、イベントの種別に応じた優先度を設けても構わない。なお、イベント情報はタイムサーバ１０１にて設定されるタイムコードと対応付けられる。更に、取得した仮想カメラ情報と、取得したイベント情報を、操縦者用画像生成部１１３に送信する。

３次元モデル取得部１１１は、仮想カメラ情報取得部１０９から取得した仮想カメラ情報に含まれる仮想視点画像生成時刻を基に、３次元モデル格納装置１０４から対応する時刻の３次元モデルを取得する。更に、取得した仮想カメラ情報と、取得した３次元モデルを、仮想視点画像生成部１１２に送信する。

仮想視点画像生成部１１２は、３次元モデル取得部１１１から取得した３次元モデルと、仮想カメラ情報を基に、仮想視点画像を生成する。具体的には、取得した３次元モデルを、仮想カメラ情報が示す仮想カメラが撮像した画像を仮想視点画像として生成する。なお、仮想視点画像生成部１１２は別途３次元背景データを保持しており、取得した３次元モデルと、３次元背景データを合成する事で仮想視点画像を生成する。本実施形態においては３次元背景データが予め生成されたものとして説明するが、背景となる部分を撮像した映像を合成しても構わない。また、本実施形態では、仮想視点画像とタイムサーバ１０１にて管理されるタイムコードが対応付けられて生成される。更に、生成した仮想視点画像を、配信装置１１５に送信する。なお、本実施形態において、仮想視点画像の送信先を配信装置１１５に限定しない。例えばディスプレイ等のデバイスを送信先としても良い。生成した仮想視点画像は操縦者用画像生成部１１３にも送信される。

操縦者用画像生成部１１３は、イベント情報取得部１１０から取得したイベント情報と、仮想カメラ情報と、仮想視点画像生成部１１２から取得した仮想視点画像を基に、操縦者用画像を生成する。ここで操縦者用画像は、仮想視点画像に対し、例えばイベント発生位置、被写体、イベント種別、イベント発生までのカウントダウンを重畳した画像となる。例として、「＜選手Ａ＞トラベリング発生まであと００：００：０４；２３」の様なメッセージを生成し、仮想視点画像に重畳する。イベント発生位置には、イベントの発生を示す３次元仮想オブジェクトまたはアイコンが表示される。なお、イベント発生時刻３０１と、仮想カメラ情報に含まれる仮想視点画像生成時刻を基に、イベント発生までのカウントダウンの時間を求める。なお、仮想視点画像とイベント情報にはタイムコードが対応付けられているため、それぞれのタイムコードの差分に基づいてカウントダウンの時間を求めても構わない。また操縦者用画像生成部１１３は、生成した操縦者用画像を操縦者用ディスプレイ１１４に送信する。なお、本開示は送信先をディスプレイに限定せず、操縦者が視聴可能なデバイスであれば良い。なお、本実施形態ではカウントダウンの時刻表示を行うことにより、仮想視点画像生成時刻からイベント発生時刻までの時間を示したが、これに限定されない。例えば、イベント発生時刻の表示でも構わないし、文字や数字ではなく、アイコン等の表示の色彩、大きさ、点滅の周期などを用いて表現しても構わない。例えば、イベント発生時刻までカウントダウンの値が比較的大きな値の場合は緑色で表現して、カウントダウンの値が小さくなるまで黄色や赤などの色に変えることで発生までの時間的な長さを表現できる。同様にカウントダウンの値が大きい場合は文字や数字、アイコンは小さく、カウントダウンの値が小さい場合は大きくする。点滅に関しては、カウントダウンの値が大きい場合は点滅周期が長いが、カウントダウンの値が小さくなるにつれ、徐々に短くすることで表現できる。また、本実施形態では重畳するイベント情報が１つの場合を示したが、これに限定されず、複数表示されていても構わない。

操縦者用ディスプレイ１１４は、仮想視点画像生成装置１１６から受信した仮想視点画像を表示する。表示される仮想視点画像は、操縦者用画像生成部１１３にて生成された仮想視点画像であり、イベント情報を含む。仮想カメラ操縦者は、イベント情報が表示された仮想視点画像を参考にコントローラ１０７を介して仮想カメラの操作を行う。

配信装置１１５は、仮想視点画像生成装置１１６から受信した仮想視点画像を配信する。配信される仮想視点画像は、仮想視点画像生成部１１２で生成された仮想視点画像であり、仮想視点画像上にイベント情報が表示された画像ではない。しかしながら、これに限定されず、操縦者用画像生成部１１３で生成されたイベント情報を含む仮想視点画像を配信してもよい。

仮想視点画像生成装置１１６は、仮想カメラ情報取得部１０９、イベント情報取得部１１０、３次元モデル取得部１１１、仮想視点画像生成部１１２および操縦者用画像生成部１１３を有する装置である。なお、上記構成に限定されず、コントローラ１０７、仮想カメラ制御装置１０８および操縦者用ディスプレイ１１４の少なくとも何れかを含んでいてもよい。

図２は、仮想視点画像生成装置１１６のハードウェア構成を示す図である。なお、３次元モデル生成装置１０３、３次元モデル格納装置１０４、イベント情報取得装置１０５、イベント情報格納装置１０６、仮想カメラ制御装置１０８、配信装置１１５のハードウェア構成も、以下で説明する仮想視点画像生成装置１１６の構成と同様である。仮想視点画像生成装置１１６は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、補助記憶装置２０４、表示部２０５、操作部２０６、通信Ｉ／Ｆ２０７、及びバス２０８を有する。

ＣＰＵ２０１は、ＲＯＭ２０２やＲＡＭ２０３に格納されているコンピュータプログラムやデータを用いて仮想視点画像生成装置１１６の全体を制御することで、図１に示す仮想視点画像生成装置１１６の各機能を実現する。なお、仮想視点画像生成装置１１６がＣＰＵ２０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ２０２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２０３は、補助記憶装置２０４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２０７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２０４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

表示部２０５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザーが仮想視点画像生成装置１１６を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部２０６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザーによる操作を受けて各種の指示をＣＰＵ２０１に入力する。ＣＰＵ２０１は、表示部２０５を制御する表示制御部、及び操作部２０６を制御する操作制御部として動作する。通信Ｉ／Ｆ２０７は、仮想視点画像生成装置１１６の外部の装置との通信に用いられる。例えば、仮想視点画像生成装置１１６が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２０７に接続される。仮想視点画像生成装置１１６が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２０７はアンテナを備える。バス２０８は、仮想視点画像生成装置１１６の各部をつないで情報を伝達する。

本実施形態では表示部２０５と操作部２０６が仮想視点画像生成装置１１６の内部に存在するものとするが、表示部２０５と操作部２０６との少なくとも一方が仮想視点画像生成装置１１６の外部に別の装置として存在していてもよい。

図３は、イベント情報格納装置１０６が管理するデータの１例である。

イベント発生時刻３０１は、イベントが発生した時刻（タイムコード）を表している。なお本実施形態では時刻の格納形式を”年／月／日 時間／分／秒／フレーム”としており、フレームレートは６０ｆｐｓとしている。すなわちフレームは０～５９の値を取り得る。ただし、これに限定されない。

位置３０２は、イベントが発生した位置を表している。なお、本実施形態では格納形式を”Ｘ座標，Ｙ座標，Ｚ座標”としており、単位はメートルとしている。ただし、これに限定されず、極座標で表したり、単位をフィートなどとしたりしても構わない。

被写体３０３は、イベントに関与した被写体を表している。

イベント種別３０４は、どのようなイベントが発生したかを表している。なお、本実施形態ではバスケットボールの試合におけるイベント種別について記載している。イベント種別はその競技や撮像の対象となる演目などによって予め決めておいても構わないし、その場で内容を短く表しても構わない。

なお、上記のほかに、イベントの重要度を示す指数を設定してもよい。具体的には、被写体やイベント種別に基づいて設定する。有名な被写体に関するイベントであれば重要度を高く設定し、バスケのダンクや３ポイントシュート成功などの特定のイベント種別には重要度を高く設定する。一方、審判に関するイベントでは重要度は低く設定してもよい。

図４は、仮想視点画像生成装置１１６において、操縦者用画像を生成するフローチャートである。

ステップＳ４０１では、仮想視点画像生成装置１１６は、仮想カメラ制御装置１０８から仮想カメラ情報を取得する。なお、仮想カメラ情報は、仮想カメラの位置、姿勢、画角等の情報の他、仮想視点画像生成時刻も含まれる。

ステップＳ４０２では、仮想視点画像生成装置１１６は、ステップＳ４０１で取得した仮想視点画像生成時刻を基に、３次元モデル格納装置１０４から仮想視点画像生成時刻に対応する撮像時刻の３次元モデルを取得する。

ステップＳ４０３では、イベント情報取得部１１０において、ステップＳ４０１で取得した仮想視点画像生成時刻を基に、イベント情報格納装置１０６からイベント情報を取得する。なお、本実施形態では仮想視点画像生成時刻から１０秒後までに発生したイベント情報を取得する。仮想視点画像生成時刻から何秒後までのイベント情報を取得するかという閾値は、予め設定しておいても良いし、動的に変更されても良い。例えば、イベントの重要度を設定して置き、そのイベントの重要度に応じて閾値を設定しても構わない。具体的には、重要度が高いイベントは仮想視点画像生成時刻から１５秒後までのイベント情報を取得し、重要度が低いイベントは仮想視点画像生成時刻から７秒後までのイベント情報を取得する。また、仮想視点画像生成時刻から設定した時刻後までのイベント情報を複数取得してもよい。具体的には、仮想視点画像生成時刻から１０秒後までに発生したイベント情報を３つ取得する。なお、イベント情報を取得する条件は複数設定しても構わない。具体的には、仮想視点画像生成時刻から１０秒後までに発生したイベント情報が５つ存在する場合、イベントの重要度が高い順に３つのイベント情報を取得する。

ステップＳ４０４では、仮想視点画像生成部１１２において、ステップＳ４０１で取得した仮想カメラ情報と、ステップＳ４０２で取得した３次元モデルと、予め保持している３次元背景データを基に、仮想視点画像を生成する。

ステップＳ４０５では、ステップＳ４０４で生成した仮想視点画像と、ステップＳ４０１で取得した仮想カメラ情報と、ステップＳ４０３で取得したイベント情報を基に、操縦者用画像を生成する。この際、取得したイベントの発生位置が仮想カメラの画角内であるか否かにより、仮想視点画像に重畳するイベント情報の表示方法を変更する。具体的には、図５および６にて説明する。なお、操縦者用画像には、イベント情報を示す文字、数字、３次元仮想オブジェクトやアイコンが表示される。イベント情報として３次元仮想オブジェクトを表示する場合は、３次元仮想オブジェクトを仮想カメラから見た画像を仮想視点画像に重畳表示または合成することにより、操縦者用画像を生成する。

ステップＳ４０６では、ステップＳ４０５で生成した操縦者用画像を操縦者用ディスプレイ１１４に送信する。

上記処理フローにより、仮想視点画像生成時刻から数秒後までに発生したイベント情報を仮想視点画像に表示した画像を生成できる。よって仮想カメラの操縦者は、操作の際に参考にしている仮想視点画像上に、これから発生するイベントの発生時刻と発生位置が表示されているため、そのイベントに合わせて仮想カメラを操縦することが可能になる。

なお、本実施形態において、仮想視点画像に重畳または合成したイベント情報を示す文字、数字、３次元仮想オブジェクトまたはアイコンは、仮想視点画像生成装置１１６にて生成されることを想定している。これに限定されず、予めイベント情報を示す画像のテンプレート、３次元仮想オブジェクトまたはアイコンを記憶していてもよい。

図５は、イベントの発生位置が仮想カメラの画角内に存在するときの操縦者用画像を示す図である。バスケットボールの試合における仮想視点画像に対し、イベントの発生位置を示す球体（３次元仮想オブジェクト）５０１と、被写体、イベント種別、カウントダウンを示す画像５０２を重畳して表示させている。つまり、仮想カメラの操縦者は、仮想視点画像の中でイベントがいつ、どこで発生するかを把握したうえで仮想カメラの操縦をすることが出来る。これにより操縦者は、トラベリングのような注目すべきイベントを仮想視点画像の適切な位置に含むような仮想カメラの操縦が容易となる。なお、イベントに関する被写体の輪郭を強調するエフェクトやアイコンを表示してもよい。その場合、イベントの発生位置と被写体を視覚的に把握できるため、イベントを仮想視点画像の適切な位置に含むような仮想カメラの操縦がより容易になる。

図６は、イベントの発生位置が仮想カメラの画角内に存在しないときの操縦者用画像を示す図である。図５と同様、仮想視点画像に対し、イベントの発生位置の方向を示す矢印（アイコン）６０１と、被写体、イベント種別、カウントダウンを示す画像５０２を重畳して表示させている。本実施形態では、トラベリングが発生する位置が現在表示している仮想視点画像の画角外に存在する場合に、トラベリングが発生する位置が画面外であって、画面外のどこの位置で発生するかを大まかに示すための矢印を表示している。イベントの発生位置の方向を示す表示はアイコンに限定されず、イベントの発生位置に近い画像端を点滅させるエフェクトで表示してもよい。

上記のように、本実施形態では、仮想視点画像に対し、イベント発生位置と、イベント発生までのカウントダウンを重畳して表示させた画像を操縦者用画像として仮想カメラの操縦者に提示する。これにより、仮想カメラの操縦者は、数秒後に発生するイベントの発生時刻と発生位置を考慮し、イベントを仮想視点画像の適切な位置に含むような仮想カメラの操作を容易にする事ができる。

また、本実施形態では実画像から被写体の３次元モデルを推定したが、これに限定されず、関節等にマーカを設け撮像してその関節位置を元にＣＧなどを生成するモーションキャプチャーを用いても構わない。

＜実施形態２＞
実施形態１では、仮想視点画像に対し、イベント発生位置と、イベント発生までのカウントダウンを重畳して表示する手段について記載した。仮想カメラの操縦に熟練した人であれば上記情報を基に仮想カメラを操縦し、イベントを仮想視点画像の適切な位置に含むように捉える事が容易となる。しかしながら、仮想カメラの操縦に熟練していない人の場合、上記情報だけではどのように操縦すればイベントを適切な位置で収めることが出来るかが容易に想像できず、結果として適切な位置に仮想カメラを誘導することが出来ない可能性がある。そこで実施形態２では、イベント発生位置とイベント発生までのカウントダウンを重畳するだけではなく、仮想カメラをどのように操縦すればよいかという仮想カメラ誘導情報を表示する構成について記載する。

図７は、実施形態２に係る画像処理システムの装置構成の１例を示す図である。なお、操縦者用画像生成部７０１と仮想カメラ誘導情報生成部７０２以外は図１と同様の為、説明は省略する。

操縦者用画像生成部７０１は、図１で説明した操縦者用画像生成部１１３の機能に加え、下記の機能を有する。すなわち、仮想カメラ誘導情報生成部７０２に対し、仮想カメラ情報と、イベント情報を送信する。また、仮想カメラ誘導情報生成部７０２から仮想カメラ誘導情報を取得し、仮想視点画像に重畳する事で操縦者用画像を生成する。

仮想カメラ誘導情報生成部７０２は、操縦者用画像生成部７０１から取得した仮想カメラ情報と、イベント情報を基に、どのように仮想カメラを操縦するのが適切かを示す仮想カメラ誘導情報を生成する。仮想カメラ誘導情報の１例としては、図８のメッセージ８０１に示すような、「左から回り込んで少し近づきましょう」といったような、仮想カメラをどのように操縦するのが適切かを操縦者に提示するための情報である。その後、生成した仮想カメラ誘導情報を操縦者用画像生成部７０１に送信する。なお仮想カメラ誘導情報の生成方法について、本開示では限定しない。１例として、イベント位置と仮想カメラ位置の位置関係をいくつかのパターンに予め分類しておき、パターンに当てはまる場合に、予め用意されているメッセージを操縦者に提示しても良い。例えば、カメラ位置とイベントが発生する被写体の動きを検出し、例えば、トラベリングであれば、イベントが理解しやすいように被写体の進行方向の横から撮像するなどのパターンを決めておくことで対応できる。または機械学習による予測を適用し過去の操縦履歴を学習する事により、最適なメッセージを生成しても良い。

図８は、仮想カメラ誘導情報を含む操縦者用画像を示す図である。仮想視点画像に対し、イベントの発生位置を示す球体（３次元仮想オブジェクト）５０１と、被写体、イベント種別、カウントダウンを示す画像５０２に加え、仮想カメラを誘導するためのメッセージと矢印（仮想カメラ誘導情報）８０１を重畳して表示している。これにより仮想カメラの操縦者は、トラベリングのような注目すべきイベントを仮想視点画像の適切な位置に含むような仮想カメラの操作が、実施形態１よりも更に容易となる。

以上のように、実施形態２では、仮想視点画像に対し、イベント発生位置とイベント発生までのカウントダウンに加え、仮想カメラ誘導情報を重畳して表示する手段について記載した。これにより、仮想カメラの操縦に熟練した人でなくとも、突発的に発生したイベントを適切な画角で捉えるための仮想カメラの操縦が容易となる。

また、本実施形態では仮想カメラ誘導情報を重畳して表示する構成について説明したが、操縦者が重畳された誘導情報部分をタップ、またはマウスでクリックする事により自動で仮想カメラが操縦される構成であっても構わない。

＜実施形態３＞
実施形態１および２では、仮想視点画像に対し、イベント発生位置と、イベント発生までのカウントダウンを重畳して表示する手段について記載した。しかしながら、イベントを仮想視点画像に含むように仮想カメラを操作しても、イベントに関与しない被写体が手前に位置してしまい、結果として適切な位置に仮想カメラを誘導することができない可能性がある。そこで、実施形態３では、イベント発生位置とイベント発生までのカウントダウンを重畳するだけではなく、仮想視点画像の生成時刻より後の撮像画像を重畳表示する。

図９は、リアルタイムで撮像される画像を含む操縦者用画像を示す図である。なお、実画像９０１以外は図５と同様の為、説明は省略する。

実画像９０１は、リアルタイムで撮像される画像である。本実施形態では、カメラ群１０２により撮像される画像を、そのまま仮想視点画像に重畳することを想定しているが、これに限定されない。カメラ群１０２とは異なる撮像装置により撮像された画像であってもよい。また、リアルタイムで撮像された画像に限定されず、仮想視点画像の生成時刻より後の時刻に対応する画像であればよい。

上記構成により、イベントが発生したときのイベント発生位置の周辺位置の様子を把握することができ、イベントに関与しない被写体を考慮して、適切な位置に仮想カメラを操縦することが容易になる。なお、撮影時の状況や、イベント情報取得装置１０５の不調等によりイベント情報が取得できない場合においても、実画像が表示されることにより、イベントの発生および発生位置を把握することができる。また、本実施形態では、リアルタイムで撮影される画像を操縦者用画像に重畳表示したが、これに限定されず、リアルタイムで撮影される画像と操縦者用画像を並べて表示しても構わない。

＜実施形態４＞
実施形態１の図６において、イベントの発生位置が仮想カメラの画角内に存在しないときの操縦者用画像について記載した。しかしながら、操縦者用画像に表示するイベント発生位置に関する情報は、イベント発生位置の方向を示すアイコンまたはエフェクトであって、イベント発生位置を正確に把握することはできない。そこで、実施形態４では、イベント発生位置の方向とイベント発生までのカウントダウンを重畳表示するだけでなく、イベント発生位置を示す俯瞰画像を重畳表示する。

図１０は、俯瞰図を含む操縦者用画像を示す図である。なお、俯瞰図１００１、仮想カメラ１００２、イベント発生位置１００３以外は図６と同様の為、説明を省略する。

俯瞰図１００１は、撮像領域を上空から俯瞰した図である。本実施形態では、バスケットボールのコートを示す図である。

仮想カメラ１００２は、操縦者によって操作されている仮想カメラの位置を示すアイコンである。本実施形態では、仮想カメラの画角を示すアイコンも表示するが、これに限定されない。

イベント発生位置１００３は、イベント情報取得１１０において取得したイベントの発生位置を示すアイコンである。仮想視点画像生成時刻より後に発生するイベントの発生位置を俯瞰画像上に表示する。

上記構成により、イベントの発生位置の方向に加え、仮想カメラの位置に対するイベント発生位置が把握でき、適切な位置に仮想カメラを操縦することが容易になる。例えば、仮想カメラを後退させて、仮想カメラの後方に発生するイベントを撮像したい場合、俯瞰図を用いることで仮想カメラとイベント発生位置との距離感を把握できるため、適切な操縦が容易となる。

なお、本実施形態では、俯瞰図にはコートと仮想カメラとイベント発生位置のみを表示しているが、これに限定されず、被写体を示すアイコンを表示してもよい。また、本実施形態では、俯瞰図を操縦者用画像に重畳表示したが、これに限定されず、俯瞰図と操縦者用画像を並べて表示しても構わない。

以上、本開示を複数の実施形態に基づいて詳述してきたが、本開示は上記実施形態に限定されるものではなく、本開示の主旨に基づき種々の変形が可能であり、それらを本開示の範囲から除外するものでない。例えば、以上の実施形態１～４を適宜組み合わせてもよい。

尚、本実施形態における制御の一部または全部を上述した実施形態の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して画像処理システム等に供給するようにしてもよい。そしてその画像処理システム等におけるコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、および該プログラムを記憶した記憶媒体は本開示を構成することとなる。

尚、本実施形態の開示は、以下の構成、方法およびプログラムを含む。

（構成１）
複数の撮像装置により撮像される画像に基づいて生成される仮想視点画像に対応する仮想視点の位置および仮想視点からの視線方向と、第１の時刻より後の第２の時刻に発生するイベントのイベント情報であって、前記イベントの発生位置を表すイベント情報とを取得する取得手段と、
前記第１の時刻に対応する仮想視点画像であって、前記イベント情報を示す画像を重畳表示する前記仮想視点画像を生成する生成手段と
を含むことを特徴とする装置。

（構成２）
前記イベント情報は、前記第２の時刻に対応するイベント情報を含むことを特徴とする構成１に記載の装置。

（構成３）
前記イベント情報は、前記第１の時刻と前記第２の時刻との差である、前記イベントが発生するまでの時間を含むことを特徴とする構成２に記載の装置。

（構成４）
前記イベント情報を示す画像は、前記イベントが発生するまでの時間を示す数字と、前記イベントの発生位置を示す３次元仮想オブジェクトまたはアイコンを含むことを特徴とする構成３に記載の装置。

（構成５）
前記仮想視点画像は、第１タイムコードに対応付けられており、
前記イベント情報は、第２タイムコードに対応付けられており、
前記第１タイムコードは、前記第１の時刻を表すコードであり、
前記第２タイムコードは、前記第２の時刻を表すコードであることを特徴とする構成１乃至４のいずれか１項に記載の装置。

（構成６）
前記イベント情報は、前記イベントの名称を示す情報を含み、
前記イベント情報を示す画像は、前記イベントの名称を示す文字を含むことを特徴とする構成１乃至５のいずれか１項に記載の装置。

（構成７）
前記イベント情報は、前記イベントに関する被写体を示す情報を含み、
前記イベント情報を示す画像は、前記イベントに関する被写体を特定する文字、アイコンまたはエフェクトの少なくとも何れかを含むことを特徴とする構成１乃至６のいずれか１項に記載の装置。

（構成８）
前記イベントに関する被写体は、１つのイベントに対し複数の被写体が関係づけられていることを特徴とする構成７に記載の装置。

（構成９）
前記生成手段は、前記イベントの発生位置が前記仮想視点の画角内に位置するか否かによって、異なる前記イベント情報を示す画像を重畳表示する仮想視点画像を生成することを特徴とする構成１乃至８のいずれか１項に記載の装置。

（構成１０）
前記仮想視点画像は、前記イベントの発生位置が前記仮想視点の画角内に位置する場合、前記イベントの発生位置に３次元仮想オブジェクトまたはアイコンを含み、前記イベントの発生位置が前記仮想視点の画角内に位置しない場合、前記イベントの発生位置が存在する方向を示す３次元仮想オブジェクトまたはアイコンを含むことを特徴とする構成９に記載の装置。

（構成１１）
前記イベント情報を示す画像は、前記イベントが発生するまでの時間に応じて、前記仮想視点画像に表示される前記イベント情報の色彩、大きさ、点滅周期のうち少なくとも１つを変更することを特徴とする構成３又は４に記載の装置。

（構成１２）
前記取得手段は、前記第１の時刻から所定の時間後までの時刻に発生するイベントの発生位置を表すイベント情報を取得することを特徴とする構成１乃至１１のいずれか１項に記載の装置。

（構成１３）
前記取得手段は、前記イベントの優先度に応じて前記所定の時間を変更することを特徴とする構成１２に記載の装置。

（構成１４）
前記仮想視点画像は、前記第２の時刻において、前記イベントの発生位置を仮想視点の画角内に含めるための仮想視点の誘導情報を示す画像を重畳表示することを特徴とする構成１乃至１３のいずれか１項に記載の装置。

（構成１５）
前記イベントは、スポーツまたはコンサートに係るイベントであることを特徴とする構成１乃至１４のいずれか１項に記載の装置。

（構成１６）
前記イベント情報は、複数の撮像装置により撮像される画像、ＧＰＳセンサ、音声収録装置により取得されることを特徴とする構成１乃至１５に記載の装置。

（構成１７）
前記生成手段は、前記第１の時刻より後の時刻に対応する撮像画像または俯瞰画像を含む前記仮想視点画像を生成することを特徴とする構成１に記載の装置。

（構成１８）
複数の撮像装置により撮像される画像に基づいて生成される仮想視点画像に対応する仮想視点の位置および仮想視点からの視線方向を示す視点情報を入力する入力手段と、
前記仮想視点画像に対応する時刻より後の時刻で発生するイベントの発生位置および当該イベントの発生までの時刻情報を示すイベント情報と、前記視点情報に基づいて生成される仮想視点画像とを表示する表示手段と
を有することを特徴とする装置。

（構成１９）
前記表示手段は、前記イベントの発生位置を示す画像および前記イベントの発生までの時刻情報を示す画像の少なくとも何れかを、前記仮想視点画像に重畳表示することを特徴とする構成１８に記載の装置。

（構成２０）
複数の撮像装置により撮像される画像に基づいて生成される仮想視点画像に対応する仮想視点の位置および仮想視点からの視線方向を示す視点情報を送信する送信手段と、
前記仮想視点画像に対応する時刻より後の時刻で発生するイベントの発生位置およびイベント発生までの時刻情報を示すイベント情報と、前記視点情報に基づいて生成される仮想視点画像とを受信する受信手段と
を有することを特徴とする装置。

（方法）
複数の撮像装置により撮像される画像に基づいて生成される仮想視点画像に対応する仮想視点の位置および仮想視点からの視線方向と、第１の時刻より後の第２の時刻に発生するイベントであって、前記イベントの発生位置および前記第２の時刻を表すイベント情報とを取得する取得工程と、
前記イベント情報を示す画像を重畳表示する仮想視点画像を生成する生成工程と
を含むことを特徴とする方法。

（プログラム）
構成１乃至２０のいずれか１項に記載の装置の各手段をコンピュータにより制御するためのコンピュータプログラム。

１０５ イベント情報取得装置
１０６ イベント情報格納装置
１１０ イベント情報取得部
１１３ 操縦者用画像生成部
１１４ 操縦者用ディスプレイ
１１５ 配信装置

Claims (22)

1. 複数の撮像装置により撮像される画像に基づいて生成される仮想視点画像に対応する仮想視点の位置および仮想視点からの視線方向と、第１の時刻より後の第２の時刻に発生するイベントのイベント情報であって、前記イベントの発生位置を表すイベント情報とを取得する取得手段と、
   前記第１の時刻に対応する仮想視点画像であって、前記イベント情報を示す画像を重畳表示する前記仮想視点画像を生成する生成手段と
   を含むことを特徴とする画像処理装置。
2. 前記イベント情報は、前記第２の時刻に対応するイベント情報を含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記イベント情報は、前記第１の時刻と前記第２の時刻との差である、前記イベントが発生するまでの時間を含むことを特徴とする請求項２に記載の画像処理装置。
4. 前記イベント情報を示す画像は、前記イベントが発生するまでの時間を示す数字と、前記イベントの発生位置を示す３次元仮想オブジェクトまたはアイコンを含むことを特徴とする請求項３に記載の画像処理装置。
5. 前記仮想視点画像は、第１タイムコードに対応付けられており、
   前記イベント情報は、第２タイムコードに対応付けられており、
   前記第１タイムコードは、前記第１の時刻を表すコードであり、
   前記第２タイムコードは、前記第２の時刻を表すコードであることを特徴とする請求項１に記載の画像処理装置。
6. 前記イベント情報は、前記イベントの名称を示す情報を含み、
   前記イベント情報を示す画像は、前記イベントの名称を示す文字を含むことを特徴とする請求項１に記載の画像処理装置。
7. 前記イベント情報は、前記イベントに関する被写体を示す情報を含み、
   前記イベント情報を示す画像は、前記イベントに関する被写体を特定する文字、アイコンまたはエフェクトの少なくとも何れかを含むことを特徴とする請求項１に記載の画像処理装置。
8. 前記イベントに関する被写体は、１つのイベントに対し複数の被写体が関係づけられていることを特徴とする請求項７に記載の画像処理装置。
9. 前記生成手段は、前記イベントの発生位置が前記仮想視点の画角内に位置するか否かによって、異なる前記イベント情報を示す画像を重畳表示する仮想視点画像を生成することを特徴とする請求項１に記載の画像処理装置。
10. 前記仮想視点画像は、前記イベントの発生位置が前記仮想視点の画角内に位置する場合、前記イベントの発生位置に３次元仮想オブジェクトまたはアイコンを含み、前記イベントの発生位置が前記仮想視点の画角内に位置しない場合、前記イベントの発生位置が存在する方向を示す３次元仮想オブジェクトまたはアイコンを含むことを特徴とする請求項９に記載の画像処理装置。
11. 前記イベント情報を示す画像は、前記イベントが発生するまでの時間に応じて、前記仮想視点画像に表示される前記イベント情報の色彩、大きさ、点滅周期のうち少なくとも１つを変更することを特徴とする請求項３に記載の画像処理装置。
12. 前記取得手段は、前記第１の時刻から所定の時間後までの時刻に発生するイベントの発生位置を表すイベント情報を取得することを特徴とする請求項１に記載の画像処理装置。
13. 前記取得手段は、前記イベントの優先度に応じて前記所定の時間を変更することを特徴とする請求項１２に記載の画像処理装置。
14. 前記仮想視点画像は、前記第２の時刻において、前記イベントの発生位置を仮想視点の画角内に含めるための仮想視点の誘導情報を示す画像を重畳表示することを特徴とする請求項１に記載の画像処理装置。
15. 前記イベントは、スポーツまたはコンサートに係るイベントであることを特徴とする請求項１に記載の画像処理装置。
16. 前記イベント情報は、複数の撮像装置により撮像される画像、ＧＰＳセンサ、音声収録装置により取得されることを特徴とする請求項１に記載の画像処理装置。
17. 前記生成手段は、前記第１の時刻より後の時刻に対応する撮像画像または俯瞰画像を含む前記仮想視点画像を生成することを特徴とする請求項１に記載の画像処理装置。
18. 複数の撮像装置により撮像される画像に基づいて生成される仮想視点画像に対応する仮想視点の位置および仮想視点からの視線方向を示す視点情報を入力する入力手段と、
    前記仮想視点画像に対応する時刻より後の時刻で発生するイベントの発生位置および当該イベントの発生までの時刻情報を示すイベント情報と、前記視点情報に基づいて生成される仮想視点画像とを表示する表示手段と
    を有することを特徴とする画像処理装置。
19. 前記表示手段は、前記イベントの発生位置を示す画像および前記イベントの発生までの時刻情報を示す画像の少なくとも何れかを、前記仮想視点画像に重畳表示することを特徴とする請求項１８に記載の画像処理装置。
20. 複数の撮像装置により撮像される画像に基づいて生成される仮想視点画像に対応する仮想視点の位置および仮想視点からの視線方向を示す視点情報を送信する送信手段と、
    前記仮想視点画像に対応する時刻より後の時刻で発生するイベントの発生位置およびイベント発生までの時刻情報を示すイベント情報と、前記視点情報に基づいて生成される仮想視点画像とを受信する受信手段と
    を有することを特徴とする画像処理システム。
21. 複数の撮像装置により撮像される画像に基づいて生成される仮想視点画像に対応する仮想視点の位置および仮想視点からの視線方向と、第１の時刻より後の第２の時刻に発生するイベントであって、前記イベントの発生位置および前記第２の時刻を表すイベント情報とを取得する取得工程と、
    前記イベント情報を示す画像を重畳表示する仮想視点画像を生成する生成工程と
    を含むことを特徴とする画像処理方法。
22. 請求項１乃至２０のいずれか１項に記載の画像処理装置の各手段をコンピュータにより制御するためのコンピュータプログラム。

Images