JP2021190917A

JP2021190917A - 画像処理システム、画像処理システムの制御方法及びプログラム

Info

Publication number: JP2021190917A
Application number: JP2020096221A
Authority: JP
Inventors: 一弘松林; Kazuhiro Matsubayashi
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2020-06-02
Filing date: 2020-06-02
Publication date: 2021-12-13

Abstract

【課題】仮想視点画像が視聴者にとって視聴可能な状態か否かの状況に応じた適切な仮想視点の制御を容易にする。【解決手段】画像処理システムは、第一の操作手段、第一の制御手段、および画像処理手段を有する。第一の操作手段は、複数の撮像手段の撮像で得られた撮像画像に基づき生成される仮想視点画像に対応する仮想視点を操作する。第一の制御手段は、前記仮想視点画像が視聴者にとって視聴可能な状態であるか否かを示す第一の信号に基づいて、前記第一の操作手段で操作される仮想視点の操作量の範囲を制御する。画像処理手段は、前記撮像画像および前記仮想視点の操作量の範囲に応じた操作に基づき、前記仮想視点に応じた前記仮想視点画像を生成する。【選択図】図２

Description

本開示は、仮想視点画像を生成する技術に関する。

複数の撮像装置を異なる位置に設置して多視点で同期撮像し、当該撮像により得られた複数視点画像を用いて、撮像装置の設置位置の映像だけでなく任意の視点からの見えを表す仮想視点画像を生成する技術が注目されている。複数視点画像に基づく仮想視点画像の生成及び閲覧は、複数の撮像装置の撮像で得た画像をサーバ等の画像処理部に集約し、画像処理部にて、仮想視点に基づくレンダリングなどの処理を施すことで仮想視点画像を生成し、ユーザ端末に表示することで実現できる。

仮想視点画像の生成では、仮想視点の位置、方向、画角を大きくあるいは速く変化させる操作を行う制御が可能である。このような操作に対応して生成した仮想視点画像では、従来のテレビカメラによる画像では得られない演出効果を得ることができる。ただし、仮想視点の位置、方向、画角を大きくあるいは速く変化させる操作が行われると、仮想視点の操作によっては、映像酔いなどを生じさせやすい、意図しないカメラワークや画質が悪化した仮想視点画像を生成してしまうリスクがある。

カメラによる撮影におけるユーザ操作の制限技術として、特許文献１には、次の技術が記載されている。すなわち、特許文献１には、受信信号を基に、映像使用時には、パン、チルト、ズームなどカメラの各種機能のプリセット動作を通常速度で実行し、映像不使用時にはプリセット動作を通常よりも高速で実行する技術が記載されている。

特開２０１８−８８６２４号公報

仮想視点画像が配信中であるなど、視聴者にとって視聴可能な状態であるときには、不適切な仮想視点の動きによって仮想視点画像が乱れることは視聴者の満足度を低下させてしまう。一方で、他のテレビカメラの映像などが配信中であり、制御対象の仮想視点に対応する仮想視点画像が配信されていないときは、仮想視点の操作者は次のような画像の制作を試みることも可能である。すなわち、仮想視点の操作者は、仮想視点画像が乱れるリスクを冒してでも仮想視点の位置、方向、及び画角などを大きくあるいは速く変化させることで、より演出効果が高いリプレー画像の制作を試みることも可能である。しかしながら、仮想視点画像が配信中であるか否かを操作者が常に意識しながら仮想視点の操作の仕方を変えることは、操作者にとって困難である。

本開示は、仮想視点画像が視聴者にとって視聴可能な状態か否かの状況に応じた適切な仮想視点の制御を容易にするための技術を提供する。

上記課題を解決するため、本開示の一態様に係る画像処理システムは、複数の撮像手段の撮像で得られた撮像画像に基づき生成される仮想視点画像に対応する仮想視点を操作する第一の操作手段と、前記仮想視点画像が視聴者にとって視聴可能な状態であるか否かを示す第一の信号に基づいて、前記第一の操作手段で操作される仮想視点の操作量の範囲を制御する第一の制御手段と、前記撮像画像および前記仮想視点の操作量の範囲に応じた操作に基づき、前記仮想視点に応じた前記仮想視点画像を生成する画像処理手段とを有することを特徴とする。

本開示によれば、仮想視点画像が視聴者にとって視聴可能な状態か否かの状況に応じた適切な仮想視点の制御を容易にすることができる。

画像処理システムの概略構成例を示す図画像処理システムの詳細構成例を示す図情報処理装置のハードウェア構成例を示す図制御システムの構成例を示す図仮想視点制御部による仮想視点位置の制御例を示す図仮想視点制御部による仮想視点位置の制御例を示す図仮想視点制御部による仮想視点方向及び画角の制御例を示す図動画再生制御部による動画再生の制御例を示す図仮想視点のパラメータの閾値テーブル例を示す図仮想視点制御部が実行する処理の流れを示すフローチャート仮想視点のパラメータの閾値テーブル例を示す図仮想視点制御部が実行する処理の流れを示すフローチャート仮想視点のパラメータの閾値テーブル例を示す図仮想視点制御部が実行する処理の流れを示すフローチャート仮想視点の移動速度の制限方法を説明するための図仮想視点の移動加速度の制限方法を説明するための図仮想視点の移動速度と移動加速度との制限方法を説明するための図仮想視点のパンの変化速度の制限方法を説明するための図仮想視点のパンの変化加速度の制限方法を説明するための図仮想視点のパラメータの閾値テーブル例を示す図仮想視点制御部が実行する処理の流れを示すフローチャート動画再生速度の閾値テーブル例を示す図動画再生制御部が実行する処理の流れを示すフローチャート

本開示の実施形態について説明する前に、仮想視点画像の生成技術の概要について説明する。近年では、撮像装置による撮像を行いながら仮想視点を操作すると、撮像で画像を得てからわずかな遅延時間（ほぼリアルタイムに近い時間）で仮想視点画像（仮想視点画像からなる動画）を生成することが可能になっている。

また、予め記憶した撮像画像又は仮想視点非依存の中間データ（素材データ）を読み出しながら仮想視点や動画の再生速度を操作すると、読み出しで画像等を得てからわずかな遅延時間で仮想視点画像やその画像からなる動画を生成することも可能になっている。

そこで、放送やインターネット配信などの、スポーツなどの生中継番組において、従来のテレビカメラで撮像された動画と同様、仮想視点画像から成る動画を、撮像しながらほぼリアルタイムのオンエアなどライブで用いることが期待されている。また、仮想視点画像の動画を、記憶された動画のうち特定のシーンを読み出しながら番組中に再度オンエアするなどリプレーで用いることも期待されている。

ライブやリプレーで仮想視点を操作しながらほぼリアルタイムでオンエアする場合、意図しないカメラワークや画質が悪化した仮想視点画像がそのまま視聴可能な状態になることを防ぐため次のような適切な仮想視点の制御を容易にすることが望まれている。すなわち、仮想視点の位置、方向、画角を変化させる大きさや速さの制限を強めて、視聴者にとって視聴可能な状態の状況に応じた適切な仮想視点の制御を容易にすることが望まれている。

一方で、他のテレビカメラの映像などがオンエアされており、仮想視点画像の動画がオンエアされていない場合、生成した仮想視点画像の動画データの状態に応じてリプレーで用いるか否かを選択することができる。そのため、仮想視点の位置、方向、画角を変化させる大きさや速さの制限を弱めて、視聴者にとって視聴不可能な状態の状況に応じた適切な仮想視点の制御を容易にすることも望まれている。

以下、本開示の実施形態について、図面を参照して説明する。なお、以下の実施形態は本開示を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせのすべてが本開示の解決手段に必須のものとは限らない。

＜実施形態１＞
［システム構成］
図１は、本実施形態に係る画像処理システム１０の概略構成例を示す図である。画像処理システム１０は、複数の撮像装置によって同期撮像して得た複数の画像と、指定された仮想視点とに基づいて、指定された仮想視点からの見えを表す仮想視点画像を生成するシステムである。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども含む。

画像処理システム１０は、図１に示すように、複数の撮像装置８、画像処理装置９を有する。複数の撮像装置８は、撮像領域４０１を複数の方向から同期撮像する。本実施形態では、撮像対象となる撮像領域４０１が、サッカーが行われる競技場であるものとする。ただし撮像領域４０１はこれに限定されず、ラグビーや空手などが行われる競技場であってもよいし、もしくはコンサートや演劇が行われる舞台などであってもよい。図１に示すように、複数の撮像装置８は、上述のような撮像領域４０１を取り囲むようにそれぞれ異なる位置に設置され、同期して撮像を行う。なお、複数の撮像装置８は撮像領域４０１の全周にわたって設置されていなくてもよく、設置場所の制限等によっては撮像領域４０１の周囲の一部にのみ設置されていてもよい。また、撮像装置８の数は、１６台に限定されず、１６台より少なくても多くてもよい。例えば、撮像領域４０１をサッカーの競技場とする場合には、競技場の周囲に３０台程度もしくはそれ以上の撮像装置８が設置されてもよい。また、望遠カメラと広角カメラなど機能が異なる撮像装置８が設置されていてもよい。

画像処理装置９は、画像処理部７と記憶部７１を有し、情報処理装置３及び複数の撮像装置８と接続して通信を行い、詳細につき後述する、情報処理装置３の仮想視点操作部１の操作に応じた、仮想視点画像を生成する。仮想視点画像は、例えば次のような方法で生成される。まず、複数の撮像装置８によりそれぞれ異なる方向から撮像領域４０１を同期撮像することで複数の画像（複数視点画像）が取得され、画像処理部７へ入力される。次に、画像処理部７は、複数視点画像から、人物やボールなどの所定のオブジェクトに対応する前景領域を抽出した前景画像と、前景領域以外の背景領域を抽出した背景画像を取得する。また、画像処理部７は、所定のオブジェクトの三次元形状を表す前景モデルと前景モデルに色付けするためのテクスチャデータとを前景画像に基づいて生成する。また、競技場などの背景の三次元形状を表す背景モデルに色づけするためのテクスチャデータを背景画像に基づいて生成する。そして、画像処理部７は、前景モデルと背景モデルに対してテクスチャデータをマッピングし、情報処理装置３から取得した視点情報が示す仮想視点に応じてレンダリングを行うことにより、仮想視点画像を生成する。生成された仮想視点画像は、記憶部７１、情報処理装置３、もしくはその他の外部ネットワーク等へ出力される。ただし、仮想視点画像の生成方法はこれに限定されず、三次元モデルを用いずに撮像画像の射影変換により仮想視点画像を生成する方法など、種々の方法を用いてもよい。

仮想視点画像の生成に用いられる視点情報は、仮想視点の位置及び向きを示す情報を含む。具体的には、視点情報は、仮想視点の三次元位置を表すパラメータと、パン方向、チルト方向、及びロール方向における仮想視点の向きを表すパラメータとを含む、パラメータセットである。なお、視点情報の内容は上記に限定されない。例えば、視点情報としてのパラメータセットには、仮想視点に応じた視野の大きさ（画角）を表すパラメータが含まれてもよい。また、視点情報は複数のパラメータセットを有していてもよい。例えば、視点情報が、仮想視点画像の動画を構成する複数のフレームにそれぞれ対応する複数のパラメータセットを有し、連続する複数の時点それぞれにおける仮想視点の位置及び向きを示す情報であってもよい。

なお、本実施形態の説明においては、仮想カメラという用語を用いる。図１に示す仮想カメラ４０２は、撮像領域４０１の周囲に実際に設置された複数の撮像装置８とは異なり、実際には存在しない仮想的なカメラであって、仮想視点画像の生成に係る仮想視点を便宜的に説明するための概念である。すなわち、仮想視点画像は、撮像領域４０１に関連付けられる仮想三次元空間内に設定された仮想視点から撮像した画像であるとみなすことができる。そして、仮想的な当該撮像における視点の位置及び向きは仮想カメラ４０２の位置及び向きとして表すことができる。また、仮想視点に応じた視野は、仮想カメラ４０２の視野に相当する。言い換えれば、仮想視点画像は、三次元空間内に設定された仮想視点の位置にカメラ（撮像装置）が存在するものと仮定した場合に、そのカメラにより得られる撮像画像を模擬した画像であると言える。ただし、本実施形態の構成を実現するために仮想カメラ４０２の概念を用いることは必須ではない。すなわち、少なくとも三次元空間内における特定の位置及び向きを示す情報が設定され、設定された情報に応じて仮想視点画像が生成されればよい。

記憶部７１には、画像処理部７により生成された仮想視点画像に限らず、仮想視点画像の生成に係る素材データ（中間データ）が記憶されてもよい。本実施形態では、仮想視点画像を生成するためのデータであって、撮像装置８によって同期撮像して得た撮像画像、および該撮像画像に基づいて生成されるデータを、素材データと表記する。なお、撮像画像は、撮像したときに時刻に関する情報（撮像時刻情報）などが付加されてもよい。撮像画像に基づいて生成される素材データは、例えば、撮像画像から抽出した前景画像と背景画像のデータ、三次元空間におけるオブジェクトの形状を表す三次元モデルデータ、および三次元モデルに色付けするためのテクスチャデータ等を含む。

なお、素材データは仮想視点画像を生成するためのデータであれば、その種類は限定されない。例えば、撮像画像を取得する撮像装置８の撮像条件を表すカメラパラメータが素材データに含まれていてもよい。また、上記では三次元モデルを用いて仮想視点画像を生成する場合の素材データ例について記載したが、三次元モデルを用いずに仮想視点画像を生成する場合の素材データは、仮想視点画像の生成に必要なデータであり、上記の素材データの例と異なる場合がある。このように、仮想視点画像の生成手法に応じて素材データが異なっていてもよい。また、記憶部７１に記憶される素材データには、上記撮像画像に基づいて生成されるデータ以外に、ＣＡＤなどで生成される三次元モデルデータが含まれてもよい。

図２は、画像処理システム１０の詳細構成例を示す図である。画像処理システム１０は、図２に示すように、上述した撮像装置８、画像処理装置９を有することに加え、制御システム６も有する。

制御システム６は、仮想視点操作部１、動画再生操作部２、情報処理装置３、表示部４、及びタリーランプ５を有し、ユーザ操作に基づいて、仮想視点画像に対応する仮想視点を設定するシステムである。仮想視点操作部１及び動画再生操作部２は、それぞれ例えばジョイスティック、キーボード、マウス、タッチパネル、ダイヤル、レバーなどで構成され、映像制作者などのユーザ（操作者）の操作対象となる。仮想視点操作部１は、ユーザが仮想視点を操作するためのものである。動画再生操作部２は、ユーザが動画再生を操作するためのものである。

表示部４は、例えば１つ以上の液晶ディスプレイやＬＥＤ等で構成され、詳細につき後述する情報処理装置３の表示制御部３３からの出力に基づいて、ユーザ閲覧可能に画像を表示する。

タリーランプ５は、タリー信号がオンのときに点灯し、オフの時に消灯するランプ（例えばＬＥＤランプ）である。タリー信号は、詳細につき後述するスイッチャー２０４からタリー信号入力部３６を経由して入力される信号である。

情報処理装置３は、操作入力部３１、操作入力部３２、表示制御部３３、仮想視点制御部３４、動画再生制御部３５、及びタリー信号入力部３６を有する。操作入力部３１、操作入力部３２は、それぞれ仮想視点操作部１、動画再生操作部２からのユーザ操作に応じた入力を受け付け、例えば物理的な操作を示す信号を論理的な操作命令に変換するなどの処理を行う。これにより、操作部の機器種別やインターフェース（Ｉ／Ｆ）の物理的な差異を吸収できる。操作入力部３１、操作入力部３２によって生成された操作命令は、それぞれ仮想視点制御部３４、動画再生制御部３５に出力される。

表示制御部３３は、ユーザが仮想視点操作部１や動画制御操作部２を操作するためのＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）を表示部４に表示させる。また、表示制御部３３は、画像処理装置９の画像処理部７から送信された仮想視点画像を受信して、表示部４に表示させる。また、表示制御部３３は必要に応じて、撮像装置８が撮像した画像を、画像処理装置９を介し受信して表示部４に表示させてもよい。

仮想視点制御部３４は、操作入力部３１から入力された操作命令に基づいて仮想視点を示す視点情報を設定し、設定された仮想視点を示す視点情報を画像処理装置９へ送信する。仮想視点を示す視点情報は、例えば、仮想視点の位置、方向、画角等を含む。

動画再生制御部３５は、操作入力部３２からの操作命令に基づいて所定の制御を行い、動画の各フレームに割り当てる画像の撮像時刻情報を画像処理装置９の画像処理部７へ送信する。所定の制御は、例えば、動画のライブ出力、等倍速再生、スロー再生、静止再生、高速再生、逆再生、スロー逆再生、高速逆再生、再生停止などを含む。

画像処理部７は、撮像装置８によって撮像して得た撮像画像に対して撮像時刻情報を付加し、撮像時刻情報が付加された撮像画像を記憶部７１に記憶させる。また、画像処理部７は、撮像画像から生成された素材データに対しても撮像画像の撮像時刻情報（または撮像時刻を特定可能な情報）を付加し、撮像時刻情報が付加された素材データを記憶部７１に記憶させる。動画再生制御部３５から画像処理装置９の画像処理部７へ撮像時刻情報が送信されると、画像処理部７は、該撮像時刻情報が付加された素材データを記憶部７１から読み出して、１フレームの仮想視点画像を生成する。

ライブ出力の場合、画像処理部７は、撮像装置８の撮像によって最新の画像を得た時刻とほぼ同じ時刻で、すなわち、ほぼリアルタイムで素材データ及び仮想視点画像を生成する。一方、ライブ出力以外の場合、画像処理部７は、１フレームごとの指定時刻の素材データが記憶部７１から読み出して仮想視点画像を生成する。仮想視点画像は、例えば約６０フレーム／秒の動画データ（動画ともいう）として、画像処理システム１０からスイッチャー２０４に出力される。

画像処理システム１０が出力する動画データは、テレビカメラ２０１、リプレー編集機２０２が出力する動画データとともに、映像蓄積サーバ２０３に記憶される。リプレー編集機２０２は、映像蓄積サーバ２０３に記憶された動画データを読み出して編集を施し、リプレー映像としてスイッチャー２０４に出力する。テレビカメラ２０１、リプレー編集機２０２、画像処理システム１０は、それぞれ複数存在してもよい。

スイッチャー２０４は、ディレクターなどの操作者によるオンエア切替操作に基づいて、テレビカメラ２０１、リプレー編集機２０２、画像処理システム１０の各出力動画データから１つの動画データを選択して、オンエア動画データとして出力する。オンエア動画データは、ただちに放送またはインターネット配信される。すなわち、オンエア動画データは、オンエア等で用いられ、視聴者にとって視聴可能な状態に制御されたデータであるともいえる。ただし、デジタルデータの通信の過程で数秒ないし数分の遅延を生ずる場合がある。スイッチャー２０４は、上記選択された動画データを出力した装置（またはシステム）へはオンのタリー信号を出力し、他の装置（またはシステム）へはオフのタリー信号を出力する。オンのタリー信号は、本装置で生成した画像が視聴者にとって視聴可能な状態であることを示す信号であり、オフのタリー信号は、本装置で生成した画像が視聴者にとって視聴不可能な状態であることを示す信号であるともいえる。視聴者は、テレビやディスプレイや携帯端末やタブレットなどの各種機器で、放送や配信された画像を視聴や閲覧可能な者を含む。

画像処理システム１０のタリー信号入力部３６は、スイッチャー２０４から入力されたタリー信号を受信し、タリーランプ５、仮想視点制御部３４、動画再生制御部３５へそれぞれ出力する。

なお、画像処理システム１０の構成は、図２に示したものに限定されない。例えば、情報処理装置３と画像処理装置９とが一体となって構成されていてもよい。また、複数の情報処理装置３が画像処理装置９と接続されて通信を行ってもよい。また、画像処理装置９が有する機能が、複数の装置により実現されてもよい。例えば、前景画像の生成、三次元モデルの生成、及び仮想視点画像の生成が、それぞれ異なる装置により実行されてもよい。

［情報処理装置のハードウェア構成］
図３は、情報処理装置３のハードウェア構成例を示す図である。なお、上述した画像処理装置９のハードウェア構成も、以下で説明する情報処理装置３の構成と同様である。あるいは、情報処理装置３のハードウェアに画像処理装置９の機能を統合してもよい。

情報処理装置３は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、補助記憶装置３０４、表示Ｉ／Ｆ３０５、操作Ｉ／Ｆ３０６、通信Ｉ／Ｆ３０７、及びバス３０８を有する。

ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）３０１は、ＲＯＭ３０２やＲＡＭ３０３に格納されているコンピュータプログラムやデータを用いて情報処理装置３の全体を制御することで、図２に示す情報処理装置３の各機能を実現する。なお、情報処理装置３がＣＰＵ３０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ３０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）３０２は、変更を必要としないプログラムなどを格納する。ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）３０３は、補助記憶装置３０４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ３０７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置３０４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

表示Ｉ／Ｆ３０５は、表示部４とバス３０８とを接続するインターフェースであり、例えば、情報処理装置３から表示部４へ映像信号（画像信号）を出力する。操作Ｉ／Ｆ３０６は、仮想視点操作部１及び動画再生操作部２とバス３０８とを接続するインターフェースであり、例えば、仮想視点操作部１及び動画再生操作部２からユーザ操作に応じた操作信号の入力の受付を行う。通信Ｉ／Ｆ３０７は、情報処理装置３の外部の装置とバス３０８とを接続するインターフェースであり、情報処理装置３の外部の装置との通信に用いられる。例えば、情報処理装置３が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ３０７に接続される。情報処理装置３が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ３０７はアンテナを備える。バス３０８は、情報処理装置３の各部と接続し、相互に情報を送受信する。本実施形態では、仮想視点操作部１、動画再生操作部２、表示部４、及びタリーランプ５が情報処理装置３とは別個の装置として存在するものとするが、これらのうち少なくとも何れかが情報処理装置３の内部に存在してもよい。

［仮想視点の操作］
制御システム６において、仮想視点画像に対応する仮想視点を設定するための操作方法例について説明する。図４は、制御システム６の構成例を示す図である。

制御システム６の仮想視点操作部１は、ジョイスティック１２Ａ、ダイヤル１３Ａ、スイッチ群１４Ａが取り付けられた操作卓１１Ａと、ジョイスティック１２Ｂ、ダイヤル１３Ｂ、スイッチ群１４Ｂが取り付けられた操作卓１１Ｂとを有する。ジョイスティック、ダイヤル、スイッチの操作に基づいて、操作卓１１Ａ、操作卓１１Ｂそれぞれの電気回路によって操作信号が生成される。生成された操作信号は、操作信号ケーブル１５Ａ、操作信号ケーブル１５Ｂを通じて情報処理装置３へ伝送される。

制御システム６の動画再生操作部２は、レバー２２、ダイヤル２３、スイッチ群２４が取り付けられた操作卓２１で構成される。レバー、ダイヤル、スイッチの操作に基づいて、操作卓２１の電気回路によって操作信号が生成される。生成された操作信号は、操作信号ケーブル２５を通じて情報処理装置３へ伝送される。

制御システム６の表示部４は、表示装置４１Ａ、表示装置４１Ｂを有する。情報処理装置３から出力された映像信号は、映像信号ケーブル４２Ａ、映像信号ケーブル４２Ｂを通じて、それぞれ表示装置４１Ａ、表示装置４１Ｂへ伝送される。例えば、表示装置４１Ａには撮像領域４０１を俯瞰した画像を表示し、表示装置４１Ｂには仮想視点操作部１及び動画再生操作部２の操作に応じて生成された仮想視点画像や仮想視点画像から成る動画を表示する。

なお、操作卓１１Ａ、操作卓１１Ｂ、操作卓２１の構成は同一でなくてもよく、表示装置４１Ａと表示装置４１Ｂの構成は同一でなくてもよい。また、表示装置４１Ａと表示装置４１Ｂが同一の表示装置において異なる表示領域であってもよい。

上述した操作卓や表示装置のデバイスや台数は、一例であり、これに限定されない。１人の操作者が複数の操作卓を同時に操作してもよく、あるいは２人以上の操作者で分担して操作してもよい。

制御システム６のタリーランプ５は、情報処理装置３からタリー信号ケーブル５１を通じて入力されたタリー信号がオンのときに点灯し、オフのときに消灯する。

図５（ａ）から（ｄ）は、仮想視点制御部３４による仮想視点位置の制御例を示す図である。

仮想カメラ４０２の位置は、図５（ａ）に示すように、撮像領域４０１の所定位置、所定方向を基準とした三次元座標（Ｘ，Ｙ，Ｚ）で表される。ユーザが仮想視点操作部１の操作卓１１Ａのジョイスティック１２Ａを操作することで、仮想カメラのＸ座標、Ｙ座標、Ｚ座標がそれぞれ移動する。

図５（ｂ）に示すように、ユーザ操作によって操作卓１１Ａのジョイスティック１２Ａが左右に傾けられると、仮想カメラは傾きの大きさ及び傾けている時間に応じた移動量だけＸ方向に平行移動する。例えば、ジョイスティック１２Ａが右方向に傾けられると、仮想カメラはＸ軸方向にて＋Ｘ側に移動し、ジョイスティック１２Ａが左方向に傾けられると、仮想カメラはＸ軸方向にて−Ｘ側に移動する。図５（ｃ）に示すように、ユーザ操作によって操作卓１１Ａのジョイスティック１２Ａが前後に傾けられると、仮想カメラは傾きの大きさ及び傾けている時間に応じた移動量だけＹ方向に平行移動する。例えば、ジョイスティック１２Ａが後方向に傾けられると、仮想カメラはＹ軸方向にて＋Ｙ側に移動し、ジョイスティック１２Ａが前方向に傾けられると、仮想カメラはＹ軸方向にて−Ｙ側に移動する。図５（ｄ）に示すように、ユーザ操作によって操作卓１１Ａのジョイスティック１２Ａが回転されると、仮想カメラは回転の大きさ及び回転している時間に応じた移動量だけＺ方向に平行移動する。例えば、ジョイスティック１２Ａが右方向に回転されると、仮想カメラはＺ軸方向にて＋Ｚ側に移動し、ジョイスティック１２Ａが左方向に回転されると、仮想カメラはＺ軸方向にて−Ｚ側に移動する。なお、操作方法はこれに限定されず、例えばＺ方向の移動操作はジョイスティックの上下方向への引き上げと押し込みの操作でもよい。

図６（ａ）から（ｄ）は、仮想視点制御部３４による仮想視点位置の別の制御例を示す図である。

仮想カメラ４０２の位置は、図６（ａ）に示すように、撮像領域４０１の所定位置、所定方向を基準とした三次元座標（Ｘ，Ｙ，Ｚ）で表される。ユーザが仮想視点操作部１の操作卓１１Ａのジョイスティック１２Ａを操作することで、仮想カメラの現在の視線に対して相対的な方向に移動する。

図６（ｂ）に示すように、ユーザ操作によって操作卓１１Ａのジョイスティック１２Ａを左右に傾けられると、仮想カメラが傾きの大きさ及び傾けている時間に応じた移動量だけ現在の視線に対して左右方向に平行移動する。図６（ｃ）に示すように、ユーザ操作によって操作卓１１Ａのジョイスティック１２Ａを前後に傾けられると、仮想カメラが傾きの大きさ及び傾けている時間に応じた移動量だけ現在の視線に対して前後方向に平行移動する。図６（ｄ）に示すように、ユーザ操作によって操作卓１１Ａのジョイスティック１２Ａが回転されると、仮想カメラが回転の大きさ及び回転している時間に応じた移動量だけ現在の視線に対して上下方向に平行移動する。なお、操作方法はこれに限定されず、例えば上下方向の移動操作はジョイスティックの上下方向への引き上げと押し込みの操作でもよい。

図５を用いて説明した制御例は、撮像領域４０１を俯瞰する画像を主に見ながら仮想視点の位置を操作するのに適する。一方、図６を用いて説明した制御例は、操作に応じて生成される仮想視点画像を主に見ながら仮想視点の位置を操作するのに適する。

また、図６を用いて説明した制御例の変形例として、次のように、仮想視点の位置を制御してもよい。すなわち、Ｘ座標とＹ座標については図６（ｂ）及び図６（ｃ）に示すように、仮想カメラ４０２の現在の視線に対して相対的な方向に移動させ、Ｚ座標については図５（ｄ）に示すように、撮像領域４０１のＺ方向に移動させるようにしてもよい。この制御例によれば、操作に応じて生成される仮想視点画像を主に見ながら仮想視点の位置を操作する場合においても、仮想カメラの地面からの高さの制御を行いやすくなる。特に仮想カメラの地面からの高さを一定に保つ操作が容易になる。

仮想カメラ４０２の位置の操作は、上記の例に限定されない。また、複数の操作モードをスイッチなどで切り替えられるようにしてもよい。

図７（ａ）から（ｅ）は、仮想視点制御部３４による仮想視点方向及び画角の制御例を示す図である。

図７（ａ）において、仮想カメラ４０２の方向は、仮想カメラの姿勢に対する上下方向を軸とした回転（パン）、仮想カメラの姿勢に対する左右方向を軸とした回転（チルト）、仮想カメラの姿勢に対する前後方向を軸とした回転（ロール）で表される。また、仮想カメラ４０２の画角は、ズームレンズの焦点距離（例えば３５ｍｍカメラの焦点距離）として表すことができる。すなわち、パン７０５は、仮想カメラ４０２の光軸を左右方向に回転させることを表すパラメータであり、パン軸７０１周りの仮想カメラ４０２の回転である。チルト７０６は、仮想カメラ４０２の光軸を上下に回転させることを表すパラメータであり、チルト軸７０２周りの仮想カメラ４０２の回転である。ロール７０７は、仮想カメラ４０２の光軸を中心にした回転を示すパラメータであり、ロール軸７０３周りの仮想カメラの回転である。ズーム７０８は、仮想カメラ４０２の焦点を前後方向に移動させることを表すパラメータであり、ズーム軸７０４に沿う仮想カメラ４０２の焦点の移動である。

図７（ｂ）に示すように、ユーザ操作によって操作卓１１Ｂのジョイスティック１２Ｂが左右に傾けられると、仮想カメラがパンする。図７（ｃ）に示すように、ユーザ操作によって操作卓１１Ｂのジョイスティック１２Ｂが前後に傾けられると、仮想カメラがチルトする。図７（ｄ）に示すように、ユーザ操作によって操作卓１１Ｂのジョイスティック１２Ｂが回転されると、仮想カメラがロールする。なお、操作方法はこれに限定されず、例えばロール操作はジョイスティックの上下方向への引き上げと押し込みの操作でもよい。

図７（ｅ）に示すように、ユーザ操作によって操作卓１１Ｂのダイヤル１３Ｂが回転されると、仮想カメラがズームする。例えば、ダイヤル１３Ｂが右方向に回転されると、仮想カメラ４０２の焦点は前方向に移動し、ダイヤル１３Ｂが左方向に回転されると、仮想カメラ４０２の焦点は後方向に移動する。なお、ズーム操作に用いるデバイスはこれに限定されず、例えば前後方向または左右方向に移動するまたは傾くレバーなどでもよい。

仮想カメラの方向、画角の操作は、上記の例に限定されない。また、複数の操作モードをスイッチなどで切り替えられるようにしてもよい。

図８（ａ）から（ｇ）は、動画再生制御部３５による動画再生の制御例を示す図である。図８（ａ）から（ｇ）では、撮像画像フレームは例えば約６０フレーム／秒の撮像画像を撮像順に並べたものであり、出力動画フレームは例えば約６０フレーム／秒の出力動画の各フレームを出力順に並べたものであるとする。撮像画像フレームと出力動画フレームとの間の矢印は、撮像画像フレームと出力動画フレームとの対応関係を示している。

図８（ａ）に示すように、動画のライブ出力または等倍速再生例では、１つの撮像画像フレームは、１つの出力動画フレームに対応している。現在の出力動画フレームが撮像直後の最新の撮像画像フレームである場合、出力動画フレームは、撮像画像フレームのライブ出力（撮像からほぼリアルタイムで動画出力）であり、それ以外は等倍速再生（リプレー）である。

図８（ｂ）に示すように、動画のスロー再生例では、１つの撮像画像フレームは、連続する複数の出力動画フレームに対応している。１つの撮像画像フレームに対応する出力動画フレームの数が多いほど、動画の再生速度が遅くなる。動画が仮想視点画像から成る場合は、同一の撮像画像フレームに対して、出力動画フレームごとに異なる仮想視点を割り当てることもできるので、同一の撮像画像フレームに対応する複数の出力動画フレームの画像は同一とは限らない。

図８（ｃ）に示すように、動画の静止再生例では、１つの撮像画像フレームは、多数の出力動画フレームに対応し、その間、被写体が静止した状態となる。仮想視点画像から成る動画の場合、被写体を静止させたまま、仮想視点の位置、方向、画角を変えた動画を出力することも可能である。

図８（ｄ）に示すように、動画の高速再生例では、１つの出力動画フレームは、飛び飛びの撮像画像フレームに対応している。例えば、出力動画フレームは、奇数番目の撮像画像フレームに対応している。１つの出力動画フレームに対して飛ばす撮像画像フレーム数が多いほど動画の再生速度が高速になる。

図８（ｅ）に示すように、動画の逆再生例では、出力動画フレームは、撮像画像フレームの順番と逆の順番に並んでいる。

図８（ｆ）に示すように、動画のスロー逆再生例では、１つの撮像画像フレームは、複数の出力動画フレームに対応し、かつ、出力動画フレームが撮像画像フレームの順番と逆の順番に並んでいる。

図８（ｇ）に示すように、動画の高速逆再生例では、１つの出力動画フレームが飛び飛びの撮像画像フレームに対応し、かつ、出力動画フレームが撮像画像フレームの順番と逆の順番に並んでいる。例えば、出力動画フレームは、奇数番目の撮像画像フレームに対応している。

上述した動画再生（ライブ、等倍速再生、スロー再生、静止再生、高速再生、逆再生、スロー逆再生、高速逆再生）の制御は、上述した図４に示す操作卓２１のスイッチ２４に対するユーザ操作によって切り替えられる。また、動画の再生速度は、操作卓２１のレバー２２またはダイヤル２３に対するユーザ操作によって調整される。

出力動画フレームに対応する撮像画像フレームの時刻情報が付加された素材データを読み出すとともに、仮想視点を制御して、仮想視点画像を生成することで、仮想視点と動画再生を同時に操作しながらリプレー動画を出力することができる。

仮想視点制御部３４は、操作量（操作部の傾き角度や回転角度など）に対する仮想カメラの制御量（位置、方向、画角の変化量）を、例えば操作卓上のスイッチ類の操作などに基づいて操作軸ごとに随時設定する。仮想カメラを大きくあるいは速く動かしたいときは操作量の範囲（制御量）を大きく設定し、仮想カメラを細かくあるいは正確に動かしたいときは操作量の範囲（制御量）を小さく設定する。

動画再生制御部３５は、操作量（操作部の傾き角度や回転角度など）に対する再生速度の制御量を、例えば操作卓上のスイッチ類の操作などに基づいて操作軸ごとに設定する。再生フレームを大きくあるいは速く動かしたいときは操作量の範囲（制御量）を大きく設定し、再生フレームを細かくあるいは正確に動かしたいときは操作量の範囲（制御量）を小さく設定する。

仮想視点画像の生成では、上述した通り、仮想視点の位置、方向、画角を変化させる大きさや速さの制限を強めたり弱めたりして、視聴者にとって視聴可能な状態であるか否かの状況に応じた適切な仮想視点の制御を容易にすることが望まれている。

そこで、本実施形態の仮想視点制御部３４は、タリー信号を基に、装置で生成した画像を視聴者にとって視聴可能な状態であるときには、次のように仮想視点の操作量の範囲を制御する。すなわち、仮想視点制御部３４は、生成する仮想視点画像が視聴者にとって視聴可能な状態であるとき、仮想視点の位置、方向、画角を変化させる大きさや速さの制限を強めるため、仮想視点の操作量の範囲が相対的に狭くなるように仮想視点の制限量を設定する。

仮想視点の制限量の設定に関し、仮想視点のパラメータ変化速度およびパラメータ変化加速度それぞれについて閾値を設定する場合について、図を用いて説明する。図９は、仮想視点のパラメータの閾値テーブル例を示す図である。仮想視点のパラメータ変化速度は、移動速度、パン速度、チルト速度、ロール速度、ズーム速度を含む。仮想視点のパラメータ変化加速度は、移動加速度、パン加速度、チルト加速度、ロール加速度、ズーム加速度を含む。

仮想視点のパラメータ変化速度とパラメータ変化加速度について、図９に示すように、オンエア中の制限として、それぞれ閾値を設定してもよい。ここでパラメータ変化速度とは、パラメータの１フレーム（出力動画フレーム）ごとの変化量であり、パラメータ変化加速度とは、パラメータ変化速度の１フレーム（出力動画フレーム）ごとの変化量である。仮想視点制御部３４は、例えば操作卓上のスイッチ類の操作などに基づいて、上記閾値を随時設定する。

本実施形態の仮想視点制御部３４の制御について、図を用いて説明する。図１０は、仮想視点制御部３４が実行する処理の流れを示すフローチャートである。図１０のフローでは、仮想視点制御部３４が動画出力フレームに対する処理を１フレームごとに実行する。また、仮想視点の制限量（仮想視点の操作量の範囲）に関し、仮想視点のパラメータ変化速度およびパラメータ変化加速度についてそれぞれ、図９に示す閾値が予め設定されているとする。なお、フローチャートの説明における記号「Ｓ」は、ステップを表すものとする。この点、以下のフローチャートの説明においても同様とする。

Ｓ１００１では、仮想視点制御部３４は、当フレームにおいて、上述した閾値の変更操作を受け付けたか否かを判定する。変更操作を受け付けたとの判定結果を得た場合（Ｓ１００１のＹＥＳ）、仮想視点制御部３４は、処理をＳ１００２に移行する。変更操作を受け付けなかったとの判定結果を得た場合（Ｓ１００１のＮＯ）、仮想視点制御部３４は、Ｓ１００２をスキップし処理をＳ１００３へ移行する。

Ｓ１００２では、仮想視点制御部３４は、予め設定された図９に示すテーブルの閾値を、受け付けた変更操作に応じた閾値に変更する。

Ｓ１００３では、仮想視点制御部３４は、操作入力部３１から入力された、当フレームにおける仮想視点操作部１の操作量（各操作部の傾き角度や回転角度などに基づく値）を取得する。

Ｓ１００４では、仮想視点制御部３４は、Ｓ１００３にて取得した操作量に基づいて、図５または図６、及び、図７で示した方法で、仮想視点の位置、方向、画角を計算（導出）する。すなわち、仮想視点制御部３４は、仮想視点を導出するともいえる。

Ｓ１００５では、仮想視点制御部３４は、タリー信号入力部３６から入力されたタリー信号を受信する。

Ｓ１００６では、仮想視点制御部３４は、Ｓ１００５にて受信したタリー信号に基づいてオンエア中か否かを判定する。オンエア中であるとの判定結果を得た場合（Ｓ１００６のＹＥＳ）、仮想視点制御部３４は、処理をＳ１００７へ移行する。オンエア中ではないとの判定結果を得た場合（Ｓ１００６のＮＯ）、仮想視点制御部３４は、Ｓ１００７からＳ１０１０をスキップし処理をＳ１０１１へ移行する。

Ｓ１００７では、仮想視点制御部３４は、仮想視点計算値である、１フレームあたりの変化量、具体的には仮想視点のパラメータ変化速度とパラメータ変化加速度とを計算（導出）する。仮想視点のパラメータ変化速度は、移動速度、パン速度、チルト速度、ロール速度、ズーム速度を含む。仮想視点のパラメータ変化加速度は、移動加速度、パン加速度、チルト加速度、ロール加速度、ズーム加速度を含む。

Ｓ１００８では、仮想視点制御部３４は、Ｓ１００７にて導出した仮想視点計算値の１フレームあたりの変化量が閾値より大きいという関係を充足するか否かを判定する。具体的には、仮想視点制御部３４は、仮想視点計算値の１フレームあたりの変化量が図９のテーブルの閾値を超えたかどうかを項目ごとにそれぞれ判定する。いずれか１つ以上の項目が閾値を超えており、仮想視点計算値の１フレームあたりの変化量が閾値より大きいという関係を充足するとの判定結果を得た場合（Ｓ１００６のＹＥＳ）、仮想視点制御部３４は、処理をＳ１００９へ移行する。いずれの項目も閾値を超えず仮想視点計算値の１フレーム当りの変化量が閾値より大きいという関係を充足しないとの判定結果を得た場合（Ｓ１００６のＮＯ）、仮想視点制御部３４は、Ｓ１００９、Ｓ１０１０をスキップし処理をＳ１０１１へ移行する。

Ｓ１００９では、仮想視点制御部３４は、操作者に対して警告を通知（報知）する。すなわち、仮想視点制御部３４は、仮想視点の変化量が範囲外にあるとき警告を通知するともいえる。通知方法は、画像など何らかの表示部４の画面への表示でも、あるいは、不図示のランプの点灯でも、音声などの通知でもよい。

Ｓ１０１０では、仮想視点制御部３４は、上述した仮想視点計算値の１フレームあたりの変化量が図９のテーブルの閾値を超えないように、仮想視点の位置、方向、画角を再計算（再導出）する。仮想視点の再導出処理の詳細については後述する。

Ｓ１０１１では、仮想視点制御部３４は、Ｓ１００４にて導出した、またはＳ１０１０にて再導出した仮想視点の位置、方向、画角のパラメータを出力する。なお、仮想視点のパラメータは、画像処理部７および動画再生制御部３５に出力される。

以上の処理によって出力された仮想視点のパラメータに基づいて、画像処理装置９によって次の１フレームの仮想視点画像が生成される。

続いて、仮想視点の制限量の設定に関し、仮想視点のパラメータ変化速度およびパラメータ変化加速度それぞれについて、オンエア中の制限として閾値１を設定し、オンエア中以外の制限として閾値２を設定する場合について、図を用いて説明する。図１１は、仮想視点のパラメータの閾値テーブル例を示す図である。

仮想視点のパラメータ変化速度およびパラメータ変化加速度について、図１１に示すように、オンエア中の制限として閾値１をそれぞれ設定し、オンエア中以外の制限として閾値２をそれぞれ設定してもよい。ただし、閾値１は、閾値２より小さいとする。

オンエア中およびオンエア中以外のそれぞれに対して閾値１および閾値２を設定した場合の仮想視点制御部３４の制御について、図を用いて説明する。図１２は、仮想視点制御部３４が実行する処理の流れを示すフローチャートである。仮想視点の制限量（仮想視点の操作量の範囲）に関し、仮想視点のパラメータ変化速度およびパラメータ変化加速度についてそれぞれ、図１１に示す閾値１および閾値２が予め設定されているとする。図１０に示すフローチャートと異なる部分についてのみ説明する。

Ｓ１００５のタリー信号の受信処理に続くＳ１０２１では、仮想視点制御部３４は、Ｓ１００５にて受信したタリー信号を基に、オンエア中であるか否かを判定する。オンエア中であるとの判定結果を得た場合（Ｓ１０２１のＹＥＳ）、仮想視点制御部３４は、処理をＳ１０２２に移行する。オンエア中ではないとの判定結果を得た場合（Ｓ１０２１のＮＯ）、仮想視点制御部３４は、処理をＳ１０２３に移行する。

Ｓ１０２２では、仮想視点制御部３４は、閾値１に切り替える。すなわち、仮想視点制御部３４は、仮想視点の操作量の範囲として閾値１を設定するともいえる。これにより、Ｓ１０２２の処理の後に実行されるＳ１００８の判定処理においては、閾値１が用いられることになる。

Ｓ１０２３では、仮想視点制御部３４は、閾値２に切り替える。すなわち、仮想視点制御部３４は、仮想視点の操作量の範囲として閾値２を設定するともいえる。これにより、Ｓ１０２３の処理の後に実行されるＳ１００８の判定処理においては、閾値２が用いられることになる。

上述したように、Ｓ１００８においては、オンエア中であると判定基準が閾値１となり、オンエア中でないと判定基準が閾値１より小さい閾値２となることから、オンエア中の方が閾値を超えやすくなる。したがって、仮想視点のパラメータ変化速度とパラメータ変化加速度について、オンエア中の方が、オンエア中以外と比べてより強い制限がかかることとなる。

ただし、オンエア中以外のときは、今までと大きく異なる視点からの仮想視点画像を作る準備のために、仮想視点を大きく移動させたり、仮想視点を速く移動させたり、仮想視点を大きく、かつ速く移動させたりしたい場合もある。そこで、図１２に示すフローでは、Ｓ１００９の警告通知処理とＳ１０１０の仮想視点の再導出処理との間にて、仮想視点制御部３４は、Ｓ１０２４の判定処理を実行する。Ｓ１０２４では、仮想視点制御部３４は、オンエア中であるか否かを判定する。オンエア中であるとの判定結果を得た場合（Ｓ１０２４のＹＥＳ）、仮想視点制御部３４は、処理をＳ１０１０に移行する。オンエア中ではないとの判定結果を得た場合（Ｓ１０２４のＮＯ）、仮想視点制御部３４は、Ｓ１０１０をスキップし処理をＳ１０１１に移行する。このように、Ｓ１００９の警告通知処理に続きＳ１０２４の判定処理を実行し、オンエア中以外の場合（Ｓ１０２４のＮＯ）は、変化量が閾値を超えていても警告通知のみにとどめ、Ｓ１０１０をスキップし仮想視点の再計算は行わないようにする。

続いて、仮想視点の制限量の設定に関し、仮想視点のパラメータ変化速度とパラメータ変化加速度において、オンエア中の制限として閾値１と閾値２をそれぞれ設定する場合について、図を用いて説明する。図１３は、仮想視点のパラメータの閾値テーブル例を示す図である。

オンエア中の仮想視点のパラメータ変化速度とパラメータ変化加速度について、図１３に示すように、オンエア中の制限としてそれぞれ閾値１と閾値２とを設定してもよい。ただし、閾値１は、閾値２より小さいとする。

オンエア中に対して閾値１および閾値２を設定した場合の仮想視点制御部３４の制御について、図を用いて説明する。図１４は、仮想視点制御部３４が実行する処理の流れを示すフローチャートである。仮想視点の制限量（仮想視点の操作量の範囲）に関し、仮想視点のパラメータ変化速度およびパラメータ変化加速度についてそれぞれ、図１３に示す閾値１および閾値２が予め設定されているとする。図１０に示すフローチャートと異なる部分についてのみ説明する。

Ｓ１００７の変化量の導出処理に続くＳ１０３１では、仮想視点制御部３４は、Ｓ１００７にて導出した仮想視点計算値の１フレームあたりの変化量が閾値１より大きいという関係を充足するか否かを判定する。具体的には、仮想視点制御部３４は、仮想視点計算値の１フレームあたりの変化量が図１３のテーブルの閾値１を超えたかどうかを項目ごとにそれぞれ判定する。いずれの項目も閾値１を超えており、仮想視点計算値の１フレームあたりの変化量が閾値１より大きいという関係を充足するとの判定結果を得た場合（Ｓ１０３１のＹＥＳ）、仮想視点制御部３４は、処理をＳ１００９へ移行する。いずれか１つ以上の項目が閾値１を超えず、仮想視点計算値の１フレームあたりの変化量が閾値１より大きいという関係を充足しないとの判定結果を得た場合（Ｓ１０３１のＮＯ）、仮想視点制御部３４は、次のように処理を移行する。すなわち、仮想視点制御部３４は、Ｓ１００９、Ｓ１０３２、Ｓ１０１０をスキップし、処理をＳ１０１１へ移行する。

Ｓ１００９の警告の通知処理に続くＳ１０３２では、仮想視点制御部３４は、Ｓ１００７にて導出した仮想視点計算値の１フレームあたりの変化量が閾値２より大きいという関係を充足するか否かを判定する。具体的には、仮想視点制御部３４は、仮想視点計算値の１フレームあたりの変化量が図１３のテーブルの閾値２を超えたかどうかを項目ごとにそれぞれ判定する。いずれの項目も閾値２を超えており、仮想視点計算値の１フレームあたりの変化量が閾値２より大きいという関係を充足するとの判定結果を得た場合（Ｓ１０３２のＹＥＳ）、仮想視点制御部３４は、処理をＳ１０１０に移行する。いずれか１つ以上の項目が閾値２を超えず、仮想視点計算値の１フレームあたりの変化量が閾値２より大きいという関係を充足していないとの判定結果を得た場合（Ｓ１０３２のＮＯ）、仮想視点制御部３４は、次のように処理を実行する。すなわち、仮想視点制御部３４は、Ｓ１０１０をスキップし、処理をＳ１０１１に移行する。

上述したように、Ｓ１０３１およびＳ１０３２の処理を含むフローとしたことで、変化量が閾値１と閾値２の間のときは、警告通知のみにとどめ、仮想視点の再計算（再導出）は行わないこととなる。この警告通知によって、仮想視点の変化が制限に近づいたことを知らしめることができるので、操作者は制限を超えないように注意して仮想視点操作部１を操作することができる。

なお、上記では、図１１及び図１３を用いて２つの閾値を設けた例について説明したが、さらに多くの閾値を設けても構わない。また、変化量がどの閾値を超えたかに応じて、警告の種類（画面、ランプの表示内容、音声の内容など）を変えるようにしてもよい。

仮想視点の移動速度の制限方法について、図を用いて説明する。図１５は、ＸＹＺの三次元空間における仮想視点の移動速度の制限方法を説明するための図である。図１５では、三次元位置１０１は現フレームの仮想視点位置、三次元位置１０３は図１０のＳ１００４で導出した次フレームの仮想視点位置（制限なし）、三次元位置１０４は図１０のＳ１０１０で再導出した次フレームの仮想視点位置（制限あり）を表している。現フレームは現在のフレームを表し、次フレームは現フレームの次のフレームを表している。

オンエア中ではなく、Ｓ１０１０の仮想視点の再導出処理を実行しない場合について説明する。移動速度が制限されないことから、仮想視点制御部３４は、Ｓ１００３で取得した仮想視点操作部１の操作量に基づいた三次元位置１０３を次フレームの仮想視点位置（制限なし）として導出する。

他方、オンエア中であって、移動速度の変化量が閾値を超えており、Ｓ１０１０の仮想視点の再導出処理を実行する場合について説明する。球面１１１は、三次元位置１０１を中心とし、図９に示した仮想視点の移動速度の閾値を半径とする球面を表している。三次元位置１０３は球面１１１の外側にあるので、このまま次のフレームの仮想視点位置を三次元位置１０３とした場合、仮想視点の移動速度（１フレームの仮想視点の移動距離）は閾値を超える。そこで、Ｓ１０１０の仮想視点の再導出処理において、仮想視点制御部３４は、球面１１１上で三次元位置（仮想視点位置（制限なし））１０３に最も近い三次元位置１０４を次フレームの仮想視点位置（制限あり）として再導出する。具体的には、仮想視点制御部３４は、現フレームの三次元位置１０１と次フレームの三次元位置１０３との線分と、球面１１１とが交差する位置である三次元位置１０４を次フレームの仮想視点位置（制限あり）として再導出する。

続いて、仮想視点の移動加速度の制限方法について、図を用いて説明する。図１６は、ＸＹＺの三次元空間における仮想視点の移動加速度の制限方法を説明するための図である。図１６では、三次元位置１００は前フレームの仮想視点位置、三次元位置１０１は現フレームの仮想視点位置、三次元位置１０３は図１０のＳ１００４で導出した次フレームの仮想視点位置（制限なし）を表している。三次元位置１０２は、前フレームから現フレームへの仮想視点の移動と同じ方向かつ同じ速度（すなわち移動加速度＝０）で、現フレームから次フレームへ仮想視点が移動すると仮定した場合の次フレームの仮想視点位置を表している。三次元位置１０４は図１０のＳ１０１０で再導出した次フレームの仮想視点位置（制限あり）を表している。前フレームは現フレームの前のフレームを表している。

オンエア中ではなく、Ｓ１０１０の仮想視点の再導出処理を実行しない場合について説明する。移動加速度が制限されないことから、仮想視点制御部３４は、Ｓ１００３で取得した仮想視点操作部１の操作量に基づいた三次元位置１０３を次フレームの仮想視点位置（制限なし）として導出する。

他方、オンエア中であって、移動加速度が閾値を超えており、Ｓ１０１０の仮想視点の再導出処理を実行する場合について説明する。球面１１２は、三次元位置１０２を中心とし、図９に示した仮想視点の移動加速度の閾値を半径とする球面を表している。三次元位置１０３は球面１１２の外側にあるので、このまま次のフレームの仮想視点位置を三次元位置１０３とした場合、仮想視点の移動加速度（１フレームの移動速度の変化量）は閾値を超える。そこで、Ｓ１０１０の仮想視点の再導出処理において、仮想視点制御部３４は、球面１１２上で三次元位置（仮想視点位置（制限なし））１０３に最も近い三次元位置１０４を次フレームの仮想視点位置（制限あり）として再導出する。具体的には、仮想視点制御部３４は、移動加速度を０としたときの次フレームの仮想視点位置１０２と次フレームの仮想視点位置（制限なし）１０３の線分と、球面１１２とが交差する三次元位置１０４を次フレームの仮想視点位置（制限あり）として再導出する。

続いて、仮想視点の移動速度と移動加速度を共に制限する方法について、図を用いて説明する。図１７は、ＸＹＺの三次元空間における仮想視点の移動速度と移動加速度を共に制限する方法を説明するための図である。図１７では、三次元位置１００は前フレームの仮想視点位置、三次元位置１０１は現フレームの仮想視点位置、三次元位置１０３は図１０のＳ１００４で導出された次フレームの仮想視点位置（制限なし）を表している。三次元位置１０２は、前フレームから現フレームへの仮想視点の移動と同じ方向かつ同じ速度（すなわち移動加速度＝０）で、現フレームから次フレームへ仮想視点が移動すると仮定した場合の次フレームの仮想視点位置を表している。三次元位置１０４は図１０のＳ１０１０で再導出した次フレームの仮想視点位置（制限あり）を表している。

オンエア中ではなく、Ｓ１０１０の仮想視点の再導出処理を実行しない場合について説明する。移動速度及び移動加速度が制限されないことから、仮想視点制御部３４は、Ｓ１００３で取得した仮想視点操作部１の操作量に基づいた三次元位置１０３を次フレームの仮想視点位置（制限なし）として導出する。

他方、オンエア中であって、移動速度及び移動加速度が共に閾値を超えており、Ｓ１０１０の仮想視点の再導出処理を実行する場合について説明する。球面１１１は、三次元位置１０１を中心とし、図９に示した仮想視点の移動速度の閾値を半径とする球面を表している。球面１１２は、三次元位置１０２を中心とし、図９に示した仮想視点の移動加速度の閾値を半径とする球面を表している。三次元位置１０３は球面１１１の外側にあるので、このまま次のフレームの仮想視点位置を三次元位置１０３とした場合、仮想視点の移動速度（１フレームの仮想視点の移動距離）は閾値を超える。また、三次元位置１０３は球面１１２の外側にあるので、仮想視点の移動加速度（１フレームの移動速度の変化量）も閾値を超える。このように、仮想視点の移動速度と仮想視点の移動加速度の少なくとも一方が閾値を超えた場合は、仮想視点の移動速度と仮想視点の移動加速度の両方がそれぞれの閾値を超えないようにする。そこで、Ｓ１０１０の仮想視点の再導出処理にて、仮想視点制御部３４は、球面１１１の球体と球面１１２の球体が重なってできる立体の表面で三次元位置１０３に最も近い位置である三次元位置１０４を次フレームの仮想視点位置（制限あり）として再導出する。

続いて、仮想視点のパン、チルト、ロール、ズームのそれぞれの変化速度の制限方法について、図を用いて説明する。図１８は、仮想視点のパン、チルト、ロール、ズームのそれぞれの変化速度の制限方法を説明するための図である。パン、チルト、ロールはそれぞれ回転軸に対する回転角度、画角はズームレンズの焦点距離で表すことができるので、いずれも独立した一次元数値である。以下、パンを例にして説明するが、チルト、ロール、ズームの場合も、パンの場合と同様である。ただし、ズームの場合は角度を焦点距離に置き換える。図１８では、一次元座標にて、数値１３１は現フレームのパン角度、数値１３３は図１０のＳ１００４で導出した次のフレームのパン角度（制限なし）、数値１３４は図１０のＳ１０１０で再導出した次フレームのパン角度（制限あり）を表している。

オンエア中ではなく、Ｓ１０１０の仮想視点の再導出処理を実行しない場合について説明する。パン速度が制限されないことから、仮想視点制御部３４は、Ｓ１００３で取得した仮想視点操作部１の操作量に基づいた数値１３３を次フレームのパン角度（制限なし）として導出する。

他方、オンエア中であって、パン速度の変化量が閾値を超えており、Ｓ１０１０の仮想視点の再導出処理を実行する場合について説明する。範囲１４１は、数値１３１を中心とし、図９に示したパン速度の閾値の範囲を表している。数値１３３は範囲１４１の外側にあるので、このまま次のフレームのパン角度を数値１３３とした場合、仮想視点のパン速度（１フレームのパン角度の変化量）は閾値を超える。そこで、Ｓ１０１０の仮想視点の再導出処理において、仮想視点制御部３４は、範囲１４１の境界上で数値（制限なし）１３３に最も近い数値１３４を次フレームのパン角度（制限あり）として再導出する。

続いて、仮想視点のパン、チルト、ロール、ズームのそれぞれの変化加速度の制限方法について、図を用いて説明する。図１９は、仮想視点のパン、チルト、ロール、ズームのそれぞれの変化加速度の制限方法を説明するための図である。以下、パンを例にして説明するが、チルト、ロール、ズームの場合も同様である。ただし、ズームの場合は角度を焦点距離に置き換える。図１９では、一次元座標にて、数値１３０は前フレームのパン角度、数値１３１は現フレームのパン角度を表している。数値１３２は、前フレームから現フレームへのパン角度変化速度と同じ速度（すなわち移動加速度＝０）で、現フレームから次フレームへパン角度が変化すると仮定した場合の次フレームのパン角度を表している。数値１３３は図１０のＳ１００４で導出した次フレームのパン角度（制限なし）、数値１３４は図１０のＳ１０１０で再導出した次フレームのパン角度（制限あり）を表している。

オンエア中ではなく、Ｓ１０１０の仮想視点の再導出を実行しない場合について説明する。パン加速度が制限されないことから、仮想視点制御部３４は、Ｓ１００３で取得した仮想視点操作部１の操作量に基づいた数値１３３を次フレームのパン角度（制限なし）として導出する。

他方、オンエア中であって、パン加速度の変化量が閾値を超えており、Ｓ１０１０の仮想視点の再導出処理を実行する場合について説明する。範囲１４２は、数値１３２を中心とし、図９に示したパン加速度の閾値の範囲を表している。数値１３３は範囲１４２の外側にあるので、このまま次のフレームのパン角度を数値１３３とした場合、パン加速度（１フレームのパン速度の変化量）は閾値を超える。そこで、Ｓ１０１０の仮想視点の再導出処理において、仮想視点制御部３４は、範囲１４２の境界上で数値１３３に最も近い数値１３４を次フレームのパン角度（制限あり）として再導出する。

パン速度とパン加速度を共に制限する場合、仮想視点制御部３４は、図１８の範囲１４１と図１９の範囲１４２の両方の範囲内（範囲の境界上を含む）で、かつ、数値１３３に最も近い数値１３４を次フレームのパン角度（制限あり）として導出する。

以上述べたように、本実施形態によれば、オンエア中のときは仮想視点パラメータの変化速度及び変化加速度を制限する。すなわち、視聴者にとって視聴可能な状態の状況であるとき、仮想視点の位置、方向、画角を変化させる大きさや速さの制限を強めるように、仮想視点の操作量の範囲が相対的に狭い閾値を設定することで、次の効果を得ることができる。意図しないカメラワークによる画像や画質が悪化した画像がそのままオンエアされてしまうリスクを低減することができる。一方、オンエア中でないときは仮想視点パラメータの変化速度及び変化加速度の制限をなくす、あるいは制限を弱くする。すなわち、視聴者にとって視聴不可能な状態の状況であるとき、仮想視点の位置、方向、画角を変化させる大きさや速さの制限を弱めるように、仮想視点の操作量の範囲が相対的に広い閾値を設定することで、次の効果を得ることができる。より演出効果が高い映像制作に挑戦でき、画質に問題がなければ記憶した映像をリプレーなどで使用することができる。よって、仮想視点画像が視聴者にとって視聴可能な状態か否かの状況に応じた適切な仮想視点の制御を容易にすることができる。

＜実施形態２＞
本開示の画像処理システムは、撮像しながらほぼリアルタイムでオンエアを行うライブの動画出力と記憶されたシーンを番組中に再度オンエアを行うリプレーの動画出力が可能である。

スポーツの生中継においては、視聴者は結果を知らずに視聴することでスリルなどを楽しんでいる。ライブのオンエア中に操作ミスや画質の悪化が起きて重要なシーンを正常に視聴することができなかった場合、後でそのシーンを正常にリプレーしたとしても視聴者が結果を知ってしまってからではスリルなどが失われた状態である。

一方、リプレーでオンエアしている場合、操作ミスや画質の悪化が起きて重要なシーンを正常に視聴することができなくても、直前にライブで視聴して結果を知っているので、ライブのときのようにスリルなどが失われることはない。そのためリプレーの場合、操作ミスや画質の悪化が起きるリスクを負っても、その場にいるかのような臨場感や没入感などを高める演出として、実際には存在しない位置からのカメラアングルの映像（画像）が望まれる場合もある。

また、ライブの場合は仮想視点を操作する際に選手やボールが予想外の方向へ動くおそれがある。そのため、操作者が仮想カメラ（仮想視点の位置）を大きくあるいは速く動かすと、例えば、対象となる選手やボールが画角から外れてしまうなどの想定外のカメラアングルの映像になりやすく、操作ミスや画質の悪化が起きる可能性が高くなる。

一方、リプレーの場合は選手やボールの動きが既知であり、仮想視点を操作する際に選手やボールが予想外の方向へ動くおそれがない。そのため、操作者が仮想カメラ（仮想視点の位置）を大きくあるいは速く動かしても、例えば、対象となる選手やボールが画角内に収まるなどの想定通りのカメラアングルの映像にするのが容易である。

本実施形態では、出力動画がライブ出力中であるときにこの状況に応じた仮想視点の操作量の範囲に切り替え、出力動画がリプレー出力中であるときにこの状況に応じた仮想視点の操作量の範囲を切り替える制御を行う場合について、説明する。

本実施形態の仮想視点制御部３４は、現在出力中の動画がライブ、リプレーのいずれであるかを示す情報（再生制御信号）を動画再生制御部３５から取得する（受信する）。仮想視点制御部３４は、取得した再生制御信号を基に、現在出力中の動画がライブ、リプレーのいずれであるかを判定し、判定結果に応じて仮想視点の操作量の範囲を設定する閾値を切り替える制御を行う。仮想視点制御部３４は、現在の出力動画フレームが撮像直後の最新の撮像画像フレームである場合はライブ出力中であると判定し、それ以外はリプレー出力中であると判定する。

仮想視点の操作量の範囲（仮想視点の制限量）として、ライブ出力中とリプレー出力中とのそれぞれにおいて、仮想視点のパラメータ変化速度及びパラメータ変化加速度それぞれについて閾値を設定する場合について、図を用いて説明する。図２０は、ライブ出力中とリプレー出力中とのそれぞれにおける仮想視点のパラメータの閾値テーブル例を示す図である。

ライブ出力中における仮想視点のパラメータ変化速度及びパラメータ変化加速度それぞれについて、図２０に示すように、オンエア中の制限量として閾値１を設定し、オンエア中以外の制限量として閾値２を設定してもよい。また、リプレー出力中における仮想視点のパラメータ変化速度及びパラメータ変化加速度それぞれについて、オンエア中の制限量として閾値３を設定し、オンエア中以外の制限量として閾値４を設定してもよい。ただし、閾値１は閾値２より小さく、閾値３は閾値４より小さいとする。また、閾値１は閾値３より小さく、閾値２は閾値４より小さいとする。

本実施形態の仮想視点制御部３４の制御について、図を用いて説明する。図２１は、仮想視点制御部３４が実行する処理の流れを示すフローチャートである。仮想視点の制限量として、仮想視点のパラメータ変化速度及びパラメータ変化加速度それぞれについて、図２０に示す、閾値１、閾値２、閾値３および閾値４が予め設定されているとする。図１２のフローチャートと異なる部分のみ説明する。

Ｓ１００５では、仮想視点制御部３４は、タリー信号入力部３６から入力されたタリー信号と、動画再生制御部３５から入力された再生制御信号とを受信する。

Ｓ１００５のタリー信号の受信処理に続くＳ２００１では、仮想視点制御部３４は、Ｓ１００５にて受信した再生制御信号を基に、画像処理システムによる現在出力中の動画がライブ出力中であるか否かを判定する。現在出力中の動画がライブ出力中であるとの判定結果を得た場合（Ｓ２００１のＹＥＳ）、仮想視点制御部３４は、処理をＳ１０２１へ移行する。現在出力中の動画がリプレー出力中であり、ライブ出力中の動画ではないとの判定結果を得た場合（Ｓ２００１のＹＥＳ）、仮想視点制御部３４は、処理をＳ２００２へ移行する。

Ｓ１０２１では、仮想視点制御部３４は、画像処理システムによる現在出力中の動画がオンエア中であるか否かを判定する。オンエア中であるとの判定結果を得ると（Ｓ１０２１のＹＥＳ）、仮想視点制御部３４は、仮想視点のパラメータ変化速度及びパラメータ変化加速度それぞれを閾値１に切り替える（設定する）Ｓ１０２２に処理を移行する。オンエア中ではないと判定結果を得ると（Ｓ１０２１のＮＯ）、仮想視点制御部３４は、仮想視点のパラメータ変化速度及びパラメータ変化加速度それぞれを閾値２に切り替える（設定する）Ｓ１０２３に処理を移行する。

また、Ｓ２００２でも、仮想視点制御部３４は、画像処理システムによる現在出力中の動画がオンエア中であるか否かを判定する。オンエア中であるとの判定結果を得ると（Ｓ２００２のＹＥＳ）、仮想視点制御部３４は、仮想視点のパラメータ変化速度及びパラメータ変化加速度それぞれを閾値３に切り替える（設定する）Ｓ２００３に処理を移行する。オンエア中ではないと判定結果を得ると（Ｓ２００２のＮＯ）、仮想視点制御部３４は、仮想視点のパラメータ変化速度及びパラメータ変化加速度それぞれを閾値４に切り替える（設定する）Ｓ２００４に処理を移行する。

上述のＳ１０２２，Ｓ１０２３、Ｓ２００３、Ｓ２００４で切り替えられた閾値は、Ｓ１００８の判定処理で用いられる。閾値１は閾値３より小さく、閾値２は閾値４より小さいので、ライブ出力中の方がリプレー出力中よりも閾値を超えやすくなる。したがって、ライブ出力中の方が仮想視点のパラメータ変化速度及びパラメータ変化加速度について、より強い制限がかかる。

なお、図２０を用いて４つの閾値を設けた例について説明したが、さらに多くの閾値を設けても構わない。また、変化量がどの閾値を超えたかに応じて、警告の種類（画面、ランプの表示内容、音声の内容など）を変えるようにしてもよい。あるいは、警告の有無にかかわらず、現在の状態がライブ出力中であるか否かを通知してもよい。

さらに、図１４のフローと同様に、変化量がある範囲のときは、警告通知のみにとどめ、仮想視点の再計算（再導出）は行わないようにしてもよい。

なお、本実施形態では、画像処理システムによる現在出力中の動画がオンエア中か否かという条件と、ライブ出力中か否かという条件の組み合わせで仮想視点の操作量の範囲を切り替える制御を行う場合について説明した。画像処理システムによる現在出力中の動画がライブ出力中か否かという条件だけで仮想視点の操作量の範囲を切り替える制御を行ってもよい。例えば１つの画像処理システム１０のみで生中継を行う場合、ライブ出力とリプレー出力を切り替えながらオンエアしており、常にオンエア状態である。そのため、画像処理システムによる現在出力中の動画がオンエア中か否かではなく、ライブ出力中か否かによって仮想視点の操作量の範囲を切り替える制御を行ってもよい。

以上述べたように、本実施形態によれば、ライブ出力中は仮想視点パラメータの変化速度及び変化加速度をリプレー出力中よりも強く制限することで、次の効果を奏する。すなわち、意図しないカメラワークの映像（画像）や画質の悪化が起きた映像（画像）がそのままオンエアされてしまうリスクをより低減することができる。一方、リプレー出力中は、ライブ出力中と比べて、仮想視点パラメータの変化速度及び変化加速度の制限を弱くすることで、許容される、仮想視点操作部１の操作量の範囲が広くなり、より演出効果が高い映像制作に挑戦できる。

＜実施形態３＞
オンエア中以外のとき、次のリプレーのオンエアの準備のために、動画（映像）の逆再生を高速で行ってシーンの頭出しを行う場合もある。この高速の逆再生中の動画は原則としてオンエアされることはないので、動画の逆再生を高速で行っても問題ない。

一方で、オンエア中の演出効果として、動画の逆再生を行うケースがある。その場合、通常の再生速度よりもやや高速で動画の逆再生を行うケースもある。しかしオンエア中に動画の逆再生を高速で行っているときは、仮想視点の操作が難しく、意図しないカメラワークや画質が悪化した仮想視点画像を生成し視聴者にとって視聴可能な状態になってしまう可能性がある。

そこで本実施形態では、画像処理システムによる現在出力中の動画がオンエア中か否かによって動画の再生速度の操作量の範囲（再生速度の制限量）を切り替える制御を行う場合について、図を用いて説明する。図２２は、オンエア中の動画の再生速度の閾値テーブル例を示す図である。

オンエア中の動画の再生速度について、図２２に示すように、制限量として閾値を設定してもよい。動画再生制御部３５は、例えば操作卓上のスイッチ類の操作などに基づいて、上記閾値を随時設定する。

本実施形態の動画再生制御部３５の制御について、図を用いて説明する。図２３は、動画再生制御部３５が実行する処理の流れを示すフローチャートである。図２３のフローでは、動画再生制御部３５が動画出力フレームに対する処理を１フレームごとに実行する。オンエア中の動画の再生速度の制限量として、図２２に示す閾値が予め設定されているとする。

Ｓ３００１では、動画再生制御部３５は、当フレームにおいて、上述した閾値の変更操作を受け付けたか否かを判定する。閾値を変更する操作が行われており変更操作を受け付けたとの判定結果を得た場合（Ｓ３００１のＹＥＳ）、動画再生制御部３５は、処理をＳ３００２に移行する。閾値を変更する操作が行われておらず変更操作を受け付けていないとの判定結果を得た場合（Ｓ３００１のＮＯ）、動画再生制御部３５は、Ｓ３００２をスキップし処理をＳ３００３へ移行する。

Ｓ３００２では、動画再生制御部３５は、受け付けた変更操作に応じて、予め設定された、図２２に示すテーブルの閾値を変更する。

Ｓ３００３では、動画再生制御部３５は、操作入力部３２から入力された、当フレームにおける動画再生操作部２の操作量を取得する。すなわち、動画再生制御部３５は、動画再生操作部２の各操作部の傾き角度や回転角度などに基づく値を取得する。

Ｓ３００４では、動画再生制御部３５は、Ｓ３００３で取得した操作量に基づいて、出力動画フレームに対する撮像時刻、すなわち、当フレームに対応する撮像時刻を計算（導出）する。

Ｓ３００５では、動画再生制御部３５は、タリー信号入力部３６から入力されたタリー信号を受信する。

Ｓ３００６では、動画再生制御部３５は、Ｓ３００５にて受信したタリー信号に基づいてオンエア中であるか否かを判定する。オンエア中であるとの判定結果を得た場合（Ｓ３００６のＹＥＳ）、動画再生制御部３５は、処理をＳ３００７へ移行する。オンエア中ではないとの判定結果を得た場合（Ｓ３００６のＮＯ）、動画再生制御部３５は、Ｓ３００７からＳ３０１０をスキップし処理をＳ３０１１へ移行する。

Ｓ３００７では、動画再生制御部３５は、Ｓ３００４で導出した撮像時刻の計算値（導出値）の、１フレームあたりの変化量を計算（導出）する。具体的には、動画再生制御部３５は、基準となる通常の再生速度に対する、操作者が想定する動画の再生速度の倍率の絶対値を計算（導出）する。

Ｓ３００８では、動画再生制御部３５は、Ｓ３００７にて導出した撮像時刻計算値の１フレームあたりの変化量が閾値より大きいという関係を充足するか否かを判定する。具体的には、動画再生制御部３５は、撮像時刻計算値の１フレームあたりの変化量、すなわち、通常再生速度に対する倍率の絶対値が図２２のテーブルの閾値を超えたかどうかを判定する。撮像時刻計算値の１フレームあたりの変化量が閾値を超えており閾値より大きいという関係を充足するとの判定結果を得た場合（Ｓ３００８のＹＥＳ）、動画再生制御部３５は、処理をＳ３００９に移行する。撮像時刻計算値の１フレームあたりの変化量が閾値を超えず閾値より大きいという関係を充足しないとの判定結果を得た場合（Ｓ３００８のＮＯ）、動画再生制御部３５は、Ｓ３００９、Ｓ３０１０をスキップし処理をＳ３０１１に移行する。

Ｓ３００９では、動画再生制御部３５は、操作者に対して警告を通知する。通知方法は、画像など何らかの表示部４の画面への表示でも、あるいは、不図示のランプを点灯でも、音声などの吹鳴でもよい。

Ｓ３０１０では、動画再生制御部３５は、上述した撮像時刻計算値の１フレームあたりの変化量が図２２のテーブルの閾値を超えないように、出力動画フレームに対する撮像時刻を再計算（再導出）する。例えば、動画再生制御部３５は、上述した撮像時刻計算値の１フレームあたりの変化量が図２２のテーブルの閾値となるように、出力動画フレームに対する撮像時刻を再計算（再導出）する。

Ｓ３０１１では、動画再生制御部３５は、Ｓ３００４にて導出した、またはＳ３０１０で再導出した撮像時刻のパラメータを出力する。

以上の処理によって出力された撮像時刻のパラメータに基づいて、画像処理装置９によって、該撮像時刻の素材データが読み出されて、次の１フレームの仮想視点画像が生成される。

以上述べたように、本実施形態によれば、オンエア中であるときには、動画再生速度を制限することで、意図しないカメラワークや画質が悪化した仮想視点画像がそのままオンエアされてしまうリスクをより低減することができる。オンエア中ではないときには、動画再生速度の制限をなくすことで次のオンエアのための準備を高速に行うことが可能になる。

［その他の実施形態］
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１仮想視点操作部
７画像処理部
３４仮想視点制御部

Claims

複数の撮像手段の撮像で得られた撮像画像に基づき生成される仮想視点画像に対応する仮想視点を操作する第一の操作手段と、
前記仮想視点画像が視聴者にとって視聴可能な状態であるか否かを示す第一の信号に基づいて、前記第一の操作手段で操作される仮想視点の操作量の範囲を制御する第一の制御手段と、
前記撮像画像および前記仮想視点の操作量の範囲に応じた操作に基づき、前記仮想視点に応じた前記仮想視点画像を生成する画像処理手段と
を有する、ことを特徴とする画像処理システム。
前記第一の制御手段は、前記第一の信号が、前記仮想視点画像を視聴者にとって視聴可能な状態であることを示す信号であるとき、第１の閾値を超えないように前記仮想視点の操作量の範囲を制御することを特徴とする請求項１に記載の画像処理システム。
前記第一の制御手段は、
前記第一の信号が、前記仮想視点画像を視聴者にとって視聴可能な状態であることを示す信号であるとき、第１の閾値を超えないように前記仮想視点の操作量の範囲を制御し、
前記第一の信号が、前記仮想視点画像を視聴者にとって視聴不可能な状態であることを示す信号であるとき、前記第１の閾値より大きい第２の閾値を超えないように前記仮想視点の操作量の範囲を制御する
ことを特徴とする請求項１に記載の画像処理システム。
前記仮想視点の操作量が前記範囲の境界に達したとき、警告を通知する通知手段をさらに有することを特徴とする請求項２または３に記載の画像処理システム。
前記通知手段は、前記仮想視点の操作量が前記範囲を超えていることをユーザに報知する内容を含む前記警告を通知する、ことを特徴とする請求項４に記載の画像処理システム。
動画再生を操作する第二の操作手段と、
前記第一の信号に基づき、前記第二の操作手段で操作される前記動画再生の操作量の範囲を制御する第二の制御手段と、
を有し、
前記画像処理手段は、前記撮像画像、前記仮想視点、前記仮想視点の操作量の範囲、および前記動画再生の操作量の範囲に基づき、前記仮想視点に応じた前記仮想視点画像からなる動画を生成する、ことを特徴とする請求項１に記載の画像処理システム。
前記第一の制御手段は、前記第一の信号と、前記視聴可能な状態の画像がライブ出力であるかリプレー出力であるかを示す第二の信号とに基づき前記仮想視点の操作量の範囲を制御することを特徴とする請求項６に記載の画像処理システム。
前記第一の制御手段は、
前記第二の信号が前記視聴可能な状態の画像がライブ出力であることを示す信号である場合、
前記第一の信号が、前記仮想視点画像を視聴者にとって視聴可能な状態であることを示す信号であるとき、第１の閾値を超えないように前記仮想視点の操作量の範囲を制御し、
前記第一の信号が、前記仮想視点画像を視聴者にとって視聴不可能な状態であることを示す信号であるとき、前記第１の閾値より大きい第２の閾値を超えないように前記仮想視点の操作量の範囲を制御し、
前記第二の信号が前記視聴可能な状態の画像がリプレー出力であることを示す信号である場合、
前記第一の信号が、前記仮想視点画像を視聴者にとって視聴可能な状態であることを示す信号であるとき、第３の閾値を超えないように前記仮想視点の操作量の範囲を制御し、
前記第一の信号が、前記仮想視点画像を視聴者にとって視聴不可能な状態であることを示す信号であるとき、前記第３の閾値より大きい第４の閾値を超えないように前記仮想視点の操作量の範囲を制御する
ことを特徴とする請求項７に記載の画像処理システム。
前記第二の制御手段は、前記第二の操作手段による前記動画再生の操作に基づいて動画の各フレームに対応する前記撮像画像の時刻情報を出力することによって前記動画再生の操作量の範囲を制御することを特徴とする請求項６から８の何れか一項に記載の画像処理システム。
前記画像処理手段は、撮像時刻が付加されて記憶された前記撮像画像のうち、第二の制御手段で前記出力された前記撮像時刻が付加された前記撮像画像を読み出して、前記仮想視点画像を生成することを特徴とする請求項９に記載の画像処理システム。
前記第一の信号は、前記仮想視点画像をオンエアで使用しているか否かを示すタリー信号である、ことを特徴とする請求項１から１０のいずれか一項に記載の画像処理システム。
複数の撮像手段の撮像で得られた撮像画像に基づき生成される仮想視点画像に対応する仮想視点を操作する第一の操作手段と、
前記仮想視点画像の出力がライブ出力であるか否かを示す信号に基づいて、前記第一の操作手段で操作される仮想視点の操作量の範囲を制御する第一の制御手段と、
動画再生を操作する第二の操作手段と、
前記信号に基づき、前記第二の操作手段で操作される前記動画再生の操作量の範囲を制御する第二の制御手段と、
前記撮像画像、前記仮想視点の操作量の範囲、および前記動画再生の操作量の範囲に応じた操作に基づき、前記仮想視点および前記動画再生の操作に応じた前記仮想視点画像からなる動画を生成する画像処理手段と、
を有する、ことを特徴とする画像処理システム。
前記第一の制御手段は、前記仮想視点画像の出力がライブ出力であるとき、第１の閾値を超えないように前記仮想視点の操作量の範囲を制御する
ことを特徴とする請求項１２に記載の画像処理システム。
前記第一の制御手段は、
前記仮想視点画像の出力がライブ出力であるとき、第１の閾値を超えないように前記仮想視点の操作量の範囲を制御し、
前記仮想視点画像の出力がライブ出力でないとき、前記第１の閾値より大きい第２の閾値を超えないように前記仮想視点の操作量の範囲を制御する
ことを特徴とする請求項１２に記載の画像処理システム。
前記仮想視点の操作量が前記範囲の境界に達したとき、警告を通知する通知手段をさらに有することを特徴とする請求項１３または１４に記載の画像処理システム。
前記第二の制御手段は、前記第二の操作手段による前記動画再生の操作に基づいて動画の各フレームに対応する前記撮像画像の時刻情報を出力することによって前記動画再生の操作量の範囲を制御することを特徴とする請求項１２から１５の何れか一項に記載の画像処理システム。
前記画像処理手段は、撮像時刻が付加されて記憶された前記撮像画像のうち、第二の制御手段で前記出力された前記撮像時刻が付加された前記撮像画像を読み出して、前記仮想視点画像を生成することを特徴とする請求項１６に記載の画像処理システム。
複数の撮像手段の撮像で得られた撮像画像に基づき生成される仮想視点画像に対応する仮想視点を操作する第一の操作ステップと、
前記仮想視点画像が視聴者にとって視聴可能な状態であるか否かを示す第一の信号に基づいて、前記第一の操作ステップにおいて操作される仮想視点の操作量の範囲を制御する第一の制御ステップと、
前記撮像画像および前記仮想視点の操作量の範囲に応じた操作に基づき、前記仮想視点に応じた前記仮想視点画像を生成する画像処理ステップと
を含む、ことを特徴とする画像処理システムの制御方法。
複数の撮像手段の撮像で得られた撮像画像に基づき生成される仮想視点画像に対応する仮想視点を操作する第一の操作ステップと、
前記仮想視点画像の出力がライブ出力であるか否かを示す信号に基づいて、前記第一の操作ステップにおいて操作される仮想視点の操作量の範囲を制御する第一の制御ステップと、
動画再生を操作する第二の操作ステップと、
前記信号に基づき、前記第二の操作ステップにおいて操作される前記動画再生の操作量の範囲を制御する第二の制御ステップと、
前記撮像画像、前記仮想視点の操作量の範囲、および前記動画再生の操作量の範囲に応じた操作に基づき、前記仮想視点および前記動画再生の操作に応じた前記仮想視点画像からなる動画を生成する画像処理ステップと、
を含む、ことを特徴とする画像処理システムの制御方法。
コンピュータを、請求項１から１７の何れか一項に記載の画像処理システムの各手段として機能させるためのプログラム。