JP2022060815A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】キーフレーム法によって仮想視点情報を作成する際のオペレータの手間を軽減し、容易に所望の仮想視点情報を作成できる情報処理装置、情報処理方法及びプログラムを提供する。【解決手段】情報処理装置である画像処理装置における主制御部３０４は、複数の撮像装置が行う撮像により得られる複数の撮像画像に基づいて生成される仮想視点映像に係る仮想視点を指定するためのユーザ操作に基づいて決定される仮想視点の位置及び仮想視点からの視線方向を表すパラメータと、複数の撮像装置により撮像が行われる期間における時刻とが対応付けられたキーフレームを生成するキーフレーム設定部４０１と、生成される複数のキーフレームが所定の条件を満たす場合、新たなキーフレームを生成し、複数のキーフレームに基づいて、仮想視点の変遷を表す仮想視点情報を生成するカメラパス作成部４０３とを有する。【選択図】図４

Description

本発明は、仮想視点映像やＣＧアニメーションに係る仮想視点情報を作成・編集する技術に関する。

昨今、複数の撮像装置を異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて仮想視点画像を生成する技術が注目されている。複数視点画像から仮想視点画像を生成する技術によれば、通常の画像と比較してユーザに高臨場感を与えることが出来る。例えば、ラグビーの試合であれば、ゴールに向かって選手達がボールを運ぶ場面を俯瞰視点で捉えたカットと、トライの場面を特定選手の主観視点（例えばフルバック目線で相手選手の脇を抜ける）で捉えたカットとを繋げた映像を得ることもできる。

仮想視点映像を生成する際には、３次元空間内に仮想的に配置した実在しないカメラの視点（仮想視点）の移動経路を表した仮想視点情報の設定が必要となる。そして、上記のようなカットの切り替えを含む仮想視点映像を得る場合の仮想視点情報の作成方法にキーフレーム法がある。キーフレーム法は、任意の仮想視点を対応付けた基準となるフレーム（「キーフレーム」と呼ばれる）を複数設定し、設定した複数のキーフレーム間を補間することによって仮想視点情報を得る手法である。その際の補間方法にはスプライン補間やベジェ補間などがあるところ、時には予想とは違う補間曲線になることがある。この点、特許文献１には、予想とは違うスプライン曲線になった場合に、パラメータを変化させて予想通りのスプライン曲線を生成する技術が開示されている。

特開平０５－１２８２６９号公報

上記キーフレームは３次元の位置座標で特定されるところ、上記特許文献１の技術ではパラメータを変化させる作業が複雑で、所望のスプライン曲線を得るには多くの手間を要した。

そこで本開示の技術は、キーフレーム法によって仮想視点情報を作成する際のオペレータの手間を軽減し、容易に所望の仮想視点情報を作成できるようにすることを目的とする。

本開示に係る情報処理装置は、複数の撮像装置が行う撮像により得られる複数の撮像画像に基づいて生成される仮想視点映像に係る仮想視点を指定するためのユーザ操作に基づいて決定される前記仮想視点の位置及び前記仮想視点からの視線方向を表すパラメータと、前記複数の撮像装置により撮像が行われる期間における時刻とが対応付けられたキーフレームを生成する第１の生成手段と、前記第１の生成手段により生成される複数のキーフレームが所定の条件を満たす場合、新たなキーフレームを生成する第２の生成手段と、前記第１の生成手段及び前記第２の生成手段により生成される複数のキーフレームに基づいて、前記仮想視点の変遷を表す仮想視点情報を生成する第３の生成手段と、を有することを特徴とする。

本開示の技術によれば、キーフレーム法によって仮想視点情報を作成する際のオペレータの手間を軽減し、容易に所望の仮想視点情報を作成することが可能になる。

仮想視点画像を生成するための画像処理システムの構成の一例を示す図 画像処理装置のハードウェア構成を示す図 画像処理装置の機能構成を示すブロック図 カメラパスの作成・編集に関わる機能構成を示すブロック図 カメラパスの一例を示す図 （ａ）～（ｄ）は、４つの仮想カメラ位置それぞれからの見えを表す仮想視点画像を示す図 （ａ）及び（ｂ）は、カメラパスを作成・編集するためのＧＵＩの一例を示す図 設定されたキーフレームがＵＩ画面上に表示される様子を示す図 （ａ）及び（ｂ）は、設定されたキーフレームをタイムコード順に並べた図 （ａ）及び（ｂ）は、オペレータがオーバーシュートのない補間曲線を得るための操作を行った際のＧＵＩを示す図 カメラパスの作成・編集時における制御の流れを示すフローチャート

以下、本実施形態を実施するための形態について図面などを参照して説明する。なお、以下の実施形態は、本開示の技術を限定するものではなく、また、以下の実施形態で説明されている全ての構成が課題を解決するための手段に必須であるとは限らない。

［実施形態１］
はじめに、仮想視点画像の概要を簡単に説明する。仮想視点画像は、実際のカメラ視点とは異なる、仮想的なカメラ視点（仮想視点）からの見えを表す画像であり、自由視点画像とも呼ばれる。仮想視点は、ユーザがコントローラを操作して直接指定したり、例えば予め設定された複数の仮想視点候補の中から選択したりするといった方法により設定される。なお、仮想視点画像には、動画と静止画の両方が含まれるが、以下の実施形態では、動画を前提として説明を行い、動画による仮想視点画像を「仮想視点映像」と表現するものとする。

＜システム構成について＞
図１は、本実施形態に係る、仮想視点映像を生成するための画像処理システムの構成の一例を示す図である。画像処理システム１００は、複数の撮像装置（カメラ）１０１、画像処理装置１０２、視点入力装置１０３及び表示装置１０４を有する。画像処理システム１００は、複数の撮像装置１０１の同期撮影により得られる複数の撮像画像（複数視点映像）と視点入力装置１０３によって設定された仮想視点とに基づいて画像処理装置１０２が仮想視点映像を生成し、表示装置１０４に表示する。複数の撮像装置１０１による同期撮影の対象となる領域は、例えばラグビーやサッカーなどの競技が行われるスタジアムのフィールドや、演劇等が行われるコンサートホールの舞台などである。例えばスタジアムで行われるラグビーの試合を対象に仮想視点映像を生成する場合には、スタジアム内のフィールドを取り囲むようにそれぞれ異なる位置に撮像装置１０１が設置され、各撮像装置１０１が時刻同期してフィールド上を撮影する。但し、複数の撮像装置１０１は必ずしも撮影対象領域の全周に亘って設置されていなくてもよく、設置場所に制限がある場合には撮影対象領域の一部の方向にのみ撮像装置１０１が設置されていてもよい。各撮像装置１０１は、例えば、シリアルデジタルインターフェイス（ＳＤＩ）に代表される映像信号インターフェイスを備えたデジタル方式のビデオ撮像装置により実現される。各撮像装置１０１は、出力する映像信号に対しタイムコードに代表される時刻情報を付加して、画像処理装置１０２に送信する。

画像処理装置１０２は、複数の撮像装置１０１が同期撮影して得られた映像に基づき、仮想視点映像を生成する。画像処理装置１０２は、ネットワークケーブル等を介して取得した各撮像装置１０１が撮影した映像を用いてオブジェクトの三次元形状データの生成やレンダリングなどの処理を行って仮想視点映像を生成する。また、視点入力装置１０３から入力されるユーザ操作信号に基づき、仮想視点の設定（カメラパス情報の作成）も行う。画像処理装置１０２の機能の詳細は後述する。

視点入力装置１０３は、ジョイスティック等のコントローラを有する入力装置である。オペレータは視点入力装置１０３を介して、仮想視点に関する各種の設定操作を行う。

表示装置１０４は、画像処理装置１０２から送られてくる画像データ（グラフィカルユーザインタフェースのためのＵＩ画面のデータや仮想視点映像のデータ）を取得して表示する。表示装置１０４は、例えば、液晶ディスプレイやＬＥＤ等で実現される。

＜ハードウェア構成について＞
図２は、画像処理装置１０２のハードウェア構成を示す図である。情報処理装置である画像処理装置１０２は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、操作部２１５、通信Ｉ／Ｆ２１６、及びバス２１７を有する。

ＣＰＵ２１１は、ＲＯＭ２１２またはＲＡＭ２１３に格納されているコンピュータプログラムおよびデータを用いて画像処理装置１０２の全体を制御することで、画像処理装置１０２の各機能を実現する。なお、画像処理装置１０２は、ＣＰＵ２１１とは異なる専用の１又は複数のハードウェアあるいはＧＰＵ（Graphics Processing Unit）を有していてもよい。そして、ＣＰＵ２１１による処理の少なくとも一部をＧＰＵあるいは専用のハードウェアが行うようにしても良い。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。

ＲＯＭ２１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２１３は、補助記憶装置２１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２１４は、例えばハードディスクドライブ等で構成され、画像データや音量データなどの種々のデータを記憶する。

表示部２１５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが画像処理装置１０２を操作するためのグラフィカルユーザインタフェース（ＧＵＩ）などを表示する。

操作部２１５は、例えばキーボードやマウス等で構成され、様々なユーザ指示をＣＰＵ２１１に入力する。通信Ｉ／Ｆ２１６は、画像処理装置１０２の外部の装置との通信に用いられる。例えば、画像処理装置１０２が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２１６に接続される。画像処理装置１０２が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２１６はアンテナを備える。

バス２１７は、画像処理装置１０２の各部をつないで情報を伝達する。なお、本実施形態では、視点入力装置１０３と表示装置１０４が外部装置として設けられているが、いずれも画像処理装置１０２の機能部の１つとして内在する形で設けてもよい。

＜機能構成について＞
図３は、画像処理装置１０２の機能構成を示すブロック図である。画像処理装置１０２は、画像取得部３００、前景背景分離部３０１、記憶部３０２、仮想視点映像生成部３０３及び主制御部３０４を有する。

画像取得部３００は、複数の撮像装置１０１が同期撮影することで得られた映像（複数視点映像）のデータを取得する。

前景背景分離部３０１は、撮像装置１０１それぞれの映像から、選手や審判などの前景となる特定のオブジェクト（以降、「前景オブジェクト」と呼ぶ）をフレーム単位で抽出する。前景背景分離部３０１は、抽出した前景オブジェクトを示す画像を前景画像として記憶部３０２に記憶させる。前景オブジェクトを抽出する方法は限定しない。例えば、前景オブジェクトの抽出方法として背景差分法がある。背景差分法は、映像内のフレーム（静止画）とその背景部分を示す背景画像との画素値を比較して、フレーム内の前景オブジェクトを抽出する方法である。背景画像は、前景オブジェクトが存在しない状態の画像であり、例えばラグビーの試合を対象に撮影を行う場合、フィールドに選手等が存在しない競技開始前に撮影するなどして得られた画像が使用される。前景背景分離部３０１は、背景画像と前景画像とを、撮像装置１０１の三次元位置を示す撮影位置情報と共に記憶させる。三次元位置は、撮影対象の３次元空間における高さ、幅、奥行きに対応する各方向における位置によって規定される。世界座標系に従った撮影位置情報は、例えば、事前に設置したマーカ等を撮影し、マーカの三次元画像計測等を行うことにより得られる。背景画像及び前景画像は記憶部３０２によってＲＡＭ２１３又は補助記憶装置２１４に記憶される。

主制御部３０４は、視点入力装置１０３を介したユーザ操作に基づきカメラパス情報を作成し、仮想視点映像生成部３０３に提供する。ここで、カメラパス情報とは、フレーム単位の仮想視点画像が時系列に並んだ仮想視点映像に対応する、実在しない仮想的なカメラの視点（仮想視点）の変遷を示す情報である。カメラパス情報におけるカメラの位置及び姿勢は、それぞれ仮想視点の位置及び仮想視点からの視線方向に対応する。また、カメラパス情報は、カメラの位置及び姿勢を表すパラメータであって、時間的に連続するカメラパラメータによって構成される。すなわち、カメラパス情報は、仮想視点の位置及び仮想視点からの視線方向の時間的な変遷を表す仮想視点情報である。作成したカメラパス情報は、仮想視点映像生成部３０３に出力される。

仮想視点映像生成部３０３は、前景画像に基づいて前景オブジェクトの三次元形状データを生成し、当該３次元形状データに対しカメラパス情報に従って色付け処理（テクスチャ貼り付け処理）を行って、仮想視点からの見えを表す画像を生成する。三次元形状データの生成方法としては例えば視体積交差法などがあり、特に限定しない。三次元形状データの生成の際には、撮影対象空間における前景オブジェクトの位置及び大きさも併せて特定される。生成した仮想視点映像は表示装置１０４に出力される。

なお、画像処理装置１０２は複数存在してもよい。例えば、上述した画像取得部３００、前景背景分離部３０１、記憶部３０２、仮想視点映像生成部３０３の各機能を持つ他の画像処理装置において仮想視点映像の生成までを行うようにしてもよい。その場合、画像処理装置１０２は、当該他の画像処理装置に対し、仮想視点映像を生成するためのカメラパス情報を提供する。また、画像処理装置１０２をＣＧ映像のカメラパスの編集に適用することも可能である。その際は、仮想視点映像生成部３０３の代わりにＣＧレンダラーを設ければよい。この場合、後述の手法によって作成されるカメラパスはＣＧ画像における視点の軌跡を表することになる。

＜主制御部の詳細について＞
図４は、カメラパスの作成・編集に関わる主制御部３０４内の機能構成の一例を示すブロック図である。主制御部３０４は、カメラパラメータ生成部４００、キーフレーム設定部４０１、キーフレーム保存部４０２、カメラパス作成部４０３、ＧＵＩ制御部４０４で構成される。以下、各部について説明する。

カメラパラメータ生成部４００は、ユーザがジョイスティック等を操作して入力した仮想カメラの位置及び姿勢を指定する操作信号（以下、「カメラ操作信号」と呼ぶ。）を視点入力装置１０３から取得する。そして、取得したカメラ操作信号に基づいて、仮想視点に対応する実在しないカメラのカメラパラメータを設定する。本実施形態のカメラパラメータには、仮想視点の位置及び姿勢、ズーム、時刻といったパラメータを含む。この場合において、仮想視点の位置は、例えばＸ軸、Ｙ軸、Ｚ軸の３軸の直交座標系に従った３次元座標情報により示される。その際の原点は、撮影対象の３次元空間内の任意の位置（本実施形態ではスタジアムのフィールド中央）である。また、仮想視点に対応するカメラの姿勢は、パン、チルト、ロールの３軸との成す角度により示される。また、ズームは、例えば焦点距離により示される。また、時刻は撮影対象の試合が開始された時刻を００時００分００秒００フレームとしたタイムコードによって示される。ズームと時刻はそれぞれ１軸のパラメータである。よって、本実施形態におけるカメラパラメータは、Ｘ座標、Ｙ座標、Ｚ座標、パン、チルト、ロール、ズーム、タイムコードの８軸のパラメータを有することになる。なお、これら８軸以外の他の要素を規定するパラメータを含んでもよいし、これら８軸のパラメータの全てを含まなくてもよい。ユーザ操作に基づき設定されたカメラパラメータは、キーフレーム設定部４０１に送られる。

キーフレーム設定部４０１は、カメラパラメータ生成部４００から入力されるカメラパラメータと、複数の撮像装置１０１により撮影が行われる期間における時刻とが対応付けられたキーフレームを生成し、フレーム指定信号とを関連付けて設定する。ここで、フレーム指定信号は、複数視点映像を構成するフレーム群の中のオペレータの選択に係る特定のフレームを、キーフレームとして設定することを指示する信号であり、視点入力装置１０３から入力される。キーフレームは少なくとも２つ設定される必要がある。設定されたキーフレームの情報（キーフレーム設定情報）は、キーフレーム保存部４０２に出力される。

キーフレーム保存部４０２は、キーフレーム設定部４０１から受け取ったキーフレーム設定情報で特定されるフレームを、所定の順番でリスト化して保存する。この際、キーフレーム設定情報を受け付けた順（オペレータがキーフレームに指定した順）や、フレームに付されたタイムコード順といった所定の順番に従ってリスト化される。こうして保存されたキーフレームリストはカメラパス作成部４０３によって読み出され、カメラパス情報の作成に使用される。

カメラパス作成部４０３は、カメラパラメータ生成部４００から入力されるカメラパラメータと、キーフレーム保存部４０２によって保存されたキーフレームリストとに基づいてカメラパス情報を作成する。カメラパス情報は、複数のフレームで構成されるタイムラインによって管理され、フレームそれぞれには、仮想視点映像を構成する各画像の生成に必要な情報、具体的にはシーンの時刻と仮想視点の位置及び姿勢の情報が付される。シーンの時刻は、例えば、撮影対象の試合が開始された時刻を００時００分００秒００としたタイムコードで表される。仮想視点の位置は上述したＸ軸、Ｙ軸、Ｚ軸の３軸による３次元座標で表される。仮想視点の姿勢は上述したパン、チルト、ロールの３つの角度で表される。タイムラインに含まれるフレームの数は、１秒当たりに含まれる画像の枚数（フレームレート）によって決まる。例えば、フレームレートが６０フレーム／秒の場合、１秒当たり６０個のフレームが、タイムラインに含まれる。カメラパスの設定・編集において、フレームはキーフレームと中間フレームの２種類に分かれる。キーフレームは、オペレータが明示的に仮想視点の位置や姿勢等を指定するフレームである。一方、中間フレームは、キーフレーム間を埋めるフレームである。カメラパス作成部４０３は、オペレータが指定したキーフレームに基づき補間処理を行って、中間フレームに対応するカメラパラメータを決定する。こうして、時間的に連続するカメラパラメータの集合によって表されるカメラパス情報が得られる。図５は、ラグビーにおけるゴールキックのシーンを対象としたカメラパス情報の一例を示す図である。図５において、選手５０１がフィールドに置かれたボール５０２をキックしており、キックされたボール５０２を追従するように仮想視点が指定されている。図６の（ａ）～（ｄ）は、図５に示す４つの仮想視点に対応するカメラの位置５０３ａ～５０３ｄそれぞれからの見えを表す静止画による仮想視点画像を示している。図６（ａ）はカメラ位置５０３ａに対応し、同（ｂ）はカメラ位置５０３ｂに対応し、同（ｄ）はカメラ位置５０３ｃに対応し、同（ｄ）はカメラ位置５０３ｄに対応している。これらカメラ位置５０３ａ～５０３ｄを結ぶ、仮想視点の移動の軌跡を表す曲線５０４がカメラパスとなる。

ＧＵＩ制御部４０４は、グラフィカルユーザインタフェースを制御し、作成されたカメラパス情報を編集するためのユーザ指示などを受け付ける。例えば、スプライン関数を用いた補間処理によってカメラパス情報を作成する場合には、キーフレーム間を結ぶスプライン曲線が補間曲線として得られる。そして、この補間曲線において想定外の挙動（オーバーシュート）が見られた場合に、当該オーバーシュートが抑制された補間曲線を得るための補間条件の変更指示を、オペレータはＧＵＩを介して行う。なお、「補間曲線のオーバーシュート」については後述する。本実施形態では、オペレータがＧＵＩを介して補間条件の変更指示を行い、当該変更指示に基づき補間処理を再度実行して、オーバーシュートが抑制されたカメラパス情報を得る。

＜解決課題の説明＞
ここで、本開示に係る技術が解決すべき課題について、図７及び図８を参照して詳しく説明する。図７の（ａ）及び（ｂ）は、カメラパスを作成・編集するためのＧＵＩ（グラフィカルユーザインタフェース）の一例を示している。表示装置１０４はこれらＧＵＩを例えば２画面構成で同時に表示する。図７（ａ）はキーフレーム間の補間処理に関する設定等を行うためのＵＩ画面を示している。また、図７（ｂ）のＵＩ画面には、オペレータが設定した仮想視点からの見えを表す画像が表示されている。これによりオペレータは、自身が設定した仮想視点に対応する画像を確認しながらカメラパスを編集することが可能である。

いま、前述の図５におけるカメラ位置５０３ａ～５０３ｄそれぞれに対応する４つのキーフレームＫＦ１～ＫＦ４が視点入力装置１０３を介して設定されたとする。そして、これら４つのキーフレームＫＦ１～ＫＦ４を設定したオペレータは、選手がボールを蹴る瞬間からボールがゴールポストを通過するまでを、ボールに沿って追跡するようなカメラパスを作成するというシナリオを描いているとする。以下の表１は、キーフレームＫＦ１～ＫＦ４に対応する８軸のカメラパラメータ（タイムコード、仮想カメラの３次元位置（ＸＹＺ）と姿勢（パン、チルト、ロール）を示す情報、ズーム）を表している。

オペレータは、同期撮影された映像のタイムコードにおいて、仮想視点の位置及び姿勢を決定してキーフレームＫＦ１～ＫＦ４を設定することになる。こうして設定されたキーフレームのそれぞれは、図８に示すように、“ＫＦ１”、“ＫＦ２”、“ＫＦ３”、“ＫＦ４”としてＵＩ画面上に表示される。そして、キーフレームを設定するたびにタイムコード順にリストに追加され、ＲＡＭ２１３にて保持される。

ここで、上記４つのキーフレームＫＦ１～ＫＦ４を、スプライン関数を用いて補間処理するケースを考える。オペレータは、図８における破線で示すようなスプライン曲線８０１を期待しているものとする。しかしながら、ＫＦ１やＫＦ２のような選手目線に近いカメラ位置とＫＦ３やＫＦ４のような俯瞰的なカメラ位置との間の高度差によって、スプライン曲線が想定外の挙動を示す場合がある。図８において、実線で示すスプライン曲線８０２は想定外の挙動を示していて、ＫＦ１とＫＦ２との間の区間で下に凸の大きなカーブを描いている。ＫＦ１はボールを蹴り出すための助走段階を映す起点フレームなので仮想視点は選手と同じくらいの高さ（地上から約１メートル程度）に設定されており、ＫＦ２はキックの瞬間を映すフレームなのでＫＦ１とほぼ同じ高さに設定されている。したがって、ＫＦ１とＫＦ２とを繋ぐ中間フレームに対応する仮想視点の高さも同程度であることが望ましい。しかしながら、スプライン曲線８０２の場合、ＫＦ１とＫＦ２の間で仮想視点が大きく沈み込み、あたかも地面に潜るようなカメラパスになってしまっている。そして、その後のＫＦＫＦ３へのＺ座標の推移をみると地上から３０ｍの高さまで急激に上昇している。

以上のように、設定されたキーフレーム間を補間処理によって埋める場合に、オペレータが意図しないような補間曲線になってしまうことがある。このように、仮想視点が想定外の補間曲線の挙動を示すなど、仮想視点の位置が特定の変化を表すことを、本明細書では「補間曲線のオーバーシュート」と呼び、その抑制こそが本開示の技術における課題となる。なお、上記ではスプライン補間により仮想視点の位置が想定外の挙動を示す例について説明したが、仮想視点からの視線方向についても同様の問題が発生し得る。本実施形態では、仮想視点の位置及び仮想視点からの視線方向の少なくともいずれかの変遷が特定の変化を表す（オーバーシュートする）問題を解決するための方法について説明する。

＜オーバーシュートの抑制原理＞
続いて、主制御部３０４におけるカメラパス情報の作成処理について詳しく説明する。ここで、上述した課題を解決する本実施形態に係る手法について図９の（ａ）及び（ｂ）を用いて説明する。図９（ａ）は、前述の図８における４つのキーフレームＫＦ１～ＫＦ４をタイムコード順に並べた図であり、各フレームの上には対応するタイムコードを示している。図９（ｂ）は、図９（ａ）に対して、ＫＦ２を１フレーム分ずらした（ここでは次のフレーム）位置に、ＫＦ２と同内容（すなわち、同一のカメラパラメータが対応付けられている）のキーフレームＫＦ２’を加えたものである。カメラパス作成部４０３は、以下のようにして補間処理を行なうことにより、与えられた任意の点の各点を滑らかに結ぶ補間曲線（ここではスプライン曲線）におけるオーバーシュートを抑制する。

各キーフレームの間（セグメント）を補間する３次スプライン曲線は、以下の式（１）で表される３次関数を用いて算出できる。

ＫＦ１、ＫＦ２、ＫＦ３、ＫＦ４にそれぞれ関連付けられた仮想視点の位置情報（ｘ，ｙ，ｚ）と方向情報（ｒｘ，ｒｙ，ｒｚ）を、単純に上記式（１）に当て嵌めて得られるスプライン曲線は、図８において実線で示されるカメラパス８０２のようになる。これに対し、本実施形態に係る手法では、ＫＦ２に遷移する際に生じるオーバーシュートを抑制するべく、ＫＦ１、ＫＦ２、ＫＦ２’、ＫＦ３にそれぞれ関連付けられた仮想視点の位置情報（ｘ，ｙ，ｚ）と方向情報（ｒｘ，ｒｙ，ｒｚ）を上記式（１）に当て嵌める。ＫＦ２’はＫＦ２と１フレームずれているだけなので、ＫＦ２とほぼ同様の位置情報と方向情報をＫＦ２’は持つことになる。そのため、ＫＦ２’が３次スプライン補間計算に加わると、ＫＦ２における仮想視点の位置と向きの影響が大きくなり、ＫＦ１とＫＦ２との間にオーバーシュートが生じなくなる。その結果、図８において破線で示すような、オーバーシュートのないカメラパス８０１が得られることになる。つまり、本実施形態の手法の場合、３次スプライン補間計算において、ＫＦ１、ＫＦ２、ＫＦ３、ＫＦ４の４点ではなく、ＫＦ１、ＫＦ２、ＫＦ２’、ＫＦ３の４点を使用する。そうすると、４点のうち２点が同じ位置座標を持つのでその影響が大きくなり、緩やかなスプライン曲線が得られる。同様にして、例えばＫＦ３に遷移する際にオーバーシュートが発生する場合は、ＫＦ３を１フレームずらしたＫＦ３’を追加して、キーフレーム間を補間する３次スプライン曲線を求めればよい。本実施形態は、３次スプライン曲線の計算上の特性を利用しているが、３次ベジェ曲線等の他の曲線でも同様である。オーバーシュートの発生する箇所において、計算対象とする点（位置座標）を意図的に増やすことで該当箇所の影響力を大きくして、補間曲線を平坦に近づけられればよい。

以上のとおり本実施形態では、オーバーシュートが発生している箇所の遷移する先のキーフレームの位置に略同一のカメラパラメータを持つキーフレームを疑似的に追加設定（二重登録）することで、補間曲線におけるオーバーシュートを抑制する。図１０の（ａ）及び（ｂ）は、オーバーシュートの発生を確認したオペレータが、オーバーシュートのない補間曲線を得るための操作を行った際のＧＵＩを示している。図１０（ａ）に示すＵＩ画面において、領域１００１にはオペレータが当初に設定した４つのキーフレームＫＦ１～ＫＦ４がタイムコードと共に示されている。そして、その右側には、４つのキーフレームＫＦ１～ＫＦ４それぞれに対応する補正ボタン１００２、１００３、１００４、１００５が設けられている。これら補正ボタンは、オーバーシュートが発生した箇所のキーフレームについて上述の二重登録を行うためのボタンであり、押下する度に、「補正ＯＮ」と「補正ＯＦＦ」とが切り替わる。いま、ＫＦ２に対応する補正ボタン１００３が押下されて「補正ＯＮ」になっており、「連続フレーム」が選択されている。この場合、前述のとおり、ＫＦ２の１フレームずらした位置にＫＦ２’が追加されることになる。なお、このとき追加されるＫＦ２’は、図１０の（ａ）及び（ｂ）のＵＩ画面内にキーフレームとして表示せず、上述の３次スプライン補間のための内部的なデータとして扱えば足りる。ただし、二重登録に係るＫＦ２’を、例えば図１０（ｂ）のＵＩ画面上でＫＦ２と重ねて表示するなどしてオペレータが追加設定されたキーフレームのフレーム位置を確認できるようにしてもよい。なお、キーフレームＫＦ１～ＫＦ４の補正ボタン１００２～１００５をすべて押下し、ＫＦ１’、ＫＦ２’、ＫＦ３’、ＫＦ４’を追加設定して略同一の座標を２点ずつ繰り返すことで、全体のスプライン曲線を緩やかにすることもできる。

図１０（ａ）のＵＩ画面内の下部にある領域１００６には、補間方法を選択するためのチェックボックスと、二重登録時のフレームを追加設定する位置を選択するためのチェックボックスが設けられている。補間方法に関しては、この例では、スプライン補間、ベジェ補間、リニア補間の３種類が選択肢として示されている。ベジェ補間は、スプライン補間よりも、より滑らかな曲線で補間したい場合に使用する。したがって、補間方法としてベジェ補間を選択するだけで（上述の補正ボタンを使用しなくても）オーバーシュートを修正できるケースもある。リニア補間は、キーフレーム同士を直線で繋ぎたい場合に使用する。また、二重登録時のフレームを追加設定する位置に関しては、上述の補正ボタン１００２～１００５がＯＮのときに、前述のように１フレームだけずらした位置に追加する「連続フレーム」と、まったく同じ位置にフレームを追加する「同一フレーム」が選択肢として示されている。スプライン曲線の特徴上、軽微ではあるが「同一フレーム」よりも「連続フレーム」の方がより滑らかな曲線になる。なお、補間条件の変更に関する選択肢は、図１０（ａ）のＵＩ画面に示されたものに限定されない。

＜カメラパス情報の作成・編集＞
続いて、主制御部３０４における、カメラパス情報の作成・編集時の処理の流れについて説明する。図１１は、カメラパス情報の作成・編集時における制御の流れを示すフローチャートである。図１１のフローチャートで示される一連の処理は、画像処理装置１０２のＣＰＵ２１１がＲＯＭ２１２に記憶されているプログラムコードをＲＡＭ２１３に展開し実行することにより行われる。また、本実施形態におけるステップの一部または全部の機能をＡＳＩＣまたは電子回路等のハードウェアで実現してもよい。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味する。また、本フローチャートの処理が始まる前に、または本フローチャートの処理と並行して、画像取得部３００による複数視点映像の取得や、前景背景分離部３０１による前景オブジェクトの抽出といった、仮想視点映像の生成のための前処理が実行されているものとする。

Ｓ１１０１では、カメラパラメータ生成部４００が、視点入力装置１０３から送られてくるカメラ操作信号に基づき、前述のカメラパラメータを生成する。

Ｓ１１０２では、キーフレーム設定部４０１が、視点入力装置１０３から送られてくるフレーム指定情報に基づき、Ｓ１１０１にて生成されたカメラパラメータに対応するキーフレームを設定する。

Ｓ１１０３では、キーフレーム保存部４０２が、Ｓ１１０２にて設定されたキーフレームを、所定の順に並べてリスト化し、キーフレームリストとしてＲＡＭ２１３等に保存する。

Ｓ１１０４は、現時点のキーフレームリストに基づいてカメラパス情報の作成を開始するかどうかの判定処理である。オペレータが、視点入力装置１０３においてカメラパス情報の作成開始を指示する操作を行ったことに応答して、Ｓ１１０５に進む。

Ｓ１１０５では、カメラパス作成部４０３は、キーフレームリストをＲＡＭ２１３等から読み出し、キーフレームリストに含まれる複数のキーフレームの間を埋める補間処理を実行して、カメラパス情報を作成する。Ｓ１１０６では、Ｓ１１０５での補間処理の結果を表す補間曲線が表示装置１０４に出力される（前述の図１０（ｂ）を参照）。

Ｓ１１０７では、補間処理の条件（以下、単に「補間条件」と呼ぶ。）を変更する指示の有無が判定される。ここで、補間条件の変更指示には、例えば前述の図１０（ａ）のＵＩ画面上での、特定のキーフレームに対応する補正ボタンの押下、補正方法や追加設定を変更する操作が該当する。いずれかのユーザ操作を示す制御信号がＧＵＩ制御部４０４を介して入力されると、Ｓ１１０８に進む。補間条件を変更する操作がされずに不図示のＯＫボタンが操作される等すれば本処理を終了する。

Ｓ１１０８では、補間条件の変更指示の内容が、補正ボタンの押下であるかどうかが判定される。入力された制御信号が、特定のキーフレームについて「補正ＯＮ」のユーザ操作がなされたことを示す場合にはＳ１１０９に進む。一方、それ以外のユーザ操作を示す場合には、当該ユーザ操作に係る変更内容を反映した上で補間処理を再実行するべく、Ｓ１１０５に戻る。

Ｓ１１０９では、カメラパス作成部４０４は、「補正ＯＮ」が指示されたキーフレームについてのフレームの二重登録を行う。例えば、前述の図１０（ａ）のＵＩ画面のようにＫＦ２について「補正ＯＮ」となった場合は、前述のとおりＫＦ２’を二重登録する。キーフレームの二重登録が完了すると、Ｓ１１０５に戻り、補間処理が再実行される。そして、当該再実行によって得られた新たな補間曲線が表示装置１０４に出力され、図１０（ｂ）のＵＩ画面上に表示されることになる。

以上が、本実施形態に係る、カメラパス情報の作成・編集時の処理の流れである。

＜変形例＞
先の実施形態では、表示された補間処理結果に基づき、オーバーシュートの発生の有無をオペレータが判断していた。しかしながら、オペレータの目視判断に代えて、オーバーシュートの発生の有無を、Ｓ１１０５で得られた補間処理の結果を解析することで自動で検知するようにしてもよい。例えば、前述の図８に示したような地面へ大きく潜り込むようなオーバーシュートであれば、補間曲線における中間フレームにおける仮想視点の位置を表すＺ座標の、その隣接するキーフレームにおける仮想視点の位置を表すＺ座標に対する変化量や変化速度が閾値を超えていないかを判定することで検知可能である。この場合の閾値としては、変化量であれば５．０ｍ、変化速度であれば３．０ｍ／秒といった値を経験則などから予め決めておけばよい。さらには、中間フレームにおける仮想視点のＺ座標が３次元空間の範囲から外れた場合、具体的にはＺ座標がマイナス値になった場合にオーバーシュートが発生したと判定してもよい。このような補間曲線における位置座標の変化に基づいて、オーバーシュートの発生を検知した場合に、その事実を示すメッセージをＧＵＩに表示するなどして、オペレータに対し補正処理の実行指示を促すようにしてもよい。

さらには、オーバーシュートが検知された場合に、当該オーバーシュートが抑制されるように補間条件を変更して、補間処理を自動で再実行するようにしてもよい。これにより、オペレータの負担をより軽減することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理システム
１０１ 撮像装置
１０２ 画像処理装置
１０３ 視点入力装置
１０４ 表示装置

Claims (16)

1. 複数の撮像装置が行う撮像により得られる複数の撮像画像に基づいて生成される仮想視点映像に係る仮想視点を指定するためのユーザ操作に基づいて決定される前記仮想視点の位置及び前記仮想視点からの視線方向を表すパラメータと、前記複数の撮像装置により撮像が行われる期間における時刻とが対応付けられたキーフレームを生成する第１の生成手段と、
   前記第１の生成手段により生成される複数のキーフレームが所定の条件を満たす場合、新たなキーフレームを生成する第２の生成手段と、
   前記第１の生成手段及び前記第２の生成手段により生成される複数のキーフレームに基づいて、前記仮想視点の変遷を表す仮想視点情報を生成する第３の生成手段と、
   を有することを特徴とする情報処理装置。
2. 前記所定の条件は、前記第１の生成手段により生成される複数のキーフレームに基づいて生成される仮想視点情報により表される仮想視点の位置及び仮想視点からの視線方向の少なくともいずれかの変遷が、特定の変化を表すことであることを特徴とする請求項１に記載の情報処理装置。
3. 前記第２の生成手段は、前記第１の生成手段により生成される複数のキーフレームが前記所定の条件を満たす場合、前記第１の生成手段により生成される複数のキーフレームに対応付けられた時刻とは異なる時刻が対応付けられたキーフレームを新たに生成することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記第２の生成手段は、前記第１の生成手段により生成される複数のキーフレームが前記所定の条件を満たす場合、前記第１の生成手段により生成される複数のキーフレームのうち少なくとも一つのキーフレームに対応付けられた時刻と同一の時刻が対応付けられたキーフレームを新たに生成することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記第３の生成手段は、スプライン補間又はベジェ補間を用いて前記仮想視点情報を生成することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. グラフィカルユーザインタフェースを制御する制御手段をさらに備え、
   前記制御手段は、前記第１の生成手段及び前記第２の生成手段により生成される複数のキーフレームに基づいて生成される仮想視点情報により表される前記仮想視点の位置及び前記仮想視点からの視線方向の変遷を識別可能な情報を、前記グラフィカルユーザインタフェースに表示する、
   ことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記第２の生成手段は、前記第１の生成手段により生成される複数のキーフレームが所定の条件を満たし、且つ新たなキーフレームを生成するための指示が前記グラフィカルユーザインタフェースを介して入力された場合に、新たなキーフレームを生成することを特徴とする請求項６に記載の情報処理装置。
8. 前記制御手段は、前記第１の生成手段により生成される複数のキーフレームが所定の条件を満たすことを示す情報を前記グラフィカルユーザインタフェースに表示することを特徴とする請求項６又は７に記載の情報処理装置。
9. 前記第１の生成手段により生成される複数のキーフレームが所定の条件を満たすかを判定する判定手段をさらに有し、
   前記第２の生成手段は、前記判定手段による判定の結果に基づいて、新たなキーフレームを生成する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
10. 前記判定手段は、前記第１の生成手段により生成される複数のキーフレームに基づいて生成される仮想視点情報において、前記複数のキーフレームに対応付けられた時刻とは異なる所定の時刻に対応する仮想視点の位置に基づいて、前記第１の生成手段により生成される複数のキーフレームが所定の条件を満たすかを判定することを特徴とする請求項９に記載の情報処理装置。
11. 前記判定手段は、前記第１の生成手段により生成される複数のキーフレームに基づいて生成される仮想視点情報において、前記複数のキーフレームに対応付けられた時刻とは異なる時刻を含む所定の期間に対応する仮想視点の位置の変化量に基づいて、前記第１の生成手段により生成される複数のキーフレームが所定の条件を満たすかを判定することを特徴とする請求項１０に記載の情報処理装置。
12. 前記判定手段は、前記第１の生成手段により生成される複数のキーフレームに基づいて生成される仮想視点情報において、前記複数のキーフレームに対応付けられた時刻とは異なる時刻を含む所定の期間に対応する仮想視点の位置の変化速度に基づいて、前記第１の生成手段により生成される複数のキーフレームが所定の条件を満たすかを判定することを特徴とする請求項１０又は１１に記載の情報処理装置。
13. 前記判定手段は、前記所定の時刻に対応する仮想視点の位置が、前記第１の生成手段により生成される複数のキーフレームが所定の条件を満たすと判定することを特徴とする請求項１０乃至１２のいずれか１項に記載の情報処理装置。
14. 前記第３の生成手段により生成される仮想視点情報に基づいて、仮想視点映像を生成する第４の生成手段をさらに有することを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。
15. 複数の撮像装置が行う撮像により得られる複数の撮像画像に基づいて生成される仮想視点映像に係る仮想視点を指定するためのユーザ操作に基づいて決定される前記仮想視点の位置及び前記仮想視点からの視線方向を表すパラメータと、前記複数の撮像装置により撮像が行われる期間における時刻とが対応付けられたキーフレームを生成する第１の生成工程と、
    前記第１の生成工程において生成される複数のキーフレームが所定の条件を満たす場合、新たなキーフレームを生成する第２の生成工程と、
    前記第１の生成工程及び前記第２の生成工程において生成される複数のキーフレームに基づいて、前記仮想視点の変遷を表す仮想視点情報を生成する第３の生成工程と、
    を有することを特徴とする情報処理方法。
16. コンピュータを、請求項１乃至１４のいずれか１項に記載の情報処理装置として機能させるためのプログラム。

Images