JP2022060815A - Image processing apparatus, image processing method, and program - Google Patents

Abstract

To provide an information processing apparatus, an image processing method, and a program which reduce time and effort of an operator to facilitate generation of desired virtual viewpoint information when generating the virtual viewpoint information by a keyframe method.SOLUTION: A main control unit 304 in an image processing apparatus being an information processing apparatus includes: a keyframe setting unit 401 which generates keyframes in which parameters indicative of positions of virtual viewpoints and viewing directions from the virtual viewpoints and times during image capture with a plurality of imaging apparatus are associated with each other, wherein the virtual viewpoints relate to a virtual viewpoint video generated on the basis of a plurality of captured images obtained by image capture with the plurality of imaging apparatus and the positions of the virtual viewpoints and the viewing directions from the virtual viewpoints are determined on the basis of a user operation to designate the virtual viewpoints; and a camera path generation unit 403 which, when the plurality of generated keyframes satisfy a prescribed condition, generates new keyframes and generates virtual viewpoint information indicative of transition of the virtual viewpoints on the basis of a plurality of keyframes.SELECTED DRAWING: Figure 4

Description

本発明は、仮想視点映像やＣＧアニメーションに係る仮想視点情報を作成・編集する技術に関する。 The present invention relates to a technique for creating / editing virtual viewpoint information related to virtual viewpoint video and CG animation.

昨今、複数の撮像装置を異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて仮想視点画像を生成する技術が注目されている。複数視点画像から仮想視点画像を生成する技術によれば、通常の画像と比較してユーザに高臨場感を与えることが出来る。例えば、ラグビーの試合であれば、ゴールに向かって選手達がボールを運ぶ場面を俯瞰視点で捉えたカットと、トライの場面を特定選手の主観視点（例えばフルバック目線で相手選手の脇を抜ける）で捉えたカットとを繋げた映像を得ることもできる。 Recently, a technique of installing a plurality of image pickup devices at different positions to perform synchronous shooting from multiple viewpoints and generating a virtual viewpoint image using the multi-viewpoint images obtained by the shooting has attracted attention. According to the technique of generating a virtual viewpoint image from a plurality of viewpoint images, it is possible to give a user a high sense of presence as compared with a normal image. For example, in a rugby game, a cut that captures the scene where the players carry the ball toward the goal from a bird's-eye view and a try scene from the subjective viewpoint of a specific player (for example, passing by the opponent's side from a full back perspective) You can also get an image that connects the cuts captured in).

仮想視点映像を生成する際には、３次元空間内に仮想的に配置した実在しないカメラの視点（仮想視点）の移動経路を表した仮想視点情報の設定が必要となる。そして、上記のようなカットの切り替えを含む仮想視点映像を得る場合の仮想視点情報の作成方法にキーフレーム法がある。キーフレーム法は、任意の仮想視点を対応付けた基準となるフレーム（「キーフレーム」と呼ばれる）を複数設定し、設定した複数のキーフレーム間を補間することによって仮想視点情報を得る手法である。その際の補間方法にはスプライン補間やベジェ補間などがあるところ、時には予想とは違う補間曲線になることがある。この点、特許文献１には、予想とは違うスプライン曲線になった場合に、パラメータを変化させて予想通りのスプライン曲線を生成する技術が開示されている。 When generating a virtual viewpoint image, it is necessary to set virtual viewpoint information representing the movement path of the viewpoint (virtual viewpoint) of a non-existent camera virtually arranged in the three-dimensional space. Then, there is a key frame method as a method of creating virtual viewpoint information when obtaining a virtual viewpoint image including switching of cuts as described above. The key frame method is a method of obtaining virtual viewpoint information by setting a plurality of reference frames (called "key frames") associated with arbitrary virtual viewpoints and interpolating between the set multiple key frames. .. The interpolation method at that time includes spline interpolation and Bezier interpolation, but sometimes the interpolation curve is different from the expected one. In this regard, Patent Document 1 discloses a technique for generating a spline curve as expected by changing a parameter when a spline curve different from the expectation is obtained.

特開平０５－１２８２６９号公報Japanese Unexamined Patent Publication No. 05-128269

上記キーフレームは３次元の位置座標で特定されるところ、上記特許文献１の技術ではパラメータを変化させる作業が複雑で、所望のスプライン曲線を得るには多くの手間を要した。 The key frame is specified by three-dimensional position coordinates, but in the technique of Patent Document 1, the work of changing the parameters is complicated, and it takes a lot of time and effort to obtain a desired spline curve.

そこで本開示の技術は、キーフレーム法によって仮想視点情報を作成する際のオペレータの手間を軽減し、容易に所望の仮想視点情報を作成できるようにすることを目的とする。 Therefore, it is an object of the present disclosure technique to reduce the time and effort of the operator when creating virtual viewpoint information by the key frame method, and to make it possible to easily create desired virtual viewpoint information.

本開示に係る情報処理装置は、複数の撮像装置が行う撮像により得られる複数の撮像画像に基づいて生成される仮想視点映像に係る仮想視点を指定するためのユーザ操作に基づいて決定される前記仮想視点の位置及び前記仮想視点からの視線方向を表すパラメータと、前記複数の撮像装置により撮像が行われる期間における時刻とが対応付けられたキーフレームを生成する第１の生成手段と、前記第１の生成手段により生成される複数のキーフレームが所定の条件を満たす場合、新たなキーフレームを生成する第２の生成手段と、前記第１の生成手段及び前記第２の生成手段により生成される複数のキーフレームに基づいて、前記仮想視点の変遷を表す仮想視点情報を生成する第３の生成手段と、を有することを特徴とする。 The information processing apparatus according to the present disclosure is determined based on a user operation for designating a virtual viewpoint related to a virtual viewpoint image generated based on a plurality of captured images obtained by imaging performed by the plurality of imaging devices. A first generation means for generating a key frame in which a parameter representing a position of a virtual viewpoint and a line-of-sight direction from the virtual viewpoint and a time in a period in which an image is taken by the plurality of image pickup devices are associated with each other, and the first generation means. When a plurality of key frames generated by the first generation means satisfy a predetermined condition, they are generated by the second generation means for generating a new key frame, the first generation means, and the second generation means. It is characterized by having a third generation means for generating virtual viewpoint information representing the transition of the virtual viewpoint based on a plurality of key frames.

本開示の技術によれば、キーフレーム法によって仮想視点情報を作成する際のオペレータの手間を軽減し、容易に所望の仮想視点情報を作成することが可能になる。 According to the technique of the present disclosure, it is possible to reduce the time and effort of the operator when creating the virtual viewpoint information by the key frame method, and to easily create the desired virtual viewpoint information.

仮想視点画像を生成するための画像処理システムの構成の一例を示す図A diagram showing an example of the configuration of an image processing system for generating a virtual viewpoint image. 画像処理装置のハードウェア構成を示す図The figure which shows the hardware configuration of an image processing apparatus. 画像処理装置の機能構成を示すブロック図Block diagram showing the functional configuration of the image processing device カメラパスの作成・編集に関わる機能構成を示すブロック図Block diagram showing the functional configuration related to camera path creation / editing カメラパスの一例を示す図Diagram showing an example of a camera path （ａ）～（ｄ）は、４つの仮想カメラ位置それぞれからの見えを表す仮想視点画像を示す図(A) to (d) are diagrams showing virtual viewpoint images showing the appearance from each of the four virtual camera positions. （ａ）及び（ｂ）は、カメラパスを作成・編集するためのＧＵＩの一例を示す図(A) and (b) are diagrams showing an example of a GUI for creating / editing a camera path. 設定されたキーフレームがＵＩ画面上に表示される様子を示す図A diagram showing how the set key frame is displayed on the UI screen. （ａ）及び（ｂ）は、設定されたキーフレームをタイムコード順に並べた図(A) and (b) are diagrams in which the set key frames are arranged in the order of time code. （ａ）及び（ｂ）は、オペレータがオーバーシュートのない補間曲線を得るための操作を行った際のＧＵＩを示す図(A) and (b) are diagrams showing the GUI when the operator performs an operation for obtaining an interpolation curve without overshoot. カメラパスの作成・編集時における制御の流れを示すフローチャートFlowchart showing the flow of control when creating / editing a camera path

以下、本実施形態を実施するための形態について図面などを参照して説明する。なお、以下の実施形態は、本開示の技術を限定するものではなく、また、以下の実施形態で説明されている全ての構成が課題を解決するための手段に必須であるとは限らない。 Hereinafter, embodiments for carrying out the present embodiment will be described with reference to drawings and the like. It should be noted that the following embodiments do not limit the technique of the present disclosure, and not all the configurations described in the following embodiments are essential as means for solving the problem.

［実施形態１］
はじめに、仮想視点画像の概要を簡単に説明する。仮想視点画像は、実際のカメラ視点とは異なる、仮想的なカメラ視点（仮想視点）からの見えを表す画像であり、自由視点画像とも呼ばれる。仮想視点は、ユーザがコントローラを操作して直接指定したり、例えば予め設定された複数の仮想視点候補の中から選択したりするといった方法により設定される。なお、仮想視点画像には、動画と静止画の両方が含まれるが、以下の実施形態では、動画を前提として説明を行い、動画による仮想視点画像を「仮想視点映像」と表現するものとする。 [Embodiment 1]
First, the outline of the virtual viewpoint image will be briefly explained. The virtual viewpoint image is an image showing the appearance from a virtual camera viewpoint (virtual viewpoint) different from the actual camera viewpoint, and is also called a free viewpoint image. The virtual viewpoint is set by a method in which the user operates the controller to directly specify it, or, for example, selects from a plurality of preset virtual viewpoint candidates. In addition, although the virtual viewpoint image includes both a moving image and a still image, in the following embodiment, the explanation will be made on the premise of the moving image, and the virtual viewpoint image by the moving image will be expressed as a "virtual viewpoint image". ..

＜システム構成について＞
図１は、本実施形態に係る、仮想視点映像を生成するための画像処理システムの構成の一例を示す図である。画像処理システム１００は、複数の撮像装置（カメラ）１０１、画像処理装置１０２、視点入力装置１０３及び表示装置１０４を有する。画像処理システム１００は、複数の撮像装置１０１の同期撮影により得られる複数の撮像画像（複数視点映像）と視点入力装置１０３によって設定された仮想視点とに基づいて画像処理装置１０２が仮想視点映像を生成し、表示装置１０４に表示する。複数の撮像装置１０１による同期撮影の対象となる領域は、例えばラグビーやサッカーなどの競技が行われるスタジアムのフィールドや、演劇等が行われるコンサートホールの舞台などである。例えばスタジアムで行われるラグビーの試合を対象に仮想視点映像を生成する場合には、スタジアム内のフィールドを取り囲むようにそれぞれ異なる位置に撮像装置１０１が設置され、各撮像装置１０１が時刻同期してフィールド上を撮影する。但し、複数の撮像装置１０１は必ずしも撮影対象領域の全周に亘って設置されていなくてもよく、設置場所に制限がある場合には撮影対象領域の一部の方向にのみ撮像装置１０１が設置されていてもよい。各撮像装置１０１は、例えば、シリアルデジタルインターフェイス（ＳＤＩ）に代表される映像信号インターフェイスを備えたデジタル方式のビデオ撮像装置により実現される。各撮像装置１０１は、出力する映像信号に対しタイムコードに代表される時刻情報を付加して、画像処理装置１０２に送信する。 <About system configuration>
FIG. 1 is a diagram showing an example of a configuration of an image processing system for generating a virtual viewpoint image according to the present embodiment. The image processing system 100 includes a plurality of image pickup devices (cameras) 101, an image processing device 102, a viewpoint input device 103, and a display device 104. In the image processing system 100, the image processing device 102 produces a virtual viewpoint image based on a plurality of captured images (multiple viewpoint images) obtained by synchronous shooting of the plurality of image pickup devices 101 and a virtual viewpoint set by the viewpoint input device 103. Generate and display on the display device 104. The area to be subject to synchronous shooting by the plurality of image pickup devices 101 is, for example, a field of a stadium where competitions such as rugby and soccer are performed, a stage of a concert hall where a play or the like is performed, and the like. For example, when generating a virtual viewpoint image for a rugby game held in a stadium, image pickup devices 101 are installed at different positions so as to surround the field in the stadium, and each image pickup device 101 synchronizes the time with the field. Take a picture of the top. However, the plurality of image pickup devices 101 do not necessarily have to be installed over the entire circumference of the image pickup target area, and if the installation location is limited, the image pickup device 101 is installed only in a part of the image pickup target area. It may have been done. Each image pickup device 101 is realized by, for example, a digital video image pickup device provided with a video signal interface represented by a serial digital interface (SDI). Each image pickup apparatus 101 adds time information represented by a time code to the output video signal and transmits the time information to the image processing apparatus 102.

画像処理装置１０２は、複数の撮像装置１０１が同期撮影して得られた映像に基づき、仮想視点映像を生成する。画像処理装置１０２は、ネットワークケーブル等を介して取得した各撮像装置１０１が撮影した映像を用いてオブジェクトの三次元形状データの生成やレンダリングなどの処理を行って仮想視点映像を生成する。また、視点入力装置１０３から入力されるユーザ操作信号に基づき、仮想視点の設定（カメラパス情報の作成）も行う。画像処理装置１０２の機能の詳細は後述する。 The image processing device 102 generates a virtual viewpoint image based on the images obtained by synchronous shooting by the plurality of image pickup devices 101. The image processing device 102 generates a virtual viewpoint image by performing processing such as generation and rendering of three-dimensional shape data of an object using the image taken by each image pickup device 101 acquired via a network cable or the like. Further, the virtual viewpoint is set (creating the camera path information) based on the user operation signal input from the viewpoint input device 103. Details of the function of the image processing device 102 will be described later.

視点入力装置１０３は、ジョイスティック等のコントローラを有する入力装置である。オペレータは視点入力装置１０３を介して、仮想視点に関する各種の設定操作を行う。 The viewpoint input device 103 is an input device having a controller such as a joystick. The operator performs various setting operations related to the virtual viewpoint via the viewpoint input device 103.

表示装置１０４は、画像処理装置１０２から送られてくる画像データ（グラフィカルユーザインタフェースのためのＵＩ画面のデータや仮想視点映像のデータ）を取得して表示する。表示装置１０４は、例えば、液晶ディスプレイやＬＥＤ等で実現される。 The display device 104 acquires and displays image data (UI screen data for a graphical user interface and virtual viewpoint video data) sent from the image processing device 102. The display device 104 is realized by, for example, a liquid crystal display, an LED, or the like.

＜ハードウェア構成について＞
図２は、画像処理装置１０２のハードウェア構成を示す図である。情報処理装置である画像処理装置１０２は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、操作部２１５、通信Ｉ／Ｆ２１６、及びバス２１７を有する。 <About hardware configuration>
FIG. 2 is a diagram showing a hardware configuration of the image processing device 102. The image processing device 102, which is an information processing device, has a CPU 211, a ROM 212, a RAM 213, an auxiliary storage device 214, an operation unit 215, a communication I / F 216, and a bus 217.

ＣＰＵ２１１は、ＲＯＭ２１２またはＲＡＭ２１３に格納されているコンピュータプログラムおよびデータを用いて画像処理装置１０２の全体を制御することで、画像処理装置１０２の各機能を実現する。なお、画像処理装置１０２は、ＣＰＵ２１１とは異なる専用の１又は複数のハードウェアあるいはＧＰＵ（Graphics Processing Unit）を有していてもよい。そして、ＣＰＵ２１１による処理の少なくとも一部をＧＰＵあるいは専用のハードウェアが行うようにしても良い。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。 The CPU 211 realizes each function of the image processing device 102 by controlling the entire image processing device 102 by using a computer program and data stored in the ROM 212 or the RAM 213. The image processing device 102 may have one or a plurality of dedicated hardware or GPU (Graphics Processing Unit) different from the CPU 211. Then, at least a part of the processing by the CPU 211 may be performed by the GPU or dedicated hardware. Examples of dedicated hardware include ASICs (Application Specific Integrated Circuits), FPGAs (Field Programmable Gate Arrays), and DSPs (Digital Signal Processors).

ＲＯＭ２１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２１３は、補助記憶装置２１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２１４は、例えばハードディスクドライブ等で構成され、画像データや音量データなどの種々のデータを記憶する。 The ROM 212 stores programs and the like that do not require changes. The RAM 213 temporarily stores programs and data supplied from the auxiliary storage device 214, data supplied from the outside via the communication I / F 217, and the like. The auxiliary storage device 214 is composed of, for example, a hard disk drive or the like, and stores various data such as image data and volume data.

表示部２１５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが画像処理装置１０２を操作するためのグラフィカルユーザインタフェース（ＧＵＩ）などを表示する。 The display unit 215 is composed of, for example, a liquid crystal display, an LED, or the like, and displays a graphical user interface (GUI) for the user to operate the image processing device 102.

操作部２１５は、例えばキーボードやマウス等で構成され、様々なユーザ指示をＣＰＵ２１１に入力する。通信Ｉ／Ｆ２１６は、画像処理装置１０２の外部の装置との通信に用いられる。例えば、画像処理装置１０２が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２１６に接続される。画像処理装置１０２が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２１６はアンテナを備える。 The operation unit 215 is composed of, for example, a keyboard, a mouse, or the like, and inputs various user instructions to the CPU 211. The communication I / F 216 is used for communication with an external device of the image processing device 102. For example, when the image processing device 102 is connected to an external device by wire, a communication cable is connected to the communication I / F 216. When the image processing device 102 has a function of wirelessly communicating with an external device, the communication I / F 216 includes an antenna.

バス２１７は、画像処理装置１０２の各部をつないで情報を伝達する。なお、本実施形態では、視点入力装置１０３と表示装置１０４が外部装置として設けられているが、いずれも画像処理装置１０２の機能部の１つとして内在する形で設けてもよい。 The bus 217 connects each part of the image processing device 102 to transmit information. In the present embodiment, the viewpoint input device 103 and the display device 104 are provided as external devices, but both may be provided as one of the functional units of the image processing device 102.

＜機能構成について＞
図３は、画像処理装置１０２の機能構成を示すブロック図である。画像処理装置１０２は、画像取得部３００、前景背景分離部３０１、記憶部３０２、仮想視点映像生成部３０３及び主制御部３０４を有する。 <Functional configuration>
FIG. 3 is a block diagram showing a functional configuration of the image processing device 102. The image processing device 102 includes an image acquisition unit 300, a foreground background separation unit 301, a storage unit 302, a virtual viewpoint image generation unit 303, and a main control unit 304.

画像取得部３００は、複数の撮像装置１０１が同期撮影することで得られた映像（複数視点映像）のデータを取得する。 The image acquisition unit 300 acquires data of an image (a plurality of viewpoint images) obtained by synchronous shooting by a plurality of image pickup devices 101.

前景背景分離部３０１は、撮像装置１０１それぞれの映像から、選手や審判などの前景となる特定のオブジェクト（以降、「前景オブジェクト」と呼ぶ）をフレーム単位で抽出する。前景背景分離部３０１は、抽出した前景オブジェクトを示す画像を前景画像として記憶部３０２に記憶させる。前景オブジェクトを抽出する方法は限定しない。例えば、前景オブジェクトの抽出方法として背景差分法がある。背景差分法は、映像内のフレーム（静止画）とその背景部分を示す背景画像との画素値を比較して、フレーム内の前景オブジェクトを抽出する方法である。背景画像は、前景オブジェクトが存在しない状態の画像であり、例えばラグビーの試合を対象に撮影を行う場合、フィールドに選手等が存在しない競技開始前に撮影するなどして得られた画像が使用される。前景背景分離部３０１は、背景画像と前景画像とを、撮像装置１０１の三次元位置を示す撮影位置情報と共に記憶させる。三次元位置は、撮影対象の３次元空間における高さ、幅、奥行きに対応する各方向における位置によって規定される。世界座標系に従った撮影位置情報は、例えば、事前に設置したマーカ等を撮影し、マーカの三次元画像計測等を行うことにより得られる。背景画像及び前景画像は記憶部３０２によってＲＡＭ２１３又は補助記憶装置２１４に記憶される。 The foreground background separation unit 301 extracts a specific object (hereinafter, referred to as “foreground object”) which is a foreground such as a player or a referee from the images of each image pickup device 101 in frame units. The foreground background separation unit 301 stores an image showing the extracted foreground object in the storage unit 302 as a foreground image. The method of extracting the foreground object is not limited. For example, there is a background subtraction method as a method for extracting foreground objects. The background subtraction method is a method of extracting a foreground object in a frame by comparing the pixel values of a frame (still image) in the video and a background image showing the background portion thereof. The background image is an image in which the foreground object does not exist. For example, when shooting a rugby game, an image obtained by shooting before the start of the competition in which no player or the like exists on the field is used. To. The foreground background separation unit 301 stores the background image and the foreground image together with the shooting position information indicating the three-dimensional position of the image pickup apparatus 101. The three-dimensional position is defined by the position in each direction corresponding to the height, width, and depth in the three-dimensional space of the object to be photographed. The shooting position information according to the world coordinate system can be obtained, for example, by shooting a marker or the like installed in advance and performing a three-dimensional image measurement of the marker or the like. The background image and the foreground image are stored in the RAM 213 or the auxiliary storage device 214 by the storage unit 302.

主制御部３０４は、視点入力装置１０３を介したユーザ操作に基づきカメラパス情報を作成し、仮想視点映像生成部３０３に提供する。ここで、カメラパス情報とは、フレーム単位の仮想視点画像が時系列に並んだ仮想視点映像に対応する、実在しない仮想的なカメラの視点（仮想視点）の変遷を示す情報である。カメラパス情報におけるカメラの位置及び姿勢は、それぞれ仮想視点の位置及び仮想視点からの視線方向に対応する。また、カメラパス情報は、カメラの位置及び姿勢を表すパラメータであって、時間的に連続するカメラパラメータによって構成される。すなわち、カメラパス情報は、仮想視点の位置及び仮想視点からの視線方向の時間的な変遷を表す仮想視点情報である。作成したカメラパス情報は、仮想視点映像生成部３０３に出力される。 The main control unit 304 creates camera path information based on a user operation via the viewpoint input device 103 and provides it to the virtual viewpoint video generation unit 303. Here, the camera path information is information indicating the transition of the viewpoint (virtual viewpoint) of a non-existent virtual camera corresponding to the virtual viewpoint image in which the virtual viewpoint images of each frame are arranged in time series. The position and orientation of the camera in the camera path information correspond to the position of the virtual viewpoint and the line-of-sight direction from the virtual viewpoint, respectively. Further, the camera path information is a parameter representing the position and posture of the camera, and is composed of temporally continuous camera parameters. That is, the camera path information is virtual viewpoint information representing the position of the virtual viewpoint and the temporal transition of the line-of-sight direction from the virtual viewpoint. The created camera path information is output to the virtual viewpoint image generation unit 303.

仮想視点映像生成部３０３は、前景画像に基づいて前景オブジェクトの三次元形状データを生成し、当該３次元形状データに対しカメラパス情報に従って色付け処理（テクスチャ貼り付け処理）を行って、仮想視点からの見えを表す画像を生成する。三次元形状データの生成方法としては例えば視体積交差法などがあり、特に限定しない。三次元形状データの生成の際には、撮影対象空間における前景オブジェクトの位置及び大きさも併せて特定される。生成した仮想視点映像は表示装置１０４に出力される。 The virtual viewpoint image generation unit 303 generates three-dimensional shape data of the foreground object based on the foreground image, performs coloring processing (texture pasting processing) on the three-dimensional shape data according to the camera path information, and from the virtual viewpoint. Generates an image that shows the appearance of. As a method for generating three-dimensional shape data, for example, there is a visual volume crossing method, and the method is not particularly limited. When generating the three-dimensional shape data, the position and size of the foreground object in the space to be photographed are also specified. The generated virtual viewpoint image is output to the display device 104.

なお、画像処理装置１０２は複数存在してもよい。例えば、上述した画像取得部３００、前景背景分離部３０１、記憶部３０２、仮想視点映像生成部３０３の各機能を持つ他の画像処理装置において仮想視点映像の生成までを行うようにしてもよい。その場合、画像処理装置１０２は、当該他の画像処理装置に対し、仮想視点映像を生成するためのカメラパス情報を提供する。また、画像処理装置１０２をＣＧ映像のカメラパスの編集に適用することも可能である。その際は、仮想視点映像生成部３０３の代わりにＣＧレンダラーを設ければよい。この場合、後述の手法によって作成されるカメラパスはＣＧ画像における視点の軌跡を表することになる。 There may be a plurality of image processing devices 102. For example, another image processing device having the functions of the image acquisition unit 300, the foreground background separation unit 301, the storage unit 302, and the virtual viewpoint image generation unit 303 may be used to generate the virtual viewpoint image. In that case, the image processing device 102 provides the other image processing device with camera path information for generating a virtual viewpoint image. It is also possible to apply the image processing device 102 to editing the camera path of the CG image. In that case, a CG renderer may be provided instead of the virtual viewpoint image generation unit 303. In this case, the camera path created by the method described later represents the locus of the viewpoint in the CG image.

＜主制御部の詳細について＞
図４は、カメラパスの作成・編集に関わる主制御部３０４内の機能構成の一例を示すブロック図である。主制御部３０４は、カメラパラメータ生成部４００、キーフレーム設定部４０１、キーフレーム保存部４０２、カメラパス作成部４０３、ＧＵＩ制御部４０４で構成される。以下、各部について説明する。 <Details of the main control unit>
FIG. 4 is a block diagram showing an example of the functional configuration in the main control unit 304 related to the creation / editing of the camera path. The main control unit 304 includes a camera parameter generation unit 400, a key frame setting unit 401, a key frame storage unit 402, a camera path creation unit 403, and a GUI control unit 404. Hereinafter, each part will be described.

カメラパラメータ生成部４００は、ユーザがジョイスティック等を操作して入力した仮想カメラの位置及び姿勢を指定する操作信号（以下、「カメラ操作信号」と呼ぶ。）を視点入力装置１０３から取得する。そして、取得したカメラ操作信号に基づいて、仮想視点に対応する実在しないカメラのカメラパラメータを設定する。本実施形態のカメラパラメータには、仮想視点の位置及び姿勢、ズーム、時刻といったパラメータを含む。この場合において、仮想視点の位置は、例えばＸ軸、Ｙ軸、Ｚ軸の３軸の直交座標系に従った３次元座標情報により示される。その際の原点は、撮影対象の３次元空間内の任意の位置（本実施形態ではスタジアムのフィールド中央）である。また、仮想視点に対応するカメラの姿勢は、パン、チルト、ロールの３軸との成す角度により示される。また、ズームは、例えば焦点距離により示される。また、時刻は撮影対象の試合が開始された時刻を００時００分００秒００フレームとしたタイムコードによって示される。ズームと時刻はそれぞれ１軸のパラメータである。よって、本実施形態におけるカメラパラメータは、Ｘ座標、Ｙ座標、Ｚ座標、パン、チルト、ロール、ズーム、タイムコードの８軸のパラメータを有することになる。なお、これら８軸以外の他の要素を規定するパラメータを含んでもよいし、これら８軸のパラメータの全てを含まなくてもよい。ユーザ操作に基づき設定されたカメラパラメータは、キーフレーム設定部４０１に送られる。 The camera parameter generation unit 400 acquires from the viewpoint input device 103 an operation signal (hereinafter, referred to as “camera operation signal”) that specifies the position and posture of the virtual camera input by the user by operating the joystick or the like. Then, based on the acquired camera operation signal, the camera parameters of the non-existent camera corresponding to the virtual viewpoint are set. The camera parameters of the present embodiment include parameters such as the position and orientation of the virtual viewpoint, zoom, and time. In this case, the position of the virtual viewpoint is indicated by, for example, three-dimensional coordinate information according to a Cartesian coordinate system of three axes of X-axis, Y-axis, and Z-axis. The origin at that time is an arbitrary position in the three-dimensional space to be photographed (in the present embodiment, the center of the field of the stadium). Further, the posture of the camera corresponding to the virtual viewpoint is indicated by the angles formed by the three axes of pan, tilt, and roll. Also, the zoom is indicated by, for example, the focal length. Further, the time is indicated by a time code in which the time when the game to be photographed is started is set to 00:00:00.00 frames. Zoom and time are uniaxial parameters, respectively. Therefore, the camera parameters in this embodiment have eight-axis parameters of X coordinate, Y coordinate, Z coordinate, pan, tilt, roll, zoom, and time code. It should be noted that parameters that define elements other than these eight axes may be included, or all of these eight axis parameters may not be included. The camera parameters set based on the user operation are sent to the key frame setting unit 401.

キーフレーム設定部４０１は、カメラパラメータ生成部４００から入力されるカメラパラメータと、複数の撮像装置１０１により撮影が行われる期間における時刻とが対応付けられたキーフレームを生成し、フレーム指定信号とを関連付けて設定する。ここで、フレーム指定信号は、複数視点映像を構成するフレーム群の中のオペレータの選択に係る特定のフレームを、キーフレームとして設定することを指示する信号であり、視点入力装置１０３から入力される。キーフレームは少なくとも２つ設定される必要がある。設定されたキーフレームの情報（キーフレーム設定情報）は、キーフレーム保存部４０２に出力される。 The key frame setting unit 401 generates a key frame in which the camera parameters input from the camera parameter generation unit 400 and the time in the period in which the shooting is performed by the plurality of image pickup devices 101 are associated with each other, and generates a frame designation signal. Associate and set. Here, the frame designation signal is a signal instructing to set a specific frame related to the operator's selection in the frame group constituting the multi-viewpoint video as a key frame, and is input from the viewpoint input device 103. .. At least two keyframes need to be set. The set key frame information (key frame setting information) is output to the key frame storage unit 402.

キーフレーム保存部４０２は、キーフレーム設定部４０１から受け取ったキーフレーム設定情報で特定されるフレームを、所定の順番でリスト化して保存する。この際、キーフレーム設定情報を受け付けた順（オペレータがキーフレームに指定した順）や、フレームに付されたタイムコード順といった所定の順番に従ってリスト化される。こうして保存されたキーフレームリストはカメラパス作成部４０３によって読み出され、カメラパス情報の作成に使用される。 The key frame storage unit 402 lists and stores the frames specified by the key frame setting information received from the key frame setting unit 401 in a predetermined order. At this time, the information is listed in a predetermined order such as the order in which the key frame setting information is received (the order specified by the operator for the key frame) or the time code order attached to the frame. The key frame list saved in this way is read out by the camera path creation unit 403 and used for creating camera path information.

カメラパス作成部４０３は、カメラパラメータ生成部４００から入力されるカメラパラメータと、キーフレーム保存部４０２によって保存されたキーフレームリストとに基づいてカメラパス情報を作成する。カメラパス情報は、複数のフレームで構成されるタイムラインによって管理され、フレームそれぞれには、仮想視点映像を構成する各画像の生成に必要な情報、具体的にはシーンの時刻と仮想視点の位置及び姿勢の情報が付される。シーンの時刻は、例えば、撮影対象の試合が開始された時刻を００時００分００秒００としたタイムコードで表される。仮想視点の位置は上述したＸ軸、Ｙ軸、Ｚ軸の３軸による３次元座標で表される。仮想視点の姿勢は上述したパン、チルト、ロールの３つの角度で表される。タイムラインに含まれるフレームの数は、１秒当たりに含まれる画像の枚数（フレームレート）によって決まる。例えば、フレームレートが６０フレーム／秒の場合、１秒当たり６０個のフレームが、タイムラインに含まれる。カメラパスの設定・編集において、フレームはキーフレームと中間フレームの２種類に分かれる。キーフレームは、オペレータが明示的に仮想視点の位置や姿勢等を指定するフレームである。一方、中間フレームは、キーフレーム間を埋めるフレームである。カメラパス作成部４０３は、オペレータが指定したキーフレームに基づき補間処理を行って、中間フレームに対応するカメラパラメータを決定する。こうして、時間的に連続するカメラパラメータの集合によって表されるカメラパス情報が得られる。図５は、ラグビーにおけるゴールキックのシーンを対象としたカメラパス情報の一例を示す図である。図５において、選手５０１がフィールドに置かれたボール５０２をキックしており、キックされたボール５０２を追従するように仮想視点が指定されている。図６の（ａ）～（ｄ）は、図５に示す４つの仮想視点に対応するカメラの位置５０３ａ～５０３ｄそれぞれからの見えを表す静止画による仮想視点画像を示している。図６（ａ）はカメラ位置５０３ａに対応し、同（ｂ）はカメラ位置５０３ｂに対応し、同（ｄ）はカメラ位置５０３ｃに対応し、同（ｄ）はカメラ位置５０３ｄに対応している。これらカメラ位置５０３ａ～５０３ｄを結ぶ、仮想視点の移動の軌跡を表す曲線５０４がカメラパスとなる。 The camera path creation unit 403 creates camera path information based on the camera parameters input from the camera parameter generation unit 400 and the key frame list saved by the key frame storage unit 402. The camera path information is managed by a timeline composed of multiple frames, and each frame contains information necessary for generating each image constituting the virtual viewpoint image, specifically, the time of the scene and the position of the virtual viewpoint. And posture information is attached. The time of the scene is represented by, for example, a time code in which the time when the game to be shot is started is 00:00:00.00. The position of the virtual viewpoint is represented by the three-dimensional coordinates of the above-mentioned X-axis, Y-axis, and Z-axis. The posture of the virtual viewpoint is represented by the above-mentioned three angles of pan, tilt, and roll. The number of frames included in the timeline is determined by the number of images (frame rate) included per second. For example, if the frame rate is 60 frames / sec, 60 frames per second are included in the timeline. In setting and editing the camera path, frames are divided into two types: key frames and intermediate frames. A key frame is a frame in which an operator explicitly specifies a position, a posture, or the like of a virtual viewpoint. On the other hand, the intermediate frame is a frame that fills the space between the key frames. The camera path creation unit 403 performs interpolation processing based on the key frame specified by the operator, and determines the camera parameter corresponding to the intermediate frame. In this way, camera path information represented by a set of camera parameters that are continuous in time can be obtained. FIG. 5 is a diagram showing an example of camera path information for a goal kick scene in rugby. In FIG. 5, player 501 is kicking a ball 502 placed on the field, and a virtual viewpoint is designated to follow the kicked ball 502. 6 (a) to 6 (d) show virtual viewpoint images by still images showing the view from each of the camera positions 503a to 503d corresponding to the four virtual viewpoints shown in FIG. 6 (a) corresponds to the camera position 503a, the same (b) corresponds to the camera position 503b, the same (d) corresponds to the camera position 503c, and the same (d) corresponds to the camera position 503d. .. The curve 504 that connects these camera positions 503a to 503d and represents the locus of movement of the virtual viewpoint is the camera path.

ＧＵＩ制御部４０４は、グラフィカルユーザインタフェースを制御し、作成されたカメラパス情報を編集するためのユーザ指示などを受け付ける。例えば、スプライン関数を用いた補間処理によってカメラパス情報を作成する場合には、キーフレーム間を結ぶスプライン曲線が補間曲線として得られる。そして、この補間曲線において想定外の挙動（オーバーシュート）が見られた場合に、当該オーバーシュートが抑制された補間曲線を得るための補間条件の変更指示を、オペレータはＧＵＩを介して行う。なお、「補間曲線のオーバーシュート」については後述する。本実施形態では、オペレータがＧＵＩを介して補間条件の変更指示を行い、当該変更指示に基づき補間処理を再度実行して、オーバーシュートが抑制されたカメラパス情報を得る。 The GUI control unit 404 controls the graphical user interface and receives user instructions and the like for editing the created camera path information. For example, when camera path information is created by interpolation processing using a spline function, a spline curve connecting key frames is obtained as an interpolation curve. Then, when an unexpected behavior (overshoot) is observed in this interpolation curve, the operator gives an instruction to change the interpolation condition for obtaining the interpolation curve in which the overshoot is suppressed via the GUI. The "overshoot of the interpolated curve" will be described later. In the present embodiment, the operator gives an instruction to change the interpolation condition via the GUI, executes the interpolation process again based on the change instruction, and obtains camera path information in which overshoot is suppressed.

＜解決課題の説明＞
ここで、本開示に係る技術が解決すべき課題について、図７及び図８を参照して詳しく説明する。図７の（ａ）及び（ｂ）は、カメラパスを作成・編集するためのＧＵＩ（グラフィカルユーザインタフェース）の一例を示している。表示装置１０４はこれらＧＵＩを例えば２画面構成で同時に表示する。図７（ａ）はキーフレーム間の補間処理に関する設定等を行うためのＵＩ画面を示している。また、図７（ｂ）のＵＩ画面には、オペレータが設定した仮想視点からの見えを表す画像が表示されている。これによりオペレータは、自身が設定した仮想視点に対応する画像を確認しながらカメラパスを編集することが可能である。 <Explanation of solutions>
Here, the problems to be solved by the technique according to the present disclosure will be described in detail with reference to FIGS. 7 and 8. FIGS. 7A and 7B show an example of a GUI (graphical user interface) for creating / editing a camera path. The display device 104 simultaneously displays these GUIs in, for example, a two-screen configuration. FIG. 7A shows a UI screen for setting settings related to interpolation processing between key frames. Further, on the UI screen of FIG. 7B, an image showing the appearance from the virtual viewpoint set by the operator is displayed. This allows the operator to edit the camera path while checking the image corresponding to the virtual viewpoint set by the operator.

いま、前述の図５におけるカメラ位置５０３ａ～５０３ｄそれぞれに対応する４つのキーフレームＫＦ１～ＫＦ４が視点入力装置１０３を介して設定されたとする。そして、これら４つのキーフレームＫＦ１～ＫＦ４を設定したオペレータは、選手がボールを蹴る瞬間からボールがゴールポストを通過するまでを、ボールに沿って追跡するようなカメラパスを作成するというシナリオを描いているとする。以下の表１は、キーフレームＫＦ１～ＫＦ４に対応する８軸のカメラパラメータ（タイムコード、仮想カメラの３次元位置（ＸＹＺ）と姿勢（パン、チルト、ロール）を示す情報、ズーム）を表している。 Now, it is assumed that four key frames KF1 to KF4 corresponding to the camera positions 503a to 503d in FIG. 5 described above are set via the viewpoint input device 103. Then, the operator who set these four key frames KF1 to KF4 draws a scenario of creating a camera path that tracks the ball from the moment the player kicks the ball to the time when the ball passes the goal post. Suppose you are. Table 1 below shows the 8-axis camera parameters (time code, information indicating the 3D position (XYZ) and posture (pan, tilt, roll) of the virtual camera, zoom) corresponding to the key frames KF1 to KF4. There is.

オペレータは、同期撮影された映像のタイムコードにおいて、仮想視点の位置及び姿勢を決定してキーフレームＫＦ１～ＫＦ４を設定することになる。こうして設定されたキーフレームのそれぞれは、図８に示すように、“ＫＦ１”、“ＫＦ２”、“ＫＦ３”、“ＫＦ４”としてＵＩ画面上に表示される。そして、キーフレームを設定するたびにタイムコード順にリストに追加され、ＲＡＭ２１３にて保持される。 The operator determines the position and orientation of the virtual viewpoint in the time code of the synchronously shot video, and sets the key frames KF1 to KF4. As shown in FIG. 8, each of the key frames set in this way is displayed on the UI screen as "KF1", "KF2", "KF3", and "KF4". Then, each time a key frame is set, it is added to the list in the order of time code and held in RAM 213.

ここで、上記４つのキーフレームＫＦ１～ＫＦ４を、スプライン関数を用いて補間処理するケースを考える。オペレータは、図８における破線で示すようなスプライン曲線８０１を期待しているものとする。しかしながら、ＫＦ１やＫＦ２のような選手目線に近いカメラ位置とＫＦ３やＫＦ４のような俯瞰的なカメラ位置との間の高度差によって、スプライン曲線が想定外の挙動を示す場合がある。図８において、実線で示すスプライン曲線８０２は想定外の挙動を示していて、ＫＦ１とＫＦ２との間の区間で下に凸の大きなカーブを描いている。ＫＦ１はボールを蹴り出すための助走段階を映す起点フレームなので仮想視点は選手と同じくらいの高さ（地上から約１メートル程度）に設定されており、ＫＦ２はキックの瞬間を映すフレームなのでＫＦ１とほぼ同じ高さに設定されている。したがって、ＫＦ１とＫＦ２とを繋ぐ中間フレームに対応する仮想視点の高さも同程度であることが望ましい。しかしながら、スプライン曲線８０２の場合、ＫＦ１とＫＦ２の間で仮想視点が大きく沈み込み、あたかも地面に潜るようなカメラパスになってしまっている。そして、その後のＫＦＫＦ３へのＺ座標の推移をみると地上から３０ｍの高さまで急激に上昇している。 Here, consider a case where the above four key frames KF1 to KF4 are interpolated using a spline function. It is assumed that the operator expects the spline curve 801 as shown by the broken line in FIG. However, the spline curve may show unexpected behavior due to the altitude difference between the camera position close to the player's line of sight such as KF1 and KF2 and the bird's-eye view camera position such as KF3 and KF4. In FIG. 8, the spline curve 802 shown by the solid line shows an unexpected behavior, and draws a large downwardly convex curve in the section between KF1 and KF2. Since KF1 is a starting point frame that reflects the approaching stage for kicking the ball, the virtual viewpoint is set to the same height as the player (about 1 meter from the ground), and KF2 is a frame that reflects the moment of kicking, so it is called KF1. It is set to almost the same height. Therefore, it is desirable that the height of the virtual viewpoint corresponding to the intermediate frame connecting KF1 and KF2 is about the same. However, in the case of the spline curve 802, the virtual viewpoint is greatly sunk between KF1 and KF2, and the camera path is as if it were submerged in the ground. Then, looking at the transition of the Z coordinate to KFKF3 after that, it rises sharply to a height of 30 m from the ground.

以上のように、設定されたキーフレーム間を補間処理によって埋める場合に、オペレータが意図しないような補間曲線になってしまうことがある。このように、仮想視点が想定外の補間曲線の挙動を示すなど、仮想視点の位置が特定の変化を表すことを、本明細書では「補間曲線のオーバーシュート」と呼び、その抑制こそが本開示の技術における課題となる。なお、上記ではスプライン補間により仮想視点の位置が想定外の挙動を示す例について説明したが、仮想視点からの視線方向についても同様の問題が発生し得る。本実施形態では、仮想視点の位置及び仮想視点からの視線方向の少なくともいずれかの変遷が特定の変化を表す（オーバーシュートする）問題を解決するための方法について説明する。 As described above, when the space between the set key frames is filled by the interpolation process, the interpolation curve may be unintended by the operator. In this specification, the fact that the position of the virtual viewpoint represents a specific change, such as the virtual viewpoint showing the behavior of an unexpected interpolation curve, is called "overshoot of the interpolation curve" in this specification, and its suppression is the book. It becomes a problem in the disclosed technology. In the above, an example in which the position of the virtual viewpoint shows unexpected behavior by spline interpolation has been described, but the same problem may occur in the line-of-sight direction from the virtual viewpoint. In the present embodiment, a method for solving the problem that at least one of the changes in the position of the virtual viewpoint and the direction of the line of sight from the virtual viewpoint represents (overshoots) a specific change will be described.

＜オーバーシュートの抑制原理＞
続いて、主制御部３０４におけるカメラパス情報の作成処理について詳しく説明する。ここで、上述した課題を解決する本実施形態に係る手法について図９の（ａ）及び（ｂ）を用いて説明する。図９（ａ）は、前述の図８における４つのキーフレームＫＦ１～ＫＦ４をタイムコード順に並べた図であり、各フレームの上には対応するタイムコードを示している。図９（ｂ）は、図９（ａ）に対して、ＫＦ２を１フレーム分ずらした（ここでは次のフレーム）位置に、ＫＦ２と同内容（すなわち、同一のカメラパラメータが対応付けられている）のキーフレームＫＦ２’を加えたものである。カメラパス作成部４０３は、以下のようにして補間処理を行なうことにより、与えられた任意の点の各点を滑らかに結ぶ補間曲線（ここではスプライン曲線）におけるオーバーシュートを抑制する。 <Principle of overshoot suppression>
Subsequently, the process of creating the camera path information in the main control unit 304 will be described in detail. Here, a method according to the present embodiment for solving the above-mentioned problems will be described with reference to FIGS. 9A and 9B. FIG. 9A is a diagram in which the four key frames KF1 to KF4 in FIG. 8 described above are arranged in the order of time code, and the corresponding time code is shown above each frame. In FIG. 9B, the same content as KF2 (that is, the same camera parameters are associated with the position where KF2 is shifted by one frame (here, the next frame) with respect to FIG. 9A). ) Key frame KF2'is added. The camera path creating unit 403 suppresses overshoot in an interpolation curve (here, a spline curve) that smoothly connects each point of a given arbitrary point by performing interpolation processing as follows.

各キーフレームの間（セグメント）を補間する３次スプライン曲線は、以下の式（１）で表される３次関数を用いて算出できる。 The cubic spline curve that interpolates between each key frame (segment) can be calculated by using the cubic function represented by the following equation (1).

ＫＦ１、ＫＦ２、ＫＦ３、ＫＦ４にそれぞれ関連付けられた仮想視点の位置情報（ｘ，ｙ，ｚ）と方向情報（ｒｘ，ｒｙ，ｒｚ）を、単純に上記式（１）に当て嵌めて得られるスプライン曲線は、図８において実線で示されるカメラパス８０２のようになる。これに対し、本実施形態に係る手法では、ＫＦ２に遷移する際に生じるオーバーシュートを抑制するべく、ＫＦ１、ＫＦ２、ＫＦ２’、ＫＦ３にそれぞれ関連付けられた仮想視点の位置情報（ｘ，ｙ，ｚ）と方向情報（ｒｘ，ｒｙ，ｒｚ）を上記式（１）に当て嵌める。ＫＦ２’はＫＦ２と１フレームずれているだけなので、ＫＦ２とほぼ同様の位置情報と方向情報をＫＦ２’は持つことになる。そのため、ＫＦ２’が３次スプライン補間計算に加わると、ＫＦ２における仮想視点の位置と向きの影響が大きくなり、ＫＦ１とＫＦ２との間にオーバーシュートが生じなくなる。その結果、図８において破線で示すような、オーバーシュートのないカメラパス８０１が得られることになる。つまり、本実施形態の手法の場合、３次スプライン補間計算において、ＫＦ１、ＫＦ２、ＫＦ３、ＫＦ４の４点ではなく、ＫＦ１、ＫＦ２、ＫＦ２’、ＫＦ３の４点を使用する。そうすると、４点のうち２点が同じ位置座標を持つのでその影響が大きくなり、緩やかなスプライン曲線が得られる。同様にして、例えばＫＦ３に遷移する際にオーバーシュートが発生する場合は、ＫＦ３を１フレームずらしたＫＦ３’を追加して、キーフレーム間を補間する３次スプライン曲線を求めればよい。本実施形態は、３次スプライン曲線の計算上の特性を利用しているが、３次ベジェ曲線等の他の曲線でも同様である。オーバーシュートの発生する箇所において、計算対象とする点（位置座標）を意図的に増やすことで該当箇所の影響力を大きくして、補間曲線を平坦に近づけられればよい。

A spline obtained by simply applying the position information (x, y, z) and the direction information (rx, ry, rz) of the virtual viewpoints associated with KF1, KF2, KF3, and KF4 to the above equation (1). The curve is like the camera path 802 shown by the solid line in FIG. On the other hand, in the method according to the present embodiment, in order to suppress the overshoot that occurs when transitioning to KF2, the position information (x, y, z) of the virtual viewpoint associated with KF1, KF2, KF2', and KF3, respectively. ) And direction information (rx, ry, rz) are applied to the above equation (1). Since KF2'is only one frame off from KF2, KF2'has almost the same position information and direction information as KF2. Therefore, when KF2'is added to the third-order spline interpolation calculation, the influence of the position and orientation of the virtual viewpoint in KF2 becomes large, and overshoot does not occur between KF1 and KF2. As a result, a camera pass 801 without overshoot as shown by the broken line in FIG. 8 can be obtained. That is, in the case of the method of the present embodiment, the four points of KF1, KF2, KF2', and KF3 are used instead of the four points of KF1, KF2, KF3, and KF4 in the cubic spline interpolation calculation. Then, since two of the four points have the same position coordinates, the influence becomes large and a gentle spline curve can be obtained. Similarly, for example, when overshoot occurs when transitioning to KF3, KF3'which is shifted by one frame from KF3 may be added to obtain a cubic spline curve that interpolates between key frames. This embodiment utilizes the computational characteristics of a cubic spline curve, but the same applies to other curves such as a cubic Bezier curve. At the point where overshoot occurs, the influence of the point (positional coordinates) to be calculated may be increased intentionally to increase the influence of the point, and the interpolation curve may be brought closer to flat.

以上のとおり本実施形態では、オーバーシュートが発生している箇所の遷移する先のキーフレームの位置に略同一のカメラパラメータを持つキーフレームを疑似的に追加設定（二重登録）することで、補間曲線におけるオーバーシュートを抑制する。図１０の（ａ）及び（ｂ）は、オーバーシュートの発生を確認したオペレータが、オーバーシュートのない補間曲線を得るための操作を行った際のＧＵＩを示している。図１０（ａ）に示すＵＩ画面において、領域１００１にはオペレータが当初に設定した４つのキーフレームＫＦ１～ＫＦ４がタイムコードと共に示されている。そして、その右側には、４つのキーフレームＫＦ１～ＫＦ４それぞれに対応する補正ボタン１００２、１００３、１００４、１００５が設けられている。これら補正ボタンは、オーバーシュートが発生した箇所のキーフレームについて上述の二重登録を行うためのボタンであり、押下する度に、「補正ＯＮ」と「補正ＯＦＦ」とが切り替わる。いま、ＫＦ２に対応する補正ボタン１００３が押下されて「補正ＯＮ」になっており、「連続フレーム」が選択されている。この場合、前述のとおり、ＫＦ２の１フレームずらした位置にＫＦ２’が追加されることになる。なお、このとき追加されるＫＦ２’は、図１０の（ａ）及び（ｂ）のＵＩ画面内にキーフレームとして表示せず、上述の３次スプライン補間のための内部的なデータとして扱えば足りる。ただし、二重登録に係るＫＦ２’を、例えば図１０（ｂ）のＵＩ画面上でＫＦ２と重ねて表示するなどしてオペレータが追加設定されたキーフレームのフレーム位置を確認できるようにしてもよい。なお、キーフレームＫＦ１～ＫＦ４の補正ボタン１００２～１００５をすべて押下し、ＫＦ１’、ＫＦ２’、ＫＦ３’、ＫＦ４’を追加設定して略同一の座標を２点ずつ繰り返すことで、全体のスプライン曲線を緩やかにすることもできる。 As described above, in the present embodiment, a key frame having substantially the same camera parameters is pseudo-added (double registration) at the position of the key frame to which the overshoot occurs at the transition destination. Suppresses overshoot in the interpolated curve. (A) and (b) of FIG. 10 show a GUI when an operator who has confirmed the occurrence of overshoot performs an operation for obtaining an interpolation curve without overshoot. In the UI screen shown in FIG. 10A, four key frames KF1 to KF4 initially set by the operator are shown in the area 1001 together with a time code. On the right side thereof, correction buttons 1002, 1003, 1004, 1005 corresponding to each of the four key frames KF1 to KF4 are provided. These correction buttons are buttons for performing the above-mentioned double registration for the key frame at the location where the overshoot occurs, and each time the key frame is pressed, "correction ON" and "correction OFF" are switched. Now, the correction button 1003 corresponding to KF2 is pressed to set "correction ON", and "continuous frame" is selected. In this case, as described above, KF2'is added at a position shifted by one frame of KF2. The KF2'added at this time is not displayed as a key frame in the UI screens (a) and (b) of FIG. 10, and it is sufficient to treat it as internal data for the above-mentioned third-order spline interpolation. .. However, the operator may be able to confirm the frame position of the key frame additionally set by displaying the KF2'related to the double registration, for example, on the UI screen of FIG. 10B so as to overlap with the KF2. .. By pressing all the correction buttons 1002 to 1005 of the key frames KF1 to KF4, adding KF1', KF2', KF3', and KF4'and repeating substantially the same coordinates by two points, the entire spline curve. Can also be relaxed.

図１０（ａ）のＵＩ画面内の下部にある領域１００６には、補間方法を選択するためのチェックボックスと、二重登録時のフレームを追加設定する位置を選択するためのチェックボックスが設けられている。補間方法に関しては、この例では、スプライン補間、ベジェ補間、リニア補間の３種類が選択肢として示されている。ベジェ補間は、スプライン補間よりも、より滑らかな曲線で補間したい場合に使用する。したがって、補間方法としてベジェ補間を選択するだけで（上述の補正ボタンを使用しなくても）オーバーシュートを修正できるケースもある。リニア補間は、キーフレーム同士を直線で繋ぎたい場合に使用する。また、二重登録時のフレームを追加設定する位置に関しては、上述の補正ボタン１００２～１００５がＯＮのときに、前述のように１フレームだけずらした位置に追加する「連続フレーム」と、まったく同じ位置にフレームを追加する「同一フレーム」が選択肢として示されている。スプライン曲線の特徴上、軽微ではあるが「同一フレーム」よりも「連続フレーム」の方がより滑らかな曲線になる。なお、補間条件の変更に関する選択肢は、図１０（ａ）のＵＩ画面に示されたものに限定されない。 The area 1006 at the bottom of the UI screen of FIG. 10A is provided with a check box for selecting an interpolation method and a check box for selecting a position for additionally setting a frame at the time of double registration. ing. Regarding the interpolation method, in this example, three types of interpolation, spline interpolation, Bezier interpolation, and linear interpolation, are shown as options. Bezier interpolation is used when you want to interpolate with a smoother curve than spline interpolation. Therefore, there are cases where the overshoot can be corrected simply by selecting Bezier interpolation as the interpolation method (without using the correction button described above). Linear interpolation is used when you want to connect key frames with a straight line. In addition, the position to additionally set the frame at the time of double registration is exactly the same as the "continuous frame" added to the position shifted by one frame as described above when the above-mentioned correction buttons 1002 to 1005 are ON. "Same frame" to add a frame to the position is shown as an option. Due to the characteristics of the spline curve, the "continuous frame" is a smoother curve than the "same frame", although it is slight. The options for changing the interpolation conditions are not limited to those shown on the UI screen of FIG. 10 (a).

＜カメラパス情報の作成・編集＞
続いて、主制御部３０４における、カメラパス情報の作成・編集時の処理の流れについて説明する。図１１は、カメラパス情報の作成・編集時における制御の流れを示すフローチャートである。図１１のフローチャートで示される一連の処理は、画像処理装置１０２のＣＰＵ２１１がＲＯＭ２１２に記憶されているプログラムコードをＲＡＭ２１３に展開し実行することにより行われる。また、本実施形態におけるステップの一部または全部の機能をＡＳＩＣまたは電子回路等のハードウェアで実現してもよい。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップであることを意味する。また、本フローチャートの処理が始まる前に、または本フローチャートの処理と並行して、画像取得部３００による複数視点映像の取得や、前景背景分離部３０１による前景オブジェクトの抽出といった、仮想視点映像の生成のための前処理が実行されているものとする。 <Creating / editing camera path information>
Subsequently, the flow of processing at the time of creating / editing the camera path information in the main control unit 304 will be described. FIG. 11 is a flowchart showing a control flow at the time of creating / editing camera path information. The series of processes shown in the flowchart of FIG. 11 is performed by the CPU 211 of the image processing device 102 expanding the program code stored in the ROM 212 into the RAM 213 and executing the process. Further, some or all the functions of the steps in the present embodiment may be realized by hardware such as an ASIC or an electronic circuit. The symbol "S" in the description of each process means that the step is a step in the flowchart. Further, before the processing of this flowchart is started, or in parallel with the processing of this flowchart, a virtual viewpoint image is generated such that the image acquisition unit 300 acquires a multi-viewpoint image and the foreground background separation unit 301 extracts a foreground object. It is assumed that the preprocessing for is executed.

Ｓ１１０１では、カメラパラメータ生成部４００が、視点入力装置１０３から送られてくるカメラ操作信号に基づき、前述のカメラパラメータを生成する。 In S1101, the camera parameter generation unit 400 generates the above-mentioned camera parameters based on the camera operation signal sent from the viewpoint input device 103.

Ｓ１１０２では、キーフレーム設定部４０１が、視点入力装置１０３から送られてくるフレーム指定情報に基づき、Ｓ１１０１にて生成されたカメラパラメータに対応するキーフレームを設定する。 In S1102, the key frame setting unit 401 sets the key frame corresponding to the camera parameter generated in S1101 based on the frame designation information sent from the viewpoint input device 103.

Ｓ１１０３では、キーフレーム保存部４０２が、Ｓ１１０２にて設定されたキーフレームを、所定の順に並べてリスト化し、キーフレームリストとしてＲＡＭ２１３等に保存する。 In S1103, the key frame storage unit 402 lists the key frames set in S 1102 in a predetermined order and stores them in the RAM 213 or the like as a key frame list.

Ｓ１１０４は、現時点のキーフレームリストに基づいてカメラパス情報の作成を開始するかどうかの判定処理である。オペレータが、視点入力装置１０３においてカメラパス情報の作成開始を指示する操作を行ったことに応答して、Ｓ１１０５に進む。 S1104 is a process of determining whether or not to start creating camera path information based on the current key frame list. In response to the operator performing an operation instructing the viewpoint input device 103 to start creating camera path information, the process proceeds to S1105.

Ｓ１１０５では、カメラパス作成部４０３は、キーフレームリストをＲＡＭ２１３等から読み出し、キーフレームリストに含まれる複数のキーフレームの間を埋める補間処理を実行して、カメラパス情報を作成する。Ｓ１１０６では、Ｓ１１０５での補間処理の結果を表す補間曲線が表示装置１０４に出力される（前述の図１０（ｂ）を参照）。 In S1105, the camera path creation unit 403 reads the key frame list from the RAM 213 or the like, executes an interpolation process for filling the space between the plurality of key frames included in the key frame list, and creates camera path information. In S1106, an interpolation curve representing the result of the interpolation processing in S1105 is output to the display device 104 (see FIG. 10B described above).

Ｓ１１０７では、補間処理の条件（以下、単に「補間条件」と呼ぶ。）を変更する指示の有無が判定される。ここで、補間条件の変更指示には、例えば前述の図１０（ａ）のＵＩ画面上での、特定のキーフレームに対応する補正ボタンの押下、補正方法や追加設定を変更する操作が該当する。いずれかのユーザ操作を示す制御信号がＧＵＩ制御部４０４を介して入力されると、Ｓ１１０８に進む。補間条件を変更する操作がされずに不図示のＯＫボタンが操作される等すれば本処理を終了する。 In S1107, it is determined whether or not there is an instruction to change the conditions of the interpolation process (hereinafter, simply referred to as “interpolation conditions”). Here, the instruction for changing the interpolation condition corresponds to, for example, pressing the correction button corresponding to a specific key frame on the UI screen of FIG. 10A described above, and changing the correction method or additional setting. .. When a control signal indicating any user operation is input via the GUI control unit 404, the process proceeds to S1108. If the OK button (not shown) is operated without changing the interpolation condition, this process ends.

Ｓ１１０８では、補間条件の変更指示の内容が、補正ボタンの押下であるかどうかが判定される。入力された制御信号が、特定のキーフレームについて「補正ＯＮ」のユーザ操作がなされたことを示す場合にはＳ１１０９に進む。一方、それ以外のユーザ操作を示す場合には、当該ユーザ操作に係る変更内容を反映した上で補間処理を再実行するべく、Ｓ１１０５に戻る。 In S1108, it is determined whether or not the content of the instruction for changing the interpolation condition is the pressing of the correction button. If the input control signal indicates that the user operation of "correction ON" has been performed for a specific key frame, the process proceeds to S1109. On the other hand, when indicating a user operation other than that, the process returns to S1105 in order to re-execute the interpolation process after reflecting the changed content related to the user operation.

Ｓ１１０９では、カメラパス作成部４０４は、「補正ＯＮ」が指示されたキーフレームについてのフレームの二重登録を行う。例えば、前述の図１０（ａ）のＵＩ画面のようにＫＦ２について「補正ＯＮ」となった場合は、前述のとおりＫＦ２’を二重登録する。キーフレームの二重登録が完了すると、Ｓ１１０５に戻り、補間処理が再実行される。そして、当該再実行によって得られた新たな補間曲線が表示装置１０４に出力され、図１０（ｂ）のＵＩ画面上に表示されることになる。 In S1109, the camera path creation unit 404 double-registers the frame for the key frame for which "correction ON" is instructed. For example, when “correction ON” is set for KF2 as in the UI screen of FIG. 10A described above, KF2 ′ is double-registered as described above. When the double registration of the key frame is completed, the process returns to S1105 and the interpolation process is re-executed. Then, the new interpolation curve obtained by the re-execution is output to the display device 104 and displayed on the UI screen of FIG. 10B.

以上が、本実施形態に係る、カメラパス情報の作成・編集時の処理の流れである。 The above is the flow of processing at the time of creating / editing camera path information according to this embodiment.

＜変形例＞
先の実施形態では、表示された補間処理結果に基づき、オーバーシュートの発生の有無をオペレータが判断していた。しかしながら、オペレータの目視判断に代えて、オーバーシュートの発生の有無を、Ｓ１１０５で得られた補間処理の結果を解析することで自動で検知するようにしてもよい。例えば、前述の図８に示したような地面へ大きく潜り込むようなオーバーシュートであれば、補間曲線における中間フレームにおける仮想視点の位置を表すＺ座標の、その隣接するキーフレームにおける仮想視点の位置を表すＺ座標に対する変化量や変化速度が閾値を超えていないかを判定することで検知可能である。この場合の閾値としては、変化量であれば５．０ｍ、変化速度であれば３．０ｍ／秒といった値を経験則などから予め決めておけばよい。さらには、中間フレームにおける仮想視点のＺ座標が３次元空間の範囲から外れた場合、具体的にはＺ座標がマイナス値になった場合にオーバーシュートが発生したと判定してもよい。このような補間曲線における位置座標の変化に基づいて、オーバーシュートの発生を検知した場合に、その事実を示すメッセージをＧＵＩに表示するなどして、オペレータに対し補正処理の実行指示を促すようにしてもよい。 <Modification example>
In the previous embodiment, the operator determines whether or not overshoot occurs based on the displayed interpolation processing result. However, instead of the operator's visual judgment, the presence or absence of overshoot may be automatically detected by analyzing the result of the interpolation processing obtained in S1105. For example, in the case of an overshoot that largely sneaks into the ground as shown in FIG. 8, the position of the virtual viewpoint in the adjacent key frame of the Z coordinate representing the position of the virtual viewpoint in the intermediate frame in the interpolation curve is set. It can be detected by determining whether the amount of change or the speed of change with respect to the represented Z coordinate does not exceed the threshold value. As the threshold value in this case, a value such as 5.0 m for the amount of change and 3.0 m / sec for the rate of change may be determined in advance from an empirical rule or the like. Further, it may be determined that overshoot has occurred when the Z coordinate of the virtual viewpoint in the intermediate frame is out of the range of the three-dimensional space, specifically, when the Z coordinate becomes a negative value. When the occurrence of overshoot is detected based on the change of the position coordinates in such an interpolation curve, a message indicating the fact is displayed on the GUI to prompt the operator to execute the correction process. You may.

さらには、オーバーシュートが検知された場合に、当該オーバーシュートが抑制されるように補間条件を変更して、補間処理を自動で再実行するようにしてもよい。これにより、オペレータの負担をより軽減することができる。 Further, when an overshoot is detected, the interpolation condition may be changed so that the overshoot is suppressed, and the interpolation process may be automatically re-executed. This makes it possible to further reduce the burden on the operator.

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 (Other examples)
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

１００ 画像処理システム
１０１ 撮像装置
１０２ 画像処理装置
１０３ 視点入力装置
１０４ 表示装置 100 Image processing system 101 Image pickup device 102 Image processing device 103 Viewpoint input device 104 Display device

Claims (16)

複数の撮像装置が行う撮像により得られる複数の撮像画像に基づいて生成される仮想視点映像に係る仮想視点を指定するためのユーザ操作に基づいて決定される前記仮想視点の位置及び前記仮想視点からの視線方向を表すパラメータと、前記複数の撮像装置により撮像が行われる期間における時刻とが対応付けられたキーフレームを生成する第１の生成手段と、
前記第１の生成手段により生成される複数のキーフレームが所定の条件を満たす場合、新たなキーフレームを生成する第２の生成手段と、
前記第１の生成手段及び前記第２の生成手段により生成される複数のキーフレームに基づいて、前記仮想視点の変遷を表す仮想視点情報を生成する第３の生成手段と、
を有することを特徴とする情報処理装置。 From the position of the virtual viewpoint and the virtual viewpoint determined based on a user operation for designating a virtual viewpoint related to a virtual viewpoint image generated based on a plurality of captured images obtained by imaging performed by a plurality of image pickup devices. A first generation means for generating a key frame in which a parameter representing the line-of-sight direction of the above is associated with a time in a period during which an image is taken by the plurality of image pickup devices.
When the plurality of key frames generated by the first generation means satisfy a predetermined condition, the second generation means for generating a new key frame and the second generation means.
A third generation means for generating virtual viewpoint information representing the transition of the virtual viewpoint based on a plurality of key frames generated by the first generation means and the second generation means.
An information processing device characterized by having. 前記所定の条件は、前記第１の生成手段により生成される複数のキーフレームに基づいて生成される仮想視点情報により表される仮想視点の位置及び仮想視点からの視線方向の少なくともいずれかの変遷が、特定の変化を表すことであることを特徴とする請求項１に記載の情報処理装置。 The predetermined condition is at least one of the transition of the position of the virtual viewpoint and the line-of-sight direction from the virtual viewpoint represented by the virtual viewpoint information generated based on the plurality of key frames generated by the first generation means. The information processing apparatus according to claim 1, wherein the information processing apparatus represents a specific change. 前記第２の生成手段は、前記第１の生成手段により生成される複数のキーフレームが前記所定の条件を満たす場合、前記第１の生成手段により生成される複数のキーフレームに対応付けられた時刻とは異なる時刻が対応付けられたキーフレームを新たに生成することを特徴とする請求項１又は２に記載の情報処理装置。 The second generation means is associated with the plurality of keyframes generated by the first generation means when the plurality of keyframes generated by the first generation means satisfy the predetermined conditions. The information processing apparatus according to claim 1 or 2, wherein a key frame associated with a time different from the time is newly generated. 前記第２の生成手段は、前記第１の生成手段により生成される複数のキーフレームが前記所定の条件を満たす場合、前記第１の生成手段により生成される複数のキーフレームのうち少なくとも一つのキーフレームに対応付けられた時刻と同一の時刻が対応付けられたキーフレームを新たに生成することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。 The second generation means is at least one of the plurality of keyframes generated by the first generation means when the plurality of keyframes generated by the first generation means satisfy the predetermined conditions. The information processing apparatus according to any one of claims 1 to 3, wherein a key frame having the same time as the time associated with the key frame is newly generated. 前記第３の生成手段は、スプライン補間又はベジェ補間を用いて前記仮想視点情報を生成することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。 The information processing apparatus according to any one of claims 1 to 4, wherein the third generation means generates the virtual viewpoint information by using spline interpolation or Bezier interpolation. グラフィカルユーザインタフェースを制御する制御手段をさらに備え、
前記制御手段は、前記第１の生成手段及び前記第２の生成手段により生成される複数のキーフレームに基づいて生成される仮想視点情報により表される前記仮想視点の位置及び前記仮想視点からの視線方向の変遷を識別可能な情報を、前記グラフィカルユーザインタフェースに表示する、
ことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。 Further equipped with control means to control the graphical user interface,
The control means is a position of the virtual viewpoint represented by virtual viewpoint information generated based on a plurality of key frames generated by the first generation means and the second generation means, and from the virtual viewpoint. Information that can identify the transition in the line-of-sight direction is displayed on the graphical user interface.
The information processing apparatus according to any one of claims 1 to 5. 前記第２の生成手段は、前記第１の生成手段により生成される複数のキーフレームが所定の条件を満たし、且つ新たなキーフレームを生成するための指示が前記グラフィカルユーザインタフェースを介して入力された場合に、新たなキーフレームを生成することを特徴とする請求項６に記載の情報処理装置。 In the second generation means, a plurality of keyframes generated by the first generation means satisfy a predetermined condition, and instructions for generating a new keyframe are input via the graphical user interface. The information processing apparatus according to claim 6, wherein a new key frame is generated when the key frame is generated. 前記制御手段は、前記第１の生成手段により生成される複数のキーフレームが所定の条件を満たすことを示す情報を前記グラフィカルユーザインタフェースに表示することを特徴とする請求項６又は７に記載の情報処理装置。 4. The control means according to claim 6 or 7, wherein the control means displays information on the graphical user interface indicating that the plurality of key frames generated by the first generation means satisfy a predetermined condition. Information processing device. 前記第１の生成手段により生成される複数のキーフレームが所定の条件を満たすかを判定する判定手段をさらに有し、
前記第２の生成手段は、前記判定手段による判定の結果に基づいて、新たなキーフレームを生成する
ことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。 Further, it has a determination means for determining whether or not the plurality of key frames generated by the first generation means satisfy a predetermined condition.
The information processing apparatus according to any one of claims 1 to 5, wherein the second generation means generates a new key frame based on the result of the determination by the determination means. 前記判定手段は、前記第１の生成手段により生成される複数のキーフレームに基づいて生成される仮想視点情報において、前記複数のキーフレームに対応付けられた時刻とは異なる所定の時刻に対応する仮想視点の位置に基づいて、前記第１の生成手段により生成される複数のキーフレームが所定の条件を満たすかを判定することを特徴とする請求項９に記載の情報処理装置。 The determination means corresponds to a predetermined time different from the time associated with the plurality of key frames in the virtual viewpoint information generated based on the plurality of key frames generated by the first generation means. The information processing apparatus according to claim 9, wherein it is determined whether or not a plurality of key frames generated by the first generation means satisfy a predetermined condition based on the position of the virtual viewpoint. 前記判定手段は、前記第１の生成手段により生成される複数のキーフレームに基づいて生成される仮想視点情報において、前記複数のキーフレームに対応付けられた時刻とは異なる時刻を含む所定の期間に対応する仮想視点の位置の変化量に基づいて、前記第１の生成手段により生成される複数のキーフレームが所定の条件を満たすかを判定することを特徴とする請求項１０に記載の情報処理装置。 The determination means includes a predetermined period including a time different from the time associated with the plurality of key frames in the virtual viewpoint information generated based on the plurality of key frames generated by the first generation means. 10. The information according to claim 10, wherein it is determined whether or not the plurality of key frames generated by the first generation means satisfy a predetermined condition based on the amount of change in the position of the virtual viewpoint corresponding to the above. Processing equipment. 前記判定手段は、前記第１の生成手段により生成される複数のキーフレームに基づいて生成される仮想視点情報において、前記複数のキーフレームに対応付けられた時刻とは異なる時刻を含む所定の期間に対応する仮想視点の位置の変化速度に基づいて、前記第１の生成手段により生成される複数のキーフレームが所定の条件を満たすかを判定することを特徴とする請求項１０又は１１に記載の情報処理装置。 The determination means includes a predetermined period including a time different from the time associated with the plurality of key frames in the virtual viewpoint information generated based on the plurality of key frames generated by the first generation means. 10. The aspect of claim 10 or 11, wherein it is determined whether or not the plurality of key frames generated by the first generation means satisfy a predetermined condition based on the rate of change of the position of the virtual viewpoint corresponding to the above. Information processing equipment. 前記判定手段は、前記所定の時刻に対応する仮想視点の位置が、前記第１の生成手段により生成される複数のキーフレームが所定の条件を満たすと判定することを特徴とする請求項１０乃至１２のいずれか１項に記載の情報処理装置。 10. The determination means is characterized in that the position of the virtual viewpoint corresponding to the predetermined time determines that the plurality of key frames generated by the first generation means satisfy a predetermined condition. The information processing apparatus according to any one of 12. 前記第３の生成手段により生成される仮想視点情報に基づいて、仮想視点映像を生成する第４の生成手段をさらに有することを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。 The information according to any one of claims 1 to 13, further comprising a fourth generation means for generating a virtual viewpoint image based on the virtual viewpoint information generated by the third generation means. Processing equipment. 複数の撮像装置が行う撮像により得られる複数の撮像画像に基づいて生成される仮想視点映像に係る仮想視点を指定するためのユーザ操作に基づいて決定される前記仮想視点の位置及び前記仮想視点からの視線方向を表すパラメータと、前記複数の撮像装置により撮像が行われる期間における時刻とが対応付けられたキーフレームを生成する第１の生成工程と、
前記第１の生成工程において生成される複数のキーフレームが所定の条件を満たす場合、新たなキーフレームを生成する第２の生成工程と、
前記第１の生成工程及び前記第２の生成工程において生成される複数のキーフレームに基づいて、前記仮想視点の変遷を表す仮想視点情報を生成する第３の生成工程と、
を有することを特徴とする情報処理方法。 From the position of the virtual viewpoint and the virtual viewpoint determined based on a user operation for designating a virtual viewpoint related to a virtual viewpoint image generated based on a plurality of captured images obtained by imaging performed by a plurality of image pickup devices. A first generation step of generating a key frame in which a parameter representing the line-of-sight direction of the above is associated with a time in a period during which imaging is performed by the plurality of imaging devices.
When the plurality of key frames generated in the first generation step satisfy a predetermined condition, the second generation step of generating a new key frame and the second generation step
A third generation step of generating virtual viewpoint information representing the transition of the virtual viewpoint based on a plurality of key frames generated in the first generation step and the second generation step.
An information processing method characterized by having. コンピュータを、請求項１乃至１４のいずれか１項に記載の情報処理装置として機能させるためのプログラム。 A program for causing a computer to function as the information processing apparatus according to any one of claims 1 to 14.

Images