JP7458713B2 - Image processing device, image processing system, control method, and program - Google Patents
Image processing device, image processing system, control method, and program Download PDFInfo
- Publication number
- JP7458713B2 JP7458713B2 JP2019091381A JP2019091381A JP7458713B2 JP 7458713 B2 JP7458713 B2 JP 7458713B2 JP 2019091381 A JP2019091381 A JP 2019091381A JP 2019091381 A JP2019091381 A JP 2019091381A JP 7458713 B2 JP7458713 B2 JP 7458713B2
- Authority
- JP
- Japan
- Prior art keywords
- material data
- generation
- image
- information
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 214
- 238000000034 method Methods 0.000 title claims description 129
- 239000000463 material Substances 0.000 claims description 269
- 230000008569 process Effects 0.000 claims description 92
- 238000003384 imaging method Methods 0.000 claims description 66
- 238000012937 correction Methods 0.000 claims description 49
- 238000000605 extraction Methods 0.000 claims description 18
- 230000009467 reduction Effects 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 235000005156 Brassica carinata Nutrition 0.000 description 1
- 244000257790 Brassica carinata Species 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Landscapes
- Studio Circuits (AREA)
- Closed-Circuit Television Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Description
本発明は、仮想視点画像を生成する技術に関するものである。 The present invention relates to a technique for generating virtual viewpoint images.
近年、複数の撮像装置を異なる位置に設置して複数の方向から同期撮影し、当該撮像装置から得られた複数視点画像を用いて、任意の視点に基づく仮想視点画像を生成する技術が注目されている。 In recent years, technology has attracted attention in which multiple imaging devices are installed in different positions to take synchronized images from multiple directions, and the multi-viewpoint images obtained from the imaging devices are used to generate a virtual viewpoint image based on an arbitrary viewpoint. ing.
特許文献1には、複数の撮像装置により撮像された撮像画像と、該撮像画像に基づいて生成される前景テクスチャ画像、背景テクスチャ画像、および三次元モデル等のデータに基づいて仮想視点画像を生成する画像生成装置について記載されている。以降、仮想視点画像を生成するためのデータ(複数の撮像装置により撮像された撮像画像、該撮像画像に基づいて生成される前景テクスチャ画像、背景テクスチャ画像、および三次元モデル等のデータの少なくともいずれかを含む)を、素材データと呼ぶ。
画像処理装置が素材データを生成して画像生成装置に出力し、画像生成装置が取得した素材データに基づいて仮想視点画像を生成する画像処理システムについて考える。このとき画像生成装置が、取得した素材データがどのような処理を経て生成されたかを認識できないと、仮想視点画像の生成処理あるいは品質に問題が生じる恐れがある。例えば、画像生成装置が、生成する仮想視点画像の品質向上のために、取得した素材データを補正する機能を有しているとする。しかしながら画像処理装置が素材データを生成する処理の中ですでに同様の補正を行っていたとしても、画像生成装置は素材データを取得するだけでは、素材データに対し当該補正の処理がすでに行われたことを認識することができない。その結果画像生成装置側で同じ補正を行うことにより、補正処理が重複し、処理時間の増加等を引き起こす恐れがある。また、補正が必要な素材データに対し画像処理装置が補正を行っていなかった場合も、画像生成装置は当該補正の処理が行われていないことを認識することができない。その結果画像生成装置が素材データに対し適切な補正を行うことができず、仮想視点画像の品質が低下する恐れがある。 Consider an image processing system in which an image processing device generates material data, outputs it to an image generation device, and generates a virtual viewpoint image based on the material data acquired by the image generation device. At this time, if the image generation device cannot recognize what kind of processing has been performed to generate the acquired material data, a problem may arise in the generation process or quality of the virtual viewpoint image. For example, assume that the image generation device has a function of correcting acquired material data in order to improve the quality of the virtual viewpoint image to be generated. However, even if the image processing device has already performed similar corrections in the process of generating material data, the image generation device cannot simply acquire the material data and the correction processing has already been performed on the material data. I can't recognize what happened. As a result, by performing the same correction on the image generation device side, there is a risk that the correction processing will be duplicated, resulting in an increase in processing time, etc. Further, even if the image processing device has not performed correction on material data that requires correction, the image generation device cannot recognize that the correction processing has not been performed. As a result, the image generation device may not be able to perform appropriate correction on the material data, and the quality of the virtual viewpoint image may deteriorate.
本発明は、上記の課題に鑑みてなされたものである。その目的は、素材データの生成時に、素材データに対してどのような処理が行われたかを容易に参照できるようにすることである。 The present invention has been made in view of the above problems. The purpose is to make it possible to easily refer to what kind of processing was performed on the material data when the material data was generated.
本発明に係る画像処理装置は、複数の撮像装置により撮像された複数の撮像画像に基づく仮想視点画像を生成するための素材データを生成する画像処理装置であって、前記素材データを生成する素材データ生成手段と、前記素材データ生成手段により生成された素材データと、該素材データの生成処理に係る生成情報とを関連付けて出力する出力手段とを有し、前記生成情報は、前記素材データを生成する処理または前記素材データを補正する処理が前記素材データに実行されたか否かを示す情報を含み、前記出力手段は、前記素材データと前記生成情報とに基づいて仮想視点画像を生成する画像生成装置であって、前記素材データを生成する処理または前記素材データを補正する処理が前記素材データに実行されている場合、前記素材データに対し追加処理を実行せず、前記素材データを生成する処理または前記素材データを補正する処理が前記素材データに実行されていない場合、前記素材データに対し追加処理を実行する前記画像生成装置に前記素材データと前記生成情報とを関連付けて出力することを特徴とする。 An image processing device according to the present invention is an image processing device that generates material data for generating a virtual viewpoint image based on a plurality of captured images captured by a plurality of imaging devices, the image processing device generating the material data for generating the material data. It has a data generation means, and an output means for correlating and outputting the material data generated by the material data generation means and the generation information related to the generation process of the material data, and the generation information includes the material data generated by the material data generation means. The output means includes information indicating whether a process for generating or a process for correcting the material data has been performed on the material data , and the output means generates a virtual viewpoint image based on the material data and the generation information. The image generation device generates the material data without performing additional processing on the material data, when a process of generating the material data or a process of correcting the material data is performed on the material data. or when the process of correcting the material data is not performed on the material data, outputting the material data and the generated information in association with each other to the image generation device that performs additional processing on the material data. It is characterized by
本発明によれば、素材データの生成時に、素材データに対してどのような処理が行われたかを容易に参照することができるようになる。 According to the present invention, it becomes possible to easily refer to what kind of processing has been performed on the material data when the material data is generated.
以下、図面を参照しながら本実施形態について説明する。 This embodiment will be described below with reference to the drawings.
(第1の実施形態)
本実施形態における画像処理システム100が有する画像処理装置110および画像生成装置120のハードウェア構成を、図12を用いて説明する。画像生成装置110は、CPU(中央演算装置)1211、ROM(リードオンリーメモリ)1212、RAM(ランダムアクセスメモリ)1213、補助記憶装置1214、表示部1215、操作部1216、通信I/F1217、およびバス1218を有する。
(First embodiment)
The hardware configuration of the
CPU1211は、ROM1212あるいはRAM1213に格納されているコンピュータプログラムおよびデータを用いて、画像処理装置110の全体を制御する。なお、画像処理装置110がCPU1211とは異なる一または複数の専用のハードウェアを有し、CPU1211による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ASIC(特定用途向け集積回路)、FPGA(フィールドプログラマブルゲートウェイ)、およびDSP(デジタルシグナルプロセッサ)等がある。ROM1212は、変更を必要としないプログラム等を格納する。RAM1213は、補助記憶装置1214から供給されるプログラムおよびデータ、および通信I/F1217を介して外部から供給されるデータ等を一時記憶する。補助記憶装置1214は、例えばハードディスクドライブ等で構成され、画像データおよび音声データ等の様々なデータを記憶する。
The
表示部1215は、例えば液晶ディスプレイ、あるいはLED等で構成され、ユーザが画像処理装置110を操作するためのGUI(グラフィカルユーザインターフェース)等を表示する。操作部1216は、例えばキーボード、マウス、ジョイスティック、およびタッチパネル等で構成され、ユーザによる操作を受けて各種の指示をCPU1211に入力する。CPU1211は、表示部1215を制御する表示制御部、および操作部1216を制御する操作制御部として動作する。通信I/F1217は、画像処理装置110の外部の装置との通信に用いられる。例えば、画像処理装置110が外部の装置と有線で接続される場合には、通信用のケーブルが通信I/F1217に接続される。画像処理装置110が外部の装置と無線通信する機能を有する場合には、通信I/F1217はアンテナを備える。バス1218は、画像処理装置110の各部をつないで情報を伝達する。
The
本実施形態では、表示部1215と操作部1216が画像処理装置110の内部に存在するものとするが、表示部1215と操作部1216との少なくとも一方が画像処理装置110の外部に別の装置として存在していてもよい。
In this embodiment, the
以上が、画像処理装置110のハードウェア構成についての説明である。画像生成装置120におけるCPU1221、ROM1222、RAM1223、補助記憶装置1224、表示部1225、操作部1226、通信I/F1227、および、バス1228についても、それぞれ、画像処理装置110におけるCPU1211、ROM1212、RAM1213、補助記憶装置1214、表示部1215、操作部1216、通信I/F1217、および、バス1218と同様の機能を有する。
The above is a description of the hardware configuration of the
図1は、画像処理システム100の一部の機能構成を説明するための図である。以下、各処理部について説明する。
FIG. 1 is a diagram for explaining the functional configuration of a part of the
撮像装置101は、撮像領域を撮像し、取得した撮像画像を素材データ生成部102に送信する。撮像領域は、例えばサッカーあるいは空手等の競技が行われる競技場、もしくはコンサートあるいは演劇が行われる舞台等である。また、画像処理システム100は複数の撮像装置101を有する。図13は、複数の撮像装置101が配置される一例である。複数の撮像装置101は撮像領域を囲むようにそれぞれ異なる位置に配置され、互いに同期した状態で撮像を行う。また撮像装置101は、ネットワーク等により画像処理装置110と接続されている。なお、複数の撮像装置101は撮像領域の全周にわたって設置されていなくてもよく、設置場所の制限等によっては撮像領域の一部の方向にのみ設置されていてもよい。また、撮像装置101の数は図13に示す例に限定されず、例えば撮像領域をサッカーの競技場とする場合には、競技場の周囲に30台程度の撮像装置101が設置されてもよい。また、望遠カメラと広角カメラ等、機能が異なる撮像装置が設置されていてもよい。
The
素材データ生成部102は、複数の撮像装置101から撮像画像を取得し、該撮像画像に基づいて仮想視点画像を生成するための素材データを生成する。ここで、仮想視点画像とは、撮像領域における任意の視点(仮想視点)からの見えを表す画像である。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に(任意に)指定した仮想視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した仮想視点に対応する画像なども仮想視点画像に含まれる。また素材データとは、仮想視点画像を生成するためのデータであって、撮像装置101によって撮像された撮像画像、および該撮像画像に基づいて生成されるデータのことを示す。撮像画像に基づいて生成される素材データは、例えば、撮像領域における被写体の三次元モデルデータ、および三次元モデルに色付けするためのテクスチャデータ等のデータである。素材データの種類は、上記のデータに限らない。例えば、撮像画像を撮像した撮像装置101のカメラパラメータが素材データに含まれていてもよい。カメラパラメータは、例えば、撮像装置101の位置、向き、および焦点距離等を示すパラメータである。上記のように、素材データは、仮想視点画像の生成のために必要なデータであり、その種類は限定されない。以下、素材データの生成手法について説明する。
The material
素材データ生成部102は、取得した複数の撮像画像から、前景領域を抽出した前景画像を生成する。前景とは、撮像領域における位置が変化する被写体(例えば、スタジアム内におけるボール、および選手等)である。撮像領域における前景以外の被写体を背景とする。前景抽出の手法は、例えば前景に対応する被写体がいない状態の撮像領域を撮像した撮像画像と、前景に対応する被写体がいる状態の撮像領域を撮像した撮像画像との差分を取ることにより、前景領域を抽出することができる。前景を抽出する手法については、上記の例に限定されない。素材データ生成部102は、抽出された前景画像を用いて、前景の三次元モデルを生成する。三次元モデルの生成には、例えば公知技術である視体積交差法などの手法が用いられる。ただし、三次元モデルの生成手法には視体積交差法以外の手法が用いられてもよい。素材データ生成部102は、取得した複数の撮像画像、および、撮像画像に基づいて生成した前景画像および三次元モデル等の素材データを保存部104に送信する。
The material
なお、本実施形態においては仮想視点画像における前景を構成する方法として三次元モデル生成方式を使用する例について記載しているが、前景を構成する方法はこれに限らない。例えば、近接する撮像装置101の間に位置する視点から見た被写体を、当該近接する撮像画像101の位置関係に応じて補間および合成することにより、仮想視点画像における前景を構成するモーフィング処理方式が用いられてもよい。また例えば、前景画像を三次元空間上に射影変換することにより、仮想視点画像における前景を構成するビルボーディング方式が用いられてもよい。モーフィング処理方式およびビルボーディング方式、あるいはその他の手法を使用する場合、必要な素材データの種類は三次元モデル生成方式と異なる。この場合についても、素材データ生成部102は必要な素材データの生成を行い、保存部104へ送信する。
Note that although this embodiment describes an example in which a three-dimensional model generation method is used as a method for configuring the foreground in a virtual viewpoint image, the method for configuring the foreground is not limited to this. For example, a morphing processing method can be used to configure the foreground in a virtual viewpoint image by interpolating and composing a subject viewed from a viewpoint located between
また、素材データ生成部102は、素材データ生成の過程において、仮想視点画像の品質を向上させるための補正処理を行う。以下、素材データ生成部102が行う補正処理の一例と、それぞれの補正処理の方法について説明する。
In addition, the material
歪補正処理は、撮像装置101が有するレンズの光学的な特性により歪みが生じた撮像画像を補正する補正処理である。素材データ生成部102は、撮像装置101が有するレンズの光学的な特性を示すパラメータをあらかじめ取得しておき、歪みが発生した撮像画像に対しパラメータに応じて演算処理を行うことにより、歪みを補正する。
The distortion correction process is a correction process that corrects a captured image that is distorted due to the optical characteristics of a lens included in the
ノイズ削減処理は、撮像画像に発生したノイズを削減する補正処理である。撮像画像のノイズは、例えば、撮像領域が暗い場合に撮像装置101の撮像センサーの感度を上げて撮像を行う場合に発生しやすい。素材データ生成部102は、ノイズが発生した撮像画像に対し、バイラテラルフィルタ等を用いたフィルタ処理を行うことにより、ノイズを削減する。
Noise reduction processing is a correction process that reduces noise that occurs in a captured image. Noise in a captured image is likely to occur, for example, when the imaging area is dark and the sensitivity of the imaging sensor of the
キャリブレーション処理は、複数の撮像装置101が撮像する撮像画像に基づいて、画像処理を用いてカメラパラメータを補正する補正処理である。仮想視点画像は複数の撮像画像に基づいて生成されるため、複数の撮像装置101の位置関係を示すカメラパラメータの精度が高いほど、生成される仮想視点画像の精度も向上する。素材データ生成部102は、複数の撮像装置101から取得した複数の撮像画像に対し、各撮像画像における共通する特徴点を指定する特徴点抽出処理を行う。該指定された共通の特徴点は世界座標における共通の座標である。素材データ生成部102は、共通の座標を利用して当該複数の撮像画像を撮像した複数の撮像装置101の位置関係を把握し、該位置関係に基づいてカメラパラメータを補正する。以上説明したキャリブレーション処理は、撮像領域の撮像の開始時に撮像装置101の位置関係を取得するときに行われる。また画像処理システム100の動作中に撮像装置101が振動等により位置または向き等が変化した場合に、カメラパラメータを補正する目的で行われる。
The calibration process is a correction process that corrects camera parameters using image processing based on captured images captured by the plurality of
振動補正処理は、撮像装置101の振動により発生する、撮像画像どうしの位置ずれを補正する処理である。撮像装置101が撮像中に振動することにより、撮像装置101の位置あるいは向きがずれる場合がある。これにより撮像位置がずれるため、撮像装置101が連続して撮像を行ったときに撮像画像どうしの位置ずれが発生する。撮像画像どうしの位置ずれが発生すると、撮像画像に基づいて生成される素材データの品質が低下したり、当該撮像画像を用いて仮想視点画像の動画を生成した時に動画の映像が振動したりする恐れがある。素材データ生成部102は、例えば、撮像装置101が有するジャイロセンサに基づいて振動量を取得したり、連続して撮像した撮像画像を参照し、撮像画像どうしの特徴点のずれに基づいて振動量を算出したりすることが可能である。素材データ生成部102は、取得あるいは算出した振動量に基づいて撮像画像に対し画像処理を行うことにより、撮像画像どうしの位置ずれを補正する。上記は位置ずれが発生した撮像画像に対し補正を行う処理の例であるが、撮像装置101が、撮像画像どうしの位置ずれを発生させないための機能を有していてもよい。撮像画像どうしの位置ずれを発生させないための機能は、例えば、光学式手ぶれ補正機能などがある。撮像装置101が、撮像画像どうしの位置ずれを発生させないための機能を有する場合、撮像装置101は、撮像時に振動補正処理を行ったことを素材データ生成部102へ通知する。
The vibration correction process is a process for correcting positional deviations between captured images caused by vibrations of the
以上説明したように、素材データ生成部102は素材データの生成過程において素材データの補正処理を行う。上記の説明においては一例として撮像画像およびカメラパラメータの補正処理について述べたが、素材データ生成部102が補正する素材データはこれに限定されない。例えば素材データ生成部102が前景画像を生成した際に、本来であれば背景として分離されるべき領域がノイズとして前景画像に含まれる場合がある。このとき素材データ生成102は、前景以外のノイズを除去する補正処理を行うことが可能である。なお、上記の補正処理の種類及び補正方法は一例であり、素材データ生成部102が他の補正処理を行ったり、他の補正方法を使用したりしてもよい。他の補正処理としては、例えば色情報を補正する色補正処理等がある。また、補正処理は必須の処理ではないため、素材データ生成部102が補正処理を行わずに素材データを生成する場合もある。
As explained above, the material
生成情報取得部103は、素材データ生成部102が素材データを生成する際の生成処理に係る情報を素材データ生成部102から取得する。生成処理に係る情報(以下、生成情報と呼ぶ)は、画像処理装置110が実行した処理を特定可能な情報である。生成情報は、例えば、素材データ生成部102が素材データ生成処理において行う処理の種別を示す情報、および当該処理を行ったか否かを示す情報等である。素材データ生成部102が行う処理の種別とはすなわち、前景抽出処理、三次元モデル生成処理、歪補正処理やノイズ削減処理等の補正処理、あるいは、上記の処理に用いられる手法を示す情報である。上記の処理は最終的に仮想視点画像を生成するために行われる画像処理であり、後述する画像生成装置120が上記の処理を行う構成であってもよい。しかしながら、画像処理装置110と画像生成装置120との間で何の処理が行われたか、あるいは行われていないかについての整合性をとる必要がある。生成情報を取得することにより、画像生成装置120は生成情報を参照し、仮想視点画像の生成時に行うべき処理を行うことができるようになる。生成情報取得部103は、取得した生成情報を保存部104へ送信する。
The generation
保存部104は、素材データ生成部102および生成情報取得部103から取得した素材データおよび生成情報を保存する。保存部104はストレージデバイスであるとする。保存部104は例えば、Hard Disk Drive(HDD)、Solid State Drive(SSD)、あるいはフラッシュメモリ等により構成される。保存部104は単一のデバイスであってもよいし、複数のデバイスの集合体であってもよい。また保存部104は、複数種類のデバイスにより構成されていてもよいし、ネットワーク上に仮想化されたクラウド上のデバイスでもよい。
The
関連付け部105は、保存部104に保存されている素材データと、該素材データの生成処理に係る情報(生成情報)とを関連付ける処理を行い、関連付けを行ったデータを保存部104へ出力する。関連付けの一例として、素材データに対し生成情報をメタデータとして付与した素材データファイルを生成する方法について説明する。
The
図2は、関連付け部105が生成する素材データファイルの構成の一例を説明するための図である。素材データ201には、素材データ生成部102において生成された前景画像および三次元モデル、および、カメラパラメータ等の素材データが含まれる。素材データ201に付与されるメタデータ202には、素材データ201に含まれる素材データの生成処理に係る生成情報203が含まれる。生成情報203には、素材データの生成時に行われる処理の種類を示す処理情報204と、該処理に係るパラメータ205とが含まれる。処理情報204には、素材データの生成手法あるいは補正処理を示す情報が含まれる。パラメータ205には、対応する処理を行う際に使用された処理パラメータが含まれる。また、処理が行われなかった場合、当該処理を示す処理情報204に対応するパラメータ205には、当該処理が行われなかったことを示すパラメータが含まれる。図2が示す例において、処理Aおよび処理Cは素材データ生成部102によって行われ、処理Bは行われなかったことがわかる。パラメータ205に含まれるパラメータは、例えば、処理が行われなかった場合は「0」になる等、特定の状態と対応付けた符号であってもよい。
2 is a diagram for explaining an example of the configuration of a material data file generated by the
図3を用いて、関連付け部105が生成する素材データファイルの構成の別の一例について説明する。素材データ301には素材データが含まれる。また、メタデータ302には素材データ301に含まれる素材データの生成処理に係る生成情報303が含まれる。生成情報303には、素材データの生成時に行われる処理の内容を示す処理情報304と、該処理に係るパラメータ306が格納された場所を示すポインタ情報305とが含まれる。ポインタ情報305が示す場所に、対応する処理に使用されたパラメータ、あるいは処理が行われなかったことを示すパラメータが格納されている。図3のような構成にすることにより、生成情報303を表す符号が固定長となり、素材データの構造が設計しやすくなるという利点がある。
Another example of the structure of the material data file generated by the
図4を用いて、関連付け部105が生成する素材データファイルの構成の別の一例について説明する。図4における素材データ401、メタデータ402、生成情報403、および、生成情報403に含まれる処理情報404およびパラメータ405の機能は、それぞれ図2における素材データ201、メタデータ202、生成情報203、処理情報204、パラメータ205と同様である。生成情報403には、処理情報404およびパラメータ405の他に、規格情報406が含まれる。規格情報406は、処理情報404が示す処理の内容について補足する情報である。例えば、ノイズ削減処理という一つの処理であっても各種のアルゴリズムが存在するため、どのアルゴリズムに基づいて補正処理を行ったかを示す情報を付与することで生成処理の内容をより詳細に把握できるようになる。一般的に多く使用される処理は規格が定義されている場合が想定される。したがって、処理情報404が示す処理が規格に基づいた処理である場合、規格情報406には、当該規格を示す情報が含まれる。また処理情報404が示す処理が、一般的な規格で定義されていない、システム独自の処理である場合は、規格情報406には、規格が定義されていない方法に基づく処理であることを示す情報が含まれる。このとき、システム独自の規定が定義されている場合は、当該独自の規定を示す情報が規格情報406に含まれていてもよい。なお、パラメータ405が、図3におけるポインタ情報305と同様の構成になっていてもよい。
Another example of the structure of the material data file generated by the
図5を用いて、関連付け部105が生成する素材データファイルの構成の別の一例について説明する。以降、仮想視点画像を示す単位としてフレームという用語を使用する。すなわち、一つの仮想視点画像が1フレームに対応する。フレームを複数組み合わせることにより、仮想視点画像の動画を生成することもできる。素材データは、1フレーム分の仮想視点画像を生成するためのデータごとにまとめて使用される場合が多いため、素材データと生成情報の関連付けについてもフレーム単位で行うことにより、素材データの扱いが容易になる。図5は、60fps(frame per second)のフレームレートにしたがって素材データが生成される場合の、素材データファイルの構成の一例である。fpsは、フレームレートの単位であり、撮像画像が1秒間に何フレーム分撮像されるかを示す単位である。したがって、1フレーム分の素材データとは、1/60秒に対応する素材データである。素材データ501には、1フレーム分の素材データが含まれる。メタデータ502には、素材データ501に含まれる素材データの生成処理に係る生成情報503が含まれる。生成情報503の構成は、図2における生成情報203、図3における生成情報303、あるいは図4における生成情報403の構成と同様である。また、メタデータ502には、時刻情報504が含まれる。時刻情報504は、素材データ501に含まれる素材データがどの時刻のフレームに対応する素材データなのかを示す情報である。図5の例においては、T=1/60秒とし、撮像タイミング505に示すように、撮像画像がT=1、T=2、・・・のタイミングで撮像されている。素材データ501に含まれる素材データはT=0に対応する素材データであるので、時刻情報504は「T=0」を示す情報となる。時刻情報504のフォーマットとしては、例えば、SMPTE(Society of Motion Picture and Television Engineers)によって規格化されたタイムコード等がある。ただし、フォーマットはこれに限定されない。T=1、T=2、・・・に対応する素材データファイルの構成も、同様の構成となる。図5に示す構成により、例えば任意のフレームのみに対応する素材データを使用したり、連続する複数のフレームに対応する素材データをまとめて使用したりする場合にも、それぞれの素材データに関連付けられた生成情報を参照しやすいという効果がある。
Using FIG. 5, another example of the configuration of the material data file generated by the
図6を用いて、関連付け部105が生成する素材データファイルの構成の別の一例について説明する。図6の例においては、撮影タイミングT=0~T=N-1に対応するフレームの素材データは、同じ生成処理によって生成されたものとする。このとき、T=0~T=N-1に対応する素材データは、同じ生成情報が関連付けられる。したがって、生成情報が同じであるフレームをまとめてフレームセットとし、フレームセットに対し生成情報を関連付ける構成とすることが可能である。フレームセット601には、T=0~T=N-1に対応するフレームの素材データが含まれている。各素材データ602にはメタデータ603が付与されている。メタデータ603には、図5における時刻情報504と同様の時刻情報が含まれており、フレームセットに含まれるフレームがどの撮影タイミングに対応するフレームであるかを区別できるようになっている。フレームセット601に対してもメタデータ604が付与される。メタデータ604には、生成情報605が含まれる。生成情報605の構成は、図2における生成情報203、図3における生成情報303、あるいは図4における生成情報403の構成と同様である。データセット601に対し生成情報605が関連付けられることにより、データセット601に含まれる素材データが、生成情報605によって示される共通の処理によって生成されたことがわかる。また、T=Nにおいて生成情報が変化したとする。生成情報が変化するタイミングは、例えば、素材データの生成処理の内容が変更されたタイミング、あるいは、処理に係るパラメータが変更されたタイミングである。次にT=Mにおいて生成情報が変化するまで、生成情報はT=N~T=M-1において同じとなる。したがって、フレームセット606にはT=N~T=M-1に対応するフレームの素材データが含まれ、フレームセット606に付与されるメタデータ607には変化後の生成情報608が含まれる。以降の撮影タイミングに対応するフレームについても、同様の構成となる。図6のような構成にすることにより、共通する生成処理に対応する素材データを使用することが容易になる。また、フレームセットに生成情報を付与することにより、フレーム一つ一つに生成情報を付与する必要がなくなり、素材データファイルのデータ量が削減される効果がある。
Another example of the structure of the material data file generated by the
図7を用いて、関連付け部105が生成する素材データファイルの構成の別の一例について説明する。図7に示す素材データファイルは、一定数のフレーム(Nフレーム)をまとめてフレームセットとし、該フレームセットに対して生成情報を関連付ける構成となっている。フレームセット701には、T=0~T=N-1に対応するN個のフレームが含まれる。それぞれのフレームの素材データ702には、メタデータ703が付与される。メタデータ703には、図5における時刻情報504と同様の時刻情報が含まれる。フレームセット701にはメタデータ704が付与され、該メタデータ704には時間範囲情報705および生成情報706が含まれる。生成情報706の構成は、図2における生成情報203、図3における生成情報303、あるいは図4における生成情報403の構成と同様である。時間範囲情報705は、対応する生成情報706がどの撮影タイミングにおける生成情報なのかを示す情報である。例えば、T=0~T=N-1の間における撮影タイミングである、T=n~T=mの間で生成情報が同じである場合、時間範囲情報705は、T=n~T=mの時間範囲を表す情報となる。またこのときの時間範囲情報705に対応する生成情報706には、T=n~T=mに対応する素材データに係る生成情報が含まれる。T=N以降のフレームについても同様に、Nフレームごとにフレームセットが構成され、メタデータが付与される。図7のような構成にすることにより、一定の時間範囲に応じて素材データを使用することが容易になる。
Another example of the structure of the material data file generated by the
以上説明した素材データファイルの構成の他にも、素材データに基づいて生成される仮想視点画像におけるシーンごとにフレームをまとめたフレームセットを構成し、該フレームセットに生成情報を関連付けてもよい。仮想視点画像におけるシーンは例えば、スポーツの試合に関する仮想視点画像におけるゴールシーン、試合の開始時、あるいは選手交代などがある。シーンの種類はこれに限定されない。仮想視点画像を利用するユーザによって要求されるシーンは異なることが想定されるため、ユーザが要求するシーンに応じてフレームセットの構成を変更してもよい。 In addition to the configuration of the material data file described above, a frame set may be configured in which frames are grouped together for each scene in a virtual viewpoint image generated based on the material data, and generation information may be associated with the frame set. Scenes in the virtual viewpoint image include, for example, a goal scene in a virtual viewpoint image related to a sports match, the start of a match, or a change of players. The type of scene is not limited to this. Since it is assumed that different scenes are requested by users who use virtual viewpoint images, the configuration of the frame set may be changed depending on the scenes requested by the users.
以上説明した素材データファイルを生成することにより、共通のファイルフォーマットに準拠する他の画像処理装置、あるいは他の画像生成装置にも素材データが適用可能になるという効果がある。また、素材データの一部を扱う、あるいはまとめて扱う等の場合に、扱いが容易になるという効果がある。なお、素材データと生成情報とが必ずしも同じファイルである必要はない。例えば、図2から図7におけるメタデータに含まれる情報が、素材データとは別のファイルとして生成されてもよい。また、関連付け部105が行う素材データと生成情報との関連付けの方法は、素材データと生成情報とが紐づけられ、参照可能な状態になっていればよく、上記の方法に限定されない。関連付けが行われた素材データおよび生成情報は、保存部104に出力される。
By generating the material data file as described above, there is an effect that the material data can be applied to other image processing devices or other image generation devices that conform to a common file format. Furthermore, it has the effect of facilitating handling when handling part of the material data or handling them all at once. Note that the material data and the generated information do not necessarily need to be the same file. For example, the information included in the metadata in FIGS. 2 to 7 may be generated as a file separate from the material data. Further, the method of associating the material data and the generated information performed by the associating
図8は、図1に示す画像処理システム100の一部が実行する処理を説明するためのフローチャートである。CPU1211がプログラムを実行することにより、図8に示す処理が行われる。以降、処理ステップを単にSと表記する。撮像装置101が撮像を開始すると、処理が開始される。S801において、撮像装置101は、撮像領域を撮像する。S802において、素材データ生成部102は、複数の撮像装置101から撮像画像を取得する。S803において、素材データ生成部102は、素材データの生成処理を行い、生成した素材データを保存部104に保存する。このときの素材データ生成部102が行う生成処理は、撮像画像に基づいて素材データを生成する処理と、素材データを生成する過程で行われる補正処理との少なくともいずれかである。S804において、生成情報取得部103は、素材データ生成部102が行った生成処理に係る生成情報を、素材データ生成部102から取得し、取得した生成情報を保存部104に保存する。S805において、関連付け部105は、保存部104に保存された素材データと、該素材データに係る生成情報とを関連付ける処理を行う。上述したように、関連付ける方法は特定の手法に限定されない。S806において、関連付け部105は、関連付けを行った素材データと生成情報とを保存部104に出力する。以上で、処理が終了する。
Figure 8 is a flowchart for explaining the processing executed by a part of the
なお、本実施形態においては素材データと該素材データに関連付けられた生成情報とを保存部104に出力する場合について説明したが、保存部104を介さずに後述する画像生成装置120に直接出力する構成としてもよい。また、本実施形態においては、保存部104と関連付け部105とが画像処理装置110の内部に含まれているが、保存部104および関連付け部105の一方または両方が画像処理装置110の外部に接続されている構成であってもよい。
Note that in this embodiment, a case has been described in which material data and generation information associated with the material data are output to the
次に、画像処理システム100が有する画像生成装置120の機能構成について説明する。図9は、画像処理システム100が有する画像生成装置120の機能構成について説明するための図である。以下、各処理部について説明する。
Next, the functional configuration of the
生成情報抽出部901は、保存部104に保存された素材データに関連付けられた生成情報を取得する。例えば、素材データと生成情報とが一つの素材データファイルとして保存されている場合は、生成情報抽出部901は、素材データファイルから生成情報に関するデータを抽出する処理を行う。生成情報抽出部901は、抽出した生成情報を画像生成部903に送信する。
The generation
仮想視点指定部902は、ユーザによる操作等に基づき、仮想視点情報を決定する。ここで、仮想視点情報とは、撮像領域内における任意の視点(仮想視点)の位置および向きを示す情報である。仮想視点情報は、仮想視点の三次元位置を表すパラメータと、パン、チルト、及びロール方向における仮想視点の向きを表すパラメータとを含む、パラメータセットである。仮想視点情報の内容は上記に限定されない。例えば、仮想視点情報としてのパラメータセットには、仮想視点の視野の大きさ(画角)を表すパラメータが含まれてもよい。仮想視点指定部902は、例えば、タッチパネル、ボタン、およびキーボード等の、内部または外部に接続される入力装置からの入力を受け付ける。仮想視点指定部902は、ユーザによる入力装置の操作等に基づいて決定される仮想視点の位置および向き等の情報、および、生成される仮想視点画像に対応する時刻等の仮想視点情報を決定し、該仮想視点情報を画像生成部903に送信する。このとき、ユーザによる入力操作によって決定される仮想視点情報に基づいて生成される仮想視点画像は、表示部904に表示される。ユーザは、表示部904に表示される仮想視点画像を見ながら入力操作を行うことができる。
The virtual
画像生成部903は、保存部104に保存されている素材データ、および、仮想視点指定部902から送信される仮想視点情報に基づいて、仮想視点画像を生成する。このとき、生成情報抽出部901から送信される生成情報に基づいて、追加処理を行うか否かを判断する。追加処理が必要であると判断した場合、画像生成部903は、追加処理を行う。例えば、生成情報に、素材データの生成処理において前景抽出処理が行われていないことを示す情報が含まれているとする。この場合、画像生成部903は追加処理が必要であると判断し、生成情報と関連付けられている素材データに対し前景抽出処理を追加処理として行う。また例えば、生成情報に、歪補正処理が行われたことを示す情報が含まれているとする。この場合、画像生成部903は、歪補正処理を追加で行う必要がないと判断する。
The
素材データに係る生成情報がない場合、画像生成部903は素材データがどのような処理を経て生成されたのかを知ることができない。このときに生じる問題点について説明する。例えば、本実施形態においては、画像処理装置110が前景抽出処理を行い、画像生成装置120が前景抽出処理の行われた素材データに基づいて仮想視点画像を生成する。しかしながら別の実施形態として仮想視点画像を生成する装置側で前景抽出処理を行う場合、素材データを生成する装置は、前景抽出処理を行わなくてもよい。素材データを生成する装置と仮想視点画像を生成する装置とで素材データの生成処理の整合性がとれていれば問題はないが、必ずしも整合性が取れた状態であるとは限らない。したがって、例えば前景抽出が行われていないことを画像生成部903が知ることができないと、画像生成部109は前景抽出がされていない素材データを前景抽出済みのデータとして使用し、仮想視点画像の生成ができなくなる恐れがある。また例えば、素材データに対し歪補正処理が行われていることを画像生成部903が知ることができないと、画像生成部109は追加処理として素材データに対し歪補正処理を行う場合がある。この場合、歪補正処理が重複し、仮想視点画像生成全体の処理時間が長くなったり、生成される仮想視点画像の精度が低下したりする恐れがある。また、本実施形態においては三次元モデル生成方式にしたがって素材データを生成する例について記載しているが、画像生成装置が三次元モデル生成方式に対応していない場合なども起こりうる。この場合も、生成情報がなければ、画像生成部903は素材データが何の方式にしたがって生成されたデータなのかを知ることができない。その結果、画像生成部903は仮想視点画像を生成することができなくなる恐れがある。素材データに生成情報が関連付けられることにより、画像生成部903は生成情報を参照することができ、上記のような問題が解決される。また、例えば補正処理のように必須ではない処理について、画像処理部903は生成情報を参照し、処理時間あるいは処理負荷等を考慮して追加処理を行うか否かを判断することも可能である。
If there is no generation information related to material data, the
画像生成部903が行う仮想視点画像の生成処理の一例について説明する。画像生成部903は、仮想視点指定部902から送信された仮想視点情報に基づき、仮想視点画像における被写体の座標を算出する。また画像生成部903は、撮像装置101のカメラパラメータに基づき、実際の撮像領域における被写体の座標を算出する。画像生成部903は、前記算出した被写体の座標と、複数の撮像装置101が撮像する被写体の色とに基づき、色の選定、あるいは複数の色のブレンドを行うことにより、仮想視点画像における被写体の色を決定する。画像生成部903は、決定した仮想視点画像上における被写体の色を、保存部104から取得した三次元モデルに着色することにより、仮想視点画像を生成する。生成された仮想視点画像は、表示部904に表示される。なお、以上説明した仮想視点画像の生成方法は、三次元モデル生成方式を使用した場合の例であるが、三次元モデル生成方式以外の手法を使用する場合の仮想視点画像の生成方法は、この限りではない。
An example of the virtual viewpoint image generation process performed by the
図10は、画像生成装置120が実行する処理を説明するためのフローチャートである。CPU1221がプログラムを実行することにより、図10に示す処理が行われる。仮想視点指定部1202がユーザによる仮想視点情報を決定するための入力操作等を検出すると、処理が開始される。S1001において、仮想視点指定部902は、ユーザによる入力操作等に基づいて仮想視点情報を決定し、画像生成部903へ送信する。S1002において、画像生成部903は、仮想視点指定部902から取得した仮想視点情報に基づいて、必要な素材データを保存部104から取得する。S1003において、生成情報抽出部901は、画像生成部903が取得した素材データと関連付けられた生成情報を取得し、画像生成部903へ送信する。S1004において、画像生成部903は、取得した生成情報に基づいて、追加処理が必要か否かを判断する。追加処理が必要であると判断した場合、S1005へ処理を進める。追加処理が必要ないと判断した場合、S1006へ処置を進める。S1005において、画像生成部903は、生成情報に基づいて追加処理を行う。S1006において、画像生成部903は、取得した素材データを使用して仮想視点画像を生成し、表示部904へ出力する。S1007において、表示部904は、画像生成部903により出力された仮想視点画像を表示する。S1008において、画像生成処置装置120は、ユーザによる入力操作等に基づいて、仮想視点画像の生成処理を終了するか否かを判断する。仮想視点画像の生成処理を終了すると判断した場合、処理を終了する。終了しないと判断した場合、再度S1001以降の処理を実行する。
FIG. 10 is a flowchart for explaining the processing executed by the
なお、本実施形態においては、表示部904が画像生成装置120の内部に含まれているが、表示部904は画像生成装置120の外部に接続される構成であってもよい。
Note that in this embodiment, the
以上説明したように、素材データの生成処理に係る生成情報を素材データと関連付けることにより、素材データの生成時の処理内容を知ることができるようになる。また、生成情報を参照することにより、画像生成装置が素材データを用いて仮想視点画像を生成する際に必要な追加処理を行うことができるようになる。 As described above, by associating the generation information related to the process of generating material data with the material data, it becomes possible to know the details of the process at the time of generating the material data. Further, by referring to the generation information, the image generation device can perform additional processing necessary when generating a virtual viewpoint image using material data.
(第2の実施形態)
本実施形態において、素材データおよび該素材データに基づいて生成される仮想視点画像に関する情報をユーザに提供する画像処理システム100について説明する。なお、本実施形態における画像処理システム100のハードウェア構成および機能構成は第1の実施形態と同様であるものとする。また、本実施形態においては、第1の実施形態と処理が異なる部分についてのみ説明を行う。
Second Embodiment
In this embodiment, an
画像生成部903は、生成情報抽出部902から取得した生成情報に基づき、素材データおよび該素材データに基づいて生成される仮想視点画像に関する情報を表示部904に表示させる。図11は、表示部904が表示する情報の一例を説明するための図である。表示部904は、画像生成部903が生成した仮想視点画像のサムネイル1101、仮想時点画像の品質情報1103~1105、および素材データの生成処理に係る生成情報1106を表示する。画像生成部903は、素材データと、該素材データに関連付けられた生成情報とに基づいて仮想視点画像を生成し、生成した仮想視点画像をサムネイル1101として表示部904に表示させる。このとき、例えば素材データのフォーマットに対応していない等の理由により画像生成部903が仮想視点画像を生成できない場合、仮想視点画像が生成できなかったことを示す情報1102を表示部904に表示させる。また、画像生成部903は、素材データに係る生成情報と、生成情報に基づいて判断した仮想視点画像の品質に関する情報とを、表示部904に表示させる。例えば図11において、品質情報1103は、生成された仮想視点画像の品質が良好であることを表している。仮想視点画像の品質は、素材データの生成時に行われた補正処理の有無、冗長な処理がされていないか、あるいは補正処理に使用されたパラメータが適切であったかどうか等に基づいて判断される。また、品質情報1103に対応する生成情報1106は「歪補正有、ノイズリダクション強、ボクセルサイズ5mm」と表示されている。該生成情報によれば、ユーザは、該当する仮想視点画像は素材データの生成時に歪補正処理およびノイズ削減処理(ノイズリダクション)が行われたこと、また三次元モデルの解像度(ボクセルサイズ)が5mmであることを知ることができる。ここでいう解像度(ボクセルサイズ)は、実空間を単位体積の立方体(ボクセル)で区切った時の、ボクセルの一辺の長さで表される。すなわち、解像度(ボクセルサイズ)が5mmであるとき、三次元モデルは一辺が5mmであるボクセルの集合によって構成される。ただし、解像度の表し方は上記に限定されない。また例えば品質情報1104は、仮想視点画像が生成されたが、品質が所定の基準より低いことを表している。品質情報1105は、画像生成部903が仮想視点画像を生成できなかったことを表している。なお、表示される生成情報1106は、画像生成部903が追加処理を行った場合、該追加処理の結果を反映させた生成情報を表示するようにしてもよい。例えば、生成情報抽出部901が抽出した生成情報が「歪補正処理なし」であったため、画像生成部903が追加処理として歪補正処理を行った場合、表示部904は対応する生成情報1106に「歪補正有」と表示してもよい。
Based on the generation information acquired from the generation
以上説明したように、画像生成部903が素材データおよび該素材データに基づいて生成される仮想視点画像に関する情報を表示部904に表示させることにより、ユーザが生成する仮想視点画像を決定する際の補助となる情報を提供することができるようになる。ユーザは、表示された情報を参照しながら、所望の仮想視点画像を生成することができる。
As described above, the
(その他の実施形態)
上述の実施形態においては、画像処理装置110と画像生成装置120とが別々の装置であるシステムについて説明したが、これに限らない。画像処理装置110および画像生成装置120が同じ装置に含まれていてもよい。また、画像処理装置110または画像生成装置120に含まれる処理部の一部が別の装置として接続されていてもよい。さらに、画像処理装置110の機能が複数の撮像装置101のそれぞれに組み込まれ、画像処理装置110における各処理部と同様の処理を行う構成としてもよい。
(Other embodiments)
In the above embodiment, a system in which the
また、上述の実施形態においては、生成情報が処理の種別を示す情報および画像処理装置110が当該処理を行ったか否かを示す情報を含む例について説明したが、生成情報に含まれる情報は上記に限らない。例えば画像生成装置120が、画像処理装置110と画像生成装置120との間で行うべき処理についてあらかじめ設定されている場合、生成情報は、画像処理装置110が実行した処理の種別を示す情報のみを含んでいてもよい。画像生成装置120は生成情報を参照することにより、生成情報に含まれていない処理種別については画像処理装置110において実行されていないと判断し、適切な追加処理を行うことができる。また上記の例においては、生成情報は画像処理装置110が実行しなかった処理の種別を示す情報のみを含んでいてもよい。画像生成装置120は、生成情報に含まれていない処理種別については画像処理装置110において実行されたものと判断し、適切な追加処理を行うことができる。上記の例のように、生成情報は、素材データに対して実行された処理を特定可能な情報であればよい。
Further, in the above-described embodiment, an example was described in which the generated information includes information indicating the type of processing and information indicating whether the
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 The present invention provides a system or device with a program that implements one or more of the functions of the embodiments described above via a network or a storage medium, and one or more processors in the computer of the system or device reads and executes the program. This can also be achieved by processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
以上説明したように、本発明によれば、素材データと該素材データの生成処理に係る生成情報とを関連付けることにより、素材データの生成時にどのような画像処理が行われたか、あるいは行われていないかを知ることができるようになる。また、素材データに関連付けられた生成情報を参照することにより、画像生成装置が素材データを用いて仮想視点画像を生成する際に適切な処理を行うことができるようになる。 As described above, according to the present invention, by associating material data with generation information related to the generation process of the material data, it is possible to determine what kind of image processing was performed or not performed when the material data was generated. You will be able to know if there are any. Further, by referring to the generation information associated with the material data, the image generation device can perform appropriate processing when generating a virtual viewpoint image using the material data.
102 素材データ生成部
103 生成情報取得部
105 関連付け部
110 画像処理装置
102 Material
Claims (16)
前記素材データを生成する素材データ生成手段と、
前記素材データ生成手段により生成された素材データと、該素材データの生成処理に係る生成情報とを関連付けて出力する出力手段と
を有し、
前記生成情報は、前記素材データを生成する処理または前記素材データを補正する処理が前記素材データに実行されたか否かを示す情報を含み、
前記出力手段は、前記素材データと前記生成情報とに基づいて仮想視点画像を生成する画像生成装置であって、前記素材データを生成する処理または前記素材データを補正する処理が前記素材データに実行されている場合、前記素材データに対し追加処理を実行せず、前記素材データを生成する処理または前記素材データを補正する処理が前記素材データに実行されていない場合、前記素材データに対し追加処理を実行する前記画像生成装置に前記素材データと前記生成情報とを関連付けて出力する
ことを特徴とする画像処理装置。 An image processing device that generates material data for generating a virtual viewpoint image based on a plurality of captured images captured by a plurality of imaging devices,
Material data generation means for generating the material data;
an output means that associates and outputs the material data generated by the material data generation means and generation information related to the generation process of the material data;
The generation information includes information indicating whether a process of generating the material data or a process of correcting the material data has been performed on the material data,
The output means is an image generation device that generates a virtual viewpoint image based on the material data and the generation information, and the output means performs a process of generating the material data or a process of correcting the material data on the material data. If the material data has been processed, no additional processing is performed on the material data, and if no processing for generating the material data or processing for correcting the material data has been performed on the material data, additional processing is performed on the material data. An image processing apparatus characterized in that the material data and the generation information are outputted in association with each other to the image generation apparatus that executes the process.
前記取得手段により取得された前記素材データと前記生成情報とに基づいて仮想視点画像を生成する画像生成手段と
を有する前記画像生成装置と、
請求項1乃至11のいずれか1項に記載の画像処理装置
とを有することを特徴とする画像処理システム。 An acquisition means for acquiring the material data and generation information associated with the material data;
the image generating device having an image generating means for generating a virtual viewpoint image based on the material data and the generation information acquired by the acquisition means;
An image processing system comprising the image processing device according to any one of claims 1 to 11.
前記取得手段により取得された前記生成情報に基づいて、前記追加処理を行うか否かを判断することを特徴とする請求項12に記載の画像処理システム。 The image generating means includes:
13. The image processing system according to claim 12, wherein it is determined whether or not to perform the additional processing based on the generation information acquired by the acquisition means.
前記素材データを生成する素材データ生成工程と、
前記素材データ生成工程により生成された素材データと、該素材データの生成処理に係る生成情報とを関連付けて出力する出力工程と
を有し、
前記生成情報は、前記素材データを生成する処理または前記素材データを補正する処理が前記素材データに実行されたか否かを示す情報を含み、
前記出力工程は、前記素材データと前記生成情報とに基づいて仮想視点画像を生成する画像生成装置であって、前記素材データを生成する処理または前記素材データを補正する処理が前記素材データに実行されている場合、前記素材データに対し追加処理を実行せず、前記素材データを生成する処理または前記素材データを補正する処理が前記素材データに実行されていない場合、前記素材データに対し追加処理を実行する前記画像生成装置に前記素材データと前記生成情報とを関連付けて出力する
ことを特徴とする制御方法。
A method for controlling an image processing device that generates material data for generating a virtual viewpoint image based on a plurality of captured images captured by a plurality of imaging devices, the method comprising:
a material data generation step of generating the material data;
an output step of correlating and outputting the material data generated by the material data generation step and generation information related to the generation process of the material data;
The generation information includes information indicating whether a process of generating the material data or a process of correcting the material data has been performed on the material data,
The output step is an image generation device that generates a virtual viewpoint image based on the material data and the generation information, and includes performing a process of generating the material data or a process of correcting the material data on the material data. If the material data has been processed, no additional processing is performed on the material data, and if no processing for generating the material data or processing for correcting the material data has been performed on the material data, additional processing is performed on the material data. A control method characterized in that the material data and the generation information are outputted in association with each other to the image generation device that executes the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019091381A JP7458713B2 (en) | 2019-05-14 | 2019-05-14 | Image processing device, image processing system, control method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019091381A JP7458713B2 (en) | 2019-05-14 | 2019-05-14 | Image processing device, image processing system, control method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020187529A JP2020187529A (en) | 2020-11-19 |
JP7458713B2 true JP7458713B2 (en) | 2024-04-01 |
Family
ID=73222757
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019091381A Active JP7458713B2 (en) | 2019-05-14 | 2019-05-14 | Image processing device, image processing system, control method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7458713B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022102604A1 (en) | 2020-11-10 | 2022-05-19 | 株式会社Nttドコモ | Terminal, wireless communication method, and base station |
CN114785999B (en) * | 2022-04-12 | 2023-12-15 | 先壤影视制作(上海)有限公司 | Real-time virtual shooting synchronous control method and system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011227613A (en) | 2010-04-16 | 2011-11-10 | Canon Inc | Image processor and method |
JP2011230491A (en) | 2010-04-30 | 2011-11-17 | Canon Inc | Image processing apparatus, image processing method, printing system, and program |
JP2019047502A (en) | 2018-09-20 | 2019-03-22 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
JP2019054488A (en) | 2017-09-19 | 2019-04-04 | キヤノン株式会社 | Providing apparatus, providing method, and program |
-
2019
- 2019-05-14 JP JP2019091381A patent/JP7458713B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011227613A (en) | 2010-04-16 | 2011-11-10 | Canon Inc | Image processor and method |
JP2011230491A (en) | 2010-04-30 | 2011-11-17 | Canon Inc | Image processing apparatus, image processing method, printing system, and program |
JP2019054488A (en) | 2017-09-19 | 2019-04-04 | キヤノン株式会社 | Providing apparatus, providing method, and program |
JP2019047502A (en) | 2018-09-20 | 2019-03-22 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2020187529A (en) | 2020-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7051457B2 (en) | Image processing equipment, image processing methods, and programs | |
US10699473B2 (en) | System and method for generating a virtual viewpoint apparatus | |
JP6882868B2 (en) | Image processing equipment, image processing method, system | |
KR101655078B1 (en) | Method and apparatus for generating moving photograph | |
US11095871B2 (en) | System that generates virtual viewpoint image, method and storage medium | |
EP2073539A1 (en) | Image processing device, dynamic image reproduction device, and processing method and program in them | |
EP2872963B1 (en) | Abstract camera pipeline for uniform cross-device control of image capture and processing | |
JP2005216061A (en) | Image processor, image processing method, recording medium, computer program and semiconductor device | |
KR101831516B1 (en) | Method and apparatus for generating image using multi-stiker | |
US20190068955A1 (en) | Generation apparatus, generation method, and computer readable storage medium | |
JP7458713B2 (en) | Image processing device, image processing system, control method, and program | |
JP5952782B2 (en) | Image processing apparatus, control method therefor, program, and storage medium | |
JP2019036791A (en) | Image processing apparatus, image processing system, control method, and program | |
JP2017175364A (en) | Image processing device, imaging device, and control method of image processing device | |
US20180089842A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2017135660A (en) | Image processor, imaging apparatus, image processing method, and program | |
JP2018136793A (en) | Image processing device, image processing method and program | |
KR101645427B1 (en) | Operation method of camera apparatus through user interface | |
JP4689548B2 (en) | Image processing apparatus, image processing method, recording medium, computer program, semiconductor device | |
JP7520539B2 (en) | Image processing device, image processing method, and program | |
JP7240258B2 (en) | IMAGE PROCESSING DEVICE, CONTROL METHOD AND PROGRAM OF IMAGE PROCESSING DEVICE | |
KR20160128900A (en) | Method and apparatus for generating moving photograph based on moving effect | |
JP2016042661A (en) | Information processing unit, system, information processing method, and program | |
US20230269356A1 (en) | Video processing apparatus and control method of the same, and storage medium | |
JP6234200B2 (en) | Image processing apparatus, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220506 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230518 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230613 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230809 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231114 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240319 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7458713 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |