JP7195791B2 - 画像処理装置、情報処理方法及びプログラム - Google Patents
画像処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP7195791B2 JP7195791B2 JP2018127416A JP2018127416A JP7195791B2 JP 7195791 B2 JP7195791 B2 JP 7195791B2 JP 2018127416 A JP2018127416 A JP 2018127416A JP 2018127416 A JP2018127416 A JP 2018127416A JP 7195791 B2 JP7195791 B2 JP 7195791B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- imaging device
- photographing
- background model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Generation (AREA)
- Closed-Circuit Television Systems (AREA)
- Processing Or Creating Images (AREA)
Description
特許文献1には、同一の範囲を取り囲むように複数の撮像装置を配置して、その同一の範囲を撮影した画像を用いて、任意の指定に対応する仮想視点画像を生成、表示する技術が開示されている。
上述のような仮想視点画像を生成する技術では、背景となるフィールドを有するスタジアム等の三次元モデルを生成し、そのモデルに画像を投影することで仮想視点画像における背景を生成することができる。それぞれ視点が異なる複数の撮像装置により撮影された複数の画像から生成される仮想視点画像の背景のモデルへ画像を投影するためには、例えば、まず、各撮像装置により撮影された画像を射影変換し合成する。そして、射影変換後に合成された画像を背景のモデルに投影するという処理により行われ得る。
本発明は、モデルに対する画像の投影に係る処理の負担をより軽減することを目的とする。
図1は、仮想視点画像を生成する画像処理システム100のシステム構成の一例を示す図である。画像処理システム100は、仮想視点画像の生成に用いられる画像を撮影し、撮影した画像から仮想視点画像を生成するシステムである。画像処理システム100は、撮像装置101a~101n、サーバ装置103を含む。撮像装置101a~101n、サーバ装置103は、通信回線102を介して、相互に通信可能に接続されている。
撮像装置101a~101nは、ネットワークカメラ等の通信機能を有する撮像装置である。以下では、撮像装置101a~101nを、撮像装置101と総称する。本実施形態では、撮像装置101は、14個の撮像装置であるとするが、13個以下の撮像装置であってもよいし、15個以上の撮像装置であってもよい。本実施形態では、撮像装置101a~101nは、スタジアムに配置されているとするが、コンサート会場等の他の場所に配置されていることとしてもよい。サーバ装置103は、パーソナルコンピュータ、サーバ装置、タブレット装置等の情報処理装置である。サーバ装置103は、撮像装置101a~101nにより撮影された画像を集約し、集約した画像に基づいて、仮想視点画像を生成する。通信回線102は、Ethernet等の通信回線である。なお、サーバ装置103は、複数の装置により構成されてもよい。
撮像装置101は、CPU201、主記憶装置202、補助記憶装置203、ネットワークI/F204、撮影部205を含む。各要素は、システムバス206を介して、相互に通信可能に接続されている。
CPU201は、撮像装置101を制御する中央演算装置である。主記憶装置202は、CPU201のワークエリアやデータの一時的な記憶領域として機能する記憶装置である。主記憶装置202は、Random Access Memory(RAM)等の記憶媒体を用いて実装される。補助記憶装置203は、各種プログラム、各種設定情報、各種画像データ、カメラパラメータの情報等を記憶する記憶装置である。補助記憶装置203は、Read Only Memory(ROM)、ハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)等の記憶媒体を用いて実装される。
ネットワークI/F204は、サーバ装置103等の外部の装置との間での通信回線102を介した通信に利用されるインターフェースである。撮影部205は、CMOSセンサ、CCDセンサ等の撮像素子やレンズ等を含み、周囲を撮影する撮影部である。
CPU201が、補助記憶装置203に記憶されたプログラムにしたがって処理を実行することで、図2(b)、11で後述する撮像装置101の機能、図8、14で後述するフローチャートにおける撮像装置101の処理等が実現される。
撮像装置101は、撮影制御部211、生成部212、送信部213を含む。
撮影制御部211は、撮影部205を制御し、撮影部205内のレンズや撮像素子等によって、光学的に撮像した画像をデジタルデータに変換する。生成部212は、撮影制御部211により撮影された画像から前景と背景とを分離し、前景画像を除いた背景画像を生成する。送信部213は、生成部212により生成された背景画像のデータを、通信回線102を介して、サーバ装置103に送信する。なお、図2(b)に示す機能構成の一部又はすべてをハードウェアにより実現してもよい。このハードウェアの一例としては、ASIC、FPGA、GPU等がある。
サーバ装置103は、CPU301、主記憶装置302、補助記憶装置303、ネットワークI/F304を含む。各要素は、システムバス305を介して、相互に通信可能に接続されている。
CPU301は、サーバ装置103を制御する中央演算装置である。主記憶装置302は、CPU301のワークエリアやデータの一時的な記憶領域として機能する記憶装置である。主記憶装置302は、RAM等の記憶媒体を用いて実装される。補助記憶装置303は、各種プログラム、各種設定情報、各種画像データ等を記憶する記憶装置である。補助記憶装置303は、ROM、HDD、SSD等の記憶媒体を用いて実装される。ネットワークI/F304は、撮像装置101等の外部の装置との間での通信回線102を介した通信に利用されるインターフェースである。
CPU301が、補助記憶装置303に記憶されたプログラムにしたがって処理を実行することで、図3(b)、12で後述するサーバ装置103の機能、図8、14で後述するフローチャートにおけるサーバ装置103の処理が実現される。また、CPU301が、補助記憶装置303に記憶されたプログラムにしたがって処理を実行することで、図4、13、15、21、22、24で後述するフローチャートの処理等が実現される。
サーバ装置103は、画像取得部311、キャリブレーション部312、背景モデル管理部313、座標変換部314、背景テクスチャ決定部315、仮想カメラ制御部316、レンダリング部317を含む。
画像取得部311は、撮像装置101それぞれから通信回線102を介して送信される撮像装置101それぞれにより撮影された画像を取得する。画像取得部311は、取得した画像を、背景テクスチャ決定部315に送信する。
キャリブレーション部312は、撮像装置101それぞれのカメラパラメータを制御する。カメラパラメータとは、撮像装置に関するパラメータであり、撮像装置の位置・姿勢に関するパラメータである外部パラメータと、焦点距離や画素間隔等に関する内部パラメータとを含んでもよい。また、カメラパラメータは、撮影領域を特定するための情報であってもよい。また、カメラパラメータは、外部パラメータと内部パラメータとうち何れか1つのみでもよいし、他のパラメータを含んでもよい。キャリブレーション部312は、例えば、通信回線102を介して、カメラパラメータの変更指示を撮像装置101に送信する。撮像装置101は、送信された指示に応じて自身のカメラパラメータを変更する。また、キャリブレーション部312は、例えば、通信回線102を介して、撮像装置101から、カメラパラメータの情報を受信することができる。キャリブレーション部312は、例えば、補助記憶装置303に、撮像装置101それぞれのカメラパラメータを記憶し管理する。キャリブレーション部312は、管理する撮像装置101のカメラパラメータを、座標変換部314に送信する。
座標変換部314は、キャリブレーション部312から送信されたカメラパラメータに基づいて、世界座標系における背景モデル内の領域を、撮像装置101により撮影される画像内における領域(カメラ座標系における領域)に変換する。また、座標変換部314は、キャリブレーション部312から送信されたカメラパラメータに基づいて、撮像装置101により撮影された画像内におけるカメラ座標系の領域を、世界座標系における背景モデル内の領域に変換する。カメラ座標系とは、撮像装置を基準とした座標系である。また、座標変換部314は、世界座標系と撮像装置101それぞれにおけるカメラ座標系との対応関係(例えば、座標系間の変換パラメータ等)を特定してもよい。その場合、座標変換部314は、特定した対応関係の情報を、背景テクスチャ決定部315に送信する。そして、背景テクスチャ決定部315は、送信された対応情報に基づいて、世界座標系における背景モデル内の領域を、撮像装置101により撮影された画像内におけるカメラ座標系の領域に変換することとなる。また、背景テクスチャ決定部315は、送信された対応情報に基づいて、撮像装置101により撮影された画像内におけるカメラ座標系の領域を、世界座標系における背景モデル内の領域に変換することとなる。
仮想カメラ制御部316は、仮想カメラの情報を管理し、サーバ装置103の操作部を介したユーザによる操作に基づいて、仮想カメラのカメラパラメータを制御する。仮想カメラとは、指定された位置に配置されたとみなされる仮想的な撮像装置である。仮想カメラの情報は、予め補助記憶装置303等に記憶されている。仮想カメラ制御部316は、仮想カメラの情報を、レンダリング部317に送信する。
レンダリング部317は、背景テクスチャ決定部315により決定された画像を背景モデル管理部313から送信された背景モデルの各メッシュに投影する。そして、レンダリング部317は、仮想カメラ制御部316から送信された仮想カメラのカメラパラメータに基づいて、2次元画像としてレンダリングする。これにより、レンダリング部317は、サーバ装置103の操作部を介したユーザの指示に基づいて、指定された任意の視点からの画像を生成することができる。
領域決定部319は、判断部318により仮想視点画像の生成に用いられると判断された画像内の領域から、背景テクスチャ決定部315による背景モデルに投影される画像が撮影される領域を決定する。なお、図3(b)に示す機能構成の一部又はすべてをハードウェアにより実現してもよい。このハードウェアの一例としては、ASIC、FPGA、GPU等がある。
S401において、背景テクスチャ決定部315は、背景モデル管理部313から受信した背景モデルデータから背景モデルを構成するメッシュを1つ抽出する。背景モデルの各メッシュは、背景モデルの表面上に存在する領域である表面領域の一例である。図5は、背景モデルの一例を説明する図である。モデル501は、スタジアムの3次元モデルであり、複数のメッシュでフィールドであるグラウンドが表現されている。本実施形態では、背景モデルは、モデル501と同様のスタジアムのモデルとする。しかし、背景モデルは、コンサート会場や、観客席等のモデルであってもよい。背景モデルデータには、グラウンドを構成するメッシュそれぞれについて、頂点座標や面の法線等の情報等が含まれ得る。本実施形態では、背景テクスチャ決定部315は、図4の処理を開始して初めてS401の処理を行う際にメッシュ502を抽出するものとする。なお、S401では、メッシュと異なる単位で、背景モデルの表面の一部の領域を抽出してもよい。
図6は、撮像装置の配置状況の一例を説明する図である。図6の状況は、世界座標系において撮影対象であるスタジアムを示すモデル501と、世界座標系において実際の配置位置に対応する位置に配置された撮像装置101それぞれと、の位置関係を示す。撮像装置101aは、キャリブレーション部312が管理する撮像装置101aのカメラパラメータが示すように、図6に示される位置に配置され、領域601を撮影している。座標変換部314は、世界座標系におけるメッシュ502の座標を、撮像装置101aのカメラ座標系における座標に変換する。
S404において、座標変換部314は、撮像装置101全てについて、S401で抽出されたメッシュに対するS403の処理が完了したか否かを判定する。座標変換部314は、撮像装置101全てについて、S401で抽出されたメッシュに対するS403の処理が完了したと判定した場合、S405の処理に進む。座標変換部314は、撮像装置101の中に、S401で抽出されたメッシュに対するS403の処理が完了していない撮像装置があると判定した場合、S402の処理に進む。
領域決定部319は、例えば、S403で撮像装置101それぞれのカメラ座標系に変換されたS401で抽出されたメッシュの領域のうち、撮像装置101それぞれにより撮影される画像内に全て収まっている(画像からはみ出ていない)領域を特定する。そして、領域決定部319は、特定した領域から1つを選択し、選択した領域を、背景モデルにおけるS401で抽出したメッシュの部分に投影される画像が撮影される領域として選択する。即ち、画像処理システム100は、撮像装置101それぞれにより撮影される画像内における選択された領域の画像が、S401で抽出されたメッシュの部分に投影されることとなる。
また、領域決定部319は、例えば、S403で変換された領域のうち、撮像装置101それぞれにより撮影される画像内に全て収まっている領域として最初に特定された領域を特定し、以下の処理を行うこととしてもよい。即ち、領域決定部319は、特定した領域を、S401で抽出されたメッシュの部分に投影される画像が撮影される領域として選択することとしてもよい。
例えば、領域決定部319は、S403で変換された領域のうち、撮像装置101それぞれにより撮影される画像内に全て収まっている領域を特定する。そして、領域決定部319は、特定した領域から、面積が最も大きい1つを選択し、選択した領域を、S401で抽出したメッシュの部分に投影される画像が撮影される領域として選択してもよい。この処理により、画像処理システム100は、S401で抽出されたメッシュの部分を、最も大きい解像度で撮影する撮像装置を、その部分に投影される画像を撮影する撮像装置として選択できる。これにより、画像処理システム100は、背景モデルの各メッシュにより精細な画像を投影できることとなる。
また、例えば、領域決定部319は、S403で変換された領域のうち、撮像装置101それぞれにより撮影される画像内に全て収まっている領域を特定する。そして、領域決定部319は、特定した領域から、面積が最も小さい1つを選択し、選択した領域を、S401で抽出したメッシュの部分に投影される画像が撮影される領域として選択してもよい。この処理により、画像処理システム100は、背景モデルの各メッシュに投影される画像のサイズを最小にでき、投影処理に係る処理の負担を軽減できる。また、サーバ装置103が、撮像装置101から背景モデルのメッシュに投影される画像の部分のみを受信する場合、通信回線102の通信帯域を節約できる。また、例えば、領域決定部319は、撮像装置101それぞれにより撮影される画像内に全て収まっている領域のうち複数の領域を401で抽出したメッシュの部分に投影される画像が撮影される領域として特定してもよい。この場合、画像処理システム100は、仮想視点画像を生成する際に、特定された複数の領域に対応する複数の画像を平均化した画像を対応するメッシュに投影してもよい。
以下では、S405で選択された領域の情報を、テクスチャ領域とする。
S407において、背景テクスチャ決定部315は、背景モデル内の各メッシュについてS405で選択されたテクスチャ領域の情報(以下では、領域情報とする)を、レンダリング部317に送信する。
図4の処理により、背景モデルに投影される画像を生成する準備が整うこととなる。
S801において、撮像装置101それぞれの撮影制御部211は、被写体を撮影する。
図9は、撮像装置101による撮影された状況等の一例を示す図である。画像901は、撮像装置101aにより撮影された画像である。画像901には、前景として人物902、902、903が写っている。
S802において、撮像装置101それぞれの生成部212は、S801で撮影された画像について、前景と背景とを分離し、前景画像を取り除いた背景画像を生成する。図9の例では、生成部212は、画像901から前景である人物902、902、903を分離し、背景画像905を生成する。生成部212は、例えば、時間方向の動きが閾値以上あるものを前景とする方法等の方法を用いて、前景と背景とを分離する。
S803において、撮像装置101それぞれの送信部213は、S802で生成された背景画像を、通信回線102を介して、サーバ装置103に送信する。
S805において、レンダリング部317は、S804で送信された背景画像から、図4の処理で生成された領域情報が示す領域の画像を抽出し、抽出した画像を、対応する背景モデルの各メッシュに投影する。レンダリング部317は、例えば、領域情報に基づいて、背景画像の中から、背景モデルの各メッシュに投影される領域を抽出する。そして、レンダリング部317は、抽出した領域の画像を、対応する背景モデルのメッシュに投影する。これにより、背景モデルの各メッシュには、対応する画像が投影されることとなる。
そして、レンダリング部317は、仮想カメラ制御部316から送信された仮想カメラのカメラパラメータに基づいて、背景モデルを仮想カメラの視点から見た画像を生成することで、仮想視点画像を生成する。
また、画像処理システム100は、予め背景モデルの各メッシュに投影される画像が撮影される領域を決定し、時間経過にしたがって刻々と変化する撮像装置101により撮影される画像のうち、その領域の画像を、背景モデルの各メッシュに投影することとした。これにより、画像処理システム100は、背景モデルの各メッシュへの投影対象の画像である撮像装置101により撮影される画像が時間経過にしたがって刻々と変化する場合でも、主記憶装置302等のメモリやCPU301の使用率等の処理の負担を軽減できることとなる。
本実施形態では、背景テクスチャ決定部315が背景画像から、背景モデルのメッシュに投影される画像を切り出して、レンダリング部317に送信する場合の画像処理システム100の処理について、説明する。
本実施形態の画像処理システム100のシステム構成は、実施形態1と同様である。また、撮像装置101それぞれのハードウェア構成、機能構成は、実施形態1と同様である。また、サーバ装置103のハードウェア構成、機能構成は、実施形態1と同様である。
本実施形態では、S804で、背景テクスチャ決定部315は、S803で撮像装置101それぞれにより送信された背景画像のうち、図4の処理で決定された領域を示す領域情報が示す領域の画像を切り出す。そして、背景テクスチャ決定部315は、切り出した画像を、仮想視点画像の背景モデルの各メッシュに投影される画像として決定する。背景テクスチャ決定部315は、決定した画像を、レンダリング部317に送信する。
レンダリング部317は、S815で、S804で送信された画像に含まれるメッシュに投影される画像が撮影された領域の画像を、対応する背景モデルの各メッシュに投影する。そして、レンダリング部317は、仮想カメラ制御部316から指定された仮想カメラのカメラパラメータに基づいてレンダリングを行い、仮想視点画像を生成する。
本実施形態では、撮像装置101それぞれが、撮像装置101それぞれにより撮影された画像の背景画像から背景モデルの各メッシュに対応する領域の画像を切り出して、サーバ装置103に送信する場合の画像処理システム100の処理を説明する。
本実施形態の画像処理システム100のシステム構成は、実施形態1と同様である。また、撮像装置101それぞれのハードウェア構成は、実施形態1と同様である。また、サーバ装置103のハードウェア構成は、実施形態1と同様である。
本実施形態の撮像装置101は、切り出し領域受信部1101、切り出し部1102を含む点で、図2(b)と異なる。
切り出し領域受信部1101は、サーバ装置103から、撮像装置101により撮影される画像内の背景モデルの各メッシュに対応する領域の情報を受信する。本実施形態では、S407で、背景テクスチャ決定部315は、領域情報を、その領域情報が示す領域を撮影する撮像装置101に送信する。切り出し領域受信部1101は、この送信された領域情報を、受信する。
切り出し部1102は、切り出し領域受信部1101により受信された領域情報に基づいて、生成部212により生成された背景画像から画像を切り出して、切り出した画像を、送信部213を介して、サーバ装置103に送信する。
本実施形態のサーバ装置103は、画像取得部311、キャリブレーション部312、背景モデル管理部313、座標変換部314、背景テクスチャ決定部315、仮想カメラ制御部316、レンダリング部317、判断部318、領域決定部319を含む。また、本実施形態のサーバ装置103は、切り出し領域送信部1201を含む。
キャリブレーション部312、背景モデル管理部313、座標変換部314、仮想カメラ制御部316、判断部318、領域決定部319は、図3(b)と同様である。
背景テクスチャ決定部315は、実施形態1と同様の機能に加え、領域情報を、切り出し領域送信部1201を介して撮像装置101それぞれに送信する機能を有する。
切り出し領域送信部1201は、背景テクスチャ決定部315から受信した領域情報を、通信回線102を介して、撮像装置101それぞれに送信する。
画像取得部311は、撮像装置101それぞれから受信した背景画像から切り出された画像を、通信回線102を介して受信し、レンダリング部317に送信する。
レンダリング部317は、画像取得部311により受信された切り出された画像を、背景テクスチャ決定部315から受信した領域情報を用いて、背景モデルの各メッシュに投影し、仮想視点画像を生成する。
図13中のS401~405の処理は、図4と同様である。図13の処理のうち、図4と異なる点について説明する。
S1301において、切り出し領域送信部1201は、背景テクスチャ決定部315により生成された領域情報を受信し、受信した領域情報を、通信回線102を介して、対応する撮像装置101に送信する。図7の例のように、S405で領域決定部319により領域702が選択された場合、背景テクスチャ決定部315は、図10の領域1001を、切り出し対象の領域として決定し、決定した領域を示す領域情報を、切り出し領域送信部1201に送信する。そして、切り出し領域送信部1201は、領域1001を示す領域情報を、領域1001を撮影する撮像装置101aに送信することとなる。
S1401において、切り出し部1102は、S802で生成された背景画像から、切り出し領域受信部1101により受信された領域情報が示す領域を切り出す。領域情報が、領域1001を示す場合、切り出し部1102は、背景画像から領域1001の範囲を切り出し、画像1002を生成する。
S1402において、送信部213は、S1401で背景画像切り出し部1102により切り出された画像を、サーバ装置103に送信する。
S1403において、レンダリング部317は、S1402で送信された画像を、対応する背景モデルの各メッシュに投影する。そして、レンダリング部317は、仮想カメラ制御部316から指定された仮想カメラのカメラパラメータに基づいてレンダリングを行い、仮想視点画像を生成する。
本実施形態では、画像処理システム100がS405で撮像装置101それぞれのカメラパラメータに基づいて、領域を決定する処理について、説明する。
本実施形態の画像処理システム100のシステム構成は、実施形態1と同様である。また、撮像装置101それぞれのハードウェア構成、機能構成は、実施形態1と同様である。また、サーバ装置103のハードウェア構成、機能構成は、実施形態1と同様である。
本実施形態の処理は、画像処理システム100が図4のS401~S406の処理の代わりに図15の処理を行う点で、実施形態1と異なる。実施形態1と異なる点について説明する。
S1501において、領域決定部319は、撮像装置101から、背景モデルのメッシュに投影される画像が撮影される領域の決定の基準となる撮像装置を決定する。以下では、背景モデルのメッシュに投影される画像が撮影される領域の決定の基準となる撮像装置を基準撮像装置とする。基準撮像装置は、基準撮影部の一例である。
図16は、撮像装置の撮影範囲の一例を説明する図である。領域601は、図6と同様に、撮像装置101aの背景モデルに対する撮影範囲を示す。領域1601は、撮像装置101の中で最も広角な視野を有する撮像装置101eの背景モデルに対する撮影範囲を示す。本実施形態では、領域決定部319は、S1501で、撮像装置101中で最も広角な視野を有する撮像装置101eを、基準撮像装置として決定する。しかし、領域決定部319は、S1501で、撮像装置101中で最も多くの背景モデルのメッシュに対応する領域を撮影可能な撮像装置を、基準撮像装置として決定することとしてもよい。また、領域決定部319は、S1501で、撮像装置101中で予め定められた撮像装置を、基準撮像装置として決定してもよい。また、領域決定部319は、S1501で、サーバ装置103の操作部を介したユーザの操作に基づいて、指定された撮像装置を、基準撮像装置として決定してもよい。
図17は、基準撮像装置により投影される画像が撮影されるメッシュの一例を説明する図である。斜線で示された領域1701は、基準撮像装置により投影される画像が撮影されるメッシュの領域である。その他の領域のメッシュは、投影される画像が撮影される領域が決定されていないメッシュである。
S1503において、領域決定部319は、背景モデル内の全てのメッシュについて、投影される画像が撮影される領域が決定されたか否かを判定する。領域決定部319は、背景モデル内の全てのメッシュについて、投影される画像が撮影される領域が決定されたと判定した場合、図15の処理を終了し、S407の処理に進む。また、領域決定部319は、背景モデル内のメッシュの中に、投影される画像が撮影される領域が決定されていないメッシュがあると判定した場合、S1504の処理に進む。
基準撮像装置が撮像装置101eであり、S1502の処理の後、初めてS1503の処理を行う場合、領域決定部319は、図17に示すようにまだ投影される画像が撮影される領域が決定されていないメッシュがあるので、S1503の処理に進むこととなる。
図18は、基準撮像装置と他の撮像装置との位置関係の一例を説明する図である。領域決定部319は、基準撮像装置である撮像装置101eの世界座標系における座標(カメラパラメータの1つ)と、他の撮像装置101それぞれの世界座標系における座標と、の距離を取得する。図18の例では、基準撮像装置である撮像装置101eと撮像装置101fとは、距離1801だけ離れている。また、基準撮像装置である撮像装置101eと撮像装置101gとは、距離1802だけ離れている。また、基準撮像装置である撮像装置101eと撮像装置101hとは、距離1803だけ離れている。
図19は、基準撮像装置を除く撮像装置101それぞれを、基準撮像装置との距離が小さい順に並べた表の一例である。図19の例では、基準撮像装置に最も近いのは、撮像装置101fとなっている。そのため、領域決定部319は、図15の処理を開始して、初めてS1504の処理を行う際に、カメラパラメータである世界座標系における座標について、基準撮像装置と最も近い値を有する撮像装置101fを選択する。また、領域決定部319は、以降のS1504の処理を行う際に、これまでS1504で選択していない撮像装置101の中から、カメラパラメータである世界座標系における座標について、基準撮像装置と最も近い値を有する撮像装置を選択することとなる。
図20は、投影される画像が選択撮像装置により撮影されるメッシュの一例を説明する図である。図20の例では、選択撮像装置が撮像装置101fである。領域2001は、撮像装置101fの撮影範囲を示す。領域2001に含まれるメッシュのうち、領域1701に含まれないメッシュが、投影される画像が撮像装置fにより撮影されるメッシュとなる。図20の例では、領域2002~2004それぞれに含まれるメッシュが、投影される画像が撮像装置fにより撮影されるメッシュとなる。
そして、画像処理システム100は、撮像装置101から1つの撮像装置を、カメラパラメータが基準撮像装置に近いものから順に選択撮像装置として選択していき、以下の処理を行った。即ち、画像処理システム100は、選択撮像装置により撮影される画像内から、背景モデルのメッシュに投影される画像が撮影される領域を決定した。より具体的には、画像処理システム100は、背景モデルのメッシュのうち、投影される画像が撮影される領域が未定であり、対応する領域全体が選択撮像装置により撮影されるメッシュを特定した。そして、画像処理システム100は、特定したメッシュについて、選択撮像装置により撮影される画像内のそれらのメッシュに対応する領域を、それらのメッシュに投影される画像が撮影される領域として決定した。画像処理システム100は、以上の処理を、背景モデル内のメッシュ全てについて、投影される画像が撮影される領域が決定されるまで行った。
これにより、画像処理システム100は、基準撮像装置及び基準撮像装置とカメラパラメータがより近しい撮像装置により、背景モデルのメッシュに投影される画像が撮影されることとなる。そのため、画像処理システム100は、最終的に各メッシュに、より撮影条件の近しい画像が投影されたより自然な背景モデルを生成できる。
本実施形態では、画像処理システム100は、基準撮像装置とその他の撮像装置101との世界座標系における座標に基づいて、背景モデルのメッシュに投影される画像が撮影される領域を決定した。しかし、画像処理システム100は、基準撮像装置とその他の撮像装置101との世界座標系における座標以外のカメラパラメータに基づいて、背景モデルのメッシュに投影される画像が撮影される領域を決定してもよい。例えば、領域決定部319は、S1504で、カメラパラメータである露光値が、より基準撮像装置に近いものから順に選択撮像装置を選択してもよい。また、領域決定部319は、S1504で、カメラパラメータである撮影方向が、より基準撮像装置に近いものから順に選択撮像装置を選択してもよい。
本実施形態では、画像処理システム100が、仮想カメラと撮像装置101それぞれとのカメラパラメータに基づいて、背景モデルの各メッシュについて、投影される画像が撮影される領域を決定する処理について述べる。
本実施形態の画像処理システム100のシステム構成は、実施形態1と同様である。また、撮像装置101それぞれのハードウェア構成は、実施形態1と同様である。また、サーバ装置103のハードウェア構成は、実施形態1と同様である。
本実施形態のサーバ装置103の機能構成は、図3の通りである。本実施形態の画像取得部311、キャリブレーション部312、背景モデル管理部313、レンダリング部317は、実施形態1と同様である。
キャリブレーション部312は、実施形態1で説明した機能に加えて、背景テクスチャ決定部315に対して、撮像装置101それぞれのカメラパラメータを送信する機能を有する。
背景テクスチャ決定部315は、背景モデル管理部313から取得した背景モデルの各メッシュに対して、キャリブレーション部312から取得したカメラパラメータを使い、画像取得部311から取得した画像上の領域(カメラ座標上の領域)に変換する。そして、背景テクスチャ決定部315は、変換した領域の中から、対応するメッシュに投影さる画像が撮影される領域を決定する。この際、背景テクスチャ決定部315は、最も仮想視点に適切な領域を決定する機能を有する。
S2101において、背景テクスチャ決定部315は、撮像装置101の中から1つを選択する。
S2102において、領域決定部319は、S2101で選択された撮像装置を、仮に基準撮像装置として、S1502~S1505の処理を行うことで、背景モデルの各メッシュについて、投影される画像が撮影される領域を決定する。そして、背景テクスチャ決定部315は、決定した領域の情報を、S2101で選択された撮像装置に対応する領域情報として補助記憶装置303等に記憶する。
S2103において、領域決定部319は、撮像装置101の全てについて、S2102の処理が完了したか否かを判定する。領域決定部319は、撮像装置101の全てについて、S2102の処理が完了したと判定した場合、図21の処理を終了する。また、領域決定部319は、撮像装置101の中に、S2102の処理が完了していないものがあると判定した場合、S2101の処理に進む。
図21の処理により、撮像装置101それぞれについて、対応する領域情報を用意しておくことができる。
S2201において、仮想カメラ制御部316は、サーバ装置103の操作部を介したユーザの操作に基づいて、仮想カメラのカメラパラメータの入力を受付ける。
S2202において、背景テクスチャ決定部315は、S2201で受付けられたカメラパラメータと、キャリブレーション部312から取得したカメラパラメータそれぞれと、に基づいて、以下の処理を行う。即ち、背景テクスチャ決定部315は、S2201で受付けられたカメラパラメータである撮影方向のベクトルと、キャリブレーション部312から取得したカメラパラメータである撮影方向のベクトルと、の内積を求める。図23は、仮想カメラと撮像装置101それぞれの向きの一例を説明する図である。仮想カメラ2301は、ベクトル2302で示した方向を向いた仮想カメラである。ベクトル2302は、長さが1になるように正規化されたベクトルである。ベクトル2303a~2303nは、撮像装置101それぞれの向きを示す長さ1になるよう正規化されたベクトルである。背景テクスチャ決定部315は、ベクトル2302とベクトル2303a~2303nそれぞれとの内積を求める。ベクトル2302とベクトル2303a~2303nそれぞれとは、カメラパラメータである撮影方向を示す情報の一例である。
S2204において、背景テクスチャ決定部315は、S2102で補助記憶装置303等に記憶されたS2203で特定した撮像装置に対応する領域情報を、レンダリング部317に送信する。
S2205において、レンダリング部317は、撮像装置101それぞれにより撮影された画像内のS2204で送信された領域情報が示す画像を、対応する背景モデルの各メッシュに投影する。そして、レンダリング部317は、仮想カメラ制御部316から指定された仮想カメラのカメラパラメータに基づいてレンダリングを行い、仮想視点画像を生成する。
本実施形態では、画像処理システムは、S2203で仮想カメラと撮像装置101それぞれとの向きのベクトルの内積を用いて、撮像装置を特定した。しかし、画像処理システムは、S2202で仮想カメラと撮像装置101それぞれとの座標に基づいて(例えば、仮想カメラと撮像装置101それぞれとの距離に基づいて)、撮像装置を特定してもよい。画像処理システムは、例えば、S2202~S2203の処理の代わりに、仮想カメラに最も近い撮像装置を特定し、特定した撮像装置に対応する領域情報を用いることとしてもよい。その場合、図23の例では、画像処理システムは、例えば、仮想カメラ2301に最も近い撮像装置101jを特定することとなる。
これにより、画像処理システムは、仮想カメラにより特徴の近い撮像装置に応じた領域情報を用いることができ、仮想カメラにより撮影される仮想視点画像を、より適切な画像とすることができる。
本実施形態では、画像処理システム100に含まれる撮像装置101から仮想視点画像の生成に適切な画像を取得することができなくなる不具合が発生した場合に対応するための処理について説明する。
本実施形態の画像処理システム100のシステム構成は、実施形態1と同様である。また、撮像装置101それぞれのハードウェア構成、機能構成は、実施形態1と同様である。また、サーバ装置103のハードウェア構成、機能構成は、実施形態1と同様である。
以下では、本実施形態の処理のうち、実施形態1~5と異なる点について説明する。
画像処理システム100は、図24の処理を、任意のタイミングで実行することができる。画像処理システム100は、例えば、予め定められた間隔で周期的に図24の処理を実行することとしてもよい。
また、画像処理システム100は、予め定められた条件が満たされたことに応じて、図24の処理を実行することとしてもよい。画像処理システム100は、予め定められた条件が満たされたことに応じて、1度だけ、図24の処理を実行することとしてもよいし、条件が満たされる度に繰り返し、図24の処理を実行することとしてもよい。
例えば、画像処理システム100は、予め定められた個数(例えば、1個、10個等)の仮想視点画像が生成されたことに応じて、図24の処理を実行することとしてもよい。また、画像処理システム100は、撮像装置101により背景画像が撮影される度に、図24の処理を実行することとしてもよい。
また、画像処理システム100は、撮像装置101それぞれにより撮影された背景画像の一部又は全部が仮想視点画像の生成に適していないと判断部318により判断された場合、図24の処理を実行することとしてもよい。画像処理システム100は、判断部318によりネットワークI/F304、通信回線102を介した撮像装置101との間の通信に通信トラブルが発生したことが検出されたことに応じて、図24の処理を実行することとしてもよい。
また、画像処理システム100は、サーバ装置103の操作部等を介して、ユーザから不具合の発生を示す情報が入力されたことに応じて、図24の処理を実行することとしてもよい。
判断部318は、例えば、ネットワークI/F304を介して、撮像装置101から撮像装置101で不具合(例えば、故障、位置・姿勢の変化、ピンボケの発生、露出値の変動等)が生じたことを示す情報を受信することで、不具合を検出する。この場合、撮像装置101は、例えば、自身で生じた不具合(例えば、故障、ピンボケ、露出値の変動、位置・姿勢の変動等)を検知し、検知した故障の情報をサーバ装置103に送信する。
また、判断部318は、予め定められた閾値以上の期間、撮像装置101との通信が途絶えたことを検知することで、不具合を検出することとしてもよい。判断部318は、例えば、予め定められた閾値以上の期間、撮像装置101から通信が確立していることを示すパケットを受信していない場合、撮像装置101との通信が途絶えたことを検知し、不具合を検出することとしてもよい。
また、判断部318は、ユーザによりサーバ装置103の操作部等を介した操作に基づいて、撮像装置101の故障等の不具合が発生したことを示す情報が入力された場合、不具合を検出することとしてもよい。
本実施形態では、主記憶装置302に、現在発生している不具合と、その不具合により適切な背景画像を取得することができない撮像装置と、を示す不具合情報が記憶されている。不具合が発生していない場合、判断部318は、不具合情報として、不具合が発生していないことを示す情報を記憶してもよいし、空の情報を記憶してもよい。
S2403において、判断部318は、主記憶装置302に記憶された不具合情報を、S2401で検出した不具合と、この不具合により適切な背景画像を取得できなくなった撮像装置101と、を示すように更新する。
また、サーバ装置103は、初めて図24の処理を実行する際には、S2402における判定の処理の結果に関わらず、S2404の処理を実行することで、背景画像を生成することとしてもよい。
まず、S2404の処理が、不具合情報が示す適切な画像を取得できない撮像装置101を用いずに行われる図13の処理である場合、S2404の処理は、実施形態3の図13の処理と、S402とS404との処理の内容が異なる。この場合のS2404の処理におけるS402、S404の処理について説明する。S402において、背景テクスチャ決定部315は、撮像装置101のうち、不具合情報が示す適切な画像を取得できない撮像装置101を除いたものから1つを選択する処理を実行する。また、S404において、座標変換部314は、撮像装置101のうち、不具合情報が示す適切な画像を取得できない撮像装置101を除いたもの全てについて、S401で抽出されたメッシュに対するS403の処理が完了したか否かを判定する処理を実行する。座標変換部314は、完了したと判定した場合、S405の処理に進み、完了していないと判定した場合、S402の処理に進む。
なお、S2404の処理におけるS1501において、領域決定部319は、不具合情報が示す適切な画像を取得できない撮像装置101を候補から除かずに基準撮像装置を選択してもよい。すなわち、S1501では不具合の生じた撮像装置101が基準撮像装置として選択されてもよい。この場合、S1504においては、不具合の生じた基準撮像装置との位置関係に基づいて、その基準撮像装置以外の撮像装置101の中から選択撮像装置とする撮像装置が選択される。このような撮像装置101の選択方法によれば、不具合の発生に応じて基準撮像装置を変更する場合と比較して、不具合発生の前後で選択撮像装置の変化が少ないため、背景の画像が大きく変化してユーザに違和感を与えてしまうことを抑制できる。
次に、S2404の処理が、不具合情報が示す適切な画像を取得できない撮像装置101を用いずに行われる図21の処理である場合、S2404の処理は、実施形態5の図21の処理と、S2101とS2103との処理の内容が異なる。この場合のS2404の処理におけるS2101、S2103の処理について説明する。S2101において、背景テクスチャ決定部315は、撮像装置101のうち、不具合情報が示す適切な画像を取得できない撮像装置101を除いたものから撮像装置を選択する処理を実行する。また、S2103において、領域決定部319は、撮像装置101のうち、不具合情報が示す適切な画像を取得できない撮像装置101を除いたもの全てについて、S2102の処理が完了したか否かを判定する。領域決定部319は、完了したと判定した場合、図21の処理を終了し、完了していないと判定した場合、S2101の処理に進む。
S2405の処理は、S2404の処理で求められた領域情報(背景モデルの各メッシュに投影される画像が撮影される領域(テクスチャ領域)の情報)に基づいて行われる図8の処理である。また、S2402において不具合の発生状況に変化がないと判定された場合、S2405の処理は、過去に実行された図24の処理におけるS2404の処理で求められた領域情報に基づいて行われる。また、S2405の処理は、S2404の処理で求められた領域情報に基づいて行われる図14の処理であるとしてもよい。また、S2405の処理は、S2404の処理で求められた領域情報に基づいて行われる図22の処理であるとしてもよい。
また、本実施形態では、不具合が生じた撮像装置101によって、生成可能な背景テクスチャの範囲が狭くなってしまう場合が想定される。例えば、実施形態1についてメッシュ502について、図6では、撮像装置101aによって撮影されている様子が示されている。この場合、メッシュ502は、撮像装置101a以外の撮像装置101の何れにおいても撮影されていない領域に対応するメッシュであったとする。その場合、メッシュ502に投影される画像を撮影することができる撮像装置101が、存在しなくなる。
このような場合、画像処理システム100は、以下のようにしてもよい。画像取得部311は、撮像装置101のそれぞれが正常に動作している際に撮影された最も新しい画像から少なくとも一つ以上の画像を主記憶装置302、補助記憶装置303等に記憶しておく。例えば、撮像装置101aにおける故障等の不具合によって画像の撮影ができなくなり、他の全ての撮像装置101から撮影されなくなる領域が生じたとする。その場合、画像処理システム100は、その領域の画像として、主記憶装置302、補助記憶装置303等に記憶された撮像装置101aにより過去に撮影された画像を用いることとしてもよい。
このように、あるメッシュについて撮影している撮像装置101の全てについて不具合が生じた場合でも、画像処理システム100は、過去に撮影された画像を用いて仮想視点画像の背景画像を生成できる。
このような処理により、画像処理システム100は、どこからも映らなくなってしまった領域が生じた場合でも、背景画像が生成されないことを抑制することができる。
更に、画像処理システム100は、仮想視点画像の生成の前に、撮像装置101それぞれによってあらかじめ撮影を行い、撮影された画像を、主記憶装置302、補助記憶装置303等に予め記憶しておいてもよい。
実施形態1~6では、サーバ装置103は、単体の情報処理装置であるとした。しかし、サーバ装置103は、複数の情報処理装置により構成されてもよい。その場合、サーバ装置103を構成する情報処理装置それぞれのCPUが、サーバ装置103を構成する情報処理装置それぞれの補助記憶装置等に記憶されたプログラムにしたがって連携して処理を実行することで、以下の機能、処理等が実現される。即ち、図3(b)、12の機能、図8、14のフローチャートにおけるサーバ装置103の処理、図4、13、15、21、22、24のフローチャートの処理等が実現される。
実施形態1~6において撮像装置101により撮影された画像は、撮影画像の一例である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
例えば、上述した画像処理システム100の機能構成の一部又は全てをハードウェアとして撮像装置101、サーバ装置103に実装してもよい。
以上、本発明の実施形態の例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した各実施形態を任意に組み合わせたり、適宜改良乃至は応用してもよい。
101 撮像装置
103 サーバ装置
Claims (12)
- 複数の方向から撮影する複数の撮影装置の位置及び姿勢を特定するための撮影情報を取得する撮影情報取得手段と、
前記複数の撮影装置の撮影に基づく複数の画像を用いて生成される仮想視点画像の背景の3次元形状を表す背景モデルに関するモデル情報を取得するモデル情報取得手段と、
前記撮影情報と前記モデル情報に基づいて、前記複数の撮影装置の少なくとも一つと前記背景モデルに含まれる部分領域とを関連付ける関連情報であって、前記仮想視点画像の生成に使用される関連情報を生成する情報生成手段と、を有し、
前記情報生成手段は、
前記複数の撮影装置のうち、撮影範囲内に位置する前記背景モデルに含まれる部分領域の割合に基づいて特定撮影装置を特定し、
前記特定撮影装置と前記特定撮影装置の撮影範囲内に位置する背景モデルに含まれる部分領域とを関連付け、
前記複数の撮影装置のうち、前記特定撮影装置との距離が近い順に、前記特定撮影装置と異なる撮影装置と、前記複数の撮影装置のうち1つの撮影装置と未だ関連付けられていない前記背景モデルに含まれる部分領域とを関連付けること
を特徴とする画像処理装置。 - 前記特定撮影装置は、前記複数の撮影装置のうち、前記背景モデルに含まれる領域を最も広く撮影する撮影装置であることを特徴とする請求項1に記載の画像処理装置。
- 前記情報生成手段は、前記特定撮影装置との、姿勢、及び露光値の少なくとも何れかについての関係に基づいて特定される撮影装置と、前記部分領域とを関連付ける関連情報を生成することを特徴とする請求項1又は2に記載の画像処理装置。
- 前記関連情報は、前記撮影装置により取得される撮影画像内の前記部分領域に対応する画像領域を特定する情報を含むことを特徴とする請求項1乃至3の何れか1項に記載の画像処理装置。
- 前記関連情報により前記部分領域と関連付けられた撮影装置により取得される撮影画像の部分画像であって、前記部分領域に対応する部分画像を出力する出力手段をさらに有することを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。
- 前記情報生成手段は、前記複数の撮影装置の何れかに不具合が生じた場合に、前記関連情報を生成し直すことを特徴とする請求項1乃至5の何れか1項に記載の画像処理装置。
- 前記モデル情報は、前記背景モデルの複数の部分領域の位置を特定するための情報を含むことを特徴とする請求項1乃至6の何れか1項に記載の画像処理装置。
- 前記背景モデルと、前記関連情報により特定される撮影装置により取得される画像に基づいて、前記仮想視点画像を生成する画像生成手段をさらに有することを特徴とする請求項1乃至7の何れか1項に記載の画像処理装置。
- 前記画像生成手段は、複数のフレームの仮想視点画像を、前記複数のフレームにおける前景の3次元形状を表す複数の前景モデルと、前記複数のフレームに対応する単一の前記背景モデルとに基づいて生成することを特徴とする請求項8に記載の画像処理装置。
- 前景は、動体であり、
背景は、地面及び構造物の少なくとも何れかであることを特徴とする請求項9に記載の画像処理装置。 - 画像処理装置が実行する情報処理方法であって、
複数の方向から撮影する複数の撮影装置の位置及び姿勢を特定するための撮影情報を取得する撮影情報取得ステップと、
前記複数の撮影装置の撮影に基づく複数の画像を用いて生成される仮想視点画像の背景の3次元形状を表す背景モデルに関するモデル情報を取得するモデル情報取得ステップと、
前記撮影情報と前記モデル情報に基づいて、前記複数の撮影装置の少なくとも一つと前記背景モデルに含まれる部分領域とを関連付ける関連情報であって、前記仮想視点画像の生成に使用される関連情報を生成する情報生成ステップと、を含み、
前記情報生成ステップは、
前記複数の撮影装置のうち、撮影範囲内に位置する前記背景モデルに含まれる部分領域の割合に基づいて特定撮影装置を特定し、
前記特定撮影装置と前記特定撮影装置の撮影範囲内に位置する背景モデルに含まれる部分領域とを関連付け、
前記複数の撮影装置のうち、前記特定撮影装置との距離が近い順に、前記特定撮影装置と異なる撮影装置と、前記複数の撮影装置のうち1つの撮影装置と未だ関連付けられていない前記背景モデルに含まれる部分領域とを関連付けること
を特徴とする、情報処理方法。 - コンピュータを、請求項1乃至10の何れか1項に記載の画像処理装置として、機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18208659.5A EP3493162A1 (en) | 2017-12-04 | 2018-11-27 | Virtual viewpoint synthesis |
US16/202,550 US10979684B2 (en) | 2017-12-04 | 2018-11-28 | Image processing apparatus, information processing method, and program for associating an element in a background shape model with an image capturing apparatus |
CN201811464278.9A CN109874000B (zh) | 2017-12-04 | 2018-12-03 | 图像处理装置、信息处理方法和存储介质 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017232886 | 2017-12-04 | ||
JP2017232886 | 2017-12-04 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019102056A JP2019102056A (ja) | 2019-06-24 |
JP2019102056A5 JP2019102056A5 (ja) | 2021-08-12 |
JP7195791B2 true JP7195791B2 (ja) | 2022-12-26 |
Family
ID=66973893
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018127416A Active JP7195791B2 (ja) | 2017-12-04 | 2018-07-04 | 画像処理装置、情報処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7195791B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021131365A1 (ja) * | 2019-12-26 | 2021-07-01 | 富士フイルム株式会社 | 情報処理装置、情報処理装置の作動方法、及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006072805A (ja) | 2004-09-03 | 2006-03-16 | Nippon Hoso Kyokai <Nhk> | 3次元モデル表示装置及び3次元モデル表示プログラム |
US20130016097A1 (en) | 2010-04-02 | 2013-01-17 | Imec | Virtual Camera System |
JP2017211828A (ja) | 2016-05-25 | 2017-11-30 | キヤノン株式会社 | 画像処理システム、画像処理装置、制御方法、及び、プログラム |
-
2018
- 2018-07-04 JP JP2018127416A patent/JP7195791B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006072805A (ja) | 2004-09-03 | 2006-03-16 | Nippon Hoso Kyokai <Nhk> | 3次元モデル表示装置及び3次元モデル表示プログラム |
US20130016097A1 (en) | 2010-04-02 | 2013-01-17 | Imec | Virtual Camera System |
JP2017211828A (ja) | 2016-05-25 | 2017-11-30 | キヤノン株式会社 | 画像処理システム、画像処理装置、制御方法、及び、プログラム |
Non-Patent Citations (2)
Title |
---|
自由視点映像生成のための簡易な操作による背景生成手法,電子情報通信学会技術研究報告,日本,2006年12月08日 |
講師追跡撮影カメラと平面対象撮影カメラを併用した講義室の高解像度画像合成,電子情報通信学会論文誌,日本,2009年02月01日 |
Also Published As
Publication number | Publication date |
---|---|
JP2019102056A (ja) | 2019-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109690620B (zh) | 三维模型生成装置以及三维模型生成方法 | |
KR102153985B1 (ko) | 가상 시점 화상을 생성하는 장치, 시스템, 방법, 및 비일시적 컴퓨터 판독가능 기억 매체 | |
KR102246010B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 저장 매체 | |
JP7179515B2 (ja) | 装置、制御方法、及びプログラム | |
JP5313127B2 (ja) | 映像合成方法、映像合成システム | |
US20180182114A1 (en) | Generation apparatus of virtual viewpoint image, generation method, and storage medium | |
WO2012132167A1 (ja) | 情報処理システム、情報処理装置、撮像装置、および情報処理方法 | |
JP6257285B2 (ja) | 複眼撮像装置 | |
WO2012132168A1 (ja) | 情報処理装置、情報処理方法、および位置情報のデータ構造 | |
JP2016213808A (ja) | カメラ選択方法及び映像配信システム | |
JP2013009274A (ja) | 画像処理装置および画像処理方法、プログラム | |
JP5886242B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
US11250619B2 (en) | Image processing apparatus and method | |
JP2014222825A (ja) | 映像処理装置および映像処理方法 | |
JP6606530B2 (ja) | 画像処理装置およびその制御方法、撮像装置、監視システム | |
CN109874000B (zh) | 图像处理装置、信息处理方法和存储介质 | |
JP2019106145A (ja) | 3次元モデルの生成装置、生成方法及びプログラム | |
JP7195791B2 (ja) | 画像処理装置、情報処理方法及びプログラム | |
KR20220121533A (ko) | 어레이 카메라를 통해 획득된 영상을 복원하는 영상 복원 방법 및 영상 복원 장치 | |
JP7321716B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7195135B2 (ja) | 画像処理装置、画像処理装置が行う制御方法およびプログラム | |
EP3926949B1 (en) | Control apparatus, control method, and program | |
JP2019106170A (ja) | 3次元モデルの生成装置、生成方法及びプログラム | |
KR20180070234A (ko) | 타임 슬라이스 영상을 제공하는 장치 및 사용자 단말 | |
JP2020039063A (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210628 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210628 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220405 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220707 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221214 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7195791 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |