JP7387792B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP7387792B2 JP7387792B2 JP2022047277A JP2022047277A JP7387792B2 JP 7387792 B2 JP7387792 B2 JP 7387792B2 JP 2022047277 A JP2022047277 A JP 2022047277A JP 2022047277 A JP2022047277 A JP 2022047277A JP 7387792 B2 JP7387792 B2 JP 7387792B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- placement
- imaging devices
- information processing
- virtual viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 87
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000003384 imaging method Methods 0.000 claims description 242
- 238000011156 evaluation Methods 0.000 claims description 118
- 238000000034 method Methods 0.000 claims description 58
- 238000012545 processing Methods 0.000 claims description 42
- 230000007613 environmental effect Effects 0.000 claims description 31
- 238000004088 simulation Methods 0.000 claims description 20
- 230000003068 static effect Effects 0.000 claims description 8
- 238000009434 installation Methods 0.000 description 36
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012854 evaluation process Methods 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000012905 input function Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000000137 annealing Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Computer Graphics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Analysis (AREA)
- Image Generation (AREA)
Description
本発明の第1の実施形態について説明する。第1の実施形態では、情報処理装置が、良好な品質の仮想視点画像が得られるように、撮像装置の最適な配置を決定し、決定した撮像装置の配置情報をユーザ(設置者)に対して提供する例について説明する。第1の実施形態において、複数の撮像装置の配置に係る配置情報は、撮像装置を設置する位置姿勢(位置及び姿勢(向き))の情報を含む。
<ハードウェア構成>
図1は、本実施形態における情報処理装置100のハードウェア構成の一例を示すブロック図である。情報処理装置100は、ハードウェア構成として、CPU101、ROM102、RAM103、通信インターフェース(通信I/F)104、表示装置105、入力装置106、及びハードディスクドライブ(HDD)107を有する。CPU101、ROM102、RAM103、通信I/F104、表示装置105、入力装置106、及びHDD107は、システムバス108を介して通信可能に接続される。
図2は、本実施形態における情報処理装置100のソフトウェア構成の一例を示すブロック図である。情報処理装置100は、ソフトウェア構成として、環境情報取得部201、制約情報取得部202、評価部203、配置情報取得部204、及び出力部205を有する。
ステップS401では、環境情報取得部201は、環境情報として、静的被写体の3次元情報と、動的被写体の3次元情報及び動き情報とを取得する。
ステップS402では、制約情報取得部202は、制約情報として、撮像装置の設置可能範囲及び設置台数と、仮想視点の可動範囲とを取得する。
配置情報取得処理を開始するとステップS501へ進み、配置情報取得部204は、ステップS501~S505の処理(ループ処理A)を所定の回数繰り返して実行する。
ステップS601では、評価部203は、ステップS402において取得した制約情報に基づいて、評価用の仮想視点を1つ以上生成する。具体的には、評価部203は、制約情報として取得した仮想視点の可動範囲に基づいて、仮想視点の可動範囲内でランダムに仮想視点の位置姿勢及び画角を生成する。
次に、本発明の第2の実施形態について説明する。第2の実施形態では、情報処理装置が、撮像装置の配置情報として、撮像装置の位置姿勢に加えて、撮像装置の設置台数も決定し、決定した撮像装置の配置情報をユーザ(設置者)に対して提供する例について説明する。
ステップS701では、環境情報取得部201は、環境情報として、静的被写体の3次元情報と、動的被写体の3次元情報及び動き情報とを取得する。
ステップS702では、制約情報取得部202は、制約情報として、撮像装置の設置可能範囲と仮想視点の可動範囲とに加えて、撮像装置の設置台数の最大値及び最小値と、評価値の閾値とを取得する。
次に、本発明の第3の実施形態について説明する。第3の実施形態では、すべての撮像装置の配置情報ではなく、一部の撮像装置の配置情報のみを決定し、撮像装置の配置情報をユーザ(設置者)に対して提供する例について説明する。既に設置した撮像装置の配置を変更する場合や、環境情報が不正確で実際に撮像装置を設置する際に設置できない撮像装置があった場合等であっても、一部の撮像装置の配置情報のみ短時間で算出して提示できるため、設置作業の効率を向上させることができる。
次に、本発明の第4の実施形態について説明する。第4の実施形態では、品質を保ちながら、より短時間で仮想視点画像を生成するために、設置済みの撮像装置の中から仮想視点画像の生成に用いる撮像装置を選択する例について説明する。仮想視点画像の生成に用いる撮像装置の数を減らすことで、仮想視点画像の生成処理の高速化を図ることができる。
ステップS705では、配置情報取得部204は、ステップS704において算出した評価値がステップS702において取得した評価値の閾値以下であるか否かを判定する。算出した評価値が閾値以下であると配置情報取得部204が判定した場合、繰り返し処理を抜けてステップS708へ進み、算出した評価値が閾値より大きいと配置情報取得部204が判定した場合、ステップS706へ進む。
撮像装置が設置済みであれば、実際に被写体を撮像した画像を環境情報取得部201が環境情報として取得し、シミュレーション画像でなく実画像を用いて評価部203が撮像装置の配置を評価してもよい。例えば、前述したように前フレームの生成画像や3次元形状と比較して評価値を求めてもよい。また、選択しなかった撮像装置の画像を正解画像として、その選択しなかった撮像装置からの見え方を再現した仮想視点画像と正解画像とを比較して評価値を算出してもよい。
本発明は、前述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (14)
- 仮想視点画像を生成するための画像を撮像する複数の撮像装置を配置する際の制約を示す制約情報を取得する制約情報取得手段と、
前記複数の撮像装置によって撮像される被写体の3次元情報または動き情報を含む環境情報を取得する環境情報取得手段と、
取得された前記環境情報及び前記制約情報に基づいて、前記複数の撮像装置の配置位置の複数の候補を示す複数の配置情報を生成する配置情報生成手段と、
前記複数の配置情報を評価する評価手段と、
前記複数の配置情報のうち評価が最大となる配置情報を出力する出力手段とを有することを特徴とする情報処理装置。 - 前記評価手段は、前記複数の撮像装置により撮像された画像から生成される仮想視点画像の品質を評価することにより、前記複数の配置情報を評価することを特徴とする請求項1に記載の情報処理装置。
- 前記評価手段は、前記複数の撮像装置により撮像された画像から生成される3次元形状の正確性を評価することにより、前記複数の配置情報を評価することを特徴とする請求項1に記載の情報処理装置。
- 前記配置情報は、各撮像装置の姿勢、又は各撮像装置の姿勢及び撮像装置の配置台数を示す情報をさらに含むことを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
- 前記複数の配置情報に従って配置された前記複数の撮像装置により撮像される画像のシミュレーション画像を用いて生成された仮想視点画像と、仮想視点から撮像されるシミュレーション画像との比較に基づいて、前記複数の配置情報を評価することを特徴とする請求項2に記載の情報処理装置。
- 前記複数の配置情報に従って配置された前記複数の撮像装置により撮像される画像のシミュレーション画像から生成された3次元形状と、シミュレーションで用いた3次元形状との比較に基づいて、前記複数の配置情報を評価することを特徴とする請求項3に記載の情報処理装置。
- 前記環境情報は、静的被写体の3次元情報と、動的被写体の3次元情報及び動き情報とを含むことを特徴とする請求項1に記載の情報処理装置。
- 仮想視点画像を生成するための画像を撮像する複数の撮像装置を配置する際の制約を示す制約情報であって、仮想視点画像に対応する仮想視点の可動範囲を示す情報を含む制約情報を取得する制約情報取得手段と、
取得された前記制約情報に基づいて、前記複数の撮像装置の配置位置の複数の候補を示す複数の配置情報を生成する配置情報生成手段と、
前記複数の配置情報を評価する評価手段と、
前記複数の配置情報のうち評価が最大となる配置情報を出力する出力手段とを有することを特徴とする情報処理装置。 - 前記制約情報は、配置が決定している撮像装置の配置情報を含むことを特徴とする請求項1乃至8の何れか1項に記載の情報処理装置。
- 配置が決定している撮像装置の配置情報に基づいて、前記複数の撮像装置の内の一部の前記撮像装置の配置を算出することにより、前記配置情報を生成することを特徴とする請求項9に記載の情報処理装置。
- 配置が決定している撮像装置の配置情報に基づいて、仮想視点画像の生成に用いる撮像装置を選択することを特徴とする請求項9に記載の情報処理装置。
- 情報処理装置が実行する情報処理方法であって、
仮想視点画像を生成するための画像を撮像する複数の撮像装置を配置する際の制約を示す制約情報を取得し、
前記複数の撮像装置によって撮像される被写体の3次元情報または動き情報を含む環境情報を取得し、
取得した前記環境情報及び前記制約情報に基づいて、前記複数の撮像装置の配置位置の複数の候補を示す複数の配置情報を生成し、
前記複数の配置情報を評価し、
前記複数の配置情報のうち評価が最大となる配置情報を出力することを特徴とする情報処理方法。 - 情報処理装置が実行する情報処理方法であって、
仮想視点画像を生成するための画像を撮像する複数の撮像装置を配置する際の制約を示す制約情報であって、仮想視点画像に対応する仮想視点の可動範囲を示す情報を含む制約情報を取得し、
取得した前記制約情報に基づいて、前記複数の撮像装置の配置位置の複数の候補を示す複数の配置情報を生成し、
前記複数の配置情報を評価し、
前記複数の配置情報のうち評価が最大となる配置情報を出力することを特徴とする情報処理方法。 - コンピュータを、請求項1乃至11の何れか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022047277A JP7387792B2 (ja) | 2017-11-13 | 2022-03-23 | 情報処理装置、情報処理方法及びプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017218463A JP7046567B2 (ja) | 2017-11-13 | 2017-11-13 | 情報処理装置、情報処理方法及びプログラム |
JP2022047277A JP7387792B2 (ja) | 2017-11-13 | 2022-03-23 | 情報処理装置、情報処理方法及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017218463A Division JP7046567B2 (ja) | 2017-11-13 | 2017-11-13 | 情報処理装置、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022089839A JP2022089839A (ja) | 2022-06-16 |
JP7387792B2 true JP7387792B2 (ja) | 2023-11-28 |
Family
ID=66439240
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017218463A Active JP7046567B2 (ja) | 2017-11-13 | 2017-11-13 | 情報処理装置、情報処理方法及びプログラム |
JP2022047277A Active JP7387792B2 (ja) | 2017-11-13 | 2022-03-23 | 情報処理装置、情報処理方法及びプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017218463A Active JP7046567B2 (ja) | 2017-11-13 | 2017-11-13 | 情報処理装置、情報処理方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11328473B2 (ja) |
JP (2) | JP7046567B2 (ja) |
WO (1) | WO2019093457A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11748870B2 (en) * | 2019-09-27 | 2023-09-05 | Intel Corporation | Video quality measurement for virtual cameras in volumetric immersive media |
JP2021141533A (ja) | 2020-03-09 | 2021-09-16 | キヤノン株式会社 | 姿勢調整システムおよび姿勢調整方法、画像処理装置およびその制御方法、ならびにプログラム |
JP2023173764A (ja) | 2022-05-26 | 2023-12-07 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
WO2024080121A1 (ja) * | 2022-10-14 | 2024-04-18 | ソニーグループ株式会社 | 情報処理装置および方法 |
WO2024080120A1 (ja) * | 2022-10-14 | 2024-04-18 | ソニーグループ株式会社 | 情報処理装置および方法、並びに、情報処理システム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007195091A (ja) | 2006-01-23 | 2007-08-02 | Sharp Corp | 合成映像生成システム |
JP2008140297A (ja) | 2006-12-05 | 2008-06-19 | Nippon Telegr & Teleph Corp <Ntt> | 動画像生成方法及びシステム |
JP2016109669A (ja) | 2014-11-28 | 2016-06-20 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
WO2017149869A1 (ja) | 2016-02-29 | 2017-09-08 | ソニー株式会社 | 情報処理装置、方法、プログラム及びマルチカメラシステム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5341789B2 (ja) * | 2010-01-22 | 2013-11-13 | 富士通テン株式会社 | パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム |
JP5562103B2 (ja) * | 2010-04-16 | 2014-07-30 | キヤノン株式会社 | 画像処理装置および方法 |
JP2014215828A (ja) | 2013-04-25 | 2014-11-17 | シャープ株式会社 | 画像データ再生装置、および視点情報生成装置 |
US10108882B1 (en) * | 2015-05-16 | 2018-10-23 | Sturfee, Inc. | Method to post and access information onto a map through pictures |
JP6754992B2 (ja) * | 2016-04-22 | 2020-09-16 | パナソニックIpマネジメント株式会社 | 三次元再構成方法 |
GB2564642A (en) * | 2017-07-10 | 2019-01-23 | Nokia Technologies Oy | Methods and apparatuses for panoramic image processing |
-
2017
- 2017-11-13 JP JP2017218463A patent/JP7046567B2/ja active Active
-
2018
- 2018-11-09 WO PCT/JP2018/041584 patent/WO2019093457A1/ja active Application Filing
-
2020
- 2020-05-04 US US16/865,858 patent/US11328473B2/en active Active
-
2022
- 2022-03-23 JP JP2022047277A patent/JP7387792B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007195091A (ja) | 2006-01-23 | 2007-08-02 | Sharp Corp | 合成映像生成システム |
JP2008140297A (ja) | 2006-12-05 | 2008-06-19 | Nippon Telegr & Teleph Corp <Ntt> | 動画像生成方法及びシステム |
JP2016109669A (ja) | 2014-11-28 | 2016-06-20 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
WO2017149869A1 (ja) | 2016-02-29 | 2017-09-08 | ソニー株式会社 | 情報処理装置、方法、プログラム及びマルチカメラシステム |
Non-Patent Citations (1)
Title |
---|
海老澤 一生 Kazui Ebisawa,視体積交差におけるカメラ配置の最適化,FIT2012 第11回情報科学技術フォーラム 講演論文集 第3分冊 査読付き論文・一般論文 画像認識・メディア理解 グラフィクス・画像 ヒューマンコミュニケーション&インタラクション 教育工学・福祉工学・マルチメディア応用 Forum on Information Technology 2012,2012年,pp.151-154 |
Also Published As
Publication number | Publication date |
---|---|
JP2019092007A (ja) | 2019-06-13 |
US20200265634A1 (en) | 2020-08-20 |
JP7046567B2 (ja) | 2022-04-04 |
US11328473B2 (en) | 2022-05-10 |
JP2022089839A (ja) | 2022-06-16 |
WO2019093457A1 (ja) | 2019-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7387792B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US9177381B2 (en) | Depth estimate determination, systems and methods | |
JP5773944B2 (ja) | 情報処理装置および情報処理方法 | |
US9208607B2 (en) | Apparatus and method of producing 3D model | |
US10157478B2 (en) | Enabling use of three-dimensional locations of features with two-dimensional images | |
EP3629302B1 (en) | Information processing apparatus, information processing method, and storage medium | |
CN105637559A (zh) | 使用深度传感器的结构建模 | |
WO2012033768A2 (en) | Efficient information presentation for augmented reality | |
JP2008275341A (ja) | 情報処理装置、情報処理方法 | |
JP2019190974A (ja) | キャリブレーション装置、キャリブレーション方法、及びプログラム | |
US20180165860A1 (en) | Motion edit method and apparatus for articulated object | |
JP6332951B2 (ja) | 画像処理装置および画像処理方法、およびプログラム | |
US11373329B2 (en) | Method of generating 3-dimensional model data | |
WO2018190805A1 (en) | Depth image pose search with a bootstrapped-created database | |
JP2016122444A (ja) | 焦点スタックから適応スライス画像を生成する方法および装置 | |
JP2016212784A (ja) | 画像処理装置、画像処理方法 | |
JP2019046055A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN111524086A (zh) | 运动物体检测装置、运动物体检测方法、存储介质 | |
JP2017184136A (ja) | 情報処理装置、情報処理方法、情報処理システム及びプログラム | |
JP2020113202A (ja) | パラメータ選定装置、パラメータ選定方法、およびパラメータ選定プログラム | |
JP5712810B2 (ja) | 画像処理装置、そのプログラム、および画像処理方法 | |
JP2015197374A (ja) | 3次元形状推定装置及び3次元形状推定方法 | |
JP6564259B2 (ja) | 画像処理装置、画像処理方法 | |
Chen et al. | A 3-D point clouds scanning and registration methodology for automatic object digitization | |
JP2020187626A (ja) | 画像処理装置、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220421 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230627 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230810 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231017 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231115 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7387792 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |