JP7471784B2 - 提供装置、制御方法、及び、プログラム - Google Patents
提供装置、制御方法、及び、プログラム Download PDFInfo
- Publication number
- JP7471784B2 JP7471784B2 JP2019151404A JP2019151404A JP7471784B2 JP 7471784 B2 JP7471784 B2 JP 7471784B2 JP 2019151404 A JP2019151404 A JP 2019151404A JP 2019151404 A JP2019151404 A JP 2019151404A JP 7471784 B2 JP7471784 B2 JP 7471784B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual viewpoint
- information
- evaluation
- imaging
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 39
- 238000011156 evaluation Methods 0.000 claims description 253
- 238000003384 imaging method Methods 0.000 claims description 148
- 230000008859 change Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 55
- 239000013598 vector Substances 0.000 description 25
- 230000008569 process Effects 0.000 description 23
- 238000012854 evaluation process Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 235000005156 Brassica carinata Nutrition 0.000 description 1
- 244000257790 Brassica carinata Species 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Landscapes
- Image Generation (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
Description
本実施形態においては、仮想視点の方向に応じた仮想視点画像の画質に関する情報を提供する提供装置200について説明する。ここで、仮想視点画像とは、複数の撮像装置による撮像に基づく複数の画像と、指定された任意の視点(仮想視点)とに基づいて、指定された仮想視点からの見えを表す画像である。複数の撮像装置は、例えば図1に示す撮像装置100のように、撮像領域を囲むように配置されうる。撮像領域は、例えばサッカーや空手などの競技が行われる競技場、もしくはコンサートや演劇が行われる舞台などである。複数の撮像装置は、このような撮像領域を取り囲むようにそれぞれ異なる位置に設置され、同期して撮像を行う。なお、複数の撮像装置は撮像領域の全周にわたって設置されていなくてもよく、設置場所の制限等によっては撮像領域の一部の方向にのみ設置されていてもよい。また、撮像装置の数は図に示す例に限定されず、例えば撮像領域をサッカーの競技場とする場合には、競技場の周囲に30台程度の撮像装置が設置されてもよい。また、望遠カメラと広角カメラなど機能が異なる撮像装置が設置されていてもよい。また、本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に(任意に)指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。本実施形態における仮想視点画像は、動画であっても静止画像であってもよい。すなわち、以降の実施形態は、動画及び静止画像のいずれにも適用可能である。
第1の実施形態の変形例として、画質を評価する別の方法について説明する。一例として、図12を参照しながら、評価位置12に対応する画質を評価する場合について説明する。評価部303は、視点情報に基づき、複数の撮像装置100の中から評価位置12を画角に含む撮像装置100を特定する。評価部303は、特定した撮像装置100の位置と評価位置12とを結ぶ線分13を算出する。さらに、評価部303は、評価位置を中心とする円について、算出した線分13を中心とする中心角θの扇形14を算出する。なお、このときの中心角θは任意の値であり、あらかじめ定められているものとする。特定された撮像装置100が複数ある場合は、各撮像装置100について同様に扇形14を算出する。図12に示す例では、代表として一つの扇形14が図示されている。すべての扇形14を算出した後、評価部303は、すべての扇形に含まれない領域15を特定する。領域15は、当該領域の方向から評価位置12を撮像する撮像装置100がないことを示す領域である。したがって、領域15の方向から評価位置12を見る仮想視点に対応する仮想視点画像の画質が低いことが推定される。評価部303は、図12に示すような画面表示を表示装置304に表示させる。これにより、ユーザは、画質の良い仮想視点画像を取得するためにどの方向から評価位置12を見る仮想視点を設定すればよいかを容易に推定することができる。
上述の第1の実施形態においては、評価処理の結果に基づく結果からグラフを生成し、表示装置304に表示させることにより、仮想視点の設定時に参考となる情報をユーザに提供する例について説明した。本実施形態においては、ユーザが仮想視点を設定する際に情報を提供する提供装置230について説明する。なお、提供装置230のハードウェア構成は第1の実施形態における提供装置200と同様であるものとする。また、以降の説明においては、第1の実施形態と同様の機能構成及び処理フローについては同じ符号を付し、説明を省略する。
上述した第1の実施形態においては、視点情報を参照することにより、評価情報に基づいて特定される評価位置における各評価方向に対応する画質を評価する方法について説明した。本実施形態においては、評価部303が評価処理を行う別の例について説明する。なお、本実施形態において説明する提供装置240のハードウェア構成は、第1の実施形態における提供装置200と同様であるものとする。また、以降の説明においては、第1及び第2の実施形態と同様の機能構成及び処理フローについては同じ符号を付し、説明を省略する。
以上説明した実施形態における提供装置は、仮想視点画像を生成するために用いられる複数の撮像画像を取得するための複数の撮像装置の撮像方向を示す情報として、視点情報を取得する。また、当該提供装置は、仮想視点の方向が所定の方向(評価方向)に設定される場合における当該方向を、撮像方向を示す情報に基づいて評価することにより得られる評価結果に関する情報を出力する。上記の実施形態によれば、適切な方向の仮想視点が設定可能になる。
301 視点情報取得部
303 評価部
Claims (22)
- 仮想視点画像を生成するために用いられる複数の撮像画像を取得するための複数の撮像装置の撮像方向を示す情報を取得する取得手段と、
前記仮想視点画像の生成に用いられる仮想視点の方向が所定の方向に設定される場合における当該方向を、前記取得手段により取得された情報が示す撮像方向に基づいて評価することにより得られる評価結果に関する情報を出力する出力手段と、
ユーザによる操作に基づいて、仮想視点の方向を決定する決定手段と、
前記決定手段により決定される仮想視点の方向と前記所定の方向とに基づいて、前記出力手段によって出力された評価結果を通知する画面を表示手段に表示させる制御手段と
を有することを特徴とする提供装置。 - 前記評価結果は、前記所定の方向と、前記取得手段により取得された情報が示す撮像方向とのなす角に基づいて、前記所定の方向を評価することにより得られる評価結果であることを特徴とする請求項1に記載の提供装置。
- 前記評価結果は、前記なす角が所定の閾値未満であるか否かに基づいて、前記所定の方向を評価することにより得られる評価結果であることを特徴とする請求項2に記載の提供装置。
- 前記評価結果に関する情報は、前記所定の方向と、当該方向に対応する前記なす角とが認識可能な情報であることを特徴とする請求項2又は3に記載の提供装置。
- 前記取得手段は、前記複数の撮像装置の解像度を示す情報を更に取得し、
前記出力手段は、前記取得手段により取得された情報が示す解像度に基づいて、前記所定の方向を評価することにより得られる評価結果に関する情報を出力することを特徴とする請求項1乃至4のいずれか1項に記載の提供装置。 - 前記評価結果に関する情報は、前記所定の方向と、当該方向に基づいて特定される撮像装置の解像度とが認識可能な情報であることを特徴とする請求項5に記載の提供装置。
- 前記取得手段は、前記複数の撮像画像に関する情報を更に取得し、
前記出力手段は、前記取得手段により取得された複数の撮像画像に関する情報に更に基づいて、前記所定の方向を評価することを特徴とする請求項2乃至6のいずれか1項に記載の提供装置。 - 前記撮像画像に関する情報は、撮像装置の揺れ、撮像画像のぼけ、露出、ホワイトバランス、撮像画像における信号対雑音比、及び前記撮像装置が撮像する撮像対象が遮蔽されていることを示す情報の少なくともいずれかを含むことを特徴とする請求項7に記載の提供装置。
- 前記出力手段は、前記評価結果に関する情報を表示手段に出力することを特徴とする請求項1乃至8のいずれか1項に記載の提供装置。
- 前記出力手段は、複数の所定の方向のそれぞれに対応する複数の評価結果を認識可能な表示画面を表示させるための情報を表示手段に出力することを特徴とする請求項9に記載の提供装置。
- 前記出力手段は、前記評価結果に関する情報を前記制御手段に出力し、
前記制御手段は、前記評価結果に関する情報に基づいて、前記決定手段により決定される仮想視点の方向に応じた制御を行うことを特徴とする請求項1乃至10のいずれか1項に記載の提供装置。 - 前記制御手段は、前記決定手段により決定される仮想視点の方向が前記所定の方向と近似する場合、当該所定の方向に対応する評価結果をユーザに通知するための表示画面を表示手段に表示させることを特徴とする請求項11に記載の提供装置。
- 前記制御手段は、前記決定手段により決定される仮想視点の方向が前記所定の方向と近似する場合、当該所定の方向に対応する評価結果をユーザに通知するための音を出力手段に出力させることを特徴とする請求項11又は12に記載の提供装置。
- 前記制御手段は、前記決定手段により決定される仮想視点の方向が前記所定の方向と近似し、且つ当該所定の方向と、前記取得手段により取得された情報が示す撮像方向とのなす角が所定の閾値未満でない場合に、前記決定手段により決定される仮想視点の方向を変更させるように前記ユーザにより操作される操作手段を制御することを特徴とする請求項11乃至13のいずれか1項に記載の提供装置。
- 仮想視点画像を生成するために用いられる複数の撮像画像を取得するための複数の撮像装置の撮像方向を示す情報を取得する取得手段と、
前記仮想視点画像の生成に用いられる仮想視点の方向が所定の方向に設定される場合における当該方向を、前記取得手段により取得された情報が示す撮像方向に基づいて評価することにより得られる評価結果に関する情報を出力する出力手段と、
前記評価結果に関する情報に基づいて仮想視点の方向を決定する決定手段とを有することを特徴とする提供装置。 - 前記所定の方向は、前記複数の撮像装置により撮像される撮像領域における特定の位置を向く方向であることを特徴とする請求項1乃至15のいずれか1項に記載の提供装置。
- 前記特定の位置は、前記複数の撮像装置により撮像される撮像領域における被写体の位置に基づいて特定されることを特徴とする請求項16に記載の提供装置。
- 前記特定の位置は、前記複数の撮像装置により撮像される撮像領域における複数の被写体の分布に基づいて特定されることを特徴とする請求項17に記載の提供装置。
- 前記特定の位置は、ユーザによる操作手段の操作に基づいて特定されることを特徴とする請求項16に記載の提供装置。
- 仮想視点画像を生成するために用いられる複数の撮像画像を取得するための複数の撮像装置の撮像方向を示す情報を取得する取得工程と、
前記仮想視点画像の生成に用いられる仮想視点の方向が所定の方向に設定される場合における当該方向を、前記取得工程において取得された情報が示す撮像方向に基づいて評価することにより得られる評価結果に関する情報を出力する出力工程と、
ユーザによる操作に基づいて、仮想視点の方向を決定する決定工程と、
前記決定工程により決定される仮想視点の方向と前記所定の方向とに基づいて、前記出力工程により出力された評価結果を通知する画面を表示手段に表示させる制御工程と
を有することを特徴とする提供装置の制御方法。 - 仮想視点画像を生成するために用いられる複数の撮像画像を取得するための複数の撮像装置の撮像方向を示す情報を取得する取得工程と、
前記仮想視点画像の生成に用いられる仮想視点の方向が所定の方向に設定される場合における当該方向を、前記取得工程において取得された情報が示す撮像方向に基づいて評価することにより得られる評価結果に関する情報を出力する出力工程と、
前記評価結果に関する情報に基づいて仮想視点の方向を決定する決定手段と
を有することを特徴とする提供装置の制御方法。 - コンピュータを、請求項1乃至19のいずれか1項に記載の提供装置が有する各手段として機能させるためのコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019151404A JP7471784B2 (ja) | 2019-08-21 | 2019-08-21 | 提供装置、制御方法、及び、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019151404A JP7471784B2 (ja) | 2019-08-21 | 2019-08-21 | 提供装置、制御方法、及び、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021033525A JP2021033525A (ja) | 2021-03-01 |
JP7471784B2 true JP7471784B2 (ja) | 2024-04-22 |
Family
ID=74677429
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019151404A Active JP7471784B2 (ja) | 2019-08-21 | 2019-08-21 | 提供装置、制御方法、及び、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7471784B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023139925A (ja) * | 2022-03-22 | 2023-10-04 | 株式会社東京精密 | 三次元形状測定装置及び三次元形状測定方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018206025A (ja) | 2017-06-02 | 2018-12-27 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP2019004229A (ja) | 2017-06-12 | 2019-01-10 | キヤノン株式会社 | 情報処理装置及び画像生成装置及びそれら制御方法、並びにプログラム及び画像処理システム |
-
2019
- 2019-08-21 JP JP2019151404A patent/JP7471784B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018206025A (ja) | 2017-06-02 | 2018-12-27 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP2019004229A (ja) | 2017-06-12 | 2019-01-10 | キヤノン株式会社 | 情報処理装置及び画像生成装置及びそれら制御方法、並びにプログラム及び画像処理システム |
Non-Patent Citations (1)
Title |
---|
石川 智也 Tomoya Ishikawa,コンピュータグラフィックス Computer Graphics,映像情報メディア学会誌 第60巻 第10号 THE JOURNAL OF THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS,日本,(社)映像情報メディア学会 THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS,第60巻 |
Also Published As
Publication number | Publication date |
---|---|
JP2021033525A (ja) | 2021-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7051457B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US10970915B2 (en) | Virtual viewpoint setting apparatus that sets a virtual viewpoint according to a determined common image capturing area of a plurality of image capturing apparatuses, and related setting method and storage medium | |
KR102342668B1 (ko) | 화상 처리장치, 화상 처리방법 및 기억매체 | |
US10699473B2 (en) | System and method for generating a virtual viewpoint apparatus | |
US20210227201A1 (en) | Display control apparatus, display control method, and storage medium | |
JP7212519B2 (ja) | 画像生成装置および画像を生成する方法 | |
JP2016018560A (ja) | 視覚効果を有するオブジェクトを表示する装置及び方法 | |
US10448178B2 (en) | Display control apparatus, display control method, and storage medium | |
US10951873B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2020030864A (ja) | 画像処理装置 | |
JP2014059691A (ja) | 画像処理装置および方法、並びにプログラム | |
US11127141B2 (en) | Image processing apparatus, image processing method, and a non-transitory computer readable storage medium | |
US20220217322A1 (en) | Apparatus, articles of manufacture, and methods to facilitate generation of variable viewpoint media | |
JP7471784B2 (ja) | 提供装置、制御方法、及び、プログラム | |
US11430178B2 (en) | Three-dimensional video processing | |
JP2020187529A (ja) | 画像処理装置、画像処理システム、制御方法、および、プログラム | |
US11704820B2 (en) | Image processing apparatus, image processing method, and storage medium | |
US11189081B2 (en) | Image generation apparatus, image generation method and storage medium | |
JP2022012900A (ja) | 情報処理装置、表示方法、及び、プログラム | |
US20240233259A1 (en) | Information processing apparatus, information processing method, and storage medium | |
EP4296961A1 (en) | Image processing device, image processing method, and program | |
US20220408069A1 (en) | Information processing apparatus, information processing method, and storage medium | |
US11676328B1 (en) | Systems and methods for prioritized rendering and streaming based on risk maps that predict change in a three-dimensional environment | |
JP2019145894A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US20230245378A1 (en) | Information processing apparatus, information processing method, and medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220810 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231027 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240312 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240410 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7471784 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |