JP2022094907A - 生成装置、生成方法、及び、プログラム - Google Patents
生成装置、生成方法、及び、プログラム Download PDFInfo
- Publication number
- JP2022094907A JP2022094907A JP2021146788A JP2021146788A JP2022094907A JP 2022094907 A JP2022094907 A JP 2022094907A JP 2021146788 A JP2021146788 A JP 2021146788A JP 2021146788 A JP2021146788 A JP 2021146788A JP 2022094907 A JP2022094907 A JP 2022094907A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- virtual viewpoint
- shape
- image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 32
- 230000005484 gravity Effects 0.000 claims description 59
- 238000004519 manufacturing process Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 35
- 238000004040 coloring Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 14
- 238000013500 data storage Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000009434 installation Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Abstract
Description
図1は、本実施形態に係る画像処理システム100を示す図である。画像処理システム100は、複数の撮影装置110、画像生成装置120、及び端末装置130を有する。各撮影装置110と画像生成装置120は、LAN(Local Area Network)ケーブル等の通信ケーブルを介して接続している。なお、本実施形態においては、通信ケーブルはLANケーブルであるものとするが、通信ケーブルは実施形態に限定されるものではない。
本実施形態では、被写体の所定の特徴に基づき、被写体の位置を変更する例である。図8は、第2の実施形態に係る画像生成装置1100の機能構成を示す図である。画像生成装置1100は、図4に示した第1の実施形態に係る画像生成装置120の被写体形状重心算出部406のかわりに、被写体特徴生成部1101を有する。なお、画像生成装置1100のハードウェア構成は、第1の実施形態に係る画像生成装置120と同様であるものとする。また、画像生成装置120と同様の構成については、同じ符号を付し、説明を省略する。
第3の実施形態は、時間軸方向における被写体の重心位置に基づき、被写体の位置を変更する例である。図11は、実施例3に係る画像生成装置1500の機能構成を示す図である。画像生成装置1500は、図4に示した第1の実施形態に係る画像生成装置120の被写体形状重心算出部406のかわりに、被写体形状平均重心算出部1601を有する。なお、本実施形態における画像生成装置1500のハードウェア構成は、上述した実施形態と同様であるものとする。また、同様の機能構成については同じ符号を付し、説明を省略する。
第4の実施形態では、被写体を移動させるのではなく、被写体の移動前後の位置関係に基づいて仮想カメラ相対的に移動して撮影して、移動前仮想カメラ画像と合成する方法について説明する。図14は、被写***置差分算出部1901、複数カオス視点情報設定部1902、複数仮想視点画像生成部1903を有する。なお、画像生成装置1100のハードウェア構成は、上述した実施形態と同様であるものとする。また、同様の構成については、同じ符号を付し、説明を省略する。
上述した実施形態においては、被写***置と基準位置とのずれに応じて、被写体の形状データを配置し直して仮想視点画像を生成する例について説明した。しかしこれに限定されず、被写***置と基準位置とがずれていることを識別可能な情報を含む仮想視点画像が生成される構成でもよい。例えば、特定された被写***置に形状データが配置するとともに、基準位置を示す情報(例えば、格子点や直線など)を表示させてもよい。また、被写***置に形状データが配置するとともに、基準位置からずれている被写体を識別可能にする表示を行ってもよい。これは例えば、基準位置からずれている被写体の形状データを線で囲む、被写体の色又は明度を変更して強調する等である。これらの方法により、仮想視点画像を見るユーザは被写***置と基準位置とがずれていることを認識することができる。例えば、演者が生成された仮想視点画像を見て立ち位置を確認したい場合に、仮想視点の位置によらずに、演者の位置のずれを容易に識別することができる。
405 被写体形状生成部
406 被写体形状重心算出部
408 被写***置設定部
412 仮想視点画像生成部
Claims (17)
- 複数の撮影装置が撮影領域における被写体を撮影することにより得られる複数の撮影画像に基づく前記被写体の形状を表す形状データを取得する取得手段と、
前記撮影領域における被写体の位置である被写***置を特定する第1の特定手段と、
前記被写体の位置の基準となる基準位置を特定する第2の特定手段と、
前記取得手段により取得される形状データに基づいて、前記第1の特定手段により特定される被写***置と前記第2の特定手段により特定される基準位置とのずれに応じた仮想視点画像を生成する生成手段と
を有することを特徴とする生成装置。 - 前記生成手段は、前記ずれが所定の閾値以上であることに応じて、前記基準位置に基づいて前記形状データを配置することにより仮想視点画像を生成することを特徴とする請求項1に記載の生成装置。
- 前記生成手段は、
前記ずれが所定の閾値よりも小さくなるように、前記第1の特定手段により特定される被写***置を変更し、
変更した被写***置に基づいて前記形状データを配置することにより仮想視点画像を生成する
ことを特徴とする請求項1に記載の生成装置。 - 前記生成手段は、
前記ずれに基づいて、前記第1の特定手段により特定される被写***置と前記基準位置とが一致するように前記被写***置を変更し、
変更した被写***置に基づいて前記形状データを配置することにより仮想視点画像を生成する
ことを特徴とする請求項1に記載の生成装置。 - 前記基準位置は、所定の間隔に配置される格子点に基づいて特定されることを特徴とする請求項1乃至4のいずれか1項に記載の生成装置。
- 前記基準位置は、前記撮影領域外における位置であることを特徴とする請求項1乃至5のいずれか1項に記載の生成装置。
- 前記第1の特定手段は、前記撮影領域における複数の被写体に対応する複数の被写***置を特定し、
前記第2の特定手段は、前記第1の特定手段により特定される複数の被写***置に基づいて、前記基準位置を特定する
ことを特徴とする請求項1乃至6のいずれか1項に記載の生成装置。 - 前記第2の特定手段は、前記複数の被写***置が所定の間隔となるように、前記基準位置を特定することを特徴とする請求項7に記載の生成装置。
- 前記第2の特定手段は、前記複数の被写***置が所定の直線上の位置となるように、前記基準位置を特定することを特徴とする請求項6又は7に記載の生成装置。
- 前記第1の特定手段は、前記取得手段により取得される形状データにより表される被写体の形状に基づいて、前記被写***置を特定することを特徴とする請求項1乃至9のいずれか1項に記載の生成装置。
- 前記第1の特定手段は、前記被写***置として、前記形状データにより表される被写体の形状における重心の位置を特定することを特徴とする請求項10に記載の生成装置。
- 前記第1の特定手段は、前記被写***置として、前記形状データにより表される被写体の形状における所定の部位の位置を特定することを特徴とする請求項10に記載の生成装置。
- 前記生成手段は、前記ずれを識別可能な情報を含む仮想視点画像を生成することを特徴とする請求項1乃至12のいずれか1項に記載の生成装置。
- 前記生成手段は、前記ずれを識別可能な情報として、前記第1の特定手段により特定される被写***置と、前記第2の特定手段により特定される基準位置とを表す情報を含む仮想視点画像を生成することを特徴とする請求項13に記載の生成装置。
- 前記生成手段は、前記ずれを識別可能な情報として、前記基準位置とずれている位置が前記第1の特定手段により前記被写***置として特定された被写体を識別可能な情報を含む仮想視点画像を生成することを特徴とする請求項13又は14に記載の生成装置。
- 複数の撮影装置が撮影領域における被写体を撮影することにより得られる複数の撮影画像に基づく前記被写体の形状を表す形状データを取得する取得工程と、
前記撮影領域における被写体の位置である被写***置を特定する第1の特定工程と、
前記被写体の位置の基準となる基準位置を特定する第2の特定工程と、
前記取得工程において取得される形状データに基づいて、前記第1の特定工程において特定される位置と前記第2の特定工程において特定される基準位置とのずれに応じた仮想視点画像を生成する生成工程と
を有することを特徴とする生成方法。 - コンピュータを、請求項1乃至15のいずれか1項に記載の生成装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/544,786 US20220189103A1 (en) | 2020-12-15 | 2021-12-07 | Generation apparatus, generation method, and storage medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020207877 | 2020-12-15 | ||
JP2020207877 | 2020-12-15 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022094907A true JP2022094907A (ja) | 2022-06-27 |
JP7494153B2 JP7494153B2 (ja) | 2024-06-03 |
Family
ID=82162603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021146788A Active JP7494153B2 (ja) | 2020-12-15 | 2021-09-09 | 生成装置、生成方法、及び、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7494153B2 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11145125B1 (en) | 2017-09-13 | 2021-10-12 | Lucasfilm Entertainment Company Ltd. | Communication protocol for streaming mixed-reality environments between multiple devices |
JP2020086983A (ja) | 2018-11-27 | 2020-06-04 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
-
2021
- 2021-09-09 JP JP2021146788A patent/JP7494153B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP7494153B2 (ja) | 2024-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6918455B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7023696B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN112330736A (zh) | 一种场景画面的拍摄方法、装置、电子设备及存储介质 | |
JP7476375B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN110730340B (zh) | 基于镜头变换的虚拟观众席展示方法、***及存储介质 | |
JP7446754B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6812181B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
WO2020129659A1 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
US20230353717A1 (en) | Image processing system, image processing method, and storage medium | |
WO2022230718A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
WO2020110432A1 (ja) | 学習装置、前景領域推定装置、学習方法、前景領域推定方法、及び、プログラム | |
US11847735B2 (en) | Information processing apparatus, information processing method, and recording medium | |
JP7494153B2 (ja) | 生成装置、生成方法、及び、プログラム | |
JP7505547B2 (ja) | 画像処理装置、キャリブレーションボード、および、3dモデルデータ生成方法 | |
JP7296735B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US11287658B2 (en) | Picture processing device, picture distribution system, and picture processing method | |
JP2022043539A (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
JP7341674B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2022012398A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20220189103A1 (en) | Generation apparatus, generation method, and storage medium | |
JP7514346B2 (ja) | 画像処理装置及び方法、プログラム | |
WO2022230715A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP2020136821A (ja) | 情報処理装置及びその制御方法、プログラム | |
JP2023167486A (ja) | 画像処理装置、画像処理方法およびプログラム | |
US11682175B2 (en) | Previsualization devices and systems for the film industry |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220902 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231010 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231208 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240405 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240423 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240522 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7494153 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |