JP7401196B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP7401196B2 JP7401196B2 JP2019096656A JP2019096656A JP7401196B2 JP 7401196 B2 JP7401196 B2 JP 7401196B2 JP 2019096656 A JP2019096656 A JP 2019096656A JP 2019096656 A JP2019096656 A JP 2019096656A JP 7401196 B2 JP7401196 B2 JP 7401196B2
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- information
- information processing
- predetermined
- viewpoint change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 50
- 238000003672 processing method Methods 0.000 title claims 3
- 230000008859 change Effects 0.000 claims description 166
- 238000000034 method Methods 0.000 claims description 88
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 81
- 238000012545 processing Methods 0.000 description 40
- 238000010586 diagram Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 238000011867 re-evaluation Methods 0.000 description 6
- 230000007704 transition Effects 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Image Generation (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
Description
以下、図面を参照して実施形態を説明する。図1は、本実施形態に係る、仮想視点映像を生成する映像システムの構成の一例を示す図である。図1に示す映像システム100は、異なる視点に配置した複数のカメラで同期撮影して得られた映像に基づき、ユーザ等が指示する仮想的な視点(以下、「仮想視点」とも表記)からの見えを表す仮想視点映像を生成して出力する。本実施形態の映像システム100は、情報処理装置110とユーザ端末120とを有する。ユーザ端末120には、情報処理装置110に仮想視点映像の生成を指示したり、生成された仮想視点映像を表示したりするための専用アプリケーションがインストールされている。そして、情報処理装置110は、ユーザ端末120の専用アプリケーションから送られてくる指示や要求を受けて、予め規定した複数のオブジェクト間の関係性に基づき仮想視点を自動で設定して仮想視点映像を生成し、ユーザ端末120に提供する。
情報処理装置110のハードウェア構成について、図2を用いて説明する。なお、ユーザ端末120も、基本的には同様のハードウェア構成を有している。情報処理装置110は、CPU201、ROM202、RAM203、補助記憶装置204、表示部205、操作部206、通信I/F207及びバス208を有する。
続いて、本実施形態に係る情報処理装置110が、予め規定した複数のオブジェクト間の関係性に基づき視点を自動設定して仮想視点映像を生成・出力する処理の流れを、図3のフローチャートを参照しつつ説明する。図3のフローチャートは、ユーザ端末120から視点自動設定処理の開始リクエストを受信した情報処理装置110の制御部113が、所定の制御プログラムに従って必要なテーブル等を取得して適宜参照等することで実現される。開始リクエストは、例えばユーザが前述の専用アプリケーションにおいて視点の自動変更モードを選択する等の明示の操作を行うことで発行される。或いは、原則として開始リクエストが所定間隔で発行されるようにし、ユーザが手動による視点操作を行っている場合や現視点を維持したい特定期間中など、ユーザの意図に反した視点変更を避ける必要がある場合にその発行が停止される仕様であってもよい。なお、以下の説明において記号「S」はステップを表す。
・「視点再評価」にて所定フレーム数後に関係条件のチェックを行うことが設定されて場合における関係条件の再判定処理
・視点変更が短期間に繰り返されることを避けるためのタイマー処理
・次の開始リクエストの発行タイミングを、成立判定処理の結果に基づき決定(成立している場合は数秒後、不成立の場合は数ミリ秒後など)する処理
以上が、情報処理装置110における、仮想視点映像の生成・出力処理の概要である。
続いて、前述のS303における視点変更要件の更新処理の詳細について、図7のフローチャートを参照して説明する。
S801では、更新指示の内容が、新たな注目オブジェクトの追加であるのか、既存の注目オブジェクトの編集であるのか、それ以外(すなわち、関係条件の追加・編集)であるのかが判定される。新たな視点変更要件の追加であればS802に進み、既存の視点変更要件の変更であればS805に進む。そのどちらでもなければ、本処理を抜ける。
S802では、注目オブジェクトを追加するための不図示のUI画面(以下、「注目オブジェクト追加用UI画面」と呼ぶ。)が描画部114によって生成され、制御部113を介してユーザ端末120に出力される。そして、ユーザ端末120の表示部121に注目オブジェクト追加用UI画面が表示される。注目オブジェクト追加用UI画面には、例えば予め定義された「オブジェクトとその位置情報」を複数含んだリストが表示され、ユーザはリストの中から、追加する視点変更要件における注目オブジェクトを選択する。リストからの選択に代えて、映像保持部112が保持する映像もしくは映像生成部116が生成した仮想視点映像を注目オブジェクト追加用UI画面上に表示し、そこに映っているオブジェクトの中から注目オブジェクトを選択するようにしてもよい。そして、S803では、注目オブジェクト追加用UI画面におけるユーザ選択が受け付けられる。そして、S804では、受け付けたユーザ選択に係るオブジェクトが、注目オブジェクトとしてオブジェクト管理テーブルに追加される。この際、「更新情報」と「位置情報」の項目には、未定義であることを示す所定値が入る。こうして、新たな注目オブジェクトがオブジェクト管理テーブルに追加されると、S808に進む。
S901では、更新指示の内容が、新たな関係条件の追加であるのか、既存の関係条件の編集であるのかが判定される。新たな関係条件の追加であればS902に進み、既存の関係条件の編集であればS905に進む。
次に、前述のS304における視点変更要件の有効性判定処理の詳細について、図10のフローチャートを参照して説明する。
図10のフローでは、注目オブジェクトと関係条件が定義済みであればステータスを有効に設定していたが、これに限定されない。例えば、注目オブジェクトと関係条件が定義済みと判明した後に、ユーザが手動で視点を操作中かどうか判定するステップを加えてもよい。この場合、ユーザが視点を手動で操作中であれば、S1003ではなくS1004に進んでステータスを無効に設定し、一定時間経過後にステータスを有効に設定するステップをS1004の後に加えればよい。
次に、前述のS306における視点変更要件の成立判定処理の詳細について、図11のフローチャートを参照して説明する。
本実施形態の上述の内容は、3次元空間に設置された複数のカメラの中から使用するカメラを選択的に切り替えることで任意の視点からの映像を出力する視点切換映像にも適用可能である。この場合、前述の「視点情報」における「視点移動先」の情報には、切替後の視点(すなわち、選択するカメラ)を定義しておけばよい。これにより、視点変更要件成立時に注目オブジェクトの観察に適した視点のカメラを自動設定することが可能となる。
次に、成立している視点変更要件が複数ある場合にその中から実際に適用する視点変更要件を選択的に決定する態様を、実施形態2として説明する。なお、画像処理システムの基本構成などは実施形態1と共通する事項については説明を省略する。
図14は、本実施形態に係る仮想視点映像を生成・出力する処理の流れを示すフローチャートである。このフローチャートで示す一連の処理も、ユーザ端末120から仮想視点自動設定処理の開始リクエストを受信した情報処理装置110の制御部113が、所定の制御プログラムを実行することで実現される。以下の説明では、実施形態1に係る図3のフローチャートと共通する内容については説明を省略ないしは簡略化し、差異点を中心に説明するものとする。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
113 制御部
Claims (15)
- 撮影対象の3次元空間で視点移動が可能な映像における視点を設定する情報処理装置であって、
予め定めた視点変更要件を取得する取得手段と、
前記取得手段が取得した前記視点変更要件に基づき、所定の視点を設定する設定手段と、
を備え、
前記視点変更要件には、前記3次元空間に存在する3次元オブジェクトのうち予め指定した2つ以上の注目する3次元オブジェクトの位置関係を規定する関係条件と、当該関係条件と対応付けた前記所定の視点を規定する視点情報とを少なくとも含み、
前記設定手段は、前記関係条件が満たされて前記視点変更要件が成立する場合に、前記視点情報に基づいて前記所定の視点を設定する、
ことを特徴とする情報処理装置。 - 前記視点変更要件が成立するかを判定する判定手段をさらに備え、
前記視点変更要件には、前記判定の対象として有効か無効かを規定するステータス情報をさらに含む、
ことを特徴とする請求項1に記載の情報処理装置。 - 前記ステータス情報における有効又は無効の設定を、ユーザが指定できることを特徴とする請求項2に記載の情報処理装置。
- 前記視点変更要件には、優先度の情報をさらに含み、
前記判定手段は、前記優先度が高い視点変更要件から順に、前記判定を行う、
ことを特徴とする請求項2又は3に記載の情報処理装置。 - 前記視点変更要件には、優先度の情報をさらに含み、
前記設定手段は、前記判定手段にて成立すると判定された視点変更要件のうち、前記優先度が最も高い視点変更要件を適用して、前記所定の視点を設定する、
ことを特徴とする請求項2又は3に記載の情報処理装置。 - 前記設定手段は、成立すると判定された複数の視点変更要件の中からユーザが選択した視点変更要件を適用して、前記所定の視点を設定する、
ことを特徴とする請求項1に記載の情報処理装置。 - 前記ユーザによる前記選択は、前記成立すると判定された複数の視点変更要件の優先度が同じである場合に可能であることを特徴とする請求項6に記載の情報処理装置。
- 前記関係条件は、前記2つ以上の注目する3次元オブジェクト間の距離を用いて規定されていることを特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。
- 前記関係条件は、前記2つ以上の注目する3次元オブジェクトそれぞれを表現した図形の重なり度合いを用いて規定されていることを特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。
- 前記視点情報には、成立すると判定された後に再判定するか否かを規定する情報をさらに含むことを特徴とする請求項6又は7に記載の情報処理装置。
- 前記視点情報には、前記再判定によって成立しないと判定された場合に、予め決められた初期視点に戻すか否かを規定する情報をさらに含むことを特徴とする請求項10に記載の情報処理装置。
- 撮影対象の3次元空間で視点移動が可能な映像における視点を設定する情報処理装置であって、
予め定めた視点変更要件を取得する取得手段と、
前記取得手段が取得した前記視点変更要件に基づき、所定の視点を設定する設定手段と、
を備え、
前記視点変更要件には、前記3次元空間に存在するオブジェクトのうち2つ以上の注目オブジェクトの位置関係を規定する関係条件と、当該関係条件と対応付けた前記所定の視点を規定する視点情報とを少なくとも含み、
前記設定手段は、前記関係条件が満たされて前記視点変更要件が成立する場合に、前記視点情報に基づいて前記所定の視点を設定し、
前記視点移動が可能な映像は、前記3次元空間に設置された複数のカメラの同期撮影によって得られた映像に基づき生成される仮想視点映像であり、
前記視点は、前記3次元空間における仮想的な視点であり、
前記視点情報には、前記設定手段が設定する前記所定の視点としての前記仮想的な視点に遷移するまでの移動経路の情報をさらに含む、
ことを特徴とする情報処理装置。 - 撮影対象の3次元空間で視点移動が可能な映像における視点を設定する情報処理装置であって、
予め定めた視点変更要件を取得する取得手段と、
前記取得手段が取得した前記視点変更要件に基づき、所定の視点を設定する設定手段と、
を備え、
前記視点変更要件には、前記3次元空間に存在するオブジェクトのうち2つ以上の注目オブジェクトの位置関係を規定する関係条件と、当該関係条件と対応付けた前記所定の視点を規定する視点情報とを少なくとも含み、
前記設定手段は、前記関係条件が満たされて前記視点変更要件が成立する場合に、前記視点情報に基づいて前記所定の視点を設定し、
前記視点移動が可能な映像は、前記3次元空間に設置された複数のカメラの中から使用するカメラを選択的に切り替えることで得られる視点切換映像であり、
前記視点は、前記3次元空間に設置された実在のカメラのうちいずれかのカメラに対応する視点である、
ことを特徴とする情報処理装置。 - 撮影対象の3次元空間で視点移動が可能な映像における視点を設定する情報処理方法であって、
予め定めた視点変更要件を取得する取得ステップと、
前記取得ステップにて取得した前記視点変更要件に基づき、所定の視点を設定する設定ステップと、
を有し、
前記視点変更要件には、前記3次元空間に存在する3次元オブジェクトのうち予め指定された2つ以上の注目する3次元オブジェクトの位置関係を規定する関係条件と、当該関係条件と対応付けた前記所定の視点を規定する視点情報とを少なくとも含み、
前記設定ステップでは、前記関係条件が満たされて前記視点変更要件が成立する場合に、前記視点情報に基づいて前記所定の視点を設定する、
ことを特徴とする情報処理方法。 - コンピュータが、請求項1乃至13のいずれか1項に記載の情報処理装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019096656A JP7401196B2 (ja) | 2019-05-23 | 2019-05-23 | 情報処理装置、情報処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019096656A JP7401196B2 (ja) | 2019-05-23 | 2019-05-23 | 情報処理装置、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020190978A JP2020190978A (ja) | 2020-11-26 |
JP7401196B2 true JP7401196B2 (ja) | 2023-12-19 |
Family
ID=73453790
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019096656A Active JP7401196B2 (ja) | 2019-05-23 | 2019-05-23 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7401196B2 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006268511A (ja) | 2005-03-24 | 2006-10-05 | Namco Bandai Games Inc | プログラム、情報記憶媒体、及び画像生成システム |
JP2007259990A (ja) | 2006-03-27 | 2007-10-11 | Konami Digital Entertainment:Kk | ゲーム装置、ゲーム装置の制御方法及びプログラム |
JP2018055644A (ja) | 2016-09-30 | 2018-04-05 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
JP2018092580A (ja) | 2016-11-30 | 2018-06-14 | キヤノン株式会社 | 画像生成装置および方法 |
JP2019004229A (ja) | 2017-06-12 | 2019-01-10 | キヤノン株式会社 | 情報処理装置及び画像生成装置及びそれら制御方法、並びにプログラム及び画像処理システム |
JP2019045995A5 (ja) | 2017-08-30 | 2020-10-08 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7030452B2 (ja) | 2017-08-30 | 2022-03-07 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、情報処理システム及びプログラム |
-
2019
- 2019-05-23 JP JP2019096656A patent/JP7401196B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006268511A (ja) | 2005-03-24 | 2006-10-05 | Namco Bandai Games Inc | プログラム、情報記憶媒体、及び画像生成システム |
JP2007259990A (ja) | 2006-03-27 | 2007-10-11 | Konami Digital Entertainment:Kk | ゲーム装置、ゲーム装置の制御方法及びプログラム |
JP2018055644A (ja) | 2016-09-30 | 2018-04-05 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
JP2018092580A (ja) | 2016-11-30 | 2018-06-14 | キヤノン株式会社 | 画像生成装置および方法 |
JP2019004229A (ja) | 2017-06-12 | 2019-01-10 | キヤノン株式会社 | 情報処理装置及び画像生成装置及びそれら制御方法、並びにプログラム及び画像処理システム |
JP2019045995A5 (ja) | 2017-08-30 | 2020-10-08 |
Also Published As
Publication number | Publication date |
---|---|
JP2020190978A (ja) | 2020-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7140487B2 (ja) | 情報処理装置、表示制御方法、及び、プログラム | |
KR100869447B1 (ko) | 3차원 모델링 없이 이미지 처리에 의해 타겟을 지시하는 장치 및 방법 | |
JP5800501B2 (ja) | 表示制御プログラム、表示制御装置、表示制御システム、及び、表示制御方法 | |
US10600253B2 (en) | Information processing apparatus, information processing method, and program | |
US20160371888A1 (en) | Interactive information display | |
JP7301507B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN108805989B (zh) | 场景穿越的方法、装置、存储介质和终端设备 | |
US11250633B2 (en) | Image processing apparatus, display method, and non-transitory computer-readable storage medium, for displaying a virtual viewpoint image including an object at different points in time | |
JP7023696B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN110955329B (zh) | 传输方法以及电子设备和计算机存储介质 | |
CN111083463A (zh) | 虚拟内容的显示方法、装置、终端设备及显示*** | |
TW202025719A (zh) | 圖像處理方法及裝置、電子設備及儲存介質 | |
JP2019152903A (ja) | 情報処理装置およびその制御方法 | |
JP7446754B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN103785169A (zh) | 混合现实的竞技场 | |
EP3621300A1 (en) | Display control device and display control method | |
JP2021034885A (ja) | 画像生成装置、画像表示装置および画像処理方法 | |
JP2021068057A (ja) | プログラム、コンピュータ装置、及び制御方法 | |
JP7401196B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP7401199B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
GB2525304B (en) | Interactive information display | |
JP2020135290A (ja) | 画像生成装置、画像生成方法、画像生成システム、及びプログラム | |
EP2919094A1 (en) | Interactive information display | |
CN109544698A (zh) | 图像展示方法、装置及电子设备 | |
JP7341674B2 (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220517 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230530 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230725 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231207 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7401196 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |