JP7403956B2 - 情報処理装置、制御方法、及びプログラム - Google Patents
情報処理装置、制御方法、及びプログラム Download PDFInfo
- Publication number
- JP7403956B2 JP7403956B2 JP2019034200A JP2019034200A JP7403956B2 JP 7403956 B2 JP7403956 B2 JP 7403956B2 JP 2019034200 A JP2019034200 A JP 2019034200A JP 2019034200 A JP2019034200 A JP 2019034200A JP 7403956 B2 JP7403956 B2 JP 7403956B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- interpolation
- information processing
- virtual viewpoint
- interpolation method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 195
- 230000010365 information processing Effects 0.000 title claims description 36
- 239000013598 vector Substances 0.000 claims description 46
- 238000003384 imaging method Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 31
- 238000010586 diagram Methods 0.000 description 15
- KNMAVSAGTYIFJF-UHFFFAOYSA-N 1-[2-[(2-hydroxy-3-phenoxypropyl)amino]ethylamino]-3-phenoxypropan-2-ol;dihydrochloride Chemical compound Cl.Cl.C=1C=CC=CC=1OCC(O)CNCCNCC(O)COC1=CC=CC=C1 KNMAVSAGTYIFJF-UHFFFAOYSA-N 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Closed-Circuit Television Systems (AREA)
Description
実施形態1では、基準となるキーフレームにおける仮想視点を規定するパラメータ(以下、「カメラパラメータ」と呼ぶ。)に基づいて、キーフレーム間のカメラパラメータの補間方法を決定する処理を説明する。なお、本実施形態では説明の便宜上、カメラパラメータにより規定される仮想視点を、仮想カメラという用語を用いて説明することがある。仮想カメラの位置は仮想視点の位置、仮想カメラの姿勢(向き)は仮想視点の向き、仮想カメラのズーム(焦点距離)は仮想視点に係るズームパラメータにそれぞれ対応する。
ここで、仮想視点の経路(カメラパス)を示すカメラパラメータの生成方法であるキーフレーム法の説明をする。キーフレーム法では、まず、カメラパスに含まれる基準となる仮想視点に対応するキーフレームが指定される。キーフレームが指定されると、キーフレーム間を接続するための1つ又は複数のカメラパラメータは、スプライン関数などを用いた補間によって生成される。補間により生成された1つ又は複数のカメラパラメータで表されるカメラパスは、キーフレーム間を滑らかに接続するカメラパスとなる。よって、キーフレーム法で生成されたカメラパラメータによる仮想視点画像は、操縦者のコントローラ操作により直接カメラパスを指定する場合と比較して、手振れの少ない滑らかな動きの画像とすることができる。このため、キーフレーム法によって生成されたサッカー等のスポーツにおける仮想視点画像は、視聴者に高臨場感を与えることが出来る。
図2は、本実施形態に係る仮想視点画像におけるカメラパスを編集することが可能な情報処理装置20のハードウェア構成の一例を示す図である。本実施形態の情報処理装置20は、CPU201、RAM202、ROM203、入出力デバイス部204を有する。
図3は、情報処理装置20の機能構成の一例を示す図である。情報処理装置20は、カメラパス編集部301と、仮想視点画像を生成する仮想視点画像生成部302と、を有する。
図4は、入出力処理部311によってモニタに表示される仮想視点画像およびUI画面の例を示す図である。図4では選手がプレイするサッカーグラウンドを撮像することによって生成される仮想視点画像を例に説明する。図4(a)は、仮想視点画像生成部302が生成し、入出力処理部311を介してモニタに表示された仮想視点画像を示す図である。
図5は、キーフレーム間を接続するカメラパラメータを補間する一連の処理を示すフローチャートである。図5のフローチャートで示される一連の処理は、CPUがROMに記憶されているプログラムコードをRAMに展開し実行することにより行われる。また、図5におけるステップの一部または全部の機能をASICや電子回路等のハードウェアで実現してもよい。なお、各処理の説明における記号「S」は、当該フローチャートにおけるステップであることを意味し、以後のフローチャートにおいても同様とする。
次に、補間方法決定部315がキーフレーム間の補間方法を決定する処理の詳細を説明する。図6は図1と同様に、キーフレームとして指定されたカメラパラメータを仮想カメラ104および仮想カメラ105として示した図である。また、図6では仮想カメラ104の視線を表す視線ベクトルC1と、仮想カメラ105の視線を表す視線ベクトルC2とを重ね合わせて表示している。
実施形態1では、キーフレームの数が2つの場合におけるキーフレーム間のカメラパラメータの補間方法を決定する処理を説明した。本実施形態では、3以上のキーフレームが操縦者により指定されている場合において、キーフレーム間の補間方法を決定する処理について説明をする。本実施形態については、実施形態1からの差分を中心に説明する。特に明記しない部分については実施形態1と同じ構成および処理である。
本実施形態では、複数の閾値を用いて、カメラパラメータの補間方法を決定する処理を説明する。本実施形態については、実施形態1からの差分を中心に説明する。特に明記しない部分については実施形態1と同じ構成および処理である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
315 補間方法決定部
316 カメラパラメータ補間部
Claims (20)
- 複数の撮像装置により複数の方向から撮像することで得られる画像データに基づく仮想視点画像の生成に係る仮想視点の経路を示すカメラパスの基準となる、複数のキーフレームを指定する指定手段と、
前記複数のキーフレームそれぞれに対応する前記仮想視点を規定するカメラパラメータであって前記仮想視点の位置および向きの情報を少なくとも含むカメラパラメータのうち、第1のキーフレームに対応するカメラパラメータと、前記第1のキーフレームとは異なる第2のキーフレームに対応するカメラパラメータと、に基づきキーフレーム間を接続する補間方法を決定する決定手段と、
前記キーフレーム間のフレームに対応するカメラパラメータを、前記決定手段によって決定された補間方法に基づき補間することで前記カメラパスを設定する設定手段と、
を有することを特徴とする情報処理装置。 - 前記第1のキーフレームに対応する前記カメラパラメータによって特定される仮想視点の位置および向きから求まる第1の視線ベクトルと、前記第2のキーフレームに対応する前記カメラパラメータによって特定される仮想視点の位置および向きから求まる第2の視線ベクトルと、に基づき前記補間方法を決定する
ことを特徴とする請求項1に記載の情報処理装置。 - 前記補間方法には、円弧補間とスプライン補間とが含まれることを特徴とする請求項2に記載の情報処理装置。
- 前記決定手段は、前記第1の視線ベクトルと前記第2の視線ベクトルとの最短距離を求め、前記最短距離を実現する前記第1のキーフレームにおける仮想視点の位置から所定の点までの第1の距離と、前記最短距離を実現する前記第2のキーフレームにおける仮想視点の位置から前記所定の点までの第2の距離と、に基づき前記補間方法を決定することを特徴とする請求項2または3に記載の情報処理装置。
- 前記所定の点は、前記第1の視線ベクトル上の点のうち前記第2の視線ベクトルに最も近い第1の点と、前記第2の視線ベクトル上の点のうち前記第1の視線ベクトルに最も近い第2の点と、を含む所定の領域内にある点であることを特徴とする請求項4に記載の情報処理装置。
- 前記所定の領域内にある点は、前記第1の点と前記第2の点との中点であることを特徴とする請求項5に記載の情報処理装置。
- 前記決定手段は、前記第1の距離と前記第2の距離との差に応じて、前記補間方法として円弧補間かスプライン補間かを決定することを特徴とする請求項4から6のいずれか1項に記載の情報処理装置。
- 前記決定手段は、前記第1の距離と前記第2の距離との差が、第1の閾値以下であると判定した場合、前記補間方法を円弧補間と決定をすることを特徴とする請求項4から6のいずれか1項に記載の情報処理装置。
- 前記決定手段は、前記第1の距離と前記第2の距離との少なくとも何れか一方の値が第2の閾値より大きい場合、前記第1の閾値に基づく決定に係わらず、前記補間方法をスプライン補間と決定をすることを特徴とする請求項8に記載の情報処理装置。
- 前記複数のキーフレームの数は2つであることを特徴とする請求項2から9のいずれか1項に記載の情報処理装置。
- 前記決定手段は、
前記複数のキーフレームのうち、隣り合う組のキーフレームの一方を前記第1のキーフレームとし、他方を前記第2のキーフレームとして前記第1の距離と前記第2の距離とを決定し、
前記隣り合うキーフレームの組のうちの何れかの組における前記第1の距離と前記第2の距離との差が、第1の閾値より大きい場合、前記複数のキーフレーム間を接続するための前記補間方法をスプライン補間と決定し、
それ以外の場合は、前記複数のキーフレーム間を接続するための前記補間方法を円弧補間と決定することを特徴とする請求項4から6のいずれか1項に記載の情報処理装置。 - 前記複数のキーフレームの数は3つ以上であることを特徴とする請求項11に記載の情報処理装置。
- 操縦者の操作による入力値を受け付ける入力受付手段をさらに有し、
前記決定手段は、前記複数のキーフレームの数を、前記入力受付手段が受け付けた入力値に応じて決定することを特徴とする請求項2から12のいずれか1項に記載の情報処理装置。 - 前記補間方法が前記決定手段によって決定される第1のモードと、
前記補間方法が操縦者の選択に基づき決定される第2のモードと、を有し、
前記第1のモードと前記第2のモードとは切り替え可能であることを特徴とする請求項2から13のいずれか1項に記載の情報処理装置。 - 前記設定手段により求められた前記キーフレーム間を接続するためのカメラパラメータを用いて仮想視点画像を生成する生成手段をさらに有することを特徴とする請求項2から14のいずれか1項に記載の情報処理装置。
- 前記カメラパスを編集するための画面を表示させる表示制御手段をさらに有することを特徴とする請求項2から15のいずれか1項に記載の情報処理装置。
- 前記表示制御手段は、
前記キーフレームを表すマークと、
前記カメラパスが、前記補間方法に応じた異なる態様で表されたマークと、が含まれる前記画面を表示することを特徴とする請求項16に記載の情報処理装置。 - 前記キーフレーム間は、前記第1のキーフレームと前記第2のキーフレームとの間であることを特徴とする請求項1から17のいずれか1項に記載の情報処理装置。
- 複数の撮像装置により複数の方向から撮像することで得られる画像データに基づく仮想視点画像の生成に係る仮想視点の経路を示すカメラパスの基準となる、複数のキーフレームを指定する指定ステップと、
前記複数のキーフレームそれぞれに対応する前記仮想視点を規定するカメラパラメータであって前記仮想視点の位置および向きの情報を少なくとも含むカメラパラメータのうち、第1のキーフレームに対応するカメラパラメータと、前記第1のキーフレームとは異なる第2のキーフレームに対応するカメラパラメータと、に基づきキーフレーム間を接続する補間方法を決定する決定ステップと、
前記キーフレーム間のフレームに対応するカメラパラメータを、前記決定ステップにて決定された補間方法に基づき補間することで前記カメラパスを設定する設定ステップと、
を含むことを特徴とする制御方法。 - コンピュータを、請求項1から18のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019034200A JP7403956B2 (ja) | 2019-02-27 | 2019-02-27 | 情報処理装置、制御方法、及びプログラム |
US16/784,731 US11057609B2 (en) | 2019-02-27 | 2020-02-07 | Information processing apparatus, information processing method, and computer readable storage medium for determining a moving path of virtual viewpoint |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019034200A JP7403956B2 (ja) | 2019-02-27 | 2019-02-27 | 情報処理装置、制御方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020141198A JP2020141198A (ja) | 2020-09-03 |
JP7403956B2 true JP7403956B2 (ja) | 2023-12-25 |
Family
ID=72265219
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019034200A Active JP7403956B2 (ja) | 2019-02-27 | 2019-02-27 | 情報処理装置、制御方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7403956B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018106496A (ja) | 2016-12-27 | 2018-07-05 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2018142164A (ja) | 2017-02-28 | 2018-09-13 | キヤノン株式会社 | 画像処理装置、画像生成方法及びプログラム |
JP2019004229A5 (ja) | 2017-06-12 | 2020-08-06 | 情報処理装置及び方法及びプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6924079B2 (ja) * | 2017-06-12 | 2021-08-25 | キヤノン株式会社 | 情報処理装置及び方法及びプログラム |
-
2019
- 2019-02-27 JP JP2019034200A patent/JP7403956B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018106496A (ja) | 2016-12-27 | 2018-07-05 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2018142164A (ja) | 2017-02-28 | 2018-09-13 | キヤノン株式会社 | 画像処理装置、画像生成方法及びプログラム |
JP2019004229A5 (ja) | 2017-06-12 | 2020-08-06 | 情報処理装置及び方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020141198A (ja) | 2020-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6539253B2 (ja) | 情報処理装置、その制御方法、およびプログラム | |
JP7330683B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US11057609B2 (en) | Information processing apparatus, information processing method, and computer readable storage medium for determining a moving path of virtual viewpoint | |
KR102500615B1 (ko) | 정보 처리장치, 정보 처리방법 및 프로그램 | |
JP6615988B2 (ja) | 多次元画像空間を通したナビゲーション | |
JP7458889B2 (ja) | 画像表示装置、制御方法、およびプログラム | |
KR102484197B1 (ko) | 정보 처리장치, 정보 처리방법 및 기억매체 | |
JP2018106496A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2019152903A (ja) | 情報処理装置およびその制御方法 | |
JP2022188095A (ja) | 情報処理装置、情報処理装置の制御方法、及びプログラム | |
JP2021152724A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP7403956B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
JP2021197082A (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
JP2022014358A (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
JP2008033840A (ja) | 動画表示装置、動画表示方法、及びコンピュータプログラム | |
JP7455524B2 (ja) | 情報処理装置、設定方法、及びプログラム | |
JP6408622B2 (ja) | ビデオゲーム処理装置、およびビデオゲーム処理プログラム | |
US20130038607A1 (en) | Time line operation control device, time line operation control method, program and image processor | |
JP2020144456A (ja) | 情報処理装置、情報処理方法ならびにプログラム。 | |
JP2022060816A (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2022013950A1 (ja) | 3次元動画像提供装置、3次元動画像提供方法およびプログラム | |
JP2023173577A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JPH07320092A (ja) | アニメーション生成方式 | |
WO2024070762A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP5131848B2 (ja) | 画像表示装置、視点誘導方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190328 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221012 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230802 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231213 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7403956 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |