JP2023182765A - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2023182765A JP2023182765A JP2023176295A JP2023176295A JP2023182765A JP 2023182765 A JP2023182765 A JP 2023182765A JP 2023176295 A JP2023176295 A JP 2023176295A JP 2023176295 A JP2023176295 A JP 2023176295A JP 2023182765 A JP2023182765 A JP 2023182765A
- Authority
- JP
- Japan
- Prior art keywords
- virtual viewpoint
- path
- image
- reference image
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims description 132
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000003384 imaging method Methods 0.000 claims abstract description 88
- 238000000034 method Methods 0.000 claims description 82
- 230000008569 process Effects 0.000 claims description 72
- 230000008859 change Effects 0.000 claims description 24
- 230000004044 response Effects 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 description 65
- 240000004050 Pentaglottis sempervirens Species 0.000 description 46
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 46
- 238000004891 communication Methods 0.000 description 45
- 238000010586 diagram Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 10
- 238000009966 trimming Methods 0.000 description 8
- 239000012634 fragment Substances 0.000 description 5
- 238000004549 pulsed laser deposition Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 102100029860 Suppressor of tumorigenicity 20 protein Human genes 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000386 athletic effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/06—Cutting and rejoining; Notching, or perforating record carriers otherwise than by recording styli
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】複数の仮想視点パスにおける同一の再生位置の参照用画像を比較すること。【解決手段】情報処理装置は、複数の撮像装置より撮像領域が撮像されることで得られた動画を用い、仮想視点に基づく仮想視点映像を生成し、撮像領域に対応する基準画像と、基準画像内に配置され、仮想視点の移動の軌跡を表す複数の仮想視点パスと、仮想視点映像の再生位置を示すインジケータと、仮想視点映像を構成する複数の仮想視点画像のうち、仮想視点パスの再生位置に対応する仮想視点から見た場合の仮想視点画像に基づく参照用画像と、をディスプレイに表示する。【選択図】図16
Description
本開示の技術は、情報処理装置、情報処理方法、及びプログラムに関する。
特開2018-046448号公報には、複数のカメラを用いて撮影した多視点映像から、仮想カメラから見た映像である自由視点映像を生成する画像処理装置が開示されている。特開2018-046448号公報に記載の画像処理装置は、仮想カメラの移動の軌跡を示すカメラパス及び仮想カメラが注視する先である注視点の移動の軌跡を示す注視点パスを、ユーザが指定するためのユーザインタフェースと、ユーザインタフェースを介して指定されたカメラパス及び注視点パスに基づいて、自由視点映像を生成する生成手段と、を備えている。特開2018-046448号公報に記載の画像処理装置において、ユーザインタフェースは、多視点映像の撮影シーンを俯瞰的に捉えた2次元画像を用いたUI画面に、多視点映像のうち、自由視点映像の生成対象となるタイムフレームにおける被写体の時系列の変化を表示し、ユーザが、2次元画像に対する入力操作によって軌跡を描くことで、カメラパス及び注視点パスが指定されるように構成される。
特開2017-212592号公報には、受け付け手段、取得手段、及び表示制御手段を有する制御装置が開示されている。特開2017-212592号公報に記載の制御装置では、受け付け手段が、被写体を複数の方向から撮影するための複数のカメラによる撮影に基づく画像データに基づいて、画像生成装置により仮想視点画像が生成されるシステムにおいて、仮想視点画像の生成に係る視点を指定するためのユーザによる指示を受け付ける。取得手段は、受け付け手段により受け付けられる指示に基づく視点の指定が制限される制限領域であって、システムに含まれる装置の動作状態及び画像データに関するパラメータの少なくとも何れかに応じて変化する制限領域を特定するための情報を取得する。表示制御手段は、取得手段が取得した情報に基づいて、制限領域に応じた表示制御に基づく画像を表示部に表示させる。
特開2019-096996号公報には、記憶手段、画像生成手段、設定手段、及び一覧生成手段を有する情報処理装置が開示されている。特開2019-096996号公報に記載の情報処理装置において、記憶手段は、動画シーンの各フレームに対して三次元空間のオブジェクトを二次元平面に投影するための仮想カメラのカメラパスを記憶する。画像生成手段は、記憶されたカメラパスに基づいて、動画シーンにおける仮想カメラの軌跡を三次元空間の所定地点から俯瞰したカメラパス画像を生成する。設定手段は、記憶されたカメラパスを基にカメラパス画像を生成するためのパラメータを設定する。一覧生成手段は、複数のカメラパスに対してそれぞれパラメータを適用して生成した複数のカメラパス画像を一覧表示する。
特開2019-125303号公報には、仮想視点の映像を生成するために行われるユーザの操作を補助するための補助情報を生成する補助情報生成手段と、補助情報生成手段により生成された補助情報を、仮想視点の位置及び姿勢を決定するため操作手段に提供する提供手段と、を有することを特徴とする情報処理装置が開示されている。
特開2019-125303号公報に記載の情報処理装置において、提供手段は、補助情報に基づいて、仮想視点の映像の候補を含む情報を表示する表示手段に対して、補助情報を提供する。仮想視点の位置及び姿勢は、表示手段により表示された仮想視点の映像の候補の中からユーザにより選択された仮想視点の映像に基づいて決定される。補助情報は、仮想視点の情報を含み、表示手段は、仮想視点の情報に基づいて仮想視点の映像の候補をサムネイル画像として表示し、仮想視点の映像の候補の中からユーザにより選択された仮想視点の映像を、サムネイル画像よりも高い解像度の画像で表示する。
特開2020-013470号公報には、仮想視点映像の視点を示す仮想視点の位置及び姿勢の時間変化を表すカメラパス情報を生成するパス生成手段と、パス生成手段により生成されたカメラパス情報を他の装置に提供する提供手段と、を有することを特徴とする情報処理装置が開示されている。
特開2019-160318号公報には、撮影領域を複数の撮影装置により複数の方向から撮影することで得られる撮影画像に基づく仮想視点画像の生成に係る仮想視点を設定する情報処理装置が開示されている。特開2019-160318号公報に記載の情報処理装置は、取得手段、抽出手段、受付手段、及び設定手段を有する。
特開2019-160318号公報に記載の情報処理装置において、取得手段は、仮想視点の位置及び向きの少なくとも何れかを示す仮想視点パラメータを複数有する視点情報であって、複数の撮影装置による撮影期間に含まれる複数の時点に対応する複数の仮想視点パラメータを有する視点情報を取得する。抽出手段は、取得手段により取得された視点情報が有する複数の仮想視点パラメータから、撮影領域における所定のイベントに応じて特定される1以上の仮想視点パラメータを抽出する。受付手段は、抽出手段により抽出された仮想視点パラメータの変更に係るユーザ操作に応じた入力を受け付ける。設定手段は、受付手段により受け付けられた入力に応じて変更された仮想視点パラメータに基づいて、仮想視点画像の生成に係る仮想視点を設定する。特開2019-160318号公報に記載の情報処理装置は、抽出手段により抽出された仮想視点パラメータが変更可能であることを示す画像、抽出手段により抽出された仮想視点パラメータに対応する仮想視点の位置を仮想視点の移動経路上に示す画像、又は、抽出手段により抽出された仮想視点パラメータに対応する時点を撮影期間に対応するタイムライン上に示す画像を表示部に表示させる表示制御手段を有する。
本開示の技術に係る一つの実施形態は、複数の仮想視点パスにおける同一の再生位置の参照用画像を比較することができる情報処理装置、情報処理方法、及びプログラムを提供する。
本開示の技術に係る第1の態様は、複数の撮像装置より撮像領域が撮像されることで得られた動画を用い、仮想視点に基づく仮想視点映像を生成する情報処理装置であって、プロセッサと、プロセッサに接続又は内蔵されたメモリと、を備え、プロセッサが、撮像領域に対応する基準画像と、基準画像内に配置され、仮想視点の移動の軌跡を表す複数の仮想視点パスと、仮想視点映像の再生位置を示すインジケータと、仮想視点映像を構成する複数の仮想視点画像のうち、仮想視点パスの各々の再生位置に対応する仮想視点から見た場合の仮想視点画像に基づく参照用画像と、をディスプレイに表示する情報処理装置である。
本開示の技術に係る第2の態様は、プロセッサが、基準画像内において、複数の仮想視点パスのうちの少なくとも1つを、指示された位置に配置する第1の態様に係る情報処理装置である。
本開示の技術に係る第3の態様は、プロセッサが、与えられた指示に応じて、インジケータにより示される再生位置を変更する第1の態様又は第2の態様に係る情報処理装置である。
本開示の技術に係る第4の態様は、プロセッサが、再生位置が変更された場合に、変更後の再生位置に対応する参照用画像をディスプレイに表示する第1の態様から第3の態様の何れか1つの態様に係る情報処理装置である。
本開示の技術に係る第5の態様は、プロセッサが、再生位置が変更された場合に、変更後の再生位置に対応する参照用画像を、変更前の再生位置に対応する参照用画像と異なる位置に表示させる第4の態様に係る情報処理装置である。
本開示の技術に係る第6の態様は、プロセッサが、参照用画像を、仮想視点パスの各々に対して1つのみ表示させる第1の態様から第5の態様の何れか1つの態様に係る情報処理装置である。
本開示の技術に係る第7の態様は、プロセッサが、基準画像上で参照用画像を移動させる操作に応じて再生位置を変更する第1の態様から第6の態様の何れか1つの態様に係る情報処理装置である。
本開示の技術に係る第8の態様は、プロセッサが、隣り合う2つの仮想視点パスに対する2つの参照用画像を、2つの仮想視点パスの相対位置に応じて表示する第1の態様から第7の態様の何れか1つの態様に係る情報処理装置である。
本開示の技術に係る第9の態様は、プロセッサが、与えられた指示に応じて、仮想視点パスの位置、長さ、及び形状のうちの少なくとも1つを変更する第1の態様から第7の態様の何れか1つの態様に係る情報処理装置である。
本開示の技術に係る第10の態様は、プロセッサが、インジケータ及び仮想視点パスのうちの少なくとも一方を、再生位置の前後で異なる態様にして表示させる第1の態様から第9の態様の何れか1つの態様に係る情報処理装置である。
本開示の技術に係る第11の態様は、プロセッサが、与えられた指示に応じて、仮想視点パスの各々に含まれる仮想視点の各々が注視する注視点を表す注視点情報を生成する第1の態様から第10の態様の何れか1つの態様に係る情報処理装置である。
本開示の技術に係る第12の態様は、注視点情報が、注視点の移動の軌跡を表す注視点パスであり、プロセッサが、与えられた指示に応じて、基準画像内に複数の注視点パスを配置する第11の態様に係る情報処理装置である。
本開示の技術に係る第13の態様は、プロセッサが、与えられた指示に応じて、同一の再生位置に対応する複数の参照用画像から1つの参照用画像を選択し、選択した1つの参照用画像に対応する注視点を基準注視点とし、非選択の他の参照用画像として、非選択の他の参照用画像に対応する仮想視点パスから基準注視点を注視した場合の態様を示す仮想視点画像に基づく画像を生成する第11の態様又は第12の態様に係る情報処理装置である。
本開示の技術に係る第14の態様は、プロセッサが、仮想視点パスの各々において、基準注視点を注視した仮想視点画像を生成することができない仮想視点を含む区間の表示態様を変更する第13の態様に係る情報処理装置である。
本開示の技術に係る第15の態様は、プロセッサが、複数の仮想視点パスと参照用画像とを、1つの基準画像内に表示させる第1の態様から第14の態様の何れか1つの態様に係る情報処理装置である。
本開示の技術に係る第16の態様は、プロセッサが、撮像領域のうちの少なくとも一部を表す複数の基準画像の各々に、仮想視点パス及び参照用画像を表示させる第1の態様から第14の態様の何れか1つの態様に係る情報処理装置である。
本開示の技術に係る第17の態様は、プロセッサが、複数の仮想視点パスの各々について、仮想視点パスに沿って、仮想視点に対応する参照用画像を表示させる第1の態様から第16の態様の何れか1つの態様に係る情報処理装置である。
本開示の技術に係る第18の態様は、プロセッサが、与えられた指示に応じて、複数の仮想視点パスの各々から一部を切り取って結合する選択結合処理を行い、選択結合処理によって結合されることで得られたパスに基づき仮想視点映像を生成する第1の態様から第17の態様の何れか1つの態様に係る情報処理装置である。
本開示の技術に係る第19の態様は、複数の撮像装置より撮像領域が撮像されることで得られた動画を用い、仮想視点に基づく仮想視点映像を生成する情報処理方法であって、撮像領域に対応する基準画像と、基準画像内に配置され、仮想視点の移動の軌跡を表す複数の仮想視点パスと、仮想視点映像の再生位置を示すインジケータと、仮想視点映像を構成する複数の仮想視点画像のうち、仮想視点パスの各々の再生位置に対応する仮想視点から見た場合の仮想視点画像に基づく参照用画像と、をディスプレイに表示することを含む情報処理方法である。
本開示の技術に係る第20の態様は、複数の撮像装置より撮像領域が撮像されることで得られた動画を用い、仮想視点に基づく仮想視点映像を生成する情報処理をコンピュータに実行させるためのプログラムであって、情報処理が、撮像領域を表す基準画像と、基準画像内に配置され、仮想視点の移動の軌跡を表す複数の仮想視点パスと、仮想視点映像の再生位置を示すインジケータと、仮想視点映像を構成する複数の仮想視点画像のうち、仮想視点パスの各々の再生位置に対応する仮想視点から見た場合の仮想視点画像に基づく参照用画像と、をディスプレイに表示することを含むプログラムである。
添付図面に従って本開示の技術に係る情報処理装置、情報処理方法、及びプログラムの実施形態の一例について説明する。
先ず、以下の説明で使用される文言について説明する。
CPUとは、“Central Processing Unit”の略称を指す。RAMとは、“Random Access Memory”の略称を指す。SSDとは、“Solid State Drive”の略称を指す。HDDとは、“Hard Disk Drive”の略称を指す。EEPROMとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。I/Fとは、“Interface”の略称を指す。ICとは、“Integrated Circuit”の略称を指す。ASICとは、“Application Specific Integrated Circuit”の略称を指す。PLDとは、“Programmable Logic Device”の略称を指す。FPGAとは、“Field-Programmable Gate Array”の略称を指す。SoCとは、“System-on-a-chip”の略称を指す。CMOSとは、“Complementary Metal Oxide Semiconductor”の略称を指す。CCDとは、“Charge Coupled Device”の略称を指す。ELとは、“Electro-Luminescence”の略称を指す。GPUとは、“Graphics Processing Unit”の略称を指す。LANとは、“Local Area Network”の略称を指す。3Dとは、“3 Dimensions”の略称を指す。USBとは、“Universal Serial Bus”の略称を指す。“HMD”とは、“Head Mounted Display”の略称を指す。GUIとは、“Graphical User Interface”の略称を指す。LTEとは、“Long Term Evolution”の略称を指す。5Gとは、“5th generation (wireless technology for digital cellular networks)”の略称を指す。TDMとは“Time-Division Multiplexing”の略称を指す。以下では、説明の便宜上、本開示の技術に係る「プロセッサ」の一例として、CPUを例示しているが、本開示の技術に係る「プロセッサ」は、CPU及びGPU等のように複数の処理装置の組み合わせであってもよい。本開示の技術に係る「プロセッサ」の一例として、CPU及びGPUの組み合わせが適用される場合、GPUは、CPUの制御下で動作し、画像処理の実行を担う。
以下の説明において、「一致」とは、完全な一致の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合い(本開示の技術の趣旨に反しない程度の誤差を含めた意味合い)での一致を指す。
一例として図1に示すように、情報処理システム10は、情報処理装置12、ユーザデバイス14、複数の撮像装置16、撮像装置18、無線通信基地局(以下、単に「基地局」と称する)20、及び受像機34を備えている。
本実施形態では、ユーザデバイス14の一例として、スマートフォンが適用されている。但し、スマートフォンは、あくまでも一例に過ぎず、例えば、パーソナル・コンピュータであってもよいし、タブレット端末又はヘッドマウントディスプレイ等の携帯型の多機能端末であってもよい。
また、本実施形態では、受像機34を例示しているが、本開示の技術はこれに限定されず、ディスプレイ付きの電子機器(例えば、スマートデバイス)であってもよい。また、基地局20は1ヵ所に限らず複数存在していてもよい。基地局20で使用する通信規格には、5G規格、LTE規格等を含む無線通信規格と、WiFi(802.11)規格及び/又はBluetooth(登録商標)規格を含む無線通信規格と、TDM規格及び/又はイーサネット(登録商標)規格を含む有線通信規格が含まれる。
撮像装置16は、CMOSイメージセンサを有する撮像用のデバイスであり、光学式ズーム機能及び/又はデジタルズーム機能が搭載されている。なお、CMOSイメージセンサに代えてCCDイメージセンサ等の他種類のイメージセンサを採用してもよい。
複数の撮像装置16は、サッカー競技場22内に設置されている。複数の撮像装置16の各々は、サッカーフィールド24を取り囲むように配置されており、サッカー競技場22内を含む領域を撮像領域として撮像する。ここでは、複数の撮像装置16がサッカーフィールド24を取り囲むように配置されている形態例を挙げているが、本開示の技術はこれに限定されず、複数の撮像装置16の配置は、視聴者28及び/又は情報処理装置12の使用者等によって生成されることが要求された仮想視点映像に応じて決定される。サッカーフィールド24の全部を取り囲むように複数の撮像装置16を配置してもよいし、特定の一部を取り囲むように複数の撮像装置16を配置してもよい。
撮像装置18は、例えば、無人航空機(例えば、マルチ回転翼型無人航空機)27にも設置されており、サッカーフィールド24を含む領域を撮像領域として上空から俯瞰した状態で撮像する。なお、以下では、撮像装置16と撮像装置18とを区別して説明する必要がない場合、符号を付さずに「物理カメラ」とも称する。
物理カメラによる撮像とは、例えば、撮像領域を含む画角での撮像を指す。ここで、「撮像領域」という概念には、サッカー競技場22内の全体を示す領域という概念の他に、サッカー競技場22内の一部を示す領域という概念も含まれる。撮像領域は、物理カメラの撮像位置、撮像方向、及び画角に応じて変更される。
情報処理装置12は、管制室32に設置されている。詳しくは後述するが、情報処理装置12は、コンピュータ50、受付デバイス52、及びディスプレイ53を備えている。ディスプレイ53には動画編集用画面53Aが表示される。複数の撮像装置16及び情報処理装置12は、LANケーブル30を介して接続されており、情報処理装置12は、複数の撮像装置16を制御し、かつ、複数の撮像装置16の各々によって撮像されることで得られた画像を取得する。なお、ここでは、LANケーブル30による有線通信方式を用いた接続を例示しているが、これに限らず、無線通信方式を用いた接続であってもよい。
サッカー競技場22には、サッカーフィールド24を取り囲むように観戦席26が設けられており、観戦席26には視聴者28が着座している。視聴者28は、ユーザデバイス14を所持しており、ユーザデバイス14は、視聴者28によって用いられる。なお、ここでは、サッカー競技場22内に視聴者28が存在している形態例を挙げて説明しているが、本開示の技術はこれに限定されず、視聴者28は、サッカー競技場22外に存在していてもよい。
基地局20は、情報処理装置12及び無人航空機27と電波を介して各種情報の送受信を行う。すなわち、情報処理装置12は、基地局20を介して、無人航空機27と無線通信可能に接続されている。情報処理装置12は、基地局20を介して無人航空機27と無線通信を行うことにより、無人航空機27を制御したり、無人航空機27に設置された撮像装置18によって撮像されることで得られた画像を無人航空機27から取得したりする。
基地局20は、受像機34に対して無線通信を介して各種情報を送信する。情報処理装置12は、基地局20を介して、各種映像を受像機34に送信し、受像機34は、情報処理装置12から送信された各種映像を受信し、受信した各種映像を画面34Aに表示する。受像機34は、例えば、不特定多数の観戦者等の視聴に使用される。受像機34の設置個所は、サッカー競技場22内であってもよいし、サッカー競技場22外(例えば、パブリックビューイング会場)等であってもよい。
なお、ここでは、情報処理装置12が受像機34に対して無線通信を介して各種情報を送信する形態例を挙げているが、本開示の技術はこれに限定されず、例えば、情報処理装置12が受像機34に対して有線通信を介して各種情報を送信する形態であってもよい。
情報処理装置12はサーバに相当するデバイスであり、ユーザデバイス14は、情報処理装置12に対するクライアント端末に相当するデバイスである。情報処理装置12及びユーザデバイス14が、基地局20を介して互いに無線通信を行うことにより、ユーザデバイス14は、情報処理装置12に対して各種サービスの提供を要求し、情報処理装置12は、ユーザデバイス14からの要求に応じたサービスをユーザデバイス14に提供する。
情報処理装置12は、複数の物理カメラより撮像領域が撮像されることで得られた動画像(以下、「動画」とも称する)を用い、仮想視点に基づく仮想視点映像を生成する装置である。仮想視点映像は、仮想視点に基づく複数の仮想視点画像(静止画像)からなる動画像である。情報処理装置12の使用者(以下、単に「使用者」とも称する)は、ディスプレイ53に表示される動画編集用画面53Aを観察しながら受付デバイス52を操作することにより、仮想視点映像の編集作業を行うことができる。これにより、情報処理装置12によって、仮想視点映像が編集され、編集結果が配信用映像として生成される。
一例として図2に示すように、情報処理装置12は、上空から観察した場合のサッカーフィールド24を含む領域を示す俯瞰映像46Aを無人航空機27から取得する。俯瞰映像46Aは、サッカーフィールド24を含む領域が撮像領域として上空から俯瞰した状態で無人航空機27の撮像装置18によって撮像されることで得られた複数の撮像画像(静止画像)からなる動画像である。
情報処理装置12は、複数の撮像装置16の各々の位置から観察した場合の撮像領域を示す撮像映像46Bを複数の撮像装置16の各々から取得する。撮像映像46Bは、撮像領域が複数の撮像装置16の各々によって撮像されることで得られた複数の撮像画像(静止画像)からなる動画像である。
なお、以下では、説明の便宜上、俯瞰映像46Aと撮像映像46Bとを区別して説明する必要がない場合、符号を付さずに「実映像」と称する。
一例として図3に示すように、情報処理装置12は、コンピュータ50、受付デバイス52、ディスプレイ53、第1通信I/F54、及び第2通信I/F56を備えている。コンピュータ50は、CPU58、ストレージ60、及びメモリ62を備えており、CPU58、ストレージ60、及びメモリ62は、バス64を介して接続されている。図3に示す例では、図示の都合上、バス64として1本のバスが図示されているが、複数のバスであってもよい。また、バス64には、シリアルバス、又は、データバス、アドレスバス、及びコントロールバス等で構成されるパラレルバスが含まれていてもよい。
CPU58は、情報処理装置12の全体を制御する。ストレージ60は、各種パラメータ及び各種プログラムを記憶している。ストレージ60は、不揮発性の記憶装置である。ここでは、ストレージ60の一例として、EEPROM、SSD及びHDDが採用されているが、これに限らず、HDD、SSD、又EEPROM等であってもよいし、複数の不揮発性の記憶装置の組み合わせであってもよい。メモリ62は、記憶装置である。メモリ62には、各種情報が一時的に記憶される。メモリ62は、CPU58によってワークメモリとして用いられる。ここでは、メモリ62の一例として、RAMが採用されているが、これに限らず、他の種類の記憶装置であってもよい。なお、CPU58は、本開示の技術に係る「プロセッサ」の一例である。また、メモリ62は、本開示の技術に係る「メモリ」の一例である。
受付デバイス52は、使用者等からの指示を受け付ける。受付デバイス52の一例としては、キーボード、タッチパネル、及びマウス等が挙げられる。受付デバイス52は、バス64等に接続されており、受付デバイス52によって受け付けられた指示は、CPU58によって取得される。
ディスプレイ53は、本開示の技術に係る「ディスプレイ」の一例である。ディスプレイ53は、バス64に接続されており、CPU58の制御下で、各種情報を表示する。ディスプレイ53の一例としては、液晶ディスプレイが挙げられる。なお、液晶ディプレイに限らず、ELディスプレイ(例えば、有機ELディスプレイ又は無機ELディスプレイ)等の他の種類のディスプレイがディスプレイ53として採用されてもよい。
第1通信I/F54は、LANケーブル30に接続されている。第1通信I/F54は、例えば、FPGAを有するデバイスによって実現される。第1通信I/F54は、バス64に接続されており、CPU58と複数の撮像装置16との間で各種情報の授受を司る。例えば、第1通信I/F54は、CPU58の要求に従って複数の撮像装置16を制御する。また、第1通信I/F54は、複数の撮像装置16の各々によって撮像されることで得られた撮像映像46B(図2参照)をCPU58に出力する。なお、ここでは、第1通信I/F54は有線通信I/Fとして例示されているが、高速無線LAN等の無線通信I/Fであってもよい。
第2通信I/F56は、基地局20に対して無線通信可能に接続されている。第2通信I/F56は、例えば、FPGAを有するデバイスによって実現される。第2通信I/F56は、バス64に接続されている。第2通信I/F56は、基地局20を介して、無線通信方式で、CPU58と無人航空機27との間で各種情報の授受を司る。また、第2通信I/F56は、基地局20を介して、無線通信方式で、CPU58とユーザデバイス14との間で各種情報の授受を司る。また、第2通信I/F56は、基地局20を介して、無線通信方式で、CPU58による受像機34に対する各種映像の送信を司る。なお、第1通信I/F54及び第2通信I/F56のうちの少なくとも一方は、FPGAの代わりに固定回路で構成することも可能である。また、第1通信I/F54及び第2通信I/F56のうちの少なくとも一方は、ASIC、FPGA、及び/又はPLD等で構成された回路であってもよい。
一例として図4に示すように、ユーザデバイス14は、コンピュータ70、受付デバイス76、ディスプレイ78、マイクロフォン80、スピーカ82、撮像装置84、及び通信I/F86を備えている。コンピュータ70は、CPU88、ストレージ90、及びメモリ92を備えており、CPU88、ストレージ90、及びメモリ92は、バス94を介して接続されている。図4に示す例では、図示の都合上、バス94として1本のバスが図示されているが、バス94は、複数本のバスであってもよい。バス94は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。
CPU88は、ユーザデバイス14の全体を制御する。ストレージ90は、各種パラメータ及び各種プログラムを記憶している。ストレージ90は、不揮発性の記憶装置である。ここでは、ストレージ90の一例として、フラッシュメモリが採用されている。フラッシュメモリはあくまでも一例に過ぎず、ストレージ90としては、例えば、フラッシュメモリに代えて、又は、フラッシュメモリと併せて、磁気抵抗メモリ及び/又は強誘電体メモリなどの各種の不揮発性メモリが挙げられる。また、不揮発性の記憶装置は、EEPROM、HDD、及び/又はSSD等であってもよい。メモリ92は、各種情報を一時的に記憶し、CPU88によってワークメモリとして用いられる。メモリ92の一例としては、RAMが挙げられるが、これに限らず、他の種類の記憶装置であってもよい。
受付デバイス76は、視聴者28等からの指示を受け付ける。受付デバイス76の一例としては、タッチパネル76A及びハードキー等が挙げられる。受付デバイス76は、バス94に接続されており、受付デバイス76によって受け付けられた指示は、CPU88によって取得される。
ディスプレイ78は、バス94に接続されており、CPU88の制御下で、各種情報を表示する。ディスプレイ78の一例としては、液晶ディスプレイが挙げられる。なお、液晶ディプレイに限らず、ELディスプレイ(例えば、有機ELディスプレイ又は無機ELディスプレイ)等の他の種類のディスプレイがディスプレイ78として採用されてもよい。
ユーザデバイス14は、タッチパネル・ディスプレイを備えており、タッチパネル・ディスプレイは、タッチパネル76A及びディスプレイ78によって実現される。すなわち、ディスプレイ78の表示領域に対してタッチパネル76Aを重ね合わせることによって、或いは、ディスプレイ78の内部にタッチパネル機能を内蔵(「インセル」型)することによってタッチパネル・ディスプレイが形成される。なお、「インセル」型のタッチパネル・ディスプレイは、あくまでも一例に過ぎず、「アウトセル」型又は「オンセル」型のタッチパネル・ディスプレイであってもよい。
マイクロフォン80は、収集した音を電気信号に変換する。マイクロフォン80は、バス94に接続されている。マイクロフォン80によって収集された音が変換されて得られた電気信号は、バス94を介してCPU88によって取得される。
スピーカ82は、電気信号を音に変換する。スピーカ82は、バス94に接続されている。スピーカ82は、CPU88から出力された電気信号を、バス94を介して受信し、受信した電気信号を音に変換し、電気信号を変換して得た音をユーザデバイス14の外部に出力する。
撮像装置84は、被写体を撮像することで、被写体を示す画像を取得する。撮像装置84は、バス94に接続されている。撮像装置84によって被写体が撮像されることで得られた画像は、バス94を介してCPU88によって取得される。なお、例えば、視聴者28が撮像装置84を用いてサッカー競技場22内(例えば、サッカーフィールド24上の領域)を撮像する場合、撮像装置84によって撮像されることで得られた画像も、撮像映像46Bと共に、仮想視点画像の生成に用いられるようにしてもよい。
通信I/F86は、基地局20に対して無線通信可能に接続されている。通信I/F86は、例えば、回路(例えば、ASIC、FPGA、及び/又はPLD等)で構成されたデバイスによって実現される。通信I/F86は、バス94に接続されている。通信I/F86は、基地局20を介して、無線通信方式で、CPU88と外部装置との間で各種情報の授受を司る。ここで、「外部装置」としては、例えば、情報処理装置12が挙げられる。
一例として図5に示すように、情報処理装置12において、ストレージ60には、編集用プログラム60Aが記憶されている。CPU58は、ストレージ60から編集用プログラム60Aを読み出し、読み出した編集用プログラム60Aをメモリ62上で実行する。CPU58は、メモリ62上で実行する編集用プログラム60Aに従って、ユーザデバイス14、撮像装置16、及び無人航空機27との間で各種情報の授受を行い、かつ、受像機34に対する各種映像の送信を行う。なお、編集用プログラム60Aは、コンピュータ50に処理を実行させるためのプログラムであって、本開示の技術に係る「プログラム」の一例である。また、コンピュータ50は、本開示の技術に係る「コンピュータ」の一例である。
CPU58は、ストレージ60から編集用プログラム60Aを読み出し、読み出した編集用プログラム60Aをメモリ62上で実行する。CPU58は、メモリ62上で実行する編集用プログラム60Aに従って取得部102、実行部104、制御部106、及び設定部108として動作することで、後述の仮想視点指定処理、仮想視点映像生成処理、サムネイル画像表示処理、及び編集処理を実行する。なお、以下では、説明の便宜上、仮想視点指定処理、仮想視点映像生成処理、サムネイル画像表示処理、及び編集処理を区別して説明する必要がない場合、「情報処理」と称する。
CPU58は、情報処理を実行することで、撮像領域に対応する基準画像と、基準画像内に配置され、仮想視点の移動の軌跡を表す複数の仮想視点パスと、仮想視点映像の再生位置を示すインジケータと、仮想視点映像を構成する複数の仮想視点画像のうち、仮想視点パスの各々の再生位置に対応する仮想視点から見た場合の仮想視点画像に基づく参照用画像と、をディスプレイ53に表示する。
ここで、仮想視点パスとは、複数の仮想視点を線状に連ねた集合とも言える。仮想視点とは、仮想的な人物の視点を指す。仮想視点画像は、仮想視点から観察された撮像領域の態様を示す画像である。仮想的な人物は、仮想カメラとして置き換えて考えることができる。物理カメラは、実際に物体として存在しており、視覚的に認識されるカメラであるのに対し、仮想カメラは、実際に物体として存在しているわけではなく、視覚的に認識されない仮想的なカメラである。よって、仮想視点とは、仮想カメラの位置とも言い換えることができる。この場合、仮想視点画像は、仮想カメラによって撮像されることがで得られる画像とも言える。
また、参照用画像は、仮想視点映像を編集する際に参照される画像である。参照用画像の一例としては、仮想視点映像に含まれる仮想視点画像に基づいて生成されるサムネイル画像が挙げられる。なお、本実施形態では、サムネイル画像を例に挙げて説明するが、参照用画像はサムネイル画像に限定されず、仮想視点画像に相当する画像であればよく、サムネイル画像のように、仮想視点画像が縮小化されることで得られる画像であることが好ましい。
一例として図6に示すように、情報処理装置12において、制御部106は、GUI制御を行う。制御部106は、GUI制御を行うことで、受付デバイス52によって受け付けられた指示に応じた処理を実行したり、受付デバイス52によって受け付けられた指示に従ってディスプレイ53に各種情報を表示させたりする。具体的には、制御部106は、受付デバイス52によって受け付けられた指示に応じて、ディスプレイ53に、動画編集用画面53Aを表示させる。そして、制御部106は、受付デバイス52(例えば、マウス)が使用者によって操作されることで、情報処理装置12によって動画編集に関する各種処理が実行されるように情報処理装置12を制御する。
動画編集用画面53Aには複数の表示領域が含まれている。複数の表示領域には、参照用領域53A1、編集領域53A2、及び配信用映像領域53A3が含まれている。
編集領域53A2は、複数の映像(例えば、複数の仮想視点映像等)を編集する作業エリアである。配信用映像領域53A3には、編集領域53A2で編集されて得られた配信用映像が表示される。
参照用領域53A1は、編集領域53A2で複数の映像を編集する際に参照される領域である。参照用領域53A1は、参照用映像表示領域55及び操作パネル57を備えている。参照用映像表示領域55には、俯瞰映像46Aと参照用画像とが表示される。図6に示す例では、参照用映像表示領域55に俯瞰映像46Aが表示されているが、参照用画像は表示されていない。ここで、俯瞰映像46Aは、本開示の技術に係る「基準画像」の一例である。なお、ここでは、俯瞰映像46Aを例示しているが、これはあくまでも一例に過ぎず、複数の撮像装置16のうちの何れかによって撮像されることで得られた画像であってもよいし、複数の仮想視点映像のうちの基準となる仮想視点映像として定められた基準仮想視点映像であってもよい。
また、「基準画像」は、リアルな映像に限らず、例えば人を塗りつぶした輪郭のみで表示する等の簡易的な表示であってもよい。また、図6では、サッカーフィールド24を斜め上から見た俯瞰映像46Aを表示しているが、「基準画像」はこれに限られない。例えば、「基準画像」は、サッカーフィールド24を上空から鉛直下方向に見下ろしたような映像であってもよいし、サッカーフィールド24を地面と平行に横から見たような映像であってもよい。また、「基準画像」は、1つには限られず、例えば、サッカーフィールド24を上空から鉛直下方に見下ろしたような映像と、サッカーフィールド24を地面と平行に横から見たような映像との双方を表示してもよい。この場合、一方の映像で仮想視点パスの指定を行えば、他方の映像にも指定した仮想視点パスが反映されるようにするのが望ましい。
操作パネル57は、再生キー57A、停止キー57B、早送りキー57C、早戻しキー57D、及びシークバー57Eを有する。本実施形態において、再生とは、ストレージ60等の記憶装置に記憶されている実映像そのもの、及び/又はストレージ60等の記憶装置に記憶されている実映像に基づく画像をディスプレイ53等に表示する処理を指す。ストレージ60等の記憶装置に記憶されている実映像に基づく画像の再生の一例としては、参照用画像(例えば、サムネイル画像)の再生が挙げられる。
再生キー57Aは、参照用領域53A1に表示される映像(例えば、俯瞰映像46A又は撮像映像46B、及び参照用画像)の再生を開始する指示を受け付けるソフトキーである。再生キー57Aがオンされることによって、映像に含まれる複数の画像(静止画像)が時系列で既定の再生フレームレート(例えば、30フレーム/秒)に従って再生される。停止キー57Bは、映像の再生を停止する指示を受け付けるソフトキーである。映像が再生されている状態で停止キー57Bがオンされることによって、映像の再生が停止する。早送りキー57Cは、映像の再生を早送りする指示を受け付けるソフトキーである。早送りキー57Cがオンされることによって、映像の再生が早送りされる。早戻しキー57Dは、再生中の映像を早戻しする指示を受け付けるソフトキーである。早戻しキー57Dがオンされることによって、再生中の映像が早戻しされる。
シークバー57Eは、本開示の技術に係る「インジケータ」の一例であり、映像の再生位置(例えば、俯瞰映像46Aの再生位置及び時系列上の複数の参照用画像の再生位置)を示すバーである。再生位置とは、映像が再生される再生総時間を示す時間軸上の位置を指す。より具体的に説明すると、再生位置とは、現時点で再生対象とされているフレーム画像が、映像を構成している複数のフレーム画像の時系列のうちの何れの時点のフレーム画像かを時間軸(例えば、シークバー57E)上で特定可能な位置を指す。
シークバー57Eは、スライダ57E1を有しており、スライダ57E1は、仮想視点映像の再生が進むに従って、シークバー57Eの再生開始位置である一端から、シークバー57Eの再生終了位置である他端かけて(図6に示す例では、左端から右端かけて)移動する。また、シークバー57E上の何れかがカーソル114等によってクリックされることで再生位置が指示されると、指示された再生位置にスライダ57E1が移動する。そして、指示された再生位置に対応するフレーム画像がディスプレイ53に表示される。
なお、ここでは、シークバー57Eを例示しているが、これに限らず、スライダ57E1と同様に再生位置が指示可能なスライダ等を有する他形状(例えば、半環状)のインジケータであってもよく、シークバー57Eと同様の機能を有する表示器であればよい。
制御部106は、動画編集を開始する際に、例えば、動画編集用画面53A内にダイアログ110を表示させる。ダイアログ110は、仮想視点映像を生成するための仮想視点パスの指定を使用者に促す画面である。図6に示す例では、ダイアログ110に「仮想視点パスを指定して下さい。」というメッセージ、及び、仮想視点の指定を開始するための開始ボタン112が表示されている。使用者は、動画編集用画面53A中に表示されるカーソル114を、マウスの操作により開始ボタン112上に位置させた状態でクリック操作を行うことにより、仮想視点の指定を開始することができる。なお、ここでは、マウスの操作を例示しているが、これに限らず、マウスに代えて、又は、マウスと共に、キーボード及び/又はタッチパネル等のデバイスを使用してもよい。
一例として図7に示すように、取得部102は、撮像装置16から俯瞰映像46Aを取得する。設定部108は、使用者による仮想視点の指定を可能とするための仮想視点指定処理を行う。具体的に説明すると、設定部108は、制御部106に対してGUI制御を行わせることで、制御部106を介してディスプレイ53に対して仮想視点指定用画面53Bを表示させる。設定部108は、取得部102によって取得された俯瞰映像46Aを仮想視点指定用画面53Bに表示させる。仮想視点指定用画面53Bには、俯瞰映像46Aの表示領域とは異なる領域に、決定キー116及び取消キー118がソフトキーとして表示されている。使用者は、マウスの操作によりカーソル114を決定キー116又は取消キー118上に移動させた状態でクリック操作を行うことにより、仮想視点の位置の決定又は取消を行うことができる。
使用者は、例えば、俯瞰映像46Aを参照しながら、受付デバイス52の一例としてのマウスを操作することにより、仮想視点の指定(ここでは、一例として、位置及び視線方向の指定)を行うことができる。なお、仮想視点の指定に、仮想視点の画角の指定も含めることも可能であるが、以下では、説明の便宜上、画角は、予め定められた画角(例えば、90度)であることを前提として説明する。
設定部108は、受付デバイス52によって受け付けられ指示に従って、俯瞰映像46A上に仮想視点パスPを配置する。仮想視点パスPの始点及び終点は、マウスのクリック操作で指定される。仮想視点パスPの形状は、仮想視点パスPの始点が指定されてから終点が指定されるまでの間にマウス等の操作によって描かれるスプライン曲線によって定められる。
仮想視点パスPのスプライン曲線の長さ及び形状は、仮想視点パスPの始点及び終点が指定された後であっても、マウス等の操作が行われることで設定部108によって変更される。また、仮想視点パスPの始点及び終点が指定された後であっても、仮想視点パスPの位置も、マウス等の操作が行われることで設定部108によって変更される。すなわち、仮想視点パスPの位置、長さ及び形状は、与えられた指示に応じて設定部108によって変更される。
なお、ここでは、仮想視点パスPの位置、長さ及び形状が変更される形態例を挙げているが、本開示の技術はこれに限らず、仮想視点パスPの位置、長さ及び形状のうちの1つ、又は、2つが与えられた指示に応じて設定部108によって変更されるようにしてもよい。
仮想視点パスPの位置、長さ、及び形状は、決定キー116がオンされることで決定される。また、仮想視点パスPがマウスのクリック操作等で選択された状態で取消キー118がオンされると、選択された状態の仮想視点パスPが仮想視点指定用画面53Bから消去される。
設定部108は、俯瞰映像46A内において、複数の仮想視点パスPを、外部から指定された位置に配置する。図8に示す例では、仮想視点指定用画面53Bの俯瞰映像46A内に仮想視点パスP1、P2及びP3が配置されている。ここでは、仮想視点パスP1、P2及びP3という3つの仮想視点パスを例示しているが、本開示の技術はこれに限定されず、仮想視点パスは複数であればよい。なお、以下では、仮想視点パスP1、P2及びP3を区別して説明する必要がない場合、「仮想視点パスP」とも称する。
一例として図8に示すように、仮想視点パスP1、P2及びP3は、俯瞰映像46A上において互いに異なる位置に配置されており、長さ及び形状も互いに異なっている。仮想視点パスP1は、始点P1s及び終点P1eを有する。仮想視点パスP1は、仮想視点指定用画面53Bにおいて始点P1sから終点P1eにかけて描かれたスプライン曲線によって形成されている。仮想視点パスP2は、始点P2s及び終点P2eを有する。仮想視点パスP2は、仮想視点指定用画面53Bにおいて始点P2sから終点P2eにかけて俯瞰映像46A上で描かれたスプライン曲線によって形成されている。仮想視点パスP3は、始点P3s及び終点P3eを有する。仮想視点パスP3は、仮想視点指定用画面53Bにおいて始点P3sから終点P3eにかけて俯瞰映像46A上で描かれたスプライン曲線によって形成されている。図8に示す例では、仮想視点パスP1、P2及びP3を同じ破線で表しているが、それぞれ異なる態様で表示されてもよい。例えば、仮想視点パスP1、P2及びP3をそれぞれ異なる色で表示してもよい。
このように、俯瞰映像46A上に仮想視点パスP1、P2及びP3が描かれ、決定キー116がオンされると、設定部108は、仮想視点パスP1、P2及びP3を確定し、次いで、ディスプレイ53に、注視点指定用画面53Cを表示させる。
注視点指定用画面53Cは、注視点を指定するための画面である。注視点とは、仮想視点が注視する点である。よって、仮想視点から注視点への方向が視線方向となる。仮想視点パスPには、複数の仮想視点が含まれているので、仮想視点パスPに含まれる仮想視点の各々から注視点への複数の方向の各々が視線方向となる。
注視点指定用画面53Cには、俯瞰映像46Aが表示されており、設定部108によって確定された仮想視点パスP1、P2及びP3が俯瞰映像46Aに重畳された状態で表示されている。また、注視点指定用画面53Cにも、仮想視点指定用画面53Bと同様に、俯瞰映像46Aの表示領域とは異なる領域に、決定キー116及び取消キー118がソフトキーとして表示されている。使用者は、マウスの操作によりカーソル114を決定キー116又は取消キー118上に移動させた状態でクリック操作を行うことにより、注視点の位置の決定又は取消を行うことができる。
注視点は、注視点パスPIによって定められる。注視点パスPIは、本開示の技術に係る「注視点情報」の一例であり、注視点の移動の軌跡を表している。注視点パスPIは、複数の注視点を線状に連ねた集合とも言える。設定部108は、受付デバイス52によって受け付けられ指示に従って、注視点パスPIを生成し、生成した注視点パスPIを俯瞰映像46A内に配置する。注視点パスPIは始点PIs及び終点PIeを有する。始点PIs及び終点PIeは、例えば、マウスのクリック操作で指定される。注視点パスPIの形状は、始点PIsが指定されてから終点PIeが指定されるまでの間にマウス等の操作によって描かれるスプライン曲線によって定められる。注視点パスPIのスプライン曲線の長さ及び形状は、始点PIs及び終点PIeが指定された後であっても、マウス等の操作によって変更可能である。
注視点パスPIの位置、長さ、及び形状は、決定キー116がオンされることで決定される。また、注視点パスPIがマウスのクリック操作等で選択された状態で取消キー118がオンされると、選択された状態の注視点パスPIが注視点指定用画面53Cから消去される。
このように、俯瞰映像46上に注視点パスPIが描かれ、決定キー116がオンされると、設定部108は、注視点パスPI仮想視点パスP1、P2及びP3を確定し、次いで、ディスプレイ53に、再生時間指定用画面53D(図9参照)を表示させる。なお、ここでは注視点パスを1つのみ設けたが、注視点パスは複数設けてよい。例えば、仮想視点パスP1、P2及びP3のそれぞれに対して注視点パスを1つずつ設けてもよい。
一例として図9に示すように、再生時間指定用画面53Dには、仮想視点映像を再生する総時間(以下、「再生総時間」とも称する)の指定を促すメッセージが表示されている。ここで、仮想視点映像の再生の意味には、参照用画像の再生、すなわち、仮想視点映像に基づく画像(例えば、サムネイル画像)の再生の意味も含まれる。
図9に示す例では、「撮像時間(仮想視点映像を再生する総時間)を指定して下さい。」というメッセージが示されている。また、再生時間指定用画面53Dには、基準映像系サムネイル画像列が表示されている。基準映像系サムネイル画像列は、基準映像の一例である俯瞰映像46Aを構成している複数の撮像画像が縮小化された複数のサムネイル画像が時系列で直線状に並べられた集合である。基準映像系サムネイル画像列に含まれる複数のサムネイル画像は撮像時間と並行して表示されている。ここで、撮像時間とは、サムネイル画像に対応する撮像画像を得るための撮像が行われた時間である。
一例として図10に示すように、使用者は、マウス等を操作することによって、撮像時間及び基準映像系サムネイル画像列をカーソル114で切り取るようにして窓選択する。なお、窓選択された状態は、取消キー118がオンされることによって解除される。
撮像時間及び基準映像系サムネイル画像列が窓選択された状態で決定キー116がオンされると、設定部108は、窓選択されている撮像時間を再生総時間として決定する。
再生総時間が決定されると、設定部108は、仮想視点の位置(以下、「仮想視点位置」とも称する)、視線方向、及び再生時間を含む視点情報を仮想視点パスP毎に生成し、生成した視点情報を仮想視点パスP毎にメモリ62に記憶させる。
視点情報は、仮想視点映像に時系列で含まれるフレーム毎に定められる。仮想視点映像に含まれるフレーム数(以下、「仮想視点画像フレーム数」とも称する)は、注視点パスPIに含まれる複数の注視点のうち、仮想視点画像の生成に用いられる注視点の数に相当する。ここで、仮想視点画像の生成に用いられる注視点とは、仮想視点画像の生成に用いられる視線方向を定める注視点を指す。仮想視点画像の生成に用いられる注視点の数、すなわち、仮想視点画像フレーム数は、再生総時間が長くなるほど、多くなる。仮想視点画像フレーム数は、実映像フレームレート(ここでは、一例として、俯瞰映像46Aのフレームレート)及び再生総時間に応じて定まる。具体的には、実映像フレームレートに再生総時間を乗じることで、仮想視点画像フレーム数が定まる。
一例として図11に示すように、情報処理装置12では、実行部104により、仮想視点映像生成処理が行われる。仮想視点映像生成処理は、視点情報を基準とした仮想視点映像を生成する処理である。取得部102は、複数の物理カメラから複数の実映像を取得する。実行部104は、仮想視点指定処理により生成された視点情報を、メモリ62から取得する。そして、実行部104は、取得した視点情報を基準として、取得部102によって取得された複数の実映像に基づいて仮想視点映像を生成する。具体的には、実行部104は、複数の動画データに基づいて3Dポリゴンを生成することにより、視点情報により決定される視野範囲を表す仮想視点映像を生成する。仮想視点映像は、仮想視点位置から視線方向に撮像領域を観察した場合における仮想的な映像である。
複数の仮想視点パスPの各々についての視点情報がメモリ62に記憶されている場合、実行部104は、仮想視点パスPの各々について視点情報に含まれる仮想視点位置毎に、仮想視点画像を生成することで、仮想視点パスP毎に仮想視点映像を生成する。
図11に示す例では、仮想視点パスP1に対応する仮想視点映像47A、仮想視点パスP2に対応する仮想視点映像47B、及び仮想視点パスP3に対応する仮想視点映像47Cが示されている。仮想視点映像47Aは、仮想視点パスP1についての視点情報に含まれる仮想視点位置毎に時系列で生成された複数の仮想視点画像で構成された映像である。仮想視点映像47Bは、仮想視点パスP2についての視点情報に含まれる仮想視点位置毎に時系列で生成された複数の仮想視点画像で構成された映像である。仮想視点映像47Cは、仮想視点パスP3についての視点情報に含まれる仮想視点位置毎に時系列で生成された複数の仮想視点画像で構成された映像である。
実行部104は、仮想視点映像生成処理によって仮想視点パスP毎に生成された仮想視点映像を、ストレージ60に仮想視点パスP毎に記憶させる。この場合、実行部104は、仮想視点映像を構成している複数の仮想視点画像の各々に視点情報を付与する。すなわち、ストレージ60には、仮想視点パスP毎に仮想視点映像が記憶されており、仮想視点映像を構成している複数の仮想視点画像の各々には視点情報が付与されている。
一例として図12に示すように、制御部106は、GUI制御を行うことで、仮想視点パスP1、P2及びP3、並びに注視点パスPIを参照用映像表示領域55内に俯瞰映像46Aに重畳させて表示する。ここで、俯瞰映像46Aに重畳される仮想視点パスP1、P2及びP3は、仮想視点指定用画面53Bで決定された仮想視点パスP1、P2及びP3であり、俯瞰映像46Aに重畳される注視点パスPIは、注視点指定用画面53Cで決定された注視点パスPIである。また、制御部106は、GUI制御を行うことで、仮想視点映像の再生に伴って、シークバー57E内のスライダ57E1を、再生時間指定用画面53Dで決定された再生総時間に合わせて移動させる。スライダ57E1の移動速度は、実映像フレームレート及び再生総時間に応じて定まる。更に、制御部106は、GUI制御を行うことで、シークバー57Eの隣に再生総時間を数値で表示する。再生総時間を示す数値は、仮想視点映像の再生に伴ってカウントアップ又はカウントダウンされる。
使用者は、マウス等を操作することで、仮想視点映像の再生位置(以下、単に「再生位置」とも称する)を指示する。再生位置を指示する方法のパターンとしては、例えば、シークバー57Eの1点を指示するパターン(以下、「第1指示パタ―ン」とも称する)と、何れかの仮想視点パスP上の1点を指示するパターン(以下、「第2指示パターン」とも称する)とが挙げられる。
第1指示パターンでは、例えば、シークバー57E上の1点にカーソル114が置かれた状態でマウスがクリック操作されることで再生位置が指示される。なお、スライダ57E1の位置をずらすことで、ずらした先の位置が再生位置として指示されるようにしてもよい。
シークバー57E上の1点がマウスのクリック操作で指示されると、仮想視点パスP1、P2及びP3の各々に対応付けられている各仮想視点映像を構成している複数の仮想視点画像のうち、シークバー57E上で指示された1点に対応する再生時間を含む視点情報から特定される仮想視点画像が実行部104によって再生対象として指定される。
第2指示パターンでは、参照用映像表示領域55内に表示されている仮想視点パスP上の1点にカーソル114が置かれた状態でマウスがクリック操作されることで再生位置が指示される。このように、仮想視点パスP上の1点が再生位置として指示されると、指示された1点に対応する仮想視点位置(例えば、指定された1点に最も近い仮想視点位置)を含む視点情報から特定される仮想視点画像が実行部104によって再生対象として指定される。
図12に示す例では、仮想視点パスP3上の1点にカーソル114が置かれた状態が示されている。この状態で、マウスがクリック操作されると、仮想視点パスP3上の1点が再生位置として指示される。これにより、仮想視点パスP3に対応付けられている仮想視点映像を構成している複数の仮想視点画像のうち、仮想視点パスP3上で指示された1点に対応する仮想視点位置を含む視点情報から特定される仮想視点画像が実行部104によって再生対象として指定される。
このように、仮想視点パスP3上の1点が再生位置として指示されると、仮想視点パスP1上の1点及び仮想視点パスP2上の1点も、再生位置として指示される。ここで、仮想視点パスP1及びP2上で指示される再生位置は、仮想視点パスP3上で指示された再生位置に対応する仮想視点位置を含む視点情報に含まれる再生時間と同じ再生時間を含む視点情報に対応している。
仮想視点パスP1及びP2についても、仮想視点パスP3と同様に、指示された1点に対応する仮想視点位置を含む視点情報から特定される仮想視点画像が実行部104によって再生対象として指定される。すなわち、仮想視点パスP1に対応付けられている仮想視点映像を構成している複数の仮想視点画像のうち、仮想視点パスP1上で指示された1点に対応する仮想視点位置を含む視点情報から特定される仮想視点画像が実行部104によって再生対象として指定される。また、仮想視点パスP2に対応付けられている仮想視点映像を構成している複数の仮想視点画像のうち、仮想視点パスP2上で指示された1点に対応する仮想視点位置を含む視点情報から特定される仮想視点画像が実行部104によって再生対象として指定される。
一例として図13に示すように、実行部104は、使用者によって指示された再生位置に対応する視点情報を仮想視点パスP毎にメモリ62から取得し、取得した視点情報に対応する仮想視点画像を仮想視点パスP毎にストレージ60から取得する。
実行部104は、仮想視点パスP1について、ストレージ60から取得した仮想視点画像を縮小化することでサムネイル画像48P1を生成する。サムネイル画像48P1は、仮想視点パスP1に含まれる複数の仮想視点位置のうち、メモリ62から取得した視点情報に含まれる仮想視点位置に対応付けられている。図13に示す例では、仮想視点パスP1に含まれる複数の仮想視点位置のうち、メモリ62から取得した視点情報に含まれる仮想視点位置からサムネイル画像48P1がポップアップされている態様が示されている。
実行部104は、仮想視点パスP2について、ストレージ60から取得した仮想視点画像を縮小化することでサムネイル画像48P2を生成する。サムネイル画像48P2は、仮想視点パスP2に含まれる複数の仮想視点位置のうち、メモリ62から取得した視点情報に含まれる仮想視点位置に対応付けられている。図13に示す例では、仮想視点パスP2に含まれる複数の仮想視点位置のうち、メモリ62から取得した視点情報に含まれる仮想視点位置からサムネイル画像48P2がポップアップされている態様が示されている。
実行部104は、仮想視点パスP3について、ストレージ60から取得した仮想視点画像を縮小化することでサムネイル画像48P3を生成する。サムネイル画像48P3は、仮想視点パスP3に含まれる複数の仮想視点位置のうち、メモリ62から取得した視点情報に含まれる仮想視点位置に対応付けられている。図13に示す例では、仮想視点パスP3に含まれる複数の仮想視点位置のうち、メモリ62から取得した視点情報に含まれる仮想視点位置からサムネイル画像48P3がポップアップされている態様が示されている。
一例として図14に示すように、制御部106は、GUI制御を行うことで、俯瞰映像46Aと、仮想視点パスP1、P2及びP3と、実行部104によって生成されたサムネイル画像48P1、48P2及び48P3とを参照用映像表示領域55に表示する。また、制御部106は、GUI制御を行うことで、仮想視点パスP1、P2及びP3、並びに実行部104によって生成されたサムネイル画像48P1、48P2及び48P3を、俯瞰映像46A内に表示させる。
図14に示す例では、仮想視点パスP1に含まれる複数の仮想視点位置のうち、シークバー57E上でスライダ57E1によって指示されている再生位置に対応する仮想視点位置からサムネイル画像48P1が吹き出し形式でポップアップ表示されている。また、図14に示す例では、仮想視点パスP2に含まれる複数の仮想視点位置のうち、シークバー57E上でスライダ57E1によって指示されている再生位置に対応する仮想視点位置からサムネイル画像48P2が吹き出し形式でポップアップ表示されている。更に、図14に示す例では、仮想視点パスP3に含まれる複数の仮想視点位置のうち、シークバー57E上でスライダ57E1によって指示されている再生位置に対応する仮想視点位置からサムネイル画像48P3が吹き出し形式でポップアップ表示されている。
また、制御部106は、GUI制御を行うことで、参照用映像表示領域55内で、シークバー57Eを再生位置の前後で異なる態様にして表示させている。図14に示す例では、シークバー57Eが、スライダ57E1の前後で異なる態様で表示されている。具体的には、スライダ57E1の位置よりも時間的に前の再生位置を示す領域は塗り潰されているのに対し、スライダ57E1の位置よりも時間的に後の再生位置を示す領域は塗り潰されていない。
また、制御部106は、GUI制御を行うことで、与えられた指示に応じて、シークバー57Eにより示される再生位置を変更する。例えば、使用者がシークバー57E上でのスライダ57E1の位置をマウスの操作等を行うことで変更した場合、シークバー57Eにより示される再生位置は変更される。これに伴って、実行部104は、変更後の再生位置に対応する視点情報から特定される仮想視点画像に基づいてサムネイル画像48P1、48P2及び48P3を生成する。以下では、説明の便宜上、再生位置に対応する視点情報から特定される仮想視点画像に基づいて生成されるサムネイル画像を、「再生位置に対応するサムネイル画像」とも称する。
また、制御部106は、GUI制御を行うことで、俯瞰映像46A上でサムネイル画像48P1、48P2又は48P3を移動させる操作に応じて再生位置を変更する。すなわち、サムネイル画像48P1、48P2及び48P3のうちの何れかをドラッグ操作等で移動させると、シークバー57Eにより示される再生位置が制御部106によって変更される。そして、変更後の再生位置に対応する視点情報から特定される仮想視点画像に基づいてサムネイル画像48P1、48P2及び48P3が実行部104によって生成される。なお、ここで、サムネイル画像48P1の移動とは、仮想視点パスP1上でのサムネイル画像48P1の移動を指し、サムネイル画像48P2の移動とは、仮想視点パスP2上でのサムネイル画像48P2の移動を指し、サムネイル画像48P3の移動とは、仮想視点パスP3上でのサムネイル画像48P3の移動を指す。
また、制御部106は、シークバー57Eにより示される再生位置が変更された場合に、変更後の再生位置に対応するサムネイル画像48P1、48P2及び48P3を参照用映像表示領域55に表示する。
また、制御部106は、シークバー57Eにより示される再生位置が変更された場合に、変更後の再生位置に対応するサムネイル画像48P1を、変更前の再生位置に対応するサムネイル画像48P1と異なる位置に表示させる。また、制御部106は、シークバー57Eにより示される再生位置が変更された場合に、変更後の再生位置に対応するサムネイル画像48P2を、変更前の再生位置に対応するサムネイル画像48P2と異なる位置に表示させる。また、制御部106は、シークバー57Eにより示される再生位置が変更された場合に、変更後の再生位置に対応するサムネイル画像48P3を、変更前の再生位置に対応するサムネイル画像48P3と異なる位置に表示させる。
また、制御部106は、サムネイル画像48P1を、仮想視点パスP1に対して1つのみ表示させ、サムネイル画像48P2を、仮想視点パスP2に対して1つのみ表示させ、サムネイル画像48P3を、仮想視点パスP2に対して1つのみ表示させる。
変更後の再生位置に対応するサムネイル画像48P1が実行部104によって生成された場合、実行部104は、再生位置が変更される前のサムネイル画像48P1と仮想視点パスP1との対応付け状態を解除する。また、実行部104は、変更後の再生位置に対応するサムネイル画像48P1を、仮想視点パスP1に含まれる複数の仮想視点位置のうち、変更後の再生位置に対応する視点情報に含まれる仮想視点位置に対応付ける。制御部106は、GUI制御を行うことで、再生位置が変更される前のサムネイル画像48P1を参照用映像表示領域55から消去する。そして、制御部106は、GUI制御を行うことで、仮想視点パスP1に含まれる複数の仮想視点位置のうち、シークバー57E上でスライダ57E1によって指示されている再生位置に対応する仮想視点位置から、変更後の再生位置に対応するサムネイル画像48P1を吹き出し形式でポップアップ表示する。すなわち、制御部106は、仮想視点パスP1に沿って、サムネイル画像48P1を表示させる。
変更後の再生位置に対応するサムネイル画像48P2が実行部104によって生成された場合、実行部104は、再生位置が変更される前のサムネイル画像48P2と仮想視点パスP2との対応付け状態を解除する。また、実行部104は、変更後の再生位置に対応するサムネイル画像48P2を、仮想視点パスP2に含まれる複数の仮想視点位置のうち、変更後の再生位置に対応する視点情報に含まれる仮想視点位置に対応付ける。制御部106は、GUI制御を行うことで、再生位置が変更される前のサムネイル画像48P2を参照用映像表示領域55から消去する。そして、制御部106は、GUI制御を行うことで、仮想視点パスP2に含まれる複数の仮想視点位置のうち、シークバー57E上でスライダ57E1によって指示されている再生位置に対応する仮想視点位置から、変更後の再生位置に対応するサムネイル画像48P2を吹き出し形式でポップアップ表示する。すなわち、制御部106は、仮想視点パスP2に沿って、サムネイル画像48P2を表示させる。
変更後の再生位置に対応するサムネイル画像48P3が実行部104によって生成された場合、実行部104は、再生位置が変更される前のサムネイル画像48P3と仮想視点パスP3との対応付け状態を解除する。また、実行部104は、変更後の再生位置に対応するサムネイル画像48P3を、仮想視点パスP3に含まれる複数の仮想視点位置のうち、変更後の再生位置に対応する視点情報に含まれる仮想視点位置に対応付ける。制御部106は、GUI制御を行うことで、再生位置が変更される前のサムネイル画像48P3を参照用映像表示領域55から消去する。そして、制御部106は、GUI制御を行うことで、仮想視点パスP3に含まれる複数の仮想視点位置のうち、シークバー57E上でスライダ57E1によって指示されている再生位置に対応する仮想視点位置から、変更後の再生位置に対応するサムネイル画像48P3を吹き出し形式でポップアップ表示する。すなわち、制御部106は、仮想視点パスP3に沿って、サムネイル画像48P3を表示させる。
制御部106は、GUI制御を行うことで、編集領域53A2に、基準映像系サムネイル画像列及び仮想視点映像系サムネイル画像列を再生総時間と対比可能に表示する。仮想視点映像系サムネイル画像列は、仮想視点映像を構成している複数の仮想視点画像が縮小化された複数のサムネイル画像が時系列で直線状に並べられた集合である。
図14に示す例では、編集領域53A2に「仮想視点パスごとに得られた仮想視点映像を表示しています。」というメッセージが表示されており、このメッセージの下に、基準映像系サムネイル画像列及び複数の仮想視点映像系サムネイル画像列が再生総時間と対比可能に表示されている。なお、図14に示す例では、3つの仮想視点映像系サムネイル画像列が示されているが、これはあくまでも一例に過ぎず、参照用映像表示領域55に表示されている仮想視点パスPの数と同数の仮想視点映像系サムネイル画像列が編集領域53A2に表示されていればよい。
基準映像系サムネイル画像列に含まれる複数のサムネイル画像、及び仮想視点映像系サムネイル画像列に含まれる複数のサムネイル画像は、時系列で配置されており、再生時間毎に対比可能に並べて表示されている。図14に示す例では、仮想視点映像系サムネイル画像列に含まれる複数のサムネイル画像の一例として、仮想視点パスP1に基づいて生成された仮想視点映像に対応する複数のサムネイル画像48P1と、仮想視点パスP2に基づいて生成された仮想視点映像に対応する複数のサムネイル画像48P2と、仮想視点パスP3に基づいて生成された仮想視点映像に対応する複数のサムネイル画像48P3と、が示されている。
一例として図15に示すように、制御部106は、GUI制御を行うことで、編集領域53A2に表示された仮想視点映像系サムネイル画像列に対しての使用者によるトリミング操作に応じて、トリムマーカT1及びT2を表示する。トリムマーカT1は、トリムの開始位置を表す。トリムマーカT2は、トリムの終了位置を表す。使用者は、仮想視点映像系サムネイル画像列のうちのトリムマーカT1及びT2で規定される部分を、配信用映像の作成領域15A2aに対してドラッグアンドドロップすることにより、使用者が意図する部分を抽出することができる。
実行部104は、トリミング操作に応じて選択処理を実行し、ドラッグアンドドロップに応じて結合処理を実行する。選択処理は、仮想視点映像系サムネイル画像列に対してトリミング操作が行われることにより仮想視点映像系サムネイル画像列から切り取られた複数のサムネイル画像に対応する複数の仮想視点画像を、ストレージ60内の複数の仮想視点映像から選択する処理である。結合処理は、選択処理によって選択された複数の仮想視点画像を時系列で結合することにより配信用映像を生成する処理である。実行部104は、配信用映像に基づき動画ファイルを生成し、生成した動画ファイルをストレージ60に記憶させる。また、ストレージ60内の動画ファイルは、実行部104によって、ユーザデバイス14及び受像機34などに提供される。
一例として図16に示すように、制御部106は、GUI制御を行うことで、ストレージ60内の動画ファイルに基づいて配信用映像を配信用映像領域53A3に表示する。図16に示す例では、参照用領域53A1の操作パネル57と同様に、配信用映像領域53A3に操作パネル59が設けられている。操作パネル57は、参照用領域53A1に表示される映像に対して用いられるのに対し、操作パネル59は、配信用映像領域53A3に表示される配信用映像に対して用いられる。操作パネル59は、配信用映像領域53A3に表示される配信用映像に対して適用されるシークバー59A等を備えている。
次に、情報処理システム10の作用について説明する。
先ず、情報処理装置12のCPU58によって実行される仮想視点指定処理の流れの一例について図17を参照しながら説明する。
図17に示す仮想視点指定処理では、ステップST10で、取得部102は、俯瞰映像46Aを取得し、その後、仮想視点指定処理はステップST12へ移行する。
ステップST12で、制御部106は、ステップST10で取得された俯瞰映像46Aをディスプレイ53に表示し、その後、仮想視点指定処理はステップST14へ移行する。
ステップST14で、設定部108は、使用者等による仮想視点パスP及び注視点パスPIの指定操作を受け付け、その後、仮想視点指定処理はステップST16へ移行する。
ステップST16で、設定部108は、決定キー116がオンされることによって仮想視点パスP及び注視点パスPIが確定されたか否かを判定する。ステップST16において、仮想視点パスP及び注視点パスPIが確定されていない場合は、判定が否定されて、ステップST16の判定が再び行われる。ステップST16において、仮想視点パスP及び注視点パスPIが確定された場合は、判定が肯定されて、仮想視点指定処理はステップST18へ移行する。
ステップST18で、設定部108は、ステップST16で確定された仮想視点パスP毎に視点情報を生成し、その後、仮想視点指定処理はステップST20へ移行する。
ステップST20で、設定部108は、ステップST18で生成した視点情報を仮想視点パスP毎にメモリ62に記憶させ、その後、仮想視点指定処理はステップST22へ移行する。
ステップST22で、設定部108は、仮想視点指定処理を終了させる条件(以下、「仮想視点指定処理終了条件」とも称する)を満足したか否かを判定する。仮想視点指定処理終了条件の一例としては、情報処理装置12に対して、仮想視点指定処理を終了させる指示が与えられた、との条件が挙げられる。仮想視点指定処理を終了させる指示は、例えば、受付デバイス52によって受け付けられる。ステップST22において、仮想視点指定処理終了条件を満足していない場合は、判定が否定されて、仮想視点指定処理はステップST10へ移行する。ステップST22において、仮想視点指定処理終了条件を満足した場合は、判定が肯定されて、仮想視点指定処理が終了する。
次に、情報処理装置12のCPU58によって実行される仮想視点映像生成処理の流れの一例について図18を参照しながら説明する。
図18に示す仮想視点映像生成処理では、先ず、ステップST50で、取得部102は、複数の物理カメラから複数の実映像を取得し、その後、仮想視点映像生成処理はステップST52へ移行する。
ステップST52で、実行部104は、メモリ62から仮想視点パスP毎の視点情報を取得し、その後、仮想視点映像生成処理はステップST54へ移行する。
ステップST54で、実行部104は、ステップST52で取得された視点情報に基づいて仮想視点パスP毎に仮想視点映像を生成し、その後、仮想視点映像生成処理はステップST56へ移行する。
ステップST56で、実行部104は、ステップST54で仮想視点パスP毎に生成された仮想視点映像を仮想視点パスP毎にストレージ60に記憶させる。また、実行部104は、仮想視点映像を構成している複数の仮想視点画像の各々に視点情報を付与する。ステップST56の処理が実行された後、仮想視点映像生成処理が終了する。
次に、情報処理装置12のCPU58によって実行されるサムネイル画像表示処理の流れの一例について図19を参照しながら説明する。
図19に示すサムネイル画像表示処理では、先ず、ステップST100で、実行部104は、シークバー57E上の1点又は仮想視点パスP上の1点に対するクリック操作等によって仮想視点映像の再生位置が指示されたか否かを判定する。ステップST100において、仮想視点映像の再生位置が指示されていない場合は、判定が否定されて、サムネイル画像表示処理はステップST112へ移行する。ステップST100において、仮想視点映像の再生位置が指示された場合は、判定が肯定されて、サムネイル画像表示処理はステップST102へ移行する。
ステップST102で、実行部104は、ステップST100で指示された再生位置が新たに指示された再生位置か否かを判定する。ステップST102において、ステップST100で指示された再生位置が新たに指示された再生位置でない場合は、判定が否定されて、サムネイル画像表示処理はステップST112へ移行する。ステップST102において、ステップST100で指示された再生位置が新たに指示された再生位置の場合は、判定が肯定されて、サムネイル画像表示処理はステップST104へ移行する。
ステップST104で、実行部104は、メモリ62から、ステップT100で指示された再生位置に対応する視点情報を仮想視点パスP毎に取得し、その後、サムネイル画像表示処理はステップST106へ移行する。
ステップST106で、実行部104は、ストレージ60から、ステップST104で取得された視点情報に対応する仮想視点画像を仮想視点パスP毎に取得し、その後、サムネイル画像表示処理はステップST108へ移行する。
ステップST108で、実行部104は、ステップST106で取得された仮想視点画像に基づくサムネイル画像を仮想視点パスP毎に生成し、その後、サムネイル画像表示処理はステップST110へ移行する。
ステップST110で、制御部106は、仮想視点パスPを参照用映像表示領域55に表示し、かつ、仮想視点パスPに含まれる複数の仮想視点位置のうち、ステップST100で指示された再生位置に対応する仮想視点位置にサムネイル画像を対応付けて表示し、その後、サムネイル画像表示処理はステップST112へ移行する。
ステップST112で、制御部106は、サムネイル画像表示処理を終了させる条件(以下、「サムネイル画像表示処理終了条件」とも称する)を満足したか否かを判定する。サムネイル画像表示処理終了条件の一例としては、情報処理装置12に対して、サムネイル画像表示処理を終了させる指示が与えられた、との条件が挙げられる。サムネイル画像表示処理を終了させる指示は、例えば、受付デバイス52によって受け付けられる。ステップST112において、サムネイル画像表示処理終了条件を満足していない場合は、判定が否定されて、サムネイル画像表示処理はステップST100へ移行する。ステップST112において、サムネイル画像表示処理終了条件を満足した場合は、判定が肯定されて、サムネイル画像表示処理が終了する。
次に、情報処理装置12のCPU58によって実行される編集処理の流れの一例について図20を参照しながら説明する。
図20に示す編集処理では、先ず、ステップST150で、実行部104は、選択処理を実行する。すなわち、実行部104は、仮想視点映像系サムネイル画像列に対してトリミング操作が行われることにより仮想視点映像系サムネイル画像列から切り取られた複数のサムネイル画像に対応する複数の仮想視点画像を、ストレージ60内の複数の仮想視点映像から選択する。ステップST150の処理が実行された後、編集処理はステップST152へ移行する。
ステップST152で、実行部104は、結合処理を実行する。すなわち、実行部104は、ステップST150で選択した複数の仮想視点画像を時系列で結合することにより配信用映像を生成する。ステップST152の処理が実行された後、編集処理はステップST154へ移行する。
ステップST154で、実行部104は、ステップST152で生成した配信用映像に基づき動画ファイルを生成し、生成した動画ファイルをストレージ60に記憶させる。ステップST154の処理が実行された後、編集処理が終了する。ステップST154の処理が実行されることによってストレージ60に動画ファイルが記憶されると、制御部106は、ストレージ60から動画ファイルを読み出し、読み出した動画ファイルに基づいて配信用映像を配信用映像領域53A3に表示する。
以上説明したように、情報処理装置12では、俯瞰映像46Aと、俯瞰映像46A内に配置された複数の仮想視点パスPと、仮想視点映像の再生位置を示すシークバー57Eと、仮想視点映像を構成する複数の仮想視点画像のうち、仮想視点パスPの各々の再生位置に対応する仮想視点から見た場合の仮想視点画像に基づくサムネイル画像と、がディスプレイ53に表示される。従って、本構成によれば、複数の仮想視点パスPにおける同一の再生位置のサムネイル画像を比較することができる。
なお、俯瞰映像46Aと、俯瞰映像46A内に配置された複数の仮想視点パスPと、仮想視点映像の再生位置を示すシークバー57Eと、仮想視点映像を構成する複数の仮想視点画像のうち、仮想視点パスPの各々の再生位置に対応する仮想視点から見た場合の仮想視点画像に基づくサムネイル画像と、がディスプレイ53に表示される、という構成に限定される必要はない。また、この構成以外の構成も必要に応じて削除したり追加したりしてもよい。
また、情報処理装置12では、俯瞰映像46A内において、複数の仮想視点パスPが、指示された位置に配置される。従って、本構成によれば、使用者が意図する位置に複数の仮想視点パスPを配置することができる。なお、本開示の技術はこれに限定されず、複数の仮想視点パスPが、指示された位置に配置されなくてもよい。例えば、少なくとも1つの仮想視点パスPが、指示された位置に配置され、残りの仮想視点パスPは、指示された位置に配置されなくてもよい。
また、情報処理装置12では、与えられた指示に応じて、シークバー57Eにより示される再生位置が変更される。従って、本構成によれば、使用者は再生位置を変更しながら複数の仮想視点パスPのサムネイル画像を比較することができる。
また、情報処理装置12では、再生位置が変更された場合に、変更後の再生位置に対応するサムネイル画像がディスプレイ53に表示される。従って、本構成によれば、再生位置が変更された場合であっても、使用者は、再生位置とサムネイル画像との位置関係を把握することができる。
また、情報処理装置12では、再生位置が変更された場合に、変更後の再生位置に対応するサムネイル画像が、変更前の再生位置に対応するサムネイル画像と異なる位置に表示される。従って、本構成によれば、使用者に対して、再生位置の変更前後でのサムネイル画像の位置関係を視覚的に認識させることができる。
また、情報処理装置12では、サムネイル画像が複数の仮想視点パスPの各々に対して1つのみ表示される。従って、本構成によれば、複数の仮想視点パスPの各々に対して複数のサムネイル画像が表示される場合に比べ、何れの仮想視点パスPに対して何れのサムネイル画像が対応しているかを視覚的に把握し易くなる。
また、情報処理装置12では、俯瞰映像46A上でサムネイル画像を移動させる操作に応じて再生位置が変更される。従って、本構成によれば、サムネイル画像を移動させた場合であっても、サムネイル画像と再生位置との対応関係を維持することができる。
また、情報処理装置12では、与えられた指示に応じて、仮想視点パスPの位置、長さ、及び形状のうちの少なくとも1つが変更される。従って、本構成によれば、使用者の意図が反映された仮想視点パスPを作成することができる。
また、情報処理装置12では、シークバー57Eが、再生位置の前後で異なる態様で表示される。従って、本構成によれば、シークバー57Eでの再生位置を視覚的に把握することができる。なお、ここでは、シークバー57Eを再生位置の前後で異なる態様にして表示させる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、制御部106は、GUI制御を行うことで、仮想視点パスPを、再生位置(例えば、サムネイル画像が対応付けられている仮想視点位置)の前後で異なる態様にして表示させるようにしてもよい。例えば、再生位置の前のエリアを太線とし、再生位置の後のエリアを細線とする。これにより、仮想視点パスPでの再生位置を視覚的に把握することができる。また、制御部106は、シークバー57E及び仮想視点パスPの各々を、再生位置の前後で異なる態様にして表示させるようにしてもよい。これにより、シークバー57E及び仮想視点パスPでの再生位置を視覚的に把握することができる。
また、情報処理装置12では、与えられた指示に応じて、複数の仮想視点パスPの各々に含まれる仮想視点の各々が注視する注視点を表す注視点パスPIが生成される。従って、本構成によれば、複数の仮想視点パスPに対して共通の注視点を、使用者が意図する箇所に設定することができる。
また、情報処理装置12では、複数の仮想視点パスPとサムネイル画像とが、1つの俯瞰映像46A内に表示される。従って、本構成によれば、俯瞰映像46A内での複数の仮想視点パスPとサムネイル画像との位置関係を把握することができる。
更に、情報処理装置12では、複数の仮想視点パスPの各々について、仮想視点パスPに沿って、仮想視点に対応するサムネイル画像が表示される。従って、本構成によれば、複数の仮想視点パスPのうちのどの仮想位置に対応するサムネイル画像なのかを視覚的に把握することができる。
なお、上記実施形態では、仮想視点映像系サムネイル画像列に対してトリミング操作が行われることにより仮想視点映像系サムネイル画像列から切り取られた複数のサムネイル画像に対応する複数の仮想視点画像が結合処理によって結合される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、CPU58が、与えられた指示に応じて、複数の仮想視点パスPの各々から一部を切り取って結合し、結合することで得たパスに基づき仮想視点映像を生成するようにしてもよい。
この場合、例えば、図21に示すように、制御部106は、仮想視点パスP1及び仮想視点パスP2に対しての使用者によるトリミング操作に応じて、上記実施形態で説明したトリムマーカT1及びT2を表示する。使用者は、仮想視点パスP1及び仮想視点パスP2のうちのトリムマーカT1及びT2で規定される部分を、例えば、配信用映像の作成領域に対してドラッグアンドドロップすることにより、使用者が意図する部分を抽出することができる。
実行部104は、トリミング操作に応じて選択処理を実行し、ドラッグアンドドロップに応じて結合処理を実行する。図21に示す例において、選択処理は、仮想視点パスP1及び仮想視点パスP2に対してトリミング操作が行われることにより仮想視点パスP1及び仮想視点パスP2から切り取られた仮想視点パスP1の断片及び仮想視点パスP2の断片に対応する複数の仮想視点画像を、ストレージ60内の複数の仮想視点映像から選択する処理である。図21に示す例において、結合処理は、選択処理によって選択された複数の仮想視点画像を時系列で結合することにより配信用映像を生成する処理である。図21に示す選択処理及び結合処理は、本開示の技術に係る「選択結合処理」の一例である。図21に示す構成例によれば、使用者が意図する仮想視点パスを用いて配信用映像を生成することができる。
また、この場合においても、仮想視点パスP1と仮想視点パスP2とを異なる態様で表示してもよい。例えば、仮想視点パスP1と仮想視点パスP2とを異なる色で表示する。このようにすれば、仮想視点パスP1の断片及び仮想視点パスP2の断片が結合された場合であっても、それぞれがどのパスから切り取られたかが視覚的に把握可能となる。
また、上記実施形態では、仮想視点パスPに含まれる複数の仮想視点位置のうち、メモリ62から取得した視点情報に含まれる仮想視点位置からサムネイル画像48P1が吹き出し形式でポップアップ表示される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図22に示すように、仮想視点パスPに含まれる複数の仮想視点位置のうち、メモリ62から取得した視点情報に含まれる仮想視点位置とサムネイル画像とを線で繋げ、仮想視点パスPのうちの結線されている箇所に結線マーク(図22に示す例では、丸状のマーク)を付すことで、仮想視点パスPに含まれる仮想視点位置とサムネイル画像との位置関係を明確化するようにしてもよい。図22に示す例では、仮想視点位置とサムネイル画像とを結ぶ線が直線であるが、仮想視点位置とサムネイル画像とを結ぶ線は曲線であってもよい。
図22に示す例では、サムネイル画像48P2が仮想視点パスP1側ではなく、仮想視点パスP3側に配置されている。そのため、サムネイル画像48P2が仮想視点パスP2に線で繋げられ、サムネイル画像48P3が仮想視点パスP3に線で繋げられていたとしても、俯瞰映像46Aの状態及び/又は使用者の見方次第で、サムネイル画像48P2が仮想視点パスP3に対応しており、サムネイル画像48P3が仮想視点パスP2に対応していると誤認される虞がある。
そこで、制御部106は、隣り合う2つの仮想視点パスPに対する2つのサムネイル画像48P2を、隣り合う2つの仮想視点パスPの相対位置(以下、単に「相対位置」とも称する)に応じて表示するようにしてもよい。この場合、例えば、制御部106は、仮想視点パスPの本数、隣り合う仮想視点パスP間の距離、隣り合う2つの仮想視点パスPのうちの一方に対応するサムネイル画像と他方に対応するサムネイル画像とが並走する区間、各仮想視点パスPの向き、及びサムネイル画像の大きさ等に応じて定まる相対位置に基づいて、仮想視点パスP毎のサムネイル画像の表示位置を決定し、決定した表示位置にサムネイル画像を表示するようにすればよい。
例えば、図22に示すように、仮想視点パスP2と仮想視点パスP3との間でサムネイル画像48P2及び48P3が並走する区間で、サムネイル画像48P2が仮想視点パスP3側に位置し、かつ、サムネイル画像48P3が仮想視点パスP2側に位置することで、サムネイル画像48P2とサムネイル画像48P3とが互いに干渉し合う場合、一例として図23に示すように、制御部106は、サムネイル画像48P2を仮想視点パスP1側に表示する。これにより、複数の仮想視点パスの各々にサムネイル画像が対応付けられている場合であっても、何れかの仮想視点パスに何れのサムネイル画像が対応しているかを把握することができる。
また、上記実施形態では、1つの俯瞰映像46A上に複数の仮想視点パスP及びサムネイル画像が表示される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、制御部106は、撮像領域のうちの少なくとも一部を表す複数の基準画像の各々に、仮想視点パスP及びサムネイル画像を表示させるようにしてもよい。
例えば、図24Aに示すように、仮想視点指定用画面53Bには、撮像領域内の異なる部分(例えば、サッカーフィールド24上の異なる部分)を示す複数の部分画像が表示されている。図24Aに示す例では、仮想視点指定用画面53Bが4分割されて得られた4つの分割画面の各々に異なる部分画像が表示されている。4つの分割画面に表示される4つの部分画像は、本開示の技術に係る「複数の基準画像」の一例である。そして、設定部108は、与えられた指示に応じて、各分割画面内の部分画像上に仮想視点パスを設定する。設定された仮想視点パスは、制御部106によって部分画像上に表示される。また、上記実施形態と同様に、制御部106によって、一例として図24Bに示すように、仮想視点パスに対応させてサムネイル画像が表示される。なお、図24Bに示す例では、参照用映像表示領域55に部分画像が表示されているが、これに限らず、上記実施形態と同様に、参照用映像表示領域55に俯瞰映像46Aが表示されていてもよい。
図24Aに示す例では、仮想視点指定用画面53Bの正面視左上に表示されている部分画像上に仮想視点パスP4が設定部108によって設定される。設定部108によって設定された仮想視点パスP4は、制御部106によって、一例として図24Bに示すように、仮想視点パスP4に対応するサムネイル画像48P4と共に参照用映像表示領域55に表示される。
図24Aに示す例では、仮想視点指定用画面53Bの正面視右上に表示されている部分画像上に仮想視点パスP5が設定部108によって設定される。設定部108によって設定された仮想視点パスP5は、制御部106によって、一例として図24Bに示すように、仮想視点パスP5に対応するサムネイル画像48P5と共に参照用映像表示領域55に表示される。
図24Aに示す例では、仮想視点指定用画面53Bの正面視左下に表示されている部分画像上に仮想視点パスP6が設定部108によって設定される。設定部108によって設定された仮想視点パスP6は、制御部106によって、一例として図24Bに示すように、仮想視点パスP6に対応するサムネイル画像48P6と共に参照用映像表示領域55に表示される。
図24Aに示す例では、仮想視点指定用画面53Bの正面視右下に表示されている部分画像上に仮想視点パスP7が設定部108によって設定される。設定部108によって設定された仮想視点パスP7は、制御部106によって、一例として図24Bに示すように、仮想視点パスP7に対応するサムネイル画像48P7と共に参照用映像表示領域55に表示される。
このように、複数の部分画像の各々に仮想視点パスP及びサムネイル画像を重畳表示させることで、何れの部分画像に対してどのような仮想視点パスP及びサムネイル画像が対応付けられているかを視覚的に把握することができる。なお、ここでは、複数の部分画像を例示しているが、これはあくまでも一例に過ぎず、複数の部分画像のうちの少なくとも1つを俯瞰映像46Aとしてもよい。また、図24A及び図24Bに示す例では、4つの分割画面に表示される4つの部分画像をそれぞれ異なる画像としたが、一部が同じ画像であってもよいし、一例として図24Cに示すように、全てが同じ画像であってもよい。また、参照用映像表示領域55に表示される画像(俯瞰映像46A(図12、図14、図16、図22及び図23参照)、部分画像、仮想視点パスP、注視点パスIP1、及び/又は注視点パスPI2,PI3,PI4(図25参照))は、タッチパネルによる縮小表示指示(例えば、ピンチイン操作)、マウスによる縮小表示指示、及び/又はキーボードによる縮小表示指示等に従って制御部106によって縮小表示されるようにしてもよいし、タッチパネルによる拡大表示指示(例えば、ピンチアウト操作)、マウスによる拡大表示指示、及び/又はキーボードによる拡大表示指示等に従って制御部106によって拡大表示されるようにしてもよい。
また、一例として図24Aに示すように、4つの部分画像のうちの1つに対して設定部108によって注視点パスPIが設定されるようにしてもよい。図24Aに示す例では、仮想視点指定用画面53Bの正面視左上に表示されている部分画像上に注視点パスPI1が設定部108によって設定される。設定部108によって設定された注視点パスPI1は、制御部106によって、一例として図24Bに示すように、参照用映像表示領域55に表示される。
仮想視点指定用画面53Bの正面視左上に表示されている部分画像上に設定された注視点パスPI1は、他の部分画像上に設定されている仮想視点パスP5、P6及びP7に対しても適用される。すなわち、仮想視点パスP4、P5、P6及びP7の視線方向は、仮想視点パスP4、P5、P6及びP7に含まれる各仮想視点位置と正面視左上に表示されている部分画像上に設定された注視点パスPI1とに応じて定められる。
また、一例として図25に示すように、設定部108は、与えられた指示に応じて、基準画像内に注視点パスPI1、PI2、PI3及びPI4を配置するようにしてもよい。ここで、基準画像とは、4つの部分画像を指す。図25に示す例では、仮想視点パスP4に対しては注視点パスPI1が適用され、仮想視点パスP5に対しては注視点パスPI2が適用され、仮想視点パスP6に対しては注視点パスPI3が適用され、仮想視点パスP7に対しては注視点パスPI4が適用される。
図25に示す例では、基準画像の一例として4つの部分画像が示されているが、これはあくまでも一例に過ぎず、上記実施形態と同様に、基準画像として俯瞰映像46Aを適用してもよいし、俯瞰映像46Aと部分画像とを併用してもよい。このように、与えられた指示に応じて、基準画像内に複数の注視点パスが配置されるので、1つの注視点パスのみが配置される場合に比べ、使用者は、視線方向を定める選択肢を増やすことができる。
また、CPU58は、与えられた指示に応じて、同一の再生位置に対応する複数のサムネイル画像から1つのサムネイル画像を選択し、選択した1つのサムネイル画像に対応する注視点を基準注視点とし、非選択の他のサムネイル画像として、非選択の他のサムネイル画像に対応する仮想視点パスPから基準注視点を注視した場合の態様を示す仮想視点画像に基づくサムネイル画像を生成するようにしてもよい。以下、図25に示す例を用いて具体的に説明する。
一例として図25に示すように、仮想視点指定用画面53Bで仮想視点パスP4、P5、P6及びP7が設定部108によって設定され、かつ、注視点指定用画面53Cで注視点パスPI1、PI2、PI3及びPI4が設定部108によって決定されると、制御部106は、仮想視点パスP4、P5、P6及びP7を参照用映像表示領域55に表示し、仮想視点パスP4、P5、P6及びP7の各々に対してサムネイル画像を対応付けて参照用映像表示領域55に表示する。注視点パスPI1、PI2、PI3及びPI4は、参照用映像表示領域55に表示されてもよいし、表示されなくてもよい。
仮想視点パスP4に対応して表示されるサムネイル画像、仮想視点パスP5に対応して表示されるサムネイル画像、仮想視点パスP6に対応して表示されるサムネイル画像、及び仮想視点パスP7に対応して表示されるサムネイル画像は、互いに同一の再生位置に対応するサムネイル画像である。これらのサムネイル画像のうちの何れか1つが、受付デバイス52によって受け付けられた指示に従って選択されると、選択されたサムネイル画像に対応する注視点パスが基準注視点パスとして設定部108によって設定される。例えば、仮想視点パスP4に対応して表示されるサムネイル画像が選択されると、注視点パスPI1が基準注視点パスとして設定部108によって設定される。この場合、仮想視点パスP4のみならず、仮想視点パスP5、P6及びP7から注視点パスPI1を注視した場合の態様を示す仮想視点画像に基づくサムネイル画像が実行部104によって生成され、制御部106によって、仮想視点パスP5、P6及びP7に対応付けて表示される。
従って、本構成によれば、仮想視点パスP4、P5、P6及びP7の各々について、使用者が意図する注視点パスを用いて仮想視点画像に基づくサムネイル画像を生成することができる。
なお、ここでは、仮想視点パスP4のみならず、仮想視点パスP5、P6及びP7から注視点パスPI1を注視した場合の態様を示す仮想視点画像に基づくサムネイル画像が実行部104によって生成される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、仮想視点パスP4の他に、仮想視点パスP5、P6及びP7のうちの何れか1つ又は2つから注視点パスPI1を注視した場合の態様を示す仮想視点画像に基づくサムネイル画像が実行部104によって生成されるようにしてもよい。また、仮想視点パスP4に代えて、仮想視点パスP5、P6及びP7のうちの何れか1つ又は2つから注視点パスPI1を注視した場合の態様を示す仮想視点画像に基づくサムネイル画像が実行部104によって生成されるようにしてもよい。
制御部106は、仮想視点パスP4、P5、P6及びP7の各々において、基準注視点パス(例えば、注視点パスPI1)を注視した仮想視点画像を生成することができない仮想視点を含む区間(以下、「仮想視点画像生成不可区間」とも称する)の表示態様を変更するようにしてもよい。
例えば、図26に示す例では、仮想視点パスP5において、基準注視点パスを注視した仮想視点画像を生成することができる区間(以下、「仮想視点画像生成可能区間」とも称する)は実線で表現されており、仮想視点画像生成不可区間は、破線で表現されている。仮想視点画像生成不可区間の表示態様は、これに限らず、仮想視点パスP5のうちの仮想視点画像生成不可区間を透明(非表示)にしてもよいし、点滅させてもよく、仮想視点画像生成可能区間と区別可能な表示態様であればよい。
仮想視点画像生成可能区間には、サムネイル画像48P5が対応付けて表示されている。サムネイル画像48P5は、仮想視点パスP5について、指示された再生位置に対応する視点情報に基づいて生成された仮想視点画像が縮小化された画像である。仮想視点画像生成不可区間では、サムネイル画像48P5が生成されないので、サムネイル画像48P5が収まる枠のみが表示される。なお、実行部104によってサムネイル画像生成処理が実行されることで得られたサムネイル画像(図26に示す例では、サムネイル画像48P5)及び仮想視点パス(図26に示す例では、仮想視点パスP5)は、制御部106によって、ディスプレイ53(図26に示す例では、ディスプレイ53内の参照用映像表示領域55)に表示される。
このように、仮想視点パスP4、P5、P6及びP7の各々において、仮想視点画像生成不可区間の表示態様が変更されるようにすることで、仮想視点画像生成可能区間と仮想視点画像生成不可区間とを視覚的に把握することが可能となる。
なお、上記実施形態では、配信用映像の生成を例示したが、本開示の技術はこれに限定されず、配信用映像以外の映像の生成にも適用可能である。例えば、本開示の技術は、配信せず個人で楽しむための映像の生成等にも用いることができる。また、本開示の技術は、複数の仮想視点映像を組み合わせる編集作業以外にも用いることができる。例えば、本開示の技術は、複数の仮想視点パスを設定して複数の仮想視点画像を確認するのみの用途にも用いることができる。換言すれば、本開示の技術は、仮想視点画像の確認、仮想視点パスの設定、及び/又は編集等のどのような用途にも用いることができる。
また、上記実施形態では、サッカー競技場22を例示したが、これはあくまでも一例に過ぎず、野球場、ラグビー場、カーリング場、陸上競技場、競泳場、コンサートホール、野外音楽場、及び演劇会場等のように、複数の物理カメラが設置可能であれば、如何なる場所であってもよい。
また、上記実施形態では、コンピュータ50を例示したが、本開示の技術はこれに限定されない。例えば、コンピュータ50に代えて、ASIC、FPGA、及び/又はPLDを含むデバイスを適用してもよい。また、コンピュータ50に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
また、上記実施形態では、情報処理が情報処理装置12のCPU58によって実行される形態例を挙げて説明したが、本開示の技術はこれに限定されない。CPU58に代えて、GPUを採用してもよいし、複数のCPUを採用してもよい。また、1つのプロセッサ、又は、物理的に離れている複数のプロセッサによって各種処理が実行されるようにしてもよい。
また、上記実施形態では、ストレージ60に編集用プログラム60Aが記憶されているが、本開示の技術はこれに限定されず、一例として図27に示すように、任意の可搬型の記憶媒体200に編集用プログラム60Aが記憶されていてもよい。記憶媒体200は、非一時的記憶媒体である。記憶媒体200としては、例えば、SSD又はUSBメモリ等が挙げられる。記憶媒体200に記憶されている編集用プログラム60Aはコンピュータ50にインストールされ、CPU58は、編集用プログラム60Aに従って、情報処理を実行する。
また、通信網(図示省略)を介してコンピュータ50に接続される他のコンピュータ又はサーバ装置等のプログラムメモリに編集用プログラム60Aを記憶させておき、情報処理装置12の要求に応じて編集用プログラム60Aが情報処理装置12にダウンロードされるようにしてもよい。この場合、ダウンロードされた編集用プログラム60Aに基づく情報処理がコンピュータ50のCPU58によって実行される。
情報処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムに従って情報処理を実行するハードウェア資源として機能する汎用的なプロセッサであるCPUが挙げられる。
また、他のプロセッサとしては、例えば、FPGA、PLD、又はASICなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで情報処理を実行する。
情報処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、又はCPUとFPGAとの組み合わせ)で構成されてもよい。また、情報処理を実行するハードウェア資源は1つのプロセッサであってもよい。
1つのプロセッサで構成する例としては、第1に、クライアント及びサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが、情報処理を実行するハードウェア資源として機能する形態がある。第2に、SoCなどに代表されるように、情報処理を実行する複数のハードウェア資源を含むシステム全体の機能を1つのICチップで実現するプロセッサを使用する形態がある。このように、情報処理は、ハードウェア資源として、上記各種のプロセッサの1つ以上を用いて実現される。
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。
また、上述した情報処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
本明細書において、「A及び/又はB」は、「A及びBのうちの少なくとも1つ」と同義である。つまり、「A及び/又はB」は、Aだけであってもよいし、Bだけであってもよいし、A及びBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「及び/又は」で結び付けて表現する場合も、「A及び/又はB」と同様の考え方が適用される。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
Claims (17)
- 複数の撮像装置より撮像領域が撮像されることで得られた動画を用い、仮想視点に基づく仮想視点映像を生成する情報処理装置であって、
プロセッサと、
前記プロセッサに接続又は内蔵されたメモリと、を備え、
前記プロセッサは、
前記撮像領域に対応する基準画像と、
前記基準画像内に配置され、前記仮想視点の移動の軌跡を表す複数の仮想視点パスと、
前記仮想視点映像の再生位置を示すインジケータと、
前記仮想視点映像を構成する複数の仮想視点画像のうち、前記仮想視点パスの前記再生位置に対応する前記仮想視点から見た場合の仮想視点画像に基づく参照用画像と、
をディスプレイに表示し、
前記参照用画像は、前記基準画像内に前記仮想視点パスに沿って表示され、
前記プロセッサは、
与えられた指示に応じて、前記インジケータにより示される前記再生位置を変更し、
前記仮想視点パスに沿って表示される前記参照用画像を、前記再生位置の変更に応じて更新し、
変更後の前記再生位置に対応する前記参照用画像を、変更前の前記再生位置に対応する前記参照用画像と異なる位置に表示する
情報処理装置。 - 前記プロセッサは、前記基準画像内において、前記複数の仮想視点パスのうちの少なくとも1つを、指示された位置に配置する請求項1に記載の情報処理装置。
- 前記プロセッサは、前記参照用画像を、1つの前記仮想視点パスに対して1つのみ表示させる請求項1又は請求項2に記載の情報処理装置。
- 前記プロセッサは、前記基準画像上で前記参照用画像を移動させる操作に応じて前記再生位置を変更する請求項1から請求項3の何れか一項に記載の情報処理装置。
- 前記プロセッサは、隣り合う2つの前記仮想視点パスに対する2つの前記参照用画像を、前記2つの仮想視点パスの相対位置に応じて表示する請求項1から請求項4の何れか一項に記載の情報処理装置。
- 前記プロセッサは、与えられた指示に応じて、前記仮想視点パスの位置、長さ、及び形状のうちの少なくとも1つを変更する請求項1から請求項5の何れか一項に記載の情報処理装置。
- 前記プロセッサは、前記インジケータ及び前記仮想視点パスのうちの少なくとも一方を、前記再生位置の前後で異なる態様にして表示させる請求項1から請求項6の何れか一項に記載の情報処理装置。
- 前記プロセッサは、与えられた指示に応じて、前記仮想視点パスに含まれる前記仮想視点が注視する注視点を表す注視点情報を生成する請求項1から請求項7の何れか一項に記載の情報処理装置。
- 前記注視点情報は、前記注視点の移動の軌跡を表す注視点パスであり、
前記プロセッサは、与えられた指示に応じて、前記基準画像内に複数の前記注視点パスを配置する請求項8に記載の情報処理装置。 - 前記プロセッサは、
与えられた指示に応じて、同一の前記再生位置に対応する複数の前記参照用画像から1つの前記参照用画像を選択し、
選択した1つの前記参照用画像に対応する前記注視点を基準注視点とし、
非選択の他の前記参照用画像として、前記非選択の他の前記参照用画像に対応する前記仮想視点パスから前記基準注視点を注視した場合の態様を示す仮想視点画像に基づく画像を生成する請求項8又は請求項9に記載の情報処理装置。 - 前記プロセッサは、前記仮想視点パスにおいて、前記基準注視点を注視した仮想視点画像を生成することができない前記仮想視点を含む区間の表示態様を変更する請求項10に記載の情報処理装置。
- 前記プロセッサは、前記複数の仮想視点パスと前記参照用画像とを、1つの前記基準画像内に表示させる請求項1から請求項11の何れか一項に記載の情報処理装置。
- 前記プロセッサは、前記撮像領域のうちの少なくとも一部を表す複数の前記基準画像に、前記仮想視点パス及び前記参照用画像を表示させる請求項1から請求項11の何れか一項に記載の情報処理装置。
- 前記プロセッサは、前記複数の仮想視点パスについて、前記仮想視点パスに沿って、前記仮想視点に対応する前記参照用画像を表示させる請求項1に記載の情報処理装置。
- 前記プロセッサは、
与えられた指示に応じて、前記複数の仮想視点パスから一部を切り取って結合する選択結合処理を行い、
前記選択結合処理によって結合されることで得られたパスに基づき前記仮想視点映像を生成する請求項1から請求項14の何れか一項に記載の情報処理装置。 - 複数の撮像装置より撮像領域が撮像されることで得られた動画を用い、仮想視点に基づく仮想視点映像を生成する情報処理方法であって、
前記撮像領域に対応する基準画像と、
前記基準画像内に配置され、前記仮想視点の移動の軌跡を表す複数の仮想視点パスと、
前記仮想視点映像の再生位置を示すインジケータと、
前記仮想視点映像を構成する複数の仮想視点画像のうち、前記仮想視点パスの前記再生位置に対応する前記仮想視点から見た場合の仮想視点画像に基づく参照用画像と、
をディスプレイに表示することを含み、
前記参照用画像は、前記基準画像内に前記仮想視点パスに沿って表示され、
与えられた指示に応じて、前記インジケータにより示される前記再生位置を変更すること、
前記仮想視点パスに沿って表示される前記参照用画像を、前記再生位置の変更に応じて更新すること、及び、
変更後の前記再生位置に対応する前記参照用画像を、変更前の前記再生位置に対応する前記参照用画像と異なる位置に表示することを含む
情報処理方法。 - 複数の撮像装置より撮像領域が撮像されることで得られた動画を用い、仮想視点に基づく仮想視点映像を生成する情報処理をコンピュータに実行させるためのプログラムであって、
前記情報処理は、
前記撮像領域を表す基準画像と、
前記基準画像内に配置され、前記仮想視点の移動の軌跡を表す複数の仮想視点パスと、
前記仮想視点映像の再生位置を示すインジケータと、
前記仮想視点映像を構成する複数の仮想視点画像のうち、前記仮想視点パスの前記再生位置に対応する前記仮想視点から見た場合の仮想視点画像に基づく参照用画像と、
をディスプレイに表示することを含み、
前記参照用画像は、前記基準画像内に前記仮想視点パスに沿って表示され、
前記情報処理は、
与えられた指示に応じて、前記インジケータにより示される前記再生位置を変更すること、
前記仮想視点パスに沿って表示される前記参照用画像を、前記再生位置の変更に応じて更新すること、及び、
変更後の前記再生位置に対応する前記参照用画像を、変更前の前記再生位置に対応する前記参照用画像と異なる位置に表示することを含む
プログラム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020080785 | 2020-04-30 | ||
JP2020080785 | 2020-04-30 | ||
PCT/JP2021/016072 WO2021220894A1 (ja) | 2020-04-30 | 2021-04-20 | 情報処理装置、情報処理方法、及びプログラム |
JP2022517664A JP7367198B2 (ja) | 2020-04-30 | 2021-04-20 | 情報処理装置、情報処理方法、及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022517664A Division JP7367198B2 (ja) | 2020-04-30 | 2021-04-20 | 情報処理装置、情報処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023182765A true JP2023182765A (ja) | 2023-12-26 |
Family
ID=78373568
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022517664A Active JP7367198B2 (ja) | 2020-04-30 | 2021-04-20 | 情報処理装置、情報処理方法、及びプログラム |
JP2023176295A Pending JP2023182765A (ja) | 2020-04-30 | 2023-10-11 | 情報処理装置、情報処理方法、及びプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022517664A Active JP7367198B2 (ja) | 2020-04-30 | 2021-04-20 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230074282A1 (ja) |
JP (2) | JP7367198B2 (ja) |
WO (1) | WO2021220894A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11849098B2 (en) * | 2022-05-16 | 2023-12-19 | Eyegaze Inc. | Gaze-operated point designation on a 3D object or scene |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3499897B1 (en) * | 2016-08-10 | 2021-05-19 | Panasonic Intellectual Property Corporation of America | Camerawork generating method and video processing device |
JP6742869B2 (ja) * | 2016-09-15 | 2020-08-19 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
WO2018123801A1 (ja) * | 2016-12-28 | 2018-07-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置 |
JP2018174376A (ja) * | 2017-03-31 | 2018-11-08 | Kddi株式会社 | 映像配信システム、端末装置及び映像データ配信装置 |
JP6980496B2 (ja) * | 2017-11-21 | 2021-12-15 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US10902676B2 (en) * | 2018-03-13 | 2021-01-26 | Canon Kabushiki Kaisha | System and method of controlling a virtual camera |
-
2021
- 2021-04-20 WO PCT/JP2021/016072 patent/WO2021220894A1/ja active Application Filing
- 2021-04-20 JP JP2022517664A patent/JP7367198B2/ja active Active
-
2022
- 2022-10-26 US US18/050,040 patent/US20230074282A1/en active Pending
-
2023
- 2023-10-11 JP JP2023176295A patent/JP2023182765A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JPWO2021220894A1 (ja) | 2021-11-04 |
WO2021220894A1 (ja) | 2021-11-04 |
US20230074282A1 (en) | 2023-03-09 |
JP7367198B2 (ja) | 2023-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7020522B2 (ja) | 情報処理装置、情報処理方法、コンピュータ読み取り可能な媒体、撮像システム、および飛行体 | |
JP7348895B2 (ja) | 仮想カメラを制御するシステム及び方法 | |
JP7301507B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2023182765A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2018142164A (ja) | 画像処理装置、画像生成方法及びプログラム | |
US11265525B2 (en) | Image information processing method, apparatus, and program utilizing a position sequence | |
US20210044793A1 (en) | Generation method for generating free viewpoint image, display method for displaying free viewpoint image, free viewpoint image generation device, and display device | |
US20140193140A1 (en) | System and method for slow motion display, analysis and/or editing of audiovisual content on a mobile device | |
JP2013183249A (ja) | 動画提示装置 | |
US20160012851A1 (en) | Image processing device, image processing method, and program | |
JP6628343B2 (ja) | 装置および関連する方法 | |
US10732706B2 (en) | Provision of virtual reality content | |
JP2021177351A (ja) | 画像表示装置、制御方法、およびプログラム | |
US9009616B2 (en) | Method and system for configuring a sequence of positions of a camera | |
US20160344946A1 (en) | Screen System | |
JP7389140B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP6659184B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2023163182A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
KR101599302B1 (ko) | 공간 모델과 결합된 시계열적 영상의 역추적 기능이 구현된 관제 시스템 | |
JP2020102687A (ja) | 情報処理装置、画像処理装置、画像処理方法、及びプログラム | |
JP7406528B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2022012900A (ja) | 情報処理装置、表示方法、及び、プログラム | |
EP3503101A1 (en) | Object based user interface | |
WO2021131991A1 (ja) | 映像生成装置、映像生成方法および映像生成プログラム | |
EP4300428A1 (en) | Image processing device, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240422 |