JP7322191B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本開示の技術は、情報処理装置、情報処理方法、及びプログラムに関する。

特開２０１８－１８２５６６号公報には、視点選択支援装置が開示されている。特開２０１８－１８２５６６号公報に記載の視点選択支援装置では、クライアント端末は、複数台のカメラを用いて空間の３次元の情報を取得し、３次元の情報をもとに任意の視点からの映像を生成する自由視点映像の視点選択支援を行う場合、所定の期間のボールの軌跡を特定し、所定の期間において所定の時間以上ボールの位置から所定の距離以内にいる一人以上の選手を特定し、ボールの軌跡と一人以上の選手の軌跡を包含する範囲を映像出力の範囲に設定する。

特開２０１９－１６０３１８号公報には、仮想視点画像の生成に係る仮想視点を設定する情報処理装置が開示されている。特開２０１９－１６０３１８号公報に記載の情報処理装置は、仮想視点の位置及び向きの少なくとも何れかを示す仮想視点パラメータを複数有する視点情報であって、前記複数の撮影装置による撮影期間に含まれる複数の時点に対応する複数の仮想視点パラメータを有する前記視点情報を取得する取得手段と、前記取得手段により取得された前記視点情報が有する前記複数の仮想視点パラメータから、前記撮影領域における所定のイベントに応じて特定される１以上の仮想視点パラメータを抽出する抽出手段と、前記抽出手段により抽出された仮想視点パラメータの変更に係るユーザ操作に応じた入力を受け付ける受付手段と、前記受付手段により受け付けられた入力に応じて変更された仮想視点パラメータに基づいて、前記仮想視点画像の生成に係る仮想視点を設定する設定手段とを有する。

特開２０１９－１１４１４７号公報には、情報処理装置が開示されている。特開２０１９－１１４１４７号公報に記載の情報処理装置は、複数の撮影装置により撮影された複数の画像を用いて生成される仮想視点画像に係る視点の位置を決定する情報処理装置であって、前記複数の撮影装置の撮影対象に基づく所定の範囲内の位置を示す位置情報を取得する第１取得手段と、前記第１取得手段により取得された位置情報に基づいて、前記第１取得手段により取得された位置情報が示す位置とは異なる位置を視点として前記撮影対象を写すための仮想視点画像に係る視点の位置を決定する決定手段と、を有することを特徴とする。

特開２０１９－２０８４５号公報には、画像処理装置が開示されている。特開２０１９－２０８４５号公報に記載の画像処理装置では、複数のカメラから出力される複数の画像のうちの複数の画像から、仮想視点画像を生成する生成手段と、前記複数のカメラから出力される複数の画像それぞれの品質値を取得する取得手段と、前記仮想視点画像の生成に用いる前記複数の画像の品質値から、前記仮想視点画像の品質値を算出する算出手段と、前記仮想視点画像の品質値を、対応する仮想視点画像の生成に使用した複数の画像を撮影した複数のカメラに関連づけて出力する出力手段とを有する。

特開２０１９－８３４０２号公報には、画像処理装置が開示されている。特開２０１９－８３４０２号公報に記載の画像処理装置は、異なる位置に配置された複数の撮影装置がオブジェクトを撮影した画像から生成されたオブジェクト三次元モデルを取得するモデル取得手段と、仮想視点の指定を受け付ける受け付け手段と、複数の撮影装置により撮影される複数のオブジェクトの位置関係と、撮影装置の位置及び向きと、受け付け手段により受け付けられた指定に応じた仮想視点の位置とに基づいて選択される撮影装置による撮影に基づく画像を、仮想視点画像の生成に用いる画像として取得するデータ取得手段と、モデル取得手段により取得したオブジェクト三次元モデルとデータ取得手段により取得した画像とに基づいて、仮想視点画像を生成する画像生成手段と、を備える。

特開２０１４－２２５８４３号公報には、画像処理装置が開示されている。特開２０１４－２２５８４３号公報に記載の画像処理装置は、異なる画角で取得された複数の画像データと、ユーザが所望する仮想画角とを取得する。そして、仮想画角と複数の画像データのそれぞれの画角とに応じて重みを決定する。決定した重みと複数の画像データとを用いて仮想画角に対応する仮想画角画像データを生成する。

本開示の技術に係る一つの実施形態は、仮想視点の視線方向を決定することができる情報処理装置、情報処理方法、及びプログラムを提供する。

本開示の技術に係る第１の態様は、プロセッサと、プロセッサに接続又は内蔵されたメモリと、を備え、プロセッサは、撮像対象領域を視点の異なる複数の撮像装置で撮像することにより得られた複数の画像を用い、１以上の評価項目に基づいて複数の視線方向から撮像対象領域の評価を行い、評価結果に基づいて、仮想視点映像の生成に用いられる仮想視点の視線方向を決定する情報処理装置である。

本開示の技術に係る第２の態様は、プロセッサが、撮像対象領域の評価値を数値として算出することにより得られた評価結果に基づいて、視線方向を決定する第１の態様に係る情報処理装置である。

本開示の技術に係る第３の態様は、プロセッサが、評価項目ごとに点数が設定された点数表であって、点数は評価項目に該当する要因が存在する場合に付与される点数表を用い、撮像対象領域について点数の合計点が最も高い視線方向を、仮想視点の視線方向として決定する第２の態様に係る情報処理装置である。

本開示の技術に係る第４の態様は、プロセッサが、複数の画像のそれぞれについて算出される合計点の視線方向に関する変化に基づき、合計点が最も高い視線方向を推定することにより、仮想視点の視線方向を決定する第３の態様に係る情報処理装置である。

本開示の技術に係る第５の態様は、プロセッサが、仮想視点の視線方向を決定した後、仮想視点の視線方向を基準として、撮像対象領域内における点数の分布に基づいて仮想視点の位置及び画角を決定する第４の態様に係る情報処理装置である。

本開示の技術に係る第６の態様は、プロセッサが、撮像対象領域内において点数の密度が最も高い領域を基準として仮想視点の位置及び画角を決定する第５の態様に係る情報処理装置である。

本開示の技術に係る第７の態様は、プロセッサが、複数の撮像装置の視点のいずれかと仮想視点とが一致している場合に点数を下げる第５の態様又は第６の態様に係る情報処理装置である。

本開示の技術に係る第８の態様は、プロセッサが、評価項目及び点数のうちの少なくともいずれか一方が異なる複数の点数表を切り替え、切り替えた点数表を用いて仮想視点の視線方向を決定する第３の態様から第７の態様のうちいずれか１つの態様に係る情報処理装置である。

本開示の技術に係る第９の態様は、プロセッサが、点数表を撮像対象領域のシーンに応じて切り替える第８の態様に係る情報処理装置である。

本開示の技術に係る第１０の態様は、プロセッサが、
点数表を切り替えた後、既定時間が経過したことを条件に点数表を切り替える第８の態様又は第９の態様に係る情報処理装置である。

本開示の技術に係る第１１の態様は、評価項目には、撮像対象領域に含まれるオブジェクトの種類が含まれる第１の態様から第１０の態様のうちいずれか１つの態様に係る情報処理装置である。

本開示の技術に係る第１２の態様は、評価項目には、マイクロフォンにより集音される音情報の種類が含まれる第１１の態様に係る情報処理装置である。

本開示の技術に係る第１３の態様は、プロセッサが、過去に決定した仮想視点の履歴情報を参照して、視線方向、位置、及び画角を決定する第５の態様又は第６の態様に係る情報処理装置である。

本開示の技術に係る第１４の態様は、プロセッサが、周期的に仮想視点の視線方向、位置、及び画角を決定する第５の態様又は第６の態様に係る情報処理装置である。

本開示の技術に係る第１５の態様は、プロセッサが、仮想視点の視線方向、位置、及び画角のそれぞれの時間的な変化率を既定値以下とする制限下で、仮想視点の視線方向、位置、及び画角を決定する第１４の態様に係る情報処理装置である。

本開示の技術に係る第１６の態様は、既定値が、仮想視点から撮像対象までの距離に応じて決定される第１５の態様に係る情報処理装置である。

本開示の技術に係る第１７の態様は、プロセッサが、決定した仮想視点の視線方向を含む仮想視点情報に基づいて、仮想視点映像を生成する第１の態様から第１６の態様のうちいずれか１つの態様に係る情報処理装置である。

本開示の技術に係る第１８の態様は、撮像対象領域を視点の異なる複数の撮像装置で撮像することにより得られた複数の画像を用い、１以上の評価項目に基づいて複数の視線方向から撮像対象領域の評価を行うこと、及び評価結果に基づいて、仮想視点映像の生成に用いられる仮想視点の視線方向を決定することを含む情報処理方法である。

本開示の技術に係る第１９の態様は、撮像対象領域を視点の異なる複数の撮像装置で撮像することにより得られた複数の画像を用い、１以上の評価項目に基づいて複数の視線方向から撮像対象領域の評価を行うこと、及び評価結果に基づいて、仮想視点映像の生成に用いられる仮想視点の視線方向を決定することを含む処理をコンピュータに実行させるためのプログラムである。

情報処理システムの外観構成の一例を示す概略斜視図である。 情報処理システムに含まれる情報処理装置、スマートデバイス、受像機、無人航空機、及び撮像装置の関係の一例を示す概念図である。 情報処理装置の電気系のハードウェア構成の一例、及び情報処理装置と周辺機器との関係性の一例を示すブロック図である。 スマートデバイスの電気系のハードウェア構成の一例を示すブロック図である。 情報処理装置の要部機能の一例を示すブロック図である。 シーン判定処理の処理内容の一例の説明に用いる概念図である。 点数表選択処理の処理内容の一例の説明に用いる概念図である。 点数表の一例の説明に用いる概念図である。 撮像装置の配置の一例の説明に用いる概念図である。 視線方向決定処理の処理内容の一例の説明に用いる概念図である。 合計点算出処理の処理内容の一例の説明に用いる概念図である。 位置及び画角決定処理の処理内容の一例の説明に用いる概念図である。 位置及び画角決定処理の処理内容の一例の説明に用いる概念図である。 配信用映像生成処理の処理内容の一例の説明に用いる概念図である。 動画編集用画面の一例を示す概念図である。 点数表編集画面の一例を示す概念図である。 全体処理の流れの一例を示すフローチャートである。 視線方向決定処理の流れの一例を示すフローチャートである。 位置及び画角決定処理の流れの一例を示すフローチャートである。 全体処理の変形例を示すフローチャートである。 マイクロフォンの配置の一例の説明に用いる概念図である。 過去に決定した仮想視点の履歴情報を参照して仮想視点を決定する処理の一例の説明に用いる概念図である。 仮想視点の時間的な変化に基づいて仮想視点を決定する処理の一例の説明に用いる概念図である。 既定値を仮想視点から撮像対象までの距離に応じて決定する例の説明に用いる概念図である。 記憶媒体から情報処理装置のコンピュータにプログラムがインストールされる態様の一例を示すブロック図である。

添付図面に従って本開示の技術に係る実施形態の一例について説明する。

先ず、以下の説明で使用される文言について説明する。

ＣＰＵとは、“Central Processing Unit”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＤＲＡＭとは、“Dynamic Random Access Memory”の略称を指す。ＳＲＡＭとは、“Static Random Access Memory”の略称を指す。ＲＯＭとは、“Read Only Memory”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable and Programmable Read Only Memory”の略称を指す。Ｉ／Ｆとは、“Interface”の略称を指す。ＩＣとは、“Integrated Circuit”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＬＡＮとは、“Local Area Network”の略称を指す。３Ｄとは、“3 Dimension”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。“ＨＭＤ”とは、“Head Mounted Display”の略称を指す。ＧＵＩとは、“Graphical User Interface”の略称を指す。ＬＴＥとは、“Long Term Evolution”の略称を指す。５Ｇとは、“5th generation (wireless technology for digital cellular networks)”の略称を指す。ＴＤＭとは“Time-Division Multiplexing”の略称を指す。また、本明細書の説明において、「一致」の意味には、完全な一致の意味の他に、設計上及び製造上において許容される誤差を含む略一致の意味も含まれる。

一例として図１に示すように、情報処理システム１０は、情報処理装置１２、スマートデバイス１４、複数の撮像装置１６、撮像装置１８、無線通信基地局（以下、単に「基地局」と称する）２０、及び受像機３４を備えている。なお、ここで、「スマートデバイス１４」とは、例えば、スマートフォン、タブレット端末、スマートウォッチ（時計型多機能端末）、およびＨＭＤ型多機能端末等の携帯型の多機能端末を指す。なお、ここでは、受像機３４を例示しているが、本開示の技術はこれに限定されず、ディスプレイ付きの電子機器（例えば、スマートデバイス）であってもよい。また、基地局２０は１ヵ所に限らず複数存在していてもよい。さらに、基地局で使用する通信規格には、５Ｇ規格、ＬＴＥ規格等を含む無線通信規格と、ＷｉＦｉ（８０２．１１）規格及び／又はＢｌｕｅｔｏｏｔｈ（登録商標）規格を含む無線通信規格と、ＴＤＭ規格及び／又はイーサネット（登録商標）規格を含む有線通信規格が含まれる。

撮像装置１６及び１８は、ＣＭＯＳイメージセンサを有する撮像用のデバイスであり、光学式ズーム機能及び／又はデジタルズーム機能が搭載されている。なお、ＣＭＯＳイメージセンサに代えてＣＣＤイメージセンサ等の他種類のイメージセンサを採用してもよい。

複数の撮像装置１６は、サッカー競技場２２内に設置されている。複数の撮像装置１６の各々は、サッカーフィールド２４を取り囲むように配置されており、サッカーフィールド２４を含む領域を撮像対象領域として撮像する。ここでは、複数の撮像装置１６の各々がサッカーフィールド２４を取り囲むように配置されている形態例を挙げているが、本開示の技術はこれに限定されず、複数の撮像装置１６の配置は、視聴者２８等によって生成されることが要求された仮想視点映像に応じて決定される。サッカーフィールド２４の全部を取り囲むように複数の撮像装置１６を配置してもよいし、特定の一部を取り囲むように複数の撮像装置１６を配置してもよい。撮像装置１８は、無人航空機（例えば、マルチ回転翼型無人航空機）に設置されており、サッカーフィールド２４を含む領域を撮像対象領域として上空から俯瞰した状態で撮像する。サッカーフィールド２４を含む領域を上空から俯瞰した状態の撮像対象領域とは、サッカーフィールド２４に対する撮像装置１８による撮像面を指す。

情報処理装置１２は、管制室３２に設置されている。詳しくは後述するが、情報処理装置１２は、コンピュータ５０と、ディスプレイ５３と、受付デバイス５２とを有しており、ディスプレイ５３には動画編集用画面５３Ａが表示される。複数の撮像装置１６及び情報処理装置１２は、ＬＡＮケーブル３０を介して接続されており、情報処理装置１２は、複数の撮像装置１６を制御し、かつ、複数の撮像装置１６の各々によって撮像されることで得られた画像を取得する。なお、ここでは、ＬＡＮケーブル３０による有線通信方式を用いた接続を例示しているが、これに限らず、無線通信方式を用いた接続であってもよい。

サッカー競技場２２には、サッカーフィールド２４を取り囲むように観戦席２６が設けられており、観戦席２６には視聴者２８が着座している。視聴者２８は、スマートデバイス１４を所持しており、スマートデバイス１４は、視聴者２８によって用いられる。なお、ここでは、サッカー競技場２２内に視聴者２８が存在している形態例を挙げて説明しているが、本開示の技術はこれに限定されず、視聴者２８は、サッカー競技場２２外に存在していてもよい。

基地局２０は、情報処理装置１２及び無人航空機２７と電波を介して各種情報の送受信を行う。すなわち、情報処理装置１２は、基地局２０を介して、無人航空機２７と無線通信可能に接続されている。情報処理装置１２は、基地局２０を介して無人航空機２７と無線通信を行うことにより、無人航空機２７を制御したり、撮像装置１８によって撮像されることで得られた画像を無人航空機２７から取得したりする。

基地局２０は、受像機３４に対して無線通信を介して各種情報を送信する。情報処理装置１２は、基地局２０を介して、各種映像を受像機３４に送信し、受像機３４は、情報処理装置１２から送信された各種映像を受信し、受信した各種映像を画面３４Ａに表示する。なお、受像機３４は、例えば、不特定多数の観戦者等の視聴に使用される。受像機３４の設置個所は、サッカー競技場２２内であってもよいし、サッカー競技場２２外（例えば、パブリックビューイング会場）等であってもよい。なお、ここでは、情報処理装置１２が受像機３４に対して無線通信を介して各種情報を送信する形態例を挙げているが、本開示の技術はこれに限定されず、例えば、情報処理装置１２が受像機３４に対して有線通信を介して各種情報を送信する形態であってもよい。

情報処理装置１２はサーバに相当するデバイスであり、スマートデバイス１４は、情報処理装置１２に対するクライアント端末に相当するデバイスである。情報処理装置１２及びスマートデバイス１４が、基地局２０を介して互いに無線通信を行うことにより、スマートデバイス１４は、情報処理装置１２に対して各種サービスの提供を要求し、情報処理装置１２は、スマートデバイス１４からの要求に応じたサービスをスマートデバイス１４に提供する。

一例として図２に示すように、情報処理装置１２は、上空から観察した場合のサッカーフィールド２４を含む領域を示す俯瞰映像４６Ａを無人航空機２７から取得する。俯瞰映像４６Ａは、サッカーフィールド２４を含む領域が撮像対象領域として上空から俯瞰した状態で無人航空機２７の撮像装置１８によって撮像されることで得られた動画像である。

情報処理装置１２は、複数の撮像装置１６の各々の位置から観察した場合の撮像対象領域を示す撮像映像４６Ｂを複数の撮像装置１６の各々から取得する。撮像映像４６Ｂは、撮像対象領域が複数の撮像装置１６の各々によって撮像されることで得られた動画像である。なお、撮像装置１６で撮像することにより得られた撮像映像４６Ｂは、本開示の技術に係る「画像」の一例である。

使用者は、ディスプレイ５３にＧＵＩ表示される動画編集用画面５３Ａに基づいて受付デバイス５２を操作することにより、配信用映像を生成することができる。

一例として図３に示すように、情報処理装置１２は、コンピュータ５０、受付デバイス５２、ディスプレイ５３、第１通信Ｉ／Ｆ５４、及び第２通信Ｉ／Ｆ５６を備えている。コンピュータ５０は、ＣＰＵ５８、ストレージ６０、及びメモリ６２を備えており、ＣＰＵ５８、ストレージ６０、及びメモリ６２は、バス６４を介して接続されている。図３に示す例では、図示の都合上、バス６４として１本のバスが図示されているが、複数のバスであってもよい。また、バス６４には、シリアルバス、又は、データバス、アドレスバス、及びコントロールバス等で構成されるパラレルバスが含まれていてもよい。

ＣＰＵ５８は、情報処理装置１２の全体を制御する。ストレージ６０は、各種パラメータ及び各種プログラムを記憶している。ストレージ６０は、不揮発性の記憶装置である。ここでは、ストレージ６０の一例として、フラッシュメモリが採用されているが、これに限らず、ＥＥＰＲＯＭ、ＨＤＤ、又はＳＳＤ等であってもよい。メモリ６２は、記憶装置である。メモリ６２には、各種情報が一時的に記憶される。メモリ６２は、ＣＰＵ５８によってワークメモリとして用いられる。ここでは、メモリ６２の一例として、ＤＲＡＭが採用されているが、これに限らず、他の種類の記憶装置であってもよい。なお、ＣＰＵ５８は、本開示の技術に係る「プロセッサ」の一例である。また、ストレージ６０及びメモリ６２は、本開示の技術に係る「メモリ」の一例である。

受付デバイス５２は、情報処理装置１２の使用者等からの指示を受け付ける。受付デバイス５２の一例としては、キーボード、タッチパネル、及びマウス等が挙げられる。受付デバイス５２は、バス６４等に接続されており、受付デバイス５２によって受け付けられた指示は、ＣＰＵ５８によって取得される。

ディスプレイ５３は、バス６４に接続されており、ＣＰＵ５８の制御下で、各種情報を表示する。ディスプレイ５３の一例としては、液晶ディスプレイが挙げられる。なお、液晶ディプレイに限らず、有機ＥＬディスプレイ等の他の種類のディスプレイがディスプレイ５３として採用されてもよい。

第１通信Ｉ／Ｆ５４は、ＬＡＮケーブル３０に接続されている。第１通信Ｉ／Ｆ５４は、例えば、ＦＰＧＡを有するデバイスによって実現される。第１通信Ｉ／Ｆ５４は、バス６４に接続されており、ＣＰＵ５８と複数の撮像装置１６との間で各種情報の授受を司る。例えば、第１通信Ｉ／Ｆ５４は、ＣＰＵ５８の要求に従って複数の撮像装置１６を制御する。また、第１通信Ｉ／Ｆ５４は、複数の撮像装置１６の各々によって撮像されることで得られた撮像映像４６Ｂ（図２参照）をＣＰＵ５８に出力する。なお、ここでは、第１通信Ｉ／Ｆ５４は有線通信Ｉ／Ｆとして例示されているが、高速無線ＬＡＮ等の無線通信Ｉ／Ｆであってもよい。

第２通信Ｉ／Ｆ５６は、基地局２０に対して無線通信可能に接続されている。第２通信Ｉ／Ｆ５６は、例えば、ＦＰＧＡを有するデバイスによって実現される。第２通信Ｉ／Ｆ５６は、バス６４に接続されている。第２通信Ｉ／Ｆ５６は、基地局２０を介して、無線通信方式で、ＣＰＵ５８と無人航空機２７との間で各種情報の授受を司る。また、第２通信Ｉ／Ｆ５６は、基地局２０を介して、無線通信方式で、ＣＰＵ５８とスマートデバイス１４との間で各種情報の授受を司る。また、第２通信Ｉ／Ｆ５６は、基地局２０を介して、無線通信方式で、ＣＰＵ５８による受像機３４に対する各種映像の送信を司る。なお、第１通信Ｉ／Ｆ５４及び第２通信Ｉ／Ｆ５６の少なくとも一方は、ＦＰＧＡの代わりに固定回路で構成することも可能である。また、第１通信Ｉ／Ｆ５４及び第２通信Ｉ／Ｆ５６の少なくとも一方は、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤ等で構成された回路であってもよい。

一例として図４に示すように、スマートデバイス１４は、コンピュータ７０、受付デバイス７６、ディスプレイ７８、マイクロフォン８０、スピーカ８２、撮像装置８４、及び通信Ｉ／Ｆ８６を備えている。コンピュータ７０は、ＣＰＵ８８、ストレージ９０、及びメモリ９２を備えており、ＣＰＵ８８、ストレージ９０、及びメモリ９２は、バス９４を介して接続されている。図４に示す例では、図示の都合上、バス９４として１本のバスが図示されているが、バス９４は、複数本のバスであってもよい。バス９４は、シリアルバスであってもよいし、データバス、アドレスバス、及びコントロールバス等を含むパラレルバスであってもよい。

ＣＰＵ８８は、スマートデバイス１４の全体を制御する。ストレージ９０は、各種パラメータ及び各種プログラムを記憶している。ストレージ９０は、不揮発性の記憶装置である。ここでは、ストレージ９０の一例として、フラッシュメモリが採用されている。フラッシュメモリはあくまでも一例に過ぎず、ストレージ９０としては、例えば、フラッシュメモリに代えて、又は、フラッシュメモリと併せて、磁気抵抗メモリ及び／又は強誘電体メモリなどの各種の不揮発性メモリが挙げられる。また、不揮発性の記憶装置は、ＥＥＰＲＯＭ、ＨＤＤ、及び／又はＳＳＤ等であってもよい。メモリ９２は、各種情報を一時的に記憶し、ＣＰＵ８８によってワークメモリとして用いられる。メモリ９２の一例としては、ＲＡＭが挙げられるが、これに限らず、他の種類の記憶装置であってもよい。

受付デバイス７６は、スマートデバイス１４の使用者等（ここでは、一例として、視聴者２８）からの指示を受け付ける。受付デバイス７６の一例としては、タッチパネル７６Ａ及びハードキー等が挙げられる。受付デバイス７６は、バス９４に接続されており、受付デバイス７６によって受け付けられた指示は、ＣＰＵ８８によって取得される。

ディスプレイ７８は、バス９４に接続されており、ＣＰＵ８８の制御下で、各種情報を表示する。ディスプレイ７８の一例としては、液晶ディスプレイが挙げられる。なお、液晶ディプレイに限らず、有機ＥＬディスプレイ等の他の種類のディスプレイがディスプレイ７８として採用されてもよい。

スマートデバイス１４は、タッチパネル・ディスプレイを備えており、タッチパネル・ディスプレイは、タッチパネル７６Ａ及びディスプレイ７８によって実現される。すなわち、ディスプレイ７８の表示領域に対してタッチパネル７６Ａを重ね合わせることによって、あるいはディスプレイ７８の内部にタッチパネル機能を内蔵（「インセル」型）することでタッチパネル・ディスプレイが形成される。

マイクロフォン８０は、収集した音を電気信号に変換する。マイクロフォン８０は、バス９４に接続されている。マイクロフォン８０によって収集された音が変換されて得られた電気信号は、バス９４を介してＣＰＵ８８によって取得される。

スピーカ８２は、電気信号を音に変換する。スピーカ８２は、バス９４に接続されている。スピーカ８２は、ＣＰＵ８８から出力された電気信号を、バス９４を介して受信し、受信した電気信号を音に変換し、電気信号を変換して得た音をスマートデバイス１４の外部に出力する。

撮像装置８４は、被写体を撮像することで、被写体を示す画像を取得する。撮像装置８４は、バス９４に接続されている。撮像装置８４によって被写体が撮像されることで得られた画像は、バス９４を介してＣＰＵ８８によって取得される。

通信Ｉ／Ｆ８６は、基地局２０に対して無線通信可能に接続されている。通信Ｉ／Ｆ８６は、例えば、回路（例えば、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤ等）で構成されたデバイスによって実現される。通信Ｉ／Ｆ８６は、バス９４に接続されている。通信Ｉ／Ｆ８６は、基地局２０を介して、無線通信方式で、ＣＰＵ８８と外部装置との間で各種情報の授受を司る。ここで、「外部装置」としては、例えば、情報処理装置１２が挙げられる。

一例として図５に示すように、情報処理装置１２において、ストレージ６０には、編集用プログラム６０Ａが記憶されている。ＣＰＵ５８は、ストレージ６０から編集用プログラム６０Ａを読み出し、読み出した編集用プログラム６０Ａをメモリ６２上で実行する。ＣＰＵ５８は、メモリ６２上で実行する編集用プログラム６０Ａに従って、スマートデバイス１４、撮像装置１６、及び無人航空機２７との間で各種情報の授受を行い、かつ、受像機３４に対する各種映像の送信を行う。なお、編集用プログラム６０Ａは、コンピュータ５０に処理を実行させるためのプログラムであって、本開示の技術に係る「プログラム」の一例である。

ＣＰＵ５８は、ストレージ６０から編集用プログラム６０Ａを読み出し、読み出した編集用プログラム６０Ａをメモリ６２上で実行する。ＣＰＵ５８は、メモリ６２上で実行する編集用プログラム６０Ａに従って、シーン判定部１００、点数表選択部１０１、視線方向決定部１０２、位置及び画角決定部１０３、配信用映像生成部１０４、及び点数表編集制御部１０５として動作することで、後述の各種情報処理を実行する。

一例として図６に示すように、情報処理装置１２では、シーン判定部１００によりシーン判定処理が行われる。シーン判定部１００は、撮像装置１８から俯瞰映像４６Ａを取得する。そして、シーン判定部１００は、取得した俯瞰映像４６Ａを解析することにより、俯瞰映像４６Ａが表すシーンを判定する。例えば、サッカーフィールド２４を撮像対象領域としている場合、シーンには「試合中」、「ハーフタイム」、及び「入場」等が含まれる。「試合中」は、両チームの選手が試合を継続していることに対応するシーンである。「ハーフタイム」は、両チームの選手が試合を中断していることに対応するシーンである。「入場」は、選手がサッカーフィールド２４に入場するシーンである。

シーン判定部１００は、例えば一定時間ごとに周期的にシーン判定処理を行うことにより、俯瞰映像４６Ａがいずれのシーンを表しているかを判定し、判定結果（以下、「シーン判定結果」という。）をメモリ６２に記憶させる。なお、シーンは、「試合中」、「ハーフタイム」、及び「入場」に限られず、シーンの種類及び数は、撮像対象に応じて適宜変更可能である。

一例として図７に示すように、情報処理装置１２では、点数表選択部１０１により点数表選択処理が行われる。点数表は、複数の撮像装置１６で撮像することにより得られた複数の撮像映像４６Ｂを用い、複数の視線方向から撮像対象領域を評価するために用いられる。

点数表選択部１０１は、シーン判定部１００により判定されたシーン判定結果をメモリ６２から読み出し、読み出したシーン判定結果が表すシーンに対応する点数表を、対応表１０６を用いて選択する。対応表１０６には、シーンに対応する点数表が対応付けられている。例えば、「試合中」のシーンには点数表Ｔ１が対応付けられている。「ハーフタイム」のシーンには点数表Ｔ２が対応付けられている。「入場」のシーンには点数表Ｔ３が対応付けられている。

ストレージ６０には複数の点数表が記憶されている。点数表選択部１０１は、対応表１０６に基づいてシーン判定結果に対応する点数表を、ストレージ６０に記憶された複数の点数表から選択してメモリ６２に記憶させる。なお、対応表１０６の内容は、シーンの種類及び数に応じて適宜変更される。

図８は、ストレージ６０に記憶される複数の点数表の一例を示している。点数表には、１以上の評価項目が含まれ、評価項目ごとに点数が設定されている。点数は、評価項目に該当する要因が存在する場合に付与される数値であって、正の値及び／又は負の値を含む。例えば、「試合中」のシーンに対応する点数表Ｔ１は、５つの評価項目Ａ～Ｅが設定されている。また、一例として、評価項目Ａには点数「＋１０」が設定され、評価項目Ｂには点数「＋８」が設定され、評価項目Ｃには点数「＋４」が設定され、評価項目Ｄには点数「－５」が設定され、評価項目Ｅには点数「－２」が設定されている。

図８に示す点数表Ｔ１の例では、評価項目Ａに該当する要因として「ボール」が設定されている。すなわち、評価対象の画像内に「ボール」が含まれる場合には、評価項目Ａに該当する要因が存在すると判定して、点数「＋１０」が付与される。また、評価項目Ｂに該当する要因として「ボールに最も近い選手の顔及び手足」が設定されている。すなわち、評価対象の画像内に「ボールに最も近い選手の顔及び手足」が含まれる場合には、評価項目Ｂに該当する要因が存在すると判定して、点数「＋８」が付与される。また、評価項目Ｃに該当する要因として「その他の選手の顔及び手足」が設定されている。すなわち、評価対象の画像内に「その他の選手の顔及び手足」が含まれる場合には、評価項目Ｃに該当する要因が存在すると判定して、点数「＋４」が付与される。

また、評価項目Ｄに該当する要因として「審判」が設定されている。すなわち、評価対象の画像内に「審判」が含まれる場合には、評価項目Ｄに該当する要因が存在すると判定して、点数「－５」が付与される。すなわち５点減点される。さらに、評価項目Ｅに該当する要因として「観客の顔」が設定されている。すなわち、評価対象の画像内に「観客の顔」が含まれる場合には、評価項目Ｅに該当する要因が存在すると判定して、点数「－２」が付与される。すなわち２点減点される。

一例として図９に示すように、複数の撮像装置１６は、撮像対象領域としてのサッカーフィールド２４を取り囲むように２次元平面内に配置されている。例えば、複数の撮像装置１６は、サッカーフィールド２４を取り囲む矩形状の各辺に沿って配置されており、撮像方向、すなわち視線方向がそれぞれ異なる。

一例として図１０に示すように、情報処理装置１２では、視線方向決定部１０２により視線方向決定処理が行われる。視線方向決定部１０２は、複数の撮像装置１６のそれぞれから撮像映像４６Ｂを取得する。視線方向決定部１０２は、点数表選択部１０１により選択された点数表をメモリ６２から読み出し、読み出した点数表に基づいて各撮像映像４６Ｂを評価する。詳しくは後述するが、視線方向決定部１０２は、点数表に基づき、撮像映像４６Ｂのそれぞれについて合計点を算出する合計点算出処理を行う。

視線方向決定部１０２は、算出した複数の合計点と、撮像装置１６の撮像方向（すなわち視線方向）との関係に基づいて、合計点が最大となる視線方向を推定する。例えば、視線方向決定部１０２は、算出した複数の合計点と視線方向との関係を表す補完曲線を生成し、生成した補完曲線において合計点が最大となる視線方向を推定する。視線方向決定部１０２は、推定により得られた視線方向を、仮想視点の視線方向Ｄとして決定する。なお、視線方向決定部１０２により決定された仮想視点の視線方向Ｄは、例えば、複数の撮像装置１６が配置された矩形状の一辺に仮想的に配置された仮想カメラ１６Ａの視線方向である。

一例として図１１に示すように、視線方向決定部１０２は、上述した合計点算出処理を行う。視線方向決定部１０２は、点数表を参照し、評価対象の撮像映像４６Ｂ内に各評価項目に該当する要因が存在するか否かを判定し、要因が存在する場合には、各評価項目に設定された点数を付与する。そして、視線方向決定部１０２は、付与した点数の和を求めることにより合計点を算出する。

図１１に示す例では、撮像映像４６Ｂ内に、評価項目Ａに該当する要因である「ボール」と、評価項目Ｂに該当する要因である「ボールに最も近い選手の顔及び手足」と、評価項目Ｃに該当する要因である「その他の選手の顔及び手足」が存在する。この結果、評価項目Ａに対して点数「＋１０」が付与され、評価項目Ｂに対して点数「＋８」が付与され、評価項目Ｃに対して点数「＋４」が付与されるので、視線方向決定部１０２により算出される合計点は「２２点」となる。

本実施形態では、評価項目を撮像対象領域に含まれるオブジェクトの種類（例えば、「ボール」、「ボールに最も近い選手の顔及び手足」、「審判」、及び「観客の顔」など）としている。このため、視線方向決定部１０２は、例えば、機械学習等の手法を用いて、撮像映像４６Ｂ内から評価項目に該当するオブジェクトの検出を行う。視線方向決定部１０２は、検出したオブジェクトを含む矩形領域に対して１つの点数を付与してもよいし、検出したオブジェクトの各画素に対して点数を付与してもよい。

一例として図１２及び図１３に示すように、情報処理装置１２では、位置及び画角決定部１０３により位置及び画角決定処理が行われる。図１２に示すように、位置及び画角決定部１０３は、視線方向決定部１０２により決定された視線方向Ｄを有する仮想カメラ１６Ａにより撮像される仮想視点映像４７を取得する。そして、位置及び画角決定部１０３は、仮想視点映像４７に基づいて、点数表に基づく点数の分布（以下、「点数分布」という。）を生成する。この点数分布は、視線方向Ｄに対して垂直な仮想平面を想定し、想定した仮想平面に、撮像映像４６Ｂを用いて求めた点数を転写した分布に相当する。

本実施形態では、位置及び画角決定部１０３は、一例として、前述の合計点算出処理と同様に、仮想視点映像４７内から評価項目に該当するオブジェクトの検出を行い、検出したオブジェクトに点数を付与することにより、点数分布を生成する。図１２は、例えば検出したオブジェクトの各画素に対して点数を付与する例を示している。図１２に示す例では、点数の密度が濃度で表されており、濃度が高いほど点数の密度が高い。

図１３に示すように、位置及び画角決定部１０３は、撮像対象領域内における点数分布に基づいて仮想視点の位置及び画角を決定する。まず、位置及び画角決定部１０３は、視線方向決定部１０２により決定された仮想視点の視線方向Ｄを、点数分布に基づいて移動させる。具体的には、位置及び画角決定部１０３は、点数の密度が最も高い領域に位置するように、視線方向Ｄを平行移動させる。次に、位置及び画角決定部１０３は、移動後の視線方向Ｄを基準として、仮想視点の位置Ｐ及び画角Ａを決定する。例えば、位置及び画角決定部１０３は、視野領域内の点数の密度が最も高くなるように画角Ａを決定する。

位置及び画角決定部１０３は、決定した仮想視点の視線方向Ｄ、位置Ｐ、及び画角Ａを含む視点情報をメモリ６２に記憶させる。仮想視点は、上述のシーン判定処理、点数表選択処理、視線方向決定処理、及び位置及び画角決定処理が繰り返し行われることにより、周期的に更新される。すなわち、視点情報には、仮想視点の時間的な変化が含まれる。

一例として図１４に示すように、情報処理装置１２では、配信用映像生成部１０４により配信用映像生成処理が行われる。配信用映像生成部１０４は、位置及び画角決定部１０３により決定された視点情報をメモリ６２から読み出す。また、配信用映像生成部１０４は、複数の撮像装置１６のそれぞれから撮像映像４６Ｂを取得する。配信用映像生成部１０４は、複数の撮像映像４６Ｂに基づいて３Ｄポリゴンを生成することにより、視点情報を基準とした仮想視点映像を生成する。この仮想視点映像は、仮想視点の位置Ｐから視線方向Ｄに向かって、画角Ａで撮像対象領域を観察した場合における仮想的な映像である。配信用映像生成部１０４は、時間的に変化する仮想視点を基準として仮想視点映像を生成することにより、動画データとしての配信用映像を生成する。配信用映像生成部１０４は、生成した配信用映像をストレージ６０に記憶させる。

また、配信用映像生成部１０４は、一例として図１５に示すように、生成した配信用映像を動画編集用画面５３Ａに表示させる。動画編集用画面５３Ａには、配信用映像をプレビュー表示するための第１表示部１１０が設けられている。また、動画編集用画面５３Ａには、第１表示部１１０に隣接して、再生操作部１１１が設けられている。使用者は、再生操作部１１１を、受付デバイス５２の一例としてのマウスを用いて操作することにより、配信用映像の再生、停止、及び再生速度の変更などを行うことができる。使用者は、第１表示部１１０により配信用映像をプレビュー表示させることにより、配信用映像をスマートデバイス１４及び受像機３４等に配信する前に、事前に配信用映像の良否を確認することができる。

同様に、動画編集用画面５３Ａには、シーン判定処理に用いられた俯瞰映像を表示するための第２表示部１１２が設けられている。また、動画編集用画面５３Ａには、第２表示部１１２に隣接して、再生操作部１１３が設けられている。使用者は、再生操作部１１３を、上記マウスを用いて操作することにより、俯瞰映像の再生、停止、及び再生速度の変更などを行うことができる。例えば、俯瞰映像には、シーンに対応する点数表に基づいて決定された仮想視点の視線方向Ｄ、位置Ｐ、及び画角Ａを含む視点情報が表示される。使用者は、第２表示部１１２により、点数表に基づいて決定された仮想視点の視点情報を確認することができる。

また、動画編集用画面５３Ａには、シーン判定部１００により判定されたシーンと、点数表選択部１０１により選択された点数表とが対応付けられて表示される。これにより、使用者は、適切なシーン及び点数表が決定されているか否かを確認することができる。また、動画編集用画面５３Ａには、配信用映像又は俯瞰映像の再生位置を示す指標１１４が表示されている。指標１１４は、第１表示部１１０において配信用映像が再生されている場合には配信用映像の再生位置を示す。また、指標１１４は、第２表示部１１２において俯瞰映像が再生されている場合には俯瞰映像の再生位置を示す。

また、動画編集用画面５３Ａには、配信実行ボタン１１５、点数表編集ボタン１１６、及び再生成ボタン１１７が表示されている。使用者は、動画編集用画面５３Ａに表示されるカーソル１１８を、マウスの操作により配信実行ボタン１１５上に位置させた状態でクリック操作を行うことにより、配信用映像の配信を指示することができる。また、使用者は、カーソル１１８を、マウスの操作により点数表編集ボタン１１６上に位置させた状態でクリック操作を行うことにより、点数表を編集することができる。

情報処理装置１２では、点数表編集制御部１０５により、点数表の編集に係る制御が行われる。一例として図１６に示すように、点数表編集制御部１０５は、ディスプレイ５３に、点数表編集画面２００をＧＵＩ表示させる。点数表編集制御部１０５は、動画編集用画面５３Ａにおいて点数表編集ボタン１１６がクリック操作されたことに応じて点数表編集画面２００を表示させる。点数表編集画面２００には、点数表選択部２０１、適用シーン選択部２０２、評価項目設定部２０３、及び点数入力部２０４が表示される。

使用者は、点数表選択部２０１を、マウス等を用いて操作することにより、編集対象とする点数表を選択することができる。また、使用者は、適用シーン選択部２０２を、マウス等を用いて操作することにより、点数表選択部２０１において選択した点数表に適用するシーンを選択することができる。また、使用者は、評価項目設定部２０３を、マウス及びキーボード等を用いて入力操作を行うことにより、適用シーン選択部２０２において選択したシーンに適した評価項目を設定することができる。さらに、使用者は、点数入力部２０４を、マウス及びキーボード等を用いて入力操作を行うことにより、評価項目設定部２０３において設定した評価項目に対応する点数を設定することができる。

また、点数表編集画面２００には、評価項目追加ボタン２０５、評価項目削除ボタン２０６、ＯＫボタン２０７、及びキャンセルボタン２０８が表示されている。使用者は、評価項目追加ボタン２０５をクリック操作することにより、新たな評価項目を追加することができる。また、使用者は、マウスの操作により、評価項目設定部２０３から設定済みの評価項目を選択し、評価項目削除ボタン２０６をクリック操作することにより、当該評価項目を削除することができる。また、使用者は、ＯＫボタン２０７をクリック操作することにより、点数表の編集内容を確定することができる。また、使用者は、キャンセルボタン２０８をクリック操作することにより、点数表の編集内容をキャンセルすることができる。

点数表編集制御部１０５は、使用者がＯＫボタン２０７をクリック操作することにより、点数表の編集内容が確定されると、新たな点数表を生成してストレージ６０に記憶させるとともに、点数表選択部１０１が用いる対応表１０６を更新する（図７参照）。また、使用者は、再生成ボタン１１７をクリック操作することにより、情報処理装置１２に、更新された点数表に基づいて、配信用映像を再度生成させることができる。

次に、情報処理システム１０の作用について説明する。

まず、情報処理装置１２のＣＰＵ５８によって実行される全体の処理の流れの一例について図１７を参照しながら説明する。

図１７に示す全体処理では、まず、ステップＳＴ１００で、シーン判定部１００は、撮像装置１８から俯瞰映像４６Ａを取得する（図６参照）。次のステップＳＴ１０１で、シーン判定部１００は、俯瞰映像４６Ａが表すシーンを判定する。次のステップＳＴ１０２で、点数表選択部１０１は、シーン判定部１００により判定されたシーン判定結果に対応する点数表を、シーンと点数表とが対応付けられた対応表１０６を用いて選択する（図７参照）。

次のステップＳＴ１０３で、視線方向決定部１０２は、複数の撮像装置１６のそれぞれから撮像映像４６Ｂを取得する。次のステップＳＴ１０４で、視線方向決定部１０２は、点数表選択部１０１により選択された点数表を用い、各撮像映像４６Ｂについて合計点を算出する。そして、視線方向決定部１０２は、合計点の視線方向に関する変化に基づき、合計点が最も高い視線方向を推定することにより、仮想視点の視線方向Ｄを決定する（図１０参照）。

次のステップＳＴ１０５で、位置及び画角決定部１０３は、視線方向決定部１０２により決定された仮想視点の視線方向Ｄを基準として、撮像対象領域内における点数の分布に基づいて仮想視点の位置及び画角を決定する（図１２及び図１３参照）。

次のステップＳＴ１０６で、ＣＰＵ５８は、全体処理を終了する条件（以下、「終了条件」という。）を満足したか否かを判定する。終了条件としては、例えば、編集対象である複数の撮像映像４６Ｂの撮像時間が経過した、という条件が挙げられる。ステップＳＴ１０６において、終了条件を満足していない場合には、判定が否定されて、全体処理はステップＳＴ１００へ移行する。ステップＳＴ１０６において、終了条件を満足した場合には、判定が肯定されて、全体処理はステップＳＴ１０７へ移行する。すなわち、ステップＳＴ１００～ステップＳＴ１０５は、編集対象である複数の撮像映像４６Ｂの撮像時間が経過するまでの間、周期的に繰り返し行われる。

ステップＳＴ１０７で、配信用映像生成部１０４は、位置及び画角決定部１０３により決定された視点情報と、複数の撮像映像４６Ｂとに基づいて、視点情報を基準とした仮想視点映像を生成する（図１４参照）。配信用映像生成部１０４は、生成した仮想視点映像に基づいて、動画データとしての配信用映像を生成する。配信用映像生成部１０４は、生成した配信用映像をストレージ６０に記憶させる。

次に、ステップＳＴ１０４において視線方向決定部１０２により行われる視線方向決定処理の流れの一例について図１８を参照しながら説明する。

まず、ステップＳＴ２００で、視線方向決定部１０２は、複数の撮像映像４６Ｂのそれぞれについて、点数表に基づいて合計点を算出する（図１１参照）。次のステップＳＴ２０１で、視線方向決定部１０２は、算出した複数の合計点と視線方向との関係を表す補完曲線を生成し、生成した補完曲線において合計点が最大となる視線方向を推定する（図１０参照）。次のステップＳＴ２０２で、視線方向決定部１０２は、合計点が最大となる視線方向を、仮想視点の視線方向Ｄとして決定する。

次に、ステップＳＴ１０５において位置及び画角決定部１０３により行われる位置及び画角決定処理の流れの一例について図１９を参照しながら説明する。

まず、ステップＳＴ３００で、位置及び画角決定部１０３は、視線方向決定部１０２により決定された視線方向Ｄを基準とした撮像対象領域内における点数分布を生成する（図１２参照）。次のステップＳＴ３０１で、位置及び画角決定部１０３は、点数分布に応じて視線方向Ｄを移動させる。例えば、位置及び画角決定部１０３は、点数の密度が最も高い領域に位置するように、視線方向Ｄを平行移動させる（図１３参照）。

次のステップＳＴ３０２で、位置及び画角決定部１０３は、点数分布に応じて仮想視点の位置Ｐ及び画角Ａを決定する。例えば、位置及び画角決定部１０３は、視野領域内の点数の密度が最も高くなるように画角Ａを決定する（図１３参照）。

以上説明したように、情報処理装置１２では、ＣＰＵ５８によって、撮像対象領域を視点の異なる複数の撮像装置１６で撮像することにより得られた複数の画像（上記実施形態では撮像映像４６Ｂ）を用い、１以上の評価項目に基づいて複数の視線方向から撮像対象領域の評価が行われる。そして、評価結果に基づいて、ＣＰＵ５８により、仮想視点映像の生成に用いられる仮想視点の視線方向が決定される。従って、手間をかけずに仮想視点の視線方向を決定することができる。

また、情報処理装置１２では、ＣＰＵ５８によって、撮像対象領域の評価値を数値として算出することにより得られた評価結果に基づいて、視線方向が決定される。従って、手間をかけずに仮想視点の視線方向を決定することができる。

また、情報処理装置１２では、評価項目ごとに点数が設定された点数表であって、点数は評価項目に該当する要因が存在する場合に付与される点数表がＣＰＵ５８によって用いられる。そして、ＣＰＵ５８により、撮像対象領域について点数の合計点が最も高い視線方向が、仮想視点の視線方向として決定される。従って、手間をかけずに仮想視点の視線方向を決定することができる。

また、情報処理装置１２では、ＣＰＵ５８によって、複数の画像のそれぞれについて算出される合計点の視線方向に関する変化に基づき、合計点が最も高い視線方向を推定することにより、仮想視点の視線方向が決定される。従って、撮像装置で取得された複数の実画像のみを用いて仮想視点の視線方向を決定することができるので、視線方向を決定する処理の短縮化が図られる。

また、情報処理装置１２では、ＣＰＵ５８によって、仮想視点の視線方向を決定した後、仮想視点の視線方向を基準として、撮像対象領域内における点数の分布に基づいて仮想視点の位置及び画角が決定される。従って、仮想視点の視線方向に加えて、仮想視点の位置及び画角を、手間をかけずに決定することができる。

また、情報処理装置１２では、ＣＰＵ５８によって、撮像対象領域内において点数の密度が最も高い領域を基準として仮想視点の位置及び画角が決定される。従って、仮想視点の位置及び画角を精度よく決定することができる。

また、情報処理装置１２では、ＣＰＵ５８によって、評価項目及び点数のうちの少なくともいずれか一方が異なる複数の点数表を切り替え、切り替えた点数表を用いて仮想視点の視線方向が決定される。従って、種々の点数表に基づいて仮想視点を決定することができる。

また、情報処理装置１２では、ＣＰＵ５８によって、シーン判定処理が行われ、点数表が撮像対象領域のシーンに応じて切り替えられる。従って、シーンに応じて最適な仮想視点を決定することができる。

また、情報処理装置１２では、ＣＰＵ５８によって、周期的に仮想視点の視線方向、位置、及び画角が決定される。従って、仮想視点を周期的に更新することができ、撮像対象領域内の状態変化に応じて仮想視点を変更ことができる。

また、情報処理装置１２では、ＣＰＵ５８によって、決定された仮想視点の視線方向を含む仮想視点情報に基づいて、仮想視点映像が生成される。従って、手間をかけずに仮想視点映像を生成することができる。

なお、上記実施形態では、ＣＰＵ５８は、複数の画像及び点数表に基づいて仮想視点を決定しているが、決定した仮想視点が、複数の撮像装置１６の視点のいずれかと一致する可能性がある。仮想視点を基準として生成される仮想視点映像と、撮像装置１６により得られる撮像映像４６Ｂとは画質が異なる。このため、決定された仮想視点が複数の撮像装置１６の視点のいずれかと一致することにより、配信用映像が、仮想視点映像から撮像映像４６Ｂに切り替わると、視聴者に違和感を与える可能性がある。

そこで、ＣＰＵ５８は、複数の撮像装置の視点のいずれかと仮想視点とが一致している場合に、当該仮想視点に対する点数を下げることにより、当該仮想視点が決定されることを抑制してもよい。この場合、ＣＰＵ５８は、一例として図２０に示す全体処理を行う。図２０に示す全体処理は、ステップＳＴ１０５とステップＳＴ１０６の間にステップＳＴ４００及びステップＳＴ４０１が追加されている点のみが、図１７に示される全体処理と異なる。

ＣＰＵ５８は、ステップＳＴ１０５で、仮想視点の位置及び画角を決定した後、ステップＳＴ４００で、決定した仮想視点が、複数の撮像装置１６の視点のいずれかと一致する条件（以下、「一致条件」という。）を満足したか否かを判定する。一致条件としては、例えば、仮想視点と撮像装置１６の視点との視線方向、位置、及び画角が一致した、という条件が挙げられる。

ステップＳＴ４００において、一致条件を満足していない場合には、判定が否定されて、全体処理はステップＳＴ１０６へ移行する。ステップＳＴ４００において、一致条件を満足した場合には、判定が肯定されて、全体処理はステップＳＴ４０１へ移行する。ステップＳＴ４０１で、ＣＰＵ５８は、複数の撮像装置１６の視点のいずれかと一致した仮想視点に対する合計点を下げ、この後、全体処理をステップＳＴ１０４に移行させる。

ステップＳＴ１０４では、視線方向決定部１０２により、合計点に基づいて再び仮想視点の視線方向の決定が行われる。しかし、複数の撮像装置１６の視点のいずれかと一致した仮想視点は、ステップＳＴ４０１で合計点が下げられているので、当該仮想視点の視線方向が再びステップＳＴ１０４で決定されることが抑制される。このように、撮像装置１６の視点と一致する仮想視点が決定されることにより、視聴者に与える違和感を抑制することができる。

また、上記実施形態では、ＣＰＵ５８は、点数表選択部２０１によりシーンに応じた点数表の選択を行っているが、１つの点数表を選択し続けると、決定される仮想視点の時間的な変化が少なく、視聴者が飽きてしまう可能性がある。このため、ＣＰＵ５８は、点数表選択部２０１により点数表を選択した後、既定時間が経過したことを条件に点数表を切り替える処理を行ってもよい。このように、点数表を切り替えた後、既定時間が経過したことを条件として点数表を切り替えることにより、仮想視点の時間的な変化が大きくなるので、視聴者が飽きることを抑制することができる。

また、上記実施形態では、評価項目には、撮像対象領域に含まれるオブジェクトの種類が含まれる。従って、オブジェクトの種類に応じて仮想視点を決定することができる。評価項目は、オブジェクトの種類に限定されず、オブジェクト以外の項目であってもよい。一例として、撮像対象領域内又はその近傍に設置されたマイクロフォンにより集音される音情報の種類を評価項目に含めてもよい。一例として図２１に示すように、サッカーフィールド２４の周囲に配置したマイクロフォン４０によって、観客の歓声、又は審判が吹く笛の音等を集音してもよい。この場合、ＣＰＵ５８は、観客の歓声、又は審判が吹く笛の音等の種類を評価項目とする。このように、ＣＰＵ５８は、オブジェクト以外の音情報等を用いて仮想視点を決定することができる。

また、マイクロフォン４０を設ける場合には、マイクロフォン４０により集音される音情報をシーン判定処理に用いることができる。この場合、例えば、シーン判定部１００は、マイクロフォン４０により集音される音情報と俯瞰映像４６Ａとに基づいてシーンを判定する。これにより、シーン判定部１００によるシーンの判定精度が向上する。

また、上記実施形態では、ＣＰＵ５８は、視線方向決定部１０２と位置及び画角決定部１０３とにより、点数表を用いて周期的に仮想視点を決定している。しかし、同一の点数表を用いた場合であっても、決定した仮想視点の視線方向、位置、又は画角が、過去に決定した仮想視点群の視線方向、位置、又は画角から大きく異なる可能性がある。このように、過去に決定した仮想視点群の履歴と大きく異なる視線方向、位置、又は画角を有する仮想視点が決定されると、視聴者に違和感を与えてしまう。

そこで、ＣＰＵ５８は、視線方向決定部１０２と位置及び画角決定部１０３とにより仮想視点が決定された場合に、過去に決定した仮想視点の履歴情報を参照して、仮想視点の視線方向、位置、及び画角を決定してもよい。一例として図２２に示すように、ＣＰＵ５８は、視線方向決定部１０２と位置及び画角決定部１０３とにより仮想視点が決定されたとき、過去に決定した仮想視点群の位置を参照し、今回決定された仮想視点の位置Ｐが閾値以上離れているか否かを判定する。閾値以上離れている場合には、仮想視点の位置Ｐを、過去に決定した仮想視点群の位置へ近づける。視線方向及び画角についても同様である。これにより、過去の履歴と大きく異なる仮想視点が決定されることを抑制し、視聴者に与える違和感を抑制することができる。

さらに、ＣＰＵ５８は、仮想視点の視線方向、位置、及び画角のそれぞれの時間的な変化率を既定値以下とする制限下で、仮想視点の視線方向、位置、及び画角を決定してもよい。一例として図２３に示すように、ＣＰＵ５８は、視線方向決定部１０２と位置及び画角決定部１０３とにより決定される仮想視点の位置の変化率を監視する。ＣＰＵ５８は、仮想視点の位置の変化率が既定値を超えた場合に、仮想視点の位置を既定値以下とするように抑制する。視線方向及び画角についても同様である。これにより、仮想視点の視線方向、位置、及び画角が変化することにより視聴者に与える違和感を抑制することができる。

なお、図２３に示す既定値は、固定値でなくともよい。既定値は、仮想視点から撮像対象までの距離に応じて決定される値であってもよい。一例として図２４に示すように、ＣＰＵ５８は、仮想視点から撮像対象までの距離が大きいほど、既定値を小さくしてもよい。これは、仮想視点から撮像対象までの距離が大きいほど、視聴者は、仮想視点の視線方向、位置、及び画角のそれぞれの時間的な変化が気にならなくなるためである。これにより、仮想視点の視線方向、位置、及び画角が変化することにより視聴者に与える違和感を抑制することができる。

また、上記実施形態では、ＣＰＵ５８は、視線方向決定部１０２により、複数の撮像装置１６により得られた視線方向の異なる複数の撮像映像４６Ｂ（すなわち複数の実画像）のそれぞれについて合計点を算出している。これに限られず、ＣＰＵ５８は、視線方向の異なる仮想視点映像を生成した後、視線方向決定部１０２により、各仮想視点映像について点数を算出してもよい。

なお、上記実施形態では、サッカー競技場２２を例示したが、これはあくまでも一例に過ぎず、野球場、ラグビー場、カーリング場、陸上競技場、競泳場、コンサートホール、野外音楽場、及び演劇会場等のように、複数の撮像装置が設置可能であれば、如何なる場所であってもよい。

また、上記実施形態では、基地局２０を用いた無線通信方式を例示したが、これはあくまでも一例に過ぎず、ケーブルを用いた有線通信方式であっても本開示の技術は成立する。

また、上記実施形態では、無人航空機２７を例示したが、本開示の技術はこれに限定されず、ワイヤで吊るされた撮像装置１８（例えば、ワイヤを伝って移動可能な自走式の撮像装置）によって撮像対象領域が撮像されるようにしてもよい。

また、上記実施形態では、コンピュータ５０及び７０を例示したが、本開示の技術はこれに限定されない。例えば、コンピュータ５０及び／又は７０に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コンピュータ５０及び／又は７０に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。

また、上記実施形態では、ストレージ６０に編集用プログラム６０Ａが記憶されているが、本開示の技術はこれに限定されず、一例として図２５に示すように、ＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体５００に編集用プログラム６０Ａが記憶されていてもよい。この場合、記憶媒体５００に記憶されている編集用プログラム６０Ａがコンピュータ５０にインストールされ、ＣＰＵ５８は、編集用プログラム６０Ａに従って情報処理（例えば、シーン判定処理、点数表選択処理、視線方向決定処理、位置及び画角決定処理、及び配信用映像生成処理）を実行する。

また、通信網（図示省略）を介してコンピュータ５０に接続される他のコンピュータ又はサーバ装置等の記憶部に編集用プログラム６０Ａを記憶させておき、情報処理装置１２の要求に応じて編集用プログラム６０Ａが情報処理装置１２にダウンロードされるようにしてもよい。この場合、ダウンロードされた編集用プログラム６０Ａに基づく情報処理がコンピュータ５０のＣＰＵ５８によって実行される。

また、上記実施形態では、ＣＰＵ５８を例示したが、本開示の技術はこれに限定されず、ＧＰＵを採用してもよい。また、ＣＰＵ５８に代えて、複数のＣＰＵ、又はＣＰＵとＧＰＵの組み合わせを採用してもよい。つまり、１つのプロセッサ、又は、物理的に離れている複数のプロセッサによって情報処理が実行されるようにしてもよい。また、ＣＰＵ８８に代えて、ＧＰＵを採用してもよいし、複数のＣＰＵ、又はＣＰＵとＧＰＵの組み合わせを採用してもよく、１つのプロセッサ、又は、物理的に離れている複数のプロセッサによって各種処理が実行されるようにしてもよい。

情報処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムに従って情報処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、他のプロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが接続又は内蔵されており、何れのプロセッサもメモリを使用することで情報処理を実行する。

情報処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、情報処理を実行するハードウェア資源は１つのプロセッサであってもよい。

１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、情報処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、情報処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、情報処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。更に、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。

また、上述した情報処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (19)

1. プロセッサと、
   前記プロセッサに接続又は内蔵されたメモリと、を備え、
   前記プロセッサは、
   撮像対象領域を視点の異なる複数の撮像装置で撮像することにより得られた複数の画像を用い、１以上の評価項目に基づいて複数の視線方向から前記撮像対象領域の評価を行い、
   評価結果に基づいて、仮想視点映像の生成に用いられる仮想視点の視線方向を決定する
   情報処理装置。
2. 前記プロセッサは、
   前記撮像対象領域の評価値を数値として算出することにより得られた評価結果に基づいて、前記視線方向を決定する
   請求項１に記載の情報処理装置。
3. 前記プロセッサは、
   前記評価項目ごとに点数が設定された点数表であって、前記点数は前記評価項目に該当する要因が存在する場合に付与される点数表を用い、
   前記撮像対象領域について前記点数の合計点が最も高い視線方向を、前記仮想視点の視線方向として決定する
   請求項２に記載の情報処理装置。
4. 前記プロセッサは、
   前記複数の画像のそれぞれについて算出される前記合計点の視線方向に関する変化に基づき、前記合計点が最も高い視線方向を推定することにより、前記仮想視点の視線方向を決定する
   請求項３に記載の情報処理装置。
5. 前記プロセッサは、
   前記仮想視点の視線方向を決定した後、前記仮想視点の視線方向を基準として、前記撮像対象領域内における前記点数の分布に基づいて前記仮想視点の位置及び画角を決定する
   請求項４に記載の情報処理装置。
6. 前記プロセッサは、
   前記撮像対象領域内において前記点数の密度が最も高い領域を基準として前記仮想視点の位置及び画角を決定する
   請求項５に記載の情報処理装置。
7. 前記プロセッサは、
   前記複数の撮像装置の視点のいずれかと前記仮想視点とが一致している場合に前記点数を下げる
   請求項５又は請求項６に記載の情報処理装置。
8. 前記プロセッサは、
   前記評価項目及び前記点数のうちの少なくともいずれか一方が異なる複数の前記点数表を切り替え、切り替えた前記点数表を用いて前記仮想視点の視線方向を決定する
   請求項３から請求項７のうちいずれか１項に記載の情報処理装置。
9. 前記プロセッサは、
   前記点数表を前記撮像対象領域のシーンに応じて切り替える
   請求項８に記載の情報処理装置。
10. 前記プロセッサは、
    前記点数表を切り替えた後、既定時間が経過したことを条件に前記点数表を切り替える
    請求項８又は請求項９に記載の情報処理装置。
11. 前記評価項目には、撮像対象領域に含まれるオブジェクトの種類が含まれる
    請求項１から請求項１０いずれか１項に記載の情報処理装置。
12. 前記評価項目には、マイクロフォンにより集音される音情報の種類が含まれる
    請求項１１に記載の情報処理装置。
13. 前記プロセッサは、
    過去に決定した前記仮想視点の履歴情報を参照して、前記視線方向、位置、及び画角を決定する
    請求項５又は請求項６に記載の情報処理装置。
14. 前記プロセッサは、
    周期的に前記仮想視点の視線方向、位置、及び画角を決定する
    請求項５又は請求項６に記載の情報処理装置。
15. 前記プロセッサは、
    前記仮想視点の視線方向、位置、及び画角のそれぞれの時間的な変化率を既定値以下とする制限下で、前記仮想視点の視線方向、位置、及び画角を決定する
    請求項１４に記載の情報処理装置。
16. 前記既定値は、前記仮想視点から撮像対象までの距離に応じて決定される
    請求項１５に記載の情報処理装置。
17. 前記プロセッサは、決定した前記仮想視点の視線方向を含む仮想視点情報に基づいて、仮想視点映像を生成する
    請求項１から請求項１６のうちいずれか１項に記載の情報処理装置。
18. 撮像対象領域を視点の異なる複数の撮像装置で撮像することにより得られた複数の画像を用い、１以上の評価項目に基づいて複数の視線方向から前記撮像対象領域の評価を行うこと、及び
    評価結果に基づいて、仮想視点映像の生成に用いられる仮想視点の視線方向を決定することを含む
    情報処理方法。
19. 撮像対象領域を視点の異なる複数の撮像装置で撮像することにより得られた複数の画像を用い、１以上の評価項目に基づいて複数の視線方向から前記撮像対象領域の評価を行うこと、及び
    評価結果に基づいて、仮想視点映像の生成に用いられる仮想視点の視線方向を決定することを含む
    処理をコンピュータに実行させるためのプログラム。