JP7291224B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本開示の技術は、情報処理装置、情報処理方法、及びプログラムに関する。

特開２０１９－５３７３８号公報には、仮想視点画像を生成するための視点の位置または／および視線の方向を特定する情報を取得する取得手段と、取得手段により取得された視点の位置または／および視線の方向に基づいて生成される仮想視点画像の品質に関する情報を通知する通知手段と、を有することを特徴とする情報処理装置が開示されている。

本開示の技術に係る一つの実施形態は、基準映像との相違度が第１閾値未満に収まる自由視点映像の取得に寄与することができる情報処理装置、情報処理方法、及びプログラムを提供する。

本開示の技術に係る第１の態様は、撮像領域が複数の撮像装置によって撮像されることで得られた複数の画像のうちの少なくとも１つの画像に基づく自由視点映像であって、特定の視点位置及び特定の視線方向から撮像領域を観察した場合の撮像領域を示す自由視点映像と、基準映像とを取得する取得部と、取得部によって取得された自由視点映像と、取得部によって取得された基準映像との相違度が第１閾値以上の場合に、特定処理を実行する実行部と、を含む情報処理装置である。

本開示の技術に係る第２の態様は、特定処理は、相違度が第１閾値以上であることを報知する報知処理を含む処理である、第１の態様に係る情報処理装置である。

本開示の技術に係る第３の態様は、報知処理は、相違度が第１閾値以上であることを、可視報知、可聴報知、及び触覚報知のうちの少なくとも１つを行う処理である、第２の態様に係る情報処理装置である。

本開示の技術に係る第４の態様は、特定処理は、視点位置を指示可能な範囲を、相違度を第１閾値未満に収める範囲として定められた視点位置範囲に制限し、かつ、視線方向を指示可能な範囲を、相違度を第１閾値未満に収める範囲として定められた視線方向範囲に制限する処理を含む処理である、第１の態様から第３の態様の何れか１つの態様に係る情報処理装置である。

本開示の技術に係る第５の態様は、特定処理は、自由視点映像に対して相違度を第１閾値未満に収める変更を施す変更処理を含む処理である、第１の態様から第４の態様の何れか１つの態様に係る情報処理装置である。

本開示の技術に係る第６の態様は、変更処理は、視点位置及び視線方向のうちの少なくとも一方を変更することで自由視点映像を変更する処理である、第５の態様に係る情報処理装置である。

本開示の技術に係る第７の態様は、実行部は、自由視点映像の変化に応じて特定処理を実行する、第１の態様から第６の態様の何れか１つの態様に係る情報処理装置である。

本開示の技術に係る第８の態様は、実行部が自由視点映像の変化に追従しながら特定処理を実行する追従モードと、実行部が自由視点映像の変化に追従しながら特定処理を実行しない非追従モードとを選択的に設定する設定部を更に含む、第７の態様に係る情報処理装置である。

本開示の技術に係る第９の態様は、設定部は、相違度の変化量が第２閾値未満の場合に追従モードを設定し、変化量が第２閾値以上の場合に非追従モードを設定する、第８の態様に係る情報処理装置である。

本開示の技術に係る第１０の態様は、設定部は、相違度が変化する頻度が第３閾値未満の場合に追従モードを設定し、頻度が第３閾値以上の場合に非追従モードを設定する、第８の態様に係る情報処理装置である。

本開示の技術に係る第１１の態様は、第１表示装置に対して自由視点映像を表示させる制御部を更に含む、第１の態様から第１０の態様の何れか１つの態様に係る情報処理装置である。

本開示の技術に係る第１２の態様は、第１表示装置は、第１表示装置の姿勢を検出する検出部を有し、実行部は、検出部によって検出された姿勢が既定姿勢の場合に特定処理を実行し、検出部によって検出された姿勢が既定姿勢とは異なる姿勢の場合に特定処理を実行しない、第１１の態様に係る情報処理装置である。

本開示の技術に係る第１３の態様は、制御部は、第１表示装置とは異なる第２表示装置に対して基準映像を表示させる、第１１の態様又は第１２の態様に係る情報処理装置である。

本開示の技術に係る第１４の態様は、実行部は、第１閾値の変更を指示する指示情報が受付部によって受け付けられた場合に、受付部によって受け付けられた指示情報に従って第１閾値の変更を実行する、第１の態様から第１３の態様の何れか１つの態様に係る情報処理装置である。

本開示の技術に係る第１５の態様は、自由視点映像は仮想視点映像である、第１の態様から第１４の態様の何れか１つの態様に係る情報処理装置である。

本開示の技術に係る第１６の態様は、基準映像は生中継映像である、第１の態様から第１５の態様の何れか１つの態様に係る情報処理装置である。

本開示の技術に係る第１７の態様は、基準映像は、基準撮像装置によって撮像領域が撮像されることで得られた画像である、第１の態様から第１６の態様の何れか１つの態様に係る情報処理装置である。

本開示の技術に係る第１８の態様は、視点位置及び視線方向は、外部から指示された視点位置及び視線方向である、第１の態様から第１７の態様の何れか１つの態様に係る情報処理装置である。

本開示の技術に係る第１９の態様は、特定処理は、相違度を第１閾値未満に収めるのに寄与する処理である、第１の態様から第１８の態様の何れか１つの態様に係る情報処理装置である。

本開示の技術に係る第２０の態様は、撮像領域が複数の撮像装置によって撮像されることで得られた複数の画像のうちの少なくとも１つの画像に基づく自由視点映像であって、特定の視点位置及び特定の視線方向から撮像領域を観察した場合の撮像領域を示す自由視点映像と、基準映像とを取得すること、並びに、取得した自由視点映像と、取得した基準映像との相違度が第１閾値以上の場合に、特定処理を実行することを含む情報処理方法である。

本開示の技術に係る第２１の態様は、コンピュータに、撮像領域が複数の撮像装置によって撮像されることで得られた複数の画像のうちの少なくとも１つの画像に基づく自由視点映像であって、特定の視点位置及び特定の視線方向から撮像領域を観察した場合の撮像領域を示す自由視点映像と、基準映像とを取得すること、並びに、取得した自由視点映像と、取得した基準映像との相違度が第１閾値以上の場合に、特定処理を実行することを含む処理を実行させるためのプログラムである。

情報処理システムの外観構成の一例を示す概略斜視図である。 情報処理システムに含まれる情報処理装置、スマートデバイス、受像機、無人航空機、及び撮像装置の関係の一例を示す概念図である。 情報処理装置の電気系のハードウェア構成の一例、及び情報処理装置と周辺機器との関係性の一例を示すブロック図である。 スマートデバイスの電気系のハードウェア構成の一例を示すブロック図である。 スマートデバイスをロール軸周りに回転させる態様の一例を示す概念図である。 スマートデバイスをヨー軸周りに回転させる態様の一例を示す概念図である。 スマートデバイスをピッチ軸周りに回転させる態様の一例を示す概念図である。 情報処理装置の要部機能の一例を示すブロック図である。 情報処理装置のＣＰＵによって実現される基準映像生成部及び仮想視点映像生成部の一例を示すブロック図である。 基準映像を生成する処理内容の一例の説明に供する概念図である 仮想視点映像を生成する処理内容の一例の説明に供する概念図である。 視点位置及び視線方向の変更に伴って仮想視点映像が変化する態様の一例を示す遷移図である。 基準映像が受像機に表示され、かつ、仮想視点映像がスマートデバイスに表示されるまでの処理内容の一例の説明に供する概念図である。 基準映像生成部、仮想視点映像生成部、取得部、及び実行部の関係性の一例を示す概念図である。 実行部の処理内容の一例の説明に供する概念図である。 スマートデバイスのディスプレイに仮想視点映像と共に注意喚起メッセージ等が表示された態様の一例を示す概念図である。 相違度が第１閾値未満の場合にスマートデバイスのディスプレイに表示される仮想視点映像の一例を示す画面図である。 設定部の処理内容の一例の説明に供する概念図である。 表示制御処理の流れの一例を示すフローチャートである。 設定処理の流れの一例を示すフローチャートである。 情報処理の流れの一例を示すフローチャートである。 情報処理の流れの変形例を示すフローチャートである。 実行部の処理内容の第１変形例の説明に供する概念図である。 視点位置範囲及び視線方向範囲の一例を示す概念図である。 仮想視点映像生成部の処理内容の第１変形例を示す概念図である。 仮想視点映像生成部の処理内容の第２変形例を示す概念図である。 視点位置範囲を示す矩形枠と案内メッセージが仮想視点映像と共にスマートデバイスのディスプレイに表示された態様の一例を示す概念図である。 図２７に示す矩形枠内で視点位置指示がタッチパネルによって受け付けられた態様の一例を示す概念図である。 視線方向範囲を示す円形枠と案内メッセージが仮想視点映像と共にスマートデバイスのディスプレイに表示され、かつ、円形枠内に向けて視線方向指示がタッチパネルによって受け付けられた態様の一例を示す概念図である。 実行部の処理内容の第２変形例の説明に供する概念図である。 仮想視点映像生成部の処理内容の第３変形例を示す概念図である。 設定部の処理内容の変形例の説明に供する概念図である。 実行部の処理内容の第３変形例の説明に供する概念図である。 実行部の処理内容の第１変形例の説明に供する概念図である。 スマートデバイスのストレージに情報処理装置側プログラムが格納されており、スマートデバイスのＣＰＵによって情報処理装置側処理が実行される場合のスマートデバイスの構成の一例を示すブロック図である。 情報処理装置側プログラムが記憶されている記憶媒体から情報処理装置のコンピュータに情報処理装置側プログラムがインストールされる態様の一例を示すブロック図である。

添付図面に従って本開示の技術に係る実施形態の一例について説明する。

先ず、以下の説明で使用される文言について説明する。

ＣＰＵとは、“Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ”の略称を指す。ＲＡＭとは、“Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。ＤＲＡＭとは、“Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。ＳＲＡＭとは、“Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ”の略称を指す。ＲＯＭとは、“Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。ＳＳＤとは、“Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ”の略称を指す。ＨＤＤとは、“Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ”の略称を指す。ＥＥＰＲＯＭとは、“Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ”の略称を指す。Ｉ／Ｆとは、“Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＩＣとは、“Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称を指す。ＡＳＩＣとは、“Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ”の略称を指す。ＰＬＤとは、“Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ”の略称を指す。ＦＰＧＡとは、“Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ”の略称を指す。ＳｏＣとは、“Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ”の略称を指す。ＣＭＯＳとは、“Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ”の略称を指す。ＣＣＤとは、“Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ”の略称を指す。ＥＬとは、“Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ”の略称を指す。ＧＰＵとは、“Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ”の略称を指す。ＬＡＮとは、“Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ”の略称を指す。３Ｄとは、“３ Ｄｉｍｅｎｓｉｏｎ”の略称を指す。ＵＳＢとは、“Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ”の略称を指す。また、本明細書の説明において、「鉛直」の意味には、完全な鉛直の意味の他に、設計上及び製造上において許容される誤差を含む略鉛直の意味も含まれる。また、本明細書の説明において、「一致」の意味には、完全な一致の意味の他に、設計上及び製造上において許容される誤差を含む略一致の意味も含まれる。

一例として図１に示すように、情報処理システム１０は、情報処理装置１２、スマートデバイス１４、複数の撮像装置１６、撮像装置１８、無線通信基地局（以下、単に「基地局」と称する）２０、及び受像機３４を備えている。なお、ここで、「スマートデバイス１４」とは、例えば、スマートフォン又はタブレット端末等の携帯型の多機能端末を指す。ここで、スマートデバイス１４は、本開示の技術に係る「第１表示装置」の一例であり、撮像装置１８は、本開示の技術に係る「第１撮像装置」及び「第２撮像装置」の一例であり、受像機３４は、本開示の技術に係る「第２表示装置」の一例である。なお、ここでは、受像機３４を例示しているが、本開示の技術はこれに限定されず、ディスプレイ付きの電子機器（例えば、スマートデバイス）であってもよい。また、基地局２０は１ヵ所に限らず複数存在していてもよい。さらに、基地局で使用する通信規格には、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）規格等を含む無線通信規格と、ＷｉＦｉ（８０２．１１）規格及び／又はＢｌｕｅｔｏｏｔｈ（登録商標）規格を含む無線通信規格とが含まれる。

撮像装置１６及び１８は、ＣＭＯＳイメージセンサを有する撮像用のデバイスであり、光学式ズーム機能及び／又はデジタルズーム機能が搭載されている。なお、ＣＭＯＳイメージセンサに代えてＣＣＤイメージセンサ等の他種類のイメージセンサを採用してもよい。以下では、説明の便宜上、撮像装置１８及び複数の撮像装置１６を区別して説明する必要がない場合、符号を付さずに「複数の撮像装置」と称する。

複数の撮像装置１６は、サッカー競技場２２内に設置されている。複数の撮像装置１６の各々は、サッカーフィールド２４を取り囲むように配置されており、サッカーフィールド２４を含む領域を撮像領域として撮像する。ここでは、複数の撮像装置１６の各々がサッカーフィールド２４を取り囲むように配置されている形態例を挙げているが、本開示の技術はこれに限定されず、複数の撮像装置１６の配置は、視聴者２８等によって生成されることが要求された仮想視点映像に応じて決定される。サッカーフィールド２４の全部を取り囲むように複数の撮像装置１６を配置してもよいし、特定の一部を取り囲むように複数の撮像装置１６を配置してもよい。撮像装置１８は、無人式航空機（例えば、マルチ回転翼型無人航空機）に設置されており、サッカーフィールド２４を含む領域を撮像領域として上空から俯瞰した状態で撮像する。サッカーフィールド２４を含む領域を上空から俯瞰した状態の撮像領域とは、サッカーフィールド２４に対する撮像装置１８による撮像面を指す。

情報処理装置１２は、管制室３２に設置されている。複数の撮像装置１６及び情報処理装置１２は、ＬＡＮケーブル３０を介して接続されており、情報処理装置１２は、複数の撮像装置１６を制御し、かつ、複数の撮像装置１６の各々によって撮像されることで得られた画像を取得する。なお、ここでは、ＬＡＮケーブル３０による有線通信方式を用いた接続を例示しているが、これに限らず、無線通信方式を用いた接続であってもよい。

サッカー競技場２２には、サッカーフィールド２４を取り囲むように観戦席２６が設けられており、観戦席２６には視聴者２８が着座している。視聴者２８は、スマートデバイス１４を所持しており、スマートデバイス１４は、視聴者２８によって用いられる。なお、ここでは、サッカー競技場２２内に視聴者２８が存在している形態例を挙げて説明しているが、本開示の技術はこれに限定されず、視聴者２８は、サッカー競技場２２外に存在していてもよい。

基地局２０は、情報処理装置１２及び無人航空機２７と電波を介して各種情報の送受信を行う。すなわち、情報処理装置１２は、基地局２０を介して、無人航空機２７と無線通信可能に接続されている。情報処理装置１２は、基地局２０を介して無人航空機２７と無線通信を行うことにより、無人航空機２７を制御したり、撮像装置１８によって撮像されることで得られた画像を無人航空機２７から取得したりする。

基地局２０は、受像機３４に対して無線通信を介して各種情報を送信する。情報処理装置１２は、基地局２０を介して、各種映像を受像機３４に送信し、受像機３４は、情報処理装置１２から送信された各種映像を受信し、受信した各種映像を画面３４Ａに表示する。なお、受像機３４は、例えば、不特定多数の観戦者等の視聴に使用される。受像機３４の設置個所は、サッカー競技場２２内であってもよいし、サッカー競技場２２外（例えば、パブリックビューイング会場）等であってもよい。なお、ここでは、受像機３４に対して無線通信を介して各種情報を送信する形態例を挙げているが、本開示の技術はこれに限定されず、例えば、受像機３４に対して有線通信を介して各種情報を送信する形態であってもよい。

情報処理装置１２はサーバに相当するデバイスであり、スマートデバイス１４は、情報処理装置１２に対するクライアント端末に相当するデバイスである。情報処理装置１２及びスマートデバイス１４が、基地局２０を介して互いに無線通信を行うことにより、スマートデバイス１４は、情報処理装置１２に対して各種サービスの提供を要求し、情報処理装置１２は、スマートデバイス１４からの要求に応じたサービスをスマートデバイス１４に提供する。

一例として図２に示すように、情報処理装置１２は、上空から観察した場合のサッカーフィールド２４を含む領域を示す俯瞰映像４６Ａを無人航空機２７から取得する。俯瞰映像４６Ａは、サッカーフィールド２４を含む領域が撮像領域（以下、単に「撮像領域」とも称する）として上空から俯瞰した状態で無人航空機２７の撮像装置１８によって撮像されることで得られた動画像である。なお、ここでは、俯瞰映像４６Ａが動画像である場合を例示しているが、俯瞰映像４６Ａは、これに限らず、上空から観察した場合のサッカーフィールド２４を含む領域を示す静止画像であってもよい。

情報処理装置１２は、複数の撮像装置１６の各々の位置から観察した場合の撮像領域を示す撮像映像４６Ｂを複数の撮像装置１６の各々から取得する。撮像映像４６Ｂは、撮像領域が複数の撮像装置１６の各々によって撮像されることで得られた動画像である。なお、ここでは、撮像映像４６Ｂが動画像である場合を例示しているが、撮像映像４６Ｂは、これに限らず、複数の撮像装置１６の各々の位置から観察した場合の撮像領域を示す静止画像であってもよい。

情報処理装置１２は、俯瞰映像４６Ａ及び撮像映像４６Ｂに基づいて仮想視点映像４６Ｃを生成する。仮想視点映像４６Ｃは、特定の視点位置及び特定の視線方向から撮像領域を観察した場合の撮像領域を示す映像である。図２に示す例において、仮想視点映像４６Ｃとは、例えば、観戦席２６内の視点位置４２及び視線方向４４から撮像領域を観察した場合の撮像領域を示す仮想視点映像を指す。仮想視点映像４６Ｃの一例としては、３Ｄポリゴンを用いた動画像が挙げられる。視点位置４２及び視線方向４４は固定されていない。つまり、視点位置４２及び視線方向４４は、視聴者２８等からの指示に応じて変動する。ここでは、視点位置４２及び視線方向４４が固定されていない形態例を挙げて説明しているが、本開示の技術はこれに限定されず、視点位置４２及び視線方向４４は固定されていてもよい。

情報処理装置１２は、複数の撮像装置によって撮像領域が撮像されることで得られた複数の画像（ここでは、一例として俯瞰映像４６Ａ及び撮像映像４６Ｂ）を合成することにより、３Ｄポリゴンを用いた動画像を生成する。情報処理装置１２は、生成した３Ｄポリゴンを用いた動画像に基づき、任意の位置及び任意の方向から撮像領域が観察された場合に相当する仮想視点映像を生成する。本実施形態では、情報処理装置１２は、視点位置４２及び視線方向４４で被写体を観察した場合の被写体を示す仮想視点映像４６を生成する。換言すると、仮想視点映像４６とは、視点位置４２に設置された仮想的な撮像装置（以下、「仮想撮像装置」とも称する）が視線方向４４を撮像方向として撮像することで得た映像に相当する映像を指す。ここでは、仮想視点映像４６Ｃとして動画像を例示しているが、これに限らず、静止画像であってもよい。なお、視点位置４２は、本開示の技術に係る「特定の視点位置」の一例であり、視線方向４４は、本開示の技術に係る「特定の視線方向」の一例である。また、仮想視点映像４６Ｃは、本開示の技術に係る「自由視点映像」の一例である。

また、ここでは、撮像装置１８によって撮像されることで得られた俯瞰映像４６Ａも生成に使用される形態例を示しているが、本開示の技術はこれに限定されない。例えば、俯瞰映像４６Ａが仮想視点映像４６Ｃの生成に供されずに、複数の撮像装置１６の各々によって撮像されることで得られた複数の撮像映像４６Ｂのみが仮想視点映像４６Ｃの生成に使用されるようにしてもよい。すなわち、撮像装置１８（例えば、マルチ回転翼型無人航空機）から得られる映像を使用せずに、複数の撮像装置１６によって撮像されることで得られた映像のみから仮想視点映像４６Ｃが生成されるようにしてもよい。なお、撮像装置１８（例えば、マルチ回転翼型無人航空機）から得られる映像を使用すれば、より高精度な仮想視点映像の生成が可能となる。

情報処理装置１２は、配信映像として後述の基準映像４６Ｂ１（図９及び図１０参照）及び仮想視点映像４６Ｃを選択的にスマートデバイス１４及び受像機３４に送信する。なお、以下では、説明の便宜上、基準映像４６Ｂ１及び仮想視点映像４６Ｃを区別して説明する必要がない場合、「配信映像」とも称する。

一例として図３に示すように、情報処理装置１２は、コンピュータ５０、受付デバイス５２、ディスプレイ５３、第１通信Ｉ／Ｆ５４、および第２通信Ｉ／Ｆ５６を備えている。コンピュータ５０は、ＣＰＵ５８、ストレージ６０、及びメモリ６２を備えており、ＣＰＵ５８、ストレージ６０、及びメモリ６２は、バスライン６４を介して接続されている。図３に示す例では、図示の都合上、バスライン６４として１本のバスラインが図示されているが、複数のバスラインであってもよい。また、バスライン６４には、シリアルバス、又は、データバス、アドレスバス、及びコントロールバス等で構成されるパラレルバスが含まれていてもよい。

ＣＰＵ５８は、情報処理装置１２の全体を制御する。ストレージ６０は、各種パラメータ及び各種プログラムを記憶している。ストレージ６０は、不揮発性の記憶装置である。ここでは、ストレージ６０の一例として、フラッシュメモリが採用されているが、これに限らず、ＥＥＰＲＯＭ、ＨＤＤ、又はＳＳＤ等であってもよい。メモリ６２は、記憶装置である。メモリ６２には、各種情報が一時的に記憶される。メモリ６２は、ＣＰＵ５８によってワークメモリとして用いられる。ここでは、メモリ６２の一例として、ＤＲＡＭが採用されているが、これに限らず、他の種類の記憶装置であってもよい。

受付デバイス５２は、情報処理装置１２の使用者等からの指示を受け付ける。受付デバイス５２の一例としては、タッチパネル、ハードキー、及びマウス等が挙げられる。受付デバイス５２は、バスライン６４等に接続されており、受付デバイス５２によって受け付けられた指示は、ＣＰＵ５８によって取得される。

ディスプレイ５３は、バスライン６４に接続されており、ＣＰＵ５８の制御下で、各種情報を表示する。ディスプレイ５３の一例としては、液晶ディスプレイが挙げられる。なお、液晶ディスプレイに限らず、有機ＥＬディスプレイ又は無機ＥＬディスプレイ等の他の種類のディスプレイがディスプレイ５３として採用されてもよい。

第１通信Ｉ／Ｆ５４は、ＬＡＮケーブル３０に接続されている。第１通信Ｉ／Ｆ５４は、例えば、ＦＰＧＡを有するデバイスによって実現される。第１通信Ｉ／Ｆ５４は、バスライン６４に接続されており、ＣＰＵ５８と複数の撮像装置１６との間で各種情報の授受を司る。例えば、第１通信Ｉ／Ｆ５４は、ＣＰＵ５８の要求に従って複数の撮像装置１６を制御する。また、第１通信Ｉ／Ｆ５４は、複数の撮像装置１６の各々によって撮像されることで得られた撮像映像４６Ｂ（図２参照）を取得し、取得した撮像映像４６ＢをＣＰＵ５８に出力する。なお、ここでは、第１通信Ｉ／Ｆ５４は有線通信Ｉ／Ｆとして例示されているが、高速無線ＬＡＮ等の無線通信Ｉ／Ｆであってもよい。

第２通信Ｉ／Ｆ５６は、基地局２０に対して無線通信可能に接続されている。第２通信Ｉ／Ｆ５６は、例えば、ＦＰＧＡを有するデバイスによって実現される。第２通信Ｉ／Ｆ５６は、バスライン６４に接続されている。第２通信Ｉ／Ｆ５６は、基地局２０を介して、無線通信方式で、ＣＰＵ５８と無人航空機２７との間で各種情報の授受を司る。また、第２通信Ｉ／Ｆ５６は、基地局２０を介して、無線通信方式で、ＣＰＵ５８とスマートデバイス１４との間で各種情報の授受を司る。また、第２通信Ｉ／Ｆ５６は、基地局２０を介して、無線通信方式で、ＣＰＵ５８による受像機３４に対する各種映像の送信を司る。なお、第１通信Ｉ／Ｆ５４及び第２通信Ｉ／Ｆ５６の少なくとも一方は、ＦＰＧＡの代わりに固定回路で構成することも可能である。また、第１通信Ｉ／Ｆ５４及び第２通信Ｉ／Ｆ５６の少なくとも一方は、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤ等で構成された回路であってもよい。

一例として図４に示すように、スマートデバイス１４は、コンピュータ７０、ジャイロセンサ７４、受付デバイス７６、ディスプレイ７８、マイクロフォン８０、スピーカ８２、撮像装置８４、及び通信Ｉ／Ｆ８６を備えている。コンピュータ７０は、ＣＰＵ８８、ストレージ９０、及びメモリ９２を備えており、ＣＰＵ８８、ストレージ９０、及びメモリ９２は、バスライン９４を介して接続されている。図４に示す例では、図示の都合上、バスライン９４として１本のバスラインが図示されているが、バスライン９４は、シリアルバスで構成されているか、或いは、データバス、アドレスバス、及びコントロールバス等を含んで構成されている。また、図４では、ＣＰＵ８８、受付デバイス７６、ディスプレイ７８、マイクロフォン８０、スピーカ８２、撮像装置８４、及び通信Ｉ／Ｆ８６は共通するバスで接続されているが、ＣＰＵ８８と各デバイスは専用バス又は専用通信線で接続されていてもよい。

ＣＰＵ８８は、スマートデバイス１４の全体を制御する。ストレージ９０は、各種パラメータ及び各種プログラムを記憶している。ストレージ９０は、不揮発性の記憶装置である。ここでは、ストレージ９０の一例として、フラッシュメモリが採用されているが、これに限らず、ＥＥＰＲＯＭ、ＨＤＤ、又はＳＳＤ等であってもよい。メモリ９２には、各種情報が一時的に記憶され、メモリ９２は、ＣＰＵ８８によってワークメモリとして用いられる。ここでは、メモリ９２の一例として、ＲＡＭが採用されているが、これに限らず、他の種類の記憶装置であってもよい。

ジャイロセンサ７４は、スマートデバイス１４のヨー軸周りの角度（以下、「ヨー角」とも称する）、スマートデバイス１４のロール軸周りの角度（以下、「ロール角」とも称する）、及びスマートデバイス１４のピッチ軸周りの角度（以下、「ピッチ角」とも称する）を測定する。ジャイロセンサ７４は、バスライン９４に接続されており、ジャイロセンサ７４によって測定されたヨー角、ロール角、及びピッチ角を示す角度情報は、バスライン９４等を介してＣＰＵ８８によって取得される。

受付デバイス７６は、本開示の技術に係る「受付部（アクセプタ）」の一例であり、スマートデバイス１４の使用者等（ここでは、一例として、視聴者２８）からの指示を受け付ける。受付デバイス７６の一例としては、タッチパネル７６Ａ及びハードキー等が挙げられる。受付デバイス７６は、バスライン９４に接続されており、受付デバイス７６によって受け付けられた指示は、ＣＰＵ８８によって取得される。

ディスプレイ７８は、バスライン９４に接続されており、ＣＰＵ８８の制御下で、各種情報を表示する。ディスプレイ７８の一例としては、液晶ディスプレイが挙げられる。なお、液晶ディスプレイに限らず、有機ＥＬディスプレイ等の他の種類のディスプレイがディスプレイ７８として採用されてもよい。

スマートデバイス１４は、タッチパネル・ディスプレイを備えており、タッチパネル・ディスプレイは、タッチパネル７６Ａ及びディスプレイ７８によって実現される。すなわち、ディスプレイ７８の表示領域に対してタッチパネル７６Ａを重ね合わせることによって、あるいはディスプレイ７８の内部にタッチパネル機能を内蔵（「インセル」型）することでタッチパネル・ディスプレイが形成される。

マイクロフォン８０は、収集した音を電気信号に変換する。マイクロフォン８０は、バスライン９４に接続されている。マイクロフォン８０によって収集された音が変換されて得られた電気信号は、バスライン９４を介してＣＰＵ８８によって取得される。

スピーカ８２は、電気信号を音に変換する。スピーカ８２は、バスライン９４に接続されている。スピーカ８２は、ＣＰＵ８８から出力された電気信号を、バスライン９４を介して受信し、受信した電気信号を音に変換し、電気信号を変換して得た音をスマートデバイス１４の外部に出力する。

撮像装置８４は、被写体を撮像することで、被写体を示す画像を取得する。撮像装置８４は、バスライン９４に接続されている。撮像装置８４によって被写体が撮像されることで得られた画像は、バスライン９４を介してＣＰＵ８８によって取得される。ここでは、スピーカ８２はスマートデバイス１４と一体となっているが、スマートデバイス１４と有線または無線で接続された別途ヘッドホン（イヤホンを含む）による音の出力を採用してもよい。

通信Ｉ／Ｆ８６は、基地局２０に対して無線通信可能に接続されている。通信Ｉ／Ｆ８６は、例えば、回路（例えば、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤ等）で構成されたデバイスによって実現される。通信Ｉ／Ｆ８６は、バスライン９４に接続されている。通信Ｉ／Ｆ８６は、基地局２０を介して、無線通信方式で、ＣＰＵ８８と外部装置との間で各種情報の授受を司る。ここで、「外部装置」としては、例えば、情報処理装置１２が挙げられる。

一例として図５に示すように、ロール軸は、スマートデバイス１４のディスプレイ７８の中心を貫く軸である。ロール軸周りのスマートデバイス１４の回転角度がロール角としてジャイロセンサ７４によって測定される。また、一例として図６に示すように、ヨー軸は、スマートデバイス１４の側周面のうちの長手方向の側周面の中心を貫く軸である。ヨー軸周りのスマートデバイス１４の回転角度がヨー角としてジャイロセンサ７４によって測定される。更に、一例として図７に示すように、ピッチ軸は、スマートデバイス１４の側周面のうちの短手方向の側周面の中心を貫く軸である。ピッチ軸周りのスマートデバイス１４の回転角度がピッチ角としてジャイロセンサ７４によって測定される。

一例として図８に示すように、情報処理装置１２において、ストレージ６０には、情報処理プログラム６０Ａ、表示制御プログラム６０Ｂ、及び設定プログラム６０Ｃが記憶されている。なお、以下では、情報処理プログラム６０Ａ、表示制御プログラム６０Ｂ、及び設定プログラム６０Ｃを区別して説明する必要がない場合、符号を付さずに「情報処理装置側プログラム」と称する。

ＣＰＵ５８は、本開示の技術に係る「プロセッサ」の一例であり、メモリ６２は、本開示の技術に係る「メモリ」の一例である。ＣＰＵ５８は、ストレージ６０から情報処理装置側プログラムを読み出し、読み出した情報処理装置側プログラムをメモリ６２に展開する。ＣＰＵ５８は、メモリ６２に展開した情報処理装置側プログラムに従って、スマートデバイス１４、撮像装置１６、及び無人航空機２７との間で各種情報の授受を行い、かつ、受像機３４に対する各種映像の送信を行う。

ＣＰＵ５８は、ストレージ６０から情報処理プログラム６０Ａを読み出し、読み出した情報処理プログラム６０Ａをメモリ６２に展開する。ＣＰＵ５８は、メモリ６２に展開した情報処理プログラム６０Ａに従って取得部１０２及び実行部１０４として動作する。ＣＰＵ５８は、取得部１０２及び実行部１０４として動作することで、後述の情報処理（図２１参照）を実行する。

ＣＰＵ５８は、ストレージ６０から表示制御プログラム６０Ｂを読み出し、読み出した表示制御プログラム６０Ｂをメモリ６２に展開する。ＣＰＵ５８は、メモリ６２に展開した表示制御プログラム６０Ｂに従って制御部１０６として動作することで、後述の表示制御処理（図１９参照）を実行する。

ＣＰＵ５８は、ストレージ６０から設定プログラム６０Ｃを読み出し、読み出した設定プログラム６０Ｃをメモリ６２に展開する。ＣＰＵ５８は、メモリ６２に展開した設定プログラム６０Ｃに従って設定部１０８として動作する。ＣＰＵ５８は、設定部１０８として動作することで、後述の設定処理（図２０参照）を実行する。

一例として図９に示すように、ストレージ６０には、映像生成プログラム６０Ｄが記憶されており、ＣＰＵ５８は、ストレージ６０から映像生成プログラム６０Ｄを読み出し、読み出した映像生成プログラム６０Ｄをメモリ６２に展開する。ＣＰＵ５８は、メモリ６２に展開した映像生成プログラム６０Ｄに従って基準映像生成部１００Ａ及び仮想視点映像生成部１００Ｂとして動作する。基準映像生成部１００Ａは、基準映像４６Ｂ１を生成し、仮想視点映像生成部１００Ｂは、仮想視点映像４６Ｃを生成する。

一例として図１０に示すように、情報処理装置１２では、受付デバイス５２によって撮像映像指定情報が受け付けられる。撮像映像指定情報とは、複数の撮像映像のうちの１つを指定する情報を指す。撮像映像指定情報は、例えば、受付デバイス５２によって受け付けられる。受付デバイス５２による撮像映像指定情報の受け付けは、例えば、映像制作者（図示省略）によって受付デバイス５２が操作されることによって実現される。具体的には、情報処理装置１２のディスプレイ５３に複数の撮像映像４６Ｂが並べて表示されている状態で、映像制作者によって受付デバイス５２によって受け付けられた撮像映像指定情報に従って、複数の撮像映像のうちの１つが指定される。

基準映像生成部１００Ａは、撮像装置１８及び複数の撮像装置１６から複数の撮像映像を受信し、受信した複数の撮像映像から撮像映像指定情報により指定された撮像映像を取得し、取得した撮像映像４６Ｂに対して各種の信号処理（例えば、公知の信号処理）を施すことで基準映像４６Ｂ１を生成する。つまり、基準映像４６Ｂ１は、複数の撮像装置１６のうちの何れかの撮像装置（以下、「基準撮像装置」とも称する）によって撮像領域が撮像されることで得られた映像である。ここで、「基準映像４６Ｂ１」とは、例えば、生中継映像、又は、予め撮影した映像等である。生中継映像又は予め撮影した映像は、例えば、テレビで放映されたり、インターネットで配信されたりする映像である。なお、ここでは、撮像映像指示情報により指示された撮像映像４６Ｂに基づいて生中継映像が生成されているが、これはあくまでも一例に過ぎず、撮像映像指定情報により指定された撮像映像４６Ｂそのものが基準映像４６Ｂ１として採用されるようにしてもよい。

一例として図１１に示すように、スマートデバイス１４のタッチパネル７６Ａは、視点視線指示を受け付ける。この場合、例えば、先ず、情報処理装置１２からの配信映像がスマートデバイス１４によって受信される。次に、スマートデバイス１４によって情報処理装置１２から受信された配信映像はディスプレイ７８に表示される。ディスプレイ７８に表示されている状態で、視聴者２８によってタッチパネル７６Ａが操作されることで視点視線指示がタッチパネル７６Ａによって受け付けられる。

視点視線指示には、撮像領域に対する視点位置４２（図２参照）の指示である視点位置指示と、撮像領域に対する視線方向４４（図２参照）の指示である視線方向指示とが含まれている。本実施形態では、先ず、視点位置指示が行われ、次に、視線方向指示が行われる。すなわち、先ず、視点位置４２が決定され、次に、視線方向４４が決定される。

視点位置指示としては、タッチパネル７６Ａに対するタップ操作が挙げられる。また、タップ操作は、シングルタップ操作であってもよいし、ダブルタップ操作であってもよい。また、タップ操作に代えて、ロングタッチ操作であってもよい。視線方向指示としては、スライド操作が挙げられる。ここで、「スライド操作」とは、例えば、タッチパネル７６Ａに対して指示体（例えば、視聴者２８の指）が接触している位置を直線的にスライドさせる操作を指す。このように、タッチパネル７６Ａ内のタップ操作が行われた位置は撮像領域に対する視点位置４２に対応しており、タッチパネル７６Ａ内のスライド操作が行われた方向が撮像領域に対する視線方向４４に対応している。

仮想視点映像生成部１００Ｂは、タッチパネル７６Ａによって受け付けられた視点視線指示を取得し、取得した視点視線指示に従って複数の撮像映像を用いることで仮想視点映像４６Ｃを生成する。すなわち、仮想視点映像生成部１００Ｂは、視点位置指示に従った視点位置４２と視線方向指示に従った視線方向４４から撮像領域を観察した場合の撮像領域を示す仮想視点映像４６Ｃを生成する。仮想視点映像４６Ｃの生成は、例えば、複数の撮像映像に基づく３Ｄポリゴンの生成によって実現される。

一例として図１２に示すように、視点視線指示が変更された場合、すなわち、視点位置４２及び視線方向４４が変更された場合、仮想視点映像４６Ｃの態様、すなわち、仮想視点映像４６に示される被写体の大きさ及び向き等が変更される。なお、仮想視点映像４６Ｃの拡大は、例えば、スマートデバイス１４のタッチパネル７６Ａに対するピンチアウト操作に応じて実現され、仮想視点映像４６Ｃの縮小は、例えば、スマートデバイス１４のタッチパネル７６Ａに対するピンチイン操作に応じて実現される。

一例として図１３に示すように、取得部１０２は、基準映像生成部１００Ａによって生成された基準映像４６Ｂ１を基準映像生成部１００Ａから取得する。また、取得部１０２は、仮想視点映像生成部１００Ｂによって生成された仮想視点映像４６Ｃを仮想視点映像生成部１００Ｂから取得する。

制御部１０６は、基準映像制御部１０６Ａ及び仮想視点映像制御部１０６Ｂを有する。基準映像制御部１０６Ａは、取得部１０２によって取得された基準映像４６Ｂ１を、スマートデバイス１４のディスプレイ７８とは異なる表示装置である受像機３４に送信することで、画面３４Ａに基準映像４６Ｂ１が表示されるように受像機３４を制御する。つまり、受像機３４は、基準映像制御部１０６Ａから送信された基準映像４６Ｂ１を受信し、受信した基準映像４６Ｂ１を画面３４Ａに表示する。

仮想視点映像制御部１０６Ｂは、取得部１０２によって取得された仮想視点映像４６Ｃをスマートデバイス１４に送信することで、ディスプレイ７８に仮想視点映像４６Ｃが表示されるようにスマートデバイス１４を制御する。つまり、スマートデバイス１４は、仮想視点映像制御部１０６Ｂから送信された仮想視点映像４６Ｃを受信し、受信した仮想視点映像４６Ｃをディスプレイ７８に表示する。

一例として図１４に示すように、実行部１０４は、取得部１０２によって取得された基準映像４６Ｂ１と取得部１０２によって取得された仮想視点映像４６Ｃとに基づいて特定処理を実行する。ここで、特定処理は、取得部１０２によって取得された基準映像４６Ｂ１と取得部１０２によって取得された仮想視点映像４６Ｃとの相違度（以下、単に「相違度」と称する）が第１閾値以上の場合に行われる処理である。特定処理の一例としては、相違度を第１閾値未満に収めるのに寄与する処理が挙げられる。また、実行部１０４は、仮想視点映像４６Ｃの変化に応じて特定処理を実行する。つまり、実行部１０４は、仮想視点映像４６Ｃの変化に追従しながら特定処理を実行する。

一例として図１５に示すように、実行部１０４は、相違度算出部１０４Ａ、判定部１０４Ｂ、及び報知処理部１０４Ｃを有する。相違度算出部１０４Ａは、取得部１０２によって取得された基準映像４６Ｂ１と取得部１０２によって取得された仮想視点映像４６Ｃとの相違度を算出する。相違度とは、例えば、基準映像４６Ｂ１と仮想視点映像４６Ｃとが相違している度合いを指す。相違度の算出は、例えば、パターンマッチング又はフーリエ変換が行われることによって得られた特徴量の比較等によって実現される。

相違度算出部１０４Ａは、算出した相違度を示す相違度情報を判定部１０４Ｂに出力する。判定部１０４Ｂは、相違度算出部１０４Ａから入力された相違度情報により示される相違度が第１閾値以上か否かを判定する。相違度が第１閾値以上である場合の一例としては、基準映像４６Ｂ１と仮想視点映像４６Ｃとの間で一致している箇所が３０パーセント未満である場合が挙げられる。

なお、本実施形態では、第１閾値として、官能試験及び／又はコンピュータ・シミュレーション等によって予め導き出された固定値が採用されている。第１閾値は、固定値である必要はなく、例えば、受付デバイス５２（図２参照）及び／又は受付デバイス７６によって受け付けられた指示に従って変更される可変値であってもよい。

判定部１０４Ｂは、相違度と第１閾値とを比較し、相違度が第１閾値以上の場合に、相違度が第１閾値以上であることを示す相違度大情報を報知処理部１０４Ｃに出力する。または、判定部１０４Ｂは、相違度と第１閾値とを比較し、相違度が第１閾値未満の場合には、相違度大情報を出力せず、相違度算出部１０４Ａからの相違度情報の入力待ちを行う。

報知処理部１０４Ｃは、判定部１０４Ｂから相違度大情報が入力されると、上述した特定処理として報知処理を含む処理を実行する。ここで、「報知処理」とは、相違度が第１閾値以上であることを報知する処理を指す。報知先は、例えば、視聴者２８である。報知処理は、注意喚起指示情報が報知処理部１０４Ｃによってスマートデバイス１４に送信されることで実現される。ここで、注意喚起指示情報とは、相違度が第１閾値以上であることについて視聴者２８に対して注意喚起することをスマートデバイス１４に指示する情報を指す。図１５に示す例では、スマートデバイス１４のディスプレイ７８に仮想視点映像４６Ｃが表示されている状態で、スマートデバイス１４に注意喚起指示情報が入力される態様が示されている。

一例として図１６に示すように、スマートデバイス１４に対して注意喚起指示情報が入力されると、ＣＰＵ８８の制御下で、ディスプレイ７８には、仮想視点映像４６Ｃが表示された状態で、かつ、仮想視点映像４６Ｃに並列した状態で、注意喚起メッセージが表示される。なお、ディスプレイ７８による注意喚起メッセージの表示は、本開示の技術に係る「可視報知」の一例である。

図１６に示す例では、注意喚起メッセージとして、「生中継映像からかなり離れています！」というメッセージが示されている。なお、注意喚起メッセージは、これ以外のメッセージであってもよく、例えば、「現在、生中継映像とは全く異なる映像が表示されています」又は「生中継映像とは全く異なる映像が表示されていますので、現在表示されている映像を生中継映像に近付けることをご希望の場合は、視点位置及び視線方向を新たに指示してください。」等のメッセージであってもよい。つまり、現時点で視聴者２８がスマートデバイス１４のディスプレイ７８を介して視認している映像（図１６に示す例では、仮想視点映像４６Ｃ）が、受像機３４の画面３４Ａに表示されている基準映像４６Ｂ１（例えば、生中継映像）との相違度が第１閾値以上であることを視聴者２８に視覚的に認識させるメッセージであればよい。

また、図１６に示す例では、ディスプレイ７８に注意喚起メッセージと共に、推奨視点位置情報及び推奨視線方向情報が表示されている。推奨視点位置は、相違度を小さくするのに要する視点位置４２を指す。推奨視線方向は、相違度を小さくするのに要する視線方向４４を指す。図１６に示す例では、推奨視点位置情報として、推奨視点位置を指し示す矢印Ｐ１と「推奨視点位置」という案内メッセージとを含む情報が示されており、推奨視線方向情報として、推奨視線方向を指し示す矢印Ｐ２と「推奨視線方向」という案内メッセージとを含む情報が示されている。視聴者２８は、タッチパネル７６Ａに対してスライド操作又はフリック操作等を行うことで画面を移動させ、視点位置４２を調節する。

なお、スマートデバイス１４のＣＰＵ８８は、視点位置４２が推奨視点位置に近付くに従って矢印Ｐ１は短くなり、視点位置４２が推奨視点位置から離れるに従って矢印Ｐ１が長くなるように推奨視点位置情報を制御してもよい。ＣＰＵ８８は、矢印Ｐ２の向きも、現時点の視線方向４４と推奨視線方向との相違度に従って変更するようにしてもよい。

また、ここでは、ディスプレイ７８にメッセージが表示される形態例を挙げて説明したが、既定色（例えば、赤色）の特定の光源（図示省略）を点灯させることによって相違度が第１閾値以上であることが可視報知されるようにしてもよい。また、複数色の光源（例えば、緑色の光源と黄色の光源）を選択的に点滅させ、点滅間隔を長くしたり短くしたりすることで推奨視点位置及び推奨視線方向を視聴者２８に対して視覚的に認識させるようにしてもよい。

また、上記の注意喚起メッセージに相当する情報、推奨視点位置情報、及び／又は推奨視線方向情報を視聴者２８に知覚させる手段としては、音声再生装置及び／又はバイブレータが挙げられる。この場合、例えば、音声再生装置を用いた音声による可聴報知、及び／又はバイブレータを用いた触覚報知によって注意喚起メッセージに相当する情報、推奨視点位置情報、及び／又は推奨視線方向情報を視聴者２８に知覚させる。音声による可聴報知は、骨伝導方式による可聴報知であってもよい。バイブレータを用いた触覚報知は、例えば、バイブレータによる振動パターン（例えば、振動周期及び振幅等）を変化させることで実現される。このように、上記の注意喚起メッセージに相当する情報、推奨視点位置情報、及び／又は推奨視線方向情報は、ディスプレイ７８等による可視報知、音声再生装置を用いた可聴報知、及び／又はバイブレータ等による触覚報知によって視聴者２８によって知覚させるようにすればよい。

判定部１０４Ｂは、相違度と第１閾値とを比較し、相違度が第１閾値未満の場合には、相違度大情報を出力しないので、一例として図１７に示すように、スマートデバイス１４のディスプレイ７８には、ＣＰＵ８８の制御下で、仮想視点映像４６Ｃが表示されるものの、注意喚起メッセージ、推奨視点位置情報、及び推奨視線方向情報は表示されない。

一例として図１８に示すように、設定部１０８は、相違度変化量算出部１０８Ａ、変化量判定部１０８Ｂ、及びモード指示部１０８Ｃを有する。設定部１０８は、追従モードと非追従モードとを選択的に設定する。追従モードとは、実行部１０４が仮想視点映像４６Ｃの変化に追従しながら報知処理する動作モードを指し、非追従モードとは、実行部１０４が仮想視点映像４６Ｃの変化に追従しながら報知処理を実行しない動作モードを指す。

相違度変化量算出部１０８Ａは、相違度算出部１０４Ａから相違度情報を取得する。つまり、判定部１０４Ｂ（図１５参照）による相違度情報の取得タイミングと同期して相違度情報を取得し、取得した相違度情報に基づいて相違度の変化量を算出する。具体的には、先ず、相違度変化量算出部１０８Ａは、異なるタイミングで相違度情報を取得する。ここで、異なるタイミングとは、例えば、Ｎを１以上の整数とした場合、Ｎ回目の取得タイミングとＮ＋１回目の取得タイミングとを指す。次に、相違度変化量算出部１０８Ａは、Ｎ回目の取得タイミングで取得した相違度情報により示される相違度から、Ｎ＋１回目の取得タイミングで取得した相違度情報により示される相違度への変化量を算出する。ここで、「変化量」とは、例えば、Ｎ回目の取得タイミングで取得した相違度情報により示される相違度とＮ＋１回目の取得タイミングで取得した相違度情報により示される相違度との差分の絶対値が挙げられる。なお、差分の絶対値に代えて、Ｎ回目の取得タイミングで取得した相違度情報により示される相違度に対するＮ＋１回目の取得タイミングで取得した相違度情報により示される相違度の割合であってもよく、相違度の変化量を示す情報であれば如何なる情報であってもよい。

変化量判定部１０８Ｂは、相違度変化量算出部１０８Ａによって算出された変化量が第２閾値未満か否かを判定する。なお、本実施形態では、第２閾値として、官能試験及び／又はコンピュータ・シミュレーション等によって予め導き出された固定値が採用されている。第２閾値は、固定値である必要はなく、例えば、受付デバイス５２（図２参照）及び／又は受付デバイス７６によって受け付けられた指示に従って変更される可変値であってもよい。

変化量判定部１０８Ｂは、相違度変化量算出部１０８Ａによって算出された変化量が第２閾値未満の場合に、第２閾値未満情報をモード指示部１０８Ｃに出力する。また、変化量判定部１０８Ｂは、相違度変化量算出部１０８Ａによって算出された変化量が第２閾値以上の場合に、第２閾値以上情報をモード指示部１０８Ｃに出力する。

モード指示部１０８Ｃは、変化量判定部１０８Ｂから第２閾値未満情報が入力された場合に、実行部１０４の動作モードとして追従モードを指示する追従モード指示情報を出力する。モード指示部１０８Ｃは、変化量判定部１０８Ｂから第２閾値以上情報が入力された場合に、実行部１０４の動作モードとして非追従モードを指示する非追従モード指示情報を出力する。実行部１０４は、モード指示部１０８Ｃから追従モード指示情報が入力された場合に、追従モード指示情報により指示された追従モードで動作する。実行部１０４は、モード指示部１０８Ｃから非追従モード指示情報が入力された場合に、非追従モード指示情報により指示された非追従モードで動作する。

このように、設定部１０８は、相違度の変化量が第２閾値未満の場合に、実行部１０４の動作モードとして追従モードを設定し、相違度の変化量が第２閾値以上の場合に、実行部１０４の動作モードとして非追従モードを設定する。

次に、情報処理システム１０の作用について説明する。

先ず、情報処理装置１２のＣＰＵ５８によって実行される表示制御処理の流れの一例について図１９を参照しながら説明する。なお、ここでは、説明の便宜上、基準映像生成部１００Ａによって基準映像４６Ｂ１が既に生成されており、かつ、仮想視点映像生成部１００Ｂによって仮想視点映像４６Ｃが既に生成されていることを前提として説明する。

図１９に示す表示制御処理では、先ず、ステップＳＴ２００で、取得部１０２は、基準映像生成部１００Ａによって生成された基準映像４６Ｂ１を基準映像生成部１００Ａから取得し、その後、表示制御処理はステップＳＴ２０２へ移行する。

ステップＳＴ２０２で、基準映像制御部１０６Ａは、ステップＳＴ２００で取得された基準映像４６Ｂ１を受像機３４に送信することで、受像機３４に対して基準映像４６Ｂ１を表示させる。すなわち、受像機３４は、基準映像４６Ｂ１を受信し、受信した基準映像４６Ｂ１を画面３４Ａに表示する。

次のステップＳＴ２０４で、取得部１０２は、仮想視点映像生成部１００Ｂによって生成された仮想視点映像４６Ｃを仮想視点映像生成部１００Ｂから取得し、その後、表示制御処理はステップＳＴ２０６へ移行する。

ステップＳＴ２０６で、仮想視点映像制御部１０６Ｂは、ステップＳＴ２０４で取得された仮想視点映像４６Ｃをスマートデバイス１４に送信することで、スマートデバイス１４に対して仮想視点映像４６Ｃを表示させる。すなわち、スマートデバイス１４は、仮想視点映像４６Ｃを受信し、受信した仮想視点映像４６Ｃをディスプレイ７８に表示する。

次のステップＳＴ２０８で、制御部１０６は、表示制御処理を終了する条件（以下、「表示制御処理終了条件」と称する）を満足したか否かを判定する。表示制御処理終了条件としては、例えば、受付デバイス５２又は７６によって、表示制御処理を終了させる指示が受け付けられた、との条件が挙げられる。ステップＳＴ２０８において、表示制御処理終了条件を満足していない場合は、判定が否定されて、表示制御処理はステップＳＴ２００へ移行する。ステップＳＴ２０８において、表示制御処理終了条件を満足した場合は、判定が肯定されて、表示制御処理が終了する。

次に、情報処理装置１２のＣＰＵ５８によって実行される設定処理の流れの一例について図２０を参照しながら説明する。なお、ここでは、説明の便宜上、相違度算出部１０４Ａによって相違度が算出されており、算出された相違度情報が判定部１０４Ｂ及び相違度変化量算出部１０８Ａに同期して出力されることを前提として説明する。

図２０に示す設定処理では、先ず、ステップＳＴ２５０で、相違度変化量算出部１０８Ａは、相違度算出部１０４Ａから異なるタイミングで相違度情報を取得し、その後、設定処理はステップＳＴ２５２へ移行する。

ステップＳＴ２５２で、相違度変化量算出部１０８Ａは、ステップＳＴ２５０で異なるタイミングで取得した各相違度情報により示される各相違度についての変化量を算出し、その後、設定処理はステップＳＴ２５４へ移行する。

ステップＳＴ２５４で、変化量判定部１０８Ｂは、ステップＳＴ２５２で算出された変化量が第２閾値未満か否かを判定する。ステップＳＴ２５４において、ステップＳＴ２５２で算出された変化量が第２閾値以上の場合は、判定が否定されて、設定処理はステップＳＴ２５６へ移行する。ステップＳＴ２５４において、ステップＳＴ２５２で算出された変化量が第２閾値未満の場合は、判定が肯定されて、設定処理はステップＳＴ２５８へ移行する。

ステップＳＴ２５６で、モード指示部１０８Ｃは、非追従モード指示情報を実行部１０４に出力し、その後、設定処理はステップＳＴ２６０へ移行する。ステップＳＴ２５６の処理が実行されることで、実行部１０４は、モード指示部１０８Ｃから入力された非追従モード指示情報により指示された非追従モードで動作する。

ステップＳＴ２５８で、モード指示部１０８Ｃは、追従モード指示情報を実行部１０４に出力し、その後、設定処理はステップＳＴ２６０へ移行する。ステップＳＴ２５８の処理が実行されることで、実行部１０４は、モード指示部１０８Ｃから入力された追従モード指示情報により指示された追従モードで動作する。

次のステップＳＴ２６０で、設定部１０８は、設定処理を終了する条件（以下、「設定処理終了条件」と称する）を満足したか否かを判定する。設定処理終了条件としては、例えば、受付デバイス５２又は７６によって、設定処理を終了させる指示が受け付けられた、との条件が挙げられる。ステップＳＴ２６０において、設定処理終了条件を満足していない場合は、判定が否定されて、設定処理はステップＳＴ２５０へ移行する。ステップＳＴ２６０において、設定処理終了条件を満足した場合は、判定が肯定されて、設定処理が終了する。

次に、情報処理装置１２のＣＰＵ５８によって実行される情報処理の流れの一例について図２１を参照しながら説明する。なお、ここでは、説明の便宜上、基準映像生成部１００Ａによって基準映像４６Ｂ１が既に生成されており、かつ、仮想視点映像生成部１００Ｂによって仮想視点映像４６Ｃが既に生成されていることを前提として説明する。また、ここでは、仮想視点映像生成部１００Ｂによって生成された仮想視点映像４６Ｃがスマートデバイス１４のディスプレイ７８に表示されていることを前提として説明する。更に、ここでは、実行部１０４に対して動作モードとして追従モード又は非追従モードが設定されていることを前提として説明する。

図２１に示す情報処理では、先ず、ステップＳＴ３００で、取得部１０２は、基準映像生成部１００Ａから基準映像４６Ｂ１を取得し、その後、情報処理はステップＳＴ３０２へ移行する。

ステップＳＴ３０２で、取得部１０２は、仮想視点映像生成部１００Ｂから仮想視点映像４６Ｃを取得し、その後、情報処理はステップＳＴ３０４へ移行する。

ステップＳＴ３０４で、相違度算出部１０４Ａは、ステップＳＴ３００で取得された基準映像４６Ｂ１とステップＳＴ３０２で取得された仮想視点映像４６Ｃとの相違度を算出し、その後、情報処理はステップＳＴ３０６へ移行する。

ステップＳＴ３０６で、判定部１０４Ｂは、実行部１０４の動作モードが追従モードか否かを判定する。ステップＳＴ３０６において、実行部１０４の動作モードが非追従モードの場合は、判定が否定されて、情報処理はステップＳＴ３１２へ移行する。ステップＳＴ３０６において、実行部１０４の動作モードが追従モードの場合は、判定が肯定されて、情報処理はステップＳＴ３０８へ移行する。

ステップＳＴ３０８で、判定部１０４Ｂは、ステップＳＴ３０４で算出された相違度が第１閾値以上か否かを判定する。ステップＳＴ３０８において、相違度が第１閾値未満の場合は、判定が否定されて、情報処理はステップＳＴ３１２へ移行する。ステップＳＴ３０８において、相違度が第１閾値以上の場合は、判定が肯定されて、情報処理はステップＳＴ３１０へ移行する。

ステップＳＴ３１０で、報知処理部１０４Ｃは、報知処理を実行し、その後、情報処理はステップＳＴ３１２へ移行する。報知処理部１０４Ｃによって報知処理が実行されることによって、注意喚起情報が報知処理部１０４Ｃによってスマートデバイス１４に送信される。スマートデバイス１４は、注意喚起情報を受信すると、注意喚起メッセージ、推奨視点位置情報、及び推奨視線方向情報を仮想視点映像４６Ｃと共にディスプレイ７８に表示する。このように、注意喚起メッセージ、推奨視点位置情報、及び推奨視線方向情報が可視報知されることによって、相違度が第１閾値以上であることが視聴者２８に報知される。

次のステップＳＴ３１２で、実行部１０４は、情報処理を終了する条件（以下、「情報処理終了条件」と称する）を満足したか否かを判定する。情報処理終了条件としては、例えば、受付デバイス５２又は７６によって、情報処理を終了させる指示が受け付けられた、との条件が挙げられる。ステップＳＴ３１２において、情報処理終了条件を満足していない場合は、判定が否定されて、情報処理はステップＳＴ３００へ移行する。ステップＳＴ３１２において、情報処理終了条件を満足した場合は、判定が肯定されて、情報処理が終了する。

以上説明したように、情報処理システム１０では、取得部１０２によって仮想視点映像４６Ｃと、基準映像４６Ｂ１とが取得され、実行部１０４によって、仮想視点映像４６Ｃと基準映像４６Ｂ１との相違度が第１閾値以上の場合に、相違度を第１閾値未満に収めるのに寄与する特定処理が実行される。従って、基準映像４６Ｂ１との相違度が第１閾値未満に収まる仮想視点映像４６Ｃの取得に寄与することができる。

なお、上記では、仮想視点映像４６Ｃを例示したが、仮想視点映像４６Ｃに代えて、撮像映像４６Ｂそのものをタイムスライス自由視点映像として用いてもよいし、仮想視点映像４６Ｃとタイムスライス自由視点映像とを併用してもよい。また、動画像に限らず、静止画像の自由視点映像を用いてもよい。これにより、基準映像４６Ｂ１との相違度が第１閾値未満に収まる自由視点映像の取得に寄与することができる。

また、情報処理システム１０では、実行部１０４によって特定処理として報知処理が実行される。報知処理が実行されることによって、相違度が第１閾値以上であることを示す注意喚起メッセージが視聴者２８に報知される。従って、仮想視点映像４６Ｃと基準映像４６Ｂ１との相違度が第１閾値以上であることを視聴者２８に気付かせることができる。

また、情報処理システム１０では、視聴者２８に対して、注意喚起メッセージが可視報知、可聴報知、及び／又は触覚報知が行われる報知処理が実行される。従って、仮想視点映像４６Ｃと基準映像４６Ｂ１との相違度が第１閾値以上であることを視聴者２８に感受させることができる。

また、情報処理システム１０では、実行部１０４によって、仮想視点映像４６Ｃの変化に応じた特定処理が実行される。従って、仮想視点映像４６Ｃが変化したとしても基準映像４６Ｂ１との相違度が第１閾値未満に収まる仮想視点映像の取得に即時的に寄与することができる。

また、情報処理システム１０では、設定部１０８によって追従モードと非追従モードとが選択的に設定される。従って、仮想視点映像４６Ｃの変化に追従しながら特定処理が常に実行される場合に比べ、消費電力を削減することができる。

また、情報処理システム１０では、設定部１０８によって、相違度の変化量が第２閾値未満の場合に追従モードが設定され、相違度の変化量が第２閾値以上の場合に非追従モードが設定される。従って、視聴者２８の意図に反して特定処理が実行されることを回避することができる。

また、情報処理システム１０では、制御部１０６によって、スマートデバイス１４のディスプレイ７８に仮想視点映像４６Ｃが表示される。従って、視聴者２８に対して仮想視点映像４６Ｃを視覚的に認識させることができる。

また、情報処理システム１０では、制御部１０６によって、受像機３４の画面３４Ａに基準映像４６Ｂ１が表示される。従って、受像機３４の視聴者に対して基準映像４６Ｂ１を視覚的に認識させることができる。

また、情報処理システム１０では、基準映像４６Ｂ１として生中継映像が採用されている。従って、生中継映像との相違度が第１閾値未満に収まる仮想視点映像４６Ｃの取得に寄与することができる。

また、情報処理システム１０では、基準撮像装置によって撮像領域が撮像されることで得られた映像が基準映像４６Ｂ１として用いられている。従って、撮像領域が撮像されることで得られた映像以外の映像（例えば、仮想的な映像）が基準映像として用いられる場合に比べ、撮像されることで得られた映像と仮想視点映像４６Ｃとの差異を視聴者２８等に対して容易に把握させることができる。

また、情報処理システム１０では、外部から指示された視点位置４２及び視線方向４４が用いられる。つまり、タッチパネル７６Ａによって受け付けられた視点視線指示に従って視点位置４２及び視線方向４４が決定される。従って、視聴者２８が意図する視点位置及び視線方向から撮像領域を観察した場合の仮想視点映像４６Ｃを生成することができる。

更に、情報処理システム１０では、特定処理として、相違度を第１閾値未満に収めるのに寄与する処理が採用されている。従って、基準映像４６Ｂ１との相違度が第１閾値未満に収まる仮想視点映像４６Ｃの取得に寄与することができる。

なお、上記実施形態では、情報処理装置１２によって基準映像４６Ｂ１及び仮想視点映像４６Ｃが生成される形態例を挙げて説明したが、本開示の技術はこれに限定されない。情報処理装置１２とは異なる装置（以下、「映像生成装置」と称する）によって基準映像４６Ｂ１及び／又は仮想視点映像４６Ｃが生成され、映像生成装置によって生成された映像が取得部１０２によって取得されるようにしてもよい。

上記実施形態では、実行部１０４によって実行される特定処理として報知処理を例示したが、本開示の技術はこれに限定されず、上記実施形態で説明した情報処理（図２１参照）に代えて、図２２に示す情報処理が実行されるようにしてもよい。図２２に示す情報処理は、図２１に示す情報処理に比べ、ステップＳＴ３１０に代えてステップＳＴ３１０Ａを有する点が異なる。ステップＳＴ３１０Ａでは、制限処理部１０４Ｄ（図２３参照）によって制限処理が実行される。

制限処理とは、視点位置４２を指示可能な範囲を、相違度を第１閾値未満に収める範囲として定められた視点位置範囲Ｒ１（図２４参照）に制限し、かつ、視線方向４４を指示可能な範囲を、相違度を第１閾値未満に収める範囲として定められた視線方向範囲Ｒ２（図２４参照）に制限する処理を指す。

一例として図２３に示すように、制限処理部１０４Ｄは、制限処理を実行することで、視点視線制限指示情報を仮想視点映像生成部１００Ｂに出力する。視点視線制限指示情報は、視点位置制限指示情報と視線方向制限指示情報とを含む情報である。視点位置制限指示情報とは、視点位置４２を指示可能な範囲を視点位置範囲Ｒ１（図２４参照）に制限する指示を示す情報を指し、視線方向制限指示情報とは、視線方向４４を指示可能な範囲を視線方向範囲Ｒ２（図２４参照）に制限する指示を示す情報を指す。

この場合、一例として図２４に示すように、視点位置４２が強制的に視点位置範囲Ｒ１に収められ、かつ、視線方向４４が強制的に視線方向範囲Ｒ２に収められる。換言すると、視点位置４２が視点位置範囲Ｒ１に追従し、視線方向４４が視線方向範囲Ｒ２に追従する。例えば、図２４において２点鎖線で示すように、視点位置４２及び視線方向４４が、視点位置範囲及び視線方向範囲の外側に一旦離れたとしても、視点位置４２及び視線方向４４は、再び視点位置範囲内及び視線方向範囲内に戻される。

視点位置４２が視点位置範囲Ｒ１のどの位置に配置されるかについては、視点位置範囲Ｒ１と現時点での視点位置４２との位置関係に応じて決定される。例えば、視点位置範囲Ｒ１のうち、現時点での視点位置４２と最も近い位置に視点位置４２が変更される。また、視線方向が視線方向範囲Ｒ２のどの方向に向けられるかについては、視線方向範囲Ｒ２と現時点での視線方向４４との位置関係に応じて決定される。例えば、視線方向範囲Ｒ２のうち、現時点での視線方向４４と最も近い方向に視線方向４４が変更される。

一例として図２５に示すように、仮想視点映像生成部１００Ｂは、視点視線範囲判定部１００Ｂ１及び映像生成実施部１００Ｂ２を有する。視点視線範囲判定部１００Ｂ１は、スマートデバイス１４から視点視線指示を取得し、かつ、制限処理部１０４Ｄから視点視線制限指示情報を取得する。

視点視線範囲判定部１００Ｂ１は、視点視線指示及び視点視線制限指示情報に基づいて、視点位置４２が視点位置範囲Ｒ１内であり、かつ、視線方向４４が視線方向範囲Ｒ２内か否かを判定する。視点視線範囲判定部１００Ｂ１は、視点位置４２が視点位置範囲Ｒ１外であり、かつ、視線方向４４が視線方向範囲Ｒ２外の場合に、現時点の視点位置４２を視点位置範囲Ｒ１に収め、かつ、現時点の視線方向４４を視線方向範囲Ｒ２に収めるように視点視線指示を調節する。そして、視点視線範囲判定部１００Ｂ１は、調節した視点視線指示を映像生成実施部１００Ｂ２に出力する。映像生成実施部１００Ｂ２は、視点視線範囲判定部１００Ｂ１から入力された視点視線指示に従って仮想視点映像４６Ｃの生成を実施する。これにより、視点位置範囲Ｒ１に収まる視点位置４２及び視線方向範囲Ｒ２に収まる視線方向４４に従って、基準映像４６Ｂ１との相違度が第１閾値未満の仮想視点映像４６Ｃが生成される。従って、基準映像４６Ｂ１と仮想視点映像４６Ｃとの相違度を第１閾値未満に維持することができる。

また、例えば、図２６に示すように、制限処理部１０４Ｄは、視点視線制限指示情報を視点視線範囲判定部１００Ｂ１のみならず、スマートデバイス１４にも出力するようにしてもよい。この場合、一例として図２７に示すように、スマートデバイス１４では、ＣＰＵ８８の制御下で、ディスプレイ７８に仮想視点映像４６Ｃに重ねて視点位置範囲Ｒ１の外縁を示す矩形枠Ｒ１Ａが表示され、かつ、「矩形枠内で視点位置を指示して下さい」という案内メッセージが表示される。一例として図２８に示すように、視聴者２８からの視点位置指示が矩形枠Ｒ１Ａ内でタッチパネル７６Ａによって受け付けられると、視点位置４２は視点位置範囲Ｒ１内の位置に変更される。

また、視点位置指示がタッチパネル７６Ａによって受け付けられると、矩形枠Ｒ１Ａがディスプレイ７８から消去される。そして、続けて、一例として図２９に示すように、スマートデバイス１４では、ＣＰＵ８８の制御下で、ディスプレイ７８に仮想視点映像４６Ｃに重ねて視線方向範囲Ｒ２の外縁を示す円形枠Ｒ２Ａが表示され、かつ、「円形枠内に向けて視線方向を指示して下さい」という案内メッセージが表示される。この場合、例えば、視聴者２８からの視線方向指示（例えば、スライド操作）が円形枠Ｒ２Ａに向けてタッチパネル７６Ａによって受け付けられると、視線方向４４は視線方向範囲Ｒ２内の方向に変更される。

このように、視点位置４２が視点位置範囲Ｒ１内の位置に変更され、かつ、視線方向４４が視線方向範囲Ｒ２内の方向に変更されると、変更後の視点位置４２及び視線方向４４に従って、仮想視点映像生成部１００Ｂによって仮想視点映像４６Ｃが生成される。

また、図２３に示す例では、制限処理部１０４Ｄによって制限処理が実行される形態例が示されているが、本開示の技術はこれに限定されない。一例として図３０に示すように、実行部１０４は、制限処理部１０４Ｄに代えて変更処理部１０４Ｅを有していてもよい。図２３に示す例では、制限処理部１０４Ｄは図示されていないが、制限処理部１０４Ｄは、変更処理部１０４Ｅと併存可能である。

変更処理部１０４Ｅは、変更処理を実行する。変更処理とは、仮想視点映像４６Ｃに対して相違度を第１閾値未満に収める変更を施す処理を指す。つまり、変更処理部１０４Ｅによって変更処理が実行されると、相違度が第１閾値未満に収められるように仮想視点映像４６Ｃが変更される。変更処理部１０４Ｅは、判定部１０４Ｂから相違度大情報が入力されると、相違度算出部１０４Ａから判定部１０４Ｂを介して入力された相違度情報に基づいて変更可能量情報を生成し、生成した変更可能量情報を仮想視点映像生成部１００Ｂに出力する。変更可能量情報とは、仮想視点映像４６Ｃの変更に要する変更量の限度値、すなわち、相違度情報により示される相違度を第１閾値未満に収めるのに要する変更量の上限値（以下、「変更可能量」と称する）を指す。

一例として図３１に示すように、仮想視点映像生成部１００Ｂは、映像生成実施部１００Ｂ２及び視点視線指示調節部１００Ｂ３を有する。視点視線指示調節部１００Ｂ３は、スマートデバイス１４から視点視線指示を取得し、かつ、変更処理部１０４Ｅから変更可能量情報を取得する。

視点視線指示調節部１００Ｂ３は、視点視線指示を調節することにより視点位置４２及び視線方向４４を変更する。具体的には、視点視線指示調節部１００Ｂ３は、変更可能量情報により示される変更可能量内で、視点視線指示を調節する。ここで、視点視線指示の調節とは、視点位置指示及び視線方向指示の調節を指す。視点視線指示調節部１００Ｂ３は、調節した視点視線指示を映像生成実施部１００Ｂ２に出力する。映像生成実施部１００Ｂ２は、視点視線指示調節部１００Ｂ３から入力された視点視線指示に従って複数の撮像映像を用いることで仮想視点映像４６Ｃを生成する。

これにより、相違度を第１閾値未満にするのに要する変更量で仮想視点映像４６Ｃが変更されるので、仮想視点映像４６Ｃと基準映像４６Ｂ１との相違度を第１閾値未満に維持することができる。また、視点位置指示及び視線方向指示が調節されるので、視点位置指示及び視線方向指示の何れも調節されない場合に比べ、基準映像４６Ｂ１との相違度を第１閾値未満に収める仮想視点映像４６Ｃを容易に変更することができる。

なお、ここでは、視点位置指示及び視線方向指示の両方が調節される形態例を挙げたが、本開示の技術はこれに限らず、相違度が第１閾値未満に収まるように視点位置指示又は視線方向指示の何れか一方のみが視点視線指示調節部１００Ｂ３によって調節されるようにしてもよい。

また、図１８に示す例では、変化量判定部１０８Ｂを例示したが、本開示の技術はこれに限定されない。例えば、図３２に示すように、設定部１０８は、変化量判定部１０８Ｂに代えて変化頻度判定部１０８Ｂ１を有していてもよい。変化頻度判定部１０８Ｂ１は、相違度が変化する頻度が第３閾値未満か否かを判定する。ここで、「相違度が変化する頻度」の一例としては、相違度が上述した第１閾値を超えた頻度（例えば、単位時間あたりの頻度）が挙げられる。変化頻度判定部１０８Ｂ１は、相違度が変化する頻度が第３閾値未満の場合に第３閾値未満情報をモード指示部１０８Ｃに出力し、相違度が変化する頻度が第３閾値以上の場合に第３閾値以上情報をモード指示部１０８Ｃに出力する。これにより、上記実施形態と同様に、実行部１０４は、相違度が変化する頻度が第３閾値未満の場合に、追従モードで動作し、相違度が変化する頻度が第３閾値以上の場合に、非追従モードで動作する。従って、仮想視点映像４６Ｃと基準映像４６Ｂ１との相違度が変化する頻度に関わらず実行部１０４によって特定処理が実行される場合に比べ、特定処理が頻繁に実行されることに起因して視聴者２８に与える不快感を軽減することができる。

また、上記実施形態では、スマートデバイス１４の姿勢に関わらず、実行部１０４によって特定処理が実行される形態例を挙げて説明したが、本開示の技術はこれに限定されず、スマートデバイス１４の姿勢に応じて特定処理が実行されたり実行されなかったりするようにしてもよい。この場合、スマートデバイス１４のＣＰＵ８８は、ジャイロセンサ７４によって測定された角度情報に基づいて、スマートデバイス１４の姿勢を検出する。なお、ここで、ＣＰＵ８８は、本開示の技術に係る「検出部（ディテクタ）」の一例である。一例として図３３に示すように、ＣＰＵ８８は、スマートデバイス１４の姿勢を示す姿勢情報を実行部１０４に出力する。実行部１０４は、姿勢判定部１０４Ｆを有しており、姿勢判定部１０４Ｆは、ＣＰＵ８８から入力された姿勢情報により示される姿勢が既定姿勢か否かを判定する。既定姿勢とは、例えば、ディスプレイ７８が鉛直下向き以外の姿勢を指す。

姿勢判定部１０４Ｆは、姿勢情報により示される姿勢が既定姿勢の場合に、特定処理の実行を指示する実行指示情報を相違度算出部１０４Ａ、判定部１０４Ｂ、及び報知処理部１０４Ｃに出力する。相違度算出部１０４Ａ、判定部１０４Ｂ、及び報知処理部１０４Ｃに実行指示情報が入力されると、相違度算出部１０４Ａ、判定部１０４Ｂ、及び報知処理部１０４Ｃは作動し、上述した特定処理が実行される。また、姿勢判定部１０４Ｆは、姿勢情報により示される姿勢が既定姿勢でない場合に、特定処理の不実行を指示する不実行指示情報を相違度算出部１０４Ａ、判定部１０４Ｂ、及び報知処理部１０４Ｃに出力する。相違度算出部１０４Ａ、判定部１０４Ｂ、及び報知処理部１０４Ｃに不実行指示情報が入力されると、相違度算出部１０４Ａ、判定部１０４Ｂ、及び報知処理部１０４Ｃは作動せず、上述した特定処理は実行されない。従って、スマートデバイス１４の姿勢を変化させることで、特定処理を実行させたり、実行させなかったりすることができる。

また、上記実施形態で説明した第１閾値として固定値が採用されているが、本開示の技術はこれに限定されず、例えば、受付デバイス５２（図２参照）及び／又は受付デバイス７６によって受け付けられた指示に従って変更される可変値であってもよい。この場合、例えば、図３４に示すように、第１閾値の変更を指示する第１閾値変更指示情報がスマートデバイス１４のタッチパネル７６Ａによって受け付けられた場合に、第１閾値変更指示情報に従って第１閾値の変更が実行部１０４によって実行されるようにしてもよい。ここで、第１閾値変更指示情報は、本開示の技術に係る「指示情報」の一例である。

図３４に示す例では、実行部１０４は、指示情報受信部１０４Ｇを有しており、スマートデバイス１４のタッチパネル７６Ａによって第１閾値変更指示情報が受け付けられると、スマートデバイス１４から第１閾値変更指示情報が指示情報受信部１０４Ｇに送信される。第１閾値変更指示情報には、第１閾値を示す情報、又は、第１閾値の変更の度合いを示す情報が含まれている。指示情報受信部１０４Ｇは、第１閾値変更指示情報を受信し、受信した第１閾値変更指示情報を判定部１０４Ｂに出力する。判定部１０４Ｂに第１閾値変更指示情報が入力されると、判定部１０４Ｂは、相違度との比較に用いる第１閾値を第１閾値変更指示情報に従って変更する。従って、第１閾値が常時固定されている場合に比べ、第１閾値の変更について、視聴者２８等の意図を容易に判定させることができる。

また、上記実施形態では、表示制御処理（図１９参照）、設定処理（図２０参照）、及び情報処理（図２１及び図２２参照）が情報処理装置１２のＣＰＵ５８によって実行される形態例を挙げて説明したが、本開示の技術はこれに限定されない。表示制御処理、設定処理、及び情報処理のうちの少なくとも１つがスマートデバイス１４のＣＰＵ８８によって実行されるようにしてもよい。以下では、表示制御処理、設定処理、及び情報処理を区別して説明する必要がない場合、これらの処理を「情報処理装置側処理」と称する。

図３５には、情報処理装置側処理がスマートデバイス１４のＣＰＵ８８によって実行される場合のスマートデバイス１４の構成例が示されている。一例として図３５に示すように、ストレージ９０は、情報処理装置側プログラムを記憶している。また、ＣＰＵ８８は、情報処理プログラム６０Ａに従って取得部１０２及び実行部１０４として動作することで情報処理を実行する。また、ＣＰＵ８８は、表示制御プログラム６０Ｂに従って制御部１０６として動作することで表示制御処理を実行する。更に、ＣＰＵ８８は、設定プログラム６０Ｃに従って設定部１０８として動作することで設定処理を実行する。

なお、図３５に示す例において、スマートデバイス１４は、本開示の技術に係る「情報処理装置」の一例である。なお、図３５に示す例では、本開示の技術に係る「情報処理装置」の一例としてスマートデバイス１４を挙げているが、スマートデバイス１４に代えて、ヘッドアップディスプレイ、ヘッドマウントディスプレイ、パーソナル・コンピュータ及び／又はウェアラブル端末等の演算装置付きの各種デバイスも本開示の技術に係る「情報処理装置」として採用することができる。

また、上記実施形態では、サッカー競技場２２を例示したが、これはあくまでも一例に過ぎず、野球場、ラグビー場、カーリング場、陸上競技場、競泳場、コンサートホール、野外音楽場、及び演劇会場等のように、複数の撮像装置及び複数の収音装置１００が設置可能であれば、如何なる場所であってもよい。

また、上記実施形態では、基地局２０を用いた無線通信方式を例示したが、これはあくまでも一例に過ぎず、ケーブルを用いた有線通信方式であっても本開示の技術は成立する。

また、上記実施形態では、無人航空機２７を例示したが、本開示の技術はこれに限定されず、ワイヤで吊るされた撮像装置１８（例えば、ワイヤを伝って移動可能な自走式の撮像装置）によって撮像領域が撮像されるようにしてもよい。

また、上記実施形態では、コンピュータ５０及び７０を例示したが、本開示の技術はこれに限定されない。例えば、コンピュータ５０及び／又は７０に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コンピュータ５０及び／又は７０に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。

また、上記実施形態では、ストレージ６０に情報処理装置側プログラムが記憶されているが、本開示の技術はこれに限定されず、一例として図３６に示すように、非一時的記憶媒体ＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体５００に情報処理装置側プログラムが記憶されていてもよい。この場合、記憶媒体５００に記憶されている情報処理装置側プログラムがコンピュータ５０にインストールされ、ＣＰＵ５８は、情報処理装置側プログラムに従って、情報処理装置側処理を実行する。

また、通信網（図示省略）を介してコンピュータ５０に接続される他のコンピュータ又はサーバ装置等の記憶部に情報処理装置側プログラムを記憶させておき、情報処理装置１２の要求に応じて情報処理装置側プログラムが情報処理装置１２にダウンロードされるようにしてもよい。この場合、ダウンロードされた情報処理装置側プログラムに基づく情報処理装置側処理がコンピュータ５０のＣＰＵ５８によって実行される。

また、上記実施形態では、ＣＰＵ５８を例示したが、本開示の技術はこれに限定されず、ＧＰＵを採用してもよい。また、ＣＰＵ５８に代えて、複数のＣＰＵを採用してもよい。つまり、１つのプロセッサ、又は、物理的に離れている複数のプロセッサによって情報処理装置側処理が実行されるようにしてもよい。また、ＣＰＵ８８に代えて、ＧＰＵを採用してもよいし、複数のＣＰＵを採用してもよく、１つのプロセッサ、又は、物理的に離れている複数のプロセッサによって各種処理が実行されるようにしてもよい。

情報処理装置側処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムに従って情報処理装置側処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、他のプロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで情報処理装置側処理を実行する。

情報処理装置側処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、情報処理装置側処理を実行するハードウェア資源は１つのプロセッサであってもよい。

１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、情報処理装置側処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、情報処理装置側処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、情報処理装置側処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。

また、上述した情報処理装置側処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

以上の実施形態に関し、更に以下の付記を開示する。

（付記１）
プロセッサと、
上記プロセッサに内蔵又は接続されたメモリと、を含み、
上記プロセッサは、
撮像領域が複数の撮像装置によって撮像されることで得られた複数の画像のうちの少なくとも１つの画像に基づく自由視点映像であって、特定の視点位置及び特定の視線方向から上記撮像領域を観察した場合の上記撮像領域を示す自由視点映像と、基準映像とを取得し、
取得した上記自由視点映像と、取得した上記基準映像との相違度が第１閾値以上の場合に、特定処理を実行する
情報処理装置。

Claims (20)

1. プロセッサと、
   前記プロセッサに内蔵又は接続されたメモリと、を備え、
   前記プロセッサは、
   撮像領域が複数の撮像装置によって撮像されることで得られた複数の画像のうちの少なくとも１つの画像に基づく自由視点映像であって、特定の視点位置及び特定の視線方向から前記撮像領域を観察した場合の前記撮像領域を示す自由視点映像と、基準映像とを取得し、
   取得した前記自由視点映像と、取得した前記基準映像との相違度が第１閾値以上の場合に、特定処理を実行し、
   前記特定処理は、前記相違度を前記第１閾値未満に収めるのに寄与する処理である
   を含む情報処理装置。
2. 前記特定処理は、前記相違度が前記第１閾値以上であることを報知する報知処理を含む処理である請求項１に記載の情報処理装置。
3. 前記報知処理は、前記相違度が前記第１閾値以上であることを、可視報知、可聴報知、及び触覚報知のうちの少なくとも１つを行う処理である請求項２に記載の情報処理装置。
4. 前記特定処理は、前記視点位置を指示可能な範囲を、前記相違度を前記第１閾値未満に収める範囲として定められた視点位置範囲に制限し、かつ、前記視線方向を指示可能な範囲を、前記相違度を前記第１閾値未満に収める範囲として定められた視線方向範囲に制限する処理を含む処理である請求項１から請求項３の何れか一項に記載の情報処理装置。
5. 前記特定処理は、前記自由視点映像に対して前記相違度を前記第１閾値未満に収める変更を施す変更処理を含む処理である請求項１から請求項４の何れか一項に記載の情報処理装置。
6. 前記変更処理は、前記視点位置及び前記視線方向のうちの少なくとも一方を変更することで前記自由視点映像を変更する処理である請求項５に記載の情報処理装置。
7. 前記プロセッサは、前記自由視点映像の変化に応じて前記特定処理を実行する請求項１から請求項６の何れか一項に記載の情報処理装置。
8. 前記プロセッサは、前記プロセッサが前記自由視点映像の変化に追従しながら前記特定処理を実行する追従モードと、前記プロセッサが前記自由視点映像の変化に追従しながら前記特定処理を実行しない非追従モードとを選択的に設定する請求項７に記載の情報処理装置。
9. 前記プロセッサは、前記相違度の変化量が第２閾値未満の場合に前記追従モードを設定し、前記変化量が前記第２閾値以上の場合に前記非追従モードを設定する請求項８に記載の情報処理装置。
10. 前記プロセッサは、前記相違度が変化する頻度が第３閾値未満の場合に前記追従モードを設定し、前記頻度が前記第３閾値以上の場合に前記非追従モードを設定する請求項８に記載の情報処理装置。
11. 前記プロセッサは、更に、第１表示装置に対して前記自由視点映像を表示させる請求項１から請求項１０の何れか一項に記載の情報処理装置。
12. 前記第１表示装置は、前記第１表示装置の姿勢を検出するディテクタを有し、
    前記プロセッサは、前記ディテクタによって検出された姿勢が既定姿勢の場合に前記特定処理を実行し、前記ディテクタによって検出された姿勢が前記既定姿勢とは異なる姿勢の場合に前記特定処理を実行しない請求項１１に記載の情報処理装置。
13. 前記プロセッサは、前記第１表示装置とは異なる第２表示装置に対して前記基準映像を表示させる請求項１１又は請求項１２に記載の情報処理装置。
14. 前記プロセッサは、前記第１閾値の変更を指示する指示情報が受付デバイスによって受け付けられた場合に、前記受付デバイスによって受け付けられた前記指示情報に従って前記第１閾値の変更を実行する請求項１から請求項１３の何れか一項に記載の情報処理装置。
15. 前記自由視点映像は仮想視点映像である請求項１から請求項１４の何れか一項に記載の情報処理装置。
16. 前記基準映像は生中継映像である請求項１から請求項１５の何れか一項に記載の情報処理装置。
17. 前記基準映像は、基準撮像装置によって前記撮像領域が撮像されることで得られた画像である請求項１から請求項１６の何れか一項に記載の情報処理装置。
18. 前記視点位置及び前記視線方向は、外部から指示された視点位置及び視線方向である請求項１から請求項１７の何れか一項に記載の情報処理装置。
19. 撮像領域が複数の撮像装置によって撮像されることで得られた複数の画像のうちの少なくとも１つの画像に基づく自由視点映像であって、特定の視点位置及び特定の視線方向から前記撮像領域を観察した場合の前記撮像領域を示す自由視点映像と、基準映像とを取得すること、並びに、
    取得した前記自由視点映像と、取得した前記基準映像との相違度が第１閾値以上の場合に、特定処理を実行することを含み、
    前記特定処理は、前記相違度を前記第１閾値未満に収めるのに寄与する処理である
    情報処理方法。
20. コンピュータに処理を実行させるためのプログラムであって、
    前記処理は、
    撮像領域が複数の撮像装置によって撮像されることで得られた複数の画像のうちの少なくとも１つの画像に基づく自由視点映像であって、特定の視点位置及び特定の視線方向から前記撮像領域を観察した場合の前記撮像領域を示す自由視点映像と、基準映像とを取得すること、並びに、
    取得した前記自由視点映像と、取得した前記基準映像との相違度が第１閾値以上の場合に、特定処理を実行することを含
    み、
    前記特定処理は、前記相違度を前記第１閾値未満に収めるのに寄与する処理である
    プログラム。

Images