JP2022030985A - Information processing device, information processing method and information processing system - Google Patents
Information processing device, information processing method and information processing system Download PDFInfo
- Publication number
- JP2022030985A JP2022030985A JP2020135344A JP2020135344A JP2022030985A JP 2022030985 A JP2022030985 A JP 2022030985A JP 2020135344 A JP2020135344 A JP 2020135344A JP 2020135344 A JP2020135344 A JP 2020135344A JP 2022030985 A JP2022030985 A JP 2022030985A
- Authority
- JP
- Japan
- Prior art keywords
- remote
- information processing
- user
- information
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本開示は、情報処理装置、情報処理方法及び情報処理システムに関し、特に、移動に追従して遠隔地の画像を切換えて提供する情報処理装置、情報処理方法及び情報処理システムに関する。 The present disclosure relates to an information processing apparatus, an information processing method and an information processing system, and more particularly to an information processing apparatus, an information processing method and an information processing system that switch and provide an image at a remote location according to a movement.
近年、離れた場所同士を映像や音声などの情報チャンネルによって接続し、これらの場所がつながっているような臨場感を与える、いわゆるテレプレゼンス(テレイグジスタンスともいう)という技術が開発されている。この種のテレプレゼンスを実現するため、遠隔地におけるユーザの仮想位置を遠隔操作により自在に移動させることが必要となる。従来、仮想現実(VR;virtual reality)にマッピングされた静止画像上で操作することで、この静止画像を切換えて視覚環境を得る技術が提案されている(例えば、特許文献1参照)。 In recent years, a technology called telepresence (also called telexistence) has been developed in which distant places are connected to each other by information channels such as video and audio to give a sense of realism as if these places are connected. In order to realize this kind of telepresence, it is necessary to freely move the user's virtual position in a remote place by remote control. Conventionally, a technique has been proposed in which a visual environment is obtained by switching a still image by operating on a still image mapped to a virtual reality (VR) (see, for example, Patent Document 1).
しかし、従来の技術では、ユーザに提供される遠隔地の画像情報は静止画のみであり、さらには、これらの静止画は過去に撮影された既存画像のみであるため、提供される情報の鮮度に制限があった。このため、遠隔地をユーザがライブ感をもって移動する体験を提供することはできなかった。 However, in the conventional technology, the image information of the remote place provided to the user is only the still image, and further, since these still images are only the existing images taken in the past, the freshness of the provided information. There was a limit to. For this reason, it has not been possible to provide an experience in which the user moves in a remote location with a live feeling.
本開示は、上記に鑑みてなされたものであって、遠隔地をユーザがライブ感をもって移動する体験を可能とする情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。 The present disclosure has been made in view of the above, and an object of the present invention is to provide an information processing device, an information processing method, and an information processing program that enable a user to experience moving to a remote place with a live feeling.
上述した課題を解決し、目的を達成するために、本開示に係る情報処理装置は、ユーザが視聴する映像を表示する表示部と、ユーザから離れた遠隔地での該ユーザの移動量及び移動方向に基づいて、遠隔地における該ユーザのリモートビューポイントを順次生成するリモートビューポイント生成部と、遠隔地に任意に配置された多数のセンサポイントの中から、リモートビューポイントに基づいて選択されたセンサポイントが撮影したライブ映像を表示部に表示させる表示制御部と、備える。 In order to solve the above-mentioned problems and achieve the object, the information processing apparatus according to the present disclosure includes a display unit that displays an image to be viewed by the user, and the amount and movement of the user at a remote location away from the user. A remote viewpoint generator that sequentially generates the user's remote viewpoint at a remote location based on the direction, and a large number of sensor points arbitrarily arranged at the remote location are selected based on the remote viewpoint. It is equipped with a display control unit that displays the live image captured by the sensor point on the display unit.
また、本開示に係る情報処理装置は、遠隔地に任意に配置された多数のセンサポイントの位置情報を記憶する記憶部と、遠隔地におけるユーザのリモートビューポイントを順次取得するリモートビューポイント取得部と、取得したリモートビューポイントに近接した複数のセンサポイントの位置情報を出力する情報出力部と、を備える。 Further, the information processing apparatus according to the present disclosure includes a storage unit that stores position information of a large number of sensor points arbitrarily arranged in a remote location, and a remote viewpoint acquisition unit that sequentially acquires a user's remote viewpoint in a remote location. And an information output unit that outputs the position information of a plurality of sensor points close to the acquired remote viewpoint.
また、また、本開示に係る情報処理方法は、プロセッサが、ユーザから離れた遠隔地での該ユーザの移動量及び移動方向に基づいて、遠隔地における該ユーザのリモートビューポイントを順次生成するステップと、遠隔地に任意に配置された多数のセンサポイントの中から、リモートビューポイントに基づいて選択されたセンサポイントが撮影したライブ映像を表示部に表示させるステップと、を備える。 Further, in the information processing method according to the present disclosure, the processor sequentially generates a remote viewpoint of the user at a remote location based on the movement amount and the movement direction of the user at a remote location away from the user. And a step of displaying a live image taken by a sensor point selected based on a remote viewpoint from a large number of sensor points arbitrarily arranged in a remote location on a display unit.
また、本開示に係る情報処理システムは、情報処理端末と情報処理サーバとを有し、情報処理端末は、ユーザが視聴する映像を表示する表示部と、ユーザから離れた遠隔地での該ユーザの移動量及び移動方向に基づいて、遠隔地における該ユーザのリモートビューポイントを順次生成するリモートビューポイント生成部と、遠隔地に任意に配置された多数のセンサポイントの中から、リモートビューポイントに基づいて選択されたセンサポイントが撮影したライブ映像を表示部に表示させる表示制御部と、を備え、情報処理サーバは、センサポイントの位置情報を記憶する記憶部と、リモートビューポイントを取得するリモートビューポイント取得部と、取得したリモートビューポイントに近接した複数のセンサポイントの位置情報を情報処理端末に出力する情報出力部と、を備える。 Further, the information processing system according to the present disclosure includes an information processing terminal and an information processing server, and the information processing terminal has a display unit for displaying an image to be viewed by the user and the user at a remote location away from the user. From the remote viewpoint generator that sequentially generates the user's remote viewpoint in the remote location based on the movement amount and the movement direction of, and a large number of sensor points arbitrarily arranged in the remote location, the remote viewpoint can be selected. The information processing server includes a display control unit that displays a live image taken by the sensor point selected based on the display unit on the display unit, and the information processing server has a storage unit that stores the position information of the sensor point and a remote that acquires a remote viewpoint. It includes a viewpoint acquisition unit and an information output unit that outputs position information of a plurality of sensor points close to the acquired remote viewpoint to an information processing terminal.
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Preferred embodiments of the present disclosure will be described in detail below with reference to the accompanying drawings. In the present specification and the drawings, components having substantially the same functional configuration are designated by the same reference numerals, and duplicate description will be omitted.
なお、説明は以下の順序で行うものとする。
1.本開示の概要
2.本実施形態
2.1.情報処理システム1の機能構成例
2.2.センサポイントSPの機能構成例
2.3.情報処理システム1の動作
3.情報処理システム1の動作の具体例
3.1.リモートビューポイント設定の具体例
3.2.センサポイント選択の具体例
3.3.ビュー表示処理の具体例
3.4.ビュー切換え時のガイド画像表示の具体例
3.5.ユーザの視線方向画像表示の具体例
4.情報処理システムの変形例
5.ハードウェア構成例
6.まとめ
The explanations will be given in the following order.
1. 1. Outline of the present disclosure 2. This embodiment 2.1. Function configuration example of
<1.本開示の概要>
まず、図面を参照しながら本開示の一実施形態の概要を説明する。図1は、本開示の一実施形態に係る情報処理装置を有する情報処理システムの構成を示す説明図である。本開示の一実施形態に係る情報処理システムは、ユーザの移動や視線の変化に追従して、遠隔地で撮影されたライブ映像(音声を含む)を動的に切換えてユーザに提供することで、遠隔地体験を可能とする、ライブタウンビューイングシステムである。ここで、遠隔地体験とは、遠隔地での周囲確認や自己存在体験、観光などのエンタテイメント体験を含む。また、遠隔地とは、ユーザの所在地とは異なる場所を示し、日本国内及び国外の任意の場所を含む。
<1. Summary of this disclosure>
First, an outline of one embodiment of the present disclosure will be described with reference to the drawings. FIG. 1 is an explanatory diagram showing a configuration of an information processing system including an information processing device according to an embodiment of the present disclosure. The information processing system according to the embodiment of the present disclosure dynamically switches live video (including audio) shot at a remote location and provides the user with the information processing system according to the movement of the user and the change of the line of sight. , A live town viewing system that enables remote experience. Here, the remote location experience includes entertainment experiences such as surrounding confirmation, self-existence experience, and sightseeing in a remote location. In addition, the remote location indicates a location different from the location of the user, and includes any location in Japan and abroad.
図1に示すように、情報処理システム1は、情報処理装置としての情報処理端末10及び情報処理サーバ20を備える。これら情報処理端末10及び情報処理サーバ20は、それぞれネットワーク50を介して相互に通信可能に接続されている。情報処理サーバ20は、位置情報サーバ30と配信サーバ40とを備えて構成されている。情報処理サーバ20は、これら位置情報サーバ30と配信サーバ40とをそれぞれ複数台備えた構成としてもよいし、位置情報サーバ30と配信サーバ40とを一体とした構成としてもよい。また、情報処理サーバ20には、ネットワーク50を介して、ライブ映像を撮影するための多数のセンサポイントSP1、SP2・・SPn(nは自然数)が接続されている。なお、センサポイントに関して区別する必要がない場合には単にセンサポイントSPという。
As shown in FIG. 1, the
情報処理端末10は、ユーザに携帯され、もしくはユーザの所在地に設置される情報処理装置である。情報処理端末10は、例えば、ユーザの眼前に配置される表示部を有するヘッドマウントディスプレイ(HMD)や眼鏡(ARグラス)型デバイス等を含むことが好ましい。また、情報処理端末10には、スマートフォン、タブレット、またはパーソナルコンピュータなどを含んでもよいし、表示デバイスには多画面ディスプレイあるいは広視野角表示可能なディスプレイを含むようにしてもよい。
The
情報処理端末10は、遠隔地におけるユーザの仮想位置を示すリモートビューポイントを設定(生成)する。このリモートビューポイントは、例えば、選択された複数(3以上)のセンサポイントSPのビューアングル(撮影方向)のベクトル交点として定義される。リモートビューポイントは、先の位置からのユーザの移動量や移動方向に基づいて随時更新される。また、情報処理端末10は、ユーザが視聴可能な表示部を有し、リモートビューポイントの変化に追従してセンサポイントSPが撮影したライブ映像を動的に切換えて表示部に表示する。更新されたリモートビューポイントの位置情報は、更新の都度、位置情報サーバ30に送信されて、位置情報サーバ30で管理(共有)される。
The
位置情報サーバ30は、多数のセンサポイントSPの位置情報、カメラの姿勢情報、及びカメラの広角情報をそれぞれ取得して管理する。センサポイントSPの位置情報は、GPS(Global Positioning System)を用いてそれぞれ測位されたセンサポイントSPの設置位置に関する情報である。カメラの姿勢情報は、各センサポイントSPが備えるカメラの軸方向(ピッチ、アジマス、ロール)に関する情報である。また、カメラの広角情報は、該カメラの撮影範囲に関する情報である。なお、センサポイントSPの位置情報、カメラの姿勢情報、及びカメラの広角情報を特定する必要がない場合には、単にセンサポイントSPの各情報という。
The
位置情報サーバ30は、上記した遠隔地体験の初期位置として任意の住所が入力されると、入力された住所と位置情報との関連付けを行い、この住所に対する近隣の複数のセンサポイントSPの各情報を情報処理端末10に送信する。また、位置情報サーバ30は、ユーザの移動などに追従して該ユーザのリモートビューポイントが更新された場合、情報処理端末10から更新されたリモートビューポイントの位置情報を順次取得して管理する。また、位置情報サーバ30は、リモートビューポイントの移動(更新)に伴い、新たなリモートビューポイントに対して近隣の複数のセンサポイントSPの各情報を情報処理端末10に送信する。なお、位置情報サーバ30は、ネットワーク遅延を最小にするために情報処理端末10に近いエッジサーバで機能する前提としてもよい。
When an arbitrary address is input as the initial position of the remote location experience described above, the
配信サーバ40は、多数のセンサポイントSPが撮影したライブ映像(音声情報を含む)を常時受信する。配信サーバ40は、情報処理端末10からのリクエストに応じて、対象範囲(リモートビューポイントの近隣範囲)にあるセンサポイントSPのライブ映像を情報処理端末10に対してストリーミング配信(他の情報端末に対しても同様に同報性を有するマルチキャスト配信)する。この配信サーバ40は、センサポイントSPが撮影した映像情報を配信する映像情報配信部として機能する。
The
センサポイントSPは、遠隔地の任意の箇所にそれぞれ設置されて該遠隔地のライブ映像を局地的に撮影する。センサポイントSPは、それぞれ超高精細のイメージセンサ(撮像部)を搭載した広角カメラとマイクとGPS(Global Positioning System)測位部とを備えた撮像装置である。センサポイントSPは、情報処理システム1のために新たに設置してもよいが、例えば店舗や道路脇に固定設置された既存の監視カメラや防犯カメラを含んでもよい。センサポイントSPの広角カメラは、例えば、人間の目線高さ程度の高さ位置に設けられることが好ましい。センサポイントSPは、それぞれ該センサポイントSPの各情報を位置情報サーバ30へ送信する。また、センサポイントSPは、それぞれカメラで撮影した広角映像とマイクからの音声を配信サーバ40へ送信する。
The sensor point SP is installed at an arbitrary location in a remote location, and locally captures a live image of the remote location. The sensor point SP is an image pickup device equipped with a wide-angle camera equipped with an ultra-high-definition image sensor (imaging unit), a microphone, and a GPS (Global Positioning System) positioning unit. The sensor point SP may be newly installed for the
ネットワーク50は、情報処理端末10、位置情報サーバ30、配信サーバ40、及び各センサポイントSPを接続する機能を有する。ネットワーク50は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク50は、IP-VPN(Internet Protocol-Virtual Private Network)などの専用回線網を含んでもよい。また、ネットワーク50は、Wi-Fi(登録商標)、Bluetooth(登録商標)など、あるいはその他の無線通信網を含んでもよい。
The
本開示では、情報処理端末10は、遠隔地におけるユーザの仮想位置と、該ユーザの移動量及び移動方向とに基づいて、遠隔地における該ユーザのリモートビューポイントを順次生成する。そして、情報処理端末10は、遠隔地に任意に設置された多数のセンサポイントSPの中から、生成されたリモートビューポイントに基づいて選択されたセンサポイントSPが撮影したライブ映像を順次切換えてユーザに提供する。このため、時間的・金銭的な移動コストを要することなく、移動しながら現地の周囲の様子をライブで見渡せるといった6DoF効果を知覚することができる。従って、遠隔地をユーザがライブ感をもって移動する観光、その他の遠隔地体験を実現することができる。
In the present disclosure, the
<2.本実施形態>
<2.1.情報処理システム1の機能構成例>
次に、本実施形態に係る情報処理システム1の機能構成例について説明する。図2は、情報処理システムとセンサポイントとの機能構成の一例を示す機能ブロック図である。また、図3は、情報処理端末のビュー切換え部と表示ビュー構成部との機能構成の一例を示す機能ブロック図である。
<2. This embodiment>
<2.1. Function configuration example of
Next, an example of the functional configuration of the
情報処理システム1の情報処理端末10は、図2に示すように、移動量入力部100、リモートビューポイント生成部102、ビュー切換え部104、アンパケット処理部106、ビデオデコーダ108、表示ビュー構成部110、HMD(表示部)112、オーディオデコーダ114、オブジェクトレンダラ116、及びスピーカ118を備える。
As shown in FIG. 2, the
移動量入力部100は、遠隔地におけるユーザの移動量及び移動方向を入力する。具体的には、ジョイスティックのような操縦桿形状を有する入力装置を用いることができる。移動量入力部100は、例えば、スティックの傾ける方向や傾ける量によって、ユーザの移動量や移動方向を異ならせることができる。本実施形態では、ユーザが移動する際の移動方向と視線方向とは同一である。また、ユーザが停止した状態で、その場で回転操作がなされた場合には、ユーザの視線方向は入力操作された回転量(角度)だけ回転したものとする。 The movement amount input unit 100 inputs the movement amount and the movement direction of the user in a remote place. Specifically, an input device having a control stick shape such as a joystick can be used. The movement amount input unit 100 can make the movement amount and the movement direction of the user different depending on, for example, the tilting direction and the tilting amount of the stick. In the present embodiment, the moving direction and the line-of-sight direction when the user moves are the same. Further, when the rotation operation is performed on the spot while the user is stopped, it is assumed that the user's line-of-sight direction is rotated by the input operation amount (angle).
また、移動量入力部100は、上記したジョイスティックに限るものではなく、例えば、マウスや他の入力装置を用いてもよい。また、HMDを装着したユーザの顔の向きやジェスチャをセンサで検知することにより、ユーザの移動量及び移動方向を入力する構成としてもよい。また、マイクを通じて、ユーザの音声を検知し、この音声によって移動量及び移動方向を入力する構成としてもよい。 Further, the movement amount input unit 100 is not limited to the above-mentioned joystick, and for example, a mouse or another input device may be used. Further, the user's movement amount and movement direction may be input by detecting the face orientation and gesture of the user wearing the HMD with a sensor. Further, the user's voice may be detected through the microphone, and the movement amount and the movement direction may be input by the voice.
リモートビューポイント生成部102は、位置情報サーバ30から送信されたセンサポイントSPの各情報と、入力されたユーザの移動量及び移動方向に基づいて、上記したリモートビューポイントを生成する。リモートビューポイントは、遠隔地におけるユーザの仮想位置を示し、ユーザの視線方向(移動方向)を含むものとする。リモートビューポイント生成(設定)の具体例については後述する。
The remote viewpoint generation unit 102 generates the above-mentioned remote viewpoint based on each information of the sensor point SP transmitted from the
ビュー切換え部104は、生成されたリモートビューポイントの位置、および、リモートビューポイントでのユーザの視線方向に基づいて、近隣のセンサポイントSPの中から最適のセンサポイントSPを選択して決定する。また、ビュー切換え部104は、配信サーバ40に所定のセンサポイントSPのライブ映像の配信をリクエストする。具体的には、ビュー切換え部104は、図3に示すように、視線差角度算出部132と切換え判断部134とを備える。視線差角度算出部132は、リモートビューポイントにおけるユーザの視線方向と、この視線のターゲットに向けて延びる各センサポイントSPの撮影方向との角度差(視線差角度)を算出する。切換え判断部134は、算出された角度差がより小さいセンサポイントSPを選択し、このセンサポイントSPに切換える判断をする。また、切換え判断部134は、セレクタ136に対して、ストリーミング受信している複数のセンサポイントSPの中から選択されたセンサポイントSPへの切換えを実行する。このセレクタ136は、図2に記載はないが、例えば、ビデオデコーダ108とアンパケット処理部106との間に設けることができる。
The
アンパケット処理部106は、各配信サーバ40にてパケットに分割されて配信された映像情報及び音声情報を、各パケットのヘッダ情報に基づいてパッケージ化(一体化)する処理を行う。ビデオデコーダ108は、パッケージ化された映像情報の復号化(デコード)を行う。
The
表示ビュー構成部110は、復号化された映像情報に処理を施し、HMD112に表示されるビュー(表示映像)を生成する。具体的には、広角映像からユーザの視線のターゲットを含む一部を切り出す処理を行う。また、表示ビュー構成部110は、センサポイントSPを切換えた後に表示される状況を示すガイド画像や、ユーザの視線方向を平面的または立体的に表現したユーザ視線画像などを生成し、これらを切り出された映像に重畳して表示する。本実施形態では、ビュー切換え部104と表示ビュー構成部110とを備えて表示制御部120を構成する。
The
また、表示ビュー構成部110は、図3に示すように、切換えスイッチ140、傾き補正部142、部分切り出し部144、超解像処理部146、画像拡大縮小部148、UI生成部150、及び表示構成部152と備える。切換えスイッチ140は、例えば、デコーダ1,2でそれぞれ復号化された映像情報を傾き補正部142または画像拡大縮小部148に切換えて送信する。傾き補正部142は、撮影された広角映像の傾きを補正する。部分切り出し部144は、傾き補正がなされた映像から視線のターゲットを含む所定の領域(一部)を切り出して切り出し映像を生成する。また、超解像処理部146は、切り出しによって解像度が低下した切り出し映像に対して超解像処理を行う。
Further, as shown in FIG. 3, the display
画像拡大縮小部148は、センサポイントSPの切換えた後に表示される状況を示すガイド画像を生成するために、切換え後の表示されるセンサポイントSPのライブ映像を縮小する処理を行う。UI生成部150は、上記したガイド画像やユーザ視線画像などのユーザインタフェースを作成する。表示構成部152は、超解像度処理が行われた映像にガイド画像やユーザ視線画像を重畳して表示画像を生成し、この表示画像をHMD112に送信する。
The image enlargement /
HMD112は、ユーザの頭部に装着され、ユーザの眼前に不図示のディスプレイ(表示部)を有する頭部装着型のディスプレイである。この構成では、HMD112には、表示制御部120がリモートビューポイントの位置などに応じて順次切換えたセンサポイントSPのライブ映像が表示される。このため、遠隔地のライブ映像を、臨場感を高めた状態でユーザに提供することができ、ユーザがライブ感をもって移動する遠隔地体験を実現することができる。なお、本実施形態では、HMD112を備えた構成を説明したが、ユーザに提供される映像を表示できる表示部を備えた構成であれば他の形態であってもよい。
The
オーディオデコーダ114は、パッケージ化された音声情報の復号化を行う。オーディオデコーダ114は、ビデオデコーダ108と一体に設けてもよい。オブジェクトレンダラ116は、復号化された音声情報データを再生またはレンダリングする。スピーカ118は、再生またはレンダリングされた音声情報を音に変換して出力する。このスピーカ118は、HMD112に設けられていてもよい。
The
また、情報処理端末10は、ネットワーク50を介して、位置情報サーバ30や配信サーバ40と各種情報を送受信する機能を有する通信部を備えてもよい。情報処理端末10は受信する位置情報、姿勢・広角情報、選択決定情報、符号化データが暗号化されている場合、それを解読する機能を持つ。
Further, the
位置情報サーバ30は、図2に示すように、位置・姿勢広角情報取得部300、リモートビューポイント取得部302、位置計算部304、記憶部306、及び情報出力部308を備える。位置・姿勢広角情報取得部300は、各センサポイントSPから送信されるセンサポイントSPの位置情報、カメラの姿勢情報、及びカメラの広角情報をそれぞれ取得する。
As shown in FIG. 2, the
リモートビューポイント取得部302は、リモートビューポイント生成部102が生成したリモートビューポイントの位置情報をその都度取得する。位置計算部304は、取得したリモートビューポイントと周囲のセンサポイントSPとの距離を算出する。また、位置計算部304は、上記した視線差角度の算出を行う場合もある。
The remote
記憶部306は、取得したセンサポイントSPの各情報、リモートビューポイントの位置情報を、それぞれデータベース化して記憶する。情報出力部308は、位置計算部304が計算したリモートビューポイントとの距離に基づいて、このリモートビューポイントに近接した一つまたは複数のセンサポイントSPを候補として選択し、このセンサポイントSPの各情報を情報処理端末10に出力する。また、位置情報サーバ30において、配信する位置情報、姿勢・広角情報、選択決定情報に対して適宜暗号化を施すようにしてもよい。
The storage unit 306 stores the acquired sensor point SP information and the remote viewpoint position information in a database. The
配信サーバ40は、センサポイントSPに対応したユニットが設けられ、各ユニットは、それぞれパケット処理部400、ビデオエンコーダ402、広角映像パッキング404、オーディオエンコーダ406、及びオブジェクトメタ生成408を備える。
The
パケット処理部400は、エンコードされた映像情報及び音声情報をそれぞれパケット化するとともに、各パケットにヘッダ情報を付加する。パケットは、情報処理端末10に送信される。
The
ビデオエンコーダ402は、映像情報を所定の規則に従って、符号化する。広角映像パッキング404は、センサポイントSPから送信された映像情報を所定のデータ量ごとにまとめる(パッキング)処理を行う。
The
オーディオエンコーダ406は、音声情報を所定の規則に従って、符号化する。オブジェクトメタ生成408は、センサポイントSPから送信された音声情報に、対応するセンサポイントや録音日時などのメタデータを生成して付加する。
The
また、配信サーバ40は、ネットワーク50を介して、情報処理端末10やセンサポイントSPと各種情報を送受信する機能を有する通信部を備えてもよい。配信サーバ40において、配信する符号化データに対して適宜暗号化を施すようにしてもよい。
Further, the
以上、本実施形態に係る情報処理システム1(情報処理端末10、位置情報サーバ30、及び配信サーバ40)の機能構成例について説明した。なお、図2を用いて説明した上記の機能構成はあくまで一例であり、本実施形態に係る情報処理システム1の機能構成は係る例に限定されない。例えば、上記で述べた機能は、複数の装置により分散して実現されてもよい。また、本実施形態に係る情報処理端末10、位置情報サーバ30、配信サーバ40の各機能構成は柔軟に変形することができる。
The functional configuration example of the information processing system 1 (
<2.2.センサポイントSPの機能構成例>
次に、センサポイントSPの機能構成例について説明する。図2に示すように、センサポイントSPは、GPS測位部60、イメージセンサ(撮像部)62、マイク64、及び記憶部66を備える。GPS測位部60は、例えばGPS信号を受信してセンサポイントSPの位置を測位する。GPS測位部60は、地球上でのセンサポイントの位置情報(位置座標情報)を測位によって取得する。イメージセンサ62は、レンズとともにカメラを構成し、例えばレンズを通じて入った光を電気信号に変換する撮像素子である。このイメージセンサ62には、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を用いることができる。マイク64は、センサポイントSPの周囲の音、あるいは特定の方向の音を収音し、この音を電気信号に変換して出力する。記憶部66は、例えば、センサポイントSPにおけるカメラの姿勢情報や中心方向情報およびカメラの広角情報を記憶する。なお、姿勢情報と中心方向情報とを合わせて姿勢情報と称する。
<2.2. Sensor point SP function configuration example>
Next, an example of the functional configuration of the sensor point SP will be described. As shown in FIG. 2, the sensor point SP includes a
また、センサポイントSPは、広角に映像を撮影するために、画角が例えば120°~360°の広角レンズ(不図示)を有する構成となっている。これによれば、センサポイントSPにおいて、広い範囲を撮影することができ、ユーザの視点の変化に追従することができる。また、センサポイントSPは、ネットワーク50を介して、位置情報サーバ30や配信サーバ40と各種情報を送受信する機能を有する通信部を備えてもよい。
Further, the sensor point SP has a configuration having a wide-angle lens (not shown) having an angle of view of, for example, 120 ° to 360 ° in order to capture an image at a wide angle. According to this, the sensor point SP can shoot a wide range and can follow the change of the user's viewpoint. Further, the sensor point SP may include a communication unit having a function of transmitting and receiving various information to and from the
以上、本実施形態に係る情報処理システム1にライブ映像を配信するセンサポイントSPの機能構成例について説明した。なお、図2を用いて説明した上記の機能構成はあくまで一例であり、この例に限定されるものではない。例えば、センサポイントSPが固定設置されており、センサポイントSPの各情報が予め判明しているものであれば、この各情報を位置情報サーバ30に事前に登録することで、GPS測位部を備えていない構成としてもよい。また、イメージセンサ62で撮影した映像を一時的に記録するための記録部を別途備えていてもよい。
The functional configuration example of the sensor point SP for delivering live video to the
<2.3.情報処理システム1の動作>
次に、情報処理システムの動作について説明する。図4は、情報処理システムの動作手順を示すフローチャートである。ここでは、情報処理サーバが位置情報サーバと配信サーバとを1台ずつ備えた構成を例示する。
<2.3. Operation of
Next, the operation of the information processing system will be described. FIG. 4 is a flowchart showing an operation procedure of the information processing system. Here, an example is an example of a configuration in which an information processing server is provided with one location information server and one distribution server.
図4に示すように、初期状態として、センサポイントSPは、それぞれ自己のセンサポイントの位置情報、カメラの姿勢情報およびカメラの広角情報を位置情報サーバ30に送信する(予備ステップS1)。これらの送信された情報は、位置情報サーバ30の位置・姿勢広角情報取得部300が取得して記憶部306にセンサポイントごとにデータベース化して記憶される。また、センサポイントSPは、それぞれ撮影した映像と音声を配信サーバ40に常時送信し、これら映像と音声を情報処理端末10のリクエストに応じてストリーミング配信するように設定する(予備ステップS2)。
As shown in FIG. 4, as an initial state, the sensor point SP transmits the position information of its own sensor point, the posture information of the camera, and the wide-angle information of the camera to the position information server 30 (preliminary step S1). The transmitted information is acquired by the position / attitude wide-angle
次に、情報処理端末10を通じて、ユーザが遠隔地体験を所望する遠隔地(エリア)の初期位置として所定の住所が入力される(予備ステップS3)と、位置情報サーバ30は、入力された住所と位置情報との関連付けを行い、この住所に対する近隣の複数のセンサポイントSPの各情報を情報処理端末10に送信する(予備ステップS4)。
Next, when a predetermined address is input as the initial position of the remote location (area) where the user desires the remote location experience through the information processing terminal 10 (preliminary step S3), the
次に、情報処理端末10は、ユーザの視点位置(仮想位置)を定めて、これを入力する(ステップS11)。この視点位置は、移動の開始点であり、ユーザが任意に設定することができる。また、情報処理端末10は、近隣の複数のセンサポイントSPの位置情報からリモートビューポイントRPを生成し、このリモートビューポイントRPの位置情報を位置情報サーバ30へ送信する。リモートビューポイントRPの生成の具体例については後述する。
Next, the
位置情報サーバ30は、生成されたリモートビューポイントRPの位置情報を取得すると、この位置情報をデータベースで共有する。そして、位置情報サーバ30は、リモートビューポイントRPの近傍のセンサポイントSP群を情報処理端末10へ送信する(ステップS12)。
When the
次に、情報処理端末10は、ユーザの仮想位置が移動するに従い、ユーザの移動量及び移動方向に基づいて、リモートビューポイントRPを更新し、更新した位置情報を位置情報サーバ30に送信する(ステップS13)。この場合、情報処理端末10は、リモートビューポイントRPの位置情報に基づいてセンサポイントSPを選択する。本実施形態では、情報処理端末10は、リモートビューポイントRPにおけるユーザの視線方向と、この視線のターゲットに向けて延びる各センサポイントのビュー方向(撮影方向)との角度差(視線差角度)が最も小さいセンサポイントSPを選択する(ステップS14)。
Next, as the user's virtual position moves, the
そして、情報処理端末10は、配信サーバ40に対して、選択されたセンサポイントSPが撮影したライブ映像の配信をリクエストする(ステップS15)。
Then, the
配信サーバ40は、リクエストされたセンサポイントSPが撮影したライブ映像を情報処理端末10に配信する(ステップS16)。以後、ステップS12~S15の処理を繰り返し実行することにより、情報処理端末10は、遠隔地に任意に設置された多数のセンサポイントSPの中から、生成されたリモートビューポイントに基づいて選択されたセンサポイントSPが撮影したライブ映像を順次切換えてユーザに提供することができる。このため、遠隔地をユーザがライブ感をもって移動する遠隔地体験を実現することができる。
The
<3.情報処理システム1の動作の具体例>
<3.1.リモートビューポイント設定の具体例>
次に、リモートビューポイントの設定(生成)について説明する。図5は、位置情報サーバが有するセンサポイントの各情報を記憶したデータベースを示す図である。図6は、リモートビューポイントを設定する動作を説明するための図である。図7は、位置情報サーバが有するリモートビューポイントの位置情報を記憶したデータベースを示す図である。
<3. Specific example of operation of
<3.1. Specific example of remote viewpoint setting>
Next, the setting (generation) of the remote viewpoint will be described. FIG. 5 is a diagram showing a database that stores each information of the sensor points of the location information server. FIG. 6 is a diagram for explaining an operation of setting a remote viewpoint. FIG. 7 is a diagram showing a database that stores the location information of the remote viewpoint of the location information server.
リモートビューポイントは、上記したように、遠隔地をユーザが移動する際の仮想位置を示すものであり、センサポイントSPを選択する基準となる。このため、遠隔地をユーザがライブ感をもって移動する体験を提供するには、リモートビューポイントの位置を精度良く設定する必要がある。本実施形態では、リモートビューポイントは、周囲の複数のセンサポイントSPのビューアングル(撮影方向)のベクトル交点として定義される。これらビューアングルは、各センサポイントSPが撮影した広角映像の範囲からユーザの操作によって決定される。 As described above, the remote viewpoint indicates a virtual position when the user moves to a remote place, and is a reference for selecting the sensor point SP. Therefore, in order to provide the experience of the user moving to a remote place with a live feeling, it is necessary to accurately set the position of the remote viewpoint. In the present embodiment, the remote viewpoint is defined as a vector intersection of view angles (shooting directions) of a plurality of surrounding sensor points SP. These view angles are determined by the user's operation from the range of the wide-angle image captured by each sensor point SP.
まず、情報処理端末10から遠隔地でのユーザの初期位置が入力されると、位置情報サーバ30は、入力地点の近隣に設置されているセンサポイントSPのリストを情報処理端末10に提供する。位置情報サーバ30の記憶部306には、図5に示すセンサポイントSPの各情報及び対応する配信サーバアドレスを規定したデータベース306Aが記憶されている。このため、位置情報サーバ30の情報出力部308は、データベース306Aの中から入力地点の近隣に設置された複数(3つ)のセンサポイントSP1~SP3を情報処理端末10に送信する。なお、位置情報サーバ30は、データベース306Aに規定されたセンサポイントSPの各情報を入力地点に近い順にソーティングしたリストとして情報処理端末10に送信し、そのリストの中から情報処理端末10に複数のセンサポイントSP1~SP3を選択させてもよい。
First, when the initial position of the user at a remote location is input from the
図6において、入力された初期位置をP、選択されたセンサポイントSP1~SP3の位置をA~Cとする。情報処理端末10の表示制御部120は、センサポイントSP1~SP3に対応する配信サーバアドレスを用いて、配信サーバ40に対して撮影されたライブ映像の配信リクエストを行う。この配信リクエストに応じて、配信サーバ40は、センサポイントSP1~SP3のライブ映像及び音声を情報処理端末10に配信する。
In FIG. 6, the input initial position is P, and the positions of the selected sensor points SP1 to SP3 are A to C. The
ユーザは、移動量入力部100を用いて、各センサポイントSP1~SP3の広角のライブ映像に対して、ビューアングルを選択する。図6の例では、センサポイントSP1~SP3のビューアングルは、それぞれAa1、Bb1、Cc1のベクトルとして示され、これらベクトルの交点がリモートビューポイントRP1として設定される。この例では、初期位置PとリモートビューポイントRP1とが同一となったが、これらの位置は当然異なってもよい。 The user uses the movement amount input unit 100 to select a view angle for a wide-angle live image of each sensor point SP1 to SP3. In the example of FIG. 6, the view angles of the sensor points SP1 to SP3 are shown as vectors of Aa1, Bb1, and Cc1, respectively, and the intersection of these vectors is set as the remote viewpoint RP1. In this example, the initial position P and the remote viewpoint RP1 are the same, but these positions may be different as a matter of course.
次に、情報処理端末10は、リモートビューポイントRP1の位置情報を算出する。具体的には、リモートビューポイント生成部102は、取得した3つのセンサポイントSP1~SP3の位置情報から数式1を用いて、各センサポイント間の距離AB、BC、CAをそれぞれ算出する。
Next, the
次に、リモートビューポイント生成部102は、各センサポイントSP1~SP3におけるカメラの姿勢情報からセンサポイントSP1~SP3をそれぞれ通過する直線lA~lCの方向ベクトルを求め、各センサポイントSP1~SP3の仰角θA~θCを求める。これらの仰角θA~θCは、上記ビューアングルを選択した際にカメラ姿勢情報から算出決定される角度である。 Next, the remote viewpoint generation unit 102 obtains the direction vectors of the straight lines lA to lC passing through the sensor points SP1 to SP3 from the posture information of the cameras at the sensor points SP1 to SP3, and the elevation angle of the sensor points SP1 to SP3. Find θA to θC. These elevation angles θA to θC are angles calculated and determined from the camera posture information when the above view angle is selected.
次に、リモートビューポイント生成部102は、算出した各センサポイント間の距離AB、BC、CAと仰角θA~θCとから、ABC平面における∠BAPと∠ABPを求める。これにより、点P(RP1)の位置情報(座標位置)を各センサポイントSP1~SP3の位置情報からの相対オフセットにより算出することができる。算出されたリモートビューポイントRP1の位置情報は、位置情報サーバ30に送信される。位置情報サーバ30のリモートビューポイント取得部302は、このリモートビューポイントRP1の位置情報を取得し、この位置情報は、図7に示す記憶部306のデータベース306Bに格納される。
Next, the remote viewpoint generation unit 102 obtains ∠BAP and ∠ABP in the ABC plane from the calculated distances AB, BC, and CA between the sensor points and the elevation angles θA to θC. Thereby, the position information (coordinate position) of the point P (RP1) can be calculated by the relative offset from the position information of each sensor point SP1 to SP3. The calculated position information of the remote viewpoint RP1 is transmitted to the
ユーザの操作によって、移動量及び移動方向が入力されると、リモートビューポイント生成部102は、入力された移動量及び移動方向に基づいて、新たなリモートビューポイントRP2に更新する。本実施系形態では、移動量入力部100の最小解像度単位(例えばnメートル(nは小数を含む))が規定されている。このため、移動量入力部100により入力された移動量と移動方向をリモートビューポイントへ反映(マッピング)する場合、リモートビューポイント生成部102は、入力された移動量が最小解像度単位の何ユニット分であったかが示され、また、入力された移動方向が360度方位の任意の方角で示されることで、移動量及び移動方向を実寸変換することができる。 When the movement amount and the movement direction are input by the user's operation, the remote viewpoint generation unit 102 updates to the new remote viewpoint RP2 based on the input movement amount and the movement direction. In the present embodiment, the minimum resolution unit (for example, n meters (n includes a decimal number)) of the movement amount input unit 100 is defined. Therefore, when the movement amount and the movement direction input by the movement amount input unit 100 are reflected (mapped) on the remote viewpoint, the remote viewpoint generation unit 102 indicates how many units the input movement amount is in the minimum resolution unit. The actual size of the movement amount and the movement direction can be converted by indicating whether or not the movement direction was, and by indicating the input movement direction in any direction of the 360-degree direction.
上記したセンサポイント間の距離AB、BC、CAを基準とした同一の縮尺で見た場合に、リモートビューポイントRP1から新たなリモートビューポイントRP2への移動量は、各センサポイントSP1~SP3からのビューアングルの変動によって表現できる。すなわち、新たなリモートビューポイントRP2への移動量は、各センサポイントSP1~SP3からリモートビューポイントRP2を通るベクトルAa2、Bb2、Cc2の向きで表現することができる。リモートビューポイント生成部102は、上記と同様に、リモートビューポイントPR2の位置情報を算出し、この位置情報は、位置情報サーバ30に送信されて、図7に示すデータベース306Bに格納される。このように、ユーザによって移動が指示されるたびに、リモートビューポイント生成部102は、入力された移動用及び移動方向に基づいて、新たなリモートビューポイントを順次生成する。この新たなリモートビューポイントの位置情報は所定のデータベース306Bに格納される。
When viewed at the same scale based on the distances AB, BC, and CA between the sensor points described above, the amount of movement from the remote viewpoint RP1 to the new remote viewpoint RP2 is from each sensor point SP1 to SP3. It can be expressed by the fluctuation of the view angle. That is, the amount of movement to the new remote viewpoint RP2 can be expressed by the directions of the vectors Aa2, Bb2, and Cc2 passing through the remote viewpoint RP2 from the sensor points SP1 to SP3. The remote viewpoint generation unit 102 calculates the position information of the remote viewpoint PR2 in the same manner as described above, and this position information is transmitted to the
また、位置情報サーバ30の位置計算部304は、最新のリモートビューポイントと、近隣に配置されるセンサポイントとの距離Δを、数式2を用いてそれぞれ計算している。
Further, the position calculation unit 304 of the
そして、リモートビューポイントが順次移動していくに連れて、現在選択されているセンサポイントSP1~SP3よりも最新のリモートビューポイントに近いセンサポイントSP6(点F)が現れると、位置情報サーバ30の情報出力部308は、このセンサポイントSP6の位置情報を情報処理端末10に送信する。情報処理端末10では、最新のリモートビューポイントの位置と移動方向から、既存のセンサポイントSP1~SP3と新たに提供されたセンサポイントSP6とを入れ替えるかどうかの判断がなされる。この場合、リモートビューポイントが移動する方向にユーザの視線方向が向いていると想定されるため、この視線方向と各センサポイントからのビューアングルとの角度差(視線差角度)が最も小さなセンサポイントが少なくとも含まれるようにするのが好ましい。
Then, as the remote viewpoint moves in sequence, when the sensor point SP6 (point F) that is closer to the latest remote viewpoint than the currently selected sensor points SP1 to SP3 appears, the
<3.2.センサポイント選択の具体例>
次に、リモートビューポイントにおいて、ライブ映像を提供するセンサポイントSPを選択する動作について説明する。ここでは、説明の便宜上、同一のリモートビューポイントにて、ユーザがその場で360°に亘って見渡す動作をした場合のセンサポイントSPの選択(切換え)動作を例示する。図8は、リモートビューポイントの周囲に配置されたセンサポイントの選択を説明する図である。図9は、ターゲットに対するセンサポイントとリモートビューポイントとの視線差角度の状況と、選択されるセンサポイントのビューとの関係を示す図である。図10は、周囲を見回した場合に切換えられるセンサポイントのビューの具体例を示す図である。
<3.2. Specific example of sensor point selection>
Next, the operation of selecting the sensor point SP that provides the live image in the remote viewpoint will be described. Here, for convenience of explanation, the selection (switching) operation of the sensor point SP when the user performs an operation of looking over 360 ° on the spot at the same remote viewpoint will be illustrated. FIG. 8 is a diagram illustrating selection of sensor points located around a remote viewpoint. FIG. 9 is a diagram showing the relationship between the state of the line-of-sight difference angle between the sensor point and the remote viewpoint with respect to the target and the view of the selected sensor point. FIG. 10 is a diagram showing a specific example of a view of sensor points that can be switched when looking around.
リモートビューポイントが設定されると、情報処理端末10のビュー切換え部104は、リモートビューポイントに基づいて最適なセンサポイントSPを選択し、このセンサポイントSPの撮影したライブ映像の配信をリクエストする。この場合、ユーザのライブ感を高めるためには、ユーザの視線に合致したライブ映像を提供することが好ましい。一方で、センサポイントSPは、既存に設置されたものであり、ユーザの視線に応じて適宜カメラの位置や向きを変更することは難しい。このため、本実施形態では、ビュー切換え部104は、リモートビューポイントにおけるユーザの視線方向と、この視線のターゲットに向けて延びる各センサポイントのビュー方向(撮影方向)との角度差(視線差角度)が最も小さいセンサポイントSPを選択する。
When the remote viewpoint is set, the
具体的には、図8に示すように、リモートビューポイントRPからターゲットav1にユーザの視線が向いている場合、センサポイントSP1とセンサポイントSP2が候補に挙がる。この場合、センサポイントSP1、ターゲットav1及びリモートビューポイントRPを結ぶ角度∠(SP1,av1,RP)は、センサポイントSP2、ターゲットav1及びリモートビューポイントRPを結ぶ角度∠(SP2,av1,RP)よりも小さい。このため、図9に示すように、センサポイントSP1が選択され、表示制御部120は、選択されたセンサポイントSP1のビューをHMD112に表示させる。ここで、センサポイントSPのビューは、センサポイントSPで撮影された広角の映像からユーザの視線のターゲットを含む一部の領域を切り出した映像をいう。
Specifically, as shown in FIG. 8, when the user's line of sight is directed from the remote viewpoint RP to the target av1, the sensor point SP1 and the sensor point SP2 are listed as candidates. In this case, the angle ∠ (SP1, av1, RP) connecting the sensor point SP1, the target av1 and the remote viewpoint RP is from the angle ∠ (SP2, av1, RP) connecting the sensor point SP2, the target av1 and the remote viewpoint RP. Is also small. Therefore, as shown in FIG. 9, the sensor point SP1 is selected, and the
同様に、リモートビューポイントRPからターゲットav3に視線が向いている場合、センサポイントSP1とセンサポイントSP2が候補に挙がる。この場合、先ほどとは異なり、センサポイントSP2、ターゲットav3及びリモートビューポイントRPを結ぶ角度∠(SP2,av3,RP)は、センサポイントSP1、ターゲットav3及びリモートビューポイントRPを結ぶ角度∠(SP1,av3,RP)よりも小さい。このため、図9に示すように、センサポイントSP2が選択され、表示制御部120は、選択されたセンサポイントSP2のビューをHMD112に表示させる。なお、センサポイントSP2とセンサポイントSP3、センサポイントSP3とセンサポイントSP4、センサポイントSP4とセンサポイントSP1についても上記と同様な選択動作がなされるが、これについては説明を省略する。
Similarly, when the line of sight is directed from the remote viewpoint RP to the target av3, the sensor point SP1 and the sensor point SP2 are listed as candidates. In this case, unlike the previous case, the angle ∠ (SP2, av3, RP) connecting the sensor point SP2, the target av3 and the remote viewpoint RP is the angle ∠ (SP1, It is smaller than av3, RP). Therefore, as shown in FIG. 9, the sensor point SP2 is selected, and the
この構成によれば、リモートビューポイントRPに対して視線差角度が最も小さいセンサポイントSPが選択されるため、リモートビューポイントRPにおける視線方向とセンサポイントSPのビュー方向との極端な不一致を低減することができる。このため、リモートビューポイントRPからの視線に近いセンサポイントSPのビューをHMD112に表示することができ、ユーザが体験するライブ感を高めることができる。
According to this configuration, the sensor point SP having the smallest line-of-sight difference angle with respect to the remote viewpoint RP is selected, so that an extreme mismatch between the line-of-sight direction in the remote viewpoint RP and the view direction of the sensor point SP is reduced. be able to. Therefore, the view of the sensor point SP close to the line of sight from the remote viewpoint RP can be displayed on the
また、選択されるセンサポイントSPによって、HMD112に表示されるセンサポイントSPのビューが切換わる。このため、リモートビューポイントRPの視点位置からのビューのアングルに生じる違和感を低減するため、センサポイントSP間の切換え動作を工夫している。すなわち、ビュー切換え部104の視線差角度算出部132は、リモートビューポイントRPにて、例えば時計方向に回転して周囲を見渡す動作をした場合、移動する視線の先(ターゲット)に対する各センサポイントの視線差角度を算出し、この視線差角度の大ききによって、切換え判断部134がビューの切換えを実行している。具体的には、図8において、リモートビューポイントRPにて、ユーザの視線方向がターゲットav1からav3まで時計方向に移動した場合、視線差角度算出部132は、角度∠(SP1,av1,RP)と、角度∠(SP2,av1,RP)とを算出し、これらの角度が一致した条件(ターゲットav2e)にて、HMD112に表示されるセンサポイントSPのビューをセンサポイントSP1からセンサポイントSP2に切換えている。なお、センサポイントSP2とセンサポイントSP3、センサポイントSP3とセンサポイントSP4、センサポイントSP4とセンサポイントSP1についても上記と同様な選択動作がなされるが、これについては説明を省略する。
Further, the view of the sensor point SP displayed on the
この構成によれば、ビューの切換え時に、ユーザの違和感を低減することができ、ユーザが体験するライブ感を高めることができる。なお、図8では、リモートビューポイントRPと各ターゲットavとの距離は任意に描いているが、リモートビューポイントRPからの各ターゲットavとの距離を所定値(例えば20m)とすることが好ましい。この構成によれば、視線差角度を正確に算出することができ、ビューの切換え時のユーザの違和感をより低減することができる。 According to this configuration, it is possible to reduce the discomfort of the user when switching the views, and it is possible to enhance the live feeling experienced by the user. Although the distance between the remote viewpoint RP and each target av is arbitrarily drawn in FIG. 8, it is preferable that the distance from each target av from the remote viewpoint RP is a predetermined value (for example, 20 m). According to this configuration, the line-of-sight difference angle can be calculated accurately, and the user's discomfort at the time of switching the view can be further reduced.
上記したように、リモートビューポイントRPの周囲を見回す場合に、リモートビューポイントRPに対して視線差角度が一致した条件でセンサポイントSPが切換えられる。このため、図10に示すように、センサポイントSP1からセンサポイントSP2へ切換えられた場合、同一のターゲットを含むセンサポイントSP1のビュー70-2と、センサポイントSP2のビュー71-1との違和感を低減することができる。同様に、センサポイントSP2からセンサポイントSP3へ切換えられた場合、同一のターゲットを含むセンサポイントSP2のビュー71-2と、センサポイントSP3のビュー72-1との違和感を低減することができる。また、センサポイントSP3からセンサポイントSP4へ切換えられた場合、同一のターゲットを含むセンサポイントSP3のビュー72-2と、センサポイントSP4のビュー73-1との違和感を低減することができる。また、センサポイントSP4からセンサポイントSP1へ切換えられた場合、同一のターゲットを含むセンサポイントSP4のビュー73-2と、センサポイントSP1のビュー70-1との違和感を低減することができる。 As described above, when looking around the remote viewpoint RP, the sensor point SP is switched under the condition that the line-of-sight difference angle matches the remote viewpoint RP. Therefore, as shown in FIG. 10, when the sensor point SP1 is switched to the sensor point SP2, the view 70-2 of the sensor point SP1 including the same target and the view 71-1 of the sensor point SP2 feel uncomfortable. Can be reduced. Similarly, when the sensor point SP2 is switched to the sensor point SP3, it is possible to reduce the discomfort between the view 71-2 of the sensor point SP2 including the same target and the view 72-1 of the sensor point SP3. Further, when the sensor point SP3 is switched to the sensor point SP4, it is possible to reduce the discomfort between the view 72-2 of the sensor point SP3 including the same target and the view 73-1 of the sensor point SP4. Further, when the sensor point SP4 is switched to the sensor point SP1, the discomfort between the view 73-2 of the sensor point SP4 including the same target and the view 70-1 of the sensor point SP1 can be reduced.
<3.3.ビュー表示処理の具体例>
次に、上記したセンサポイントSPのビューをHMD112に表示する際の表示処理について説明する。図11は、ビューの表示処理を説明する模式図である。上記したように、本実施形態では、情報処理端末10の表示ビュー構成部110は、各センサポイントSPで撮影された広角の映像からユーザの視線のターゲットを含む一部の領域を切り出したビューをHMD112に表示する制御を行っている。この場合、リモートビューポイントRPでの映像の視野角は、各センサポイントSPの位置で撮影される映像の視野角に対し、該センサポイントSPからの距離に比例して小さくなる。このため、表示ビュー構成部110は、センサポイントSPが撮影した広角映像75(デコード画)に対して、平面化変換処理を行って平面化画76を生成する。そして、平面化画76の傾き補正した後、視線のターゲットを含む所定の領域(一部)を切り出した切り出し画77を生成する。この切り出し画77は、各センサポイントSPにおいて、同一のターゲットを含む場合に、このターゲットが同等の大きさになるように切り出すことが好ましい。この構成によれば、ビューの切換え時に、ユーザの違和感を低減することができ、ユーザが体験するライブ感を高めることができる。最後に、表示ビュー構成部110は、切り出しによって解像度が低下した切り出し画77に超解像度処理を行うことより、例えば、センサキャプチャ級の超解像画78を生成する。この超解像画78がHMD112に表示されるため、ユーザのライブ感を高めることができる。
<3.3. Specific example of view display processing>
Next, a display process for displaying the above-mentioned view of the sensor point SP on the
<3.4.ビュー切換え時のガイド画像表示の具体例>
次に、ビュー切換え時にガイド画像を重畳して表示する動作について説明する。図12は、センサポイントが撮影した広角映像と、この広角画像から切り出された各種のビューとを示す図である。この図12では、リモートビューポイントにおけるユーザの視線の動きによって、広角映像(デコード画)80から3つのビュー(表示映像)81A~81Cが切り出されている。
<3.4. Specific example of guide image display when switching views>
Next, the operation of superimposing and displaying the guide image at the time of view switching will be described. FIG. 12 is a diagram showing a wide-angle image taken by the sensor point and various views cut out from the wide-angle image. In FIG. 12, three views (displayed images) 81A to 81C are cut out from the wide-angle image (decoded image) 80 according to the movement of the user's line of sight at the remote viewpoint.
上記したように、リモートビューポイントにおいて、視線方向を動かした場合に、視線差角度が最も小さいセンサポイントSPが選択されるため、HMD112に表示されるビューの撮影角度が変わる。この場合、センサポイントSPの配置関係によっては、視線差角度が一致した条件(ターゲットav2e)にて、HMD112に表示されるセンサポイントSPのビューを切換えることもでき、ユーザの違和感を低減することができる。一方で、センサポイントSPは、既存のものであるため、センサポイントSPの切換えの前後で撮影方向が大きく変化することも十分に想定される。この場合、ユーザの視線方向の移動によって、突然、センサポイントSPが切換わると、ユーザの違和感が大きくなる問題がある。
As described above, when the line-of-sight direction is moved at the remote viewpoint, the sensor point SP having the smallest line-of-sight difference angle is selected, so that the shooting angle of the view displayed on the
このため、本構成では、表示ビュー構成部110は、センサポイントSPの切換え前のビュー81A,81Cに、それぞれ切換え後のセンサポイントSP表示内容を示すガイド画像(ユーザインタフェース)82A,82Cをそれぞれ重畳して表示する。これらのガイド画像の生成そして重畳は、画像拡大縮小部148と表示ビュー構成部110のUI生成部150によって生成される。これらのガイド画像82A,82Cは、視線方向の移動に伴って切換えられた後のセンサポイントSPの広角画像(デコード画)83A,83Cと、これら広角画像83A,83Cから切り出された同一のターゲットを含む切り出し予定画像84A,84Cと、視線方向の移動を示す矢印画像85A,85Cとを含む。なお、センサポイントSPの切換えのないビュー81Bには、ガイド画像は表示されない。この構成によれば、センサポイントSPが切換えられる場合、切換え前のビュー81A,81Cに、それぞれ切換え後の表示内容を示すガイド画像82A,82Cがそれぞれ重畳して表示されるため、事前にユーザはセンサポイントSPの切換えを認識することができる。このため、センサポイントSPが切換わった場合におけるユーザの違和感が低減することができる。なお、ガイド画像82A,82Cの重畳は、センサポイントSPの切換え前、そして切換え後の一定期間に行われるようにしてもよい。
Therefore, in this configuration, the display
<3.5.ユーザの視線方向画像表示の具体例>
次に、表示されるビューに対して、ユーザの視線方向画像を重畳して表示する動作について説明する。図13は、ユーザの視線方向と撮影方向との視線差角度を示す図である。図14は、平面表現した視線方向画像を表示ビューに重畳した例を示す図である。図15は、立体表現した視線方向画像を説明するための図である。図16は、図12のビューに立体表現された視線方向画像を重畳した具体例を示す図である。
<3.5. Specific example of user's line-of-sight image display>
Next, the operation of superimposing and displaying the user's line-of-sight direction image on the displayed view will be described. FIG. 13 is a diagram showing a line-of-sight difference angle between the user's line-of-sight direction and the photographing direction. FIG. 14 is a diagram showing an example in which a plane-represented line-of-sight direction image is superimposed on a display view. FIG. 15 is a diagram for explaining a three-dimensionally represented line-of-sight direction image. FIG. 16 is a diagram showing a specific example in which a three-dimensionally represented line-of-sight direction image is superimposed on the view of FIG.
上記したように、センサポイントSPにおける撮影方向とリモートビューポイントにおけるユーザの視線方向とは一般に異なるため、HMD112に表示される撮影映像(ライブ映像)は、リモートビューポイントで見える風景とは異なる角度で撮影された映像となる。このため、ユーザが撮影方向と視線方向とのギャップによって生じる違和感を覚えることが想定される。このため、本実施形態では、撮影方向と視線方向との視線差角度を求め、この視線差角度を示す視線方向画像を表示画像に重畳することで、ユーザの違和感の低減を図っている。
As described above, since the shooting direction at the sensor point SP and the line-of-sight direction of the user at the remote viewpoint are generally different, the shot video (live video) displayed on the
図13に示すように、リモートビューポイントRPにおけるターゲットV1へ向かう視線方向と、センサポイントSP1でのターゲットV1の撮影方向とはほぼ一致する。これに対して、ターゲットV2では、視線方向とセンサポイントSP1の撮影方向とは視線差角度A1の視線差を生じる。同様に、ターゲットV3では、視線方向とセンサポイントSP1の撮影方向とは視線差角度A2の視線差を生じ、ターゲットV4では、視線方向とセンサポイントSP2の撮影方向とは視線差角度A3の視線差を生じることとなる。 As shown in FIG. 13, the line-of-sight direction toward the target V1 at the remote viewpoint RP and the shooting direction of the target V1 at the sensor point SP1 substantially coincide with each other. On the other hand, in the target V2, a line-of-sight difference of the line-of-sight angle A1 is generated between the line-of-sight direction and the photographing direction of the sensor point SP1. Similarly, in the target V3, the line-of-sight difference between the line-of-sight direction and the shooting direction of the sensor point SP1 is the line-of-sight difference angle A2, and in the target V4, the line-of-sight difference between the line-of-sight direction and the shooting direction of the sensor point SP2 is the line-of-sight difference angle A3. Will occur.
このため、図14に示すように、ターゲットV1を表示する映像には、視線方向と撮影方向とがほぼ一致したことを平面的に表現した視線方向画像90が重畳して表示される。この視線方向画像90は、撮影方向90Aと視線方向90Bとが点状に重ねて表現されている。これに対して、視線差角度が生じている場合には、この視線差角度を表現した視線方向画像が映像に重畳して表示される。例えば、ターゲットV2を表示する映像に重畳される視線方向画像91は、上下の鉛直線で示した撮影方向91Aと、この撮影方向91Aに対して左側から所定の視線差角度A1で交差する矢印で示した視線方向91Bとを有する。この構成では、表示されている映像に対して、リモートビューポイントにおける視線方向と視線差角度の大きさがどの程度であるかを平面的に表現した視線方向のグラフィックス表示で簡易に示すことができるため、映像を視聴しているユーザの違和感を低減することができる。
Therefore, as shown in FIG. 14, a line-of-
同様に、ターゲットV3を表示する映像に重畳される視線方向画像92は、上下の鉛直線で示した撮影方向92Aと、この撮影方向92Aに対して左側から所定の視線差角度A2で交差する矢印で示した視線方向92Bとを有する。また、ターゲットV4を表示する映像に重畳される視線方向画像93は、上下の鉛直線で示した撮影方向93Aと、この撮影方向93Aに対して右側から所定の視線差角度A3で交差する矢印で示した視線方向93Bとを有する。
Similarly, the line-of-
また、通常、3次元空間では、図15に示すように、視線方向とカメラ撮影方向との差を示す視線差角度は、各々、水平角A1x、垂直各A1yと表現できる。このため、本実施形態では、視線方向画像94は、表示される映像と同一平面に想定された矩形の底面94Cと、この矩形の一角部を該底面に垂直に延びる撮影方向94Aと、この撮影方向94Aに対して所定の視線差角度で交差する矢印で示した視線方向94Bとを有する。例えば、ターゲットV3を表示する映像に視線方向画像94を重畳することにより、表示されている映像に対して、リモートビューポイントにおける視線方向と、視線差角度の大きさがどの程度であるかを立体的に表現した視線方向のグラフィックス表示で示すことができる。このため、映像を視聴しているユーザの違和感を低減することができる。
Further, usually, in a three-dimensional space, as shown in FIG. 15, the line-of-sight difference angle indicating the difference between the line-of-sight direction and the camera shooting direction can be expressed as a horizontal angle A1x and a vertical angle A1y, respectively. Therefore, in the present embodiment, the line-of-
また、図12に示したビュー81A~81Cにそれぞれ立体的に表現した視線方向画像95~97を重畳して表現してみると、例えば、ビュー81A、81Bは、同じセンサポイントSPが撮影した画像に対して、視線方向画像95、96を重畳しているため、視線方向画像95、96の視線方向95B、96Bはほぼ同じ方向に向いている。これに対して、例えば、ビュー81Cがビュー81A、81Bと異なるセンサポイントSPが撮影している場合、ビュー81Cに重畳される視線方向画像97の視線方向97Bは、上記した視線方向画像95、96の視線方向95B、96Bと異なる。このため、ビュー81Bとビュー81Cとで切換えられた場合、視線方向画像96、97によって、撮影するセンサポイントSPが切換えられたことを判断することができ、映像を視聴しているユーザの違和感を低減することができる。
Further, when the line-of-
<4.情報処理システムの変形例>
次に、本実施形態に係る情報処理システムの変形例を説明する。図17は、変形例に係る情報処理システムの動作手順を示すフローチャートである。図18は、位置情報サーバが有するリモートビューポイントの位置情報と視線方向とを記憶したデータベースを示す図である。上記した実施形態では、情報処理システム1は、それぞれ1台ずつの位置情報サーバ30、配信サーバ40を備えた構成としたが、この変形例では、それぞれ2台ずつ、すなわち第1位置情報サーバ30A及び第2位置情報サーバ30Bと、第1配信サーバ40A及び第2配信サーバ40Bとを備えた構成となっている。これら第1位置情報サーバ30A及び第2位置情報サーバ30Bは、上記した位置情報サーバ30と同一の構成を有し、第1配信サーバ40A及び第2配信サーバ40Bは、上記した配信サーバ40と同一の構成を有する。第1位置情報サーバ30Aと第1配信サーバ40Aは、センサポイントSP1~SPPが設置されたエリアを担当し、第2位置情報サーバ30Bと第2配信サーバ40Bは、異なるエリアに設置されたセンサポイントSPQ~SPZを担当するものとする。なお、これらの担当エリア(センサポイント)は多少重複してもよい。
<4. Modification example of information processing system>
Next, a modified example of the information processing system according to this embodiment will be described. FIG. 17 is a flowchart showing an operation procedure of the information processing system according to the modified example. FIG. 18 is a diagram showing a database that stores the position information of the remote viewpoint and the line-of-sight direction of the position information server. In the above-described embodiment, the
この構成では、リモートビューポイントRPの位置の移動に伴い、該当するセンサポイントSPの担当エリアにより位置情報サーバ及び配信サーバが切換わる。この構成によれば、各位置情報サーバ及び配信サーバの負荷が軽減される。 In this configuration, as the position of the remote viewpoint RP moves, the position information server and the distribution server are switched depending on the area in charge of the corresponding sensor point SP. According to this configuration, the load on each location information server and distribution server is reduced.
また、上記した実施形態では、情報処理端末10がリモートビューポイントRPの位置に応じて、視線差角度が最も小さなセンサポイントSPを選択する構成としたが、この選択を第1位置情報サーバ30A及び第2位置情報サーバ30Bに実行させてもよい。この場合、センサポイントSPの選択は、位置計算部304が実行する構成とすればよい。
Further, in the above-described embodiment, the
変形例に係る情報処理システムの動作について説明する。図17に示すように、初期状態として、センサポイントSPは、それぞれ自己のセンサポイントの位置情報、カメラの姿勢情報およびカメラの広角情報を担当する第1位置情報サーバ30A、または第2位置情報サーバ30Bに送信する(予備ステップS1A、S1B)。これらの送信された情報は、第1位置情報サーバ30A、第2位置情報サーバ30Bの位置・姿勢広角情報取得部300が取得して記憶部306にセンサポイントごとにデータベース化して記憶される。また、センサポイントSPは、それぞれ撮影した映像と音声を担当する第1配信サーバ40Aまたは第2配信サーバ40Bに常時送信し、これら映像と音声を情報処理端末10のリクエストに応じてストリーミング配信するように設定する(予備ステップS2A、S2B)。
The operation of the information processing system according to the modified example will be described. As shown in FIG. 17, as an initial state, the sensor point SP is the first position information server 30A or the second position information server which is in charge of the position information of its own sensor point, the attitude information of the camera, and the wide angle information of the camera, respectively. It is transmitted to 30B (preliminary steps S1A, S1B). These transmitted information are acquired by the position / attitude wide-angle
次に、情報処理端末10を通じて、ユーザが遠隔地体験を所望する遠隔地(エリア)の初期位置として所定の住所が入力される(予備ステップS3)と、第1位置情報サーバ30Aは、入力された住所と位置情報との関連付けを行い、この住所に対する近隣の複数のセンサポイントSPの各情報を情報処理端末10に送信する(予備ステップS4)。 Next, when a predetermined address is input as the initial position of the remote location (area) where the user desires the remote location experience through the information processing terminal 10 (preliminary step S3), the first location information server 30A is input. The address is associated with the location information, and each information of a plurality of sensor points SP in the vicinity of this address is transmitted to the information processing terminal 10 (preliminary step S4).
次に、情報処理端末10は、ユーザの視点位置(仮想位置)を定めて、これを入力する(ステップS21)。この視点位置は、移動の開始点であり、ユーザが任意に設定することができる。また、情報処理端末10は、近隣の複数のセンサポイントSPの位置情報からリモートビューポイントRPを生成し、このリモートビューポイントRPの位置情報を第1位置情報サーバ30A及び第2位置情報サーバ30Bへそれぞれ送信する。
Next, the
次に、生成されたリモートビューポイントRPが存在するエリアを担当する位置情報サーバ(例えば第1位置情報サーバ30A)へ接続し、リモートビューポイントRPの位置情報と視線方向とを送信する(ステップS22)。この場合、第1位置情報サーバ30Aは、生成されたリモートビューポイントRPの位置情報及び視線方向を取得すると、この位置情報及び視線方向をデータベースで共有する。このデータベース306B1は、図18に示すように、リモートビューポイントRPにおける視線方向を3次元空間のピッチ、アジマス、ロールで記憶する。 Next, it connects to the position information server (for example, the first position information server 30A) in charge of the area where the generated remote viewpoint RP exists, and transmits the position information of the remote viewpoint RP and the line-of-sight direction (step S22). ). In this case, when the first position information server 30A acquires the position information and the line-of-sight direction of the generated remote viewpoint RP, the position information and the line-of-sight direction are shared in the database. As shown in FIG. 18, the database 306B1 stores the line-of-sight direction in the remote viewpoint RP by the pitch, azimuth, and roll in the three-dimensional space.
次に、第1位置情報サーバ30Aは、リモートビューポイントRPの近傍のセンサポイントSP群を情報処理端末10へ送信する(ステップS23)。情報処理端末10は、ユーザの仮想位置が移動するに従い、ユーザの移動量及び移動方向に基づいて、リモートビューポイントRPを更新し、更新したリモートビューポイントRPの位置情報と視線方向とを第1位置情報サーバ30Aに送信する(ステップS24)。この場合、第1位置情報サーバ30Aは、リモートビューポイントRPの位置情報及び視線方向に基づいてセンサポイントSPを選択する。この変形例では、第1位置情報サーバ30Aは、リモートビューポイントRPにおけるユーザの視線方向と、この視線のターゲットに向けて延びる各センサポイントのビュー方向(撮影方向)との角度差(視線差角度)が最も小さいセンサポイントSPを選択する(ステップS25)。この選択されたセンサポイントSPは、情報処理端末10に送信される。
Next, the first position information server 30A transmits the sensor point SP group in the vicinity of the remote viewpoint RP to the information processing terminal 10 (step S23). The
情報処理端末10は、選択されたセンサポイントSPを担当する第1配信サーバ40Aに対して、該センサポイントSPが撮影したライブ映像の配信をリクエストする(ステップS26)。第1配信サーバ40Aは、リクエストされたセンサポイントSPが撮影したライブ映像を情報処理端末10に配信する(ステップS27)。以後、新たなリモートビューポイントRPの位置が第2位置情報サーバ30Bの担当エリアに移るまで、ステップS23~S27の処理が繰り返し実行される。
The
次に、新たなリモートビューポイントRPの位置が第2位置情報サーバ30Bの担当エリアに移った場合、このリモートビューポイントRPが存在するエリアを担当する別の位置情報サーバ(例えば第2位置情報サーバ30B)へ接続し、リモートビューポイントRPの位置情報と視線方向とを送信する(ステップS28)。この場合、第2位置情報サーバ30Bは、生成されたリモートビューポイントRPの位置情報及び視線方向を取得すると、この位置情報及び視線方向をデータベース306B1(図18)で共有する。 Next, when the position of the new remote viewpoint RP moves to the area in charge of the second position information server 30B, another position information server (for example, the second position information server) in charge of the area in which the remote viewpoint RP exists It connects to 30B) and transmits the position information of the remote viewpoint RP and the line-of-sight direction (step S28). In this case, when the second position information server 30B acquires the position information and the line-of-sight direction of the generated remote viewpoint RP, the position information and the line-of-sight direction are shared by the database 306B1 (FIG. 18).
次に、第2位置情報サーバ30Bは、リモートビューポイントRPの近傍のセンサポイントSP群を情報処理端末10へ送信する(ステップS29)。情報処理端末10は、ユーザの仮想位置が移動するに従い、ユーザの移動量及び移動方向に基づいて、リモートビューポイントRPを更新し、更新したリモートビューポイントRPの位置情報と視線方向とを第2位置情報サーバ30Bに送信する(ステップS30)。この場合、第2位置情報サーバ30Bは、リモートビューポイントRPの位置情報及び視線方向に基づいてセンサポイントSPを選択する。この変形例では、第2位置情報サーバ30Bは、リモートビューポイントRPにおけるユーザの視線方向と、この視線のターゲットに向けて延びる各センサポイントのビュー方向(撮影方向)との角度差(視線差角度)が最も小さいセンサポイントSPを選択する(ステップS31)。この選択されたセンサポイントSPは、情報処理端末10に送信される。
Next, the second position information server 30B transmits the sensor point SP group in the vicinity of the remote viewpoint RP to the information processing terminal 10 (step S29). The
情報処理端末10は、選択されたセンサポイントSPを担当する第2配信サーバ40Aに対して、該センサポイントSPが撮影したライブ映像の配信をリクエストする(ステップS32)。第2配信サーバ40Bは、リクエストされたセンサポイントSPが撮影したライブ映像を情報処理端末10に配信する(ステップS33)。以後、新たなリモートビューポイントRPの位置が別の位置情報サーバの担当エリアに移るまで、ステップS28~S33の処理が繰り返し実行される。
The
この変形例においても、情報処理端末10は、遠隔地に任意に設置された多数のセンサポイントSPの中から、生成されたリモートビューポイントに基づいて選択されたセンサポイントSPが撮影したライブ映像を順次切換えてユーザに提供することができる。このため、遠隔地をユーザがライブ感をもって移動する遠隔地体験を実現することができる。さらに、この変形例では、リモートビューポイントRPの位置の移動に伴い、該当するセンサポイントSPの担当エリアにより位置情報サーバ及び配信サーバがそれぞれ切換わる。このため、各位置情報サーバ及び配信サーバの負荷を軽減することができる。
Also in this modification, the
<5.ハードウェア構成例>
次に、本開示に係る情報処理端末10、位置情報サーバ30及び配信サーバ40に共通するハードウェア構成例について説明する。図19は、本開示に係る情報処理端末、位置情報サーバおよび配信サーバのハードウェア構成例を示すブロック図である。図19を参照すると、本開示に係る情報処理端末10、位置情報サーバ30および配信サーバ40は、例えば、CPU871と、ROM872と、RAM873と、ホストバス874と、ブリッジ875と、外部バス876と、インタフェース877と、入力装置878と、出力装置879と、ストレージ880と、ドライブ881と、接続ポート882と、通信装置883と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
<5. Hardware configuration example>
Next, a hardware configuration example common to the
CPU871は、例えば、演算処理装置又は制御装置として機能し、ROM872、RAM873、ストレージ880、又はリムーバブル記録媒体901に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
The
ROM872は、CPU871に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM873には、例えば、CPU871に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
The
CPU871、ROM872、RAM873は、例えば、高速なデータ伝送が可能なホストバス874を介して相互に接続される。一方、ホストバス874は、例えば、ブリッジ875を介して比較的データ伝送速度が低速な外部バス876に接続される。また、外部バス876は、インタフェース877を介して種々の構成要素と接続される。
The
入力装置878には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、およびレバー等が用いられる。さらに、入力装置878としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ(以下、リモコン)が用いられることもある。また、入力装置878には、マイクロフォンなどの音声入力装置が含まれる。 For the input device 878, for example, a mouse, a keyboard, a touch panel, buttons, switches, levers, and the like are used. Further, as the input device 878, a remote controller (hereinafter referred to as a remote controller) capable of transmitting a control signal using infrared rays or other radio waves may be used. Further, the input device 878 includes a voice input device such as a microphone.
出力装置879は、例えば、HMD、CRT(Cathode Ray Tube)、LCD、又は有機EL等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
The
ストレージ880は、各種のデータを格納するための装置である。ストレージ880としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
The
ドライブ881は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体901に記録された情報を読み出し、又はリムーバブル記録媒体901に情報を書き込む装置である。
The
リムーバブル記録媒体901は、例えば、DVDメディア、Blu-ray(登録商標)メディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体901は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。 The removable recording medium 901 is, for example, a DVD media, a Blu-ray (registered trademark) media, an HD DVD media, various semiconductor storage media, and the like. Of course, the removable recording medium 901 may be, for example, an IC card equipped with a non-contact type IC chip, an electronic device, or the like.
接続ポート882は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、イーサネット(登録商標)、SCSI(Small Computer System Interface)、RS-232Cポート、又は光オーディオ端子等のような外部接続機器902を接続するためのポートである。 The connection port 882 may be an external connection device 902 such as a USB (Universal Serial Bus) port, an IEEE1394 port, an Ethernet (registered trademark), a SCSI (Small Computer System Interface), a RS-232C port, an optical audio terminal, or the like. It is a port for connecting.
外部接続機器902は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。 The externally connected device 902 is, for example, a printer, a portable music player, a digital camera, a digital video camera, an IC recorder, or the like.
通信装置883は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線LAN、Bluetooth、又はWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデム等である。
The
<6.まとめ>
以上説明したように、本開示に係る情報処理端末10は、ユーザが視聴する映像を表示するHMD112と、ユーザから離れた遠隔地での該ユーザの移動量及び移動方向に基づいて、遠隔地における該ユーザのリモートビューポイントRPを順次生成するリモートビューポイント生成部102と、遠隔地に任意に配置された多数のセンサポイントSPの中から、リモートビューポイントRPに基づいて選択されたセンサポイントSPが撮影したライブ映像をHMD112に表示させる表示制御部120と、を備える。このため、時間的・金銭的な移動コストを要することなく、移動しながら現地の周囲の様子をライブで見渡せるといった6DoF効果を知覚することができる。従って、遠隔地をユーザがライブ感をもって移動する遠隔地体験を実現することができる。
<6. Summary>
As described above, the
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。 Although the preferred embodiments of the present disclosure have been described in detail with reference to the accompanying drawings, the technical scope of the present disclosure is not limited to such examples. It is clear that anyone with ordinary knowledge in the technical field of the present disclosure may come up with various modifications or modifications within the scope of the technical ideas set forth in the claims. Is, of course, understood to belong to the technical scope of the present disclosure.
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。 In addition, the effects described herein are merely explanatory or exemplary and are not limited. That is, the technique according to the present disclosure may exert other effects apparent to those skilled in the art from the description of the present specification, in addition to or in place of the above effects.
また、本明細書の情報処理端末10、位置情報サーバ30、配信サーバ40及びセンサポイントSPの処理に係る各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理端末10、位置情報サーバ30、配信サーバ40及びセンサポイントSPの処理に係る各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
Further, each step related to the processing of the
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
ユーザが視聴する映像を表示する表示部と、
前記ユーザから離れた遠隔地での該ユーザの移動量及び移動方向に基づいて、前記遠隔地における該ユーザのリモートビューポイントを順次生成するリモートビューポイント生成部と、
前記遠隔地に任意に配置された多数のセンサポイントの中から、前記リモートビューポイントに基づいて選択されたセンサポイントが撮影したライブ映像を前記表示部に表示させる表示制御部と、
備える情報処理装置。
(2)
前記表示制御部は、前記リモートビューポイントにおける前記ユーザの視線方向との角度差が小さい撮影方向を有するセンサポイントの前記ライブ映像を表示させる請求項1に記載の情報処理装置。
(3)
前記表示制御部は、広角に撮影された前記ライブ映像の一部を切り出して表示させる請求項1または2に記載の情報処理装置。
(4)
前記表示制御部は、前記センサポイントが切換えられる場合に、一部を切り出した前記ライブ映像に、前記センサポイントの切換え後の表示内容を示すガイド画像を重ねて表示する請求項3に記載の情報処理装置。
(5)
前記表示制御部は、一部を切り出した前記ライブ映像に、前記リモートビューポイントにおける前記ユーザの視線方向を重ねて表示する請求項3または4に記載の情報処理装置。
(6)
前記表示部は、前記ユーザの頭部に装着されるヘッドマウントディスプレイである請求項1から5のいずれか一項に記載の情報処理装置。
(7)
遠隔地に任意に配置された多数のセンサポイントの位置情報を記憶する記憶部と、
前記遠隔地におけるユーザのリモートビューポイントを順次取得するリモートビューポイント取得部と、
取得した前記リモートビューポイントに近接した複数の前記センサポイントの位置情報を出力する情報出力部と、
を備える情報処理装置。
(8)
前記情報出力部は、複数の前記センサポイントに、前記リモートビューポイントにおける前記ユーザの視線方向との角度差が最も小さい前記センサポイントを含めて出力する請求項7に記載の情報処理装置。
(9)
前記記憶部は、取得した前記リモートビューポイントの位置情報を記憶する請求項7または8に記載の情報処理装置。
(10)
前記センサポイントが撮影した映像情報を配信する映像情報配信部を備える請求項7から9のいずれか一項に記載の情報処理装置。
(11)
プロセッサが、
ユーザから離れた遠隔地での該ユーザの移動量及び移動方向に基づいて、前記遠隔地における該ユーザのリモートビューポイントを順次生成するステップと、
前記遠隔地に任意に配置された多数のセンサポイントの中から、前記リモートビューポイントに基づいて選択されたセンサポイントが撮影したライブ映像を表示部に表示させるステップと、
を備える情報処理方法。
(12)
情報処理端末と情報処理サーバとを有し、
前記情報処理端末は、ユーザが視聴する映像を表示する表示部と、
前記ユーザの現在位置と遠隔地における仮想位置とを対応づけ、前記ユーザの移動量及び移動方向に基づいて、前記遠隔地における該ユーザのリモートビューポイントを順次生成するリモートビューポイント生成部と、
撮像部を含み前記遠隔地に任意に配置された多数のセンサポイントの中から、前記リモートビューポイントに基づいて選択されたセンサポイントが撮影したライブ映像を前記表示部に表示させる表示制御部と、を備え、
前記情報処理サーバは、
前記センサポイントの位置情報を記憶する記憶部と、
前記リモートビューポイントを取得するリモートビューポイント取得部と、
取得した前記リモートビューポイントに近接した複数の前記センサポイントの位置情報を前記情報処理端末に出力する情報出力部と、
を備える情報処理システム。
The following configurations also belong to the technical scope of the present disclosure.
(1)
A display unit that displays the video that the user is watching, and
A remote viewpoint generator that sequentially generates remote viewpoints of the user at the remote location based on the amount and direction of movement of the user at a remote location away from the user.
A display control unit that displays a live image taken by a sensor point selected based on the remote viewpoint from a large number of sensor points arbitrarily arranged in the remote location on the display unit.
Information processing device to be equipped.
(2)
The information processing device according to
(3)
The information processing device according to
(4)
The information according to claim 3, wherein the display control unit superimposes and displays a guide image showing the display contents after the switching of the sensor points on the live image cut out partially when the sensor points are switched. Processing equipment.
(5)
The information processing device according to claim 3 or 4, wherein the display control unit superimposes the line-of-sight direction of the user at the remote viewpoint on the live image cut out in part.
(6)
The information processing device according to any one of
(7)
A storage unit that stores the position information of a large number of sensor points arbitrarily placed in remote areas,
A remote viewpoint acquisition unit that sequentially acquires a user's remote viewpoint in the remote location,
An information output unit that outputs the position information of a plurality of the sensor points that are close to the acquired remote viewpoint, and
Information processing device equipped with.
(8)
The information processing device according to
(9)
The information processing device according to
(10)
The information processing apparatus according to any one of
(11)
The processor,
A step of sequentially generating a remote viewpoint of the user at the remote location based on the amount and direction of movement of the user at a remote location away from the user.
A step of displaying a live image taken by a sensor point selected based on the remote viewpoint from a large number of sensor points arbitrarily arranged in the remote location on the display unit.
Information processing method.
(12)
It has an information processing terminal and an information processing server.
The information processing terminal has a display unit that displays an image to be viewed by a user, and a display unit.
A remote viewpoint generator that associates the current position of the user with a virtual position in a remote location and sequentially generates a remote viewpoint of the user in the remote location based on the movement amount and the movement direction of the user.
A display control unit that displays a live image taken by a sensor point selected based on the remote viewpoint on the display unit from a large number of sensor points arbitrarily arranged in the remote location including the image pickup unit. Equipped with
The information processing server is
A storage unit that stores the position information of the sensor point and
The remote viewpoint acquisition unit that acquires the remote viewpoint, and
An information output unit that outputs the acquired position information of a plurality of sensor points close to the remote viewpoint to the information processing terminal, and
Information processing system equipped with.
1 情報処理システム
10 情報処理端末
20 情報処理サーバ
30 位置情報サーバ
30A 第1位置情報サーバ
30B 第2位置情報サーバ
40 配信サーバ
40A 第1配信サーバ
40B 第2配信サーバ
102 リモートビューポイント生成部
104 ビュー切換え部
110 表示ビュー構成部
112 HMD(表示部)
120 表示制御部
302 リモートビューポイント取得部
304 位置計算部
306 記憶部
308 情報出力部
RP リモートビューポイント
SP センサポイント
1
120
Claims (12)
前記ユーザから離れた遠隔地での該ユーザの移動量及び移動方向に基づいて、前記遠隔地における該ユーザのリモートビューポイントを順次生成するリモートビューポイント生成部と、
前記遠隔地に任意に配置された多数のセンサポイントの中から、前記リモートビューポイントに基づいて選択されたセンサポイントが撮影したライブ映像を前記表示部に表示させる表示制御部と、
備える情報処理装置。 A display unit that displays the video that the user is watching, and
A remote viewpoint generator that sequentially generates remote viewpoints of the user at the remote location based on the amount and direction of movement of the user at a remote location away from the user.
A display control unit that displays a live image taken by a sensor point selected based on the remote viewpoint from a large number of sensor points arbitrarily arranged in the remote location on the display unit.
Information processing device to be equipped.
前記遠隔地におけるユーザのリモートビューポイントを順次取得するリモートビューポイント取得部と、
取得した前記リモートビューポイントに近接した複数の前記センサポイントの位置情報を出力する情報出力部と、
を備える情報処理装置。 A storage unit that stores the position information of a large number of sensor points arbitrarily placed in remote areas,
A remote viewpoint acquisition unit that sequentially acquires a user's remote viewpoint in the remote location,
An information output unit that outputs the position information of a plurality of the sensor points that are close to the acquired remote viewpoint, and
Information processing device equipped with.
ユーザから離れた遠隔地での該ユーザの移動量及び移動方向に基づいて、前記遠隔地における該ユーザのリモートビューポイントを順次生成するステップと、
前記遠隔地に任意に配置された多数のセンサポイントの中から、前記リモートビューポイントに基づいて選択されたセンサポイントが撮影したライブ映像を表示部に表示させるステップと、
を備える情報処理方法。 The processor,
A step of sequentially generating a remote viewpoint of the user at the remote location based on the amount and direction of movement of the user at a remote location away from the user.
A step of displaying a live image taken by a sensor point selected based on the remote viewpoint from a large number of sensor points arbitrarily arranged in the remote location on the display unit.
Information processing method.
前記情報処理端末は、ユーザが視聴する映像を表示する表示部と、
前記ユーザから離れた遠隔地での該ユーザの移動量及び移動方向に基づいて、前記遠隔地における該ユーザのリモートビューポイントを順次生成するリモートビューポイント生成部と、
前記遠隔地に任意に配置された多数のセンサポイントの中から、前記リモートビューポイントに基づいて選択されたセンサポイントが撮影したライブ映像を前記表示部に表示させる表示制御部と、を備え、
前記情報処理サーバは、
前記センサポイントの位置情報を記憶する記憶部と、
前記リモートビューポイントを取得するリモートビューポイント取得部と、
取得した前記リモートビューポイントに近接した複数の前記センサポイントの位置情報を前記情報処理端末に出力する情報出力部と、
を備える情報処理システム。 It has an information processing terminal and an information processing server.
The information processing terminal has a display unit that displays an image to be viewed by a user, and a display unit.
A remote viewpoint generator that sequentially generates remote viewpoints of the user at the remote location based on the amount and direction of movement of the user at a remote location away from the user.
It is provided with a display control unit for displaying a live image taken by a sensor point selected based on the remote viewpoint from a large number of sensor points arbitrarily arranged in the remote location on the display unit.
The information processing server is
A storage unit that stores the position information of the sensor point and
The remote viewpoint acquisition unit that acquires the remote viewpoint, and
An information output unit that outputs the acquired position information of a plurality of sensor points close to the remote viewpoint to the information processing terminal, and
Information processing system equipped with.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020135344A JP2022030985A (en) | 2020-08-07 | 2020-08-07 | Information processing device, information processing method and information processing system |
PCT/JP2021/026556 WO2022030209A1 (en) | 2020-08-07 | 2021-07-15 | Information processing device, information processing method, and information processing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020135344A JP2022030985A (en) | 2020-08-07 | 2020-08-07 | Information processing device, information processing method and information processing system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022030985A true JP2022030985A (en) | 2022-02-18 |
Family
ID=80118024
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020135344A Pending JP2022030985A (en) | 2020-08-07 | 2020-08-07 | Information processing device, information processing method and information processing system |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2022030985A (en) |
WO (1) | WO2022030209A1 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6974978B2 (en) * | 2016-08-31 | 2021-12-01 | キヤノン株式会社 | Image processing equipment, image processing methods, and programs |
JP6472486B2 (en) * | 2016-09-14 | 2019-02-20 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
KR102314594B1 (en) * | 2017-03-03 | 2021-10-18 | 후아웨이 테크놀러지 컴퍼니 리미티드 | Image display method and electronic device |
JP2020035392A (en) * | 2018-08-31 | 2020-03-05 | 真一 福重 | Remote communication system and the like |
-
2020
- 2020-08-07 JP JP2020135344A patent/JP2022030985A/en active Pending
-
2021
- 2021-07-15 WO PCT/JP2021/026556 patent/WO2022030209A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2022030209A1 (en) | 2022-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9858643B2 (en) | Image generating device, image generating method, and program | |
US10629107B2 (en) | Information processing apparatus and image generation method | |
EP3198866B1 (en) | Reconstruction of three-dimensional video | |
US20190045125A1 (en) | Virtual reality video processing | |
EP3065049A2 (en) | Interactive video display method, device, and system | |
US20230111408A1 (en) | Techniques for capturing and rendering videos with simulated reality systems and for connecting services with service providers | |
WO2001005154A1 (en) | All-around video output method and device | |
JPWO2012147363A1 (en) | Image generation device | |
WO2017169369A1 (en) | Information processing device, information processing method, program | |
AU2014396467B2 (en) | System and method for remote monitoring at least one observation area | |
US11647354B2 (en) | Method and apparatus for providing audio content in immersive reality | |
WO2015122052A1 (en) | Image transmission apparatus, information processing terminal, image transmission method, information processing method, program, and information storage medium | |
US11099392B2 (en) | Stabilized and tracked enhanced reality images | |
JPWO2017187764A1 (en) | Information processing terminal device and distribution device | |
JP2017199958A (en) | Imaging apparatus, control method thereof, and control program | |
JP2011151773A (en) | Video processing apparatus and control method | |
KR102200115B1 (en) | System for providing multi-view 360 angle vr contents | |
WO2022030209A1 (en) | Information processing device, information processing method, and information processing system | |
JP7203157B2 (en) | Video processing device and program | |
WO2020262391A1 (en) | Display control device, display control method, and program | |
WO2022220306A1 (en) | Video display system, information processing device, information processing method, and program | |
WO2017068928A1 (en) | Information processing device, control method therefor, and computer program | |
JP2000152216A (en) | Video output system | |
WO2024084943A1 (en) | Information processing device, information processing method, and program | |
WO2024070762A1 (en) | Information processing device, information processing method, and program |