JP6859286B2 - VR video distribution device and method, VR video playback device and method, and VR video system - Google Patents

VR video distribution device and method, VR video playback device and method, and VR video system Download PDF

Info

Publication number
JP6859286B2
JP6859286B2 JP2018058532A JP2018058532A JP6859286B2 JP 6859286 B2 JP6859286 B2 JP 6859286B2 JP 2018058532 A JP2018058532 A JP 2018058532A JP 2018058532 A JP2018058532 A JP 2018058532A JP 6859286 B2 JP6859286 B2 JP 6859286B2
Authority
JP
Japan
Prior art keywords
video
image
resolution
visual field
orientation information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018058532A
Other languages
Japanese (ja)
Other versions
JP2019169929A (en
Inventor
福井　啓允
啓允 福井
内藤　整
整 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2018058532A priority Critical patent/JP6859286B2/en
Publication of JP2019169929A publication Critical patent/JP2019169929A/en
Application granted granted Critical
Publication of JP6859286B2 publication Critical patent/JP6859286B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、VR映像配信装置および方法、VR映像再生装置および方法ならびにVR映像システムに係り、特に、エンコーダの解像度が限られているなかで、視野移動時の視認性を確保しながら視野内を高解像化できるVR映像配信装置および方法、VR映像再生装置および方法ならびにVR映像システムに関する。 The present invention relates to a VR video distribution device and method, a VR video playback device and method, and a VR video system, and in particular, in a limited resolution of an encoder, the field of view is maintained while ensuring visibility when moving the field of view. The present invention relates to a VR video distribution device and method capable of high resolution, a VR video playback device and method, and a VR video system.

近年、次世代における高臨場感メディアの一つとしてVR映像が注目されている。VR映像とは、一般にHMD（ヘッドマウントディスプレイ、以下、クライアントと表現する場合もある）を装着したユーザに対して、頭の向きに合わせて３６０度の視野すべてを表示することができる映像形態である。クライアントの形態としては、PCと接続して利用する形態、スタンドアロンの専用端末を用いる形態およびスマートフォンを簡易なゴーグルに装着する形態などがある。 In recent years, VR video has been attracting attention as one of the highly realistic media in the next generation. VR video is a video format that can display the entire 360-degree field of view according to the direction of the head to a user wearing an HMD (head-mounted display, hereinafter sometimes referred to as a client). is there. Clients include a form in which they are used by connecting to a PC, a form in which a stand-alone dedicated terminal is used, and a form in which a smartphone is attached to simple goggles.

しかしながら、特にスマートフォンを利用する形態では、クライアントで３６０度コンテンツの高度なレンダリングができないため、サーバから映像を配信することでVR映像を視聴するシステムが検討されている。 However, especially in the form of using a smartphone, since the client cannot perform advanced rendering of 360-degree contents, a system for viewing VR images by distributing images from a server is being studied.

VR映像の配信方式として、３６０度の視野を平面展開した２次元映像（以下、パノラマ映像）を配信する方式がある。パノラマ映像は、３６０度カメラの映像やCG（コンピュータグラフィクス）のような元となる３次元コンテンツから、特定の３次元視点位置の全周囲のデータを特定の３次元モデルに射影し、平面に展開することによって取得される２次元映像である。全周囲の情報を含むため、ユーザの視聴時の視野以外の情報も含む。 As a VR image distribution method, there is a method of distributing a two-dimensional image (hereinafter, panoramic image) in which a 360-degree field of view is expanded in a plane. The panoramic image is developed on a plane by projecting the data of the entire circumference of a specific 3D viewpoint position onto a specific 3D model from the original 3D content such as 360-degree camera image or CG (computer graphics). It is a two-dimensional image acquired by doing. Since it includes information on the entire surroundings, it also includes information other than the visual field of the user when viewing.

例えば、３次元視点位置を中心とする球面のデータを、Equirectangular projection （ERP、正距円筒図法）という射影形式に従って２次元映像に展開したものが該当する。クライアントは、パノラマ映像をデコードし、各フレームを射影形式に応じて球面に射影変換し、ユーザの向きに応じた視野映像を切り出して表示する。 For example, the data of a spherical surface centered on a three-dimensional viewpoint position is expanded into a two-dimensional image according to a projection format called Equirectangular projection (ERP). The client decodes the panoramic image, projects each frame into a spherical surface according to the projection format, and cuts out and displays the visual field image according to the orientation of the user.

一般的なクライアントは、二眼のVR映像の形式で表示する。これにより３６０度の映像表示を可能とする。なお、実際のアプリケーションでは、球面以外にも立方体や正八面体など複数の射影形式が利用されるが、ここでは平面に展開された映像をまとめてパノラマ映像と呼称する。 A typical client displays in the form of a binocular VR image. This enables 360-degree video display. In an actual application, a plurality of projection formats such as a cube and a regular octahedron are used in addition to a spherical surface, but here, images developed on a plane are collectively referred to as a panoramic image.

パノラマ映像を配信する方式は、３６０度の情報を全て送るため、ユーザが首を振って向きを変えたような場合にも遅延なく視野映像を表示することが可能である。 Since the method of delivering the panoramic image sends all the information of 360 degrees, it is possible to display the field of view image without delay even when the user shakes his head and changes the direction.

その一方、上述のような射影方式を用いるパノラマ映像では、ユーザの向きに依らず３６０度の情報を等しい品質で送るため、効率が悪いという問題がある。つまり、ユーザが見ていない向きの映像も配信され、帯域が不必要に多く消費され、全体の品質が低下する。 On the other hand, the panoramic image using the projection method as described above has a problem of inefficiency because 360-degree information is transmitted with the same quality regardless of the orientation of the user. That is, the video that is not viewed by the user is also delivered, the bandwidth is consumed unnecessarily, and the overall quality is deteriorated.

このような技術課題に対して、特許文献１では、パノラマ映像を予めスライス分割し、スライスごとに異なる解像度およびビットレートを設定し、ユーザの可視領域の品質を高くする一方、ユーザの非可視領域は低くすることで全体のビットレートを削減している。配信においては、ユーザの向きに基づいて可視・非可視領域を判定し、スライスごとの解像度およびビットレートを決定する。 In response to such technical problems, in Patent Document 1, the panoramic image is sliced in advance, different resolutions and bit rates are set for each slice, and the quality of the visible region of the user is improved, while the invisible region of the user is improved. Reduces the overall bit rate by lowering. In distribution, the visible / invisible region is determined based on the orientation of the user, and the resolution and bit rate for each slice are determined.

非特許文献１では、パノラマ映像を予めHEVCにおけるmotion vector constraint付きのタイル分割によりエンコードしておき、さらにそれらを複数の解像度で生成しておく。上記のタイルは並列で配信・デコードが可能であるため、ユーザの向きに応じて必要なタイル部分だけを配信できる。そして、ユーザの視野を覆うタイルは高解像度のパノラマ映像から取得し、それ以外は低解像度のものを取得する。これによりユーザの見ている部分だけを高解像度で配信することが可能である。 In Non-Patent Document 1, panoramic images are encoded in advance by tile division with motion vector constraints in HEVC, and they are further generated at a plurality of resolutions. Since the above tiles can be distributed and decoded in parallel, only the necessary tile part can be distributed according to the orientation of the user. Then, the tiles covering the user's field of view are acquired from the high-resolution panoramic image, and the other tiles are acquired with low-resolution images. This makes it possible to deliver only the part that the user is looking at in high resolution.

特開2016-105593号公報Japanese Unexamined Patent Publication No. 2016-105593

Robert Skupin, Yago Sanchez, Cornelius Hellge, Thomas Schierl, "Tile Based HEVC Video for Head Mounted Displays", ISM2016Robert Skupin, Yago Sanchez, Cornelius Hellge, Thomas Schierl, "Tile Based HEVC Video for Head Mounted Displays", ISM2016

特許文献１および非特許文献１では、パノラマ映像単位でのエンコードを行い、その後、パノラマ映像の一部を抽出する。これは、ユーザの可視領域のみを覆う映像であり、視野映像と呼ばれる。また、予めあらゆるユーザの可視領域に応じた視野映像をエンコードしておくこともできない。そのため、視野映像の解像度を上げるにはパノラマ映像単位で解像度を上げる必要がある。 In Patent Document 1 and Non-Patent Document 1, encoding is performed in units of panoramic images, and then a part of the panoramic images is extracted. This is an image that covers only the visible region of the user, and is called a visual field image. In addition, it is not possible to encode the visual field image according to the visible region of any user in advance. Therefore, in order to increase the resolution of the field of view image, it is necessary to increase the resolution in units of panoramic images.

しかしながら、エンコーダの最大解像度に上限がある場合、パノラマ映像の解像度が上限に達すると、視野映像の解像度をそれ以上に上げることができない。例えば、エンコーダの解像度が4Kまで対応している条件では、4Kパノラマ映像を生成すると2Kの視野映像を抽出できる。 However, if there is an upper limit to the maximum resolution of the encoder, when the resolution of the panoramic image reaches the upper limit, the resolution of the field image cannot be further increased. For example, under the condition that the resolution of the encoder supports up to 4K, if a 4K panoramic image is generated, a 2K field of view image can be extracted.

その一方、同条件下で解像度を上げるには、(1) 領域は同じのまま4Kでエンコードする、(2) より狭い視野映像を抽出して2Kでエンコードする、がある。 On the other hand, in order to increase the resolution under the same conditions, there are (1) encoding with 4K while keeping the same area, and (2) extracting a narrower field image and encoding with 2K.

本発明の目的は、上記の技術課題を解決し、ユーザが注視した領域にエンコード範囲を任意に絞ることで高解像化を実現するVR映像配信装置および方法、VR映像再生装置および方法ならびにVR映像システムを提供することにある。 An object of the present invention is a VR video distribution device and method, a VR video playback device and method, and a VR that solve the above technical problems and realize high resolution by arbitrarily narrowing the encoding range to the area watched by the user. It is to provide a video system.

上記の目的を達成するために、本発明は、以下の構成を具備した点に特徴がある。 In order to achieve the above object, the present invention is characterized in that it has the following configurations.

(1) 本発明のVR映像配信装置は、三次元コンテンツからパノラマ画像を生成する手段と、パノラマ画像をエンコードして高解像パノラマ映像を生成する第１エンコーダと、パノラマ画像をエンコードして低解像パノラマ映像を生成する第２エンコーダと、VR映像を視聴するユーザの向き情報を取得する手段と、向き情報に基づいて前記高解像パノラマ映像から視野映像を切り出す手段と、前記向き情報に基づいて前記三次元コンテンツをエンコードし、前記視野映像よりも高解像の中心視野映像を生成する第３エンコーダと、前記低解像パノラマ映像ならびに前記視野映像および中心視野映像の少なくとも一方を選択的に配信する手段とを具備した。 (1) The VR video distribution device of the present invention has a means for generating a panoramic image from three-dimensional contents, a first encoder that encodes the panoramic image to generate a high-resolution panoramic image, and a low panoramic image for encoding. The second encoder that generates a resolution panoramic image, the means for acquiring the orientation information of the user viewing the VR image, the means for cutting out the visual field image from the high-resolution panoramic image based on the orientation information, and the orientation information. Based on this, a third encoder that encodes the three-dimensional content and generates a central visual field image having a higher resolution than the visual field image, and at least one of the low resolution panoramic image and the visual field image and the central visual field image are selectively selected. It was equipped with a means to deliver to.

(2) 前記選択的に配信する手段は、向き情報の統計値に基づいて映像を選択するようにした。 (2) The means for selectively delivering the video is to select the video based on the statistical value of the orientation information.

(3) 前記選択的に配信する手段が、低解像パノラマ映像および視野映像を配信する通常モード、低解像パノラマ映像、視野映像および中心視野映像を配信するハイブリッドモードならびに低解像パノラマ映像および中心視野映像を配信する注視モードを備え、視野の分布および移動速度の分布の少なくとも一方の分散値が小さいほど、モードを通常モードからハイブリッドモードへ切り換え、さらに注視モードへ切り換えるようにした。 (3) The means for selectively delivering the low-resolution panoramic image and the field-of-view image are the normal mode, the low-resolution panoramic image, the hybrid mode for delivering the field-of-view image and the central-field image, and the low-resolution panoramic image. A gaze mode for delivering a central visual field image is provided, and the smaller the dispersion value of at least one of the distribution of the visual field and the distribution of the moving speed, the more the mode is switched from the normal mode to the hybrid mode, and further to the gaze mode.

(4) 第３エンコーダは、中心視野映像の配信時刻と低解像パノラマ映像の配信時刻とが同期するように、先行して三次元コンテンツをエンコードするようにした。 (4) The third encoder encodes the three-dimensional content in advance so that the distribution time of the central visual field image and the distribution time of the low-resolution panoramic image are synchronized.

(5) 配信先の属性情報を取得する手段を更に具備し、前記選択的に配信する手段は、視野の分布および／または移動速度の分布の各分散値に基づいて動作モードを切り替える際の切り換え点を変更するようにした。 (5) The means for acquiring the attribute information of the delivery destination is further provided, and the means for selectively delivering is a switching when switching the operation mode based on each dispersion value of the distribution of the visual field and / or the distribution of the moving speed. Changed to change the point.

(6) 本発明のVR映像再生装置は、VR映像を視聴するユーザの向きを検知して向き情報を発生する手段と、前記向き情報をVR映像配信装置へ通知する手段と、VR映像配信装置が配信した低解像パノラマ映像ならびに視野映像および中心視野映像の少なくとも一方に基づいてVR映像を生成する手段とを具備した。 (6) The VR video playback device of the present invention includes a means for detecting the direction of a user viewing a VR video and generating direction information, a means for notifying the direction information to the VR video distribution device, and a VR video distribution device. Provided is a means for generating a VR image based on at least one of a low-resolution panoramic image and a visual field image and a central visual field image delivered by.

(7) 本発明のVR映像システムは、VR映像配信装置およびVR映像再生装置を含み、前記VR映像配信装置は、三次元コンテンツからパノラマ画像を生成する手段と、パノラマ画像をエンコードして高解像パノラマ映像を生成する第１エンコーダと、パノラマ画像をエンコードして低解像パノラマ映像を生成する第２エンコーダと、VR映像を視聴するユーザの向き情報を取得する手段と、前記向き情報に基づいて前記高解像パノラマ映像から視野映像を切り出す手段と、前記向き情報に基づいて前記三次元コンテンツをエンコードし、前記視野映像よりも高解像の中心視野映像を生成する第３エンコーダと、前記低解像パノラマ映像ならびに前記視野映像および中心視野映像の少なくとも一方を選択的に配信する手段とを具備した。
また、前記VR映像再生装置は、前記VR映像を視聴するユーザの向きを検知して向き情報を発生する手段と、前記向き情報をVR映像配信装置へ通知する手段と、VR映像配信装置が配信した低解像パノラマ映像ならびに視野映像および中心視野映像の少なくとも一方に基づいてVR映像を生成する手段とを具備した。 (7) The VR video system of the present invention includes a VR video distribution device and a VR video playback device, and the VR video distribution device is a means for generating a panoramic image from three-dimensional contents and a high solution by encoding the panoramic image. Based on the first encoder that generates an image panoramic image, the second encoder that encodes a panoramic image to generate a low-resolution panoramic image, a means for acquiring orientation information of a user who views a VR image, and the orientation information. A means for cutting out a visual field image from the high-resolution panoramic image, a third encoder that encodes the three-dimensional content based on the orientation information, and generates a central visual field image having a higher resolution than the visual field image, and the above. It is provided with a means for selectively delivering a low-resolution panoramic image and at least one of the visual field image and the central visual field image.
Further, the VR video playback device is a means for detecting the direction of a user who views the VR video and generating direction information, a means for notifying the direction information to the VR video distribution device, and a VR video distribution device for distribution. It is provided with a means for generating a VR image based on at least one of a low-resolution panoramic image and a visual field image and a central visual field image.

本発明によれば、以下のような効果が達成される。 According to the present invention, the following effects are achieved.

(1) エンコーダの最大解像度でエンコードしたパノラマ映像から切り出した視野映像とは別に、三次元コンテンツから生成した中心視野画像を最大解像度でエンコードした中心視野映像を配信できるので、エンコーダの最大解像度を変更することなく、ユーザの視野に関して従来と同一解像度の視野映像のみならず、これよりも相対的に高解像の中心視野映像を配信できるようになる。 (1) In addition to the field of view image cut out from the panoramic image encoded with the maximum resolution of the encoder, the central field of view image generated from the three-dimensional content can be distributed with the maximum resolution, so the maximum resolution of the encoder can be changed. Without doing so, it becomes possible to deliver not only the visual field image having the same resolution as the conventional one with respect to the user's visual field, but also the central visual field image having a relatively higher resolution than this.

(2) ユーザの視野を代表する向き情報の統計値に基づいて、配信する映像やその組み合わせを切り換えるので、ユーザの向きおよびその変化に応じて最適な映像を配信できるようになる。 (2) Since the images to be distributed and their combinations are switched based on the statistical values of the orientation information representing the user's field of view, the optimum images can be distributed according to the orientation of the user and the change thereof.

(3) リアルタイムでエンコードすることになる中心視野映像に関しては、そのレンダリングやエンコードに要する遅延時間分だけ先行してエンコードが実施されるので、中心視野映像の再生タイミングを視野映像やパノラマ映像の再生タイミングに同期させることができるようになる。 (3) For the central field of view video that will be encoded in real time, the encoding is performed in advance by the delay time required for rendering and encoding, so the playback timing of the central field of view video is the playback of the field of view video and panoramic video. You will be able to synchronize with the timing.

(4) 配信先の属性情報に基づいて、配信する映像やその組み合わせを切り換える際の切り換え点を変更するので、配信先の属性情報に応じた配信が可能になる。 (4) Since the switching point when switching the video to be delivered and its combination is changed based on the attribute information of the delivery destination, it is possible to deliver according to the attribute information of the delivery destination.

本発明の一実施形態にかかるVR映像配信システムの機能ブロック図である。It is a functional block diagram of the VR video distribution system which concerns on one Embodiment of this invention. 視野の移動速度および分布に応じて配信モードが切り換わる例を示した図である。It is a figure which showed the example which the delivery mode is switched according to the moving speed and distribution of a visual field. 中心視野映像の投機的配信の例を模式的に示した図である。It is a figure which showed typically the example of speculative distribution of a central-field image. 本実施形態における各映像の配信方法を模式的に示した図である。It is a figure which showed typically the distribution method of each video in this embodiment. 各映像の再生形態を仮想的に示した図である。It is a figure which showed the reproduction form of each video virtually.

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係るVR映像システムの主要部の構成を示した機能ブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。本発明のVR映像システムは、VR映像を配信するVR映像配信サーバ１と、視聴ユーザに装着されて前記VR映像を受信、再生するHMD等のクライアント２とを、ネットワークで接続して構成される。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a functional block diagram showing a configuration of a main part of a VR video system according to an embodiment of the present invention, and here, a configuration unnecessary for the description of the present invention is omitted. The VR video system of the present invention is configured by connecting a VR video distribution server 1 that distributes VR video and a client 2 such as an HMD that is attached to a viewing user and receives and reproduces the VR video via a network. ..

VR映像配信サーバ１において、３次元コンテンツサーバ１０１には、３６０度カメラの映像やCGのような３次元コンテンツが蓄積されている。パノラマ画像生成部１０２は、特定の３次元視点位置の全周囲のデータを特定の３次元モデルに射影し、平面に展開することによってパノラマ画像を生成する。 In the VR video distribution server 1, the 3D content server 101 stores 3D contents such as 360-degree camera images and CG. The panorama image generation unit 102 generates a panorama image by projecting data around the entire circumference of a specific three-dimensional viewpoint position onto a specific three-dimensional model and developing it on a plane.

第１エンコーダ１０３は、前記パノラマ画像を相対的に高解像でエンコードして高解像パノラマ映像VPHを生成する。本実施形態では、HEVCにおけるmotion vector 制約付きタイルで分割されたストリームが生成される。これにより、異なる位置にあるタイル同士で時間的な参照関係を持たないため、特定位置のタイルのみを独立でデコードすることが可能になる。 The first encoder 103 encodes the panoramic image with a relatively high resolution to generate a high-resolution panoramic image VP H. In this embodiment, a stream divided by motion vector constrained tiles in HEVC is generated. As a result, since the tiles at different positions do not have a temporal reference relationship, it is possible to independently decode only the tiles at a specific position.

第２エンコーダ１０４は、前記パノラマ画像を相対的に低解像でエンコードして低解像パノラマ映像VPLを生成する。第２エンコーダ１０４では上記のようなタイル分割が不要である。これはクライアント２が向きを変えた場合に表示が遅延しないよう全天球の映像を送る場合があるためである。このように、本実施形態ではパノラマ映像VPに関して、タイル分割された高解像パノラマ映像VPHおよびタイル分割されていない低解像パノラマ映像VPLが生成される。 The second encoder 104 generates a low-resolution panoramic image VP L encodes the panoramic image with a relatively low resolution. The second encoder 104 does not require the tile division as described above. This is because the spherical image may be sent so that the display is not delayed when the client 2 changes its orientation. As described above, in the present embodiment, with respect to the panoramic image VP, the tile-divided high-resolution panoramic image VP H and the tile-divided low-resolution panoramic image VP L are generated.

視野映像切出部１０５は、クライアント２から通知される、後に詳述する向き情報Idに基づいて、前記高解像パノラマ映像PVHの一部領域を視野映像VMとして切り出す。 View image cutting unit 105, based on the orientation information Id detailing notified from the client 2, after, crop an area of the high-resolution panoramic image PV H as a viewing image V M.

中心視野画像生成部１０８は、クライアント２から通知される向き情報Idを分析し、３次元コンテンツに基づいて中心視野画像をリアルタイムでレンダリングする。第３エンコーダ１０６は、クライアントから取得した向き情報Idに基づいて、前記中心視野画像をリアルタイムでエンコードして相対的に高解像の中心視野映像VHを生成する。ここで、中心視野映像VHとは、前記視野映像VMと同一またはより狭い範囲を、画素密度がより高くなるようにエンコードして得られる高解像の映像である。 The central visual field image generation unit 108 analyzes the orientation information Id notified from the client 2 and renders the central visual field image in real time based on the three-dimensional content. The third encoder 106 encodes the central visual field image in real time based on the orientation information Id acquired from the client to generate a relatively high resolution central visual field image V H. Here, the central visual field image V H, the view image V M is the same as or narrower, a video of high resolution obtained by encoding as the pixel density becomes higher.

配信制御部１０７は、クライアント２から通知される向き情報Idの統計値（本実施形態では、視野の２次元分布および移動速度の分布の少なくとも一方）に基づいて、前記低解像パノラマ映像VPL、ならびに前記視野映像VMおよび中心視野映像VHの少なくとも一方を選択的にクライアント２へ配信する。 The distribution control unit 107 determines the low-resolution panoramic image VP L based on the statistical value of the orientation information Id notified from the client 2 (in this embodiment, at least one of the two-dimensional distribution of the visual field and the distribution of the moving speed). and selectively delivered to the client 2 at least one of the visual field image V M and the central field image V H.

本実施形態では、配信制御部１０７が配信モードとして、低解像パノラマ映像VPLおよび視野映像VMを配信する通常モード１０７ａ、低解像パノラマ映像VPL、視野映像VMおよび中心視野映像VHを配信するハイブリッドモード１０７ｂならびに低解像パノラマ映像VPLおよび中心視野映像VHを配信する注視モード１０７ｃを備え、図２に示したように、視野移動速度の分布の分散値D1が小さいほど、および／または視野の分布の分散値D2が小さいほど、その配信モードを通常モード１０７ａからハイブリッドモード１０７ｂへ切り換え、さらに注視モード１０７ｃへと切り換える。 In the present embodiment, as the distribution controller 107 distribution mode, the normal mode 107a for delivering low-resolution panoramic image VP L and view image V M, the low-resolution panoramic image VP L, view image V M and the central visual field image V It has a hybrid mode 107b that distributes H, a low-resolution panoramic image VP L, and a gaze mode 107c that distributes the central visual field image V H. As shown in FIG. 2, the smaller the dispersion value D1 of the visual field movement speed distribution, the smaller the distribution value D1. And / or the smaller the dispersion value D2 of the distribution of the visual field, the more the distribution mode is switched from the normal mode 107a to the hybrid mode 107b, and further to the gaze mode 107c.

例えば、前記各分散値D1，D2に関して第１閾値Ref1および第２閾値Ref2（Ref1＞Ref1）がそれぞれ用意されており、分散値D1，D2が第１閾値Ref1よりも大きければ、通常モード１０７ａが採用されて低解像パノラマ映像VPLおよび視野映像VMが配信される。また、Ref1≧D1，D2＞Ref2であれば、ハイブリッドモード１０７ｂが採用されて低解像パノラマ映像VPL、視野映像VMおよび中心視野映像VHが配信される。さらに、Ref2＞D1，D2であれば、注視モード１０７ｃが採用されて低解像パノラマ映像VPLおよび中心視野映像VHが配信される。 For example, if the first threshold value Ref1 and the second threshold value Ref2 (Ref1> Ref1) are prepared for each of the variance values D1 and D2, and the variance values D1 and D2 are larger than the first threshold value Ref1, the normal mode 107a is set. low-resolution panoramic image VP L and viewing video V M is distributed are adopted. Also, if Ref1 ≧ D1, D2> Ref2, low-resolution panoramic image VP L, view image V M and the central field image V H is distributed hybrid mode 107b is employed. Furthermore, Ref2> if D1, D2, low-resolution panoramic image VP L and central field images V H is distributed gaze mode 107c is adopted.

前記第１閾値Ref1および第２閾値Ref2は、ユーザの属性情報に基づいて変化するようにしても良い。例えばVR映像の配信サービスを有料で提供する場合、料金の高い契約をしているユーザに対しては、料金の低い契約をしているユーザよりも、前記第１閾値Ref1および第２閾値Ref2を相対的に高くすることで、ハイブリッドモード１０７ｂや注視モード１０７ｃの選択確率を高くしても良い。 The first threshold value Ref1 and the second threshold value Ref2 may be changed based on the attribute information of the user. For example, when providing a VR video distribution service for a fee, the first threshold Ref1 and the second threshold Ref2 are applied to a user who has a high-priced contract rather than a user who has a low-priced contract. By making it relatively high, the selection probability of the hybrid mode 107b or the gaze mode 107c may be increased.

配信制御部１０７の投機的配信実行部１０７ｄは、後述するクライアント２の遅延計測部２０４が通知する中心視野映像の配信遅延時間Δtだけ、当該中心視野映像VHのエンコードタイミングを投機的に前倒しする。 The speculative distribution execution unit 107d of the distribution control unit 107 speculatively advances the encoding timing of the central visual field image V H by the distribution delay time Δt of the central visual field image notified by the delay measurement unit 204 of the client 2, which will be described later. ..

図３は、前記投機的配信実行部１０７ｄによる中心視野映像VHの投機的配信の例を模式的に示した図であり、予め生成されているパノラマ映像VPL等の配信時刻に対して、中心視野映像VHの配信時刻がΔ3tだけ遅延する場合、投機的配信実行部１０７ｄは第３エンコーダ１０６に対して、前記Δ3tだけ先行してデコードを指示する。すなわち、時刻2tにおいて時刻5tの中心視野画像に対するエンコードを指示する。 Figure 3 is a diagram schematically showing an example of a speculative distribution center view image V H by the speculative delivery execution unit 107d, with respect to the panoramic image VP L delivery time, such as that generated in advance, When the distribution time of the central visual field image V H is delayed by Δ3t, the speculative distribution execution unit 107d instructs the third encoder 106 to decode by Δ3t in advance. That is, at time 2t, the encoding for the central visual field image at time 5t is instructed.

このとき、第３エンコーダ１０６は時刻2tでの向き情報Idに基づいて中心視野を選択するため、時刻5tにおける向きとの間にずれの生じる可能性がある。そこで、本実施形態では配信時刻tにおける向き情報Id_tと前記遅延時間Δ3tだけ前の向き情報Id_Δ3tとを比較し、両者の差分が所定の閾値を超える場合には中心視野映像VHを破棄するようにしている。 At this time, since the third encoder 106 selects the central visual field based on the orientation information Id at time 2t, there is a possibility that a deviation from the orientation at time 5t may occur. Therefore, in the present embodiment, the orientation information Id_t at the delivery time t and the orientation information Id_Δ3t before the delay time Δ3t are compared, and if the difference between the two exceeds a predetermined threshold value, the central visual field image V H is discarded. I have to.

クライアント２において、視聴要求部２０１は、VR映像配信サーバ１へ視点情報又は再生時刻情報の記述された視聴要求を送信してVR映像配信サーバ１に所望のVR映像を配信させる。向き検知部２０２は、例えばジャイロセンサや加速度センサを備え、クライアント２を装着しているユーザの視線の向きおよび移動速度を検知する。視野情報計算部２０３は、向き検知部２０２が検知した向き情報Idの時系列に基づいて、視野の２次元分布および移動速度の２次元分布を計算し、この計算結果をVR映像配信サーバ１へ提供する。 In the client 2, the viewing request unit 201 transmits a viewing request in which viewpoint information or playback time information is described to the VR video distribution server 1 and causes the VR video distribution server 1 to distribute a desired VR video. The orientation detection unit 202 includes, for example, a gyro sensor or an acceleration sensor, and detects the direction of the line of sight and the moving speed of the user wearing the client 2. The visual field information calculation unit 203 calculates the two-dimensional distribution of the visual field and the two-dimensional distribution of the moving speed based on the time series of the orientation information Id detected by the orientation detection unit 202, and transfers the calculation result to the VR video distribution server 1. provide.

第１映像合成部２０５は、VR映像配信サーバ１が通常モードで配信する低解像パノラマ映像VPLと視野映像VMとを合成し、その合成映像を出力する。デコーダ２０６は、前記合成映像および中心視野映像VHをそれぞれデコードする。第２映像合成部２０７は、前記合成映像および中心視野映像VHのデコード画像を取得すると、前記向き情報Idに応じて、現在のクライアント２の向きと時刻とに合う中心視野画像VHを前記合成映像に更に重畳する。 First image combining unit 205 combines the low-resolution panoramic image VP L and the field image V M to VR video distribution server 1 distributes in the normal mode, and outputs the combined image. The decoder 206 decodes the composite video and the central visual field video V H , respectively. When the second video compositing unit 207 acquires the decoded image of the composite video and the central visual field video V H , the second video compositing unit 207 obtains the central visual field image V H that matches the current orientation and time of the client 2 according to the orientation information Id. It is further superimposed on the composite image.

本実施形態では、第２映像合成部２０７が２つのフレームバッファを備え、その一方は向き情報Idに応じて前記合成画像を全天球面に射影し、他方は中心視野画像VHを視線正面の平面に射影する。射影は対応座標をOpenGLで記述できる。VR映像再生部２０８は、合成されたVR映像を再生する。 In the present embodiment, the second video compositing unit 207 includes two frame buffers, one of which projects the composite image onto the entire celestial sphere according to the orientation information Id, and the other projects the central visual field image V H in front of the line of sight. Project onto a plane. Projections can describe the corresponding coordinates in OpenGL. The VR image reproduction unit 208 reproduces the synthesized VR image.

遅延計算部２０４は、前記向き情報Idに記述されている時刻情報と、配信サーバ１が配信する中心視野映像VHに記述されている時刻情報とを比較して中心視野映像の遅延時間Δtを計算し、これを配信サーバ１へ通知する。 The delay calculation unit 204 compares the time information described in the orientation information Id with the time information described in the central visual field image V H distributed by the distribution server 1 to determine the delay time Δt of the central visual field image. It calculates and notifies the distribution server 1 of this.

図４は、本実施形態における各映像の配信方法を模式的に示した図であり、図５は、各映像の再生形態を仮想的に示した図である。ここでは、低解像パノラマ映像VPLとして2K解像度のパノラマ映像、視野映像VMとして2K解像度相当の映像、中心視野映像VHとして2K解像度相当または4K解像度相当の映像が配信される場合を例にして説明する。 FIG. 4 is a diagram schematically showing a distribution method of each video in the present embodiment, and FIG. 5 is a diagram virtually showing a reproduction mode of each video. Example the case where, 2K resolution panoramic image as the low-resolution panoramic image VP L, the 2K resolution corresponding video as view image V M, is 2K resolution equivalent or 4K resolution equivalent image focused view image V H is distributed I will explain.

通常モードでは、パノラマ画像から低解像エンコードにより生成された2kパノラマ映像と、パノラマ画像から高解像エンコードにより生成された4kパノラマ映像から前記向き情報Idに基づいて切り出された2k視野映像が配信される。したがって、クライアント(HMD)２では図５(a)に示したように、解像度が視野では4kパノラマ相当、視野以外では2Kパノラマ相当のVR映像を視聴できるようになる。 In the normal mode, a 2k panoramic image generated by low resolution encoding from the panoramic image and a 2k field of view image cut out from the panoramic image by high resolution encoding based on the orientation information Id are delivered. Will be done. Therefore, as shown in FIG. 5A, the client (HMD) 2 can view a VR image having a resolution equivalent to 4k panorama in the field of view and 2K panorama in other than the field of view.

注視モードでは、前記2k視野映像に代えて、前記視野映像VMと同じ範囲を4k解像度でエンコードした4k中心視野映像が配信される。したがって、クライアント２では図５(b)に示したように、解像度が視野では8kパノラマ相当、視野以外では2Kパノラマ相当のVR映像を視聴できるようになる。 The gaze mode, the place of the 2k-field image, the 4k central field images of the same range as the view image V M encoded with 4k resolution is delivered. Therefore, as shown in FIG. 5B, the client 2 can view a VR image having a resolution equivalent to 8k panorama in the field of view and 2K panorama in other than the field of view.

ハイブリッドモードでは、前記2Kパノラマ映像および2K視野映像、ならびに前記視野映像VMよりも更に狭い範囲を2k解像度でエンコードした2k中心視野映像が配信される。したがって、クライアント２では図５(c)に示したように、解像度が視野の中心部では8Kパノラマ相当、中心部以外の視野では4Kパノラマ相当、視野以外で2Kパノラマ相当のVR映像を視聴できるようになる。 In the hybrid mode, the 2K panoramic image and 2K view image, and 2k central field image to a range narrower than the field of view image V M encoded with 2k resolution is delivered. Therefore, as shown in FIG. 5 (c), the client 2 can view a VR image having a resolution equivalent to 8K panorama in the central part of the field of view, 4K panorama in the field of view other than the central part, and 2K panorama in the field other than the visual field. become.

なお、エンコード範囲が狭くなり、クライアント２の物理的なppiを超える場合にも、内部解像度の増加による解像度感の向上が図れる。 Even when the encoding range is narrowed and exceeds the physical ppi of the client 2, the sense of resolution can be improved by increasing the internal resolution.

１…VR映像配信サーバ，２…クライアント，１０１…３次元コンテンツサーバ，１０２…パノラマ画像生成部，１０３…第１エンコーダ，１０４…第２エンコーダ，１０５…視野映像切出部，１０６…第３エンコーダ，１０７…配信制御部，１０７ｄ…投機的配信実行部，１０８…中心視野画像生成部，２０１…視聴要求部，２０２…向き検知部，２０３…視野情報計算部，２０４…遅延計算部，２０５…第１映像合成部，２０６…デコーダ，２０７…第２映像合成部，２０８…VR映像再生部 1 ... VR video distribution server, 2 ... client, 101 ... 3D content server, 102 ... panoramic image generator, 103 ... 1st encoder, 104 ... 2nd encoder, 105 ... field of view image cutting section, 106 ... 3rd encoder , 107 ... distribution control unit, 107d ... speculative distribution execution unit, 108 ... central field of view image generation unit, 201 ... viewing request unit, 202 ... orientation detection unit, 203 ... field of view information calculation unit, 204 ... delay calculation unit, 205 ... 1st video compositing unit, 206 ... decoder, 207 ... 2nd video compositing unit, 208 ... VR video playback unit

Claims (14)

三次元コンテンツからパノラマ画像を生成する手段と、
前記パノラマ画像をエンコードして高解像パノラマ映像を生成する第１エンコーダと、
前記パノラマ画像をエンコードして低解像パノラマ映像を生成する第２エンコーダと、
映像を視聴するユーザの向き情報を取得する手段と、
前記向き情報に基づいて前記高解像パノラマ映像から視野映像を切り出す手段と、
前記向き情報に基づいて前記三次元コンテンツをエンコードし、前記視野映像よりも高解像の中心視野映像を生成する第３エンコーダと、
前記低解像パノラマ映像ならびに前記視野映像および中心視野映像の少なくとも一方を選択的に配信する手段とを具備したことを特徴とするVR映像配信装置。 A means to generate a panoramic image from 3D content,
A first encoder that encodes the panoramic image to generate a high-resolution panoramic image,
A second encoder that encodes the panoramic image to generate a low-resolution panoramic image,
A means of acquiring orientation information of the user who watches the video,
A means for cutting out a visual field image from the high-resolution panoramic image based on the orientation information,
A third encoder that encodes the three-dimensional content based on the orientation information and generates a central visual field image having a higher resolution than the visual field image.
A VR image distribution device comprising: a means for selectively distributing at least one of the low-resolution panoramic image and the field-of-view image and the central field-of-view image. 前記選択的に配信する手段は、前記向き情報の統計値に基づいて映像を選択することを特徴とする請求項１に記載のVR映像配信装置。 The VR video distribution device according to claim 1, wherein the means for selectively distributing the video is to select a video based on the statistical value of the orientation information. 前記統計値が、視野の分布および移動速度の分布の少なくとも一方であることを特徴とする請求項２に記載のVR映像配信装置。 The VR video distribution device according to claim 2, wherein the statistical value is at least one of a distribution of a visual field and a distribution of a moving speed. 前記選択的に配信する手段が、
低解像パノラマ映像および視野映像を配信する通常モード、低解像パノラマ映像、視野映像および中心視野映像を配信するハイブリッドモードならびに低解像パノラマ映像および中心視野映像を配信する注視モードを備え、
前記視野の分布および移動速度の分布の少なくとも一方の分散値が小さいほど、配信モードを通常モードからハイブリッドモードへ切り換え、さらに注視モードへ切り換えることを特徴とする請求項３に記載のVR映像配信装置。 The means for selective delivery is
It has a normal mode for delivering low-resolution panoramic video and visual field video, a hybrid mode for delivering low-resolution panoramic video, visual field video and central visual field video, and a gaze mode for delivering low-resolution panoramic video and central visual field video.
The VR video distribution device according to claim 3, wherein the smaller the variance value of at least one of the distribution of the visual field and the distribution of the moving speed is, the more the distribution mode is switched from the normal mode to the hybrid mode and further to the gaze mode. .. 前記中心視野映像の範囲が、ハイブリッドモードでは注視モードよりも狭いことを特徴とする請求項４に記載のVR映像配信装置。 The VR video distribution device according to claim 4, wherein the range of the central visual field image is narrower in the hybrid mode than in the gaze mode. 前記第３エンコーダは、中心視野映像の配信時刻と低解像パノラマ映像の配信時刻とが同期するように、先行して三次元コンテンツをエンコードすることを特徴とする請求項１ないし５のいずれかに記載のVR映像配信装置。 Any one of claims 1 to 5, wherein the third encoder encodes three-dimensional content in advance so that the distribution time of the central visual field image and the distribution time of the low-resolution panoramic image are synchronized. VR video distribution device described in. 前記先行して三次元コンテンツをエンコードした際の向き情報と配信時の向き情報との差が所定の閾値を超えていると当該先行してエンコードした中心視野映像を破棄することを特徴とする請求項６に記載のVR映像配信装置。 If the difference between the orientation information when the three-dimensional content is encoded in advance and the orientation information at the time of distribution exceeds a predetermined threshold value, the previously encoded central visual field image is discarded. Item 6. The VR video distribution device according to item 6. 前記選択的に配信する手段は、前記視野の分布および／または移動速度の分布の各分散値に基づいて動作モードを切り替える際の切り換え点を配信先の属性情報に基づいて変更することを特徴とする請求項４に記載のVR映像配信装置。 The selective distribution means is characterized in that the switching point at the time of switching the operation mode based on each dispersion value of the distribution of the visual field and / or the distribution of the moving speed is changed based on the attribute information of the distribution destination. The VR video distribution device according to claim 4. 配信されたVR映像を再生するVR映像再生装置において、
VR映像を視聴するユーザの向きを検知して向き情報を発生する手段と、
前記向き情報をVR映像配信装置へ通知する手段と、
前記VR映像配信装置が前記向き情報に応じて選択的に配信する、三次元コンテンツのパノラマ画像をエンコードして生成された相対的に低解像の低解像パノラマ映像、三次元コンテンツのパノラマ画像をエンコードして生成された相対的に高解像の高解像パノラマ映像から前記向き情報に基づいて切り出した視野映像および前記向き情報に基づいて三次元コンテンツをエンコードすることで生成されて前記視野映像よりも高解像の中心視野映像を受信する手段と、
前記低解像パノラマ映像ならびに視野映像および中心視野映像の少なくとも一方に基づいてVR映像を生成する手段とを具備したことを特徴とするVR映像再生装置。 In a VR video playback device that plays back the delivered VR video,
A means of detecting the orientation of the user viewing the VR video and generating orientation information,
A means for notifying the VR video distribution device of the orientation information,
A relatively low-resolution low-resolution panoramic image generated by encoding a panoramic image of three-dimensional content, which is selectively distributed by the VR video distribution device according to the orientation information, and a panoramic image of three-dimensional content. A field of view image cut out based on the orientation information from a relatively high resolution high-resolution panoramic image generated by encoding the above, and a field of view generated by encoding three-dimensional content based on the orientation information. A means of receiving a central-field image with a higher resolution than the image,
The VR video reproducing apparatus characterized by comprising a means for generating a VR image based on at least one of the low-resolution panoramic image and view image and the center view image. 前記向き情報の時系列に基づいて、ユーザの視野の分布および移動速度の分布の少なくとも一方の分散を計算して前記VR映像配信装置へ通知する手段をさらに具備したことを特徴とする請求項９に記載のVR映像再生装置。 9. The present invention further comprises means for calculating the variance of at least one of the distribution of the user's visual field and the distribution of the moving speed based on the time series of the orientation information and notifying the VR video distribution device. VR video playback device described in. 前記向き情報に記述された時刻情報と前記中心視野映像に記述された時刻情報とに基づいて当該中心視野映像の遅延時間を計算し、前記VR映像配信装置へ通知する手段をさらに具備したことを特徴とする請求項９または１０に記載のVR映像再生装置。 It is further provided with a means for calculating the delay time of the central visual field image based on the time information described in the orientation information and the time information described in the central visual field image and notifying the VR image distribution device. The VR video playback device according to claim 9 or 10. VR映像を配信するVR映像配信装置および当該配信されたVR映像を再生するVR映像再生装置を含むVR映像システムにおいて、
前記VR映像配信装置が、
三次元コンテンツからパノラマ画像を生成する手段と、
前記パノラマ画像をエンコードして高解像パノラマ映像を生成する第１エンコーダと、
前記パノラマ画像をエンコードして低解像パノラマ映像を生成する第２エンコーダと、
映像を視聴するユーザの向き情報を取得する手段と、
前記向き情報に基づいて前記高解像パノラマ映像から視野映像を切り出す手段と、
前記向き情報に基づいて前記三次元コンテンツをエンコードし、前記視野映像よりも高解像の中心視野映像を生成する第３エンコーダと、
前記低解像パノラマ映像ならびに前記視野映像および中心視野映像の少なくとも一方を選択的に配信する手段とを具備し、
前記VR映像再生装置が、
前記VR映像を視聴するユーザの向きを検知して向き情報を発生する手段と、
前記向き情報をVR映像配信装置へ通知する手段と、
VR映像配信装置が配信した低解像パノラマ映像ならびに視野映像および中心視野映像の少なくとも一方に基づいてVR映像を生成する手段とを具備したことを特徴とするVR映像システム。 In a VR video system including a VR video distribution device that distributes VR video and a VR video playback device that reproduces the distributed VR video.
The VR video distribution device
A means to generate a panoramic image from 3D content,
A first encoder that encodes the panoramic image to generate a high-resolution panoramic image,
A second encoder that encodes the panoramic image to generate a low-resolution panoramic image,
A means of acquiring orientation information of the user who watches the video,
A means for cutting out a visual field image from the high-resolution panoramic image based on the orientation information,
A third encoder that encodes the three-dimensional content based on the orientation information and generates a central visual field image having a higher resolution than the visual field image.
A means for selectively delivering at least one of the low-resolution panoramic image and the visual field image and the central visual field image is provided.
The VR video playback device
A means for detecting the orientation of a user viewing the VR video and generating orientation information,
A means for notifying the VR video distribution device of the orientation information,
A VR video system characterized in that it is provided with a means for generating a VR video based on at least one of a low-resolution panoramic video and a visual field video and a central visual field video distributed by a VR video distribution device. コンピュータがVR映像を配信する方法において、
三次元コンテンツからパノラマ画像を生成し、
パノラマ画像をエンコードして高解像パノラマ映像を生成し、
パノラマ画像をエンコードして低解像パノラマ映像を生成し、
VR映像を視聴するユーザの向き情報を取得し、
前記向き情報に基づいて前記高解像パノラマ映像から視野映像を切り出し、
前記向き情報に基づいて前記三次元コンテンツをエンコードし、前記視野映像よりも高解像の中心視野映像を生成し、
前記低解像パノラマ映像ならびに前記視野映像および中心視野映像の少なくとも一方を選択的に配信することを特徴とするVR映像配信方法。 In the way computers deliver VR video
Generate a panoramic image from 3D content and
Encodes panoramic images to generate high-resolution panoramic images,
Encodes panoramic images to generate low-resolution panoramic images,
Acquires the orientation information of the user who watches the VR video,
A field image is cut out from the high-resolution panoramic image based on the orientation information.
The three-dimensional content is encoded based on the orientation information to generate a central visual field image having a higher resolution than the visual field image.
A VR image distribution method characterized in that at least one of the low-resolution panoramic image and the field-of-view image and the central field-of-view image is selectively distributed. コンピュータが配信されたVR映像を再生するVR映像再生方法において、
VR映像を視聴するユーザの向きを検知して向き情報を発生し、
前記向き情報をVR映像配信装置へ通知し、
前記VR映像配信装置が前記向き情報に応じて選択的に配信する、三次元コンテンツのパノラマ画像をエンコードして生成された相対的に低解像の低解像パノラマ映像、三次元コンテンツのパノラマ画像をエンコードして生成された相対的に高解像の高解像パノラマ映像から前記向き情報に基づいて切り出した視野映像および前記向き情報に基づいて三次元コンテンツをエンコードすることで生成されて前記視野映像よりも高解像の中心視野映像を受信し、
前記低解像パノラマ映像ならびに視野映像および中心視野映像の少なくとも一方に基づいてVR映像を生成することを特徴とするVR映像再生方法。 In the VR video playback method for playing VR video delivered by a computer,
Detects the orientation of the user viewing the VR video and generates orientation information,
Notify the VR video distribution device of the orientation information and
A relatively low-resolution low-resolution panoramic image generated by encoding a panoramic image of three-dimensional content, which is selectively distributed by the VR video distribution device according to the orientation information, and a panoramic image of three-dimensional content. A field of view image cut out based on the orientation information from a relatively high resolution high-resolution panoramic image generated by encoding the above, and a field of view generated by encoding three-dimensional content based on the orientation information. Receives a central field of view image with higher resolution than the image,
The low-resolution panoramic image and VR video reproducing method characterized by generating a VR image based on at least one of the visual field image and the center view image.
JP2018058532A 2018-03-26 2018-03-26 VR video distribution device and method, VR video playback device and method, and VR video system Active JP6859286B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018058532A JP6859286B2 (en) 2018-03-26 2018-03-26 VR video distribution device and method, VR video playback device and method, and VR video system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018058532A JP6859286B2 (en) 2018-03-26 2018-03-26 VR video distribution device and method, VR video playback device and method, and VR video system

Publications (2)

Publication Number Publication Date
JP2019169929A JP2019169929A (en) 2019-10-03
JP6859286B2 true JP6859286B2 (en) 2021-04-14

Family

ID=68107612

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018058532A Active JP6859286B2 (en) 2018-03-26 2018-03-26 VR video distribution device and method, VR video playback device and method, and VR video system

Country Status (1)

Country Link
JP (1) JP6859286B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111131879A (en) * 2019-12-30 2020-05-08 歌尔股份有限公司 Video data playing method and device and computer readable storage medium
EP4221234A4 (en) * 2020-09-23 2024-02-28 Sony Group Corporation Information processing device, information processing method, and information processing system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6075889B2 (en) * 2014-06-10 2017-02-08 日本電信電話株式会社 Video distribution device and video playback device
US11284124B2 (en) * 2016-05-25 2022-03-22 Koninklijke Kpn N.V. Spatially tiled omnidirectional video streaming
EP3466076A1 (en) * 2016-05-26 2019-04-10 VID SCALE, Inc. Methods and apparatus of viewport adaptive 360 degree video delivery
JP2018011198A (en) * 2016-07-13 2018-01-18 日本電信電話株式会社 Video coding device, video coding method and video coding program
JP2018026677A (en) * 2016-08-09 2018-02-15 日本電信電話株式会社 Encoding device, encoding method, and encoding program

Also Published As

Publication number Publication date
JP2019169929A (en) 2019-10-03

Similar Documents

Publication Publication Date Title
JP7029562B2 (en) Equipment and methods for providing and displaying content
US11924394B2 (en) Methods and apparatus for receiving and/or using reduced resolution images
US20210409672A1 (en) Methods and apparatus for receiving and/or playing back content
EP3459252B1 (en) Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback
KR20170008725A (en) Methods and apparatus for streaming content
US20180255288A1 (en) Methods and apparatus for packing images into a frame and/or including additional content or graphics
EP3857898B1 (en) Apparatus and method for generating and rendering a video stream
WO2018221211A1 (en) Image processing device and method, file generation device and method, and program
JP6859286B2 (en) VR video distribution device and method, VR video playback device and method, and VR video system
KR20210072086A (en) Information processing system, information processing method, and storage medium
JP2019022176A (en) Content distribution device, system, program and method for determining bit rate in accordance with user state and complexity
JPWO2019004073A1 (en) Image arrangement determining apparatus, display control apparatus, image arrangement determining method, display control method, and program
KR20190129865A (en) Information processing apparatus and information processing method, and program
WO2019142658A1 (en) Image processing device and method, and program
WO2022065040A1 (en) Information processing device, information processing method, and information processing system
WO2018178510A2 (en) Video streaming
WO2018165223A1 (en) Methods and apparatus for packing images into a frame and/or including additional content or graphics

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201118

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210317

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210325

R150 Certificate of patent or registration of utility model

Ref document number: 6859286

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150