JP2019169929A - Vr video distribution device and method, vr video reproducer and reproduction method and vr video system - Google Patents
Vr video distribution device and method, vr video reproducer and reproduction method and vr video system Download PDFInfo
- Publication number
- JP2019169929A JP2019169929A JP2018058532A JP2018058532A JP2019169929A JP 2019169929 A JP2019169929 A JP 2019169929A JP 2018058532 A JP2018058532 A JP 2018058532A JP 2018058532 A JP2018058532 A JP 2018058532A JP 2019169929 A JP2019169929 A JP 2019169929A
- Authority
- JP
- Japan
- Prior art keywords
- video
- image
- visual field
- distribution
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、VR映像配信装置および方法、VR映像再生装置および方法ならびにVR映像システムに係り、特に、エンコーダの解像度が限られているなかで、視野移動時の視認性を確保しながら視野内を高解像化できるVR映像配信装置および方法、VR映像再生装置および方法ならびにVR映像システムに関する。 The present invention relates to a VR video distribution apparatus and method, a VR video playback apparatus and method, and a VR video system, and more particularly, in a field of view while ensuring visibility when the field of view moves while the resolution of an encoder is limited. The present invention relates to a VR video distribution apparatus and method capable of high resolution, a VR video playback apparatus and method, and a VR video system.
近年、次世代における高臨場感メディアの一つとしてVR映像が注目されている。VR映像とは、一般にHMD（ヘッドマウントディスプレイ、以下、クライアントと表現する場合もある）を装着したユーザに対して、頭の向きに合わせて３６０度の視野すべてを表示することができる映像形態である。クライアントの形態としては、PCと接続して利用する形態、スタンドアロンの専用端末を用いる形態およびスマートフォンを簡易なゴーグルに装着する形態などがある。 In recent years, VR video has been attracting attention as one of the high-quality media in the next generation. VR video is a video format that can display all 360-degree fields of view according to the orientation of the head for users wearing HMDs (head-mounted displays, hereinafter sometimes referred to as clients). is there. As a form of the client, there are a form in which it is connected to a PC, a form in which a stand-alone dedicated terminal is used, and a form in which a smartphone is attached to simple goggles.
しかしながら、特にスマートフォンを利用する形態では、クライアントで３６０度コンテンツの高度なレンダリングができないため、サーバから映像を配信することでVR映像を視聴するシステムが検討されている。 However, especially in the form of using a smartphone, a client cannot perform advanced 360-degree rendering of content. Therefore, a system for viewing VR video by distributing video from a server has been studied.
VR映像の配信方式として、３６０度の視野を平面展開した２次元映像（以下、パノラマ映像）を配信する方式がある。パノラマ映像は、３６０度カメラの映像やCG（コンピュータグラフィクス）のような元となる３次元コンテンツから、特定の３次元視点位置の全周囲のデータを特定の３次元モデルに射影し、平面に展開することによって取得される２次元映像である。全周囲の情報を含むため、ユーザの視聴時の視野以外の情報も含む。 As a VR video distribution method, there is a method of distributing a two-dimensional video (hereinafter, panoramic video) in which a 360-degree field of view is developed in a plane. The panoramic image is projected on the plane by projecting the data around the specific 3D viewpoint position from the original 3D content such as 360-degree camera video and CG (computer graphics) to the specific 3D model. It is a two-dimensional image acquired by doing. Since all the surrounding information is included, information other than the field of view when the user views is also included.
例えば、３次元視点位置を中心とする球面のデータを、Equirectangular projection （ERP、正距円筒図法）という射影形式に従って２次元映像に展開したものが該当する。クライアントは、パノラマ映像をデコードし、各フレームを射影形式に応じて球面に射影変換し、ユーザの向きに応じた視野映像を切り出して表示する。 For example, it corresponds to data obtained by expanding spherical data centered on a three-dimensional viewpoint position into a two-dimensional image according to a projection format called Equirectangular projection (ERP, equidistant cylindrical projection). The client decodes the panoramic video, projects and converts each frame into a spherical surface according to the projection format, and cuts out and displays the visual field video according to the user's orientation.
一般的なクライアントは、二眼のVR映像の形式で表示する。これにより３６０度の映像表示を可能とする。なお、実際のアプリケーションでは、球面以外にも立方体や正八面体など複数の射影形式が利用されるが、ここでは平面に展開された映像をまとめてパノラマ映像と呼称する。 A typical client displays in the form of a twin-lens VR video. This enables 360 degree video display. In an actual application, a plurality of projection formats such as a cube and a regular octahedron are used in addition to a spherical surface. Here, images developed on a plane are collectively referred to as a panoramic image.
パノラマ映像を配信する方式は、３６０度の情報を全て送るため、ユーザが首を振って向きを変えたような場合にも遅延なく視野映像を表示することが可能である。 Since the panoramic video distribution method sends all 360-degree information, it is possible to display the visual field video without delay even when the user changes his / her direction by shaking his head.
その一方、上述のような射影方式を用いるパノラマ映像では、ユーザの向きに依らず３６０度の情報を等しい品質で送るため、効率が悪いという問題がある。つまり、ユーザが見ていない向きの映像も配信され、帯域が不必要に多く消費され、全体の品質が低下する。 On the other hand, in the panoramic video using the projection method as described above, there is a problem that the information of 360 degrees is sent with the same quality regardless of the direction of the user, so that the efficiency is low. In other words, video that is not viewed by the user is also distributed, and an unnecessarily large amount of bandwidth is consumed, resulting in a decrease in overall quality.
このような技術課題に対して、特許文献１では、パノラマ映像を予めスライス分割し、スライスごとに異なる解像度およびビットレートを設定し、ユーザの可視領域の品質を高くする一方、ユーザの非可視領域は低くすることで全体のビットレートを削減している。配信においては、ユーザの向きに基づいて可視・非可視領域を判定し、スライスごとの解像度およびビットレートを決定する。 In order to solve such a technical problem, in Patent Document 1, a panoramic image is divided into slices in advance, different resolutions and bit rates are set for each slice, and the quality of the user's visible area is increased. The overall bit rate is reduced by lowering. In distribution, a visible / invisible region is determined based on the orientation of the user, and the resolution and bit rate for each slice are determined.
非特許文献１では、パノラマ映像を予めHEVCにおけるmotion vector constraint付きのタイル分割によりエンコードしておき、さらにそれらを複数の解像度で生成しておく。上記のタイルは並列で配信・デコードが可能であるため、ユーザの向きに応じて必要なタイル部分だけを配信できる。そして、ユーザの視野を覆うタイルは高解像度のパノラマ映像から取得し、それ以外は低解像度のものを取得する。これによりユーザの見ている部分だけを高解像度で配信することが可能である。 In Non-Patent Document 1, panoramic video is encoded in advance by tile division with motion vector constraint in HEVC, and further generated at a plurality of resolutions. Since the above tiles can be distributed and decoded in parallel, only the necessary tile portions can be distributed according to the direction of the user. The tiles covering the user's field of view are acquired from high-resolution panoramic images, and the other tiles are acquired with low resolution. As a result, it is possible to deliver only the part that the user is viewing at a high resolution.
特許文献１および非特許文献１では、パノラマ映像単位でのエンコードを行い、その後、パノラマ映像の一部を抽出する。これは、ユーザの可視領域のみを覆う映像であり、視野映像と呼ばれる。また、予めあらゆるユーザの可視領域に応じた視野映像をエンコードしておくこともできない。そのため、視野映像の解像度を上げるにはパノラマ映像単位で解像度を上げる必要がある。 In Patent Literature 1 and Non-Patent Literature 1, encoding is performed in units of panoramic video, and then a part of the panoramic video is extracted. This is an image that covers only the visible region of the user, and is called a visual field image. Also, it is not possible to encode a visual field image corresponding to the visible region of any user in advance. Therefore, in order to increase the resolution of the visual field image, it is necessary to increase the resolution in units of panoramic images.
しかしながら、エンコーダの最大解像度に上限がある場合、パノラマ映像の解像度が上限に達すると、視野映像の解像度をそれ以上に上げることができない。例えば、エンコーダの解像度が4Kまで対応している条件では、4Kパノラマ映像を生成すると2Kの視野映像を抽出できる。 However, when the maximum resolution of the encoder has an upper limit, when the resolution of the panoramic video reaches the upper limit, the resolution of the visual field video cannot be further increased. For example, under the condition that the resolution of the encoder supports up to 4K, if a 4K panoramic image is generated, a 2K visual field image can be extracted.
その一方、同条件下で解像度を上げるには、(1) 領域は同じのまま4Kでエンコードする、(2) より狭い視野映像を抽出して2Kでエンコードする、がある。 On the other hand, to increase the resolution under the same conditions, there are (1) encoding with 4K while keeping the same area, and (2) extracting a narrower field of view image and encoding with 2K.
本発明の目的は、上記の技術課題を解決し、ユーザが注視した領域にエンコード範囲を任意に絞ることで高解像化を実現するVR映像配信装置および方法、VR映像再生装置および方法ならびにVR映像システムを提供することにある。 SUMMARY OF THE INVENTION An object of the present invention is to solve the above technical problem and realize a VR video distribution apparatus and method, VR video reproduction apparatus and method, and VR which realize high resolution by arbitrarily narrowing the encoding range to the area watched by the user. It is to provide a video system.
上記の目的を達成するために、本発明は、以下の構成を具備した点に特徴がある。 In order to achieve the above object, the present invention is characterized by having the following configuration.
(1) 本発明のVR映像配信装置は、三次元コンテンツからパノラマ画像を生成する手段と、パノラマ画像をエンコードして高解像パノラマ映像を生成する第１エンコーダと、パノラマ画像をエンコードして低解像パノラマ映像を生成する第２エンコーダと、VR映像を視聴するユーザの向き情報を取得する手段と、向き情報に基づいて前記高解像パノラマ映像から視野映像を切り出す手段と、前記向き情報に基づいて前記三次元コンテンツをエンコードし、前記視野映像よりも高解像の中心視野映像を生成する第３エンコーダと、前記低解像パノラマ映像ならびに前記視野映像および中心視野映像の少なくとも一方を選択的に配信する手段とを具備した。 (1) A VR video distribution apparatus according to the present invention includes means for generating a panoramic image from three-dimensional content, a first encoder that encodes the panoramic image to generate a high-resolution panoramic video, A second encoder for generating a resolving panoramic image; means for acquiring orientation information of a user who views the VR image; means for extracting a visual field image from the high-resolution panoramic image based on the orientation information; And a third encoder that encodes the three-dimensional content and generates a central field image having a higher resolution than the field image, and selectively selects at least one of the low resolution panoramic image, the field image, and the center field image. And a means for delivering to.
(2) 前記選択的に配信する手段は、向き情報の統計値に基づいて映像を選択するようにした。 (2) The means for selectively delivering selects the video based on the statistical value of the orientation information.
(3) 前記選択的に配信する手段が、低解像パノラマ映像および視野映像を配信する通常モード、低解像パノラマ映像、視野映像および中心視野映像を配信するハイブリッドモードならびに低解像パノラマ映像および中心視野映像を配信する注視モードを備え、視野の分布および移動速度の分布の少なくとも一方の分散値が小さいほど、モードを通常モードからハイブリッドモードへ切り換え、さらに注視モードへ切り換えるようにした。 (3) The selective distribution means includes a normal mode for distributing low-resolution panoramic video and visual field video, a hybrid mode for distributing low-resolution panoramic video, visual field video, and central visual field video, and low-resolution panoramic video and A gaze mode that distributes the central visual field image is provided, and the mode is switched from the normal mode to the hybrid mode and further to the gaze mode as the variance value of at least one of the visual field distribution and the moving speed distribution is small.
(4) 第３エンコーダは、中心視野映像の配信時刻と低解像パノラマ映像の配信時刻とが同期するように、先行して三次元コンテンツをエンコードするようにした。 (4) The third encoder encodes the three-dimensional content in advance so that the distribution time of the central visual field image and the distribution time of the low resolution panoramic image are synchronized.
(5) 配信先の属性情報を取得する手段を更に具備し、前記選択的に配信する手段は、視野の分布および／または移動速度の分布の各分散値に基づいて動作モードを切り替える際の切り換え点を変更するようにした。 (5) Further comprising means for acquiring distribution destination attribute information, wherein the means for selectively distributing is a switching at the time of switching the operation mode based on each distribution value of the visual field distribution and / or the moving speed distribution. The point was changed.
(6) 本発明のVR映像再生装置は、VR映像を視聴するユーザの向きを検知して向き情報を発生する手段と、前記向き情報をVR映像配信装置へ通知する手段と、VR映像配信装置が配信した低解像パノラマ映像ならびに視野映像および中心視野映像の少なくとも一方に基づいてVR映像を生成する手段とを具備した。 (6) The VR video reproduction apparatus of the present invention includes means for detecting the direction of a user viewing a VR video and generating direction information, means for notifying the VR information to the VR video distribution apparatus, and VR video distribution apparatus And a means for generating a VR video based on at least one of a low-resolution panoramic video and a visual field image and a central visual field image.
(7) 本発明のVR映像システムは、VR映像配信装置およびVR映像再生装置を含み、前記VR映像配信装置は、三次元コンテンツからパノラマ画像を生成する手段と、パノラマ画像をエンコードして高解像パノラマ映像を生成する第１エンコーダと、パノラマ画像をエンコードして低解像パノラマ映像を生成する第２エンコーダと、VR映像を視聴するユーザの向き情報を取得する手段と、前記向き情報に基づいて前記高解像パノラマ映像から視野映像を切り出す手段と、前記向き情報に基づいて前記三次元コンテンツをエンコードし、前記視野映像よりも高解像の中心視野映像を生成する第３エンコーダと、前記低解像パノラマ映像ならびに前記視野映像および中心視野映像の少なくとも一方を選択的に配信する手段とを具備した。
また、前記VR映像再生装置は、前記VR映像を視聴するユーザの向きを検知して向き情報を発生する手段と、前記向き情報をVR映像配信装置へ通知する手段と、VR映像配信装置が配信した低解像パノラマ映像ならびに視野映像および中心視野映像の少なくとも一方に基づいてVR映像を生成する手段とを具備した。
(7) The VR video system of the present invention includes a VR video distribution device and a VR video playback device, wherein the VR video distribution device encodes the panoramic image and generates a high resolution by generating a panoramic image from the three-dimensional content. A first encoder that generates an image panoramic image; a second encoder that encodes a panoramic image to generate a low-resolution panoramic image; means for acquiring direction information of a user viewing a VR video; and Means for extracting a field-of-view image from the high-resolution panoramic image, a third encoder that encodes the three-dimensional content based on the orientation information and generates a central-field image having a higher resolution than the field-of-view image, Means for selectively delivering a low-resolution panoramic image and at least one of the visual field image and the central visual field image.
In addition, the VR video reproduction device detects a direction of a user who views the VR video and generates direction information, means for notifying the direction information to the VR video distribution device, and the VR video distribution device distributes And a means for generating a VR video based on the low-resolution panoramic video and at least one of the visual field image and the central visual field image.
本発明によれば、以下のような効果が達成される。 According to the present invention, the following effects are achieved.
(1) エンコーダの最大解像度でエンコードしたパノラマ映像から切り出した視野映像とは別に、三次元コンテンツから生成した中心視野画像を最大解像度でエンコードした中心視野映像を配信できるので、エンコーダの最大解像度を変更することなく、ユーザの視野に関して従来と同一解像度の視野映像のみならず、これよりも相対的に高解像の中心視野映像を配信できるようになる。 (1) Apart from the view image cut out from the panorama image encoded at the maximum resolution of the encoder, the center view image generated by encoding the center view image generated from 3D content at the maximum resolution can be distributed, so the maximum resolution of the encoder has been changed Accordingly, not only a visual field image having the same resolution as the conventional one but also a relatively high-resolution central visual field image can be distributed.
(2) ユーザの視野を代表する向き情報の統計値に基づいて、配信する映像やその組み合わせを切り換えるので、ユーザの向きおよびその変化に応じて最適な映像を配信できるようになる。 (2) Since the video to be delivered and the combination thereof are switched based on the statistical value of the orientation information representing the user's field of view, the optimum video can be delivered according to the user orientation and the change thereof.
(3) リアルタイムでエンコードすることになる中心視野映像に関しては、そのレンダリングやエンコードに要する遅延時間分だけ先行してエンコードが実施されるので、中心視野映像の再生タイミングを視野映像やパノラマ映像の再生タイミングに同期させることができるようになる。 (3) The central field of view video to be encoded in real time is encoded in advance by the delay time required for rendering and encoding. It becomes possible to synchronize with the timing.
(4) 配信先の属性情報に基づいて、配信する映像やその組み合わせを切り換える際の切り換え点を変更するので、配信先の属性情報に応じた配信が可能になる。 (4) Since the switching point for switching the video to be distributed and the combination thereof is changed based on the attribute information of the distribution destination, distribution according to the attribute information of the distribution destination is possible.
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係るVR映像システムの主要部の構成を示した機能ブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。本発明のVR映像システムは、VR映像を配信するVR映像配信サーバ１と、視聴ユーザに装着されて前記VR映像を受信、再生するHMD等のクライアント２とを、ネットワークで接続して構成される。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a functional block diagram showing a configuration of a main part of a VR video system according to an embodiment of the present invention. Here, illustration of components unnecessary for the description of the present invention is omitted. The VR video system of the present invention is configured by connecting, via a network, a VR video distribution server 1 that distributes VR video and a client 2 such as an HMD that is mounted on a viewing user and receives and plays back the VR video. .
VR映像配信サーバ１において、３次元コンテンツサーバ１０１には、３６０度カメラの映像やCGのような３次元コンテンツが蓄積されている。パノラマ画像生成部１０２は、特定の３次元視点位置の全周囲のデータを特定の３次元モデルに射影し、平面に展開することによってパノラマ画像を生成する。 In the VR video distribution server 1, the 3D content server 101 stores 3D content such as 360-degree camera video and CG. The panoramic image generation unit 102 projects data around the specific three-dimensional viewpoint position onto a specific three-dimensional model and develops it on a plane to generate a panoramic image.
第１エンコーダ１０３は、前記パノラマ画像を相対的に高解像でエンコードして高解像パノラマ映像VPHを生成する。本実施形態では、HEVCにおけるmotion vector 制約付きタイルで分割されたストリームが生成される。これにより、異なる位置にあるタイル同士で時間的な参照関係を持たないため、特定位置のタイルのみを独立でデコードすることが可能になる。 The first encoder 103 encodes the panoramic image at a relatively high resolution to produce a high-resolution panoramic image VP H. In the present embodiment, a stream divided by tiles with motion vector constraints in HEVC is generated. Thereby, since tiles at different positions do not have a temporal reference relationship, it is possible to independently decode only tiles at a specific position.
第２エンコーダ１０４は、前記パノラマ画像を相対的に低解像でエンコードして低解像パノラマ映像VPLを生成する。第２エンコーダ１０４では上記のようなタイル分割が不要である。これはクライアント２が向きを変えた場合に表示が遅延しないよう全天球の映像を送る場合があるためである。このように、本実施形態ではパノラマ映像VPに関して、タイル分割された高解像パノラマ映像VPHおよびタイル分割されていない低解像パノラマ映像VPLが生成される。 The second encoder 104 generates a low-resolution panoramic image VP L encodes the panoramic image with a relatively low resolution. The second encoder 104 does not require tile division as described above. This is because when the client 2 changes its orientation, a spherical image may be sent so that the display is not delayed. Thus, with respect to the panoramic image VP in the present embodiment, the low-resolution panoramic image VP L that are not high-resolution panoramic image VP H and tiled was tiled is generated.
視野映像切出部１０５は、クライアント２から通知される、後に詳述する向き情報Idに基づいて、前記高解像パノラマ映像PVHの一部領域を視野映像VMとして切り出す。 View image cutting unit 105, based on the orientation information Id detailing notified from the client 2, after, crop an area of the high-resolution panoramic image PV H as a viewing image V M.
中心視野画像生成部１０８は、クライアント２から通知される向き情報Idを分析し、３次元コンテンツに基づいて中心視野画像をリアルタイムでレンダリングする。第３エンコーダ１０６は、クライアントから取得した向き情報Idに基づいて、前記中心視野画像をリアルタイムでエンコードして相対的に高解像の中心視野映像VHを生成する。ここで、中心視野映像VHとは、前記視野映像VMと同一またはより狭い範囲を、画素密度がより高くなるようにエンコードして得られる高解像の映像である。 The central visual field image generation unit 108 analyzes the orientation information Id notified from the client 2 and renders the central visual field image in real time based on the three-dimensional content. The third encoder 106, based on the orientation information Id obtained from the client, and generates a central field image V H of relatively high resolution to encode the central field images in real time. Here, the central visual field image V H, the view image V M is the same as or narrower, a video of high resolution obtained by encoding as the pixel density becomes higher.
配信制御部１０７は、クライアント２から通知される向き情報Idの統計値（本実施形態では、視野の２次元分布および移動速度の分布の少なくとも一方）に基づいて、前記低解像パノラマ映像VPL、ならびに前記視野映像VMおよび中心視野映像VHの少なくとも一方を選択的にクライアント２へ配信する。 The distribution control unit 107 determines the low-resolution panoramic video VP L based on the statistical value of the direction information Id notified from the client 2 (in this embodiment, at least one of the two-dimensional visual field distribution and the moving speed distribution). and selectively delivered to the client 2 at least one of the visual field image V M and the central field image V H.
本実施形態では、配信制御部１０７が配信モードとして、低解像パノラマ映像VPLおよび視野映像VMを配信する通常モード１０７ａ、低解像パノラマ映像VPL、視野映像VMおよび中心視野映像VHを配信するハイブリッドモード１０７ｂならびに低解像パノラマ映像VPLおよび中心視野映像VHを配信する注視モード１０７ｃを備え、図２に示したように、視野移動速度の分布の分散値D1が小さいほど、および／または視野の分布の分散値D2が小さいほど、その配信モードを通常モード１０７ａからハイブリッドモード１０７ｂへ切り換え、さらに注視モード１０７ｃへと切り換える。 In the present embodiment, as the distribution controller 107 distribution mode, the normal mode 107a for delivering low-resolution panoramic image VP L and view image V M, the low-resolution panoramic image VP L, view image V M and the central visual field image V comprising a hybrid mode 107b and gaze mode 107c for delivering low-resolution panoramic image VP L and central field images V H distributing H, as shown in FIG. 2, as the dispersion value D1 of the distribution of the scrolling speed is smaller The distribution mode is switched from the normal mode 107a to the hybrid mode 107b and further to the gaze mode 107c as the variance value D2 of the visual field distribution is smaller.
例えば、前記各分散値D1，D2に関して第１閾値Ref1および第２閾値Ref2（Ref1＞Ref1）がそれぞれ用意されており、分散値D1，D2が第１閾値Ref1よりも大きければ、通常モード１０７ａが採用されて低解像パノラマ映像VPLおよび視野映像VMが配信される。また、Ref1≧D1，D2＞Ref2であれば、ハイブリッドモード１０７ｂが採用されて低解像パノラマ映像VPL、視野映像VMおよび中心視野映像VHが配信される。さらに、Ref2＞D1，D2であれば、注視モード１０７ｃが採用されて低解像パノラマ映像VPLおよび中心視野映像VHが配信される。 For example, a first threshold value Ref1 and a second threshold value Ref2 (Ref1> Ref1) are prepared for the respective variance values D1 and D2, and if the variance values D1 and D2 are larger than the first threshold value Ref1, the normal mode 107a is set. low-resolution panoramic image VP L and viewing video V M is distributed are adopted. Also, if Ref1 ≧ D1, D2> Ref2, low-resolution panoramic image VP L, view image V M and the central field image V H is distributed hybrid mode 107b is employed. Furthermore, Ref2> if D1, D2, low-resolution panoramic image VP L and central field images V H is distributed gaze mode 107c is adopted.
前記第１閾値Ref1および第２閾値Ref2は、ユーザの属性情報に基づいて変化するようにしても良い。例えばVR映像の配信サービスを有料で提供する場合、料金の高い契約をしているユーザに対しては、料金の低い契約をしているユーザよりも、前記第１閾値Ref1および第２閾値Ref2を相対的に高くすることで、ハイブリッドモード１０７ｂや注視モード１０７ｃの選択確率を高くしても良い。 The first threshold value Ref1 and the second threshold value Ref2 may be changed based on user attribute information. For example, when a VR video distribution service is provided for a fee, the first threshold value Ref1 and the second threshold value Ref2 are set for a user who has a contract with a higher fee than for a user who has a contract with a lower fee. By selecting a relatively high value, the selection probability of the hybrid mode 107b or the gaze mode 107c may be increased.
配信制御部１０７の投機的配信実行部１０７ｄは、後述するクライアント２の遅延計測部２０４が通知する中心視野映像の配信遅延時間Δtだけ、当該中心視野映像VHのエンコードタイミングを投機的に前倒しする。 Speculative delivery execution unit 107d of the delivery control unit 107, only the delivery delay time Δt of central vision image for notifying the delay measuring unit 204 of the client 2 to be described later, speculatively ahead of encoding timing of the central field image V H .
図３は、前記投機的配信実行部１０７ｄによる中心視野映像VHの投機的配信の例を模式的に示した図であり、予め生成されているパノラマ映像VPL等の配信時刻に対して、中心視野映像VHの配信時刻がΔ3tだけ遅延する場合、投機的配信実行部１０７ｄは第３エンコーダ１０６に対して、前記Δ3tだけ先行してデコードを指示する。すなわち、時刻2tにおいて時刻5tの中心視野画像に対するエンコードを指示する。 Figure 3 is a diagram schematically showing an example of a speculative distribution center view image V H by the speculative delivery execution unit 107d, with respect to the panoramic image VP L delivery time, such as that generated in advance, When the distribution time of the central visual field video V H is delayed by Δ3t, the speculative distribution execution unit 107d instructs the third encoder 106 to perform decoding in advance by Δ3t. That is, the encoding of the central visual field image at time 5t is instructed at time 2t.
このとき、第３エンコーダ１０６は時刻2tでの向き情報Idに基づいて中心視野を選択するため、時刻5tにおける向きとの間にずれの生じる可能性がある。そこで、本実施形態では配信時刻tにおける向き情報Id_tと前記遅延時間Δ3tだけ前の向き情報Id_Δ3tとを比較し、両者の差分が所定の閾値を超える場合には中心視野映像VHを破棄するようにしている。 At this time, since the third encoder 106 selects the central visual field based on the orientation information Id at time 2t, there is a possibility that a deviation occurs from the orientation at time 5t. Therefore, in the present embodiment, the direction information Id_t at the distribution time t is compared with the direction information Id_Δ3t that is earlier by the delay time Δ3t, and when the difference between the two exceeds a predetermined threshold, the central visual field video V H is discarded. I have to.
クライアント２において、視聴要求部２０１は、VR映像配信サーバ１へ視点情報又は再生時刻情報の記述された視聴要求を送信してVR映像配信サーバ１に所望のVR映像を配信させる。向き検知部２０２は、例えばジャイロセンサや加速度センサを備え、クライアント２を装着しているユーザの視線の向きおよび移動速度を検知する。視野情報計算部２０３は、向き検知部２０２が検知した向き情報Idの時系列に基づいて、視野の２次元分布および移動速度の２次元分布を計算し、この計算結果をVR映像配信サーバ１へ提供する。 In the client 2, the viewing request unit 201 transmits a viewing request in which viewpoint information or reproduction time information is described to the VR video distribution server 1 to cause the VR video distribution server 1 to distribute a desired VR video. The direction detection unit 202 includes, for example, a gyro sensor and an acceleration sensor, and detects the direction and movement speed of the line of sight of the user wearing the client 2. The visual field information calculation unit 203 calculates the two-dimensional distribution of the visual field and the two-dimensional distribution of the moving speed based on the time series of the direction information Id detected by the direction detection unit 202, and sends the calculation result to the VR video distribution server 1. provide.
第１映像合成部２０５は、VR映像配信サーバ１が通常モードで配信する低解像パノラマ映像VPLと視野映像VMとを合成し、その合成映像を出力する。デコーダ２０６は、前記合成映像および中心視野映像VHをそれぞれデコードする。第２映像合成部２０７は、前記合成映像および中心視野映像VHのデコード画像を取得すると、前記向き情報Idに応じて、現在のクライアント２の向きと時刻とに合う中心視野画像VHを前記合成映像に更に重畳する。 First image combining unit 205 combines the low-resolution panoramic image VP L and the field image V M to VR video distribution server 1 distributes in the normal mode, and outputs the combined image. The decoder 206 decodes the synthesized video and the central visual field video VH , respectively. When the second video composition unit 207 obtains the decoded image of the composite video and the central visual field video V H , the second visual composition unit 207 generates the central visual field image V H that matches the current orientation and time of the client 2 according to the orientation information Id. It is further superimposed on the composite video.
本実施形態では、第２映像合成部２０７が２つのフレームバッファを備え、その一方は向き情報Idに応じて前記合成画像を全天球面に射影し、他方は中心視野画像VHを視線正面の平面に射影する。射影は対応座標をOpenGLで記述できる。VR映像再生部２０８は、合成されたVR映像を再生する。 In the present embodiment, the second video composition unit 207 includes two frame buffers, one of which projects the composite image on the spherical surface according to the orientation information Id, and the other displays the central visual field image VH on the front of the line of sight. Project onto a plane. Projective coordinates can be described in OpenGL. The VR video reproduction unit 208 reproduces the synthesized VR video.
遅延計算部２０４は、前記向き情報Idに記述されている時刻情報と、配信サーバ１が配信する中心視野映像VHに記述されている時刻情報とを比較して中心視野映像の遅延時間Δtを計算し、これを配信サーバ１へ通知する。 Delay calculation unit 204, and time information described in the orientation information Id, the distribution server 1 compares the time information described in the central field image V H to be distributed central vision video delay time Δt This is calculated and notified to the distribution server 1.
図４は、本実施形態における各映像の配信方法を模式的に示した図であり、図５は、各映像の再生形態を仮想的に示した図である。ここでは、低解像パノラマ映像VPLとして2K解像度のパノラマ映像、視野映像VMとして2K解像度相当の映像、中心視野映像VHとして2K解像度相当または4K解像度相当の映像が配信される場合を例にして説明する。 FIG. 4 is a diagram schematically showing a distribution method of each video in the present embodiment, and FIG. 5 is a diagram virtually showing a playback mode of each video. Example the case where, 2K resolution panoramic image as the low-resolution panoramic image VP L, the 2K resolution corresponding video as view image V M, is 2K resolution equivalent or 4K resolution equivalent image focused view image V H is distributed I will explain.
通常モードでは、パノラマ画像から低解像エンコードにより生成された2kパノラマ映像と、パノラマ画像から高解像エンコードにより生成された4kパノラマ映像から前記向き情報Idに基づいて切り出された2k視野映像が配信される。したがって、クライアント(HMD)２では図５(a)に示したように、解像度が視野では4kパノラマ相当、視野以外では2Kパノラマ相当のVR映像を視聴できるようになる。 In normal mode, 2k panoramic video generated by panoramic image by low resolution encoding and 2k panoramic video cut from panoramic image by 4k panoramic video by high resolution encoding based on the orientation information Id are distributed. Is done. Accordingly, as shown in FIG. 5A, the client (HMD) 2 can view a VR video image with a resolution equivalent to 4k panorama in the field of view and 2K panorama except in the field of view.
注視モードでは、前記2k視野映像に代えて、前記視野映像VMと同じ範囲を4k解像度でエンコードした4k中心視野映像が配信される。したがって、クライアント２では図５(b)に示したように、解像度が視野では8kパノラマ相当、視野以外では2Kパノラマ相当のVR映像を視聴できるようになる。 The gaze mode, the place of the 2k-field image, the 4k central field images of the same range as the view image V M encoded with 4k resolution is delivered. Therefore, as shown in FIG. 5 (b), the client 2 can view a VR video image with a resolution equivalent to an 8k panorama in the field of view and a 2K panorama other than the field of view.
ハイブリッドモードでは、前記2Kパノラマ映像および2K視野映像、ならびに前記視野映像VMよりも更に狭い範囲を2k解像度でエンコードした2k中心視野映像が配信される。したがって、クライアント２では図５(c)に示したように、解像度が視野の中心部では8Kパノラマ相当、中心部以外の視野では4Kパノラマ相当、視野以外で2Kパノラマ相当のVR映像を視聴できるようになる。 In the hybrid mode, the 2K panoramic image and 2K view image, and 2k central field image to a range narrower than the field of view image V M encoded with 2k resolution is delivered. Therefore, as shown in FIG. 5 (c), the client 2 can view a VR video whose resolution is equivalent to an 8K panorama at the center of the field of view, equivalent to a 4K panorama at a field other than the center, and equivalent to a 2K panorama outside the field of view. become.
なお、エンコード範囲が狭くなり、クライアント２の物理的なppiを超える場合にも、内部解像度の増加による解像度感の向上が図れる。 Even when the encoding range is narrowed and exceeds the physical ppi of the client 2, the resolution can be improved by increasing the internal resolution.
１…VR映像配信サーバ，２…クライアント，１０１…３次元コンテンツサーバ，１０２…パノラマ画像生成部，１０３…第１エンコーダ，１０４…第２エンコーダ，１０５…視野映像切出部，１０６…第３エンコーダ，１０７…配信制御部，１０７ｄ…投機的配信実行部，１０８…中心視野画像生成部，２０１…視聴要求部，２０２…向き検知部，２０３…視野情報計算部，２０４…遅延計算部，２０５…第１映像合成部，２０６…デコーダ，２０７…第２映像合成部，２０８…VR映像再生部 DESCRIPTION OF SYMBOLS 1 ... VR image | video delivery server, 2 ... Client, 101 ... Three-dimensional content server, 102 ... Panorama image production | generation part, 103 ... 1st encoder, 104 ... 2nd encoder, 105 ... Field-of-view image cropping part, 106 ... 3rd encoder , 107 ... Distribution control unit, 107 d ... Speculative distribution execution unit, 108 ... Central visual field image generation unit, 201 ... Viewing request unit, 202 ... Direction detection unit, 203 ... Visual field information calculation unit, 204 ... Delay calculation unit, 205 ... First video synthesis unit, 206 ... decoder, 207 ... second video synthesis unit, 208 ... VR video playback unit
Claims (14)
前記パノラマ画像をエンコードして高解像パノラマ映像を生成する第１エンコーダと、
前記パノラマ画像をエンコードして低解像パノラマ映像を生成する第２エンコーダと、
映像を視聴するユーザの向き情報を取得する手段と、
前記向き情報に基づいて前記高解像パノラマ映像から視野映像を切り出す手段と、
前記向き情報に基づいて前記三次元コンテンツをエンコードし、前記視野映像よりも高解像の中心視野映像を生成する第３エンコーダと、
前記低解像パノラマ映像ならびに前記視野映像および中心視野映像の少なくとも一方を選択的に配信する手段とを具備したことを特徴とするVR映像配信装置。 Means for generating a panoramic image from 3D content;
A first encoder that encodes the panoramic image to generate a high-resolution panoramic image;
A second encoder that encodes the panoramic image to generate a low-resolution panoramic image;
Means for acquiring orientation information of a user viewing the video;
Means for cutting out a field-of-view image from the high-resolution panoramic image based on the orientation information;
A third encoder that encodes the three-dimensional content based on the orientation information and generates a central field image having higher resolution than the field image;
And a means for selectively distributing at least one of the low-resolution panoramic image and the visual field image and the central visual field image.
低解像パノラマ映像および視野映像を配信する通常モード、低解像パノラマ映像、視野映像および中心視野映像を配信するハイブリッドモードならびに低解像パノラマ映像および中心視野映像を配信する注視モードを備え、
前記視野の分布および移動速度の分布の少なくとも一方の分散値が小さいほど、配信モードを通常モードからハイブリッドモードへ切り換え、さらに注視モードへ切り換えることを特徴とする請求項３に記載のVR映像配信装置。 The means for selectively delivering comprises:
Normal mode for delivering low-resolution panoramic video and field-of-view video, hybrid mode for delivering low-resolution panoramic video, field-of-view video and central-field-of-view video, and gaze mode for delivering low-resolution panoramic video and center-of-view video,
4. The VR video distribution apparatus according to claim 3, wherein the distribution mode is switched from the normal mode to the hybrid mode and further to the gaze mode as the variance value of at least one of the visual field distribution and the moving speed distribution is small. .
VR映像を視聴するユーザの向きを検知して向き情報を発生する手段と、
前記向き情報をVR映像配信装置へ通知する手段と、
VR映像配信装置が配信した低解像パノラマ映像ならびに視野映像および中心視野映像の少なくとも一方に基づいてVR映像を生成する手段とを具備したことを特徴とするVR映像再生装置。 In the VR video playback device that plays back the delivered VR video,
Means for detecting the orientation of the user viewing the VR video and generating orientation information;
Means for notifying the orientation information to the VR video distribution device;
A VR video playback device comprising: a low-resolution panoramic video delivered by the VR video delivery device and means for generating a VR video based on at least one of a visual field video and a central visual field video.
前記VR映像配信装置が、
三次元コンテンツからパノラマ画像を生成する手段と、
前記パノラマ画像をエンコードして高解像パノラマ映像を生成する第１エンコーダと、
前記パノラマ画像をエンコードして低解像パノラマ映像を生成する第２エンコーダと、
映像を視聴するユーザの向き情報を取得する手段と、
前記向き情報に基づいて前記高解像パノラマ映像から視野映像を切り出す手段と、
前記向き情報に基づいて前記三次元コンテンツをエンコードし、前記視野映像よりも高解像の中心視野映像を生成する第３エンコーダと、
前記低解像パノラマ映像ならびに前記視野映像および中心視野映像の少なくとも一方を選択的に配信する手段とを具備し、
前記VR映像再生装置が、
前記VR映像を視聴するユーザの向きを検知して向き情報を発生する手段と、
前記向き情報をVR映像配信装置へ通知する手段と、
VR映像配信装置が配信した低解像パノラマ映像ならびに視野映像および中心視野映像の少なくとも一方に基づいてVR映像を生成する手段とを具備したことを特徴とするVR映像システム。 In a VR video system including a VR video distribution device that distributes VR video and a VR video playback device that plays back the distributed VR video,
The VR video distribution device is
Means for generating a panoramic image from 3D content;
A first encoder that encodes the panoramic image to generate a high-resolution panoramic image;
A second encoder that encodes the panoramic image to generate a low-resolution panoramic image;
Means for acquiring orientation information of a user viewing the video;
Means for cutting out a field-of-view image from the high-resolution panoramic image based on the orientation information;
A third encoder that encodes the three-dimensional content based on the orientation information and generates a central field image having higher resolution than the field image;
Means for selectively delivering at least one of the low-resolution panoramic video and the visual field image and the central visual field image,
The VR video playback device is
Means for detecting the direction of the user viewing the VR video and generating direction information;
Means for notifying the orientation information to the VR video distribution device;
A VR video system comprising: means for generating a VR video based on at least one of a low-resolution panoramic video and a visual field image and a central visual field image distributed by the VR video distribution device.
三次元コンテンツからパノラマ画像を生成し、
パノラマ画像をエンコードして高解像パノラマ映像を生成し、
パノラマ画像をエンコードして低解像パノラマ映像を生成し、
VR映像を視聴するユーザの向き情報を取得し、
前記向き情報に基づいて前記高解像パノラマ映像から視野映像を切り出し、
前記向き情報に基づいて前記三次元コンテンツをエンコードし、前記視野映像よりも高解像の中心視野映像を生成し、
前記低解像パノラマ映像ならびに前記視野映像および中心視野映像の少なくとも一方を選択的に配信することを特徴とするVR映像配信方法。 In a method in which a computer distributes VR video,
Generate panoramic images from 3D content,
Encode panoramic images to generate high-resolution panoramic images,
Encode panoramic images to generate low-resolution panoramic images,
Get direction information of users who watch VR video,
Based on the orientation information, cut out the visual field video from the high-resolution panoramic video,
Encode the three-dimensional content based on the orientation information, and generate a central field image with higher resolution than the field image,
A VR video distribution method, wherein the low-resolution panoramic video and at least one of the visual field video and the central visual field video are selectively distributed.
VR映像を視聴するユーザの向きを検知して向き情報を発生し、
前記向き情報をVR映像配信装置へ通知し、
VR映像配信装置が配信した低解像パノラマ映像ならびに視野映像および中心視野映像の少なくとも一方に基づいてVR映像を生成することを特徴とするVR映像再生方法。 In a VR video playback method in which a computer plays a VR video distributed,
Detects the orientation of the user viewing the VR video and generates orientation information,
Notify the orientation information to the VR video distribution device,
A VR video reproduction method, characterized in that a VR video is generated based on at least one of a low-resolution panoramic video and a visual field image and a central visual field image distributed by a VR video distribution device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018058532A JP6859286B2 (en) | 2018-03-26 | 2018-03-26 | VR video distribution device and method, VR video playback device and method, and VR video system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018058532A JP6859286B2 (en) | 2018-03-26 | 2018-03-26 | VR video distribution device and method, VR video playback device and method, and VR video system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019169929A true JP2019169929A (en) | 2019-10-03 |
| JP6859286B2 JP6859286B2 (en) | 2021-04-14 |
Family
ID=68107612
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018058532A Active JP6859286B2 (en) | 2018-03-26 | 2018-03-26 | VR video distribution device and method, VR video playback device and method, and VR video system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6859286B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111131879A (en) * | 2019-12-30 | 2020-05-08 | 歌尔股份有限公司 | Video data playing method and device and computer readable storage medium |
| WO2022065040A1 (en) * | 2020-09-23 | 2022-03-31 | ソニーグループ株式会社 | Information processing device, information processing method, and information processing system |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016015705A (en) * | 2014-06-10 | 2016-01-28 | 日本電信電話株式会社 | Video distribution apparatus and picture reproducing apparatus |
| WO2017202899A1 (en) * | 2016-05-25 | 2017-11-30 | Koninklijke Kpn N.V. | Spatially tiled omnidirectional video streaming |
| WO2017205794A1 (en) * | 2016-05-26 | 2017-11-30 | Vid Scale, Inc. | Methods and apparatus of viewport adaptive 360 degree video delivery |
| JP2018011198A (en) * | 2016-07-13 | 2018-01-18 | 日本電信電話株式会社 | Video coding device, video coding method and video coding program |
| JP2018026677A (en) * | 2016-08-09 | 2018-02-15 | 日本電信電話株式会社 | Encoding device, encoding method, and encoding program |
-
2018
- 2018-03-26 JP JP2018058532A patent/JP6859286B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016015705A (en) * | 2014-06-10 | 2016-01-28 | 日本電信電話株式会社 | Video distribution apparatus and picture reproducing apparatus |
| WO2017202899A1 (en) * | 2016-05-25 | 2017-11-30 | Koninklijke Kpn N.V. | Spatially tiled omnidirectional video streaming |
| WO2017205794A1 (en) * | 2016-05-26 | 2017-11-30 | Vid Scale, Inc. | Methods and apparatus of viewport adaptive 360 degree video delivery |
| JP2018011198A (en) * | 2016-07-13 | 2018-01-18 | 日本電信電話株式会社 | Video coding device, video coding method and video coding program |
| JP2018026677A (en) * | 2016-08-09 | 2018-02-15 | 日本電信電話株式会社 | Encoding device, encoding method, and encoding program |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111131879A (en) * | 2019-12-30 | 2020-05-08 | 歌尔股份有限公司 | Video data playing method and device and computer readable storage medium |
| WO2022065040A1 (en) * | 2020-09-23 | 2022-03-31 | ソニーグループ株式会社 | Information processing device, information processing method, and information processing system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6859286B2 (en) | 2021-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11924394B2 (en) | Methods and apparatus for receiving and/or using reduced resolution images | |
| KR102632421B1 (en) | Methods and apparatus for capturing, streaming and/or playing back content | |
| CN109891906B (en) | System and method for delivering a 360 ° video stream | |
| JP2021103327A (en) | Apparatus and method for providing and displaying content | |
| KR20170008725A (en) | Methods and apparatus for streaming content | |
| KR20190038664A (en) | Splitting content-based streams of video data | |
| CN112753224B (en) | Apparatus and method for generating and rendering video streams | |
| KR20210072086A (en) | Information processing system, information processing method, and storage medium | |
| JP6859286B2 (en) | VR video distribution device and method, VR video playback device and method, and VR video system | |
| US10841490B2 (en) | Processing method and processing system for video data | |
| JPWO2019004073A1 (en) | Image arrangement determining apparatus, display control apparatus, image arrangement determining method, display control method, and program | |
| WO2019142658A1 (en) | Image processing device and method, and program | |
| WO2018178510A2 (en) | Video streaming | |
| EP4221234A1 (en) | Information processing device, information processing method, and information processing system | |
| EP4013059A1 (en) | Changing video tracks in immersive videos |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200206 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201028 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201118 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201224 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210317 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210325 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6859286 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |