JP2015213277A - Encoding method and encoding program - Google Patents
Encoding method and encoding program Download PDFInfo
- Publication number
- JP2015213277A JP2015213277A JP2014095871A JP2014095871A JP2015213277A JP 2015213277 A JP2015213277 A JP 2015213277A JP 2014095871 A JP2014095871 A JP 2014095871A JP 2014095871 A JP2014095871 A JP 2014095871A JP 2015213277 A JP2015213277 A JP 2015213277A
- Authority
- JP
- Japan
- Prior art keywords
- video
- encoding
- bit rate
- tiled
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、映像をエンコードするエンコード方法およびエンコードプログラムに関する。 The present invention relates to an encoding method and an encoding program for encoding video.
近年、4K映像、8K映像、パノラマ映像のような、現在主流であるHD(High Definition)テレビに表示することのできる映像以上の画素を持った映像が登場している。それらの映像を一般的なHDテレビやそれよりも小さな画素数のパネルを持ったスマートフォンやタブレットのような端末で表示しようとした場合、元の高画質な映像を縮小する、一部を切り出して表示するといった、本来の映像ソースが持つ映像の精細さや内容が失われるような映像提示方法が一般的であった。 In recent years, video having more pixels than video that can be displayed on HD (High Definition) television, which is currently mainstream, such as 4K video, 8K video, and panoramic video, has appeared. If you try to display these images on a device such as a general HD TV or a smartphone or tablet with a panel with a smaller pixel count, the original high-definition image will be reduced. In general, video display methods have been used, such as displaying, in which the fineness and content of the video of the original video source is lost.
一方、映像ソースの持つ画素数よりも小さい画素数の端末でも、元の映像の精細さや内容を失うことがない視聴方法として、インタラクティブパノラマのような映像の部分配信技術が登場してきた(例えば、非特許文献1参照)。 On the other hand, even with a terminal having a smaller number of pixels than the number of pixels that the video source has, as a viewing method that does not lose the definition and content of the original video, video partial distribution technology such as interactive panorama has appeared (for example, Non-patent document 1).
非特許文献1の方法では、視聴者がタブレットやスマートフォン、コントローラといったデバイスで選択した位置、画角に応じて最も適切な解像度を持ったタイル領域をデコードして提示することができる。図7は、非特許文献1の矩形映像において、複数のタイル領域をエンコードする方法を示す説明図である。図7に示すように、非特許文献1では、予め映像を複数の解像度(解像度[1]、解像度[2]、・・・、解像度[n])に分け、さらにそれらの複数解像度映像を予め決められた大きさのタイル領域に区切り、解像度毎に予め決められたビットレートでエンコードしておく。そして、デバイスで選択した位置、画角に応じて最も適切な解像度を持ったタイル領域をデコードして提示する。視聴者は位置・画角の選択をインタラクティブに行うことにより、見る位置や大きさを変更することができる。このため、映像の精細さを失わないだけでなく、映像そのものが持つ内容も失うことがない。
In the method of Non-Patent
しかしながら、このようなインタラクティブパノラマのような技術を含め、一般的な映像をタイル状領域に区切ってエンコードする場合、すべてのタイル状領域を一定のビットレートでエンコードすることが一般的である。またはタイル状領域内の映像のエッジの量に応じてエンコードを行うことや、対象となるタイル状領域の近傍・近接のタイル状領域の映像のエッジの量も加味してエンコードを行うといった、映像内容を無視したビットレートの決定が一般的である。また、従来技術のエンコードでは、画像中のエッジのような映像特徴のみを考慮してビットレートを決定するのが一般的である。 However, when encoding a general video by dividing it into tiled areas including such a technique as interactive panorama, it is general to encode all tiled areas at a constant bit rate. Or video that encodes according to the amount of edge of the image in the tiled area, or encodes the amount of edge of the image of the tiled area near or near the target tiled area It is common to determine the bit rate ignoring the content. In the conventional encoding, the bit rate is generally determined in consideration of only video features such as edges in an image.
人はそれぞれ嗜好が異なるため、同じ映像を見ていても人によって見る位置が異なることは言うまでもない。これは映像によってはよく人に見られる位置(人気がある位置)とそうではない位置が存在するともいえる。従来のような画一的な方法によって映像内のタイル状領域をエンコードしてしまうと、人気のない位置にも高ビットレートを割り当てることになってしまうという問題がある。また、その反対で人気のある位置に低ビットレートが割り当てられてしまうといった非効率なビットレート割り当てが行われる可能性があるという問題もある。 Since people have different preferences, it goes without saying that even if they watch the same video, the positions they see vary. It can be said that there are positions that are often seen by people (popular positions) and positions that are not so depending on the video. If a tiled area in a video is encoded by a uniform method as in the prior art, there is a problem that a high bit rate is assigned to an unpopular position. On the other hand, there is a problem that inefficient bit rate allocation may be performed such that a low bit rate is allocated to a popular position.
本発明は、このような事情に鑑みてなされたもので、映像のタイル状領域のエンコード時に、映像内容に応じて効率的なビットレート割り当てを行うことができるエンコード方法およびエンコードプログラムを提供することを目的とする。 The present invention has been made in view of such circumstances, and provides an encoding method and an encoding program capable of performing efficient bit rate allocation according to video content when encoding a tiled area of a video. With the goal.
本発明は、映像をエンコードするエンコード方法であって、前記映像をタイル状領域映像に分割するタイル分割ステップと、前記タイル状領域映像をエンコードする第1のエンコードステップと、エンコードされた前記タイル状領域映像をユーザの視聴要求に応じて配信した頻度である配信頻度を記憶する配信頻度記憶ステップと、前記配信頻度を所定のビットレートに掛けることにより前記タイル状領域映像に対するビットレートを算出するビットレート算出ステップと、算出した前記ビットレートに従い前記タイル状領域映像をエンコードし直す第2のエンコードステップとを有することを特徴とする。 The present invention provides an encoding method for encoding a video, a tile dividing step for dividing the video into tiled region videos, a first encoding step for encoding the tiled region videos, and the encoded tiled steps. A distribution frequency storing step for storing a distribution frequency, which is a frequency at which the region video is distributed in response to a user's viewing request, and a bit for calculating a bit rate for the tiled region video by multiplying the distribution frequency by a predetermined bit rate The method includes a rate calculating step and a second encoding step for re-encoding the tiled area video according to the calculated bit rate.
本発明は、映像をエンコードするエンコード方法であって、前記映像に関する所定の属性の値を算出する属性値算出ステップと、前記映像をタイル状領域映像に分割するタイル分割ステップと、前記タイル状領域映像に含まれる前記属性の値の割合を所定のビットレートに掛けて前記タイル状領域映像に対するビットレートを算出するビットレート算出ステップと、算出した前記ビットレートに従い前記タイル状領域映像をエンコードするエンコードステップとを有することを特徴とする。 The present invention relates to an encoding method for encoding a video, an attribute value calculating step for calculating a value of a predetermined attribute relating to the video, a tile dividing step for dividing the video into tiled region images, and the tiled region A bit rate calculating step of calculating a bit rate for the tiled region image by multiplying a ratio of the attribute value included in the image by a predetermined bit rate; and an encoding for encoding the tiled region image according to the calculated bit rate And a step.
本発明は、映像をエンコードするエンコード方法であって、前記映像に関する所定の属性の値を算出する属性値算出ステップと、前記映像をタイル状領域映像に分割するタイル分割ステップと、前記タイル状領域映像をエンコードする第1のエンコードステップと、エンコードされた前記タイル状領域映像をユーザの視聴要求に応じて配信した頻度である配信頻度を前記所定の属性の値ごとに記憶する配信頻度記憶ステップと、前記所定の属性の値に対応する前記タイル状領域映像が配信された割合を算出する配信割合算出ステップと、新たに入力された映像から前記タイル状領域映像を生成する際に、前記タイル状領域映像に割り当てるビットレートを、前記タイル状領域映像の属性の値に対応する配信割合を所定のビットレートに掛けて算出するビットレート算出ステップと、算出した前記ビットレートに従い新たに入力された前記映像のタイル状領域映像をエンコードする第2のエンコードステップとを有することを特徴とする。 The present invention relates to an encoding method for encoding a video, an attribute value calculating step for calculating a value of a predetermined attribute relating to the video, a tile dividing step for dividing the video into tiled region images, and the tiled region A first encoding step for encoding a video; and a distribution frequency storage step for storing a distribution frequency, which is a frequency of distributing the encoded tiled region video in response to a user's viewing request, for each value of the predetermined attribute; A distribution ratio calculating step of calculating a distribution ratio of the tiled area video corresponding to the predetermined attribute value, and generating the tiled area video from a newly input video. The bit rate assigned to the region video is multiplied by the distribution rate corresponding to the attribute value of the tiled region video by a predetermined bit rate. Characterized in that it has a bit rate calculation step of leaving, a second encoding step of encoding a tiled area image newly input the image in accordance with the bit rate calculated.
本発明は、前記ビットレート算出ステップは、所定のビットレートが複数あり、前記第2のエンコードステップは、前記複数のビットレートごとに前記タイル状領域映像をエンコードすることを特徴とする。 The present invention is characterized in that the bit rate calculating step has a plurality of predetermined bit rates, and the second encoding step encodes the tiled region video for each of the plurality of bit rates.
本発明は、コンピュータに、前記エンコード方法を実行させるためのエンコードプログラムである。 The present invention is an encoding program for causing a computer to execute the encoding method.
本発明によれば、映像のタイル状領域のエンコード時に、映像内容に応じて効率的なビットレート割り当てを行うことができるという効果が得られる。 According to the present invention, it is possible to perform an efficient bit rate allocation according to video content when encoding a tiled area of a video.
<第1実施形態>
以下、図面を参照して、本発明の第1実施形態によるエンコード装置を説明する。図1は同実施形態のシステムの全体構成を示すブロック図である。この図において、符号1は、4K/8Kカメラ等を含む一般的なビデオカメラ、パノラマ映像撮影用全天周カメラ・複数台ビデオカメラ等、映像を撮像することが可能なあらゆるデバイスで構成する映像撮影部である。符号2は、映像撮像部1で撮影された映像を保持する映像記憶部である。符号3は、決定されたビットレートで映像をエンコードする映像圧縮部である。映像圧縮部3は、映像ソースの複数解像度化、タイル領域分割も行う。
<First Embodiment>
Hereinafter, an encoding apparatus according to a first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing the overall configuration of the system of the embodiment. In this figure,
符号4は、映像圧縮部3においてエンコードされた映像を記憶する圧縮映像記憶部である。符号5は、要求されたタイル領域を配信する映像配信部である。配信したタイル状領域の数はログとして記録される。符号6は、過去にエンコードしたタイル状領域の映像特徴・映像内容とそこに割り当てたビットレートを記憶しておくビットレート記憶部である。
符号7は、映像配信部5における配信ログから得られるタイル状領域の配信頻度(視聴頻度)、映像圧縮部3におけるタイル状領域の映像特徴・映像内容、ビットレート記憶部6に記憶された過去のタイル状領域の映像特徴・映像内容に応じたビットレート値などを元に映像圧縮部3に入力された映像の各タイル状領域のビットレートを決定するビットレート決定部である。各タイル領域に割り当てるビットレートの算出についての動作は後述する。符号8は、情報通信可能なネットワークである。
符号9は、映像配信部5から配信されるタイル領域を受信する映像受信部である。符号10は、映像受信部9において受信された映像を予め決められた単位(時間)分揃うまで格納する映像バッファ部である。映像バッファ部10は、映像を扱う上では映像配信部5と映像受信部9間の経路揺らぎ等による映像データ到着にかかる時間の揺らぎを吸収するために用いる。符号11は、映像受信部9から渡されるエンコードされた映像データをデコードする映像展開部である。
Reference numeral 9 denotes a video reception unit that receives a tile area distributed from the
符号12は、映像展開部11においてデコードされた映像データをユーザが視聴できる形に描画する映像描画部である。ここでは一般的なモニタや3次元モニタ、プロジェクタ、HMD(ヘッドマウントディスプレイ)、スマートフォン、タブレットといった表示デバイスで構成する。符号13は、ユーザの所望する位置や画角を入力するユーザ入力部である。ユーザ入力部13は、例えば、コントローラ、マウス、キーボード、スマートフォンやタブレットのタッチインタフェースといった入力デバイスだけでなく、方位センサ、加速度センサなどのセンサからの入力等も含む。符号14は、ユーザ入力部13からの入力に応じて必要となるタイル領域を要求する映像要求部である。
次に、図2を参照して、図1に示すシステムを実際の装置で実現した例について説明する。図2は、図1に示すシステムを実際の装置で実現した例を示す図である。まず映像撮影部1は、全天周カメラで構成する。映像記憶部2は、ストレージで構成する。映像圧縮部3、ビットレート決定部6、ビットレート記憶部7は、エンコードPC(パソコン)20で構成する。圧縮映像記憶部4と映像配信部5は、配信サーバ30で構成する。ネットワーク8はインターネットを用いる。
Next, an example in which the system shown in FIG. 1 is realized by an actual apparatus will be described with reference to FIG. FIG. 2 is a diagram showing an example in which the system shown in FIG. 1 is realized by an actual device. First, the
映像要求部14、映像受信部9、映像バッファ部10及び映像展開部11は、HMD(ヘッドマウントディスプレイ)が、接続されたクライアントPC40で構成する。映像要求部14、映像受信部9、映像展開部11は、クライアントPC40上のアプリケーション50で実現する。映像バッファ部9は、クライアントPC40搭載のメモリで実現する。
The
映像描画部12とユーザ入力部13は、ヘッドマウントディスプレイ60で構成する。映像描画部12は、ヘッドマウントディスプレイ60搭載のディスプレイで実現する。ユーザ入力部13は、ヘッドマウントディスプレイ60搭載のジャイロで実現する。
The
なお、システムの形態としては、各役割がそれぞれ別の物理システム上で動いていてもかまわないし、複数の役割が同一のシステム内で動いていてもかまわない。また、それぞれの役割の間は有線・無線にかかわらず、ネットワークで接続されていることや同じシステム内のバスで接続されているなど、形態は問わない。 In addition, as a form of the system, each role may operate on different physical systems, or a plurality of roles may operate on the same system. In addition, regardless of whether the roles are wired or wireless, there is no limitation on the form such as being connected by a network or being connected by a bus in the same system.
次に、図3を参照して、図1に示すエンコード装置におけるエンコード処理の動作を説明する。図3は、図1に示すエンコード装置におけるエンコード処理の動作を示す説明図である。図3で例示している初期ビットレート値、全体ビットレート値、視聴頻度、最低ビットレート値、ビットレート更新間隔等はあくまで例であり、これに限定されるものではない。 Next, the operation of the encoding process in the encoding apparatus shown in FIG. 1 will be described with reference to FIG. FIG. 3 is an explanatory diagram showing the operation of the encoding process in the encoding apparatus shown in FIG. The initial bit rate value, the overall bit rate value, the viewing frequency, the minimum bit rate value, the bit rate update interval, and the like illustrated in FIG. 3 are merely examples, and are not limited thereto.
図3(a)は、ビットレート決定部7が割り当てるビットレートの初期値の一例を示している。数値はビットレート初期値、単位はkbpsである。全体で2000kbpsは予め決められているとする。タイル状領域に分割され、すべて同じビットレートでエンコードする。なお、図3(a)は1解像度を例示したものである。
FIG. 3A shows an example of the initial value of the bit rate assigned by the bit
図3(b)は、所定の時間経過後、例えば、1時間後、すなわち1時間に各タイル状領域毎の配信数を示す。数値は初期値から1時間の間に配信したタイル数とパーセンテージを示す。パーセンテージの算出方法は、例えば、対象となるタイル状領域が含まれるフレームにおいて1時間の間に対象となるタイルがどの程度配信されたかで算出することや、同じ映像における過去からの全タイル状領域の配信数に対して、対象となるタイル状領域の過去からの配信数で算出するなど、視聴頻度を割合で表せればその算出方法は問わない。 FIG. 3B shows the number of distributions for each tiled region after a predetermined time has elapsed, for example, one hour later, that is, one hour. The numerical value indicates the number of tiles distributed in one hour from the initial value and the percentage. The calculation method of the percentage is, for example, calculating how much the target tile is distributed in one hour in a frame including the target tile-shaped region, or all the tile-shaped regions from the past in the same video. As long as the viewing frequency can be expressed as a ratio, such as calculating the number of distributions from the past of the target tile-shaped region, the calculation method is not limited.
視聴頻度(割合)に応じて2000kbpsを配分すると、図3(c)のようになる。なお、数値はビットレート、単位はkbpsである。ただし最低ビットレートは10kbpsとした。また、ビットレート算出の式を示すと(1)式の通りである。
割り当てるビットレート=(2000−120)×視聴頻度(割合) ・・・(1)
(1)式中、120は最低ビットレート分である。
When 2000 kbps is distributed according to the viewing frequency (ratio), it is as shown in FIG. The numerical value is a bit rate and the unit is kbps. However, the minimum bit rate was 10 kbps. An equation for calculating the bit rate is as shown in equation (1).
Allocated bit rate = (2000−120) × viewing frequency (ratio) (1)
In the formula (1), 120 is the minimum bit rate.
最後に、映像圧縮部3は、ビットレート決定部7において決定したビットレートでエンコードし直す。以降、所定の時間間隔で、図3(b)と図3(c)に示す処理を実行し、再エンコードを続行する。
Finally, the
なお、視聴頻度として割合を用いたが、配信数の絶対数に応じてビットレートを増やす/減らす等でもよい。したがって、全体ビットレート値は予め決めておく必要はない。また、全体ビットレート量を大きいものから小さいものまで複数用意し、それぞれの全体ビットレート量で割り出された各タイル状領域のビットレートのセットをすべて保存しておけば、ユーザの回線品質が分かった時、遅い回線にはなるべくビットレートの低いセット、早い回線は早いセットを用いた配信が可能となる。 Although the ratio is used as the viewing frequency, the bit rate may be increased / decreased according to the absolute number of distributions. Therefore, it is not necessary to determine the overall bit rate value in advance. Also, if you prepare multiple bit rate amounts from large to small and save all the bit rate sets for each tiled area calculated by the total bit rate amount, the user's line quality will be improved. When it is understood, it is possible to deliver a set with a bit rate as low as possible for a slow line and a fast set for a fast line.
第1実施形態によれば、以下の効果を得ることができる。これまで画一的に行われてきた映像のタイル状領域のエンコードが、ユーザの視聴頻度に応じて、よく見た位置であればあるほど高ビットレートが割り当てられ、見なかった位置であればあるほどビットレートを抑えることができるため、ユーザの体感品質を保ちつつ映像全体のビットレートを節約する(減らす)ことができる。 According to the first embodiment, the following effects can be obtained. According to the user's viewing frequency, encoding of tiled areas of video that has been performed uniformly until now is assigned a higher bit rate as the position is often viewed, and if it is a position that has not been viewed Since the bit rate can be suppressed as much as possible, the bit rate of the entire video can be saved (reduced) while maintaining the user's quality of experience.
なお、ビットレートを節約するということは、映像配信時のネットワーク帯域の節約や、映像保存時の保存領域節約、映像エンコード時のエンコーダの計算機リソース節約、エンコード時間の節約できるといった効果がある。 Note that saving the bit rate has the effect of saving the network bandwidth at the time of video distribution, saving the storage area at the time of saving the video, saving the computer resources of the encoder at the time of video encoding, and saving the encoding time.
<第2実施形態>
次に、本発明の第2実施形態によるエンコード装置を説明する。図4は、第2実施形態による図1に示すエンコード装置の処理動作を示す図である。図4で例示している各タイル状領域に割り当てる最大のビットレート値、最低ビットレート値はあくまで例であり、これに限定されるものではない。
Second Embodiment
Next, an encoding apparatus according to a second embodiment of the present invention will be described. FIG. 4 is a diagram showing a processing operation of the encoding apparatus shown in FIG. 1 according to the second embodiment. The maximum bit rate value and the minimum bit rate value assigned to each tile area illustrated in FIG. 4 are merely examples, and the present invention is not limited thereto.
図4(a)では、任意の映像の1解像度1フレームをタイル状領域に区切って例示している。映像中に移っている人の顔については、openCV等を公知の技術を使い画像認識することが可能であり、事前に認識されているものとする。 In FIG. 4A, one frame of one resolution of an arbitrary video is illustrated as being divided into tiled areas. It is assumed that the face of a person moving in the video can be recognized using openCV or the like using a known technique and is recognized in advance.
図4(b)は、各タイル状領域中に顔画像が占める面積の割合(属性値)を示したものである。図4(c)は、顔面積割合に応じて各タイル状領域に割り当てるビットレートを「200kbps×割合」で計算したものである。なお、200kbpsは例である。表の数値はビットレート例であり単位はkbpsである。ただし最低ビットレートは10kbpsとした。 FIG. 4B shows the ratio (attribute value) of the area occupied by the face image in each tile area. FIG. 4C shows the bit rate assigned to each tiled area according to the face area ratio calculated by “200 kbps × ratio”. Note that 200 kbps is an example. The numerical values in the table are bit rate examples, and the unit is kbps. However, the minimum bit rate was 10 kbps.
最後に、映像圧縮部3は、図4(c)のようにビットレート決定部7において決定されたビットレートに従いエンコードする。
Finally, the
なお、顔画像の面積の割合を例として挙げたが、人物領域や特定のオブジェクトが占める領域の比、明るさの割合(タイル状領域の全ピクセルを最も明るいとしたときとタイル状領域の各ピクセルの明るさの和の比)、エッジ量の割合(タイル状領域の全ピクセルが全てエッジとしたときとタイル状領域の各ピクセルのエッジ量の和の比)、動きベクトル量の割合(タイル状領域の全ピクセルが所定の動きベクトル量を持つとしたときとタイル状領域の各ピクセルの動きベクトル量の和の比)、サリエンシの割合(タイル状領域の全ピクセルが全てサリエントであるとしたときとタイル状領域の各ピクセルのサリエンシの和の比)、色強度の割合(タイル状領域の全ピクセルが全て所定の色であるとしたときとタイル状領域の各ピクセルの所定の色強度の和の比)等でも構わない。 Although the ratio of the area of the face image was given as an example, the ratio of the area occupied by a person area or a specific object, the ratio of brightness (when all the pixels of the tile area are the brightest and each of the tile areas) Ratio of pixel brightness sum), ratio of edge amount (ratio of sum of edge amount of each pixel in tiled area when all pixels in tiled area are edges), ratio of motion vector amount (tile) The ratio of the sum of the motion vector amounts of each pixel in the tiled area) and the ratio of salientity (all the pixels in the tiled area are all salient) And the ratio of the sum of the saliency of each pixel in the tiled area) and the ratio of the color intensity (when all the pixels in the tiled area are of a predetermined color and each pixel in the tiled area) Of may even ratio), and the like of the sum of the color intensity.
また、第1実施形態に記載の視聴頻度の処理を併せて使ってもよい。すなわち、人気があって、かつ顔領域(例)を多く含めば含むほど高いビットレートを割り振ってもよい。また、全体ビットレート量を大きいものから小さいものまで複数用意し、それぞれの全体ビットレート量で割り出された各タイル状領域のビットレートのセットをすべて保存しておけば、ユーザの回線品質が分かった時、遅い回線にはなるべくビットレートの低いセット、早い回線は早いセットを用いた配信が可能となる。 The viewing frequency processing described in the first embodiment may be used together. That is, a higher bit rate may be allocated as it is popular and includes more face areas (examples). Also, if you prepare multiple bit rate amounts from large to small and save all the bit rate sets for each tiled area calculated by the total bit rate amount, the user's line quality will be improved. When it is understood, it is possible to deliver a set with a bit rate as low as possible for a slow line and a fast set for a fast line.
第2実施形態によれば、映像中のよく見られるであろう位置、つまり人物トラッキング等で被写体が映っている位置や映像解析によって求めたサリエントな領域を多く含む割合に応じてビットレート割り当てを変更することで、同じくユーザの体感品質を保ちつつ映像全体のビットレートを節約する(減らす)ことができる。 According to the second embodiment, bit rate allocation is performed according to a position that is often seen in an image, that is, a position where a subject is reflected by person tracking or the like and a ratio including many salient areas obtained by image analysis. By changing, it is possible to save (reduce) the bit rate of the entire video while maintaining the user's quality of experience.
なお、ビットレートを節約するということは、映像配信時のネットワーク帯域の節約や、映像保存時の保存領域節約、映像エンコード時のエンコーダの計算機リソース節約、エンコード時間の節約できるといった効果がある。 Note that saving the bit rate has the effect of saving the network bandwidth at the time of video distribution, saving the storage area at the time of saving the video, saving the computer resources of the encoder at the time of video encoding, and saving the encoding time.
<第3実施形態>
次に、本発明の第3実施形態によるエンコード装置を説明する。図5は、第3実施形態による図1に示すエンコード装置の処理動作を示す図である。図5(a)は、任意の映像の各タイル状領域における輝度値の平均を、1解像度1フレームをタイル状領域に区切って例示したものである。輝度の平均(ここでは256段階とする)は、openCV等の公知の技術を使い計算することができ、事前に計算されているものとする。
<Third Embodiment>
Next, an encoding apparatus according to a third embodiment of the present invention will be described. FIG. 5 is a diagram showing a processing operation of the encoding apparatus shown in FIG. 1 according to the third embodiment. FIG. 5A illustrates an average of luminance values in each tiled region of an arbitrary video by dividing one frame of one resolution into tiled regions. The average brightness (here, 256 levels) can be calculated using a known technique such as openCV, and is calculated in advance.
図5(b)は、映像の各タイル状領域の視聴頻度計測を毎時間(任意の1時間の視聴回数)行ったものである。下段の数値は対象となる1フレーム内における視聴割合を示すものである。この計測を全フレーム、全解像度について実施する。 FIG. 5B shows the measurement of the viewing frequency of each tiled area of the video every hour (the number of times of viewing for any one hour). The numerical value in the lower row indicates the viewing ratio within one frame as a target. This measurement is performed for all frames and all resolutions.
図5(c)に記載のような、輝度毎の視聴回数のデータベースを作成する。このデータベースは、ある輝度を持ったタイル状領域は過去にどのくらい見られていたかが分かる検出器に相当するものである。図5(c)のデータベースは複数の配信映像に対して一つ構成する。 A database of the number of times of viewing for each luminance as shown in FIG. This database corresponds to a detector that knows how many tiled areas having a certain luminance have been seen in the past. One database in FIG. 5C is configured for a plurality of distribution videos.
図5(d)の上段の数値は、新たな映像の任意の1解像度1フレームにおけるタイル状領域の輝度値(属性値)を算出したものである。下段の数値は全体で2000kbps とした場合における過去の輝度値から予測したビットレートであり、単位はkbps、最低ビットレートは10kbpsとしたものである。ビットレート決定部7は、各タイルに割り当てるビットレートを(2)式で算出する。
割り当てるビットレート=2000kbps×データベース上の各輝度における視聴割合 ・・・(2)
The numerical value in the upper part of FIG. 5D is a value obtained by calculating the luminance value (attribute value) of the tiled region in an arbitrary one resolution and one frame of a new video. The numerical values in the lower stage are bit rates predicted from past luminance values when the total is 2000 kbps, the unit is kbps, and the lowest bit rate is 10 kbps. The bit
Allocated bit rate = 2000 kbps × viewing ratio at each luminance on the database (2)
なお、今回示したのはある映像の1フレームのみであるが、実際にはデータベースは映像の全フレームの全タイル状領域にわたって算出された輝度値と視聴頻度を元に作られる。今回示す輝度値のような映像の特徴量はその大きさや最大・最小値は決まっていることが多い(たとえば256段階など)ため、その特徴量をあらかじめ決めた幅で区切る等しておけば、新たな映像の未知の輝度値を持ったタイル状領域も必ずどこかの幅に入るため、割り当てるビットレートを決めることが可能となる。 Although only one frame of a certain video is shown this time, the database is actually created based on the luminance value and the viewing frequency calculated over all tile regions of all the frames of the video. Since the feature value of the image such as the brightness value shown here is often determined in its size and maximum / minimum values (for example, 256 levels), if the feature value is divided by a predetermined width, Since the tiled area having an unknown luminance value of a new video always falls within some width, it is possible to determine the bit rate to be assigned.
新たな映像は初期値のビットレートは過去のデータベースを参照して決定されるが、初期値決定後は、各タイル状領域の視聴頻度に基づき、視聴回数をデータベースに登録されていくものとする。データベースを逐次更新しながら、新たな映像だけでなく、任意のタイミングで既存の映像に対しても、最新のデータベース情報を元にビットレート割り当てを変えてもよい。 The initial bit rate of a new video is determined with reference to a past database. After the initial value is determined, the number of times of viewing is registered in the database based on the viewing frequency of each tiled area. . While sequentially updating the database, the bit rate assignment may be changed based on the latest database information not only for new videos but also for existing videos at an arbitrary timing.
ここでは画像特徴として各タイル状領域内の輝度平均を用いたが、同じく画像特徴量であるサリエンシ値、エッジ量、動きベクトル量等、その指標は問わない。また、第2実施形態のような顔面積でも構わない。 Here, the average brightness in each tiled area is used as the image feature, but the index of the salientity value, the edge amount, the motion vector amount, etc., which are also the image feature amount, is not limited. Further, the face area as in the second embodiment may be used.
また、全体ビットレート量を大きいものから小さいものまで複数用意し、それぞれの全体ビットレート量で割り出された各タイル状領域のビットレートのセットをすべて保存しておけば、ユーザの回線品質が分かった時、遅い回線にはなるべくビットレートの低いセット、早い回線は早いセットを用いた配信が可能となる。ここで用いた全体ビットレート量、データベースの更新間隔、最低ビットレートはこの限りではない。 Also, if you prepare multiple bit rate amounts from large to small and save all the bit rate sets for each tiled area calculated by the total bit rate amount, the user's line quality will be improved. When it is understood, it is possible to deliver a set with a bit rate as low as possible for a slow line and a fast set for a fast line. The total bit rate amount, database update interval, and minimum bit rate used here are not limited to this.
第3実施形態によれば、各タイル状領域の映像内容と視聴頻度を蓄積し、どのような映像特徴があった場合はどのくらい視聴されているかといった学習サイクルを回し、データベースを構築することで、視聴頻度等の分からない新たな映像やよく見られる部分が持つ特徴が変わった場合に対しても効率的なビットレート割り当てが可能となる。また、全体ビットレート量の異なる複数セットのビットレートを持つタイル状領域を保持することで、どのような品質の回線においても、よく見られるタイル状領域は高いビットレート、あまり見られないタイル状領域は低いビットレートを提示でき、限られた帯域の中で効率の良いビットレート割り当てができる。 According to the third embodiment, by accumulating the video content and the viewing frequency of each tiled region, and by rotating the learning cycle such as how much the video feature is viewed and building the database, Efficient bit rate assignment is possible even when the characteristics of a new video or frequently seen part whose viewing frequency is unknown are changed. Also, by holding tiled areas with multiple sets of bitrates with different overall bitrates, the tiled areas that are commonly seen on any quality line are high bitrates, which are rarely seen A region can present a low bit rate, and can efficiently allocate a bit rate within a limited bandwidth.
<第4実施形態>
次に、本発明の第4実施形態によるエンコード装置を説明する。第1〜第3実施形態では、VOD(ビデオ・オン・デマンド)を適用した場合の説明であったが、テレビ会議のような複数人リアルタイムコミュニケーションにおいても、同様のことは実施可能である。
<Fourth embodiment>
Next, an encoding apparatus according to a fourth embodiment of the present invention will be described. In the first to third embodiments, the description has been made in the case where VOD (video on demand) is applied. However, the same can be implemented in real-time communication of multiple persons such as a video conference.
図6は、第1〜第3実施形態を組み合わせてWebRTCを活用したリアルタイム映像配信を実現したシステムの構成を示すブロック図である。図6において、サーバ21は、内部に映像特徴と視聴頻度のデータベースを持ち、各PC22,23、24に配布する。PC22、23、24は、撮影からデータベースに応じたエンコード・配信までを行う。ただし、各PC22、23、24に接続されたカメラ25、26、27からの映像をサーバ21において集約してエンコード・配信を行ってもよい。また、サーバ21とPC22、23、24とのコミュニケーションにおいてはWebRTC等の公知の技術を使用すればよい。
FIG. 6 is a block diagram illustrating a configuration of a system that realizes real-time video distribution using WebRTC by combining the first to third embodiments. In FIG. 6, the
なお、前述した説明においては隣り合う各タイル領域は重複領域(互いに重なり合う部分)を持たない例で説明したが、決められた量だけ重複領域を持っていてもよい。 In the above description, each tile area adjacent to the tile area has not been described as having an overlapping area (a portion overlapping each other). However, the tile area may have an overlapping area by a predetermined amount.
以上説明したように、映像のタイル状領域のエンコード時に、映像内容を無視した、または映像特徴のみを考慮するような非効率なビットレート割り当てを回避し、映像の内容(人が良く見るであろう位置)や実際の人の視聴頻度等に応じて、ビットレートを変えてエンコードすることで効率的なビットレート割り当てを行うようにした。 As described above, when encoding a tiled area of a video, the video content is ignored (or people often see it) by avoiding inefficient bit rate allocation that ignores video content or considers only video features. The bit rate is changed and the encoding is performed efficiently by changing the bit rate according to the listening position) and the actual viewing frequency of the person.
また、映像内容や視聴頻度を定期的にエンコーダにフィードバックし、定期的にエンコードをし直すことにより、ユーザの視聴傾向が変わる(人気の被写体が時期によって変わる等)ような場合にも、常に効率的なビットレート割り当てを動的に行うようにした。 Even when the user's viewing tendency changes (such as popular subjects change depending on the time) by periodically feeding back the video content and viewing frequency to the encoder and re-encoding it regularly, it is always efficient. Dynamic bit rate allocation was added.
また、各タイル状領域に映った映像内容(エッジの量やサリエンシ等の映像特徴)とエンコード結果(割り当てたビットレート)を記憶しておき、新たな(視聴頻度の分からない)映像をエンコードする際、過去のエンコード結果から割り当てるべきビットレートを自動的に決定するようにした。 In addition, the video content (video features such as the amount of edges and saliency) and the encoding result (assigned bit rate) stored in each tiled area are stored, and a new video (not sure of the viewing frequency) is encoded. At this time, the bit rate to be assigned is automatically determined from past encoding results.
この構成により、これまで画一的に行われてきた映像のタイル状領域のエンコードが、ユーザの視聴頻度に応じて、よく見た位置であればあるほど高ビットレートが割り当てられ、見なかった位置であればあるほどビットレートを抑えることができるため、ユーザの体感品質を保ちつつ映像全体のビットレートを節約する(減らす)ことができる。 With this configuration, encoding of tiled areas of video that has been performed uniformly until now is assigned a higher bit rate according to the user's viewing frequency, and the higher the bit rate is assigned, the more it was not seen. Since the bit rate can be suppressed as the position is increased, the bit rate of the entire video can be saved (reduced) while maintaining the user's quality of experience.
また、映像中のよく見られるであろう位置、つまり人物トラッキング等で被写体が映っている位置や映像解析によって求めたサリエント(salient、画像処理ではsaliency mapといった画像の顕著性マップからユーザに注目されそうな部分を明確化する手法がある)な領域を多く含む割合に応じてビットレート割り当てを変更することで、同じくユーザの体感品質を保ちつつ映像全体のビットレートを節約する(減らす)ことができる。 In addition, the position that is often seen in the video, that is, the position where the subject is shown by person tracking or the salient obtained by video analysis (salient, in the image processing, the salientity map) is attracting attention from the user. By changing the bit rate allocation according to the ratio that includes many areas (there is a method to clarify such a part), the bit rate of the entire video can be saved (reduced) while maintaining the user's quality of experience as well. it can.
また、各タイル状領域の映像内容とエンコード結果を蓄積し、どのような映像特徴があった場合はどのくらいのビットレートを割り当てるといった学習サイクルを回すことで、視聴頻度等の分からない新たな映像やよく見られる部分が持つ特徴が変わった場合に対しても効率的なビットレート割り当てが可能となる。 In addition, by accumulating the video contents and encoding results of each tiled area, and by rotating a learning cycle such as assigning what bit rate when there is any video feature, new video that does not know the viewing frequency etc. Efficient bit rate allocation is possible even when the characteristics of commonly seen parts change.
なお、ビットレートを節約するということは、映像配信時のネットワーク帯域の節約や、映像保存時の保存領域節約、映像エンコード時のエンコーダの計算機リソース節約、エンコード時間の節約できるといった効果がある。 Note that saving the bit rate has the effect of saving the network bandwidth at the time of video distribution, saving the storage area at the time of saving the video, saving the computer resources of the encoder at the time of video encoding, and saving the encoding time.
前述した実施形態におけるエンコード装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、PLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されるものであってもよい。 You may make it implement | achieve the encoding apparatus in embodiment mentioned above with a computer. In that case, a program for realizing this function may be recorded on a computer-readable recording medium, and the program recorded on this recording medium may be read into a computer system and executed. Here, the “computer system” includes an OS and hardware such as peripheral devices. The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Furthermore, the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line. In this case, a volatile memory inside a computer system serving as a server or a client in that case may be included and a program held for a certain period of time. Further, the program may be for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in the computer system. It may be realized using hardware such as PLD (Programmable Logic Device) or FPGA (Field Programmable Gate Array).
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。 As mentioned above, although embodiment of this invention has been described with reference to drawings, the said embodiment is only the illustration of this invention, and it is clear that this invention is not limited to the said embodiment. is there. Therefore, additions, omissions, substitutions, and other modifications of the components may be made without departing from the technical idea and scope of the present invention.
映像のタイル状領域のエンコード時に、映像内容に応じて効率的なビットレート割り当てを行うことが不可欠な用途に適用できる。 When encoding a tiled area of a video, it can be applied to an application in which it is indispensable to perform efficient bit rate allocation according to the video content.
1・・・映像撮影部、2・・・映像記憶部、3・・・映像圧縮部、4・・・圧縮映像記憶部、5・・・映像配信部、6・・・ビットレート記憶部、7・・・ビットレート決定部、8・・・ネットワーク、9・・・映像受信部、10・・・映像バッファ部、11・・・映像展開部、12・・・映像描画部、13・・・ユーザ入力部、14・・・映像要求部
DESCRIPTION OF
Claims (5)
前記映像をタイル状領域映像に分割するタイル分割ステップと、
前記タイル状領域映像をエンコードする第1のエンコードステップと、
エンコードされた前記タイル状領域映像をユーザの視聴要求に応じて配信した頻度である配信頻度を記憶する配信頻度記憶ステップと、
前記配信頻度を所定のビットレートに掛けることにより前記タイル状領域映像に対するビットレートを算出するビットレート算出ステップと、
算出した前記ビットレートに従い前記タイル状領域映像をエンコードし直す第2のエンコードステップと
を有することを特徴とするエンコード方法。 An encoding method for encoding video,
A tile dividing step of dividing the video into tiled area videos;
A first encoding step for encoding the tiled region image;
A distribution frequency storage step of storing a distribution frequency that is a frequency of distributing the encoded tiled region video according to a user's viewing request;
A bit rate calculating step of calculating a bit rate for the tiled region image by multiplying the distribution frequency by a predetermined bit rate;
And a second encoding step of re-encoding the tiled area video according to the calculated bit rate.
前記映像に関する所定の属性の値を算出する属性値算出ステップと、
前記映像をタイル状領域映像に分割するタイル分割ステップと、
前記タイル状領域映像に含まれる前記属性の値の割合を所定のビットレートに掛けて前記タイル状領域映像に対するビットレートを算出するビットレート算出ステップと、
算出した前記ビットレートに従い前記タイル状領域映像をエンコードするエンコードステップと
を有することを特徴とするエンコード方法。 An encoding method for encoding video,
An attribute value calculating step for calculating a value of a predetermined attribute relating to the video;
A tile dividing step of dividing the video into tiled area videos;
A bit rate calculating step of calculating a bit rate for the tiled region image by multiplying a predetermined bit rate by a ratio of the value of the attribute included in the tiled region image;
An encoding method comprising: an encoding step of encoding the tiled area image according to the calculated bit rate.
前記映像に関する所定の属性の値を算出する属性値算出ステップと、
前記映像をタイル状領域映像に分割するタイル分割ステップと、
前記タイル状領域映像をエンコードする第1のエンコードステップと、
エンコードされた前記タイル状領域映像をユーザの視聴要求に応じて配信した頻度である配信頻度を前記所定の属性の値ごとに記憶する配信頻度記憶ステップと、
前記所定の属性の値に対応する前記タイル状領域映像が配信された割合を算出する配信割合算出ステップと、
新たに入力された映像から前記タイル状領域映像を生成する際に、前記タイル状領域映像に割り当てるビットレートを、前記タイル状領域映像の属性の値に対応する配信割合を所定のビットレートに掛けて算出するビットレート算出ステップと、
算出した前記ビットレートに従い新たに入力された前記映像のタイル状領域映像をエンコードする第2のエンコードステップと
を有することを特徴とするエンコード方法。 An encoding method for encoding video,
An attribute value calculating step for calculating a value of a predetermined attribute relating to the video;
A tile dividing step of dividing the video into tiled area videos;
A first encoding step for encoding the tiled region image;
A distribution frequency storage step of storing, for each value of the predetermined attribute, a distribution frequency that is a frequency of distributing the encoded tiled region video according to a user's viewing request;
A distribution ratio calculating step for calculating a ratio at which the tiled area video corresponding to the value of the predetermined attribute is distributed;
When generating the tiled area image from the newly input image, the bit rate assigned to the tiled area image is multiplied by the distribution rate corresponding to the attribute value of the tiled area image. A bit rate calculation step to calculate
And a second encoding step for encoding the tiled area video of the video newly input according to the calculated bit rate.
前記第2のエンコードステップは、前記複数のビットレートごとに前記タイル状領域映像をエンコードすることを特徴とする請求項1から3のいずれか1項に記載のエンコード方法。 The bit rate calculating step includes a plurality of predetermined bit rates,
The encoding method according to any one of claims 1 to 3, wherein the second encoding step encodes the tiled region video for each of the plurality of bit rates.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014095871A JP6224516B2 (en) | 2014-05-07 | 2014-05-07 | Encoding method and encoding program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014095871A JP6224516B2 (en) | 2014-05-07 | 2014-05-07 | Encoding method and encoding program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015213277A true JP2015213277A (en) | 2015-11-26 |
JP6224516B2 JP6224516B2 (en) | 2017-11-01 |
Family
ID=54697314
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014095871A Active JP6224516B2 (en) | 2014-05-07 | 2014-05-07 | Encoding method and encoding program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6224516B2 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018128097A1 (en) * | 2017-01-06 | 2018-07-12 | ソニー株式会社 | Information processing device and information processing method |
JP2018160788A (en) * | 2017-03-22 | 2018-10-11 | 富士通株式会社 | Communication control program, communication control method, and communication control device |
JP2019022176A (en) * | 2017-07-21 | 2019-02-07 | Kddi株式会社 | Content distribution device, system, program and method for determining bit rate in accordance with user state and complexity |
WO2019159820A1 (en) * | 2018-02-14 | 2019-08-22 | シャープ株式会社 | Moving image encoding device and moving image decoding device |
JP2020043533A (en) * | 2018-09-13 | 2020-03-19 | 凸版印刷株式会社 | Video transmission system, video transmission device, and video transmission program |
JP2022518169A (en) * | 2019-01-09 | 2022-03-14 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | Video encoders, video decoders, and corresponding methods |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003111050A (en) * | 2001-09-27 | 2003-04-11 | Olympus Optical Co Ltd | Video distribution server and video reception client system |
JP2005094578A (en) * | 2003-09-19 | 2005-04-07 | Ricoh Co Ltd | Image server device, client device, moving image distribution method, program, and information recording medium |
JP2011217345A (en) * | 2010-03-18 | 2011-10-27 | Nippon Telegr & Teleph Corp <Ntt> | Video transmission method, video transmission apparatus, and program |
-
2014
- 2014-05-07 JP JP2014095871A patent/JP6224516B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003111050A (en) * | 2001-09-27 | 2003-04-11 | Olympus Optical Co Ltd | Video distribution server and video reception client system |
JP2005094578A (en) * | 2003-09-19 | 2005-04-07 | Ricoh Co Ltd | Image server device, client device, moving image distribution method, program, and information recording medium |
JP2011217345A (en) * | 2010-03-18 | 2011-10-27 | Nippon Telegr & Teleph Corp <Ntt> | Video transmission method, video transmission apparatus, and program |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018128097A1 (en) * | 2017-01-06 | 2018-07-12 | ソニー株式会社 | Information processing device and information processing method |
US10931985B2 (en) | 2017-01-06 | 2021-02-23 | Sony Corporation | Information processing apparatus and information processing method |
JP2018160788A (en) * | 2017-03-22 | 2018-10-11 | 富士通株式会社 | Communication control program, communication control method, and communication control device |
JP2019022176A (en) * | 2017-07-21 | 2019-02-07 | Kddi株式会社 | Content distribution device, system, program and method for determining bit rate in accordance with user state and complexity |
WO2019159820A1 (en) * | 2018-02-14 | 2019-08-22 | シャープ株式会社 | Moving image encoding device and moving image decoding device |
JP2020043533A (en) * | 2018-09-13 | 2020-03-19 | 凸版印刷株式会社 | Video transmission system, video transmission device, and video transmission program |
JP7256491B2 (en) | 2018-09-13 | 2023-04-12 | 凸版印刷株式会社 | VIDEO TRANSMISSION SYSTEM, VIDEO TRANSMISSION DEVICE, AND VIDEO TRANSMISSION PROGRAM |
JP7498459B2 (en) | 2018-09-13 | 2024-06-12 | Toppanホールディングス株式会社 | Video transmission system, video transmission device, and video transmission program |
JP2022518169A (en) * | 2019-01-09 | 2022-03-14 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | Video encoders, video decoders, and corresponding methods |
US11949893B2 (en) | 2019-01-09 | 2024-04-02 | Huawei Technologies Co., Ltd. | Sub-picture level indicator signaling in video coding |
JP7467480B2 (en) | 2019-01-09 | 2024-04-15 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | VIDEO ENCODER, VIDEO DECODER, AND CORRESPONDING METHODS - Patent application |
Also Published As
Publication number | Publication date |
---|---|
JP6224516B2 (en) | 2017-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230283653A1 (en) | Methods and apparatus to reduce latency for 360-degree viewport adaptive streaming | |
CN109417624B (en) | Apparatus and method for providing and displaying content | |
JP6224516B2 (en) | Encoding method and encoding program | |
US11303881B2 (en) | Method and client for playing back panoramic video | |
US10469820B2 (en) | Streaming volumetric video for six degrees of freedom virtual reality | |
US11395003B2 (en) | System and method for segmenting immersive video | |
US20160277772A1 (en) | Reduced bit rate immersive video | |
US10499066B2 (en) | Method and apparatus for improving efficiency of content delivery based on consumption data relative to spatial data | |
US20150208103A1 (en) | System and Method for Enabling User Control of Live Video Stream(s) | |
TW201730841A (en) | Image data processing system and associated methods for processing panorama images and image blending using the same | |
EP3777208B1 (en) | Digital media system | |
US11694316B2 (en) | Method and apparatus for determining experience quality of VR multimedia | |
US11159823B2 (en) | Multi-viewport transcoding for volumetric video streaming | |
US20200184709A1 (en) | Dynamic rendering of low frequency objects in a virtual reality system | |
US11641498B2 (en) | Method, systems and devices for providing adjusted video content according to viewing distance | |
US20240114176A1 (en) | Method, Apparatus and Computer Program Product Providing for Extended Margins Around a Viewport for Immersive Content | |
US20200204810A1 (en) | Adaptive bitrate algorithm with cross-user based viewport prediction for 360-degree video streaming | |
JP6140099B2 (en) | Encoding method, encoding apparatus, and encoding program | |
Shafiei et al. | Jiku live: a live zoomable video streaming system | |
WO2021018223A1 (en) | Video caching method and apparatus | |
KR102149004B1 (en) | Method and apparatus for generating multi channel images using mobile terminal | |
JP6688367B1 (en) | Video distribution device, terminal, video distribution system, video distribution method, and program | |
TWI634779B (en) | Viewing angle control system and method for playing surround image through set-top box |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160720 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170526 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171005 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6224516 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |