JP6677230B2 - Video encoding device, video decoding device, video system, video encoding method, and video encoding program - Google Patents
Video encoding device, video decoding device, video system, video encoding method, and video encoding program Download PDFInfo
- Publication number
- JP6677230B2 JP6677230B2 JP2017179959A JP2017179959A JP6677230B2 JP 6677230 B2 JP6677230 B2 JP 6677230B2 JP 2017179959 A JP2017179959 A JP 2017179959A JP 2017179959 A JP2017179959 A JP 2017179959A JP 6677230 B2 JP6677230 B2 JP 6677230B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- dynamic range
- sdr
- hdr
- sop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、映像の画面を分割してから圧縮する符号化方法に基づく映像符号化装置、映像復号装置、映像システム、映像符号化方法、及び映像符号化プログラムに関する。 The present invention relates to a video encoding device, a video decoding device, a video system, a video encoding method, and a video encoding program based on an encoding method of dividing a video screen and then compressing the divided video screen.
映像の高精細化の要請に応じて、水平方向1920×垂直方向1080(画素)のフルHD(High Definition )の映像コンテンツが供給されている。また、水平方向3840×垂直方向2160(画素)の高精細映像(以下、4Kという。)の試験放送や商用放送が開始されている。さらに、水平方向7680×垂直方向4320(画素)の高精細映像(以下、8Kという。)の商用放送が計画されている。 In response to a demand for higher definition of a video, a full HD (High Definition) video content of 1920 in the horizontal direction × 1080 (pixels) in the vertical direction is supplied. Also, test broadcasting and commercial broadcasting of high-definition video (hereinafter, referred to as 4K) of 3840 × 2160 (pixels) in the horizontal direction have been started. Further, commercial broadcasting of high-definition video (hereinafter referred to as 8K) of 7680 horizontal directions × 4320 (pixels) vertical direction is planned.
映像コンテンツの配信システムにおいて、一般に、伝送側では映像信号はH.264/AVC (Advanced Video Coding )規格やHEVC(High Efficiency Video Coding)規格に基づいて符号化され、受信側では復号処理を経て映像信号が再生されるが、8Kの場合には画素数が多いので、符号化処理及び復号処理における処理負荷が高くなる。 In a video content distribution system, in general, a video signal is encoded based on the H.264 / AVC (Advanced Video Coding) standard or HEVC (High Efficiency Video Coding) standard on the transmission side, and is decoded through a decoding process on the reception side. The signal is reproduced, but in the case of 8K, since the number of pixels is large, the processing load in the encoding process and the decoding process increases.
8Kの場合の処理負荷を低減するための方法として、例えば非特許文献1に記載されたスライスを用いた画面4分割符号化がある(図11参照)。図12に示すように、非特許文献1では、スライス境界付近のブロックにおいて、動き補償(MC)のための動きベクトルでは、画面4分割符号化が使用される場合、インター予測が行われるときに、スライスの垂直方向(縦方向)の成分が128画素以下であるという制約が設けられている。なお、スライス境界付近に属さないブロックに対して、スライス境界を跨ぐ垂直方向の動きベクトル範囲の制約(以下、動きベクトル制限という。)はない。
As a method for reducing the processing load in the case of 8K, for example, there is a screen quadruple coding using slices described in Non-Patent Document 1 (see FIG. 11). As shown in FIG. 12, in Non-Patent
また、4Kや8Kでは、標準ダイナミックレンジ方式(以下、SDR (Standard Dynamic Range)という。)の映像信号だけでなく、ARIB STD-B67規格のハイダイナミックレンジ方式(以下、HDR (High Dynamic Rang )という。)であるHybrid Log Gamma(以下、HLGという。)や、SMPTE ST.2084 規格のHDR であるPerceptual Quantizer(以下、PQという。) などの映像信号も扱うことが検討されている。ゆえに、SDR とHDR の切り替えも考慮する必要がある。 In 4K and 8K, not only standard dynamic range (SDR) video signals but also ARIB STD-B67 standard high dynamic range (HDR) video signals .), And the use of video signals such as the SMPTE ST.2084 HDR Perceptual Quantizer (hereinafter referred to as PQ). Therefore, switching between SDR and HDR also needs to be considered.
動きベクトル制限がある場合、画面中の物体や画面全体が縦方向に速く動くシーンを符号化するときに、スライス境界では最適な動きベクトルが選択できないことがある。その結果、局所的な画質劣化を発生させる可能性がある。劣化の程度は、速い動きのときにM値が大きいほど大きくなる。M値は、参照ピクチャの間隔である。なお、「最適な動きベクトル」は、映像符号化装置における画面間予測(インター予測)処理を行う予測器で選択された本来の(正規の)動きベクトルを意味する。 When there is a motion vector restriction, when encoding a scene in which an object on the screen or the entire screen moves fast in the vertical direction, an optimal motion vector may not be selected at a slice boundary. As a result, there is a possibility that local image quality degradation will occur. The degree of deterioration increases as the M value increases during fast movement. The M value is a reference picture interval. The “optimal motion vector” means an original (regular) motion vector selected by a predictor that performs an inter-screen prediction (inter prediction) process in the video encoding device.
図14に、M=4の場合とM=8の場合の参照ピクチャの間隔が例示されている。一般に、M値が小さい場合には、フレーム間距離が小さくなるので、動きベクトルの値は小さくなる傾向がある。しかし、特に定常的なシーンにおいて、時間方向階層が少なくなるため階層(レイヤ)に応じた符号量配分が制約されるため、符号化効率は低下する。一方、M値が大きい場合には、フレーム間距離が大きくなるので、動きベクトルの値は大きくなる傾向がある。しかし、特に定常的なシーンにおいて、時間方向階層が多くなるため階層(レイヤ)に応じた符号量配分の制約が緩和されるため、符号化効率は向上する。一例として、M値を8から4に変えると、動きベクトルの値は1/2になり、M値を4から8に変えると、動きベクトルの値は2倍になる。 FIG. 14 illustrates the intervals between reference pictures when M = 4 and M = 8. In general, when the M value is small, the distance between frames is small, so that the value of the motion vector tends to be small. However, particularly in a stationary scene, the number of layers in the time direction is reduced, so that the code amount distribution according to the layer (layer) is restricted, so that the coding efficiency is reduced. On the other hand, when the M value is large, the inter-frame distance increases, so that the value of the motion vector tends to increase. However, especially in a stationary scene, the number of hierarchical layers in the time direction increases, so that the restrictions on the distribution of code amounts according to the layers (layers) are relaxed, so that the coding efficiency is improved. As an example, when the M value is changed from 8 to 4, the value of the motion vector is reduced to 1/2, and when the M value is changed from 4 to 8, the value of the motion vector is doubled.
なお、非特許文献1においてSOP(Set of Pictures )という概念が導入されている。SOP は、時間方向階層符号化を行う場合に、各AU(Access Unit )の符号化順及び参照関係を記述する単位になる。時間方向階層符号化は、複数フレームの映像の中から、部分的にフレームを取り出せるようにする符号化である。
Note that Non-Patent
SOP構造は、L=0の構造、L=1の構造、L=2の構造及びL=3の構造を含む。図15に示すように、Lx(x=0,1,2,3)は、以下のような構造である。
・L=0の構造:Temporal ID が0のピクチャだけで構成されるSOP 構造(つまり、同SOPに含まれるピクチャの段数は1つである。最大Temporal ID を示すLが0であるともいえる。)
・L=1の構造:Temporal ID が0のピクチャおよび1のピクチャで構成されるSOP 構造(つまり、同SOP に含まれるピクチャの段数は2つである。最大Temporal ID を示すLが1であるともいえる。)
・L=2の構造:Temporal ID が0のピクチャ、1のピクチャ、および、2のピクチャで構成されるSOP 構造(つまり、同SOP に含まれるピクチャの段数は3つである。最大Temporal ID を示すLが2であるともいえる。)
・L=3の構造:Temporal ID が0のピクチャ、1のピクチャ、2のピクチャ、および3のピクチャで構成されるSOP 構造(つまり、同SOP に含まれるピクチャの段数は4つである。最大Temporal ID を示すLが3であるともいえる。)
The SOP structure includes a structure of L = 0, a structure of L = 1, a structure of L = 2, and a structure of L = 3. As shown in FIG. 15, Lx (x = 0, 1, 2, 3) has the following structure.
Structure of L = 0: SOP structure composed of only pictures having a Temporal ID of 0 (that is, the number of pictures included in the SOP is one. It can be said that L indicating the maximum Temporal ID is 0). )
L = 1 structure: SOP structure composed of a picture with a Temporal ID of 0 and a picture with a 1 (that is, the number of pictures included in the SOP is two. L indicating the maximum Temporal ID is 1) It can also be said.)
L = 2 structure: SOP structure composed of a picture with a Temporal ID of 0, one picture, and two pictures (that is, the number of pictures included in the SOP is three. The maximum Temporal ID is It can be said that L shown is 2.)
L = 3 structure: SOP structure composed of a picture with a Temporal ID of 0, one picture, two pictures, and three pictures (that is, the number of pictures included in the SOP is four. It can be said that L indicating Temporal ID is 3.)
本明細書の記載では、M=1はL=0の構造のSOP に対応し、M=2はN=1の場合のL=1の構造のSOP (図15参照)に対応し、M=3はN=2の場合のL=1の構造のSOP (図15参照)に対応し、M=4はL=2の構造のSOP に対応し、M=8はL=3の構造のSOP に対応する。 In the description of the present specification, M = 1 corresponds to the SOP having the structure of L = 0, M = 2 corresponds to the SOP having the structure of L = 1 when N = 1 (see FIG. 15), and M = 3 corresponds to the SOP having the structure of L = 1 when N = 2 (see FIG. 15), M = 4 corresponds to the SOP of the structure of L = 2, and M = 8 corresponds to the SOP of the structure of L = 3. Corresponding to
定常的なシーン(例えば、画面中の物体や画面全体が速く動かないシーン)については、上述したように参照ピクチャ間隔(M値)が大きいほど符号化効率がよい。よって、8Kなどの高精細映像を低レートで符号化するためには、映像符号化装置が基本的にM=8で動作することが好ましい。 For a stationary scene (for example, a scene in which an object in the screen or the entire screen does not move quickly), as described above, the larger the reference picture interval (M value), the higher the coding efficiency. Therefore, in order to encode a high-definition video such as 8K at a low rate, it is preferable that the video encoding apparatus basically operates at M = 8.
しかし、上述したように、M値を大きくすると動きベクトルの値が大きくなる傾向があるので、特に、画面中の物体や画面全体が縦方向に速く動くシーンにおいて、動きベクトル制限に起因して画質が劣化する。動きベクトル制限によって、スライス境界において、最適な動きベクトルを選択できない場合があるためである。 However, as described above, when the M value is increased, the value of the motion vector tends to increase. Therefore, especially in a scene in which an object on the screen or the entire screen moves quickly in the vertical direction, the image quality is reduced due to the motion vector restriction. Deteriorates. This is because an optimal motion vector cannot be selected at a slice boundary due to a motion vector restriction.
本発明は、映像の画面を分割してから圧縮する符号化方法であって、スライス境界付近において動きベクトルの選択の制約がある符号化方法を使用する場合に、画質劣化を抑制することを目的とする。加えて、上述したように4Kや8KではSDR とHDR の切り替えも考慮する必要があるため、本発明は、SDR とHDR の切り替えも考慮して、上記画質劣化を抑制することを目的とする。
An object of the present invention is to provide a coding method for compressing a video screen after dividing the screen, and to suppress image quality degradation when using a coding method in which a motion vector is restricted near slice boundaries. And In addition, since it is necessary to consider switching between SDR and HDR in 4K and 8K as described above, an object of the present invention is to suppress the above-described image quality degradation in consideration of switching between SDR and HDR.
本発明による映像符号化方法は、ダイナミックレンジに関する映像信号の情報を用い、複数のSOP構造を使用してビットストリームを生成する映像符号化方法であって、時間方向で、符号化対象の映像信号がSDRからHDRに切り替わる場合、または、HDRからSDRに切り替わる場合に、ダイナミックレンジを切り替えるためのダイナミックレンジに関する映像信号の情報を伝送可能にするために、切り替わり後の先頭のSOPのSOP構造をTemporal IDが0のピクチャだけで構成されるSOP構造に設定し、ダイナミックレンジに関する映像信号の情報を、SDRからHDRに切り替わったとき、または、HDRからSDRに切り替わったときに、ビットストリームにおけるtransfer characteristicsに設定することを特徴とする。 A video encoding method according to the present invention is a video encoding method for generating a bit stream using a plurality of SOP structures using information of a video signal regarding a dynamic range, and in a time direction, a video signal to be encoded. When switching from SDR to HDR, or when switching from HDR to SDR, the SOP structure of the first SOP after switching is Temporal to enable transmission of video signal information related to the dynamic range for switching the dynamic range. ID is set to SOP structure consisting of only pictures of 0, the information of the video signal relating to the dynamic range, when switching from SDR to HDR, or, when switching to the SDR from HDR, the transfer characteristics the in the bitstream It is characterized by setting.
本発明による映像符号化装置は、時間方向で、符号化対象の映像信号がSDRからHDRに切り替わる場合、または、HDRからSDRに切り替わる場合に、ダイナミックレンジを切り替えるためのダイナミックレンジに関する映像信号の情報を伝送可能にするために、切り替わり後の先頭のSOPのSOP構造をTemporal IDが0のピクチャだけで構成されるSOP構造に設定する符号化構造制御手段を備え、符号化構造制御手段は、ダイナミックレンジに関する映像信号の情報を、SDRからHDRに切り替わったとき、または、HDRからSDRに切り替わったときに、ビットストリームにおけるtransfer characteristicsに設定することを特徴とする。 Video encoding apparatus according to the present invention, in the time direction, when the video signal to be encoded switches from SDR to HDR, or when switching from HDR to SDR, video signal information about the dynamic range for switching the dynamic range In order to enable transmission, the coding structure control means for setting the SOP structure of the first SOP after the switching to an SOP structure composed of only pictures with a Temporal ID of 0 is provided. the information of the video signal relating to range, when switching from SDR to HDR, or, when switching to the SDR from HDR, and sets the transfer characteristics the in the bitstream.
本発明による映像符号化プログラムは、ダイナミックレンジに関する映像信号の情報を用い、複数のSOP構造を使用してビットストリームを生成する映像符号化装置におけるコンピュータに、時間方向で、符号化対象の映像信号がSDRからHDRに切り替わる場合、または、HDRからSDRに切り替わる場合に、ダイナミックレンジを切り替えるためのダイナミックレンジに関する映像信号の情報を伝送可能にするために、切り替わり後の先頭のSOPのSOP構造をTemporal IDが0のピクチャだけで構成されるSOP構造に設定する処理を実行させ、ダイナミックレンジに関する映像信号の情報を、SDRからHDRに切り替わったとき、または、HDRからSDRに切り替わったときに、ビットストリームにおけるtransfer characteristicsに設定させることを特徴とする。 A video encoding program according to the present invention uses a video signal information relating to a dynamic range, and in a time direction, a computer in a video encoding device that generates a bit stream using a plurality of SOP structures. When switching from SDR to HDR, or when switching from HDR to SDR, the SOP structure of the first SOP after switching is Temporal to enable transmission of video signal information related to the dynamic range for switching the dynamic range. ID to execute a process to set the SOP structure consisting of only pictures of 0, the information of the video signal relating to the dynamic range, when switching from SDR to HDR, or, when switching to the SDR from HDR, the bit stream It is characterized by having transfer characteristics set in
本発明による映像システムは、上記の映像符号化装置と、音声信号を符号化する音声符号化部と、映像符号化装置からのビットストリームと音声符号化部からのビットストリームとを多重化して出力する多重化部とを備える。
本発明による映像復号装置は、上記の映像符号化装置から伝送されるビットストリームを復号することを特徴とする。
A video system according to the present invention includes the above-described video encoding device, an audio encoding unit that encodes an audio signal, and multiplexes and outputs a bit stream from the video encoding device and a bit stream from the audio encoding unit. And a multiplexing unit.
A video decoding device according to the present invention decodes a bit stream transmitted from the video encoding device.
本発明によれば、SDR とHDR の切り替えに対応しつつ、画質劣化を抑制することができる。 Advantageous Effects of Invention According to the present invention, it is possible to suppress deterioration of image quality while supporting switching between SDR and HDR.
以下、本発明の実施形態を図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1は、映像符号化装置の実施形態の構成例を示すブロック図である。図1に示す映像符号化装置100は、符号化部101、解析部111、判定部112及びM値決定部113を含む。なお、映像符号化装置100は、HEVC規格に基づいて符号化処理を実行するが、他の規格、例えば、H.264/AVC規格に基づいて符号化処理を実行してもよい。また、以下、8Kの映像が入力される場合を例にする。
FIG. 1 is a block diagram illustrating a configuration example of an embodiment of a video encoding device. The
符号化部101は、入力画像を複数の画面に分割する画面分割器102、周波数変換/量子化器103、逆量子化/逆周波数変換器104,バッファ105、予測器106、及びエントロピー符号化器107を含む。
The
画面分割器102は、入力映像の画面を4つの画面に分割する(図11参照)。周波数変換/量子化器103は、入力映像信号から予測信号を減じた予測誤差画像を周波数変換する。周波数変換/量子化器103は、さらに、周波数変換された予測誤差画像(周波数変換係数)を量子化する。以下、量子化された周波数変換係数を変換量子化値という。
The
エントロピー符号化器107は、予測パラメータと変換量子化値をエントロピー符号化して、ビットストリームを出力する。予測パラメータは、予測モード(イントラ予測、インター予測)、イントラ予測ブロックサイズ、イントラ予測方向、インター予測ブロックサイズ、及び動きベクトルなど、CTU(Coding Tree Unit)及びブロックの予測に関連した情報である。
The
予測器106は、入力映像信号に対する予測信号を生成する。予測信号は、イントラ予測またはフレーム間予測に基づいて生成される。
The
逆量子化/逆周波数変換器104は、変換量子化値を逆量子化する。さらに、逆量子化/逆周波数変換器104は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、バッファ105に供給される。バッファ105は、再構築画像を格納する。
The inverse quantization /
解析部111は、符号化統計情報を解析する。判定部112は、上述した動きベクトル制限で、スライス境界付近で最適な動きベクトルを選択できるか否かを、解析部111の解析結果に基づいて判定する。なお、符号化統計情報は、過去のフレーム(例えば、現在の符号化対象のフレームの直前のフレーム)の符号化結果の情報であるが、符号化統計情報の具体例については後述する。
The
なお、スライス境界付近は、最適な動きベクトルを選択できなかった領域になるが、以下の制御を実現する際に、便宜的に、例えば、スライス境界から±128画素の範囲や±256画素の範囲を、スライス境界付近としてもよい。また、以下の制御を実現する際に、「スライス境界付近」の範囲を、映像の状況(動きが大きい/小さいなど)に応じて、適宜変更可能であるようにしてもよい。例えば、値が大きい動きベクトルの発生比率が高い場合に、「スライス境界付近」の範囲を広く設定するようにしてもよい。 Note that the vicinity of the slice boundary is an area where an optimal motion vector cannot be selected. However, when the following control is realized, for example, a range of ± 128 pixels or a range of ± 256 pixels from the slice boundary is used for convenience. May be set near the slice boundary. Further, when implementing the following control, the range of “near the slice boundary” may be changed as appropriate according to the state of the video (movement is large / small). For example, when the occurrence ratio of a motion vector having a large value is high, the range of “near a slice boundary” may be set wider.
M値決定部113は、判定部112の判定結果に基づいて、M値を適応的に決定する。なお、上述したように、M値を決定することは、SOP構造におけるLx(x=0,1,2,3)構造を決定することと等価である。また、符号化統計情報については、後述する。
The M
図2は、映像復号装置の実施形態の構成例を示すブロック図である。図2に示す映像復号装置200は、エントロピー復号器202、逆量子化/逆周波数変換器203、予測器204、及びバッファ205を含む。
FIG. 2 is a block diagram illustrating a configuration example of an embodiment of a video decoding device. The
エントロピー復号器202は、映像のビットストリームをエントロピー復号する。エントロピー復号器202は、エントロピー復号した変換量子化値を逆量子化/逆周波数変換器203に供給する。
The
逆量子化/逆周波数変換器203は、量子化ステップ幅で、輝度及び色差の変換量子化値を逆量子化して周波数変換係数を得る。さらに、逆量子化/逆周波数変換器203は、逆量子化した周波数変換係数を逆周波数変換する。
The inverse quantization /
逆周波数変換後、予測器204は、バッファ205に格納された再構築ピクチャの画像を用いて予測信号を生成する(前記予測は、動き補償予測、または、MC参照とも呼ぶ)。逆量子化/逆周波数変換器203で逆周波数変換された再構築予測誤差画像は、予測器204から供給される予測信号が加えられて、再構築ピクチャとしてバッファ205に供給される。そして、バッファ205に格納された再構築ピクチャが復号映像として出力される。
After the inverse frequency conversion, the
次に、映像符号化装置100における解析部111、判定部112及びM値決定部113の動作を説明する。
Next, operations of the
実施形態1.
図3は、図1に示された映像符号化装置100の第1の実施形態の動作を示すフローチャートである。第1の実施形態では、8Kの映像は4分割され(図11参照)、スライス境界付近において動きベクトル制限があるとする。また、動きベクトル制限として、±128を例にする。8Kの映像は4分割され、かつ、動きベクトル制限があることは、他の実施形態でも同様である。なお、M値の初期値は8(M=8)である。
FIG. 3 is a flowchart showing the operation of the
解析部111は、バッファ105に格納されている過去の符号化結果(例えば、直前フレームの符号化結果)を解析する。具体的には、解析部111は、スライス境界以外のブロックにおける動きベクトルの平均値又は中央値(以下、平均値又は中央値をMavgとする。)を算出する(ステップS101)。なお、第1の実施形態では、符号化統計情報は、動きベクトルの値であり、解析結果は、動きベクトルの平均値又は中央値である。
The
判定部112は、Mavgが、動きベクトル制限としての±128を基準として、どの程度の大きさになっているかを判定する(ステップS102)。
The
そして、M値決定部113は、Mavgがどの程度の大きさになっているかの判定結果に基づいて、M値を決定する(ステップS103)。
Then, the M
M値決定部113は、判定結果に基づいて、例えば、以下のようにM値を決定する。
The M
(1)M=8である場合:
|Mavg|≦128 → M=8を維持
128<|Mavg|≦256 → M=4(M=8の1/2)に決定
256<|Mavg|≦512 → M=2(M=8の1/4)に決定
512<|Mavg| → M=1(M=8の1/8)に決定
(1) When M = 8:
| M avg | ≦ 128 → Maintain M = 8 128 <| M avg | ≦ 256 → M = 4 (1/2 of M = 8) determined 256 <| M avg | ≦ 512 → M = 2 (M = 2 8 1/4) 512 <| M avg | → M = 1 (M = (of 8)
(2)M=4である場合:
|Mavg|≦64 → M=8に決定
64<|Mavg|≦128 → M=4を維持
128<|Mavg|≦256 → M=2に決定
256<|Mavg| → M=1に決定
(2) When M = 4:
| M avg | ≦ 64 → M = 8 determined 64 <| M avg | ≦ 128 → M = 4 maintained 128 <| M avg | ≦ 256 → determined M = 2 256 <| M avg | → M = 1 Decided on
M値決定部113は、M値がその他の値であるときにも、上記の(1),(2)の場合と同様に、M値を8にしたときに、動きベクトル制限の下で、スライス境界付近での動きベクトルの値が±128以内に収まると推定できたときには、M値を8に戻す。換言すれば、M値決定部113は、動きベクトル制限の下で、スライス境界付近で最適な動きベクトルを選択できると推定できた場合には、M値を8に戻す。その他の場合にも、Mavgに応じて、スライス境界付近での動きベクトルの値が±128以内に収まるようにM値を決定する。
When the M value is set to 8, even when the M value is any other value, the M
なお、上記の場合分け(閾値の設定)は一例であって、閾値を変えたり、より細かな場合分けをしてもよい。 Note that the above case classification (threshold setting) is merely an example, and the threshold may be changed or finer case classification may be performed.
第1の実施形態の映像符号化装置の制御は、以下のような考え方に基づく。 The control of the video encoding device according to the first embodiment is based on the following concept.
映像が、画面全体が速く動くシーンの映像であるときには、発生した全ての動きベクトルに対して、スライス境界付近でもスライス境界付近以外でも、値が大きい動きベクトルの数の比率が高い。しかし、動きベクトル制限があるので、スライス境界付近では、最適な動きベクトルが選択されていない可能性がある。そこで、判定部112は、スライス境界以外の領域において発生した符号化統計情報としての動きベクトル(動きベクトル制限はないので、正規の、換言すれば最適な動きベクトルである。)に基づいて、符号化対象の画面が速く動くシーンの映像の画面であるか否かを推定する。M値決定部113は、速く動くシーンの映像であると判定部112が推定した場合には、スライス境界付近において最適な動きベクトルを選択可能になるようにM値を変える。
When the video is a video of a scene in which the entire screen moves fast, the ratio of the number of motion vectors having a large value to all the generated motion vectors is high near the slice boundary and other than near the slice boundary. However, since there is a motion vector restriction, an optimal motion vector may not be selected near the slice boundary. Therefore, the
なお、速く動くシーンの映像である場合には、スライス境界付近において最適な動きベクトルが選択されていない可能性があるので、速く動くシーンの映像であると推定されたことは、動きベクトル制限の下で、スライス境界付近において最適な動きベクトルが選択されていないと推定されたことと等価である。 In the case of a video of a fast-moving scene, the optimal motion vector may not be selected near the slice boundary. This is equivalent to the assumption that an optimal motion vector has not been selected near the slice boundary.
また、上述したように、M値とSOP構造とは相関している。よって、M値決定部113がM値を決定することは、SOP構造(すなわち、Lx(x=0,1,2,3)構造)を決定することと等価である。
Further, as described above, the M value and the SOP structure are correlated. Therefore, determining the M value by the M
実施形態2.
図4は、図1に示された映像符号化装置100の第2の実施形態の動作を示すフローチャートである。
FIG. 4 is a flowchart showing the operation of the
解析部111は、バッファ105に格納されている過去の符号化結果(例えば、直前フレームの符号化結果)を解析する。具体的には、解析部111は、スライス境界以外の範囲における全てのブロック(例えば、PU:Prediction Unit )に対して、画面内予測(イントラ予測)が用いられたブロックの割合P1を算出し(ステップS201)、スライス境界付近の全てのブロックに対して、画面内予測が用いられたブロックの割合P2を算出する(ステップS202)。なお、第2の実施形態では、符号化統計情報は、スライス境界付近のブロックの予測モード(具体的には、画面内予測のブロックの数)であり、解析結果は、割合P1及び割合P2である。
The
判定部112は、割合P1と割合P2とを比較し、それらの乖離の程度を判定する。具体的には、割合P1と比較して、割合P2がかなり大きいか否かを判定する。判定部112は、例えば、割合P2と割合P1との差が所定値を越えているか否か判定する(ステップS203)。
M値決定部113は、割合P2と割合P1との差が所定値を越えている場合には、M値を小さくする(ステップS204)。なお、複数の所定値を設け、例えば、差が第1の所定値を越えているときにはM値を複数段階小さくし、差が第2の所定値(<第1の所定値)を越えているときにはM値を1段階小さくするようにしてもよい。
M
また、M値決定部113は、割合P2と割合P1との差が所定値以下である場合には、M値を維持するか、又は、M値を大きくする(ステップS205)。例えば、M値決定部113は、差が第3の所定値(<第2の所定値)以下であるときにはM値を大きくし、差が第3の所定値を越えているときにはM値を維持する。
Further, M
第2の実施形態の映像符号化装置の制御は、以下のような考え方に基づく。 The control of the video encoding device according to the second embodiment is based on the following concept.
符号化部101は、画面内の各ブロックを符号化する際に、予測モードとして画面内予測と画面間予測(インター予測)とのいずれかを使用できる。映像が、画面全体が速く動くシーンの映像であるときには、スライス境界付近においても、画面間予測が使用されるときに値が大きい動きベクトルの数の発生率が高いと考えられる(動きベクトル制限がない場合)。動きベクトル制限があるので、スライス境界付近では、最適な動きベクトル(大きな動きベクトル)を発生することができず、その結果、スライス境界付近では、画面内予測が使用されることが多いと考えられる。スライス境界付近以外では、動きベクトル制限はないので、スライス境界付近に比べて、画面内予測が使用されることは少ないと考えられる。
When coding each block in a screen, the
よって、割合P1と割合P2とが大きく乖離している場合には、速く動くシーンの映像の信号が符号化部101に入力されていると推定される。
Therefore, if the ratio P 1 and the ratio P 2 are greatly different, the signal of the video of fast moving scenes are estimated to be input to the
なお、速く動くシーンの映像である場合には、スライス境界付近において最適な動きベクトルが選択されていない可能性があるので、速く動くシーンの映像であると推定されたことは、動きベクトル制限の下で、割合P1と割合P2とが大きく乖離していることと等価である。 In the case of a video of a fast-moving scene, the optimal motion vector may not be selected near the slice boundary. below, it is equivalent to the ratio P 1 and the ratio P 2 are largely different.
大きく乖離しているか否か判定するための所定値として、一例として、経験的又は実験的に、そのような値を閾値として使用すれば、スライス境界付近において最適な動きベクトルが選択されていない可能性があることを推定可能な値が選択される。 As a predetermined value for determining whether there is a large deviation, for example, empirically or experimentally, if such a value is used as a threshold, an optimal motion vector may not be selected near a slice boundary. A value that can be estimated to have a possibility is selected.
実施形態3.
図5は、図1に示された映像符号化装置100の第3の実施形態の動作を示すフローチャートである。
FIG. 5 is a flowchart showing the operation of the
解析部111は、バッファ105に格納されている過去の符号化結果(例えば、直前フレームの符号化結果)を解析する。具体的には、解析部111は、以前のフレーム(例えば、現在の符号化対象のフレームの2フレーム前)のスライス境界付近のブロックにおける発生符号量C1を算出する(ステップS301)。また、解析部111は、直前のフレームのスライス境界付近のブロックにおける発生符号量C2を算出する(ステップS302)。なお、第3の実施形態では、符号化統計情報は、スライス境界付近のブロックの発生符号量であり、解析結果は、発生符号量C1及び発生符号量C2である。
The
判定部112は、発生符号量C1と発生符号量C2とを比較し、それらの乖離の程度を判定する。具体的には、発生符号量C1と比較して、発生符号量C2がかなり大きいか否かを判定する。判定部112は、例えば、発生符号量C2と発生符号量C1との差が所定量を越えているか否か判定する(ステップS303)。
M値決定部113は、発生符号量C2と発生符号量C1との差が所定量を越えている場合には、M値を小さくする(ステップS304)。なお、複数の所定量を設け、例えば、差が第1の所定量を越えているときにはM値を複数段階小さくし、差が第2の所定量(<第1の所定量)を越えているときにはM値を1段階小さくするようにしてもよい。
M
また、M値決定部113は、発生符号量C2と発生符号量C1との差が所定量以下である場合には、M値を維持するか、又は、M値を大きくする(ステップS305)。例えば、M値決定部113は、差が第3の所定量(<第2の所定量)以下であるときにはM値を大きくし、差が第3の所定量を越えているときにはM値を維持する。
Further, M
第3の実施形態の映像符号化装置の制御は、以下のような考え方に基づく。 The control of the video encoding device according to the third embodiment is based on the following concept.
上述したように、画面全体が速く動くシーンの映像であるときには、スライス境界付近においても、画面間予測が使用されるときに値が大きい動きベクトルの数の比率が高いと考えられる(動きベクトル制限がない場合)。しかし、動きベクトル制限があるので、スライス境界付近では、最適な動きベクトル(大きな動きベクトル)を発生することができず、その結果、スライス境界付近では、画面内予測が使用されることが多いと考えられる。一般に、画面間予測が使用されるときに比べて、画面内予測が使用されるときには、発生符号量は多くなる。 As described above, when a video of a scene in which the entire screen moves fast, it is considered that the ratio of the number of motion vectors having a large value when the inter-screen prediction is used is high even near the slice boundary (motion vector restriction). If not). However, since there is a motion vector restriction, an optimal motion vector (large motion vector) cannot be generated near a slice boundary, and as a result, intra prediction is often used near a slice boundary. Conceivable. In general, the generated code amount is larger when intra-picture prediction is used than when inter-picture prediction is used.
よって、発生符号量C1と比較して、発生符号量C2がかなり多い場合には、速く動くシーンの映像の信号が符号化部101に入力される状況に変化したと推定される。
Therefore, as compared with the amount of generated codes C 1, when the generated code amount C 2 is quite large, the signal of the video of fast moving scenes are estimated to have changed the situation that is input to the
なお、速く動くシーンの映像になった場合には、スライス境界付近において最適な動きベクトルが選択されない可能性があるので、速く動くシーンの映像になったと推定されたことは、動きベクトル制限の下で、発生符号量C2が大きく増えたことと等価である。 In the case of a video of a fast-moving scene, the optimal motion vector may not be selected near the slice boundary. in is equivalent to the generated code amount C 2 increases greatly.
大きく増えたか否か判定するための所定量として、一例として、経験的又は実験的に、そのような量を閾値として使用すれば、スライス境界付近において最適な動きベクトルが選択されない可能性があることを推定可能な値が選択される。 As a predetermined amount for determining whether or not a large increase has occurred, for example, empirically or experimentally, if such an amount is used as a threshold, an optimal motion vector may not be selected near a slice boundary. Is selected.
以上に説明したように、上記の各実施形態では、過去の符号化結果(符号化統計情報)に基づいてM値が適応的に切替えられる。符号化統計情報に基づいて動きベクトル制限の下で、スライス境界付近で最適な動きベクトル(換言すれば、動きベクトル制限を外れる動きベクトル)を選択できるか否かが推定される。選択できないと推定され場合には、M値はより小さな値に変更される。選択できると判定された場合、そのときのM値でも動きベクトル制限の下でスライス境界付近で最適な動きベクトルを選択できると考えられるので、M値は、維持されるか、又は、より大きな値に変更される。 As described above, in each of the above embodiments, the M value is adaptively switched based on the past encoding result (encoding statistical information). Based on the coding statistical information, it is estimated whether or not an optimum motion vector (in other words, a motion vector that does not exceed the motion vector limit) can be selected near the slice boundary under the motion vector limit. If it is estimated that it cannot be selected, the M value is changed to a smaller value. If it is determined that the motion vector can be selected, the M value at that time is considered to be able to select the optimal motion vector near the slice boundary under the motion vector restriction, so the M value is maintained or is set to a larger value. Is changed to
その結果、動きベクトル制限によってスライス境界付近で最適な動きベクトルを選択できない状態になることをでるだけ回避でき、局所的な画質劣化が生ずる可能性を低減できる。すなわち、動きの速さに応じてM値が適応的に切替えられるので、好適な画質を得ることができる。 As a result, it is possible to avoid a state where an optimum motion vector cannot be selected in the vicinity of a slice boundary due to the motion vector restriction as much as possible, and it is possible to reduce the possibility that local image quality degradation occurs. That is, since the M value is adaptively switched in accordance with the speed of the movement, a suitable image quality can be obtained.
また、符号化結果(例えば、直前のフレームの符号化結果)に基づいてM値を切り替えることができるので、事前解析(現在のフレームを符号化する際に前処理として実行される解析処理)を行う必要がなく、事前解析を行う場合と比較して、符号化のための処理時間が延びてしまうことが防止される。 In addition, since the M value can be switched based on the encoding result (for example, the encoding result of the immediately preceding frame), the pre-analysis (analysis processing executed as pre-processing when encoding the current frame) can be performed. This need not be performed, and the processing time for encoding is prevented from being extended as compared with the case of performing pre-analysis.
なお、映像符号化装置100において、第1〜第3の実施形態のうちの任意の2つ又は全ての形態が組み込まれるように、解析部111、判定部112及びM値決定部113が構成されていてもよい。
Note that, in the
さらに、映像符号化装置100において、M値決定部113は外部から設定されるSDR とHDR の切り替え情報も用いて符号化構造を決定し、さらに、エントロピー符号化器107がSDR とHDR の切り替え情報を映像復号装置側に伝送してもよい。
Further, in the
具体的には、M値決定部113は、外部から設定されるSDR とHDR の切り替えの位置(時間位置)で符号化シーケンス(CVS )を終端できるように、M値を制御する。
More specifically, the M
説明の簡単のため、現在の時間位置のフレームから切り替え時間位置のフレームまでのフレーム数をfNumSwitch、仮決定したM値をMとする。 For simplicity of description, the number of frames from the frame at the current time position to the frame at the switching time position is fNumSwitch, and the temporarily determined M value is M.
fNumSwitchが1以上で、かつ、MがfNumSwitchよりも大きな時、M値決定部113は、MをfNumSwitch以下の値に更新する。
When fNumSwitch is 1 or more and M is larger than fNumSwitch, the M
その他の場合で、fNumSwitchが0の時、M値決定部は、過去に符号化したフレームでCVS が終端されるように、Mを1とする。つまり、映像符号化装置は、現在のフレームをIDR ピクチャとして圧縮することになる。さらに、エントロピー符号化器107は、SDR とHDR の切り替え情報を映像復号装置側に伝送するために、IDR ピクチャのSPS のVUI のtransfer_characteristicsシンタクスに、切り替わったSDR またはHDR の情報を設定する。例えば、HLG のHDR に切り替わった場合transfer_characteristicsシンタクスに18を設定し、PQのHDR に切り替わった場合transfer_characteristicsシンタクスに16を設定し、Rec. ITU-R BT.2020のSDR に切り替わった場合transfer_characteristicsシンタクスに14を設定し、IEC 61966-2-4 のSDR に切り替わった場合transfer_characteristicsシンタクスに11を設定し、Rec. ITU-R BT.709 のSDR に切り替わった場合transfer_characteristicsシンタクスに1 を設定する。なお、このとき、エントロピー符号化器107は、IDR ピクチャのビットストリームよりも前に、EOS のビットストリームを出力してもよい。
In other cases, when fNumSwitch is 0, the M value determination unit sets M to 1 so that CVS is terminated in a previously encoded frame. That is, the video encoding device compresses the current frame as an IDR picture. Furthermore, the
その他の場合、M値決定部113は、Mをそのまま出力する。
In other cases, the M
なお、上述したSDR やHDR に対応するtransfer_characteristicsシンタクスの値と特性の関係は以下の表の通りである。 The relationship between the value of the transfer_characteristics syntax corresponding to the above-mentioned SDR and HDR and the characteristics is as shown in the following table.
また、図2に示された映像復号装置は、第1〜第3の実施形態において例示されたような、動きベクトル制限を満たす範囲で設定されたM値を用いて符号化されたビットストリームを復号する。 The video decoding device illustrated in FIG. 2 converts a bit stream encoded using an M value set within a range that satisfies a motion vector restriction as illustrated in the first to third embodiments. Decrypt.
さらに、図2に示された映像復号装置は、ビットストリームの復号によって、映像符号化装置側から伝送されたSDR とHDR の切り替え情報を受信することもできる。 Further, the video decoding device shown in FIG. 2 can also receive the switching information between SDR and HDR transmitted from the video encoding device side by decoding the bit stream.
具体的には、映像復号装置のエントロピー復号器202は、SPSのVUIのtransfer_characteristicsシンタクスの値を復号することでSDR とHDR の切り替え情報を受信できる。例えば、transfer_characteristicsシンタクスが18の場合HLG のHDR への切り替わりを受信し、transfer_characteristicsシンタクスが16の場合PQのHDR への切り替わりを受信し、transfer_characteristicsシンタクスが14の場合Rec. ITU-R BT.2020のSDR への切り替わりを受信し、transfer_characteristicsシンタクスが11の場合IEC 61966-2-4 のSDR への切り替わりを受信し、transfer_characteristicsシンタクスが1 の場合Rec. ITU-R BT.709 への切り替わりを受信できる。ここで、SDR とHDR の切り替えは、M=1で符号化されたIDR ピクチャのSPS の復号だけで受信(検出)されることはいうまでもない。また、IDR ビットストリームの前にはEOS のビットストリームが受信(検出)されていてもよいことはいうまでもない。
Specifically, the
上記の映像復号装置を利用した受信端末は、SDR とHDR の切り替え情報を知ることができ、映像信号の特性に応じた映像表示を調整できる。つまり、SDR とHDR の切り替え表示に対応しつつ、画質劣化が抑制された映像表示ができる。 A receiving terminal using the above-described video decoding device can know switching information between SDR and HDR, and can adjust video display according to characteristics of a video signal. In other words, it is possible to display an image in which image quality deterioration is suppressed while supporting switching display between SDR and HDR.
図6は、映像システムの一例を示すブロック図である。図6に示す映像システムは、上記の各実施形態の映像符号化装置100と図2に示された映像復号装置200とが、無線伝送路又は有線伝送路300で接続されるシステムである。映像符号化装置100は、上記の第1〜第3の実施形態のいずれかの映像符号化装置100であるが、映像符号化装置100において、第1〜第3の実施形態のうちの任意の2つ又は全ての処理を実行するように、解析部111、判定部112及びM値決定部113が構成されていてもよい。
FIG. 6 is a block diagram illustrating an example of a video system. The video system shown in FIG. 6 is a system in which the
なお、上記の例では、SDR とHDR の切り替え情報を映像復号側に伝送する伝送手段は、エントロピー符号化器107で実現される。また、符号化された映像と映像符号化側から伝送されたSDR とHDR の切り替え情報を復号する復号手段は、エントロピー復号器202で実現される。しかし、エントロピー符号化を行うエントロピー符号化器が、エントロピー符号化器による符号化データとSDR とHDR の切り替え情報とを多重化する多重化器とは分離して構成され、エントロピー復号を行うエントロピー復号器が、多重化ビットストリームからSDR とHDR の切り替え情報と映像とを分離する多重化解除器とは分離して構成されている場合には、映像システムを、多重化器を含まない部分で構成される映像符号化装置と、多重化解除器を含まない部分で構成される映像復号装置とで構成されるシステムとしてもよい。
In the above example, the transmission means for transmitting the switching information between SDR and HDR to the video decoding side is realized by the
図7は、映像システムの他の例を示すブロック図である。図7に示す映像システムは、音声符号化部401、映像符号化部402及び多重化部403を含む。
FIG. 7 is a block diagram showing another example of the video system. The video system shown in FIG. 7 includes an
音声符号化部401は、映像と音声とを含むデータ(コンテンツ)のうちの音声信号を、例えばARIB STD-B32規格で規定されるMPEG-4 AAC(Advanced Audio Coding) 規格やMPEG-4 ALS 規格(Audio Lossless Coding) に基づいて符号化することによって音声ビットストリームを作成して出力する。
The
映像符号化部402は、例えば、図1に示すように構成され、映像ビットストリームを作成して出力する。
The
多重化部403は、例えばARIB STD-B32規格に基づいて、音声ビットストリーム、映像ビットストリーム及びその他の情報を多重化することによって音声ビットストリームを作成して出力する。 The multiplexing unit 403 creates and outputs an audio bit stream by multiplexing an audio bit stream, a video bit stream, and other information based on, for example, the ARIB STD-B32 standard.
また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。 Further, each of the above embodiments can be configured by hardware, but can also be realized by a computer program.
図8に示す情報処理システムは、プロセッサ1001、プログラムメモリ1002、映像データを格納するための記憶媒体1003およびビットストリームを格納するための記憶媒体1004を備える。記憶媒体1003と記憶媒体1004とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
The information processing system shown in FIG. 8 includes a
図8に示された情報処理システムにおいて、プログラムメモリ1002には、図1,図2のそれぞれに示された各ブロック(バッファのブロックを除く)の機能を実現するためのプログラム(映像符号化プログラム又は映像復号プログラム)が格納される。そして、プロセッサ1001は、プログラムメモリ1002に格納されているプログラムに従って処理を実行することによって、図1,図2のそれぞれに示された映像符号化装置または映像復号装置の機能を実現する。
In the information processing system shown in FIG. 8, a program (a video encoding program) for realizing the function of each block (excluding the buffer block) shown in each of FIGS. Or a video decoding program). Then, the
図9は、映像符号化装置の主要部を示すブロック図である。図9に示すように、映像符号化装置10は、符号化統計情報を解析する解析部11(実施形態における解析部111に相当)と、解析部11の解析結果に基づいて、スライス境界付近で最適な動きベクトルを選択できるか否かを推定する推定部12(実施形態では、判定部112で実現される。)と、推定部12の推定結果およびSDR とHDR の切り替え情報に基づいて、符号化構造を、Temporal ID が0のピクチャだけで構成されるSOP 構造、Temporal ID が0のピクチャおよび1のピクチャで構成されるSOP 構造、Temporal ID が0のピクチャ、1のピクチャ、および2のピクチャで構成されるSOP 構造、Temporal ID が0のピクチャ、1のピクチャ、2のピクチャおよび3のピクチャで構成されるSOP 構造のいずれかに適応的に決定する符号化構造決定部13(実施形態では、M値決定部113で実現される。)と、SDR とHDR の切り替え情報を映像復号側に伝送する伝送手段14(実施形態では、エントロピー符号化器107で実現される。)とを備える。
FIG. 9 is a block diagram illustrating a main part of the video encoding device. As illustrated in FIG. 9, the
図10は、映像復号装置の主要部を示すブロック図である。図10に示すように、映像復号装置20は、Temporal ID が0のピクチャだけで構成されるSOP 構造、Temporal ID が0のピクチャおよび1のピクチャで構成されるSOP 構造、Temporal ID が0のピクチャ、1のピクチャ、および2のピクチャで構成されるSOP 構造、Temporal ID が0のピクチャ、1のピクチャ、2のピクチャ、および3のピクチャで構成されるSOP 構造のいずれかで符号化された映像と映像符号化側から伝送されたSDR とHDR の切り替え情報を復号する復号部21(実施形態では、エントロピー復号器202で実現される。)を備える。
FIG. 10 is a block diagram showing a main part of the video decoding device. As illustrated in FIG. 10, the
なお、復号部21は、設定された符号化構造としての、Temporal IDが0のピクチャだけで構成されるSOP 構造、Temporal ID が0のピクチャおよび1のピクチャで構成されるSOP 構造、Temporal ID が0のピクチャ、1のピクチャ、および、2のピクチャで構成されるSOP 構造、Temporal ID が0のピクチャ、1のピクチャ、2のピクチャ、および3のピクチャで構成されるSOP 構造のいずれかのSOP 構造に基づいて符号化されたビットストリームを復号することができる。
Note that the
さらに、復号部21は、図11に示すような4個のスライスに分割されて、さらに、図12に示すような、あるスライスのPUが別のスライスを動き補償(MC)参照する場合に、スライス境界を跨ぐ同PUのMC参照はスライス境界から128ライン以内の画素のみを参照するように制限されて、符号化されたビットストリームを復号できる。
Further, when the
なお、実施形態では、120Pの動画像を扱う場合、映像符号化および復号側で図13に示すような、以下のSOP 構造を用いることができる。 In the embodiment, when handling a 120P moving image, the following SOP structure as shown in FIG. 13 can be used on the video encoding and decoding side.
・L=0の構造:Temporal ID が0のピクチャだけで構成されるSOP 構造(つまり、同SOP に含まれるピクチャの段数は1つである。最大Temporal ID を示すLが0であるともいえる。)
・L=1の構造:Temporal ID が0のピクチャおよび1(またはM)のピクチャで構成されるSOP 構造(つまり、同SOP に含まれるピクチャの段数は2つである。最大Temporal ID を示すLが1(またはM)であるともいえる。)
・L=2の構造:Temporal ID が0のピクチャ、1のピクチャ、および、2(またはM)のピクチャで構成されるSOP 構造(つまり、同SOP に含まれるピクチャの段数は3つである。最大Temporal ID を示すLが2(またはM)であるともいえる。)
・L=3の構造:Temporal ID が0のピクチャ、1のピクチャ、2のピクチャ、および3(またはM)のピクチャで構成されるSOP 構造(つまり、同SOP に含まれるピクチャの段数は4つである。最大Temporal ID を示すLが3(またはM)であるともいえる。)
・L=4の構造:Temporal ID が0のピクチャ、1のピクチャ、2のピクチャ、3のピクチャ、および、4(またはM)のピクチャで構成されるSOP 構造(つまり、同SOP に含まれるピクチャの段数は4つである。最大Temporal ID を示すLが4(またはM)であるともいえる。)
Structure of L = 0: SOP structure composed of only pictures with Temporal ID of 0 (that is, the number of pictures included in the SOP is one. It can be said that L indicating the maximum Temporal ID is 0). )
L = 1 structure: SOP structure composed of a picture with a Temporal ID of 0 and a picture with a 1 (or M) (that is, the number of pictures included in the SOP is two. L indicating the maximum Temporal ID) Is 1 (or M).)
L = 2 structure: SOP structure composed of a picture with a Temporal ID of 0, 1 picture, and 2 (or M) pictures (that is, the number of pictures included in the SOP is three). It can be said that L indicating the maximum Temporal ID is 2 (or M).)
L = 3 structure: SOP structure composed of a picture with a Temporal ID of 0, 1 picture, 2 pictures, and 3 (or M) pictures (that is, the number of pictures included in the SOP is four) It can be said that L indicating the maximum Temporal ID is 3 (or M).)
L = 4 structure: SOP structure composed of a picture with a Temporal ID of 0, 1 picture, 2 pictures, 3 pictures, and 4 (or M) pictures (that is, pictures included in the SOP) Is 4. The L indicating the maximum Temporal ID can be said to be 4 (or M).)
10 映像符号化装置
11 解析部
12 推定部
13 符号化構造決定部
14 伝送部
20 映像復号装置
21 復号部
100 映像符号化装置
101 符号化部
102 画面分割器
103 周波数変換/量子化器
104 逆量子化/逆周波数変換器
105 バッファ
106 予測器
107 エントロピー符号化器
111 解析部
112 判定部
113 M値決定部
200 映像復号装置
202 エントロピー復号器
203 逆量子化/逆周波数変換器
204 予測器
205 バッファ
401 音声符号化部
402 映像符号化部
403 多重化部
1001 プロセッサ
1002 プログラムメモリ
1003,10004 記憶媒体
REFERENCE SIGNS
Claims (4)
時間方向で、符号化対象の映像信号がSDR(Standard Dynamic Range)からHDR(High Dynamic Range)に切り替わる場合、または、HDRからSDRに切り替わる場合に、前記ダイナミックレンジを切り替えるための前記ダイナミックレンジに関する映像信号の情報を伝送可能にするために、切り替わり後の先頭のSOPのSOP構造をTemporal IDが0のピクチャだけで構成されるSOP構造に設定し、
前記ダイナミックレンジに関する映像信号の情報を、前記SDRから前記HDRに切り替わったとき、または、前記HDRから前記SDRに切り替わったときに、前記ビットストリームにおけるtransfer characteristicsに設定する
ことを特徴とする映像符号化方法。 A video encoding method for generating a bit stream using a plurality of SOP structures using information of a video signal regarding a dynamic range,
In the time direction, when the video signal to be encoded switches from SDR (Standard Dynamic Range) to HDR (High Dynamic Range), or switches from HDR to SDR, the video related to the dynamic range for switching the dynamic range In order to enable transmission of signal information, the SOP structure of the first SOP after switching is set to an SOP structure composed of only pictures with a Temporal ID of 0,
The information of the video signal relating to the dynamic range, when switching from the SDR to the HDR, or, when from the HDR switched to the SDR, video coding and setting the transfer characteristics The in said bit stream Method.
時間方向で、符号化対象の映像信号がSDR(Standard Dynamic Range)からHDR(High Dynamic Range)に切り替わる場合、または、HDRからSDRに切り替わる場合に、前記ダイナミックレンジを切り替えるための前記ダイナミックレンジに関する映像信号の情報を伝送可能にするために、切り替わり後の先頭のSOPのSOP構造をTemporal IDが0のピクチャだけで構成されるSOP構造に設定する符号化構造制御手段を備え、
前記符号化構造制御手段は、前記ダイナミックレンジに関する映像信号の情報を、前記SDRから前記HDRに切り替わったとき、または、前記HDRから前記SDRに切り替わったときに、前記ビットストリームにおけるtransfer characteristicsに設定する
ことを特徴とする映像符号化装置。 A video encoding device that generates a bit stream using a plurality of SOP structures using information of a video signal regarding a dynamic range,
In the time direction, when the video signal to be encoded switches from SDR (Standard Dynamic Range) to HDR (High Dynamic Range), or switches from HDR to SDR, the video related to the dynamic range for switching the dynamic range In order to enable transmission of signal information, encoding structure control means for setting the SOP structure of the first SOP after switching to an SOP structure composed of only a picture with a Temporal ID of 0 is provided.
The coding structure control means, the information of the video signal relating to the dynamic range, when from the SDR switched to the HDR, or, when from the HDR switched to the SDR, sets the transfer characteristics The in said bit stream A video encoding device characterized by the above-mentioned.
時間方向で、符号化対象の映像信号がSDR(Standard Dynamic Range)からHDR(High Dynamic Range)に切り替わる場合、または、HDRからSDRに切り替わる場合に、前記ダイナミックレンジを切り替えるための前記ダイナミックレンジに関する映像信号の情報を伝送可能にするために、切り替わり後の先頭のSOPのSOP構造をTemporal IDが0のピクチャだけで構成されるSOP構造に設定する処理を実行させ、
前記ダイナミックレンジに関する映像信号の情報を、前記SDRから前記HDRに切り替わったとき、または、前記HDRから前記SDRに切り替わったときに、前記ビットストリームにおけるtransfer characteristicsに設定させる
ための映像符号化プログラム。 Using information of the video signal regarding the dynamic range, a computer in a video encoding device that generates a bit stream using a plurality of SOP structures,
In the time direction, when the video signal to be encoded switches from SDR (Standard Dynamic Range) to HDR (High Dynamic Range), or switches from HDR to SDR, the video related to the dynamic range for switching the dynamic range In order to enable transmission of signal information, a process is performed to set the SOP structure of the first SOP after switching to an SOP structure composed of only pictures with a Temporal ID of 0,
Wherein the information of the video signal relating to the dynamic range, when from the SDR switched to the HDR, or, when from the HDR switched to the SDR, video encoding program for setting the transfer characteristics The in the bit stream.
音声信号を符号化する音声符号化部と、
前記映像符号化装置からのビットストリームと前記音声符号化部からのビットストリームとを多重化して出力する多重化部と
を備える映像システム。 A video encoding device according to claim 2,
An audio encoding unit that encodes an audio signal;
A video system, comprising: a multiplexing unit that multiplexes and outputs a bit stream from the video coding device and a bit stream from the audio coding unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017179959A JP6677230B2 (en) | 2017-09-20 | 2017-09-20 | Video encoding device, video decoding device, video system, video encoding method, and video encoding program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017179959A JP6677230B2 (en) | 2017-09-20 | 2017-09-20 | Video encoding device, video decoding device, video system, video encoding method, and video encoding program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017152112A Division JP6241565B2 (en) | 2017-08-07 | 2017-08-07 | Video encoding device, video system, video encoding method, and video encoding program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018014750A JP2018014750A (en) | 2018-01-25 |
JP2018014750A5 JP2018014750A5 (en) | 2019-11-07 |
JP6677230B2 true JP6677230B2 (en) | 2020-04-08 |
Family
ID=61020432
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017179959A Active JP6677230B2 (en) | 2017-09-20 | 2017-09-20 | Video encoding device, video decoding device, video system, video encoding method, and video encoding program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6677230B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020022101A1 (en) * | 2018-07-27 | 2020-01-30 | ソニーセミコンダクタソリューションズ株式会社 | Image processing device and image processing method |
-
2017
- 2017-09-20 JP JP2017179959A patent/JP6677230B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018014750A (en) | 2018-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10827201B2 (en) | Video encoding method, video encoding device, video decoding method, video decoding device, program, and video system | |
US9774881B2 (en) | Representing motion vectors in an encoded bitstream | |
KR102435739B1 (en) | Method and apparatus for scalable video coding using intra prediction mode | |
US20140169452A1 (en) | Video encoding method and apparatus using the same | |
US20160127728A1 (en) | Video compression apparatus, video playback apparatus and video delivery system | |
CA2943647C (en) | Method and apparatus for encoding rate control in advanced coding schemes | |
KR20230165354A (en) | An encoder, a decoder and corresponding methods of boundary strength derivation of deblocking filter | |
AU2014376189A1 (en) | Video encoding of screen content data | |
JP6677230B2 (en) | Video encoding device, video decoding device, video system, video encoding method, and video encoding program | |
JP6241565B2 (en) | Video encoding device, video system, video encoding method, and video encoding program | |
JP6241558B2 (en) | Video encoding device, video system, video encoding method, and video encoding program | |
KR102301654B1 (en) | Method and apparatus for applying Sample Adaptive Offset filtering | |
JP6489227B2 (en) | Video encoding apparatus and video encoding method | |
WO2021199374A1 (en) | Video encoding device, video decoding device, video encoding method, video decoding method, video system, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181102 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190920 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191008 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191217 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6677230 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |