JP2008306574A - Encoding method, encoder and decoder for image data - Google Patents
Encoding method, encoder and decoder for image data Download PDFInfo
- Publication number
- JP2008306574A JP2008306574A JP2007152985A JP2007152985A JP2008306574A JP 2008306574 A JP2008306574 A JP 2008306574A JP 2007152985 A JP2007152985 A JP 2007152985A JP 2007152985 A JP2007152985 A JP 2007152985A JP 2008306574 A JP2008306574 A JP 2008306574A
- Authority
- JP
- Japan
- Prior art keywords
- code
- image data
- variable length
- upper limit
- limit value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、画像データの符号化、複合化に係る装置及び方法に関し、特に、低圧縮率の圧縮画像データのリアルタイム復号を実現するための装置及び方法に関する。 The present invention relates to an apparatus and method for encoding and decoding image data, and more particularly to an apparatus and method for realizing real-time decoding of compressed image data with a low compression rate.
業務用・放送機器では、1フレーム単位の編集を要求されることから、入力画像データを1フレーム単位で固定長に圧縮して記録する方式が主流になっている。例えば、DVCPRO方式の圧縮では、入力映像信号を1/5に圧縮して記録する。 Since commercial / broadcast equipment requires editing in units of one frame, a method of recording input image data by compressing it to a fixed length in units of one frame has become mainstream. For example, in the DVCPRO compression, the input video signal is compressed to 1/5 and recorded.
しかしながら、TVの大画面化による高画質化の要請から、放送方式はSD方式から水平解像度、垂直解像度を夫々2倍にしたHD方式に移行しつつある。HD方式は入力画像データの量がSD方式の4倍にもなるため、現在の圧縮技術をそのまま採用したのでは、ストレージ容量、通信帯域も4倍になってしまうため、経済的に厳しい。そこで、従来の圧縮方式より効率の良い圧縮方式が要望されている。 However, due to the demand for higher image quality due to the larger screen of TV, the broadcasting system is shifting from the SD system to the HD system in which the horizontal resolution and the vertical resolution are doubled. In the HD method, the amount of input image data is four times that of the SD method, so if the current compression technology is used as it is, the storage capacity and communication bandwidth will also be four times, which is economically difficult. Therefore, a compression method that is more efficient than the conventional compression method is desired.
現在提案されている画像圧縮方式のひとつにH.264方式がある。H.264をフレーム固定長圧縮に適応した場合、従来の2倍程度の高圧縮を実現できる。H.264でフレーム内圧縮に有効な新規採用されている技術として以下のものがある。
1)フレーム内予測符号化:隣接ブロックより、対象の圧縮ブロックを予測して符号化する。
2)適応算術符号化:符号化する信号の発生確率を周辺ブロックの状況に応じて更新する。
One of the currently proposed image compression methods is H.264. There are H.264 systems. H. When H.264 is applied to frame fixed length compression, it is possible to realize high compression about twice that of the prior art. H. The following is a newly adopted technology effective for intra-frame compression in H.264.
1) Intraframe predictive encoding: A target compressed block is predicted from adjacent blocks and encoded.
2) Adaptive arithmetic coding: The generation probability of a signal to be coded is updated in accordance with the status of surrounding blocks.
しかしながら、1)フレーム内予測符号化及び2)適応算術符号化は、共に演算量が多く、リアルタイム処理を行うには大規模なハードウェアが要求される。とりわけ、適応算術符号化はビット処理が必要なため、リアルタイム処理が非常に困難である。 However, both 1) intra-frame predictive coding and 2) adaptive arithmetic coding are computationally intensive, and large-scale hardware is required to perform real-time processing. In particular, since adaptive arithmetic coding requires bit processing, real-time processing is very difficult.
リアルタイムデコード処理を実現する方法として、例えば、図8に示すように、2個の算術復号器(デコーダ)22−1、22−2を実装し、1フレーム毎に算術復号器22−1、22−2を切り替えて並列処理をおこなうといった手法がある。この場合は、1フレームのデコード処理を15Hzのスループットで実施すればよいので、算術復号器に要求される処理能力は半分になる。しかしながら、フレーム並列の手法では圧縮デコード処理にかかるレイテンシが大きくなってしまうため、VTRのようなJOGダイヤルで画面を検索する場合には、応答性が劣化してしまうといった課題が発生する。 As a method for realizing the real-time decoding process, for example, as shown in FIG. 8, two arithmetic decoders (decoders) 22-1 and 22-2 are mounted, and the arithmetic decoders 22-1 and 22 for each frame. -2 is used to perform parallel processing. In this case, since the decoding process for one frame may be performed with a throughput of 15 Hz, the processing capability required for the arithmetic decoder is halved. However, in the frame parallel method, the latency for the compression decoding process increases, so that when the screen is searched with a JOG dial such as a VTR, there is a problem that the responsiveness deteriorates.
また、特許文献1では、H.264については直接触れられていないが、1画面を複数のスライスに分割し、複数個のスライスデコーダを実装し、以下の逐次処理をすることにより、高速デコード処理を実現している。
1)複数のスライスデコーダを並列に動作させる。
2)処理が終了したスライスデコーダに、次のスライスデコード処理を割り当てる。
In
1) A plurality of slice decoders are operated in parallel.
2) The next slice decoding process is assigned to the slice decoder that has completed the process.
上記特許文献1の技術を利用し、図8に示すようにデコーダを並列に動作させリアルタイムでデコードする場合について以下考察する。 Considering the case where decoding is performed in real time by operating the decoder in parallel as shown in FIG.
図9にH.264を利用したフレーム内固定長圧縮画像の一般的な構成を示す。図9はテレビ画面を分割したスライスの概念図であり、水平方向1920画素、垂直方向1088画素からなる1フレームのHD映像信号を均等に4分割する。このように分割された単位を「スライス」と呼ぶ。 FIG. 2 shows a general configuration of an intra-frame fixed-length compressed image using H.264. FIG. 9 is a conceptual diagram of a slice obtained by dividing a television screen. An HD video signal of one frame composed of 1920 pixels in the horizontal direction and 1088 pixels in the vertical direction is equally divided into four. The unit divided in this way is called a “slice”.
スライスは複数のマクロブロックによって構成される。マクロブロックとは、水平8画素と垂直8画素からなるDCTブロック4個をまとめたものである。1フレームは{(1920/8)×(1088/8)}/4=8160個のマクロブロックによって構成されるので、1スライスは2040(=8160/4)個のマクロブロックによって構成される。 A slice is composed of a plurality of macroblocks. A macroblock is a group of four DCT blocks each consisting of 8 horizontal pixels and 8 vertical pixels. Since one frame is composed of {(1920/8) × (1088/8)} / 4 = 8160 macroblocks, one slice is composed of 2040 (= 8160/4) macroblocks.
次に、2値コード量と圧縮画像データ量について詳細に考察する。前述したように、適応算術符号は符号化効率のばらつきが大きいため、フレーム内の圧縮画像データ量とフレーム内の2値コード量の相関が画像データの特徴によって変わってしまうといった性質がある。 Next, the binary code amount and the compressed image data amount will be considered in detail. As described above, since the adaptive arithmetic code has a large variation in encoding efficiency, the correlation between the compressed image data amount in the frame and the binary code amount in the frame varies depending on the characteristics of the image data.
図10、図11、図12は、2値コード量と、算術符号化後の圧縮画像データ量の相関を説明するための図である。図10、図11、図12において、(a)はフレームを構成する各スライスの2値コード量を示し、(b)はフレームを構成する各スライスの算術符号化後の圧縮画像データ量を示す。これらの図に示すように、スライス当りの圧縮画像データ量が一定であっても、符号化前のスライス当りの2値コード量は大きく異なる可能性がある。 10, 11, and 12 are diagrams for explaining the correlation between the binary code amount and the compressed image data amount after arithmetic coding. 10, 11, and 12, (a) shows the binary code amount of each slice constituting the frame, and (b) shows the compressed image data amount after arithmetic coding of each slice constituting the frame. . As shown in these figures, even if the amount of compressed image data per slice is constant, the amount of binary code per slice before encoding may vary greatly.
図8に示す算術復号器22−1、22−2に図10(a)、図11(a)、図12(a)に示す2値コードを入力した場合の動作について説明する。図13は、図10で示した各圧縮画像データを2つの算術復号器22−1、22−2により2値コード化したタイミングを示す図である。図13(a)は一つの算術復号器(デコーダ)22−1の出力、同図(b)は別の算術復号器22−2の出力を示している。 The operation when the binary codes shown in FIGS. 10A, 11A, and 12A are input to the arithmetic decoders 22-1 and 22-2 shown in FIG. 8 will be described. FIG. 13 is a diagram showing the timing when each compressed image data shown in FIG. 10 is binary coded by the two arithmetic decoders 22-1 and 22-2. FIG. 13A shows the output of one arithmetic decoder (decoder) 22-1 and FIG. 13B shows the output of another arithmetic decoder 22-2.
一般に、算術復号器はビット処理を行い、1クロックに1ビット処理を実施した場合には、算術復号後の2値コード量と復号処理時間が比例関係になる。 In general, when an arithmetic decoder performs bit processing and performs one bit processing in one clock, the binary code amount after arithmetic decoding and the decoding processing time are in a proportional relationship.
図13の例では、スライス0を算術復号器22−1で、スライス1を算術復号器22−2で同時に復号を開始する。2値コード量が少ないスライス1が先に算術復号を終了する。このため、スライス2は算術復号器22bに供給される。そして、算術復号器22−1でスライス0の復号が終了すると、スライス3が算術復号器22−1に供給される。
In the example of FIG. 13, the slice 0 is simultaneously decoded by the arithmetic decoder 22-1 and the
このように、復号処理が先に終了した算術復号器に順次スライスを供給することによって、並列処理を実行して高速化を実現している。同図ではスライス3の算術復号処理は1フレーム以内に終了したため、1フレーム後に映像信号を出力することが可能となる。
In this way, by sequentially supplying slices to the arithmetic decoder for which the decoding process has been completed first, parallel processing is executed to achieve high speed. In the figure, since the arithmetic decoding process for
スライスの2値コード量のバラツキがより多い圧縮画像データを並列に算術復号した場合について考察する。図14は、図12で示した各圧縮画像データを算術復号器により2値コード化したときの出力タイミングを示す図である。図14(a)は算術復号器22−1の出力、(b)は算術復号器22−2の出力を示している。同図では、スライス3の算術復号処理は1フレーム以内に終了していないため、1フレーム後に映像信号を出力することができないため、出力映像信号が途切れてしまうといった課題が発生する。
Consider a case where compressed image data with more variation in the binary code amount of a slice is arithmetically decoded in parallel. FIG. 14 is a diagram showing output timing when each compressed image data shown in FIG. 12 is binary coded by an arithmetic decoder. FIG. 14A shows the output of the arithmetic decoder 22-1 and FIG. 14B shows the output of the arithmetic decoder 22-2. In the same figure, since the arithmetic decoding process of
このように、H.264の圧縮画像データのデコード処理において、処理負荷の大きい算術復号器を2つ並列に備え、スライス単位に算術復号処理をした場合、平均的に処理は高速になるが、リアルタイム再生が保証できないといった課題があった。 In this way, H.C. In the decoding processing of H.264 compressed image data, when two arithmetic decoders having a large processing load are provided in parallel and arithmetic decoding processing is performed in units of slices, the processing speed becomes high on average, but real-time reproduction cannot be guaranteed. There was a problem.
本発明は、上記課題を解決すべくなされたものであり、その目的とするところは、リアルタイムデコード処理が可能な圧縮画像データの符号化装置及び復号装置を提供することにある。 The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a compressed image data encoding device and decoding device capable of real-time decoding processing.
本発明の第1の態様において、1画面データを複数のスライスに分割してイントラフレーム圧縮する符号化方法が提供される。符号化方法は、可変長符号後の圧縮画像データのフレーム当り符号量の上限値と、可変長符号化直前の中間コードのフレーム当りの符号量の上限値と、可変長符号化直前の中間コードのスライス当りの符号量の上限値とが規定される。可変長符号化直前の中間コードの1フレーム当りの符号量をA、1個の可変長復号手段による1フレーム当りの中間コードへの変換量をK、前記可変長復号手段をスライス単位でN(Nは2以上の整数)個並列に動作させた場合における可変長符号化直前の中間コードのスライス当りの符号量上限値をXとした場合に、次式を満たすように、中間コードのスライス当りの符号量上限値Xを設定する。
X≦(N×K−A)/(N−1)
In a first aspect of the present invention, there is provided an encoding method for dividing one-screen data into a plurality of slices and compressing intra frames. The encoding method includes the upper limit value of the code amount per frame of the compressed image data after the variable length code, the upper limit value of the code amount per frame of the intermediate code immediately before the variable length encoding, and the intermediate code immediately before the variable length encoding. The upper limit value of the code amount per slice is defined. The code amount per frame of the intermediate code immediately before variable length coding is A, the conversion amount to one intermediate code per frame by one variable length decoding means is K, and the variable length decoding means is N (in slice units). N is an integer greater than or equal to 2) When the code amount upper limit value per slice of the intermediate code immediately before variable length coding is X, when X is operated in parallel, The code amount upper limit value X is set.
X ≦ (N × KA) / (N−1)
本発明の第2の態様において、1画面を複数のスライスに分割してイントラフレーム圧縮する符号化装置が提供される。符号化装置は、画像データを量子化パラメータにしたがい量子化する量子化手段と、量子化手段の前記量子化パラメータを制御する量子化制御手段と、量子化された画像データを可変長符号により符号化することで圧縮画像データを生成する符号化手段と、可変長符号後の圧縮画像データの1フレーム当りの符号量を検出する第1の検出手段と、可変長符号化直前の中間コードの1フレーム当りの符号量を検出する第2の検出手段と、可変長符号化直前の中間コードの1スライス当りの符号量を検出する第3の検出手段とを備える。 In a second aspect of the present invention, there is provided an encoding device that divides one screen into a plurality of slices and compresses intra frames. The encoding device includes a quantization unit that quantizes image data according to a quantization parameter, a quantization control unit that controls the quantization parameter of the quantization unit, and encodes the quantized image data using a variable length code. Encoding means for generating compressed image data, first detection means for detecting the amount of code per frame of compressed image data after variable length coding, and 1 of intermediate code immediately before variable length coding Second detection means for detecting the code amount per frame and third detection means for detecting the code amount per slice of the intermediate code immediately before variable length coding are provided.
量子化制御手段は、第1ないし第3の検出手段からの検出結果を参照し、予め規定された、可変長符号後の圧縮画像データの1フレーム当りの符号量の上限値と、可変長符号化直前の中間コードの1フレーム当りの符号量の上限値と、可変長符号化直前の中間コードの1スライス当りの符号量の上限値とを満たすように前記量子化パラメータを変化させて符号量制御をおこなう。 The quantization control means refers to the detection results from the first to third detection means, and defines a predetermined upper limit value of the code amount per frame of the compressed image data after the variable length code and the variable length code. The amount of code by changing the quantization parameter so as to satisfy the upper limit value of the code amount per frame of the intermediate code immediately before encoding and the upper limit value of the code amount per slice of the intermediate code immediately before variable length encoding Take control.
本発明の第3の態様において、符号化装置によって可変長符号により符号化された圧縮画像データを受信し、復号する復号装置が提供される。復号装置は、圧縮画像データを復号して、中間コードに変換する可変長復号手段をN個備える(Nは2以上の整数)。符号化装置における可変長符号化直前の中間コードの1スライス当りの符号量の上限値をX、可変長符号化直前の中間コードの1フレーム当りの符号量の上限値をAとしたときに、各可変長復号手段における、1フレームあたりに画像データから変換可能な中間コード量の下限値Kが次式を満たす。
K=X+(A−X)/N
In a third aspect of the present invention, there is provided a decoding device for receiving and decoding compressed image data encoded by a variable length code by an encoding device. The decoding apparatus includes N variable-length decoding units that decode the compressed image data and convert it into an intermediate code (N is an integer of 2 or more). When the upper limit value of the code amount per slice of the intermediate code immediately before variable length coding in the encoding device is X, and the upper limit value of the code amount per frame of the intermediate code immediately before variable length coding is A, In each variable length decoding means, the lower limit value K of the intermediate code amount that can be converted from the image data per frame satisfies the following equation.
K = X + (A−X) / N
本発明の符号化方法によれば、可変長符号後の圧縮画像データのフレーム当り符号量の上限値と可変長符号化直前の中間コードのフレーム当りの符号量の上限値に加え、可変長符号化直前の中間コードのスライス当りの符号量の上限値を規定している。ゆえに、当該符号装置で符号化された圧縮画像データを復号する場合、スライス単位に並列動作させる可変長復号手段の数と、当該可変長復号手段1個のフレーム当りのスループットの下限値を規定できる。 According to the encoding method of the present invention, in addition to the upper limit value of the code amount per frame of the compressed image data after the variable length code and the upper limit value of the code amount per frame of the intermediate code immediately before the variable length encoding, the variable length code The upper limit value of the code amount per slice of the intermediate code immediately before conversion is defined. Therefore, when the compressed image data encoded by the encoding device is decoded, the number of variable length decoding units that are operated in parallel in slice units and the lower limit value of the throughput per frame of the variable length decoding unit can be defined. .
また、可変長復号手段1個のフレーム当りのスループットに合わせて並列動作数を設定すれば、可変長復号手段のスループットを実用的なレートに押さえ込んだ低遅延の復号装置を提供することが可能である。 In addition, if the number of parallel operations is set in accordance with the throughput per frame of the variable length decoding means, it is possible to provide a low-delay decoding device that suppresses the throughput of the variable length decoding means to a practical rate. is there.
さらに、圧縮画像データの基本符号量(例えば25Mbps)と、高精細モード(例えば50Mbps)の2つのモードを扱うようなシステムにおいて、高精細モードでは可変長復号手段を2つ並列実装することを前提に、当該可変長復号手段1個のフレーム当りのスループットおよび、可変長符号化の直前の中間コードのスライス当りの符号量の上限値を規定することで、異なる圧縮レートを扱うシステムで有効となる。 Furthermore, in a system that handles two modes, the basic code amount of compressed image data (for example, 25 Mbps) and a high-definition mode (for example, 50 Mbps), it is assumed that two variable-length decoding units are mounted in parallel in the high-definition mode. In addition, by defining the throughput per frame of the variable length decoding means and the upper limit value of the code amount per slice of the intermediate code immediately before the variable length coding, it becomes effective in a system that handles different compression rates. .
以下、添付の図面を参照し、本発明に係る圧縮画像データの符号化装置、復号装置の実施形態について説明する。 DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments of a compressed image data encoding device and decoding device according to the present invention will be described below with reference to the accompanying drawings.
1.符号化装置の構成
図1は、本発明に係る画像データの符号化装置の構成を示す図である。
ブロック化部1は、入力映像信号をマクロブロックに分割する。演算器2は、入力マクロブロックの各画素と、後述するイントラ予測部で作成された画素との差分を演算する。DCT部3は演算器2の出力をDCT変換する。量子化器4は、後述する量子化制御部14により決定された量子化パラメータにより、DCT部3からの出力を量子化する。逆量子化器5は、量子化器4からの出力を逆量子化する。逆DCT部6は、逆量子化器5の出力を逆DCTして画素データに変換する。イントラ予測部7は、逆DCT部6によって復元されたマクロブロックの画素データから、次のマクロブロックの画素を予測して作成する。シンタクス作成部8は、量子化器4の出力をH.264で規定されたシンタクスに変換する。2値コード化部9は、シンタクスを2値コード(中間コード)に変換する。算術符号化器10は2値コードを算術符号化し、圧縮画像データを生成する。
1. Configuration of Encoding Device FIG. 1 is a diagram showing the configuration of an image data encoding device according to the present invention.
The blocking
フレーム内圧縮画像データ量検出部11は、フレーム内での圧縮画像データ量の履歴を観測する。フレーム内2値コード量検出部12は、フレーム内での2値コード量の履歴を観測する。スライス内2値コード量検出部13は、スライス内での2値コード量の履歴を観測する。
The in-frame compressed image data
量子化制御部14は、フレーム内圧縮画像データ量検出部11、フレーム内2値コード量検出部12、及びスライス内2値コード量検出部13の観測結果を参照にしながら、1フレーム当りの圧縮画像データ量と、フレーム当りの圧縮画像データ量より、フォーマットで規定された1フレーム当たりの2値コード量の最大値と、後述する方法により規定された1スライス当りの2値コード量の最大値とを満たすように、量子化器4における量子化パラメータを制御する。
The
すなわち、量子化制御部14は、フレーム内圧縮画像データ量検出部11からの観測結果に基づき、1フレーム当りの圧縮画像データ量が、その上限値内に収まるように、量子化パラメータを制御する。また、量子化制御部14は、フレーム内2値コード量検出部12からの観測結果に基づき、フレーム当りの圧縮画像データ量が、その上限値内に収まるように、量子化パラメータを制御する。さらに、量子化制御部14は、スライス内2値コード量検出部13からの観測結果に基づき、2値コード部9により生成された2値コードの1スライス当たりの2値コード量が、その上限値内に収まるように、量子化パラメータを制御する。
That is, the
図2は量子化制御部14の動作を説明するための図である。図2は、フレーム中のブロック位置と、そのブロックを符号化したときの符号量との関係を示した図である。量子化パラメータを大きくすると符号量が減少し、量子化パラメータを小さくすると符号量が増えるという特性がある。この特性を利用し、フレームでターゲット符号量以内になるように量子化パラメータを制御する。同図の曲線(a)は、予想より符号量が多かったので、量子化パラメータを順次大きくしてターゲット符号量に収めるよう制御した場合であり、同図の曲線(b)は、逆に予想より符号量が少なかったので、量子化パラメータを順次小さくしてターゲット符号量に近づけるように制御した場合を示す。
FIG. 2 is a diagram for explaining the operation of the
2.復号装置の構成
以上の符号化装置100により生成された圧縮画像データを復号する復号装置について説明する。図3は圧縮画像データの復号装置の構成図である。復号装置200は並列に算術復号器を備え、これにより復号処理の高速化を図っている。
2. Configuration of Decoding Device A decoding device that decodes compressed image data generated by the
スライス検出部20は、入力圧縮画像データにおいて、予約された連続3バイト(000000又は000001又は000002又は000003)を検出することによって、スライスの先頭位置を検出する。スライスメモリ21は圧縮画像データをスライス毎に一時記録する。
The
算術復号器22a、22bが並列に設けられ、これらの算術復号器22a、22bは、スライスメモリ21から読み出された圧縮画像データを2値コードに変換する。このように、算術復号化処理はスライス単位で並列化されている。
シンタクス化部23a、23bは、算術復号器22a、22bから出力された2値コードをH.264で規定されたシンタクスに変換する、並列化部24は、スライスメモリ21の読み出し動作を制御し、2つの算術復号器22a、22bに、スライス単位で圧縮画像データを供給する。フレームメモリ25はシンタクス化されたデータを一時記録する。逆量子化器26はフレームメモリ25から読み出されたシンタクス化されたデータのシンタクスを解釈して逆量子化処理を行う。逆DCT部27は、逆量子化器26の出力を逆DCT変換する。逆ブロック化部27は逆DCT器27の出力から映像信号を生成する。
The
3.1スライス内の2値コード量の上限値及び算術復号器の処理能力
本実施形態における符号化処理の特徴の1つは、2値コードにおいて1スライス当たりの2値コード量に上限値を設けたことである。すなわち、符号化装置100において、スライス内2値コード量検出部13は、2値コード部9により生成された2値コードの、1スライス当たりの2値コード量を検出する。量子化制御部14は、その検出結果に基づき、2値コード部9により生成された2値コードの1スライス当たりの2値コード量が、その上限値内に収まるように、量子化パラメータを制御する。
3. Upper limit value of binary code amount in one slice and processing capability of arithmetic decoder One of the characteristics of the encoding process in this embodiment is that an upper limit value is set for the binary code amount per slice in the binary code. It is provided. That is, in the
以下、本実施形態の符号化装置100における、1スライス当りの2値コード量の上限値の設定方法を説明する。なお、以下では、1フレームが4スライスを含むことを例にとり説明する。また、以下の設定方法は、図3に示すような並列に設けられた2個の算術復号器22a、22bを備えた復号装置200による復号を前提とする。
Hereinafter, a method for setting the upper limit value of the binary code amount per slice in the
H.264のフォーマットによれば、4スライスの2値コードの総和は、圧縮画像データの約1.6倍に規制されている。スライスNの2値コード量をB(N)(N=0,1,2,3)、1フレームすなわち4スライスの2値コードの総和の上限値をAとすると次式が成り立つ。
B(0)+B(1)+B(2)+B(3)≦ A (1)
H. According to the H.264 format, the total of binary codes of 4 slices is restricted to about 1.6 times that of compressed image data. When the binary code amount of slice N is B (N) (N = 0, 1, 2, 3), and the upper limit of the sum of binary codes of one frame, that is, four slices is A, the following equation is established.
B (0) + B (1) + B (2) + B (3) ≦ A (1)
また算術復号器22a、22bの1フレーム当りに復号可能な2値コード量をK、1スライスの2値コード量の上限値をXとすると次式が成り立つ。
A−K ≦ X ≦ K (2)
Further, when the binary code amount that can be decoded per frame of the
AK ≤ X ≤ K (2)
ここで、例えばK=A/2とすれば、X=A/2となる。このことは、1スライスの2値コードの上限値Xを、1フレームの2値コードの上限値Aの半分に設定すれば、1フレームの2値コード量の半分のデータ量を処理可能な算術復号器を2個並列にして動作させることにより、1フレーム期間以内に復号処理が完了することを示している。 For example, if K = A / 2, then X = A / 2. This means that if the upper limit value X of a binary code for one slice is set to half of the upper limit value A of a binary code for one frame, an arithmetic process capable of processing half the data amount of the binary code amount for one frame. It is shown that the decoding process is completed within one frame period by operating two decoders in parallel.
しかしながら、上記の考察では不十分な場合がある。以下これを説明する。たとえば、B(0)、B(1)、B(2)、B(3)の順に2並列の算術復号器で復号処理される場合を検討する。 However, the above considerations may not be sufficient. This will be described below. For example, consider a case where decoding processing is performed by two parallel arithmetic decoders in the order of B (0), B (1), B (2), and B (3).
B(0)またはB(1)が2/Aであった場合(図4(a)参照)は、2つの算術復号器22a、22bのうちのいずれか一方でA/2のデータ量の2値コードを復号し、他方で残る3スライスを復号すればよい。この場合は上記の考察は妥当である。
When B (0) or B (1) is 2 / A (see FIG. 4A), 2 of the data amount of A / 2 is obtained in one of the two
次に、B(2)がA/2の場合を考える(図4(b)参照)。スライス2のデコード時において、2個の算術復号器22a、22bはすでにスライス0、1について2値コードをデコードしており、早く終了した方にスライス2の復号が割り当てられる。B(2)がA/2の場合、残りのスライス0、1、3の2値コード値の総計はA/2となる。そして、スライス0、1、3が少なくとも2つの算術復号器に処理されることを考えると、スライス0の大きさは最大A/4になり得ると考えられる。よって、B(2)がA/2の場合、スライス2を復号する算術復号器の処理可能2値コード量Kは次式を満たす必要がある。
K ≧ A/4+A/2=(3/4)×A (3)
Next, consider the case where B (2) is A / 2 (see FIG. 4B). At the time of decoding of
K ≧ A / 4 + A / 2 = (3/4) × A (3)
上式(3)は1フレームの2値コードの上限値Aの半分の処理能力で復号できる算術復号器を2個並列にして動作させても、1フレーム以内にデコード処理が完了しないことを示している。この場合は、算術復号器の能力Kは少なくとも(3/4)×A必要となる。 The above equation (3) indicates that the decoding process is not completed within one frame even if two arithmetic decoders capable of decoding with a processing capacity half the upper limit A of the binary code of one frame are operated in parallel. ing. In this case, the capability K of the arithmetic decoder is required to be at least (3/4) × A.
B(3)がA/2の場合について考察する。スライス3の算術復号の開始時点における、先に復号が終了した方の算術復号器の2値コード処理量は、同時に終了した場合に等しく、A/4となる。よって、この場合も上記と同様、スライス3を復号する算術復号器の処理すべき2値コード量Kは式(3)を満たす必要がある。
Consider the case where B (3) is A / 2. At the start of the arithmetic decoding of
図5は、本実施形態の符号化装置100の出力のタイミングを示す図である。従来の符号化装置によれば、図12(a)に示す2値コード量及び図12(b)に示す圧縮画像データ量となる、1フレームの画像データに対して、本実施形態の符号化装置を適応した場合の2値コード量(図4(a))及び圧縮画像データ量(図4(b))を示している。図4に示す斜線部は、本実施形態により削減されたデータ量を示す。この例では、スライス3の2値コード量が1フレームの符号量の上限値の半分になるように、量子化制御部14により量子化パラメータが制御される。
FIG. 5 is a diagram illustrating the output timing of the
図6は、本実施形態による復号装置200における算術復号器22a、22bの出力タイミングを示す図である。従来の復号装置による図14で示すタイミングとなる。図6(a)は算術復号器22aから出力される2値コード量を示し、図6(b)は算術復号器22bから出力される2値コード量を示している。同図の斜線部は、本実施形態により削減されたデータ量である。スライス3の2値コード量が1フレームの符号量の上限値の半分になるように量子化制御部14により制御された結果、1フレーム期間内で算術復号処理が終了している。
FIG. 6 is a diagram illustrating output timings of the
以上のように、スライス当りの2値コード量の上限値をフレーム当りの2値コード量の上限値の半分に制限し、さらに、2個の算術復号器の2値コード処理量の保証性能を(3/4)×Aとすれば、算術復号処理を1フレーム以内に収めることができ、リアルタイム復号処理を実現できる。 As described above, the upper limit value of the binary code amount per slice is limited to half of the upper limit value of the binary code amount per frame, and further, the guaranteed performance of the binary code processing amount of the two arithmetic decoders is improved. If (3/4) × A, the arithmetic decoding process can be accommodated within one frame, and a real-time decoding process can be realized.
なお、当実施の形態では簡単のために1フレームを4スライスとして説明したが、4スライスに限られるものではない。他のスライス数でも、2並列であれば、式(3)は成立する。 In this embodiment, for the sake of simplicity, one frame is described as four slices, but the present invention is not limited to four slices. If the number of other slices is 2 in parallel, Expression (3) holds.
さらに、並列して設ける算術復号器の数は2としたが、並列数を増加させることもできる。例えば、3並列でスライスの2値コード量の上限値をA/2とすると、残る半分の符号量を3等分することになる。よって、算術復号器の並列数を3とした場合、算術復号器の処理する2値コード量の保証値Kは次式で表される。
K = (1/2)×(1/3)×A+A/2=(2/3)×A (4)
Furthermore, although the number of arithmetic decoders provided in parallel is two, the number of parallel decoders can be increased. For example, if the upper limit value of the binary code amount of a slice is 3/2 in parallel, the remaining half code amount is equally divided into three. Therefore, when the parallel number of arithmetic decoders is 3, the guaranteed value K of the binary code amount processed by the arithmetic decoder is expressed by the following equation.
K = (1/2) × (1/3) × A + A / 2 = (2/3) × A (4)
最後に、復号装置において算術復号器の並列数をNに一般化した場合を検討する。 Finally, consider the case where the parallel number of arithmetic decoders is generalized to N in the decoding device.
図7(a)に示すように復号装置において中間コードに変換する算術復号器の数をN(Nは2以上の整数)とし、符号化装置における算術符号化の直前の中間コードのスライス当りの符号量の上限値をX、算術符号化の直前の中間コードのフレーム当りの符号量の上限値をAとすると、1個のフレームあたりの算術復号器が処理すべき2値コード量の保証値Kは次式で表される(図7(b)参照)。
K = X+(A−X)/N (5)
As shown in FIG. 7 (a), the number of arithmetic decoders to be converted into intermediate codes in the decoding device is N (N is an integer equal to or greater than 2), and the intermediate code per slice immediately before arithmetic encoding in the encoding device. Assuming that the upper limit value of the code amount is X and the upper limit value of the code amount per frame of the intermediate code immediately before arithmetic coding is A, the guaranteed value of the binary code amount to be processed by the arithmetic decoder per frame K is expressed by the following equation (see FIG. 7B).
K = X + (A−X) / N (5)
また、上式(5)から、符号化装置における算術符号化直前の2値コード(中間コード)のスライス当りの符号量の上限値Xは次式で求まる。
X = (N×K−A)/(N−1) (6)
Also, from the above equation (5), the upper limit value X of the code amount per slice of the binary code (intermediate code) immediately before the arithmetic coding in the encoding device is obtained by the following equation.
X = (N × K−A) / (N−1) (6)
すなわち、上式は、算術符号化の直前の2値コード(中間コード)のスライス当りの符号量の上限値を式(5)の示す値に規定すれば、1フレーム当り処理する2値コード量の保証値がKである算術復号器をN個実装してスライスを並列で復号する場合に、低遅延でリアルタイム復号が可能な画像データの符号化、復号化装置を提供できることを示している。 In other words, the above equation expresses the binary code amount to be processed per frame if the upper limit value of the code amount per slice of the binary code (intermediate code) immediately before arithmetic coding is defined as the value shown in equation (5). It is shown that when N arithmetic decoders having a guaranteed value of K are installed and N slices are decoded in parallel, an image data encoding / decoding device capable of real-time decoding with low delay can be provided.
符号化装置100により生成されるストリームにおいては下記の情報を含めてもよい。
・スライス当たりの2値コードの符号量の最大値を示す情報
・スライス当たりの2値コードの符号量の最大値が制限される所定の方法で、ストリームがエンコードされていることを示す情報
The stream generated by the
Information indicating the maximum value of the code amount of the binary code per slice Information indicating that the stream is encoded in a predetermined method in which the maximum value of the code amount of the binary code per slice is limited
また、本発明の思想を、圧縮画像データの基本符号量(例えば25Mbps)のモードと共に高精細モード(例えば50Mbps)の2つのモードを扱うようなシステムに対して適用し、高精細モードで可変長復号器を2個並列に実装することを前提に、当該可変長復号器1個のフレーム当りのスループットおよび、可変長符号化直前の中間コードのスライス当りの符号量の上限値を規定すれば、異なる圧縮レートを扱うシステムで有効な運用が可能となることはいうまでもない。 Further, the idea of the present invention is applied to a system that handles two modes of a high-definition mode (for example, 50 Mbps) together with a mode of a basic code amount (for example, 25 Mbps) of compressed image data. Assuming that two decoders are mounted in parallel, if the throughput per frame of the variable-length decoder and the upper limit value of the code amount per slice of the intermediate code immediately before variable-length coding are defined, It goes without saying that effective operation is possible in a system that handles different compression rates.
以上、本実施の形態では算術符号について説明したが、他の可変長符号においても適用可能であることはいうまでもない。 As described above, although the arithmetic code has been described in the present embodiment, it goes without saying that the present invention can also be applied to other variable-length codes.
本発明に係る画像データの符号化装置は、復号時における並列処理による低遅延復号が可能なため、編集点を検索する用途で有効である。よって、本発明は1フレーム編集を要求される放送用、業務用機器の画像データの符号化/復号装置の製造に関連する映像機器に有用である。 The image data encoding device according to the present invention is effective for searching for edit points because it can perform low-delay decoding by parallel processing during decoding. Therefore, the present invention is useful for video equipment related to the manufacture of image data encoding / decoding devices for broadcasting and business equipment that require one frame editing.
1 ブロック化器
3 DCT手段
4 量子化器
9 2値コード化部
10 算術符号化器
11 フレーム内圧縮画像データ量検出部
12 フレーム内2値コード量検出部
13 スライス内2値コード量検出部
14 量子化制御部
22a、22b、22−1〜22−N 算術復号器
100 符号化装置
200 復号装置
DESCRIPTION OF
Claims (6)
可変長符号後の圧縮画像データのフレーム当り符号量の上限値と、可変長符号化直前の中間コードのフレーム当りの符号量の上限値と、可変長符号化直前の中間コードのスライス当りの符号量の上限値とが規定され、
可変長符号化直前の中間コードの1フレーム当りの符号量をA、1個の可変長復号手段による1フレーム当りの中間コードへの変換量をK、前記可変長復号手段をスライス単位でN(Nは2以上の整数)個並列に動作させた場合における可変長符号化直前の中間コードのスライス当りの符号量上限値をXとした場合に、
次式を満たすように、中間コードのスライス当りの符号量上限値Xを設定する、
ことを特徴とする画像データの符号化方法。
X≦(N×K−A)/(N−1) An encoding method for dividing one-screen data into a plurality of slices and compressing intra-frame data,
Upper limit value of code amount per frame of compressed image data after variable length coding, upper limit value of code amount per frame of intermediate code immediately before variable length coding, and code per slice of intermediate code immediately before variable length coding The upper limit of the amount is defined,
The code amount per frame of the intermediate code immediately before variable length coding is A, the conversion amount to one intermediate code per frame by one variable length decoding means is K, and the variable length decoding means is N (in slice units). When N is an integer of 2 or more) and the code amount upper limit value per slice of the intermediate code immediately before variable-length coding when operated in parallel is X,
Set the code amount upper limit value X per slice of the intermediate code so as to satisfy the following equation:
An image data encoding method characterized by the above.
X ≦ (N × KA) / (N−1)
画像データを量子化パラメータにしたがい量子化する量子化手段と、
前記量子化手段の前記量子化パラメータを制御する量子化制御手段と、
前記量子化された画像データを可変長符号により符号化することで圧縮画像データを生成する符号化手段と、
可変長符号後の圧縮画像データの1フレーム当りの符号量を検出する第1の検出手段と、
可変長符号化直前の中間コードの1フレーム当りの符号量を検出する第2の検出手段と、
可変長符号化直前の中間コードの1スライス当りの符号量を検出する第3の検出手段とを備え、
前記量子化制御手段は、前記第1ないし第3の検出手段からの検出結果を参照し、予め規定された、可変長符号後の圧縮画像データの1フレーム当りの符号量の上限値と、可変長符号化直前の中間コードの1フレーム当りの符号量の上限値と、可変長符号化直前の中間コードの1スライス当りの符号量の上限値とを満たすように前記量子化パラメータを変化させて符号量制御をおこなう
ことを特徴とする画像データの符号化装置。 An encoding device that divides one screen into a plurality of slices and compresses intra frames,
A quantization means for quantizing the image data according to the quantization parameter;
Quantization control means for controlling the quantization parameter of the quantization means;
Encoding means for generating compressed image data by encoding the quantized image data with a variable length code;
First detection means for detecting a code amount per frame of the compressed image data after the variable length code;
Second detection means for detecting a code amount per frame of the intermediate code immediately before the variable length encoding;
Third detection means for detecting a code amount per slice of the intermediate code immediately before variable length coding;
The quantization control means refers to the detection results from the first to third detection means, and defines a predetermined upper limit value of the code amount per frame of the compressed image data after the variable length code, and a variable The quantization parameter is changed so as to satisfy the upper limit value of the code amount per frame of the intermediate code immediately before long coding and the upper limit value of the code amount per slice of the intermediate code immediately before variable length coding. An image data encoding device that performs code amount control.
圧縮画像データを復号して、中間コードに変換する可変長復号手段をN個備え(Nは2以上の整数)、
前記符号化装置における可変長符号化直前の中間コードの1スライス当りの符号量の上限値をX、可変長符号化直前の中間コードの1フレーム当りの符号量の上限値をAとしたときに、前記各可変長復号手段における、1フレームあたりに画像データから変換可能な中間コード量の下限値Kが次式を満たす、ことを特徴とする圧縮画像データの復号装置。
K=X+(A−X)/N A decoding device that receives and decodes compressed image data encoded by a variable-length code by an encoding device,
N variable-length decoding means for decoding compressed image data and converting it into an intermediate code (N is an integer of 2 or more)
When the upper limit value of the code amount per slice of the intermediate code immediately before variable length coding in the encoding device is X, and the upper limit value of the code amount per frame of the intermediate code immediately before variable length coding is A. A decoding apparatus for compressed image data, wherein the lower limit value K of the amount of intermediate code that can be converted from image data per frame in each of the variable length decoding means satisfies the following equation.
K = X + (A−X) / N
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007152985A JP4745293B2 (en) | 2007-06-08 | 2007-06-08 | Image data encoding method, encoding apparatus, and decoding apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007152985A JP4745293B2 (en) | 2007-06-08 | 2007-06-08 | Image data encoding method, encoding apparatus, and decoding apparatus |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2008306574A true JP2008306574A (en) | 2008-12-18 |
JP2008306574A5 JP2008306574A5 (en) | 2010-04-22 |
JP4745293B2 JP4745293B2 (en) | 2011-08-10 |
Family
ID=40234871
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007152985A Expired - Fee Related JP4745293B2 (en) | 2007-06-08 | 2007-06-08 | Image data encoding method, encoding apparatus, and decoding apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4745293B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101063424B1 (en) | 2009-02-02 | 2011-09-07 | 주식회사 코아로직 | Video data processing device and method |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004135251A (en) * | 2002-10-10 | 2004-04-30 | Sony Corp | Method of encoding image information, and method of decoding the image information |
JP2007295392A (en) * | 2006-04-26 | 2007-11-08 | Toshiba Corp | Information processing apparatus, decoding processing method, and program |
-
2007
- 2007-06-08 JP JP2007152985A patent/JP4745293B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004135251A (en) * | 2002-10-10 | 2004-04-30 | Sony Corp | Method of encoding image information, and method of decoding the image information |
JP2007295392A (en) * | 2006-04-26 | 2007-11-08 | Toshiba Corp | Information processing apparatus, decoding processing method, and program |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101063424B1 (en) | 2009-02-02 | 2011-09-07 | 주식회사 코아로직 | Video data processing device and method |
Also Published As
Publication number | Publication date |
---|---|
JP4745293B2 (en) | 2011-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5727114B1 (en) | Method and apparatus for encoding / decoding picture boundary coding unit | |
EP1529401B1 (en) | System and method for rate-distortion optimized data partitioning for video coding using backward adaptation | |
US20130266068A1 (en) | Apparatus and method for encoding and decoding moving picture using adaptive scanning | |
US20030095603A1 (en) | Reduced-complexity video decoding using larger pixel-grid motion compensation | |
US8681864B2 (en) | Video coding apparatus and video coding control method | |
JP2011130410A (en) | Encoding method, decoding method and apparatus thereof | |
JP2007300455A (en) | Arithmetic encoding apparatus, and context table initialization method in arithmetic encoding apparatus | |
JP2006115459A (en) | System and method for increasing svc compression ratio | |
US20070147500A1 (en) | Moving picture encoding method and apparatus | |
KR20030009669A (en) | multi channel image encoding apparatus and encording method thereof | |
US20060133491A1 (en) | Video codec | |
KR101086724B1 (en) | ?? Deciding Method of H.264/AVC Encoder using Complexity of Frame, and H.264/AVC Encoder implementing the same | |
JP2006340183A (en) | Image coding apparatus and image coding method | |
KR20040048289A (en) | Transcoding apparatus and method, target bit allocation, complexity prediction apparatus and method of picture therein | |
JP4745293B2 (en) | Image data encoding method, encoding apparatus, and decoding apparatus | |
JP2007306370A (en) | Image coding recorder | |
JP2009159599A (en) | Moving image coding apparatus, and moving image coding method | |
JP4847423B2 (en) | Moving picture encoding apparatus and computer program | |
JP5819754B2 (en) | Image encoding device | |
JP2008042943A (en) | Image compression encoding device and method, program and recording medium | |
JPH0686255A (en) | Picture encoder | |
JP2005143025A (en) | Moving image encoding apparatus | |
KR20070014927A (en) | Method for scalably encoding and decoding video signal | |
JP2006319638A (en) | Content coding device, content coding program, content editing device and content editing program | |
JPH09307507A (en) | Transmission rate converter |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100304 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100304 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110303 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110315 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110405 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110426 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110511 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140520 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |