JP2007195080A - Moving image decoding device and moving image decoding program - Google Patents
Moving image decoding device and moving image decoding program Download PDFInfo
- Publication number
- JP2007195080A JP2007195080A JP2006013333A JP2006013333A JP2007195080A JP 2007195080 A JP2007195080 A JP 2007195080A JP 2006013333 A JP2006013333 A JP 2006013333A JP 2006013333 A JP2006013333 A JP 2006013333A JP 2007195080 A JP2007195080 A JP 2007195080A
- Authority
- JP
- Japan
- Prior art keywords
- picture
- data
- decoded
- decoding
- error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は動画像復号化装置及び動画像復号化プログラムに係り、特にブロック単位の直交変換と量子化と可変長符号化を使用して作成された動画像符号化データを復号する際に発生したエラー処理を行う動画像復号化装置及び動画像復号化プログラムに関する。 The present invention relates to a moving picture decoding apparatus and a moving picture decoding program, and particularly occurs when decoding moving picture encoded data created using block-unit orthogonal transform, quantization, and variable length coding. The present invention relates to a moving picture decoding apparatus and a moving picture decoding program that perform error processing.
符号化対象のディジタル動画像信号に対して、ブロック単位の直交変換と量子化と可変長符号化を使用して生成された動画像符号化データを、復号化と逆量子化と逆直交変換を用いて動画像信号に復号化する動画像復号化装置において、ブロックのエラーが検出された場合、そのブロックと次に復号する隣接ブロックとが独立して復号できないと識別された時は、隣接ブロックの動きベクトルと、上記のエラーが検出されたブロックの動きベクトルとして、例えば、そのブロックの画面上真上のブロックの動きベクトルを設定する動画像復号化装置が知られている(例えば、特許文献1参照)。 The encoded video data generated using block-level orthogonal transform, quantization, and variable length coding is decoded, dequantized, and inverse orthogonal transformed for the digital video signal to be encoded. When a block error is detected in a moving picture decoding apparatus using the decoding apparatus to decode a moving picture signal, if it is determined that the block and the next neighboring block to be decoded cannot be decoded independently, the neighboring block For example, there is known a video decoding device that sets a motion vector of a block immediately above the screen of the block in which the above error is detected and a motion vector of the block in which the above error is detected (for example, Patent Literature 1).
図6は上記の特許文献1記載の従来の動画像復号化装置の一例のブロック図を示す。同図において、復号部601は、入力符号化データを復号する。ここで、符号化データは1フレームがブロック毎に分割され、その各ブロック毎に符号化され、かつ、時間的に近傍のフレーム間で動き補償予測をブロック毎に行う方式で符号化されている。エラー検出部602は、復号部601で復号中にエラーがあるかどうかを検出する。エラーが検出されないときは、復号部601が現在復号しているブロックの動きベクトルを動きベクトル記憶部605に記憶し、そのまま動きベクトル設定部606を介して動き補償復号部607へ出力する。
FIG. 6 is a block diagram showing an example of a conventional moving picture decoding apparatus described in
動き補償復号部607は、入力された動きベクトルに従い、フレームメモリ608より時間的に近傍な予測画像データを読み出して加算器604へ出力する。加算器604は復号部601からの復号された差分画像データと、動き補償復号部607からの予測画像データとを加算して、復号画像データを生成して外部へ出力する一方、フレームメモリ608に格納する。
The motion
エラー検出部602でエラーが検出された場合、エラーの影響を抑えるために、エラー判定部603において、エラーが検出されたブロック以降のブロックの特性を解析し、解析の結果、現エラーブロックと独立して復号できる場合は、エラーが検出されたブロック以降のブロックは正常に復号処理を行うことができるため、復号部601に対して正常復号処理可能であることを示すエラー判定信号を送出し、現エラーブロックのみをエラー処理する。
When an error is detected by the
一方、解析の結果、現エラーブロックと独立して復号できない場合は、そのことを示すエラー判定信号を復号部601に供給し、復号部601で現在のエラーの影響が及ばない次の復号単位の直前までのすべてのブロックに対してもエラーブロックと見做して、動きベクトル記憶部605、動きベクトル設定部606を経由し、現エラーブロック(ここではマクロブロック:MB)に動きベクトル(Motion vector:MV)値を与える。
On the other hand, if the decoding cannot be performed independently of the current error block as a result of the analysis, an error determination signal indicating that fact is supplied to the
次に、エラーMBに関するMV値の補完方法に関して説明する。動きベクトル設定部606では、エラーMBがピクチャの境界で発生したかどうか判定し(図8のステップ801)、ピクチャの境界でない場合には、図7に示すように、エラーの起きたMBの真上のMBのMV値を補完に使用する(図8のステップ802)。
Next, a method for complementing the MV value related to the error MB will be described. The motion
しかし、エラーの起きたMBがピクチャの一番上部である場合、補完するMVのデータが存在しない。そこで特許文献1では、エラーしたMBがピクチャの最上部の場合、または、ピクチャ単位の場合、すなわち、ピクチャ境界である場合は、エラーの起きたMBの補完するMV値として(0,0)を設定する(図8のステップ803)。
However, if the error MB is at the top of the picture, there is no MV data to complement. Therefore, in
しかしながら、特許文献1記載の従来の動画像復号化装置では、復号化の際、ピクチャ単位のエラー(以下、エラーピクチャともいう)が生じた場合、また、スライス境界のMBでエラー(以下、エラー境界MBともいう)が生じた場合、MV値として(0,0)を補完する技術であるため、補完された画像データは以前に復号した参照ピクチャであり、動いている画像の場合、同じ画像が数枚続くことになり、復号画像が不自然な動きをする、という問題がある。
However, in the conventional moving picture decoding apparatus described in
また、特許文献1記載の従来の動画像復号化装置では、参照ピクチャ、非参照ピクチャの区別なくエラー処理を行っているため、参照ピクチャにエラーが発生した場合、前の復号画像をそのまま用いるので、復号化順で後の非参照ピクチャ、参照ピクチャに与える影響が大きい、という問題もある。
In addition, since the conventional moving picture decoding apparatus described in
本発明は以上の点に鑑みなされたもので、符号化した動画像を復号する際に発生したエラー処理をより効率的に行い、より自然な復号画像を得ることが可能な動画像復号化装置及び動画像復号化プログラムを提供することを目的とする。 The present invention has been made in view of the above points, and is a moving picture decoding apparatus capable of performing error processing generated when decoding a coded moving picture more efficiently and obtaining a more natural decoded picture. It is another object of the present invention to provide a moving picture decoding program.
上記の目的を達成するため、本発明の動画像復号化装置は、動画像信号の各画面を所定の画素数の画像領域であるブロック単位に分割して、ブロック単位に直交変換と量子化と可変長符号化を使用して生成された動画像符号化データであり、かつ、複数のブロックからなるピクチャ単位で構成されると共に、そのピクチャが他のピクチャの動きベクトル情報を参照して復号されるべき非参照ピクチャ、又はそのピクチャ自身の動きベクトル情報が他のピクチャの復号の際に参照される参照ピクチャを備えた動画像符号化データに対して、復号化と逆量子化と逆直交変換を施して復号画像データを生成する動画像復号化装置であって、
動画像符号化データを復号して復号化係数データと復号化MVデータとを出力する復号手段と、復号手段で復号される動画像符号化データの復号時にエラーが生じたか否かを検出するエラー検出手段と、エラー検出手段によりエラーが検出されたときは、エラーが検出されたエラータイプに応じて、動画像符号化データの復号化順を制御する復号化順制御手段と、復号化順を制御したことにより、復号化順制御手段から出力される制御信号に従い、復号手段から出力される復号化MVデータを保持するMV値保存手段と、MV値保存手段からのMVデータと復号手段からの復号化MVデータとを使用してMV値を算出するMV算出手段と、復号手段から出力された復号化係数データに対し、逆量子化及び逆変換を行って得られた画像データが非参照ピクチャであるときは、復号化済みの参照ピクチャデータとMV値算出手段からのMV値とから生成した動き補償画像データを加算して復号画像データを生成すると共に、参照ピクチャの復号画像データを復号化済みの参照ピクチャデータとして保存する復号画像データ生成手段と、エラーが検出されたピクチャの復号化MVデータに替えて、エラーが検出されたピクチャの表示順で前及び/又は後の参照ピクチャの復号化MVデータを、復号MV算出手段に供給してMV値を算出させるMVデータ補完手段とを有することを特徴とする。
In order to achieve the above object, the moving picture decoding apparatus according to the present invention divides each screen of a moving picture signal into block units, which are image areas having a predetermined number of pixels, and performs orthogonal transform and quantization on a block basis. It is encoded video data generated using variable-length encoding, and is composed of picture units consisting of multiple blocks, and the picture is decoded with reference to motion vector information of other pictures. Decoding, inverse quantization, and inverse orthogonal transform for moving picture encoded data having a non-reference picture to be referred to or a reference picture whose motion vector information of the picture itself is referenced when decoding another picture A video decoding device that generates decoded image data by applying
Decoding means for decoding moving image encoded data and outputting decoded coefficient data and decoded MV data, and an error for detecting whether an error has occurred during decoding of the moving image encoded data decoded by the decoding means When an error is detected by the detection means, the error detection means, a decoding order control means for controlling the decoding order of the moving image encoded data according to the error type in which the error is detected, and a decoding order By controlling, in accordance with the control signal output from the decoding order control means, the MV value storage means for holding the decoded MV data output from the decoding means, the MV data from the MV value storage means, and the decoding means MV calculation means for calculating an MV value using the decoded MV data, and image data obtained by performing inverse quantization and inverse transform on the decoded coefficient data output from the decoding means When it is a reference picture, motion-compensated image data generated from the decoded reference picture data and the MV value from the MV value calculation means is added to generate decoded image data, and the decoded image data of the reference picture is Decoded image data generating means for storing as decoded reference picture data, and reference pictures before and / or after in the display order of pictures in which errors are detected, instead of decoded MV data of pictures in which errors are detected MV data complementing means for supplying the decrypted MV data to the decrypted MV calculating means to calculate the MV value.
また、上記の目的を達成するため、本発明の動画像復号化プログラムは、コンピュータを、第1の発明の動画像復号化装置の各構成手段として機能させることを特徴とする。 In order to achieve the above object, a moving picture decoding program according to the present invention causes a computer to function as each component of the moving picture decoding apparatus according to the first invention.
本発明の動画像復号化装置及び動画像復号化プログラムでは、復号時にエラーが生じたことを検出した時は、エラーが検出されたピクチャの復号化MVデータに替えて、エラーが検出されたピクチャの表示順で前及び/又は後の参照ピクチャの復号化MVデータを、復号画像データ生成手段に供給して動き補償画像データを生成させるようにしたため、適切な復号化MV値を補完して動き補償画像データを適切に生成することができる。 In the moving picture decoding apparatus and the moving picture decoding program of the present invention, when it is detected that an error has occurred during decoding, the picture in which the error is detected is replaced with the decoded MV data of the picture in which the error has been detected. Since the decoded MV data of the reference picture before and / or after in the display order is supplied to the decoded image data generating means to generate the motion compensated image data, the motion is complemented with an appropriate decoded MV value. Compensation image data can be generated appropriately.
すなわち、本発明ではピクチャ単位、または、スライス境界のブロックでエラーが起きた際に、復号化順で前後の参照ピクチャの該当する位置のブロックの復号化MVデータを使用することにより、エラーピクチャ、またはエラー境界ブロックに適切なMV値を与えることができる。 That is, according to the present invention, when an error occurs in a picture unit or a block at a slice boundary, the error picture, by using the decoded MV data of the block at the corresponding position of the reference picture before and after in the decoding order, Or an appropriate MV value can be given to the error boundary block.
本発明によれば、復号時にエラーが生じたことを検出した時は、エラーが検出されたピクチャの復号化MVデータに替えて、エラーが検出されたピクチャの表示順で前及び/又は後の参照ピクチャの復号化MVデータを、復号画像データ生成手段に供給して動き補償画像データを生成させることにより、適切な復号化MV値を用いて動き補償画像データを適切に生成するようにしたため、一定の動きをしている動画像では、特許文献1の復号画像に対して、より自然な復号画像となり、大きな主観画質改善が得られ、また、動きの検出が難しい動画像では、適切なMV値を与えることはできないが、特許文献1と同等の復号画像が得られる。
According to the present invention, when it is detected that an error has occurred during decoding, instead of the decoded MV data of the picture in which the error has been detected, before and / or after in the display order of the picture in which the error has been detected. Since the decoded MV data of the reference picture is supplied to the decoded image data generation unit to generate the motion compensated image data, the motion compensated image data is appropriately generated using an appropriate decoded MV value. A moving image having a constant motion is a more natural decoded image than the decoded image of
また、本発明によれば、参照ピクチャがエラーピクチャ、またはエラー境界MBである場合には、復号化順を制御し、より的確なMV値を補完することができるため、特許文献1のエラー処理後の参照ピクチャ、及び非参照ピクチャと比較して、本発明のエラー処理後の参照ピクチャ、及び非参照ピクチャの方が自然な復号画像を得られるので、エラー検出ピクチャ以降の非参照ピクチャ、参照ピクチャに与える影響も小さく、課題であった全体的な動画像の不自然さを大きく改善することができる。 Also, according to the present invention, when the reference picture is an error picture or an error boundary MB, the decoding order can be controlled and more accurate MV values can be complemented. Compared with the later reference picture and the non-reference picture, the reference picture after error processing of the present invention and the non-reference picture can obtain a more natural decoded picture, so the non-reference picture and the reference after the error detection picture The influence on the picture is small, and the unnaturalness of the entire moving image, which has been a problem, can be greatly improved.
次に、本発明の一実施の形態について図面と共に説明する。図1は本発明になる動画像復号化装置の一実施の形態のブロック図、図2は本発明になる動画像復号化プログラムによりコンピュータで復号化動作するときの一実施の形態のフローチャートを示す。図1に示すように、本実施の形態は、動画像信号の一画面を複数の画素数からなる画像領域であるブロック単位の直交変換と量子化と可変長符号化とを使用した、MPEG等の符号化方式で符号化して得た動画像符号化データのデータ系列であるビットストリーム101に対して復号化を行う装置であって、ビットストリーム101を保持するメモリ102と、メモリ102からの動画像符号化データを復号する復号部103と、復号部103からの復号データを逆量子化する逆量子化部104と、符号化部側の直交変換とは逆変換を行う逆変換部105と、少なくともメモリ102に出力すべき符号化データを指示する復号順制御部112を有する。また、動画像復号化装置は、加算器107と、エラー処理部108と、MV算出部109と、MC部110と、フレームメモリ111と、MV値保存部113とを有する。
Next, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram of an embodiment of a moving picture decoding apparatus according to the present invention, and FIG. 2 is a flowchart of an embodiment when a computer performs a decoding operation using the moving picture decoding program according to the present invention. . As shown in FIG. 1, in this embodiment, MPEG or the like using orthogonal transform, quantization, and variable length coding, which is an image area consisting of a plurality of pixels, on one screen of a moving image signal. A device that decodes a
メモリ102は、保持したビットストリーム101を、復号順制御部112からの制御信号に基づいて、ビットストリーム101を構成する動画像符号化データを復号部103へ出力する。復号部103は、メモリ102から入力された動画像符号化データを復号する。復号部103は、動画像符号化データの復号ができない場合、すなわち、動画像符号化データにピクチャ単位又はスライスの最上部の位置の任意のブロック単位でエラーが生じた場合は、エラー処理部108にエラーを報告し、復号ができている場合は、逆量子化部104に復号して得られた係数データを出力し、MV算出部109に復号して得られたMV値データを出力する。逆量子化部104は、復号部103から入力される係数データを逆量子化し、得られたデータを逆変換部105へ出力して、符号化時の直交変換とは逆変換を行わせる。
The
エラー処理部108は、復号部103でエラーと判断された場合に、エラーピクチャデータ、又はエラー境界MBデータが入力され、後述するエラー処理を行う。MV算出部109は、復号されたMV値データ及びMV値保存部113より入力されるMV値データを使用し、算出該当MBの周辺情報などを使用してMV値を算出する。また、非参照ピクチャでは、非参照ピクチャの前後の参照ピクチャのMV値を使用して、MV値を算出することもできる。MV算出部109は、算出したMV値をMC部110に出力する。また、算出したMV値のピクチャが参照ピクチャである場合は、MV値保存部113にもMV値データを出力する。エラー処理におけるMV値補完に関しては、後に詳しく説明する。
When the
MC部110は、MV算出部109で算出されるMV値と、フレームメモリ111より入力される参照ピクチャとを使用してMC画像(動き補償画像)を作成し、作成したMC画像を加算器107に供給して逆変換部105から出力されるデータと加算させて復号画像出力106を生成させる。フレームメモリ111は加算器107より入力される復号化された画像データを保持すると共に、必要に応じてMC部110へ復号画像データを出力する。なお、参照ピクチャはそのピクチャ自身の動きベクトル情報が他のピクチャの復号の際に参照されるピクチャで、MC画像を生成するために用いられる一画面分の画像データであり、非参照ピクチャはそのピクチャが他のピクチャの動きベクトル情報を参照して復号されるべきピクチャで、MC画像を生成するためには使用されない一画面分の画像データである。
The
復号順制御部112は、エラー処理部108で復号化順を制御する必要がある場合に、メモリ102から復号部103への動画像符号化データの出力を制御する。MV値保存部113は、MV算出部109から入力されるMV値データを保持し、必要に応じて、保持しているMV値データをMV算出部109へ出力する。
The decoding order control unit 112 controls the output of moving image encoded data from the
なお、本実施の形態では、MV値保存部113が保存するMV値データは、直前の参照ピクチャとしているが、本発明はこれに限らない。また、面内予測を行うブロックのMV値には(0,0)をセットする。保存するMV値データのデータ構造は(イントラ/インタースライス判別フラグ、ピクチャ番号、ピクチャ内のMV値)からなるものとする(以下、このデータ構造を「データ構造1」とする)。
In the present embodiment, the MV value data stored by the MV
次に、図1の実施の形態の動作について、図2のフローチャートを併せ参照して説明する。図1のメモリ102は、動画像符号化データが時系列的に合成されている入力ビットストリーム101を保存し(図2のステップ201の処理1)、保存したビットストリーム101の動画像符号化データを出力する(図2のステップ202の処理2)。続いて、図1の復号部103により入力された動画像符号化データの復号が行われる(図2のステップ203の処理3)。
Next, the operation of the embodiment of FIG. 1 will be described with reference to the flowchart of FIG. The
復号部103は上記の復号が正常に行われたかどうかを判断し(図2のステップ204の分岐1)、復号が正常に行われなかったと判断した場合は、エラー処理部108により後述するエラー処理を行わせ(図2のステップ205)、そのエラー処理にて選択されたピクチャのMV値を使用し、MV算出部109によりエラーピクチャのMV値を算出する(図2のステップ206の処理4)。続いて、上記の処理4で算出されたエラーピクチャのMV値と、フレームメモリ111からの復号化された画像データとを使用して、復号画像データを生成する(図2のステップ207の処理5)。
The
他方、ステップ204の分岐1にて復号が正常に行われたと判断された場合は、MPEG(Moving Picture Experts Group)に代表される一般的な復号処理が行われる(図2のステップ208の処理8)。すなわち、このステップ208の処理8では、復号部103から復号されて出力された係数データが逆量子化部104で逆量子化された後、逆変換部105で逆変換された後加算器107に供給される一方、復号部103から復号されて出力されたMVデータがMV算出部109によりMV値として算出された後MC部110に供給され、ここでフレームメモリ111より入力される参照ピクチャを使用してMC画像が作成されて加算器107に供給される。これにより、加算器107からは復号画像出力106が出力され、また必要に応じてフレームメモリ111に格納される。
On the other hand, when it is determined that the decoding has been normally performed in
上記のステップ207の処理5又はステップ208の処理8が終了すると、作成した復号画像が参照ピクチャであるかどうか判定され(図2のステップ209の分岐2)、作成した復号画像が参照ピクチャであると判定されたときは、MC部110でのMC画像作成時に用いたMV値をMV値保存部113に保存し、この際、面内予測を行うブロックのMV値には(0,0)をセットする(図2のステップ210の処理7)。ステップ209の分岐2で作成した復号画像が参照ピクチャではない(非参照ピクチャである)と判定されたときは、処理7を行わずに復号化処理を終了する。
When the process 5 in
次に、図3のフローチャートと共に図1のエラー処理部108によるエラー処理(図2のステップ205)について、更に詳細に説明する。エラー処理部108はエラータイプを判別し(図3のステップ301)、判別した各エラータイプに応じたMV値補完処理を行う(図3のステップ302)。
Next, the error processing (step 205 in FIG. 2) by the
上記のステップ301のエラータイプ判別処理について、図4及び図5を使用して更に説明する。まず、エラーピクチャ及びエラー境界MBが参照ピクチャである場合、図4に示すように、タイプ1、タイプ2をMV値保存部113に保存されているデータ構造1のデータを使用してエラータイプを判別する。図4では、I0、B1、P2、B3、P4、B5の順でピクチャが表示されるものとする。ここで、I0は面内予測符号化画像(Iピクチャ)、P2、P4は片側方向予測符号化画像(Pピクチャ)を示し、これらは参照ピクチャとなる。一方、B1、B3、B5は双方向予測符号化画像(Bピクチャ)を示し、非参照ピクチャとなる。また、図4において、ピクチャタイプを示すI、P、Bの次の数字は、表示の順番を示す(後述する図5も同様)。
The error type determination process in
次に、図4のタイプ1について説明する。タイプ1は参照ピクチャであるP2ピクチャでエラーが起きている場合であり、P2ピクチャの前に補完する基準となるMV値が保存されていない場合である。MV値保存部113には、データ構造1の(イントラフラグ、ピクチャ番号(0)、MV値(0,0)・・・)が保持されている。よって、タイプ1の場合は、P4ピクチャの復号化後のMV値を使用してP2ピクチャのMV値を補完する。つまり、タイプ1では、P2ピクチャでエラーが発生し、MV値を補完する際に使用するピクチャデータの対象がP4ピクチャである。タイプ1では、復号化順が通常通りの復号化順ではないため、復号順制御部112にて、復号化順をP4→P2→B1→B3とする。
Next,
次に、図4のタイプ2について説明する。タイプ2は参照ピクチャであるP4ピクチャでエラーが起きている場合であり、P4ピクチャの前に補完する基準となるMV値を持ったP2ピクチャが存在しているので、P2ピクチャのMV値を使用し、P4ピクチャのMV値を補完する。タイプ2では復号化順を操作する必要はない。
Next,
次に、エラーピクチャ及びエラー境界MBが非参照ピクチャである場合、エラー処理部108は図5に示すように、タイプA、タイプB、タイプCをMV値保存部113に保存されているデータ構造1のデータを使用してエラータイプを判別する。図5では、I0、B1、P2、B3、P4、B5、I6の順でピクチャが表示されるものとする。エラーピクチャ及びエラー境界MBが非参照ピクチャである場合は復号化順を制御する必要はない。
Next, when the error picture and the error boundary MB are non-reference pictures, the
図5のタイプAについて説明する。タイプAは非参照ピクチャであるB1ピクチャでエラーが起きている場合であり、B1ピクチャの前のI0ピクチャに補完する基準となるMV値が存在しない場合であるので、B1ピクチャの後のP2ピクチャのMV値のみを使用し、B1ピクチャのMV値を補完する。 The type A in FIG. 5 will be described. Type A is a case where an error has occurred in the B1 picture that is a non-reference picture, and is a case where there is no MV value serving as a reference for complementing the I0 picture before the B1 picture, so the P2 picture after the B1 picture Only the MV value of the B1 picture is used.
図5のタイプBは、非参照ピクチャであるB3ピクチャでエラーが起きている場合であり、B3ピクチャの前のP2ピクチャ及び後のP4ピクチャ共にMV値が存在するので、これらP2ピクチャとP4ピクチャの両方のMV値を使用し、B3ピクチャのMV値を補完する。なお、使用できる前後のピクチャでエラーピクチャとより近い方のピクチャをMV値補完ピクチャとしてもよい。 Type B in FIG. 5 is a case where an error has occurred in a B3 picture that is a non-reference picture. Since there are MV values in both the P2 picture before and after the B3 picture, these P2 picture and P4 picture Both MV values are used to complement the MV value of the B3 picture. It should be noted that a picture closer to the error picture that can be used before and after can be used as an MV value complemented picture.
図5のタイプCは、非参照ピクチャであるB5ピクチャでエラーが起きている場合であり、B5ピクチャの前のP4ピクチャのMV値は存在するが、B5ピクチャの後のI6ピクチャのMV値が存在しない場合であるので、P4ピクチャのMV値を使用してB5ピクチャのMV値を補完する。 Type C in FIG. 5 is a case where an error has occurred in a B5 picture that is a non-reference picture, and there is an MV value of a P4 picture before the B5 picture, but an MV value of an I6 picture after the B5 picture is Since it does not exist, the MV value of the B4 picture is complemented using the MV value of the P4 picture.
次に、図3のステップ302の処理について更に説明する。ステップ302は、ステップ301で判別したエラータイプに応じたMV値補完を行うステップであり、[データ構造2]のデータを作成し、MV算出部109にそのデータを出力する。なお、図5のタイプBに関して、補完MVピクチャを前後の参照ピクチャを使用して作成する場合は、[データ構造2’]のデータを作成する。ここで、
[データ構造2] : (エラーピクチャ番号、補完MVピクチャ番号)
[データ構造2’] : (エラーピクチャ番号、補完MVピクチャ番号(前)、補完ピ
クチャ番号(後))
である。
Next, the process of
[Data structure 2]: (Error picture number, complementary MV picture number)
[
Kucha number (after)
It is.
このように、本実施の形態では、参照ピクチャにエラーが発生した場合、前の復号画像がMV値を有している場合、タイプ2を使用し、MV値を有しない場合、タイプ1を使用し、MV値を補完する。また、非参照ピクチャにエラーが発生した場合、ピクチャ間隔が近い参照ピクチャのMV値を使用する。ピクチャ間隔が近い参照ピクチャがMV値を有していない場合は、もう片方の参照ピクチャのMV値を使用する。また、エラーピクチャが非参照ピクチャである場合、前後の参照ピクチャを使用する場合は、前後の参照ピクチャを使用し、MV値を求める。
Thus, in this embodiment, when an error occurs in the reference picture,
次に、MV算出部109のエラー処理に関するMV値補完動作について説明する。MV算出部109は、エラー処理部108から入力されるエラータイプに応じたデータ構造のデータ、及びMV値保存部113に保存されているMV値データを使用して、補完するMV値を算出する。なお、通常の処理はMPEGに代表されるMV値の算出方法と同様であるため、説明を省略する。MV算出部109は、エラーピクチャが参照ピクチャである場合は、タイプ1、タイプ2に限らず、補完MVピクチャの該当するブロックからMV値を取得し、それを補完MV値とする。
Next, the MV value complementing operation related to error processing of the
MV算出部109は、エラーピクチャが非参照ピクチャである場合は、以下に示す数式によって補完するMV値を算出する。ここで、エラーピクチャ番号をN、補完MVピクチャ番号をMとし、補完MVピクチャの該当するブロックのMV値がMV(X,Y)であるとすると、エラーピクチャの同位置の補完するMV値MV(X’,Y’)は次式により算出される。
When the error picture is a non-reference picture, the
N<Mの場合: MV(X’,Y’)=MV(X,Y)÷(M−N+1) (1)
N>Mの場合: MV(X’,Y’)=MV(X,Y)×(N−M+1) (2)
なお、上記の実施の形態では、非参照ピクチャのMV値を補完する場合に、距離の近い参照ピクチャを選択し、選択した参照ピクチャのみを使用してMV値を補完したが、図5のタイプBの場合に、(1)式と(2)式の両方を使用して、補完するMV値を算出してもよい。
When N <M: MV (X ′, Y ′) = MV (X, Y) ÷ (M−N + 1) (1)
When N> M: MV (X ′, Y ′) = MV (X, Y) × (N−M + 1) (2)
In the above embodiment, when complementing the MV value of a non-reference picture, a reference picture with a short distance is selected, and the MV value is supplemented using only the selected reference picture. In the case of B, the MV value to be complemented may be calculated by using both the expressions (1) and (2).
なお、本発明は、上記装置の機能をコンピュータに実現させるためのプログラムを含むものである。このプログラムは、記録媒体から読みとられてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。 The present invention includes a program for causing a computer to realize the functions of the above apparatus. This program may be read from a recording medium and loaded into a computer, or may be transmitted via a communication network and loaded into a computer.
また、以上の実施の形態では、Iピクチャ及びPピクチャを参照ピクチャとし、Bピクチャを非参照ピクチャとして説明したが、本発明はこれに限定されるものではなく、符号化規格(例えば、H.264規格)によっては、Bピクチャでも参照ピクチャとなり得、また、Pピクチャを非参照ピクチャと設定することも可能である。 In the above embodiment, the I picture and the P picture are described as reference pictures and the B picture is described as a non-reference picture. However, the present invention is not limited to this, and an encoding standard (for example, H.264) is used. Depending on the H.264 standard), even a B picture can be a reference picture, and a P picture can be set as a non-reference picture.
エラー処理が必要とされる通信機器、モバイル機器などで使用される動画像復号化装置に有効である。 This is effective for a moving picture decoding apparatus used in a communication device, a mobile device or the like that requires error processing.
101 入力ビットストリーム
102 メモリ
103 復号部
104 逆量子化部
105 逆変換部
106 復号画像出力
107 加算器
108 エラー処理部
109 MV算出部
110 動き補償部(MC部)
111 フレームメモリ
112 復号順制御部
113 MV値保存部
101
111 Frame memory 112 Decoding
Claims (2)
前記動画像符号化データを復号して復号化係数データと復号化MVデータとを出力する復号手段と、
前記復号手段で復号される前記動画像符号化データの復号時に、エラーが生じたか否かを検出するエラー検出手段と、
前記エラー検出手段によりエラーが検出されたときは、エラーが検出されたエラータイプに応じて、前記動画像符号化データの復号化順を制御する復号化順制御手段と、
前記復号化順を制御したことにより、前記復号化順制御手段から出力される制御信号に従い、前記復号手段から出力される前記復号化MVデータを保持するMV値保存手段と、
前記MV値保存手段からのMVデータと前記復号手段からの前記復号化MVデータとを使用してMV値を算出するMV算出手段と、
前記復号手段から出力された前記復号化係数データに対し、前記逆量子化及び前記逆変換を行って得られた画像データが前記非参照ピクチャであるときは、復号化済みの参照ピクチャデータと前記MV値算出手段からのMV値とから生成した動き補償画像データを加算して復号画像データを生成すると共に、前記参照ピクチャの復号画像データを前記復号化済みの参照ピクチャデータとして保存する復号画像データ生成手段と、
前記エラーが検出されたピクチャの前記復号化MVデータに替えて、前記エラーが検出されたピクチャの表示順で前及び/又は後の参照ピクチャの復号化MVデータを、前記復号MV算出手段に供給して前記MV値を算出させるMVデータ補完手段と
を有することを特徴とする動画像復号化装置。 Each picture of the video signal is divided into block units that are image areas of a predetermined number of pixels, and the encoded video data generated by using orthogonal transform, quantization, and variable length coding for each block unit. A non-reference picture to be decoded with reference to the motion vector information of another picture, or the motion vector information of the picture itself A moving image decoding apparatus that generates decoded image data by performing decoding, inverse quantization, and inverse orthogonal transform on moving image encoded data including a reference picture that is referred to when decoding a picture. ,
Decoding means for decoding the moving image encoded data and outputting decoded coefficient data and decoded MV data;
Error detecting means for detecting whether an error has occurred during decoding of the moving image encoded data decoded by the decoding means;
When an error is detected by the error detection unit, a decoding order control unit that controls a decoding order of the moving image encoded data according to an error type in which the error is detected;
MV value storing means for holding the decoded MV data output from the decoding means in accordance with a control signal output from the decoding order control means by controlling the decoding order;
MV calculation means for calculating an MV value using the MV data from the MV value storage means and the decoded MV data from the decoding means;
When the image data obtained by performing the inverse quantization and the inverse transform on the decoded coefficient data output from the decoding means is the non-reference picture, the decoded reference picture data and the Decoded image data for generating the decoded image data by adding the motion compensated image data generated from the MV value from the MV value calculating means, and storing the decoded image data of the reference picture as the decoded reference picture data Generating means;
In place of the decoded MV data of the picture in which the error is detected, the decoded MV data of the reference picture before and / or after in the display order of the picture in which the error is detected is supplied to the decoded MV calculation means. And a MV data complementing means for calculating the MV value.
前記コンピュータを、
前記動画像符号化データを復号して復号化係数データと復号化MVデータとを出力する復号手段と、
前記復号手段で復号される前記動画像符号化データの復号時にエラーが生じたか否かを検出するエラー検出手段と、
前記エラー検出手段によりエラーが検出されたときは、エラーが検出されたエラータイプに応じて、前記動画像符号化データの復号化順を制御する復号化順制御手段と、
前記復号化順を制御したことにより、前記復号化順制御手段から出力される制御信号に従い、前記復号手段から出力される前記復号化MVデータを保持するMV値保存手段と、
前記MV値保存手段からのMVデータと前記復号手段からの前記復号化MVデータとを使用してMV値を算出するMV算出手段と、
前記復号手段から出力された前記復号化係数データに対し、前記逆量子化及び前記逆変換を行って得られた画像データが前記非参照ピクチャであるときは、復号化済みの参照ピクチャデータと前記MV値算出手段からのMV値とから生成した動き補償画像データを加算して復号画像データを生成すると共に、前記参照ピクチャの復号画像データを前記復号化済みの参照ピクチャデータとして保存する復号画像データ生成手段と、
前記エラーが検出されたピクチャの前記復号化MVデータに替えて、前記エラーが検出されたピクチャの表示順で前及び/又は後の参照ピクチャの復号化MVデータを、前記復号MV算出手段に供給して前記MV値を算出させるMVデータ補完手段と
して機能させることを特徴とする動画像復号化プログラム。
Each picture of the video signal is divided into block units that are image areas of a predetermined number of pixels, and the encoded video data generated by using orthogonal transform, quantization, and variable length coding for each block unit. A non-reference picture to be decoded with reference to the motion vector information of another picture, or the motion vector information of the picture itself Using a computer, decoding that generates decoded image data by performing decoding, inverse quantization, and inverse orthogonal transform on moving image encoded data including a reference picture that is referred to when decoding a picture is performed. A moving picture decoding program to be realized,
The computer,
Decoding means for decoding the moving image encoded data and outputting decoded coefficient data and decoded MV data;
Error detecting means for detecting whether an error has occurred during decoding of the moving image encoded data decoded by the decoding means;
When an error is detected by the error detection unit, a decoding order control unit that controls a decoding order of the moving image encoded data according to an error type in which the error is detected;
MV value storing means for holding the decoded MV data output from the decoding means in accordance with a control signal output from the decoding order control means by controlling the decoding order;
MV calculation means for calculating an MV value using the MV data from the MV value storage means and the decoded MV data from the decoding means;
When the image data obtained by performing the inverse quantization and the inverse transform on the decoded coefficient data output from the decoding means is the non-reference picture, the decoded reference picture data and the Decoded image data for generating the decoded image data by adding the motion compensated image data generated from the MV value from the MV value calculating means, and storing the decoded image data of the reference picture as the decoded reference picture data Generating means;
In place of the decoded MV data of the picture in which the error is detected, the decoded MV data of the reference picture before and / or after in the display order of the picture in which the error is detected is supplied to the decoded MV calculation means. Then, the moving picture decoding program is made to function as MV data complementing means for calculating the MV value.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006013333A JP2007195080A (en) | 2006-01-23 | 2006-01-23 | Moving image decoding device and moving image decoding program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006013333A JP2007195080A (en) | 2006-01-23 | 2006-01-23 | Moving image decoding device and moving image decoding program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007195080A true JP2007195080A (en) | 2007-08-02 |
Family
ID=38450392
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006013333A Pending JP2007195080A (en) | 2006-01-23 | 2006-01-23 | Moving image decoding device and moving image decoding program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007195080A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116664555A (en) * | 2023-07-26 | 2023-08-29 | 瀚博半导体(上海)有限公司 | Neural network slice deployment method and system in real-time application scene |
-
2006
- 2006-01-23 JP JP2006013333A patent/JP2007195080A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116664555A (en) * | 2023-07-26 | 2023-08-29 | 瀚博半导体(上海)有限公司 | Neural network slice deployment method and system in real-time application scene |
CN116664555B (en) * | 2023-07-26 | 2024-02-06 | 瀚博半导体(上海)有限公司 | Neural network slice deployment method and system in real-time application scene |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10382778B2 (en) | Method for motion vector storage in video coding and apparatus thereof | |
JP5144545B2 (en) | Moving picture codec apparatus and method | |
JP2003299102A (en) | B picture mode determining method in video encoding system and apparatus thereof | |
JP2010041354A (en) | Moving image coding method, coding device and coding program | |
JP2008219876A (en) | Moving image encoding device, moving image encoding method and moving image decoding device | |
JPWO2010100672A1 (en) | Compressed video encoding device, compressed video decoding device, compressed video encoding method, and compressed video decoding method | |
JPH07112284B2 (en) | Predictive encoding device and decoding device | |
JP2009284331A (en) | Decoding device and decoding method, and program | |
JP2013115583A (en) | Moving image encoder, control method of the same, and program | |
JP4284265B2 (en) | Moving picture coding apparatus, moving picture coding method, moving picture decoding apparatus, and moving picture decoding method | |
JP2006148615A (en) | Decoding device and program for making computer execute encoding method | |
JP4357560B2 (en) | Moving picture coding apparatus, moving picture coding method, and moving picture coding program | |
JP2010258576A (en) | Scene change detector, and video recorder | |
JP2006246277A (en) | Re-encoding apparatus, re-encoding method, and re-encoding program | |
JP2006203597A (en) | Digital image decoder and decoding method | |
JP4514666B2 (en) | Video encoding device | |
JPH11308617A (en) | Digital image coder and motion vector detector used therefor | |
JP2009218965A (en) | Image processor, imaging device mounted with the same and image reproduction device | |
JP2007195080A (en) | Moving image decoding device and moving image decoding program | |
JP6221820B2 (en) | Encoding apparatus, encoding method, and encoding program | |
JP2009302786A (en) | Video decoding device and method | |
JP4133581B2 (en) | Telop synthesis device, telop synthesis method, and telop synthesis program | |
JP4700992B2 (en) | Image processing device | |
JP2012120108A (en) | Interpolation image generating apparatus and program, and moving image decoding device and program | |
US20230145525A1 (en) | Image encoding apparatus and image decoding apparatus both using artificial intelligence, and image encoding method and image decoding method performed by the image encoding apparatus and the image decoding apparatus |