JP2010028436A

JP2010028436A - Dynamic image decoding apparatus, program, and simplified decoding method

Info

Publication number: JP2010028436A
Application number: JP2008187192A
Authority: JP
Inventors: Michiyo Morimoto; 美智代森本; Yuji Kawashima; 裕司川島
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2008-07-18
Filing date: 2008-07-18
Publication date: 2010-02-04

Abstract

<P>PROBLEM TO BE SOLVED: To provide a dynamic image decoding apparatus having actualized reduction of load required for digital process of the dynamic image under the condition that deterioration in image quality is suppressed in the side of receiving and decoding the dynamic image. <P>SOLUTION: A video decoder application program 300 for reproducing a dynamic image stream encoded with the compression-encoding method by the system conforming to the specification MPEG-2 checks, in unit of slice, the number of skip macro-blocks in the B frame as the non-reference frame to determine whether it is equal to or larger than the predetermined number. When it is detected that the number of skip macro-blocks is equal to or larger than the predetermined number, reduction of load can be actualized by setting all macro-blocks other than the starting and ending macro-blocks within the slice to the skip macro-block. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

この発明は、例えばデジタル放送番組データを記録・再生するＴＶ機能を有するパーソナルコンピュータ等に適用して好適な動画像ストリームの復号制御技術に関する。 The present invention relates to a moving image stream decoding control technique suitable for application to, for example, a personal computer having a TV function for recording / reproducing digital broadcast program data.

近年、動画像をデジタルデータとして取扱い可能な電子機器が種々利用されている。例えば無線ネットワーク機能を有するモバイル型の電子機器を携行すれば、ユーザは、外出先や移動中においても、最新のニュース映像等を観ることができる。また、最近では、デジタルテレビジョン放送番組データを視聴・録画・再生するＴＶ機能を備えたパーソナルコンピュータ等も普及し始めている。 In recent years, various electronic devices that can handle moving images as digital data have been used. For example, if a mobile electronic device having a wireless network function is carried, the user can watch the latest news video and the like even when the user is away from home or moving. Recently, personal computers equipped with a TV function for viewing / recording / reproducing digital television broadcast program data have begun to spread.

動画像のデジタル処理、即ち、動画像の符号化、送受信、復号は、プロセッサやネットワーク等に大きな負荷を強いるものである。このようなことから、動画像のデジタル処理に係わる負荷を低減するための仕組みが、これまでも様々提案されている（例えば特許文献１等参照）。
特開２００４−３５７２０５号公報 Digital processing of moving images, that is, encoding, transmission / reception, and decoding of moving images imposes a heavy load on a processor, a network, and the like. For this reason, various mechanisms for reducing the load related to digital processing of moving images have been proposed (see, for example, Patent Document 1).
JP 2004-357205 A

ところで、上記特許文献１を含む、これまで提案されてきた仕組みは、動画像を符号化・送信する側が、その時々の状況に応じて、必要であれば、負荷低減のための処理を施すというものであった。換言すれば、動画像を受信・復号する側において、主体的かつ適応的に負荷低減を図るというものではなかった。 By the way, the mechanism proposed so far, including the above-mentioned Patent Document 1, is that the side that encodes and transmits the moving image performs processing for reducing the load, if necessary, according to the situation at that time. It was a thing. In other words, it is not intended to reduce the load independently and adaptively on the side of receiving and decoding a moving image.

この発明は、このような事情を考慮してなされたものであり、動画像を受信・復号する側において、画質劣化を抑えつつ、動画像のデジタル処理に係わる負荷を低減することを実現した動画像復号装置、プログラムおよび動画像復号装置の復号処理簡略化方法を提供することを目的とする。 The present invention has been made in consideration of such circumstances, and a moving image that realizes reducing the load related to digital processing of moving images while suppressing deterioration of image quality on the side of receiving and decoding moving images. An object of the present invention is to provide an image decoding device, a program, and a decoding processing simplification method for the moving image decoding device.

前述の目的を達成するために、この発明の動画像復号装置は、各画像をマトリックス状に分割して生成されるｎ×ｎ画素のマクロブロック単位に符号化された動画像ストリームを入力する入力手段と、前記入力手段により入力された動画像ストリーム中の復号対象画像が他の画像の復号時に参照されない双方向予測符号化画像か否かを判定するフレーム判定手段と、前記フレーム判定手段により双方向予測符号化画像と判定された場合、前記マクロブロックを行方向に並べて構成されるスライス毎に、独自の符号化情報を持たないスキップマクロブロックが予め定められた数以上存在するか否かを判定するスライス解析手段と、前記スライス解析手段によりスキップマクロブロックが予め定められた数以上存在すると判定された場合、そのスライス内の先頭および最後のマクロブロック以外のすべてのマクロブロックをスキップマクロブロックに設定するスライス編集手段と、を具備することを特徴とする。 In order to achieve the above-mentioned object, the moving picture decoding apparatus according to the present invention inputs an input of a moving picture stream encoded in units of macro blocks of n × n pixels generated by dividing each picture into a matrix. And a frame determination unit that determines whether or not the decoding target image in the moving image stream input by the input unit is a bi-predictive encoded image that is not referred to when decoding other images, and the frame determination unit. If it is determined as a direction prediction encoded image, whether or not there are a predetermined number or more skip macroblocks having no unique encoding information for each slice configured by arranging the macroblocks in the row direction. If it is determined by the slice analysis unit to determine that there are more than a predetermined number of skip macroblocks, the slice analysis unit Characterized by comprising a slice editing means for setting all of the macroblocks beginning and other than the last macroblock in the chair to the skip macro block.

この発明によれば、動画像を受信・復号する側において、画質劣化を抑えつつ、動画像のデジタル処理に係わる負荷を低減することを実現できる。 According to the present invention, on the side of receiving and decoding a moving image, it is possible to reduce the load related to digital processing of the moving image while suppressing image quality deterioration.

以下、図面を参照して、本発明の実施形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

まず、図１および図２を参照して、本発明の一実施形態に係る動画像復号装置の構成を説明する。本実施形態の動画像復号装置は、例えばノートブックタイプのパーソナルコンピュータ１０として実現される。 First, with reference to FIG. 1 and FIG. 2, the structure of the moving image decoding apparatus which concerns on one Embodiment of this invention is demonstrated. The moving picture decoding apparatus according to the present embodiment is realized as a notebook type personal computer 10, for example.

このコンピュータ１０は、例えばネットワークを介して受信し、または、記録メディアから読み出した、ＭＰＥＧ（moving picture experts group）−２規格に準拠した方式で圧縮符号化された動画像ストリームを再生する機能を有している。この機能は、コンピュータ１０に例えばプリインストールされるビデオデコーダアプリケーションプログラムによって実現される。 The computer 10 has a function of reproducing a moving image stream that has been compression-encoded by a method compliant with the MPEG (moving picture experts group) -2 standard, for example, received via a network or read from a recording medium. is doing. This function is realized by a video decoder application program preinstalled in the computer 10, for example.

図１は、このコンピュータ１０のディスプレイユニットを開いた状態における斜視図である。本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成される。ディスプレイユニット１２には、ＬＣＤ（Liquid Crystal Display）１３によって構成される表示装置が組み込まれている。 FIG. 1 is a perspective view of the computer 10 with the display unit opened. The computer 10 includes a computer main body 11 and a display unit 12. The display unit 12 incorporates a display device constituted by an LCD (Liquid Crystal Display) 13.

ディスプレイユニット１２は、コンピュータ本体１１に対し、コンピュータ本体１１の上面が露出される開放位置とコンピュータ本体１１の上面を覆う閉塞位置との間を回動自在に取り付けられている。コンピュータ本体１１は薄い箱形の筐体を有しており、その上面にはキーボード１４、本コンピュータ１０をパワーオン／パワーオフするためのパワーボタン１５、タッチパッド１６、スピーカ１７Ａ，１７Ｂなどが配置されている。 The display unit 12 is attached to the computer main body 11 so as to be rotatable between an open position where the upper surface of the computer main body 11 is exposed and a closed position covering the upper surface of the computer main body 11. The computer main body 11 has a thin box-shaped casing, and a keyboard 14, a power button 15 for powering on / off the computer 10, a touch pad 16, speakers 17A and 17B, etc. are arranged on the upper surface. Has been.

次に、図２を参照して、本コンピュータ１０のシステム構成について説明する。 Next, the system configuration of the computer 10 will be described with reference to FIG.

本コンピュータ１０は、図２に示されているように、ＣＰＵ１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、表示コントローラ１０５、ビデオメモリ（ＶＲＡＭ）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ１０７、ＬＡＮコントローラ１０８、ＨＤＤ（hard disk drive）１０９、ＯＤＤ（optical disc drive）ドライブ１１０、無線ＬＡＮコントローラ１１１、IEEE 1394コントローラ１１２、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）１１３、ＥＥＰＲＯＭ１１４等を備えている。 As shown in FIG. 2, the computer 10 includes a CPU 101, a north bridge 102, a main memory 103, a south bridge 104, a display controller 105, a video memory (VRAM) 105A, a sound controller 106, a BIOS-ROM 107, and a LAN controller. 108, a hard disk drive (HDD) 109, an optical disc drive (ODD) drive 110, a wireless LAN controller 111, an IEEE 1394 controller 112, an embedded controller / keyboard controller (EC / KBC) 113, an EEPROM 114, and the like.

ＣＰＵ１０１は、本コンピュータ１０の動作を制御するプロセッサであり、ＨＤＤ１０９から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２００や、このＯＳ２００の配下で動作するビデオデコーダアプリケーションプログラム３００等の各種アプリケーションプログラムを実行する。ビデオデコーダアプリケーションプログラム３００は、例えばＬＡＮコントローラ１０８や無線ＬＡＮコントローラ１１１によってネットワークを介して受信し、または、ＯＤＤ１１０によってＤＶＤ（digital versatile disk）等から読み出した、ＭＰＥＧ−２規格に準拠した方式で圧縮符号化された動画像ストリームを再生する処理を実行する。また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０７に格納されたＢＩＯＳ（Basic Input/Output System）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。 The CPU 101 is a processor that controls the operation of the computer 10. Various application programs such as an operating system (OS) 200 and a video decoder application program 300 operating under the OS 200 are loaded from the HDD 109 to the main memory 103. Execute. The video decoder application program 300 is received by a LAN controller 108 or a wireless LAN controller 111 via a network, or read from a DVD (digital versatile disk) or the like by an ODD 110 in a format compliant with the MPEG-2 standard. A process for reproducing the converted video stream is executed. The CPU 101 also executes a basic input / output system (BIOS) stored in the BIOS-ROM 107. The BIOS is a program for hardware control.

ノースブリッジ１０２は、ＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、PCI EXPRESS規格のシリアルバスなどを介して表示コントローラ１０５との通信を実行する機能も有している。 The north bridge 102 is a bridge device that connects the local bus of the CPU 101 and the south bridge 104. The north bridge 102 also includes a memory controller that controls access to the main memory 103. The north bridge 102 also has a function of executing communication with the display controller 105 via a PCI EXPRESS serial bus or the like.

表示コントローラ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１３を制御するデバイスである。この表示コントローラ１０５によって表示信号生成されてＬＣＤ１３に送られる。 The display controller 105 is a device that controls the LCD 13 used as a display monitor of the computer 10. A display signal is generated by the display controller 105 and sent to the LCD 13.

サウスブリッジ１０４は、ＰＣＩ（Peripheral Component Interconnect）バス上およびＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ＨＤＤ１０９およびＯＤＤ１１０を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。 The south bridge 104 controls each device on a peripheral component interconnect (PCI) bus and a low pin count (LPC) bus. Further, the south bridge 104 includes an IDE (Integrated Drive Electronics) controller for controlling the HDD 109 and the ODD 110. Further, the south bridge 104 has a function of executing communication with the sound controller 106.

サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１７Ａ，１７Ｂに出力する。 The sound controller 106 is a sound source device and outputs audio data to be reproduced to the speakers 17A and 17B.

無線ＬＡＮコントローラ１１１は、たとえばIEEE 802.11規格の無線通信を実行する無線通信デバイスである。IEEE 1394コントローラ１１２は、IEEE 1394規格のシリアルバスを介して外部機器との通信を実行する。 The wireless LAN controller 111 is a wireless communication device that performs wireless communication of, for example, IEEE 802.11 standard. The IEEE 1394 controller 112 executes communication with an external device via an IEEE 1394 standard serial bus.

ＥＣ／ＫＢＣ１１３は、電力管理を行うためのエンベデッドコントローラと、キーボード（ＫＢ）１４およびタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このＥＣ／ＫＢＣ１１３は、ユーザによるパワーボタン１５の操作に応じて本コンピュータ１０をパワーオン／パワーオフする機能を有している。 The EC / KBC 113 is a one-chip microcomputer in which an embedded controller for performing power management and a keyboard controller for controlling the keyboard (KB) 14 and the touch pad 16 are integrated. The EC / KBC 113 has a function of powering on / off the computer 10 in accordance with the operation of the power button 15 by the user.

以上のような構成をもつ本コンピュータ１０上において、他のアプリケーションプログラムと同列で一ソフトウェアとして動作する、動画像ストリームを再生するビデオデコーダアプリケーションプログラム３００は、ＣＰＵ１０１の負荷を低減するために、画質劣化を抑えつつ、動画像ストリームの再生に係る処理の処理量を削減する仕組みを備えている。以下、この点について詳述する。 On the computer 10 having the above-described configuration, the video decoder application program 300 that operates as one software in the same row as other application programs and reproduces a moving image stream has an image quality degradation in order to reduce the load on the CPU 101. And a mechanism for reducing the amount of processing related to playback of a moving image stream. Hereinafter, this point will be described in detail.

まず、図３を参照して、ビデオデコーダアプリケーションプログラム３００によって実現されるソフトウェアデコーダの機能構成を説明する。 First, a functional configuration of a software decoder realized by the video decoder application program 300 will be described with reference to FIG.

入力された動画像ストリームは、復号データ処理部３０１において、ヘッダ情報、スライス情報、マクロブロック（ＭＢ）情報が復号され、量子化特性情報を元に、逆量子化部３０２が量子化後係数情報を逆量子化する。また、逆ＤＣＴ（discrete cosine transform：離散コサイン変換）部３０３が逆量子化部３０２の出力に対して逆直交変換を施した後、動きベクトル情報を元に、加算器３０４により過去の再生画像と加算され、参照画像メモリ３０７，３０８に蓄えられる。同時に、この参照画像メモリ３０７，３０８で蓄えられた画像を用いて映像出力することで、符号化を行った側が意図した映像を出力することができる。参照画像メモリ３０７，３０８は、双方向予測用に、ＩまたはＰフレームの２画面分の参照画面を保持する。 In the input video stream, the decoded data processing unit 301 decodes header information, slice information, and macroblock (MB) information, and based on the quantization characteristic information, the inverse quantization unit 302 performs quantized coefficient information. Is dequantized. Further, after an inverse DCT (discrete cosine transform) unit 303 performs an inverse orthogonal transform on the output of the inverse quantization unit 302, a past reproduced image is added by the adder 304 based on the motion vector information. The sum is added and stored in the reference image memories 307 and 308. At the same time, by outputting video using the images stored in the reference image memories 307 and 308, it is possible to output the video intended by the encoding side. The reference image memories 307 and 308 hold reference screens for two screens of I or P frames for bidirectional prediction.

Ｉ，Ｐ，Ｂの各フレームについて説明すると、Ｉフレームは、Intra符号化画像（フレーム内符号化画像）であり、自身の情報のみで復号可能なフレームである。また、Ｐフレームは、Predictive 符号化画像（フレーム間順方向予測符号化画像）であり、直前のＩフレームの情報を参照することで復号可能なフレームである。そして、Ｂフレームは、Bidirectionally Predictive符号化画像（双方向予測符号化画像）であり、前後のＩ，Ｐフレームの情報を参照することで復号可能なフレームである。Ｉ，Ｐ，Ｂの各フレームの配列を示すと、Ｉ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，…，Ｉ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，…となる。前述の２つの参照画像メモリ３０７，３０８には、この配列で言えば２つのＢフレームの前後のＩまたはＰフレームの画像がそれぞれ保持され、スイッチ３０５，３０６，３０９によって入出力が制御される。 Describing each of the I, P, and B frames, the I frame is an intra-encoded image (intra-frame encoded image), and is a frame that can be decoded only with its own information. The P frame is a Predictive encoded image (interframe forward prediction encoded image), and is a frame that can be decoded by referring to the information of the immediately preceding I frame. The B frame is a Bidirectionally Predictive encoded image (bidirectional predictive encoded image) and is a frame that can be decoded by referring to the information of the preceding and subsequent I and P frames. When the arrangement of each frame of I, P, B is shown, I, B, B, P, B, B, P, B, B,..., I, B, B, P, B, B,. In the above-described two reference image memories 307 and 308, I or P frame images before and after two B frames are held in this arrangement, and input and output are controlled by switches 305, 306, and 309, respectively.

つまり、Ｉ，Ｐフレームの情報は、他のフレームの復号時に参照され得るが、一方、Ｂフレームの情報は、他のフレームの復号時に参照されることはない。そこで、ビデオデコーダアプリケーションプログラム３００は、第１に、このＢフレームを、負荷低減のための処理を施す候補とする。より具体的に言えば、当該負荷低減処理の影響を他のフレームの復号に及ぼすことを防止する。 That is, the information on the I and P frames can be referred to when other frames are decoded, while the information on the B frame is not referred to when other frames are decoded. Therefore, the video decoder application program 300 first sets the B frame as a candidate for performing processing for reducing the load. More specifically, the influence of the load reduction process is prevented from affecting the decoding of other frames.

次に、Ｂフレームを対象としてビデオデコーダアプリケーションプログラム３００が施す負荷低減処理の概要を、図４および図５を参照して説明する。 Next, an outline of the load reduction process performed by the video decoder application program 300 for the B frame will be described with reference to FIGS.

ＭＰＥＧ−２規格では、各画像を１６×１６画素のマクロブロックに分割し、このマクロブロック単位に符号化を行う。そして、このマクロブロックを行方向に並べてスライスを構成する。図４は、この各画像（フレーム）、スライス、マクロブロックの関係を示す概念図である。 In the MPEG-2 standard, each image is divided into 16 × 16 pixel macroblocks, and encoding is performed in units of the macroblocks. The macro blocks are arranged in the row direction to form a slice. FIG. 4 is a conceptual diagram showing the relationship between each image (frame), slice, and macroblock.

図４に示すように、各フレームａは、複数のスライスｂに分割され、各スライスｂは、複数のマクロブロックｃから構成される。ＭＰＥＧ−２規格に準拠した方式で圧縮符号化された動画像ストリームは、図５に示すように、シーケンス層（Ａ）、ＧＯＰ層（Ｂ）、ピクチャ層（Ｃ）、スライス層（Ｄ）、マクロブロック層（Ｅ）およびブロック層（Ｆ）の６層の階層構造となり、各フレームａ毎にピクチャ層（Ｃ）が設けられる。また、各スライスｂ毎に、ピクチャ層（Ｃ）の下層としてスライス層（Ｄ）が設けられ、各マクロブロックｃ毎に、スライス層（Ｄ）の下層としてマクロブロック層（Ｅ）が設けられる。 As shown in FIG. 4, each frame a is divided into a plurality of slices b, and each slice b is composed of a plurality of macroblocks c. As shown in FIG. 5, a moving image stream that is compression-encoded in accordance with the MPEG-2 standard includes a sequence layer (A), a GOP layer (B), a picture layer (C), a slice layer (D), The macro block layer (E) and the block layer (F) have a six-layer hierarchical structure, and a picture layer (C) is provided for each frame a. In addition, a slice layer (D) is provided as a lower layer of the picture layer (C) for each slice b, and a macroblock layer (E) is provided as a lower layer of the slice layer (D) for each macroblock c.

この図５に示す各マクロブロック層（Ｅ）内のＭＢＡＩ（マクロブロックアドレスインクリメント：ｄ）には、そのマクロブロックｃの各フレームａ内における水平位置を示す情報が格納される。この情報は、座標値のような、その位置を当該情報のみで特定可能な絶対的な値が格納されるのではなく、（独自の情報を持たずに）符号量が殆ど発生しなかったマクロブロックｃに関する情報を動画像ストリーム内から排除できるようにするために、直前のマクロブロック層（Ｅ）に対応するマクロブロックｃからの相対的な位置を示す値（スキップ数）が格納される。以上の理由でスキップされるマクロブロックをスキップマクロブロックと称する。 In MBAI (macroblock address increment: d) in each macroblock layer (E) shown in FIG. 5, information indicating the horizontal position in each frame a of the macroblock c is stored. This information does not store an absolute value that can specify the position only by the information, such as a coordinate value, but does not generate a code amount (without original information). In order to be able to exclude information about the block c from the moving image stream, a value (the number of skips) indicating a relative position from the macroblock c corresponding to the immediately preceding macroblock layer (E) is stored. Macroblocks that are skipped for the above reasons are referred to as skipped macroblocks.

このスキップマクロブロックの数が多いスライスｂは、前後の参照フレームａの対応するスライスｂからの変化が小さいスライスといえる。そこで、ビデオデコーダアプリケーションプログラム３００は、第２に、このスキップマクロブロックの数が予め定められた数以上存在するスライスについて、先頭および最後のマクロブロック以外のすべてのマクロブロックをスキップマクロブロックに設定する。より具体的に言えば、画質劣化を抑制できると推測されるスライスに限定して負荷低減処理を施す。図６は、ビデオデコーダアプリケーションプログラム３００が実行するＢフレームのスライス単位の復号データ処理の手順を示すフローチャートである。 The slice b having a large number of skip macroblocks can be said to be a slice having a small change from the corresponding slice b in the preceding and following reference frames a. Therefore, secondly, the video decoder application program 300 secondly sets all macroblocks other than the first and last macroblocks as skip macroblocks for slices in which the number of skipped macroblocks exceeds a predetermined number. . More specifically, the load reduction process is performed only on slices that are estimated to be able to suppress image quality deterioration. FIG. 6 is a flowchart showing the procedure of the decoded data processing for each B-frame slice executed by the video decoder application program 300.

Ｂフレームに対して、ビデオデコーダアプリケーションプログラム３００は、スライス情報を復号後（ステップＳ１）、そのスライス内のＭＢ情報をマクロブロック単位に復号する。ビデオデコーダアプリケーションプログラム３００は、まず、ＭＢ情報中のＭＢ番号情報を復号し（ステップＳ２）、スキップマクロブロックが存在したら（ステップＳ３のＹＥＳ）、スライス単位のスキップマクロブロック数に加算する（ステップＳ４）。 For the B frame, the video decoder application program 300 decodes the slice information (step S1), and then decodes the MB information in the slice in units of macroblocks. First, the video decoder application program 300 decodes the MB number information in the MB information (step S2), and if there is a skip macroblock (YES in step S3), adds it to the number of skip macroblocks in units of slices (step S4). ).

スライス内のスキップマクロブロック数がしきい値以上（例えば１スライス内のマクロブロック数の８０％以上）となった場合（ステップＳ５のＹＥＳ）、ビデオデコーダアプリケーションプログラム３００は、スキップマクロブロックの設定が可能なマクロブロック、即ち、スライスの先頭および最後のマクロブロックを除いたマクロブロックをすべてスキップマクロブロックに設定した上で（ステップＳ６）、スライス単位の信号処理を行う（ステップＳ７）。 When the number of skipped macroblocks in a slice becomes equal to or greater than a threshold value (for example, 80% or more of the number of macroblocks in one slice) (YES in step S5), the video decoder application program 300 sets skip macroblocks. After all possible macro blocks, that is, macro blocks excluding the first and last macro blocks of the slice are set as skip macro blocks (step S6), signal processing in units of slices is performed (step S7).

一方、スキップマクロブロックが存在しない場合（ステップＳ３のＮＯ）、および、スライス内のスキップマクロブロック数がしきい値に達しない場合には（ステップＳ５のＮＯ）、ビデオデコーダアプリケーションプログラム３００は、他のＭＢ情報（マクロブロックモード情報、動きベクトル情報、量子化特性情報、量子化後係数情報）を復号し（ステップＳ８）、当該ＭＢ情報の復号でスライス単位の復号処理が完了した場合は（ステップＳ９のＹＥＳ）、スライス単位の信号処理を行う（ステップＳ７）。また、スライス単位の復号処理が完了していない場合（ステップＳ９のＮＯ）、ステップＳ２に戻って、次のＭＢ番号情報の復号からの処理を繰り返す。 On the other hand, when there is no skip macroblock (NO in step S3) and when the number of skip macroblocks in the slice does not reach the threshold value (NO in step S5), the video decoder application program 300 MB information (macroblock mode information, motion vector information, quantization characteristic information, post-quantization coefficient information) is decoded (step S8), and when decoding processing in units of slices is completed by decoding the MB information (step S8) S9 YES), signal processing in units of slices is performed (step S7). If the decoding process in units of slices has not been completed (NO in step S9), the process returns to step S2 to repeat the process from the decoding of the next MB number information.

このように、本コンピュータ１０のビデオデコーダアプリケーションプログラム３００は、通常のＢフレームのスライス単位の復号データ処理手順に対して、図６中の破線で囲ったステップＳ３〜Ｓ６の工程を新設し、スライス内のスキップマクロブロック数がしきい値以上となった場合に、その後のＭＢ情報の復号データ処理を行わないようにしたことから、復号処理量を削減することを可能とし、また、スキップマクロブロックとしての処理を行うことで、逆量子化および逆ＤＣＴ等の信号処理を削減することを可能とする。さらに、非参照フレームであるＢフレームに限定することにより、通常の復号データ処理と信号処理とを行った場合の画質と比較して、その劣化を抑えることを実現する。 As described above, the video decoder application program 300 of the computer 10 newly establishes the steps S3 to S6 surrounded by the broken line in FIG. When the number of skipped macroblocks within the threshold exceeds the threshold value, the subsequent decoding processing of the MB information is not performed, so that it is possible to reduce the amount of decoding processing, and skip macroblocks It is possible to reduce signal processing such as inverse quantization and inverse DCT. Further, by limiting to the B frame which is a non-reference frame, it is possible to suppress the degradation compared to the image quality when the normal decoded data processing and signal processing are performed.

なお、図６のフローチャートにその手順を示したように、ここでは、ＭＢ情報をマクロブロック単位に復号していき、加算されたスキップマクロブロック数がしきい値以上となった時点で、スライスの先頭および最後のマクロブロックを除いたマクロブロックをすべてスキップマクロブロックに設定する負荷低減処理を施す例を説明したが、スライス単位の復号データ処理の冒頭で、そのスライスの符号化情報量を調べて、その値がしきい値以下のスライスのみを、負荷低減処理を施す候補とするようにしてもよい。 Note that, as shown in the flowchart of FIG. 6, here, the MB information is decoded in units of macroblocks, and when the number of skipped macroblocks added exceeds the threshold, the slice information An example of performing load reduction processing for setting all macroblocks excluding the first and last macroblocks to skip macroblocks has been explained. At the beginning of decoded data processing in units of slices, the amount of encoded information of the slices is examined. Only slices whose values are less than or equal to the threshold value may be candidates for the load reduction process.

このように、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。 As described above, the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, you may combine a component suitably in different embodiment.

本発明の一実施形態に係る動画像復号装置の概観の例を示す斜視図The perspective view which shows the example of the general view of the moving image decoding apparatus which concerns on one Embodiment of this invention 同実施形態の動画像復号装置のシステム構成例を示す図The figure which shows the system configuration example of the moving image decoding apparatus of the embodiment 同実施形態の動画像復号装置上で動作するビデオデコーダアプリケーションプログラムによって実現されるソフトウェアデコーダの機能構成を示す図The figure which shows the function structure of the software decoder implement | achieved by the video decoder application program which operate | moves on the moving image decoding apparatus of the embodiment ＭＰＥＧ−２規格に準拠した方式で圧縮符号化された動画像ストリームにおけるフレーム、スライス、マクロブロックの関係を示す概念図Conceptual diagram showing the relationship between frames, slices, and macroblocks in a moving picture stream that has been compression-encoded in a format compliant with the MPEG-2 standard ＭＰＥＧ−２規格に準拠した方式で圧縮符号化された動画像ストリームの構造を示す図The figure which shows the structure of the moving image stream compression-encoded by the system based on the MPEG-2 standard 同実施形態の動画像復号装置上で動作するビデオデコーダアプリケーションプログラムが実行するＢフレームのスライス単位の復号データ処理の手順を示すフローチャートA flowchart showing a procedure of decoded data processing in units of slices of B frames executed by a video decoder application program operating on the video decoding device of the embodiment

符号の説明Explanation of symbols

１０…動画像復号装置（パーソナルコンピュータ）、１１…コンピュータ本体、１２…ディスプレイユニット、１３…ＬＣＤ、１４…キーボード、１５…パワーボタン、１６…タッチパッド、１７Ａ，１７Ｂ…スピーカ、１０１…ＣＰＵ、１０２…ノースブリッジ、１０３…主メモリ、１０４…サウスブリッジ、１０５…表示コントローラ、１０５Ａ…ビデオメモリ（ＶＲＡＭ）、１０６…サウンドコントローラ、１０７…ＢＩＯＳ−ＲＯＭ、１０８…ＬＡＮコントローラ、１０９…ＨＤＤ、１１０…ＯＤＤ、１１１…無線ＬＡＮコントローラ、１１２…IEEE 1394コントローラ、１１３…エンベデッド／キーボードコントローラ（ＥＣ／ＫＢＣ）、１１４…ＥＥＰＲＯＭ、２００…オペレーティングシステム（ＯＳ）、３００…ビデオアプリケーションプログラム。 DESCRIPTION OF SYMBOLS 10 ... Moving image decoding apparatus (personal computer), 11 ... Computer main body, 12 ... Display unit, 13 ... LCD, 14 ... Keyboard, 15 ... Power button, 16 ... Touchpad, 17A, 17B ... Speaker, 101 ... CPU, 102 ... North Bridge, 103 ... Main Memory, 104 ... South Bridge, 105 ... Display Controller, 105A ... Video Memory (VRAM), 106 ... Sound Controller, 107 ... BIOS-ROM, 108 ... LAN Controller, 109 ... HDD, 110 ... ODD 111 ... Wireless LAN controller, 112 ... IEEE 1394 controller, 113 ... Embedded / keyboard controller (EC / KBC), 114 ... EEPROM, 200 ... Operating system (OS), 300 ... Video application Deployment program.

Claims

各画像をマトリックス状に分割して生成されるｎ×ｎ画素のマクロブロック単位に符号化された動画像ストリームを入力する入力手段と、
前記入力手段により入力された動画像ストリーム中の復号対象画像が他の画像の復号時に参照されない双方向予測符号化画像か否かを判定するフレーム判定手段と、
前記フレーム判定手段により双方向予測符号化画像と判定された場合、前記マクロブロックを行方向に並べて構成されるスライス毎に、独自の符号化情報を持たないスキップマクロブロックが予め定められた数以上存在するか否かを判定するスライス解析手段と、
前記スライス解析手段によりスキップマクロブロックが予め定められた数以上存在すると判定された場合、そのスライス内の先頭および最後のマクロブロック以外のすべてのマクロブロックをスキップマクロブロックに設定するスライス編集手段と、
を具備することを特徴とする動画像復号装置。 An input means for inputting a moving image stream encoded in units of macroblocks of n × n pixels generated by dividing each image into a matrix;
A frame determination unit that determines whether or not a decoding target image in the moving image stream input by the input unit is a bi-predictive encoded image that is not referred to when decoding another image;
When the frame determination unit determines that the image is a bi-predictive encoded image, a predetermined number or more of skip macro blocks having no unique encoding information are provided for each slice configured by arranging the macro blocks in the row direction. Slice analysis means for determining whether or not it exists,
When it is determined by the slice analysis means that there are more than a predetermined number of skipped macroblocks, slice editing means for setting all macroblocks other than the first and last macroblocks in the slice as skipped macroblocks;
A moving picture decoding apparatus comprising:

前記入力手段は、ＭＰＥＧ（moving picture experts group）−２規格に準拠した方式で圧縮符号化された動画像ストリームを入力し、
前記フレーム判定手段は、復号対象画像がＢフレームか否かを判定する、
ことを特徴とする請求項１記載の動画像復号装置。 The input means inputs a moving picture stream that has been compression-encoded in a format compliant with the MPEG (moving picture experts group) -2 standard,
The frame determination means determines whether the decoding target image is a B frame;
The moving picture decoding apparatus according to claim 1.

前記スライス解析手段は、各スライスの全マクロブロックに占めるスキップマクロブロックの割合が予め定められた値以上であるか否かを判定することをを特徴とする請求項１記載の動画像復号装置。 2. The moving picture decoding apparatus according to claim 1, wherein the slice analyzing unit determines whether or not a ratio of skip macroblocks to all macroblocks in each slice is equal to or greater than a predetermined value.

前記スライス解析手段は、各スライス毎に、符号化情報量が予め定められた値以下か否かを判定し、符号化情報量が予め定められた値以下のスライスに対して、前記スキップマクロブロックが予め定められた数以上存在するか否かの判定を実施することを特徴とする請求項１記載の動画像復号装置。 The slice analyzing means determines, for each slice, whether or not the encoded information amount is equal to or less than a predetermined value, and the skip macroblock is determined for a slice whose encoded information amount is equal to or less than a predetermined value. 2. The moving picture decoding apparatus according to claim 1, wherein it is determined whether or not there is a predetermined number or more.

各画像をマトリックス状に分割して生成されるｎ×ｎ画素のマクロブロック単位に符号化された動画像ストリームを入力する入力手段、
前記入力手段により入力された動画像ストリーム中の復号対象画像が他の画像の復号時に参照されない双方向予測符号化画像か否かを判定するフレーム判定手段、
前記フレーム判定手段により双方向予測符号化画像と判定された場合、前記マクロブロックを行方向に並べて構成されるスライス毎に、独自の符号化情報を持たないスキップマクロブロックが予め定められた数以上存在するか否かを判定するスライス解析手段、
前記スライス解析手段によりスキップマクロブロックが予め定められた数以上存在すると判定された場合、そのスライス内の先頭および最後のマクロブロック以外のすべてのマクロブロックをスキップマクロブロックに設定するスライス編集手段、
としてコンピュータを機能させるためのプログラム。 An input means for inputting a moving image stream encoded in units of macroblocks of n × n pixels generated by dividing each image into a matrix;
A frame determination unit that determines whether or not a decoding target image in the moving image stream input by the input unit is a bi-predictive encoded image that is not referred to when decoding another image;
When the frame determination unit determines that the image is a bi-predictive encoded image, a predetermined number or more of skip macro blocks having no unique encoding information are provided for each slice configured by arranging the macro blocks in the row direction. Slice analysis means for determining whether or not it exists,
When it is determined by the slice analysis means that there are more than a predetermined number of skipped macroblocks, slice editing means for setting all macroblocks other than the first and last macroblocks in the slice as skipped macroblocks,
As a program to make the computer function.

前記入力手段は、ＭＰＥＧ（moving picture experts group）−２規格に準拠した方式で圧縮符号化された動画像ストリームを入力し、
前記フレーム判定手段は、復号対象画像がＢフレームか否かを判定する、
ことを特徴とする請求項５記載のプログラム。 The input means inputs a moving picture stream that has been compression-encoded in accordance with a standard based on MPEG (moving picture experts group) -2 standard,
The frame determination means determines whether the decoding target image is a B frame;
The program according to claim 5, wherein:

前記スライス解析手段は、各スライスの全マクロブロックに占めるスキップマクロブロックの割合が予め定められた値以上であるか否かを判定することをを特徴とする請求項５記載のプログラム。 6. The program according to claim 5, wherein the slice analysis unit determines whether or not a ratio of skip macroblocks to all macroblocks of each slice is equal to or greater than a predetermined value.

前記スライス解析手段は、各スライス毎に、符号化情報量が予め定められた値以下か否かを判定し、符号化情報量が予め定められた値以下のスライスに対して、前記スキップマクロブロックが予め定められた数以上存在するか否かの判定を実施することを特徴とする請求項１記載のプログラム。 The slice analyzing means determines, for each slice, whether or not the encoded information amount is equal to or less than a predetermined value, and the skip macroblock is determined for a slice whose encoded information amount is equal to or less than a predetermined value. The program according to claim 1, wherein a determination is made as to whether or not there is a predetermined number or more.

動画像復号装置の復号処理簡略化方法であって、
各画像をマトリックス状に分割して生成されるｎ×ｎ画素のマクロブロック単位に符号化された動画像ストリームを入力し、
前記入力した動画像ストリーム中の復号対象画像が他の画像の復号時に参照されない双方向予測符号化画像か否かを判定し、
双方向予測符号化画像と判定した場合、前記マクロブロックを行方向に並べて構成されるスライス毎に、独自の符号化情報を持たないスキップマクロブロックが予め定められた数以上存在するか否かを判定し、
スキップマクロブロックが予め定められた数以上存在すると判定した場合、そのスライス内の先頭および最後のマクロブロック以外のすべてのマクロブロックをスキップマクロブロックに設定する、
ことを特徴とする復号処理簡略化方法。 A method of simplifying a decoding process of a video decoding device,
Input a moving image stream encoded in units of macroblocks of n × n pixels generated by dividing each image into a matrix,
Determining whether the decoding target image in the input moving image stream is a bi-predictive encoded image that is not referred to when decoding other images;
If it is determined as a bi-predictive encoded image, whether or not there are more than a predetermined number of skipped macroblocks having no unique encoding information for each slice configured by arranging the macroblocks in the row direction Judgment,
If it is determined that there are more than a predetermined number of skipped macroblocks, all macroblocks other than the first and last macroblocks in the slice are set as skipped macroblocks.
A decoding process simplification method characterized by the above.