JP2011004205A - Image processing apparatus and image processing method - Google Patents

Abstract

PROBLEM TO BE SOLVED: To reduce power consumption without failing a decoding process of a moving picture in the middle of the process.SOLUTION: An image processing apparatus for performing a decoding process of a moving picture includes a decoding unit (107) for decoding encoded moving picture data in macro blocks according to a picture type and a macro block type of a frame, a control unit (105) for controlling the frequency of a clock signal of a moving picture decoding module (100) and a source voltage, a determination unit (102) for determining the frame information of the moving picture data, and a calculation unit (110) for calculating control data to be provided to the control unit based on the determination result by a determination unit and the progress of a decoding process by the decoding unit. The calculation unit changes the control data within a time tolerance obtained from a relationship between the remaining processing time that decreases as the decoding process progresses and the present frequency of a synchronous clock signal of the decoding unit, with respect to a predetermined time assigned for decoding one frame.

Description

本発明は、画像処理装置及び画像処理方法に関し、例えば復号処理を行うバッテリ駆動用のシステム又は画像データ表示システムに適用して有効な技術に関する。   The present invention relates to an image processing apparatus and an image processing method, and more particularly to a technique effective when applied to a battery-driven system or an image data display system that performs a decoding process.

近年、放送や通信などの伝送路を通じて動画データの送受信を行うことや、記憶メディアに保存した動画を携帯端末などで視聴する機会が増加している。一般に動画は情報量が大きいため、伝送路の帯域や記憶メディアの容量などの制約から、動画を圧縮符号化した状態で伝送や保存し、視聴時に復号処理する。動画の符号化方式としては、ＩＳＯ／ＩＥＣで規格化されているＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）やＨ.２６Ｘがある。これらの技術では、動画を構成する複数のフレーム間にある時間的、空間的な相関関係を用いた情報量の圧縮を行う。   In recent years, opportunities to transmit and receive moving image data through transmission paths such as broadcasting and communication and to view moving images stored in a storage medium on a mobile terminal or the like are increasing. In general, since a moving image has a large amount of information, the moving image is transmitted and stored in a compression-coded state due to restrictions such as the bandwidth of the transmission path and the capacity of the storage medium, and is decoded when viewed. There are MPEG (Moving Picture Expert Group) and H.26X, which are standardized by ISO / IEC, as encoding methods of moving images. In these techniques, the amount of information is compressed using temporal and spatial correlation between a plurality of frames constituting a moving image.

しかしながら、これらの技術で圧縮した動画の復号処理には比較的大きな演算が必要であり、演算量の増加に伴い消費電力も増大するため、低消費電力での復号処理の実現が課題となっている。従来の低消費電力化の方法として、例えば下記の特許文献１にて開示されている。   However, decoding processing of moving images compressed by these techniques requires relatively large computations, and power consumption increases as the amount of computation increases. Therefore, realizing decoding processing with low power consumption becomes an issue. Yes. As a conventional method of reducing power consumption, for example, it is disclosed in Patent Document 1 below.

特許文献１は、動的に動作周波数および電源電圧を変更可能な動画復号装置において、動画を構成する単位であるフレーム単位での復号処理が必要とする演算量を予測し、予測した演算量をもとにフレームの復号処理をするために使用する動作周波数と電源電圧を決定する。各フレームの復号処理開始のタイミングで、決定した動作周波数と電源電圧を設定することにより、適切な動作周波数と電圧での動作させることで、低消費電力を図るものである。   Patent Document 1 predicts the amount of calculation required for decoding processing in units of frames, which are units constituting a moving image, in a moving image decoding apparatus capable of dynamically changing the operating frequency and power supply voltage, and calculates the predicted amount of calculation. The operating frequency and power supply voltage used for the frame decoding process are determined. By setting the determined operating frequency and power supply voltage at the timing of starting the decoding process of each frame, the operation is performed at an appropriate operating frequency and voltage, thereby reducing power consumption.

特開２００３−３２４７３５号公報JP 2003-324735 A

しかしながら、特許文献１に記載の方法では、フレーム復号処理開始時に動作周波数および電源電圧を決定し、当該フレームの復号処理中に動作周波数および電源電圧は固定となる。このため、当該フレーム処理開始時の予測よりも実際の演算量が多かった場合には、当該フレーム処理時間内に復号処理が完了せず、動画像復号処理が破綻してしまうという問題があった。   However, in the method described in Patent Document 1, the operating frequency and the power supply voltage are determined at the start of the frame decoding process, and the operating frequency and the power supply voltage are fixed during the decoding process of the frame. For this reason, when the actual amount of computation is larger than the prediction at the start of the frame processing, there is a problem in that the decoding processing is not completed within the frame processing time and the video decoding processing fails. .

本発明の目的は、動画像の復号処理が途中で破綻することなく、低消費電力を図ることができる画像処理装置を提供することにある。   An object of the present invention is to provide an image processing apparatus that can achieve low power consumption without causing a video decoding process to fail in the middle.

本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。   The above and other objects and novel features of the present invention will be apparent from the description of this specification and the accompanying drawings.

本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。   The following is a brief description of an outline of typical inventions disclosed in the present application.

すなわち、画像処理装置は、符号化された動画像データをマクロブロック単位で復号するとき、１フレームに対する復号に割当てられた時間に対して復号処理の進行に従って減少する残り処理時間と前記復号処理を同期させるクロック信号の現在の周波数との関係から余裕時間を把握し、その余裕時間の範囲内で処理速度を低下させるように前記周波数を低くする制御を行う。   That is, when the encoded video data is decoded in units of macroblocks, the image processing apparatus calculates the remaining processing time that decreases as the decoding process proceeds with respect to the time allocated for decoding for one frame and the decoding process. The margin time is grasped from the relationship with the current frequency of the clock signal to be synchronized, and control is performed to lower the frequency so as to reduce the processing speed within the margin time range.

本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記のとおりである。   The effects obtained by the representative ones of the inventions disclosed in the present application will be briefly described as follows.

すなわち、本画像処理装置によれば、動画像復号処理を破綻させることはなく低消費電力を図ることができる。   That is, according to the present image processing apparatus, it is possible to achieve low power consumption without causing the video decoding process to fail.

図１は、本発明の実施の形態１に係る画像符号化装置のブロック図である。FIG. 1 is a block diagram of an image coding apparatus according to Embodiment 1 of the present invention. 図２は、ピクチャタイプごとに、構成要素となるマクロブロックの種類を示した説明図である。FIG. 2 is an explanatory diagram showing the types of macroblocks that are constituent elements for each picture type. 図３は、本発明の実施の形態１に係る画像処理装置の動画像復号モジュール１００に供給する動作周波数と電源電圧の対応関係を表す説明図である。FIG. 3 is an explanatory diagram showing the correspondence between the operating frequency and the power supply voltage supplied to the video decoding module 100 of the image processing apparatus according to Embodiment 1 of the present invention. 図４は、本発明の実施の形態１に係る画像処理装置の対象フレームの復号処理のフローチャートである。FIG. 4 is a flowchart of target frame decoding processing of the image processing apparatus according to Embodiment 1 of the present invention. 図５は、本発明の実施の形態１に係る対象フレームの復号処理中の動画像復号モジュール１００の動作周波数の変化を表す説明図である。FIG. 5 is an explanatory diagram showing changes in the operating frequency of the video decoding module 100 during the decoding process of the target frame according to Embodiment 1 of the present invention. 図６は、動画１フレームの処理におけるマクロブロック処理の時間経過を示す説明図である。FIG. 6 is an explanatory diagram showing the passage of time of macroblock processing in processing of one frame of moving image. 図７は、本発明の実施の形態２に係る画像符号化装置のブロック図である。FIG. 7 is a block diagram of an image coding apparatus according to Embodiment 2 of the present invention.

１．実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。 1. First, an outline of a typical embodiment of the invention disclosed in the present application will be described. Reference numerals in the drawings referred to in parentheses in the outline description of the representative embodiments merely exemplify what are included in the concept of the components to which the reference numerals are attached.

〔１〕本発明の代表的な実施の形態に係る画像処理装置（１０、７０）は符号化された動画像データをフレームのピクチャタイプとマクロブロックタイプに従ってマクロブロック単位で復号する復号部（１０７）と、少なくとも前記復号部に供給する同期クロック信号の周波数を制御する制御部（１０５）と、前記動画像データのフレーム単位でピクチャタイプとマクロブロック数を判別する判別部（１０２）と、前記判別部による判別結果と前記復号部による復号処理の進行状態に従って前記制御部に与える制御データ（１１１）を算出する演算部（１１０、７１０）と、を備える。前記演算部は、１フレームに対する復号に割当てられた所定時間に対して復号処理の進行に従って減少する残り処理時間と前記復号部の同期クロック信号の現在の周波数との関係から得られる余裕時間の範囲内で制御データを変更する。これによれば、実際の復号処理によって生ずる余裕時間を把握し、その範囲で周波数を低くしながら逐次復号処理を進めていくから、途中で復号処理が間に合わなくなる事態を生ずる虞なく、且つ実際の処理状況に応じて電力消費を低減することができる。   [1] An image processing apparatus (10, 70) according to a typical embodiment of the present invention decodes encoded moving image data in units of macroblocks according to a picture type and a macroblock type of a frame (107 ), At least a control unit (105) for controlling the frequency of the synchronous clock signal supplied to the decoding unit, a determination unit (102) for determining the picture type and the number of macroblocks in units of frames of the moving image data, Arithmetic units (110, 710) that calculate control data (111) to be given to the control unit according to the determination result by the determination unit and the progress of the decoding process by the decoding unit. The arithmetic unit is a margin time range obtained from a relationship between a remaining processing time that decreases as a decoding process proceeds and a current frequency of a synchronous clock signal of the decoding unit with respect to a predetermined time assigned to decoding for one frame. Change the control data in According to this, since the margin time generated by the actual decoding process is grasped and the decoding process is sequentially performed while lowering the frequency within that range, there is no possibility that the decoding process may not be in time, and the actual decoding process is not performed. Power consumption can be reduced according to the processing status.

〔２〕項１の画像処理装置において、前記演算部は、ピクチャタイプから決まる、最大演算量となるマクロブロックの演算量と、処理すべきマクロブロックの総数と、前記残り処理時間と、から前記同期クロック信号の周波数を決定する制御データを生成する。これにより前記最大演算量を考慮して前記周波数を決定するので、途中で処理が破綻することなく復号処理を行うことができる。   [2] In the image processing device according to [1], the calculation unit calculates the calculation amount of a macroblock that is a maximum calculation amount determined from a picture type, the total number of macroblocks to be processed, and the remaining processing time. Control data for determining the frequency of the synchronous clock signal is generated. As a result, the frequency is determined in consideration of the maximum calculation amount, so that the decoding process can be performed without the process being broken.

〔３〕項２の画像処理装置において、前記処理すべきマクロブロックの総数は、当該フレームのマクロブロックの総数から復号処理済マクロブロック数を減算して得られる値である。   [3] In the image processing apparatus according to item 2, the total number of macroblocks to be processed is a value obtained by subtracting the number of decoded macroblocks from the total number of macroblocks in the frame.

〔４〕項１乃至３の何れかの画像処理装置において、前記制御データは、前記同期クロック信号の周波数を制御するデータ、または前記復号部に供給する電源電圧と前記周波数を制御するデータである。   [4] In the image processing device according to any one of [1] to [3], the control data is data for controlling a frequency of the synchronous clock signal, or data for controlling a power supply voltage supplied to the decoding unit and the frequency. .

〔５〕項１乃至４の何れかの画像処理装置において、前記所定時間は、前記動画像データにおけるフレームレートに基づいて決まる時間である。   [5] In the image processing apparatus according to any one of Items 1 to 4, the predetermined time is a time determined based on a frame rate in the moving image data.

〔６〕項１乃至５の何れかの画像処理装置において、前記残り処理時間とは前記所定時間から当該フレームの復号処理の開始からの経過時間を減算して得られる時間である。   [6] In the image processing device according to any one of Items 1 to 5, the remaining processing time is a time obtained by subtracting an elapsed time from the start of the decoding process of the frame from the predetermined time.

〔７〕項１の画像処理装置において、前記演算部は、ピクチャタイプから決まる、最大演算量となるマクロブロックの演算量と、処理すべきマクロブロックの総数と、前記残り処理時間と、から前記同期クロック信号の周波数を決定する制御データを生成し、当該生成した制御データを初期値として前記制御部に与え、その後からは、最大演算量となるマクロブロックの演算量に代えて過去の処理済マクロブロックの演算量の平均値から算出する代表演算量と、前記処理すべきマクロブロックの総数と、前記残り処理時間と、から前記同期クロック信号の周波数を決定するデータを生成する。これにより最大演算量に代えて代表演算量を用いて前記周波数を決定するから、項１乃至５の画像処理装置よりも前記周波数を低下させることが可能となる。   [7] In the image processing apparatus according to [1], the calculation unit calculates the calculation amount of a macroblock that is a maximum calculation amount determined from a picture type, the total number of macroblocks to be processed, and the remaining processing time. Generates control data for determining the frequency of the synchronous clock signal, gives the generated control data to the control unit as an initial value, and after that, the past processing has been performed instead of the calculation amount of the macroblock that is the maximum calculation amount Data for determining the frequency of the synchronous clock signal is generated from the representative calculation amount calculated from the average value of the calculation amount of the macroblock, the total number of macroblocks to be processed, and the remaining processing time. Thus, since the frequency is determined using the representative calculation amount instead of the maximum calculation amount, the frequency can be reduced as compared with the image processing apparatuses according to items 1 to 5.

〔８〕項７の画像処理装置において、前記代表演算量は、過去の処理済マクロブロックの演算量の平均値と次の復号対象となるマクロブロックの演算量の差分がある閾値を超えない場合は、前記平均値を代表演算量とし、前記差分がある閾値を超える場合は、前記次の復号対象となるマクロブロックの演算量を代表演算量とする。   [8] In the image processing apparatus according to item 7, when the representative calculation amount does not exceed a certain threshold value, a difference between an average value of calculation amounts of past processed macroblocks and a calculation amount of the next macroblock to be decoded Uses the average value as a representative calculation amount, and when the difference exceeds a certain threshold value, sets the calculation amount of the next macroblock to be decoded as the representative calculation amount.

〔９〕本発明の代表的な実施の形態に係る画像処理方法は、符号化された動画像データをマクロブロック単位で復号する画像処理方法であって、前記動画像データのフレーム単位でピクチャタイプとマクロブロック数を判別する第1処理と、フレームのピクチャタイプとマクロブロックタイプに従ってマクロブロック単位で復号する第２処理と、前記第１処理による判別結果と前記第２処理の進行状態に従って復号部に与える制御データを算出する第３処理と前記第３処理で算出した制御データで少なくとも復号部に供給する同期クロック信号の周波数を制御する第４処理と、を含む。前記第３処理は、１フレームに対する復号に割当てられた所定時間に対して第２処理の進行に従って減少する残り処理時間と前記同期クロック信号の現在の周波数との関係から得られる余裕時間の範囲内で制御データを変更する処理である。これにより上記同様、電力消費を低減することができる。   [9] An image processing method according to a typical embodiment of the present invention is an image processing method for decoding encoded moving image data in units of macroblocks, and includes a picture type in units of frames of the moving image data. A first process for determining the number of macroblocks, a second process for decoding in units of macroblocks according to the picture type and macroblock type of the frame, a determination result according to the first process and the progress of the second process And a fourth process for controlling at least the frequency of the synchronous clock signal supplied to the decoding unit using the control data calculated in the third process. The third processing is within a margin time range obtained from the relationship between the remaining processing time that decreases with the progress of the second processing and the current frequency of the synchronous clock signal with respect to a predetermined time allocated for decoding for one frame. In this process, the control data is changed. As a result, the power consumption can be reduced as described above.

〔１０〕項９の画像処理方法において、前記第３処理は、ピクチャタイプから決まる、最大演算量となるマクロブロックの演算量と、処理すべきマクロブロックの総数と、前記第２処理の進行に従って減少する残り処理時間と、から前記同期クロック信号の周波数を決定する制御データを生成する。これにより上記同様、途中で処理が破綻することなく復号処理を行うことができる。   [10] In the image processing method according to item 9, the third process is performed according to a calculation amount of a macroblock that is a maximum calculation amount determined from a picture type, a total number of macroblocks to be processed, and a progress of the second process. Control data for determining the frequency of the synchronous clock signal is generated from the remaining remaining processing time. As a result, as described above, the decoding process can be performed without the process being interrupted.

〔１１〕項９の画像処理方法において、前記第３処理は、ピクチャタイプから決まる、最大演算量となるマクロブロックの演算量と、処理すべきマクロブロックの総数と、前記第２処理の進行に従って減少する残り処理時間と、から前記同期クロック信号の周波数を決定する制御データを生成し、当該生成した制御データを初期値とし、その後からは、最大演算量となるマクロブロックの演算量に代えて過去の処理済マクロブロックの演算量の平均値から算出する代表演算量と、前記処理すべきマクロブロックの総数と、前記残り処理時間と、から前記同期クロック信号の周波数を決定するデータを生成する。これにより上記同様、項９乃至１０の画像処理方法よりも前記周波数を低下させることが可能となる。   [11] In the image processing method according to item 9, the third processing is performed according to a calculation amount of a macroblock that is a maximum calculation amount determined from a picture type, a total number of macroblocks to be processed, and a progress of the second processing. The control data for determining the frequency of the synchronous clock signal is generated from the remaining remaining processing time, and the generated control data is set as an initial value. Thereafter, the calculation amount of the macro block that is the maximum calculation amount is changed. Data for determining the frequency of the synchronous clock signal is generated from the representative calculation amount calculated from the average value of calculation amounts of past processed macroblocks, the total number of macroblocks to be processed, and the remaining processing time. . As a result, as described above, the frequency can be reduced as compared with the image processing methods of items 9 to 10.

２．実施の形態の詳細
実施の形態について更に詳述する。 2. Details of Embodiments Embodiments will be further described in detail.

《実施の形態１》
図１は、本発明に係る画像処理装置の一実施の形態として、バッテリ駆動の携帯端末における動画像の復号処理を行う画像処理装置を示す。同図に示される画像処理装置１０は、特に制限されないが、公知のＣＭＯS集積回路の製造技術によって1個の単結晶シリコンのような半導体基板に形成されている。また、画像処理装置１０は、１つの前記集積回路で構成されたものではなく、マルチチップで形成されたものでもよい。 Embodiment 1
FIG. 1 shows an image processing apparatus that performs a moving image decoding process in a battery-powered portable terminal as an embodiment of an image processing apparatus according to the present invention. The image processing apparatus 10 shown in the figure is not particularly limited, but is formed on a single semiconductor substrate such as single crystal silicon by a known CMOS integrated circuit manufacturing technique. In addition, the image processing apparatus 10 may be formed of a multichip instead of the single integrated circuit.

画像処理装置１０は、動画像復号モジュール１００、入力バッファ１０１、判別部１０２、周波数算出部１０３、メモリ部１０４、制御部１０５、タイマ１０６、復号部１０７、復号バッファ１０８、出力バッファ１０９及び演算部１１０を備える。   The image processing apparatus 10 includes a moving image decoding module 100, an input buffer 101, a determination unit 102, a frequency calculation unit 103, a memory unit 104, a control unit 105, a timer 106, a decoding unit 107, a decoding buffer 108, an output buffer 109, and a calculation unit. 110.

入力バッファ１０１には復号対象となるフレームのデータが格納される。入力バッファ１０１はDRAMなど揮発性メモリにより構成され、図１に未記載の制御プロセッサなどにより入力バッファ１０１へのデータ格納処理が行われる。格納されるデータは、例えば、不揮発性メモリカードやHDDなどの記録媒体に保存されているデータや放送・通信により配信されるものを受信して、データバス経由でコピーされているデータ、である。   The input buffer 101 stores frame data to be decoded. The input buffer 101 is constituted by a volatile memory such as DRAM, and data storage processing in the input buffer 101 is performed by a control processor or the like not described in FIG. The stored data is, for example, data stored in a recording medium such as a non-volatile memory card or HDD, or data that is distributed by broadcasting / communication and copied via a data bus. .

判別部１０２は入力バッファ１０１に格納されているデータから対象フレームの画像サイズのデータを取得し、画像サイズのデータから処理すべきマクロブロックの総数を算出する。さらに、判別部１０２は復号対象のフレームのピクチャタイプを判別する。図２は、ピクチャタイプごとに、構成要素となるマクロブロックの種類を示したものである。MPEGでは動画を構成するフレームごとに、ピクチャタイプ（Iピクチャ、Pピクチャ、Bピクチャ）が存在する。Iピクチャは復号のために前後のフレームとの相関関係を使用することはなく、フレーム内のデータだけで復号できるフレームであり、Pピクチャは復号のために前フレームとの相関関係を利用するフレームであり、Bピクチャは復号のために前後のフレームとの相関関係を利用するフレームである。このような特徴があるため、ピクチャタイプごとに、フレームを構成するマクロブロックタイプも定義される。マクロブロックは図２に示すように「MBQUANT」、「順方向予測」、「逆方向予測」、「MBパターン」、「MBイントラ」の５項目の組み合わせによりマクロブロックタイプが決定され、このマクロブロックタイプから演算を処理するためのクロックサイクル数がわかり、前記クロックサイクル数が、マクロブロックの復号処理の演算量となる。したがって、図２のようなフレームのピクチャタイプから最大演算量がわかる第１のテーブル１０４Ａをメモリ部１０４に格納しておくことで、判別部１０２が判別したピクチャタイプから、第１のテーブル１０４Ａに基づいて最大演算量を決定することができる。なお、第１のテーブル１０４Ａにおける演算量を復号部１０７の内部構成に応じて変更してもよい。また、一つの動画を構成する連続するフレームの画像サイズが変化することはない場合は、判別部１０２が動画像復号処理開始時に画像サイズを取得し、２フレーム目以降の処理では1フレーム目で取得した画像サイズならびにフレームあたりのマクロブロック数を継続して使用してもよい。また、判別部１０２は、動画のフレームレート（1秒間のフレーム数）も取得し、当該フレームレートに基づいて１フレームに対する復号に割当てる所定時間を算出する。判別部１０２は、これらの復号対象のフレームに関する情報をフレームデータの先頭に配置されるヘッダ情報を解析して取得する。周波数算出部１０３が解析の結果を参照するため、解析した結果は、メモリ部１０４に格納される。さらに、対象フレームの復号処理の開始時には、メモリ部１０４にある復号対象フレームの処理履歴の内容は初期化される。   The determination unit 102 acquires the image size data of the target frame from the data stored in the input buffer 101, and calculates the total number of macroblocks to be processed from the image size data. Further, the determination unit 102 determines the picture type of the decoding target frame. FIG. 2 shows the types of macroblocks that are constituent elements for each picture type. In MPEG, there are picture types (I picture, P picture, B picture) for each frame constituting a moving picture. The I picture does not use the correlation with the previous and subsequent frames for decoding, it is a frame that can be decoded only with the data in the frame, and the P picture uses the correlation with the previous frame for decoding The B picture is a frame that uses the correlation with the previous and subsequent frames for decoding. Because of such characteristics, a macroblock type constituting a frame is also defined for each picture type. As shown in FIG. 2, the macroblock type is determined by a combination of five items of “MBQUANT”, “forward prediction”, “reverse prediction”, “MB pattern”, and “MB intra”. From the type, the number of clock cycles for processing the calculation is known, and the number of clock cycles is the calculation amount of the decoding process of the macroblock. Therefore, by storing the first table 104A in which the maximum amount of calculation is known from the picture type of the frame as shown in FIG. 2 in the memory unit 104, the picture type determined by the determination unit 102 is changed to the first table 104A. Based on this, the maximum amount of calculation can be determined. Note that the calculation amount in the first table 104A may be changed according to the internal configuration of the decoding unit 107. In addition, when the image size of consecutive frames constituting one moving image does not change, the determination unit 102 acquires the image size at the start of the moving image decoding process, and in the process after the second frame, the first frame The acquired image size and the number of macroblocks per frame may be continuously used. The determination unit 102 also acquires the frame rate of the moving image (the number of frames per second), and calculates a predetermined time allocated to decoding for one frame based on the frame rate. The determination unit 102 obtains information on the decoding target frame by analyzing header information arranged at the head of the frame data. Since the frequency calculation unit 103 refers to the analysis result, the analysis result is stored in the memory unit 104. Further, at the start of the decoding process of the target frame, the contents of the processing history of the decoding target frame in the memory unit 104 are initialized.

復号部１０７は、マクロブロック単位での復号処理を行う。処理対象のマクロブロックが他のマクロブロックとの時間・空間的な相関関係を用いた復号処理を必要とする場合には、復号部１０７は必要データを復号バッファ１０８に読み込んだ上で処理を行う。復号結果は出力バッファ１０９に格納される。出力バッファ１０９としては、例えば、DRAMなど揮発メモリが使用される。また、復号部１０７は復号処理のステータス情報の一つとして復号処理済みマクロブロック数を出力し、メモリ部１０４が記憶領域に格納する。復号処理のステータス情報のメモリ部１０４への格納方法としては、復号部１０７がマクロブロックの処理完了毎に信号を出力し、メモリ部１０４がフレームの復号処理の開始からマクロブロック処理の回数を計算して、その結果を記憶領域に格納する方法でもよい。   The decoding unit 107 performs decoding processing in units of macro blocks. When a macroblock to be processed requires a decoding process using a temporal / spatial correlation with other macroblocks, the decoding unit 107 performs processing after reading necessary data into the decoding buffer 108. . The decoding result is stored in the output buffer 109. For example, a volatile memory such as a DRAM is used as the output buffer 109. Also, the decoding unit 107 outputs the number of decoded macroblocks as one piece of status information of the decoding process, and the memory unit 104 stores it in the storage area. As a method of storing the status information of the decoding process in the memory unit 104, the decoding unit 107 outputs a signal every time the macroblock processing is completed, and the memory unit 104 calculates the number of times of the macroblock processing from the start of the frame decoding processing. Then, the result may be stored in the storage area.

演算部１１０はタイマ１０６、周波数算出部１０３、メモリ部１０４から構成される。   The calculation unit 110 includes a timer 106, a frequency calculation unit 103, and a memory unit 104.

タイマ１０６は、復号対象のフレームの処理開始からの経過時間をカウントし、その経過時間は動作周波数算出のために使用される。なお、タイマ１０６は動画像復号モジュール１００の内部に含めてもよいし、外部に設置してもよい。   The timer 106 counts the elapsed time from the start of processing of the decoding target frame, and the elapsed time is used for calculating the operating frequency. The timer 106 may be included in the moving image decoding module 100 or may be installed outside.

周波数算出部１０３はメモリ部１０４に格納した対象フレームのピクチャタイプから、復号対象フレームが含むマクロブロックのうち演算量が最大となるマクロブロックの演算量（Ｐ_ＭＡＸ）を取得し、復号対象フレームの処理すべきマクロブロックの総数(ＭＢ_all)と処理履歴にある復号処理済マクロブロック数(ｎ)から処理すべき残りのマクロブロックの総数を算出する。さらに、周波数算出部１０３はタイマ１０６がカウントしている復号対象フレームの処理経過時間（Ｔ（ｎ−１））と１フレームに対する復号に割当てる所定時間（Ｔ_Ｆ）から処理すべき残りのマクロブロックの復号処理に割り当てが可能な残り処理時間を算出し、これらの情報を使用して、現在復号の対象となっているマクロブロックを処理するための動作周波数（ｆ）を算出する。具体的には、式１によりｎ番目のマクロブロックを処理するための動作周波数（ｆ）が算出される。   The frequency calculation unit 103 obtains the calculation amount (P_MAX) of the macroblock having the maximum calculation amount among the macroblocks included in the decoding target frame from the picture type of the target frame stored in the memory unit 104, and processes the decoding target frame The total number of remaining macroblocks to be processed is calculated from the total number of macroblocks to be processed (MB_all) and the number of decoded macroblocks (n) in the processing history. Further, the frequency calculation unit 103 determines the remaining macroblocks to be processed from the processing elapsed time (T (n−1)) of the decoding target frame counted by the timer 106 and the predetermined time (T_F) allocated to decoding for one frame. The remaining processing time that can be allocated to the decoding process is calculated, and using these pieces of information, the operating frequency (f) for processing the macroblock currently being decoded is calculated. Specifically, the operating frequency (f) for processing the n-th macroblock is calculated by Equation 1.

ｆ＝(ＭＢ_all−ｎ)×Ｐ_ＭＡＸ／(Ｔ_Ｆ−Ｔ(n-1))・・・式１   f = (MB_all−n) × P_MAX / (T_F−T (n−1)) Equation 1

式１を用いることにより、処理すべき全ての残りマクロブロックが最大演算量（Ｐ_ＭＡＸ）を持つとした場合の合計演算量と当該フレームに割り当てが可能な残り処理時間から動作周波数（ｆ）が算出されるので、残りマクロブロックの全てが、最大演算量（Ｐ_ＭＡＸ）を持つ場合においても、マクロブロック単位での復号処理の合計時間が、１フレームに対する復号に割当てる所定時間（Ｔ_Ｆ）を超過することはない。したがって、復号処理を途中で破綻させない動作周波数（ｆ）の変更が可能となる。   By using Equation 1, the operating frequency (f) is calculated from the total calculation amount when all the remaining macro blocks to be processed have the maximum calculation amount (P_MAX) and the remaining processing time that can be allocated to the frame. Therefore, even when all of the remaining macroblocks have the maximum calculation amount (P_MAX), the total time of decoding processing in units of macroblocks exceeds a predetermined time (T_F) assigned to decoding for one frame. There is no. Therefore, it is possible to change the operating frequency (f) without causing the decoding process to fail midway.

次に、周波数算出部１０３は、算出した動作周波数（ｆ）に基づいて、制御部１０５に与える制御データ１１１を生成する。制御データ１１１は、動作周波数を制御するデータと電源電圧を制御するデータを含む。まず、動作周波数を制御するデータは、例えば、次の方法で決定される。実施の形態１における画像処理装置１０は、動作周波数をM段階（M≧２）に設定可能であり、動作周波数が小さい順にＦ（１）、Ｆ（２）、…Ｆ（ｍ）とすると、周波数算出部１０３が、式１により算出した動作周波数（ｆ）に基づき、F（ｋ）<ｆ≦F（ｋ＋１）となるF（ｋ＋１）を選択し、このＦ（ｋ＋１）が、少なくとも復号部１０７の同期クロック信号の周波数を制御するデータとして決定される。一方、電源電圧を制御するデータは、次の方法で決定される。一般に動作周波数が大きければ電源電圧として高電圧が必要となり、動作周波数が低ければ電源電圧を低く抑えることができ、低消費電力化を図ることができる。図３は、実施の形態１における画像処理装置１０の動画像復号モジュール１００に供給する動作周波数と電源電圧の対応関係を表す第２のテーブル１０４Ｂである。実施の形態１における画像処理装置１０は、構成モジュールの動作周波数に合わせて電源電圧をM段階（M≧２）に設定可能であり、例えば、メモリ部１０４に前記第２のテーブル１０４Ｂを格納しておき、前記第２のテーブル１０４Ｂを参照して上記周波数で使用する電源電圧を選択することで、電源電圧を制御するデータを決定する。   Next, the frequency calculation unit 103 generates control data 111 to be given to the control unit 105 based on the calculated operating frequency (f). The control data 111 includes data for controlling the operating frequency and data for controlling the power supply voltage. First, data for controlling the operating frequency is determined by the following method, for example. The image processing apparatus 10 according to Embodiment 1 can set the operating frequency to M stages (M ≧ 2), and F (1), F (2),... F (m) in ascending order of the operating frequency. The frequency calculation unit 103 selects F (k + 1) satisfying F (k) <f ≦ F (k + 1) based on the operating frequency (f) calculated by Expression 1, and this F (k + 1) is at least a decoding unit. It is determined as data for controlling the frequency of the synchronous clock signal 107. On the other hand, data for controlling the power supply voltage is determined by the following method. In general, when the operating frequency is high, a high voltage is required as the power supply voltage, and when the operating frequency is low, the power supply voltage can be kept low, and power consumption can be reduced. FIG. 3 is a second table 104B representing the correspondence between the operating frequency and the power supply voltage supplied to the video decoding module 100 of the image processing apparatus 10 according to the first embodiment. The image processing apparatus 10 according to the first embodiment can set the power supply voltage to M levels (M ≧ 2) in accordance with the operating frequency of the constituent modules. For example, the second table 104B is stored in the memory unit 104. The data for controlling the power supply voltage is determined by selecting the power supply voltage to be used at the above frequency with reference to the second table 104B.

以上の方法により、動作周波数を制御するデータと電源電圧を制御するデータを含む制御データ１１１が生成されると、演算部１１０は制御データ１１１を制御部１０５に送る。   When the control data 111 including the data for controlling the operating frequency and the data for controlling the power supply voltage is generated by the above method, the arithmetic unit 110 sends the control data 111 to the control unit 105.

メモリ部１０４には、判別部１０２が算出した処理すべきマクロブロックの総数、復号部１０７から出力された復号処理済みのマクロブロック数及び復号対象フレームのピクチャタイプ、図２のようなピクチャタイプから最大演算量を判別する第１のテーブル１０４Ａ及び図３に示すような動作周波数と電源電圧の対応関係を表す第２のテーブル１０４Ｂが記憶される。   The memory unit 104 includes the total number of macroblocks to be processed calculated by the determination unit 102, the number of decoded macroblocks output from the decoding unit 107, the picture type of the decoding target frame, and the picture type as shown in FIG. A first table 104A for determining the maximum calculation amount and a second table 104B representing the correspondence between the operating frequency and the power supply voltage as shown in FIG. 3 are stored.

制御部１０５は、演算部１１０から送られた制御データ１１１に基づいて、復号部１０７に対して供給する同期クロック信号の周波数と電源電圧を変更する。前記制御部１０５は、例えば、発振回路の出力信号を分周した周波数の中から制御データ１１１に指定された一つの周波数を選択し、クロック信号として出力するクロックジェネレータと、複数の電圧の中から制御データ１１１に指定された一つの電圧を選択し、電源電圧として出力する電源回路とからなる。なお、制御データ１１１に基づいてクロック信号の周波数と電源電圧を変更するブロックは、復号部１０７だけでもよいし、タイマ１０６を除いた、クロック信号を必要とする他のブロックでもよい。   The control unit 105 changes the frequency and power supply voltage of the synchronous clock signal supplied to the decoding unit 107 based on the control data 111 sent from the calculation unit 110. For example, the control unit 105 selects one frequency specified in the control data 111 from the frequency obtained by dividing the output signal of the oscillation circuit, and outputs the clock generator as a clock signal from among a plurality of voltages. It consists of a power supply circuit that selects one voltage specified in the control data 111 and outputs it as a power supply voltage. Note that the block that changes the frequency and power supply voltage of the clock signal based on the control data 111 may be only the decoding unit 107 or may be another block that requires the clock signal, excluding the timer 106.

図４は実施の形態１における画像処理装置１０の対象フレームの復号処理の流れである。まず、復号対象となるフレームのデータが入力バッファ１０１に格納される（Ｓ５０１）。次に判別部１０２が入力バッファ１０１に格納された復号対象フレームのデータを解析してフレームについての情報を取得する（Ｓ５０２）。ステップＳ５０２で解析したマクロブロックの情報を基に、演算部１１０が、復号対象フレームの先頭にあるマクロブロックの処理を行うための動作周波数および電源電圧を算出し、制御部１０５に制御データ１１１を与える（Ｓ５０３）。ステップＳ５０３では、まず、先頭のマクロブロック処理における動作周波数（ｆ）が算出される。先頭のマクロブロック処理における動作周波数（ｆ）は、演算部１１０は復号処理済マクロブロック数(ｎ)を０、復号対象フレームの処理経過時間（Ｔ（ｎ−１））を０とし、マクロブロックの最大演算量をステップＳ５０２で判別部１０２が取得したピクチャタイプに基づいた演算量を用いて、式１により算出される。あるいは、先頭のマクロブロックの処理に関しては、上記の方法で動作周波数（ｆ）を算出せずに、動画像復号モジュール１００が対応する最大の動作周波数を設定してもよい。次に、ステップ５０３では周波数算出部１０３は、算出した動作周波数（ｆ）に基づき制御データ１１１を生成し、制御部１０５に与える。制御データ１１１を与えられた制御部１０５は動画像復号モジュール１００に供給する動作周波数と電源電圧（１１２）を変更する。   FIG. 4 is a flow of the decoding process of the target frame of the image processing apparatus 10 according to the first embodiment. First, the frame data to be decoded is stored in the input buffer 101 (S501). Next, the determination unit 102 analyzes the data of the decoding target frame stored in the input buffer 101 and acquires information about the frame (S502). Based on the macroblock information analyzed in step S502, the calculation unit 110 calculates the operating frequency and power supply voltage for processing the macroblock at the head of the decoding target frame, and sends the control data 111 to the control unit 105. (S503). In step S503, first, the operating frequency (f) in the first macroblock process is calculated. The operating frequency (f) in the first macroblock processing is such that the calculation unit 110 sets the number of decoded macroblocks (n) to 0, the processing elapsed time (T (n-1)) of the decoding target frame to 0, and the macroblock Is calculated using Equation 1 using the calculation amount based on the picture type acquired by the determination unit 102 in step S502. Alternatively, regarding the processing of the first macroblock, the maximum operating frequency corresponding to the video decoding module 100 may be set without calculating the operating frequency (f) by the above method. Next, in step 503, the frequency calculation unit 103 generates control data 111 based on the calculated operating frequency (f), and supplies the control data 111 to the control unit 105. The control unit 105 given the control data 111 changes the operating frequency and power supply voltage (112) supplied to the video decoding module 100.

ステップＳ５０３の後、復号部１０７は、供給された同期クロック信号の周波数と電源電圧の下で、入力バッファ１０１から復号対象となる１マクロブロックのデータを読み出し、マクロブロックの復号処理を行う（Ｓ５０４）。その後、復号部１０７は復号処理のステータスを表す、復号処理済みマクロブロック数をメモリ部１０４に出力し、メモリ部１０４は残りマクロブロック数を更新する（Ｓ５０５）。ステップＳ５０５では、メモリ部１０４がこれまでに記憶している、復号処理が完了したマクロブロック数を１つ増加させて、メモリ部に記憶している残りマクロブロック数を減少させる。次に演算部１１０は、処理すべき残りのマクロブロックの総数が０かどうかを確認する（Ｓ５０６）。前記総数が０となった場合には、対象フレームの復号処理が完了しているため、終了処理を行うためにステップＳ５０８へ移行し、前記総数が０にならなかった場合には、ステップＳ５０７へと進む。前記総数が０となった場合には、すでにフレームの復号処理が終わっているため、終了処理を行う（Ｓ５０８）。ステップ５０８では、演算部１１０が、復号処理が不要な場合に設定可能な、最も小さい動作周波数及び電源電圧となる制御データ１１１を制御部１０５に与える。前記総数が０とならなかった場合には、処理開始からの経過時間を更新する（Ｓ５０７）。ステップＳ５０７では、周波数算出部１０３がタイマ１０６からフレーム処理開始からの経過時間を取得し、メモリ部１０４に記憶している処理すべき残りのマクロブロックの復号処理に割り当てが可能な残り時間を更新する。次に、周波数算出部１０３は、式１に基づき動作周波数（ｆ）を算出し（Ｓ５０９）、次のマクロブロック復号処理で使用する制御データ１１１を生成し、周波数算出部１０３から制御部１０５に制御データ１１１を与える。制御データ１１１を与えられた制御部１０５は動画像復号モジュール１００に供給するクロック信号の周波数と電源電圧（１１２）を変更する（Ｓ５１０）。その後、ステップＳ５０４へと移行して次のマクロブロックの復号処理を継続する。   After step S503, the decoding unit 107 reads one macroblock data to be decoded from the input buffer 101 under the frequency and power supply voltage of the supplied synchronous clock signal, and performs macroblock decoding processing (S504). ). Thereafter, the decoding unit 107 outputs the number of decoded macroblocks indicating the status of the decoding process to the memory unit 104, and the memory unit 104 updates the number of remaining macroblocks (S505). In step S505, the number of macroblocks that have been decoded and stored in the memory unit 104 is increased by one, and the number of remaining macroblocks stored in the memory unit is decreased. Next, the calculation unit 110 checks whether the total number of remaining macroblocks to be processed is 0 (S506). When the total number becomes 0, the decoding process of the target frame is completed, so the process proceeds to step S508 to perform the end process. When the total number does not reach 0, the process proceeds to step S507. Proceed with When the total number is 0, the frame decoding process has already been completed, and the end process is performed (S508). In step 508, the calculation unit 110 provides the control unit 105 with control data 111 that is the lowest operating frequency and power supply voltage that can be set when the decoding process is unnecessary. If the total number is not 0, the elapsed time from the start of processing is updated (S507). In step S507, the frequency calculation unit 103 acquires the elapsed time from the start of frame processing from the timer 106, and updates the remaining time that can be allocated to the decoding processing of the remaining macroblocks to be processed stored in the memory unit 104. To do. Next, the frequency calculation unit 103 calculates the operating frequency (f) based on Equation 1 (S509), generates control data 111 to be used in the next macroblock decoding process, and sends the control data 111 from the frequency calculation unit 103 to the control unit 105. Control data 111 is given. The control unit 105 given the control data 111 changes the frequency of the clock signal supplied to the video decoding module 100 and the power supply voltage (112) (S510). Thereafter, the process proceeds to step S504, and the decoding process for the next macroblock is continued.

以上説明した動作フローに従い復号処理を行うことにより、マクロブロックごとに同期クロック信号の周波数と電源電圧を変更して復号処理を行うことが可能となり、動画の復号処理における消費電力低減を実現することができる。   By performing the decoding process according to the operation flow described above, it is possible to perform the decoding process by changing the frequency of the synchronous clock signal and the power supply voltage for each macroblock, and to realize a reduction in power consumption in the moving picture decoding process. Can do.

図５は、実施の形態１の動作周波数の変更方法を用いた場合における、対象フレームの復号処理中の動画像復号モジュール１００の動作周波数の変化を表すグラフの一例である。本図では、ｎ番目のマクロブロック処理時に設定した動作周波数をＦ_ＭＢ(ｎ)とする。また、ｎ番目のマクロブロックの復号処理時間をＴ_ＭＢ（ｎ）、演算量をＰ_ＭＢ（ｎ）とすると、ｎ番目のマクロブロック復号処理の時間は式２で表される。   FIG. 5 is an example of a graph showing a change in the operating frequency of the moving picture decoding module 100 during the decoding process of the target frame when the operating frequency changing method according to the first embodiment is used. In this figure, the operating frequency set at the time of processing of the nth macroblock is F_MB (n). Also, assuming that the decoding processing time of the nth macroblock is T_MB (n) and the amount of computation is P_MB (n), the time of the nth macroblock decoding processing is expressed by Equation 2.

Ｔ_ＭＢ（ｎ）＝Ｐ_ＭＢ（ｎ）／Ｆ_ＭＢ（ｎ）・・・式２   T_MB (n) = P_MB (n) / F_MB (n) (2)

実施の形態１では、マクロブロックの復号処理が完了するごとに、次のマクロブロック処理のために動作周波数が算出される。また、このマクロブロックの演算量については残りのマクロブロックの全てが最大演算量（Ｐ_ＭＡＸ）を必要とするマクロブロックであった場合を考慮しており、実際の対象マクロブロックの演算量はこれよりも小さいことが多くなる。このため、ｎ番目のマクロブロックを処理した際には｛Ｐ_ＭＡＸ／Ｆ_ＭＢ（ｎ）−Ｐ_ＭＢ（ｎ）／Ｆ_ＭＢ（ｎ）｝だけ時間の余裕を得ることができる。実施の形態１では、この時間的余裕をもとにして、ｎ＋１番目のマクロブロックを処理するために使用する動作周波数を低下させることを可能としている。つまり、ｎ番目のマクロブロック処理で得た時間的余裕を残りのマクロブロック処理に配分することで、ｎ＋１番目のマクロブロックでは処理時間Ｔ_ＭＢ（ｎ＋１）を長くすることができ、また、ｎ＋１番目のマクロブロックの演算量であるＰ＿ＭＢ（ｎ＋１）は固定値であるため、式２によると、ｎ＋１番目のマクロブロックを処理するための動作周波数Ｆ_ＭＢ（ｎ＋１）を小さくすることができる。このような周波数設定の繰り返しにより、動作周波数を段階的に低下させることができる。また、動作周波数が低下することにより、マクロブロック１つあたりにかかる処理時間が長くなっているが、直前までのマクロブロック処理で生まれた時間的余裕を元に動作周波数を低下させることにより、全体の復号にかかる時間ΣＴ_ＭＢ（ｎ）がフレーム全体の処理時間Ｔ_Ｆを超えることはなく、動画の再生が破綻することは起こりえない。なお、例えばｎ番目のマクロブロックの演算量がＰ＿ＭＡＸであった場合には、時間的余裕が発生しないため、ｎ＋１番目のマクロブロック処理のために動作周波数が変更されることはなく、ｎ番目のマクロブロックと同じ動作周波数で復号処理が行われる。   In the first embodiment, every time a macroblock decoding process is completed, an operating frequency is calculated for the next macroblock process. In addition, regarding the calculation amount of this macro block, the case where all the remaining macro blocks are macro blocks that require the maximum calculation amount (P_MAX) is considered, and the calculation amount of the actual target macro block is Are often small. For this reason, when the nth macroblock is processed, a time margin can be obtained by {P_MAX / F_MB (n) −P_MB (n) / F_MB (n)}. In the first embodiment, the operating frequency used for processing the (n + 1) th macroblock can be reduced based on this time margin. That is, by allocating the time margin obtained by the nth macroblock processing to the remaining macroblock processing, the processing time T_MB (n + 1) can be increased in the (n + 1) th macroblock, and the (n + 1) th macroblock processing can be increased. Since P_MB (n + 1), which is the calculation amount of the macroblock, is a fixed value, according to Equation 2, the operating frequency F_MB (n + 1) for processing the (n + 1) th macroblock can be reduced. By repeating such frequency setting, the operating frequency can be lowered stepwise. In addition, the processing time per macroblock is increased due to the lowering of the operating frequency, but by reducing the operating frequency based on the time margin generated by the macroblock processing until immediately before, The time ΣT_MB (n) required for decoding does not exceed the processing time T_F of the entire frame, and the reproduction of the moving image cannot occur. For example, when the calculation amount of the nth macroblock is P_MAX, there is no time margin, so the operating frequency is not changed for the (n + 1) th macroblock processing, and the nth macroblock processing is not performed. Decoding processing is performed at the same operating frequency as the macroblock.

図６は、動画１フレームの処理におけるマクロブロック処理の時間経過を示すものである。１フレームに対する復号に割当てる所定時間（Ｔ_Ｆ）は、動画のフレームレート（1秒間に表示するフレーム枚数）に基づき決定される。例えば、１秒間にＬ枚のフレームを表示する動画の場合にはＴ_Ｆ＝１／Ｌ として算出できるが、この時間１／Ｌよりも短い時間を１フレームに対する復号に割当てる所定時間（Ｔ_Ｆ）としてもよい。実施の形態１による動作周波数の変更方式を用いることで、図６に示すようにＴ_Ｆ＞ΣＴ＿ＭＢ（ｎ）となる場合もある。この場合には、最後のマクロブロックの処理が完了した後の残り時間である｛Ｔ_Ｆ−ΣＴ_ＭＢ（ｎ）｝の期間を、動画像復号モジュール１００に設定可能な動作周波数のうち最も低い動作周波数を用いることにより、処理はしていないがクロックを供給することで、動画像復号モジュール１００において消費される不要な電力を低減することが可能となる。   FIG. 6 shows the passage of time of macroblock processing in processing of one frame of moving image. The predetermined time (T_F) assigned to decoding for one frame is determined based on the frame rate of the moving image (the number of frames displayed per second). For example, in the case of a moving image displaying L frames per second, it can be calculated as T_F = 1 / L. However, a time shorter than this time 1 / L can also be used as a predetermined time (T_F) assigned to decoding for one frame. Good. By using the operating frequency changing method according to the first embodiment, T_F> ΣT_MB (n) may be satisfied as shown in FIG. In this case, the period of {T_F-ΣT_MB (n)}, which is the remaining time after the processing of the last macroblock is completed, is set to the lowest operating frequency that can be set in the video decoding module 100. By using it, it is possible to reduce unnecessary power consumed in the video decoding module 100 by supplying a clock although it is not processed.

以上説明した実施の形態１により、実際のマクロブロック単位での復号処理によって生ずる余裕時間を把握し、その範囲内で、少なくとも復号部１０７に供給する同期クロック周波数と電源電圧を変更させて逐次復号処理を進めていくから、動画像復号処理の低消費電力化が実現できる。また、マクロブロックの最大演算量を考慮して動作周波数を算出するので、途中で処理が破綻することなく復号処理を行うことができる。   According to the first embodiment described above, the margin time generated by the actual decoding process in units of macroblocks is grasped, and within that range, at least the synchronous clock frequency and the power supply voltage supplied to the decoding unit 107 are changed, and the sequential decoding is performed. Since the processing proceeds, it is possible to realize low power consumption of the video decoding process. In addition, since the operating frequency is calculated in consideration of the maximum calculation amount of the macroblock, it is possible to perform the decoding process without breaking the process in the middle.

《実施の形態２》
図７は、本発明に係る画像処理装置の別の実施の形態として、バッテリ駆動の携帯端末における動画像の復号処理を行う画像処理装置を示す。同図に示される画像処理装置７０は、特に制限されないが、公知のＣＭＯS集積回路の製造技術によって1個の単結晶シリコンのような半導体基板に形成されている。また、画像処理装置７０は、１つの前記集積回路で構成されたものではなく、マルチチップで形成されたものでもよい。 << Embodiment 2 >>
FIG. 7 shows an image processing apparatus that performs a moving image decoding process in a battery-driven portable terminal as another embodiment of the image processing apparatus according to the present invention. The image processing apparatus 70 shown in the figure is not particularly limited, but is formed on a single semiconductor substrate such as single crystal silicon by a known CMOS integrated circuit manufacturing technique. In addition, the image processing apparatus 70 may be formed of a multichip instead of the single integrated circuit.

実施の形態１では、動作周波数の算出の際に用いる演算量をピクチャタイプに応ずる最大演算量（Ｐ＿ＭＡＸ）とした。画像処理装置７０は、復号処理したマクロブロックの演算量の履歴に基づいて決まる代表演算量（Ｐ＿ＴＹＰ）を用いて動作周波数をダイナミックに変化可能にするものである。画像処理装置７０は、実施の形態１における画像処理装置１０と比較して、動作周波数をより低下させることが可能となる。   In the first embodiment, the calculation amount used when calculating the operating frequency is the maximum calculation amount (P_MAX) corresponding to the picture type. The image processing device 70 allows the operating frequency to be dynamically changed using a representative calculation amount (P_TYP) determined based on a history of calculation amount of the decoded macroblock. Compared with the image processing apparatus 10 according to the first embodiment, the image processing apparatus 70 can further reduce the operating frequency.

画像処理装置７０は、動画像復号モジュール７００、入力バッファ１０１、判別部１０２、制御部１０５、復号部１０７、復号バッファ１０８、出力バッファ１０９及び演算部７１０を備える。   The image processing apparatus 70 includes a moving image decoding module 700, an input buffer 101, a determination unit 102, a control unit 105, a decoding unit 107, a decoding buffer 108, an output buffer 109, and a calculation unit 710.

入力バッファ１０１、判別部１０２、制御部１０５、復号部１０７、復号バッファ１０８及び出力バッファ１０９は実施の形態１と同様であるため、同一の符号を付して、その詳細な説明を省略する。   Since the input buffer 101, the determination unit 102, the control unit 105, the decoding unit 107, the decoding buffer 108, and the output buffer 109 are the same as those in the first embodiment, the same reference numerals are given and detailed description thereof is omitted.

演算部７１０はタイマ１０６、ＭＢ解析部７０３、周波数算出部７０４、メモリ部７０５から構成される。   The calculation unit 710 includes a timer 106, an MB analysis unit 703, a frequency calculation unit 704, and a memory unit 705.

タイマ１０６は実施の形態１と同様であるため、同一の符号を付して、その詳細な説明を省略する。   Since the timer 106 is the same as that of the first embodiment, the same reference numerals are given and detailed description thereof is omitted.

ＭＢ解析部７０３は、復号の対象とするマクロブロックのマクロブロックヘッダを解析し、マクロブロックタイプを取得し、その結果をメモリ部７０５の処理履歴に記憶する。さらに、ＭＢ解析部７０３は、その情報を周波数算出部７０４に送る。   The MB analysis unit 703 analyzes the macroblock header of the macroblock to be decoded, acquires the macroblock type, and stores the result in the processing history of the memory unit 705. Further, the MB analysis unit 703 sends the information to the frequency calculation unit 704.

周波数算出部７０４は、まず、復号対象フレームの先頭のマクロブロック処理のための制御データ１１１の初期値を生成する。前記初期値の生成は、実施の形態１と同様に、判別部１０２が判別したピクチャタイプから決まる最大演算量（Ｐ＿ＭＡＸ）を用いて、動作周波数（ｆ）を算出し、算出した動作周波数（ｆ）から制御データ１１１を生成する。前記制御データ１１１は制御部１０５に初期値として与えられる。その後のマクロブロック復号処理からは、最大演算量（Ｐ＿ＭＡＸ）に代えて、代表演算量（Ｐ＿ＴＹＰ）を使用して動作周波数（ｆ）の算出を行う。   First, the frequency calculation unit 704 generates an initial value of the control data 111 for processing the first macroblock of the decoding target frame. As in the first embodiment, the initial value is generated by calculating the operating frequency (f) using the maximum calculation amount (P_MAX) determined from the picture type determined by the determining unit 102 and calculating the calculated operating frequency (f ) To generate control data 111. The control data 111 is given to the control unit 105 as an initial value. From the subsequent macroblock decoding process, the operating frequency (f) is calculated using the representative calculation amount (P_TYP) instead of the maximum calculation amount (P_MAX).

代表演算量（Ｐ_ＴＹＰ）は、以下の方法のより決定される。まず、周波数算出部７０４は、復号処理が完了したマクロブロックのマクロブロックタイプから当該マクロブロックの演算量を取得する。例えば、図２のようなマクロブロックタイプから演算量がわかる第１のテーブル１０４Ａをメモリ部７０５に格納しておくことで、ＭＢ解析部７０３が解析したマクロブロックタイプから、第１のテーブル１０４Ａに基づいて、当該マクロブロックの演算量がわかる。過去ｊ個のマクロブロックの復号処理に要した演算量は、メモリ部７０５の処理履歴として記憶しておく。次に、取得したマクロブロックの演算量をもとに、復号処理が完了した過去ｊ個のマクロブロックで費やした演算量の平均値を算出する。前記平均値として使用する値は、算術平均値や加重平均値でもよいし、ヒストグラムから最も頻出のマクロブロックの演算量でもよい。その後、前記平均値と次の復号対象となるマクロブロックの演算量の差分を算出する。算出された差分が、ある閾値を超えない場合には前記平均値が代表演算量（Ｐ_ＴＹＰ）として設定され、差分が、ある閾値を超える場合には処理対象マクロブロックの演算量が新たな代表演算量（Ｐ_ＴＹＰ）として設定される。この際、代表演算量（Ｐ_ＴＹＰ）が著しく増加する場合には、復号処理の破綻の虞があるため、マクロブロックの最大演算量（Ｐ_ＭＡＸ）を代表演算量（Ｐ_ＴＹＰ）としてもよい。例えば、代表演算量（Ｐ_ＴＹＰ）を最大演算量（Ｐ_ＭＡＸ）に設定する方法として、最大演算量に設定するための別の閾値を定めておいて、前記差分がその閾値を超えた場合に代表演算量（Ｐ_ＴＹＰ）を最大演算量（Ｐ_ＭＡＸ）に設定するようにする。以上の方法により決定した代表演算量（Ｐ＿ＴＹＰ）はメモリ７０５に記憶される。最後に、周波数算出部７０４は、上記代表演算量（Ｐ＿ＴＹＰ）を用いて、対象マクロブロックの復号処理に使用する動作周波数（ｆ）を式３にて決定する。   The representative calculation amount (P_TYP) is determined by the following method. First, the frequency calculation unit 704 acquires the calculation amount of the macroblock from the macroblock type of the macroblock for which the decoding process has been completed. For example, by storing in the memory unit 705 the first table 104A in which the calculation amount is known from the macroblock type as shown in FIG. 2, the macroblock type analyzed by the MB analysis unit 703 is changed to the first table 104A. Based on this, the calculation amount of the macroblock is known. The amount of computation required for the decoding process of the past j macroblocks is stored as a processing history in the memory unit 705. Next, based on the obtained computation amount of the macroblock, an average value of the computation amount spent in the past j macroblocks for which the decoding process has been completed is calculated. The value used as the average value may be an arithmetic average value or a weighted average value, or may be an operation amount of the most frequent macroblock from the histogram. Then, the difference between the average value and the calculation amount of the next macroblock to be decoded is calculated. When the calculated difference does not exceed a certain threshold, the average value is set as the representative calculation amount (P_TYP), and when the difference exceeds a certain threshold, the calculation amount of the processing target macroblock becomes a new representative calculation. Set as a quantity (P_TYP). At this time, if the representative calculation amount (P_TYP) increases remarkably, the decoding processing may be broken, and therefore the maximum calculation amount (P_MAX) of the macroblock may be set as the representative calculation amount (P_TYP). For example, as a method of setting the representative calculation amount (P_TYP) to the maximum calculation amount (P_MAX), another threshold value for setting the maximum calculation amount is determined, and the representative calculation is performed when the difference exceeds the threshold value. The amount (P_TYP) is set to the maximum calculation amount (P_MAX). The representative calculation amount (P_TYP) determined by the above method is stored in the memory 705. Finally, the frequency calculation unit 704 determines an operating frequency (f) to be used for the decoding process of the target macroblock using Equation 3 using the representative calculation amount (P_TYP).

ｆ＝(ＭＢ_all−ｎ)×Ｐ_ＴＹＰ／(Ｔ_Ｆ−Ｔ(n-1))・・・式３   f = (MB_all−n) × P_TYP / (T_F−T (n−1)) Equation 3

式３における代表演算量（Ｐ＿ＴＹＰ）以外のパラメータは、式１と同様である。   Parameters other than the representative calculation amount (P_TYP) in Equation 3 are the same as those in Equation 1.

式３を用いることにより、処理すべき全ての残りマクロブロックが、最大演算量（Ｐ_ＭＡＸ）ではなく、過去の実際の処理履歴から算出した代表演算量（Ｐ＿ＴＹＰ）を持つとした場合の合計演算量と当該フレームに割り当てが可能な残り処理時間から動作周波数（ｆ）が算出されるので、より動作周波数を低下させることが可能となる。また、前記差分の判別結果により代表演算量（Ｐ＿ＴＹＰ）を著しく増加させる場合には、最大演算量（Ｐ_ＭＡＸ）を代表演算量（Ｐ_ＴＹＰ）とすることで、残りマクロブロックの全てが、最大演算量（Ｐ_ＭＡＸ）を持つ場合においてもマクロブロック単位での復号処理の合計時間が、１フレームに対する復号に割当てる所定時間（Ｔ_Ｆ）を超過することはない。したがって、復号処理を途中で破綻させない動作周波数（ｆ）の変更が可能となる。   By using Equation 3, the total amount of computation when all remaining macroblocks to be processed have the representative amount of computation (P_TYP) calculated from the past actual processing history instead of the maximum amount of computation (P_MAX). Since the operating frequency (f) is calculated from the remaining processing time that can be assigned to the frame, the operating frequency can be further reduced. Further, when the representative calculation amount (P_TYP) is remarkably increased according to the difference determination result, the maximum calculation amount (P_MAX) is set as the representative calculation amount (P_TYP), so that all the remaining macroblocks have the maximum calculation amount. Even in the case of having (P_MAX), the total time of decoding processing in units of macroblocks does not exceed the predetermined time (T_F) assigned to decoding for one frame. Therefore, it is possible to change the operating frequency (f) without causing the decoding process to fail midway.

動作周波数（ｆ）が決定した後は、実施の形態１と同様の方法で制御データ１１１が生成され、演算部７１０は制御データ１１１を制御部１０５に送る。   After the operating frequency (f) is determined, the control data 111 is generated by the same method as in the first embodiment, and the calculation unit 710 sends the control data 111 to the control unit 105.

メモリ部７０５は、実施の形態１における図１のメモリ部１０４の記憶内容に加え、ＭＢタイプから演算量を判別する第１のテーブル１０４Ａ、ＭＢ解析部７０３が取得した過去ｊ個のマクロブロックタイプ、過去ｊ個のマクロブロックの復号処理に要した演算量及び代表演算量（Ｐ_ＴＹＰ）を記憶する。   The memory unit 705 includes the first table 104A for determining the calculation amount from the MB type in addition to the storage contents of the memory unit 104 of FIG. 1 in the first embodiment, and the past j macroblock types acquired by the MB analysis unit 703. The calculation amount and the representative calculation amount (P_TYP) required for decoding the past j macroblocks are stored.

制御部１０５は、実施の形態１における制御部１０５と同様であり、演算部７１０から送られた制御データ１１１に基づいて、復号部１０７に対して供給する同期クロック信号の周波数と電源電圧を変更する。なお、制御データ１１１に基づいてクロック信号の周波数と電源電圧を変更するブロックは、復号部１０７だけでもよいし、タイマ１０６を除いた、クロック信号を必要とする他のブロックでもよい。   The control unit 105 is the same as the control unit 105 in the first embodiment, and changes the frequency and power supply voltage of the synchronous clock signal supplied to the decoding unit 107 based on the control data 111 sent from the calculation unit 710. To do. Note that the block that changes the frequency and power supply voltage of the clock signal based on the control data 111 may be only the decoding unit 107 or may be another block that requires the clock signal, excluding the timer 106.

以上説明した実施の形態２により、実際のマクロブロック単位での復号処理によって生ずる余裕時間を把握し、その範囲内で、少なくとも復号部１０７に供給する同期クロック周波数と電源電圧を変更させて逐次復号処理を進めていくから、動画像復号処理の低消費電力化が実現できる。さらに、実施の形態１において演算に用いたマクロブロックの最大演算量（Ｐ_ＭＡＸ）に代えて代表演算量（Ｐ_ＴＹＰ）を用いることで、各マクロブロックを処理するための動作周波数を実施の形態１と比較して、より低下させることが可能となり、動画像復号処理の低消費電力化が実現できる。   According to the second embodiment described above, the margin time generated by the actual decoding process in units of macroblocks is grasped, and within that range, at least the synchronous clock frequency and the power supply voltage supplied to the decoding unit 107 are changed, and the sequential decoding is performed. Since the processing proceeds, it is possible to realize low power consumption of the video decoding process. Further, by using the representative calculation amount (P_TYP) instead of the maximum calculation amount (P_MAX) of the macroblock used for the calculation in the first embodiment, the operating frequency for processing each macroblock can be changed from that in the first embodiment. In comparison, it is possible to further reduce the power consumption of the video decoding process.

《実施の形態３》
実施の形態３は、実施の形態１又は実施の形態２における制御部１０５の代わりに、演算部（１１０、７１０）から受け取った制御データ１１１をもとに動作周波数を制御して、固定の電源電圧を出力する制御部を備える、画像処理装置である。制御部以外のブロックは、実施の形態１又は実施の形態２と同様の構成である。実施の形態３における制御部は、クロック信号の周波数として選択可能な一番高い周波数を供給する上で必要な一番高い電圧を電源電圧として、あらかじめ出力しておき、そのうえで演算部（１１０、７１０）から受け取った制御データ１１１をもとに、クロック信号の周波数を制御する。なお、制御データ１１１に基づいてクロック信号の周波数と電源電圧を変更するブロックは、復号部１０７だけでもよいし、タイマ１０６を除いた、クロック信号を必要とする他のブロックでもよい。前記制御部は、例えば、制御データ１１１に基づいて、発振回路の出力信号を分周した周波数の中からどれかを選択し、クロック信号として出力するクロックジェネレータと、選択可能な一番高い周波数を供給する上で必要な一番高い電圧を電源電圧として出力する電源回路とからなる。 << Embodiment 3 >>
In the third embodiment, instead of the control unit 105 in the first or second embodiment, the operating frequency is controlled based on the control data 111 received from the arithmetic units (110, 710), and a fixed power source is used. It is an image processing apparatus provided with the control part which outputs a voltage. The blocks other than the control unit have the same configuration as in the first embodiment or the second embodiment. The control unit according to the third embodiment outputs in advance the highest voltage necessary for supplying the highest frequency that can be selected as the frequency of the clock signal as the power supply voltage, and then the arithmetic units (110, 710). The frequency of the clock signal is controlled based on the control data 111 received from). Note that the block that changes the frequency and power supply voltage of the clock signal based on the control data 111 may be only the decoding unit 107 or may be another block that requires the clock signal, excluding the timer 106. The control unit selects, for example, one of the frequencies obtained by dividing the output signal of the oscillation circuit based on the control data 111, and outputs a clock generator that outputs the clock signal and the highest selectable frequency. The power supply circuit outputs the highest voltage necessary for supply as the power supply voltage.

以上の実施の形態３により、電源電圧は固定であるが、マクロブロック単位での動作周波数を変更することが可能となり、動画像復号処理における消費電力の低減を実現することができる。   According to the third embodiment described above, the power supply voltage is fixed, but it is possible to change the operating frequency in units of macroblocks, thereby realizing reduction in power consumption in moving picture decoding processing.

以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。例えば、本発明はＭＰＥＧやＨ.２６Ｘ規格に準拠した動画像復号技術だけに適用可能なものではなく、その他の手法による画像処理技術にも広く適用することができる。   Although the invention made by the present inventor has been specifically described based on the embodiments, it is needless to say that the present invention is not limited thereto and can be variously modified without departing from the gist thereof. For example, the present invention is not only applicable to a moving picture decoding technique based on the MPEG or H.26X standard, but can be widely applied to an image processing technique based on other methods.

１０ 画像処理装置
７０ 画像処理装置
１００ 動画像復号モジュール
１０１ 入力バッファ
１０２ 判別部
１０３ 周波数算出部
１０４ メモリ部
１０４Ａ 第１のテーブル
１０４Ｂ 第２のテーブル
１０５ 制御部
１０６ タイマ
１０７ 復号部
１０８ 復号バッファ
１０９ 出力バッファ
１１０ 演算部
１１１ 制御データ
１１２ ＣＬＫ・ＶＤＤ
７００ 動画像復号モジュール
７０３ ＭＢ解析部
７０４ 周波数算出部
７０５ メモリ部
７１０ 演算部 DESCRIPTION OF SYMBOLS 10 Image processing apparatus 70 Image processing apparatus 100 Video decoding module 101 Input buffer 102 Discriminating part 103 Frequency calculation part 104 Memory part 104A 1st table 104B 2nd table 105 Control part 106 Timer 107 Decoding part 108 Decoding buffer 109 Output buffer 110 Calculation unit 111 Control data 112 CLK / VDD
700 moving picture decoding module 703 MB analysis unit 704 frequency calculation unit 705 memory unit 710 calculation unit

Claims (11)

符号化された動画像データをフレームのピクチャタイプとマクロブロックタイプに従ってマクロブロック単位で復号する復号部と、
少なくとも前記復号部に供給する同期クロック信号の周波数を制御する制御部と、
前記動画像データのフレーム単位でピクチャタイプとマクロブロック数を判別する判別部と、
前記判別部による判別結果と前記復号部による復号処理の進行状態に従って前記制御部に与える制御データを算出する演算部と、を備え、
前記演算部は、１フレームに対する復号に割当てられた所定時間に対して復号処理の進行に従って減少する残り処理時間と前記復号部の同期クロック信号の現在の周波数との関係から得られる余裕時間の範囲内で制御データを変更する、画像処理装置。 A decoding unit that decodes the encoded moving image data in units of macroblocks according to the picture type and macroblock type of the frame;
A control unit for controlling the frequency of the synchronous clock signal supplied to at least the decoding unit;
A discriminator for discriminating the picture type and the number of macroblocks in units of frames of the moving image data;
A calculation unit for calculating control data to be given to the control unit according to a determination result by the determination unit and a progress state of a decoding process by the decoding unit;
The arithmetic unit is a margin time range obtained from a relationship between a remaining processing time that decreases as a decoding process proceeds and a current frequency of a synchronous clock signal of the decoding unit with respect to a predetermined time assigned to decoding for one frame. An image processing apparatus for changing control data within the apparatus. 前記演算部は、ピクチャタイプから決まる、最大演算量となるマクロブロックの演算量と、処理すべきマクロブロックの総数と、前記残り処理時間と、から前記同期クロック信号の周波数を決定する制御データを生成する、請求項１に記載の画像処理装置。   The arithmetic unit determines control data for determining a frequency of the synchronous clock signal from a calculation amount of a macro block that is a maximum calculation amount determined from a picture type, a total number of macro blocks to be processed, and the remaining processing time. The image processing apparatus according to claim 1, wherein the image processing apparatus is generated. 前記処理すべきマクロブロックの総数は、当該フレームのマクロブロックの総数から復号処理済マクロブロック数を減算して得られる値である、請求項２に記載の画像処理装置。   The image processing apparatus according to claim 2, wherein the total number of macroblocks to be processed is a value obtained by subtracting the number of decoded macroblocks from the total number of macroblocks in the frame. 前記制御データは、前記同期クロック信号の周波数を制御するデータ、または前記復号部に供給する電源電圧と前記周波数を制御するデータである、請求項１乃至３の何れか１項に記載の画像処理装置。   4. The image processing according to claim 1, wherein the control data is data for controlling a frequency of the synchronous clock signal, or data for controlling a power supply voltage supplied to the decoding unit and the frequency. 5. apparatus. 前記所定時間は、前記動画像データにおけるフレームレートに基づいて決まる時間である、請求項１乃至４の何れか１項に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the predetermined time is a time determined based on a frame rate in the moving image data. 前記残り処理時間とは前記所定時間から当該フレームの復号処理の開始からの経過時間を減算して得られる時間である、請求項１乃至５の何れか１項に記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the remaining processing time is a time obtained by subtracting an elapsed time from the start of decoding processing of the frame from the predetermined time. 前記演算部は、ピクチャタイプから決まる、最大演算量となるマクロブロックの演算量と、処理すべきマクロブロックの総数と、前記残り処理時間と、から前記同期クロック信号の周波数を決定する制御データを生成し、当該生成した制御データを初期値として前記制御部に与え、その後からは、最大演算量となるマクロブロックの演算量に代えて過去の処理済マクロブロックの演算量の平均値から算出する代表演算量と、前記処理すべきマクロブロックの総数と、前記残り処理時間と、から前記同期クロック信号の周波数を決定するデータを生成する、請求項１に記載の画像処理装置。   The arithmetic unit determines control data for determining a frequency of the synchronous clock signal from a calculation amount of a macro block that is a maximum calculation amount determined from a picture type, a total number of macro blocks to be processed, and the remaining processing time. The control data thus generated is given to the control unit as an initial value, and thereafter, it is calculated from the average value of the calculation amounts of the past processed macroblocks instead of the calculation amount of the macroblock that is the maximum calculation amount. The image processing apparatus according to claim 1, wherein data for determining a frequency of the synchronous clock signal is generated from a representative calculation amount, the total number of macroblocks to be processed, and the remaining processing time. 前記代表演算量は、過去の処理済マクロブロックの演算量の平均値と次の復号対象となるマクロブロックの演算量の差分がある閾値を超えない場合は、前記平均値を代表演算量とし、前記差分がある閾値を超える場合は、前記次の復号対象となるマクロブロックの演算量を代表演算量とする、請求項７に記載の画像処理装置。   When the difference between the average value of the calculation amount of the past processed macroblock and the calculation amount of the macroblock to be decoded next does not exceed a certain threshold, the representative calculation amount is set as the representative calculation amount, The image processing apparatus according to claim 7, wherein when the difference exceeds a certain threshold value, a calculation amount of the next macroblock to be decoded is set as a representative calculation amount. 符号化された動画像データをマクロブロック単位で復号する画像処理方法であって、前記動画像データのフレーム単位でピクチャタイプとマクロブロック数を判別する第1処理と、
フレームのピクチャタイプとマクロブロックタイプに従ってマクロブロック単位で復号する第２処理と、
前記第１処理による判別結果と前記第２処理の進行状態に従って復号部に与える制御データを算出する第３処理と
前記第３処理で算出した制御データで少なくとも復号部に供給する同期クロック信号の周波数を制御する第４処理と、を含み、
前記第３処理は、１フレームに対する復号に割当てられた所定時間に対して第２処理の進行に従って減少する残り処理時間と前記同期クロック信号の現在の周波数との関係から得られる余裕時間の範囲内で制御データを変更する処理を含む、画像処理方法。 An image processing method for decoding encoded moving image data in units of macroblocks, the first processing for determining the picture type and the number of macroblocks in units of frames of the moving image data,
A second process for decoding in macroblock units according to the picture type and macroblock type of the frame;
A third process for calculating control data to be supplied to the decoding unit according to a determination result by the first process and a progress state of the second process; And a fourth process for controlling
The third processing is within a margin time range obtained from the relationship between the remaining processing time that decreases with the progress of the second processing and the current frequency of the synchronous clock signal with respect to a predetermined time allocated for decoding for one frame. An image processing method including a process of changing control data in step (b). 前記第３処理は、ピクチャタイプから決まる、最大演算量となるマクロブロックの演算量と、処理すべきマクロブロックの総数と、前記第２処理の進行に従って減少する残り処理時間と、から前記同期クロック信号の周波数を決定する制御データを生成する、請求項９に記載の画像処理方法。   In the third process, the synchronization clock is calculated based on the calculation amount of the macroblock that is the maximum calculation amount determined from the picture type, the total number of macroblocks to be processed, and the remaining processing time that decreases as the second process proceeds. The image processing method according to claim 9, wherein control data for determining a frequency of the signal is generated. 前記第３処理は、ピクチャタイプから決まる、最大演算量となるマクロブロックの演算量と、処理すべきマクロブロックの総数と、前記第２処理の進行に従って減少する残り処理時間と、から前記同期クロック信号の周波数を決定する制御データを生成し、当該生成した制御データを初期値とし、その後からは、最大演算量となるマクロブロックの演算量に代えて過去の処理済マクロブロックの演算量の平均値から算出する代表演算量と、前記処理すべきマクロブロックの総数と、前記残り処理時間と、から前記同期クロック信号の周波数を決定するデータを生成する、請求項９に記載の画像処理方法。   In the third process, the synchronization clock is calculated based on the calculation amount of the macroblock that is the maximum calculation amount determined from the picture type, the total number of macroblocks to be processed, and the remaining processing time that decreases as the second process proceeds. Generate control data that determines the frequency of the signal, use the generated control data as an initial value, and then calculate the average of past calculation amounts of the processed macroblock instead of the calculation amount of the macroblock that is the maximum calculation amount. The image processing method according to claim 9, wherein data for determining a frequency of the synchronous clock signal is generated from a representative calculation amount calculated from a value, a total number of macroblocks to be processed, and the remaining processing time.

Images