JPH08149464A - Image decoder provided with frame rate conversion function - Google Patents

Abstract

PURPOSE: To display the reproduced image by being conformed to a display monitor even if the frame rates of an input bit stream and the data to be displayed and outputted are different. CONSTITUTION: When the image data after a decoding to be displayed next is already stored in frame memories 72 and 73, the image data is displayed. When this image data is not stored, whether the image data before the decoding to be displayed next is within a buffer memory 7 and the reference image data necessary for decoding this image data is stored in frame memories 72 and 73 or not are decided. When the reference image data is stored, the data is immediately decoded and the image data is displayed. When all these conditions are not satisfied, the image data displayed just before is redisplayed.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【産業上の利用分野】本発明は、符号化された画像信号
と異なるフレームレートで画像を復号できるフレームレ
ート変換機能付き画像復号装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image decoding apparatus with a frame rate conversion function capable of decoding an image at a frame rate different from that of an encoded image signal.

【０００２】[0002]

【従来の技術】ディジタル表現された画像データを伝送
または蓄積する場合、データ量を削減するために符号化
が行われる。符号化の方法としては、画像情報（画像デ
ータ）の時間的または空間的相関性を利用して冗長度を
少なくする方法がある。2. Description of the Related Art When transmitting or storing digitally represented image data, encoding is performed to reduce the amount of data. As an encoding method, there is a method of reducing redundancy by utilizing temporal or spatial correlation of image information (image data).

【０００３】時間的相関性を利用する方法として、連続
する２画面（フレーム）の差分を符号化したり、画像の
動きを検出して動き補償を行ったりするものがある。ま
た、空間的相関性を利用する方法として、画像を所定の
大きさのブロック（例えば縦方向、横方法とも８画素ず
つ）に分けて、ブロック内のデータを直交変換し、変換
係数をスキャン変換し（例えば低周波成分から高周波成
分の順に並び替える）、可変長符号化を行うものがあ
る。ＭＰＥＧ（Moving Picture Experts Group）が標準
化を進めている画像符号化方式（以下、ＭＰＥＧ２と略
す）は、上記２つの方法を併用するものとなっている。
これはＭＰＥＧ２の暫定勧告“Generic Coding of Movi
ng Pictures and Associated Audio”と題するＩＳＯ／
ＩＥＣ１３８１−２に記載されている。As a method of utilizing the temporal correlation, there is a method of encoding the difference between two consecutive screens (frames) or detecting the motion of an image to perform motion compensation. As a method of utilizing spatial correlation, an image is divided into blocks of a predetermined size (for example, 8 pixels in each of the vertical direction and the horizontal method), the data in the blocks is orthogonally converted, and the conversion coefficient is scan-converted. However, there is one that performs variable length coding (for example, rearranges in order from low frequency components to high frequency components). An image coding method (hereinafter abbreviated as MPEG2), which is being standardized by the Moving Picture Experts Group (MPEG), uses the above two methods together.
This is a provisional recommendation of MPEG2 "Generic Coding of Movi.
ISO / entitled "ng Pictures and Associated Audio"
It is described in IEC1381-2.

【０００４】図３は、従来の画像復号装置の構成例であ
り、復号処理手段Ａと表示処理手段Ｂから成る。復号処
理手段Ａには符号化されたデータのビット列である入力
ビットストリーム１００が入力され、復号の後、再生画
像２００が出力される。表示処理手段Ｂは前記再生画像
２００を表示モニタに適する様に変換処理を行うもの
で、画像出力３００が出力される。ＭＰＥＧ２では、復
号処理手段Ａで行うべき処理内容を規定しており、表示
処理については定めていない。FIG. 3 shows an example of the configuration of a conventional image decoding apparatus, which comprises a decoding processing means A and a display processing means B. An input bit stream 100, which is a bit string of encoded data, is input to the decoding processing means A, and after decoding, a reproduced image 200 is output. The display processing means B converts the reproduced image 200 so as to be suitable for a display monitor, and outputs an image output 300. In MPEG2, the processing content to be performed by the decoding processing means A is specified, and the display processing is not specified.

【０００５】図４は、図３の画像の復号処理手段Ａの構
成例である。図４において、バッファ制御部１０、可変
長復号器２０、スキャン変換器３０、逆量子化器４０、
逆ＤＣＴ部５０、動き補償画像再生部６０により復号処
理が実行される。７１はバッファメモリであり、７２，
７３，７４はフレームメモリ（後述する３つのＩ，Ｐ，
Ｂフレームのメモリ）である。また、８１，８２はデー
タ、８３，８４は予測フレームデータまたは予測フィー
ルドデータ、８５は再生画素データ、８６はＢフレーム
画像データであり、１００は符号化された画像を表現す
る入力ビットストリーム、２００は再生画像を示す。FIG. 4 shows a configuration example of the image decoding processing means A of FIG. 4, a buffer controller 10, a variable length decoder 20, a scan converter 30, an inverse quantizer 40,
Decoding processing is executed by the inverse DCT unit 50 and the motion compensation image reproducing unit 60. 71 is a buffer memory, and 72,
73 and 74 are frame memories (three I, P, and
B frame memory). Further, 81 and 82 are data, 83 and 84 are predicted frame data or predicted field data, 85 is reproduced pixel data, 86 is B frame image data, 100 is an input bit stream representing an encoded image, and 200 is Indicates a reproduced image.

【０００６】次に、動作について説明する。入力ビット
ストリーム１００は、バッファ制御部１０の制御によ
り、データ８１としてバッファメモリ７１に蓄積され
る。バッファメモリ７１から読み出されたデータ８２
は、可変長復号器２０によって、可変長復号される。Next, the operation will be described. The input bitstream 100 is accumulated in the buffer memory 71 as data 81 under the control of the buffer control unit 10. Data 82 read from the buffer memory 71
Is subjected to variable length decoding by the variable length decoder 20.

【０００７】全データが可変長符号化されている訳では
ないが、固定長符号もこの可変長復号器２０で復号され
るものとする。次に、スキャン変換器３０によりデータ
の順序を並び替えた後、逆量子化器４０により逆量子化
される。次に、逆ＤＣＴ部５０により逆離散コサイン変
換される。動き補償画像再生部６０では、画像の動きを
考慮した再生を行う。ＭＰＥＧ２では、時間的に前のフ
レーム（ここではＩフレーム）と時間的に後のフレーム
（ここではＰフレーム）の両方から時間的に中間のフレ
ーム（ここではＢフレーム）の予測を行う。そのため、
Ｂフレームの再生には、予め復号されているＩフレーム
とＰフレームの予測フレームデータ８３，８４をフレー
ムメモリ７２，７３から読み出す必要がある（ＭＰＥＧ
２では、時間的に後のＰフレームはＢフレームに先立っ
て復号される）。また、予測方式には、前述のフレーム
予測の他にフィールド予測があり、フレーム予測と同様
に、フィールド予測は時間的に前のフィールド（ここで
はＩフィールド）と時間的に後のフィールド（ここでは
Ｐフィールド）の両方から時間的に中間のフィールド
（ここではＢフィールド）の予測を行う。予測フレーム
データまたは予測フィールドデータ８３，８４と逆ＤＣ
Ｔ部５０の出力である予測誤差によりＢフレームまたは
Ｂフィールドを動き補償画像再生部６０で再生し、再生
画素データ８５としてフレームメモリ７４に書き込まれ
る。フレームメモリ７２，７３，７４中にあるＩ，Ｐ，
Ｂのフレームは所定の順に各メモリから読み出され（図
４ではＢフレーム画像データ８６を読み出している）、
再生画像２００が出力される。Although not all data is variable length coded, it is assumed that the fixed length code is also decoded by the variable length decoder 20. Next, after the order of the data is rearranged by the scan converter 30, it is inversely quantized by the inverse quantizer 40. Next, the inverse DCT unit 50 performs inverse discrete cosine transform. The motion-compensated image reproduction unit 60 performs reproduction in consideration of image movement. In MPEG2, a temporally intermediate frame (here, B frame) is predicted from both a temporally previous frame (here, I frame) and a temporally later frame (here, P frame). for that reason,
In order to reproduce the B frame, it is necessary to read out the predicted frame data 83 and 84 of the I and P frames which have been decoded in advance from the frame memories 72 and 73 (MPEG).
In 2, P frames that are later in time are decoded before B frames). The prediction method includes field prediction in addition to the above-described frame prediction. Like the frame prediction, the field prediction includes a field preceding in time (here, I field) and a field following in time (here, field prediction). The prediction of the temporally intermediate field (here, B field) is performed from both of the P field). Prediction frame data or prediction field data 83, 84 and inverse DC
The B frame or B field is reproduced by the motion compensation image reproducing unit 60 according to the prediction error output from the T unit 50, and is written in the frame memory 74 as reproduced pixel data 85. I, P in the frame memories 72, 73, 74,
The B frame is read out from each memory in a predetermined order (the B frame image data 86 is read out in FIG. 4),
The reproduced image 200 is output.

【０００８】また、図３の表示処理手段Ｂでは、再生画
像２００の雑音除去、フレームレート変換などの処理が
なされる。Further, the display processing means B shown in FIG. 3 performs processing such as noise removal and frame rate conversion of the reproduced image 200.

【０００９】以下、フレームレートの変換について述べ
る。例えば映画は１秒間に２４枚のフレームから構成さ
れている。これを符号化し、再び復号しＰＡＬ，ＳＥＣ
ＡＭの様な２５フレーム／秒（５０フィールド／秒）の
再生画像を得るには、次のような２つの方法が考えられ
る。The frame rate conversion will be described below. For example, a movie consists of 24 frames per second. Encode this and decode it again to PAL, SEC
In order to obtain a reproduced image of 25 frames / second (50 fields / second) like AM, the following two methods can be considered.

【００１０】第１の方法は、符号化時に、２５フレーム
／秒の再生画像２００を得ることを前提とする方法であ
る。これは、必ずしも一般的ではないが、ＭＰＥＧ２／
ビデオのストリームシンタックス上は可能である。復号
時に１／２秒間に１回３フィールド周期かけて１フレー
ムを復号し、再生画像出力ではその時だけ１フレームを
３フィールド表示し、他の期間は通常通り２フィールド
表示する。復号開始を不等間隔にしたり、２フィールド
表示／３フィールド表示の切り替えは符号化時にビット
ストリーム中のリピート・ファースト・フィールド（re
peat_first_field）の情報として入れられる。The first method is a method premised on obtaining a reproduced image 200 of 25 frames / second at the time of encoding. This is not always common, but MPEG2 /
This is possible in the video stream syntax. At the time of decoding, one frame is decoded once every ½ second over a period of three fields, and in reproducing image output, one frame is displayed for three fields only at that time, and for other periods, two fields are displayed as usual. The start of decoding is set at non-uniform intervals, and switching between 2-field display and 3-field display is performed by repeating the repeat first field (re
peat_first_field) information.

【００１１】第２の方法は、符号化時にはフレームレー
トの変換を行わず、２４フレーム／秒で符号化し、その
まま復号し再生画像２００を得るものである。各フレー
ムの復号開始時刻は等間隔であり、リピート・ファース
ト・フィールドの情報は無視される。この場合、２５フ
レーム／秒の画像を得るには上記表示処理手段Ｂでフレ
ームレート変換しなければならない。その一般的な方法
は、フレームメモリを２面以上用いて、第１面に２４フ
レーム／秒（プログレシブ）で書き込みを行っている間
に第２面に書き込まれた一つ前のフレームを、表示のた
め２５フレーム／秒（インターレース）で読み出す。そ
の際、書き込み処理を読み出し処理が追い越さ無いよう
に、第１の方法と同様に１／２秒に１回の割で同一フィ
ールドを２回読み出し調整することが必要になる。The second method is to obtain a reproduced image 200 by encoding at 24 frames / sec without decoding the frame rate during encoding and decoding as it is. The decoding start time of each frame is at regular intervals, and the information in the repeat first field is ignored. In this case, in order to obtain an image of 25 frames / second, the display processing means B must convert the frame rate. The general method is to display the previous frame written on the second surface while writing at 24 frames / sec (progressive) on the first surface by using two or more frame memories. Therefore, it is read at 25 frames / second (interlace). At this time, it is necessary to read out and adjust the same field twice every 1/2 second so that the reading process does not overtake the writing process, similarly to the first method.

【００１２】[0012]

【発明が解決しようとする課題】上述した従来技術の第
１の方法では、符号化時点で予め表示モニタのフレーム
レートをＰＡＬ／ＳＥＣＡＭ用に固定してしまうため、
表示モニタ選択の自由度が失われ、ＮＴＳＣやパソコン
のモニタを接続した復号装置ではビットストリームを復
号できても画像を見ることができない。In the above-mentioned first method of the prior art, the frame rate of the display monitor is fixed to PAL / SECAM in advance at the time of encoding.
The degree of freedom in selecting the display monitor is lost, and even if the decoding device connected to the monitor of NTSC or personal computer can decode the bitstream, the image cannot be viewed.

【００１３】また、第２の方法では、復号処理手段の外
部に高価なフレームメモリを２面以上搭載したフレーム
レート変換装置が必要になってしまう。Further, the second method requires a frame rate conversion device having two or more expensive frame memories mounted outside the decoding processing means.

【００１４】本発明は、以上のような従来装置の欠点を
解消し、復号処理側で接続している表示モニタに合わせ
た再生画像を生成でき、かつコストアップが少ない画像
復号装置を提供することを目的とする。The present invention solves the above-mentioned drawbacks of the conventional apparatus, and provides an image decoding apparatus capable of generating a reproduced image suitable for a display monitor connected on the decoding processing side and reducing the cost. With the goal.

【００１５】[0015]

【課題を解決するための手段】本発明にかかる画像復号
装置は、入力符号化ストリームが、例えば２４フレーム
／秒で、表示出力は２５フレーム／秒用である場合の様
に、１秒あたりの入力フレーム数が出力フレーム数より
僅かに少ない関係に有るときそれを判定し、その結果を
保持するモード保持手段と、次に表示すべき復号後の画
像データがフレームメモリ内に既に蓄えられているかど
うかを判定するフレームメモリ状態判定手段と、次に表
示すべき復号前の画像データがバッファ内に既に蓄えら
れているかどうかを判定するバッファメモリ状態判定手
段と、もしフレームメモリ内にもバッファメモリ内にも
次の画像を表示するのに必要なデータが揃っていなけれ
ば、直前に表示した画像データを再表示する再表示手段
とを有する。In the image decoding apparatus according to the present invention, the input coded stream is 24 frames / second, and the display output is 25 frames / second. When the number of input frames is slightly smaller than the number of output frames, it is judged and the mode holding means for holding the result and the decoded image data to be displayed next are already stored in the frame memory. A frame memory state determining means for determining whether or not, a buffer memory state determining means for determining whether or not image data to be displayed next before decoding is already stored in the buffer, and if the frame memory or the buffer memory Also, if the data necessary for displaying the next image are not available, it has a redisplay means for redisplaying the image data displayed immediately before.

【００１６】[0016]

【作用】本発明においては、モード保持手段に予め定め
られた値が設定された場合、フレームメモリ状態判定手
段の判定結果に基づき次に表示すべきフレームの画像デ
ータが揃っているかどうか判定し、もし揃っていなかっ
た場合、バッファメモリ状態判定手段の出力を調べる。
もし、次に表示すべきフレームの復号前画像データがバ
ッファメモリ内に揃っていて、かつそれを復号するのに
必要な参照画像データもフレームメモリ内に存在すれば
直ちに復号・表示処理を行い、もしそうでなければ、上
記再表示手段により、現在表示中のフレームの直前のフ
レームを再表示する。これにより、新たに外部にフレー
ムレート変換装置を設けることなく、簡易的なフレーム
レート変換が可能となる。In the present invention, when the predetermined value is set in the mode holding means, it is judged whether the image data of the frame to be displayed next is complete based on the judgment result of the frame memory state judging means, If not, check the output of the buffer memory state determination means.
If the pre-decoding image data of the frame to be displayed next is in the buffer memory and the reference image data necessary for decoding it also exists in the frame memory, immediately perform decoding / display processing, If not, the re-display unit re-displays the frame immediately before the currently displayed frame. As a result, simple frame rate conversion can be performed without newly providing an external frame rate conversion device.

【００１７】[0017]

【実施例】本発明の実施例を、図１と図２を用いて説明
する。図１は、本発明の一実施例の構成を示したブロッ
ク図である。また、図２は、本実施例による、約１秒分
の入力ビットストリームを、復号、再生表示する処理内
容の概略タイミングを示したものである。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described with reference to FIGS. FIG. 1 is a block diagram showing the configuration of an embodiment of the present invention. Further, FIG. 2 shows a schematic timing of processing contents for decoding, reproducing and displaying an input bit stream for about 1 second according to the present embodiment.

【００１８】この実施例では、入力ビットストリームは
２４フレーム／秒プログレシブシーケンスで符号化され
ており、表示モニタは２５フレーム／秒インタレースを
想定している、また、ＧＯＰ（Group of Pictures ）構
造は、ＢＢＩＢＢＰ（ＩまたはＰピクチャーの間にＢピ
クチャーが２枚、Ｉピクチャーから次のＩピクチャーま
でに６枚のピクチャーが存在する）として説明してい
る。In this embodiment, the input bit stream is encoded with a 24 frame / sec progressive sequence, the display monitor assumes 25 frame / sec interlace, and the GOP (Group of Pictures) structure is , BBIBBP (there are two B pictures between I or P pictures, and six pictures from the I picture to the next I picture).

【００１９】図１において、従来例の図４で説明した構
成要素と同一構成要素には同一名称，番号を付した。図
４から新たに追加した構成要素は、動き補償画像再生部
６０内のモードレジスタ６１、表示クロック発生部６
２、ベクトル復号部６３、フレームメモリ読み書き制御
部６４および符号化表示モード信号１１、バッファメモ
リ状態信号１２、２４：２５変換モードフラグ６５、表
示フレーム周期信号６６の４本の信号線である。In FIG. 1, the same components as those described in FIG. 4 of the conventional example are designated by the same names and numbers. The components newly added from FIG. 4 are the mode register 61 and the display clock generating unit 6 in the motion compensation image reproducing unit 60.
2, the vector decoding unit 63, the frame memory read / write control unit 64, the coded display mode signal 11, the buffer memory state signal 12, the 24:25 conversion mode flag 65, and the display frame period signal 66.

【００２０】一方、図２において、入力ビットストリー
ム１００は、図１に示したバッファ制御部１０への入力
データである。また、復号処理とは、バッファメモリ７
１に格納された上記ビットストリームデータを、バッフ
ァメモリ７１から表示モニタのフレーム周期（１／２５
秒）に合わせて、１フレーム単位で読み出し、可変長復
号器２０、スキャン変換器３０、逆量子化器４０、逆Ｄ
ＣＴ部５０、動き補償画像再生部６０を経てフレームメ
モリ７２，７３，７４に再生データを書き込むまでの処
理時間を示す。On the other hand, in FIG. 2, the input bit stream 100 is the input data to the buffer control unit 10 shown in FIG. In addition, the decoding process means the buffer memory 7
The bit stream data stored in No. 1 is transferred from the buffer memory 71 to the frame cycle of the display monitor (1/25
Second frame, read in one frame unit, variable length decoder 20, scan converter 30, inverse quantizer 40, inverse D
The processing time until the reproduction data is written in the frame memories 72, 73, and 74 via the CT unit 50 and the motion compensation image reproduction unit 60 is shown.

【００２１】図２におけるフレームメモリの書き込み，
読み出しは、該当フレーム期間におけるフレームメモリ
読み書き制御部６４の処理内容、即ち、Ｉ，Ｐ，Ｂ各ピ
クチャーごとに、再生画像の書き込み，参照読み出し，
表示読み出しシーケンスを矢印を用いて表現したもので
ある。各メモリへ入る方向の矢印は再生画像の書き込み
を、縦方向に出る矢印は参照画像としての読み出し、横
方向へ出る矢印は表示のための読み出しを意味する。再
生画像２００は上述した処理の結果得られた出力画像で
ある。Writing to the frame memory in FIG.
For reading, the processing contents of the frame memory read / write control unit 64 in the corresponding frame period, that is, writing of a reproduced image, reference reading, for each I, P, and B picture,
The display readout sequence is expressed by using arrows. An arrow in the direction of entering each memory means writing of a reproduced image, an arrow in the vertical direction means reading as a reference image, and an arrow in the lateral direction means reading for display. The reproduced image 200 is an output image obtained as a result of the above-described processing.

【００２２】次に、図１及び図２を用いて本実施例の動
作を説明する。図１において、入力ビットストリーム１
００はバッファ制御部１０を経て、１秒間に２４フレー
ムの割合で、連続的にバッファメモリ７１に格納され
る。但し、通常Ｉ，Ｐ，Ｂの各ピクチャーごとに符号化
方式が異なるため、発生符号量は異なる。バッファ制御
部１０は、ストリーム中に含まれるフレームレート，フ
レーム構造，プログレシブシーケンスか否か等を解析
し、符号化表示モード信号１１を介してモードレジスタ
６１に伝える。また、バッファ制御部１０はメモリ情報
判定手段としての機能も備えており、出入りする符号化
データの各フレームの先頭を示すピクチャースタートコ
ードをカウントし、現在バッファメモリ７１内に何フレ
ーム分の符号化データが格納されているかを監視し、そ
の結果をバッファメモリ状態信号１２を経由してフレー
ムメモリ読み書き制御部６４に知らせる。一方、動き補
償画像再生部６０では、符号化表示モード信号１１から
の情報と現在接続中の表示モニタの走査周波数から、入
力が２４フレーム／秒プログレシブ表示で、かつ表示出
力がＰＡＬ等の２５フレーム／秒であれば、モード保持
手段として機能するモードレジスタ６１に２４：２５変
換モードを設定し、その結果を２４：２５変換モードフ
ラグ６５としてバッファ制御部１０及びフレームメモリ
読み書き制御部（フレームメモリ状態判定手段ならびに
再表示手段として機能する）６４に伝える。このモード
においては、バッファ制御部１０はストリーム中に記述
されているバッファメモリ７１からの読み出しタイミン
グを指定するＶＢＶ遅延（Video Buffering Verifier D
elay）またはＤＴＳ（Decoding Time Stamp ）の値には
必ずしもとらわれず、例えば、プログラム受信開始時の
み参照し、それ以降は表示フレーム周期信号６６に合わ
せて、上記バッファメモリ７１から１フレーム分単位で
符号化データを復号するため読み出す。通常は読み出さ
れた符号化データは、リアルタイムで可変長復号、逆量
子化、逆ＤＣＴ、動き画像補償等の処理を施され、ピク
チャーの種類（Ｉ，Ｐ，Ｂ）によって、各々決められた
フレームメモリに書き込まれる。ところが、入力は２４
フレーム／秒であるのに対し、出力は２５フレーム／秒
であるため、１秒に１フレームの割合いで復号の休止が
生じる。これが図２において復号処理が×で示された期
間である。このとき、フレームメモリ読み書き制御部６
４は、以下の優先順位に従って再生画像出力の制御を行
う。Next, the operation of this embodiment will be described with reference to FIGS. In FIG. 1, the input bit stream 1
00 is continuously stored in the buffer memory 71 at a rate of 24 frames per second via the buffer control unit 10. However, since the coding method is usually different for each picture of I, P, and B, the generated code amount is different. The buffer control unit 10 analyzes the frame rate, frame structure, whether the sequence is a progressive sequence, etc., included in the stream, and notifies the mode register 61 via the encoded display mode signal 11. The buffer control unit 10 also has a function as a memory information determination unit, counts a picture start code indicating the beginning of each frame of encoded data that enters and exits, and encodes how many frames in the current buffer memory 71. Whether the data is stored is monitored, and the result is notified to the frame memory read / write control unit 64 via the buffer memory status signal 12. On the other hand, in the motion compensation image reproducing unit 60, the input is 24 frames / sec progressive display and the display output is 25 frames such as PAL, based on the information from the coded display mode signal 11 and the scanning frequency of the display monitor currently connected. 24 seconds / second, the 24:25 conversion mode is set in the mode register 61 functioning as a mode holding unit, and the result is set as the 24:25 conversion mode flag 65 in the buffer control unit 10 and the frame memory read / write control unit (frame memory state). (Functions as a judgment unit and a redisplay unit) 64. In this mode, the buffer control unit 10 uses a VBV delay (Video Buffering Verifier D) that specifies the read timing from the buffer memory 71 described in the stream.
Elay) or DTS (Decoding Time Stamp) value is not always taken into consideration. For example, it is referred only at the start of program reception, and thereafter, it is encoded in units of one frame from the buffer memory 71 according to the display frame period signal 66. Read out to decrypt the encrypted data. Normally, the read encoded data is subjected to processing such as variable length decoding, inverse quantization, inverse DCT, and motion image compensation in real time, and each is determined according to the type of picture (I, P, B). Written to frame memory. However, the input is 24
Since the output is 25 frames / second while the frame / second is output, decoding pause occurs at a rate of 1 frame per second. This is the period in which the decoding process is indicated by x in FIG. At this time, the frame memory read / write control unit 6
4 controls reproduction image output according to the following priority order.

【００２３】（１）まず、フレームメモリ７２〜７４に
表示すべき順番の１フレーム分のデータが揃っていれ
ば、それを表示する。（２）次に、バッファメモリ７１
に表示すべき順番の符号化フレームデータ（通常Ｂピク
チャー）が１フレーム分揃っていて、それを復号するの
に必要な参照画像がフレームメモリ７２，７３に揃って
いれば復号しながら表示する。（３）上記（１）（２）
共不満足なら、直前に表示したフレームを再表示する。(1) First, if the data for one frame in the order to be displayed is prepared in the frame memories 72 to 74, it is displayed. (2) Next, the buffer memory 71
If the encoded frame data (usually B pictures) in the order to be displayed in 1 are prepared for one frame and the reference images necessary for decoding the same are prepared in the frame memories 72, 73, they are displayed while being decoded. (3) Above (1) (2)
If both are unsatisfied, the previously displayed frame is redisplayed.

【００２４】図２に示したように、バッファメモリ７１
内に１フレーム分の符号化データがまだ蓄えられていな
かった場合、復号処理を一時休止する一方、フレームメ
モリ読み書き制御部６４は、次に表示すべき再生画像デ
ータが既にＩ用またはＰ用フレームメモリ７２，７３に
格納されているかを、まず確認する（ＩまたはＰピクチ
ャーのみ事前に復号され参照画像としてフレームメモリ
に既に格納されているため）。存在すればそのフレーム
を再生画像２００として出力する。このとき、もし、フ
レームメモリ７２，７３に存在しなければフレームメモ
リ読み書き制御部６４は、直前に出力したフレームを再
度表示のため出力する。さらに、復号を１回休止した後
のフレーム期間には、バッファ制御部１０は、上記バッ
ファメモリ７１に１フレーム分の符号化データが揃った
ことを確認し、そのフレームの復号を行う。もしこの復
号データがＢピクチャーであれば、フレームメモリ読み
書き制御部６４はそれを直ちに再生画像２００として出
力する。一方、もしＢピクチャーでなければ、直前に表
示したフレームのデータを再出力する。As shown in FIG. 2, the buffer memory 71
If the encoded data for one frame is not yet stored in the frame, the decoding process is paused while the frame memory read / write control unit 64 determines that the reproduced image data to be displayed next is the I or P frame. First, it is confirmed whether or not it is stored in the memories 72 and 73 (because only the I or P picture is decoded in advance and already stored in the frame memory as a reference image). If it exists, the frame is output as the reproduced image 200. At this time, if it does not exist in the frame memories 72 and 73, the frame memory read / write control unit 64 outputs the previously output frame for display again. Further, in the frame period after the decoding is paused once, the buffer control unit 10 confirms that the coded data for one frame is prepared in the buffer memory 71, and decodes the frame. If this decoded data is a B picture, the frame memory read / write control unit 64 immediately outputs it as the reproduced image 200. On the other hand, if it is not a B picture, the data of the frame displayed immediately before is output again.

【００２５】なお、本実施例では２４フレーム／秒の入
力ストリームをＰＡＬ／ＳＥＣＡＭ等の２５フレーム／
秒で表示出力する場合について述べたが、入力データの
フレームレートが出力フレームレートよりも数パーセン
ト程度以下低ければ、例えば、パーソナルコンピュータ
や通信端末等独自の表示フレームレートを持つ機器に適
用しても実用上問題はない。また、ＧＯＰ構造も本実施
例ではＢＢＩＢＢＰで説明したが、他の組み合わせでも
同様の効果が得られることは当業者の容易に理解すると
ころである。In this embodiment, an input stream of 24 frames / second is converted into 25 frames / second such as PAL / SECAM.
Although the case of displaying and outputting in seconds is described, if the frame rate of the input data is lower than the output frame rate by about several percent or less, even if it is applied to a device having its own display frame rate such as a personal computer or a communication terminal. There is no problem in practical use. Although the GOP structure has been described as BBIBBP in this embodiment, it is easily understood by those skilled in the art that the same effect can be obtained with other combinations.

【００２６】[0026]

【発明の効果】以上説明したように、本発明による画像
復号装置は、入力符号化ストリーム中の１秒あたりの画
像数が表示出力画像数より僅かに少ない関係に有ると
き、それを保持するモード保持手段と、現在表示中の次
に表示すべき復号後の画像データがフレームメモリ内に
既に蓄えられているかどうかを判定するフレームメモリ
状態判定手段と、前記次に表示すべき復号前の画像デー
タがバッファメモリ内に、かつ前記画像データを復号す
るのに必要な参照画像データがフレームメモリに既に蓄
えられているかどうかを判定するバッファメモリ状態判
定手段と、前記フレームメモリ状態判定手段とバッファ
メモリ状態判定手段の判定結果により前記フレームメモ
リ内にもバッファメモリ内にも次の画像を表示するのに
必要なデータが揃っていなければ直前に表示した画像デ
ータを再表示する再表示手段とを有するので、例えば、
２４フレーム／秒プログレシブシーケンスで符号化され
てきたストリームを、フレームメモリ制御とバッファ制
御によってアンダーフロー時に同一フレームを再表示し
て直接ＰＡＬ方式等の２５フレーム／秒の再生画像とし
て出力できるため、符号化時に予め表示モニタを特定す
ることや外部に高価なフレームレート変換装置等を付加
することも必要がないので、コスト、回路規模の増加を
最小限に押さえることができる。As described above, the image decoding apparatus according to the present invention holds the mode when the number of images per second in the input encoded stream is slightly smaller than the number of display output images. Holding means, frame memory state determining means for determining whether or not the decoded image data to be displayed next, which is currently displayed, is stored in the frame memory, and the image data before decoding to be displayed next In the buffer memory, and the buffer memory state determining means for determining whether or not the reference image data necessary for decoding the image data is already stored in the frame memory, the frame memory state determining means and the buffer memory state The data required for displaying the next image are collected in the frame memory and the buffer memory according to the judgment result of the judgment means. Because it has a re-displaying means for re-displaying the image data displayed immediately before if there are no, e.g.,
Since the same frame is re-displayed at the time of underflow by frame memory control and buffer control, the stream encoded by the 24 frame / sec progressive sequence can be directly output as a reproduced image of 25 frames / sec of the PAL system or the like. Since it is not necessary to specify a display monitor in advance or add an expensive frame rate conversion device to the outside in advance, it is possible to minimize an increase in cost and circuit scale.

【００２７】また、入力が２４フレーム／秒でなくＭＰ
ＥＧ２で認められている２３．９７６フレーム／秒の場
合でも、なんら手を加えること無く変換することが可能
である。The input is not 24 frames / second but MP
Even in the case of 23.976 frames / sec, which is recognized in EG2, conversion can be performed without any modification.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明の一実施例の構成を示すブロック図であ
る。FIG. 1 is a block diagram showing the configuration of an embodiment of the present invention.

【図２】本発明の一実施例における約１秒分の入力ビッ
トストリームを復号，再生表示する処理内容の概略タイ
ミングを示す図である。FIG. 2 is a diagram showing a schematic timing of processing contents for decoding, reproducing and displaying an input bit stream for about 1 second in one embodiment of the present invention.

【図３】従来の画像復号装置の構成例を示すブロック図
である。FIG. 3 is a block diagram showing a configuration example of a conventional image decoding device.

【図４】図３における復号処理手段の構成の詳細を示す
ブロック図である。4 is a block diagram showing details of a configuration of a decoding processing means in FIG.

【符号の説明】[Explanation of symbols]

１０ バッファ制御部 １１ 符号化表示モード信号 １２ バッファメモリ状態信号 ２０ 可変長復号器 ３０ スキャン変換器 ４０ 逆量子化器 ５０ 逆ＤＣＴ部 ６０ 動き補償画像再生部 ６１ モードレジスタ ６２ 表示クロック発生部 ６３ ベクトル復号部 ６４ フレームメモリ読み書き制御部 ６５ ２４：２５変換モードフラグ ６６ 表示フレーム周期信号 ７１ バッファメモリ ７２ フレームメモリ ７３ フレームメモリ ７４ フレームメモリ ８１ データ ８２ データ ８３ 予測フィールドデータ ８４ 予測フィールドデータ ８５ 再生画像データ ８６ Ｂフレーム画像データ １００ 入力ビットストリーム ２００ 再生画像 10 buffer control unit 11 coding display mode signal 12 buffer memory status signal 20 variable length decoder 30 scan converter 40 inverse quantizer 50 inverse DCT unit 60 motion compensation image reproducing unit 61 mode register 62 display clock generating unit 63 vector decoding Section 64 frame memory read / write control section 65 24:25 conversion mode flag 66 display frame cycle signal 71 buffer memory 72 frame memory 73 frame memory 74 frame memory 81 data 82 data 83 predicted field data 84 predicted field data 85 reproduced image data 86 B frame Image data 100 Input bit stream 200 Reproduced image

フロントページの続き (72)発明者 進藤 朋行 東京都渋谷区代々木４丁目36番19号 株式 会社グラフィックス・コミュニケーショ ン・ラボラトリーズ内 (72)発明者 岡田 豊 東京都渋谷区代々木４丁目36番19号 株式 会社グラフィックス・コミュニケーショ ン・ラボラトリーズ内 (72)発明者 永井 律彦 東京都渋谷区代々木４丁目36番19号 株式 会社グラフィックス・コミュニケーショ ン・ラボラトリーズ内 (72)発明者 西塔 隆二 東京都渋谷区代々木４丁目36番19号 株式 会社グラフィックス・コミュニケーショ ン・ラボラトリーズ内 (72)発明者 川村 嘉郁 東京都渋谷区代々木４丁目36番19号 株式 会社グラフィックス・コミュニケーショ ン・ラボラトリーズ内Front Page Continuation (72) Inventor Tomoyuki Shindo 4-36-19 Yoyogi, Shibuya-ku, Tokyo Inside Graphics Communications Laboratories, Inc. (72) Inventor Yutaka Okada 4-36-19 Yoyogi, Shibuya-ku, Tokyo In stock company Graphics Communication Laboratories (72) Inventor Norihiko Nagai 4-36-19 Yoyogi, Shibuya-ku, Tokyo In stock company Graphics Communication Laboratories (72) Inventor Ryuji Nishito Shibuya-ku, Tokyo Yoyogi 4-36-19 Co., Ltd. Graphics Communications Laboratories (72) Inventor Kaoru Kawamura 4-36 Yoyogi, Shibuya-ku, Tokyo Within Graphics Communications Laboratories, Inc.

Claims (1)

【特許請求の範囲】[Claims] 【請求項１】 符号化された画像データを復号する装置
において、入力符号化ストリーム中の１秒あたりの画像
数が表示出力画像数より僅かに少ない関係に有るとき、
それを保持するモード保持手段と、現在表示中の次に表
示すべき復号後の画像データがフレームメモリ内に既に
蓄えられているかどうかを判定するフレームメモリ状態
判定手段と、前記次に表示すべき復号前の画像データが
バッファメモリ内に、かつ前記画像データを復号するの
に必要な参照画像データがフレームメモリに既に蓄えら
れているかどうかを判定するバッファメモリ状態判定手
段と、前記フレームメモリ状態判定手段とバッファメモ
リ状態判定手段の判定結果により前記フレームメモリ内
にも前記バッファメモリ内にも次の画像を表示するのに
必要なデータが揃っていなければ直前に表示した画像デ
ータを再表示する再表示手段を有することを特徴とする
フレームレート変換機能付き画像復号装置。1. In an apparatus for decoding encoded image data, when the number of images per second in an input encoded stream is slightly smaller than the number of display output images,
A mode holding means for holding it, a frame memory state judging means for judging whether or not the decoded image data to be displayed next which is being displayed is already stored in the frame memory, and the next display should be made. Buffer memory state determination means for determining whether or not image data before decoding is stored in the buffer memory, and reference image data necessary for decoding the image data is already stored in the frame memory, and the frame memory state determination If the data necessary for displaying the next image is not available in the frame memory or the buffer memory according to the determination result of the means and the buffer memory state determining means, the image data displayed immediately before is displayed again. An image decoding device with a frame rate conversion function, characterized by comprising display means.