JP3134672B2 - Frame-by-frame playback processor for video signals - Google Patents
Frame-by-frame playback processor for video signalsInfo
- Publication number
- JP3134672B2 JP3134672B2 JP20528194A JP20528194A JP3134672B2 JP 3134672 B2 JP3134672 B2 JP 3134672B2 JP 20528194 A JP20528194 A JP 20528194A JP 20528194 A JP20528194 A JP 20528194A JP 3134672 B2 JP3134672 B2 JP 3134672B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- video signal
- read address
- storage means
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】[0001]
【産業上の利用分野】本発明は、フレーム間予測符号化
を用いて圧縮された映像信号のコマ送り再生処理装置に
関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus for frame-by-frame playback of a video signal compressed using inter-frame predictive coding.
【０００２】[0002]
【従来の技術】従来、動画像データは情報量が極めて多
いため、この情報を長時間記録する場合には、映像信号
を高能率符号化して記録すると共に、この記録された信
号を読み出したときに能率良く復号化する手段が不可欠
となる。このような要求に応えるべく、映像信号の相関
を利用した高能率符号化方式が提案されており、この１
つにＭＰＥＧ(Moving Picture Experts Group)方式があ
る。2. Description of the Related Art Conventionally, since moving image data has a very large amount of information, when recording this information for a long time, a video signal is encoded with high efficiency and recorded, and the recorded signal is read out. A means for efficient decoding is indispensable. In order to respond to such a demand, a high-efficiency coding method using correlation of video signals has been proposed.
One is the MPEG (Moving Picture Experts Group) method.
【０００３】このＭＰＥＧ方式は、先ず、フレーム間相
関を利用して映像信号の画像フレーム間の差分を取るこ
とにより時間軸方向の冗長度を落とし、その後、ライン
相関を利用して離散コサイン変換（ＤＣＴ）等の処理を
用いて空間軸方向の冗長度を落とすことにより映像信号
を能率良く符号化している。In the MPEG system, first, the difference between image frames of a video signal is obtained by using the inter-frame correlation to reduce the redundancy in the time axis direction, and then the discrete cosine transform (line) is used by using the line correlation. The video signal is efficiently encoded by reducing the redundancy in the spatial axis direction using a process such as DCT).
【０００４】このＭＰＥＧ方式において、フレーム間相
関を利用したときに、２つのフレーム画像の差分信号の
みを伝送しただけでは元の画像を復元することはできな
いので、各フレームの画像を、Ｉピクチャ(Intra Pictu
re: 画像内符号化又はイントラ符号化画像）、Ｐピクチ
ャ(Predictional Picture:前方予測符号化画像）、及び
Ｂピクチャ(Bidirectional Picture: 両方向予測符号化
画像）の３種類のいずれかのピクチャとし、これらの３
つのピクチャのフレーム画像を組み合わせて圧縮符号化
する方法が用いられている。Ｉピクチャは、そのフレー
ム画像のみによって圧縮された画像データであり、Ｐピ
クチャは、そのフレーム画像とそのフレーム画像以前で
かつ最も近いＩピクチャのフレーム画像とを基に圧縮さ
れた画像データであり、Ｂピクチャは、そのフレーム画
像とそのフレーム画像の前後でそれぞれ最も近いＩピク
チャ、Ｐピクチャのフレーム画像の合計３フレームの画
像を基に圧縮されたデータである。このとき、フレーム
毎の画像データを圧縮処理するときの単位をグループオ
ブピクチャ（ＧＯＰ）と呼ぶ。In the MPEG system, when the inter-frame correlation is used, the original image cannot be restored only by transmitting the difference signal between the two frame images. Intra Pictu
re: one of three types of pictures: an intra-coded or intra-coded picture), a P picture (Predictional Picture: forward coded picture), and a B picture (Bidirectional Picture: bidirectional predicted coded picture). 3
A method of compressing and encoding by combining frame images of two pictures is used. The I picture is image data compressed only by the frame image, the P picture is image data compressed based on the frame image and the frame image of the closest I picture before the frame image, The B picture is data that is compressed based on a total of three frame images of the frame image and the I-picture and P-picture frame images that are closest before and after the frame image. At this time, a unit when the image data of each frame is subjected to the compression processing is called a group of pictures (GOP).
【０００５】[0005]
【発明が解決しようとする課題】ところで、ＭＰＥＧ方
式のようにフレーム間相関を利用した予測符号化によっ
て圧縮された映像信号において、例えばＧＯＰが１５フ
レームであるとすると、そのＧＯＰ内の１５フレーム目
の画像だけを出力する場合には、そのＧＯＰ内の１フレ
ーム目の画像データから順次デコードを行い、１５フレ
ーム目の画像データを得ることになる。よって、１５フ
レーム目の画像データを得るには、１５フレーム分以上
のフレーム画像をデコードする時間、即ち１／２秒以上
かかる。By the way, in a video signal compressed by predictive coding utilizing inter-frame correlation as in the MPEG system, for example, if the GOP is 15 frames, the 15th frame in the GOP is When only the image of the GOP is output, decoding is sequentially performed from the image data of the first frame in the GOP to obtain the image data of the 15th frame. Therefore, it takes time to decode frame images of 15 frames or more, that is, 1/2 second or more, to obtain the image data of the 15th frame.
【０００６】また、上述のような映像信号の処理を行っ
て映像信号の記録及び再生を行う映像信号記録再生装置
においてコマ送り再生処理を行う場合に、例えばあるＧ
ＯＰの１フレーム目の画像が出力されているときに、コ
マ送りによってその１フレーム前の画像を出力しようと
する場合が生じる。ここで、上記１フレーム前の画像デ
ータとは、上記ＧＯＰの１つ前のＧＯＰ内の１５フレー
ム目の画像データであるので、この１５フレーム目の画
像データを再生して画像として出力するまでには１５フ
レーム分以上の画像データを再生する時間を必要とす
る。このように、１フレーム前の画像を検索するために
１５フレーム分以上の画像データを再生して出力するた
めの時間がかかってしまい、コマ送り再生処理の応答性
としては非常に悪いものとなる。[0006] Further, in the case of performing frame-by-frame playback in a video signal recording / reproducing apparatus that performs video signal processing as described above to record and reproduce video signals, for example, a G
When the image of the first frame of the OP is being output, there is a case where an image of the previous frame is to be output by frame advance. Here, the image data of one frame before is the image data of the fifteenth frame in the GOP immediately before the GOP, and therefore, the image data of the fifteenth frame is reproduced and output as an image. Requires time to reproduce image data of 15 frames or more. As described above, it takes time to reproduce and output image data of 15 frames or more in order to search for the image one frame before, and the responsiveness of the frame-by-frame reproduction processing is extremely poor. .
【０００７】そこで、本発明は上述の実情に鑑み、コマ
送り処理を迅速に行うことができる映像信号のコマ送り
再生処理装置を提供するものである。Accordingly, the present invention has been made in view of the above circumstances and provides a frame-by-frame playback processing apparatus for a video signal capable of performing frame-by-frame processing quickly.
【０００８】[0008]
【課題を解決するための手段】本発明に係る映像信号の
コマ送り再生処理装置は、フレーム間予測符号化を用い
て圧縮された映像信号を復号化して出力する復号化手段
と、この復号化手段からの映像信号を、圧縮処理を行う
際の複数のフレームメモリから成る１まとまりの単位、
例えばいわゆるグループオブピクチャ（ＧＯＰ）分の映
像信号を複数単位分記録する記憶手段と、この記憶手段
に対してコマ送り制御命令を出力して映像信号の読み出
しの制御を行う制御手段と、上記記憶手段から読み出さ
れた映像信号を１フレーム分の映像信号に変換するフレ
ーム変換手段とを備えて成り、コマ送り再生処理時に
は、上記記憶手段に上記１まとまりの単位分の映像信号
を書き込んで、所定の読み出しアドレスに読み出しアド
レス閾値を設定しておき、上記制御手段からのコマ送り
制御命令に基づいて上記記憶手段から映像信号を順次読
み出していく際に、読み出しアドレスが上記読み出しア
ドレス閾値、即ちいわゆるマーカーに達したときには新
たな上記１まとまりの単位分の映像信号を上記記憶手段
に書き込むことにより上述した課題を解決する。According to the present invention, there is provided a frame-by-frame playback processing apparatus for a video signal, which decodes a video signal compressed using inter-frame predictive coding and outputs the decoded video signal. A unit consisting of a plurality of frame memories when the video signal from the means is subjected to compression processing;
For example, storage means for recording video signals for a so-called group of pictures (GOP) for a plurality of units, control means for outputting a frame feed control command to this storage means to control reading of video signals, and Frame converting means for converting the video signal read from the means into a video signal for one frame, and in the frame-by-frame playback processing, the video signal for the unit is written in the storage means, A read address threshold is set to a predetermined read address, and when the video signal is sequentially read from the storage unit based on the frame advance control command from the control unit, the read address is the read address threshold, that is, a so-called read address threshold. When the marker is reached, the new unit of video signal for the unit is written into the storage means. To solve the problems described above.
【０００９】ここで、上記記憶手段は、上記１まとまり
の単位の映像信号を３単位分、例えば３ＧＯＰ分記憶す
る記憶容量を有することを特徴とする。Here, the storage means has a storage capacity for storing the video signal in one unit for three units, for example, for three GOPs.
【００１０】また、上記記憶手段から順方向の映像信号
の読み出しに対応して第１の読み出しアドレス閾値を設
定し、逆方向の映像信号の読み出しに対応して第２の読
み出しアドレス閾値を設定することを特徴とする。Further, a first read address threshold is set in accordance with the reading of the video signal in the forward direction from the storage means, and a second read address threshold is set in accordance with the reading of the video signal in the reverse direction. It is characterized by the following.
【００１１】さらに、順方向又は逆方向に映像信号を読
み出す際に設定される上記読み出しアドレス閾値に達す
るまでの上記記憶手段からの映像信号の読み出し時間が
上記１まとまりの単位分の映像信号を再生して復号化を
行うために必要とされる時間とこの復号化された映像信
号を上記記憶手段に書き込むために必要とされる時間と
を合わせた時間分以上の時間に相当するように、上記読
み出しアドレス閾値を上記記憶手段内に設定することを
特徴とする。[0011] Further, the read time of the video signal from the storage means until the read address threshold value set when reading the video signal in the forward direction or the reverse direction is reached is reproduced in the unit of the unit of the video signal. The time required to perform the decoding and the time required to write the decoded video signal into the storage means is equal to or longer than the time required, and A read address threshold is set in the storage means.
【００１２】[0012]
【作用】本発明においては、予め記憶手段に順方向又は
逆方向のコマ送り再生処理における読み出しアドレス閾
値であるマーカーを設定しておき、制御手段からのコマ
送り制御命令に従って順方向又は逆方向のコマ送り再生
処理が行われる際に、上記読み出しアドレス閾値に達し
たならば、新たなＧＯＰの映像信号を復号化手段によっ
て復号化して上記記憶手段に書き込みながらコマ送り再
生処理を続ける。In the present invention, a marker which is a read address threshold value in the forward or backward frame forward reproduction processing is set in the storage means in advance, and the forward or backward direction is controlled in accordance with the frame forward control command from the control means. When the read address threshold value is reached during the frame-by-frame playback process, the frame-by-frame playback process is continued while the video signal of the new GOP is decoded by the decoding unit and written in the storage unit.
【００１３】[0013]
【実施例】以下、本発明の好ましい実施例について、図
面を参照しながら説明する。図１には、本発明に係る映
像信号のコマ送り再生処理装置の概略的な構成を示す。DESCRIPTION OF THE PREFERRED EMBODIMENTS Preferred embodiments of the present invention will be described below with reference to the drawings. FIG. 1 shows a schematic configuration of a frame-by-frame playback processing apparatus for a video signal according to the present invention.
【００１４】図１の信号入力端子１には、図示しない記
録媒体から再生された圧縮映像信号がＧＯＰを単位とし
て入力される。この圧縮映像信号は復号器２に送られて
復号化され、標準の映像信号として出力される。この標
準の映像信号はメモリ３に送られてＧＯＰ単位で書き込
まれる。A compressed video signal reproduced from a recording medium (not shown) is input to the signal input terminal 1 of FIG. 1 in GOP units. This compressed video signal is sent to the decoder 2 where it is decoded and output as a standard video signal. This standard video signal is sent to the memory 3 and written in GOP units.
【００１５】コマ送り再生処理のときには、通常、この
メモリ３に記憶された内の１フィールド分の画像データ
が繰り返して読み出され、静止画像として出力される。
この１フィールド分の画像データとしては、奇数フィー
ルドもしくは偶数フィールドのどちらかの画像データが
繰り返して読み出されるので、もう一方のフィールドの
画像データを生成する必要がある。従って、上記メモリ
３からコマ送り再生処理によって読み出されたフィール
ド毎の画像データは、フレーム変換器５に送られて、フ
レーム毎の画像データに変換される。このフレーム変換
器５によって変換された標準の映像信号である奇数フィ
ールドの映像信号と偶数フィールドの映像信号とが繰り
返して信号出力端子６から出力される。In the frame-by-frame playback process, one field of image data stored in the memory 3 is usually repeatedly read out and output as a still image.
As the image data for one field, the image data of either the odd field or the even field is repeatedly read, so that it is necessary to generate the image data of the other field. Therefore, the image data for each field read out from the memory 3 by the frame advance reproduction process is sent to the frame converter 5 and converted into image data for each frame. The odd field video signal and the even field video signal, which are standard video signals converted by the frame converter 5, are repeatedly output from the signal output terminal 6.
【００１６】ここで、メモリ制御部４から出力されるメ
モリ制御信号によって、順方向のコマ送り再生処理が指
示されたならば、現在読み出しているフィールドの次の
フィールドの画像データをメモリ３から読み出し、逆方
向のコマ送り再生処理が指示されたならば、現在読み出
しているフィールドの１つ前のフィールドの画像データ
をメモリ３から読み出す。このように、メモリ３の読み
出しアドレスを変化させることによって応答性の早いコ
マ送り再生処理を行うことができる。Here, if a frame forward reproduction process in the forward direction is instructed by a memory control signal output from the memory control unit 4, the image data of the field next to the currently read field is read from the memory 3. When the frame forward reproduction process in the reverse direction is instructed, the image data of the field immediately before the currently read field is read from the memory 3. As described above, by changing the read address of the memory 3, it is possible to perform the fast-response frame forward reproduction process.
【００１７】次に、上記メモリ３の具体的な構成を図２
に示し、上記メモリ３内に記憶される画像データの更新
方法について詳細に説明する。ここで、圧縮処理される
画像データの単位であるＧＯＰはｎフレームから成るも
のとし、メモリ３はｎフレーム分のメモリブロックを３
個もつ、即ち３ＧＯＰ分のフレームメモリから構成され
るものとする。この３個のメモリブロックをそれぞれメ
モリブロック３1 、３2 、３3 としたときに、時間的な
順方向における画像データの読み出しの順番は、メモリ
ブロック３1 →３2 →３3 →３1 →３2 →・・・とな
る。従って、逆方向における画像データの読み出しの順
番は、メモリブロック３3 →３2 →３1 →３3 →３2 →
・・・となる。また、それぞれのメモリブロック３1 、
３2 、３3中のｎ個あるフレームメモリの画像データの
読み出しの順番も、順方向をフレームメモリ１→２→３
→・・・→ｎとすると、逆方向はフレームメモリｎ→ｎ
−１→・・・→２→１となる。さらに、それぞれのメモ
リブロック３1 、３2 、３3中の所定のフレームメモリ
の読み出しアドレスに対して、マーカー１、２を設定し
ておく。Next, a specific configuration of the memory 3 is shown in FIG.
The method of updating the image data stored in the memory 3 will be described in detail. Here, it is assumed that a GOP, which is a unit of image data to be subjected to compression processing, is composed of n frames, and the memory 3 is a memory block of n frames.
It is assumed that it is composed of frame memories for three GOPs. When these three memory blocks are referred to as memory blocks 3 1 , 3 2 , and 3 3 , respectively, the order of reading image data in the temporal forward direction is as follows: memory block 3 1 → 3 2 → 3 3 → 3 1 → 3 2 → ... Accordingly, the order of reading image data in the reverse direction is as follows: memory block 3 3 → 3 2 → 3 1 → 3 3 → 3 2 →
... Also, each memory block 3 1 ,
3 2, 3 read the order of the image data of n is a frame memory 3 also, the frame memory 1 forward → 2 → 3
→ ... → n, the reverse direction is frame memory n → n
-1 →... → 2 → 1. Further, markers 1 and 2 are set for read addresses of predetermined frame memories in the respective memory blocks 3 1 , 3 2 and 3 3 .
【００１８】次に、図２を用いて、順方向及び逆方向の
コマ送り再生処理方法について詳細に説明する。Next, referring to FIG. 2, the forward and backward frame forward playback processing methods will be described in detail.
【００１９】具体的には、先ず、順方向にコマ送りをし
た場合のメモリ３内に記憶される画像データの更新につ
いて説明する。More specifically, updating of image data stored in the memory 3 when frame advance is performed in the forward direction will be described first.
【００２０】今、図２のメモリブロック３2 中のｘ番目
のフレームメモリｘから画像データが読み出されている
とする。このとき、フレームメモリｘの読み出しアドレ
スはマーカー１で示す読み出しアドレスよりも小さい。
ここで、画像データがフレームメモリｘ＋１→ｘ＋２→
・・・と順方向に読み出されてコマ送りされていき、マ
ーカー１で示す読み出しアドレスのフレームメモリ内の
画像データが読み出されたときには、新たなＧＯＰの画
像データを再生して復号化し、この画像データを次のメ
モリブロック３3 に書き込むことを開始する。このと
き、メモリブロック３3 内への画像データの書き込みの
順番は、フレームメモリ１→２→３→・・・→ｎとな
る。そして、メモリブロック３2 内のｎ番目の画像デー
タの読み出しが終了するまでの間に、メモリブロック３
3 の１番目のフレームメモリ１に新たな画像データが既
に書き込まれているようにマーカー１で示す読み出しア
ドレスを設定する。これにより、連続した順方向のコマ
送り再生処理動作が可能となる。さらに、続いて順方向
に画像データが読み出されていくときには、メモリブロ
ック３3 内のマーカー１で示す読み出しアドレスのフレ
ームメモリ内の画像データが読み出されたならば、新た
なＧＯＰの再生された画像データをメモリブロック３1
に書き込むようにする。[0020] Now, the image data is being read from the x-th frame memory x in the memory block 3 2 in Fig. At this time, the read address of the frame memory x is smaller than the read address indicated by the marker 1.
Here, the image data is stored in the frame memory x + 1 → x + 2 →
.. Are read in the forward direction and are forwarded. When the image data in the frame memory at the read address indicated by the marker 1 is read, the image data of the new GOP is reproduced and decoded. It starts writing the image data to the next memory block 3 3. At this time, the writing of the order of the image data to the memory block 3 3 is a frame memory 1 → 2 → 3 → ··· → n. Then, until the n-th image data read in the memory block 3 in the 2 ends, the memory block 3
The read address indicated by the marker 1 is set such that new image data has already been written in the first frame memory 1 of No. 3 . As a result, continuous frame forward playback processing operation in the forward direction becomes possible. Further, subsequent to when the image data is gradually being read in a forward direction, if the image data in the frame memory read address indicated by the marker 1 of the memory block 3 in 3 is read out, the reproduction of a new GOP Memory data 3 1
To write to.
【００２１】次に、逆方向にコマ送りをした場合の上記
メモリ３内に記憶される画像データの更新について説明
する。Next, updating of the image data stored in the memory 3 when the frame is advanced in the reverse direction will be described.
【００２２】今、図２のメモリブロック３2 中のｘ番目
のフレームメモリｘから画像データが読み出されている
とする。このとき、フレームメモリｘの読み出しアドレ
スはマーカー２で示す読み出しアドレスよりも大きい。
また、メモリブロック３1 内の各フレームメモリには、
メモリブロック３2 内の各フレームメモリに記憶された
画像データよりも１ＧＯＰだけ前の画像データを書き込
んでおく。ここで、画像データがフレームメモリｘ−１
→ｘ−２→・・・と逆方向に読み出されてコマ送りされ
ていき、マーカー２で示す読み出しアドレスのフレーム
メモリ内の画像データが読み出されたときには、新たな
ＧＯＰの画像データを再生して復号化し、この画像デー
タを次のメモリブロック３3 に書き込むことを開始す
る。このとき、メモリブロック３3 内への画像データの
書き込みの順番は、順方向の場合と同様に、フレームメ
モリ１→２→３→・・・→ｎとなる。[0022] Now, the image data is being read from the x-th frame memory x in the memory block 3 2 in Fig. At this time, the read address of the frame memory x is larger than the read address indicated by the marker 2.
Further, each frame memory of the memory block 3 in 1,
It is written the image data before only 1GOP than the image data stored in the frame memory of the memory block 3 2. Here, the image data is stored in the frame memory x-1.
→ x−2 →... Are read in the opposite direction and are fed forward. When the image data in the frame memory at the read address indicated by the marker 2 is read, the image data of the new GOP is reproduced. and decrypts and starts to write the image data to the next memory block 3 3. At this time, the order of writing of image data into the memory block 3 in 3, as in the case of the forward direction, a frame memory 1 → 2 → 3 → ··· → n.
【００２３】ここで、メモリブロック３2 内の１番目の
フレームメモリ１の画像データが読み出された後に、メ
モリブロック３1 内のｎ番目のフレームメモリｎの画像
データが読み出される。さらに、順次逆方向にコマ送り
されていくと、メモリブロック３1 内の１番目のフレー
ムメモリ１の画像データが読み出された後にメモリブロ
ック３3 内のｎ番目のフレームメモリｎの画像データが
読み出されることとなる。このとき、メモリブロック３
2 内のマーカー２で示す読み出しアドレスのフレームメ
モリの画像データが読み出されて、メモリブロック３1
の１番目の画像データの読み出しが終了するまでの間
に、メモリブロック３3 のｎ番目のフレームメモリｎに
新たな画像データが既に書き込まれているようにマーカ
ー２で示す読み出しアドレスを設定する。また、上述の
過程において、メモリブロック３1内のマーカー２で示
す読み出しアドレスのフレームメモリ内の画像データが
読み出されたときにも、同様にして、メモリブロック３
2 に新たなＧＯＰの再生された画像データの書き込みを
開始する。さらに、メモリブロック３3 内のマーカー２
で示す読み出しアドレスのフレームメモリ内の画像デー
タが読み出されたときには、メモリブロック３1 に新た
なＧＯＰの再生された画像データの書き込みを開始す
る。これにより、逆方向のコマ送りを行う場合にも、連
続したコマ送り再生処理動作が可能となる。[0023] Here, after the first image data in the frame memory 1 in the memory block 3 in 2 is read, the image data of the n-th frame memory n memory blocks 3 in 1 is read. Furthermore, when we are frame advance sequentially backward, the image data of the n-th frame memory n memory blocks 3 3 after the first image data in the frame memory 1 in the memory block 3 in 1 is read out It will be read. At this time, the memory block 3
Image data of the frame memory read address indicated by a marker 2 in 2 is read, the memory block 3 1
Until the first image data read is completed, and sets the read address indicated by the marker 2 as new image data has already been written in the n-th frame memory n memory blocks 3 3. Further, in the process described above, when the image data in the frame memory read address indicated by the marker 2 of the memory blocks 3 in 1 is read out also in the same manner, the memory block 3
Writing of the reproduced image data of the new GOP to 2 starts. Further, the marker 2 in the memory block 3 3
When the image data in the frame memory read address indicated by is read, the process starts writing of the reproduced image data of a new GOP to the memory block 3 1. As a result, even in the case of performing the frame feed in the reverse direction, the continuous frame feed reproduction processing operation can be performed.
【００２４】次に、映像信号のコマ送り再生処理の手順
のフローチャートを図３に示す。Next, FIG. 3 shows a flowchart of the procedure of the frame-by-frame playback processing of the video signal.
【００２５】この図３のフローチャートにおいて、ｍは
メモリブロックの番号を示すものであり、図２における
メモリブロック３1 はｍ＝０、メモリブロック３2 はｍ
＝１、メモリブロック３3 はｍ＝２とされる。また、メ
モリブロック番号ｍの和と差の演算結果が０、１、２の
いずれかの整数以外の数値である場合、具体的には３、
４、５、−１、−２である場合には、３は０、４は１、
５は２、−１は２、−２は１として定義し直すこととす
る。In the flowchart of FIG. 3, m indicates the number of the memory block. In FIG. 2, the memory block 3 1 is m = 0, and the memory block 3 2 is m.
= 1, the memory block 3 3 is the m = 2. When the result of the operation of sum and difference of the memory block number m is a numerical value other than an integer of 0, 1, or 2, specifically,
When 4, 5, -1, -2, 3 is 0, 4 is 1,
5 is defined as 2, -1 is defined as 2, and -2 is defined as 1.
【００２６】先ず、始めに、コマ送りモードの初期設定
を行う。ステップＳ１において、ｍ番目のメモリブロッ
クのｘ番目のフレームメモリから画像データを読み出し
て出力する。この読み出されたｘ番目のフレームメモリ
のアドレスは、ステップＳ２において、マーカー１で示
す読み出しアドレスよりも大きいか否かを判別する。こ
の判別により、ｘ番目のフレームメモリのアドレスがマ
ーカー１で示す読み出しアドレスよりも大きい場合に
は、ステップＳ４に進んで、ｍ番目のメモリブロックに
書き込まれた画像データのＧＯＰよりも１ＧＯＰ後の画
像データをｍ＋１番目のメモリブロックに書き込む。こ
の後、ステップＳ６に進む。また、上記ステップＳ２に
おける判別により、ｘ番目のフレームメモリのアドレス
がマーカー１で示す読み出しアドレスよりも小さい場合
には、ステップＳ３に進む。First, the initial setting of the frame feed mode is performed. In step S1, image data is read from the x-th frame memory of the m-th memory block and output. In step S2, it is determined whether or not the read address of the x-th frame memory is larger than the read address indicated by the marker 1. If it is determined that the address of the x-th frame memory is larger than the read address indicated by the marker 1, the process proceeds to step S4, and the image one GOP after the GOP of the image data written in the m-th memory block is obtained. Write data to the (m + 1) th memory block. Thereafter, the process proceeds to step S6. If it is determined in step S2 that the address of the x-th frame memory is smaller than the read address indicated by the marker 1, the process proceeds to step S3.
【００２７】このステップＳ３では、上記ステップＳ１
で読み出されたｘ番目のフレームメモリのアドレスがマ
ーカー２で示す読み出しアドレスよりも大きいか否かを
判別する。この判別により、ｘ番目のフレームメモリの
アドレスがマーカー２で示す読み出しアドレスよりも小
さい場合には、ステップＳ５に進んで、ｍ番目のメモリ
ブロックに書き込まれた画像データよりも１ＧＯＰ前の
画像データをｍ−１番目のメモリブロックに書き込み、
また、ｍ番目のメモリブロックに書き込まれた画像デー
タよりも２ＧＯＰ前の画像データをｍ−２（＝ｍ＋１）
番目のメモリブロックに書き込む。この後、ステップＳ
６に進む。また、上記ステップＳ３における判別によ
り、ｘ番目のフレームメモリのアドレスがマーカー２で
示す読み出しアドレスよりも大きい場合には、ステップ
Ｓ６に進む。In step S3, step S1 is performed.
It is determined whether or not the address of the x-th frame memory read out in step 2 is larger than the read address indicated by marker 2. If it is determined that the address of the x-th frame memory is smaller than the read address indicated by the marker 2, the process proceeds to step S5, and the image data one GOP before the image data written in the m-th memory block is deleted. Write to the (m-1) th memory block,
The image data two GOPs before the image data written in the m-th memory block is defined as m-2 (= m + 1).
Write to the third memory block. After this, step S
Proceed to 6. If it is determined in step S3 that the address of the x-th frame memory is larger than the read address indicated by the marker 2, the process proceeds to step S6.
【００２８】ステップＳ６では、既に設定されたフレー
ムメモリの読み出しアドレスの値ｘが次のフレームメモ
リの読み出しアドレスの値であるｘ＋１とされたか否
か、即ち順方向のコマ送りを行っているのか否かを判別
する。ここで、ｘ＋１番目のフレームメモリから画像デ
ータが読み出される、即ち順方向のコマ送りが行われる
ならばステップＳ８に進むが、ｘ＋１番目のフレームメ
モリから画像データが読み出されないならば、ステップ
Ｓ７に進む。このステップＳ７では、既に設定されたフ
レームメモリの読み出しアドレスの値ｘが次のフレーム
メモリの読み出しアドレスの値であるｘ−１とされたか
否か、即ち逆方向のコマ送りを行っているのか否かを判
別する。ここで、ｘ−１番目のフレームメモリから画像
データが読み出される、即ち逆方向のコマ送りが行われ
るならばステップＳ１２に進むが、ｘ−１番目のフレー
ムメモリから画像データが読み出されないならば、ステ
ップＳ１６に進む。このステップＳ１６では、ｍ番目の
メモリブロックのｘ番目のフレームメモリの画像デー
タ、即ち現在示す読み出しアドレスのフレームメモリか
ら画像データを読み出して出力する。In step S6, it is determined whether or not the value x of the read address of the frame memory which has been set is set to x + 1 which is the value of the read address of the next frame memory, that is, whether or not frame forwarding in the forward direction is performed. Is determined. Here, if the image data is read from the (x + 1) th frame memory, that is, if the frame advance in the forward direction is performed, the process proceeds to step S8. If the image data is not read from the (x + 1) th frame memory, the process proceeds to step S7. move on. In this step S7, it is determined whether or not the previously set value x of the read address of the frame memory is set to x-1 which is the value of the read address of the next frame memory, that is, whether the frame feed in the reverse direction is performed. Is determined. Here, if image data is read from the (x-1) -th frame memory, that is, if frame advance in the reverse direction is performed, the process proceeds to step S12, but if image data is not read from the (x-1) -th frame memory. The process proceeds to step S16. In this step S16, the image data of the x-th frame memory of the m-th memory block, that is, the image data is read from the frame memory of the presently indicated read address and output.
【００２９】次に、順方向のコマ送りについて説明す
る。ステップＳ８では、マーカー１で示す読み出しアド
レスを通過したか否かを判別する。これにより、マーカ
ー１で示す読み出しアドレスを通過したと判別されるな
らば、ステップＳ１０に進んで、ｍ番目のメモリブロッ
クに書き込まれた画像データのＧＯＰよりも１ＧＯＰ後
の画像データをｍ＋１番目のメモリブロックに書き込
み、ステップＳ１６に進む。また、ステップＳ８におい
て、マーカー１で示す読み出しアドレスを通過していな
いと判別されるならば、ステップＳ９に進んで、現在示
すｘ番目のフレームメモリの読み出しアドレスがｎ番
目、即ちメモリブロックの最後のフレームメモリの読み
出しアドレスよりも大きいか否かを判別する。これによ
り、現在示すｘ番目のフレームメモリの読み出しアドレ
スがメモリブロックの最後のフレームメモリの読み出し
アドレスよりも大きい値であると判別されるならば、ス
テップＳ１１に進んで、ｍ＋１番目のメモリブロックを
設定し、このｍ＋１番目の最初のフレームメモリの読み
出しアドレスを示すようにｘに０を入れ、ステップＳ１
６に進む。また、ステップＳ９において、現在示すｘ番
目のフレームメモリの読み出しアドレスがメモリブロッ
クの最後のフレームメモリの読み出しアドレスよりも小
さい値であると判別されるならば、そのままステップＳ
１６に進む。Next, forward frame forwarding will be described. In step S8, it is determined whether the read address indicated by marker 1 has been passed. Accordingly, if it is determined that the read address indicated by the marker 1 has been passed, the process proceeds to step S10, and the image data one GOP after the GOP of the image data written in the m-th memory block is stored in the (m + 1) -th memory. Write to the block and proceed to step S16. If it is determined in step S8 that the read address has not passed the read address indicated by the marker 1, the process proceeds to step S9, where the read address of the x-th frame memory currently indicated is the n-th, that is, the last read address of the memory block. It is determined whether the address is larger than the read address of the frame memory. As a result, if it is determined that the read address of the x-th frame memory currently shown is larger than the read address of the last frame memory of the memory block, the process proceeds to step S11 to set the (m + 1) -th memory block. Then, 0 is inserted into x so as to indicate the read address of the (m + 1) -th first frame memory, and step S1
Proceed to 6. If it is determined in step S9 that the read address of the x-th frame memory currently shown is smaller than the read address of the last frame memory of the memory block, the process proceeds to step S9.
Proceed to 16.
【００３０】また、逆方向のコマ送りについて説明す
る。ステップＳ１２では、マーカー２で示す読み出しア
ドレスを通過したか否かを判別する。これにより、マー
カー２で示す読み出しアドレスを通過したと判別される
ならば、ステップＳ１４に進んで、ｍ番目のメモリブロ
ックに書き込まれた画像データよりも１ＧＯＰ前の画像
データをｍ−１番目のメモリブロックに書き込み、ま
た、ｍ番目のメモリブロックに書き込まれた画像データ
よりも２ＧＯＰ前の画像データをｍ−２（＝ｍ＋１）番
目のメモリブロックに書き込んで、ステップＳ１６に進
む。また、ステップＳ１２において、マーカー２で示す
読み出しアドレスを通過していないと判別されるなら
ば、ステップＳ１３に進んで、現在示すｘ番目のフレー
ムメモリの読み出しアドレスが０番目、即ちメモリブロ
ックの最初のフレームメモリの読み出しアドレスよりも
小さいか否かを判別する。これにより、現在示すｘ番目
のフレームメモリの読み出しアドレスがメモリブロック
の最初のフレームメモリの読み出しアドレスよりも小さ
い値であると判別されるならば、ステップＳ１５に進ん
で、ｍ−１番目のメモリブロックを設定し、このｍ−１
番目の最後のフレームメモリの読み出しアドレスを示す
ようにｘにｎを入れ、ステップＳ１６に進む。また、ス
テップＳ１３において、現在示すｘ番目のフレームメモ
リの読み出しアドレスがメモリブロックの最初のフレー
ムメモリの読み出しアドレスよりも大きい値であると判
別されるならば、そのままステップＳ１６に進む。Next, the frame feed in the reverse direction will be described. In step S12, it is determined whether the read address indicated by the marker 2 has been passed. As a result, if it is determined that the image data has passed the read address indicated by the marker 2, the process proceeds to step S14, and the image data one GOP before the image data written in the m-th memory block is stored in the (m-1) -th memory. The image data is written to the block, and the image data two GOPs before the image data written to the m-th memory block is written to the (m−2) (= m + 1) -th memory block, and the process proceeds to step S16. If it is determined in step S12 that the read address does not pass through the read address indicated by the marker 2, the process proceeds to step S13, and the read address of the x-th frame memory that is currently indicated is 0, that is, the first read address of the memory block. It is determined whether it is smaller than the read address of the frame memory. As a result, if it is determined that the read address of the x-th frame memory currently shown is smaller than the read address of the first frame memory of the memory block, the process proceeds to step S15, and the (m-1) -th memory block And m-1
Enter n in x so as to indicate the read address of the last frame memory, and go to step S16. If it is determined in step S13 that the read address of the x-th frame memory currently indicated is larger than the read address of the first frame memory of the memory block, the process proceeds to step S16.
【００３１】ステップＳ１６において画像データを出力
したならばステップＳ６に戻り、前に設定されたフレー
ムメモリの読み出しアドレスｘの値がｘ＋１とされるか
否かを判別していく。If image data has been output in step S16, the flow returns to step S6, and it is determined whether or not the value of the previously set read address x of the frame memory is x + 1.
【００３２】[0032]
【発明の効果】以上の説明からも明らかなように、本発
明に係る映像信号のコマ送り再生処理装置では、フレー
ム間予測符号化を用いて圧縮された映像信号を復号化し
て出力する復号化手段と、この復号化手段からの映像信
号を、圧縮処理を行う際の複数のフレームメモリから成
る１まとまりの単位分の映像信号を複数単位分記録する
記憶手段と、この記憶手段に対してコマ送り制御命令を
出力して映像信号の読み出しの制御を行う制御手段と、
上記記憶手段から読み出された映像信号を１フレーム分
の映像信号に変換するフレーム変換手段とを備えて成
り、コマ送り再生処理時には、上記記憶手段に上記１ま
とまりの単位分の映像信号を書き込んで、所定の読み出
しアドレスに読み出しアドレス閾値を設定しておき、上
記制御手段からのコマ送り制御命令に基づいて上記記憶
手段から映像信号を順次読み出していく際に、読み出し
アドレスが上記読み出しアドレス閾値に達したときには
新たな上記１まとまりの単位分の映像信号を上記記憶手
段に書き込むことにより、映像信号の圧縮処理を行う際
に、この圧縮処理を行う映像信号の単位が複数のフレー
ムにまたがるような場合にも、コマ送り再生処理の応答
性が仮想的にリアルタイムとなり、迅速になる。これに
より、画像信号の編集時の作業効率が大幅に上がる。As is apparent from the above description, the video signal frame-forward reproduction processing apparatus according to the present invention decodes and outputs a video signal compressed using inter-frame predictive coding. Means for storing a video signal from the decoding means for recording a plurality of video signals of a unit consisting of a plurality of frame memories for performing compression processing, and a frame for the storage means. Control means for outputting a feed control command to control reading of a video signal,
Frame converting means for converting the video signal read from the storage means into a video signal for one frame, and writing the one unit video signal to the storage means at the time of frame-by-frame playback processing. Then, a read address threshold is set to a predetermined read address, and when the video signal is sequentially read from the storage means based on the frame feed control command from the control means, the read address is set to the read address threshold. When the video signal is reached, the new video signal of the unit is written into the storage means, so that when the video signal is compressed, the unit of the video signal to be subjected to the compression process extends over a plurality of frames. Also in this case, the responsiveness of the frame-advance reproduction process becomes virtually real-time, and becomes faster. Thereby, the work efficiency at the time of editing the image signal is greatly increased.
【００３３】ここで、上記記憶手段は、上記１まとまり
の単位の映像信号を３単位分記憶する記憶容量を有する
ことにより、少ない記憶容量で効率良くコマ送り再生処
理を行うことができる。Here, since the storage means has a storage capacity for storing the video signal in one unit for three units, it is possible to efficiently perform the frame-forward playback processing with a small storage capacity.
【００３４】また、上記記憶手段から順方向の映像信号
の読み出しに対応して第１の読み出しアドレス閾値を設
定し、逆方向の映像信号の読み出しに対応して第２の読
み出しアドレス閾値を設定することにより、順方向又は
逆方向へのコマ送り再生処理を迅速に行うことができ
る。Further, a first read address threshold is set in accordance with the reading of the video signal in the forward direction from the storage means, and a second read address threshold is set in accordance with the reading of the video signal in the reverse direction. As a result, frame forward reproduction processing in the forward or reverse direction can be performed quickly.
【００３５】さらに、順方向又は逆方向に映像信号を読
み出す際に設定される上記読み出しアドレス閾値に達す
るまでの上記記憶手段からの映像信号の読み出し時間が
上記１まとまりの単位分の映像信号を再生して復号化を
行うために必要とされる時間とこの復号化された映像信
号を上記記憶手段に書き込むために必要とされる時間と
を合わせた時間分以上の時間に相当するように、上記読
み出しアドレス閾値を上記記憶手段内に設定することに
より、順方向及び逆方向のコマ送り再生処理を迅速に行
うことができる。Further, the read time of the video signal from the storage means until the read address threshold value set when reading the video signal in the forward direction or the reverse direction is reached is reproduced in the unit of the unit. The time required to perform the decoding and the time required to write the decoded video signal into the storage means is equal to or longer than the time required, and By setting the read address threshold value in the storage means, it is possible to quickly perform the forward and backward frame-by-frame playback processing.
【図１】本発明に係る映像信号のコマ送り再生処理装置
の概略的な構成を示す図である。FIG. 1 is a diagram showing a schematic configuration of a video signal frame-by-frame playback processing apparatus according to the present invention.
【図２】メモリ内の画像データの書き込み及び読み出し
を説明するための図である。FIG. 2 is a diagram for explaining writing and reading of image data in a memory.
【図３】映像信号のコマ送り再生処理の手順を示すフロ
ーチャートである。FIG. 3 is a flowchart showing a procedure of frame-by-frame playback processing of a video signal.
２ 復号器 ３ メモリ ４ メモリ制御部 ５ フレーム変換器 2 Decoder 3 Memory 4 Memory control unit 5 Frame converter
Claims (4)
た映像信号を復号化して出力する復号化手段と、 この復号化手段からの映像信号を、圧縮処理を行う際の
複数のフレームメモリから成る１まとまりの単位分の映
像信号を複数単位分記録する記憶手段と、 この記憶手段に対してコマ送り制御命令を出力して映像
信号の読み出しの制御を行う制御手段と、 上記記憶手段から読み出された映像信号を１フレーム分
の映像信号に変換するフレーム変換手段とを備えて成
り、コマ送り再生処理時には、上記記憶手段に上記１ま
とまりの単位分の映像信号を書き込んで、所定の読み出
しアドレスに読み出しアドレス閾値を設定しておき、上
記制御手段からのコマ送り制御命令に基づいて上記記憶
手段から映像信号を順次読み出していく際に、読み出し
アドレスが上記読み出しアドレス閾値に達したときには
新たな上記１まとまりの単位分の映像信号を上記記憶手
段に書き込むことを特徴とする映像信号のコマ送り再生
処理装置。1. A decoding means for decoding and outputting a video signal compressed by using inter-frame predictive coding, and a video signal from the decoding means from a plurality of frame memories for performing a compression process. Storage means for recording a plurality of units of video signals for one unit; control means for outputting a frame feed control command to the storage means to control reading of video signals; and reading from the storage means. Frame converting means for converting the output video signal into a one-frame video signal. At the time of frame-by-frame playback processing, the unit of video signal is written into the storage means, and a predetermined reading is performed. A read address threshold value is set in the address, and when the video signal is sequentially read from the storage means based on the frame feed control command from the control means, the read address threshold is set. A frame-by-frame playback processing apparatus for video signals, characterized in that when the address reaches the read address threshold, a new video signal of the unit is written in the storage means.
の映像信号を３単位分記憶する記憶容量を有することを
特徴とする請求項１記載の映像信号のコマ送り再生処理
装置。2. The apparatus according to claim 1, wherein said storage means has a storage capacity for storing said video signal in one unit for three units.
み出しに対応して第１の読み出しアドレス閾値を設定
し、逆方向の映像信号の読み出しに対応して第２の読み
出しアドレス閾値を設定することを特徴とする請求項１
記載の映像信号のコマ送り再生処理装置。3. A first read address threshold is set in response to reading of a forward video signal from the storage means, and a second read address threshold is set in response to reading of a reverse video signal. 2. The method according to claim 1, wherein
A frame-by-frame playback processing device for the video signal described in the above.
際に設定される上記読み出しアドレス閾値に達するまで
の上記記憶手段からの映像信号の読み出し時間が上記１
まとまりの単位分の映像信号を再生して復号化を行うた
めに必要とされる時間とこの復号化された映像信号を上
記記憶手段に書き込むために必要とされる時間とを合わ
せた時間分以上の時間に相当するように、上記読み出し
アドレス閾値を上記記憶手段内に設定することを特徴と
する請求項１記載の映像信号のコマ送り再生処理装置。4. A reading time of the video signal from the storage means until reaching the read address threshold set when the video signal is read in the forward direction or the reverse direction.
At least the sum of the time required to reproduce and decode a unit of video signal and the time required to write the decoded video signal into the storage means 2. The apparatus according to claim 1, wherein the read address threshold value is set in the storage means so as to correspond to the time of (1).
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20528194A JP3134672B2 (en) | 1994-08-30 | 1994-08-30 | Frame-by-frame playback processor for video signals |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20528194A JP3134672B2 (en) | 1994-08-30 | 1994-08-30 | Frame-by-frame playback processor for video signals |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0870429A JPH0870429A (en) | 1996-03-12 |
| JP3134672B2 true JP3134672B2 (en) | 2001-02-13 |
Family
ID=16504386
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20528194A Expired - Fee Related JP3134672B2 (en) | 1994-08-30 | 1994-08-30 | Frame-by-frame playback processor for video signals |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3134672B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101679028B1 (en) * | 2014-12-05 | 2016-11-23 | 주식회사 씨앤드케이 | Device for measuring outer diameter |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6295094B1 (en) * | 1997-09-11 | 2001-09-25 | U.S. Philips Corporation | Instant replay of digital video optimized using non MPEG frame tags |
| JP5110791B2 (en) * | 2005-12-07 | 2012-12-26 | 三星電子株式会社 | Video processing apparatus and computer program |
-
1994
- 1994-08-30 JP JP20528194A patent/JP3134672B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101679028B1 (en) * | 2014-12-05 | 2016-11-23 | 주식회사 씨앤드케이 | Device for measuring outer diameter |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0870429A (en) | 1996-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8073271B2 (en) | Method and device for condensed image recording and reproduction | |
| JPH04318791A (en) | Signal processing method and recording and reproducing device | |
| JPH1013791A (en) | Video signal decoding method and video signal decoder | |
| JPH08214265A (en) | Method and device for reproducing encoded data | |
| US20020003573A1 (en) | Processing apparatus, image recording apparatus and image reproduction apparatus | |
| US6882687B2 (en) | Compressed image data reproducing apparatus and method thereof | |
| JP3034173B2 (en) | Image signal processing device | |
| JP3093724B2 (en) | Moving image data reproducing apparatus and reverse reproducing method of moving image data | |
| KR0154890B1 (en) | Method and device for decoding picture signal | |
| JP3134672B2 (en) | Frame-by-frame playback processor for video signals | |
| US5841935A (en) | Coding method and recording and reproducing apparatus | |
| US5812735A (en) | Picture signal decoding method and picture signal decoding apparatus | |
| JP3852114B2 (en) | Compressed image data transmission method and apparatus | |
| JPH05344495A (en) | Dynamic image coding system | |
| JPH11205739A (en) | Image reproduction method and system | |
| JP2001177829A (en) | Method for reproducing moving picture data and moving picture data reproducing device | |
| JPH0879688A (en) | Method and device for reproducing data | |
| JPH10150636A (en) | Video signal reproducing device and reproducing method for video signal | |
| JP3897783B2 (en) | Image processing apparatus, control method therefor, computer program, and computer-readable storage medium | |
| JP4311497B2 (en) | Recording / playback device | |
| JP3624457B2 (en) | Image signal encoding apparatus and image signal decoding apparatus | |
| JP3235917B2 (en) | Image recording and playback device | |
| JPH10150635A (en) | Video signal reproducing device and reproducing method for video signal | |
| JP2763057B2 (en) | Video coding and playback method | |
| JPH08223534A (en) | Image reproducing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20001031 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071201 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081201 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091201 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091201 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101201 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111201 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |