JPH1013794A - Moving image reproducing device - Google Patents
Moving image reproducing deviceInfo
- Publication number
- JPH1013794A JPH1013794A JP16204796A JP16204796A JPH1013794A JP H1013794 A JPH1013794 A JP H1013794A JP 16204796 A JP16204796 A JP 16204796A JP 16204796 A JP16204796 A JP 16204796A JP H1013794 A JPH1013794 A JP H1013794A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- display
- frames
- thinning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、動画像を再生する
動画像再生装置に関し、特に、動画像を滑らかに再生す
る動画像再生装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving picture reproducing apparatus for reproducing moving pictures, and more particularly to a moving picture reproducing apparatus for reproducing moving pictures smoothly.
【0002】[0002]
【従来の技術】動画像のような大量のデータを扱う場
合、十分なCPU性能及びバス性能が確保されない限
り、画像を再生表示する間隔は一定ではない。その為、
バスやCPUの負荷状況によって急に画像表示がストッ
プしたり、静止に近い状態から急に画像が動き出すとい
った不自然で滑らかな表示となる。2. Description of the Related Art When a large amount of data such as a moving image is handled, the interval at which images are reproduced and displayed is not constant unless sufficient CPU performance and bus performance are secured. For that reason,
An unnatural and smooth display is obtained in which the image display is suddenly stopped depending on the load status of the bus or the CPU, or the image suddenly starts to move from a state close to stationary.
【0003】そこで、再生表示を滑らかにする動画像再
生装置として、特開平7−32714号公報(以下、先
行技術1と呼ぶ)に記載されている方法がある。[0003] As a moving image reproducing apparatus for smoothing reproduction display, there is a method described in Japanese Patent Application Laid-Open No. 7-32714 (hereinafter referred to as Prior Art 1).
【0004】以下、図9を参照して、先行技術1に開示
された、再生表示を滑らかにする動画像再生装置につい
て説明する。[0004] A moving image reproducing apparatus disclosed in Prior Art 1 for smoothing reproduction display will be described below with reference to FIG.
【0005】図示の動画像再生装置は、CPU801
と、ROM802と、RAM803と、外部記憶装置8
04と、操作装置805と、管理テーブル806と、表
示制御回路807と、フレームバッファ808と、表示
装置809と、データ処理装置810と、回線制御回路
811と、回線812と、バス813とを有する。[0005] A moving image reproducing apparatus shown in FIG.
, ROM 802, RAM 803, and external storage device 8
04, an operating device 805, a management table 806, a display control circuit 807, a frame buffer 808, a display device 809, a data processing device 810, a line control circuit 811, a line 812, and a bus 813. .
【0006】データ処理装置810は、画像データの復
号を行い、各フレームの生成時間の情報を管理テーブル
806に追加する。表示制御回路807では各フレーム
間の生成時間の差を求め、この値を基準値αと比較して
表示レベルHLを求め、管理テーブル806に登録す
る。表示装置809では表示処理中のフレームの表示レ
ベルHLを管理テーブル806により確認し、表示レベ
ルの値に応じて次のフレームの表示までの時間間隔を決
定する。また、フレームバッファ808に格納されてい
るフレームの数を調べ、フレーム数に応じて表示レベル
HLの値を加減し、表示間隔を調整する。[0006] The data processing device 810 decodes the image data and adds information on the generation time of each frame to the management table 806. The display control circuit 807 obtains the difference in the generation time between each frame, compares this value with the reference value α to obtain the display level HL, and registers it in the management table 806. The display device 809 checks the display level HL of the frame being displayed by the management table 806, and determines a time interval until the next frame is displayed according to the value of the display level. Further, the number of frames stored in the frame buffer 808 is checked, and the value of the display level HL is adjusted according to the number of frames to adjust the display interval.
【0007】このように各フレームの表示時間を、動画
像の表示のための処理に要する時間とフレームバッファ
808に格納される未表示の画像数とに応じて設定制御
する。復号化に時間がかかっている場合には、フレーム
表示間隔を長くし、逆の場合にはフレーム表示間隔を短
くする。このようにして、CPU801の負荷状況によ
らず動画像データを滑らかに再生できるようになる。As described above, the display time of each frame is set and controlled in accordance with the time required for processing for displaying a moving image and the number of undisplayed images stored in the frame buffer 808. If the decoding takes a long time, the frame display interval is made longer, and if the reverse is the case, the frame display interval is made shorter. In this way, moving image data can be smoothly reproduced regardless of the load on the CPU 801.
【0008】また、再生時間をコントロールするために
画像を間引く方法が、特開平6−121282号公報
(以下、先行技術2と呼ぶ)に記載されている。A method of thinning out images in order to control the reproduction time is described in JP-A-6-121282 (hereinafter referred to as prior art 2).
【0009】以下、図10を参照して、先行技術2に開
示された、画像を間引く方法を実現する動画像再生装置
について説明する。Referring to FIG. 10, a description will be given of a moving image reproducing apparatus which realizes a method of thinning out images disclosed in Prior Art 2.
【0010】図示の動画像再生装置は、画像データ記憶
器901と、画像バッファ902と、類似度計算部90
3と、最大類似度検出部904と、バッファ表示制御器
905と、画像表示器904とを有する。The illustrated moving picture reproducing apparatus includes an image data storage unit 901, an image buffer 902, a similarity calculation unit 90
3, a maximum similarity detection unit 904, a buffer display controller 905, and an image display 904.
【0011】画像データ記憶器901では一定の時間間
隔で連続して収録された画像データ時系列を記憶し、そ
れを時系列画像信号aとして出力する。画像バッファ9
02では時系列画像信号aを入力し、一定時間分の画像
データを、バッファ表示制御器905によって読み取ら
れるか、或いは読み飛ばされるまで一時的に保持する。
類似度計算部903では、画像信号bを入力し、時間的
に隣接する各画像データ間の類似度を計算し、類似度を
示す類似度信号cを出力する。2つの画像データ間の類
似度は例えば画像データ間の各対応する画像の3原色値
の2乗和を全画素について合計し、その値が小さいほど
類似していると判断する方法を用いる。最大類似度検出
部904では、類似度信号cを入力し、隣接画像との類
似度が最も高いものを上位から(n−m)個選び、それ
らの画像をバッファ表示制御器905で間引くような間
引き制御信号dを出力する。バッファ表示制御器905
は間引き制御信号dに応じて画像を間引いて表示する。An image data storage unit 901 stores a time series of image data continuously recorded at a fixed time interval and outputs it as a time series image signal a. Image buffer 9
In step 02, the time-series image signal a is input, and image data for a certain time is temporarily held until the buffer display controller 905 reads or skips the image data.
The similarity calculation unit 903 receives the image signal b, calculates the similarity between the respective temporally adjacent image data, and outputs a similarity signal c indicating the similarity. The similarity between two pieces of image data is determined, for example, by summing the sum of squares of the three primary color values of each corresponding image between the image data for all pixels, and determining that the smaller the value is, the more similar the image data is. The maximum similarity detection unit 904 receives the similarity signal c, selects (n−m) images having the highest similarity with the adjacent image from the top, and thins out those images by the buffer display controller 905. The thinning control signal d is output. Buffer display controller 905
Displays a thinned image in accordance with the thinning control signal d.
【0012】このように、類似度の大きい部分を間引く
ことによって、不連続な動きのない早送り再生を実現し
ている。As described above, fast-forward reproduction without discontinuous movement is realized by thinning out portions having a high degree of similarity.
【0013】[0013]
【発明が解決しようとする課題】先行技術1に開示され
た再生を滑らかにする方法には、次に述べるような問題
がある。第1に、フレーム表示間隔を長くしたり短くし
たりすると、再生画像は滑らかに見えるが、全体の再生
時間が不定になり、本来の再生時間と合わなくなるとい
う問題がある。第2に、音声との同期を取った場合、動
画像の再生時間に合わせて音声を再生すると、音声の早
送りやスロー、または音声の途切れが発生し、聞き苦し
いものとなる可能性がある。The method for smoothing reproduction disclosed in the prior art 1 has the following problems. First, when the frame display interval is lengthened or shortened, the reproduced image looks smooth, but the overall reproduction time becomes undefined and does not match the original reproduction time. Secondly, when synchronized with the audio, if the audio is reproduced in synchronization with the reproduction time of the moving image, the audio may be fast-forwarded or slowed down, or the audio may be interrupted, making it difficult to hear.
【0014】また、画像処理にかかる時間が長すぎる場
合は、画像処理するフレームを間引いてなるべく早く画
像処理をする必要がある。しかしながら、従来の画像を
間引く方法では、間引きを行うフレームの画像や画像処
理方式によらず、機械的に間引いているため、再生した
画像が滑らかに見えない欠点がある。一方、先行技術2
のように、これを滑らかにするために画像データ間の類
似度を計算する方法では、計算するのに時間がかかり、
類似度の計算のためにCPUの負荷が大きくなっている
にも拘らず、画像を間引くためにさらにCPUに負荷が
かかってしまい、再生フレーム数が少なくなる問題があ
る。If the time required for the image processing is too long, it is necessary to perform the image processing as soon as possible by thinning out frames to be subjected to the image processing. However, the conventional image thinning method has a drawback that the reproduced image cannot be seen smoothly because the thinning is performed mechanically regardless of the image of the frame to be thinned or the image processing method. On the other hand, prior art 2
In the method of calculating the similarity between image data in order to smooth this, it takes time to calculate,
Although the load on the CPU is large for calculating the similarity, the load on the CPU is further increased for thinning out the images, and there is a problem that the number of reproduced frames is reduced.
【0015】したがって、本発明の課題は、再生時間は
本来の再生時間と一致させ、しかも滑らかに動画像を再
生することができる動画像生成装置を提供することにあ
る。SUMMARY OF THE INVENTION It is therefore an object of the present invention to provide a moving image generating apparatus which can reproduce a moving image smoothly with the reproduction time coincident with the original reproduction time.
【0016】[0016]
【課題を解決するための手段】本発明による動画像再生
装置は、複数の画像データを複数枚のフレームとして貯
える画像データバッファと、入力されるデータを表示可
能な画像データに変換し、変換後の前記画像データを前
記画像データバッファに前記フレームとして格納する画
像処理手段と、該画像処理手段での画像処理の所要時間
に拘らず、一定の間隔で前記画像データバッファから画
像データを読み出し、表示画像の更新を行うことによっ
て動画像を表示する表示制御手段とを具備することを特
徴とする。SUMMARY OF THE INVENTION A moving image reproducing apparatus according to the present invention converts an input data into displayable image data, an image data buffer for storing a plurality of image data as a plurality of frames, and Image processing means for storing the image data as the frame in the image data buffer, and reading and displaying the image data from the image data buffer at regular intervals, regardless of the time required for image processing in the image processing means. Display control means for displaying a moving image by updating the image.
【0017】[0017]
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。Embodiments of the present invention will be described below in detail with reference to the drawings.
【0018】図1を参照すると、本発明の一実施の形態
による動画像再生装置は、圧縮画像データを格納する圧
縮データファイル101と、圧縮データファイル101
から圧縮画像データを読み込み、圧縮画像データの復号
処理を行う復号処理部103と、復号処理部103で復
号された復号後の画像データをフレームとして格納する
複数枚の画像データバッファ104と、画像データバッ
ファ104内のフレームを表示する表示制御部104
と、表示制御部104で表示のタイミングを計るタイマ
部106と、復号処理を間引く間引き制御部102と、
表示装置107とから構成されている。Referring to FIG. 1, a moving picture reproducing apparatus according to an embodiment of the present invention comprises a compressed data file 101 for storing compressed image data,
A decoding processing unit 103 that reads compressed image data from the storage unit and performs decoding processing of the compressed image data; a plurality of image data buffers 104 that store decoded image data decoded by the decoding processing unit 103 as frames; Display control unit 104 that displays frames in buffer 104
A timer unit 106 for measuring display timing in the display control unit 104, a thinning control unit 102 for thinning out decoding processing,
And a display device 107.
【0019】復号処理部103は圧縮データファイル1
01から圧縮画像データを読み込み、復号したフレーム
を画像データバッファ104に順次格納する。画像デー
タバッファ104は複数の復号したフレームを貯えられ
るリングバッファになっており、ある一定数枚上のフレ
ームが格納された段階で表示を開始するようにタイマ部
106に対して開始を指示する。タイマ部106は一定
間隔(30フレーム/秒の表示の場合は33ミリ秒単
位)で表示要求信号を表示制御部105に通知する。表
示制御部105は画像データバッファ104から復号さ
れたフレームを表示装置107に転送して表示する。The decryption processing unit 103 stores the compressed data file 1
01, the compressed image data is read, and the decoded frames are sequentially stored in the image data buffer 104. The image data buffer 104 is a ring buffer that can store a plurality of decoded frames, and instructs the timer unit 106 to start displaying when a certain number of frames above are stored. The timer unit 106 notifies the display control unit 105 of a display request signal at regular intervals (in units of 33 milliseconds in the case of display at 30 frames / second). The display control unit 105 transfers the decoded frame from the image data buffer 104 to the display device 107 for display.
【0020】この際、画像データバッファ104内に残
っているフレームの数が、ある一定数(第1のしきい
値)N以下だった場合は復号処理を省略するため、間引
きフレーム数を指示するカウンタ(図示せず)をインク
リメントする。また、逆に画像データバッファ104内
に残っているフレームの数が、ある一定数(第2のしき
い値)M以上だった場合は、上記カウンタをクリアし、
間引き指定を解除する。間引き制御部102は、上記カ
ウンタタをチェックし、間引き要求があり、しかも復号
するフレームが間引き可能な場合には、復号処理部10
3に対し圧縮画像データの読み飛ばしを指定する。復号
処理部103は圧縮画像データの読み飛ばし指定があっ
たときは圧縮画像データを1フレーム分読み飛ばすこと
によってフレームを間引く。At this time, when the number of frames remaining in the image data buffer 104 is equal to or less than a certain fixed number (first threshold value) N, the number of thinned frames is indicated in order to omit decoding processing. Increments a counter (not shown). Conversely, when the number of frames remaining in the image data buffer 104 is equal to or more than a certain number (second threshold value) M, the counter is cleared,
Cancel the thinning specification. The thinning control unit 102 checks the counter, and if there is a thinning request and the frame to be decoded can be thinned, the decoding processing unit 10
For 3, skip reading of compressed image data is specified. When the skipping of the compressed image data is specified, the decoding processing unit 103 skips the frames of the compressed image data by one frame to thin out the frames.
【0021】次に、図2を参照して、図1に示した表示
制御部105の動作について説明する。Next, the operation of the display control unit 105 shown in FIG. 1 will be described with reference to FIG.
【0022】表示制御部105は、タイマ部106から
ある一定の表示間隔で呼び出される。この間隔がフレー
ムレートであり、通常、テレビ(TV)のフレームレー
トでは(1/30)秒単位となる。表示制御部105で
は画像データバッファ104内の残りフレーム数をチェ
ックする(ステップ201)。ここで、残りフレーム数
が第1のしきい値N以下なら、表示制御部105は、間
引きを要求すべく間引きフレーム数カウンタをインクリ
メントして(ステップ202)、処理を終了する。一
方、画像データバッファ104内の残りフレーム数が第
2のしきい値M以上ならば、表示制御部105は、間引
きをしないために間引きフレーム数カウンタ(図示せ
ず)を0にして(ステップ203)、ステップ204へ
移る。また、画像データバッファ104内の残りフレー
ム数が範囲N〜Mの間なら、表示制御部105は、直ち
にステップ204へ移る。ステップ204で、表示制御
部105は画像データバッファ104内の1枚のフレー
ムを表示装置107に転送する。そして、表示制御部1
05はそれを表示装置107に表示させる(ステップ2
05)。The display control unit 105 is called from the timer unit 106 at a certain display interval. This interval is the frame rate, and is usually in units of (1/30) seconds at the frame rate of a television (TV). The display control unit 105 checks the number of remaining frames in the image data buffer 104 (step 201). Here, if the number of remaining frames is equal to or smaller than the first threshold value N, the display control unit 105 increments the number-of-thinned-frames counter to request the thinning-out (step 202), and ends the processing. On the other hand, if the number of remaining frames in the image data buffer 104 is equal to or larger than the second threshold value M, the display control unit 105 sets a thinning-out frame number counter (not shown) to 0 in order not to thin out (step 203 ), And proceed to step 204. If the number of remaining frames in the image data buffer 104 is in the range N to M, the display control unit 105 immediately proceeds to step 204. In step 204, the display control unit 105 transfers one frame in the image data buffer 104 to the display device 107. And the display control unit 1
05 displays it on the display device 107 (step 2
05).
【0023】ここで、間引き要求を発行する第1のしき
い値N、間引き要求をクリアする第2のしきい値M、画
像データバッファ104に格納できるフレーム数Kの関
係は次のようになる。Here, the relationship between the first threshold N for issuing a thinning request, the second threshold M for clearing a thinning request, and the number K of frames that can be stored in the image data buffer 104 is as follows. .
【0024】0<N<M≦K ここで、フレーム数が第1のしきい値N以下の場合、画
像データを表示装置107に転送していないが、これは
前回転送した画像と同一フレームを転送しても同じこと
である。0 <N <M ≦ K Here, when the number of frames is equal to or smaller than the first threshold value N, the image data is not transferred to the display device 107. The same is true for forwarding.
【0025】次に、図3を参照して、図1に示した間引
き制御部102の動作について説明する。Next, the operation of the thinning control unit 102 shown in FIG. 1 will be described with reference to FIG.
【0026】間引き制御部102は、復号処理部103
で復号処理をする前に、1フレームの処理毎に呼び出さ
れる。間引き制御部301では、表示制御部105でセ
ットされた間引きフレーム数をチェックし(ステップ3
01)、間引きフレーム数が0の場合、間引き処理を行
わない。また、間引きフレーム数が0より大きい場合、
間引き制御部102は次の圧縮画像データをチェックす
る(ステップ302)。ここで、間引き可能な場合は、
間引き制御部102は間引きフレーム数カウンタをデク
リメントし(ステップ303)、圧縮画像データの読み
飛ばし指定をする(ステップ304)。The decimation control unit 102 includes a decryption processing unit 103
Is called every time one frame is processed. The thinning control unit 301 checks the number of thinned frames set by the display control unit 105 (step 3).
01) If the number of thinned frames is 0, no thinning processing is performed. When the number of thinned frames is larger than 0,
The thinning control unit 102 checks the next compressed image data (step 302). Here, if thinning is possible,
The thinning control unit 102 decrements the thinning frame number counter (step 303) and designates skipping of compressed image data (step 304).
【0027】間引き可能な否かの判定は、例えば、圧縮
画像データが他の圧縮画像データに参照されるか否かで
判定することができる。例えば、MPEG(Moving Pic
turecording Experts Group)方式の場合、圧縮画像デ
ータの構成は図4に示す構成になっている。図4に示す
ように、圧縮画像データには、Iピクチャ(イントラ符
号化画像)、Pピクチャ(予測符号化画像)、Bピクチ
ャ(双方向予測符号化画像)と呼ばれる3種類の圧縮方
式がある。Iピクチャはその圧縮画像データだけで1フ
レームの画像を復号できる圧縮方式である。Pピクチャ
はそのフレームの前に存在するIピクチャまたはPピク
チャのフレームを参照して復号する圧縮方式である。B
ピクチャはそのフレームの前に存在するIピクチャまた
はPピクチャのフレーム及びそのフレームの後に存在す
るIピクチャまたはPピクチャを参照して復号する圧縮
方式である。この場合、Bピクチャを間引いても他の圧
縮画像データを参照されることはないので障害は発生し
ないが、PピクチャやIピクチャを間引いた場合にはそ
のフレームを参照しているPピクチャ及びBピクチャは
復号できなくなる。従って、MPEG方式の場合はBピ
クチャは間引き可能であるが、Pピクチャ及びIピクチ
ャは間引き不可能となる。The determination as to whether or not thinning is possible can be made based on, for example, whether or not compressed image data is referred to by other compressed image data. For example, MPEG (Moving Pic
In the case of the turecording experts group method, the configuration of the compressed image data is as shown in FIG. As shown in FIG. 4, the compressed image data includes three types of compression schemes called an I picture (intra coded image), a P picture (predicted coded image), and a B picture (bidirectional predicted coded image). . The I picture is a compression method that can decode a one-frame image using only the compressed image data. The P picture is a compression method for decoding by referring to an I picture or a P picture frame existing before the frame. B
A picture is a compression method for decoding with reference to an I picture or P picture frame existing before the frame and an I picture or P picture existing after the frame. In this case, even if the B picture is thinned, no trouble occurs because other compressed image data is not referred to. However, when the P picture or the I picture is thinned, the P picture and the B picture which refer to the frame are not referenced. The picture cannot be decoded. Therefore, in the case of the MPEG system, B pictures can be thinned out, but P pictures and I pictures cannot be thinned out.
【0028】また、他の方法として間引きを指定する際
に間引き要求にレベルを設けることも可能である。間引
き要求レベルは、例えば、間引きフレーム数カウンタの
値によって、カウンタ値1の場合は低レベル、カウンタ
値2の場合は中レベル、カウンタ値3以上の場合は高レ
ベルとする。そして、低レベルの場合はBピクチャのみ
間引き可能とし、中レベルの場合はBピクチャ及びPピ
クチャを間引き可能とし、高レベルの場合は全ピクチャ
を間引き可能とする。As another method, it is also possible to provide a level for a thinning request when specifying thinning. The thinning request level is, for example, a low level when the counter value is 1, a medium level when the counter value is 2, and a high level when the counter value is 3 or more, depending on the value of the thinning frame number counter. Then, at the low level, only the B picture can be thinned, at the middle level, the B picture and the P picture can be thinned, and at the high level, all the pictures can be thinned.
【0029】次に、図5を参照して、図1に示した復号
処理部103の動作について説明する。Next, the operation of the decoding processing unit 103 shown in FIG. 1 will be described with reference to FIG.
【0030】復号処理部103は、1フレームの復号処
理を行う際に呼び出され、画像データバッファ104内
の残りフレーム数をチェックする(ステップ401)。
画像データバッファ104内の残りフレーム数が第3の
しきい値L以上なら、復号処理部103は画像の復号処
理の開始を待つ(ステップ402)。画像データバッフ
ァ104内の残りフレーム数が第3のしきい値L未満の
場合、復号処理部103は間引き制御部102でセット
された圧縮画像データの読み飛ばし指定をチェックする
(ステップ403)。読み飛ばし指定がある時は、復号
処理部103は圧縮画像データを1フレーム分読み飛ば
す(ステップ404)。また、読み飛ばし指定がない場
合は、復号処理部103は通常の復号処理を行い(ステ
ップ405)、復号後のフレームを画像データバッファ
104に格納する(ステップ406)。The decoding processing unit 103 is called when one frame is decoded, and checks the number of remaining frames in the image data buffer 104 (step 401).
If the number of remaining frames in the image data buffer 104 is equal to or greater than the third threshold value L, the decoding processing unit 103 waits for the start of image decoding processing (step 402). If the number of remaining frames in the image data buffer 104 is less than the third threshold value L, the decoding processing unit 103 checks whether to skip the compressed image data set by the thinning control unit 102 (step 403). If skipping is specified, the decoding processing unit 103 skips one frame of the compressed image data (step 404). If no skipping is specified, the decoding processing unit 103 performs a normal decoding process (step 405), and stores the decoded frame in the image data buffer 104 (step 406).
【0031】ここで、間引き要求を発行する第1のしき
い値N、復号処理を停止する第3のしきい値L、画像デ
ータバッファ104に格納できるフレーム数Kの関係は
次のようになる。The relationship between the first threshold value N for issuing a thinning request, the third threshold value L for stopping the decoding process, and the number K of frames that can be stored in the image data buffer 104 is as follows. .
【0032】0<N<L≦K 図5に示すフローチャートでは、フレームを間引く場
合、単純に圧縮画像データを読み飛ばしているが、他の
方法として、復号処理部103内にフレーム補間部(図
示せず)を設け、読み飛ばしたフレームを前後のフレー
ムから補間して作り出しても良い。補間の方法として
は、例えば、前後のフレームの各対応する画素の3原色
値を全画素について平均し、1枚のフレームを構成する
方法がある。0 <N <L ≦ K In the flowchart shown in FIG. 5, when thinning out the frames, the compressed image data is simply skipped. However, as another method, a frame interpolation unit (FIG. (Not shown), and the skipped frame may be created by interpolating from the preceding and following frames. As a method of the interpolation, for example, there is a method of averaging the three primary color values of the corresponding pixels of the preceding and succeeding frames for all the pixels to form one frame.
【0033】[0033]
【実施例】次に本発明の実施例について、図面を参照し
て説明する。Next, an embodiment of the present invention will be described with reference to the drawings.
【0034】図6乃至図8は復号処理時間、画像データ
バッファの変化、表示フレームの時間的推移を示してい
る。説明のため、間引き要求を発行する第1のしきい値
N=2、間引き要求をクリアする第2のしきい値M=
6、復号処理を停止する第3のしきい値L=6、画像デ
ータバッファ104に格納できるフレーム数=8として
説明する。また、復号処理開始後4フレームのデータが
画像データバッファ104にたまったところで表示処理
を開始することとする。また、図中の数字はフレーム番
号を意味するものとする。FIGS. 6 to 8 show the decoding processing time, the change of the image data buffer, and the temporal transition of the display frame. For the sake of explanation, a first threshold N = 2 for issuing a thinning request and a second threshold M = for clearing a thinning request
6, a description will be given assuming that the third threshold value L at which decoding processing is stopped is L = 6, and the number of frames that can be stored in the image data buffer 104 is 8. The display process is started when the data of four frames has accumulated in the image data buffer 104 after the start of the decoding process. Also, the numbers in the figure mean frame numbers.
【0035】図6は復号処理にかかる時間がフレーム毎
に異なる場合の表示タイミングを示した図である。FIG. 6 is a diagram showing display timing when the time required for the decoding process differs for each frame.
【0036】この例では、4フレームの画像データが画
像データバッファ104に格納された段階で(時刻T
9)、表示が開始され、フレーム番号1の画像を表示す
る。画像データバッファ104には複数枚のフレームが
蓄積されており、表示は一定間隔αで更新されるが、画
像データバッファ104に余裕があるため、フレーム番
号8のように復号時間に長いフレームがあっても、表示
は一定間隔に更新される。In this example, when four frames of image data are stored in the image data buffer 104 (at time T).
9) The display is started, and the image of frame number 1 is displayed. A plurality of frames are stored in the image data buffer 104, and the display is updated at a constant interval α. However, since the image data buffer 104 has room, there is a frame having a long decoding time such as the frame number 8. However, the display is updated at regular intervals.
【0037】図7は復号処理にかかる時間に比べて表示
間隔αが短い場合の表示タイミングを示した図である。FIG. 7 is a diagram showing the display timing when the display interval α is shorter than the time required for the decoding process.
【0038】この例では4フレームの画像データが画像
データバッファ104に格納された段階で(時刻T
9)、表示が開始され、フレーム番号1の画像を表示す
る。時刻α後(時刻T11)、フレーム番号2の画像を
表示するが、この際、画像データバッファ104内の残
りフレーム数が間引き要求を発行する第1のしきい値N
=2以下になったため、表示制御部105は間引き制御
部102に対し間引き要求を発行する。次の圧縮画像デ
ータ(フレーム番号6の圧縮画像データ)を復号する
際、要求を受けた間引き制御部102は復号すべき圧縮
データをチェックし、この圧縮画像データを間引くこと
ができると判断した場合には、圧縮画像データの読み飛
ばしを行い、前回と同一フレームを画像データバッファ
104に書き込む。In this example, when four frames of image data are stored in the image data buffer 104 (at time T).
9) The display is started, and the image of frame number 1 is displayed. After time α (time T11), the image of the frame number 2 is displayed. At this time, the number of remaining frames in the image data buffer 104 is equal to the first threshold value N at which the thinning request is issued.
= 2 or less, the display control unit 105 issues a thinning request to the thinning control unit 102. When decoding the next compressed image data (compressed image data of frame number 6), the thinning control unit 102 that has received the request checks the compressed data to be decoded and determines that the compressed image data can be thinned. , The compressed image data is skipped, and the same frame as the previous frame is written in the image data buffer 104.
【0039】さらに、時刻T15ではフレーム番号4の
画像を表示するが、この際、画像データバッファ104
内の残りフレーム数が間引き要求を発行するしきい値N
=2以下になったため、表示制御部105は間引き制御
部102に対し間引き要求を発行する。次の圧縮画像デ
ーア(フレーム番号8の圧縮画像データ)を復号する
際、要求を受けた間引き制御部102は復号すべき圧縮
画像データをチェックし、この圧縮画像データを間引く
ことができないと判断した場合、通常通りフレーム番号
8の圧縮画像データを復号する。Further, at time T15, an image of frame number 4 is displayed.
Is the threshold N at which the number of remaining frames in the system issues a thinning request.
= 2 or less, the display control unit 105 issues a thinning request to the thinning control unit 102. When decoding the next compressed image data (compressed image data of frame number 8), the thinning control unit 102 that has received the request checks the compressed image data to be decoded, and determines that this compressed image data cannot be thinned. In this case, the compressed image data of frame number 8 is decoded as usual.
【0040】さらに、フレーム番号9の圧縮画像データ
を復号する際、要求を受けた間引き正制御部102は復
号すべき圧縮画像データをチェックし、この圧縮画像デ
ータを間引くことができると判断した場合には、圧縮画
像データの読み飛ばしを行い、前回と同一フレーム(フ
レーム番号8のフレーム)を画像データバッファ104
に書き込む。このようにして間引き処理が行われ、一定
間隔で表示が更新される。Further, when decoding the compressed image data of the frame number 9, the thinning correction control unit 102 which has received the request checks the compressed image data to be decoded and determines that this compressed image data can be thinned. , The compressed image data is skipped, and the same frame (frame of frame number 8) as the previous image data is stored in the image data buffer 104.
Write to. The thinning process is performed in this manner, and the display is updated at regular intervals.
【0041】図8は復号処理にかかる時間に比べて表示
間隔αが長い場合の表示タイミングを示した図である。FIG. 8 is a diagram showing the display timing when the display interval α is longer than the time required for the decoding process.
【0042】この例では4フレームの画像データが画像
データバッファ104に格納された段階で(時刻T
9)、表示が開始され、1フレーム目の画像を表示す
る。その後、時間αの間隔で順次画像を表示し、フレー
ム番号9の圧縮画像データを復号した段階で画像データ
バッファ104内の残りフレーム数が復号処理を停止す
る第3のしきい値L=6以上になったため、画像データ
バッファ104内の残りフレーム数が復号処理を停止す
る第3のしきい値L=6未満になるまで復号処理を停止
する。時刻T21でフレーム番号4のフレームを表示す
ると、画像データバッファ104内の残りフレームが復
号処理を停止する第3のしきい値L=6未満になるので
復号処理を再開する。このようにして復号の処理時間の
調整が行われ、一体間隔で表示が更新されることにな
る。In this example, when four frames of image data are stored in the image data buffer 104 (at time T).
9) The display is started, and the image of the first frame is displayed. Thereafter, images are sequentially displayed at intervals of time α, and when the compressed image data of frame number 9 is decoded, the number of remaining frames in the image data buffer 104 stops decoding processing. Therefore, the decoding process is stopped until the number of remaining frames in the image data buffer 104 becomes less than the third threshold value L = 6 for stopping the decoding process. When the frame of the frame number 4 is displayed at the time T21, the decoding process is restarted because the remaining frames in the image data buffer 104 become less than the third threshold value L = 6 at which the decoding process is stopped. Thus, the decoding processing time is adjusted, and the display is updated at an integral interval.
【0043】本発明は上述した実施の形態に限定せず、
本発明の趣旨を逸脱しない範囲内で種々の変更・変形が
可能である。例えば、上記実施の形態では、圧縮データ
ファイル101に圧縮画像データが格納されているの
で、復号処理部103は圧縮データファイル101から
圧縮画像データを読み込み、圧縮画像データの復号処理
を行っているが、復号処理部103の代わりに、一般
に、入力されるデータを表示可能な画像データに変換
し、変換後の画像データを画像データバッファにフレー
ムとして格納する画像処理手段であって良い。The present invention is not limited to the above embodiment,
Various changes and modifications are possible without departing from the spirit of the present invention. For example, in the above embodiment, since the compressed image data is stored in the compressed data file 101, the decoding processing unit 103 reads the compressed image data from the compressed data file 101 and performs the decoding processing of the compressed image data. Instead of the decoding processing unit 103, an image processing unit that generally converts input data into displayable image data and stores the converted image data as a frame in an image data buffer may be used.
【0044】[0044]
【発明の効果】以上説明したように本発明では、復号処
理部と表示処理部とを独立させることによって、一定間
隔で表示の更新ができ、また間引くフレームを選択でき
るため、滑らかな再生が可能となる。As described above, according to the present invention, the display can be updated at regular intervals and the frames to be thinned out can be selected by making the decoding processing unit and the display processing unit independent, so that smooth reproduction is possible. Becomes
【図1】本発明の一実施の形態による動画像再生装置の
構成を示すブロック図である。FIG. 1 is a block diagram illustrating a configuration of a moving image reproducing apparatus according to an embodiment of the present invention.
【図2】図1の動画像再生装置に用いられる表示制御部
の動作を説明するためのフローチャートである。FIG. 2 is a flowchart for explaining an operation of a display control unit used in the moving image reproducing device of FIG. 1;
【図3】図1の動画像再生装置に用いられる間引き制御
部の動作を説明するためのフローチャートである。FIG. 3 is a flowchart illustrating an operation of a thinning-out control unit used in the moving image reproducing apparatus of FIG. 1;
【図4】MPEG方式の圧縮画像データの構成を示す図
である。FIG. 4 is a diagram showing a configuration of MPEG-format compressed image data.
【図5】図1の動画像再生装置に用いられる信号処理部
の動作を説明するためのフローチャートである。FIG. 5 is a flowchart for explaining an operation of a signal processing unit used in the moving image reproducing device of FIG. 1;
【図6】復号処理にかかる時間がフレーム毎に異なる場
合の、本発明の表示タイミングを示す図である。FIG. 6 is a diagram showing display timing according to the present invention when the time required for the decoding process differs for each frame.
【図7】復号処理にかかる時間に比べて表示間隔が短い
場合の、本発明の表示タイミングを示す図である。FIG. 7 is a diagram showing the display timing of the present invention when the display interval is shorter than the time required for the decoding process.
【図8】復号処理にかかる時間に比べて表示間隔が長い
場合の、本発明の表示タイミングを示す図である。FIG. 8 is a diagram showing the display timing of the present invention when the display interval is longer than the time required for the decoding process.
【図9】特開平7−32714号公報(以下、先行技術
1と呼ぶ)に開示された、再生表示を滑らかにする動画
像再生装置の構成を示すブロック図である。FIG. 9 is a block diagram showing a configuration of a moving image reproducing apparatus disclosed in Japanese Patent Application Laid-Open No. 7-32714 (hereinafter referred to as Prior Art 1) for smoothing reproduction display.
【図10】特開平6−121282号公報(以下、先行
技術2と呼ぶ)に開示された、画像を間引く方法を実現
する動画像再生装置の構成を示すブロック図である。FIG. 10 is a block diagram illustrating a configuration of a moving image reproducing apparatus that realizes a method for thinning out images disclosed in Japanese Patent Application Laid-Open No. 6-121282 (hereinafter, referred to as Prior Art 2).
101 圧縮データファイル 102 間引き制御部 103 復号処理部 104 画像データバッファ 105 表示制御部 106 タイマ部 107 表示装置 Reference Signs List 101 compressed data file 102 thinning control unit 103 decoding processing unit 104 image data buffer 105 display control unit 106 timer unit 107 display device
Claims (5)
して貯える画像データバッファ(104)と、 入力されるデータを表示可能な画像データに変換し、変
換後の前記画像データを前記画像データバッファに前記
フレームとして格納する画像処理手段(103)と、 該画像処理手段での画像処理の所要時間に拘らず、一定
の間隔で前記画像データバッファから画像データを読み
出し、表示画像の更新を行うことによって動画像を表示
する表示制御手段(105)とを具備することを特徴と
する動画像再生装置。An image data buffer for storing a plurality of image data as a plurality of frames; converting input data into displayable image data; and storing the converted image data in the image data buffer. An image processing unit (103) for storing the image data as the frame, and reading out the image data from the image data buffer at regular intervals, regardless of the time required for the image processing in the image processing unit, and updating the display image. A moving image reproducing apparatus, comprising: a display control unit (105) for displaying a moving image.
ッファ内の残りフレーム数に応じて、画像処理を開始す
る時間を調整すること、を特徴とする請求項1に記載の
動画像再生装置。2. The moving image reproducing apparatus according to claim 1, wherein the image processing means adjusts a time at which image processing is started according to the number of remaining frames in the image data buffer.
ム数に応じて、前記画像処理手段での画像処理を間引く
間引き制御手段をさらに含むこと、を特徴とする請求項
1に記載の動画像再生装置。3. The moving image reproducing apparatus according to claim 1, further comprising a thinning control unit for thinning out image processing by said image processing unit according to the number of remaining frames in said image data buffer. .
であり、 前記画像処理手段は、前記画像処理として前記圧縮画像
データの復号を行い、 前記間引き制御手段は、前記画像データバッファ内の残
りフレーム数と繰り返し読み出されたフレーム数とに応
じて、画像間引き要求レベルを設定し、該画像間引き要
求レベルと前記圧縮画像データの種類に応じて前記画像
処理手段での画像処理を間引き、 前記表示制御手段は、前記間引き制御手段によって間引
かれた画像データの1つ前の同一画像データを前記画像
デーアバッファから読み出して表示画像の更新を行うこ
と、を特徴とする請求項3に記載の動画像再生装置。4. The input data is compressed image data, the image processing means decodes the compressed image data as the image processing, and the thinning control means sets a remaining frame in the image data buffer. Setting the image thinning request level in accordance with the number and the number of frames repeatedly read, thinning out the image processing in the image processing means in accordance with the image thinning request level and the type of the compressed image data; 4. The moving image according to claim 3, wherein the control unit reads the same image data immediately before the image data thinned by the thinning control unit from the image data buffer and updates the display image. Image reproduction device.
されたフレームを前後のフレームから補間して作り出す
フレーム補間手段をさらに含むこと、を特徴とする請求
項3又は4に記載の動画像再生装置。5. The moving picture reproducing apparatus according to claim 3, further comprising a frame interpolating means for interpolating a frame skipped by skipping image processing from previous and subsequent frames to create the interpolated frame. .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16204796A JP2998640B2 (en) | 1996-06-21 | 1996-06-21 | Video playback device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16204796A JP2998640B2 (en) | 1996-06-21 | 1996-06-21 | Video playback device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1013794A true JPH1013794A (en) | 1998-01-16 |
JP2998640B2 JP2998640B2 (en) | 2000-01-11 |
Family
ID=15747090
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP16204796A Expired - Fee Related JP2998640B2 (en) | 1996-06-21 | 1996-06-21 | Video playback device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2998640B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004004331A1 (en) * | 2002-06-27 | 2004-01-08 | Ricoh Company, Ltd. | Image processing apparatus |
US7433524B2 (en) | 2003-05-08 | 2008-10-07 | Ricoh Company, Ltd. | Processing system with frame rate and image quality optimized |
JP2010166386A (en) * | 2009-01-16 | 2010-07-29 | Casio Computer Co Ltd | Motion picture playback apparatus and program |
US8364010B2 (en) | 2001-08-09 | 2013-01-29 | Canon Kabushiki Kaisha | Image reproduction apparatus |
-
1996
- 1996-06-21 JP JP16204796A patent/JP2998640B2/en not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8364010B2 (en) | 2001-08-09 | 2013-01-29 | Canon Kabushiki Kaisha | Image reproduction apparatus |
WO2004004331A1 (en) * | 2002-06-27 | 2004-01-08 | Ricoh Company, Ltd. | Image processing apparatus |
US7433524B2 (en) | 2003-05-08 | 2008-10-07 | Ricoh Company, Ltd. | Processing system with frame rate and image quality optimized |
JP2010166386A (en) * | 2009-01-16 | 2010-07-29 | Casio Computer Co Ltd | Motion picture playback apparatus and program |
Also Published As
Publication number | Publication date |
---|---|
JP2998640B2 (en) | 2000-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3106987B2 (en) | Audio / video synchronous playback device | |
JP3215087B2 (en) | Audio and video synchronization method and digital video processor | |
US7342967B2 (en) | System and method for enhancing performance of personal video recording (PVR) functions on hits digital video streams | |
US6031584A (en) | Method for reducing digital video frame frequency while maintaining temporal smoothness | |
US8437408B2 (en) | Decoding with reference image stored in image memory for random playback | |
US7460599B2 (en) | Video decoding device and method, and program product therefor | |
JPH11155132A (en) | Scan converter and method therefor | |
JPH08214265A (en) | Method and device for reproducing encoded data | |
US5903311A (en) | Run level pair buffering for fast variable length decoder circuit | |
US20040105660A1 (en) | Audio video reproduction apparatus, audio video reproduction method, program, and medium | |
JPH09200695A (en) | Method and device for decoding video data for high-speed reproduction | |
US7593463B2 (en) | Video signal coding method and video signal encoder | |
JP2998640B2 (en) | Video playback device | |
JP3034173B2 (en) | Image signal processing device | |
EP2154900A1 (en) | Dynamic image decoding method, dynamic image decoding device, and electronic apparatus | |
JP2001128165A (en) | Device and system for switching video signal | |
JPH11155129A (en) | Mpeg picture reproduction device and mpeg picture reproducing method | |
JP3570785B2 (en) | Moving image expansion / reproduction method and apparatus | |
JPH09182025A (en) | Picture jitter prevention device in video decoder at high speed reproduction | |
JP4867872B2 (en) | Image processing apparatus, control method for the image processing apparatus, and program | |
JP4480971B2 (en) | Optical disk playback device | |
JP3017646B2 (en) | Image decoding device with frame rate conversion function | |
US8149679B2 (en) | Recording/reproducing device and method, recording medium, and program | |
JP2001359048A (en) | Video signal reproducing method | |
JP3165661B2 (en) | Audio synchronized playback device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071105 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081105 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081105 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091105 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091105 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101105 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111105 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111105 Year of fee payment: 12 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111105 Year of fee payment: 12 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111105 Year of fee payment: 12 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121105 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121105 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121105 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131105 Year of fee payment: 14 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |