JP2005192013A - Device and program for decoding compression video data - Google Patents

Device and program for decoding compression video data Download PDF

Info

Publication number
JP2005192013A
JP2005192013A JP2003432275A JP2003432275A JP2005192013A JP 2005192013 A JP2005192013 A JP 2005192013A JP 2003432275 A JP2003432275 A JP 2003432275A JP 2003432275 A JP2003432275 A JP 2003432275A JP 2005192013 A JP2005192013 A JP 2005192013A
Authority
JP
Japan
Prior art keywords
picture
moving image
deletion
unit
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2003432275A
Other languages
Japanese (ja)
Inventor
Masafumi Takahashi
雅史 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2003432275A priority Critical patent/JP2005192013A/en
Publication of JP2005192013A publication Critical patent/JP2005192013A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a device and a program for decoding compression video data capable of reducing throughput in the case of decoding the compression video data by fast forward. <P>SOLUTION: The device for decoding the video data is provided with a user interface in which the compression video data in which video data corresponding to real time is encoded is inputted and which accepts a shortening instruction for outputting the video data by shortening the real time, a structural analysis part 101 which analyzes the compression video data and a picture deletion part 102 which determines an output picture based on the accepted shortening instruction and a predetermined frame rate and deletes compression video data corresponding to pictures except the determined output picture or compression video data corresponding to pictures except the output picture and a reference picture when the output picture has the reference picture. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は圧縮動画データデコード装置および圧縮動画データデコードプログラムに関し、特に、デコード処理の負荷を調整可能な圧縮動画データデコード装置ならびに圧縮動画データデコードプログラムに関する。   The present invention relates to a compressed moving image data decoding apparatus and a compressed moving image data decoding program, and more particularly to a compressed moving image data decoding apparatus and a compressed moving image data decoding program capable of adjusting the load of decoding processing.

近年、デジタル化された動画データは多くの場合、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）（ＭＰＥＧ１、２、４等）形式で圧縮され、記録や伝送が行われている。これらの技術を利用してＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）プレーヤやハードディスクレコーダ等多様な機器が市販されている。これらデジタル化された録画再生機器においても、従来のアナログ型のＶＴＲ（Ｖｉｄｅｏ Ｔａｐｅ Ｒｅｃｏｒｄｅｒ）と同様に、早送り再生や高速巻き戻し再生といった特殊再生の機能が提供されている。   In recent years, digitized moving image data is often compressed in MPEG (Moving Picture Experts Group) (MPEG 1, 2, 4, etc.) format and recorded and transmitted. Various devices such as a DVD (Digital Versatile Disk) player and a hard disk recorder are commercially available using these technologies. These digitized recording / playback devices also provide special playback functions such as fast-forward playback and high-speed rewind playback as in the case of a conventional analog type VTR (Video Tape Recorder).

（第１の特殊再生技術）
第１の特殊再生技術は、デコーダの処理能力を高めてすべてのピクチャをデコードし、デコードされたピクチャから必要なピクチャだけ表示する技術である。特開平７−２７４１１２公報（特許文献１）には、ｍ倍速再生時、圧縮デジタル映像信号がｍ倍のビットレートで伸張処理し、伸張処理したｍ倍のフレーム周波数のデジタル映像信号を出力するデータ伸張手段と、ｍ倍のフレーム周波数のデジタル映像信号からフレーム周波数を１／ｍに変換するフレーム周波数変換手段とを備えたデジタル情報再生装置が記載されている。 (First special regeneration technology)
The first special reproduction technique is a technique for decoding all pictures by increasing the processing capability of the decoder and displaying only necessary pictures from the decoded pictures. Japanese Patent Application Laid-Open No. 7-274112 (Patent Document 1) discloses data for decompressing a compressed digital video signal at an m-times bit rate and outputting a decompressed digital video signal having a frame frequency of m times during reproduction at m times speed. There is described a digital information reproducing apparatus including decompression means and frame frequency conversion means for converting a frame frequency to 1 / m from a digital video signal having an m-fold frame frequency.

（第２の特殊再生技術）
第２の再生技術は、圧縮された状態のままピクチャの間引き処理を行い、間引かれた圧縮データをデコードして表示する技術である。特許文献１には、ｍ倍再生時、ｍ倍のビットレートで再生される圧縮デジタル映像信号の中からフレーム相関の高いフレームの圧縮デジタル映像信号を削除し、圧縮デジタル映像信号中のフレーム数を１／ｍに変換する伝送レート変換手段と、伝送レートを変換した圧縮デジタル映像信号を伸張処理し、デジタル映像信号を出力するデータ伸張手段とを備えたデジタル情報再生装置が記載されている。 (Second special reproduction technology)
The second reproduction technique is a technique for performing picture thinning processing in a compressed state, and decoding and displaying the thinned compressed data. In Patent Document 1, a compressed digital video signal having a high frame correlation is deleted from a compressed digital video signal reproduced at an m-times bit rate during m-times reproduction, and the number of frames in the compressed digital video signal is calculated. There is described a digital information reproducing apparatus comprising transmission rate conversion means for converting to 1 / m and data expansion means for decompressing a compressed digital video signal converted from the transmission rate and outputting a digital video signal.

（第３の特殊再生技術）
第３の再生技術は、予め早送り再生に適した形式の圧縮動画データを生成しておき、早送り再生時にそれを利用する技術である。特開平６−３６５２１公報（特許文献２）には、あらかじめ、通常再生用の圧縮動画データとは別に、早送り再生に適した形式の圧縮動画データを生成して記録しておき、早送り再生時には早送り再生用の圧縮動画データを再生することによって早送り再生を実現する装置が開示されている。
特開平７−２７４１１２号公報 特開平６−３６５２１号公報 (Third special regeneration technology)
The third reproduction technique is a technique in which compressed moving image data in a format suitable for fast-forward reproduction is generated in advance and used during fast-forward reproduction. In JP-A-6-36521 (Patent Document 2), in addition to compressed moving image data for normal playback, compressed moving image data in a format suitable for fast forward playback is generated and recorded in advance, and fast forward is performed during fast forward playback. An apparatus that realizes fast-forward reproduction by reproducing compressed moving image data for reproduction is disclosed.
JP 7-274112 A JP-A-6-36521

しかしながら、従来の第１の特殊再生技術は、デコーダ装置の処理能力を高める必要があり、そのためのコストアップがあるといった問題がある。   However, the conventional first special reproduction technique has a problem that it is necessary to increase the processing capability of the decoder device, and there is an increase in cost.

従来の第２の特殊再生技術は、映像信号が圧縮されたままの状態でピクチャを間引いてデータ量を減らしてデコードするので、デコーダ装置の処理能力を高める必要はない。しかしながら、間引きするピクチャは、一定間隔になるとは限られないため必ずしもフレームレートに対応したものとはならない。このため、早送り再生される画像はコマ送りで再生されたような見づらいものとなってしまうという問題点がある。   In the conventional second special reproduction technique, since the picture is thinned and the data amount is reduced while the video signal is still compressed, the data amount is reduced and decoding is not necessary. However, the picture to be thinned out does not necessarily correspond to the frame rate because it is not always a fixed interval. For this reason, there is a problem that an image that is played back in a fast-forward manner becomes difficult to see as if played back by frame-by-frame.

従来の第３の特殊再生技術は、早送りのための圧縮動画データの記録領域を用意しなければならず、そのためのメモリコストがかさむといった問題がある。また、ＤＶＤ等の記録媒体は、記憶容量に限界があり、圧縮動画データを記録する領域に加えて早送り用の圧縮動画データを記録する領域を確保できない場合があるといった問題がある。さらに、大量に流通している読出し専用のＤＶＤに適用できないといった問題もある。   The conventional third special reproduction technique has a problem that a recording area for compressed moving image data for fast-forwarding has to be prepared, which increases the memory cost. In addition, a recording medium such as a DVD has a limitation in storage capacity, and there is a problem that an area for recording compressed moving picture data for fast-forwarding may not be secured in addition to an area for recording compressed moving picture data. Furthermore, there is a problem that it cannot be applied to a read-only DVD that is distributed in large quantities.

この発明は上述した問題点を解決するためになされたもので、この発明の目的の１つは、圧縮動画データを早送りでデコードする際の処理量を削減することが可能な圧縮動画データデコード装置および圧縮動画データデコードプログラムを提供することである。   The present invention has been made to solve the above-described problems, and one of the objects of the present invention is a compressed moving image data decoding apparatus capable of reducing the processing amount when decoding compressed moving image data by fast-forwarding. And providing a compressed video data decoding program.

この発明の他の目的は、圧縮動画データを早送りでデコードしても動きが滑らかな動画を出力することが可能な圧縮動画データデコード装置および圧縮動画データデコードプログラムを提供することである。   Another object of the present invention is to provide a compressed moving image data decoding apparatus and a compressed moving image data decoding program capable of outputting a moving image with smooth motion even when the compressed moving image data is decoded by fast-forwarding.

この発明のさらに他の目的は、データ量の多い圧縮動画データを実時間に合せてデコードすることが可能な圧縮動画データデコード装置および圧縮動画データデコードプログラムを提供することである。   Still another object of the present invention is to provide a compressed moving image data decoding apparatus and a compressed moving image data decoding program capable of decoding compressed moving image data with a large amount of data in real time.

上述した目的を達成するためにこの発明のある局面によれば、圧縮動画データデコード装置は、実時間に対応した動画データがエンコードされた圧縮動画データを入力する入力手段と、実時間を短縮して動画データを出力する短縮指示を受付ける指示受付手段と、圧縮動画データを解析して、受付けられた短縮指示と予め定められたフレームレートとに基づいて出力ピクチャを決定する出力ピクチャ決定手段と、決定された出力ピクチャを除くピクチャに対応する圧縮動画データ、または該出力ピクチャが参照ピクチャを有する場合には該出力ピクチャと該参照ピクチャとを除くピクチャに対応する圧縮動画データを削除するピクチャ削除手段とを備える。   In order to achieve the above object, according to one aspect of the present invention, a compressed moving image data decoding device includes an input means for inputting compressed moving image data encoded with moving image data corresponding to real time, and shortens the real time. Instruction receiving means for receiving a shortening instruction for outputting moving image data, output picture determining means for analyzing the compressed moving image data and determining an output picture based on the received shortening instruction and a predetermined frame rate; Compressed moving picture data corresponding to a picture excluding the determined output picture, or, if the output picture has a reference picture, a picture deleting means for deleting the compressed moving picture data corresponding to a picture excluding the output picture and the reference picture With.

この発明に従えば、実時間に対応した動画データがエンコードされた圧縮動画データが入力され、実時間を短縮して動画データを出力する短縮指示が受付けられると、圧縮動画データを解析して、受付けられた短縮指示と予め定められたフレームレートとに基づいて出力ピクチャを決定し、決定された出力ピクチャを除くピクチャに対応する圧縮動画データ、または該出力ピクチャが参照ピクチャを有する場合には該出力ピクチャと該参照ピクチャとを除くピクチャに対応する圧縮動画データを削除する。短縮指示と予め定められたフレームレートとに基づいて決定された出力ピクチャと、その出力ピクチャが参照ピクチャを有する場合にはその参照ピクチャとを除くピクチャの圧縮動画データがデコードされない。このため、圧縮動画データを通常の速度でデコードするのとほぼ同等の負荷で早送りでデコードすることができる。その結果、圧縮動画データを早送りでデコードする際の処理量を削減することが可能な圧縮動画データデコード装置を提供することができる。また、早送りでデコードされたピクチャは、短縮指示と予め定められたフレームレートとに基づいて決定された出力ピクチャなので、動きが滑らかな動画が再生される。このため、圧縮動画データを早送りでデコードしても動きが滑らかな動画を出力することが可能な圧縮動画データデコード装置を提供することができる。   According to the present invention, compressed moving image data encoded with moving image data corresponding to real time is input, and when a shortening instruction for outputting moving image data by reducing the real time is received, the compressed moving image data is analyzed, An output picture is determined based on the received shortening instruction and a predetermined frame rate, and compressed video data corresponding to a picture excluding the determined output picture, or if the output picture has a reference picture, The compressed moving image data corresponding to the picture excluding the output picture and the reference picture is deleted. The compressed moving image data of a picture other than the output picture determined based on the shortening instruction and a predetermined frame rate and the reference picture when the output picture has a reference picture are not decoded. For this reason, it is possible to decode the compressed moving image data by fast-forwarding with almost the same load as when decoding at a normal speed. As a result, it is possible to provide a compressed moving image data decoding device capable of reducing the processing amount when decoding compressed moving image data by fast-forwarding. Further, since the picture decoded by fast-forwarding is an output picture determined based on the shortening instruction and a predetermined frame rate, a moving image with smooth motion is reproduced. Therefore, it is possible to provide a compressed moving image data decoding device capable of outputting a moving image with smooth motion even when the compressed moving image data is decoded by fast-forwarding.

好ましくは、ピクチャ削除手段により一部のピクチャが削除された圧縮動画像データをデコードするデコード手段と、デコード手段の負荷を検出する負荷検出手段と、予め定められたフレームレートにより定まるタイミングで、デコードされた出力ピクチャまたは参照ピクチャを出力する出力手段とをさらに備え、ピクチャ削除手段は、負荷が第１のレベルを超えた場合に、出力ピクチャが参照ピクチャを有することを条件に、該出力ピクチャに対応する圧縮動画像データをさらに削除し、出力手段は、ピクチャ削除手段により削除された出力ピクチャに代えて該出力ピクチャの参照ピクチャを出力する。   Preferably, the decoding means for decoding the compressed video data from which some pictures have been deleted by the picture deletion means, the load detection means for detecting the load on the decoding means, and the decoding at a timing determined by a predetermined frame rate Output means for outputting the output picture or the reference picture that has been output, and the picture deletion means is provided on the output picture on the condition that the output picture has a reference picture when the load exceeds the first level. The corresponding compressed moving image data is further deleted, and the output means outputs a reference picture of the output picture instead of the output picture deleted by the picture deletion means.

この発明に従えば、デコード手段の負荷が第１のレベルを超えた場合に、出力ピクチャが参照ピクチャを有することを条件に、その出力ピクチャに対応する圧縮動画データをデコードすることなく参照ピクチャに対応する圧縮動画データをデコードする。参照ピクチャは出力ピクチャに類似するので、出力ピクチャに代えて参照ピクチャを用いても画像の揺らぎは少ない。また、出力ピクチャをデコードしないので、デコード処理の負荷を低減することができる。このため、画像の揺らぎを抑えつつ、デコード処理の負荷を低減することができる。   According to the present invention, when the load on the decoding means exceeds the first level, the compressed moving picture data corresponding to the output picture is converted into the reference picture without decoding on the condition that the output picture has the reference picture. Decode the corresponding compressed video data. Since the reference picture is similar to the output picture, even if the reference picture is used instead of the output picture, the image fluctuation is small. In addition, since the output picture is not decoded, the load of decoding processing can be reduced. For this reason, it is possible to reduce the load of the decoding process while suppressing the fluctuation of the image.

好ましくは、出力ピクチャ決定手段は、負荷が第１のレベルより大きい第２のレベルを超えた場合には、受付けられた短縮指示と予め定められたフレームレートよりも低いフレームレートに基づき出力ピクチャを決定する。   Preferably, the output picture determining means selects the output picture based on the received shortening instruction and a frame rate lower than a predetermined frame rate when the load exceeds a second level greater than the first level. decide.

この発明に従えば、負荷が第１のレベルより大きい第２のレベルを超えた場合には、短縮指示と予め定められたフレームレートよりも低いフレームレートとに基づき出力ピクチャを決定する。このため、フレームレートが低くなるので出力ピクチャの数が少なくなる。その結果、デコードする圧縮動画データのデータ量が少なくなるので、デコード処理の負荷をさらに低減することができる。   According to the present invention, when the load exceeds a second level that is greater than the first level, an output picture is determined based on a shortening instruction and a frame rate that is lower than a predetermined frame rate. For this reason, since the frame rate is lowered, the number of output pictures is reduced. As a result, the amount of compressed moving image data to be decoded is reduced, so that the load of decoding processing can be further reduced.

この発明の他の局面によれば、圧縮動画データデコード装置は、実時間に対応した動画データがエンコードされた圧縮動画データを入力する入力手段と、圧縮動画データの一部を削除する削除手段と、圧縮動画データをデコードするデコード手段と、デコード手段の負荷を検出する負荷検出手段と、検出された負荷に応じて削除手段により削除するデータ量を制御する制御部とを備える。   According to another aspect of the present invention, the compressed moving image data decoding apparatus includes an input unit that inputs compressed moving image data in which moving image data corresponding to real time is encoded, and a deleting unit that deletes a part of the compressed moving image data. A decoding unit that decodes the compressed moving image data, a load detection unit that detects a load on the decoding unit, and a control unit that controls the amount of data to be deleted by the deletion unit according to the detected load.

この発明に従えば、実時間に対応した動画データがエンコードされた圧縮動画データが入力され、圧縮動画データの一部を削除し、圧縮動画データをデコードする。デコード手段の負荷に応じて削除手段により削除するデータ量を制御する。このため、デコード手段の処理能力に合せて負荷が調整されるので、データ量の多い圧縮動画データを実時間に合せてデコードすることが可能な圧縮動画データデコード装置を提供することができる。   According to the present invention, compressed moving image data encoded with moving image data corresponding to real time is input, a part of the compressed moving image data is deleted, and the compressed moving image data is decoded. The amount of data to be deleted by the deletion unit is controlled according to the load on the decoding unit. For this reason, since the load is adjusted according to the processing capability of the decoding means, it is possible to provide a compressed moving image data decoding apparatus capable of decoding compressed moving image data having a large amount of data in accordance with real time.

好ましくは、削除手段は、解像度を低下させるために圧縮動画データの輝度ブロックの一部を削除する解像度変換手段を含み、解像度変換手段は、デコード手段の負荷が大きいほど削除するデータ量を多くする解像度レベル変更手段を含む。   Preferably, the deleting unit includes a resolution converting unit that deletes a part of the luminance block of the compressed moving image data in order to reduce the resolution, and the resolution converting unit increases the amount of data to be deleted as the load on the decoding unit increases. A resolution level changing unit is included.

この発明に従えば、デコード手段の負荷が大きいほど削除するデータ量を多くするので、デコード手段の処理能力に合せて圧縮動画データのデータ量を調整することができる。   According to the present invention, the larger the load on the decoding means, the larger the data amount to be deleted. Therefore, the data amount of the compressed moving image data can be adjusted in accordance with the processing capability of the decoding means.

好ましくは、解像度変更手段は、圧縮動画データの解像度が高いほど削除可能なデータ量の限界を大きな限界量に決定する限界量決定手段を含む。   Preferably, the resolution changing unit includes a limit amount determining unit that determines the limit of the data amount that can be deleted as a larger limit amount as the resolution of the compressed moving image data is higher.

この発明に従えば、圧縮動画データの解像度が低い場合には限界量を低くするので、解像度をある値に維持することができ、画質が低下するのを防止することができる。   According to the present invention, when the resolution of the compressed moving image data is low, the limit amount is lowered, so that the resolution can be maintained at a certain value, and deterioration of the image quality can be prevented.

好ましくは、予め定められたフレームレートにより定まるタイミングで、デコードされた出力ピクチャまたは参照ピクチャを出力する出力手段をさらに備え、削除手段は、圧縮動画データを解析して、予め定められたフレームレートに基づいて出力ピクチャを決定する出力ピクチャ決定手段と、負荷が第１のレベルを超えたことを条件に、参照ピクチャを有する出力ピクチャに対応する圧縮動画像データを削除するピクチャ削除手段とをさらに含み、出力手段は、ピクチャ削除手段により削除された出力ピクチャに代えて参照ピクチャを出力する。   Preferably, it further comprises output means for outputting a decoded output picture or reference picture at a timing determined by a predetermined frame rate, and the deleting means analyzes the compressed moving image data to obtain a predetermined frame rate. An output picture determining unit that determines an output picture based on the output picture, and a picture deleting unit that deletes the compressed video data corresponding to the output picture having the reference picture, on condition that the load exceeds the first level. The output means outputs a reference picture instead of the output picture deleted by the picture deletion means.

この発明に従えば、参照ピクチャは出力ピクチャに類似するので、出力ピクチャに代えて参照ピクチャを用いても画像の揺らぎは少ない。また、出力ピクチャをデコードしないので、デコード処理の負荷を低減することができる。このため、画像の揺らぎを抑えつつ、デコード処理の負荷を低減することができる。   According to the present invention, since the reference picture is similar to the output picture, the fluctuation of the image is small even if the reference picture is used instead of the output picture. In addition, since the output picture is not decoded, the load of decoding processing can be reduced. For this reason, it is possible to reduce the load of the decoding process while suppressing the fluctuation of the image.

好ましくは、出力ピクチャ決定手段は、解像度変換手段による削除可能なデータ量が限界量に達したことをさらに条件として、予め定められたフレームレートよりも低いフレームレートに基づき出力ピクチャを決定する。   Preferably, the output picture determining means determines an output picture based on a frame rate lower than a predetermined frame rate, on the condition that the amount of data that can be deleted by the resolution converting means has reached a limit amount.

この発明に従えば、フレームレートが低くなるので出力ピクチャの数が少なくなる。その結果、デコードする圧縮動画データのデータ量が少なくなるので、デコード処理の負荷をさらに低減することができる。   According to the present invention, since the frame rate is lowered, the number of output pictures is reduced. As a result, the amount of compressed moving image data to be decoded is reduced, so that the load of decoding processing can be further reduced.

好ましくは、実時間を短縮して動画データを出力する短縮指示を受付ける指示受付手段をさらに備え、出力ピクチャ決定手段は、圧縮動画データを解析して、受付けられた短縮指示と予め定められたフレームレートとに基づいて出力ピクチャを決定する。   Preferably, the apparatus further includes an instruction receiving unit that receives a shortening instruction for reducing the real time and outputting the moving image data, and the output picture determining unit analyzes the compressed moving image data and receives the received shortening instruction and a predetermined frame. The output picture is determined based on the rate.

この発明に従えば、短縮指示と予め定められたフレームレートとに基づいて決定された出力ピクチャと、その出力ピクチャが参照ピクチャを有する場合にはその参照ピクチャとを除くピクチャの圧縮動画データがデコードされない。このため、圧縮動画データを通常の速度でデコードするのとほぼ同等の負荷で早送りでデコードすることができる。また、早送りでデコードされたピクチャは、短縮指示と予め定められたフレームレートとに基づいて決定された出力ピクチャなので、動きが滑らかな動画が再生可能となる。   According to the present invention, the compressed moving image data of a picture excluding the output picture determined based on the shortening instruction and a predetermined frame rate and the reference picture if the output picture has a reference picture is decoded. Not. For this reason, it is possible to decode the compressed moving image data by fast-forwarding with almost the same load as when decoding at a normal speed. In addition, since the picture decoded by fast-forwarding is an output picture determined based on the shortening instruction and a predetermined frame rate, a moving image with smooth motion can be reproduced.

好ましくは、削除手段は、圧縮動画データのうち処理対象ピクチャの色差ブロックを処理対象ピクチャと所定の時間的距離内にあるより前のピクチャの色差ブロックに置換える色ブロック置換手段を含み、色ブロック置換手段は、デコード手段の負荷が大きいほど所定の時間的距離を長くするブロック置換レベル変更手段を含む。   Preferably, the deleting unit includes a color block replacing unit that replaces the color difference block of the processing target picture in the compressed moving image data with the color difference block of the previous picture within the predetermined time distance from the processing target picture. The replacement means includes block replacement level changing means for increasing the predetermined time distance as the load on the decoding means increases.

この発明に従えば、圧縮動画データのうち処理対象ピクチャの色差ブロックを処理対象ピクチャと所定の時間的距離内にあるより前のピクチャの色差ブロックに置換える。デコード手段の負荷が大きいほど所定の時間的距離を長くする。このため、置換えられた色ブロックに対応する圧縮動画データをデコードしないので、デコード処理の負荷を低減することができる。また、色差ブロックは、類似する色差ブロックに置換えられるので、再生される画像に与える影響を小さくすることができる。   According to the present invention, the color difference block of the processing target picture in the compressed moving image data is replaced with the color difference block of the previous picture within a predetermined time distance from the processing target picture. The larger the load on the decoding means, the longer the predetermined time distance. For this reason, since the compressed moving image data corresponding to the replaced color block is not decoded, the load of the decoding process can be reduced. In addition, since the color difference block is replaced with a similar color difference block, the influence on the reproduced image can be reduced.

好ましくは、予め定められたフレームレートにより定まるタイミングで、デコードされた出力ピクチャまたは参照ピクチャを出力する出力手段をさらに備え、削除手段は、圧縮動画データを解析して、予め定められたフレームレートに基づいて出力ピクチャを決定する出力ピクチャ決定手段と、負荷が第１のレベルを超えたことを条件に、参照ピクチャを有する出力ピクチャに対応する圧縮動画像データを削除するピクチャ削除手段とをさらに含み、出力手段は、ピクチャ削除手段により削除された出力ピクチャに代えて参照ピクチャを出力する。   Preferably, it further comprises output means for outputting a decoded output picture or reference picture at a timing determined by a predetermined frame rate, and the deleting means analyzes the compressed moving image data to obtain a predetermined frame rate. An output picture determining unit that determines an output picture based on the output picture, and a picture deleting unit that deletes the compressed video data corresponding to the output picture having the reference picture, on condition that the load exceeds the first level. The output means outputs a reference picture instead of the output picture deleted by the picture deletion means.

この発明に従えば、参照ピクチャは出力ピクチャに類似するので、出力ピクチャに代えて参照ピクチャを用いることで画像の揺らぎは少なくすることができる。また、出力ピクチャをデコードしないので、デコード処理の負荷を低減することができる。このため、画像の揺らぎを抑えつつ、デコード処理の負荷を低減することができる。   According to the present invention, since the reference picture is similar to the output picture, image fluctuation can be reduced by using the reference picture instead of the output picture. In addition, since the output picture is not decoded, the load of decoding processing can be reduced. For this reason, it is possible to reduce the load of the decoding process while suppressing the fluctuation of the image.

好ましくは、実時間を短縮して動画データを出力する短縮指示を受付ける指示受付手段をさらに備え、出力ピクチャ決定手段は、圧縮動画データを解析して、受付けられた短縮指示と予め定められたフレームレートとに基づいて出力ピクチャを決定する。   Preferably, the apparatus further includes an instruction receiving unit that receives a shortening instruction for reducing the real time and outputting the moving image data, and the output picture determining unit analyzes the compressed moving image data and receives the received shortening instruction and a predetermined frame. The output picture is determined based on the rate.

この発明に従えば、短縮指示と予め定められたフレームレートとに基づいて決定された出力ピクチャと、その出力ピクチャが参照ピクチャを有する場合にはその参照ピクチャとを除くピクチャの圧縮動画データがデコードされない。このため、圧縮動画データを通常の速度でデコードするのとほぼ同等の負荷で早送りでデコードすることができる。また、早送りでデコードされたピクチャは、短縮指示と予め定められたフレームレートとに基づいて決定された出力ピクチャなので、動きが滑らかな動画が再生可能となる。   According to the present invention, the compressed moving image data of a picture excluding the output picture determined based on the shortening instruction and a predetermined frame rate and the reference picture if the output picture has a reference picture is decoded. Not. For this reason, it is possible to decode the compressed moving image data by fast-forwarding with almost the same load as when decoding at a normal speed. In addition, since the picture decoded by fast-forwarding is an output picture determined based on the shortening instruction and a predetermined frame rate, a moving image with smooth motion can be reproduced.

好ましくは、色ブロック置換手段は、指示受付手段により受付けられた短縮指示の短縮率が大きいほど所定の時間的距離の限界距離を長い値に決定する限界距離決定手段を含む。   Preferably, the color block replacing unit includes a limit distance determining unit that determines the limit distance of the predetermined temporal distance to a longer value as the shortening rate of the shortening instruction received by the instruction receiving unit is larger.

この発明に従えば、実時間を短縮して動画データを出力する短縮指示の短縮率が大きいほど所定の時間的距離の限界距離を長い値に決定するので、デコードしない色ブロックの数が増える。このため、デコード処理の負荷をより低減することができる。   According to the present invention, as the shortening rate of the shortening instruction for outputting moving image data by shortening the real time is larger, the limit distance of the predetermined temporal distance is determined to be a longer value, so that the number of color blocks that are not decoded increases. For this reason, the load of the decoding process can be further reduced.

好ましくは、出力ピクチャ決定手段は、ブロック置換レベル変更手段により所定の時間的距離が限界距離に達したことをさらに条件として、予め定められたフレームレートよりも低いフレームレートに基づき出力ピクチャを決定する。   Preferably, the output picture determining means determines an output picture based on a frame rate lower than a predetermined frame rate, on the condition that a predetermined temporal distance has reached a limit distance by the block replacement level changing means. .

この発明に従えば、フレームレートが低くなるので出力ピクチャの数が少なくなる。その結果、デコードする圧縮動画データのデータ量が少なくなるので、デコード処理の負荷をさらに低減することができる。   According to the present invention, since the frame rate is lowered, the number of output pictures is reduced. As a result, the amount of compressed moving image data to be decoded is reduced, so that the load of decoding processing can be further reduced.

好ましくは、削除手段により削除するデータの量を決定するためのパラメータを取得する取得手段をさらに備え、制御手段は、取得されたパラメータを用いて削除手段により削除するデータ量を制御する。   Preferably, an acquisition unit that acquires a parameter for determining an amount of data to be deleted by the deletion unit is further provided, and the control unit controls the amount of data to be deleted by the deletion unit using the acquired parameter.

この発明に従えば、取得されたパラメータを用いて削除するデータ量が制御されるので、パラメータを変更すことにより削除するデータ量を変更することができる。このため、圧縮動画像によって削除するデータ量を異ならせることができる。   According to the present invention, since the amount of data to be deleted is controlled using the acquired parameter, the amount of data to be deleted can be changed by changing the parameter. Therefore, the amount of data to be deleted can be varied depending on the compressed moving image.

この発明のさらに他の局面によれば、圧縮動画データデコードプログラムは、実時間に対応した動画データがエンコードされた圧縮動画データを入力するステップと、実時間を短縮して動画データを出力する短縮指示を受付けるステップと、圧縮動画データを解析して、受付けられた短縮指示と予め定められたフレームレートとに基づいて出力ピクチャを決定するステップと、決定された出力ピクチャを除くピクチャに対応する圧縮動画データ、または、該出力ピクチャが参照ピクチャを有する場合には該出力ピクチャと該参照ピクチャとを除くピクチャに対応する圧縮動画データを削除するステップとをコンピュータに実行させる。   According to still another aspect of the present invention, a compressed moving image data decoding program includes a step of inputting compressed moving image data encoded with moving image data corresponding to real time, and a shortening of outputting moving image data by reducing real time. Receiving an instruction; analyzing the compressed moving image data; determining an output picture based on the received shortening instruction and a predetermined frame rate; and compression corresponding to a picture excluding the determined output picture Causing the computer to execute moving image data or, if the output picture has a reference picture, deleting compressed moving image data corresponding to a picture excluding the output picture and the reference picture.

この発明に従えば、圧縮動画データを通常の速度でデコードするのとほぼ同等の負荷で早送りでデコードすることができる。その結果、圧縮動画データを早送りでデコードする際の処理量を削減することが可能な圧縮動画データデコードプログラムを提供することができる。また、早送りでデコードされたピクチャは、短縮指示と予め定められたフレームレートとに基づいて決定された出力ピクチャなので、動きが滑らかな動画が再生される。このため、圧縮動画データを早送りでデコードしても動きが滑らかな動画を出力することが可能な圧縮動画データデコードプログラムを提供することができる。   According to the present invention, it is possible to decode the compressed moving image data by fast-forwarding with almost the same load as when decoding at a normal speed. As a result, it is possible to provide a compressed moving image data decoding program capable of reducing the processing amount when decoding compressed moving image data by fast-forwarding. Further, since the picture decoded by fast-forwarding is an output picture determined based on the shortening instruction and a predetermined frame rate, a moving image with smooth motion is reproduced. Therefore, it is possible to provide a compressed moving image data decoding program that can output a moving image with smooth motion even if the compressed moving image data is decoded by fast-forwarding.

この発明のさらに他の局面によれば、圧縮動画データデコードプログラムは、実時間に対応した動画データがエンコードされた圧縮動画データを入力するステップと、圧縮動画データの一部を削除するステップと、圧縮動画データをデコードするステップと、デコードステップが実行されるコンピュータの負荷を検出するステップと、検出された負荷に応じて削除ステップにより削除するデータ量を制御するステップとをコンピュータに実行させる。   According to still another aspect of the present invention, a compressed moving image data decoding program inputs compressed moving image data encoded with moving image data corresponding to real time, a step of deleting a part of the compressed moving image data, The computer is caused to execute a step of decoding the compressed moving image data, a step of detecting a load of the computer on which the decoding step is executed, and a step of controlling the amount of data to be deleted by the deletion step according to the detected load.

この発明に従えば、デコードを実行するコンピュータの負荷に応じて削除するデータ量を制御する。このため、コンピュータの処理能力に合せて負荷が調整されるので、データ量の多い圧縮動画データを実時間に合せてコンピュータにデコードさせることが可能な圧縮動画データデコードプログラムを提供することができる。   According to the present invention, the amount of data to be deleted is controlled in accordance with the load on the computer that performs decoding. For this reason, since the load is adjusted according to the processing capability of the computer, it is possible to provide a compressed moving image data decoding program capable of causing a computer to decode compressed moving image data having a large amount of data in real time.

以下、本発明の実施の形態について図面を用いて説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。本実施の形態における動画再生装置は、ＭＰＥＧ２で符号化された圧縮動画データをデコードする例を説明するが、圧縮方式はこれに限定されることなくＭＰＥＧ２以外の圧縮方式を用いるようにしてもよい。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following description, the same parts are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated. The moving picture reproducing apparatus in the present embodiment will explain an example of decoding compressed moving picture data encoded in MPEG2, but the compression method is not limited to this, and a compression method other than MPEG2 may be used. .

＜第1の実施の形態＞
図１は、本発明の第１の実施の形態における動画再生装置の概略構成を示すブロック図である。図１を参照して、動画再生装置１は、ＭＰＥＧ形式で圧縮された動画データを記録するハードディスク装置１０と、ハードディスク装置１０を制御して適切なビットレートで圧縮動画データを読み出すための読出制御装置１１と、圧縮動画データをデコードして展開された画像に変換する動画デコード装置１２と、展開された画像を適切な信号形式に変換して表示装置２に送出するビデオ信号発生装置１３と、ユーザが動画再生装置１を操作するためのキーボードなどのユーザインタフェース１４とを含む。 <First embodiment>
FIG. 1 is a block diagram showing a schematic configuration of a moving image playback apparatus according to the first embodiment of the present invention. Referring to FIG. 1, a moving image playback apparatus 1 includes a hard disk device 10 that records moving image data compressed in MPEG format, and a read control for reading the compressed moving image data at an appropriate bit rate by controlling the hard disk device 10. An apparatus 11, a moving picture decoding apparatus 12 that decodes compressed moving picture data and converts it into a developed image, a video signal generating apparatus 13 that converts the developed image into an appropriate signal format and sends it to the display apparatus 2, And a user interface 14 such as a keyboard for the user to operate the moving image playback apparatus 1.

ユーザインタフェース１４からは、ユーザによる再生速度の指示の入力が受付けられる。再生速度の指示とは、実時間を短縮して動画データを出力する指示である。再生速度がｍ倍速再生とは、ｍ個のピクチャ間隔でピクチャを取出して再生することをいう。   From the user interface 14, an input of a playback speed instruction by the user is accepted. The reproduction speed instruction is an instruction to shorten the real time and output moving image data. Playback with a playback speed of m times speed means that pictures are taken out at intervals of m pictures and played back.

ビデオ信号発生装置１３は、展開された画像を表示装置２に適した解像度に拡大または縮小する処理を行うこともある。   The video signal generator 13 may perform processing for enlarging or reducing the developed image to a resolution suitable for the display device 2.

本実施の形態における動画再生装置１において、平均ビットレートＲ（ビット／秒）の圧縮動画データを通常再生（１倍速再生）する場合の処理の流れを説明する。読出制御装置１１は、通常速度での再生時にハードディスク装置１０からビットレートＲで圧縮動画データを読出すように動画デコード装置１２を制御する。動画デコード装置１２は読出したビットレートＲの圧縮動画データをデコードし、フレームレートＦ（フレーム／秒）で後述するメモリ部１０８（図４参照）に画像を展開する。   A description will be given of the flow of processing in the case of normal playback (single-speed playback) of compressed video data with an average bit rate R (bits / second) in the video playback device 1 in the present embodiment. The reading control device 11 controls the moving image decoding device 12 so as to read the compressed moving image data at the bit rate R from the hard disk device 10 during reproduction at the normal speed. The moving picture decoding device 12 decodes the read compressed moving picture data of the bit rate R and develops an image in a memory unit 108 (see FIG. 4) described later at a frame rate F (frame / second).

ビデオ信号発生装置１３は、メモリ装置に展開された画像を液晶やブラウン管といった表示装置２に適した信号形式に変換して出力する。通常、表示装置２の表示は一定のリフレッシュレートｆで更新されるため、フレームレートＦの画像は、リフレッシュレートｆになるよう、間引きもしくは補完が行われる。一般的には、フレームレートＦとリフレッシュレートｆの値は同じかあるいは近い値であるためハードディスク装置１０から読出された圧縮動画データはほぼすべてが表示装置２から出力される。   The video signal generator 13 converts the image developed in the memory device into a signal format suitable for the display device 2 such as a liquid crystal or a cathode ray tube and outputs the signal format. Usually, since the display of the display device 2 is updated at a constant refresh rate f, the image at the frame rate F is thinned out or complemented so as to have the refresh rate f. Generally, since the frame rate F and the refresh rate f are the same or close to each other, almost all of the compressed moving image data read from the hard disk device 10 is output from the display device 2.

なお、動画再生装置１は、入力されたビデオ信号をＭＰＥＧ形式で圧縮するための動画エンコード装置、再生状況をはじめとする各種情報を表示するための情報表示装置等を備えるが、これらは周知であるのでここでは説明を繰り返さない。   The moving image playback apparatus 1 includes a moving image encoding device for compressing an input video signal in the MPEG format, an information display device for displaying various information including a playback status, and the like. The explanation is not repeated here.

ここで、ＭＰＥＧ２方式で圧縮された圧縮動画データの構造を説明する。圧縮動画像データは、ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）、ピクチャ、スライス、マクロブロック、ブロックに階層化された構造を有する。図２は、ＭＰＥＧ２方式で圧縮された圧縮動画データのピクチャの並びを示す図である。図２を参照して、弓状の矢印はピクチャの依存関係を示している。ピクチャ内符号化画面（以下「Ｉピクチャ」という）はそれ自身で完結している。ピクチャ間予測符号化画面（以下「Ｐピクチャ」という）は先行するＩピクチャとの差分情報を持っており、Ｉピクチャを元にして画面が復元される。この元になるＩピクチャは参照ピクチャと呼ぶ。双方向予測符号化画面（以下「Ｂピクチャ」という）は前後のＩもしくはＰピクチャとの差分情報を持っており、これら前後の画面を元にして画面が復元される。これら元になるＩもしくはＰピクチャを参照ピクチャと呼ぶ。   Here, the structure of compressed moving image data compressed by the MPEG2 system will be described. The compressed moving image data has a structure hierarchized into GOP (Group of Pictures), pictures, slices, macroblocks, and blocks. FIG. 2 is a diagram showing a sequence of pictures of compressed moving image data compressed by the MPEG2 system. Referring to FIG. 2, arcuate arrows indicate picture dependency relationships. The intra-picture coding screen (hereinafter referred to as “I picture”) is completed by itself. The inter-picture predictive encoding screen (hereinafter referred to as “P picture”) has difference information from the preceding I picture, and the screen is restored based on the I picture. This original I picture is called a reference picture. The bi-directional predictive coding screen (hereinafter referred to as “B picture”) has difference information from the preceding and following I or P pictures, and the screen is restored based on these preceding and following screens. These original I or P pictures are called reference pictures.

これらＩ，Ｐ，Ｂピクチャの出現割合は必ずしも固定されておらず、画面の動きによりエンコード時に調整されることもありうる。また、情報量としてはＩピクチャが最も多く、Ｐピクチャ、Ｂピクチャの順で少なくなり、デコード時の演算量もこの順序に従う。   The appearance ratio of these I, P, and B pictures is not necessarily fixed, and may be adjusted at the time of encoding by the movement of the screen. In addition, the amount of information is the largest for I pictures and decreases in the order of P pictures and B pictures, and the amount of calculation at the time of decoding also follows this order.

デコードに必要な演算量は、Ｂピクチャに比べてＩピクチャ、Ｐピクチャの方が大きいため、例えば、Ｂピクチャだけを削除してピクチャ数を１／ｎにしたとしても演算量が１／ｎにはならない。このため、通常再生時に近い演算量でｍ倍速再生を実現するためには、表示されるピクチャの数を１／ｍよりも小さくする必要があり、この場合にはコマ送り様の表示となってしまう。   The amount of calculation required for decoding is larger for I and P pictures than for B pictures. For example, even if only B pictures are deleted and the number of pictures is reduced to 1 / n, the amount of calculations is reduced to 1 / n. Must not. For this reason, in order to realize m-times speed playback with a calculation amount close to that during normal playback, the number of pictures to be displayed needs to be smaller than 1 / m. In this case, frame-by-frame display is performed. End up.

図３は、ピクチャ、スライス、マクロブロック、ブロックの階層構造を説明するための図である。図３を参照して、ピクチャは、複数のスライスからなる。スライスは、複数のマクロブロックからなる。さらに、マクロブロックは、４つの輝度ブロック（Ｙ１〜Ｙ４）と、２つの色差ブロック（Ｃｂ，Ｃｒ）からなる。   FIG. 3 is a diagram for explaining the hierarchical structure of pictures, slices, macroblocks, and blocks. Referring to FIG. 3, a picture is composed of a plurality of slices. A slice is composed of a plurality of macroblocks. Further, the macro block includes four luminance blocks (Y1 to Y4) and two color difference blocks (Cb, Cr).

図４は、本実施の形態における動画デコード装置１２の概略構成を示すブロック図である。動画デコード装置１２は、連続した圧縮動画データの構造を解析する構造解析部１０１と、重要度の低いピクチャを選択して削除するピクチャ削除部１０２と、重要度の低いブロックを選択して削除するブロック削除部１０３と、各ピクチャの可変長符号の展開と逆量子化とを行ってＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）係数を出力する可変長符号展開部１０４と、重要度の低いＤＣＴ係数を選択して削除するＤＣＴ係数削除部１０５と、逆ＤＣＴ演算を行ってブロックを出力する逆ＤＣＴ演算部１０６と、動き保証処理を行って最終的なデコード結果である画像を出力する動き保証部１０７と、デコード処理中およびその前後のピクチャの画像を格納するメモリ部１０８と、デコード処理の負荷状態に適した削除レベルを決定し、それぞれの削除部に指示する負荷制御部１０９と、パラメータを記憶するパラメータ記憶部１２０と、パラメータ記憶部に記憶されたパラメータを選択するパラメータ選択部１２１とを含む。   FIG. 4 is a block diagram showing a schematic configuration of the moving picture decoding apparatus 12 in the present embodiment. The video decoding device 12 selects a structure analysis unit 101 that analyzes a structure of continuous compressed video data, a picture deletion unit 102 that selects and deletes a less important picture, and selects and deletes a less important block. A block deletion unit 103, a variable length code expansion unit 104 that outputs a DCT (Discrete Cosine Transform) coefficient by performing expansion and inverse quantization of the variable length code of each picture, and selecting a DCT coefficient having a low importance. A DCT coefficient deletion unit 105 to be deleted, an inverse DCT calculation unit 106 that performs inverse DCT calculation and outputs a block, a motion assurance unit 107 that performs motion guarantee processing and outputs an image as a final decoding result, and a decoding A memory unit 108 for storing images of pictures being processed and before and after that, and deletion suitable for the load state of decoding processing A load control unit 109 that determines a level and instructs each deletion unit, a parameter storage unit 120 that stores parameters, and a parameter selection unit 121 that selects parameters stored in the parameter storage unit are included.

パラメータ記憶部１２０は、ピクチャ削除部１０２、ブロック削除部１０３およびＤＣＴ係数削除部１０５において削除するデータを決定するために用いられるパラメータを記憶する。このパラメータについては後で詳細に説明する。パラメータ記憶部１２０は、複数の組のパラメータを記憶することが可能である。複数の組は、動画データの特性、たとえば動きの速い動画と動きの遅い動画とで異なるパラメータを記憶する。   The parameter storage unit 120 stores parameters used for determining data to be deleted in the picture deletion unit 102, the block deletion unit 103, and the DCT coefficient deletion unit 105. This parameter will be described later in detail. The parameter storage unit 120 can store a plurality of sets of parameters. The plurality of sets store different parameters for the characteristics of moving image data, for example, a moving image having a fast motion and a moving image having a slow motion.

パラメータ選択部１２１は、ユーザからの指示に基づいて、パラメータ記憶部１２０に記憶されているパラメータの組から所望のパラメータを選択し、負荷制御部１０９に出力する。なお、ここでは、負荷制御部１０９に入力されるパラメータは、パラメータ記憶部１２０に記憶されている例を示すが、パラメータが圧縮動画データの一部に含まれる場合にはそのパラメータを抽出して負荷制御部１０９に入力されるようにしてもよいし、圧縮動画データとは別のそれと関連付けられたメタデータに含まれる場合にはそのパラメータが負荷制御部１０９に入力されるようにしてもよい。同様に、パラメータの選択もユーザの指示以外に、動画データの一部に含まれているデータやメタデータに基づいて行ってもよい。   The parameter selection unit 121 selects a desired parameter from a set of parameters stored in the parameter storage unit 120 based on an instruction from the user, and outputs the selected parameter to the load control unit 109. In this example, the parameter input to the load control unit 109 is stored in the parameter storage unit 120. However, if the parameter is included in a part of the compressed moving image data, the parameter is extracted. The parameter may be input to the load control unit 109, or the parameter may be input to the load control unit 109 when included in the metadata associated with the compressed moving image data. . Similarly, the parameter may be selected based on data or metadata included in a part of the moving image data in addition to the user instruction.

パラメータ記憶部１２０に記憶されるパラメータは圧縮動画データの一部に含まれるパラメータを更新するための所定のデータにより更新される。また、パラメータは、圧縮動画データとともに受信されるメタデータに含まれる。さらに、パラメータ記憶部１２０は、複数の組のパラメータを記憶しており、パラメータ選択部１２１は、複数の組のパラメータのいずれか１つを選択する。このパラメータ選択部１２１は、入力された圧縮動画データの種類に応じて複数の組のパラメータの中から選択する。   The parameters stored in the parameter storage unit 120 are updated with predetermined data for updating parameters included in a part of the compressed moving image data. The parameter is included in metadata received together with the compressed moving image data. Further, the parameter storage unit 120 stores a plurality of sets of parameters, and the parameter selection unit 121 selects any one of the plurality of sets of parameters. The parameter selection unit 121 selects from a plurality of sets of parameters according to the type of input compressed moving image data.

構造解析部１０１は、圧縮動画像データが入力され、入力された圧縮動画像データの構造を解析する。デコード処理において、構造解析部１０１は後述する削除処理が行われる以前に圧縮動画像データを処理するので、再生速度が高速なほど処理量が増加する。このため、構造解析部１０１は十分な処理能力を有することが望ましい。また、構造解析部１０１は、入力される圧縮動画データが書込み可能な記録媒体、たとえばハードディスク装置１０に記録されている場合には、デコード処理が実行される以前に予め圧縮動画データを解析をしておき、解析結果を圧縮動画データとは別の領域に記録するようにするようにしてもよい。この場合には構造解析部は、通常の再生速度に対応できる処理能力があれば十分である。また、解析結果を格納するためにハードディスク装置１０内に確保される追加の記録領域は、早送り専用の圧縮動画データを予め生成して記憶しておく場合に必要とされる記憶領域と比較して記録量が非常に小さくてよい。   The structure analysis unit 101 receives compressed moving image data and analyzes the structure of the input compressed moving image data. In the decoding process, the structure analysis unit 101 processes the compressed moving image data before the deletion process described later is performed. Therefore, the processing amount increases as the reproduction speed increases. For this reason, it is desirable that the structure analysis unit 101 has sufficient processing capability. In addition, when the input compressed moving image data is recorded in a writable recording medium, for example, the hard disk device 10, the structure analysis unit 101 analyzes the compressed moving image data in advance before the decoding process is executed. In addition, the analysis result may be recorded in a different area from the compressed moving image data. In this case, it is sufficient for the structure analysis unit to have a processing capability capable of handling a normal reproduction speed. Further, the additional recording area secured in the hard disk device 10 for storing the analysis result is compared with a storage area required when the compressed moving image data dedicated for fast-forwarding is generated and stored in advance. The recording amount may be very small.

圧縮動画データのデコード処理においては、逆ＤＣＴ演算部１０６での処理量が最も大きい。そのため、逆ＤＣＴ演算部１０６に送込まれるＤＣＴ係数の削減が動画デコード処理全体の演算量を削減するのに効果的である。本実施の形態においては、逆ＤＣＴ演算部１０６に送込まれるＤＣＴ係数を削減するために、ピクチャ削除部１０２によるピクチャの削除、ブロック削除部１０３によるブロックの削除、ＤＣＴ係数削除部１０５によるＤＣＴ係数削除の３つの処理を実行する。   In the decoding process of the compressed moving image data, the processing amount in the inverse DCT calculation unit 106 is the largest. Therefore, the reduction of the DCT coefficient sent to the inverse DCT calculation unit 106 is effective in reducing the calculation amount of the entire moving picture decoding process. In the present embodiment, in order to reduce the DCT coefficients sent to the inverse DCT calculation unit 106, the picture deletion unit 102 deletes pictures, the block deletion unit 103 deletes blocks, and the DCT coefficient deletion unit 105 uses DCT coefficients. Three processes of deletion are executed.

ピクチャ削除部１０２は、ユーザから指示された再生速度の指示と予め定められたフレームレートとに基づいて出力ピクチャを決定する。そして、決定した出力ピクチャと、その出力ピクチャが参照ピクチャを有する場合にはその参照ピクチャとに対応する圧縮動画データとを除く圧縮動画データを削除する。なお、ここでは、圧縮動画像データを削除する例を示すが、データ自体を削除することなく、後段の処理において削除するピクチャに対応する圧縮動画データを処理対象から除外するように上述したデータ構造を変更するようにしてもよい。   The picture deleting unit 102 determines an output picture based on a playback speed instruction specified by the user and a predetermined frame rate. Then, the compressed moving image data excluding the determined output picture and the compressed moving image data corresponding to the reference picture when the output picture has a reference picture are deleted. Although an example of deleting the compressed moving image data is shown here, the data structure described above is used so that the compressed moving image data corresponding to the picture to be deleted is excluded from the processing target without deleting the data itself. May be changed.

また、ピクチャ削除部１０２は、出力ピクチャが参照ピクチャを有することを条件に、その出力ピクチャに対応する圧縮動画データを削除して、参照ピクチャに対応する圧縮動画データを削除した圧縮動画データの代わりのピクチャとする。なお、圧縮画像データそのものを変更することなく、データ構造を変更するようにしてもよい。   In addition, the picture deletion unit 102 deletes the compressed moving image data corresponding to the output picture by deleting the compressed moving image data corresponding to the output picture on the condition that the output picture has the reference picture. The picture of Note that the data structure may be changed without changing the compressed image data itself.

さらに、ピクチャ削除部１０２は、ユーザから指示された再生速度の指示と予め定められたフレームレートよりも低いフレームレートとに基づき出力ピクチャを決定する。   Furthermore, the picture deletion unit 102 determines an output picture based on a playback speed instruction specified by the user and a frame rate lower than a predetermined frame rate.

ブロック削除部１０３は、圧縮動画データのうち処理対象ピクチャの色差ブロックを削除し、削除した色差ブロックを処理対象ピクチャと所定の時間的距離内にあるより前のピクチャの色差ブロックに置換える。   The block deletion unit 103 deletes the color difference block of the processing target picture from the compressed moving image data, and replaces the deleted color difference block with the color difference block of the previous picture within the predetermined time distance from the processing target picture.

可変長符号展開部１０４では、可変長符号を展開し、さらに逆量子化を行って各ブロックあたり６４個（＝８×８）のＤＣＴ係数を出力する。エンコード時には、図５に示すように、画像データはＤＣＴによりＤＣＴ係数の行列に変換された後、ジグザグスキャンで１次元の係数列に変換される。デコードの処理において可変長符号展開部１０４から出力されるのは、ジグザグスキャンの順序に従って２次元の行列に再展開されたＤＣＴ係数行列である。   The variable length code expansion unit 104 expands the variable length code, further performs inverse quantization, and outputs 64 (= 8 × 8) DCT coefficients for each block. At the time of encoding, as shown in FIG. 5, the image data is converted into a DCT coefficient matrix by DCT, and then converted into a one-dimensional coefficient string by zigzag scanning. In the decoding process, a DCT coefficient matrix re-expanded into a two-dimensional matrix according to the zigzag scan order is output from the variable-length code expanding unit 104.

ＤＣＴ係数削除部１０５は、解像度を低下させるために圧縮動画データの輝度ブロックの一部を削除する。   The DCT coefficient deletion unit 105 deletes a part of the luminance block of the compressed moving image data in order to reduce the resolution.

逆ＤＣＴ演算部１０６ではＤＣＴ係数行列に逆ＤＣＴ処理を行いブロックの画像データを出力する。   The inverse DCT calculation unit 106 performs inverse DCT processing on the DCT coefficient matrix and outputs block image data.

動き保証部１０７ではブロックをピクチャの形に配置し、さらに、Ｐピクチャについては時間的に前のＩピクチャをもとに、Ｂピクチャについては時間的に前後のＩピクチャあるいはＰピクチャをもとに動き保証を行ってデコードされた画像を得る。得られた画像は、ビデオ信号発生装置１３に伝えるため、メモリ部１０８に書き込まれる。また、動き保証の処理を行うために動き保証部１０７から参照される可能性がある間はメモリ部１０８に書き込まれた画像を保存する必要がある。   In the motion guarantee unit 107, blocks are arranged in the form of a picture. Further, a P picture is based on the temporally preceding I picture, and a B picture is based on the temporally preceding or following I picture or P picture. Get the decoded image with motion guarantee. The obtained image is written in the memory unit 108 for transmission to the video signal generator 13. Further, it is necessary to save the image written in the memory unit 108 while there is a possibility of being referred to by the motion assurance unit 107 in order to perform the motion assurance process.

次に、入力された圧縮動画データのデコードの流れに従って、ピクチャ削除部１０２と、ブロック削除部１０３と、ＤＣＴ係数削除部１０５との働きについて詳細に説明する。ここでは説明のために、ユーザからの再生速度の指示が４倍速再生の場合を例に説明する。図６は、４倍速再生の場合に選択されるピクチャを説明するための図である。図６を参照して、斜線でハッチングを付したピクチャが選択されたピクチャを示す。このピクチャの選択は、ピクチャ削除部１０２において行われる。選択されたピクチャが出力ピクチャに相当する。   Next, operations of the picture deleting unit 102, the block deleting unit 103, and the DCT coefficient deleting unit 105 will be described in detail according to the decoding flow of the input compressed moving image data. Here, for the sake of explanation, a case where the reproduction speed instruction from the user is quadruple speed reproduction will be described as an example. FIG. 6 is a diagram for explaining a picture selected in the case of 4 × speed reproduction. Referring to FIG. 6, a picture in which a hatched picture is selected is shown. This picture selection is performed by the picture deletion unit 102. The selected picture corresponds to the output picture.

選択されたピクチャが参照ピクチャを有する場合には、選択されたピクチャをデコードするのに参照ピクチャをデコードしなければならない。図では、依存関係が矢印で示され、参照ピクチャは格子のハッチングで示される。図においてハッチングが付されていない無地のピクチャはデコードする必要がない。このため、ピクチャ削除部１０２は、ｍ倍速再生の再生速度の指示と表示装置２のリフレッシュレートから定まるフレームレートとに基づき、出力ピクチャとその出力ピクチャと依存関係のある参照ピクチャ以外のピクチャをデコードの必要のないピクチャとして選択して削除する。   If the selected picture has a reference picture, the reference picture must be decoded to decode the selected picture. In the figure, the dependency relationship is indicated by an arrow, and the reference picture is indicated by lattice hatching. It is not necessary to decode a plain picture that is not hatched in the figure. For this reason, the picture deletion unit 102 decodes a picture other than an output picture and a reference picture having a dependency relationship with the output picture, based on a playback speed instruction for m-times speed playback and a frame rate determined from the refresh rate of the display device 2. Select and delete as unnecessary pictures.

次に、ブロック削除部１０３で実行されるブロック削除処理について説明する。図３に示したように、ピクチャは１６×１６ペル（ピクセル）のマクロブロックに分割され、さらに、輝度成分を表す４つの輝度ブロックと、色差成分を表す２つの色差ブロックに分けられる。４つの輝度ブロックと、２つの色差ブロックそれぞれは８×８の大きさである。   Next, block deletion processing executed by the block deletion unit 103 will be described. As shown in FIG. 3, the picture is divided into 16 × 16 pel (pixel) macroblocks, and further divided into four luminance blocks representing luminance components and two color difference blocks representing chrominance components. Each of the four luminance blocks and the two color difference blocks has a size of 8 × 8.

一般に人の視覚は輝度の変化には敏感であるが、色の変化には鈍感であるという性質がある。１つのマクロブロックが４つの輝度ブロックに変換されるにもかかわらず、色差ブロックについては２つの色差ブロックにしか変換されないという分割アルゴリズムもこの人の視覚の性質に基づいている。   In general, human vision is sensitive to changes in brightness but insensitive to changes in color. The segmentation algorithm in which one macroblock is converted into four luminance blocks, but the chrominance block is only converted into two chrominance blocks is also based on the visual nature of this person.

ブロック削除部１０３は、色差ブロックを削除する。より具体的には、例えば、Ｂピクチャについてはその元となるＩピクチャまたはＰピクチャの色差成分を流用し、Ｂピクチャ自身の色差ブロックを削除する。Ｂピクチャは時間的に前のピクチャと後のピクチャの両方に依存し、色差成分の流用元となるピクチャはそのいずれのピクチャから選択してもよいが、一般的に時間的に前のピクチャを選択する方が処理や必要なバッファ量の削減につながるために好ましい。もちろん、前後のピクチャの色差成分の単純平均、加重平均などを用いるようにしてもよい。さらに色差ブロックの削除は、Ｐピクチャの色差成分を削除するようにしてもよい。この場合、Ｉピクチャの色差成分のみがデコードされ、ＧＯＰを通じてその色差成分が流用される。   The block deletion unit 103 deletes the color difference block. More specifically, for example, for the B picture, the color difference component of the original I picture or P picture is used, and the color difference block of the B picture itself is deleted. The B picture depends on both the previous picture and the subsequent picture, and the picture from which the chrominance component is diverted may be selected from either picture. The selection is preferable because it leads to processing and reduction of the necessary buffer amount. Of course, a simple average, a weighted average, or the like of the color difference components of the previous and subsequent pictures may be used. Further, the color difference block may be deleted by deleting the color difference component of the P picture. In this case, only the color difference component of the I picture is decoded, and the color difference component is diverted through the GOP.

色差成分の削除はピクチャの削除に比べれば再生画像への影響が少ないが、輝度と色とのずれがあまり目立たないよう、次に説明するＤＣＴ係数削除と適切に組み合わせて行う必要がある。   The deletion of the color difference component has less influence on the reproduced image than the deletion of the picture, but it must be appropriately combined with the DCT coefficient deletion described below so that the difference between the luminance and the color is not noticeable.

次に、ＤＣＴ係数削除部１０５によるＤＣＴ係数削除処理について説明する。図７は、ＤＣＴ係数削除処理を説明するための図である。図７（ａ）を参照して、ＤＣＴ係数削除部１０５は、可変長符号展開部１０４から出力されたＤＣＴ係数行列について、左上の４×４の係数を除く斜線部分を削除し、さらに残った係数値すべてに１／２を掛ける処理を行う。この処理によって、逆ＤＣＴ後の解像度は半分（画素数は１／４）になるが、ＤＣＴの係数の数は１／４になり、逆ＤＣＴ処理の演算量を削減することができる。   Next, the DCT coefficient deletion process by the DCT coefficient deletion unit 105 will be described. FIG. 7 is a diagram for explaining DCT coefficient deletion processing. Referring to FIG. 7 (a), DCT coefficient deletion section 105 deletes the hatched portion excluding the upper left 4 × 4 coefficient from the DCT coefficient matrix output from variable length code expansion section 104, and further remains. A process of multiplying all coefficient values by 1/2 is performed. With this processing, the resolution after inverse DCT is halved (the number of pixels is ¼), but the number of DCT coefficients is ¼, and the amount of computation in inverse DCT processing can be reduced.

図７（ｂ）を参照して、ＤＣＴ係数削除部１０５は、左上の２×２の係数だけを除いて削除し、さらに、残りの係数値すべてに１／４を掛ける処理を行う。この場合、得られる画像の解像度は１／４となる。さらに、図７（ｃ）を参照して、ＤＣＴ係数削除部１０５は、左上のひとつの係数だけを除いて削除し、さらに、残りの係数値すべてに１／８を掛ける処理を行う。この場合、得られる画像の解像度は１／８となる。係数を１つだけにした場合は、逆ＤＣＴ演算部１０６における逆ＤＣＴ処理そのものが不要になるという利点があるが、解像度は相当に低下するため元のピクチャの解像度が十分に高い場合以外は避けることが望ましい。   Referring to FIG. 7B, the DCT coefficient deleting unit 105 deletes only the upper left 2 × 2 coefficient, and further multiplies all the remaining coefficient values by ¼. In this case, the resolution of the obtained image is 1/4. Further, referring to FIG. 7C, the DCT coefficient deletion unit 105 performs a process of deleting only one coefficient at the upper left and further multiplying all remaining coefficient values by 1/8. In this case, the resolution of the obtained image is 1/8. When only one coefficient is used, there is an advantage that the inverse DCT processing itself in the inverse DCT calculation unit 106 is not necessary, but the resolution is considerably lowered, so that it is avoided unless the resolution of the original picture is sufficiently high. It is desirable.

次に、負荷制御部１０９による制御と、ピクチャ削除部１０２、ブロック削除部１０３およびＤＣＴ係数削除部１０５の動作についてより詳細に説明する。デコード処理を行う可変長符号展開部１０４、逆ＤＣＴ演算部１０６、動き保証部１０７は、それぞれの負荷状態を負荷制御部１０９に伝える。   Next, control by the load control unit 109 and operations of the picture deletion unit 102, the block deletion unit 103, and the DCT coefficient deletion unit 105 will be described in more detail. The variable-length code expansion unit 104, the inverse DCT calculation unit 106, and the motion assurance unit 107 that perform the decoding process transmit the respective load states to the load control unit 109.

負荷制御部１０９は、伝えられた負荷からデコード処理を行う可変長符号展開部１０４、逆ＤＣＴ演算部１０６、動き保証部１０７の負荷を検出する。そして、負荷制御部１０９は、検出した負荷状態を基に、ピクチャ削除部１０２、ブロック削除部１０３およびＤＣＴ係数削除部１０５に削除の指示を伝える。   The load control unit 109 detects the loads of the variable length code expansion unit 104, the inverse DCT calculation unit 106, and the motion assurance unit 107 that perform decoding processing from the transmitted load. Then, the load control unit 109 transmits a deletion instruction to the picture deletion unit 102, the block deletion unit 103, and the DCT coefficient deletion unit 105 based on the detected load state.

可変長符号展開部１０４、逆ＤＣＴ演算部１０６、動き保証部１０７それぞれが出力する負荷は、可変長符号展開部１０４、逆ＤＣＴ演算部１０６、動き保証部１０７それぞれに設けられている入力バッファに記憶されているデータ量またはその変化量である。負荷が過多になり処理が間に合わなくなると可変長符号展開部１０４、逆ＤＣＴ演算部１０６および動き保証部１０７それぞれの入力バッファに記憶されるデータ量が増加し、逆に負荷が軽くなると入力バッファに記憶されるデータ量が減少するからである。本実施の形態においては、負荷を負荷レベルで分類している。   The load output by each of the variable length code expansion unit 104, the inverse DCT operation unit 106, and the motion assurance unit 107 is input to an input buffer provided in each of the variable length code expansion unit 104, the inverse DCT operation unit 106, and the motion assurance unit 107. The amount of data stored or the amount of change. When the load becomes excessive and the processing cannot be done in time, the amount of data stored in the input buffer of each of the variable length code expansion unit 104, the inverse DCT calculation unit 106, and the motion assurance unit 107 increases. This is because the amount of data stored is reduced. In the present embodiment, loads are classified by load level.

図８は、負荷レベルの一例を示す図である。図８を参照して、負荷レベル３は入力バッファがあふれる直前の状態を示し、警告となる値である。例えば、バッファ量がバッファの８割以上となった場合に出力される。負荷レベル２は、入力バッファに記憶されるデータ量が増加傾向にある場合に出力される。負荷レベル１は、入力バッファに記憶されるデータ量が減少傾向にある場合に出力される。負荷レベル０は、入力バッファに記憶されるデータ量が一定量以下、たとえばバッファの１割以下の場合に出力される。負荷レベル０もしくは３の条件は負荷レベル１もしくは２の条件に優先する。つまり、バッファ量が減少傾向でもバッファが限界を超えていれば負荷レベルは３となる。   FIG. 8 is a diagram illustrating an example of a load level. Referring to FIG. 8, load level 3 indicates a state immediately before the input buffer overflows and is a warning value. For example, it is output when the buffer amount is 80% or more of the buffer. The load level 2 is output when the amount of data stored in the input buffer tends to increase. The load level 1 is output when the amount of data stored in the input buffer tends to decrease. The load level 0 is output when the amount of data stored in the input buffer is a certain amount or less, for example, 10% or less of the buffer. A load level 0 or 3 condition overrides a load level 1 or 2 condition. That is, even if the buffer amount is decreasing, the load level is 3 if the buffer exceeds the limit.

図９は、ピクチャ削除部１０２、ブロック削除部１０３およびＤＣＴ係数削除部１０５それぞれに対する削除レベルとそのレベルに応じた削除処理との関係の一例を示す図である。ここで、ｍは表示されるべきピクチャの間隔を示している。一般的には早送りの再生速度の通常再生速度に対する倍数である。ここで各削除部について削除レベル０を定義しているが、これは、再生画像に対して一切の品位低下をもたらさない状態を示している。   FIG. 9 is a diagram illustrating an example of a relationship between a deletion level for each of the picture deletion unit 102, the block deletion unit 103, and the DCT coefficient deletion unit 105 and a deletion process according to the level. Here, m indicates the interval between pictures to be displayed. Generally, it is a multiple of the normal playback speed of the fast forward playback speed. Here, the deletion level 0 is defined for each deletion unit, and this indicates a state in which no degradation in quality is caused to the reproduced image.

ピクチャ削除部１０２の削除レベル（「ピクチャ削除レベル」ともいう）は、削除レベル０では必要なピクチャをすべて残すように処理される。このため、表示されるピクチャは、表示のタイミングから期待されるピクチャに完全に一致する。削除レベル１、２では表示するピクチャの時間的揺らぎを許すことでピクチャの削減を図っている。表示されるピクチャの枚数（フレームレート）は保持されるが、一部のピクチャについては、本来表示すべきピクチャよりも前のピクチャで代替される。削除レベル３ではピクチャの時間的揺らぎに加えてフレームレートを下げることでピクチャの削減を図る。このため、ひとつのピクチャが複数回表示されることになる。   The deletion level (also referred to as “picture deletion level”) of the picture deletion unit 102 is processed so that all necessary pictures are left at the deletion level 0. For this reason, the picture to be displayed completely matches the picture expected from the display timing. At the deletion levels 1 and 2, the picture is reduced by allowing temporal fluctuation of the picture to be displayed. The number of pictures to be displayed (frame rate) is maintained, but some pictures are replaced with pictures before the picture to be originally displayed. In the deletion level 3, in addition to temporal fluctuation of the picture, the frame rate is lowered to reduce the picture. For this reason, one picture is displayed a plurality of times.

ブロック削除部１０３に対する削除レベル（「ブロック削除レベル」ともいう）は、削除レベル０ではすべてのブロックを残し、削除レベル１では通常再生で約０．１３秒に相当する色変化の遅れを許し、削除レベル２では通常再生で約０．２秒に相当する色変化の遅れを許し、削除レベル３では通常再生で約０．２７秒に相当する色変化の遅れを許している。色変化の遅れがあまりにも大きくなると、輝度情報によって表現される被写体の輪郭と色差情報によって表現される被写体の色のずれが大きくなりすぎ、違和感を生じるため図９に示す関係とした。なお、ここでは圧縮動画データのフレームレートを３０フレーム／秒として遅れ時間を計算している。   The deletion level (also referred to as “block deletion level”) for the block deletion unit 103 leaves all blocks at the deletion level 0, and allows a color change delay corresponding to about 0.13 seconds in the normal reproduction at the deletion level 1. The deletion level 2 allows a color change delay corresponding to about 0.2 seconds in normal reproduction, and the deletion level 3 allows a color change delay equivalent to about 0.27 seconds in normal reproduction. When the delay of the color change becomes too large, the deviation of the color of the subject expressed by the luminance information and the color of the subject expressed by the color difference information becomes too large, which causes a sense of incongruity. Here, the delay time is calculated assuming that the frame rate of the compressed moving image data is 30 frames / second.

ＤＣＴ係数削除部に対する削除レベル（「ＤＣＴ係数削除レベル」ともいう）は、削除レベル０ではすべてのＤＣＴ係数を残し、削除レベル１ではブロックあたりＤＣＴ係数が１６になるようにＤＣＴ係数を削除するレベルであり、削除レベル２ではブロックあたりＤＣＴ係数が４になるようにＤＣＴ係数を削除するレベルであり、削除レベル３ではブロックあたりＤＣＴ係数が１になるようにＤＣＴ係数を削除するレベルである。   The deletion level (also referred to as “DCT coefficient deletion level”) for the DCT coefficient deletion unit is a level at which all DCT coefficients are left at the deletion level 0 and the DCT coefficients are deleted so that the DCT coefficient is 16 per block at the deletion level 1. In the deletion level 2, the DCT coefficient is deleted so that the DCT coefficient is 4 per block, and in the deletion level 3, the DCT coefficient is deleted so that the DCT coefficient is 1 per block.

ユーザによる再生速度の指示が変化したり、負荷レベルが変化したために、削除レベルが変化した場合に再生画像が一瞬止まったり、あるいは間のフレームが抜けたりしないようピクチャ削除部１０２、ブロック削除部１０３およびＤＣＴ係数削除部１０５は、削除レベルが変わった場合でも処理時間が変化しないよう構成されるか、あるいは、各処理部は十分なバッファを持つべきである。   The picture deletion unit 102 and the block deletion unit 103 prevent the playback image from stopping momentarily or missing frames when the deletion level changes due to a change in the playback speed instruction or load level change by the user. The DCT coefficient deletion unit 105 should be configured so that the processing time does not change even when the deletion level changes, or each processing unit should have a sufficient buffer.

図１０は、ピクチャ削除部１０２について、ｍ＝４（４倍速再生）の場合に図９の関係を適応した際のピクチャ削除部１０２による削除結果を説明する図である。ここで、各レベルの第１行はどのピクチャがデコードされるかを示しており、丸は表示されるピクチャ、三角は表示されないがピクチャの依存関係からデコードが必要なピクチャ、左向きの矢印は代替の結果利用されないため削除されるピクチャ、空欄は利用されないため削除されるピクチャを示している。丸と三角がデコードされるピクチャであり、左向きの矢印と空欄がデコードされないピクチャである。各レベルの第２行は、デコードされたピクチャがどのように表示されるかを示しており、表示のためデコードされた丸印のピクチャは下向きまたは右下向きの矢印の矢のタイミングで表示される。   FIG. 10 is a diagram for explaining a deletion result by the picture deletion unit 102 when the relationship of FIG. 9 is applied to the picture deletion unit 102 when m = 4 (4 × speed reproduction). Here, the first row of each level indicates which picture is decoded, the circle is displayed, the triangle is not displayed, but the picture that needs to be decoded due to the dependency of the picture, the left arrow is alternative As a result, a picture that is deleted because it is not used, and a blank that is deleted because it is not used. Circles and triangles are pictures to be decoded, and left-pointing arrows and blanks are pictures that are not decoded. The second row of each level shows how the decoded picture is displayed, and the circle picture decoded for display is displayed at the timing of the arrow pointing down or down to the right. .

ピクチャ削除レベル０では必要なピクチャをすべて残すように処理されるので、ピクチャ４枚ごとに１枚のピクチャが選択され、そのピクチャが依存するピクチャも残される。表示されるピクチャは、表示のタイミングから期待されるピクチャに完全に一致するのがわかる。   Since all the necessary pictures are processed at the picture deletion level 0, one picture is selected for every four pictures, and the picture on which the picture depends is also left. It can be seen that the displayed picture completely matches the expected picture from the display timing.

ピクチャ削除レベル１、２では、表示されるピクチャの枚数（フレームレート）は保持されるが、一部のピクチャについては、本来表示すべきピクチャよりも前のピクチャで代替される。   At the picture deletion levels 1 and 2, the number of pictures to be displayed (frame rate) is maintained, but some pictures are replaced with pictures prior to the picture to be originally displayed.

ピクチャ削除レベル３では、ピクチャの時間的揺らぎに加えてフレームレートを下げることでピクチャの削減を図るため、ひとつのピクチャが複数回表示されることになる。図１０ではひとつの丸印のピクチャに複数（２もしくは３）の矢印がつけられている。   At the picture deletion level 3, in order to reduce the picture by lowering the frame rate in addition to the temporal fluctuation of the picture, one picture is displayed a plurality of times. In FIG. 10, a plurality of (2 or 3) arrows are attached to one circle picture.

図１１は、ピクチャ削除部１０２で実行されるピクチャ削除処理により残されるピクチャの数の一例を削除レベル別に示す図である。図１１を参照して、削除レベルが上がるに従い、デコード対象となるピクチャの数が減少する。   FIG. 11 is a diagram illustrating an example of the number of pictures left by the picture deletion process executed by the picture deletion unit 102 for each deletion level. Referring to FIG. 11, the number of pictures to be decoded decreases as the deletion level increases.

なお、削除レベル３は早送り再生の滑らかさを損なうため、可能な限り避ける必要がある。また、高速な早送り再生であれば、多少の時間的な揺らぎは目立たないため、削除レベル１、削除レベル２、削除レベル３における揺らぎの許容量はｍに比例するようになっている。   Deletion level 3 impairs the smoothness of fast-forward playback, and should be avoided as much as possible. Further, since the temporal fluctuation is not conspicuous for high-speed fast-forward playback, the allowable amount of fluctuation at the deletion level 1, the deletion level 2, and the deletion level 3 is proportional to m.

負荷制御部１０９には、入力として可変長符号展開部１０４の負荷、逆ＤＣＴ演算部１０６負荷、動き保証部１０７の負荷と、早送りレベル（以下「ＦＦＬ」ともいう）と、解像度レベル（以下「ＭＰＲＬ」ともいう）が入力される。そして、負荷制御部１０９は、ピクチャ削除レベル（以下「ＰＤＬ」ともいう）と、ブロック削除レベル（以下「ＢＤＬ」ともいう）と、ＤＣＴ係数削除レベル（以下「ＤＦＤＬ」ともいう）とを出力する。ＰＤＬはピクチャ削除部１０２に出力され、ＢＤＬはブロック削除部１０３に出力され、ＤＦＤＬはＤＣＴ係数削除部１０５に出力される。   The load control unit 109 receives as inputs the load of the variable-length code expansion unit 104, the load of the inverse DCT calculation unit 106, the load of the motion assurance unit 107, the fast-forwarding level (hereinafter also referred to as “FFL”), and the resolution level (hereinafter “FFL”). MPRL ") is input. Then, the load control unit 109 outputs a picture deletion level (hereinafter also referred to as “PDL”), a block deletion level (hereinafter also referred to as “BDL”), and a DCT coefficient deletion level (hereinafter also referred to as “DFDL”). . The PDL is output to the picture deletion unit 102, the BDL is output to the block deletion unit 103, and the DFDL is output to the DCT coefficient deletion unit 105.

ＦＦＬは、通常速度の何倍で再生するかを示し、ユーザインタフェース１４からユーザにより入力される再生速度の指示により定められる。図１２は、早送りレベルの一例を示す図である。図１２を参照して、再生速度の指示が「通常再生」の場合にＦＦＬは「０」が対応付けられ、再生速度の指示が「２倍速」の場合にＦＦＬは「１」が対応付けられ、再生速度の指示が「３倍速」の場合にＦＦＬは「２」が対応付けられ、再生速度の指示が「３２倍速」の場合にＦＦＬは「３」が対応付けられる。なお、ＦＦＬは、入力される圧縮動画データのビットレートから定めるようにしてもよい。ＦＦＬを入力される圧縮動画データのビットレートから定める場合は、図１３に示すビットレートとＦＦＬとの関係を用いればよい。   FFL indicates how many times normal playback is to be performed, and is determined by a playback speed instruction input from the user interface 14 by the user. FIG. 12 is a diagram illustrating an example of the fast-forward level. Referring to FIG. 12, when the playback speed instruction is “normal playback”, the FFL is associated with “0”, and when the playback speed instruction is “double speed”, the FFL is associated with “1”. When the playback speed instruction is “triple speed”, the FFL is associated with “2”, and when the playback speed instruction is “32 times the speed”, the FFL is associated with “3”. The FFL may be determined from the bit rate of the input compressed moving image data. When the FFL is determined from the bit rate of the input compressed moving image data, the relationship between the bit rate and the FFL shown in FIG. 13 may be used.

ＭＰＲＬは、構造解析部１０１により入力された圧縮動画データの解像度を示し、入力された圧縮動画データから抽出される。図１４は、縦解像度範囲とＭＰＲＬとの関係の一例を示す図である。図１４を参照して、解像度の範囲は、１つのピクチャの縦方向の画素数を示す。解像度の範囲が「１〜２８８」に対してＭＰＲＬは「０」が対応付けられ、解像度の範囲が「２８９〜５７６」に対してＭＰＲＬは「１」が対応付けられ、解像度の範囲が「５７７〜１１５２」に対してＭＰＲＬは「２」が対応付けられ、解像度の範囲が「１１５３〜」に対してＭＰＲＬは「３」が対応付けられる。なお、ＭＰＲＬを、横方向の解像度や画面の総ブロック数から定めるようにしてもよい。ＭＰＲＬを横方向の解像度から定める場合には図１５に示す横解像度範囲とＭＰＲＬとの関係を用いればよい。なお、図１５における横解像度範囲は、ピクチャの横方向の画素数を示す。ＭＰＲＬを画面の総ブロック数から定める場合には図１６に示すブロック数の範囲とＭＰＲＬとの関係を用いればよい。   MPRL indicates the resolution of the compressed moving image data input by the structure analysis unit 101, and is extracted from the input compressed moving image data. FIG. 14 is a diagram illustrating an example of the relationship between the vertical resolution range and MPRL. Referring to FIG. 14, the resolution range indicates the number of pixels in the vertical direction of one picture. The MPRL is associated with “0” for the resolution range “1-288”, the MPRL “1” is associated with the resolution range “289-576”, and the resolution range “577”. ˜1152 ”is associated with“ 2 ”in the MPRL, and“ 3 ”is associated with the MPRL in the resolution range“ 1153 ”. The MPRL may be determined from the horizontal resolution and the total number of blocks on the screen. When MPRL is determined from the resolution in the horizontal direction, the relationship between the horizontal resolution range and MPRL shown in FIG. 15 may be used. Note that the horizontal resolution range in FIG. 15 indicates the number of pixels in the horizontal direction of the picture. When MPRL is determined from the total number of blocks on the screen, the relationship between the block number range and MPRL shown in FIG. 16 may be used.

本実施の形態における動画デコード装置１２は、解像度低下、色のずれ、再生画像の時間的な揺らぎをある程度犠牲にする一方、ピクチャをできるだけ保存することで滑らかな早送り再生画像を得ようとするものである。このため、負荷制御部１０９は、次のポリシーに従った制御を行う。   The moving picture decoding apparatus 12 according to the present embodiment sacrifices resolution degradation, color shift, and temporal fluctuation of the reproduced image to some extent, and tries to obtain a smooth fast-forward reproduced image by preserving the picture as much as possible. It is. Therefore, the load control unit 109 performs control according to the following policy.

（１） 可能な限りピクチャ削除レベルは低く抑える（ポリシー１）。   (1) The picture deletion level is kept as low as possible (policy 1).

（２） 高速早送りの場合は、色のずれを許容して、すなわちブロック削除レベルを上げて負荷を軽減する（ポリシー２）。   (2) In the case of high-speed fast-forward, color shift is allowed, that is, the load is reduced by increasing the block deletion level (policy 2).

（３） 元画像の解像度が高い場合は解像度を落として、すなわちＤＴＣ係数削除レベルを上げて負荷を軽減する（ポリシー３）。   (3) If the resolution of the original image is high, reduce the resolution, that is, increase the DTC coefficient deletion level to reduce the load (policy 3).

（４） ブロック削除レベル、ＤＴＣ係数削除レベルを上げても負荷が高い場合は、フレームレートを下げて、すなわちピクチャ削除レベルを上げて負荷を軽減する（ポリシー４）
負荷制御部１０９の入出力の関係について説明する。負荷制御部１０９は、最初にＦＦＬとＭＰＲＬから、ピクチャ削除部１０２、ブロック削除部１０３およびＤＣＴ係数削除部１０５それぞれで基本となる削除レベルを決定する。これを基礎削除レベルと呼ぶ。このようにして決定された基礎削除レベルに対して各負荷レベルによる補正を加えて削除レベルを得る。さらに、負荷レベルによる補正により再生品位が下がりすぎないよう、ＦＦＬとＭＰＲＬから各削除レベルの上限を決定する。これを限界削除レベルと呼ぶ。 (4) If the load is high even if the block deletion level and the DTC coefficient deletion level are increased, the frame rate is decreased, that is, the picture deletion level is increased to reduce the load (policy 4).
The input / output relationship of the load control unit 109 will be described. The load control unit 109 first determines a basic deletion level in each of the picture deletion unit 102, the block deletion unit 103, and the DCT coefficient deletion unit 105 from the FFL and MPRL. This is called the basic deletion level. The basic deletion level thus determined is corrected by each load level to obtain the deletion level. Further, the upper limit of each deletion level is determined from FFL and MPRL so that the reproduction quality does not decrease too much due to the correction by the load level. This is called the limit deletion level.

完全に独立した設計になっているわけではないが、基本的には、ポリシー２、ポリシー３については基礎削除レベルを決定するテーブルの設計に、ポリシー１、ポリシー４については、基礎削除レベルに補正を加える処理の設計にそれぞれ反映されている。   Although it is not a completely independent design, it is basically corrected to the design of the table that determines the basic deletion level for policies 2 and 3, and to the basic deletion level for policies 1 and 4 Is reflected in the design of the processing to add.

図１７は、ピクチャ削除部１０２に与えられるピクチャ削除レベル（ＰＤＬ）の基礎削除レベルと限界削除レベルとの関係を定義するテーブルの一例を示す図である。図１８は、図１７に示すピクチャ削除レベル（ＰＤＬ）の基礎削除レベルを３次元グラフで示した図である。図１９は、図１７に示すピクチャ削除レベル（ＰＤＬ）の限界削除レベルを３次元グラフで示した図である。   FIG. 17 is a diagram illustrating an example of a table that defines the relationship between the basic deletion level of the picture deletion level (PDL) given to the picture deletion unit 102 and the limit deletion level. FIG. 18 is a diagram showing the basic deletion level of the picture deletion level (PDL) shown in FIG. 17 as a three-dimensional graph. FIG. 19 is a diagram showing a limit deletion level of the picture deletion level (PDL) shown in FIG. 17 in a three-dimensional graph.

図２０は、ブロック削除部１０３に与えられるブロック削除レベル（ＢＤＬ）の基礎削除レベルと限界削除レベルとの関係を定義するテーブルの一例を示す図である。図２１は、図２０に示すブロック削除レベル（ＢＤＬ）の基礎削除レベルを３次元グラフで示した図である。図２２は、図２０に示すブロック削除レベル（ＢＤＬ）の限界削除レベルを３次元グラフで示した図である。   FIG. 20 is a diagram illustrating an example of a table that defines the relationship between the basic deletion level of the block deletion level (BDL) given to the block deletion unit 103 and the limit deletion level. FIG. 21 is a diagram showing the basic deletion level of the block deletion level (BDL) shown in FIG. 20 in a three-dimensional graph. FIG. 22 is a diagram showing the limit deletion level of the block deletion level (BDL) shown in FIG. 20 in a three-dimensional graph.

図２３は、ＤＣＴ係数削除部１０５に与えられるＤＣＴ係数削除レベル（ＤＦＤＬ）の基礎削除レベルと限界削除レベルとの関係を定義するテーブルの一例を示す図である。図２４は、図２３に示すＤＣＴ係数削除レベル（ＤＦＤＬ）の基礎削除レベルを３次元グラフで示した図である。図２５は、図２３に示すＤＣＴ係数削除レベル（ＤＦＤＬ）の限界削除レベルを３次元グラフで示した図である。   FIG. 23 is a diagram illustrating an example of a table that defines the relationship between the basic deletion level and the limit deletion level of the DCT coefficient deletion level (DFDL) given to the DCT coefficient deletion unit 105. FIG. 24 is a diagram showing the basic deletion level of the DCT coefficient deletion level (DFDL) shown in FIG. 23 in a three-dimensional graph. FIG. 25 is a diagram showing the limit deletion level of the DCT coefficient deletion level (DFDL) shown in FIG. 23 in a three-dimensional graph.

図１８、図２１および図２４から明らかなように、ピクチャ削除レベル、ブロック削除レベルおよびＤＣＴ係数削除レベルのいずれの基礎削除レベルも、左手前方向から右奥方向に向かって値が大きくなっている。これにより、デコード負荷が軽く、かつ削除による劣化が目立つ状態である、低速度・低解像度入力の状態ではできるだけ削除を行わない制御が実現される。また、デコード負荷が高く、かつ削除による劣化が目立たない状態である、高速度・高解像度入力の状態では積極的に削除を行うという制御を実現している。なお、前述のポリシー１を実現するため、早送りレベルが０、１の場合のピクチャ削除レベルの基礎削除レベルは、同じく早送りレベルが０、１の場合のブロック削除レベルやＤＣＴ係数削除レベルの基礎削除レベルよりも低く設定されている。また、通常再生（早送りレベル０）時に過負荷になるとは考えにくいため、いずれの基礎削除レベルについても０となるよう設定されている。   As is apparent from FIGS. 18, 21, and 24, the basic deletion levels of the picture deletion level, the block deletion level, and the DCT coefficient deletion level increase from the left front direction to the right back direction. . As a result, it is possible to realize control that does not delete as much as possible in a low-speed / low-resolution input state where the decoding load is light and deterioration due to deletion is conspicuous. In addition, control is performed in which deletion is positively performed in a high-speed / high-resolution input state where the decoding load is high and deterioration due to deletion is not noticeable. In order to realize the above policy 1, the basic deletion level of the picture deletion level when the fast-forward level is 0 or 1 is the same as the basic deletion level of the block deletion level or the DCT coefficient deletion level when the fast-forward level is 0 or 1. It is set lower than the level. Also, since it is unlikely that an overload will occur during normal playback (fast-forward level 0), any basic deletion level is set to 0.

ブロック削除レベル、ＤＣＴ係数削除レベルを上げても負荷が吸収しきれない場合には、ポリシー４に従ってデコード処理の一番上流でのピクチャ削除レベルを上げて対処する必要があるため、図２０に示すようにピクチャ削除レベルの限界削除レベルはすべて最大値である「３」となっている。ブロック削除レベルの限界削除レベルは、ポリシー２を実現するために図２２に示すように右上がりの値になっている。これにより、色のずれが目立たない高速早送り状態では、ブロック削除が行われやすくなる。   If the load cannot be absorbed even if the block deletion level and the DCT coefficient deletion level are increased, it is necessary to increase the picture deletion level at the most upstream of the decoding process according to the policy 4, and therefore, FIG. Thus, the limit deletion levels of the picture deletion level are all “3” which is the maximum value. The limit deletion level of the block deletion level is a value that rises to the right as shown in FIG. As a result, the block deletion is easily performed in the fast forward state where the color shift is not noticeable.

ＤＣＴ係数削除レベルの限界削除レベルは、ポリシー３を実現するために図２５のようにグラフの奥で大きな値になっている。これにより、解像度の低下が目立たない高解像度入力状態では、ＤＣＴ係数削除が行われやすくなる。   The limit deletion level of the DCT coefficient deletion level has a large value at the back of the graph as shown in FIG. As a result, in a high-resolution input state in which a decrease in resolution is not noticeable, DCT coefficient deletion is easily performed.

＜削除レベルの決定＞
負荷制御部１０９は、ブロック削除部１０３のブロック削除レベルを次式（１）に従って決定する。ブロック削除レベルは可変長符号展開部１０４の負荷レベルに基づいて決定される。 <Determination of deletion level>
The load control unit 109 determines the block deletion level of the block deletion unit 103 according to the following equation (1). The block deletion level is determined based on the load level of the variable length code expansion unit 104.

（ブロック削除レベル）＝ＭＩＮ（０，ＭＡＸ（（ブロック限界削除レベル）， （ブロック基礎削除レベル）−１．５＋（可変長符号展開部負荷レベル））） … （１）
ここで、ＭＩＮは２つの引数から小さい値を選択する関数であり、ＭＡＸは２つの引数から大きい値を選択する関数である。これらの関数は、削除レベルが０以上、かつ、限界削除レベル以下になるよう調節するために用いている。 (Block deletion level) = MIN (0, MAX ((Block limit deletion level), (Block basic deletion level) −1.5+ (Variable length code expansion unit load level))) (1)
Here, MIN is a function that selects a small value from two arguments, and MAX is a function that selects a large value from two arguments. These functions are used to adjust the deletion level to be 0 or more and not more than the limit deletion level.

また、負荷制御部１０９は、ＤＣＴ係数削除部１０５のＤＣＴ係数削除レベルを次式（２）に従って決定する。ＤＣＴ係数削除レベルは逆ＤＣＴ演算部１０６と動き保証部１０７の負荷レベルで決定される。   Further, the load control unit 109 determines the DCT coefficient deletion level of the DCT coefficient deletion unit 105 according to the following equation (2). The DCT coefficient deletion level is determined by the load level of the inverse DCT calculation unit 106 and the motion guarantee unit 107.

（ＤＣＴ係数削除レベル）＝ＭＩＮ（０，ＭＡＸ（（ＤＣＴ係数限界削除レベル），（ＤＣＴ係数基礎削除レベル）−１．５＋ＭＡＸ（（逆ＤＣＴ演算部負荷レベル），（動き保証部負荷レベル）））） … （２）
さらに、負荷制御部１０９は、ピクチャ削除部１０２のピクチャ削除レベルを次の論理式（３）が真の場合に「３」とし、偽の場合に基礎削除レベルとする。ピクチャ削除レベルは、ブロック削除部１０３あるいはＤＣＴ係数削除部１０５で負荷が吸収されない場合にのみ「３」とし、それ以外は基礎削除レベルとすることでポリシー１とポリシー４とが実現される。 (DCT coefficient deletion level) = MIN (0, MAX ((DCT coefficient limit deletion level), (DCT coefficient basic deletion level) −1.5 + MAX ((inverse DCT operation unit load level), (motion assurance unit load level))) )) ... (2)
Further, the load control unit 109 sets the picture deletion level of the picture deletion unit 102 to “3” when the next logical expression (3) is true, and to the basic deletion level when it is false. The picture deletion level is set to “3” only when the load is not absorbed by the block deletion unit 103 or the DCT coefficient deletion unit 105, and the policy deletion level is set to the basic deletion level in other cases, and the policies 1 and 4 are realized.

（（ブロック削除レベル）＝３ ＡＮＤ （可変長符号展開部負荷レベル）＝３） ＯＲ（（ＤＣＴ係数削除レベル）＝３ ＡＮＤ （（逆ＤＣＴ演算部負荷レベル）＝３ ＯＲ （動き保証部負荷レベル）＝３） … （３）
上述したように負荷制御部１０９によるピクチャ削除部１０２、ブロック削除部１０３およびＤＣＴ係数削除部１０５の制御は、図１７、図２０および図２３に示したピクチャ削除部１０２、ブロック削除部１０３およびＤＣＴ係数削除部１０５それぞれの基礎削除レベルおよび限界削除レベルを定義するテーブルを用いて達成される。これらの基礎削除レベルおよび限界削除レベルを定義するテーブルは、パラメータとしてパラメータ記憶部１２０に記憶される。また、このパラメータは、圧縮動画データの特徴に応じてこれらの変化させれば、それぞれの圧縮動画データに適した制御が行える。 ((Block deletion level) = 3 AND (variable length code expansion unit load level) = 3) OR ((DCT coefficient deletion level) = 3 AND ((inverse DCT operation unit load level) = 3 OR (motion assurance unit load level) ) = 3) ... (3)
As described above, the control of the picture deleting unit 102, the block deleting unit 103, and the DCT coefficient deleting unit 105 by the load control unit 109 is the same as the picture deleting unit 102, the block deleting unit 103, and the DCT shown in FIGS. This is achieved by using a table that defines the basic deletion level and the limit deletion level of each coefficient deletion unit 105. A table defining these basic deletion level and limit deletion level is stored in the parameter storage unit 120 as a parameter. If this parameter is changed according to the characteristics of the compressed moving image data, control suitable for each compressed moving image data can be performed.

また、圧縮動画データの一部にパラメータを更新するための所定のデータを埋め込んでおき、構造解析部１０１で圧縮動画データを解析すると同時にこの所定のデータを取出し、パラメータを更新するようにしてもよい。また、圧縮動画データが放送番組として受信される場合には、受信した圧縮動画データをハードディスク装置１０に記録する際に、圧縮動画データと共に放送番組のメタデータとして送られてきたパラメータを同時に記録しておき、圧縮動画データの再生開始とともにパラメータを読出すようにしてもよい。   Alternatively, predetermined data for updating parameters may be embedded in a part of the compressed moving image data, and the predetermined data may be taken out simultaneously with the analysis of the compressed moving image data by the structure analysis unit 101 to update the parameters. Good. Further, when the compressed moving image data is received as a broadcast program, when the received compressed moving image data is recorded on the hard disk device 10, the parameters sent as metadata of the broadcast program are recorded simultaneously with the compressed moving image data. In addition, the parameters may be read when the reproduction of the compressed moving image data is started.

図１７、図２０および図２３に示したパラメータを含む負荷制御部１０９をハードウェア的、あるいはソフトウェア的に実装する場合、メモリ上に展開されたパラメータが用いられるが、このメモリを書込み可能なＲＡＭ（ランダムアクセスメモリ）で構成することで、パラメータの更新を容易に実現することができる。このように圧縮動画データの種類によって負荷制御部１０９内のパラメータを変化させることにより、例えば、動きの大きいスポーツの動画であれば、解像度よりも時間的な正確さを優先し、動きの少ないニュース番組の動画であれば、時間的な正確さよりも解像度を優先するといった最適化が可能になる。   When the load control unit 109 including the parameters shown in FIGS. 17, 20, and 23 is implemented in hardware or software, the parameters developed on the memory are used. By configuring with (random access memory), it is possible to easily update the parameters. In this way, by changing the parameters in the load control unit 109 according to the type of compressed video data, for example, in the case of sports videos with large movement, priority is given to temporal accuracy over resolution, and news with little movement. In the case of a moving image of a program, optimization such as giving priority to resolution over temporal accuracy becomes possible.

なお、パラメータを更新する場合には、圧縮動画データが切替わった際に標準値に戻されるようにしてもよい。   In addition, when updating a parameter, you may make it return to a standard value, when compressed moving image data switches.

次に動画デコード装置１２で実行される処理について説明する。図２６は、本実施の形態における動画デコード装置１２で実行される処理の流れを示すフローチャートである。図２６を参照して、動画デコード装置では、ハードディスク装置１０から読出された圧縮データが入力される（ステップＳ０１）。そして、その入力された圧縮動画データに対応するパラメータが取得される（ステップＳ０２）。   Next, processing executed by the video decoding device 12 will be described. FIG. 26 is a flowchart showing the flow of processing executed by the video decoding device 12 in the present embodiment. Referring to FIG. 26, in the video decoding device, compressed data read from hard disk device 10 is input (step S01). And the parameter corresponding to the input compressed moving image data is acquired (step S02).

次のステップＳ０３では、ユーザにより入力される短縮指示、すなわち再生速度に従って、早送りレベルが決定される（ステップＳ０３）。   In the next step S03, the fast-forward level is determined according to the shortening instruction input by the user, that is, the reproduction speed (step S03).

ステップＳ０４では、ステップＳ０１で入力された圧縮動画データの構造が解析される。つぎにピクチャ削除部１０２により出力ピクチャが決定される（ステップＳ０５）。この出力ピクチャは、短縮指示にしたがって圧縮動画データを、表示装置２のリフレッシュレートにより定まるフレームレートで出力するために必要とされるピクチャが出力ピクチャとされる。そして、出力ピクチャとその出力ピクチャが参照ピクチャを有する場合にはその参照ピクチャとを除く圧縮動画データを削除する（ステップＳ０６）。これにより、ユーザが指定した再生速度で再生する場合に、表示装置２のリフレッシュレートにより定まるフレームレートで出力するピクチャのみとなる。このため、圧縮動画データのデータ量が削減される。   In step S04, the structure of the compressed moving image data input in step S01 is analyzed. Next, an output picture is determined by the picture deletion unit 102 (step S05). In this output picture, a picture required for outputting the compressed moving image data at a frame rate determined by the refresh rate of the display device 2 in accordance with the shortening instruction is used as the output picture. If the output picture and the output picture have a reference picture, the compressed moving image data excluding the reference picture is deleted (step S06). As a result, only the pictures that are output at the frame rate determined by the refresh rate of the display device 2 when playing back at the playback speed specified by the user. For this reason, the data amount of compressed moving image data is reduced.

次に、圧縮動画データのデコードが開始される（ステップＳ０７）。デコードは、可変長符号展開部１０４と、逆ＤＣＴ演算部１０６と、動き保証部１０７とで実行される。この際、ブロック削除部１０３のブロック削除レベルおよびＤＣＴ係数削除部１０５のＤＣＴ係数削除レベルは、ステップＳ０２で取得されたパラメータに基づいて、基礎削除レベルに設定される。   Next, decoding of the compressed moving image data is started (step S07). Decoding is performed by the variable length code expansion unit 104, the inverse DCT calculation unit 106, and the motion assurance unit 107. At this time, the block deletion level of the block deletion unit 103 and the DCT coefficient deletion level of the DCT coefficient deletion unit 105 are set to the basic deletion level based on the parameters acquired in step S02.

そして、可変長符号展開部１０４、逆ＤＣＴ演算部１０６および動き保証部１０７それぞれの負荷が検出され、検出された負荷に応じて負荷レベルが決定される（ステップＳ０８）。   Then, the loads of the variable length code expansion unit 104, the inverse DCT calculation unit 106, and the motion assurance unit 107 are detected, and the load level is determined according to the detected loads (step S08).

次のステップＳ０９では、可変長符号展開部１０４の負荷レベルに基づいて、ブロック削除部１０３のブロック削除レベルが決定される。ブロック削除レベルは、上記（１）式に基づいて定められる。そして、次のステップＳ１０において、ブロック削除レベルがステップＳ０１で取得されたパラメータで定義されたブロック限界削除レベルを超えるか否かが判断される。こえる場合にはブロック削除レベルをブロック限界削除レベルに設定する（ステップＳ１１）。ステップＳ１２では、ステップＳ０９で決定されたブロック削除レベルまたはステップＳ１１で設定されたブロック限界削除レベルに設定されたブロック削除レベルがブロック削除部１０３に出力され、ブロック削除部１０３においてブロック削除レベルに従って色ブロックの削除が実行される。これにより、削除された色ブロックをデコードする必要がなくなるので、以降のデコード処理の負荷を軽減することができる。   In the next step S09, the block deletion level of the block deletion unit 103 is determined based on the load level of the variable length code expansion unit 104. The block deletion level is determined based on the above equation (1). Then, in the next step S10, it is determined whether or not the block deletion level exceeds the block limit deletion level defined by the parameter acquired in step S01. If this is the case, the block deletion level is set to the block limit deletion level (step S11). At step S12, the block deletion level set at the block deletion level determined at step S09 or the block limit deletion level set at step S11 is output to the block deletion unit 103, and the block deletion unit 103 changes the color according to the block deletion level. Block deletion is performed. This eliminates the need to decode the deleted color block, thereby reducing the subsequent decoding processing load.

次のステップＳ１３では、逆ＤＣＴ演算部１０６の負荷レベルに基づいて、ＤＣＴ係数削除部１０５のＤＣＴ係数削除レベルが決定される。ＤＣＴ係数削除レベルは、上記（２）式に基づいて定められる。そして、次のステップＳ１４において、ＤＣＴ係数削除レベルがステップＳ０１で取得されたパラメータで定義されたＤＣＴ係数限界削除レベルを超えるか否かが判断される。超える場合にはＤＣＴ係数削除レベルをＤＣＴ係数限界削除レベルに設定する（ステップＳ１５）。ステップＳ１６では、ステップＳ１３で決定されたＤＣＴ係数削除レベルまたはステップＳ１５で設定されたＤＣＴ係数限界削除レベルに設定されたブロック削除レベルがＤＣＴ係数削除部１０５に出力され、ＤＣＴ係数削除部１０５においてＤＣＴ係数削除レベルに従ってＤＣＴ係数の削除が実行される。これにより、削除されたＤＣＴ係数をデコードする必要がなくなるので、以降のデコード処理の負荷を軽減することができる。   In the next step S <b> 13, the DCT coefficient deletion level of the DCT coefficient deletion unit 105 is determined based on the load level of the inverse DCT calculation unit 106. The DCT coefficient deletion level is determined based on the above equation (2). Then, in the next step S14, it is determined whether or not the DCT coefficient deletion level exceeds the DCT coefficient limit deletion level defined by the parameter acquired in step S01. When exceeding, the DCT coefficient deletion level is set to the DCT coefficient limit deletion level (step S15). In step S16, the DCT coefficient deletion level determined in step S13 or the block deletion level set to the DCT coefficient limit deletion level set in step S15 is output to the DCT coefficient deletion unit 105. DCT coefficient deletion is performed according to the coefficient deletion level. This eliminates the need to decode the deleted DCT coefficient, thereby reducing the load of subsequent decoding processing.

ステップＳ１７およびステップＳ１８では、上記論理式（３）の真偽が判定される。真と判定された場合にはステップＳ１９に進み、偽と判定された場合にはステップＳ２０に進む。ステップＳ１９では、ピクチャ削除レベルがピクチャ限界削除レベルに設定される。ステップＳ２０では、ピクチャ削除レベルがピクチャ基礎削除レベルに設定される。そして、ステップＳ２１では、ピクチャ削除部１０２で設定されたピクチャ削除レベルに従ってピクチャが削除される。   In steps S17 and S18, it is determined whether the logical expression (3) is true or false. If it is determined to be true, the process proceeds to step S19, and if it is determined to be false, the process proceeds to step S20. In step S19, the picture deletion level is set to the picture limit deletion level. In step S20, the picture deletion level is set to the picture basic deletion level. In step S21, the picture is deleted according to the picture deletion level set by the picture deletion unit 102.

そして、デコードが終了したか否かが判断され（ステップＳ２２）、デコードが終了した場合には処理を終了し、終了していない場合にはデコードを継続するためにステップＳ０７に戻る。その後のステップＳ１２におけるブロック削除は、ステップＳ０９またはステップＳ１１で設定されたブロック削除レベルが用いられ、ステップＳ１２におけるブロック削除は、ステップＳ０９またはステップＳ１１で設定されたブロック削除レベルが用いられ、ステップＳ２１におけるピクチャ削除は、ステップＳ１９またはステップＳ２０で設定されたピクチャ削除レベルが用いられる。   Then, it is determined whether or not the decoding is finished (step S22). If the decoding is finished, the process is finished. If the decoding is not finished, the process returns to step S07 to continue the decoding. Subsequent block deletion in step S12 uses the block deletion level set in step S09 or step S11, and block deletion in step S12 uses the block deletion level set in step S09 or step S11. For the picture deletion in step S19, the picture deletion level set in step S19 or step S20 is used.

＜負荷制御部の変形例＞
上述した負荷制御部１０９は、式（１）を用いてブロック削除レベルを決定し、式（２）を用いてＤＣＴ係数削除レベルを決定した。そして、論理式（３）を用いてピクチャ削除レベルを決定した。変形されて負荷制御部１０９は、より動的にブロック削除レベル、ＤＣＴ係数削除レベルおよびピクチャ削除レベルを決定する。 <Modification of load control unit>
The load control unit 109 described above determines the block deletion level using Expression (1), and determines the DCT coefficient deletion level using Expression (2). Then, the picture deletion level is determined using the logical expression (3). The load control unit 109 is deformed to more dynamically determine the block deletion level, the DCT coefficient deletion level, and the picture deletion level.

図２７は、可変長符号展開部１０４、逆ＤＣＴ演算部１０６、動き保証部１０７それぞれの負荷レベルとピクチャ削除レベルを求めるための補正値とを定義したテーブルの一例を示す図である。図２８は、図２７に示す補正値をグラフで示す図である。図２９は、可変長符号展開部１０４、逆ＤＣＴ演算部１０６、動き保証部１０７それぞれの負荷レベルとブロック削除レベルを求めるための補正値とを定義したテーブルの一例を示す図である。図３０は、図２９に示す補正値をグラフで示す図である。図３１は、可変長符号展開部１０４、逆ＤＣＴ演算部１０６、動き保証部１０７それぞれの負荷レベルとＤＣＴ係数削除レベルを求めるための補正値とを定義したテーブルの一例を示す図である。図３２は、図３１に示す補正値をグラフで示す図である。   FIG. 27 is a diagram illustrating an example of a table defining load levels and correction values for obtaining picture deletion levels of the variable-length code expansion unit 104, the inverse DCT calculation unit 106, and the motion assurance unit 107. FIG. 28 is a graph showing the correction values shown in FIG. FIG. 29 is a diagram illustrating an example of a table defining load levels and correction values for obtaining block deletion levels of the variable-length code expansion unit 104, the inverse DCT calculation unit 106, and the motion assurance unit 107. FIG. 30 is a graph showing the correction values shown in FIG. FIG. 31 is a diagram illustrating an example of a table defining load levels and correction values for obtaining DCT coefficient deletion levels of the variable length code expansion unit 104, the inverse DCT calculation unit 106, and the motion assurance unit 107. FIG. 32 is a graph showing the correction values shown in FIG.

図２７、図２９および図３１に示す補正値を得るための関数をＡ（）、Ｂ（）、Ｃ（）とし、次式（４）を用いてブロック削除レベル、ＤＣＴ係数削除レベルおよびＤＣＴ係数削除レベルがそれぞれ求められる。   The functions for obtaining the correction values shown in FIGS. 27, 29, and 31 are A (), B (), and C (), and the block deletion level, DCT coefficient deletion level, and DCT coefficient are expressed using the following equation (4). Each deletion level is required.

（削除レベル）＝ＭＡＸ（０，ＭＩＮ（（限界削除レベル），（基礎削除レベル）＋Ａ（可変長符号展開部負荷レベル）＋Ｂ（逆ＤＣＴ演算部負荷レベル）＋Ｃ（動き保証部負荷レベル））） … （４）
ここで、ＭＩＮは２つの引数から小さい値を選択する関数であり、ＭＡＸは２つの引数から大きい値を選択する関数である。これらの関数は、削除レベルが０以上、かつ、限界削除レベル以下になるよう調節するために用いている。 (Deletion level) = MAX (0, MIN ((limit deletion level), (basic deletion level) + A (variable length code expansion unit load level) + B (inverse DCT operation unit load level) + C (motion assurance unit load level))) (4)
Here, MIN is a function that selects a small value from two arguments, and MAX is a function that selects a large value from two arguments. These functions are used to adjust the deletion level to be 0 or more and not more than the limit deletion level.

たとえば、ピクチャ削除レベルを求める場合を例に説明する。解像度レベルが「２」で、早送りレベルが「２」とすると、図１７よりピクチャ削除レベルの基礎削除レベルは「２」で限界削除レベルは「３」となる。また、可変長符号展開部１０４の負荷レベルが「１」、逆ＤＣＴ演算部１０６の負荷レベルが「２」、動き保証部１０７の負荷レベルが「３」とすると、図２７から、関数Ａ（１）は「−０．５」となり、関数Ｂ（２）は「０．２５」となり、関数Ｃ（３）は「２」となる。これらの値を式（１）に代入してピクチャ削除レベルを求めると次のようになる。   For example, a case where the picture deletion level is obtained will be described as an example. If the resolution level is “2” and the fast-forward level is “2”, the basic deletion level of the picture deletion level is “2” and the limit deletion level is “3” from FIG. Further, assuming that the load level of the variable length code expansion unit 104 is “1”, the load level of the inverse DCT calculation unit 106 is “2”, and the load level of the motion assurance unit 107 is “3”, from FIG. 1) becomes “−0.5”, the function B (2) becomes “0.25”, and the function C (3) becomes “2”. Substituting these values into equation (1) to obtain the picture deletion level is as follows.

（ピクチャ削除レベル）＝ＭＡＸ（０，ＭＩＮ（（３），（２）＋（−０．５）＋（０．２５）＋（２）））＝ＭＡＸ（０，ＭＩＮ（３，３．２５）＝３
図２８からもわかるように、負荷レベルが０〜２の範囲のピクチャ削除レベルの補正値は、可変長符号展開部負荷レベルとの相関が他の負荷レベルとの相関に比べて強くなっており、可変長符号展開部１０４の負荷が上昇するとピクチャ削除レベルの補正値が大きくなる。その結果、ピクチャ削除レベルが上昇する。だだし、この範囲での補正値は図３０に示すブロック削除レベルの補正値や図３２に示すＤＣＴ係数削除レベルの補正値に比べて全体的に小さくなっており、ポリシー１が実現される。また、負荷が非常に大きい場合、すなわち負荷レベル３の場合は、いずれの負荷に対してもピクチャ削除レベルの補正値は大きくなるためポリシー４が実現される。 (Picture deletion level) = MAX (0, MIN ((3), (2) + (− 0.5) + (0.25) + (2))) = MAX (0, MIN (3, 3.25) ) = 3
As can be seen from FIG. 28, the correction value of the picture deletion level in the load level range of 0 to 2 has a stronger correlation with the load level of the variable-length code expanding unit than the correlation with other load levels. When the load on the variable length code expansion unit 104 increases, the correction value for the picture deletion level increases. As a result, the picture deletion level increases. However, the correction value in this range is generally smaller than the correction value of the block deletion level shown in FIG. 30 and the correction value of the DCT coefficient deletion level shown in FIG. 32, and the policy 1 is realized. When the load is very large, that is, when the load level is 3, the policy 4 is realized because the correction value of the picture deletion level becomes large for any load.

図３０を参照して、逆ＤＣＴ演算部１０６の負荷とブロック削除レベルとが強い相関を持つようなテーブルとなっており、逆ＤＣＴ演算部１０６の負荷が高くなるとブロック削除レベルを上げて負荷を軽減するようになっている。同様に、図３２を参照して、可変長符号展開部負荷レベルと逆ＤＣＴ演算部負荷レベルとのグラフは重なっている。このように、動き保証部１０７の負荷とＤＣＴ係数削除レベルとが強い相関を持つようなテーブルとなっており、動き保証部１０７の負荷が高くなるとＤＣＴ係数削除レベルを上げて負荷を軽減するようになっている。このため、ポリシー３が実現される。   Referring to FIG. 30, the table has a strong correlation between the load of inverse DCT calculation unit 106 and the block deletion level. When the load of inverse DCT calculation unit 106 increases, the block deletion level is increased to increase the load. It comes to reduce. Similarly, referring to FIG. 32, the graphs of the variable-length code expansion unit load level and the inverse DCT calculation unit load level overlap. Thus, the table has a strong correlation between the load of the motion assurance unit 107 and the DCT coefficient deletion level. When the load of the motion assurance unit 107 increases, the DCT coefficient deletion level is increased to reduce the load. It has become. For this reason, policy 3 is realized.

パラメータ記憶部１２０に記憶されるパラメータには、削除レベルの補正値を定義するテーブルが含まれる。   The parameters stored in the parameter storage unit 120 include a table defining deletion level correction values.

図３３は、本実施の形態における負荷制御部を変形した動画デコード装置で実行される処理の流れを示すフローチャートである。図３３を参照して、図２６に示した処理の流れと異なるところは、ステップＳ０９およびステップＳ１３それぞれを、ステップＳ０９ＡおよびステップＳ１３Ａに変更した点、ステップＳ１７〜ステップＳ２０をステップＳ３１に変更した点である。その他の処理は同様なのでここでは説明を繰り返さない。   FIG. 33 is a flowchart showing a flow of processing executed by the moving picture decoding apparatus in which the load control unit in this embodiment is modified. Referring to FIG. 33, the difference from the processing flow shown in FIG. 26 is that steps S09 and S13 are changed to steps S09A and S13A, and steps S17 to S20 are changed to step S31. It is. Since other processes are the same, the description will not be repeated here.

ステップＳ０２で受信されるパラメータには、図２７、図２９，図３１に示した各削除レベルの補正値が含まれる。   The parameters received in step S02 include correction values for the respective deletion levels shown in FIGS. 27, 29, and 31.

ステップＳ０９Ａでは、上記（４）式に従ってブロック削除レベルが決定される。また、ステップＳ１３Ａでは、上記（４）式に従ってＤＣＴ係数削除レベルが決定される。さらにステップＳ３１では、上記（４）式に従ってピクチャ削除レベルが決定される。そして、次のステップＳ３２において、ブロック削除レベルがステップＳ０１で取得されたパラメータで定義されたピクチャ限界削除レベルを超えるか否かが判断される。超える場合にはピクチャ削除レベルをピクチャ限界削除レベルに設定する（ステップＳ３３）。   In step S09A, the block deletion level is determined according to the above equation (4). In step S13A, the DCT coefficient deletion level is determined according to the above equation (4). In step S31, the picture deletion level is determined according to the above equation (4). Then, in the next step S32, it is determined whether or not the block deletion level exceeds the picture limit deletion level defined by the parameter acquired in step S01. If it exceeds, the picture deletion level is set to the picture limit deletion level (step S33).

以上、説明したように、第１の実施の形態における動画再生装置１は、早送り再生によって短時間で動画の内容を把握する目的に適した滑らかな再生画像を出力することができる。本実施の形態では、ＭＰＥＧ２を例として説明したが、Ｉピクチャ、Ｐピクチャ、Ｂピクチャといったピクチャの構成とこれを利用した動き保証の仕組みや、輝度信号と色信号を分けて圧縮する仕組み、ＤＣＴやウェーブレット変換による基底変換の仕組みはほとんどの動画圧縮技術に共通する要素である。よって、本実施の形態における動画再生装置１は、ＭＰＥＧ１、ＭＰＥＧ４はもとよりＨ．２６４やＷｉｎｄｏｗｓ（Ｒ） Ｍｅｄｉａ（Ｒ）フォーマット等、様々な動画圧縮技術に広く適用可能である。さらに、本実施の形態では、順方向の早送り再生を例に説明したが、逆方向の巻き戻し再生についても、再生方向が異なるのみであり、本質的に変わるところが無く適用できる。加えて、近い将来提案されるであろう３次元画像の圧縮データについても、動き保証、輝度信号と色信号の分離、基底変換すべてあるいは一部を用いていれば適応可能である。   As described above, the moving image playback apparatus 1 according to the first embodiment can output a smooth playback image suitable for the purpose of grasping the content of a moving image in a short time by fast-forward playback. In this embodiment, MPEG2 has been described as an example. However, a configuration of a picture such as an I picture, a P picture, and a B picture and a motion guarantee mechanism using the picture, a mechanism for separately compressing a luminance signal and a color signal, DCT, The basis conversion mechanism using wavelet transform is an element common to most video compression technologies. Therefore, the moving picture reproducing apparatus 1 according to the present embodiment is not limited to MPEG1 and MPEG4. The present invention is widely applicable to various moving image compression technologies such as H.264 and Windows (R) Media (R) format. Furthermore, although the present embodiment has been described by taking forward fast-forward playback as an example, reverse-rewind playback can be applied with only the playback direction being different and essentially unchanged. In addition, compressed data of a three-dimensional image that will be proposed in the near future can be applied if motion guarantee, separation of luminance and color signals, and all or part of basis conversion are used.

なお、第１の実施の形態における動画デコード装置１２は、ピクチャ削除部１０２、ブロック削除部１０３およびＤＣＴ係数削除部１０５を備えるが、ブロック削除部１０３およびＤＣＴ係数削除部１０５それぞれを単独で備えるようにしてもよいし、ブロック削除部１０３とピクチャ削除部１０２とを備えてもよいし、ＤＣＴ係数削除部１０５とピクチャ削除部１０２とを備えるようにしてもよい。   Note that the moving picture decoding apparatus 12 in the first embodiment includes the picture deletion unit 102, the block deletion unit 103, and the DCT coefficient deletion unit 105, but the block deletion unit 103 and the DCT coefficient deletion unit 105 are provided independently. Alternatively, the block deletion unit 103 and the picture deletion unit 102 may be provided, or the DCT coefficient deletion unit 105 and the picture deletion unit 102 may be provided.

＜第２の実施の形態＞
上述した第１の実施の形態における動画再生装置１は、ブロック削除部１０３およびＤＣＴ係数削除部１０５を備えたが、第２の実施の形態における動画再生装置は、ブロック削除部１０３およびＤＣＴ係数削除部１０５を備えない。その他の点は、上述した動画再生装置１と同様である。 <Second Embodiment>
The moving image reproducing apparatus 1 in the first embodiment described above includes the block deleting unit 103 and the DCT coefficient deleting unit 105. However, the moving image reproducing apparatus in the second embodiment includes the block deleting unit 103 and the DCT coefficient deleting unit. The unit 105 is not provided. Other points are the same as those of the moving image playback apparatus 1 described above.

第２の実施の形態における動画再生装置は、デコード処理の負荷に基づきピクチャ削除レベルを決定してピクチャを削除する。デコード処理は、可変長符号展開部１０４、逆ＤＣＴ演算部１０６および動き保証部１０７で実行される。デコード処理の負荷は、たとえば、可変長符号展開部１０４、逆ＤＣＴ演算部１０６および動き保証部１０７のいずれかの負荷レベルを用いればよい。好ましくは、最も負荷の大きいことが予想される逆ＤＣＴ演算部１０６の負荷を用いることが好ましい。また、可変長符号展開部１０４、逆ＤＣＴ演算部１０６および動き保証部１０７それぞれの負荷レベルの最大値、または、可変長符号展開部１０４、逆ＤＣＴ演算部１０６および動き保証部１０７のうちから選ばれた２つ以上の平均値などを用いることができる。   The moving picture reproducing apparatus according to the second embodiment determines a picture deletion level based on a decoding processing load and deletes a picture. The decoding process is executed by the variable length code expansion unit 104, the inverse DCT calculation unit 106, and the motion assurance unit 107. As the load of the decoding process, for example, any one of the load levels of the variable-length code expansion unit 104, the inverse DCT calculation unit 106, and the motion assurance unit 107 may be used. It is preferable to use the load of the inverse DCT calculation unit 106 that is expected to have the largest load. Also, the maximum load level of each of the variable length code expansion unit 104, the inverse DCT calculation unit 106, and the motion assurance unit 107, or the variable length code expansion unit 104, the inverse DCT calculation unit 106, and the motion assurance unit 107 is selected. Two or more average values obtained can be used.

第２の実施の形態における動画再生装置は、デコード処理の負荷レベルが「０」のときにピクチャ削除レベルを「０」とし、デコード処理の負荷レベルが「１」のときにピクチャ削除レベルを「１」とし、デコード処理の負荷レベルが「２」のときにピクチャ削除レベルを「２」とし、デコード処理の負荷レベルが「３」のときにピクチャ削除レベルを「３」とする。   The video playback device in the second embodiment sets the picture deletion level to “0” when the decoding processing load level is “0”, and sets the picture deletion level to “0” when the decoding processing load level is “1”. The picture deletion level is “2” when the load level of the decoding process is “2”, and the picture deletion level is “3” when the load level of the decoding process is “3”.

第２の実施の形態おける動画再生装置は、デコード処理の負荷レベルが「０」のときに、ユーザが入力した早送りレベルとフレームレートとに従って出力するべき出力ピクチャを決定する。そして、出力ピクチャとそれを参照する参照ピクチャを除く利用されないピクチャを削除する。これにより、デコード処理するデータ量が削減されるのでデコード処理の負荷を軽減することができる。   The moving picture reproducing apparatus according to the second embodiment determines an output picture to be output according to the fast-forward level and the frame rate input by the user when the load level of the decoding process is “0”. Then, unused pictures other than the output picture and the reference picture that refers to the output picture are deleted. As a result, the amount of data to be decoded is reduced, so that the load of the decoding process can be reduced.

また、第２の実施の形態おける動画再生装置は、デコード処理の負荷レベルが「１」または「２」のときに、出力ピクチャがｍ／４枚前またはｍ／２枚前までに参照ピクチャを有する場合にはその出力ピクチャを削除する。その参照ピクチャが出力ピクチャに代えてデコードされる。出力ピクチャが参照ピクチャを有する場合には、出力ピクチャをデコードするためには参照ピクチャをデコードする必要がある。第２の実施の形態おける動画再生装置は出力ピクチャに代えて参照ピクチャをデコードすればよいのでデータ量が削減される。その結果デコード処理の負荷を軽減することができる。   In addition, the moving picture reproducing apparatus according to the second embodiment, when the load level of the decoding process is “1” or “2”, outputs the reference picture up to m / 4 or m / 2 before the output picture. If so, the output picture is deleted. The reference picture is decoded instead of the output picture. When the output picture has a reference picture, it is necessary to decode the reference picture in order to decode the output picture. Since the moving picture reproducing apparatus in the second embodiment only has to decode the reference picture instead of the output picture, the data amount is reduced. As a result, the load of decoding processing can be reduced.

さらに、第２の実施の形態おける動画再生装置は、デコード処理の負荷レベルが「３」のときに、ユーザが入力した早送りレベルとフレームレートより低いフレームレートとに従って出力するべき出力ピクチャを決定することにより、出力ピクチャを削除する。出力ピクチャが間引かれるためデータ量が削減される。その結果デコード処理の負荷を軽減することができる。   Furthermore, when the load level of the decoding process is “3”, the video playback device in the second embodiment determines an output picture to be output according to the fast-forward level input by the user and a frame rate lower than the frame rate. As a result, the output picture is deleted. Since the output picture is thinned out, the data amount is reduced. As a result, the load of decoding processing can be reduced.

＜第３の実施の形態＞
第１または第２の実施の形態における動画再生装置１は、動画の内容を容易に把握できるような滑らかな早送り再生が可能な動画再生装置を実現する。各削除部によって情報が削除された動画データは情報量が減少するため、より伝送が容易になるという性質も併せ持つ。第３の実施の形態における動画再生システムは、第１または第２の実施の形態における動画再生装置１を動画送信装置と動画受信装置とに分割して構成される。 <Third Embodiment>
The moving picture playback apparatus 1 in the first or second embodiment realizes a moving picture playback apparatus capable of smooth fast-forward playback so that the contents of the moving picture can be easily grasped. The moving image data from which information has been deleted by each deletion unit has the property that the amount of information is reduced, so that transmission becomes easier. The video playback system in the third embodiment is configured by dividing the video playback device 1 in the first or second embodiment into a video transmission device and a video reception device.

図３４は、第３の実施形態における動画再生システムの概略構成を示すブロック図である。動画再生システムは、動画送信装置３と、動画受信装置４とを含み、それらが伝送路５によって接続されている。動画受信装置４の出力は表示装置２に接続されている。伝送路５は双方向の伝送が可能であれば有線であっても、無線であってもよい。   FIG. 34 is a block diagram illustrating a schematic configuration of a moving image reproduction system according to the third embodiment. The moving image reproduction system includes a moving image transmission device 3 and a moving image reception device 4, which are connected by a transmission path 5. The output of the moving picture receiving device 4 is connected to the display device 2. The transmission path 5 may be wired or wireless as long as bidirectional transmission is possible.

動画送信装置３は、ハードディスク装置１０からＭＰＥＧ形式で圧縮された動画データを読出して、動画受信装置４に伝送路５を介して動画データを伝送する。動画受信装置４は、受信した動画データを表示装置２に出力する。   The moving picture transmitting device 3 reads moving picture data compressed in the MPEG format from the hard disk device 10 and transmits the moving picture data to the moving picture receiving device 4 via the transmission path 5. The moving image receiving device 4 outputs the received moving image data to the display device 2.

動画送信装置３は、ＭＰＥＧ形式で圧縮された動画データを記録するハードディスク装置１０と、ハードディスク装置１０を制御して適切なビットレートで圧縮動画データを読み出すための読出制御装置１１と、圧縮動画データを伝送に適した変換済み動画データに変換する動画変換装置２２と、伝送路５への信号入出力を行う送信装置２３と、伝送路の状態によって最適な送信信号のレベルやビットレート、伝送誤りを生じたデータの再送を送信装置２３に指示する送信側再送制御装置２４とを含む。   The moving image transmitting device 3 includes a hard disk device 10 that records moving image data compressed in MPEG format, a read control device 11 that controls the hard disk device 10 to read out compressed moving image data at an appropriate bit rate, and compressed moving image data. Is converted into converted moving image data suitable for transmission, a transmission device 23 for inputting / outputting signals to / from the transmission line 5, and an optimum transmission signal level, bit rate, and transmission error depending on the state of the transmission line And a transmission-side retransmission control device 24 that instructs the transmission device 23 to retransmit the data that has occurred.

動画受信装置４は、送信側再送制御装置２４と対になってエラーの検出や伝送誤りの補正およびデータの再送制御を行う受信側再送制御装置２５と、伝送路５からの信号入出力を行う受信装置２６と、変換済み動画データをデコードして展開された画像に変換する変換済み動画デコード装置２７と、展開された画像を適切な信号形式に変換して表示装置２に送出するビデオ信号発生装置１３とを含む。ビデオ信号発生装置１３は展開された画像を表示装置２に適した解像度に拡大または縮小する処理を行うこともある。   The moving picture receiving device 4 inputs and outputs a signal from the transmission path 5 with a receiving-side retransmission control device 25 paired with the transmitting-side retransmission control device 24 to detect errors, correct transmission errors, and control data retransmission. Receiving device 26, converted moving image decoding device 27 that decodes converted moving image data and converts it into a developed image, and video signal generation that converts the developed image into an appropriate signal format and sends it to display device 2 Device 13. The video signal generator 13 may perform processing for enlarging or reducing the developed image to a resolution suitable for the display device 2.

図３４において、変換済み動画デコード装置２７から送信装置２３ならびに伝送路５、受信装置２６を介して動画変換装置２２にいたる経路は後述する受信側負荷情報の伝送経路を、送信装置２３から受信装置２６への経路は変換済み動画データの伝送経路を、送信側再送制御装置２４と受信側再送制御装置２５とを結ぶ経路は、伝送のための制御情報（フローコントロール、再送要求等）の伝送経路をそれぞれ示している。   In FIG. 34, the route from the converted video decoding device 27 to the video transmission device 22 via the transmission device 23, the transmission path 5, and the reception device 26 is a transmission path for receiving side load information, which will be described later, and the transmission device 23 to the reception device. 26 is a transmission path of converted video data, and a path connecting the transmission side retransmission control device 24 and the reception side retransmission control device 25 is a transmission route of control information (flow control, retransmission request, etc.) for transmission. Respectively.

なお、動画送信装置３および動画受信装置４は、入力されたビデオ信号をＭＰＥＧ形式で圧縮された動画データに変換するための動画エンコード装置、ユーザが動画再生装置を操作するためのユーザインタフェース、再生状況をはじめとする各種情報を表示するための情報表示装置などを備える。また、送信装置２３、受信装置２６、送信側再送制御装置２４、受信側再送制御装置２５の詳細については、各種の有線・無線ローカルエリアネットワーク装置等、一般的な伝送技術として既知であるためここでは説明を繰り返さない。   The moving image transmitting device 3 and the moving image receiving device 4 include a moving image encoding device for converting an input video signal into moving image data compressed in MPEG format, a user interface for a user to operate the moving image reproducing device, and reproduction. An information display device for displaying various information including the situation is provided. Further, details of the transmission device 23, the reception device 26, the transmission-side retransmission control device 24, and the reception-side retransmission control device 25 are known as general transmission techniques such as various wired / wireless local area network devices. The explanation will not be repeated.

変換済み動画データはリアルタイム性を要求するデータであるため、ここで用いられる伝送技術はＱｏＳ（Ｑｕａｌｉｔｙ ｏｆ Ｓｅｒｖｉｃｅ）を保証していることが望ましい。   Since the converted moving image data is data that requires real-time properties, it is desirable that the transmission technique used here guarantees QoS (Quality of Service).

図３５は、動画送信装置３の動画変換装置２２の機能の概要を示す機能ブロック図である。動画変換装置２２は連続した圧縮動画データの構造解析を行う構造解析部１０１と、重要度の低いピクチャを選択して削除するピクチャ削除部１０２と、重要度の低いブロックを選択して削除するブロック削除部１０３と、ピクチャとブロックが削除された動画情報を再び構造化して伝送可能にする変換済み動画構造化部１１１と、動画受信装置４からの負荷情報に基づいてピクチャ削除部１０２とブロック削除部１０３の削除レベルを決定する送信側負荷制御部１１０とを含む。   FIG. 35 is a functional block diagram illustrating an outline of functions of the moving image conversion device 22 of the moving image transmission device 3. The moving image conversion apparatus 22 includes a structure analysis unit 101 that performs a structural analysis of continuous compressed moving image data, a picture deletion unit 102 that selects and deletes a less important picture, and a block that selects and deletes a less important block. Deletion unit 103, converted moving image structuring unit 111 that restructures and transmits moving image information from which pictures and blocks have been deleted, and picture deletion unit 102 and block deletion based on load information from moving image receiving apparatus 4 A transmission side load control unit 110 that determines a deletion level of the unit 103.

図３６は、動画受信装置４の変換済み動画デコード装置２７の機能の概要を示す機能ブロック図である。変換済み動画デコード装置２７は、変換済み動画構造化部で構造化された動画データについて、再びＧＯＰ、ピクチャ、スライス、ブロック、ブロックに階層化された構造を解析する変換済み動画構造解析部１１３と、各ピクチャの可変長符号の展開と逆量子化を行ってＤＣＴ係数を出力する可変長符号展開部１０４と、重要度の低いＤＣＴ係数を選択して削除するＤＣＴ係数削除部１０５と、逆ＤＣＴ演算を行ってブロックを出力する逆ＤＣＴ演算部１０６と、動き保証処理を行って最終的なデコード結果である画像を出力する動き保証部１０７と、デコード処理中およびその前後のピクチャの画像を格納するメモリ部１０８と、デコード処理の負荷状態に適した削除レベルを決定し、送信側負荷制御部１１０とＤＣＴ係数削除部１０５に指示する受信側負荷制御部１１２とを含む。   FIG. 36 is a functional block diagram showing an overview of the functions of the converted video decoding device 27 of the video receiving device 4. The converted moving picture decoding device 27 has a converted moving picture structure analyzing unit 113 that analyzes the structure of the moving picture data structured by the converted moving picture structuring unit again in a GOP, a picture, a slice, a block, and a block. A variable-length code expansion unit 104 that performs expansion and inverse quantization of the variable-length code of each picture and outputs a DCT coefficient, a DCT coefficient deletion unit 105 that selects and deletes a DCT coefficient having low importance, and an inverse DCT Inverse DCT operation unit 106 that performs operations and outputs blocks, motion assurance unit 107 that performs motion assurance processing and outputs an image as a final decoding result, and stores images of pictures during and before and after the decoding processing And a deletion level suitable for the load state of the decoding process is determined, and the transmission side load control unit 110 and the DCT coefficient deletion unit 105 are determined. And a Shimesuru receiving-side load control unit 112.

構造解析部１０１、ピクチャ削除部１０２、ブロック削除部１０３、可変長符号展開部１０４、ＤＣＴ係数削除部１０５、逆ＤＣＴ演算部、動き保証部１０７、メモリ部１０８については第１の実施の形態におけるそれらと同様であるため説明は繰り返さない。   The structure analysis unit 101, picture deletion unit 102, block deletion unit 103, variable length code expansion unit 104, DCT coefficient deletion unit 105, inverse DCT calculation unit, motion assurance unit 107, and memory unit 108 are the same as those in the first embodiment. Since these are the same, the description will not be repeated.

変換済み動画構造化部１１１と変換済み動画構造解析部１１３とは対になっている。変換済み動画構造化部１１１は、ＧＯＰ、ピクチャ、スライス、ブロック、ブロックの構造を持つ動画情報を伝送路で伝送可能な連続的な変換済み動画データに変換する。変換済み動画構造解析部１１３は、伝送路で伝送された連続的な変換済み動画データから再びＧＯＰ、ピクチャ、スライス、ブロック、ブロックの構造の構造を取出す。   The converted moving image structuring unit 111 and the converted moving image structure analyzing unit 113 are paired. The converted moving image structuring unit 111 converts moving image information having a GOP, picture, slice, block, or block structure into continuous converted moving image data that can be transmitted through a transmission path. The converted moving image structure analysis unit 113 extracts the structure of the GOP, picture, slice, block, and block structure from the continuous converted moving image data transmitted through the transmission path.

動画変換装置２２と変換済み動画デコード装置２７は、第１の実施の形態における動画デコード装置１２を処理の流れに沿って前半部分と後半部分に分離した構成となっている。送信側負荷制御部１１０と受信側負荷制御部１１２とは、第１の実施の形態における負荷制御部１０９の機能を分割したものであり、一体となって負荷制御部１０９と同じ機能を実現する。受信側負荷制御部１１２では、可変長符号展開部１０４、逆ＤＣＴ演算部１０６、動き保証部１０７の負荷レベルが検出され、検出された負荷レベルが可変長符号展開部１０４、逆ＤＣＴ演算部１０６、動き保証部１０７に伝送路５を介して伝えられる。   The moving image conversion device 22 and the converted moving image decoding device 27 have a configuration in which the moving image decoding device 12 in the first embodiment is separated into a first half portion and a second half portion along the flow of processing. The transmission side load control unit 110 and the reception side load control unit 112 are obtained by dividing the function of the load control unit 109 in the first embodiment, and realize the same function as the load control unit 109 together. . The receiving side load control unit 112 detects the load levels of the variable length code expansion unit 104, the inverse DCT calculation unit 106, and the motion assurance unit 107, and the detected load levels are the variable length code expansion unit 104 and the inverse DCT calculation unit 106. , Is transmitted to the motion assurance unit 107 via the transmission path 5.

第３の実施の形態における動画変換装置２２と変換済み動画デコード装置２７との役割分担は一例であり、例えば、可変長符号展開部１０４を動画変換装置２２のピクチャ削除部１０２と変換済み動画構造化部１１１の間に配置することも考えられる。可変長符号展開部１０４の出力はその入力に比べてデータ量が増大するため、伝送という観点からはあまり望ましくない構成ではあるが、ピクチャ削除部とブロック削除部によるデータ量の削減は有効である。   The division of roles between the moving image conversion device 22 and the converted moving image decoding device 27 in the third embodiment is merely an example. For example, the variable length code expansion unit 104 is replaced with the picture deletion unit 102 of the moving image conversion device 22 and the converted moving image structure. It is also conceivable to arrange them between the conversion units 111. Since the output of the variable-length code expansion unit 104 has a data amount that is larger than that of the input, the configuration is not so desirable from the viewpoint of transmission, but the reduction of the data amount by the picture deletion unit and the block deletion unit is effective. .

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。   The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.

本発明の第１の実施の形態における動画再生装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the moving image reproduction apparatus in the 1st Embodiment of this invention. ＭＰＥＧ２方式で圧縮された圧縮動画データのピクチャの並びを示す図である。It is a figure which shows the arrangement | sequence of the picture of the compression moving image data compressed by the MPEG2 system. ピクチャ、スライス、マクロブロック、ブロックの階層構造を説明するための図である。It is a figure for demonstrating the hierarchical structure of a picture, a slice, a macroblock, and a block. 第１の実施の形態における動画デコード装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the moving image decoding apparatus in 1st Embodiment. ブロックをＤＣＴ係数列に変換する手順を示す図である。It is a figure which shows the procedure which converts a block into a DCT coefficient sequence. ４倍速再生の場合に選択されるピクチャを説明するための図である。It is a figure for demonstrating the picture selected in the case of 4 time speed reproduction | regeneration. ＤＣＴ係数削除処理を説明するための図である。It is a figure for demonstrating a DCT coefficient deletion process. 負荷レベルの一例を示す図である。It is a figure which shows an example of a load level. ピクチャ削除部、ブロック削除部およびＤＣＴ係数削除部それぞれに対する削除レベルとそのレベルに応じた削除処理との関係の一例を示す図である。It is a figure which shows an example of the relationship between the deletion level with respect to each of a picture deletion part, a block deletion part, and a DCT coefficient deletion part, and the deletion process according to the level. ピクチャ削除部１０２について、ｍ＝４（４倍速再生）の場合に図９の関係を適応した際のピクチャ削除部による削除結果を説明する図である。FIG. 10 is a diagram for explaining a deletion result by the picture deletion unit when the relationship of FIG. 9 is applied to the picture deletion unit 102 when m = 4 (4 × speed reproduction). ピクチャ削除部１０２で実行されるピクチャ削除処理により残されるピクチャの数の一例を削除レベル別に示す図である。It is a figure which shows an example of the number of the pictures left by the picture deletion process performed in the picture deletion part 102 according to deletion level. 早送りレベルの一例を示す図である。It is a figure which shows an example of a fast-forward level. ビットレートとＦＦＬとの関係を示す図である。It is a figure which shows the relationship between a bit rate and FFL. 縦解像度範囲とＭＰＲＬとの関係の一例を示す図である。It is a figure which shows an example of the relationship between a vertical resolution range and MPRL. 横解像度範囲とＭＰＲＬとの関係の一例を示す図である。It is a figure which shows an example of the relationship between a horizontal resolution range and MPRL. ブロック数の範囲とＭＰＲＬとの関係の一例を示す図である。It is a figure which shows an example of the relationship between the range of a block number, and MPRL. ピクチャ削除部に与えられるピクチャ削除レベル（ＰＤＬ）の基礎削除レベルと限界削除レベルとの関係を定義するテーブルの一例を示す図である。It is a figure which shows an example of the table which defines the relationship between the basic deletion level of the picture deletion level (PDL) given to a picture deletion part, and a limit deletion level. 図１７に示すピクチャ削除レベル（ＰＤＬ）の基礎削除レベルを３次元グラフで示した図である。It is the figure which showed the basic deletion level of the picture deletion level (PDL) shown in FIG. 17 with the three-dimensional graph. 図１７に示すピクチャ削除レベル（ＰＤＬ）の限界削除レベルを３次元グラフで示した図である。It is the figure which showed the limit deletion level of the picture deletion level (PDL) shown in FIG. 17 with the three-dimensional graph. ブロック削除部に与えられるブロック削除レベル（ＢＤＬ）の基礎削除レベルと限界削除レベルとの関係を定義するテーブルの一例を示す図である。It is a figure which shows an example of the table which defines the relationship between the basic deletion level of a block deletion level (BDL) given to a block deletion part, and a limit deletion level. 図２０に示すブロック削除レベル（ＢＤＬ）の基礎削除レベルを３次元グラフで示した図である。It is the figure which showed the basic deletion level of the block deletion level (BDL) shown in FIG. 20 with the three-dimensional graph. 図２０に示すブロック削除レベル（ＢＤＬ）の限界削除レベルを３次元グラフで示した図である。It is the figure which showed the limit deletion level of the block deletion level (BDL) shown in FIG. 20 with the three-dimensional graph. ＤＣＴ係数削除部に与えられるＤＣＴ係数削除レベル（ＤＦＤＬ）の基礎削除レベルと限界削除レベルとの関係を定義するテーブルの一例を示す図である。It is a figure which shows an example of the table which defines the relationship between the basic deletion level of the DCT coefficient deletion level (DFDL) given to a DCT coefficient deletion part, and a limit deletion level. 図２３に示すＤＣＴ係数削除レベル（ＤＦＤＬ）の基礎削除レベルを３次元グラフで示した図である。It is the figure which showed the basic deletion level of the DCT coefficient deletion level (DFDL) shown in FIG. 23 with the three-dimensional graph. 図２３に示すＤＣＴ係数削除レベル（ＤＦＤＬ）の限界削除レベルを３次元グラフで示した図である。It is the figure which showed the limit deletion level of the DCT coefficient deletion level (DFDL) shown in FIG. 23 with the three-dimensional graph. 第１の実施の形態における動画デコード装置で実行される処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the process performed with the moving image decoding apparatus in 1st Embodiment. 可変長符号展開部、逆ＤＣＴ演算部、動き保証部それぞれの負荷レベルとピクチャ削除レベルを求めるための補正値とを定義したテーブルの一例を示す図である。It is a figure which shows an example of the table which defined the correction value for calculating | requiring the load level and picture deletion level of a variable-length code expansion | deployment part, an inverse DCT calculating part, and a motion guarantee part. 図２７に示す補正値をグラフで示す図である。It is a figure which shows the correction value shown in FIG. 27 with a graph. 可変長符号展開部１０４、逆ＤＣＴ演算部１０６、動き保証部１０７それぞれの負荷レベルとブロック削除レベルを求めるための補正値とを定義したテーブルの一例を示す図である。It is a figure which shows an example of the table which defined the correction value for calculating | requiring the load level of each of the variable-length code expansion | deployment part 104, the inverse DCT calculating part 106, and the motion guarantee part 107, and a block deletion level. 図２９に示す補正値をグラフで示す図である。It is a figure which shows the correction value shown in FIG. 29 with a graph. 可変長符号展開部１０４、逆ＤＣＴ演算部１０６、動き保証部１０７それぞれの負荷レベルとＤＣＴ係数削除レベルを求めるための補正値とを定義したテーブルの一例を示す図である。It is a figure which shows an example of the table which defined the correction value for calculating | requiring the load level and DCT coefficient deletion level of each of the variable-length code expansion | deployment part 104, the inverse DCT calculating part 106, and the motion guarantee part 107. 図３１に示す補正値をグラフで示す図である。It is a figure which shows the correction value shown in FIG. 31 with a graph. 第１の実施の形態における負荷制御部を変形した動画デコード装置で実行される処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the process performed with the moving image decoding apparatus which deform | transformed the load control part in 1st Embodiment. 第３の実施形態における動画再生システムの概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the moving image reproduction system in 3rd Embodiment. 動画送信装置の動画変換装置の機能の概要を示す機能ブロック図である。It is a functional block diagram which shows the outline | summary of the function of the moving image converter of a moving image transmitter. 動画受信装置の変換済み動画デコード装置の機能の概要を示す機能ブロック図である。It is a functional block diagram which shows the outline | summary of the function of the converted moving image decoding apparatus of a moving image receiver.

符号の説明Explanation of symbols

１ 動画再生装置、２ 表示装置、３ 動画送信装置、４ 動画受信装置、５ 伝送路、１０ ハードディスク装置、１１ 読出制御装置、１２ 動画デコード装置、１３ ビデオ信号発生装置、１４ ユーザインタフェース、２２ 動画変換装置、２３ 送信装置、２４ 送信側再送制御装置、２５ 受信側再送制御装置、２６ 受信装置、２７ 動画デコード装置、１０１ 構造解析部、１０２ ピクチャ削除部、１０３ ブロック削除部、１０４ 可変長符号展開部、１０５ ＤＣＴ係数削除部、１０６ ＤＣＴ演算部、１０７ 動き保証部、１０８ メモリ部、１０９ 負荷制御部、１１０ 送信側負荷制御部、１１１ 動画構造化部、１１２ 受信側負荷制御部、１１３ 変更済み動画構造解析部、１２０ パラメータ記憶部、１２１ パラメータ選択部。   1 video playback device, 2 display device, 3 video transmission device, 4 video reception device, 5 transmission line, 10 hard disk device, 11 readout control device, 12 video decoding device, 13 video signal generation device, 14 user interface, 22 video conversion Device, 23 transmitting device, 24 transmitting side retransmission control device, 25 receiving side retransmission control device, 26 receiving device, 27 video decoding device, 101 structure analyzing unit, 102 picture deleting unit, 103 block deleting unit, 104 variable length code expanding unit , 105 DCT coefficient deletion unit, 106 DCT calculation unit, 107 motion assurance unit, 108 memory unit, 109 load control unit, 110 transmission side load control unit, 111 video structuring unit, 112 reception side load control unit, 113 modified video Structural analysis unit, 120 parameter storage unit, 121 parameter selection .

Claims (17)

実時間に対応した動画データがエンコードされた圧縮動画データを入力する入力手段と、
前記実時間を短縮して前記動画データを出力する短縮指示を受付ける指示受付手段と、
前記圧縮動画データを解析して、前記受付けられた短縮指示と予め定められたフレームレートとに基づいて出力ピクチャを決定する出力ピクチャ決定手段と、
前記決定された出力ピクチャを除くピクチャに対応する圧縮動画データ、または該出力ピクチャが参照ピクチャを有する場合には該出力ピクチャと該参照ピクチャとを除くピクチャに対応する圧縮動画データを削除するピクチャ削除手段とを備えた、圧縮動画データデコード装置。 Input means for inputting compressed video data in which video data corresponding to real time is encoded;
Instruction accepting means for accepting a shortening instruction to shorten the real time and output the video data;
Analyzing the compressed moving image data and determining an output picture based on the accepted shortening instruction and a predetermined frame rate;
Compressed video data corresponding to a picture excluding the determined output picture, or a picture deletion that deletes compressed video data corresponding to a picture excluding the output picture and the reference picture when the output picture has a reference picture And a compressed moving image data decoding device. 前記ピクチャ削除手段により一部のピクチャが削除された圧縮動画像データをデコードするデコード手段と、
前記デコード手段の負荷を検出する負荷検出手段と、
前記予め定められたフレームレートにより定まるタイミングで、前記デコードされた出力ピクチャまたは参照ピクチャを出力する出力手段とをさらに備え、
前記ピクチャ削除手段は、前記負荷が第１のレベルを超えた場合に、前記出力ピクチャが参照ピクチャを有することを条件に、該出力ピクチャに対応する圧縮動画像データをさらに削除し、
前記出力手段は、前記ピクチャ削除手段により削除された出力ピクチャに代えて該出力ピクチャの参照ピクチャを出力する、請求項１に記載の圧縮動画データデコード装置。 Decoding means for decoding compressed video data from which some pictures have been deleted by the picture deleting means;
Load detection means for detecting the load of the decoding means;
Output means for outputting the decoded output picture or reference picture at a timing determined by the predetermined frame rate;
The picture deleting means further deletes the compressed video data corresponding to the output picture on the condition that the output picture has a reference picture when the load exceeds a first level,
The compressed moving image data decoding apparatus according to claim 1, wherein the output unit outputs a reference picture of the output picture instead of the output picture deleted by the picture deletion unit. 前記出力ピクチャ決定手段は、前記負荷が前記第１のレベルより大きい第２のレベルを超えた場合には、前記受付けられた短縮指示と前記予め定められたフレームレートよりも低いフレームレートに基づき前記出力ピクチャを決定する、請求項２に記載の圧縮動画データデコード装置。   When the load exceeds a second level that is greater than the first level, the output picture determination unit is configured to perform the output picture determination based on the received shortening instruction and a frame rate that is lower than the predetermined frame rate. The compressed moving image data decoding apparatus according to claim 2, wherein an output picture is determined. 実時間に対応した動画データがエンコードされた圧縮動画データを入力する入力手段と、
前記圧縮動画データの一部を削除する削除手段と、
前記圧縮動画データをデコードするデコード手段と、
前記デコード手段の負荷を検出する負荷検出手段と、
前記検出された負荷に応じて前記削除手段により削除するデータ量を制御する制御部とを備えた、圧縮動画データデコード装置。 Input means for inputting compressed video data in which video data corresponding to real time is encoded;
Deleting means for deleting a part of the compressed video data;
Decoding means for decoding the compressed video data;
Load detection means for detecting the load of the decoding means;
A compressed moving image data decoding apparatus comprising: a control unit that controls a data amount to be deleted by the deleting unit according to the detected load. 前記削除手段は、解像度を低下させるために前記圧縮動画データの輝度ブロックの一部を削除する解像度変換手段を含み、
解像度変換手段は、前記デコード手段の負荷が大きいほど削除するデータ量を多くする解像度レベル変更手段を含む、請求項４に記載の圧縮動画データデコード装置。 The deletion means includes resolution conversion means for deleting a part of the luminance block of the compressed moving image data in order to reduce the resolution,
5. The compressed moving image data decoding device according to claim 4, wherein the resolution converting means includes resolution level changing means for increasing the amount of data to be deleted as the load on the decoding means increases. 前記解像度変更手段は、前記圧縮動画データの解像度が高いほど削除可能なデータ量の限界を大きな限界量に決定する限界量決定手段を含む、請求項５に記載の圧縮動画データデコード装置。   6. The compressed moving image data decoding device according to claim 5, wherein the resolution changing unit includes a limit amount determining unit that determines a limit of a data amount that can be deleted as a larger limit amount as the resolution of the compressed moving image data is higher. 予め定められたフレームレートにより定まるタイミングで、前記デコードされた出力ピクチャまたは参照ピクチャを出力する出力手段をさらに備え、
前記削除手段は、前記圧縮動画データを解析して、予め定められたフレームレートに基づいて出力ピクチャを決定する出力ピクチャ決定手段と、
前記負荷が第１のレベルを超えたことを条件に、参照ピクチャを有する前記出力ピクチャに対応する圧縮動画像データを削除するピクチャ削除手段とをさらに含み、
前記出力手段は、前記ピクチャ削除手段により削除された出力ピクチャに代えて参照ピクチャを出力する、請求項６に記載の圧縮動画データデコード装置。 Output means for outputting the decoded output picture or reference picture at a timing determined by a predetermined frame rate;
The deleting unit analyzes the compressed moving image data and determines an output picture based on a predetermined frame rate;
A picture deleting unit that deletes the compressed video data corresponding to the output picture having a reference picture, on condition that the load exceeds a first level;
The compressed moving image data decoding apparatus according to claim 6, wherein the output means outputs a reference picture instead of the output picture deleted by the picture deletion means. 前記出力ピクチャ決定手段は、前記解像度変換手段による削除可能なデータ量が限界量に達したことをさらに条件として、前記予め定められたフレームレートよりも低いフレームレートに基づき前記出力ピクチャを決定する、請求項７に記載の圧縮動画データデコード装置。   The output picture determining means determines the output picture based on a frame rate lower than the predetermined frame rate, on the condition that the amount of data that can be deleted by the resolution converting means has reached a limit amount. The compressed moving image data decoding apparatus according to claim 7. 前記実時間を短縮して前記動画データを出力する短縮指示を受付ける指示受付手段をさらに備え、
前記出力ピクチャ決定手段は、圧縮動画データを解析して、前記受付けられた短縮指示と前記予め定められたフレームレートとに基づいて出力ピクチャを決定する、請求項７に記載の圧縮動画データデコード装置。 An instruction receiving means for receiving a shortening instruction for shortening the real time and outputting the video data;
8. The compressed moving image data decoding apparatus according to claim 7, wherein the output picture determining means analyzes compressed moving image data and determines an output picture based on the accepted shortening instruction and the predetermined frame rate. . 前記削除手段は、前記圧縮動画データのうち処理対象ピクチャの色差ブロックを前記処理対象ピクチャと所定の時間的距離内にあるより前のピクチャの色差ブロックに置換える色ブロック置換手段を含み、
前記色ブロック置換手段は、前記デコード手段の負荷が大きいほど前記所定の時間的距離を長くするブロック置換レベル変更手段を含む、請求項４に記載の圧縮動画データデコード装置。 The deletion means includes color block replacement means for replacing a color difference block of a processing target picture in the compressed moving image data with a color difference block of a previous picture within a predetermined temporal distance from the processing target picture,
5. The compressed moving image data decoding device according to claim 4, wherein the color block replacement means includes block replacement level changing means for increasing the predetermined time distance as the load on the decoding means increases. 予め定められたフレームレートにより定まるタイミングで、前記デコードされた出力ピクチャまたは参照ピクチャを出力する出力手段をさらに備え、
前記削除手段は、前記圧縮動画データを解析して、予め定められたフレームレートに基づいて出力ピクチャを決定する出力ピクチャ決定手段と、
前記負荷が第１のレベルを超えたことを条件に、参照ピクチャを有する前記出力ピクチャに対応する圧縮動画像データを削除するピクチャ削除手段とをさらに含み、
前記出力手段は、前記ピクチャ削除手段により削除された出力ピクチャに代えて参照ピクチャを出力する、請求項１０に記載の圧縮動画データデコード装置。 Output means for outputting the decoded output picture or reference picture at a timing determined by a predetermined frame rate;
The deleting unit analyzes the compressed moving image data and determines an output picture based on a predetermined frame rate;
A picture deleting unit that deletes the compressed video data corresponding to the output picture having a reference picture, on condition that the load exceeds a first level;
The compressed moving image data decoding apparatus according to claim 10, wherein the output means outputs a reference picture instead of the output picture deleted by the picture deleting means. 前記実時間を短縮して前記動画データを出力する短縮指示を受付ける指示受付手段をさらに備え、
前記出力ピクチャ決定手段は、圧縮動画データを解析して、前記受付けられた短縮指示と前記予め定められたフレームレートとに基づいて出力ピクチャを決定する、請求項１１に記載の圧縮動画データデコード装置。 An instruction receiving means for receiving a shortening instruction for shortening the real time and outputting the video data;
12. The compressed moving image data decoding device according to claim 11, wherein the output picture determining means analyzes compressed moving image data and determines an output picture based on the accepted shortening instruction and the predetermined frame rate. . 前記色ブロック置換手段は、前記指示受付手段により受付けられた短縮指示の短縮率が大きいほど前記所定の時間的距離の限界距離を長い値に決定する限界距離決定手段を含む、請求項１２に記載の圧縮動画データデコード装置。   The color block replacement unit includes a limit distance determination unit that determines a limit distance of the predetermined temporal distance to be a longer value as the shortening rate of the shortening instruction received by the instruction receiving unit is larger. Compressed video data decoding device. 前記出力ピクチャ決定手段は、前記ブロック置換レベル変更手段により前記所定の時間的距離が前記限界距離に達したことをさらに条件として、前記予め定められたフレームレートよりも低いフレームレートに基づき前記出力ピクチャを決定する、請求項１３に記載の圧縮動画データデコード装置。   The output picture determining means is further conditioned on the basis of a frame rate lower than the predetermined frame rate on the condition that the predetermined temporal distance has reached the limit distance by the block replacement level changing means. The compressed moving image data decoding apparatus according to claim 13, wherein: 前記削除手段により削除するデータの量を決定するためのパラメータを取得する取得手段をさらに備え、
前記制御手段は、前記取得されたパラメータを用いて前記削除手段により削除するデータ量を制御する、請求項４に記載の圧縮動画データデコード装置。 An acquisition unit for acquiring a parameter for determining the amount of data to be deleted by the deletion unit;
The compressed moving image data decoding apparatus according to claim 4, wherein the control unit controls the amount of data to be deleted by the deletion unit using the acquired parameter. 実時間に対応した動画データがエンコードされた圧縮動画データを入力するステップと、
前記実時間を短縮して前記動画データを出力する短縮指示を受付けるステップと、
前記圧縮動画データを解析して、前記受付けられた短縮指示と予め定められたフレームレートとに基づいて出力ピクチャを決定するステップと、
前記決定された出力ピクチャを除くピクチャに対応する圧縮動画データ、または、該出力ピクチャが参照ピクチャを有する場合には該出力ピクチャと該参照ピクチャとを除くピクチャに対応する圧縮動画データを削除するステップとをコンピュータに実行させる圧縮動画データデコードプログラム。 Entering compressed video data encoded with real-time video data,
Receiving a shortening instruction to shorten the real time and output the video data;
Analyzing the compressed video data and determining an output picture based on the received shortening instruction and a predetermined frame rate;
A step of deleting compressed moving picture data corresponding to a picture excluding the determined output picture or, if the output picture has a reference picture, compressed moving picture data corresponding to a picture excluding the output picture and the reference picture; Compressed video data decoding program that causes a computer to execute. 実時間に対応した動画データがエンコードされた圧縮動画データを入力するステップと、
前記圧縮動画データの一部を削除するステップと、
前記圧縮動画データをデコードするステップと、
前記デコードステップが実行されるコンピュータの負荷を検出するステップと、
前記検出された負荷に応じて前記削除ステップにより削除するデータ量を制御するステップとをコンピュータに実行させる、圧縮動画データデコードプログラム。 Entering compressed video data encoded with real-time video data,
Deleting a portion of the compressed video data;
Decoding the compressed video data;
Detecting a load on a computer on which the decoding step is performed;
A compressed moving image data decoding program for causing a computer to execute a step of controlling the amount of data to be deleted by the deletion step according to the detected load.
JP2003432275A 2003-12-26 2003-12-26 Device and program for decoding compression video data Withdrawn JP2005192013A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003432275A JP2005192013A (en) 2003-12-26 2003-12-26 Device and program for decoding compression video data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003432275A JP2005192013A (en) 2003-12-26 2003-12-26 Device and program for decoding compression video data

Publications (1)

Publication Number Publication Date
JP2005192013A true JP2005192013A (en) 2005-07-14

Family

ID=34790024

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003432275A Withdrawn JP2005192013A (en) 2003-12-26 2003-12-26 Device and program for decoding compression video data

Country Status (1)

Country Link
JP (1) JP2005192013A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015097418A (en) * 2013-08-09 2015-05-21 ソニー株式会社 Transmission apparatus, transmission method, reception apparatus, reception method, encoding apparatus, and encoding method
US10306296B2 (en) 2013-08-09 2019-05-28 Sony Corporation Device and method for transmission and reception for performing hierarchical encoding of image data

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015097418A (en) * 2013-08-09 2015-05-21 ソニー株式会社 Transmission apparatus, transmission method, reception apparatus, reception method, encoding apparatus, and encoding method
US10306296B2 (en) 2013-08-09 2019-05-28 Sony Corporation Device and method for transmission and reception for performing hierarchical encoding of image data
US11368744B2 (en) 2013-08-09 2022-06-21 Sony Corporation Device and associated method for using layer description and decoding syntax in multi-layer video

Similar Documents

Publication Publication Date Title
KR100440953B1 (en) Method for transcoding of image compressed bit stream
US6549717B2 (en) Digital video signal record and playback device and method for giving priority to a center of an I frame
US6507615B1 (en) Video signal processing apparatus and video signal processing method
KR100929400B1 (en) Method and system for performing trick mode on video signal containing a plurality of original pictures
US20120320977A1 (en) Encoding/decoding apparatus, imaging apparatus, and methods for controlling therefor
JP2004023303A (en) Image reproducing method, image reproducing apparatus, and image recording device
JP4869147B2 (en) Image recording / playback device
JP4875008B2 (en) Moving picture encoding method, moving picture decoding method, moving picture encoding apparatus, and moving picture decoding apparatus
JP4813328B2 (en) Encoding apparatus, encoding method, and program
JP4143322B2 (en) Image reproducing apparatus and image reproducing method
JP2005192013A (en) Device and program for decoding compression video data
JPH07203456A (en) Coder, decoder and video recording device
US6757485B1 (en) Apparatus for reproducing still picture from recording medium
JP4241463B2 (en) Image processing device
JPH10271498A (en) Compression data conversion method, information quantity conversion method for image compression data, and image recorder adopting the method
JP2010093627A (en) Moving picture encoding device
JP2008526077A (en) Video stream changing device
JP2007158778A (en) Forming method and device of trick reproducing content, transmitting method and device of trick reproducing compressed moving picture data, and trick reproducing content forming program
JP4434894B2 (en) Video dubbing device
GB2293516A (en) Digital video signal recording arrangement with enhanced skip search playback
JP4193224B2 (en) Moving picture coding apparatus and method, and moving picture decoding apparatus and method
JP3657855B2 (en) Image decoding apparatus and image decoding method
JP2004349939A (en) Method and device for image encoding and recording device
EP2192691A1 (en) Image recording apparatus and method of recording image
US20070165999A1 (en) Coded-data decoding/playback apparatus

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20070306