JP2009218675A - Reproduction apparatus and method - Google Patents

Reproduction apparatus and method Download PDF

Info

Publication number
JP2009218675A
JP2009218675A JP2008057684A JP2008057684A JP2009218675A JP 2009218675 A JP2009218675 A JP 2009218675A JP 2008057684 A JP2008057684 A JP 2008057684A JP 2008057684 A JP2008057684 A JP 2008057684A JP 2009218675 A JP2009218675 A JP 2009218675A
Authority
JP
Japan
Prior art keywords
frame
candidate
frames
candidate frame
temporary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008057684A
Other languages
Japanese (ja)
Inventor
Toshiyuki Ueno
寿之 上野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2008057684A priority Critical patent/JP2009218675A/en
Publication of JP2009218675A publication Critical patent/JP2009218675A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide the reproduction apparatus capable of improving the image quality at the time of fast forward reproduction or rewinding reproduction of a synchronous frame reconfigured from encoded data and alleviating load of decoding processing for the reconfiguration. <P>SOLUTION: The reproduction apparatus 1 includes a temporary candidate frame selection portion 110 and a candidate frame determination portion 111. The temporary candidate frame selection portion 110 selects a frame group to be reconfigured as a temporary candidate frame group, from compression encoded data read from a data storage portion 10, based on a specified speed. The candidate frame determination portion 111 establishes a temporary candidate frame corresponding to a synchronous frame as a candidate frame, while establishes a temporarily backward and the latest synchronous frame as a candidate frame in case of a temporary candidate frame corresponding to an asynchronous frame. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、圧縮符号化データを復号し、その復号データを指定速度で再生する技術に関する。   The present invention relates to a technique for decoding compression-encoded data and reproducing the decoded data at a specified speed.

動画像の圧縮符号化方式では、フレーム内符号化とフレーム間予測符号化とを併用するのが一般的である。フレーム内符号化では、各画像フレームは他の画像フレームを使用せずに符号化される。たとえば、ＭＰＥＧ（Moving Picture Experts Group）方式では、各画像フレームを複数のマクロブロックに分割し、各マクロブロックに、直交変換（たとえば、離散コサイン変換：ＤＣＴ）、量子化およびエントロピー符号化を順に施して符号化データが生成される。フレーム内符号化の対象（以下「同期フレーム」と呼ぶ。）は、一連の画像フレームの中から周期的にあるいはビットレートに応じて適応的に選択される。   In a moving picture compression coding system, it is common to use both intraframe coding and interframe prediction coding. In intraframe encoding, each image frame is encoded without using other image frames. For example, in the Moving Picture Experts Group (MPEG) method, each image frame is divided into a plurality of macroblocks, and each macroblock is subjected to orthogonal transform (for example, discrete cosine transform: DCT), quantization, and entropy coding in order. Thus, encoded data is generated. The target of intraframe coding (hereinafter referred to as “synchronous frame”) is adaptively selected from a series of image frames periodically or according to the bit rate.

同期フレームと同期フレームとの間に位置する画像フレーム（以下「非同期フレーム」と呼ぶ。）は、フレーム間予測符号化により圧縮される。フレーム間予測符号化では、ある非同期フレームを符号化するために、この非同期フレームに対して時間的に前方、後方または双方向に隣接する少なくとも１つの画像フレームを使用する必要がある。ＭＰＥＧ方式では、これら隣接する画像フレームから、符号化対象の非同期フレームを予測して予測フレームを生成し、この予測フレームと符号化対象の非同期フレームとの間の差分フレームを生成する。そして、この差分フレームを複数のマクロブロックに分割し、各マクロブロックに直交変換、量子化およびエントロピー符号化を順に施すことにより符号化データが生成される。   An image frame (hereinafter referred to as an “asynchronous frame”) positioned between the synchronous frame and the synchronous frame is compressed by interframe predictive coding. In inter-frame predictive coding, in order to encode a certain asynchronous frame, it is necessary to use at least one image frame that is temporally forward, backward, or bidirectionally adjacent to the asynchronous frame. In the MPEG system, an asynchronous frame to be encoded is predicted from these adjacent image frames to generate a predicted frame, and a difference frame between the predicted frame and the asynchronous frame to be encoded is generated. Then, the difference frame is divided into a plurality of macroblocks, and each macroblock is subjected to orthogonal transform, quantization, and entropy coding in order to generate encoded data.

よって、フレーム間予測符号化により生成された符号化データを復号して元の非同期フレームを再構成するには、他の画像フレームの再構成を待たねばならないので、非同期フレーム再構成用の復号処理にかかる負荷は、同期フレーム再構成用の復号処理のそれと比べると大きい。それ故、動画像の早送り再生または巻き戻し再生を行うときは、非同期フレームを再構成せずに、同期フレームのみを再構成し、この再構成された同期フレームのみを再生することで早送り再生または巻き戻し再生を効率的に実行し、処理負荷の軽減を図ることができる。この種の再生技術は、たとえば、特許文献１（特開平５−３４４４９４号公報）および特許文献２（特開２００３−８７７３２号公報）に開示されている。   Therefore, in order to reconstruct the original asynchronous frame by decoding the encoded data generated by the inter-frame predictive coding, it is necessary to wait for the reconstruction of other image frames, so that the decoding process for asynchronous frame reconstruction The load applied to is larger than that of the decoding process for synchronous frame reconstruction. Therefore, when fast-forward playback or rewind playback of a moving image is performed, fast-forward playback or playback is performed by reconstructing only the synchronized frame without reconstructing the asynchronous frame and reproducing only the reconstructed synchronized frame. Rewinding reproduction can be executed efficiently and the processing load can be reduced. This type of reproduction technique is disclosed in, for example, Patent Document 1 (Japanese Patent Laid-Open No. 5-344494) and Patent Document 2 (Japanese Patent Laid-Open No. 2003-87732).

特許文献１と特許文献２に開示される再生技術では、早送り再生または巻き戻し再生時に、非同期フレーム（ＢピクチャやＰピクチャ）の代わりに、当該非同期フレームに対して時間的に前方または直近の同期フレーム（Ｉピクチャ）が再構成される。
特開平５−３４４４９４号公報 特開２００３−８７７３２号公報 In the reproduction techniques disclosed in Patent Document 1 and Patent Document 2, at the time of fast-forward reproduction or rewind reproduction, instead of an asynchronous frame (B picture or P picture), temporally forward or latest synchronization is performed with respect to the asynchronous frame. A frame (I picture) is reconstructed.
JP-A-5-344494 Japanese Patent Laid-Open No. 2003-87732

しかしながら、上記従来技術には動画像の再生画質が低いという問題がある。携帯電話機などの移動通信端末においても、通信ネットワークを通じてダウンロードされた動画像や記録媒体から読み出された動画像を早送り再生する機能が求められている。実装上の制約から携帯電話機などの移動通信端末の画像処理能力は低いので、特許文献１や特許文献２の再生技術を移動通信端末に適用することは、処理速度の向上と処理負荷の軽減の観点からは、好ましい。しかしながら、近年の携帯電話機には高精細な表示装置が搭載されており、この表示装置に低画質の動画像が表示されると、画質の粗さが目立つという問題がある。   However, the above prior art has a problem that the reproduction quality of moving images is low. Also in mobile communication terminals such as cellular phones, there is a demand for a function for fast-forwarding and playing back a moving image downloaded through a communication network or a moving image read from a recording medium. Since the image processing capability of a mobile communication terminal such as a mobile phone is low due to restrictions in implementation, applying the reproduction technology of Patent Document 1 or Patent Document 2 to the mobile communication terminal improves processing speed and reduces processing load. From the viewpoint, it is preferable. However, recent cellular phones are equipped with a high-definition display device, and when a low-quality moving image is displayed on this display device, there is a problem that the roughness of the image quality is conspicuous.

本発明は上記に鑑みてなされたものであり、符号化データから再構成された同期フレームの早送り再生または巻き戻し再生時の画質を向上させ、しかもその再構成のための復号処理の負荷を軽減させ得る再生装置および再生方法を提供するものである。   The present invention has been made in view of the above, and improves the image quality at the time of fast-forward playback or rewind playback of a synchronization frame reconstructed from encoded data, and also reduces the load of decoding processing for the reconstruction. A reproducing apparatus and a reproducing method that can be performed are provided.

本発明によれば、データ信号を構成する一連のフレームのうちの同期フレームをフレーム内符号化するとともに、前記一連のフレームのうち時間的に前記同期フレーム間に位置する非同期フレームをフレーム間予測符号化することにより生成された圧縮符号化データを入力とし、前記圧縮符号化データを復号してその復号データを指定速度で再生する再生装置が提供される。この再生装置は、前記圧縮符号化データを記憶するデータ蓄積部と、前記指定速度に基づいて、前記データ蓄積部から読み出された圧縮符号化データから再構成されるべきフレーム群を前記一連のフレームの中から仮候補フレーム群として選択する仮候補フレーム選択部と、前記仮候補フレーム群のうち前記同期フレームに相当する仮候補フレームを候補フレームとして設定し、かつ、前記仮候補フレーム群のうち前記非同期フレームに相当する仮候補フレームに対して時間的に後方かつ直近の同期フレームを候補フレームとして設定する候補フレーム決定部と、前記データ蓄積部から読み出された圧縮符号化データを復号して前記候補フレーム群のみを再構成する復号部と、当該再構成された候補フレーム群を前記指定速度で再生するフレーム再生部と、を備えたものである。   According to the present invention, a synchronous frame of a series of frames constituting a data signal is intra-frame encoded, and an asynchronous frame temporally positioned between the synchronous frames of the series of frames is encoded as an inter-frame prediction code. There is provided a playback apparatus that receives compressed encoded data generated as a result of decoding, decodes the compressed encoded data, and reproduces the decoded data at a specified speed. The reproducing apparatus includes a data accumulation unit that stores the compression-encoded data, and a group of frames to be reconstructed from the compression-encoded data read from the data accumulation unit based on the designated speed. A temporary candidate frame selecting unit that selects a frame as a temporary candidate frame group, a temporary candidate frame corresponding to the synchronization frame in the temporary candidate frame group is set as a candidate frame, and the temporary candidate frame group A candidate frame determination unit that sets a temporally latest and latest synchronous frame as a candidate frame with respect to the temporary candidate frame corresponding to the asynchronous frame; and the compressed encoded data read from the data storage unit is decoded. A decoding unit that reconstructs only the candidate frame group, and a frame that reproduces the reconstructed candidate frame group at the specified speed. And arm reproduction section, in which with a.

また、本発明によれば、データ信号を構成する一連のフレームのうちの同期フレームをフレーム内符号化するとともに、前記一連のフレームのうち時間的に前記同期フレーム間に位置する非同期フレームをフレーム間予測符号化することにより生成された圧縮符号化データを入力とし、前記圧縮符号化データを復号してその復号データを指定速度で再生する再生方法が提供される。この再生方法は、前記指定速度に基づいて、データ蓄積部から読み出された圧縮符号化データから再構成されるべきフレーム群を前記一連のフレームの中から仮候補フレーム群として選択するステップと、前記仮候補フレーム群のうち前記同期フレームに相当する仮候補フレームを候補フレームとして設定するステップと、前記仮候補フレーム群のうち前記非同期フレームに相当する仮候補フレームに対して時間的に後方かつ直近の同期フレームを候補フレームとして設定するステップと、前記データ蓄積部から読み出された圧縮符号化データを復号して前記候補フレームのみを再構成するステップと、当該再構成された候補フレームを前記指定速度で再生するステップと、を備えたものである。   Further, according to the present invention, the synchronous frame of the series of frames constituting the data signal is intra-frame encoded, and the asynchronous frame temporally positioned between the synchronous frames of the series of frames. A reproduction method is provided in which compressed encoded data generated by predictive encoding is input, the compressed encoded data is decoded, and the decoded data is reproduced at a specified speed. The reproducing method selects, based on the designated speed, a frame group to be reconstructed from the compressed and encoded data read from the data storage unit as a temporary candidate frame group from the series of frames; Setting a temporary candidate frame corresponding to the synchronous frame in the temporary candidate frame group as a candidate frame; and temporally backward and closest to the temporary candidate frame corresponding to the asynchronous frame in the temporary candidate frame group A synchronization frame as a candidate frame; decoding compressed encoded data read from the data storage unit to reconstruct only the candidate frame; and specifying the reconstructed candidate frame as the designated frame And reproducing at a speed.

上記の通り、本発明による再生装置および再生方法は、仮候補フレーム群のうち同期フレームに相当する仮候補フレームを候補フレームとして設定し、かつ、仮候補フレーム群のうち非同期フレームに相当する仮候補フレームに対して時間的に後方かつ直近の同期フレームを候補フレームとして設定する。このような候補フレームのみが選択的に再構成されるので、その再生画質は、従来技術のそれと比べると視覚的に自然である。   As described above, the playback apparatus and the playback method according to the present invention set a temporary candidate frame corresponding to a synchronous frame in a temporary candidate frame group as a candidate frame, and a temporary candidate corresponding to an asynchronous frame in the temporary candidate frame group. A synchronization frame that is behind and temporally relative to the frame is set as a candidate frame. Since only such candidate frames are selectively reconstructed, the reproduced image quality is visually natural compared to that of the prior art.

また、本発明による再生装置および再生方法は、非同期フレームに相当する仮候補フレームに対して時間的に前方（未来）の同期フレームを候補フレームとして設定せず、時間的に後方（過去）の同期フレームを候補フレームとして設定する。仮候補フレームに対して時間的に前方（未来）の同期フレームを候補フレームとする場合よりも、時間的に後方（過去）の同期フレームを候補フレームとして設定する場合の方が、スムーズで効率的な処理が可能となる。また、仮候補フレームに直近の同期フレームを候補フレームとするだけでは、当該仮候補フレームに対して時間的に双方向（未来及び過去）の同期フレームを参照する必要があり、処理が複雑化する。   Also, the playback apparatus and playback method according to the present invention do not set a temporally forward (future) synchronization frame as a candidate frame for a temporary candidate frame corresponding to an asynchronous frame, but temporally backward (past) synchronization. Set the frame as a candidate frame. It is smoother and more efficient when a temporally backward (past) synchronization frame is set as a candidate frame than when a temporally forward (future) synchronization frame is set as a candidate frame. Processing becomes possible. In addition, if only the synchronization frame closest to the temporary candidate frame is used as a candidate frame, it is necessary to refer to a temporally bidirectional (future and past) synchronization frame with respect to the temporary candidate frame, which complicates the processing. .

したがって、本発明による再生装置および再生方法は、再生画質の向上と復号処理の負荷軽減との両立を可能にするものである。   Therefore, the playback apparatus and playback method according to the present invention enable both improvement in playback image quality and reduction in the load of decoding processing.

以下、本発明に係る実施の形態を図面を参照しつつ説明する。   Hereinafter, embodiments according to the present invention will be described with reference to the drawings.

図１は、本発明に係る一実施形態の再生装置１の概略構成を示す機能ブロック図である。この再生装置１は、データ蓄積部１０、再構成フレーム決定部１１、デコーダ（復号部）１２、再生部１３およびコントローラ（再生制御部）１４を備えている。この再生装置１には、圧縮符号化データを含む符号化ビットストリームＢＳが入力される。圧縮符号化データは、データ信号を構成する一連のフレーム（画像フレームまたは音声フレーム）のうちの同期フレームをフレーム内符号化し、当該一連のフレームのうちの非同期フレームをフレーム間予測符号化することにより生成されたものである。画像フレームの場合、符号化ビットストリームＢＳの生成のための符号化方式として、たとえばＨ．２６４（ＭＰＥＧ４ ＡＶＣ）やＭＰＥＧ−２を使用すればよいが、特に制限されるものではない。   FIG. 1 is a functional block diagram showing a schematic configuration of a playback apparatus 1 according to an embodiment of the present invention. The playback device 1 includes a data storage unit 10, a reconstructed frame determination unit 11, a decoder (decoding unit) 12, a playback unit 13, and a controller (playback control unit) 14. The reproduction apparatus 1 receives an encoded bit stream BS including compressed encoded data. Compressed encoded data is obtained by intra-frame encoding of a synchronous frame in a series of frames (image frame or audio frame) constituting a data signal, and inter-frame predictive encoding of an asynchronous frame in the series of frames. Has been generated. In the case of an image frame, as an encoding method for generating an encoded bit stream BS, for example, H.264 is used. H.264 (MPEG4 AVC) or MPEG-2 may be used, but is not particularly limited.

データ蓄積部１０には、符号化ビットストリームＢＳが記憶されている。データ蓄積部１０は、たとえば、光ディスクやハードディスクなどの記録媒体と、この記録媒体を駆動する駆動制御装置とで構成される。デコーダ１２は、データ蓄積部１０から読み出された符号化ビットストリームＢＳを復号して一連のフレームを再構成し、これら再構成されたフレームからなるフレーム信号ＦＤを出力する。再生部１３は、デコーダ１２から転送されたフレーム信号ＦＤを再生する。フレーム信号ＦＤが画像フレームからなる場合、再生部１３は、液晶ディスプレイや有機ＥＬディスプレイなどの表示装置であり、フレーム信号ＦＤが音声フレームからなる場合、再生部１３は、スピーカ（図示せず）を備えた音声再生装置であればよい。   The data storage unit 10 stores an encoded bit stream BS. The data storage unit 10 includes, for example, a recording medium such as an optical disk and a hard disk, and a drive control device that drives the recording medium. The decoder 12 decodes the encoded bit stream BS read from the data storage unit 10 to reconstruct a series of frames, and outputs a frame signal FD including these reconstructed frames. The reproduction unit 13 reproduces the frame signal FD transferred from the decoder 12. When the frame signal FD includes an image frame, the reproducing unit 13 is a display device such as a liquid crystal display or an organic EL display. When the frame signal FD includes an audio frame, the reproducing unit 13 uses a speaker (not shown). Any audio playback device may be used.

コントローラ１４は、再構成フレーム決定部１１、デコーダ１２および再生部１３の動作を制御し、これによりフレーム信号ＦＤの再生速度を制御する機能を有する。ユーザは、入力装置１５を操作して再生速度の倍率を表すデータをコントローラ１４に入力して再生速度を指定できる。再生速度の倍率として、２倍速や５倍速のように順方向の再生速度（早送り速度）に対応する倍率、あるいは、逆方向の再生速度（巻き戻し速度）に対応する倍率を許容範囲内で指定することが可能である。コントローラ１４は、このように指定された倍率のデータを仮候補フレーム選択部１１０に与える。なお、倍率のデータを仮候補フレーム選択部１１０に与える代わりに、当該倍率に対応する再生速度のデータを仮候補フレーム選択部１１０に与えてもよい。   The controller 14 has a function of controlling the operations of the reconstructed frame determining unit 11, the decoder 12, and the reproducing unit 13, thereby controlling the reproduction speed of the frame signal FD. The user can specify the playback speed by operating the input device 15 and inputting data representing the magnification of the playback speed to the controller 14. Specify the playback speed magnification within the allowable range, such as 2x or 5x speed, corresponding to the forward playback speed (fast forward speed), or the reverse speed (rewind speed). Is possible. The controller 14 provides the provisional candidate frame selection unit 110 with the data of the magnification specified in this way. Instead of providing the magnification data to the provisional candidate frame selection unit 110, the reproduction speed data corresponding to the magnification may be provided to the provisional candidate frame selection unit 110.

再構成フレーム決定部１１は、仮候補フレーム選択部１１０と候補フレーム決定部１１１を含む。仮候補フレーム選択部１１０は、指定された倍率（再生速度）に基づいて、データ蓄積部１０から読み出された符号化ビットストリームから再構成されるべきフレーム群を仮候補フレーム群として選択する。たとえば、一連のフレームＦ１，Ｆ２，…，ＦＮの中から周期的に仮候補フレームＦ１，Ｆ１０，Ｆ２０，…を選択してもよいし、あるいは、Ｎ個のフレームＦ１，Ｆ２，…，ＦＮの中から適応的に仮候補フレームＦ１，Ｆ３，Ｆ１０，…を選択してもよい。 The reconstructed frame determination unit 11 includes a temporary candidate frame selection unit 110 and a candidate frame determination unit 111. The temporary candidate frame selection unit 110 selects a frame group to be reconstructed from the encoded bit stream read from the data storage unit 10 as the temporary candidate frame group based on the designated magnification (reproduction speed). For example, temporary candidate frames F 1 , F 10 , F 20 ,... May be periodically selected from a series of frames F 1 , F 2 ,..., F N , or N frames F 1. , F 2, ..., adaptively preliminary candidate frames F 1 from the F N, F 3, F 10 , may be selected ....

候補フレーム決定部１１１は、仮候補フレーム群に基づいて、同期フレームのみからなる候補フレーム群を指定する。具体的には、候補フレーム決定部１１１は、仮候補フレーム群のうち同期フレームに相当する仮候補フレームをそのまま候補フレームとして設定する。一方、仮候補フレーム群のうち非同期フレームに相当する仮候補フレームについては、候補フレーム決定部１１１は、この仮候補フレームに対して時間的に後方かつ直近の同期フレームを候補フレームとして設定する。ここで、ＭＰＥＧ方式で規定されるＰＴＳ（Presentation Time Stamp）といったタイムスタンプ情報が、各フレームについて設定され、符号化ビットストリームＢＳの中に多重化されている。候補フレーム決定部１１１は、このタイムスタンプ情報に基づいて各フレームの時間軸上の位置を把握することができる。このように設定された候補フレーム群を特定するデータは、デコーダ１２に供給される。   Candidate frame determination unit 111 specifies a candidate frame group consisting of only synchronization frames based on the temporary candidate frame group. Specifically, the candidate frame determination unit 111 sets a temporary candidate frame corresponding to a synchronization frame in the temporary candidate frame group as it is as a candidate frame. On the other hand, for the temporary candidate frame corresponding to the asynchronous frame in the temporary candidate frame group, the candidate frame determination unit 111 sets the synchronization frame that is temporally and nearest to the temporary candidate frame as the candidate frame. Here, time stamp information such as PTS (Presentation Time Stamp) defined by the MPEG system is set for each frame and multiplexed in the encoded bit stream BS. Candidate frame determination unit 111 can grasp the position of each frame on the time axis based on the time stamp information. Data specifying the set of candidate frames set in this way is supplied to the decoder 12.

候補フレーム群のうち２以上の候補フレームの時間軸上の位置が重複する場合がある。かかる場合、候補フレーム決定部１１１は、これら２以上の候補フレームのうち一の候補フレームを除く他の候補フレームの設定を解除する機能を有する。たとえば、同一の同期フレームＦ２３，Ｆ２３が候補フレームとして設定された場合、一方の候補フレームＦ２３の設定が解除される。 There may be a case where two or more candidate frames in the candidate frame group have overlapping positions on the time axis. In such a case, the candidate frame determination unit 111 has a function of canceling the setting of other candidate frames excluding one candidate frame among these two or more candidate frames. For example, when the same synchronization frames F 23 and F 23 are set as candidate frames, the setting of one candidate frame F 23 is canceled.

デコーダ１２は、データ蓄積部１０から転送された符号化ビットストリームを復号して候補フレーム群のみを再構成し、再構成された候補フレーム群からなるフレーム信号ＦＤを再生部１３に出力する。再生部１３は、デコーダ１２から転送されたフレーム信号ＦＤを再生する。   The decoder 12 decodes the encoded bit stream transferred from the data storage unit 10 to reconstruct only the candidate frame group, and outputs the frame signal FD including the reconstructed candidate frame group to the reproducing unit 13. The reproduction unit 13 reproduces the frame signal FD transferred from the decoder 12.

上記再生装置１の動作を図２〜図５を参照しつつ以下に説明する。図２は、再構成フレーム決定部１１による処理手順を概略的に示すフローチャートである。また、図３、図４および図５は、この処理手順を説明するための図である。   The operation of the reproducing apparatus 1 will be described below with reference to FIGS. FIG. 2 is a flowchart schematically showing a processing procedure by the reconstructed frame determination unit 11. FIGS. 3, 4 and 5 are diagrams for explaining this processing procedure.

図３は、通常再生時に再構成されるべき一連のフレームを表示時間順に示している。説明の便宜上、フレームにはそれぞれフレーム番号「１」，「２」，…が付されている。また、ハッチングが施されたフレームは同期フレームを、その他のフレームは非同期フレームを表している。図３では、フレーム番号「１」，「１１」，「１９」，「２４」，「４０」を持つフレームが同期フレームである。   FIG. 3 shows a series of frames to be reconstructed during normal playback in order of display time. For convenience of explanation, frame numbers “1”, “2”,. Also, hatched frames represent synchronous frames, and other frames represent asynchronous frames. In FIG. 3, frames having frame numbers “1”, “11”, “19”, “24”, and “40” are synchronization frames.

仮候補フレーム選択部１１０は、指定された倍率（再生速度）に基づいて、図３に示した一連のフレームの中から仮候補フレームを選択する（ステップＳ１０）。図３を参照すると、仮候補フレームとして、フレーム番号「１」，「１４」，「２４」，「３２」，「４４」，「５０」を持つフレームＣ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５，Ｃ６が順次選択される。   The temporary candidate frame selection unit 110 selects a temporary candidate frame from the series of frames shown in FIG. 3 based on the designated magnification (reproduction speed) (step S10). Referring to FIG. 3, frames C1, C2, C3, C4, C5, C6 having frame numbers “1”, “14”, “24”, “32”, “44”, “50” as temporary candidate frames. Are selected sequentially.

次に、候補フレーム決定部１１１は、仮候補フレームＳｘが同期フレームであるか否かを判定する（ステップＳ１１）。各フレームが同期フレームであるか否かを示す情報は、符号化ビットストリームＢＳの中に多重化されているので、候補フレーム決定部１１１は、符号化ビットストリームＢＳから分離されたヘッダデータを解析して、仮候補フレームＳｘが同期フレームであるか否かを判定できる。仮候補フレームＳｘが同期フレームである場合（ステップＳ１１のＹＥＳ）、候補フレーム決定部１１１は、当該仮候補フレームＳｘをそのまま候補フレームＤｘとして設定する（ステップＳ１３）。一方、仮候補フレームＳｘが同期フレームではなく、非同期フレームである場合は（ステップＳ１１のＮＯ）、仮候補フレームＳｘに対して時間的に後方かつ直近の同期フレームを候補フレームＤｘとして設定する（ステップＳ１２）。   Next, the candidate frame determination unit 111 determines whether or not the temporary candidate frame Sx is a synchronization frame (step S11). Since information indicating whether or not each frame is a synchronization frame is multiplexed in the encoded bitstream BS, the candidate frame determination unit 111 analyzes the header data separated from the encoded bitstream BS. Thus, it can be determined whether or not the temporary candidate frame Sx is a synchronization frame. If the temporary candidate frame Sx is a synchronization frame (YES in step S11), the candidate frame determination unit 111 sets the temporary candidate frame Sx as it is as the candidate frame Dx (step S13). On the other hand, if the temporary candidate frame Sx is not a synchronous frame but an asynchronous frame (NO in step S11), the temporally latest and late synchronous frame with respect to the temporary candidate frame Sx is set as the candidate frame Dx (step S11). S12).

図３を参照すると、仮候補フレームＣ１については、候補フレーム決定部１１１は、仮候補フレームＣ１を同期フレームであると判定し（ステップＳ１１のＹＥＳ）、図４に示されるように、この仮候補フレームＣ１を候補フレームＤ１として設定する（ステップＳ１３）。一方、仮候補フレームＣ２については、候補フレーム決定部１１１は、仮候補フレームＣ２を非同期フレームであると判定し（ステップＳ１１のＮＯ）、図４に示されるように、この仮候補フレームＣ２に対して時間的に後方かつ直近の、フレーム番号「１１」を持つ同期フレームを候補フレームＤ２として設定する（ステップＳ１２）。   Referring to FIG. 3, for the temporary candidate frame C1, the candidate frame determination unit 111 determines that the temporary candidate frame C1 is a synchronization frame (YES in step S11), and as shown in FIG. Frame C1 is set as candidate frame D1 (step S13). On the other hand, for the temporary candidate frame C2, the candidate frame determination unit 111 determines that the temporary candidate frame C2 is an asynchronous frame (NO in step S11), and as illustrated in FIG. Then, the synchronization frame having the frame number “11” which is the latest and later in time is set as the candidate frame D2 (step S12).

その後、候補フレーム決定部１１１は、各候補フレームの時間軸上の位置が他の候補フレームの位置と重複するか否かを判定する（ステップＳ１４）。ある候補フレームの位置が他の候補フレームの位置と重複する場合（ステップＳ１４のＹＥＳ）、当該候補フレームの設定が解除される（ステップＳ１５）。たとえば、図４を参照すると、候補フレームＤ３，Ｄ４は同一の同期フレームに相当するので、候補フレームＤ４の設定が解除される（ステップＳ１５）。また、候補フレームＤ５，Ｄ６は同一の同期フレームに相当するので、候補フレームＤ６の設定が解除されることとなる（ステップＳ１５）。この結果、図５に示されるように、候補フレームＤ１，Ｄ２，Ｄ３，Ｄ５と同期フレームとは一対一に対応する。このように設定された候補フレームを特定するデータは、デコーダ１２に与えられる。   Thereafter, the candidate frame determination unit 111 determines whether the position on the time axis of each candidate frame overlaps with the position of another candidate frame (step S14). When the position of a certain candidate frame overlaps with the position of another candidate frame (YES in step S14), the setting of the candidate frame is canceled (step S15). For example, referring to FIG. 4, since candidate frames D3 and D4 correspond to the same synchronization frame, the setting of candidate frame D4 is canceled (step S15). Further, since the candidate frames D5 and D6 correspond to the same synchronization frame, the setting of the candidate frame D6 is canceled (step S15). As a result, as shown in FIG. 5, the candidate frames D1, D2, D3, D5 and the synchronization frame correspond one-to-one. Data specifying the candidate frame set in this way is given to the decoder 12.

その後、候補フレーム決定部１１１は、コントローラ１４による指令に応じて、以上の処理を終了するか（ステップＳ１６のＹＥＳ）、あるいは、処理を続行して処理手順をステップＳ１０に戻す（ステップＳ１６のＮＯ）。候補フレームの設定は、フレーム単位で行われてもよいし、あるいは、所定数のフレームからなるグループ単位で行われてもよい。   Thereafter, the candidate frame determination unit 111 terminates the above processing (YES in step S16) or continues the processing and returns the processing procedure to step S10 (NO in step S16) in response to a command from the controller 14 ). The setting of candidate frames may be performed in units of frames, or may be performed in units of groups including a predetermined number of frames.

上記再生装置１が奏する効果は以下の通りである。上記の通り、候補フレーム決定部１１１は、仮候補フレーム群のうち同期フレームに相当する仮候補フレームを候補フレームとして設定し（ステップＳ１３）、仮候補フレーム群のうち非同期フレームに相当する仮候補フレームに対しては時間的に後方かつ直近の同期フレームを候補フレームとして設定する（ステップＳ１２）。デコーダ１２は、このように設定された候補フレーム群のみを選択的に再構成するので、視覚的に自然な再生画質を得ることができる。   The effects produced by the playback apparatus 1 are as follows. As described above, the candidate frame determination unit 111 sets a temporary candidate frame corresponding to a synchronous frame in the temporary candidate frame group as a candidate frame (step S13), and the temporary candidate frame corresponding to an asynchronous frame in the temporary candidate frame group. In step S12, the most recent synchronization frame in time is set as a candidate frame. Since the decoder 12 selectively reconstructs only the candidate frame group set in this way, a visually natural reproduction image quality can be obtained.

また、候補フレーム決定部１１１は、非同期フレームに相当する仮候補フレームに対して時間的に前方（未来）の同期フレームを候補フレームとして設定せず、時間的に後方（過去）かつ直近の同期フレームを候補フレームとして設定する（ステップＳ１２）。それ故、従来技術と比べると処理時間の短縮化が可能であり、スムーズな処理が可能である。したがって、早送り再生または巻き戻し再生時の再生画質の向上と復号処理の負荷軽減との両立が可能となる。このような再生装置１は、比較的低い画像処理能力しか持たない携帯電話機などの移動通信端末に適用されることで効果を発揮する。   In addition, the candidate frame determination unit 111 does not set a temporally forward (future) synchronization frame as a candidate frame with respect to a temporary candidate frame corresponding to an asynchronous frame, but is temporally backward (past) and the latest synchronization frame Are set as candidate frames (step S12). Therefore, the processing time can be shortened as compared with the prior art, and smooth processing is possible. Therefore, it is possible to improve both the reproduction image quality during fast forward reproduction or rewind reproduction and to reduce the load of decoding processing. Such a playback apparatus 1 is effective when applied to a mobile communication terminal such as a mobile phone having a relatively low image processing capability.

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。たとえば、上記実施形態では、再構成フレーム決定部１１は、ＣＰＵで実行されるコンピュータ・プログラム（またはプログラムコード）により実現できるものであるが、この代わりに、再構成フレーム決定部１１の全部または一部がハードウェアにより実現されてもよい。   As mentioned above, although embodiment of this invention was described with reference to drawings, these are the illustrations of this invention, Various structures other than the above are also employable. For example, in the above-described embodiment, the reconstructed frame determining unit 11 can be realized by a computer program (or program code) executed by a CPU. Instead, all or one of the reconstructed frame determining unit 11 is used. The unit may be realized by hardware.

本発明に係る一実施形態の再生装置の概略構成を示す機能ブロック図である。It is a functional block diagram which shows schematic structure of the reproducing | regenerating apparatus of one Embodiment which concerns on this invention. 再構成フレーム決定部による処理手順を概略的に示すフローチャートである。It is a flowchart which shows roughly the process sequence by the reconfiguration | reconstruction frame determination part. 再構成フレーム決定部による処理手順を説明するための図である。It is a figure for demonstrating the process sequence by the reconfiguration | reconstruction frame determination part. 再構成フレーム決定部による処理手順を説明するための図である。It is a figure for demonstrating the process sequence by the reconfiguration | reconstruction frame determination part. 再構成フレーム決定部による処理手順を説明するための図である。It is a figure for demonstrating the process sequence by the reconfiguration | reconstruction frame determination part.

符号の説明Explanation of symbols

１ 再生装置
１０ データ蓄積部
１１ 再構成フレーム決定部
１１０ 仮候補フレーム選択部
１１１ 候補フレーム決定部
１２ デコーダ（復号部）
１３ 再生部
１４ コントローラ
１５ 入力装置 DESCRIPTION OF SYMBOLS 1 Playback apparatus 10 Data storage part 11 Reconstructed frame determination part 110 Temporary candidate frame selection part 111 Candidate frame determination part 12 Decoder (decoding part)
13 playback unit 14 controller 15 input device

Claims (9)

データ信号を構成する一連のフレームのうちの同期フレームをフレーム内符号化するとともに、前記一連のフレームのうち時間的に前記同期フレーム間に位置する非同期フレームをフレーム間予測符号化することにより生成された圧縮符号化データを入力とし、前記圧縮符号化データを復号してその復号データを指定速度で再生する再生装置であって、
前記圧縮符号化データを記憶するデータ蓄積部と、
前記指定速度に基づいて、前記データ蓄積部から読み出された圧縮符号化データから再構成されるべきフレーム群を前記一連のフレームの中から仮候補フレーム群として選択する仮候補フレーム選択部と、
前記仮候補フレーム群のうち前記同期フレームに相当する仮候補フレームを候補フレームとして設定し、かつ、前記仮候補フレーム群のうち前記非同期フレームに相当する仮候補フレームに対して時間的に後方かつ直近の同期フレームを候補フレームとして設定する候補フレーム決定部と、
前記データ蓄積部から読み出された圧縮符号化データを復号して前記候補フレームのみを再構成する復号部と、
当該再構成された候補フレームを前記指定速度で再生するフレーム再生部と、
を備える再生装置。 It is generated by intra-frame encoding of a synchronous frame of a series of frames constituting a data signal, and inter-frame predictive encoding of an asynchronous frame temporally positioned between the synchronous frames of the series of frames. A playback apparatus that receives the compressed encoded data, decodes the compressed encoded data, and reproduces the decoded data at a specified speed,
A data storage unit for storing the compression-encoded data;
A temporary candidate frame selection unit that selects a frame group to be reconstructed from the compressed and encoded data read from the data storage unit as a temporary candidate frame group from the series of frames based on the designated speed;
The temporary candidate frame corresponding to the synchronous frame in the temporary candidate frame group is set as a candidate frame, and the temporary candidate frame corresponding to the asynchronous frame in the temporary candidate frame group is backward and closest in time A candidate frame determination unit that sets the synchronization frame as a candidate frame;
A decoding unit that decodes the compressed encoded data read from the data storage unit and reconstructs only the candidate frame;
A frame playback unit for playing back the reconstructed candidate frame at the specified speed;
A playback device comprising: 請求項１記載の再生装置であって、前記候補フレーム決定部は、前記候補フレームのうち２以上の候補フレームの時間軸上の位置が重複したとき、当該２以上の候補フレームのうち一の候補フレームを除く他の候補フレームの設定を解除する、再生装置。   The playback apparatus according to claim 1, wherein the candidate frame determination unit is configured to select one candidate among the two or more candidate frames when positions on the time axis of two or more candidate frames among the candidate frames overlap. A playback device that cancels the setting of other candidate frames excluding frames. 請求項２記載の再生装置であって、前記時間軸上の位置は、前記各フレームに付されたタイムスタンプ情報により規定される、再生装置。   3. The reproducing apparatus according to claim 2, wherein the position on the time axis is defined by time stamp information attached to each frame. 請求項１から３のうちのいずれか１項に記載の再生装置であって、前記指定速度は早送り速度である、再生装置。   The playback apparatus according to claim 1, wherein the designated speed is a fast-forward speed. 請求項１から３のうちのいずれか１項に記載の再生装置であって、前記指定速度は巻き戻し速度である、再生装置。   The playback apparatus according to any one of claims 1 to 3, wherein the specified speed is a rewind speed. 請求項１から５のうちのいずれか１項に記載の再生装置であって、前記フレームは画像フレームである、再生装置。   6. The playback device according to claim 1, wherein the frame is an image frame. 請求項１から６のうちのいずれか１項に記載の再生装置であって、前記フレームは音声フレームである、再生装置。   The playback apparatus according to any one of claims 1 to 6, wherein the frame is an audio frame. データ信号を構成する一連のフレームのうちの同期フレームをフレーム内符号化するとともに、前記一連のフレームのうち時間的に前記同期フレーム間に位置する非同期フレームをフレーム間予測符号化することにより生成された圧縮符号化データを入力とし、前記圧縮符号化データを復号してその復号データを指定速度で再生する再生方法であって、
前記指定速度に基づいて、データ蓄積部から読み出された圧縮符号化データから再構成されるべきフレーム群を前記一連のフレームの中から仮候補フレーム群として選択するステップと、
前記仮候補フレーム群のうち前記同期フレームに相当する仮候補フレームを候補フレームとして設定するステップと、
前記仮候補フレーム群のうち前記非同期フレームに相当する仮候補フレームに対して時間的に後方かつ直近の同期フレームを候補フレームとして設定するステップと、
前記データ蓄積部から読み出された圧縮符号化データを復号して前記候補フレームのみを再構成するステップと、
当該再構成された候補フレームを前記指定速度で再生するステップと、
を備える再生方法。 It is generated by intra-frame encoding of a synchronous frame of a series of frames constituting a data signal, and inter-frame predictive encoding of an asynchronous frame temporally positioned between the synchronous frames of the series of frames. The compressed encoded data as an input, decoding the compressed encoded data and reproducing the decoded data at a specified speed,
Selecting a frame group to be reconstructed from the compressed and encoded data read from the data storage unit as a temporary candidate frame group from the series of frames based on the designated speed;
Setting a temporary candidate frame corresponding to the synchronization frame in the temporary candidate frame group as a candidate frame;
Setting a temporally backward and nearest synchronous frame as a candidate frame with respect to the temporary candidate frame corresponding to the asynchronous frame in the temporary candidate frame group;
Decoding compressed encoded data read from the data storage unit to reconstruct only the candidate frame;
Replaying the reconstructed candidate frame at the specified speed;
A playback method comprising: 請求項８記載の再生方法であって、前記候補フレームのうち２以上の候補フレームの時間軸上の位置が重複したとき、当該２以上の候補フレームのうち一の候補フレームを除く他の候補フレームの設定を解除するステップを更に備える、再生方法。   9. The reproduction method according to claim 8, wherein when two or more candidate frames among the candidate frames have overlapping positions on a time axis, other candidate frames excluding one candidate frame among the two or more candidate frames. A playback method further comprising the step of canceling the setting.
JP2008057684A 2008-03-07 2008-03-07 Reproduction apparatus and method Pending JP2009218675A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008057684A JP2009218675A (en) 2008-03-07 2008-03-07 Reproduction apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008057684A JP2009218675A (en) 2008-03-07 2008-03-07 Reproduction apparatus and method

Publications (1)

Publication Number Publication Date
JP2009218675A true JP2009218675A (en) 2009-09-24

Family

ID=41190157

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008057684A Pending JP2009218675A (en) 2008-03-07 2008-03-07 Reproduction apparatus and method

Country Status (1)

Country Link
JP (1) JP2009218675A (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05344494A (en) * 1992-06-10 1993-12-24 Ricoh Co Ltd Fast feed reproduction system for mpeg dynamic image
JPH07307674A (en) * 1994-05-16 1995-11-21 Toshiba Corp Compressed information reproducing device
JP2000032395A (en) * 1998-07-09 2000-01-28 Matsushita Electric Ind Co Ltd Decoding method
JP2003087732A (en) * 2001-09-12 2003-03-20 Sanyo Electric Co Ltd Video reproducing device
JP2006295645A (en) * 2005-04-12 2006-10-26 Matsushita Electric Ind Co Ltd Special reproduction data producing method, delivery device and video reproducing system
JP2007036705A (en) * 2005-07-27 2007-02-08 Canon Inc Video image storing/reproducing device
JP2007124576A (en) * 2005-10-31 2007-05-17 Sharp Corp Video-reproducing apparatus, video-reproducing method, video-reproducing program, and recording medium with video-reproducing program recorded thereon

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05344494A (en) * 1992-06-10 1993-12-24 Ricoh Co Ltd Fast feed reproduction system for mpeg dynamic image
JPH07307674A (en) * 1994-05-16 1995-11-21 Toshiba Corp Compressed information reproducing device
JP2000032395A (en) * 1998-07-09 2000-01-28 Matsushita Electric Ind Co Ltd Decoding method
JP2003087732A (en) * 2001-09-12 2003-03-20 Sanyo Electric Co Ltd Video reproducing device
JP2006295645A (en) * 2005-04-12 2006-10-26 Matsushita Electric Ind Co Ltd Special reproduction data producing method, delivery device and video reproducing system
JP2007036705A (en) * 2005-07-27 2007-02-08 Canon Inc Video image storing/reproducing device
JP2007124576A (en) * 2005-10-31 2007-05-17 Sharp Corp Video-reproducing apparatus, video-reproducing method, video-reproducing program, and recording medium with video-reproducing program recorded thereon

Similar Documents

Publication Publication Date Title
JP3923898B2 (en) Image coding method and apparatus
JP5090158B2 (en) VIDEO INFORMATION RECORDING DEVICE, VIDEO INFORMATION RECORDING METHOD, VIDEO INFORMATION RECORDING PROGRAM, AND RECORDING MEDIUM CONTAINING VIDEO INFORMATION RECORDING PROGRAM
JPH05153577A (en) Moving picture decoder
TW201206202A (en) Moving image prediction encoding device, moving image prediction encoding method, moving image prediction encoding program, moving image prediction decoding device, moving image prediction decoding method, and moving image prediction decoding program
JP4362510B2 (en) Recording / playback editing device
JP2008283432A (en) Image recording and reproducing device
JP4010617B2 (en) Image decoding apparatus and image decoding method
JP2002199392A (en) Method and device for encoding image
JP4902854B2 (en) Moving picture decoding apparatus, moving picture decoding method, moving picture decoding program, moving picture encoding apparatus, moving picture encoding method, moving picture encoding program, and moving picture encoding / decoding apparatus
JP2008252874A (en) Moving picture coding method, moving picture decoding method, moving picture coding device, and moving picture decoding device
JP2007318615A (en) Moving image reproducing device, moving image reproduction method and program
US20080298769A1 (en) Method and system for generating compressed video to improve reverse playback
JP5472094B2 (en) Moving image conversion apparatus, moving image distribution system, moving image conversion method, and program
KR20060109317A (en) Program, information processing device, information processing method, and recording medium
JP4718944B2 (en) Video server apparatus and reproducing method thereof
JP2003244641A (en) Image reproducing apparatus, and image reproducing method
JP2009218675A (en) Reproduction apparatus and method
JP4399744B2 (en) Program, information processing apparatus, information processing method, and recording medium
JP4591549B2 (en) Reproduction processing apparatus, reproduction processing method, and program
JP2007028212A (en) Reproducing device and reproducing method
JP5248583B2 (en) Moving picture decoding apparatus and moving picture decoding method
JP2009290387A (en) Encoder, decoder and recording reproducing device
JP2006187037A (en) Image reproducing method
JP2005159832A (en) Signal processor
JP2004135241A (en) Data processing apparatus, data processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120214

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121204