JP2007251543A - Display control unit, control method thereof, information reproducing unit, and electronic equipment - Google Patents
Display control unit, control method thereof, information reproducing unit, and electronic equipment Download PDFInfo
- Publication number
- JP2007251543A JP2007251543A JP2006071449A JP2006071449A JP2007251543A JP 2007251543 A JP2007251543 A JP 2007251543A JP 2006071449 A JP2006071449 A JP 2006071449A JP 2006071449 A JP2006071449 A JP 2006071449A JP 2007251543 A JP2007251543 A JP 2007251543A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- display time
- unit
- reference frame
- packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、表示制御装置、その制御方法、情報再生装置及び電子機器に関する。 The present invention relates to a display control device, a control method therefor, an information reproduction device, and an electronic apparatus.
地上アナログ放送に替わって登場する地上デジタル放送では、画像及び音声の高品質化に加えて種々の新サービスの提供に期待が寄せられている。地上デジタル放送の導入によって新たに提供されるサービスの１つに、携帯端末向けサービスとして、いわゆる「１セグメント放送」がある。「１セグメント放送」では、ＱＰＳＫ（Quadrature Phase Shift Keying）変調方式で変調されたデジタル変調波をＯＦＤＭ（Orthogonal Frequency Division Multiplexing）変調方式で多重化することで、携帯端末の移動時でも安定した放送受信が可能となる。 In terrestrial digital broadcasting that appears in place of analog terrestrial broadcasting, there are expectations for the provision of various new services in addition to improving the quality of images and audio. One of the services newly provided by the introduction of terrestrial digital broadcasting is so-called “one-segment broadcasting” as a service for mobile terminals. In “1-segment broadcasting”, digital modulated waves modulated by the QPSK (Quadrature Phase Shift Keying) modulation method are multiplexed by the OFDM (Orthogonal Frequency Division Multiplexing) modulation method, so that stable broadcast reception is possible even when the mobile terminal is moving. Is possible.
このような携帯端末の一例として、携帯電話機がある。携帯電話機に「１セグメント放送」の受信機能を付加する場合、圧縮処理後の映像データ及び音声データが多重化されたトランスポートストリームの分離処理や分離処理後のデータのデコード処理を行う。そして、デコード処理の映像データ及び音声データを、同期をとりながら再生する。
ところで、「１セグメント放送」においては、映像データのデコーダ処理を行う映像デコーダの前にビットストリームをバッファリングする符号化ピクチャバッファ（Coded Picture Buffer：以下、ＣＰＢと略す）というモデルが規定されている。このＣＰＢの容量は、レベルに応じて規定されており、例えば１２５キロバイトや１５０キロバイトが規定されている。 By the way, in “1-segment broadcasting”, a model called a coded picture buffer (hereinafter abbreviated as CPB) for buffering a bit stream is defined before a video decoder that performs video data decoder processing. . The capacity of this CPB is defined according to the level, for example, 125 kilobytes or 150 kilobytes.
しかしながら、特許文献１のようにＣＰＢの容量を考慮しない場合、例えば１２５キロバイトや１５０キロバイトのメモリの容量をＣＰＢの容量として確保しなければならない。そのため、特許文献１の技術が適用された携帯電話機の低コスト化、低消費電力化及び小型化を図ることが困難である。従って、本来のデコード処理を破綻させることなく、できるだけＣＰＢの容量を削減することが望ましい。
However, when the capacity of CPB is not considered as in
本発明は、以上のような技術的課題に鑑みてなされたものであり、その目的とするところは、デコーダに入力する前に設けられるバッファの容量を削減できる表示制御装置、その制御方法、情報再生装置及び電子機器を提供することにある。 The present invention has been made in view of the technical problems as described above, and an object of the present invention is to provide a display control apparatus capable of reducing the capacity of a buffer provided before being input to a decoder, its control method, and information. To provide a playback device and an electronic device.
上記課題を解決するために本発明は、
各参照フレームバッファが、表示時刻が設定される１フレーム分の画像データを格納する第１〜第Ｎ（Ｎは自然数）の参照フレームバッファと、
前記第１〜第Ｎの参照フレームバッファに格納された少なくとも１フレーム分の画像データを参照して、現フレームの画像データを生成するデコード処理を行うデコーダと、
画像データの転送指示を行う画像データ転送指示部と、
画像データ転送指示部からの転送指示に基づいて、前記第１〜第Ｎの参照フレームバッファのいずれかから１フレーム分の画像データを表示部に転送する制御を行う画像データ転送制御部とを含み、
前記画像データ転送指示部が、
現フレームのデコード処理中に表示時刻が到来した画像データの転送を指示すると共に、
前記現フレームの画像データに対するデコード処理が完了し、且つ前記第１〜第Ｎの参照フレームバッファがフル状態のとき、前記第１〜第Ｎの参照フレームバッファに格納された画像データに設定される表示時刻にかかわらず、前記第１〜第Ｎの参照フレームバッファに格納された画像データのうち最も古い画像データの転送指示を行う表示制御装置に関係する。
In order to solve the above problems, the present invention
Each reference frame buffer stores first to Nth (N is a natural number) reference frame buffers for storing image data for one frame for which a display time is set;
A decoder that performs decoding processing to generate image data of a current frame with reference to image data of at least one frame stored in the first to Nth reference frame buffers;
An image data transfer instruction unit for instructing transfer of image data;
An image data transfer control unit that performs control to transfer image data for one frame from any of the first to Nth reference frame buffers to a display unit based on a transfer instruction from the image data transfer instruction unit. ,
The image data transfer instruction unit
Instructing transfer of image data whose display time has arrived during decoding of the current frame,
When the decoding process for the image data of the current frame is completed and the first to Nth reference frame buffers are full, the image data stored in the first to Nth reference frame buffers is set. The present invention relates to a display control apparatus that issues an instruction to transfer the oldest image data among the image data stored in the first to Nth reference frame buffers regardless of the display time.
本発明によれば、表示時刻が設定される、デコード処理後の画像データを、表示時刻に従って表示部に転送できると共に、デコーダによるデコード処理が完了したにもかかわらず、第１〜第Ｎの参照フレームバッファがすべてフル状態のために、デコード処理後の画像データを参照フレームバッファに格納できないという事態を回避できる。従って、本発明によれば、デコーダの前に配置される、いわゆるＣＰＢの容量を削減することができる。 According to the present invention, it is possible to transfer the image data after the decoding process in which the display time is set to the display unit according to the display time, and the first to Nth references even though the decoding process by the decoder is completed. Since all the frame buffers are full, it is possible to avoid a situation in which image data after decoding cannot be stored in the reference frame buffer. Therefore, according to the present invention, the capacity of the so-called CPB arranged before the decoder can be reduced.
また本発明に係る表示制御装置では、
前記画像データ転送指示部が、
前記表示時刻に対応した表示時刻データと、該表示時刻データに対応した画像データの格納先とが画像データ毎に記憶される表示時刻テーブルに基づいて、前記画像データの転送指示を行うことができる。
In the display control device according to the present invention,
The image data transfer instruction unit
Based on the display time table in which the display time data corresponding to the display time and the storage location of the image data corresponding to the display time data are stored for each image data, the transfer instruction of the image data can be performed. .
本発明によれば、表示時刻テーブルに設定された表示時刻データにより表される表示時刻であるか否かによって、画像データの転送制御の可否を決定することができる。このため、例えば画像が生成される時間間隔がフレーム毎に異なった場合であっても、各フレームの画像の管理が容易となり、表示間隔時間を変更する等の表示制御の融通性を向上させることができるようになる。また、無駄に多くの画像をバッファリングさせる必要がなくなり、表示制御装置が適用される機器の低コスト化に寄与できるようになる。 According to the present invention, whether or not image data transfer control is possible can be determined based on whether or not the display time is represented by the display time data set in the display time table. For this reason, for example, even when the time interval at which an image is generated differs from frame to frame, the management of the image of each frame is facilitated, and the flexibility of display control such as changing the display interval time is improved. Will be able to. In addition, it is not necessary to buffer a large number of images unnecessarily, and it is possible to contribute to cost reduction of a device to which the display control device is applied.
また本発明に係る表示制御装置では、
設定された時刻に割り込みを発生させるタイマ部を含み、
前記画像データ転送指示部が、
表示時刻データを前記タイマ部に設定した後、該タイマ部からの割り込みを受信したとき、前記画像データ転送制御部に前記転送指示を行うことができる。
In the display control device according to the present invention,
Includes a timer part that generates an interrupt at a set time,
The image data transfer instruction unit
After the display time data is set in the timer unit, when an interrupt from the timer unit is received, the transfer instruction can be issued to the image data transfer control unit.
また本発明に係る表示制御装置では、
計時を行うタイマ部を含み、
前記画像データ転送指示部が、
表示時刻データを前記タイマ部に設定した後、前記タイマ部をポーリングして前記表示時刻データにより表される表示時刻を経過したか否かを判別し、前記タイマ部の時刻が前記表示時刻を経過したと判別されたとき、前記画像データ転送制御部に前記転送指示を行うことができる。
In the display control device according to the present invention,
Includes a timer section that keeps time,
The image data transfer instruction unit
After setting the display time data in the timer unit, the timer unit is polled to determine whether or not the display time represented by the display time data has elapsed, and the time of the timer unit has passed the display time When it is determined that the transfer has been performed, the transfer instruction can be issued to the image data transfer control unit.
上記のいずれかの発明によれば、簡素な構成で、表示時刻に画像データの転送指示を行うことができる。 According to any one of the above inventions, it is possible to instruct image data transfer at a display time with a simple configuration.
また本発明に係る表示制御装置では、
Ｎが３であってもよい。
In the display control device according to the present invention,
N may be 3.
本発明によれば、必要最小限の構成で、「１セグメント放送」の再生等を行う装置への適用が可能となる。 According to the present invention, it is possible to apply the present invention to an apparatus that reproduces “one-segment broadcasting” with a minimum configuration.
また本発明は、
各参照フレームバッファが、表示時刻が設定される１フレーム分の画像データを格納する第１〜第Ｎ（Ｎは自然数）参照フレームバッファと、
前記第１〜第Ｎの参照フレームバッファに格納された少なくとも１フレーム分の画像データを参照して、現フレームの画像データを生成するデコード処理を行うデコーダと、
前記第１〜第Ｎの参照フレームバッファのいずれかから１フレーム分の画像データを表示部に転送する制御を行う画像データ転送制御部とを含む表示制御装置の制御方法であって、
前記画像データ転送制御部に対し、現フレームのデコード処理中に表示時刻が到来した画像データの転送を指示すると共に、
前記現フレームの画像データに対するデコード処理が完了し、且つ前記第１〜第Ｎの参照フレームバッファがフル状態のとき、前記第１〜第Ｎの参照フレームバッファに格納された画像データに設定される表示時刻にかかわらず、前記画像データ転送制御部に対し、前記第１〜第Ｎの参照フレームバッファに格納された画像データのうち最も古い画像データの転送指示を行う表示制御装置の制御方法に関係する。
The present invention also provides
First to Nth (N is a natural number) reference frame buffer for storing each frame of image data for which a display time is set;
A decoder that performs decoding processing to generate image data of a current frame with reference to image data of at least one frame stored in the first to Nth reference frame buffers;
A display control apparatus control method including an image data transfer control unit that performs control to transfer image data for one frame from any of the first to Nth reference frame buffers to a display unit,
Instructing the image data transfer control unit to transfer image data whose display time has arrived during decoding of the current frame,
When the decoding process for the image data of the current frame is completed and the first to Nth reference frame buffers are full, the image data stored in the first to Nth reference frame buffers is set. Regardless of the display time, the image data transfer control unit is related to the control method of the display control apparatus that instructs the image data transfer control unit to transfer the oldest image data among the image data stored in the first to Nth reference frame buffers. To do.
また本発明に係る表示制御装置の制御方法では、
前記表示時刻に対応した表示時刻データと、該表示時刻データに対応した画像データの格納先とが画像データ毎に記憶される表示時刻テーブルに基づいて、前記画像データの転送指示を行うことができる。
In the control method of the display control device according to the present invention,
Based on the display time table in which the display time data corresponding to the display time and the storage location of the image data corresponding to the display time data are stored for each image data, the transfer instruction of the image data can be performed. .
上記のいずれかの発明によれば、表示時刻が設定される、デコード処理後の画像データを、表示時刻に従って表示部に転送できると共に、デコーダによるデコード処理が完了したにもかかわらず、第１〜第Ｎの参照フレームバッファがすべてフル状態のために、デコード処理後の画像データを参照フレームバッファに格納できないという事態を回避できる。従って、本発明によれば、デコーダの前に配置される、いわゆるＣＰＢの容量を削減することができる。 According to any one of the above-described inventions, the image data after the decoding process in which the display time is set can be transferred to the display unit according to the display time, and the first to the first data are obtained despite the completion of the decoding process by the decoder. Since all the Nth reference frame buffers are full, it is possible to avoid a situation in which the decoded image data cannot be stored in the reference frame buffer. Therefore, according to the present invention, the capacity of the so-called CPB arranged before the decoder can be reduced.
また本発明は、
映像データ及び音声データの少なくとも１つを再生するための情報再生装置であって、
映像データを生成するための第１のＴＳ（Transport Stream）パケット、音声データを生成するための第２のＴＳパケット、前記第１及び第２のＴＳパケット以外の第３のＴＳパケットを、トランスポートストリームから抽出する分離処理部と、
前記第１のＴＳパケットが格納される第１の記憶領域と、前記第２のＴＳパケットが格納される第２の記憶領域と、前記第３のＴＳパケットが格納される第３の記憶領域と、第１〜第Ｎ（Ｎは自然数）の参照フレーム画像データが格納される参照フレーム画像データ記憶領域とを有するメモリと、
前記第１の記憶領域から読み出された前記第１のＴＳパケットに基づいて前記映像データを生成する映像デコード処理を行い、映像デコード処理後のデータを前記第１〜第Ｎの参照フレーム画像データの１つとして前記メモリの参照フレーム記憶領域に格納する映像デコーダと、
前記第２の記憶領域から読み出された前記第２のＴＳパケットに基づいて前記音声データを生成する音声デコード処理を行う音声デコーダと、
前記メモリの参照フレーム画像データ記憶領域から前記第１〜第Ｎの参照フレーム画像データの１つを画像データとして転送制御を行う画像データ転送制御部とを含み、
前記映像デコーダが、前記第１の記憶領域から前記第１のＴＳパケットを、前記音声デコーダとは独立して読み出し、該第１のＴＳパケットに基づいて前記映像デコード処理を行うと共に、
前記音声デコーダが、前記第２の記憶領域から前記第２のＴＳパケットを、前記映像デコーダとは独立して読み出し、該第２のＴＳパケットに基づいて前記音声デコード処理を行い、
前記画像データ転送制御部が、
現フレームのデコード処理中に表示時刻が到来した画像データの転送を行う共に、
前記現フレームの画像データに対するデコード処理が完了し、且つ前記第１〜第Ｎの参照フレーム画像データのそれぞれが格納される記憶領域のすべてがフル状態のとき、前記第１〜第Ｎの参照フレーム画像データに設定される表示時刻にかかわらず、前記参照フレーム画像データ記憶領域に格納された画像データのうち最も古い画像データの転送制御を行う情報再生装置に関係する。
The present invention also provides
An information reproducing apparatus for reproducing at least one of video data and audio data,
Transport a first TS (Transport Stream) packet for generating video data, a second TS packet for generating audio data, and a third TS packet other than the first and second TS packets. A separation processing unit for extracting from the stream;
A first storage area for storing the first TS packet; a second storage area for storing the second TS packet; and a third storage area for storing the third TS packet; A memory having a reference frame image data storage area for storing first to Nth (N is a natural number) reference frame image data;
A video decoding process for generating the video data based on the first TS packet read from the first storage area is performed, and the data after the video decoding process is used as the first to Nth reference frame image data. A video decoder for storing in a reference frame storage area of the memory as one of
An audio decoder for performing audio decoding processing for generating the audio data based on the second TS packet read from the second storage area;
An image data transfer control unit that controls transfer of one of the first to Nth reference frame image data as image data from a reference frame image data storage area of the memory;
The video decoder reads the first TS packet from the first storage area independently of the audio decoder, performs the video decoding process based on the first TS packet,
The audio decoder reads the second TS packet from the second storage area independently of the video decoder, performs the audio decoding process based on the second TS packet,
The image data transfer control unit is
While transferring the image data whose display time has arrived during the decoding process of the current frame,
When the decoding process for the image data of the current frame is completed and all the storage areas in which the first to Nth reference frame image data are stored are full, the first to Nth reference frames Regardless of the display time set in the image data, the present invention relates to an information reproducing apparatus that controls transfer of the oldest image data among the image data stored in the reference frame image data storage area.
また本発明に係る情報再生装置では、
前記表示時刻に対応した表示時刻データと、該表示時刻データに対応した画像データの格納先とが画像データ毎に記憶される表示時刻テーブルに基づいて、前記画像データの転送指示を行うことができる。
In the information reproducing apparatus according to the present invention,
Based on the display time table in which the display time data corresponding to the display time and the storage location of the image data corresponding to the display time data are stored for each image data, the transfer instruction of the image data can be performed. .
上記のいずれかの発明によれば、いわゆるＣＰＢとして機能するメモリの記憶領域を削減することができるので、映像データ及び音声データの再生処理を行う情報再生装置の低コスト化を図ることができる。 According to any one of the above-described inventions, it is possible to reduce the storage area of the memory functioning as a so-called CPB, and thus it is possible to reduce the cost of the information reproducing apparatus that performs reproduction processing of video data and audio data.
また本発明は、
上記記載の情報再生装置と、
前記情報再生装置に対し、前記映像デコード処理及び前記音声デコード処理の少なくとも１つの処理開始を指示するホストとを含む電子機器に関係する。
The present invention also provides
An information reproducing apparatus as described above;
The present invention relates to an electronic apparatus including a host that instructs the information reproduction apparatus to start at least one of the video decoding process and the audio decoding process.
また本発明は、
チューナと、
前記チューナからのトランスポートストリームが供給される上記記載の情報再生装置と、
前記情報再生装置に対し、前記映像デコード処理及び前記音声デコード処理の少なくとも１つの処理開始を指示するホストとを含む電子機器に関係する。
The present invention also provides
Tuner,
The information reproducing apparatus as described above, wherein a transport stream from the tuner is supplied;
The present invention relates to an electronic apparatus including a host that instructs the information reproduction apparatus to start at least one of the video decoding process and the audio decoding process.
上記のいずれかの発明によれば、いわゆるＣＰＢとして機能するメモリの記憶領域を削減し、映像データ及び音声データの再生処理を行う情報再生装置が適用された電子機器を提供することができる。 According to any one of the above-described inventions, it is possible to provide an electronic apparatus to which an information reproducing apparatus for reducing the storage area of a memory functioning as a so-called CPB and performing reproduction processing of video data and audio data is applied.
以下、本発明の実施の形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成のすべてが本発明の必須構成要件であるとは限らない。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. The embodiments described below do not unduly limit the contents of the present invention described in the claims. Also, not all of the configurations described below are essential constituent requirements of the present invention.
１． 表示制御装置
図１に、本実施形態における表示制御装置の構成例のブロック図を示す。
1. Display Control Device FIG. 1 is a block diagram showing a configuration example of a display control device according to this embodiment.
表示制御装置１０は、パケットデータが連続するストリームデータから生成される画像データの表示部５０への転送制御を行うことで、表示部５０の表示制御を行う。ここで、表示部５０は、例えば電気光学装置としての液晶表示（Liquid Crystal Display：以下、ＬＣＤと略す）パネル（図示せず）と、該ＬＣＤパネルの複数の走査線及び複数のデータ線を駆動する駆動回路（図示せず）とを含むことができる。駆動回路は、ＬＣＤパネルの複数の走査線を走査しながら、該ＬＣＤパネルの複数のデータ線を画像データに基づいて駆動する。この場合、表示制御装置１０は、表示部５０の駆動回路に対して画像データを転送する。
The
表示制御装置１０に入力されるストリームデータは、所定のビットレートを維持するために、一旦、符号化ピクチャバッファ（Coded Picture Buffer：ＣＰＢ）６０に蓄積された後に出力される。このようなストリームデータは、１又は複数のパケットデータを含む。各パケットデータは、ヘッダ情報とペイロード部とを含む。そしてペイロード部のデータに基づいて生成された１又は複数の画像データを、該パケットデータにより指定された表示時刻に表示部５０に表示させるための制御を行う。
The stream data input to the
このような表示制御装置１０は、デコーダ２０と、バッファ部４０と、画像データ転送指示部４２と、画像データ転送制御部４４とを含む。
Such a
バッファ部４０は、第１〜第Ｎ（Ｎは自然数）の参照フレームバッファＲＥＦ１〜ＲＥＦＮを含む。第１〜第Ｎの参照フレームバッファＲＥＦ１〜ＲＥＦＮの各参照フレームバッファには、表示時刻が設定される、デコーダ２０によるデコード処理後の１フレーム分の画像データが格納される。
The
デコーダ２０は、ストリームデータを構成するパケットデータから抽出される画像データのデコード処理を行う。このデコーダ２０は、バッファ部４０の第１〜第Ｎの参照フレームバッファＲＥＦ１〜ＲＥＦＮに格納された少なくとも１フレーム分の画像データを参照して、現フレームの画像データを生成するデコード処理を行う。そして、デコーダ２０は、デコード処理後の１フレーム分の画像データを、第１〜第Ｎの参照フレームバッファＲＥＦ１〜ＲＥＦＮのいずれかの参照フレームバッファに格納する。このようなデコーダ２０は、例えばＨ．２６４／ＡＶＣ規格に準拠したデコード処理を行うことができる。デコーダ２０は、例えばデコード処理の開始の際に、処理対象の画像データを一旦、デコード用フレームバッファ４６に格納し、該デコード用フレームバッファ４６を作業用エリアとしてデコード処理を行うことができる。
The
画像データ転送指示部４２は、表示部５０に対する１フレーム分の画像データの転送指示を画像データ転送制御部４４に対して行う。より具体的には、画像データ転送指示部４２は、現フレームのデコード処理中に表示時刻が到来した画像データの転送を指示する。更に、デコーダ２０による現フレームの画像データに対するデコード処理が完了し、且つ第１〜第Ｎの参照フレームバッファＲＥＦ１〜ＲＥＦＮのすべてがフル状態のとき、画像データ転送指示部４２は、第１〜第Ｎの参照フレームバッファＲＥＦ１〜ＲＥＦＮの各参照フレームバッファに格納された画像データに設定される表示時刻にかかわらず、第１〜第Ｎの参照フレームバッファＲＥＦ１〜ＲＥＦＮに格納された画像データのうち最も古い画像データの転送指示を行う。
The image data
画像データ転送制御部４４は、画像データ転送指示部４２からの転送指示に基づいて、第１〜第Ｎの参照フレームバッファＲＥＦ１〜ＲＥＦＮのいずれかから１フレーム分の画像データを表示部５０に転送する制御を行う。
The image data transfer control unit 44 transfers image data for one frame from any one of the first to Nth reference frame buffers REF <b> 1 to REFN to the
このような表示制御装置１０によれば、画像データを、その表示時刻の到来を条件に表示部５０に対して転送する一方で、デコーダ２０によるデコード処理が完了したときに第１〜第Ｎの参照フレームバッファＲＥＦ１〜ＲＥＦＮのすべてがフルの状態のときには、第１〜第Ｎの参照フレームバッファＲＥＦ１〜ＲＥＦＮのいずれかから、画像データに対して設定された表示時刻にかかわらず、該画像データを強制的に表示部５０に対して転送することができる。
According to the
一般に、ストリームデータとして次々にデコード対象のデータが入力される表示制御装置の内部の処理が停滞した場合、該表示制御装置に入力されるストリームデータをバッファリングするＣＰＢの容量を大きくせざるを得なくなる。しかしながら、本実施形態によれば、デコーダ２０によるデコード処理が完了したにもかかわらず、第１〜第Ｎの参照フレームバッファＲＥＦ１〜ＲＥＦＮがすべてフル状態のために、デコード処理後の画像データを参照フレームバッファに格納できないという事態を回避できる。従って、本実施形態によれば、ＣＰＢの容量を削減することができる。
Generally, when the internal processing of the display control device to which data to be decoded is sequentially input as stream data is stagnated, the capacity of the CPB for buffering the stream data input to the display control device must be increased. Disappear. However, according to the present embodiment, since the first to Nth reference frame buffers REF1 to REFN are all full even though the decoding process by the
ここで「１セグメント放送」では、Ｈ．２６４／ＡＶＣを採用し、その参照フレーム数を最大３フレームに制約しているため、Ｎは３であることが望ましい。こうすることで、必要最小限の構成で、「１セグメント放送」の再生等を行う装置への適用が可能となる。 Here, in “1-segment broadcasting”, H.264 is used. Since H.264 / AVC is employed and the number of reference frames is limited to a maximum of three frames, N is preferably 3. In this way, it is possible to apply to a device that performs “1-segment broadcast” playback or the like with a minimum configuration.
図２に、本実施形態における表示制御装置１０の動作の一例の説明図を示す。
FIG. 2 is an explanatory diagram showing an example of the operation of the
図２では、Ｎが３、各フレームの画像データをＦ０、Ｆ１、Ｆ２、Ｆ３とし、Ｆ０が最も古い画像データ（最も過去の画像データ）であるものとする。そして、図２では、デコード用フレームバッファ４６、第１〜第３の参照フレームバッファＲＥＦ１〜ＲＥＦ３のバッファリング状況を模式的に示している。
In FIG. 2, it is assumed that N is 3, image data of each frame is F0, F1, F2, and F3, and F0 is the oldest image data (oldest image data). FIG. 2 schematically shows the buffering status of the
まず、初期状態として第１〜第３の参照フレームバッファＲＥＦ１〜ＲＥＦ３はすべてエンプティ状態であるものとする。 First, it is assumed that the first to third reference frame buffers REF1 to REF3 are all in an empty state as an initial state.
ここで、時刻Ｔ０に、画像データＦ０のデコードが完了すると、第１の参照フレームバッファＲＥＦ１にデコード処理後の画像データＦ０が格納され、デコード用フレームバッファ４６には、次のフレームの画像データＦ１が格納される。
Here, when decoding of the image data F0 is completed at time T0, the decoded image data F0 is stored in the first reference frame buffer REF1, and the image data F1 of the next frame is stored in the
次に、時刻Ｔ０後の時刻Ｔ１に、画像データＦ１のデコードが完了すると、第２の参照フレームバッファＲＥＦ２に画像データＦ０が転送されると共に、第１の参照フレームバッファＲＥＦ１にデコード処理後の画像データＦ１が格納され、デコード用フレームバッファ４６には、次のフレームの画像データＦ２が格納される。
Next, when the decoding of the image data F1 is completed at time T1 after time T0, the image data F0 is transferred to the second reference frame buffer REF2, and the image after decoding processing is performed to the first reference frame buffer REF1. Data F1 is stored, and the image data F2 of the next frame is stored in the
そして、時刻Ｔ１後において、画像データＦ２のデコード処理が完了する前の時刻Ｔ１０に、画像データＦ０に設定された表示時刻が到来したとき、画像データ転送指示部４２は、第２の参照フレームバッファＲＥＦ２に格納された画像データＦ０の転送指示を行い、画像データ転送制御部４４が、画像データＦ０を表示部５０に対して転送する制御を行う。この結果、第２の参照フレームバッファＲＥＦ２はエンプティ状態となる。
Then, when the display time set in the image data F0 comes at time T10 after the time T1 and before the decoding processing of the image data F2 is completed, the image data
その後、時刻Ｔ２において、画像データＦ２のデコードが完了すると、第２の参照フレームバッファＲＥＦ２に画像データＦ１が転送されると共に、第１の参照フレームバッファＲＥＦ１にデコード処理後の画像データＦ２が格納され、デコード用フレームバッファ４６には、次のフレームの画像データＦ３が格納される。
Thereafter, when the decoding of the image data F2 is completed at time T2, the image data F1 is transferred to the second reference frame buffer REF2, and the decoded image data F2 is stored in the first reference frame buffer REF1. The
このように、画像データ転送指示部４２は、画像データＦ２のデコード処理中に、表示時刻が到来した画像データＦ０の転送を指示することができる。
As described above, the image data
図３に、本実施形態における表示制御装置１０の動作の他の例の説明図を示す。
FIG. 3 is an explanatory diagram of another example of the operation of the
図３においても、Ｎが３、各フレームの画像データをＦ０、Ｆ１、Ｆ２、Ｆ３、Ｆ４とし、Ｆ０が最も古い画像データ（最も過去の画像データ）であるものとする。そして、図３では、デコード用フレームバッファ４６、第１〜第３の参照フレームバッファＲＥＦ１〜ＲＥＦ３のバッファリング状況を模式的に示している。
Also in FIG. 3, it is assumed that N is 3, image data of each frame is F0, F1, F2, F3, and F4, and F0 is the oldest image data (oldest image data). FIG. 3 schematically shows the buffering status of the
まず、初期状態として第１〜第３の参照フレームバッファＲＥＦ１〜ＲＥＦ３はすべてエンプティ状態であるものとする。 First, it is assumed that the first to third reference frame buffers REF1 to REF3 are all in an empty state as an initial state.
ここで、時刻Ｔ２０に、画像データＦ０のデコードが完了すると、第１の参照フレームバッファＲＥＦ１にデコード処理後の画像データＦ０が格納され、デコード用フレームバッファ４６には、次のフレームの画像データＦ１が格納される。
Here, when the decoding of the image data F0 is completed at time T20, the decoded image data F0 is stored in the first reference frame buffer REF1, and the image data F1 of the next frame is stored in the
次に、時刻Ｔ２０後の時刻Ｔ２１に、画像データＦ１のデコードが完了すると、第２の参照フレームバッファＲＥＦ２に画像データＦ０が転送されると共に、第１の参照フレームバッファＲＥＦ１にデコード処理後の画像データＦ１が格納され、デコード用フレームバッファ４６には、次のフレームの画像データＦ２が格納される。
Next, when decoding of the image data F1 is completed at time T21 after time T20, the image data F0 is transferred to the second reference frame buffer REF2, and the image after decoding processing is performed to the first reference frame buffer REF1. Data F1 is stored, and the image data F2 of the next frame is stored in the
更に、時刻Ｔ２１後の時刻Ｔ２２に、画像データＦ２のデコードが完了すると、第３の参照フレームバッファＲＥＦ３に画像データＦ０が転送され、第２の参照フレームバッファＲＥＦ２に画像データＦ１が転送されると共に、第１の参照フレームバッファＲＥＦ１にデコード処理後の画像データＦ２が格納され、デコード用フレームバッファ４６には、次のフレームの画像データＦ３が格納される。
Further, when decoding of the image data F2 is completed at time T22 after time T21, the image data F0 is transferred to the third reference frame buffer REF3, and the image data F1 is transferred to the second reference frame buffer REF2. The decoded image data F2 is stored in the first reference frame buffer REF1, and the image data F3 of the next frame is stored in the
そして、時刻Ｔ２２後の時刻Ｔ２３において、画像データＦ３のデコードが完了したものとする。このとき、第１〜第３の参照フレームバッファＲＥＦ１〜ＲＥＦ３はすべてフル状態となるため、画像データ転送指示部４２は、第１〜第３の参照フレームバッファＲＥＦ１〜ＲＥＦ３に格納された画像データＦ２、Ｆ１、Ｆ０に設定される表示時刻にかかわらず、第１〜第３の参照フレームバッファＲＥＦ１〜ＲＥＦ３に格納された画像データＦ２、Ｆ１、Ｆ０のうち最も古い画像データＦ０の転送指示を行う。
Assume that the decoding of the image data F3 is completed at time T23 after time T22. At this time, since the first to third reference frame buffers REF1 to REF3 are all full, the image data
そして、続いて、第３の参照フレームバッファＲＥＦ３に画像データＦ１が転送され、第２の参照フレームバッファＲＥＦ２に画像データＦ２が転送され、第１の参照フレームバッファＲＥＦ１に画像データＦ１が転送され、デコード用フレームバッファ４６に、次のフレームの画像データＦ４が格納される。
Subsequently, the image data F1 is transferred to the third reference frame buffer REF3, the image data F2 is transferred to the second reference frame buffer REF2, the image data F1 is transferred to the first reference frame buffer REF1, The
その後、時刻Ｔ２３後の時刻Ｔ３０に、画像データＦ０に設定された表示時刻が到来したとしても、もはや画像データＦ０の転送指示を行うことがない。 Thereafter, even when the display time set in the image data F0 comes at time T30 after time T23, the transfer instruction of the image data F0 is no longer performed.
このように、画像データ転送指示部４２は、画像データＦ３に対するデコード処理が完了し、且つ第１〜第３の参照フレームバッファがフル状態のとき、第１〜第３の参照フレームバッファＲＥＦ１〜ＲＥＦ３に格納された画像データに設定される表示時刻にかかわらず、第１〜第３の参照フレームバッファＲＥＦ１〜ＲＥＦ３に格納された最も古い画像データの転送指示を行うことができる。
Thus, the image data
このような表示制御装置１０は、表示時刻に対応した表示時刻データと、該表示時刻データに対応した画像データの格納先とが画像データ毎に記憶される表示時刻テーブルに基づいて、画像データの転送指示を行うことが望ましい。
Such a
そのため、表示制御装置１０は、更に、ヘッダ解析部４８を含むことができる。このヘッダ解析部４８は、ストリームデータを構成するパケットデータのヘッダ情報に含まれる表示時刻情報を検出する。そして画像データ転送指示部４２は、ヘッダ解析部４８によって検出された表示時刻情報を少なくとも用いて求められる、表示時刻データをテーブル化した表示時刻テーブルを参照して、フレーム毎に画像データの転送指示を行う。
Therefore, the
図４に、本実施形態における表示時刻テーブルの説明図を示す。 FIG. 4 is an explanatory diagram of a display time table in the present embodiment.
本実施形態における表示時刻テーブルは、テーブル番号の「０」から順にフレーム単位で表示時刻データが設定される。例えばテーブル番号に対応して、フレーム番号、表示時刻データ及び参照フレームバッファのアドレスが設定される。 In the display time table in the present embodiment, display time data is set in units of frames in order from the table number “0”. For example, the frame number, display time data, and reference frame buffer address are set corresponding to the table number.
この表示時刻データは、パケットデータのヘッダ情報の表示時刻情報に基づいて求められたり、該表示時刻情報及び上記パケットデータのペイロード部に基づいて求められたりする。そして、表示時刻テーブルの最終のテーブル番号の表示時刻データとして、所定の終了コードであるＥＯＴ（End Of Table）コードが設定される。表示時刻テーブルの表示時刻データを順番に参照したときに、表示時刻データがＥＯＴコードであるか否かを判別することで、該表示時刻テーブルの表示時刻データをすべて読み出したか否かを判断することができるようになっている。 The display time data is obtained based on the display time information of the header information of the packet data, or is obtained based on the display time information and the payload portion of the packet data. Then, an EOT (End Of Table) code which is a predetermined end code is set as the display time data of the last table number of the display time table. When referring to the display time data in the display time table in order, it is determined whether or not all the display time data in the display time table has been read out by determining whether or not the display time data is an EOT code. Can be done.
そして、デコード処理後の画像データが第１〜第Ｎの参照フレームバッファＲＥＦ１〜ＲＥＦＮのいずれかに格納される場合に、表示時刻テーブルには、その画像データの格納先となる参照フレームバッファの先頭アドレスが、該画像データの表示時刻に対応して設定される。従って、画像データ転送指示部４２は、この表示時刻テーブルを参照することで、画像データ転送制御部４４に対する画像データの転送指示を容易に実現できるようになる。
When the decoded image data is stored in any of the first to Nth reference frame buffers REF1 to REFN, the display time table includes a head of the reference frame buffer serving as the storage destination of the image data. An address is set corresponding to the display time of the image data. Therefore, the image data
表示時刻テーブルに設定されたテーブル番号に対応した表示時刻データ及び参照フレームバッファのアドレスは、表示ポインタＤｉｓＰにより指定される。画像データの転送指示を行うたびにこの表示ポインタＤｉｓＰをインクリメントすることで、順番に表示時刻の順に画像データの転送指示を行うことができる。 The display time data corresponding to the table number set in the display time table and the address of the reference frame buffer are specified by the display pointer DisP. By incrementing the display pointer DisP every time an image data transfer instruction is given, the image data transfer instruction can be given in order of display time.
上記のように表示制御装置１０を構成し、表示時刻テーブルを生成することにより、該表示時刻テーブルに設定された表示時刻データにより表される表示時刻（再生時刻）であるか否かによって、画像データの転送制御の可否を決定することができる。このため、例えば画像が生成される時間間隔がフレーム毎に異なった場合であっても、各フレームの画像の管理が容易となり、表示間隔時間を変更する等の表示制御の融通性を向上させることができるようになる。また、無駄に多くの画像をバッファリングさせる必要がなくなり、表示制御装置１０が適用される機器の低コスト化に寄与できるようになる。
By configuring the
更に、図１において表示制御装置１０は、更にタイマ部７０を含むことができる。タイマ部７０は、画像データ転送指示部４２によって設定された時刻に割り込みを発生させる。そして、画像データ転送指示部４２は、表示時刻テーブルの表示時刻データの１つをこのタイマ部７０に設定した後、該タイマ部７０からの割り込みを受信したことを条件に画像データ転送制御部４４に画像データの転送指示を行うことができる。
Further, in FIG. 1, the
次に、本実施形態における表示制御装置１０の要部について説明する。
Next, the main part of the
１．１ デコーダ
図５に、図１のデコーダ２０の構成例のブロック図を示す。
1.1 Decoder FIG. 5 shows a block diagram of a configuration example of the
図５において、図１と同一部分には同一符号を付し、適宜説明を省略する。 In FIG. 5, the same parts as those in FIG.
デコーダ２０は、コンテキスト適応型可変長符号化方式（Context-Adaptive Variable Length Coding：以下、ＣＡＶＬＣと略す）部２２、逆量子化部２４、逆離散コサイン変換（Discrete Cosine Transform：以下、ＤＣＴと略す）演算部２６、加算部２８、デブロッキングフィルタ３０、動き補償部３２、動き予測部３４、パラメータ解析部３６を含む。動き予測部３４は、画面内予測部３７、重み付き予測部３８を含む。
The
ＣＡＶＬＣ部２２は、エントロピー符号化方式により符号化されたビットストリームを復号化する処理を行う。即ち、ＣＡＶＬＣ部２２は、ＣＡＶＬＣにより符号化されたデータを復号化するＣＡＶＬＣ演算する処理を行う。このＣＡＶＬＣ演算については、例えば公知のＨ．２６４／ＡＶＣで規定されているため詳細な説明を省略する。
The
逆量子化部２４は、ＣＡＶＬＣ部２２によって復号されたデータに対して逆量子化する。その後、逆ＤＣＴ演算部２６が、逆量子化されたデータに対して逆ＤＣＴ演算を行う。加算部２８は、逆ＤＣＴ演算部２６の出力と動き予測部３４の出力とを加算して、動き予測及び動き補償処理後の画像データを生成する。デブロッキングフィルタ３０は、加算部２８によって生成された画像のブロックノイズを低減させる処理を行う。デブロッキングフィルタ３０の出力が、デコーダ２０の出力画像データとしてバッファ部４０の第１〜第Ｎの参照フレームバッファＲＥＦ１〜ＲＥＦＮのいずれかに格納される。
The
一方、パラメータ解析部３６は、ビットストリームのヘッダ情報を解析して、画面内予測部３７において行われる画面内予測処理に必要なパラメータを抽出すると共に、重み付き予測部３８において行われる重み付き予測処理に必要なパラメータを抽出する。
On the other hand, the
ビットストリームのヘッダ情報を解析するパラメータ解析部３６は、画面内予測を行うか、フレーム間予測を行うかを判別することができる。画面内予測を行う場合には、動き予測部３４の画面内予測部３７が、加算部２８の出力結果に基づいて、当該フレーム内において公知の画面内予測処理を行う。そして、フレーム間予測を行う場合には、動き予測部３４の重み付き予測部３８が、動き補償部３２の動き補償後の画像データを用いてＨ．２６４／ＡＶＣ規格で規定された公知の重み付き予測を行う。
The
動き補償部３２は、第１〜第Ｎの参照フレームバッファＲＥＦ１〜ＲＥＦＮに格納された１又は複数の参照フレームの画像データの中から、パラメータ解析部３６の解析の結果として指定された参照フレームバッファの１又は複数の画像データを用いて、Ｈ．２６４／ＡＶＣ規格で規定された公知の動き補償処理を行う。
The
こうして動き予測又は動き補償が行われたデータは、加算部２８において、逆ＤＣＴ演算後のデータと加算される。
The data subjected to motion prediction or motion compensation in this way is added to the data after the inverse DCT calculation in the adding
こうしたデコード処理が完了し、バッファ部４０の第１〜第Ｎの参照フレームバッファＲＥＦ１〜ＲＥＦＮのいずれかにデコード処理後の画像データを格納するときに、デコーダ２０は、デコーダ２０の外部又は内部に設けられたデコード完了フラグ（図示せず）をセットする。このデコード完了フラグは、デコード完了フラグをアクセスしたときにリセットされる。
When such decoding processing is completed and the decoded image data is stored in any of the first to Nth reference frame buffers REF1 to REFN of the
なお、デコーダ２０の各部は、デコード用フレームバッファ４６を作業エリアとして、デコード処理を行う。
Each part of the
１．２ 通常の画像データ転送制御
本実施形態では、タイマ部７０を用いて表示時刻の到来を認識する。そして、表示時刻の到来を認識したときに、画像データ転送指示部４２が画像データ転送制御部４４に対して画像データの転送指示を行う。
1.2 Normal Image Data Transfer Control In this embodiment, the
図６に、図１のタイマ部７０の構成例のブロック図を示す。
FIG. 6 shows a block diagram of a configuration example of the
タイマ部７０は、表示時刻設定レジスタ７２、カウンタ７４、コンパレータ７６、割り込み発生部７８を含むことができる。表示時刻設定レジスタ７２には、画像データ転送指示部４２から表示時刻テーブルの表示時刻データの１つが設定される。カウンタ７４は、所与の基準クロックのカウント数をカウントし、カウント値としてコンパレータ７６に出力する。コンパレータ７６は、カウンタ７４のカウント値と表示時刻設定レジスタ７２の設定値とを比較し、両者の値が一致したときに一致検出パルスを割り込み発生部７８に出力する。割り込み発生部７８は、一致検出パルスが入力されたときに割り込み信号を出力する。この割り込み信号は、画像データ転送指示部４２に入力される。
The
そして、画像データ転送指示部４２は、該タイマ部７０からの割り込みを受信したことを条件に画像データ転送制御部４４に画像データの転送指示を行う。その後、画像データ転送指示部４２は、表示時刻テーブルの次の表示時刻データを、タイマ部７０の表示時刻設定レジスタ７２に設定し、次の割り込み信号の受信を待つ。
Then, the image data
図７に、画像データ転送指示部４２の処理例のフロー図を示す。
FIG. 7 shows a flowchart of a processing example of the image data
例えば表示制御装置１０が、図示しない中央演算処理装置（Central Processing Unit：ＣＰＵ)及びメモリを有し、該メモリに記憶されたプログラムに従って処理を実行するＣＰＵが、画像データ転送指示部４２の機能を実現することができる。このとき、タイマ部７０からの割り込み信号が受信されたときの割り込みハンドラとして、図７のフローを実行することができる。
For example, the
まず、画像データ転送指示部４２（図示しないＣＰＵ）は、デコーダ２０によるセットされるデコード完了フラグがオン（セットされた状態）か否かを判別する（ステップＳ１００）。そして、デコード完了フラグがオンであることが判別されたとき（ステップＳ１００：Ｙ）、画像データ転送指示部４２は、表示ポインタＤｉｓＰの指すフレーム番号の画像データが格納される参照フレームバッファのアドレスを指定し、転送コマンドを画像データ転送制御部４４に発行して画像データの転送指示を行う（ステップＳ１０１）。
First, the image data transfer instruction unit 42 (CPU not shown) determines whether or not the decoding completion flag set by the
その後、画像データ転送指示部４２は、表示時刻テーブルのテーブル番号を指定する表示ポインタＤｉｓＰをインクリメントして、次の表示時刻データを指定する（ステップＳ１０２）。そして、ステップＳ１０２でインクリメントされた表示ポインタＤｉｓＰが指すテーブル番号の表示時刻データを、タイマ部７０の表示時刻設定レジスタ７２に設定し（ステップＳ１０３）、一連の処理を終了する（エンド）。
Thereafter, the image data
一方、ステップＳ１００において、デコード完了フラグがオンではないと判別されたとき（ステップＳ１００：Ｎ）、画像データ転送指示部４２は、次の割り込み信号の受信を待つために所定のタイマ値をタイマ部７０の表示時刻設定レジスタ７２に設定し（ステップＳ１０４）、一連の処理を終了する（エンド）。
On the other hand, when it is determined in step S100 that the decode completion flag is not on (step S100: N), the image data
こうすることで、画像データ転送指示部４２が、表示時刻テーブルにおいてテーブル化された表示時刻テーブルに従って、画像データの転送指示を行うことができる。
In this way, the image data
なお図６及び図７では、画像データ転送指示部４２が、タイマ部７０からの割り込み通知により表示時刻の到来を認識したが、これに限定されるものではない。例えば、画像データ転送指示部４２が、タイマ部７０をポーリングして、表示時刻の到来を認識するようにしてもよい。
6 and 7, the image data
図８に、本実施形態のタイマ部７０の他の構成例のブロック図を示す。
FIG. 8 shows a block diagram of another configuration example of the
図８において図６と同一部分には同一符号を付し、適宜説明を省略する。図８において、図６と異なる点は、割り込み発生部７８に代えてスデータスレジスタ７９が設けられている点である。
In FIG. 8, the same parts as those of FIG. 8 is different from FIG. 6 in that a
即ち、コンパレータ７６は、カウンタ７４のカウント値と表示時刻設定レジスタ７２の設定値とを比較し、両者の値が一致したときに一致検出パルスをスデータスレジスタ７９に出力する。スデータスレジスタ７９は、コンパレータ７６からの一致検出パルスにより表示時刻到来フラグをセットする。なお、この表示時刻到来フラグは、表示時刻設定レジスタ７２への表示時刻データの設定時やスデータスレジスタ７９への読み出しアクセス時にリセットされる。
That is, the
そして、画像データ転送指示部４２は、該タイマ部７０をポーリングした結果、スデータスレジスタ７９の表示時刻到来フラグがセット状態になっていると検出されたことを条件に画像データ転送制御部４４に画像データの転送指示を行う。その後、画像データ転送指示部４２は、表示時刻テーブルの次の表示時刻データを、タイマ部７０の表示時刻設定レジスタ７２に設定し、次のポーリング動作を行うことになる。
Then, the image data
即ち、タイマ部７０は、計時を行う。そして、画像データ転送指示部４２が、表示時刻テーブルの表示時刻データの１つをタイマ部７０に設定した後、タイマ部７０をポーリングして表示時刻テーブルの表示時刻データにより表される表示時刻を経過したか否かを判別し、タイマ部７０の時刻が表示時刻を経過したと判別されたことを条件に画像データ転送制御部４４に画像データの転送指示を行う。
That is, the
１．３ 強制的な画像データ転送制御
本実施形態では、第１〜第Ｎの参照フレームバッファＲＥＦ１〜ＲＥＦＮのすべてがフル状態で、デコーダ２０のデコード処理が完了したとき、画像データ転送指示部４２が、第１〜第Ｎの参照フレームバッファＲＥＦ１〜ＲＥＦＮに格納された画像データを、該画像データに対して設定される表示時刻にかかわらず表示部５０に転送する指示を行う。
1.3 Forcible Image Data Transfer Control In this embodiment, when all of the first to Nth reference frame buffers REF1 to REFN are full and the decoding process of the
図９に、画像データ転送指示部４２が行う強制的な画像データ転送制御の処理例のフロー図を示す。
FIG. 9 shows a flowchart of a processing example of forced image data transfer control performed by the image data
例えば表示制御装置１０が、図示しないＣＰＵ及びメモリを有し、該メモリに記憶されたプログラムに従って処理を実行するＣＰＵが、画像データ転送指示部４２の機能を実現し、図９に示す処理を実行することができる。なお、図９ではＮが３であるものとする。
For example, the
ここで、画像データ転送指示部４２は、デコーダ２０においてデコード処理が行われる画像データのフレーム番号を指定するデコードポインタＤｅｃＰを用いる。
Here, the image data
まず、画像データ転送指示部４２（図示しないＣＰＵ）は、デコーダ２０によるセットされるデコード完了フラグがオン（セットされた状態）であるかを監視する（ステップＳ１２０：Ｎ）。そして、デコード完了フラグがオンであることが判別されたとき（ステップＳ１２０：Ｙ）、画像データ転送指示部４２は、デコードポインタＤｅｃＰの示すフレーム番号の画像データが格納される参照フレームバッファのアドレスを、表示時刻テーブルに設定する（ステップＳ１２１）。この結果、図４に示す表示時刻テーブルの参照フレームバッファのアドレスが設定される。
First, the image data transfer instruction unit 42 (a CPU (not shown)) monitors whether the decoding completion flag set by the
次に、画像データ転送指示部４２は、表示ポインタＤｉｓＰが指定するフレーム番号（Ｆ（ＤｉｓＰ）と、デコードポインタＤｅｃＰが指定するフレーム番号Ｆ（ＤｅｃＰ）の差（例えば、｜Ｆ（ＤｉｓＰ）−Ｆ（ＤｅｃＰ）｜）が、参照フレームバッファが格納可能なフレーム数である３（＝Ｎ）以上あるか否かを判別する（ステップＳ１２２）。これにより、第１〜第３の参照フレームバッファＲＥＦ１〜ＲＥＦ３のすべてがフル状態であるか否かを判別している。
Next, the image data
ステップＳ１２２において、｜Ｆ（ＤｉｓＰ）−Ｆ（ＤｅｃＰ）｜が３以上であると判別されると（ステップＳ１２２：Ｙ）、画像データ転送指示部４２は、表示ポインタＤｉｓＰの示すフレーム画像データの転送指示を行い（ステップＳ１２３）、表示ポインタＤｉｓＰをインクリメントする（ステップＳ１２４）。
If it is determined in step S122 that | F (DisP) −F (DecP) | is 3 or more (step S122: Y), the image data
ステップＳ１２４の後、或いはステップＳ１２２において｜Ｆ（ＤｉｓＰ）−Ｆ（ＤｅｃＰ）｜が３以上ではないと判別されたとき（ステップＳ１２２：Ｎ）、デコードポインタＤｅｃＰをインクリメントして（ステップＳ１２５）、一連の処理を終了する（エンド）。 After step S124 or when it is determined in step S122 that | F (DisP) -F (DecP) | is not 3 or more (step S122: N), the decode pointer DecP is incremented (step S125), End the processing of (end).
以上のようにすることで、第１〜第Ｎの参照フレームバッファＲＥＦ１〜ＲＥＦＮのすべてがフル状態で、デコーダ２０のデコード処理が完了したとき、画像データ転送指示部４２が、第１〜第Ｎの参照フレームバッファＲＥＦ１〜ＲＥＦＮに格納された画像データを、該画像データに対して設定される表示時刻にかかわらず表示部５０に転送する指示を行うことができる。
As described above, when all of the first to Nth reference frame buffers REF1 to REFN are full and the decoding process of the
１．４ 表示時刻テーブルの生成処理
次に、本実施形態における表示時刻テーブルの生成処理について具体的に説明する。以下では、パケットデータが、ＰＥＳ（Packetized Elementary Stream）パケットデータであり、表示時刻情報がＰＴＳ（Presentation Time Stamp）であるものとする。
1.4 Display Time Table Generation Processing Next, display time table generation processing in the present embodiment will be described in detail. In the following, it is assumed that the packet data is PES (Packetized Elementary Stream) packet data, and the display time information is PTS (Presentation Time Stamp).
図１０（Ａ）、図１０（Ｂ）に、ＰＥＳパケットの説明図を示す。 FIG. 10A and FIG. 10B are explanatory diagrams of PES packets.
ここでは、１つのＰＥＳパケットは、例えばデコード処理が行われるデータ単位であるアクセスユニット（Access Unit：ＡＵ)を１つ含むものと説明するが、１つのＰＥＳパケットが２以上のＡＵを含んでいても良い。 Here, one PES packet is described as including one access unit (AU), which is a data unit on which decoding processing is performed, for example, but one PES packet includes two or more AUs. Also good.
図１０（Ａ）は、ＩＤＲ（Instantaneous Decoding Refresh）ピクチャを含むＰＥＳパケットの構成例を示す、図１０（Ｂ）は、ＩＤＲピクチャを含まないＰＥＳパケットの構成例を示す。図１０（Ａ）、図１０（Ｂ）に示すように、ＰＥＳパケットは、ＰＥＳヘッダ（PES Header：ＰＥＳＨ）（広義にはヘッダ情報）とペイロード部とを含む。ＰＥＳＨは、ＰＴＳを含む。 FIG. 10A shows a configuration example of a PES packet including an IDR (Instantaneous Decoding Refresh) picture, and FIG. 10B shows a configuration example of a PES packet not including an IDR picture. As shown in FIGS. 10A and 10B, the PES packet includes a PES header (PES Header: PESH) (header information in a broad sense) and a payload portion. PESH includes PTS.
図１０（Ａ）において、ペイロード部は、ＳＰＳ（Sequence Parameter Set)、ＰＰＳ（Picture Parameter Set）、ＳＥＩ（Supplemental Enhancement Information)、ビットデータ部、ＥＯＳ（End Of Sequence）を含む。一方、図１０（Ｂ）において、ペイロード部は、ＰＰＳ、ＳＥＩ、ビットデータ部、ＥＯＳを含む。 In FIG. 10A, the payload portion includes SPS (Sequence Parameter Set), PPS (Picture Parameter Set), SEI (Supplemental Enhancement Information), bit data portion, and EOS (End Of Sequence). On the other hand, in FIG. 10B, the payload portion includes PPS, SEI, bit data portion, and EOS.
ＳＰＳは、連続した複数のピクチャを単位とするシーケンス全体のパラメータが設定される。ＳＰＳは、ビデオ表示情報としてＶＵＩ（Video Usability Information）パラメータを含み、表示時刻の制御パラメータ等が設定される。このようなＶＵＩに設定される表示時刻の制御パラメータとして、例えばnum_units_in_tick、time_scale、fixed_frame_rate_flagがある。num_units_in_tickはクロック動作周波数での時間単位数、time_scaleは１秒間の時間単位数、fixed_frame_rate_flagは固定フレームレートか可変フレームレートかを示すフラグである。 In the SPS, parameters of the entire sequence with a plurality of consecutive pictures as a unit are set. The SPS includes a VUI (Video Usability Information) parameter as video display information, and a display time control parameter and the like are set. Examples of display time control parameters set in such a VUI include num_units_in_tick, time_scale, and fixed_frame_rate_flag. num_units_in_tick is the number of time units at the clock operating frequency, time_scale is the number of time units per second, and fixed_frame_rate_flag is a flag indicating whether the frame rate is a fixed frame rate or a variable frame rate.
ＰＰＳは、ピクチャ単位で設定されるパラメータであり、ＩＤＲピクチャを含むＰＥＳパケットパケットには必ず設定される。 The PPS is a parameter set for each picture, and is always set for a PES packet packet including an IDR picture.
ＳＥＩは、バッファリング期間ＳＥＩ、ピクチャタイミングＳＥＩ、パンスキャン矩形ＳＥＩ、フィラーペイロードＳＥＩがあり、ＩＤＲピクチャを含むＡＵは上記の４種類のＳＥＩが設定され、ＩＤＲピクチャを含まないＡＵはピクチャタイミングＳＥＩ、フィラーペイロードＳＥＩが設定される。ピクチャタイミングＳＥＩに設定される表示時刻の制御パラメータとして、cpb_removal_delayがある。cpb_removal_delayは、直前のバッファリング期間ＳＥＩが付与されたＡＵに対するデコード時間を基準に、当該ＡＵをデコードするまでの遅延時間に相当する。 The SEI includes a buffering period SEI, a picture timing SEI, a pan scan rectangle SEI, and a filler payload SEI. The AU including the IDR picture is set with the above four types of SEI, and the AU not including the IDR picture is set to the picture timing SEI, Filler payload SEI is set. As a display time control parameter set in the picture timing SEI, there is cpb_removal_delay. cpb_removal_delay corresponds to a delay time until the AU is decoded on the basis of the decoding time for the AU to which the immediately preceding buffering period SEI is given.
ビットデータ部には、画像データを生成するためのビットストリームが設定される。例えば、このビットストリームのデコード処理を行うことで画像データを生成できる。 A bit stream for generating image data is set in the bit data portion. For example, image data can be generated by performing decoding processing of this bit stream.
ＥＯＳは、シーケンスの終了を示すコードである。 EOS is a code indicating the end of the sequence.
従って、表示時刻データは、ＰＥＳＨのＰＴＳや、ＰＴＳとＶＵＩ及びＳＥＩに基づいて生成できる。そして、以下に示すフローに従って、表示時刻テーブルが生成される。 Therefore, the display time data can be generated based on the PSH of the PESH, the PTS, the VUI, and the SEI. Then, a display time table is generated according to the flow shown below.
図１１に、本実施形態における表示時刻テーブルの生成処理例のフロー図を示す。 FIG. 11 shows a flowchart of a display time table generation processing example in the present embodiment.
例えば表示制御装置１０が、図示しないＣＰＵ及びメモリを有し、該メモリに記憶されたプログラムに従って処理を実行するＣＰＵが、ヘッダ解析部４８又は画像データ転送指示部４２の機能を実現することができる。そして、ヘッダ解析部４８又は画像データ転送指示部４２として機能するＣＰＵが、以下に示す処理に従って表示時刻テーブルを生成することができる。
For example, the
まず、ヘッダ解析部４８又は画像データ転送指示部４２（図示しないＣＰＵ）は、ストリームデータからＰＥＳＨのＰＴＳを検出する（ステップＳ１５０）。ＰＥＳＨのＰＴＳが検出されたとき（ステップＳ１５０：Ｙ）、ヘッダ解析部１２は、表示時刻テーブルの先頭に、ＰＴＳに対応した表示時刻データをフレーム番号と共に設定する（ステップＳ１５２）。そして、ヘッダ解析部４８又は画像データ転送指示部４２は、この表示時刻テーブルのテーブル番号を指定するポインタをインクリメントして（ステップＳ１５３）、一連の処理を終了する（エンド）。
First, the
一方、ステップＳ１５０においてＰＥＳＨのＰＴＳが検出されないとき（ステップＳ１５０：Ｎ）、ヘッダ解析部４８又は画像データ転送指示部４２は、ＶＵＩのfixed_frame_rate_flagが０であるか否かを判別する（ステップＳ１５４）。fixed_frame_rate_flagが０であると判別されたとき（ステップＳ１５４：Ｙ）、ヘッダ解析部４８又は画像データ転送指示部４２は、可変フレームレートであると判断して、このＡＵがＩＤＲピクチャを含むＡＵ（ＩＤＲ＿ＡＵ）であるか否かを判別する（ステップＳ１５５）。
On the other hand, when the PSH of PESH is not detected in step S150 (step S150: N), the
ステップＳ１５５において、当該ＡＵがＩＤＲ＿ＡＵであると判別されたとき（ステップＳ１５５：Ｙ）、ヘッダ解析部４８又は画像データ転送指示部４２は、９０ｋＨｚのカウンタで設定可能な表示時刻データCTimeを、次式のように求める（ステップＳ１５６）。
When it is determined in step S155 that the AU is IDR_AU (step S155: Y), the
CTime=PTS+(Cn×num_units_in_tick/time_scale×90000) ・・・（１）
（１）式において、PTSはＰＥＳＨのＰＴＳの値、Cnは、ＰＥＳパケットに含まれるｎ（ｎは自然数）番目のＡＵのピクチャタイミングＳＥＩに設定されたcpb_removal_delayの値、num_units_in_tick及びtime_scaleはＶＵＩに設定された制御パラメータの値である。
CTime = PTS + (Cn × num_units_in_tick / time_scale × 90000) (1)
In equation (1), PTS is the value of the PSH of the PESH, Cn is the value of the cpb_removal_delay set in the n (n is a natural number) AU picture timing SEI included in the PES packet, and num_units_in_tick and time_scale are set to VUI Is the value of the controlled parameter.
ステップＳ１５５において、当該ＡＵがＩＤＲ＿ＡＵであると判別されたとき（ステップＳ１５５：Ｙ）、ヘッダ解析部１２は、表示時刻データCTimeを、次式のように求める（ステップＳ１５７）。 When it is determined in step S155 that the AU is IDR_AU (step S155: Y), the header analysis unit 12 obtains the display time data CTime as shown in the following equation (step S157).
CTime=PTS+(Cn-C1)×num_units_in_tick/time_scale×90000 ・・・（２）
（２）式において、C1は、ＰＥＳパケットに含まれる１番目のＡＵのピクチャタイミングＳＥＩに設定されたcpb_removal_delayの値、Cn（ここでｎは２以上の整数）は、ＰＥＳパケットに含まれるｎ番目のＡＵのピクチャタイミングＳＥＩに設定されたcpb_removal_delayの値である。
CTime = PTS + (Cn-C1) × num_units_in_tick / time_scale × 90000 (2)
In Expression (2), C1 is the value of cpb_removal_delay set in the picture timing SEI of the first AU included in the PES packet, and Cn (where n is an integer of 2 or more) is the nth included in the PES packet. This is the value of cpb_removal_delay set in the picture timing SEI of the AU.
また、ステップＳ１５４において、fixed_frame_rate_flagが１であると判別されたとき（ステップＳ１５４：Ｎ）、ヘッダ解析部１２は、固定フレームレートであると判断して、表示時刻データCTimeを、次式のように求める（ステップＳ１５８）。 Further, when it is determined in step S154 that fixed_frame_rate_flag is 1 (step S154: N), the header analysis unit 12 determines that the frame rate is a fixed frame rate, and displays the display time data CTime as the following equation: Obtained (step S158).
CTime=PTS+(N-1)×num_units_in_tick/time_scale ・・・（３）
（３）式において、Ｎは、ＰＥＳパケットに含まれるＮ番目のＡＵであることを示すパラメータである。
CTime = PTS + (N-1) × num_units_in_tick / time_scale (3)
In Expression (3), N is a parameter indicating that it is the Nth AU included in the PES packet.
ステップＳ１５６、ステップＳ１５７、ステップＳ１５８のいずれかにより表示時刻データCTimeが求められると、ヘッダ解析部４８又は画像データ転送指示部４２は、表示時刻テーブルにこの表示時刻データCTimeをフレーム番号と共に設定する（ステップＳ１５９）。ステップＳ１５９の後、ステップＳ１５３に移って、ヘッダ解析部４８又は画像データ転送指示部４２は、この表示時刻テーブルのテーブル番号を指定するポインタをインクリメントして（ステップＳ１５３）、一連の処理を終了する（エンド）。
When the display time data CTime is obtained in any one of steps S156, S157, and S158, the
ストリームデータが入力されるたびに、以上のような処理を行うことで、ヘッダ解析部４８又は画像データ転送指示部４２は、ＡＵ毎に表示時刻データを表示時刻テーブルに設定し、図４に示す表示時刻テーブルを生成することができる。なお、表示時刻テーブルの最終テーブル番号の表示時刻データとして、終了コードであるＥＯＴコードを公知の処理で挿入することが望ましい。
When the stream data is input, the
２． 情報再生装置
次に、本実施形態における表示制御装置が適用される情報再生装置について説明する。本実施形態における情報再生装置は、地上デジタル放送の再生を可能とし、Ｈ．２６４／ＡＶＣ規格で符号化された映像データを復号することができる。
2. Information Reproducing Device Next, an information reproducing device to which the display control device in the present embodiment is applied will be described. The information reproducing apparatus according to the present embodiment enables reproduction of terrestrial digital broadcasting. Video data encoded according to the H.264 / AVC standard can be decoded.
２．１ １セグメント放送の概要
地上アナログ放送に代わって登場する地上デジタル放送では、画像及び音声の高品質化に加えて種々の新サービスの提供に期待が寄せられている。
2.1 Overview of 1-segment broadcasting In terrestrial digital broadcasting that appears in place of terrestrial analog broadcasting, there are high expectations for the provision of various new services in addition to improving the quality of images and audio.
図１２に、地上デジタル放送のセグメントの概念の説明図を示す。 FIG. 12 is an explanatory diagram of the concept of digital terrestrial broadcasting segments.
地上デジタル放送では、予め割り当てられた周波数帯域を１４個のセグメントに分割し、そのうちの１３個のセグメントＳＥＧ１〜ＳＥＧ１３を使って放送が行われる。残り１個のセグメントは、ガードバンドとして用いられる。そして、放送を行うための１３個のセグメントのうちの１個のセグメントＳＥＧｍが、携帯端末向けの放送の周波数帯域に割り当てられる。 In digital terrestrial broadcasting, a pre-assigned frequency band is divided into 14 segments, and broadcasting is performed using 13 segments SEG1 to SEG13. The remaining one segment is used as a guard band. Then, one segment SEGm out of 13 segments for broadcasting is allocated to the frequency band of broadcasting for mobile terminals.
１セグメント放送では、それぞれが符号化（圧縮処理）された映像データ、音声データ、その他のデータ（制御データ）が多重化されたトランスポートストリーム（Transport Stream：ＴＳ）が伝送される。より具体的には、ＴＳの各パケットにリードソロモン符号の誤り訂正用符号が付加された後、階層分割され、各階層において畳み込み符号化やキャリア変調が施される。そして、階層合成後に、周波数インターリーブ、時間インターリーブが行われ、受信側に必要なパイロット信号を付加してＯＦＤＭセグメントフレームが形成される。このＯＦＤＭセグメントフレームに対し、逆フーリエ変換演算が施されてＯＦＤＭ信号として伝送される。 In one-segment broadcasting, a transport stream (Transport Stream: TS) in which video data, audio data, and other data (control data) encoded (compressed) are multiplexed is transmitted. More specifically, a Reed-Solomon error correction code is added to each packet of the TS, and then divided into layers, and convolutional coding and carrier modulation are performed in each layer. After layer synthesis, frequency interleaving and time interleaving are performed, and a pilot signal necessary for the receiving side is added to form an OFDM segment frame. The OFDM segment frame is subjected to inverse Fourier transform operation and transmitted as an OFDM signal.
図１３に、ＴＳの説明図を示す。 FIG. 13 is an explanatory diagram of TS.
ＴＳは、図１３に示すように複数のＴＳパケット列で構成されている。各ＴＳパケットの長さは、１８８バイトに固定されている。各ＴＳパケットは、４バイトのＴＳヘッダ（TS Header：ＴＳＨ）と呼ばれるヘッダ情報が付加されており、ＴＳパケットの識別子となるＰＩＤ（Packet Identifier）を含む。１セグメント放送の番組は、ＰＩＤにより特定される。 The TS is composed of a plurality of TS packet sequences as shown in FIG. The length of each TS packet is fixed to 188 bytes. Each TS packet has header information called a 4-byte TS header (TS header) added thereto, and includes a PID (Packet Identifier) serving as an identifier of the TS packet. One segment broadcast program is specified by PID.
ＴＳパケットは、アダプテーションフィールドを含み、映像データ、音声データ等の同期再生の基準となる時刻情報であるＰＣＲ（Program Clock Reference）やダミーデータ
が埋め込まれる。ペイロードは、ＰＥＳ（Packetized Elementary Stream）パケットやセクションを生成するためのデータを含む。
The TS packet includes an adaptation field, and is embedded with PCR (Program Clock Reference) and dummy data which are time information serving as a reference for synchronous reproduction of video data, audio data, and the like. The payload includes data for generating a PES (Packetized Elementary Stream) packet or section.
図１４に、ＰＥＳパケット及びセクションの説明図を示す。 FIG. 14 is an explanatory diagram of PES packets and sections.
ＰＥＳパケット及びセクションのそれぞれは、１又は複数のＴＳパケットの各ＴＳパケットのペイロードにより構成される。ＰＥＳパケットは、ＰＥＳヘッダとペイロードとを含み、該ペイロードには、映像データ、音声データ又は字幕データがＥＳ（Elementary Stream）データとして設定される。セクションには、ＰＥＳパケットに設定される映像データ等の番組情報等が設定される。 Each of the PES packet and the section is configured by the payload of each TS packet of one or a plurality of TS packets. The PES packet includes a PES header and a payload, and video data, audio data, or caption data is set as ES (Elementary Stream) data in the payload. In the section, program information such as video data set in the PES packet is set.
従って、ＴＳを受信すると、まずセクションに含まれる番組情報を解析し、放送される番組に対応するＰＩＤを特定する必要がある。そして、該ＰＩＤに対応する映像データ、音声データをＴＳから抽出し、抽出後の映像データ、音声データを再生することになる。 Therefore, when a TS is received, first, it is necessary to analyze program information included in the section and specify a PID corresponding to the broadcast program. Then, video data and audio data corresponding to the PID are extracted from the TS, and the extracted video data and audio data are reproduced.
２．２ 携帯端末
１セグメント放送の受信機能を有する携帯端末では、上記のようなパケットの解析等の処理が必要となる。即ち、このような携帯端末では、高い処理能力が要求される。そのため、携帯端末（広義には電子機器）としての従来の携帯電話機に、１セグメント放送の受信機能を付加する場合には、高い処理能力を有するプロセッサ等を更に追加する必要がある。
2.2 Mobile terminal A mobile terminal having a 1-segment broadcast reception function requires processing such as packet analysis as described above. That is, such a mobile terminal is required to have a high processing capacity. Therefore, when a one-segment broadcast receiving function is added to a conventional mobile phone as a mobile terminal (electronic device in a broad sense), it is necessary to further add a processor or the like having a high processing capability.
図１５に、本実施形態の比較例におけるマルチメディア処理ＣＰＵを含む携帯電話機の構成例のブロック図を示す。 FIG. 15 shows a block diagram of a configuration example of a mobile phone including a multimedia processing CPU in a comparative example of the present embodiment.
この携帯電話機９００では、アンテナ９１０を介して受信された受信信号を復調して電話用ＣＰＵ９２０が着呼処理を行い、電話用ＣＰＵ９２０が発呼処理を行った信号が変調されてアンテナ９１０を介して送信される。電話用ＣＰＵ９２０は、メモリ９２２に格納されたプログラムを読み込んで着呼処理及び発呼処理を行うことができる。
In this
またアンテナ９３０を介して受信された受信信号から、チューナ９４０を介して希望信号が取り出されると、該希望信号をＯＦＤＭ信号として上記と逆の手順でＴＳが生成される。マルチメディア処理ＣＰＵ９５０は、生成されたＴＳからＴＳパケットを解析してＰＥＳパケット及びセクションを判別し、所望の番組のＴＳパケットから映像データ、音声データのデコード処理を行う。マルチメディア処理ＣＰＵ９５０は、メモリ９５２に格納されたプログラムを読み込んで上記のパケットの解析処理やデコード処理を行うことができる。表示パネル９６０は、デコード処理後の映像データに基づいて表示出力を行い、スピーカ９７０は、デコード処理後の音声データに基づいて音声出力を行う。
When a desired signal is extracted from the received signal received via the
このようにマルチメディア処理ＣＰＵ９５０として、非常に高い処理能力が必要となる。高い処理能力を有するプロセッサは、一般的に、動作周波数が高くなったり、回路規模が大きくなってしまう。
In this way, the
ところで、１セグメント放送のビットレートを考慮すると、その帯域のほとんどが映像データや音声データの帯域となり、データ放送自体の帯域が狭くなると考えられる。従って、マルチメディア処理ＣＰＵで実現できる処理のうち、映像データや音声データの再生処理のみで済む場合もあるにもかかわらず、マルチメディア処理ＣＰＵを常に動作させる必要があり、消費電力の増大を招く。 By the way, considering the bit rate of 1-segment broadcasting, most of the bandwidth is considered to be the bandwidth for video data and audio data, and the bandwidth for data broadcasting itself is narrowed. Accordingly, among the processes that can be realized by the multimedia processing CPU, it is necessary to always operate the multimedia processing CPU even though only the reproduction processing of video data and audio data may be required, resulting in an increase in power consumption. .
そこで、本実施形態では、映像データのデコード処理を行う映像デコーダと音声データのデコード処理を行う音声デコーダとを独立して設け、それぞれ独立にデコード処理を行わせることで、それぞれの処理能力として低いものを採用できる。更に、映像デコーダ及び音声データの一方の動作を適宜停止させて柔軟に低消費電力化を図ることができる。 Therefore, in this embodiment, a video decoder that performs video data decoding processing and an audio decoder that performs audio data decoding processing are provided independently, and the decoding processing is performed independently, thereby reducing the processing capability of each. You can adopt things. Furthermore, it is possible to flexibly reduce power consumption by appropriately stopping one of the operations of the video decoder and the audio data.
更には、映像デコーダ及び音声デコーダを並列動作させることができるため、各デコーダの処理能力を低くて済み、より低消費電力化及び低コスト化を実現できる。 Furthermore, since the video decoder and the audio decoder can be operated in parallel, the processing capability of each decoder can be reduced, and lower power consumption and cost can be realized.
図１６に、本実施形態における情報再生装置を含む携帯電話機の構成例のブロック図を示す。なお図１６において、図１５と同一部分には同一符号を付し、適宜説明を省略する。 FIG. 16 shows a block diagram of a configuration example of a mobile phone including the information reproducing apparatus in the present embodiment. In FIG. 16, the same parts as those in FIG. 15 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
携帯電話機１００は、ホストＣＰＵ（広義にはホスト）１１０、ＲＡＭ（Random Access Memory）１２０、ＲＯＭ（Read Only Memory）１３０、表示ドライバ１４０、ＤＡＣ（Digital-to-Analog Converter）１５０、画像処理ＩＣ（Integrated Circuit)（広義には情報再生装置）２００を含むことができる。更に携帯電話機１００は、アンテナ９１０、９３０、チューナ９４０、表示パネル９６０、スピーカ９７０を含む。
The
ホストＣＰＵ１１０は、図１５の電話用ＣＰＵ９２０の機能を有すると共に、画像処理ＩＣ２００を制御する機能を有する。ホストＣＰＵ１１０は、ＲＡＭ１２０又はＲＯＭ１３０に格納されたプログラムを読み出し、図１５の電話用ＣＰＵ９２０の処理、画像処理ＩＣ２００を制御する処理を行う。この際、ホストＣＰＵ１１０は、ＲＡＭ１２０をワークエリアとして用いることができる。
The
画像処理ＩＣ２００は、チューナ９４０からのＴＳから、映像データを生成するための映像用ＴＳパケット（第１のＴＳパケット）、音声データを生成するための音声用ＴＳパケット（第２のＴＳパケット）を抽出し、図示しない共有メモリにバッファリングする。そして画像処理ＩＣ２００は、互いに独立して動作停止制御が可能な映像デコーダ及び音声デコーダ（図示せず）を含み、映像デコーダ及び音声デコーダが、それぞれ映像用ＴＳパケット及び音声用ＴＳパケットをデコードして映像データ及び音声データを生成する。映像データ及び音声データは、同期しながら、それぞれ表示ドライバ１４０及びＤＡＣ１５０に供給される。ホストＣＰＵ１１０は、このような画像処理ＩＣ２００に対し、映像デコード処理及び音声デコード処理の処理開始を指示することができる。なおホストＣＰＵ１１０は、画像処理ＩＣ２００に対し、映像デコード処理及び音声デコード処理の少なくとも１つの処理開始を指示するようにしてもよい。
The
表示ドライバ（広義には駆動回路）１４０は、映像データに基づいて表示パネル（広義には電気光学装置）９６０を駆動する。より具体的には、表示パネル９６０は、複数の走査線、複数のデータ線、各画素が各走査線及び各データ線により特定される複数の画素を有し、表示パネル９６０として液晶表示（Liquid Crystal Display）パネルを採用できる。表示ドライバ１４０は、複数の走査線を走査する走査ドライバの機能と、該映像データに基づいて複数のデータ線を駆動するデータドライバの機能とを有する。
A display driver (driving circuit in a broad sense) 140 drives a display panel (electro-optical device in a broad sense) 960 based on video data. More specifically, the
ＤＡＣ１５０は、デジタル信号である音声データをアナログ信号に変換し、スピーカ９７０に供給する。スピーカ９７０は、ＤＡＣ１５０からのアナログ信号に対応した音声出力を行う。
The
２．３ 情報再生装置
図１７に、本実施形態の情報再生装置としての図１６の画像処理ＩＣ２００の構成例のブロック図を示す。
2.3 Information Reproducing Device FIG. 17 shows a block diagram of a configuration example of the
画像処理ＩＣ２００は、ＴＳ分離部（分離処理部）２１０と、メモリ（共有メモリ）２２０と、映像デコーダ２３０と、音声デコーダ２４０とを含む。また画像処理ＩＣ２００は、更に、画像データ転送制御部２５０と、チューナＩ／Ｆ（Interface）２６０と、ホストＩ／Ｆ２７０と、ドライバＩ／Ｆ２８０と、オーディオＩ／Ｆ２９０とを含む。
The
ＴＳ分離部２１０は、映像データを生成するための映像用ＴＳパケット（第１のＴＳパケット）、音声データを生成するための音声用ＴＳパケット（第２のＴＳパケット）、映像用ＴＳパケット及び音声用ＴＳパケット以外のパケット（第３のＴＳパケット）を、ＴＳから抽出する。ＴＳ分離部２１０は、ＴＳから一旦抽出された第３のＴＳパケットを解析するホストＣＰＵ１１０の解析結果に基づいて、第１及び第２のＴＳパケットを抽出することができる。
The
映像デコーダ２３０は、メモリ２２０の記憶領域のうち映像用ＴＳパケット専用に設けられた記憶領域から映像用ＴＳパケットを読み出し、該映像用ＴＳパケットに基づいて映像データを生成する映像デコード処理を行う。
The
音声デコーダ２４０は、メモリ２２０の記憶領域のうち音声用ＴＳパケット専用に設けられた記憶領域から音声用ＴＳパケットを読み出し、該音声用ＴＳパケットに基づいて音声データを生成する音声デコード処理を行う。
The
画像データ転送制御部２５０は、メモリ２２０から読み出された映像データにより表される画像の向きを回転させる回転処理や該画像のサイズを縮小又は拡大させるリサイズ処理を行う。回転処理後のデータやリサイズ処理後のデータは、ドライバＩ／Ｆ２８０に供給される。
The image data
チューナＩ／Ｆ２６０は、チューナ９４０とのインタフェース処理を行う。より具体的には、チューナＩ／Ｆ２６０は、チューナ９４０からのＴＳを受信する制御を行う。チューナＩ／Ｆ２６０は、ＴＳ分離部２１０に接続される。
The tuner I /
ホストＩ／Ｆ２７０は、ホストＣＰＵ１１０とのインタフェース処理を行う。より具体的には、ホストＩ／Ｆ２７０は、ホストＣＰＵ１１０との間のデータの送受信の制御を行う。ホストＩ／Ｆ２７０は、ＴＳ分離部２１０、メモリ２２０、画像データ転送制御部２５０、オーディオＩ／Ｆ２９０に接続される。
The host I /
ドライバＩ／Ｆ２８０は、画像データ転送制御部２５０を介してメモリ２２０から所定の周期で映像データを読み出し、該映像データを表示ドライバ１４０に対して供給する。ドライバＩ／Ｆ２８０は、表示ドライバ１４０に対して映像データを送信するためのインタフェース処理を行う。
The driver I /
オーディオＩ／Ｆ２９０は、メモリ２２０から所定の周期で音声データを読み出し、該音声データをＤＡＣ１５０に対して供給する。オーディオＩ／Ｆ２９０は、ＤＡＣ１５０に対して音声データを送信するためのインタフェース処理を行う。
The audio I /
このような画像処理ＩＣ２００では、ＴＳ分離部２１０により、チューナ９４０からのＴＳからＴＳパケットが抽出される。ＴＳパケットは、共有メモリとしてのメモリ２２０の予め割り当てられた記憶領域に格納される。そして、映像デコーダ２３０及び音声デコーダ２４０が、それぞれメモリ２２０に割り当てられた専用の記憶領域からＴＳパケットを読み出して、映像データ及び音声データを生成し、互いに同期した映像データ及び音声データを表示ドライバ１４０及びＤＡＣ１５０に対して供給することができる。
In such an
図１８に、図１７の画像処理ＩＣ２００の動作説明図を示す。
FIG. 18 is a diagram for explaining the operation of the
図１８において、図１７と同一部分には同一符号を付し、適宜説明を省略する。 In FIG. 18, the same parts as those in FIG. 17 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
メモリ２２０は、第１〜第８の記憶領域ＡＲ１〜ＡＲ８を有し、各記憶領域が予め割り当てられている。
The
第１の記憶領域ＡＲ１には、映像用ＴＳパケット専用の記憶領域として、ＴＳ分離部２１０によって抽出された映像用ＴＳパケット（第１のＴＳパケット）が格納される。第２の記憶領域ＡＲ２には、音声用ＴＳパケット専用の記憶領域として、ＴＳ分離部２１０によって抽出された音声用ＴＳパケット（第２のＴＳパケット）が格納される。第３の記憶領域ＡＲ３には、ＴＳ分離部２１０によって抽出されたＴＳパケットのうち映像用ＴＳパケット及び音声用ＴＳパケットを除くＴＳパケット（第３のＴＳパケット）が格納される。
The first storage area AR1 stores the video TS packet (first TS packet) extracted by the
第４の記憶領域ＡＲ４には、映像用ＥＳデータ専用の記憶領域として、映像デコーダ２３０によって生成された映像用ＥＳデータが格納される。第５の記憶領域ＡＲ５には、音声用ＥＳデータ専用の記憶領域として、音声デコーダ２４０によって生成された音声用ＥＳデータが格納される。
The fourth storage area AR4 stores the video ES data generated by the
第６の記憶領域ＡＲ６には、ホストＣＰＵ１１０によって生成されるＴＳが、ＴＳＲＡＷデータとして格納される。ＴＳＲＡＷデータは、チューナ９４０からのＴＳに替わってホストＣＰＵ１１０により設定される。そして、ＴＳ分離部２１０は、ＴＳＲＡＷデータとして設定されたＴＳから、映像用ＴＳパケット、音声用ＴＳパケット、その他のＴＳパケットが抽出されるようになっている。
In the sixth storage area AR6, a TS generated by the
第７の記憶領域ＡＲ７（広義には参照フレーム画像データ記憶領域）には、映像デコーダ２３０によるデコード処理後の映像データが格納される。第７の記憶領域ＡＲ７に格納された映像データは、画像データ転送制御部２５０によって読み出され、表示パネル９６０による映像出力に供される。第８の記憶領域ＡＲ８には、音声デコーダ２４０によるデコード処理後の音声データが格納される。第８の記憶領域ＡＲ８に格納された音声データは、スピーカ９７０による音声出力に供される。
The seventh storage area AR7 (reference frame image data storage area in a broad sense) stores video data after decoding by the
映像デコーダ２３０は、ヘッダ解析部２３２と、映像デコード処理部２３４とを含む。ヘッダ解析部２３２は、第１の記憶領域ＡＲ１から映像用ＴＳパケットを読み出し、該映像用ＴＳパケットのＴＳヘッダを解析してＰＥＳパケット（第１のＰＥＳパケット）を生成した後、そのＰＥＳヘッダを削除する処理を行ってそのペイロード部を映像用ＥＳデータとしてメモリ２２０の第４の記憶領域ＡＲ４に格納する。メモリ２２０の第４の記憶領域ＡＲ４が、ＣＰＢとして機能する。
The
そして、ヘッダ解析部２３２は、上述のように本実施形態における表示時刻テーブルを生成する。そして、ヘッダ解析部２３２を含む映像デコーダ２３０が、該表示時刻テーブルに従って画像データ転送制御部２５０に対して画像データの転送指示を行う。即ち、映像デコーダ２３０が、本実施形態におけるヘッダ解析部４８及び画像データ転送指示部４２の機能を実現する。
And the
映像デコード処理部２３４は、第４の記憶領域ＡＲ４から映像用ＥＳデータを読み出し、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）の規格に従ったデコード処理（広義には映像デコード処理）を行って生成される映像データを第７の記憶領域ＡＲ７（参照フレーム画像データ記憶領域）に書き込む。映像デコード処理部２３４が、本実施形態におけるデコーダ２０の機能を実現する。そして、映像デコード処理部２３４が、第１の記憶領域ＡＲ１から読み出された第１のＴＳパケットに基づいて映像データを生成する映像デコード処理を行い、映像デコード処理後のデータを第１〜第Ｎの参照フレーム画像データの１つとして第７の記憶領域ＡＲ７（参照フレーム記憶領域）に格納する。即ち、第７の記憶領域ＡＲ７が、本実施形態における第１〜第Ｎの参照フレームバッファＲＥＦ１〜ＲＥＦＮを含むバッファ部４０として機能する。
The video
音声デコーダ２４０は、ヘッダ削除処理部２４２と、音声デコード処理部２４４とを含む。ヘッダ削除処理部２４２は、第２の記憶領域ＡＲ２から音声用ＴＳパケットを読み出し、該音声用ＴＳパケットのＴＳヘッダを解析してＰＥＳパケット（第２のＰＥＳパケット）を生成した後、そのＰＥＳヘッダを削除する処理を行ってそのペイロード部を音声用ＥＳデータとしてメモリ２２０の第５の記憶領域ＡＲ５に格納する。音声デコード処理部２４４は、第５の記憶領域ＡＲ５から音声用ＥＳデータを読み出し、ＭＰＥＧ−２ＡＡＣ（Advanced Audio Coding）の規格に従ったデコード処理（広義には音声デコード処理）
を行って生成される音声データを第８の記憶領域ＡＲ８に書き込む。
The
Is written in the eighth storage area AR8.
そして、映像デコーダ２３０が、第１の記憶領域ＡＲ１から映像用ＴＳパケット（第１のＴＳパケット）を、音声デコーダ２４０とは独立して読み出し、該映像用ＴＳパケットに基づいて上記の映像デコード処理を行う。また音声デコーダ２４０が、第２の記憶領域ＡＲ２から音声用ＴＳパケット（第２のＴＳパケット）を、映像デコーダ２３０とは独立して読み出し、該音声用ＴＳパケットに基づいて上記の音声デコード処理を行う。こうすることで、映像と音声とを同期させて出力させる場合には映像デコーダ２３０及び音声デコーダ２４０を動作させることができる一方、映像のみを出力させる場合には映像デコーダ２３０のみを動作させて音声デコーダ２４０の動作を停止させることができる。また音声のみを出力させる場合には音声デコーダ２４０のみを動作させて映像デコーダ２３０の動作を停止させることができる。
Then, the
ホストＣＰＵ１１０は、第３の記憶領域ＡＲ３に格納されたその他のＴＳパケット（第３のＴＳパケット）を読み出し、該ＴＳパケットからセクションを生成する。そして該セクションに含まれる各種テーブル情報を解析する。ホストＣＰＵ１１０は、その解析結果をメモリ２２０の所定の記憶領域に設定すると共にＴＳ分離部２１０に対し制御情報として指定する。それ以降、ＴＳ分離部２１０は、チューナ９４０からのＴＳを該制御情報に従ってＴＳパケットを抽出する。一方、ホストＣＰＵ１１０は、映像デコーダ２３０及び音声デコーダ２４０に対して、それぞれ別個に起動コマンドを発行することができる。映像デコーダ２３０及び音声デコーダ２４０は、それぞれ独立してメモリ２２０にアクセスしてホストＣＰＵ１１０の解析結果を読み出し、該解析結果に対応したデコード処理を行う。
The
図１８において、ＴＳ分離部２１０が、タイマ部７０を含むことができる。画像データ転送制御部２５０が本実施形態における画像データ転送制御部４４の機能を実現する。
In FIG. 18, the
２．３．１ 再生動作
次に、本実施形態における情報再生装置としての画像処理ＩＣ２００において、ＴＳに多重化された映像データ又は音声データを再生する場合の動作について説明する。
2.3.1 Reproduction Operation Next, an operation in the case of reproducing video data or audio data multiplexed on a TS in the
図１９に、ホストＣＰＵ１１０による再生処理の動作例のフロー図を示す。ホストＣＰＵ１１０は、ＲＡＭ１２０又はＲＯＭ１３０に格納されたプログラムを読み出し、該プログラムに対応した処理を実行することで図１９に示す処理を行うことができるようになっている。
FIG. 19 shows a flowchart of an operation example of the reproduction processing by the
まずホストＣＰＵ１１０は、放送受信開始処理を行う（ステップＳ１０）。これによって、ＴＳとして受信された複数の番組のうち所望の番組の映像データ又は音声データをＴＳから抽出することができる。そして、ホストＣＰＵ１１０は、画像処理ＩＣ２００の映像デコーダ２３０及び音声デコーダ２４０の少なくとも１つを起動させる。
First, the
その後、ホストＣＰＵ１１０は、映像及び音声の再生を行う場合には映像デコーダ２３０及び音声デコーダ２４０によりデコード処理を行わせる。或いはホストＣＰＵ１１０は、映像のみの再生を行う場合には音声デコーダ２４０の動作を停止させて映像デコーダ２３０によりデコード処理を行わせる。或いはまた、ホストＣＰＵ１１０は、音声のみの再生を行う場合には映像デコーダ２３０の動作を停止させて音声デコーダ２４０によりデコード処理を行わせる（ステップＳ１１）。
Thereafter, the
次に、ホストＣＰＵ１１０は、放送受信終了処理を行い（ステップＳ１２）、一連の処理を終了する（エンド）。これによって、ホストＣＰＵ１１０は、画像処理ＩＣ２００の各部の動作を停止させる。
Next, the
２．３．１．１ 放送受信開始処理
続いて、図１９に示す放送受信開始処理の処理例について説明する。ここでは、映像及び音声の再生を行う場合について説明する。
2.3.1.1 Broadcast Reception Start Process Next, a process example of the broadcast reception start process shown in FIG. 19 will be described. Here, a case where video and audio are reproduced will be described.
図２０に、図１９の放送受信開始処理の動作例のフロー図を示す。ホストＣＰＵ１１０は、ＲＡＭ１２０又はＲＯＭ１３０に格納されたプログラムを読み出し、該プログラムに対応した処理を実行することで図２０に示す処理を行うことができるようになっている。
FIG. 20 shows a flowchart of an operation example of the broadcast reception start process of FIG. The
まずホストＣＰＵ１１０は、画像処理ＩＣ２００の映像デコーダ２３０、音声デコーダ２４０を起動する（ステップＳ２０）。その後、ホストＣＰＵ１１０は、チューナ９４０を初期化すると共に所与の動作情報を設定する（ステップＳ２１）。そしてホストＣＰＵ１１０は、ＤＡＣ１５０に対しても初期化を行って所与の動作情報を設定する（ステップＳ２２）。
First, the
その後ホストＣＰＵ１１０は、ＴＳの受信を監視する（ステップＳ２３：Ｎ）。ＴＳの受信が開始されると、画像処理ＩＣ２００では、ＴＳ分離部２１０が、上述のようにＴＳから映像用ＴＳパケット、音声用ＴＳパケット及びそれ以外のＴＳパケットに分離し、分離されたＴＳパケットは、専用に設けられたメモリ２２０の記憶領域に格納される。例えば画像処理ＩＣ２００のメモリ２２０における第３の記憶領域ＡＲ３にＴＳパケットが格納されたことを条件に発生する割り込み信号により、ホストＣＰＵ１１０はＴＳの受信を検出できる。或いはホストＣＰＵ１１０が、周期的にメモリ２２０の第３の記憶領域ＡＲ３をアクセスすることで、ＴＳパケットの書き込みが行われた否かを判断して、ＴＳの受信を判別できる。
Thereafter, the
このようにしてＴＳの受信が検出されたとき（ステップＳ２３：Ｙ）、ホストＣＰＵ１１０は、第３の記憶領域ＡＲ３に記憶されたＴＳパケットを読み出してセクションを生成する。そして、セクションに含まれるＰＳＩ（Program Specific Information：番組特定情報）／ＳＩ（Service Information：番組配列情報）を解析する（ステップＳ２４）。
このＰＳＩ／ＳＩは、ＭＰＥＧ−２システム（ISO/IEC 13818-1）にて規定されている。
When reception of a TS is detected in this way (step S23: Y), the
This PSI / SI is defined by the MPEG-2 system (ISO / IEC 13818-1).
ＰＳＩ／ＳＩは、ＮＩＴ（Network Information Table：ネットワーク情報テーブル）
やＰＭＴ（Program Map Table：番組対応テーブル）を含む。ＮＩＴは、例えばどの放送
局からのＴＳかを特定するためのネットワーク識別子、ＰＭＴを特定するためのサービス識別子、放送の種類を示すサービスタイプ識別子等を含む。ＰＭＴには、例えばＴＳにおいて多重化される映像用ＴＳパケットのＰＩＤと音声用ＴＳパケットのＰＩＤが設定される。
PSI / SI is NIT (Network Information Table)
And PMT (Program Map Table). The NIT includes, for example, a network identifier for specifying which broadcasting station the TS is from, a service identifier for specifying the PMT, a service type identifier indicating the type of broadcast, and the like. In the PMT, for example, the PID of the video TS packet multiplexed in the TS and the PID of the audio TS packet are set.
従って、ホストＣＰＵ１１０は、ＰＳＩ／ＳＩからＰＭＴを特定するためのサービス識別子を抽出し、該サービス識別子に基づき、受信したＴＳの映像用ＴＳパケット及び音声用ＴＳパケットのＰＩＤを特定できる（ステップＳ２５）。そして、携帯端末のユーザに選択させた番組に対応するＰＩＤ、若しくは予め決められた番組に対応するＰＩＤを、ホストＣＰＵ１１０が、映像デコーダ２３０及び音声デコーダ２４０に参照できるようにメモリ２２０の所定の記憶領域（例えば第３の記憶領域ＡＲ３）に設定し（ステップＳ２６）、一連の処理を終了する（エンド）。
Therefore, the
こうすることで、映像デコーダ２３０及び音声デコーダ２４０は、メモリ２２０に設定されたＰＩＤを参照しながら、映像用ＴＳパケット及び音声用ＴＳパケットに対してデコード処理を行うことができる。
In this way, the
なおホストＣＰＵ１１０は、例えばＰＭＴを特定するためのサービス識別子に対応する情報を、画像処理ＩＣ２００のＴＳ分離部２１０に設定する。こうすることで、ＴＳ分離部２１０は、所定の時間間隔を置いて周期的に受信されるセクションを判別し、上記のサービス識別子に対応したＰＭＴを解析し、該ＰＭＴにより特定される映像用ＴＳパケット及び音声用ＴＳパケットとそれ以外のＴＳパケットを抽出してメモリ２２０に格納していく。
The
図２１に、図１７及び図１８の画像処理ＩＣ２００の放送受信開始処理における動作説明図を示す。図２１において、図１７又は図１８と同一部分には同一符号を付し、適宜説明を省略する。
FIG. 21 is a diagram for explaining the operation in the broadcast reception start process of the
なお図２１において、第７の記憶領域ＡＲ７を第４の記憶領域ＡＲ４と共用化し、第８の記憶領域ＡＲ８を第５の記憶領域ＡＲ５と共用化している。また、ＰＳＩ／ＳＩ、ＮＩＴ、ＰＭＴは、第３の記憶領域ＡＲ３内の所定の記憶領域に格納されるものとする。 In FIG. 21, the seventh storage area AR7 is shared with the fourth storage area AR4, and the eighth storage area AR8 is shared with the fifth storage area AR5. In addition, PSI / SI, NIT, and PMT are stored in a predetermined storage area in the third storage area AR3.
まずチューナ９４０からＴＳが入力される（ＳＱ１）とＴＳ分離部２１０は、ＰＳＩ／ＳＩが含まれるＴＳパケットをメモリ２２０に格納する（ＳＱ２）。このとき、ＴＳ分離部２１０は、該ＴＳパケットのＰＳＩ／ＳＩ自体を抽出してメモリ２２０に格納することができる。更にＴＳ分離部２１０は、ＰＳＩ／ＳＩからＮＩＴを抽出してメモリ２２０に格納することができる。
First, when TS is input from the tuner 940 (SQ1), the
ホストＣＰＵ１１０は、ＰＳＩ／ＳＩ、ＮＩＴ、ＰＭＴを読み出して（ＳＱ３）、これらを解析し、デコード処理対象の番組に対応するＰＩＤを特定する。そしてホストＣＰＵ１１０は、サービス識別子に対応する情報又はデコード処理対象の番組に対応するＰＩＤを、ＴＳ分離部２１０に設定する（ＳＱ４）。なおホストＣＰＵ１１０は、ＰＩＤを、メモリ２２０の所定の記憶領域にも設定し、映像デコーダ２３０及び音声デコーダ２４０のデコード処理の際に参照させる。
The
ＴＳ分離部２１０は、設定されたＰＩＤに基づいてＴＳから映像用ＴＳパケット及び音声用ＴＳパケットを抽出し、それぞれ第１及び第２の記憶領域ＡＲ１、ＡＲ２に書き込む（ＳＱ５）。
The
その後、ホストＣＰＵ１１０によって起動された映像デコーダ２３０及び音声デコーダ２４０は、第１及び第２の記憶領域ＡＲ１、ＡＲ２から映像用ＴＳパケット及び音声用ＴＳパケットを順次読み出して（ＳＱ６）、映像デコード処理及び音声デコード処理を行う。
Thereafter, the
２．３．１．２ 放送受信終了処理
次に、図１９に示す放送受信終了処理の動作例について説明する。ここでは、映像及び音声の再生を行う場合について説明する。
2.3.1.2 Broadcast Reception End Process Next, an operation example of the broadcast reception end process shown in FIG. 19 will be described. Here, a case where video and audio are reproduced will be described.
図２２に、図１９の放送受信終了処理の処理例のフロー図を示す。ホストＣＰＵ１１０は、ＲＡＭ１２０又はＲＯＭ１３０に格納されたプログラムを読み出し、該プログラムに対応した処理を実行することで図２２に示す処理を行うことができるようになっている。
FIG. 22 shows a flowchart of a processing example of the broadcast reception end processing of FIG. The
まずホストＣＰＵ１１０は、画像処理ＩＣ２００の映像デコーダ２３０、音声デコーダ２４０を停止させる（ステップＳ３０）。これは、例えばホストＣＰＵ１１０から画像処理ＩＣ２００に対し制御コマンドを発行し、画像処理ＩＣ２００が該制御コマンドのデコード結果を用いて映像デコーダ２３０、音声デコーダ２４０を停止させることができる。
First, the
その後、ホストＣＰＵ１１０は、同様にＴＳ分離部２１０を停止させる（ステップＳ３１）。そして、ホストＣＰＵ１１０は、チューナ９４０を停止させる（ステップＳ３２）。
Thereafter, the
図２３に、図１７及び図１８の画像処理ＩＣ２００の放送受信終了処理における動作説明図を示す。図２３において、図２１と同一部分には同一符号を付し、適宜説明を省略する。
FIG. 23 shows an operation explanatory diagram of the broadcast reception end process of the
まずホストＣＰＵ１１０が、画像データ転送制御部２５０の動作を停止させる制御を行い、表示ドライバ１４０への映像データの供給を停止させる（ＳＱ１０）。次に、ホストＣＰＵ１１０が、映像デコーダ２３０及び音声デコーダ２４０の動作を停止させ（ＳＱ１１）、その後ＴＳ分離部２１０、チューナ９４０の順に動作を停止させていく（ＳＱ１２、ＳＱ１３）。
First, the
２．３．１．３ 再生処理
次に、映像データの再生処理を行う映像デコーダ２３０の動作例について説明する。
2.3.1.3 Reproduction Process Next, an operation example of the
図２４に、映像デコーダ２３０の動作例のフロー図を示す。
FIG. 24 shows a flowchart of an operation example of the
映像デコーダ２３０は、ホストＣＰＵ１１０によって起動されると、例えばメモリ２２０の所定の記憶領域に格納されたプログラムを読み出し、該プログラムに対応した処理を実行することで図２４に示す処理を行うことができるようになっている。即ち、映像デコーダ２３０はＣＰＵ（中央演算処理装置）を含み、画像処理ＩＣ２００（情報再生装置）の初期化処理後に、画像処理ＩＣ２００の外部から、ＣＰＵに映像デコード処理を実現するためのプログラムが読み込まれ、該ＣＰＵが映像デコード処理を実現することができる。なお、映像デコーダ２３０の処理の少なくとも一部が、組み合わせ回路や論理回路等のハードウェアによって行われてもよい。
When the
なお、映像デコーダ２３０及び音声デコーダ２４０のうち少なくとも１つが、ＣＰＵを含み、画像処理ＩＣ２００の初期化処理後に、画像処理ＩＣ２００の外部から、ＣＰＵに各デコード処理を実現するためのプログラムが読み込まれるようにしてもよい。
Note that at least one of the
まず、映像デコーダ２３０は、映像用ＴＳバッファとして設けられた第１の記憶領域ＡＲ１がエンプティ状態か否かを判別する（ステップＳ３０）。第１の記憶領域ＡＲ１から読み出されるべき映像用ＴＳパケットがない場合、エンプティ状態となる。
First, the
ステップＳ３０において映像用ＴＳバッファである第１の記憶領域ＡＲ１がエンプティ状態でないと判別されたとき（ステップＳ３０：Ｎ）、映像デコーダ２３０は、更に映像用ＥＳバッファとして設けられた第４の記憶領域ＡＲ４がフル状態か否かを判別する（ステップＳ３１）。これ以上映像用ＥＳデータを第４の記憶領域ＡＲ４に格納できない場合、フル状態となる。
When it is determined in step S30 that the first storage area AR1 that is the video TS buffer is not empty (step S30: N), the
ステップＳ３１において映像用ＥＳバッファである第４の記憶領域ＡＲ４がフル状態でないと判別されたとき（ステップＳ３１：Ｎ）、映像デコーダ２３０は、第１の記憶領域ＡＲ１から映像用ＴＳパケットを読み出し、図２０のステップＳ２６においてホストＣＰＵ１１０により特定されたＰＩＤ（指定ＰＩＤ）か否かを検出する（ステップＳ３２）。
When it is determined in step S31 that the fourth storage area AR4 that is the video ES buffer is not full (step S31: N), the
ステップＳ３２において、映像用ＴＳパケットのＰＩＤが指定ＰＩＤであると検出されたとき（ステップＳ３２：Ｙ）、映像デコーダ２３０は、ＴＳヘッダ、ＰＥＳヘッダの解析を行い（ステップＳ３３）、映像用ＥＳデータを映像用ＥＳバッファとして設けられた第４の記憶領域ＡＲ４に格納する（ステップＳ３４）。
In step S32, when it is detected that the PID of the video TS packet is the designated PID (step S32: Y), the
その後、映像デコーダ２３０は、映像用ＴＳバッファである第１の記憶領域ＡＲ１の読み出しアドレスを特定するための読み出しポインタを更新し（ステップＳ３５）、ステップＳ３０に戻る（リターン）。
Thereafter, the
なお、ステップＳ３２において映像用ＴＳパケットのＰＩＤが指定ＰＩＤではないと検出されたとき（ステップＳ３２：Ｎ）、ステップＳ３５に進む。また、ステップＳ３０において映像用ＴＳバッファである第１の記憶領域ＡＲ１がエンプティ状態であると判別されたとき（ステップＳ３０：Ｙ）、又はステップＳ３１において映像用ＥＳバッファである第４の記憶領域ＡＲ４がフル状態であると判別されたとき（ステップＳ３１：Ｙ）、ステップＳ３０に戻る（リターン）。 When it is detected in step S32 that the PID of the video TS packet is not the designated PID (step S32: N), the process proceeds to step S35. When it is determined in step S30 that the first storage area AR1 that is the video TS buffer is in an empty state (step S30: Y), or in step S31, the fourth storage area AR4 that is the video ES buffer. Is determined to be full (step S31: Y), the process returns to step S30 (return).
こうして第４の記憶領域ＡＲ４に格納された映像用ＥＳデータは、映像デコーダ２３０により、Ｈ．２６４／ＡＶＣの規格に従ったデコード処理が行われて、映像データとして第７の記憶領域ＡＲ７（図１８参照）に書き込まれる。
The video ES data stored in the fourth storage area AR4 in this way is sent to the H.264 by the
図２５に、図１７及び図１８の画像処理ＩＣ２００の映像デコーダの動作説明図を示す。図２５において、図２１と同一部分には同一符号を付し、適宜説明を省略する。
FIG. 25 is a diagram for explaining the operation of the video decoder of the
なお図２５において、第７の記憶領域ＡＲ７を第４の記憶領域ＡＲ４と共用化し、第８の記憶領域ＡＲ８を第５の記憶領域ＡＲ５と共用化している。また、ＰＳＩ／ＳＩ、ＮＩＴ、ＰＭＴは、第３の記憶領域ＡＲ３内の所定の記憶領域に格納されるものとする。 In FIG. 25, the seventh storage area AR7 is shared with the fourth storage area AR4, and the eighth storage area AR8 is shared with the fifth storage area AR5. In addition, PSI / SI, NIT, and PMT are stored in a predetermined storage area in the third storage area AR3.
まず図２０に示すようにホストＣＰＵ１１０によりデコード処理対象の番組に対応するＰＩＤがＴＳ分離部２１０に設定される（ＳＱ２０）。チューナ９４０からＴＳが入力されたとき（ＳＱ２１）、ＴＳ分離部２１０は、チューナ９４０からのＴＳから映像用ＴＳパケット、音声用ＴＳパケット及びそれ以外のＴＳパケットをそれぞれ分離する（ＳＱ２２）。ＴＳ分離部２１０によって分離された映像用ＴＳパケットは、第１の記憶領域ＡＲ１に格納される。ＴＳ分離部２１０によって分離された音声用ＴＳパケットは、第２の記憶領域ＡＲ２に格納される。ＴＳ分離部２１０によって分離された映像用ＴＳパケット及び音声用ＴＳパケット以外のＴＳパケットは、ＰＳＩ／ＳＩとして第３の記憶領域ＡＲ３に格納される。この際、ＴＳ分離部２１０は、ＰＳＩ／ＳＩの中のＮＩＴ、ＰＭＴを抽出して第３の記憶領域ＡＲ３に格納する。
First, as shown in FIG. 20, the
次にホストＣＰＵ１１０によって起動された映像デコーダ２３０は、第１の記憶領域ＡＲ１から映像用ＴＳパケットを読み出し（ＳＱ２３）、映像用ＥＳデータを生成し、該映像用ＥＳデータを第４の記憶領域ＡＲ４に格納する（ＳＱ２４）。
Next, the
その後、映像デコーダ２３０は、第４の記憶領域ＡＲ４から映像用ＥＳデータを読み出して（ＳＱ２５）、Ｈ．２６４／ＡＶＣの規格に従ったデコード処理を行う。図２５では、デコード処理後の映像データが画像データ転送制御部２５０に直接供給されている（ＳＱ２６）が、例えばデコード処理後の映像データを、一旦、メモリ２２０の所定の記憶領域に書き戻し、その後、音声データの出力タイミングと同期を取りながら画像データ転送制御部２５０に供給することが望ましい。
After that, the
こうして画像データ転送制御部２５０に供給された映像データに基づいて、表示ドライバ１４０が表示パネルを駆動する（ＳＱ２７）。
The
続いて、音声データの再生処理を行う音声デコーダ２４０の動作例について説明する。
Next, an operation example of the
図２６に、音声デコーダ２４０の動作例のフロー図を示す。
FIG. 26 shows a flowchart of an operation example of the
音声デコーダ２４０は、ホストＣＰＵ１１０によって起動されると、例えばメモリ２２０の所定の記憶領域に格納されたプログラムを読み出し、該プログラムに対応した処理を実行することで図２６に示す処理を行うことができるようになっている。即ち、音声デコーダ２４０はＣＰＵ（中央演算処理装置）を含み、画像処理ＩＣ２００（情報再生装置）の初期化処理後に、画像処理ＩＣ２００の外部から、ＣＰＵに音声デコード処理を実現するためのプログラムが読み込まれ、該ＣＰＵが音声デコード処理を実現することができる。なお、音声デコーダ２４０の処理の少なくとも一部が、組み合わせ回路や論理回路等のハードウェアによって行われてもよい。
When the
まず、音声デコーダ２４０は、音声用ＴＳバッファとして設けられた第２の記憶領域ＡＲ２がエンプティ状態か否かを判別する（ステップＳ４０）。第２の記憶領域ＡＲ２から読み出されるべき音声用ＴＳパケットがない場合、エンプティ状態となる。
First, the
ステップＳ４０において音声用ＴＳバッファである第２の記憶領域ＡＲ２がエンプティ状態でないと判別されたとき（ステップＳ４０：Ｎ）、音声デコーダ２４０は、更に音声用ＥＳバッファとして設けられた第５の記憶領域ＡＲ５がフル状態か否かを判別する（ステップＳ４１）。これ以上音声用ＥＳデータを第５の記憶領域ＡＲ５に格納できない場合、フル状態となる。
When it is determined in step S40 that the second storage area AR2 that is the audio TS buffer is not empty (step S40: N), the
ステップＳ４１において音声用ＥＳバッファである第５の記憶領域ＡＲ５がフル状態でないと判別されたとき（ステップＳ４１：Ｎ）、音声デコーダ２４０は、第２の記憶領域ＡＲ２から音声用ＴＳパケットを読み出し、図２０のステップＳ２６においてホストＣＰＵ１１０により特定されたＰＩＤ（指定ＰＩＤ）か否かを検出する（ステップＳ４２）。
When it is determined in step S41 that the fifth storage area AR5, which is the audio ES buffer, is not full (step S41: N), the
ステップＳ４２において、音声用ＴＳパケットのＰＩＤが指定ＰＩＤであると検出されたとき（ステップＳ４２：Ｙ）、音声デコーダ２４０は、ＴＳヘッダ、ＰＥＳヘッダの解析を行い（ステップＳ４３）、音声用ＥＳデータを音声用ＥＳバッファとして設けられた第５の記憶領域ＡＲ５に格納する（ステップＳ３４）。
When it is detected in step S42 that the PID of the audio TS packet is the designated PID (step S42: Y), the
その後、音声デコーダ２４０は、音声用ＴＳバッファである第２の記憶領域ＡＲ２の読み出しアドレスを特定するための読み出しポインタを更新し（ステップＳ４５）、ステップＳ４０に戻る（リターン）。
Thereafter, the
なお、ステップＳ４２において、音声用ＴＳパケットのＰＩＤが指定ＰＩＤではないと検出されたとき（ステップＳ４２：Ｎ）、ステップＳ４５に進む。また、ステップＳ４０において音声用ＴＳバッファである第２の記憶領域ＡＲ２がエンプティ状態であると判別されたとき（ステップＳ４０：Ｙ）、又はステップＳ４１において音声用ＥＳバッファである第５の記憶領域ＡＲ５がフル状態であると判別されたとき（ステップＳ４１：Ｙ）、ステップＳ４０に戻る（リターン）。 In step S42, when it is detected that the PID of the voice TS packet is not the designated PID (step S42: N), the process proceeds to step S45. When it is determined in step S40 that the second storage area AR2 that is the audio TS buffer is in an empty state (step S40: Y), or in step S41, the fifth storage area AR5 that is the audio ES buffer. Is determined to be full (step S41: Y), the process returns to step S40 (return).
こうして第５の記憶領域ＡＲ５に格納された音声用ＥＳデータは、音声デコーダ２４０により、ＭＰＥＧ−２ＡＡＣの規格に従ったデコード処理が行われて、音声データとして第８の記憶領域ＡＲ８（図１８参照）に書き込まれる。
The audio ES data stored in the fifth storage area AR5 in this way is decoded by the
図２７に、図１７及び図１８の画像処理ＩＣ２００の音声デコーダの動作説明図を示す。図２７において、図２１と同一部分には同一符号を付し、適宜説明を省略する。
FIG. 27 is a diagram for explaining the operation of the audio decoder of the
なお図２７において、第７の記憶領域ＡＲ７を第４の記憶領域ＡＲ４と共用化し、第８の記憶領域ＡＲ８を第５の記憶領域ＡＲ５と共用化している。また、ＰＳＩ／ＳＩ、ＮＩＴ、ＰＭＴは、第３の記憶領域ＡＲ３内の所定の記憶領域に格納されるものとする。 In FIG. 27, the seventh storage area AR7 is shared with the fourth storage area AR4, and the eighth storage area AR8 is shared with the fifth storage area AR5. In addition, PSI / SI, NIT, and PMT are stored in a predetermined storage area in the third storage area AR3.
まず図２０に示すようにホストＣＰＵ１１０によりデコード処理対象の番組に対応するＰＩＤがＴＳ分離部２１０に設定される（ＳＱ３０）。チューナ９４０からＴＳが入力されたとき（ＳＱ３１）、ＴＳ分離部２１０は、チューナ９４０からのＴＳから映像用ＴＳパケット、音声用ＴＳパケット及びそれ以外のＴＳパケットをそれぞれ分離する（ＳＱ３２）。ＴＳ分離部２１０によって分離された映像用ＴＳパケットは、第１の記憶領域ＡＲ１に格納される。ＴＳ分離部２１０によって分離された音声用ＴＳパケットは、第２の記憶領域ＡＲ２に格納される。ＴＳ分離部２１０によって分離された映像用ＴＳパケット及び音声用ＴＳパケット以外のＴＳパケットは、ＰＳＩ／ＳＩとして第３の記憶領域ＡＲ３に格納される。更にＴＳ分離部２１０は、ＰＳＩ／ＳＩの中のＮＩＴ、ＰＭＴを抽出して第３の記憶領域ＡＲ３の所定の記憶領域に書き込むことができる。
First, as shown in FIG. 20, the
次にホストＣＰＵ１１０によって起動された音声デコーダ２４０は、第２の記憶領域ＡＲ２から音声用ＴＳパケットを読み出し（ＳＱ３３）、音声用ＥＳデータを生成し、該音声用ＥＳデータを第５の記憶領域ＡＲ５に格納する（ＳＱ３４）。
Next, the
その後、音声デコーダ２４０は、第５の記憶領域ＡＲ５から音声用ＥＳデータを読み出して（ＳＱ３５）、ＭＰＥＧ−２ＡＡＣの規格に従ったデコード処理を行う。図２７では、デコード処理後の音声データがＤＡＣ１５０に直接供給されている（ＳＱ３６）が、例えばデコード処理後の音声データを、一旦、メモリ２２０の所定の記憶領域に書き戻し、その後、映像データの出力タイミングと同期を取りながらＤＡＣ１５０に供給することが望ましい。
Thereafter, the
以上のような音声デコーダ２４０の動作は、映像デコーダ２３０の動作とは独立して行われる。
The operation of the
なお、本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。なお上記の実施形態又はその変形例では、地上デジタル放送に適用可能な例について説明したが、本発明は地上デジタル放送に適用可能なものに限定されるものではない。 The present invention is not limited to the above-described embodiment, and various modifications can be made within the scope of the gist of the present invention. In the above embodiment or its modification, an example applicable to terrestrial digital broadcasting has been described. However, the present invention is not limited to one applicable to terrestrial digital broadcasting.
なお、本実施形態では、主にＨ．２６４／ＡＶＣに準拠したデコード処理に適用した場合について説明したが、これに限定されるものではなく、他の規格や、Ｈ．２６４／ＡＶＣ規格を発展させた規格に準拠したデコード処理に適用できることは言うまでもない。 In the present embodiment, mainly H.264 is used. Although the case where the present invention is applied to decoding processing conforming to H.264 / AVC has been described, the present invention is not limited to this, and other standards, It goes without saying that the present invention can be applied to decoding processing based on a standard developed from the H.264 / AVC standard.
また、本発明のうち従属請求項に係る発明においては、従属先の請求項の構成要件の一部を省略する構成とすることもできる。また、本発明の１の独立請求項に係る発明の要部を、他の独立請求項に従属させることもできる。 In the invention according to the dependent claims of the present invention, a part of the constituent features of the dependent claims can be omitted. Moreover, the principal part of the invention according to one independent claim of the present invention can be made dependent on another independent claim.
１０ 表示制御装置、 ２０ デコーダ、 ２２ ＣＡＶＬＣ部、 ２４ 逆量子化部、
２６ 逆ＤＣＴ演算部、 ２８ 加算部、 ３０ デブロッキングフィルタ、
３２ 動き補償部、 ３４ 動き予測部、 ３６ パラメータ解析部、
３７ 画面内予測部、 ３８ 重み付き予測部、 ４０ バッファ部、
４２ 画像データ転送指示部、 ４４、２５０ 画像データ転送制御部、
４６ デコード用フレームバッファ、 ４８ ヘッダ解析部、 ５０ 表示部、
６０ ＣＰＢ、 ７０ タイマ部、 ７２ 表示時刻レジスタ、 ７４ カウンタ、
７６ コンパレータ、 ７８ 割り込み発生部、 ７９ ステータスレジスタ、
１１０ ホストＣＰＵ、 ２００ 画像処理ＩＣ、 ２１０ ＴＳ分離部、
２２０ メモリ、 ２３０ 映像デコーダ、 ２３２ ヘッダ解析部、
２３４ 映像デコード処理部、 ２４０ 音声デコーダ、 ２４２ ヘッダ削除処理部、
２４４ 音声デコード処理部、 ２６０ チューナＩ／Ｆ、 ２７０ ホストＩ／Ｆ、
２８０ ドライバＩ／Ｆ、 ２９０ オーディオＩ／Ｆ、 ９４０ チューナ
10 display control device, 20 decoder, 22 CAVLC unit, 24 inverse quantization unit,
26 inverse DCT calculation unit, 28 addition unit, 30 deblocking filter,
32 motion compensator, 34 motion predictor, 36 parameter analyzer,
37 intra prediction unit, 38 weighted prediction unit, 40 buffer unit,
42 image data transfer instruction unit, 44, 250 image data transfer control unit,
46 Decoding frame buffer, 48 Header analysis section, 50 Display section,
60 CPB, 70 Timer section, 72 Display time register, 74 Counter,
76 Comparator, 78 Interrupt generator, 79 Status register,
110 host CPU, 200 image processing IC, 210 TS separation unit,
220 memory, 230 video decoder, 232 header analysis unit,
234 video decoding processing unit, 240 audio decoder, 242 header deletion processing unit,
244 audio decoding processing unit, 260 tuner I / F, 270 host I / F,
280 Driver I / F, 290 Audio I / F, 940 Tuner
Claims (11)
前記第１〜第Ｎの参照フレームバッファに格納された少なくとも１フレーム分の画像データを参照して、現フレームの画像データを生成するデコード処理を行うデコーダと、
画像データの転送指示を行う画像データ転送指示部と、
画像データ転送指示部からの転送指示に基づいて、前記第１〜第Ｎの参照フレームバッファのいずれかから１フレーム分の画像データを表示部に転送する制御を行う画像データ転送制御部とを含み、
前記画像データ転送指示部が、
現フレームのデコード処理中に表示時刻が到来した画像データの転送を指示すると共に、
前記現フレームの画像データに対するデコード処理が完了し、且つ前記第１〜第Ｎの参照フレームバッファがフル状態のとき、前記第１〜第Ｎの参照フレームバッファに格納された画像データに設定される表示時刻にかかわらず、前記第１〜第Ｎの参照フレームバッファに格納された画像データのうち最も古い画像データの転送指示を行うことを特徴とする表示制御装置。 Each reference frame buffer stores first to Nth (N is a natural number) reference frame buffers for storing image data for one frame for which a display time is set;
A decoder that performs decoding processing to generate image data of a current frame with reference to image data of at least one frame stored in the first to Nth reference frame buffers;
An image data transfer instruction unit for instructing transfer of image data;
An image data transfer control unit that performs control to transfer image data for one frame from any of the first to Nth reference frame buffers to a display unit based on a transfer instruction from the image data transfer instruction unit. ,
The image data transfer instruction unit
Instructing transfer of image data whose display time has arrived during decoding of the current frame,
When the decoding process for the image data of the current frame is completed and the first to Nth reference frame buffers are full, the image data stored in the first to Nth reference frame buffers is set. A display control apparatus for instructing transfer of the oldest image data among the image data stored in the first to Nth reference frame buffers regardless of a display time.
前記画像データ転送指示部が、
前記表示時刻に対応した表示時刻データと、該表示時刻データに対応した画像データの格納先とが画像データ毎に記憶される表示時刻テーブルに基づいて、前記画像データの転送指示を行うことを特徴とする表示制御装置。 In claim 1,
The image data transfer instruction unit
The display time data corresponding to the display time and the storage location of the image data corresponding to the display time data are instructed to transfer the image data based on a display time table stored for each image data. A display control device.
設定された時刻に割り込みを発生させるタイマ部を含み、
前記画像データ転送指示部が、
表示時刻データを前記タイマ部に設定した後、該タイマ部からの割り込みを受信したとき、前記画像データ転送制御部に前記転送指示を行うことを特徴とする表示制御装置。 In claim 1 or 2,
Includes a timer part that generates an interrupt at a set time,
The image data transfer instruction unit
A display control apparatus, wherein after the display time data is set in the timer unit, when the interrupt from the timer unit is received, the transfer instruction is given to the image data transfer control unit.
計時を行うタイマ部を含み、
前記画像データ転送指示部が、
表示時刻データを前記タイマ部に設定した後、前記タイマ部をポーリングして前記表示時刻データにより表される表示時刻を経過したか否かを判別し、前記タイマ部の時刻が前記表示時刻を経過したと判別されたとき、前記画像データ転送制御部に前記転送指示を行うことを特徴とする表示制御装置。 In claim 1 or 2,
Includes a timer section that keeps time,
The image data transfer instruction unit
After setting the display time data in the timer unit, the timer unit is polled to determine whether or not the display time represented by the display time data has elapsed, and the time of the timer unit has passed the display time When it is determined that the image data has been transferred, the image data transfer control unit is instructed to transfer the display.
Ｎが３であることを特徴とする表示制御装置。 In any one of Claims 1 thru | or 4,
A display control apparatus, wherein N is 3.
前記第１〜第Ｎの参照フレームバッファに格納された少なくとも１フレーム分の画像データを参照して、現フレームの画像データを生成するデコード処理を行うデコーダと、
前記第１〜第Ｎの参照フレームバッファのいずれかから１フレーム分の画像データを表示部に転送する制御を行う画像データ転送制御部とを含む表示制御装置の制御方法であって、
前記画像データ転送制御部に対し、現フレームのデコード処理中に表示時刻が到来した画像データの転送を指示すると共に、
前記現フレームの画像データに対するデコード処理が完了し、且つ前記第１〜第Ｎの参照フレームバッファがフル状態のとき、前記第１〜第Ｎの参照フレームバッファに格納された画像データに設定される表示時刻にかかわらず、前記画像データ転送制御部に対し、前記第１〜第Ｎの参照フレームバッファに格納された画像データのうち最も古い画像データの転送指示を行うことを特徴とする表示制御装置の制御方法。 First to Nth (N is a natural number) reference frame buffer for storing each frame of image data for which a display time is set;
A decoder that performs decoding processing to generate image data of a current frame with reference to image data of at least one frame stored in the first to Nth reference frame buffers;
A display control apparatus control method including an image data transfer control unit that performs control to transfer image data for one frame from any of the first to Nth reference frame buffers to a display unit,
Instructing the image data transfer control unit to transfer image data whose display time has arrived during decoding of the current frame,
When the decoding process for the image data of the current frame is completed and the first to Nth reference frame buffers are full, the image data stored in the first to Nth reference frame buffers is set. Regardless of display time, the image data transfer control unit is instructed to transfer the oldest image data among the image data stored in the first to Nth reference frame buffers. Control method.
前記表示時刻に対応した表示時刻データと、該表示時刻データに対応した画像データの格納先とが画像データ毎に記憶される表示時刻テーブルに基づいて、前記画像データの転送指示を行うことを特徴とする表示制御方法。 In claim 6,
The display time data corresponding to the display time and the storage location of the image data corresponding to the display time data are instructed to transfer the image data based on a display time table stored for each image data. Display control method.
映像データを生成するための第１のＴＳ（Transport Stream）パケット、音声データを生成するための第２のＴＳパケット、前記第１及び第２のＴＳパケット以外の第３のＴＳパケットを、トランスポートストリームから抽出する分離処理部と、
前記第１のＴＳパケットが格納される第１の記憶領域と、前記第２のＴＳパケットが格納される第２の記憶領域と、前記第３のＴＳパケットが格納される第３の記憶領域と、第１〜第Ｎ（Ｎは自然数）の参照フレーム画像データが格納される参照フレーム画像データ記憶領域とを有するメモリと、
前記第１の記憶領域から読み出された前記第１のＴＳパケットに基づいて前記映像データを生成する映像デコード処理を行い、映像デコード処理後のデータを前記第１〜第Ｎの参照フレーム画像データの１つとして前記メモリの参照フレーム記憶領域に格納する映像デコーダと、
前記第２の記憶領域から読み出された前記第２のＴＳパケットに基づいて前記音声データを生成する音声デコード処理を行う音声デコーダと、
前記メモリの参照フレーム画像データ記憶領域から前記第１〜第Ｎの参照フレーム画像データの１つを画像データとして転送制御を行う画像データ転送制御部とを含み、
前記映像デコーダが、前記第１の記憶領域から前記第１のＴＳパケットを、前記音声デコーダとは独立して読み出し、該第１のＴＳパケットに基づいて前記映像デコード処理を行うと共に、
前記音声デコーダが、前記第２の記憶領域から前記第２のＴＳパケットを、前記映像デコーダとは独立して読み出し、該第２のＴＳパケットに基づいて前記音声デコード処理を行い、
前記画像データ転送制御部が、
現フレームのデコード処理中に表示時刻が到来した画像データの転送を行う共に、
前記現フレームの画像データに対するデコード処理が完了し、且つ前記第１〜第Ｎの参照フレーム画像データのそれぞれが格納される記憶領域のすべてがフル状態のとき、前記第１〜第Ｎの参照フレーム画像データに設定される表示時刻にかかわらず、前記参照フレーム画像データ記憶領域に格納された画像データのうち最も古い画像データの転送制御を行うことを特徴とする情報再生装置。 An information reproducing apparatus for reproducing at least one of video data and audio data,
Transport a first TS (Transport Stream) packet for generating video data, a second TS packet for generating audio data, and a third TS packet other than the first and second TS packets. A separation processing unit for extracting from the stream;
A first storage area for storing the first TS packet; a second storage area for storing the second TS packet; and a third storage area for storing the third TS packet; A memory having a reference frame image data storage area for storing first to Nth (N is a natural number) reference frame image data;
A video decoding process for generating the video data based on the first TS packet read from the first storage area is performed, and the data after the video decoding process is used as the first to Nth reference frame image data. A video decoder for storing in a reference frame storage area of the memory as one of
An audio decoder for performing audio decoding processing for generating the audio data based on the second TS packet read from the second storage area;
An image data transfer control unit that controls transfer of one of the first to Nth reference frame image data as image data from a reference frame image data storage area of the memory;
The video decoder reads the first TS packet from the first storage area independently of the audio decoder, performs the video decoding process based on the first TS packet,
The audio decoder reads the second TS packet from the second storage area independently of the video decoder, performs the audio decoding process based on the second TS packet,
The image data transfer control unit is
While transferring the image data whose display time has arrived during the decoding process of the current frame,
When the decoding process for the image data of the current frame is completed and all the storage areas in which the first to Nth reference frame image data are stored are full, the first to Nth reference frames An information reproducing apparatus for performing transfer control of the oldest image data among the image data stored in the reference frame image data storage area regardless of a display time set for the image data.
前記表示時刻に対応した表示時刻データと、該表示時刻データに対応した画像データの格納先とが画像データ毎に記憶される表示時刻テーブルに基づいて、前記画像データの転送指示を行うことを特徴とする情報再生装置。 In claim 8,
The display time data corresponding to the display time and the storage location of the image data corresponding to the display time data are instructed to transfer the image data based on a display time table stored for each image data. Information reproducing apparatus.
前記情報再生装置に対し、前記映像デコード処理及び前記音声デコード処理の少なくとも１つの処理開始を指示するホストとを含むことを特徴とする電子機器。 An information reproducing apparatus according to claim 8 or 9,
An electronic apparatus comprising: a host that instructs the information reproduction apparatus to start at least one of the video decoding process and the audio decoding process.
前記チューナからのトランスポートストリームが供給される請求項８又は９記載の情報再生装置と、
前記情報再生装置に対し、前記映像デコード処理及び前記音声デコード処理の少なくとも１つの処理開始を指示するホストとを含むことを特徴とする電子機器。 Tuner,
The information reproduction apparatus according to claim 8 or 9, wherein a transport stream from the tuner is supplied;
An electronic apparatus comprising: a host that instructs the information reproduction apparatus to start at least one of the video decoding process and the audio decoding process.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006071449A JP2007251543A (en) | 2006-03-15 | 2006-03-15 | Display control unit, control method thereof, information reproducing unit, and electronic equipment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006071449A JP2007251543A (en) | 2006-03-15 | 2006-03-15 | Display control unit, control method thereof, information reproducing unit, and electronic equipment |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007251543A true JP2007251543A (en) | 2007-09-27 |
Family
ID=38595385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006071449A Pending JP2007251543A (en) | 2006-03-15 | 2006-03-15 | Display control unit, control method thereof, information reproducing unit, and electronic equipment |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2007251543A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013024640A1 (en) * | 2011-08-17 | 2013-02-21 | Square Enix Holdings Co., Ltd. | Moving image distribution server, moving image reproduction apparatus, control method, program, and recording medium |
| WO2013125220A1 (en) * | 2012-02-23 | 2013-08-29 | 株式会社スクウェア・エニックス・ホールディングス | Moving image distribution server, moving image playback device, control method, program, and recording medium |
| WO2013153787A1 (en) * | 2012-04-12 | 2013-10-17 | 株式会社スクウェア・エニックス・ホールディングス | Moving image distribution server, moving image playback device, control method, program, and recording medium |
| CN114302219A (en) * | 2021-01-14 | 2022-04-08 | 海信视像科技股份有限公司 | Display equipment and variable frame rate display method |
-
2006
- 2006-03-15 JP JP2006071449A patent/JP2007251543A/en active Pending
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9008187B2 (en) | 2011-08-17 | 2015-04-14 | Square Enix Holdings Co., Ltd. | Moving image distribution server, moving image reproduction apparatus, control method, program, and recording medium |
| US8873636B2 (en) | 2011-08-17 | 2014-10-28 | Square Enix Holdings Co., Ltd. | Moving image distribution server, moving image reproduction apparatus, control method, program, and recording medium |
| KR101422424B1 (en) * | 2011-08-17 | 2014-07-22 | 가부시키가이샤 스퀘어.에닉스.홀딩스 | Moving image distribution server, moving image reproduction apparatus, control method of moving image distribution server, control method of moving image reproduction apparatus, and computer-readable recording medium |
| JP2013041568A (en) * | 2011-08-17 | 2013-02-28 | Square Enix Holdings Co Ltd | Animation distribution server, animation reproduction device, control method, program, and recording medium |
| WO2013024640A1 (en) * | 2011-08-17 | 2013-02-21 | Square Enix Holdings Co., Ltd. | Moving image distribution server, moving image reproduction apparatus, control method, program, and recording medium |
| CN103329526A (en) * | 2011-08-17 | 2013-09-25 | 史克威尔·艾尼克斯控股公司 | Moving image distribution server, moving image reproduction apparatus, control method, program and recording medium |
| US8988501B2 (en) | 2012-02-23 | 2015-03-24 | Square Enix Holdings Co., Ltd. | Moving image distribution server, moving image playback apparatus, control method, and recording medium |
| JP5307958B1 (en) * | 2012-02-23 | 2013-10-02 | 株式会社スクウェア・エニックス・ホールディングス | VIDEO DISTRIBUTION SERVER, VIDEO REPRODUCTION DEVICE, CONTROL METHOD, PROGRAM, AND RECORDING MEDIUM |
| CN103392189A (en) * | 2012-02-23 | 2013-11-13 | 史克威尔·艾尼克斯控股公司 | Moving image distribution server, moving image playback device, control method, program, and recording medium |
| US9491433B2 (en) | 2012-02-23 | 2016-11-08 | Square Enix Holdings Co., Ltd. | Moving image distribution server, moving image playback apparatus, control method, and recording medium |
| WO2013125220A1 (en) * | 2012-02-23 | 2013-08-29 | 株式会社スクウェア・エニックス・ホールディングス | Moving image distribution server, moving image playback device, control method, program, and recording medium |
| WO2013153787A1 (en) * | 2012-04-12 | 2013-10-17 | 株式会社スクウェア・エニックス・ホールディングス | Moving image distribution server, moving image playback device, control method, program, and recording medium |
| KR101536501B1 (en) * | 2012-04-12 | 2015-07-13 | 신라 테크놀로지스, 인크. | Moving image distribution server, moving image reproduction apparatus, control method, recording medium, and moving image distribution system |
| JP5404971B1 (en) * | 2012-04-12 | 2014-02-05 | 株式会社スクウェア・エニックス・ホールディングス | Video distribution server, control method, program, and video distribution system |
| US9868060B2 (en) | 2012-04-12 | 2018-01-16 | Square Enix Holdings Co., Ltd. | Moving image distribution server, moving image reproduction apparatus, control method, and recording medium |
| US10004983B2 (en) | 2012-04-12 | 2018-06-26 | Square Enix Holdings Co., Ltd. | Moving image distribution server, moving image reproduction apparatus, control method, and recording medium |
| US8897373B2 (en) | 2012-04-12 | 2014-11-25 | Square Enix Holdings Co., Ltd. | Moving image distribution server, moving image reproduction apparatus, control method, and recording medium |
| CN114302219A (en) * | 2021-01-14 | 2022-04-08 | 海信视像科技股份有限公司 | Display equipment and variable frame rate display method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11553198B2 (en) | Removal delay parameters for video coding | |
| US11044487B2 (en) | Signaling change in output layer sets | |
| US10154289B2 (en) | Signaling DPB parameters in VPS extension and DPB operation | |
| US9509996B2 (en) | Method, device, and system for multiplexing of video streams | |
| US10250897B2 (en) | Tile alignment signaling and conformance constraints | |
| KR101015390B1 (en) | Robust mode staggercasting without artifacts | |
| US20160173887A1 (en) | Scaling list signaling and parameter sets activation | |
| US20080031357A1 (en) | Decoding device, information reproducing apparatus and electronic apparatus | |
| JP2007251543A (en) | Display control unit, control method thereof, information reproducing unit, and electronic equipment | |
| KR20060113522A (en) | Device and method for initialing decoder in digital broadcasting receiver | |
| US10051311B2 (en) | Electronic devices for signaling sub-picture based hypothetical reference decoder parameters | |
| JP2007166597A (en) | Information reproducing device and electronic instrument | |
| JP2007166598A (en) | Information recording device and electronic instrument | |
| JP2007282001A (en) | Decoding device, decoding method, information reproducing device, and electronic equipment | |
| JP2008022330A (en) | Information reproducing apparatus and electronic equipment | |
| JP2007304832A (en) | Memory access controller, memory access system, information reproduction device, and electronic apparatus | |
| JP2007251542A (en) | Unit and method for controlling display, information reproducing unit, and electronic equipment | |
| JP2008022331A (en) | Display controller, information reproducing apparatus, and electronic equipment | |
| JP2007148860A (en) | Structure data access circuit, structure data access system, information reproducing device, and electronic equipment | |
| JP2007304797A (en) | Data access circuit, decoder, information reproducing device, and electronic equipment | |
| JP2008022053A (en) | Decoding apparatus, information reproducing apparatus, and electronic equipment | |
| US20080025410A1 (en) | Signal Playback Device | |
| JP2007243763A (en) | Decoder, control method thereof, and information reproducing apparatus and electronic apparatus | |
| JP2007288566A (en) | Information recording and playing device and electronics equipment | |
| JP2007299484A (en) | Information recording device, information recording and reproducing device, and electronic equipment |