WO2007105697A1 - デジタル画像データ処理装置及び処理方法 - Google Patents

デジタル画像データ処理装置及び処理方法 Download PDF

Info

Publication number
WO2007105697A1
WO2007105697A1 PCT/JP2007/054861 JP2007054861W WO2007105697A1 WO 2007105697 A1 WO2007105697 A1 WO 2007105697A1 JP 2007054861 W JP2007054861 W JP 2007054861W WO 2007105697 A1 WO2007105697 A1 WO 2007105697A1
Authority
WO
WIPO (PCT)
Prior art keywords
reference frame
frame data
decoding
idr
digital image
Prior art date
Application number
PCT/JP2007/054861
Other languages
English (en)
French (fr)
Inventor
Kenji Mito
Original Assignee
Pioneer Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corporation filed Critical Pioneer Corporation
Priority to JP2008505143A priority Critical patent/JP4869330B2/ja
Publication of WO2007105697A1 publication Critical patent/WO2007105697A1/ja

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382Demodulation or channel decoding, e.g. QPSK demodulation

Definitions

  • the present invention relates to a digital image data processing apparatus and processing method for digitally processing a plurality of data packets obtained by packetizing code key data with variable length.
  • Digital broadcasting for digitizing video data and audio data and multiplex transmission using a digital or Internet broadcast receiver, for example, has already started.
  • a predetermined compression encoding method for example, MPEG; Moving Picture Expert Group method
  • a plurality of program data streams for example, an MPEG transport stream; MPEG-TS etc.
  • desired data is selectively extracted at the receiver side that has received the data.
  • time information production time information
  • time order is obtained. The frame is decoded and reproduced while maintaining the consistency along the line.
  • Patent Document 1 a technique described in Patent Document 1 has been proposed as a technique for reducing the display waiting time when the decoding target is switched by an instruction signal for decoding.
  • a temporary storage buffer is provided to hold the head of the frame group, and at the time of the switching, the head Decoding is also performed for the frame power of the.
  • Patent Document 1 Japanese Patent Laid-Open No. 10-190617
  • the total transmission amount can be reduced, while decoding can be performed only with the reference frame data power. Therefore, when an instruction signal for decoding (for example, a switching signal to a simple video distribution service) is input between the reference frame data and the next reference frame data, the next reference frame data is received. However, it is impossible to reproduce the image until the decoding is completed, which makes the operator wait for a long time and hinders the convenience.
  • an instruction signal for decoding for example, a switching signal to a simple video distribution service
  • the problems to be solved by the present invention include the problems described above as an example.
  • the invention according to claim 1 is formed by packetizing encoded data with a variable length, and serves as a decoding start point when decoding along the time axis.
  • the storage means for sequentially storing the frame data, and the latest data stored in the storage means in response to a predetermined instruction signal
  • Decoding means for sequentially decoding the reference frame data and a plurality of the non-reference frame data subsequent thereto with the reference frame data as a starting point for decoding, and the plurality of pieces decoded sequentially by the decoding means.
  • Reproduction time information provided for each non-reference frame data Control of the display operation of the display means based on the frame data decoded by the decoding means according to the context of the created reproduction time and the current time Control means.
  • the invention of claim 6 is the reference frame data that is formed by packetizing the code key data with a variable length and can be a decoding key starting point when performing decoding key along the time axis.
  • the reference frame data and a plurality of non-reference frame data thereafter are decoded using the latest stored reference frame data as a decoding start point.
  • Sequential decoding procedure and playback time provided for each of the plurality of non-reference frame data sequentially decoded by the decoding means Depending on the context of the playback time and the current time created broadcast power, and a control procedure for controlling the display operations based on the decoded frame data in the decoding I spoon means.
  • a receiver for terrestrial digital broadcasting using the MPEG2 system in particular, an HDTV service and a simple video service (for example, H.264 is used as a video encoding method).
  • an HDTV service and a simple video service for example, H.264 is used as a video encoding method.
  • FIG. 1 is a functional block diagram showing the overall functional configuration of the receiver according to the present embodiment.
  • this receiver 1 as a digital image data processing device includes a tuner 10 that receives an RF signal, a demodulator 20 that demodulates the received RF signal, for example, and a demodulator 20.
  • Transport stream (TS) Transport stream
  • TSBuffer30 for primary storage, TSDemux (demultiplexer) 40, and finite size
  • ESBuffer50 accumulation means
  • IDR -It has an IDR detector 80 for detecting AU, an IDR pointer holder 90, and a PTS determiner 110.
  • the demodulator 20 performs channel decoding (demodulation) on the RF signal received by the tuner 10 by a known method such as FFT, Dinterleave, and demapping, and stores it in the TSBuffer 30.
  • the TSDemux 40 analyzes the TS packet from the TSBuffer 30, extracts the TS packet of the specified PID, extracts a specific elementary stream (ES), and stores it in the ESBuffer 50. On the other hand, a PTS (Presentation Time Stamp) as reproduction time information is extracted and output to the PTS holder 100 together with information indicating the corresponding ES holding area. Note that TSDemux 40 always performs Demux (demultiplexing) on video ES and time information (PC R) of the simple video service, and always supplies data to ESBuffer50.
  • Demux demultiplexing
  • PC R time information
  • the IDR detector 80 always inspects ES data stored in the ESBuffer 50 from time to time to detect IDR-AU. When IDR-AU is detected, information indicating the area is stored in IDR pointer holder 90.
  • the IDR pointer holder 90 holds the head storage position of the latest IDR-AU based on the IDR-AU detected by the IDR detector 80. In other words, when a new IDR-AU is detected, it is replaced with the IDR-AU address.
  • the PTS holder 100 cooperates with the IDR pointer holder 90, and holds the PTS from which the PES force is extracted together with (associated with) the region information of the corresponding ES.
  • the H. 264 decoder 60 controls the start / stop of the decoding operation by a switching instruction signal (switching request) based on, for example, operation of an operating means (not shown) by an operator or a radio wave condition. Is done. That is, when a switching instruction signal for simple video display is input, decoding (decoding) is performed every 1 AU from the corresponding area of the ESBuffer 50 based on the information stored in the IDR pointer holder 90. . This decoding is performed as fast as the resources allow. For access units that do not have a PTS, Then, a PTS is generated according to the specification of H.264 and supplied to the PTS decision unit 110.
  • the PTS decision unit 110 compares the PTS with the current time for each AU, and sends an enable signal (PTS and image data) to the video transmitter 70 when the PTS is later than the current time. To do.
  • the video transmitter 70 transmits the decoded image signal when the time specified by the PTS force is reached.
  • FIGS. 2 (a) and 2 (b) are explanatory diagrams conceptually showing the principle of the decoding operation immediately after switching to the simple moving image performed by the receiver 1 having the above configuration.
  • FIG. 2 (a) is a diagram showing the operation behavior timing with the time axis on the horizontal axis (however, the time is a conceptual value to correspond to the PTS described later).
  • the time is a conceptual value to correspond to the PTS described later.
  • FIG. 2 (a) for example, consider a case where a switching signal to the HDTV service manager or the simple video service is input at time 125.
  • Fig. 2 (b) shows the AU received at the tuner 10 and accumulated in the ESBuffer 50 via the demodulator 20 and TSDe mux 40 from the bottom to the top along the time axis. It is expressed for convenience in the form of “O” (O is a number), and the PTS of each AU (expressed in the above time conceptual value) is displayed next to it.
  • O O is a number
  • PTS of each AU (expressed in the above time conceptual value) is displayed next to it.
  • “PO” force DR—AU in the figure is the other
  • P-1J“ P1 ” ⁇ 'etc. are nonlDR—AU.
  • the power of the H. 264 ARIB and TR-B14 used as the video encoding method in the simple video service described above is normally about 2 seconds in IDR cycle.
  • the latest IDR-AU at that time or information relating thereto (IDR pointer in this example) is always held in the DR pointer holder 90.
  • the newest IDR—AU is “P0” (see Fig. 2 (b)) and is retained. Therefore, in FIG. 2A, after the switching signal is input at time 125, the “P0” force that is IDR-AU also starts decoding.
  • the current time at the completion of decoding of "P3" is 137, which is a newer (future) time than PTS140 of "P3".
  • the time indicated by the PTS reaches 140, the frame of the “P3” AU After that, normal decoding is performed.
  • FIG. 3 is a flowchart showing a control procedure executed by the entire receiver 1 in order to realize the behavior shown in FIG.
  • a digital terrestrial broadcast including an HDTV service and a simple video service is received by the tuner 10, demodulated by the demodulator 20, and decoded by the H.264 decoder 60. After that, this flow is started with the image from the HDTV service displayed on the display.
  • step S5 the H.264 decoder 60 determines whether or not a switching instruction signal based on the operation of the aforementioned operating means (not shown) or the deterioration of radio wave conditions has been input.
  • Step S 10 the IDR detector 80 determines whether new! /, PES data is stored in the ESBuffer 50. If there is a new! /, PES extracted by TSDemux40 and stored in ESBuffer50, the judgment is satisfied and the routine goes to Step S15. If the new PES is weak, the judgment is not satisfied and the procedure returns to step S5 and the same procedure is repeated.
  • step S15 the IDR detector 80 analyzes the new PES data stored in the ESBuffer 50, and in the subsequent step S20, determines whether or not IDR-AU exists. If IDR—AU does not exist (nonlDR—AU), the determination is not satisfied, and the procedure returns to step S10 and the same procedure is repeated. If IDR—AU is present, the decision is satisfied and moves to step S25. [0034] In step S25, the IDR pointer holder 90 holds the pointer data in the detected IDR—AU ES buffer (in other words, holds and overwrites the latest pointer data up to that point). In the subsequent step S30, the PTS holder 100 stores the corresponding IDR—AU PTS, and the process returns to step S10.
  • step S5 if the switching instruction signal to the simple video service is input in step S5, the determination by the H.264 decoder 60 is satisfied, and the process proceeds to step S35.
  • step S35 the H.264 decoder 60 holds pointer data in the IDR pointer holder 90, sequentially acquires AUs from the IDR—AU from the ESBuffer 50, and starts decoding processing of each AU. (Decryption procedure).
  • step S40 the PTS decision unit 110 sequentially decodes in step S35, and then AU (in other words, the IDR pointer holder 90 holds the pointer data.
  • AU in other words, the IDR pointer holder 90 holds the pointer data.
  • the PTS of IDR—AU and AU after that is acquired from the PTS holder 100 or H.264 decoder 60.
  • step S45 the PTS determination unit 110 compares the PTS of each AU that has been sequentially decoded with the current time, and determines whether the PTS of the AU is ahead (in the future) of the current time. (Comparison procedure). If the PTS is in the past time, the judgment is not satisfied, and the process returns to step S35, until the PTS reaches a future time at which video transmission is possible.
  • the decoding procedure in step S35 and the PTS acquisition procedure in step S40 repeat.
  • step S50 the PTS decision unit 110 makes a video output reservation to the video transmitter 70 (open). Initial procedure). After that, the transition to the normal decoding sequence will be made, so the explanation is omitted.
  • the H.264 decoder 60 uses the latest reference frame data stored in the storage means as a decoding start point in accordance with the predetermined instruction signal described in each claim, and the reference frame data and the reference frame data. Decoding means for sequentially decoding a plurality of subsequent non-reference frame data is configured.
  • the PTS decision unit 110 has a plurality of non-reference frames that are sequentially decoded by the decoding means.
  • Control means for controlling the display operation of the display means based on the frame data decoded by the decoding means according to the front-rear relationship between the reproduction time and the current time created by the reproduction time information cartridge respectively provided for the frame data Configure.
  • Step S45 of FIG. 2 executed by the PTS decision unit 110 constitutes a comparison means for comparing the reproduction time created from the reproduction time information provided for each of the plurality of non-reference frame data with the current time, and step S50.
  • a start means for starting the display operation of the display means is configured.
  • the digital image data processing apparatus (receiver in this example) 1 is formed by packetizing encoded data with variable length, and decoding along the time axis.
  • a plurality of data packets (in this example, non-DRDR—AU) including reference frame data (IDR—AU in this example) and other non-reference frame data (in this example, nonlDR—AU) that can serve as a starting point for decoding.
  • a digital image data processing apparatus 1 that processes a stream of PES packets (TS stream in this example), and includes reference frame data IDR—AU and non-reference frame data nonlDR—provided in a plurality of data packets (PES packets).
  • the storage means (ESBuffer50 in this example) that sequentially stores AUs, and the latest reference frame data IDR-AU stored in the storage means 50 in response to a predetermined instruction signal,
  • the reference frame data IDR AU and subsequent non-reference frame data nonlDR—decoding means for sequentially decoding the AU (H.
  • the decoding key means 60 A plurality of non-reference frame data that have been sequentially decoded nonlDR—reproduction time information provided in each AU Decoded by the decoding means 60 according to the context of the reproduction time created from the PTS and the current time It is characterized by having control means (in this example, PTS decision unit 110) for controlling the display operation of the display means based on the frame data (in this example, IDR AU and nonlDR AU).
  • control means in this example, PTS decision unit 110 for controlling the display operation of the display means based on the frame data (in this example, IDR AU and nonlDR AU).
  • the reference frame data IDR-AU that follows the time axis and can be a starting point for decoding when performing decoding May be sent at intervals.
  • the storage unit 50 sequentially stores the reference frame data IDR AU and the non-reference frame data nonlDR AU, and when a predetermined instruction signal is input, the stored reference frame is stored.
  • the decoding means 60 Starting from the most recent data IDR—AU, the decoding means 60 sequentially starts decoding the reference frame data IDR—AU and the subsequent non-reference frame data nonlDR—AU.
  • the other reference frame data IDR-AU can also perform decoding.
  • the control means 110 displays the non-reference frame data that has been sequentially decoded according to the front-rear relationship between the reproduction time created from the reproduction time information PTS of the nonID R-AU and the current time.
  • the display control of the decoding key frame data by is performed.
  • the previous reference frame data IDR-AU force is also sequentially decoded as described above, and the reproduction time of each frame data AU is gradually added from the past side to the current time side as decoding progresses. It is possible to start displaying any time later than the current time.
  • each frame AU can be displayed at a correct time without causing a difference between the reproduction time information of each frame AU and the time when the frame AU is actually displayed.
  • the digital image data processing method implemented by the digital image data processing apparatus 1 of the present embodiment is formed by packetizing encoded data with a variable length and performs decoding along the time axis.
  • PES packets including reference frame data (IDR—AU in this example) and other non-reference frame data (in this example, nonlDR—AU)
  • IDR—AU reference frame data
  • nonlDR—AU non-reference frame data
  • Nonl DR-AU includes playback time information each provided according to the context of the playback time created from PTS and the current time.
  • a control procedure (in this example, steps S45 and S50) for controlling the display operation of the display means based on IDR—AU and nonlDR—AU in this example.
  • the reference frame data IDR-AU that follows the time axis and can serve as a starting point for decoding when performing decoding May be sent at intervals.
  • the reference frame data IDR-AU and the non-reference frame data nonlDR-AU are sequentially stored in the storing procedure, and when a predetermined instruction signal is input, the stored reference frame data IDR-AU and non-reference frame data nonlDR-AU are stored.
  • decoding of the reference frame data IDR—AU and subsequent non-reference frame data nonlDR—AU is sequentially started in decoding step S35.
  • each non-reference frame data that has been sequentially decoded nonlDR—according to the front-rear relationship between the playback time created from the playback time information PTS of the AU and the current time Controls display of decoded frame data.
  • the previous reference frame data IDR-AU force is also sequentially decoded as described above, and with the progress of decoding, the reproduction time of each frame data AU is set to the past time force current time side. It is possible to start the display when it gradually catches up and becomes later than the current time.
  • the decoding control and display control As described above, it is different from the normal case in which decoding and display are performed after the reference frame data IDR-AU at a predetermined time interval is received.
  • the reference signal is the previous reference frame data IDR—AU and the next reference frame data IDR -Even if it is input between AUs, the decoded image can be displayed quickly without causing the operator to wait for a long time. Further, at this time, each frame AU can be displayed at a correct time without causing a difference between the reproduction time information of each frame AU and the time when the frame AU is actually displayed.
  • the control means 110 includes the reproduction time created from the reproduction time information PTS respectively included in the plurality of non-reference frame data nonIDR-AU. Comparing means for comparing the current time (in this example, the S45 procedure executed by the PTS determiner 110) and the comparison result of this comparing means S45, the playback time created from the playback time information PTS is later than the current time. In this case, there is provided a start means for starting the display operation of the display means (in this example, the procedure of S50 executed by the PTS determination unit 110).
  • the reproduction time information and the present time that the reproduction time information PTS force of each frame data AU is also created by the comparison means S45.
  • the start means S50 The display of the display means can be started.
  • control procedures S45 and S50 include the reproduction time information created from the reproduction time information PTS provided in each of the plurality of non-reference frame data nonlDR-AU, Compared to compare the current time, the display operation is started when the comparison result shows that the playback time created from the playback time information PTS is later than the current time.
  • the reproduction time information PTS of each frame data AU is compared with the current time, and the decoding is performed.
  • the playback time of each frame data AU gradually catches up with the past current force current time side and becomes later than the current time with the progress of the key, the display means can start displaying.
  • the decoding means 60 is configured to switch from the HDTV service manager to the simple video service as a predetermined instruction signal.
  • the replacement instruction signal is input, the decoding of the reference frame data IDR AU and the plurality of non-reference frame data nonlDR-AU is sequentially performed.
  • the decoding step S35 includes an HDTV service manager or a switching instruction signal for switching to a simple video service as a predetermined instruction signal.
  • the decoding of the reference frame data IDR AU and the plurality of non-reference frame data nonlDR—AU is performed sequentially.
  • the decoding means 60 Based on the reproduction time created from the reproduction time information PTS of IDR-AU, the decoding means 60 The data IDR AU and subsequent non-reference frame data nonlDR AU are sequentially decoded.
  • the holding means S100 holds the reproduction time information PTS of the latest reference frame IDR—AU and decodes it.
  • the decoding means 60 starts the decoding from the latest reference frame data IDR-AU using the reproduction time that the generated reproduction time information PTS force also created, and further decodes the non-reference frame data nonlDR-AU thereafter. Repeat the steps. In this way, it is assumed that the instruction signal input for starting decoding is input between the previous reference frame data IDR-AU and the next reference frame data IDR-AU.
  • the reference frame data IDR-AU force stored in the storage means 50 can also be decoded.
  • the digital image data processing method in the above embodiment has a holding procedure (in this example, the procedure of step S30) for holding the latest reference frame data IDR-AU reproduction time information PTS stored sequentially.
  • the decoding step S35 is performed based on the latest reference frame data IDR—AU reproduction time information PTS held in the holding procedure S30, based on the reproduction time created from the PTS, and according to a predetermined instruction signal, the latest reference frame data IDR AU. It is also characterized in that decoding of a plurality of non-reference frame data nonlDR AU after that is performed sequentially.
  • the latest reference frame IDR—AU playback time information PTS is stored in the storage procedure S30, and is decoded.
  • ⁇ Decoding starts from the latest reference frame data IDR-AU using the reproduction time created in step S35 and the reproduction time information PTS force held in step S35, and further decoding of non-reference frame data nonlDR-AU thereafter Repeat ⁇ sequentially. In this manner, even if the instruction signal input for starting decoding is input between the previous reference frame data IDR-AU and the next reference frame data IDR-AU, The reference frame data IDR—AU force can also be decoded.
  • the data packet is a PES packet having a PES header having a PTS as reproduction time information.
  • the digital image data processing method in the above embodiment is characterized in that a PES packet having a PES header having a PTS as reproduction time information is used as a data packet.
  • a plurality of PES packet streams each having a PES header with a PTS are provided.
  • the digital signal processing is performed, even if an instruction signal for decoding is input between the previous reference frame data ID R AU and the next reference frame data ID R AU, the operator must wait for a long time.
  • the decoded image can be displayed quickly.
  • FIG. 4 is a control flow showing an operation procedure in one of such modifications. This modification takes into account that the time required for decoding takes some time instead of 0, and corresponds to the case where the next new IDR-AU is accumulated during that time.
  • FIG. 4 corresponds to FIG. 2 described above, and the same steps as those in FIG. 2 are denoted by the same reference numerals, and the description thereof will be simplified or omitted.
  • step S 105 a PES acquisition flag indicating that a new PES including the next IDR-AU is further accumulated in the decoding process is initialized to 0. .
  • Steps S5 to S50 are substantially the same as Steps S5 to S50 of Fig. 2.
  • the PID acquisition flag is set to 1 (in other words, the PID of the next IDR—AU acquired after decryption is changed to PTSa, and the PES acquisition flag is 0.
  • the IDR—AU PTS obtained in (1) is distinguished as PTSbn.
  • input of the switching instruction signal is determined in step S5, and if the determination is not satisfied, it is determined in step S10 whether new PES data is stored in ESBuffer50 (if the determination in step S10 is not satisfied, step S10 If there is a new PES, the new PES data is analyzed in step S15.
  • step S20 it is determined whether IDR-AU exists. If IDR-AU exists, step S15 is performed. In step S25, the latest pointer data is overwritten and updated. In step S30A corresponding to step S30, the PTS holder 100 acquires the corresponding IDR—AU PTS (PTSbn), and the process returns to step S10.
  • step S5 determines whether the pointer data is held in the IDR pointer holder 90 or not. If the determination is satisfied in step S5 described above, the process proceeds to step S35 similar to the above, and the pointer data is held in the IDR pointer holder 90 and the AU is sequentially transferred from the IDR—AU to ESBuffer50. And the decoding process of each AU is started (decoding procedure).
  • step S40A corresponding to step S40 described above, the PTS decision unit 110 sequentially decodes in step S35 AU (in other words, the IDR pointer
  • the holder 90 holds the pointer data and obtains the PTS (PTSbn) of the IDR—AU and the subsequent AU) from the PTS holder 100 or the H.264 decoder 60.
  • step S45A corresponding to step S45 described above, the PTS decision unit 110 compares the PTSbn of each AU sequentially decoded with the current time, and the PTSbn of the AU is ahead of the current time (future) time. Is determined (comparison procedure). If PTSbn is in the past, the determination is not satisfied and the routine goes to Step S55 described later.
  • PTSbn is a future time (in other words, a time when an image can be transmitted from now on)
  • the process proceeds to step S50 as described above, and the video output reservation is made to the video transmitter 70 by the PTS determiner 110. (Start procedure). Thereafter, the process proceeds to a normal decoding sequence.
  • step S55 IDR detector 80 determines whether or not the aforementioned PES acquisition flag is 0. After the start of decoding in step S35, if the next IDR-AU is not newly accumulated during decoding, this flag remains at the initial value 0 (see also step S75 described later). The determination is satisfied, and the routine goes to Step S60.
  • step S60 the IDR detector 80 determines whether or not newer PES data is stored in the ESBuffer 50. If there is a new! /, PES extracted by TSDemux40 and stored in ESBuffer50, the judgment is satisfied and the routine goes to Step S65. If the new PES is weak, the judgment is not satisfied, and the procedure returns to step S35 to repeat the same procedure.
  • step S65 the IDR detector 80 analyzes the new! /, PES data stored in the ESBuffer 50, and in the subsequent step S70, determines whether or not IDR-AU exists. If IDR—AU does not exist (nonlDR—AU), the determination is not satisfied and the procedure returns to step S55 and the same procedure is repeated. IDR—If AU is present, the decision is satisfied and moves to step S75.
  • step S75 the PTS holder 100 obtains the corresponding IDR—AU PTS (PTSa), sets the above-mentioned flag to 1, and proceeds to step S80.
  • step S80 the PTS discriminator 110 compares the PTSa of the new IDR—AU decoded above with the current time, and whether the difference between the PT Sa and the current time is a predetermined threshold value or less (refer to In other words, PTSa is now Whether it is close enough to the time). If PTSa is still far from the current time and the above difference is greater than the predetermined threshold, the determination is not satisfied, and the same procedure is repeated by returning to step S55 described above.
  • step S85 the H.264 decoder 60 decodes the IDR AU corresponding to the PTSa. To do. Thereafter, the process proceeds to step S90 similar to the above-described step S50, and the video output reservation is made to the video transmitter 70 by the PTS determination unit 110. After that, transition to the normal decoding sequence.
  • step S55 if the next IDR-AU is newly accumulated during decoding after the start of decoding in step S35, the flag is set to 1 in step S75. Therefore, the judgment is not satisfied and the routine goes to Step S95.
  • step S95 the decoding process from the latest IDR-AU by H.264 decoder 60, which has already been started in step S35, is continued as it is (decoding procedure).
  • step S100 in the same manner as in step S40A, the PTS determination unit 110 sequentially decodes in step S95! /, And the PTSbn of AU is obtained from the PTS holder 100 or the H. 2 64 decoder 60. To do.
  • step S105 the PTS discriminator 110 compares the PTSbn of each AU sequentially decoded with the current time, and determines whether the power of the AU PTSbn is a time that is ahead (future) of the current time. Judge (comparison procedure). If the PTS is in the past, the determination is not satisfied and the process returns to step S80 and the same procedure is repeated.
  • step S110 the video output to video transmitter 70 is performed by PTS determination unit 110 Make a reservation (start procedure). After that, the transition to the normal decoding sequence will be made, and the explanation is omitted.
  • the digital image data processing apparatus (receiver in this example) 1 of the present modification is a digital image data processing method implemented by packetizing encoded data with a variable length, Reference frame data IDR—AU that can be the starting point for decoding
  • P ES packets data packets
  • the reference sequence data IDR AU and the non-reference frame data nonlDR AU are stored in sequence (executed by ESBuf fer50), and the latest reference frame data IDR-AU stored in the storage procedure according to the specified instruction signal.
  • the decoding frame procedure for sequentially decoding the reference frame data IDR—AU and a plurality of non-reference frame data nonlDR AUs thereafter (in this example, the steps S35 and S95), From the reproduction time information PTS provided for each of the plurality of non-reference frame data nonIDR-AU sequentially decoded by the decoding procedures S35 and S95.
  • the display operation of the display means is controlled based on the frame data (IDR-AU and nonID R-AU) decoded in decoding procedures S35 and S95 according to the context between the playback time and the current time. And a control procedure to be performed (in this example, steps S45A, S50, S105, and S110).
  • reference frame data IDR AU and non-reference frame data nonlDR-AU are sequentially stored in the storage procedure, and when a predetermined instruction signal is input, the stored reference frame data Starting from the latest IDR-AU, decoding of the reference frame data IDR-AU and the subsequent non-reference frame data nonlDR-AU is sequentially started in decoding steps S35 and S95.
  • the instruction signal input to start decoding is input between the previous reference frame data IDR AU and the next reference frame data IDR-AU, the previous signal stored in the storage procedure is stored.
  • Reference frame data IDR—AU power decoding can be performed.
  • each non-standard frame data that is sequentially decoded nonlDR the playback time information created from the AU playback time information PTSbn and the current time. Accordingly, display control of the decoded frame data is performed.
  • the previous reference frame data IDR—AU force is sequentially decoded as described above, and the playback time of each frame data AU gradually increases to the current time side as the decoding time increases. It is possible to start displaying when it catches up and the future is later than the current time It becomes ability.
  • control procedures S45A, S50, S105, and S110 are created from the reproduction time information PTSbn provided in each of a plurality of non-reference frame data nonlDR—AU.
  • the comparison is made by comparing the playback time and the current time, and when the playback time created from the playback time information PTSbn is later than the current time as a result of the comparison, the display operation is started.
  • the reproduction time generated from the reproduction time information PTSbn of each frame data AU is compared with the current time. Comparison is performed, and the playback time of each frame data AU is gradually added to the current time side as the decoding progresses, and the display of the display means starts when the time is later than the current time. Can be made.
  • the digital image data processing method in the above embodiment has a holding procedure (the procedure of step S30A in this example) for holding the reproduction time information PTSbn of the latest reference frame data IDR-AU that is sequentially stored.
  • the decoding reference procedures S35 and S95 are the latest reference frame data IDR held in the holding procedure S3 OA.
  • the latest reference frame data IDR Based on the playback time created from the playback time information PTSbn of the AU, the latest reference frame data IDR according to a predetermined instruction signal. It is characterized in that the AU and a plurality of subsequent non-reference frame data nonlDR—AU are sequentially decoded.
  • the latest reference frame IDR—AU playback time information PTSbn is stored in the storage procedure S30A, and the decoding ⁇ Procedure During playback held in S35, S95 Using the playback time created from the time information PTSbn, decoding is started from the latest reference frame data IDR-AU, and subsequent non-reference frame data nonlDR-AU is sequentially decoded. In this way, even if an instruction signal input for starting decoding is input between the previous reference frame data IDR-AU and the next reference frame data IDR-AU, The reference frame data IDR—AU force can also be decoded.
  • next IDR-AU when the next IDR-AU is accumulated during the decoding after the start of decoding from the latest IDR-AU at that time, If the next new IDR—AU can be converged faster as a result rather than continuing to decode the IDR—AU, decoding can be performed more quickly by using the new IDR—AU.
  • the decoded image can be displayed.
  • the receiver 1 in the above embodiment is formed by packetizing the code key data with a variable length, and is an IDR-AU that can be a decoding key starting point when performing decoding key along the time axis.
  • a receiver 1 that processes TS streams of multiple PES packets including other nonIDR-AUs, an ESBuffer 50 that sequentially stores IDR-AUs and nonIDR-AUs provided in the multiple PES packets, and a predetermined instruction
  • the H.264 decoder 60 that sequentially decodes the IDR-AU and the subsequent nonlDR-AUs, starting with the latest ID R-AU accumulated in the ESBuffer 50, and this H.264 decoder 60.
  • the IDR-AU decoded by the H.264 decoder 60 according to the context of the playback time and the current time created from the PTS provided for each of the nonlDR-AUs sequentially decoded by the H.264 decoder 60.
  • the ESBuffer50 force DR-AU and nonIDR-AU are stored in sequence, and when a predetermined instruction signal is input, the H.264 decoder 60 starts from the latest stored IDR-AU. Starts decoding the IDR-AU and subsequent nonlDR-AUs sequentially. As a result, even if the above instruction signal input for starting decoding is input between the previous IDR-AU and the next IDR-AU, the previous IDR-AU power accumulated in the ESBuffer 50 Decryption can be performed.
  • the PTS determination unit 110 performs display control by the display unit in accordance with the front-rear relationship between the reproduction time created from the sequentially decoded PTS of each nonIDR-AU and the current time.
  • the previous IDR-AU force is also sequentially decoded as described above, and with the progress of decoding, the playback time information of each AU gradually follows from the past side to the current time side, starting from the current time. When it becomes the future, it becomes possible to start the display.
  • the instruction signal is transmitted first. Even if it is input between one IDR-AU and the next IDR-AU, the decoded image can be displayed quickly without causing the operator to wait for a long time. At this time, each frame can be displayed at the correct time without any deviation between the PTS of each AU and the time when the AU is actually displayed.
  • the digital image data processing method executed by the receiver 1 in the above embodiment is formed by packetizing encoded data with a variable length, and serves as a decoding starting point when performing decoding along the time axis.
  • This is a digital image data processing method that processes TS streams of multiple PES packets including IDR-AU and other nonIDR-AUs.
  • IDR-AU and nonIDR-AU provided in multiple PES packets
  • the latest IDR-AU accumulated in ESBuffer50 is used as the decoding start point, and the IDR-AU and subsequent nonlDR-AU decodings are sequentially performed.
  • ESBuffer50 force DR-AU and nonIDR-AU are stored in order, and when a predetermined instruction signal is input, the latest one of the stored IDR AUs is used as a starting point in step S35.
  • IDR—AU and subsequent nonlDR—AU decoding starts sequentially. As a result, even if the instruction signal input to start decoding is input between the previous IDR AU and the next IDR-AU, the previous IDR-AU power decoding stored in step S35 is performed. You can do it.
  • display control is performed in accordance with the context of the playback time created from the PTS of each non-IDR-AU decoded in sequence and the current time.
  • the previous IDR-AU force is also sequentially decoded as described above, and with the progress of decoding, the playback time of each AU gradually catches up with the current time side from the past side.
  • the display can be started when the future is later than the current time.
  • the instruction signal is different from the normal case in which decoding and display are performed after the IDR-AU of a predetermined time interval is received. Even if it is input between the previous IDR-AU and the next IDR-AU, the decoded image can be displayed quickly without causing the operator to wait for a long time. At this time, each frame can be displayed at the correct time without any deviation between the PTS of each AU and the time when the AU is actually displayed.
  • FIG. 1 is a functional block diagram showing an overall functional configuration of a receiver according to an embodiment of the present invention.
  • FIG. 2 is an explanatory diagram conceptually showing the principle of a decoding operation immediately after switching to a simple moving image performed by the receiver shown in FIG.
  • FIG. 3 is a flowchart showing a control procedure executed by the entire receiver in order to realize the behavior shown in FIG.
  • FIG. 4 is a flowchart showing a control procedure executed by the entire receiver of a modified example corresponding to the case where the next new IDR-AU is accumulated during decoding.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】再生時刻情報と実際に表示される時刻とのずれを防止しつつ、画像再生までの操作者の待ち時間を低減する。 【解決手段】ESBuffer50がIDR-AU及びnonIDR-AUを順次蓄積し、切替指示信号が入力されると、IDR-AUのうち最新のものを起点としてH264デコーダ60が復号化を順次開始する。このようにして順次復号化を行っていき、復号化の進展とともに各AUのPTSから作成した再生時刻が過去側から現在時刻側に徐々に追いついて現在時刻よりも未来になったときに表示を開始させ、通常の復号化シーケースに戻る。

Description

明 細 書
デジタル画像データ処理装置及び処理方法
技術分野
[0001] 本発明は、符号ィ匕データを可変長にてパケットィ匕した複数のデータパケットをデジ タル処理するデジタル画像データ処理装置及び処理方法に関するものである。 背景技術
[0002] 例えばデジタル又はインターネット放送受信機を用いて、ビデオデータやオーディ ォデータをデジタル化して多重伝送するデジタル放送が既に開始されて ヽる。この デジタル放送においては、所定の圧縮符号化方式(例えば MPEG ; Moving Pictu re Expert Group方式等)が採用され、複数の番組のデータが、当該符号化方式 に対応したストリーム(例えば MPEGトランスポートストリーム; MPEG— TS等)に多 重化して伝送される。このように多重化しストリームとして伝送されたデータは、これを 受信した受信機側において所望のデータが選択的に抽出される。このとき、受信デ ータには、例えば画像フレームごとに時刻情報 (再生時刻情報)が連続的に付与され ており、この時刻情報を用いて復号装置にデコード処理を行わせることにより、時間 順序に沿った整合性を保持しつつ、フレームの復号化及び再生が行われるようにな つている。
[0003] このような再生時刻情報に関し、従来、復号化のための指示信号により復号化対象 を切り替えたときの表示待ち時間を低減するための技術として、例えば特許文献 1記 載のものが提唱されている。この従来技術では、同一ストリーム内においてチャンネ ルを切り替えた時の待ち時間をなくすために、一時保存用のバッファーを設けてフレ ーム群の先頭を保持しておき、上記切り替えの際に当該先頭のフレーム力も復号ィ匕 を行うようになっている。
[0004] 特許文献 1 :特開平 10— 190617号公報
発明の開示
発明が解決しょうとする課題
[0005] 近年、ブロードバンドィ匕の一層の進展に伴い、携帯電話機やその他の携帯端末等 、比較的簡素な構造のデジタル又はインターネット放送受信機を用い、簡易的な動 画配信を行うことが計画されて ヽる。一般に動画配信を行う場合画像を圧縮して送付 する。この場合、動画を構成する各画像はそれ自身で一枚の絵を生成できる IDRピ クチャ一(基準フレームデータ)と、参照画像を要する nonlDRピクチャー(非基準フ レームデータ)とに分けられる。狭帯域で動画を送ろうとした場合には IDRピクチャー の挿入間隔が長くなつてしまうことが多い。
[0006] この伝送方式では、トータルの伝送量を削減できる一方で、復号化は上記基準フレ ームデータ力 しか行うことができない。このため、復号ィ匕のための指示信号 (例えば 簡易動画配信サービスへの切替信号)が上記基準フレームデータと次の基準フレー ムデータとの間に入力された場合、当該次の基準フレームデータを受信し復号ィ匕す るまでの間、画像を再生することができず、操作者を長く待たせることとなってその利 便性を阻害する。
[0007] このとき、上記従来技術を適用し、表示待ち時間をなくすことも考えられるが、上記 従来技術では、非表示の時間を回避することのみに主眼がおかれており、各フレー ムデータの再生時刻情報と実際の再生時刻との一致については特に配慮されてい ない。このため、切り替えのタイミングで本来提示すべき画像より過去の映像を出力 することになる。例えば地上波デジタルワンセグ放送では ARIB TR—B14によると 上記基準フレームデータが約 2秒に 1回発生するとされているが、このような場合、切 り替えのタイミングによって、本来表示するべき時刻に対し最大 2秒古い過去の映像 を表示すると 、うずれが発生する。
[0008] 本発明が解決しょうとする課題には、上記に示した問題が一例として挙げられる。
課題を解決するための手段
[0009] 上記課題を解決するために、請求項 1記載の発明は、符号化データを可変長にて パケット化されて形成され、時間軸に沿い復号ィ匕を行う際の復号ィ匕起点となりうる基 準フレームデータとそれ以外の非基準フレームデータとを含む複数のデータパケット のストリームを処理するデジタル画像データ処理装置であって、前記複数のデータパ ケットに備えられる前記基準フレームデータ及び前記非基準フレームデータを順次 蓄積する蓄積手段と、所定の指示信号に応じ、前記蓄積手段に蓄積された最新の 前記基準フレームデータを復号化起点に、当該基準フレームデータ及びそれ以降 の複数の前記非基準フレームデータの復号化を順次行う復号化手段と、この復号ィ匕 手段により順次復号化された前記複数の非基準フレームデータにそれぞれ備えられ る再生時刻情報力 作成した再生時刻と現在時刻との前後関係に応じて、前記復号 化手段で復号化されたフレームデータに基づく表示手段の表示動作の制御を行う制 御手段とを有する。
[0010] また、請求項 6記載の発明は、符号ィ匕データを可変長にてパケット化されて形成さ れ、時間軸に沿い復号ィ匕を行う際の復号ィ匕起点となりうる基準フレームデータとそれ 以外の非基準フレームデータとを含む複数のデータパケットのストリームを処理する デジタル画像データ処理方法であって、前記複数のデータパケットに備えられる前 記基準フレームデータ及び前記非基準フレームデータを順次蓄積する蓄積手順と、 所定の指示信号に応じ、前記蓄積された最新の前記基準フレームデータを復号ィ匕 起点に、当該基準フレームデータ及びそれ以降の複数の前記非基準フレームデー タの復号化を順次行う復号化手順と、この復号ィ匕手段により順次復号化された前記 複数の非基準フレームデータにそれぞれ備えられる再生時刻情報力 作成した再生 時刻と現在時刻との前後関係に応じて、前記復号ィ匕手段で復号化されたフレームデ ータに基づく表示動作の制御を行う制御手順とを有する。
発明を実施するための最良の形態
[0011] 以下、本発明の一実施の形態を図面を参照しつつ説明する。この実施形態は、デ ジタル画像データ処理装置の一例として、 MPEG2システムを用いた地上波デジタ ル放送の受信機、特に、 HDTVサービスと簡易動画サービス (例えば映像符号ィ匕方 式として H. 264が使用される)を含む放送を受信可能な受信機に適用した場合の実 施形態である。
[0012] 図 1は、本実施形態の受信機の全体機能構成を表す機能ブロック図である。
[0013] 図 1において、デジタル画像データ処理装置としてのこの受信機 1は、 RF信号を受 信するチューナ 10と、受信された RF信号を例えば OFDM復調する復調部 20と、復 調部 20からのトランスポートストリーム (TS)
を一次格納する TSBuffer30と、 TSDemux (デマルチプレクサ) 40と、有限サイズ であって例えばリングバッファーなどで構成される ESBuffer50 (蓄積手段)と、 H. 2 64デコーダ 60と、最終的に画像データを出力するビデオ送出器 70と、 ESBuffer5 0内の簡易動画映像 ESについて IDR—AUを検出する IDR検出器 80と、 IDRポイン タ保持器 90と、 PTS判定器 110とを有している。
[0014] 復調部 20は、チューナ 10で受信された RF信号に対し、 FFT、ディンターリーブ、 デマッピング等の公知の手法によりチャネルデコード(復調)を行 、TSBuffer30に 格納する。
[0015] TSDemux40は、上記 TSBuffer30からの TSパケットを解析し、指定された PID の TSパケットを抽出し特定のエレメンタリストリーム(ES)を抜き出し、 ESBuffer50に 格納する。また一方、再生時刻情報としての PTS (Presentation Time Stamp) を抽出し、対応する上記 ESの保持領域を指し示す情報とともに PTS保持器 100へと 出力する。なお、 TSDemux40では、簡易動画サービスの映像 ESと時刻情報 (PC R)については常に Demux (多重分離)を行っており、常にデータを ESBuffer50へ 供給する。
[0016] IDR検出器 80は、 ESBuffer50に時々刻々と格納される ESデータを常に検査し、 IDR—AUの検出を行う。 IDR—AUが検出された際には、その領域を指し示す情報 を IDRポインタ保持器 90に格納する。
[0017] IDRポインタ保持器 90は、 IDR検出器 80で検出した IDR—AUに基づき、最新の I DR— AUの先頭格納位置を保持する。すなわち、新しい IDR—AUが検出された場 合にはその IDR—AUのアドレスに差し替えられる。
[0018] PTS保持器 100は、 IDRポインタ保持器 90と連携し、上記 PES力も抽出された PT Sを、対応する ESの領域情報と併せて (関連付けて)保持する。
[0019] H. 264デコーダ 60は、例えば操作者による操作手段(図示せず)の操作や電波 状況の悪ィ匕等に基づく切替指示信号 (切替要求)によってデコード動作の開始'停 止が制御される。すなわち、簡易動画表示を行うための切替指示信号が入力された ら、上記 IDRポインタ保持器 90に格納された情報に基づき、 ESBuffer50のうち対 応する領域から 1AUごとにデコード (復号化)を行う。なお、このデコードはリソースが 許す限りにおいて高速に行っている。なお、 PTSが存在しないアクセスユニットに関 しては、 H. 264の仕様に従い PTSを生成して、 PTS判定器 110へ供給する。
[0020] PTS判定器 110は各 AUごとに PTSと現在の時刻とを比較し、 PTSが現在の時刻 より未来になったら、ビデオ送出器 70にィネーブル信号 (PTSと画像データ)とを送 出する。
[0021] ビデオ送出器 70は、 PTS判定器 110からのィネーブル信号に基づき、 PTS力指 定した時刻になったらデコード後の画像信号を送出する。
[0022] 図 2 (a)及び図 2 (b)は、上記構成の受信機 1により実行される、簡易動画画像への 切替直後のデコード動作の原理を概念的に表す説明図である。
[0023] 図 2 (a)は、横軸に時間軸をとつた (但し時刻は後述の PTSに対応させるための概 念値である)動作挙動タイミングを表す図である。この図 2 (a)において、例えば、時 刻 125において、 HDTVサービスカゝら簡易動画サービスへの切替信号が入力され た場合を考える。
[0024] 図 2 (b)は、この時刻 125の時点で、チューナ 10で受信され復調部 20及び TSDe mux40を経て ESBuffer50に蓄積された AUを、時間軸に沿って下から上へと「P〇 」(〇は数字)の形式で便宜的に表したものであり、各 AUの PTS (上記時刻概念値で 表す)がその横に表されている。この例では、図中の「PO」力 DR— AUであり、他の「 P- 1J「P1」 · '等が nonlDR— AUである。
[0025] 前述した簡易動画サービスで映像符号ィ匕方式として用いられる H. 264の ARIB、 TR— B14での運用では IDR周期が通常約 2秒となっている力 本実施形態では、前 述したように、次の IDR—AUが蓄積されるまで、その時点で一番新しい IDR—AU 又はこれに関する情報(この例では IDRポインタ)力 DRポインタ保持器 90で常に保 持されている。この時点で一番新しい IDR— AUは「P0」であり(図 2 (b)参照)これが 保持されている。したがって、図 2 (a)において、時刻 125で切替信号が入力された 後は IDR—AUである「P0」力もデコードを開始する。
[0026] 「P0」のデコードが完了した時点では少し時間が経過し現在時刻が時刻 128にな つており、これと当該「P0」の PTS110とを比較した場合、 PTS 110は現在時刻 128 よりも古い (過去)であるため、画像表示は行わず、次の AUのデコード処理に移行す る。 [0027] 次の「P1」のデコードが完了したときの現在時刻は 132となっており、この「P1」の P TS120のほうが過去であるため、上記同様、画像表示が行わない。同様に、「P2」に ついてもデコード完了時の現在時刻より PTSのほうが過去であり画像表示は行わな い。しかしながら、 P0→P1→P2と、デコード完了時の現在時刻と PTSとの差が徐々 に縮まり、デコード処理が追 ヽっ 、てくる挙動となる。
[0028] そしてついに、「P3」のデコード完了時の現在時刻は 137となり、「P3」の PTS140 よりも新しい (未来の)時刻となる。これにより映像表示予約を行って(=具体的にはィ ネーブル信号を PTS判定器 110からビデオ送出器 70へ発して、詳細は後述) PTS の表す時刻 140になったら当該「P3」AUのフレームを表示させるようにし、以降は通 常のデコード処理を行う。
[0029] 図 3は、上記図 2に示した挙動を実現するために受信機 1全体で実行される制御手 順を表すフローチャートである。
[0030] 図 3において、まず初期状態として、 HDTVサービスと簡易動画サービスとを含む 地上デジタル放送をチューナ 10で受信し、上記復調部 20による復調、 H. 264デコ ーダ 60による復号ィ匕を経て、 HDTVサービスによる画像が表示部に表示されている 状態で、このフローが起動される。
[0031] まずステップ S5において、 H. 264デコーダ 60で、前述の操作手段(図示せず)の 操作や電波状況の悪化に基づく切替指示信号が入力されたかどうかを判定する。
[0032] 切替指示信号が入力されていない場合は判定が満たされずステップ S10に移り、 I DR検出器 80で、 ESBuffer50に新し!/、PESデータが格納されたかどうかを判定す る。 TSDemux40で抽出され ESBuffer50に格納された新し!/、PESがあった場合に は判定が満たされ、ステップ S15に移る。新しい PESがな力つた場合には判定が満 たされず、ステップ S5に戻り同様の手順を繰り返す。
[0033] ステップ S15では、 IDR検出器 80で、 ESBuffer50に蓄積された新しい PESデー タの解析を行い、続くステップ S 20において IDR— AUが存在するかどうかを判定す る。 IDR— AUが存在しない場合 (nonlDR— AUであった場合)は判定が満たされ ず、ステップ S10に戻って同様の手順を繰り返す。 IDR— AUが存在した場合は、判 定が満たされ、ステップ S 25に移る。 [0034] ステップ S25では、 IDRポインタ保持器 90で、当該検出した IDR— AUの ESBuffe rにおけるポインタデータの保持 ( 、かえれば保持して 、たそれまでの最新ポインタ データの上書き更新)を行うとともに、続くステップ S30において、 PTS保持器 100で 、対応する IDR— AUの PTSを保存し、ステップ S10に戻る。
[0035] 一方、前述のステップ S5において、簡易動画サービスへの切替指示信号が入力さ れていた場合、 H. 264デコーダ 60によるこの判定が満たされ、ステップ S35へ移る
[0036] ステップ S35では、 H. 264デコーダ 60で、 IDRポインタ保持器 90でポインタデー タを保持して 、た IDR— AUから順次 AUを ESBuffer50より取得し、各 AUのデコー ド処理を開始する (復号化手順)。
[0037] その後、ステップ S40にお!/、て、 PTS判定器 110で、上記ステップ S35で順次デコ ードして 、く AU (言 、換えれば、上記 IDRポインタ保持器 90がポインタデータを保 持していた IDR— AU及びそれ以降の AU)の PTSを PTS保持器 100又は H. 264 デコーダ 60より取得する。
[0038] そして、ステップ S45において、 PTS判定器 110で、順次デコードした各 AUの PT Sと現在時刻とを比較し、 AUの PTSが現在時刻より先 (未来)の時刻であるかどうか を判定する(比較手順)。 PTSが過去の時刻であった場合、判定が満たされず、ステ ップ S35〖こ戻り、 PTSが映像送出可能な未来の時刻になるまでステップ S35のデコ ード手順とステップ S40の PTS取得手順とを繰り返す。
[0039] PTSが未来の時刻(言 、換えればこれ力 画像送出可能な時刻)であれば、ステツ プ S50に移り、 PTS判定器 110でビデオ送出器 70に対して映像出力予約を行う(開 始手順)。これ以降は、通常と同様のデコードシーケンスへ遷移することとなるので、 説明を省略する。
[0040] 以上において、 H. 264デコーダ 60が、各請求項記載の、所定の指示信号に応じ 、蓄積手段に蓄積された最新の基準フレームデータを復号ィ匕起点に、当該基準フレ ームデータ及びそれ以降の複数の非基準フレームデータの復号化を順次行う復号 化手段を構成する。
[0041] また、 PTS判定器 110が、復号ィ匕手段により順次復号化された複数の非基準フレ ームデータにそれぞれ備えられる再生時刻情報カゝら作成した再生時刻と現在時刻と の前後関係に応じて、復号ィ匕手段で復号化されたフレームデータに基づく表示手段 の表示動作の制御を行う制御手段を構成する。この PTS判定器 110が実行する図 2 のステップ S45が、複数の非基準フレームデータにそれぞれ備えられる再生時刻情 報カゝら作成した再生時刻と現在時刻を比較する比較手段を構成し、ステップ S50が 、比較手段比較結果で、再生時刻情報カゝら作成した再生時刻が現在時刻より未来 になった場合に、表示手段の表示動作を開始させるための開始手段を構成する。
[0042] 以上説明したように、本実施形態におけるデジタル画像データ処理装置 (この例で は受信機) 1は、符号化データを可変長にてパケット化されて形成され、時間軸に沿 い復号ィ匕を行う際の復号ィ匕起点となりうる基準フレームデータ (この例では IDR— A U)とそれ以外の非基準フレームデータ(この例では nonlDR— AU)とを含む複数の データパケット(この例では PESパケット)のストリーム(この例では TSストリーム)を処 理するデジタル画像データ処理装置 1であって、複数のデータパケット(PESパケット )に備えられる基準フレームデータ IDR—AU及び非基準フレームデータ nonlDR— AUを順次蓄積する蓄積手段 (この例では ESBuffer50)と、所定の指示信号に応じ 、蓄積手段 50に蓄積された最新の基準フレームデータ IDR—AUを復号ィ匕起点に、 当該基準フレームデータ IDR AU及びそれ以降の複数の非基準フレームデータ n onlDR— AUの復号ィ匕を順次行う復号ィ匕手段 (この例では H. 264デコーダ 60)と、 この復号ィ匕手段 60により順次復号ィ匕された複数の非基準フレームデータ nonlDR— AUにそれぞれ備えられる再生時刻情報 PTSから作成した再生時刻と現在時刻との 前後関係に応じて、復号ィ匕手段 60で復号ィ匕されたフレームデータ(この例では IDR AU及び nonlDR AU)に基づく表示手段の表示動作の制御を行う制御手段 (こ の例では PTS判定器 110)とを有することを特徴とする。
[0043] 簡易動画サービス等、伝送容量に制限のある伝送方式の場合、時間軸に沿!、復 号ィ匕を行う際の復号ィ匕起点となりうる基準フレームデータ IDR—AUは、所定の時間 間隔をもって送信される場合がある。本実施形態においてはこれに対応し、蓄積手 段 50が基準フレームデータ IDR AU及び非基準フレームデータ nonlDR AUを 順次蓄積しておき、所定の指示信号が入力されると、その蓄積された基準フレーム データ IDR— AUのうち最新のものを起点として、復号ィ匕手段 60がその基準フレー ムデータ IDR— AU及びそれ以降の非基準フレームデータ nonlDR— AUの復号化 を順次開始する。これにより、復号化開始のために入力される上記指示信号が先の 基準フレームデータ IDR—AUと次の基準フレームデータ IDR—AUとの間に入力さ れたとしても、蓄積手段 50に蓄積された先の基準フレームデータ IDR—AUカも復 号ィ匕を行うことができる。
[0044] このとき、制御手段 110は、その順次復号ィ匕された各非基準フレームデータ nonID R—AUの再生時刻情報 PTSから作成した再生時刻と現在時刻との前後関係に応じ て、表示手段による復号ィ匕フレームデータの表示制御を行う。これにより、上記のよう にして先の基準フレームデータ IDR—AU力も順次復号ィ匕を行って 、き、復号化の 進展とともに各フレームデータ AUの再生時刻が過去側から現在時刻側に徐々に追 いついて現在時刻よりも未来になったときに、表示開始させることが可能となる。
[0045] 以上のような復号ィヒ及び表示制御を行うことにより、所定の時間間隔の基準フレー ムデータ IDR— AUが受信されるのを待って復号化及び表示を行う通常の場合と異 なり、指示信号が先の基準フレームデータ IDR— AUと次の基準フレームデータ IDR —AUとの間に入力されたとしても操作者を長く待たせることなぐ速やかに復号ィ匕し た画像を表示することができる。またこのとき、各フレーム AUの再生時刻情報と当該 フレーム AUが実際に表示される時刻との間にずれが生じることもなぐ正しい時刻に 各フレーム AUを表示させることができる。
[0046] 本実施形態のデジタル画像データ処理装置 1で実施されるデジタル画像データ処 理方法は、符号化データを可変長にてパケット化されて形成され、時間軸に沿い復 号ィ匕を行う際の復号ィ匕起点となりうる基準フレームデータ(この例では IDR— AU)と それ以外の非基準フレームデータ(この例では nonlDR— AU)とを含む複数のデー タパケット(この例では PESパケット)のストリーム(この例では TSストリーム)を処理す るデジタル画像データ処理方法であって、複数のデータパケット(PESパケット)に備 えられる基準フレームデータ IDR— AU及び非基準フレームデータ nonlDR— AUを 順次蓄積する蓄積手順 (この例では ESBuffer50で実行する)と、所定の指示信号 に応じ、蓄積手順に蓄積された最新の基準フレームデータ IDR— AUを復号ィ匕起点 に、当該基準フレームデータ IDR— AU及びそれ以降の複数の非基準フレームデー タ nonlDR— AUの復号ィ匕を順次行う復号ィ匕手順 (この例ではステップ S35の手順) と、この復号ィ匕手順 S35により順次復号化された複数の非基準フレームデータ nonl DR—AUにそれぞれ備えられる再生時刻情報 PTSから作成した再生時刻と現在時 刻との前後関係に応じて、復号化手順 S35で復号化されたフレームデータ(この例で は IDR— AU及び nonlDR— AU)に基づく表示手段の表示動作の制御を行う制御 手順 (この例ではステップ S45及びステップ S50の手順)とを有することを特徴とする
[0047] 簡易動画サービス等、伝送容量に制限のある伝送方式の場合、時間軸に沿!、復 号ィ匕を行う際の復号ィ匕起点となりうる基準フレームデータ IDR—AUは、所定の時間 間隔をもって送信される場合がある。本実施形態においてはこれに対応し、蓄積手 順で基準フレームデータ IDR— AU及び非基準フレームデータ nonlDR— AUを順 次蓄積しておき、所定の指示信号が入力されると、その蓄積された基準フレームデ ータ IDR— AUのうち最新のものを起点として、復号ィ匕手順 S35でその基準フレーム データ IDR— AU及びそれ以降の非基準フレームデータ nonlDR— AUの復号化を 順次開始する。これにより、復号化開始のために入力される上記指示信号が先の基 準フレームデータ IDR—AUと次の基準フレームデータ IDR—AUとの間に入力され たとしても、蓄積手順で蓄積された先の基準フレームデータ IDR—AU力も復号ィ匕を 行うことができる。
[0048] このとき、制御手順 S45, S50で、その順次復号ィ匕された各非基準フレームデータ nonlDR— AUの再生時刻情報 PTSから作成した再生時刻と現在時刻との前後関 係に応じて、復号ィ匕フレームデータの表示制御を行う。これにより、上記のようにして 先の基準フレームデータ IDR—AU力も順次復号ィ匕を行って 、き、復号化の進展とと もに各フレームデータ AUの再生時刻が過去側力 現在時刻側に徐々に追いつい て現在時刻よりも未来になったときに、表示開始させることが可能となる。
[0049] 以上のような復号ィヒ及び表示制御を行うことにより、所定の時間間隔の基準フレー ムデータ IDR— AUが受信されるのを待って復号化及び表示を行う通常の場合と異 なり、指示信号が先の基準フレームデータ IDR— AUと次の基準フレームデータ IDR —AUとの間に入力されたとしても操作者を長く待たせることなぐ速やかに復号ィ匕し た画像を表示することができる。またこのとき、各フレーム AUの再生時刻情報と当該 フレーム AUが実際に表示される時刻との間にずれが生じることもなぐ正しい時刻に 各フレーム AUを表示させることができる。
[0050] 上記実施形態におけるデジタル画像データ処理装置 1にお!/、ては、制御手段 110 は、複数の非基準フレームデータ nonIDR—AUにそれぞれ備えられる再生時刻情 報 PTSから作成した再生時刻と現在時刻を比較する比較手段 (この例では PTS判 定器 110で実行される S45の手順)と、この比較手段 S45の比較結果で、再生時刻 情報 PTSから作成した再生時刻が現在時刻より未来になった場合に、表示手段の 表示動作を開始させるための開始手段 (この例では PTS判定器 110で実行される S 50の手順)とを備えることを特徴とする。
[0051] これにより、上記のようにして先の基準フレームデータ IDR—AU力 順次復号化を 行っていくとき、比較手段 S45で各フレームデータ AUの再生時刻情報 PTS力も作 成した再生時刻と現在時刻との比較を行い、復号ィ匕の進展とともに各フレームデータ AUの再生時刻が過去側から現在時刻側に徐々に追 ヽっ 、て現在時刻よりも未来 になったときに、開始手段 S50で表示手段の表示を開始させることができる。
[0052] 上記実施形態におけるデジタル画像データ処理方法にお!、ては、制御手順 S45, S50は、複数の非基準フレームデータ nonlDR— AUにそれぞれ備えられる再生時 刻情報 PTSから作成した再生時刻と現在時刻を比較する比較し、その比較結果で、 再生時刻情報 PTSから作成した再生時刻が現在時刻より未来になった場合に、表 示動作を開始させることを特徴とする。
[0053] これにより、上記のようにして先の基準フレームデータ IDR—AU力 順次復号化を 行って ヽくとき、各フレームデータ AUの再生時刻情報 PTSと現在時刻との比較を行 い、復号ィ匕の進展とともに各フレームデータ AUの再生時刻が過去側力 現在時刻 側に徐々に追いついて現在時刻よりも未来になったときに、表示手段の表示を開始 させることがでさる。
[0054] 上記実施形態におけるデジタル画像データ処理装置 1にお!/ヽては、復号化手段 6 0は、所定の指示信号としての、 HDTVサービスカゝら簡易動画サービスへの移行切 替指示信号が入力されたとき、基準フレームデータ IDR AU及び複数の非基準フ レームデータ nonlDR— AUの復号ィ匕を順次行うことを特徴とする。
[0055] これにより、操作者が HDTVの視聴から簡易動画の視聴への切替を意図して対応 する操作をしたとき、その操作に基づく指示信号が先の基準フレームデータ IDR— A Uと次の基準フレームデータ IDR— AUとの間に入力されたとしても、操作者を長く待 たせることなく、復号ィ匕した簡易動画の画像を速やかに表示することができる。
[0056] 上記実施形態におけるデジタル画像データ処理方法にお!ヽては、復号ィ匕手順 S3 5は、所定の指示信号としての、 HDTVサービスカゝら簡易動画サービスへの移行切 替指示信号が入力されたとき、基準フレームデータ IDR AU及び複数の非基準フ レームデータ nonlDR— AUの復号ィ匕を順次行うことを特徴とする。
[0057] これにより、操作者が HDTVの視聴から簡易動画の視聴への切替を意図して対応 する操作をしたとき、その操作に基づく指示信号が先の基準フレームデータ IDR— A Uと次の基準フレームデータ IDR— AUとの間に入力されたとしても、操作者を長く待 たせることなく、復号ィ匕した簡易動画の画像を速やかに表示することができる。
[0058] 上記実施形態におけるデジタル画像データ処理装置 1においては、蓄積手段 50 に順次蓄積される最新の基準フレームデータ IDR— AUの再生時刻情報 PTSを保 持する保持手段 (この例では PTS保持器 100)を有し、復号化手段 60は、保持手段 100で保持された最新の基準フレームデータ IDR—AUの再生時刻情報 PTSから 作成した再生時刻に基づき、所定の指示信号に応じ最新の基準フレームデータ IDR AU及びそれ以降の複数の非基準フレームデータ nonlDR AUの復号化を順次 行うことを特徴とする。
[0059] 蓄積手段 50が基準フレームデータ IDR—AU及び非基準フレームデータ nonlDR —AUを順次蓄積するとき、保持手段 S100が最新の基準フレーム IDR— AUの再生 時刻情報 PTSを保持しておき、復号ィ匕手段 60がその保持された再生時刻情報 PTS 力も作成した再生時刻を用いて当該最新の基準フレームデータ IDR—AUより復号 化を開始し、さらにそれ以降の非基準フレームデータ nonlDR—AUの復号ィ匕を順 次行う。このようにして、復号ィ匕開始のために入力される指示信号が先の基準フレー ムデータ IDR—AUと次の基準フレームデータ IDR—AUとの間に入力されたとして も、蓄積手段 50に蓄積された先の基準フレームデータ IDR—AU力も復号ィ匕を行う ことができる。
[0060] 上記実施形態におけるデジタル画像データ処理方法においては、順次蓄積される 最新の基準フレームデータ IDR—AUの再生時刻情報 PTSを保持する保持手順 (こ の例ではステップ S30の手順)を有し、復号ィ匕手順 S35は、保持手順 S30で保持さ れた最新の基準フレームデータ IDR—AUの再生時刻情報 PTSから作成した再生 時刻に基づき、所定の指示信号に応じ最新の基準フレームデータ IDR AU及びそ れ以降の複数の非基準フレームデータ nonlDR AUの復号ィ匕を順次行うことを特 徴とする。
[0061] 蓄積手順で基準フレームデータ IDR AU及び非基準フレームデータ nonlDR— AUを順次蓄積するとき、保持手順 S30で最新の基準フレーム IDR— AUの再生時 刻情報 PTSを保持しておき、復号ィ匕手順 S35でその保持された再生時刻情報 PTS 力も作成した再生時刻を用いて当該最新の基準フレームデータ IDR—AUより復号 化を開始し、さらにそれ以降の非基準フレームデータ nonlDR—AUの復号ィ匕を順 次行う。このようにして、復号ィ匕開始のために入力される指示信号が先の基準フレー ムデータ IDR—AUと次の基準フレームデータ IDR—AUとの間に入力されたとして も、蓄積された先の基準フレームデータ IDR—AU力も復号ィ匕を行うことができる。
[0062] 上記実施形態におけるデジタル画像データ処理装置 1にお!/、ては、データパケット は、再生時刻情報としての PTSを備えた PESヘッダを有する PESパケットであること を特徴とする。
[0063] これにより、 PTSを備えた PESヘッダをそれぞれ有する複数の PESパケットストリー ムのデジタル処理を行う際、復号ィ匕のための指示信号が先の基準フレームデータ ID R AUと次の基準フレームデータ IDR AUとの間に入力されたとしても、操作者を 長く待たせることなぐ速やかに復号ィ匕した画像を表示することができる。
[0064] 上記実施形態におけるデジタル画像データ処理方法にお!、ては、データパケットと して、再生時刻情報としての PTSを備えた PESヘッダを有する PESパケットを用いる ことを特徴とする。
[0065] これにより、 PTSを備えた PESヘッダをそれぞれ有する複数の PESパケットストリー ムのデジタル処理を行う際、復号ィ匕のための指示信号が先の基準フレームデータ ID R AUと次の基準フレームデータ IDR AUとの間に入力されたとしても、操作者を 長く待たせることなぐ速やかに復号ィ匕した画像を表示することができる。
[0066] なお、本実施形態は、上記に限られず、種々の変形が可能である。図 4は、そのよう な変形例の 1つにおける動作手順を表す制御フローである。この変形例は、デコード に必要な所要時間が 0ではなくある程度の時間を要することを考慮し、その間に次の 新しい IDR—AUが蓄積された場合に対応したものである。この図 4は前述の図 2に 対応する図であり、図 2と同等の手順には同一の符号を付し、説明を簡略化又は省 略する。
[0067] 図 4において、まず新たに設けたステップ S 105で、復号ィ匕中にさらに新たに次の I DR—AUを含む PESが蓄積されたことを表す PES取得フラグを 0に初期化する。
[0068] その後、ステップ S5〜図 50は、図 2のステップ S5〜ステップ S50とほぼ同様である 。但し本変形例では、上記 PES取得フラグ = 1となった後に取得した (言い換えれば 復号化中にさらに新たに取得した)次の IDR— AUの PTSを PTSaとし、 PES取得フ ラグ =0の状態において取得した IDR— AUの PTSを PTSbnとして区別している。す なわち、ステップ S5において切替指示信号の入力を判定し、判定が満たされない場 合はステップ S10において ESBuffer50に新しい PESデータが格納されたか判定し (ステップ S 10の判定が満たされない場合はステップ S 105に戻る)、新しい PESがあ つた場合にはステップ S 15において新しい PESデータの解析を行い、ステップ S20 において IDR— AUが存在するかどうかを判定し、 IDR— AUが存在した場合はステ ップ S25にお 、て最新ポインタデータの上書き更新を行う。そしてステップ S30に相 当するステップ S30Aにおいて、 PTS保持器 100で、対応する IDR— AUの PTS (P TSbn)を取得し、ステップ S 10に戻る。
[0069] 一方、前述のステップ S5で判定が満たされた場合、前述と同様のステップ S35に 移り、 IDRポインタ保持器 90でポインタデータを保持して!/ヽた IDR— AUから順次 A Uを ESBuffer50より取得し、各 AUのデコード処理を開始する(復号化手順)。
[0070] その後、前述のステップ S40に対応するステップ S40Aにお!/、て、 PTS判定器 110 で、上記ステップ S35で順次デコードしていく AU (言い換えれば、上記 IDRポインタ 保持器 90がポインタデータを保持して!/、た IDR— AU及びそれ以降の AU)の PTS ( PTSbn)を PTS保持器 100又は H. 264デコーダ 60より取得する。
[0071] そして、前述のステップ S45に対応するステップ S45Aにおいて、 PTS判定器 110 で、順次デコードした各 AUの PTSbnと現在時刻とを比較し、 AUの PTSbnが現在 時刻より先 (未来)の時刻であるかどうかを判定する(比較手順)。 PTSbnが過去の時 刻であった場合、判定が満たされず、後述のステップ S55に移る。
[0072] PTSbnが未来の時刻(言 、換えればこれから画像送出可能な時刻)であれば、前 述と同様のステップ S50に移り、 PTS判定器 110でビデオ送出器 70に対して映像出 力予約を行う(開始手順)。以降は、通常と同様のデコードシーケンスへ遷移する。
[0073] ステップ S45Aにおいて PTSbnが過去の時刻であって判定が満たされなかった場 合、ステップ S55において、 IDR検出器 80で、前述の PES取得フラグが 0であるかど うかを判定する。前述のステップ S35における復号ィ匕開始の後、復号化中に新たに 次の IDR—AUが蓄積されていない場合はこのフラグは初期値の 0のままであるため (後述のステップ S75も参照)判定が満たされ、ステップ S60に移る。
[0074] ステップ S60では、前述のステップ S10と同様、 IDR検出器 80で、 ESBuffer50に さらに新しい PESデータが格納されたかどうかを判定する。 TSDemux40で抽出さ れ ESBuffer50に格納された新し!/、PESがあった場合には判定が満たされ、ステツ プ S65に移る。新しい PESがな力つた場合には判定が満たされず、前述のステップ S 35に戻り同様の手順を繰り返す。
[0075] ステップ S65では、 IDR検出器 80で、 ESBuffer50に蓄積された新し!/、PESデー タの解析を行い、続くステップ S 70において IDR— AUが存在するかどうかを判定す る。 IDR— AUが存在しない場合 (nonlDR— AUであった場合)は判定が満たされ ず、ステップ S55に戻って同様の手順を繰り返す。 IDR— AUが存在した場合は、判 定が満たされ、ステップ S 75に移る。
[0076] ステップ S75では、 PTS保持器 100で、対応する IDR— AUの PTS (PTSa)を取 得するともに、前述のフラグを 1とし、ステップ S80に移る。ステップ S80では、 PTS判 定器 110で、上記デコードした新たな IDR—AUの PTSaと現在時刻とを比較し、 PT Saと現在時刻との差が所定のしき 、値以下であるか (言 、換えれば PTSaが現在時 刻に十分近いかどうか)を判定する。 PTSaが現在時刻にはまだ遠く上記の差が所定 しきい値より大き力つた場合、判定が満たされず、前述のステップ S55に戻って同様 の手順を繰り返す。
[0077] PTSaが現在時刻に十分近く上記の差が所定しきい値以下であった場合、判定が 満たされ、ステップ S85に移って、 H. 264デコーダ 60で当該 PTSaに対応する IDR AUの復号化を行う。その後、前述のステップ S50と同様のステップ S90に移り、 P TS判定器 110でビデオ送出器 70に対して映像出力予約を行う。以降は、通常と同 様のデコードシーケンスへ遷移する。
[0078] 一方、前述のステップ S55において、前述のステップ S35における復号ィ匕開始の後 、復号ィ匕中に新たに次の IDR—AUが蓄積されていた場合はステップ S75において フラグが 1となっているため判定が満たされず、ステップ S95に移る。
[0079] ステップ S95では、前述のステップ S35においてすでに始めていた、 H. 264デコ ーダ 60による最新 IDR—AUからのデコード処理をそのまま続行する(復号化手順)
[0080] その後、ステップ S100において、上記ステップ S40Aと同様、 PTS判定器 110で、 上記ステップ S95で順次デコードして!/、く AUの PTSbnを PTS保持器 100又は H. 2 64デコーダ 60より取得する。
[0081] そして、ステップ S 105において、 PTS判定器 110で、順次デコードした各 AUの P TSbnと現在時刻とを比較し、 AUの PTSbnが現在時刻より先 (未来)の時刻である 力どうかを判定する (比較手順)。 PTSが過去の時刻であった場合、判定が満たされ ず、上記ステップ S80に戻り、同様の手順を繰り返す。
[0082] PTSbnが未来の時刻(言 、換えればこれから画像送出可能な時刻)であれば、上 記ステップ S50と同様のステップ S110に移り、 PTS判定器 110でビデオ送出器 70 に対して映像出力予約を行う(開始手順)。これ以降は、通常と同様のデコードシー ケンスへ遷移することとなるので、説明を省略する。
[0083] 本変形例のデジタル画像データ処理装置 (この例では受信機) 1で実施されるデジ タル画像データ処理方法は、符号化データを可変長にてパケット化されて形成され、 時間軸に沿い復号ィ匕を行う際の復号ィ匕起点となりうる基準フレームデータ IDR—AU とそれ以外の非基準フレームデータ nonlDR AUとを含む複数のデータパケット(P ESパケット)のストリーム(TSストリーム)を処理するデジタル画像データ処理方法で あって、複数のデータパケット(PESパケット)に備えられる基準フレームデータ IDR AU及び非基準フレームデータ nonlDR AUを順次蓄積する蓄積手順 (ESBuf fer50で実行する)と、所定の指示信号に応じ、蓄積手順に蓄積された最新の基準フ レームデータ IDR—AUを復号化起点に、当該基準フレームデータ IDR—AU及び それ以降の複数の非基準フレームデータ nonlDR AUの復号ィ匕を順次行う復号ィ匕 手順(この例ではステップ S35及びステップ S95の手順)と、この復号化手順 S35, S 95により順次復号ィ匕された複数の非基準フレームデータ nonIDR—AUにそれぞれ 備えられる再生時刻情報 PTSから作成した再生時刻と現在時刻との前後関係に応 じて、復号ィ匕手順 S35, S95で復号化されたフレームデータ(IDR—AU及び nonID R-AU)に基づく表示手段の表示動作の制御を行う制御手順 (この例ではステップ S45A、ステップ S50、ステップ S 105、ステップ S 110の手順)とを有することを特徴と する。
[0084] 本変形例においては、蓄積手順で基準フレームデータ IDR AU及び非基準フレ ームデータ nonlDR— AUを順次蓄積しておき、所定の指示信号が入力されると、そ の蓄積された基準フレームデータ IDR—AUのうち最新のものを起点として、復号ィ匕 手順 S35, S95でその基準フレームデータ IDR—AU及びそれ以降の非基準フレー ムデータ nonlDR— AUの復号ィ匕を順次開始する。これにより、復号化開始のために 入力される上記指示信号が先の基準フレームデータ IDR AUと次の基準フレーム データ IDR—AUとの間に入力されたとしても、蓄積手順で蓄積された先の基準フレ ームデータ IDR—AU力 復号化を行うことができる。
[0085] このとき、制御手順 S45A, S50, S105, S110で、その順次復号化された各非基 準フレームデータ nonlDR— AUの再生時刻情報 PTSbnから作成した再生時刻と 現在時刻との前後関係に応じて、復号ィ匕フレームデータの表示制御を行う。これによ り、上記のようにして先の基準フレームデータ IDR—AU力 順次復号化を行ってい き、復号ィ匕の進展とともに各フレームデータ AUの再生時刻が過去側力も現在時刻 側に徐々に追いついて現在時刻よりも未来になったときに、表示開始させることが可 能となる。
[0086] 以上のような復号ィヒ及び表示制御を行うことにより、所定の時間間隔の基準フレー ムデータ IDR AUが受信されるのを待って復号化及び表示を行う通常の場合と異 なり、指示信号が先の基準フレームデータ IDR AUと次の基準フレームデータ IDR —AUとの間に入力されたとしても操作者を長く待たせることなぐ速やかに復号ィ匕し た画像を表示することができる。またこのとき、各フレーム AUの再生時刻情報 PTSb nと当該フレーム AUが実際に表示される時刻との間にずれが生じることもなぐ正し V、時刻に各フレーム AUを表示させることができる。
[0087] 上記変形例におけるデジタル画像データ処理方法にお!、ては、制御手順 S45A, S50, S105, S110は、複数の非基準フレームデータ nonlDR— AUにそれぞれ備 えられる再生時刻情報 PTSbnから作成した再生時刻と現在時刻を比較する比較し、 その比較結果で、再生時刻情報 PTSbnから作成した再生時刻が現在時刻より未来 になった場合に、表示動作を開始させることを特徴とする。
[0088] これにより、上記のようにして先の基準フレームデータ IDR—AU力 順次復号化を 行って 、くとき、各フレームデータ AUの再生時刻情報 PTSbnから作成した再生時 刻と現在時刻との比較を行い、復号ィ匕の進展とともに各フレームデータ AUの再生時 刻が過去側力 現在時刻側に徐々に追 、っ 、て現在時刻よりも未来になったときに 、表示手段の表示を開始させることができる。
[0089] 上記実施形態におけるデジタル画像データ処理方法においては、順次蓄積される 最新の基準フレームデータ IDR—AUの再生時刻情報 PTSbnを保持する保持手順 (この例ではステップ S30Aの手順)を有し、復号ィ匕手順 S35, S95は、保持手順 S3 OAで保持された最新の基準フレームデータ IDR—AUの再生時刻情報 PTSbnから 作成した再生時刻に基づき、所定の指示信号に応じ最新の基準フレームデータ IDR AU及びそれ以降の複数の非基準フレームデータ nonlDR— AUの復号化を順次 行うことを特徴とする。
[0090] 蓄積手順で基準フレームデータ IDR— AU及び非基準フレームデータ nonlDR— AUを順次蓄積するとき、保持手順 S30Aで最新の基準フレーム IDR— AUの再生 時刻情報 PTSbnを保持しておき、復号ィ匕手順 S35, S95でその保持された再生時 刻情報 PTSbnから作成した再生時刻を用いて当該最新の基準フレームデータ IDR —AUより復号ィ匕を開始し、さらにそれ以降の非基準フレームデータ nonlDR— AU の復号化を順次行う。このようにして、復号ィ匕開始のために入力される指示信号が先 の基準フレームデータ IDR— AUと次の基準フレームデータ IDR— AUとの間に入力 されたとしても、蓄積された先の基準フレームデータ IDR—AU力も復号ィ匕を行うこと ができる。
[0091] また、上記以外に、本変形例によれば、 、つたんその時点での最新の IDR— AUよ りデコードを開始した後にそのデコード中に次の IDR—AUが蓄積されたとき、そのま ま IDR— AUをデコードし続けるより次の新しい IDR— AUをデコードしたほうが結果 的に早く収束できるような場合には、当該新しい IDR—AUを用いてデコードを行うこ とで、より速やかに復号ィ匕した画像を表示することができる。
[0092] 上記実施形態における受信機 1は、符号ィ匕データを可変長にてパケット化されて形 成され、時間軸に沿い復号ィ匕を行う際の復号ィ匕起点となりうる IDR—AUとそれ以外 の nonIDR—AUとを含む複数の PESパケットの TSストリームを処理する受信機 1で あって、複数の PESパケットに備えられる IDR—AU及び nonIDR—AUを順次蓄積 する ESBuffer50と、所定の指示信号に応じ、 ESBuffer50に蓄積された最新の ID R— AUを復号化起点に、当該 IDR— AU及びそれ以降の複数の nonlDR— AUの 復号化を順次行う H. 264デコーダ 60と、この H. 264デコーダ 60により順次復号化 された複数の nonlDR— AUにそれぞれ備えられる PTSから作成した再生時刻と現 在時刻との前後関係に応じて、 H. 264デコーダ 60で復号ィ匕された IDR—AU及び nonlDR— AUに基づく表示手段の表示動作の制御を行う PTS判定器 110とを有す ることを特徴とする。
[0093] ESBuffer50力 DR—AU及び nonIDR—AUを順次蓄積しておき、所定の指示 信号が入力されると、その蓄積された IDR— AUのうち最新のものを起点として、 H. 264デコーダ 60がその IDR— AU及びそれ以降の nonlDR— AUの復号化を順次 開始する。これにより、復号ィヒ開始のために入力される上記指示信号が先の IDR— AUと次の IDR—AUとの間に入力されたとしても、 ESBuffer50に蓄積された先の I DR— AU力 復号化を行うことができる。 [0094] このとき、 PTS判定器 110は、その順次復号化された各 nonIDR—AUの PTSから 作成した再生時刻と現在時刻との前後関係に応じて、表示手段による表示制御を行 う。これにより、上記のようにして先の IDR—AU力も順次復号ィ匕を行っていき、復号 化の進展とともに各 AUの再生時刻情報が過去側から現在時刻側に徐々に追いつ いて現在時刻よりも未来になったときに、表示開始させることが可能となる。
[0095] 以上のような復号ィ匕及び表示制御を行うことにより、所定の時間間隔の IDR AU が受信されるのを待って復号ィヒ及び表示を行う通常の場合と異なり、指示信号が先 の IDR— AUと次の IDR— AUとの間に入力されたとしても操作者を長く待たせること なぐ速やかに復号ィ匕した画像を表示することができる。またこのとき、各 AUの PTS と当該 AUが実際に表示される時刻との間にずれが生じることもなぐ正しい時刻に 各フレームを表示させることができる。
[0096] 上記実施形態における受信機 1で実行するデジタル画像データ処理方法は、符号 化データを可変長にてパケット化されて形成され、時間軸に沿い復号ィ匕を行う際の 復号化起点となりうる IDR—AUとそれ以外の nonIDR—AUとを含む複数の PESパ ケットの TSストリームを処理するデジタル画像データ処理方法であって、複数の PES パケットに備えられる IDR—AU及び nonIDR—AUを順次蓄積する ESBuffer50の 蓄積手順と、所定の指示信号に応じ、 ESBuffer50に蓄積された最新の IDR— AU を復号化起点に、当該 IDR—AU及びそれ以降の複数の nonlDR— AUの復号ィ匕 を順次行うステップ S35と、このステップ S35により順次復号化された複数の nonlDR AUにそれぞれ備えられる PTSから作成した再生時刻と現在時刻との前後関係に 応じて、ステップ S35で復号化された IDR— AU及び nonlDR— AUに基づく表示手 段の表示動作の制御を行うステップ S45, S50とを有することを特徴とする。
[0097] ESBuffer50力 DR—AU及び nonIDR—AUを順次蓄積しておき、所定の指示 信号が入力されると、その蓄積された IDR AUのうち最新のものを起点として、ステ ップ S35でその IDR— AU及びそれ以降の nonlDR— AUの復号化を順次開始する 。これにより、復号ィヒ開始のために入力される上記指示信号が先の IDR AUと次の IDR—AUとの間に入力されたとしても、ステップ S35で蓄積された先の IDR—AU 力 復号ィ匕を行うことができる。 [0098] このとき、ステップ S45, S50で、その順次復号化された各 nonIDR—AUの PTSか ら作成した再生時刻と現在時刻との前後関係に応じて、表示制御を行う。これにより 、上記のようにして先の IDR—AU力も順次復号ィ匕を行っていき、復号化の進展とと もに各 AUの再生時刻が過去側カゝら現在時刻側に徐々に追いついて現在時刻よりも 未来になったときに、表示開始させることが可能となる。
[0099] 以上のような復号ィ匕及び表示制御を行うことにより、所定の時間間隔の IDR— AU が受信されるのを待って復号ィヒ及び表示を行う通常の場合と異なり、指示信号が先 の IDR— AUと次の IDR— AUとの間に入力されたとしても操作者を長く待たせること なぐ速やかに復号ィ匕した画像を表示することができる。またこのとき、各 AUの PTS と当該 AUが実際に表示される時刻との間にずれが生じることもなぐ正しい時刻に 各フレームを表示させることができる。
図面の簡単な説明
[0100] [図 1]本発明の一実施形態の受信機の全体機能構成を表す機能ブロック図である。
[図 2]図 1に示した受信機により実行される、簡易動画画像への切替直後のデコード 動作の原理を概念的に表す説明図である。
[図 3]図 2に示した挙動を実現するために受信機全体で実行される制御手順を表す フローチャートである。
[図 4]デコード中に次の新し 、IDR— AUが蓄積された場合に対応した変形例の受 信機全体で実行される制御手順を表すフローチャートである。
符号の説明
[0101] 1 受信機 (デジタル画像処理装置)
50 ESBuffer (蓄積手段)
60 H. 264デコーダ (復号化手段)
110 PTS判定器 (制御手段)

Claims

請求の範囲
[1] 符号化データを可変長にてパケット化されて形成され、時間軸に沿い復号ィ匕を行う 際の復号ィ匕起点となりうる基準フレームデータとそれ以外の非基準フレームデータと を含む複数のデータパケットのストリームを処理するデジタル画像データ処理装置で あって、
前記複数のデータパケットに備えられる前記基準フレームデータ及び前記非基準 フレームデータを順次蓄積する蓄積手段と、
所定の指示信号に応じ、前記蓄積手段に蓄積された最新の前記基準フレームデ 一タを復号化起点に、当該基準フレームデータ及びそれ以降の複数の前記非基準 フレームデータの復号ィヒを順次行う復号ィヒ手段と、
この復号ィ匕手段により順次復号化された前記複数の非基準フレームデータにそれ ぞれ備えられる再生時刻情報カゝら作成した再生時刻と現在時刻との前後関係に応じ て、前記復号ィ匕手段で復号化されたフレームデータに基づく表示手段の表示動作 の制御を行う制御手段と
を有することを特徴とするデジタル画像データ処理装置。
[2] 請求項 1記載のデジタル画像データ処理装置にお!、て、
前記制御手段は、前記複数の非基準フレームデータにそれぞれ備えられる再生時 刻情報から作成した再生時刻と前記現在時刻を比較する比較手段と、
この比較手段の比較結果で、前記再生時刻情報力 作成した再生時刻が前記現 在時刻より未来になった場合に、前記表示手段の表示動作を開始させるための開始 手段
とを備えることを特徴とするデジタル画像データ処理装置。
[3] 請求項 2記載のデジタル画像データ処理装置にお 、て、
前記復号化手段は、前記所定の指示信号としての、 HDTVサービスから簡易動画 サービスへの移行切替指示信号が入力されたとき、前記基準フレームデータ及び前 記複数の非基準フレームデータの復号ィ匕を順次行うことを特徴とするデジタル画像 データ処理装置。
[4] 請求項 1記載のデジタル画像データ処理装置にお!ヽて、 前記蓄積手段に順次蓄積される最新の前記基準フレームデータの再生時刻情報 を保持する保持手段を有し、
前記復号化手段は、前記保持手段で保持された前記最新の基準フレームデータ の再生時刻情報力 作成した再生時刻に基づき、前記所定の指示信号に応じ当該 最新の基準フレームデータ及びそれ以降の前記複数の非基準フレームデータの復 号化を順次行う
ことを特徴とするデジタル画像データ処理装置。
[5] 請求項 1記載のデジタル画像データ処理装置にお!、て、
前記データパケットは、
前記再生時刻情報としての PTSを備えた PESヘッダを有する PESパケットであるこ とを特徴とするデジタル画像データ処理装置。
[6] 符号化データを可変長にてパケット化されて形成され、時間軸に沿い復号ィ匕を行う 際の復号ィ匕起点となりうる基準フレームデータとそれ以外の非基準フレームデータと を含む複数のデータパケットのストリームを処理するデジタル画像データ処理方法で あって、
前記複数のデータパケットに備えられる前記基準フレームデータ及び前記非基準 フレームデータを順次蓄積する蓄積手順と、
所定の指示信号に応じ、前記蓄積された最新の前記基準フレームデータを復号化 起点に、当該基準フレームデータ及びそれ以降の複数の前記非基準フレームデー タの復号化を順次行う復号化手順と、
この復号ィ匕手段により順次復号化された前記複数の非基準フレームデータにそれ ぞれ備えられる再生時刻情報カゝら作成した再生時刻と現在時刻との前後関係に応じ て、前記復号ィ匕手段で復号ィ匕されたフレームデータに基づく表示動作の制御を行う 制御手順と
を有することを特徴とするデジタル画像データ処理方法。
[7] 請求項 6記載のデジタル画像データ処理方法にお 、て、
前記制御手順は、
前記複数の非基準フレームデータにそれぞれ備えられる再生時刻情報力 作成し た再生時刻と前記現在時刻を比較し、
その比較結果で、前記再生時刻情報力 作成した再生時刻が前記現在時刻より未 来になった場合に、前記表示動作を開始させることを備えることを特徴とするデジタ ル画像データ処理方法。
[8] 請求項 7記載のデジタル画像データ処理方法にお 、て、
前記復号化手順は、前記所定の指示信号としての、 HDTVサービスから簡易動画 サービスへの移行切替指示信号が入力されたとき、前記基準フレームデータ及び前 記複数の非基準フレームデータの復号ィ匕を順次行うことを特徴とするデジタル画像 データ処理方法。
[9] 請求項 6記載のデジタル画像データ処理方法にお 、て、
前記順次蓄積される最新の前記基準フレームデータの再生時刻情報を保持する 保持手順を有し、
前記復号化手順は、前記保持手順で保持された前記最新の基準フレームデータ の再生時刻情報から作成された再生時刻に基づき、前記所定の指示信号に応じ当 該最新の基準フレームデータ及びそれ以降の前記複数の非基準フレームデータの 復号化を順次行う
ことを特徴とするデジタル画像データ処理方法。
[10] 請求項 6記載のデジタル画像データ処理方法にお 、て、
前記データパケットとして、
前記再生時刻情報としての PTSを備えた PESヘッダを有する PESパケットを用い ることを特徴とするデジタル画像データ処理方法。
PCT/JP2007/054861 2006-03-15 2007-03-12 デジタル画像データ処理装置及び処理方法 WO2007105697A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008505143A JP4869330B2 (ja) 2006-03-15 2007-03-12 デジタル画像データ処理装置及び処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006-070528 2006-03-15
JP2006070528 2006-03-15

Publications (1)

Publication Number Publication Date
WO2007105697A1 true WO2007105697A1 (ja) 2007-09-20

Family

ID=38509517

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/054861 WO2007105697A1 (ja) 2006-03-15 2007-03-12 デジタル画像データ処理装置及び処理方法

Country Status (2)

Country Link
JP (1) JP4869330B2 (ja)
WO (1) WO2007105697A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007288683A (ja) * 2006-04-19 2007-11-01 Pioneer Electronic Corp 画像処理装置及び画像処理方法
JP2008067364A (ja) * 2006-08-10 2008-03-21 Canon Inc 画像復号化装置及びその制御方法
CN104185031A (zh) * 2014-02-26 2014-12-03 无锡天脉聚源传媒科技有限公司 一种视频绝对时间点的确定方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004357205A (ja) * 2002-06-04 2004-12-16 Matsushita Electric Ind Co Ltd 画像データ伝送装置及び方法、画像データ再生装置及び方法
JP2004364095A (ja) * 2003-06-06 2004-12-24 Casio Comput Co Ltd 受信機、及び、受信制御方法
JP2005184219A (ja) * 2003-12-17 2005-07-07 Toyota Motor Corp ディジタル・テレビ放送受信装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006345169A (ja) * 2005-06-08 2006-12-21 Matsushita Electric Ind Co Ltd デジタルテレビ受信端末装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004357205A (ja) * 2002-06-04 2004-12-16 Matsushita Electric Ind Co Ltd 画像データ伝送装置及び方法、画像データ再生装置及び方法
JP2004364095A (ja) * 2003-06-06 2004-12-24 Casio Comput Co Ltd 受信機、及び、受信制御方法
JP2005184219A (ja) * 2003-12-17 2005-07-07 Toyota Motor Corp ディジタル・テレビ放送受信装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007288683A (ja) * 2006-04-19 2007-11-01 Pioneer Electronic Corp 画像処理装置及び画像処理方法
JP2008067364A (ja) * 2006-08-10 2008-03-21 Canon Inc 画像復号化装置及びその制御方法
CN104185031A (zh) * 2014-02-26 2014-12-03 无锡天脉聚源传媒科技有限公司 一种视频绝对时间点的确定方法及装置

Also Published As

Publication number Publication date
JPWO2007105697A1 (ja) 2009-07-30
JP4869330B2 (ja) 2012-02-08

Similar Documents

Publication Publication Date Title
KR101885390B1 (ko) 수신 장치, 수신 방법, 송신 장치, 송신 방법, 프로그램 및 방송 시스템
CA2400112A1 (en) Receiving terminal device and control method of receiving terminal devices
US7436459B2 (en) Digital broadcast receiving apparatus and method for receiving digital broadcast
US8804051B2 (en) Digital broadcast receiving apparatus and channel switching method
JP2007006405A (ja) ディジタル放送受信機
JP4357449B2 (ja) 録画再生装置の制御方法
US20090019513A1 (en) Method and apparatus for changing channel in digital broadcasting receiver
KR101008615B1 (ko) 채널전환방법 및 장치를 포함하는 방송신호 수신방법 및장치
US7478415B1 (en) Digital broadcast receiving system
WO2007105697A1 (ja) デジタル画像データ処理装置及び処理方法
JP4866135B2 (ja) 画像処理装置及び画像処理方法
US8254764B2 (en) Recording apparatus, image reproducing apparatus, and special reproduction method therefor
US8131127B2 (en) Broadcast receiving apparatus and broadcast receiving method
JP2000278665A (ja) 受信装置および方法、並びに提供媒体
JPH10190617A (ja) 映像信号復号化装置
JP5244764B2 (ja) デジタル放送受信装置及びプログラム
JP2001309255A (ja) デジタルテレビ放送受信機
EP1542232A1 (en) Information recording and reproducing apparatus and information recording method
JP4552200B2 (ja) デジタル放送受信装置
JP4263510B2 (ja) デジタル放送受信装置
JP2012070344A (ja) デジタル放送受信装置及びデジタル放送受信方法
JP4893205B2 (ja) デジタル放送受信装置
KR100812914B1 (ko) 디지털 방송 수신기의 녹화 제어 방법
JP5571220B2 (ja) デジタル放送受信装置、デジタル放送受信装置における出力方法及びプログラム
KR100871239B1 (ko) 디지털 멀티미디어 방송의 영상 재생 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2008505143

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 07738333

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)