CN1848941A - 图像再现、处理装置和方法以及具有该装置的电视接收机 - Google Patents

图像再现、处理装置和方法以及具有该装置的电视接收机 Download PDF

Info

Publication number
CN1848941A
CN1848941A CNA2005100790330A CN200510079033A CN1848941A CN 1848941 A CN1848941 A CN 1848941A CN A2005100790330 A CNA2005100790330 A CN A2005100790330A CN 200510079033 A CN200510079033 A CN 200510079033A CN 1848941 A CN1848941 A CN 1848941A
Authority
CN
China
Prior art keywords
image
data
decoder
encoder
view data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2005100790330A
Other languages
English (en)
Inventor
冈田茂之
山内英树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Publication of CN1848941A publication Critical patent/CN1848941A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/114Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在要求图像再现装置(1)进行反向再现时,由MPEG解码器(5)以时序方式能产生的每一幅图像的再现图像数据输入到MPEG视频编码器(6),以便于单独记录I图像或记录B图像与I图像的组合。MPEG视频解码器(7)以反时序的方式读出所记录数据序列,相继对其进行解码,以显示流畅的反向再现图像。在这种情况下,可***减少分辨率的数据量减少电路和恢复分辨率的数据量恢复电路。实现了在操作方便性、成本指标、制作面积等方面都十分优越的反向再现。

Description

图像再现、处理装置和方法以及具有该装置的电视接收机
本申请是申请日为2000年12月13日,申请号为00818936.6(国际申请号为PCT/JP 00/08831),名为“图像再现方法、图像处理方法和采用这些方法的图像再现装置、图像处理装置以及电视接收机”申请的分案申请。
技术领域
本发明涉及图像再现方法、图像处理方法和图像再现装置、图像处理装置以及采用这些方法的电视接收机。本发明涉及根据例如MPEG(运动图像专家组)标准再现或处理编码数据的技术。
背景技术
多媒体中处理的信息量非常之大且种类很多,因此计划多媒体付诸实用的过程中需要快速处理这些数据。为了高速处理信息,数据的压缩和扩展就变得不可缺少的。“MPEG”方法是一种数据压缩和扩展的方法。利用MPEG方法的图像处理装置已经嵌入各种涉及图像的装置中,诸如电影摄像机、静物摄影机、电视机、视频CD重放设备、DVD重放设备等。
MPEG方法处理的视频数据涉及到运动图像,且运动图像可由每秒多个(例如30个)静止图像或帧构成。如图1所示,视频数据由6层组成,依次为序列层、GOP(图像组)层、图像层、片层、宏块层和子块层。构成一幅图像的分层数不固定,构成一个分片的宏块数也不固定。图1中省略宏块层和块层。
MPEG中,帧通常相当于图像,但帧或场可与图像关联。两个场构成一个帧。帧与图像关联的结构称为帧结构,而场与图像关联的结构称为场结构。
MPEG中,利用称为帧间预测的压缩技术。该帧间预测根据帧间时间相关压缩帧间数据。帧间预测中进行双向预测,双向预测采用从过去再现的图像预测当前再现图像的前向预测和从未来再现图像预测当前再现图像的后向预测。
这种双向预测采用三种图像类型、I图像(帧内图像)、P图像(预测图像)和B图像(双向预测图像)。I图像是内部帧编码处理独立产生的图像,与过去再现和将来再现的图像无关。为了能进行随机存取,GOP内至少需要有一个I图像。I图像内的全部宏块类型都是帧内预测图像。采用从过去的I或P图像进行预测的前向预测,通过帧内编码处理可以产生P图像。P图像中的宏块类型包括帧内预测图像和前向预测图像(前向中间帧)。
采用双向预测,通过帧间编码处理产生B图像。双向预测中,可采用以下三种预测方法中的一种来产生B图像。
(1)前向预测;从过去的I图像或P图像进行预测。
(2)后向预测;从将来的I图像或P图像进行预测。
(3)双向预测;从过去和将来的I图像或P图像进行预测。
在B图像中的宏块类型有四种图像类型,即帧内预测图像、前向预测图像、后向预测图像(后向中间帧)和内插预测图像(内插中间帧)。
这些I、P和B图像分别进行编码。一般来说,即使没有有效的过去或将来图像时,也能产生I图像。反之,没有过去图像就不能产生P图像,没有过去或将来图像也不能产生B图像。然而,在宏块类型是P图像和B图像的内插预测图像时,即使没有过去和将来图像也产生宏块。
在帧间预测中,首先定期产生I图像。然后,产生该I图像若干帧前的帧,作为P图像通过在从过去到现在的一个方向(即前向)进行预测,产生该P图像。接着,产生位于I图像前及P图像后的帧,作为B图像。产生该B图像时,从前向预测、后向预测和双向预测三种预测方法中选择最佳预测方法。一般来说,连续运动图像中的当前图像和其前和后图像是相互相似或仅有部分不同。因此,可以认为前帧和后帧大致相同。如果在该两帧间存在差别,仅提取该差别进行压缩。例如,如果前帧是I图像,后帧是P图像,则将该差别作为B图像数据提取。由此,可根据帧间时间相关压缩中间帧数据。以上述方式根据MPEG的视频部分编码的图像数据的数据序列或位流称为MPEG视频位流。
MPEG运动图像压缩的核心在于活动补偿预测(MC)和离散余弦变换(DCT)。组合MC和DCT的编码法称为混合编码法。MPEG中进行编码时利用DCT(也称为前向DCT),从而将图像的视频信号分解成频率分量,以便进行处理。此后,在解码级通过采用逆离散余弦变换(逆DCT),将频率分量恢复成视频信号。
MPEG能高速处理大量信息,并且MPEG采用上述称为帧间预测的压缩方法。因此,就很难对以按照MPEG的时间系列方式进行编码和记录的数据序列进行反向再现,以达到搜索图像的目的。也即,很难像常规磁带录像机那样,在反向再现时仅通过沿时间轴简单地返回来再现的记录的数据序列的再现。因此,通常进行的方法是:沿时间轴返回仅再现分配在每一GOP中的I图像。由于I图像是可以通过上述讨论的帧内编码处理而产生的图像,因此它能独立显示而不需要参照其前后图像。
通常的例子中,分配给每一GOP的I图像数很少。例如,分配给每一GOP的I图像数在构成GOP的图像中最多为一个,因而反向再现每15至30帧的图像时,还不能获得常规磁带录像机中那样的流畅的反向再现图像,造成很难在适当时间停在所希望的场面。本发明是鉴于上述各点而产生的,其一个目的就是能获得流畅的反向再现图像的图像再现或图像处理方法。
为了达到该目的和以及使本专利说明中会明白的目的,本发明旨在解决主要涉及图像编码和解码处理的方法中存在的问题。
发明内容
本发明的一种模式涉及图像再现装置。此装置包括将图像数据作为帧内编码图像编码的编码器;以逆时序方式将编码器产生的编码数据解码的解码器。这里,“以逆时序方式”意为与通常再现的某瞬间相比,最终图像显示的顺序相反的状态,或者产生与此大致等效作用的状态。
本发明的另一模式涉及图像再现装置。此装置包括:以时序方式将输入的第1编码数据解码的第1解码器;将第1解码器产生的图像数据作为帧内编码图像而编码的编码器;以反时序方式将编码器产生的第2编码数据解码的第2解码器。此装置还包括存储器单元,它用于暂时存储第2编码数据,并且以反时序方式对第2解码器输出所存储的第2编码数据。该存储器单元可以存储第二编码的数据并且可以时序的方式向第1解码器输出的存储的第2编码的数据。
第1编码数据序列可以是通过在预定单元组内的图像信号上进行帧内编码处理和帧间编码处理中的至少一种处理加以编码的数据序列,这时,在预定单元组内进行解码器、编码器、存储器单元和第2解码器的各种处理。
第1解码器可包括以图像单元抽稀输入的第1编码数据的跳跃处理单元。这时,可将抽稀的数据进行解码,从而产生连续时序图像数据。
第1解码器可包括判定所输入第1编码数据的图像类型的鉴别单元。这时,跳跃处理单元可用对解码其他图像时不受参照的这类图像(例如MPEG的B图像)赋予优先权的方式进行抽稀。
本发明的又一模式涉及图像再现方法。此方法包含:以时序方式由帧内编码处理将输入图像数据变换成暂时编码数据的处理;按照逆时间轴对暂时编码数据进行解码的处理;其中,直接针对解码处理进行变换处理。“暂时”意为初始阶段的数据格式,不是最后输出形式。“直接针对进行”意为综合或连续进行两种处理。
本发明的又一模式也涉及图像再现方法。此方法包括:以时序方式对输入的第1编码数据进行解码;由帧内编码处理将解码数据变换成暂时编码数据;按照逆时间轴将暂时编码数据解码。可根据预先按图像单元抽稀的数据产生暂时编码数据。可由包含帧间编码处理的处理产生第1编码数据。
本发明的又一模式涉及一种图像再现装置。此装置包括:编码器,它将图像数据编码成为每一预测方法参照最多一个其他图像的图像序列的类型;和解码器,它以反时序方式将编码器产生的编码数据进行解码。
“预测方向”中,存在分别与从过去预测和从将来预测对应的正向和反向。“每一预测方向参照最多一个其他图像”意为对前向和后向而言,都仅参照0或1的图像。
把包含多幅图像的一个组当作一个处理单元,第1解码器可按逆时间轴以反时序方式进行组间的处理,同时第1解码器在该组内进行时序处理。此外,第1解码器在组内进行处理时,存储证实下一组要处理的重用型图像的解码数据。该解码数据可存入作为快速缓存器进行工作的存储单元或类似装置中。这时,可能达到高速处理。
第1解码器遵照MPEG或JPEG进行解码,该组是GOP,并且存储器单元存储最多大约为2个GOP的第2编码数据。从而,正向再现与反向再现之间的切换变得流畅,切换带来的时滞可便于消除。
此外,可提供一种配备上述任一种图像再现装置的电视接收机,并且该接收机包含图像的反时序再现作为其操作规范的一部分。
本发明的一种模式涉及一种图像处理装置。该装置包括:将包含遵照MPEG编码的I图像、P图像和B图像的第1编码数据序列变换成由I图像和B图像构成的第2编码数据序列的变换器;以反时序方式对变换器产生的第2编码数据序列进行解码的后端解码器;控制变换器和后端解码器的工作的控制单元。后端解码器相当于上述讨论的第2解码器。
变换器可包含:对第1编码数据序列中至少P图像数据进行解码的前端解码器;将前端解码器解码的数据作为I图像遵照MPEG加以编码的编码器;存储第2编码数据序列的存储器单元。前端解码器相当于上述讨论的第1解码器。
该装置还可包括分配控制单元,该单元按照控制单元的控制,原样分配第1编码数据序列中包含的B图像,作为第2编码序列数据中包含的B图像,前端解码器和编码器不对其进行处理。除B图像外,I图像也可进行这样的处理。
第1编码数据序列可以是第1编码数据序列是预定单元组中以预定顺序分配图像的方式编码的数据,并且在预定单元组中进行变换器和后端解码器的各种处理。
本发明的另一模式涉及一种图像处理方法。该方法包含:将包含遵照MPEG编码的I图像、P图像和B图像的第1编码数据序列变换成包含I图像和B图像的第2编码数据序列的处理;以反时序方式解码编码数据序列的处理。
此方法中,可将第1编码序列中至少一个不包含B图像的数据作为I图像遵照MPEG加以编码,其他数据可原样分配到第2编码数据序列。
第1编码数据序列可以是第1编码数据序列是以按预定单元组中预定顺序分配图像的方式编码的数据,并且在预定单元组中进行变换处理和解码处理。在进行解码处理期间,可根据下一组的编码数据进行变换处理。
此外,可提供一种配备任一种上述图像再现装置的电视接收机,并且该接收机包含图像的反时序再现作为其操作规范的一部分。
本发明的一种模式涉及一种图像处理装置。该装置包含:将输入的第1编码数据序列进行解码的第1解码器;根据第1解码器产生的图像数据来产生视频信号的显示控制单元;将第1解码器产生的图像数据作为帧内编码图像编码的编码器;存储编码器产生的第2编码数据序列的存储器单元。“显示控制单元”有时称之为显示电路等。
第1编码数据序列可为通过在预定单元组中一图像信号上进行帧内编码处理或帧间编码处理的至少一种处理来编码的数据序列,这时在预定单元组内进行第1解码器、编码器和存储单元的各种处理。
此装置还可包含以反时序方式将存储器单元中存储的第2编码数据序列进行解码的第2解码器。此外,可提供开关单元,该单元将第1解码器产生的图像数据在前向再现时输入到显示控制单元,并且在反向再现时将第2解码器产生的图像数据输入到显示控制单元。
本发明的另一模式涉及一种图像处理方法。该方法包含:以时序方式对输入的第1编码数据序列进行解码;将解码的数据作为帧内编码图像进行编码,以便加以存储,同时根据解码数据并行产生视频信号。其中,编码的解码数据存放到例如存储器中。存储的编码数据序列可按逆时间轴解码,并且可根据该解码数据产生视频信号。从而,获得反向再现图像。
本发明的又一模式涉及一种图像处理装置。该装置包括:将输入的第1编码数据序列进行解码的第1解码器;根据第1解码器产生的图像数据产生视频信号的显示控制单元;将第1解码器产生的图像数据编码成第2编码数据序列的编码器,该数据序列是类型为每一预测方向参照最多一个其他图像的图像序列的类型;存储由第2编码器产生的第2编码数据序列的存储单元。
本发明的又一模式涉及一种图像处理方法。该方法包含:以时序方式对输入的第1编码数据序列进行解码;将解码数据编码成图像序列,该图像序列的类型是每一预测方向参照最多一个其他图像的图像序列,以便加以存储,同时还根据解码数据并行产生视频信号。
此外,可提供一种配备上述任一方面所述的图像处理装置的且利用该图像处理装置产生视频信号的电视接收机。
本发明的一种模式涉及一种图像处理装置。该装置包含:减少图像数据的数据量的减少处理单元;将来自减少处理单元的图像数据作为帧内编码图像编码的编码器;以反时序方式将编码器产生的编码数据序列进行解码的后端解码器;以全局监视方式控制一系列处理的控制单元。“后端解码器”置于在编码器的后面,本申请的说明书中还称之为“第2解码器”。
本发明的另一模式也涉及图像处理装置。该设备包含:对第1编码数据序列解码的前端解码器;减少所述前端解码器所产生图像数据的数据量的处理单元;将来自所述减少处理单元的图像数据作为帧内编码图像编码的编码器;以反时序方式对所述编码器产生的编码数据序列解码的后端解码器;以全局监视方式控制一系列处理的控制单元。“前端解码器”置于编码器的前级,本专利说明书中也称之为“第1解码器”。
该减少处理单元可以帧的单元减少图像数据,并且也可减少象素数。恢复处理单元可反复输出后端解码器解码的图像数据,这时,能补偿以帧单元抽稀造成的影响。
第1编码数据序列是通过在预定单元组内的图像信号上进行帧内编码处理和帧间编码处理中的至少一种处理加以编码的数据序列,这时,按预定的组单元进行根据控制单元控制的一系列处理。
前端解码器可包括按帧单元抽稀所输入第1编码数据序列的跳跃处理单元。这时,可将跳跃处理单元抽稀的数据进行解码,并可产生连续时序图像数据。
本发明另一模式涉及一种图像处理方法,该方法包含:减少输入图像数据的数据量的处理;将数据量减少的图像数据作为帧内编码图像编码的处理;按逆时间轴对该编码数据序列进行解码的处理;以及基本恢复解码图像数据的数据量的处理。
本发明又一模式也涉及图像处理方法。该方法包含:对输入的第1编码数据序列进行解码的处理;减少该解码数据的数据量的处理;将数据量减少的图像数据作为帧内编码图像进行编码的处理;按逆时间轴对该编码数据序列进行解码的处理;大致恢复解码图像数据的数据量的处理。本发明的另一模式涉及一种图像处理装置。该装置包含:减少图像数据的数据量的减少处理单元;将来自减少处理单元的图像数据编码成每一预测方向参照最多一个其它图像的类型的图像序列的编码器;以反时序方式将编码所产生的编码数据序列进行解码的解码器;以全局和监视的方法控制一系列处理的控制单元。
本发明的另一模式涉及一种图像处理方法。该方法包含:减少的输入的图像数据的数据量的处理,对减少数据量的图像数据编码成每一预测方向参照最多一个其它图像类型的图像序列的处理;以及时间轴对编码数据序列进行解码的处理;以及基本上恢复所解码图像数据的数据量的处理。
此外,可提供一种配备任一种上述图像再现装置的电视接收机,并且该接收机包含图像的反时序再现作为其操作规范的一部分。
本发明的一种模式涉及一种图像处理装置,该设备中,使包含多幅图像的第1图像数据用的解码器和第2图像数据用的解码器共用,该第2图像数据出现在与第1图像数据不同的处理阶段。“不同处理阶段”指处理条件不同,广义而言,诸如处理的内容、位置、时刻等不同。此外,该装置可以使编码器共用,代替解码器。此装置可包含开关单元,该单元对每一预定图像切换第1图像数据和第2图像数据,以输入到解码器。
该装置还可包含根据第1图像数据将所述解码器解码的数据作为帧人编码图像编码的编码器。此外,可包括存储器单元,它暂时存储所述编码器编码的数据,并且以反时序方式将存储的数据作为第2图像数据输出到所述解码器。
第1编码数据序列是基于在预定单元组中的图像信号上进行帧内编码处理或帧间编码处理的至少一种处理加以编码的数据,其中在预定单元组内可以进行所述解码器、编码器和存储单元的各种处理。
第1解码器可包含按图像单元抽稀所输入第1编码数据的跳跃处理单元,这时,可将跳跃单元抽稀的数据解码,并可产生连续时序图像数据。
第1解码器包含判定第1编码数据的图像类型的鉴别单元,并且跳跃处理单元以解码其他图像时不受参照的这类图像赋予优先权的方式进行抽稀。
本发明的另一模式涉及一种图像处理方法。该方法包含对每一预定图像进行包含多幅图像的第1图像数据和包含多幅图像的第2图像的解码,该第2图像数据出现在与第1图像数据不同的处理阶段。然后,可将根据第1图像数据按序解码器的数据作为帧内编码图像进行编码。可通过暂时存储编码数据,并且以反时序方式读取存储数据,产生第2图像数据。
第1图像数据是其于在预定单元组内的图像信号上进行帧内编码处理和帧间编码处理中的至少一种处理加以编码的数据,其中在预定单元组内进行编码。
本发明又一模式也涉及图像处理方法。该方法中,对每一预定图像进行含多幅图像的第1图像和含多幅图像的第2图像的编码。
此外,可提供一种配备任一上述图像处理装置且使解码器和编码器共用的电视接收机。
本发明的一种模式涉及一种图像再现装置。该装置包括解码器,该解码器以反时序方式把以时序方式产生的编码数据进行解码,并且反复输出解码所得的图像数据,直到达到设定的次数。“设定次数”在大于或等于2时令人满意,该数可固定,或可由用户设定。
本发明的另一模式也涉及图像再现装置。该装置包括:将以时序方式输入的图像数据作为帧内编码图像编码的编码器;以反时序方式将编码器产生的数据解码以便反复输出的解码器。编码器的处理采用了解码器能直接处理的方式来处理。本发明又一模式也涉及图像再现装置。该装置包括:以时序方式将输入的第1编码数据解码的第1解码器;将第1解码器产生的图像数据作为帧内编码的编码器;以反时序方式将编码器产生的第2编码数据解码反复输出的第2解码器。编码器可对从第1解码器多次输出的相同图像数据中的一个进行编码。然后,可将第1解码器输出相同图像数据的次数设定成等于第2解码器输出相同图像数据的次数。
可提供暂时存储第2编码数据的存储器单元,该存储器单元以反时序方式向第2解码器输出所存储的第2编码数据。
第1编码数据的时序是基于预定单元组内的图像信号进行帧内编码处理和帧间编码处理中的至少一种处理加以编码的数据,其中在预定单元组内进行解码器、编码器、存储器单元和第2解码器的各种处理。
本发明又一模式涉及一种图像再现方法。该方法包含按逆时间轴对连续时序编码数据进行解码,并且反复输出解码数据,直到达到预定的次数。
本发明又一模式也涉及图像再现方法。该方法包含:把以时序方式输入的图像数据作为帧内编码图像进行编码;按逆时间轴对编码数据进行解码,以便反复输出。
本发明又一模式也涉及图像再现方法。该方法包含:对以时序方式输入的第1编码数据进行解码;将解码数据作为帧内编码图像加以编码;以反时序方式对编码数据进行解码,以便反复输出。
本发明又一模式也涉及图像再现方法。该方法包含:对以时序方式输入的第1编码数据进行解码,并反复输出解码数据;将反复输出的连续相同解码数据中的一个作为帧内编码图像加以编码;以反时序方式对编码数据进行解码,并反复输出解码数据。
本发明又一模式涉及一种图像再现装置。该装置包括解码器,该解码器以反时序方式对通过包含帧间编码处理的处理后以时序方式产生的编码数据进行解码,以便反复输出。
本发明又一模式也涉及图像再现装置。该装置包括:将以时序方式输入的图像数据编码成图像序列的编码器,该图像序列的类型为每一预测方向参考最多一个其他图像;以反时序方式将编码器产生的编码数据进行解码并且反复输出解码数据的解码器。
本发明又一模式涉及一种图像再现方法。该方法包含:将以时序方式输入的图像数据编码成图像序列,该图像序列的类型为每一预测方向参照最多一个其他图像;按逆时间轴对编码数据进行解码,并且反复输出解码数据。
本发明又一模式涉及一种图像再现方法。该方法包含:采集通过包含帧间编码处理的处理后产生的连续时序编码数据;按逆时间轴对编码数据进行解码;反复输出解码数据。
此外,可提供一种配备任一上述图像再现装置的接收机,并且该接收机包含图像反时序重复再现作为其操作规范的一部分。
在上述讨论的任一情况下,可在预定的单元组中进行编码或解码,并且根据情况进行相关的处理。此外,上述讨论的任意结构部件和处理过程等的不同组合以及方法、设备、计算机程序和记录媒体之间转换的本发明表述,都可以有效地作为本发明的实施例。
附图说明
以下的较佳实施例及其附图会使上述目的、其他目的、特性和优点变得更加清楚。
图1用于解释MPEG视频位流的层次结构。
图2是第1实施例的图像再现装置的电路框图。
图3显示了第1实施例解码器的示意框图。
图4显示了第1实施例编码器的示意框图。
图5显示了第1实施例解码器的示意框图。
图6显示了第1实施例的图像再现装置反向再现操作的流程图。
图7显示了第1实施例的图像再现装置正向再现操作的流程图。
图8是第3实施例的图像再现装置的电路框图。
图9是解释第5实施例的图像再现装置反向再现操作的说明图。
图10是第6实施例的图像再现装置的电路框图。
图11显示了第6实施例解码器的示意框图。
图12是显示了第6实施例图像再现装置反向再现操作的流程图。
图13是第7实施例的图像再现装置的电路框图。
图14第出第8实施例的图像再现装置的电路框图。
图15显示了第8实施例的数据量减少电路结构的示意框图。
图16是图15中所示数字滤波器单元的示意电路图。
图17显示了第8实施例的数据量恢复电路结构的示意框图。
图18是图17中所示数字滤波器单元的示意电路图。
图19显示了第8实施例中图像再现装置反向再现操作的流程图。
图20示出第9实施例的图像再现装置的电路框图。
图21(a)和图21(b)分别示出数据量减少电路和数据量恢复电路的其他电路结构的例子。
图22用于说明I图像的快速缓存使得反向再现的速度加快。
图23是第11实施例的电视接收机结构图,其中设置了本实施例中任一图像再现装置和图像处理装置。
实现发明的最佳方式
将讨论实现本发明的实施例。有些实施例的完成的共同的处理是正向图像再现和反向图像再现。为了便于讨论,在以下的陈述中,“正向”和“反向”及其同义词应理解为含画面的图像最后处于显示状态时所适用的顺序。因此,除非另行指出,图像的顺序代表显示状态。
正如下所说明的那样,即使是反向再现,MPEG数据流每一GOP中的每一画面图像首先按正向解码,即以时序方式解码。在后续再解码阶段这些图像将再次解码,并且第一次实现反向的顺序。因此,反向再现中的“反向”主要涉及第2次解码。
依据I、P和B图像的顺序,可以有MPEG位流的各种组合。然而,为了便于下文的讨论,所采用的位流为“I1B2B3P4B5B6P7B8B9…”,另一方面,图像显示的顺序定义为“B2B3I1B5B6P4B8B9P7…”。
以下实施例中出现各种组件。在硬件方面,可采用CPU、存储器、其他LSI和组合电来实现这些实施例。在软件方面,则可通过存储器装载程序或类似的图像处理功能来实现这些实施例。以下的讨论主要涉及这些组件协同实现的功能。因此,本领域的技术人员都应该理解到可通过单独的硬件、单独的软件或他们的组合,以各种形式来实现这些功能。
第1实施例
图2示出第1实施例的图像再现装置1的电路框图。可以将此图像再现装置1设置在电影摄像机、静物摄影机、电视机、视频CD再现装置或DVD再现装置之中,将来自传送媒体2的MPEG视频流输出显示器3。附带说明,传送媒体2包含存储媒体(视频CD、CD-ROM、DVD、VTR等)、通信媒体(LAN等)和广播媒体(地面波广播、卫星广播、CATV等)。此外,来自存储媒体或广播媒体的数据不是根据MPEG视频部分编码的数据时,传送媒体还包含进行数字数据编码的MPEG视频编码器。在将图像再现装置1置入电影摄像机或静物摄影机时,传送媒体2可由成像器件(诸如CCD)及其信号处理电路所代替。
图2中,图像再现装置1包含硬盘(HD)4、MPEG视频解码器5(后文也简称为“解码器5”)、MPEG视频编码器6(后文与简称为“编码器6”)、第2MPEG视频解码器7(后文也简称为“第2解码器7”)、开关电路8、显示电路9和控制核心电路10。图像再现装置1的全部或主要部分可装载单片LSI上,此结构用于其他实施例。控制核心电路10控制解码器5、第2解码器7、编码器6和图像再现装置1中的每一部件的操作。由磁盘构成的硬盘4存储着从传送媒体2相继传来的视频流。硬盘4在其内部具有专用存储区4a。
开关电路8能根据控制核心电路10的控制,将其本身的连接切换到第1节点8a侧或第2节点8b侧。当开关电路8连接第1节点8a侧时,进行正向再现,将解码器5产生的再现数据序列原样输入到显示电路9。当连接第2节点8b侧时,则将来自第2解码器的数字输入到显示电路9,进行反向再现,如下文所述。
显示电路9从解码器5或第2解码器7传来的图像数据产生图像视频信号,并将该信号输出到与图像再现装置1相连接的显示器3。
图3显示了解码器的结构框图。该图中,解码器5包括图像首部检测电路11、图像跳跃电路12和解码核心电路13,并且解码核心电路13由霍夫曼解码电路14、反量化电路15、IDCT(反离散余弦变化)电路16、MC(活动补偿预测)电路17和ROM(只读存储器)18和19组成。值得注意的是,解码器5是本发明“第1解码器”的例子。
图像首部检测电路11检测位于存储于硬盘4中视频流每幅图像首端的图像首部,并且检测在该部分中所规定的图像类型(I.P.B)。
图像跳跃电路12根据控制核心电路10的控制,将其本身的连接切换到第1节点12a侧或第2节点12b侧。图像跳跃电路12连接着第1节点12a时,就将从硬盘12读出的图像原样传送到解码核心电路13。而当连接第2节点12b侧时,则跳过从硬盘4读出的图像,不将其传到解码核心电路13。结果是,传到解码核心电路13按图像单元进行图像的抽稀。
然而,在本实施例中,图像跳跃电路12固定连接着第1节点12a。因此,在实现本实施例的图像再现装置时,可适当省略图像首部检测电路11和图像跳跃电路12。
霍夫曼解码电路14根据ROM18中所存储的霍夫曼表内保持的霍夫曼码,对从硬盘4读出的图像进行可变长度解码。反量化电路15根据ROM19中所存储量化表内保持的量化门限值,对照霍夫曼解码电路14的解码结果,通过进行反量化取得DCT(离散余弦变换)系数。IDCT电路16对反量化电路15得到的DCT系数进行IDCT。MC电路17对IDCT电路16处理的结果进行MC(运动补偿预测)。
这样,解码器5通过对输入MPEG视频流进行解码,产生以时序方式连续的再现图像数据序列。值得注意的是,MPEG视频流是本发明中“第1编码数据序列”的例子。
图4显示了编码器6的结构框图。编码器6按图像单元将解码器5产生的全部再现图像数据序列作为I图像(即帧内编码图像)加以编码。图4中,编码器6包括MC电路20、DCT电路21、霍夫曼编码电路23以及ROM24和25。值得注意的是,编码器6是本发明中“编码器”的一个例子。
MC电路20一般设计成对解码器5解码的再现图像数据进行MC,该电路不进行处理,因为在本实施例的编码器6是按照帧内编码处理的I图像产生全部输入再现图像数据。因此,可适当省略MC电路20。
DCT电路21按块单元取入从解码器5输入的再现图像数据,并通过进行两维离散余弦变换产生DCT系数。量化电路22通过参照ROM24中所存储量化表内保持的最化门限值,进行量化。值得注意的是,ROM19也可起到ROM14的作用。
霍夫曼编码电路23通过参照ROM25中所存储霍夫曼表内保持的霍夫曼码对量化DCT系数进行可变长度编码,产生以图像为单元的压缩的图像数据。要注意的是,ROM18也可起到ROM25的作用。
解码器5所产生的再现图像数据序列在由编码器6以图像为单元将其全部编码成I图像后,存储到硬盘内分配的存储区4a。等效于输入的MPEG视频流的一个GOP来说,该存储器4a的容量则是足够大的。要注意的是,存储区4a是本发明中“存储器单元”的一个例子。
图5显示了第2解码器7的结构框图。在该图中,第2解码器7包括霍夫曼解码电路26、反量化电路27、IDCT电路28、MC电路29以及ROM30和31。要注意的是,第2解码器7是本发明中“解码器”和“第2解码器”的一个例子。
该第2解码器7的结构类似于解码器5中解码核心电路13的结构。因此,霍夫曼解码电路26具有类似于霍夫曼解码电路14的结构,反量化电路27具有类似于反量化电路15的结构,IDCT电路28具有类似于IDT电路16的结构,MC电路29具有类似于MC电路17的结构。然而,正如下文将要讨论的,由于输入到第2解码器7的图像数据序列是全部编码成I图像的数据,MC电路29不进行处理。因此,可适当省略MC电路29。要注意的是,诸如ROM18或ROM25的其他ROM也可起到ROM30的作用,ROM19或ROM24也可起到ROM31的作用。第2解码器7解码的再现图像数据序列从开关电路8的第2节点8b输入到显示电路9。
根据上述讨论的结构,参照图6所示的流程图来说明本实施例的图像再现装置1中的反向再现操作。图像再现装置1的操作是在控制核心电路10的控制下进行的。这里,假设MPEG视频流是由i单元的GOP(GOP0至GOPi-1)组成的。
反向再现中,按逆时间轴从GOPi-1开始,按序处理每一个GOP。然而,在解码器5正向解码每一个GOP的图像,即以时序方式进行解码。根据反向再现的指令,开关电路8连接到第2节点8b(S1),从硬盘4按图像单元读出对应于GOPi-1的MPEG视频流,输入到解码器5,并且按时序依次产生逐个画面再现的图像数据,输入到编码器6(S2)。编码器6中,从解码器5输入的一个GOP再现图像数据序列全部再次编码成I图像(S3)。来自编码器6的一个GOP被再次编码成数据序列重新写到硬盘4的存储区4a中(S4)。
一旦完成写入存储区4a时,第2解码器7以反时序方式(即沿时间轴反向前进)读出该存储区4a中存储的再次编码的数据序列,依次将其解码后,输出到显示电路9。随着存储区4a写入的结束,便送出写结束信号,将对应于下一GOPi-2的MPEG视频流输入到编码器5,并进行从S2开始的处理(S5)。即,在S5中,在第2解码器7对一个GOP的数据序列进行解码的同时,解码器5也在对下一GOP的数据序列进行解码。从第2解码器7以反时序方式的显示电路9输入再现图像数据,从而在显示器3上显示出反向再现图像。
接着,参照图7显示的流程图来说明正向再现的操作。沿时间轴从GOP0开始,按序处理正向再现。当然,在解码器5对每一GOP内的图像按正向进行解码。根据正向再现指示,开关电路8连接到第1节点8a(S11),从硬盘4按图像单元读出对应于GOP0的MPEG视频流,输入到解码器5,按时序从图像单元依次产生再现图像数据,并且并行输入到编码器6和显示电路9(S12)。显示电路9根据输入的再现图像数据,按图像单元来产生视频信号,以便输出到显示器3(S13),从而在显示器3上显示正向再现图像(S14)。
另一方面,在显示电路9进行处理的同时,编码器6将从解码器5输入的一个GOP的全部再现图像数据序列再次编码成I图像(S15)。再次编码的图像序列重新写入硬盘4的存储区4a(S16)。一旦完成GOP0的全部处理时,操作返回S12,并进行下一GOP1的处理。换句话说,在进行正向再现期间,与其并行工作的编码器6将相同的图像数据序列按GOP单元依次编码成I图像。
图像再现装置1提供了下列操作和效果:
(1)由于解码器5产生的再现图像数据序列由编码器6全部变换成I图像,并且由第2解码器7按反向顺序再现,能获得流畅地反向顺序再现图像,从而,改善了配备图像再现装置1的设备的图像搜索功能。
(2)存储来自传送媒体2的MPEG视频流的硬盘4中,分配存储区4a存储来自编码器6的再次编码数据序列,从而能获得比提供独立存储部件更低的成本。
(3)在存储区4a依次重新写入一个GOP的再次编码数据序列,从而能抑制其容量的增大,并且也能抑制整个硬盘4容量的增大。
(4)在第2解码器7对一个GOP的数据序列进行解码时,也在解码器5对下一个GOP的数据序列进行解码,使得一个GOP的反向图像再现一结束,下一个GOP的反向图像再现就开始,因而可获得流畅的反向再现图像。
(5)在进行正向再现时,编码器6与该正向再现并行,按GOP单元将相同的图像数据序列依次编码成I图像。因此,即使在正向再现期间来完成反向再现的指令时,也能流畅地进行图像的切换。
第2实施例
第2实施例与第1实施例图像再现装置1的差异在于通过图像跳跃电路12的有效利用使得解码器5能实现高速正向再现和反向再现。
由于从硬盘4读出MPEGG视频流的帧速率是随着再现速度升高的,如果要在高速再现下对全部图像解码,就必需提高解码器5的处理速度。然而,为了达到此目的,需要提高工作频率、并联运算电路和/或提高存储器性能(即容量和操作速度)。结果,造成电路规模加大、成本提高且耗电增多等问题。
鉴于这些问题,本实施例中,如果要求进行假设速率加倍的高速正向再现或反向再现,则图像首部检测电路11检测出的图像类型为I图像或P图像时,控制核心电路10将图像原样传到解码核心电路13,而检测出的图像类型为B图像时,通过将图像跳跃电路12接到第2节点12b侧,跳过该图像。因而,将传到解码核心电路13的图像抽稀,抽除的程度与按图像单元跳过的图像数相当。B图像在其他图像的解码中是没有用的,其重要性低高I图像或P图像。因此,与跳过I图像和P图形相比,优先跳过B图像,对显示器9再现运动图像的失帧影响极小。所以,在不提高解码器5的处理速度的条件,也能取得平滑的高速正向再现和高速反向再现。值得注意的是,本实施例中,反向再现的基本操作遵照图6所示的流程图,正向图现则遵照图7的流程图。
第3实施例
图8示出第3实施例的图像再现装置51的电路框图。与第1实施例相同的组件采用相同的参考号,在此省略其详细说明。
本实施例的特点在于共用含多幅图像的第1图像数据用的解码器和含多幅图像的第2图像数据用的解码器,其中,第2图像数据出现在与第1图像数据不同的处理阶段。第1实施例中,说明第2解码器7的结构类似于解码器5中的解码核心电路13的结构,本实施例中注意到这点,从而使解码器5和第2解码器7共用。图8中,图像再现装置51包含硬盘4、开关电路52、共用解码器53、编码器6、第2开关电路54、显示电路9和控制核心电路10。共用解码器53的结构类似于解码器5的结构。
来自硬盘4的MPEG视频流或来自存储区4a的再编码数据序列通过开关电路52输入到共用解码器53,该解码器的输出又经第2开关电路54输入到显示电路9或编码器6。
开关电路52能根据控制核心电路10的控制将其本身的连接切换到第1节点52a侧或第2节点52b侧。当开关电路52连接到第1节点52a侧时,来自硬盘4的MPEG视频流输入到共用解码器53。连接到第2节点52b侧时,来自存储区4a的再编码数据序列输入到共用解码器53。
第2开关电路54能根据控制核心电路10的控制,将其本身的连接切换到第1节点54a侧或第2节点54b侧。第2开关电路54连接到第1节点54a侧时,来自共用解码器53的再现数据序列输入到显示电路8。连接到第2节点54b侧时,来自共用解码器53的再现图像数据序列输入到MPEG编码器6。
通过实现上述结构,进行正向再现时,将开关电路52连接到第1节点52a,第2开关电路54则连接到第1节点54a。因此,来自硬盘4的MPEG视频流由共用解码器53解码后,按原样输入到显示电路9。
另一方面,反向再现时,控制核心电路10首先将开关电路52接到第1节点52a,第2开关电路54则接到第2节点54b,并且在这种状态下,从硬盘4读出一个画面的图像数据。该图像数据通过第1节点52输入到共用解码器53,以便进行解码。然后,将来自共用解码器53的一幅图像的再现图像数据经第2节点54b输入到MPEG编码器6,作为I图像进行再次编码。
一幅图像的再现图像数据从共用解码器53送出到MPEG编码器6时,控制核心电路10立即将开关电路52和第2开关电路54的连接分别切换到第2节点52b和第1节点54a,并且从存储区4a读出一幅图像的再编码数据,用于反向再现。再编码数据通过第2节点52b输入到共用解码器53进行解码,并且经第1节点54a将一幅图像的再现图像数据输入到显示电路8,在显示器3上显示。刚从共用解码器53送出一幅图像的再现图像数据到显示电路8,控制核心电路10就立即将开关电路52的连接切换到第1节点52a和第2开关电路54的连接切换到第2节点54b,并且从硬盘4读出一幅图像的图像数据。
以下,与此类似,每当共用解码器53输出再现图像数据时,控制核心电路10切换开关电路52和54的节点连接状态。共用解码器53进行第1实施例中解码器5和第2解码器7的分时处理。本实施例中,反向再现的基本操作和正向再现的基本操作也分别遵循图6和图7所示的流程。然而,图6中,解码器5和第2解码器7的操作由共用解码器53代替。
如第1实施例所示,由于在解码器5中图像跳跃电路12固定连接第1节点12a,通过第2解码器7增加图像首部检测电路11和图像跳跃电路12使解码器5和第2解码器7共用,不存在问题,即形成共用解码器53,不存在问题。除了第1实施例的操作和效果外,本实施例实现减小电路面积和降低成本的效果,进而促进商品价值的提高。
第4实施例
第4实施例与第3实施例图像再现装置51的区别在于共用解码器53中,通过有效使用图像跳跃电路12实现高速正向再现和反向再现。图像跳跃电路12的跳跃操作与第2实施例中相同。这时,MPEG编码器6产生的数据序列全部都是I图像,从而使数据序列再现输入共用解码器53时,不产生跳跃。本实施例中,反向再现的基本操作遵循图6所示的流程而正向再现的基本操作则遵循图7所示的流程。
第5实施例
第5实施例实现第1实施例的图像再现装置1中的低速正向再现和反向再现。图9中,控制核心电路10将MPEG位流从电磁盘4读到解码器5,并使得再现图像数据的相同图像能重复输出。例如,将MPEG位流设置顺序为I1B2B3P4B5…,则从解码器5输出的再现图像数据序列为I1I1B2B2B3B3P4P4B5B5…。随着该再现图像数据序列输入显示电路9,显示器3的图像速率变成1/2。
解码器5具有未示出的内建缓存器。在该缓存器中暂时存储解码图像数据,并且输出规定次数的该数据(下文称为“反复输出”)。要注意的是,硬盘4或其他存储器可起该缓存器的作用。规定的次数可根据用户的指示确定,可作为设备中预定的默认值设定,或者可根据任意设计准则来决定,该设计准则今后会有效。
根据反向再现指令,开关电路8连接到第2节点8b,并且编码器6将从解码器5输入的再现图像数据序列再编码成I图像。然而,本实施例中,如上所述连续输入2次来自解码器5的再现图像数据中的相同数据,从而仅第1再现图像数据被再次编码成I图像。即,包含m个图像的一个GOP由解码器5解码成2m个图像,并且由编码器6将这些图像编码成I图像(I1至Im)。第2解码器7按照逆时间轴以从Im开始的顺序读出存储在存储区4a中的m个I图像(I1至Im),并且将其按序解码。这时,控制核心电路10也重复一次地输出解码数据。于是,第2解码器7解码所得的数据序列变成ImImIm-1Im-1Im-2Im-2…I1I1。通过将此再现图像数据序列输入到显示电路9,能在显示器3上以1/2的速度显示反向再现图像。
第2解码器7也具有未显示出的内建缓存器。在该缓存器中暂时存储解码图像数据,并且反复输出该数据。硬盘4或其他存储器也可起到该缓存器的作用。本实施例中,反向再现和正向再现的基本操作也分别遵循图6和图7所示的流程。
要注意的是,作为第5实施例的修改,可构造共用解码器53,使得图8所示第3实施例的图像再现装置51能反复输出相同图像。从而,能提供与第3实施例相同的操作和效果。
除上述实施例所提供的操作和效果外,本实施例还可提供以下2点:
(6)能进行低速度反向再现,进一步改善搜索功能。
(7)由于解码器5解码成2m个图像的数据序列由编码器6编码成m个I图像,使得存储区4a的容量保持不大于第1实施例中的容量。可以在不增加成本的条件下增加低速平滑反向再现的功能。
第6实施例
图10示出第6实施例的图像再现装置1的电路框图。第1实施例中,编码器6仅对反向再现产生I图像,本实施例的目的是提高处理效率。图10中,与图2中相同的组件采用相同的参考号,适当省略其说明。图10中新的组件是两个开关电路100和200,分别将其称为第2开关电路100和第3开关电路200,以便与图2中出现的开关电路8区别。
第2开关电路100能根据控制核心电路10的控制,将其本身的连接切换到第1节点100a侧或第2节点100b侧。第2开关电路100连接到第1节点100a侧时,将解码器5产生的再现数据以原样输入到开关电路8。连接到第2节点100b侧时,将解码器5产生的再现图像数据输入到编码器6。
第3开关电路200能根据控制核心电路10的控制,将其本身的连接切换到第1节点200a侧或第2节点200b侧。第3开关电路200连接到第1节点200a侧时,在硬盘4中分配的存储区4a存储MPEG视频流中预定的数据。连接到第2节点200b侧时,在存储区4a存储编码器6产生的数据。
图11显示了解码器5的结构的框图。与图3不同的是,图像跳跃电路12由图像开关电路112代替。图像开关电路112能根据控制核心电路10的控制,将其本身的连接切换到第1节点112a侧、第2节点112b侧或第3节点112c侧。如果图像首部检测电路11检测到的图像类型为I图像,则借助于图像开关电路连接到双向引导的第2节点112b侧,将图像传输到解码核心电路13和第3开关电路200;如果该图像类型为P图像,借助于该电路连接到第1节点112a侧,将图像传到解码核心电路13;如果该图像类型为B图像,则借助该切换电路连接到第3节点112c侧,将图像传到第3开关电路200。要注意的是,图像切换电路112和第3开关电路200都是本发明的“分配处理单元”的一个例子。
本实施例编码器6和解码器5的内部结构分别与图4和图5中所示的相同。因此,MPEG视频流首先由解码器5和编码器6变换成预定的编码数据序列,然后通过第3开关电路200来发送,并存储于硬盘4中分配的存储区4a。
图12的流程图中示出根据上述讨论的结构的反向再现操作。根据反向操作指示,开关电路8连接到第2节点8b(S1)。从硬盘4按图像单元读出与GOPi-1对应的MPEG视频流,输入到解码器5。然后,图像首部检测电路11将每一幅图像的图像类型判定为I、P或B,同时借助图像开关电路112的操作,解码核心电路13将I图像和P图像的数据加以解码,并将I图像和B图像的数据传到第3开关电路200(S2)。
解码核心电路13解码的数据中,对P图像进行解码产生的数据经第2开关电路100的第2节点100b输入到编码器6(S3)。对I图像进行解码产生的数据经第2开关电路100的第1节点100a输入到开关电路8。然而,这时因为开关电路8连接到第2节点8b,就会完全丢弃这些数据。即,使用P图像数据解码的数据。编码器6根据控制核心电路10的指示,将从解码器5输入的全部数据(包括P图像的数据)再次编码成I图像(S4)。
第3开关电路200根据控制核心电路10的控制,把从图像开关电路112传来的I图像和B图像数据和来自编码器6的再编码数据(这里为I图像数据)以时序方式输入到硬盘4的存储区4a。输入到存储区4a的一个GOP数据覆盖着旧数据(S5)。这样,从第3开关电路200输入到存储区4a的编码数据序列仅由I图像和B图像组成,该编码数据序列是本发明中“第2编码数据序列”的一个例子。
一旦完成存储区4a的写入时,第2解码器7以反时序方式读出该存储区4a中存储的再编码数据,按序将其解码后,输出到显示电路9(S6)。如上所述,来自编码器6的一个GOP再编码数据序列中包含I图像和B图像。因此,为了逆时间轴读出并按序解码存储区4a中存储的再编码数据序列,通过首先进行相对于流输入顺序交换正向参照区域和反向参照区域的处理后,进行解码,使B图像得以解码。
随着S5中存储区4a写入的结束,送出写结束信号,将对应于下一GOPi-2的MPEG视频流输入到编码器5,并且进行上文所述从S2开始的处理。即步骤S6中,在第2解码器7对一个GOP的数据进行解码,同时也在解码器5对下一GOP的数据进行解码。
除上述实施例的效果外,本实施例的图像再现装置1还提供以下效果:
(8)MPEG视频流中,与I图像和B图像对应的数据不传到编码器6,从而减小了要从解码器5传到编码器6的数据量,也减轻了编码器6的处理负担。因此,要用的编码器6可以是低功耗和小电路面积的类型。
(9)MPEG视频流中,B图像按其原样作为B图像数据存入存储区4a,从而使得存储器4a的容量能小于第1实施例中的容量,这又能有助于使图像再现装置1体积更小和成本更低。
第7实施例
第7实施例是第6实施例的进一步紧凑型的设计版本,这2个实施例的关系与第2实施例和第1实施例的关系相同。以下,与第6实施例中相同的组件采用相同的参考号,并省略其详细说明。
图13示出本实施例的图像再现装置51的电路框图。如该图所示,使解码器5的解码核心电路13和第2解码器7能共用。图像再现装置51包含硬盘4、开关电路52、共用解码器53、编码器6、第2开关电路100、第3开关电路200、显示电路9和控制核心电路10。共用解码器53的结构与解码器5的结构相同。
图像再现装置51中,来自硬盘4的MPEG视频流或来自存储区4a的再编码数据经开关电路52输入到共用解码器53,其输出又经第2开关电路54输入到显示电路9或编码器6。
当开关电路52连接到第1节点52a时,来自硬盘4的MPEG视频流输入到共用解码器53当连接到第2节点52b侧时,来自存储区4a的编码数据输入到共用解码器53。开关电路52连接到第2节点52b侧时,图像开关电路112连接到第1节点112a,与图像类型无关。
根据上述讨论的结构,在进行正向再现时,开关电路52连接到第1节点52a,并且第2开关电路连接到第1节点100a。因此,来自硬盘4的MPEG视频流由共用解码器53将其解码后,原样输入到显示电路9。
另一方面,进行反向再现时,控制核心电路10首先将开关电路52连接到第1节点52a,将第2开关电路100连接到第2节点100b,并且在此状态下从硬盘4读出一幅图像的图像数据。该图像数据通过第1节点52a输入到共用解码器53的开关电路12后,随后根据图像类型输入到解码核心电路13或第3开关电路200。
一旦一幅图像的再现图像数据刚从共用解码器53送出到第3开关电路200或MPEG编码器6时,控制核心电路10就立即将开关电路52和第2开关电路100各自的连接分别切换到第2节点52b和第1节点100b,并且从存储器4a读出一幅图像的再编码数据。该再编码数据通过第2节点52b输入到共用解码器53进行解码。解码所得的数据经第1节点100a输入到显示电路9,并在显示器3上显示。
一旦一幅图像的再现图像数据刚从共用解码器53送出到显示电路9时,控制核心电路10就立即将开关电路52和第2开关电路100各自的连接分别切换到第1节点52a和第2节点100b,并且从硬盘4读出一幅图像的图像数据。
以下,与此类似,每当从共用解码器53输出再现图像数据时,控制核心电路10就切换开关电路52和100的节点连接状态。这样,共用解码器53完成了在第6实施例中的解码器5和第2解码器7的分时处理。
本实施例中的反向再现的基本操作遵循图12所示流程图。然而,在图12中,解码器5和第2解码器7的操作都由共用解码器53的操作代替。除第6实施例的操作和效果外,本实施例还通过使解码器5和第2解码器7共用,实现减小电路面积的减少。
第8实施例
图14示出第8实施例的图像再现装置1的电路框图。该图中,与图2中相同的组件标记相同的参考号,并适当省略其详细说明。图14中的新组件是数据量减少电路300和数据量恢复电路400。前者设置在从解码器到编码器6的路经上,后者设置在从第2解码器7到开关电路8的路经上。
图15显示了数据量减少电路300的结构框图。数据量减少电路300包含数字滤波器单元300a、ROM300b和定时控制单元300c。数字滤波器单元300c由FIR滤波器组成,并且如图16所示,还包括了每一取样周期使经开关电路8的第2节点8b输入的输入信号延迟n位的n单元延迟元件300d…、n+1单元的乘法器300e…和对来自乘法路300e的信号进行卷积的加法器300f…。预先在ROM300d中写入乘法器300e…的各自系数αn、αn-1…α2、α1,这些系数确定滤波器的特性。通过在制造阶段进行模拟,预先将ROM300b中存储的系数设置为适当的数值。
根据本实施例,可利用线性内插等概念通过对每一取样周期改变各系数的数值,以减少解码器5所产生的每一幅图像的象素数(例如原始图像的数据为1080(垂直)×1920(水平)象素),从而得到合适的低分辨率图像。
作为一个例子,让我们考虑水平象素数减少到2/3的情况。假设原始图像中有水平并排放置的3个象素p1至p3。现由数据量减少处理将这些象素变换成2个象素q1和q2。为此,将q1和q2分别表示为p1、p2和p3的基本线性和。即,根据确定的要减少的象素比率或实际数,通过的实验或类似方法来判定线性和各个系数,从而实现数据量的减少。作为MPEG的一种应用,每一幅图像的象素数可减少到例如480(垂直)×720(水平)。
图17显示了数据量恢复电路400的结构框图。数据量恢复电路400包含数字滤波器单元400a、ROM400b和定时控制单元400c。与数字滤波器单元300c类似,数字滤波器400c也由FIR滤波器组成,并且如图18所示,还包括每一取样周期使第2解码器7产生的输入信号延迟n位的n单元延迟件400d…。n+1单元的乘法器400e…和对来自乘法器400e的信号进行卷积的加法器400f…。预先在ROM400b写入乘法器400…的各自系数βn、βn-1、β…β2、β1,这些系数确定了滤波器的特性。通过在制造阶段进行模拟,预先将ROM中存储的系数设置为适当的数值。
为了恢复第2解码器7能产生的每一幅图像,或者对解码器5产生的各图像恢复图像数据的象素数(例如480(象素)×720(水平)或恢复原图像数据的象素数(例如1080(垂直)×1920(水平)),数据量恢复电路400每一取样周期改变各系数的值,进行与上述数据量减少处理的逆变换的等效处理。
图19的流程图显示了基于上述结构的反向再现操作。根据反向再现指令,开关电路8连接到第2节点8b(S1)。从硬盘4按图像单元读出对应于GOPi-1的MPEG视频位流,输入到解码器5。然后,依次产生每一幅图像的再现图像数据,形成时序,并输入到数据量减少电路300(S2)。将每一幅图像的原始图像数据象数减少到480(垂直)×720(水平)后,数据量减少电路300将再现图像数据输入到编码器6(S3)。编码器6将从解码器5输入的一个GOP的再现图像数据全部再次编码成I图像(S4)。在硬盘4的存储区4a重新写入来自编码器6的一个GOP的再编码数据(S5)。
一旦完成存储区4a的写入时,第2解码器7以反时序方式读出在存储器4a中存储再编码数据,按序将其解码后,输出到数据量恢复电路400。随着写入数据区4a的结束,送出写结束信号,将对应于下一GOPi-2的MPEG视频流输入到编码器5,并进行上述从S2开始的处理(S6)。即,在S6中,在第2解码器7对一个GOP的数据进行解码的同时,解码器5也在对下一GOP的数据进行解码。
数据量恢复电路400将第2解码器7产生的每一幅图像的图像数据象素数恢复到原来的1080(垂直)×1920(水平)后,随后,开关电路8通过第2节点8b将恢复的图像输入到显示电路9。这样,就在显示器3上显示了反向再现的图像。
除上述实施例的操作和效果外,本实施例的图像再现装置1还提供以下2点。
(10)由于数据量减少电路300的操作,能使存储区4a的容量能小于编码器6将全部MPEG视频流转换成I图像进行存储时的容量,因而可使图像再现装置1体积减小,成本降低。
(11)由于数据量恢复电路400在恢复曾经减少的象素数后,才将图像数据传到显示电路9,所以能基本保持显示图像的质量。
不言而喻,正如对第1实施例增加跳跃操作的第2实施例那样,本实施例也可增加跳跃操作。本实施例中,按图像单元或帧单元抽稀数据量,但按场单元也可达到该抽稀。在隔行驱动时,按偶场或奇场单元进行抽稀也是有效的。
第9实施例
图20示出第9实施例的图像再现装置51的电路框图。与第8实施例中相同的组件标注相同的参考号,在此省略其详细说明。图20与图14的区别在于增加了数据量减少电路300和数据量恢复电路400。共用解码器53的结构与与解码器5的结构相同。
第2开关电路54根据控制核心电路10的控制,将其本身的连接切换到第1节点54a侧或第2节点54b侧。第2开关电路54连接到第1节点54a侧时,将来自共用解码器53的再现图像数据输入到数据量恢复电路400,而当连接到第2节点54b侧时,将来自共用解码器53的再现图像数据输入到数据量减少电路300。
根据上述讨论的结构,在进行正向再现时,开关电路52连接到第1节点52a,以及第2开关电路连接到第1节点54a。因此,来自硬盘4的MPEG视频流由共用解码器53解码后,原样输入到显示电路9。在正向再现中,数据量恢复电路400不进行任何操作,将来自共用解码器53的图像信号原样送到显示电路9。
另一方面,在进行反向再现时,控制核心电路10首先将开关电路52和第2开关电路54分别连接到第1节点52a和第2节点52b,在该状态下,从硬盘4读出一幅图像的图像数据。该图像数据通过第1节点52a输入到共用解码器53进行解码。在解码数据通过第2节点54b发送和由数据量减少电路300处理后,将这些数据输入到MPEG编码器6,以便按照I图像再次编码。
一旦一幅图像的再现图像数据从共用解码器53送出到MPEG编码器时,控制核心电路10就立即将开关电路52和第2开关电路54各自的连接分别切换到第2节点52b和第1节点54a,从存储区4a读出一幅图像的再编码数据,用于反向再现。再编码数据通过第2节点52b输入到共用解码器53进行解码。在解码数据通过第1节点54a发送并由数据量恢复电路400恢复后,将其输入到显示电路9,并在显示器3上显示。一旦一幅图像的再现图像数据刚从共用解码器53送出到显示电路8,控制核心电路10就立即将开关电路52和第2开关电路54各自的连接分别切换到第1节点52a和第2节点54b,从硬盘4读出一幅图像的图像数据。
本实施例的处理、操作和作用与第3实施例中的相同。然而,本实施例中,增加提供数据量减少处理的效果。不言而喻,如第4实施例那样,本实施例也能增加图像跳跃功能。
第10实施例
第10实施例采用第8实施例的图像再现装置1实现低速度的正向再现和反向再现。即,正如第5实施例中采用图14的结构所作的说明那样,以对相同的图像重复一次的方式从解码器5输出再现图像数据。据此,本发明能具有第8实施例和数据量减少组合的综合效果。
作为本发明的修改,可安排第9实施例的图像再现装置51,使共同解码器53重复输出相同的图像。由此,能获得与第9实施例相同的效果。
第11实施例
第11实施例涉及:将上述任一实施例的图像再现装置或图像处理装置置于电视接收机中的情况。图23是结构图。
在电视接收机500中,广播电波570通过天线512供给调谐器514。调谐器514选择包含用户所选频道的转发台信号,对其进行QPSK解调。解调获得了包含多个传输包的数据流送到包分离单元516。包分离单元516是一个解复用器,它分离出对应于所需频道的包,将其输出到声像解码器518。
声像解码器518是MPEG解码器,置于上述任一实施例的图像再现装置或图像处理装置中,用于进行图像处理。声像解码器518对输入的数据包进行解码,并将音频数据输出到音频信号输出单元522,将图像数据则输出到显示装置526。音频信号输出单元522对输入的音频数据进行预定的处理,最后将声输出到扬声器524。
由控制核心电路10、CPU等组成的主控制单元536根据用户的指令对每一部件进行全局监控。来自用户的指令可通过遥控光接收单元418输入,遥控光接收单元可接受来自诸如遥控器的信号,图中来显示。媒体接口电路550从图中未显示的IC卡、MO、CD-ROM、DVD-ROM或其他记录媒体将多媒体数据或程序读入主控制单元536。
采用上述讨论的可按照用户的指令来实现包括正向再现和反向再现的图像再现处理。于是,能够提供上述讨论的操作和效果。
实施例总分析
本领域的技术人员会很自然意识到,实施例的任意组合都是可能的,尽管这里没有说明。例如,任何情况下,都可提供按图像单元抽稀输入的第1编码数据序列的跳跃处理单元(例如,图像跳跃电路12)。这时,第1解码器在进行抽稀后对数据序列解码,并以时序方式产生连续图像序列。还可提供判定所输入第1编码数据序列中所含图像的类型的鉴别单元(例如图像首部检测单元11)。这时,跳跃处理单元使B图像优先其他类型图像得到抽稀。此外,还有可能作下列考虑或修改。
(a)在有些实施例中,编码器6并不需要MC电路20。这时,可采用静止图像压缩算法,从而可采用JPEG(相片编码联合专家组)编码器代替编码器6。JPEG编码器所编码的图像数据也是帧内编码图像。
除JPEG外,静止图像压缩还可以采用基于差分处理的差分YUV、基于块的阿达玛变换、斜变换或哈尔变换法的压缩技术。要注意的是,当编码器6采用上述静止图像压缩技术时,第2解码器7就必需用相同类型的静止图像扩展技术。
(b)相类似的,在有些实施例中,第2解码器7并不需要MC电路29。因此,正如(a)中那样,可采用JPEG解码器。为了进行帧内编码图像的解码,可采用诸如上述讨论的差分YUV、阿达玛变换等方法。
(c)作为硬盘4,可采用磁光盘、光盘等来代替磁盘。
(d)作为硬盘4,可采用可改写半导体存储器,诸如SDRAM(同步动态RAM)、DRAM或RambusDRAM。
(e)分别提供硬盘4和存储区4a。这时,存储区4a最好是可改写半导体存储器。
(f)当强调减小电路的面积时,可省略解码器5的图像跳跃电路12。在这种情况下,还可省略图像首部检测电路11。
(g)数据序列不按一个GOP,而按以下单元从MPEG视频流取出。组单元(含GOP)的概念中包括以下单元。
·从I图像开始的单元不按GOP取出,但从例如P图像开始的单元可按GOP取出。
·不再强调遵照GOP的概念,若干图像的组即为组单元。
·图像数可逐组任意变化。
(h)采用RAM(随机存取存储器)来代替ROM18、19、24、25、30和31。
(i)作为第5实施例的修改,在反向再现中解码器5和编码器6的处理保持与第1实施例相同,仅在第2解码器7进行每一幅图像的反复输出。这样,能减少解码器5的功耗。
(j)第5实施例和上述(i)中,将解码器5和第2解码器7上重复输出相同图像的次数设定为2次或更多。因此,能获得速度更低的反向再现图像。
(k)第5实施例中,其结构使得解码器5和第2解码器7能反复输出解码的数据。然而,如果电路控制或定时控制方面方便的话,就可反复解码相同图像,以便于输出。
(l)每一实施例的反向再现中,将存储于硬盘4的MPEG视频流中的I图像数据按原样传到存储器4a,而不需要编码器6和解码器5的处理。因此,就能减少解码器5和编码器6的功耗。
(m)除上述(1)以外,反向再现中,还可将B图像数据照原样传到存储区4a,不在解码器5和编码器6上进行处理。因此,就能减少解码器5和编码器6的功耗。此外,由于不是全部数据却再编码成I图像,因而能减小存储区4a的容量。然而,这种情况下,从存储区4a读出的B图像根据数据流的顺序来交换前参考区和后参考区,并且在第2解码器7进行解码。
(n)将第5实施例所说明的低速反向再现功能、第1和第3实施例说明的常速反向再现功能以及第2和第4实施例所说明的高速反向再现功能装配在一幅图像再现装置上,并提供选择这些功能的操作键。
(o)按照操作键的操作,可逐帧进行反向再现。
(p)除上述实施例外,还存在着差一个设备中具有2种编码功能或2种解码功能的下列应用状态。因此,虽然上述第3实施例中说明了将解码器5和第2解码器7作为共用解码器53共用使用的例子,但是这些编码器也可以在提供2个编码器的情况下,使其共用。
(i)电影摄像机中从不同角度同时拍摄一个主题并且采用MPEG制式对数据进行压缩-扩展的状况。
(ii)电视机同时对多个节目解码并进行双屏幕显示的状况。
(iii)电视机同时对多个节目解码并且无缝切换频道的状况。在采用MPEG的广播中,一旦因信道切换等而中断解码等,在接着开始解码前,就需要一段0.5至2秒的短时间后才检测新序列的首部。通常,在这段时间中,图像冻结或熄灭。对(iii)可有效地解决此问题。
(iv)在连接DVD、数字静物摄影机等的电视机中,广播可与DVD和数字静物摄影机一起,同时得到再现。
(v)进行节目的再现时,可以运动图像或静止图像的状态来记录一个节目或不同频道上另一节目,与此同时,使记录的运动图像或静止图像与广播的节目相互叠加,并且同时再现。
(vi)在某些时间隔将再现图像按JPEG制式来编码,并送入环形缓存器,使得这些图像可作为索引,用于在反向搜索中转移到相邻场合。
(q)构造数据量减少电路300,使其将帧抽稀,而不是减少象素数。这时,如图20(a)所示,数据量减少电路300通过切换该电路的节点按帧单元跳过解码器5或共用解码器53产生的每一幅图像的原始图像数据。例如,以每帧交替的方式切换节点,就能将帧的数目减少到1/2,而跳过3帧中的2帧,就能将帧数减少到1/3。
当数据量减少电路300采用如图21(a)所示的结构时,如图21(b)所示的数据量恢复电路400可由缓存器201和控制核心电路10构成,前者存放第2解码器7或共用解码器53所产生的每一幅图像的图像数据,后者则控制该缓存器,并且使从缓存器201输出的图像数据能反复输出,等效于数据量减少电路300所跳过的图像数据。
在这种情况下,要注意的是,数据量恢复电路400产生的图像数据的数据量不同于在数据量减少电路300减少之前的图像数据的数据量。另外,由第2解码器7或共用解码器53所产生的每一幅图像的图像数据的数据量接近或大于减少前的图像数据的数据量,这也称之为“大致恢复”。
(r)对反向再现而言,需要在存储区4a原样保持一个GOP的图像数据。其原因在于仅在正向读出GOP内的数据,而没有保留一个GOP的全部数据,故不能在反向再现中产生图像。为此,要求存储区4a具有记录一个GOP图像数据用的容量。然而,该结构有效使用,可使得在第1实施例及其实施例等中,编码器6即使在正向再现时也空转,以便恒定产生并保持一个GOP的反向再现数据。此安排意在实施正向再现到反向再现的流畅地开关切换。
尽管此方法实现了比编码器6无空转时更平滑的再现方向的开关切换,却未必不存在开关切换的时间滞后。这是因为对GOPn进行反向再现时,解码器5需要对前一个GOPn-1读出一个GOP的编码数据并加以解码,因而有可能需要完成GOPn的反向再现前未完成一系列的处理。如果未完成这些处理,反向再现会瞬时停止。
作为解决此问题的对策,通过如第1实施例以及其它实施例中所述那样扩展存储一个GOP图像数据的存储区,最多可存储约两个GOP的图像数据,就能完全削除正向再现切换到反向再现的时间滞后。因此,在需要该技术规范时,采取此措施,足够满足其需要。
这时,当然需要增加存储容量。在编码器6对全部I图像再次编码时,可增加各种帧内压缩处理,诸如每隔2个或3个图像跳越产生I图像或减少象素的数目,以抑制这些I图像存放所需用的存储能量。
首先,当以跳越的方式产生I图像并加以存储时,足以再次显示再现I图像可优于先前跳越其它图像的需要。例如,每隔一个I图像跳越时,通过每一I图像显示2次能使反向再现速度保持与正向再现速度相同。与此相反,按原样交替存储的I图像,其再现会自动实现速度加倍的反向再现,当然可将其当作产品规范的一部分。
要减少象素数目时,可预先由解码器7的IDCT处理进行下变换格式的解码。即,尽管在常规环境下对例如8×8象素的方块进行IDCT处理,可对8×4象素的1/2规模块进行IDCT,这时,图像再现中帧存储器内要存放图像数据的能量变成1/2,因而能将空闲的区域用于存储两个GOP的I图像。然而,采用该下变换,高分辨率状态的1960×1080象素的图像变成980×1080象素的图像。因此,在其再现时,要进行某种分辨率恢复处理,诸如水平方向每一象素显示2次。
(s)对于反向再现切换到正向再现来说,也要考虑上述讨论的切换之间滞后。这时,也采取类似的步骤,即存储约一个至两个GOP读入图像的数据,以便能适应此情况。假设第n个GOP(GOPn)目前正在进行反向再现的读入处理,于是,保持此GOPn的图像数据,直到反向再现的读出到达其两个GOP前的GOPn-2,也就是说,即使在切换到正向再现时,也通过保持某GOP数据,直到读出其两个GOP前的数据,来实现无中断的再现。
从反向再现到正向再现的切换只受解码器5处理的控制,它基本上小于以上(r)情况下的时间滞后。因此,实际应用中,略大于一个GOP的数据,而不是上述两个GOP的数据,似乎就足够。然而,由于该数据量因设备实现而异,因此就要求通过对每一模型进行实验来确定该值。
(t)图22说明了利用在快速缓存器放置I图像实现高速反向再现的结构。侧重于注意I图像是“重复使用型图像”。该图中为了说明简便,一个GOP中有6个图像,并且在GOP1~GOP3的三个GOP中图像序列分别表示为“I1~B6(用于GOP1)、I7~B12(用于GOP2)和I13~B18(用于GOPP3)。
假设现在要求从GOP3反向再现,则如上所述依次进行GOP3的读出①、GOP2的读出②和GOP1的读出③。这里,让我们注意GOP2的处理。已经读出了GOP3的第1图像或I13,以便再现最后的图像,直至B12。然后,判定图像I13在GOP上反向再现时已经读出一次并加以解码。这表明在存储区4a或其他存储器中快速缓存着每一个GOP的第1I图像的解码数据,直到完成MPEG数据流中前一GOP的处理,则可以避免再次读图像时对图像解码的麻烦。快速缓存能提高反向再现的处理效率。
(u)在许多实施例中,通过编码器6进行再次编码产生I图像获得用于反向再现的编码数据,有时所产生的I图像与B图像相组合。然而,该方法不限于此,本领域的技术人员在其实施阶段可选择其他方式,例如,编码器6最终在起始端产生比MPEG视频流中的包含的I图像更多的I图像。
换个角度看,编码器6可将图像数据编码成类型为每一预测方向参照最多一个其他图像的图像序列。“预测方向”可为正向或反向,前者从过去开始预测,后者从将来进行预测。因此,这里容许仅在正向和反向参照0幅图像或一幅图像的图像。
在目前的MPEG中,I图像和B图像都满足此条件。关于再次编码中要产生何种图像的问题,其实质基本在于正向再现所需要的结构,尤其在于在保持存储器容量的同时能实现反向再现的结构。在MPEG中,存在正向上P图像会作的离开相当远的多幅图像的参考的情况,但正向再现中由于按序输出或显示解码的图像,不需要保持许多图像。反过来说,尽管正因为正向再现的性质,只需用较少的帧缓存来平滑再现P图像,但反向再现中却必须将再现P图像所需用的大量图像存储一段较长的时间。因此,实际上,在相同预测方向参照2幅图像或多幅图像的图像仅仅是在用于反向再现才需要较大存储容量,所以在成本、制作面积等方面都是不利的。因此,对相同预测方向最多只接受一幅图像的图像,包括I图像和B图像对解决该问题是必要且充分的。
产业上的产用性
综上所述,本发明可通用于图像再现方法、图像处理方法,以及图像再现装置、图像处理装置、实现这种方法的电视接收机以及其他。

Claims (69)

1.一种图像再现装置,其特征在于,包括:
将图像数据作为帧内编码图像编码的编码器;和
以反时序方式将所述编码器产生的编码数据进行解码的解码器;
其中,在对所述图像数据进行前向再现时,所述编码器可以空转。
2.一种图像再现装置,其特征在于包括:
以时序方式将输入的第1编码数据解码的第1解码器;
将所述第1解码器产生的图像数据作为帧内编码图像进行编码的编码器;和
以反时序方式将所述编码器产生的第2编码数据进行解码的第2解码器;
其中,在对所述图像数据进行前向再现时,所述编码器可以空转。
3.如权利要求2所述的图像再现装置,其特征在于,包括存储器单元,它用于暂时存储第2编码数据的并以反时序方式对所述的第2解码器输出所存储的第2编码数据。
4.如权利要求3所述的图像再现装置,其特征在于,第1编码数据序列是通过在预定单元组内的图像信号上进行帧内编码处理和帧间编码处理中的至少一种处理加以编码的数据序列,其中在预定单元组内进行所述解码器、编码器、存储器单元和第2解码器的每一处理。
5.如权利要求4所述的图像再现装置,其特征在于,在所述第2解码器进行处理的期间所述第1解码器处理下一组编码数据。
6.如权利要求2至5中任一项所述的图像再现装置,其特征在于,所述存储器单元存储第2编码数据的编码数据,并且将此存储的第2编码数据以反时序方式对所述第1解码器输出。
7.如权利要求2至5中任一项所述的图像再现装置,其特征在于,所述编码器遵照MPEG或JPEG进行编码。
8.如权利要求2至5中任一项所述的图像再现装置,其特征在于,所述第2解码器遵照MPEG或JPEG进行解码。
9.如权利要求2至5中任一项所述的图像再现装置,其特征在于,所述第1解码器包含在高速反向再现时,按图像单元抽稀所输入第1编码数据的跳跃处理单元,并通过对所述跳跃处理单元抽稀的数据进行解码,产生连续时序图像数据。
10.如权利要求9所述的图像再现装置,其特征在于,所述第1解码器包含判定所述第1编码数据的图像类型的鉴别单元,并且所述跳跃处理单元以解码其他图像时不受参照的这类图像赋予优先权的方式进行抽稀。
11.一种图像再现装置,其特征在于,包括:
将图像数据编码成类型为每一预测方法参照最多一个其他图像的图像序列的编码器;和
以反时序方式将所述编码器产生的编码数据进行解码的解码器。
12.一种配备了如权利要求1、2和11中任一项所述的图像再现装置的电视接收机,其特征在于,包含图像的反时序再现作为其操作规范的一部分。
13.如权利要求2所述的图像再现装置,其特征在于,所述第1解码器第1编码数据进行解码时,所述第1解码器同时进行数据量减少的处理。
14.如权利要求2所述的图像再现装置,其特征在于,所述第1解码器和第2解码器可以共用。
15.如权利要求13所述的图像再现装置,其特征在于,所述第1解码器遵照MPEG或JPEG进行解码,并且以下变换格式进行其IDCT,以减少数据量。
16.如权利要求2所述的图像再现装置,其特征在于,把包含多幅图像的组作为一个处理单元,所述第1解码器通过时间轴反转的反时序方式进行组之间的处理,同时所述第1解码器在该组内进行时序处理。
17.如权利要求16所述的图像再现装置,其特征在于,所述第1解码器在组内进行处理时,存储被证实下一组要用的重用型图像的解码数据。
18.如权利要求17所述的图像再现装置,其特征在于,所述第1解码器遵照MPEG或JPEG进行解码,该组是GOP,并且重复使用型图像是每一GOP首部中包含的I图像。
19.如权利要求4所述的图像再现装置,其特征在于,所述第1解码器遵照MPEG或JPEG进行解码,该组是GOP,并且所述存储器单元存储最多大致为2个GOP的第2编码数据。
20.如权利要求3-5中任一权利要求所述的图像再现装置,其特征在于,进一步包括:
存储由第1解码器解码之前的第1编码数据的第1存储器;其中所述第1存储器中的一部分被分割用于临时存储第2编码数据。
21.一种图像处理装置,其特征在于,包括:
对输入的第1编码数据序列进行解码的第1解码器;
基于所述第1解码器产生的图像数据产生视频信号的显示控制单元;
将所述第1解码器产生的图像数据编码成帧内编码图像的编码器;
存储所述编码器产生的第2编码数据序列的存储器单元;
包括以反时序方式对存储于所述存储器单元中的第2解码数据序列进行解码的第2解码器;以及
开关单元,该单元在前向再现时将所述第1解码器产生的图像数据输入到所述显示控制单元,而在反向再现时将所述第2解码器所产生的图像数据输入到所述的显示控制单元。
22.如权利要求21所述的图像处理装置,其特征在于,所述第1解码器和第2解码器可以共用。
23.一种图像处理装置,其特征在于,包括:
将输入的第1编码数据序列进行解码的第1解码器;
根据所述第1解码器产生的图像数据产生视频信号的显示控制单元;
将所述第1解码器产生的图像数据编码成第2编码数据序列的编码器,该数据序列是类型为每一预测方向参照最多一个其他图像的图像序列;和
存储第2编码数据序列的存储单元。
24.一种图像处理方法,其特征在于,包含:
以时序方式对输入的第1编码数据序列进行解码;和
将解码数据编码成图像序列,该图像序列的类型是每一预测方向参照最多一个其他图像,以便加以存储,同时还根据解码数据并行产生视频信号。
25.一种配备权利要求21和23中任一项所述的图像处理装置的电视接收机,其特征在于,由图像处理装置产生视频信号。
26.如权利要求21所述的图像处理装置,其特征在于,进一步包括:
存储由第1解码解码之前的第1编码数据的第1存储器;其中所述第1存储器中的一部分被分割用于临时存储第2编码数据。
27.一种图像处理装置,其特征在于,包括:
将第1编码数据序列进行解码的前端解码器;
减少所述前端解码器所产生图像数据的数据量的减少处理单元;
将来自所述减少处理单元的图像数据编码成帧内编码图像的编码器;
以反时序方式将所述编码器产生的编码数据序列进行解码的后端解码器;
实质恢复所述后端解码器所解码图像数据的数据量的恢复处理单元;和
以全局监视方式控制一系列处理的控制单元。
28.如权利要求27所述的图像处理装置,其特征在于,包括暂时存储所述编码器产生的编码数据的存储器单元。
29.如权利要求27至28中任一项所述的图像处理装置,其特征在于,所述减少处理单元减少图像数据的象素数。
30.如权利要求27至28中任一项所述的图像处理装置,其特征在于,所述减少处理装置以帧单元抽稀图像数据。
31.如权利要求27所述的图像处理装置,其特征在于,所述减少处理单元以帧单元抽稀图像数据,并且所述恢复处理单元反复输出所述后端解码器解码的图像数据。
32.如权利要求27至28中任一项所述图像处理装置,其特征在于,第1编码数据序列是通过在预定单元组内的图像信号上进行帧内编码处理和帧间编码处理中的至少一种处理加以编码的数据序列,其中按预定的主单元进行根据所述控制单元控制的一系列处理。
33.如权利要求32所述的图像处理装置,其特征在于,所述后端解码器进行处理期间,所述前端解码器正在处理下一组的编码数据序列。
34.如权利要求27所述的图像处理装置,其特征在于,所述前端解码器包含按照帧单元抽稀输入第1编码数据序列的跳跃处理单元,并通过对所述跳跃处理单元抽稀的数据进行解码,产生连续时序图像数据。
35.一种图像处理装置,其特征在于,包括:
减少图像数据的数据量的减少处理单元;
将来自所述减少处理单元的图像数据编码成图像序列的编码器,该图像序列的类型为每一预测方向最多参照一个其他图像;
以反时序方式对所述编码器产生的编码数据序列进行解码的解码器;和
以全局监控方式控制一系列处理的控制单元。
36.一种图像处理方法,其特征在于,包含:
减少输入图像数据的数据量的处理;
将减少数据量的图像数据编码成图像序列的处理,该图像序列的类型为每一预测方向最多参照一个其他图像;
按逆时间轴对该编码数据序列进行解码的处理;和
大致恢复解码图像数据的数据量的处理。
37.一种配备权利要求27和35中任一项所述的图像处理装置的电视接收机,其特征在于,包含图像的反时序再现作为其操作规范的一部分。
38.如权利要求27至28中任一项所述的图像处理装置,其特征在于,所述减少处理单元以场为单元来抽稀图像数据。
39.如权利要求27所述的图像处理装置,其特征在于,所述减少处理单元以场单元抽稀图像数据,并且所述恢复处理单元反复输出所述后端解码器解码的图像数据。
40.如权利要求27所述的图像处理装置,其特征在于,所述前端解码器和后端解码器可以共用。
41.如权利要求27所述的图像处理装置,其特征在于,存储由前置解码器解码之前的第1编码数据序列的第1存储器;和临时存储由所述编码器生成的编码数据的第2存储器;其中,所述第1存储器的一部分设置为所述第2存储器。
42.一种图像处理装置,其特征在于,使由多幅图像形成的第1图像数据的解码器和将所述第1图像数据解码之后再编码所生成的数据解码成第2图像数据的解码器共用。
43.一种图像处理装置,其特征在于,使由多幅图像形成的第1图像数据的解码器和由多幅图像形成的第2图像数据的解码器共用,该第2图像数据出现在与第1图像数据不同的处理阶段,
包括开关单元,该单元以预定的图像间隔来切换第1图像数据和第2图像数据,以输入到所述解码器。
44.如权利要求42或43所述的图像处理装置,其特征在于,包括根据第1图像数据将所述解码器解码的数据作为帧内编码图像编码的编码器。
45.如权利要求44所述的图像处理装置,其特征在于,包括存储器单元,该单元暂时存储所述编码器编码的数据,并且以反时序方式将存储的数据作为第2图像数据输出到所述解码器。
46.如权利要求45所述的图像处理装置,其特征在于,所述第1编码数据序列是通过在预定单元组中对图像信号上进行帧内编码处理或帧间编码处理中的至少一种处理加以编码的数据序列,其中在预定单元组内进行所述解码器、编码器和存储单元的各种处理。
47.如权利要求43所述的图像处理装置,其特征在于,所述解码器遵照MPEG视频部分或JPEG视频部分的规范进行解码。
48.如权利要求44所述的图像处理装置,其特征在于,所述编码器遵照MPEG视频部分或JPEG视频部分的规范进行编码。
49.如权利要求43所述的图像处理装置,其特征在于,所述第1解码器包含按图像单元抽稀所输入第1编码数据的跳跃处理单元,并通过对所述跳跃处理单元抽稀的数据进行解码,产生连续时序图像数据。
50.如权利要求49所述的图像处理装置,其特征在于,所述第1解码器包含判定所述第1编码数据的图像类型的鉴别单元,并且所述跳跃处理单元以解码其他图像时不受参照的这类图像赋予优先权的方式进行抽稀。
51.一种图像处理装置,其特征在于,使由多幅图像形成的第1图像数据的解码器和将所述第1图像数据解码之后再编码所生成的数据作为第2图像数据输入并解码的解码器共用为该图像处理装置中唯一的图像解码器。
52.一种图像处理方法,其特征在于,包含间隔预定图像对包含多幅图像的第1图像数据和包含多幅图像的第2图像进行解码,该第2图像数据出现在与第1图像数据不同的处理阶段;按照规定的各个图像间隔运作单个解码器;
将基于第1图像数据按序解码器的数据作为帧内编码图像进行编码;
通过暂时存储编码数据,并且以反时序方式读取存储数据,产生第2图像数据。
53.如权利要求52所述的图像处理方法,其特征在于,第1图像数据是通过在预定单元组内的图像信号上进行帧内编码处理和帧间编码处理中的至少一种处理加以编码的数据,其中在预定单元组内进行编码。
54.一种图像处理装置,其特征在于,包括:
由多个图像形成的第1图像数据的解码器,和由多个图像形成、在与第1图像数据不同的处理阶段出现的第2图像数据的解码器;其中通过通用的解码器按序进行对所述第1图像数据和第2图像数据的解码。
55.一种配备如权利要求42、51和54任一项中所述图像处理装置的电视接收机,其特征在于,所述装置中,所述解码器或编码器以共用的方式加以利用。
56.如权利要求45或46所述的图像处理装置,其特征在于,包含存储所述解码器解码之前的第1图像数据的第1存储器;其中所述第1存储器中的一部分被分割用于临时存储由编码器所编码的数据。
57.一种图像再现装置,其特征在于,包含:
以时序方式将输入的第1编码数据解码的第1解码器;
将所述第1解码器产生的图像数据作为帧内图像编码的编码器;和
以反时序方式将所述编码器产生的第2编码数据解码的第2解码器,以便能反复输出;其中
所述编码器对从所述第1解码器多次输出的相同图像数据中的一个进行编码;同时,在以时序再现所述图像数据时,让所述编码器空转。
58.如权利要求57所述的图像再现装置,其特征在于,所述第1解码器输出相同图像数据的次数等于所述第2解码器输出相同图像数据的次数。
59.如权利要求57至58中任一项所述的图像再现装置,其特征在于,包含暂时存储第2编码数据的存储器单元,该存储器单元以反时序方式对所述第2解码器输出所存储的第2编码数据。
60.如权利要求59所述的图像再现装置,其特征在于,第1编码数据是通过在预定单元组内的图像信号上进行帧内编码处理和帧间编码处理中的至少一种处理加以编码的数据,其中在预定单元组内进行所述解码器、编码器、存储器单元和第2解码器的各种处理。
61.如权利要求59所述的图像再现装置,其特征在于,在所述第2解码器进行处理的期间,所述第1解码器处理下一组编码数据。
62.如权利要求57所述的图像再现装置,其特征在于,所述第2解码器遵照MPEG或JPEG对第2编码数据进行解码。
63.一种图像再现方法,其特征在于,包含:
对以时序方式输入的第1编码数据进行解码,并反复输出解码数据;
将反复输出的连续相同解码数据中的一个作为帧内编码图像加以编码;和
通过以反时序方式对编码数据进行解码并反复输出解码数据,进行反时序方式图像再现,并且以时序方式再现图像时,使所述编码处理空转。
64.如权利要求63所述的图像再现方法,其特征在于,作为帧内编码图像编码的编码数据遵照MPEG或JPEG进行解码。
65.一种图像再现装置,其特征在于,包括:
将以时序方式输入的图像数据编码成图像序列的编码器,该图像序列的类型为每一预测方向参考最多一个其他图像;和
以反时序方式将所述编码器产生的编码数据进行解码并且反复输出解码数据的解码器。
66.一种图像再现方法,其特征在于,包含:
将以时序方式输入的图像数据编码成图像序列,该图像序列的类型为每一预测方向参照最多一个其他图像;和
按逆时间轴对编码数据进行解码,并且反复输出解码数据。
67.如权利要求57所述的图像再现装置,其特征在于,所述第1解码器和第2解码器可以共用。
68.一种配备权利要求57或65中任一项所述的图像再现装置的电视接收机,其特征在于,该接收机包含图像反时序重复再现作为其操作规范的一部分。
69.如权利要求57所述的图像处理装置,其特征在于,包含存储所述第1解码器解码之前的第1图像数据的第1存储器;其中所述第1存储器中的一部分被分割设置成临时存储由编码器所编码的第2编码数据的存储器。
CNA2005100790330A 1999-12-15 2000-12-13 图像再现、处理装置和方法以及具有该装置的电视接收机 Pending CN1848941A (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP1999355840 1999-12-15
JP1999355850 1999-12-15
JP1999355858 1999-12-15
JP35584099 1999-12-15
JP200071783 2000-03-15
JP200079543 2000-03-22
JP200095698 2000-03-30
JP2000370469 2000-12-05

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNB008189366A Division CN1231050C (zh) 1999-12-15 2000-12-13 图像再现、处理装置和方法以及具有该装置的电视接收机

Publications (1)

Publication Number Publication Date
CN1848941A true CN1848941A (zh) 2006-10-18

Family

ID=18446006

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2005100790330A Pending CN1848941A (zh) 1999-12-15 2000-12-13 图像再现、处理装置和方法以及具有该装置的电视接收机

Country Status (2)

Country Link
US (1) US20030099293A1 (zh)
CN (1) CN1848941A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107071431A (zh) * 2011-01-11 2017-08-18 索尼公司 图像处理设备和方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030121038A1 (en) * 2001-09-12 2003-06-26 Gaurav Aggarwal Caching system and method supporting improved trick mode performance in video decoding systems
FR2834162A1 (fr) * 2001-12-20 2003-06-27 Koninkl Philips Electronics Nv Systeme de communication de donnees selon un principe de commutation par paquets
US7394561B2 (en) * 2002-08-28 2008-07-01 Kabushiki Kaisha Toshiba Image forming apparatus
TWI240560B (en) * 2003-12-03 2005-09-21 Via Tech Inc Control device, system and method for reading multi-pixel
JP4281722B2 (ja) * 2004-10-26 2009-06-17 ソニー株式会社 再生装置、再生方法、プログラムおよび記録媒体
US7903743B2 (en) * 2005-10-26 2011-03-08 Mediatek Inc. Memory sharing in video transcoding and displaying
JP4762095B2 (ja) * 2006-09-20 2011-08-31 株式会社東芝 画像復号装置及び画像復号方法
JP4468404B2 (ja) * 2007-05-02 2010-05-26 キヤノン株式会社 情報処理装置の制御方法、情報処理装置及びプログラム
US8213519B2 (en) * 2007-05-14 2012-07-03 Sandisk Il, Ltd. Methods of operating a dual decoder portable media device
JP4322944B2 (ja) * 2007-10-31 2009-09-02 株式会社東芝 映像再生装置、映像再生方法及び映像再生処理用プログラム
EP2223527A1 (en) * 2007-12-21 2010-09-01 Telefonaktiebolaget LM Ericsson (publ) Adaptive intra mode selection
CN101854508B (zh) * 2009-03-30 2015-12-09 三星电子株式会社 反向回放编码的多媒体内容的方法和装置
US8300703B2 (en) * 2009-09-22 2012-10-30 Texas Instruments Incorporated System and method for adaptively allocating resources in a transcoder
JP2012109720A (ja) * 2010-11-16 2012-06-07 Panasonic Corp 画像変換装置、画像再生装置及び画像変換方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8500841A (nl) * 1985-03-22 1986-10-16 Philips Nv Kodeer- of dekodeerschakeling voor tijdmultiplex en simultane signalen.
CA2099842A1 (en) * 1993-05-03 1994-11-04 Joanne Mary Lantz Absorbent article having an umbilical protection feature and an abbreviated absorbent structure
WO1996008095A1 (en) * 1994-09-08 1996-03-14 Virtex Communications, Inc. Method and apparatus for electronic distribution of digital multi-media information
TW322238U (en) * 1995-06-06 1997-12-01 Nippon Steel Corp A moving picture signal decoder
BR9610521A (pt) * 1995-09-15 1999-03-30 Thomson Consumer Electronics Sistema de exibição na tela aperfeiçoável
TW303570B (zh) * 1995-09-29 1997-04-21 Matsushita Electric Ind Co Ltd
JP2942497B2 (ja) * 1996-03-22 1999-08-30 ローム株式会社 画像データ復号表示方法および装置
US20020016963A1 (en) * 1996-08-08 2002-02-07 Hideki Inoue Information receiving apparatus
GB2318246B (en) * 1996-10-09 2000-11-15 Sony Uk Ltd Processing digitally encoded signals
US6201927B1 (en) * 1997-02-18 2001-03-13 Mary Lafuze Comer Trick play reproduction of MPEG encoded signals
US6377748B1 (en) * 1997-02-18 2002-04-23 Thomson Licensing S.A. Replay bit stream searching
CA2265089C (en) * 1998-03-10 2007-07-10 Sony Corporation Transcoding system using encoding history information
AUPP248298A0 (en) * 1998-03-20 1998-04-23 Canon Kabushiki Kaisha A method and apparatus for hierarchical encoding and decoding an image
US6751400B1 (en) * 1998-09-17 2004-06-15 Sony Corporation Reproducing method and apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107071431A (zh) * 2011-01-11 2017-08-18 索尼公司 图像处理设备和方法

Also Published As

Publication number Publication date
US20030099293A1 (en) 2003-05-29

Similar Documents

Publication Publication Date Title
CN1076932C (zh) 图像信号编码和解码的方法与装置
CN1223196C (zh) 解码器、解码方法
CN1167275C (zh) 图像处理方法
CN1224271C (zh) 图像编码译码装置
CN1239025C (zh) 使用画面类型转换的图象处理
CN1054486C (zh) 图象信号编码方法和装置和图象信号解码方法和装置
CN1227909C (zh) 用于编辑压缩的图象序列的方法
CN1199472C (zh) 对数字编码视频信号进行译码的可变长度译码器
CN1138275A (zh) 图形信号编码译码方法和装置及信号记录介质
CN1848941A (zh) 图像再现、处理装置和方法以及具有该装置的电视接收机
CN1941913A (zh) 用于跳跃图像的方法和设备
CN1725844A (zh) 数字媒体流的反向表示
CN1943246A (zh) 图像解码方法
CN1299502C (zh) 解码设备和解码方法
CN1170312A (zh) 取自运动图像的静止图像文件的图像处理和显示方法及装置
CN1992869A (zh) 重放设备、重放方法以及重放程序
CN101052127A (zh) 信息处理装置、信息处理方法、记录介质和程序
CN1691769A (zh) 可变帧速率记录的视频记录设备、复用及画面编码方法
CN1053780C (zh) 用于图象信号的高效编码和解码的设备和记录媒体
CN1231050C (zh) 图像再现、处理装置和方法以及具有该装置的电视接收机
CN1501703A (zh) 数据流重放设备和方法、数字广播接收器和相关的计算机程序
CN1747544A (zh) 记录装置、记录方法、再生装置、再生方法、及程序
CN1933602A (zh) 编码解码装置、编码解码方法及程序、编码解码集成电路
CN1140125C (zh) 视频处理装置和方法
CN1269352C (zh) 解码装置和解码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20061018