CN1154234C - 图像编解码设备和方法以及图像数据发送方法 - Google Patents

图像编解码设备和方法以及图像数据发送方法 Download PDF

Info

Publication number
CN1154234C
CN1154234C CNB971147515A CN97114751A CN1154234C CN 1154234 C CN1154234 C CN 1154234C CN B971147515 A CNB971147515 A CN B971147515A CN 97114751 A CN97114751 A CN 97114751A CN 1154234 C CN1154234 C CN 1154234C
Authority
CN
China
Prior art keywords
data
predictive coefficient
produce
correction data
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB971147515A
Other languages
English (en)
Other versions
CN1178415A (zh
Inventor
近藤哲二郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1178415A publication Critical patent/CN1178415A/zh
Application granted granted Critical
Publication of CN1154234C publication Critical patent/CN1154234C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Processing (AREA)

Abstract

为了利用少量的数据获得与原始图像几乎一致的解码图像,对通过减少原始图像数据获得的压缩数据进行校正,并输出校正数据。在本地解码器上,根据该校正数据预测原始图像数据,并输出该预测值。然后,在误差计算器上,计算预测值相对于原始图像数据的预测误差。在判定部件重复上述过程,一直到确定预测误差小于预定的值,当估计误差小于预定值时,把校正数据作为原始图数据的编码结果输出。

Description

图像编解码设备和方法以及 图像数据发送方法
本发明涉及一种图像编码设备和图像编码方法、图像解码设备,尤其涉及能以获得几乎与原始图像相同的解码图像的方式,进行稀疏化(二次抽样)而压缩图像的图像编码设备和图像编码方法、图像解码设备、图像发送方法。
传统上已提出各种方法作为压缩图像的方法,其中一种方法是通过减小像素密度来压缩图像。
但是,当通过内插简单扩展用这类稀疏化方法压缩的图像时,所得到的解码图像的分辨率很差。
这种解码图像分辨率的劣化有两个原因。一个原因是,稀疏化后的图像中没有包含原始图像中所包含的高频分量。第二个原因是,组成稀疏化图像的像素的像素值尤其不适用于对原始图像解码。因此,希望提供能够解决这类问题的方法和设备。
由于本发明准备解决这些问题,本发明能以获得与原始图像等同(几乎等同)的解码图像的方式,进行稀疏化(二次取样)而压缩图像。
根据本发明的一个方面,一种图像编码设备包括校正装置,它用于校正压缩数据并输出经校正的数据,其中压缩数据通过把原始图像数据压缩成像素较少而获得。预测装置根据校正数据预测原始图像并输出预测值。运算装置计算预测值相对原始图像数据的预测误差。判定装置根据预测误差确定校正装置输出的校正数据的适用性。输出装置根据判定装置的判定结果将校正数据作为原始图像数据的编码结果输出。
根据本发明的另一方面。一种图像编码方法通过校正压缩数据并输出经校正的数据,将一原始图像数据压缩成像素较少,其中压缩数据通过压缩原始图像数据而获得;重复进行以下步骤直至预测误差小于规定阈值,即根据校正数据预测原始图像数据并输出预测值,以及计算预测值相对原始图像数据的预测误差;然后将校正数据作为原始图像数据的编码结果输出。
根据本发明的又一方面,在一图像解码设备中,当预测误差小于一规定阈值时,获得用解码装置解码的编码数据作为校正数据,其方法是重复以下步骤,直至预测误差小于规定阈值:将原始图像数据压缩成像素较少;校正经压缩原始图像数据而获得的压缩数据并输出校正数据;根据校正数据预测原始图像数据并输出预测值;计算预测值相对原始图像数据的预测误差。
根据本发明的另一方面,图像编码设备包括具有自适应处理装置的预测装置,该自适应处理装置进行自适应处理,使每一类都获得预测系数,以便通过与校正数据线性组合来计算所述预测值,从而根据该预测系数获得预测值。
根据本发明的又一方面,图像编码包括具有分类装置的预测装置,该分类装装置根据校正数据的特性将校正数据分成规定的类,并且自适应处理装置对每一规定类进行自适应处理。
根据本发明的再一方面,图像编码设备包括发送设备,它用于发送由输出装置输出的校正数据。
根据本发明的一个方面,图像解码设备是一种对图像编码数据进行解码的图像编码设备,它包括用于对编码数据进行解码的解码装置,其中当预测误差小于一规定值时,编码数据为校正数据,而获得校正数据的方法是重复以下步骤,直至预测误差小于一规定阈值:将原始图像数据压缩成像素较少;校正经压缩原始图像数据而获得的压缩数据并输出校正数据;根据校正数据预测原始图像数据并输出预测值;计算预测值相对原始图像数据的估计误差。
参照以下描述和附图,将更清楚本发明的这些和其它方面。
图1是一方框图,示出了用于图像处理设备的本发明一实施例的结构。
图2是一方框图,例示了图1中发送设备1的一种结构。
图3是图2中发送设备1(不包括发送/记录装置16)之第一实施例的功能方框图。
图4是一流程图,示出了图3中发送设备1的工作情况。
图5是图3、17和21中压缩部件21的方框图。
图6是一流程图,示出了图5中压缩部件21的工作情况。
图7示出了图5中稀疏化部件31的工作过程。
图8是一方框图,例示了图3中本地解码器22的结构。
图9(A)和9(B)示出一分类过程。
图10(A)、10(B)和10(C)示出了ADRC过程。
图11是一流程图,示出了图8中本地解码器22的工作情况。
图12是一方框图,例示了图3、17和21中误差计算器23的结构。
图13是一流程图,示出了图12中误差计算器23的工作情况。
图14是图3和17中判定部件24的方框图。
图15是一流程图,示出了图14中判定部件24的工作情况。
图16是一方框图,示出了图1中与图3发送设备和图17发送设备连接使用的接收设备4。
图17是本发明第二实施例一发送设备的方框图。
图18是图17中本地解码器22’的方框图。
图19是一流程图,示出了图18中本地解码器的工作情况。
图20是一方框图,示出了一图像处理设备实施例的结构,该设备用于计算预测系数,以便存储在图18的预测系数ROM 81中。
图21是本发明第三实施例一发送设备的方框图。
图22是一流程图,示出了图21中发送设备的工作情况。
图23是图21中本地解码器22”的方框图。
图24是一流程图,示出了图23中本地解码器的工作情况。
图25是图21中判定部件24’的方框图。
图26是一流程图,示出了图25中判定部件的工作情况。
图27是与图21中发送设备一同使用的接收设备的方框图。
为了弄清下述各实施例中每个装置之间的对应关系,首先将参照附图简要描述一下本发明的某些特点。应该理解,术语“部件”将在最广泛的意义上来解释,包括硬布线电路、载有合适软件的主机、编程的微处理器或微控制器,或者它们的组合。
本发明的图像编码设备包括用于将原始图像数据压缩成几个像素的压缩装置(例如,图3所示的压缩部件21等),用于校正经压缩原始图像数据而获得的压缩数据并输出校正数据的校正装置(例如,图3所示的压缩部件21等),用于根据校正数据预测原始图像数据并输出预测值的预测装置(例如,图3所所示的本地解码器22等),用于计算预测值相对原始图像之预测误差的运算装置(例如,图3所示的误差计算器23等),用于根据预测误差确定校正装置所输出的校正数据之适用性的判定装置(例如,图3所示的判定部件24等),以及用于根据判定装置的判定结果将校正数据作为原始图像数据编码结果输出的输出装置(例如,图3所示的判定部件24等)。
以上描述并不是对每个所列装置的限制。
现在参照图1,图中示出了一图像处理***。工作过程中,将数字化的图像数据提供给发送设备1。发送设备1通过稀疏化(二次取样)该数据(减少像素数量)来对输入的图像数据进行压缩和编码,并且将所得到的数据记录在一个记录媒体2上,或者通过一传输路径3发送所得到的数据,其中,记录媒体包括例如光盘、磁光盘或磁带等,传输路径可以是例如地面波、广播电路、电话线路或有限电视网等。
然后,在接收设备4上重放记录在记录媒体2上的编码数据,或者接收通过传输路径发送的编码数据。随后,将该编码数据放大和解码,并将所得到的解码图像提供给图中未作显示的显示装置。
上述图像处理***可以应用于例如记录/再现图像用的设备和进行传输图像用的设备,其中用于记录/再现图像的设备可以是光盘设备、磁光盘设备和磁带设备等,而用于传输图像的设备可以是可视电话设备、电视广播***和有限电视***等。另外,图1的图像处理***还可以应用于在移动物体上使用且传输速率较低的便携式终端,例如便携式电话等。
现参照图2,图中示出了第一实施例的发送设备。在工作过程中,I/F(接口)11接收来自外界的图像数据并将编码数据传输给发送/记录装置16。只读存储器(ROM)12存储初始程序装入(IPL)使用的程序以及其它项目。随机存取存储器(RAM)13存储记录在外部存储设备15上的***程序(操作***(OS)),还有应用程序以及中央处理器(CPU)14工作中所必需的数据。CPU 14根据ROM 12中存储的IPL程序将来自外部存储设备15的***程序和应用程序装入RAM 13,并在***程序的控制下执行应用程序,以便对I/F11提供的图像数据进行以下编码处理。外部存储设备15可以是例如磁盘设备等,用来存储CPU 14工作中所必需的数据,以及CPU 14所执行的***程序和应用程序。然后,发送/记录装置16将来自I/F11的编码数据记录在记录媒体2上,或者通过传输路径3发送该数据。
I/F11、ROM 12、RAM 13、CPU 14以及外部存储设备15通过总线17连接在一起。
在用这种方式构造的发送设备中,当向I/F11提供图像数据时,该图像数据被提供给CPU 14。然后,CPU 14对该图像数据编码,并将所得到的编码数据提供I/F11。随后,I/F11接收编码数据并将该数据提供给发送/记录装置16。在发送/记录装置16中,将来自I/F11的编码数据记录在记录媒体2上,或者通过传输路径3发送编码数据。
现参照图3、4、5、8、11、12、13、14、15和16,说明发送设备1(不包括发送/记录装置16)和接收设备4的第一实施例。把将要编码的图像数据(原始图像数据)提供给压缩部件21、本地解码器22和误差计算器23。压缩部件21通过稀疏化像素对图像数据进行简单压缩,并且在判定部件24的控制下校正所得到的压缩数据(稀疏化后的图像数据)。然后,将压缩部件21所产生的校正数据提供给本地解码器22和判定部件24。
本地解码器22根据来自压缩部件21的校正数据对原始图像进行预测,并将这些预测值提供给误差计算器23。如下文所述,本地解码器22利用校正数据和原始图像数据进行处理,使每一类都获得预测系数,以便通过与校正数据线性组合来计算预测值。然后,本地解码器22根据这些相应的预测系数进行自适应处理,从而获得预测值,并且将这些预测值提供给误差计算器23,将本地解码器22产生的每一类的预测系数提供给判定部件24。
误差计算器23计算来自本地解码器22的预测值相对于原始图像数据(源图像数据)之输入图像数据的预测误差。然后将该预测误差作为误差信息提供给判定部件24。
判定部件24根据来自误差计算器23的误差信息,确定将压缩部件21输出的校正数据取作原始图像数据之编码结果的适用性。当判定部件24判定,压缩部件21输出的校正数据不适宜当作原始图像数据的编码结果,那么判定部件24控制压缩部件21,校正压缩数据,并输出所得的新校正的数据。当判定部件24判定,压缩部件21输出的校正数据适于被当作原始图像数据的编码结果,那么将压缩部件21所提供的校正数据作为优化的校正数据(为简便起见,下文中称为优化校正数据)提供给复接器25。还将本地解码器22所提供的预测系数提供给复接器25。
复接器25对来自判定部件24的优化数据(校正数据)和每一类的预测系数进行复接,并将多路复用的结果作为编码数据输出到发送/记录装置16中。
接下来,参照图4的流程图描述该工作过程。当把图像数据提供给压缩部件21时,在步骤S1,压缩部件21通过稀疏化该图像数据来实现压缩,并首先将该图像数据输出给本地解码器22和判定部件24,不进行校正。在步骤S2,本地解码器22对校正数据(起初该数据为图像数据己稀疏化时的压缩数据)进行本地解码。
也就是说,在步骤S2,利用校正数据和原始图像数据进行处理,使每一类都获得预测系数,以便通过与压缩部件21所输出校正数据的线性组合来计算原始图像数据的预测值,并且根据这些预测系数进行自适应处理,从而获得预测值。然后,将本地解码器22产生的预测值提供给误差计算器23,并将本地解码器22产生的预测系数提供给判定部件24。
由本地解码器22输出的预测值所构成的图像与接收设备4一侧(图1)获得的解码图像相同。
当从本地解码器22接收到原始图像数据的预测值时,在步骤S3,误差计算器23计算来自本地解码器22的预测值相对于原始图像数据的估计误差,并将这些预测误差作为误差信息提供给判定部件24。当从误差计算器23接收到误差信息时,在步骤S4,判定部件24根据该误差信息,判定压缩部件21所输出的校正数据是否适合作原始图像数据的编码结果。
也就是说,在步骤S4,要判定误差信息是否小于规定的阈值ε。当在步骤S4判定误差信息不小于规定的阈值ε,那么确认压缩部件21所输出的校正数据不适于作为原始图像数据的编码数据,过程进至步骤S5,判定部件24对压缩部件21进行控制以便校正压缩数据。然后,在判定部件24的控制下,压缩部件21改变校正量(下文称之为校正值Δ),对压缩数据进行校正,并将所得到的校正数据输出给本地解码器22和判定部件24。然后,返回到步骤S2,并重复同样的过程。
另一方面,当在步骤S4中判定误差信息小于规定的阈值ε,那么确认压缩部件21所输出的校正数据适于作为原始图像数据的编码结果。然后,当获得小于规定阈值ε的误差信息时,判定部件24将校正数据作为优化压缩数据连同每一类的预测系数一起输出给复接器25。在步骤S6,在复接器25中,对来自判定部件24的优化压缩数据和每一类的预测系数进行复接后,输出所得到的编码数据,并结束该过程。
如上所述,当误差信息小于规定的阈值ε时,将校正压缩数据所得的校正数据作为原始图像数据的编码结果。然后根据该校正数据,可以在接收设备4一侧获得与原始图像数据(源图像数据)几乎相同的图像。
接下来,图5中例示了压缩部件21的结构。
这里,将需要编码的图像数据输入到稀疏化部件31中。然后,稀疏化部件31按1/N将图像数据稀疏化,致使稀疏化部件31输出经压缩1/N的压缩数据。然后,将该压缩数据从稀疏化部件31输送至校正部件32。
然后,校正部件32根据判定部件24的控制信号(图3)将一地址提供给校正值ROM 33,以便读取校正值Δ。然后,校正部件32通过将来自校正值ROM 33的校正值Δ与来自稀疏化部件31的压缩数据相加,来产生校正数据。然后,将该校正数据提供给本地解码器22和判定部件24。然后为了校正稀疏化部件31所输出的压缩数据,校正值ROM 33又将各种校正值Δ的组合(例如,用于校正一帧压缩数据的校正值的组合)存储起来。读取与校正部件32提供的地址对应的校正值Δ的组合,并将其提供给校正部件32。
接下来,参照图6描述图5中压缩部件21的工作情况。
例如,当把一帧图像数据提供给稀疏化部件31时,在步骤S11,稀疏化部件31按1/N稀疏化该图像数据,并将所得到的压缩数据输出给校正部件32。
如图7所示,例如稀疏化部件31按1/9稀疏化图像数据。也就是说,稀疏化部件31只抽取位于每个单元中心的像素(图7中用·标记表示的位置)的像素值,并消除其它部分(如图7中O标记所示),其中将布置成3×3(水平×垂直)的九个像素取作一个单元。然后,稀疏化部件31对一帧(场)单元中的各单元实行上述过程。因此,把按1/9稀疏化一帧图像数据的压缩数据从稀疏化部件31输送至校正部件32。还可以将一帧图像分成几块,并在稀疏化部件处对这些块中的单元进行稀疏化处理。
当从稀疏化部件31接收到压缩数据时,在步骤S12,校正部件32就以下内容作出判断,即是否已从判定部件24接收到控制信号(图3),并且如果已收到控制信号,控制信号是否处于表示“工作结束”的状态。当在步骤S12处判定,还未收到控制信号,那么过程进至步骤S15。然后,校正部件32将压缩数据从稀疏化部件输出至本地解码器22和判定部件24,不将其修正为校正数据,而且过程返回步骤S12。
也就是说,如上所述,判定部件24根据误差信息控制压缩部件21(校正部件32)。于是,因不能获得误差信息(因误差计算器23不输出误差信息),紧接在稀疏化部件31输出压缩数据之后,判定部件24不会输出控制信号。因此,紧接在稀疏化部件31输出压缩数据之后,校正部件32不会对该压缩数据进行校正(进行加零校正),并且不进行修正就将该数据作为校正数据输出给本地解码器22和判定部件24。
另一方面,当在步骤S12处判定,已从判定部件24接收到控制信号,那么在步骤S13,校正部件32根据该控制信号将一地址输出给校正值ROM 33。结果,在步骤S13,从ROM 33中读取存储在该地址的用于校正一帧压缩数据的一个校正值Δ组合,并且将其提供给校正部件32。当从校正值ROM 33接收到一校正值Δ组合时,在步骤S14,校正部件32将相应的校正值Δ与各帧压缩数据相加,以便计算对压缩数据校正的校正数据。此后,过程进至步骤S15,从校正部件32将校正数据输出给本地解码器22和判定部件24,然后返回步骤S12。
当在步骤S12处判定,已从判定部件24接收到具有工作结束状态的控制信号时,过程返回步骤S11。在步骤S11,稀疏化部件31按1/N将该图像数据稀疏化,并依照该流程图处理下一帧的所得压缩数据。
如上所述,压缩部件21在判定部件24的控制下,反复输出将压缩数据校正为各种数值的校正数据。
当对一帧图像结束编码时,判定部件24将表示该状态的控制信号提供给压缩部件21。在步骤12处,当压缩部件21接收到该控制信号时,结束对当前帧的操作,并依照图6的流程图对下一帧图像进行操作。
在上例中,稀疏化部件31只抽取了位于3×3像素布局中心之像素的像素数据,以便产生压缩数据。但是,例如还可计算3×3像素的平均值,并通过将该平均值当作3×3像素中心处像素的像素值,来产生压缩数据。
图8例示了图3中本地解码器22的结构。
将来自压缩部件21的校正数据提供给分类用的分块部件41和预测值计算用的分块部件42。然后,分类用的分块部件41将校正数据分成用于分类的块,这些数据集中在所标注校正数据的周围,是根据校正数据的特性分成规定类的单元。
也就是说,在图7中,当用Xij表示上方第i个和左边第j个校正数据(压缩数据)(或像素)(图7中用标记·表示的部分)时,分类用的分块部件41构造一个分类块,该分类块一共包含九个像素,它们是所标注像素Xij之左上方、上方、右上方、左边、右边、左下方、下方和右下方的八个像素X(i-1)(j-1)、X(i-1)j、X(i-1)(j+1)、Xi(j-1)、Xi(j+1)、X(j+1)(j-1)、X(i+1)j和X(i+1)(j+1)以及被标注像素本身。然后,将此分类块提供给分类自适应处理电路43。
在该情况下,分类块包括一个由3×3个像素构成的正方形块,但分类块的形状不一定必须是正方形,例如可以是矩形、十字形或其它任意形状。构成分类块的像素的数目也不必限于由3×3个像素构成的九像素块。
预测值计算用的分块部件42将校正数据分成供预测值使用的块,这些数据集中在所标注校正数据的周围,是用于对原始图像数据计算预测值的单元。也就是说,在图7中,为了对像素Yij(1)至Yij(9)计算预测值,将校正数据Xij(图7中用·表示的部分)取作中心,并将出现在原始图像数据(源图形数据)中的3×3九个像素值表示成Yij(1)、Yij(2)、Yij(3)、Yij(4)、Yij(5)、Yij(6)、Yij(7)、Yij(8)和Yij(9),预测值计算用的分块部件42构成一正方形块,供预测值计算使用,例如它包含二十五个像素X(i-2)(j-2)、X(i-2)(j-1)、X(i-2)j、X(i-2)(j+1)、X(i-2)(j+2)、X(i-1)(j-2)、X(i-1)(j-1)、X(i-1)j、X(i-1)(j+1)、X(i-1)(j+2)、Xi(j-2)、Xi(j-1)、Xij、Xi(j+1)、Xi(j+2)、X(i+1)(j-2)、X(i+1)(j-1)、X(i+1)j、X(i+1)(j+1)、X(i+1)(j+2)、X(j+2)(j-2)、X(i+2)(j-1)、X(i-2)j、X(i+2)(j+1)和X(i+2)(j+2),中心像素为Xij,成为一个5×5的矩阵。
具体地说,例如为了计算Y33(1)’至Y33(9)’九个像素的预测值,其中这九个像素出现在图7中用四边形勾划的原始图像中,用于计算估计误差的块由像素X11’、X12’、X13’、X14’、X15’、X21’、X22’、X23’、X24’、X25’、X31’、X32’、X33’、X34’、X35’、X41’、X42’、X43’、X44’、X45’、X51’、X52’、X53’、X54’、X55’构成。
将预测值计算用的分块电路42处获得的用于计算预测值的块提供给分类自适应处理电路43。
与分类用块的情况一样,供预测值计算使用的块的像素数量和形状也不限于上述举例。但是最好,构成预测值计算用块的像素数量大于构成分类用块的像素数量。
当完成上述分块(不是分块处理的其它处理也一样)并且图像的图形帧附近没有相应的像素时,例如尽管图形帧之外存在与构成图形帧相同的像素,但处理过程已完成。
分类自适应处理部件43包含自适应动态范围编码(ADRC)处理部件44、分类部件45和自适应处理部件46,并进行分类自适应处理。
分类自适应处理是根据输入信号的特性将输入信号分成许多类,然后对每一类进行适当的自适应处理。因此,分类自适应处理基本上可以分成分类处理和自适应处理。
这里,将简单描述分类处理和自适应处理。
首先,将描述分类处理。
例如为了简单描述,如图中所示,在图9(A)中,由2×2个像素构成一个块(用于分类的块),它使用了某个所标注像素和该标注像素附近的三个系数,并且每个像素用一位(电平0或1)表示。在该情况下,如图9(B)所示,用每一像素电平的分布将2×2的四像素块分成16(=(21)4)种模式。这种模式划分就是分类过程,并由分类部件45来完成。
分类过程可以通过这样的方式来进行,以便考虑图像(块中的图像)的灵活性(图像复杂性)(变化程度)。
例如,通常约给每个像素分配8位。另外,在本实施例中,如上所述,分类用的块包含3×3九个像素。由于是对这种分类用块进行分类处理,所以可以分成(28)9类。
在本实施例中,在ADRC处理部件44中对分类用块进行ADRC处理。然后,通过减少构成分类用块的像素的位的数量来减少类的数量。
例如,为了描述简便,如图10(A)中所示,考虑包含直线上方成行的四个像素的块,在ARDC处理中对这些像素检测最大值MAX和最小值MIN。然后,将DR=MAX-MIN取作块的局限动态范围,并根据该动态范围DR将构成该块的像素的像素值再次量化成K位。
也就是说,从块内每个像素的值中减去最小值MIN,并用DR/2K除该差值,再根据所得到的除数将其转换成一个码。具体地说,如图10(B)所示,例如当K=2时,除数将动态范围DR分成4(=22)个等同部分,并就像素值属于哪个范围作出判断。当除数属于最低的等级范围、第二低等级范围、第三低等级范围或最高等级范围时,便完成了两位编码,例如分别是00B、01B、10B或11B(B表示二进制数字)。如图10(B)中所示,然后在解码侧,通过将ADRC编码00B、01B、10B和11B转换成最低等级范围的中心值L00、第二低等级范围的中心值L01、第三低等级范围的中心值L10和最高等级范围的中心值L11,来进行解码。然后,将最小值与该值相加。这种ADRC处理被称为非边缘匹配(non-edge matching)。
图10(C)示出了一种改进的非边缘匹配方法。在这种改进的非边缘匹配中,动态范围DR被分为四个等同的部分,并且将属于最低等级范围的像素值的平均值MIN’以及属于最高等级范围的像素值的平均值MAX’转换成ADRC码00B和11B。由MAX’-MIN’确定的划分动态范围DR’(划分成三个等同的部分)的等级被转换成ADRC码01B和10B,从而完成了ADRC解码。这就是改进的ADRC处理。
例如,在日本专利公布公报平3-53778中详细揭示了这一ADRC处理。
按上述方法,通过用一较少的位数进行再量化来实现ADRC处理,减少了类的数量,所述较少的位数少于分配给构成块的像素的位数,其中这种ADRC处理是在ADRC处理部件44中进行的。
在本实施例中,在分类部件45中,根据ADRC处理部件44输出的ADRC码,进行分类。但是,分类处理也可以通过取作目标数据来实现,并对目标数据进行例如DPCM(估计编码)、BTC(块截断编码)、VQ(矢量数字化)、DCT(离散余弦变换)和Adamar变换编码。
接下来,将描述自适应处理。
例如,可以考虑利用线性一阶耦合模型来获得原始图像数据之像素y的预测值E[y],其中线性一阶耦合模型由其邻近的几个像素的像素值(在本实施例中,下文将校正数据称为学习数据)x1、x2……以及规定的预测系数w1、w2……来确定。在此情况下,预测值E[y]由下式表示:
E[y]=w1x1+w2x2+…                  …(1)
然后,为了进行推广,用下式定义矩阵W、阵列X和阵列Y’,其中矩阵W是预测系数w的集合,阵列X是学习数据的集合,而阵列Y’是预测值E[y]的集合:
X = X 11 X 12 · · · · · · X 1 n X 21 X 22 · · · · · · X 2 n · · · · · · · · · · · · X m 1 X m 2 · · · · · · X mn
W = W 1 W 2 · · · W n , Y ′ = E [ y 1 ] E [ y 2 ] · · · E [ y n ]
然后可以获得以下试验方程。
           XW=Y′                   …(2)
对该试验方程进行最小二乘,可以获得原始图像数据的像素值y附近的预测值E[y]。在该情况下,当如下定义矩阵Y和矩阵E时,其中矩阵Y是原始图像数据之图像的像素值y(以下称为“教授数据”)的集合,而矩阵E是预测值E[y]相对原始图像数据之图像值y的余数e的集合:
[方程2]
W = e 1 e 2 · · · e m , Y = y 1 y 2 · · · y n
可由方程2获得以下余数方程:
  XW=Y+E                         …(3)
然后,用这样的方式来获得原始图像数据的预测系数wi,以便产生一最小误差,其中预测系数可用于获得原始图像数据之像素值y附近的预测值E[y]。
[方程3]
Σ i = 1 m = e i 2
因此,经预测系数wi微分的误差平方变成零,即满足以下方程的预测系数wi是用于获得原始图像数据之像素值y附近预测值E[y]的最合适的值。
[方程4]
e 1 ∂e 1 ∂ w i + e 2 ∂ e 2 ∂ w i + · · · ∂ e m ∂ w i = 0 - - - ( i = 1,2 , · · · , n ) - - - ( 4 )
这里,首先用预测系数wi通过微分方程(3)获得以下方程:
[方程5]
∂ e 1 ∂ w i = x i 1 , ∂ e i ∂ w 2 = x i 2 , · · · , ∂ e i ∂ w n = x ϵ , - - - ( i = 1,2 , · · · , m ) - - - ( 5 )
然后由方程(4)和方程(5)获得方程(6)。
[方程6]
Σ i = 1 m e i x i 1 = 0 , Σ i = 1 m e i x i 2 = 0 , · · · Σ i = 1 m e i x in = 0 - - - ( 6 )
考虑到余数方程(3)的学习数据x、预测系数w、教授数据y和余数e之间的关系,由方程(6)可以获得以下正则方程:
[方程7]
Figure C9711475100233
方程(7)中正则方程的数目正好与将要获得的预测系数w的数目相同。通过解方程(7)可以获得最合适的预测系数w。例如,方程(7)可以通过运用释放法(release method)(诸如Guass Jordan消除法)等来求解。
通过上述自适应处理,获得了每一类的最合适的预测系数w,并且利用该预测系数w由方程(1)获得了原始图像数据之像素值y附近的预测值E[y]。该自适应处理在自适应处理部件46中进行。
自适应处理不同于内插处理,在内插处理中,再现了原始图像数据中包含的但未包含在稀疏化图像中的分量。也就是说,如果在自适应处理中只使用方程(1),那么这与内插处理使用所谓内插滤波器是一样的。但是,由于通过进行利用教授数据y的所谓学习,获得了与该内插滤波器抽头数相应的预测系数w,所以可以再现原始图像数据中包含的分量。自适应处理可以说是一种再现所谓图像的操作过程。
接下来,将参照图11的流程图描述图8中本地解码器22的工作情况。
首先,在步骤S21,本地解码器22将来自压缩部件21的校正数据变成块的形式。也就是说,在分类用的分块电路41中,将校正数据变成3×3形式的像素块,集中在所标注校正数据的周围,供分类使用,并且将校正数据提供给分类自适应处理电路43。另外,在预测值计算用的分块电路42中,将校正数据变成5×5形式的像素块,集中在所标注校正数据的周围,供预测值计算使用,并将校正数据提供给分类自适应处理电路43。
除了分类用的块和预测值计算用的块,还将原始图像数据的图像数据提供给分类自适应处理电路43。将分类用的块提供给ADRC处理部件44,并将预测值计算用的块和原始图像数据的图像数据提供给自适应处理部件46。
在步骤S22,当接收到分类用的块时,ADRC处理部件44对分类用的块进行例如一位ADRC处理(用一位量化进行ADRC),从而将校正数据转换成(编码成)一位,并将其输出至分类部件45。在步骤S23,分类部件45对已经过ADRC处理的分类用的块进行分类处理。也就是说,分类部件45检测块中每个等级的分布状态,并且确定这些分类块所属的类。然后将此类别判定结果作为类别信息提供给自适应处理部件46。
在本实施例中,由于已对包含九个像素的分类用的块进行了分类,所以每个分类用的块都属于512(=(21)9)类中的一类,其中九个像素被布置成3×3的形式,已经过一位ADRC处理。
然后,进至步骤S24,并在自适应处理部件46中根据来自分类部件45的类别信息对每一类进行自适应处理,以便可以计算每一类的预测系数和1帧原始图像数据的预测值。
也就是说,在本实施例中,当把某些校正数据取作标注数据时,用校正数据和1帧的原始图像数据计算出每一类的25×9个预测系数。其条件是响应于类别信息,通过自适应处理计算总共九个像素,这九像素是对应于所标注校正数据的像素和该像素周围的八个像素,自适应处理中使用了25×9个预测系数和预测值计算用的块,预测值计算用的块包含5×5个像素,集中在所标注校正数据的周围。
具体地说,例如,当从分类部件45输出分类用的块的类别信息C,并且预测值计算用的分块电路42输出与分类用的块对应的预测值计算用的块时,首先将包含此估计值计算用的块的校正数据取作学习数据,然后将集中在校正数据X33周围的3×3个像素值Y33(1)至Y33(9)(图7中由四边形包围的部分)取作教授数据,从而满足方程(7)所述的正则方程,其中分类用的块包括图7所示的集中在校正数据X33周围的3×3个矩阵数据、X22’、X23’、X24’、X32’、X33’、X34’、X42’、X43’和X44’,而预测值计算用的块包含集中在校正数据X33周围的5×5个像素的校正数据X11’、X12’、X13’、X14’、X15’、X21’、X22’、X23’、X24’、X25’、X31’、X32’、X33’、X34’、X35’、X41’、X42’、X43’、X44’、X45’、X51’、X52’、X53’、X54’和X55’
例如,对1帧而言,当用同样方式对其它预测值计算用的块解正则方程,并且如果可能的话,就类别信息C计算(正好是获得正则方程的数目)用于获得像素值Y33(k)值之预测值E[Y33(k)](k=1,2,…9)的预测系数w1(k)至w25(k)(在本实施例中,用25项学习数据来获得一个预测值,并且由此需要25个预测系数w)时,通过解该正则方程可以计算出用于获得像素值Y33(k)值之预测值E[Y33(k)]的最合适的预测系数w1(k)至w25(k)(在步骤S24中进行求解正则方程的过程,直至获得具有该数目的正则方程),其中所述其它预测值计算用的块与其它的用类别信息C分类的预测值计算用的块对应。对每一类进行上述处理,计算25×9个预测系数。然后,根据下述方程获得预测值E[Y33(k)],下述方程对应于方程(1),而方程(1)使用了与类别信息C’相对应的25×9个预测系数和预测值计算用的块中25个像素。
E[Y33(k)]=w1(k)x11+w2(k)x12+w3(k)x13
           +w4(k)x14+w5(k)x15+w6(k)x21
           +w7(k)x22+w8(k)x23+w9(k)x24
           +w10(k)x25+w11(k)x31
           +w12(k)x32+w13(k)x33
           +w14(k)x34+w15(k)x35
           +w16(k)x41+w17(k)x42
           +w18(k)x43+w19(k)x44
           +w20(k)x45+w21(k)x51
           +w22(k)x52+w23(k)x53
           +w24(k)x54+w25(k)x55
                                   …(8)
在步骤S24,在对每一类计算了25×9个预测系数后,集中在所标注校正数据周围的3×3个像素为单位,计算3×3个预测值。之后,在步骤S25,向判定部件24提供每一类的25×9个预测系数,并对于每3×3个像素将预测值提供给误差计算器23。然后,返回步骤S21,并例如对每个帧重复相同的过程。
接下来,图12例示了图3中误差计算器23的结构。
原始图像数据被提供给分块部件51。然后,分块部件51将该图像数据变成9个像素构成的块的形式,该块对应于本地解码器22输出的原始图像数据的预测值。再将作为结果获得的3×3像素块输出至误差平方计算部件52。除了块编码部件51提供的块之外,还将来自本地解码器22的原始图像数据的预测值按每个由9个像素构成的块单元(3×3像素构成的块单元)提供给误差平方计算部件52。然后误差平方计算部件52计算一误差平方作为预测值相对原始图像数据的预测误差,并将其提供给积分器55。
误差平方计算部件52包括运算部件53和54。运算部件53从来自块编码部件51的已成块状形式的图像数据中减去相应的预测值,并且将这些差值提供给计算部件54。然后运算部件54对运算部件53的输出(原始图像的图像数据,以及预测值和差值)进行平方并将其提供给积分器55。
当从误差平方计算部件52接收到误差平方时,积分器55读取存储在存储器56中的值。然后,将这些存储值与误差平方相加,再提供给存储56进行存储,该过程重复进行。由此获得误差平方的积分值(误差的离差)。当积分器55对规定量(例如,一帧部分等)完成误差平方的积分时,从存储56读取该积分值,并将其作为误差信息提供给判定部件24。当结束对一帧的处理时,存储56清除这些存储值并存入积分器55输出的值。
接下来,将参照图13的流程图描述该操作过程。误差计算器23中,在步骤S31,首先将存储在存储器56中的值清零,并进行至步骤S32。然后,在块编码部件51中,将图像数据变成块的形式,并将所得到的块提供给误差平方计算部件52。然后,在步骤S33,在误差平方计算部件52中,计算含有块编码部件51所提供块的原始图像数据之图像数据的误差平方,以及本地解码器22提供的预测值。
也就是说,在步骤S33,在运算电路53中,从块编码部件51所提供的块形式的各个图像数据中减去相应的预测值,并将所得到的数据提供给运算部件54。另外,在步骤S33,在运算部件54对运算部件53的输出进行平方,并将其提供给积分器55。
在步骤S34,当接收到误差平方计算部件52提供的误差平方时,积分器55读取存储在存储器56中的值,并通过将这些存储值与误差平方相加来获得误差平方的积分值。然后,将积分器55计算得到的误差平方的积分值提供给存储器56,并通过改写先前存储的值存储起来。
接下来,在步骤S35,积分器55就误差平方是否完成,对一规定量(例如一帧部分)的积分作出判断。当在步骤S35判定,误差平方对一帧部分的积分没有结束时,返回步骤S32,并重复S32以下的过程。另外,当在步骤S35判定,误差平方对一帧部分的积分已经结束时,流程进至步骤S36。于是,积分器55读取存储在存储器56中一帧部分的误差平方积分值,并将这些值作为误差信息输出给判定部件24。然后返回步骤S31,并重复步骤S31以后的过程。
然后,在误差计算器23中,根据以下方程进行算术运算,计算出误差信息Q,其中原始图像数据表示为Yij(k),而预测值表示为E[Yij(k)]:
               Q=∑(Yij(k)-E[Yij(k)])2
这里,∑是对一帧部分求和。
图14例示了图3中判定部件24的结构。
预测系数存储器61存储了本地解码器22提供的预测系数。校正数据存储62存储了压缩部件21提供的校正数据。
当压缩部件21提供新校正的数据时,校正数据存储器62存入新的校正数据,以替代已存储的校正数据(先前校正的数据)。当用这种方式更新校正数据时,本地解码器22输出与该新校正数据对应的一组新的预测系数。但是,当仍将每一类的这些新的预测系数提供给预测系数存储器61时,每一类的这些新的预测系数被存入,替代了已存储的每一类的预测系数(先前的每一类的预测系数)。
误差信息存储器63存储误差计算器23提供的误差信息。误差信息存储器68不仅存储误差计算器23提供的误差信息,还存储先前提供的误差信息(即使提供新的误差信息,仍保持已存储的误差信息直至提供新的误差信息)。然后,每次开始新帧处理时清除误差信息存储器63。
比较器64将当前存储在误差信息存储器63中的误差信息与一规定的阈值ε比较,并且如果必要,还将当前的误差信息与先前的误差信息比较。然后,将比较器64的比较结果提供给控制器65。
控制器65根据比较器64的比较结果判断,存储在校正数据存储器62中的校正数据是否适于被取作原始图像编码的结果。当确认(判定)校正数据不是最合适时,将请求输出新校正数据的控制信号提供给压缩部件21(校正部件32)(图5)。另外,当确认存储在预测系数存储器61中的每一类的预测系数最适于被取作原始图像数据的编码结果时,控制器65读取存储在校正数据存储器62中的校正数据,将该数据输出给复接器25,从而将最合适的校正数据提供给复接器25。另外,在该情况下,控制器65将一控制信号输出给压缩部件21,表示对一帧图像的编码已结束,以便如上所述,在压缩部件21处开始对下一帧进行处理。
接下来,将参照图15描述判定部件24的工作情况。判定部件24中,在步骤S41,由比较器64判断是否已从误差计算器23接收到误差信息。当判定未接收到误差信息时,返回步骤S41。当在步骤S41判定已接收到误差信息,即误差信息被存储在误差信息存储器63中时,流程进至步骤S42。然后,比较器64将当前存储在误差信息存储器63中的误差信息(当前误差信息)与规定的阈值ε比较,并判断哪一个大。
当在步骤S42判定当前的误差信息等于或大于规定的阈值ε时,比较器64读出存储在误差信息存储器63中的先前的误差信息。然后,在步骤S43,比较器64将先前的误差信息与当前的误差信息比较,并判断哪一个大。
当开始对一帧进行处理并首次提供误差信息时,先前的误差信息并不存储在误差信息存储器63中,因此,在该情况下,判断部件42不进行步骤S43及其以后的处理。于是,输出用于控制校正部件32的控制信号(图5),并且输出一规定的初始地址。
当在步骤S43判定当前误差信息小于先前误差信息时,即当通过对压缩数据进行校正减小了误差信息时,流程进至步骤S44。然后,控制器65将一控制信号输出给校正部件32,表示用与先前相同的方式改变校正值Δ,并且流程返回步骤S42。另外当在步骤S43判定当前误差信息大于先前误差信息时,即当通过压缩数据校正增大了误差信息时,流程进至步骤S45,控制器65将一控制信号输出给校正部件32,指示用相反与先前的方式改变校正值Δ,并且流程返回S41。
当继续减小的误差信息在某一时刻增大时,控制器65输出一控制信息,指示用相反于先前的方式改变校正值Δ,例如校正值为当时的1/2,直至符合要求。
然后,通过重复步骤S41至S45的过程,减小误差信息。用这种方式,当在步骤S42判定当前误差信息小于规定的阈值时,流程进至步骤S46。然后,控制器65读取存储在校正数据存储器62中的校正数据,并且将原始图像数据的预测值作为优化数据中最合适的校正数据提供给复接器25。在步骤S46,控制器65读取存储在预测系数存储器61中的每一类的预测系数,和存储在校正数据存储器62中的一帧的校正数据,将该数据提供给复接器25,并结束处理过程。
之后,等待下一帧的误差信息,并根据图15所示的流程图重复操作过程。
在校正部件32,原始图像数据之图像数据的校正可以针对一帧原始图像数据的所有图像数据进行,也可以只对一部分的数据进行校正。例如,当只对一部分进行校正时,用控制器65检测严重影响误差信息的像素,然后仅对这些像素进行校正。例如可以用以下方式检测严重影响误差信息的像素。即,首先通过利用稀疏化后保持原样的像素的压缩数据进行处理,来获得误差信息。将误差信息(1)与误差信息(2)作比较,其中误差信息(1)由一控制信号输出产生,该控制信号是对稀疏化后仍保持的像素的压缩数据进行处理,即每次对一个像素用相同的校正值Δ进行校正,而误差信息(2)是不经修改便使用压缩数据时所获得的。然后,将该差值大于或等于一规定值的像素检测作为严重影响误差信息的像素。
然后,重复校正原始图像数据的图像数据,直至误差信息小于(等于或小于)规定的阈值ε。当误差信息小于规定的阈值ε时,将校正数据作为优化校正数据输出。因此,利用该优化校正数据可以在接收设备4(图1)处获得与源图像数据相同(几乎相同)的解码图像,其中优化校正数据就是该校正数据的值最适于对原始图像数据的图像进行解码。
除了通过稀疏化进行压缩之外,还可通过ADRC处理和分类自适应处理等压缩图像,并由此获得压缩率极高的编码数据。通过将利用稀疏化的压缩编码与分类自适应处理有机地结合(称为组合编码处理),发生在发送设备1中的上述编码处理可获得高效率的压缩。
现将参照图16,详细阐述解码器的第一实施例。
在接收/再现装置71中,重放记录在记录媒体2上的编码数据,或者接收通过传输路径3发送的编码数据并将其提供给分离器72。然后,分离器72将编码数据分成校正数据和每一类的预测系数。将校正数据提供给分类用的分块部件73和预测值计算用的分块部件77,并将每类的预测系数提供给预测部件76,而且例如将其存储在一存储器(未示出)中。
分类用的分块部件73、ADRC处理部件74、分类部件75以及预测值计算用的分块部件77的结构与分类用的分块部件41、ADRC处理部件44、分类部件45以及预测值计算用的分块部件42的结构相同。因此,对这些块进行与图8所示情况相同的过程,以便从预测值计算用的分块部件77输出预测值计算用的块,并从分类部件75中输出类别信息。然后,将预测值计算用的块和类别信息提供给预测部件76。
在预测部件76处,根据方程(1),利用相应于类别信息的预测系数和校正数据计算3×3预测值,其中校正数据包含由预测值计算用的分块部件77提供的5×5个预测值计算用的像素块。然后,将用这些预测值构成的一帧的图像作为解码图像输出。
在接收方,通过常规的内插获得解码数据,内插时不使用预测系数,甚至不使用图16所示的接收设备4,而是利用一种通过对稀疏化图像进行简单内插来解码的设备。但是,该情况下获得的解码图像的图像质量(分辨率)较差。
上述情况中,在图3的本地解码器22中获得预测系数,并用它们来获得预测值。但是,不获得预测系数也可以在本地解码器22中计算预测值。
现参照图4、5、6、12、13、14、15、16、17、18、19和20,阐述发送设备1(不包括发送/记录装置16)和接收设备4的第二实施例。现参照图17,该图17示出了发送设备的第二实施例。与图3发送设备不同,图17的发送设备使用了一种不同的本地解码器。具体地说,用图18所示的本地解码器22’代替了图3的本地解码器22。更具体地,图18是图17中本地解码器22’的方框图。在图18中,与图8中本地解码器22相对应的部分用相同的标号表示。这就是说,除了用预测系数ROM 81和预测部件82来代替自适应处理部件46之外,图18中本地解码器22’的结构与图8中本地解码器22相同。
预测系数ROM 81存储通过学习(以后描述)已获得的每一类的预测系数,接收ADRC处理部件44输出的类别信息,读取存储在与类别信息对应的地址中的预测系数,并将该数据提供给预测部件82。预测系数ROM 81还将每一类的预测系数输出至判定部件24(图17)。
在预测部件82处,通过方式(1)所示的线性一次方程(具体地,例如公式(8))计算原始图像数据的预测值,其中方程中使用了5×5个来自预测值计算用的分块部件42的预测值计算用的像素块,以及来自预测系数ROM 81的预测系数。
因此,根据图18的分类自适应处理电路43,无需使用原始图像数据便可计算这些预测值。可以将包含教授块的像素值的平均值存储在预测系数ROM 81上对应于每一类的地址中,而不是存储实际的预测系数。在该情况下,当考虑类别信息时,输出对应于该分类的像素值。这一实施例中,图18的本地解码器22’不包括预测值计算用的分块部件42和预测部件82。
现参照图19,对图18的本地解码器22’的工作情况作进一步的阐述。与图8的本地解码器相同,在步骤S21,本地解码器22’将来自压缩部件21的校正数据变成块的形式。也就是说,在分类用的分块电路41处,将校正数据变成由3×3个像素构成的块的形式,集中在所标注校正数据的周围,供分类使用,并将校正数据提供给分类自适应处理电路43。另外,在预测值计算用的分块部件42处,将校正数据变成由5×5个像素构成的块的形式,集中在所标注校正数据的周围,供计算预测值使用,并将校正数据提供给分类自适应处理电路43。
将分类用的块提供给ADRC处理部件44,并且将预测值计算用的块提供给预测部件82。
在步骤S22,当接收到分类用的块时,ADRC处理部件44对分类用的块进行一位ADRC处理(用一位量化进行ADRC),从而将校正数据转换(编码)成一位,并将校正数据输出至分类部件45。在步骤S23,分类部件45对已经过ADRC处理的分类用的块进行分类处理。也就是说,分类部件45检测块中每一等级的分布状态,并确定这些分类块所属的类。然后,将这一分类判断结果作为类别信息提供给自适应处理部件46。
在此实施例中,由于已经对包含9个像素的分类用的块进行了分类,所有每个分类用的块属于512(=(21)9)类中的一类,其中分类用的块已经过一位ADRC处理,9个像素被布置成3×3的形式。
然后,流程进至步骤S24’,并且在此步骤,为每一类读取预测系数。在步骤S25’,进行自适应处理,从而计算出每一类的预测值。在步骤S26,输出每一类的预测系数以及预测值。然后,流程返回步骤S21,对例如每一帧重复相同的过程。
下面,图20示出了图像处理设备结构的例子,该设备进行学习,以获得存储在图18的预测系数ROM 81内的每种类别的预测系数。
向用于学习的分块部件91和用于教授的分块部件92提供学习用的图像数据(学习图像),以获得适用于所有图像的预测系数。预先选出这种图像数据,代表要产生数据,即代表场景、活动、视觉效果等类型。
用于学习的分块部件91从输入的图像数据中取出例如图7的标记·所示的位置关系的25个像素(5×5个像素)。然后把包含这25个像素的块提供给ADRC压缩部件93和学习数据存储器96。
在用于教授的分块部件92中,根据输入的图像数据,产生包含例如排成3×3的9个像素的块。然后把包含9个像素的块作为用于教授的块提供给教授数据存储器98。
当在用于学习的分块部件91上产生包含例如图7内的标记·所示的位置关系的25个像素的用于学习的块时,在用于教授的分块部件92上产生如图7的四边形所围的用于学习的3×3像素块。
ADRC压缩部件93从包含用于学习的块的25个像素中取出中央的9个像素(3×3个像素),然后,对这9个像素的块以与图18的ADRC处理部件44的相同的方法进行1比特ADRC处理。然后,把经ADRC处理的3×3像素块提供给分类部件94。在分类部件94内以与分类部件45相同的方法对ADRC处理部件93输出的块进行分类,然后,把获得的类别信息通过开关95的一端传送给学习数据存储器96和教授数据存储器98。
把从用于学习的分块部件91得到的用于学习的块和从用于教授92的分块部件92得到的用于教授的块分别对应于提供的类别信息存储在学习数据存储器96和教授数据存储器98的地址上。
在学习数据存储器96上,当例如把包含图7的标记·所示的5×5个像素的块作为用于学习的块并存储在某一地址上时,则把图7的四边形所围的3×3个像素块作为用于教授的块存储在地址与该地址相同的教授数据存储器98内。
然后,对预先准备用于学习的所有图像重复相同的过程。这样,把包含9个像素的用于学习的块和用于教授的块存储在地址相同的学习数据存储器96和教授数据存储器98,在图17的本地解码器22上已利用用于预测值计算的块获得这9个像素的预测值,这种预测值计算包含25项具有与包含该块的25个像素相同的位置关系的校正数据。
可以把多个信息以相同的地址存储在学习数据存储器96和教授数据存储器98上。这样,可以在相同的地址上存储多个学习块和教授块。
当把所有用于学习的图像的学习块和教授块都存储在学习数据存储器96和教授数据存储器98内时,开关95的选择端转换到端子b上。然后,根据地址把计数器97的输出提供给学习数据存储器96和教授数据存储器98。计数器97对规定的时钟进行计数,并输出计数值。再从学习数据存储器96和教授数据存储器98读取存储在对应于该计数值的地址上的学习块和教授块,并把它们提供给计算部件99。
然后,根据计数器97的计数值把对应于某一类的学习块组和教授块组提供给计算部件99。
计算部件99接收某一类的学***方法,计算某一类的预测系数,使误差最小。
例如,当包含学习块的像素的像素值取x1、x2、x3…,并且要获得的预测系数取w1、w2、w3…时,利用线性一阶耦合配置学习块,为了获得某一像素的像素值y,预测系数w1、w2、w3…要满足下方程。
y=w1x1+w2x2+w3x3+…
在计算部件99上,预测系数w1、w2、w3…通过求解公式(7)所示的常规公式,根据同类的学习块和相应的教授块,使预测值w1x1+w2x2+w3x3+…相对于真实值y最小。
把计算部件99获得的各类别的预测值提供给存储器100。除了计算部件99的预测系数之外,还把计数值提供给存储器100,以能把计算部件99的预测系数存储在对应于计数器97的计数值的地址上。因此,通过上述对每个类别的处理,计算得到每个类别的25×9预测系数。
把最适合于这类预测3×3像素块的预测系数(这里为25×9个预测系数)存储在存储器100中对应于每一类的地址上。
在第一实施例中,每一类的预测系数是在本地解码器内实时计算的,并把存储在存储器100内的每一类的预测系数存储在图18的预测系数ROM 81上。在第二实施例中,由于在本地解码器中,不计算每一类的预测系数,所以可以提供处理速度。在第三实施例中,由于不传送预测系数,所以可以提高压缩效率。
现在参见图5、6、12、13、21、22、23、24、25、26和27,解释发送设备1(不包括发送/记录设备16)和接收设备4的第三实施例。参见图21,对于本地解码器22”和判定部件24’,图21的发送设备在细节上与图17的发送设备不同。更具体地说,本地解码器22”不提供每一类的预测系数,而图19的本地解码器22’提供。而且,按照对本地解码器22”输出的要求,图21的判定部件24’输出最佳的压缩数据,但不输出预测系数。因此,判定部件24的输出数据在传送或记录这些输出数据之前,不需要(与系数数据)复接。
现在参见图22,更详细的解释图21的发送设备的工作情况。当把图像数据提供给压缩部件21时,在步骤S1,压缩部件21通过稀疏(二次抽样)该图像数据进行压缩,并首先向本地解码器22”和确定部件24’输出,不进行校正。在步骤S2,本地解码器22’对已校正数据(开始它是简单稀疏图像数据的压缩数据)进行本地解码。
即,在步骤S2,把本地解码器22”产生的预测值提供给误差计算器23。
包含本地解码器22”输出的预测值的图像与在接收设备4(图27)一侧获得的解码图像相同。
当从本地解码器22”接收到原始图像的预测值时,在步骤S3,误差计算器23对原始图像数据计算本地解码器22”的预测值的预测误差,并把这些预测误差作为误差信息提供给判定部件24’。当从误差计算器23接收到误差信息时,在步骤S4,判定部件24’根据该误差信息,确定压缩部件21输出的经校正的数据是否适于作为原始图像的编码结果。
即,在步骤S4,确定误差信息是否小于预定阈值ε。如果在步骤S3确定误差信息不小于预定阈值ε,则证实压缩部件21输出的校正数据不适于作为原始图像数据的编码数据,进入到步骤S5,判定部件24’控制压缩部件21,校正压缩数据。然后,压缩部件21在判定部件24’的控制下改变校正量(下文称作校正值Δ),校正压缩数据,并把得到的校正数据输出给本地解码器22”和判定部件24。然后返回步骤S2,重复相同的过程。
另一方面,如果在步骤S4确定误差信息小于预定阈值ε,则证实压缩部件21输出的校正数据适于作为原始图像数据的编码结果。然后在步骤S6’,在误差信息小于预定阈值的情况下,判定部件24’输出该校正数据,以便发送或记录。
如上所述,当误差信息小于预定阈值ε时,把根据压缩数据校正的校正数据作为原始图像数据的编码结果。根据该校正数据可以在接收设备4’一侧得到与原始图像数据(源图像数据)几乎相同的图像。
现在参见图23,解释第三实施例的本地解码器22”。在本地解码器22”中,用预测系数ROM 81’代替了第二实施例的预测系数ROM 81。由于本地解码器22”不产生每一类的预测系数(第二实施例的本地解码器22’产生),所以预测系数ROM 81’不输出这种预测系数,而是仅将该系数提供给预测部件82。较详细地说,对应于图8的本地解码器22的部分以相同标号表示。也就是说,除了用自适应处理部件46代替预测系数ROM 81和预测部件82之外,图19的本地解码器22’的结构与图8的本地解码器22相同。
预测系数ROM 81’存储通过学习(下文描述)已经获得的每一类的预测系数,接收ADRC处理部件44输出的类别信息,读取存储在对应于该类别信息的地址内的预测系数,把该数据提供给预测部件82。
在预测部件82上,利用预测值计算用分块电路42来的用于预测值计算的5×5的像素块以及从原始图像数据的预测系数ROM 81来的预测系数,可以计算公式(1)所示的线性一次方程(具体如式(8))。因此,根据图23的分类自适应处理电路43,可以计算这些预测值,而不用原始图像。
现在参见图24,解释图23的本地解码器22”的工作情况。与图8的本地解码器一样,在步骤S21,本地解码器22”把压缩部件21的校正数据变成块的形式。即,在分类的用块部件41上,把校正数据变成3×3像素的形式,集中在所标注校正数据的周围,并把它提供给分类自适应处理部件43。而且,在预测值计算用分块电路42上,把校正数据变成5×5像素数据块,集中在所标注校正数据的周围,并把它提供给分类自适应处理电路43。
把用于分类的块提供给ADRC处理电路44,把用于预测值计算的块提供给自适应处理电路46。
在步骤S22,当接收到用于分类的块时,ADRC处理部件44对用于分类的块进行例如1位ADRC(利用一位量化进行ADRC)处理,把校正数据变换(编码)成一位,并输出到分类部件45。在步骤S23,分类部件45把已经过ADRC处理的用于分类的块进分类处理。即,分类部件45检测块内每级的分布状态,确定这些分类块属于的类别。然后,把类别判断结果作为类别信息提供给自适应处理部件46。
在该实施例中,因为已经对包含经过1位ADRC处理的9个分布成3×3的像素的用于分类的块进行了分类,每个用于分类的块属于512(=(29)个类别之一。
然后,进入到步骤S24’,在该步骤,响应于提供的分类信息读取预测系数。在步骤S25’,进行自适应处理,以计算预测值。然后,在步骤S26’,输出预测值。与图17的本地解码器不同,不输出预测系数。然后,返回步骤S21,对例如每一帧重复相同的过程。
现在参见图25,解释第三实施例的判定部件24’。与图14所示的第二实施例的判定部件24相反,判定部件24不利用预测系数存储器61。在工作时,当压缩部件21提供最近的校正数据时,校正数据存储部件62用最近的校正数据代替已存储的校正数据(前次校正的数据)。这样,当用这种方法以新数据更新校正数据时,不从本地解码器22输出对应于该新校正数据的一组新预测系数。
误差信息存储器63存储误差计算器23提供的误差信息。误差信息存储器63除了前次提供的误差信息(即使提供了新的误差信息,仍保持已经存储的误差信息,一直到提供了新的误差信息)之外,还存储误差计算器23最近提供的误差信息。然后,每次开始处理新帧时清除误差信息存储器63。
比较器64比较当前存储在误差信息存储器63内的误差信息和预定阈值ε,并且,如果必要,比较当前的误差信息和先前的误差信息。然后,把比较结果提供给控制器65。
控制器65根据比较器64的比较结果确定存储在校正数据存储器62内的校正数据是否适合于(是最佳)作为原始图像的编码结果。当证实(确定)校正数据不是最适用时,向压缩部件21(校正电路32)(图5)提供请求输出新校正数据的控制信号。而且,控制器65读出存储在数据存储器62内的校正数据,并把该数据输出到多路复接器25,从而向发送设备和/或记录装置提供最佳的压缩数据。此外,在这种情况下,控制器65向压缩部件21输出表示完成对一帧图像的编码的控制信号,以便如上所述,在压缩部件21开始对下一帧进行处理。
现在参见图26,进一步解释图25的判定部件的工作情况。判定部件24’中,在步骤S41由比较器64确定是否已从误差计算器23接收到误差信息。当确定没有接收到误差信息时,返回步骤S41。当在步骤S41确定接收到误差信息时,即,误差信息已存储在误差信息存储器63上时,进入到步骤S42。然后,比较器64比较当前存储在误差信息存储器63内的误差信息(当前误差信息)与预测值ε,并确定哪个大。
当在步骤S42确定当时的误差信息等于或大于预测值ε时,比较器64读出存储在误差信息存储器63内的前次误差信息。然后,在步骤S43比较器64比较先前的误差信息和当前的误差信息,确定哪个大。
在刚开始处理一帧,并首次提供误差信息时,误差信息存储器63内并没有存储先前的误差信息。因此,在这种情况下,在判定部件24不进行步骤S43及以后的步骤。而是输出控制校正部件32(图5)的控制信号,并且输出预测起始地址。
当在步骤S43确定当前误差信息小于或等于先前误差信息时,即当校正压缩数据使误差信息减小时,进入到步骤S44。然后控制器65向校正部件32输出控制信号,指示校正值Δ要以与前次相同的方式改变,并返回到步骤S41。此外,当在步骤S43确定当前误差信息大于先前误差信息时,即当校正压缩数据使误差信息增加时,进入到步骤S45,控制器65向校正部件32输出控制信号,指示校正值Δ要以与次相反的方式改变,并返回到步骤S41。
当误差信息持续减小,在某一时刻增加时,控制器65输出控制信号,指示校正值Δ要以与前次相反的方式改变到例如当时校正值的1/2,直至符合要求。
然后,重复步骤S41至S45,减小误差信息。这样,当在步骤S42确定当前的误差信息小于规定的阈值时,进入到步骤S46’。然后,控制器65读取存储在校正数据存储器62内的校正数据,并把估计值作为最佳校正数据提供给发送/记录装置。
此后,等待下一帧的误差信息,根据图26的流程重复该过程。
现在参见图27,详细描述第三实施例的接收设备4’。与第二实施例的接收设备4(图16)相反,接收设备4’不接收每一类的预测系数。反之,接收设备4’包括预测系数ROM 78。预测系数ROM 78装载有与图23的预测系数ROM 81’装载的相同的数据。更详细地说,在接收/再现装置71上,重放记录在记录媒体2上的编码数据或者接收通过传输路径发送的编码数据,并把它们提供给分类用分块部件73和预测值计算用分块电路77。
分类用分块部件73、ADRC处理部件74、分类部件75和预测值计算用分块部件77的结构与分类用分块部件41、ADRC处理部件44、分类部件45和预测值计算用分块部件42相同。因此,这些块进行与图23的情况相同的过程,所以预测值计算用分块电路77输出用于预测值计算的块,分类部件75输出类别信息。然后向预测部件76提供用于预测值计算的块和类别信息。
在预测部件76,根据公式(1)利用读取的对应于类别信息的预测系数和包含有预测值计算用分块电路77提供的用于预测值计算的5×5像素块的校正数据,计算3×3预测值。然后,预测部件76把利用这些预测值组成的一帧图像作为解码图像输出。
可以在ROM 81的对应于每一类的地址上存储包含教授块的像素值的平均值,而不是存储实际的预测系数。在这种情况下,当考虑类别信息时,输出对应于这一类的像素值。这一实施例中的图19的本地解码器22中,既不包括预测值计算用分块电路42也不包括预测部件82。
在上面,已经描述了本发明应用于图像处理装置,但,除了诸如NTSC格式的标准格式的编码电视信号之外,这类图像处理装置还对具有大量数据的所谓编码高清晰度格式的电视信号特别有效。
在本实施例中,把误差的平方和用于误差信息,但例如,也可以把误差的绝对值或者误差的立方和或者多次方和用作误差信息。无论把哪种值用作误差信息,都可以根据例如收敛性来决定。在本实施例中,虽然对一帧进行每一步骤的处理,但也可以对一场、两帧或多帧进行每一步骤的处理。此外,把一帧图像作为一目标进行块编码,但也可以把按时间顺序连接的多帧上相同位置的像素聚集在一起来配置块。
在本实施例中,重复校正压缩数据,一直到误差信息小于预测值ε,但也可以对校正压缩数据次数设定一上限。即,例如,当实时发送图像时,必须在预定的时间内完成对一帧图像的处理,但不必在预定的时间内使误差数据收敛。为了设置校正次数的上限,当误差信息在预定的时间内没有收敛到小于预测值ε时,可以完成对这一帧的处理(把这时的校正数据作为编码结果),然后开始对下一帧处理。
在本实施例中,根据一帧图像配置像素块,但也可以根据例如按时间顺序连接的多帧上相同位置的像素聚集在一起来配置。
在本实施例中,在压缩部件21上,只是简单地将图像稀疏化,即,可以取出3×3像素块的中央像素,作为压缩数据。然而,在压缩部件21上,例如也可以获得包含一块的9个像素的平均值作为该块中央上像素的像素值。然后,减小像素的数量(稀疏化),进行压缩。
根据本发明的编码装置,通过把原始图像数据压缩到像素较少来获得压缩数据。然后根据校正数据估计原始图像数据,并输出预测值。再计算预测值相对于原始图像数据的估计误差。然后根据估计误差确定校正装置输出的校正数据的适用性。根据确定的结果把校正数据作为原始图像数据的编码结果输出。因此利用这种校正数据可以获得几乎与原始数据图像一致的解码图像。
根据本发明的编码方法,重复进行以下步骤,直至估计误差小于规定阈值:校正通过把原始图像数据压缩到像素较少并输出校正数据获得的压缩数据,根据校正数据估计原始图像数据,并输出预测值,计算预测值相对于原始图像数据的估计误差。然后把估计误差小于或等于预测值时的校正数据作为原始图像数据的编码结果输出。因此,利用这种校正数据可以获得几乎与原始图像数据一致的解码图像。
根据本发明的图像解码装置,在解码装置中,是这样对校正数据进行解码的,即重复进行以下步骤,直至估计误差小于规定阈值:把原始图像压缩到像素较少,对压缩原始图像数据获得的压缩数据进行校正,根据校正数据估计原始图像数据并输出预测值,以及计算预测值相对于原始图像的估计误差。因此,利用这种校正数据可以获得几乎与原始图像数据一致的解码图像。
当估计误差小于预定值时,将校正数据记录在本发明的记录媒体中,获得该校正数据的方法是,重复以下步骤,直至估计误差小于规定阈值:把原始图像压缩到像素较少,校正压缩原始图像数据获得的压缩数据,根据校正数据估计原始图像数据并输出预测值,计算预测值相对于原始图像数据的估计误差。因此,利用这种校正数据可以获得几乎与原始图像数据一致的解码图像。
总之,本发明第一实施例的结构包含了图3的发送设备、图5的压缩部件12、图14的判定部件以及图16的接收设备。本发明的第二实施例的结构包含了图17的发送设备、图5的压缩部件、图18的本地解码器、图12的误差计算器、图14的判定部件以及图16的接收设备。本发明的第三实施例的结构包含图21的发送设备、图5的压缩部件、图23的本地解码器、图12的误差计算器、图25的判定部件和图27的接收设备。
虽然仅详细描述了一些实施例,但本技术领域的熟练人员肯定能理解,不脱离这里所讲授的内容,可以有许多变动。所有这些变动都将落入下面权利要求书的范围内。

Claims (64)

1、一种多像素图像数据的编码设备,其特征在于,包含:
减少原始图像数据像素以产生压缩数据的装置;
校正压缩数据以产生校正数据的装置;
根据校正数据预测原始图像数据,并产生具有多个预测像素的预测数据的装置;
计算预测数据相对于原始图像数据的预测误差的装置;
根据预测误差确定校正数据作为编码数据的适用性的装置;
根据确定的适用性把校正数据作为原始图像数据的编码数据输出的装置。
2、如权利要求1所述的设备,其特征在于,预测装置包含:
产生校正数据的类别信息的装置,以及
根据类别信息产生预测像素的装置。
3、如权利要求1所述的设备,其特征在于,预测装置包含:
根据校正数据产生预测系数的装置,以及
根据校正数据和预测系数产生预测像素的装置。
4、如权利要求1所述的设备,其特征在于,预测装置包含:
根据校正数据的多个像素产生类别信息的装置,
根据原始图像数据和校正数据产生每一类的预测系数的装置,以及
根据对应于每一类信息的预测系数和校正数据产生多个预测像素的装置。
5、如权利要求4所述的设备,其特征在于,输出装置借助每一类的预测系数输出编码数据。
6、如权利要求1所述的设备,其特征在于,预测装置包含:
存储每一类预测系数的存储器,
根据多个校正数据的像素产生类别信息的装置,以及
从存储器读取对应于每一类信息的预测系数并根据读出的预测系数和校正数据产生预测像素的装置。
7、如权利要求6所述的设备,其特征在于,根据用于学习的原始图像数据产生存储在存储器内的每一类预测系数。
8、如权利要求7所述的设备,其特征在于,输出装置输出具有每一类预测系数的编码数据。
9、如权利要求1所述的设备,其特征在于,校正装置包含:
存储校正值的存储器,其中校正装置利用校正值校正压缩数据。
10、如权利要求1所述的设备,其特征在于,
判定装置通过检测预测误差是否小于预定的阈值来确定校正数据的适用性,而且
如果预测误差小于预定的阈值,输出装置把校正数据作为编码数据输出。
11、一种对图像数据编码后产生的编码数据进行解码的设备,其中编码数据按照如下步骤产生:
减少原始图像数据像素以产生压缩数据,
校正压缩数据以产生校正数据,
根据校正数据预测原始图像数据,并产生具有多个预测像素的预测数据,
计算预测数据相对于原始图像数据的预测误差,
根据预测误差确定校正数据作为编码数据的适用性,以及
根据确定的适用性把校正数据作为原始图像数据的编码数据输出,其特征在于,该设备包含:
接收编码数据的装置,以及
对编码数据进行解码,并产生解码图像数据的装置。
12、如权利要求11所述的设备,其特征在于,解码装置包含:
产生编码数据的类别信息的装置,以及
根据类别信息产生解码图像数据的装置。
13、如权利要求11所述的设备,其特征在于,编码数据包括预测系数,以产生解码图像数据:解码装置包含:
根据预测系数和编码数据产生解码图像数据的装置。
14、如权利要求11所述的设备,其特征在于,编码数据包括每一类的预测系数,以产生解码图像数据;解码装置包含:
利用编码数据的多个像素产生类别信息的装置,以及
利用对应于编码数据的预测系数产生解码图像数据的装置。
15、如权利要求11所述的设备,其特征在于,解码装置包含:
存储每一类的预测系数的存储器;
利用编码数据的多个像素产生类别信息的装置;
从存储器读取对应于类别信息的预测系数,并利用读取的预测系数和编码数据产生预测像素的装置。
16、如权利要求15所述的设备,其特征在于,利用用于学习的原始图像数据产生存储在存储器内的每一类预测系数。
17、一种多像素图像数据的编码方法,其特征在于,包含下列步骤:
减少原始图像数据像素以产生压缩数据;
校正压缩数据以产生校正数据;
根据校正数据预测原始图像数据,并产生具有多个预测像素的预测数据;
计算预测数据相对于原始图像数据的预测误差;
根据预测误差确定校正数据作为编码数据的适用性;
根据确定的适用性把校正数据作为原始图像数据的编码数据输出。
18、如权利要求17所述的方法,其特征在于,预测步骤包含下列步骤:
产生校正数据的类别信息,以及
根据类别信息产生预测像素。
19、如权利要求17所述的方法,其特征在于,预测步骤包含下列步骤:
根据校正数据产生预测系数,以及
根据校正数据和预测系数产生预测像素。
20、如权利要求17所述的方法,其特征在于,预测步骤包含下列步骤:
根据校正数据的多个像素产生类别信息;
根据原始图像数据和校正数据产生每一类的预测系数;
根据对应于每一类信息的预测系数和校正数据产生多个预测像素。
21、如权利要求20所述的方法,其特征在于,还包含借助每一类预测系数输出编码数据的步骤。
22、如权利要求17所述的方法,其特征在于,预测步骤包含下列步骤:
存储每一类预测系数;
根据校正数据的多个像素产生类别信息;
从存储器读取对应于每一类信息的预测系数,并根据读出的预测系数和校正数据产生预测像素。
23、如权利要求22所述的方法,其特征在于,根据用于学习的原始图像数据产生存储在存储器内的每一类预测系数。
24、如权利要求23方法,其特征在于,借助每一类预测系数输出编码数据。
25、如权利要求17所述的方法,其特征在于,校正步骤包含下列步骤:
存储校正值,其中利用校正值校正压缩数据。
26、如权利要求17所述的方法,其特征在于,确定适用性的步骤包含下列步骤:
检测预测误差是否小于预定的阈值;
如果预测误差小于预定的阈值,把校正数据作为编码数据输出。
27、一种对图像数据编码后产生的编码数据进行解码的方法,其特征在于,包含以下步骤:
接收编码数据,
对编码数据进行解码,并产生解码图像数据;其中产生编码数据的步骤如下:
减少原始图像数据像素以产生压缩数据,
校正压缩数据以产生校正数据,
根据校正数据预测原始图像数据,并产生具有多个预测像素的预测数据,
计算预测数据相对于原始图像数据的预测误差,
根据预测误差确定校正数据作为编码数据的适用性,以及
根据确定的适用性把校正数据作为原始图像数据的编码数据输出。
28、权利要求27所述的方法,其特征在于,对编码数据进行解码的步骤包含下列步骤:
产生编码数据类别信息,以及
根据类别信息产生解码图像数据。
29、如权利要求27所述的方法,其特征在于,编码数据包括预测系数,以产生解码图像数据;对编码数据进行解码的步骤包含:
根据预测系数和编码数据产生解码图像数据的步骤。
30、如权利要求27所述的方法,其特征在于,编码数据包括每一类的预测系数,以产生解码图像数据;对编码数据进行解码的步骤包含下列步骤:
利用编数据的多个像素产生类别信息,以及
利用对应于编码数据的预测系数产生解码数据。
31、如权利要求27所述的方法,其特征在于,对编码数据进行解码的步骤包含下列步骤:
存储每一类的预测系数;
利用编码数据的多个像素产生类别信息;
从存储器读取对应于类别信息的预测系数,并利用读取的预测系数和编码数据产生预测像素。
32、如权利要求31所述的方法,其特征在于,利用用于学习的原始图像数据产生存储在存储器内的每一类预测系数。
33、一种具有多个样本的数据的编码方法,其特征在于,包含下列步骤:
减少原始图像数据样本以产生压缩数据;
校正压缩数据以产生校正数据;
根据校正数据预测原始图像数据,并产生具有多个预测样本的预测数据;
计算预测数据相对于原始图像数据的预测误差;
根据预测误差确定校正数据作为编码数据的适用性;
根据确定的适用性把校正数据作为原始图像数据的编码数据输出。
34、如权利要求33所述的方法,其特征在于,预测步骤包含下列步骤:
产生校正数据类别信息,以及
根据类别信息产生预测样本。
35、如权利要求33所述的方法,其特征在于,预测步骤包含下列步骤:
根据校正数据产生预测系数,以及
根据校正数据和预测系数产生预测样本。
36、如权利要求33所述的方法,其特征在于,预测步骤包含下列步骤:
根据校正数据的多个样本产生类别信息;
根据原始图像数据和校正数据产生每一类的预测系数;
根据对应于每一类信息的预测系数和校正数据产生多个预测样本。
37、如权利要求36所述的方法,其特征在于,还包含借助每一类预测系数输出编码数据的步骤。
38、如权利要求33所述的方法,其特征在于,预测步骤包含下列步骤:
存储每一类预测系数;
根据校正数据的多个样本产生类别信息;
从存储器读取对应于每一类信息的预测系数,并根据读出的预测系数和校正数据产生预测样本。
39、如权利要求38所述的方法,其特征在于,根据用于学习的原始图像数据产生存储在存储器内的每一类预测系数。
40、如权利要求39所述的方法,其特征在于,借助每一类预测系数输出编码数据。
41、如权利要求33所述的方法,其特征在于,校正步骤包含下列步骤:
存储校正值,其中利用校正值校正压缩数据。
42、如权利要求33所述的方法,其特征在于,确定适用性的步骤包含下列步骤:
检测预测误差是否小于预定的阈值;
如果预测误差小于预定的阈值,把校正数据作为编码数据输出。
43、一种对数据编码后产生的编码数据进行解码的方法,其特征在于,包含以下步骤:
接收编码数据,
对编码数据进行解码,并产生解码数据;其中产生编码数据的步骤如下:
减少原始数据样本以产生压缩数据;
校正压缩数据以产生校正数据;
根据校正数据预测原始数据,并产生具有多个预测样本的预测数据;
计算预测数据相对于原始数据的预测误差;
根据预测误差确定校正数据作为编码数据的适用性;
根据确定的适用性把校正数据作为原始数据的编码数据输出。
44、权利要求43所述的方法,其特征在于,对编码数据进行解码的步骤包含下列步骤:
产生编码数据类别信息,以及
根据类别信息产生解码数据。
45、如权利要求43所述的方法,其特征在于,编码数据包括预测系数,以产生解码数据;对编码数据解码的步骤包含:
根据预测系数和编码数据产生解码数据的步骤。
46、如权利要求43所述的方法,其特征在于,编码数据包括每一类的预测系数,以产生解码数据;对编码数据进行解码的步骤包含下列步骤:
利用编码数据的多个样本产生类别信息,以及
利用对应于编码数据的预测系数产生解码数据。
47、如权利要求43所述的方法,其特征在于,对编码数据的解码步骤包含下列步骤:
存储每一类的预测系数;
利用编码数据的多个样本产生类别信息;
从存储器读取对应于类别信息的预测系数,并利用读取的预测系数和编码数据产生预测样本。
48、如权利要求47所述的方法,其特征在于,利用用于学习的原始数据产生存储在存储器内的每一类预测系数。
49、一种多样本数据进行编码的设备,其特征在于,包含:
二次抽样电路,用于减少原始数据的样本数,以产生压缩数据;
校正电路,用于校正压缩数据以产生校正数据;
预测电路,用于根据校正数据预测原始数据,并产生具有多个预测样本的预测数据;
计算器,用于计算预测数据相对于原始数据的预测误差;
判定电路,用于根据预测误差确定校正数据作为编码数据的适用性;
输出电路,用于根据确定的适用性把校正数据作为原始数据的编码数据输出。
50、如权利要求49所述的设备,其特征在于,预测电路包含:
产生校正数据类别信息的电路,以及
根据类别信息产生预测样本的电路。
51、如权利要求49所述的设备,其特征在于,预测电路包含:
根据校正数据产生预测系数的电路,以及
根据校正数据和预测系数产生预测样本的电路。
52、如权利要求49所述的设备,其特征在于,预测电路包含:
根据校正数据的多个样本产生类别信息的电路;
根据原始数据和校正数据产生每一类的预测系数的电路;
根据对应于每一类信息的预测系数和校正数据产生多个预测样本的电路。
53、如权利要求52所述的设备,其特征在于,输出电路借助每一类预测系数输出编码数据。
54、如权利要求49所述的设备,其特征在于,预测电路包含:
存储每一类预测系数的存储器;
根据校正数据的多个样本产生类别信息的电路;
从存储器读取对应于每一类信息的预测系数,并根据读出的预测系数和校正数据产生预测样本的电路。
55、如权利要求54所述的设备,其特征在于,根据用于学习的原始数据产生存储在存储器内的每一类预测系数。
56、如权利要求55所述的设备,其特征在于,输出电路借助每一类预测系数输出编码数据。
57、如权利要求49所述的设备,其特征在于,校正电路包含:
存储校正值的存储器,其中校正电路利用校正值校正压缩数据。
58、如权利要求49所述的设备,其特征在于,
判定电路通过检测预测误差是否小于预定的阈值来确定校正数据的适用性;
如果预测误差小于预定的阈值,输出电路把校正数据作为编码数据输出。
59、一种对数据编码后产生的编码数据进行解码的设备,其中产生编码数据的步骤如下:
减少原始数据样本以产生压缩数据,
校正压缩数据以产生校正数据,
根据校正数据预测原始数据,并产生具有多个预测样本的预测数据,
计算预测数据相对于原始数据的预测误差,
根据预测误差确定校正数据作为编码数据的适用性,以及
根据确定的适用性把校正数据作为原始数据的编码数据输出,其特征在于,该设备包含:
接收编码数据的电路,以及
解码器,用于对编码数据进行解码,并产生解码数据。
60、如权利要求59所述的设备,其特征在于,解码器包含:
产生编码数据类别信息的电路,以及
根据类别信息产生解码数据的电路。
61、如权利要求59所述的设备,其特征在于,编码数据包括预测系数,以产生解7码数据;解码器包含:
根据预测系数和编码数据产生解码数据的电路。
62、如权利要求59所述的设备,其特征在于,编码数据包括每一类的预测系数,以产生解码数据;解码器包含:
利用编数据的多个样本产生类别信息的电路,以及
利用对应于编码数据的预测系数产生解码数据的电路。
63、如权利要求59所述的设备,其特征在于,解码器包含:
存储每一类的预测系数的存储器;
利用编码数据的多个样本产生类别信息的电路;
从存储器读取对应于类别信息的预测系数,并利用读取的预测系数和编码数据产生预测样本的电路。
64、如权利要求63所述的设备,其特征在于,利用用于学习的原始数据产生存储在存储器内的每一类预测系数。
CNB971147515A 1996-07-17 1997-07-17 图像编解码设备和方法以及图像数据发送方法 Expired - Fee Related CN1154234C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP206552/1996 1996-07-17
JP20655296 1996-07-17
JP206552/96 1996-07-17

Publications (2)

Publication Number Publication Date
CN1178415A CN1178415A (zh) 1998-04-08
CN1154234C true CN1154234C (zh) 2004-06-16

Family

ID=16525286

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB971147515A Expired - Fee Related CN1154234C (zh) 1996-07-17 1997-07-17 图像编解码设备和方法以及图像数据发送方法

Country Status (6)

Country Link
US (1) US6477278B1 (zh)
EP (1) EP0820198B1 (zh)
KR (1) KR100574732B1 (zh)
CN (1) CN1154234C (zh)
SG (1) SG80578A1 (zh)
TW (1) TW359919B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1033884B1 (en) * 1998-09-18 2006-05-31 Sony Corporation Data converting device and method and recording medium
EP1037471B1 (en) 1998-10-05 2012-02-08 Sony Corporation Image transform device and method and recording medium
US6658155B1 (en) 1999-03-25 2003-12-02 Sony Corporation Encoding apparatus
JP2002290243A (ja) * 2001-03-28 2002-10-04 Mitsubishi Electric Corp 符号化方法、符号化装置、復号方法、及び復号装置
FR2833796B1 (fr) * 2001-12-19 2004-04-09 Thomson Licensing Sa Procede et dispositif de compression de donnees video codees par paquets video
US8065354B1 (en) * 2005-03-04 2011-11-22 Nvidia Corporation Compression of 16 bit data using predictor values
WO2007034383A2 (en) * 2005-09-19 2007-03-29 Koninklijke Philips Electronics N.V. Image coding
US8223837B2 (en) * 2007-09-07 2012-07-17 Microsoft Corporation Learning-based image compression
US8055087B2 (en) * 2008-04-29 2011-11-08 Sony Corporation Sample level variation for spatial sub-sampled images
CN107863968B (zh) * 2017-10-13 2021-01-08 国网河北能源技术服务有限公司 一种光伏电站出力数据压缩与解压缩的方法

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3582314D1 (de) 1984-12-19 1991-05-02 Sony Corp Hochleistungsfaehige technik zur kodierung eines digitalen videosignals.
NL8701261A (nl) 1987-05-27 1988-12-16 Philips Nv Televisie-overdrachtsysteem met pyramidale kodeer/dekodeerschakeling.
JP2829954B2 (ja) * 1987-08-22 1998-12-02 ソニー株式会社 画像信号の高能率符号化装置及び方法
US5122873A (en) 1987-10-05 1992-06-16 Intel Corporation Method and apparatus for selectively encoding and decoding a digital motion video signal at multiple resolution levels
US5200962A (en) 1988-11-03 1993-04-06 Racal-Datacom, Inc. Data compression with error correction
JP2840678B2 (ja) 1989-07-21 1998-12-24 ソニー株式会社 高能率符合化装置
US5193003A (en) 1989-08-15 1993-03-09 Sony Corporation Apparatus for decoding digital video data with small memory requirement
GB9013217D0 (en) 1990-06-13 1990-08-01 Indep Broadcasting Authority Evaluation of detail in video images,and applications thereof
GB9022326D0 (en) 1990-10-15 1990-11-28 British Telecomm Signal coding
JPH0537916A (ja) 1990-12-28 1993-02-12 Mitsubishi Electric Corp 画像伝送装置
US5680225A (en) 1991-02-14 1997-10-21 Canon Kabushiki Kaisha Image reduction with fine-line protection
JP3278881B2 (ja) 1991-12-13 2002-04-30 ソニー株式会社 画像信号生成装置
EP0547826A1 (en) 1991-12-18 1993-06-23 Raytheon Company B-adaptive ADPCM image data compressor
US5331414A (en) 1991-12-23 1994-07-19 Intel Corporation Method and apparatus for encoding a digital motion video signal using pyramid specific filtering
GB2262854B (en) 1991-12-24 1995-05-24 Sony Broadcast & Communication Image processing apparatus
US5291281A (en) 1992-06-18 1994-03-01 General Instrument Corporation Adaptive coding level control for video compression systems
US5349385A (en) 1992-08-06 1994-09-20 Florida Atlantic University Adaptive scan converter
JPH06125533A (ja) * 1992-10-13 1994-05-06 Sony Corp エラー訂正コード付加装置及びエラー訂正装置
JP3104439B2 (ja) 1992-11-13 2000-10-30 ソニー株式会社 高能率符号化及び/又は復号化装置
KR100360206B1 (ko) 1992-12-10 2003-02-11 소니 가부시끼 가이샤 화상신호변환장치
JP3572632B2 (ja) * 1993-06-29 2004-10-06 ソニー株式会社 異常検出装置
JP3503166B2 (ja) 1993-07-29 2004-03-02 ソニー株式会社 信号変換装置および方法
EP0671852B1 (en) 1993-08-30 2001-11-07 Sony Corporation Device and method for encoding image data
US5663764A (en) 1993-09-30 1997-09-02 Sony Corporation Hierarchical encoding and decoding apparatus for a digital image signal
JP3590996B2 (ja) 1993-09-30 2004-11-17 ソニー株式会社 ディジタル画像信号の階層符号化および復号装置
JP3373008B2 (ja) 1993-10-20 2003-02-04 オリンパス光学工業株式会社 画像像域分離装置
JP3271108B2 (ja) 1993-12-03 2002-04-02 ソニー株式会社 ディジタル画像信号の処理装置および方法
JPH07184138A (ja) 1993-12-24 1995-07-21 Toshiba Corp 2画面映像処理回路
JP3846642B2 (ja) 1994-01-31 2006-11-15 ソニー株式会社 動き量検出方法及び動き量検出装置
US5555465A (en) 1994-05-28 1996-09-10 Sony Corporation Digital signal processing apparatus and method for processing impulse and flat components separately
US5553160A (en) 1994-09-01 1996-09-03 Intel Corporation Method and apparatus for dynamically selecting an image compression process based on image size and color resolution
US5796442A (en) 1994-11-02 1998-08-18 Texas Instruments Incorporated Multi-format television reciever
JP3781203B2 (ja) 1994-11-28 2006-05-31 ソニー株式会社 画像信号補間装置及び画像信号補間方法
US5754702A (en) * 1994-12-02 1998-05-19 Allied Signal Inc. Scale oriented interband prediction method for image data compression and reconstruction
US5625712A (en) 1994-12-14 1997-04-29 Management Graphics, Inc. Iterative compression of digital images
JPH08172632A (ja) * 1994-12-20 1996-07-02 Pioneer Electron Corp 画像処理装置
DE69523550T2 (de) 1994-12-29 2002-05-08 Sony Corp Einrichtung und Verfahren zur Quantisierung
US5734433A (en) 1995-06-21 1998-03-31 Sony Corporation Picture encoding apparatus, picture encoding method, picture encoding and transmitting method, and picture record medium
US5703652A (en) 1995-07-28 1997-12-30 Sony Corporation Information signal encoding system and method for adaptively encoding an information signal
US5825313A (en) * 1995-08-01 1998-10-20 Sony Corporation Information signal encoding apparatus, encoding method thereof, information signal decoding method, and information signal record medium thereof
US5960116A (en) 1995-11-02 1999-09-28 Canon Kabushiki Kaisha Image processing apparatus and method for performing prediction data encoding
US5812699A (en) 1995-12-07 1998-09-22 Intel Corporation Counter-based controller for video compression
US5912708A (en) 1996-12-26 1999-06-15 Sony Corporation Picture signal encoding device, picture signal encoding method, picture signal decoding device, picture signal decoding method, and recording medium
US5969764A (en) 1997-02-14 1999-10-19 Mitsubishi Electric Information Technology Center America, Inc. Adaptive video coding method
US5880784A (en) 1997-06-17 1999-03-09 Intel Corporation Method and apparatus for adaptively switching on and off advanced prediction mode in an H.263 video coder

Also Published As

Publication number Publication date
EP0820198B1 (en) 2003-04-02
SG80578A1 (en) 2001-05-22
KR100574732B1 (ko) 2006-08-30
EP0820198A3 (en) 2000-04-12
EP0820198A2 (en) 1998-01-21
TW359919B (en) 1999-06-01
KR980013427A (ko) 1998-04-30
US6477278B1 (en) 2002-11-05
CN1178415A (zh) 1998-04-08

Similar Documents

Publication Publication Date Title
CN1178509C (zh) 图像编码器、图像解码器、和图像处理器及其方法
CN1265627C (zh) 图像数据处理方法和图像数据处理电路
CN1076932C (zh) 图像信号编码和解码的方法与装置
CN1171459C (zh) 图像编码装置及图像译码装置
CN1135845C (zh) 图像传送方法、图象处理方法、图象处理装置和数据存储介质
CN1197252C (zh) 利用对应象素块的等级信息的变换系数进行图象的编码和译码
CN1165182C (zh) 图像编码设备
CN1310521C (zh) 图象信号处理设备和方法、学习设备和方法以及记录介质
CN1152576C (zh) 视频数据编码装置、编码方法和传送装置
CN1145360C (zh) 利用与像素块分类信息对应的映射系数的图像编码和解码
CN1299560A (zh) 图像编码方法、图像编码译码方法、图像编码装置或图像记录再生装置
CN1154234C (zh) 图像编解码设备和方法以及图像数据发送方法
CN1804902A (zh) 数据处理装置
CN1307782A (zh) 图象编码/解码方法以及记录该程序的记录媒体
CN1114126A (zh) 图像编码装置及方法
CN1306807C (zh) 数据转换装置及方法、学习设备及方法
CN1154235C (zh) 使用对应象素块等级信息的变换系数的图象编码和译码
CN1115054C (zh) 图像信号编码、解码装置及方法
CN1163076C (zh) 图像编码装置和图像编码方法及图像解码装置和图像解码方法
CN1777287A (zh) 图像解码装置、程序、方法、及图像编码装置、程序、方法
CN1166110A (zh) 数字图象译码装置及数字图象译码方法
CN1220376C (zh) 信息信号处理器和处理信息信号的方法
CN1278561C (zh) 编码设备
CN1269314C (zh) 数据处理装置
CN101039406A (zh) 图像处理装置和方法、以及程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1044245

Country of ref document: HK

C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20040616

Termination date: 20130717