CN101233765B - 数字信号编码和解码装置及方法 - Google Patents
数字信号编码和解码装置及方法 Download PDFInfo
- Publication number
- CN101233765B CN101233765B CN2006800275563A CN200680027556A CN101233765B CN 101233765 B CN101233765 B CN 101233765B CN 2006800275563 A CN2006800275563 A CN 2006800275563A CN 200680027556 A CN200680027556 A CN 200680027556A CN 101233765 B CN101233765 B CN 101233765B
- Authority
- CN
- China
- Prior art keywords
- pixel value
- data
- pixel
- unit
- value data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/41—Bandwidth or redundancy reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N11/00—Colour television systems
- H04N11/04—Colour television systems using pulse code modulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Color Television Systems (AREA)
- Image Processing (AREA)
Abstract
一种编码装置包括:差分产生单元,用于获得作为第一像素值与具有与第一像素相同颜色的、并且位于第一像素附近的像素的像素值之间的差值的第一像素差值;量化宽度确定单元,用于通过根据第一像素差值的无符号整型二进制值的位数,和在差分产生单元针对第二像素的第二像素值产生的第二像素差值的无符号整型二进制值的位数,量化第一和第二像素值,而决定数据产生中的量化宽度;量化宽度信息产生单元,用于产生具有用于第一和第二像素值的量化/解码的量化宽度的量化宽度信息;和量化单元,用于产生n-比特长度的第一和第二压缩编码像素值。
Description
技术领域
本发明涉及数字数据的压缩编码和解码。更具体地讲,本发明涉及用于压缩和编码由图像拾取元件输出的像素信号,和对压缩和编码的像素信号进行解码的装置和方法。
背景技术
安装在诸如数字相机和带有内置相机的蜂窝电话之类的数字成像装置上的图像拾取元件包括,例如,电荷耦合型图像拾取元件(CCD型图像拾取元件)和金属氧化物半导体型图像拾取元件(MOS型图像拾取元件)。此外,MOS型图像拾取元件包括互补金属氧化物半导体型图像拾取元件(CMOS型图像拾取元件),N-沟道金属氧化物半导体型图像拾取元件(NMOS型图像拾取元件),等等。近些年来,这些图像拾取元件的像素数量在不断增加,并且它们中的每一种都发展成为高清晰度图像拾取元件的趋势。CCD型图像拾取元件具有低噪声的宽动态范围的特征,而MOS型图像拾取元件因为使用了单电源的MOS处理而具有结构简单的特征,这适合于高分辨率。
下面图示说明利用数字成像装置成像的信号处理。
示出了有关数字成像装置中一帧的静止图像拾取,即,单一图像拾取的信号处理的例子。来自物体的光在图像拾取元件的光接收单元上形成图像,并且排列在光接收单元上的多个像素根据光的强度积累起一定量的电荷。对于一行光接收单元,通过图像拾取元件的输出单元一个像素接一个像素地读出像素的积累电荷作为模拟信号,然后在模/数转换单元中将其转换成数字像素信号(RAM数据),并临时存储在诸如同步DRAM(SDRAM)之类的缓冲存储器中。当对这一行的读取、A/D转换、和写入SDRAM等完成时,对第二行、第三行、...、和最后一行,同样地重复从读取到写入的处理,并且将图像的一帧数据(一幅图像拾取)临时存储在SDRAM中。接下来,对临时存储的数据,即,RAW数据,执行诸如放大/缩小的缩放处理之类的信号处理算术运算,并且将运算之后的数据再次临时存储在SDRAM中。接下来,通过利用处理器对数据进行适当的处理,将数据转换成适合于存储数据的诸如JPEG之类的压缩数据格式的数据(压缩数据),然后,再次临时存储在SDRAM中。接下来,通过直接存储器存取(DMA)控制等高速从SDRAM读出数据,并且将读出的数据存储在外部半永久存储器中。在这里,半永久存储器可以是诸如SD存储卡之类的,一般用作数字相机的图像记录介质的存储介质。
通过连续地执行有关上述单一图像拾取的信号处理,实现了连续图像拾取,即,顺序图像拾取。但是,与读出像素的积累电荷和临时将其作为RAW数据存储的处理相比,从RAW数据到压缩数据格式的数据(压缩数据)的处理是一个耗时的处理。因此,在连续拍摄的情况下,将RAW数据存储在SDRAM中的处理,和把RAW数据转换成压缩数据的处理要同时执行,并且只要SDRAM的存储容量允许,要把读出的RAW数据临时地附加存储在SDRAM中。因此,为了增加连续拍摄的帧数,需要增大SDRAM的存储容量。
此外,随着近年来图像拾取元件的像素数量的增加,一帧图像的RAW数据的数据大小也增加了。因此,当SDRAM的存储容量被限制于传统产品相同的容量时,能够连续拍摄的帧数随图像拾取元件的像素的数量增加而减小。因此,当通过增大图像拾取元件的像素数量而实现成像装置的高清晰度时,同时需要使SDRAM的存储容量更大和需要保障能够连续拍摄的帧数。此外,当RAW数据的数据大小变大时,希望有能够以比传统速度更高的速度来存取SDRAM。但是,更大的SDRAM存储容量和更高的存取速度对成本是不利的。
因此,为了解决上述问题提出了以下技术。
图11是专利文献1中披露的,以数字静止相机为例说明减小帧存储器的存储使用率的方法的方框图。
首先,说明专利文献1的数字静止相机的结构。数字静止相机100包括:图像处理单元(CPU)110;闪存器120;JPEG-LSI 130;显示/捕获控制器141;缓冲存储器142;转储控制器143;地址总线切换单元144;读数据锁存器145;输出电平锁存器146;差分解压缩/加法器147;差分压缩/解压缩转换表148;减法/差分压缩单元149;写数据锁存器150;输入电平锁存器151;帧存储器160;图像输出单元170;图像输入单元180;和压缩/解压缩单元140。
接下来,说明专利文献1的数字静止相机100的操作。从图11的图像输入单元180输入的压缩前的数据被发送到减法/差分压缩单元149。在减法/差分压缩单元149中执行减法和差分压缩。此时,压缩是参考差分压缩/解压缩转换表148执行的。通过数据总线将作为结果得到的压缩后数据临时存储在帧存储器160中。在差分解压缩/加法器147中,参考差分压缩/解压缩转换表148,将帧存储器160中存在的解压缩前的压缩数据转换成解压缩后数据,并且从图像输出单元170输出。
这种方法需要ROM中的差分压缩/解压缩转换表148等,以执行数据的差值的压缩。电路的规模变得比传统方法的更小。即便如此,由于不可避免地要使用ROM,所以使得电路结构较大,并且处理负担仍然比较大。
图12和13是说明专利文献2中披露的数字信号的不可逆压缩编码的方法的示意图。图12是一个单板CCD的方框图,图13是不可逆压缩编码的流程图。图12示出了一个目标像素x,要在目标像素x之前处理的相同颜色的像素f,e,d,和与像素x相邻的不同颜色的相邻像素c,a,b。
接下来,参考图13说明专利文献2中披露的压缩编码方法的处理。这种方法是一种对通过最佳预测表达式获得的预测值y与上面布置了滤色器R、G、B的单板CCD中的目标像素x的值之间的预测误差Δ执行熵编码,从而能够压缩图像数据的方法。该方法包括:利用一个邻近像素的像素值和其上安排了与目标像素的颜色分量不同的颜色分量的滤色器的邻接像素的像素值计算预测值;利用邻近像素的像素值和其上安排了与目标像素相同颜色的滤色器的相同颜色像素计算预测值;确定哪个预测值更接近目标像素x;和,根据这个确定结果决定使用邻接像素的像素值还是相同颜色像素的像素值来计算下一个目标像素的预测值。
在这种方法中,利用非线性表来执行量化,统一地乘以一个常数值,和计算实际运算中使用的表值。因此,压缩率可以在不可逆转换中改变。对量化的数据进一步进行熵编码。
在专利文献2披露的方法中,在利用预定量化表量化从像素值计算的预测误差Δ中,也需要诸如ROM之类的存储器,因此,增大了电路结构,并且增加了处理负担。
图14是专利文献3中披露的图像编码装置的方框图。图14示出了图像编码装置,在这个图像编码装置中,从像素值输入单元101输入d-比特的动态范围的输入像素值,和把输入像素值编码并转换成n-比特的量化值,然后从输出单元105输出量化值。
这个图像编码装置进一步包括:预测值产生装置106,用于产生输入像素值的预测值;线性量化器产生装置102,用于以d-比特的精度产生线性量化器,所述线性量化器具有设置在2的(d-n)次方的量化宽度,和通过从2的n次方减去预先设置的附加上限数得到的数量的线性量化代表点;和非线性量化器产生装置103,用于产生非线性量化器,所述非线性量化器具有在预定值附近的小于线性量化器的量化宽度,这个量化宽度是通过将小于上限数的数的线性量化代表点加到预定值附近的线性量化器而设置。在这个图像编码装置中,量化单元104利用非线性量化器产生装置103中产生的非线性量化器量化输入像素值,并输出获得的量化值。
专利文献3中披露的图像编码装置没有用于量化的ROM表。在这方面,可以预期将这种图像编码装置实现为一种比专利文献1和2中披露的发明的装置更小规模的装置。
专利文献1:JP 11-341288 A
专利文献2:JP2000-244935 A
专利文献3:JP10-056638 A
发明内容
[本发明要解决的问题]
专利文献1中所述的方法需要预先准备一个用于编码/解码的表,因此,需要存储器来存储这个表,例如,编码/解码表缓存器或ROM。此外,用于实现专利文献1的方法的装置具有大的电路结构,并且处理过程中涉及的负担也比较大。
与此同时,在专利文献2所述的方法中,在执行了相同颜色像素和不同颜色像素的预测之后,选择预测值中预测误差小于另一个的预测值。因此,不仅需要执行编码而且也需要执行解码以确定应当使用哪个预测公式。处理量的增加也是不可避免的。此外,处理是利用表的非线性处理,所以,用于实现这种方法的装置的电路结构较大,并且处理中涉及的负担也较重。
在实现专利文献3中所述的方法的装置中,需要配置计算预测值的电路,并且需要执行计算预测值的处理。
考虑到上述问题,本发明的目的是要提供一种能够用小规模电路结构安装的数字信号压缩编码/解码装置。该装置中编码的处理用简单的计算构成。因此,该装置能够以较低的运算处理负担实现高的压缩率。并且,本发明提供了一种用于数字信号压缩编码和解码的方法。
[解决问题的措施]
根据本发明的一个方面,本发明提供一种数字数据编码装置。该数字数据编码装置接收数字格式的像素值数据,并处理所述像素值数据,所述像素值数据指示来自光接收单元的信号,在所述光接收单元中至少周期性地排列着用于感测第一颜色的像素和用于感测第二颜色的像素。所述数字数据编码装置包括:差分产生单元,用于输出来自感测第一颜色的第一像素的第一像素值数据与来自位于第一像素附近的、感测第一颜色的第二像素的第二像素值数据之间的差值作为第一像素差值,和输出来自感测第二颜色的第三像素的像素值数据与来自位于第三像素附近的、感测第二颜色的第四像素的第四像素值数据的差值作为第二像素差值;量化参考值确定单元,用于获得第一像素差值的绝对值与第二像素差值的绝对值之间的最大值作为最大像素值差分,并且将大于或等于所获得的最大像素值差分的值确定为量化参考值;偏移值设置单元,用于将第一像素值数据与量化参考值之间的差分设置为第一偏移值,将第三像素值数据与量化参考值之间的差分设置为第二偏移值;待量化值设置单元,用于将第二像素值数据与第一偏移值之间的差分设置为第一待量化值,和将第四像素值数据与第二偏移值之间的差分设置为第二待量化值;和量化单元,用于量化第一待量化值和第二待量化值,获得第一压缩编码像素值数据和第二压缩编码像素值数据。
在本发明的一个方面中,优选的是,第一颜色和第二颜色是彼此不同的。
在本发明的一个方面中,优选的是,数字数据编码装置进一步包括偏移值零重置单元,用于在所述偏移值设置单元定义的偏移值小于或等于零时,将偏移值重置为零。
在本发明的一个方面中,优选的是,数字数据编码装置进一步包括量化宽度确定单元,用于确定量化的量化宽度。
在本发明的一个方面中,优选的是,量化宽度随着最大像素值差分的变大而增大。
在本发明的一个方面中,优选的是,数字数据编码装置进一步包括量化宽度信息数据产生单元,用于将确定的量化宽度编码成m-比特长度的代码(m是自然数)。
在本发明的一个方面中,优选的是,量化宽度确定单元将量化宽度确定为大于或等于零的整数值。
在本发明的一个方面中,优选的是,数字数据编码装置进一步包括压缩编码图像数据产生单元,其中所述压缩编码图像数据产生单元产生s-比特长度的压缩编码图像数据(s是自然数),所述s-比特长度的压缩编码图像数据包括量化宽度信息数据、第一压缩编码像素值数据、和第二压缩编码像素值数据中的至少一个,s是8的倍数。
在本发明的一个方面中,优选的是,压缩编码图像数据产生单元将第一像素值数据照原样记录在压缩编码图像数据中,作为初始像素值数据。
在本发明的一个方面中,优选的是,所述量化宽度确定单元获得第一像素差值与第二像素差值中的每一个的无符号整型二进制表示法所需的位数之间的最大值,以便从多个量化宽度中确定量化宽度。
在本发明的一个方面中,优选的是,数字数据编码装置优选进一步包括:纠错单元,用于纠正第二像素值数据和产生纠错的像素值数据;和数字数据解码单元,用于对压缩编码像素值数据解码和输出解码的像素值数据,其中:所述偏移值设置单元利用解码的像素值数据代替第一像素值数据来设置第一偏移值;和所述待量化值设置单元利用纠错的像素值数据代替第二像素值数据来设置第一待量化值。
在本发明的一个方面,优选的是,所述纠错单元进行的第二像素值数据的纠正是通过从第二像素值减去与第一像素值数据与第二像素值数据之间的差分有关的纠正值执行的。
根据本发明的另一方面,本发明提供了一种数字数据解码装置。该数字数据解码装置,包括:压缩编码图像数据输入单元,用于输入具有初始像素值数据部分,压缩编码像素值数据部分,和量化宽度信息数据部分的、s-比特长度的压缩编码图像数据,s是自然数,在所述初始像素值数据部分中照原样记录着感测第一颜色的第一像素的第一像素值数据作为第一初始像素值数据,在所述压缩编码像素值数据部分中记录着指示位于第一像素附近的、感测第一颜色的第二像素的第二像素值数据的第一压缩编码像素值数据,所述量化宽度信息数据部分中记录着具有关于第一量化宽度的信息的第一量化宽度信息数据;量化参考值设置单元,用于根据所述第一量化宽度信息数据,将逆量化的第一量化参考值设置到2的整数次方中的任何一个;偏移值设置单元,用于获得第一初始像素值数据与第一量化参考值之间的差分,并设置为第一偏移值;逆量化单元,用于利用设置的第一量化宽度逆量化第一压缩编码像素值数据,以获得第一逆量化的像素值数据;和解码像素值产生单元,用于获得第一逆量化像素值数据与第一偏移值的和,以产生第一解码像素值数据。
在本发明的一个方面中,优选的是,进一步照原样记录位于第一像素附近的、用于感测第二颜色的第三像素的第三像素值数据作为初始像素值数据部分中的第二初始像素值数据。进一步优选的是,将指示位于第三像素附近的、用于感测第二颜色的第四像素的第四像素值数据的第二压缩编码像素值数据记录在压缩编码像素值数据部分中。进一步优选的是,所述偏移值设置单元获得第二初始像素值数据与第一量化参考值之间的差分,作为第二偏移值;所述逆量化单元进一步利用第一量化宽度逆量化第二压缩编码像素值数据,以便获得第二逆量化像素值数据;和所述解码像素值产生单元进一步获得第二逆量化像素值数据与第二偏移值的和,以产生第二解码像素值数据。
在本发明的一个方面中,优选的是,第一颜色和第二颜色是彼此不同的。
在本发明的一个方面中,优选的是,进一步将指示位于第二像素附近的、并且在第四像素附近的、用于感测第一颜色的第五像素的第五像素值数据的第三压缩编码像素值数据记录在压缩编码像素值数据部分中;所述偏移值设置单元进一步获得第一解码像素值数据与第二量化参考值之间的差分,并设置为第三偏移值;所述逆量化单元进一步利用设置的第二量化宽度逆量化第三压缩编码像素值数据,以获得第三逆量化像素值数据;和所述解码像素值产生单元进一步获得第三逆量化像素值数据与第三偏移值的和,以产生第三解码像素值数据。
在本发明的一个方面中,优选的是,数字数据解码装置进一步包括偏移值零重置单元,用于在偏移值设置单元定义的偏移值小于或等于零时,将偏移值重置为零。
在本发明的一个方面中,优选的是,压缩编码图像数据包括量化宽度信息数据部分,所述量化宽度信息数据部分中记录具有关于第一量化宽度的信息的第一量化宽度信息数据和具有关于第二量化宽度的信息的第二量化宽度信息数据中的至少一个。
在本发明的一个方面中,优选的是,数字数据解码装置进一步包括量化宽度设置单元,用于将逆量化的量化宽度设置为大于或等于零的整数值,其中所述量化宽度设置单元根据第一量化宽度信息数据和第二量化宽度信息数据,分别将第一量化宽度和第二量化宽度设置到大于或等于零的整数值中的每一个。
在本发明的一个方面中,优选的是,量化参考值设置单元进一步根据第二量化宽度信息数据设置逆量化的第二量化参考值为2的整数次方中的任何一个。
在本发明的一个方面中,优选的是,第一量化宽度信息数据和第二量化宽度信息数据分别是m-比特长度的数据(m是自然数)。
在本发明的一个方面中,优选的是,m是2。
根据本发明的又一个方面,本发明提供了一种数字数据编码方法。这种数字数据编码方法是一种用于接收数字格式的像素值数据,并处理所述像素值数据的方法,所述像素值数据指示来自光接收单元的信号,在所述光接收单元中周期性地排列着用于感测第一颜色的像素和用于感测第二颜色的像素。所述数字数据编码方法包括:产生和输出感测第一颜色的第一像素的第一像素值数据与感测第一颜色、并位于第一像素附近的第二像素的第二像素值数据之间的差值作为第一像素差值,产生和输出感测第二颜色的第三像素的像素值数据与感测第二颜色、并位于第三像素附近的第四像素的第四像素值数据之间的差值作为第二像素差值;获得第一像素差值的绝对值与第二像素差值的绝对值之间的最大值作为最大像素值差分,确定大于或等于所述最大像素值差分的值,并确定所述值为量化参考值;将第一像素值数据与量化参考值之间的差分设置为第一偏移值,将第三像素值数据与量化参考值之间的差分设置为第二偏移值;将第二像素值数据与第一偏移值之间的差分设置为第一待量化值,和将第四像素值数据与第二偏移值之间的差分设置为第二待量化值;和量化第一待量化值和第二待量化值,以分别获得第一压缩编码像素值数据和第二压缩编码像素值数据。
根据本发明的再一个方面,本发明提供了一种数字数据解码方法。这种数字数据解码方法包括:输入具有初始像素值数据部分,压缩编码像素值数据部分,和量化宽度信息数据部分的、s-比特长度的压缩编码图像数据,s是自然数,在所述初始像素值数据部分中照原样记录着感测第一颜色的第一像素的第一像素值数据作为第一初始像素值数据,在所述压缩编码像素值数据部分中记录着指示位于第一像素附近的、感测第一颜色的第二像素的第二像素值数据的第一压缩编码像素值数据,所述量化宽度信息数据部分中记录着具有关于第一量化宽度的信息的第一量化宽度信息数据;根据所述第一量化宽度信息数据,将逆量化的第一量化参考值设置为2的整数次方中的任何一个;获得第一初始像素值数据与第一量化参考值之间的差分,并设置为第一偏移值;利用设置的第一量化宽度逆量化第一压缩编码像素值数据,以获得第一逆量化的像素值数据;和获得第一逆量化像素值数据与第一偏移值的和,以产生第一解码像素值数据。
[本发明的效果]
本发明的数字信号压缩编码和解码装置及方法无需提供用于编码和解码的表,因此,可以由小规模电路结构构成的,并且能够利用相对简单的运算处理实现高数据压缩率。
附图说明
图1是根据本发明的数字静止相机的方框图;
图2是SDRAM的存储区的使用示意图;
图3是图像拾取元件的光接收单元的像素排列的示意图;
图4是根据本发明第一实施例的CODEC 13的方框图;
图5A是编码过程的流程图;
图5B是编码过程的流程图;
图6是显示量化中量的关系的示意图;
图7是以像素值g2作为例,说明量化处理的详细情况的示意图;
图8A是解码过程的流程图;
图8B是解码过程的流程图;
图9是根据第二实施例的CODEC 113的方框图;
图10是根据第三实施例的CODEC 213的方框图;
图11是专利文献1中披露的数字静止相机的配置方框图;
图12是一个单板CCD的局部示意图;
图13是专利文献2中披露的数字信号压缩编码方法的流程图;和
图14是专利文献3中披露的图像编码装置的方框图。
[字母和数字的说明]
1:数字静止相机(DSC);
2:镜头;
5:图像拾取元件;
7:图像拾取元件驱动单元;
9:信号预处理单元;
11:模/数转换单元(ADC);
13:CODEC;
15:SDRAM;
17:YC处理单元;
19:JPEG处理单元;
21:控制器;
23:外部接口;
25:SD存储卡;
27:显示单元;
29:像素;
31:编码单元;
33:解码单元;
35:目标像素值输入单元;
37:差分产生单元;
39:像素值存储单元;
41:差分量化范围确定单元;
43:区域量化宽度确定单元;
45:初始像素值产生单元;
47:量化单元;
47a:量化参考值确定单元;
47b:偏移值设置单元;
47c:待量化值设置单元;
47d:量化单元;
47e:偏移值零重置单元;
49:类值代码产生单元;
51:打包单元;
51a:压缩编码图像数据产生单元;
51b:压缩编码图像数据输出单元;
53:解包单元;
55:逆量化处理单元;
55a:偏移值设置单元;
55b:逆量化单元;
55c:解码像素值产生单元;
55d:偏移值零重置单元;
55e 量化宽度设置单元;
55f:量化参考值设置单元;
57:输出单元;
59:误差感测单元;
61:系数乘法单元;
63:整数转换单元;
65:纠错单元;
67:差分量化范围提取单元;
69:分布比率分析单元。
具体实施方式
<实施例1>
<数字静止相机的配置>
图1是安装着根据本发明的数字信号压缩编码/解码装置(CODEC)13的数字静止相机(DSC)1的方框图。从未示出的物体入射到镜头3的光被镜头3汇聚,并在图像拾取元件5的未示出的光接收单元中形成它的图像。图像拾取元件5是CCD类型的成像元件。图像拾取元件5的未示出像素根据入射光的量累积电荷。图像拾取元件驱动单元7以预定的定时输出累积的电荷作为模拟像素信号,并且将信号发送到信号预处理单元9。信号预处理单元9对模拟像素信号进行预处理,并且将模拟像素信号发送到模/数转换单元11。模/数转换单元(ADC)11将模拟像素信号转换成数字像素信号,并以数字格式输出像素值数据。
在作为成像装置的数字静止相机1中,从ADC 11输出的、作为数字格式的像素值数据的数字像素信号被输入到数字信号压缩编码/解码装置(CODEC)13。CODEC 13分析输入的数字像素信号,并将通过分析输入的数字像素信号和压缩-编码数字像素信号获得的压缩编码像素值数据以及有关压缩编码的信息等发送到作为缓冲存储器的SDRAM 15。这样发送到SDRAM 15的一组数据构成了压缩编码图像数据。以下详细说明CODEC 13中的压缩编码和解码。输出的压缩编码像素值数据等被存储在SDRAM 15中。存储在SDRAM 15中的压缩编码像素值数据等又被发送回CODEC 13,并且在其中被解码,以产生解码像素值数据。解码像素值数据被发送到YC处理单元17,并且被转换成亮度和色差数据。亮度和色差数据又被发送回SDRAM 15,并且存储在其中。将存储在SDRAM 15中的亮度和色差数据发送到JPEG处理单元19,并接受JPEG压缩处理。将转变成JPEG数据的如此得到的图像数据(JPEG图像数据)存储在SDRAM 15中。通过DMA控制等,将JPEG图像数据以高速发送到作为外部存储介质的SD存储卡25,并存储在其中。未示出的、并且包括在控制器21中的CPU执行存储在未示出的、并且包括在控制器21中的存储器中的程序,并且控制上述处理。此外,控制器21也能够经过外部接口23将存储在SDRAM 15中的信息发送到显示单元27和SD存储卡25。此外,控制器21也能够读取存储在SD存储卡25中的信息的数据。
应当注意,图像拾取元件5也可以是MOS类型的图像拾取元件。图像拾取元件5并不限于具有感测三种颜色的像素的图像拾取元件,例如,感测红色的像素,感测绿色的像素,和感测蓝色的像素。图像拾取元件5也可以是具有互补颜色***的像素的图像拾取单元。此外,图像拾取元件5可以是仅有感测两种不同颜色的像素的图像拾取元件。此外,图像拾取元件5可以是具有仅感测一种颜色的像素的图像拾取元件,或可以是没有感测一个特定波长带的光的像素,而是具有感测宽范围的光均匀特性的像素的图像拾取元件。外部存储介质并不限于SD存储卡,而可以是一般用作数字照相机的图像存储介质的存储介质。
图2是显示SDRAM 15的存储区的使用的示意图。如上所述,SDRAM15存储三种数据,即,压缩编码图像数据,亮度和色差数据,和JPEG图像数据。在本说明书中,将存储压缩编码图像数据的区称为存储区15a,将存储亮度和色差数据的区称为存储区15b,和把存储JPEG图像数据的区称为存储区15c。本图中示出的存储区的边界(间断线)仅是一种形式,而不表示它的实际使用比率。
在根据本发明的成像装置1中,在图像拾取过程中,首先,通过CODEC13压缩-编码基于从图像拾取元件5输出的信号值的数字像素信号(RAW数据),并且将数据存储在存储区15a中,作为压缩编码像素值数据(构成压缩编码图像数据的数据组的一部分)。接下来,在CODEC 13中经过解码处理之后,将压缩编码像素值数据发送到YC处理单元17,然后经过数据处理并存储在存储区15b中,作为亮度和色差数据。接下来,亮度和色差数据在JPEG处理单元19中受到JPEG压缩处理,并且存储到存储区15c中,作为JPEG图像数据。此后,将JPEG图像数据传送到SD存储卡25。JPEG图像数据的产生处理是需要比其他处理长得多的时间的处理。因此,当在执行诸如连续拍摄之类的连续图像拾取时,等待JPEG处理的数据增多,从而SDRAM 15的存储区被堵塞。因此,为了尽可能多地有效利用SDRAM 15的存储区,和提高能够连拍的拍摄数量,减小存储区15a的使用率是有效的。由于数字像素信号(RAW数据)被压缩编码并且被发送到SDRAM 15,所以根据本发明的数字信号压缩编码具有降低存储区15a的使用量的优点。因此,可以加大能够用于区15b和15c的存储区。结果是,可以增加能够连拍的数字静止相机的拍摄的数量。此外,减小了从CODEC 13到SDRAM 15,和从SDRAM15到CODEC 15的数据流的量,因此,可以得到缩短处理时间和减少消耗电力的优点。
接下来,说明CODEC 13中的处理,CODEC 13是数字静止相机的,即,本发明的成像装置的,编码和解码装置。
在说明CODEC 13的配置之前,首先参考图3说明输入到CODEC 13的数字像素信号(RAW数据)。图3是图像拾取元件5的光接收单元中的像素29的排列图。多个像素29排列在光接收单元中,并且红色(R)、绿色(G)、或蓝色(B)中的任何一个的滤色器安排在每个像素29上。滤色器限制每个像素29感测的波长带(它是可见光区的颜色)。感测不同颜色(不同波长带)的像素周期性地安排在光接收单元中。三种滤色器的排列的类型是所谓的Bayer阵列。图像拾取元件驱动单元7(见图1)从每一行的左侧的像素顺序地输出累积在像素29中的电荷。例如,首先,从第一行L1的左端的像素G1,以G1、R1、G2、R2、...的次序,读出累积的电荷,接下来,从第二行L2的左端的像素B1,以B1、G1、B2、G2、...的次序,顺序地读出累积的电荷。使读出的电荷在预处理单元9中接受预处理,并且在ADC 11中转换成数字像素信号。在ADC 11中,来自每个像素的信号被转换成12比特的数字像素信号。因此,分别具有12比特长度的数字像素信号(像素值数据片)被从第一行L1的左端的像素G1,以像素G1、像素R1、像素G2、像素R2、...的次序,顺序地输入到CODEC13。当从包括在第一行L1中的像素的数字像素信号的输入完成时,同样地将来自包括在第二行L2的像素中的数字像素信号输入到CODEC 13中。
<CODEC 13的配置>
图4是根据本实施例的CODEC 13的方框图。以下结合附图说明CODEC 13的结构以及编码信号和解码信号流。以后利用特定的值作为数字像素信号,即,利用像素值作为例子,描述CODEC 13的操作的图示说明。
参考图4,CODEC 13被大致地划分为编码单元31和解码单元33。构成数字数据编码装置的编码单元31可以输入来自ADC 11的输出,并且可以将数据输出到SDRAM 15和解码单元33。构成数字数据解码装置的解码单元33可以输入来自编码单元31和SDRAM 15的输出,和将数据输出到编码单元31和YC处理单元17。
<编码单元31中的压缩编码处理>
以下参考图4和5A说明CODEC 13的编码单元31中的像素值数据(数字像素信号值)的压缩编码的处理。图5A是压缩编码过程的流程图。
从ADC 11输出的每个像素的像素值以预定的时序输入到目标像素值输入单元35。在本实施例中,每个数字像素信号值(像素值数据)是12比特长度的数字数据。也就是说,在本实施例中,输入像素值数据比特长度是12。
根据图4,输入到输入单元35的像素值数据被发送到初始像素值产生单元45、差分产生单元37、量化单元47、和像素值存储单元39,作为目标像素值。
初始像素值产生单元45将接收到的目标像素值发送到打包单元51,作为d(=12)比特长度的初始像素值数据。打包单元51具有执行压缩编码图像数据的产生的压缩编码图像数据产生单元51a,和执行输出处理的压缩编码图像数据输出单元51b。当打包单元51的产生单元51a确定应当将接收到的初始像素值数据记录在压缩编码图像数据中时,打包单元51的产生单元51a执行将这个初始像素值数据包括在压缩编码图像数据中的处理。当产生单元51a确定可以不将接收到的初始像素值数据作为初始像素值数据记录在压缩编码图像数据中时,产生单元51a忽略接收到的初始像素值。每个像素颜色(R,G,B)的至少一个初始像素值应当出现在一帧的图像数据中。但是,在本实施例中,有关每种颜色的像素值,为每个s-比特长度的打包数据记录至少一个初始像素值数据,这将在以后说明。对于特定的打包数据,如果根本就没有将该特定颜色的像素值记录在该特定打包数据中,那么无需记录该特定颜色的初始像素值数据。在这里,初始像素值产生单元45实际上不执行任何特定的处理,它照原样输出所输入的数据。为了清楚地说明在打包单元51中输入目标像素值作为初始像素值数据的处理,在图中示出了初始像素值产生单元45。(图5A的步骤S101和S102)
像素值存储单元39临时存储多个像素值数据,并且以适当的定时将它们输出到差分产生单元37和量化单元47。存储的像素值是在先前输入到CODEC 13作为当前目标像素值之前的像素值数据的在前目标像素值,和在前压缩和编码、发送到解码单元33、并且经受解码的处理以便解码的像素值数据,即解码像素值数据,中的至少一个。从存储的多个像素值数据中,存储单元39以预定的时序,将作为左侧附近的相同颜色像素值的像素29的像素值数据或解码像素值数据发送到差分产生单元37(见图3)。在图像拾取元件的光接收单元中,像素29被定位在作为当前目标像素值的源的像素的附近。此外,像素29具有与当前目标像素值的像素的颜色相同的颜色。解码像素值是受到压缩编码处理和进一步解码的数据。在光接收单元中,左侧附近的相同颜色的像素值的像素经常存在于作为当前目标像素值显示的像素的左侧。当没有相同颜色的像素存在于同一行的左侧的时侯,将紧接着的上面一行中的相同颜色的像素的像素值用作左侧附近的相同颜色像素值。当不存在存储的像素值时,可以输出预定值作为左侧附近的相同颜色像素值。应当注意,在本实施例中,将最接近目标像素的相同颜色的像素用作位于附近的相同颜色的像素。但是,可以将来自一个像素的像素值用在差分产生中,只要该像素位于目标像素的附近。
差分产生单元37从输入单元35发送的目标像素值与从存储单元39发送的左侧附近的相同颜色像素值之间的差(=目标像素值-左侧附近的相同颜色像素值)。(图5A的步骤S103)。但是,在把当前目标像素值记录为初始像素值时,不需要在差分产生单元37中处理当前目标像素值。将产生的差分发送到差分量化范围确定单元41,作为像素差值。
差分量化范围确定单元41根据有关每个目标像素值的差分的绝对值,即,从差分产生单元37发送的绝对差分,获得每个目标像素值的绝对差值的“量化范围”。“量化范围”表示二进制形式的绝对差值的,即,(二进制位数表示法)绝对差值的,位数。更具体地讲,“量化范围”意味着绝对差值的带有符号或不带符号的整型二进制表示法中,即,差值的不带符号的整型二进制表示法中,所需的位数(比特数量)。将量化范围发送到区域量化宽度确定单元43。(图5A的步骤S104。)
区域量化宽度确定单元43在接收到包括在同一“区域”(将在以后说明)中的其他像素的量化范围之后,开始如下处理,其中其他像素的量化范围是来自差分量化范围确定单元41的第二像素、第三像素、第四像素、等等的量化范围。(图5A的步骤S105)。术语“区域(zone)”在这里指的是相互定位在附近的预定数量的一组像素,(和一组这些像素的像素值)。“附近(nearby)”像素指的是相对于一个特定像素的相邻或最靠近的像素。包括在该区域中的每个像素可以邻近包括在同一区域中的任何一个其他像素。本发明的CODEC 13根据相同的量化宽度,即,如以后要说明的具有相同量化精度(相同的量化代表值间隔)的“区域量化宽度”,量化包括在同一区域中的像素值。在本实施例中,包括在一个区域中的像素的数量可以是4(p=4)。但是,包括在一个区域中的像素的数量,p,不限于4,而可以是从1到包括在光接收元件中的像素的总数的整数。此外,在压缩和编码一帧图像的像素值中,作为包括在该区域中的像素的数量的数值p可以是可变的。输出用作初始像素值的像素值数据的像素可以不包括在任何区域中。
区域量化宽度确定单元43是用于确定量化宽度的模块。区域量化宽度确定单元43确定区域量化宽度,区域量化宽度是有关用于量化目标像素值的量化系数或量化宽度的信息。(图5A的步骤S106)。
也可以这样来说明,“区域量化宽度”是用于传递有关量化包括在同一区域中的像素值的量化代表值的宽度(间隔)的信息的数据。区域量化宽度可以是大于或等于零的整数值。区域量化宽度等于:通过将对应于最大像素值差分的量化范围加1得到的值,所述最大像素值差分是包括在该区域中的像素值与相同颜色像素值附近左侧之间的差分的差值的最大值;与通过压缩和编码像素值数据得到的数据的比特数,n,即,“压缩和编码编码像素值数据比特数(n)”;之间的差分。这个“压缩和编码像素值数据比特数(n)”可以是预定值,并且在本实施例中,这个值是n=8。这意味着对应于它的像素值的压缩编码像素值数据被记录为具有8比特长度的数据,与此同时,输入的目标像素值的数据具有12比特长度。但是,这个压缩编码像素值数据的比特数n并不限于8。此外,在队一帧图像的像素值的一系列压缩编码中,这个值可以是可变的。此外,作为上述计算的结果,在区域量化宽度是负数时,可以将区域量化宽度重置到0。
在这里,也可以这样来说明,“量化代表值间隔”指示在量化之前的,要通过那些整数值的量化,量化到相同量化值的,整数值的数量。例如,当在量化表达一个特定整数值的数字数据中根本就没有执行舍入时,量化代表值间隔是2的零次方=1。在这种情况下,用整数值与被保持的其量化值之间的一对一的对应关系执行量化。此外,当量化代表值间隔被表达为2的一次方=2时,这意味着在量化时一个整数值的数字数据的最低位的1比特被舍入。结果,每个都指示两种不同整数值的两种数字数据被量化成一个相同的量化值。此外,当量化代表值间隔被表达为2的2次方=4时,这意味着在量化时,整数值的数字数据的最低位的2比特被舍入。结果,每个都指示四个不同整数值的四种数字数据被量化成一个相同量化值。对于数字数据的最低位的3比特或更多比特进行舍入的情况也是一样的。
将如此确定的区域量化宽度发送到量化单元47和类值代码产生单元49。
类值代码产生单元49产生量化宽度信息数据。类值代码产生单元49将对应于接收到的区域量化宽度的,m比特的“类值(class value)”,即,量化宽度信息数据,发送到打包单元51。在本实施例中,m=2。这个“类值”是指示包括在该区域中的像素值数据的量化中的量化系数的数据(量化舍入的比特数),然后,将其通过打包单元51与作为压缩像素值数据的压缩编码像素值数据一起处理和记录。(图5A的步骤S107)。
在图4中,量化单元47根据目标像素值、左侧附近的相同颜色像素值、和接收到的区域量化宽度执行量化,并将结果发送到打包单元51,作为压缩编码像素值数据,这个压缩编码像素值数据是目标像素值的压缩值。(图5A的步骤S108)。
量化单元47包括:
确定量化参考值的量化参考值确定单元47a;
从像素值数据和量化参考值设置偏移值或偏移候选值的偏移值设置单元47b;
将等于或小于零的偏移(候选)值重置到具有数值零的偏移值的偏移值零重置单元47e;
设置作为实际上被量化的值的待量化值的待量化值设置单元47c;和
量化待量化值的量化单元47d。
以下利用处理示例详细说明量化单元47执行的处理。
打包单元51具有收集几种输入数据,即,压缩编码数据,并将它们打包成适当大小的数据的功能(产生单元51a),将打包的数据输出到SDRAM 15和解包单元53的功能(输出单元51b)。此外,打包单元51能够不打包而照原样输出每个数据。在本实施例中,作为压缩编码图像数据的打包数据的大小是s-比特。s(s:自然数)可以是8的整数倍(例如,8、16、...、64、...、96、等等)。当剩余少量的不能用于记录有意义数据的未使用的比特时,可以将预定的空数据记录在其中。
<解码单元执行的解码处理>
解包单元53是输入压缩编码图像数据的模块。解包单元53分析从打包单元51接收到的打包数据或解包数据,和从SDRAM 15接收到的打包数据。解包单元53将打包数据分离成:包括初始像素值数据的初始像素值数据部分;包括类值的量化宽度信息数据部分;和包括压缩编码像素值数据的压缩编码像素值数据部分,并且进一步将这些数据部分分离成一个或更多的数据片。将这些数据片发送到逆量化单元55。
逆量化单元55包括:
利用初始像素值数据或解码像素值数据,和量化参考值来设置偏移值的偏移值设置单元55a;
逆量化压缩编码像素值数据以获得逆量化的像素值数据的逆量化单元55b;
利用像素值数据或解码像素值数据,和逆量化的像素值数据来产生解码像素值数据的解码像素值产生单元55c;
将等于或小于零的偏移值或偏移候选值重置到零的偏移值零重置单元55d;
设置量化宽度的量化宽度设置单元55e;和
设置量化参考值的量化参考值设置单元55f。
逆量化单元55利用接收到的几种数据片,对压缩编码像素值数据减小逆量化。逆量化单元55执行与量化单元47中的处理相反的处理,以获得逆量化的像素值数据。逆量化单元55进一步处理逆量化的像素值数据,以获得作为解码数据的解码像素值数据。将解码像素值数据(在本实施例中,12-比特长度的数据)发送到输出单元57。对于初始像素值数据,由于初始像素值数据是作为12-比特长度的非压缩数据(实际数据)接收的,所以将其照原样发送到输出单元57。
输出单元57将接收到的初始像素值数据和解码像素值数据发送到YC处理单元17和图像像素存储单元39。在像素值存储单元39中,能够将接收到的解码像素值数据用于对其他目标像素值的差分产生处理和量化处理。
<示例压缩编码处理>
以下参考图5B,图6,和图7,详细说明根据本实施例的DOCEC 13执行的压缩编码处理和解码处理。给目标像素值等赋予了特定的数值。图5B是图5A的步骤S108中的处理的详细流程图。
按预定的时序,将12-比特数据从ADC 11输入到目标像素值输入单元35。首先,输入像素G1的像素值g1,然后,输入像素R1的像素值r1,同样地输入g2、r2、g3、r3、...。在一个图像的拾取中,优选的是,将相对于每种颜色首先输入的像素值(在本例中是g1和r1)发送到初始像素值产生单元45,并且被作为初始像素值数据处理,然后发送到打包单元51。将初始像素值记录为实际数据。初始像素值不经受差分产生处理和量化处理。但是,在对下一个相同颜色像素的像素值数据应用压缩编码处理时需要初始像素值。因此,将初始像素值发送到量化单元47和像素值存储单元39,并且临时存储在其中。此外,如果以预定像素数量的间隔将目标像素值的数据处理为初始像素值数据,那么应当预见到重置(消除)由于量化造成的累积误差的效果,从而可以预期相对于输入图像的重放图像的SN比率中的改进。
在本实施例中,一个区域中包括四个像素(即,p=4)。将每个分别被作为初始像素值数据对待的像素值g1和r1照原样发送到打包单元51。然后,将它们作为12-比特宽度的数据片分别记录到打包数据中。接下来,将像素G2、R2、G3和R3作为全都是包括在第一区域中的像素对待。对于第二区域和第三区域同样地进行处理。
接下来,说明对于全都是包括在第一区域中的像素值g2、r2、g3和r3的处理。对于像素值g1、r1、g2、r2、g3和r3,将下表(表1)中说明的值用作值的特定例子。
表1
将像素值g2指定为一个目标像素值。将像素值g2作为目标像素值发送到量化单元47、差分产生单元37、和像素值存储单元39。与此同时,将像素值g1作为左侧附近的相同颜色像素值从像素值存储单元39发送到差分产生单元37,以获得这些像素值之间的差分。也就是说,如果此时将Δg2设置为差值,那么
Δg2=g2-g1。
将差值Δg2发送到差分量化宽度确定单元41。
当试图将这个差分产生处理一般化时,可以将其表达为Δci=ci-c(i-1),(c代表像素的颜色,并且c:r,g,或b,和i是指示像素的次序的整数值)。ci是目标像素值,c(i-1)是左侧附近的相同颜色像素值。左侧附近的相同颜色像素值是在前输入的目标像素值或受到一次压缩编码处理并且被解码的解码像素值数据。如同i=1的情况一样,当不存在由下标“i-1”指派的像素值数据时,可以使用位于图像拾取元件的光接收单元中的、并且在目标像素的上方或附近的像素的像素值数据。在本例中,将在前输入的目标像素值用作左侧附近的相同颜色像素值。在产生包括在第二或更后面区域中的像素值的差分中,可以使用解码像素值数据作为颜色像素值附近的左侧。
同样,可以获得关于作为目标像素值的r2的差值Δg2,关于作为目标像素值的g3的差值Δg3,和关于作为目标像素值的r3的差值Δr3。对于目标像素值g3,目标像素值g3与存储在像素值存储单元39中的像素值g2之间的差是差值Δg3。
差分量化宽度确定单元41获得接收到的每个差值的绝对值,即,绝对差值,并且获得绝对差值的二进制表示法的位数,即,量化范围(所需的比特数量,bit())。
对于Δg2,差值是+100,因此,绝对差值是其本身100。十进制表示法的100在二进制表示法中是1100100。因此,需要的比特数,bit(|Δg2|)是7。在本说明中,将十进制X表示为&D(x),并且将二进制Y表示为&B(y)。将同样得到的四个量化范围bit(|Δg2|),bit(|Δr2|),bit(|Δg3|),和bit(|Δr3|)发送到区域量化宽度确定单元43。
当试图将差分量化宽度确定单元41中的处理一般化时,可以将其表达为:获得差值的绝对值,即,绝对差值,和把二进制表示法的绝对差值的位数输出到区域量化宽度确定单元43,作为量化范围。
在接收到有关包括在第一区域中的像素的像素值的每个量化范围的输入之后,区域量化宽度确定单元43确定区域量化宽度。
区域量化宽度等于通过将包括在该区域中的像素的量化范围中的最大值加1获得的值,与压缩编码像素值数据的比特数之间的差分。但是,在区域量化宽度是负数的情况下,将区域量化宽度设置到零。也就是说,区域量化宽度是根据最大像素值差分确定的,所述最大像素值差分是左侧附近的相同颜色像素值与包括在这个区域中的像素值之间的绝对差值中的最大值。
在本实施例中,像素值数据被压缩和编码成8-比特长度的压缩编码像素值数据,因此,压缩编码像素值数据的比特数n=8。因此,区域量化宽度是2(=9+1-8)。
当区域量化宽度确定单元43确定了区域量化宽度时,区域量化宽度确定单元43将区域量化宽度发送到量化单元47和类值代码产生单元49。
在量化单元47中,根据区域量化宽度量化“待量化值”,“待量化值是基于接收的目标像素值与左侧附近的相同颜色像素值之间的差值的值。
第一区域的区域量化宽度是2。区域量化宽度与量化单元执行的量化的精度之间,和区域量化宽度与量化代表值的间隔之间,存在着相关性。由于相关性关系,量化代表值的间隔也随着区域量化宽度的增加而增加。在本发明中,要经受量化处理的值是从包括在相同区域中的像素值获得的。希望量化的精度应当更高(量化代表值的间隔应当更窄)。但是,在待量化值比较大时,有必要降低量化的精度,以便将待量化值转换成具有预定比特长度的代码。在这种情况下,降低量化的精度,即,增大量化代表值的间隔。区域量化宽度可以是可能的量化精度的指标。可以通过考虑也与区域量化宽度相关的想要的代码比特长度,确定区域量化宽度和相关的量化精度(或量化代表值的间隔)。
在本例中,量化代表值的间隔被设置到4,即,待量化值的最低位的2比特被舍入,以便获得8-比特长度的压缩编码像素值数据。
在本发明的CODEC 13中,差值本身不被量化,而是首先根据目标像素值和其左侧附近的相同颜色像素值计算“待量化值“,并量化如此得到的待量化值,并且将量化的值作为压缩编码像素值数据输出。
本例中的值,例如,目标像素值、差值、压缩编码像素值数据、和在处理中使用的值显示在表2中。
表2
首先,以像素G2的像素值数据的压缩编码像素值数据的计算为例,说明量化处理。第一区域的量化宽度是4。(通过舍入数据的最低位的2比特,从10-比特长度数据获得8-比特长度数据。因此,将有关12-比特长度的像素值的数据被舍入2-比特,并以10-比特精度量化。)在这种情况下,“量化参考值”(=2的(量化精度-1)次方)是512(图5B的步骤S108a)。就是说,量化参考值是从量化精度唯一地确定的,而量化精度是由根据最大像素值差分确定的区域量化宽度定义的。具体地讲,量化参考值是根据最大像素值差分确定的。应当注意,量化参考值可以是大于或等于最大像素值差分的值。接下来,从像素值g1减去这个量化参考值,以获得“偏移后选值”,像素值g1是像素值g2的左侧附近的相同颜色像素值(图5B的步骤S108b)。检查偏移候选值的符号。当符号为非负的时,将这个偏移候选值照原样设置为“偏移值”。当偏移候选值是负的时,将偏移值设置为0(图5B的步骤S108c,S108d,和S108e)。接下来,从目标像素值g2减去偏移值,以获得“待量化值”(图5B的步骤S108f)。这个运算也可以说明为,将差值Δg2与量化参考值之和设置为“待量化值。对于像素G2,这个值是&B(0011100100)。舍入这个待量化值的最低位的2比特,并且获得量化值(压缩编码像素值数据)&B(00111001)(图5B的步骤S108g)。当舍入的比特中的最高位是“1”时,将通过给未舍入的比特的最低位比特加“1”获得的值设置为压缩编码像素值数据。自然,在通过加“1”而发生到上位数字的进位时,其他比特也被改变。应当注意,当偏移候选值为负时,可以通过给除了偏移候选值的最低位的r比特之外的所有偏移候选值的位分配为零,而获得偏移候选值。在这里,r可以等于量化舍入的比特数。例如,当区域量化宽度是4时,在量化中舍去2-比特,因此,可以将通过给除了最低位的r比特之外的所有偏移候选值的比特指定为零获得的值,例如,&D(000000010),设置为偏移值,并且可以利用如此得到的偏移值执行后面的处理。在这种情况下,像素R2的待量化值是&D(48)。
接下来,以像素R2的像素值r2的量化为例进行说明。r2的左侧附近的相同颜色像素值是r1。因此,偏移候选值是-262。当偏移候选值为负时,偏移值是0。因此,待量化值是10-比特长度的像素值r2本身,从中可以舍去像素r2的高位的2比特,如此获得的值是&B(0000110010)。舍去这个待量化值的最低位的2比特,并获得量化值(压缩编码像素值数据)&B(00001101)。同样地,可以获得像素G3的像素值g3的压缩编码像素值数据&B(00011100),和像素R3的像素值r3的压缩编码像素值数据&B(00011001)。
参考图6和7,说明量化单元47的处理中使用的量和处理步骤。图6是显示本例中使用的像素值g1、r1、g2、r2、g3和r3与也是在本例中使用的其他量之间的关系的曲线图。像素值是从0到4095的整数值。在像素值g2的量化中,根据像素值g1和量化参考值获得g2的偏移值,并且将通过从像素值g2减去g2的偏移值得到值设置为g2的待量化值。g2的待量化值也等于量化参考值与差之Δg2之和。因此,也可以不使用像素值g1和像素值g2而获得g2的待量化值。在像素值r2和r3的量化中,偏移值是0。因此,r2和r3的待量化值等于像素值r2和r3。在像素值g3的量化中,根据像素值g2和量化参考值获得g3的偏移值,并且将通过从像素值g3减去g3的偏移值得到的值设置为g3的待量化值。g3的待量化值也等于量化参考值与差值Δg3之和。因此,也可以不用像素值g2和g3获得g3的待量化值。
图7是以像素值g2为例显示量化处理的详细情况的曲线图。所有像素值的待量化值是在0至量化参考值的两倍的范围内的值(在本例中,该值小于或等于&D(1024))。在量化中,用量化宽度4舍入g2的待量化值。因此,g2的量化值是&D(153)。用8-比特二进制表示法表示的值,例如,&B(00111001)是g2的压缩编码像素值数据。图7示出了待量化值的上舍入和下舍入的例子。例如,当待量化值在从&D(602)到&D(605)的范围中时,量化值是&D(151),而当待量化值是在从&D(598)到&D(601)的范围中时,量化值是&D(150)。因此,当舍入的比特中最高位比特是“1”时,数是上舍入,而当舍入的比特中最高位比特是“0”时,数是下舍入。应当注意,在量化单元47中量化中,可以执行简单的比特位移(每数据执行下舍入)。
将如此得到的每个像素值的量化值作为8-比特长度的压缩编码像素值数据发送到打包单元51,并且用于打包数据的产生(图5B的步骤S108h)和打包数据的输出(图5B的步骤S108i)。对于包括在第二或更后的区域中的像素值,通过把从打包单元51发送到解码单元33并且其中解码的解码像素值数据发送到像素值存储单元39并存储在其中,和通过把这个数据发送到量化单元47,可以将打包数据用在量化处理中用作左侧附近的相同颜色像素值。
<类值代码产生单元49中的类值代码的产生>
在类值代码产生单元49中,根据接收到的区域量化宽度,将类值作为m-比特长度的数据发送到打包单元51。在本实施例中,m=2。当区域量化宽度是2时,将对应于此的2-比特长度的类值数据发送到打包单元51。类值数据的比特长度m不限于2。在本实施例中,使用了四种类值,因此,将m设置为m=2。当需要更多种的类值时,可以将m设置到更大的整数值。类值是量化精度(或量化代表值的间隔)的一种指标。
<打包单元51中的数据的打包>
将发送到打包单元51的初始像素值数据、压缩编码像素值数据、和作为量化宽度信息数据的类值数据立即发送到解包单元53,并在解码单元33中解码。这些解码数据片可以在后面的目标像素值的压缩编码中使用。此外,将这些数据打包到数据中,以将其数据宽度调节到s-比特,成为对于SDRAM 15存取的存取单元的整数倍(例如,32-比特),并且可以将数据发送到SDRAM 15,作为s-比特长度的打包数据。
在这里,主要说明考虑到对SDRAM 15存取时的数据打包。
一个打包数据具有s-比特长度。这个比特长度s优选是8的整数倍。
在本实施例中,将像素的每个颜色的至少一个像素值记录在每个打包数据中,作为初始像素值数据。在本例中,将输入到CODEC 13的d(d=12)比特长度的像素值数据的像素值g1和r1按照原样记录,作为初始像素值数据。也把指示区域量化宽度的m(m=2)比特长度的类值记录在打包数据中,并且进一步将包括在本区域中的像素的压缩编码像素值数据记录为n(n=8)比特长度的数据。包括在一个区域中的像素的数量p满足p=4,因此,分别将像素G2、R2、G3、和R3的压缩编码像素值数据片记录为8-比特长度的数据。此外,还能够记录下一个区域的类值和包括在下一个区域中的像素的压缩编码像素值数据片。
将上述几种数据集中到一个打包数据中,使得打包数据的总数据长度不超过s-比特。当在打包处理中总数据长度没有达到s-比特时,将预定的空数据添加到多余的比特中,并且可以准备s-比特的打包数据。将打包数据发送到SDRAM 15并存储在其中。
在本实施例中,对于每个打包数据,将首次记录的每个颜色的像素的像素值数据记录为初始像素值数据。这样提高了读取压缩编码数据的便利性。当从记录在SDRAM 15中并且构成一帧图像的图像数据的数据读出数据时,并且如果希望读出数据仅是构成一帧图像的像素值的数据的一部分,那么上述记录方式使得能够通过读出包括需要的像素和它附近的像素的数据的s-比特长度的数据,而仅解码需要的像素值。因此,没有必要读出构成一帧图像的所有像素的数据,从而使得能够实现高速处理和节省电能。
当压缩编码图像数据的压缩率优先于上述效果时,可以减小记录为初始像素值数据的像素值数据的频率。这种情况下,无需将初始像素值数据记录在一个打包数据中。此外,为了提高压缩率,将包括在一个区域中的像素的数量p设置到更大有时是有效的。因此,可以减小类值数据出现的频率。此外,将压缩编码像素值数据的比特长度n设置得较小也是有效的。
此外,也可以用恒定的量化宽度进行处理。在这种情况下,可以不记录指示量化宽度的类值数据。
<解码单元33中的解码>
图8A和8B是解码过程的流程图。图8B是详细显示图8A中的步骤S206中的逐个步骤的流程图。以下参考图8A和8B说明解码单元33进行的压缩编码数据的解码过程。解包单元53输入每种数据,即,初始像素值数据、压缩编码像素值数据、和从打包单元51单独发送的类值数据,以及打包数据,即,从SDRAM 15输入的压缩编码图像数据,并且对于打包数据,将打包数据分离成各个单独的数据(图8A的步骤S201)。以预定的时序,将分离的每种数据从解包单元53发送到逆量化单元55。
发送到逆量化单元55的数据经受与量化单元47中的处理相反的处理。从压缩编码像素值数据计算解码像素值数据,然后,将解码像素值数据发送到输出单元57。具体地讲,将初始像素值数据按照原样,作为d(=12)比特的数据,发送到输出单元57(图8A的步骤S202和S203)。此外,临时地存储该数据以在后面的处理中使用。将作为量化宽度信息数据的类值的数据临时存储起来,以在后面的压缩编码像素值数据的解码处理中使用(图8A的步骤S204和S205)。在步骤S206中,执行解码处理和产生解码像素值数据。从类值数据获得量化宽度和量化参考值(图8B的步骤S206a和S206b)。然后,获得偏移候选值,偏移候选值是在前处理的初始像素值数据与量化参考值之间的差分,或解码像素值数据与量化参考值之间的差分(图8B的步骤S206c)。当偏移候选值是零或更小时,将偏移值设置到零(图8B的步骤S206d,S206e,和S206f)。根据类值所示的区域量化宽度,将压缩编码像素值数据进行比特位移(逆量化),以产生逆量化像素值数据(图8B的步骤S206g)。并且,通过获得逆量化像素值数据与偏移值之和,将像素值数据解码成d=12比特长度的数据,偏移值是在前处理的初始像素值数据与从类值得到的量化参考值之间的差分,或解码像素值数据与量化参考值之间的差分(图8B的步骤S206h)。然后,将解码数据发送到输出单元57,作为解码像素值数据(图8A的步骤S206)。在量化单元47中,在量化中执行上舍入或下舍入,但是,在逆量化单元55中,仅执行简单的比特位移。
将如此得到的解码像素值数据以各自的预定时序,发送到编码单元31和YC处理单元17。
当用恒定量化宽度执行量化处理时,不需要类值数据。这种情况下,可以用给定的量化宽度执行解码处理。
应当指出,在本实施例中,使用了具有Bayer阵列的图像拾取元件。但是,根据本发明的CODEC可以与具有其他阵列的图像拾取元件组合使用,例如,具有原色垂直条纹阵列,RGBRGBRGB...的图像拾取元件。即使在图像拾取元件的传感(像素)阵列是补色网格阵列的情况下,例如,具有CyYeCyYeCyYe...阵列,也可以使用根据本发明的CODEC。可以使用根据本发明的CODEC,而不必考虑图像拾取元件中光接收单元中的像素的阵列格式。不仅是在像素阵列是四方格子阵列的情况下,而且在像素的阵列格式是蜂窝状阵列的情况下,都可以使用根据本发明的CODCE。
<实施例2>
<带有量化造成的误差的反馈处理的CODEC>
本实施例提供了一种设置有具有减小误差的误差反馈处理的CODEC的数字静止相机(DSC)。CODEC进行的像素值数据的量化中经常出现该误差(像素值数据与通过对像素值数据应用压缩编码处理和进一步对编码像素值数据应用解码处理而得到的解码像素值数据之间的差分)。
除了CODEC 113进行的处理之外,本实施例的DSC与根据第一实施例的DSC相同。根据图1,可以考虑,安装在本实施例的DSC上的是下面要说明的CODEC 113,而不是CODEC 13。在这里,说明CODEC 113的配置和处理。没有特别进行说明的部分是与第一实施例相同的部分。
图9是根据本实施例的CODEC 113的方框图。CODEC 113与根据第一实施例的CODEC 13的不同之处在于,误差检测单元59、系数相乘单元61、整数转换单元63、和纠错单元65被添加到编码单元31,不同之处还在于,解码单元33的输出单元57的输出被输入到误差检测单元59和量化单元47。
以下说明CODEC 113的误差反馈处理。在这里,将像素R3的像素值r3的量化中的误差反馈处理作为特定的例子。
将像素值r3从ADC 11输入到目标像素值输入单元35,这与第一实施例中的处理相同。像素值r3是要经受压缩编码处理,然后记录为压缩编码像素值数据的像素值数据。因此,将像素值r3发送到差分产生单元37。与此同时,将目标像素值r3的左侧附近的相同颜色像素值的像素值r2从存储单元39发送到差分产生单元37。得到差分Δr3=r3-r2。获得像素R3的差分量化范围。由区域量化宽度确定单元43,根据包括在与像素R3相同的区域中的像素的差分量化范围,确定区域量化宽度。然后,将如此确定的区域量化宽度发送到量化单元47。
为了量化单元47中的像素值r3的量化,需要目标像素值r3和左侧附近的相同颜色像素值r2以及上述区域量化宽度。在本实施例,将纠错单元65中处理过的纠错的目标像素值Cr3被输入到量化单元47中,来代替目标像素值r3。此外,在像素值r3的量化中,用解码像素值作为左侧附近的相同颜色像素值。
根据表2,像素值r2是&D(50)。而解码像素值是&D(52)。在使用解码像素值作为量化的左侧附近的相同颜色像素值的本实施例的CODEC 113中,在前面像素的像素值的量化中产生的误差对于后面相同颜色像素的像素值的量化有影响。为了减小这种影响,执行下面要说明的CODEC 113的误差反馈处理。
把从解码单元33的输出单元57输出的解码像素值发送到编码单元31的误差检测单元59。也把记录在存储单元39中的像素值r2以匹配的时序输入到误差检测单元59,以计算误差。在这里,作为像素值r2(真值)与解码像素值之间的误差的误差Er2是从真像素值与解码像素值之间的差分得到的。也就是说,Er2=(真像素值)-(解码像素值)=(-2)。
将有关像素值r2的误差Er2发送到系数相乘单元61。通过将误差乘以系数α得到值αEr2,即,α·Er2(=αEr2)。系数α可以是从试验得到的值。
在本例中,为了简化,将α设置为0.50。因此,在本例中,αEr2是(-1.00)。通常,α是从试验得到的实数,因此,十进制小数部分出现在误差αEr2中,它是Er2与α的乘积。因此,整数转换单元63将实数αEr2转换成整数,以便将如此得到的整数值设置为误差纠正值。整数处理单元63进行的整数转换处理可以是一般的处理。例如,可以执行小数部分的下舍入,小数部分的第一位的舍入,或小数的上舍入之类的处理。在本例中,误差纠正值是(-1)。
接下来,说明纠错单元65中的处理。目标像素值r3和像素值r3的纠错值,(-1)被输入到纠错单元65中。在这里,将纠错值赋予目标像素值作为负反馈。也就是说,纠错的目标像素值Cr3等于通过从目标像素值减去纠错值而得到的值。就是说,Cr3=r3-(-1)=r3+1。将纠错的目标像素值Cr3输入到量化单元47,然后根据解码像素值Dr2和区域量化宽度进行量化。量化值被输出到打包单元51,作为压缩编码像素值数据。
量化单元47中的处理可以与第一实施例中的相同。根据目标像素值与存储在存储单元39中并且不包括误差的左侧附近的相同颜色像素值之间的差值,确定区域量化宽度的值。纠错单元65纠正的纠错的目标像素值被用于目标像素值。在量化单元47中,将已经受到压缩编码处理和进一步受到解码处理的解码像素值数据用作左侧附近的相同颜色像素值。
<实施例3>
<基于分布比率的可变比特长度压缩编码像素值数据的使用>
这个实施例提供了一种其CODEC能够根据实际成像的物体的特性改变和优化压缩编码像素值数据的比特长度(压缩编码像素值数据的比特数)的数字静止相机(DSC),压缩编码像素值数据是像素值数据的压缩编码值。本实施例提供了具有更高压缩效率的CODEC 213。除了CODEC213中的处理之外,本实施例的DSC与第一和第二实施例的DSC相同。根据图1,可以考虑下面要说明的CODEC 213安装在本实施例的DSC上,取代了CODEC 13。在这里,说明CODEC 213的配置和处理。没有特别说明的部分可以是与第一实施例中相同的部分。本实施例的CODEC 213执行压缩编码像素值数据等的最佳比特长度的确定处理。根据在发出图像拾取指令之前的瞬间(操作人员按下快门按钮的瞬间)已经进入图像拾取元件的有关物体的光学信息,压缩编码像素值数据等的最佳比特长度确定处理确定压缩编码像素值数据的比特的最佳数量。
<CODEC 213的配置>
图10是根据本实施例的CODEC 213的方框图。CODEC 213与根据第一和第二实施例的CODEC 13和113的不同之处在于,差分量化范围提取单元67和分布比率分析单元69被加入到编码单元31中。至于其它配置,给CODEC 213提供了与CODEC 13或CODEC 113相同的结构。也就是说,图9示出了除了上述不同之外,CODEC 213具有与CODEC 13相同的配置。但是,除了上述不同之处之外,CODEC 213可以具有与CODEC 113相同的配置。
差分量化范围提取单元67输入来自差分量化范围确定单元41的输出,即,每个像素差值的量化范围,并且将输入临时地存储在其中。在预定的时序,将存储在提取单元67中的多个量化范围输出到分布比率分析单元69。
分布比率分析单元69分析对应于一帧图像的稀化像素的量化范围,并确定压缩编码像素值数据的最佳比特数。将如此确定的压缩编码像素值数据的最佳比特数(t[比特])发送到量化单元47和类值代码产生单元49。
在量化单元47中,产生t-比特长度的压缩编码像素值数据。类值代码产生单元49产生表达从区域量化宽度确定单元43输入的区域量化宽度和压缩编码像素值数据的最佳比特数的m-比特的类值代码,然后将其输出到打包单元51。本实施例中,可以根据预定义的转换规则产生类值,以便包括压缩编码像素值数据的最佳比特数。
<CODEC 213中确定压缩编码像素值数据的最佳比特数的处理>
DSC 1具有被称为“监视(monitor)”模式的操作模式。监视模式是,例如,将入射到图像拾取元件5的光学信息(例如,物体图像)显示在显示单元27上,以便操作人员能够确定物体从而等待一段时间再启动快门的操作的模式。在监视模式中,DSC 1操作仅对预定比率的像素的处理,而不是提取图像拾取元件5的所有像素的累积电荷和对所有提取的累积电荷进行信号处理。将这种图像拾取元件驱动模式称为汲取模式(draftmode)或稀化模式(thinning mode)。也就是说,在监视模式中,DSC 1以汲取模式驱动图像拾取元件5。DSC 1响应操作人员对快门按钮的操作,并将图像拾取元件驱动模式从汲取模式转换到所有像素驱动模式,从而执行成像。
在监视模式中,CODEC 213以汲取模式输入像素值,即,CODEC 213输入稀化的像素值数量。以预定的图形执行像素的稀化,因此,在汲取模式中可以根据预定的规则定义有关目标像素值的左侧附近的相同颜色像素值,尽管该规则必须被从成像时的规则修改。在差分产生单元37中,利用如此定义的有关目标像素值的左侧附近的相同颜色像素值,计算每个目标像素值的差值,差分量化范围确定单元41确定相对于每个目标像素值的差分量化范围。将如此确定的差分量化范围发送到差分量化范围提取单元67。
差分量化范围提取单元67将最近的一帧图像的差分量化范围发送到分布比率分析单元69,将差分量化范围应用到临时存储的每个目标像素。
<分布比率分析单元69中的处理>
分布比率分析单元69分析接收到的差分量化范围,并确定压缩编码像素值数据的最佳比特数。
压缩编码像素值数据的最佳比特数是CODEC 213产生的用于将拾取的图像作为压缩编码数据记录在SDRAM 15中的压缩编码像素值数据的比特长度。在第一和第二实施例中,这个比特长度n固定在8-比特。但是,在一些情况下,根据成像的物体,利用设置在短于8-比特长度的比特长度可以获得足够好的图像质量。因此,在本实施例中,根据监视模式中检索到的物体信息确定最佳比特长度。
首先,分布比率分析单元69分析包括物体的最近一帧图像的差分量化范围,并获得差分量化范围的出现分布。然后,例如,分布比率分析单元69获得各包括在小于或等于自然数(n-1(=8-1=7)),即,自然数v、v-1、v-2、或...的值中的差分量化范围的分布比率。从这些分布比率,获得其分布比率大于或等于预定阈值的最大差分量化范围w。将通过给最大差分量化范围w加1得到的数设置为压缩编码像素值数据的最佳比特数,然后将其发送到量化单元47和类值代码产生单元49。
例如,当具有4或更小的值的差分量化范围的出现比率是有关所有量化范围的预定比率(90%,例如)时,可以估计有大约90%的像素值数据片可以用4+1=5-比特长度的数据记录,而不用通过量化单元47舍入。对于这样一个物体,给每个压缩编码像素值数据的比特数分配8-比特长度,在压缩率方面是不利的。在这种情况下,CODEC 213能够提高压缩率,而不降低质量。在这种情况下,量化单元47为每个目标像素值输出具有5-比特长度的压缩编码像素值数据。对于类值,产生具有有关压缩编码像素值数据的最佳比特数的信息的类值。因此,在解码单元33中的解码中,根据类值确定每个压缩编码像素值数据的比特数,并且可以执行与前面所述的实施例相同的解码处理。
应当指出,在分布比率分析单元69中,不是分析最近一帧图像的差分量化范围,而仅分析图像的一部分,例如,分析图像中的一个重要部分或中心区域,并且可以确定压缩编码像素值数据的最佳比特数。
此外,在前面的例子中,尽管将预定比率设置到90%,但是可以使用1到100%中任何比率作为阈值。此外,通过检查物体的特性,根据这种检查的结果,可以为每个成像处理灵活地确定阈值。
此外,可以将包括在一帧图像中的差分量化范围划分成多个块,在每个块中,可以确定压缩编码像素值数据的最佳比特数。在这种情况下,将不同的比特长度的数据混合在一帧图像的压缩编码像素值数据中。但是,类值存储这些压缩编码像素值数据的比特数变化。因此,可以在解码单元33中正确地解码。
此外,即使在监视模式下,也可以用全像素驱动模式驱动图像拾取元件5。
此外,在本发明的所有实施例中,不仅可以利用存储元件,而且也可以使用已知的延迟电路实现存储或临时存储的功能。
工业实用性
本发明可以在具有CCD传感器或MOS传感器的普通电子装置或普通视频装置中使用。这些装置被认为今后将被更广泛地使用。本发明尽管具有简单的结构,但是可以压缩大量的数据而几乎不损害图像质量。
通过减少记录数据的比特数,可以减少存储器的使用量和存储器的存取量,并且也可以降低成本和电力消耗。
本发明可以在数字静止相机和拍摄运动图像的摄像机中使用。
Claims (24)
1.一种数字数据编码装置,用于接收数字格式的像素值数据,并处理所述像素值数据,所述像素值数据指示来自光接收单元的信号,在所述光接收单元中至少周期性地排列着用于感测第一颜色的像素和用于感测第二颜色的像素,所述数字数据编码装置包括:
差分产生单元,用于输出来自感测第一颜色的第一像素的第一像素值数据与来自位于第一像素附近的、感测第一颜色的第二像素的第二像素值数据之间的差值作为第一像素差值,和输出来自感测第二颜色的第三像素的第三像素值数据与来自位于第三像素附近的、感测第二颜色的第四像素的第四像素值数据的差值作为第二像素差值;
量化参考值确定单元,用于获得第一像素差值的绝对值与第二像素差值的绝对值之间的最大值作为最大像素值差分,并且将大于或等于所获得的最大像素值差分的值确定为量化参考值;
偏移值设置单元,用于将第一像素值数据与量化参考值之间的差分设置为第一偏移值,将第三像素值数据与量化参考值之间的差分设置为第二偏移值;
待量化值设置单元,用于将第二像素值数据与第一偏移值之间的差分设置为第一待量化值,和将第四像素值数据与第二偏移值之间的差分设置为第二待量化值;和
量化单元,用于量化第一待量化值和第二待量化值,获得第一压缩编码像素值数据和第二压缩编码像素值数据。
2.根据权利要求1所述的数字数据编码装置,其中第一颜色和第二颜色是彼此不同的。
3.根据权利要求1所述的数字数据编码装置,进一步包括偏移值零重置单元,用于在所述偏移值设置单元定义的偏移值小于或等于零时,将偏移值重置为零。
4.根据权利要求1所述的数字数据编码装置,进一步包括量化宽度确定单元,用于确定量化的量化宽度。
5.根据权利要求4所述的数字数据编码装置,其中量化宽度随着最大像素值差分的变大而增大。
6.根据权利要求4所述的数字数据编码装置,包括量化宽度信息数据产生单元,用于将确定的量化宽度编码成m-比特长度的代码,m是自然数。
7.根据权利要求4所述的数字数据编码装置,其中所述量化宽度确定单元将量化宽度确定为大于或等于零的整数值。
8.根据权利要求6所述的数字数据编码装置,进一步包括压缩编码图像数据产生单元,
其中所述压缩编码图像数据产生单元产生s-比特长度的压缩编码图像数据,s是自然数,所述s-比特长度的压缩编码图像数据包括量化宽度信息数据、第一压缩编码像素值数据、和第二压缩编码像素值数据中的至少一个,s是8的倍数。
9.根据权利要求8所述的数字数据编码装置,其中所述压缩编码图像数据产生单元将第一像素值数据照原样记录在压缩编码图像数据中,作为初始像素值数据。
10.根据权利要求7所述的数字数据编码装置,其中所述量化宽度确定单元获得第一像素差值与第二像素差值中的每一个的无符号整型二进制表示法所需的位数之间的最大值,以便确定量化宽度为大于或等于零的整数值。
11.根据权利要求1所述的数字数据编码装置,进一步包括:
纠错单元,用于纠正第二像素值数据和产生纠错的像素值数据;和
数字数据解码单元,用于对压缩编码像素值数据解码和输出解码的像素值数据,
其中:
所述偏移值设置单元利用解码的像素值数据代替第一像素值数据来设置第一偏移值;和
所述待量化值设置单元利用纠错的像素值数据代替第二像素值数据来设置第一待量化值。
12.根据权利要求11所述的数字数据编码装置,其中所述纠错单元进行的第二像素值数据的纠正是通过从第二像素值数据减去与第一像素值数据与第二像素值数据之间的差分有关的纠正值执行。
13.一种数字数据解码装置,包括:
压缩编码图像数据输入单元,用于输入具有初始像素值数据部分,压缩编码像素值数据部分,和量化宽度信息数据部分的、s-比特长度的压缩编码图像数据,s是自然数,在所述初始像素值数据部分中照原样记录着感测第一颜色的第一像素的第一像素值数据作为第一初始像素值数据,在所述压缩编码像素值数据部分中记录着指示位于第一像素附近的、感测第一颜色的第二像素的第二像素值数据的第一压缩编码像素值数据,所述量化宽度信息数据部分中记录着具有关于第一量化宽度的信息的第一量化宽度信息数据;
量化参考值设置单元,用于根据所述第一量化宽度信息数据,将逆量化的第一量化参考值设置到2的整数次方中的任何一个;
偏移值设置单元,用于获得第一初始像素值数据与第一量化参考值之间的差分,并设置为第一偏移值;
逆量化单元,用于利用设置的第一量化宽度逆量化第一压缩编码像素值数据,以获得第一逆量化的像素值数据;和
解码像素值产生单元,用于获得第一逆量化像素值数据与第一偏移值的和,以产生第一解码像素值数据。
14.根据权利要求13所述的数字数据解码装置,其中:
进一步照原样记录位于第一像素附近的、用于感测第二颜色的第三像素的第三像素值数据作为初始像素值数据部分中的第二初始像素值数据;
进一步将指示位于第三像素附近的、用于感测第二颜色的第四像素的第四像素值数据的第二压缩编码像素值数据记录在压缩编码像素值数据部分中;
所述偏移值设置单元获得第二初始像素值数据与第一量化参考值之间的差分,作为第二偏移值;
所述逆量化单元进一步利用第一量化宽度逆量化第二压缩编码像素值数据,以便获得第二逆量化像素值数据;和
所述解码像素值产生单元进一步获得第二逆量化像素值数据与第二偏移值的和,以产生第二解码像素值数据。
15.根据权利要求13所述的数字数据解码装置,其中第一颜色和第二颜色是彼此不同的。
16.根据权利要求14所述的数字数据解码装置,其中:
进一步将指示位于第二像素附近的、并且在第四像素附近的、用于感测第一颜色的第五像素的第五像素值数据的第三压缩编码像素值数据记录在压缩编码像素值数据部分中;
所述偏移值设置单元进一步获得第一解码像素值数据与第二量化参考值之间的差分,并设置为第三偏移值;
所述逆量化单元进一步利用设置的第二量化宽度逆量化第三压缩编码像素值数据,以获得第三逆量化像素值数据;和
所述解码像素值产生单元进一步获得第三逆量化像素值数据与第三偏移值的和,以产生第三解码像素值数据。
17.根据权利要求13所述的数字数据解码装置,进一步包括偏移值零重置单元,用于在偏移值设置单元定义的偏移值小于或等于零时,将偏移值重置为零。
18.根据权利要求16所述的数字数据解码装置,其中压缩编码图像数据的量化宽度信息数据部分进一步包括具有关于第二量化宽度的信息的第二量化宽度信息数据。
19.根据权利要求18所述的数字数据解码装置,进一步包括量化宽度设置单元,用于将逆量化的量化宽度设置为大于或等于零的整数值,
其中所述量化宽度设置单元根据第一量化宽度信息数据和第二量化宽度信息数据,分别将第一量化宽度和第二量化宽度设置到大于或等于零的整数值中的每一个。
20.根据权利要求19所述的数字数据解码装置,
其中所述量化参考值设置单元进一步根据第二量化宽度信息数据设置逆量化的第二量化参考值为2的整数次方中的任何一个。
21.根据权利要求20所述的数字数据解码装置,其中第一量化宽度信息数据和第二量化宽度信息数据分别是m-比特长度的数据,m是自然数。
22.根据权利要求21所述的数字数据解码装置,其中m是2。
23.一种数字数据编码方法,用于接收数字格式的像素值数据,并处理所述像素值数据,所述像素值数据指示来自光接收单元的信号,在所述光接收单元中周期性地排列着用于感测第一颜色的像素和用于感测第二颜色的像素,所述方法包括:
产生和输出感测第一颜色的第一像素的第一像素值数据与感测第一颜色、并位于第一像素附近的第二像素的第二像素值数据之间的差值作为第一像素差值,产生和输出感测第二颜色的第三像素的第三像素值数据与感测第二颜色、并位于第三像素附近的第四像素的第四像素值数据之间的差值作为第二像素差值;
获得第一像素差值的绝对值与第二像素差值的绝对值之间的最大值作为最大像素值差分,确定大于或等于所述最大像素值差分的值,并确定所述值为量化参考值;
将第一像素值数据与量化参考值之间的差分设置为第一偏移值,将第三像素值数据与量化参考值之间的差分设置为第二偏移值;
将第二像素值数据与第一偏移值之间的差分设置为第一待量化值,和将第四像素值数据与第二偏移值之间的差分设置为第二待量化值;和
量化第一待量化值和第二待量化值,以分别获得第一压缩编码像素值数据和第二压缩编码像素值数据。
24.一种数字数据解码方法,包括:
输入具有初始像素值数据部分,压缩编码像素值数据部分,和量化宽度信息数据部分的、s-比特长度的压缩编码图像数据,s是自然数,在所述初始像素值数据部分中照原样记录着感测第一颜色的第一像素的第一像素值数据作为第一初始像素值数据,在所述压缩编码像素值数据部分中记录着指示位于第一像素附近的、感测第一颜色的第二像素的第二像素值数据的第一压缩编码像素值数据,所述量化宽度信息数据部分中记录着具有关于第一量化宽度的信息的第一量化宽度信息数据;
根据所述第一量化宽度信息数据,将逆量化的第一量化参考值设置为2的整数次方中的任何一个;
获得第一初始像素值数据与第一量化参考值之间的差分,并设置为第一偏移值;
利用设置的第一量化宽度逆量化第一压缩编码像素值数据,以获得第一逆量化的像素值数据;和
获得第一逆量化像素值数据与第一偏移值的和,以产生第一解码像素值数据。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005215785A JP4769039B2 (ja) | 2005-07-26 | 2005-07-26 | デジタル信号符号化および復号化装置ならびにその方法 |
JP215785/2005 | 2005-07-26 | ||
PCT/JP2006/314265 WO2007013335A1 (ja) | 2005-07-26 | 2006-07-19 | デジタル信号符号化および復号化装置ならびにその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101233765A CN101233765A (zh) | 2008-07-30 |
CN101233765B true CN101233765B (zh) | 2012-07-04 |
Family
ID=37683236
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2006800275563A Active CN101233765B (zh) | 2005-07-26 | 2006-07-19 | 数字信号编码和解码装置及方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8275207B2 (zh) |
EP (1) | EP1912445A4 (zh) |
JP (1) | JP4769039B2 (zh) |
KR (1) | KR20080038137A (zh) |
CN (1) | CN101233765B (zh) |
WO (1) | WO2007013335A1 (zh) |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008124530A (ja) * | 2006-11-08 | 2008-05-29 | Tokyo Institute Of Technology | Rawデータ圧縮方法 |
US8237830B2 (en) | 2007-04-11 | 2012-08-07 | Red.Com, Inc. | Video camera |
BRPI0809662A2 (pt) | 2007-04-11 | 2014-10-14 | Red Com Inc | Câmaras de vídeo e métodos de gravação de vídeo de movimento com câmara e de processamento de imagens |
KR101365444B1 (ko) * | 2007-11-19 | 2014-02-21 | 삼성전자주식회사 | 영상의 해상도의 조정을 통하여 동영상을 효율적으로부호화/복호화하는 방법 및 장치 |
CN102165760B (zh) * | 2008-09-25 | 2014-08-06 | 松下电器产业株式会社 | 图像编码装置、数字静态相机、数字摄像机、摄像元件以及图像编码方法 |
AU2008246243B2 (en) * | 2008-11-19 | 2011-12-22 | Canon Kabushiki Kaisha | DVC as generic file format for plenoptic camera |
JP2010166520A (ja) * | 2009-01-19 | 2010-07-29 | Panasonic Corp | 画像符号化・復号化装置 |
JP5530198B2 (ja) | 2009-11-20 | 2014-06-25 | パナソニック株式会社 | 画像符号化方法、復号化方法、装置 |
US8526752B2 (en) * | 2010-08-23 | 2013-09-03 | Aptina Imaging Corporation | Imaging systems with fixed output sizes and frame rates |
JP5529685B2 (ja) | 2010-09-03 | 2014-06-25 | パナソニック株式会社 | 画像符号化方法、画像復号化方法、画像符号化装置及び画像復号化装置 |
WO2012128897A2 (en) * | 2011-02-25 | 2012-09-27 | California Insitute Of Technology | Systems and methods for acquiring and decoding signals using compressed sensing |
AU2012277160B2 (en) | 2011-06-27 | 2016-12-15 | Sun Patent Trust | Image encoding method, image decoding method, image encoding device, image decoding device, and image encoding/decoding device |
US9253482B2 (en) * | 2011-11-08 | 2016-02-02 | Texas Insturments Incorporated | Method and apparatus for sample adaptive offset without sign coding |
JP2013126186A (ja) * | 2011-12-15 | 2013-06-24 | Samsung Electronics Co Ltd | 撮像装置及び画像処理方法 |
US9129872B2 (en) * | 2012-09-20 | 2015-09-08 | Semiconductor Components Industries, Llc | Imaging pixels with improved photodiode structures |
JP6125215B2 (ja) | 2012-09-21 | 2017-05-10 | 株式会社東芝 | 復号装置、及び符号化装置 |
WO2014127153A1 (en) | 2013-02-14 | 2014-08-21 | Red. Com, Inc. | Video camera |
CN103167289B (zh) * | 2013-03-06 | 2015-10-28 | 硅谷数模半导体(北京)有限公司 | 图像的编码、解码方法及编码、解码装置 |
US9077924B2 (en) * | 2013-08-29 | 2015-07-07 | Sony Corporation | CMOS image sensor implementing correlated double sampling with compression |
US10419774B2 (en) | 2013-12-10 | 2019-09-17 | Canon Kabushiki Kaisha | Palette mode in HEVC |
EP3080990B1 (en) | 2013-12-10 | 2018-09-05 | Canon Kabushiki Kaisha | Method and apparatus for encoding or decoding a palette in palette coding mode |
US11350015B2 (en) | 2014-01-06 | 2022-05-31 | Panamorph, Inc. | Image processing system and method |
US9584701B2 (en) * | 2014-01-06 | 2017-02-28 | Panamorph, Inc. | Image processing system and method |
CN105100814B (zh) | 2014-05-06 | 2020-07-14 | 同济大学 | 图像编码、解码方法及装置 |
US10750198B2 (en) | 2014-05-22 | 2020-08-18 | Qualcomm Incorporated | Maximum palette parameters in palette-based video coding |
CN105874718A (zh) * | 2014-09-03 | 2016-08-17 | 奥林巴斯株式会社 | 解码装置、摄像***、解码方法、编解码方法以及解码程序 |
CN105306063B (zh) * | 2015-10-12 | 2018-11-02 | 浙江大学 | 一种记录型数据存储空间的优化与恢复方法 |
JP6816137B2 (ja) | 2016-06-14 | 2021-01-20 | オリンパス株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
KR102620350B1 (ko) | 2017-07-05 | 2024-01-02 | 레드.컴, 엘엘씨 | 전자 디바이스에서의 비디오 이미지 데이터 처리 |
KR102410035B1 (ko) * | 2017-07-06 | 2022-06-20 | 삼성디스플레이 주식회사 | 영상 신호 처리 장치 및 그것을 포함하는 표시 장치 |
WO2019021819A1 (ja) * | 2017-07-25 | 2019-01-31 | ソニーセミコンダクタソリューションズ株式会社 | 放射線検出装置 |
CN107635086A (zh) * | 2017-10-25 | 2018-01-26 | 深圳地平线机器人科技有限公司 | 固态图像传感器和图像感测方法 |
CN107635087B (zh) * | 2017-11-08 | 2024-05-07 | 深圳地平线机器人科技有限公司 | 固态图像传感器和图像感测方法 |
DE102018110383A1 (de) * | 2018-04-30 | 2019-10-31 | Basler Ag | Verfahren und Vorrichtung zum Kodieren von Bilddaten |
US11736648B2 (en) | 2018-05-09 | 2023-08-22 | Panamorph, Inc. | Progressive image compression and restoration providing a high spatial quality intermediate image |
DE102018122297A1 (de) * | 2018-09-12 | 2020-03-12 | Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg | Verfahren zur Kompression und Dekompression von Bilddaten |
US10733158B1 (en) * | 2019-05-03 | 2020-08-04 | EMC IP Holding Company LLC | System and method for hash-based entropy calculation |
TW202105987A (zh) * | 2019-07-26 | 2021-02-01 | 日商半導體能源研究所股份有限公司 | 攝像裝置及其工作方法及電子裝置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0193185A1 (en) * | 1985-02-28 | 1986-09-03 | Mitsubishi Denki Kabushiki Kaisha | Interframe adaptive vector quantization encoding apparatus |
CN1252202A (zh) * | 1997-03-12 | 2000-05-03 | 松下电器产业株式会社 | 编码方法、编码装置和记录媒体,以及解码方法、解码装置和记录媒体 |
CN1374789A (zh) * | 2001-02-21 | 2002-10-16 | 胡笑平 | 数字图象压缩方法 |
JP2003259393A (ja) * | 2002-03-01 | 2003-09-12 | Sony Corp | 符号化処理装置、復号処理装置、および方法、並びにコンピュータ・プログラム |
US6744929B1 (en) * | 1999-11-18 | 2004-06-01 | Nikon Corporation | Image data compression method image data compression apparatus and recording medium and data signal for providing image data compression program |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61205093A (ja) * | 1985-03-08 | 1986-09-11 | Mitsubishi Electric Corp | カラ−静止画像高能率符号化装置 |
JP2940304B2 (ja) * | 1992-06-15 | 1999-08-25 | 松下電器産業株式会社 | 高能率符号化装置および高能率符号化方法および高能率符号化装置の復号装置 |
EP0788282B1 (en) * | 1996-02-05 | 2010-01-20 | Panasonic Corporation | Quantization method |
JP2933563B2 (ja) * | 1996-04-02 | 1999-08-16 | 松下電器産業株式会社 | 画像符号化装置、画像復号化装置および画像符号化・復号化装置 |
JPH11341288A (ja) * | 1998-05-26 | 1999-12-10 | Hitachi Ltd | ディジタル映像システム |
JP2000244935A (ja) * | 1998-12-21 | 2000-09-08 | Nikon Corp | 画像データ圧縮方法 |
JP2003143606A (ja) * | 2001-10-31 | 2003-05-16 | Sony Corp | 画像信号処理方法及び画像信号処理装置 |
-
2005
- 2005-07-26 JP JP2005215785A patent/JP4769039B2/ja active Active
-
2006
- 2006-07-19 CN CN2006800275563A patent/CN101233765B/zh active Active
- 2006-07-19 EP EP06768291A patent/EP1912445A4/en not_active Withdrawn
- 2006-07-19 US US11/996,705 patent/US8275207B2/en active Active
- 2006-07-19 KR KR20087002178A patent/KR20080038137A/ko not_active Application Discontinuation
- 2006-07-19 WO PCT/JP2006/314265 patent/WO2007013335A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0193185A1 (en) * | 1985-02-28 | 1986-09-03 | Mitsubishi Denki Kabushiki Kaisha | Interframe adaptive vector quantization encoding apparatus |
CN1252202A (zh) * | 1997-03-12 | 2000-05-03 | 松下电器产业株式会社 | 编码方法、编码装置和记录媒体,以及解码方法、解码装置和记录媒体 |
US6744929B1 (en) * | 1999-11-18 | 2004-06-01 | Nikon Corporation | Image data compression method image data compression apparatus and recording medium and data signal for providing image data compression program |
CN1374789A (zh) * | 2001-02-21 | 2002-10-16 | 胡笑平 | 数字图象压缩方法 |
JP2003259393A (ja) * | 2002-03-01 | 2003-09-12 | Sony Corp | 符号化処理装置、復号処理装置、および方法、並びにコンピュータ・プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2007036566A (ja) | 2007-02-08 |
US8275207B2 (en) | 2012-09-25 |
KR20080038137A (ko) | 2008-05-02 |
EP1912445A1 (en) | 2008-04-16 |
EP1912445A4 (en) | 2010-08-25 |
JP4769039B2 (ja) | 2011-09-07 |
WO2007013335A1 (ja) | 2007-02-01 |
US20100142811A1 (en) | 2010-06-10 |
CN101233765A (zh) | 2008-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101233765B (zh) | 数字信号编码和解码装置及方法 | |
CN100592759C (zh) | 图像拍摄设备、成像电路、和图像拍摄方法 | |
CN100539636C (zh) | 图像数据处理装置和图像数据处理方法 | |
CN101312532B (zh) | 摄像装置、摄像电路以及摄像方法 | |
JP2009273035A (ja) | 画像圧縮装置、画像伸張装置及び画像処理装置 | |
CN102165760B (zh) | 图像编码装置、数字静态相机、数字摄像机、摄像元件以及图像编码方法 | |
CN104247422A (zh) | 用于改进帧内预测的新的角度表 | |
US9813652B2 (en) | CMOS image sensor and imaging method implementing correlated double sampling and compression | |
CN1798343A (zh) | 一种解码数据结构的方法及视频解码器 | |
JP2009017505A (ja) | 画像圧縮装置、画像伸張装置及び画像処理装置 | |
CN102457722B (zh) | Bayer图像的处理方法及装置 | |
CN102812698B (zh) | 摄像装置 | |
CN107105208A (zh) | 一种Bayer图像的无损编码与解码方法 | |
US20130300893A1 (en) | Two-dimensional signal encoding device | |
CN101494788B (zh) | 视频图像的压缩/解压缩方法与装置 | |
CN102055914A (zh) | 信号处理设备、信号处理方法和计算机程序 | |
US20110200263A1 (en) | Image encoder and image decoder | |
US8224103B2 (en) | Image encoding method and device, image decoding method and device, and imaging device | |
CN103533260B (zh) | Cmos图像传感器像素值的无损压缩方法 | |
US7548658B1 (en) | Lossless video data compressor with very high data rate | |
US20130251255A1 (en) | Image compressor, image processing system, and method for compressing image | |
JP2000244744A (ja) | 画像データ圧縮方法及び画像データ管理方法 | |
CN102695005B (zh) | 噪声因子的编码、噪声的抑制方法和装置及图像传感器 | |
US12052307B2 (en) | Image processing device and method for operating image processing device | |
JP2009038740A (ja) | 画像符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |