CN101990095B - 压缩文件生成方法和设备、相关的相机模块和终端 - Google Patents
压缩文件生成方法和设备、相关的相机模块和终端 Download PDFInfo
- Publication number
- CN101990095B CN101990095B CN200910169571.7A CN200910169571A CN101990095B CN 101990095 B CN101990095 B CN 101990095B CN 200910169571 A CN200910169571 A CN 200910169571A CN 101990095 B CN101990095 B CN 101990095B
- Authority
- CN
- China
- Prior art keywords
- data
- image data
- thumbnail
- frame
- header
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/24—Systems for the transmission of television signals using pulse code modulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2101/00—Still video cameras
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Devices (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种压缩文件生成方法和设备、相关的相机模块和终端。该压缩文件生成设备包括:存储帧数据的存储单元,该帧数据包括压缩图像数据;报头生成器,其根据所述帧数据生成报头;以及文件生成器,其生成包括所述报头和所述压缩图像数据的压缩图像文件。
Description
技术领域
本发明涉及图像处理,尤其涉及一种压缩文件生成方法和设备、与该方法和设备相关的相机模块及包括压缩文件生成设备和相机模块的终端。
背景技术
近来,随着数字信号处理技术的快速发展,数字图像已经广泛应用于各个领域。此外,数字图像处理技术的必要性随着数字通信的发展和多媒体应用领域的扩展而增加。
具体地说,需要针对大量数据处理图像信号,并且因此需要图像压缩技术来有效地传送或者存储数字图像。
图像压缩技术的典型示例包括作为静态图像压缩技术标准的JPEG(联合图像专家组)和作为动态图像压缩技术标准的MPEG(运动图像专家组)。
众所周知的是,因为JPEG具有很高的数据压缩效率并且可以表现各种色彩,因此JPEG适合于要求高图像质量和高分辨率显示的电子设备。此外,在生成图像时,JPEG可以控制图像的质量和文件大小。
基于上述JPEG的优点,近来面市的大多数电子设备将JPEG采用为静态图像压缩方法。然而,随着对更高图像质量和高分辨率图像的需求,需要一种能够以高速度和高效率压缩大量图像数据的方法。
此外,具有高图像质量和超过1,000,000像素的高分辨率的相机模块通常安装在各种电子设备和电子照相装置中(例如,静态数码相机等)。具体地说,在如笔记本计算机和蜂窝电话之类的移动终端中,拍照并再现图像或者移动图像的功能是用户最常用的附加功能之一,因此相机模块被认为是必须安装在移动终端中的基本构件。
然而,移动装置(例如,蜂窝电话和小型电子装置)的数据处理能力和/或效率以及处理速度不如电子照相设备、大型电子设备或者固定终端。尽管如此,常规的移动装置和小型电子装置还是采用了应用于电子照相设备、大型电子设备或者固定终端的图像压缩方法(也就是,基于设备中的主机***的图像压缩处理,稍后将参照图2进行描述)。这降低了压缩效率和速度,并且增加了数据处理负荷。
因此,迫切需要一种专用于移动装置或者小型电子装置并且应用于移动装置或者小型电子装置的新型图像压缩方法。
发明内容
本发明的一个目的是提供一种能够提高图像压缩效率和处理速度的压缩文件生成方法和设备、与该方法和设备相关的相机模块以及包括该相机模块及设备的终端。
本发明的另一目的是提供一种能够减小电子设备中的主机***中的图像压缩负荷和时间的压缩文件生成方法和设备、与该方法和设备相关的相机模块以及包括该相机模块及设备的终端,该电子设备具有相机模块和位于相机模块外部并且与相机模块连接的主机***。
本发明的再一目的是提供一种可适当应用于移动电子装置和/或小型电子装置的压缩文件生成方法和设备、与该设备相关的相机模块以及包括该相机模块及设备的终端。
根据本发明的一方面,提供了一种压缩文件生成设备,该设备包括:存储输入的帧数据的存储单元,该帧数据包括压缩图像数据;报头生成器,其根据所述帧数据生成报头;以及文件生成器,其生成包括所述报头和所述压缩图像数据的压缩图像文件。
根据本发明的另一方面,提供了一种压缩文件生成方法,该方法包括以下步骤:接收包括压缩图像数据的帧数据;根据所述帧数据生成报头;并且生成包括所述报头和所述压缩图像数据的压缩图像文件。
根据本发明的另一方面,提供了一种相机模块,该相机模块包括:图像传感器;编码器,其根据由所述图像传感器获得的单个帧的图像来生成压缩图像数据;和数据输出单元,其将包括所述压缩图像数据的帧数据输出给外部主机***。
根据本发明的另一方面,提供一种终端,该终端包括相机模块和主机***,其中该相机模块包括:图像传感器;编码器,其根据由所述图像传感器获得的单个帧的图像来生成压缩图像数据;和数据输出单元,将包括所述压缩图像数据的帧数据输出给外部主机***;并且所述主机***包括存储有帧数据的存储单元;根据帧数据生成报头的报头生成器;和生成包括报头和压缩图像数据的压缩图像文件的文件生成器。
根据本发明的压缩文件生成方法和设备、与该方法和设备相关的相机模块以及包括相机模块和设备的终端具有以下优点。
当根据所获得的图像来生成压缩图像时,可以提高图像压缩效率和处理速度。
此外在包括相机模块和位于相机模块的外部并且与相机模块相连接的主机***的电子设备中,主机***的图像压缩负荷和时间可以得到减小。
附图说明
用于进一步理解发明并且结合在本申请中构成本申请一部分的附图例示了发明的实施方式,并且和说明书一起说明了发明原理。
在图中:
图1为可应用本发明、包括相机模块和主机***的终端的框图。
图2例示了常规JPEG编码方法。
图3为根据本发明一个实施方式的相机模块的框图。
图4例示了从图3所示的相机模块输出的帧数据格式的一个示例。
图5例示了从图3所示相机模块输出帧数据的方法。
图6为根据本发明一个实施方式的JPEG文件生成设备的框图。
图7为例示了根据本发明一个实施方式的JPEG文件生成方法的流程图。
图8例示了对图6所示JPEG文件生成设备中的输入帧数据进行解析的方法。
图9例示了图6所示的JPEG文件生成设备所生成的JPEG缩略图、JPEG报头和JPEG图像文件的数据格式。
具体实施方式
现在将参照附图更全面地描述本发明,附图例示了本发明的示例性实施方式。然而,可以按许多不同形式来实施本发明,而不应当理解为限于文中阐述的实施方式。相反,所提供的实施方式用于让本发明全面和完整,并且将发明概念传达给本领域的技术人员。附图中相同标号表示类似元件。说明书中使用的标号(例如,第一和第二)仅仅是用于将构件区别开的符号。
在以下描述中,仅仅是考虑到描述方便而将后缀"模块"和"单元"赋予构件,这些后缀并不具有互相不同的含义或者功能。
除了移动终端(例如,蜂窝电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航***等)之外,说明书中描述的终端还可以包括固定终端(例如,数字电视、台式机等)。
现在将参照附图说明本发明的实施方式。
在以下描述中,将根据代表静态图像压缩技术的JPEG对本发明进行说明。然而,显然本发明可以应用于具有和JPEG相同或者类似的技术要点的其他静态图像压缩技术(例如,GIP、BMP、TIF等)。
此外,在以下描述中,对本发明的说明将集中于通过相机模块生成包括压缩图像数据的帧数据并且将帧数据输入到终端的主机***的情况。然而,本发明并不限于这种情况。例如,根据本发明的压缩文件生成设备和方法能够接收位于主机***或者终端的外部的第三装置所生成的压缩图像数据(或者包括该压缩图像数据的帧数据),并且根据压缩图像数据或者帧数据生成压缩图像文件。此外,在以下描述中,对本发明的说明将集中于生成压缩图像数据的主体和生成包括压缩图像数据的帧数据的主体相同的情况。然而,生成压缩图像数据的主体可以和生成包括压缩图像数据并且具有特定格式的帧数据的主体不同。
此外,对本发明的说明将集中于帧数据除了包括压缩图像数据之外还包括其他数据的情况。然而,本发明并不限于这种情况,并且压缩图像数据可以就是帧数据。也就是说,帧数据可以仅包括压缩图像数据。
为了便于清楚地理解本发明,参照图1对应用于本发明的相关技术进行说明,接着参照图2对可以和本发明形成对比的常规JPEG图像压缩方法进行说明。
参照图3-9描述了本发明的实施方式。参照图3、4和5描述了根据本发明的相机模块,并且参照6、7、8和9描述了JPEG文件生成设备和方法。相应地,显然从相机模块和JPEG文件生成设备可以得到包括该相机模块(参照图3)和JPEG文件生成设备(参照图6)的根据本发明的终端。
图1为可应用本发明的、包括相机模块和主机***的终端的框图。可以将图1中的、除与图2所示的常规JPEG图像压缩方法有关的描述以外的描述应用于本发明。
在开始详细说明附图之前,仅根据主要由构件实现的功能或者根据相关技术领域中的公知常识常规实现的功能来对在说明书描述的构件进行区分。
也就是说,可以将稍后将会描述的两个或者多个构件合并成单个构件。此外,可以将稍后将会描述的单个构件分割为两个或者多个构件。此外,将描述的各构件除了执行其主要功能之外,还可以另外执行另一个构件执行的部分或者全部功能。可以通过另一个构件来执行将被说明的各构件的一部分或者全部主要功能。
例如,图1例示了图像传感器21和图像信号处理器22物理上或者功能上彼此分离,并且后端芯片31和基带芯片32也物理上和功能上彼此分离。然而,这仅仅为了有助于区别两个构件以方便描述的目的。随着近来出现的功能集成和微型化趋势,图像信号处理器22的一部分或者全部功能可以集成到图像传感器21中,或者图像信号处理器22和图像传感器21可以集成为单个芯片(例如,片上***(SOC:system on chip))。此外,后端芯片31的一部分或者全部功能可以集成到基带芯片32中。
类似地,图1(图3和图6)所例示的构件并不需要通过硬件构件来实现,而是可以通过软件方式实现以执行其功能。
此外,图1所示的终端100可以为图像拍照装置(例如,静态数码相机)。然而,以下描述集中于终端100为将移动通信功能作为主要功能而将拍照功能作为附加功能的电子装置的情况。
参照图1,终端100包括:具有图像传感器21和图像信号处理器22的相机模块20;具有后端芯片31和基带芯片32的主机***30;显示器40和存储器50。在此,主机***30位于相机模块20的外部,并且可以通过串行接口或者并行接口与相机模块20连接。
图像传感器21接收从物体反射的光,并且输出与所接收到的光量(光强)相对应的电信号。图像传感器21的典型示例包括电荷耦合型装置(CCD)和互补金属氧化物半导体(CMOS)图像传感器。
当具有拜耳(Bayer)模式的滤色片位于图像传感器21的光接收面上时,图像传感器21输出包括红色(R)、绿色(G)和蓝色(B)波长信息的模拟信号。通过模数转换器(未示出)将RGB模拟信号转换为RGB数字信号。
图像信号处理器22将从图像传感器21输出的图像信号(也就是,RGB图像数据)转换为YCbCr(或者YUV)图像数据。YCbCr(或者YUV)方法基于人眼对亮度而不是对色彩敏感的事实将图像信号表示为具有亮度(Y)分量和色度(C)分量的数据。此外,图像信号处理器22可以执行预处理(例如,像素插值、图像数据的伽玛校正和白平衡控制)。
从相机模块20输出的图像数据可以输入到主机***30的后端芯片31。
在基带芯片32的控制下,后端芯片31可以执行对输入到后端芯片31的图像数据进行处理的功能(例如编码、解码、缩放等)。
例如在基带芯片32的控制下,后端芯片31可以根据预定的编码方法(例如JPEG、BMP等)对图像数据进行编码。在此,在基带芯片32的控制下,可以将编码后的图像数据存储在存储器50中。稍后将参照图2更加详细地说明与后端芯片31的功能有关的常规JPEG编码方法。
在基带芯片32的控制下,后端芯片31可以对编码后的图像数据进行解码。在基带芯片32的控制下,可以将解码后的图像数据显示在显示器40上。此外,在基带芯片32的控制下,后端芯片31可以对图像数据进行缩放,从而使得对应于该图像数据的图像与显示器40的屏幕尺寸适应,或者将图像数据缩放为缩略图的图像大小。在此,在基带芯片32的控制下,可以将缩放后的图像显示在显示器40上。
基带芯片32对相机模块20和后端芯片31中与拍照和图像处理功能有关的操作进行控制。
现在将对与根据本发明的JPEG文件生成方法和设备及相机模块形成对比的常规JPEG编码方法进行说明。
图2例示了常规的JPEG编码方法。首先粗略地描述根据JPEG标准文件公知的一般JPEG编码过程。
如图2所示,一般的JPEG编码过程包括:下采样S230、离散余弦变换(DCT)S240、量化S250和Huffman编码S260。在此,在输入图像数据为YCbCr图像数据的假设下执行JPEG编码过程。如果相机模块20获得的原始图像数据并不是YCbCr图像数据,则JPEG编码过程可进一步包括颜色转换S220。可以在主机***30内执行颜色转换S220。
当输入YCbCr图像数据时,执行下采样S230以便减小图像数据的大小。将通过下采样而减小大小的图像数据分割为具有预定大小的块。在JPEG中,一般将数据划分为8X8矩阵的块,该块为JPEG压缩中的基本单元。
DCT S240基于与用于对图像数据进行转换的数学转换公式相对应的离散余弦变换将图像数据的Y(亮度)和C(色度)分量表示为余弦函数的总和。在进行DCT处理时,将图像划分为低频分量和高频分量。低频分量是指相邻像素之间几乎没有亮度或者色彩差异,而高频分量是指相邻像素之间具有较大的亮度或者色彩差异。从统计学的角度看,图像中的高频分量的数量大于低频分量的数量,因此难以通过去掉高频分量来影响图像的图像质量。DCT利用该原理执行压缩。
量化S250通过任意整数矩阵(也就是,量化矩阵)对已经经历过DCT的图像数据进行分割,以便减小图像数据的量。可以通过利用DCT将图像数据从空域转换到频域中。在此,可以利用量化来获得高压缩率的高图像质量。
Huffman编码S260对应于Huffman编码的生成方法。Huffman编码对于给定的信号生成概率分布来生成最短的平均码长。如果信号生成概率分布偏移,则可变长度编码将短编码赋予具有较高生成概率的信号,并且将长编码赋予具有较低生成概率的信号,因此可以减小编码量。
上述包括颜色转换、下采样、分块、DCT、量化和Huffman编码(可以依次执行)的JPEG编码过程可应用于本发明。
然而,常规的JPEG编码方法具有由于通过终端100的主机***30来执行相机模块20获得的单个帧的主图像JPEG编码所导致的问题。也就是说,通过包括在位于主机***30中的后端芯片31(或者基带芯片32)中的JPEG编码器33来执行用于生成JPEG图像数据的常规JPEG编码。
根据上述常规的JPEG编码方法,从相机模块接收到的未压缩原始图像数据聚集在主机***30的帧缓存器内,并且直接由主机***30进行JPEG编码。
因此,常规的JPEG编码方法使得终端100的主机***30承担了很大的负荷,从而降低了压缩效率和压缩率。大负荷可能不会对用于拍照的电子装置(例如,静态数码相机)造成影响,然而主机***承担的负荷可能影响除了拍照电子装置之外的电子装置、移动终端或者小型电子装置。
具体地说,蜂窝电话被构造为使得该蜂窝电话的主机***优先处理与移动通信功能有关的应用。因此,如果将具有高图像质量、高分辨率或者大容量的图像数据持续地聚集在帧缓存器中,则主机***需要大量时间和资源来压缩图像数据,这将是严重的问题。
现在将对本发明提出的用于解决上述问题的JPEG文件生成方法和设备、与该方法和设备相关的相机模块以及包括该设备和相机模块的终端进行说明。首先参照图3、图4和图5说明根据本发明的相机模块。省略了与以上描述相同的说明。
图3为根据本发明一个实施方式的相机模块200的框图。参照图3,相机模块200包括图像传感器210、具有JPEG编码器221和缩略图缩放器222的图像信号处理器220、数据输出单元230、微控制单元(MCU)240和缓存器251、252。
JPEG编码器221和/或缩略图缩放器222可以脱离图像信号处理器220而独立存在。此外,JPEG编码器221、缩略图缩放器222和图像信号处理器220既可以通过软件方式实现,也可以通过硬件方式实现。
图像传感器210对对象进行拍照并且输出与单个帧相对应的图像信号。在此,如上所述,从图像传感器210输出的图像信号可对应于包括红色、绿色和蓝色波长信息的模拟电信号。然而为了方便说明,假定图3所示的图像传感器210包括模数转换器(未示出),以输出RGB原始图像数据。
如果图像传感器210进一步包括颜色转换器,则从图像传感器210输出的图像信号可以为YCbCr(或者YUV)原始图像数据。
通过与图像传感器210的输出端连接的缓存器251将RGB原始图像数据应用于图像信号处理器220。
图像信号处理器220可以包括额外的存储单元(未示出,)用于临时存储输入的RGB原始图像数据。此外,图像信号处理器220可以包括颜色转换器,该颜色转换器用于将RGB原始图像数据转换为YCbCr或者YUV图像数据(此后称为YCbCr数据)。
通过上述结构可以将RGB原始图像数据传送到缩略图缩放器222,并且可以将YCbCr原始图像数据传送到JPEG编码器221。
JPEG编码器221根据YCbCr原始图像数据生成JPEG图像数据。为了便于在整个说明书中区别,将根据与单个帧相对应的原始图像数据生成的JPEG图像数据称为"JPEG主图像数据",而将针对缩略图图像数据的JPEG图像数据称为"JPEG缩略图图像数据"。
用于生成JPEG主图像数据的JPEG编码器221的JPEG编码过程实质上和以上参照图2描述的JPEG编码过程相同。然而,根据本发明的JPEG编码方法与参照图2描述的常规JPEG编码方法明显不同之处在于:由终端的相机模块200而不是主机***对原始图像数据进行JPEG编码。
此外,上述常规的JPEG编码方法使终端100的主机***承担了较大负荷,从而降低了压缩效率和压缩率,并且增加了压缩时间。然而,根据本发明的JPEG编码方法,相机模块200对相机模块200获得的原始图像数据进行JPEG编码,因此提高了压缩效率和压缩率。
相机模块200被设计成具有用于执行事件(例如,获取、处理、存储和传送图像)的优化结构。因此,相对于常规的由主机***执行的JPEG编码,当相机模块200执行JPEG编码时,提高了压缩效率和压缩率,降低了主机***的负荷,并且节约了***资源。
缩略图缩放器222将原始图像数据的大小缩放为预定的缩略图图像大小,并且输出缩略图图像数据。虽然缩略图图像数据对应于本发明当前实施方式中的RGB数据,但是该缩略图图像数据可以是能够在显示屏幕上显示的任何数据。
根据本发明的另一个实施方式,可以从相机模块200中省去缩略图缩放器222。这是因为主机***可容易地生成缩略图图像数据,虽然缩略图图像是使得用户能够通过单个图片确认/查找多个图像的一种有用的功能。例如,主机***可容易通过这样的方式生成缩略图图像数据,即,主机***容易地从JPEG主图像数据的报头提取出缩略图图像数据,或者对JPEG主图像文件进行解码并且对解码后的文件进行缩放。
如果如上面描述的那样省去了缩略图缩放器222,则不会生成缩略图图像数据。在这种情况中,缩略图图像数据并没有包括在"帧数据"中(稍后对其描述)。这一点将容易通过以下描述理解。
经由缓存器252将从JPEG编码器221输出的JPEG主图像数据和从缩略图缩放器222输出的缩略图图像数据传送给数据输出单元230。
因此,可以通过数据输出单元230将JPEG主图像数据和缩略图图像数据传送给主机***。此后将与所获得的对应于单个帧的图像相关的数据(该数据将通过数据输出单元230输出到主机***)称为"帧数据"。
从数据输出单元230输出的帧数据可具有特定的传送格式。在图4中例示了传送格式的一个示例。
参照图4,对应于单个帧的帧数据(该帧数据将被传送到主机***)包括N+1个单元帧数据,从帧数据0(图4中的帧数据0)到帧数据N(帧数据N)。
单元帧数据(例如,帧数据0)包括部分缩略图图像数据1003、部分JPEG主图像数据1006和将作为部分缩略图图像数据和部分JPEG主图像数据部分的识别符使用的预定标记1001、1002、1004和1005。
也就是说,在一个单元帧数据中,可以通过指示了缩略图图像数据的开始点和结束点的两个标记1001和1002将缩略图图像数据与其他数据区别开,并且可以通过指示了JPEG主图像数据开始点和结束点的两个标记1004和1005将JPEG主图像数据与其他数据区别开。
然而,可以按多种方式改变传送格式。例如,虽然将四个标记嵌入一个单元帧数据中,但是一个或者两个标记足以仅仅将缩略图图像数据和JPEG主图像数据互相区别开。此外,在单元帧数据中嵌入缩略图图像数据和JPEG主图像数据的顺序可以和图4所示的顺序相反。此外,单元帧数据信号可以分别具有不同的数据嵌入顺序和不同的标记数量。
此外,并非必须如图4所示那样同时将缩略图图像数据和JPEG主图像数据嵌入在一个单元帧数据中。虽然图4例示了将缩略图图像数据和JPEG主图像数据同时嵌入图4中的所有N+1个单元帧数据信号中,但是传送格式并不限于此。一般地讲,缩略图图像数据大小小于JPEG主图像数据的大小,因此一些单元帧数据信号可能因为单元帧数据信号中可能没有要嵌入的缩略图图像数据而不包括缩略图图像数据。此外,如上所述,缩略图图像数据可能并不存在于帧数据中。在这种情况下,单元帧数据可以仅仅具有一个标记。尤其是当帧数据仅仅将JPEG主图像数据包括为图像数据时,可以在数据图像数据的开始点和结束点嵌入标记。
图4所例示的传送格式包括伪数据1007和位于帧数据尾端的信息段1008、1009和1010。
伪数据1007是非重要数据,其嵌入的目的是根据垂直同步信号进行帧同步。根据本发明,JPEG主图像数据可能因为该JPEG主图像数据对应于JPEG压缩后的图像数据而不与未压缩的图像数据帧同步。伪数据用于解决此问题。因此,即使将伪数据1007嵌入到传送格式中并且输入到主机***,也可以通过图6所示的解析器720(将稍后对其描述)将伪数据滤掉。
信息段1010包括生成JPEG图像文件的JPEG报头所需要的信息(稍后将参照图6和图7对其进行描述)。生成JPEG报头所需要的信息可以包括与对应于单个帧的图像有关的信息(例如,主图像数据大小、JPEG图像数据大小、帧长度或者缩略图图像数据大小和/或用于对图像数据进行编码的编码信息(例如,量化表、Huffman表、DCT信号处理方法等))。
虽然在图4中该信息段被包括在帧数据的传送格式中,但是因为信息段作为用于生成JPEG图像文件或者缩略图JPEG图像文件报头的基本信息使用,而主机***可以直接获得该基本信息,因此该信息段并非必然包括在传送格式中。此外,在特定信息的情况中,主机***可以预先识别特定信息。例如,JPEG图像数据大小为从主机***传送到相机模块200的信息,因此主机***预先识别JPEG图像数据大小。
在本发明中,可以在没有改变相机模块200结构的情况下通过现有的连接方法把相机模块200和主机***互相连接起来。例如,可以通过垂直同步信号Vsync或者帧sync、水平同步信号Hsync或者行sync、像素时钟信号PIXCLK和多个数据线Dout[7:0](参照图3和图5)把相机模块200和主机***互相连接起来。
已经描述了根据本发明的相机模块。现在将参照图6、7、8和图9说明根据本发明的一个实施方式的、可应用于主机***的JPEG文件生成设备和方法。
图6为根据本发明的一个实施方式的JPEG文件生成设备700的框图,而图7为例示了根据本发明的一个实施方式的JPEG文件生成方法的流程图。图8例示了对图6所例示的JPEG文件生成设备中的输入帧数据进行解析的方法,并且图9例示了图6所例示的JPEG文件生成设备所生成的JPEG缩略图图像文件、JPEG报头和JPEG图像文件的数据格式。
JPEG文件生成设备包括数据输入单元710、解析器720、缓冲存储器730、JPEG编码器740、缩略图文件生成器745、报头生成器750、报头存储器755和文件生成器760。在此,缓冲存储器730可以包括主帧缓存器731、缩略图帧缓存器732和信息段缓存器733。
在步骤S810中,数据输入单元710从图3所示的相机模块200接收所获取的对应于单个帧的图像的帧数据。例如,数据输入单元710可以包括用于接收帧数据的数据接口和用于存储所接收到的帧数据的存储器。在此,如以上参照图3描述的那样,帧数据可以仅仅包括针对所获取的对应于单个帧的图像的JPEG主图像数据。然而,本发明的当前实施方式是在根据图4所例示的传送格式对帧数据进行传送并且将帧数据输入到数据输入单元710的假想情况下进行描述的。也就是说,图6和图7例示了当帧数据除了包括JPEG主图像数据之外还包括缩略图图像数据和信息段的情形的JPEG文件生成设备和方法。
虽然图4所例示的传送格式除了包括上述数据之外还包括标记和伪数据,但是标记和伪数据并没有对应于直接参与JPEG图像文件生成过程的数据,因此没有对标记和伪数据进行说明。也就是说,标记和伪数据仅仅为解析器720过滤掉的无用数据(也就是伪数据),或者是在数据解析操作中作为基本信息使用的数据(也就是标记),并且没有对应于生成JPEG图像文件所直接使用的数据。
如果帧数据没有包括缩略图图像数据和信息段,则可以将图6所例示的解析器720、缩略图帧缓存器732、信息段缓存器733、JPEG编码器740和缩略图文件生成器745省略掉。此外,也可以省略掉图7所例示的、与这些构件相对应的JPEG文件生成方法的步骤。通过以下关于构件功能的描述可容易理解这一点。
在步骤820中,当通过数据输入单元710输入帧数据时,解析器720根据输入顺序对帧数据进行解析。因此,解析器720可以将JPEG主图像数据、缩略图图像数据和信息段从输入的帧数据中分离出来,并且在步骤830中分别存储JPEG主图像数据、缩略图图像数据和信息段。在图8中例示了该操作。
与垂直同步信号(即,帧同步信号)及水平同步信号(即,行同步信号)同步地从相机模块200发送帧数据,因此数据输入单元710可以与垂直同步信号和水平同步信号同步地读取帧数据。
解析器720根据包括在帧数据中的标记对帧数据进行解析,因此可以根据输入顺序马上将JPEG主图像数据、缩略图图像数据和信息段分别存储在主帧缓存器731、缩略图帧缓存器732和信息段缓存器733中。在此,主帧缓存器731、缩略图帧缓存器732和信息段缓存器733可以实现为物理上分离的存储介质,或者实现为单个存储介质中的不同存储空间。这一点可以适用于和在整个说明书中描述的存储介质相关的所有构件。
通过JPEG编码器740对存储在缩略图帧缓存器732中的缩略图图像数据进行JPEG编码,以便生成JPEG缩略图图像数据。如果缩略图图像数据为RGB数据,则在进行JPEG编码操作之前可以进行通过颜色转换将缩略图图像数据转换为YCbCr数据的操作。
在步骤840中(参照图9(c)),缩略图文件生成器745接收JPEG缩略图图像数据,并且生成包括JPEG缩略图图像数据和缩略图JPEG报头的JPEG缩略图图像文件。在此,可以通过利用存储在信息段缓存器733中的信息段来生成缩略图JPEG报头。此外,缩略图文件生成器745可以根据存储在缩略图帧缓存器732中的缩略图图像数据来获取/计算用于生成缩略图JPEG报头的基本信息。
缩略图文件生成器745生成的JPEG缩略图图像文件被输入到报头生成器750中。报头生成器750可以从存储在信息段缓存器733中的信息段获取生成JPEG报头所需的基本信息,并且利用该基本信息生成JPEG报头。在此,JPEG缩略图图像文件嵌入JPEG报头中(参照图9(b))。在步骤850中,把JPEG报头存储在报头存储器755中。
在步骤860中,文件生成器760可以通过利用存储在报头存储器755中的JPEG报头和存储在主帧缓存器731中的JPEG主图像数据生成单个JPEG图像文件。
例如,文件生成器760可以连续地存储-复制存储在报头存储器755中的JPEG报头和JPEG主图像数据,从而生成包括JPEG报头和JPEG主图像数据的单个JPEG报头文件(参照图9(a))。
参照图6、7、8和图9,根据本发明当前实施方式的缩略图文件生成器745接收经过JPEG编码(即,JPEG压缩)的缩略图图像数据,并且生成JPEG缩略图图像文件。
然而,根据本发明的另一个实施方式,缩略图文件生成器745可以接收没有经过JPEG编码(即,没有经过JPEG压缩)的缩略图图像,并且根据JPEG格式对缩略图图像进行再配置,以便生成伪JPEG缩略图图像文件。也就是说,伪JPEG缩略图图像文件没有被压缩,并且仅其格式与JPEG格式吻合。在这种情况下,可以在没有额外解码操作的情况下通过提取嵌入到JPEG图像文件(对应于通过图7中的步骤860生成的最终JPEG图像文件)的JPEG报头中的伪JPEG缩略图图像文件来在显示器屏幕上立刻显示缩略图图像。
根据本发明的JPEG文件生成方法和设备,主机***从相机模块接收已经被JPEG编码的JPEG主图像数据,因此主机***不需要对主图像进行编码。相应地,可以减小主机***上所承担的数据处理负荷以及***资源的浪费。
此外,如上所述,可以通过连续地存储-复制存储在帧缓存器中的图像数据而容易地并且快速地生成对应于单个帧的图像的JPEG图像文件。
虽然已经参照发明的示例性实施方式具体例示并且描述了本发明,本领域中的普通技术人员应当理解:在没有脱离通过以下权利要求所限定的发明精神和范围情况下可以在形式和细节上进行各种修改。
Claims (8)
1.一种压缩文件生成设备,该设备包括:
解析器,该解析器对帧数据进行解析以使得能够有区别地存储压缩图像数据,包括所述压缩图像数据的所述帧数据从相机模块输入,
其中,所述解析器按数据输入的顺序对所述帧数据进行解析,以便在所述压缩图像数据和缩略图图像数据之间进行区分,
其中,所述帧数据还包括标记,所述标记指示用于将所述压缩图像数据和所述缩略图图像数据互相区别开的信息;
存储所述帧数据的存储单元,该帧数据包括所述压缩图像数据;
报头生成器,其根据所述帧数据生成报头;以及
文件生成器,其生成包括所述报头和所述压缩图像数据的压缩图像文件,
其中,当所述帧数据还包括所述缩略图图像数据时,所述解析器根据所述标记在所述压缩图像数据和所述缩略图图像数据之间进行区分,并且分别存储所述压缩图像数据和所述缩略图图像数据,
缩略图存储单元,其存储所述缩略图图像数据;
编码器,其接收存储在所述缩略图存储单元中的所述缩略图图像数据,并且生成缩略图压缩图像数据;
缩略图文件生成器,其生成包括所述缩略图压缩图像数据和缩略图报头的缩略图压缩图像文件;以及
报头存储器,其存储所述报头,其中所述文件生成器连续地存储-复制存储在所述报头存储器中的所述报头和存储在存储所述帧数据的存储单元中的所述压缩图像数据,以便生成单个压缩图像文件,
其中所述报头生成器生成嵌入所述缩略图压缩图像文件的报头,
其中所述帧数据还包括用于根据垂直同步信号进行帧同步的伪数据。
2.根据权利要求1所述的设备,其中所述文件生成器包括数据输入单元,所述数据输入单元与垂直同步信号和水平同步信号同步地接收所述帧数据。
3.根据权利要求1所述的设备,其中所述帧数据还包括具有生成所述报头所需的帧信息的信息段,并且所述报头生成器根据所述信息段生成所述报头。
4.一种压缩文件生成方法,该方法包括以下步骤:
接收包括压缩图像数据的帧数据,其中,所述帧数据包括标记,所述标记指示用于在所述压缩图像数据和缩略图图像数据之间进行区分的信息,其中,包括所述压缩图像数据的所述帧数据从相机模块输入;
按数据输入的顺序对所述帧数据进行解析,以便在所述压缩图像数据和所述缩略图图像数据之间进行区分,其中,根据所述标记将所述缩略图图像数据区分于所述压缩图像数据;
当所述帧数据还包括所述缩略图图像数据时,分别存储所述压缩图像数据和所述缩略图图像数据;
根据所述帧数据生成报头;
生成包括所述报头和所述压缩图像数据的压缩图像文件;
在缩略图存储单元中存储所述缩略图图像数据;
经由编码器接收存储在所述缩略图存储单元中的所述缩略图图像数据,并且生成缩略图压缩图像数据;
经由缩略图文件生成器生成包括所述缩略图压缩图像数据和缩略图报头的缩略图压缩图像文件;
存储所述压缩图像数据;以及
存储所述报头,
其中生成所述压缩图像文件的步骤分别存储-复制所存储的报头和所存储的压缩图像数据,以便生成单个压缩图像文件,
其中生成嵌入所述缩略图压缩图像文件的报头,
其中所述帧数据还包括用于根据垂直同步信号进行帧同步的伪数据。
5.根据权利要求4所述的方法,其中所述帧数据还包括至少包括生成所述报头所需的帧信息和对所述帧数据进行编码所需的编码信息的信息段,并且生成所述报头的步骤根据所述信息段来生成所述报头。
6.一种相机模块,该相机模块包括:
图像传感器;
编码器,其根据由所述图像传感器获得的单个帧的图像来生成压缩图像数据;
缩略图缩放器,所述缩略图缩放器对单个帧的图像的大小进行缩放,并且输出缩略图图像数据;和
数据输出单元,其将包括所述压缩图像数据的帧数据输出给主机***,
其中,所述数据输出单元将标记嵌入在所述帧数据中,并且将该帧数据输出到所述主机***,所述标记指示用于在所述压缩图像数据和所述缩略图图像数据之间进行区分的信息,
其中所述数据输出单元与垂直同步信号和水平同步信号同步地将所述帧数据输出到所述主机***,
其中所述数据输出单元进一步将根据所述垂直同步信号进行帧同步的伪数据嵌入到所述帧数据中,并且将该帧数据输出到所述主机***。
7.根据权利要求6所述的相机模块,所述数据输出单元进一步将至少包括生成报头所需的帧信息的信息段和对所述帧数据进行编码所需的编码信息嵌入到所述帧数据中,并且将该帧数据输出到所述主机***。
8.一种终端,该终端包括相机模块和与所述相机模块连接起来的主机***,
其中所述相机模块包括:图像传感器;编码器,其根据由所述图像传感器获得的单个帧的图像来生成压缩图像数据;和数据输出单元,其将包括所述压缩图像数据的帧数据输出给所述主机***,
其中,所述数据输出单元将标记嵌入在所述帧数据中,所述标记指示用于在所述压缩图像数据和缩略图图像数据之间进行区分的信息,并且
所述主机***包括:存储有帧数据的存储单元;根据该帧数据生成报头的报头生成器;和文件生成器,该文件生成器生成包括所述报头和压缩图像数据的压缩图像文件,
其中所述数据输出单元与垂直同步信号和水平同步信号同步地将所述帧数据输出到所述主机***,
其中所述数据输出单元进一步将根据所述垂直同步信号进行帧同步的伪数据嵌入到所述帧数据中,并且将该帧数据输出到所述主机***。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090071068A KR101607295B1 (ko) | 2009-07-31 | 2009-07-31 | 압축 파일 생성 방법 및 장치, 이와 관련된 카메라 모듈 및 이를 포함하는 단말기 |
KR10-2009-0071068 | 2009-07-31 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101990095A CN101990095A (zh) | 2011-03-23 |
CN101990095B true CN101990095B (zh) | 2015-04-29 |
Family
ID=43526644
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200910169571.7A Expired - Fee Related CN101990095B (zh) | 2009-07-31 | 2009-09-09 | 压缩文件生成方法和设备、相关的相机模块和终端 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8558909B2 (zh) |
EP (1) | EP2296381A3 (zh) |
KR (1) | KR101607295B1 (zh) |
CN (1) | CN101990095B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110027589A (ko) * | 2009-09-09 | 2011-03-16 | 삼성전자주식회사 | 전자 장치에서 정보를 삽입하고 공유하는 방법 및 장치 |
JP5720170B2 (ja) * | 2010-10-18 | 2015-05-20 | ソニー株式会社 | 画像処理装置、画像処理システム、画像処理方法およびプログラム |
US20130002901A1 (en) * | 2011-07-01 | 2013-01-03 | Athreya Madhu S | Fine grained power gating of camera image processing |
US8687086B1 (en) * | 2012-03-30 | 2014-04-01 | Gopro, Inc. | On-chip image sensor data compression |
JP6354243B2 (ja) * | 2014-03-25 | 2018-07-11 | セイコーエプソン株式会社 | 撮像装置、画像処理装置、表示制御装置、及び撮像表示装置 |
CN106851299B (zh) * | 2014-05-21 | 2019-11-08 | 三星半导体(中国)研究开发有限公司 | 移动设备中的基于jpeg文件格式的编解码方法及其装置 |
KR101670446B1 (ko) | 2016-07-26 | 2016-10-28 | (주)큐브이미징시스템즈 | 카메라 영상 실시간 처리 장치 및 그 방법 |
US10284861B2 (en) | 2016-12-09 | 2019-05-07 | Advanced Micro Devices, Inc. | Concurrent image compression and thumbnail generation |
CN106955084A (zh) * | 2017-02-24 | 2017-07-18 | 重庆金山医疗器械有限公司 | 一种无线电胶囊医用*** |
KR102434417B1 (ko) * | 2017-07-20 | 2022-08-22 | 삼성전자주식회사 | 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터의 크기에 기반하여, 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터를 전송하는 방법 및 이를 지원하는 전자 장치 |
KR102412007B1 (ko) | 2017-07-20 | 2022-06-22 | 삼성전자주식회사 | 전자 장치 및 전자 장치에서 하이 다이나믹 레인지 이미지 데이터를 압축하는 방법 |
CN109740467A (zh) * | 2018-12-24 | 2019-05-10 | 北京中安未来科技有限公司 | 一种电子证件识别方法、装置及*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4982291A (en) * | 1987-08-27 | 1991-01-01 | Casio Computer Co., Ltd. | Electronic still video camera capable of searching desired picture in simple and quick manner |
CN1510906A (zh) * | 2002-11-25 | 2004-07-07 | ���ǵ�����ʽ���� | 用于在移动终端中显示图像的装置和方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3556265B2 (ja) * | 1994-03-04 | 2004-08-18 | オリンパス株式会社 | 画像取扱装置及びカメラ |
JP3664335B2 (ja) * | 1996-06-13 | 2005-06-22 | 株式会社ニコン | 情報入力装置 |
US5903309A (en) * | 1996-09-19 | 1999-05-11 | Flashpoint Technology, Inc. | Method and system for displaying images and associated multimedia types in the interface of a digital camera |
US6020920A (en) * | 1997-06-10 | 2000-02-01 | Flashpoint Technology, Inc. | Method and system for speculative decompression of compressed image data in an image capture unit |
US6288743B1 (en) * | 1997-10-20 | 2001-09-11 | Eastman Kodak Company | Electronic camera for processing image segments |
US6813394B1 (en) * | 1998-08-31 | 2004-11-02 | Canon Kabushiki Kaisha | Image storage method and apparatus |
JP2001174900A (ja) | 1999-12-16 | 2001-06-29 | Canon Inc | カメラ、画像プリント装置および画像表示装置 |
US7302118B2 (en) * | 2002-02-07 | 2007-11-27 | Microsoft Corporation | Transformation of images |
JP4162454B2 (ja) * | 2002-09-10 | 2008-10-08 | 三洋電機株式会社 | データ処理装置 |
JP4204445B2 (ja) * | 2003-11-05 | 2009-01-07 | 三洋電機株式会社 | コンテンツ記録装置 |
JP2008072696A (ja) * | 2006-08-14 | 2008-03-27 | Seiko Epson Corp | 合焦情報の視覚化装置、その方法、プログラム及び記録媒体 |
JP4743179B2 (ja) * | 2006-09-28 | 2011-08-10 | セイコーエプソン株式会社 | 画像表示制御装置、撮影装置、画像表示方法及びそのプログラム |
KR100834669B1 (ko) * | 2006-10-20 | 2008-06-02 | 삼성전자주식회사 | 썸네일 이미지 생성을 위한 웨이블릿 변환 기반 이미지부호화기, 복호화기 및 그 방법 |
EP1988713A1 (en) * | 2007-04-30 | 2008-11-05 | STMicroelectronics (Research & Development) Limited | Image processing apparatus and method using padding data |
US20080316331A1 (en) * | 2007-06-25 | 2008-12-25 | Core Logic, Inc. | Image processing apparatus and method for displaying captured image without time delay and computer readable medium stored thereon computer executable instructions for performing the method |
US20090167888A1 (en) * | 2007-12-28 | 2009-07-02 | Yo-Hwan Noh | Methods of processing imaging signal and signal processing devices performing the same |
US8179452B2 (en) * | 2008-12-31 | 2012-05-15 | Lg Electronics Inc. | Method and apparatus for generating compressed file, and terminal comprising the apparatus |
-
2009
- 2009-07-31 KR KR1020090071068A patent/KR101607295B1/ko active IP Right Grant
- 2009-08-28 EP EP09168966.1A patent/EP2296381A3/en not_active Withdrawn
- 2009-08-28 US US12/550,257 patent/US8558909B2/en not_active Expired - Fee Related
- 2009-09-09 CN CN200910169571.7A patent/CN101990095B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4982291A (en) * | 1987-08-27 | 1991-01-01 | Casio Computer Co., Ltd. | Electronic still video camera capable of searching desired picture in simple and quick manner |
CN1510906A (zh) * | 2002-11-25 | 2004-07-07 | ���ǵ�����ʽ���� | 用于在移动终端中显示图像的装置和方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2296381A3 (en) | 2017-07-12 |
US20110025869A1 (en) | 2011-02-03 |
KR20110013072A (ko) | 2011-02-09 |
CN101990095A (zh) | 2011-03-23 |
KR101607295B1 (ko) | 2016-04-11 |
EP2296381A2 (en) | 2011-03-16 |
US8558909B2 (en) | 2013-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101990095B (zh) | 压缩文件生成方法和设备、相关的相机模块和终端 | |
US6184936B1 (en) | Multi-function USB capture chip using bufferless data compression | |
KR101377021B1 (ko) | 부호화 장치 및 방법, 복호 장치 및 방법, 및 전송 시스템 | |
EP1974539B1 (en) | Processing of images in imaging systems | |
US8098941B2 (en) | Method and apparatus for parallelization of image compression encoders | |
CN101771797B (zh) | 用于生成压缩文件的方法和装置及包括该装置的终端 | |
CN105191304A (zh) | 依据像素数据执行位平面扫描编码的图像编码方法与装置以及相关的图像解码方法与装置 | |
CN101690173B (zh) | 用于没有时间延迟地显示所捕获的图像的图像处理设备和方法 | |
US20080284865A1 (en) | Image Signal Processor and Method for Outputting Deferred Vertical Synchronous Signal | |
KR101346942B1 (ko) | 벡터 임베디드 그래픽 코딩 | |
WO2004112396A1 (ja) | 画像データの圧縮とサムネール画像の作成を行う電子機器、画像処理装置、データ構造 | |
US6404927B1 (en) | Control point generation and data packing for variable length image compression | |
CN102687509B (zh) | 使用jpeg-ls的可调节压缩 | |
CN102550009B (zh) | 用于彩色图像的联合标量嵌入式图形编码 | |
KR100664550B1 (ko) | 인코딩된 데이터 전달 방법 및 그 방법을 수행하는 촬상장치 | |
US20100328514A1 (en) | Image processing device, imaging apparatus, and thumbnail image displaying method | |
US20080266415A1 (en) | Image Pickup Device and Encoded Data Outputting Method | |
CN100420283C (zh) | 图像传感器及应用该图像传感器的计算机*** | |
CN110971913B (zh) | 一种基于填充Y通道的Bayer图像压缩方法 | |
CN101247474B (zh) | 一种图像处理的装置及方法 | |
CN201266990Y (zh) | 一种基于现场可编程门阵列的mpeg-4视频编码装置 | |
CN201044472Y (zh) | 一种图像处理的装置 | |
KR100834357B1 (ko) | 영상 데이터의 압축 장치 및 방법 | |
JP2005142699A (ja) | 画像圧縮伸張装置 | |
TW201108100A (en) | KVM switch of transmitting video signal to remote consoles and method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150429 Termination date: 20190909 |