发明内容
-发明要解决的技术问题-
但是,所述图9及图10所示的以往的信号处理存在有问题。即,起因于进行将任意一种RAW图像转换成Y/Cr/Cb数据类型的信号处理后,进行多个尺寸的缩小图像处理这一点而有以下的两个问题存在。
(1)在一边确认摄影被摄体一边决定构图的监视器模式及动态图像记录模式中,因为是将大尺寸RAW图像数据在大尺寸状态下直接进行图像信号处理而转换成WCr/Cb数据,之后才实施缩小图像处理,所以伴随着该Y/Cr/Cb数据类型转换的冗长处理会导致监视器模式的显示产生帧延迟,无法即时地显示被摄体的动作,从而有进行静止图像摄影时错过按下快门的时机的情况发生。
(2)缩小调整大小处理是减少记录图像数的处理,尽可能在图像处理的前段实施的话,则能够减少在后段处理中对存储器进行存取的次数,但是如果像以往那样在转换成Y/Cr/Cb数据类型之后实施缩小调整大小的情况下,则此时被间隔提取而舍去的数据,其向Y/Cr/Cb数据类型的转换处理就成为冗长处理。并且,由于该向Y/Cr/Cb数据类型的转换处理是经由存储缓冲器进行处理,所以与对图像尺寸的处理量成比例地伴随着I/O缓冲器的耗电,从省电观点来看效率并不好。
同样的,在摄像元件的高像素化和对应于动态图像记录的高速读出处理技术有所进展的状况下,专利文献1~3所公开的技术中,虽然是在处理的前阶段使RAW图像缩小,但是当数码相机的摄影时,在一边从液晶监视器上确认摄影被摄体一边决定构图,又同时一边进行脸部识别等各种 识别动作,一边实施即时的自动对焦(AF)、自动曝光(AE)等的监视器模式状态下,会经由存储缓冲器进行向Y/Cr/Cb数据类型的转换处理,该转换处理成为在监视器显示及图像识别等时产生帧延迟的主要原因。
本发明有鉴于上述问题而完成,其目的在于使得图像处理装置能够在原图像被输入的帧时段内,由从摄像元件输出的大尺寸RAW原图像生成处理出显示用小尺寸RAW图像,并且显示于监视器。
-用以解决技术问题的技术方案-
为达成上述目的,在本发明中,不实施从原图像转换为Y/Cr/Cb数据类型的彩色显像图像处理,而是从RAW原图像生成处理出监视器显示图像用的小尺寸RAW图像,通过这样来提供图像处理装置及图像处理方法,其能够高速地实现不会在监视器产生帧延迟的显示动作。
具体而言,第一方面的发明的图像处理装置,其能够从山颜色排列具有周期性的多种颜色的像素构成的原图像的数字图像信号生成缩小图像并进行显示,该图像处理装置的特征在于具有:缩小调整大小处理部,其将从单板彩色摄像元件得到的原图像缩小成对应于显示监视器的显示尺寸的图像;以及,颜色再排列数据生成处理部,其根据通过所述缩小调整大小处理部缩小的缩小图像,生成山所述原图像的颜色信息所构成的一种以上的显示用缩小图像。
第二方面的发明的图像处理装置,其特征在于,在第一方面的发明所述的图像处理装置中,具有:缩小调整大小处理部,其将从单板彩色摄像元件得到的原图像缩小成对应于显示监视器的显示尺寸的图像;颜色再排列数据生成处理部,其根据通过所述缩小调整大小处理部缩小的缩小图像,生成由所述原图像的颜色信息所构成的一种以上的显示用缩小图像;以及,颜色再排列显示数据生成处理部,其根据通过所述颜色再排列数据生成处理部生成的显示用缩小图像,生成能够对应于所述显示监视器的彩色像素排列的一种以上的颜色排列显示数据。
第三方面的发明的特征在于,在第一方面的发明所述的图像处理装置中,还具有:将所述显示用缩小图像从所述颜色再排列数据生成处理部直接输入到显示处理部的数据路径,该显示处理部进行对应于所述显示监视器的显示特性的显示处理;以及,将所述显示用缩小图像从所述颜色再排 列数据生成处理部通过存储部输入到所述显示处理部的数据路径,根据摄影时的动作模式控制所述存储部的存储控制部,选择性地进行将所述显示用缩小图像从所述颜色再排列数据生成处理部直接输入到所述显示处理部、或是将所述显示用缩小图像从所述颜色再排列数据生成处理部通过所述存储部输入到所述显示处理部的图像输入数据路径控制。
第四方面的发明的特征在于,在第一到第三方面中任一方面的发明所述的图像处理装置中,所述缩小调整大小处理部的缩小调整大小处理、以及所述颜色再排列数据生成处理部的颜色再排列数据生成处理能够在对原图像进行的水平方向处理中实施,并且能够在对原图像进行的垂直方向处理中实施。
第五方面的发明的特征在于,在第一方面的发明所述的图像处理装置中,所述缩小调整大小处理部以及所述颜色再排列数据生成处理部:通过传感器读出方向的行单位的第一缩小调整大小处理对所述原图像仅沿一个方向进行缩小调整大小处理,并且,根据该仅沿一个方向被缩小调整大小处理后的一个多色排列数据,进行沿与所述第一缩小调整大小处理正交的垂直方向的第二缩小调整大小处理和颜色再排列数据生成处理,生成被二维缩小调整大小处理后的两种多色排列数据,并且,对所述两种多色排列数据分别进行作为再次的行单位处理的颜色再排列数据生成处理,生成多种多色排列数据。
第六方面的发明的特征在于,在第五方面的发明所述的图像处理装置中,所述缩小调整大小处理部及所述颜色再排列数据生成处理部:将通过所述第一缩小调整大小处理对所述原图像仅沿水平方向进行缩小调整大小处理后的一种多色排列数据写入到存储装置,并且,当从所述存储装置读出所述一种多色排列数据时,沿着与写入时的行方向正交的方向以行单位读出,并进行再次的缩小调整大小处理和颜色再排列数据生成处理,生成被二维缩小调整大小处理后的两种颜色排列数据,并且,对所述两种多色排列数据分别进行作为再次的行单位处理的颜色再排列数据生成处理,生成多种多色排列数据。
第七方面的发明的特征在于,在第六方面的发明所述的图像处理装置 中,所述缩小调整大小处理部及所述颜色再排列数据生成处理部一边将通过所述第一缩小调整大小处理对所述原图像仅沿一个方向进行缩小调整大小处理后的一种多色排列数据按每一行写入到由多行构成的行存储器中,一边同时读出多行数据,并从该读出的多行数据上的传感器读出方向成为同一位置的垂直方向的关注多个数据提取出亮度数据和载色数据,进行再次的缩小调整大小处理和颜色再排列数据生成处理,所述垂直方向的缩小调整大小处理通过进行减少相对于输入行数的输出行的处理,生成被二维缩小调整大小处理后的两种多色排列数据,所述缩小调整大小处理部及所述颜色再排列数据生成处理部对述两种多色排列数据分别进行作为再次的行单位处理的颜色再排列数据生成处理,生成多种颜色排列数据。
第八方面的发明的特征在于,在第一方面所述的图像处理装置中,所述缩小调整大小处理部及所述颜色再排列数据生成处理部:通过传感器读出方向的行单位处理对所述原图像仅沿一个方向进行缩小调整大小处理并且进行颜色再排列数据生成处理,并且,根据所述仅沿一个方向被缩小调整大小处理后的两种颜色排列数据,沿与所述传感器读出方向的行单位处理的处理方向正交的方向进行再次的缩小调整大小处理和颜色再排列数据生成处理,生成被二维缩小调整大小处理后的多种颜色排列数据。
第九方面的发明的特征在于,在第八方面的发明所述的图像处理装置中,所述缩小调整大小处理部及所述颜色再排列数据生成处理部:将通过所述传感器读出方向的行单位处理对所述原图像进行了仅沿水平方向的缩小调整大小处理和颜色再排列数据生成处理后的两种多色排列数据写入到存储装置,并且,当从所述存储装置读出所述两种多色排列数据时,沿着与写入时的行方向正交的方向以行单位读出,并进行再次的缩小调整大小处理和颜色再排列数据生成处理,生成被二维缩小调整大小处理后的多种颜色排列数据。
第十方面的发明的特征在于,在第九方面的发明所述的图像处理装置中,所述缩小调整大小处理部及所述颜色再排列数据生成处理部一边将通过传感器读出方向的行单位处理对所述原图像仅进行了沿水平方向的缩小调整大小处理和颜色再排列数据生成处理后的两种颜色排列数据按每 一行写入到由多行构成的行存储器中,一边同时读出多行数据,并对该读出的多行数据上的传感器读出方向成为同一位置的垂直方向的关注多个数据进行再次的缩小调整大小处理和颜色再排列数据生成处理,所述垂直方向的缩小调整大小处理通过进行减少相对于输入行数的输出行的处理,生成被二维缩小调整大小处理后的多种颜色排列数据。
第十一方面的发明的特征在于,在第五到第十方面中任一方面的发明所述的图像处理装置中,所述缩小调整大小处理部及所述颜色再排列数据生成处理部含有用于进行水平方向缩小调整大小处理及颜色再排列数据生成处理的下述处理部,即:滤波处理部,其通过传感器读出方向的行单位的行单位处理对所述原图像提取出亮度数据和载色数据;载色反转复调处理部,其将所述载色数据转换成色差数据;缩小调整大小处理部,其对所述亮度数据和色差数据独立地进行缩小调整大小;载色调制处理部,其将通过所述缩小调整大小处理部进行了缩小调整大小后的色差数据按每个像素生成为符号相异的第一载色数据、和符号与该第一载色数据不同的第二载色数据;以及颜色再排列数据生成处理部,其将所述缩小调整大小后的亮度数据和所述第一载色数据重新合成,生成具有原图像的颜色排列数据的图像,并且将所述缩小调整大小后的亮度数据和所述第二载色数据重新合成,生成具有与原图像相异的颜色排列数据的图像。
第十二方面的发明的特征在于,在第五到第十方面中任一方面的发明所述的图像处理装置中,所述缩小调整大小处理部及所述颜色再排列数据生成处理部含有用于进行垂直方向缩小调整大小处理及颜色再排列数据生成处理的下述处理部,即:滤波处理部,其一边将通过传感器读出方向的行单位处理对所述原图像仅沿水平方向进行了缩小调整大小处理和颜色再排列数据生成处理后的颜色排列数据按每一行写入到由多行构成的行存储器中,一边同时读出多行数据,并从该读出的多行数据上的传感器读出方向成为同一位置的垂直方向的关注多个数据沿垂直方向以行单位提取出亮度数据和载色数据;垂直方向载色反转解调处理部,其将所述提取出的垂直方向的载色数据转换成垂直方向的色差数据;垂直方向缩小调整大小处理部,其对所述垂直方向的亮度数据和色差数据独立地进行减少相对于输入行数的输出行的处理,并进行缩小调整大小;垂直方向色差数 据反转调制处理部,其从所述垂直方向的缩小调整大小后的、在垂直方向连续的色差数据按每一行生成符号相异的第一载色数据、和符号与该第一载色数据相异的第二载色数据;以及,颜色再排列数据生成处理部,其将所述缩小调整大小后的亮度数据和所述第一载色数据重新合成,生成具有原图像的颜色排列数据的图像,并且将所述缩小调整大小后的亮度数据和所述第二载色数据重新合成,生成具有与原图像相异的颜色排列数据的图像。
第十三方面的发明的特征在于,在第一到第三及第六到第十方面中任一方面的发明所述的图像处理装置中,所述原图像是利用下述单板彩色摄像元件取得的图像,该单板彩色摄像元件具有颜色通过原色过滤器被周期性地排列的多种颜色的像素。
-发明的效果-
如以上说明那样,根据本发明,在边确认摄影被摄体边决定构图的监视器模式的状态下,山从摄像元件输出的大尺寸原图像直接生成处理出显示用小尺寸图像并显示于监视器时,山于不实施从原图像转换成Y/Cr/Cb数据类型的彩色显像图像处理,而是缩小调整大小处理成显示用小尺寸RAW图像并显示于监视器,所以伴随着对存储器进行存取的后段处理量减少,并且能够使在监视器的帧延迟成为最小帧延迟,从而能够实现用于识别高速被摄体的监视器模式动作。
具体实施方式
以下,参照图对本发明所涉及的图像处理装置及图像处理方法的优选实施方式进行说明。
图1中示出安装有本发明实施方式所涉及的图像处理装置的摄像装置的结构图。
在该图中,该摄像装置10与上述背景技术中说明的图10的结构相同,是将通过摄像部12所拍摄的被摄体光学图像转换成数字图像数据并记录于记录介质112的单板式数码相机。
图1中基本结构部的动作与在图10中说明的内容相同。图10与图1的结构中,有两个与本发明相关的较大差异点。即,
(1)在前处理部105内部实施的图像处理功能;以及,
(2)从前处理部105向显示处理部117直接传送数据的功能。
首先,进行图1的结构图的各基本结构部的说明。
摄像部12具有以CCD(电荷耦合元件)型或CMOS(互补型金属氧化物半导体)型等为代表的摄像元件(未图示),在摄像元件的受光面二维排列有多个光电二极管(感光像素),对通过未图示的光学透镜后的被摄体信息进行光电转换。摄像元件具有在与各像素对应的位置存在红(R)、绿(G)、蓝(B)中的任一种颜色那样的规定的颜色排列的滤色器,对向作为受光元件的光电二极管入射的光进行色选择。在本实施方式中以拜尔排列进行说明。
从所述摄像部12输出的图像数据称为RAW图像,其是通过A/D转换(模数转换)处理被转换成数字信号的数据。受光元件在行方向及列方向上分别以一定间距排列成方矩阵,这些受光元件的数据构成拜尔排列的RAW图像数据101。需要说明的是,在实际的摄像元件的成像面中,拜尔排列的RAW图像数据101所示的像素排列的构造沿传感器读出方向及垂直方向周期性反复。当然,在本发明的实施上,滤色器排列构造不限定于拜尔排列,还能够采G条纹(G-stripe)等各种排列构造。而且,在本实施方式中使用了原色过滤器,但在实施本发明时并不限定于原色过滤器,也可以采用由黄(Y)、洋红(M)、青(C)、绿(G)构成的补色滤色器、或采用由原色与补色的任意组合或白(W)构成的滤色器。
所述A/D转换后的RAW图像数据101按照摄像装置10的动作模式,经过必要的信号处理、或省略信号处理而记录到记录介质112。
在摄影模式中,被摄体图像显示于监视器118。在本实施方式的摄像装置10作为摄影模式能够以JPEG形式记录静止图像,并且能够以MPEG形式等记录压缩动态图像。并且,能够原样地记录A/D转换之后的RAW图像数据101。
对在边确认摄影被摄体边决定构图的监视器模式的状态下,以JPEG形式记录静止图像的情况进行说明。
首先,A/D转换后的拜尔排列RAW图像数据101在前处理部105被缩小调整大小成监视器尺寸,并且被转换成监视器118的彩色像素排列后,作为显示数据RGB(2)直接从数据路径DPth(1)即时地输出到显示处理部117。符合监视器特性的画质调整在前处理部105或显示处理部117进行。在不产生帧延迟的该监视器模式的状态下,各种识别动作同时地进行。
在所述前处理部105,将拜尔排列RAW图像数据101缩小调整大小成显示尺寸时,用于脸部检测用的、只含有亮度成分的数据Y同时被生成,并通过存储控制部107写入到存储部108。
脸部检测处理部106通过存储控制部107适当地从存储部108读出检测用尺寸的Y数据。在对比显示尺寸还要小尺寸的Y数据进行脸部检测处理时,是利用图像信号处理部109实施缩小调整大小处理并再次将检测 用尺寸Y数据写入到存储部108之后,适当地读出该Y数据。脸部检测处理部106从该读出的Y数据检测出图像内的脸部的位置、大小等脸部信息,并通过存储控制部107将该检测结果信息写入到存储部108。
CPU114通过存储控制部107将写入到存储部108的脸部检测信息读出,根据该检测结果将显示脸部位置的信息转换成显示尺寸,并作为显示数据写入到存储部108。并且,脸部检测信息与从进行所述AE(自动曝光)控制及自动焦点调节(自动对焦=AF)控制所必要的运算的自动运算部(未图示)所得到的信息一并在CPU114进行处理,CPU114根据对人物被摄体的任意位置的焦点评价值运算结果控制透镜驱动用马达(未图示),使光学透镜11移动到对焦位置,并且控制光圈、电子快门,进行曝光控制。显示所述脸部位置信息的显示数据通过存储控制部107被从存储部108读出,并且被输入到显示处理部117。被输入到显示处理部117的、显示脸部位置信息的显示数据,在显示处理部117被转换成符合监视器118的显示特性的输入数据规格,并与所述显示数据RGB(2)重叠显示于监视器118。
接着,说明从所述监视器模式的状态转移到以JPEG形式记录静止图像的动作的情况。
当转移到静止图像记录模式时,具有摄像元件的所有像素数的RAW原图像101从摄像部12输出。RAW原图像101在前处理部105被实施前处理,并通过存储控制部107被写入到存储部108。然后,RAW原图像101通过存储控制部107被送到图像信号处理部109。
在图像信号处理部109实施同时化处理(对与滤色器排列相伴的颜色信号的空间错位进行插值,计算各点的颜色的处理)、白平衡(WB)调整、伽玛校正、亮度及色差信号生成、轮廓强调、基于电子变焦功能的变倍(放大/缩小)处理、像素数的转换(调整大小)处理等各种处理,按照来自CPU114的指令来处理图像信号。作为这些各种处理中的一部分的白平衡(WB)调整、伽玛校正等也有在前处理部105实施的情况。前处理部105及图像信号处理部109通过存储控制部107边利用能够暂时存储处理途中的图像的存储部108边进行图像信号的处理。
在所述前处理部105与图像信号处理部109中经过了规定的信号处理 后的图像数据被送到压缩解压部110,按照JPEG形式的压缩格式被压缩。
压缩后的图像数据经由记录介质I/F(接口)部111被记录到记录介质112中。记录介质112不限定于以存储卡为代表的半导体存储器,还可以使用磁盘、光盘、光磁盘等各种介质。而且,不限定于可移动介质,也可以是摄像装置10中内置的记录介质(内部存储器)。
所述CPU114是按照规定的程序统一控制本摄像装置10的控制部,根据来自操作面板113的指示信号控制摄像装置10内的各电路的动作。ROM115中保存有CPU114所执行的程序及控制所必要的各种数据等,RAM116被利用作为CPU114的工作用区域。
所述操作面板113是用于由用户对摄像装置10输入各种指示的机构,例如包含有:用于选择摄像装置10的动作模式的模式选择开关、输入菜单项目的选择操作(光标移动操作)或再生图像的帧正向前进/帧反向前进等指示的方向键、指示选择项目的确定(登记)或动作的执行的执行键、用于消去选择项目等所希望的对象或取消指示的取消键、电源开关、变焦开关、释放开关等各种操作机构。另外,各种开关也可以山触摸面板上的区域开关来实现。
所述CPU114根据从操作面板113输入的指示信号,按照各种摄影条件(曝光条件、闪光灯有无发光、摄影模式等),控制摄像部12,并且进行自动曝光(AE)控制、自动焦点调节(AF)控制、自动白平衡(AWB)控制、透镜驱动控制、图像处理控制、记录介质112的读写控制等。
例如、由不产生帧延迟的监视器模式往静止图像取入转移时,CPU114在检测到释放开关的半按压时,进行自动对焦调节控制(AF)控制,当检测到释放开关的全按压时,开始用于取入记录用图像的曝光及读出控制。而且,CPU114根据需要,向未图示的闪光灯控制电路发送指令,控制氙管等闪光发光管(发光部)的发光。
前处理部105具有在后详细进行说明的、作为本发明特征的图像处理功能,并且含有进行AE控制及AF控制所必要的运算的自动运算部(未图示),在静止图像摄影的情况下,根据响应于释放开关的半按压而取入的图像信号,进行焦点评价值运算、AE运算等,并将该运算结果传递给CPU114。若检测到释放开关的全按压,则CPU114根据焦点评价值运算 的结果,控制未图示的透镜驱动用马达,使光学透镜11移动到对焦位置,并且控制光圈、电子快门,进行曝光控制。如此取入的RAW图像数据101按照记录模式实施规定的图像处理而被记录到记录介质112中。
在动态图像摄影的情况下,所述一连串的图像处理是在进行动态图像的记录之间连续地被处理。需要说明的是,压缩形式可以是利用JPEG方式的MPEG、或者可以采用其它方式。对应于所使用的压缩形式,使用帧连续地动作的压缩处理。
(在前处理部的图像处理的内容)
接着,对在如上述那样构成的图1中的摄像装置10中,在作为本发明特征的前处理部105的内部实施的图像处理功能进行说明。
图2是表示本发明图像处理的概略的图,其生成由原图像即RAW图像数据的颜色信息所构成的一种以上的显示用缩小图像,并且生成颜色再排列RAW数据。
在图2中,从单板彩色摄像元件得到的RAW图像数据101在作为前处理部105的内部处理功能的RAW数据缩小调整大小处理部102被缩小调整大小成监视器显示尺寸的RAW图像数据,并且,在颜色再排列数据生成处理部103中被生成为四个种类的拜尔排列数据104a、104b、104c、104d并被输出,该四个种类的拜尔排列数据104a、104b、104c、104d是包含基准像素位置的两个像素×两个像素范围的颜色排列信息相异的数据。
观察所述四个种类的拜尔排列数据,可以得知在任意像素位置都存在有R、G、B中所有的颜色,利用颜色再排列显示数据生成处理部201、203、205对原图像的R、G、B颜色进行选择处理,能够生成例如以下(1)~(3)的颜色再排列显示数据,从而生成颜色排列符合监视器118的输入规格的显示数据。
(1)由独立的R平面数据(plane data)、G平面数据、B平面数据这三个面所构成的颜色再排列显示数据202
(2)由G平面数据、B与R的方格配置数据这两个面所构成的颜色再排列显示数据204
(3)由G平面数据、B与R的纵条纹配置数据这两个所构成的颜色 再排列显示数据206
只要利用所述颜色再排列显示数据生成处理部201、203、205,除了所述(1)~(3)所示的颜色排列显示数据以外,还能够生成任意颜色排列构造的显示数据。需要说明的是,虽然颜色再排列数据生成处理部103生成了四个种类的颜色再排列数据104a~104d,但是当其中一个颜色再排列数据(例如104a)已经是符合监视器118输入规格的颜色排列的显示数据时,可以只生成该种类的颜色再排列显示数据并直接输出到监视器118。
而且,为了具体实现以最小帧延迟将原图像显示于监视器这个本发明特征,采用以下的结构,即:能够将生成的颜色再排列显示数据通过图1所示的数据路径DPth(1)直接地输入到显示处理部117,并且能够通过数据路径DPth(2)暂时存储到存储部108后再次读出,并输入到显示处理部117。
图3表示出不产生帧延迟地从前处理部105向显示处理部117直接传送数据的结构。
在图3所示的结构中,以从摄像元件输出的RAW原图像101被输入到前处理部105的时段作为第一帧时段,通过在该同一第一帧时段内进行的流水线处理,将山G平面数据、蓝(B)与红(R)的纵条纹配置数据这两个面所构成的显示数据206,通过图1所示的数据路径DPth(1)直接输入到显示处理部117并显示于监视器118。在该情况下,能不使帧延迟产生地将被摄体原图像显示在监视器。
图4表示出从前处理部105通过存储部118向显示处理部117以一帧延迟的方式传送数据的结构。
在图4所示的结构中,以从摄像元件输出的RAW原图像101被输入到前处理部105的时段作为第一帧时段,存储控制部107将通过在该同一第一帧时段内进行的流水线处理所生成的、由绿(G)平面数据、蓝(B)与红(R)的纵条纹配置数据这两个面所构成的显示数据206通过数据路径DPth(2)写入到存储部108。接着,在之后的第二帧时段中,将该显示数据206输入到显示处理部117并显示于监视器118。在该情况下,能够以一帧时段的帧延迟将被摄体原图像显示于监视器118。
需要说明的是,关于显示数据,虽然以由G平面数据、蓝(B)与红(R)的纵条纹配置数据这两个面所构成的显示数据206进行了说明,但是如在图2所说明那样,具有任意颜色排列构造与多面构造的显示数据也能够以同样的帧延迟显示在监视器118。
(缩小调整大小处理部及颜色再排列数据生成处理部的第一具体例)
图5是表示作为前处理部105的内部信号处理的RAW数据缩小调整大小部102与颜色再排列数据生成处理部103的具体结构的图。
在图5所示的结构中,当生成缩小成显示用尺寸的、包含有基准像素位置的两个像素×两个像素范围的颜色排列信息相异的四个种类的拜尔排列数据104a~104d时,在本实施方式的图像处理装置具有:第一水平缩小调整大小处理部501,其沿输入行方向将从单板彩色摄像元件得到的RAW图像数据101缩小成任意尺寸的图像;存储部(存储装置)503,其暂时存储沿水平方向调整大小后的图像数据;垂直缩小调整大小处理暨颜色再排列数据生成处理部504,其对从存储部503读出的多个缩小行数据沿与输入行方向正交的垂直方向进行缩小调整大小,从而生成两种拜尔排列数据505、506;以及,颜色再排列数据生成处理部507、508,其分别对沿水平方向及垂直方向进行缩小调整大小处理后的两种拜尔排列数据再次沿输入行方向生成两种拜尔排列数据。
利用图5对生成缩小成显示用尺寸的、两个像素×两个像素范围的颜色排列信息相异的四个种类的拜尔排列数据104a~104d的情况进行说明。
在沿输入行方向缩小成任意尺寸的图像的第一水平缩小调整大小处理部501中实施往显示尺寸的缩小调整大小时,以沿水平方向成为显示尺寸的水平尺寸的缩小比例K1生成仅沿水平方向缩小的图像数据502。
所述水平缩小调整大小后的图像数据502以行数据单位暂时写入到存储部503。同时,从存储部503读出多行量的数据,进行作为下一道步骤的垂直方向缩小调整大小处理。利用垂直缩小调整大小处理部暨颜色再排列数据生成处理部504,以沿垂直方向成为显示尺寸的垂直尺寸的、与水平相同的缩小比例K1缩小,通过沿垂直方向将偶数行与奇数行的颜色相互对调,得到颜色排列相异的两种显示用尺寸拜尔排列数据505、506。
接着,通过在分别对所述两种拜尔排列数据505、508再次沿输入行方向生成两种拜尔排列数据的颜色再排列数据生成处理部507、508中,分别沿水平方向将偶数像素与奇数像素的颜色相互对调,从而更进一步生成两种拜尔排列数据。通过这样,能够生成缩小成显示用尺寸的两个像素×两个像素范围的、颜色排列信息相异的四个种类的拜尔排列数据104。
(缩小调整大小处理部及颜色再排列数据生成处理部的第二具体例)
图6表示作为前处理部105的内部信号处理的RAW数据缩小调整大小部102及颜色再排列数据生成处理部103的结构的第二具体例。
在图6所示的结构中,当生成缩小成显示用尺寸的、包含有基准像素位置的、两个像素×两个像素范围的、颜色排列信息相异的四个种类的拜尔排列数据104时,本实施方式的图像处理装置具有:水平缩小调整大小暨颜色再排列数据生成处理部601,其沿输入行方向将从单板彩色摄像元件得到的RAW图像数据101缩小且生成两种拜尔排列数据602、603;存储部604、605,其暂时存储水平调整大小后的该两种拜尔排列数据;垂直缩小调整大小处理及颜色再排列数据生成处理部606、607,其对从存储部604、605分别读出的多个缩小行数据沿与输入行方向正交的垂直方向进行缩小调整大小,从而更进一步生成两种拜尔排列数据,总计生成四个种类的拜尔排列数据104a、104b、104c、104d。
以下,作为图6的结构的动作,对生成缩小成显示用尺寸的两个像素×两个像素范围的、颜色排列信息相异的四个种类的拜尔排列数据104的情况进行说明。
在沿输入行方向缩小成任意尺寸的图像且生成两种拜尔排列数据602、603的水平缩小调整大小处理暨颜色再排列数据生成处理部601中实施往显示尺寸的缩小调整大小时,首先,以沿水平方向成为显示尺寸的水平尺寸的缩小比例K1生成仅沿水平方向缩小的拜尔排列数据。并且通过沿水平方向将偶数像素与奇数像素的颜色相互对调,生成两种拜尔排列数据602、603。
所述水平缩小调整大小后的两种拜尔排列数据602、603以行数据单位分别独立地暂时写入到存储部604、605。同时,从所述存储部604、605分别读出多行量的数据,进行作为下一道步骤的垂直方向缩小调整大小处 理。利用两个垂直缩小调整大小暨颜色再排列数据生成处理部606、607,以沿垂直方向成为显示尺寸的垂直尺寸的、与水平相同的缩小比例K1缩小。并且通过分别沿垂直方向将偶数行与奇数行的颜色相互对调,生成颜色排列相异的两种显示用尺寸拜尔排列数据,总计得到四个种类的显示用尺寸拜尔排列数据104a、104b、104c、104d。
通过以上的处理,生成缩小成显示用尺寸的、两个像素×两个像素范围的颜色排列信息相异的四个种类的拜尔排列数据104。
(缩小调整大小处理及颜色再排列数据生成处理的概略)
图7是表示如下的内部处理结构,即在RAW数据缩小调整大小处理部102与颜色再排列数据生成处理部103中,当生成颜色排列信息相异的四个种类的拜尔排列数据104时,沿输入行方向缩小成任意尺寸的图像,并且还通过沿水平方向将偶数像素与奇数像素的颜色相互对调,生成两种拜尔排列数据710、711这样的内部处理结构的一个例子。在本内部处理结构中,实现图5所示的RAW数据水平方向缩小调整大小处理部501、水平方向颜色再排列数据生成处理部507、508,以及实现图6的RAW数据水平方向缩小调整大小暨水平方向颜色再排列数据生成处理部601。
图8是表示利用以行数据单位暂时保持水平调整大小后的图像数据的存储部503、604、607,将行数据写入到多个行存储器的方法,以及显示从多个行存储器801同时读出多个水平方向行数据的一个例子的图。
图9是如下的内部处理结构,即利用多个水平方向缩小行数据,沿与输入行方向正交的垂直方向进行缩小调整大小,并且还通过沿垂直方向将偶数行和奇数行的颜色相互对调,生成两种拜尔排列数据923、925这样的内部处理结构的一个例子。在本内部处理结构中,实现图5及图6所示的RAW数据垂直方向缩小调整大小暨颜色再排列数据生成处理部504、606、607。
在图7选择性地实施沿传感器读出方向的水平缩小调整大小处理和颜色再排列处理,将该处理的输出写入图8所示的行存储器,同时,从行存储器读出沿传感器读出方向的水平缩小调整大小处理图像中连续的多行量的数据,进行如图9所示那样的处理,即对多行上的、沿传感器读出方向的同一位置的数据以纵向的同时处理进行多个垂直方向缩小调整大 小处理与颜色再排列处理。
此时,垂直方向缩小调整大小处理是与所述沿传感器读出方向的水平缩小调整大小处理不同的处理,垂直方向缩小调整大小处理是根据是否以行单位来利用多个行单位的动作输出这样的判断处理,而作为行的间歇输出,得到沿垂直方向比率不同的缩小调整大小图像。
并且,在如图5所示的第一具体例中,对于任意图像,仅再次选择性地实施如图7所示的内部处理中的、沿传感器读出方向的颜色再排列处理,生成缩小成显示用尺寸的两个像素×两个像素范围的、颜色排列信息相异的四个种类的拜尔排列数据104。
本实施方式的图像处理功能的重点在于图像处理的流程与处理程序的组合及顺序。在图5所示的第一具体例中,是以图7的处理→图8的处理→图9的处理→图7的处理的顺序组合,生成缩小成显示用尺寸的、两个像素×两个像素范围的颜色排列信息相异的四个种类的拜尔排列数据104。另一方面、在图6所示的第二具体例中,是以图7的处理→图8的处理→图9的并列处理的顺序组合,生成缩小成显示用尺寸的、两个像素×两个像素范围的颜色排列信息相异的四个种类的拜尔排列数据104。
需要说明的是,图7、图8及图9所示的处理是在对RAW数据进行缩小调整大小处理并且进行多个颜色再排列处理时,用于生成不产生返回噪声、图像质量高而分辨率好的缩小RAW数据的一种方式,本发明并不将作为高图像质量缩小处理的基本的内部算法限定在该方式。但是,在删减冗长处理这样的本发明目的下,本内部处理算法是一种能够实现处理程序少并且图像质量高的缩小处理的方法,在实现本发明图像处理上是合适的缩小处理暨颜色再排列处理算法。
(水平方向的缩小调整大小处理及颜色再排列数据生成处理的具体例)
接着,利用图7,对在图5及图6所示的水平方向缩小调整大小处理及水平方向颜色再排列数据生成处理部501、507、508、601的处理中应用的、沿传感器读出方向的水平缩小调整大小处理及颜色再排列处理的细节进行说明。
沿传感器读出方向的水平缩小调整大小处理部501是一维的流水线 处理,如图7所示,是由以下处理部构成,即:载色除去滤波处理部(滤波处理部)702,其通过对行单位的RAW行图像701进行的滤波处理,从RAW图像101提取出亮度数据;载色提取滤波处理部(滤波处理部)704,其提取载色数据;载色反转解调处理部705,其对调制后的载色数据进行颜色反转解调,输出连续的色差数据;亮度信号传感器读出方向缩小调整大小处理部706及色差信号传感器读出方向缩小调整大小处理部707,其对得到的亮度数据和色差数据分别独立地进行缩小调整大小;色差数据反转调制处理部(载色调制处理部)708,其将调整大小后的色差数据再转换成载色数据,进行增益电平调整;第一颜色排列再现处理部(颜色再排列数据生成处理部)709,其将调整大小后电平被调整了的亮度数据与调制后的载色数据重新合成,形成最终的第一颜色排列数据710;符号反转处理部711,其将调制后的载色数据的符号反转;以及,第二颜色排列再现处理部(颜色再排列数据生成处理部)712,其将调整大小后电平被调整了的亮度数据与调制后符号被反转了的载色数据重新合成,生成最终的第二颜色排列数据713。
与颜色再排列相关的处理是:将所述调整大小后的色差数据再转换成载色数据,进行增益电平调整的色差数据反转调制处理部708;第一颜色排列再现处理部709;符号反转处理部711;以及第二颜色排列再现处理部712。这些处理包含在图7中以虚线围住的颜色再排列数据生成处理部20中。
接着,利用图7所示的传感器读出方向的水平缩小调整大小处理功能,对处理拜尔排列的图像的情况进行说明。
作为原图像的RAW图像101是反映了拜尔排列的像素配置的镶嵌状图像,通常从摄像部12以行单位被读出。该原图像的行单位的RAW行图像数据701为红(R)与绿(G)的信息按每个像素反复的RG行、和蓝(B)与绿(G)的信息按每个像素反复的BG行这两种。在图7中,仅示出关于BG行的信号信息。
这两种行数据经过将以两个像素周期变化的奈奎斯特频率附近的载色除去的载色除去滤波处理部702,对于RG行而言,输出成为红(R)与绿(G)的平均值的行亮度数据{α(R+G)},对于BG行而言,输 出成为蓝(B)与绿(G)的平均值的行亮度数据{α(B+G)}。
而且,所述两种行数据经过将以两个像素周期变化的奈奎斯特频率附近的载色提取出的载色提取滤波处理部704,对于RG行而言,输出以奈奎斯特频率被调制后的RG行载色数据,对于BG行而言,输出以奈奎斯特频率被调制后的BG行载色数据。所述以奈奎斯特频率被调制后的RG行载色数据及BG行载色数据,通过按每一个像素使符号反转的载色反转解调处理部705,作为连续的RG行色差数据及BG行色差数据被输出。
当针对提取出的亮度数据和色差数据分别以同一缩小比率实施传感器读出方向的缩小调整大小时,为了抑制缩小后的返回噪声,对亮度数据用及色差数据用分别实施在图7中未图示的、特性相异的亮度用带限滤波处理、和色差用带限滤波处理,但作为有效率的处理,是以通过载色除去滤波处理部702和载色提取滤波处理部704,将频率特性的限制同时应用处理的方法为好,作为安装方法,该方法是有效率的。此时,作为色差用带限,在设想最终记录格式为JPEG或TIFF、MPEG的情况下,设定为亮度用带限的二分之一以下。被带限的亮度数据通过亮度信号传感器读出方向缩小调整大小处理部706,与缩小比率对应地进行线性插值间隔提取处理。另一方面,被带限的色差数据通过色差信号传感器读出方向的水平缩小调整大小处理部507,与缩小比率对应地进行线性插值间隔提取处理。
对于按照每一行沿传感器读出方向被水平缩小调整大小后的两种连续的色差数据{β(R-G)、β(B-G)},作为用于按照以两个像素周期变化的奈奎斯特频率进行调制的等效处理,实施按每一个像素使符号反转的、在色差数据反转调制处理部708进行的处理。其结果是,成为在各个行数据上符号按照每个像素相异的第一{β(R-G)、-β(R-G)}、{β(B-G)、-β(B-G)}这两种缩小RG行载色数据和缩小BG行载色数据。同时,将所述载色数据的符号反转的符号反转处理部711,使第一{β(R-G)、-β(R-G)}、{β(B-G)、-β(B-G)}这两种缩小RG行载色数据和缩小BG行载色数据成为在各个行数据上符号按照每个像素相异的第二{-β(R-G)、β(R-G)}、{-β(B-G)、β(B-G)}这两种缩小RG行载色数据和缩小BG行载色数据。
被调整大小后的缩小行亮度数据,在与被调整大小后的载色数据的相加处理、即颜色排列再现处理部709中,按照每行,所述第一及第二缩小RG行载色数据和所述第一及第二缩小BG行载色数据被重新合成,作为红(R)与绿(G)的信息按每个像素反复的、被缩小调整大小后的RG行及GR行、以及作为蓝(B)与绿(G)的信息按每个像素反复的、被缩小调整大小后的BG行710及GB行713输出。
利用数学式表示RG行的重新合成。首先,若在亮度数据{α(R+G)}、载色数据{β(R-G)、-β(R-G)}中设α=0.5、β=05,则变为亮度数据{0.5(R+G)}、载色数据{0.5(R-G)、-0.5(R-G)}。若对每个像素加上亮度数据和载色数据,则重复0.5{(R+G)+(R-G)}、0.5{(R+G)-(R-G)}、…。即,将RG行数据再生为R、G、R、G、…。若载色数据的符号反转,则GR行数据再生为G、R、G、R、…。
在BG行中也同样,若在亮度数据{α(B+G)}、载色数据{β(B-G)、-β(B-G)}中设α=0.5、β=0.5,则变为亮度数据{0.5(B+G)}、载色数据{0.5(B-G)、-0.5(B-G)}。若对每个像素加上亮度数据和载色数据,则重复0.5{(B+G)+(B-G)}、0.5{(B+G)-(B-G)}、…。即、BG行数据再生为B、G、B、G、…。若载色数据的符号反转,则GB行数据再生为G、B、G、B、…。
在图7中所示的传感器读出方向的水平缩小调整大小处理功能够在实施图5中所示的处理部501、507、508或图6中所示的处理部601时使用。
在图5的水平方向缩小调整大小处理部501中,是将颜色排列相异的两种缩小行数据中的一个往下一个处理输出。而且,在颜色再排列数据生成处理部507、508中,不实施水平方向的缩小处理,而是将颜色排列相异的两种缩小行数据输出。并且,在图6的水平方向缩小调整大小暨颜色再排列数据生成处理部601中,是将被水平方向的缩小处理后的、颜色排列相异的两种缩小行数据输出。
接着,利用图8,对于将在所述水平缩小调整大小处理部501、水平缩小调整大小处理暨颜色再排列数据生成处理部601进行处理的缩小 RAW图像数据暂时地写入到作为存储部503、604、605的一例的多个行存储器,并且同时从这些多个行存储器读出多个水平方向缩小行RAW数据的情况的细节进行说明。
图8(a)表示多个行存储器的写入读出动作。该图(b)表示该图(a)的下一个行周期定时下的同一行存储器的写入读出动作。在图8(a)及图8(b)中,801是由八行构成的行存储器。802表示针对所述行存储器801的数据写入循环,作为对八行的写入控制,一边按每一行依次以环状巡回,一边不断写入。803表示针对行存储器801的数据读出循环,一边汇总选择八行中的七行量的存储器数据,一边与写入控制同样地按顺序以环状巡回并不断读出。
在图8(a)及(b)的例子中,为了使所使用的多个行存储器801的容量为最小限度,使相对环状的巡回写入的、七行同时巡回读出的开头行的位置成为比写入行慢一行的位置。而且,通过划分写入行和读出行,还能够使写入与读出不同步地动作。
这样,通过从图8(a)及(b)所示的行存储器801中汇总读出水平方向的RAW缩小调整大小图像502、602、603中连续的多行量的RAW调整大小数据,对多行上的传感器读出方向的同一位置的数据804,在图5所示的第一具体例中,在垂直方向缩小调整大小暨颜色再排列数据处理部504沿纵向进行处理,得到RAW调整大小图像505、606。在图6所示的第二具体例中,在垂直方向缩小调整大小暨颜色再排列数据处理部606、607沿纵向进行处理,得到颜色排列相异的四个种类的RAW调整大小图像104。
此时,在垂直方向缩小调整大小暨颜色再排列数据处理部504、606、608进行的处理,成为与在传感器读出方向的水平缩小调整大小处理部501进行的处理相异的处理。在垂直方向缩小调整大小暨颜色再排列数据处理部504、606、608进行的处理是根据是否基于下述判断处理进行输出,来通过减少行数,实施垂直方向的缩小调整大小处理,所述判定处理用于判定:对于以多行作为输入的任意图像处理输出数据,是否以行单位作为有效数据来利用。
(垂直方向的缩小调整大小处理及颜色再排列数据处理的具体例)
图9是表示如下的结构,即通过所述垂直方向缩小调整大小暨颜色再排列数据处理504、606、608,生成颜色排列信息相异的两种拜尔排列数据时,通过相对于输入行方向沿垂直方向缩小成任意尺寸的图像,并且还沿垂直方向将偶数行上和奇数行上的颜色相互对调,生成两种拜尔排列数据710、711这样的内部处理结构的一个例子。
图9的垂直方向缩小调整大小暨颜色再排列数据处理504、606、608与图7所示的传感器读出方向的水平缩小调整大小处理同样,作为亮度信号处理和色差信号处理这样的两***处理而实施。
进行详细说明时,在图9中示例出下述的情况:作为输入数据将相对于七行量的RAW图像在垂直方向成为同一水平位置的七个像素作为一个处理单位来实施处理。
图9所示的垂直方向缩小调整大小暨颜色再排列数据处理是山以下处理部构成,即:载色除去滤波处理部(滤波处理部)903,其从所述七行量的RAW图像沿垂直方向提取出亮度数据;载色提取滤波处理部(滤波处理部)912,其提取垂直方向的载色数据;载色反转解调处理部(垂直方向载色反转解调处理部)916,其对在垂直方向被调制后的载色数据进行色反转解调,输出在垂直方向连续的色差数据;亮度信号垂直方向缩小调整大小处理部(垂直方向缩小调整大小处理部)910及色差信号垂直方向缩小调整大小处理部(垂直方向缩小调整大小处理部)918,其对在得到的垂直方向行亮度数据909和色差数据独立地进行垂直方向缩小调整大小;色差数据反转调制处理部(垂直方向色差数据反转调制处理部)920,其将调整大小后的色差数据再次转换成载色数据,进行增益电平调整;第一颜色排列再现处理部922,将调整大小后电平被调整了的亮度数据和调制后的载色数据重新合成,生成最终的第一颜色排列数据923;符号反转处理部926,其将被调制后的载色数据的符号反转;第二颜色排列再现处理部924,其将调整大小后电平被调整了的亮度数据与调制后符号被反转了的载色数据重新合成,生成最终的第二颜色排列数据925。
与颜色再排列相关的处理是:将所述调整大小后的色差数据再转换成载色数据,进行增益电平调整的色差数据反转调制处理部920;第一颜色排列再现处理部922;符号反转处理部926;以及第二颜色排列再现处理 部924,这些处理包含在图9中以虚线围住的颜色再排列数据生成处理部30中。
详细说明利用所述图9所示的垂直方向缩小调整大小暨颜色再排列数据处理功能,对拜尔排列的图像进行缩小调整大小处理暨颜色再排列数据处理的情况。
如图9的垂直方向的处理单位901所示,水平调整大小处理后的RAW图像保持着反映了拜尔排列的像素配置的镶嵌状排列,如图8所示,被以行单位巡回写入到行存储器801中,并汇总多行被巡回读出。在图8所示的本实施方式中,利用由八行构成的行存储器801,将七行量的数据汇总并输出。
对于水平调整大小处理后的七行单位的输入数据,在第一垂直方向的处理单位成为:对于行上的传感器读出方向的同一位置的垂直方向关注数据,蓝(B)与绿(G)的信息沿垂直方向按每个像素反复的BG垂直处理单位901、和绿(G)与红(R)的信息沿垂直方向按每个像素反复的GR垂直处理单位902这两种。
成为这两种垂直方向的处理单位的数据,具有在垂直方向以两个像素周期变化的奈奎斯特频率附近的载色信息,在所述除去载色的载色除去滤波处理部903中,利用七行数据中的五行量的亮度数据Y1~Y3被实施三***处理,生成沿垂直方向偏离一行量位置的三个种类的连续的亮度数据。本实施方式中,在载色除去滤波处理部903中沿垂直方向分别利用五像素的亮度数据Y1~Y3,输出三个种类的行亮度数据909。各个亮度数据Y1~Y3是作为下述的亮度数据而在水平方向交替地输出,即,关于垂直方向的BG垂直处理单位901是作为成为蓝(B)与绿(G)的平均值的亮度数据,而关于接下来的垂直方向的GR垂直处理单位902是作为成为绿(G)与红(R)的平均值的亮度数据。
而且,所述两种垂直方向的处理单位901、902,利用在垂直方向以两个像素周期变化的奈奎斯特频率附近的载色提取出的载色提取滤波处理部912的七行数据中的五行量的数据被实施三***处理,生成沿垂直方向偏离一行量位置的三个种类的连续的载色数据C1~C3(913~915)。关于BG垂直处理单位901的BG垂直方向,输出被以奈奎斯特频率调制 后的BG载色成分数据,关于GR垂直处理单位902的GR垂直方向,输出被以奈奎斯特频率调制后的GR载色成分数据。
沿垂直方向被以奈奎斯特频率调制后的各为三个的BG载色成分数据及GR载色成分数据,通过沿垂直方向按每一个像素(每一行动作)反转符号的载色反转解调处理部916,作为沿垂直方向连续的R-G数据、B-G数据输出。在此,以垂直方向的像素数据位置与亮度数据Y1~Y3成为相同位置的方式输出色差数据C1~C3。
在对由沿垂直方向提取出的所述三行数据构成的亮度数据Y1~Y3和色差数据C1~C3分别实施同一比率的垂直方向的缩小调整大小时,为了抑制缩小后的返回噪声,优选按亮度数据用及色差数据用分别实施在图9中未图示的、特性相异的亮度用带限滤波处理、和色差用带限滤波处理。虽然也能够对亮度数据Y1~Y3与色差数据C1~C3这三行实施同一带限滤波处理,但是作为有效率的处理来说,通过载色除去滤波处理部903和载色提取滤波处理部912,将频率特性的限制同时应用处理这样的方法,作为安装方法是有效率的。此时,作为色差数据的带限,设想最终记录格式为JPEG或TIFF、MPEG的情况下,优选设定为亮度用数据的带限的二分之一以下。
亮度信号垂直方向缩小调整大小处理部910,利用在所述垂直方向被带限的亮度数据Y1~Y3这三个行亮度数据909进行在垂直方向的线形插值,以行单位并对应缩小比率实施行间隔提取输出。另一方面,色差信号垂直方向缩小调整大小处理部918,利用三个色差分行数据在垂直方向进行与所述亮度数据相同的线形插值,以行单位并对应垂直缩小比率实施行间隔提取输出。
通过所述垂直方向的行间隔提取而被缩小调整大小的色差数据,作为用于按照以两个像素周期变化的奈奎斯特频率进行调制的等效处理,被实施按每个有效行输出使符号反转的、在色差数据反转调制处理部920进行的处理,在垂直方向生成第一垂直载色数据921。将该第一垂直载色数据921在符号反转处理部926进行符号反转,生成第二垂直载色数据927。
通过所述垂直方向的行间隔提取而在垂直方向被缩小调整大小的行亮度数据911、及所述第一垂直载色数据921,在第一颜色排列再现处理 部922被实施相加处理,作为垂直方向BG数据923、及未图示的垂直方向GR数据在水平方向交替地输出。该垂直方向BG数据923是蓝(B)与绿(G)的信息在垂直方向按每个像素反复的、水平垂直都被调整大小的数据,该垂直方向GR数据是绿(G)与红(R)的信息在垂直方向按每个像素反复的、水平垂直都被调整大小的数据。
通过所述垂直方向的行间隔提取而被垂直缩小调整大小的行亮度数据911、及所述第二垂直载色数据927,在第二颜色排列再现处理部924被进行相加处理,作为垂直方向GB数据925、及未图示的垂直方向RG数据在水平方向交替地输出。该垂直方向GB数据925是绿(G)与蓝(B)的信息在垂直方向按每个像素反复的、水平垂直都被调整大小的数据,该垂直方向RG数据是红(R)与绿(G)的信息在垂直方向按每个像素反复的、水平垂直都被调整大小的数据。
与在垂直方向的两种颜色再排列相关的处理,是通过所述第一颜色排列再现处理部922、及第二颜色排列再现处理部924实施,作为图5所示的四个种类的拜尔排列数据505、506、图6所示的两种拜尔排列数据104a、104b、104c、104d输出。
如以上所述,在图5所示的第一实施方式中,能够以图7的处理→图8的处理→图9的处理→图7的处理的顺序组合,生成缩小成显示用尺寸的两个像素×两个像素范围的、颜色排列信息相异的四个种类的拜尔排列数据104。
此外,在图6所示的第二实施方式中,能够以图7的处理→图8的处理→图9的并列处理的顺序组合,缩小成显示用尺寸的两个像素×两个像素范围的、颜色排列信息相异的四个种类的拜尔排列数据104。
接着,利用在图2所示的颜色再排列显示数据生成处理部201、203、205对原图像的红(R)、绿(G)、蓝(B)的颜色进行选择处理,能够生成颜色排列符合监视器的输入规格的显示数据。
需要说明的是,实施本发明的机构不限于专用的图像处理装置(图像再生装置或图像加工装置),也可以是个人电脑。并且,图像处理并不限于其处理的一部分或全部由硬件(信号处理电路)实现,也可以通过软件实现。
另外,使用于图像处理的图像处理程序可以构成为单独的应用程序软件,也可以作为图像加工软件、文件管理用软件等应用程序的一部分而组入。此外,该图像处理程序不限定于在个人电脑等计算机***中应用的情况,也可以作为组装在数码相机、携带式电话机等信息设备的中央处理装置(CPU)的动作程序来应用。
-工业可用性-
如以上说明那样,本发明涉及的图像处理装置及图像处理方法特别是在将从单板彩色摄像元件得到的原图像缩小处理并显示时,作为合适的图像数据尺寸转换显示处理装置、电子静态图片相机、图像数据尺寸转换显示处理程序等是有用的。
-符号说明-
10 摄像装置
11 光学透镜
12 撮像部
101 拜尔排列的RAW图像数据
104 四个种类的拜尔排列数据
105 前处理部
107 存储控制部
108 存储部
109 图像信号处理部
110 压缩解压处理部
111 记录介质I/F部
112 记录介质
113 操作面板
114 CPU
115 ROM
116 RAM
117 显示处理部
118 监视器
DPth(1)、DPth(2) 数据路径
102 缩小调整大小处理部
103 颜色再排列数据生成处理部
104a~104d 四个种类的拜尔排列数据
201、203、205 颜色再排列显示数据生成处理部
202、204、206 颜色再排列显示数据
501RAW 数据水平方向缩小调整大小处理部
502 仅沿水平方向缩小的图像数据
503、604、605 存储部(存储装置)
504、606、607 RAW数据垂直方向调整大小处理暨颜色再排列处理部
505、506 两种显示用尺寸拜尔排列数据
507、508 水平方向颜色再排列数据生成处理部
601 RAW数据水平方向缩小调整大小暨颜色再排列数据生成处理部
602、603 仅沿水平方向缩小的两种图像数据
701 RAW行图像数据
702 载色除去滤波处理部(滤波处理部)
703 行亮度数据
704 载色提取滤波处理部(滤波处理部)
705 色差数据复调处理部
706 亮度信号传感器读出方向缩小调整大小处理部
707 色差信号传感器读出方向缩小调整大小处理部
708 载色调制处理部(载色调制处理部)
709 第一颜色排列再现处理部(颜色再排列数据生成处理部)
710 第一缩小颜色排列数据
711 符号反转处理部
712 第二颜色排列再现处理部(颜色再排列数据生成处理部)
713 第二缩小颜色排列数据
801 行存储器
802 针对行存储器的数据写入循环
803 针对行存储器的数据读出循环
804 多行上的传感器读出方向的同一位置的数据
901 第一垂直方向的处理单位
902 第二垂直方向的处理单位
903 载色除去滤波处理部(滤波处理部)
904、905、906 行亮度数据
909 三个种类的行亮度数据
910 亮度信号垂直方向缩小调整大小处理部(垂直方向缩小调整大小处理部)
911 垂直方向缩小行亮度数据
912 载色提取滤波处理部(滤波处理部)
913、914、915 载色数据
916 载色反转解调处理部(垂直方向载色反转解调处理部)
918 色差信号垂直方向缩小调整大小处理部(垂直方向缩小调整大小处理部)
919 垂直方向缩小色差数据
920 色差数据反转调制处理部(垂直方向色差数据反转调制处理部)
30 颜色再排列数据生成处理部
921 第一垂直载色数据
922 第一垂直颜色排列再现处理部
923 第一缩小颜色排列数据
924 第二垂直颜色排列再现处理部
925 第二缩小颜色排列数据
926 符号反转处理部
927 第二垂直载色数据