CN102783155A - 图像生成装置 - Google Patents

Abstract

本发明提供一种图像生成装置，在利用通过2种以上的分辨率和2种以上的曝光时间的组合而被读出的像素信号所生成的高帧频且高分辨率的图像的颜色中防止洇染。图像生成装置具备：高画质处理部，其接收拍摄同一事物而获得的第1运动图像、第2运动图像及第3运动图像的信号，生成表示事物的新的运动图像：和输出端子，其输出新的运动图像的信号。第2运动图像的颜色成分与第1运动图像的颜色成分不同，第2运动图像的各帧通过时间比第1运动图像的1帧时间还长的曝光而获得。第3运动图像的颜色成分与第2运动图像的颜色成分相同，第3运动图像的各帧通过时间比第2运动图像的1帧时间还短的曝光而获得。

Description

图像生成装置

技术领域

本发明涉及运动图像的图像处理。更为具体而言，本发明涉及生成通过图像处理提高了所拍摄到的运动图像的分辨率及帧频的至少一方的运动图像的技术。 

背景技术

现有的摄像处理装置为了实现高分辨率化而使得摄像元件的像素寸法小型化，伴随于此，入射到摄像元件的1个像素中的光量减少。其结果将会引起各像素的信噪比(S/N)下降，难以维持画质。 

专利文献1中对利用3个摄像元件并控制曝光时间而得到的信号进行处理，由此以高分辨率实现高帧频的运动图像的复原。在该方法中，使用2种分辨率的摄像元件，高分辨率的摄像元件通过长时间曝光读出像素信号，低分辨率的摄像元件通过短时间曝光读出像素信号，以确保光量。 

【现有技术文献】 

【专利文献】 

【专利文献1】JP特开2009-105992号公报 

发明内容

-发明要解决的课题- 

当以长时间曝光来读取高分辨率的像素信号时，在被摄体活动时会得到加入了活动抖动的图像。因此，尽管作为结果所得到的运动图像的画质有所提高，但是在难以检测活动的一部分范围中复原出的运动图像上颜色看起来很洇染，还存在画质改善的余地。 

本发明的目的在于获得确保光量的同时减少颜色中产生的洇染的运动图像。本发明的另一目的在于同时以高帧频进行高分辨率的运动图像的复原。 

-用于解决课题的技术方案- 

本发明的图像生成装置具备：高画质处理部，其接收拍摄同一事物而得到的第1运动图像、第2运动图像及第3运动图像的信号，生成表示所述事物的新的运动图像：和输出端子，其输出所述新的运动图像的信号，其中，所述第2运动图像的颜色成分与所述第1运动图像的颜色成分不同，所述第2运动图像的各帧是通过时间比所述第1运动图像的1帧时间还长的曝光而获得的，所述第3运动图像的颜色成分与所述第2运动图像的颜色成分相同，所述第3运动图像的各帧是通过时间比所述第2运动图像的1帧时间还短的曝光而获得的。 

所述高画质处理部可以利用所述第1运动图像、所述第2运动图像及所述第3运动图像的信号，生成帧频为所述第1运动图像或者所述第3运动图像的帧频以上、且分辨率为所述第2运动图像或者所述第3运动图像的分辨率以上的新的运动图像。 

所述第2运动图像的分辨率高于所述第3运动图像的分辨率，所述高画质处理部利用所述第2运动图像的信号及所述第3运动图像的信号，生成具有所述第2运动图像的分辨率以上的分辨率、具有所述第3运动图像的帧频以上的帧频、且颜色成分与所述第2运动图像及第3运动图像的颜色成分相同的运动图像的信号，作为所述新的运动图像的颜色成分之一。 

所述高画质处理部决定所述新的运动图像的各帧的像素值，使得以成为与所述第2运动图像相同的帧频的方式对所述新的运动图像进行时间采样时的、各帧的像素值与所述第2运动图像的各帧的像素值的误差减少。 

所述高画质处理部生成绿色的颜色成分的运动图像的信号，作为所述新的运动图像的颜色成分之一。 

所述高画质处理部决定所述新的运动图像的各帧的像素值，使得以成为与所述第1运动图像相同的分辨率的方式对所述新的运动图像进行空间采样时的、各帧的像素值与所述第1运动图像的各帧的像素值的误差减少。 

所述第2运动图像和所述第3运动图像的帧是通过帧间的开放曝光而获得的。 

所述高画质处理部指定所生成的新的运动图像的像素值根据在时间空间上相邻的像素的像素值的连续性所应该满足的约束条件，并按照维持 所述指定的所述约束条件的方式来生成所述新的运动图像。 

所述图像生成装置还具备活动检测部，该活动检测部根据所述第1运动图像及所述第3运动图像的至少一个检测对象物的活动，所述高画质处理部按照所生成的新的运动图像的像素值维持基于所述活动检测结果应该满足的约束条件的方式来生成所述新的运动图像。 

所述活动检测部计算所述活动检测的可靠度，所述高画质处理部针对由所述活动检测部计算出的可靠度高的图像区域，利用基于所述活动检测结果的约束条件来生成新的图像，并针对所述可靠度低的图像区域，利用活动约束条件以外的预先确定的约束条件来生成所述新的运动图像。 

所述活动检测部以对构成所述运动图像的各图像进行分割之后的块为单位来检测活动，将使块彼此的像素值之差的平方和的符号反转之后的值作为所述可靠度进行计算，所述高画质处理部将所述可靠度比预先确定的值还大的块作为可靠度高的图像区域，将所述可靠度比预先确定的值还小的块作为可靠度低的图像区域，来生成所述新的运动图像。 

所述活动检测部具有姿势传感器输入部，该姿势传感器输入部接收来自对拍摄对象物的摄像装置的姿势进行检测的姿势传感器的信号，所述活动检测部利用所述姿势传感器输入部接收的信号来检测所述活动。 

所述高画质处理部从所述第1运动图像及所述第3运动图像提取色差信息，根据从所述第1运动图像及所述第3运动图像获取的亮度信息、所述第2运动图像生成中间的运动图像，在所生成的中间的运动图像中附加所述色差信息，由此生成所述新的运动图像。 

所述高画质处理部针对所述第1运动图像、第2运动图像及第3运动图像的至少1个来计算图像在时间上的变化量，在所计算出的变化量超过了预先确定的值时，结束利用到超过之前的时刻的图像为止的图像来生成运动图像，从超过之后开始新的运动图像的生成。 

所述高画质处理部还计算表示所生成的新的运动图像的可靠性的值，将计算出的值与所述新的运动图像一起输出。 

所述图像生成装置还具备摄像部，该摄像部利用单板的摄像元件生成所述第1运动图像、第2运动图像及第3运动图像。 

所述图像生成装置还具备控制部，该控制部根据摄影的环境来控制所 述高画质化部的处理。 

所述摄像部进行空间上的像素相加运算，生成分辨率比所述第3运动图像的分辨率还高的所述第2运动图像，所述控制部具备对由所述摄像部检测出的光量进行检测的光量检测部，在由所述光量检测部检测出的光量为预先确定的值以上时，针对所述第1运动图像、所述第2运动图像及所述3运动图像的至少1个运动图像，改变曝光时间及空间上的像素相加量的至少一方。 

所述控制部具备对图像生成装置的动力源的剩余容量进行检测的剩余容量检测部，根据由所述剩余容量检测部检测出的剩余容量，针对所述第1运动图像、所述第2运动图像及所述3运动图像的至少1个运动图像，改变曝光时间及空间上的像素相加量的至少一方。 

所述控制部具备对被摄体的活动的大小进行检测的活动量检测部，根据由所述活动量检测部检测出的被摄体的活动的大小，针对所述第1运动图像、所述第2运动图像及所述3运动图像的至少1个运动图像，改变曝光时间及空间上的像素相加量的至少一方。 

所述控制部具备用户对图像处理的计算进行选择的处理选择部，根据经由所述处理选择部而被选择的结果，针对所述第1运动图像、所述第2运动图像及所述3运动图像的至少1个运动图像，改变曝光时间及空间上的像素相加量的至少一方。 

所述高画质处理部设定所述新的运动图像的像素值根据在时间空间上相邻的像素的像素值的连续性而应该满足的约束条件，所述高画质处理部按照以与所述第2运动图像相同的帧频对所述新的运动图像进行时间采样时的、各帧像素值与所述第2运动图像的各帧的像素值的误差减少的方式、且按照维持所设定的所述约束条件的方式，来生成所述新的运动图像。 

所述图像生成装置还具备摄像部，该摄像部利用3板的摄像元件来生成所述第1运动图像、第2运动图像及第3运动图像。 

本发明的图像生成方法包括：接收对同一事物进行拍摄而获得的第1运动图像、第2运动图像及第3运动图像的信号的步骤，所述第2运动图像的颜色成分与所述第1运动图像的颜色成分不同，所述第2运动图像的各帧是通过时间比所述第1运动图像的1帧时间还长的曝光而获得的，所 述第3运动图像的颜色成分与所述第2运动图像的颜色成分相同，所述第3运动图像的各帧是通过时间比所述第2运动图像的1帧时间还短的曝光而获得的：根据所述第1运动图像、第2运动图像及第3运动图像生成表示所述事物的新的运动图像的步骤；和输出所述新的运动图像的信号的步骤。 

本发明的计算机程序根据多个运动图像生成新的运动图像，所述计算机程序使执行所述计算机程序的计算机执行上述的图像生成方法。 

-发明效果- 

根据本发明，将进行了长时间曝光读出的颜色成分图像的像素(例如G像素)分为2种像素、即进行长时间曝光的像素和进行短时间曝光且在帧内进行像素相加的像素，从各种的像素中读出。由此，因为至少对于在帧内进行像素相加的像素而言是短时间曝光，所以较之全部通过长时间曝光获得图像信号的情况，能够获得抑制了因被摄体的活动引起的颜色洇染的图像信号。 

通过利用2种像素来获得1个颜色成分图像，对于该颜色成分图像而言，能够复原确保了充分的像素数(分辨率)和感光量(明亮度)的、高帧频且高分辨率的运动图像。 

附图说明

图1是表示实施方式1中的摄像处理装置100的结构的框图。 

图2是表示高画质化部105的更为详细的结构的一例的结构图。 

图3(a)及(b)是表示通过块匹配来进行活动检测时的基准帧和参照帧的图。 

图4(a)及(b)是表示进行2×2像素的空间相加时的虚拟的采样位置的图。 

图5是表示与G_L、G_s、R及B相关的像素信号的读出定时的图。 

图6是表示实施方式1的高画质处理部202的结构的一例的图。 

图7是表示RGB颜色空间与球面坐标系(θ、ψ、r)的对应例的图。 

图8是实施方式1的处理中的输入运动图像和输出运动图像的影像图。 

图9是表示在单板的摄像元件中使全部G像素进行长时间曝光时以及实施方式1中提出的方法与处理后的PSNR值之间的对应关系的图。 

图10是表示比较实验中使用的运动图像的3个场景的图。 

图11是表示比较实验中使用的运动图像的3个场景的图。 

图12是表示比较实验中使用的运动图像的3个场景的图。 

图13是表示比较实验中使用的运动图像的3个场景的图。 

图14是表示比较实验中使用的运动图像的3个场景的图。 

图15是表示比较实验中使用的运动图像的3个场景的图。 

图16是表示所生成的运动图像的可靠度γ与编码的压缩率δ之间关系的图。 

图17是表示实施方式2的摄像处理装置500的结构的构成图。 

图18是表示实施方式2的高画质处理部202的详细结构的图。 

图19是表示G简易复原部1901的结构的图。 

图20(a)及(b)是表示G_S计算部2001及G_L计算部2002的处理例子的图。 

图21是表示在实施方式1的高画质处理部202的结构中进一步追加了拜尔复原部2201的结构的图。 

图22是表示拜尔排列的滤色器的结构例的图。 

图23是表示在实施方式2的高画质处理部202的结构中进一步追加了拜尔复原部2201的结构的图。 

图24是表示实施方式4的摄像处理装置300的结构的图。 

图25是表示实施方式4的控制部107的结构的图。 

图26是表示实施方式5的摄像处理装置的控制部107的结构的图。 

图27是表示实施方式6的摄像处理装置的控制部107的结构的图。 

图28是表示实施方式7的摄像处理装置的控制部107的结构的图。 

图29(a)及(b)是表示单板的摄像元件和滤色器的组合例的图。 

图30(a)及(b)是表示用于生成G(G_L及G_S)的像素信号的摄像元件的结构例的图。 

图31(a)及(b)是表示用于生成G(G_L及G_S)的像素信号的摄像元件的结构例的图。 

图32(a)～(c)表示在主要包含R、B的各滤色器中包含了G_S的滤色器的结构例的图。 

图33(a)是表示3板用的薄膜光学滤波器的分光特性的图，(b)是表示单板用的染料滤波器的分光特性的图。 

图34(a)是表示使用了全局快门的曝光定时的图，(b)是表示焦平面现象发生时的曝光定时的图。 

图35是表示具备不包含活动检测部201的图像处理部105的摄像处理装置500的结构的框图。 

图36是表示高画质化部105中的高画质化处理的步骤的流程图。 

具体实施方式

以下，参照附图说明本发明的图像生成装置的实施方式。 

(实施方式1) 

图1是表示本实施方式中的摄像处理装置100的结构的框图。在图1中，摄像处理装置100具备：光学***101、单板彩色摄像元件102、时间加法运算部103、空间加法运算部104、高画质化部105。以下，详细说明摄像处理装置100的各结构要素。 

光学***101例如是照相机镜头，使被摄体的像在摄像元件的像面成像。 

单板彩色摄像元件102是安装了滤色器阵列的单板摄像元件。单板彩色摄像元件102对由光学***101所结成的光(光学像)进行光电转换，并输出由此得到的电信号。该电信号的值是单板彩色摄像元件102的各像素值。从单板彩色摄像元件102输出与入射至各像素的光的量相应的像素值。根据在相同的帧时刻拍摄的、相同颜色成分的像素值，得到其每个颜色成分的图像。根据所有的颜色成分的图像得到彩色图像。 

时间加法运算部103在时间方向上针对由单板彩色摄像元件102拍摄到的、彩色图像中的第1颜色的一部分相加多个帧的光电转换值。 

在此，“在时间方向上相加”是指对连续的多个帧(图像)的各帧中具有共同的像素坐标值的各像素的像素值进行相加。具体而言，在2帧至9帧左右的范围中，对像素坐标值相同的像素的像素值进行相加。 

空间加法运算部104在空间方向上按多个像素相加由单板彩色摄像元件102拍摄到的、彩色运动图像的第1颜色的一部分、第2颜色及第3颜色的光电转换值。 

在此，“在空间方向上相加”是指对构成某时刻所拍摄到的1帧(图像)的、多个像素的像素值进行相加。具体而言，像素值被相加的“多个像素”的例子是水平2像素×垂直1像素、水平1像素×垂直2像素、水平2像素×垂直2像素、水平2像素×垂直3像素、水平3像素×垂直2像素、水平3像素×垂直3像素等。在空间方向上对与这多个像素相关的像素值(光电转换值)进行相加。 

高画质化部105接收由时间加法运算部103进行了时间相加的一部分第1颜色运动图像、及由空间加法运算部104进行了空间相加的一部分的第1颜色运动图像、第2颜色运动图像和第3颜色运动图像的各数据，通过对这些数据进行图像复原来估计各像素中的第1颜色至第3颜色的值并复原彩色运动图像。

图2是表示高画质化部105的更为详细的结构的一例的结构图。图2中高画质化部105以外的结构与图1相同。高画质化部105具有活动检测部201及高画质处理部202。 

活动检测部201通过块匹配、梯度法、相位相关法等已知的公知技术，根据进行了空间相加之后的一部分第1颜色运动图像、第2颜色运动图像、第3颜色运动图像来检测活动(光流optical flow)。作为公知技术，例如已知P.Anandan.″Computaional Framework and an algorithm for the measurement of visual motion″，International Journal of Computer Vision，Vol.2，pp.283-310，1989。 

图3(a)及(b)是表示通过块匹配进行活动检测时的基准帧和参照帧。活动检测部201在作为基准的帧(为了求出活动而关注的时刻t处的图像)内设定图3(a)所示的窗区域A。并且，在参照帧内搜索与窗区域内的图案类似的图案。作为参照帧，多数情况下利用例如关注帧的下一帧。 

如图3(b)所示，搜索范围通常是以活动量为零的位置B为基准预先设定一定的范围(该图3(b)中的C)。此外，作为评价值计算(式1)所示的残差平方和(SSD：Sum of Square Differrences)、(式2)所示的残差绝对值和(SAD： Sum of Absoluted Differences)，由此来评价图案的类似情况(程度)。 

【式1】 

$\mathrm{SSD}=\underset{x,y\∈W}{\mathrm{\Σ}}{(f(x+u,y+v,t+\mathrm{\Δt})-f(x,y,t))}^2$

【式2】 

$\mathrm{SAD}=\underset{x,y\∈W}{\mathrm{\Σ}}|f(x+u,y+v,t+\mathrm{\Δt})-f(x,y,t)|$

在(式1)及(式2)中，f(x、y、t)是图像即像素值的时间空间的分布，x，y∈W意味着基准帧的窗区域内包含的像素的坐标值。 

活动检测部201通过在搜索范围内改变(u，v)，来搜索使上述评价值最小的(u，v)的组，将其作为帧间的活动向量。具体而言，使窗区域的设定位置依次偏移，按每像素或者每块(例如8像素×8像素)求出活动，生成活动向量。 

在此，活动检测部201一并求出活动检测的可靠度的时间空间的分布conf(x，y，t)。在该情况下，所谓活动检测的可靠度是指可靠度越高则活动检测的结果越接近正确、在可靠度较低时活动检测的结果中存在错误。再者，可靠度“高”、可靠度“低”这种表述意味着在比较可靠度和预先确定的基准值时比该基准值“高”或者“低”。 

对于由活动检测部201求出相邻的2帧图像间的图像上的各位置的活动的方法，例如可使用P.ANANDAN，″A Computational Framework and an Algorithm for the Measurement of Visual Motion″，IJCV，2，283-310(1989)中采用的方法、运动图像编码中一般采用的活动检测方法、利用图像的移动体追踪等中采用的特征点追踪方法等等。此外，也可以利用图像全体的整体活动(仿射活动等)检测的一般的方法、Lihi Zelkik-Manor、“Multi-body Segmentation：Revisinting Motion Consistency”、ECCV(2002)等的方法进行多个区域的每个区域的活动检测，作为各像素位置的活动来利用。 

对于求出可靠度的方法，可以采用上述P.ANANDAN的文献中记载的方法。或者，在利用块匹配进行活动检测的情况下，也可以如(式3)所示那样，从差的平方和所能取得的最大值SSD_max中减去与活动对应的块彼此间的像素值的差的平方和而得到的值、即使块彼此的像素值的差的平 方和的符号颠倒之后的值Conf(x，y，t)用作可靠度。此外，即便在利用图像的整体的活动检测或按每个区域的活动检测的情况下，也可以将从平方和所能取得的最大值SSD_max中减去各像素位置的活动的起点附近区域与终点附近区域的像素值的差的平方和而得到的值conf(x，y，t)用作可靠度。 

【式3】 

$\mathrm{Conf}(x,y,z)={\mathrm{SSD}}_{\max }-\underset{x,y\∈W}{\mathrm{\Σ}}{\{I(x+u,y+v,t+\mathrm{\Δt})-I(x,y,t)\}}^2$

如上述，在按每块求取可靠度的情况下，活动检测部201也可以将可靠度大于预先确定的值的块作为可靠度高的图像区域，将可靠度低于预先确定的值的块作为可靠度低的图像区域，来生成新的运动图像。 

此外，也可以将检测摄影设备的姿势变化的姿势传感器的信息用作输入。在该情况下，活动检测部201具备加速度或角加速度传感器，作为加速度的积分值获取速度或角速度。或者，活动检测部201还可以具备接收姿势传感器的信息的姿势传感器输入部。由此，活动检测部201能够基于姿势传感器的信息，获得因手抖等这种照相机的姿势变化引起的图像整体的活动的信息。 

例如，在照相机中配备水平方向和垂直方向的角加速度传感器，能够根据该传感器的输出获得水平方向和垂直方向的加速度，将其作为各时刻的姿势计测值。当在时间上对加速度值进行积分时，能够计算各时刻的角速度。照相机在时刻t在水平方向上具有ω_h的角速度、在垂直方向上也具有ω_v角速度的情况下，能够使得照相机的角速度与因照相机的朝向引起的摄像元件上(摄影图像上)的位置(x，y)处的时刻t的像的2维活动(u，v)一一对应。照相机的角速度与摄像元件上的像的活动之间的对应关系一般能够根据照相机的光学***(透镜等)的特性(焦点距离、透镜变形等)、摄像元件的配置、摄像元件的像素间隔来决定。在实际的计算中，也可以根据光学***的特性、摄像元件的配置、像素间隔在几何学上·光学上进行计算以获得对应关系，或者预先将对应关系保存为表格，根据照相机的角速度ω_h·ω_v来参照摄像元件上(x，y)的像的速度(u，v)。 

利用这种传感器的活动信息也可以与从图像获得的活动检测的结果一并使用。在该情况下，只要在图像全体的活动检测中主要使用传感器的 信息，而对于图像内的对象的活动则使用利用了图像的活动检测的结果。 

图4(a)及(b)表示进行2×2像素的空间相加时的虚拟的采样位置。彩色摄像元件的各像素获取绿色(G)、红色(R)、蓝色(B)3个颜色的各成分。在此，将绿色(以下称为G)设为第1颜色，将红色(以下称为R)、蓝色(以下称为B)分别设为第2颜色、第3颜色。 

此外，将绿色(G)的颜色成分图像之中、进行时间相加而得到的图像记为G_L，将进行空间相加而得到的图像记为G_S。再者，在仅仅记为“R”、“G”、“B”、“G_L”、“G_S”时，意味着仅含有其颜色成分的图像。 

图5表示与G_L、G_s、R及B相关的像素信号的读出定时。G_L是通过4帧的时间相加而得到的，G_s、R、B是在每1帧中得到的。 

图4(b)是表示在2×2像素的范围中对图4(a)的R及B进行空间相加时的虚拟的采样位置。相同颜色的4个像素的像素值被相加。所得到的像素值被作为位于该4像素的中心的像素的像素值。 

此时，对于R或者B而言，虚拟的采样位置成为每隔4像素的均等的配置。但是，在基于空间相加的虚拟的采样位置处，R和B的间隔为非均等的。因此，在该情况下需要每隔4个像素改变基于(式1)或者(式2)的(u，v)。或者，也可以根据图4(b)所示的虚拟的采样位置的R和B的值通过公知的插补方法求出各像素中的R和B的值，然后按每个像素改变上述的(u，v)。 

针对使上述这样得到的(式1)或者(式2)最小的(u，v)附近的(u，v)的值的分布，进行一次或者二次函数的拟合(作为等角拟合法或抛物线拟合法而被已知的公知技术)，进行子像素精度的活动检测。 

<各像素中的G像素值的复原处理> 

高画质处理部202使下式最小化来计算各像素中的G的像素值。 

【式4】 

|H₁f-g_L|^M+|H₂f-g_s|^M+Q 

在此，H₁为时间采样过程，H₂为空间采样过程，f为应进行复原的高空间分辨率且高时间分辨率的G运动图像，将由摄像部101拍摄到的G的运动图像之中、进行时间相加而得到的结果设为g_L，将进行空间相加而得到的结果设为g_s，M为指数，Q为应进行复原的运动图像f应该满足的 条件即约束条件。 

例如当关注于式4的第1项时，第1项意味着针对应进行复原的高空间分辨率且高时间分辨率的G运动图像f通过时间采样过程H₁进行采样而得到的g运动图像、与实际通过时间相加而得到的g_L之差的运算。当预先确定时间采样过程H₁，并求出使该差值最小化的f时，可以说该f与通过时间相加处理而得到的g_L最为匹配。对于第2项也同样，可以说使差值最小化的f与通过空间相加处理而得到的g_s最为匹配。 

并且，可以说使式4最小化的f综合满足了通过时间相加处理及空间相加处理而得到的g_L及g_s的双方。高画质处理部202计算使式4最小化的、高空间分辨率且高时间分辨率的G运动图像的像素值。再者，高画质处理部202并不是仅仅生成高空间分辨率且高时间分辨率的G运动图像，还生成高空间分辨率的B运动图像及R运动图像。这些处理在后面详细说明。 

以下，关于式4进行更为详细的说明。 

f、g_L及g_s是将运动图像的各像素值作为要素的纵向量。以下，对于运动图像，向量表述意味着按光栅扫描顺序排列像素值的纵向量，函数表述意味着像素值的时间空间的分布。在亮度值的情况下，作为像素值每1像素只要考虑1个值即可。例如，在将应进行复原的运动图像设定为横2000像素、纵1000像素、30帧时，f的要素数为2000×1000×30＝60000000。 

在使用图4所示的拜尔排列的摄像元件进行摄像时，g_L及g_s的要素数分别为f的4分之1，即15000000。f的纵横的像素数和用于信号处理的帧数由高画质化部105进行设定。时间采样过程H₁是在时间方向上对f进行采样。H₁是行数与g_L的要素数相等、列数与f的要素数相等的矩阵。空间采样过程H₂是在空间方向上对f进行采样。H₂是行数与g_s的要素数相等、列数与f的要素数相等的矩阵。 

在当前一般普及的计算机中，由于与运动图像的像素数(例如宽度2000像素×高度1000像素)、帧数(例如30帧)相关的信息量过多，因此无法通过单一的处理求出使(式4)最小化的f。在该情况下，针对时间上的、空间上的部分区域反复进行求出f的一部分的处理，由此能够计算应复原的运动图像f。 

接下来，利用简单的例子说明时间采样过程H₁的公式化。考虑利用拜尔排列的摄像元件拍摄宽度2像素(x＝1，2)、高度2像素(y＝1，2)、2帧(t＝1，2)的图像、并针对G_L进行2帧的时间相加时的G的摄像过程。 

【式5】 

f＝(G₁₁₁ G₂₁₁ G₁₂₁ G₂₂₁ G₁₁₂ G₂₁₂ G₁₂₂ G₂₂₂)^T

【式6】 

H₁＝(0 1 0 0 0 1 0 0) 

根据这些公式，采样过程H₁以如下方式进行公式化。 

【式7】 

g_L＝H₁f＝(0 1 0 0 0 1 0 0)(G₁₁₁ G₂₁₁ G₁₂₁ G₂₂₁ G₁₁₂ G₂₁₂ G₁₂₂ G₂₂₂)^T

＝G₂₁₁+G₂₁₂

g_L的像素数为进行2帧的全部像素读出的像素数的8分之1。 

接下来，利用简单的例子说明空间采样过程H₂的公式化。考虑使用拜尔排列的摄像元件拍摄宽度4像素(x＝1，2，3，4)、高度4像素(y＝1，2，3，4)、1帧(t＝1)的图像、并对G_S进行4像素的空间相加时的G的摄像过程。 

【式8】 

f＝(G₁₁₁ G₂₁₁ G₃₁₁ G₄₁₁ G₁₂₁ G₂₂₁ G₃₂₁ G₄₂₁ G₁₃₁ G₂₃₁ G₃₃₁ G₄₃₁ G₁₄₁ G₂₄₁ G₃₄₁ G₄₄₁)^T

【式9】 

H₂＝(0 0 0 0 1 0 1 0 0 0 0 0 1 0 1 0) 

根据这些公式，采样过程H₂以如下方式进行公式化。 

【式10】 

g_s＝H₂f＝(0 0 0 0 1 0 1 0 0 0 0 0 1 0 1 0) 

×(G₁₁₁ G₂₁₁ G₃₁₁ G₄₁₁ G₁₂₁ G₂₂₁ G₃₂₁ G₄₂₁ G₁₃₁ G₂₃₁ G₃₃₁ G₄₃₁ G₁₄₁ G₂₄₁ G₃₄₁ G₄₄₁)^T

＝G₁₂₁+G₃₂₁+G₁₄₁+G₄₄₁

g_s的像素数为进行1帧全部像素读出的像素数的16分之1。 

在(式5)和(式8)中，G₁₁₁～G₂₂₂、G₁₁₁～G₄₄₁表示各像素中的G的值，3 个下脚标按顺序表示x、y、t的值。 

(式4)的幂指数M的值没有特别限定，但是从运算量的观点考虑，优选1或者2。 

(式7)或(式10)表示对f进行时间/空间采样而得到g的过程。相反，从g复原f的问题一般被称为逆问题。在没有约束条件Q时，使下述(式11)最小化的f存在无数个。 

【式11】 

|H₁f-g_L|^M+|H₂f-g_s|^M

由于在没有被采样的像素值中代入任意的值(式11)都成立，因此上述情况容易进行说明。因此，通过(式11)的最小化无法针对f进行唯一求解。 

因此，为了获得关于f的唯一解，导入约束条件Q。Q给出了与像素值f的分布相关的平滑度的约束条件、与根据f得到的运动图像的活动的分布相关的平滑度的约束条件。在本说明书中，将后者称为活动约束条件，将前者称为活动约束条件以外的约束条件。作为约束条件Q，只要在摄像处理装置100中预先确定是否利用活动约束条件和/或是否利用活动约束条件以外的约束条件即可。 

作为与像素值f的分布相关的平滑度的约束，采用以下的约束式。 

【式12】 

$Q={\left|\frac{\&PartialD;f}{\&PartialD;x}\right|}^m+{\left|\frac{\&PartialD;f}{\&PartialD;y}\right|}^m$

【式13】 

$Q={\left|\frac{{\&PartialD;}^{2}f}{\&PartialD;x^2}\right|}^m+{\left|\frac{{\&PartialD;}^{2}f}{\&PartialD;y^2}\right|}^m$

在此， 是将应进行复原的运动图像的像素值的x方向的1阶微分值作为要素的纵向量， 是将应进行复原的运动图像的像素值的y方向的1阶微分值作为要素的纵向量， 

是将应进行复原的运动图像的像素值的x方向的2阶微分值作为要素的纵向量， 是将应进行复原的运动图像的像素值的y方向的2阶微分值作为要素的纵向量。此外，||表示向量的范数。指数m的值与(式4)、(式11)中的指数M同样，优选为1 或者2。 

再者，上述的偏微分值 

通过基于关注像素附近的像素值的差值展开例如根据(式14)能够进行近似计算。 

【式14】 

$\frac{\&PartialD;f(x,y,t)}{\&PartialD;x}=\frac{f(x+1,y,t)-f(x-1,y,t)}{2}$

$\frac{\&PartialD;f(x,y,t)}{\&PartialD;y}=\frac{f(x,y+1,t)-f(x,y-1,t)}{2}$

$\frac{{\&PartialD;}^{2}f(x,y,t)}{\&PartialD;x^2}=f(x+1,y,t)-2f(x,y,t)+f(x-1,y,t)$

$\frac{{\&PartialD;}^{2}f(x,y,t)}{\&PartialD;y^2}=f(x,y+1,t)-2f(x,y,t)+f(x,y-1,t)$

差值展开并不限于上述(式14)，例如也可以如(式15)那样参照附近的其他像素。 

【式15】 

$\frac{\&PartialD;f(x,y,t)}{\&PartialD;x}=\frac{1}{6}(f(x+1,y-1,t)-f(x-1,y-1,t)$

$+f(x+1,y,t)-f(x-1,y,t)$

$+f(x+1,y+1,t)-f(x-1,y+1,t))$

$\frac{\&PartialD;f(x,y,t)}{\&PartialD;y}=\frac{1}{6}(f(x-1,y+1,t)-f(x-1,y-1,t)$

$+f(x,y+1,t)-f(x,y-1,t)$

$+f(x+1,y+1,t)-f(x+1,y-1,t))$

$\frac{{\&PartialD;}^{2}f(x,y,t)}{\&PartialD;x^2}=\frac{1}{3}(f(x+1,y-1,t)-2f(x,y-1,t)+f(x-1,y-1,t)$

$+f(x+1,y,t)-2f(x,y,t)+f(x-1,y,t)$

$+f(x+1,y+1,t)-2f(x,y+1,t)+f(x-1,y+1,t))$

$\frac{{\&PartialD;}^{2}f(x,y,t)}{\&PartialD;y^2}=\frac{1}{3}(f(x-1,y+1,t)-2f(x-1,y,t)+f(x-1,y-1,t)$

$+f(x,y+1,t)-2f(x,y,t)+f(x,y-1,t)$

$+f(x+1,y+1,t)-2f(x+1,y,t)+f(x+1,y-1,t))$

(式15)是针对基于(式14)的计算值在附近进行平均化的结果。由此，尽管空间分辨率下降，但是能够不容易受到噪声的影响。再有，作为两者中间的结果，可以使用0≤α≤1的范围的α进行加权，而采用以下的公式。 

【式16】 

$\frac{\&PartialD;f(x,y,t)}{\&PartialD;x}=\frac{1-\mathrm{\&alpha;}}{2}\frac{f(x+1,y-1,t)-f(x-1,y-1,t)}{2}$

$+\mathrm{\&alpha;}\frac{f(x+1,y,t)-f(x-1,y,t)}{2}$

$+\frac{1-\mathrm{\&alpha;}}{2}\frac{f(x+1,y+1,t)-f(x-1,y+1,t)}{2}$

$\frac{\&PartialD;f(x,y,t)}{\&PartialD;y}=\frac{1-\mathrm{\&alpha;}}{2}f(x-1,y+1,t)-f(x-1,y-1,t)$

$+\mathrm{\&alpha;}\frac{f(x,y+1,t)-f(x,y-1,t)}{2}$

$+\frac{1-\mathrm{\&alpha;}}{2}\frac{f(x+1,y+1,t)-f(x+1,y-1,t)}{2}$

$\frac{{\&PartialD;}^{2}f(x,y,t)}{{\&PartialD;x}^2}=\frac{1-\mathrm{\&alpha;}}{2}(f(x+1,y-1,t)-2f(x,y-1,t)+f(x-1,y-1,t))$

$+\mathrm{\&alpha;}(f(x+1,y,t)-2f(x,y,t)+f(x-1,y,t))$

$+\frac{1-\mathrm{\&alpha;}}{2}(f(x+1,y+1,t)-2f(x,y+1,t)+f(x-1,y+1,t))$

$\frac{{\&PartialD;}^{2}f(x,y,t)}{{\&PartialD;y}^2}=\frac{1-\mathrm{\&alpha;}}{2}(f(x-1,y+1,t)-2f(x-1,y,t)+f(x-1,y-1,t))$

$+\mathrm{\&alpha;}(f(x,y+1,t)-2f(x,y,t)+f(x,y-1,t))$

$+\frac{1-\mathrm{\&alpha;}}{2}(f(x+1,y+1,t)-2f(x+1,y,t)+f(x+1,y-1,t))$

对于差值展开的计算方法，既可以为了进一步改善处理结果的画质而根据噪声水平预先决定α来进行，或者为了尽量减少电路规模、运算量而使用(式14)来进行。 

再者，作为与运动图像f的像素值的分布相关的平滑度的约束，并不限于(式12)、(式13)，例如也可以使用(式17)所示的2阶方向微分的绝对值的m次方。 

【式17】 

$Q={\left|\frac{\&PartialD;}{\&PartialD;n_{\min }}\left(\frac{\&PartialD;f}{\&PartialD;n_{\min }}\right)\right|}^m={\left|\frac{\&PartialD;}{\&PartialD;n_{\min }}(-\sin \mathrm{\&theta;}\frac{\&PartialD;f}{\&PartialD;x}+\cos \mathrm{\&theta;}\frac{\&PartialD;f}{\&PartialD;y})\right|}^m$

$={|-\sin \mathrm{\&theta;}\frac{\&PartialD;}{\&PartialD;x}(-\sin \mathrm{\&theta;}\frac{\&PartialD;f}{\&PartialD;x}+\cos \mathrm{\&theta;}\frac{\&PartialD;f}{\&PartialD;y})+\cos \mathrm{\&theta;}\frac{\&PartialD;}{\&PartialD;y}(-\sin \mathrm{\&theta;}\frac{\&PartialD;f}{\&PartialD;x}+\cos \mathrm{\&theta;}\frac{\&PartialD;f}{\&PartialD;y})|}^m$

$={|{\sin }^2\mathrm{\&theta;}\frac{{\&PartialD;}^{2}f}{\&PartialD;x^2}-\sin \mathrm{\&theta;}\cos \mathrm{\&theta;}\frac{{\&PartialD;}^{2}f}{\&PartialD;x\&PartialD;y}-\sin \mathrm{\&theta;}\cos \mathrm{\&theta;}\frac{{\&PartialD;}^{2}f}{\&PartialD;y\&PartialD;x}+{\cos }^2\frac{{\&PartialD;}^{2}f}{{\&PartialD;y}^2}|}^m$

在此，向量n_min及角度θ是1阶方向微分的平方为最小的方向，通过下述(式18)给出。 

【式18】 

$n_{\min }={\left(\begin{array}{cc}\frac{-\frac{\&PartialD;f}{\&PartialD;y}}{\sqrt{{\left(\frac{\&PartialD;f}{\&PartialD;x}\right)}^2+{\left(\frac{\&PartialD;f}{\&PartialD;y}\right)}^2}}& \frac{\frac{\&PartialD;f}{\&PartialD;x}}{\sqrt{{\left(\frac{\&PartialD;f}{\&PartialD;x}\right)}^2+{\left(\frac{\&PartialD;f}{\&PartialD;y}\right)}^2}}\end{array}\right)}^T={\left(\begin{array}{cc}-\sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}\end{array}\right)}^T$

再有，作为与运动图像f的像素值的分布相关的平滑度的约束，可以利用下述(式19)至(式21)的任意的Q，根据f的像素值的梯度而适当改变约束条件。 

【式19】 

$Q=w(x,y)|{\left(\frac{\&PartialD;f}{\&PartialD;x}\right)}^2+{\left(\frac{\&PartialD;f}{\&PartialD;y}\right)}^2|$

【式20】 

$Q=w(x,y)|{\left(\frac{{\&PartialD;}^{2}f}{\&PartialD;x^2}\right)}^2+{\left(\frac{{\&PartialD;}^{2}f}{\&PartialD;y^2}\right)}^2|$

【式21】 

$Q=w(x,y){\left|\frac{\&PartialD;}{\&PartialD;n_{\min }}\left(\frac{\&PartialD;f}{\&PartialD;n_{\min }}\right)\right|}^m$

在(式19)至(式21)中，w(x，y)为像素值的梯度的函数，是相对于约束条件的权重函数。例如，若使得在下述(式22)所示的像素值的梯度成分的幂乘和较大的情况下w(x，y)的值小，反之w(x，y)的值变大，则能够根据f的梯度适当改变约束条件。 

【式22】 

${\left|\frac{\&PartialD;f}{\&PartialD;x}\right|}^m+{\left|\frac{\&PartialD;f}{\&PartialD;y}\right|}^m$

通过导入这种权重函数，能够防止被复原的运动图像f被过度平滑化。 

此外，也可以代替(式22)所示的亮度梯度的成分的平方和，而通过(式23)所示的方向微分的、幂乘的大小来定义权重函数w(x，y)。 

【式23】 

${\left|\frac{\&PartialD;f}{\&PartialD;n_{\max }}\right|}^m={|\cos \mathrm{\&theta;}\frac{\&PartialD;f}{\&PartialD;x}+\sin \mathrm{\&theta;}\frac{\&PartialD;f}{\&PartialD;y}|}^m$

在此，向量n_max及角度θ是方向微分为最大的方向，通过下述(式24)给出。 

【式24】 

$n_{\max }={\left(\begin{array}{cc}\frac{\frac{\&PartialD;f}{\&PartialD;x}}{\sqrt{{\left(\frac{\&PartialD;f}{\&PartialD;x}\right)}^2+{\left(\frac{\&PartialD;f}{\&PartialD;y}\right)}^2}}& \frac{\frac{\&PartialD;f}{\&PartialD;y}}{\sqrt{{\left(\frac{\&PartialD;f}{\&PartialD;x}\right)}^2+{\left(\frac{\&PartialD;f}{\&PartialD;y}\right)}^2}}\end{array}\right)}^T={\left(\begin{array}{cc}\cos \mathrm{\&theta;}& \sin \mathrm{\&theta;}\end{array}\right)}^T$

(式12)、(式13)、(式17)～(式21)所示的这种导入与运动图像f的像素值的分布相关的平滑度的约束来对(式4)进行求解的问题，能够通过公知的解法(有限要素法等的变分问题的解法)来进行计算。 

作为与f中包含的运动图像的活动的分布相关的平滑度的约束，使用下述(式25)或者(式26)。 

【式25】 

$Q={\left|\frac{\&PartialD;u}{\&PartialD;x}\right|}^m+{\left|\frac{\&PartialD;u}{\&PartialD;y}\right|}^m+{\left|\frac{\&PartialD;v}{\&PartialD;x}\right|}^m+{\left|\frac{\&PartialD;v}{\&PartialD;y}\right|}^m$

【式26】 

$Q={\left|\frac{{\&PartialD;}^{2}u}{\&PartialD;x^2}\right|}^m+{\left|\frac{{\&PartialD;}^{2}u}{\&PartialD;y^2}\right|}^m+{\left|\frac{{\&PartialD;}^{2}v}{\&PartialD;x^2}\right|}^m+{\left|\frac{{\&PartialD;}^{2}v}{\&PartialD;y^2}\right|}^m$

在此，u是将与根据运动图像f得到的各像素相关的活动向量的x方向的成分作为要素的纵向量，v是将与根据运动图像f得到的各像素相关 的活动向量的y方向的成分作为要素的纵向量。 

作为与根据f得到的运动图像的活动的分布相关的平滑度的约束，并不限于(式21)、(式22)，也可以设定为例如(式27)、(式28)所示的1阶或者2阶的方向微分。 

【式27】 

$Q={\left|\frac{\&PartialD;u}{\&PartialD;n_{\min }}\right|}^m+{\left|\frac{\&PartialD;v}{\&PartialD;n_{\min }}\right|}^m$

【式28】 

$Q={\left|\frac{\&PartialD;}{\&PartialD;n_{\min }}\left(\frac{\&PartialD;u}{\&PartialD;n_{\min }}\right)\right|}^m+{\left|\frac{\&PartialD;}{\&PartialD;n_{\min }}\left(\frac{\&PartialD;v}{\&PartialD;n_{\min }}\right)\right|}^m$

再有，如(式29)～(式32)所示，也可以根据f的像素值的梯度适当地改变(式21)～(式24)的约束条件。 

【式29】 

$Q=w(x,y)({\left|\frac{\&PartialD;u}{\&PartialD;x}\right|}^m+{\left|\frac{\&PartialD;u}{\&PartialD;y}\right|}^m+{\left|\frac{\&PartialD;v}{\&PartialD;x}\right|}^m+{\left|\frac{\&PartialD;v}{\&PartialD;y}\right|}^m)$

【式30】 

$Q=w(x,y)({\left|\frac{{\&PartialD;}^{2}u}{\&PartialD;x^2}\right|}^m+{\left|\frac{{\&PartialD;}^{2}u}{\&PartialD;y^2}\right|}^m+{\left|\frac{{\&PartialD;}^{2}v}{\&PartialD;x^2}\right|}^m+{\left|\frac{{\&PartialD;}^{2}v}{\&PartialD;y^2}\right|}^m)$

【式31】 

$Q=w(x,y)({\left|\frac{\&PartialD;u}{\&PartialD;n_{\min }}\right|}^m+{\left|\frac{\&PartialD;v}{\&PartialD;n_{\min }}\right|}^m)$

【式32】 

$Q=w(x,y)({\left|\frac{\&PartialD;}{\&PartialD;n_{\min }}\left(\frac{\&PartialD;u}{\&PartialD;n_{\min }}\right)\right|}^m+{\left|\frac{\&PartialD;}{\&PartialD;n_{\min }}\left(\frac{\&PartialD;v}{\&PartialD;n_{\min }}\right)\right|}^m)$

在此，w(x，y)与关于f的像素值的梯度的权重函数相同，由(式22)所示的像素值的梯度的成分幂乘和、或者(式23)所示的方向微分幂乘来定 义。 

通过导入这种的权重函数，能够防止f的活动信息被过度平滑化，其结果能够防止被复原的运动图像f被过度平滑化。 

较之使用与f相关的平滑度的约束的情况，导入(式25)～(式32)所示的、与根据运动图像f得到的活动的分布相关的平滑度的约束来对(式4)进行求解的问题需要复杂的计算。这是因为应进行复原的运动图像f和活动信息(u，v)彼此依存。 

针对该问题，通过公知的解法(利用EM算法等的变分问题的解法)能够进行计算。此时，在反复计算中需要应进行复原的运动图像f和活动信息(u，v)的初始值。 

作为f的初始值，只要使用输入运动图像的插补放大图像即可。另一方面，作为活动信息(u，v)，在活动检测部201中使用计算(式1)至(式2)而求得的活动信息。其结果，高画质化部105如上述那样导入(式25)～(式32)所示的与根据运动图像f得到的活动的分布相关的平滑度的约束来求解(式4)，能够提高超析像处理结果的画质。 

高画质化部105中的处理也可以如(式33)所示那样同时使用(式12)、(式13)、(式17)～(式21)所示的与像素值的分布相关的平滑度的约束的其中一个、和(式25)～(式32)所示的与活动的分布相关的平滑度的约束的其中一个的双方。 

【式33】 

Q＝λ₁Q_f+λ₂Q_uv

在此，Q_f是与f的像素值的梯度相关的平滑度的约束，Q_uv是与根据f得到的运动图像的活动的分布相关的平滑度的约束，λ₁、λ₂是与Q_f、Q_uv的约束相关的权重。 

导入与像素值的分布相关的平滑度的约束、与运动图像的活动的分布相关的平滑度的约束双方来求解(式4)的问题也能够通过公知的解法(例如使用EM算法等的变分问题的解法)来进行计算。 

此外，与活动相关的约束并不限于(式25)～(式32)所示的活动向量的分布的平滑度，也可以将对应点间的残差(活动向量的起点与终点间的像素值的差)作为评价值，从而使其变小。在将f表示为函数f(x，y，t)时，对 应点间的残差如(式34)所示那样表示。 

【式34】 

f(x+u，y+v，t+Δt)-f(x，y，t)

当将f作为向量而针对运动图像整体进行考虑时，各像素中的残差能够如下述(式35)所示那样进行向量表示。 

【式35】 

H_mf 

残差的平方和能够如下述(式36)所示那样表示。 

【式36】 

${\left(H_{m}f\right)}^2=f^T{H}_m^T{H}_{m}f$

在(式35)、(式36)中，H_m是向量f的要素数(时间空间的总像素数)×f的要素数的矩阵。在H_m中，各行中仅相当于活动向量的起点和终点的要素具有不为0的值，其他的要素具有0值。在活动向量为整数精度的情况下，相当于视点和终点的要素分别具有-1和1的值，其他要素为0。 

在活动向量为子像素精度的情况下，根据活动向量的子像素成分的值，相当于终点附近的多个像素的多个要素具有值。 

也可以将(式36)设置为Q_m，而如(式37)那样设定约束条件。 

【式37】 

Q＝λ₁Q_f+λ₂Q_uv+λ₃Q_m

在此，λ3为与约束条件Q_m相关的权重。 

通过以上叙述的方法，使用由活动检测部201根据G_S、R、B的低分辨率运动图像所提取出的活动信息，能够利用高画质化部105使得由拜尔排列的摄像元件拍摄的G的运动图像(在多个帧中被时间蓄积的图像G_L和1帧内被空间相加的图像G_S)高时间空间分辨率化。 

<各像素中的R、B的像素值的复原处理> 

对于R、B，能够将通过简单的处理使得高分辨率化之后的结果作为彩色运动图像进行输出。例如，如图6所示，只要在R运动图像、B运动图像叠加上述的高时间空间分辨率化之后的G的高频成分即可。此时，可 以根据高频段以外(中低频段的)的R、G、B间的局部的相关关系，来控制重叠的高频段成分的振幅。由此，能够抑制伪色的产生，能够获得看起来自然的高分辨率化的运动图像。 

此外，对于R、B，由于重叠高时间空间高分辨率化之后的G的高频段来进行高分辨率化，因此能够进行更为稳定的高分辨率化。 

图6是进行上述动作的高画质处理部202的结构的一例。高画质处理部202具备G复原部501、副采样部502、G插补部503、R插补部504、R用增益控制部505、B插补部506、B用增益控制部507、输出端子203G、203R及203B。 

如上述，在本实施方式中，生成2种G的运动图像、即在时间方向上进行相加而得到的G_L、以及在空间方向上进行相加而得到的G_S。因此，在高画质处理部202中设置用于对G的运动图像进行复原的G复原部501。 

G复原部501利用G_L及G_S进行G的复原处理。该处理如上述。 

副采样部502对高分辨率化之后的G进行剔除，从而成为与R、B相同的像素数(副采样)。 

G插补部503针对通过副采样部502剔除了像素数之后的G再次进行复原至原来的像素数的处理。具体而言，G插补部503通过插补计算因副采样而像素值丢失的像素中的像素值。插补方法可以是周知的方法。设置副采样部502及G插补部503的目的在于，利用从G复原部501输出的G、和进行了副采样及插补的G来求出G的高空间频率成分。 

R插补部504对R进行插补。 

R用增益控制部505计算与叠加于R的G的高频段成分对应的增益系数。 

B插补部506对B进行插补。 

B用增益控制部507计算与叠加于B的G的高频段成分对应的增益系数。 

输出端子203G、203R及203B分别输出高分辨率化之后的G、R及B。 

再者，R插补部504及B插补部506中的插补方法既可以分别与G插补部503相同，也可以不同。插补部503、504及506都可以使用不同的插补方法。 

以下，说明上述高画质处理部202的动作。 

G复原部501利用在时间方向上进行相加而得到的G_L、及在空间方向上进行相加而得到的G_S，并且设定约束条件来求出使式4最小化的f，由此对高分辨率且高帧频的运动图像G进行复原。G复原部501将复原结果作为输出图像的G成分进行输出。该G成分被输入至副采样部502。副采样部502对输入的G成分进行剔除。 

G插补部503对由副采样部502进行了剔除之后的G运动图像进行插补。由此，通过基于周围像素值的插补来计算因副采样而像素值丢失的像素中的像素值。从G复原部501的输出中减去这样插补计算出的G运动图像，来提取G的高空间频率成分G_high。 

另一方面，R插补部504对空间相加之后的R运动图像进行插补放大，使得成为与G相同的像素数。R用增益控制部505计算G插补部503的输出(即、G的低空间频率成分)与R插补部504的输出之间的局部的相关系数。作为局部的相关系数，例如通过(式38)来计算关注像素(x，y)的附近3×3像素中的相关系数。 

【式38】 

$\mathrm{\&rho;}=\frac{\underset{i=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}\underset{j=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}(R(x+i,y+j)-\stackrel{\&OverBar;}{R})(G(x+i,y+j)-\stackrel{\&OverBar;}{G})}{\sqrt{\underset{i=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}\underset{j=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}{(R(x+i,y+j)-\stackrel{\&OverBar;}{R})}^2}\sqrt{\underset{i=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}\underset{j=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}{(G(x+i,y+j)-\stackrel{\&OverBar;}{G})}^2}}$

其中： 

$\stackrel{\&OverBar;}{R}=\frac{1}{9}\underset{i=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}\underset{j=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}R(x+i,y+j)$

$\stackrel{\&OverBar;}{G}=\frac{1}{9}\underset{i=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}\underset{j=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}G(x+i,y+j)$

将这样计算出的R、G的低空间频率成分中的相关系数与G的高空间频率成分G_high相乘，之后与R插补部504的输出相加，由此进行R成分的高分辨率化。 

对于B成分，也与R成分同样地进行处理。即，B插补部506对空间相加之后的B运动图像进行插补放大，使得成为与G相同的像素数。B用 增益控制部507计算G插补部503的输出(即G的低空间频率成分)和B插补部506的输出之间的局部的相关系数。作为局部的相关系数，例如通过(式39)来计算关注像素(x，y)的附近3×3像素中的相关系数。 

【式39】 

$\mathrm{\&rho;}=\frac{\underset{i=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}\underset{j=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}(B(x+i,y+j)-\stackrel{\&OverBar;}{B})(G(x+i,y+j)-\stackrel{\&OverBar;}{G})}{\sqrt{\underset{i=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}\underset{j=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}{(B(x+i,y+j)-\stackrel{\&OverBar;}{B})}^2}\sqrt{\underset{i=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}\underset{j=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}{(G(x+i,y+j)-\stackrel{\&OverBar;}{G})}^2}}$

其中： 

$\stackrel{\&OverBar;}{B}=\frac{1}{9}\underset{i=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}\underset{j=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}B(x+i,y+j)$

$\stackrel{\&OverBar;}{G}=\frac{1}{9}\underset{i=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}\underset{j=-\mathrm{1,0,1}}{\overset{3}{\mathrm{\&Sigma;}}}G(x+i,y+j)$

将这样计算出的B、G的低空间频率成分中的相关系数与G的高空间频率成分G_high相乘，之后与B插补部506的输出相加，由此进行B成分的高分辨率化。 

再者，上述的复原部202中的G及R，B的像素值的计算方法仅为一例，也可以采用其他的计算方法。例如在复原部202中可以同时计算R、G、B的像素值。 

即，在G复原部501中，设定表示作为目的的彩色运动图像g中的各色的运动图像的空间的变化图案接近程度的评价函数J，求出使评价函数J最小化的目标运动图像f。所谓空间的变化图案接近意味着B运动图像、R运动图像、及G运动图像的空间的变化彼此相似。 

(式40)表示评价函数J的一例。 

【式40】 

J(f)＝||H_RR_H-R_L||²+||H_GG_H-G_L||²+||H_BB_H-B_L||²

+λ_θ||Q_SC_θf||^p+λ_φ||Q_SC_φf||^p+λ_γ||Q_SC_γf||^p

评价函数J被定义为构成想要生成的高分辨率彩色运动图像(目标运动图像)f的红色、绿色及蓝色各色的运动图像(作为图像向量分别记为R_H，G_H、B_H。)的函数。(式40)中的H_R、H_G、H_B分别表示从目标运动图像f 的各色运动图像R_H，G_H、B_H向各色的输入运动图像R_L，G_L、B_L(向量表示)的低分辨率化变换。H_R及H_G、H_B分别是例如(式41)(式42)(式43)所示的低分辨率化的变换。 

【式41】 

$R_L(x_{\mathrm{RL}},y_{\mathrm{RL}})=\underset{(x^{\&prime;},y^{\&prime;})\&Element;C}{\mathrm{\&Sigma;}}{w}_R(x^{\&prime;},y^{\&prime;})\&CenterDot;R_H(x\left(x_{\mathrm{RL}}\right)+x^{\&prime;},y\left(y_{\mathrm{RL}}\right)+y^{\&prime;})$

【式42】 

$G_L(x_{\mathrm{GL}},y_{\mathrm{GL}})=\underset{(x^{\&prime;},y^{\&prime;})\&Element;C}{\mathrm{\&Sigma;}}{w}_G(x^{\&prime;},y^{\&prime;})\&CenterDot;G_H(x\left(x_{\mathrm{GL}}\right)+x^{\&prime;},y\left(y_{\mathrm{GL}}\right)+y^{\&prime;})$

【式43】 

$B_L(x_{\mathrm{BL}},y_{\mathrm{BL}})=\underset{(x^{\&prime;},y^{\&prime;})\&Element;C}{\mathrm{\&Sigma;}}{w}_B(x^{\&prime;},y^{\&prime;})\&CenterDot;B_H(x\left(x_{\mathrm{BL}}\right)+x^{\&prime;},y\left(y_{\mathrm{BL}}\right)+y^{\&prime;})$

输入运动图像的像素值成为以目标运动图像对应的位置为中心的、局部区域的像素值的加权和。 

在(式41)、(式42)、(式43)中，R_H(x，y)G_H(x，y)B_H(x，y)分别表示目标运动图像f的像素位置(x，y)处的红色(R)的像素值、绿色(G)的像素值、蓝色(B)的像素值。此外，R_L(x_RL，y_RL)、G_L(x_GL，y_GL)、B_L(x_BL，y_BL)分别表示R的像素位置(x_RL，y_RL)的像素值、G的像素位置(x_GL，y_GL)的像素值、B的像素位置(x_BL，y_BL)的像素值。x(x_RL)、y(y_RL)、x(x_GL)、y(y_GL)、x(x_BL)、y(y_BL)分别表示与R的像素位置(x_RL，y_RL)对应的目标运动图像的像素位置的x、y坐标、与G的像素位置(x_GL，y_GL)对应的目标运动图像的像素位置的x、y坐标、与输入运动图像的B的像素位置(x_BL，y_BL)对应的目标运动图像的像素位置的x、y坐标。此外，w_R、w_G、w_B分别表示目标运动图像的像素值相对于R、G、B的输入运动图像的像素值的权重函数。再者，(x’，y’)∈C表示定义了w_R、w_G、w_B的局部区域的范围。 

将低分辨率化运动图像及输入运动图像的对应像素位置处的像素值的差的平方和，设定为评价函数的评价条件((式40)的第1项、第2项、及第3项)。也就是说，根据表示将低分辨率化运动图像中包含的各像素值作为要素的向量、将输入运动图像中包含的各像素值作为要素的向量之间的差值向量的大小的值，来设定这些评价条件。 

(式40)的第4项的Q_s是评价像素值的空间的平滑度的评价条件。 

(式44)及(式45)中表示作为Q_s的例子的Q_s1及Q_s2。 

【式44】 

在(式44)中，θ_H(x，y)、ψ_H(x，y)、r_H(x，y)是通过与RGB颜色空间对应的球面坐标系(θ、ψ、r)来表示由目标运动图像的像素位置(x，y)中的红色、绿色、蓝色各自的像素值表示的3维正交颜色空间(所谓的RGB颜色空间)内的位置的坐标值。在此，θ_H(x，y)和ψ_H(x，y)表示2种偏角，r_H(x，y)表示失径。 

图7表示RGB颜色空间与球面坐标系(θ、ψ、r)的对应例。 

作为一例，图7中将θ＝0°且ψ＝0°的方向设定为RGB颜色空间的R轴的正方向，将θ＝90°且ψ＝0°的方向设定为RGB颜色空间的G轴的正方向。在此，偏角的基准方向并不限定于图7所示的方向，也可以是其他方向。根据这种对应，按每个像素将作为RGB颜色空间的坐标值的红色、绿色、蓝色各自的像素值变换为球面坐标系(θ、ψ、r)的坐标值。 

在将目标运动图像的各像素的像素值考虑为RGB颜色空间内的3维向量的情况下，利用使3维向量与RGB颜色空间建立对应的球面坐标系(θ、ψ、r)进行表示时，像素的明亮度(信号强度、亮度也相同意义)相当于表示向量大小的r轴的坐标值。此外，表示像素的色彩(包含色调、色差、饱和度等在内的颜色信息)的向量的朝向由θ轴及ψ轴的坐标值来规定。因此，通过使用球面坐标系(θ、ψ、r)，能够单独处理对像素的明亮度及色彩进行规定的r、θ、ψ的3个参数。 

(式44)定义了目标运动图像的由球面坐标系表示的像素值的、xy空间方向的2阶差分值的平方和。(式44)定义了目标运动图像内中在空间上相邻的像素中由球面坐标系表示的像素值的变化越是一样则其值越小的条件Q_s1。像素值的变化一样是与像素的颜色连续相对应的。条件Q_s1的值应该较小表示目标运动图像内的在空间上相邻的像素的颜色应该连续。 

运动图像中像素的明亮度的变化及像素的色彩的变化可能因物理上不同的事件而产生的。因此，如(式44)所示，通过单独设定与像素的明亮 度的连续性(r轴的坐标值的变化的一样性)相关的条件((式44)的大括弧内的第3项)、与像素的色彩的连续性(θ轴及ψ轴的坐标值的变化的一样性)相关的条件((式44)的大括弧内的第1项及第2项)，可容易获得期望的画质。 

λ_θ(x，y)、λ_ψ(x，y)、及λ_r(x，y)分别是针对使用θ轴、ψ轴、及r轴的坐标值所设定的条件而在目标运动图像的像素位置(x，y)中应用的权重。这些值被预先设定。为了简单起见，也可以如λ_θ(x，y)＝λ_ψ(x，y)＝1.0、λ_r(x，y)＝0.01那样，不依赖于像素位置、帧来设定。此外，优选在能够预测图像中的像素值的不连续性等的位置处将该权重设定得较小。也可以根据输入运动图像的帧图像内的相邻的像素中的像素值的差分值、2阶差分值的绝对值为一定值以上，来判断像素值不连续。 

希望将用于与像素的色彩连续性相关的条件中的权重设定得大于与像素的明亮度连续性相关的条件中使用的权重。这是因为：由于因被摄体表面的凹凸、活动引起的被摄体表面的朝向(法线的朝向)的变化，图像中的像素的明亮度与色彩相比容易发生变化(变化缺乏一样性)。 

再者，(式44)中将目标运动图像的由球面坐标系表示的像素值的、xy空间方向的2阶差分值的平方和设定为条件Q_s1，但是也可以将2阶差分值的绝对值和、或者1阶差分值的平方和或者绝对值和设定为条件。 

在上述说明中，利用与RGB颜色空间建立了对应的球面坐标系(θ、ψ、r)设定了颜色空间条件，但所使用的坐标系并不限于球面坐标系，通过在具有容易分离出像素的明亮度和色彩的坐标轴的新的正交坐标系中来设定条件，也可获得与上述同样的效果。 

新的正交坐标系的坐标轴可以设置在固有向量的方向上(作为固有向量轴)，该固有向量的方向例如对输入运动图像或者成为基准的其他运动图像中包含的像素值的RGB颜色空间内的频度分布进行主成分分析来求得。

【式45】 

$Q_{s2}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}[$

${\mathrm{\&lambda;}}_{C1}(x,y)\&CenterDot;\{4\&CenterDot;C_1(x,y)-C_1(x,y-1)-C_1(x,y+1)-C_1(x-1,y)-C_1(x+1,y){\}}^2$

$+{\mathrm{\&lambda;}}_{C2}(x,y)\&CenterDot;\{4\&CenterDot;C_2(x,y)-C_2(x,y-1)-C_2(x,y+1)-C_2(x-1,y)-C_2(x+1,y){\}}^2$

$+{\mathrm{\&lambda;}}_{C3}(x,y)\&CenterDot;\{4\&CenterDot;C_3(x,y)-C_3(x,y-1)-C_3(x,y+1)-C_3(x-1,y)-C_3(x+1,y){\}}^2]$

在(式45)中，C₁(x，y)、C₂(x，y)、C₃(x，y)是将目标运动图像的像素位置(x，y)处的红色、绿色、蓝色各自的像素值即RGB颜色空间的坐标值变换为新的正交坐标系的坐标轴C₁、C₂、C₃的坐标值的旋转变换。 

(式45)定义了目标运动图像的由新的正交坐标系表示的像素值的、xy空间方向的2阶差分值的平方和。(式45)定义了在目标运动图像的各帧图像内在空间上相邻的像素中的由新正交坐标系表示的像素值的变化越是一样(即像素值连续)则其值越小的条件Q_s2。 

条件Q_s2的值应该较小表示目标运动图像内的在空间上相邻的像素的颜色应该连续。 

λ_C1(x，y)、λ_C2(x，y)、λ_C3(x，y)分别是针对使用C₁轴、C₂轴、C₃轴的坐标值所设定的条件而在目标运动图像的像素位置(x，y)处应用的权重，该权重被预先确定。 

在C₁轴、C₂轴、C₃轴为固有向量轴的情况下，通过沿着各固有向量轴单独地设定λ_C1(x，y)、λ_C2(x，y)、λ_C3(x，y)的值，从而具有能够根据因固有向量轴而不同的分散的值来设定适当的λ值的这一优点。即，为了期待在非主成分的方向上分散较小、2阶差值的平方和较小，增大λ值。相反，在主成分的方向上相对地减小λ值。 

以上，说明了2种条件Q_s1、Q_s2的例子。作为条件Q_s，可以使用Q_s1、Q_s2的任意一个。 

例如，在使用(式44)所示的条件Q_s1的情况下，通过导入球面坐标系(θ、ψ、r)，分别使用表示颜色信息的θ轴及ψ轴的坐标值、以及表示信号强度的r轴的坐标值的各自的坐标值来设定条件，且在设定条件时针对颜色信息和信号强度分别赋予合适的权重参数λ，因此具有容易生成高画质的运动图像的这一优点。 

在使用(式45)所示的条件Q_s2的情况下，利用从RGB颜色空间的坐标值通过线性(旋转)变换而得到的新的正交坐标系的坐标值来设定条件，因此具有简化运算的优点。 

此外，通过将固有向量轴设定为新的正交坐标系的坐标轴C₁、C₂、C₃，利用反映出更多的像素受到影响的颜色的变化之后的固有向量轴的坐标值来进行条件设定。因此，与单纯地利用红色、绿色、蓝色的各颜色成 分(component)的像素值来设定条件的情况相比，能够期待所获得目标运动图像的画质的提高。 

再者，评价函数J并不限定于上述内容，也可以将(式40)的项置换为由类似式构成的项，此外追加表示不同的条件的新的项。 

接下来，通过求出使(式40)的评价函数J的值尽量小(希望最小)的目标运动图像的各像素值，生成目标运动图像的各色运动图像RH、GH、BH。 

例如在将(式40)中的指数p设为2时，对以目标运动图像f的各色运动图像R_H、G_H、B_H的各像素值成分对J进行微分的式子全部为0的(式46)的方程式进行求解，能够求出使评价函数J最小的目标运动图像f。 

【式46】 

$\frac{\&PartialD;J}{\&PartialD;R_H(x,y)}=\frac{\&PartialD;J}{\&PartialD;G_H(x,y)}=\frac{\&PartialD;J}{\&PartialD;B_H(x,y)}=0$

各边的微分式为0是在式40的各项表示的各2次式的斜率为0时。可以说此时的R_H、G_H、B_H是给出了各2次式的最小值的希望的目标运动图像。作为大规模的联立的一次方程式的解法，例如采用共轭梯度法来求出目标运动图像。 

另一方面，在(式40)的幂指数p不为2的情况下，在评价函数J的最小化中需要非线性最优化。作为此时的方法，例如最速梯度法(steepest gradient algorithm)等d的反复运算型的最优化方法来求出期望的目标运动图像。 

再者，在本实施方式中，以RGB来说明所输出的彩色运动图像，但是当然也能够输出例如YPbPr等RGB以外的彩色运动图像。即，能够根据上述(式46)、下述(式47)，进行(式48)所示的变量变换。 

【式47】 

$\left(\begin{array}{c}R\\ G\\ B\end{array}\right)=\left(\begin{array}{ccc}1& -0.00015& 1.574765\\ 1& -0.18728& -0.46812\\ 1& 1.85561& 0.000106\end{array}\right)\left(\begin{array}{c}Y\\ \mathrm{Pb}\\ \mathrm{Pr}\end{array}\right)$

【式48】 

$\left(\begin{array}{c}\frac{\&PartialD;J}{\&PartialD;Y_H(x,y)}\\ \frac{\&PartialD;J}{\&PartialD;{\mathrm{Pb}}_H(x,y)}\\ \frac{\&PartialD;J}{\&PartialD;{\mathrm{Pr}}_H(x,y)}\end{array}\right)=\left(\begin{array}{c}\frac{\&PartialD;J}{\&PartialD;R_H(x,y)}\frac{{\&PartialD;R}_H(x,y)}{\&PartialD;Y_H(x,y)}+\frac{\&PartialD;J}{\&PartialD;G_H(x,y)}\frac{{\&PartialD;G}_H(x,y)}{\&PartialD;Y_H(x,y)}+\frac{\&PartialD;J}{\&PartialD;B_H(x,y)}\frac{{\&PartialD;B}_H(x,y)}{\&PartialD;Y_H(x,y)}\\ \frac{\&PartialD;J}{\&PartialD;R_H(x,y)}\frac{\&PartialD;R_H(x,y)}{\&PartialD;{\mathrm{Pb}}_H(x,y)}+\frac{\&PartialD;J}{\&PartialD;G_H(x,y)}\frac{{\&PartialD;G}_H(x,y)}{\&PartialD;{\mathrm{Pb}}_H(x,y)}+\frac{\&PartialD;J}{\&PartialD;B_H(x,y)}\frac{{\&PartialD;B}_H(x,y)}{\&PartialD;{\mathrm{Pb}}_H(x,y)}\\ \frac{\&PartialD;J}{\&PartialD;R_H(x,y)}\frac{\&PartialD;R_H(x,y)}{\&PartialD;{\mathrm{Pr}}_H(x,y)}+\frac{\&PartialD;J}{\&PartialD;G_H(x,y)}\frac{\&PartialD;G_H(x,y)}{\&PartialD;{\mathrm{Pr}}_H(x,y)}+\frac{\&PartialD;J}{\&PartialD;B_H(x,y)}\frac{\&PartialD;B_H(x,y)}{\&PartialD;{\mathrm{Pr}}_H(x,y)}\end{array}\right)$

$=\left(\begin{array}{ccc}1& 1& 1\\ -0.00015& -0.18728& 1.85561\\ 1.574765& -0.46812& 0.000106\end{array}\right)\left(\begin{array}{c}\frac{\&PartialD;J}{\&PartialD;R_H(x,y)}\\ \frac{\&PartialD;J}{\&PartialD;G_H(x,y)}\\ \frac{\&PartialD;J}{{\&PartialD;B}_H(x,y)}\end{array}\right)=0$

再有，假定上述的彩色运动图像的影像信号是一般的视频信号(YPbPr＝4∶2∶2)。当考虑Pb、Pr的水平像素数为Y的一半时，利用下述(式49)的关系，可建立与Y_H、Pb_L、Pr_L相关的联立方程式。 

【式49】 

Pb_L(x+0.5)＝0.5(Pb_H(x)+Pb_H(x+1)) 

Pr_L(x+0.5)＝0.5(Pr_H(x)+Pr_H(x+1)) 

此时，与RGB时相比，将通过联立方程式应该求解的变量的总数降低至三分之二，能够减少运算量。 

图8表示实施方式1的处理中的输入运动图像和输出运动图像的影像图。 

此外，图9表示在单板的摄像元件中使全部的G像素进行长时间曝光时和实施方式1中提出的方法的处理后的PSNR值的对应关系。实施方式1中提出的方法表示比使全部G像素进行长时间曝光的结果还高的PSNR的值，能够确认在多数的运动图像中使画质改善近2dB左右。在该比较实验中，利用12个运动图像，图10至图15表示各个运动图像的3个场景(彼此隔开50帧间隔的三个静止图像)。 

如以上说明，根据实施方式1，对单板摄像元件附加了时间相加和空间相加的功能，针对按每像素进行了时间相加或者空间相加的输入运动图像进行复原处理，由此在摄像时能够确保光量的同时以高分辨率且高帧频 估计并复原活动抖动少的运动图像(不进行空间相加和时间相加的情况下读出全部像素的运动图像)。 

在上述例子中，记载了运动图像的生成方法，但是高画质处理部202也可以与运动图像的生成一并输出所生成的运动图像的可靠度。运动图像生成中的“可靠度γ”是预测所生成的运动图像被正确地进行高速高析像化的程度的值。作为γ的决定方法，可以利用以下的(式50)所示的活动的可靠度的总和、有效的约束条件的数量N与应该求出的运动图像的总像素数M(＝帧数×1帧图像的像素数)的比率N/M等。在此，设定：N＝Nh+Nl+Nλ×C，Nh为高速图像的总像素数(帧数×1帧图像的像素数)，Nl为低速图像的总像素数，Nλ为使外部约束条件有效的时间空间位置(x，y，t)的外部约束的种类数。 

【式50】 

$\mathrm{\&gamma;}=\underset{x=0}{\overset{X\max }{\mathrm{\&Sigma;}}}\underset{y=0}{\overset{Y\max }{\mathrm{\&Sigma;}}}\underset{t=0}{\overset{T\max }{\mathrm{\&Sigma;}}}\mathrm{conf}(x,y,t)$

再者，在(式40)等的方程式作为联立1次方程式进行求解时，可以在Cline，A.K.，Moler，C.B.，Stewart，G.W.and Wilkinson，J.H.，“An Estiate for the Condition Number of a Matrix”，SIAM J.Num.Anal.16(1979)，368-375.等中记载的计算式中，将用于获得成为稳定解的运动图像的条件数用作可靠度。 

在由活动检测部201求出的可靠度较高的情况下，可以期待利用基于活动检测结果的活动约束条件所生成的运动图像的可靠度也较高。此外，在相对于所生成的运动图像的总像素数而言有效的约束条件较多的情况下，能够期待稳定地获得作为解的生成运动图像，且生成运动图像的可靠度也较高。同样，在上述条件数较少的情况下能够期待解的误差较小，因此可期待所生成的运动图像的可靠度较高。 

这样，通过输出所生成的运动图像的可靠度，在针对所输出的运动图像进行MPEG等压缩编码时，高画质处理部202能够根据可靠度的高低改变压缩率。例如根据以下所说明的理由，高画质处理部202在可靠度低时提高压缩率，相反在可靠度高时将压缩率设定得较低。由此，能够设定合 适的压缩率。 

图16是表示所生成的运动图像的可靠度γ与编码的压缩率δ之间的关系。将可靠度γ与压缩率δ的关系如图16所示那样设定为单调增加的关系，高画质处理部202使用与所生成的运动图像的可靠度γ的值对应的压缩率δ进行编码。由于在生成运动图像的可靠度γ低时所生成的运动图像可能包含误差，因此即便提高压缩率在画质方面实质上也不怎么产生信息的丢失。由此能够有效地减少数据量。在此，压缩率是编码后的数据量相对于原始的运动图像的数据量的比例，压缩率越大(大的值)，则编码后的数据量越小，解码时的画质下降。 

同样，在MPEG等情况下，将可靠度高的帧优先作为I图像等的帧内编码的对象，将其他帧作为帧间编码的对象，从而能够提高运动图像的再生时的快进再生、一次停止时等的画质。在此，可靠度“高”、“低”这种的表述意味着在比较可靠度和预先确定的阈值时可靠度比该阈值“高”或者“低”。 

例如，预先按每帧求出所生成的运动图像的可靠度并设置为γ(t)。t为帧时刻。在连续的多个帧中选择进行帧内编码的帧时，从γ(t)大于预先确定的阈值γth的帧之中选择、或者在预先确定的连续帧区间之中选择γ(t)最大的帧。此时，高画质处理部202也可以与运动图像一起输出所计算出的可靠度γ(t)的值。 

此外，高画质处理部202也可以将低速运动图像分解为亮度和色差，通过上述处理仅使亮度的运动图像进行高速高分辨率化。在本说明书中将这样得到的被高速高分辨率化的亮度的运动图像称为“中间的运动图像”。高画质处理部202也可以对色差信息进行补充放大，并附加于上述中间的运动图像，来生成运动图像。通过上述处理，由于运动图像的信息的主成分包含在亮度中，因此即便其他色差的信息被补充放大的情况下，利用二者来生成最终的运动图像，与所输入的图像相比，也能够获得高速高分辨率化的运动图像。再有，与R、G、B独立进行处理时相比，能够减少处理量。 

此外，高画质处理部202针对R、G、B各运动图像的至少一个运动图像，将相邻的帧图像的时间上的变化量(残差平方和SSD)与预先设定的 阈值进行比较，在SSD超过阈值的情况下，将计算出残差平方和SSD的时刻t的帧和时刻t+1的帧之间作为处理的边界，将时刻t以前的顺序和时刻t+1以后的顺序的处理分开进行。更为具体而言，高画质处理部202在计算出的变化量没有超过预先确定的值时，不进行生成运动图像的计算，输出在时刻t以前生成的图像，从超过预先确定的值起开始生成新的运动图像的处理。这样一来，相对于帧间的图像的变化，在时间上邻接的区域间的处理结果的不连续性相对变少，能够期待不连续性难以被察觉的这种效果，因此能够减少图像生成的计算次数。 

(实施方式2) 

在实施方式1中，利用针对G_S、R、B在空间上进行相加之后的像素数。在本实施方式中，说明G_S、R、B不进行空间上的相加的运动图像复原方法。 

图17是表示本实施方式的摄像处理装置500的结构的构成图。在图17中，对于与图1进行相同的动作的结构要素赋予与图1相同的符号，并省略其说明。 

与图1所示的摄像处理装置100相比，在图17所示的摄像处理装置500中没有空间加法运算部104。在摄像处理装置500中，摄像元件102的输出被输入至高画质化部105的活动检测部201、高画质处理部202。此外，时间加法运算部103的输出被输入至高画质处理部202。 

以下，参照图18说明高画质处理部202的结构及动作。 

图18表示高画质处理部202的详细结构。高画质处理部202具有G简易复原部1901、R插补部504、B插补部506、增益调整部507a、增益调整部507b。 

首先详细说明G简易复原部1901。 

若比较G简易复原部1901、实施方式1中相关说明的G复原部501，则G简易复原部减少了1901的计算量。 

图19表示G简易复原部1901的结构。 

权重系数计算部2003接收活动检测部201(图17)的活动向量。权重系数计算部2003将接收到的活动向量的值作为索引，输出对应的权重系数。 

G_S计算部2001接收进行时间相加之后的G_L的像素值，利用该像素值计算G_S的像素值。G插补部503a接收由G_S计算部2001计算出的G_S的像素值来进行插补放大。***补放大之后的G_s从G插补部503a输出，之后，与从整数值1中减去由权重系数计算部2003输出的权重系数的差值之后的值(1-权重系数值)相乘。 

G_L计算部2002接收G_S的像素值，由增益调整部2004进行像素值的增益提高之后，利用该像素值来计算G_L的像素值。增益调整部2004减少进行长时间曝光之后的G_L的亮度和短时间曝光G_S的亮度之差(亮度差)。对于增益提高可以是如下的计算，在长时间曝光的期间为4帧的情况下，在增益调整部2004中在输入像素值上乘以4。G插补部503b接收由G_L计算部2002计算出的G_L的像素值进行插补放大。***补放大之后的G_L从G插补部503b输出，之后与权重系数相乘。G简易复原部1901对利用权重系数进行了相乘之后的2个运动图像进行相加并输出。 

再次参照图18。增益调整部507a及增益调整部507b具有对输入像素值进行增益提高的功能。这是为了减少短时间曝光的像素(R、B)与长时间曝光的像素G_L之间的亮度差而进行的。增益提高也可以是如果长时间的期间为4帧则对像素值乘以4这种的计算。 

再者，上述的G插补部503a及G插补部503b只要具有对接收到的运动图像进行插补放大处理的功能即可。插补放大处理既可以分别是基于相同方法的处理，也可以是不同的处理。 

图20(a)及(b)表示G_S计算部2001及G_L计算部2002的处理的例子。图20(a)表示G_S计算部2001利用在G_S的周围存在的4个G_L的像素值来计算G_S的像素值的例子。例如G_S计算部2001对4个G_L的像素值进行相加，之后除以整数值4。将所得到的值设定为距离该4像素处于均等位置的G_S的像素值即可。 

图20(b)表示G_L复原部2002利用在G_L的周围存在的4个G_S的像素值来计算G_L的像素值的例子。与之前的G_S计算部2001同样，G_L复原部2002对4个G_S的像素值进行相加，之后除以整数值4，并将得到的值设定为距离该4像素处于均等的位置处的G_L的像素值。 

在此，记载了利用计算出的像素的周围4个像素值的方法，但是并不 限于此。也可以在周围的像素之中选出像素值的接近的部分，用于G_S或者G_L的像素值的计算。 

如以上所述，根据实施方式2，利用G简易复原部1901，与实施方式1相比，能够以较少的计算量、以高分辨率且高帧频估计并复原活动抖动少的运动图像。 

(实施方式3) 

在实施方式1、实施方式2中，说明了按每个R、G、B计算全像素的情况。在本实施方式中，说明仅计算拜尔排列的颜色像素的位置并在计算之后进行拜尔复原处理的方法。 

图21表示在实施方式1的高画质处理部202的结构中进一步追加了拜尔复原部2201的结构。在图4中，G复原部501、R插补部504、B插补部506计算全像素的像素值。在图21中，G复原部1401、R插补部1402、B插补部1403仅计算以拜尔排列分配的颜色的像素部分。因此，如果输入至拜尔复原部2201的输入值是G的运动图像，则仅拜尔排列的G像素包含像素值。由拜尔复原部2201对R、G、B运动图像进行处理，R、G、B的各个运动图像成为在全部像素中像素值***补的运动图像。 

拜尔复原部2201根据使用图22所示的拜尔排列的滤色器的单板摄像元件的输出来计算全像素位置的RGB的值。在拜尔排列中，在某个像素位置中，仅存在RGB3色之中的1个颜色信息。拜尔复原部2201计算剩余2个颜色的信息。拜尔复原部2201的算法提出过几个，但在此介绍一般所采用的ACPI(Adaptive Color Plane Interpolation)法。 

例如，由于图22的像素位置(3，3)为R像素，因此需要计算剩余2个颜色的B、G的各像素值。在ACPI法的步骤中，先求出亮度成分强的G成分的插补值，之后利用所求出的G成分的插补值来求出B或者R的插补值。在此，将计算出的B和G分别表示为B′、G′。(式51)表示计算G′(3，3)的拜尔复原部2201的计算方法。 

【式51】 

$G_{\left(\mathrm{3,3}\right)}^{\&prime;}=\left\{\begin{array}{ccc}\frac{G_{\left(\mathrm{2,3}\right)}+G_{\left(\mathrm{4,3}\right)}}{2}+\frac{-R_{\left(\mathrm{1,3}\right)}+2R_{\left(\mathrm{3,3}\right)}-R_{\left(\mathrm{5,3}\right)}}{4}& \mathrm{if}& \mathrm{\&alpha;}＜\mathrm{\&beta;}\\ \frac{G_{\left(\mathrm{3,2}\right)}+G_{\left(\mathrm{3,4}\right)}}{2}+\frac{-R_{\left(\mathrm{3,1}\right)}+2R_{\left(\mathrm{3,3}\right)}-R_{\left(\mathrm{3,5}\right)}}{4}& \mathrm{if}& \mathrm{\&alpha;}>\mathrm{\&beta;}\\ \frac{G_{\left(\mathrm{2,3}\right)}+G_{\left(\mathrm{4,3}\right)}+G_{\left(\mathrm{3,2}\right)}+G_{\left(\mathrm{3,4}\right)}}{4}+\frac{-R_{\left(\mathrm{1,3}\right)}-R_{\left(\mathrm{3,1}\right)}+4R_{\left(\mathrm{3,3}\right)}-R_{\left(\mathrm{3,5}\right)}-R_{\left(\mathrm{5,3}\right)}}{8}& \mathrm{if}& \mathrm{\&alpha;}=\mathrm{\&beta;}\end{array}\right.$

(式52)表示(式51)的α、β的计算式。 

【式52】 

α＝|-R_(1，3)+2R_(3，3)-R_(5，3)|+|G_(2，3)-G_(4，3)| 

β＝|-R_(3，1)+2R_(3，3)-R_(3，5)|+|G_(3，2)-G_(3，4)| 

(式53)表示计算B′(3，3)的拜尔复原部2201的计算方法。 

【式53】 

$B_{\left(\mathrm{3,3}\right)}^{\&prime;}=\left\{\begin{array}{ccc}\frac{B_{\left(\mathrm{2,4}\right)}+B_{\left(\mathrm{4,2}\right)}}{2}+\frac{-G_{\left(\mathrm{2,4}\right)}^{\&prime;}+2G_{\left(\mathrm{3,3}\right)}^{\&prime;}-G_{\left(\mathrm{4,2}\right)}^{\&prime;}}{4}& \mathrm{if}& {\mathrm{\&alpha;}}^{\&prime;}＜{\mathrm{\&beta;}}^{\&prime;}\\ \frac{B_{\left(\mathrm{2,2}\right)}+B_{\left(\mathrm{4,4}\right)}}{2}+\frac{-G_{\left(\mathrm{2,2}\right)}^{\&prime;}+2G_{\left(\mathrm{3,3}\right)}^{\&prime;}-G_{\left(\mathrm{4,4}\right)}^{\&prime;}}{4}& \mathrm{if}& {\mathrm{\&alpha;}}^{\&prime;}>{\mathrm{\&beta;}}^{\&prime;}\\ \frac{B_{\left(\mathrm{2,4}\right)}+B_{\left(\mathrm{4,2}\right)}+B_{\left(\mathrm{2,2}\right)}+B_{\left(\mathrm{4,4}\right)}}{4}+\frac{-G_{\left(\mathrm{2,2}\right)}^{\&prime;}-G_{\left(\mathrm{2,4}\right)}^{\&prime;}+4G_{\left(\mathrm{3,3}\right)}^{\&prime;}-G_{\left(\mathrm{4,2}\right)}^{\&prime;}-G_{\left(\mathrm{4,4}\right)}^{\&prime;}}{8}& \mathrm{if}& {\mathrm{\&alpha;}}^{\&prime;}={\mathrm{\&beta;}}^{\&prime;}\end{array}\right.$

(式54)表示(式53)的α、β的计算式。 

【式54】 

α′＝|-G′_(2，4)+2G′_(3，3)-G′_(5，3)|+|B_(2，3)-B_(4，3)| 

β′＝|-G′_(3，1)+2G′_(3，3)-G′_(3，5)|+|B_(3，2)-B_(3，4)| 

此外，作为其他例，拜尔排列的G的像素位置(2，3)的R’、B’分别利用(式55)、(式56)所示的计算式来进行计算。 

【式55】 

$R_{\left(\mathrm{2,3}\right)}=\frac{R_{\left(\mathrm{1,3}\right)}+R_{\left(\mathrm{3,3}\right)}}{2}+\frac{-G_{(1,3)}^{\&prime;}+2G_{\left(\mathrm{2,3}\right)}^{\&prime;}-G_{\left(\mathrm{3,3}\right)}^{\&prime;}}{4}$

【式56】 

$B_{\left(\mathrm{2,3}\right)}=\frac{B_{\left(\mathrm{2,2}\right)}+B_{\left(\mathrm{2,4}\right)}}{2}+\frac{-G_{\left(\mathrm{2,2}\right)}^{\&prime;}+G_{\left(\mathrm{2,3}\right)}^{\&prime;}-G_{\left(\mathrm{2,4}\right)}^{\&prime;}}{4}$

在此，介绍ACPI法的拜尔复原部2201，但是并不限于此，也可以利用考虑了色调的方法、中数(median)的插补法，来计算全像素位置的RGB。 

图23表示在实施方式2的高画质处理部202的结构中进一步追加了拜尔复原部2201的结构。在实施方式2中，高画质化部105包括G插补 部503、R插补部504、B插补部506。在本实施方式中，不进行G插补部503、R插补部504、B插补部506的处理，仅计算以拜尔排列分配的颜色的像素部分。因此，输入至拜尔复原部2201的输入值如果是G运动图像，则仅拜尔排列的G像素包含像素值。由拜尔复原部2201对R、G、B的运动图像进行处理，R、G、B各自的运动图像成为在全部像素中像素值***补之后的运动图像。在实施方式2中，在G_S、G_L的插补后，分别进行G的像素整体的插补然后以权重系数进行相乘，但是通过利用拜尔复原，能够减少一次G像素整体的插补处理。 

本实施例中利用的拜尔复原处理是指在利用拜尔排列的滤波器的颜色再现中使用的已有的插补方法。 

如以上所述，根据实施方式3，通过利用拜尔复原，与基于插补放大的像素的插补相比，能够降低颜色偏差、洇染，在实施方式2中能够减少计算量。 

(实施方式4) 

在实施方式1中，说明了预先决定了与R、B、G_S相关的在空间上相加的像素数、与G_L相关的在时间上相加的像素数时的例子。 

在本实施方式中，说明根据对照相机的入射光量来控制相加的像素数的例子。 

图24表示本实施方式的摄像处理装置300的结构。在图24中，对于与图1进行相同的动作的结构要素赋予与图1相同的符号，并省略其说明。以下，参照图25说明控制部107的动作。 

图25表示本实施方式的控制部107的结构。 

控制部107具备光量检测部2801、时间相加处理控制部2802、空间相加处理控制部2803、高画质化处理控制部2804。 

控制部107根据光量改变时间加法运算部103、空间加法运算部104中的相加像素数。 

光量的检测由光量检测部2801来进行。光量检测部2801既可以利用来自摄像元件102的读出信号的全部平均值、每个颜色的平均值来测量光量，也可以利用时间相加后、空间相加后的信号来测量光量。或者光量检 测部2801也可以利用被图像复原105复原之后的运动图像的亮度水平来测量光量，还可以另行设置输出与接收到的光量相应大小的电流的光电传感器等来测量光量。 

在光量检测部2801检测出光量充分(例如饱和水平的一半以上)时，控制部107按照不进行相加读出而是针对1帧进行全像素读出的方式进行控制。具体而言，时间相加处理控制部2802按照不在时间加法运算部103中进行时间相加的方式进行控制。此外，空间相加处理控制部2803按照不在空间加法运算部104中进行空间相加的方式进行控制。此外，高画质化处理控制部2804按照针对所输入的RGB仅高画质化部105的结构之中的拜尔复原部2201进行动作的方式来控制。 

在由光量检测部2801检测出光量不足、且下降至饱和水平的1/2、1/3、1/4、1/6，1/9时，时间相加处理控制部2802将时间加法运算部103中的时间相加的帧数控制切换至2倍、3倍、4倍、6倍，9倍，空间相加控制部2803将空间加法运算部104中的空间相加的像素数控制切换至2倍、3倍、4倍、6倍、9倍。此外，高画质化处理控制部2804对应于由时间相加处理控制部2802变更之后的时间相加的帧数、由空间相加处理控制部2803变更之后的空间相加的像素数，来控制高画质化部105的处理内容。 

由此，能够根据对照相机的入射光量来切换相加处理。由于从低光量时至高光量时，能够无缝地进行与光量相应的处理，因此可扩大动态范围、抑制饱和来进行摄像。 

再者，并不限于相加像素数的控制是针对运动图像整体进行控制，当然也可以适当地切换至像素的每个位置、每个区域。 

再者，根据上述说明可知，也可以按照代替光量而利用像素值来切换相加处理的方式使控制部7进行动作。或者，也可以根据来自用户的指定来变更动作模式，由此切换相加处理。 

(实施方式5) 

在实施方式4中，说明了根据被摄体的光量来控制R、B、G的相加像素数的情况。 

本实施方式的摄像处理装置可具备动力源(电池)来进行动作。并且， 根据电池的剩余容量来控制R、B、G的相加像素数。摄像处理装置的结构例如图24所示。 

图26表示本实施方式的摄像处理装置的控制部107的结构。 

控制部107具备电池剩余容量检测部2901、时间相加处理控制部2702、空间相加处理控制部2703、高画质化处理控制部2704。 

在电池剩余容量较少时，需要减少电池的消耗。减少电池的消耗是通过例如减少运算量来实现的。为此，在本实施方式中，假定在电池剩余容量较少时减少高画质化部105的计算量。 

电池剩余容量检测部2901例如检测与电池的剩余容量相应的电压值，来监视摄像装置的电池的剩余容量。在近年来的电池中，有时其自身设置有电池剩余容量检测机构。如果是这种电池，则电池剩余容量检测部2901可以与其电池剩余容量检测机构进行通信，来获得表示电池剩余容量的信息。 

在检测出电池的剩余容量比预先确定的基准值还少时，控制部107不进行相加读出，而是针对1帧进行全像素读出。更为具体而言，时间相加处理控制部2802按照在时间加法运算部103中不进行时间相加的方式进行控制。此外，空间相加处理控制部2803按照在空间加法运算部104中不进行空间相加的方式进行控制。此外，高画质化处理控制部2804按照针对所输入的RGB仅高画质化部105的结构之中的拜尔复原部2201进行动作的方式来控制。 

另一方面，在电池剩余容量为上述的基准值以上，可以说是剩余充分的情况下，只要进行例如实施方式1中的处理即可。 

在电池剩余容量较少时，通过减少高画质化部105的计算量，能够减少电池的消耗，能够在更长的时间内拍摄更多的被摄体。 

再者，在实施方式5中，记载了在电池剩余容量较少时进行全像素读出的方法，但是也可以利用实施方式2中相关说明的方法对R、B、G进行高分辨率化。 

(实施方式6) 

在实施方式5中，说明根据摄像装置的电池剩余容量来控制R、B、G 的相加像素数的处理。 

本实施方式中的摄像处理装置根据被摄体的活动量来控制高画质化部105。摄像处理装置的结构例如图24所示。 

图27表示本实施方式的摄像处理装置的控制部107的结构。 

控制部107具备被摄体活动量检测部3001、时间相加处理控制部2702、空间相加处理控制部2703、高画质化处理控制部2704。 

被摄体活动量检测部3001检测被摄体的活动量。检测方法可以使用与活动检测部201(图2)的活动向量检测方法相同的方法。例如被摄体活动量检测部3001可以利用块匹配、梯度法、相位相关法来检测活动量。被摄体活动量检测部3001能够根据所检测的活动量比预先确定的基准值小还是在其之上，来判断活动量是大还是小。 

在判断为光量不足且活动较小时，空间相加处理控制部2703按照R、B进行空间相加的方式控制空间加法运算部104。此外，时间相加处理控制部2702按照全部G进行时间相加的方式控制时间加法运算部103。并且，高画质化处理控制部2704按照高画质化部105进行与专利文献1同样的复原处理的方式进行控制，并输出高分辨率化之后的R、B、G。对全部G进行时间相加的原因在于：由于被摄体的活动较小，因此通过长时间曝光而在G中包含的活动抖动的影响较少，能够拍摄高灵敏度且高分辨率的G。 

在判断为被摄体较暗且活动较大时，通过实施方式1中记载的方法输出高分辨率化之后的R、B、G。 

由此，能够对应被摄体的活动大小来变更高画质化部105的处理内容，能够生成与被摄体的活动相应的高画质的运动图像。 

(实施方式7) 

在上述的实施方式中，说明了根据摄像处理装置内的功能来控制时间加法运算部103、空间加法运算部104、高画质化部105的例子。 

在本实施方式中，操作摄像处理装置的用户能够选择摄像方式。以下，参照图28来说明控制部107的动作。 

图28表示本实施方式的摄像处理装置的控制部107的结构。 

用户通过处于控制部107的外部的处理选择部3101来选择摄像方式。处理选择部3101是例如能够选择摄像方式的拨号盘式开关等的、设置于摄像处理装置的硬件。或者处理选择部3101可以是在设置于摄像处理装置的液晶显示面板(未图示)上通过软件显示的选择菜单。 

处理选择部3101将用户所选择的摄像方式传达至处理切替部3102，处理切替部3102对时间相加处理控制部2702、空间相加处理控制部2703、高画质化处理控制部2704输出指示，以实现用户所选择的摄像方式。 

由此，能够实现用户所希望的摄像处理。 

再者，实施方式4至7中记载了控制部107的结构的变形，但是各控制部107的功能可以是2个以上的组合。 

以上，说明了本发明的各种实施方式。 

在实施方式1至3中，说明了作为摄像时的滤色器阵列采用原色系的RGB滤波器的情况，但作为滤色器阵列并不需要限于此。例如，也可以利用补色系的CMY(蓝绿色、洋红、黄色)滤波器。CMY滤波器在光量方面的优势大致是GB滤波器的2倍。例如，只要在重视颜色再现性时利用RGB滤波器、而在重视光量时利用CMY滤波器即可。 

再者，在上述的各实施方式中，当然希望利用不同的滤色器通过时间相加及空间相加拍摄的像素值(时间相加后、空间相加后的像素值、即相当于光量)的颜色范围较宽。例如，在实施方式1的情况下，在2像素中进行空间相加时进行2帧的时间相加，在4像素中进行空间相加时进行4帧的时间相加。这样，例如希望事先统一进行时间相加的帧数等。 

另一方面，作为特殊例子，在被摄体的颜色偏向于特定的颜色时，例如在使用原色系的滤波器的情况下，通过按R、GB来自适应地改变时间相加、空间相加的像素数，能够按每个颜色有效地使用动态范围。 

再者，在上述各实施方式中，说明了作为摄像元件102使用单板摄像元件，另外使用图4所示的排列的滤色器的例子。但是，滤色器的排列并不限定于此。 

例如，也可以利用图29所示的滤色器的排列。图29(a)表示组合了单板摄像元件、不同于图4的排列的滤色器时的例子。用于生成R、G_L、G_S及B的各像素信号的像素数之比为R、G_L、G_S∶B＝1∶4∶2∶1。 

另一方面，图29(b)表示像素数之比与图29(a)的例子不同的组合的例子。R、G_L、G_S∶B＝3∶8∶2∶3。 

本发明并不限于利用单板的摄像元件102，通过利用单独生成R、G、B各自的像素信号的3个摄像元件(所谓的3板的摄像元件)也能够实施。 

例如图30(a)及(b)都表示用于生成G(G_L及G_S)的像素信号的摄像元件的结构例。图30(a)表示G_L及G_S的像素数相同时的结构例。此外，图30(b)表示はG_L的像素数比G_S的像素数还多时的结构例。其中，(i)表示G_L及G_S的像素数之比为2∶1时的结构例，(ii)表示G_L及G_S的像素数之比为5∶1时的结构例。再者，对于用来生成R及B的像素信号的摄像元件，只要分别设置仅使R及B透过的滤波器即可。 

如图30的各例所示，可以按每行排列G_L、G_S。在按每行改变曝光时间时能够使电路的读出信号在行内相同，因此与格子状改变元件的曝光时间相比，能够简化电路的结构。 

此外，也可以如图31所示利用4×4像素的变形来改变曝光时间，而不是按照图30所示的每行。图31(a)表示G_L及G_S的像素数相同时的结构例，图30(b)表示G_L的像素数比G_S的像素数还多时的结构例。图31(b)(i)～(iii)分别表示G_L及G_S的像素数之比为3∶1、11∶5、5∶3的结构例。此外，不仅仅是图30、图31所示的变形，也可以如图32(a)～(c)所示，在主要包含R、B的各滤色器中包含G_S的滤色器。图32(a)～(c)分别表示R、G_L、G_S及B的像素数之比为1∶2∶2∶1、3∶4∶2∶3及4∶4∶1∶3的结构例。 

为了包含单板摄像元件、及3板的摄像元件的任意摄像元件，在本说明书中称为“摄像部”。在使用单板的摄像元件的实施方式中，摄像部意味着该摄像元件自身。另一方面，在使用3板的摄像元件的实施方式中，摄像部是3板的摄像元件的总称。 

再者，在上述各实施方式中，R、B的空间相加、G的长时间曝光可以通过短时间曝光读出RGB全像素，并在图像处理前在信号处理中进行。上述信号处理的计算列举了像素值的相加或者平均，但是并不限于此，也可以利用其值因像素值的值而变化的系数组合四则运算来进行。在该结构中，能够利用现有的摄像元件，通过图像处理能够提高S/N。 

再者，在上述各实施方式中，也可以不进行R、B、G_S的空间相加，而仅进行G_L的时间相加。在仅进行G_L的时间相加时，由于不需要R、B、G_S的图像处理，因此能够减少计算量。 

<滤波器的分光特性> 

如上述，在本发明中，能够使用单板式及3板式的其中一种摄像元件。其中，需要留意的是用于3板式摄像元件的薄膜光学滤波器、用于单板的染料滤波器的分光特性不同。 

图33(a)表示3板用的薄膜光学滤波器的分光特性。图33(b)表示单板用的染料滤波器的分光特性。 

图33(a)所示的薄膜光学滤波器的分光特性的透过率的上升比染料滤波器陡峭，在RGB间透过率彼此重叠较少。相对于此，图33(b)所示的染料滤波器的透过率的上升比薄膜光学滤波器平缓，在RGB间透过率彼此重叠较多。 

在本发明的各实施方式中，利用从R、B的运动图像检测出的活动信息在时间上、空间上分解G的时间相加运动图像，因此如染料滤波器那样G的信息包含在R、B中，这对于G的处理也是优选的。 

<焦平面(focal plane)现象的修正> 

在上述任意的实施方式中，假定是使用全局快门的摄影来进行了说明。所谓全局快门是针对1帧图像内的每个颜色的各像素而言曝光的开始和结束时间相同的快门。例如图34(a)表示使用全局快门的曝光定时。 

但是，本发明可应用的范围并不限于此。对于例如图34(b)所示这种、利用CMOS摄像元件的摄影时经常成为问题的焦平面现象，通过使各元件的曝光定时不同的情况公式化，也能够复原利用全局快门所拍摄的运动图像。 

说明了本发明的各实施方式。上述的实施方式仅仅是一例，可考虑各种的变形例。以下，说明实施方式2的变形例。然后，说明与各实施方式相关的变形例。 

在实施方式1中，主要叙述了在高画质化部105的处理中使用劣化约束、采用了活动检测的活动约束、与像素值的分布相关的平滑度约束的全部的情况。实施方式2中说明了如下方法，在针对G_s、R、B不进行空间 上的相加时利用G简易复原部1901，由此与实施方式1相比，以较少的算量、高分辨率且高帧频生成活动抖动少的运动图像。 

在本变形例中叙述如下的方法，即：在针对G_s、R、B不进行空间上的相加时，利用与实施方式1同样的高画质化部以高分辨率且高帧频生成活动抖动较少的运动图像。 

对于高画质化部中的各种约束之中、特别是活动约束而言，运算量较多，需要装置的计算机资源。为此，在本变形例中，说明不使用这些约束这种的活动约束的处理。 

图35是表示具备不包含活动检测部201的图像处理部105的摄像处理装置500的结构的框图。图像处理部105的高画质处理部351不使用活动约束，生成新的图像。 

图35中对于与图1、图2及图17进行相同动作的结构要素赋予与图1、图2及图17相同的符号，并省略其说明。 

在现有技术中，在不使用活动约束的情况下，处理结果产生明显的画质下降。 

但是，在本发明中，能够在不产生显著的画质下降的情况下省去活动约束。其原因在于在单板彩色摄像元件102的进行长时间曝光及短时间曝光的各个像素中混合存在检测多个颜色成分的像素。由于在RGB各自的颜色范围中通过短时间曝光而拍摄的像素和通过长时间曝光而拍摄的像素混合存在，因此即便不使用活动约束来生成图像，也存在通过短时间曝光拍摄的像素值可抑制产生颜色洇染的效果。再有，由于没有加入活动约束条件来生成新的运动图像，因此能够减少运算量。 

以下，说明高画质处理部351的高画质化处理。图36是表示高画质化部105中的高画质化处理的步骤的流程图。 

首先，在步骤S361中，高画质处理部351从摄像元件102及时间加法运算部103接收分辨率、帧频、颜色不同的多个运动图像。 

接下来，在步骤S362中，高画质处理部351在(式4)中设定M＝2、作为Q使用(式12)至(式13)，将这些式中的m设定为2。并且，当作为1阶微分、2阶微分的差值展开而使用(式14)、(式15)、(式16)的其中一个时，或者在(式40)中设定P＝2时，评价式J成为f的2次式。使评价式最小化 的f的计算通过式57归结到与f相关的联立方程式的计算。 

【式57】 

$\frac{\&PartialD;J}{\&PartialD;f}=0$

在此，将要求解的联立方程式设置为(式58)所示。 

【式58】 

Af＝b 

在(式58)中，由于f具有与所生成的像素数(1帧的像素数×要处理的帧数)相应的要素，因此(式58)的计算量通常规模非常大。作为这种大规模的联立方程式的解法，一般采用通过共轭梯度法、最急降下法等的反复计算来使解f收敛的方法(反复法)。 

在不使用活动约束来求解f时，由于评价函数仅成为劣化约束项和平滑度约束项，因此处理并不依赖于内容。在利用这种原理时，能够预先计算联立方程式(式54)的系数矩阵A的逆矩阵，并利用其结果通过直叙法来进行图像处理。 

接下来，说明步骤S363中的处理。在使用(式13)所示的平滑度约束时，x及y的2阶偏微分例如(式14)所示那样成为1、-2、1的3个系数的滤波器，其平方成为1、-4、6、-4、1的5个系数的滤波器。这些系数利用水平以及垂直方向的傅里叶变换和逆傅里叶变换夹着系数矩阵，由此能够对角化。同样，对于长时间曝光的劣化约束，也利用时间方向的傅里叶变换和逆傅里叶变换夹着系数矩阵，由此能够对角化。即，高画质处理部351能够如(式59)那样将矩阵设置为Λ。 

【式59】 

$\mathrm{\&Lambda;}=W_t{W}_y{W}_{x}A{W}_x^{-1}{W}_y^{-1}{W}_t^{-1}$

由此，能够与系数矩阵A相比减少每一行的非零系数的个数。其结果步骤S364中的Λ的逆矩阵Λ^-1的计算变得容易。在步骤S365中，高画质处理部351基于(式56)及(式57)不进行反复计算通过直接法以更少的运算量和电路规模能够求出f。 

【式60】 

$W_t{W}_y{W}_{x}A{W}_x^{-1}{W}_y^{-1}{W}_t^{-1}{W}_t{W}_y{W}_{x}f=\mathrm{\&Lambda;}{W}_t{W}_y{W}_{x}f=W_t{W}_y{W}_{x}b$

【式61】 

$f=W_x^{-1}{W}_y^{-1}{W}_t^{-1}{\mathrm{\&Lambda;}}^{-1}{W}_t{W}_y{W}_{x}b=A^{-1}b$

在步骤S366中，高画质化处理351输出这样计算出的复原图像f。 

通过以上叙述的た结构、以及步骤，根据本变形例，针对G_s、R、B不进行空间上的相加，而是利用与实施方式1同样的高画质化部以高分辨率且高帧频生成活动抖动较少的运动图像的情况下，不进行活动约束、用于活动约束的活动检测，也能够以较少的运算量实现。 

在上述实施方式中，说明利用了G_L、G_S、R及B的4种运动图像的处理。但是，这仅仅是一例。例如，在摄影对象中绿色占据大部分的情况下，也可以利用G_L及G_S的2种运动图像来生成新的运动图像。或者，在B以外或者R以外的颜色占据大部分的情况下，可以利用R或者B、G_L、G_S这3种运动图像来生成新的运动图像。 

再者，本实施方式的摄像处理装置及其变形例的摄像处理装置是将G分为G_L及G_S进行摄像的。但是这仅仅是例子，也可以采用其他例。 

例如，在拍摄大海、游泳池等水中场景的情况下，事先知道场景中B成分表现得很强烈时，通过以长时间曝光及短时间曝光来拍摄B，并以低分辨率、短时间曝光、高帧频来拍摄R及G，由此能够通过观察者示出具有高分辨率感的运动图像。此外，也可以利用长时间曝光及短时间曝光对R进行摄像。 

在上述各实施方式中，说明了设置摄像部的摄像处理装置。但是，摄像处理装置具有摄像部不是必需的。例如摄像部存在于其他位置的情况下，也可以接收作为摄像结果的G_L、G_S、R及B而仅进行处理。 

再有，在上述各实施方式中，说明了设置摄像部的摄像处理装置。但是摄像处理装置具有摄像部、时间加法运算部103及空间加法运算部104不是必需的。 

例如在这些结构要素存在于分离的位置的情况下，可以由高画质化部105接收作为摄像结果的G_L、G_S、R及B的各运动图像信号而仅进行处理，输出被高分辨率化的各色(R，G及B)的运动图像信号。高画质化部105既 可以接收从记录介质(未图示)读出的G_L、G_S、R及B的各运动图像信号，也可以经由网络等进行接收。此外，高画质化部105也可以从影像输出端子输出处理后的被高分辨率化的各运动图像信号，或者以太网(注册商标)端子等的网络端子经由网络输出至其他设备。 

在上述的实施方式中，假定摄像处理装置具有图示的各种结构进行了说明。例如，高画质化部105(图1、图2)等被记载为功能上看到的模块。这些功能模块在硬件方面能够由数字信号处理器(DSP)这种的一个半导体芯片或者IC实现，也可以利用例如计算机和软件(计算机程序)来实现。 

-工业可用性- 

本发明的摄像处理装置可有效地用于低光量时且被摄体的活动较大时的高分辨率摄影、基于小型像素的摄像。此外，处理部并不限于作为装置来实施，也可以作为程序来应用。 

-符号说明- 

100摄像处理装置 

101光学*** 

102摄像元件 

103时间加法运算部 

104空间加法运算部 

105高画质化部 

107控制部 。

Claims (25)

1.一种图像生成装置，具备：

高画质处理部，其接收拍摄同一事物而得到的第1运动图像、第2运动图像及第3运动图像的信号，生成表示所述事物的新的运动图像：和

输出端子，其输出所述新的运动图像的信号，其中

所述第2运动图像的颜色成分与所述第1运动图像的颜色成分不同，所述第2运动图像的各帧是通过时间比所述第1运动图像的1帧时间还长的曝光而获得的，

所述第3运动图像的颜色成分与所述第2运动图像的颜色成分相同，所述第3运动图像的各帧是通过时间比所述第2运动图像的1帧时间还短的曝光而获得的。

2.根据权利要求1所述的图像生成装置，其中，

所述高画质处理部利用所述第1运动图像、所述第2运动图像及所述第3运动图像的信号，生成帧频为所述第1运动图像或者所述第3运动图像的帧频以上、且分辨率为所述第2运动图像或者所述第3运动图像的分辨率以上的新的运动图像。

3.根据权利要求1所述的图像生成装置，其中，

所述第2运动图像的分辨率高于所述第3运动图像的分辨率，

所述高画质处理部利用所述第2运动图像的信号及所述第3运动图像的信号，生成具有所述第2运动图像的分辨率以上的分辨率、具有所述第3运动图像的帧频以上的帧频、且颜色成分与所述第2运动图像及第3运动图像的颜色成分相同的运动图像的信号，作为所述新的运动图像的颜色成分之一。

4.根据权利要求3所述的图像生成装置，其中，

所述高画质处理部决定所述新的运动图像的各帧的像素值，使得以成为与所述第2运动图像相同的帧频的方式对所述新的运动图像进行时间采样时的、各帧的像素值与所述第2运动图像的各帧的像素值的误差减少。

5.根据权利要求3所述的图像生成装置，其中，

所述高画质处理部生成绿色的颜色成分的运动图像的信号，作为所述新的运动图像的颜色成分之一。

6.根据权利要求3至5的任一项所述的图像生成装置，其中

所述高画质处理部决定所述新的运动图像的各帧的像素值，使得以成为与所述第1运动图像相同的分辨率的方式对所述新的运动图像进行空间采样时的、各帧的像素值与所述第1运动图像的各帧的像素值的误差减少。

7.根据权利要求1所述的图像生成装置，其中，

所述第2运动图像和所述第3运动图像的帧是通过帧间的开放曝光而获得的。

8.根据权利要求1所述的图像生成装置，其中，

所述高画质处理部指定所生成的新的运动图像的像素值根据在时间空间上相邻的像素的像素值的连续性所应该满足的约束条件，并按照维持所指定的所述约束条件的方式来生成所述新的运动图像。

9.根据权利要求1所述的图像生成装置，其中，

所述图像生成装置还具备活动检测部，该活动检测部根据所述第1运动图像及所述第3运动图像的至少一个检测对象物的活动，

所述高画质处理部按照所生成的新的运动图像的像素值维持基于所述活动检测结果应该满足的约束条件的方式来生成所述新的运动图像。

10.根据权利要求9所述的图像生成装置，其中，

所述活动检测部计算所述活动检测的可靠度，

所述高画质处理部针对由所述活动检测部计算出的可靠度高的图像区域，利用基于所述活动检测结果的约束条件来生成新的图像，并针对所述可靠度低的图像区域，利用活动约束条件以外的预先确定的约束条件来生成所述新的运动图像。

11.根据权利要求10所述的图像生成装置，其中，

所述活动检测部以对构成所述运动图像的各图像进行分割之后的块为单位来检测活动，将使块彼此的像素值之差的平方和的符号反转之后的值作为所述可靠度进行计算，

所述高画质处理部将所述可靠度比预先确定的值还大的块作为可靠度高的图像区域，将所述可靠度比预先确定的值还小的块作为可靠度低的图像区域，来生成所述新的运动图像。

12.根据权利要求9所述的图像生成装置，其中，

所述活动检测部具有姿势传感器输入部，该姿势传感器输入部接收来自对拍摄对象物的摄像装置的姿势进行检测的姿势传感器的信号，

所述活动检测部利用所述姿势传感器输入部接收的信号来检测所述活动。

13.根据权利要求1所述的图像生成装置，其中，

所述高画质处理部从所述第1运动图像及所述第3运动图像提取色差信息，根据从所述第1运动图像及所述第3运动图像获取的亮度信息、和所述第2运动图像生成中间的运动图像，在所生成的中间的运动图像中附加所述色差信息，由此生成所述新的运动图像。

14.根据权利要求1所述的图像生成装置，其中，

所述高画质处理部针对所述第1运动图像、第2运动图像及第3运动图像的至少1个来计算图像在时间上的变化量，在所计算出的变化量超过了预先确定的值时，结束利用到超过之前的时刻的图像为止的图像来生成运动图像，从超过之后开始新的运动图像的生成。

15.根据权利要求1所述的图像生成装置，其中，

所述高画质处理部还计算表示所生成的新的运动图像的可靠性的值，将计算出的值与所述新的运动图像一起输出。

16.根据权利要求1至15任一项所述的图像生成装置，其中，

所述图像生成装置还具备摄像部，该摄像部利用单板的摄像元件生成所述第1运动图像、第2运动图像及第3运动图像。

17.根据权利要求16所述的图像生成装置，其中，

所述图像生成装置还具备控制部，该控制部根据摄影的环境来控制所述高画质化部的处理。

18.根据权利要求17所述的图像生成装置，其中，

所述摄像部进行空间上的像素相加运算，生成分辨率比所述第3运动图像的分辨率还高的所述第2运动图像，

所述控制部具备对由所述摄像部检测出的光量进行检测的光量检测部，在由所述光量检测部检测出的光量为预先确定的值以上时，针对所述第1运动图像、所述第2运动图像及所述3运动图像的至少1个运动图像，改变曝光时间及空间上的像素相加量的至少一方。

19.根据权利要求18所述的图像生成装置，其中，

所述控制部具备对图像生成装置的动力源的剩余容量进行检测的剩余容量检测部，根据由所述剩余容量检测部检测出的剩余容量，针对所述第1运动图像、所述第2运动图像及所述3运动图像的至少1个运动图像，改变曝光时间及空间上的像素相加量的至少一方。

20.根据权利要求18所述的图像生成装置，其中，

所述控制部具备对被摄体的活动的大小进行检测的活动量检测部，根据由所述活动量检测部检测出的被摄体的活动的大小，针对所述第1运动图像、所述第2运动图像及所述3运动图像的至少1个运动图像，改变曝光时间及空间上的像素相加量的至少一方。

21.根据权利要求18所述的图像生成装置，其中，

所述控制部具备用户对图像处理的计算进行选择的处理选择部，根据经由所述处理选择部而被选择的结果，针对所述第1运动图像、所述第2运动图像及所述3运动图像的至少1个运动图像，改变曝光时间及空间上的像素相加量的至少一方。

22.根据权利要求1所述的图像生成装置，其中，

所述高画质处理部设定所述新的运动图像的像素值根据在时间空间上相邻的像素的像素值的连续性而应该满足的约束条件，

所述高画质处理部按照以与所述第2运动图像相同的帧频对所述新的运动图像进行时间采样时的、各帧像素值与所述第2运动图像的各帧的像素值的误差减少、且维持所设定的所述约束条件的方式，来生成所述新的运动图像。

23.根据权利要求1至15的任一项所述的图像生成装置，其中，

所述图像生成装置还具备摄像部，该摄像部利用3板的摄像元件来生成所述第1运动图像、第2运动图像及第3运动图像。

24.一种图像生成方法，包括：

接收对同一事物进行拍摄而获得的第1运动图像、第2运动图像及第3运动图像的信号的步骤，其中所述第2运动图像的颜色成分与所述第1运动图像的颜色成分不同，所述第2运动图像的各帧是通过时间比所述第1运动图像的1帧时间还长的曝光而获得的，所述第3运动图像的颜色成分与所述第2运动图像的颜色成分相同，所述第3运动图像的各帧是通过时间比所述第2运动图像的1帧时间还短的曝光而获得的：

根据所述第1运动图像、第2运动图像及第3运动图像生成表示所述事物的新的运动图像的步骤；和

输出所述新的运动图像的信号的步骤。

25.一种计算机程序，其根据多个运动图像生成新的运动图像，其中

所述计算机程序使执行所述计算机程序的计算机执行权利要求22所述的图像生成方法。

Images