发明内容
鉴于以上的问题,本发明提供一种产生高动态范围图像的方法,藉以将一张原始图像,透过类神经网络算法所训练而得的亮度调整模型产生高动态范围图像。
因此,本发明所揭露的产生高动态范围图像的方法,包括:加载亮度调整模型,亮度调整模型应用类神经网络算法所构成;取得原始图像(original image);撷取原始图像的像素特征值、第一方向上的第一特征值与第二方向上的第二特征值;以及依据原始图像的像素特征值、第一特征值与第二特征值,透过亮度调整模型产生高动态范围图像。
其中,上述第一方向的方向与第二方向的方向相异,第一方向的方向为水平方向,第二方向的方向为垂直方向。
另外,原始图像的像素特征值是利用下式计算:
其中,C1为原始图像的像素特征值、N为原始图像的水平方向的像素总数、M为原始图像的垂直方向的像素总数、Y
ij为原始图像中第一方向第i个及第二方向第j个像素的亮度值、且N、M、i与j为正整数。
此外,原始图像的第一特征值利用下式计算:
其中,
为原始图像的第一特征值、x为原始图像中第一方向的像素的个数、Y
ij为原始图像中第一方向第i个及第二方向第j个像素的亮度值、Y
(i+x)j为原始图像中第一方向第i+x个及第二方向第j个像素的亮度值、且i、j与x为正整数。
于此,原始图像的第二特征值利用下式计算:
其中,
为原始图像的第二特征值、y为原始图像中第二方向的像素的个数、Y
ij为原始图像中第一方向第i个及第二方向第j个像素的亮度值、Y
i(j+y)为原始图像中第一方向第x个及第二方向第j+y个像素的亮度值、且i、j与y为正整数。
此外,上述亮度调整模型于外部装置中所产生,包括:加载多个帧训练图像;以及撷取每一帧训练图像的像素特征值、第一方向上的第一特征值与第二方向上的第二特征值,并透过类神经网络算法产生亮度调整模型。
其中,上述第一方向的方向与第二方向的方向相异,第一方向的方向为水平方向,第二方向的方向为垂直方向。
此外,每一帧训练图像的像素特征值利用下式计算:
其中,C
1为每一帧训练图像的像素特征值、N为每一帧训练图像的水平方向的像素总数、M为每一帧训练图像的垂直方向的像素总数、Y
ij为每一帧训练图像中第一方向第i个及第二方向第j个像素的亮度值、且N、M、i与j为正整数。
于此,上述每一帧训练图像的第一特征值利用下式计算:
其中,
为每一帧训练图像的第一特征值、x为每一帧训练图像中第一方向的像素的个数、Y
ij为每一帧训练图像中第一方向第i个及第二方向第j个像素的亮度值、Y
(i+x)j为每一帧训练图像中第一方向第i+x个及第二方向第j个像素的亮度值、且i、j与x为正整数。
另外,上述每一帧训练图像的第二特征值利用下式计算:
其中,
为每一帧训练图像的第二特征值、y为每一帧训练图像中第二方向的像素的个数、Y
ij为每一帧训练图像中第一方向第i个及第二方向第j个像素的亮度值、Y
i(j+y)为每一帧训练图像中第一方向第x个及第二方向第j+y个像素的亮度值、且i、j与y为正整数。
这里,上述类神经网络算法为倒传递神经网络(Back-propagation Neural Network,BNN)算法、径向基函数(Radial Basis Function,RBF)或自主特征映像网络(Self-Organizing Map,SOM)算法其中之一。
因此,本发明所揭露的产生高动态范围图像的电子装置,其依据亮度调整模型,用以对一原始图像进行亮度的调整,电子装置包括:亮度调整模型、特征值撷取单元与亮度调整程序。其中,亮度调整模型为应用类神经网络算法所构成;特征值撷取单元撷取原始图像的像素特征值、第一方向上的第一特征值与第二方向上的第二特征值;以及亮度调整程序,连接亮度调整模型与特征值撷取单元,亮度调整程序依据原始图像的像素特征值、第一特征值与第二特征值,透过亮度调整模型产生高动态范围图像。
于此,上述第一方向的方向与第二方向的方向相异,第一方向的方向为水平方向,第二方向的方向为垂直方向。
此外,原始图像的像素特征值利用下式计算:
其中,C
1为原始图像的像素特征值、N为原始图像的水平方向的像素总数、M为原始图像的垂直方向的像素总数、Y
ij为原始图像中第一方向第i个及第二方向第j个像素的亮度值、且N、M、i与j为正整数。
另外,原始图像的第一特征值利用下式计算:
其中,
为原始图像的第一特征值、x为原始图像中第一方向的像素的个数、Y
ij为原始图像中第一方向第i个及第二方向第j个像素的亮度值、Y
(i+x)j为原始图像中第一方向第i+x个及第二方向第j个像素的亮度值、且i、j与x为正整数。
其中,原始图像的第二特征值利用下式计算:
其中,
为原始图像的第二特征值、y为原始图像中第二方向的像素的个数、Y
ij为原始图像中第一方向第i个及第二方向第j个像素的亮度值、Yi
(j+y)为原始图像中第一方向第x个及第二方向第j+y个像素的亮度值、且i、j与y为正整数。
于此,上述亮度调整模型于外部装置中所产生,包括:加载多个帧训练图像;以及撷取每一帧训练图像的一像素特征值、第一方向上的第一特征值与第二方向上的第二特征值,并透过类神经网络算法产生亮度调整模型。
其中,上述第一方向的方向与第二方向的方向相异,第一方向的方向为水平方向,第二方向的方向为垂直方向。
于此,每一帧训练图像的像素特征值利用下式计算:
其中,C
1为每一帧训练图像的像素特征值、N为每一帧训练图像的水平方向的像素总数、M为每一帧训练图像的垂直方向的像素总数、Y
ij为每一帧训练图像中第一方向第i个及第二方向第j个像素的亮度值、且N、M、i与j为正整数。
此外,每一帧训练图像的第一特征值利用下式计算:
其中,
为每一帧训练图像的第一特征值、x为每一帧训练图像中第一方向的像素的个数、Y
ij为每一帧训练图像中第一方向第i个及第二方向第j个像素的亮度值、Y
(i+x)j为每一帧训练图像中第一方向第i+x个及第二方向第j个像素的亮度值、且i、j与x为正整数。
于此,每一帧训练图像的第二特征值利用下式计算:
其中,
为每一帧训练图像的第二特征值、y为每一帧训练图像中第二方向的像素的个数、Y
ij为每一帧训练图像中第一方向第i个及第二方向第j个像素的亮度值、Y
i(j+y)为每一帧训练图像中第一方向第x个及第二方向第j+y个像素的亮度值、且i、j与y为正整数。
其中,上述类神经网络算法为倒传递神经网络(Back-propagation Neural Network,BNN)算法、径向基函数(Radial Basis Function,RBF)或自主特征映像网络(Self-Organizing,SOM)算法其中之一。
根据本发明所提供的的产生高动态范围图像的方法及电子装置,可透过类神经网络算法训练产生亮度调整模型,并利用亮度调整模型对单张图像进行处理而产生高动态范围图像。进而可改善需拍摄多张图像的时间与储存空间,降低多张图像合成单张图像的处理时间。
有关本发明的特征与实际应用,兹配合附图作最佳实施例详细说明如下。
具体实施方式
根据本发明的产生高动态范围图像的方法,应用于具有图像撷取功能的电子装置。本方法可透过软件或固件程序内建于电子装置的储存装置中,再由电子装置的处理器执行内建的软件或固件程序搭配图像撷取功能来实现根据本发明的产生高动态范围图像的方法。于此,电子装置可为具图像撷取功能的数字相机(DIGITAL CAMERA)、具图像撷取功能的计算机、具图像撷取功能的移动电话(Mobile Phone)、或具图像撷取功能的个人数字助理(Personal Digital Assistant,PDA)等,但不仅局限于上述的电子装置。
请参考图3所示,其为依据本发明的一实施例的产生高动态范围图像的方法的流程图。本发明的流程包括以下步骤:
S100、加载亮度调整模型,亮度调整模型是应用类神经网络算法所构成;
S110、取得原始图像(original image);
S120、撷取原始图像的像素特征值、第一方向上的第一特征值与第二方向上的第二特征值;以及
S130、依据原始图像的像素特征值、第一特征值与第二特征值,透过亮度调整模型产生高动态范围图像。
其中,步骤S120中的第一方向的方向与第二方向的方向相异,第一方向的方向为水平方向,第二方向的方向为垂直方向。于此虽描述第一方向的方向为水平方向,第二方向的方向为垂直方向,但应用依实际需求调整方向,如X轴向相交正45度的方向及X轴向相交正135度的方向,如X轴向相交正30度的方向及X轴向相交正150度的方向等等。唯原始图像的特征值的撷取的方向须与训练图像的特征值的撷取的方向一致(即为相同方向)。
另外,步骤S120中的原始图像的像素特征值利用下式计算:
其中,C
1为原始图像的像素特征值、N为原始图像的水平方向的像素总数、M为原始图像的垂直方向的像素总数、Y
ij为原始图像中第一方向第i个及第二方向第j个像素的亮度值、且N、M、i与j为正整数。
此外,步骤S120中的原始图像的第一特征值利用下式计算:
其中,
为原始图像的第一特征值、x为原始图像中第一方向的像素的个数、Y
ij为原始图像中第一方向第i个及第二方向第j个像素的亮度值、Y
(i+x)j为原始图像中第一方向第i+x个及第二方向第j个像素的亮度值、且i、j与x为正整数。
于此,步骤S120中的原始图像的第二特征值是利用下式计算:
其中,
为原始图像的第二特征值、y为原始图像中第二方向的像素的个数、Y
ij为原始图像中第一方向第i个及第二方向第j个像素的亮度值、Y
i(j+y)为原始图像中第一方向第x个及第二方向第j+y个像素的亮度值、且i、j与y为正整数。
此外,步骤S100中的所述的亮度调整模型于外部装置中所产生。外部装置可以是但不限于制造厂商的计算机装置或实验室的计算机装置等等。请参考图4所示,其为依据本发明的一实施例的产生亮度调整模型的流程图。产生亮度调整模型的流程包括以下步骤:
S200、加载多个帧训练图像;以及
S210、撷取每一帧训练图像的像素特征值、第一方向上的第一特征值与第二方向上的第二特征值,并透过类神经网络算法产生亮度调整模型。
其中,步骤S210中所述的第一方向的方向与第二方向的方向相异,第一方向的方向为水平方向,第二方向的方向为垂直方向。于此虽描述第一方向的方向为水平方向,第二方向的方向为垂直方向,但应用依实际需求调整方向,如X轴向相交正45度的方向及X轴向相交正135度的方向,如X轴向相交正30度的方向及X轴向相交正150度的方向等等。唯原始图像的特征值的撷取的方向须与训练图像的特征值的撷取的方向一致(即为相同方向)。
此外,步骤S210中所述的每一帧训练图像的像素特征值利用下式计算:
其中,C
1为每一帧训练图像的像素特征值、N为每一帧训练图像的水平方向的像素总数、M为每一帧训练图像的垂直方向的像素总数、Y
ij为每一帧训练图像中第一方向第i个及第二方向第j个像素的亮度值、且N、M、i与j为正整数。
于此,步骤S210中所述的每一帧训练图像的第一特征值利用下式计算:
其中,
为每一帧训练图像的第一特征值、x为每一帧训练图像中第一方向的像素的个数、Y
ij为每一帧训练图像中第一方向第i个及第二方向第j个像素的亮度值、Y
(i+x)j为每一帧训练图像中第一方向第i+x个及第二方向第j个像素的亮度值、且i、j与x为正整数。
另外,步骤S210中所述的每一帧训练图像的第二特征值是利用下式计算:
其中,
为每一帧训练图像的第二特征值、y为每一帧训练图像中第二方向的像素的个数、Y
ij为每一帧训练图像中第一方向第i个及第二方向第j个像素的亮度值、Y
i(j+y)为每一帧训练图像中第一方向第x个及第二方向第j+y个像素的亮度值、且i、j与y为正整数。
于此,上述类神经网络算法可为倒传递神经网络(Back-propagation Neural Network,BNN)算法、径向基函数(Radial Basis Function,RBF)或自主特征映像网络(Self-Organizing Map,SOM)算法其中之一。
另外,请参考图5所示,其为依据本发明的另一实施例的产生高动态范围图像的电子装置的架构示意图。电子装置30包括:储存单元32、处理单元34与输出单元36。其中,储存单元32储存有原始图像322,储存单元32可以是但不限于随机存取存储器(Random Access Memory,RAM)、动态随机存取存储器(Dynamic Random Access Memory,DRAM)或同步动态随机存取存储器(Synchronous Dynamic Random Access Memory,SDRAM)其中的任一。
处理单元34连接储存单元32,处理单元34可包括:亮度调整模型344、特征值撷取单元342与亮度调整程序346。特征值撷取单元342撷取原始图像322的像素特征值、第一方向上的第一特征值与第二方向上的第二特征值。亮度调整模型344是应用类神经网络算法所构成。亮度调整程序346依据原始图像322的像素特征值、第一特征值与第二特征值,透过亮度调整模型344产生高动态范围图像。处理单元34可以是但不限于中央处理器(CPU)、微处理器(Micro Control Unit、MCU)。输出单元36连接处理单元34,输出单元36可将产生的高动态范围图像显示于电子装置30的屏幕上。
于此,上述第一方向的方向与第二方向的方向相异,第一方向的方向为水平方向,第二方向的方向为垂直方向。于此虽描述第一方向的方向为水平方向,第二方向的方向为垂直方向,但应用依实际需求调整方向,如X轴向相交正45度的方向及X轴向相交正135度的方向,如X轴向相交正30度的方向及X轴向相交正150度的方向等等。唯原始图像的特征值的撷取的方向须与训练图像的特征值的撷取的方向一致(即为相同方向)。
此外,原始图像322的像素特征值利用下式计算:
其中,C
1为原始图像322的像素特征值、N为原始图像322的水平方向的像素总数、M为原始图像322的垂直方向的像素总数、Y
ij为原始图像322中第一方向第i个及第二方向第j个像素的亮度值、且N、M、i与j为正整数。
另外,原始图像322的第一特征值是利用下式计算:
其中,
为原始图像322的第一特征值、x为原始图像322中第一方向的像素的个数、Y
ij为原始图像322中第一方向第i个及第二方向第j个像素的亮度值、Y
(i+x)j为原始图像322中第一方向第i+x个及第二方向第j个像素的亮度值、且i、j与x为正整数。
其中,原始图像322的第二特征值是利用下式计算:
其中,
为原始图像322的第二特征值、y为原始图像322中第二方向的像素的个数、Y
ij为原始图像322中第一方向第i个及第二方向第j个像素的亮度值、Y
i(j+y)为原始图像322中第一方向第x个及第二方向第j+y个像素的亮度值、且i、j与y为正整数。
于此,上述亮度调整模型于外部装置中所产生。外部装置可以是但不限于制造厂商的计算机装置或实验室的计算机装置等等。请参考图6所示,其为依据本发明的另一实施例的产生亮度调整模型的流程图。产生亮度调整模型的流程包括以下步骤:
S300、加载多个帧训练图像;以及
S310、撷取每一帧训练图像的像素特征值、第一方向上的第一特征值与第二方向上的第二特征值,并透过类神经网络算法产生亮度调整模型。
其中,步骤S310中所述的第一方向的方向与第二方向的方向相异,第一方向的方向为水平方向,第二方向的方向为垂直方向。于此虽描述第一方向的方向为水平方向,第二方向的方向为垂直方向,但应用依实际需求调整方向,如X轴向相交正45度的方向及X轴向相交正135度的方向,如X轴向相交正30度的方向及X轴向相交正150度的方向等等。唯原始图像的特征值的撷取的方向须与训练图像的特征值的撷取的方向一致(即为相同方向)。
此外,步骤S310中所述的每一帧训练图像的像素特征值利用下式计算:
其中,C
1为每一帧训练图像的像素特征值、N为每一帧训练图像的水平方向的像素总数、M为每一帧训练图像的垂直方向的像素总数、Y
ij为每一帧训练图像中第一方向第i个及第二方向第j个像素的亮度值、且N、M、i与j为正整数。
于此,步骤S310中所述的每一帧训练图像的第一特征值是利用下式计算:
其中,
为每一帧训练图像的第一特征值、x为每一帧训练图像中第一方向的像素的个数、Y
ij为每一帧训练图像中第一方向第i个及第二方向第j个像素的亮度值、Y
(i+x)j为每一帧训练图像中第一方向第i+x个及第二方向第j个像素的亮度值、且i、j与x为正整数。
另外,步骤S310中所述的每一帧训练图像的第二特征值利用下式计算:
其中,
为每一帧训练图像的第二特征值、y为每一帧训练图像中第二方向的像素的个数、Y
ij为每一帧训练图像中第一方向第i个及第二方向第j个像素的亮度值、Y
i(j+y)为每一帧训练图像中第一方向第x个及第二方向第j+y个像素的亮度值、且i、j与y为正整数。
于此,上述类神经网络算法可为倒传递神经网络(Back-propagation Neural Network,BNN)算法、径向基函数(Radial Basis Function,RBF)或自主特征映像网络(Self-Organizing Map,SOM)算法其中之一。
另外,请参考图7所示,其为依据本发明的实施例的倒传递神经网络算法的示意图。倒传递神经网络40包含:输入层42、隐藏层44与输出层46。其中每一帧训练图像共有M*N个像素,每个像素都具有三个特征值(像素特征值、第一特征值与第二特征值)。输入层分别传入训练图像的像素的特征值,因此输入层42的节点(X1、X2、X3、...、Xα)的个数总和为α=3*M*N个。隐藏层44的节点(P1、P2、P3、...、Pβ)之个数为β个,输出层46的节点(Y1、Y2、Y3、...、Yγ)的个数为γ个,且α≥β≥γ。于所有训练图像经过倒传递神经网络算法训练及判断收敛后,即可得到亮度调整模型。其中在亮度调整模型的输入层42与隐藏层44之间得到第一组权重值Wαβ,隐藏层44与输出层46之间得到第二组权重值Wβγ。
其中,隐藏层44的各节点的值利用下式计算而得:
其中,P
j为隐藏层44的第j个节点的值、X
i为输入层42的第i个节点的值、W
ij为输入层42的第i个节点与隐藏层44的第j个节点之间的权重值、b
j为隐藏层44的第j个节点的偏移量、且α、i与j为正整数。
此外,输出层46的各节点的值是利用下式计算而得:其中,Yk为输出层46的第k个节点的值、Pj为隐藏层44的第j个节点的值、Wjk为隐藏层44的第j个节点与输出层46的第k个节点之间的权重值、ck为输出层46的第k个节点的偏移量、且β、j与k为正整数。
此外,判断收敛是利用平均平方误差值(Mean Squared Error,MSE)计算而得:
其中,λ为训练图像的数量总和、γ为输出层的节点数量总和、T
k s为第s个训练图像的第k个输出节点的目标输出值、Y
k s为第s个训练图像的第k个输出节点的推论输出值、且λ、γ、s与k为正整数。
虽然本发明以前述的较佳实施例揭露如上,然其并非用以限定本发明,任何本领域技术人员,在不脱离本发明的精神和范围内,当可作些许的更动与润饰,因此本发明的专利保护范围须视本说明书所附的权利要求书范围所界定者为准。