CN107424190B - 图像处理方法、装置、计算机可读存储介质及电子设备 - Google Patents

图像处理方法、装置、计算机可读存储介质及电子设备 Download PDF

Info

Publication number
CN107424190B
CN107424190B CN201710642440.0A CN201710642440A CN107424190B CN 107424190 B CN107424190 B CN 107424190B CN 201710642440 A CN201710642440 A CN 201710642440A CN 107424190 B CN107424190 B CN 107424190B
Authority
CN
China
Prior art keywords
basis function
image
moment
basis
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710642440.0A
Other languages
English (en)
Other versions
CN107424190A (zh
Inventor
王晓婷
栾欣泽
何光宇
孟健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Corp
Original Assignee
Neusoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Corp filed Critical Neusoft Corp
Priority to CN201710642440.0A priority Critical patent/CN107424190B/zh
Publication of CN107424190A publication Critical patent/CN107424190A/zh
Application granted granted Critical
Publication of CN107424190B publication Critical patent/CN107424190B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种图像处理方法、装置、计算机可读存储介质及电子设备，所述方法包括：获取原始图像的图像矩阵；计算所述图像矩阵的U矩，其中，所述U矩为以U***中多项式为基函数的正交矩，用于所述原始图像的特征提取。U***中多项式的表达式简单，可以降低U矩计算的复杂度；且基于U***中多项式的U矩可以进行精确计算，从而可以提高计算的准确率和效率。另外，在现有技术方案中，对图像的描述越精确、细节刻画越丰富，则需要的矩函数的阶数越高，而在U***中可以使用多个低阶的多项式对图像进行精确描述和丰富的细节刻画，保证图像精度的同时，进一步降低计算的复杂度，提升用户体验。

Description

图像处理方法、装置、计算机可读存储介质及电子设备
技术领域
本公开涉及图像处理领域，具体地，涉及一种图像处理方法、装置、计算机可读存储介质及电子设备。
背景技术
矩及矩不变量在图像分析、模式识别、目标检索等领域具有广泛的应用。1980年，Teague基于连续的正交多项式引入了正交矩的概念，之后出现了Legendre矩、Zernike矩等无冗余信息的正交矩。在已提出的各种矩函数中，其核函数基本都是多项式，比如Zernike多项式、Fourier-Mellin多项式、Chebyshev多项式等，而这些多项式的表达式往往比较复杂。根据矩函数的理论，对一个对象的描述越精确，细节刻画越丰富，则需要的矩的数量就越大，而这必然要求多项式的阶不断升高。对一个含有较丰富细节的图像而言，若要较精确地表达该图像的特征，往往需要多项式的阶数达到几十甚至上百，在计算图像的矩特征时，容易出现数值不稳定、计算复杂度高等问题。
发明内容
本公开的目的是提供一种计算复杂度低且可以精确计算图像矩的图像处理方法、装置、计算机可读存储介质及电子设备。
为了实现上述目的，根据本公开的第一方面，提供一种图像处理方法，所述方法包括：获取原始图像的图像矩阵；计算所述图像矩阵的U矩，其中，所述U矩为以U***中多项式为基函数的正交矩，用于所述原始图像的特征提取。
可选地，所述计算所述图像矩阵的U矩，包括：确定各个像素点(xi,yj)的第一数值，所述第一数值为第一基函数与第二基函数的乘积在该像素点(xi,yj)的积分值，其中，所述第一基函数为所述图像矩阵在X方向上的基函数，且该基函数为所述U***中的任一基函数，所述第二基函数为所述图像矩阵在Y方向上的基函数，且该基函数为所述U***中的任一基函数；确定各个像素点(xi,yj)的第二数值，所述第二数值为该像素点(xi,yj)的所述第一数值、以及所述图像矩阵中与该像素点(xi,yj)对应的像素点(i,j)的像素值二者之积；对确定出的各个像素点(xi,yj)的第二数值进行求和，得出与所述第一基函数和所述第二基函数对应的U矩。
可选地，通过以下公式，确定所述各个像素点(xi,yj)的第一数值：
Figure GDA0002272188510000021
通过以下公式，对确定出的各个像素点(xi,yj)的第二数值进行求和：
Figure GDA0002272188510000022
其中，n为整数且n∈[0,nmax-1]，m为整数且m∈[0,mmax-1]，nmax＝mmax，且nmax和mmax的取值代表着所述U***中多项式的总项数；ωnm(xi,yj)表示像素点(xi,yj)的所述第一数值；A(xi,yj)表示像素点(xi,yj)的所述第二数值；Unm表示与所述第一基函数和所述第二基函数对应的U矩；N表示所述图像矩阵在X方向上图像像素的个数；M表示所述图像矩阵在Y方向上图像像素的个数；f(xi,yj)表示所述图像矩阵中与像素点(xi,yj)对应的像素点(i,j)的像素值；gn(x)表示所述第一基函数，为所述U***中的第n个基函数；gm(y)表示所述第二基函数，为所述U***中的第m个基函数；Δ1表示所述X方向上图像像素的宽度，且Δ1＝1/N；Δ2表示所述Y方向上图像像素的宽度，且Δ2＝1/M。
可选地，所述U***为1阶U***。
可选地，所述计算所述图像矩阵的U矩，包括：计算所述图像矩阵的、与各组基函数对应的U矩，其中，每组基函数包括第一基函数和第二基函数，所述第一基函数为所述图像矩阵在X方向上的基函数，且该基函数为所述U***中的任一基函数，所述第二基函数为所述图像矩阵在Y方向上的基函数，且该基函数为所述U***中的任一基函数；所述方法还包括：基于与各组基函数对应的U矩进行图像重构，以获得目标图像。
可选地，所述基于与各组基函数对应的U矩进行图像重构，包括：针对每个像素点(xi,yj)，进行以下操作：针对每个U矩，分别确定与该U矩相对应的第三数值，所述第三数值为该U矩、将xi代入与该U矩对应的那组基函数中的第一基函数后所得数值、将yj代入与该U矩对应的那组基函数中的第二基函数后所得数值三者之间的乘积；对确定出的与各个U矩相对应的第三数值求和，得出该像素点(xi,yj)的重构后的像素值。
可选地，通过如下公式确定各个U矩相对应的第三数值：
Bnm＝Unm·gn(xi)·gm(yj)；
通过如下公式对确定出的与各个U矩相对应的第三数值求和：
Figure GDA0002272188510000031
其中，n为整数且n∈[0,nmax-1]，m为整数且m∈[0,mmax-1]，nmax＝mmax，且nmax和mmax的取值代表着所述U***中多项式的总项数；gn(x)表示所述第一基函数，为所述U***中的第n个基函数；gm(y)表示所述第二基函数，为所述U***中的第m个基函数；Unm表示与由gn(x)和gm(y)所形成的一组基函数对应的U矩；Bnm表示与Unm相对应的所述第三数值；
Figure GDA0002272188510000032
表示像素点(xi,yj)的重构后的像素值。
可选地，所述方法还包括：基于所述U矩，对所述原始图像进行特征提取。
根据本公开的第二方面，提供一种图像处理装置，所述装置包括：获取模块，用于获取原始图像的图像矩阵；计算模块，用于计算所述图像矩阵的U矩，其中，所述U矩为以U***中多项式为基函数的正交矩，用于所述原始图像的特征提取。
根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面所述方法的步骤。
根据本公开的第四方面，提供一种电子设备，包括：上述第三方面所述的计算机可读存储介质；以及一个或者多个处理器，用于执行所述计算机可读存储介质中的程序。
通过上述技术方案，由于U***中的多项式具有与现有技术中的矩函数相同的性质，U***中的多项式可以应用于图像处理过程。同时，不同于现有技术中的表达式复杂的矩函数，U***中多项式的表达式简单，可以降低U矩计算的复杂度；且基于U***中多项式的U矩可以进行精确计算，从而可以提高计算的准确率和效率。另外，在现有技术方案中，对图像的描述越精确、细节刻画越丰富，则需要的矩函数的阶数越高，而在U***中可以使用多个低阶的多项式对图像进行精确描述和丰富的细节刻画，保证图像精度的同时，进一步降低计算的复杂度，提升用户体验。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据本公开的一种实施方式提供的图像处理方法的流程图；
图2A～图2P分别是1阶U***的前16项基函数的图像；
图3是计算图像矩阵的U矩的一种示例实现方式的流程图；
图4是根据本公开的另一种实施方式提供的图像处理方法的流程图；
图5A是二进制原始图像；
图5B，图5C，图5D分别为对图5A基于现有技术中的Zernike矩、分别选用矩函数的项数为16、24、32，进行重构后的图像；
图5E，图5F，图5G分别为对图5A基于本公开提供的U矩、分别选用矩函数的项数为16、24、32，进行重构后的图像；
图6A是灰度原始图像；
图6B，图6C，图6D，图6E分别为对图6A基于现有技术中的Legendre矩、分别选用矩函数的项数为16、32、64、128，进行近似计算重构后的图像；
图6F，图6G，图6H，图6I分别为对图6A基于现有技术中的Legendre矩、分别选用矩函数的项数为16、32、64、128，进行精确计算重构后的图像；
图6J，图6K，图6L，图6M分别为对图6A基于本公开提供的U矩、分别选用矩函数的项数为16、32、64、128，进行重构后的图像；
图7是原始图像和重构图像之间的误差曲线；
图8是根据本公开的一种实施方式提供的图像处理装置的框图；
图9是根据一示例性实施例示出的一种电子设备的框图；
图10是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
根据本公开的第一方面，提供一种图像处理方法。图1所示，为根据本公开的一种实施方式提供的图像处理方法的流程图。如图1所示，该方法可以包括：
在S11中，获取原始图像的图像矩阵。
在S12中，计算图像矩阵的U矩，其中，所述U矩为以U***中多项式为基函数的正交矩，用于所述原始图像的特征提取。
以下对U***进行详细说明。k阶U***是一类完备的正交函数集，由一系列k(k＝0,1,2,…)阶的分段多项式组成，k阶U***由只有k阶的正交分段多项式组成。以下，详细说明U***的构建方法。
1)k阶U***的第一组基函数包含Legendre多项式的前k+1项，此时k阶U***中包含的基函数可以表示为：
Figure GDA0002272188510000061
示例地，1阶U***的第一组基函数包括2个多项式，其函数图像分别如图2A、图2B所示。
2)根据第一组基函数，创建k+1个生成元函数fi(x),i＝1,2,…,k+1,x∈[0,1]，该生成元函数满足以下性质：
1.fi(x)是分段k次多项式，结点在x＝1/2；
2.＜fi(x),fj(x)＞＝δij，其中，
Figure GDA0002272188510000062
i为整数且i∈{1,2,…,k+1}，j为整数且j∈{0,1,…,k}；
3.＜fi(x),xj>＝0，i为整数且i∈{1,2,…,k+1}，j为整数且j∈{0,1,…,k}。
其中，<A,B〉表示L2[0,1]中的内积。此时k阶U***中包含的基函数可以表示为：
Figure GDA0002272188510000063
示例地，1阶U***的第二组基函数包括2个多项式，其函数图像分别如图2C、图2D所示。
3)分别对步骤2)中的生成元函数进行压缩，使用正复制与反复制的方法，生成另外2(k+1)个生成元函数。从fi(x)开始，生成新的生成元函数，如下所示：
Figure GDA0002272188510000071
Figure GDA0002272188510000072
其中，i为整数且i∈{1,2,…,k+1}。此时，k阶U***的基函数可以表示如下：
Figure GDA0002272188510000073
示例地，1阶U***的第三组基函数包括4个多项式，其函数图像分别如图2E～图2H所示。
4)以此类比，通过步骤3)所述方法生成k阶U***的其他基函数。
示例地，1阶U***的第四组基函数包括8个多项式，其函数图像分别如图2I～图2P所示。
U***具备如下性质：
1.规范正交性：<Ui(x),Uj(x)>＝δij,i,j＝0,1,2…，其中，
Figure GDA0002272188510000074
对于给定的函数F(x)，F(x)的Fourier-U级数可以表示为：
Figure GDA0002272188510000075
其中，
Figure GDA0002272188510000076
2.完备性：
Figure GDA0002272188510000077
其中，
Figure GDA0002272188510000078
3.分组一致收敛性：
Figure GDA0002272188510000079
4.Fourier-U级数重构：
如果F(x)是阶数为k的分段多项式，其在x＝q/2r(q和r是整数)上具有一些不连续点，则F(x)可以用Fourier-U级数的有限项精确表达。
由于U***具备如上性质，U***中的多项式和现有技术中的Legendre多项式、Zernike多项式等矩函数具备相同的性质，可以将U***应用于图像处理领域。现有技术中的矩函数集由从零到无穷大的阶数的常规正交多项式组成，而k阶U***中只有k阶的正交分段多项式。因此，使用k阶U***中的多项式作为基函数进行图像处理，不仅可以精确计算，还可以保留较低的计算复杂度。
以下，以1阶U***对本公开提供的图像处理方法进行详细说明。
在U***中，以gp(x),p＝0,1,2...表示U***中第p个基函数，则图像f(x,y)的U矩可以表示为：
Figure GDA0002272188510000081
在本公开中，图像处理方法是基于数字图像所执行的，且U***的阶数和选用U***的多项式的总项数是确定的。因此，基于上述理论基础，S12的一种示例实现方式可以如下，如图3所示，该步骤可以包括：
在S31中，确定各个像素点(xi,yj)的第一数值，所述第一数值为第一基函数与第二基函数的乘积在该像素点(xi,yj)的积分值，其中，所述第一基函数为所述图像矩阵在X方向上的基函数，且该基函数为所述U***中的任一基函数，所述第二基函数为所述图像矩阵在Y方向上的基函数，且该基函数为所述U***中的任一基函数。
其中，通过如下公式确定各个像素点(xi,yj)的第一数值：
Figure GDA0002272188510000082
其中，n为整数且n∈[0,nmax-1]，m为整数且m∈[0,mmax-1]，nmax＝mmax，且nmax和mmax的取值代表着所述U***中多项式的总项数；
ωnm(xi,yj)表示像素点(xi,yj)的所述第一数值；
gn(x)表示所述第一基函数，为所述U***中的第n个基函数；
gm(y)表示所述第二基函数，为所述U***中的第m个基函数；
Unm表示与所述第一基函数gn(x)和所述第二基函数gm(y)对应的U矩；
Δ1表示所述X方向上图像像素的宽度，且Δ1＝1/N；
Δ2表示所述Y方向上图像像素的宽度，且Δ2＝1/M；
N表示所述图像矩阵在X方向上图像像素的个数；
M表示所述图像矩阵在Y方向上图像像素的个数。
其中，根据二重积分的可变分离规则，ωnm(xi,yj)的计算方式如下：
Figure GDA0002272188510000091
在1阶U***中，由于gn(x)和gm(y)都为线性分段多项式，则gn(x)在区间
Figure GDA0002272188510000092
的表达式可以为：gn(x)＝k1x+b1，gm(y)在区间
Figure GDA0002272188510000093
的表达式可以为：gm(y)＝k2x+b2。其中，k1和k2分别表示gn(x)和gm(y)的斜率，b1和b2分别表示gn(x)和gm(y)在Y轴上的截距。
因此，ωnm(xi,yj)可以通过以下公式精确计算：
Figure GDA0002272188510000094
在S32中，确定各个像素点(xi,yj)的第二数值，所述第二数值为该像素点(xi,yj)的所述第一数值、以及所述图像矩阵中与该像素点(xi,yj)对应的像素点(xi,yj)的像素值二者之积。
在S33中，对确定出的各个像素点(xi,yj)的第二数值进行求和，得出与所述第一基函数和所述第二基函数对应的U矩。
其中，通过以下公式，对确定出的各个像素点(xi,yj)的第二数值进行求和：
Figure GDA0002272188510000101
Unm表示与所述第一基函数和所述第二基函数对应的U矩；A(xi,yj)表示像素点(xi,yj)的所述第二数值；f(xi,yj)表示所述图像矩阵中与像素点(xi,yj)对应的像素点(i,j)的像素值。由于U***中的多项式在[0,1]的范围内正交，因此，尺寸为N×M的图像f(i,j)，i＝0,1,...,N-1，j＝0,1,...,M-1需要压缩在0≤xi,yj≤1的范围内，即将所述图像矩阵中的像素点(i,j)分别对应于像素点(xi,yj),0≤xi,yj≤1，使得图像矩阵定义在[0,1]的范围内，便于后续U矩的计算。
通过上述技术方案，由于U***中的多项式具有与现有技术中的矩函数相同的性质，U***中的多项式可以应用于图像处理过程。同时，不同于现有技术中的表达式复杂的矩函数，U***中多项式的表达式简单，可以降低U矩计算的复杂度；且基于U***中多项式的U矩可以进行精确计算，从而可以提高计算的准确率和效率。另外，在现有技术方案中，对图像的描述越精确、细节刻画越丰富，则需要的矩函数的阶数越高，而在U***中可以使用多个低阶的多项式对图像进行精确描述和丰富的细节刻画，保证图像精度的同时，进一步降低计算的复杂度，提升用户体验。
可选地，所述计算所述图像矩阵的U矩，包括：计算所述图像矩阵的、与各组基函数对应的U矩，其中，每组基函数包括第一基函数和第二基函数，所述第一基函数为所述图像矩阵在X方向上的基函数，且该基函数为所述U***中的任一基函数，所述第二基函数为所述图像矩阵在Y方向上的基函数，且该基函数为所述U***中的任一基函数。图4所示，为根据本公开的另一种实施方式提供的图像处理方法的流程图，如图4所示，在图1的基础上，该方法还可以包括：
在S41中，基于与各组基函数对应的U矩进行图像重构，以获得目标图像。
其中，由于U***的基函数集{gp(x)}在区间[0,1]形成完备的标准正交，即：
Figure GDA0002272188510000111
其中，
Figure GDA0002272188510000112
因此，分段连续和有界图像函数f(x,y)可以表示为定义在区间[0≤x,y≤1]的U***函数，即：
Figure GDA0002272188510000113
通过上述理论基础，可以基于与各组基函数对应的U矩进行重构。
以下，为S41的一种示例实现方式：
针对每个像素点(xi,yj)，进行以下操作：
针对每个U矩，分别确定与该U矩相对应的第三数值，所述第三数值为该U矩、将xi代入与该U矩对应的那组基函数中的第一基函数后所得数值、将yj代入与该U矩对应的那组基函数中的第二基函数后所得数值三者之间的乘积。
对确定出的与各个U矩相对应的第三数值求和，得出该像素点(xi,yj)的重构后的像素值。
基于上述理论基础，通过如下公式确定各个U矩相对应的第三数值：
Bnm＝Unm·gn(xi)·gm(yj)；
通过如下公式对确定出的与各个U矩相对应的第三数值求和：
Figure GDA0002272188510000121
其中，n为整数且n∈[0,nmax-1]，m为整数且m∈[0,mmax-1]，nmax＝mmax，且nmax和mmax的取值代表着所述U***中多项式的总项数；
gn(x)表示所述第一基函数，为所述U***中的第n个基函数；
gm(y)表示所述第二基函数，为所述U***中的第m个基函数；
Unm表示与由gn(x)和gm(y)所形成的一组基函数对应的U矩；
Bnm表示与Unm相对应的所述第三数值；
Figure GDA0002272188510000122
表示像素点(xi,yj)的重构后的像素值。
可选地，所述U***可以为1阶U***。1阶U***中的基函数均为线性多项式，因此，在基于1阶U***中的基函数进行图像的U矩计算或进行图像重构时，可以在保证数值精确计算的同时，进一步降低计算的复杂度，提高计算效率。
示例地，图5A为尺寸为128*128的二进制原始图像，图5B，图5C，图5D分别为对图5A基于现有技术中的Zernike矩进行重构后的图像，图5E，图5F，图5G分别为对图5A基于本公开提供的U矩进行重构后的图像，其中，在图5B和图5E所示图像的重构过程中选用的矩函数的项数为16项，在图5C和图5F所示图像的重构过程中选用的矩函数的项数为24项，在图5D和图5G所示图像的重构过程中选用的矩函数的项数为32项。
通过上述图示，在图像重构过程中，当选用的矩函数的项数相同时，基于U矩进行图像重构的性能明显高于基于现有技术中的Zernike矩的图像重构性能。同时，通过图5E，图5F，图5G和图5A的对比可得，基于U矩对图像进行重构时，图像还原度高，从而可以保证重构后的图像质量。
示例地，图6A为尺寸为128*128的灰度原始图像，图6B，图6C，图6D，图6E分别为对图6A基于现有技术中的Legendre矩进行近似计算重构后的图像，图6F，图6G，图6H，图6I分别为对图6A基于现有技术中的Legendre矩进行精确计算重构后的图像，图6J，图6K，图6L，图6M分别为对图6A基于本公开提供的U矩进行重构后的图像，其中，在图6B、图6F、图6J所示图像的重构过程中选用的矩函数的项数为16项，在图6C、图6G、图6K所示图像的重构过程中选用的矩函数的项数为32项，在图6D、图6H、图6L所示图像的重构过程中选用的矩函数的项数为64项，在图6E、图6I、图6M所示图像的重构过程中选用的矩函数的项数为128项。
通过上述图示的对比可以得出，在选用矩函数的项数相同时，基于现有技术中的Legendre矩进行近似计算重构后的图像的质量明显低于基于现有技术中的Legendre矩进行精确计算重构后的图像的质量和基于本公开提供的U矩进行重构后的图像的质量，而基于现有技术中的Legendre矩进行精确计算重构后的图像的质量和基于本公开提供的U矩进行重构后的图像的质量相似。
以下，为了更客观地比较上述三种方式对图像进行重构的性能，对选用矩函数的不同项数的图像重构进行误差分析，获得误差曲线，如图7所示，横坐标表示选用矩函数的项数，纵坐标表示误差Error。其中，原始图像f(i,j)和重构后的图像
Figure GDA0002272188510000131
通过以下误差函数进行误差分析：
Figure GDA0002272188510000132
通过图7所示误差曲线，可以得出：当基于上述三种方式进行图像重构选用的矩函数的项数相同时，当nmax<30，即选用的矩函数的项数少于30项时，上述三种方式重构图像的质量相似；当nmax≥30时，随着nmax的增大，基于现有技术中的Legendre矩进行精确计算重构后的图像的误差和基于本公开提供的U矩进行重构后的图像的误差逐渐减小、且两者相似，同时，上述两种方式的误差明显低于基于现有技术中的Legendre矩进行近似计算重构后的图像的误差。另外，随着nmax的增大，Legendre矩中多项式的阶数越高，基于Legendre矩进行精确计算所需要的时间就越长，当nmax较大时，基于Legendre矩进行精确计算耗时太大，实用性较差，而随着nmax的增大，计算U矩的基函数的阶数不会增加，降低U矩的计算复杂度，提高计算效率，从而有效提升用户体验。
可选地，所述方法还包括：基于所述U矩，对所述原始图像进行特征提取。
在计算出原始图像的U矩之后，可以根据该原始图像的U矩对原始图像进行特征提取。示例地，原始图像中包括人物图像和背景图像，为了更好地对原始图像中的人物图像进行分析，可以在计算出该原始图像的U矩之后，通过设置阈值的方式对原始图像进行特征提取，以获得原始图像中的人物图像。
在上述技术方案中，原始图像的U矩可以表示出原始图像的多种图像特征，因此基于原始图像的U矩对原始图像进行特征提取，U矩计算的高准确率和高效率，可以提高图像特征提取的效率和精度，使得图像处理过程简单、快捷且准确，提升用户使用体验。
可选地，基于所述U矩，可以对原始图像进行压缩。在许多领域，数字图像已取代传统的连续图像，但由于数字图像的数据量太大，使得数字图像既浪费存储空间又难以传输。由于U矩的基函数都是正交多项式，其不仅矩变换可逆，且每个U矩都携带一定量的图像信息，因此可用其进行图像的压缩和解压缩处理。基于原始图像的U矩可以对该图像进行压缩，从而可以节省图像的存储空间，使得图像便于存储和传输。
根据本公开的第二方面，提供一种图像处理装置。图8所示，为根据本公开的一种实施方式提供的图像处理装置的框图。如图8所示，所述装置10可以包括：
获取模块100，用于获取原始图像的图像矩阵；
计算模块200，用于计算所述图像矩阵的U矩，其中，所述U矩为以U***中多项式为基函数的正交矩，用于所述原始图像的特征提取。
可选地，所述计算模块200被配置为按照如下方式计算所述图像矩阵的U矩：
确定各个像素点(xi,yj)的第一数值，所述第一数值为第一基函数与第二基函数的乘积在该像素点(xi,yj)的积分值，其中，所述第一基函数为所述图像矩阵在X方向上的基函数，且该基函数为所述U***中的任一基函数，所述第二基函数为所述图像矩阵在Y方向上的基函数，且该基函数为所述U***中的任一基函数；
确定各个像素点(xi,yj)的第二数值，所述第二数值为该像素点(xi,yj)的所述第一数值、以及所述图像矩阵中与该像素点(xi,yj)对应的像素点(i,j)的像素值二者之积；
对确定出的各个像素点(xi,yj)的第二数值进行求和，得出与所述第一基函数和所述第二基函数对应的U矩。
可选地，所述计算模块200被配置为通过以下公式，确定所述各个像素点(xi,yj)的第一数值：
Figure GDA0002272188510000151
所述计算模块200被配置为通过以下公式，对确定出的各个像素点(xi,yi)的第二数值进行求和：
Figure GDA0002272188510000152
其中，n为整数且n∈[0,nmax-1]，m为整数且m∈[0,mmax-1]，nmax＝mmax，且nmax和mmax的取值代表着所述U***中多项式的总项数；
A(xi,yj)表示像素点(xi,yj)的所述第二数值；
Unm表示与所述第一基函数和所述第二基函数对应的U矩；
N表示所述图像矩阵在X方向上图像像素的个数；
M表示所述图像矩阵在Y方向上图像像素的个数；
f(xi,yj)表示所述图像矩阵中与像素点(xi,yj)对应的像素点(i,j)的像素值；
gn(x)表示所述第一基函数，为所述U***中的第n个基函数；
gm(y)表示所述第二基函数，为所述U***中的第m个基函数；
Δ1表示所述X方向上图像像素的宽度，且Δ1＝1/N；
Δ2表示所述Y方向上图像像素的宽度，且Δ2＝1/M。
可选地，所述U***为1阶U***。
可选地，所述计算模块200被配置为：计算所述图像矩阵的、与各组基函数对应的U矩，其中，每组基函数包括第一基函数和第二基函数，所述第一基函数为所述图像矩阵在X方向上的基函数，且该基函数为所述U***中的任一基函数，所述第二基函数为所述图像矩阵在Y方向上的基函数，且该基函数为所述U***中的任一基函数；
所述装置10还包括：
重构模块，用于基于与各组基函数对应的U矩进行图像重构，以获得目标图像。
可选地，所述重构模块被配置为按照如下方式进行图像重构：针对每个像素点(xi,yj)，进行以下操作：
针对每个U矩，分别确定与该U矩相对应的第三数值，所述第三数值为该U矩、将xi代入与该U矩对应的那组基函数中的第一基函数后所得数值、将yj代入与该U矩对应的那组基函数中的第二基函数后所得数值三者之间的乘积；
对确定出的与各个U矩相对应的第三数值求和，得出该像素点(xi,yj)的重构后的像素值。
可选地，所述重构模块被配置为通过如下公式确定各个U矩相对应的第三数值：
Bnm＝Unm·gn(xi)·gm(yj)；
所述重构模块被配置为通过如下公式对确定出的与各个U矩相对应的第三数值求和：
Figure GDA0002272188510000171
其中，n为整数且n∈[0,nmax-1]，m为整数且m∈[0,mmax-1]，nmax＝mmax，且nmax和mmax的取值代表着所述U***中多项式的总项数；
gn(x)表示所述第一基函数，为所述U***中的第n个基函数；
gm(y)表示所述第二基函数，为所述U***中的第m个基函数；
Unm表示与由gn(x)和gm(y)所形成的一组基函数对应的U矩；
Bnm表示与Unm相对应的所述第三数值；
Figure GDA0002272188510000172
表示像素点(xi,yj)的重构后的像素值。
可选地，所述装置还包括：
特征提取模块，用于基于所述U矩，对所述原始图像进行特征提取。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图9是根据一示例性实施例示出的一种电子设备1000的框图。如图9所示，该电子设备1000可以包括：处理器1001，存储器1002，多媒体组件1003，输入/输出(I/O)接口1004，以及通信组件1005。
其中，处理器1001用于控制该电子设备1000的整体操作，以完成上述的图像处理方法中的全部或部分步骤。存储器1002用于存储各种类型的数据以支持在该电子设备1000的操作，这些数据例如可以包括用于在该电子设备1000上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器1002可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件1003可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1002或通过通信组件1005发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口1004为处理器1001和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件1005用于该电子设备1000与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件1005可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，电子设备1000可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的图像处理方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，例如包括程序指令的存储器1002，上述程序指令可由电子设备1000的处理器1001执行以完成上述的图像处理方法。
图10是根据一示例性实施例示出的一种电子设备1100的框图。例如，电子设备1100可以被提供为一服务器。参照图10，电子设备1100包括处理器1122，其数量可以为一个或多个，以及存储器1132，用于存储可由处理器1122执行的计算机程序。存储器1132中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器1122可以被配置为执行该计算机程序，以执行上述的图像处理方法。
另外，电子设备1100还可以包括电源组件1126和通信组件1150，该电源组件1126可以被配置为执行电子设备1100的电源管理，该通信组件1150可以被配置为实现电子设备1100的通信，例如，有线或无线通信。此外，该电子设备1100还可以包括输入/输出(I/O)接口1158。电子设备1100可以操作基于存储在存储器1132的操作***，例如WindowsServerTM，Mac OS XTM，UnixTM,LinuxTM等等。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，例如包括程序指令的存储器1132，上述程序指令可由电子设备1100的处理器1122执行以完成上述的图像处理方法。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (8)

1.一种图像处理方法，其特征在于，所述方法包括：
获取原始图像的图像矩阵；
计算所述图像矩阵的U矩，其中，所述U矩为以U***中多项式为基函数的正交矩，用于所述原始图像的特征提取；
其中，所述计算所述图像矩阵的U矩，包括：
确定各个像素点(xi,yj)的第一数值，所述第一数值为第一基函数与第二基函数的乘积在该像素点(xi,yj)的积分值，其中，所述第一基函数为所述图像矩阵在X方向上的基函数，且该基函数为所述U***中的任一基函数，所述第二基函数为所述图像矩阵在Y方向上的基函数，且该基函数为所述U***中的任一基函数；
确定各个像素点(xi,yj)的第二数值，所述第二数值为该像素点(xi,yj)的所述第一数值、以及所述图像矩阵中与该像素点(xi,yj)对应的像素点(i,j)的像素值二者之积；
对确定出的各个像素点(xi,yj)的第二数值进行求和，得出与所述第一基函数和所述第二基函数对应的U矩；
所述方法还包括：
基于与各组基函数对应的U矩进行图像重构，以获得目标图像，具体包括：针对每个像素点(xi,yj)，进行以下操作：
针对每个U矩，分别确定与该U矩相对应的第三数值，所述第三数值为该U矩、将xi代入与该U矩对应的那组基函数中的第一基函数后所得数值、将yj代入与该U矩对应的那组基函数中的第二基函数后所得数值三者之间的乘积，每组基函数包括第一基函数和第二基函数；
对确定出的与各个U矩相对应的第三数值求和，得出该像素点(xi,yj)的重构后的像素值。
2.根据权利要求1所述的方法，其特征在于，通过以下公式，确定所述各个像素点(xi,yj)的第一数值：
Figure FDA0002391775300000021
通过以下公式，对确定出的各个像素点(xi,yj)的第二数值进行求和：
Figure FDA0002391775300000022
A(xi,yj)＝f(xi,yj)·ωnm(xi,yj)；
其中，n为整数且n∈[0,nmax-1]，m为整数且m∈[0,mmax-1]，nmax＝mmax，且nmax和mmax的取值代表着所述U***中多项式的总项数；
ωnm(xi,yj)表示像素点(xi,yj)的所述第一数值；
A(xi,yj)表示像素点(xi,yj)的所述第二数值；
Unm表示与所述第一基函数和所述第二基函数对应的U矩；
N表示所述图像矩阵在X方向上图像像素的个数；
M表示所述图像矩阵在Y方向上图像像素的个数；
f(xi,yj)表示所述图像矩阵中与像素点(xi,yj)对应的像素点(i,j)的像素值；
gn(x)表示所述第一基函数，为所述U***中的第n个基函数；
gm(y)表示所述第二基函数，为所述U***中的第m个基函数；
Δ1表示所述X方向上图像像素的宽度，且Δ1＝1/N；
Δ2表示所述Y方向上图像像素的宽度，且Δ2＝1/M。
3.根据权利要求1或2所述的方法，其特征在于，所述U***为1阶U***。
4.根据权利要求1或2所述的方法，其特征在于，所述计算所述图像矩阵的U矩，包括：
计算所述图像矩阵的、与各组基函数对应的U矩，其中，每组基函数包括第一基函数和第二基函数，所述第一基函数为所述图像矩阵在X方向上的基函数，且该基函数为所述U***中的任一基函数，所述第二基函数为所述图像矩阵在Y方向上的基函数，且该基函数为所述U***中的任一基函数。
5.根据权利要求1所述的方法，其特征在于，通过如下公式确定各个U矩相对应的第三数值：
Bnm＝Unm·gn(xi)·gm(yj)；
通过如下公式对确定出的与各个U矩相对应的第三数值求和：
Figure FDA0002391775300000031
其中，n为整数且n∈[0,nmax-1]，m为整数且m∈[0,mmax-1]，nmax＝mmax，且nmax和mmax的取值代表着所述U***中多项式的总项数；
gn(x)表示所述第一基函数，为所述U***中的第n个基函数；
gm(y)表示所述第二基函数，为所述U***中的第m个基函数；
Unm表示与由gn(x)和gm(y)所形成的一组基函数对应的U矩；
Bnm表示与U矩Unm相对应的所述第三数值；
Figure FDA0002391775300000032
表示像素点(xi,yj)的重构后的像素值。
6.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取原始图像的图像矩阵；
计算模块，用于计算所述图像矩阵的U矩，其中，所述U矩为以U***中多项式为基函数的正交矩，用于所述原始图像的特征提取；
其中，所述计算模块被配置为按照如下方式计算所述图像矩阵的U矩：
确定各个像素点(xi,yj)的第一数值，所述第一数值为第一基函数与第二基函数的乘积在该像素点(xi,yj)的积分值，其中，所述第一基函数为所述图像矩阵在X方向上的基函数，且该基函数为所述U***中的任一基函数，所述第二基函数为所述图像矩阵在Y方向上的基函数，且该基函数为所述U***中的任一基函数；
确定各个像素点(xi,yj)的第二数值，所述第二数值为该像素点(xi,yj)的所述第一数值、以及所述图像矩阵中与该像素点(xi,yj)对应的像素点(i,j)的像素值二者之积；
对确定出的各个像素点(xi,yj)的第二数值进行求和，得出与所述第一基函数和所述第二基函数对应的U矩；
其中，所述装置还包括：
重构模块，用于基于与各组基函数对应的U矩进行图像重构，以获得目标图像，
所述重构模块被配置为按照如下方式进行图像重构：针对每个像素点(xi,yj)，进行以下操作：
针对每个U矩，分别确定与该U矩相对应的第三数值，所述第三数值为该U矩、将xi代入与该U矩对应的那组基函数中的第一基函数后所得数值、将yj代入与该U矩对应的那组基函数中的第二基函数后所得数值三者之间的乘积，每组基函数包括第一基函数和第二基函数；
对确定出的与各个U矩相对应的第三数值求和，得出该像素点(xi,yj)的重构后的像素值。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-5中任一项所述方法的步骤。
8.一种电子设备，其特征在于，包括：
权利要求7中所述的计算机可读存储介质；以及
一个或者多个处理器，用于执行所述计算机可读存储介质中的程序。
CN201710642440.0A 2017-07-31 2017-07-31 图像处理方法、装置、计算机可读存储介质及电子设备 Active CN107424190B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710642440.0A CN107424190B (zh) 2017-07-31 2017-07-31 图像处理方法、装置、计算机可读存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710642440.0A CN107424190B (zh) 2017-07-31 2017-07-31 图像处理方法、装置、计算机可读存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN107424190A CN107424190A (zh) 2017-12-01
CN107424190B true CN107424190B (zh) 2020-05-01

Family

ID=60431622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710642440.0A Active CN107424190B (zh) 2017-07-31 2017-07-31 图像处理方法、装置、计算机可读存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN107424190B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899888A (zh) * 2015-06-18 2015-09-09 大连理工大学 一种基于Legendre矩的图像亚像素边缘检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899888A (zh) * 2015-06-18 2015-09-09 大连理工大学 一种基于Legendre矩的图像亚像素边缘检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Zernike Moment Phase-Based Descriptor for Local Image Representation and Matching;Zen Chen;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20100131;第19卷(第1期);全文 *
三维U***矩描述子及其快速算法;刘玉杰等;《计算机工程与应用》;20060831;第1111-1116页 *
基于泊松方程-U***矩描述子的形状分类方法;邹建成;《万方会议数据库》;20090515;第639-643页 *
邹建成.基于泊松方程-U***矩描述子的形状分类方法.《万方会议数据库》.2009,第639-643页. *

Also Published As

Publication number Publication date
CN107424190A (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
CN108961303B (zh) 一种图像处理方法、装置、电子设备和计算机可读介质
EP3525138A1 (en) Operation apparatus, operation execution device, operation excecution method and non-transitory computer-readable storage medium
CN111401550A (zh) 神经网络模型量化方法、装置及电子设备
CN109753910B (zh) 关键点提取方法、模型的训练方法、装置、介质及设备
CN109658346B (zh) 图像修复方法、装置、计算机可读存储介质及电子设备
US10832034B2 (en) Facial image generating method, facial image generating apparatus, and facial image generating device
CN111105375B (zh) 图像生成方法及其模型训练方法、装置及电子设备
CN109859314B (zh) 三维重建方法、装置、电子设备和存储介质
CN111105017B (zh) 神经网络量化方法、装置及电子设备
CN109284761B (zh) 一种图像特征提取方法、装置、设备及可读存储介质
CN108363559B (zh) 神经网络的乘法处理方法、设备和计算机可读介质
CN109409321B (zh) 一种镜头运动方式的确定方法及装置
CN111028279A (zh) 点云数据处理方法及装置、电子设备和存储介质
CN109697446B (zh) 图像关键点提取方法、装置、可读存储介质及电子设备
CN112950640A (zh) 视频人像分割方法、装置、电子设备及存储介质
CN110647508B (zh) 数据压缩方法、数据解压缩方法、装置及电子设备
WO2017070841A1 (zh) 图像处理方法和装置
CN114693934A (zh) 语义分割模型的训练方法、视频语义分割方法及装置
US10445921B1 (en) Transferring motion between consecutive frames to a digital image
Xu et al. Signprox: One-bit proximal algorithm for nonconvex stochastic optimization
CN113592881A (zh) 图片指代性分割方法、装置、计算机设备和存储介质
CN107424190B (zh) 图像处理方法、装置、计算机可读存储介质及电子设备
Farchi et al. Integer-only cross field computation
CN111160554A (zh) 信息处理方法及装置、电子设备和存储介质
WO2023082089A1 (zh) 一种三维重建方法、装置、设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant