CN117291857B - 图像处理方法、摩尔纹消除方法、设备及装置 - Google Patents

Abstract

本发明提供一种图像处理方法、摩尔纹消除方法、设备及装置，属于图像处理领域，图像处理方法包括：获得显示屏在摆放精度之内的至少一个倾斜角度下相对取像设备平移多次得到的多组取像图像；每组取像图像为所述显示屏在当前摆放的倾斜角度下经过相对取像设备平移多次得到的多张取像图像；基于多组取像图像进行运算得到对应倾斜角度下消除摩尔纹之后的真值图；根据所述多组取像图像和所述真值图对图像处理模型进行训练，得到训练好的图像处理模型；训练好的图像处理模型用于消除取像图像的摩尔纹。本发明降低了摩尔纹消除成本，简化了摩尔纹消除步骤且保证了摩尔纹消除精度。

Description

图像处理方法、摩尔纹消除方法、设备及装置

技术领域

本发明属于图像处理领域，更具体地，涉及一种图像处理方法、摩尔纹消除方法、设备及装置。

背景技术

对电视、电脑或公共场合的显示屏拍照时常常会在照片上出现波纹图案，降低了照片的图像质量。这是因为拍照的相机像素阵列会与屏幕的亚像素布局发生干涉。显示屏和摄像头感光芯片都是由一个个小元件组成的阵列，显示屏通常由红绿蓝三色构成的显示单元整齐排列构成，形成具有周期性的结构。相机摄像头的感光芯片由一个个感光单元排列组成，也具有周期性结构，图像传感器接收到的像素排列与显示器上的像素排列错位从而显示出摩尔纹。摩尔纹图案叠加在原图上，对于用户使用产生干扰。

一般图像的噪声通常是低频信息，而图像的细节信息大多隐含在高频信息里，所以易分离噪声。但摩尔纹较特殊，它广泛地存在于高频与低频信息中，所以不能通过简单的信号处理过滤掉，除此之外摩尔纹还会导致原图像色彩扭曲，摩尔纹是一种混叠干扰噪声，它的结构与场景信息、相机采样频率等相关，不同场景下摩尔纹形状不同，没有明显的分布规律，这些特点都加剧了摩尔纹的消除难度。

现有消除摩尔纹的方法有一种采用像素平移（Pixel Shift，PS）的方式，通过多次微调相机内图像传感器的位置，使得多次取图得到的图像之间存在PS，之后在一个像素内多次取图求平均，可以得到抑制摩尔纹的效果。但是由于微调图像传感器所需要的控制精度非常高，会导致相机的造价成本大大增加。另外，由于每次消除摩尔纹时都需要进行多次像素平移和取像，导致整个消除过程操作繁琐，耗时较长。因此，此摩尔纹消除方法无法得到广泛的适用，需要研究出一种摩尔纹消除耗时短、造价成本低且操作简单的方法。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种图像处理方法、摩尔纹消除方法、设备及装置，旨在解决现有摩尔纹消除方法耗时长、相机的造价成本高且操作繁琐的问题。

为实现上述目的，第一方面，本发明提供了一种用于消除摩尔纹的图像处理方法，包括：

获得显示屏在摆放精度之内的至少一个倾斜角度下相对取像设备平移多次得到的多组取像图像；每组取像图像为所述显示屏在当前摆放的倾斜角度下经过相对取像设备平移多次得到的多张取像图像；

基于所述多组取像图像进行运算得到对应倾斜角度下消除摩尔纹之后的真值图；

根据所述多组取像图像和所述真值图对图像处理模型进行训练，得到训练好的图像处理模型；所述训练好的图像处理模型用于消除取像图像的摩尔纹。

其中，真值图指的是消除或减弱摩尔纹之后的图像。在不同的场景下，本领域技术人员通常也称真值图为目标值、真实值或标签值等等。

需要说明的是，本发明通过对显示屏进行平移，替代对取像设备内部图像传感器的微调，实现了像素平移，以获取图像传感器的训练样本。本领域技术人员可知，由于取像设备具有放大倍率，使得显示屏移动距离M1时，取像图像上显示屏对应的像素位置移动距离M2，M2=M1×d，d为取像镜头的放大倍率。本发明控制显示屏平移实现像素平移，一方面不用在取像设备上微调图像传感器，不需要对取像设备进行改进，不会增加取像设备的造价成本；另一方面由于是控制显示屏的平移，当d小于1时，显示屏的平移距离大于微调图像传感器的距离，因此对控制精度的要求将有所降低。

进一步地，本发明通过训练好图像处理模型，以便后续直接对显示屏取像后，将取像图像输入到训练好的图像处理模型即可得到消除摩尔纹后的图像，操作方便快捷。

另外，本发明还考虑了显示屏的摆放误差，在获取训练样本时，获得显示屏在摆放精度之内的至少一个倾斜角度下平移的多组取像图像，将摆放精度内的摆放误差考虑在内，使得图像处理模型能够充分学习训练不同摆放角度下的摩尔纹情况，训练得到的图像处理模型能够对摆放精度内不同倾斜角度下的摩尔纹进行消除，实现了高精度的摩尔纹快速消除。

可以理解的是，即便是按照预设方向摆放显示屏，不同次摆放时也可能会存在摆放精度内的误差，因此可以通过多次摆放，获取摆放精度之内的至少一个倾斜角度下的平移图像，将摆放误差考虑在内。

具体地，本领域技术人员可以在摆放精度之内多次摆放显示屏，之后控制其平移，以来获取摆放精度之内的至少一个倾斜角度下平移的多组取像图像。例如，控制显示屏按照预设方向摆放时，在摆放精度之内，多次按照预设方向摆放显示屏，之后控制其平移。

需要进一步说明的是，本发明提到的图像处理模块可以通过神经网络等实现，具体的网络结构可参见现有技术的记载。本领域技术人员可以在现有技术范围合理选择合适的神经网络实现图像处理模块的功能。

在一种可能的实现方式，所述运算包括：对所述多组取像图像对应的像素值进行求和。

在一种可能的实现方式，获得显示屏在摆放精度之内的至少一个倾斜角度下相对取像设备平移多次得到的多组取像图像，包括：

获取显示屏在在摆放精度之内的至少一个倾斜角度下相对取像设备按照预设平移方式进行多次平移后的多组取像图像；每次平移的距离应该使得不同取像图像在取像设备感光芯片上的成像位置满足以下关系：S=A×S1+N×S1，0<A<1，N为自然数，S为不同取像图像在取像设备感光芯片上相对于初始位置的移动距离，S1为在取像设备感光芯片上取像图像沿着图像移动方向上的周期，每次平移的距离中A的取值均不一样。

可以理解的是，A×S1限定取像图像在感光芯片上移动单个周期之内的距离，N×S1限定取像图像在感光芯片上移动单个周期的自然数倍数的距离。若两次移动，取像图像在感光芯片上移动的距离相差单个周期的自然数倍数，则两次移动得到的摩尔纹基本不发生变化。因此每次移动需要保证A不一样，使得多次移动得到的取像图像上的摩尔纹均发生变化，以便基于多次移动得到的取像图像运算得到真值图，即得到消除或减弱摩尔纹之后的图像。

具体地，多次平移对应的A可以分别是：0.05,0.2,0.4,0.6,0.85...；也可以分别是0.11,0.12,0.35,0.5,0.55...；或者是0.1,0.2,0.3,0.4,0.5...；即A可以是任意取值，只要不重复即可，不需要规律变化。

另外，本领域技术人员可知，当每组取像图像取的图像越多，对应得到的真值图的精度越高，相应训练得到的图像处理模块的精度越高；同理，当摆放精度内获取的不同倾斜角度的取像图像样本越多，训练得到的图像处理模型越能够消除摆放精度内摆放误差带来的摩尔纹差距，精准消除摆放误差带来的摩尔纹误差。

在一种可能的实现方式，所述预设平移方式包括以下方式中的至少一种：水平方向平移、垂直方向平移、水平方向和垂直方向交替平移或水平方向和垂直方向同时平移。

示例地，当按照水平方向平移、垂直方向平移或水平和垂直方向交替平移时，在取像设备感光芯片上取像图像沿着图像移动方向上的周期为一个像素的边长；当按照水平方垂直方向同时平移且保持一定比例时，在取像设备感光芯片上取像图像沿着图像移动方向上的周期为一个像素的对角线长。

在一种可能的实现方式，所述训练好的图像处理模型被部署到所述取像设备的运算模块中。

可以理解的是，训练后的图像处理模型被部署到取像设备的运算模块，以在取像设备内消除摩尔纹后输出，实现低成本且快捷消除摩尔纹。

第二方面，本发明提供了一种摩尔纹消除方法，包括：

获取显示屏的取像图像；

将所述取像图像输入到第一方面或第一方面的任一种可能的实现方式所描述的方法得到的训练好的图像处理模型，得到消除摩尔纹的图像。

具体地，当图像处理模型完成训练后，在实际应用场景中，只需要获取一次取像图像，将其输入到训练好的图像处理模型，即可实时获得消除摩尔纹后的图像。

可以理解的是，图像处理模型的训练过程可在运算功能强大的计算机上进行，而训练得到的图像处理模型可以部署在取像设备或者其他对运算功能要求不高的计算设备上，以便应用训练好的图像处理模型对训练过的场景内的图像消除摩尔纹。

第三方面，本发明提供了一种取像设备，包括：

图像处理模块，所述图像处理模块部署有第一方面或第一方面的任一种可能的实现方式所描述的方法得到的训练好的图像处理模型。

第四方面，本发明提供了一种摩尔纹消除装置，包括：承载台、取像设备以及图像处理模块；

所述承载台，用于承载显示屏；

所述取像设备，用于获取显示屏的取像图像；

所述图像处理模块，用于基于第一方面或第一方面的任一种可能的实现方式所描述的方法得到的训练好的图像处理模型消除所述取像图像的摩尔纹。

进一步地，所述承载台，还用于控制显示屏在摆放精度之内的至少一个倾斜角度下相对取像设备多次平移，以便获取所述图像处理模型的训练样本。

进一步地，所述承载台控制显示屏的平移方式包括以下方式中的至少一种：水平方向平移、垂直方向平移、水平方向和垂直方向交替平移或水平方向和垂直方向同时平移。

第五方面，本发明提供了一种电子设备，包括：

至少一个存储器，用于存储程序；

至少一个处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于执行如第一方面、第一方面的任一种可能的实现方式或第二方面所描述的方法。

第六方面，本发明提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，当计算机程序在处理器上运行时，使得处理器执行第一方面或第一方面的任一种可能的实现方式所描述的方法。

第七方面，本发明提供一种计算机程序产品，当计算机程序产品在处理器上运行时，使得处理器执行第一方面或第一方面的任一种可能的实现方式所描述的方法。

可以理解的是，上述第三方面至第七方面的有益效果可以参见上述第一方面和第二方面中的相关描述，在此不再赘述。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

本发明提供一种图像处理方法、摩尔纹消除方法、设备及装置，对显示屏进行多次平移，并对摆放精度内的至少一个倾斜角度下多次平移得到的取像图像运算得到真值图，以获取图像处理模块的训练样本，以便基于训练好的图像处理模块消除取像图像的摩尔纹；本发明不需要在取像设备端微调图像传感器实现像素平移，降低了成本；也不需要每次消除摩尔纹时平移多次求平均，仅取单张图像输入到训练好的图像处理模型即可得到消除摩尔纹的图像，大大简化了摩尔纹消除步骤。

本发明提供一种图像处理方法、摩尔纹消除方法、设备及装置，对于给定的显示屏和取像设备，在显示屏倾斜角度的摆放精度内，多次装载显示屏得到至少一个倾斜角度下的训练样本，使得图像处理模型能够充分学习摆放精度内不同摆放误差情况下的摩尔纹，使得训练好的图像处理模型能够准确消除摩尔纹，不受摆放误差影响。

本发明提供一种图像处理方法、摩尔纹消除方法、设备及装置，可以将训练所得的图像处理模型部署到取像设备的运算模块或图像处理模块中，对产线应用的图像即时进行运算，从而输出消除了摩尔纹的图像，实现即时高效消除摩尔纹，在基本不增加取像设备成本的情况下大大提升了取像设备的功能。

附图说明

图1是本发明实施例提供的用于摩尔纹消除的图像处理方法的流程示意图；

图2是本发明实施例提供的图像处理模型的采样和训练示意图；

图3是本发明实施例提供的摩尔纹消除方法的流程示意图；

图4是本发明实施例提供的图像处理模型部署在取像设备的运算模块的示意图；

图5是本发明实施例提供的显示屏的装载误差示意图；

图6是本发明实施例提供的取像设备的架构图；

图7是本发明实施例提供的摩尔纹消除装置的架构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

首先，对本发明实施例中涉及的技术术语进行介绍。

（1）摩尔纹

摩尔纹是指的是取像设备拍摄的取像图像中出现的低频或高频的干扰条纹。

（2）取像设备

取像设备指的是任何能够获取物体照片的设备；例如：相机或扫描仪等。

接下来，对本发明实施例中提供的技术方案进行介绍。

图1是本发明实施例提供的用于摩尔纹消除的图像处理方法的流程示意图；如图1所示，包括如下步骤：

S101，获得显示屏在摆放精度之内的至少一个倾斜角度下相对取像设备平移多次得到的多组取像图像；每组取像图像为所述显示屏在当前摆放的倾斜角度下经过相对取像设备平移多次得到的多张取像图像；

S102，基于所述多组取像图像进行运算得到对应倾斜角度下消除摩尔纹之后的真值图；

S103，根据所述多组取像图像和所述真值图对图像处理模型进行训练，得到训练好的图像处理模型；所述训练好的图像处理模型用于消除取像图像的摩尔纹。

本发明通过对显示屏的平移，替代取像设备内图像传感器的平移，极大降低了成本。图像处理模型的训练样本涵盖了摆放精度内不同倾斜角度下的样本，使得训练好的图像处理模型能够充分考虑摆放误差，实现摩尔纹的高效精准消除。

示例性的，当显示屏类型改变时，更新相应的训练样本，即可实现对图像处理模型的快速更新，可以快速适应新的显示屏类型。

图2是本发明实施例提供的图像处理模型的采样和训练示意图；如图2所示，在摆放精度内的每一个倾斜角度α₁、α₂...、α_n下，平移多次，得到一组取像图像，之后对每组取像图像求平均，得到该倾斜角度下取像图像的真值图，即得到取像图像的消除摩尔纹后的图像。

进一步地，将每个倾斜角度下的一组取像图像和对应的真值图输入到图像处理模块，使得其学习各个倾斜角度下每张取像图像和真值图之间的映射关系，得到训练好的图像处理模型，以供后续部署和应用。

图3是本发明实施例提供的摩尔纹消除方法的流程示意图；如图3所示，包括如下步骤：

S301，获取显示屏的取像图像；

S302，将所述取像图像输入到图1所描述的方法得到的训练好的图像处理模型，得到消除摩尔纹的图像。

可以理解的是，训练好的图像处理模块可以部署在取像设备外面，也可以部署在取像设备内部的运算模块中。下面以部署在取像设备内部为例进行展开说明。

图4是本发明实施例提供的图像处理模型部署在取像设备的运算模块的示意图；参见图4可知，将训练后的图像处理模块部署到取像设备端，可以直接在取像设备内的运算模块进行摩尔纹消除，之后输出消除或减弱摩尔纹后的图像。

图5是本发明实施例提供的显示屏的装载误差示意图；如图5所示，多次按照预设方向装载显示屏时，人工误差不可避免会产生角度偏移α。不过不同角度偏移造成的摩尔纹变化可通过图像处理模型找到其规律。因此，上述角度偏移需要控制在摆放精度内，当摆放精度为±1°时，角度偏移可以控制在±1°以内，同时采集足够的平移取像图像，并求取对应的真值图以进行图像处理模块的训练以便后期实时消除摩尔纹。

图6是本发明实施例提供的取像设备的架构图；如图6所示，包括：图像处理模块610，其部署有图1所描述的方法得到的训练好的图像处理模型。

其中，取像设备内的运算模块也可称为图像处理模块，或者可按照本领域技术人员的其他习惯命名为其他合适的名称。

图7是本发明实施例提供的摩尔纹消除装置的架构图；如图7所示，包括：承载台710、取像设备720以及图像处理模块730；

其中，承载台710，用于承载显示屏；

取像设备720，用于获取显示屏的取像图像；

图像处理模块730，用于基于图1所描述的方法得到的训练好的图像处理模型消除所述取像图像的摩尔纹。

承载台710，还用于控制显示屏在摆放精度之内的至少一个倾斜角度下相对取像设备多次平移，以便获取所述图像处理模型730的训练样本。

可以理解的是，本发明所用到的承载台710是任何能够承载显示屏，并控制显示屏进行水平方向和/或垂直方向移动的设备或装置。本发明所用到的取像处理模块可以是实体模块或者是任务部署在任意硬件设备中的虚拟模块，本领域技术人员可以根据实际需要进行选择。

应当理解的是，上述装置用于执行上述实施例中的方法，装置中相应的程序模块，其实现原理和技术效果与上述方法中的描述类似，该装置的工作过程可参考上述方法中的对应过程，此处不再赘述。

基于上述实施例中的方法，本发明实施例提供了一种电子设备。该设备可以包括：至少一个用于存储程序的存储器和至少一个用于执行存储器存储的程序的处理器。其中，当存储器存储的程序被执行时，处理器用于执行上述实施例中所描述的方法。

基于上述实施例中的方法，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，当计算机程序在处理器上运行时，使得处理器执行上述实施例中的方法。

基于上述实施例中的方法，本发明实施例提供了一种计算机程序产品，当计算机程序产品在处理器上运行时，使得处理器执行上述实施例中的方法。

可以理解的是，本发明实施例中的处理器可以是中央处理单元(centralprocessing unit，CPU)或图像处理单元(graphics processing unit，GPU)，还可以是其他通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(fieldprogrammable gate array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。通用处理器可以是微处理器，也可以是任何常规的处理器。

本发明实施例中的方法步骤可以通过硬件的方式来实现，也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(random access memory，RAM)、闪存、只读存储器(read-only memory，ROM)、可编程只读存储器(programmable rom，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

可以理解的是，在本发明实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本发明的实施例的范围。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种用于消除摩尔纹的图像处理方法，其特征在于，包括：

获得显示屏在摆放精度之内的至少一个倾斜角度下相对取像设备平移多次得到的多组取像图像；每组取像图像为所述显示屏在当前摆放的倾斜角度下经过相对取像设备平移多次得到的多张取像图像，所述平移多次需要保证多张取像图像上的摩尔纹均发生变化；

基于所述多组取像图像进行运算得到对应倾斜角度下消除摩尔纹之后的真值图；

根据所述多组取像图像和所述真值图对图像处理模型进行训练，得到训练好的图像处理模型；所述训练好的图像处理模型用于消除取像图像的摩尔纹。

2.根据权利要求1所述的方法，其特征在于，所述运算包括：对所述多组取像图像对应的像素值进行求和。

3.根据权利要求1所述的方法，其特征在于，获得显示屏在摆放精度之内的至少一个倾斜角度下相对取像设备平移多次得到的多组取像图像，包括：

获取显示屏在在摆放精度之内的至少一个倾斜角度下相对取像设备按照预设平移方式进行多次平移后的多组取像图像；每次平移的距离应该使得不同取像图像在取像设备感光芯片上的成像位置满足以下关系：S=A×S1+N×S1，0<A<1，N为自然数，S为不同取像图像在取像设备感光芯片上相对于初始位置的移动距离，S1为在取像设备感光芯片上取像图像沿着图像移动方向上的周期，每次平移的距离中A的取值均不一样。

4.根据权利要求3所述的方法，其特征在于，所述预设平移方式包括以下方式中的至少一种：水平方向平移、垂直方向平移、水平方向和垂直方向交替平移或水平方向和垂直方向同时平移。

5.根据权利要求1所述的方法，其特征在于，所述训练好的图像处理模型被部署到所述取像设备的运算模块中。

6.一种摩尔纹消除方法，其特征在于，包括：

获取显示屏的取像图像；

将所述取像图像输入到权利要求1至5任一项所述方法得到的训练好的图像处理模型，得到消除摩尔纹的图像。

7.一种取像设备，其特征在于，包括：

图像处理模块，所述图像处理模块部署有权利要求1至5任一项所述方法得到的训练好的图像处理模型。

8.一种摩尔纹消除装置，其特征在于，包括：承载台、取像设备以及图像处理模块；

所述承载台，用于承载显示屏；

所述取像设备，用于获取显示屏的取像图像；

所述图像处理模块，用于基于权利要求1至5任一项所述方法得到的训练好的图像处理模型消除所述取像图像的摩尔纹。

9.根据权利要求8所述的装置，其特征在于，所述承载台，还用于控制显示屏在摆放精度之内的至少一个倾斜角度下相对取像设备多次平移，以便获取所述图像处理模型的训练样本。

10.根据权利要求9所述的装置，其特征在于，所述承载台控制显示屏的平移方式包括以下方式中的至少一种：水平方向平移、垂直方向平移、水平方向和垂直方向交替平移或水平方向和垂直方向同时平移。

11.一种电子设备，其特征在于，包括：

至少一个存储器，用于存储程序；

至少一个处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于执行如权利要求1-5任一项或权利要求6所述的方法。