CN114240794A - 图像处理方法、***、设备及存储介质 - Google Patents

图像处理方法、***、设备及存储介质 Download PDF

Info

Publication number
CN114240794A
CN114240794A CN202111576172.XA CN202111576172A CN114240794A CN 114240794 A CN114240794 A CN 114240794A CN 202111576172 A CN202111576172 A CN 202111576172A CN 114240794 A CN114240794 A CN 114240794A
Authority
CN
China
Prior art keywords
image
format
reversible
model
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111576172.XA
Other languages
English (en)
Inventor
王诗韵
李瑮
毛晓蛟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Keda Technology Co Ltd
Original Assignee
Suzhou Keda Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Keda Technology Co Ltd filed Critical Suzhou Keda Technology Co Ltd
Priority to CN202111576172.XA priority Critical patent/CN114240794A/zh
Publication of CN114240794A publication Critical patent/CN114240794A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种图像处理方法、***、设备及存储介质，所述方法包括：获取一可逆图像转换模型，其用于将图像在第一格式和第二格式之间转换；采集第二格式的第一图像，并基于所述可逆图像转换模型获取第一格式的第一图像；采用预设图像处理算法的逆向算法处理所述第一格式的第一图像，得到第一格式的第二图像，并基于所述可逆图像转换模型获取第二格式的第二图像；基于所述第二格式的第二图像和所述第二格式的第一图像训练所述图像处理模型；将第二格式的待处理图像输入训练好的图像处理模型，得到第二格式的处理后图像。通过采用本发明，可以得到用于训练图像处理模型的第二格式的第二图像和第一图像，提升图像处理模型的处理效果。

Description

图像处理方法、***、设备及存储介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种图像处理方法、***、设备及存储介质。
背景技术
在许多图像处理算法中，如图像白平衡、图像去噪等领域内，未经任何处理的Raw图像是图像处理算法中最重要的数据输入部分。但是CMOS(Complementary Metal OxideSemiconductor，互补金属氧化物导体)传感器采集到的原始Raw图像一般尺寸比较大，且占用较大的存储空间，对于一些低配置的移动端设备难以直接获取到原始Raw图像，且人工采集Raw图像，时间成本往往是巨大的，限制了图像处理算法的使用场景。
另外，在基于深度学***衡算法，其目标图像较难获取，由于镜头的摆放和景深，导致采集到的图像是存在像素偏差的且对于遮挡的物体往往会存在一定程度的深度误差，无法采集到相匹配的存在色偏的图像以及对应的正常色温下的图像。一般情况下，上述问题可以通过图像对齐的方式进行解决，但是使用该方法对齐后，目标图像与源图像之间仍然存在细微的误差，导致经过白平衡后的图像会存在模糊的现象。另外，可以通过在源RGB图像上增加色温变化实现色偏图像的合成，然后再将源RGB图像作为目标图像组成图像对，实现图像白平衡模型的训练，但是该方法合成的色偏图像与真实世界的色偏图像存在较大的差别，导致模型的泛化能力较差。
发明内容
针对现有技术中的问题，本发明的目的在于提供一种图像处理方法、***、设备及存储介质，基于可逆图像转换模型可以得到用于训练图像处理模型的第二格式的第二图像和第一图像，提升图像处理模型的处理效果，并且解决数据采集问题。
本发明实施例提供一种图像处理方法，包括如下步骤：
获取一可逆图像转换模型，所述可逆图像转换模型用于将图像在第一格式和第二格式之间转换；
采集第二格式的第一图像，并基于所述可逆图像转换模型获取第一格式的第一图像；
采用预设图像处理算法的逆向算法处理所述第一格式的第一图像，得到第一格式的第二图像，并基于所述可逆图像转换模型获取第二格式的第二图像；
基于所述第二格式的第二图像和所述第二格式的第一图像训练所述图像处理模型；
将第二格式的待处理图像输入训练好的图像处理模型，得到第二格式的处理后图像。
本发明提供了一种图像处理方法，首先获取到可逆图像转换模型，然后将第二格式的第一图像基于上一步获取的可逆图像转换模型得到第一格式的第一图像，然后对第一格式的第一图像进行逆向处理，得到第二格式的第二图像，由此，采集的第二格式的第一图像和获取的第二格式的第二图像可以用于图像处理模型的训练，有利于提高图像处理模型训练的效果，使得图像处理模型可以获得更好的图像处理结果，然后采用训练好的图像处理模型对第二格式的待处理图像进行处理，即得到第二格式的处理后图像，提高了图像处理模型的输出图像效果。同时，通过采用该方法，只需要在图像处理模型的训练阶段只需要采集第二格式的第一图像，而无需采集第一格式的第一图像，解决了一些设备难以直接采集到准确对应的第一格式的第一图像的问题。
在一些实施例中，所述可逆图像转换模型的正向过程将图像从第一格式转换为第二格式，反向过程将图像从第二格式转换为第一格式；
基于所述可逆图像转换模型获取第一格式的第一图像，包括：将所述第二格式的第一图像输入所述可逆图像转换模型的反向过程，得到所述反向过程输出的第一格式的第一图像；
基于所述可逆图像转换模型获取第二格式的第二图像，包括：将所述第一格式的第二图像输入所述可逆图像转换模型的正向过程，得到所述正向过程输出的第二格式的第二图像。
在一些实施例中，所述获取一可逆图像转换模型，包括如下步骤：
构建一可逆图像转换模型；
采集第一格式的第三图像和第二格式的第三图像，分别作为可逆图像转换模型的正向过程的输入图像和目标图像，训练所述可逆图像转换模型。
在一些实施例中，训练所述可逆图像转换模型之后，还包括如下步骤：
采集第一格式的第四图像和第二格式的第五图像，所述第二格式的第五图像为第二格式的第四图像经过预设图像处理算法的逆向算法处理得到的图像；
将所述第一格式的第四图像采用预设图像处理算法的逆向算法进行处理，得到第一格式的第五图像；
将所述第一格式的第五图像和所述第二格式的第五图像分别作为所述可逆图像转换模型的正向过程的输入图像和目标图像，再次训练所述可逆图像转换模型。
在一些实施例中，所述构建一可逆图像转换模型包括：构建可逆子模块，将多个所述可逆子模块依次串联形成一可逆图像转换模型。
在一些实施例中，基于所述第二格式的第二图像和所述第二格式的第一图像训练所述图像处理模型，包括如下步骤：
构建图像处理模型；
将所述第二格式的第二图像和所述第二格式的第一图像分别作为图像处理模型的输入图像和目标图像，训练所述图像处理模型。
在一些实施例中，所述第一格式为raw格式，所述第二格式为RGB格式；
所述预设图像处理算法包括图像白平衡算法、图像去噪算法、图像增强算法和图像去模糊算法中的至少一种。
本发明实施例还提供一种图像处理***，应用于所述的图像处理方法，所述***包括：
第一模型获取模块，用于获取一可逆图像转换模型，所述可逆图像转换模型用于将图像在第一格式和第二格式之间转换；
第一图像处理模块，用于采集第二格式的第一图像，并基于所述可逆图像转换模型获取第一格式的第一图像；以及采用预设图像处理算法的逆向算法处理所述第一格式的第一图像，得到第一格式的第二图像，并基于所述可逆图像转换模型获取第二格式的第二图像；
第二模型获取模块，用于基于所述第二格式的第二图像和所述第二格式的第一图像训练所述图像处理模型；
第二图像处理模块，用于将第二格式的待处理图像输入训练好的图像处理模型，得到第二格式的处理后图像。
本发明实施例还提供一种图像处理设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行所述的图像处理方法的步骤。
通过采用本发明所提供的图像处理设备，所述处理器在执行所述可执行指令时执行所述的图像处理方法，由此可以获得上述图像处理方法的有益效果。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被处理器执行时实现所述的图像处理方法的步骤。
通过采用本发明所提供的计算机可读存储介质，其中存储的程序在被执行时实现所述的图像处理方法的步骤，由此可以获得上述图像处理方法的有益效果。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是本发明一实施例的图像处理方法的流程图；
图2是本发明一实施例的可逆子模块的网络组成示意图；
图3是本发明一实施例的可逆图像转换模块的网络组成示意图，其中示出了正向过程；
图4是本发明一实施例的可逆图像转换模块的网络组成示意图，其中示出了反向过程；
图5是本发明一实施例的图像数据预处理的流程图；
图6是本发明一实施例的图像处理模块的网络组成示意图；
图7是本发明一实施例的图像处理模块中的残差块的网络组成示意图；
图8是本发明一实施例的图像处理***的示意图；
图9是本发明一实施例的图像处理设备的结构示意图；
图10是本发明一实施例的计算机存储介质的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
如图1所示，在一实施例中，本发明提供了一种图像处理方法，包括如下步骤：
S100：获取一可逆图像转换模型，所述可逆图像转换模型用于将图像在第一格式和第二格式之间转换；
S200：采集第二格式的第一图像，并基于所述可逆图像转换模型获取第一格式的第一图像；
S300：采用预设图像处理算法的逆向算法处理所述第一格式的第一图像，得到第一格式的第二图像，并基于所述可逆图像转换模型获取第二格式的第二图像；
S400：基于所述第二格式的第二图像和所述第二格式的第一图像训练所述图像处理模型；
S500：将第二格式的待处理图像输入训练好的图像处理模型，得到第二格式的处理后图像。
本发明提供了一种图像处理方法，首先通过步骤S100获取到可逆图像转换模型，通过步骤S200可以将第二格式的第一图像基于步骤S100获取的可逆图像转换模型得到第一格式的第一图像，然后通过步骤S300可以对第一格式的第一图像进行逆向处理，得到第二格式的第二图像，由此，步骤S200采集的第二格式的第一图像和步骤S300获取的第二格式的第二图像可以用于步骤S400中图像处理模型的训练，有利于提高图像处理模型训练的效果，使得图像处理模型可以获得更好的图像处理结果，然后通过步骤S500即可以采用训练好的图像处理模型对第二格式的待处理图像进行处理，得到第二格式的处理后图像，提高了图像处理模型的输出图像效果，并且只需要在图像处理模型的训练阶段只需要采集第二格式的第一图像，而无需采集第一格式的第一图像，解决了一些设备难以直接采集到准确对应的第一格式的第一图像的问题。
在本发明中，图像可以是第一格式或第二格式的，即图像可以以第一格式的数据来进行存储，也可以以第二格式的数据来进行存储。在本发明中，以第一格式存储的图像数据统称为第一格式的图像，以第二格式存储的图像数据统称为第二格式的图像。
在该实施例中，所述步骤S100中获取的可逆图像转换模型包括正向过程和反向过程。所述可逆图像转换模型的正向过程将图像从第一格式转换为第二格式，反向过程将图像从第二格式转换为第一格式。所述第一格式例如可以是raw格式，所述第二格式例如可以是RGB格式。以下以第一格式为raw格式，第二格式为RGB格式为例具体介绍该实施例的各个步骤的实现方式，但本发明不限于此。
在该实施例中，所述预设图像处理算法包括图像白平衡算法、图像去噪算法、图像增强算法和图像去模糊算法中的至少一种。例如，所述预设图像处理算法为图像白平衡算法时，所述图像处理模型即为白平衡处理模型，所述预设图像处理算法的逆向算法为增加色偏的算法。所述预设图像处理算法为图像去噪算法时，所述图像处理模型即为图像去噪处理模型，所述预设图像处理算法的逆向算法为增加噪声的算法。所述预设图像处理算法为图像去模糊算法时，所述图像处理模型即为图像去模糊模型，所述预设图像处理算法的逆向算法为模糊算法。以下以所述预设图像处理算法为图像白平衡算法为例进行说明，但本发明不限于此。
在该实施例中，所述步骤S100：获取一可逆图像转换模型，包括如下步骤：
构建一可逆图像转换模型，所述可逆图像转换模型可以采用可逆流模型的结构，其中包括至少一个可逆子模块W110，所述可逆子模块的结构例如图2所示，包括一个1x1卷积层，然后连接并联的分离层1和分离层2，分离层2经过耦合层1后输入相加层1，分离层1的输出连接于相加层1的输入，相加层1的输出通过分离层3后分别连接耦合层2的输入和耦合层3的输入，耦合层2的输出依次经过点乘层1、相加层2输入分离层4，耦合层3的输出输入相加层2，耦合层3和分离层4的输出叠加后作为可逆子模块的输出，图2中示出的可逆子模块的结构仅为示例，其他可以实现可逆的神经网络模块也可以应用于本发明的可逆图像转换模型；
由于单个可逆子模块的表征能力是有限的，如图3和图4所示，所述可逆图像转换模型W100可选地包括多个可逆子模块W110，并且多个可逆子模块W110彼此串联，通过串联可逆子模块W110能够增加网络的表征能力，并且由于单个可逆子模块W110是可逆的，整个图像转换模型W100也是可逆的，因此，能够实现图像处理的正向过程(如图3所示)和反向过程(如图4所示)；其中可逆子模块的数量N是任意的，可根据运行时间以及网络的复杂度任意调整，一般来说可逆子模块的数量越多，运行时间越久，网络的复杂度越大，可处理的图像越复杂；
采集第一格式的第三图像和第二格式的第三图像，分别作为可逆图像转换模型的正向过程的输入图像和目标图像，训练所述可逆图像转换模型；
在采集第一格式的第三图像和第二格式的第三图像时，例如可以将不同摄像机等移动端采集到的不同光照、不同场景以及不同曝光时间的raw图像以及对应的RGB图像进行配对，将其作为可逆图像转换模型的正向过程的输入图像和目标图像，其中，通过摄像机直接采集的raw图像作为可逆图像转换模型的正向过程的输入图像，通过摄像机直接采集的RGB图像作为可逆图像转换模型的反向过程的目标图像，从而实现对可逆图像转换模型的正向过程的训练，由于该图像转换模型是可逆的，只要训练完成正向过程，其反向过程也可以被应用于图像的反向格式转换。
在该实施例中，所述第三图像是通过摄像机直接获取的，不同的CMOS传感器获得的raw图像的黑电平、有效位数是不一样的，通过对数据进行预处理操作能够稳定模型的训练并且提升模型的鲁棒性。一般情况下，图像处理算法的输出是8bit，数值范围在0-255之间，而CMOS传感器数据一般是12bit或16bit，数值范围在0-4095或0-65535之间，直接使用原始的raw图像进行训练会增加可逆图像转换模型的结构调优的难度，因为从原始的12bit或16bit学习到8bit的映射范围较大，可逆图像转换模型的训练极容易陷入局部最优或不收敛。通过对raw图像进行相关的预处理操作，得到归一化后的数据，其数值范围在0-1之间，网络的输出的数值范围也固定在0-1之间，然后再经过系数的相乘转换为255，可以减少训练的难度，使可逆图像转换模型更易收敛。
因此，在所述步骤S100中，采集第一格式的第三图像和第二格式的第三图像之后，在训练所述可逆图像转换模型之前，还可以包括对所述第一格式的第三图像进行数据预处理的过程。图5中示例性地示出了raw格式的第三图像的预处理的过程，包括：水平或垂直翻转实现数据增广、bayer格式统一、将raw图像拆分成多通道(Pack Raw)、图像进行随机裁剪、归一化处理，有利于提高后续训练的可逆图像转换模型的鲁棒性。
在该实施例中，在步骤S100中，训练所述可逆图像转换模型所采用的低照损失函数由像素损失函数、高层语义损失函数以及图像质量的损失函数三部分构成，表达式如下所示：
Figure BDA0003424835530000081
其中，α1、α2以及α3分别为像素损失函数、高层语义损失函数以及图像质量的损失函数的权重；y代表可逆图像转换模型的正向过程的输出像素值；
Figure BDA0003424835530000082
代表输入的第一格式的第三图像对应的第二格式的第三图像的像素值；Lpixel代表像素损失函数,在像素级别上对图像进行约束；Lvgg代表高层语义损失函数，在颜色以及细节等方面对图像进行约束；Lssim代表图像质量的损失函数，对图像的整体质量进行约束，图像的风格更加符合人眼的感官感受。
Lpixel的表达式如下式所示：
Figure BDA0003424835530000083
Lvgg的表达式如下所示：
Figure BDA0003424835530000091
其中，
Figure BDA0003424835530000092
代表网络提取的特征向量，一般为VGG16的网络结构提取的特征向量，通过高层语义损失函数的约束，能够得到更加真实的输出图像，保留细节和颜色纹理。
Lssim的表达式如下所示：
Figure BDA0003424835530000093
其中，C1和C2为预设系数；uy为流模型网络的输出灰度平均值；
Figure BDA0003424835530000094
为输入的Raw图像对应的RGB图像的灰度平均值；σy为流模型网络的输出灰度标准差值；
Figure BDA0003424835530000095
为输入的Raw图像对应的RGB图像的灰度标准差值。
在该实施例中，所述步骤S100中，采集的第三图像为没有色偏的图像，即正常色温的图像，采用正常色温的raw图像(第一格式的第三图像)和正常色温的RGB图像(第二格式的第三图像)训练所述可逆图像转换模型之后，还可以进一步基于有色偏的raw图像和有色偏的RGB图像对所述可逆图像转换模型进行优化训练。即，所述步骤S100中，训练所述可逆图像转换模型之后之后，还包括如下步骤：
采集第一格式的第四图像和第二格式的第五图像，所述第二格式的第五图像为第二格式的第四图像经过预设图像处理算法的逆向算法处理得到的图像；
此次采集图像可以不再直接通过摄像机等设备来进行采集，而从一些公开的数据集中进行图像采集，例如，从Gehler数据集中获取色温正常的raw图像(第一格式的第四图像)和带色偏的RGB图像(第二格式的第五图像)，带色偏的RGB图像即为色温正常的raw图像进行色调调整(即预设图像处理算法的逆向算法)后的图像，带色偏的RGB图像的数据包括RGB图像中的像素值以及色偏所对应的各个通道的色调调整参数；
将所述第一格式的第四图像采用预设图像处理算法的逆向算法进行处理，得到第一格式的第五图像；
例如，将色温正常的raw图像采用与第二格式的第五图像的色调调整参数所对应的色温，根据色温曲线进行色调调整，得到带色偏的raw图像(第一格式的第五图像)；
将所述第一格式的第五图像和所述第二格式的第五图像分别作为所述可逆图像转换模型的正向过程的输入图像和目标图像，再次训练所述可逆图像转换模型；
例如，将带色偏的raw图像和带色偏的RGB图像分别作为所述可逆图像转换模型的正向过程的输入图像和目标图像，再次训练所述可逆图像转换模型，实现了带色偏raw图像到带色偏RGB图像的正向过程，实现采用该可逆图像转换模型能够生成更加真实的RGB图像。在此对于可逆图像转换模型的再次优化训练的过程中，所采用的损失函数同样可以包括上述像素损失函数、高层语义损失函数以及图像质量的损失函数的损失函数，并且可以采用上述对应损失函数的计算公式来进行计算。
所述步骤S200中，采集第二格式的第一图像，基于所述可逆图像转换模型获取第一格式的第一图像，包括：将所述第二格式的第一图像输入所述可逆图像转换模型的反向过程，得到所述反向过程输出的第一格式的第一图像。
例如，搜集大量高质量的正常色温下的RGB图像(第二格式的第一图像)，将其输入到所述可逆图像转换模型的反向过程中，生成对应的正常色温下的raw图像(第一格式的第一图像)，通过该步骤可以获得大量的正常色温的raw图像，然后通过步骤S300，基于色温曲线对这些正常色温的raw图像进行色调的调整(预设图像处理算法的逆向算法)，得到带色偏的raw图像，即第一格式的第二图像。
所述步骤S300中，基于所述可逆图像转换模型获取第二格式的第二图像，包括：将所述第一格式的第二图像输入所述可逆图像转换模型的正向过程，得到所述正向过程输出的第二格式的第二图像。
例如，将基于色温曲线进行色调调整后的带色偏的raw图像输入到可逆图像转换模型的正向过程，通过该正向过程，得到其输出的大量带色偏的RGB图像，即第二格式的第二图像。
在该实施例中，所述步骤S400：基于所述第二格式的第二图像和所述第二格式的第一图像训练所述图像处理模型，包括如下步骤：
构建图像处理模型；
在该实施例中，所述图像处理模型例如可以采用深度自编码器的结构，该自编码器例如可以采用如图6所示的UResnet的网络结构，包括依次串联的：卷积层1、池化层1、卷积层2、池化层2、残差块、上采样层1、卷积层3、上采样层2和卷积层4，其输入为带色偏的RGB图像，表示为rRGB，输出为白平衡处理后的RGB图像。其中，残差块例如可以采用如图7所示的结构，包括依次串联的卷积层11、通道合并模块和卷积层12；
将所述第二格式的第二图像和所述第二格式的第一图像分别作为图像处理模型的输入图像和目标图像，训练所述图像处理模型；
例如，将步骤S400中获取的带色偏的RGB图像(第二格式的第二图像)作为所述图像处理模型的输入图像，将步骤S200采集的正常色温的RGB图像(第二格式的第一图像)作为所述深度自编码器的输入图像，进行自编码器的训练，训练至自编码器收敛即完成了图像处理模型的训练。
因此，该实施例的图像处理模型的训练实现了有监督学***衡算法的处理效果，并且提供了一种端到端的可逆图像转换模型，通过可逆图像转换模型的可逆性实现了RGB图像和raw图像的相互转换，能够有效解决raw图像获取和存储困难的问题。通过对raw图像进行图像处理算法的逆向算法处理，然后再经过可逆图像转换模型可以得到作为图像处理模型的训练输入的RGB图像，与真实世界的需要处理的图像几乎一致，也就解决了图像采集的问题。在可逆图像转换模型的训练过程中，只需要训练其正向过程，正向过程训练完成后，即可以直接利用该可逆图像转换模型的逆向过程实现RGB图像到raw图像的转换。
在该实施例中，所述步骤S500中，将第二格式的待处理图像输入训练好的图像处理模型，得到第二格式的处理后图像，例如可以包括：将待处理的RGB图像输入训练好的深度自编码器，该待处理的RGB图像为带色偏的RGB图像，得到自编码器输出的进行白平衡处理后的RGB图像。
如图8所示，本发明实施例还提供一种图像处理***，应用于所述的图像处理方法，所述***包括：
第一模型获取模块M100，用于获取一可逆图像转换模型，所述可逆图像转换模型用于将图像在第一格式和第二格式之间转换；
第一图像处理模块M200，用于采集第二格式的第一图像，并基于所述可逆图像转换模型获取第一格式的第一图像；以及采用预设图像处理算法的逆向算法处理所述第一格式的第一图像，得到第一格式的第二图像，并基于所述可逆图像转换模型获取第二格式的第二图像；
第二模型获取模块M300，用于基于所述第二格式的第二图像和所述第二格式的第一图像训练所述图像处理模型；
第二图像处理模块M400，用于将第二格式的待处理图像输入训练好的图像处理模型，得到第二格式的处理后图像。
本发明提供了一种图像处理***，首先通过第一模型获取模块M100获取到可逆图像转换模型，通过第一图像处理模块M200可以将第二格式的第一图像基于第一模型获取模块M100获取的可逆图像转换模型得到第一格式的第一图像，然后通过第一图像处理模块M200可以对第一格式的第一图像进行逆向处理，得到第二格式的第二图像，由此，第一图像处理模块M200采集的第二格式的第一图像和获取的第二格式的第二图像可以用于第二模型获取模块M300中图像处理模型的训练，有利于提高图像处理模型训练的效果，使得图像处理模型可以获得更好的图像处理结果，然后第二图像处理模块M400即可以采用训练好的图像处理模型对第二格式的待处理图像进行处理，得到第二格式的处理后图像，提高了图像处理模型的输出图像效果，并且只需要在图像处理模型的训练阶段只需要采集第二格式的第一图像，而无需采集第一格式的第一图像，解决了一些设备难以直接采集到准确对应的第一格式的第一图像的问题。
本发明的图像处理***中，各个模块的功能可以采用上述图像处理方法的各个步骤的具体实施方式来实现，例如，第一模型获取模块M100可以采用步骤S100的具体实施方式来构建和训练可逆图像转换模型，第一图像处理模块M200可以采用上述步骤S200和步骤S300的具体实施方式基于可逆图像转换模型获取第二格式的第二图像，第二模型获取模块M300可以采用步骤S400的具体实施方式来训练得到图像处理模型，第二图像处理模块M400可以基于训练得到的图像处理模型对第二格式的待处理图像进行图像处理，得到第二格式的处理后图像。
本发明实施例还提供一种图像处理设备，包括处理器；存储器，其中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行所述的图像处理方法的步骤。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为***、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。
下面参照图9来描述根据本发明的这种实施方式的电子设备600。图9显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同***组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤。
所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
通过采用本发明所提供的图像处理设备，所述处理器在执行所述可执行指令时执行所述的图像处理方法，由此可以获得上述图像处理方法的有益效果。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被处理器执行时实现所述的图像处理方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
参考图10所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或集群上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
通过采用本发明所提供的计算机可读存储介质，其中存储的程序在被执行时实现所述的图像处理方法的步骤，由此可以获得上述图像处理方法的有益效果。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种图像处理方法，其特征在于，包括如下步骤：
获取一可逆图像转换模型，所述可逆图像转换模型用于将图像在第一格式和第二格式之间转换；
采集第二格式的第一图像，并基于所述可逆图像转换模型获取第一格式的第一图像；
采用预设图像处理算法的逆向算法处理所述第一格式的第一图像，得到第一格式的第二图像，并基于所述可逆图像转换模型获取第二格式的第二图像；
基于所述第二格式的第二图像和所述第二格式的第一图像训练所述图像处理模型；
将第二格式的待处理图像输入训练好的图像处理模型，得到第二格式的处理后图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述可逆图像转换模型的正向过程将图像从第一格式转换为第二格式，反向过程将图像从第二格式转换为第一格式；
基于所述可逆图像转换模型获取第一格式的第一图像，包括：将所述第二格式的第一图像输入所述可逆图像转换模型的反向过程，得到所述反向过程输出的第一格式的第一图像；
基于所述可逆图像转换模型获取第二格式的第二图像，包括：将所述第一格式的第二图像输入所述可逆图像转换模型的正向过程，得到所述正向过程输出的第二格式的第二图像。
3.根据权利要求2所述的图像处理方法，其特征在于，所述获取一可逆图像转换模型，包括如下步骤：
构建一可逆图像转换模型；
采集第一格式的第三图像和第二格式的第三图像，分别作为可逆图像转换模型的正向过程的输入图像和目标图像，训练所述可逆图像转换模型。
4.根据权利要求3所述的图像处理方法，其特征在于，训练所述可逆图像转换模型之后，还包括如下步骤：
采集第一格式的第四图像和第二格式的第五图像，所述第二格式的第五图像为第二格式的第四图像经过预设图像处理算法的逆向算法处理得到的图像；
将所述第一格式的第四图像采用预设图像处理算法的逆向算法进行处理，得到第一格式的第五图像；
将所述第一格式的第五图像和所述第二格式的第五图像分别作为所述可逆图像转换模型的正向过程的输入图像和目标图像，再次训练所述可逆图像转换模型。
5.根据权利要求3所述的图像处理方法，其特征在于，所述构建一可逆图像转换模型包括：构建可逆子模块，将多个所述可逆子模块依次串联形成一可逆图像转换模型。
6.根据权利要求1所述的图像处理方法，其特征在于，基于所述第二格式的第二图像和所述第二格式的第一图像训练所述图像处理模型，包括如下步骤：
构建图像处理模型；
将所述第二格式的第二图像和所述第二格式的第一图像分别作为图像处理模型的输入图像和目标图像，训练所述图像处理模型。
7.根据权利要求1所述的图像处理方法，其特征在于，所述第一格式为raw格式，所述第二格式为RGB格式；
所述预设图像处理算法包括图像白平衡算法、图像去噪算法、图像增强算法和图像去模糊算法中的至少一种。
8.一种图像处理***，其特征在于，应用于权利要求1至7中任一项所述的图像处理方法，所述***包括：
第一模型获取模块，用于获取一可逆图像转换模型，所述可逆图像转换模型用于将图像在第一格式和第二格式之间转换；
第一图像处理模块，用于采集第二格式的第一图像，并基于所述可逆图像转换模型获取第一格式的第一图像；以及采用预设图像处理算法的逆向算法处理所述第一格式的第一图像，得到第一格式的第二图像，并基于所述可逆图像转换模型获取第二格式的第二图像；
第二模型获取模块，用于基于所述第二格式的第二图像和所述第二格式的第一图像训练所述图像处理模型；
第二图像处理模块，用于将第二格式的待处理图像输入训练好的图像处理模型，得到第二格式的处理后图像。
9.一种图像处理设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任一项所述的图像处理方法的步骤。
10.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现权利要求1至7中任一项所述的图像处理方法的步骤。
CN202111576172.XA 2021-12-21 2021-12-21 图像处理方法、***、设备及存储介质 Pending CN114240794A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111576172.XA CN114240794A (zh) 2021-12-21 2021-12-21 图像处理方法、***、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111576172.XA CN114240794A (zh) 2021-12-21 2021-12-21 图像处理方法、***、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114240794A true CN114240794A (zh) 2022-03-25

Family

ID=80760855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111576172.XA Pending CN114240794A (zh) 2021-12-21 2021-12-21 图像处理方法、***、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114240794A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116744125A (zh) * 2023-08-14 2023-09-12 北京邮电大学 图像颜色数据处理方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116744125A (zh) * 2023-08-14 2023-09-12 北京邮电大学 图像颜色数据处理方法、装置、设备及存储介质
CN116744125B (zh) * 2023-08-14 2023-10-24 北京邮电大学 图像颜色数据处理方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111402146B (zh) 图像处理方法以及图像处理装置
CN113066017B (zh) 一种图像增强方法、模型训练方法及设备
US20230177641A1 (en) Neural network training method, image processing method, and apparatus
KR20230011288A (ko) 머신 러닝 기반 이미지 조정
WO2022134971A1 (zh) 一种降噪模型的训练方法及相关装置
CN111079764B (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
CN112085681B (zh) 基于深度学习的图像增强方法、***、设备及存储介质
CN110378848B (zh) 一种基于衍生图融合策略的图像去雾方法
US20230368493A1 (en) Method and system of image hashing object detection for image processing
CN113191489B (zh) 二值神经网络模型的训练方法、图像处理方法和装置
CN114730456A (zh) 神经网络模型的训练方法、图像处理方法及其装置
JP2021179833A (ja) 情報処理装置、情報処理方法及びプログラム
CN113962859B (zh) 一种全景图生成方法、装置、设备及介质
CN113554739A (zh) 重光照图像的生成方法、装置及电子设备
CN115526803A (zh) 非均匀光照图像增强方法、***、存储介质及设备
CN116547694A (zh) 用于对模糊图像去模糊的方法和***
CN114240794A (zh) 图像处理方法、***、设备及存储介质
CN113096023A (zh) 神经网络的训练方法、图像处理方法及装置、存储介质
CN111383188A (zh) 一种图像处理方法、***及终端设备
CN116823674B (zh) 一种跨模态融合的水下图像增强方法
CN115409697A (zh) 一种图像处理方法及相关装置
US20230222639A1 (en) Data processing method, system, and apparatus
CN112489144A (zh) 图像处理方法、图像处理装置、终端设备及存储介质
CN111914996A (zh) 一种提取数据特征的方法和相关装置
CN111953888B (zh) 暗光成像方法、装置、计算机可读存储介质及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination