CN112581401A - 一种raw图片的获取方法、装置及电子设备 - Google Patents

一种raw图片的获取方法、装置及电子设备 Download PDF

Info

Publication number
CN112581401A
CN112581401A CN202011560718.8A CN202011560718A CN112581401A CN 112581401 A CN112581401 A CN 112581401A CN 202011560718 A CN202011560718 A CN 202011560718A CN 112581401 A CN112581401 A CN 112581401A
Authority
CN
China
Prior art keywords
picture
layer
feature
noise
raw picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011560718.8A
Other languages
English (en)
Other versions
CN112581401B (zh
Inventor
朱才志
向声宁
周晓
郑银强
孙耀晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intelingda Information Technology Shenzhen Co ltd
Original Assignee
Intelingda Information Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intelingda Information Technology Shenzhen Co ltd filed Critical Intelingda Information Technology Shenzhen Co ltd
Priority to CN202011560718.8A priority Critical patent/CN112581401B/zh
Publication of CN112581401A publication Critical patent/CN112581401A/zh
Priority to US17/786,406 priority patent/US20230245276A1/en
Priority to PCT/CN2021/140594 priority patent/WO2022135497A1/zh
Application granted granted Critical
Publication of CN112581401B publication Critical patent/CN112581401B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开实施例提供了一种RAW图片的获取方法、装置及电子设备，包括：获取sRGB图片；将sRGB图片输入预设图片还原模型，得到sRGB图片对应的初始RAW图片，预设图片还原模型为基于第一预设训练集对预设神经网络进行训练得到的模型；对初始RAW图片添加第一预设噪声，得到第一噪声RAW图片；对初始RAW图片添加第二预设噪声，得到第二噪声RAW图片；将第一噪声RAW图片和第二噪声RAW图片输入预设加噪模型，得到目标RAW图片，预设加噪模型为基于第二预设训练集对预设神经网络进行训练得到的模型。

Description

一种RAW图片的获取方法、装置及电子设备
技术领域
本公开涉及图像处理技术领域，特别是涉及一种RAW图片的获取方法、装置及电子设备。
背景技术
目前，图像处理应用在各种生活场景中，如人脸识别等，且深度学习等人工智能算法在图像处理中至关重要，可用来代替传统的ISP(Image Signal Processing，图片信号处理)的功能。人工智能算法在使用前需要进行算法训练，对人工智能算法进行训练时，样本图片训练集是必不可少的。但目前的样本图片训练集多为sRGB(standard Red GreenBlue，标准红绿蓝)图像的训练集。但sRGB图片是进行ISP处理后的图片，因此sRGB图片都处于同一光照条件下，这使得sRGB图片不适用于某些智能算法的训练。因此，需要获取其他种类的样本图片训练集，如RAW(原始)图片训练集等。
发明内容
本公开实施例的目的在于提供一种RAW图片的获取方法、装置及电子设备，用以解决对图像处理领域内智能算法训练时，缺少RAW图片训练集的问题。具体技术方案如下：
为达到上述目的，本公开实施例提供了一种RAW图片的获取方法，所述RAW图片的获取方法包括：
获取sRGB图片；
将所述sRGB图片输入预设图片还原模型，得到所述sRGB图片对应的初始RAW图片，其中，所述预设图片还原模型为基于第一预设训练集对预设神经网络进行训练得到的模型，所述第一预设训练集包括多个样本sRGB图片和每一样本sRGB图片对应的初始RAW图片；
对所述初始RAW图片添加第一预设噪声，得到第一噪声RAW图片；
对所述初始RAW图片添加第二预设噪声，得到第二噪声RAW图片；
将所述第一噪声RAW图片和所述第二噪声RAW图片输入预设加噪模型，得到目标RAW图片，其中，所述预设加噪模型为基于第二预设训练集对预设神经网络进行训练得到的模型，所述第二预设训练集包括多个第一样本噪声RAW图片和多个第二样本噪声RAW图片，以及每一第一样本噪声RAW图片和每一第二样本噪声RAW图片对应的目标RAW图片。
一些实施例中，所述预设图片还原模型包括第一底层特征提取层、至少一个残差注意力网络层，以及图片恢复层：
所述将所述sRGB图片输入预设图片还原模型，得到所述sRGB图片对应的初始RAW图片的步骤包括：
将所述sRGB图片输入所述第一底层特征提取层，得到所述sRGB图片对应的第一底层特征；
将所述第一底层特征输入所述至少一个残差注意力网络层，得到所述第一底层特征对应的第一高层特征，并得到根据所述第一底层特征和所述第一高层特征确定的第一组合特征；
将所述第一组合特征输入所述图片恢复层，得到所述第一组合特征对应的初始RAW图片。
一些实施例中，所述残差注意力网络层包括至少一个注意力网络子层，及残差子层；
所述将所述第一底层特征输入所述至少一个残差注意力网络层，得到所述第一底层特征对应的第一高层特征，并得到根据所述第一底层特征和所述第一高层特征确定的第一组合特征的步骤，包括：
将所述第一底层特征输入所述至少一个注意力网络子层，得到所述第一底层特征对应的高层特征，及所述第一底层特征中的第一子底层特征；
将所述第一高层特征及所述第一子底层特征输入所述残差子层，通过所述残差子层对所述第一高层特征及所述第一子底层特征进行线性拼接，得到所述第一组合特征。
一些实施例中，所述图片恢复层包括卷积子层和还原子层；
所述将所述第一组合特征输入所述图片恢复层，得到所述第一组合特征对应的初始RAW图片的步骤包括：
将所述第一组合特征输入所述卷积子层，通过所述卷积子层对所述组合特征进行卷积处理，得到卷积后的所述第一组合特征；
将卷积后的所述第一组合特征输入所述还原子层，通过所述还原子层对卷积后的所述组合特征进行子像素卷积处理，得到卷积后的所述第一组合特征对应的初始RAW图片。
一些实施例中，所述预设加噪模型包括：第二底层特征提取层、至少一个高层特征提取层，以及合成输出层；
所述将所述第一噪声RAW图片和所述第二噪声RAW图片输入预设加噪模型，得到目标RAW图片的步骤，包括：
将所述第一噪声RAW图片和所述第二噪声RAW图片输入所述第二底层特征提取层，通过所述第二底层特征提取层对所述第一噪声RAW图片和所述第二噪声RAW图片进行卷积处理，得到所述第一噪声RAW图片和所述第二噪声RAW图片的第二底层特征；
将所述第二底层特征输入所述至少一个高层特征提取层，得到所述第二底层特征对应的第二高层特征，并得到根据所述第二底层特征与所述第二高层特征确定的第二组合特征；
将所述第二组合特征输入所述合成输出层，通过所述合成输出层对所述第二组合特征进行卷积处理，得到所述第二组合特征对应的目标RAW图片。
一些实施例中，所述第二底层特征提取层包括：底层特征提取子层及底层特征组合子层；
所述将所述第一噪声RAW图片和所述第二噪声RAW图片输入所述第二底层特征提取层，通过所述第二底层特征提取层对所述第一噪声RAW图片和所述第二噪声RAW图片进行卷积处理，得到所述第一噪声RAW图片和所述第二噪声RAW图片的第二底层特征的步骤，包括：
将所述第一噪声RAW图片和所述第二噪声RAW图片输入所述底层特征提取子层，通过所述底层特征提取子层对所述第一噪声RAW图片进行卷积处理，得到所述第一噪声RAW图片的第三底层特征，通过所述底层特征提取子层对所述第二噪声RAW图片进行卷积处理，得到所述第二噪声RAW图片的第四底层特征；
将所述第三底层特征及所述第四底层特征输入所述底层特征组合子层，通过所述底层特征组合子层对所述第三底层特征和所述第四底层特征进行线性拼接处理，得到所述第二底层特征。
一些实施例中，所述至少一个高层特征提取层包括至少一个高层特征提取子层，及高层特征组合子层；
所述将所述第二底层特征输入所述至少一个高层特征提取层，得到所述第二底层特征对应的第二高层特征，并得到根据所述第二底层特征与所述第二高层特征确定的第二组合特征的步骤，包括：
将所述第二底层特征输入所述至少一个高层特征提取子层，得到所述第二底层特征对应的第二高层特征，及所述第二底层特征中的第二子底层特征；
将所述第二高层特征及第二子底层特征输入所述高层特征组合子层，通过所述高层特征组合子层对所述第二高层特征及所述第二子底层特征进行线性拼接，得到所述第二组合特征。
为达到上述目的，本公开实施例还提供了一种RAW图片获取装置，所述RAW图片获取装置包括：
获取模块，用于获取sRGB图片；
第一输入模块，用于将所述sRGB图片输入预设图片还原模型，得到所述sRGB图片对应的初始RAW图片，其中，所述预设图片还原模型为基于第一预设训练集对预设神经网络进行训练得到的模型，所述第一预设训练集包括多个样本sRGB图片和每一样本sRGB图片对应的初始RAW图片；
第一添加模块，用于对所述初始RAW图片添加第一预设噪声，得到第一噪声RAW图片；
第二添加模块，用于对所述初始RAW图片添加第二预设噪声，得到第二噪声RAW图片；
第二输入模块，用于将所述第一噪声RAW图片和所述第二噪声RAW图片输入预设加噪模型，得到目标RAW图片，其中，所述预设加噪模型为基于第二预设训练集对预设神经网络进行训练得到的模型，所述第二预设训练集包括多个第一样本噪声RAW图片和多个第二样本噪声RAW图片，以及每一第一样本噪声RAW图片和每一第二样本噪声RAW图片对应的目标RAW图片。
一些实施例中，所述预设图片还原模型包括第一底层特征提取层、至少一个残差注意力网络层，以及图片恢复层：
所述第一输入模块包括：
第一输入子模块，用于将所述sRGB图片输入所述第一底层特征提取层，得到所述sRGB图片对应的第一底层特征；
第二输入子模块，用于将所述第一底层特征输入所述至少一个残差注意力网络层，得到所述第一底层特征对应的第一高层特征，并得到根据所述第一底层特征和所述第一高层特征确定的第一组合特征；
第三输入子模块，用于将所述第一组合特征输入所述图片恢复层，得到所述第一组合特征对应的初始RAW图片。
一些实施例中，所述残差注意力网络层包括至少一个注意力网络子层，及残差子层；
所述第二输入子模块，具体用于：
将所述第一底层特征输入所述至少一个注意力网络子层，得到所述第一底层特征对应的高层特征，及所述第一底层特征中的第一子底层特征；
将所述第一高层特征及所述第一子底层特征输入所述残差子层，通过所述残差子层对所述第一高层特征及所述第一子底层特征进行线性拼接，得到所述第一组合特征。
一些实施例中，所述图片恢复层包括卷积子层和还原子层；
所述第三输入子模块，具体用于：
将所述第一组合特征输入所述卷积子层，通过所述卷积子层对所述组合特征进行卷积处理，得到卷积后的所述第一组合特征；
将卷积后的所述第一组合特征输入所述还原子层，通过所述还原子层对卷积后的所述组合特征进行子像素卷积处理，得到卷积后的所述第一组合特征对应的初始RAW图片。
一些实施例中，所述预设加噪模型包括：第二底层特征提取层、至少一个高层特征提取层，以及合成输出层；
所述第二输入模块包括：
第四输入子模块，用于将所述第一噪声RAW图片和所述第二噪声RAW图片输入所述第二底层特征提取层，通过所述第二底层特征提取层对所述第一噪声RAW图片和所述第二噪声RAW图片进行卷积处理，得到所述第一噪声RAW图片和所述第二噪声RAW图片的第二底层特征；
第五输入子模块，用于将所述第二底层特征输入所述至少一个高层特征提取层，得到所述第二底层特征对应的第二高层特征，并得到根据所述第二底层特征与所述第二高层特征确定的第二组合特征；
第六输入子模块，用于将所述第二组合特征输入所述合成输出层，通过所述合成输出层对所述第二组合特征进行卷积处理，得到所述第二组合特征对应的目标RAW图片。
一些实施例中，所述第二底层特征提取层包括：底层特征提取子层及底层特征组合子层；
所述第四输入子模块，具体用于：
将所述第一噪声RAW图片和所述第二噪声RAW图片输入所述底层特征提取子层，通过所述底层特征提取子层对所述第一噪声RAW图片进行卷积处理，得到所述第一噪声RAW图片的第三底层特征，通过所述底层特征提取子层对所述第二噪声RAW图片进行卷积处理，得到所述第二噪声RAW图片的第四底层特征；
将所述第三底层特征及所述第四底层特征输入所述底层特征组合子层，通过所述底层特征组合子层对所述第三底层特征和所述第四底层特征进行线性拼接处理，得到所述第二底层特征。
一些实施例中，所述至少一个高层特征提取层包括至少一个高层特征提取子层，及高层特征组合子层；
所述第五输入子模块，具体用于：
将所述第二底层特征输入所述至少一个高层特征提取子层，得到所述第二底层特征对应的第二高层特征，及所述第二底层特征中的第二子底层特征；
将所述第二高层特征及第二子底层特征输入所述高层特征组合子层，通过所述高层特征组合子层对所述第二高层特征及所述第二子底层特征进行线性拼接，得到所述第二组合特征。
为达到上述目的，本公开实施例还提供了一种电子设备，所述电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一所述的方法步骤。
为达到上述目的，本公开实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的方法步骤。
本公开实施例有益效果：
本公开实施例提供的一种RAW图片的获取方法、装置及电子设备，该方法包括：获取sRGB图片，然后将获取到的sRGB图片输入预先训练好的预设图片还原模型，通过预设图片还原模型对sRGB图片进行处理，得到该sRGB图片对应的初始RAW图片，然后对初始RAW图片添加第一预设噪声，获得第一噪声RAW图片，对初始RAW图片添加第二预设噪声，获得第二噪声RAW图片。将第一噪声RAW图片和第二噪声RAW图片输入预设加噪模型，获得加噪后的目标RAW图片。上述RAW图片获取方法中，通过预设图片还原模型，基于sRGB图片获取到未加噪的初始RAW图片，然后对初始RAW图片添加不同的噪声，以模拟不同光线对RAW图片的影响，然后通过预设加噪模型将初始RAW图片与多种噪声进行组合，得到添加至少两种噪声的目标RAW图片。从而实现基于少数的sRGB图片得到不同光线环境下的多种RAW图片，进得到而得到在对图像处理领域内智能算法训练时所需要的RAW图片训练集。
当然，实施本公开的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本公开实施例中一种RAW图片获取方法的一种流程图；
图2为本公开实施例中一种预设图片还原模型训练方法的一种流程图；
图3为本公开实施例中一种预设图片还原模型的一种结构图；
图4为本公开实施例中一种获取初始RAW图片的方法的一种流程图；
图5为本公开实施例中一种获取初始RAW图片的方法的另一种流程图；
图6为本公开实施例中一种初始RAW图片的示意图；
图7为本公开实施例中一种预设加噪模型训练方法的一种流程图；
图8为本公开实施例中一种预设加噪模型的一种结构图；
图9为本公开实施例中一种获取目标RAW图片的方法的一种流程图；
图10为本公开实施例中一种获取目标RAW图片的方法的另一种流程图；
图11为本公开实施例中一种RAW图片获取装置的一种结构图；
图12为本公开实施例中一种电子设备的一种结构图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
为解决对图像处理领域内智能算法训练时，缺少RAW图片训练集的问题，本公开实施例提供了一种RAW图片的获取方法、装置及电子设备，下面将结合附图对本公开实施例提供的RAW图片的获取方法、装置及电子设备进行详细说明。
如图1所示，本公开实施例提供的RAW图片的获取方法，包括以下步骤：
步骤101，获取sRGB图片。
本公开实施例中，sRGB图片为对原始图片进行图像信号处理后，获得的符合sRGB彩色语言协议的图片。sRGB图片可通过多种方式获取。一个示例中，可通过摄像头对目标人物或物体进行抓拍，然后将抓拍后的原始图片进行图像信号处理，进而得到sRGB图片图片。另一个示例中，还可以由sRGB样本图片库中，直接调取目标数量个sRGB图片，其中，sRGB样本图片库为提前设立好的数据库，以供应用于人脸识别等图像处理领域的智能算法的训练。还可通过其他方式获取sRGB图片，本公开实施例对此不作具体限定。
步骤102，将sRGB图片输入预设图片还原模型，得到sRGB图片对应的初始RAW图片。其中，预设图片还原模型为基于第一预设训练集对预设神经网络进行训练得到的模型，第一预设训练集包括多个样本sRGB图片和每一样本sRGB图片对应的初始RAW图片。
本公开实施例中，预设图片还原模型为预先训练好的模型，用于将sRGB图片还原为该sRGB图片对应的初始RAW图片。其中，初始RAW图片可以理解为固定光线环境下的RAW图片。预设图片还原模型为基于多个样本sRGB图片及每一样本sRGB图片，对预设神经网络进行训练得到模型。其中，如图2所示，可通过以下步骤训练得到预设图片还原模型。
步骤201，获取预设样本训练集，预设样本训练集包括多个样本sRGB图片及每一样本sRGB图片对应的初始RAW图片。
其中，预设样本训练集可以由预先设立的sRGB样本图片库中直接获取，也可通过对多个原始图片文件进行图像信号处理后得到，还可以通过其他方式获得，本公开实施例对此不作具体限定。
步骤202，将预设训练集中的每一样本sRGB图片输入预设神经网络，得到每一样本sRGB图片对应的预测初始RAW图片。
其中，可以以单次样本数为一的方式，每次将一张样本sRGB图片输入预设神经网络，得到该样本sRGB图片的预测初始RAW图片。其中，预测初始RAW图片即为当前参数下的预设神经网络输出的RAW图片。
步骤203，根据预测初始RAW图片和标注初始RAW图片确定第一损失值，并根据第一损失值确定预设神经网络是否收敛，若是，则执行步骤204；若否，则执行步骤205。
其中，标注初始RAW图片为预先设定的，sRGB图片对应的正确的初始RAW图片。本公开实施例中，可通过均值平方差函数及感知损失函数共同对预测初始RAW图片和标注初始RAW图片进行处理，确定预测初始RAW图片与标注初始RAW图片之间的差异，即第一损失值。其中，均值平方差函数可用于确定预测初始RAW图片的底层特征与预测初始RAW图片的底层特征之间的差异；感知损失函数用于确定预测初始RAW图片的高层特征与预测初始RAW图片的高层特征之间的差异。
也可以通过其他损失函数确定第一损失值，如均方根误差损失函数、平均绝对值误差损失函数等，本公开实施例对此不作具体限定。
步骤204，若是，则结束训练，将当前预设神经网络确定为预设图片还原模型。
步骤205，若否，则调整预设神经网络的参数，并返回步骤202，开始新一轮的训练。
其中，第一损失值用于表示预测初始RAW图片与标注初始RAW图片间的差异值。根据第一损失值判断预设神经网络是否收敛的过程可以为：若第一损失值高于预设差异阈值，则确定预设神经网络未收敛，则调整预设神经网络的参数，重新将样本sRGB图片输入调整参数后的预设神经网络，开始新一轮的训练。若第一损失值低于预设差异阈值，则确定预设神经网络收敛，将当前的预设神经网络确定为预设图片还原模型。还可以采用其他方式确定预设神经网络是否收敛，本公开实施例对此不做具体限定，例如，若迭代次数达到预设次数阈值，确定预设神经网络收敛等。
一些实施例中，如图3所示，预设图片还原模型包括：第一底层特征提取层301、至少一个残差注意力网络层302(图3中以预设图片还原模型包括一个残差注意力网络层302进行说明)，以及图片恢复层303。步骤102可以细化为以下步骤，如图4所示。
步骤1021，将sRGB图片输入第一底层特征提取层，得到sRGB图片对应的第一底层特征。
本公开实施例中，第一底层特征提取层用于对sRGB图片进行卷积处理，从而提取出sRGB图片对应的第一底层特征。其中，sRGB图片对应的第一底层特征包括但不限于图片的轮廓、边缘、颜色、纹理和形状特征等。
本公开实施例中，第一特征提取层可以包含两个卷积子层，每个卷积子层都包括一个3×3的卷积核。将sRGB图片依次输入这两个卷积子层，以使这两个卷积子层提取出sRGB图片对应的第一底层特征。其中，第一底层特征可以以特征矩阵的形式输出，且第一底层特征可以包括多个底层特征矩阵。例如，根据颜色将第一底层特征区分为四个底层特征矩阵，即R(red，红)底层特征矩阵、G1(green，绿)底层特征矩阵、G2底层特征矩阵及B(blue，蓝)底层特征矩阵。
步骤1022，将第一底层特征输入至少一个残差注意力网络层，得到第一底层特征对应的第一高层特征，并得到根据第一底层特征和第一高层特征确定的第一组合特征。
本公开实施例中，残差注意力网络层中的残差注意力网络可以理解为将残差网络与注意力机制相结合，即使用了注意力机制的残差网络。通过残差注意力网络层由第一底层特征中提取到第一高层特征，也就是，通过网络通道之间的相互依赖性来自适应地调整第一底层特征，从而基于第一底层特征得到第一高层特征。此外，残差注意力网络层还用于由第一底层特征中选取出部分第一底层特征，然后将部分第一底层特征与第一高层特征进行组合，得到第一组合特征。其中，第一底层特征与第一高层特征的组合方式可以为，对第一底层特征与第一高层特征进行线性相加，从而得到第一组合特征。其中，第一组合特征可以以矩阵的形式输出，需要注意的是，当基于颜色将第一底层特征分为四种底层特征矩阵时，第一组合特征矩阵也包括：R组合特征矩阵、G1组合特征矩阵、G2组合特征矩阵及B组合特征矩阵。
本公开实施例中，预设图片还原模型中可以包括多个残差注意力网络层，当预设图片还原模型包含多个残差注意力网络层时，将第一底层特征依次输入多个残差注意力网络层。其中，残差注意力网络层的数量可根据实际情况进行设定，如三个、四个等，本公开实施例对此不作具体限定。
一些实施例中，如图3所示，残差注意力网络层302包括至少一个注意力网络子层3021(图3中以残差注意力网络层302包括一个注意力网络子层3021为例进行说明)，及残差子层3022。步骤1022可以细化为以下步骤，如图5所示。
步骤10221，将第一底层特征输入至少一个注意力网络子层，得到第一底层特征对应的第一高层特征，及第一底层特征中的第一子底层特征。
本公开实施例中，注意力网络子层用于由第一底层特征中提取出第一底层特征对应的第一高层特征。其中，第一高层特征为图片中人眼能够看到的特征。例如，若图片的内容为一个人脸，当由图片中提取出高层特征时，高层特征可以显示出较为粗略的人脸。
注意力网络子层还可以用于由第一底层特征中挑选出用于与第一高层特征进行组合的第一子底层特征。其中，第一子底层特征由注意力网络子层自动挑选得到，当注意力网络子层内的算法不同时，其挑选出的第一子底层特征也会不同。
本公开实施例中，残差注意力网络层可以包括多个注意力网络子层，多个注意力网络子层可以堆叠放置。当残差注意力网络层包括多个注意力网络子层时，第一底层特征依次输入多个注意力网络子层。其中，注意力网络子层的数量可根据实际情况进行设定，本公开实施例对此不作具体限定。
注意力网络子层在对第一底层特征进行处理，得到第一高层特征及第一子底层特征后，还用于对第一底层特征中除第一子底层特征外的底层特征进行抑制，并将第一高层特征及第一子底层特征输入至残差子层。
步骤10222，将第一高层特征及第一子底层特征输入残差子层，通过残差子层对第一高层特征及第一子底层特征进行线性拼接，得到第一组合特征。
本公开实施例中，残差子层子获取到第一高层特征和第一子底层特征后，将第一高层特征及第一子底层特征进行线性拼接，如将第一高层特征及第一子底层特征进行线性相加等，得到第一组合特征，并将第一组合特征输入至图片恢复层。其中，残差子层还可通过其他方式将第一高层特征及第一子底层特征进行组合，本公开实施例对此不作具体限定。
步骤1023，将第一组合特征输入图片恢复层，得到第一组合特征对应的初始RAW图片。
本公开实施例中，图片恢复层用于将第一组合特征转换为初始RAW图片。其中，图片恢复层将第一组合特征转换为初始RAW图片的方式有多种。一个示例中，第一组合特征以组合特征矩阵的形式输入图片恢复层内，图片恢复层将组合特征矩阵内的每一个元素映射至该元素在图片中相应的位置，得到初始RAW图片。
一些实施例中，如图3所示，图片恢复层303包括图片卷积子层3031和还原子层3032。步骤1023可以细化为以下步骤，如图5所示。
步骤10231，将第一组合特征输入图片卷积子层，通过图片卷积子层对组合特征进行卷积处理，得到卷积后的第一组合特征。
本公开实施例中，图片卷积子层可以包括一个5×5的卷积核，然后通过卷积核对第一组合特征进行卷积处理，得到卷积后的第一组合特征。图片卷积子层用于在预设图片还原模型的训练过程中，使预设神经网络更快地收敛。
步骤10232，将卷积后的第一组合特征输入还原子层，通过还原子层对卷积后的第一组合特征进行子像素卷积处理，得到卷积后的第一组合特征对应的初始RAW图片。
本公开实施例中，还原子层用于对卷积后的第一组合特征进行子像素卷积处理，从而将第一组合特征转换为初始RAW图片。
例如，第一组合特征表示为组合特征矩阵，且组合特征矩阵包括R组合特征矩阵、G1组合特征矩阵、G2组合特征矩阵和B组合特征矩阵。R组合特征矩阵中包含元素：R1、R2、R3、R4；G1组合特征矩阵中包含元素：G11、G12、G13、G14；G2组合特征矩阵中包含元素：G21、G22、G23、G24；B组合特征矩阵中包含元素：B1、B2、B3、B4。此时，对第一组合特征进行子像素卷积处理后，可将上述个组合特四征矩阵中的元素按特定顺序映射至一张图片中，映射后得到的初始RAW图片如图6所示。
步骤103，对初始RAW图片添加第一预设噪声，得到第一噪声RAW图片。
本公开实施例中，第一预设噪声包括但不限于泊松噪声、读出噪声等。其中，泊松噪声为由光子转换为电子的过程中产生的，符合泊松分布的噪声。读出噪声为电路方法及模数转换过程中产生的符合高斯分布的噪声，读出噪声包括热噪声、量化噪声及固定模式噪声。
步骤104，对初始RAW图片添加第二预设噪声，得到第二噪声RAW图片。
本公开实施例中，第二预设噪声包括但不限于泊松噪声、读出噪声等，且第二预设噪声与第一预设噪声不同。通过在初始RAW图片上添加不同种类及不同数量的噪声，得到多种光线模式下的RAW图片，增加了RAW图片的种类及数量。
步骤105，将第一噪声RAW图片和第二噪声RAW图片输入预设加噪模型，得到目标RAW图片。其中，预设加噪模型为基于第二预设训练集对预设神经网络进行训练得到的模型，第二预设训练集包括多个第一样本噪声RAW图片和多个第二样本噪声RAW图片，以及每一第一样本噪声RAW图片及每一第二样本噪声RAW图片对应的目标RAW图片。
本公开实施例提供的RAW图片获取方法中，在获取sRGB图片后将获取到的sRGB图片输入预先训练好的预设图片还原模型，通过预设图片还原模型对sRGB图片进行处理，得到该sRGB图片对应的初始RAW图片，然后对初始RAW图片添加第一预设噪声，获得第一噪声RAW图片，对初始RAW图片添加第二预设噪声，获得第二噪声RAW图片。将第一噪声RAW图片和第二噪声RAW图片输入预设加噪模型，获得加噪后的目标RAW图片。
上述RAW图片获取方法中，通过预设图片还原模型，基于sRGB图片获取到未加噪的初始RAW图片，然后对初始RAW图片添加不同的噪声，以模拟不同光线对RAW图片的影响，然后通过预设加噪模型将初始RAW图片与多种噪声进行组合，得到添加至少两种噪声的目标RAW图片。从而实现基于少数的sRGB图片得到不同光线环境下的多种RAW图片，进而得到在对图像处理领域内智能算法训练时所需要的RAW图片训练集。
本公开实施例中，为使初始RAW图片上添加的第一预设噪声与第二预设噪声可以更好地结合，从而使得添加噪声后的目标RAW图片更加贴合真实光线下的RAW图片。将添加第一预设噪声的第一噪声RAW图片，与添加第二预设噪声的第二噪声RAW图片同时输入预先训练好的预设加噪模型中，通过预设加噪模型对第一噪声RAW图片及第二噪声RAW图片的处理，输出一张目标RAW图片，目标RAW图片中包含第一预设噪声与第二预设噪声。
其中，预设加噪模型为基于多个第一样本噪声RAW图片、多个样本噪声第二RAW图片、每一第一样本噪声RAW图片及第二样本噪声RAW图片对应的目标RAW图片，对预设神经网络进行训练得到的模型。其中，如图7所示，可通过以下步骤对训练得到预设加噪模型。
步骤701，获取预设样本训练集，预设样本训练集包括多个第一样本噪声RAW图片、多个第二样本噪声RAW图片、每一第一样本噪声RAW图片及第二样本噪声RAW图片对应的目标RAW图片。
步骤702，将预设训练集中的每一第一样本噪声RAW图片及每一第二样本噪声RAW图片输入预设神经网络，得到每一第一样本噪声RAW图片及第二样本噪声RAW图片对应的预测目标RAW图片。
步骤703，根据预测目标RAW图片和标注目标RAW图片确定第二损失值，并根据第二损失值确定预设神经网络是否收敛，若是，则执行步骤704；若否，则执行步骤705。
步骤704，若是，则结束训练，将当前预设神经网络确定为预设加噪模型。
步骤705，若否，则调整预设神经网络的参数，并返回步骤702，开始新一轮的训练。
步骤701-步骤705与步骤201-步骤205相似，具体可参考对步骤201-步骤205的描述，此处不再赘述。
本公开实施例中，通过预设加噪模型对第一预设噪声及第二预设噪声进行拟合，使得目标RAW图片更加符合真实低光照条件下的RAW图片。
一些实施例中，可以直接在初始RAW图片中添加第一预设噪声与第二预设噪声，得到目标RAW图片，从而降低对初始RAW图片进行加噪的难度与复杂度。
一些实施例中，预设加噪模型包括：如图8所示，第二底层特征提取层801、至少一个高层特征提取层802(图8中以预设加噪模型包括一个高层特征提取层802进行说明)，以及合成输出层803。步骤105可以细化为以下步骤，如图9所示。
步骤1051，将第一噪声RAW图片和第二噪声RAW图片输入第二底层特征提取层，通过第二底层特征提取层对第一噪声RAW图片和第二噪声RAW图片进行卷积处理，得到第一噪声RAW图片和第二噪声RAW图片的第二底层特征。
本公开实施例中，第二底层特征提取层用于对第一噪声RAW图片进行卷积处理，提取出第一噪声RAW图片中的底层特征，并对第二噪声RAW图片进行卷积处理，得到第二噪声RAW图片的底层特征。然后将第一噪声RAW图片中的底层特征与第二噪声RAW图片的底层特征进行组合，获得第二层特征，并将第二底层特征输入至少一个高层特征提取层。
其中，第二特征提取层可以包括两个3×3的卷积核，通过这两个3×3的卷积核对第一噪声RAW图片及第二噪声RAW图片进行卷积处理，并提取第一噪声RAW图片及第二噪声RAW图片的底层特征。
一些实施例中，如图8所示，第二底层特征提取层801包括：底层特征提取子层8011及底层特征组合子层8012。步骤1051可以细化为以下步骤，如图10所示。
步骤10511，将第一噪声RAW图片和第二噪声RAW图片输入底层特征提取子层，通过底层特征提取子层对第一噪声RAW图片进行卷积处理，得到第一噪声RAW图片的第三底层特征，通过底层特征提取子层对第二噪声RAW图片进行卷积处理，得到第二噪声RAW图片的第四底层特征。
本公开实施例中，底层特征提取子层用于对第一噪声RAW图片进行卷积处理，提取出第一噪声RAW图片的底层特征，即第三底层特征。底层特征提取子层还用于对第二噪声RAW图片进行卷积处理，提取出第二噪声RAW图片的底层特征，即第四底层特征，然后输出第三底层特征及第四底层特征输。
步骤10512，将第三底层特征及第四底层特征输入底层特征组合子层，通过底层特征组合子层对第三底层特征和第四底层特征进行线性拼接处理，得到第二底层特征。
本公开实施例中，为结合第一噪声RAW图片及第二噪声RAW图片，从而实现第一预设噪声及第二预设噪声的拟合，将提取出的第三底层特征及第四底层特征输入至特征组合子层，使得特征组合子层对第三底层特征和第四底层特征进行线性拼接处理，如将第三底层特征和第四底层特征线性相加等，得到第二底层特征，并输出第二底层特征。
步骤1052，将第二底层特征输入至少一个高层特征提取层，得到第二底层特征对应的第二高层特征，并得到根据第二底层特征与第二高层特征确定的第二组合特征。
本公开实施例中，至少一个高层特征提取层用于由第二底层特征中提取出第二高层特征，实现第一噪声RAW图片与第二噪声RAW图片的进一步结合。至少一个高层特征提取层还用于由第二底层特征中提取出部分第二底层特征，然后将部分第二底层特征与第二高层特征进行组合，得到第二组合特征。其中，第二底层特征与第二高层特征的组合方式可以为，对第二底层特征与第二高层特征进行线性相加，从而得到第二组合特征。
本公开实施例中，预设加噪模型中可以包括多个高层特征提取层，当预设加噪模型包含多个高层特征提取层时，将第二底层特征依次输入多个高层特征提取层。其中，高层特征提取层的数量可根据实际情况进行设定，如三个、四个等，本公开实施例对此不作具体限定。
一些实施例中，如图8所示，至少一个高层特征提取层802包括至少一个高层特征提取子层8021(图8中以高层特征提取层802包括一个高层特征提取子层8021为例进行说明)，及高层特征组合子层8022。步骤1052可以细化为以下步骤，如图10所示。
步骤10521，将第二底层特征输入至少一个高层特征提取子层，得到第二底层特征对应的第二高层特征，及第二底层特征中的第二子底层特征。
本公开实施例中，高层特征提取子层用于由第二底层特征中提取出第二底层特征对应的第二高层特征。高层特征提取子层还可以用于由第二底层特征中挑选出用于与第二高层特征进行组合的第二子底层特征。其中，第二子底层特征由高层特征提取子层自动挑选得到，当高层特征提取子层的算法不同时，其挑选出的第二子底层特征也会不同。
本公开实施例中，高层特征提取层可以包括多个高层特征提取子层，多个高层特征提取子层可以堆叠放置。当高层特征提取层包括多个高层特征提取子层时，第二底层特征依次输入多个高层特征提取子层。其中，高层特征提取子层的数量可根据实际情况进行设定，本公开实施例对此不作具体限定。
高层特征提取子层对第二底层特征进行处理，得到第二高层特征及第二子底层特征后，还用于对第二底层特征中除第二子底层特征外的底层特征进行抑制，并将第二高层特征及第二子底层特征输入至高层特征组合子层。
步骤10522，将第二高层特征及第二子底层特征输入高层特征组合子层，通过高层特征组合子层对第二高层特征及第二子底层特征进行线性拼接，得到第二组合特征。
本公开实施例中，高层特征组合子层获取到第二高层特征和第二子底层特征后，将第二高层特征及第二子底层特征进行线性拼接，如将第二高层特征及第二子底层特征进行线性相加等，得到第二组合特征，并将第二组合特征输入至合成输出层。其中，高层特征组合子层还可通过其他方式将第二高层特征及第二子底层特征进行组合，本公开实施例对此不作具体限定。
步骤1053，将第二组合特征输入合成输出层，通过合成输出层对第二组合特征进行卷积处理，得到第二组合特征对应的目标RAW图片。
本公开实施例中，合成输出层中可以包括一个卷积子层和一个映射子层，卷积子层中包括5×5的卷积核，然后通过该卷积核对第二组合特征进行卷积处理，得到卷积后的第二组合特征。卷积子层用于在预设加噪模型的训练过程中，使预设神经网络更快地收敛。卷积子层将卷积后的第二组合特征输入映射子层，映射子层将第二组合特征中的每一特征映射至相应的位置，得到目标RAW图片。目标RAW图片中包含第一预设噪声与第二预设噪声。
为解决对图像处理领域内智能算法训练时，缺少RAW图片训练集的问题，本公开实施例还提供了一种RAW图片获取装置，如图11所示，RAW图片获取装置包括：
获取模块1101，用于获取sRGB图片；
第一输入模块1102，用于将sRGB图片输入预设图片还原模型，得到sRGB图片对应的初始RAW图片，其中，预设图片还原模型为基于第一预设训练集对预设神经网络进行训练得到的模型，第一预设训练集包括多个样本sRGB图片和每一样本sRGB图片对应的初始RAW图片；
第一添加模块1103，用于对初始RAW图片添加第一预设噪声，得到第一噪声RAW图片；
第二添加模块1104，用于对初始RAW图片添加第二预设噪声，得到第二噪声RAW图片；
第二输入模块1105，用于将第一噪声RAW图片和第二噪声RAW图片输入预设加噪模型，得到目标RAW图片，其中，预设加噪模型为基于第二预设训练集对预设神经网络进行训练得到的模型，第二预设训练集包括多个第一样本噪声RAW图片和多个第二样本噪声RAW图片，以及每一第一样本噪声RAW图片及每一第二样本噪声RAW图片对应的目标RAW图片。
一些实施例中，预设图片还原模型包括第一底层特征提取层、至少一个残差注意力网络层，以及图片恢复层：
第一输入模块1102包括：
第一输入子模块，用于将sRGB图片输入第一底层特征提取层，得到sRGB图片对应的第一底层特征；
第二输入子模块，用于将第一底层特征输入至少一个残差注意力网络层，得到第一底层特征对应的第一高层特征，并得到根据第一底层特征和第一高层特征确定的第一组合特征；
第三输入子模块，用于将第一组合特征输入图片恢复层，得到第一组合特征对应的初始RAW图片。
一些实施例中，残差注意力网络层包括至少一个注意力网络子层，及残差子层；
第二输入子模块，具体用于：
将第一底层特征输入至少一个注意力网络子层，得到第一底层特征对应的高层特征，及第一底层特征中的第一子底层特征；
将第一高层特征及第一子底层特征输入残差子层，通过残差子层对第一高层特征及第一子底层特征进行线性拼接，得到第一组合特征。
一些实施例中，图片恢复层包括图片卷积子层和还原子层；
第三输入子模块，具体用于：
将第一组合特征输入图片卷积子层，通过图片卷积子层对组合特征进行卷积处理，得到卷积后的第一组合特征；
将卷积后的第一组合特征输入还原子层，通过还原子层对卷积后的组合特征进行子像素卷积处理，得到卷积后的第一组合特征对应的初始RAW图片。
一些实施例中，预设加噪模型包括：第二底层特征提取层、至少一个高层特征提取层，以及合成输出层；
第二输入模块1103包括：
第四输入子模块，用于将第一噪声RAW图片和第二噪声RAW图片输入第二底层特征提取层，通过第二底层特征提取层对第一噪声RAW图片和第二噪声RAW图片进行卷积处理，得到第一噪声RAW图片和第二噪声RAW图片的第二底层特征；
第五输入子模块，用于将第二底层特征输入至少一个高层特征提取层，得到第二底层特征对应的第二高层特征，并得到根据第二底层特征与第二高层特征确定的第二组合特征；
第六输入子模块，用于将第二组合特征输入合成输出层，通过合成输出层对第二组合特征进行卷积处理，得到第二组合特征对应的目标RAW图片。
一些实施例中，第二底层特征提取层包括：底层特征提取子层及底层特征组合子层；
第四输入子模块，具体用于：
将第一噪声RAW图片和第二噪声RAW图片输入底层特征提取子层，通过底层特征提取子层对第一噪声RAW图片进行卷积处理，得到第一噪声RAW图片的第三底层特征，通过底层特征提取子层对第二噪声RAW图片进行卷积处理，得到第二噪声RAW图片的第四底层特征；
将第三底层特征及第四底层特征输入底层特征组合子层，通过底层特征组合子层对第三底层特征和第四底层特征进行线性拼接处理，得到第二底层特征。
一些实施例中，至少一个高层特征提取层包括至少一个高层特征提取子层，及高层特征组合子层；
第五输入子模块，具体用于：
将第二底层特征输入至少一个高层特征提取子层，得到第二底层特征对应的第二高层特征，及第二底层特征中的第二子底层特征；
将第二高层特征及第二子底层特征输入高层特征组合子层，通过高层特征组合子层对第二高层特征及第二子底层特征进行线性拼接，得到第二组合特征。
本公开实施例还提供了一种电子设备，如图12所示，包括处理器1201、通信接口1202、存储器1203和通信总线1204，其中，处理器1201，通信接口1202，存储器1203通过通信总线1204完成相互间的通信，
存储器1203，用于存放计算机程序；
处理器1201，用于执行存储器1203上所存放的程序时，实现上述任一RAW图片获取方法的步骤
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本公开提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一RAW图片获取方法的步骤。
在本公开提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一RAW图片获取方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本公开的较佳实施例，并非用于限定本公开的保护范围。凡在本公开的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本公开的保护范围内。

Claims (10)

1.一种RAW图片的获取方法，其特征在于，包括：
获取sRGB图片；
将所述sRGB图片输入预设图片还原模型，得到所述sRGB图片对应的初始RAW图片，其中，所述预设图片还原模型为基于第一预设训练集对预设神经网络进行训练得到的模型，所述第一预设训练集包括多个样本sRGB图片和每一样本sRGB图片对应的初始RAW图片；
对所述初始RAW图片添加第一预设噪声，得到第一噪声RAW图片；
对所述初始RAW图片添加第二预设噪声，得到第二噪声RAW图片；
将所述第一噪声RAW图片和所述第二噪声RAW图片输入预设加噪模型，得到目标RAW图片，其中，所述预设加噪模型为基于第二预设训练集对预设神经网络进行训练得到的模型，所述第二预设训练集包括多个第一样本噪声RAW图片和多个第二样本噪声RAW图片，以及每一第一样本噪声RAW图片和每一第二样本噪声RAW图片对应的目标RAW图片。
2.根据权利要求1所述的RAW图片的获取方法，其特征在于，所述预设图片还原模型包括第一底层特征提取层、至少一个残差注意力网络层，以及图片恢复层：
所述将所述sRGB图片输入预设图片还原模型，得到所述sRGB图片对应的初始RAW图片的步骤包括：
将所述sRGB图片输入所述第一底层特征提取层，得到所述sRGB图片对应的第一底层特征；
将所述第一底层特征输入所述至少一个残差注意力网络层，得到所述第一底层特征对应的第一高层特征，并得到根据所述第一底层特征和所述第一高层特征确定的第一组合特征；
将所述第一组合特征输入所述图片恢复层，得到所述第一组合特征对应的初始RAW图片。
3.根据权利要求2所述的RAW图片的获取方法，其特征在于，所述残差注意力网络层包括至少一个注意力网络子层，及残差子层；
所述将所述第一底层特征输入所述至少一个残差注意力网络层，得到所述第一底层特征对应的第一高层特征，并得到根据所述第一底层特征和所述第一高层特征确定的第一组合特征的步骤，包括：
将所述第一底层特征输入所述至少一个注意力网络子层，得到所述第一底层特征对应的第一高层特征，及所述第一底层特征中的第一子底层特征；
将所述第一高层特征及所述第一子底层特征输入所述残差子层，通过所述残差子层对所述第一高层特征及所述第一子底层特征进行线性拼接，得到所述第一组合特征。
4.根据权利要求2所述的RAW图片的获取方法，其特征在于，所述图片恢复层包括卷积子层和还原子层；
所述将所述第一组合特征输入所述图片恢复层，得到所述第一组合特征对应的初始RAW图片的步骤包括：
将所述第一组合特征输入所述卷积子层，通过所述卷积子层对所述第一组合特征进行卷积处理，得到卷积后的所述第一组合特征；
将卷积后的所述第一组合特征输入所述还原子层，通过所述还原子层对卷积后的所述第一组合特征进行子像素卷积处理，得到卷积后的所述第一组合特征对应的初始RAW图片。
5.根据权利要求1所述的RAW图片的获取方法，其特征在于，所述预设加噪模型包括：第二底层特征提取层、至少一个高层特征提取层，以及合成输出层；
所述将所述第一噪声RAW图片和所述第二噪声RAW图片输入预设加噪模型，得到目标RAW图片的步骤，包括：
将所述第一噪声RAW图片和所述第二噪声RAW图片输入所述第二底层特征提取层，通过所述第二底层特征提取层对所述第一噪声RAW图片和所述第二噪声RAW图片进行卷积处理，得到所述第一噪声RAW图片和所述第二噪声RAW图片的第二底层特征；
将所述第二底层特征输入所述至少一个高层特征提取层，得到所述第二底层特征对应的第二高层特征，并得到根据所述第二底层特征与所述第二高层特征确定的第二组合特征；
将所述第二组合特征输入所述合成输出层，通过所述合成输出层对所述第二组合特征进行卷积处理，得到所述第二组合特征对应的目标RAW图片。
6.根据权利要求5所述的RAW图片的获取方法，其特征在于，所述第二底层特征提取层包括：底层特征提取子层及底层特征组合子层；
所述将所述第一噪声RAW图片和所述第二噪声RAW图片输入所述第二底层特征提取层，通过所述第二底层特征提取层对所述第一噪声RAW图片和所述第二噪声RAW图片进行卷积处理，得到所述第一噪声RAW图片和所述第二噪声RAW图片的第二底层特征的步骤，包括：
将所述第一噪声RAW图片和所述第二噪声RAW图片输入所述底层特征提取子层，通过所述底层特征提取子层对所述第一噪声RAW图片进行卷积处理，得到所述第一噪声RAW图片的第三底层特征，通过所述底层特征提取子层对所述第二噪声RAW图片进行卷积处理，得到所述第二噪声RAW图片的第四底层特征；
将所述第三底层特征及所述第四底层特征输入所述底层特征组合子层，通过所述底层特征组合子层对所述第三底层特征和所述第四底层特征进行线性拼接处理，得到所述第二底层特征。
7.根据权利要求5所述的RAW图片的获取方法，其特征在于，所述至少一个高层特征提取层包括至少一个高层特征提取子层，及高层特征组合子层；
所述将所述第二底层特征输入所述至少一个高层特征提取层，得到所述第二底层特征对应的第二高层特征，并得到根据所述第二底层特征与所述第二高层特征确定的第二组合特征的步骤，包括：
将所述第二底层特征输入所述至少一个高层特征提取子层，得到所述第二底层特征对应的第二高层特征，及所述第二底层特征中的第二子底层特征；
将所述第二高层特征及第二子底层特征输入所述高层特征组合子层，通过所述高层特征组合子层对所述第二高层特征及所述第二子底层特征进行线性拼接，得到所述第二组合特征。
8.一种RAW图片获取装置，其特征在于，包括：
获取模块，用于获取sRGB图片；
第一输入模块，用于将所述sRGB图片输入预设图片还原模型，得到所述sRGB图片对应的初始RAW图片，其中，所述预设图片还原模型为基于第一预设训练集对预设神经网络进行训练得到的模型，所述第一预设训练集包括多个样本sRGB图片和每一样本sRGB图片对应的初始RAW图片；
第一添加模块，用于对所述初始RAW图片添加第一预设噪声，得到第一噪声RAW图片；
第二添加模块，用于对所述初始RAW图片添加第二预设噪声，得到第二噪声RAW图片；
第二输入模块，用于将所述第一噪声RAW图片和所述第二噪声RAW图片输入预设加噪模型，得到目标RAW图片，其中，所述预设加噪模型为基于第二预设训练集对预设神经网络进行训练得到的模型，所述第二预设训练集包括多个第一样本噪声RAW图片和多个第二样本噪声RAW图片，以及每一第一样本噪声RAW图片和每一第二样本噪声RAW图片对应的目标RAW图片。
9.根据权利要求8所述的RAW图片获取装置，其特征在于，所述预设图片还原模型包括第一底层特征提取层、至少一个残差注意力网络层，以及图片恢复层：
所述第一输入模块包括：
第一输入子模块，用于将所述sRGB图片输入所述第一底层特征提取层，得到所述sRGB图片对应的第一底层特征；
第二输入子模块，用于将所述第一底层特征输入所述至少一个残差注意力网络层，得到所述第一底层特征对应的第一高层特征，并得到根据所述第一底层特征和所述第一高层特征确定的第一组合特征；
第三输入子模块，用于将所述第一组合特征输入所述图片恢复层，得到所述第一组合特征对应的初始RAW图片。
10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一项所述的方法步骤。
CN202011560718.8A 2020-12-25 2020-12-25 一种raw图片的获取方法、装置及电子设备 Active CN112581401B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011560718.8A CN112581401B (zh) 2020-12-25 2020-12-25 一种raw图片的获取方法、装置及电子设备
US17/786,406 US20230245276A1 (en) 2020-12-25 2021-12-22 Method and apparatus for acquiring raw image, and electronic device
PCT/CN2021/140594 WO2022135497A1 (zh) 2020-12-25 2021-12-22 一种raw图片的获取方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011560718.8A CN112581401B (zh) 2020-12-25 2020-12-25 一种raw图片的获取方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112581401A true CN112581401A (zh) 2021-03-30
CN112581401B CN112581401B (zh) 2023-04-28

Family

ID=75140135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011560718.8A Active CN112581401B (zh) 2020-12-25 2020-12-25 一种raw图片的获取方法、装置及电子设备

Country Status (3)

Country Link
US (1) US20230245276A1 (zh)
CN (1) CN112581401B (zh)
WO (1) WO2022135497A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022135497A1 (zh) * 2020-12-25 2022-06-30 英特灵达信息技术(深圳)有限公司 一种raw图片的获取方法、装置及电子设备

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004328534A (ja) * 2003-04-25 2004-11-18 Konica Minolta Photo Imaging Inc 画像形成方法、画像処理装置及び画像記録装置
CN109509178A (zh) * 2018-10-24 2019-03-22 苏州大学 一种基于改进的U-net网络的OCT图像脉络膜分割方法
CN109685776A (zh) * 2018-12-12 2019-04-26 华中科技大学 一种基于ct图像的肺结节检测方法及***
CN109785252A (zh) * 2018-12-25 2019-05-21 山西大学 基于多尺度残差密集网络夜间图像增强方法
CN110458763A (zh) * 2019-07-08 2019-11-15 深圳中兴网信科技有限公司 基于深度学习的夜间彩色图像的还原方法、***、介质
US20200034693A1 (en) * 2018-07-27 2020-01-30 Samsung Electronics Co., Ltd. Method for detecting defects in semiconductor device
CN111161181A (zh) * 2019-12-26 2020-05-15 深圳市优必选科技股份有限公司 图像数据的增强方法、模型的训练方法、设备和存储介质
CN111179167A (zh) * 2019-12-12 2020-05-19 天津大学 一种基于多阶段注意力增强网络的图像超分辨方法
CN111401411A (zh) * 2020-02-28 2020-07-10 北京小米松果电子有限公司 获取样本图像集的方法及装置
US20200234414A1 (en) * 2019-01-23 2020-07-23 Inception Institute of Artificial Intelligence, Ltd. Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures
CN111612722A (zh) * 2020-05-26 2020-09-01 星际（重庆）智能装备技术研究院有限公司 基于简化Unet全卷积神经网络的低照度图像处理方法
CN111724317A (zh) * 2020-05-20 2020-09-29 天津大学 Raw域视频去噪监督数据集构造方法
CN111798381A (zh) * 2020-05-20 2020-10-20 北京迈格威科技有限公司 图像转换方法、装置、计算机设备和存储介质
CN111881927A (zh) * 2019-05-02 2020-11-03 三星电子株式会社 电子装置及其图像处理方法
CN111950467A (zh) * 2020-08-14 2020-11-17 清华大学 基于注意力机制的融合网络车道线检测方法及终端设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581401B (zh) * 2020-12-25 2023-04-28 英特灵达信息技术(深圳)有限公司 一种raw图片的获取方法、装置及电子设备

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004328534A (ja) * 2003-04-25 2004-11-18 Konica Minolta Photo Imaging Inc 画像形成方法、画像処理装置及び画像記録装置
US20200034693A1 (en) * 2018-07-27 2020-01-30 Samsung Electronics Co., Ltd. Method for detecting defects in semiconductor device
CN109509178A (zh) * 2018-10-24 2019-03-22 苏州大学 一种基于改进的U-net网络的OCT图像脉络膜分割方法
CN109685776A (zh) * 2018-12-12 2019-04-26 华中科技大学 一种基于ct图像的肺结节检测方法及***
CN109785252A (zh) * 2018-12-25 2019-05-21 山西大学 基于多尺度残差密集网络夜间图像增强方法
US20200234414A1 (en) * 2019-01-23 2020-07-23 Inception Institute of Artificial Intelligence, Ltd. Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures
CN111881927A (zh) * 2019-05-02 2020-11-03 三星电子株式会社 电子装置及其图像处理方法
CN110458763A (zh) * 2019-07-08 2019-11-15 深圳中兴网信科技有限公司 基于深度学习的夜间彩色图像的还原方法、***、介质
CN111179167A (zh) * 2019-12-12 2020-05-19 天津大学 一种基于多阶段注意力增强网络的图像超分辨方法
CN111161181A (zh) * 2019-12-26 2020-05-15 深圳市优必选科技股份有限公司 图像数据的增强方法、模型的训练方法、设备和存储介质
CN111401411A (zh) * 2020-02-28 2020-07-10 北京小米松果电子有限公司 获取样本图像集的方法及装置
CN111724317A (zh) * 2020-05-20 2020-09-29 天津大学 Raw域视频去噪监督数据集构造方法
CN111798381A (zh) * 2020-05-20 2020-10-20 北京迈格威科技有限公司 图像转换方法、装置、计算机设备和存储介质
CN111612722A (zh) * 2020-05-26 2020-09-01 星际（重庆）智能装备技术研究院有限公司 基于简化Unet全卷积神经网络的低照度图像处理方法
CN111950467A (zh) * 2020-08-14 2020-11-17 清华大学 基于注意力机制的融合网络车道线检测方法及终端设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
席志红 等: "基于残差通道注意力和多级特征融合的图像超分辨率重建" *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022135497A1 (zh) * 2020-12-25 2022-06-30 英特灵达信息技术(深圳)有限公司 一种raw图片的获取方法、装置及电子设备

Also Published As

Publication number Publication date
WO2022135497A1 (zh) 2022-06-30
US20230245276A1 (en) 2023-08-03
CN112581401B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
Schwartz et al. Deepisp: Toward learning an end-to-end image processing pipeline
CN111080528B (zh) 图像超分辨率和模型训练方法、装置、电子设备及介质
WO2021218119A1 (zh) 图像调色增强方法和图像调色增强神经网络训练方法
CN109871845B (zh) 证件图像提取方法及终端设备
JP2021532434A (ja) 顔特徴抽出モデル訓練方法、顔特徴抽出方法、装置、機器および記憶媒体
TWI769725B (zh) 圖像處理方法、電子設備及電腦可讀儲存介質
US11526962B2 (en) Image processing apparatus, image processing method, and storage medium
Afifi et al. Cie xyz net: Unprocessing images for low-level computer vision tasks
TW202032423A (zh) 圖像處理方法及裝置
CN113256537B (zh) 一种图像数据生成方法和装置
CN111062876A (zh) 用于校正模型训练和图像校正的方法和装置及电子设备
US20210358081A1 (en) Information processing apparatus, control method thereof, imaging device, and storage medium
WO2023125503A1 (zh) 一种暗光图像降噪方法及装置
WO2023125440A1 (zh) 一种降噪方法、装置、电子设备及介质
CN110717864B (zh) 一种图像增强方法、装置、终端设备及计算机可读介质
JP2021189527A (ja) 情報処理装置、情報処理方法及びプログラム
CN112581401B (zh) 一种raw图片的获取方法、装置及电子设备
CN111444884A (zh) 图像中的构件识别方法、设备及计算机可读存储介质
CN111079930A (zh) 数据集质量参数的确定方法、装置及电子设备
CN112561818B (zh) 一种图像增强方法、装置、电子设备及存储介质
CN114494080A (zh) 一种图像生成方法、装置、电子设备及存储介质
CN111354058B (zh) 一种图像着色方法、装置、图像采集设备及可读存储介质
CN113191376A (zh) 图像处理方法、装置、电子设备和可读存储介质
CN111091158A (zh) 针对教辅图像的图像质量的分类方法、装置及设备
TWI590192B (zh) 適應性高動態範圍影像合成演算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant