CN113067980A - 图像采集方法、装置、电子设备及存储介质 - Google Patents

图像采集方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113067980A
CN113067980A CN202110309583.6A CN202110309583A CN113067980A CN 113067980 A CN113067980 A CN 113067980A CN 202110309583 A CN202110309583 A CN 202110309583A CN 113067980 A CN113067980 A CN 113067980A
Authority
CN
China
Prior art keywords
image
parameters
processing
prediction
optimized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110309583.6A
Other languages
English (en)
Inventor
刘乾坤
龚克洪
方德源
申省梅
马原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Pengsi Technology Co ltd
Original Assignee
Beijing Pengsi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Pengsi Technology Co ltd filed Critical Beijing Pengsi Technology Co ltd
Priority to CN202110309583.6A priority Critical patent/CN113067980A/zh
Publication of CN113067980A publication Critical patent/CN113067980A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本公开实施例公开了一种图像采集方法、装置、电子设备及存储介质，所述方法包括：获取图像传感器的感光元件所采集的图像；从采集的图像确定待优化区域；将待优化区域中的图像输入至预训练的参数预测模型，以获取目标参数；所述目标参数包括对所述待优化区域中的图像进行优化处理所要使用的图像处理参数以及反馈至所述感光元件的图像采集控制参数；将所述图像处理参数以及所述待优化区域中的图像输入至图像信号处理模块进行优化处理，以获得优化后的目标图像，以及将所述图像采集控制参数反馈至所述感光元件。该技术方案实现了目标区域或整体图像质量的增强，在确保了图像传感器输出高质量图像的同时，能够保证图像的重要信息不丢失。

Description

图像采集方法、装置、电子设备及存储介质
技术领域
本公开涉及图像技术领域，具体涉及一种图像采集方法、装置、电子设备及存储介质。
背景技术
在电子感光元器件的帮助下，人们从光学胶片相机时代进入了数码相机时代。由于图像传感器的感光元件记录的是栅格化(rasterized)模拟信号，因此数码相机引入了图像信号处理模块(ISP，Image Signal Processing)，以记录和编码由图像传感器捕捉的物理图像，进而扩展其功能，包括：去马赛克(color demosaicing)、白平衡、降噪、颜色校正和数据压缩等处理功能，数码相机中还出现了自动对焦、自动曝光等功能。但是上述相机自带的自动对焦、自动曝光、自动ISP等功能，仅仅是基于特定条件的解决方案，例如在相机控制方面，自动对焦只是最大化图像的对比度或清晰度；自动曝光只是最大化动态范围分布。虽然上述功能可以提高图像质量，但是同时会丢失图像中不常见但很重要的信息，比如前景优化导致的背景信息丢失等，而这些丢失的信息恰恰对于计算机视觉方面的目标检测分类识别工作较为重要，最终会导致目标检测分类识别等所需要的图像信息得不到保证。因此，在图像采集过程中，如何使得相机采集到高质量图像的同时，保证图像中的重要信息不丢失是本领域技术人员需要解决的主要问题之一。
发明内容
本公开实施例提供一种图像采集方法、装置、电子设备及计算机可读存储介质。
第一方面，本公开实施例中提供了一种图像采集方法，其中，包括：
获取图像传感器的感光元件所采集的图像；
从采集的图像确定待优化区域；
将待优化区域中的图像输入至预训练的参数预测模型，以获取目标参数；所述目标参数包括对所述待优化区域中的图像进行优化处理所要使用的图像处理参数以及反馈至所述感光元件的图像采集控制参数；
将所述图像处理参数以及所述待优化区域中的图像输入至图像信号处理模块进行优化处理，以获得优化后的目标图像，以及将所述图像采集控制参数反馈至所述感光元件。
进一步地，
从采集的图像确定待优化区域，包括：
将所述采集的图像处理成预定格式的待处理图像；
利用预训练的目标检测模型对所述待处理图像中的人脸信息和人体信息进行识别；
根据识别出的所述人脸信息以及所述人体信息确定所述待优化区域。
进一步地，
所述方法还包括：
收集样本图像；所述样本图像包括多组，每组包括同一对象在多种成像条件下采集的多张普通图像以及一张基准图像；
将所述普通图像输入至待训练的参数预测模型，以获取预测参数；所述预测参数包括进行图像优化处理所要使用的图像处理预测参数；
将所述图像处理预测参数和所述普通图像输入至所述图像信号处理模块进行优化处理，获得优化后的候选图像；
通过比较所述候选图像和所述基准图像之间的相似性对所述参数预测模型进行训练。
进一步地，所述预测参数还包括图像采集预测参数；所述方法还包括：
将所述图像采集预测参数以及所述普通图像输入至图像采集模拟模块，以便所述图像采集模拟模块模拟所述图像传感器的感光元件，使用所述图像采集预测参数对所述普通图像进行处理，获得处理后的候选图像；
通过比较所述候选图像和所述基准图像之间的相似性对所述参数预测模型进行训练。
进一步地，在所述参数预测模型的训练过程中，通过将所述参数预测模型和所述图像信号处理模块作为生成器，对所述参数预测模型进行对抗生成训练。
进一步地，在对抗生成训练过程中，收集的样本图像包括多组，且每组包括同一对象在多种成像条件下采集的多张普通图像以及一张基准图像，所述参数预测模型基于所述普通图像预测得到预测参数，所述预测参数包括图像处理预测参数；所述图像信号处理模块基于所述图像处理预测参数对所述普通图像进行处理得到候选图像；以及图像对比模块作为判别器，用于判别所述候选图像以及对应的所述基准图像的相似性。
进一步地，在所述参数预测模型的训练过程中，还利用图像采集模拟模块模拟所述图像传感器的感光元件，以及将所述参数预测模型和所述图像采集模拟模块作为生成器，对所述参数预测模型进行对抗生成训练。
进一步地，在对抗生成训练过程中，收集的样本图像包括多组，且每组包括同一对象在多种成像条件下采集的多张普通图像以及一张基准图像，所述参数预测模型基于所述普通图像预测得到预测参数，所述预测参数包括图像采集预测参数；所述图像采集模拟模块基于所述图像采集预测参数对所述普通图像进行处理得到候选图像；以及图像对比模块作为判别器，用于判别所述候选图像以及对应的所述基准图像的相似性。
第二方面，本发明实施例中提供了一种模型训练方法，其中，包括：
收集样本图像；所述样本图像包括多组，每组包括同一对象在多种成像条件下采集的多张普通图像以及一张基准图像；
将所述普通图像输入至待训练的参数预测模型，以获取预测参数；所述预测参数包括进行图像处理所要使用的图像处理预测参数；
将所述图像处理预测参数和所述普通图像输入至图像信号处理模块进行处理，获得处理后的候选图像；
通过比较所述候选图像和所述基准图像之间的相似性对所述参数预测模型进行训练。
进一步地，所述预测参数还包括图像采集预测参数；所述方法还包括：
将所述图像采集预测参数以及所述普通图像输入至图像采集模拟模块，以便所述图像采集模拟模块模拟图像传感器的感光元件，使用所述图像采集预测参数对所述普通图像进行处理，获得处理后的候选图像；
通过比较所述候选图像和所述基准图像之间的相似性对所述参数预测模型进行训练。
第三方面，本发明实施例中提供了一种图像采集装置，其中，包括：
第一获取模块，被配置为获取图像传感器的感光元件所采集的图像；
第一确定模块，被配置为从采集的图像确定待优化区域；
第二获取模块，被配置为将待优化区域中的图像输入至预训练的参数预测模型，以获取目标参数；所述目标参数包括对所述待优化区域中的图像进行优化处理所要使用的图像处理参数以及反馈至所述感光元件的图像采集控制参数；
第三获取模块，被配置为将所述图像处理参数以及所述待优化区域中的图像输入至图像信号处理模块进行优化处理，以获得优化后的目标图像，以及将所述图像采集控制参数反馈至所述感光元件。
第四方面，本发明实施例中提供了一种模型训练装置，其中，包括：
收集模块，被配置为收集样本图像；所述样本图像包括多组，每组包括同一对象在多种成像条件下采集的多张普通图像以及一张基准图像；
第四获取模块，被配置为将所述普通图像输入至待训练的参数预测模型，以获取预测参数；所述预测参数包括进行图像处理所要使用的图像处理预测参数；
第五获取模块，被配置为将所述图像处理预测参数和所述普通图像输入至图像信号处理模块进行处理，获得处理后的候选图像；
训练模块，被配置为通过比较所述候选图像和所述基准图像之间的相似性对所述参数预测模型进行训练。
所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中，上述装置的结构中包括存储器和处理器，所述存储器用于存储一条或多条支持上述装置执行上述对应方法的计算机指令，所述处理器被配置为用于执行所述存储器中存储的计算机指令。上述装置还可以包括通信接口，用于上述装置与其他设备或通信网络通信。
第五方面，本发明实施例中提供了一种图像传感***，其中，包括：
感光元件，参数预测单元，图像信号处理单元以及输出单元；
其中，所述感光元件根据所述参数预测单元反馈的图像采集控制参数采集图像；
所述参数预测单元根据所述感光元件采集的图像预测目标参数，所述目标参数包括对待优化区域中的图像进行优化处理所要使用的图像处理参数以及反馈至所述感光元件的所述图像采集控制参数；
所述图像信号处理单元利用所述图像处理参数对所述图像进行优化处理，获得优化后的目标图像；
所述输出单元输出所述目标图像。
第六方面，本公开实施例提供了一种电子设备，包括存储器、处理器以及存储在存储器上的计算机程序，其中，所述处理器执行所述计算机程序以实现上述任一方面所述的方法。
第七方面，本公开实施例提供了一种计算机可读存储介质，用于存储上述任一装置所用的计算机指令，该计算机指令被处理器执行时用于实现上述任一方面所述的方法。
第八方面，本公开实施例提供了一种计算机程序产品，其包含计算机指令，该计算机指令被处理器执行时用于实现上述任一方面所述的方法。
本公开实施例提供的技术方案可以包括以下有益效果：
本公开实施例在利用图像传感器采集图像的过程中，由感光元件采集到图像后，对所采集的图像先进行处理确定待优化区域，进而再将待优化区域中的图像输入至预训练的参数预测模型中，获取包括图像处理参数和图像采集控制参数的目标参数；图像处理参数可以提供给图像信号处理模块，以便对待优化区域的图像进行优化处理，而图像采集控制参数可以反馈给图像传感器的感光元件，以便调整下次采集图像时的曝光参数等。本公开实施例的上述方案，通过人工智能机器模型从图像预测对该图像进行优化处理的图像处理参数以及曝光参数，并且根据图像采集任务的需要，在图像传感器内部对任务所需要的待优化区域进行图像优化处理，实现了目标区域或整体图像质量的增强，在确保了图像传感器输出高质量图像的同时，能够保证图像的重要信息不丢失。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：
图1示出根据本公开一实施方式的图像采集方法的流程图。
图2示出根据本公开一实施方式中待优化区域的确定流程示意图。
图3示出根据本公开一实施方式的模型训练方法的流程图。
图4(a)-图4(c)示出本公开实施例中图像采集***的实现流程示意图。
图5示出根据本公开一实施方式的图像传感***的结构示意图。
图6是适于用来实现根据本公开一实施方式的图像采集方法和/或模型训练方法的电子设备的结构示意图。
具体实施方式
下文中，将参考附图详细描述本公开的示例性实施方式，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施方式无关的部分。
在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
经过本公开发明人的研究发现，由于人工智能尤其是深度学习以及卷积神经网络的快速发展，在相机中应用深度学习神经网络模型来自动调整相机的图像采集控制参数以达到所需求的图像质量已成为可能，例如基于人脸检测的自动对焦和自动曝光、基于夜景的图像增强等。本公开实施例则应用了人工智能模型例如神经网络模型来优化图像信号处理模块(ISP，Image Signal Processing)以及通过自动预测较好的图像采集控制参数来控制相机控采集图像。本公开提出的图像采集方法可用于现场图像采集场景和其它场景，在各种天气和光线下实现图像传感器的图像优化采集，根据图像采集任务的不同，可以对特定目标的图像进行优化。本公开提出的图像采集方法既可用于在线图像采集，也可用于非在线图像增强。
下面通过具体实施例详细介绍本公开实施例的细节。
图1示出根据本公开一实施方式的图像采集方法的流程图。如图1所示，该图像采集方法包括以下步骤：
在步骤S101中，获取图像传感器的感光元件所采集的图像；
在步骤S102中，从采集的图像确定待优化区域；
在步骤S103中，将待优化区域中的图像输入至预训练的参数预测模型，以获取目标参数；所述目标参数包括对所述待优化区域中的图像进行优化处理所要使用的图像处理参数以及反馈至所述感光元件的图像采集控制参数；
在步骤S104中，将所述图像处理参数以及所述待优化区域中的图像输入至图像信号处理模块进行优化处理，以获得优化后的目标图像，以及将所述图像采集控制参数反馈至所述感光元件。
上文提及，图像传感器自带的自动对焦、自动曝光、自动ISP(图像信号处理，ImageSignal Processing)等功能，是基于特定条件的解决方案，例如在相机控制方面，自动对焦只是最大化图像的对比度或清晰度；自动曝光只是最大化动态范围分布。虽然上述功能可以提高图像质量，但是同时会丢失图像中不常见但很重要的信息，比如前景优化导致的背景信息丢失等，而这些丢失的信息恰恰对于计算机视觉方面的目标检测分类识别工作较为重要，最终会导致目标检测分类识别等所需要的图像信息得不到保证。
本实施例中，图像传感器可以具有感光元件，在一些实施例中，图像传感器可以是数码相机、摄像头、或者具有摄像功能的电子设备等。在采集图像时，感光元件可以根据图像采集控制参数采集图像，感光元件采集得到原始的拜尔图像后，经过去马赛克等处理可以获取到物理图片的原始信息，格式可以为RAW/TIFF，其中RAW/TIFF图像的每个像素可以是16比特，能够保留更多的细节信息，便于后续的图像信号处理。
待优化区域可以是感光元件采集到的整张图像，也可以是图像中的一个或者多个部分区域，例如对于包括人的图像，待优化区域可以是人脸区域。
预训练的参数预测模型可以是经过预先训练的神经网络模型，该参数预测模型可以被预先训练成能够从图像识别出对该图像进行优化处理的目标参数，该目标参数可以包括但不限于对图像进行图像优化处理的图像处理参数和反馈给感光元件的图像采集控制参数。图像处理参数可以包括但不限于伽马调整参数、对比度调整参数、降噪参数、颜色校正参数等。图像采集控制参数可以包括但不限于各种曝光参数，比如曝光时间、感光度和对焦等控制参数。
参数预测模型根据输入的待优化区域的图像可以识别出对该待优化区域的图像进行优化处理的图像处理参数以及在当前环境下对图像传感器的感光元件进行控制的图像采集控制参数，图像处理参数可以输出至图像信号处理模块，由图像信号处理模块采用图像处理参数对该待优化区域的图像进行优化处理。在一些实施例中，图像信号处理模块在接收到图像处理参数后，对待优化区域的图像依次进行相应的优化处理，例如利用伽马调整参数对图像进行伽马调整，进而再利用对比度调整参数进行对比度调整，利用降噪参数进行降噪处理，以及利用颜色校正参数进行颜色校正处理等，最后输出高质量的图像，也即目标图像，该目标图像为图像传感器当前采集得到的最终图像。
参数预测模型输出的图像采集控制参数还可以进一步反馈给感光元件，以便感光元件在下次采集图像时，采用该图像采集控制参数采集图像。在一些实施例中，图像采集控制参数可以是一调整值，感光元件基于该调整值对原始的曝光参数调整之后再次采集图像。
本公开实施例在利用图像传感器采集图像的过程中，由感光元件采集到图像后，对所采集的图像先进行处理确定待优化区域，进而再将待优化区域中的图像输入至预训练的参数预测模型中，获取包括图像处理参数和图像采集控制参数的目标参数；图像处理参数可以提供给图像信号处理模块，以便对待优化区域的图像进行优化处理，而图像采集控制参数可以反馈给图像传感器的感光元件，以便调整下次采集图像时的曝光参数等。本公开实施例的上述方案，通过人工智能机器模型从图像预测对该图像进行优化处理的图像处理参数以及曝光参数，并且根据图像采集任务的需要，在图像传感器内部对任务所需要的待优化区域进行图像优化处理，实现了目标区域或整体图像质量的增强，在确保了图像传感器输出高质量图像的同时，能够保证图像的重要信息不丢失。
在本实施例的一个可选实现方式中，步骤S102，即从采集的图像确定待优化区域的步骤，进一步包括以下步骤：
将所述采集的图像处理成预定格式的待处理图像；
利用预训练的目标检测模型对所述待处理图像中的人脸信息和人体信息进行识别；
根据识别出的所述人脸信息以及所述人体信息确定所述待优化区域。
该可选的实现方式中，图像传感器的感光元件采集的图像可以是拜尔图像，为了便于后续的图像信号处理，可以通过对该拜尔图像经过去马赛克等处理后获取物理图片的原始信息，所获得的待处理图像的预定格式可以为RAW/TIFF。RAW/TIFF图像的每个像素可以是16比特，能够保留更多的细节信息。
预训练的目标检测模型可以是预先经过训练的人工智能模型，例如可以是基于深度学习的神经网络模型，该目标检测模型可以检测出输入图像中的目标信息。
对于包括人的待处理图像，该目标检测模型可以从中检测人脸信息以及人体信息，人脸信息包括待处理图像中人脸所在位置信息，人体信息包括整个人体在待处理图像中的位置信息，在一些实施例中，目标检测模型输出的是在待处理图像中的人头边框和人体边框。
图2示出根据本公开一实施方式中待优化区域的确定流程示意图。如图2所示，根据拜尔图像获得的RAW/TIFF格式的待处理图像输入至被预先训练来检测图像中人头边框和人体边框的神经网络模型中，该模型输出人头和人体边框，根据该人头和人体边框将待处理图像进行裁剪，得到人头所在区域的图像，也即待优化区域的图像。
需要说明的时序，根据图像优化任务的需求，本公开实施例中可以接入不同的目标检测模型，相较于已有图像传感器中用于目标检测的模型只检测人脸的技术，本公开实施例提出的目标检测模型检测的是人头(也即人脸)加人体同时检测的技术，通过这种方式可以提高人脸识别的精度和适用范围。在曝光不足或者过分曝光的情况下，人头加人体检测比已有的仅人脸检测更加具有鲁棒性。在极端情况下，人脸信息可能不可见时，整个身体形状的信息依然能够保留下来。
在本实施例的一个可选实现方式中，所述方法进一步包括以下步骤：
收集样本图像；所述样本图像包括多组，每组包括同一对象在多种成像条件下采集的多张普通图像以及一张基准图像；
将所述普通图像输入至待训练的参数预测模型，以获取预测参数；所述预测参数包括进行图像优化处理所要使用的图像处理预测参数；
将所述图像处理预测参数和所述普通图像输入至所述图像信号处理模块进行优化处理，获得优化后的候选图像；
通过比较所述候选图像和所述基准图像之间的相似性对所述参数预测模型进行训练。
该可选的实现方式中，参数预测模型可以预先训练，并在训练完成之后部署到图像传感器上，用于向图像信号处理模块和感光元件提供相应的参数。
参数预测模型的训练过程中，首先收集足够的样本图像，之后再利用所收集的样本图像进行训练。在收集样本图像的过程中，可以针对同一个对象比如人(在其他实施例中也可以是车辆、动物等对象)采集各种成像条件下的样本图像，例如可以采集不同光线下的样本图像，每个对象可以对应一组样本图像，该一组样本图像可以包括多个不同光线下的图像以及一张基准图像。基准图像可以为在较佳成像条件下采集到的该对象的图像，还可以是对采集到的图像经过人工或其他方式优化后质量较高的图像。在参数预测模型的训练过程中，可以将基准图像作为该对象对应的在其他不同成像条件下采集到的普通图像的监督信息。
本公开实施例中，可以通过上述方式收集多个对象对应的多组样本图像。
针对每组样本图像中的每一普通图像，可以将普通图像输入至待训练的参数预测模型，并由参数预测模型对普通图像处理之后获得该普通图像对应的预测参数，该预测参数可以包括但不限于对图像进行优化处理的图像处理预测参数。
该图像处理预测参数以及对应的普通图像被输入至图像信号处理模块进行处理后，获得处理后的候选图像。需要说明的是，该图像处理预测参数可以包括一个或多个，并且在包括多个的情况下，每个图像处理预测参数均可以同时被输入至图像信号处理模块，图像信号处理模块可以依据每一个图像处理预测参数依次对普通图像进行相应的处理，最终得到优化后的候选图像。例如，图像处理预测参数包括三个，分别为伽马调整参数、颜色校正参数和降噪参数；图像信号处理模块可以依次利用伽马调整参数对普通图像进行伽马调整，之后再利用颜色校正参数进行颜色校正，最后再利用降噪参数进行降噪。当然，可以理解的是，上述对图像的处理顺序可以是任意的处理顺序，在此不做限制。
经过上述处理后的候选图像与基准图像进行相似性比较，利用比较结果对参数预测模型进行训练，也即利用比较结果调整参数预测模型的模型参数，以使经过模型参数调整后的参数预测模型得到的候选图像与基准图像更加相似。具体参数调整的过程可以参见已有技术，在此不再赘述。
在本实施例的一个可选实现方式中，所述预测参数还包括图像采集预测参数；所述方法进一步还包括以下步骤：
将所述图像采集预测参数以及所述普通图像输入至图像采集模拟模块，以便所述图像采集模拟模块模拟所述图像传感器的感光元件，使用所述图像采集预测参数对所述普通图像进行处理，获得处理后的候选图像；
通过比较所述候选图像和所述基准图像之间的相似性对所述参数预测模型进行训练。
该可选的实现方式中，参数预测模型除了具有预测图像信号处理模型所需要的图像处理参数的能力之外，还可以具有预测用于控制感光元件采集图像的图像采集控制参数的能力。为了训练参数预测模型预测图像采集控制参数的能力，可以设置一图像采集模拟模块，该图像采集模拟模块可以模拟图像传感器的感光元件采用图像采集控制参数采集图像的方式，对普通图像进行处理。
以曝光参数为例，在训练过程中，参数预测模型基于输入的普通图像预测得到曝光参数，图像采集模拟模块基于该曝光参数对普通图像进行曝光处理，得到候选图像。该候选图像可以与基准图像进行相似性比较，并利用比较结果对参数预测模型的模型参数进行调整，具体调整过程可以见上文中的描述，在此不再赘述。
在一些实施例中，参数预测模型的训练过程中，图像采集模拟模块可以作为图像信号处理模块的一个子功能，参数预测模型输出图像处理预测参数和图像采集控制参数，图像信号处理模块利用图像处理预测参数和图像控制参数依次对输入的普通图像进行处理。在一些实施例中，为了与应用过程中的图像处理顺序保持一致，可以先采用图像控制参数对普通图像进行处理，之后再采用图像信号处理模块对经过处理的普通图像进行再次处理。
在本实施例的一个可选实现方式中，在所述参数预测模型的训练过程中，通过将所述参数预测模型和所述图像信号处理模块作为生成器，对所述参数预测模型进行对抗生成训练。
该可选的实现方式中，本公开实施例中采用对抗生成训练方式对参数预测模型进行训练，在训练过程中，参数预测模型和图像信号处理模块作为生成器，根据输入的图像生成输出图像。输入图像可以是一组样本图像中同一对象对应的普通图像，而输出图像则是图像信号处理模块根据参数预测模型输出的图像处理预测参数对普通图像进行处理得到的图像。
在本实施例的一个可选实现方式中，在对抗生成训练过程中，收集的样本图像包括多组，且每组包括同一对象在多种成像条件下采集的多张普通图像以及一张基准图像，所述参数预测模型基于所述普通图像预测得到预测参数，所述预测参数包括图像处理预测参数；所述图像信号处理模块基于所述图像处理预测参数对所述普通图像进行处理得到候选图像；以及图像对比模块作为判别器，用于判别所述候选图像以及对应的所述基准图像的相似性。
该可选的实现方式中，在对抗生成训练过程中，所收集的样本图像可以包括多组，且每组包括同一对象在多种成像条件下采集的多张普通图像以及一张基准图像。对于样本图像的描述可以参见上文中的相关描述，在此不再赘述。普通图像输入至参数预测模型中，由参数预测模型输出对应的预测参数，该预测参数可以包括但不限于图像处理预测参数。图像信号处理模块基于图像处理预测参数对该普通图像进行处理得到候选图像。
在对抗生成训练过程中，除了生成器如对抗生成器之外，还需要判别器。本公开实施例中，可以设置一图像对比模块，通过对比对抗生成器得到的候选图像与基准图像之间的相似性来作为判别器，在候选图像与基准图像之间的相似性大于或等于预设阈值时，认为参数预测模型的预测结果较好，而在候选图像与基准图像之间的相似性小于预设阈值时，则可以认为参数预测模型的预测结果较差。
在一些实施例中，图像对比模块可以使用预训练的目标检测模型，该目标检测模型可以检测出输入图像中的目标对象，例如人脸信息，并且目标检测模型具有计算两张图像中目标对象之间相似性的功能，例如可以通过计算两张图像中目标对象之间余弦距离的方式确定两张图像之间的相似性。
在本实施例的一个可选实现方式中，在所述参数预测模型的训练过程中，还利用图像采集模拟模块模拟所述图像传感器的感光元件，以及将所述参数预测模型和所述图像采集模拟模块作为生成器，对所述参数预测模型进行对抗生成训练。
该可选的实现方式中，参数预测模型除了具有预测图像信号处理模型所需要的图像处理参数的能力之外，还可以具有预测用于控制感光元件采集图像的图像采集控制参数的能力。为了训练参数预测模型预测图像采集控制参数的能力，可以设置一图像采集模拟模块，该图像采集模拟模块可以模拟图像传感器的感光元件采用图像采集控制参数采集图像的方式，对普通图像进行处理。
在训练过程中，参数预测模型和图像采集模拟模块作为生成器，根据输入的图像得到输出图像。
以曝光参数为例，在训练过程中，参数预测模型基于输入的普通图像预测得到曝光参数，图像采集模拟模块基于该曝光参数对普通图像进行曝光处理，得到候选图像。
在一些实施例中，参数预测模型的训练过程中，图像采集模拟模块可以作为图像信号处理模块的一个子功能，参数预测模型和图像信号处理模块作为对抗生成训练过程中的生成器，参数预测模型输出图像处理预测参数和图像采集控制参数，图像信号处理模块利用图像处理预测参数和图像控制参数依次对输入的普通图像进行处理。在一些实施例中，为了与应用过程中的图像处理顺序保持一致，可以先采用图像控制参数对普通图像进行处理，之后再采用图像信号处理模块对经过处理的普通图像进行再次处理。
在本实施例的一个可选实现方式中，在对抗生成训练过程中，收集的样本图像包括多组，且每组包括同一对象在多种成像条件下采集的多张普通图像以及一张基准图像，所述参数预测模型基于所述普通图像预测得到预测参数，所述预测参数包括图像采集预测参数；所述图像采集模拟模块基于所述图像采集预测参数对所述普通图像进行处理得到候选图像；以及图像对比模块作为判别器，用于判别所述候选图像以及对应的所述基准图像的相似性。
该可选的实现方式中，在对抗生成训练过程中，除了对抗生成器之外，还需要判别器。在一些实施例中，训练所使用的样本图像可以包括多组，且每组包括同一对象在多种成像条件下采集的多张普通图像以及一张基准图像。对于样本图像的描述可以参见上文中的相关描述，在此不再赘述。
本公开实施例中，可以设置一图像对比模块，通过对比对抗生成器得到的候选图像与基准图像之间的相似性来作为判别器，在候选图像与基准图像之间的相似性大于或等于预设阈值时，认为参数预测模型的预测结果较好，而在候选图像与基准图像之间的相似性小于预设阈值时，则可以认为参数预测模型的预测结果较差。
在一些实施例中，图像对比模块可以使用预训练的目标检测模型，该目标检测模型可以检测出输入图像中的目标对象，例如人脸信息，并且目标检测模型具有计算两张图像中目标对象之间相似性的功能，例如可以通过计算目标对象之间余弦距离的方式确定两张图像之间的相似性。
图3示出根据本公开一实施方式的模型训练方法的流程图。如图3所示，该模型训练方法包括以下步骤：
在步骤S301中，收集样本图像；所述样本图像包括多组，每组包括同一对象在多种成像条件下采集的多张普通图像以及一张基准图像；
在步骤S302中，将所述普通图像输入至待训练的参数预测模型，以获取预测参数；所述预测参数包括进行图像处理所要使用的图像处理预测参数；
在步骤S303中，将所述图像处理预测参数和所述普通图像输入至图像信号处理模块进行处理，获得处理后的候选图像；
在步骤S304中，通过比较所述候选图像和所述基准图像之间的相似性对所述参数预测模型进行训练。
本实施例中，参数预测模型的训练过程中，首先收集足够的样本图像，之后再利用所收集的样本图像进行训练。在收集样本图像的过程中，可以针对同一个对象比如人(在其他实施例中也可以是车辆、动物等对象)采集各种成像条件下的样本图像，例如可以采集不同光线下的样本图像，每个对象可以对应一组样本图像，该一组样本图像可以包括多个不同光线下的图像以及一张基准图像。基准图像可以为在较佳成像条件下采集到的的该对象的图像，还可以是对采集到的图像经过人工或其他方式优化后质量较高的图像。在参数预测模型的训练过程中，可以将基准图像作为该对象对应的在其他不同成像条件下采集到的普通图像的监督信息。
本公开实施例中，可以通过上述方式收集多个对象对应的多组样本图像。
针对每组样本图像中的每一普通图像，可以将普通图像输入至待训练的参数预测模型，并由参数预测模型对普通图像处理之后获得该普通图像对应的预测参数，该预测参数可以包括但不限于对图像进行优化处理的图像处理预测参数。
该图像处理预测参数以及对应的普通图像被输入至图像信号处理模块进行处理后，获得优化后的候选图像。需要说明的是，该图像处理预测参数可以包括一个或多个，并且在包括多个的情况下，每个图像处理预测均可以同时被输入至图像信号处理模块，图像信号处理模块可以依据每一个图像处理预测模块依次对普通图像进行相应的处理，最终得到优化后的候选图像。例如，图像处理预测参数包括三个，分别为伽马调整参数、颜色校正参数和降噪参数；图像信号处理模块可以依次利用伽马调整参数对普通图像进行伽马调整，之后再利用颜色校正参数进行颜色校正，最后再利用降噪参数进行降噪。当然，可以理解的是，上述对图像的处理顺序可以是任意的处理顺序，在此不做限制。
经过上述处理后的候选图像与基准图像进行相似性比较，利用比较结果对参数预测模型进行训练，也即利用比较结果调整参数预测模型的模型参数，以使经过模型参数调整后的参数预测模型得到的候选图像与基准图像更加接近。具体参数调整的过程可以参见已有技术，在此不再赘述。
本公开实施例提出的模型训练方法中，在收集样本图像后，通过将普通图像输入至待训练的参数预测模型中，获取包括对样本图像进行图像处理的预测参数，并将预测参数中的图像处理预测参数和普通图像输入至图像信号处理模块进行处理，获得候选图像，进而再比较候选图像与基准图像之间的相似性来对参数预测模型进行训练。通过上述实施方案，可以得到能够自动预测图像处理参数的参数预测模型，并且可以通过将该参数预测模型部署在图像传感器中，实现高质量图像的采集。
在本实施例的一个可选实现方式中，所述预测参数还包括图像采集预测参数；所述方法进一步还包括以下步骤：
将所述图像采集预测参数以及所述普通图像输入至图像采集模拟模块，以便所述图像采集模拟模块通过模拟所述图像传感器的感光元件，使用所述图像采集预测参数对所述普通图像进行处理，获得处理后的候选图像；
通过比较所述候选图像和所述基准图像之间的相似性对所述参数预测模型进行训练。
该可选的实现方式中，参数预测模型除了具有预测图像信号处理模型所需要的图像处理参数的能力之外，还可以具有预测用于控制感光元件采集图像的图像采集控制参数的能力。为了训练参数预测模型预测图像采集控制参数的能力，可以设置一图像采集模拟模块，该图像采集模拟模块可以模拟图像传感器的感光元件采用图像采集控制参数采集图像的方式，对普通图像进行处理。
以曝光参数为例，在训练过程中，参数预测模型基于输入的普通图像预测得到曝光参数，图像采集模拟模块基于该曝光参数对普通图像进行曝光处理，得到候选图像。该候选图像可以与基准图像进行相似性比较，并利用比较结果对参数预测模型的模型参数进行调整，具体调整过程可以见上文中的描述，在此不再赘述。
在一些实施例中，参数预测模型的训练过程中，图像采集模拟模块可以作为图像信号处理模块的一个子功能，参数预测模型输出图像处理预测参数和图像采集控制参数，图像信号处理模块利用图像处理预测参数和图像控制参数依次对输入的普通图像进行处理。在一些实施例中，为了与应用过程中的图像处理顺序保持一致，可以先采用图像控制参数对普通图像进行处理，之后再采用图像信号处理模块对经过处理的普通图像进行再次处理。
本公开实施例中参数预测模型的其他细节可以参见上述对图像采集方法的描述，在此不再赘述。
图4(a)-图4(c)示出本公开实施例中图像采集***的实现流程示意图。如图4(a)-图4(c)所示，图像采集***的部署包括为两个过程：参数预测模块的训练过程和部署过程。
(一)训练过程
如图4(a)所示，输入图片为各种光线下的人脸图片(也即上文中的普通图像)以及相应的曝光值，底库图片(也即上文中的基准图像)为光线较好的人脸图片。参数预测模块会根据输入图片预测图像信号处理模块参数，不同光线的图片经过ISP处理之后，将会与底库图片进行比较，用预训练人脸识别模型抽取底库图片与ISP输出图片特征并计算两者之间的余弦距离。此处借鉴了对抗生成网络(Generative Adversarial Network)的思想把图像信号处理(ISP)模块和参数预测模块当作生成器(Generator)，并且引入了预训练人脸识别模型的余弦距离作为判别器(Discriminator)来训练参数预测模块自动产生最后ISP参数，其最终目的是ISP出来的人脸在人脸识别模型上可以拿到更好的分数，从而达到智能相机的设计目的。
(二)部署过程
如图4(b)所示，在实际应用过程中，保留生成器，即参数预测模块和ISP。
1、获取图像原始数据。
在得到原始拜尔图像(Bayer Image)后，经过去马赛克处理可以获取物理图片的原始信息，格式为Raw/Tiff，这些数据的每个像素是16比特，保留了更多的细节信息便于接下来的图像信号处理。
2、图像感知。
根据图像采集任务的需求，该步骤可以接入不同的目标检测器，为了提高人脸识别的精度和适用范围，本实施例中的目标检测器替换了已有技术中的人脸检测，接入的是人头(也即人脸)加人体检测，目标检测器输出的是人脸信息和人体信息(例如在图像上的人脸边框和人体边框)。因为在曝光不足或者过分曝光的情况下，人头和人体检测比原有的人脸检测更加鲁棒。极端情况下人脸信息不可见，但整个身体形状的信息可以保留下来。
3、参数预测。
如图4(c)所示，参数预测模块作为一个神经网络，可以回归预测出优化的ISP参数，并向相机反馈控制参数如曝光值等。参数预测模块接收到输入图片后，可以预测出曝光值、伽马参数、对比度参数、降噪参数和颜色矫正参数，曝光值可以反馈给相机，为下次图像采集提供更好的参数，而其他参数经过图像信号处理后最终输出高质量图片。
图5示出根据本公开一实施方式的图像传感***的结构示意图。如图5所示，该图像传感***包括：感光元件501，参数预测单元502，图像信号处理单元503以及输出单元504；
其中，所述感光元件501根据所述参数预测单元502反馈的图像采集控制参数采集图像；
所述参数预测单元502根据所述感光元件501采集的图像预测目标参数，所述目标参数包括对待优化区域中的图像进行优化处理所要使用的图像处理参数以及反馈至所述感光元件的所述图像采集控制参数；
所述图像信号处理单元503利用所述图像处理参数对所述图像进行优化处理，获得优化后的目标图像；
所述输出单元504输出所述目标图像。
本实施例中，图像传感***可以是数码相机、摄像头、设置有图像传感器的电子设备等。参数预测单元502可以是运行参数预测模型的处理单元，图像信号处理单元503可以是运行图像信号处理模块(ISP)的处理单元，可以理解的是，参数预测单元502和图像信号处理单元503在物理上可以是同一个处理单元，也可以是多个处理单元，具体根据图像传感***的硬件设计而定，在此不做限制。输出单元504可以是图像输出单元，例如显示屏或者其他支持图像输出的接口等。
本实施例中参数预测单502基于预训练的参数预测模型预测输入图像的目标参数，该目标参数包括图像处理参数和图像采集控制参数。图像信号处理单元503利用数学模型或者人工智能模型等基于图像处理参数对输入的图像进行优化处理，处理后的目标图像由输出单元504输出。
需要说明的是，感光元件501采集到的图像可以经过一些处理之后输入至参数预测单元502和图像信号处理单元503。例如，可以对感光元件502采集到的拜尔图像进行处理，获得格式为RAW或Tiff的原始图像，之后再经过预训练的目标检测模型从中识别出人头和人体边框，将人头区域的图像确定为待优化图像，输入至参数预测单元502和图像信号处理单元503。
本实施例中的其他细节可以参见上文中对图像采集方法以及模型训练方法的描述，在此不再赘述。
下述为本公开装置实施例，可以用于执行本公开方法实施例。
根据本公开一实施方式的图像采集装置，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。该图像采集装置包括：
第一获取模块，被配置为获取图像传感器的感光元件所采集的图像；
第一确定模块，被配置为从采集的图像确定待优化区域；
第二获取模块，被配置为将待优化区域中的图像输入至预训练的参数预测模型，以获取目标参数；所述目标参数包括对所述待优化区域中的图像进行优化处理所要使用的图像处理参数以及反馈至所述感光元件的图像采集控制参数；
第三获取模块，被配置为将所述图像处理参数以及所述待优化区域中的图像输入至图像信号处理模块进行优化处理，以获得优化后的目标图像，以及将所述图像采集控制参数反馈至所述感光元件。
本实施例中的图像采集装置与上文中的图像采集方法对应一致，具体细节可以参见上述对图像采集方法的描述，在此不再赘述。
根据本公开一实施方式的模型训练装置，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。该模型训练装置包括：
收集模块，被配置为收集样本图像；所述样本图像包括多组，每组包括同一对象在多种成像条件下采集的多张普通图像以及一张基准图像；
第四获取模块，被配置为将所述普通图像输入至待训练的参数预测模型，以获取预测参数；所述预测参数包括进行图像处理所要使用的图像处理预测参数；
第五获取模块，被配置为将所述图像处理预测参数和所述普通图像输入至图像信号处理模块进行处理，获得处理后的候选图像；
训练模块，被配置为通过比较所述候选图像和所述基准图像之间的相似性对所述参数预测模型进行训练。
本实施例中的模型训练装置与上文中的模型训练方法对应一致，具体细节可以参见上述对模型训练方法的描述，在此不再赘述。
图6是适于用来实现根据本公开实施方式的图像采集方法和/或模型训练方法的电子设备的结构示意图。
如图6所示，电子设备600包括处理单元601，其可实现为CPU、GPU、FPGA、NPU等处理单元。处理单元601可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行本公开上述任一方法的实施方式中的各种处理。在RAM603中，还存储有电子设备600操作所需的各种程序和数据。处理单元601、ROM602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施方式，上文参考本公开实施方式中的任一方法可以被实现为计算机软件程序。例如，本公开的实施方式包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行本公开实施方式中任一方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。
附图中的流程图和框图，图示了按照本公开各种实施方式的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种图像采集方法，其中，包括：
获取图像传感器的感光元件所采集的图像；
从采集的图像确定待优化区域；
将待优化区域中的图像输入至预训练的参数预测模型，以获取目标参数；所述目标参数包括对所述待优化区域中的图像进行优化处理所要使用的图像处理参数以及反馈至所述感光元件的图像采集控制参数；
将所述图像处理参数以及所述待优化区域中的图像输入至图像信号处理模块进行优化处理，以获得优化后的目标图像，以及将所述图像采集控制参数反馈至所述感光元件。
2.根据权利要求1所述的方法，其中，从采集的图像确定待优化区域，包括：
将所述采集的图像处理成预定格式的待处理图像；
利用预训练的目标检测模型对所述待处理图像中的人脸信息和人体信息进行识别；
根据识别出的所述人脸信息以及所述人体信息确定所述待优化区域。
3.根据权利要求1或2所述的方法，其中，所述方法还包括：
收集样本图像；所述样本图像包括多组，每组包括同一对象在多种成像条件下采集的多张普通图像以及一张基准图像；
将所述普通图像输入至待训练的参数预测模型，以获取预测参数；所述预测参数包括进行图像优化处理所要使用的图像处理预测参数；
将所述图像处理预测参数和所述普通图像输入至所述图像信号处理模块进行优化处理，获得优化后的候选图像；
通过比较所述候选图像和所述基准图像之间的相似性对所述参数预测模型进行训练；
优选地，所述预测参数还包括图像采集预测参数；所述方法还包括：
将所述图像采集预测参数以及所述普通图像输入至图像采集模拟模块，以便所述图像采集模拟模块模拟所述图像传感器的感光元件，使用所述图像采集预测参数对所述普通图像进行处理，获得处理后的候选图像；
通过比较所述候选图像和所述基准图像之间的相似性对所述参数预测模型进行训练。
4.一种模型训练方法，其中，包括：
收集样本图像；所述样本图像包括多组，每组包括同一对象在多种成像条件下采集的多张普通图像以及一张基准图像；
将所述普通图像输入至待训练的参数预测模型，以获取预测参数；所述预测参数包括进行图像处理所要使用的图像处理预测参数；
将所述图像处理预测参数和所述普通图像输入至图像信号处理模块进行处理，获得处理后的候选图像；
通过比较所述候选图像和所述基准图像之间的相似性对所述参数预测模型进行训练。
5.根据权利要求4所述的方法，其中，所述预测参数还包括图像采集预测参数；所述方法还包括：
将所述图像采集预测参数以及所述普通图像输入至图像采集模拟模块，以便所述图像采集模拟模块模拟图像传感器的感光元件，使用所述图像采集预测参数对所述普通图像进行处理，获得处理后的候选图像；
通过比较所述候选图像和所述基准图像之间的相似性对所述参数预测模型进行训练。
6.一种图像采集装置，其中，包括：
第一获取模块，被配置为获取图像传感器的感光元件所采集的图像；
第一确定模块，被配置为从采集的图像确定待优化区域；
第二获取模块，被配置为将待优化区域中的图像输入至预训练的参数预测模型，以获取目标参数；所述目标参数包括对所述待优化区域中的图像进行优化处理所要使用的图像处理参数以及反馈至所述感光元件的图像采集控制参数；
第三获取模块，被配置为将所述图像处理参数以及所述待优化区域中的图像输入至图像信号处理模块进行优化处理，以获得优化后的目标图像，以及将所述图像采集控制参数反馈至所述感光元件。
7.一种模型训练装置，其中，包括：
收集模块，被配置为收集样本图像；所述样本图像包括多组，每组包括同一对象在多种成像条件下采集的多张普通图像以及一张基准图像；
第四获取模块，被配置为将所述普通图像输入至待训练的参数预测模型，以获取预测参数；所述预测参数包括进行图像处理所要使用的图像处理预测参数；
第五获取模块，被配置为将所述图像处理预测参数和所述普通图像输入至图像信号处理模块进行处理，获得处理后的候选图像；
训练模块，被配置为通过比较所述候选图像和所述基准图像之间的相似性对所述参数预测模型进行训练。
8.一种图像传感***，其中，包括：感光元件，参数预测单元，图像信号处理单元以及输出单元；
其中，所述感光元件根据所述参数预测单元反馈的图像采集控制参数采集图像；
所述参数预测单元根据所述感光元件采集的图像预测目标参数，所述目标参数包括对待优化区域中的图像进行优化处理所要使用的图像处理参数以及反馈至所述感光元件的所述图像采集控制参数；
所述图像信号处理单元利用所述图像处理参数对所述图像进行优化处理，获得优化后的目标图像；
所述输出单元输出所述目标图像。
9.一种电子设备，其中，包括存储器、处理器以及存储在存储器上的计算机程序，其中，所述处理器执行所述计算机程序以实现权利要求1-5任一项所述的方法。
10.一种计算机可读存储介质或者一种计算机程序产品，所述计算机可读存储介质上存储有计算机指令，所述计算机程序产品包括计算机指令；其中，所述计算机指令被处理器执行时实现权利要求1-5任一项所述的方法。
CN202110309583.6A 2021-03-23 2021-03-23 图像采集方法、装置、电子设备及存储介质 Pending CN113067980A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110309583.6A CN113067980A (zh) 2021-03-23 2021-03-23 图像采集方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110309583.6A CN113067980A (zh) 2021-03-23 2021-03-23 图像采集方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113067980A true CN113067980A (zh) 2021-07-02

Family

ID=76563288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110309583.6A Pending CN113067980A (zh) 2021-03-23 2021-03-23 图像采集方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113067980A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114040124A (zh) * 2021-11-28 2022-02-11 特斯联科技集团有限公司 森林草原巡视无人机的相机自适应曝光处理***及方法
CN114151235A (zh) * 2021-11-17 2022-03-08 北京航天试验技术研究所 一种用于搭建火箭发动机试车台的智能测量***的架构方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108364267A (zh) * 2018-02-13 2018-08-03 北京旷视科技有限公司 图像处理方法、装置及设备
CN108737750A (zh) * 2018-06-07 2018-11-02 北京旷视科技有限公司 图像处理方法、装置及电子设备
CN109963072A (zh) * 2017-12-26 2019-07-02 广东欧珀移动通信有限公司 对焦方法、装置、存储介质及电子设备
WO2020164270A1 (zh) * 2019-02-15 2020-08-20 平安科技（深圳）有限公司 基于深度学习的行人检测方法、***、装置及存储介质
CN111863206A (zh) * 2020-07-24 2020-10-30 上海联影医疗科技有限公司 一种图像预处理方法、装置、设备及存储介质
CN112488985A (zh) * 2019-09-11 2021-03-12 上海高德威智能交通***有限公司 图像质量确定方法、装置及设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109963072A (zh) * 2017-12-26 2019-07-02 广东欧珀移动通信有限公司 对焦方法、装置、存储介质及电子设备
CN108364267A (zh) * 2018-02-13 2018-08-03 北京旷视科技有限公司 图像处理方法、装置及设备
CN108737750A (zh) * 2018-06-07 2018-11-02 北京旷视科技有限公司 图像处理方法、装置及电子设备
WO2020164270A1 (zh) * 2019-02-15 2020-08-20 平安科技（深圳）有限公司 基于深度学习的行人检测方法、***、装置及存储介质
CN112488985A (zh) * 2019-09-11 2021-03-12 上海高德威智能交通***有限公司 图像质量确定方法、装置及设备
CN111863206A (zh) * 2020-07-24 2020-10-30 上海联影医疗科技有限公司 一种图像预处理方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114151235A (zh) * 2021-11-17 2022-03-08 北京航天试验技术研究所 一种用于搭建火箭发动机试车台的智能测量***的架构方法
CN114040124A (zh) * 2021-11-28 2022-02-11 特斯联科技集团有限公司 森林草原巡视无人机的相机自适应曝光处理***及方法

Similar Documents

Publication Publication Date Title
US11138478B2 (en) Method and apparatus for training, classification model, mobile terminal, and readable storage medium
CN110276767B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US11132771B2 (en) Bright spot removal using a neural network
CN108197546B (zh) 人脸识别中光照处理方法、装置、计算机设备及存储介质
EP3496383A1 (en) Image processing method, apparatus and device
CN110149482A (zh) 对焦方法、装置、电子设备和计算机可读存储介质
Onzon et al. Neural auto-exposure for high-dynamic range object detection
CN110580428A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN111292264A (zh) 一种基于深度学习的图像高动态范围重建方法
JP2022501982A (ja) ニューラルネットワークを使用した写真の露出不足補正
CN110349163B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
KR102199094B1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
CN110572573A (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN103905727A (zh) 被摄体区域跟踪设备及其控制方法
CN113067980A (zh) 图像采集方法、装置、电子设备及存储介质
CN113177438B (zh) 图像处理方法、设备及存储介质
CN113824884A (zh) 拍摄方法与装置、摄影设备及计算机可读存储介质
CN113643214A (zh) 一种基于人工智能的图像曝光校正方法及***
CN110365897B (zh) 图像修正方法和装置、电子设备、计算机可读存储介质
CN110688926B (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
US20230132230A1 (en) Efficient Video Execution Method and System
CN111353330A (zh) 图像处理方法、装置、电子设备及存储介质
US11575841B2 (en) Information processing apparatus, imaging apparatus, method, and storage medium
EP3844945B1 (en) Method and apparatus for dynamic image capturing based on motion information in image
CN112907454B (zh) 获取图像的方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210702

WD01 Invention patent application deemed withdrawn after publication