CN116888621A - 图像检测方法、装置和电子设备 - Google Patents

图像检测方法、装置和电子设备 Download PDF

Info

Publication number
CN116888621A
CN116888621A CN202180093086.5A CN202180093086A CN116888621A CN 116888621 A CN116888621 A CN 116888621A CN 202180093086 A CN202180093086 A CN 202180093086A CN 116888621 A CN116888621 A CN 116888621A
Authority
CN
China
Prior art keywords
image
algorithm
image processing
image data
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180093086.5A
Other languages
English (en)
Inventor
邱珏沁
柳海波
闻明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN116888621A publication Critical patent/CN116888621A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供了一种图像检测方法、装置以及电子设备，该图像检测方法包括：通过第一摄像装置采集待检测的图像数据；利用图像处理算法对待检测的图像数据进行处理，生成处理后的图像；将处理后的图像输入至图像检测模型，得到检测结果；其中，图像处理算法的参数是通过比较第一摄像装置所采集的第一样本图像数据的标注信息和图像检测模型对第一样本图像数据的检测结果、并且基于比较结果进行调整得到的。本申请提供的图像检测方法，当新的拍摄装置与已经训练的图像检测模型相结合时，可以提高图像检测模型推理的准确性。

Description

图像检测方法、装置和电子设备 技术领域
本申请实施例涉及人工智能技术领域，尤其涉及一种图像检测方法、装置和电子设备。
背景技术
随着科学技术的发展，人工智能(AI，Artificial Intelligence)技术得到突飞猛进的提升。在一些人工智能技术中，通常采用机器学习的方法，构建各种结构的初始模型，例如神经网络模型、支持向量机模型、决策树模型等。然后，通过训练样本对初始模型进行训练，以实现图像检测、语音识别等功能。当前，基于图像检测的计算机视觉技术中，通常对神经网络训练得到感知模型，实现场景识别、物体检测或者图像分割等图像检测任务。
相关计算机视觉技术中，用于训练神经网络的样本图像数据与待检测的图像数据通常由不同的相机模组采集。由于不同的相机模组在制造工艺、光电响应函数以及噪声水平等方面上存在较为显著的差异，导致感知模型在图像检测过程中的检测结果与真实结果之间具有较大的偏差。由此，当新的相机模组与已经训练的感知模型相结合时，如何高效的提高感知模型检测结果的准确性为需要解决的问题。
发明内容
本申请提供的图像检测方法、装置和电子设备，当新的拍摄装置与已经训练的图像检测模型相结合时，可以提高图像检测模型推理的准确性。
为达到上述目的，本申请采用如下技术方案：
第一方面，本申请实施例提供一种图像检测方法，该图像检测方法包括：通过第一摄像装置采集待检测的图像数据；利用图像处理算法对所述待检测的图像数据进行处理，生成处理后的图像；将所述处理后的图像输入至图像检测模型，得到检测结果；其中，所述图像处理算法的参数是通过比较所述第一摄像装置采集的第一样本图像数据的标注信息和所述图像检测模型对所述第一样本图像数据的检测结果、并且基于比较结果进行调整得到的。
本申请实施例通过对用于执行多个图像处理过程的图像处理算法的参数进行调整，并且是基于图像检测模型进行调整，使得对第一摄像装置采集的图像进行图像处理后所得到的图像的风格，与训练该图像检测模型的样本图像数据的风格相一致，从而降低摄像装置所采集的图像数据与训练该图像检测模型的样本图像数据在高维度空间中的特征分布之间的差异，有利于提高图像检测模型推理的准确性。
基于第一方面，在一种可能的实现方式中，所述图像检测模型是通过对第二摄像装置所采集的第二样本图像数据进行神经网络训练得到的。
基于第一方面，在一种可能的实现方式中，所述图像处理算法的参数通过如下步骤 确定：将所述检测结果和所述第一样本图像数据的标注信息进行比较以得到所述比较结果；基于所述检测结果和样本图像数据的标注信息之间的误差，迭代调整所述图像处理算法的参数；在预设条件满足时，保存所述图像处理算法的参数。
这里的预设条件可以包括但不限于：误差小于或等于预设阈值，或者迭代次数大于等于预设阈值。
基于第一方面，在一种可能的实现方式中，所述比较结果为误差，所述基于所述比较结果迭代调整所述图像处理算法的参数，包括：基于所述比较结果和所述第一样本图像数据的标注信息之间的所述误差，构建目标损失函数，其中所述目标损失函数包括所述图像处理算法中待调整的参数；基于所述目标损失函数，利用反向传播算法和梯度下降算法，迭代调整所述图像处理算法的参数。
基于第一方面，在一种可能的实现方式中，对所述图像数据以及所述第一样本图像数据的处理包括以下至少一项：暗电流校正、镜头阴影校正、解马赛克、白平衡校正、阶调映射、对比度增强、图像边缘增强或者图像降噪。
基于第一方面，在一种可能的实现方式中，所述图像处理算法是通过图像信号处理器执行；以及所述图像处理算法的参数包括以下至少一项：镜头阴影校正算法中的图像各个像素与摄像装置光心距离；白平衡校正算法中的中性色区域在图像中的边界坐标；阶调映射算法中的目标亮度、目标饱和度以及用于生成低通滤波图像的滤波核参数；对比度增强算法中的对比度阈值；图像边缘增强算法中的边缘增强因子；以及图像降噪算法中的空间域高斯参数以及像素值域高斯参数。
基于第一方面，在一种可能的实现方式中，所述图像处理算法是通过训练后的图像处理模型执行；所述图像处理算法的参数还包括：用于生成所述图像处理模型的神经网络的权重系数。
基于第一方面，在一种可能的实现方式中，所述第一样本图像数据的标注信息是人工标注的；以及所述方法还包括：将所述第一样本图像数据转换成适用于进行人工标注的彩色图像。
基于第一方面，在一种可能的实现方式中，所述图像检测模型用于执行以下至少一项检测任务：检测框的标注、目标对象的识别、置信度的预测、目标对象运动轨迹的预测。
第二方面，本申请实施例提供一种用于图像处理的参数调节方法，该用于图像处理的参数调节方法包括：利用图像处理算法对第一样本图像数据进行图像处理，生成第一图像数据，其中，所述第一样本图像数据是通过第一摄像装置采集的；将所述第一图像数据输入至预先训练的图像检测模型，得到检测结果；比较所述检测结果和所述第一样本图像数据的标注信息之间的误差，得到比较结果；基于所述比较结果，调整所述图像处理算法的参数。
基于第二方面，在一种可能的实现方式中，所述图像检测模型是通过对第二摄像装置所采集的第二样本图像数据进行神经网络训练得到的。
基于第二方面，在一种可能的实现方式中，所述比较结果为误差，所述基于所述比较结果，迭代调整所述图像处理算法的参数，包括：基于所述检测结果和所述第一样本图像数据的标注信息之间的所述误差，构建目标损失函数，其中所述目标损失函数包括 所述图像处理算法中待调整的参数；基于所述目标损失函数，利用反向传播算法和梯度下降算法，迭代调整所述图像处理算法的参数。
基于第二方面，在一种可能的实现方式中，所述图像处理算法包括以下至少一项：暗电流校正、镜头阴影校正、解马赛克、白平衡校正、阶调映射、对比度增强、图像边缘增强或者图像降噪。
基于第二方面，在一种可能的实现方式中，所述图像处理算法的参数包括以下至少一项：镜头阴影校正算法中的图像各个像素与摄像装置光心距离；白平衡校正算法中的中性色区域在图像中的边界坐标；阶调映射算法中的目标亮度、目标饱和度以及用于生成低通滤波图像的滤波核参数；对比度增强算法中的对比度阈值；图像边缘增强算法中的边缘增强因子；以及图像降噪算法中的空间域高斯参数以及像素值域高斯参数。
基于第二方面，在一种可能的实现方式中，所述图像处理算法是通过训练后的图像处理模型执行；所述图像处理算法的参数包括：用于生成所述图像处理模型的神经网络的权重系数。
基于第二方面，在一种可能的实现方式中，所述第一样本图像数据的标注信息是人工标注的；以及所述方法还包括：将所述第一样本图像数据转换成适用于进行人工标注的彩色图像。
基于第二方面，在一种可能的实现方式中，所述图像检测模型用于执行以下至少一项检测任务：检测框的标注、目标对象的识别、置信度的预测、目标对象运动轨迹的预测。
第三方面，本申请实施例提供一种图像检测装置，该图像检测装置包括：采集模块，被配置成通过第一摄像装置采集待检测的图像数据；处理模块，被配置成利用图像处理算法对所述待检测的图像数据进行处理，生成处理后的图像；检测模块，被配置成将所述处理后的图像输入至图像检测模型，得到检测结果；其中，所述图像处理算法的参数是通过比较所述第一摄像装置所采集的第一样本图像数据的标注信息和所述图像检测模型对所述第一样本图像数据的检测结果、并且基于比较结果进行调整得到的。
基于第三方面，在一种可能的实现方式中，所述图像检测模型是通过对第二摄像装置所采集的第二样本图像数据进行神经网络训练得到的。
基于第三方面，在一种可能的实现方式中，所述图像处理算法的参数是通过参数调整模块确定的，所述参数调整模块包括：比较子模块，被配置成将所述第一样本图像数据的检测结果和所述第一样本图像数据的标注信息进行比较以得到所述比较结果；调整子模块，被配置成基于所述比较结果迭代调整所述图像处理算法的参数；保存子模块，被配置成在预设条件满足时，保存所述图像处理算法的参数。
基于第三方面，在一种可能的实现方式中，所述比较结果为误差，所述调整子模块进一步被配置成：基于所述第一样本图像数据的检测结果和所述第一样本图像数据的标注信息之间的所述误差，构建目标损失函数，其中所述目标损失函数包括所述图像处理算法中待更新的参数；基于所述目标损失函数，利用反向传播算法和梯度下降算法，迭代更新所述图像处理算法的参数。
基于第三方面，在一种可能的实现方式中，所述图像处理算法包括以下至少一个图像处理流程：暗电流校正、镜头阴影校正、解马赛克、白平衡校正、阶调映射、对比度 增强、图像边缘增强和图像降噪。
基于第三方面，在一种可能的实现方式中，所述图像处理算法的参数包括以下至少一项：镜头阴影校正算法中的图像各个像素与摄像装置光心距离；白平衡校正算法中的中性色区域在图像中的边界坐标；阶调映射算法中的目标亮度、目标饱和度以及用于生成低通滤波图像的滤波核参数；对比度增强算法中的对比度阈值；图像边缘增强算法中的边缘增强因子；以及图像降噪算法中的空间域高斯参数以及像素值域高斯参数。
基于第三方面，在一种可能的实现方式中，所述图像处理算法是通过训练后的图像处理模型执行；所述图像处理算法的参数包括：用于生成所述图像处理模型的神经网络的权重系数。
基于第三方面，在一种可能的实现方式中，所述第一样本图像数据的标注信息是人工标注的；以及所述方法还包括：将所述第一样本图像数据转换成适用于进行人工标注的彩色图像。
基于第三方面，在一种可能的实现方式中，所述图像检测模型用于执行以下至少一项检测任务：检测框的标注、目标对象的识别、置信度的预测、目标对象运动轨迹的预测。
第四方面，本申请实施例提供一种电子设备，该电子设备包括：第一摄像装置，用于采集待检测的图像数据；图像信号处理器，用于利用图像处理算法对所述待检测的图像数据进行处理，生成处理后的图像；人工智能处理器，用于将所述处理后的图像输入至图像检测模型，得到检测结果；其中，所述图像处理算法的参数是通过比较所述第一摄像装置所采集的第一样本图像数据的标注信息和所述图像检测模型对所述第一样本图像数据的检测结果、并且基于比较结果进行调整得到的。
第五方面，本申请实施例提供一种图像检测装置，该图像检测装置包括一个或多个处理器和存储器；所述存储器耦合至所述处理器，所述存储器用于存储一个或多个程序；所述一个或多个处理器用于运行所述一个或多个程序，以实现如第一方面所述的方法。
第六方面，本申请实施例提供一种用于图像处理的参数调节装置，该用于图像处理的参数调节装置包括一个或多个处理器和存储器；所述存储器耦合至所述处理器，所述存储器用于存储一个或多个程序；所述一个或多个处理器用于运行所述一个或多个程序，以实现如第二方面所述的方法。
第七方面，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序被至少一个处理器执行时用于实现如第一方面或者第二方面所述的方法。
第八方面，本申请实施例提供一种计算机程序产品，该计算机程序产品被至少一个处理器执行时用于实现如第一方面或者第二方面所述的方法。
应当理解的是，本申请的第二至八方面与本申请的第一方面的技术方案一致，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需 要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的终端的一个结构示意图；
图2是本申请实施例提供的ISP与AI处理器结合执行图像处理流程的结构示意图；
图3是本申请实施例提供的车辆的一个结构示意图；
图4是本申请实施例提供的包含用于对图像处理算法进行参数调试的电子设备的***架构示意图；
图5是本申请实施例提供的图像处理算法的参数调试方法的一个流程图；
图6是本申请实施例提供的图像处理算法的参数调试方法的一个具体应用流程图；
图7是本申请实施例提供的图像检测方法的一个流程图；
图8是本申请实施例提供的图像处理装置的一个结构示意图；
图9是本申请实施例提供的参数调试装置的一个结构示意图。
具体实施方式
下面结合本申请实施例中的附图对本申请实施例进行描述。以下描述中，参考形成本申请一部分并以说明之方式示出本申请实施例的具体方面或可使用本申请实施例的具体方面的附图。应理解，本申请实施例可在其它方面中使用，并可包括附图中未描绘的结构或逻辑变化。因此，以下详细描述不应以限制性的意义来理解，且本申请的范围由所附权利要求书界定。例如，应理解，结合所描述方法的揭示内容可以同样适用于用于执行所述方法的对应设备或***，且反之亦然。例如，如果描述一个或多个具体方法步骤，则对应的设备可以包含如功能单元等一个或多个单元，来执行所描述的一个或多个方法步骤(例如，一个单元执行一个或多个步骤，或多个单元，其中每个都执行多个步骤中的一个或多个)，即使附图中未明确描述或说明这种一个或多个单元。另一方面，例如，如果基于如功能单元等一个或多个单元描述具体装置，则对应的方法可以包含一个步骤来执行一个或多个单元的功能性(例如，一个步骤执行一个或多个单元的功能性，或多个步骤，其中每个执行多个单元中一个或多个单元的功能性)，即使附图中未明确描述或说明这种一个或多个步骤。进一步，应理解的是，除非另外明确提出，本文中所描述的各示例性实施例和/或方面的特征可以相互组合。
本申请所述的图像检测方法，可以应用于计算机视觉领域、需要将其他拍摄设备采集的样本图像训练得到的图像检测模型与新的拍摄设备结合的场景中。
请参考图1，图1示出了本申请实施例提供的电子设备的一个结构示意图。如图1所示，电子设备100可以是一个用户设备(User Equipment,UE)，如手机、平板电脑、智能屏幕或者图像拍摄设备等各种类型的设备。此外，电子设备100还可以是车辆。在电子设备100中可以设置有摄像装置101，以用于采集图像数据。此外，电子设备100还可以包括或集成于电子设备内的模组、芯片、芯片组、电路板或部件，该芯片或芯片组或搭载有芯片或芯片组的电路板可在必要的软件驱动下工作。电子设备100包括一个或多个处理器，例如图像信号处理器(ISP，Image Signal Processor)102和AI处理器103。可选地，所述一个或多个处理器可以集成在一个或多个芯片内，该一个或多个芯片可以被视为是一个芯 片组，当一个或多个处理器被集成在同一个芯片内时该芯片也叫片上***(System on a Chip，SOC)。在所述一个或多个处理器之外，电子设备100还包括一个或多个其他必要部件，例如存储器等。
如图1所示的摄像装置101，可以为单目摄像头。或者，摄像装置101还可以包括多目摄像头，这些摄像头可以在物理上合设于一个摄像装置中，还可以在物理上分设于多个摄像装置中。通过多目摄像头在同一时刻拍摄多张图像，并可以根据这些图像进行处理，得到一张待检测的图像。当然，摄像装置101还可以为其他情况，本申请实施例不做具体限定。具体实现中，摄像装置101可以实时采集图像数据，或者周期性地采集图像数据。该周期如3s、5s、10s等。摄像装置101还可以通过其他方式采集图像数据，本申请实施例不做具体限定。摄像装置101采集到图像数据后，可以将图像数据传递给ISP102。
如图1所示的ISP102，可以设置多个硬件模块或者运行必要的软件程序以对图像数据进行处理以及与AI处理器103进行通信。ISP102可以单独作为一个部件或集成于其他数字逻辑器件中，该数字逻辑器件包括但不限于：CPU(中央处理器，Central Processing Unit)、GPU(图形处理器，Graphics Processing Unit)或者DSP(数字信号处理器，Digital Signal Processing)。示例性地，该CPU、GPU和DSP都是片上***内的处理器。ISP102可以执行多个图像处理过程，该多个图像处理过程可以包括但不限于：暗电流校正、响应非线性校正、阴影校正、解马赛克、白平衡校正、阶调映射、对比度增强、边缘增强、降噪、颜色校正等。
需要说明的是，ISP102通过运行图像处理算法以执行上述多个图像处理过程。上述多个图像处理过程中的每一个图像处理过程可以看作是独立的图像处理过程，从而，用于执行每一个图像处理过程的图像处理算法可以看作是独立的。基于此，ISP102可以包括多个逻辑模块。例如包括但不限于：暗电流校正模块、响应非线性校正模块、阴影校正模块、解马赛克模块等。每一个逻辑模块用于执行一种图像检测过程。每一个逻辑模块可以各自使用其特定的硬件结构，多个逻辑模块也可以共用一套硬件结构，本申请实施例对此不做限定。此外，该一个或多个图像处理过程通常顺序执行。例如，摄像装置101获取的图像数据提供至ISP后，可以依次执行暗电流校正、响应非线性校正、阴影矫正、解马赛克、白平衡校正…等处理过程。需要说明的是，本申请实施例对ISP所执行的图像处理过程的先后顺序不作限定，例如，可以先执行白平衡校正，再执行解马赛克。
如图1所示的AI处理器103，可以包括神经网络处理器(Neural-network Processing Unit,NPU)等专用神经处理器，包括但不限于卷积神经网络处理器、张量处理器或神经处理引擎。AI处理器可以单独作为一个部件或集成于其他数字逻辑器件中，该数字逻辑器件包括但不限于：CPU、GPU或者DSP。AI处理器103可以运行有图像检测模型，该图像检测模型是基于样本图像数据集S1对深度神经网络训练得到的。该图像检测模型可以执行特定的检测任务。该特定的检测任务可以包括但不限于：检测框的标注、目标对象的识别、置信度的预测、目标对象运动轨迹的预测或者图像分割等。需要说明的是，图像检测模型是在离线端训练完成后部署在图1所示的AI处理器103中的。这里的离线端可以看作是服务器设备或者用于进行模型训练的设备。
在一种可能的实现方式中，AI处理器103除了运行有图像检测模型以执行图像检测操作外，AI处理器103还可以执行一种或多种图像处理操作，该一种或多种图像处理操 作可以包括但不限于：解马赛克、白平衡校正、阶调映射、对比度增强、边缘增强、降噪、颜色校正。此时，AI处理器103中还可以运行有一种或多种图像处理模型，其中每一种图像处理模型用于执行某种特定的图像处理过程。在该可能的实现方式中，从摄像装置101获取的图像数据可以经过多个图像处理过程以生成最终的图像处理结果，AI处理器103可以执行上述图像处理过程中的一个过程或多个过程，也即对应上述一种或多种图像处理操作，ISP102也可以执行上述图像处理过程中的一个过程或多个过程。其中，AI处理器103可以与ISP102执行不同的图像处理过程，此外，AI处理器103与ISP102也可以执行相同的图像处理过程，例如进行进一步的增强处理，本实施例对此不限定。在该可能的实现方式中，每一种图像处理模型均可以是基于样本图像数据集S3，采用机器学***衡校正的图像处理流程时，样本图像数据集S3中所包括的每一个样本图像数据H为a*b*1尺寸的单通道RAW图像数据，与每一个样本图像数据对应的每一个参考图像数据I为a*b*1尺寸的单通道图像数据，样本图像数据集S3。参考图像数据I和其所对应的样本图像数据H具有呈现有相同的场景但具有不同的白平衡值。下面以图像处理模型执行解马赛克的图像处理过程为例，对图像处理模型的训练过程进行介绍。将样本图像数据集S3中所包括的每一个样本图像数据H分别输入至待训练的神经网络，得到处理后的图像数据。基于处理后的图像数据与参考图像数据I之间的误差，构建损失函数。该损失函数例如可以包括但不限于：平均绝对误差(MAE)损失函数或者均方误差(MSE)损失函数。该损失函数中包括待训练的神经网络中各层网络的权重系数。基于所构建的损失函数，利用反向传播算法和梯度下降算法，迭代调整待训练的神经网络中各层网络的权重系数值，直到图像处理模型所输出的处理后的图像数据与参考图像数据I之间的误差小于等于预设阈值，或者迭代次数小于预设阈值，保存待训练的神经网络中各层网络的权重系数值。此时，该待训练的神经网络即为图像处理模型。
当ISP102和AI处理器103相结合的方式执行图像处理过程时，ISP102可以设置有多个端口，同样AI处理器103也可以设置有多个端口，ISP102可以将处理后的图像数据A通过多个端口中的一个端口提供至AI处理器103，AI处理器103对图像数据A处理后生成图像数据B，将图像数据B通过多个端口中的一个端口提供至ISP102。以AI处理器103执行解马赛克为例，结合图2，对ISP102和AI处理器103相结合的方式进行描述。 在图2中，ISP102从摄像装置101获取图像数据，对所获取的图像数据执行暗电流校正、响应非线性校正、阴影矫正该三个图像处理流程后生成图像数据A，通过端口Vio提供至AI处理器103的输入端口Vai。AI处理器103所运行的图像处理模型对图像数据A进行解马赛克处理后生成图像数据B，将图像数据B通过输出端口Vao提供至ISP102的输入端口Vii。ISP102对输入端口Vii输入的图像数据B进行后续的白平衡校正、颜色校正等图像处理流程，生成图像数据C输入至AI处理器103。AI处理器103所运行的图像检测模型可以对图像数据C执行图像检测处理。
基于ISP102和AI处理器103相结合的图像处理方式，AI处理器103可以包括一个或多个，当AI处理器103包括一个时，用于执行图像处理的图像处理模型和用于执行图像检测的图像检测模型可以设置于同一个AI处理器103中，当AI处理器103包括多个时，用于执行图像处理的图像处理模型和用于执行图像检测的图像检测模型可以设置于不同的AI处理器103中。
本申请实施例中所述的ISP102所运行的图像处理算法中的各参数以及AI处理器103中所运行的图像处理模型中的各参数，是基于摄像装置101所采集的样本图像数据集S2以及图像检测模型的图像检测结果调试得到的。其中，对ISP102所运行的图像处理算法和图像处理模型中的各参数的调试方法具体参考下文中图5所示的实施例。
通常，用于对AI处理器103中所运行的图像检测模型进行训练的样本图像数据集S1是通过大数据搜集的，用于采集样本图像数据集S1的摄像装置与图1所示的摄像装置101为不同的摄像装置。由于不同的摄像装置在制造工艺、光电响应函数、噪声水平等特性上存在较为显著的差异，使得样本图像数据集S1中的样本图像数据D的风格与对摄像装置101所采集的图像数据进行图像处理后得到的图像的风格存在差异，进而导致摄像装置101所采集的图像数据与样本图像数据集S1中的样本图像数据D在高维度空间中的特征分布存在显著的差异，导致图像检测模型部署在AI处理器103中时，对摄像装置101采集的图像数据进行检测过程中，检测结果与真实结果之间偏差较大，降低了部署在AI处理器103中的图像检测模型检测的准确性。
基于此，本申请实施例通过保持图像检测模型的参数不变，对用于执行多个图像处理过程的图像处理算法的参数进行调整(或者对用于执行多个图像处理过程的图像处理算法的参数以及图像处理模型的参数进行调整)，使得对摄像装置101采集的图像进行图像处理后所得到的图像的风格，与对样本图像数据集S1中的样本图像数据D的风格相一致，从而降低摄像装置101所采集的图像数据与样本图像数据集S1中的样本图像数据D在高维度空间中的特征分布之间的差异，有利于提高图像检测模型推理的准确性。
传统计算机视觉技术中，为了让已经训练的图像检测模型适配新的摄像装置，以提高图像检测模型检测结果的准确性，通常需要使用新的数据集对已经训练的图像检测模型进行重训练或微调。然而，采集以及标注新数据集的过程需要耗费大量的人力物力，且在对图像检测模型进行重训练的过程中必然需要图像检测模型“遗忘”一些已经学习到的知识，导致了历史数据无法被最大化地利用。本申请实施例通过保持已训练完毕的图像检测模型的参数不变，通过调整用于执行多个图像处理过程的图像处理算法的参数(或者调整用于执行多个图像处理过程的图像处理算法的参数以及图像处理模型的参数)，来降低摄像装置101所采集的图像数据与样本图像数据D在高维度空间中的特征分布之间的差异，与 传统技术中采用对图像检测模型进行重训练的方式相比，本申请实施例可以不需要对已训练的图像检测模型进行任何修改，节省了对图像检测模型进行重训练和微调所需的时间和算力开销；此外，由于本申请实施例是对用于执行多个图像处理过程的图像处理算法的参数进行调整，由于图像处理算法不执行图像检测过程，因此采用较少的训练样本即可完成训练，从而可以降低对训练样本进行人工标注的数量，缩短将图像检测模型与新摄像装置结合使用时的调试周期。
下面以自动驾驶场景为例，结合图1所示的电子设备100的结构示意图，对本申请实施例的应用场景进行更为具体的说明。请参考图3，图3示出了本申请实施例提供的车辆300的一个结构示意图。
耦合到车辆300或包括在车辆300中的组件可以包括控制***10、推进***20和传感器***30。应理解，车辆300还可以包括更多的***，在此不再赘述。控制***10可被配置为控制车辆300及其组件的操作。如图1所示的ISP102和AI处理器103可以设置于控制***10中，此外，控制***10还可以包括中央处理器、存储器等设备，存储器用于存储各处理器运行所需的指令和数据。推进***20可以用于车辆300提供动力运动，其可以包括但不限于：引擎/发动机、能量源、传动装置和车轮。传感器***104可以包括但不限于：全球定位***、惯性测量单元、激光雷达传感器或者毫米波雷达传感器，如图1所示的摄像装置101可以设置于传感器***30。车辆300的组件和***可通过***总线、网络和/或其它连接机制耦合在一起，以与在其各自的***内部和/或外部的其它组件互连的方式工作。具体工作中，车辆300中的各组件之间相互配合，实现多种自动驾驶功能。该自动驾驶功能可以包括但不限于：盲点检测、泊车辅助或者变道辅助等。
在实现上述自动驾驶功能的过程中，摄像装置101可以周期性的采集图像数据，将采集到的图像数据提供至ISP102。ISP102(或者ISP102与AI处理器103中的图像处理模型)通过执行多个图像处理过程对图像数据进行处理，转换成AI处理器103中所运行的图像检测模型可以识别或计算的图像数据提供至AI处理器103，从而使得AI处理器103实现特定任务的推理或检测，生成检测结果。控制***10中的其他组件(例如执行决策的CPU)基于AI处理器103的检测结果，控制其他设备或组件执行自动驾驶功能。
通常，生产车辆的厂商有可能某些部件不自己生产，通过厂商A订购已经训练完毕的图像检测模型，通过厂商B订购摄像装置，为了使得图像检测模型可以更加准确的对摄像装置获取的图像数据进行检测，可以采用本申请实施例所述的训练方法对用于执行图像处理流程的图像处理算法或者图像处理模型的参数进行调试。再例如，厂商对某些型号的车辆进行升级换代，需要更换与之前配置的摄像装置不同型号的摄像装置。此时，为了将所更换的摄像装置与图像检测模型相匹配，使得图像检测模型对新摄像装置获取的图像数据进行检测的检测结果更加准确，同样可以采用本申请实施例所述的训练方法对用于执行图像处理流程的图像处理算法或者图像处理模型的参数进行调试。
需要说明的是，对图像处理算法或者图像处理模型的参数调试可以是在离线端完成的(或者说是在服务器或者用于进行模型训练的设备中训练完成的)。当图像处理算法的参数调试完毕后，可以将图像处理算法部署在终端的ISP中。当某些图像处理过程由图像处理模型执行时，对图像处理模型中的参数调试完毕后，可以将图像处理模型部署在AI处理器103中。请参考图4，其示出了本申请实施例提供的包含用于对图像处理算法进行参 数调试的电子设备的***架构示意图400。
在图4中，***架构400包括摄像装置101、参数调试设备401、存储设备402和显示设备403。摄像装置101用于采集多个样本图像数据E，以及将所采集的样本图像数据E存储至存储设备402。其中，摄像装置101与图1所示的摄像装置101为相同的(或者同一个)摄像装置。存储设备402可以包括但不限于：只读存储器或者随机存取存储器等。其用于存储样本图像数据E。此外，存储设备402中还可以存储有用于执行图像处理过程的图像处理算法的可执行程序和数据，以及用于执行图像检测的图像检测模型的可执行程序和数据。参数调试设备401可以运行图像处理算法和图像检测模型，参数调试设备401还可以从存储设备101中调用样本图像数据E、用于执行像处理过程的图像处理算法的可执行程序和数据以及用于执行图像检测的图像检测模型的可执行程序和数据，以对图像处理算法的参数进行调试。另外，参数调试设备401还可以将运行产生的数据以及每次对图像处理算法的参数调试后的调试结果存储至存储设备402。此外，参数调试设备401和存储设备402还可以设置有I/O端口，以与显示设备403进行数据交互。显示设备403中可以包括屏幕等显示装置，以对样本图像数据E进行标注。具体来说，参数调试设备401可以从存储设备402中获取样本图像数据E，对样本图像数据E进行图像处理后提供至显示设备403，以在显示设备403中呈现。用户通过显示设备403将对样本图像数据E进行标注，将样本图像数据E的标注信息存储至存储设备402。
在本申请实施例中，为了便于图像处理算法对样本图像数据E的处理以及图像检测模型对图像的检测，摄像装置101输出的样本图像数据E为高位深(例如16bit、20bit或者24bit)单通道线性RAW图像数据，其动态范围远大于显示器所能显示的动态范围，此外，样本图像数据E是彩色滤波阵列(CFA，color filter array)图像，其不具备颜色信息，因此，标注人员难以从摄像装置101输出的样本图像数据E中识别出各个目标对象。基于此，本申请实施例中，参数调试设备401还运行有图像处理算法T，该图像处理算法T用于对样本图像数据E进行处理以生成可以在显示器中呈现且亮度和色彩均合适的彩色图像，比如RGB图像，以便于标注人员对样本图像数据E中呈现的目标对象进行标注。该图像处理算法T所执行的图像处理流程可以包括但不限于：***误差校正、全局阶调映射、解马赛克或者白平衡校正。该图像处理算法T中的各参数均不需要调整，其通过采用传统图像处理算法即可实现。需要说明的是，本申请实施例中所述的图像处理算法T，其用于对样本图像数据E处理以生成可以在显示器中显示供标注人员标注的图像数据；本申请实施例中所述的图像处理算法，其用于对样本图像数据E进行处理以生成供图像检测模型进行图像检测的图像数据，其参数需要调整。
基于图1所示的电子设备100的结构示意图、图3所述的车辆的应用场景以及图4所示的***架构400，下面结合图5和图6，对用于图像处理的参数调试方法进行详细介绍。
请参考图5，其示出了本申请实施例提供的图像处理算法的参数调试方法的流程500。需要说明的是，本申请实施例中所述的用于图像处理的参数调试方法的执行主体可以为图4所示的参数调试设备401。如图5所示，用于图像处理的参数调试方法包括如下步骤：
步骤501，基于样本图像数据集S2，利用图像处理算法对样本图像数据集S2中的每一个样本图像数据E进行处理，生成多个图像数据F。
样本图像数据集S2中包括多个样本图像数据E和每一个样本图像数据E的标注信 息。其中，样本图像数据集S2中的每一个样本图像数据E均是由如图1所示的摄像装置101采集的。样本图像数据E的标注信息是基于图像检测模型所执行的检测内容标注的。例如，当图像检测模型用于执行目标检测时，样本图像数据E的标注信息可以包括目标对象和目标对象在第二样本图像中的位置；当图像检测模型用于执行行人意图检测时，样本图像数据E的标注信息可以包括目标对象和目标对象的动作信息。
这里的图像处理算法用于执行一个或多个图像处理过程。该一个或多个图像处理过程包括但不限于：暗电流校正、响应非线性校正、镜头阴影校正、解马赛克、白平衡校正、阶调映射、降噪、对比度增强或者边缘增强等。需要说明的是，该一个或多个图像处理过程通常是顺序执行的。本申请实施例对图像处理过程的执行顺序不作具体限定。
步骤502，利用图像检测模型对图像数据F进行检测，生成检测结果。
这里，图像检测模型可以执行以下至少一项检测：目标检测、车道线检测或者行人意图检测等。图像检测模型是基于图像数据集S1对深度神经网络训练得到的。需要说明的是，图像数据集S1中的图像数据D是不同于摄像装置101的其他摄像装置采集的。此外，图像检测模型的训练方法为传统技术，在此不再赘述。
步骤503，基于检测结果和样本图像数据E的标注信息，调整图像处理算法的参数。
在一种可能的实现方式中，可以采用机器学习的方法调整图像处理算法的参数。下面对第二种可能的实现方式进行详细介绍。
基于样本图像数据集S2中每一个样本图像数据E的检测结果和样本图像数据E的标注信息之间的误差，构建损失函数。该损失函数可以包括但不限于：交叉熵函数等。然后，利用反向传播算法和梯度下降算法调整图像处理算法中用于执行一个或多个图像处理流程的图像处理模块的参数。其中，梯度下降算法具体可以包括但不限于：SGD、Adam等最优化算法。在基于预设损失函数进行反向传播时，可利用链式法则计算预设损失函数关于图像处理算法中各参数的梯度。
具体来说，用于执行各图像处理流程的图像处理算法之间互相独立。当图像处理算法所执行的图像处理流程依次为暗电流校正、响应非线性校正、镜头阴影校正、解马赛克、白平衡校正、降噪、对比度增强或者边缘增强等流程时，采用反向传播算法对各流程的图像处理算法的参数进行调整时，最先传播并调整的参数为用于执行边缘增强的图像处理算法的参数，然后依次调整的图像处理算法的参数为用于执行对比度增强的图像处理算法的参数、用于执行降噪的图像处理算法的参数、用于执行白平衡校正的图像处理算法的参数等。可以理解的是，本申请实施例可以包括更多或更少的图像处理流程，相应可以包括更多或更少所要调整的参数。此外，由于本申请实施例对图像处理算法所执行的图像处理流程的顺序不作限定，因此，采用反向传播算法对图像处理算法的各参数进行调整时，最先调整的参数与最后调整的参数本申请实施例不做具体限定。
需要说明的是，基于预设损失函数采用反向传播算法调整图像处理算法的参数时，保持图像检测模型中的各参数均不变。
步骤504，确定预设损失函数的损失值是否小于等于预设阈值。如果预设损失函数的损失值小于等于预设阈值，保存图像处理算法的参数；如果预设损失函数的损失值大于预设阈值，执行步骤505。
步骤505，确定迭代调整图像处理算法的参数的次数是否大于等于预设阈值。如果迭代调整图像处理算法的参数的次数大于等于预设阈值，则保存图像处理算法的参数，如果迭代调整图像处理算法的参数的次数小于预设阈值，则继续执行步骤501-步骤505。
在本申请一种可能的实现方式中，上述一个或多个图像处理流程可以全部由传统图像处理算法实现。当上述一个或多个图像处理流程由传统图像处理算法实现时，假设该一个或多个图像处理流程包括暗电流校正、响应非线性校正、镜头阴影校正、解马赛克、白平衡校正、阶调映射、降噪、对比度增强和边缘增强。此时，所要调整的图像处理算法的参数可以包括单不限于：用于执行镜头阴影校正的图像处理算法的参数、用于执行白平衡校正的图像处理算法的参数、用于执行阶调映射的图像处理算法的参数、用于执行对比度增强的图像处理算法的参数、用于执行边缘增强的图像处理算法的参数以及用于执行降噪的图像处理算法的参数。需要说明的是，当采用机器学习的方法调整图像处理算法的参数时，本申请实施例所述的图像检测算法均具有可微分性，以便于基于链式法则反向传播时可导。下面对所要调整的各图像处理算法的参数进行详细说明。
镜头阴影校正用于修正图像边缘区域因为主光线入射夹角增大而产生的照度衰减，其使用多项式对照度衰减曲面进行拟合，其中多项式的自变量为图像各个像素与摄像装置光心的距离。因此，用于执行镜头阴影校正的图像处理算法中，所要调整的参数为图像各个像素与摄像装置光心的距离，也即多项式中的自变量的值。
白平衡校正的执行流程为：首先使用中性色像素搜索算法对图像中的中性色区域进行筛选，基于筛选结果，确定中性色区域在图像中的边界坐标。然后，使用图像的亮度通道对所筛选出的中性色区域中的像素值进行加权，生成二值化的中性色像素掩模(neutral pixel mask)。接着，利用该中性色像素掩模对各个(近)中性色像素进行加权平均，获得图像中光源颜色的估计。最后，通过计算光源颜色RGB通道之间的比值，得到该图像对应的白平衡校正系数，将白平衡校正系数应用于原始图像上，即得到白平衡校正后的图像。因此，用于执行白平衡校正的图像处理算法中，所要调整的参数为中性色区域在图像中的边界坐标。
阶调映射用于接收高位深的线性图像，将该线性图像转换为非线性图像，同时完成图像位深的压缩，输出8比特图像。当使用全局gamma函数作为阶调映射函数时，可训练参数为γ参数；当使用对数变换算法对线性图像进行动态范围压缩时，可训练参数为对数变换的底数；当使用更加复杂的阶调映射模型，例如基于人眼动态范围响应的retinex模型时，可训练参数为其中的目标亮度参数(key)、目标饱和度参数(saturation)以及用于生成低通滤波图像的滤波核参数。
对比度增强用于增强图像的对比度。具体的，可以使用CLAHE(contrast limited adaptive histogram equalization，对比度限制的自适应直方图均衡化)算法对图像的对比度进行局部调节。CLAHE算法含有两个可调节参数：对比度阈值参数以及用于直方图统计的子图像块大小。本申请实施例一种可能的实现方式中，可以固定子图像块的大小，仅调整对比度阈值参数。更进一步的，可以将子图像块的大小固定为输入图像的大小。
图像的边缘增强中，首先对接收到的图像中的Y通道图像进行高斯滤波，得到低通Y通道图像Y L；将原始的Y通道图像与低通Y通道图像Y L之间的差值图像作为图像中的高频信号，即Y HF＝Y-Y L，该高频信号通常对应于图像中的边缘区域；通过对高频信号的 强度进行放大并叠加至低通Y通道图像Y L中，可以得到边缘增强后的图像Y E，即Y E＝Y L+α·(Y-Y L)，其中α为边缘增强因子，图像边缘增强程度随α增大而增大。用于执行边缘增强的图像处理算法的参数中，所要调整的参数为边缘增强因子α。
图像降噪中，通常采用双边滤波(bilateral filter)降噪算法。双边滤波降噪算法中，可训练的参数可以包括：用于控制降噪强度与空间距离之间关系的空间域高斯核参数σs，以及用于控制降噪强度与响应值差异之间关系的像素值域高斯核参数σr。
在另外一种可能的实现方式中，上述一个或多个图像处理流程中的部分图像处理流程可以由图像处理模型实现。例如，上述解马赛克、白平衡校正、阶调映射、降噪、对比度增强和边缘增强等图像处理过程由图像处理模型实现。该图像处理模型可以包括多种，其中每一种图像处理模型用于执行某种特定的图像处理操作。例如，噪声消除的图像处理模型用于执行噪声消除的图像处理操作，去马赛克的图像处理模型用于执行去马赛克的图像处理操作。每一种图像处理模型均可以是采用传统神经网络训练方法，利用训练样本对多层神经网络训练得到，本申请实施例对训练方法不再赘述。每一种图像处理模型中的每一层的工作可以用数学表达式y＝a(W*x十b)来描述。其中，W为权重，x为输入向量(即输入神经元)，b为偏置数据，y为输出向量(即输出神经元)，a为常数。从物理层面深度神经网络中的每一层的工作可以理解为通过五种对输入空间(输入向量的集合)的操作，完成输入空间到输出空间的变换(即矩阵的行空间到列空间)，这五种操作包括:1、升维/降维；2、放大/缩小；3、旋转；4、平移；5、"弯曲"。其中1、2、3的操作由W*x完成，4的操作由+b完成，5的操作则由a()来实现。这里之所以用"空间"二字来表述是因为被处理的图像并不是单个事物，而是一类事物，空间是指这类事物所有个体的集合。其中，W是权重向量，该向量中的每一个值表示该层神经网络中的一个神经元的权重值。该向量W决定着上文所述的输入空间到输出空间的空间变换，即每一层的权重W控制着如何变换空间。当采用一种或多种图像处理模型对图像数据进行处理时，所调整的图像处理算法，即为形成图像处理模型的所有层的权重矩阵(由很多层的向量W形成的权重矩阵)。需要说明的是，上述一种或多种图像处理模型是在离线端预先训练完成的。当采用本申请所述的参数调试方法对图像处理算法的参数进行调整时，仅需要对用于形成图像处理模型的神经网络的参数进行微调，以使得图像处理模型对图像处理后得到图像的风格特征，与用于训练图像检测模型的样本图像数据的风格特征相似。从而提高图像检测模型的检测精度。
基于图5所示的图像处理算法的参数调试方法，下面以图像检测模型所执行的检测功能为目标对象识别为例，对本申请实施例所述的图像处理算法的参数调试方法进行更为详细的说明。请参考图6，图6为本申请实施例所述的用于图像处理的参数调试方法的一个具体应用示意图。其中，图6所述的用于图像处理的参数调试方法的执行主体可以为图4所示的参数调试设备401。
步骤601，利用摄像装置101采集多个样本图像数据E。该多个样本图像数据E是高位深(例如16bit、20bit或者24bit)单通道线性RAW图像数据。
步骤602，采用图像处理算法T对样本图像数据E处理，生成处理后的图像数据F以在显示屏幕中呈现。该图像数据F为彩色图像，比如RGB图像。
步骤603，对图像数据F进行人工标注，得到每一个样本图像数据E的标注信息。由于图像检测模型所执行的检测为目标检测，则样本图像数据的标注信息包括样本图像数据 所呈现的目标对象的类别以及在样本图像数据中的位置。
步骤604，采用图像处理算法对样本图像数据进行处理，生成图像数据D。
步骤605，将图像数据D输入至图像检测模型，得到图像检测结果，其中，该图像检测结果包括预设目标对象在样本图像数据中的位置区域以及为预设目标对象的概率值。
步骤606，基于图像检测结果与样本图像数据E的标注信息，构建损失函数。
假设用N(·)表示图像检测模型，因此有 其中 表示图像检测模型的损失函数。Y out表示图像检测模型输入的图像数据，也即是图像处理算法通过执行多个图像处理流程最终输出的图像数据。
步骤607，确定损失函数的损失值是否达到预设阈值。如果未达到预设阈值，执行步骤508，如果达到预设阈值，保存图像处理算法的参数。
步骤608，采用反向传播算法和梯度下降算法，调整图像检测算法的参数。
下面以调整用于执行边缘增强流程的图像处理算法的参数为例，进行更为详细的说明。图像的边缘增强是将图像中的高频信号进行放大并叠加至低通图像中，以实现图像的边缘锐化，即：YE＝YL+α·(Y-YL)。该公式中各参数的含义详见上述图像的边缘增强中的相关描述，在此不再赘述。其中，用于执行边缘增强的图像处理算法的参数中，所要调整的参数为边缘增强因子α。假设用P(·)表示图像边缘增强之后的所有图像操作，即Y out＝P(Y E)。边缘增强之前所有的图像操作后得到的图像为Y，在P(·)中所有参数保持不变的情况下，根据链式法则可求得目标函数L关于边缘增强因子α的梯度：
根据SGD算法，经过一次迭代后，α更新后的值α (t+1)，为：
其中，α (t+1)为α当前值α (t)沿其梯度的相反方向步进一段距离之后的值，δ表示学习率，用于控制每次迭代的步长。将公式(2)代入公式(1)中，即可得到边缘增强因子α更新后的值：
假设边缘增强因子α的当前值为α (0)，则经过一次迭代后边缘增强因子α的值为：
同理，用于执行其他图像处理流程的图像检测算法的参数的调整过程可以与执行边缘增强的图像检测算法的参数的调整过程相类似，在此不再赘述。
如图6所示的参数调试方法，通过重复执行步骤604-步骤608，也即对图像处理算法中的参数进行多次迭代调整，可以得到图像处理算法中令损失函数L达到极小值的最佳参数值。
基于图1所示的电子设备100、图5和图6所示的用于图像处理的参数调试方法，本申请实施例还提供一种图像检测方法。请参考图7，其示出了本申请实施例提供的图像检测方法的流程700。其中，如图7所述的图像检测方法的执行主体可以是图1所述的ISP处理器和AI处理器。如图7所示，图像检测方法包括如下步骤：
步骤701，通过摄像装置101采集待检测的图像数据。
步骤702，利用图像处理算法对待检测的图像数据进行处理，生成处理后的图像。
步骤703，将处理后的图像输入至图像检测模型，得到检测结果。
其中，步骤702所述的图像处理算法的参数，可以是采用如图5所述的用于图像处理的参数调试方法进行调试后得到的。
在一种可能的实现方式中，所述图像检测模型用于执行以下至少一项检测任务：检测框的标注、目标对象的识别、置信度的预测、目标对象运动轨迹的预测。
可以理解的是，电子装置为了实现上述功能，其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本实施例可以根据上述方法示例对以上一个或多个处理器进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是，本实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下，图8示出了上述实施例中涉及的图像检测装置800的一种可能的组成示意图，如图8所示，该图像检测装置800可以包括：采集模块801、处理模块802和检测模块803。采集模块801，被配置成通过第一摄像装置采集待检测的图像数据；处理模块802，被配置成利用图像处理算法对所述待检测的图像数据进行处理，生成处理后的图像；检测模块803，被配置成将所述处理后的图像输入至图像检测模型，得到检测结果；其中，所述图像处理算法的参数是通过比较所述第一摄像装置所采集的第一样本图像数据的标注信息和所述图像检测模型对所述第一样本图像数据的检测结果、并且基于比较结果进行调整得到的。
在一种可能的实现方式中，所述图像检测模型是通过对第二摄像装置所采集的第二样本图像数据进行神经网络训练得到的。
在一种可能的实现方式中，所述图像处理算法的参数是通过参数调整模块确定的，所述参数调整模块(图中未示出)包括：比较子模块(图中未示出)，被配置成将所述第一样本图像数据的检测结果和所述第一样本图像数据的标注信息进行比较以得到所述比较结果；调整子模块(图中未示出)，被配置成基于所述比较结果迭代调整所述图像处理算法的参数；保存子模块(图中未示出)，被配置成在预设条件满足时，保存所述图像处理算法的参数。
在一种可能的实现方式中，所述比较结果为误差，所述调整子模块(图中未示出)进一步被配置成：基于所述第一样本图像数据的检测结果和所述第一样本图像数据的标注信息之间的所述误差，构建目标损失函数，其中所述目标损失函数包括所述图像处理算法中待更新的参数；基于所述目标损失函数，利用反向传播算法和梯度下降算法，迭代更新所述图像处理算法的参数。
在一种可能的实现方式中，所述图像处理算法包括以下至少一项：暗电流校正、镜头阴影校正、解马赛克、白平衡校正、阶调映射、对比度增强、图像边缘增强和图像降噪。
在一种可能的实现方式中，所述图像处理算法的参数包括以下至少一项：镜头阴影校正算法中的图像各个像素与摄像装置光心距离；白平衡校正算法中的中性色区域在图像中的边界坐标；阶调映射算法中的目标亮度、目标饱和度以及用于生成低通滤波图像的滤波核参数；对比度增强算法中的对比度阈值；图像边缘增强算法中的边缘增强因子；以及图像降噪算法中的空间域高斯参数以及像素值域高斯参数。
在一种可能的实现方式中，所述图像处理算法是通过训练后的图像处理模型执行；所述图像处理算法的参数包括：用于生成所述图像处理模型的神经网络的权重系数。
在一种可能的实现方式中，所述第一样本图像数据的标注信息是人工标注的；以及所述装置还包括：转换模块(图中未示出)，被配置成将所述第一样本图像数据转换成适用于进行人工标注的彩色图像。
在一种可能的实现方式中，所述图像检测模型用于执行以下至少一项检测任务：检测框的标注、目标对象的识别、置信度的预测、目标对象运动轨迹的预测。
本实施例提供的图像检测装置800，用于执行电子设备100所执行的图像检测方法，可以达到与上述实现方法相同的效果。以上图8对应的各个模块可以软件、硬件或二者结合实现、例如，每个模块可以以软件形式实现，以驱动如图1所示的电子设备100中的ISP102和AI处理器103。或者，每个模块可包括对应处理器和相应的驱动软件两部分。
在采用对应各个功能划分各个功能模块的情况下，图9示出了上述实施例中涉及的用于图像处理的参数调试装置900的一种可能的组成示意图，如图9所示，该用于图像处理的参数调试装置900可以包括：处理模块901、检测模块902、比较模块903和调整模块904。处理模块901，被配置成利用图像处理算法对第一样本图像数据进行图像处理，生成第一图像数据，其中，所述第一样本图像数据是通过第一摄像装置采集的；检测模块902，被配置成将所述第一图像数据输入至预先训练的图像检测模型，得到检测结果；比较模块903，被配置成比较所述检测结果和所述第一样本图像数据的标注信息之间的误差，得到比较结果；调整模块904，被配置成基于所述比较结果，调整所述图像处理算法的参数。
在一种可能的实现方式中，所述图像检测模型是通过对第二摄像装置所采集的第二样本图像数据进行神经网络训练得到的。
在一种可能的实现方式中，所述比较结果为误差，所述调整模块被配置成：基于所述检测结果和所述第一样本图像数据的标注信息之间的所述误差，构建目标损失函数，其中所述目标损失函数包括所述图像处理算法中待调整的参数；基于所述目标损失函数，利用反向传播算法和梯度下降算法，迭代调整所述图像处理算法的参数。
在一种可能的实现方式中，所述图像处理算法包括以下至少一项：暗电流校正、镜头阴影校正、解马赛克、白平衡校正、阶调映射、对比度增强、图像边缘增强或者图像降噪。
在一种可能的实现方式中，所述图像处理算法的参数包括以下至少一项：镜头阴影校正算法中的图像各个像素与摄像装置光心距离；白平衡校正算法中的中性色区域在图像中的边界坐标；阶调映射算法中的目标亮度、目标饱和度以及用于生成低通滤波图像的滤波核参数；对比度增强算法中的对比度阈值；图像边缘增强算法中的边缘增强因子；以及图像降噪算法中的空间域高斯参数以及像素值域高斯参数。
在一种可能的实现方式中，所述图像处理算法是通过训练后的图像处理模型执行；所述图像处理算法的参数包括：用于生成所述图像处理模型的神经网络的权重系数。
在一种可能的实现方式中，所述第一样本图像数据的标注信息是人工标注的；以及所述装置还包括：转换模块(图中未示出)，被配置成将所述第一样本图像数据转换成适用于进行人工标注的彩色图像。
在一种可能的实现方式中，所述图像检测模型用于执行以下至少一项检测任务：检测框的标注、目标对象的识别、置信度的预测、目标对象运动轨迹的预测。
在采用集成的单元的情况下，图像检测装置800可以包括至少一个处理器和存储器。其中，至少一个处理器可以调用存储器存储的全部或部分计算机程序，对电子设备100的动作进行控制管理，例如，可以用于支持电子设备100执行上述各个模块执行的步骤。存储器可以用于支持电子设备100执行存储程序代码和数据等。处理器可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑模块，其可以是实现计算功能的一个或多个微处理器组合，例如包括但不限于图1所示的图像信号处理器101和AI处理器103。此外，该微处理器组合还可以包括中央处理器和控制器等。此外，处理器除了包括图1所示的各处理器外，还可以包括其他可编程逻辑器件、晶体管逻辑器件、或者分立硬件组件等。存储器可以包括随机存取存储器(RAM)和只读存储器(ROM)等。该随机存取存储器可以包括易失性存储器(如SRAM、DRAM、DDR(双倍数据速率SDRAM，Double Data Rate SDRAM)或SDRAM等)和非易失性存储器。RAM中可以存储有ISP102和AI处理器103运行所需要的数据(诸如图像处理算法等)和参数、ISP102和AI处理器103运行所产生的中间数据、ISP102处理后的图像数据、AI处理器103运行后的输出结果等。只读存储器ROM中可以存储有ISP102和AI处理器103的可执行程序。上述各部件可以通过加载可执行程序以执行各自的工作。存储器存储的可执行程序可以执行如图7所述的图像检测方法。
在采用集成的单元的情况下，图像检测装置900可以包括至少一个处理器和存储设备。其中，至少一个处理器可以调用存储器存储的全部或部分计算机程序，对如图4所示的参数调试设备401的动作进行控制管理，例如，可以用于支持参数调试设备401执行上述各个模块执行的步骤。存储器可以用于支持参数调试设备401执行存储程序代码和数据等。处理器可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑模块，其可以是实现计算功能的一个或多个微处理器组合，例如包括但不限于中央处理器和控制器等。此外，处理器还可以包括其他可编程逻辑器件、晶体管逻辑器件、或者分立硬件组件等。存储器可以包括随机存取存储器(RAM)和只读存储器ROM等。该随机存取存储器可以包括易失性存储器(如SRAM、DRAM、DDR(双倍数据速率SDRAM，Double Data Rate SDRAM)或SDRAM等)和非易失性存储器。RAM中可以存储有参数调试设备401运行所需要的数据(诸如图像处理算法等)和参数、参数调试设备401运行所产生的中间数据、参数调试设备401运行后的输出结果等。只读存储器ROM中可以存储有参数调试设备401的可执行程序。上述各部件可以通过加载可执行程序以执行各自的工作。存储器存储的可执行程序可以执行如图5或图6所述的参数调节方法。
本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行上述相关方法步骤实现上述实施例中的图像检测装置800的图像检测方法，或者实现上述实施例中的参数调节装置900的参数调节方法。
本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中图像检测装置800的图像检测方法，或者实现上述实施例中的参数调节装置900的参数调节方法。
其中，本实施例提供的计算机可读存储介质或者计算机程序产品均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。
通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (22)

  1. 一种图像检测方法，其特征在于，包括：
    通过第一摄像装置采集待检测的图像数据；
    利用图像处理算法对所述待检测的图像数据进行处理，生成处理后的图像，其中，所述图像处理算法的参数是通过比较所述第一摄像装置所采集的第一样本图像数据的标注信息和图像检测模型对所述第一样本图像数据的检测结果、并且基于比较结果进行调整得到的；
    将所述处理后的图像输入至所述图像检测模型，得到检测结果。
  2. 根据权利要求1所述的图像检测方法，其特征在于，所述图像检测模型是通过对第二摄像装置所采集的第二样本图像数据进行神经网络训练得到的。
  3. 根据权利要求1或2所述的图像检测方法，其特征在于，所述图像处理算法的参数通过如下步骤确定：
    将所述第一样本图像数据的检测结果和所述第一样本图像数据的标注信息进行比较以得到所述比较结果；
    基于所述比较结果迭代调整所述图像处理算法的参数；
    在预设条件满足时，保存所述图像处理算法的参数。
  4. 根据权利要求3所述的图像检测方法，其特征在于，所述比较结果为误差，所述基于所述比较结果迭代调整所述图像处理算法的参数，包括：
    基于所述第一样本图像数据的检测结果和所述第一样本图像数据的标注信息之间的所述误差，构建目标损失函数，其中所述目标损失函数包括所述图像处理算法中待调整的参数；
    基于所述目标损失函数，利用反向传播算法和梯度下降算法，迭代调整所述图像处理算法的参数。
  5. 根据权利要求1-4任一项所述的图像检测方法，其特征在于，所述图像处理算法包括以下至少一项：暗电流校正算法、镜头阴影校正算法、解马赛克算法、白平衡校正算法、阶调映射算法、对比度增强算法、图像边缘增强算法和图像降噪算法。
  6. 根据权利要求5所述的图像检测方法，其特征在于，所述图像处理算法的参数包括以下至少一项：
    镜头阴影校正算法中的图像各个像素与摄像装置光心距离；
    白平衡校正算法中的中性色区域在图像中的边界坐标；
    阶调映射算法中的目标亮度、目标饱和度以及用于生成低通滤波图像的滤波核参数；
    对比度增强算法中的对比度阈值；
    图像边缘增强算法中的边缘增强因子；以及
    图像降噪算法中的空间域高斯参数以及像素值域高斯参数。
  7. 根据权利要求5所述的图像检测方法，其特征在于，所述图像处理算法是通过训练后的图像处理模型执行；所述图像处理算法的参数包括：
    用于生成所述图像处理模型的神经网络的权重系数。
  8. 根据权利要求1-7任一项所述的图像检测方法，其特征在于，所述第一样本图像数 据的标注信息是人工标注的；以及
    所述方法还包括：
    将所述第一样本图像数据转换成适用于进行人工标注的彩色图像。
  9. 根据权利要求1-8任一项所述的图像检测方法，其特征在于，所述图像检测模型用于执行以下至少一项检测任务：检测框的标注、目标对象的识别、置信度的预测、目标对象运动轨迹的预测。
  10. 一种图像检测装置，其特征在于，包括：
    采集模块，被配置成通过第一摄像装置采集待检测的图像数据；
    处理模块，被配置成利用图像处理算法对所述待检测的图像数据进行处理，生成处理后的图像，其中，所述图像处理算法的参数是通过比较所述第一摄像装置所采集的第一样本图像数据的标注信息和图像检测模型对所述第一样本图像数据的检测结果、并且基于比较结果进行调整得到的；
    检测模块，被配置成将所述处理后的图像输入至所述图像检测模型，得到检测结果。
  11. 根据权利要求10所述的图像检测装置，其特征在于，所述图像检测模型是通过对第二摄像装置所采集的第二样本图像数据进行神经网络训练得到的。
  12. 根据权利要求10或11所述的图像检测装置，其特征在于，所述图像处理算法的参数是通过参数调整模块确定的，所述参数调整模块包括：
    比较子模块，被配置成将所述第一样本图像数据的检测结果和所述第一样本图像数据的标注信息进行比较以得到所述比较结果；
    调整子模块，被配置成基于所述比较结果迭代调整所述图像处理算法的参数；
    保存子模块，被配置成在预设条件满足时，保存所述图像处理算法的参数。
  13. 根据权利要求12所述的图像检测装置，其特征在于，所述比较结果为误差，所述调整子模块进一步被配置成：
    基于所述第一样本图像数据的检测结果和所述第一样本图像数据的标注信息之间的所述误差，构建目标损失函数，其中所述目标损失函数包括所述图像处理算法中待更新的参数；
    基于所述目标损失函数，利用反向传播算法和梯度下降算法，迭代更新所述图像处理算法的参数。
  14. 根据权利要求10-13任一项所述的图像检测装置，其特征在于，所述图像处理算法包括以下至少一个图像处理流程：暗电流校正、镜头阴影校正、解马赛克、白平衡校正、阶调映射、对比度增强、图像边缘增强和图像降噪。
  15. 根据权利要求14所述的图像检测装置，其特征在于，所述图像处理算法的参数包括以下至少一项：
    镜头阴影校正算法中的图像各个像素与摄像装置光心距离；
    白平衡校正算法中的中性色区域在图像中的边界坐标；
    阶调映射算法中的目标亮度、目标饱和度以及用于生成低通滤波图像的滤波核参数；
    对比度增强算法中的对比度阈值；
    图像边缘增强算法中的边缘增强因子；以及
    图像降噪算法中的空间域高斯参数以及像素值域高斯参数。
  16. 根据权利要求14所述的图像检测装置，其特征在于，所述图像处理算法是通过训练后的图像处理模型执行；所述图像处理算法的参数包括：
    用于生成所述图像处理模型的神经网络的权重系数。
  17. 根据权利要求10-16任一项所述的图像检测装置，其特征在于，所述第一样本图像数据的标注信息是人工标注的；以及
    所述装置还包括：
    转换模块，被配置成将所述第一样本图像数据转换成适用于进行人工标注的彩色图像。
  18. 根据权利要求10-17任一项所述的图像检测装置，其特征在于，所述图像检测模型用于执行以下至少一项检测任务：检测框的标注、目标对象的识别、置信度的预测、目标对象运动轨迹的预测。
  19. 一种电子设备，其特征在于，包括：
    第一摄像装置，用于采集待检测的图像数据；
    图像信号处理器，用于利用图像处理算法对所述待检测的图像数据进行处理，生成处理后的图像；
    人工智能处理器，用于将所述处理后的图像输入至图像检测模型，得到检测结果；
    其中，所述图像处理算法的参数是通过比较所述第一摄像装置所采集的第一样本图像数据的标注信息和所述图像检测模型对所述第一样本图像数据的检测结果、并且基于比较结果进行调整得到的。
  20. 一种图像检测装置，其特征在于，包括：
    一个或多个处理器和存储器；
    所述存储器耦合至所述处理器，所述存储器用于存储一个或多个程序；
    所述一个或多个处理器用于运行所述一个或多个程序，以实现如权利要求1-9任一项所述的方法。
  21. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，该计算机程序被至少一个处理器执行时用于实现如权利要求1-9任一项所述的方法。
  22. 一种计算机程序产品，其特征在于，当所述计算机程序产品被至少一个处理器执行时用于实现如权利要求1-9任一项所述的方法。
CN202180093086.5A 2021-03-01 2021-03-01 图像检测方法、装置和电子设备 Pending CN116888621A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/078478 WO2022183321A1 (zh) 2021-03-01 2021-03-01 图像检测方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN116888621A true CN116888621A (zh) 2023-10-13

Family

ID=83153711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180093086.5A Pending CN116888621A (zh) 2021-03-01 2021-03-01 图像检测方法、装置和电子设备

Country Status (2)

Country Link
CN (1) CN116888621A (zh)
WO (1) WO2022183321A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117830295A (zh) * 2024-02-21 2024-04-05 广州搏辉特自动化设备有限公司 缠绕机自动调节缠绕参数的控制方法、***、设备及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9378406B2 (en) * 2012-06-15 2016-06-28 Seref Sagirouglu System for estimating gender from fingerprints
CN108171748B (zh) * 2018-01-23 2021-12-07 哈工大机器人（合肥）国际创新研究院 一种面向机器人智能抓取应用的视觉识别与定位方法
CN109961443A (zh) * 2019-03-25 2019-07-02 北京理工大学 基于多期ct影像引导的肝脏肿瘤分割方法及装置
CN110458095B (zh) * 2019-08-09 2022-11-18 厦门瑞为信息技术有限公司 一种有效手势的识别方法、控制方法、装置和电子设备
CN112101328A (zh) * 2020-11-19 2020-12-18 四川新网银行股份有限公司 一种深度学习中识别并处理标签噪声的方法

Also Published As

Publication number Publication date
WO2022183321A1 (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
CN111741211B (zh) 图像显示方法和设备
CN108780508B (zh) 用于归一化图像的***和方法
CN106845487B (zh) 一种端到端的车牌识别方法
US20220188999A1 (en) Image enhancement method and apparatus
WO2021164234A1 (zh) 图像处理方法以及图像处理装置
CN110276767A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
WO2020152521A1 (en) Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures
WO2020001196A1 (zh) 图像处理方法、电子设备、计算机可读存储介质
CN113065645B (zh) 孪生注意力网络、图像处理方法和装置
CN112581379A (zh) 图像增强方法以及装置
CN110807384A (zh) 低能见度下的小目标检测方法和***
CN111209858A (zh) 一种基于深度卷积神经网络的实时车牌检测方法
CN115239581A (zh) 一种图像处理方法及相关装置
CN114581318B (zh) 一种低照明度图像增强方法及***
CN116757986A (zh) 一种红外与可见光图像融合方法及装置
Saleem et al. A non-reference evaluation of underwater image enhancement methods using a new underwater image dataset
CN116888621A (zh) 图像检测方法、装置和电子设备
CN116917954A (zh) 图像检测方法、装置和电子设备
Wischow et al. Monitoring and adapting the physical state of a camera for autonomous vehicles
Singh et al. Frn: fusion and recalibration network for low-light image enhancement
CN116129150A (zh) 集成全局***和局部***的无人机目标跟踪方法
CN113379611B (zh) 图像处理模型的生成方法、处理方法、存储介质及终端
CN115731115A (zh) 一种数据处理方法以及装置
CN113781375A (zh) 一种基于多曝光融合的车载视觉增强方法
CN115170456A (zh) 检测方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination