CN114022732A - 一种基于raw图像的极暗光物体检测方法 - Google Patents
一种基于raw图像的极暗光物体检测方法 Download PDFInfo
- Publication number
- CN114022732A CN114022732A CN202111294930.9A CN202111294930A CN114022732A CN 114022732 A CN114022732 A CN 114022732A CN 202111294930 A CN202111294930 A CN 202111294930A CN 114022732 A CN114022732 A CN 114022732A
- Authority
- CN
- China
- Prior art keywords
- image
- inverse
- object detection
- dim light
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 claims abstract description 55
- 230000008569 process Effects 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 17
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 8
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 8
- 238000013507 mapping Methods 0.000 claims description 28
- 230000006835 compression Effects 0.000 claims description 18
- 238000007906 compression Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 17
- 238000012937 correction Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000006731 degradation reaction Methods 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 11
- 230000015556 catabolic process Effects 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 239000000654 additive Substances 0.000 claims description 5
- 230000000996 additive effect Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000002347 injection Methods 0.000 claims description 4
- 239000007924 injection Substances 0.000 claims description 4
- 238000004321 preservation Methods 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims description 2
- 238000005286 illumination Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 229920006395 saturated elastomer Polymers 0.000 claims description 2
- 238000009827 uniform distribution Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 abstract description 6
- 238000004088 simulation Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 12
- 230000008901 benefit Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000243 photosynthetic effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于RAW图像的极暗光物体检测方法，用于常规图像传感器采集的低弱光图像，根据物理成像过程建立暗光合成管线，基于现有正常光物体检测数据集资源，构建高质量的暗光物体检测仿真数据集，训练精确的暗光物体检测网络。本发明能够高质量地完成基于现有常见图像采集设备的极暗光物体检测，在显著节省构建极暗光物体检测数据集所用的采集图像与人力资源的同时，实现高效率和高精度极暗光物体检测，提高检测精度，扩展物体检测器的应用场景，突破物体检测领域的瓶颈。本发明能够用于深空探测、深海探测、生物医学、近地探测等多个领域。
Description
技术领域
本发明涉及一种用于极端条件探测的暗光图像检测数据生成方法，尤其涉及一种能够获取高质量和高仿真度极暗光图像的方法，属于计算视觉技术领域。
背景技术
极暗光物体检测技术，是一种可以在低弱光条件下实现物体检测任务的技术，能够在亮度低、噪声明显、信噪比低的暗光图像中有效检测出目标物体。
在各种光源有限的低弱光场景中，图像传感器在曝光时间内接收到的光子较少，受限于图像传感器的物理特性，会导致拍摄的图像具有亮度低、噪声明显、信噪比低的特点，严重影响图像中所包含的信息。目前，现有图像采集设备拍摄得到的8位量化JPEG格式图像，都是经过内置ISP算法(Image Signal Processor，图像信号处理)处理过的RGB图像(R代表Red红色，G代表Green绿色，B代表Blue蓝色)，其语义信息在此过程中会有所丢失，使得输出图像中存在的微弱信号通常会严重失真，有时甚至会导致场景信息的永久丢失。这种退化，不仅对低弱光图像的视觉质量负面影响严重，而且对所有下游图像应用算法的性能也会产生负面影响。
因此，在低弱光场景和图像中保留和挖掘更多的信息，是极低光检测任务中最为重要的工作之一。
为了在低弱光场景或图像中有效检测出目标物体，目前，常用的解决方法是在检测前预先对目标场景或图像进行暗光增强与图像去噪处理，使缺失或的场景信息先通过增强算法在一定程度上被还原，从而包含更多的信息，以便更可能被后续检测器识别。然而，现有的基于学习的暗光增强与图像去噪算法，很难在信息有限的极暗光图像中取得很好的结果，并且缺少后续物体检测算法所需语义特征信息的针对性提取设计。此外，由于额外增强了步骤，这种级联的两阶段“增强+检测”方法会产生额外的计算负担，并且大幅增加低弱光检测任务时耗，严重阻碍了相关成果在资源受限但应用广泛的嵌入式或移动设备上的部署。
近几年，基于学习的端到端专门性暗光物体检测网络涌现了一些研究成果，通过使用卷积神经网络，自动从带噪暗光数据中提取特征。然而，现有的基于学习的方法，一般依赖于仅采用伽马变换或线性变化来调低自然光照图像亮度，或者进一步添加简单噪声模型等的方式合成的训练数据集。尽管这些方法在合成数据上取得了较好的结果，但由于缺乏真实的带标注的极暗光物体检测数据，这些方法仍然不能很好地在真实数据上使用和评价。
目前，有两种方法可以解决该问题。一是采集成对的真实数据进行极暗光图像检测网络的学***下产生的暗光图像包含更复杂的噪声。此外，现有相机拍摄得到的图像以及公开的图像资源，几乎都是经过内置ISP算法处理后的RGB格式图像，语义信息有所丢失，由于图像传感器的物理特性与成像过程的复杂性，直接在现有正常光数据集的图像上简单加噪或调低图像亮度，和实际成像过程中的噪声生成过程并不一致。不准确的噪声描述和噪声添加方式都会对仿真数据集的质量产生巨大负面影响。
发明内容
本发明的目的是针对现有技术存在的缺陷，尤其是针对现有的两阶段方法需要额外计算资源、端到端的算法依赖真实成对带标注数据集，以及常用RGB格式图像经压缩处理后信息丢失等不足，创造性地提出一种基于RAW(原始)图像的极暗光物体检测方法。
本发明的创新点在于：分析图像采集设备的图像信号处理与成像过程，结合RAW格式图像能够最大限度地保留了暗光场景中有限的信息的优势，根据极暗光图像本质特点，建立基于正常光RGB图像的暗光RAW图像合成管线。针对既定图像采集设备，定制化设定合成管线各组成部分参数，构建高质量仿真暗光物体检测数据集，训练物体检测神经网络，能够将现有物体检测数据集中的所有已标注图像转换为其低光对应数据。在显著节省构建极暗光物体检测数据集所用的采集图像与人力资源的同时，实现高效率和高精度极暗光物体检测，提高了极暗光检测精度。
为达到以上目的，本发明采用以下技术方案实现。
一种基于RAW图像的极暗光物体检测方法，包括以下步骤：
步骤1：对RGB格式图像进行退化处理，生成RAW格式图像，从而消除图像处理过程对于后续暗光图像噪声建模的影响。其中，退化处理包括：逆色调映射、逆伽马压缩、拟色彩校正、逆白平衡和逆去马赛克操作。
步骤2：进行噪声注入。建立物理噪声加性模型，将真实噪声加性注入到未经处理的RAW图像中，以模拟在极低光环境下捕获的噪声图像。
步骤3：输入干净正常光物体检测数据集，利用物理噪声加性模型，进行逆ISP退化处理，仿真生成带噪的极暗光图像数据。可以沿用正常光物体检测数据集的标注数据，构建RAW格式真实合成极暗光物体检测数据集。
步骤4：根据步骤3生成的数据集，选定基础物体检测卷积神经网络，建立双分支极暗光物体检测网络及其训练目标函数，提升网络在信息有限的极暗光图像上的特征提取增强能力和分类回归精度，并进行特征计算及预测，输出目标的类别信息和位置信息。
步骤5：输入要测试的极暗光图像，利用步骤4建立的双分支极暗光物体检测网络及其训练目标函数，从真实极暗光带噪图像中检测框选目标类别物体，从而实现高效率和高精度极暗光物体检测，提高检测质量。
有益效果
本发明，对比现有技术，具有以下优点：
1.本发明方法，针对常见图像传感器设备，分析图像传感器设备的图像信号处理过程，结合RAW格式图像数据优势，根据极暗光图像本质特点建立基于正常光RGB图像的暗光RAW图像合成管线，针对既定图像采集设备定制化设定合成管线各组成部分参数，并注入符合真实噪声分布的物理噪声模型，能够有效模拟图像传感器生成在极暗光场景的成像过程，进而提高真实合成极暗光检测数据集的精度。
2.本发明方法，输入干净正常光物体检测数据集，使用建立的暗光RAW图像合成管线和物理噪声模型，基于丰富的现有正常光物体检测数据集仿真生成极暗光物体检测图像，将图像转换为其低光对应数据，并能直接沿用现有标注数据，构建真实合成数据集。所述构建真实合成数据集过程无需采集极暗光图像，同时无需进行后期手动物体标注工作，显著节省构建极暗光物体检测数据集所用的采集图像资源与人力资源。
3.本发明方法，利用优化后的卷积神经网络提取极暗光图像特征，预测图像位置和类别信息，能够完全不增加额外计算量与运行时间的基础上提升卷积神经网络的泛化性，且能够提升极暗光检测的质量，扩展物体检测器的应用场景，保证极暗光物体检测网络的稳定性和鲁棒性。
4.本发明方法，检测质量高，适用于深空探测、深海探测、生物医学、近地探测等多个领域。
附图说明
图1是本发明方法的流程图。
图2是本发明方法构建高质量真实合成极暗光物体检测数据集的内部细节示意图。
图3是本发明方法进行极暗光物体检测的示意图。
图4是本发明方法暗光物体检测网络结构中暗光增强子模块的内部细节示意图。
具体实施方式
下面结合附图对发明做进一步详细说明。
如图1所示，一种基于RAW图像的极暗光物体检测方法，包括以下步骤：
步骤1：将RGB格式图像退化处理，生成RAW格式图像。
具体地，对于输入sRGB图像，通过反转相机图像信号处理(包括逆转的色调映射、伽马校正、色彩校正、白平衡、去马赛克等)，合成其RAW格式对应图像，从而消除图像处理过程对于后续暗光图像噪声建模的影响。
步骤1包括以下步骤：
步骤1.1：对于输入的sRGB图像，首先进行逆色调映射操作。设色调映射是用一个平滑步长曲线执行的，并且在生成合成数据时使用该曲线的逆。
将常规顺序ISP流程中的色调映射步骤设为是使用如式1所示的映射函数实现，以此匹配图像的特征曲线，基于此，使用式2，即式1的逆实现逆色调映射操作：
smoothstep(x)＝3x2-2x3 (1)
其中，smoothstep()表示映射函数，smoothstep-1()表示逆色调映射函数，x为正向ISP流程中色调映射操作的归一化输入图像，y为逆色调映射操作的归一化输入图像。
进一步地，在上述映射操作前，均需将输入图像做像素值归一化处理，即，将图像的像素值缩放到0-1之间。
步骤1.2：对步骤1.1中逆色调映射操作的输出结果，进行逆伽马压缩操作。
由于人眼对图像黑暗区域的渐变会更加敏感，因此，常规顺序ISP流程中得到伽玛压缩通常用于将更多动态范围的比特分配给低强度像素。通常该操作使用如式3所示的标准伽马曲线，同时，用一个极小量∈＝10-8对伽马曲线的输入做截断处理，以防止后续训练期间数值的不稳定。基于此，使用式4，即式3的逆近似实现逆伽马压缩操作(由于参数∈的存在，伽马压缩的逆实现为近似实现)。
Γ(x′)＝max(x′，∈)1/2.2 (3)
Γ-1(y′)＝max(y′，∈)2.2 (4)
其中，Γ()为伽马压缩操作，Γ-1()为逆伽马压缩操作，x′为正向ISP流程中伽马压缩操作的归一化输入图像，y′为逆伽马压缩操作的归一化输入图像，即上一个逆色调映射操作的输出(也就是步骤1.1中y经逆色调映射操作处理后的输出结果)。
步骤1.3：对步骤1.2中逆伽马压缩操作的输出结果y′，应用采样色彩校正矩阵(CCM)的逆来撤销颜色校正效果，使sRGB图像复原为相机空间RGB图像，进行逆色彩校正操作。
步骤1.4：对数字和白平衡的逆增益进行采样，用采样结果对步骤1.3得到的逆色彩校正操作的输出结果的每个通道进行逆增益，复原白平衡算法在ISP流程中对于图像光照情况的影响，进行逆白平衡操作。
具体地，为了正确处理饱和图像的强度，对步骤1.3得到的输出结果，使用式5和式6进行逆白平衡操作。此处，并非将逆增益1/g简单地通过乘性操作应用到某个图像强度Θ上，而是用一个高光保持变换f(Θ，g)，在保持高光的同时降低合成图像的强度Θ。
其中，α()表示高光保持因子，g为白平衡增益数值，t为增益阈值。例如，对于阈值t＝0.9，当g≤1或Θ≤t时，高光保持变换f(Θ，g)是线性的。即，当Θ≤t时f(Θ，g)＝x/g；当g≤1时f(Θ，g)＝1，f(Θ，g)是连续可微的；但是，当g＞1和Θ＞t时，则为一个立方体变换。
步骤1.5：目标数据集遵循使用双线性插值执行去马赛克化的约定，对于步骤1.4输出的结果的每个像素均反转该过程。
传统相机传感器中的每个像素都由一个红色、绿色或蓝色滤光片覆盖，该滤光片以拜耳模式(如R-G-G-B)排列。根据拜耳滤波器模式，省略其三个颜色值中的两个，从而完整实现逆去马赛克操作。
当完成步骤1中各步骤操作后，即实现了对RGB图像的逆ISP的退化处理，使其得以转换为相机原始采集的RAW格式图像，从而排除了相机ISP处理时各种非线性操作的干扰。
步骤2：噪声注入。将真实噪声加性注入到未经处理的RAW图像中，以模拟在极低光环境下捕获的噪声图像。
相较于简单使用目前普遍采用的高斯噪声模型或异方差高斯噪声模型，本方法采用基于物理特性的噪声模型，以模拟复杂的真实噪声结构，从而获得更接近真实情况的合成极暗光图像。所述模型通过分析光子如何经历成像过程中电子、电压和数字等阶段，考虑到光子散粒噪声、读取噪声、条带模式噪声和量化噪声等多种噪声特性，分别通过泊松分布、长尾Tukey-lambda分布、高斯分布和均匀分布建模，结合参数标定，构建了噪声参数-***增益联合概率分布，得以准确表征真实的噪声结构，得到更加接近于真实噪声分布的仿真极暗光合成数据。
具体地，根据式7对干净的RAW格式正常光图像数据D的线性注入噪声模型，具体如下：
D＝KI+N (7)
其中，I表示光子数量，K表示***增益，N表示噪声模型。
步骤3：输入干净正常光物体检测数据集，使用步骤1设计的逆ISP退化处理操作和步骤2建立的物理噪声加性模型，仿真生成带噪的极暗光图像。如图2所示。
可沿用正常光物体检测数据集的所有标注数据资源，如物体坐标框、标签等，构建RAW格式真实合成极暗光物体检测数据集。
构建真实合成数据集过程，无需采集带噪的极暗光图像，亦无需进行后期手动物体标注工作，显著节省构建极暗光物体检测数据集所用的采集图像资源与人力资源。
步骤4：如图3训练阶段流程所示，结合步骤3的真实合成数据管线，选定基础物体检测卷积神经网络，如图4所示，建立双分支极暗光物体检测网络及其训练目标函数，提升网络在信息有限的极暗光图像上的特征提取增强能力和分类回归精度，并进行特征计算及预测，输出目标的类别信息和位置信息。
其中，所述极暗光物体检测网络的训练目标函数Losstotal为：
式8中，λLRM、λcla、λloc均为获取的损失函数平衡权重，
表示极暗光物体检测网络负责特征提取与增强的损失函数，
表示极暗光物体检测网络负责预测目标类别信息的损失函数，
表示极暗光物体检测网络负责预测目标位置信息的损失函数。
步骤5：输入要测试的极暗光图像，利用步骤4建立的双分支极暗光物体检测网络及其训练目标函数，从真实极暗光带噪图像中检测框选目标类别物体，从而实现高效率和高精度极暗光物体检测，提高检测质量。
具体地，由数据驱动的双分支端到端极暗光物体检测网络模型，分别针对暗光图像恢复和目标识别两个任务，利用多任务学习、主干网络共享、知识迁移等方式，使算法模型在训练学习阶段能够利用优化恢复后的图像隐藏场景信息与语义特征优化物体检测网络内部参数，并将两个任务中学习到的知识进行迁移共享。当模型算法训练完成后，只需要测试阶段的目标识别分支进行计算，即可直接得到极暗光物体检测结果，从而在完全不增加额外计算量与运行时间的基础上，大大提高在基础物体检测卷积神经网络在极暗光图像上的检测性能。
优选地，可以使用GPU完成步骤4网络的训练过程和步骤5极暗光图像的检测过程。可以利用cuDNN库加快卷积神经网络的运行速度。
实施例
为说明本发明的效果，本实施例将在实验条件相同的情况下对多种方法进行对比。
1.实验条件
本实验的硬件测试条件为：GPU为P40，显存24G。测试所用极暗光物体检测数据为经由相关领域专家手动标注的真实极暗光物体检测数据集。
2.实验结果
对比不同的极暗光物体检测方案，多角度、全方位验证本发明公开的检测方法的有效性。
表1对比极暗光物体检测方案
从表1的结果可以看出，本发明公开的方法可以基于现有物体检测网络能够达到非常好的检测效果，现有无论是直接检测还是两阶段“增强+检测”方案等对比方案，在各种暗度程度的真实极暗光图像上的AP指标均低于我们的方法。暗度程度主要通过改变相机的曝光时间和ISO参数，将暗光图像划分为×10、×20、×30、×40、×50、×100等6种不同的暗度程度等级，AP值主要基于置信度评判物体检测模型类别和位置信息的预测精度，是物体检测任务中广泛使用的模型评价指标。因此，本发明公开的方法在各种暗度程度的真实图像上都达到了更好的检测精度，优于其他方法。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于RAW图像的极暗光物体检测方法，其特征在于，包括以下步骤：
步骤1：对RGB格式图像进行退化处理，生成RAW格式图像；
步骤2：进行噪声注入；
建立物理噪声加性模型，将真实噪声加性注入到未经处理的RAW图像中，以模拟在极低光环境下捕获的噪声图像；
步骤3：输入干净正常光物体检测数据集，利用物理噪声加性模型，进行逆ISP退化处理，仿真生成带噪的极暗光图像数据；
步骤4：根据步骤3生成的数据集，选定基础物体检测卷积神经网络，建立双分支极暗光物体检测网络及其训练目标函数，提升网络在信息有限的极暗光图像上的特征提取增强能力和分类回归精度，并进行特征计算及预测，输出目标的类别信息和位置信息；
步骤5：输入要测试的极暗光图像，利用步骤4建立的双分支极暗光物体检测网络及其训练目标函数，从真实极暗光带噪图像中检测框选目标类别物体。
2.如权利要求1所述的一种基于RAW图像的极暗光物体检测方法，其特征在于，步骤1所述退化处理操作包括：逆色调映射、逆伽马压缩、拟色彩校正、逆白平衡和逆去马赛克。
3.如权利要求2所述的一种基于RAW图像的极暗光物体检测方法，其特征在于，退化处理操作的具体实现方法如下：
步骤1.1：对于输入的sRGB图像，首先进行逆色调映射操作；
设色调映射是用一个平滑步长曲线执行的，并且在生成合成数据时使用该曲线的逆；
将常规顺序ISP流程中的色调映射步骤设为使用如式1所示的映射函数实现，以此匹配图像的特征曲线，基于此，使用式2，即式1的逆实现逆色调映射操作：
smoothstep(x)＝3x2-2x3 (1)
其中，smoothstep()表示映射函数，smoothstep-1()表示逆色调映射函数，x为正向ISP流程中色调映射操作的归一化输入图像，y为逆色调映射操作的归一化输入图像；
步骤1.2：对步骤1.1中逆色调映射操作的输出结果，进行逆伽马压缩操作；
使用如式3所示的标准伽马曲线，同时，用一个极小量∈＝10-8对伽马曲线的输入做截断处理，使用式4，即式3的逆近似实现逆伽马压缩操作：
Γ(x′)＝max(x′,∈)1/2.2 (3)
Γ-1(y′)＝max(y′,∈)2.2 (4)
其中，Γ()为伽马压缩操作，Γ-1()为逆伽马压缩操作，x′为正向ISP流程中伽马压缩操作的归一化输入图像，y′为逆伽马压缩操作的归一化输入图像，即上一个逆色调映射操作的输出；
步骤1.3：对步骤1.2中逆伽马压缩操作的输出结果y′，应用采样色彩校正矩阵的逆来撤销颜色校正效果，使sRGB图像复原为相机空间RGB图像，进行逆色彩校正操作；
步骤1.4：对数字和白平衡的逆增益进行采样，用采样结果对步骤1.3得到的逆色彩校正操作的输出结果的每个通道进行逆增益，复原白平衡算法在ISP流程中对于图像光照情况的影响，进行逆白平衡操作；
步骤1.5：目标数据集遵循使用双线性插值执行去马赛克化的约定，对于步骤1.4输出的结果的每个像素均反转该过程。
4.如权利要求3所述的一种基于RAW图像的极暗光物体检测方法，其特征在于，在步骤1.1映射操作之前，将输入图像做像素值归一化处理，即，将图像的像素值缩放到0-1之间。
5.如权利要求3所述的一种基于RAW图像的极暗光物体检测方法，其特征在于，步骤1.4中，为正确处理饱和图像的强度，对步骤1.3得到的输出结果，使用式5和式6进行逆白平衡操作；此处用一个高光保持变换f(Θ,g)，在保持高光的同时降低合成图像的强度Θ：
其中，α()表示高光保持因子，g为白平衡增益数值，t为增益阈值；即，当Θ≤t时f(Θ,g)＝x/g；当g≤1时f(Θ,g)＝1，f(Θ,g)是连续可微的；但是，当g>1和Θ>t时，则为一个立方体变换。
6.如权利要求1所述的一种基于RAW图像的极暗光物体检测方法，其特征在于，步骤2中，采用基于物理特性的噪声模型，以模拟复杂的真实噪声结构；
所述模型通过泊松分布、长尾Tukey-lambda分布、高斯分布和均匀分布建模，结合参数标定，构建噪声参数-***增益联合概率分布，准确表征真实的噪声结构，得到更加接近于真实噪声分布的仿真极暗光合成数据；
根据式7，对干净的RAW格式正常光图像数据D的线性注入噪声模型，具体如下：
D＝KI+N (7)
其中，I表示光子数量，K表示***增益，N表示噪声模型。
7.如权利要求1所述的一种基于RAW图像的极暗光物体检测方法，其特征在于，步骤3中，沿用正常光物体检测数据集的所有标注数据资源，构建RAW格式真实合成极暗光物体检测数据集。
8.如权利要求1所述的一种基于RAW图像的极暗光物体检测方法，其特征在于，步骤4中，所述极暗光物体检测网络的训练目标函数Losstotal为：
其中，λLRM、λcla、λloc均为获取的损失函数平衡权重，
表示极暗光物体检测网络负责特征提取与增强的损失函数，
表示极暗光物体检测网络负责预测目标类别信息的损失函数，
表示极暗光物体检测网络负责预测目标位置信息的损失函数。
9.如权利要求1所述的一种基于RAW图像的极暗光物体检测方法，其特征在于，使用GPU完成步骤4网络的训练过程和步骤5极暗光图像的检测过程。
10.如权利要求1所述的一种基于RAW图像的极暗光物体检测方法，其特征在于，利用cuDNN库加快卷积神经网络的运行速度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111294930.9A CN114022732B (zh) | 2021-11-03 | 2021-11-03 | 一种基于raw图像的极暗光物体检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111294930.9A CN114022732B (zh) | 2021-11-03 | 2021-11-03 | 一种基于raw图像的极暗光物体检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114022732A true CN114022732A (zh) | 2022-02-08 |
| CN114022732B CN114022732B (zh) | 2024-05-31 |
Family
ID=80060566
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111294930.9A Active CN114022732B (zh) | 2021-11-03 | 2021-11-03 | 一种基于raw图像的极暗光物体检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114022732B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114972100A (zh) * | 2022-06-02 | 2022-08-30 | Oppo广东移动通信有限公司 | 噪声模型的估计方法和装置、图像处理方法和装置 |
| CN115063434A (zh) * | 2022-05-12 | 2022-09-16 | 北京理工大学 | 一种基于特征去噪的低弱光图像实例分割方法及*** |
| CN115082357A (zh) * | 2022-07-20 | 2022-09-20 | 深圳思谋信息科技有限公司 | 视频去噪数据集生成方法、装置、计算机设备和存储介质 |
| CN116402724A (zh) * | 2023-06-08 | 2023-07-07 | 江苏游隼微电子有限公司 | 一种ryb格式的raw图像色彩还原方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090297056A1 (en) * | 2008-05-28 | 2009-12-03 | Micron Technology, Inc. | Method and apparatus for extended depth-of-field image restoration |
| CN111080555A (zh) * | 2019-12-22 | 2020-04-28 | 北京理工大学 | 一种基于三维拟递归神经网络的高光谱图像降噪方法 |
| CN111161170A (zh) * | 2019-12-18 | 2020-05-15 | 江苏科技大学 | 一种用于目标识别的水下图像综合增强方法 |
| CN113159019A (zh) * | 2021-03-08 | 2021-07-23 | 北京理工大学 | 一种基于光流变换的暗光视频增强方法 |
-
2021
- 2021-11-03 CN CN202111294930.9A patent/CN114022732B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090297056A1 (en) * | 2008-05-28 | 2009-12-03 | Micron Technology, Inc. | Method and apparatus for extended depth-of-field image restoration |
| CN111161170A (zh) * | 2019-12-18 | 2020-05-15 | 江苏科技大学 | 一种用于目标识别的水下图像综合增强方法 |
| CN111080555A (zh) * | 2019-12-22 | 2020-04-28 | 北京理工大学 | 一种基于三维拟递归神经网络的高光谱图像降噪方法 |
| CN113159019A (zh) * | 2021-03-08 | 2021-07-23 | 北京理工大学 | 一种基于光流变换的暗光视频增强方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115063434A (zh) * | 2022-05-12 | 2022-09-16 | 北京理工大学 | 一种基于特征去噪的低弱光图像实例分割方法及*** |
| CN115063434B (zh) * | 2022-05-12 | 2024-06-04 | 北京理工大学 | 一种基于特征去噪的低弱光图像实例分割方法及*** |
| CN114972100A (zh) * | 2022-06-02 | 2022-08-30 | Oppo广东移动通信有限公司 | 噪声模型的估计方法和装置、图像处理方法和装置 |
| CN115082357A (zh) * | 2022-07-20 | 2022-09-20 | 深圳思谋信息科技有限公司 | 视频去噪数据集生成方法、装置、计算机设备和存储介质 |
| CN115082357B (zh) * | 2022-07-20 | 2022-11-25 | 深圳思谋信息科技有限公司 | 视频去噪数据集生成方法、装置、计算机设备和存储介质 |
| CN116402724A (zh) * | 2023-06-08 | 2023-07-07 | 江苏游隼微电子有限公司 | 一种ryb格式的raw图像色彩还原方法 |
| CN116402724B (zh) * | 2023-06-08 | 2023-08-11 | 江苏游隼微电子有限公司 | 一种ryb格式的raw图像色彩还原方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114022732B (zh) | 2024-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114022732B (zh) | 一种基于raw图像的极暗光物体检测方法 | |
| Brooks et al. | Unprocessing images for learned raw denoising | |
| Liang et al. | Cameranet: A two-stage framework for effective camera isp learning | |
| CN108229526B (zh) | 网络训练、图像处理方法、装置、存储介质和电子设备 | |
| CN111741211B (zh) | 图像显示方法和设备 | |
| Hou et al. | An efficient nonlocal variational method with application to underwater image restoration | |
| CN110276767A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN107657619B (zh) | 一种低照度林火图像分割方法 | |
| CN111079764B (zh) | 一种基于深度学习的低照度车牌图像识别方法及装置 | |
| CN110675328A (zh) | 基于条件生成对抗网络的低照度图像增强方法及装置 | |
| CN107292830B (zh) | 低照度图像增强及评价方法 | |
| CN113822830B (zh) | 基于深度感知增强的多曝光图像融合方法 | |
| CN111915525A (zh) | 基于改进深度可分离生成对抗网络的低照度图像增强方法 | |
| CN107392879B (zh) | 一种基于参考帧的低照度监控图像增强方法 | |
| WO2023086194A1 (en) | High dynamic range view synthesis from noisy raw images | |
| Fan et al. | Multiscale cross-connected dehazing network with scene depth fusion | |
| CN111985314B (zh) | 一种基于ViBe与改进LBP的烟雾检测方法 | |
| CN113409355A (zh) | 一种基于fpga的运动目标识别***及方法 | |
| CN116681636A (zh) | 基于卷积神经网络的轻量化红外与可见光图像融合方法 | |
| CN111428730A (zh) | 弱监督细粒度物体分类方法 | |
| CN110415816B (zh) | 一种基于迁移学习的皮肤病临床图像多分类方法 | |
| CN115358962B (zh) | 一种端到端视觉里程计方法及装置 | |
| CN111797694A (zh) | 一种车牌检测方法及装置 | |
| CN117011160A (zh) | 一种基于密集循环网络融合注意力机制的单图像去雨方法 | |
| CN115131340A (zh) | 一种电厂煤粉泄露识别方法、装置、设备及刻度存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |