CN110807740B - 一种面向监控场景车窗图像的图像增强方法与*** - Google Patents
一种面向监控场景车窗图像的图像增强方法与*** Download PDFInfo
- Publication number
- CN110807740B CN110807740B CN201910877750.XA CN201910877750A CN110807740B CN 110807740 B CN110807740 B CN 110807740B CN 201910877750 A CN201910877750 A CN 201910877750A CN 110807740 B CN110807740 B CN 110807740B
- Authority
- CN
- China
- Prior art keywords
- image
- vehicle
- content
- quality
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012544 monitoring process Methods 0.000 title claims abstract description 19
- 230000000007 visual effect Effects 0.000 claims abstract description 39
- 230000015556 catabolic process Effects 0.000 claims abstract description 22
- 238000006731 degradation reaction Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 17
- 230000007246 mechanism Effects 0.000 claims abstract description 9
- 238000005286 illumination Methods 0.000 claims abstract description 7
- 230000003042 antagnostic effect Effects 0.000 claims abstract description 3
- 230000008447 perception Effects 0.000 claims description 27
- 238000013507 mapping Methods 0.000 claims description 20
- 230000005012 migration Effects 0.000 claims description 10
- 238000013508 migration Methods 0.000 claims description 10
- 208000010415 Low Vision Diseases 0.000 claims description 5
- 230000002457 bidirectional effect Effects 0.000 claims description 4
- 230000006872 improvement Effects 0.000 claims description 3
- 238000005034 decoration Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 claims 2
- 239000000284 extract Substances 0.000 claims 2
- 125000004122 cyclic group Chemical class 0.000 claims 1
- 238000003384 imaging method Methods 0.000 claims 1
- 238000007689 inspection Methods 0.000 claims 1
- 230000011514 reflex Effects 0.000 claims 1
- 230000016776 visual perception Effects 0.000 claims 1
- 230000008901 benefit Effects 0.000 abstract description 4
- 230000002708 enhancing effect Effects 0.000 abstract description 3
- 238000002372 labelling Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了用于增强监控中车窗图像的图像增强方法与***，利用弱监督学习模型框架对交通监控场景中拍摄的存在高噪声，低光照与模糊等多种图像退化现象的车前窗图像的清晰度进行提升。本发明的优势在于：本发明利用基于对抗生成网络的弱监督学习框架解决了模型训练中采集与标注数据的瓶颈，并用同一模型恢复多种退化现象；设计了基于车辆再检索任务的内容保持机制，在提高图像视觉质量的同时保持与原图像的内容特征一致性。增强结果除提高车窗图片中车内场景对人类观察者的可视性外，同时在机器视觉上可提高车辆检索模型的性能。
Description
技术领域
本发明属于人工智能应用领域，具体涉及一种面向监控场景车窗图像的图像增强方法与***。
背景技术
车窗，作为车辆信息中最具有视觉辨识力部分，对车辆的重识别来说占据着非常重要的地位。特别是在一些案件中，肇事车辆会选择遮挡牌照来掩盖身份信息，更需要车窗来判断车辆内部装饰细节与人物状态。然而在固定监控摄像的客观拍摄条件影响下，车窗的清晰度往往不尽人意。具体而言，车窗图像中存在的退化现象因摄像头分辨率低、夜间光照昏暗、车辆运动过快产生模糊等情况呈现复杂糅合。这极大影响了图像的视觉可认知程度，因此，需要对监控场景中车窗图像进行增强以供进一步识别分析。
目前尚无专门针对这一具体而复杂问题的方法。而由于缺乏对齐的可用于强监督学习的清晰数据，现有可处理该问题的办法一部分为面向某一特定退化现象的传统基于先验假设优化的方法，另一部分为单纯基于生成对抗机制的深度学习方法。传统方法不能解决监控车窗图像中多种退化现象杂糅的复杂问题，而单纯基于简单生成对抗网络的方法由于结果生成过程中自由度过高，常出现生成图像内容的失真及各种瑕疵(artifacts)因而影响了后续对增强结果的识别。因此需要提出一种面向监控场景车窗图像的内容可保持的图像增强方法与***。
发明内容
本发明的目的是通过以下技术方案实现的。利用弱监督学习模型框架对交通监控场景中拍摄的存在高噪声，低光照与模糊等多种图像退化现象的车前窗图像的清晰度进行提升。
本发明针对监控摄像采集条件下车辆挡风玻璃图像存在的噪声、模糊、低光照及强反射等多种失真退化现象，本发明提出一种挡风玻璃图像的图像增强方法与***，提升车内目标的可见度与分辨率，利用车辆检索模型中的深度特征对图像进行语义描述约束，提高增强后图像在视觉识别任务中的性能表现。
根据本发明实施例的一个方面，提供了一种面向监控场景车窗图像的图像增强方法，包括：
通过弱监督学习框架对非配对的高清晰度与低清晰度车窗数据进行学习，利用同一模型实现对包括模糊、噪声、低光照在内的多种退化现象的图像增强；
其中，所述弱监督学习框架的生成器与对抗判别器基于生成对抗机制，学习源数据域与目标数据域的双向迁移映射，实现从低视觉质量的车窗图像输入产生出高视觉质量的图像增强结果；
所述弱监督学习框架的内容判别器基于车辆身份信息学习一个内容感知空间，在所述内容感知空间内对车窗图像加以三元组约束，保持增强后图像内容特征不发生变化。
根据本发明实施例的一个方面，提供了一种面向监控场景车窗图像的图像增强***，包括：
数据生成模块，基于区域候选框网络自动从车辆图像中提取车窗图像，构成无成对监督信息的数据集，将车窗图像与相应车辆ID链接存储使用；
图像增强网络，基于数据域迁移模块与内容感知判别器对低视觉质量的车窗图像对应的高清结果进行预测；
车辆检索模块，将预测得到的所述高清结果传递入车辆检索任务网络中，通过车辆检索性能的提升对车窗图像增强效果进行评价，并通过网络损失进行反馈。
本发明的优势在于：本发明从数据域之间的相互映射和内容一致性的角度重新定义了车窗图像增强问题，从为高层机器视觉任务服务的角度出发，提出了通过引入内容判别器来学习内容感知空间的内容保持机制，结合基于生成对抗网络的弱监督结构，整合成了一个更完整的车窗图像增强框架。本发明可以在学习低质量的车窗图像到高质量的车窗图像的映射关系的同时，保持复原前后的内容一致，从而为后续的分析识别任务提供更可靠的复原图像。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明的概念示意图；
图2示出了本发明的方法构成与流程图；
图3示出了本发明的弱监督学习框架流程图；
图4示出了本发明提出的内容表征空间示意图；
图5示出了本发明的提出的基于车窗图像增强网络的完整***示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明利用基于对抗生成网络的弱监督学习框架解决了模型训练中采集与标注数据的瓶颈，并用同一模型恢复多种退化现象；设计了基于车辆再检索任务的内容保持机制，在提高图像视觉质量的同时保持与原图像的内容特征一致性。增强结果除提高车窗图片中车内场景对人类观察者的可视性外，同时在机器视觉上可提高车辆检索模型的性能。
图1展示了本发明方法的概念示意图。本发明针对监控场景下包含多种复杂退化现象的低视觉质量图像提出了一种面向挡风玻璃车窗图像的图像增强方法。从监控视频图像中提取车窗图像，通过深度学习的生成模型，可以得到高视觉质量的清晰增强结果。增强结果将促进后续车内目标识别与车辆的检索跟踪。
图2展示了本发明的方法结构组成与流程图。如图2所示，方法由两部分组成：双向循环的生成-对抗数据域迁移通路与内容判别模块。数据迁移模块包括两个生成器，两个对抗判别器，两个生成器的目的是生成各自目标域的图像，两个对抗判别器的目标是学习两个域的判别关系。
两个生成器分别进行从低视觉质量图像到高视觉质量图像的映射和反向从高到低的映射，根据输入的不同，两个生成器将以不同次序串联成两个不同的自映射监督回路。
如图2所示，训练学习过程中，低视觉质量的车窗图像先输入生成器G，得到预测的增强结果，然后增强结果再通过生成器F，产生基于增强得到的高视觉质量图像的退化结果。G、F对训练数据中包含多种复合的退化现象进行统一的拟合学习与处理。
判别器DH对生成的增强结果进行是否属于真实高质量图像数据域的二分类判别。其学习目标在于将真实数据尽可能多判别为真，而将增强得到的生成结果分辨判别为假。
自映射监督通过比对原始输入与通过两个生成器后得到的预测恢复结果，计算循环一致损失，不需要引入额外的标注作为网络学习的监督信息。
如图3所示，弱监督学习框架包括两个生成器G、F与两个对抗判别器DH、DL；学习的流程如下：
S1、生成器G接收低视觉质量的车窗图像作为输入，基于历史训练结果与本次输入生成所需求的高视觉质量车窗图像，进行低清图像到高清图像的映射；
S2、生成器F基于高视觉质量的车窗图像输入产生相对应的含退化现象的低清车窗图像，进行反向映射；
S3、对抗判别器DH、DL分别对生成器G、F生成的高质量和低质量图像的真伪性进行判别，通过对真实图像与生成图像判断的类别概率形成对抗损失；
S4、将低视觉质量图片输入生成器G，产生的高视觉质量结果再输入生成器F，生成的对应的低清结果与原低视觉质量输入图片进行比对，形成循环自映射监督；
S5、将高视觉质量图片先输入生成器F，产生的结果再输入G，反向自映射监督。
S6、弱监督学习框架的内容判别器基于车辆身份信息学习一个内容感知空间，在所述内容感知空间内对车窗图像加以三元组约束，保持增强后图像内容特征不发生变化。
如图4所示，内容感知空间的目标是将所有同ID的车窗图像(在各种条件下，可能包含不同的噪声、模糊、黑暗等退化因素)聚合到一起，再把所有不同ID的车窗图像(可能看上去很相似)拉离开。
内容感知空间基于车窗图像归属ID的异同，通过三元组约束学习推断车窗图像区分性特征的表征；内容判别器基于数据迁移模块的生成结果，比对生成结果与原输入在内容感知空间中内容特征的距离；训练中通过距离阈值限制数据迁移模块生成结果的内容变化，联合自监督与对抗机制协同学习。
测试时，只基于生成器G，输入低视觉质量图像产生增强后的结果。
内容感知损失通过对锚点与正样例和负样例在感知空间中的距离分别加以阈值约束，在忽略退化因素的前提下，关注其具有身份辨识力的部分，将其紧紧地聚合在一起。
内容判别模块通过内容感知损失训练出良好的内容感知空间，通过在内容感知空间中加入约束可以帮助框架中的生成器更好地学习保持内容不变的能力。具体来说，本发明希望约束生成器生成的样本在内容感知空间的位置和原始样本在内容感知空间的位置尽可能的接近，但是不需要限制到完全一样的位置。
内容判别器的具体实现使用在车窗图像上关于车辆检索任务进行预训练过的VGG网络，训练时与数据域迁移模块一起通过自循环损失、数据域对抗损失与内容感知损失的联合损失进行微调(fine-tune)训练。
模型学习完毕后，使用时只需要提取预训练好的生成器G，将低视觉质量车窗图像输入即可通过映射得到高视觉质量的车窗图像增强结果。
如图5所示，完整的基于本发明方法的***包括前期的车窗图像提取部分、前述的图像增强网络方法部分、与后续可对接的车辆目标识别与检索任务部分。
车窗数据的提取为图像增强网络的训练服务，经由区域候选网络(RegionProposal Network)提取车窗的候选区域，再经由非最大化抑制操作获取车窗的四个关键角点。通过角点定位的区域进行仿射操作得到可供图像增强网络处理的车窗图像。
车窗图像经由前述的增强方法得到的高视觉质量结果可输送入车辆检索与车内目标识别任务模型，因其视觉质量的提高而改善其识别性能。
通过上述的方法和***，本发明利用弱监督学习模型框架对交通监控场景中拍摄的存在高噪声，低光照与模糊等多种图像退化现象的车前窗图像的清晰度进行提升。本发明利用基于对抗生成网络的弱监督学习框架解决了模型训练中采集与标注数据的瓶颈，并用同一模型恢复多种退化现象；设计了基于车辆再检索任务的内容保持机制，在提高图像视觉质量的同时保持与原图像的内容特征一致性。增强结果除提高车窗图片中车内场景对人类观察者的可视性外，同时在机器视觉上可提高车辆检索模型的性能。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (7)
1.一种面向监控场景车窗图像的图像增强方法，其特征在于，包括：
构建弱监督学习框架，对非配对的高清晰度与低清晰度车窗数据进行学习，实现对包括一种或多种退化现象的图像增强；
其中，所述弱监督学习框架的生成器与对抗判别器基于生成对抗机制，学习源数据域与目标数据域的双向迁移映射，实现从低视觉质量的车窗图像输入产生出高视觉质量的图像增强结果；
所述弱监督学习框架的内容判别器基于车辆身份信息学习一个内容感知空间，在所述内容感知空间内对车窗图像加以三元组约束，保持增强后图像内容特征不发生变化；
所述弱监督学习框架包括两个生成器G、F与两个对抗判别器DH、DL；
生成器G接收低视觉质量的车窗图像作为输入，基于历史训练结果与本次输入生成所需求的高视觉质量车窗图像，进行低清图像到高清图像的映射；
生成器F基于高视觉质量的车窗图像输入产生相对应的含退化现象的低清车窗图像，进行反向映射；
对抗判别器DH、DL分别对生成器G、F生成的高质量和低质量图像的真伪性进行判别，通过对真实图像与生成图像判断的类别概率形成对抗损失；
将低视觉质量图片输入生成器G，产生的高视觉质量结果再输入生成器F，生成的对应的低清结果与原低视觉质量输入图片进行比对，形成循环自映射监督；
将高视觉质量图片先输入生成器F，产生的结果再输入G，反向自映射监督；
所述内容判别器的训练，包括：根据车窗图像所属车辆身份不同构造正负样例，采用基于三元组的内容一致性损失进行训练，构造内容感知空间，限制生成的增强结果在内容感知空间内与原始输入距离，约束关键视觉内容特征不发生变化；
所述内容感知空间能够对图像内容特征进行合理表征，使得不同车辆身份的车窗图片在内容感知空间中满足三元组约束，身份相同的车窗图像内容特征相聚合，而不同身份的车窗图像内容特征在内容感知空间中拉开距离。
2.根据权利要求1所述的方法，其特征在于，
所述车窗图像输入为监控视角下前挡风玻璃图像，包含驾驶员、乘客及车辆内饰与年检标牌信息。
3.根据权利要求1所述的方法，其特征在于，
所述低视觉质量指一张图像包含以下一种或多种退化现象：运动模糊、光照不足、成像噪点、反射干扰、雾霾遮挡。
4.根据权利要求1所述的方法，其特征在于，
所述图像增强方法的评价框架包含两个方面：提升图像清晰度与主观视觉感知评价，以及增强关键视觉特征并提高机器视觉对图像识别效能。
5.根据权利要求1所述的方法，其特征在于，
所述弱监督学习框架的构建，包括：
采用循环生成对抗机制的网络结构，采用自映射损失约束双向映射；源域数据为监控条件下低视觉质量车窗图像，目标域数据为高分辨率无可见退化现象的清晰车窗图像。
6.根据权利要求5所述的方法，其特征在于，
所述源域数据基于区域候选框网络自动从车辆图像中提取车窗图像，采集自监控场景下车辆图像数据集；所述目标域数据采用单反相机自动对焦拍摄收集，与源域数据构成非配对的训练数据。
7.一种面向监控场景车窗图像的图像增强***，其特征在于，包括：
数据生成模块，基于区域候选框网络从车辆图像中提取车窗图像，构成无成对监督信息的数据集，将车窗图像与相应车辆ID链接存储使用；
图像增强网络，基于数据迁移模块与内容判别器对低视觉质量的车窗图像对应的高清结果进行预测；
车辆检索模块，将预测得到的所述高清结果传递入车辆检索任务网络中，通过车辆检索性能的提升对车窗图像增强效果进行评价，并通过网络损失进行反馈；
所述内容判别器基于车辆身份信息学习一个内容感知空间，在所述内容感知空间内对车窗图像加以三元组约束，保持增强后图像内容特征不发生变化；
所述数据迁移模块包括两个生成器G、F与两个对抗判别器DH、DL；
生成器G接收低视觉质量的车窗图像作为输入，基于历史训练结果与本次输入生成所需求的高视觉质量车窗图像，进行低清图像到高清图像的映射；
生成器F基于高视觉质量的车窗图像输入产生相对应的含退化现象的低清车窗图像，进行反向映射；
对抗判别器DH、DL分别对生成器G、F生成的高质量和低质量图像的真伪性进行判别，通过对真实图像与生成图像判断的类别概率形成对抗损失；
将低视觉质量图片输入生成器G，产生的高视觉质量结果再输入生成器F，生成的对应的低清结果与原低视觉质量输入图片进行比对，形成循环自映射监督；
将高视觉质量图片先输入生成器F，产生的结果再输入G，反向自映射监督；
所述内容判别器的训练，包括：根据车窗图像所属车辆身份不同构造正负样例，采用基于三元组的内容一致性损失进行训练，构造内容感知空间，限制生成的增强结果在内容感知空间内与原始输入距离，约束关键视觉内容特征不发生变化；
所述内容感知空间能够对图像内容特征进行合理表征，使得不同车辆身份的车窗图片在内容感知空间中满足三元组约束，身份相同的车窗图像内容特征相聚合，而不同身份的车窗图像内容特征在内容感知空间中拉开距离。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910877750.XA CN110807740B (zh) | 2019-09-17 | 2019-09-17 | 一种面向监控场景车窗图像的图像增强方法与*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910877750.XA CN110807740B (zh) | 2019-09-17 | 2019-09-17 | 一种面向监控场景车窗图像的图像增强方法与*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110807740A CN110807740A (zh) | 2020-02-18 |
| CN110807740B true CN110807740B (zh) | 2023-04-18 |
Family
ID=69487532
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910877750.XA Active CN110807740B (zh) | 2019-09-17 | 2019-09-17 | 一种面向监控场景车窗图像的图像增强方法与*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110807740B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111429379B (zh) * | 2020-04-01 | 2022-06-10 | 山东大学 | 一种基于自监督学习的低剂量ct图像去噪方法及*** |
| CN113628121B (zh) * | 2020-05-06 | 2023-11-14 | 阿里巴巴集团控股有限公司 | 数据处理、训练多媒体数据的方法和装置 |
| CN112200721B (zh) * | 2020-10-10 | 2021-11-09 | 广州云从人工智能技术有限公司 | 一种图像处理方法、***、设备及介质 |
| CN112606832A (zh) * | 2020-12-18 | 2021-04-06 | 芜湖雄狮汽车科技有限公司 | 一种车辆智能辅助视觉*** |
| CN113283444B (zh) * | 2021-03-30 | 2022-07-15 | 电子科技大学 | 一种基于生成对抗网络的异源图像迁移方法 |
| CN113449811B (zh) * | 2021-07-16 | 2022-05-13 | 桂林电子科技大学 | 一种基于ms-wsda的低照度目标检测方法 |
| CN113744169A (zh) * | 2021-09-07 | 2021-12-03 | 讯飞智元信息科技有限公司 | 图像增强方法、装置、电子设备和存储介质 |
| US11694307B2 (en) | 2022-02-28 | 2023-07-04 | Huajie ZENG | Image enhancement system and method based on generative adversarial network (GAN) model |
| CN114581325B (zh) * | 2022-02-28 | 2023-05-12 | 曾华杰 | 基于生成对抗模型的图像增强方法和图像增强*** |
| CN116758617B (zh) * | 2023-08-16 | 2023-11-10 | 四川信息职业技术学院 | 一种低光照度场景下的校园学生签到方法和校园签到*** |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109410129A (zh) * | 2018-09-28 | 2019-03-01 | 大连理工大学 | 一种低光照图像场景理解的方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10474929B2 (en) * | 2017-04-25 | 2019-11-12 | Nec Corporation | Cyclic generative adversarial network for unsupervised cross-domain image generation |
| CN107194872B (zh) * | 2017-05-02 | 2019-08-20 | 武汉大学 | 基于内容感知深度学习网络的遥感图像超分辨率重建方法 |
| CN108256439A (zh) * | 2017-12-26 | 2018-07-06 | 北京大学 | 一种基于循环生成式对抗网络的行人图像生成方法及*** |
| CN108985385A (zh) * | 2018-08-03 | 2018-12-11 | 厦门大学 | 基于生成对抗学习的快速弱监督目标检测方法 |
| CN110020996A (zh) * | 2019-03-18 | 2019-07-16 | 浙江传媒学院 | 一种基于先验知识约束的图像修复方法、***以及计算机设备 |
| CN110197517B (zh) * | 2019-06-11 | 2023-01-31 | 常熟理工学院 | 基于多域循环一致性对抗生成网络的sar图像上色方法 |
| CN110223259A (zh) * | 2019-06-14 | 2019-09-10 | 华北电力大学（保定） | 一种基于生成式对抗网络的道路交通模糊图像增强方法 |
-
2019
- 2019-09-17 CN CN201910877750.XA patent/CN110807740B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109410129A (zh) * | 2018-09-28 | 2019-03-01 | 大连理工大学 | 一种低光照图像场景理解的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 生成式对抗网络图像增强研究综述;马春光等;《信息网络安全》(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110807740A (zh) | 2020-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110807740B (zh) | 一种面向监控场景车窗图像的图像增强方法与*** | |
| Lin et al. | Smoke detection on video sequences using 3D convolutional neural networks | |
| CN104408482B (zh) | 一种高分辨率sar图像目标检测方法 | |
| CN110929593B (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
| CN109063667B (zh) | 一种基于场景的视频识别方式优化及推送方法 | |
| Temel et al. | Challenging environments for traffic sign detection: Reliability assessment under inclement conditions | |
| CN109460787A (zh) | 入侵检测模型建立方法、装置及数据处理设备 | |
| Su et al. | A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification | |
| CN114332911A (zh) | 一种头部姿态检测方法、装置及计算机设备 | |
| Malav et al. | DHSGAN: An end to end dehazing network for fog and smoke | |
| CN112069907A (zh) | 基于实例分割的x光机图像识别方法、装置及*** | |
| Cygert et al. | Style transfer for detecting vehicles with thermal camera | |
| Xue et al. | Nighttime pedestrian and vehicle detection based on a fast saliency and multifeature fusion algorithm for infrared images | |
| CN116664873B (zh) | 图像信息处理方法、装置及存储介质 | |
| CN113609980A (zh) | 一种用于自动驾驶车辆的车道线感知方法及装置 | |
| CN116580232A (zh) | 一种图像自动标注方法、***及电子设备 | |
| Huda et al. | Effects of pre-processing on the performance of transfer learning based person detection in thermal images | |
| Tao et al. | Universal foreground segmentation based on deep feature fusion network for multi-scene videos | |
| Zhao et al. | An Improved Method for Infrared Vehicle and Pedestrian Detection Based on YOLOv5s | |
| CN111402185A (zh) | 一种图像检测方法及装置 | |
| Chen et al. | Deep trident decomposition network for single license plate image glare removal | |
| CN110659384B (zh) | 视频结构化分析方法及装置 | |
| Ye et al. | LLOD: a object detection method under low-light condition by feature enhancement and fusion | |
| Dinakaran et al. | Image resolution impact analysis on pedestrian detection in smart cities surveillance | |
| Babu et al. | Development and performance evaluation of enhanced image dehazing method using deep learning networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |