CN112365429B - 一种知识驱动的图像模糊区域清晰度增强方法 - Google Patents
一种知识驱动的图像模糊区域清晰度增强方法 Download PDFInfo
- Publication number
- CN112365429B CN112365429B CN202011517771.XA CN202011517771A CN112365429B CN 112365429 B CN112365429 B CN 112365429B CN 202011517771 A CN202011517771 A CN 202011517771A CN 112365429 B CN112365429 B CN 112365429B
- Authority
- CN
- China
- Prior art keywords
- target
- knowledge
- gan network
- network model
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 239000013598 vector Substances 0.000 claims abstract description 33
- 230000002708 enhancing effect Effects 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 13
- 230000007704 transition Effects 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 4
- 241001122767 Theaceae Species 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种知识驱动的图像模糊区域清晰度增强方法，本方法首先利用输入图像对应的GAN网络模型进行多次探测目标位置及类型及目标区域纹理细节增强，直至多次识别目标保持一致，本步骤识别的目标记为A。然后基于知识图谱联想关联实体，联想得到目标A的关联实体Bi，并记录目标A与关联实体Bi的关联值Wi。最后调取关联实体的独立GAN网络模型，N个独立GAN网络模型生成N个特征向量，将N个特征向量合并后，再次输入共存GAN网络模型，共存GAN网络模型输出增强的目标区域。本发明根据已知背景参考对象的纹理特征，从而增加图像模糊区域的清晰度。
Description
技术领域
本发明涉及一种知识驱动的图像模糊区域清晰度增强方法，属于机器学习与图像处理领域。
背景技术
基于深度学习的视频图像目标识别技术已得到了广泛应用，它们经常是基于视频图像这类稀疏数据源进行目标识别。我们也经常遇到另一类问题，即某一目标在环境干扰等原因在图像中成像模糊，在自动识别目标后，无法人工确认目标的真实性。这时需要增强目标区域的清晰度，以用于二次识别或者人工辨认。
发明内容
本发明要解决的技术问题是提供一种知识驱动的图像模糊区域清晰度增强方法，根据知识图谱将将经验知识融入视频图像模糊区域纹理增强过程，可根据已知背景参考对象的纹理特征，对目标的纹理进行增强显示或风格迁移，从而增加图像模糊区域的清晰度。
为了解决所述技术问题，本发明采用的技术方案是：一种知识驱动的图像模糊区域清晰度增强方法，包括以下步骤：
S01）、初步确定目标类别，获取输入图像，根据输入图像类型，获取该输入图像对应的GAN网络模型，GAN网络模型探测输入图像中目标位置及类型，然后进行第一次的目标区域纹理细节增强，第一次目标区域细节增强后再次进行探测目标位置及类型，并且再次利用GAN网络模型增强目标区域纹理细节，直至与上次识别保持一致，本步骤识别的目标记为A；
S02）、基于知识图谱联想关联实体，基于步骤S01）识别的目标A，调取与目标A相关的知识图谱，通过知识图谱上的知识关联关系联想到目标A的关联实体Bi，1≤i≤N，N为联想到的关联实体的总数，并记录目标A与关联实体Bi的关联值Wi；
S03）、调取N个关联实体的独立GAN网络模型，N个独立GAN 网络模型生成N个特征向量，将N个特征向量合并后，再次输入共存GAN网络模型，共存GAN网络模型输出增强的目标区域。
进一步的，N个特征向量的合并方式为：特征向量乘以转移概率权重，然后再拼接或叠加成统一的向量，转移概率权重为目标A与关联实体的关联值。
进一步的，N个特征向量的合并方式为：
，Y为合并后的向量，Yi为第i个关联实体Bi对应的独立GAN网络模型生成的特征向量，Wi为目标A与关联实体Bi的关联值。
进一步的，N个独立GAN网络模型的输入为掩膜图像，掩膜图像是指步骤S01识别的目标区域的注意力激活图缩放至与原始输入图像相同尺寸后，对原始输入图像以增加数据通道方式扩展集成而形成的图像，增加的数据通道为目标区域注意力激活图的通道。由于激活图代表在目标识别时的注意力关注区域，利用包括该信息的掩膜图像有助于独立GAN网络生成与目标区域关联度高的特征向量。
进一步的，独立GAN网络模型的训练方法为：对同一目标取不同清晰度图片，以人工判断最为清晰的照片为判别模型基准训练。
进一步的，共存GAN网络模型的训练方法为：取在知识图谱上有关联的、不同目标的、非清晰图片的特征为输入值，将不同目标的非清晰图片的特征合并成中间特征向量后输入共存GAN网络，以目标的清晰图片为判别模型基准训练。
进一步的，不同目标的非清晰图片的特征合并成中间特征向量的方式：不同目标的非清晰图片的特征乘以对应的转移概率权重，然后再拼接或叠加成中间特征向量，转移概率权重为不同目标在知识图谱上与上一级目标的关联值。
本发明的有益效果：本发明根据知识图谱将将经验知识融入视频图像模糊区域纹理增强过程，可根据已知背景参考对象的纹理特征，对目标的纹理进行增强显示或风格迁移，从而增加图像模糊区域的清晰度。
附图说明
图1为实施例1的流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的说明。
实施例1
本实施例公开一种知识驱动的图像模糊区域清晰度增强方法，如图1所示，包括以下步骤：
S01）、初步确定目标类别，获取输入图像，根据输入图像类型，获取该输入图像对应的GAN网络模型，GAN网络模型探测输入图像中目标位置及类型，然后进行第一次的目标区域纹理细节增强，第一次目标区域细节增强后再次进行探测目标位置及类型，并且再次利用GAN网络模型增强目标区域纹理细节，直至与上次识别保持一致，本步骤识别的目标记为A。
S02）、基于知识图谱联想关联实体，基于步骤S01）识别的目标A，调取与目标A相关的知识图谱，通过知识图谱上的知识关联关系联想到目标A的关联实体Bi，1≤i≤N，N为联想到的关联实体的总数，并记录目标A与关联实体Bi的关联值Wi。
本实施例中，通过知识图谱上的知识关联关系联想到目标A的关联实体Bi的过程为：确定目标A的父节点，直接取得父节点下的N个子节点，N个子节点就是目标A的关联实体Bi，并且记录父节点下N个子节点与目标A的关联值，即Bi出现时A出现的概率。
S03）、调取N个关联实体的独立GAN网络模型，N个独立GAN 网络模型生成N个特征向量，将N个特征向量合并后，再次输入共存GAN网络模型，共存GAN网络模型输出增强的目标区域。
本实施例中，N个特征向量的合并方式为：特征向量乘以转移概率权重，然后再拼接或叠加成统一的向量，转移概率权重为目标A与关联实体的关联值。
N个特征向量加权叠加的合并方式用数学式为：
，Y为合并后的向量，Yi为第i个关联实体Bi对应的独立GAN网络模型生成的特征向量，Wi为目标A与关联实体Bi的关联值。
本实施例中，N个独立GAN网络模型的输入为掩膜图像，掩膜图像是指步骤S01识别的目标区域的注意力激活图缩放至与原始输入图像相同尺寸后，对原始输入图像以增加数据通道方式扩展集成而形成的图像，增加的数据通道为目标区域注意力激活图的通道。如原RGB图像的通道数为红绿蓝3个通道，激活图为透明度即1个通道，则合并通道后掩膜图像具有 “红绿蓝+透明度”4个通道。由于激活图代表在目标识别时的注意力关注区域，利用包括该信息的掩膜图像有助于独立GAN网络生成与目标区域关联度高的特征向量。
本实施例中，独立GAN网络模型的训练方法为：对同一目标取不同清晰度图片，以人工判断最为清晰的照片为判别模型基准训练。
共存GAN网络模型的训练方法为：取在知识图谱上有关联的、不同目标的、非清晰图片的特征为输入值，将不同目标的非清晰图片的特征合并成中间特征向量后输入共存GAN网络，以目标的清晰图片为判别模型基准训练。
其中不同目标的非清晰图片的特征合并成中间特征向量的方式为：不同目标的非清晰图片的特征乘以对应的转移概率权重，然后再拼接或叠加成中间特征向量，转移概率权重为不同目标在知识图谱上与上一级目标的关联值。
本发明根据知识图谱将将经验知识融入视频图像模糊区域纹理增强过程，比如茶杯与杯盖在图像纹理上一般存在近似关系，如果茶杯的纹理清楚，我们可以根据预训练模型将茶杯纹理特征或风格迁移至成像不清晰的杯盖上。可根据已知背景参考对象的纹理特征，对目标的纹理进行增强显示或风格迁移，从而增加图像模糊区域的清晰度。
以上描述的仅是本发明的基本原理和优选实施例，本领域技术人员根据本发明做出的改进和替换，属于本发明的保护范围。
Claims (7)
1.一种知识驱动的图像模糊区域清晰度增强方法，其特征在于：包括以下步骤：
S01）、初步确定目标类别，获取输入图像，根据输入图像类型，获取该输入图像对应的GAN网络模型，GAN网络模型探测输入图像中目标位置及类型，然后进行第一次的目标区域纹理细节增强，第一次目标区域细节增强后再次进行探测目标位置及类型，并且再次利用GAN网络模型增强目标区域纹理细节，直至与上次识别保持一致，本步骤识别的目标记为A；
S02）、基于知识图谱联想关联实体，基于步骤S01）识别的目标A，调取与目标A相关的知识图谱，通过知识图谱上的知识关联关系联想到目标A的关联实体Bi，1≤i≤N，N为联想到的关联实体的总数，并记录目标A与关联实体Bi的关联值Wi；
S03）、调取N个关联实体的独立GAN网络模型，N个独立GAN 网络模型生成N个特征向量，将N个特征向量合并后，输入共存GAN网络模型，共存GAN网络模型输出增强的目标区域。
2.根据权利要求1所述的知识驱动的图像模糊区域清晰度增强方法，其特征在于：N个特征向量的合并方式为：特征向量乘以转移概率权重，然后再拼接或叠加成统一的向量，转移概率权重为目标A与关联实体的关联值。
3.根据权利要求2所述的知识驱动的图像模糊区域清晰度增强方法，其特征在于：N个特征向量加权叠加的合并方式为：
，Y为合并后的向量，Yi为第i个关联实体Bi对应的独立GAN网络模型生成的特征向量，Wi为目标A与关联实体Bi的关联值。
4.根据权利要求1所述的知识驱动的图像模糊区域清晰度增强方法，其特征在于：N个独立GAN网络模型的输入为掩膜图像，掩膜图像是指步骤S01识别的目标区域的注意力激活图缩放至与原始输入图像相同尺寸后，对原始输入图像以增加数据通道方式扩展集成而形成的图像，增加的数据通道为目标区域注意力激活图的通道。
5.根据权利要求1所述的知识驱动的图像模糊区域清晰度增强方法，其特征在于：独立GAN网络模型的训练方法为：对同一目标取不同清晰度图片，以人工判断最为清晰的照片为判别模型基准训练。
6.根据权利要求1所述的知识驱动的图像模糊区域清晰度增强方法，其特征在于：共存GAN网络模型的训练方法为：取在知识图谱上有关联的、不同目标的、非清晰图片的特征为输入值，将不同目标的非清晰图片的特征合并成中间特征向量后输入共存GAN网络，以目标的清晰图片为判别模型基准训练。
7.根据权利要求6所述的知识驱动的图像模糊区域清晰度增强方法，其特征在于：不同目标的非清晰图片的特征合并成中间特征向量的方式：不同目标的非清晰图片的特征乘以对应的转移概率权重，然后再拼接或叠加成中间特征向量，转移概率权重为不同目标在知识图谱上与上一级目标的关联值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011517771.XA CN112365429B (zh) | 2020-12-21 | 2020-12-21 | 一种知识驱动的图像模糊区域清晰度增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011517771.XA CN112365429B (zh) | 2020-12-21 | 2020-12-21 | 一种知识驱动的图像模糊区域清晰度增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112365429A CN112365429A (zh) | 2021-02-12 |
| CN112365429B true CN112365429B (zh) | 2022-07-22 |
Family
ID=74534633
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011517771.XA Active CN112365429B (zh) | 2020-12-21 | 2020-12-21 | 一种知识驱动的图像模糊区域清晰度增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112365429B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112966617B (zh) * | 2021-03-11 | 2022-10-21 | 北京三快在线科技有限公司 | 摆盘图像的生成方法、图像生成模型的训练方法及装置 |
| CN113822194A (zh) * | 2021-09-22 | 2021-12-21 | 华能国际电力股份有限公司上海石洞口第二电厂 | 一种火电厂作业个人防护用品的智能监测方法及设备 |
| CN118247583A (zh) * | 2024-05-28 | 2024-06-25 | 杭州像素元科技有限公司 | 一种高速夜间图像清晰度增强模型的构建方法及构建装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111538835A (zh) * | 2020-03-30 | 2020-08-14 | 东南大学 | 一种基于知识图谱的社交媒体情感分类方法与装置 |
| CN111858955A (zh) * | 2020-07-01 | 2020-10-30 | 石家庄铁路职业技术学院 | 基于加密联邦学习的知识图谱表示学习增强方法和装置 |
| CN112100380A (zh) * | 2020-09-16 | 2020-12-18 | 浙江大学 | 一种基于知识图谱的生成式零样本预测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020213750A1 (ko) * | 2019-04-16 | 2020-10-22 | 엘지전자 주식회사 | 객체를 인식하는 인공 지능 장치 및 그 방법 |
-
2020
- 2020-12-21 CN CN202011517771.XA patent/CN112365429B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111538835A (zh) * | 2020-03-30 | 2020-08-14 | 东南大学 | 一种基于知识图谱的社交媒体情感分类方法与装置 |
| CN111858955A (zh) * | 2020-07-01 | 2020-10-30 | 石家庄铁路职业技术学院 | 基于加密联邦学习的知识图谱表示学习增强方法和装置 |
| CN112100380A (zh) * | 2020-09-16 | 2020-12-18 | 浙江大学 | 一种基于知识图谱的生成式零样本预测方法 |
Non-Patent Citations (2)
| Title |
|---|
| KBGAN: Adversarial Learning for Knowledge Graph Embeddings;Liwei Cai,et al;《arxiv》;20180416;全文 * |
| 知识图谱分布式表示研究;韩笑;《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》;20190815;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112365429A (zh) | 2021-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112365429B (zh) | 一种知识驱动的图像模糊区域清晰度增强方法 | |
| US11882357B2 (en) | Image display method and device | |
| Matern et al. | Exploiting visual artifacts to expose deepfakes and face manipulations | |
| US20210004962A1 (en) | Generating effects on images using disparity guided salient object detection | |
| US8692830B2 (en) | Automatic avatar creation | |
| JP5229575B2 (ja) | 画像処理装置および方法、並びにプログラム | |
| CN111667400B (zh) | 一种基于无监督学习的人脸轮廓特征风格化生成方法 | |
| JP2010055194A (ja) | 画像処理装置および方法、学習装置および方法、並びにプログラム | |
| US8254690B2 (en) | Information processing apparatus, information processing method, and program | |
| CN111985281B (zh) | 图像生成模型的生成方法、装置及图像生成方法、装置 | |
| US8774519B2 (en) | Landmark detection in digital images | |
| CN110348358B (zh) | 一种肤色检测***、方法、介质和计算设备 | |
| CN116453232A (zh) | 人脸活体检测方法、人脸活体检测模型的训练方法和装置 | |
| CN110827373A (zh) | 广告图片生成方法、装置以及存储介质 | |
| JP2021189527A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN117058606A (zh) | 一种x射线图像违禁品检测方法 | |
| CN112651410A (zh) | 用于鉴别的模型的训练、鉴别方法、***、设备及介质 | |
| CN115761389A (zh) | 图像样本的增广方法、装置、电子设备及存储介质 | |
| CN112084371A (zh) | 一种电影多标签分类方法、装置、电子设备以及存储介质 | |
| Rao et al. | Differentiating digital image forensics and tampering localization by a novel hybrid approach | |
| Amrutha et al. | Blur type inconsistency based image tampering detection | |
| Gordan et al. | Pseudoautomatic lip contour detection based on edge direction patterns | |
| CN117094986B (zh) | 基于小样本的自适应缺陷检测方法及终端设备 | |
| US11995153B2 (en) | Information processing apparatus, information processing method, and storage medium | |
| CN111950565B (zh) | 基于特征融合和朴素贝叶斯的抽象画图像方向识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |