CN112634174B - 一种图像表示学习方法及*** - Google Patents
一种图像表示学习方法及*** Download PDFInfo
- Publication number
- CN112634174B CN112634174B CN202011632703.8A CN202011632703A CN112634174B CN 112634174 B CN112634174 B CN 112634174B CN 202011632703 A CN202011632703 A CN 202011632703A CN 112634174 B CN112634174 B CN 112634174B
- Authority
- CN
- China
- Prior art keywords
- image
- frame
- enhanced
- encoder
- representation learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 238000013135 deep learning Methods 0.000 claims description 19
- 239000000284 extract Substances 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 8
- 230000011218 segmentation Effects 0.000 abstract description 6
- 238000004891 communication Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 239000007787 solid Substances 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000003068 static effect Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013178 mathematical model Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000003990 capacitor Substances 0.000 description 2
- 230000001364 causal effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004379 similarity theory Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像表示学习方法及***。图像表示学习方法包括：增强图像获取步骤：获取原始图像的增强图像；特征映射获取步骤：通过编码器获取所述增强图像的特征映射；预测步骤：使用框回归网络预测所述增强图像的边框，并获取预测边框；计算步骤：计算真实边框与所述预测边框的最终损失，根据所述最终损失更新所述框回归网络及所述编码器。本发明提出一种图像表示学习方法及***，本发明通过使用框回归的训练方法，提高了模型的表达能力，使模型获取更多的位置信息。对原始图片使用了两种增强方式，增强了模型的鲁棒性，能够更好的抑制噪声的同时，提高了对检测、分割任务的准确率。
Description
技术领域
本申请涉及图像表示技术领域，尤其涉及一种图像表示学习方法及***。
背景技术
深度学习在优化特定任务时，无论是分类，检测，还是分割，一般会先加载在imagenet上分类的预训练模型，然后迁移到下游任务中去，但是这种训练模式模糊了位置信息。除了在imagenet上分类的预训练模型，目前无监督的方法也被广泛研究，通过对比学习的方法来提升预训练模型的表达能力。本文提出另外一种提升表达能力的方法，在imagenet数据集上使用框回归的方法来学习表达能力，分类任务模糊了位置信息，框回归可以学习到更多的位置信息，有利于下游的对于位置信息较为敏感的任务。
因此，针对以上现状，本发明提出一种图像表示学习方法及***，本发明通过使用框回归而不是分类的训练方法，提高了模型的表达能力，特别是提高了模型对位置、细节的敏感度，使模型获取更多的位置信息。对原始图片使用了两种增强方式，分别回归框，损失函数为两者叠加，增强了模型的鲁棒性，能够更好的抑制噪声的同时，提高了对检测、分割任务的准确率。
发明内容
本申请实施例提供了一种图像表示学习方法及***，以至少解决相关技术中主观因素影响的问题。
本发明提供了一种图像表示学习方法，包括：
增强图像获取步骤：获取原始图像的增强图像；
特征映射获取步骤：通过编码器获取所述增强图像的特征映射；
预测步骤：使用框回归网络预测所述增强图像的边框，并获取预测边框；
计算步骤：计算真实边框与所述预测边框的最终损失，根据所述最终损失更新所述框回归网络及所述编码器。
上述的图像表示学习方法，所述增强图像获取步骤包括，对于每个所述原始图像，使用数据增强的方法，获取所述原始图像的至少两个所述增强图像。
上述的图像表示学习方法，所述特征映射获取步骤包括，使用深度学习特征，提取主干网络和多层感知器共同组成的所述编码器，并根据所述编码器获取所述特征映射。
上述的图像表示学习方法，所述预测步骤包括，使用所述框回归网络预测每一个所述增强图像的所述边框，并获取所述预测边框。
上述的图像表示学习方法，所述计算步骤包括，使用交并比损失分别计算所述原始图像的所述真实边框与每一个所述增强图像的所述预测边框的所述损失，将至少两个所述损失相加后获得最终损失，根据所述最终损失反向传播更新所述编码器与所述框回归网络。
本发明提供图像表示学习***，其特征在于，适用于上述所述的图像表示学习方法，所述图像表示学习***包括：
增强图像获取单元：获取原始图像的增强图像；
特征映射获取单元：通过编码器获取所述增强图像的特征映射；
预测单元：使用框回归网络预测所述增强图像的边框，获取预测边框；
计算单元：计算真实边框与所述预测边框的最终损失，根据所述最终损失更新所述框回归网络及所述编码器。
上述的图像表示学习***，对于每个所述原始图像，所述增强图像获取单元使用数据增强的方法，获取所述原始图像的至少两个所述增强图像。
上述的图像表示学习***，所述特征映射获取单元使用深度学习特征，提取主干网络和多层感知器共同组成的所述编码器，并根据所述编码器获取所述特征映射。
上述的图像表示学习***，所述预测单元使用所述框回归网络预测每一个所述增强图像的所述边框后，并获取所述预测边框。
上述的图像表示学习***，所述计算单元使用交并比损失分别计算所述原始图像的所述真实边框与每一个所述增强图像的所述预测边框的所述损失，将至少两个所述损失相加后获得最终损失，根据所述最终损失反向传播更新所述编码器与所述框回归网络。
相比于相关技术，本发明提出一种图像表示学习方法及***，本发明通过使用框回归而不是分类的训练方法，提高了模型的表达能力，特别是提高了模型对位置、细节的敏感度，使模型获取更多的位置信息。对原始图片使用了两种增强方式，分别回归框，损失函数为两者叠加，增强了模型的鲁棒性，能够更好的抑制噪声的同时，提高了对检测、分割任务的准确率。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的图像表示学习方法流程图；
图2是根据本申请实施例的应用流程图；
图3为本发明的图像表示学习***的结构示意图；
图4是根据本申请实施例的电子设备的框架图。
其中，附图标记为：
增强图像获取单元：51；
特征映射获取单元：52；
预测单元：53；
计算单元：54；
81：处理器；
82：存储器；
83：通信接口；
80：总线。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本发明基于框回归的图像表示学习，下面进行简要的介绍。
深度学习是一类机器学习算法：使用多个层逐步从原始输入中逐步提取更高级别的特征。例如，在图像处理中，较低层可以识别边缘，而较高层可以识别对人类有意义的部分，例如数字/字母或面部。大多数现代的深度学习模型基于人工神经网络，特别是卷积神经网络(CNN)，尽管它们也可以包括命题公式或在深度生成模型中逐层组织的潜变量，例如深度信念网络和深度玻尔兹曼机中的节点。在深度学习中，每一级学习将其输入数据转换成稍微抽象和复合的表示。在图像识别应用中，原始输入可以是像素矩阵；第一代表层可以提取像素并编码边缘；第二层可以组成和编码边缘排列；第三层可以编码鼻子和眼睛；并且第四层可以识别包含人脸的图像。重要的是，深入的学习过程可以学习将哪些特征放在哪个级别上是最优的。(当然，这并不能完全避免需要手动调整；例如，不同的层数和层大小可以提供不同程度的抽象。)“深度学习”中的“深度”是指数据转换的层数。更准确地说，深度学习***有一个实质的信用分配路径(CAP)深度。CAP是从输入到输出的转换链。CAP描述了输入和输出之间潜在的因果关系。对于前馈神经网络，CAP的深度是网络的深度，等于隐藏层的数量加上1(因为输出层也是参数化的)。对于递归神经网络，其中信号可能不止一次地通过一个层传播，CAP深度可能是无限的。没有普遍认同的深度阈值将浅层和深度学习区分开来，但是大多数研究者认同深度学习中的CAP深度>2。深度为2的CAP已被证明是一个通用逼近器，因为它可以模拟任何函数。除此之外，更多的层不会增加网络的函数逼近能力。深度模型(CAP>2)能够提取比浅层模型更好的特征，因此，额外的层有助于学习特征。深度学习架构通常是用贪婪逐层方法构建的。深度学习有助于理清这些抽象概念，并找出哪些特性可以提高性能。对于监督学习任务，深度学习方法通过将数据转换成类似于主成分的紧凑中间表示，并导出消除冗余表示后的分层结构，从而避免了特征工程。深度学习算法可以应用于无监督的学习任务。这是一个重要的好处，因为未标记的数据比标记的数据更丰富。可以无监督方式训练的深层结构的例子有神经历史压缩器和深度信念网络。
框回归定义为目标检测过程中对产生的候选框以标注好的真实框为目标进行逼近的过程。由于一幅图像上的框可以由中心点坐标(Xc,Yc)和宽W高H唯一确定，所以这种逼近的过程可以建模为回归问题。通过对候选框做边框回归，可以使最终检测到的目标定位更加接近真实值，提高定位准确率。图像是影像与图片的总称，是人对视觉感知的物质再现。影像可以由光学设备获取，如照相机、镜子、望远镜及显微镜等；也可以人为创作，如手工绘画图像等。图像可以记录、保存在纸质媒介、胶片等等对光信号敏感的介质上。通过专业设计的影像，可以发展成人与人沟通的视觉语言，也可以了解世界美术中大量的平面绘画、立体雕塑与建筑。影像又称图像。指非摄影成像传感器成像方式，其本质是摄影像片的外延。像片通常指光学摄影成像并记录在感光胶片上，是被动式遥感成像。影像则可通过光学—机械、光学—电子或天线扫描接收来自地物的可见光、红外、热红外和微波信息，记录在磁带或通过电光转换记录在感光胶片上。与像片相比，在内容和形式上范围更广。用“影像”来包括(而不是取代)“像片”，是航空摄影侦察发展成为遥感，摄影术(photography)发展成为成像术(imagery)的结果。模型是通过主观意识借助实体或者虚拟表现构成客观阐述形态结构的一种表达目的的物件(物件并不等于物体，不局限于实体与虚拟、不限于平面与立体)。模型≠商品。任何物件定义为商品之前的研发过程中形态均为模型，当定义型号、规格并匹配相应价格的时候，模型将会以商品形式呈现出来。从广义上讲：如果一件事物能随着另一件事物的改变而改变，那么此事物就是另一件事物的模型。模型的作用就是表达不同概念的性质，一个概念可以使很多模型发生不同程度的改变，但只要很少模型就能表达出一个概念的性质，所以一个概念可以通过参考不同的模型从而改变性质的表达形式。当模型与事物发生联系时会产生一个具有性质的框架，此性质决定模型怎样随事物变化。模型构成形式分为实体模型(拥有体积及重量的物理形态概念实体物件)及虚拟模型(用电子数据通过数字表现形式构成的形体以及其他实效性表现)。实体模型从表现形式分为静模(物理相对静态，本身不具有能量转换的动力***，不在外部作用力下表现结构及形体构成的完整性)、助力模型(以静模为基础，可借助外界动能的作用，不改变自身表现结构，通过物理运动检测的一种物件结构连接关系)以及动模(可通过能量转换方式产生动能，在自身结构中具有动力转换***，在能量转换过程中表现出的相对连续物理运动形式)。虚拟模型分为虚拟静态模型、虚拟动态模型、虚拟幻想模型。其中数学模型是用数学语言描述的一类模型。数学模型可以是一个或一组代数方程、微分方程、差分方程、积分方程或统计学方程，也可以是它们的某种适当的组合，通过这些方程定量地或定性地描述***各变量之间的相互关系或因果关系。除了用方程描述的数学模型外，还有用其他数学工具，如代数、几何、拓扑、数理逻辑等描述的模型。需要指出的是，数学模型描述的是***的行为和特征而不是***的实际结构。物理模型也称实体模型，又可分为实物模型和类比模型。实物模型：根据相似性理论制造的按原***比例缩小(也可以是放大或与原***尺寸一样)的实物，例如风洞实验中的飞机模型，水力***实验模型，建筑模型，船舶模型等。航天模型类比模型：在不同的物理学领域(力学的、电学的、热学的、流体力学的等)的***中各自的变量有时服从相同的规律，根据这个共同规律可以制出物理意义完全不同的比拟和类推的模型。例如在一定条件下由节流阀和气容构成的气动***的压力响应与一个由电阻和电容所构成的电路的输出电压特性具有相似的规律，因此可以用比较容易进行实验的电路来模拟气动***。
图像表示是图像信息在计算机中的表示和存储方式。图像表和图像运算一起组成图像模型，是模式分析中的重要成部分。可以在图像信息的不同等级上对图像进行表示。最基本的物理图像是根据矩形网格抽样原理从连续图域中抽取二维灰度阵列(矩阵)得到的。也可以用长量表示二维灰度矩阵，它是按列(或行)扫描灰度矩阵，把下一列(或行)的头和前一列(或行)的尾相接而成。图像表示法用于对模型进行表达的文字或图形符号体系。
本发明提出一种图像表示学习方法及***，本发明通过使用框回归而不是分类的训练方法，提高了模型的表达能力，特别是提高了模型对位置、细节的敏感度，使模型获取更多的位置信息。对原始图片使用了两种增强方式，分别回归框，损失函数为两者叠加，增强了模型的鲁棒性，能够更好的抑制噪声的同时，提高了对检测、分割任务的准确率。
下面将图像表示学习为例对本申请实施例进行说明。
实施例一
本实施例提供了图像表示学习方法。请参照图1-图2，图1是根据本申请实施例的图像表示学习方法流程图如图1所示，图像表示学习方法包括如下步骤：
增强图像获取步骤S1：获取原始图像的增强图像；
特征映射获取步骤S2：通过编码器获取所述增强图像的特征映射；
预测步骤S3：使用框回归网络预测所述增强图像的边框，并获取预测边框；
计算步骤S4：计算真实边框与所述预测边框的最终损失，根据所述最终损失更新所述框回归网络及所述编码器。
实施例中，所述增强图像获取步骤S1包括，对于每个所述原始图像，使用数据增强的方法，获取所述原始图像的至少两个所述增强图像。
实施例中，所述特征映射获取步骤S2包括，使用深度学习特征，提取主干网络和多层感知器共同组成的所述编码器，并根据所述编码器获取所述特征映射。
实施例中，所述预测步骤S3包括，使用所述框回归网络预测每一个所述增强图像的所述边框，并获取所述预测边框。
实施例中，所述计算步骤S4包括，使用交并比损失分别计算所述原始图像的所述真实边框与每一个所述增强图像的所述预测边框的所述损失，将至少两个所述损失相加后获得最终损失，根据所述最终损失反向传播更新所述编码器与所述框回归网络。
请参照图2，图2是根据本申请实施例的应用流程图。如图2所示，以下结合图2以一具体实施例对本发明的图像表示学习方法进行说明。
步骤1:对于每个image，使用数据增强的方法，获取两个增强图像x1和x2。
步骤2:使用深度学习特征提取网络backbone和多层感知机mlp共同组成的编码器(encoder)获取x1和x2的特征映射。
步骤3:使用框回归网络h预测框p1和p2。
步骤4:使用IoU Loss分别计算p1，p2和groundtruthy的损失，最终Loss为两者相加。
步骤5:反向传播更新编码器(encoder)f和框回归网络h。
具体实施中，伪代码如下图像表示学习方法伪代码如下：
//f:backbone+projection mlp
//p:prediction
for x in loader://load a minibatch x with n samples
x1,x2＝aug(x),aug(x)//random augmentation
z1,z2＝f(x1),f(x2)//encoder
p1，p2＝h(z1),h(z2)//box regression
L＝IoULoss(p1,y)+IoULoss(p2,y)//loss
L.backward()//update f&h
由此，本发明提出一种图像表示学习方法及***，本发明通过使用框回归而不是分类的训练方法，提高了模型的表达能力，特别是提高了模型对位置、细节的敏感度，使模型获取更多的位置信息。对原始图片使用了两种增强方式，分别回归框，损失函数为两者叠加，增强了模型的鲁棒性，能够更好的抑制噪声的同时，提高了对检测、分割任务的准确率。
实施例二
请参照图3，图3为本发明的图像表示学习***的结构示意图。如图3所示，发明的图像表示学习***，适用于上述的图像表示学习方法，图像表示学习***包括：
增强图像获取单元51：获取原始图像的增强图像；
特征映射获取单元52：通过编码器获取所述增强图像的特征映射；
预测单元53：使用框回归网络预测所述增强图像的边框，获取预测边框；
计算单元54：计算真实边框与所述预测边框的最终损失，根据所述最终损失更新所述框回归网络及所述编码器。
在本实施例中，对于每个所述原始图像，所述增强图像获取单元51使用数据增强的方法，获取所述原始图像的至少两个所述增强图像。
在本实施例中，所述特征映射获取单元52使用深度学习特征，提取主干网络和多层感知器共同组成的所述编码器，并根据所述编码器获取所述特征映射。
在本实施例中，所述预测单元53使用所述框回归网络预测每一个所述增强图像的所述边框后，并获取所述预测边框。
在本实施例中，所述计算单元54使用交并比损失分别计算所述原始图像的所述真实边框与每一个所述增强图像的所述预测边框的所述损失，将至少两个所述损失相加后获得最终损失，根据所述最终损失反向传播更新所述编码器与所述框回归网络。
实施例三
结合4所示，本实施例揭示了一种电子设备的一种具体实施方式。电子设备可以包括处理器81以及存储有计算机程序指令的存储器82。
具体地，上述处理器81可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器82可在数据处理装置的内部或外部。在特定实施例中，存储器82是非易失性(Non-Volatile)存储器。在特定实施例中，存储器82包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为FPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EFPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。
处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意图像表示学习方法。
在其中一些实施例中，电子设备还可包括通信接口83和总线80。其中，如图4所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。
通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线80包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线80可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(FrontSide Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、***组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
电子设备可连接图像表示学习***，从而实现结合图1-图2描述的方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (6)
1.一种图像表示学习方法，其特征在于，包括：
增强图像获取步骤：获取原始图像的增强图像；
特征映射获取步骤：通过编码器获取所述增强图像的特征映射；
预测步骤：使用框回归网络预测所述增强图像的边框，并获取预测边框；
计算步骤：计算真实边框与所述预测边框的最终损失，根据所述最终损失更新所述框回归网络及所述编码器；
所述增强图像获取步骤包括，对于每个所述原始图像，使用数据增强的方法，获取所述原始图像的至少两个所述增强图像；所述计算步骤包括，使用交并比损失分别计算所述原始图像的所述真实边框与每一个所述增强图像的所述预测边框的损失，将至少两个所述损失相加后获得最终损失，根据所述最终损失反向传播更新所述编码器与所述框回归网络。
2.根据权利要求1所述的图像表示学习方法，其特征在于，所述特征映射获取步骤包括，使用深度学习特征，提取主干网络和多层感知器共同组成的所述编码器，并根据所述编码器获取所述特征映射。
3.根据权利要求1所述的图像表示学习方法，其特征在于，所述预测步骤包括，使用所述框回归网络预测每一个所述增强图像的所述边框，并获取所述预测边框。
4.一种图像表示学习***，其特征在于，适用于上述权利要求1-3所述的图像表示学习方法，所述图像表示学习***包括：
增强图像获取单元：获取原始图像的增强图像，对于每个所述原始图像，所述增强图像获取单元使用数据增强的方法，获取所述原始图像的至少两个所述增强图像；
特征映射获取单元：通过编码器获取所述增强图像的特征映射；
预测单元：使用框回归网络预测所述增强图像的边框，获取预测边框；
计算单元：计算真实边框与所述预测边框的最终损失，根据所述最终损失更新所述框回归网络及所述编码器，其中所述计算单元使用交并比损失分别计算所述原始图像的所述真实边框与每一个所述增强图像的所述预测边框的损失，将至少两个所述损失相加后获得最终损失，根据所述最终损失反向传播更新所述编码器与所述框回归网络。
5.根据权利要求4所述的图像表示学习***，其特征在于，所述特征映射获取单元使用深度学习特征，提取主干网络和多层感知器共同组成的所述编码器，并根据所述编码器获取所述特征映射。
6.根据权利要求4所述的图像表示学习***，其特征在于，所述预测单元使用所述框回归网络预测每一个所述增强图像的所述边框后，并获取所述预测边框。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011632703.8A CN112634174B (zh) | 2020-12-31 | 2020-12-31 | 一种图像表示学习方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011632703.8A CN112634174B (zh) | 2020-12-31 | 2020-12-31 | 一种图像表示学习方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112634174A CN112634174A (zh) | 2021-04-09 |
| CN112634174B true CN112634174B (zh) | 2023-12-12 |
Family
ID=75289953
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011632703.8A Active CN112634174B (zh) | 2020-12-31 | 2020-12-31 | 一种图像表示学习方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112634174B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113569934B (zh) * | 2021-07-20 | 2024-01-23 | 上海明略人工智能(集团)有限公司 | Logo分类模型构建方法、***、电子设备及存储介质 |
| WO2024080699A1 (en) * | 2022-10-10 | 2024-04-18 | Samsung Electronics Co., Ltd. | Electronic device and method of low latency speech enhancement using autoregressive conditioning-based neural network model |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110287927A (zh) * | 2019-07-01 | 2019-09-27 | 西安电子科技大学 | 基于深度多尺度和上下文学习的遥感影像目标检测方法 |
| CN110503112A (zh) * | 2019-08-27 | 2019-11-26 | 电子科技大学 | 一种增强特征学习的小目标检测及识别方法 |
| CN110782430A (zh) * | 2019-09-29 | 2020-02-11 | 郑州金惠计算机***工程有限公司 | 一种小目标的检测方法、装置、电子设备及存储介质 |
| CN111062953A (zh) * | 2019-12-17 | 2020-04-24 | 北京化工大学 | 一种超声图像中甲状旁腺增生的识别方法 |
| CN111612017A (zh) * | 2020-07-07 | 2020-09-01 | 中国人民解放军国防科技大学 | 一种基于信息增强的目标检测方法 |
| CN111652140A (zh) * | 2020-06-03 | 2020-09-11 | 广东小天才科技有限公司 | 基于深度学习的题目精准分割方法、装置、设备和介质 |
| CN111738231A (zh) * | 2020-08-06 | 2020-10-02 | 腾讯科技（深圳）有限公司 | 目标对象检测方法、装置、计算机设备和存储介质 |
| CN111931617A (zh) * | 2020-07-29 | 2020-11-13 | 中国工商银行股份有限公司 | 基于图像处理的人眼图像识别方法、装置及自助终端 |
| CN112132832A (zh) * | 2020-08-21 | 2020-12-25 | 苏州浪潮智能科技有限公司 | 一种增强图像实例分割的方法、***、设备及介质 |
-
2020
- 2020-12-31 CN CN202011632703.8A patent/CN112634174B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110287927A (zh) * | 2019-07-01 | 2019-09-27 | 西安电子科技大学 | 基于深度多尺度和上下文学习的遥感影像目标检测方法 |
| CN110503112A (zh) * | 2019-08-27 | 2019-11-26 | 电子科技大学 | 一种增强特征学习的小目标检测及识别方法 |
| CN110782430A (zh) * | 2019-09-29 | 2020-02-11 | 郑州金惠计算机***工程有限公司 | 一种小目标的检测方法、装置、电子设备及存储介质 |
| CN111062953A (zh) * | 2019-12-17 | 2020-04-24 | 北京化工大学 | 一种超声图像中甲状旁腺增生的识别方法 |
| CN111652140A (zh) * | 2020-06-03 | 2020-09-11 | 广东小天才科技有限公司 | 基于深度学习的题目精准分割方法、装置、设备和介质 |
| CN111612017A (zh) * | 2020-07-07 | 2020-09-01 | 中国人民解放军国防科技大学 | 一种基于信息增强的目标检测方法 |
| CN111931617A (zh) * | 2020-07-29 | 2020-11-13 | 中国工商银行股份有限公司 | 基于图像处理的人眼图像识别方法、装置及自助终端 |
| CN111738231A (zh) * | 2020-08-06 | 2020-10-02 | 腾讯科技（深圳）有限公司 | 目标对象检测方法、装置、计算机设备和存储介质 |
| CN112132832A (zh) * | 2020-08-21 | 2020-12-25 | 苏州浪潮智能科技有限公司 | 一种增强图像实例分割的方法、***、设备及介质 |
Non-Patent Citations (2)
| Title |
|---|
| An Intensive Study of Backbone and Architectures with Test Image Augmentation and Box Refinement for Object Detection and Segmentation;Keundong Lee et al;《ICTC》;第673-677页 * |
| 基于YOLO改进算法的远程塔台运动目标检测;徐国标等;《科学技术与工程》;第第19卷卷(第第14期期);第377-383页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112634174A (zh) | 2021-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109886066B (zh) | 基于多尺度和多层特征融合的快速目标检测方法 | |
| CN110135267B (zh) | 一种大场景sar图像细微目标检测方法 | |
| CN110188705B (zh) | 一种适用于车载***的远距离交通标志检测识别方法 | |
| CN111860235B (zh) | 高低层特征融合的注意力遥感图像描述的生成方法及*** | |
| CN111461212B (zh) | 一种用于点云目标检测模型的压缩方法 | |
| Yu et al. | Capri-net: Learning compact cad shapes with adaptive primitive assembly | |
| CN110929577A (zh) | 一种基于YOLOv3的轻量级框架改进的目标识别方法 | |
| CN108734210B (zh) | 一种基于跨模态多尺度特征融合的对象检测方法 | |
| CN112396002A (zh) | 一种基于SE-YOLOv3的轻量级遥感目标检测方法 | |
| CN112801169B (zh) | 一种基于改进yolo算法的伪装目标检测方法、***、装置及存储介质 | |
| CN106295613A (zh) | 一种无人机目标定位方法及*** | |
| CN112634174B (zh) | 一种图像表示学习方法及*** | |
| Ouyang et al. | Vehicle target detection in complex scenes based on YOLOv3 algorithm | |
| CN116310850B (zh) | 基于改进型RetinaNet的遥感图像目标检测方法 | |
| CN112861915A (zh) | 一种基于高级语义特征无锚框非合作目标检测方法 | |
| CN112434618A (zh) | 基于稀疏前景先验的视频目标检测方法、存储介质及设备 | |
| CN112561926A (zh) | 三维图像分割方法、***、存储介质及电子设备 | |
| CN114332473A (zh) | 目标检测方法、装置、计算机设备、存储介质及程序产品 | |
| CN111368634B (zh) | 基于神经网络的人头检测方法、***及存储介质 | |
| CN115457492A (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
| Lowphansirikul et al. | 3D Semantic segmentation of large-scale point-clouds in urban areas using deep learning | |
| Fan et al. | A novel sonar target detection and classification algorithm | |
| Sun et al. | Two-stage deep regression enhanced depth estimation from a single RGB image | |
| CN114529552A (zh) | 一种基于几何轮廓顶点预测的遥感影像建筑物分割方法 | |
| CN116958148B (zh) | 输电线路关键部件缺陷的检测方法、装置、设备、介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |