CN110245678A - 一种异构孪生区域选取网络及基于该网络的图像匹配方法 - Google Patents

一种异构孪生区域选取网络及基于该网络的图像匹配方法 Download PDF

Info

Publication number
CN110245678A
CN110245678A CN201910376172.1A CN201910376172A CN110245678A CN 110245678 A CN110245678 A CN 110245678A CN 201910376172 A CN201910376172 A CN 201910376172A CN 110245678 A CN110245678 A CN 110245678A
Authority
CN
China
Prior art keywords
network
isomery
matched
region
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910376172.1A
Other languages
English (en)
Other versions
CN110245678B (zh
Inventor
杨卫东
蒋哲兴
王祯瑞
姜昊
王公炎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201910376172.1A priority Critical patent/CN110245678B/zh
Publication of CN110245678A publication Critical patent/CN110245678A/zh
Application granted granted Critical
Publication of CN110245678B publication Critical patent/CN110245678B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种异构孪生区域选取网络及基于该网络的图像匹配方法，属于计算机视觉领域。包括依次串联的异构孪生网络和区域匹配网络；异构孪生网络用于提取模板图的特征图和待匹配图的特征图；区域匹配网络用于根据模板图的特征图和待匹配图的特征图，得到区域匹配结果；异构孪生网络包括相互并联的子网络A和子网络B，每个子网络为依次串联的特征提取模块、特征融合模块和最大值池化模块，两个子网络各模块均相同，仅特征提取模块的首层卷积的卷积核不同。本发明将异构孪生区域选取网络应用于图像匹配，实现非固定尺度模板与待匹配图的输入，充分利用图像多层特征，有效提升了匹配方法的性能，增加了匹配的成功率与速度。

Description

一种异构孪生区域选取网络及基于该网络的图像匹配方法
技术领域
本发明属于计算机视觉领域，更具体地，涉及一种异构孪生区域选取网络及基于该网络的图像匹配方法。
背景技术
图像匹配是指在一幅(或一批)图像中寻找与给定场景区域图像相似的图像或者图像区域(子图像)的过程。通常将已知场景区域图像称为模板图像，而将待搜索图像中可能与它对应的子图称作该模板的待匹配的场景区域图像。图像匹配是在来自不同时间或者不同视角的同一场景的两幅或多幅图像之间寻找对应关系，具体应用包括目标或场景识别、在多幅图像中求解3D结构、立体对应和运动跟踪等。
目前多数图像匹配算法都只是用了浅层的人工特征，例如灰度特征、梯度特征等，由于拍摄时间、拍摄角度、自然环境的变化，传感器本身的缺陷及噪声等影响，拍摄的图像会存在灰度失真和几何畸变，场景在图像中发生较大的变化，导致模板图像与待匹配图像之间存在着一定程度上的差异，浅层特征往往会失效，因此目前在模板制备上需要花费大量人力，操作过程复杂，效率较低；目前多数深度神经网络对数据数量要求较高，对于训练集中数量较少的样本类型，即少样本、单样本的情况，往往无法识别。
发明内容
针对现有技术的缺陷，本发明的目的在于解决现有技术图像匹配算法基本无法适应成像视点及尺度变化、场景适应性和抗干扰能力弱且匹配成功率较低的技术问题。
为实现上述目的，第一方面，本发明实施例提供了一种异构孪生区域选取网络，所述异构孪生区域选取网络包括依次串联的异构孪生网络和区域匹配网络；
所述异构孪生网络用于提取模板图的特征图和待匹配图的特征图；
所述区域匹配网络用于根据模板图的特征图和待匹配图的特征图，得到区域匹配结果；
所述异构孪生网络包括相互并联的子网络A和子网络B，每个子网络为依次串联的特征提取模块、特征融合模块和最大值池化模块，两个子网络仅特征提取模块的首层卷积的卷积核不同，其余模块均相同。
具体地，所述特征提取模块用于提取输入图像的特征图，所述特征融合模块用于融合特征提取模块最后三层的卷积特征，所述最大值池化模块将融合特征尺度归一化。
具体地，所述特征提取模块将ResNet18第二层替换为卷积。
具体地，所述特征提取模块将ResNet18最后一层替换为卷积层。
具体地，所述区域匹配网络包括：特征划分模块、分类模块和位置回归模块；其中，分类模块与位置回归模块并联，并行处理，并串接在特征划分模块之后；
所述特征划分模块包括：第一卷积、第二卷积、第三卷积、第四卷积；
所述第一卷积用于从模板图的特征图中提取模板分类特征图；
所述第二卷积用于从模板图的特征图中提取模板位置特征图；
所述第三卷积用于从待匹配图的特征图中提取待匹配图分类特征图；
所述第四卷积用于从待匹配图的特征图中提取待匹配图位置特征图；
所述分类模块用于使用模板分类特征图作为卷积核，与待匹配图分类特征图进行卷积，输出匹配的类别；
所述位置回归模块用于使用模板位置特征图作为卷积核，与待匹配图位置特征图进行卷积，输出匹配的位置。
第二方面，本发明实施例提供了一种基于第一方面所述的异构孪生区域选取网络的图像匹配方法，包括如下步骤：
S1.使用训练样本训练异构孪生区域选取网络，训练样本为模板图-待匹配图图对，训练样本的标签为模板图对应的区域在待匹配图中对应区域的位置信息；
S2.将待测样本输入训练好的异构孪生区域选取网络，输出待测样本的匹配结果。
具体地，训练时总损失函数＝HCE+HSL；
d＝|t-t*|＝|(x0-xG)+(yo-yG)+(wo-wG)+(ho-hG)|
其中，HCE是分类损失函数，HSL是位置回归损失，p表示预测样本类别为正的概率，p*是对应的标签，N表示样本的总数，t表示网络输出的样本位置t*是对应的标签，即样本实际的位置x、y表示横坐标、纵坐标，w、h为宽度、长度。
具体地，输出位置和实际标签的交并比IOU>0.7，则p*＝1，否则，p*＝0。
具体地，在步骤S1之后、步骤S2之前，还可以用待测样本对异构孪生区域选取网络进行优化，具体如下：
将测试样本集中的模板图与待匹配图对输入网络，将输出结果与标签计算交并比，以交并比衡量匹配成功概率，以此评估图像匹配网络的性能，并决定是否继续训练网络。
第三方面，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述第二方面所述的基于异构孪生区域选取网络的图像匹配方法。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：
1.本发明将异构孪生区域选取网络应用于图像匹配，并根据网络模型实际应用中存在的问题进行改进，算法实现非固定尺度模板与待匹配图的输入，同时充分利用图像多层特征信息，有效提升了匹配方法的抗干扰能力，适应成像的视点及尺度变化，增加了匹配的成功率与速度，减少了匹配对模板质量的需求，适应少样本、单样本条件下的匹配，在实际应用中可大大降低人力成本。
2.本发明在训练网络的过程中，提出了一种新型的损失函数，即添加了均衡损失函数，包括均衡交叉熵损失HCE与均衡回归损失HSL两项，这两项损失项对于提高网络的匹配成功率具有优越的效果，且有效提高了网络收敛的速度。
附图说明
图1为本发明实施例提供的训练样本示意图；
图2为本发明实施例提供的测试样本示意图；
图3为本发明实施例提供的异构孪生区域选取网络结构示意图；
图4为本发明实施例提供的一种基于异构孪生区域选取网络的图像匹配方法流程图；
图5(a)为本发明实施例提供的待测模板图；
图5(b)为本发明实施例提供的待测样本的匹配结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
样本生成
(1)准备n个不同场景{P1,…,Pi…,Pn}，同一场景Pi中含若干可见光图像{Pi1,…,Pij,…PiM}，Pij即场景Pi的第j张图。
(2)对同一场景的每张图像，在场景中人工框选区域{Pij1，…,Pijk,…Pijs}，Pijk即代表场景Pi的第j幅图第k个区域。在同场景不同图像中，区域的大小、明暗、角度等均不同，且区域存在一定的形变。
(3)在同一场景Pi的若干可见光图像{Pi1,…,Pij,…PiM}中，随机选取一图像裁剪其中选择的区域k，作为模板图随机选取另一图像作为待匹配图，并标记k在待匹配图中对应区域的位置，作为标签(ground truth)。
表示场景Pi第j幅图像区域k所对应的标签，xG表示区域k在图像Pij中对应区域中心的横坐标，yG表示区域k在图像Pij中对应区域中心的纵坐标，wg表示区域k在图像Pij中对应区域的宽度，hG表示区域k在图像Pij中对应区域的长度。以上坐标均为像素坐标。
(4)将模板图与对应的待匹配图以图对形式作为网络的输入，记为
并重复此操作，对全场景{P1,P2,P3…,Pn}进行遍历，选取部分场景作为训练样本集，其余场景作为测试样本集，为了在测试中验证网络对于少样本、单样本情况的适应能力，训练集与测试集的样本类别不重叠，训练集不含测试集的样本类别，例如，测试集中包含飞机、船舶等，训练集中不含飞机船舶。训练集中部分训练样本如图1所示，包括类别车手、汽车、行人。测试集中部分测试样本如图2所示，包括类别建筑、兔子、飞机。
异构孪生区域选取网络
如图3所示，异构孪生区域选取网络包括串联的异构孪生网络和区域匹配网络，所述异构孪生网络用于提取模板图的特征图和待匹配图的特征图，所述区域匹配网络用于根据模板图的特征图和待匹配图的特征图，得到图像匹配结果。异构孪生区域选取网络仅适应同谱段传感器图像，如可见光模板图与可见光待匹配图，不适用于异谱段图像匹配，如SAR模板图与可见光待匹配图。
异构孪生网络包括并联的子网络A和子网络B，子网络包括串联的特征提取模块、特征融合模块和最大值池化模块。考虑到模板图与待匹配图的成像视点、图像尺度不同，特征差距较大，采用相同的卷积核提取特征，效果一般，因此两子网络特征提取模块的首层卷积的卷积核不同，而其余模块均相同。
特征提取模块用于提取输入图像的特征图，融合模块用于融合特征提取模块最后三层的卷积特征，最大值池化模块将融合特征尺度归一化。
本发明实施例中特征提取模块采用残差网络结构，优选ResNet18。进一步地，将ResNet18第二层由最大池化层(下采样)改为卷积，使网络自动学习合适的采样核函数；将ResNet18的最后一层由全连接层改为卷积层，并后接最大值池化模块，使得网络满足于不同尺寸的图像输入要求；将ResNet18的后三层的参数进行修改，使得后三层特征图尺寸完全相同。修改后的网络称为ResNet18v2。
特征融合模块中多层卷积特征图融合，对于多尺度的区域匹配效果更佳。设A网络最后三层特征层为Conv_A1，Conv_A2，Conv_A3，B网络最后三层特征层为Conv_B1，Conv_B2，Conv_B3，那么融合特征Conv_A、Conv_B即为：
其中，w1＝2，w2＝4，w3＝6。
对特征图进行块最大池化操作，使网络可以适应任意大小的模板图与待匹配图输入，并提高处理速度，其中块最大池化指对不同大小的特征图利用最大池化方法获得固定大小的特征图。
区域匹配网络包括：特征划分模块、分类模块和位置回归模块，其中分类模块与位置回归模块并联，并行处理，并串接在特征划分模块之后
特征划分模块包括：第一卷积、第二卷积、第三卷积、第四卷积，第一卷积用于从模板图的特征图中提取模板分类特征图，第二卷积用于从模板图的特征图中提取模板位置特征图，第三卷积用于提取待匹配图分类特征图，第四卷积用于提取待匹配图位置特征图。
分类模块用于使用模板分类特征图作为卷积核，与待匹配图分类特征图进行卷积，输出匹配的类别，包括匹配与不匹配两类。
位置回归模块用于使用模板位置特征图作为卷积核，与待匹配图位置特征图进行卷积，输出匹配的位置。
均衡损失函数＝分类损失函数HCE+位置回归损失HSL
分类损失函数HCE
考虑简单的二分类交叉熵损失函数(binary cross entropy loss)：
其中，x为HES-RPN网络的初始类别输出，p是网络输出的正样本类别概率，p取值范围为[0,1]，p*是对应的标签，p*值为0或者1。输出位置和实际标签的交并比IOU>0.7，则p*＝1，否则，p*＝0。
其对x的梯度(导数)为：
于是可以定义一个梯度模长，i表示样本i。具体来说，将梯度模长的取值范围划分为若干个单位区域。对于一个样本，若它的梯度模长为g，它的密度就定义为处于它所在的单位区域内的样本数量除以这个单位区域的长度ε：
α初始值为1，后续随着训练进程，逐渐上升至2。k表示样本k；N表示样本的总数,ε为一个很小的数，一般取0.01。而梯度密度的倒数就是样本计算损失后要乘的权值，则新的分类的损失：
位置回归损失HSL
而传统常用的回归分支损失函数Smooth L1，这是一个分段函数：
那么当样本与标签的距离偏差较大，也就是|x|≥1时，smoothL1函数的导数恒定为1，对网络参数更新的影响是相同的，这样无法具体区分样本具体的难易程度。为了解决这个问题，引入了DSL损失：
d＝|t-t*|＝|(x0-xG)+(yo-yG)+(wo-wG)+(ho-hG)|
r为位置回归损失标记，便于与分类损失区分。则新的位置回归损失HSL表示为：
其中，
β初始值为1，后续随着训练进程，逐渐上升至1.5。u为一个小数，一般取0.02，t表示网络输出的样本位置 xo表示在待匹配图PNM中异构孪生区域选取网络的输出区域中心的横坐标，yo表示在待匹配图PNM中异构孪生区域选取网络的输出区域中心的纵坐标，wo表示在待匹配图PNM中异构孪生区域选取网络的输出区域的宽度，ho表示在待匹配图PNM中异构孪生区域选取网络的输出区域长度。t*是对应的标签，即样本实际的位置
如图4所示，一种基于异构孪生区域选取网络的图像匹配方法，包括如下步骤：
S1.使用训练样本训练异构孪生区域选取网络，训练样本为模板图-待匹配图图对，训练样本的标签为模板图对应的区域在待匹配图中对应区域的位置；
S2.将待测样本输入训练好的异构孪生区域选取网络，输出待测样本的匹配结果。
使用网络进行图像匹配。选取任意的两幅图像，类别不限，作为模板、待匹配图，以图像对形式输入训练完毕的图像匹配异构孪生区域选取网络，即可得到匹配结果。
图5(a)为待测模板图，图5(b)为待测样本的匹配结果。
分别采用本发明中异构孪生区域选取网络和现有技术中SiameseFC、SiamRPN、SiamRPN++、灰度互相关、HOG匹配对同一数据集进行匹配，匹配准确率和运行时间如表1所示。
表1
其中，运行时间指在模板图大小为127*127，待匹配图大小为512*512情况下，完成一次匹配所需的时间。
在步骤S1之后、步骤S2之前，还可以用待测样本对异构孪生区域选取网络进行优化。
将测试样本集中的模板图与待匹配图对输入网络，将输出结果与标签计算交并比，以交并比衡量匹配成功概率，以此评估图像匹配网络的性能，并决定是否继续训练网络。
网络输出结果与实际标签的交并比IOU，具体公式为：
oarea＝wo*ho
garea＝wG*hG
将交并比IOU大于0.3的图像视为匹配成功，计算匹配成功的图像占所有图的比值，即为匹配成功率，成功率越高则匹配性能越好。
设测试集场景中共有T张图像，其中，A张图像交并比大于0.3，那么匹配成功率SR(success rate)即为：
随着训练进程，若SR不再上升，则说明网络性能不再提升，停止训练网络，否则继续训练网络。
以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种异构孪生区域选取网络，其特征在于，所述异构孪生区域选取网络包括依次串联的异构孪生网络和区域匹配网络；
所述异构孪生网络用于提取模板图的特征图和待匹配图的特征图；
所述区域匹配网络用于根据模板图的特征图和待匹配图的特征图，得到区域匹配结果；
所述异构孪生网络包括相互并联的子网络A和子网络B，每个子网络为依次串联的特征提取模块、特征融合模块和最大值池化模块，两个子网络仅特征提取模块的首层卷积的卷积核不同，其余模块均相同。
2.如权利要求1所述的异构孪生区域选取网络，其特征在于，所述特征提取模块用于提取输入图像的特征图，所述特征融合模块用于融合特征提取模块最后三层的卷积特征，所述最大值池化模块将融合特征尺度归一化。
3.如权利要求1或2所述的异构孪生区域选取网络，其特征在于，所述特征提取模块将ResNet18第二层替换为卷积。
4.如权利要求1或2所述的异构孪生区域选取网络，其特征在于，所述特征提取模块将ResNet18最后一层替换为卷积层。
5.如权利要求1至4任一项所述的异构孪生区域选取网络，其特征在于，所述区域匹配网络包括：特征划分模块、分类模块和位置回归模块；其中，分类模块与位置回归模块并联，并行处理，并串接在特征划分模块之后；
所述特征划分模块包括：第一卷积、第二卷积、第三卷积、第四卷积；
所述第一卷积用于从模板图的特征图中提取模板分类特征图；
所述第二卷积用于从模板图的特征图中提取模板位置特征图；
所述第三卷积用于从待匹配图的特征图中提取待匹配图分类特征图；
所述第四卷积用于从待匹配图的特征图中提取待匹配图位置特征图；
所述分类模块用于使用模板分类特征图作为卷积核，与待匹配图分类特征图进行卷积，输出匹配的类别；
所述位置回归模块用于使用模板位置特征图作为卷积核，与待匹配图位置特征图进行卷积，输出匹配的位置。
6.一种基于权利要求1至5任一项所述的异构孪生区域选取网络的图像匹配方法，其特征在于，包括如下步骤：
S1.使用训练样本训练异构孪生区域选取网络，训练样本为模板图-待匹配图图对，训练样本的标签为模板图对应的区域在待匹配图中对应区域的位置信息；
S2.将待测样本输入训练好的异构孪生区域选取网络，输出待测样本的匹配结果。
7.如权利要求6所述的图像匹配方法，其特征在于，训练时总损失函数＝HCE+HSL；
d＝|t-t*|＝|(x0-xG)+(yo-yG)+(wo-wG)+(ho-hG)|
其中，HCE是分类损失函数，HSL是位置回归损失，p表示预测样本类别为正的概率，p*是对应的标签，N表示样本的总数，t表示网络输出的样本位置t*是对应的标签，即样本实际的位置x、y表示横坐标、纵坐标，w、h为宽度、长度。
8.如权利要求7所述的图像匹配方法，其特征在于，输出位置和实际标签的交并比IOU>0.7，则p*＝1，否则，p*＝0。
9.如权利要求6所述的可见光图像匹配方法，其特征在于，在步骤S1之后、步骤S2之前，还可以用待测样本对异构孪生区域选取网络进行优化，具体如下：
将测试样本集中的模板图与待匹配图对输入网络，将输出结果与标签计算交并比，以交并比衡量匹配成功概率，以此评估图像匹配网络的性能，并决定是否继续训练网络。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求6至9任一项所述的基于异构孪生区域选取网络的图像匹配方法。
CN201910376172.1A 2019-05-07 2019-05-07 一种基于异构孪生区域选取网络的图像匹配方法 Active CN110245678B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910376172.1A CN110245678B (zh) 2019-05-07 2019-05-07 一种基于异构孪生区域选取网络的图像匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910376172.1A CN110245678B (zh) 2019-05-07 2019-05-07 一种基于异构孪生区域选取网络的图像匹配方法

Publications (2)

Publication Number Publication Date
CN110245678A true CN110245678A (zh) 2019-09-17
CN110245678B CN110245678B (zh) 2021-10-08

Family

ID=67883642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910376172.1A Active CN110245678B (zh) 2019-05-07 2019-05-07 一种基于异构孪生区域选取网络的图像匹配方法

Country Status (1)

Country Link
CN (1) CN110245678B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110705479A (zh) * 2019-09-30 2020-01-17 北京猎户星空科技有限公司 模型训练方法和目标识别方法、装置、设备及介质
CN110807793A (zh) * 2019-09-29 2020-02-18 南京大学 一种基于孪生网络的目标跟踪方法
CN111401384A (zh) * 2020-03-12 2020-07-10 安徽南瑞继远电网技术有限公司 一种变电设备缺陷图像匹配方法
CN111428875A (zh) * 2020-03-11 2020-07-17 北京三快在线科技有限公司 图像识别方法、装置及相应模型训练方法、装置
CN111489361A (zh) * 2020-03-30 2020-08-04 中南大学 基于孪生网络的深层特征聚合的实时视觉目标跟踪方法
CN111784644A (zh) * 2020-06-11 2020-10-16 上海布眼人工智能科技有限公司 基于深度学习的印花瑕疵检测方法及***
CN112150467A (zh) * 2020-11-26 2020-12-29 支付宝(杭州)信息技术有限公司 一种货物数量确定方法、***和装置
CN112785371A (zh) * 2021-01-11 2021-05-11 上海钧正网络科技有限公司 一种共享设备位置预测方法、装置及存储介质
CN112784672A (zh) * 2019-11-08 2021-05-11 索尼公司 基于计算机视觉的手术场景评估
CN113705731A (zh) * 2021-09-23 2021-11-26 中国人民解放军国防科技大学 一种基于孪生网络的端到端图像模板匹配方法
CN115330876A (zh) * 2022-09-15 2022-11-11 中国人民解放军国防科技大学 基于孪生网络和中心位置估计的目标模板图匹配定位方法
CN115861595A (zh) * 2022-11-18 2023-03-28 华中科技大学 一种基于深度学习的多尺度域自适应异源图像匹配方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017219515A1 (zh) * 2016-06-22 2017-12-28 中兴通讯股份有限公司 一种拍照对焦的方法及电子设备
US20180173944A1 (en) * 2015-11-30 2018-06-21 International Business Machines Corporation System and method for pose-aware feature learning
CN108388927A (zh) * 2018-03-26 2018-08-10 西安电子科技大学 基于深度卷积孪生网络的小样本极化sar地物分类方法
CN109446889A (zh) * 2018-09-10 2019-03-08 北京飞搜科技有限公司 基于孪生匹配网络的物体追踪方法及装置
CN109712121A (zh) * 2018-12-14 2019-05-03 复旦大学附属华山医院 一种医学影像图片处理的方法、设备及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180173944A1 (en) * 2015-11-30 2018-06-21 International Business Machines Corporation System and method for pose-aware feature learning
WO2017219515A1 (zh) * 2016-06-22 2017-12-28 中兴通讯股份有限公司 一种拍照对焦的方法及电子设备
CN108388927A (zh) * 2018-03-26 2018-08-10 西安电子科技大学 基于深度卷积孪生网络的小样本极化sar地物分类方法
CN109446889A (zh) * 2018-09-10 2019-03-08 北京飞搜科技有限公司 基于孪生匹配网络的物体追踪方法及装置
CN109712121A (zh) * 2018-12-14 2019-05-03 复旦大学附属华山医院 一种医学影像图片处理的方法、设备及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BO LI ET AL.: "High Performance Visual Tracking with Siamese Region Proposal Network", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
柳青林: "基于小样本学习的目标匹配研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807793B (zh) * 2019-09-29 2022-04-22 南京大学 一种基于孪生网络的目标跟踪方法
CN110807793A (zh) * 2019-09-29 2020-02-18 南京大学 一种基于孪生网络的目标跟踪方法
CN110705479A (zh) * 2019-09-30 2020-01-17 北京猎户星空科技有限公司 模型训练方法和目标识别方法、装置、设备及介质
CN112784672A (zh) * 2019-11-08 2021-05-11 索尼公司 基于计算机视觉的手术场景评估
CN111428875A (zh) * 2020-03-11 2020-07-17 北京三快在线科技有限公司 图像识别方法、装置及相应模型训练方法、装置
CN111401384A (zh) * 2020-03-12 2020-07-10 安徽南瑞继远电网技术有限公司 一种变电设备缺陷图像匹配方法
CN111401384B (zh) * 2020-03-12 2021-02-02 安徽南瑞继远电网技术有限公司 一种变电设备缺陷图像匹配方法
CN111489361A (zh) * 2020-03-30 2020-08-04 中南大学 基于孪生网络的深层特征聚合的实时视觉目标跟踪方法
CN111489361B (zh) * 2020-03-30 2023-10-27 中南大学 基于孪生网络的深层特征聚合的实时视觉目标跟踪方法
CN111784644A (zh) * 2020-06-11 2020-10-16 上海布眼人工智能科技有限公司 基于深度学习的印花瑕疵检测方法及***
CN112150467A (zh) * 2020-11-26 2020-12-29 支付宝(杭州)信息技术有限公司 一种货物数量确定方法、***和装置
CN112785371A (zh) * 2021-01-11 2021-05-11 上海钧正网络科技有限公司 一种共享设备位置预测方法、装置及存储介质
CN113705731A (zh) * 2021-09-23 2021-11-26 中国人民解放军国防科技大学 一种基于孪生网络的端到端图像模板匹配方法
CN115330876A (zh) * 2022-09-15 2022-11-11 中国人民解放军国防科技大学 基于孪生网络和中心位置估计的目标模板图匹配定位方法
CN115330876B (zh) * 2022-09-15 2023-04-07 中国人民解放军国防科技大学 基于孪生网络和中心位置估计的目标模板图匹配定位方法
CN115861595A (zh) * 2022-11-18 2023-03-28 华中科技大学 一种基于深度学习的多尺度域自适应异源图像匹配方法
CN115861595B (zh) * 2022-11-18 2024-05-24 华中科技大学 一种基于深度学习的多尺度域自适应异源图像匹配方法

Also Published As

Publication number Publication date
CN110245678B (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
CN110245678A (zh) 一种异构孪生区域选取网络及基于该网络的图像匹配方法
CN113065558B (zh) 一种结合注意力机制的轻量级小目标检测方法
CN108256544B (zh) 图片分类方法和装置、机器人
CN107437092B (zh) 基于三维卷积神经网络的视网膜oct图像的分类方法
CN108573276A (zh) 一种基于高分辨率遥感影像的变化检测方法
CN105320965B (zh) 基于深度卷积神经网络的空谱联合的高光谱图像分类方法
CN106407986B (zh) 一种基于深度模型的合成孔径雷达图像目标识别方法
CN105046276B (zh) 基于低秩表示的高光谱图像波段选择方法
CN106796716B (zh) 用于为低分辨率图像提供超分辨率的设备和方法
CN109584178A (zh) 图像修复方法、装置和存储介质
CN108510535A (zh) 一种基于深度预测和增强子网络的高质量深度估计方法
CN110097129A (zh) 基于轮廓波分组特征金字塔卷积的遥感目标检测方法
CN109241982A (zh) 基于深浅层卷积神经网络的目标检测方法
CN110570363A (zh) 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法
CN109558806A (zh) 高分遥感图像变化的检测方法和***
CN109376767A (zh) 基于深度学习的视网膜oct图像分类方法
CN109102485A (zh) 基于nsst和自适应双通道pcnn的图像融合方法及装置
CN110163836A (zh) 基于深度学习用于高空巡检下的挖掘机检测方法
CN110245711A (zh) 基于角度旋转生成网络的sar目标识别方法
CN108960404A (zh) 一种基于图像的人群计数方法及设备
CN109272487A (zh) 一种基于视频的公共区域内人群的数量统计方法
CN110211127B (zh) 基于双相关性网络的图像分割方法
CN106372597B (zh) 基于自适应上下文信息的cnn交通检测方法
CN109598676A (zh) 一种基于哈达玛变换的单幅图像超分辨率方法
CN113610905B (zh) 基于子图像匹配的深度学习遥感图像配准方法及应用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant