CN112733724B - 基于判别样本元挖掘器的亲属关系验证方法和装置 - Google Patents

基于判别样本元挖掘器的亲属关系验证方法和装置 Download PDF

Info

Publication number
CN112733724B
CN112733724B CN202110035353.5A CN202110035353A CN112733724B CN 112733724 B CN112733724 B CN 112733724B CN 202110035353 A CN202110035353 A CN 202110035353A CN 112733724 B CN112733724 B CN 112733724B
Authority
CN
China
Prior art keywords
positive
sample
network
negative
negative sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110035353.5A
Other languages
English (en)
Other versions
CN112733724A (zh
Inventor
鲁继文
周杰
李万华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110035353.5A priority Critical patent/CN112733724B/zh
Publication of CN112733724A publication Critical patent/CN112733724A/zh
Application granted granted Critical
Publication of CN112733724B publication Critical patent/CN112733724B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种基于判别样本元挖掘器的亲属关系验证方法和装置,其中,方法包括:根据第一正负样本比例获取第一正负样本对图像;根据第一正负样本对图像对亲属关系模型执行一次虚拟更新得到更新后的候选亲属关系模型;使用第二正负样本比例获取第二正负样本对图像;根据第二正负样本对图像对更新元挖掘网络的网络参数,得到目标元挖掘网络;将第一正负样本对图像中的每对正负样本对图像输入目标元挖掘网络,获取每对正负样本对图像的样本权重;根据样本权重训练候选亲属关系模型得到目标亲属关系模型,以便于根据目标亲属关系模型识别图像之间的亲属关系。由此,解决了亲属验证数据集与生俱来的数据不平衡问题。

Description

基于判别样本元挖掘器的亲属关系验证方法和装置
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种基于判别样本元挖掘器的亲属关系验证方法和装置。
背景技术
亲属关系验证要求对于给定的两张人脸图片,判别两者之间是否存在亲属关系。亲属关系验证有许多现实引用,包括丢失孩童查找,智能家庭相册管理,以及社交媒体分析等。
现有的亲属关系验证的数据库通常将数据组织为正样本对,也就是只搜集有亲属关系的样本对,没有关系的样本对就可以通过随机组合有关系的样本对来获得。假设数据库中有N对有亲属关系的样本对,那么通过随机组合所有可能的无关系的样本对,就可以得到N(N-1)个负样本对,显然负样本对的数目明显高于正样本对,如何利用有限的正样本对的同时从大量的负样本对中挖掘到有效的信息是一个有价值的方向。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的第一个目的在于提出一种基于判别样本元挖掘器的亲属关系验证方法,解决了亲属验证数据集与生俱来的数据不平衡问题。
本发明的第二个目的在于提出一种基于判别样本元挖掘器的亲属关系验证装置。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
本发明的第五个目的在于提出一种计算机程序产品。
为达上述目的,本发明第一方面实施例提出了一种基于判别样本元挖掘器的亲属关系验证方法,包括:根据第一正负样本比例获取第一正负样本对图像;
根据所述第一正负样本对图像对亲属关系模型执行一次虚拟更新得到更新后的候选亲属关系模型;
使用第二正负样本比例获取第二正负样本对图像;
根据所述第二正负样本对图像对更新所述元挖掘网络的网络参数,得到目标元挖掘网络;
将所述第一正负样本对图像中的每对正负样本对图像输入所述目标元挖掘网络,获取所述每对正负样本对图像的样本权重;
根据所述样本权重训练所述候选亲属关系模型得到目标亲属关系模型,以便于根据所述目标亲属关系模型识别图像之间的亲属关系。
为达上述目的,本发明第二方面实施例提出了一种基于判别样本元挖掘器的亲属关系验证装置,包括:第一获取模块,用于根据第一正负样本比例获取第一正负样本对图像;
第一更新模块,用于根据所述第一正负样本对图像对亲属关系模型执行一次虚拟更新得到更新后的候选亲属关系模型
第二获取模块,用于使用第二正负样本比例获取第二正负样本对图像;
第二更新模块,用于根据所述第二正负样本对图像对更新所述元挖掘网络的网络参数,得到目标元挖掘网络;
第三获取模块,用于将所述第一正负样本对图像中的每对正负样本对图像输入所述目标元挖掘网络,获取所述每对正负样本对图像的样本权重;
训练模块,用于根据所述样本权重训练所述候选亲属关系模型得到目标亲属关系模型,以便于根据所述目标亲属关系模型识别图像之间的亲属关系。
为达上述目的,本发明第三方面实施例提出了一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如上述第一方面实施例所述的基于判别样本元挖掘器的亲属关系验证方法。
为了实现上述目的,本发明第四方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面实施例所述的基于判别样本元挖掘器的亲属关系验证方法。
为了实现上述目的,本发明第五方面实施例提出了一种计算机程序产品,当所述计算机程序产品中的指令处理器执行时,实现如上述第一方面实施例所述的基于判别样本元挖掘器的亲属关系验证方法。
本发明的实施例,至少具有如下的技术效果:
提出了判别样本元挖掘器,来充分利用全部的可能的样本从而更好地训练亲属网络。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例所提供的一种基于判别样本元挖掘器的亲属关系验证方法的流程示意图;
图2为本发明实施例所提供的一种基于判别样本元挖掘器的亲属关系验证过程示意图;
图3为本发明实施例所提供的一种亲属关系网络的网络结构示意图;以及
图4为本发明实施例所提供的一种基于判别样本元挖掘器的亲属关系验证装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的基于判别样本元挖掘器的亲属关系验证方法和装置。
针对背景技术中提到的,在处理数据不均衡问题时,大多直接使用固定的平衡数据集,也就是直接从负样本对中随机采样N个样本对,与N个正样本对构成总大小为2N的数据集,这一方法就直接丢弃了剩余的N(N-2)个负样本,无法有效挖掘大量负样本中的有效信息。本专利提出了判别样本元挖掘器,来充分利用全部的可能的样本从而更好地训练亲属网络。
本发明的目的是解决亲属验证数据集与生俱来的数据不平衡问题,致力于在充分利用有限的正样本对的同时从大量的负样本对中挖掘到有判别力的样本,最终提升亲属关系验证的性能和精度。
图1为本发明实施例所提供的一种基于判别样本元挖掘器的亲属关系验证方法的流程示意图。如图1所示,该方法包括:
在本示例中,我们首先介绍我们所提出的亲属关系网络。我们的亲属关系网络致力于显式建模两张图片之间的关系来更好地预测他们之间的亲属关系。对于两张人脸图片,我们首先使用同一个卷积神经网络来提取图片特征,记这一对图片为(x,y),那么得到的图片特征分别记为(ex,ey),假设特征ex和ey均为D维特征,我们提出的亲属关系网络致力于为这两个特征的每一个维度的对比关系进行建模,我们的亲属关系可以形式化为下述公式(1):
Figure BDA0002894061340000041
其中,
Figure BDA0002894061340000042
Figure BDA0002894061340000043
分别代表了ex,ey的第i个元素,||代表对特征进行拼接。h和r则分别代表了多层神经网络。最后的输出层只有一个神经元,其使用了sigmoid函数进行激活,结果自然被归一化到0~1之间,数值越高表示有亲属关系的概率越高。在测试过程中,当f(x,y)>0.5时认为存在亲属关系,否则认为不存在亲属关系。亲属关系网络很好地建模了特征之间的关系,有效提升亲属关系验证的准确率。在训练阶段结束后,其单独部署用来亲属关系的验证任务。接下来我们详细描述如何使用提出的判别样本元挖掘器来训练亲属关系网络。
为了利用有限的正样本以及大量的负样本,我们提出了判别样本元挖掘器来对训练过程中的样本进行加权。整个训练过程由四个阶段构成:虚拟训练阶段,元训练阶段,样本挖掘阶段,事实训练阶段。这里,我们令亲属关系网络f的参数为θ,此外,记判别样本元挖掘器网络为
Figure BDA0002894061340000044
其中
Figure BDA0002894061340000045
表示其网络参数。接下来我们循环地进行以下四个阶段的训练:
步骤101,根据第一正负样本比例获取第一正负样本对图像。
在本示例中,根据第一正负样本比例获取第一正负样本对图像,从N个正样本对和N(N-1)个负样本中采样得到一个正负比例为1∶C的批数据,令正样本对数目为m,得到(1+C)m对所述第一正负样本对图像。
具体而言,我们从N个正样本对和N(N-1)个负样本中采样得到一个正负比例为1∶C的批数据,令正样本对数目为m,那么该不均衡的训练批数据大小为(1+C)m。
步骤102,根据第一正负样本对图像对亲属关系模型执行一次虚拟更新得到更新后的候选亲属关系模型。
在本实施例中,假设我们已经获得了第t时刻的模型:θt
Figure BDA0002894061340000046
在该阶段,我们对亲属关系模型执行一次虚拟更新得到
Figure BDA0002894061340000047
在本实施例中,根据损失函数和所述第一正负样本对图像计算所述亲属关系模型的损失值,其中,所述损失函数为下述公式(2):
Figure BDA0002894061340000051
其中,Strn,p和Strn,n分别表示所述第一正负样本对图像中的正样本对和负样本对,C表示所述第一正负样本对图像中负样本对正样本数目的比例,函数g()表示判别样本元挖掘器网络,函数f()表示亲属关系网络,φ表达神经网络g的网络参数,θ表示神经网络f的网络参数,t表示迭代次数。
由于不同的
Figure BDA0002894061340000052
会导致不同的损失函数值,因此该损失函数是
Figure BDA0002894061340000053
的函数。我们使用随机梯度下降得到更新后的
Figure BDA0002894061340000054
即使用随机梯度下降算法和所述损失函数的损失值对亲属关系模型执行一次虚拟更新得到更新后的候选亲属关系模型,其中,
所述随机梯度下降算法为下述公式(3)
Figure BDA0002894061340000055
其中,α表示该步骤的学习率,是根据实验设置的固定值,t表示迭代次数,φ表达神经网络g的网络参数,θ表示神经网络f的网络参数。
步骤103,使用第二正负样本比例获取第二正负样本对图像。
在本实施例中,对元挖掘网络的更新,我们接着从整个数据集中随机采样一个类别均衡的元训练批数据(第二正负样本对图像),也就是该批数据中正负样本比例为1∶1。
步骤104,根据第二正负样本对图像对更新元挖掘网络的网络参数,得到目标元挖掘网络。
在本实施例中,在得到了
Figure BDA0002894061340000056
之后,我们使用元学习的思路来更新元挖掘网络的参数得到
Figure BDA0002894061340000057
根据损失函数和所述第二正负样本对图像计算所述元挖掘网络的损失值,其中,所述损失函数为公式(4):
Figure BDA0002894061340000058
其中,Smeta,p和S,neta,n分别表示所述第二正负样本对图像中的正样本对和负样本对。
进一步的,接着我们使用随机梯度下降的方法来得到更新后的元挖掘网络的参数,使用随机梯度下降的算法更新所述元挖掘网络的网络参数,得到目标元挖掘网络,其中,所述随机梯度下降的算法为下述公式(5):
Figure BDA0002894061340000061
其中,β表示该步骤的学习率,t表示迭代次数,φ表达神经网络g的网络参数,θ表示神经网络f的网络参数。
步骤105,将第一正负样本对图像中的每对正负样本对图像输入目标元挖掘网络,获取每对正负样本对图像的样本权重。
不平衡训练批数据的判别样本挖掘。得到了更新之后的元挖掘网络,我们使用该网络对第一阶段中使用的不平衡训练批数据进行判别样本的挖掘。具体而言,我们对批数据中的样本进行样本的加权。我们将每个样本都送入到元挖掘网络中,元挖掘网络为每个样本输出一个数值,该数值就代表了元挖掘网络认为该样本的重要性。最后这些数值在批内进行归一化,具体而言,对于一个样本s的权重,可以形式化为公式(6):
Figure BDA0002894061340000062
步骤106,根据样本权重训练候选亲属关系模型得到目标亲属关系模型,以便于根据目标亲属关系模型识别图像之间的亲属关系。
在获得了每个样本的权重之后,我们使用这些权重对样本加权来真正训练我们的亲属关系网络。加权后的损失函数为公式(7):
Figure BDA0002894061340000063
随后我们使用随机梯度下降来更新亲属关系网络:使用随机梯度下降算法来更新所述候选亲属关系模型得到目标亲属关系模型,其中,所述随机梯度下降算法为公式(8):
Figure BDA0002894061340000064
其中,γ为该步骤的学习率。
这样反复迭代以上面几个步骤,就可以得到最终训练好的亲属关系网络。附图2描述了上述过程,其中,在图2中,h-MLP和r-MLP分别表示两个MLP(多层神经网络),这两个神经网络表示的变换可以用函数h和r来表示,对应着上面公式1中的h和r,最后我们详细介绍元挖掘网络的具体组成。元挖掘网络由一个三层的全连接神经网络组成,其输入维度为3,分别输入一个样本对的标签、亲属关系模型对该样本对的预测以及对应的二元交叉熵损失函数值。这三个维度代表了一个样本对的信息,用于元挖掘网络的输入,元挖掘网络的输出维度为1,使用sigmoid进行激活,激活后的数值就表示了元挖掘网络预测的该样本的权重。
由此,在本发明的实施例中,包括两个逻辑模块:亲属关系网络和判别样本元挖掘器网络。亲属关系网络负责对于给定的样本预测其亲属关系的存在与否,判别样本元挖掘器负责在训练过程中对训练样本进行加权,从而更好的指导亲属关系网络的训练。亲属关系网络需要对一对图片进行预测,其网络结构的设计如附图3所示。判别样本元挖掘器由一个三层的神经网络构成,其对每一个样本都输出一个权重来对训练样本进行加权。在训练阶段,判别样本元挖掘器和亲属关系网络一同在元学习的框架下进行学习,在测试阶段,亲属关系网络单独用来部署预测亲属关系。
由此,本实施例中,基于关系网络的亲属关系网络。训练中我们提出了一种基于关系网络的亲属关系网络,该网络可以更好地挖掘两张图片之间的亲属关系,从而得到更高的性能,基于判别样本元挖掘器的亲属关系训练方法,该方法可以在有效利用有限的正样本对的同时充分挖掘大量的负样本对的信息,从而得到更加准确的亲属验证模型。
综上,本发明实施例的基于判别样本元挖掘器的亲属关系验证方法,提出了判别样本元挖掘器,来充分利用全部的可能的样本从而更好地训练亲属网络。
为了实现上述实施例,本发明还提出一种基于判别样本元挖掘器的亲属关系验证装置。
图4为本发明实施例提供的一种基于判别样本元挖掘器的亲属关系验证装置的结构示意图。
如图4所示,该基于判别样本元挖掘器的亲属关系验证装置包括:第一获取模块410、第一更新模块420、第二获取模块430、第二更新模块440、第三获取模块450、训练模块460。
其中,第一获取模块410,用于根据第一正负样本比例获取第一正负样本对图像;
第一更新模块420,用于根据所述第一正负样本对图像对亲属关系模型执行一次虚拟更新得到更新后的候选亲属关系模型
第二获取模块430,用于使用第二正负样本比例获取第二正负样本对图像;
第二更新模块440,用于根据所述第二正负样本对图像对更新所述元挖掘网络的网络参数,得到目标元挖掘网络;
第三获取模块450,用于将所述第一正负样本对图像中的每对正负样本对图像输入所述目标元挖掘网络,获取所述每对正负样本对图像的样本权重;
训练模块460,用于根据所述样本权重训练所述候选亲属关系模型得到目标亲属关系模型,以便于根据所述目标亲属关系模型识别图像之间的亲属关系。
需要说明的是,前述对基于判别样本元挖掘器的亲属关系验证方法实施例的解释说明也适用于该实施例的基于判别样本元挖掘器的亲属关系验证装置,此处不再赘述。
为了实现上述实施例,本发明还提出一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如上述实施例所描述的基于判别样本元挖掘器的亲属关系验证方法。
为了实现上述实施例,本发明还提出一种非临时性计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述实施例所描述的基于判别样本元挖掘器的亲属关系验证方法。
为了实现上述实施例,本发明还提出一种计算机程序产品,当所述计算机程序产品中的指令处理器执行时,实现如上述实施例所描述的基于判别样本元挖掘器的亲属关系验证方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用,或结合这些指令执行***、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种基于判别样本元挖掘器的亲属关系验证方法,其特征在于,包括:
根据第一正负样本比例获取第一正负样本对图像;
根据所述第一正负样本对图像对亲属关系模型执行一次虚拟更新得到更新后的候选亲属关系模型;
使用第二正负样本比例获取第二正负样本对图像;
根据所述第二正负样本对图像更新元挖掘网络的网络参数,得到目标元挖掘网络,其中,所述元挖掘网络包括三层的全连接神经网络,所述元挖掘网络的输入为样本对的标签、亲属关系模型对所述样本对的预测以及所述样本对的二元交叉熵损失函数值,所述元挖掘网络的输出为预测的所述样本对的权重;
将所述第一正负样本对图像中的每对正负样本对图像输入所述目标元挖掘网络,获取所述每对正负样本对图像的样本权重;
根据所述样本权重训练所述候选亲属关系模型得到目标亲属关系模型,以便于根据所述目标亲属关系模型识别图像之间的亲属关系。
2.如权利要求1所述的方法,其特征在于,所述根据第一正负样本比例获取第一正负样本对图像,包括:
从N个正样本对和N(N-1)个负样本中采样得到一个正负比例为1:C的批数据,令正样本对数目为m,得到(1+C)m对所述第一正负样本对图像。
3.如权利要求1所述的方法,其特征在于,所述根据所述第一正负样本对图像对亲属关系模型执行一次虚拟更新得到更新后的候选亲属关系模型,包括:
根据损失函数和所述第一正负样本对图像计算所述亲属关系模型的损失值,其中,所述损失函数为:
Figure FDA0003614989650000011
其中Strn,p和Strn,n分别表示所述第一正负样本对图像中的正样本对和负样本对,C表示所述第一正负样本对图像中负样本对正样本数目的比例,函数g()表示判别样本元挖掘器网络,函数f()表示亲属关系网络,φ表达神经网络g的网络参数,θ表示神经网络f的网络参数,t表示迭代次数;
使用随机梯度下降算法和所述损失函数的损失值对亲属关系模型执行一次虚拟更新得到更新后的候选亲属关系模型,其中,
所述随机梯度下降算法为:
Figure FDA0003614989650000021
其中,α表示该步骤的学习率,t表示迭代次数,φ表达神经网络g的网络参数,θ表示神经网络f的网络参数。
4.如权利要求1所述的方法,其特征在于,所述根据所述第二正负样本对图像对更新所述元挖掘网络的网络参数,得到目标元挖掘网络,包括:
根据损失函数和所述第二正负样本对图像计算所述元挖掘网络的损失值,其中,所述损失函数为:
Figure FDA0003614989650000022
其中,Smeta,p和Smeta,n分别表示所述第二正负样本对图像中的正样本对和负样本对;
使用随机梯度下降的算法更新所述元挖掘网络的网络参数,得到目标元挖掘网络,其中,所述随机梯度下降的算法为:
Figure FDA0003614989650000023
其中,β表示该步骤的学习率,t表示迭代次数,φ表达神经网络g的网络参数,θ表示神经网络f的网络参数。
5.如权利要求1所述的方法,其特征在于,所述样本权重形式化为:
Figure FDA0003614989650000024
其中,函数g()表示判别样本元挖掘器网络,该公式表示了如何计算样本对s的权重w,故而
Figure FDA0003614989650000025
表示了样本对s的权重,q表示对应样本对集合Strn,p或Strn,n中的一个样本对,用来进行样本对的枚举和索引。
6.如权利要求1所述的方法,其特征在于,所述根据所述样本权重训练所述候选亲属关系模型得到目标亲属关系模型,包括:
根据损失函数和所述样本权重计算所述候选亲属关系模型的损失值,其中,所述损失函数为:
Figure FDA0003614989650000026
进一步的,使用随机梯度下降算法来更新所述候选亲属关系模型得到目标亲属关系模型,其中,所述随机梯度下降算法为:
Figure FDA0003614989650000031
其中,γ为该步骤的学习率,C表示所述第一正负样本对图像中负样本对正样本数目的比例,
Figure FDA0003614989650000032
表示了样本对s的权重,s表示对应样本对集合Strn,p或Strn,n中的一个样本对,用来进行样本对的枚举和索引,函数g()表示判别样本元挖掘器网络,函数f()表示亲属关系网络,φ表达神经网络g的网络参数,θ表示神经网络f的网络参数,t表示迭代次数。
7.一种基于判别样本元挖掘器的亲属关系验证装置,其特征在于,包括:
第一获取模块,用于根据第一正负样本比例获取第一正负样本对图像;
第一更新模块,用于根据所述第一正负样本对图像对亲属关系模型执行一次虚拟更新得到更新后的候选亲属关系模型;
第二获取模块,用于使用第二正负样本比例获取第二正负样本对图像;
第二更新模块,用于根据所述第二正负样本对图像更新元挖掘网络的网络参数,得到目标元挖掘网络,其中,所述元挖掘网络包括三层的全连接神经网络,所述元挖掘网络的输入为样本对的标签、亲属关系模型对所述样本对的预测以及所述样本对的二元交叉熵损失函数值,所述元挖掘网络的输出为预测的所述样本对的权重;
第三获取模块,用于将所述第一正负样本对图像中的每对正负样本对图像输入所述目标元挖掘网络,获取所述每对正负样本对图像的样本权重;
训练模块,用于根据所述样本权重训练所述候选亲属关系模型得到目标亲属关系模型,以便于根据所述目标亲属关系模型识别图像之间的亲属关系。
8.一种计算机设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如权利要求1-6中任一所述的方法。
9.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN202110035353.5A 2021-01-12 2021-01-12 基于判别样本元挖掘器的亲属关系验证方法和装置 Active CN112733724B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110035353.5A CN112733724B (zh) 2021-01-12 2021-01-12 基于判别样本元挖掘器的亲属关系验证方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110035353.5A CN112733724B (zh) 2021-01-12 2021-01-12 基于判别样本元挖掘器的亲属关系验证方法和装置

Publications (2)

Publication Number Publication Date
CN112733724A CN112733724A (zh) 2021-04-30
CN112733724B true CN112733724B (zh) 2022-07-26

Family

ID=75590372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110035353.5A Active CN112733724B (zh) 2021-01-12 2021-01-12 基于判别样本元挖掘器的亲属关系验证方法和装置

Country Status (1)

Country Link
CN (1) CN112733724B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116029357B (zh) * 2023-03-29 2023-08-15 荣耀终端有限公司 训练样本生成、模型训练、点击率评估方法及电子设备
CN116310656B (zh) * 2023-05-11 2023-08-15 福瑞泰克智能***有限公司 训练样本确定方法、装置和计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647577A (zh) * 2018-04-10 2018-10-12 华中科技大学 一种自适应难例挖掘的行人重识别模型、方法与***
CN109784144A (zh) * 2018-11-29 2019-05-21 北京邮电大学 一种亲属关系识别方法及***
CN109993026A (zh) * 2017-12-29 2019-07-09 华为技术有限公司 亲属识别网络模型的训练方法及装置
CN112070153A (zh) * 2020-09-07 2020-12-11 深延科技(北京)有限公司 基于深度学习的亲属关系验证方法和***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902665A (zh) * 2019-03-28 2019-06-18 北京达佳互联信息技术有限公司 相似人脸检索方法、装置及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993026A (zh) * 2017-12-29 2019-07-09 华为技术有限公司 亲属识别网络模型的训练方法及装置
CN108647577A (zh) * 2018-04-10 2018-10-12 华中科技大学 一种自适应难例挖掘的行人重识别模型、方法与***
CN109784144A (zh) * 2018-11-29 2019-05-21 北京邮电大学 一种亲属关系识别方法及***
CN112070153A (zh) * 2020-09-07 2020-12-11 深延科技(北京)有限公司 基于深度学习的亲属关系验证方法和***

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Discriminative Deep Metric Learning for Face and Kinship Verification;Jiwen Lu等;《IEEE Transactions on Image Processing》;20170620;第26卷(第9期);第4269-4282页 *
Graph-Based Kinship Reasoning Network;Wanhua Li等;《2020 IEEE International Conference on Multimedia and Expo (ICME)》;20200609;第1-6页 *
Learning Meta Face Recognition in Unseen Domains;Jianzhu Guo等;《2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;20200805;第6162-6171页 *
基于局部特征融合的邻域排斥度量学***等;《模式识别与人工智能》;20170615;第31卷(第06期);第554-561页 *
基于深度卷积神经网络End-to-End模型的亲属关系认证算法;胡正平等;《模式识别与人工智能》;20180615;第30卷(第06期);第530-537页 *

Also Published As

Publication number Publication date
CN112733724A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN109816032B (zh) 基于生成式对抗网络的无偏映射零样本分类方法和装置
CN110659721B (zh) 一种目标检测网络的构建方法和***
CN112733724B (zh) 基于判别样本元挖掘器的亲属关系验证方法和装置
CN110738235B (zh) 肺结核判定方法、装置、计算机设备及存储介质
CN111507370A (zh) 获得自动标注图像中检查标签的样本图像的方法和装置
EP3767551A1 (en) Inspection system, image recognition system, recognition system, discriminator generation system, and learning data generation device
CN115496955B (zh) 图像分类模型训练方法、图像分类方法、设备和介质
CN109190808A (zh) 用户行为预测方法、装置、设备及介质
CN107977748B (zh) 一种多变量扭曲时间序列预测方法
CN115457395A (zh) 基于通道注意力与多尺度特征融合的轻量级遥感目标检测方法
EP3637327A1 (en) Computing device and method
CN116089883B (zh) 用于提高已有类别增量学习新旧类别区分度的训练方法
CN116151319A (zh) 搜索神经网络集成模型的方法、装置和电子设备
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN110069997B (zh) 场景分类方法、装置及电子设备
CN113592071B (zh) 设备故障识别模型训练、识别方法、***、装置及介质
CN114528913A (zh) 基于信任和一致性的模型迁移方法、装置、设备及介质
CN114997036A (zh) 基于深度学习的网络拓扑重构方法、装置和设备
CN116861262B (zh) 一种感知模型训练方法、装置及电子设备和存储介质
CN111696636B (zh) 一种基于深度神经网络的数据处理方法及装置
CN112348188A (zh) 模型生成方法及装置、电子设备和存储介质
CN109326324B (zh) 一种抗原表位的检测方法、***及终端设备
CN113569960B (zh) 基于域适应的小样本图像分类方法及***
CN114612527A (zh) 图像配准方法、装置、电子设备及存储介质
CN114496068A (zh) 蛋白质二级结构预测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant