CN111091010A - 相似度确定、网络训练、查找方法及装置和存储介质 - Google Patents

相似度确定、网络训练、查找方法及装置和存储介质 Download PDF

Info

Publication number
CN111091010A
CN111091010A CN201911159185.XA CN201911159185A CN111091010A CN 111091010 A CN111091010 A CN 111091010A CN 201911159185 A CN201911159185 A CN 201911159185A CN 111091010 A CN111091010 A CN 111091010A
Authority
CN
China
Prior art keywords
data
semantic representation
similarity
semantic
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911159185.XA
Other languages
English (en)
Inventor
张振中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201911159185.XA priority Critical patent/CN111091010A/zh
Publication of CN111091010A publication Critical patent/CN111091010A/zh
Priority to PCT/CN2020/127142 priority patent/WO2021098534A1/zh
Priority to US17/418,562 priority patent/US20220076052A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3347—Query execution using vector based model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274—Syntactic or semantic context, e.g. balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/753—Transform-based matching, e.g. Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种数据相似度确定方法和装置、非暂时性存储介质、神经网络的训练方法和装置以及相似对象查找方法。该数据相似度确定方法包括：获取第一对象的第一数据，其中，第一数据包括为第一模态或第二模态的第一子数据；将第一子数据映射为语义比较空间中的第一语义表示，其中，语义比较空间使得第一模态的数据映射至语义比较空间得到的语义表示以及第二模态的数据映射至语义比较空间得到的语义表示是可计算相似度的；获取第二对象的第二数据，其中，第二数据包括为第一模态或第二模态的第二子数据；将第二子数据映射为语义比较空间中的第二语义表示；至少基于第一语义表示和第二语义表示计算第一数据和第二数据之间的相似度。

Description

相似度确定、网络训练、查找方法及装置和存储介质
技术领域
本公开的实施例涉及一种数据相似度确定方法、数据相似度确定装置、非暂时性存储介质、用于数据相似度确定的神经网络的训练方法和装置、相似对象查找方法和装置。
背景技术
随着医疗信息化的高速发展，电子医疗数据呈指数级增长。海量的电子医疗数据为开展大数据分析和挖掘提供了机会。例如，对于给定患者，可以从大量的电子医疗数据中找出与该给定患者相似的患者。这些与该给定患者相似的患者的诊断、治疗和康复等信息可以在以下方面作为重要参考：评估健康风险，选择治疗方案，估计住院时长和治疗费用，由此可以为给定患者提供个性化医疗服务，提高医疗服务质量。上述利用相似患者的信息提供个性化医疗服务的过程类似于医生在观测大量的临床案例数据后进行临床决策的过程，在临床上具有较大的意义。
发明内容
本公开的至少一个实施例提供了一种数据相似度确定方法，其包括：获取第一对象的第一数据，其中，所述第一数据包括为第一模态或第二模态的第一子数据；将所述第一子数据映射为语义比较空间中的第一语义表示，其中，所述语义比较空间使得为所述第一模态的数据映射至所述语义比较空间得到的语义表示以及为所述第二模态的数据映射至所述语义比较空间得到的语义表示是可计算相似度的；获取第二对象的第二数据，其中，所述第二数据包括为所述第一模态或所述第二模态的第二子数据；将所述第二子数据映射为所述语义比较空间中的第二语义表示；至少基于所述第一语义表示和所述第二语义表示计算所述第一数据和所述第二数据之间的相似度。
例如，在所述数据相似度确定方法的至少一个示例中，所述第一模态是文本，所述第二模态是影像。
例如，在所述数据相似度确定方法的至少一个示例中，所述第一数据包括为所述第一模态的第一子数据和为所述第二模态的第三子数据；所述第二数据包括为所述第一模态的第二子数据和为所述第二模态的第四子数据；所述第一对象包括第一特性，所述第一子数据包括描述所述第一特性的第一子语义，以及所述第三子数据包括描述所述第一特性的第三子语义；所述第二对象包括第二特性，所述第二子数据包括描述所述第二特性的第二子语义，以及所述第四子数据包括描述所述第二特性的第四子语义；所述方法还包括：将所述第三子数据映射为所述语义比较空间中的第三语义表示，以及将所述第四子数据映射为所述语义比较空间中的第四语义表示；所述至少基于所述第一语义表示和所述第二语义表示计算所述第一数据和所述第二数据之间的相似度包括：基于所述第一语义表示、所述第二语义表示、所述第三语义表示和所述第四语义表示得到所述第一数据和所述第二数据之间的相似度。
例如，在所述数据相似度确定方法的至少一个示例中，基于所述第一语义表示、所述第二语义表示、所述第三语义表示和所述第四语义表示得到所述第一数据和所述第二数据之间的相似度包括：计算所述第一语义表示和所述第四语义表示之间的相似度以及所述第二语义表示和所述第三语义表示之间的相似度中的至少一个。
例如，在所述数据相似度确定方法的至少一个示例中，基于所述第一语义表示、所述第二语义表示、所述第三语义表示和所述第四语义表示得到所述第一数据和所述第二数据之间的相似度还包括：计算所述第一语义表示和所述第二语义表示之间的相似度以及所述第三语义表示和所述第四语义表示之间的相似度中的至少一个。
例如，在所述数据相似度确定方法的至少一个示例中，所述第一数据和所述第二数据之间的相似度等于所述第一语义表示和所述第四语义表示之间的相似度，所述第二语义表示和所述第三语义表示之间的相似度，所述第一语义表示和所述第二语义表示之间的相似度，以及所述第三语义表示和所述第四语义表示之间的相似度之和。
例如，在所述数据相似度确定方法的至少一个示例中，所述第一语义表示、所述第二语义表示、所述第三语义表示和所述第四语义表示均表达为向量；以及所述第一语义表示对应的向量的维度，所述第二语义表示对应的向量的维度，所述第三语义表示对应的向量的维度，以及所述第四语义表示对应的向量的维度彼此相等。
例如，在所述数据相似度确定方法的至少一个示例中，所述第一数据和所述第二数据之间的相似度f(pi,pj)采用下述的表达式获取：
f(pi,pj)＝f((ti,gi),(tj,gj))＝sim1(ti,tj)+sim2(ti,gj)+sim2(gi,tj)+sim1(gi,gj),
rti＝NN1(ti),rgi＝NN2(gi),rtj＝NN1(tj),rgj＝NN2(gj),
Figure BDA0002285604490000031
Figure BDA0002285604490000032
Figure BDA0002285604490000033
Figure BDA0002285604490000034
其中，pi为所述第一数据，pj为所述第二数据，ti为所述第一子数据，gi为所述第三子数据，tj为所述第二子数据，gj为所述第四子数据，sim1(ti,tj)为所述第一子数据和所述第二子数据之间的相似度，sim1(gi,gj)为所述第三子数据和所述第四子数据之间的相似度，sim2(ti,gj)为所述第一子数据和所述第四子数据之间的相似度，sim2(gi,tj)为所述第二子数据和所述第三子数据之间的相似度，NN1为使用第一神经网络对对应的子数据进行映射，NN2为使用第二神经网络对对应的子数据进行映射，rti为所述第一语义表示，rgi为所述第三语义表示，rtj为所述第二语义表示，rgj为所述第四语义表示。
例如，在所述数据相似度确定方法的至少一个示例中，使用第一神经网络将所述第一子数据映射为所述第一语义表示以及将所述第二子数据映射为所述第二语义表示；以及使用第二神经网络将所述第三子数据映射为所述第三语义表示以及将所述第四子数据映射为所述第四语义表示。
本公开的至少一个实施例还提供了一种数据相似度确定装置，其包括：获取模块、映射模块和相似度计算模块。所述获取模块被配置为获取第一对象的第一数据以及第二对象的第二数据，所述第一数据包括为第一模态或第二模态的第一子数据，所述第二数据包括为所述第一模态或所述第二模态的第二子数据；所述映射模块被配置为将所述第一子数据映射为语义比较空间中的第一语义表示，并将所述第二子数据映射为所述语义比较空间中的第二语义表示，所述语义比较空间使得为所述第一模态的数据映射至所述语义比较空间得到的语义表示以及为所述第二模态的数据映射至所述语义比较空间得到的语义表示是可计算相似度的；以及所述相似度计算模块被配置为至少基于所述第一语义表示和所述第二语义表示计算所述第一数据和所述第二数据之间的相似度。
例如，在所述数据相似度确定装置的至少一个示例中，所述第一数据包括为所述第一模态的第一子数据和为所述第二模态的第三子数据；所述第二数据包括为所述第一模态的第二子数据和为所述第二模态的第四子数据；所述第一对象包括第一特性，所述第一子数据包括描述所述第一特性的第一子语义，以及所述第三子数据包括描述所述第一特性的第三子语义；所述第二对象包括第二特性，所述第二子数据包括描述所述第二特性的第二子语义，以及所述第四子数据包括描述所述第二特性的第四子语义；所述映射模块还被配置为将所述第三子数据映射为所述语义比较空间中的第三语义表示，以及将所述第四子数据映射为所述语义比较空间中的第四语义表示；所述相似度计算模块被配置为基于所述第一语义表示、所述第二语义表示、所述第三语义表示和所述第四语义表示得到所述第一数据和所述第二数据之间的相似度。
例如，在所述数据相似度确定装置的至少一个示例中，所述相似度计算模块被配置为：计算所述第一语义表示和所述第四语义表示之间的相似度，所述第二语义表示和所述第三语义表示之间的相似度，所述第一语义表示和所述第二语义表示之间的相似度，以及所述第三语义表示和所述第四语义表示之间的相似度。所述第一数据和所述第二数据之间的相似度等于所述第一语义表示和所述第四语义表示之间的相似度，所述第二语义表示和所述第三语义表示之间的相似度，所述第一语义表示和所述第二语义表示之间的相似度，以及所述第三语义表示和所述第四语义表示之间的相似度之和。
本公开的至少一个实施例还提供了一种数据相似度确定装置，其包括：处理器和存储器，所述存储器中存储有适于所述处理器执行的计算机程序指令，所述计算机程序指令被所述处理器运行时使得所述处理器执行本公开的至少一个实施例提供的任一数据相似度确定方法。
本公开的至少一个实施例还提供了一种非暂时性存储介质，其包括存储其上的计算机程序指令，所述计算机程序指令被处理器运行时使得计算机执行本公开的至少一个实施例提供的任一数据相似度确定方法。
本公开的至少一个实施例还提供了一种用于数据相似度确定的神经网络的训练方法，其包括：获取训练对象的第一训练数据，其中，所述第一训练数据包括为第一模态的第一训练子数据和为第二模态的第二训练子数据，所述训练对象包括训练特性，所述第一训练子数据包括描述所述训练特性的第一训练子语义，以及所述第二训练子数据包括描述所述训练特性的第二训练子语义；将所述第一训练子数据通过第一神经网络映射为语义比较空间中的第一训练语义表示，其中，所述语义比较空间使得为所述第一模态的数据映射至所述语义比较空间得到的语义表示以及为所述第二模态的数据映射至所述语义比较空间得到的语义表示是可计算相似度的；将所述第二训练子数据通过第二神经网络映射为所述语义比较空间中的第二训练语义表示；计算所述第一训练语义表示和所述第二训练语义表示的相似度，并且根据所述第一训练语义表示和所述第二训练语义表示的相似度来调整所述第一神经网络和所述第二神经网络至少之一的参数。
例如，在所述训练方法的至少一个示例中，所述根据所述第一训练语义表示和所述第二训练语义表示的相似度来调整所述第一神经网络和所述第二神经网络至少之一的参数包括：基于所述第一训练语义表示和所述第二训练语义表示的相似度计算损失函数；以及通过调整所述第一神经网络和所述第二神经网络至少之一的参数使得所述损失函数最小化。
例如，在所述训练方法的至少一个示例中，所述损失函数l采用下述的表达式获取：
Figure BDA0002285604490000051
其中，trti为第i个所述训练对象的第一训练子数据，trgi为所述第i个训练对象的第二训练子数据，sim2(trti,trgi)为所述第i个训练对象的第一训练子数据和所述第i个训练对象的第二训练子数据之间的相似度，NN1为使用所述第一神经网络对对应的训练子数据进行映射，NN2为使用所述第二神经网络对对应的训练子数据进行映射，NN1(trti)为所述第i个训练对象的第一训练语义表示，NN2(trgi)为所述第i个训练对象的第二训练语义表示；所述通过调整所述第一神经网络和所述第二神经网络至少之一的参数使得所述损失函数最小化包括基于梯度下降法调整所述第一神经网络和所述第二神经网络至少之一的参数。
本公开的至少一个实施例还提供了一种用于数据相似度确定的神经网络的训练装置，其包括：处理器和存储器。所述存储器中存储有适于所述处理器执行的计算机程序指令，所述计算机程序指令被所述处理器运行时使得所述处理器执行本公开的至少一个实施例提供的任一训练方法。
本公开的至少一个实施例还提供了一种相似对象查找方法，其包括：获取第一对象的第一数据；获取多个第二对象的第二数据；使用本公开的至少一个实施例提供的任一数据相似度确定方法计算所述第一对象与每个所述第二对象之间的相似度，以获得多个对象相似度；输出所述多个对象相似度中取值最大的对象相似度对应的第二对象的信息。
例如，在所述相似对象查找方法的至少一个示例中，所述相似对象查找方法还包括：基于所述多个对象相似度对所述多个第二对象进行排序。
本公开的至少一个实施例还提供了一种相似对象查找装置，其包括：本公开的至少一个实施例提供的任一数据相似度确定装置。
例如，在所述相似对象查找装置的至少一个示例中，所述的相似对象查找装置还包括对象数据库。所述对象数据库存储多个对象的数据，并将至少部分所述对象的数据提供给所述数据相似度确定装置，以作为多个第二对象的第二数据。
例如，在所述相似对象查找装置的至少一个示例中，所述的相似对象查找装置还包括人机交互界面。所述人机交互界面被配置为接收第一对象的第一数据，并将所述第一数据提供给所述数据相似度确定装置；所述数据相似度确定装置被配置为提供所述第一对象与每个所述第二对象之间的相似度作为多个对象相似度；所述人机交互界面还被配置为输出所述多个对象相似度中取值最大的对象相似度对应的第二对象的信息。
例如，在所述相似对象查找装置的至少一个示例中，所述的相似对象查找装置还包括信息发送接收器。所述信息发送接收器被配置为从客户端接收第一对象的第一数据，并将所述第一数据提供给所述数据相似度确定装置；所述数据相似度确定装置被配置为提供所述第一对象与每个所述第二对象之间的相似度作为多个对象相似度；所述信息发送接收器还被配置为将所述多个对象相似度中取值最大的对象相似度对应的第二对象的信息提供给所述客户端。
本公开的至少一个实施例还提供了一种相似对象查找装置，其包括：人机交互界面和信息发送接收器。所述人机交互界面被配置为接收第一对象的第一数据，并将所述第一数据提供给所述信息发送接收器；所述信息发送接收器被配置为将所述第一数据提供给服务器；所述信息发送接收器还被配置为从所述服务器接收与所述第一对象的第一数据相似度最大的第二对象的第二数据，并将所述第二对象的第二数据提供给所述人机交互界面；所述第一对象与每个所述第二对象之间的相似度由本公开的至少一个实施例提供的任一数据相似度确定装置确定。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
图1A示出了一种卷积神经网络的示意图。
图1B是一种卷积神经网络的结构示意图；
图1C是一种卷积神经网络的工作过程示意图；
图2是本公开至少一个实施例提供的数据相似度确定方法的流程图；
图3A是图2所示的数据相似度确定方法的一个示例；
图3B是图2所示的数据相似度确定方法的另一个示例；
图4是本公开的至少一个实施例提供的一种数据相似度确定装置的示例性框图；
图5是本公开的至少一个实施例提供的另一种数据相似度确定装置的示例性框图；
图6是本公开的至少一个实施例提供的非暂时性存储介质的示例性框图；
图7是本公开的至少一个实施例提供的一种用于数据相似度确定的神经网络的训练方法的流程图；
图8是本公开的至少一个实施例提供的用于数据相似度确定的神经网络的训练装置的示例性框图；
图9是本公开的至少一个实施例提供的一种相似对象查找方法的流程图；
图10是本公开的至少一个实施例提供的一种相似对象查找装置的示例性框图；
图11是图10所示相似对象查找装置的一个示例；
图12是图10所示相似对象查找装置的另一个示例；
图13是本公开的至少一个实施例提供的另一种相似对象查找装置的示例性框图；
图14是本公开的至少一个实施例提供的一种相似对象查找***；
图15是本公开的至少一个实施例提供的相似对象查找***的示例性的场景图；以及
图16是本公开的至少一个实施例提供的计算设备。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另作定义，此处使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
人工智能(Artificial Intelligence，AI)涉及利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得结果的理论、方法、技术及应用***。在AI领域的算法技术当中，深度学习(Deep Learning)受到学术界与工业界的广泛关注。随着深度学习在图像分类、目标检测以及自然语言处理等领域取得突破进展，将其应用到实际生活场景的需求也愈发强烈。
卷积神经网络(Convolutional Neural Network，CNN)可以用于识别二维形状。CNN主要通过局部感知野和权值共享来简化神经网络模型的复杂性、减少权重的数量。随着深度学习技术的发展，CNN的应用范围已经不仅仅限于图像识别领域，其也可以应用在人脸识别、文字识别、动物分类、图像处理等领域。
图1A示出了一种卷积神经网络的示意图。例如，该卷积神经网络可以用于图像处理，其使用图像作为输入和输出，并通过卷积核替代标量的权重。图1A中仅示出了具有3层结构的卷积神经网络，本公开的实施例对此不作限制。如图1A所示，卷积神经网络包括输入层101、隐藏层102和输出层103。输入层101具有4个输入，隐藏层102具有3个输出，输出层103具有2个输出，最终该卷积神经网络最终输出2幅图像。
例如，输入层101的4个输入可以为4幅图像，或者1幅图像的四种特征图像。隐藏层102的3个输出可以为经过输入层101输入的图像的特征图像。
例如，如图1A所示，卷积层具有权重
Figure BDA0002285604490000091
和偏置
Figure BDA0002285604490000092
权重
Figure BDA0002285604490000093
表示卷积核，偏置
Figure BDA0002285604490000094
是叠加到卷积层的输出的标量，其中，k是表示输入层101的标签，i和j分别是输入层101的单元和隐藏层102的单元的标签。例如，第一卷积层201包括第一组卷积核(图1A中的
Figure BDA0002285604490000095
)和第一组偏置(图1A中的
Figure BDA0002285604490000096
)。第二卷积层202包括第二组卷积核(图1A中的
Figure BDA0002285604490000097
)和第二组偏置(图1A中的
Figure BDA0002285604490000098
)。通常，每个卷积层包括数十个或数百个卷积核，若卷积神经网络为深度卷积神经网络，则其可以包括至少五层卷积层。
例如，如图1A所示，该卷积神经网络还包括第一激活层203和第二激活层204。第一激活层203位于第一卷积层201之后，第二激活层204位于第二卷积层202之后。激活层(例如，第一激活层203和第二激活层204)包括激活函数，激活函数用于给卷积神经网络引入非线性因素，以使卷积神经网络可以更好地解决较为复杂的问题。激活函数可以包括线性修正单元(ReLU)函数、S型函数(Sigmoid函数)或双曲正切函数(tanh函数)等。ReLU函数为非饱和非线性函数，Sigmoid函数和tanh函数为饱和非线性函数。例如，激活层可以单独作为卷积神经网络的一层，或者激活层也可以被包含在卷积层(例如，第一卷积层201可以包括第一激活层203，第二卷积层202可以包括第二激活层204)中。
例如，在第一卷积层201中，首先，对每个输入应用第一组卷积核中的若干卷积核
Figure BDA0002285604490000101
和第一组偏置中的若干偏置
Figure BDA0002285604490000102
以得到第一卷积层201的输出；然后，第一卷积层201的输出可以通过第一激活层203进行处理，以得到第一激活层203的输出。在第二卷积层202中，首先，对输入的第一激活层203的输出应用第二组卷积核中的若干卷积核
Figure BDA0002285604490000103
和第二组偏置中的若干偏置
Figure BDA0002285604490000104
以得到第二卷积层202的输出；然后，第二卷积层202的输出可以通过第二激活层204进行处理，以得到第二激活层204的输出。例如，第一卷积层201的输出可以为对其输入应用卷积核
Figure BDA0002285604490000105
后再与偏置
Figure BDA0002285604490000106
相加的结果，第二卷积层202的输出可以为对第一激活层203的输出应用卷积核
Figure BDA0002285604490000107
后再与偏置
Figure BDA0002285604490000108
相加的结果。
在利用卷积神经网络进行图像处理前，需要对卷积神经网络进行训练。经过训练之后，卷积神经网络的卷积核和偏置在图像处理期间保持不变。在训练过程中，各卷积核和偏置通过多组输入/输出示例图像以及优化算法进行调整，以获取优化后的卷积神经网络模型。
图1B是一种卷积神经网络的结构示意图；图1C是一种卷积神经网络的工作过程示意图。例如，如图1B所示，卷积神经网络包括第一层级、第二层级、第三层级、全连接层等。
例如，如图1B和图1C所示，输入图像通过输入层输入到卷积神经网络后，依次经过若干个处理过程(例如，如图1B中的第一层级、第二层级、第三层级)后输出类别标识。
需要说明的是，尽管图1B仅示出了卷积神经网络包括三个层级，(即第一层级、第二层级和第三层级)，但本公开的实施例不限于此。例如，卷积神经网络还可以包括两个层级、四个层级或者其它适用数目的层级。
例如，如图1B和图1C所示，第一层级、第二层级、第三层级的每个可以包括一个卷积模块和一个下采样层，也即，卷积神经网络的主要组成部分可以包括多个卷积层、多个下采样层和全连接层。例如，每个层级的处理过程可以包括：对输入图像进行卷积(convolution)以及下采样(sub-sampling/down-sampling)。
卷积层是卷积神经网络的核心层。在卷积神经网络的卷积层中，一个神经元只与部分相邻层的神经元连接。卷积层可以对输入图像应用若干个卷积核(也称为滤波器)，以提取输入图像的多种类型的特征。每个卷积核可以提取一种类型的特征。卷积核一般以随机小数矩阵的形式初始化，在卷积神经网络的训练过程中卷积核将通过学习以得到合理的权值。对输入图像应用一个卷积核之后得到的结果被称为特征图像(feature map)，特征图像的数目与卷积核的数目相等。每个特征图像由一些矩形排列的神经元组成，同一特征图像的神经元共享权值，这里共享的权值就是卷积核。一个层级的卷积层输出的特征图像可以被输入到相邻的下一个层级的卷积层并再次处理以得到新的特征图像。例如，如图1B所示，第一层级的卷积层可以输出第一特征图像，该第一特征图像被输入到第二层级的卷积层再次处理以得到第二特征图像。
例如，如图1C所示，卷积层可以使用不同的卷积核对输入图像的某一个局部感受域的数据进行卷积，卷积结果被输入激活层，该激活层根据相应的激活函数进行计算以得到输入图像的特征信息。
例如，如图1B和图1C所示，下采样层设置在相邻的卷积层之间，下采样层是下采样的一种形式。一方面，下采样层可以用于缩减输入图像的规模，简化计算的复杂度，在一定程度上减小过拟合的现象；另一方面，下采样层也可以进行特征压缩，提取输入图像的主要特征。下采样层能够减少特征图像的尺寸，但不改变特征图像的数量。例如，一个尺寸为12×12的输入图像，通过6×6的卷积核对其进行采样，那么可以得到2×2的输出图像，这意味着输入图像上的36个像素合并为输出图像中的1个像素。卷积神经网络的最后一个下采样层或卷积层可以连接到一个或多个全连接层，全连接层用于连接提取的所有特征。全连接层的输出为一个一维矩阵，也就是向量。
另外，深度学习为自然语言处理带来的最令人兴奋的突破是词向量。词向量(wordembedding)技术是将词转化成为向量，即将词映射到一个语义空间而得到向量。在该语义空间中，相似的词对应的词向量也相近，由此可以计算不同词之间的相似度。例如，可以利用神经网络将词语映射至向量空间。例如，在自然语言处理应用中，词向量作为深度学习模型的输入特征。
例如，词向量技术可以划分为基于统计方法的词向量技术以及基于语言模型的词向量技术。例如，基于统计方法的词向量技术可以划分为基于共现矩阵的词向量技术以及基于奇异值分解的词向量技术。例如，在基于语言模型的词向量技术中，语言模型生成词向量是通过训练神经网络语言模型NNLM(neural network language model)，词向量作为语言模型的附带产出。例如，基于语言模型的词向量技术包括基于word2vec的词向量技术。例如，word2vec是借用神经网络的方式实现的，利用了跳字模型(skip-gram)和连续词袋模型(continuous bag of words，CBOW)。例如，skip-gram模型利用一个词语作为输入，来预测它周围的上下文，CBOW模型利用一个词语的上下文作为输入，来预测这个词语本身。例如，跳字模型模型和连续词袋模型的训练方法可以参见相关技术，在此不再赘述。
此外，还可以使用循环神经网络(RNN)模型来分析词向量，将获得的词向量输入到RNN进行分析。长短时记忆模型是一种特殊的循环神经网络(RNN)模型，是为了解决RNN模型梯度弥散的问题而提出的；在传统的RNN中，训练算法使用的是随时间反向传播(BPTT)算法，当时间比较长时，需要回传的残差会指数下降，导致网络权重更新缓慢，无法体现出RNN的长期记忆的效果，因此需要一个存储单元来存储记忆。对此，研究人员提出了LSTM模型。长短时记忆模型的思想是将RNN中的每个隐藏单元换成了具有记忆功能的单元(cell)，即把RNN网络的隐藏层的小圆圈换成LSTM的块(block)。例如，长短时记忆模型包括遗忘门(用于决定让哪些信息继续通过单元)、传入门(用于决定让多少新的信息加入到单元中)和输出门(用于决定输出)。例如，长短时记忆网络的具体结构和工作原理可以参见相关技术，在此不再赘述。
本公开的发明人注意到，在进行不同类型的数据的综合分析时，相似对象查找的关键问题是如何计算(例如，准确的计算)两个对象之间的相似度。下面以医疗相关数据分析中相似患者查找为例进行说明。
相似患者查找的关键问题是如何获取两个患者之间的相似度。一种获取两个患者之间的相似度的方法是计算两个患者的单一模态的数据之间的相似度。例如，通过计算两个患者的电子病历所记载的文本信息之间的相似度来获取两个患者的相似度；又例如，通过计算两个患者的影像数据(例如，电子计算机X射线断层扫描(CT)图像、X射线扫描图像、核磁共振图像等)之间的相似度来获取两个患者的相似度。
本公开的发明人还注意到，理论上同一患者在同一次就诊中产生的电子病历数据和影像数据具有语义一致性。例如，某一患者的病历上有以下描述“左上肺可见一枚边界较清的结节，且结节尺寸为2.2厘米×1.4厘米”；该患者的胸部PET-CT(正电子发射计算机断层显像-电子计算机X射线断层扫描技术)图像上也显示左上肺有结节，此时，病历数据和影像数据描述了同一个客观事实，即具有语义一致性。但是，由于上述同一患者在同一次就诊中产生的电子病历数据和影像数据使用了不同的模态和方式去描述(即，分别使用语言和图像描述)患者的病情，因此，同一患者在同一次就诊中产生的电子病历数据和影像数据具有信息互补性。此外，电子病历数据和影像数据还可以对彼此提供的信息进行验证和复核。
本公开的发明人又注意到，由于相关的患者相似度计算方法通过计算两个患者的单一模态的数据之间的相似度来获取两个患者之间的相似度，因此，该患者相似度计算方法无法利用不同模态数据的信息互补性和/或不同模态数据的对彼此进行验证和复核的特性，由此患者相似度计算结果的准确性较低。对应地，基于上述患者相似度计算方法相似患者查找方法的查找性能可能较差(例如，查找到的相似患者可能并不是与给定患者最为相似的患者)。
本公开的至少一个实施例提供了一种数据相似度确定方法、数据相似度确定装置、非暂时性存储介质、用于数据相似度确定的神经网络的训练方法和装置以及相似对象查找方法。该数据相似度确定方法包括：获取第一对象的第一数据，其中，第一数据包括为第一模态或第二模态的第一子数据；将第一子数据映射为语义比较空间中的第一语义表示，其中，语义比较空间使得第一模态的数据映射至语义比较空间得到的语义表示以及第二模态的数据映射至语义比较空间得到的语义表示是可计算相似度的；获取第二对象的第二数据，其中，第二数据包括为第一模态或第二模态的第二子数据；将第二子数据映射为语义比较空间中的第二语义表示；至少基于第一语义表示和第二语义表示计算第一数据和第二数据之间的相似度。该数据相似度确定方法提升了数据相似度的计算结果的准确性。例如，语义比较空间可以是一种语义空间，在该语义空间中可以对语义表示进行比较，以计算语义表示之间的相似度。
下面通过几个示例和实施例对根据本公开实施例提供的数据相似度确定方法、数据相似度确定装置、非暂时性存储介质、用于数据相似度确定的神经网络的训练方法和装置以及相似对象查找方法和装置进行非限制性的说明，如下面所描述的，在不相互抵触的情况下这些具体示例和实施例中不同特征可以相互组合，从而得到新的示例和实施例，这些新的示例和实施例也都属于本公开保护的范围。
需要说明的是，为清楚起见，以下以患者的数据为例对本公开至少一个实施例提供的数据相似度确定方法进行示例性说明，但本公开的至少一个实施例提供的数据相似度确定方法不限于应用于患者数据的相似度。例如，本公开的至少一个实施例提供的数据相似度确定方法还可以应用于其他涉及采用不同类型的数据描述相同或相似特性的场景，例如，机械设备探伤数据(包括超声波扫描数据、光学图像数据等)的相似度。对应地，基于本公开的至少一个实施例提供的数据相似度确定方法的相似对象查找方法不仅可以应用相似患者的查找，还可以应用于其它场景中的相似对象的查找。
图2是本公开至少一个实施例提供的数据相似度确定方法的流程图。如图2所述，该数据相似度确定方法包括以下的步骤S110-步骤S150。
步骤S110：获取第一对象的第一数据。例如，第一数据包括为第一模态或第二模态的第一子数据。
步骤S120：将第一子数据映射为语义比较空间中的第一语义表示。例如，语义比较空间使得第一模态的数据映射至语义比较空间得到的语义表示以及第二模态的数据映射至语义比较空间得到的语义表示是可计算相似度的。
步骤S130：获取第二对象的第二数据。例如，第二数据包括为第一模态或第二模态的第二子数据。
步骤S140：将第二子数据映射为语义比较空间中的第二语义表示。
步骤S150：至少基于第一语义表示和第二语义表示计算第一数据和第二数据之间的相似度。
例如，通过将第一对象的第一数据和第二对象的第二数据均映射到同一语义空间中，即本公开实施例的语义比较空间中，也即，在使得第一模态的数据映射至语义比较空间得到的语义表示以及第二模态的数据映射至语义比较空间得到的语义表示是可计算相似度的语义比较空间中，可以利用不同模态的数据的信息互补性(例如，利用了多模态融合)，或使用不同模态的数据对彼此进行验证和复核(例如，使用为影像的数据可以对为病历的数据进行验证和复核)，由此本公开至少一个实施例提供的数据相似度确定方法可以提升数据相似度计算结果的准确性。
例如，该数据相似度确定方法可以按照步骤S110、步骤S120、步骤S130、步骤S140和步骤S150的顺序执行，但本公开的实施例不限于此。又例如，该数据相似度确定方法可以按照步骤S110+步骤S130(也即，步骤S110和步骤S130同时执行)、步骤S120+步骤S140(也即，步骤S120和步骤S140同时执行)和步骤S150的顺序执行。
例如，第一对象可以为给定患者，也即，当前求诊的患者；第二对象为待确定是否为给定患者的相似患者的参考患者，也即，需要确定与给定患者之间相似度的参考患者。
例如，第一模态与第二模态不同。例如，第一模态是文本，第二模态是影像(例如，图像)。例如，文本包括文字和数字的至少一个。例如，文本包括病历中的文本以及可穿戴终端提供的与生理特征相关的文本至少一个。例如，病历中的文本可以描述患者的基本信息、症状、诊断结果、治疗方案等。例如，影像包括医疗影像设备和可穿戴终端提供的与生理特征相关的图像的至少一个。例如，影像可以包括电子计算机X射线断层扫描图像、核磁共振图像、超声图像、心电图、脑电图、光学摄影等显示人体生理信息的图像。影像可以包括静态或动态图像。例如，视频图像可以作为包括多帧图像的影像。
例如，可以使用神经网络将第一子数据映射为语义比较空间中的第一语义表示，并且可以使用神经网络将第二子数据映射为语义比较空间中的第二语义表示。例如，在语义比较空间(例如n维空间)中，第一语义表示和第二语义表示均表达为向量(对应地，n维向量)，且向量具有相同的维度，由此可以基于向量在每个维度上的取值计算第一语义表示和第二语义表示之间的相似度。
例如，语义比较空间可以为n维的欧几里德空间，在该n维的欧几里德空间，可以计算向量之间的内积和距离，由此欧几里德空间使得第一模态的数据映射至欧几里德空间得到的语义表示以及为第二模态的数据映射至欧几里德空间得到的语义表示是可计算相似度。例如，神经网络可以将具有较高相似度的为第一模态的数据和为第二模态的数据映射到欧几里德空间的邻近区域，且使得通过映射为第一模态的数据获得的向量以及通过映射为第二模态的数据获得的向量具有相同的维度。
在一个示例中，第一数据包括为第一模态的第一子数据和为第二模态的第三子数据；第二数据包括为第一模态的第二子数据和为第二模态的第四子数据；第一对象包括第一特性，第一子数据包括描述第一特性的第一子语义，以及第三子数据包括描述第一特性的第三子语义；第二对象包括第二特性，第二子数据包括描述第二特性的第二子语义，以及第四子数据包括描述第二特性的第四子语义。
在上述示例中，该数据相似度确定方法还包括：将第三子数据映射为语义比较空间中的第三语义表示，以及将第四子数据映射为语义比较空间中的第四语义表示。
在上述示例中，至少基于第一语义表示和第二语义表示计算第一数据和第二数据之间的相似度包括：基于第一语义表示、第二语义表示、第三语义表示和第四语义表示得到第一数据和第二数据之间的相似度。
图3A是图2所示的数据相似度确定方法的一个示例。如图3A所示，该数据相似度确定方法包括以下的步骤S210-步骤S230。
步骤S210：获取第一对象的第一数据和第二对象的第二数据。
例如，第一对象可以为给定患者，也即，当前求诊的患者；第二对象为第二对象为待确定是否为给定患者的相似患者的参考患者，也即，需要确定与给定患者之间相似度的参考患者。
例如，第一数据包括为第一模态的第一子数据和为第二模态的第三子数据；第二数据包括为第一模态的第二子数据和为第二模态的第四子数据。
例如，第一模态是文本，第二模态是影像；此种情况下，第一数据包括为文本的第一子数据和为影像的第三子数据；第二数据包括为文本的第二子数据和为影像的第四子数据。
例如，第一对象包括第一特性，第一子数据包括描述第一特性的第一子语义，以及第三子数据包括描述第一特性的第三子语义；第二对象包括第二特性，第二子数据包括描述第二特性的第二子语义，以及第四子数据包括描述第二特性的第四子语义。例如，第一特性和第二特性均为描述对象在同一方面的特征。例如，第一特性描述给定患者的与肺部相关的特性，第二特性描述参考患者的与肺部相关的特性。
例如，第一子语义和第三子语义分别基于第一模态和第二模态描述第一特性，第二子语义和第四子语义基于使用第一模态和第二模态描述第二特性。例如，第一子数据的第一子语义包括以下描述“左上肺可见一枚边界较清结节影结节，且结节尺寸为2.2厘米×1.4厘米”；第三子数据的第三子语义包括胸部PET-CT(正电子发射计算机断层显像-电子计算机X射线断层扫描技术)图像的显示左上肺有结节的部分。
步骤S220：将第一子数据映射为语义比较空间中的第一语义表示，将第二子数据映射为语义比较空间中的第二语义表示，将第三子数据映射为语义比较空间中的第三语义表示，将第四子数据映射为语义比较空间中的第四语义表示。
例如，第一语义表示、第二语义表示、第三语义表示和第四语义表示均表达为向量，也即，第一语义表示、第二语义表示、第三语义表示和第四语义表示均为语义比较空间中的向量，具有相同的维度，由此可基于每个维度的大小计算不同语义表示之间的相似度。
例如，第一语义表示对应的向量的维度，第二语义表示对应的向量的维度，第三语义表示对应的向量的维度，以及第四语义表示对应的向量的维度可以根据实际经验进行预先设定。
例如，第一语义表示对应的向量的维度，第二语义表示对应的向量的维度，第三语义表示对应的向量的维度，以及第四语义表示对应的向量的维度彼此相等。例如，通过使得第一语义表示对应的向量的维度，第二语义表示对应的向量的维度，第三语义表示对应的向量的维度，以及第四语义表示对应的向量的维度彼此相等，可以使得第一语义表示、第二语义表示、第三语义表示和第四语义表示之间的任意两个均是可计算相似度的。
例如，第一子语义、第二子语义、第三子语义和第四子语义分别对应于第一语义表示、第二语义表示、第三语义表示和第四语义表示。例如，将第一子数据映射为语义比较空间中的第一语义表示，将第二子数据映射为语义比较空间中的第二语义表示，将第三子数据映射为语义比较空间中的第三语义表示，将第四子数据映射为语义比较空间中的第四语义表示包括：将第一子语义映射为语义比较空间中的第一语义表示，将第二子语义映射为语义比较空间中的第二语义表示，将第三子语义映射为语义比较空间中的第三语义表示，将第四子语义映射为语义比较空间中的第四语义表示。
例如，语义比较空间使得为第一模态的数据映射至语义比较空间得到的语义表示以及为第二模态的数据映射至语义比较空间得到的语义表示是可计算相似度的，也即，该语义比较空间使得不同模态的数据可在该语义比较空间中计算相似度，由此图3A所示的数据相似度确定方法可以利用为不同模态的数据的信息互补性和/或为不同模态数据的对彼此进行验证和复核的特性，进而可以提升数据相似度计算结果的准确性。
例如，将第一子数据、第二子数据、第三子数据和第四子数据分别映射为语义比较空间的第一语义表示、第二语义表示、第三语义表示和第四语义可以降低至少部分数据的维度，由此可以降低计算相似度的运算量。
在一个示例中，使用第一神经网络将第一子数据映射为语义比较空间的第一语义表示以及将第二子数据映射为语义比较空间的第二语义表示，使用第二神经网络将第三子数据映射为语义比较空间的第三语义表示以及将第四子数据映射为语义比较空间的第四语义表示；也即，使用第一神经网络将为第一模态的子数据映射至语义比较空间，使用第二神经网络将为第二模态的子数据映射至语义比较空间。例如，第一神经网络不同于第二神经网络，以将不同模态的子数据映射至同一语义比较空间；该第一神经网络和第二神经网络为训练后的神经网络(例如，通过机器学习训练后的神经网络)。
例如，第一语义表示rti，第三语义表示rgi，第二语义表示rtj，第四语义表示rgj可以采用下述的表达式获取：
rti＝NN1(ti),rgi＝NN2(gi),rtj＝NN1(tj),rgj＝NN2(gj),
此处，ti为第一子数据，gi为第三子数据，tj为第二子数据，gj为第四子数据，NN1为使用第一神经网络对对应的子数据进行映射，NN2为使用第二神经网络对对应的子数据进行映射。
例如，训练后的第一神经网络可以将病历的描述“左上肺可见一枚边界较清结节影结节，且结节尺寸为2.2厘米×1.4厘米”拆解为：器官类型为肺部(对应的数字为9)，器官存在异常(对应的数字为2)，异常为结节(对应的数字为4)，异常的位置为左上(对应的数字为1)，异常的尺寸为2.2厘米×1.4厘米。此种情况下，训练后的第一神经网络可以将病历中描述肺部相关特性的内容转换为第一向量(9，2，4，1，2.2，1.4)。例如，神经网络(例如，长短时记忆网络神经网络)将文本转换为向量的方法可以参见相关技术，此处不再赘述。
例如，训练后的第二神经网络具有确认医学影像中的器官类型和器官是否存在异常的功能；并且，如存在异常，训练后的第二神经网络还具有确定异常种类、位置和尺寸。例如，训练后的第二神经网络可以确认胸部PET-CT图像中的器官类型为肺部(对应的数字为对应的数字为9)，器官存在异常(对应的数字为2)，异常为结节(对应的数字为4)，异常在图像中的位置为左上(对应的数字为1)，异常的尺寸为2.2厘米×1.4厘米。此种情况下，训练后的第二神经网络可以将胸部PET-CT图像中描述肺部相关特性的区域提供的信息转换为第二向量(9，2，4，1，2.2，1.4)。例如，由于第一向量和第二向量相同，因此，可以得到上述病历和医学影像的相似度为1。例如，神经网络(例如，卷积神经网络)识别图像中物体的类型、尺寸和位置的方法可以参见相关技术，此处不再赘述。
例如，为了使得为不同模态的子数据在映射到语义比较空间之后能够保持语义一致性，在映射过程中要使得语义一致的子数据经过映射后在语义比较空间中的位置接近。例如，针对上面的左上肺具有结节的示例，假设为文本的第一子数据映射到语义比较空间(二维空间)的第一语义表示(二维向量)为(1.5，1.8)，则为影像的第三子数据映射到语义比较空间的第三语义表示(二维向量)也应该为(1.5，1.8)或者与(1.5，1.8)非常接近(例如二者之间根据比较算法(例如后面描述余弦相似度)所得到的差值小于等于预定阈值)，即语义一致的子数据映射到语义比较空间的位置应该一样或非常接近。
例如，可以利用多个对象(例如，多个以往的患者)的描述同一特性的第一模态的数据和第二模态的数据作为训练数据(或数据集)，并基于机器学习对第一神经网络和第二神经网络进行训练，来使得不同模态的子数据(对应于同一对象的同一特性的不同模态的子数据)在映射到语义比较空间之后能够保持语义一致性，并由此可以确定第一神经网络的相关参数以及第二神经网络的相关参数。例如，通过机器学习对第一神经网络和第二神经网络进行训练的具体方法可参考本公开的至少一个实施例提供的一种用于数据相似度确定的神经网络的训练方法和装置，在此不再赘述。
例如，在第一模态是文本，第二模态是影像的情况下，第一神经网络可以是长短时记忆网络(LSTM)，或者word2vec，或者word2vect+LSTM等；第二神经网络可以是卷积神经网络(CNN)，本公开的实施例对此不作限制，只要第一神经网络和第二神经网络可以分别将不同的模态的数据处理得到同一语义空间中的向量，由此可以计算所得到的不同向量之间的相似度。
步骤S230：基于第一语义表示、第二语义表示、第三语义表示和第四语义表示得到第一数据和第二数据之间的相似度。
在一个示例中，基于第一语义表示、第二语义表示、第三语义表示和第四语义表示得到第一数据和第二数据之间的相似度包括以下的步骤S231和步骤S232。
步骤S231：计算第一语义表示和第四语义表示之间的相似度，第二语义表示和第三语义表示之间的相似度，第一语义表示和第二语义表示之间的相似度，以及第三语义表示和第四语义表示之间的相似度。
例如，第一子数据和第二子数据之间的相似度sim1(ti,tj)，第三子数据和第四子数据之间的相似度sim1(gi,gj)，第一子数据和第四子数据之间的相似度sim2(ti,gj)以及第二子数据和第三子数据之间的相似度sim2(gi,tj)可以采用余弦相似度进行计算，也即，通过计算两个子数据对应的语义表示(向量)的余弦值来评估两个子数据的相似度。例如，在两个向量具有相同的指向时，余弦相似度的值为1；两个向量的夹角为90°时，余弦相似度的值为0；两个向量指向完全相反的方向时，余弦相似度的值为-1，因此，两个向量的余弦相似度(余弦值)位于-1到1之间，且两个向量的余弦相似度(余弦值)取值越大，表示两个向量越接近。对应地，两个向量对应的两个子数据的相似度越高。例如，在余弦相似度的值为-1时，表示两个向量负相关。例如，可以使得第一子数据对应的向量和第二子数据对应的向量中所有元素的取值为正，此种情况下，第一子数据对应的向量和第二子数据对应的向量的余弦相似度位于0-1之间。
例如，第一子数据和第二子数据之间的相似度sim1(ti,tj)，第三子数据和第四子数据之间的相似度sim1(gi,gj)，第一子数据和第四子数据之间的相似度sim2(ti,gj)以及第二子数据和第三子数据之间的相似度sim2(gi,tj)可以采用下述的表达式获取：
Figure BDA0002285604490000201
Figure BDA0002285604490000202
Figure BDA0002285604490000203
Figure BDA0002285604490000204
此处，上标T表示向量的转置，“||”表示向量的长度，“·”表示两个向量之间的点乘。
步骤S232：基于第一语义表示和第四语义表示之间的相似度，第二语义表示和第三语义表示之间的相似度，第一语义表示和第二语义表示之间的相似度，以及第三语义表示和第四语义表示之间的相似度得到第一数据和第二数据之间的相似度。
例如，第一数据和第二数据之间的相似度可以等于第一语义表示和第四语义表示之间的相似度，第二语义表示和第三语义表示之间的相似度，第一语义表示和第二语义表示之间的相似度，以及第三语义表示和第四语义表示之间的相似度之和。
例如，第一语义表示和第四语义表示之间的相似度，第二语义表示和第三语义表示之间的相似度，第一语义表示和第二语义表示之间的相似度，以及第三语义表示和第四语义表示之间的相似度分别等于第一子数据和第四子数据之间的相似度，第二子数据和第三子数据之间的相似度，第一子数据和第二子数据之间的相似度，以及第三子数据和第四子数据之间的相似度。
例如，第一数据pi和第二数据pj之间的相似度f(pi,pj)采用下述的表达式获取：
f(pi,pj)＝f((ti,gi),(tj,gj))＝sim1(ti,tj)+sim2(ti,gj)+sim2(gi,tj)+sim1(gi,gj)。
但本公开的实施例不限于此。例如，可以根据实践经验，可以分别对第一语义表示和第四语义表示之间的相似度，第二语义表示和第三语义表示之间的相似度，第一语义表示和第二语义表示之间的相似度，以及第三语义表示和第四语义表示之间的相似度设置适用的权重(0-1之间)，以进一步提升计算获得的第一数据pi和第二数据pj之间的相似度的准确性。
例如，步骤S230不限于通过执行步骤S231和步骤S232实现。在一些示例中，步骤S230还可以通过执行以下的步骤S233和步骤S234实现。
步骤S233：计算第一语义表示和第四语义表示之间的相似度以及第二语义表示和第三语义表示之间的相似度。
步骤S234：基于第一语义表示和第四语义表示之间的相似度以及第二语义表示和第三语义表示之间的相似度得到第一数据和第二数据之间的相似度。此种情况下，第一数据和第二数据之间的相似度可以等于第一语义表示和第四语义表示之间的相似度以及第二语义表示和第三语义表示之间的相似度之和，也即，仅通过计算为不同模态的子数据来得到第一数据和第二数据之间的相似度。
需要说明的是，步骤S230具体实现方法可以根据实际应用需求进行设定，本公开的实施例对此不做具体限定。例如，步骤S230包括：计算第一语义表示和第四语义表示之间的相似度以及第二语义表示和第三语义表示之间的相似度中的至少一个。例如，步骤S230还包括：计算第一语义表示和第二语义表示之间的相似度以及第三语义表示和第四语义表示之间的相似度中的至少一个。
图3B是图2所示的数据相似度确定方法的另一个示例。如图3B所示，第一对象的第一数据包括为第一模态的第一子数据，第二对象的第二数据包括为第二模态的第二子数据。例如，第一模态是文本，第二模态是影像，或者，第一模态是影像，第二模态是文本。
如图3B所示，可以通过第一神经网络将为第一模态的第一子数据映射至语义比较空间得到的第一语义表示，并通过第二神经网络将为第二模态的第二子数据映射至语义比较空间得到的第二语义表示。
例如，在第一模态是文本，第二模态是影像的情况下，第一神经网络是长短时记忆网络，或者word2vec，或者word2vect+LSTM等；第二神经网络是卷积神经网络，同样，本公开的实施例对此不作限制，只要第一神经网络和第二神经网络可以分别将不同的模态的数据处理得到同一语义空间中的向量，由此可以计算所得到的不同向量之间的相似度。
如图3B所示，在得到第一语义表示和第二语义表示之后，计算第一语义表示和第二语义的相似度，并将第一语义表示和第二语义的相似度作为第一对象的第一数据和第二对象的第二数据的相似度。
例如，根据实际应用需求，第一对象的第一数据还可以包括为第二模态的第三子数据，第二对象的第二数据还可以包括为第一模态的第四子数据。
需要说明的是，本公开的至少一个实施例提供了一种数据相似度确定方法的第一数据和第二数据不限于图3A和图3B所示的示例。例如，第一数据还可以仅包括为第一模态的第一子数据，第二数据还可以仅包括为第二模态的第二子数据。又例如，第一数据还可以仅包括为第二模态的第一子数据，第二数据还可以仅包括为第一模态的第二子数据。再例如，第一数据包括为第一模态的第一子数据和为第二模态的第三子数据，第二数据仅包括为第一模态或第二模态的第二子数据。再例如，第一数据仅包括为第一模态或第二模态的第一子数据，第二数据包括为第一模态的第二子数据和为第二模态的第四子数据。在这些示例中，第一数据和第二数据之间的相似度计算方法可以根据应用需求对应地调整，在此不做赘述。
需要说明的是，本公开的至少一个实施例提供了一种数据相似度确定方法的第一数据和第二数据的任一个不限于仅包括一个或两个模态的子数据，根据实际应用需求，第一数据和第二数据的至少一个还可以包括三个模态或具有其它适用数目模态的子数据；例如，第一数据和第二数据的至少一个可以包括为文本的子数据，为影像的子数据以及为语音的子数据；此种情况下，语义比较空间使得为文本的子数据映射至述语义比较空间得到的语义表示，为影像的子数据映射至述语义比较空间得到的语义表示以及为语音的子数据映射至述语义比较空间得到的语义表示是可计算相似度的。
本公开的至少一个实施例还提供了一种数据相似度确定装置。
图4是本公开的至少一个实施例提供的数据相似度确定装置110的示例性框图。如图4所示，该数据相似度确定装置110包括获取模块111、映射模块112和相似度计算模块113。
获取模块111被配置为获取第一对象的第一数据以及第二对象的第二数据；第一数据包括为第一模态或第二模态的第一子数据，第二数据包括为第一模态或第二模态的第二子数据。
例如，第一对象可以为给定患者，第二对象为需要确定与给定患者之间相似度的参考患者。例如，第一模态与第二模态不同。例如，第一模态是文本，第二模态是影像。
在一个示例中，第一数据还包括为第二模态的第三子数据，第二数据还包括为第二模态的第四子数据；第一对象包括第一特性，第一子数据包括描述第一特性的第一子语义，以及第三子数据包括描述第一特性的第三子语义；第二对象包括第二特性，第二子数据包括描述第二特性的第二子语义，以及第四子数据包括描述第二特性的第四子语义。
映射模块112被配置为将第一子数据映射为语义比较空间中的第一语义表示，并将第二子数据映射为语义比较空间中的第二语义表示；该语义比较空间至少使得第一模态的数据映射至该语义比较空间得到的语义表示以及第二模态的数据映射至语义比较空间得到的语义表示是可计算相似度的。
例如，映射模块112包括第一子映射模块和第二子映射模块；第一子映射模块被配置为将第一模态的子数据映射至语义比较空间，第二子映射模块被配置为将为第二模态的子数据映射至语义比较空间。例如，第一子映射模块可以实现为第一神经网络，第二子映射模块可以实现为第二神经网络。例如，在第一模态是文本，第二模态是影像的情况下，第一神经网络可以是长短时记忆网络，或者word2vec，或者word2vect+LSTM等，第二神经网络可以是卷积神经网络，同样，本公开的实施例对此不作限制，只要第一神经网络和第二神经网络可以分别将不同的模态的数据处理得到同一语义空间中的向量，由此可以计算所得到的不同向量之间的相似度。
例如，在第一数据还包括为第二模态的第三子数据，第二数据还包括为第二模态的第四子数据的情况下，映射模块112还被配置为将第三子数据映射为语义比较空间中的第三语义表示，以及将第四子数据映射为语义比较空间中的第四语义表示。例如，第一子映射模块被配置为将第一子数据映射为语义比较空间的第一语义表示以及将第二子数据映射为语义比较空间的第二语义表示；第二子映射模块被配置为将第三子数据映射为语义比较空间的第三语义表示以及将第四子数据映射为语义比较空间的第四语义表示。
相似度计算模块113被配置为至少基于第一语义表示和第二语义表示计算第一数据和第二数据之间的相似度。
例如，在第一数据还包括为第二模态的第三子数据，第二数据还包括为第二模态的第四子数据的情况下，相似度计算模块113被配置为基于第一语义表示、第二语义表示、第三语义表示和第四语义表示得到第一数据和第二数据之间的相似度。
例如，相似度计算模块113被配置为：计算第一语义表示和第四语义表示之间的相似度，第二语义表示和第三语义表示之间的相似度，第一语义表示和第二语义表示之间的相似度，以及第三语义表示和第四语义表示之间的相似度。例如，第一数据和第二数据之间的相似度等于第一语义表示和第四语义表示之间的相似度，第二语义表示和第三语义表示之间的相似度，第一语义表示和第二语义表示之间的相似度，以及第三语义表示和第四语义表示之间的相似度之和。
例如，第一数据和第二数据之间的相似度的计算方法可以参见本公开的至少一个实施例提供的数据相似度确定方法，在此不再赘述。
例如，获取模块111、映射模块112、第一子映射模块、第二子映射模块和相似度计算模块113可以分别通过软件、固件、硬件及其任意组合实现，例如，该硬件包括现场可编程门阵列(Field Programmable Gate Array，FPGA)等。
本公开的至少一个实施例还提供了另一种数据相似度确定装置。
图5是本公开的至少一个实施例提供的另一种数据相似度确定装置的示例性框图。如图5所示，该数据相似度确定装置包括处理器和存储器。存储器中存储有适于处理器执行的计算机程序指令，计算机程序指令被处理器运行时使得处理器执行本公开的至少一个实施例提供的任一数据相似度确定方法。
例如，该处理器例如是中央处理单元(CPU)、图形处理器GPU、张量处理器(TPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，例如，该处理器可以实现为通用处理器，并且也可以为单片机、微处理器、数字信号处理器、专用的图像处理芯片、或现场可编程逻辑阵列等。例如，存储器可以包括易失性存储器和非易失性存储器的至少一种，例如存储器可以包括只读存储器(ROM)、硬盘、闪存等。相应地，该存储器可以实现为一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，在所述计算机可读存储介质上可以存储一个或多个计算机程序指令。处理器可以运行所述程序指令，以执行本公开的至少一个实施例提供的任一数据相似度确定方法。该存储器还可以存储其他各种应用程序和各种数据，例如，所述应用程序使用和/或产生的各种数据等。
本公开至少一个实施例提供的数据相似度确定装置(图4和图5所示的数据相似度确定装置)可以提升数据相似度计算结果的准确性。
本公开的至少一个实施例还提供了一种非暂时性存储介质。图6是本公开的至少一个实施例提供的非暂时性存储介质的示例性框图。如图6所示，该非暂时性存储介质包括存储其上的计算机程序指令，计算机程序指令被处理器运行时使得计算机执行本公开的至少一个实施例提供的任一数据相似度确定方法。例如，非暂时性存储介质可以包括磁性存储介质、光存储介质、半导体存储介质等；例如，非暂时性存储介质可以包括只读存储器(ROM)、硬盘、闪存等。例如，图6所示的非暂时性存储介质可用于数据相似度确定中，并且可以提升数据相似度计算结果的准确性。
本公开的至少一个实施例还提供了一种用于数据相似度确定的神经网络的训练方法。
图7是本公开的至少一个实施例提供的一种用于数据相似度确定的神经网络的训练方法的流程图。例如，图7所示的用于数据相似度确定的神经网络的训练方法可用于训练第一神经网络和第二神经网络。
如图7所示，该用于数据相似度确定的神经网络的训练方法包括以下的步骤S310-步骤S340。
步骤S310：获取训练对象的第一训练数据，其中，第一训练数据包括为第一模态的第一训练子数据和为第二模态的第二训练子数据，训练对象包括训练特性，第一训练子数据包括描述训练特性的第一训练子语义，以及第二训练子数据包括描述训练特性的第二训练子语义。
步骤S320：将第一训练子数据通过第一神经网络映射为语义比较空间中的第一训练语义表示，其中，语义比较空间使得第一模态的数据映射至语义比较空间得到的语义表示以及第二模态的数据映射至语义比较空间得到的语义表示是可计算相似度的。
步骤S330：将第二训练子数据通过第二神经网络映射为语义比较空间中的第二训练语义表示。
步骤S340：计算第一训练语义表示和第二训练语义表示的相似度，并且根据第一训练语义表示和第二训练语义表示的相似度来调整第一神经网络和第二神经网络至少之一的参数。
例如，第一模态与第二模态不同。例如，第一模态是文本，第二模态是影像。又例如，第一模态是影像，第二模态是文本。例如，在第一模态是文本，第二模态是影像的情况下，第一神经网络可以是长短时记忆网络，或者word2vec，或者word2vect+LSTM等，第二神经网络可以是卷积神经网络，同样，本公开的实施例对此不作限制，只要第一神经网络和第二神经网络可以分别将不同的模态的数据处理得到同一语义空间中的向量，由此可以计算所得到的不同向量之间的相似度。
例如，第一训练语义表示和第二训练语义表示均表达为向量，也即，第一训练语义表示和第二训练语义表示均为语义比较空间中的向量。例如，第一训练语义表示对应的向量的维度和第二训练语义表示对应的向量的维度相同。例如，训练特性是指第一神经网络和第二神经网络待训练的特性，训练后的第一神经网络和第二神经网络能够将第一对象的对应于训练特性的子数据分别映射至语义比较空间，且使得所得到的语义表示对应的向量的维度相同且语义表示对应的向量在每个维度上的取值近似，由此可以进行计算、比较。例如，在训练第一神经网络和第二神经网络时，可以针对一个或多个训练特性进行训练。
例如，可以采用余弦相似度进行计算第一训练语义表示和第二训练语义表示的相似度。例如，余弦相似度的计算方法可以参见本公开的至少一个实施例提供的数据相似度确定方法，在此不再赘述。
例如，根据第一训练语义表示和第二训练语义表示的相似度来调整第一神经网络和第二神经网络至少之一的参数包括：基于第一训练语义表示和第二训练语义表示的相似度计算损失函数；通过调整第一神经网络和第二神经网络至少之一的参数使得损失函数最小化。
例如，可以利用M个(例如，M为大于1的正整数)训练对象(例如，M个以往的患者)的第一训练数据，来训练第一神经网络和第二神经网络，以确定第一神经网络的相关参数以及第二神经网络的相关参数，由此可以使得利用上述M个训练对象的第一训练数据以及用于数据相似度确定的神经网络的训练方法训练得到的第一神经网络和第二神经网络，可以使得为同一对象(同一第一对象)的为不同模态的子数据在映射到语义比较空间之后能够保持语义一致性。
例如，在步骤S310中，可以获取M个训练对象的第一训练数据；在步骤S320中，可以将M个训练对象的第一训练子数据分别转换为M个第一训练语义表示；在步骤S330中，可以将M个训练对象的第二训练子数据分别转换为M个第二训练语义表示；在步骤S340中，可以分别计算M个训练对象的第一训练语义表示和第二训练语义表示的相似度，并分别基于M个训练对象的第一训练语义表示和第二训练语义表示的相似度计算损失函数(或误差函数)，然后分别通过调整第一神经网络和第二神经网络至少之一的参数(例如，调整第一神经网络的参数和第二神经网络的参数)使得损失函数最小化。
例如，损失函数l可以采用下述的表达式获取：
Figure BDA0002285604490000271
此处，trti为第i个训练对象的第一训练子数据，trgi为第i个训练对象的第二训练子数据，sim2(trti,trgi)为第i个训练对象的第一训练子数据和第i个训练对象的第二训练子数据之间的相似度，NN1为使用第一神经网络对对应的训练子数据进行映射，NN2为使用第二神经网络对对应的训练子数据进行映射，NN1(trti)为第i个训练对象的第一训练语义表示，NN2(trgi)为第i个训练对象的第二训练语义表示。
例如，通过调整第一神经网络和第二神经网络至少之一的参数使得损失函数最小化包括：基于梯度下降法(例如，随机梯度下降法)或其它适用的方法(例如，遗传算法，反向传播算法)调整第一神经网络和第二神经网络至少之一的参数。例如，调整第一神经网络和第二神经网络至少之一的参数包括多次调整第一神经网络和第二神经网络至少之一的参数。例如，多次调整第一神经网络和第二神经网络至少之一的参数可以使得损失函数逐渐减小。例如，在损失函数小于损失函数阈值(例如，0.01)或者参数调整次数大于调整次数阈值(例如，1万次)时，认为损失函数最小化。
例如，梯度下降法用于寻找函数的局部最小值。例如，为了使得损失函数(误差函数)最小化来对第一神经网络和第二神经网络至少之一的参数的调整可视为旨在找到误差平面上最小点的移动。
例如，在梯度下降算法中，学***面，很快逼近最优解(平面的最小值)，然后，在后期，降低速率，以尽可能的靠近最优解。学习速率越高意味着学习越快，但是神经网络收敛在最优解之外的风险也越大。矩(moment)可作为阻尼参数减少震荡并帮助达到收敛；通常而言，矩越小，网络对环境的适应性越好。矩使权重倾向于保持相同的变化方向(增大或者减小)，并且矩限制了学习示例中不规则性造成的震荡。
例如，神经网络的学***面上的方向变化；通过在误差平面上向同方向连续移动多次，则可能避免陷入损失函数(误差函数)的局部最小值，而是可以经过局部最小值到达损失函数(误差函数)的全局最小值。例如，在训练神经网络的初期，可以在所有方向上快速一定，并且在最后降低移动速度，以及降低方向改变的频率。例如，基于梯度下降法(例如，随机梯度下降法)调整神经网络的参数的具体方法可以参见相关技术，在此不再赘述。
例如，通过调整第一神经网络和第二神经网络至少之一的参数使得损失函数最小化(例如，使得损失函数等于零或接近于零)可以使得训练对象的第一训练语义表示和第二训练语义表示的相似度最大化，由此可以保证同一训练对象的不同模态的子数据的相似度最大，也即，可以使得利用上述M个训练对象的第一训练数据以及用于数据相似度确定的神经网络的训练方法训练得到的第一神经网络和第二神经网络，能够在执行数据相似度确定方法中为不同模态的子数据(例如，对应于同一第一对象的为不同模态的子数据)在映射到语义比较空间之后能够保持语义一致性。
例如，根据实际应用需求，该用于数据相似度确定的神经网络的训练方法还包括以下的步骤S350。
步骤S350：获取训练对象的第一训练数据之前对原始数据进行数据预处理。
例如，原始数据包括N个(N为大于等于M的正整数)待选对象的数据，对原始数据进行数据预处理包括：选择N个待选对象中的满足以下要求的待选对象作为M个训练对象：也即，第一训练数据同时包括为第一模态的第一训练子数据和为第二模态的第二训练子数据的待选对象。
例如，可以对N个待选对象进行排序，并将第一训练数据同时包括为第一模态的第一训练子数据和为第二模态的第二训练子数据的待选对象排在队列的前面。此种情况下，可以在获取训练对象的第一训练数据时，直接选择原始数据中的前M个待选对象作为M个训练对象，由此可以简化步骤S310。
例如，该数据相似度确定方法可以按照步骤S310、步骤S320、步骤S330和步骤S340的顺序执行，但本公开的实施例不限于此。又例如，该数据相似度确定方法可以按照步骤S310、步骤S320+步骤S330(也即，步骤S320和步骤S330同时执行)和步骤S340的顺序执行。
本公开的至少一个实施例还提供了一种用于数据相似度确定的神经网络的训练装置。
图8是本公开的至少一个实施例提供的用于数据相似度确定的神经网络的训练装置的示例性框图。例如，图8所示的用于数据相似度确定的神经网络的训练装置可用于训练第一神经网络和第二神经网络。
如图8所示，该用于数据相似度确定的神经网络的训练装置包括处理器和存储器。存储器中存储有适于处理器执行的计算机程序指令，计算机程序指令被处理器运行时使得处理器执行本公开的至少一个实施例提供的任一训练方法。例如，图8所示的处理器和存储器的具体实现方式可以参见图5所示的处理器和存储器，在此不再赘述。
本公开的至少一个实施例还提供了另一种非暂时性存储介质，该非暂时性存储介质包括存储其上的计算机程序指令，计算机程序指令被处理器运行时使得计算机执行本公开的至少一个实施例提供的任一训练方法。例如，非暂时性存储介质可以包括磁性存储介质、光存储介质、半导体存储介质等；例如，非暂时性存储介质可以包括只读存储器(ROM)、硬盘、闪存等。例如，本公开的至少一个实施例提供的另一种非暂时性存储介质可以用于训练第一神经网络和第二神经网络。
本公开的至少一个实施例还提供了一种相似对象查找方法。
图9是本公开的至少一个实施例提供的一种相似对象查找方法的流程图。如图9所示，该相似对象查找方法包括以下的步骤S410-步骤S440。
步骤S410：获取第一对象的第一数据。
步骤S420：获取多个第二对象的第二数据。
步骤S430：使用本公开的至少一个实施例提供的任一数据相似度确定方法计算第一对象与每个第二对象之间的相似度，以获得多个对象相似度。
步骤S440：输出多个对象相似度中取值最大的对象相似度对应的第二对象的信息。
例如，可以通过人机交互界面获取第一对象的第一数据。例如，第一用户为给定患者，也即，当前求诊的患者。例如，第一数据包括为第一模态或第二模态的第一子数据。例如，第一数据还包括为第二模态或第一模态的第三子数据。例如，第一模态是文本，第二模态是影像。
例如，可以从对象数据库获取多个第二对象的第二数据。例如，对象数据库存储多个对象的数据。例如，该多个第二对象为多个以往的患者。例如，多个对象的每个的数据包括为第一模态的子数据和为第二模态的子数据中的至少一个。例如，可以通过人机交互界面(例如，人机交互界面的信息展示区)输出多个对象相似度中取值最大的对象相似度对应的第二对象(也即，相似对象)的信息。
例如，信息展示区展示的相似对象的信息的具体内容可以基于用户的实际需求进行设定。例如，信息展示区展示的相似对象的信息可以包括摘要信息或重要信息；例如，信息展示区展示还可以根据用户需要展示相关信息。例如，上述摘要信息包括对象相似度、用户关心的重要信息(例如，肺部是否有结节的文本信息和影像信息以及诊疗方案)等。例如，相关信息包括与上述重要信息相关的信息(例如，治疗费用、住院时长等)。
例如，在步骤S440中，输出多个对象相似度中取值最大的对象相似度对应的第二对象的信息包括：输出多个对象相似度中取值最大的第一数目的对象相似度对应的第二对象的信息。例如，第一数目(K)为大于1的正整数。例如，第一数目(K)可以基于用户需求进行设定，例如，K＝5或10。例如，通过输出多个对象相似度中取值最大的第一数目的对象相似度对应的第二对象的信息，可以使得用户同时参考第一数目的第二对象的信息，以及在第一数目的第二对象中人为地确认与第一对象最为接近的对象，由此提升本公开的至少一个实施例还提供了一种相似对象查找方法的适用性。
例如，该相似对象查找方法可以按照步骤S410、步骤S420、步骤S430和步骤S440的顺序执行，但本公开的实施例不限于此。又例如，该相似对象查找方法可以按照步骤S310+步骤S320(也即，步骤S410和步骤S410同时执行)、步骤S430和步骤S440的顺序执行。
例如，根据实际应用需求，该相似对象查找方法还包括以下的步骤S450。
步骤S450：在获得多个对象相似度之后，在输出多个对象相似度中取值最大的对象相似度对应的第二对象的信息之前，基于多个对象相似度对多个第二对象进行排序。
例如，基于多个对象相似度对多个第二对象进行排序包括基于多个对象相似度利用顺序排序法对多个第二对象进行排序；此种情况下，在输出多个对象相似度中取值最大的对象相似度对应的第二对象的信息可以直接将位于序列首位的第二对象(或位于序列的前K个第二对象)的信息输出，由此可以简化步骤S440。
例如，通过使用本公开的至少一个实施例提供的任一数据相似度确定方法计算第一对象与每个第二对象之间的相似度，可以提升数据相似度计算结果的准确性，由此可以提升本公开的至少一个实施例提供的相似对象查找方法的查找性能(例如，可以查找到更为相似的对象)。
本公开的至少一个实施例还提供了一种相似对象查找装置，其包括：本公开的至少一个实施例提供的任一数据相似度确定装置。
图10是本公开的至少一个实施例提供的相似对象查找装置的示例性框图。如图10所示，该相似对象查找装置包括本公开的至少一个实施例提供的任一数据相似度确定装置110。
下面结合图11和图12对图10所示相似对象查找装置进行示例性说明。
图11是图10所示相似对象查找装置的一个示例。如图11所示，该相似对象查找装置包括本公开的至少一个实施例提供的任一数据相似度确定装置110、人机交互界面211以及对象数据库212。例如，图11所示的相似对象查找装置可以是专用于相似对象查找的专用装置。
人机交互界面211用于实现操作人与计算机之间的交互，例如，可以实现为文字交互界面、图像交互界面等类型，例如可以借助各种适当类型的输入输出设备实现，例如，显示器、触控面板、鼠标、键盘、触摸球等。
例如，人机交互界面211被配置为接收第一对象的第一数据，并将第一数据提供给数据相似度确定装置110。对象数据库212存储多个对象的数据，并将至少部分对象的数据提供给数据相似度确定装置110，以作为多个第二对象的第二数据。数据相似度确定装置110被配置为提供第一对象与每个第二对象之间的相似度作为多个对象相似度；人机交互界面211还被配置为输出多个对象相似度中取值最大的对象相似度对应的第二对象的信息。
例如，人机交互界面211包括信息输入区，用户经由信息输入区输入第一对象的第一数据，以使得人机交互界面211可接收第一对象的第一数据。例如，第一用户为给定患者，也即，当前求诊的患者。例如，第一数据包括为第一模态或第二模态的第一子数据。例如，第一数据还包括为第二模态或第一模态的第三子数据。例如，第一模态是文本，第二模态是影像。
例如，对象数据库212存储多个对象的数据，该多个对象为多个以往的患者。例如，多个对象的每个的数据包括为第一模态的子数据和第二模态的子数据中的至少一个。
例如，下面通过多个对象为多个患者为例对对象数据库(患者数据库)进行说明。例如，可以使用(t,g)来表示患者的信息，此处，t表示患者的病历数据，g表示患者的影像数据。t或g可以为空，表示患者缺少这部分信息。例如，普通流感患者可能只有病历没有影像数据，此时g为空。假定患者数据库中包含N个患者信息，患者数据库可以记为S＝{(t1,g1),(t2,g2),…,(tN,gN)}。
例如，对象数据库212是具有存储功能的设备。对象数据库212主要用于多个对象的数据。对象数据库212可以是本地的，或远程的。对象数据库212可以包括各种存储器、例如随机存取存储器(Random Access Memory(RAM))、只读存储器(Read Only Memory(ROM))等。
例如，在数据相似度确定装置110接收到第一对象的第一数据之后或同时，数据相似度确定装置110从对象数据库212获取至少部分对象的数据，以作为多个第二对象的第二数据。例如，关于图11所示的数据相似度确定装置110提供第一对象与每个第二对象之间的相似度作为多个对象相似度的具体实现方式可以参见本公开至少一个实施例提供的数据相似度确定装置110或数据相似度确定方法，在此不再赘述。
例如，数据相似度确定装置110从对象数据库212获取至少部分对象的数据的具体方式可以根据实际应用需求进行设定。例如，数据相似度确定装置110可以从对象数据库212一次性获取预定数目的对象的数据；又例如，数据相似度确定装置110还可以每次从对象数据库212获取一个对象的数据，直至获取预定数目的对象的数据或者找到了满足需求的对象。
例如，人机交互界面211还包括信息展示区；人机交互界面211还被配置为在展示区输出多个对象相似度中取值最大的对象相似度对应的第二对象(也即，相似对象)的信息，以作为相似对象供用户参考。例如，输出多个对象相似度中取值最大的对象相似度对应的第二对象的信息包括：输出多个对象相似度中取值最大的第一数目的对象相似度对应的第二对象的信息。例如，信息展示区展示的相似对象的信息的具体内容可以参见本公开的至少一个实施例还提供了一种相似对象查找方法，在此不做赘述。
例如，人机交互界面211获取和输出多个对象相似度中取值最大的对象相似度对应的第二对象的信息的具体方式可以根据实际应用需求进行设定，本公开的实施例对此不作具体限定。例如，人机交互界面211可以从数据相似度确定装置110接收多个对象相似度中取值最大的对象相似度对应的第二对象的所有信息，并根据用户设置仅展示用户所需的信息。又例如，人机交互界面211还可以从数据相似度确定装置110接收多个对象相似度中取值最大的对象相似度对应的第二对象的编号和对象相似度，然后基于第二对象的编号从对象数据库212获取用户所需的信息，然后在展示区用户所需的信息和对象相似度；例如，在用户需要查看对象的进一步的信息时，人机交互界面211再次基于第二对象的编号从对象数据库获取用户所需的新增信息；此种情况下，可以降低图11所示的相似对象查找装置的总体通信量。
例如，由于第一对象的第一数据和第二对象的第二数据均映射至可计算不同模态的子数据对应的语义表示的语义比较空间上，因此，图11所示相似对象查找装置可以利用为不同模态的数据的信息互补性和/或为不同模态数据的对彼此进行验证和复核的特性，由此图11所示相似对象查找装置可以提升相似对象的查找的性能。
图12是图10所示相似对象查找装置的另一个示例。如图12所示，该相似对象查找装置包括信息发送接收器221、对象数据库222以及本公开的至少一个实施例提供的任一数据相似度确定装置110。例如，图12所示的相似对象查找装置的功能可以由服务器实现，该服务器可以为一个单独的服务器，或者为一个服务器群组，服务器群组内的各个服务器通过有线网络或无线网络进行连接。有线网络例如可以采用双绞线、同轴电缆或光纤传输等方式进行通信，无线网络例如可以采用3G/4G/5G移动通信网络、蓝牙、Zigbee或者WiFi等通信方式。本公开对网络的类型和功能在此不作限制。该一个服务器群组可以是集中式的，例如数据中心，也可以是分布式的。服务器可以是本地的或远程的。例如，该服务器可以为通用型服务器或专用型服务器，可以为虚拟服务器或云服务器等。
例如，信息发送接收器221可以包括调制解调器、网络适配器、蓝牙发送接收单元或红外发送接收单元等。例如，信息发送接收器221还可以对发送或接收的信息进行编码、解码等操作。
例如，图12所示的信息发送接收器221被配置为从客户端接收第一对象的第一数据，并将第一数据提供给数据相似度确定装置110。例如，信息发送接收器221可以通过例如网络或其它技术实现信息的发送和接收。例如，所述网络可以是单个网络，或至少两个不同网络的组合。例如，网络可以包括但不限于局域网、广域网、公用网络、专用网络、因特网、移动通信网络等中的一种或几种的组合，所述其它技术例如可以包括蓝牙通信、红外通信等。
例如，对象数据库222存储多个对象的数据，该多个对象为多个以往的患者。例如，对象数据库222的具体实现方式参见图11所示的对象数据库212，在此不再赘述。
例如，在图12所示的数据相似度确定装置110接收到第一对象的第一数据之后，数据相似度确定装置110从对象数据库222获取至少部分对象的数据，以作为多个第二对象的第二数据。例如，图12所示的数据相似度确定装置110被配置为提供第一对象与每个第二对象之间的相似度作为多个对象相似度。例如，关于图12所示的数据相似度确定装置110提供第一对象与每个第二对象之间的相似度作为多个对象相似度的具体实现方式可以参见本公开至少一个实施例提供的数据相似度确定装置110或数据相似度确定方法，在此不再赘述。
例如，信息发送接收器221还被配置为接收多个对象相似度中取值最大的对象相似度对应的第二对象的信息，并将多个对象相似度中取值最大的对象相似度对应的第二对象的信息提供给客户端。例如，提供多个对象相似度中取值最大的对象相似度对应的第二对象的信息包括：提供多个对象相似度中取值最大的第一数目的对象相似度对应的第二对象的信息。
例如，信息发送接收器221接收和提供多个对象相似度中取值最大的对象相似度对应的第二对象的信息的具体方式可以根据实际应用需求进行设定，本公开的实施例对此不作具体限定。例如，信息发送接收器221可以从数据相似度确定装置110接收多个对象相似度中取值最大的对象相似度对应的第二对象的所有信息，并将上述多个对象相似度中取值最大的对象相似度对应的第二对象的所有信息提供给客户端，客户端根据用户设置仅展示用户所需的信息。又例如，信息发送接收器221还可以从数据相似度确定装置110接收多个对象相似度中取值最大的对象相似度对应的第二对象的编号和对象相似度，然后基于第二对象的编号从对象数据库222获取用户当前所需的信息，并将用户当前所需的信息和对象相似度提供给客户端；例如，在用户需要查看对象的进一步的信息时，信息发送接收器221再次基于第二对象的编号从对象数据库222获取用户所需的新增信息；此种情况下，可以降低图12所示的相似对象查找装置的总体通信量。
本公开的至少一个实施例还提供了一种相似对象查找装置，其包括：人机交互界面和信息发送接收器。人机交互界面被配置为接收第一对象的第一数据，并将第一数据提供给服务器；信息发送接收器还被配置为从服务器接收与第一对象的第一数据相似度最大的第一数目的第二对象的第二数据；第一对象与每个第二对象之间的相似度由本公开的至少一个实施例提供的任一数据相似度确定装置确定。
图13是本公开的至少一个实施例提供的另一种相似对象查找装置的示例性框图。如图13所示，该相似对象查找装置包括人机交互界面232和信息发送接收器231。例如，图13所示的相似对象查找装置可以是其它电子装置(例如，移动电话、平板电脑、笔记本电脑等)的一个组成部分。又例如，图13所示的相似对象查找装置还可以是专用于相似对象查找的专用装置。
例如，人机交互界面232被配置为接收第一对象的第一数据，并将第一数据提供给信息发送接收器231。例如，人机交互界面232的具体实现方法可以参见图11所示的人机交互界面，在此不做赘述。
例如，信息发送接收器231被配置为将第一数据提供给服务器；信息发送接收器231还被配置为从服务器接收与第一对象的第一数据相似度最大的第一数目的第二对象的第二数据，并将与第一对象的第一数据相似度最大的第一数目的第二对象的第二数据提供给人机交互界面232。例如，提供多个对象相似度中取值最大的对象相似度对应的第二对象的信息包括：提供多个对象相似度中取值最大的第一数目的对象相似度对应的第二对象的信息。
例如，信息发送接收器231可以通过例如网络或其它技术实现信息的发送和接收，例如，所述网络可以是单个网络，或至少两个不同网络的组合。例如，网络可以包括但不限于局域网、广域网、公用网络、专用网络、因特网、移动通信网络等中的一种或几种的组合。例如，信息发送接收器231可以包括调制解调器、网络适配器、蓝牙发送接收单元或红外发送接收单元等。例如，信息发送接收器231还可以对发送或接收的信息进行编码、解码等操作。
例如，第一对象与每个第二对象之间的相似度由本公开的至少一个实施例提供的任一数据相似度确定装置确定。例如，关于图13所示的相似对象查找装置的获取的第一对象与每个第二对象之间的相似度的具体计算方法可以参见本公开至少一个实施例提供的数据相似度确定装置或数据相似度确定方法，在此不再赘述。
例如，图12所示的相似对象查找装置作为服务器和图13所示的相似对象查找装置作为客户端可以彼此配合组成如图14所示的相似对象查找***，该客户端和服务器可以位于同一地点或不同地点。
图15示出了本公开的至少一个实施例提供的相似对象查找***的示例性的场景图。如图15所示，该相似对象查找***300可以包括用户终端310、网络320、服务器330以及数据库340。
例如，用户终端310可以是图15中示出的电脑310-1、便携式终端310-2。可以理解的是，用户终端还可以是能够执行数据的接收、处理和显示的任何其他类型的电子设备，其可以包括但不限于台式电脑、笔记本电脑、平板电脑、智能家居设备、可穿戴设备、车载电子设备、监控设备、医疗电子设备等。
根据本公开的至少一个实施例提供的用户终端可以用于接收第一对象的第一数据。例如，用户终端可以经由用户终端上的人机交互界面接收第一对象的第一数据。又例如，用户终端还可以经由网络从服务器接收第一对象的第一数据。再例如，用户终端还可以经由网络或直接从诸如医学采集设备的数据采集设备接收第一对象的第一数据。
在一些实施例中，可以利用用户终端的处理单元执行本公开的至少一个实施例提供的数据相似度确定方法，此种情况下，用户终端具有存储了多个对象的数据库(也即，对象数据库)，或者经由网络或其它技术与对象数据库通信，以获取多个第二对象的第二数据。在一些实现方式中，用户终端可以利用用户终端内置的应用程序执行本公开的至少一个实施例提供的数据相似度确定方法。在另一些实现方式中，用户终端可以通过调用用户终端外部存储的应用程序执行本公开的至少一个实施例提供的数据相似度确定方法。
在另一些实施例中，用户终端将接收的第一数据经由网络320或其它技术发送至服务器330，并由服务器330从对象数据库获取多个第二对象的第二数据，并执行本公开的至少一个实施例提供的数据相似度确定方法，以得到第一对象的第一数据和第二对象的第二数据之间的相似度；然后，用户终端可以接收并显示服务器330提供的第一对象的第一数据和第二对象的第二数据之间的相似度以及基于上述相似度确定的相似对象的信息。在一些实现方式中，服务器330可以利用服务器内置的应用程序执行本公开的至少一个实施例提供的数据相似度确定方法。
在另一些实现方式中，服务器330可以通过调用服务器外部存储的应用程序执行本公开的至少一个实施例提供的数据相似度确定方法。
例如，网络320、其它技术以及服务器330的具体实现方式可以参见上述的实施例的网络、其它技术以及服务器，在此不再赘述。
数据库340可以包括本公开的至少一个实施例提供的对象数据库，以存储多个对象的数据。例如，数据库330还可用于存储从用户终端310和服务器330工作中所利用、产生和输出的各种数据。数据库340可以经由网络320与服务器330或服务器330的一部分相互连接或通信，或直接与服务器330相互连接或通信，或者经由上述两种方式的结合实现与服务器330相互连接或通信。
在一些实施例中，数据库340可以是独立的设备。在另一些实施例中，数据库340也可以集成在用户终端310和服务器340中的至少一个中。例如，数据库340可以设置在用户终端310上，也可以设置在服务器340上。又例如，数据库340也可以是分布式的，其一部分设置在用户终端310上，另一部分设置在服务器340上。
根据本申请实施例的方法、装置或***也可以借助于图16所示的计算设备400的架构来实现。
图16示出了该计算设备400的架构。如图16所示，计算设备400可以包括总线410、一个或至少两个CPU 420、只读存储器(ROM)430、随机存取存储器(RAM)440、连接到网络的通信端口450、输入/输出组件460、硬盘470等。计算设备400中的存储设备(例如，ROM 430或硬盘470)可以存储本公开的至少一个实施例提供的数据相似度确定方法、用于数据相似度确定的神经网络的训练方法以及相似对象查找方法中至少一个对应的指令以及各种相关的数据或文件。计算设备400还可以包括人机用户界面480。
当然，图16所示的架构只是示例性的，在实现不同的设备时，根据实际需要，可以省略图16示出的计算设备中的一个或至少两个组件。
虽然上文中已经用一般性说明及具体实施方式，对本公开作了详尽的描述，但在本公开实施例基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本公开精神的基础上所做的这些修改或改进，均属于本公开要求保护的范围。
以上所述仅是本公开的示范性实施方式，而非用于限制本公开的保护范围，本公开的保护范围由所附的权利要求确定。

Claims (15)

1.一种数据相似度确定方法，包括：
获取第一对象的第一数据，其中，所述第一数据包括为第一模态或第二模态的第一子数据；
将所述第一子数据映射为语义比较空间中的第一语义表示，其中，所述语义比较空间使得为所述第一模态的数据映射至所述语义比较空间得到的语义表示以及为所述第二模态的数据映射至所述语义比较空间得到的语义表示是可计算相似度的；
获取第二对象的第二数据，其中，所述第二数据包括为所述第一模态或所述第二模态的第二子数据；
将所述第二子数据映射为所述语义比较空间中的第二语义表示；以及
至少基于所述第一语义表示和所述第二语义表示计算所述第一数据和所述第二数据之间的相似度。
2.根据权利要求1所述的数据相似度确定方法，其中，所述第一模态是文本，所述第二模态是影像。
3.根据权利要求1所述的数据相似度确定方法，其中，所述第一数据包括为所述第一模态的第一子数据和为所述第二模态的第三子数据；
所述第二数据包括为所述第一模态的第二子数据和为所述第二模态的第四子数据；
所述第一对象包括第一特性，所述第一子数据包括描述所述第一特性的第一子语义，以及所述第三子数据包括描述所述第一特性的第三子语义；
所述第二对象包括第二特性，所述第二子数据包括描述所述第二特性的第二子语义，以及所述第四子数据包括描述所述第二特性的第四子语义；
所述方法还包括：
将所述第三子数据映射为所述语义比较空间中的第三语义表示，以及将所述第四子数据映射为所述语义比较空间中的第四语义表示；以及
所述至少基于所述第一语义表示和所述第二语义表示计算所述第一数据和所述第二数据之间的相似度包括：基于所述第一语义表示、所述第二语义表示、所述第三语义表示和所述第四语义表示得到所述第一数据和所述第二数据之间的相似度。
4.根据权利要求3所述的数据相似度确定方法，其中，基于所述第一语义表示、所述第二语义表示、所述第三语义表示和所述第四语义表示得到所述第一数据和所述第二数据之间的相似度包括：
计算所述第一语义表示和所述第四语义表示之间的相似度以及所述第二语义表示和所述第三语义表示之间的相似度中的至少一个。
5.根据权利要求4所述的数据相似度确定方法，其中，基于所述第一语义表示、所述第二语义表示、所述第三语义表示和所述第四语义表示得到所述第一数据和所述第二数据之间的相似度还包括：
计算所述第一语义表示和所述第二语义表示之间的相似度以及所述第三语义表示和所述第四语义表示之间的相似度中的至少一个。
6.根据权利要求5所述的数据相似度确定方法，其中，所述第一数据和所述第二数据之间的相似度等于所述第一语义表示和所述第四语义表示之间的相似度，所述第二语义表示和所述第三语义表示之间的相似度，所述第一语义表示和所述第二语义表示之间的相似度，以及所述第三语义表示和所述第四语义表示之间的相似度之和。
7.根据权利要求6所述的数据相似度确定方法，其中，所述第一语义表示、所述第二语义表示、所述第三语义表示和所述第四语义表示均表达为向量；
所述第一语义表示对应的向量的维度，所述第二语义表示对应的向量的维度，所述第三语义表示对应的向量的维度，以及所述第四语义表示对应的向量的维度彼此相等；以及
所述第一数据和所述第二数据之间的相似度f(pi,pj)采用下述的表达式获取：
f(pi,pj)＝f((ti,gi),(tj,gj))＝sim1(ti,tj)+sim2(ti,gj)+sim2(gi,tj)+sim1(gi,gj),
rti＝NN1(ti),rgi＝NN2(gi),rtj＝NN1(tj),rgj＝NN2(gj),
Figure FDA0002285604480000021
Figure FDA0002285604480000022
Figure FDA0002285604480000023
Figure FDA0002285604480000031
其中，pi为所述第一数据，pj为所述第二数据，
ti为所述第一子数据，gi为所述第三子数据，tj为所述第二子数据，gj为所述第四子数据，
sim1(ti,tj)为所述第一子数据和所述第二子数据之间的相似度，
sim1(gi,gj)为所述第三子数据和所述第四子数据之间的相似度，
sim2(ti,gj)为所述第一子数据和所述第四子数据之间的相似度，
sim2(gi,tj)为所述第二子数据和所述第三子数据之间的相似度，
NN1为使用第一神经网络对对应的子数据进行映射，NN2为使用第二神经网络对对应的子数据进行映射，
rti为所述第一语义表示，rgi为所述第三语义表示，rtj为所述第二语义表示，rgj为所述第四语义表示。
8.根据权利要求3-7任一所述的数据相似度确定方法，其中，使用第一神经网络将所述第一子数据映射为所述第一语义表示以及将所述第二子数据映射为所述第二语义表示；以及
使用第二神经网络将所述第三子数据映射为所述第三语义表示以及将所述第四子数据映射为所述第四语义表示。
9.一种数据相似度确定装置，包括：处理器和存储器，
其中，所述存储器中存储有适于所述处理器执行的计算机程序指令，所述计算机程序指令被所述处理器运行时使得所述处理器执行如权利要求1-8任一所述的数据相似度确定方法。
10.一种非暂时性存储介质，包括存储其上的计算机程序指令，
其中，所述计算机程序指令被处理器运行时使得计算机执行如权利要求1-8任一所述的数据相似度确定方法。
11.一种用于数据相似度确定的神经网络的训练方法，包括：
获取训练对象的第一训练数据，其中，所述第一训练数据包括为第一模态的第一训练子数据和为第二模态的第二训练子数据，所述训练对象包括训练特性，所述第一训练子数据包括描述所述训练特性的第一训练子语义，以及所述第二训练子数据包括描述所述训练特性的第二训练子语义；
将所述第一训练子数据通过第一神经网络映射为语义比较空间中的第一训练语义表示，其中，所述语义比较空间使得为所述第一模态的数据映射至所述语义比较空间得到的语义表示以及为所述第二模态的数据映射至所述语义比较空间得到的语义表示是可计算相似度的；
将所述第二训练子数据通过第二神经网络映射为所述语义比较空间中的第二训练语义表示；
计算所述第一训练语义表示和所述第二训练语义表示的相似度，并且根据所述第一训练语义表示和所述第二训练语义表示的相似度来调整所述第一神经网络和所述第二神经网络至少之一的参数。
12.根据权利要求11所述的训练方法，其中，所述根据所述第一训练语义表示和所述第二训练语义表示的相似度来调整所述第一神经网络和所述第二神经网络至少之一的参数包括：
基于所述第一训练语义表示和所述第二训练语义表示的相似度计算损失函数，以及
通过调整所述第一神经网络和所述第二神经网络至少之一的参数使得所述损失函数最小化；以及
所述损失函数l采用下述的表达式获取：
Figure FDA0002285604480000041
其中，trti为第i个所述训练对象的第一训练子数据，trgi为所述第i个训练对象的第二训练子数据，
sim2(trti,trgi)为所述第i个训练对象的第一训练子数据和所述第i个训练对象的第二训练子数据之间的相似度，
NN1为使用所述第一神经网络对对应的训练子数据进行映射，NN2为使用所述第二神经网络对对应的训练子数据进行映射，
NN1(trti)为所述第i个训练对象的第一训练语义表示，NN2(trgi)为所述第i个训练对象的第二训练语义表示；
所述通过调整所述第一神经网络和所述第二神经网络至少之一的参数使得所述损失函数最小化包括基于梯度下降法调整所述第一神经网络和所述第二神经网络至少之一的参数。
13.一种用于数据相似度确定的神经网络的训练***，包括：
处理器和存储器，
其中，所述存储器中存储有适于所述处理器执行的计算机程序指令，所述计算机程序指令被所述处理器运行时使得所述处理器执行如权利要求11或12所述的训练方法。
14.一种相似对象查找方法，包括：
获取第一对象的第一数据；
获取多个第二对象的第二数据；
使用如权利要求1-8任一所述的数据相似度确定方法计算所述第一对象与每个所述第二对象之间的相似度，以获得多个对象相似度；
输出所述多个对象相似度中取值最大的对象相似度对应的第二对象的信息。
15.一种相似对象查找装置，包括：如权利要求9所述的数据相似度确定装置。
CN201911159185.XA 2019-11-22 2019-11-22 相似度确定、网络训练、查找方法及装置和存储介质 Pending CN111091010A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911159185.XA CN111091010A (zh) 2019-11-22 2019-11-22 相似度确定、网络训练、查找方法及装置和存储介质
PCT/CN2020/127142 WO2021098534A1 (zh) 2019-11-22 2020-11-06 相似度确定、网络训练、查找方法及装置、电子装置和存储介质
US17/418,562 US20220076052A1 (en) 2019-11-22 2020-11-06 Similarity determining method and device, network training method and device, search method and device, and electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911159185.XA CN111091010A (zh) 2019-11-22 2019-11-22 相似度确定、网络训练、查找方法及装置和存储介质

Publications (1)

Publication Number Publication Date
CN111091010A true CN111091010A (zh) 2020-05-01

Family

ID=70393617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911159185.XA Pending CN111091010A (zh) 2019-11-22 2019-11-22 相似度确定、网络训练、查找方法及装置和存储介质

Country Status (3)

Country Link
US (1) US20220076052A1 (zh)
CN (1) CN111091010A (zh)
WO (1) WO2021098534A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898732A (zh) * 2020-06-30 2020-11-06 江苏省特种设备安全监督检验研究院 基于深度卷积神经网络的超声波测距补偿方法
WO2021098534A1 (zh) * 2019-11-22 2021-05-27 京东方科技集团股份有限公司 相似度确定、网络训练、查找方法及装置、电子装置和存储介质
CN113033622A (zh) * 2021-03-05 2021-06-25 北京百度网讯科技有限公司 跨模态检索模型的训练方法、装置、设备和存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7297705B2 (ja) * 2020-03-18 2023-06-26 株式会社東芝 処理装置、処理方法、学習装置およびプログラム
CN116150704B (zh) * 2023-04-21 2023-07-14 广东工业大学 基于语义相似度匹配的多模态融合表征方法及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170061250A1 (en) * 2015-08-28 2017-03-02 Microsoft Technology Licensing, Llc Discovery of semantic similarities between images and text
CN107193919A (zh) * 2017-05-15 2017-09-22 清华大学深圳研究生院 一种电子病历的检索方法及***
CN107562812A (zh) * 2017-08-11 2018-01-09 北京大学 一种基于特定模态语义空间建模的跨模态相似性学习方法
CN108288067A (zh) * 2017-09-12 2018-07-17 腾讯科技（深圳）有限公司 图像文本匹配模型的训练方法、双向搜索方法及相关装置
WO2018188240A1 (zh) * 2017-04-10 2018-10-18 北京大学深圳研究生院 一种基于深度语义空间的跨媒体检索方法
CN109492666A (zh) * 2018-09-30 2019-03-19 北京百卓网络技术有限公司 图像识别模型训练方法、装置及存储介质
CN109783655A (zh) * 2018-12-07 2019-05-21 西安电子科技大学 一种跨模态检索方法、装置、计算机设备和存储介质
CN110188210A (zh) * 2019-05-10 2019-08-30 山东师范大学 一种基于图正则化与模态独立的跨模态数据检索方法及***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012104949A1 (ja) * 2011-01-31 2012-08-09 パナソニック株式会社 症例検索装置および症例検索方法
KR20210010505A (ko) * 2018-05-14 2021-01-27 퀀텀-에스아이 인코포레이티드 상이한 데이터 모달리티들에 대한 통계적 모델들을 단일화하기 위한 시스템들 및 방법들
CN109992686A (zh) * 2019-02-24 2019-07-09 复旦大学 基于多角度自注意力机制的图像-文本检索***及方法
CN110188209B (zh) * 2019-05-13 2021-06-04 山东大学 基于层次标签的跨模态哈希模型构建方法、搜索方法及装置
CN111091010A (zh) * 2019-11-22 2020-05-01 京东方科技集团股份有限公司 相似度确定、网络训练、查找方法及装置和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170061250A1 (en) * 2015-08-28 2017-03-02 Microsoft Technology Licensing, Llc Discovery of semantic similarities between images and text
WO2018188240A1 (zh) * 2017-04-10 2018-10-18 北京大学深圳研究生院 一种基于深度语义空间的跨媒体检索方法
CN107193919A (zh) * 2017-05-15 2017-09-22 清华大学深圳研究生院 一种电子病历的检索方法及***
CN107562812A (zh) * 2017-08-11 2018-01-09 北京大学 一种基于特定模态语义空间建模的跨模态相似性学习方法
CN108288067A (zh) * 2017-09-12 2018-07-17 腾讯科技（深圳）有限公司 图像文本匹配模型的训练方法、双向搜索方法及相关装置
CN109492666A (zh) * 2018-09-30 2019-03-19 北京百卓网络技术有限公司 图像识别模型训练方法、装置及存储介质
CN109783655A (zh) * 2018-12-07 2019-05-21 西安电子科技大学 一种跨模态检索方法、装置、计算机设备和存储介质
CN110188210A (zh) * 2019-05-10 2019-08-30 山东师范大学 一种基于图正则化与模态独立的跨模态数据检索方法及***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021098534A1 (zh) * 2019-11-22 2021-05-27 京东方科技集团股份有限公司 相似度确定、网络训练、查找方法及装置、电子装置和存储介质
CN111898732A (zh) * 2020-06-30 2020-11-06 江苏省特种设备安全监督检验研究院 基于深度卷积神经网络的超声波测距补偿方法
CN111898732B (zh) * 2020-06-30 2023-06-20 江苏省特种设备安全监督检验研究院 基于深度卷积神经网络的超声波测距补偿方法
CN113033622A (zh) * 2021-03-05 2021-06-25 北京百度网讯科技有限公司 跨模态检索模型的训练方法、装置、设备和存储介质

Also Published As

Publication number Publication date
WO2021098534A1 (zh) 2021-05-27
US20220076052A1 (en) 2022-03-10

Similar Documents

Publication Publication Date Title
US11861829B2 (en) Deep learning based medical image detection method and related device
US20200311871A1 (en) Image reconstruction method and device
US10706333B2 (en) Medical image analysis method, medical image analysis system and storage medium
CN111353076B (zh) 训练跨模态检索模型的方法、跨模态检索的方法和相关装置
WO2021227726A1 (zh) 面部检测、图像检测神经网络训练方法、装置和设备
WO2021254499A1 (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
WO2021098534A1 (zh) 相似度确定、网络训练、查找方法及装置、电子装置和存储介质
WO2022001623A1 (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
EP4002161A1 (en) Image retrieval method and apparatus, storage medium, and device
KR102635777B1 (ko) 분자 결합 부위를 검출하기 위한 방법 및 장치, 전자 디바이스 및 저장 매체
CN111932529B (zh) 一种图像分类分割方法、装置及***
WO2022242127A1 (zh) 图像特征提取方法、装置、电子设备及存储介质
CN111242952B (zh) 图像分割模型训练方法、图像分割方法、装置及计算设备
CN116129141A (zh) 医学数据处理方法、装置、设备、介质和计算机程序产品
Rastogi et al. Deep learning and big datatechnologies in medical image analysis
Wang et al. Quality-aware dual-modal saliency detection via deep reinforcement learning
CN112907569A (zh) 头部图像区域的分割方法、装置、电子设备和存储介质
CN111582449B (zh) 一种目标域检测网络的训练方法、装置、设备及存储介质
CN113822283A (zh) 文本内容处理方法、装置、计算机设备及存储介质
WO2023231753A1 (zh) 一种神经网络的训练方法、数据的处理方法以及设备
WO2023160157A1 (zh) 三维医学图像的识别方法、装置、设备、存储介质及产品
KR102334666B1 (ko) 얼굴 이미지 생성 방법
CN114708952A (zh) 一种图像标注方法、装置、存储介质和电子设备
CN117616467A (zh) 训练并使用深度学习算法来基于降维表示比较医学图像的方法
Chen et al. A unified framework for generative data augmentation: A comprehensive survey

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination