CN117296050A - 用于使交叉嵌入对齐的嵌入归一化的方法、***和计算机程序产品 - Google Patents
用于使交叉嵌入对齐的嵌入归一化的方法、***和计算机程序产品 Download PDFInfo
- Publication number
- CN117296050A CN117296050A CN202280006408.2A CN202280006408A CN117296050A CN 117296050 A CN117296050 A CN 117296050A CN 202280006408 A CN202280006408 A CN 202280006408A CN 117296050 A CN117296050 A CN 117296050A
- Authority
- CN
- China
- Prior art keywords
- embedded
- singular value
- embedded set
- processor
- normalization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010606 normalization Methods 0.000 title claims abstract description 180
- 238000000034 method Methods 0.000 title claims abstract description 91
- 238000004590 computer program Methods 0.000 title claims abstract description 24
- 239000013598 vector Substances 0.000 claims abstract description 126
- 239000011159 matrix material Substances 0.000 claims abstract description 56
- 230000003595 spectral effect Effects 0.000 claims abstract description 50
- 238000000354 decomposition reaction Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 description 43
- 238000013475 authorization Methods 0.000 description 40
- 230000008569 process Effects 0.000 description 27
- 238000012545 processing Methods 0.000 description 18
- 230000004044 response Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 12
- 239000000047 product Substances 0.000 description 10
- 238000003860 storage Methods 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 8
- 238000000513 principal component analysis Methods 0.000 description 6
- 241000228740 Procrustes Species 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000000977 initiatory effect Effects 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 230000006698 induction Effects 0.000 description 3
- 238000009448 modified atmosphere packaging Methods 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 229920002239 polyacrylonitrile Polymers 0.000 description 2
- 201000006292 polyarteritis nodosa Diseases 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000019837 monoammonium phosphate Nutrition 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000000344 soap Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F5/00—Methods or arrangements for data conversion without changing the order or content of the data handled
- G06F5/01—Methods or arrangements for data conversion without changing the order or content of the data handled for shifting, e.g. justifying, scaling, normalising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Machine Translation (AREA)
Abstract
提供了一种用于使交叉嵌入对齐的嵌入归一化的方法。方法可以包括对至少一个嵌入集应用均值中心化，对至少一个嵌入集应用谱归一化，和/或对至少一个嵌入集应用长度归一化。谱归一化可以包括分解至少一个嵌入集，确定至少一个嵌入集的平均奇异值，确定对角矩阵的每个相应奇异值的相应替代奇异值，和/或用至少一个嵌入集、右奇异向量和替代对角矩阵的逆矩阵的乘积替换至少一个嵌入集。均值中心化、谱归一化和/或长度归一化能够迭代地重复达可配置迭代次数。还公开一种***和计算机程序产品。
Description
相关申请的交叉引用
本申请要求2021年5月25日提交的美国临时专利申请第63/192,779号的优先权，该申请的公开内容的全文以引用方式并入本文。
技术领域
本公开的主题总体上涉及用于使嵌入归一化的方法、***和计算机程序产品，并且在一些特定实施方案或方面中，涉及用于使交叉嵌入对齐的嵌入归一化的方法、***和计算机程序产品。
背景技术
交叉嵌入对齐(例如，对齐来自两个或更多个不同嵌入空间的嵌入向量)在各种应用中是有用的。例如，跨语言和多语言自然语言处理(NLP)最近受到了关注。学习将来自多种语言的词嵌入向量映射到共享的跨语言词嵌入向量空间的迁移函数，能够实现词义的多语言建模和NLP模型的跨语言迁移。跨语言词嵌入(CLWE)在共享的跨语言向量空间中表示来自两种或更多种语言的词，并且CLWE用作跨不同语言迁移数据、理解跨语言差异以及用于下游任务(诸如双语词典归纳(BLI)、跨语言信息检索、跨语言文档分类、跨语言依存解析和机器翻译)的跨语言迁移的有价值的工具。某些CLWE技术使用严格的正交变换将一个嵌入映射到另一嵌入，因此嵌入位于共享的语言空间中。例如，Procrustes对齐技术提供了封闭形式的解决方案，该解决方案使跨越两个嵌入的对象对之间的对齐的所有欧几里德距离对的总和最小化。在应用对齐技术(例如，Procrustes对齐等)之前对嵌入向量进行预处理可以提高CLWE性能。
然而，某些预处理技术的限制导致性能降低(例如，差的、次优等的性能)。例如，均值中心化不会改变一组嵌入向量中任何一对点之间的欧几里德距离，但会改变点对之间的余弦距离。长度归一化不会改变一组嵌入向量中任何一对点之间的余弦距离，但会改变点对之间的欧几里德距离。主分量分析(PCA)去除减少了顶部主分量或顶部奇异向量(例如，使顶部奇异值正好为0)，因此，PCA可能过于生硬。
发明内容
因此，提供了用于使交叉嵌入对齐的嵌入归一化的改进的方法、***和计算机程序产品。
根据非限制性实施方案或方面，提供了一种用于使交叉嵌入对齐的嵌入归一化的方法。在一些非限制性实施方案或方面中，一种用于使交叉嵌入对齐的嵌入归一化的方法可以包括接收至少一个嵌入集，所述至少一个嵌入集中的每个嵌入集包括一组嵌入向量。能够对所述至少一个嵌入集应用均值中心化。能够对所述至少一个嵌入集应用谱归一化。例如，谱归一化可以包括分解所述至少一个嵌入集以提供左奇异向量、右奇异向量和对角矩阵；确定所述至少一个嵌入集的平均奇异值；对于所述对角矩阵的每个相应奇异值，确定所述相应奇异值是否大于所述平均奇异值的可配置倍数；对于所述对角矩阵的每个相应奇异值，如果所述相应奇异值大于所述平均奇异值的所述可配置倍数，则基于所述相应奇异值除以所述平均奇异值的所述可配置倍数的商来确定相应替代奇异值，或者如果所述相应奇异值不大于所述平均奇异值的所述可配置倍数，则确定所述相应替代奇异值为1，其中替代对角矩阵包括所述对角矩阵的每个相应奇异值的所述相应替代奇异值；以及用所述至少一个嵌入集、所述右奇异向量和所述替代对角矩阵的逆矩阵的乘积替换所述至少一个嵌入集。能够对所述至少一个嵌入集应用长度归一化。
在一些非限制性实施方案或方面中，应用均值中心化可以包括基于所述一组嵌入向量中的所有嵌入向量来确定均值。另外或替代地，可以从所述一组嵌入向量中的每个嵌入向量中减去所述均值。
在一些非限制性实施方案或方面中，分解所述至少一个嵌入集可以包括对所述至少一个嵌入集执行奇异值分解。
在一些非限制性实施方案或方面中，确定所述平均奇异值可以包括确定平均平方奇异值的平方根。
在一些非限制性实施方案或方面中，应用长度归一化可以包括将所述一组嵌入向量中的每个嵌入向量调整为具有2-范数1。
在一些非限制性实施方案或方面中，对所述至少一个嵌入集应用均值中心化、应用谱归一化和应用长度归一化能够迭代地重复达可配置迭代次数。
在一些非限制性实施方案或方面中，所述至少一个嵌入集可以包括第一嵌入集和第二嵌入集另外或替代地，所述第一嵌入组能够与所述第二嵌入组对齐。
在一些非限制性实施方案或方面中，所述至少一个嵌入集可以包括第一语言嵌入集和第二语言嵌入集。所述第一语言嵌入集可以包括用于第一语言的第一组词嵌入向量。所述第二语言嵌入集可以包括用于第二语言的第二组词嵌入向量。
在一些非限制性实施方案或方面中，所述至少一个嵌入集可以包括表示与第一时间段相关联的第一嵌入空间中的实体的第一嵌入集，以及表示与不同于所述第一时间段的第二时间段相关联的第二嵌入空间中的实体的第二嵌入集。
在一些非限制性实施方案或方面中，所述实体可以包括商家、客户、发行方、收单方或支付网关中的至少一者。
根据非限制性实施方案或方面，提供了一种用于使交叉嵌入对齐的嵌入归一化的***。在一些非限制性实施方案或方面中，所述用于使交叉嵌入对齐的嵌入归一化的***可以包括：至少一个处理器；以及包括一个或多个指令的至少一个非瞬态计算机可读介质，所述一个或多个指令在由所述至少一个处理器执行时引导所述至少一个处理器接收至少一个嵌入集。所述至少一个嵌入集中的每个嵌入集可以包括一组嵌入向量。所述指令在由所述至少一个处理器执行时能够进一步引导所述至少一个处理器对所述至少一个嵌入集应用均值中心化。所述指令在由所述至少一个处理器执行时能够进一步引导所述至少一个处理器对所述至少一个嵌入集应用谱归一化。对所述至少一个嵌入集应用谱归一化可以包括分解所述至少一个嵌入集以提供左奇异向量、右奇异向量和对角矩阵；确定所述至少一个嵌入集的平均奇异值；对于所述对角矩阵的每个相应奇异值，确定所述相应奇异值是否大于所述平均奇异值的可配置倍数；对于所述对角矩阵的每个相应奇异值，如果所述相应奇异值大于所述平均奇异值的所述可配置倍数，则基于所述相应奇异值除以所述平均奇异值的所述可配置倍数的商来确定相应替代奇异值，或者如果所述相应奇异值不大于所述平均奇异值的所述可配置倍数，则确定所述相应替代奇异值为1，其中替代对角矩阵包括所述对角矩阵的每个相应奇异值的所述相应替代奇异值；以及用所述至少一个嵌入集、所述右奇异向量和所述替代对角矩阵的逆矩阵的乘积替换所述至少一个嵌入集。所述指令在由所述至少一个处理器执行时能够进一步引导所述至少一个处理器对所述至少一个嵌入集应用长度归一化。
在一些非限制性实施方案或方面中，应用均值中心化可以包括基于所述一组嵌入向量中的所有嵌入向量来确定均值和/或从所述一组嵌入向量中的每个嵌入向量中减去所述均值。
在一些非限制性实施方案或方面中，分解所述至少一个嵌入集可以包括对所述至少一个嵌入集执行奇异值分解。
在一些非限制性实施方案或方面中，确定所述平均奇异值可以包括确定平均平方奇异值的平方根。
在一些非限制性实施方案或方面中，应用长度归一化可以包括将所述一组嵌入向量中的每个嵌入向量调整为具有2-范数1。
在一些非限制性实施方案或方面中，所述指令在由所述至少一个处理器执行时能够进一步引导所述至少一个处理器对所述至少一个嵌入集迭代地重复应用均值中心化、应用谱归一化和应用长度归一化达可配置迭代次数。
在一些非限制性实施方案或方面中，所述至少一个嵌入集可以包括第一嵌入集和第二嵌入集另外或替代地，所述指令在由所述至少一个处理器执行时能够进一步引导所述至少一个处理器将所述第一嵌入集与所述第二嵌入集对齐。
在一些非限制性实施方案或方面中，所述至少一个嵌入集可以包括第一语言嵌入集和第二语言嵌入集。所述第一语言嵌入集可以包括用于第一语言的第一组词嵌入向量。所述第二语言嵌入集可以包括用于第二语言的第二组词嵌入向量。
在一些非限制性实施方案或方面中，所述至少一个嵌入集可以包括表示与第一时间段相关联的第一嵌入空间中的实体的第一嵌入集，以及表示与不同于所述第一时间段的第二时间段相关联的第二嵌入空间中的实体的第二嵌入集。
在一些非限制性实施方案或方面中，所述实体可以包括商家、客户、发行方、收单方或支付网关中的至少一者。
根据非限制性实施方案或方面，提供了一种用于使交叉嵌入对齐的嵌入归一化的计算机程序产品。所述计算机程序产品可以包括至少一个非瞬态计算机可读介质，所述至少一个非瞬态计算机可读介质包括一个或多个指令，所述一个或多个指令在由至少一个处理器执行时使所述至少一个处理器接收至少一个嵌入集。所述至少一个嵌入集中的每个嵌入集可以包括一组嵌入向量。所述指令在由所述至少一个处理器执行时能够进一步使所述至少一个处理器对所述至少一个嵌入集应用均值中心化。所述指令在由所述至少一个处理器执行时能够进一步使所述至少一个处理器对所述至少一个嵌入集应用谱归一化。对所述至少一个嵌入集应用谱归一化可以包括分解所述至少一个嵌入集以提供左奇异向量、右奇异向量和对角矩阵；确定所述至少一个嵌入集的平均奇异值；对于所述对角矩阵的每个相应奇异值，确定所述相应奇异值是否大于所述平均奇异值的可配置倍数；对于所述对角矩阵的每个相应奇异值，如果所述相应奇异值大于所述平均奇异值的所述可配置倍数，则基于所述相应奇异值除以所述平均奇异值的所述可配置倍数的商来确定相应替代奇异值，或者如果所述相应奇异值不大于所述平均奇异值的所述可配置倍数，则确定所述相应替代奇异值为1，其中替代对角矩阵包括所述对角矩阵的每个相应奇异值的所述相应替代奇异值；以及用所述至少一个嵌入集、所述右奇异向量和所述替代对角矩阵的逆矩阵的乘积替换所述至少一个嵌入集。所述指令在由所述至少一个处理器执行时能够进一步使所述至少一个处理器对所述至少一个嵌入集应用长度归一化。
在一些非限制性实施方案或方面中，应用均值中心化可以包括基于所述一组嵌入向量中的所有嵌入向量来确定均值和/或从所述一组嵌入向量中的每个嵌入向量中减去所述均值。
在一些非限制性实施方案或方面中，分解所述至少一个嵌入集可以包括对所述至少一个嵌入集执行奇异值分解。
在一些非限制性实施方案或方面中，确定所述平均奇异值可以包括确定平均平方奇异值的平方根。
在一些非限制性实施方案或方面中，应用长度归一化可以包括将所述一组嵌入向量中的每个嵌入向量调整为具有2-范数1。
在一些非限制性实施方案或方面中，所述指令在由所述至少一个处理器执行时能够进一步使所述至少一个处理器对所述至少一个嵌入集迭代地重复应用均值中心化、应用谱归一化和应用长度归一化达可配置迭代次数。
在一些非限制性实施方案或方面中，所述至少一个嵌入集可以包括第一嵌入集和第二嵌入集另外或替代地，所述指令在由所述至少一个处理器执行时能够进一步使所述至少一个处理器将所述第一嵌入集与所述第二嵌入集对齐。
在一些非限制性实施方案或方面中，所述至少一个嵌入集可以包括第一语言嵌入集和第二语言嵌入集。所述第一语言嵌入集可以包括用于第一语言的第一组词嵌入向量。所述第二语言嵌入集可以包括用于第二语言的第二组词嵌入向量。
在一些非限制性实施方案或方面中，所述至少一个嵌入集可以包括表示与第一时间段相关联的第一嵌入空间中的实体的第一嵌入集，以及表示与不同于所述第一时间段的第二时间段相关联的第二嵌入空间中的实体的第二嵌入集。
在一些非限制性实施方案或方面中，所述实体可以包括商家、客户、发行方、收单方或支付网关中的至少一者。
在以下编号条款中阐述其他非限制性实施方案或方面：
条款1：一种计算机实现的方法，所述方法包括：用至少一个处理器接收至少一个嵌入集，所述至少一个嵌入集中的每个嵌入集包括一组嵌入向量；用至少一个处理器对所述至少一个嵌入集应用均值中心化；用至少一个处理器对所述至少一个嵌入集应用谱归一化，其中对所述至少一个嵌入集应用谱归一化包括：用至少一个处理器分解所述至少一个嵌入集以提供左奇异向量、右奇异向量和对角矩阵；用至少一个处理器确定所述至少一个嵌入集的平均奇异值；对于所述对角矩阵的每个相应奇异值，用至少一个处理器确定所述相应奇异值是否大于所述平均奇异值的可配置倍数；对于所述对角矩阵的每个相应奇异值，如果所述相应奇异值大于所述平均奇异值的所述可配置倍数，则用至少一个处理器基于所述相应奇异值除以所述平均奇异值的所述可配置倍数的商来确定相应替代奇异值，或者如果所述相应奇异值不大于所述平均奇异值的所述可配置倍数，则用至少一个处理器确定所述相应替代奇异值为1，其中替代对角矩阵包括所述对角矩阵的每个相应奇异值的所述相应替代奇异值；以及用至少一个处理器用所述至少一个嵌入集、所述右奇异向量和所述替代对角矩阵的逆矩阵的乘积替换所述至少一个嵌入集；以及用至少一个处理器对所述至少一个嵌入集应用长度归一化。
条款2：如条款1所述的方法，其中应用均值中心化包括：用至少一个处理器基于所述一组嵌入向量中的所有嵌入向量来确定均值；以及用至少一个处理器从所述一组嵌入向量中的每个嵌入向量中减去所述均值。
条款3：如任一前述条款所述的方法，其中分解所述至少一个嵌入集包括对所述至少一个嵌入集执行奇异值分解。
条款4：如任一前述条款所述的方法，其中确定所述平均奇异值包括确定平均平方奇异值的平方根。
条款5：如任一前述条款所述的方法，其中应用长度归一化包括：用至少一个处理器将所述一组嵌入向量中的每个嵌入向量调整为具有2-范数1。
条款6：如任一前述条款所述的方法，所述方法还包括：用至少一个处理器对所述至少一个嵌入集迭代地重复应用均值中心化、应用谱归一化和应用长度归一化达可配置迭代次数。
条款7：如任一前述条款所述的方法，其中所述至少一个嵌入集包括第一嵌入集和第二嵌入集，所述方法还包括：用至少一个处理器将所述第一嵌入集与所述第二嵌入集对齐。
条款8：如任一前述条款所述的方法，其中所述至少一个嵌入集包括第一语言嵌入集和第二语言嵌入集，所述第一语言嵌入集包括用于第一语言的第一组词嵌入向量，所述第二语言嵌入集包括用于第二语言的第二组词嵌入向量。
条款9：如任一前述条款所述的方法，其中所述至少一个嵌入集包括表示与第一时间段相关联的第一嵌入空间中的实体的第一嵌入集，以及表示与不同于所述第一时间段的第二时间段相关联的第二嵌入空间中的实体的第二嵌入集。
条款10：如任一前述条款所述的方法，其中所述实体包括商家、客户、发行方、收单方或支付网关中的至少一者。
条款11：一种***，所述***包括：至少一个处理器；以及包括一个或多个指令的至少一个非瞬态计算机可读介质，所述一个或多个指令在由所述至少一个处理器执行时引导所述至少一个处理器：接收至少一个嵌入集，所述至少一个嵌入集中的每个嵌入集包括一组嵌入向量；对所述至少一个嵌入集应用均值中心化；对所述至少一个嵌入集应用谱归一化，其中对所述至少一个嵌入集应用谱归一化包括：分解所述至少一个嵌入集以提供左奇异向量、右奇异向量和对角矩阵；确定所述至少一个嵌入集的平均奇异值；对于所述对角矩阵的每个相应奇异值，确定所述相应奇异值是否大于所述平均奇异值的可配置倍数；对于所述对角矩阵的每个相应奇异值，如果所述相应奇异值大于所述平均奇异值的所述可配置倍数，则基于所述相应奇异值除以所述平均奇异值的所述可配置倍数的商来确定相应替代奇异值，或者如果所述相应奇异值不大于所述平均奇异值的所述可配置倍数，则确定所述相应替代奇异值为1，其中替代对角矩阵包括所述对角矩阵的每个相应奇异值的所述相应替代奇异值；以及用所述至少一个嵌入集、所述右奇异向量和所述替代对角矩阵的逆矩阵的乘积替换所述至少一个嵌入集；并且对所述至少一个嵌入集应用长度归一化。
条款12：如条款11所述的***，其中应用均值中心化包括：基于所述一组嵌入向量中的所有嵌入向量来确定均值；以及从所述一组嵌入向量中的每个嵌入向量中减去所述均值。
条款13：如条款11或条款12所述的***，其中分解所述至少一个嵌入集包括对所述至少一个嵌入集执行奇异值分解。
条款14：如条款11至条款13中任一项所述的***，其中确定所述平均奇异值包括确定平均平方奇异值的平方根。
条款15：如条款11至条款14中任一项所述的***，其中应用长度归一化包括：将所述一组嵌入向量中的每个嵌入向量调整为具有2-范数1。
条款16：如条款11至条款15中任一项所述的***，其中所述指令在由所述至少一个处理器执行时进一步引导所述至少一个处理器：对所述至少一个嵌入集迭代地重复应用均值中心化、应用谱归一化和应用长度归一化达可配置迭代次数。
条款17：如条款11至条款16中任一项所述的***，其中所述至少一个嵌入集包括第一嵌入集和第二嵌入集，其中所述指令在由所述至少一个处理器执行时进一步引导所述至少一个处理器：将所述第一嵌入集与所述第二嵌入集对齐。
条款18：如条款11至条款17中任一项所述的***，其中所述至少一个嵌入集包括第一语言嵌入集和第二语言嵌入集，所述第一语言嵌入集包括用于第一语言的第一组词嵌入向量，所述第二语言嵌入集包括用于第二语言的第二组词嵌入向量。
条款19：如条款11至条款18中任一项所述的***，其中所述至少一个嵌入集包括表示与第一时间段相关联的第一嵌入空间中的实体的第一嵌入集，以及表示与不同于所述第一时间段的第二时间段相关联的第二嵌入空间中的实体的第二嵌入集，并且其中所述实体包括商家、客户、发行方、收单方或支付网关中的至少一者。
条款20：一种计算机程序产品，所述计算机程序产品包括至少一个非瞬态计算机可读介质，所述至少一个非瞬态计算机可读介质包括一个或多个指令，所述一个或多个指令在由至少一个处理器执行时使所述至少一个处理器：接收至少一个嵌入集，所述至少一个嵌入集中的每个嵌入集包括一组嵌入向量；对所述至少一个嵌入集应用均值中心化；对所述至少一个嵌入集应用谱归一化，其中对所述至少一个嵌入集应用谱归一化包括：分解所述至少一个嵌入集以提供左奇异向量、右奇异向量和对角矩阵；确定所述至少一个嵌入集的平均奇异值；对于所述对角矩阵的每个相应奇异值，确定所述相应奇异值是否大于所述平均奇异值的可配置倍数；对于所述对角矩阵的每个相应奇异值，如果所述相应奇异值大于所述平均奇异值的所述可配置倍数，则基于所述相应奇异值除以所述平均奇异值的所述可配置倍数的商来确定相应替代奇异值，或者如果所述相应奇异值不大于所述平均奇异值的所述可配置倍数，则确定所述相应替代奇异值为1，其中替代对角矩阵包括所述对角矩阵的每个相应奇异值的所述相应替代奇异值；以及用所述至少一个嵌入集、所述右奇异向量和所述替代对角矩阵的逆矩阵的乘积替换所述至少一个嵌入集；并且对所述至少一个嵌入集应用长度归一化。
条款21：如条款20所述的计算机程序产品，其中应用均值中心化包括：基于所述一组嵌入向量中的所有嵌入向量来确定均值；以及从所述一组嵌入向量中的每个嵌入向量中减去所述均值。
条款22：如条款20或条款21所述的计算机程序产品，其中分解所述至少一个嵌入集包括对所述至少一个嵌入集执行奇异值分解。
条款23：如条款20至条款22中任一项所述的计算机程序产品，其中确定所述平均奇异值包括确定平均平方奇异值的平方根。
条款24：如条款20至条款23中任一项所述的计算机程序产品，其中应用长度归一化包括：将所述一组嵌入向量中的每个嵌入向量调整为具有2-范数1。
条款25：如条款20至条款24中任一项所述的计算机程序产品，其中所述指令在由所述至少一个处理器执行时进一步使所述至少一个处理器：对所述至少一个嵌入集迭代地重复应用均值中心化、应用谱归一化和应用长度归一化达可配置迭代次数。
条款26：如条款20至条款25中任一项所述的计算机程序产品，其中所述至少一个嵌入集包括第一嵌入集和第二嵌入集，其中所述指令在由所述至少一个处理器执行时进一步使所述至少一个处理器：将所述第一嵌入集与所述第二嵌入集对齐。
条款27：如条款20至条款26中任一项所述的计算机程序产品，其中所述至少一个嵌入集包括第一语言嵌入集和第二语言嵌入集，所述第一语言嵌入集包括用于第一语言的第一组词嵌入向量，所述第二语言嵌入集包括用于第二语言的第二组词嵌入向量。
条款28：如条款20至条款27中任一项所述的计算机程序产品，其中所述至少一个嵌入集包括表示与第一时间段相关联的第一嵌入空间中的实体的第一嵌入集，以及表示与不同于所述第一时间段的第二时间段相关联的第二嵌入空间中的实体的第二嵌入集。
条款29：如条款20至条款28中任一项所述的计算机程序产品，其中所述实体包括商家、客户、发行方、收单方或支付网关中的至少一者。
在参考附图考虑以下描述和所附权利要求书之后，当前公开的主题的这些和其他特征和特性，以及相关结构元件和各部分组合的操作方法和功能以及制造经济性将变得更加显而易见，所有附图形成本说明书的部分，其中相同的附图标记表示各图中的对应部分。然而，应明确地理解，图式仅出于说明和描述目的，并非旨在作为所公开主题的限制的定义。除非上下文另外明确规定，否则在本说明书和权利要求书中所用时，单数形式“一”及“所述”包括多个指示物。
附图说明
下文参考附图中示出的示例性实施方案或方面更详细地解释所公开主题的额外优点和细节，在附图中：
图1A是根据当前公开的主题的一些非限制性实施方案或方面的用于使交叉嵌入对齐的嵌入归一化的示例性***的图；
图1B是根据当前公开的主题的一些非限制性实施方案或方面的可以在其中实现本文描述的方法、***和/或计算机程序产品的示例性环境的图；
图2是根据当前公开的主题的一些非限制性实施方案或方面的图1A和图1B的一个或多个装置的示例性组件的图；
图3是根据当前公开的主题的一些非限制性实施方案或方面的用于使交叉嵌入对齐的嵌入归一化的示例性过程的流程图；
图4A至图4C是示出根据当前公开的主题的一些非限制性实施方案或方面的图3的过程的示例性实现方式的性能的图表；并且
图5A和图5B是示出根据当前公开主题的一些非限制性实施方案或方面的图3的过程的示例性实现方式的性能的图表。
具体实施方式
下文出于描述的目的，术语“端”、“上”、“下”、“右”、“左”、“竖直”、“水平”、“顶部”、“底部”、“横向”、“纵向”以及它们的衍生词应涉及所公开主题如其在附图中的定向。然而，应理解，除了明确指定相反情况之外，所公开主题可以采用各种替代变化和步骤序列。还应理解，附图中示出的以及在以下说明书中描述的特定装置和过程仅仅是所公开主题的示例性实施方案或方面。因此，除非另有指示，否则与本文公开的实施方案或方面相关联的特定维度和其他物理特性不应被视为限制。
本文所使用的方面、组件、元件、结构、动作、步骤、功能、指令等都不应当被理解为关键的或必要的，除非明确地如此描述。并且，如本文所使用，冠词“一”希望包括一个或多个项目，且可与“一个或多个”和“至少一个”互换使用。此外，如本文所使用，术语“集”希望包括一个或多个项目(例如，相关项目、不相关项目、相关项目与不相关项目的组合等)，并且可与“一个或多个”或“至少一个”互换使用。在希望仅有一个项目的情况下，使用术语“一个”或类似语言。且，如本文所使用，术语“具有”等希望是开放式术语。另外，除非另外明确陈述，否则短语“基于”希望意味着“至少部分地基于”。
如本文所使用，术语“通信”和“传送”可指信息(例如，数据、信号、消息、指令、命令等)的接收、接受、发送、迁移、提供等。一个单元(例如，装置、***、装置或***的组件、它们的组合等)与另一单元通信意味着所述一个单元能够直接或间接地从所述另一单元接收信息和/或向所述另一单元发送信息。这可以指代在本质上有线和/或无线的直接或间接连接(例如，直接通信连接、间接通信连接等)。另外，尽管所发送的信息可以在第一单元与第二单元之间被修改、处理、中继和/或路由，但这两个单元也可以彼此通信。例如，即使第一单元被动地接收信息且不会主动地将信息发送到第二单元，第一单元也可以与第二单元通信。作为另一示例，如果至少一个中间单元(例如，位于第一单元与第二单元之间的第三单元)处理从第一单元接收的信息并且将处理后的信息传送到第二单元，则第一单元可以与第二单元通信。在一些非限制性实施方案或方面中，消息可以指代包括数据的网络分组(例如，数据分组等)。应了解，可能有许多其他布置。
如本文所使用，术语“发行方机构”、“便携式金融装置发行方”、“发行方”或“发行方银行”可指代向客户提供账户用于进行交易(例如，支付交易)(例如发起信用和/或借记支付)的一个或多个实体。例如，发行方机构可向客户提供唯一地标识与所述客户相关联的一个或多个账户的账户标识符，例如主账号(PAN)。账户标识符可以在例如实体金融工具(例如，支付卡)等便携式金融装置上实施，和/或可以是电子的且用于电子支付。术语“发行方机构”和“发行方机构***”也可指代由发行方机构或代表发行方机构操作的一个或多个计算机***，例如执行一个或多个软件应用程序的服务器计算机。例如，发行方机构***可以包括用于授权交易的一个或多个授权服务器。
如本文所使用，术语“账户标识符”可以包括与用户账户相关联的一种或多种类型的标识符(例如，PAN、***、支付***、支付令牌等)。在一些非限制性实施方案或方面中，发行方机构可以向用户提供账户标识符(例如，PAN、支付令牌等)，所述账户标识符唯一地标识与所述用户相关联的一个或多个账户。账户标识符可在物理金融工具(例如，便携式金融工具、支付卡、***、借记卡等)上体现，和/或可为传送到用户使得用户可用于电子支付的电子信息。在一些非限制性实施方案或方面中，账户标识符可以是原始账户标识符，其中在创建与账户标识符相关联的账户时，将原始账户标识符提供给用户。在一些非限制性实施方案或方面中，账户标识符可以是在将原始账户标识符提供给用户之后提供给用户的账户标识符(例如，补充账户标识符)。例如，如果原始账户标识符被遗忘、被盗等，则补充账户标识符可提供给用户。在一些非限制性实施方案或方面中，账户标识符可以直接或间接地与发行方机构相关联，使得账户标识符可以是映射到PAN或其他类型的标识符的支付令牌。账户标识符可以是文数字、字符和/或符号的任何组合等。发行方机构可以与唯一地标识发行方机构的银行标识号(BIN)相关联。
如本文中所使用，术语“支付令牌”或“令牌”可指代用作例如PAN的账户标识符的替代或替换标识符的标识符。令牌可与一种或多种数据结构(例如，一个或多个数据库等)中的PAN或其他账户标识符相关联，使得所述令牌可用于进行交易(例如，支付交易)而无需直接使用账户标识符，例如PAN。在一些示例中，例如PAN的账户标识符可以与用于不同个人、不同用途和/或不同目的的多个令牌相关联。例如，支付令牌可包括可以用作原始账户标识符的替代的一连串数字和/或字母数字字符。例如，支付令牌“4900 0000 0000 0001”可代替PAN“4147 0900 0000 1234”使用。在一些非限制性实施方案或方面中，支付令牌可以是“保留格式的”，并且可以具有与现有支付处理网络中使用的账户标识符一致的数字格式(例如，ISO 8583金融交易消息格式)。在一些非限制性实施方案或方面，支付令牌可代替PAN用来发起、授权、结算或解决支付交易，或在通常会提供原始凭证的其他***中表示原始凭证。在一些非限制性实施方案或方面，可以生成令牌值，使得可能无法以计算方式从令牌值得到原始PAN或其他账户标识符的恢复(例如，使用单向散列或其他密码函数)。此外，在一些非限制性实施方案或方面，令牌格式可被配置成允许接收支付令牌的实体将其标识为支付令牌，并辨识发行所述令牌的实体。
如本文中所使用，术语“提供”可指代使得装置能够使用资源或服务的过程。例如，提供可能涉及使得装置能够使用账户来执行交易。另外或替代地，提供可包括将与账户数据(例如，表示账号的支付令牌)相关联的提供数据添加到装置。
如本文中所使用，术语“令牌请求者”可指力图根据本公开主题的实施方案或方面实施令牌化的实体。例如，令牌请求者可以通过向令牌服务提供商提交令牌请求消息来发起使PAN令牌化的请求。另外或替代地，一旦请求者已响应于令牌请求消息而接收支付令牌，令牌请求者就可能不再需要存储与令牌相关联的PAN。在一些非限制性实施方案或方面，请求者可以是被配置成执行与令牌相关联的动作的应用程序、装置、过程或***。例如，请求者可以请求注册网络令牌***、请求令牌生成、令牌激活、令牌去激活、令牌交换、其他令牌生命周期管理相关过程和/或任何其他令牌相关过程。在一些非限制性实施方案或方面中，请求者可以通过任何合适的通信网络和/或协议(例如，使用HTTPS、SOAP和/或XML接口等)与网络令牌***连接。例如，令牌请求者可包括卡存档(card-on-file)商家、收单方、收单方处理器、代表商家操作的支付网关、支付使能者(enabler)(例如，原始设备制造商、移动网络运营商等)、数字钱包提供商、发行方、第三方钱包提供商、支付处理网络等。在一些非限制性实施方案或方面，令牌请求者可以针对多个域和/或信道请求令牌。另外或替代地，令牌化生态***内的令牌服务提供商可以唯一地注册和标识令牌请求者。例如，在令牌请求者注册期间，令牌服务提供商可以正式处理令牌请求者的应用程序以参与令牌服务***。在一些非限制性实施方案或方面，令牌服务提供商可以收集关于请求者的性质和令牌的相关使用的信息，以验证并正式批准令牌请求者并建立适当的域限制控制。另外或替代地，可以向成功注册的令牌请求者分配令牌请求者标识符，所述令牌请求者标识符也可以被输入并在令牌库内维护。在一些非限制性实施方案或方面中，可以吊销令牌请求者标识符，和/或可以向令牌请求者分配新的令牌请求者标识符。在一些非限制性实施方案或方面中，此信息可由令牌服务提供商进行报告和审计。
如本文中所使用，术语“令牌服务提供商”可指代包括令牌服务***中的一个或多个服务器计算机的实体，所述实体生成、处理并维护支付令牌。例如，令牌服务提供商可以包括存储所生成令牌的令牌库或与所述令牌库通信。另外或替代地，令牌库可维护令牌与由令牌表示的PAN之间的一对一映射。在一些非限制性实施方案或方面，令牌服务提供商能够预留授权的BIN作为令牌BIN以发行可以提交给令牌服务提供商的PAN的令牌。在一些非限制性实施方案或方面，令牌化生态***的各种实体可以承担令牌服务提供商的角色。例如，支付网络和发行方或其代理方可以通过实施根据本公开主题的非限制性实施方案或方面的令牌服务而成为令牌服务提供商。另外或替代地，令牌服务提供商可以将报告或数据输出提供给有关被批准、待决或被拒绝的令牌请求的报告工具，包括任何分配的令牌请求者ID。令牌服务提供商可将与基于令牌的交易相关联的数据输出提供给报告工具和应用程序，并且按需要在报告输出中呈现令牌和/或PAN。在一些非限制性实施方案或方面，EMVCo标准组织可以发布限定令牌化***可如何操作的规范。例如，此类规范可以是信息性的，但它们并不意图限制任何当前公开的主题。
如本文中所使用，术语“令牌库”可指代维护已建立的令牌到PAN映射的存储库。例如，令牌库还可以维护令牌请求者的其他属性，这些属性可以在注册时确定，和/或可以由令牌服务提供商使用以在交易处理期间应用域限制或其他控制。在一些非限制性实施方案或方面中，令牌库可以是令牌服务***的一部分。例如，令牌库可被提供为令牌服务提供商的一部分。另外或替代地，令牌库可以是令牌服务提供商可访问的远程存储库。在一些非限制性实施方案或方面中，令牌库因其中存储和管理的数据映射的敏感性质而可受到强大的基础物理和逻辑安全性的保护。另外或替代地，令牌库可以由任何合适的实体操作，所述实体包括支付网络、发行方、清算所、其他金融机构、交易服务提供商等。
如本文所使用，术语“商家”可指代一个或多个实体(例如，基于交易(例如，支付交易)向用户(例如，客户、消费者、商家的客户等)提供商品和/或服务和/或对商品和/或服务的访问的零售企业的运营者)。如本文所使用，术语“商家***”可以指由商家或代表商家操作的一个或多个计算机***，例如执行一个或多个软件应用程序的服务器计算机。如本文所使用，术语“产品”可以指商家提供的一种或多种商品和/或服务。
如本文所使用，“销售点(POS)装置”可指代可由商家使用以发起交易(例如，支付交易)、参与交易和/或处理交易的一个或多个装置。例如，POS装置可以包括一个或多个计算机、***装置、读卡器、近场通信(NFC)接收器、射频标识(RFID)接收器和/或其他非接触式收发器或接收器、基于接触的接收器、支付终端、计算机、服务器、输入装置等。
如本文所使用，“销售点(POS)***”可以指商家用来进行交易的一个或多个计算机和/或***装置。例如，POS***可包括一个或多个POS装置，和/或可用于进行支付交易的其他类似装置。POS***(例如，商家POS***)还可以包括被编程或配置成通过网页、移动应用程序等等处理在线支付交易的一个或多个服务器计算机。
如本文所使用，术语“交易服务提供商”可以指代接收来自商家或其他实体的交易授权请求且在一些情况下通过交易服务提供商与发行方机构之间的协议来提供支付保证的实体。在一些非限制性实施方案或方面中，交易服务提供商可包括***公司、借记卡公司等。如本文所使用，术语“交易服务提供商***”还可指代由交易服务提供商或代表交易服务提供商操作的一个或多个计算机***，例如执行一个或多个软件应用的交易处理服务器。交易处理服务器可以包括一个或多个处理器，并且在一些非限制性实施方案或方面中，可以由交易服务提供商或代表交易服务提供商操作。
如本文所使用，术语“收单方”可以指由交易服务提供商许可且由交易服务提供商批准可以使用与交易服务提供商相关联的便携式金融装置发起交易(例如，支付交易)的实体。如本文所使用，术语“收单方***”也可以指由收单方或代表收单方操作的一个或多个计算机***、计算机装置等等。交易可以包括支付交易(例如，购买、原始贷记交易(OCT)、账户出资交易(AFT)等)。在一些非限制性实施方案或方面中，收单方可以由交易服务提供商授权以与商家或服务提供商签约，来使用交易服务提供商的便携式金融装置发起交易。收单方可以与支付服务商签合约，以使支付服务商能够向商家提供发起。收单方可以根据交易服务提供商规章监视支付服务商的合规性。收单方可以对支付服务商进行尽职调查，并确保在与受发起的商家签约之前进行适当的尽职调查。收单方可能对收单方操作或发起的所有交易服务提供商计划负责任。收单方可以负责收单方支付服务商、由收单方支付服务商发起的商家等的行为。在一些非限制性实施方案或方面中，收单方可以是金融机构，例如银行。
如本文所使用，术语“电子钱包”、“电子钱包移动应用程序”和“数字钱包”可指代被配置成发起和/或进行交易(例如，支付交易、电子支付交易等)的一个或多个电子装置和/或一个或多个软件应用程序。例如，电子钱包可包括用户装置(例如，移动装置)执行用于维护和向用户装置提供交易数据的应用程序和服务器侧软件和/或数据库。如本文所使用，术语“电子钱包提供商”可包括为用户(例如，客户)提供和/或维护电子钱包和/或电子钱包移动应用程序的实体。电子钱包提供商的示例包括但不限于GoogleAndroidApple/>和Samsung/>在一些非限制性示例中，金融机构(例如，发行方机构)可以是电子钱包提供商。如本文中所使用，术语“电子钱包提供商***”可指代由电子钱包提供商或代表电子钱包提供商操作的一个或多个计算机***、计算机装置、服务器、服务器群组等。
如本文所使用，术语“便携式金融装置”可指支付装置、电子支付装置、支付卡(例如，***或借记卡)、礼品卡、智能卡、智能介质、工资卡、医疗保健卡、腕带、含有账户信息的机器可读介质、钥匙链装置或挂扣、RFID应答器、零售商折扣或会员卡、蜂窝电话、电子钱包移动应用程序、个人数字助理(PDA)、寻呼机、安全卡、计算机、访问卡、无线终端、应答器等。在一些非限制性实施方案或方面中，便携式金融装置可包括易失性或非易失性存储器以存储信息(例如，账户标识符、账户持有人的姓名等)。
如本文所使用，术语“支付网关”可指实体和/或由此类实体或代表此类实体操作的支付处理***，所述实体(例如商家服务提供商、支付服务提供商、支付服务商、与收单方有合约的支付服务商、支付集合人(payment aggregator)等)将支付服务(例如交易服务提供商支付服务、支付处理服务等)提供到一个或多个商家。支付服务可与由交易服务提供商管理的便携式金融装置的使用相关联。如本文所使用，术语“支付网关***”可指代由支付网关或代表支付网关操作的一个或多个计算机***、计算机装置、服务器、服务器群组等，和/或支付网关本身。如本文所使用，术语“支付网关移动应用程序”可以指被配置成提供交易(例如，支付交易、电子支付交易等)的支付服务的一个或多个电子装置和/或一个或多个软件应用程序。
如本文所使用，术语“客户端”和“客户端装置”可指代用于发起或促进交易(例如，支付交易)的一个或多个客户端侧装置或***(例如，在交易服务提供商的远程处)。作为示例，“客户端装置”可指代由商家使用的一个或多个POS装置、由收单方使用的一个或多个收单方主机计算机、由用户使用的一个或多个移动装置等。在一些非限制性实施方案或方面中，客户端装置可以是被配置成与一个或多个网络通信并发起或促进交易的电子装置。例如，客户端装置可包括一个或多个计算机、便携式计算机、膝上型计算机、平板计算机、移动装置、蜂窝式电话、可穿戴装置(例如，手表、眼镜、镜片、衣物等)、PDA等。此外，“客户端”还可指代拥有、利用和/或操作客户端装置用于发起交易(例如，用于发起与交易服务提供商的交易)的实体(例如，商家、收单方等)。
如本文所使用，术语“计算装置”可以指被配置成直接地或间接地与一个或多个网络通信或在一个或多个网络上通信的一个或多个电子装置。计算装置可以是移动装置、台式计算机和/或任何其他类似装置。此外，术语“计算机”可以指包括用于接收、处理和输出数据的必要组件且通常包括显示器、处理器、存储器、输入装置和网络接口的任何计算装置。如本文所使用，术语“服务器”可以指或包括一个或多个处理器或计算机、存储装置或由诸如因特网的网络环境中的通信和/或处理来操作或促进该通信和处理的类似的计算机布置，但应了解，可以通过一个或多个公开或专用网络环境促进通信，并且各种其他布置也是可能的。此外，在网络环境中直接或间接通信的多个计算机(例如，服务器)或其他计算机化装置(诸如POS装置)可以构成诸如商家的POS***的“***”。
如本文所使用，术语“处理器”可以表示任何类型的处理单元，例如具有一个或多个核心的单个处理器、一个或多个处理器的一个或多个核心、各自具有一个或多个核心的多个处理器、和/或处理单元的其他布置和组合。
如本文所使用，术语“***”可指代一个或多个计算装置或计算装置的组合(例如，处理器、服务器、客户端装置、软件应用程序、这些计算装置的组件等)。如本文所使用对“装置”、“服务器”、“处理器”等的提及可指代陈述为执行先前步骤或功能的先前陈述的装置、服务器或处理器、不同的服务器或处理器，和/或服务器和/或处理器的组合。例如，如说明书和权利要求书所使用，陈述为执行第一步骤或第一功能的第一服务器或第一处理器可指代陈述为执行第二步骤或第二功能的相同或不同服务器或相同或不同处理器。
所公开主题的非限制性实施方案或方面涉及用于使嵌入归一化(包括但不限于使交叉嵌入对齐的嵌入归一化)的***、方法和计算机程序产品。例如，所公开主题的非限制性实施方案或方面提供了一种新的预处理技术：谱归一化。谱归一化可以包括分解嵌入集以提供左奇异向量、右奇异向量和对角矩阵，确定至少一个嵌入集的平均奇异值，基于可配置(例如，可调)超参数确定对角矩阵的每个相应奇异值的相应替代奇异值，以及基于替代对角矩阵替换嵌入集。另外，所公开主题的非限制性实施方案或方面使得能够基于可配置(例如，可调)超参数迭代地应用均值中心化、谱归一化和长度归一化。这样的实施方案提供了为交叉嵌入对齐和下游任务(例如，双语词典归纳(BLI)、跨语言文档分类(CLDC)等)提供改进的性能(例如，增加的F1分数)的技术和***。另外或替代地，这样的实施方案提供了为嵌入集提供预处理的技术和***，该预处理改进了谱属性，包括减少的条件数、增加的数值秩和减少的联合条件数。另外或替代地，这样的实施方案提供了允许温和地调整嵌入集的谱属性的技术和***(例如，不生硬地去除奇异值和/或强制诸如条件数的指标为无穷大)。另外或替代地，这样的实施方案提供了能够对嵌入集进行预处理的技术和***，该预处理对于随后使用的对齐方法是不可知的，因此可以与任何对齐方法结合应用。另外或替代地，这样的实施方案提供了可以应用于各种上下文中的嵌入集的技术和***，包括跨语言对齐、表示两个不同时间段中相同实体的嵌入之间的映射(例如，因为嵌入空间会因为两个时间段之间的不同数据而不同)、商家分类、欺诈检测、餐厅推荐、产品推荐等。
为了说明的目的，在下面的描述中，虽然当前公开的主题是针对用于使词嵌入归一化(例如，用于跨语言对齐)的方法、***和计算机程序产品来描述的，但是本领域技术人员将认识到，所公开的主题不限于说明性实施方案或方面。例如，本文描述的方法、***和计算机程序产品可以与各种各样的设置一起使用，诸如在适合于使用这样的嵌入的任何设置中使嵌入归一化，例如，表示两个不同时间段中相同实体的嵌入之间的映射(例如，因为嵌入空间会因为两个时间段之间的不同数据而不同)、商家分类、欺诈检测、餐厅推荐、产品推荐等。
现在参考图1A，图1A是根据一些非限制性实施方案或方面的用于使交叉嵌入对齐的嵌入归一化的示例性***100a的图。如图1A所示，***100a包括嵌入归一化/对齐***102a、嵌入数据库102b和/或请求***106a。
嵌入归一化/对齐***102a可以包括能够从嵌入数据库102b和/或请求***106a接收信息和/或向该嵌入数据库和/或请求***传送信息的一个或多个装置。例如，嵌入归一化/对齐***102a可以包括计算装置，诸如服务器、服务器群组和/或其他类似装置。在一些非限制性实施方案或方面中，嵌入归一化/对齐***102a可以与数据存储装置(例如，嵌入数据库102b、与嵌入数据库102b分离的另一数据存储装置、它们的任何组合等)通信，该数据存储装置对于嵌入归一化/对齐***102a可以是本地或远程的。在一些非限制性实施方案或方面中，嵌入归一化/对齐***102可能能够从数据存储装置接收信息，将信息存储在数据存储装置中，将信息传送到数据存储装置，或搜索存储在数据存储装置中的信息。
嵌入数据库102b可以包括能够从嵌入归一化/对齐***102a和/或请求***106a接收信息和/或向该嵌入归一化/对齐***和/或请求***传送信息的一个或多个装置。例如，嵌入数据库102b可以包括计算装置，诸如服务器、服务器群组和/或其他类似装置。在一些非限制性实施方案或方面中，嵌入数据库102b可以包括数据存储装置。在一些非限制性实施方案或方面中，嵌入数据库102b可以是与嵌入归一化/对齐***102a相同的***的一部分(例如，嵌入数据库102b可以是嵌入归一化/对齐***102a的一部分、也包括嵌入归一化/对齐***102a的另一***的一部分等)。在一些非限制性实施方案或方面中，嵌入数据库102b可以与嵌入归一化/对齐***102a分离。
请求***106a可以包括能够从嵌入归一化/对齐***102a和/或嵌入数据库102b接收信息和/或向该嵌入归一化/对齐***和/或嵌入数据库传送信息的一个或多个装置。例如，请求***106a可以包括计算装置，诸如计算机、便携式计算机、移动装置、客户端装置、服务器、服务器群组等。在一些非限制性实施方案或方面中，请求***106a可以是与嵌入归一化/对齐***102a相同的***的一部分(例如，请求***106a可以是嵌入归一化/对齐***102a的一部分、也包括嵌入归一化/对齐***102a的另一***的一部分等)。在一些非限制性实施方案或方面中，请求***106a可以与嵌入归一化/对齐***102a分离。在一些非限制性实施方案或方面中，请求***106a可以是与嵌入数据库102b相同的***的一部分(例如，请求***106a可以是也包括嵌入数据库102b的嵌入归一化/对齐***102a的一部分、包括请求***106a和嵌入数据库102b的另一***的一部分等)。在一些非限制性实施方案或方面中，请求***106a可以与嵌入归一化/对齐***102a分离。
图1A所示的***和/或装置的数量和布置是作为示例提供的。可能有额外的***和/或装置；更少的***和/或装置；不同的***和/或装置；和/或与图1A所示不同的***和/或装置。此外，可在单个***和/或装置内实现图1A所示的两个或更多个***或装置，或图1A所示的单个***或装置可实现为多个分布式***或装置。另外或替代地，***100a的一组***(例如，一个或多个***)或一组装置(例如，一个或多个装置)可执行被描述为由***100a的另一组***或另一组装置执行的一个或多个功能。
现在参考图1B，图1B是根据一些非限制性实施方案或方面的可以在其中实现如本文描述的方法、***和/或计算机程序产品的示例性环境100b。如图1B所示，环境100b包括交易服务提供商***102、嵌入归一化/对齐***102a、发行方***104、客户装置106、商家***108、收单方***110和/或通信网络112。
在一些非限制性实施方案或方面中，嵌入归一化/对齐***102a可以与以上参考图1A的描述相同或相似。另外或替代地，嵌入归一化/对齐***102a可能能够从交易服务提供商***102、发行方***104、客户装置106、商家***108和/或收单方***110接收信息和/或向该交易服务提供商***、发行方***、客户装置、商家***和/或收单方***传送信息(例如，经由通信网络112)。在一些非限制性实施方案或方面中，嵌入归一化/对齐***102a可以是与交易服务提供商***102相同的***的一部分(例如，嵌入归一化/对齐***102a可以是交易服务提供商***102的一部分、也包括交易服务提供商***102的另一***的一部分等)。在一些非限制性实施方案或方面中，如以上参考图1A所描述的，嵌入数据库102b可以是与嵌入归一化/对齐***102a相同的***的一部分(例如，嵌入数据库102b可以是嵌入归一化/对齐***102a的一部分、也包括嵌入归一化/对齐***102a的另一***(诸如交易服务提供商***102)的一部分等)。在一些非限制性实施方案或方面中，如以上参考图1A所描述的，请求***106a可以是与嵌入归一化/对齐***102a相同的***的一部分(例如，嵌入数据库102b可以是嵌入归一化/对齐***102a的一部分、也包括嵌入归一化/对齐***102a的另一***(诸如交易服务提供商***102)的一部分等)。在一些非限制性实施方案或方面中，如以上参考图1A所描述的，请求***106a可以与另一***、另一装置、另一***群组或另一装置群组相同、相似和/或为该另一***、另一装置、另一***群组或另一装置群组的一部分，与嵌入归一化/对齐***102a分离或包括该嵌入归一化/对齐***，诸如发行方***104(例如，发行方***104的一个或多个装置)、客户装置106、商家***108(例如，商家***108的一个或多个装置)、收单方***110(例如，收单方***110的一个或多个装置)等。
交易服务提供商***102可以包括能够经由通信网络112从嵌入归一化/对齐***102a、发行方***104、客户装置106、商家***108和/或收单方***110接收信息和/或向该嵌入归一化/对齐***、发行方***、客户装置、商家***和/或收单方***传送信息的一个或多个装置。例如，交易服务提供商***102可以包括计算装置，诸如服务器(例如，交易处理服务器)、服务器群组和/或其他类似装置。在一些非限制性实施方案或方面中，交易服务提供商***102可以与本文描述的交易服务提供商相关联。在一些非限制性实施方案或方面中，交易服务提供商***102可以与数据存储装置通信，该数据存储装置对于交易服务提供商***102可以是本地或远程的。在一些非限制性实施方案或方面中，交易服务提供商***102能够从数据存储装置接收信息，将信息存储在数据存储装置中，将信息传送到数据存储装置，或搜索存储在数据存储装置中的信息。
发行方***104可以包括能够经由通信网络112接收信息和/或向交易服务提供商***102、嵌入归一化/对齐***102a、客户装置106、商家***108和/或收单方***110传送信息的一个或多个装置。例如，发行方***104可以包括计算装置，诸如服务器、服务器群组和/或其他类似装置。在一些非限制性实施方案或方面中，发行方***104可与本文描述的发行方机构相关联。例如，发行方***104可以与向与客户装置106相关联的用户发布信用账户、借记账户、***、借记卡和/或其类似者的发行方机构相关联。
客户装置106可以包括能够经由通信网络112从交易服务提供商***102、嵌入归一化/对齐***102a、发行方***104、商家***108和/或收单方***110接收信息和/或向该交易服务提供商***、嵌入归一化/对齐***、发行方***、商家***和/或收单方***传送信息的一个或多个装置。另外或替代地，每个客户装置106可以包括能够经由通信网络112、另一网络(例如，临时网络、本地网络、专用网络、虚拟专用网络等)和/或任何其他合适的通信技术从其他客户装置106接收信息和/或向该其他客户装置传送信息的装置。例如，客户装置106可以包括客户端装置等。在一些非限制性实施方案或方面，客户装置106能够或不能够经由短程无线通信连接(例如，NFC通信连接、RFID通信连接、通信连接、/>通信连接等)(例如从商家***108或从另一客户装置106)接收信息，和/或经由短程无线通信连接传送信息(例如传送到商家***108)。
商家***108可以包括能够经由通信网络112从交易服务提供商***102、嵌入归一化/对齐***102a、发行方***104、客户装置106和/或收单方***110接收信息和/或向该交易服务提供商***、嵌入归一化/对齐***、发行方***、客户装置和/或收单方***传送信息的一个或多个装置。商家***108还可以包括能够经由通信网络112、与客户装置106的通信连接(例如，NFC通信连接、RFID通信连接、通信连接、/>通信连接等)等从客户装置106接收信息，和/或经由通信网络112、该通信连接等向客户装置106传送信息的装置。在一些非限制性实施方案或方面中，商家***108可以包括计算装置，诸如服务器、服务器群组、客户端装置、客户端装置群组和/或其他类似装置。在一些非限制性实施方案或方面中，商家***108可与本文描述的商家相关联。在一些非限制性实施方案或方面中，商家***108可以包括一个或多个客户端装置。例如，商家***108可以包括允许商家将信息传送到交易服务提供商***102的客户端装置。在一些非限制性实施方案或方面中，商家***108可包括能够供商家用以与用户进行支付交易的一个或多个装置，诸如计算机、计算机***和/或***装置。例如，商家***108可以包括POS装置和/或POS***。
收单方***110可以包括能够经由通信网络112从交易服务提供商***102、嵌入归一化/对齐***102a、发行方***104、客户装置106和/或商家***108接收信息和/或向该交易服务提供商***、嵌入归一化/对齐***、发行方***、客户装置和/或商家***传送信息的一个或多个装置。例如，收单方***110可包括计算装置、服务器、服务器群组等。在一些非限制性实施方案或方面中，收单方***110可与本文描述的收单方相关联。
通信网络112可包括一个或多个有线和/或无线网络。例如，通信网络112可以包括蜂窝网络(例如，长期演进网络、第三代(3G)网络、***(4G)网络、第五代(5G)网络、码分多址(CDMA)网络等)、公共陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、电话网络(例如，公共交换电话网络(PSTN))、专用网络(例如，与交易服务提供商相关联的专用网络)、特设网络、内联网、因特网、基于光纤的网络、云计算网络等，和/或这些或其他类型的网络的组合。
在一些非限制性实施方案或方面中，处理交易可以包括生成和/或传送至少一个交易消息(例如，授权请求、授权响应、它们的任何组合等)。例如，客户端装置(例如，客户装置106、商家***108的POS装置等)可以例如通过生成授权请求来发起交易。另外或替代地，客户端装置(例如，客户装置106、商家***108的至少一个装置等)可以传送授权请求。例如，客户装置106可以将授权请求传送到商家***108和/或支付网关(例如，交易服务提供商***102的支付网关、与交易服务提供商***102分离的第三方支付网关等)。另外或替代地，商家***108(例如，其POS装置)可以将授权请求传送到收单方***110和/或支付网关。在一些非限制性实施方案或方面中，收单方***110和/或支付网关可以将授权请求传送到交易服务提供商***102和/或发行方***104。另外或替代地，交易服务提供商***102可以将授权请求传送到发行方***104。在一些非限制性实施方案或方面中，发行方***104可以基于授权请求而确定授权决策(例如，授权、拒绝等)。例如，授权请求可使发行方***104基于所述授权请求而确定授权决策。在一些非限制性实施方案或方面中，发行方***104可以基于授权决策而生成授权响应。另外或替代地，发行方***104可以传送授权响应。例如，发行方***104可以将授权响应传送到交易服务提供商***102和/或支付网关。另外或替代地，交易服务提供商***102和/或支付网关可以将授权响应传送到收单方***110、商家***108和/或客户装置106。另外或替代地，收单方***110可以将授权响应传送到商家***108和/或支付网关。另外或替代地，支付网关可以将授权响应传送到商家***108和/或客户装置106。另外或替代地，商家***108可以将授权响应传送到客户装置106。在一些非限制性实施方案或方面中，商家***108可以(例如，从收单方***110和/或支付网关)接收授权响应。另外或替代地，商家***108可以基于授权响应(例如，提供、运送和/或交付与交易相关联的商品和/或服务；履行与交易相关联的订单；它们的任何组合；等)而完成交易。
出于说明的目的，处理交易可以包括基于客户的(例如，与客户装置106等相关联的)账户标识符和/或与交易相关联的交易数据来生成交易消息(例如，授权请求等)。例如，商家***108(例如，商家***108的客户端装置、商家***108的POS装置等)可以例如通过(例如，响应于从客户的便携式金融装置等接收到账户标识符)生成授权请求来发起交易。另外或替代地，商家***108可以将授权请求传送到收单方***110。另外或替代地，收单方***110可以将授权请求传送到交易服务提供商***102。另外或替代地，交易服务提供商***102可以将授权请求传送到发行方***104。发行方***104可以基于授权请求来确定授权决定(例如，授权、拒绝等)，和/或发行方***104可以基于授权决定和/或授权请求来生成授权响应。另外或替代地，发行方***104可以将授权响应传送到交易服务提供商***102。另外或替代地，交易服务提供商***102可以将授权响应传送到收单方***110，该收单方***可以将授权响应传送到商家***108。
出于说明的目的，交易的清算和/或结算可以包括基于客户的(例如，与客户装置106等相关联的)账户标识符和/或与交易相关联的交易数据来生成消息(例如，清算消息、结算消息等)。例如，商家***108可以生成至少一个清算消息(例如，多个清算消息、一批清算消息等)。另外或替代地，商家***108可以将清算消息传送到收单方***110。另外或替代地，收单方***110可以将清算消息传送到交易服务提供商***102。另外或替代地，交易服务提供商***102可以将清算消息传送到发行方***104。另外或替代地，发行方***104可以基于清算消息生成至少一个结算消息。另外或替代地，发行方***104可以将结算消息和/或资金传送到交易服务提供商***102(和/或与交易服务提供商***102相关联的结算银行***)。另外或替代地，交易服务提供商***102(和/或结算银行***)可以将结算消息和/或资金传送到收单方***110，该收单方***可以将结算消息和/或资金传送到商家***108(和/或与商家***108相关联的账户)。
作为示例提供图1B所示的***、装置和/或网络的数目和布置。可存在额外***、装置和/或网络、更少***、装置和/或网络、不同的***、装置和/或网络，和/或以与图1B所示的那些不同的方式布置的***、装置和/或网络。此外，可在单个***和/或装置内实现图1B所示的两个或更多个***或装置，或图1B所示的单个***或装置可实现为多个分布式***或装置。另外或替代地，环境100b的一组***(例如，一个或多个***)或一组装置(例如，一个或多个装置)可执行被描述为由环境100b的另一组***或另一组装置执行的一个或多个功能。
现在参考图2，图2是装置200的示例性组件的图。装置200可以对应于交易服务提供商***102的一个或多个装置、嵌入归一化/对齐***102a、嵌入数据库102b、发行方***104的一个或多个装置、客户装置106、请求***106a、商家***108的一个或多个装置和/或收单方***110的一个或多个装置。在一些非限制性实施方案或方面中，交易服务提供商***102、嵌入归一化/对齐***102a、嵌入数据库102b、发行方***104、客户装置106、请求***106a、商家***108和/或收单方***110可以包括至少一个装置200和/或装置200的至少一个组件。如图2所示，装置200可包括总线202、处理器204、存储器206、存储组件208、输入组件210、输出组件212，和通信接口214。
总线202可包括准许装置200的组件之间的通信的组件。在一些非限制性实施方案或方面中，处理器204可以硬件、软件、固件和/或它们的任何组合实现。例如，处理器204可以包括处理器(例如，中央处理单元(CPU)、图形处理单元(GPU)、加速处理单元(APU)等)、微处理器、数字信号处理器(DSP)，和/或可被编程为执行某一功能的任何处理组件(例如，现场可编程门阵列(FPGA)、专用集成电路(ASIC)等)等。存储器206可以包括随机存取存储器(RAM)、只读存储器(ROM)，和/或存储供处理器204使用的信息和/或指令的另一类型的动态或静态存储装置(例如，闪存存储器、磁存储器、光学存储器等)。
存储组件208可以存储与装置200的操作和使用相关联的信息和/或软件。例如，存储组件208可以包括硬盘(例如，磁盘、光盘、磁光盘、固态磁盘等)、压缩光盘(CD)、数字多功能光盘(DVD)、软盘、盒带、磁带和/或另一类型的计算机可读介质，以及对应的驱动器。
输入组件210可以包括准许装置200例如经由用户输入(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关、麦克风、摄像头等)接收信息的组件。另外或替代地，输入组件210可以包括用于感测信息的传感器(例如，全球定位***(GPS)组件、加速度计、陀螺仪、致动器等)。输出组件212可包括从装置200提供输出信息的组件(例如显示器、扬声器、一个或多个发光二极管(LED)等)。
通信接口214可包括收发器式组件(例如，收发器、单独的接收器和发送器等)，该收发器式组件使装置200能够例如经由有线连接、无线连接或有线和无线连接的组合与其他装置通信。通信接口214可以准许装置200接收来自另一装置的信息和/或向另一装置提供信息。例如，通信接口214可以包括以太网接口、光学接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、接口、/>接口、/>接口、蜂窝网络接口等。
装置200可以执行本文描述的一个或多个过程。装置200可以基于处理器204执行由例如存储器206和/或存储组件208的计算机可读介质存储的软件指令来执行这些过程。计算机可读介质(例如，非瞬态计算机可读介质)在本文中定义为非瞬态存储器装置。非瞬态存储器装置包括位于单个物理存储装置内部的存储器空间或散布于多个物理存储装置上的存储器空间。
软件指令可以经由通信接口214从另一计算机可读介质或从另一装置读取到存储器206和/或存储组件208中。在被执行时，存储在存储器206和/或存储组件208中的软件指令可以使处理器204执行本文描述的一个或多个过程。另外或替代地，硬接线电路***可以替代或结合软件指令使用以执行本文中所描述的一个或多个过程。因此，本文所描述的实施方案或方面不限于硬件电路***和软件的任何特定组合。
作为示例提供图2所示的组件的数目和布置。在一些非限制性实施方案或方面，与图2中所示的那些相比，装置200可以包括额外组件、更少组件、不同组件或以不同方式布置的组件。另外或替代地，装置200的一组组件(例如一个或多个组件)可执行被描述为由装置200的另一组组件执行的一个或多个功能。
现在参考图3，图3是根据一些非限制性实施方案或方面的用于使交叉嵌入对齐的嵌入归一化的示例性过程300的流程图。在一些非限制性实施方案或方面中，过程300的一个或多个步骤可以通过嵌入归一化/对齐***102a和/或交易服务提供商***102(例如，交易服务提供商***102的一个或多个装置)来(例如，完全地、部分地和/或类似地)执行。在一些非限制性实施方案或方面中，过程300的一个或多个步骤可以由与嵌入归一化/对齐***102a和/或交易服务提供商***102分离或包括该嵌入归一化/对齐***和/或交易服务提供商***的另一***、另一装置、另一***群组或另一装置群组来(例如，完全地、部分地和/或类似地)执行，诸如嵌入数据库102b、发行方***104(例如，发行方***104的一个或多个装置)、客户装置106、请求***106a(例如，请求***106a的一个或多个装置)、商家***108(例如，商家***108的一个或多个装置)、收单方***110(例如，收单方***110的一个或多个装置)、装置200、计算装置、服务器等。
如图3所示，在步骤302，过程300可以包括接收至少一个嵌入集。例如，嵌入归一化/对齐***102a(例如，服务器、交易服务提供商***102的一部分、第三方***的一部分等)可以接收至少一个嵌入集。在一些非限制性实施方案或方面中，嵌入归一化/对齐***102a可以从嵌入数据库102b和/或请求***106a中的至少一者接收至少一个嵌入集。例如，嵌入数据库102b可以从请求***106a接收至少一个嵌入集，和/或嵌入归一化/对齐***102a可以从嵌入数据库102b接收至少一个嵌入集。另外或替代地，嵌入归一化/对齐***102a可以从请求***106a接收至少一个嵌入集。
在一些非限制性实施方案或方面中，每个嵌入集可以包括一组嵌入向量。
在一些非限制性实施方案或方面中，所述至少一个嵌入集可以包括第一语言嵌入集和第二语言嵌入集。所述第一语言嵌入集可以包括用于第一语言的第一组词嵌入向量。另外或替代地，所述第二语言嵌入集可以包括用于第二语言的第二组词嵌入向量。
在一些非限制性实施方案或方面中，所述至少一个嵌入集可以包括表示与第一时间段相关联的第一嵌入空间中的实体的第一嵌入集，以及表示与不同于所述第一时间段的第二时间段相关联的第二嵌入空间中的实体的第二嵌入集。在一些非限制性实施方案或方面中，所述实体可以包括商家、客户(例如，持卡人)、发行方、收单方或支付网关中的至少一者。
如图3所示，在步骤304，过程300可以包括应用均值中心化。例如，嵌入归一化/对齐***102a(例如，服务器、交易服务提供商***102的一部分、第三方***的一部分等)可以对至少一个嵌入集应用均值中心化。
在一些非限制性实施方案或方面中，应用均值中心化可以包括基于所述一组嵌入向量中的所有嵌入向量来确定均值。另外或替代地，可以从所述一组嵌入向量中的每个嵌入向量中减去所述均值。
在一些非限制性实施方案或方面中，嵌入归一化/对齐***102a可以应用几何中值归一化。例如，应用几何中值归一化可以包括基于嵌入集(例如，通过嵌入归一化/对齐***102a)确定几何中值(x*)和/或基于几何中值(x*)(例如，通过嵌入归一化/对齐***102a)使嵌入集的每个嵌入向量归一化。例如，确定几何中值可以包括将嵌入集输入到Weiszfeld算法中以确定几何均值。另外或替代地，使每个嵌入向量归一化可以包括用基于从相应嵌入向量中减去几何中值(x*)以提供相应的差并将该差除以该差的幅度(例如，向量幅度)而确定的相应修改后的嵌入向量来替换每个相应嵌入向量。为了说明的目的，应用几何中值归一化可以包括应用以下算法，其中A是嵌入集，ai是嵌入集A的第i个嵌入向量，x*是几何中值，并且Weiszfeld()是Weizfeld算法：
算法1
出于说明而非限制的目的，Weiszfeld算法可以包括应用以下算法，其中ai是嵌入集A(例如，a1到an)的第i个嵌入向量，x0是起始点，xk是第k次迭代的x值，T()是等式1，并且xk+1是基于等式2确定的：
算法2
等式1
等式2
在一些非限制性实施方案或方面中，应用几何中值归一化可以补充或代替应用均值中心化。
如图3所示，在步骤306，过程300可以包括应用谱归一化。例如，嵌入归一化/对齐***102a(例如，服务器、交易服务提供商***102的一部分、第三方***的一部分等)可以对至少一个嵌入集应用谱归一化。
在一些非限制性实施方案或方面中，对至少一个嵌入集应用谱归一化可以包括分解所述至少一个嵌入集以提供左奇异向量、右奇异向量和对角矩阵。例如，分解所述至少一个嵌入集可以包括对所述至少一个嵌入集执行奇异值分解(SVD)。
在一些非限制性实施方案或方面中，可以确定所述至少一个嵌入集的平均奇异值。例如，确定所述平均奇异值可以包括确定平均平方奇异值的平方根。
在一些非限制性实施方案或方面中，对于所述对角矩阵的每个相应奇异值，可以确定所述相应奇异值是否大于所述平均奇异值的可配置倍数。
在一些非限制性实施方案或方面中，如果所述相应奇异值大于所述平均奇异值的所述可配置倍数，则可基于所述相应奇异值除以所述平均奇异值的所述可配置倍数的商来确定相应替代奇异值。另外或替代地，如果所述相应奇异值不大于所述平均奇异值的所述可配置倍数，则可以确定所述相应替代奇异值为可配置值(例如，1、预定整数、预定值等)。在一些非限制性实施方案或方面中，替代对角矩阵可以包括所述对角矩阵的每个相应奇异值的所述相应替代奇异值。在一些非限制性实施方案或方面中，可以用所述至少一个嵌入集、所述右奇异向量和所述替代对角矩阵的逆矩阵的乘积替换所述至少一个嵌入集。
在一些非限制性实施方案或方面中，为了说明的目的，应用谱归一化可以包括应用以下算法，其中A是嵌入集，svd()是奇异值分解函数，U是左奇异向量，V是右奇异向量，Σ是对角矩阵，T是转置算子，η是平均奇异值，D是(替代)对角矩阵，d是嵌入向量的维数，||A||F是嵌入集A的Frobenius范数，并且β是用于确定平均奇异值的可配置倍数的参数(例如，超参数、可选参数等)：
算法3
例如，如果相应奇异值(例如，Σii)大于平均奇异值的可配置倍数(例如，βη)，则可基于相应奇异值除以平均奇异值的可配置倍数(例如，Σii/(βη))的商来确定相应替代奇异值(例如，Dii)。另外或替代地，如果相应奇异值(例如，Σii)不大于平均奇异值的可配置倍数(例如，βη)，则可以确定相应替代奇异值(例如，Dii)为可配置值(例如，1、预定整数、预定值等)。
如图3所示，在步骤308，过程300可以包括应用长度归一化。例如，嵌入归一化/对齐***102a(例如，服务器、交易服务提供商***102的一部分、第三方***的一部分等)可以对至少一个嵌入集应用长度归一化。
在一些非限制性实施方案或方面中，应用长度归一化可以包括将所述一组嵌入向量中的每个嵌入向量调整为具有2-范数(例如，欧几里德范数)1。
在一些非限制性实施方案或方面中，如图3所示，步骤304、306和308可以重复达可配置迭代次数。例如，嵌入归一化/对齐***102a(例如，服务器、交易服务提供商***102的一部分、第三方***的一部分等)可以对至少一个嵌入集迭代地重复应用均值中心化、应用谱归一化和应用长度归一化达可配置迭代次数。
在一些非限制性实施方案或方面中，为了说明的目的，迭代地重复可包括应用以下算法，其中m是可配置迭代次数，A是嵌入集，Center是均值中心化，SpecNorm是谱归一化，并且Unit Length Normalization是长度归一化，如本文描述：
算法4
在一些非限制性实施方案或方面中，可以调整参数。例如，用于确定平均奇异值的可配置倍数的参数β和/或用于可配置迭代次数的参数m可以(例如，通过嵌入归一化/对齐***102a)被调整以实现避免过拟合、提高性能、它们的任何组合等中的至少一者。为了说明的目的，表1示出了使用参数β的不同值(例如，1、2、3、4和5)和参数m的不同值(例如，1、2、3、4和5)实现的平均精度(MAP)，用于基于十个示例性语言对(例如，英语到另一种语言或另一种语言到英语)的Procrustes对齐：
表1
为了说明的目的，表2示出了不使用归一化(例如，无)并且具有参数β和参数m的不同值的所公开的技术的单语词相似性任务的平均Spearman等级系数得分：
| 无 | β＝2,m＝2 | β＝2,m＝3 | β＝2,m＝4 | β＝2,m＝5 |
| 0.651 | 0.67077 | 0.67101 | 0.67108 | 0.67111 |
表2
如图3所示，在步骤310，过程300可以包括对齐嵌入集。例如，至少一个嵌入集可以包括第一嵌入集和第二嵌入集，并且嵌入归一化/对齐***102a(例如，服务器、交易服务提供商***102的一部分、第三方***的一部分等)可以将第一嵌入集与第二嵌入集对齐。
在一些非限制性实施方案或方面中，对齐嵌入集可以包括应用至少一个跨语言词嵌入(CLWE)对齐模型。例如，CLWE对齐模型可以包括Procrustes模型、BootstrapProcrustes(PROC-B)模型、多语言无监督和监督嵌入(MUSE)模型、典型相关分析(CCA)模型、判别潜变量(DLV)模型、基于排名的优化模型、跨域相似性局部缩放(CSLS)模型、宽松的跨域相似性局部缩放(RCSLS)模型、VECMAP模型、监督对齐模型、无监督对齐模型、半监督对齐模型、它们的任何组合等中的至少一者。
在一些非限制性实施方案或方面中，对齐嵌入集可以包括应用至少一个CLWE对齐模型，即使嵌入集不表示语言也是如此。例如，至少一个嵌入集可以包括表示与第一时间段相关联的第一嵌入空间中的实体(例如，商家、客户/持卡人、发行方、收单方、支付网关等)的第一嵌入集，以及表示与不同于第一时间段的第二时间段相关联的第二嵌入空间中的实体的第二嵌入集。在一些非限制性实施方案或方面中，可以(例如，通过嵌入归一化/对齐***102a)使用一个或多个CLWE对齐模型(例如，上面列出的示例性CLWE对齐模型中的一个或多个CLWE对齐模型)来对齐这种基于非语言的嵌入集，例如，通过将每个嵌入集视为一种语言，并将每个嵌入集的每个嵌入向量视为相应语言的词。
现在参考图4A至图4C，图4A至图4C是示出根据一些非限制性实施方案或方面的图3的过程的示例性实现方式的性能的条形图400a、400b、400c。
如图4A所示，纵轴可以表示条件数，并且横轴可以包括以下四种示例性语言的类别：英语(EN)、德语(DE)、印地语(HI)和日语(JA)。对于每种示例性语言，条件数由以下预处理技术中的每一种预处理技术的相应条来表示：无归一化401(例如，无)、迭代均值中心化和谱归一化以及长度归一化402(例如，I-C+SN+L，其可以是均值中心化(C)、谱归一化(SN)和长度归一化(L)的迭代组合的简写，如本文描述)、PCA去除403(例如，PR)、均值中心化和长度归一化404(例如，C+L，其可以是单轮/不迭代)、迭代均值中心化和长度归一化405(例如，I-C+L，其可以是多轮(例如，5轮)迭代)，以及几何中值406(例如，GeoMedian)。值得注意的是，对于所有四种示例性语言，用于迭代均值中心化和谱归一化以及长度归一化402(例如，I-C+SN+L)的条件数都小于其他技术中的每一种技术，从而证明了改进的性能。
如图4B所示，纵轴可以表示数字等级，并且横轴可以包括以下四种示例性语言的类别：英语(EN)、德语(DE)、印地语(HI)和日语(JA)。对于每种示例性语言，数字等级由以下预处理技术中的每一种预处理技术的相应条来表示：无归一化411(例如，无)、迭代均值中心化和谱归一化以及长度归一化412(例如，I-C+SN+L，其可以是均值中心化(C)、谱归一化(SN)和长度归一化(L)的迭代组合的简写，如本文描述)、PCA去除413(例如，PR)、均值中心化和长度归一化414(例如，C+L，其可以是单轮/不迭代)、迭代均值中心化和长度归一化415(例如，I-C+L，其可以是多轮(例如，5轮)迭代)，以及几何中值416(例如，GeoMedian)。值得注意的是，对于所有四种示例性语言，用于迭代均值中心化和谱归一化以及长度归一化402(例如，I-C+SN+L)的数字等级都大于其他技术中的每一种技术，从而证明了改进的性能。
如图4C所示，纵轴可以表示联合条件数，并且横轴可以包括以下五个示例性语言对的类别(例如，用于从第一语言到第二语言的翻译)：英语到保加利亚语(EN-BG)、英语到德语(EN-DE)、英语到芬兰语(EN-FI)、英语到印地语(EN-HI)以及英语到韩语(EN-KO)。对于每个示例性语言对，条件数由以下预处理技术中的每一种预处理技术的相应条来表示：无归一化431(例如，无)，以及迭代均值中心化和谱归一化以及长度归一化432(例如，I-C+SN+L)。值得注意的是，与无归一化相比，用于迭代均值中心化和谱归一化以及长度归一化402(例如，I-C+SN+L)的联合条件数减少了，从而证明了改进的性能。
现在参考图5A和图5B，图5A和图5B是示出根据一些非限制性实施方案或方面的图3的过程的示例性实现方式的性能的线形图500a、500b。
如图5A和图5B中的每一者所示，纵轴可以表示奇异值，并且横轴可以表示奇异值数量。值得注意的是，图5B中曲线图500b的纵轴的刻度比图5A中曲线图500a的纵轴的刻度窄，并且图5B中曲线图500b的纵轴的最大值小于图5A中曲线图500a的纵轴的最大值。
如图5A所示，对于以下示例性语言中的每一种语言，在没有使用归一化技术(例如，无)的情况下，存在关于奇异值数量的奇异值线：保加利亚语(BG)501、德语(DE)502、英语(EN)503、芬兰语(FI)504、印地语(HI)505以及韩语(KO)506。对于这些线中的每一条线，随着奇异值数量的增加，奇异值急剧衰减。因此，在不使用归一化技术的情况下对齐这些语言可能会由于词的聚类而导致基于顶部奇异值的强制对齐，无论这些聚类中的词实际上是否对齐。
如图5B所示，对于以下示例性语言中的每一种语言，在应用迭代均值中心化和谱归一化以及长度归一化(例如，I-C+SN+L)之后，存在关于奇异值数量的奇异值线：保加利亚语(BG)511、德语(DE)512、英语(EN)513、芬兰语(FI)514、印地语(HI)515以及韩语(KO)516。对于这些线中的每一条线，随着奇异值数量的增加，奇异值相对均匀。因此，对齐模型(例如，CLWE对齐模型)将具有更大的自由度来对齐实际匹配的词，而没有上述关于不使用归一化技术的聚类的负担。
为了说明的目的，表3示出了基于十八个示例性语言对(例如，英语到以下中的每一者以及从以下中的每一者到英语：保加利亚语(BG)、加泰罗尼亚语(CA)、捷克语(CS)、德语(DE)、西班牙语(ES)、法语(FR)、韩语(KO)、泰语(TH)和中文(ZH))使用三种不同CLWE对齐模型(CCA、PROC和PROC-B)针对双语词典归纳(BLI)使用不同预处理技术(无归一化(无)、PCA去除(PR)、几何中值(GeoMedian)、均值中心化和长度归一化(C+L)、迭代均值中心化和长度归一化(I-C+L，5个迭代)、均值中心化和谱归一化以及长度归一化(C+SN+L)，以及迭代均值中心化和谱归一化以及长度归一化(I-C+SN+L，5个迭代))实现的MAP：
表3
为了说明的目的，表4示出了针对1000(1K)、3000(3K)和5000(5K)个词的字典大小，基于28个语言对使用五个不同CLWE对齐模型(CCA、PROC、PROC-B、DLV和RCSLS)针对BLI使用不同预处理技术(无归一化(无)，以及迭代均值中心化和谱归一化以及长度归一化(ICSNL))实现的MAP：
表4
尽管已出于说明的目的而基于当前被认为是最实用和优选的实施方案或方面详细描述了所公开主题，但应理解，此类细节仅用于所述目的，并且所公开主题不限于所公开实施方案或方面，而是相反，旨在涵盖在所附权利要求书的精神和范围内的修改和等效布置。例如，应理解，当前公开的主题尽可能地预期任何实施方案或方面的一个或多个特征可以与任何其他实施方案或方面的一个或多个特征组合。
Claims (20)
1.一种计算机实现的方法，所述方法包括：
用至少一个处理器接收至少一个嵌入集，所述至少一个嵌入集中的每个嵌入集包括一组嵌入向量；
用至少一个处理器对所述至少一个嵌入集应用均值中心化；
用至少一个处理器对所述至少一个嵌入集应用谱归一化，其中对所述至少一个嵌入集应用谱归一化包括：
用至少一个处理器分解所述至少一个嵌入集以提供左奇异向量、右奇异向量和对角矩阵；
用至少一个处理器确定所述至少一个嵌入集的平均奇异值；
对于所述对角矩阵的每个相应奇异值，用至少一个处理器确定所述相应奇异值是否大于所述平均奇异值的可配置倍数；
对于所述对角矩阵的每个相应奇异值，如果所述相应奇异值大于所述平均奇异值的所述可配置倍数，则用至少一个处理器基于所述相应奇异值除以所述平均奇异值的所述可配置倍数的商来确定相应替代奇异值，或者如果所述相应奇异值不大于所述平均奇异值的所述可配置倍数，则用至少一个处理器确定所述相应替代奇异值为1，其中替代对角矩阵包括所述对角矩阵的每个相应奇异值的所述相应替代奇异值；以及
用至少一个处理器用所述至少一个嵌入集、所述右奇异向量和所述替代对角矩阵的逆矩阵的乘积替换所述至少一个嵌入集；以及
用至少一个处理器对所述至少一个嵌入集应用长度归一化。
2.如权利要求1所述的方法，其中应用均值中心化包括：
用至少一个处理器基于所述一组嵌入向量中的所有嵌入向量来确定均值；以及
用至少一个处理器从所述一组嵌入向量中的每个嵌入向量中减去所述均值。
3.如权利要求1所述的方法，其中分解所述至少一个嵌入集包括对所述至少一个嵌入集执行奇异值分解。
4.如权利要求1所述的方法，其中确定所述平均奇异值包括确定平均平方奇异值的平方根。
5.如权利要求1所述的方法，其中应用长度归一化包括：
用至少一个处理器将所述一组嵌入向量中的每个嵌入向量调整为具有2-范数1。
6.如权利要求1所述的方法，所述方法还包括：
用至少一个处理器对所述至少一个嵌入集迭代地重复应用均值中心化、应用谱归一化和应用长度归一化达可配置迭代次数。
7.如权利要求1所述的方法，其中所述至少一个嵌入集包括第一嵌入集和第二嵌入集，所述方法还包括：
用至少一个处理器将所述第一嵌入集与所述第二嵌入集对齐。
8.如权利要求1所述的方法，其中所述至少一个嵌入集包括第一语言嵌入集和第二语言嵌入集，所述第一语言嵌入集包括用于第一语言的第一组词嵌入向量，所述第二语言嵌入集包括用于第二语言的第二组词嵌入向量。
9.如权利要求1所述的方法，其中所述至少一个嵌入集包括表示与第一时间段相关联的第一嵌入空间中的实体的第一嵌入集，以及表示与不同于所述第一时间段的第二时间段相关联的第二嵌入空间中的实体的第二嵌入集。
10.如权利要求9所述的方法，其中所述实体包括商家、客户、发行方、收单方或支付网关中的至少一者。
11.一种***，所述***包括：
至少一个处理器；以及
包括一个或多个指令的至少一个非瞬态计算机可读介质，所述一个或多个指令在由所述至少一个处理器执行时引导所述至少一个处理器：
接收至少一个嵌入集，所述至少一个嵌入集中的每个嵌入集包括一组嵌入向量；
对所述至少一个嵌入集应用均值中心化；
对所述至少一个嵌入集应用谱归一化，其中对所述至少一个嵌入集应用谱归一化包括：
分解所述至少一个嵌入集以提供左奇异向量、右奇异向量和对角矩阵；
确定所述至少一个嵌入集的平均奇异值；
对于所述对角矩阵的每个相应奇异值，确定所述相应奇异值是否大于所述平均奇异值的可配置倍数；
对于所述对角矩阵的每个相应奇异值，如果所述相应奇异值大于所述平均奇异值的所述可配置倍数，则基于所述相应奇异值除以所述平均奇异值的所述可配置倍数的商来确定相应替代奇异值，或者如果所述相应奇异值不大于所述平均奇异值的所述可配置倍数，则确定所述相应替代奇异值为1，其中替代对角矩阵包括所述对角矩阵的每个相应奇异值的所述相应替代奇异值；以及
用所述至少一个嵌入集、所述右奇异向量和所述替代对角矩阵的逆矩阵的乘积替换所述至少一个嵌入集；并且
对所述至少一个嵌入集应用长度归一化。
12.如权利要求11所述的***，其中应用均值中心化包括：
基于所述一组嵌入向量中的所有嵌入向量来确定均值；以及
从所述一组嵌入向量中的每个嵌入向量中减去所述均值。
13.如权利要求11所述的***，其中分解所述至少一个嵌入集包括对所述至少一个嵌入集执行奇异值分解。
14.如权利要求11所述的***，其中确定所述平均奇异值包括确定平均平方奇异值的平方根。
15.如权利要求11所述的***，其中应用长度归一化包括：
将所述一组嵌入向量中的每个嵌入向量调整为具有2-范数1。
16.如权利要求11所述的***，其中所述指令在由所述至少一个处理器执行时进一步引导所述至少一个处理器：
对所述至少一个嵌入集迭代地重复应用均值中心化、应用谱归一化和应用长度归一化达可配置迭代次数。
17.如权利要求11所述的***，其中所述至少一个嵌入集包括第一嵌入集和第二嵌入集，其中所述指令在由所述至少一个处理器执行时进一步引导所述至少一个处理器：
将所述第一嵌入集与所述第二嵌入集对齐。
18.如权利要求11所述的***，其中所述至少一个嵌入集包括第一语言嵌入集和第二语言嵌入集，所述第一语言嵌入集包括用于第一语言的第一组词嵌入向量，所述第二语言嵌入集包括用于第二语言的第二组词嵌入向量。
19.如权利要求11所述的***，其中所述至少一个嵌入集包括表示与第一时间段相关联的第一嵌入空间中的实体的第一嵌入集，以及表示与不同于所述第一时间段的第二时间段相关联的第二嵌入空间中的实体的第二嵌入集，并且
其中所述实体包括商家、客户、发行方、收单方或支付网关中的至少一者。
20.一种计算机程序产品，所述计算机程序产品包括至少一个非瞬态计算机可读介质，所述至少一个非瞬态计算机可读介质包括一个或多个指令，所述一个或多个指令在由至少一个处理器执行时使所述至少一个处理器：
接收至少一个嵌入集，所述至少一个嵌入集中的每个嵌入集包括一组嵌入向量；
对所述至少一个嵌入集应用均值中心化；
对所述至少一个嵌入集应用谱归一化，其中对所述至少一个嵌入集应用谱归一化包括：
分解所述至少一个嵌入集以提供左奇异向量、右奇异向量和对角矩阵；
确定所述至少一个嵌入集的平均奇异值；
对于所述对角矩阵的每个相应奇异值，确定所述相应奇异值是否大于所述平均奇异值的可配置倍数；
对于所述对角矩阵的每个相应奇异值，如果所述相应奇异值大于所述平均奇异值的所述可配置倍数，则基于所述相应奇异值除以所述平均奇异值的所述可配置倍数的商来确定相应替代奇异值，或者如果所述相应奇异值不大于所述平均奇异值的所述可配置倍数，则确定所述相应替代奇异值为1，其中替代对角矩阵包括所述对角矩阵的每个相应奇异值的所述相应替代奇异值；以及
用所述至少一个嵌入集、所述右奇异向量和所述替代对角矩阵的逆矩阵的乘积替换所述至少一个嵌入集；并且
对所述至少一个嵌入集应用长度归一化。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163192779P | 2021-05-25 | 2021-05-25 | |
| US63/192,779 | 2021-05-25 | ||
| PCT/US2022/030813 WO2022251282A1 (en) | 2021-05-25 | 2022-05-25 | Method, system, and computer program product for normalizing embeddings for cross-embedding alignment |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117296050A true CN117296050A (zh) | 2023-12-26 |
Family
ID=84230232
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280006408.2A Pending CN117296050A (zh) | 2021-05-25 | 2022-05-25 | 用于使交叉嵌入对齐的嵌入归一化的方法、***和计算机程序产品 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US11861324B2 (zh) |
| CN (1) | CN117296050A (zh) |
| WO (1) | WO2022251282A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220405493A1 (en) * | 2021-06-16 | 2022-12-22 | Google Llc | Systems and Methods for Generating Improved Embeddings while Consuming Fewer Computational Resources |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111047546A (zh) * | 2019-11-28 | 2020-04-21 | 中国船舶重工集团公司第七一七研究所 | 一种红外图像超分辨率重构方法、***及电子设备 |
| US20200134473A1 (en) * | 2017-06-29 | 2020-04-30 | Preferred Networks, Inc. | Data discriminator training method, data discriminator training apparatus, non-transitory computer readable medium, and training method |
| US10671697B1 (en) * | 2017-02-24 | 2020-06-02 | Cyber Atomics, Inc. | Iterative and efficient technique for singular value decomposition |
| JP2020107199A (ja) * | 2018-12-28 | 2020-07-09 | 日本電信電話株式会社 | ニューラルネットワーク、潜在パラメータ学習装置、潜在パラメータ生成装置、変数変換装置、これらの方法及びプログラム |
| CN112732921A (zh) * | 2021-01-19 | 2021-04-30 | 福州大学 | 一种虚假用户评论检测方法及*** |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10395654B2 (en) * | 2017-05-11 | 2019-08-27 | Apple Inc. | Text normalization based on a data-driven learning network |
| US10984780B2 (en) * | 2018-05-21 | 2021-04-20 | Apple Inc. | Global semantic word embeddings using bi-directional recurrent neural networks |
| US11593847B2 (en) | 2019-09-03 | 2023-02-28 | Visa International Service Association | Unsupervised embeddings disentanglement using a GAN for merchant recommendations |
| US11836159B2 (en) | 2019-10-11 | 2023-12-05 | Visa International Service Association | System, method, and computer program product for analyzing a relational database using embedding learning |
-
2022
- 2022-05-25 CN CN202280006408.2A patent/CN117296050A/zh active Pending
- 2022-05-25 US US18/006,649 patent/US11861324B2/en active Active
- 2022-05-25 WO PCT/US2022/030813 patent/WO2022251282A1/en active Application Filing
-
2023
- 2023-12-06 US US18/530,710 patent/US20240134599A1/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10671697B1 (en) * | 2017-02-24 | 2020-06-02 | Cyber Atomics, Inc. | Iterative and efficient technique for singular value decomposition |
| US20200134473A1 (en) * | 2017-06-29 | 2020-04-30 | Preferred Networks, Inc. | Data discriminator training method, data discriminator training apparatus, non-transitory computer readable medium, and training method |
| JP2020107199A (ja) * | 2018-12-28 | 2020-07-09 | 日本電信電話株式会社 | ニューラルネットワーク、潜在パラメータ学習装置、潜在パラメータ生成装置、変数変換装置、これらの方法及びプログラム |
| CN111047546A (zh) * | 2019-11-28 | 2020-04-21 | 中国船舶重工集团公司第七一七研究所 | 一种红外图像超分辨率重构方法、***及电子设备 |
| CN112732921A (zh) * | 2021-01-19 | 2021-04-30 | 福州大学 | 一种虚假用户评论检测方法及*** |
Non-Patent Citations (1)
| Title |
|---|
| FLORIN GOGIANU 等: "Spectral Normalisation for Deep Reinforcement Learning: An Optimisation Perspective", ARXIV: 2105.05246V1, 11 May 2021 (2021-05-11) * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022251282A1 (en) | 2022-12-01 |
| US20240134599A1 (en) | 2024-04-25 |
| US11861324B2 (en) | 2024-01-02 |
| WO2022251282A9 (en) | 2023-08-24 |
| US20230214177A1 (en) | 2023-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240086422A1 (en) | System, Method, and Computer Program Product for Analyzing a Relational Database Using Embedding Learning | |
| US11693836B2 (en) | System, method, and computer program product for monitoring and improving data quality | |
| CN113039567B (zh) | 自然语言处理*** | |
| US10706420B2 (en) | Method and system for fraud mitigation via account security | |
| US20230334491A1 (en) | Systems, Methods, and Computer Program Products for Authenticating Devices | |
| US20240134599A1 (en) | Method, System, and Computer Program Product for Normalizing Embeddings for Cross-Embedding Alignment | |
| WO2019143946A1 (en) | System, method, and computer program product for compressing neural network models | |
| CN114387074A (zh) | 使用深度学习和生存模型进行欺诈预防的方法、***和计算机程序产品 | |
| CN113095820A (zh) | 用于确定非索引记录对应性的***、方法和计算机程序产品 | |
| US12039505B2 (en) | System, method, and computer program product for updating an application programming interface field of a transaction message | |
| US11461776B2 (en) | Method, system, and computer program product for representing an identifier with a sequence of words | |
| US20220138501A1 (en) | Method, System, and Computer Program Product for Recurrent Neural Networks for Asynchronous Sequences | |
| US20220245516A1 (en) | Method, System, and Computer Program Product for Multi-Task Learning in Deep Neural Networks | |
| US11847654B2 (en) | System, method, and computer program product for learning continuous embedding space of real time payment transactions | |
| US20240086926A1 (en) | System, Method, and Computer Program Product for Generating Synthetic Graphs That Simulate Real-Time Transactions | |
| US12008449B2 (en) | System, method, and computer program product for iteratively refining a training data set | |
| US20240062120A1 (en) | System, Method, and Computer Program Product for Multi-Domain Ensemble Learning Based on Multivariate Time Sequence Data | |
| US20230351431A1 (en) | System, Method, and Computer Program Product for Segmenting Users Using a Machine Learning Model Based on Transaction Data | |
| ELDON et al. | SYSTEM FOR MATCHING A STRING INCLUDING PLURALITY OF SUBSTRINGS AND METHOD THEREOF | |
| WO2024076656A1 (en) | Method, system, and computer program product for multitask learning on time series data | |
| WO2023009810A2 (en) | Method, system, and computer program product for adversarial training and for analyzing the impact of fine-tuning on deep learning models | |
| CN116830140A (zh) | 用于生成模拟实时交易的合成图的***、方法和计算机程序产品 | |
| CN116888666A (zh) | 用于通过利用对抗性扰动来实现公共音频数据中的说话者去标识的方法和*** | |
| CN116964603A (zh) | 用于基于多变量时间序列数据的多域集成学习的***、方法和计算机程序产品 | |
| US20200218720A1 (en) | System, Method, and Computer Program Product for Linking Datasets |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |