CN108062587A - 一种无监督机器学习的超参数自动优化方法及*** - Google Patents
一种无监督机器学习的超参数自动优化方法及*** Download PDFInfo
- Publication number
- CN108062587A CN108062587A CN201711347747.4A CN201711347747A CN108062587A CN 108062587 A CN108062587 A CN 108062587A CN 201711347747 A CN201711347747 A CN 201711347747A CN 108062587 A CN108062587 A CN 108062587A
- Authority
- CN
- China
- Prior art keywords
- machine learning
- hyper parameter
- algorithm
- unsupervised machine
- learning algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 157
- 238000005457 optimization Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 255
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000011156 evaluation Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 8
- 230000003595 spectral effect Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 11
- 230000008569 process Effects 0.000 abstract description 7
- 210000003484 anatomy Anatomy 0.000 abstract description 4
- 238000002474 experimental method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 241000208340 Araliaceae Species 0.000 description 4
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 4
- 235000003140 Panax quinquefolius Nutrition 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013210 evaluation model Methods 0.000 description 4
- 235000008434 ginseng Nutrition 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000001052 transient effect Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000007621 cluster analysis Methods 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000013107 unsupervised machine learning method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种无监督机器学习的超参数自动优化方法及***，所述方法包括：根据无监督机器学习算法确定所述无监督机器学习算法的算法性能评估模型、所述无监督机器学习算法的超参数、所述超参数的搜索空间和所述超参数优化的评价准则；根据所述算法性能评估模型、所述搜索空间和所述评价准则确定所述超参数的最优值。本发明提供的无监督机器学习的超参数自动优化方法及***，对无监督机器学习算法中的超参数问题进行深入剖析，分析算法中超参数的分布规律和不同超参数下学习效果的评估，并将此规律应用于机器学习的模型训练，达到自动化选择合适超参数的目的，整个超参数的优化过程自动完成，优化效率高，大大降低了算法的使用复杂性。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种无监督机器学习的超参数自动优化方法及***。
背景技术
机器学习算法的参数主要有超参数和普通参数两类，其中，超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。超参数定义了关于模型的更高层次的概念，如复杂性或学习能力，而这些超参数对于算法性能有非常大的影响。
现有技术中，无监督机器学习算法超参数的调优通常需要专家经验，对于给定的问题，一般无法知道机器学习模型超参数的最优值，往往需要使用经验法则来探寻其最优值，或复制用于其他问题的值，也可以通过反复试验获得超参数的最优值。
上述获取超参数最优值的方法，需要有一定的专家经验，通过试验得到超参数的最优值，需要花费大量的时间和精力，优化效率低。
发明内容
(一)要解决的技术问题
本发明的目的是提供一种无监督机器学习的超参数自动优化方法及***，解决了现有技术中超参数优化方法的优化效率低的技术问题。
(二)技术方案
为了解决上述技术问题，一方面，本发明提供一种无监督机器学习的超参数自动优化方法，包括：
根据无监督机器学习算法确定所述无监督机器学习算法的算法性能评估模型、所述无监督机器学习算法的超参数、所述超参数的搜索空间和所述超参数优化的评价准则；
根据所述算法性能评估模型、所述搜索空间和所述评价准则确定所述超参数的最优值。
进一步地，所述根据无监督机器学习算法确定所述无监督机器学习算法的算法性能评估模型、所述无监督机器学习算法的超参数、所述超参数的搜索空间和所述超参数优化的评价准则具体为：
根据无监督机器学习算法在预设知识库中查找所述无监督机器学习算法的算法性能评估模型和所述无监督机器学习算法的超参数，以及所述超参数的搜索空间和所述超参数优化的评价准则；其中，所述预设知识库存储有无监督机器学习算法，以及与所述无监督机器学习算法对应的算法性能评估模型、超参数、超参数的搜索空间和超参数优化的评价准则。
进一步地，所述预设知识库中存储的无监督机器学习算法超参数的搜索空间根据经验值确定。
进一步地，所述根据所述算法性能评估模型、所述搜索空间和所述评价准则确定所述超参数的最优值，包括：
根据所述搜索空间，利用所述评价准则，获取多组所述超参数的初始值；
将每组超参数的初始值分别输入至所述无监督机器学习算法，获取多组包含超参数初始值的无监督机器学习算法；
对每组包含超参数初始值的无监督机器学习算法进行训练，获取训练结果；
根据所述训练结果，利用所述算法性能评估模型，确定超参数的最优值，其中，所述超参数的最优值为算法性能最优的一组超参数的初始值。
进一步地，所述预设知识库中存储的无监督机器学***均迭代规约和聚类算法、代表点聚类算法、动态模型算法、高密度连接区域算法、密度分布函数算法、对象排序识别算法、统计信息网络算法、聚类高维空间算法、小波变化算法、Affinity propagation算法、Mean-shift算法、Spectral clustering算法、Ward hierarchical clustering算法、Agglomerative clustering算法。
进一步地，所述预设知识库中存储的无监督机器学习算法超参数优化的评价准则至少包括：赤池信息量准则、贝叶斯信息准则、偏差信息准则。
进一步地，所述预设知识库中存储的无监督机器学习算法的算法性能评估模型至少包括：受试者工作特征曲线模型和聚类有效性分析模型。
另一方面，本发明提供一种无监督机器学习的超参数自动优化***，包括：
查询模块，用于根据无监督机器学习算法确定所述无监督机器学习算法的算法性能评估模型、所述无监督机器学习算法的超参数、所述超参数的搜索空间和所述超参数优化的评价准则；
优化模块，用于根据所述算法性能评估模型、所述搜索空间和所述评价准则确定所述超参数的最优值。
再一方面，本发明提供一种用于自动优化无监督机器学习的超参数的电子设备，包括：
存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述的方法。
又一方面，本发明提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述的方法。
又一方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
(三)有益效果
本发明提供的无监督机器学习的超参数自动优化方法及***，对无监督机器学习算法中的超参数问题进行深入剖析，分析算法中超参数的分布规律和不同超参数下学习效果的评估，并将此规律应用于机器学习的模型训练，根据无监督机器学习算法自动获取超参数、超参数的搜索空间、超参数优化的评价准则和算法性能评估模型，根据算法性能评估模型、搜索空间和评价准则确定超参数的最优值，整个超参数的优化过程自动完成，优化效率高，大大降低算法使用复杂性。
附图说明
图1为依照本发明实施例的无监督机器学习的超参数自动优化方法示意图；
图2为依照本发明实施例的无监督机器学习的超参数自动优化***示意图；
图3为本发明实施例提供的用于自动优化无监督机器学习的超参数的电子设备的结构示意图。
具体实施方式
为了使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
图1为依照本发明实施例的无监督机器学习的超参数自动优化方法示意图，如图1所示，本发明实施例提供一种无监督机器学习的超参数自动优化方法，包括：
步骤S10、根据无监督机器学习算法确定所述无监督机器学习算法的算法性能评估模型、所述无监督机器学习算法的超参数、所述超参数的搜索空间和所述超参数优化的评价准则；
步骤S20、根据所述算法性能评估模型、所述搜索空间和所述评价准则确定所述超参数的最优值。
进一步地，所述根据无监督机器学习算法确定所述无监督机器学习算法的算法性能评估模型、所述无监督机器学习算法的超参数、所述超参数的搜索空间和所述超参数优化的评价准则具体为：
根据无监督机器学习算法在预设知识库中查找所述无监督机器学习算法的算法性能评估模型和所述无监督机器学习算法的超参数，以及所述超参数的搜索空间和所述超参数优化的评价准则；其中，所述预设知识库存储有无监督机器学习算法，以及与所述无监督机器学习算法对应的算法性能评估模型、超参数、超参数的搜索空间和超参数优化的评价准则。
进一步地，所述预设知识库中存储的无监督机器学习算法超参数的搜索空间根据经验值确定。
进一步地，所述根据所述算法性能评估模型、所述搜索空间和所述评价准则确定所述超参数的最优值，包括：
根据所述搜索空间，利用所述评价准则，获取多组所述超参数的初始值；
将每组超参数的初始值分别输入至所述无监督机器学习算法，获取多组包含超参数初始值的无监督机器学习算法；
对每组包含超参数初始值的无监督机器学习算法进行训练，获取训练结果；
根据所述训练结果，利用所述算法性能评估模型，确定超参数的最优值，其中，所述超参数的最优值为算法性能最优的一组超参数的初始值。
进一步地，所述预设知识库中存储的无监督机器学***均迭代规约和聚类算法、代表点聚类算法、动态模型算法、高密度连接区域算法、密度分布函数算法、对象排序识别算法、统计信息网络算法、聚类高维空间算法、小波变化算法、Affinity propagation算法、Mean-shift算法、Spectral clustering算法、Ward hierarchical clustering算法、Agglomerative clustering算法。
进一步地，所述预设知识库中存储的无监督机器学习算法超参数优化的评价准则至少包括：赤池信息量准则、贝叶斯信息准则和偏差信息准则。
进一步地，所述预设知识库中存储的无监督机器学习算法的算法性能评估模型至少包括：受试者工作特征曲线模型和聚类有效性分析模型。
具体的，首先，根据数据特点和目标任务选取合适的无监督机器学习算法，可以通过实践经验来进行决策，即，输入机器学习算法的数据不同，需要选择不同的机器学习算法，或者不同的学习任务对应不同的机器学习算法。典型的两种无监督学习任务是：(1)将数据按相似度聚类(clustering)成不同的分组；(2)降维(dimensionality reduction)，以便在保留数据结构和有用性的同时对数据进行压缩。常见的聚类算法如表1所示。需要说明的是，表1中仅是示例性地给出了常见的聚类算法，并不代表所有的聚类算法。
表1常见的聚类算法
根据无监督机器学***衡。确定超参数的具体步骤为：根据无监督机器学习算法在预设知识库中查找无监督机器学习算法的超参数，本发明实施例中的预设知识库存储有无监督机器学习算法，以及与所述无监督机器学习算法对应的算法性能评估模型、超参数、超参数的搜索空间和超参数优化的评价准则。
根据无监督机器学习算法即可查找获得无监督机器学习算法的超参数。常见无监督机器学习算法对应的常用超参数如表2所示。需要说明的是，表2中仅是示例性地给出了常见无监督机器学习算法对应的常用超参数，并不代表所有的无监督机器学习算法对应的超参数，实际应用中预设知识库中存储的算法和对应的超参数可根据具体需要添加或删除。
表2常见无监督机器学习算法对应的常用超参数
预设知识库中存储的无监督机器学习算法超参数的搜索空间根据经验值确定。确定超参数的搜索空间时，需要将输入无监督机器学习算法的数据进行归一化等处理，结合选择的具体无监督机器学习算法确定超参数的搜索空间，即对数据进行归一化等处理后，根据试验经验来设置超参数的搜索空间。对于某些算法，例如，在算法中涉及距离度量(聚类分析)或者协方差分析(PCA、LDA等)的，同时数据分布可以近似为状态分布，可使用0均值的归一化方法，使各指标处于同一数量级，更适合进行综合对比评价，也更容易确定超参数的搜索空间。例如某一聚类算法，需要将0-99这一百个数进行聚类，聚类个数为该聚类算法的超参数，可以根据专家的经验将超参数的搜索空间设置为50，然后通过本发明实施例提供的超参数优化方法最终得到聚类个数为1-50之间的某一个值。本发明实施例中的预设知识库存储有无监督机器学习算法，以及与所述无监督机器学习算法对应的算法性能评估模型、超参数、超参数的搜索空间和超参数优化的评价准则。根据无监督机器学习算法即可查找获得无监督机器学习算法超参数的搜索空间。
然后，根据无监督机器学习算法确定无监督机器学习算法的超参数优化的评价准则。本发明实施例中的预设知识库存储有无监督机器学习算法，以及与所述无监督机器学习算法对应的算法性能评估模型、超参数、超参数的搜索空间和超参数优化的评价准则。根据无监督机器学习算法即可查找获得无监督机器学习算法超参数优化的评价准则。常见无监督机器学习算法对应的常用评价准则如表3所示。需要说明的是，表3中仅是示例性地给出了常见无监督机器学习算法对应的常用评价准则，并不代表所有的无监督机器学习算法对应优化的评价准则，实际应用中预设知识库中存储的算法和评价准则可根据具体需要添加或删除。
表3常见无监督机器学习算法对应的常用评价准则
| 算法 | 常用评价准则 |
| K-Means | 赤池信息量准则AIC、贝叶斯信息准则BIC、偏差信息准则DIC |
| Spectralclustering | 赤池信息量准则AIC、贝叶斯信息准则BIC、偏差信息准则DIC |
| DBSCAN | 赤池信息量准则AIC、贝叶斯信息准则BIC、偏差信息准则DIC |
| PCA | 合适的方差百分比 |
然后，根据无监督机器学习算法确定无监督机器学习算法的算法性能评估模型。本发明实施例中的预设知识库存储有无监督机器学习算法，以及与所述无监督机器学习算法对应的算法性能评估模型、超参数、超参数的搜索空间和超参数优化的评价准则。根据无监督机器学习算法即可查找获得无监督机器学习算法的算法性能评估模型。对于一般的无监督机器学习算法，我们可以参照受试者工作特征ROC曲线模型，AUC值等进行算法的性能评估，对聚类效果进行评价有专门的研究，称为聚类有效性分析(Cluster Validity)模型，通过聚类有效性分析模型对聚类无监督机器学习算法的性能进行评估。
需要说明的是，上述示例性的说明中给出了受试者工作特征曲线模型和聚类有效性分析模型，实际应用中不限于这两种无监督机器学习算法的算法性能评估模型。对于某一类问题，往往还有更详细的评价方法，预设知识库中存储的算法和算法性能评估模型可根据具体需要添加或删除。此外，还有一些机器学习算法缺乏合适的评价体系和评价指标，可以由业务专家定义其他评估方式添加到预设知识库中。值得一提的是，实际的数据分析项目最好结合业务专家的评估，这一方面是由数据化运营的最终目的即落地应用效果所决定的，另一方面也是由技术本身的特点决定的。
最后，根据算法性能评估模型、搜索空间和评价准则确定超参数的最优值。
确定超参数的最优值的详细步骤如下：
根据搜索空间，利用评价准则，获取多组超参数的初始值；
将每组超参数的初始值分别输入至无监督机器学习算法，获取多组包含超参数初始值的无监督机器学习算法；
对每组包含超参数初始值的无监督机器学习算法进行训练，获取训练结果；
根据训练结果，利用算法性能评估模型，确定超参数的最优值，其中，超参数的最优值为算法性能最优的一组超参数的初始值。确定超参数的最优值时利用算法性能评估模型的同时，也可结合交叉验证等手段确定相对最优的超参数。
根据搜索空间，利用评价准则，获取多组超参数的初始值的过程中，确定超参数初始值优化的评价准则有多种，除了表3中给出的以外，对于较多的无监督学习算法，执行超参数调整的传统方法是一种称之为网格搜索(Grid search)的技术。网格搜索本质上是一种手动指定一组超参数的穷举搜索法。假定我们的模型有两个超参数k和s，网络搜索要求我们创建一个包含这两个超参数的搜索表，然后再利用表格中的每一对(k，s)超参数训练模型，并在交叉验证集或单独的验证集中评估模型的性能。网格搜索最后会将获得最佳性能的参数组作为最优超参数。
网格搜索穷举地搜索整个超参数空间，它在高维空间上并不起作用，因为它十分容易遇到维度灾难。而对于随机搜索来说，进行稀疏的简单随机抽样并不会遇到该问题，因此随机搜索方法广泛地应用于实践中。但是随机搜索并不能利用先验知识来选择下一组超参数，这一缺点在训练成本较高的模型中尤为突出。
贝叶斯优化包括从超参数值到在验证集上评估的目标的功能的统计模型。直观上，该方法假设有一些平滑但嘈杂的功能，作为从超参数到目标的映射。在贝叶斯优化中，一个目的是收集观察结果，以便尽可能少地显示机器学习模型的次数，同时尽可能多地显示关于该功能的信息，特别是最佳位置。贝叶斯优化依赖于假设一个非常普遍的先验函数，当与观察到的超参数值和相应的输出结合时，产生函数分布。该方法通过迭代地选择超参数来观察(实验运行)，以抛售(结果最不确定的超参数)和利用(预期具有良好结果的超参数)的方式。实际上，贝叶斯优化已经被证明，在实验的质量运行之前，能够对网格搜索和随机搜索进行更少的实验获得更好的结果。
其中学习算法的泛化性能被模拟为高斯过程(GP)。高斯过程的某些选择，比如内核的类型和超参数的处理，可以在一个可以实现专家级性能的优化器中发挥关键作用。
根据训练结果，利用算法性能评估模型，确定超参数的最优值的过程中，对于一般的机器学习算法，我们可以参照ROC曲线，AUC值等，对于某类问题，往往更精细更成熟的评价体系和评价指标，根据本发明的知识库可以快速的寻找合适的评价方法。对于典型的聚类项目来说，它跟分类(预测)项目的一个显著不同之处在于，后者的评判有训练集、验证集、测试集的客观参照，而对于聚类结果的评判来说，一个对象分配到A类与分配到B类，中间并没有太明确、太客观的参照依据。
在聚类有效性分析研究中，评价聚类算法得到的聚类结果C的方法主要有三类：第一类称外部标准(External Criteria)，用事先判定的聚类结构来评价C；第二类是内部标准(Internal Criteria)，用参与聚类的样本(n个文本的向量)来评价C，比如采用C中各个簇的误差平方和；第三类是相对标准(Relative Criteria)，用同一算法的不同结果(不同参数得到)来评价C，通过与其他结果的比较来判断C的优劣。
鉴于此，聚类结果的评判常常更加复杂和困难。下面我们以聚类算法的常用评价体系为例说明具体的方法。
1、基于人工标注簇的准确率、召回率和F值：
对每个人工标注的簇Pj，假设在C结构中存在一个与之对应的簇Ci，但这个对应关系是未知的。为了发现Ci，我们遍历聚类结果C中的m个簇分别计算准确率、召回率和F值从中挑选最优指标值及其对应的簇以该最优的指标值来判定Pj的质量。
进一步，对所有簇的F值作加权平均，则可得到整个聚类结果的F值。
准确率与召回率的定义与信息检索中的定义类似。首先计算某个人工标注簇的F值，然后通过评价全局所有的人工标注簇来评价整个聚类结果，最终的F值我们将其称为Class_F值。
Class_F值强调以人工标注的簇为基准，聚类的结果尽量地逼近事先确定的人工标注结构，该指标是一个非常有用的指标，目前在相关文献中使用比较频繁，Class_F值指标对聚类结果优劣的整体区分能力比较强，是一个推荐使用的指标。
2、熵值(entropy)：
对于一个聚类i，首先计算Pij。Pij指的是聚类i中的成员(member)属于类(class)j的概率，然后，根据Pij计算整个聚类划分的熵值。
熵不仅仅可以单独评价一个簇，也可以利用簇大小进行加权平均对整个聚类结果进行评价。熵的特点是偏好小簇，如果每个数据点独立成为一簇那么该结果从熵的意义上来讲是一个最好的结果，因此实际评测中使用熵的同时必须结合基于簇的F值这种整体评价指标，从评价的实际需要对结果进行分析。
3、纯度(Purity)：
使用上述熵值中的Pij值，计算聚类i的纯度，再根据每个聚类i的纯度，计算出整个聚类划分的纯度。
值得注意的是，虽然在聚类分析的实际应用中，针对聚类结果的评估有很多的维度和指标。但是，从数据化运营的实践经验来看，任何模型的评估，包括聚类分析的评估既要考虑统计学意义上的指标、维度，同时更要关注其实践效果上的价值及业务背景下的价值。这需要业务专家更进一步的评估。
下面以D31数据集和贝叶斯信息准则为代表，对上述实施例中的方法进一步详细说明如下。
D31是一个经典的聚类算法测试数据集，共包含31个随机放置的高斯群组。贝叶斯信息准则(BIC)是模型选择的一个标准。贝叶斯决策判据既考虑了各类参考总体出现的概率大小，又考虑了因误判造成的损失大小，判别能力强。贝叶斯信息准则更适用于下列场合：
(1)样本(子样)的数量(容量)不充分大，因而大子样统计理论不适宜的场合。
(2)试验具有继承性，反映在统计学上就是要具有在试验之前已有先验信息的场合。
贝叶斯信息准则(BIC)考虑了模型容量和空闲参数数量之间的平衡，其中BIC评分最低的模型是首选。
根据BIC选择的K-Means loss-K双曲线图，可以得出，在D31数据集中，K取值31为，损失最小。
根据得到的最小BIC值进行模型的训练，得到最终的数据聚集效果较好。
本发明提供的无监督机器学习的超参数自动优化方法，对无监督机器学习算法中的超参数问题进行深入剖析，分析算法中超参数的分布规律和不同超参数下学习效果的评估，并将此规律应用于机器学习的模型训练，根据无监督机器学习算法自动获取超参数、超参数的搜索空间、超参数优化的评价准则和算法性能评估模型，根据算法性能评估模型、搜索空间和评价准则确定超参数的最优值，整个超参数的优化过程自动完成，优化效率高，大大降低算法使用复杂性。
实施例2：
图2为依照本发明实施例的无监督机器学习的超参数自动优化***示意图，如图2所示，本发明实施例提供一种无监督机器学习的超参数自动优化***，用于完成上述实施例中的方法，具体包括查询模块10和优化模块20，其中，
查询模块10用于根据无监督机器学习算法确定所述无监督机器学习算法的算法性能评估模型、所述无监督机器学习算法的超参数、所述超参数的搜索空间和所述超参数优化的评价准则；
优化模块20用于根据所述算法性能评估模型、所述搜索空间和所述评价准则确定所述超参数的最优值。
本发明提供的无监督机器学习的超参数自动优化***，对无监督机器学习算法中的超参数问题进行深入剖析，分析算法中超参数的分布规律和不同超参数下学习效果的评估，并将此规律应用于机器学习的模型训练，根据无监督机器学习算法自动获取超参数、超参数的搜索空间、超参数优化的评价准则和算法性能评估模型，根据算法性能评估模型、搜索空间和评价准则确定超参数的最优值，整个超参数的优化过程自动完成，优化效率高，大大降低算法使用复杂性。
实施例3：
图3为本发明实施例提供的用于自动优化无监督机器学习的超参数的电子设备的结构示意图，如图3所示，所述设备包括：处理器801、存储器802和总线803；
其中，处理器801和存储器802通过所述总线803完成相互间的通信；
处理器801用于调用存储器802中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：
根据无监督机器学习算法确定所述无监督机器学习算法的算法性能评估模型、所述无监督机器学习算法的超参数、所述超参数的搜索空间和所述超参数优化的评价准则；
根据所述算法性能评估模型、所述搜索空间和所述评价准则确定所述超参数的最优值。
实施例4：
本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：
根据无监督机器学习算法确定所述无监督机器学习算法的算法性能评估模型、所述无监督机器学习算法的超参数、所述超参数的搜索空间和所述超参数优化的评价准则；
根据所述算法性能评估模型、所述搜索空间和所述评价准则确定所述超参数的最优值。
实施例5：
本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：
根据无监督机器学习算法确定所述无监督机器学习算法的算法性能评估模型、所述无监督机器学习算法的超参数、所述超参数的搜索空间和所述超参数优化的评价准则；
根据所述算法性能评估模型、所述搜索空间和所述评价准则确定所述超参数的最优值。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置及设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种无监督机器学习的超参数自动优化方法，其特征在于，包括：
根据无监督机器学习算法确定所述无监督机器学习算法的算法性能评估模型、所述无监督机器学习算法的超参数、所述超参数的搜索空间和所述超参数优化的评价准则；
根据所述算法性能评估模型、所述搜索空间和所述评价准则确定所述超参数的最优值。
2.根据权利要求1所述的方法，其特征在于，所述根据无监督机器学习算法确定所述无监督机器学习算法的算法性能评估模型、所述无监督机器学习算法的超参数、所述超参数的搜索空间和所述超参数优化的评价准则具体为：
根据无监督机器学习算法在预设知识库中查找所述无监督机器学习算法的算法性能评估模型和所述无监督机器学习算法的超参数，以及所述超参数的搜索空间和所述超参数优化的评价准则；其中，所述预设知识库存储有无监督机器学习算法，以及与所述无监督机器学习算法对应的算法性能评估模型、超参数、超参数的搜索空间和超参数优化的评价准则。
3.根据权利要求2所述的方法，其特征在于，所述预设知识库中存储的无监督机器学习算法超参数的搜索空间根据经验值确定。
4.根据权利要求1所述的方法，其特征在于，所述根据所述算法性能评估模型、所述搜索空间和所述评价准则确定所述超参数的最优值，包括：
根据所述搜索空间，利用所述评价准则，获取多组所述超参数的初始值；
将每组超参数的初始值分别输入至所述无监督机器学习算法，获取多组包含超参数初始值的无监督机器学习算法；
对每组包含超参数初始值的无监督机器学习算法进行训练，获取训练结果；
根据所述训练结果，利用所述算法性能评估模型，确定超参数的最优值，其中，所述超参数的最优值为算法性能最优的一组超参数的初始值。
5.根据权利要求2或3任一项所述的方法，其特征在于，所述预设知识库中存储的无监督机器学***均迭代规约和聚类算法、代表点聚类算法、动态模型算法、高密度连接区域算法、密度分布函数算法、对象排序识别算法、统计信息网络算法、聚类高维空间算法、小波变化算法、Affinity propagation算法、Mean-shift算法、Spectral clustering算法、Ward hierarchical clustering算法、Agglomerative clustering算法。
6.根据权利要求2或3任一项所述的方法，其特征在于，所述预设知识库中存储的无监督机器学习算法超参数优化的评价准则至少包括：赤池信息量准则、贝叶斯信息准则、偏差信息准则。
7.根据权利要求2或3任一项所述的方法，其特征在于，所述预设知识库中存储的无监督机器学习算法的算法性能评估模型至少包括：受试者工作特征曲线模型和聚类有效性分析模型。
8.一种无监督机器学习的超参数自动优化***，其特征在于，包括：
查询模块，用于根据无监督机器学习算法确定所述无监督机器学习算法的算法性能评估模型、所述无监督机器学习算法的超参数、所述超参数的搜索空间和所述超参数优化的评价准则；
优化模块，用于根据所述算法性能评估模型、所述搜索空间和所述评价准则确定所述超参数的最优值。
9.一种用于自动优化无监督机器学习的超参数的电子设备，其特征在于，包括：
存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711347747.4A CN108062587A (zh) | 2017-12-15 | 2017-12-15 | 一种无监督机器学习的超参数自动优化方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711347747.4A CN108062587A (zh) | 2017-12-15 | 2017-12-15 | 一种无监督机器学习的超参数自动优化方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108062587A true CN108062587A (zh) | 2018-05-22 |
Family
ID=62139077
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711347747.4A Pending CN108062587A (zh) | 2017-12-15 | 2017-12-15 | 一种无监督机器学习的超参数自动优化方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108062587A (zh) |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921207A (zh) * | 2018-06-20 | 2018-11-30 | 中诚信征信有限公司 | 一种超参数确定方法、装置及设备 |
| CN109242105A (zh) * | 2018-08-17 | 2019-01-18 | 第四范式（北京）技术有限公司 | 机器学习模型中超参数的调优方法、装置、设备及介质 |
| CN109344968A (zh) * | 2018-10-10 | 2019-02-15 | 郑州云海信息技术有限公司 | 一种神经网络的超参数处理的方法及装置 |
| CN109376869A (zh) * | 2018-12-25 | 2019-02-22 | 中国科学院软件研究所 | 一种基于异步贝叶斯优化的机器学习超参优化***及方法 |
| CN109657805A (zh) * | 2018-12-07 | 2019-04-19 | 泰康保险集团股份有限公司 | 超参数确定方法、装置、电子设备及计算机可读介质 |
| CN109711548A (zh) * | 2018-12-26 | 2019-05-03 | 歌尔股份有限公司 | 超参数的选取方法、使用方法、装置及电子设备 |
| CN109816116A (zh) * | 2019-01-17 | 2019-05-28 | 腾讯科技（深圳）有限公司 | 机器学习模型中超参数的优化方法及装置 |
| CN109857804A (zh) * | 2018-12-26 | 2019-06-07 | 同盾控股有限公司 | 一种分布式模型参数的搜索方法、装置和电子设备 |
| CN110502213A (zh) * | 2019-05-24 | 2019-11-26 | 网思科技股份有限公司 | 一种人工智能能力开发平台 |
| CN110636466A (zh) * | 2019-09-06 | 2019-12-31 | 联泰集群（北京）科技有限责任公司 | 一种机器学习下基于信道状态信息的WiFi室内定位*** |
| CN110633797A (zh) * | 2019-09-11 | 2019-12-31 | 北京百度网讯科技有限公司 | 网络模型结构的搜索方法、装置以及电子设备 |
| CN110766090A (zh) * | 2019-10-30 | 2020-02-07 | 腾讯科技（深圳）有限公司 | 一种模型训练方法、装置、设备、***及存储介质 |
| CN110889450A (zh) * | 2019-11-27 | 2020-03-17 | 腾讯科技（深圳）有限公司 | 超参数调优、模型构建方法和装置 |
| WO2020087281A1 (zh) * | 2018-10-30 | 2020-05-07 | 深圳市大疆创新科技有限公司 | 超参数的优化方法及装置 |
| CN111178533A (zh) * | 2018-11-12 | 2020-05-19 | 第四范式（北京）技术有限公司 | 实现自动半监督机器学习的方法及装置 |
| CN111260243A (zh) * | 2020-02-10 | 2020-06-09 | 京东数字科技控股有限公司 | 风险评估方法、装置、设备及计算机可读存储介质 |
| CN111445025A (zh) * | 2020-06-12 | 2020-07-24 | 支付宝(杭州)信息技术有限公司 | 确定业务模型超参数的方法和装置 |
| CN111553482A (zh) * | 2020-04-09 | 2020-08-18 | 哈尔滨工业大学 | 机器学习模型超参数的调优方法 |
| CN111612141A (zh) * | 2020-04-17 | 2020-09-01 | 深圳市艾伯信息科技有限公司 | 一种基于知识库的深度学习模型训练和自动化调优方法及*** |
| CN112085180A (zh) * | 2019-06-14 | 2020-12-15 | 北京百度网讯科技有限公司 | 机器学习超参数确定方法、装置、设备和可读存储介质 |
| WO2020249125A1 (zh) * | 2019-06-14 | 2020-12-17 | 第四范式（北京）技术有限公司 | 用于自动训练机器学习模型的方法和*** |
| CN112418392A (zh) * | 2020-10-21 | 2021-02-26 | 华为技术有限公司 | 一种神经网络构建方法以及装置 |
| CN113313229A (zh) * | 2019-08-26 | 2021-08-27 | 辉达公司 | 模型压缩中对稀疏率的贝叶斯优化 |
| CN113392983A (zh) * | 2021-06-29 | 2021-09-14 | 中国科学院自动化研究所 | 自动机器学习的超参数自适应寻优优化***和方法 |
| CN113469352A (zh) * | 2020-03-31 | 2021-10-01 | 上海商汤智能科技有限公司 | 神经网络模型的优化方法、数据处理方法及装置 |
| CN113780287A (zh) * | 2021-07-30 | 2021-12-10 | 武汉中海庭数据技术有限公司 | 一种多深度学习模型的最优选取方法及*** |
| US11487533B2 (en) | 2021-01-13 | 2022-11-01 | Tata Consultancy Services Limited | Method and system for inferencing logic out of an application source |
| WO2022271998A1 (en) * | 2021-06-23 | 2022-12-29 | Zapata Computing, Inc. | Application benchmark using empirical hardness models |
| US11681774B1 (en) | 2021-03-23 | 2023-06-20 | Zapata Computing, Inc. | Classically-boosted quantum optimization |
| CN116542511A (zh) * | 2022-02-08 | 2023-08-04 | 百融云创科技股份有限公司 | 风控模型创建方法、装置、电子设备及存储介质 |
| US11823076B2 (en) | 2020-07-27 | 2023-11-21 | International Business Machines Corporation | Tuning classification hyperparameters |
| WO2024059369A1 (en) * | 2022-09-13 | 2024-03-21 | Oracle International Corporation | Objective function optimization in target based hyperparameter tuning |
-
2017
- 2017-12-15 CN CN201711347747.4A patent/CN108062587A/zh active Pending
Cited By (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921207B (zh) * | 2018-06-20 | 2021-01-08 | 中诚信征信有限公司 | 一种超参数确定方法、装置及设备 |
| CN108921207A (zh) * | 2018-06-20 | 2018-11-30 | 中诚信征信有限公司 | 一种超参数确定方法、装置及设备 |
| CN109242105A (zh) * | 2018-08-17 | 2019-01-18 | 第四范式（北京）技术有限公司 | 机器学习模型中超参数的调优方法、装置、设备及介质 |
| CN109242105B (zh) * | 2018-08-17 | 2024-03-15 | 第四范式（北京）技术有限公司 | 代码优化方法、装置、设备及介质 |
| CN109344968A (zh) * | 2018-10-10 | 2019-02-15 | 郑州云海信息技术有限公司 | 一种神经网络的超参数处理的方法及装置 |
| WO2020087281A1 (zh) * | 2018-10-30 | 2020-05-07 | 深圳市大疆创新科技有限公司 | 超参数的优化方法及装置 |
| CN111178533A (zh) * | 2018-11-12 | 2020-05-19 | 第四范式（北京）技术有限公司 | 实现自动半监督机器学习的方法及装置 |
| CN111178533B (zh) * | 2018-11-12 | 2024-04-16 | 第四范式（北京）技术有限公司 | 实现自动半监督机器学习的方法及装置 |
| CN109657805A (zh) * | 2018-12-07 | 2019-04-19 | 泰康保险集团股份有限公司 | 超参数确定方法、装置、电子设备及计算机可读介质 |
| CN109657805B (zh) * | 2018-12-07 | 2021-04-23 | 泰康保险集团股份有限公司 | 超参数确定方法、装置、电子设备及计算机可读介质 |
| CN109376869A (zh) * | 2018-12-25 | 2019-02-22 | 中国科学院软件研究所 | 一种基于异步贝叶斯优化的机器学习超参优化***及方法 |
| WO2020133952A1 (zh) * | 2018-12-25 | 2020-07-02 | 中国科学院软件研究所 | 一种基于异步贝叶斯优化的机器学习超参优化***及方法 |
| CN109857804B (zh) * | 2018-12-26 | 2021-05-18 | 同盾控股有限公司 | 一种分布式模型参数的搜索方法、装置和电子设备 |
| CN109857804A (zh) * | 2018-12-26 | 2019-06-07 | 同盾控股有限公司 | 一种分布式模型参数的搜索方法、装置和电子设备 |
| CN109711548A (zh) * | 2018-12-26 | 2019-05-03 | 歌尔股份有限公司 | 超参数的选取方法、使用方法、装置及电子设备 |
| CN109816116A (zh) * | 2019-01-17 | 2019-05-28 | 腾讯科技（深圳）有限公司 | 机器学习模型中超参数的优化方法及装置 |
| CN109816116B (zh) * | 2019-01-17 | 2021-01-29 | 腾讯科技（深圳）有限公司 | 机器学习模型中超参数的优化方法及装置 |
| CN110502213A (zh) * | 2019-05-24 | 2019-11-26 | 网思科技股份有限公司 | 一种人工智能能力开发平台 |
| EP3985578A4 (en) * | 2019-06-14 | 2022-11-09 | The Fourth Paradigm (Beijing) Tech Co Ltd | METHOD AND SYSTEM FOR AUTOMATIC TRAINING A MACHINE LEARNING MODEL |
| CN112085180A (zh) * | 2019-06-14 | 2020-12-15 | 北京百度网讯科技有限公司 | 机器学习超参数确定方法、装置、设备和可读存储介质 |
| WO2020249125A1 (zh) * | 2019-06-14 | 2020-12-17 | 第四范式（北京）技术有限公司 | 用于自动训练机器学习模型的方法和*** |
| CN112085180B (zh) * | 2019-06-14 | 2024-05-17 | 北京百度网讯科技有限公司 | 机器学习超参数确定方法、装置、设备和可读存储介质 |
| CN113313229A (zh) * | 2019-08-26 | 2021-08-27 | 辉达公司 | 模型压缩中对稀疏率的贝叶斯优化 |
| CN110636466A (zh) * | 2019-09-06 | 2019-12-31 | 联泰集群（北京）科技有限责任公司 | 一种机器学习下基于信道状态信息的WiFi室内定位*** |
| CN110633797A (zh) * | 2019-09-11 | 2019-12-31 | 北京百度网讯科技有限公司 | 网络模型结构的搜索方法、装置以及电子设备 |
| CN110633797B (zh) * | 2019-09-11 | 2022-12-02 | 北京百度网讯科技有限公司 | 网络模型结构的搜索方法、装置以及电子设备 |
| CN110766090A (zh) * | 2019-10-30 | 2020-02-07 | 腾讯科技（深圳）有限公司 | 一种模型训练方法、装置、设备、***及存储介质 |
| CN110889450B (zh) * | 2019-11-27 | 2023-08-11 | 腾讯科技（深圳）有限公司 | 超参数调优、模型构建方法和装置 |
| CN110889450A (zh) * | 2019-11-27 | 2020-03-17 | 腾讯科技（深圳）有限公司 | 超参数调优、模型构建方法和装置 |
| CN111260243A (zh) * | 2020-02-10 | 2020-06-09 | 京东数字科技控股有限公司 | 风险评估方法、装置、设备及计算机可读存储介质 |
| CN113469352A (zh) * | 2020-03-31 | 2021-10-01 | 上海商汤智能科技有限公司 | 神经网络模型的优化方法、数据处理方法及装置 |
| CN111553482B (zh) * | 2020-04-09 | 2023-08-08 | 哈尔滨工业大学 | 机器学习模型超参数的调优方法 |
| CN111553482A (zh) * | 2020-04-09 | 2020-08-18 | 哈尔滨工业大学 | 机器学习模型超参数的调优方法 |
| CN111612141A (zh) * | 2020-04-17 | 2020-09-01 | 深圳市艾伯信息科技有限公司 | 一种基于知识库的深度学习模型训练和自动化调优方法及*** |
| CN111445025A (zh) * | 2020-06-12 | 2020-07-24 | 支付宝(杭州)信息技术有限公司 | 确定业务模型超参数的方法和装置 |
| US11823076B2 (en) | 2020-07-27 | 2023-11-21 | International Business Machines Corporation | Tuning classification hyperparameters |
| WO2022083536A1 (zh) * | 2020-10-21 | 2022-04-28 | 华为技术有限公司 | 一种神经网络构建方法以及装置 |
| CN112418392A (zh) * | 2020-10-21 | 2021-02-26 | 华为技术有限公司 | 一种神经网络构建方法以及装置 |
| US11487533B2 (en) | 2021-01-13 | 2022-11-01 | Tata Consultancy Services Limited | Method and system for inferencing logic out of an application source |
| US11681774B1 (en) | 2021-03-23 | 2023-06-20 | Zapata Computing, Inc. | Classically-boosted quantum optimization |
| WO2022271998A1 (en) * | 2021-06-23 | 2022-12-29 | Zapata Computing, Inc. | Application benchmark using empirical hardness models |
| CN113392983A (zh) * | 2021-06-29 | 2021-09-14 | 中国科学院自动化研究所 | 自动机器学习的超参数自适应寻优优化***和方法 |
| CN113780287A (zh) * | 2021-07-30 | 2021-12-10 | 武汉中海庭数据技术有限公司 | 一种多深度学习模型的最优选取方法及*** |
| CN116542511A (zh) * | 2022-02-08 | 2023-08-04 | 百融云创科技股份有限公司 | 风控模型创建方法、装置、电子设备及存储介质 |
| WO2024059369A1 (en) * | 2022-09-13 | 2024-03-21 | Oracle International Corporation | Objective function optimization in target based hyperparameter tuning |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108062587A (zh) | 一种无监督机器学习的超参数自动优化方法及*** | |
| Agrawal | K-nearest neighbor for uncertain data | |
| CN108446741B (zh) | 机器学习超参数重要性评估方法、***及存储介质 | |
| Liu et al. | Feature augmentation with reinforcement learning | |
| Fullér | On obtaining OWA operator weights: A sort survey of recent developments | |
| CN110956277A (zh) | 一种交互式的迭代建模***及方法 | |
| CN111309577B (zh) | 一种面向Spark的批处理应用执行时间预测模型构建方法 | |
| Rothlauf et al. | Optimization problems | |
| Yan et al. | A novel clustering algorithm based on fitness proportionate sharing | |
| De Silva et al. | Recursive hierarchical clustering algorithm | |
| Chattopadhyay et al. | Feature selection using differential evolution with binary mutation scheme | |
| Danesh et al. | A novel hybrid knowledge of firefly and pso swarm intelligence algorithms for efficient data clustering | |
| Diao et al. | Dynamic feature selection with fuzzy-rough sets | |
| Cui et al. | An improved method for K-means clustering | |
| Gupta et al. | A review of fast clustering-based feature subset selection algorithm | |
| CN115587616A (zh) | 网络模型训练方法、装置、存储介质及计算机设备 | |
| CN115577259A (zh) | 高压直流输电***故障选极方法、装置和计算机设备 | |
| Duan et al. | A novel data clustering algorithm based on modified adaptive particle swarm optimization | |
| Cao et al. | Research on variable weight CLIQUE clustering algorithm based on partial order set 1 | |
| US20220019909A1 (en) | Intent-based command recommendation generation in an analytics system | |
| Sharma et al. | GACC: genetic algorithm-based categorical data clustering for large datasets | |
| Chen | FEATURE SELECTION BASED ON COMPACTNESS AND SEPARABILITY: COMPARISON WITH FILTER‐BASED METHODS | |
| Wang et al. | A two-stage iterative approach to improve crowdsourcing-based relevance assessment | |
| Hijazi | Semi-supervised Margin-based Feature Selection for Classification | |
| Shirakawa et al. | Local landscape patterns for fitness landscape analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180522 |