CN108027899B - 用于提高经训练的机器学习模型的性能的方法 - Google Patents
用于提高经训练的机器学习模型的性能的方法 Download PDFInfo
- Publication number
- CN108027899B CN108027899B CN201680048630.3A CN201680048630A CN108027899B CN 108027899 B CN108027899 B CN 108027899B CN 201680048630 A CN201680048630 A CN 201680048630A CN 108027899 B CN108027899 B CN 108027899B
- Authority
- CN
- China
- Prior art keywords
- classifier
- objective function
- processor
- machine learning
- weights
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000006870 function Effects 0.000 claims abstract description 94
- 239000013598 vector Substances 0.000 claims description 48
- 238000012549 training Methods 0.000 claims description 39
- 239000000203 mixture Substances 0.000 claims description 12
- 238000002156 mixing Methods 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 description 37
- 238000012545 processing Methods 0.000 description 37
- 238000013528 artificial neural network Methods 0.000 description 30
- 238000003860 storage Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 238000013473 artificial intelligence Methods 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 10
- 230000008901 benefit Effects 0.000 description 8
- 238000005457 optimization Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 238000007477 logistic regression Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000011478 gradient descent method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 239000005022 packaging material Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002087 whitening effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101150096839 Fcmr gene Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000023886 lateral inhibition Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7747—Organisation of the process, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Image Analysis (AREA)
- Feedback Control In General (AREA)
Abstract
一种用于提高经训练的机器学习模型的性能的方法,包括将具有第二目标函数的第二分类器添加到具有第一目标函数的第一分类器。第二目标函数被用于直接减少第一分类器的数目误差,而不是最小化第一分类器的误差函数。
Description
相关申请的交叉引用
本申请要求于2015年8月25日提交且题为“METHOD FOR IMPROVING PERFORMANCEOF A TRAINED MACHINE LEARNING MODEL(用于提高经训练的机器学习模型的性能的方法)”的美国临时专利申请No.62/209,859的权益,其公开内容通过援引全部明确纳入于此。
技术领域
本公开的某些方面一般涉及机器学习,尤其涉及用于提高经训练的机器学习模型的性能的方法。
背景技术
可包括一群互连的人工神经元(例如,神经元模型)的机器学习模型(诸如,人工神经网络)是一种计算设备或者表示将由计算设备执行的方法。
卷积神经网络是一种前馈人工神经网络。卷积神经网络可包括神经元集合,其中每一个神经元具有感受野并且共同地拼出一输入空间。卷积神经网络(CNN)具有众多应用。具体而言,CNN已被广泛使用于模式识别和分类领域。
深度学习架构(诸如深度置信网络和深度卷积网络)是分层神经网络架构,其中第一层神经元的输出变成第二层神经元的输入,第二层神经元的输出变成第三层神经元的输入,依此类推。深度神经网络可被训练以识别特征阶层并且因此它们已被越来越多地用于对象识别应用。类似于卷积神经网络,这些深度学习架构中的计算可分布在处理节点群体上,其可被配置在一个或多个计算链中。这些多层架构可每次训练一层并可使用反向传播微调。
其他模型也可用于对象识别。例如,支持向量机(SVM)是可被应用于分类的学***面(例如,决策边界)。该超平面由监督式学***面增加训练数据的裕量。换言之,超平面应该具有到训练示例的最大的最小距离。
尽管这些解决方案在数个分类基准上达到了优异的结果,但它们的计算复杂度可能极其高。另外,模型的训练可能是有挑战性的。
发明内容
在本公开的一方面,给出了一种用于提高经训练的机器学习模型的性能的方法。该方法包括将具有第二目标函数的第二分类器添加到具有第一目标函数的第一分类器。第二目标函数用于直接减少第一分类器的误差。
在另一方面,提出了一种用于提高经训练的机器学习模型的性能的装置。该装置包括存储器以及耦合到所述存储器的至少一个处理器。(诸)处理器被配置为将具有第二目标函数的第二分类器添加到具有第一目标函数的第一分类器。第二目标函数用于直接减少第一分类器的误差。
在又一方面,提出了一种用于提高经训练的机器学习模型的性能的装备。该装备包括用于将具有第二目标函数的第二分类器添加到具有第一目标函数的第一分类器的装置。第二目标函数用于直接减少第一分类器的误差。该装备进一步包括用于基于经由经训练的机器学习模型接收到的输入来从第二分类器输出特征向量的装置。
在又一方面,给出了一种非瞬态计算机可读介质。该非瞬态计算机可读介质具有编码于其上的用于提高经训练的机器学习模型的性能的程序代码。该程序代码由处理器执行并且包括用于将具有第二目标函数的第二分类器添加到具有第一目标函数的第一分类器的程序代码。第二目标函数用于直接减少第一分类器的误差。
本公开的附加特征和优点将在下文描述。本领域技术人员应当领会,本公开可容易地被用作修改或设计用于实施与本公开相同的目的的其他结构的基础。本领域技术人员还应认识到,这样的等效构造并不脱离所附权利要求中所阐述的本公开的教导。被认为是本公开的特性的新颖特征在其组织和操作方法两方面连同进一步的目的和优点在结合附图来考虑以下描述时将被更好地理解。然而,要清楚理解的是,提供每一幅附图均仅用于解说和描述目的,且无意作为对本公开的限定的定义。
附图说明
在结合附图理解下面阐述的详细描述时,本公开的特征、本质和优点将变得更加明显,在附图中,相同附图标记始终作相应标识。
图1解说了根据本公开的某些方面的使用片上***(SOC)(包括通用处理器)来设计神经网络的示例实现。
图2解说了根据本公开的各方面的***的示例实现。
图3A是解说根据本公开的各方面的神经网络的示图。
图3B是解说根据本公开的各方面的示例性深度卷积网络(DCN)的框图。
图4是解说根据本公开的各方面的可将人工智能(AI)功能模块化的示例性软件架构的框图。
图5是解说根据本公开的各方面的智能手机上的AI应用的运行时操作的框图。
图6A和图6B是解说根据本公开的各方面的用于将第二分类器添加到第一分类器以提高机器学习模型的性能的变化的框图。
图7是根据本公开的各方面的用于提高经训练的机器学习模型的性能的示例性分类器的示意图。
图8解说了根据本公开的各方面的用于提高经训练的机器学习模型的性能的方法。
图9是解说了根据本公开的各方面的用于提高经训练的机器学习模型的性能的方法的框图。
具体实施方式
以下结合附图阐述的详细描述旨在作为各种配置的描述,而无意表示可实践本文中所描述的概念的仅有的配置。本详细描述包括具体细节以便提供对各种概念的透彻理解。然而,对于本领域技术人员将显而易见的是,没有这些具体细节也可实践这些概念。在一些实例中,以框图形式示出众所周知的结构和组件以避免湮没此类概念。
基于本教导,本领域技术人员应领会,本公开的范围旨在覆盖本公开的任何方面,不论其是与本公开的任何其他方面相独立地还是组合地实现的。例如,可以使用所阐述的任何数目的方面来实现装置或实践方法。另外,本公开的范围旨在覆盖使用作为所阐述的本公开的各个方面的补充或者与之不同的其他结构、功能性、或者结构及功能性来实践的此类装置或方法。应当理解,所披露的本公开的任何方面可由权利要求的一个或多个元素来实施。
措辞“示例性”在本文中用于表示“用作示例、实例、或解说”。本文中描述为“示例性”的任何方面不必被解释为优于或胜过其他方面。
尽管本文描述了特定方面,但这些方面的众多变体和置换落在本公开的范围之内。虽然提到了优选方面的一些益处和优点,但本公开的范围并非旨在被限定于特定益处、用途或目标。相反,本公开的各方面旨在能宽泛地应用于不同的技术、***配置、网络和协议,其中一些作为示例在附图以及以下对优选方面的描述中解说。详细描述和附图仅仅解说本公开而非限定本公开,本公开的范围由所附权利要求及其等效技术方案来定义。
本公开的各方面涉及提高经训练的较低复杂度机器学***方和(SSE)或负对数似然)给出的误差函数。例如,如果执行分类操作,其中有七个正确的分类和三个不正确的分类,则目标函数可被设计成将三个误差减少到零。
另外,根据本公开的各方面,可使用较高复杂度模型的软概率来进一步提高经训练的较低复杂度机器学习模型的性能。
软概率
软概率是概率向量的非最大概率值或暗值。在许多常规分类***中,使用概率向量来预测类别标记。在此常规***中,使用概率向量中的最高或最大概率值来预测类别标记。非最大概率值或软概率被忽略。
例如,考虑分类的监督式机器学习问题,其中使用由N个输入数据的样本Xtr=[x0,x1,x2,…xN-1]和对应的经C标记的输出数据的N个训练样本ytr=[y0,y1,y2,…yN-1]组成的训练数据来训练机器学习模型Mλ(W),其中通常,定义机器学习模型(例如,神经网络)的架构的参数λ和训练模型的学习过程的参数是预先确定的。随后使用训练数据{Xtr,ytr}来学习模型Mλ的权重W。训练可包括使用1-K编码将经标记的数据y=[y0,y1,…yN-1]编码到使得其中如果yj=k,则pjk=1,并且
给定输入x,机器学习模型Mλ产生对输出概率的估计,其可被表达如下:
以便最小化由以下给出的多类别交叉熵函数:
输出类别标记被获取如下:
其中aout=[aout,0,aout,1,...,aout,C-1]是神经网络的输出节点外的激活值。
由经训练的机器学习模型(例如,神经网络)生成的输出概率可通过温度T缩放以提取隐藏在软概率中的信息如下:
一旦被提取,软概率可被用于提高分类性能。例如,在一示例中,其中Wm和bm表示用于将软概率中的信息池化在一起的权重和偏差的集合,混合概率可由下式给出:
混合概率可用于通过经训练的机器学习模型来预测输出类别标记,如下:
训练数据{Xtr,ytr}可用于估计用于生成软概率的混合的权重和偏差的值。由下式给出仅使用硬概率(式3)来预测输出标记时由经训练的机器学习模型生成的分数训练误差θd和使用软概率(式7)来预测输出标记时的分数训练误差(e):
成本函数C被用于减少分类误差。也就是说,成本函数C可被设计为使得当使用由软概率的混合生成的输出标记的预测值时的训练数据上的误差低于通过使用成本函数在正的非零值上所取概率所获得的误差。成本函数可被表达为:
C=max(0,(ed-e)/ed) (10)
通过求解以下优化问题可获得软概率的混合的提高的或最优的权重和偏差:
式11的优化问题可使用不采用具有初始条件{Wm(0),bm(0)}={I,0}的梯度值的任何标准无约束优化过程来解决。在一些方面,还可采用优化技术来确定用于生成软概率的提高的或最优的温度。例如,式11的优化问题可如下进行修改:
使用标准的无约束最小化过程得出解,该解是围绕温度的初始选择的C的局部最小值。可使用收敛策略来得出围绕温度的初始选择的局部最小值。例如,在一些方面,该策略可以初始参数集合开始:{T(0),Wm(0),bm(0)},以及使用式11求解权重和偏差的最优值从初始条件T′(0)开始,优化成本函数:C=max(0,(e-e′)/e),其中使用具有的式11来计算e,以及使用具有的式11来计算e′。序列可以重复,直到收敛。
在一些方面,可跨机器学***均。在一示例中,使用具有由M个经训练模型生成的输出概率的训练数据来训练多个机器学习模型(M>1)。对于这些模型中的每一个,可使用上面的规程优化技术和/或收敛策略来生成软概率的最佳混合。所得的混合概率可被用于预测输出标记如下:
用于{wk}的一个选择是对于k=(1,2,…M-1),wk=1/M。替换地,可使用上面的优化技术和收敛策略或其他类似技术来估计多模型概率混合权重{wk}的最优集合。
在另一示例中,在具有多个逻辑回归输出层的单个机器学习模型中,优化技术、收敛策略等可用于提高或优化由模型的不同逻辑回归层所得的软概率。
在一些方面,当分类的数目很大时(例如C>>1),可使用软概率来改进推断。生成软概率的最优混合的参数的数目缩放为C2,并且在估计用于推断的软概率的混合时可能是问题。在此情形中,可利用被认为包含有用信息的每个分类的最高软概率的子集P<<C来提高分类性能。进而,式11可被求解以获得权重和偏差,使得要估计的参数的总数目是P(P+1)。在推断时间或大约推断时间,可使用最优权重和偏差经由所估计的混合概率来跟踪和附加顶部P的软概率的索引。
图1解说了根据本公开的某些方面使用片上***(SOC)100进行前述用于提高经训练的机器学习模型的性能的方法的示例实现,该SOC 100可包括通用处理器(CPU)或多核通用处理器(CPU)102。变量(例如,模型权重)、与计算设备(例如,带有权重的机器学习模型)相关联的***参数、延迟、频率槽信息、以及任务信息可被存储在与神经处理单元(NPU)108相关联的存储器块中、与CPU 102相关联的存储器块中、与图形处理单元(GPU)104相关联的存储器块中、与数字信号处理器(DSP)106相关联的存储器块中、专用存储器块118中,或者可跨多个块分布。在通用处理器102处执行的指令可从与CPU 102相关联的程序存储器加载或可从专用存储器块118加载。
SOC 100还可包括为具体功能定制的附加处理块(诸如GPU 104、DSP 106、连通性块110(其可包括***长期演进(4G LTE)连通性、无执照Wi-Fi连通性、USB连通性、蓝牙连通性等))以及例如可检测和识别姿势的多媒体处理器112。在一种实现中,NPU实现在CPU、DSP、和/或GPU中。SOC 100还可包括传感器处理器114、图像信号处理器(ISP)、和/或导航120(其可包括全球定位***)。
SOC 100可基于ARM指令集。在本公开的一方面中,加载到通用处理器102中的指令可包括用于将具有第二目标函数(例如,成本)的第二分类器添加到具有第一目标函数(例如,成本)的第一分类器的代码。该第二目标函数用于直接减少第一分类器的误差。
图2解说了根据本公开的某些方面的***200的示例实现。如图2中所解说的,***200可具有可执行本文所描述的方法的各种操作的多个局部处理单元202。每个局部处理单元202可包括局部状态存储器204和可存储神经网络的参数的局部参数存储器206。另外,局部处理单元202可具有用于存储局部模型程序的局部(神经元)模型程序(LMP)存储器208、用于存储局部学习程序的局部学习程序(LLP)存储器210、以及局部连接存储器212。此外,如图2中所解说的,每个局部处理单元202可与用于为该局部处理单元的各局部存储器提供配置的配置处理器单元214对接,并且与提供各局部处理单元202之间的路由的路由连接处理单元216对接。
深度学习架构可通过学习在每一层中以逐次更高的抽象程度来表示输入、藉此构建输入数据的有用特征表示来执行对象识别任务。以此方式,深度学习解决了传统机器学习的主要瓶颈。在深度学习出现之前,用于对象识别问题的机器学习办法可能严重依赖人类工程设计的特征,或许与浅分类器相结合。浅分类器可以是两类线性分类器,例如,其中可将特征向量分量的加权和与阈值作比较以预测输入属于哪一类。人类工程设计的特征可以是由拥有领域专业知识的工程师针对具体问题领域定制的模版或内核。相反,深度学习架构可学习以表示与人类工程师可能会设计的类似的特征,但它是通过训练来学习的。此外,深度网络可以学习以表示和识别人类可能还没有考虑过的新类型的特征。
深度学习架构可以学习特征阶层。例如,如果向第一层呈递视觉数据,则第一层可学习以识别输入流中的相对简单的特征(诸如边)。在另一示例中,如果向第一层呈递听觉数据,则第一层可学习以识别特定频率中的频谱功率。取第一层的输出作为输入的第二层可以学习以识别特征组合,诸如对于视觉数据识别简单形状或对于听觉数据识别声音组合。例如,更高层可学习以表示视觉数据中的复杂形状或听觉数据中的词语。再高层可学习以识别常见视觉对象或口语短语。
深度学习架构在被应用于具有自然阶层结构的问题时可能表现特别好。例如,机动车辆的分类可受益于首先学习以识别轮子、挡风玻璃、以及其他特征。这些特征可在更高层以不同方式被组合以识别轿车、卡车和飞机。
机器学习模型(诸如,神经网络)可被设计成具有多种连通性模式。在前馈网络中,信息从较低层被传递到较高层,其中给定层中的每个神经元向更高层中的神经元进行传达。如上所述,可在前馈网络的相继层中构建阶层式表示。神经网络还可具有回流或反馈(也被称为自顶向下(top-down))连接。在回流连接中,来自给定层中的神经元的输出可被传达给相同层中的另一神经元。回流架构可有助于识别跨越不止一个按顺序递送给该神经网络的输入数据组块的模式。从给定层中的神经元到较低层中的神经元的连接被称为反馈(或自顶向下)连接。当高层级概念的识别可辅助辨别输入的特定低层级特征时,具有许多反馈连接的网络可能是有助益的。
参照图3A,神经网络的各层之间的连接可以是全连接的(302)或局部连接的(304)。在全连接网络302中,第一层中的神经元可将它的输出传达给第二层中的每个神经元,从而第二层中的每个神经元将从第一层中的每个神经元接收输入。替换地,在局部连接网络304中,第一层中的神经元可连接至第二层中有限数目的神经元。卷积网络306可以是局部连接的,并且被进一步配置成使得与针对第二层中每个神经元的输入相关联的连接强度被共享(例如,308)。更一般化地,网络的局部连接层可被配置成使得一层中的每个神经元将具有相同或相似的连通性模式,但其连接强度可具有不同的值(例如,310、312、314和316)。局部连接的连通性模式可能在更高层中产生空间上相异的感受野,这是由于给定区域中的更高层神经元可接收到通过训练被调谐为到网络的总输入的受限部分的性质的输入。
局部连接的神经网络可能非常适合于其中输入的空间位置有意义的问题。例如,被设计成识别来自车载相机的视觉特征的网络300可发展具有不同性质的高层神经元,这取决于它们与图像下部关联还是与图像上部关联。例如,与图像下部相关联的神经元可学习以识别车道标记,而与图像上部相关联的神经元可学习以识别交通信号灯、交通标志等。
DCN可以用受监督式学习来训练。在训练期间,可向DCN呈递图像(诸如限速标志的经裁剪图像326),并且可随后计算“前向传递(forward pass)”以产生输出322。输出322可以是对应于特征(诸如“标志”、“60”、和“100”)的值向量。网络设计者可能希望DCN在输出特征向量中针对其中一些神经元输出高得分,例如与经训练网络300的输出322中所示的“标志”和“60”对应的那些神经元。在训练之前,DCN产生的输出很可能是不正确的,并且由此可计算实际输出与目标输出之间的误差。DCN的权重可随后被调整以使得DCN的输出得分与目标更紧密地对准。
为了调整权重,学习算法可为权重计算梯度向量。该梯度可指示在权重被略微调整情况下误差将增加或减少的量。在顶层,该梯度可直接对应于连接倒数第二层中的活化神经元与输出层中的神经元的权重的值。在较低层中,该梯度可取决于权重的值以及所计算出的较高层的误差梯度。权重可随后被调整以减小误差。这种调整权重的方式可被称为“反向传播”,因为其涉及在神经网络中的“反向传递”(backward pass)。
在实践中,权重的误差梯度可能是在少量示例上计算的,从而计算出的梯度近似于真实误差梯度。这种近似方法可被称为随机梯度下降法。随机梯度下降法可被重复,直到整个***可达成的误差率已停止下降或直到误差率已达到目标水平。
在学习之后,DCN可被呈递新图像326并且在网络中的前向传递可产生输出322,其可被认为是该DCN的推断或预测。
深度置信网络(DBN)是包括多层隐藏节点的概率性模型。DBN可被用于提取训练数据集的阶层式表示。DBN可通过堆叠多层受限波尔兹曼机(RBM)来获得。RBM是一类可在输入集上学习概率分布的人工神经网络。由于RBM可在没有关于每个输入应该被分类到哪个类的信息的情况下学习概率分布,因此RBM经常被用于无监督式学习中。使用混合无监督式和受监督式范式,DBN的底部RBM可按无监督方式被训练并且可以用作特征提取器,而顶部RBM可按受监督方式(在来自先前层的输入和目标类的联合分布上)被训练并且可用作分类器。
深度卷积网络(DCN)是卷积网络的网络,其配置有附加的池化和归一化层。DCN已在许多任务上达成现有最先进的性能。DCN可使用受监督式学习来训练,其中输入和输出目标两者对于许多典范是已知的并被用于通过使用梯度下降法来修改网络的权重。
DCN可以是前馈网络。另外,如上所述,从DCN的第一层中的神经元到下一更高层中的神经元群的连接跨第一层中的神经元被共享。DCN的前馈和共享连接可被利用于进行快速处理。DCN的计算负担可比例如类似大小的包括回流或反馈连接的神经网络小得多。
卷积网络的每一层的处理可被认为是空间不变模版或基础投影。如果输入首先被分解成多个通道,诸如彩色图像的红色、绿色和蓝色通道,那么在该输入上训练的卷积网络可被认为是三维的,其具有沿着该图像的轴的两个空间维度以及捕捉颜色信息的第三维度。卷积连接的输出可被认为在后续层318和320中形成特征图,该特征图(例如,320)中的每个元素从先前层(例如,318)中一定范围的神经元以及从该多个通道中的每一个通道接收输入。特征图中的值可以用非线性(诸如矫正)max(0,x)进一步处理。来自毗邻神经元的值可被进一步池化(这对应于降采样)并可提供附加的局部不变性以及维度缩减。还可通过特征图中神经元之间的侧向抑制来应用归一化,其对应于白化。
深度学习架构的性能可随着有更多被标记的数据点变为可用或随着计算能力提高而提高。现代深度神经网络用比仅仅十五年前可供典型研究者使用的计算资源多数千倍的计算资源来例行地训练。新的架构和训练范式可进一步推升深度学习的性能。经矫正的线性单元可减少被称为梯度消失的训练问题。新的训练技术可减少过度拟合(over-fitting)并因此使更大的模型能够达成更好的普遍化。封装技术可抽象出给定的感受野中的数据并进一步提升总体性能。
图3B是解说示例性深度卷积网络350的框图。深度卷积网络350可包括多个基于连通性和权重共享的不同类型的层。如图3B所示,该示例性深度卷积网络350包括多个卷积块(例如,C1和C2)。每个卷积块可配置有卷积层、归一化层(LNorm)、和池化层。卷积层可包括一个或多个卷积滤波器,其可被应用于输入数据以生成特征图。尽管仅示出了两个卷积块,但本公开不限于此,而是,根据设计偏好,任何数目的卷积块可被包括在深度卷积网络350中。归一化层可被用于对卷积滤波器的输出进行归一化。例如,归一化层可提供白化或侧向抑制。池化层可提供在空间上的降采样聚集以实现局部不变性和维度缩减。
例如,深度卷积网络的平行滤波器组可任选地基于ARM指令集被加载到SOC 100的CPU 102或GPU 104上以达成高性能和低功耗。在替换实施例中,平行滤波器组可被加载到SOC 100的DSP 106或ISP 116上。另外,DCN可访问其他可存在于SOC上的处理块,诸如专用于传感器114和导航120的处理块。
深度卷积网络350还可包括一个或多个全连接层(例如,FC1和FC2)。深度卷积网络350可进一步包括逻辑回归(LR)层。深度卷积网络350的每一层之间是要被更新的权重(未示出)。每一层的输出可以用作深度卷积网络350中后续层的输入以从第一卷积块C1处提供的输入数据(例如,图像、音频、视频、传感器数据和/或其他输入数据)学习阶层式特征表示。
图4是解说可使人工智能(AI)功能模块化的示例性软件架构400的框图。使用该架构,应用402可被设计成可使得SOC 420的各种处理块(例如CPU 422、DSP 424、GPU 426和/或NPU 428)在该应用402的运行时操作期间执行支持计算。
AI应用402可配置成调用在用户空间404中定义的功能,例如,这些功能可提供对指示该设备当前操作位置的场景的检测和识别。例如,AI应用402可取决于识别出的场景是否为办公室、报告厅、餐馆、或室外环境(诸如湖泊)而以不同方式配置话筒和相机。AI应用402可向与在场景检测应用编程接口(API)406中定义的库相关联的经编译程序代码作出请求以提供对当前场景的估计。该请求可最终依赖于配置成基于例如视频和定位数据来提供场景估计的深度神经网络的输出。
运行时引擎408(其可以是运行时框架的经编译代码)可进一步可由AI应用402访问。例如,AI应用402可使得运行时引擎请求特定时间间隔的场景估计或由应用的用户接口检测到的事件触发的场景估计。在使得运行时引擎估计场景时,运行时引擎可进而发送信号给在SOC 420上运行的操作***410(诸如Linux内核412)。操作***410进而可使得在CPU422、DSP 424、GPU 426、NPU 428、或其某种组合上执行计算。CPU 422可***作***直接访问,而其他处理块可通过驱动器(诸如用于DSP 424、GPU 426、或NPU 428的驱动器414-418)来访问。在示例性示例中,深度神经网络可被配置成在处理块的组合(诸如CPU 422和GPU426)上运行,或可在NPU 428(如果存在的话)上运行。
图5是解说智能手机502上的AI应用的运行时操作500的框图。AI应用可包括预处理模块504,该预处理模块504可被(例如,使用JAVA编程语言)配置成转换图像506的格式并随后对该图像进行剪裁和/或调整大小(508)。经预处理的图像可随后被传达给分类应用510,该分类应用510包含场景检测后端引擎512,该场景检测后端引擎512可以被(例如,使用C编程语言)配置成基于视觉输入来检测和分类场景。场景检测后端引擎512可被配置成通过缩放(516)和剪裁(518)来进一步预处理(514)该图像。例如,该图像可被缩放和剪裁以使所得到的图像是224像素×224像素。这些维度可映射到神经网络的输入维度。神经网络可由深度神经网络块520配置以使得SOC 100的各种处理块借助深度神经网络来进一步处理图像像素。深度神经网络的结果可随后被取阈(522)并被传递通过分类应用510中的指数平滑块524。经平滑的结果可随后使得智能手机502的设置和/或显示改变。
在一配置中,机器学习模型被配置为用于将具有第二目标(例如,成本)函数的第二分类器添加到具有第一目标(例如,成本)函数的第一分类器,第二目标函数被用于直接减少第一分类器的误差。该机器学习模型也被配置为基于经由经训练的机器学习模型接收到的输入来从第二分类器输出特征向量。机器学习模型包括添加装置和/或输出装置。在一方面,添加装置和/或输出装置可以是配置成执行所叙述功能的通用处理器102、与通用处理器102相关联的程序存储器、存储器块118、局部处理单元202、和/或路由连接处理单元216。在另一配置中,前述装置可以是配置成执行由前述装置所叙述的功能的任何模块或任何装置。
根据本公开的某些方面,每个局部处理单元202可被配置成基于网络的一个或多个期望功能特征来确定网络的参数,以及随着所确定的参数被进一步适配、调谐和更新来使这一个或多个功能特征朝着期望的功能特征发展。
图6A和图6B是解说用于将第二分类器添加到第一分类器以提高机器学习模型(诸如,神经网络模型)的性能的变化的框图。参考图6A和6B,第二分类器602可被添加到经训练的机器学习模型606的第一分类器604。在一些方面,机器学习模型606可包括深度卷积网络(DCN),其包括局部连接(LC)层,或另一个机器学习模型。机器学习模型在复杂度上可能较低。在一些示例性方面,具有少于10亿次乘法累加运算(MAC)的机器学习模型可被认为是低复杂度模型。另一方面,具有大于10亿次乘法累加运算的机器学习模型可被认为是高复杂度模型。当然,也可使用其他度量来确定模型的相对复杂度(例如,参数的数目、阶段(层)的数目和/或阶段的类型)。
经训练的机器学习模型606可被配置为接收输入(例如,图像)(未示出)。机器学习模型606可以处理图像以从输入中提取一组特征。对应于输入的特征向量可以被提供给第一分类器604。第一分类器604可被配置为具有可被用来提高分类准确性的可微分的(例如,梯度是可确定的)目标函数。进而,第一分类器604可以生成可用于确定输出类别标记的概率向量Pc。
为了提高第一分类器604的性能和准确性,可以添加第二分类器602。第二分类器602可被配置为具有非可微分的(例如,不存在梯度)目标函数。目标函数可被配置为直接减少由第一分类器604产生的误差的数目。也就是说,第二分类器602减少误差的总数目,而不是试图最小化第一分类器604的成本函数或误差函数。例如,在一些方面,第二分类器602的目标函数可被表示为:
目标函数:argmax[max(0,(ed-e)))](14)
目标函数可被用于使用如上所描述的无约束最小化技术来确定第二分类器602的权重和偏差项。相应地,来自第二分类器602的输出类别标记可包括比单独经由第二分类器602产生的更少的误差。
因为可实现在分类性能上的提高,而无需再训练先前经训练的机器学习模型,此配置可能是特别有利的。相反,可以通过仅重新训练第二分类器602来提高性能。
在一些方面,如图6B所示,可替换地提供在训练机器学习模型606(例如,作为来自经训练的机器学习模型的模型层)内的第二分类器602。此外,在一些方面,可使用经由高复杂度模型608提供的软概率进一步提高机器学习模型606(在图6A和图6B中所示出的)的性能。
图7呈现了根据本公开的各方面的用于提高经训练的机器学习模型(例如,神经网络)的性能的示例性分类器700的示意图。参照图7,在神经网络的分类器(回归)层的输出处添加非可微分的目标函数O。可指定目标函数,使得对于给定训练(或测试)数据集的目标函数的最大非零值将仅在训练(测试)误差的数目低于针对原始经训练的神经网络所获得的数目时出现。
给定输入机器学习模型702可被配置为将输入分类为C个类之一。使用编码方案(诸如,单热编码),类别标记可由概率向量表示,使得对于给定的类别标记l<C,P=[p1p2…pC]T,其中如果i=l,则pi=1,并且给定经训练的机器学习模型(例如,神经网络)所估计的概率向量可从Z获得如下:其中σ是软最大非线性。
如上所述,传统办法使用来将类别标记预测为对于具有U个训练样本的给定数据集,训练误差随后被如下获得:而V个测试样本上的测试误差类似地被如下获得: 和的值确定了模型M的良好性或准确性。经训练的模型M的一个良好性或准确性度量是:以及本公开的各方面旨在提高的经训练的模型M的性能。
根据本公开的各方面,经由经训练的模型702生成的特征表示可被提供给分类器700。分类器700接收特征向量Z,其可以与模型权重Wz混合以产生新的特征向量随后可使用特征向量Zs来估计概率向量Ps=σ(Zs)。随后可使用概率特征向量来计算在训练集上的所估计的预测误差为:其中通过对以下目标函数进行优化来估计参数λ=[Wz,Wp]:
在一些方面,高复杂度模型704可向机器学习模型702提供软概率向量PH。软概率向量可以与模型权重Wh混合。进而,可使用概率特征向量来计算在训练集上的所估计的预测误差为:其中可通过对式14的目标函数进行优化来估计参数λ=[Wz,Wp,Wh,T]。
在一些方面,λ(例如,Wz、Wp、Wh、或T)中的一些参数可被设置为先验的。如此,可减轻或减少由于添加了几个新参数而导致的过度拟合问题。
在一些方面,可采用各种简化,同时根据设计偏好提高性能。例如,与由经训练的学习模型产生的特征相对应的权重可被设置为身份值。如此,将不考虑由经训练的机器学习模型生成的特征向量的混合。另一方面,在第二示例中,可仅考虑经由经训练的机器学习模型产生的特征向量的混合。
在第三示例中,可将与由经训练的学习模型产生的特征相对应的权重设置为身份值,并且可忽略可从高复杂度模型704获得的软概率信息。
在第四示例中,来自高复杂度模型704的软概率PH可通过给定温度值(例如,T=α,α>1)来重新缩放。
图8解说了用于提高经训练的机器学习模型的性能的方法800。在框802中,过程将具有第二目标函数(例如,成本)的第二分类器添加到具有第一目标函数(例如,成本)的第一分类器。第二目标函数用于直接减少第一分类器的误差。
第一个目标函数是可微分的,而第二个目标函数是非可微分的。在一些方面,第二目标函数可以是第一分类器和第二分类器的误差之间的差的函数。在其他方面,可基于来自较高复杂度模型的概率的混合来确定第二目标函数。
在一些方面,第二分类器可被外部地添加到第一分类器。替换地,可将第二分类器并入第一分类器(例如,第一分类器的层)内。此外,第二分类器可被添加而不需要再训练第一分类器。
在框804中,过程基于经由经训练的机器学习模型接收到的输入来从第二分类器输出特征向量。
在一些方面,该过程可以实现各种简化来减少或减轻过度拟合问题。例如,过程可将为身份值的权重指派给由第一分类器训练的模型产生的特征。过程还可将为零的权重指派给由高复杂度模型的概率向量产生的特征。过程可进一步将权重指派给由第二分类器的概率向量产生的特征。过程还可将为零的权重指派给由高复杂度模型的概率向量产生的特征。过程可进一步将权重指派给由第二分类器的概率向量产生的特征。过程还可将由较高复杂度模型产生的概率向量以固定的温度T为因子进行缩放。
图9是解说了根据本公开的各方面的用于提高经训练的机器学习模型的性能的方法900的框图。在框902中,该过程在机器学习模型(例如,分类器)中经由经训练的机器学习模型接收机器概率向量。概率向量对应于在经训练的机器学习模型中接收到的输入。在框904中,机器学习模型的参数(诸如,模型权重和偏差)可基于直接减少经训练的机器学习模型的误差的目标函数来计算。也就是说,目标函数被设计为直接减少误差的数目,而不是减小用于经训练的机器学习模型的误差函数。如此,机器学习模型的目标函数是非可微分的。
在一些方面,来自经训练的机器学习模型和/或高复杂度模型的软概率可用于计算参数。
在框906中,该过程可更新机器学习模型的参数。此后,在框908中,机器学习模型可生成对应于接收到的概率向量的用于输入的输出类别标记。如此,更新之后的分类误差可能比由经训练的机器学习模型产生的针对相同输入的分类误差更少。因此,可以提高经训练的机器学习模型的性能。
以上所描述的方法的各种操作可由能够执行相应功能的任何合适的装置来执行。这些装置可包括各种硬件和/或(诸)软件组件和/或(诸)模块,包括但不限于电路、专用集成电路(ASIC)、或处理器。一般而言,在附图中有解说的操作的场合,那些操作可具有带相似编号的相应配对装置加功能组件。
如本文所使用的,术语“确定”涵盖各种各样的动作。例如,“确定”可包括演算、计算、处理、推导、研究、查找(例如,在表、数据库或其他数据结构中查找)、探知及诸如此类。另外,“确定”可包括接收(例如接收信息)、访问(例如访问存储器中的数据)、及类似动作。此外,“确定”可包括解析、选择、选取、确立及类似动作。
如本文中所使用的,引述一列项目中的“至少一个”的短语是指这些项目的任何组合,包括单个成员。作为示例,“a、b或c中的至少一个”旨在涵盖:a、b、c、a-b、a-c、b-c、以及a-b-c。
结合本公开所描述的各种解说性逻辑框、模块、以及电路可用设计成执行本文中所描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、分立的门或晶体管逻辑、分立的硬件组件或其任何组合来实现或执行。通用处理器可以是微处理器,但在替换方案中,处理器可以是任何市售的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合,例如,DSP与微处理器的组合、多个微处理器、与DSP核心协同的一个或多个微处理器、或任何其他此类配置。
结合本公开描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中实施。软件模块可驻留在本领域所知的任何形式的存储介质中。可使用的存储介质的一些示例包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可移动盘、CD-ROM,等等。软件模块可包括单条指令、或许多条指令,且可分布在若干不同的代码段上,分布在不同的程序间以及跨多个存储介质分布。存储介质可被耦合到处理器以使得该处理器能从/向该存储介质读写信息。替换地,存储介质可以被整合到处理器。
本文所公开的方法包括用于达成所描述的方法的一个或多个步骤或动作。这些方法步骤和/或动作可以彼此互换而不会脱离权利要求的范围。换言之,除非指定了步骤或动作的特定次序,否则具体步骤和/或动作的次序和/或使用可以改动而不会脱离权利要求的范围。
所描述的功能可在硬件、软件、固件或其任何组合中实现。如果以硬件实现,则示例硬件配置可包括设备中的处理***。处理***可以用总线架构来实现。取决于处理***的具体应用和整体设计约束,总线可包括任何数目的互连总线和桥接器。总线可将包括处理器、机器可读介质、以及总线接口的各种电路链接在一起。总线接口可用于尤其将网络适配器等经由总线连接至处理***。网络适配器可用于实现信号处理功能。对于某些方面,用户接口(例如,按键板、显示器、鼠标、操纵杆,等等)也可以被连接到总线。总线还可以链接各种其他电路,诸如定时源、***设备、稳压器、功率管理电路以及类似电路,它们在本领域中是众所周知的,因此将不再进一步描述。
处理器可负责管理总线和一般处理,包括执行存储在机器可读介质上的软件。处理器可用一个或多个通用和/或专用处理器来实现。示例包括微处理器、微控制器、DSP处理器、以及其他能执行软件的电路***。软件应当被宽泛地解释成意指指令、数据、或其任何组合,无论是被称作软件、固件、中间件、微代码、硬件描述语言、或其他。作为示例,机器可读介质可包括随机存取存储器(RAM)、闪存、只读存储器(ROM)、可编程只读存储器(PROM)、可擦式可编程只读存储器(EPROM)、电可擦式可编程只读存储器(EEPROM)、寄存器、磁盘、光盘、硬驱动器、或者任何其他合适的存储介质、或其任何组合。机器可读介质可被实施在计算机程序产品中。该计算机程序产品可以包括包装材料。
在硬件实现中,机器可读介质可以是处理***中与处理器分开的一部分。然而,如本领域技术人员将容易领会的,机器可读介质或其任何部分可在处理***外部。作为示例,机器可读介质可包括传输线、由数据调制的载波、和/或与设备分开的计算机产品,所有这些都可由处理器通过总线接口来访问。替换地或补充地,机器可读介质或其任何部分可被集成到处理器中,诸如高速缓存和/或通用寄存器文件可能就是这种情形。虽然所讨论的各种组件可被描述为具有特定位置,诸如局部组件,但它们也可按各种方式来配置,诸如某些组件被配置成分布式计算***的一部分。
处理***可以被配置为通用处理***,该通用处理***具有一个或多个提供处理器功能性的微处理器、以及提供机器可读介质中的至少一部分的外部存储器,它们都通过外部总线架构与其他支持电路***链接在一起。替换地,该处理***可以包括一个或多个神经元形态处理器以用于实现本文中所描述的神经元模型和神经***模型。作为另一替换方案,处理***可以用带有集成在单块芯片中的处理器、总线接口、用户接口、支持电路***、和至少一部分机器可读介质的专用集成电路(ASIC)来实现,或者用一个或多个现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、控制器、状态机、门控逻辑、分立硬件组件、或者任何其他合适的电路***、或者能执行本公开通篇所描述的各种功能性的电路的任何组合来实现。取决于具体应用和加诸于整体***上的总设计约束,本领域技术人员将认识到如何最佳地实现关于处理***所描述的功能性。
机器可读介质可包括数个软件模块。这些软件模块包括当由处理器执行时使处理***执行各种功能的指令。这些软件模块可包括传送模块和接收模块。每个软件模块可以驻留在单个存储设备中或者跨多个存储设备分布。作为示例,当触发事件发生时,可以从硬驱动器中将软件模块加载到RAM中。在软件模块执行期间,处理器可以将一些指令加载到高速缓存中以提高访问速度。可随后将一个或多个高速缓存行加载到通用寄存器文件中以供处理器执行。在以下述及软件模块的功能性时,将理解此类功能性是在处理器执行来自该软件模块的指令时由该处理器来实现的。此外,应领会,本公开的各方面产生对处理器、计算机、机器或实现此类方面的其它***的机能的改进。
如果以软件实现,则各功能可作为一条或多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者,这些介质包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定,此类计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能用于携带或存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质。另外,任何连接也被正当地称为计算机可读介质。例如,如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或无线技术(诸如红外(IR)、无线电、以及微波)从web网站、服务器、或其他远程源传送而来,则该同轴电缆、光纤电缆、双绞线、DSL或无线技术(诸如红外、无线电、以及微波)就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘、和碟,其中盘(disk)常常磁性地再现数据,而碟(disc)用激光来光学地再现数据。因此,在一些方面,计算机可读介质可包括非瞬态计算机可读介质(例如,有形介质)。另外,对于其他方面,计算机可读介质可包括瞬态计算机可读介质(例如,信号)。上述的组合应当也被包括在计算机可读介质的范围内。
因此,某些方面可包括用于执行本文中给出的操作的计算机程序产品。例如,此类计算机程序产品可包括其上存储(和/或编码)有指令的计算机可读介质,这些指令能由一个或多个处理器执行以执行本文中所描述的操作。对于某些方面,计算机程序产品可包括包装材料。
此外,应当领会,用于执行本文中所描述的方法和技术的模块和/或其它恰适装置能由用户终端和/或基站在适用的场合下载和/或以其他方式获得。例如,此类设备能被耦合至服务器以促成用于执行本文中所描述的方法的装置的转移。替换地,本文中所描述的各种方法能经由存储装置(例如,RAM、ROM、诸如压缩碟(CD)或软盘等物理存储介质等)来提供,以使得一旦将该存储装置耦合至或提供给用户终端和/或基站,该设备就能获得各种方法。此外,可利用适于向设备提供本文中所描述的方法和技术的任何其他合适的技术。
将理解,权利要求并不被限定于以上所解说的精确配置和组件。可在以上所描述的方法和装置的布局、操作和细节上作出各种改动、更换和变形而不会脱离权利要求的范围。
Claims (26)
1.一种计算机实现的用于提高经训练的机器学习模型的性能的方法,包括:
在具有第二目标函数的第二分类器处接收由具有第一目标函数的第一分类器生成的特征表示;以及
在所述第二分类器处根据通过将所述特征表示与所述第二分类器的权重进行混合所生成的特征向量来对图像中所标识的对象进行分类,其中所述第二目标函数被配置成直接减少由所述第一分类器产生的分类误差的数目,其中所述第二目标函数是所述第一分类器与所述第二分类器的训练误差之间的差的函数,其中所述第一分类器的训练误差是使用硬概率来预测的并且所述第二分类器的训练误差是使用软概率来预测的。
2.如权利要求1所述的方法,其特征在于,所述第一目标函数是可微分的。
3.如权利要求1所述的方法,其特征在于,所述第二目标函数是非可微分的。
4.如权利要求1所述的方法,其特征在于,进一步包括至少部分地基于来自高复杂度模型的概率的混合来确定所述第二目标函数。
5.如权利要求1所述的方法,其特征在于,进一步包括添加所述第二分类器而不重新训练所述第一分类器。
6.如权利要求1所述的方法,其特征在于,进一步包括将所述第二分类器外部地添加到所述第一分类器。
7.如权利要求1所述的方法,其特征在于,进一步包括将为身份值的权重指派给由所述第一分类器训练的模型产生的特征。
8.如权利要求7所述的方法,其特征在于,进一步包括将为零的权重指派给由高复杂度模型的概率向量产生的特征。
9.如权利要求1所述的方法,其特征在于,进一步包括将权重指派给由所述第二分类器的概率向量产生的特征。
10.如权利要求1所述的方法,其特征在于,进一步包括将为零的权重指派给由高复杂度模型的概率向量产生的特征。
11.如权利要求10所述的方法,其特征在于,进一步包括将权重指派给由所述第二分类器的概率向量产生的特征。
12.如权利要求1所述的方法,其特征在于,进一步包括将由高复杂度模型产生的概率向量以固定的温度T为因子进行缩放。
13.一种用于提高经训练的机器学习模型的性能的装置,包括:
存储器;以及
至少一个处理器,其耦合到所述存储器,所述至少一个处理器被配置为:
在具有第二目标函数的第二分类器处接收由具有第一目标函数的第一分类器生成的特征表示;以及
在所述第二分类器处根据通过将所述特征表示与所述第二分类器的权重进行混合所生成的特征向量来对图像中所标识的对象进行分类,其中所述第二目标函数被配置成直接减少由所述第一分类器产生的分类误差的数目,其中所述第二目标函数是所述第一分类器与所述第二分类器的训练误差之间的差的函数,其中所述第一分类器的训练误差是使用硬概率来预测的并且所述第二分类器的训练误差是使用软概率来预测的。
14.如权利要求13所述的装置,其特征在于,所述第一目标函数是可微分的。
15.如权利要求13所述的装置,其特征在于,所述第二目标函数是非可微分的。
16.如权利要求13所述的装置,其特征在于,所述至少一个处理器被进一步配置为至少部分地基于来自高复杂度模型的概率的混合来确定所述第二目标函数。
17.如权利要求13所述的装置,其特征在于,所述至少一个处理器被进一步配置为添加所述第二分类器而不重新训练所述第一分类器。
18.如权利要求13所述的装置,其特征在于,所述至少一个处理器被进一步配置为将所述第二分类器外部地添加到所述第一分类器。
19.如权利要求13所述的装置,其特征在于,所述至少一个处理器被进一步配置为将为身份值的权重指派给由所述第一分类器训练的模型产生的特征。
20.如权利要求19所述的装置,其特征在于,所述至少一个处理器被进一步配置为将为零的权重指派给由高复杂度模型的概率向量产生的特征。
21.如权利要求13所述的装置,其特征在于,所述至少一个处理器被进一步配置为将权重指派给由所述第二分类器的概率向量产生的特征。
22.如权利要求13所述的装置,其特征在于,所述至少一个处理器被进一步配置为将为零的权重指派给由高复杂度模型的概率向量产生的特征。
23.如权利要求22所述的装置,其特征在于,所述至少一个处理器被进一步配置为将权重指派给由所述第二分类器的概率向量产生的特征。
24.如权利要求13所述的装置,其特征在于,所述至少一个处理器被进一步配置为将由高复杂度模型产生的概率向量以固定的温度T为因子进行缩放。
25.一种用于提高经训练的机器学习模型的性能的装备,包括:
用于在具有第二目标函数的第二分类器处接收由具有第一目标函数的第一分类器生成的特征表示的装置;以及
用于在所述第二分类器处根据通过将所述特征表示与所述第二分类器的权重进行混合所生成的特征向量来对图像中所标识的对象进行分类的装置,其中所述第二目标函数被配置成直接减少由所述第一分类器产生的分类误差的数目,其中所述第二目标函数是所述第一分类器与所述第二分类器的训练误差之间的差的函数,其中所述第一分类器的训练误差是使用硬概率来预测的并且所述第二分类器的训练误差是使用软概率来预测的。
26.一种非瞬态计算机可读介质,其上编码有用于提高经训练的机器学习模型的性能的程序代码,所述程序代码由处理器执行并且包括:
用于在具有第二目标函数的第二分类器处接收由具有第一目标函数的第一分类器生成的特征表示的程序代码;以及
用于在所述第二分类器处根据通过将所述特征表示与所述第二分类器的权重进行混合所生成的特征向量来对图像中所标识的对象进行分类的程序代码,其中所述第二目标函数被配置成直接减少由所述第一分类器产生的分类误差的数目,其中所述第二目标函数是所述第一分类器与所述第二分类器的训练误差之间的差的函数,其中所述第一分类器的训练误差是使用硬概率来预测的并且所述第二分类器的训练误差是使用软概率来预测的。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562209859P | 2015-08-25 | 2015-08-25 | |
US62/209,859 | 2015-08-25 | ||
US14/863,410 | 2015-09-23 | ||
US14/863,410 US10332028B2 (en) | 2015-08-25 | 2015-09-23 | Method for improving performance of a trained machine learning model |
PCT/US2016/046576 WO2017034820A1 (en) | 2015-08-25 | 2016-08-11 | Method for improving performance of a trained machine learning model |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108027899A CN108027899A (zh) | 2018-05-11 |
CN108027899B true CN108027899B (zh) | 2023-02-24 |
Family
ID=58095916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680048630.3A Active CN108027899B (zh) | 2015-08-25 | 2016-08-11 | 用于提高经训练的机器学习模型的性能的方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10332028B2 (zh) |
EP (1) | EP3341894A1 (zh) |
JP (1) | JP6862426B2 (zh) |
KR (1) | KR20180044295A (zh) |
CN (1) | CN108027899B (zh) |
WO (1) | WO2017034820A1 (zh) |
Families Citing this family (81)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10127240B2 (en) | 2014-10-17 | 2018-11-13 | Zestfinance, Inc. | API for implementing scoring functions |
US20170178346A1 (en) * | 2015-12-16 | 2017-06-22 | High School Cube, Llc | Neural network architecture for analyzing video data |
US9805255B2 (en) * | 2016-01-29 | 2017-10-31 | Conduent Business Services, Llc | Temporal fusion of multimodal data from multiple data acquisition systems to automatically recognize and classify an action |
JP6623947B2 (ja) * | 2016-06-17 | 2019-12-25 | 富士通株式会社 | 情報処理装置、イジング装置及び情報処理装置の制御方法 |
JP6468254B2 (ja) * | 2016-07-01 | 2019-02-13 | 富士通株式会社 | 情報処理装置、イジング装置及び情報処理装置の制御方法 |
CN109964224A (zh) | 2016-09-22 | 2019-07-02 | 恩芙润斯公司 | 用于语义信息可视化和指示生命科学实体之间显著关联的时间信号推断的***、方法和计算机可读介质 |
EP3520038A4 (en) | 2016-09-28 | 2020-06-03 | D5A1 Llc | LEARNING TRAINER FOR MACHINE LEARNING SYSTEM |
US11475310B1 (en) * | 2016-11-29 | 2022-10-18 | Perceive Corporation | Training network to minimize worst-case error |
KR20180070196A (ko) * | 2016-12-16 | 2018-06-26 | 에스케이하이닉스 주식회사 | 뉴로모픽 장치의 정보 인식 장치 및 방법 |
US10282668B2 (en) * | 2017-03-09 | 2019-05-07 | Thomas Danaher Harvey | Devices and methods to detect compliance with regulations |
EP3602316A4 (en) | 2017-03-24 | 2020-12-30 | D5A1 Llc | LEARNING COACH FOR AUTOMATIC LEARNING SYSTEM |
US10546237B2 (en) * | 2017-03-30 | 2020-01-28 | Atomwise Inc. | Systems and methods for correcting error in a first classifier by evaluating classifier output in parallel |
US11599783B1 (en) | 2017-05-31 | 2023-03-07 | Databricks, Inc. | Function creation for database execution of deep learning model |
US10346724B2 (en) | 2017-06-22 | 2019-07-09 | Waymo Llc | Rare instance classifiers |
US11228379B1 (en) * | 2017-06-23 | 2022-01-18 | DeepSig Inc. | Radio signal processing network model search |
US11804112B2 (en) | 2017-07-12 | 2023-10-31 | Mastercard Asia/Pacific Pte. Ltd. | Mobile device platform for automated visual retail product recognition |
CN110019658B (zh) * | 2017-07-31 | 2023-01-20 | 腾讯科技(深圳)有限公司 | 检索项的生成方法及相关装置 |
WO2019028179A1 (en) | 2017-08-02 | 2019-02-07 | Zestfinance, Inc. | SYSTEMS AND METHODS FOR PROVIDING DISAPPEARED IMPACT INFORMATION OF AUTOMATIC LEARNING MODEL |
CN111066033A (zh) * | 2017-08-30 | 2020-04-24 | 谷歌有限责任公司 | 用于生成模糊结果的标签的机器学习方法 |
JP6925911B2 (ja) * | 2017-08-30 | 2021-08-25 | 株式会社日立製作所 | 機械学習装置及び機械学習方法 |
EP3460685A1 (en) * | 2017-09-12 | 2019-03-27 | Bricsys NV | Improved semantic classification of an entity in a building information model |
US11416738B1 (en) * | 2017-11-21 | 2022-08-16 | Amazon Technologies, Inc. | Model reutilization with heterogeneous sensor stacks via sensor data auto-normalization |
US11615129B2 (en) | 2017-11-28 | 2023-03-28 | International Business Machines Corporation | Electronic message text classification framework selection |
US10846621B2 (en) | 2017-12-12 | 2020-11-24 | Amazon Technologies, Inc. | Fast context switching for computational networks |
WO2019118363A1 (en) * | 2017-12-12 | 2019-06-20 | Amazon Technologies, Inc. | On-chip computational network |
US10803379B2 (en) | 2017-12-12 | 2020-10-13 | Amazon Technologies, Inc. | Multi-memory on-chip computational network |
US11321612B2 (en) | 2018-01-30 | 2022-05-03 | D5Ai Llc | Self-organizing partially ordered networks and soft-tying learned parameters, such as connection weights |
US11379716B2 (en) * | 2018-02-09 | 2022-07-05 | Htc Corporation | Method and electronic apparatus for adjusting a neural network |
US10834227B2 (en) * | 2018-02-13 | 2020-11-10 | International Business Machines Corporation | Conversational agent learning model service selection to address a client service request |
EP3762869A4 (en) | 2018-03-09 | 2022-07-27 | Zestfinance, Inc. | SYSTEMS AND METHODS FOR PROVIDING ASSESSMENT OF A MACHINE LEARNING MODEL THROUGH DECOMPOSITION |
CN118014031A (zh) * | 2018-03-22 | 2024-05-10 | 亚马逊技术股份有限公司 | 针对多个输入数据集的处理 |
US20190302707A1 (en) * | 2018-03-28 | 2019-10-03 | Mitsubishi Electric Research Laboratories, Inc. | Anomaly Detection in Manufacturing Systems Using Structured Neural Networks |
EP3788560A4 (en) | 2018-05-04 | 2022-07-13 | Zestfinance, Inc. | SYSTEMS AND METHODS FOR ENRICHING MODELING TOOLS AND MODELING INFRASTRUCTURE WITH SEMANTIC ELEMENTS |
CN112106081A (zh) * | 2018-05-07 | 2020-12-18 | 谷歌有限责任公司 | 提供综合机器学***台和软件开发套件 |
CN108898060A (zh) * | 2018-05-30 | 2018-11-27 | 珠海亿智电子科技有限公司 | 车载环境下基于卷积神经网络的车型识别方法 |
CA3102439A1 (en) * | 2018-06-08 | 2019-12-12 | Zestfinance, Inc. | Systems and methods for decomposition of non-differentiable and differentiable models |
US11625609B2 (en) | 2018-06-14 | 2023-04-11 | International Business Machines Corporation | Integration of external applications into deep neural networks |
US10839791B2 (en) * | 2018-06-27 | 2020-11-17 | International Business Machines Corporation | Neural network-based acoustic model with softening target-layer |
KR102631031B1 (ko) | 2018-07-27 | 2024-01-29 | 삼성전자주식회사 | 반도체 장치의 불량 검출 방법 |
KR102170756B1 (ko) * | 2018-08-01 | 2020-10-27 | 가톨릭대학교 산학협력단 | 이중 머신 러닝 모델을 이용한 데이터 분류 방법 및 장치 |
CN110826721A (zh) * | 2018-08-09 | 2020-02-21 | 松下电器(美国)知识产权公司 | 信息处理方法及信息处理*** |
DE102018216298A1 (de) * | 2018-09-25 | 2020-03-26 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Betreiben eines Steuerungssystems |
US11573962B2 (en) * | 2018-10-19 | 2023-02-07 | Oracle International Corporation | Dynamic performance tuning based on implied data characteristics |
US11568179B2 (en) * | 2018-10-19 | 2023-01-31 | Oracle International Corporation | Selecting an algorithm for analyzing a data set based on the distribution of the data set |
CN109522949B (zh) * | 2018-11-07 | 2021-01-26 | 北京交通大学 | 目标识别模型建立方法及装置 |
KR102228196B1 (ko) * | 2018-11-15 | 2021-03-16 | 주식회사 에이아이트릭스 | 기초 메타학습장치에 대한 앙상블가중치를 결정하는 방법 및 장치 |
KR20200076083A (ko) | 2018-12-19 | 2020-06-29 | 에스케이하이닉스 주식회사 | 오류 역전파를 이용하여 지도 학습을 수행하는 뉴로모픽 시스템 |
KR102211604B1 (ko) | 2019-02-01 | 2021-02-04 | 재단법인대구경북과학기술원 | Gpu 기반의 채널 단위 딥뉴럴 네트워크 구조 검색을 사용하는 인공지능 시스템 |
US11816541B2 (en) | 2019-02-15 | 2023-11-14 | Zestfinance, Inc. | Systems and methods for decomposition of differentiable and non-differentiable models |
CA3134043A1 (en) | 2019-03-18 | 2020-09-24 | Sean Javad Kamkar | Systems and methods for model fairness |
US11610154B1 (en) | 2019-04-25 | 2023-03-21 | Perceive Corporation | Preventing overfitting of hyperparameters during training of network |
US11531879B1 (en) | 2019-04-25 | 2022-12-20 | Perceive Corporation | Iterative transfer of machine-trained network inputs from validation set to training set |
US11900238B1 (en) | 2019-04-25 | 2024-02-13 | Perceive Corporation | Removing nodes from machine-trained network based on introduction of probabilistic noise during training |
US11605025B2 (en) * | 2019-05-14 | 2023-03-14 | Msd International Gmbh | Automated quality check and diagnosis for production model refresh |
US11487902B2 (en) | 2019-06-21 | 2022-11-01 | nference, inc. | Systems and methods for computing with private healthcare data |
WO2020257783A1 (en) * | 2019-06-21 | 2020-12-24 | nference, inc. | Systems and methods for computing with private healthcare data |
US11676034B2 (en) * | 2019-06-27 | 2023-06-13 | The Nielsen Company (Us), Llc | Initialization of classification layers in neural networks |
US11068748B2 (en) | 2019-07-17 | 2021-07-20 | Harris Geospatial Solutions, Inc. | Image processing system including training model based upon iteratively biased loss function and related methods |
US10984507B2 (en) | 2019-07-17 | 2021-04-20 | Harris Geospatial Solutions, Inc. | Image processing system including training model based upon iterative blurring of geospatial images and related methods |
US11417087B2 (en) | 2019-07-17 | 2022-08-16 | Harris Geospatial Solutions, Inc. | Image processing system including iteratively biased training model probability distribution function and related methods |
CN112308233B (zh) * | 2019-08-02 | 2024-07-19 | 伊姆西Ip控股有限责任公司 | 用于处理数据的方法、设备和计算机程序产品 |
EP3786918B1 (en) * | 2019-08-30 | 2023-11-08 | Zenuity AB | Method and arrangement for determining a current location speed-limit in a road-vehicle |
US20210073669A1 (en) * | 2019-09-06 | 2021-03-11 | American Express Travel Related Services Company | Generating training data for machine-learning models |
US20210073612A1 (en) * | 2019-09-10 | 2021-03-11 | Nvidia Corporation | Machine-learning-based architecture search method for a neural network |
JP7292506B2 (ja) * | 2019-09-24 | 2023-06-16 | グーグル エルエルシー | 距離に基づく学習信頼度モデル |
EP4083866A4 (en) * | 2019-12-24 | 2024-04-03 | Aising Ltd. | DEVICE, METHOD AND PROGRAM FOR INFORMATION PROCESSING |
CN111114541B (zh) * | 2019-12-31 | 2021-08-20 | 华为技术有限公司 | 车辆控制方法、装置、控制器和智能车 |
US11941496B2 (en) * | 2020-03-19 | 2024-03-26 | International Business Machines Corporation | Providing predictions based on a prediction accuracy model using machine learning |
EP4136247A4 (en) * | 2020-04-15 | 2024-05-15 | CZ Biohub SF, LLC | LOCAL ANCESTOR INFERENCE WITH MACHINE LEARNING MODEL |
US11593714B2 (en) * | 2020-05-06 | 2023-02-28 | Citrix Systems, Inc. | Adaptive anomaly detector |
US10949907B1 (en) * | 2020-06-23 | 2021-03-16 | Price Technologies Inc. | Systems and methods for deep learning model based product matching using multi modal data |
US11687780B2 (en) | 2020-07-02 | 2023-06-27 | Samsung Electronics Co., Ltd | Method and apparatus for data efficient semantic segmentation |
WO2022036520A1 (en) * | 2020-08-17 | 2022-02-24 | Siemens Aktiengesellschaft | Method and apparatus for enhancing performance of machine learning classification task |
JP7466429B2 (ja) * | 2020-10-22 | 2024-04-12 | 株式会社日立製作所 | 計算機システム及び計画評価方法 |
US20220147680A1 (en) * | 2020-11-12 | 2022-05-12 | Samsung Electronics Co., Ltd. | Method for co-design of hardware and neural network architectures using coarse-to-fine search, two-phased block distillation and neural hardware predictor |
US11720962B2 (en) | 2020-11-24 | 2023-08-08 | Zestfinance, Inc. | Systems and methods for generating gradient-boosted models with improved fairness |
KR102307003B1 (ko) * | 2020-12-24 | 2021-10-01 | 주식회사 알고리즘랩스 | 프로그래밍 학습 가이드 방법 및 장치 |
EP4386661A1 (en) * | 2021-08-12 | 2024-06-19 | Sony Semiconductor Solutions Corporation | Behavior analysis device, behavior analysis method, behavior analysis program, imaging device and behavior analysis system |
US20230132070A1 (en) | 2021-10-27 | 2023-04-27 | International Business Machines Corporation | Features for black-box machine-learning models |
CN114494774A (zh) * | 2022-01-24 | 2022-05-13 | 腾讯科技(深圳)有限公司 | 一种图像分类方法、装置、电子设备及存储介质 |
CN117437459B (zh) * | 2023-10-08 | 2024-03-22 | 昆山市第一人民医院 | 基于决策网络实现用户膝关节髌骨软化状态分析方法 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05290013A (ja) * | 1992-04-06 | 1993-11-05 | Sharp Corp | ニューラルネットワーク演算装置 |
JPH09185394A (ja) * | 1995-12-28 | 1997-07-15 | Meidensha Corp | 離散単語音声認識システムにおける音素認識方法 |
US6728690B1 (en) * | 1999-11-23 | 2004-04-27 | Microsoft Corporation | Classification system trainer employing maximum margin back-propagation with probabilistic outputs |
US20020013664A1 (en) * | 2000-06-19 | 2002-01-31 | Jens Strackeljan | Rotating equipment diagnostic system and adaptive controller |
US6778705B2 (en) * | 2001-02-27 | 2004-08-17 | Koninklijke Philips Electronics N.V. | Classification of objects through model ensembles |
US7103219B2 (en) * | 2001-04-12 | 2006-09-05 | Eastman Kodak Company | Population mixture modeling with an indeterminate number of sub-populations |
US7233843B2 (en) | 2003-08-08 | 2007-06-19 | Electric Power Group, Llc | Real-time performance monitoring and management system |
US20050114278A1 (en) * | 2003-08-29 | 2005-05-26 | Mahesh Saptharishi | System and methods for incrementally augmenting a classifier |
US7890438B2 (en) | 2007-12-12 | 2011-02-15 | Xerox Corporation | Stacked generalization learning for document annotation |
US20090182538A1 (en) * | 2008-01-14 | 2009-07-16 | Fujitsu Limited | Multi-objective optimum design support device using mathematical process technique, its method and program |
US8655817B2 (en) | 2008-02-20 | 2014-02-18 | Digital Medical Experts Inc. | Expert system for determining patient treatment response |
US8315465B1 (en) | 2009-01-12 | 2012-11-20 | Google Inc. | Effective feature classification in images |
JP5079760B2 (ja) * | 2009-08-28 | 2012-11-21 | 日本電信電話株式会社 | 音響モデルパラメータ学習装置、音響モデルパラメータ学習方法、音響モデルパラメータ学習プログラム |
US8438009B2 (en) | 2009-10-22 | 2013-05-07 | National Research Council Of Canada | Text categorization based on co-classification learning from multilingual corpora |
US8369611B2 (en) * | 2010-04-22 | 2013-02-05 | Microsoft Corporation | Compact handwriting recognition |
US8554701B1 (en) | 2011-03-18 | 2013-10-08 | Amazon Technologies, Inc. | Determining sentiment of sentences from customer reviews |
US9060685B2 (en) | 2012-03-26 | 2015-06-23 | Nec Laboratories America, Inc. | Whole tissue classifier for histology biopsy slides |
CN104598972A (zh) * | 2015-01-22 | 2015-05-06 | 清华大学 | 一种大规模数据回归神经网络快速训练方法 |
CN104573731B (zh) * | 2015-02-06 | 2018-03-23 | 厦门大学 | 基于卷积神经网络的快速目标检测方法 |
-
2015
- 2015-09-23 US US14/863,410 patent/US10332028B2/en active Active
-
2016
- 2016-08-11 EP EP16753803.2A patent/EP3341894A1/en active Pending
- 2016-08-11 JP JP2018510504A patent/JP6862426B2/ja active Active
- 2016-08-11 CN CN201680048630.3A patent/CN108027899B/zh active Active
- 2016-08-11 KR KR1020187005492A patent/KR20180044295A/ko active Search and Examination
- 2016-08-11 WO PCT/US2016/046576 patent/WO2017034820A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP2018529159A (ja) | 2018-10-04 |
EP3341894A1 (en) | 2018-07-04 |
KR20180044295A (ko) | 2018-05-02 |
WO2017034820A1 (en) | 2017-03-02 |
BR112018003434A2 (pt) | 2018-09-25 |
US20170061326A1 (en) | 2017-03-02 |
CN108027899A (zh) | 2018-05-11 |
US10332028B2 (en) | 2019-06-25 |
JP6862426B2 (ja) | 2021-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108027899B (zh) | 用于提高经训练的机器学习模型的性能的方法 | |
CN107533669B (zh) | 滤波器特异性作为用于神经网络的训练准则 | |
CN107209873B (zh) | 用于深度卷积网络的超参数选择 | |
KR102595399B1 (ko) | 미지의 클래스들의 검출 및 미지의 클래스들에 대한 분류기들의 초기화 | |
CN108431826B (zh) | 自动检测视频图像中的对象 | |
CN107851213B (zh) | 神经网络中的转移学习 | |
CA2993011C (en) | Enforced sparsity for classification | |
CN107646116B (zh) | 用于定点神经网络的位宽选择 | |
US10019631B2 (en) | Adapting to appearance variations when tracking a target object in video sequence | |
CN107430705B (zh) | 用于重新训练分类器的样本选择 | |
US20170032247A1 (en) | Media classification | |
US20160283864A1 (en) | Sequential image sampling and storage of fine-tuned features | |
EP4360062A1 (en) | Network for interacted object localization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |