CN108780519A - 卷积神经网络中的结构学习 - Google Patents
卷积神经网络中的结构学习 Download PDFInfo
- Publication number
- CN108780519A CN108780519A CN201780016251.0A CN201780016251A CN108780519A CN 108780519 A CN108780519 A CN 108780519A CN 201780016251 A CN201780016251 A CN 201780016251A CN 108780519 A CN108780519 A CN 108780519A
- Authority
- CN
- China
- Prior art keywords
- layer
- network
- neural network
- method described
- expert
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013527 convolutional neural network Methods 0.000 title description 6
- 238000000034 method Methods 0.000 claims abstract description 74
- 238000013528 artificial neural network Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims description 22
- 230000011218 segmentation Effects 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 11
- 230000015654 memory Effects 0.000 claims description 9
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 210000004218 nerve net Anatomy 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims 1
- 230000002708 enhancing effect Effects 0.000 claims 1
- 239000010410 layer Substances 0.000 description 106
- 238000003860 storage Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 21
- 238000004364 calculation method Methods 0.000 description 13
- 241001465754 Metazoa Species 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000001537 neural effect Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 235000021170 buffet Nutrition 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 108020001568 subdomains Proteins 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000571 coke Substances 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 208000016339 iris pattern Diseases 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000008555 neuronal activation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000007474 system interaction Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19173—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种通过利用网络旨在解决的数据/问题中的相关性来实现神经网络的结构学习的改进方法。描述了一种贪婪的方法,该方法从底部卷积层一直到完全连接的层找到信息增益的瓶颈。不是简单地使架构更深,而是仅在需要时添加附加的计算和电容。
Description
技术领域
本公开涉及计算网络,更具体地,涉及被配置为从数据学习分层表示的神经网络。
背景技术
神经网络涉及仿照可用于解决复杂计算问题的生物脑部处理的神经结构宽松建模的计算方法。神经网络通常被组织作为一组层,其中每层包括包含各种功能的互连节点的组。加权连接实现在网络内处理的功能,以执行各种分析操作。可以采用学习方法来构建和修改网络和网络内的连接器的相关权重。通过修改连接器权重,这允许网络随着时间的推移从过去的分析中学习,以改善未来的分析结果。
可以采用神经网络来执行任何适当类型的数据分析,但是特别适合应用于复杂的分析任务,诸如图案分析和分类。因此,这些技术的直接应用适合于例如实现机器视觉功能,诸如从数字成像设备捕捉的图像数据对特定对象和对象种类进行辨别和分类。
本领域中已知有许多类型的神经网络。深度神经网络是这样的一类神经网络,其中应用深度学习技术来实现非线性处理的多层级联(cascade)以执行分析功能。深度学习算法通过比浅层学习算法更多的层来变换输入。在每一层,信号由诸如人工神经元的处理单元变换,该处理单元的参数通过训练而学习。
卷积神经网络是这样的一类神经网络,其中网络中的连接模式受到生物视觉皮层功能的启发。通过网络构建视场,其中个体人工神经元对输入刺激的响应可以通过卷积运算在数学进行近似。
在现有技术中已经实现了卷积深度神经网络。LeNet(LeCun等,(1998))、AlexNet(Krizhevsky等,(2012))、GoogLeNet(Szegedy等,(2015))和VGGNet(Simonyan&Zisserman,(2015))都是实现不同类型的深度神经网络的ConvNet架构的示例。这些模型是完全不同的(例如,不同的深度、宽度和激活函数)。然而,这些模型在一个关键方面都是相同的—每一个都是手工设计的结构,体现了建筑师对于手头的问题的见解。
这些网络遵循相对简单的配方,从卷积层开始,该卷积层学***特征或其某些表示。后面的层对诸如对象部分(脸部、汽车等的部分)的更高水平的特征进行编码。最后,在顶部,存在返回关于种类的概率分布。虽然这种方法在标签空间中为由受训练的网络产生的输出提供了一些结构,但问题是当设计和训练这些网络时很少使用这种结构。
已经提出了概率图形模型中的结构学习,其中用于深度卷积网络中的结构学习的常规算法通常落在以下两类中的一者中:使网络更小的那些和使网络更好的那些。一种提出的方法致力于采用难以控制的预训练网络并将其压缩到具有较小内存占用的网络中,因此需要较少的计算资源。这类技术遵循“师生”范式,其目标是创建一个模仿教师的学生网络。这意味着需要开始于Oracle架构及其学习的权重—训练学生只能在稍后进行。当在非常大的数据集上提取专家(specialist)集合时,必须首先执行计算上昂贵的集合训练步骤。
Feng等的“学习深度卷积网络的结构”是用于自动学习深度模型的结构的方面的技术的示例。该方法使用印度自助餐过程(Indian Buffet Process)来提出新的卷积神经网络模型以识别结构,其中在确定结构之后,执行修剪以创建网络的更紧凑的表示。然而,这种方法的一个缺点是层的数量保持静态,其中只有静态数量的层内的已知单个层通过结构学习方法被增强(augment)为或多或少的复杂。因此,该方法无法识别优化结构可能需要的任何新层。
因此,需要一种改进的方法来实现卷积神经网络的结构学习。
发明内容
本发明的一些实施例涉及实现神经网络的结构学习的改进方法。该方法从网络开始,为网络提供具有标记数据的问题,然后检查该网络产生的输出结构。然后修改网络的架构以获得针对特定问题的更好的解决方案。这种方法不是让专家提出高度复杂和特定于域的网络架构,而是允许数据驱动将用于特定任务的网络架构。
根据一些实施例,可以通过以下方式来改进神经网络:(a)识别其结构中的信息增益瓶颈、(b)应用预测的结构以缓解瓶颈、以及最后(c)确定专家路径的深度。
一些实施例通过利用网络旨在解决的数据/问题中的相关性来实现神经网络的结构学***的细节。以这种方式,通过添加新层来改进模型,所述新层将直接处理与网络的其他部分相比被特别地识别作为次优的分类区域。同样的方法继续通过模型的其余部分来识别应该被修改和/或增强的任何附加层。
在某些实施例中,在网络的每个层处包括“损失”机制(例如,损失层、损失函数和/或成本函数)。代替仅具有单个顶级损失层,将附加的损失层添加到网络内的其他层,例如,深度神经网络在特征提取的中间和最后阶段具有多个损失层,其中每个损失层可以测量到达深度的那个点的网络的性能。可以在每个损失层处生成预测并将其转换为相应的混淆矩阵,形成包含网络的所有混淆矩阵的张量T。通过分析T的结构及其要素,目的是在深度和宽度(breadth)方面修改和增强网络的现存结构。为了一方面最大化功能共享并减少计算,另一方面提高准确性,目的是重构现存网络的结构。为此,该方法根据当前表现划分(partition)网络的深度和宽度。因此,在一些实施例中,例如通过计算不同层之间的点积来执行垂直分割。为了在深度上划分架构,一些实施例比较与相邻层处的连续损失函数估计对应的相邻子空间。另外,例如通过执行K路分叉(Bifurcation)来执行水平分割。为了改善特定层的网络性能,其结构(例如,完全卷积的)可能需要增强。网络的一部分聚焦于一般知识(通才),而另一些则聚焦于于彼此之间具有高度相似性的小子集标签(专家)。由层i获取的知识将用于执行网络的第一水平划分。处理继续(例如,以递归方式),直到到达网络的顶部。此时,最终模型被存储到计算机可读介质中。
一些实施例涉及专家的深度学习。虽然已知通才的结构在一般知识上表现良好,但不能保证这种相同的结构在专家的任务可能需要更简单或复杂的表示的专家中表现良好。一些实施例允许每个专家的结构以数据驱动的方式经由深度式分割而偏离通才的结构。
可以在可选实施例中应用这些技术的其他变型。例如,对于每对分割(垂直或水平),可以重新训练网络以在给定路径处进行分类。可以在某些实施例中应用诸如通过凝聚聚类和/或分割技术以使该过程加速和/或完全避免它。此外,给定混淆矩阵Ci及其划分K,可以对Ci的K个部分中的每一个执行凝聚聚类以估计进一步的分割。这导致成本Xu。成本Xs是监督分组的成本,在网络的高级别处学习新的混淆矩阵。Xu小于或等于Xs+Tau,其中Tau是聚类误差的上限。
在一些实施例中,考虑卷积层对于完全连接(1x1卷积)的变化。如果在卷积层(甚至是完全卷积层,诸如在语义分割的情况下)之间需要分割,则不是改变层的线性尺寸(在这种情况下为fc),而是可以改变维度的深度以反映种类的数量(这是对FCN的扩展)。
可以使用每个路径的塌陷(collapse)或附加或垂直层、根据标签空间(labelspace)改变层的尺寸、和/或对检测和RNN的扩展(通过比较混淆以相同的方式展开)来产生进一步的变型和实施例。
在又一个实施例中,在网络中可能存在太多层时,可以应用技术来识别,使得更少的层将对所需的处理任务是足够的。如上所述,可以可靠地向网络添加深度,并在给定足够的训练数据的情况下看到性能的改善。然而,这种性能的添加提升可能会导致FLOP和内存消耗成本增加。在一些实施例中,牢记该折衷,通过使用全有或全无(all-or-nothing)高速公路网络来对网络进行优化,该全有或全无高速公路网络通过二元决策(binarydecision)来学习网络中的给定计算层是否被使用。如果使用给定的计算块,则会产生惩罚。通过改变这个惩罚项,可以考虑使用目标架构来定制学习方法:嵌入式***更喜欢比基于云的***更精简的架构。
以下在说明书、附图和权利要求中描述了本发明的方面、目的和优点的进一步的细节。前面的一般性描述和下面的详细描述都是示例性和说明性的,并不意图限制本发明的范围。
附图说明
附图示出了本发明的各种实施例的设计和实用性。应该注意的是,附图未按比例绘制,并且在所有附图中相似结构或功能的元件由相同的附图标记表示。为了更好地理解如何获得本发明的各种实施例的上述和其他优点和目的,将通过参考其特定实施例来呈现上面简要描述的本发明的更详细描述。应理解,这些附图仅描绘了本发明的典型实施例,因此不应认为是对其范围的限制,本发明将通过使用附图的附加特征和细节进行描述和说明,其中:
图1示出了可以在本发明的一些实施例中采用以实现关于神经网络的结构学习的示例***。
图2示出了根据本发明的一些实施例的实现关于神经网络的结构学习的方法的流程图。
图3示出了根据一些实施例的实现关于神经网络的结构学习的方法的更详细的流程图。
图4A-4F示出了本发明的各种实施例。
图5A-5B示出了在网络可能存在太多层时进行识别的方法。
图6A-6D示出了各种实施例的一般AR***组件选项。
图7描绘了可以在其上实现本发明的一些实施例的计算机化***。
具体实施方式
本发明的一些实施例涉及实现关于神经网络的结构学习的改进方法。该方法从网络开始,为网络提供具有标记数据的问题,然后检查该网络产生的输出结构。然后修改网络的架构以获得针对特定问题的更好的解决方案。这种方法不是让专家提出高度复杂和特定于域的网络架构,而是允许数据驱动将用于特定任务的网络架构。
图1示出了可以在本发明的一些实施例中采用以实现关于神经网络的结构学***台的远程计算终端。计算***可以包括一个或多个输入设备,用于用户提供对***活动的操作控制,诸如鼠标或键盘以操纵指向对象。计算***还可以与显示设备相关联,诸如显示监视器,用于到计算***的用户的控制接口和/或分析结果。
在一些实施例中,该***用于实现计算机视觉功能。这样,***可以包括一个或多个诸如相机103的图像捕捉设备以捕捉***操作的环境中的一个或多个对象105的图像数据101。图像数据101和/或任何分析结果(例如,分类输出数据113)可以存储在一个或多个计算机可读存储介质中。计算机可读存储介质包括允许随时访问位于计算机可读存储介质上的数据的硬件和/或软件的任何组合。例如,计算机可读存储介质可以实现为由操作***可操作地管理的计算机存储器和/或硬盘驱动器存储、和/或网络化存储设备中的远程存储,该远程存储诸如网络化连接存储(NAS)、存储区域网络(SAN)或云存储。计算机可读存储介质还可以实现为具有在持久存储和/或非持久存储上的存储的电子数据库***。
神经网络计算设备107包括结构学习模块109,以将原始模型1修改为改进的模型n,其中模型n是可能的多个迭代过程的结果,以修改模型内的层。模型n优选地包括知识的深度和宽度,基本上是专家的混合。该模型应该理解粗种类之间的差异,同时理解跨各种域的细致种类的差异。为实现这些目标,必要时将新专家层111添加到模型中。这种***的设计由仅在需要时添加资源的约束控制。简单地通过使网络任意地更深和更宽来扩展网络因计算约束而不能实现缩放(scale),因此本方法避免了对额外的规范化技巧的需要。
图2示出了根据本发明的一些实施例的实现关于神经网络的结构学习的方法的流程图。本方法通过利用网络旨在解决的数据/问题中的相关性来实现神经网络的结构学习。描述了一种贪婪的方法,该方法从底部卷积层一直到完全连接的层找到信息增益的瓶颈。不是仅简单地任意地使架构更深,而是仅在需要时添加附加的计算和电容。
在131处,在初始时间点创建网络。可以使用任何合适的方法来创建网络。例如,可以使用常规的Alexnet或Googlenet方法来生成网络。
接下来,在133处,当应用于指定任务时,例如,执行图像辨别/对象分类任务,从网络生成一组输出。例如,假设许多人和动物在环境中,以及所分配的任务是分析图像数据以对可在环境中观察到的不同人和动物类型进行分类。模型的每一层都为该层内执行的活动提供某些输出。输出具有某些结构,可以对其进行检查以确定正在解决的分类问题中的种类之间的关系。
在135处,分析网络模型内的各个层以识别模型内的最差表现层。例如,假设具有十层的模型,其中来自层1至层3和层5至10的层各自提供10%的分类准确性的改进,但层4仅提供1%的改进。在这种情况下,层4将被识别为最差表现层。
接下来,在137处,将附加结构注入模型中以改善模型的性能。特别地,在识别的垂直位置处将新专家层***到模型中以增强模型的性能。
为了解释本发明实施例的这个方面,假设该模型旨在执行如图4A所示的环境中的人和动物的分类。这里,图像捕捉设备捕捉不同人(例如,女人401、男人403和孩子405)的图像。另外,环境包括多个动物(例如,猫407、狗409和鼠411)。进一步假设现有模型能够成功地将人(401、403、405)与动物(407、409、411)区分开,但似乎更难以将不同的人彼此区分或将不同类型的动物彼此区分。如果对能够从网络(例如,Oracle网络)学习的实际结构进行检查,则显然网络包括正在进行的预测之间的学习依赖性。然而,在传统的深度学习架构设计中,没有使用这一点。如果更接近观察这种结构,***明显正在学习实际上在视觉上彼此相似的概念(concept)。参考图4B,示出了3D种类的示例散点图,以示出关于完全训练的AlexNet的预测的示例结构,该完全训练的AlexNet被聚类成多个组。点之间的距离对应于概念之间的视觉相似性。这里,可以看出,存在关于人物对象的点的第一紧密聚类和关于动物对象的点的第二紧密聚类。正是这种现象可能导致模型难以区分一个人与另一个人或一个动物与另一动物。
在本发明的一些实施例中的这种情况下,不是仅具有一个通用路径来对所有这些类型的对象执行分类,而是可以添加第一新专家层以仅用于解决人的分类以及可以添加第二新专家层以仅用于解决动物的分类。因此,一个专家(人物专家层)将被分配来处理图4B中的图表的部分413的数据,而第二专家(动物专家层)将被分配来处理图4B中的部分415的数据。通过采取这一动作,随着时间的推移,这些专业组件中的每一个都对其专业的专用领域非常了解,因为专家被迫学***。以这种方式,通过添加新层来改进模型,所述新层将直接解决与网络的其他部分相比被特别地识别作为次优的分类区域。
该相同过程继续通过模型的其余部分以识别应该被修改和/或增强的任何附加层。因此,在139处做出处理是否已到达网络的顶部的确定。如果是,则在141处完成模型。如果不是,则该过程返回到133以继续该过程,直到到达网络的顶部。
可以采用该方法来修改和改进任何现有的卷积神经网络的架构。通过遵循本公开的发明方法,可以通过以下方式改进任何神经网络:(a)识别其结构中的信息增益瓶颈、(b)应用预测的结构以缓解瓶颈、以及最后(c)确定专家路径的深度。
图3示出了根据一些实施例的实现关于神经网络的结构学习的方法的更详细的流程图。出于该流程的目的,假设已经根据诸如Alexnet或Googlenet的任何合适的方法创建了网络(例如,单片网络)。
在151处,在网络的每个层处包括“损失”机制(例如,损失层、损失函数和/或成本函数)。损失机制对应于函数,该函数将事件或值映射到与神经网络内的处理相关联的成本或误差值的表示。如图4C所示,不是仅具有单个顶级损失层421,而是将附加的损失层423添加到网络内的其他层。因此,该图显示了在特征提取的中间和最后阶段具有多个损失层的深度神经网络的示例,其中每个损失层测量直到该深度点的网络的性能。回想一下,目标是通过修改其架构以最好地适应任务来增强和修改网络架构以尽可能地解决给定的问题。因此,该方法分析在整个网络中的各个损失层处形成的预测,并基于各个损失层之间的混淆对神经元激活进行分组。
如图4D和4E所示,在每个损失层处生成预测并将其转换为相应的混淆矩阵(如图4D所示),形成包含网络的所有混淆矩阵的张量T,该网络例如Oracle网络(如图4E所示)。通过分析T及其要素的结构,目的是在深度和宽度方面修改和增强网络的现存结构。
为了说明,让Ci作为种类和损失层i的混淆矩阵,然后:
其中Ai是损失层i的相关度(affinity)矩阵,Di是对角矩阵,Li是图表Laplacian,以及是由Ci产生的相关度矩阵的图表拉普拉斯算子(Laplacian)的前导特征向量所跨越的子空间。因此,张量:
一方面为了最大化特征共享并减少计算,另一方面又为了提高准确性,目的是重构现存网络的结构。为此,该方法根据当前性能划分网络的深度和宽度。
因此,在153处,例如通过计算不同层之间的点积来执行垂直分割。为了在深度上划分架构,一些实施例使用以下等式比较与相邻层处的连续损失函数估计对应的相邻子空间:
这里,和表示在水平i和i+1处的损失函数的混淆矩阵的近似前导特征向量,表示Frobenius范数。形式上,和表示NE维子空间,Φ(i,i+1)是它们之间的归一化互补角。值得注意的是,这个度量Φ仅取决于和列所跨越的子空间,因此对于特征向量的旋转,度量Φ是不变的。此外,Φ被约束在[0,1]内,其中如果Φ(i,i+1)接近于零以及当Φ(i,i+1)是正交的时Φ(i,i+1)恰好为1,则i和i+1的结构中被认为是相似的。为了构建尺度空间水平之间的完全相似的关系,使用Φ比较所有相邻的损失层对。利用已建立的相似关系,现在可以解决划分单片网络体系结构的问题。
令φ是i和i+1的所有连续对的向量,其中φi=Φ(i,i+1)。最接近零的φi的值表示层i和i+1之间的最低信息增益。因此,argmin(φ)是单片架构的最佳初始分割。在深度上分割架构有助于特征共享,同时识别冗余点(零信息增益)。
在155处,例如通过执行K路分支来执行水平分割。为了改进特定层的网络性能,其结构(例如,完全卷积)可能需要增强。网络的一部分聚焦于一般知识(通才),而另一些则聚焦于彼此之间具有高度相似性的小子集标签(专家)。由层i获取的知识将用于执行网络的第一水平划分。
形式上,给定Ci,如上所述,根据每个等式(1)、(2)和(3)计算Li。通过分析图表拉普拉斯算子Li的前导特征值来确定特征间隙(Eigengap),以确定新路径(专家)的数量。原始数据被投射到Li的顶部N个前导特征向量上;在RN中,数据进一步聚类为k个种类,其中k等于特征间隙。在图4B中示出了这种投影和分组的示例。该过程将导致如图4F所示的架构的修改,其示出了在第一分割之后的网络407。
一旦建立了第一分割,则将所有新路径视为原始网络。应用分割过程,直到不再分割标签或达到100%的准确度。
在157处,上述处理继续(例如,以递归方式)直到到达网络的顶部。此时,最终模型存储在计算机可读介质中。
本公开的该部分涉及专家的深度学习。虽然已知通才的结构在一般知识上表现良好,但不能保证这种相同的结构在专家的任务可能需要更简单或复杂的表示的专家中表现良好。一些实施例允许每个专家的结构以数据驱动的方式经由深度式分割而偏离通才的结构。
考虑到进一步分割,令L={L1,L2,...,Ln}为一组完全连接的层。L中的层Li被认为是产生输出y。可以将其应用于其输入的变换写为y=σ(f(x)),其中σ()应用非线性,诸如ReLU和f(x)=Wx,其中W是学习的维度权重矩阵MxN,x是到具有Nx1维度的该层的输入。为了执行分割,该方法将Li的变换分解为y=σ1(g(σ2(h(x))),其中σ1()和σ2()是激活函数,g(x)=W1x,h(x)=W2x,其中W1具有NxN的维度,W2具有MxN的维度。该方法选择:
σ1(x)=σ(x) (6)
σ2(x)=Ix (8)
这里,W=UΣVT是W的SVD因式分解,I是单位矩阵。通过这种改变,层Li的变换不变。为了增加Li的学***滑机制。
给定层组L,可以独立地将上述策略应用于每个层Li,并且贪婪地选择提供训练损失的最佳改进的分割。该过程可以递归地重复到我们的层组Lnew={L1,L2,...,Ln,Ln+1}。
可以在可选实施例中应用这些技术的其他变型。例如,对于每对分割(垂直或水平),可以重新训练网络以在给定路径处进行分类。可以在某些实施例中诸如通过凝聚聚类和/或分割应用技术以使其加速和/或完全避免它。此外,给定混淆矩阵Ci及其划分K,可以对Ci的K个部分中的每一个执行凝聚聚类以估计进一步的分割。这导致成本Xu。成本Xs是监督分组的成本,在网络的高水平上学习新的混淆矩阵。Xu小于或等于Xs+Tau,其中Tau是聚类错误的上限。
在一些实施例中,考虑卷积层对于完全连接(1x1卷积)的变化。如果在卷积层(甚至是完全卷积层,诸如在语义分割的情况下)之间需要分割,则不是改变层的线性尺寸(在这种情况下为fc),而是可以改变尺寸的深度以反映种类的数量(这是FCN的扩展)。
可以使用每个路径的塌陷或添加或垂直层、根据标签空间改变层的尺寸、和/或对检测和RNN的扩展(通过比较混淆以相同的方式展开)来产生进一步的变型和实施例。
在又一个实施例中,在网络中可能存在太多层时,可以应用技术来识别,使得更少的层将对所需的处理任务是足够的。如上所述,可以可靠地向网络添加深度,并在给定足够的训练数据的情况下看到性能的改进。然而,这种性能的添加提升可能会导致FLOP和内存消耗成本增加。在一些实施例中,牢记该折衷,通过使用全有或全无高速公路网络来对网络进行优化,该全有或全无高速公路网络通过二元决策来学习网络中的给定计算层是否被使用。如果使用给定的计算块,则会产生惩罚。通过改变这个惩罚项,可以考虑使用目标架构来定制学习方法:嵌入式***更喜欢比基于云的***更精简的架构。
该实施例所解决的问题是确定在关于给定问题X给定计算预算的情况下使网络多深。通过使用全有或全无高速公路网络的方法,高速公路网络引入混合矩阵来学习如何在与当前计算块的输出混合之前变换自前一层的跳跃连接(skip connection)。考虑以下等式:
y=F(x,Wi)+Wsx (10)
残差(residual)网络可以在使用恒等映射(identity mapping)来组合跳跃连接方面找到成功。虽然恒等映射不太具有代表性,但它更有效,更容易优化:
y=F(x,Wi)+x (11)
替代地,当前的方法通过单个标量α来参数化混合矩阵,该标量α对计算块的输出进行选通(参见图5A):
y=αF(x,Wi)+x (12)
当α=0时,y=x并且输入简单地传递到输出。当α=1时,(eqn 12)变为(eqn 10)并且残差单元用于计算。
图5A示出了关于具有全有或全无高速公路连接的网络的图表501。在该图中,计算块被馈入输入,然后通过残差连接(元素级加法(elementwise addition))结合(join)。在加法之前,计算块的输出由学习参数α缩放,该学习参数α惩罚该计算块的使用。这种损失描述如下。
执行学习以确定是否使用计算块。期望在α参数上施加先验(prior),α参数控制深层网络中给定层的行为,并且与模型参数及其目标函数一起优化该参数。在训练期间,期望鼓励关于α的二元决策,以独立地为每个深度选择0或1。如果计算块被学习以被跳过,则可以在推断时间处简单地从模型中移除该计算块。
在残差网络中,连续层通常具有小映射,其中所学***滑损失函数,该α参数在不同深度处对计算块的输出进行选通。
另外,期望对α参数上的损失函数进行参数化,使得对于不同的场景,对使用更多计算的模型分配更高的惩罚。在诸如智能手机的轻型嵌入式平台的情况下,人们可能希望在选择层时受到高惩罚。在云计算平台的情况下,可能不需要使用计算块的这种惩罚。给定这些标准,可以使用图5B中所示的分片式平滑多项式/线性函数,其可以通过以下过程被参数化:
if x<0.:
y=(np.absolute(x)*self.steepness)
elif x>1.:
y=(x-1.)*self.steepness++self.peak*0.125
elif x<0.5:
y=-self.peak*(x**2.-x)
else:
y=-self.peak/2.*(x**2.-x)+self.peak*0.125
对于图5B中所示的峰的各种选择,给予模型变化的使用惩罚。
增强现实和计算***架构
上述技术特别适用于虚拟现实和增强现实***的机器视觉应用。本发明的神经网络分类装置可以独立于AR***来实现,但是仅出于示例性目的,下面的许多实施例关于AR***进行描述。
公开了用于各种计算机***的分类和辨别的装置、方法和***。在一个实施例中,计算机***可以是头戴式***,其被配置为便于用户与各种其他计算机***(例如,金融计算机***)交互。在其他实施例中,计算机***可以是固定装置(例如,商家终端或ATM),其被配置为便于用户进行金融交易。下面将在AR***(例如,头戴式)的背景下描述各种实施例,但是应当理解,本文公开的实施例可以独立于任何现有和/或已知的AR***使用。
现在参考图6A-6D,根据各种实施例示出了一些一般的AR***组件选项。应该理解的是,尽管图6A-6D的实施例示出了头戴式显示器,相同的组件也可以包含在固定的计算机***中,不应将图6A-6D视为限制。
如图6A所示,头戴式装置用户60被描绘为佩戴框架64结构,框架64结构耦接到位于用户60眼睛前方的显示***62。根据所需的安全水平,框架64可以永久地或临时地耦接到一个或多个用户识别(identification)特定子***。扬声器66可以被耦接到所描绘的配置中的框架64并且位于用户60的耳道附近。在可选的实施例中,另一扬声器(未示出)位于用户60的另一耳道附近以提供立体声/可塑形声音控制。在一个或多个实施例中,用户识别装置可以具有显示器62,该显示器62可操作地(诸如通过有线引线或无线连接)被耦接到本地处理和数据模块70,本地处理和数据模块70可以以各种配置安装,诸如被固定地附到框架64上、被固定地附到如图6B描绘的实施例所示的头盔或帽子80上、被嵌入头戴耳机内、可拆卸地附到如图6C描绘的实施例所示的以背包式配置的用户60的躯干82、或可拆卸地附到如图6D描绘的实施例所示的以带耦接式配置的用户60的臀部84。
本地处理和数据模块70可以包括功率有效的处理器或控制器以及诸如闪速存储器的数字存储器,这两者都可用于辅助处理、高速缓存和存储数据。可从可以可操作地耦接到框架64的传感器捕捉该数据,所述传感器诸如为图像捕捉设备(诸如相机)、麦克风、惯性测量单元、加速度计、罗盘、GPS单元、无线电设备和/或陀螺仪。可选地或另外地,可以使用远程处理模块72和/或远程数据储存库74而被获取和/或处理该数据,这些数据可以在这样的处理或检索之后被传送到显示器62。本地处理和数据模块70可以诸如经由有线或无线通信链路可操作地耦接76、78到远程处理模块72和远程数据储存库74,使得这些远程模块72、74可操作地彼此耦接并且可用作本地处理和数据模块70的资源。
在一个实施例中,远程处理模块72可以包括一个或多个相对强大的处理器或控制器,这些处理器或控制器被配置为分析和处理数据和/或图像信息。在一个实施例中,远程数据储存库74可以包括相对大尺寸的数字数据存储设施,该设施可以通过因特网或“云”资源配置中的其它网络配置而可用。在一个实施例中,在本地处理和数据模块中存储所有数据并且执行所有计算,从而允许从任何远程模块完全自主的使用。
在一些实施例中,类似于图6A-6D所描述的那些的识别装置(或具有识别应用的AR***)提供了对用户眼睛的唯一(unique)访问。假定识别/AR设备与用户的眼睛重要地(crucially)交互以允许用户感知3D虚拟内容,并且在许多实施例中,跟踪与用户眼睛相关的各种生物特征(例如,虹膜图案、眼睛聚散度、眼睛运动、锥体和杆(rod)的图案、眼睛运动的图案等),所得到的跟踪数据可以有利地用于识别应用中。因此,这种对用户眼睛的前所未有的访问自然适用于各种识别应用。
图7是适合于实现本发明的实施例的示例性计算***1400的框图。计算机***1400包括总线1406或用于通信信息的其他通信机制,其使子***和设备互连,诸如处理器1407、***存储器1408(例如,RAM)、静态存储设备1409(例如,ROM)、磁盘驱动器1410(例如,磁的或光的)、通信接口1414(例如,调制解调器或以太网卡)、显示器1411(例如,CRT或LCD)、输入装置1412(例如,键盘)和光标控制。
根据本发明的一个实施例,计算机***1400通过处理器1407来执行特定操作,该处理器1407执行包含在***存储器1408中的一个或多个指令的一个或多个序列。可以从诸如静态存储设备1409或磁盘驱动器1410的另一计算机可读/可用介质将这些指令读入到***存储器1408中。在可选实施例中,可以使用硬连线电路代替软件指令或与软件指令组合以实现本发明。因此,本发明的实施例不限于硬件电路和/或软件的任何特定组合。在一个实施例中,术语“逻辑”应表示用于实现本发明的全部或部分的软件或硬件的任何组合。
本文使用的术语“计算机可读介质”或“计算机可用介质”是指参与向处理器1407提供指令以供执行的任何介质。这种介质可以采用许多形式,包括但不限于非易失性介质和易失性介质。非易失性介质包括例如光盘或磁盘,诸如磁盘驱动器1410。易失性介质包括动态存储器,诸如***存储器1408。
计算机可读介质的常见形式包括例如软盘、柔性盘、硬盘、磁带、任何其他磁介质、CD-ROM、任何其他光学介质、穿孔卡片、纸带、任何其他具有孔的物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其他存储器芯片或磁带盒、或计算机可以读取的任何其他介质。
在本发明的实施例中,执行指令序列以实践本发明是由单个计算机***1400执行。根据本发明的其他实施例,通过通信链路1415(例如,LAN、PTSN或无线网络)耦接的两个或更多个计算机***1400可以彼此协调地执行实践本发明所需的指令序列。
计算机***1400可以通过通信链路1415和通信接口1414发送和接收消息、数据和包括程序(例如,应用代码)的指令。接收的程序代码可以在接收时由处理器1407执行、和/或存储在磁盘驱动器1410或其他非易失性存储中以供稍后执行。计算机***1400可以通过数据接口1433与外部存储设备1431上的数据库1432通信。
在前述说明书中,已经参考其特定实施例描述了本发明。然而,显而易见的是,在不脱离本发明的更广泛的精神和范围的情况下,可以对其进行各种变型和改变。例如,参考方法动作的特定顺序来描述上述方法流程。然而,可以改变许多所描述的方法动作的顺序而不影响本发明的范围或操作。因此,说明书和附图应被视为示例性的而非限制性意义的。
Claims (14)
1.一种用处理器实现的方法,包括:
创建神经网络;
从所述神经网络生成输出;
从所述神经网络识别低表现层;
在所述低表现层处***新专家层;以及
重复直到到达所述神经网络的顶部。
2.根据权利要求1所述的方法,其中更新的模型包括多个新专家层和至少一个通才层。
3.根据权利要求1所述的方法,其中所述新专家层聚焦于与由另一专家层处理的子域不同的特定数据子域。
4.根据权利要求1所述的方法,其中将多个损失层添加到所述神经网络。
5.根据权利要求4所述的方法,其中将所述多个损失层添加到所述神经网络的每个层。
6.根据权利要求4所述的方法,其中预测在每个损失层处被生成并被转换为一个或多个混淆矩阵,形成具有关于所述神经网络的所述一个或多个混淆矩阵的全部的张量T。
7.根据权利要求6所述的方法,其中分析T的结构以在深度和宽度方面修改和增强所述神经网络的现存结构。
8.根据权利要求1所述的方法,其中所述神经网络经历垂直分割和水平分割。
9.根据权利要求8所述的方法,其中执行K路分支以实现所述水平分割。
10.根据权利要求1所述的方法,其中所述网络的每个层被独立地处理,以及给定层通过执行贪婪选择来经历分割以分割提供关于训练损失的最佳改进的层。
11.根据权利要求1所述的方法,其中采用全有或全无高速公路网络来识别所述神经网络中的要被移除的层。
12.根据权利要求1所述的方法,其中所述神经网络用于对为虚拟现实或增强现实***捕捉的图像进行分类。
13.一种***,包括:
处理器;
用于保持可编程代码的存储器;以及
其中可编程代码包括用于执行方法1-12中任何一个的指令。
14.一种体现在计算机可读介质上的计算机程序产品,所述计算机可读介质上存储有指令序列,当处理器执行所述指令序列时,所述指令序列使所述处理器执行方法1-12中的任何一项。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210954415.7A CN115345278A (zh) | 2016-03-11 | 2017-03-13 | 卷积神经网络的结构学习 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662307071P | 2016-03-11 | 2016-03-11 | |
US62/307,071 | 2016-03-11 | ||
PCT/US2017/022206 WO2017156547A1 (en) | 2016-03-11 | 2017-03-13 | Structure learning in convolutional neural networks |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210954415.7A Division CN115345278A (zh) | 2016-03-11 | 2017-03-13 | 卷积神经网络的结构学习 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108780519A true CN108780519A (zh) | 2018-11-09 |
CN108780519B CN108780519B (zh) | 2022-09-02 |
Family
ID=59786882
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210954415.7A Pending CN115345278A (zh) | 2016-03-11 | 2017-03-13 | 卷积神经网络的结构学习 |
CN201780016251.0A Active CN108780519B (zh) | 2016-03-11 | 2017-03-13 | 卷积神经网络的结构学习 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210954415.7A Pending CN115345278A (zh) | 2016-03-11 | 2017-03-13 | 卷积神经网络的结构学习 |
Country Status (9)
Country | Link |
---|---|
US (3) | US10255529B2 (zh) |
EP (1) | EP3427192A4 (zh) |
JP (2) | JP6889728B2 (zh) |
KR (2) | KR20200035499A (zh) |
CN (2) | CN115345278A (zh) |
AU (2) | AU2017230184B2 (zh) |
CA (1) | CA3015658A1 (zh) |
IL (1) | IL261245A (zh) |
WO (1) | WO2017156547A1 (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109274625A (zh) * | 2018-11-12 | 2019-01-25 | 北京邮电大学 | 一种信息调制方式确定方法、装置、电子设备及存储介质 |
CN109829443A (zh) * | 2019-02-23 | 2019-05-31 | 重庆邮电大学 | 基于图像增强与3d卷积神经网络的视频行为识别方法 |
CN110633797A (zh) * | 2019-09-11 | 2019-12-31 | 北京百度网讯科技有限公司 | 网络模型结构的搜索方法、装置以及电子设备 |
CN111754471A (zh) * | 2020-06-12 | 2020-10-09 | 中国科学院地质与地球物理研究所 | 一种土石混合体原位实时加压下岩石破裂检测方法 |
WO2020237688A1 (zh) * | 2019-05-31 | 2020-12-03 | 深圳市大疆创新科技有限公司 | 网络结构搜索的方法及装置、计算机存储介质和计算机程序产品 |
CN113189968A (zh) * | 2021-05-08 | 2021-07-30 | 哈尔滨工业大学 | 互联工业过程的分布式故障诊断方法 |
CN113570106A (zh) * | 2021-05-17 | 2021-10-29 | 国网山东省电力公司潍坊供电公司 | 基于高速公路神经网络的电力负荷预测方法及设备 |
EP3935578A4 (en) * | 2019-05-16 | 2022-06-01 | Samsung Electronics Co., Ltd. | NERVE NETWORK MODEL APPARATUS AND NERVE NETWORK MODEL COMPRESSION METHOD |
US11657284B2 (en) | 2019-05-16 | 2023-05-23 | Samsung Electronics Co., Ltd. | Neural network model apparatus and compressing method of neural network model |
Families Citing this family (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8532745B2 (en) | 2006-02-15 | 2013-09-10 | Hologic, Inc. | Breast biopsy and needle localization using tomosynthesis systems |
CN102481146B (zh) | 2009-10-08 | 2016-08-17 | 霍罗吉克公司 | ***的穿刺活检***及其使用方法 |
WO2012071429A1 (en) | 2010-11-26 | 2012-05-31 | Hologic, Inc. | User interface for medical image review workstation |
US9020579B2 (en) | 2011-03-08 | 2015-04-28 | Hologic, Inc. | System and method for dual energy and/or contrast enhanced breast imaging for screening, diagnosis and biopsy |
JP2014534042A (ja) | 2011-11-27 | 2014-12-18 | ホロジック, インコーポレイテッドHologic, Inc. | マンモグラフィーおよび/またはトモシンセシス画像データを使用して2d画像を生成するためのシステムおよび方法 |
EP3315072B1 (en) | 2012-02-13 | 2020-04-29 | Hologic, Inc. | System and method for navigating a tomosynthesis stack using synthesized image data |
WO2014151646A1 (en) | 2013-03-15 | 2014-09-25 | Hologic Inc. | Tomosynthesis-guided biopsy in prone |
ES2943561T3 (es) | 2014-02-28 | 2023-06-14 | Hologic Inc | Sistema y método para generar y visualizar bloques de imagen de tomosíntesis |
AU2016261487B2 (en) | 2015-05-11 | 2020-11-05 | Magic Leap, Inc. | Devices, methods and systems for biometric user recognition utilizing neural networks |
WO2017156547A1 (en) | 2016-03-11 | 2017-09-14 | Magic Leap, Inc. | Structure learning in convolutional neural networks |
US11080591B2 (en) * | 2016-09-06 | 2021-08-03 | Deepmind Technologies Limited | Processing sequences using convolutional neural networks |
CA3155320A1 (en) | 2016-09-06 | 2018-03-15 | Deepmind Technologies Limited | Generating audio using neural networks |
JP6750121B2 (ja) | 2016-09-06 | 2020-09-02 | ディープマインド テクノロジーズ リミテッド | 畳み込みニューラルネットワークを使用したシーケンスの処理 |
KR102458808B1 (ko) | 2016-10-26 | 2022-10-25 | 딥마인드 테크놀로지스 리미티드 | 신경망을 이용한 텍스트 시퀀스 처리 |
KR102415506B1 (ko) * | 2016-10-26 | 2022-07-01 | 삼성전자주식회사 | 뉴럴 네트워크 간소화 방법 및 장치 |
US10621747B2 (en) | 2016-11-15 | 2020-04-14 | Magic Leap, Inc. | Deep learning system for cuboid detection |
US11399790B2 (en) | 2017-03-30 | 2022-08-02 | Hologic, Inc. | System and method for hierarchical multi-level feature image synthesis and representation |
EP3600051B1 (en) | 2017-03-30 | 2024-05-01 | Hologic, Inc. | Method for synthesizing low-dimensional image data from high-dimensional image data using an object grid enhancement |
US11445993B2 (en) | 2017-03-30 | 2022-09-20 | Hologic, Inc. | System and method for targeted object enhancement to generate synthetic breast tissue images |
US20180293486A1 (en) * | 2017-04-07 | 2018-10-11 | Tenstorrent Inc. | Conditional graph execution based on prior simplified graph execution |
US11734584B2 (en) * | 2017-04-19 | 2023-08-22 | International Business Machines Corporation | Multi-modal construction of deep learning networks |
WO2018236565A1 (en) * | 2017-06-20 | 2018-12-27 | Hologic, Inc. | METHOD AND SYSTEM FOR MEDICAL IMAGING WITH DYNAMIC SELF-LEARNING |
JP7142420B2 (ja) * | 2017-07-10 | 2022-09-27 | キヤノン株式会社 | 画像処理装置、学習方法、学習済モデル、画像処理方法 |
EP3685313A4 (en) | 2017-09-20 | 2021-06-09 | Magic Leap, Inc. | PERSONALIZED NEURAL EYE TRACKING NETWORK |
CN109543139B (zh) * | 2017-09-22 | 2021-09-17 | 杭州海康威视数字技术股份有限公司 | 卷积运算方法、装置、计算机设备及计算机可读存储介质 |
CA3078530A1 (en) | 2017-10-26 | 2019-05-02 | Magic Leap, Inc. | Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks |
CN109784325A (zh) * | 2017-11-10 | 2019-05-21 | 富士通株式会社 | 开集识别方法和设备及计算机可读存储介质 |
CN110110734B (zh) * | 2018-02-01 | 2023-04-07 | 富士通株式会社 | 开集识别方法、信息处理设备以及存储介质 |
US20190266482A1 (en) * | 2018-02-26 | 2019-08-29 | Gsi Technology Inc. | Distance based deep learning |
JP6831347B2 (ja) * | 2018-04-05 | 2021-02-17 | 日本電信電話株式会社 | 学習装置、学習方法および学習プログラム |
US11875557B2 (en) | 2018-04-27 | 2024-01-16 | Carnegie Mellon University | Polynomial convolutional neural network with early fan-out |
US10818080B2 (en) * | 2018-07-25 | 2020-10-27 | Disney Enterprises, Inc. | Piecewise-polynomial coupling layers for warp-predicting neural networks |
CN109409198B (zh) * | 2018-08-31 | 2023-09-05 | 平安科技(深圳)有限公司 | Au检测方法、装置、设备及介质 |
US11141645B2 (en) | 2018-09-11 | 2021-10-12 | Real Shot Inc. | Athletic ball game using smart glasses |
US11103763B2 (en) | 2018-09-11 | 2021-08-31 | Real Shot Inc. | Basketball shooting game using smart glasses |
US11645509B2 (en) * | 2018-09-27 | 2023-05-09 | Salesforce.Com, Inc. | Continual neural network learning via explicit structure learning |
US10657447B1 (en) * | 2018-11-29 | 2020-05-19 | SparkCognition, Inc. | Automated model building search space reduction |
US11775812B2 (en) * | 2018-11-30 | 2023-10-03 | Samsung Electronics Co., Ltd. | Multi-task based lifelong learning |
US10977548B2 (en) | 2018-12-05 | 2021-04-13 | Bank Of America Corporation | Generation of capsule neural networks for enhancing image processing platforms |
JP6991960B2 (ja) * | 2018-12-28 | 2022-01-13 | Kddi株式会社 | 画像認識装置、画像認識方法及びプログラム |
WO2020186061A1 (en) * | 2019-03-13 | 2020-09-17 | Cognizant Technology Solutions U.S. Corporation | System and method for implementing modular universal reparameterization for deep multi-task learning across diverse domains |
WO2020198520A1 (en) | 2019-03-27 | 2020-10-01 | Cognizant Technology Solutions U.S. Corporation | Process and system including an optimization engine with evolutionary surrogate-assisted prescriptions |
WO2020236993A1 (en) | 2019-05-21 | 2020-11-26 | Magic Leap, Inc. | Hand pose estimation |
CN110363198B (zh) * | 2019-07-04 | 2022-12-09 | 武汉科技大学 | 一种神经网络权重矩阵拆分与组合的方法 |
US10956791B2 (en) * | 2019-07-19 | 2021-03-23 | LayerJot, Inc. | Interactive generation and publication of an augmented-reality application |
US11947570B2 (en) * | 2019-09-03 | 2024-04-02 | International Business Machines Corporation | Data augmentation |
US11816574B2 (en) | 2019-10-25 | 2023-11-14 | Alibaba Group Holding Limited | Structured pruning for machine learning model |
US11475280B2 (en) * | 2019-11-15 | 2022-10-18 | Disney Enterprises, Inc. | Data object classification using an optimized neural network |
US20210312297A1 (en) * | 2020-04-07 | 2021-10-07 | Cognizant Technology Solutions U.S. Corporation | Framework For Interactive Exploration, Evaluation, and Improvement of AI-Generated Solutions |
US11775841B2 (en) | 2020-06-15 | 2023-10-03 | Cognizant Technology Solutions U.S. Corporation | Process and system including explainable prescriptions through surrogate-assisted evolution |
US11605118B2 (en) * | 2020-08-18 | 2023-03-14 | Salesforce.Com, Inc. | Systems and methods for next basket recommendation with dynamic attributes modeling |
EP4022534A4 (en) | 2020-11-06 | 2022-11-30 | Visenze Pte Ltd | SYSTEM AND METHOD FOR GENERATING AN IMAGE RECOGNITION MODEL AND CLASSIFYING AN INPUT IMAGE |
US20220147680A1 (en) * | 2020-11-12 | 2022-05-12 | Samsung Electronics Co., Ltd. | Method for co-design of hardware and neural network architectures using coarse-to-fine search, two-phased block distillation and neural hardware predictor |
US11068786B1 (en) * | 2020-12-17 | 2021-07-20 | Moffett Technologies Co., Limited | System and method for domain specific neural network pruning |
KR20220096021A (ko) * | 2020-12-30 | 2022-07-07 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
KR102594163B1 (ko) | 2021-01-05 | 2023-10-26 | 한국전자통신연구원 | 음향 신호를 인식하는 학습 모델의 트레이닝 방법과 그 학습 모델을 이용한 음향 신호의 인식 방법 및 그 방법들을 수행하는 장치 |
KR102658473B1 (ko) | 2021-03-17 | 2024-04-18 | 한국전자통신연구원 | 다중 음향 이벤트 구간에서의 레이블 인코딩 방법 및 장치 |
WO2023034043A1 (en) * | 2021-09-01 | 2023-03-09 | The Board Of Regents Of The University Of Texas System | Methods and systems for deep distilling |
WO2023104158A1 (en) * | 2021-12-09 | 2023-06-15 | Dolby Laboratories Licensing Corporation | Method for neural network training with multiple supervisors |
CN116884005B (zh) * | 2023-09-08 | 2023-11-07 | 江西财经大学 | 一种结合卷积网络与图特征的快速语义分割方法与*** |
CN117952650A (zh) * | 2024-01-30 | 2024-04-30 | 和源顺(湖州)工艺品有限公司 | 基于大数据的工艺品电子商务销售管理*** |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW226454B (en) * | 1993-11-02 | 1994-07-11 | Ind Tech Res Inst | Pattern recognition method for car plate |
CN101383008A (zh) * | 2008-10-23 | 2009-03-11 | 上海交通大学 | 基于视觉注意模型的图像分类方法 |
CN102054178A (zh) * | 2011-01-20 | 2011-05-11 | 北京联合大学 | 一种基于局部语义概念的国画图像识别方法 |
CN102087712A (zh) * | 2010-02-22 | 2011-06-08 | 艾利维公司 | 个性化动作控制的***和方法 |
US20120057779A1 (en) * | 2010-09-02 | 2012-03-08 | Edge 3 Technologies, Inc. | Method and Apparatus for Confusion Learning |
CN102722714A (zh) * | 2012-05-18 | 2012-10-10 | 西安电子科技大学 | 基于目标跟踪的人工神经网络扩张式学习方法 |
EP2648133A1 (fr) * | 2012-04-04 | 2013-10-09 | Biomerieux | Identification de microorganismes par spectrometrie et classification structurée |
CN104933428A (zh) * | 2015-07-23 | 2015-09-23 | 苏州大学 | 一种基于张量描述的人脸识别方法及装置 |
US20150310311A1 (en) * | 2012-12-04 | 2015-10-29 | Institute Of Semiconductors, Chinese Academy Of Sciences | Dynamically reconstructable multistage parallel single instruction multiple data array processing system |
Family Cites Families (112)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US1025552A (en) | 1905-09-19 | 1912-05-07 | Metropolitan Sewing Machine Company | Trimming mechanism for sewing-machines. |
US1027590A (en) | 1910-06-03 | 1912-05-28 | Ernst Bucher | Dirigible airship. |
JP2885823B2 (ja) | 1989-04-11 | 1999-04-26 | 株式会社豊田中央研究所 | 視覚認識装置 |
JPH0695192A (ja) | 1991-05-01 | 1994-04-08 | Matsushita Electric Ind Co Ltd | 画像認識装置及び画像入力方法 |
US5291560A (en) | 1991-07-15 | 1994-03-01 | Iri Scan Incorporated | Biometric personal identification system based on iris analysis |
US5579471A (en) | 1992-11-09 | 1996-11-26 | International Business Machines Corporation | Image query system and method |
US5572596A (en) | 1994-09-02 | 1996-11-05 | David Sarnoff Research Center, Inc. | Automated, non-invasive iris recognition system and method |
US5850470A (en) | 1995-08-30 | 1998-12-15 | Siemens Corporate Research, Inc. | Neural network for locating and recognizing a deformable object |
KR19990082557A (ko) | 1996-02-09 | 1999-11-25 | 윌리암 제이. 버크 | 불확실한 트레이닝 데이터를 사용하여 대상을검출 및 분류하기위한 뉴럴 네트워크의 트레이닝 방법 및 장치 |
US6121953A (en) | 1997-02-06 | 2000-09-19 | Modern Cartoons, Ltd. | Virtual reality system for sensing facial movements |
US6035057A (en) | 1997-03-10 | 2000-03-07 | Hoffman; Efrem H. | Hierarchical data matrix pattern recognition and identification system |
JP2001521250A (ja) | 1997-10-27 | 2001-11-06 | マサチューセッツ・インスティチュート・オブ・テクノロジー | 情報の検索および検索システム |
US6138109A (en) * | 1997-12-23 | 2000-10-24 | Caterpillar Inc. | Neural network diagnostic classification of complex binary systems |
US6401082B1 (en) * | 1999-11-08 | 2002-06-04 | The United States Of America As Represented By The Secretary Of The Air Force | Autoassociative-heteroassociative neural network |
US6865302B2 (en) | 2000-03-16 | 2005-03-08 | The Regents Of The University Of California | Perception-based image retrieval |
US6768509B1 (en) | 2000-06-12 | 2004-07-27 | Intel Corporation | Method and apparatus for determining points of interest on an image of a camera calibration object |
GB2364590B (en) | 2000-07-07 | 2004-06-02 | Mitsubishi Electric Inf Tech | Method and apparatus for representing and searching for an object in an image |
US7016532B2 (en) | 2000-11-06 | 2006-03-21 | Evryx Technologies | Image capture and identification system and process |
US7099510B2 (en) | 2000-11-29 | 2006-08-29 | Hewlett-Packard Development Company, L.P. | Method and system for object detection in digital images |
US6829384B2 (en) | 2001-02-28 | 2004-12-07 | Carnegie Mellon University | Object finder for photographic images |
US7152051B1 (en) | 2002-09-30 | 2006-12-19 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
US9153074B2 (en) | 2011-07-18 | 2015-10-06 | Dylan T X Zhou | Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command |
JP3855939B2 (ja) | 2003-01-31 | 2006-12-13 | ソニー株式会社 | 画像処理装置、画像処理方法及び撮影装置 |
EP1609092A2 (en) | 2003-04-03 | 2005-12-28 | Dublin City University | Shape matching method for indexing and retrieving multimedia data |
US7362892B2 (en) * | 2003-07-02 | 2008-04-22 | Lockheed Martin Corporation | Self-optimizing classifier |
WO2005008593A1 (ja) | 2003-07-18 | 2005-01-27 | Canon Kabushiki Kaisha | 画像処理装置、撮像装置、画像処理方法 |
EP1659440B1 (en) * | 2003-08-28 | 2015-06-24 | Kohoku Kogyo Co., Ltd. | Magneto-optical device |
US20050114278A1 (en) * | 2003-08-29 | 2005-05-26 | Mahesh Saptharishi | System and methods for incrementally augmenting a classifier |
US7593550B2 (en) | 2005-01-26 | 2009-09-22 | Honeywell International Inc. | Distance iris recognition |
WO2005104010A2 (en) | 2004-04-15 | 2005-11-03 | Gesture Tek, Inc. | Tracking bimanual movements |
JP4217664B2 (ja) | 2004-06-28 | 2009-02-04 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
US7668376B2 (en) | 2004-06-30 | 2010-02-23 | National Instruments Corporation | Shape feature extraction and classification |
US7644049B2 (en) | 2004-11-19 | 2010-01-05 | Intel Corporation | Decision forest based classifier for determining predictive importance in real-time data analysis |
US20060245500A1 (en) * | 2004-12-15 | 2006-11-02 | David Yonovitz | Tunable wavelet target extraction preprocessor system |
US8488023B2 (en) | 2009-05-20 | 2013-07-16 | DigitalOptics Corporation Europe Limited | Identifying facial expressions in acquired digital images |
US7689008B2 (en) | 2005-06-10 | 2010-03-30 | Delphi Technologies, Inc. | System and method for detecting an eye |
US20060291697A1 (en) | 2005-06-21 | 2006-12-28 | Trw Automotive U.S. Llc | Method and apparatus for detecting the presence of an occupant within a vehicle |
US7603000B2 (en) | 2005-08-31 | 2009-10-13 | Siemens Medical Solutions Usa, Inc. | System and method for learning relative distance in a shape space using image based features |
US8890813B2 (en) | 2009-04-02 | 2014-11-18 | Oblong Industries, Inc. | Cross-user hand tracking and shape recognition user interface |
CN101055620B (zh) | 2006-04-12 | 2011-04-06 | 富士通株式会社 | 形状比较装置和方法 |
US8131011B2 (en) | 2006-09-25 | 2012-03-06 | University Of Southern California | Human detection and tracking system |
KR101363017B1 (ko) | 2007-08-23 | 2014-02-12 | 삼성전자주식회사 | 얼굴영상 촬영 및 분류 시스템과 방법 |
US8180112B2 (en) | 2008-01-21 | 2012-05-15 | Eastman Kodak Company | Enabling persistent recognition of individuals in images |
US8411910B2 (en) | 2008-04-17 | 2013-04-02 | Biometricore, Inc. | Computationally efficient feature extraction and matching iris recognition |
KR101030613B1 (ko) | 2008-10-08 | 2011-04-20 | 아이리텍 잉크 | 아이이미지에서 관심영역정보 및 인식적 정보획득방법 |
US8290208B2 (en) | 2009-01-12 | 2012-10-16 | Eastman Kodak Company | Enhanced safety during laser projection |
US8374404B2 (en) | 2009-02-13 | 2013-02-12 | Raytheon Company | Iris recognition using hyper-spectral signatures |
CN101510218A (zh) | 2009-03-26 | 2009-08-19 | 阿里巴巴集团控股有限公司 | 实现图片搜索的方法及网站服务器 |
US8472120B2 (en) | 2010-02-28 | 2013-06-25 | Osterhout Group, Inc. | See-through near-eye display glasses with a small scale image source |
US8553989B1 (en) | 2010-04-27 | 2013-10-08 | Hrl Laboratories, Llc | Three-dimensional (3D) object recognition system using region of interest geometric features |
EP2569721A4 (en) | 2010-05-14 | 2013-11-27 | Datalogic Adc Inc | SYSTEMS AND METHODS FOR OBJECT DETECTION USING A LARGE DATABASE |
US8824747B2 (en) | 2010-06-29 | 2014-09-02 | Apple Inc. | Skin-tone filtering |
WO2014158345A1 (en) * | 2013-01-31 | 2014-10-02 | University Of Iowa Research Foundation | Methods and systems for vessel bifurcation detection |
US8488888B2 (en) | 2010-12-28 | 2013-07-16 | Microsoft Corporation | Classification of posture states |
CN102844766B (zh) | 2011-04-20 | 2014-12-24 | 中国科学院自动化研究所 | 基于人眼图像的多特征融合身份识别方法 |
US8886581B2 (en) | 2011-05-11 | 2014-11-11 | Ari M. Frank | Affective response predictor for a stream of stimuli |
US8767016B2 (en) | 2012-03-15 | 2014-07-01 | Shun-Ching Yang | Virtual reality interaction system and method |
US9082011B2 (en) | 2012-03-28 | 2015-07-14 | Texas State University—San Marcos | Person identification using ocular biometrics with liveness detection |
US9101312B2 (en) | 2012-04-18 | 2015-08-11 | TBI Diagnostics LLC | System for the physiological evaluation of brain function |
JP2013250856A (ja) | 2012-06-01 | 2013-12-12 | Mitsubishi Electric Corp | 監視システム |
US9041622B2 (en) | 2012-06-12 | 2015-05-26 | Microsoft Technology Licensing, Llc | Controlling a virtual object with a real controller device |
US8873812B2 (en) | 2012-08-06 | 2014-10-28 | Xerox Corporation | Image segmentation using hierarchical unsupervised segmentation and hierarchical classifiers |
US9092896B2 (en) | 2012-08-07 | 2015-07-28 | Microsoft Technology Licensing, Llc | Augmented reality display of scene behind surface |
US8369595B1 (en) | 2012-08-10 | 2013-02-05 | EyeVerify LLC | Texture features for biometric authentication |
US10209946B2 (en) | 2012-08-23 | 2019-02-19 | Red Hat, Inc. | Augmented reality personal identification |
US8963806B1 (en) | 2012-10-29 | 2015-02-24 | Google Inc. | Device authentication |
US9111348B2 (en) | 2013-03-15 | 2015-08-18 | Toyota Motor Engineering & Manufacturing North America, Inc. | Computer-based method and system of dynamic category object recognition |
US9269022B2 (en) | 2013-04-11 | 2016-02-23 | Digimarc Corporation | Methods for object recognition and related arrangements |
US9147125B2 (en) | 2013-05-03 | 2015-09-29 | Microsoft Technology Licensing, Llc | Hand-drawn sketch recognition |
US10262462B2 (en) * | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
US9207771B2 (en) | 2013-07-08 | 2015-12-08 | Augmenta Oy | Gesture based user interface |
US9542626B2 (en) | 2013-09-06 | 2017-01-10 | Toyota Jidosha Kabushiki Kaisha | Augmenting layer-based object detection with deep convolutional neural networks |
US9730643B2 (en) | 2013-10-17 | 2017-08-15 | Siemens Healthcare Gmbh | Method and system for anatomical object detection using marginal space deep neural networks |
US9202144B2 (en) | 2013-10-30 | 2015-12-01 | Nec Laboratories America, Inc. | Regionlets with shift invariant neural patterns for object detection |
US9489765B2 (en) | 2013-11-18 | 2016-11-08 | Nant Holdings Ip, Llc | Silhouette-based object and texture alignment, systems and methods |
US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
AU2014354673B2 (en) | 2013-11-27 | 2019-04-11 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US9530047B1 (en) | 2013-11-30 | 2016-12-27 | Beijing Sensetime Technology Development Co., Ltd. | Method and system for face image recognition |
US9224068B1 (en) | 2013-12-04 | 2015-12-29 | Google Inc. | Identifying objects in images |
US20150186708A1 (en) | 2013-12-31 | 2015-07-02 | Sagi Katz | Biometric identification system |
WO2015123647A1 (en) | 2014-02-14 | 2015-08-20 | Nant Holdings Ip, Llc | Object ingestion through canonical shapes, systems and methods |
WO2015123646A1 (en) | 2014-02-14 | 2015-08-20 | Nant Holdings Ip, Llc | Edge-based recognition, systems and methods |
US9542645B2 (en) * | 2014-03-27 | 2017-01-10 | Qualcomm Incorporated | Plastic synapse management |
IL231862A (en) | 2014-04-01 | 2015-04-30 | Superfish Ltd | Image representation using a neural network |
US20150296135A1 (en) | 2014-04-10 | 2015-10-15 | Magna Electronics Inc. | Vehicle vision system with driver monitoring |
US9317785B1 (en) | 2014-04-21 | 2016-04-19 | Video Mining Corporation | Method and system for determining ethnicity category of facial images based on multi-level primary and auxiliary classifiers |
US9767615B2 (en) | 2014-04-23 | 2017-09-19 | Raytheon Company | Systems and methods for context based information delivery using augmented reality |
JP6334735B2 (ja) | 2014-05-06 | 2018-05-30 | ナント・ホールデイングス・アイ・ピー・エル・エル・シー | エッジベクトルを利用した画像特徴検出 |
KR102173699B1 (ko) | 2014-05-09 | 2020-11-03 | 아이플루언스, 인크. | 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들 |
WO2016054778A1 (en) | 2014-10-09 | 2016-04-14 | Microsoft Technology Licensing, Llc | Generic object detection in images |
KR102357326B1 (ko) | 2014-11-19 | 2022-01-28 | 삼성전자주식회사 | 얼굴 특징 추출 방법 및 장치, 얼굴 인식 방법 및 장치 |
US9418319B2 (en) | 2014-11-21 | 2016-08-16 | Adobe Systems Incorporated | Object detection using cascaded convolutional neural networks |
JP2016126510A (ja) | 2014-12-26 | 2016-07-11 | カシオ計算機株式会社 | 画像生成装置、画像生成方法及びプログラム |
US10223635B2 (en) * | 2015-01-22 | 2019-03-05 | Qualcomm Incorporated | Model compression and fine-tuning |
JP6725547B2 (ja) | 2015-03-20 | 2020-07-22 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | 人工ニューラルネットワークの関連性スコア割当て |
US10246753B2 (en) * | 2015-04-13 | 2019-04-02 | uBiome, Inc. | Method and system for characterizing mouth-associated conditions |
US9786036B2 (en) * | 2015-04-28 | 2017-10-10 | Qualcomm Incorporated | Reducing image resolution in deep convolutional networks |
AU2016261487B2 (en) | 2015-05-11 | 2020-11-05 | Magic Leap, Inc. | Devices, methods and systems for biometric user recognition utilizing neural networks |
US9911219B2 (en) | 2015-05-13 | 2018-03-06 | Intel Corporation | Detection, tracking, and pose estimation of an articulated body |
US11423311B2 (en) * | 2015-06-04 | 2022-08-23 | Samsung Electronics Co., Ltd. | Automatic tuning of artificial neural networks |
KR102067947B1 (ko) | 2015-09-11 | 2020-01-17 | 아이베리파이 인크. | 바이오메트릭 시스템들을 위한 안구-혈관 및 얼굴 인식을 위한 이미지 및 피쳐 품질, 이미지 강화 및 피쳐 추출, 및 얼굴 및/또는 서브-얼굴 정보와 안구-혈관의 융합 |
JP6514089B2 (ja) | 2015-11-02 | 2019-05-15 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理システム、および情報処理方法 |
WO2017156547A1 (en) | 2016-03-11 | 2017-09-14 | Magic Leap, Inc. | Structure learning in convolutional neural networks |
EP3223183B1 (en) * | 2016-03-25 | 2020-11-18 | Siemens Healthcare GmbH | Case-based reasoning in the cloud using deep learning |
KR102450441B1 (ko) | 2016-07-14 | 2022-09-30 | 매직 립, 인코포레이티드 | 홍채 식별을 위한 딥 뉴럴 네트워크 |
US20180024726A1 (en) | 2016-07-21 | 2018-01-25 | Cives Consulting AS | Personified Emoji |
KR20180020043A (ko) | 2016-08-17 | 2018-02-27 | 삼성전자주식회사 | 다시점 영상 제어 방법 및 이를 지원하는 전자 장치 |
KR20180053108A (ko) | 2016-11-11 | 2018-05-21 | 삼성전자주식회사 | 홍채 영역 추출 방법 및 장치 |
US10783393B2 (en) | 2017-06-20 | 2020-09-22 | Nvidia Corporation | Semi-supervised learning for landmark localization |
US10269159B2 (en) | 2017-07-27 | 2019-04-23 | Rockwell Collins, Inc. | Neural network foreground separation for mixed reality |
CA3078530A1 (en) | 2017-10-26 | 2019-05-02 | Magic Leap, Inc. | Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks |
US11037368B2 (en) | 2018-09-11 | 2021-06-15 | Samsung Electronics Co., Ltd. | Localization method and apparatus of displaying virtual object in augmented reality |
-
2017
- 2017-03-13 WO PCT/US2017/022206 patent/WO2017156547A1/en active Application Filing
- 2017-03-13 JP JP2018547429A patent/JP6889728B2/ja active Active
- 2017-03-13 US US15/457,990 patent/US10255529B2/en active Active
- 2017-03-13 KR KR1020207008940A patent/KR20200035499A/ko not_active Application Discontinuation
- 2017-03-13 CN CN202210954415.7A patent/CN115345278A/zh active Pending
- 2017-03-13 AU AU2017230184A patent/AU2017230184B2/en active Active
- 2017-03-13 CN CN201780016251.0A patent/CN108780519B/zh active Active
- 2017-03-13 CA CA3015658A patent/CA3015658A1/en active Pending
- 2017-03-13 EP EP17764297.2A patent/EP3427192A4/en not_active Ceased
- 2017-03-13 KR KR1020187029132A patent/KR102223296B1/ko active IP Right Grant
-
2018
- 2018-08-20 IL IL261245A patent/IL261245A/en active IP Right Grant
-
2019
- 2019-03-27 US US16/366,047 patent/US10963758B2/en active Active
-
2020
- 2020-03-12 JP JP2020042897A patent/JP6983937B2/ja active Active
-
2021
- 2021-02-23 US US17/183,021 patent/US11657286B2/en active Active
- 2021-12-23 AU AU2021290336A patent/AU2021290336A1/en not_active Abandoned
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW226454B (en) * | 1993-11-02 | 1994-07-11 | Ind Tech Res Inst | Pattern recognition method for car plate |
CN101383008A (zh) * | 2008-10-23 | 2009-03-11 | 上海交通大学 | 基于视觉注意模型的图像分类方法 |
CN102087712A (zh) * | 2010-02-22 | 2011-06-08 | 艾利维公司 | 个性化动作控制的***和方法 |
US20120057779A1 (en) * | 2010-09-02 | 2012-03-08 | Edge 3 Technologies, Inc. | Method and Apparatus for Confusion Learning |
CN102054178A (zh) * | 2011-01-20 | 2011-05-11 | 北京联合大学 | 一种基于局部语义概念的国画图像识别方法 |
EP2648133A1 (fr) * | 2012-04-04 | 2013-10-09 | Biomerieux | Identification de microorganismes par spectrometrie et classification structurée |
US20150051840A1 (en) * | 2012-04-04 | 2015-02-19 | Biomerieux | Identification Of Microorganisms By Spectrometry And Structured Classification |
CN102722714A (zh) * | 2012-05-18 | 2012-10-10 | 西安电子科技大学 | 基于目标跟踪的人工神经网络扩张式学习方法 |
US20150310311A1 (en) * | 2012-12-04 | 2015-10-29 | Institute Of Semiconductors, Chinese Academy Of Sciences | Dynamically reconstructable multistage parallel single instruction multiple data array processing system |
CN104933428A (zh) * | 2015-07-23 | 2015-09-23 | 苏州大学 | 一种基于张量描述的人脸识别方法及装置 |
Non-Patent Citations (2)
Title |
---|
YIPING D.等: "High performance and low latency mapping for neural network into network on chip architecture", 《2009 IEEE 8TH INTERNATIONAL CONFERENCE ON ASIC》 * |
金健 等: "一种含两层专家网络的委员会机器模型", 《计算机科学》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109274625A (zh) * | 2018-11-12 | 2019-01-25 | 北京邮电大学 | 一种信息调制方式确定方法、装置、电子设备及存储介质 |
CN109274625B (zh) * | 2018-11-12 | 2020-06-19 | 北京邮电大学 | 一种信息调制方式确定方法、装置、电子设备及存储介质 |
CN109829443B (zh) * | 2019-02-23 | 2020-08-14 | 重庆邮电大学 | 基于图像增强与3d卷积神经网络的视频行为识别方法 |
CN109829443A (zh) * | 2019-02-23 | 2019-05-31 | 重庆邮电大学 | 基于图像增强与3d卷积神经网络的视频行为识别方法 |
EP3935578A4 (en) * | 2019-05-16 | 2022-06-01 | Samsung Electronics Co., Ltd. | NERVE NETWORK MODEL APPARATUS AND NERVE NETWORK MODEL COMPRESSION METHOD |
US11657284B2 (en) | 2019-05-16 | 2023-05-23 | Samsung Electronics Co., Ltd. | Neural network model apparatus and compressing method of neural network model |
WO2020237688A1 (zh) * | 2019-05-31 | 2020-12-03 | 深圳市大疆创新科技有限公司 | 网络结构搜索的方法及装置、计算机存储介质和计算机程序产品 |
CN110633797A (zh) * | 2019-09-11 | 2019-12-31 | 北京百度网讯科技有限公司 | 网络模型结构的搜索方法、装置以及电子设备 |
CN110633797B (zh) * | 2019-09-11 | 2022-12-02 | 北京百度网讯科技有限公司 | 网络模型结构的搜索方法、装置以及电子设备 |
CN111754471A (zh) * | 2020-06-12 | 2020-10-09 | 中国科学院地质与地球物理研究所 | 一种土石混合体原位实时加压下岩石破裂检测方法 |
CN113189968A (zh) * | 2021-05-08 | 2021-07-30 | 哈尔滨工业大学 | 互联工业过程的分布式故障诊断方法 |
CN113570106A (zh) * | 2021-05-17 | 2021-10-29 | 国网山东省电力公司潍坊供电公司 | 基于高速公路神经网络的电力负荷预测方法及设备 |
CN113570106B (zh) * | 2021-05-17 | 2023-11-17 | 国网山东省电力公司潍坊供电公司 | 基于高速公路神经网络的电力负荷预测方法及设备 |
Also Published As
Publication number | Publication date |
---|---|
US20190286951A1 (en) | 2019-09-19 |
AU2017230184A1 (en) | 2018-09-06 |
JP6983937B2 (ja) | 2021-12-17 |
EP3427192A4 (en) | 2019-03-27 |
JP2020091922A (ja) | 2020-06-11 |
KR20180117704A (ko) | 2018-10-29 |
US20170262737A1 (en) | 2017-09-14 |
CN115345278A (zh) | 2022-11-15 |
JP2019511777A (ja) | 2019-04-25 |
KR20200035499A (ko) | 2020-04-03 |
CA3015658A1 (en) | 2017-09-14 |
WO2017156547A1 (en) | 2017-09-14 |
CN108780519B (zh) | 2022-09-02 |
US20210182636A1 (en) | 2021-06-17 |
JP6889728B2 (ja) | 2021-06-18 |
US11657286B2 (en) | 2023-05-23 |
AU2021290336A1 (en) | 2022-02-03 |
KR102223296B1 (ko) | 2021-03-04 |
US10963758B2 (en) | 2021-03-30 |
EP3427192A1 (en) | 2019-01-16 |
IL261245A (en) | 2018-10-31 |
US10255529B2 (en) | 2019-04-09 |
AU2017230184B2 (en) | 2021-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108780519A (zh) | 卷积神经网络中的结构学习 | |
CN111709409B (zh) | 人脸活体检测方法、装置、设备及介质 | |
Xie et al. | Scut-fbp: A benchmark dataset for facial beauty perception | |
Arietta et al. | City forensics: Using visual elements to predict non-visual city attributes | |
KR20210073569A (ko) | 이미지 시맨틱 세그멘테이션 네트워크를 트레이닝하기 위한 방법, 장치, 디바이스 및 저장 매체 | |
CN109359538A (zh) | 卷积神经网络的训练方法、手势识别方法、装置及设备 | |
CN107844784A (zh) | 人脸识别方法、装置、计算机设备和可读存储介质 | |
CN111582342B (zh) | 一种图像识别方法、装置、设备以及可读存储介质 | |
CN109145871A (zh) | 心理行为识别方法、装置与存储介质 | |
CN112116684A (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
CN115050064A (zh) | 人脸活体检测方法、装置、设备及介质 | |
US20230053911A1 (en) | Detecting an object in an image using multiband and multidirectional filtering | |
CN110197116A (zh) | 一种人体行为识别方法、装置和计算机可读存储介质 | |
CN110516734A (zh) | 一种图像匹配方法、装置、设备及存储介质 | |
CN111709468A (zh) | 一种定向人工智能的训练方法、装置及存储介质 | |
CN115620122A (zh) | 神经网络模型的训练方法、图像重识别方法及相关设备 | |
CN116311472A (zh) | 基于多层次图卷积网络的微表情识别方法及装置 | |
CN116959123A (zh) | 一种人脸活体检测方法、装置、设备及存储介质 | |
Pavan | REAL TIME OBJECT DETECTION USING DEEP LEARNING | |
NZ786061A (en) | Structure learning in convolutional neural networks | |
Sulé Armengol | Project of implementing an intelligent system into a Raspberry Pi based on deep learning for face detection and recognition in real-time | |
Shi | Interpretable Deep Vi-sual Place Recognition | |
CN118229844A (zh) | 图像生成数据的处理方法、图像生成方法和装置 | |
CN117011568A (zh) | 一种图像分类方法、装置、电子设备及存储介质 | |
CN115841605A (zh) | 目标检测网络训练与目标检测方法、电子设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |