CN108734283B - 神经网络*** - Google Patents

神经网络*** Download PDF

Info

Publication number
CN108734283B
CN108734283B CN201810364434.8A CN201810364434A CN108734283B CN 108734283 B CN108734283 B CN 108734283B CN 201810364434 A CN201810364434 A CN 201810364434A CN 108734283 B CN108734283 B CN 108734283B
Authority
CN
China
Prior art keywords
network
artificial neural
teacher network
teacher
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810364434.8A
Other languages
English (en)
Other versions
CN108734283A (zh
Inventor
林思南
D.S.迪温斯基
边霄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN108734283A publication Critical patent/CN108734283A/zh
Application granted granted Critical
Publication of CN108734283B publication Critical patent/CN108734283B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Neurology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了与人工神经网络有关的***和方法。所述***和方法获得教师网络，所述教师网络包括人工神经层，所述教师网络配置成自动识别通过所述人工神经层检验的图像中的一个或多个物体；在所述教师网络处接收任务图像集；用所述教师网络检验所述任务图像集；识别在用所述教师网络检验所述任务图像集期间被使用的所述人工神经层的子集；基于所述任务图像集定义学生网络。所述学生网络配置成自动识别通过所述子集检验的图像中的一个或多个物体。

Description

神经网络***
技术领域
本文中描述的主题涉及人工神经网络。
背景技术
出于各种不同的目的，神经网络可用来分析图像。例如，一些神经网络可检验图像以识别图像中描绘的物体。通过给神经网络提供带标记的训练图像，神经网络可被训练以检测图像中的各种物体。带标记的训练图像包括这样的图像，在这些图像中描绘了已知物体，根据像素至少部分地代表的哪种物体或哪种物体类型识别带标记的训练图像中的每个像素。
此外，对大规模数据集进行预训练的复杂神经网络是可用的。例如，复杂神经网络可以配置成对超过1000个类别的图像分类。复杂神经网络被证明是其它模型的良好初始，并且可通过微调技术传输以用于许多其它任务。然而，复杂的执行网络通常很宽(即每一层有许多神经元)很深(即有许多层)，涉及众多的参数。这些参数代表不同数目的权重，这些权重代表复杂神经网络可进行分类的超过1000个类别。由于大量的计算，这些复杂网络可能在推理时产生非常耗时的运算。此外，复杂神经网络具有大量的参数或类别，需要较大的存储器来存储不同的参数。
发明内容
在一个实施例中，提供了一种(例如压缩教师网络的)方法。所述方法包括获得教师网络(teacher network)，所述教师网络包括人工神经层，所述教师网络配置成自动识别通过所述人工神经层检验的图像中的一个或多个物体；在所述教师网络处接收任务图像集；用所述教师网络检验所述任务图像集；识别在用所述教师网络检验所述任务图像集期间被使用的人工神经层的子集；以及基于所述任务图像集定义学生网络。所述学生网络配置成自动识别通过所述子集检验的图像中的一个或多个物体。
在一个实施例中，提供了一种***(例如压缩***)。所述***包括存储器，所述存储器配置成存储教师网络、任务图像和学生网络。所述***还包括控制器电路。所述控制器电路配置成获得教师网络，所述教师网络包括人工神经层，所述教师网络配置成自动识别通过所述人工神经层检验的图像中的一个或多个物体；在所述教师网络处接收任务图像集；用所述教师网络检验所述任务图像集；识别在用所述教师网络检验所述任务图像集期间被使用的人工神经层的子集；以及基于所述任务图像集定义学生网络。所述学生网络配置成自动识别通过所述子集检验的图像中的一个或多个物体。
在一个实施例中，提供了一种(例如压缩教师网络的)方法。所述方法包括获得教师网络，所述教师网络包括人工神经层，所述教师网络配置成自动识别通过所述人工神经层检验的图像中的一个或多个物体；在所述教师网络处接收任务图像集；用所述教师网络检验所述任务图像集；识别在用所述教师网络检验所述任务图像集期间被使用的人工神经层的子集。所述方法还包括基于所述任务图像集通过以下步骤定义学生网络：(i)将不是所述子集的一部分的至少一层人工神经层的权重值调整为零；或(ii)去除不是所述子集的一部分的至少一层人工神经层。所述学生网络配置成自动识别通过所述人工神经层的子集检验的图像中的一个或多个物体。
具体地，本申请技术方案1涉及一种方法，其包括：获得教师网络，所述教师网络包括人工神经层，所述教师网络配置成自动识别通过所述人工神经层检验的图像中的一个或多个物体；在所述教师网络处接收任务图像集；用所述教师网络检验所述任务图像集；识别在用所述教师网络检验所述任务图像集期间被使用的人工神经层的子集；基于所述任务图像集定义学生网络，其中，所述学生网络配置成自动识别通过所述子集检验的图像中的一个或多个物体。
本申请技术方案2涉及根据技术方案1所述的方法，其中，所述定义操作包括调整不为所述子集的一部分的至少一层人工神经层的权重值。
本申请技术方案3涉及根据技术方案2所述的方法，其中，所述权重值被调整成零。
本申请技术方案4涉及根据技术方案1所述的方法，其中，所述定义操作包括去除不是所述子集的一部分的至少一层人工神经层，使得所述学生网络包括相对于所述教师网络较少的人工神经层。
本申请技术方案5涉及根据技术方案1所述的方法，其中，所述获得操作包括沿双向通信链路从远程服务器接收所述教师网络。
本申请技术方案6涉及根据技术方案1所述的方法，其中，所述学生网络在存储器中的存储大小配置成相对于所述教师网络较小。
本申请技术方案7涉及根据技术方案1所述的方法，其中，所述任务图像集包括第一物体，所述第一物体是裂缝或撕裂。
本申请技术方案8涉及根据技术方案1所述的方法，其还包括将所述学生网络传输到远程服务器。
本申请技术方案9涉及一种***，其包括：存储器，所述存储器配置成存储教师网络、任务图像和学生网络；控制器电路，所述控制器电路配置成：获得教师网络，所述教师网络包括人工神经层，所述教师网络配置成自动识别通过所述人工神经层检验的图像中的一个或多个物体；在所述教师网络处接收任务图像集；用所述教师网络检验所述任务图像集；识别在用所述教师网络检验所述任务图像集期间被使用的人工神经层的子集；基于所述任务图像集定义学生网络，其中，所述学生网络配置成自动识别通过所述子集检验的图像中的一个或多个物体。
本申请技术方案10涉及根据技术方案9所述的***，其中，所述控制器电路配置成调整不是所述子集的一部分的至少一层人工神经层的权重值。
本申请技术方案11涉及根据技术方案10所述的***，其中，所述权重值被调整成零。
本申请技术方案12涉及根据技术方案9所述的***，其中，所述控制器电路配置成去除不是所述子集的一部分的至少一层人工神经层，使得所述学生网络包括相对于所述教师网络较少的人工神经层。
本申请技术方案13涉及根据技术方案9所述的***，其还包括通信电路，所述通信电路配置成保持与远程服务器的双向通信链路，其中，所述控制器电路配置成沿所述双向通信链路从所述远程服务器获得所述教师网络。
本申请技术方案14涉及根据技术方案13所述的***，其中，所述控制器电路配置成将所述学生网络传输至所述远程服务器。
本申请技术方案15涉及根据技术方案9所述的***，其中，所述学生网络的存储大小配置成相对于所述教师网络较小。
本申请技术方案16涉及根据技术方案9所述的***，其中，所述任务图像集包括第一物体，所述第一物体是裂缝或撕裂。
本申请技术方案17涉及一种方法，其包括：获得教师网络，所述教师网络包括人工神经层，所述教师网络配置成自动识别通过所述人工神经层检验的图像中的一个或多个物体；在所述教师网络处接收任务图像集；用所述教师网络检验所述任务图像集；识别在用所述教师网络检验所述任务图像集期间被使用的人工神经层的子集；基于所述任务图像集由以下步骤定义学生网络：(i)将不是所述子集的一部分的至少一层人工神经层的权重值调整为零；或(ii)去除不是所述子集的一部分的至少一层人工神经层，其中，所述学生网络配置成自动识别通过所述人工神经层的子集检验的图像中的一个或多个物体。
本申请技术方案18涉及根据技术方案17所述的方法，其中，所述获得操作包括沿双向通信链路从远程服务器接收所述教师网络。
本申请技术方案19涉及根据技术方案17所述的方法，其中，所述学生网络在存储器中的存储大小配置成相对于所述教师网络较小。
本申请技术方案20涉及根据技术方案17所述的方法，其中，所述任务图像集包括第一物体，所述第一物体是裂缝或撕裂。
附图说明
通过参考附图阅读以下非限制性实施例的描述，将更好地理解本发明的主题，以下在所述附图中：
图1说明用于神经网络的压缩***的实施例；
图2说明教师网络的实施例；
图3说明压缩图2所示的教师网络的方法实施例的流程图；
图4说明教师网络的实施例，其中基于任务图像集识别出人工神经层的子集；以及
图5A-B说明学生网络的实施例。
具体实施方式
本文中描述的***和方法涉及压缩一个或多个人工神经网络。例如，压缩***配置成通过减少人工神经层的数目来压缩一个或多个神经网络(例如教师网络)以形成学生网络。教师网络可以代表复杂神经网络，其已经被训练成对1000多个不同类别的图像内的物体分类。例如，可使用具有多个物体的多个图像训练教师网络以定义人工神经层。人工神经层被裁剪以计算参数或权重值，这些参数或权重值代表图像内的像素与物体对应的可能性或概率。当在教师网络检验图像时，计算概率。基于彼此相关的权重值和概率，教师网络配置成基于在人工神经层确定的计算权重值，对输入图像内的物体分类。
压缩***配置成基于任务压缩教师网络以形成学生网络。所述任务可以对应于一个或多个图像中的共同物体。共同物体可以对应于由一个或多个人工神经层代表的教师网络的至少一个类别。例如，共同物体可以是代表在任务的一个或多个图像中所示的裂缝和/或撕裂、树、人脸等等。
本文中描述的教师网络的压缩方法专注于基于任务修改教师网络以形成学生网络的提取架构。例如，所述压缩可以基于当任务的一个或多个图像由教师网络检验时，识别人工神经层。识别的人工神经层可以对应于计算物体在一个或多个任务图像内的概率的教师网络层。识别的人工神经层可以被传输和/或用来形成学生网络，而剩余的教师网络的人工神经层可以被禁用和/或去除。例如，识别的人工神经层可以由压缩***从教师网络传输，以定义新的学生网络。
提取过程可以代表禁用和/或去除用于形成学生网络的教师网络的剩余人工神经层的方法。例如，压缩***可以配置成将辅助变量引入到教师网络中。辅助变量可以调整剩余人工神经层的权重值以保持为零。基于调整的权重值，剩余的人工神经层在一个或多个图像的检验过程中被有效地关断。例如，在一个或多个图像的检验期间，通过不计算用于识别一个或多个图像内的物体的权重，从而跳过被禁用的人工神经层。学生网络相对于教师网络人工神经层的数目减少，这可减少压缩***检验学生网络(相对于教师网络)处的一个或多个图像的处理工作。另外或者替代性地，提取过程可以删除剩余的人工神经层以形成学生网络。例如，压缩***可以配置成自动去除教师网络的剩余人工神经层以形成学生网络。可以注意到模型提取进一步降低了学生网络相对于教师网络的存储空间量。例如，去除教师网络的剩余人工神经层以形成学生网络降低了相对于教师网络的学生网络所需的存储空间量。在另一实例中，通过将剩余人工神经层的权重设置成零，降低了相对于教师网络的学生网络所需的存储空间量。
本文中描述的至少一个实施例的至少一个技术效果提供了根据识别的教师网络的人工神经层自动定义学生网络的***和方法。本文中描述的至少一个实施例的至少一个技术效果提供了基于任务压缩一个或多个神经网络方法的模型提取，从而减少处理和存储空间。
图1说明用于神经网络的压缩***100的实施例。压缩***100可以包括控制器电路102，其可操作地联接至通信电路104。可选地，压缩***100可以包括显示器110、用户接口108和/或存储器106。
控制器电路102配置成控制压缩***100的操作。控制器电路102可以包括一个或多个处理器。可选地，控制器电路102可以包括中央处理单元(CPU)、一个或多个微处理器、图形处理单元(GPU)或能够根据具体逻辑指令处理输入的数据的任何其它电子部件。可选地，控制器电路102可以包括和/或表示一个或多个硬件电路或电路***，其包括一个或多个处理器、控制器和/或其它基于硬件逻辑的装置；与一个或多个处理器、控制器和/或其它基于硬件逻辑的装置联接；或包括一个或多个处理器、控制器和/或其它基于硬件逻辑的装置且与一个或多个处理器、控制器和/或其它基于硬件逻辑的装置联接。另外或替代性地，控制器电路102可以执行存储在有形且非暂时性计算机可读介质(例如，存储器106)上的指令。
控制器电路102可以可操作地联接到通信电路104和/或控制所述通信电路。通信电路104配置成沿双向通信链路与一个或多个替代性压缩***、远程服务器等等接收和/或发送信息。例如，通信电路104可以通过双向通信链路接收教师网络。远程服务器可以代表一个或多个复杂神经网络(例如教师网络)的数据库、要由压缩***100执行的任务集和/或任务图像集等等。通信电路104可表示用于沿双向通信链路发射和/或接收数据的硬件。通信电路104可以包括用于与一个或多个替代压缩***、远程服务器等等有线和/或无线地通信(例如，发射和/或接收)的收发器、接收器、收发器等等以及相关联电路***(例如，天线)。例如，用于沿双向通信链路发射和/或接收数据的协议固件可以存储在存储器106中，其由控制器电路102访问。所述协议固件为控制器电路102提供网络协议语法以汇编数据包、建立和/或分割沿着双向通信链路接收的数据，等等。
所述双向通信链路可以是有线(例如，通过物理导体)和/或无线通信(例如，利用射频(radio frequency；RF))链路以用于在一个或多个替代压缩***、远程服务器等等之间交换数据(例如，数据包)。所述双向通信链路可基于标准通信协议，例如以太网、TCP/IP、WiFi、802.11、自定义通信协议、蓝牙等等。
控制器电路102可操作地联接到显示器110和用户接口108。显示器110可以包括一个或多个液晶显示器(例如，发光二极管(LED)背光)、有机发光二极管(OLED)显示器、等离子体显示器、CRT显示器等。显示器110可以显示存储在存储器106中的输入图像和/或输出图像和/或由显示器110从控制器电路102接收的图像。
用户接口108配置成控制控制器电路102和压缩***100的操作。用户接口108配置成接收来自压缩***100的用户和/或操作员的输入。用户接口108可以包括键盘、鼠标、触摸板、一个或多个物理按钮等。可选地，显示器110可以是触摸屏显示器，其包括用户接口108的至少一部分。
存储器106包括控制器电路102用以执行本文中所描述的一个或多个操作的参数、算法、数据值等等。存储器106可以是有形且非暂时性计算机可读介质，例如闪速存储器、RAM、ROM、EEPROM等。存储器106可以配置成存储教师网络、学生网络、任务图像集等等。所述任务图像集可以代表具有共同物体的多个图像。例如，共同物体可以是撕裂和/或裂缝、人脸、树、汽车等等。共同物体可以包括于教师网络配置成对物体分类的物体类别中。
图2说明教师网络202的实施例。所述教师网络可以是以下之中描述的神经网络：名称为“IMAGE ANALYSIS NEURAL NETWORK SYSTEMS”的美国临时申请第62/466,777号；Charles R.Qi等人的PointNet：Deep Learning on Point Sets for 3D Classification and Segmentation；Shunsuke Saito等人的Real-Time Facial Segmentation and Performance Capture from RGB Input；以及Seyed-MohsenMoosavi-Dezfooli等人的DeepFool：A Simple and Accurate Method to Fool Deep Neural Networks。教师网络202包括一组人工神经层204。例如，教师网络202可以由一个或多个处理器(例如微处理器、集成电路、现场可编程门阵列等等)基于多个训练图像形成。训练图像可以包括多个不同物体，其用来定义人工神经层204。
教师网络202包括人工神经元或节点，其接收输入图像206并对图像执行操作(例如函数)，选择性地将结果传送到其它神经元。权重值与教师网络202中的每个向量和神经元关联，权重值对输入图像206与神经元的输出的关联程度进行约束。例如，基于人工神经层204的教师网络202配置成自动识别通过人工神经层204检验的输入图像206中的一个或多个物体。权重值可由通过教师网络202的训练数据的迭代流确定。例如，在训练阶段中建立权重值，在训练阶段，教师网络202通过训练图像中物体的典型输入数据特征学习如何识别特定的物体分类。
教师网络202分成两个或更多层204，例如接收输入图像206的输入层，输出输出图像208的输出层和一个或多个中间层。教师网络202的各层204代表不同分组或集合的人工神经元，其可代表由控制器电路102对输入图像206执行的识别输入图像206内的物体的不同函数。人工神经元在施加到输入图像206的函数上施加不同权重，以尝试识别输入图像206中的物体。教师网络202基于对像素特征的分析，通过将输出图像208中的不同像素指定到不同的物体分类或与不同的物体分类关联(下面描述)，生成输出图像208。因为教师网络202可能不是100％准确地预测不同像素代表的物体，所以输出图像208可能不完全类似或描绘如图2所示的输入图像206中的物体。
教师网络202的人工神经元层204可检验输入图像206中的个别像素214。执行和/或检验人工神经元层204的控制器电路102可使用线性分类计算不同的物体类别(本文称作“分类”)的得分，所述的物体类别例如树、汽车、人、热障涂层中的碎片、表面的裂缝、标志、裂缝、撕裂等等。例如，教师网络202可以配置成计算物体的超过1000个不同类别的得分。这些得分可以指示像素214代表不同分类的概率。例如，像素214的得分可以表示成一个或多个向量。一个或多个向量[a b c d]可以与像素代表各种不同的物体分类的概率关联，其中，a，b，c和d的值指示像素214代表物体或事物的不同分类中的每一个的概率。
例如，标记为[1000]的像素可指示此像素代表第一类物体(例如由概率a代表的物体分类-人体)的至少一部分的概率为100％，此像素代表不同的第二类物体(例如由概率b代表的物体分类-汽车)的至少一部分的概率为零，此像素代表不同的第三类物体(例如由概率c代表的物体分类-地面)的至少一部分的概率为零；以及此像素代表不同的第四类物体(例如由概率d代表的物体分类-树)的至少一部分的概率为零。
每个人工神经元层204可以将数学函数例如激励函数施加到相同的像素，由不同的神经元施加的函数响应由其它神经元施加的函数，不同的神经元向函数中的不同项施加与一个或多个或所有其它神经元施加的不同的权重。函数的施加产生像素214的分类得分，所述分类得分可用来识别输入图像206中的物体。
在一个实施例中，输入图像206从图像传感器(例如照相机，未示出)沿双向通信链路(例如远程服务器)提供至教师网络202、存储器106等等。教师网络202的人工神经元层204中的神经元配置成检验像素214的特征，例如强度、颜色、梯度、直方图等等，以确定各个像素214的得分。在教师网络202的人工神经元层204已经确定像素214的得分向量之后，教师网络202检验每个像素214的得分向量，确定对于每个像素214哪个物体分类具有最高的概率，或者对于每个像素214哪个物体分类具有比一个或多个或全部其它物体分类都要高的概率。
例如，得分向量为[0.60.150.050.2]的第一像素214指示教师网络202计算出：第一像素214代表第一物体分类(例如人体或人)的概率为60％；第一像素214代表第二物体分类(例如汽车)的概率为15％，第一像素214代表第三物体分类(例如树)的概率为5％，第一像素214代表第四物体分类(例如地面)的概率为20％。这些概率可由输出图像208表示，基于这些计算得出的概率，不同的区域216，218代表不同的物体。区域216，218可能略微代表物体210，212，但不可能准确地代表或指示物体210，212，原因是概率小于100％。控制器电路102可以配置成确定像素214代表具有这些概率中的最大值的物体分类。例如，控制器电路可以配置成由于有60％的概率，因此确定像素214代表人。对于输入图像206的几个或全部其它像素214，控制器电路102可重复此过程。
控制器电路102可以配置成压缩教师网络202以形成学生网络。教师网络202的压缩可以基于由任务图像集定义的任务。所述任务图像集可以包括具有至少一个共同物体的一个或多个图像。至少一个共同物体可以包括沿外壳、表面区域等等的裂缝和/或撕裂。所述至少一个共同物体可代表学生网络识别和/或对至少一个共同物体分类的任务。例如，学生网络由控制器电路102配置，使得任务图像集内的至少一个共同物体可由学生网络分类。任务图像集可以由用户基于由控制器电路102从用户接口108接收的选择来进行选择。例如，用户可以选择代表任务的至少一个共同物体。基于所述至少一个共同物体，控制器电路102可以从存储在存储器106中的多个图像中选择具有所述至少一个共同物体的任务图像集。另外或者替代性地，所述任务图像集可以沿着双向通信链路从远程服务器接收，从存储在存储器106中的多个图像中选择所述任务图像集等等。可选地，所述任务图像集可以由用户使用图像源例如照相机(未示出)采集。
控制器电路102进行的压缩可以基于识别教师网络202的一个或多个人工神经层204，这些人工神经元层204对于任务图像集的像素计算的权重值较大。例如，控制器电路102可以配置成检验教师网络202处的任务图像集。控制器电路102可以在检验任务图像集期间，监测概率值大于零的人工神经层204。计算出大于零的概率值的人工神经层204的子集被控制器电路102识别。人工神经层204的子集由控制器电路102使用以形成学生网络。
关于图3，控制器电路102可以使用提取以禁用和/或去除不在子集中的人工神经层204。例如，控制器电路102可以传输子集中的人工神经层204以形成学生网络，并去除不在子集中的人工神经层204。在另一实例中，控制器电路102可以通过加入辅助变量调整不在子集中的人工神经层204。辅助变量可以调整剩余人工神经层的权重值以保持为零。例如，辅助变量配置成调整不在子集中的人工神经元层204的数学函数，以便不管学生网络的图像输入如何，连续地计算出零概率。基于调整的权重值，剩余的人工神经层在任务图像集的检验过程中被有效地关断。例如，在检验一个或多个图像期间，通过不计算用于识别学生网络处的输入图像中的物体，被禁用的人工神经层被跳过和/或不耗费处理时间。
图3说明压缩教师网络202的方法300的实施例的流程图。方法300例如可采用本文中论述的各种实施例的结构或方面(例如，***和/或方法)。在各种实施例中，可省略或添加某些步骤(或操作)，可组合某些步骤，可同时执行某些步骤，可并行执行某些步骤，可将某些步骤拆分成多个步骤，可以不同次序执行某些步骤，或可以重复方式反复执行某些步骤或步骤系列。在各种实施例中，方法300的部分、方面和/或变化可用作引导硬件执行本文所描述的一个或多个操作的一个或多个算法。
从302开始，控制器电路102可以配置成获得包括人工神经层204的教师网络202(图2)。例如，控制器电路102可沿着双向通信链路通过通信电路104从远程服务器接收教师网络202。可选地，教师网络202可以由控制器电路102如本文中描述的基于多个训练数据定义，并存储在存储器106中。
在304，控制器电路102可以配置成在教师网络202处接收任务图像集。所述任务图像集可以包括具有至少一个共同物体的一个或多个图像。至少一个共同物体可以包括裂缝和/或撕裂、表面区域等等。所述至少一个共同物体可代表学生网络识别和/或对至少一个共同物体分类的任务。任务图像集可以由用户基于由控制器电路102从用户接口108接收的选择来进行选择。例如，用户可以选择代表任务的至少一个共同物体。基于所述至少一个共同物体，控制器电路102可以从存储在存储器106中的多个图像中自动选择具有所述至少一个共同物体的任务图像集。另外或者替代性地，所述任务图像集可以沿着双向通信链路从远程服务器接收，从存储在存储器106中的多个图像中选择所述任务图像集等等。可选地，所述任务图像集可以由用户使用图像源例如照相机(未示出)采集。
关于图4，可在教师网络202处接收任务图像集402。例如，控制器电路102可以配置成通过将任务图像集402输入到教师网络202，来执行教师网络202。
在306，控制器电路102可以配置成用教师网络202检验所选的任务图像406。图4说明教师网络202的实施例。控制器电路102可以重复地输入(例如重复操作308-314)任务图像集402中的每一个图像以由教师网络202检验。例如，控制器电路102可以选择所选的任务图像406作为所选任务图像。所选任务图像406描绘物体410，其可以是物体412的表面区域上的撕裂和/或裂缝。物体410可以代表任务图像集402的至少一个共同物体。可选地，至少一个共同物体可以是另一类型的物体，例如树、汽车、塔、人、脸等等。控制器电路102可以执行教师网络202以识别和/或对所选任务图像406的物体410，412分类。
例如，控制器电路102可以配置成检验所选任务图像406的不同像素，以基于教师网络202的人工神经元层204计算得分，产生输出图像408。教师网络202基于对像素特征的分析，通过将输出图像408中的不同像素指定到不同的物体分类或与不同的物体分类关联(下文描述)，生成输出图像408。基于教师网络202在所选任务图像406内检测或识别的物体410，412，可能只使用了人工神经元层204的一部分。例如，人工神经层204的子集404可能已经计算出所选任务图像406内的像素代表物体410，412的权重值和/或概率。对代表已经计算出所选任务图像406内的像素的权重值和/或概率的人工神经层204的子集404加以利用。不在子集404中的剩余人工神经层204显示为人工神经层414，其可能还没有计算出像素的概率，在所选任务图像406的检验过程中不被使用。
可选地，控制器电路102可以验证代表任务的至少一个共同物体曾被教师网络202分类。例如，控制器电路102可以将由教师网络202识别的物体分类与至少一个共同物体比较。如果至少一个共同物体曾被误识别为第二物体，则控制器电路102可以调整与第二物体的人工神经层204对应的数学函数。例如，控制器电路102可增加辅助变量以调整数学函数。此外或替代性地，控制器电路102可以对导致识别第二物体的任务图像做标记。可选地，控制器电路102可以选择识别第二物体的人工神经层204以在形成学生网络时提取。
在308，控制器电路102可以配置成识别在用教师网络202检验所选任务图像406期间被使用的人工神经层204的子集404。例如，控制器电路102可以配置成在对物体410，412分类时，识别与计算出所选任务图像406中的像素的大于零的概率的人工神经层204对应的子集404。相反，计算出概率为零的人工神经层204例如神经层414指示对任务图像集402的物体410，412分类时不被需要。
在310，控制器电路102可以配置成确定所述任务图像集是否已经被教师网络202检验。例如，控制器电路102可以对教师网络202的输出图像408的数目计数。如果任务图像集402的图像数目与输出图像408的数目不相等，则控制器电路102可以确定教师网络202还没有检验完所有的任务图像。
如果还没有检验完任务图像集，则在312，控制器电路102可以配置成选择另一未检验的任务图像以由教师网络202检验。例如，控制器电路102可以配置成连续地选择任务图像集402中的图像。
在314，控制器电路102可以配置成用教师网络202检验在312选择的任务图像。例如，控制器电路102可以在教师网络202处检验在312选择的任务图像。
如果已经检验完任务图像集402，则在316，控制器电路202可以配置成基于所述任务图像集402定义学生网络502。与教师网络202类似，学生网络502配置成自动识别通过人工神经层204的子集404检验的一个或多个输入图像中的一个或多个物体。图5A-B说明学生网络502的实施例。控制器电路102可以通过提取不在子集404中的教师网络202的人工神经层204定义学生网络502。例如，控制器电路102可以传输子集404中的人工神经层204以形成学生网络502，并提取不在子集404中的人工神经层414。通过计算任务图像集402中像素的权重值或概率，在子集404中的人工神经层204在检验任务图像集402期间被使用。相反，通过不计算任务图像集402中像素的概率，人工神经层414在检验任务图像集402期间不被使用。关于图5A-B，控制器电路102可以使用两种方法提取教师网络202的人工神经层204。
关于图5A，控制器电路102可以通过加入辅助变量调整不在子集404中的人工神经层414。辅助变量可以通过将概率或权重值固定到一个减小值(例如零)调整人工神经层414的权重值。减小值可以确保人工神经层414不能够在学生网络502处对一个或多个输入图像的像素分类以对物体分类。例如，辅助变量配置成调整人工神经层414的数学函数，以便不管学生网络502的输入图像如何，连续地计算零概率。基于调整的权重值，人工神经层414在学生网络502检验输入图像的过程中被有效地关断。例如，在检验一个或多个图像的过程中，通过不计算用于识别在学生网络502处的输入图像内的物体的权重，被禁用的人工神经层被跳过和/或不耗费控制器电路102的处理时间。
关于图5B，控制器电路102可以去除人工神经层414以定义学生网络502。例如，控制器电路102可以配置成传输与教师网络202中的子集404对应的人工神经层204，以形成学生网络502。在另一实例中，控制器电路102可以配置成去除不是教师网络202的子集404的一部分的至少一层人工神经层204，以形成学生网络502。基于人工神经层414的去除，学生网络502包括相对于教师网络202较少的人工神经层。例如，控制器电路102可以去除在检验任务图像集402时不使用的教师网络202的人工神经层414。
在318，控制器电路102可以配置成将学生网络502传输到远程服务器。例如，学生网络502可以沿双向通信链路传输至远程服务器。另外或者替代性地，学生网络502可以存储在存储器106中。
可选地，基于学生网络502的输入图像内物体的分类，控制器电路102可以配置成自动执行补救措施。例如，学生网络的至少一个共同物体(代表任务)可能代表损坏，例如撕裂和/或裂缝。控制器电路102可以检验学生网络502处的一个或多个输入图像。学生网络502基于人工神经层204的子集404，其可以将学生网络502的输入图像的物体分类为表示撕裂和/或裂缝。物体的分类可以表示在学生网络502的输出图像中。控制器电路102可以配置成基于学生网络502的输出图像识别代表损坏的至少一个共同物体。控制器电路102可以配置成沿双向通信链路自动发送警报，在显示器上显示警报等等。
在一个实施例中，提供了一种(例如压缩教师网络的)方法。所述方法包括获得教师网络，所述教师网络包括人工神经层，所述教师网络配置成自动识别通过所述人工神经层检验的图像中的一个或多个物体；在所述教师网络处接收任务图像集；用所述教师网络检验所述任务图像集；识别在用所述教师网络检验所述任务图像集期间被使用的人工神经层的子集；以及基于所述任务图像集定义学生网络。所述学生网络配置成自动识别通过所述子集检验的图像中的一个或多个物体。
可选地，所述定义操作包括调整不为所述子集的一部分的至少一层人工神经层的权重值。另外或者替代性地，权重值被调整成零。
可选地，所述定义操作包括去除不是所述子集的一部分的至少一层人工神经元层，使得所述学生网络包括相对于所述教师网络较少的人工神经层。
可选地，所述获得操作包括沿双向通信链路从远程服务器接收所述教师网络。
可选地，所述学生网络在存储器中的存储大小配置成相对于所述教师网络较小。
可选地，任务图像集包括第一物体。第一物体是裂缝或撕裂。
可选地，所述方法包括将学生网络传输至远程服务器。
在一个实施例中，提供了一种***(例如压缩***)。所述***包括存储器，所述存储器配置成存储教师网络、任务图像和学生网络。所述***还包括控制器电路。所述控制器电路配置成获得教师网络，所述教师网络包括人工神经层，所述教师网络配置成自动识别通过所述人工神经层检验的图像中的一个或多个物体；在所述教师网络处接收任务图像集；用所述教师网络检验所述任务图像集；识别在用所述教师网络检验所述任务图像集期间被使用的人工神经层的子集；以及基于所述任务图像集定义学生网络。所述学生网络配置成自动识别通过所述子集检验的图像中的一个或多个物体。
可选地，所述控制器电路配置成调整不是所述子集的一部分的至少一层人工神经层的权重值。另外或者替代性地，权重值被调整成零。
可选地，所述控制器电路配置成去除不是所述子集的一部分的至少一层人工神经层，使得所述学生网络包括相对于所述教师网络较少的人工神经层。
可选地，所述***包括通信电路，所述通信电路配置成保持与远程服务器的双向通信链路。所述控制器电路配置成沿双向通信链路从远程服务器获得教师网络。另外或替代性地，控制器电路配置成将学生网络传输到远程服务器。
可选地，学生网络的存储大小配置成相对于教师网络较小。
可选地，任务图像集包括第一物体。第一物体是裂缝或撕裂。
在一个实施例中，提供了一种(例如压缩教师网络的)方法。所述方法包括获得教师网络，所述教师网络包括人工神经层，所述教师网络配置成自动识别通过所述人工神经层检验的图像中的一个或多个物体；在所述教师网络处接收任务图像集；用所述教师网络检验所述任务图像集；以及识别在用所述教师网络检验所述任务图像集期间被使用的人工神经层的子集。所述方法还包括基于所述任务图像集通过以下步骤定义学生网络：(i)将不是所述子集的一部分的至少一层人工神经层的权重值调整为零；或(ii)去除不是所述子集的一部分的至少一层人工神经层。所述学生网络配置成自动识别通过所述人工神经层的子集检验的图像中的一个或多个物体。
可选地，所述获得操作包括沿双向通信链路从远程服务器接收所述教师网络。
可选地，所述学生网络在存储器中的存储大小配置成相对于所述教师网络较小。
可选地，所述任务图像集包括第一物体，所述第一物体是裂缝或撕裂。
如本文所使用，以单数形式叙述并且跟在词语“一”或“一个”后的元件或步骤应理解为不排除复数个所述元件或步骤，除非明确陈述此类排除。此外，对当前描述的主题的“一个实施例”的提及并非旨在解释为排除同样并有所述特征的额外实施例的存在。此外，除非明确地陈述为相反情况，否则“包括”或“具有”带有特定属性的一个元件或多个元件的实施例可以包括不带有那个属性的其它此类元件。
应了解，以上描述希望为说明性而非限制性的。举例来说，上述实施例(和/或其方面)可相互组合使用。另外，在不脱离本文所阐述主题的范围的情况下，可进行许多修改以使特定情形或材料适应所述主题的教示。虽然本文所描述的材料的尺寸和类型旨在界定所公开主题的参数，但其绝非是限制性的，而是示范性实施例。所属领域的技术人员在查阅以上描述后将会明白许多其它实施例。因此，本文所描述的主题的范围应参考所附权利要求书以及此类权利要求书有权要求的等效物的完整范围来确定。在所附权利要求书中，术语“包括(including)”和“其中(in which)”用作相应术语“包括(comprising)”和“其中(wherein)”的简明等效用语。此外，在所附权利要求书中，术语“第一”、“第二”和“第三”等仅用作标记，且并不希望对其对象强加数字要求。此外，下面的权利要求书的限制并不按照装置加功能格式编写，并且并非意图根据35 U.S.C.§112(f)来解释，除非这类权利要求限制明确使用短语“用于...的装置”加上没有其他结构的功能陈述。
本书面描述使用实例来公开本文所阐述的主题的若干实施例，包括最佳模式，并且还使所属领域的技术人员能够实践所公开主题的实施例，包括制造和使用所述装置或***并执行所述方法。本文所描述的主题的可获专利范围由权利要求书界定，且可包括所属领域的技术人员想到的其它实例。如果此类其它实例具有与权利要求书无异的字面措辞的结构要素，或如果它们包括与权利要求书的字面措辞无实质差异的等效结构要素，那么它们既定在权利要求范围内。

Claims (20)

1.一种方法，其包括：
获得教师网络，所述教师网络包括人工神经层，所述教师网络配置成自动识别通过所述人工神经层检验的图像中的一个或多个物体；
在所述教师网络处接收任务图像集；
用所述教师网络检验所述任务图像集；
识别在用所述教师网络检验所述任务图像集期间被使用的所述人工神经层的子集；
基于所述任务图像集定义学生网络，其中，所述学生网络配置成自动识别通过所述子集检验的图像中的一个或多个物体。
2.根据权利要求1所述的方法，其中，所述定义操作包括调整不为所述子集的一部分的所述人工神经层中的至少一层的权重值。
3.根据权利要求2所述的方法，其中，所述权重值被调整成零。
4.根据权利要求1所述的方法，其中，所述定义操作包括去除不是所述子集的一部分的所述人工神经层中的至少一层，使得所述学生网络包括相对于所述教师网络更少的人工神经层。
5.根据权利要求1所述的方法，其中，所述获得操作包括沿双向通信链路从远程服务器接收所述教师网络。
6.根据权利要求1所述的方法，其中，所述学生网络在存储器中的存储大小配置为相对于所述教师网络更小。
7.根据权利要求1所述的方法，其中，所述任务图像集包括第一物体，所述第一物体是裂缝或撕裂。
8.根据权利要求1所述的方法，其还包括将所述学生网络传输到远程服务器。
9.一种***，其包括：
存储器，所述存储器配置成存储教师网络、任务图像和学生网络；
控制器电路，所述控制器电路配置成：
获得教师网络，所述教师网络包括人工神经层，所述教师网络配置成自动识别通过所述人工神经层检验的图像中的一个或多个物体；
在所述教师网络处接收任务图像集；
用所述教师网络检验所述任务图像集；
识别在用所述教师网络检验所述任务图像集期间被使用的所述人工神经层的子集；
基于所述任务图像集定义学生网络，其中，所述学生网络配置成自动识别通过所述子集检验的图像中的一个或多个物体。
10.根据权利要求9所述的***，其中，所述控制器电路配置成调整不是所述子集的一部分的所述人工神经层中的至少一层的权重值。
11.根据权利要求10所述的***，其中，所述权重值被调整成零。
12.根据权利要求9所述的***，其中，所述控制器电路配置成去除不是所述子集的一部分的所述人工神经层中的至少一层，使得所述学生网络包括相对于所述教师网络更少的人工神经层。
13.根据权利要求9所述的***，其还包括通信电路，所述通信电路配置成保持与远程服务器的双向通信链路，其中，所述控制器电路配置成沿所述双向通信链路从所述远程服务器获得所述教师网络。
14.根据权利要求13所述的***，其中，所述控制器电路配置成将所述学生网络传输至所述远程服务器。
15.根据权利要求9所述的***，其中，所述学生网络的存储大小配置为相对于所述教师网络更小。
16.根据权利要求9所述的***，其中，所述任务图像集包括第一物体，所述第一物体是裂缝或撕裂。
17.一种方法，其包括：
获得教师网络，所述教师网络包括人工神经层，所述教师网络配置成自动识别通过所述人工神经层检验的图像中的一个或多个物体；
在所述教师网络处接收任务图像集；
用所述教师网络检验所述任务图像集；
识别在用所述教师网络检验所述任务图像集期间被使用的人工神经层的子集；
基于所述任务图像集由以下步骤定义学生网络：(i)将不是所述子集的一部分的所述人工神经层中的至少一层的权重值调整为零；或(ii)去除不是所述子集的一部分的所述人工神经层中的至少一层，其中，所述学生网络配置成自动识别通过所述人工神经层的子集检验的图像中的一个或多个物体。
18.根据权利要求17所述的方法，其中，所述获得操作包括沿双向通信链路从远程服务器接收所述教师网络。
19.根据权利要求17所述的方法，其中，所述学生网络在存储器中的存储大小配置为相对于所述教师网络更小。
20.根据权利要求17所述的方法，其中，所述任务图像集包括第一物体，所述第一物体是裂缝或撕裂。
CN201810364434.8A 2017-04-21 2018-04-20 神经网络*** Active CN108734283B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/493765 2017-04-21
US15/493,765 US10592725B2 (en) 2017-04-21 2017-04-21 Neural network systems

Publications (2)

Publication Number Publication Date
CN108734283A CN108734283A (zh) 2018-11-02
CN108734283B true CN108734283B (zh) 2023-06-09

Family

ID=62046664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810364434.8A Active CN108734283B (zh) 2017-04-21 2018-04-20 神经网络***

Country Status (5)

Country Link
US (1) US10592725B2 (zh)
EP (1) EP3392806A1 (zh)
CN (1) CN108734283B (zh)
CA (1) CA3001193A1 (zh)
SG (1) SG10201802739PA (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10497084B2 (en) * 2017-04-24 2019-12-03 Intel Corporation Efficient sharing and compression expansion of data across processing systems
US11216437B2 (en) 2017-08-14 2022-01-04 Sisense Ltd. System and method for representing query elements in an artificial neural network
CN112868033A (zh) * 2018-10-01 2021-05-28 谷歌有限责任公司 用于提供具有可调节计算需求的机器学习模型的***和方法
CN111179212B (zh) * 2018-11-10 2023-05-23 杭州凝眸智能科技有限公司 集成蒸馏策略和反卷积的微小目标检测片上实现方法
RU2697613C9 (ru) * 2018-11-20 2022-04-15 Хуавей Текнолоджис Ко., Лтд. Способ распознавания объектов с помощью нейронных сетей
US20200226458A1 (en) * 2019-01-10 2020-07-16 Mipsology SAS Optimizing artificial neural network computations based on automatic determination of a batch size
CN109886343B (zh) * 2019-02-26 2024-01-05 深圳市商汤科技有限公司 图像分类方法及装置、设备、存储介质
CN110097084B (zh) * 2019-04-03 2021-08-31 浙江大学 通过投射特征训练多任务学生网络的知识融合方法
CN110009052B (zh) * 2019-04-11 2022-11-18 腾讯科技（深圳）有限公司 一种图像识别的方法、图像识别模型训练的方法及装置
CN111291836B (zh) * 2020-03-31 2023-09-08 中国科学院计算技术研究所 一种生成学生网络模型的方法
CN112232506A (zh) * 2020-09-10 2021-01-15 北京迈格威科技有限公司 网络模型训练方法、图像目标识别方法、装置和电子设备
CN113869464B (zh) * 2021-12-02 2022-03-18 深圳佑驾创新科技有限公司 图像分类模型的训练方法及图像分类方法
CN114743243B (zh) * 2022-04-06 2024-05-31 平安科技（深圳）有限公司 基于人工智能的人脸识别方法、装置、设备及存储介质
CN117011617B (zh) * 2023-10-07 2024-03-22 之江实验室 基于二阶段教师-学生框架的肺结节检测装置及构建方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105681920A (zh) * 2015-12-30 2016-06-15 深圳市鹰硕音频科技有限公司 一种具有语音识别功能的网络教学方法及***
WO2016125126A2 (en) * 2015-02-06 2016-08-11 Ronen Tal-Botzer Semi-automated system and method for assessment of responses

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5845271A (en) * 1996-01-26 1998-12-01 Thaler; Stephen L. Non-algorithmically implemented artificial neural networks and components thereof
US20030118230A1 (en) * 2001-12-22 2003-06-26 Haoshi Song Coiled tubing inspection system using image pattern recognition
DE102005010076A1 (de) * 2005-03-04 2006-09-07 Siemens Ag Bildbearbeitungsverfahren für ein digitales medizinisches Untersuchungsbild und zugehörige Untersuchungseinrichtung
US7785180B1 (en) 2005-07-15 2010-08-31 Carnegie Mellon University Method, apparatus, and system for object recognition, object segmentation and knowledge acquisition
US20080281868A1 (en) 2007-02-26 2008-11-13 Connections Center Methods, apparatus and products for transferring knowledge
US8391603B2 (en) 2009-06-18 2013-03-05 Omisa Inc. System and method for image segmentation
US9235902B2 (en) * 2011-08-04 2016-01-12 University Of Southern California Image-based crack quantification
US20140025613A1 (en) 2012-07-20 2014-01-23 Filip Ponulak Apparatus and methods for reinforcement learning in large populations of artificial spiking neurons
JP5921990B2 (ja) 2012-08-23 2016-05-24 株式会社ニューフレアテクノロジー 欠陥検出方法
US9008840B1 (en) 2013-04-19 2015-04-14 Brain Corporation Apparatus and methods for reinforcement-guided supervised learning
US9189968B2 (en) * 2013-07-01 2015-11-17 Pearson Education, Inc. Network-probability recommendation system
US20150019468A1 (en) 2013-07-09 2015-01-15 Knowmtech, Llc Thermodynamic computing
US10417525B2 (en) * 2014-09-22 2019-09-17 Samsung Electronics Co., Ltd. Object recognition with reduced neural network weight precision
US20160132787A1 (en) 2014-11-11 2016-05-12 Massachusetts Institute Of Technology Distributed, multi-model, self-learning platform for machine learning
US10373054B2 (en) 2015-04-19 2019-08-06 International Business Machines Corporation Annealed dropout training of neural networks
US10438112B2 (en) * 2015-05-26 2019-10-08 Samsung Electronics Co., Ltd. Method and apparatus of learning neural network via hierarchical ensemble learning
US11423311B2 (en) 2015-06-04 2022-08-23 Samsung Electronics Co., Ltd. Automatic tuning of artificial neural networks
US9978374B2 (en) * 2015-09-04 2018-05-22 Google Llc Neural networks for speaker verification
US20170206434A1 (en) * 2016-01-14 2017-07-20 Ford Global Technologies, Llc Low- and high-fidelity classifiers applied to road-scene images
US9753949B1 (en) * 2016-03-14 2017-09-05 Shutterstock, Inc. Region-specific image download probability modeling
US10891541B2 (en) * 2016-05-16 2021-01-12 Canon Kabushiki Kaisha Devices, systems, and methods for feature encoding
US10510146B2 (en) * 2016-10-06 2019-12-17 Qualcomm Incorporated Neural network for image processing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016125126A2 (en) * 2015-02-06 2016-08-11 Ronen Tal-Botzer Semi-automated system and method for assessment of responses
CN105681920A (zh) * 2015-12-30 2016-06-15 深圳市鹰硕音频科技有限公司 一种具有语音识别功能的网络教学方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
欧阳林群 ; .人工神经网络在教学质量评估体系中的应用研究.南平师专学报.2006,(第02期),全文. *

Also Published As

Publication number Publication date
US10592725B2 (en) 2020-03-17
EP3392806A1 (en) 2018-10-24
SG10201802739PA (en) 2018-11-29
US20180307894A1 (en) 2018-10-25
CA3001193A1 (en) 2018-10-21
CN108734283A (zh) 2018-11-02

Similar Documents

Publication Publication Date Title
CN108734283B (zh) 神经网络***
US10878283B2 (en) Data generation apparatus, data generation method, and data generation program
CN110728209B (zh) 一种姿态识别方法、装置、电子设备及存储介质
CN107832684B (zh) 一种具有自主学习能力的智能静脉认证方法和***
CN112395978B (zh) 行为检测方法、装置及计算机可读存储介质
CN105719188B (zh) 基于多张图片一致性实现保险理赔反欺诈的方法及服务器
US20180336454A1 (en) Neural network systems
US10621717B2 (en) System and method for image-based target object inspection
CN113095438B (zh) 晶圆缺陷分类方法及其装置、***、电子设备和存储介质
CN110781836A (zh) 人体识别方法、装置、计算机设备及存储介质
US20170243058A1 (en) Gait recognition method based on deep learning
CN108664840A (zh) 图像识别方法及装置
CN109359666A (zh) 一种基于多特征融合神经网络的车型识别方法及处理终端
CN110580475A (zh) 基于无人机巡检的线路诊断方法、电子装置及存储介质
CN111401418A (zh) 一种基于改进Faster r-cnn的员工着装规范检测方法
CN109598298B (zh) 图像物体识别方法和***
CN110059579B (zh) 用于活体检验的方法和装置，电子设备和存储介质
CN113869449A (zh) 一种模型训练、图像处理方法、装置、设备及存储介质
CN117355038B (zh) 用于线路板软板的x型孔加工方法及其***
CN111666848B (zh) 运输车辆到站检测方法、装置、设备及存储介质
CN109145752A (zh) 用于评估对象检测和跟踪算法的方法、装置、设备和介质
CN112560880A (zh) 目标分类方法、目标分类装置及计算机可读存储介质
CN111178310A (zh) 手掌特征识别方法、装置、计算机设备和存储介质
CN115984158A (zh) 缺陷分析方法、装置、电子设备及计算机可读存储介质
CN116051539A (zh) 一种变电设备发热故障的诊断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant