CN106022472A - 一种嵌入式深度学习处理器 - Google Patents

一种嵌入式深度学习处理器 Download PDF

Info

Publication number
CN106022472A
CN106022472A CN201610342944.6A CN201610342944A CN106022472A CN 106022472 A CN106022472 A CN 106022472A CN 201610342944 A CN201610342944 A CN 201610342944A CN 106022472 A CN106022472 A CN 106022472A
Authority
CN
China
Prior art keywords
degree
deep learning
processor
depth
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610342944.6A
Other languages
English (en)
Inventor
史传进
陈迟晓
张怡云
马睿
丁宏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN201610342944.6A priority Critical patent/CN106022472A/zh
Publication of CN106022472A publication Critical patent/CN106022472A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Machine Translation (AREA)

Abstract

本发明属于集成电路技术领域，具体为一种嵌入式深度学习处理器。该深度学习处理器包括：中央处理器（CPU），完成处理器学习和运行过程中必要的逻辑运算、控制及存储工作；深度学习单元，深度学习算法的硬件实现单元，是进行深度学习处理的核心部件。该深度学习处理器结合传统CPU与深度学习组合单元，其中深度学习组合单元可由多个深度学习单元任意组合，具有可扩展性，可针对不同的计算规模，作为人工智能应用的核心处理器。

Description

一种嵌入式深度学习处理器
技术领域
本发明属于集成电路技术领域，具体涉及一种嵌入式深度学习处理器。
背景技术
深度学***的单项测试中超越人类智能，比如工业机器人、人脸识别、虹膜识别等。随着计算机、互联网技术的发展，谷歌、百度等公司陆续推出“AlphaGo”“百度大脑”等深度学习程序，推动着人工智能的不断进步。
深度学习的提出使得人工神经网络重新成为机器学习最重要的算法之一，在传统的人工神经网络训练中增加了一个预训练阶段，即用无监督学习对每一层网络进行一次专门的训练，然后才用有监督学习对整个网络进行总体训练，也就是说计算机通过深度神经网络，模拟人脑的机制来学习、判断、决策。通过深度学习方法，人工神经网络的效果一举赶上甚至显著超过了支持向量机等其他机器学习方法。近年来，这种方法已被应用于许多领域，在IBM、谷歌、微软、科大讯飞、百度等公司很多工业级图像和语音处理应用上取得了非常好的效果，在近期和未来都将是人工智能领域的一个热点研究方向。
当今的深度学习处理多由大量的CPU及GPU堆积成大型运算工作站，在软件层面实现深度学习算法，直至2016年中国科学院计算机所发布了寒武纪神经网络处理器，真正在硬件层面上实现了深度学习，其采用特有的深度学习处理器指令集，从运算速度到硬件架构上都有了质的飞跃。但是寒武纪的缺点在于它无法扩展，一款芯片只能针对一种特定的计算规模，甚至针对一种应用，这对于人工智能在生活方方面面的推广带来了阻碍，将耗费大量的时间及人力成本。
发明内容
本发明的目的在于提供一种能够克服上述现有技术的缺点嵌入式深度学习处理器。
本发明提供的嵌入式深度学习处理器，其包括：
中央处理器，用于完成处理器学习和运行过程中必要的逻辑运算、控制及存储工作；
深度学习组合单元，用于实现深度学习算法的硬件单元，进行深度学习处理的核心部件。
具体地，所述深度学习组合单元可由多个深度学习单元以各种形式组成。
所述深度学习单元为深度学习算法的硬件实现，包括卷积神经网络（CNN）单元或GRU单元等。
所述深度学习处理器具有可扩展性，即通过增加所述深度学习组合单元的数量或级联所述中央处理器，扩大计算规模。
本发明的技术效果是，通过结合传统CPU与深度学习组合单元，其中深度学习组合单元可由多个深度学习单元任意组合，具有可扩展性，可针对不同的计算规模，作为人工智能应用的核心处理器。
附图说明
图1是本发明的嵌入式深度学习处理器的硬件结构示意图。
图2至图4是深度学习组合单元的组合结构示例图。
具体实施方式
在下文中结合图示在参考实施例中更完全地描述本发明，本发明提供优选实施例，但不应该被认为仅限于在此阐述的实施例。
图1所示为本发明嵌入式深度学习处理器的硬件结构示意图，由CPU 11和若干深度学习组合单元12组成，两者协同处理，实现深度学习。深度学习组合单元可以仅为单个深度学习单元，如CNN(Convolutional Neural Network)单元或GRU(Gated Recurrent Unit)单元；也可以为多个深度学习单元组合而成，如图2至图4的示例图，单元互相级联或并联，达到所需的运算和学习效果。
正是由于深度学习组合单元的自由度，在本发明的硬件结构上，可以添加、删减或任意组合深度学习单元，也可以将CPU级联，具有可扩展性，从而达到对不同运算规模的适应性，可广泛应用于深度学习人工智能的各个领域。
以上通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

Claims (4)

1. 一种嵌入式深度学习处理器，其特征在于，包括：
中央处理器，完成处理器学习和运行过程中必要的逻辑运算、控制及存储工作；
深度学习组合单元，实现深度学习算法的硬件单元，是进行深度学习处理的核心部件。
2. 如权利要求1所述的嵌入式深度学习处理器， 其特征在于，所述深度学习组合单元由多个深度学习单元以各种形式组成。
3. 如权利要求2所述的嵌入式深度学习处理器，其特征在于，所述深度学习单元包括卷积神经网络单元或GRU单元。
4. 如权利要求1所述的嵌入式深度学习处理器，其特征在于，通过增加所述深度学习组合单元的数量或级联所述中央处理器，扩大计算规模。
CN201610342944.6A 2016-05-23 2016-05-23 一种嵌入式深度学习处理器 Pending CN106022472A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610342944.6A CN106022472A (zh) 2016-05-23 2016-05-23 一种嵌入式深度学习处理器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610342944.6A CN106022472A (zh) 2016-05-23 2016-05-23 一种嵌入式深度学习处理器

Publications (1)

Publication Number Publication Date
CN106022472A true CN106022472A (zh) 2016-10-12

Family

ID=57096555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610342944.6A Pending CN106022472A (zh) 2016-05-23 2016-05-23 一种嵌入式深度学习处理器

Country Status (1)

Country Link
CN (1) CN106022472A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909970A (zh) * 2017-01-12 2017-06-30 南京大学 一种基于近似计算的二值权重卷积神经网络硬件加速器计算模块
CN108320022A (zh) * 2018-01-23 2018-07-24 深圳市易成自动驾驶技术有限公司 深度学习***构建方法、装置、深度学习***及存储介质
CN109711540A (zh) * 2018-12-20 2019-05-03 北京中科寒武纪科技有限公司 一种计算装置及板卡
WO2019141014A1 (zh) * 2018-01-16 2019-07-25 腾讯科技（深圳）有限公司 基于芯片的指令集处理方法、装置及存储介质
WO2021031137A1 (zh) * 2019-08-21 2021-02-25 深圳鲲云信息科技有限公司 人工智能应用开发***、计算机设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004622A (zh) * 2010-11-17 2011-04-06 广东威创视讯科技股份有限公司 一种多处理器显示***及其方法
CN104732274A (zh) * 2015-03-10 2015-06-24 华南理工大学 一种智能计算机
CN204595919U (zh) * 2015-01-27 2015-08-26 福建师范大学 一种嵌入式人工神经网络处理器的接口装置
CN105184366A (zh) * 2015-09-15 2015-12-23 中国科学院计算技术研究所 一种时分复用的通用神经网络处理器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004622A (zh) * 2010-11-17 2011-04-06 广东威创视讯科技股份有限公司 一种多处理器显示***及其方法
CN204595919U (zh) * 2015-01-27 2015-08-26 福建师范大学 一种嵌入式人工神经网络处理器的接口装置
CN104732274A (zh) * 2015-03-10 2015-06-24 华南理工大学 一种智能计算机
CN105184366A (zh) * 2015-09-15 2015-12-23 中国科学院计算技术研究所 一种时分复用的通用神经网络处理器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YUNJI CHEN, ET AL.: "（DaDianNao: A Machine – Learning Supercomputer", 《IEEE/ACE INTERNATIONAL SYMPOSIUM ON MICROARCHITECTURE》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909970A (zh) * 2017-01-12 2017-06-30 南京大学 一种基于近似计算的二值权重卷积神经网络硬件加速器计算模块
CN106909970B (zh) * 2017-01-12 2020-04-21 南京风兴科技有限公司 一种基于近似计算的二值权重卷积神经网络硬件加速器计算装置
WO2019141014A1 (zh) * 2018-01-16 2019-07-25 腾讯科技（深圳）有限公司 基于芯片的指令集处理方法、装置及存储介质
US10877924B2 (en) 2018-01-16 2020-12-29 Tencent Technology (Shenzhen) Company Limited Instruction set processing method based on a chip architecture and apparatus, and storage medium
CN108320022A (zh) * 2018-01-23 2018-07-24 深圳市易成自动驾驶技术有限公司 深度学习***构建方法、装置、深度学习***及存储介质
CN109711540A (zh) * 2018-12-20 2019-05-03 北京中科寒武纪科技有限公司 一种计算装置及板卡
WO2021031137A1 (zh) * 2019-08-21 2021-02-25 深圳鲲云信息科技有限公司 人工智能应用开发***、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
Kendall et al. The building blocks of a brain-inspired computer
Shu et al. Host–parasite: Graph LSTM-in-LSTM for group activity recognition
Zhang et al. Rectified linear postsynaptic potential function for backpropagation in deep spiking neural networks
CN106022472A (zh) 一种嵌入式深度学习处理器
Song et al. On the universality and non-universality of spiking neural P systems with rules on synapses
Furber et al. Neural systems engineering
Srinivasa et al. Neuromorphic adaptive plastic scalable electronics: analog learning systems
Mikaitis et al. Neuromodulated synaptic plasticity on the SpiNNaker neuromorphic system
Lake et al. People infer recursive visual concepts from just a few examples
Krishnaswamy et al. Combining deep learning and qualitative spatial reasoning to learn complex structures from sparse examples with noise
Furber Brain‐inspired computing
CN107909042A (zh) 一种连续手势切分识别方法
Xu et al. A novel memetic whale optimization algorithm for optimization
CN109447096A (zh) 一种基于机器学习的扫视路径预测方法和装置
Yu et al. Hybrid attention-oriented experience replay for deep reinforcement learning and its application to a multi-robot cooperative hunting problem
Xiao Artificial intelligence programming with Python: from zero to hero
Yang An improved artificial fish swarm algorithm and its application in multiple sequence alignment
CN112884125A (zh) 迁移强化学习控制方法、***、存储介质、设备及应用
Zhao et al. Shuffled frog–leaping algorithm using elite opposition–based learning
Das et al. Study of spiking neural network architecture for neuromorphic computing
Ivković et al. Exploring the potential of new AI-enabled MCU/SOC systems with integrated NPU/GPU accelerators for disconnected Edge computing applications: towards cognitive SNN Neuromorphic computing
Li et al. Transferable xcs
Rast et al. A hardware/application overlay model for large-scale neuromorphic simulation
Li et al. Diversity collaboratively guided random drift particle swarm optimization
DeBenedictis Rebooting Computers as Learning Machines

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20161012

RJ01 Rejection of invention patent application after publication