JP7346510B2 - ニューラルネットワークプロセッサにおけるベクトル計算ユニット - Google Patents
ニューラルネットワークプロセッサにおけるベクトル計算ユニット Download PDFInfo
- Publication number
- JP7346510B2 JP7346510B2 JP2021148010A JP2021148010A JP7346510B2 JP 7346510 B2 JP7346510 B2 JP 7346510B2 JP 2021148010 A JP2021148010 A JP 2021148010A JP 2021148010 A JP2021148010 A JP 2021148010A JP 7346510 B2 JP7346510 B2 JP 7346510B2
- Authority
- JP
- Japan
- Prior art keywords
- values
- pool
- circuit
- value
- pooling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F5/00—Methods or arrangements for data conversion without changing the order or content of the data handled
- G06F5/06—Methods or arrangements for data conversion without changing the order or content of the data handled for changing the speed of data flow, i.e. speed regularising or timing, e.g. delay lines, FIFO buffers; over- or underrun control therefor
- G06F5/08—Methods or arrangements for data conversion without changing the order or content of the data handled for changing the speed of data flow, i.e. speed regularising or timing, e.g. delay lines, FIFO buffers; over- or underrun control therefor having a sequence of storage locations, the intermediate ones not being accessible for either enqueue or dequeue operations, e.g. using a shift register
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Complex Calculations (AREA)
- Advance Control (AREA)
- Image Processing (AREA)
- Multi Processors (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Analysis (AREA)
Description
本明細書は、ハードウェアにおいてニューラルネットワーク推測値を計算することに関する。
全体として、本明細書では、ニューラルネットワーク推測値を計算する特定目的ハードウェア回路について説明する。
正規化値を格納し、上記プール回路は、全てのクロックサイクルの後に、所与の正規化値を後続のレジスタまたはメモリユニットにシフトするように構成され、上記プール回路は、上記正規化値から上記プール値を生成するように構成される。プール回路は、上記活性化値を受け取るように構成され、上記活性化値をプールしてプール値を生成するように構成される。上記プール回路は、上記複数の活性化値を複数のレジスタおよび複数のメモリユニットに格納するように構成され、上記複数のレジスタおよび上記複数のメモリユニットは、直列に接続され、各々のレジスタは、1つの正規化値を格納し、各々のメモリユニットは、複数の活性化値を格納し、上記プール回路は、全てのクロックサイクルの後に、所与の活性化値を後続のレジスタまたはメモリユニットにシフトするように構成され、上記プール回路は、上記活性化値から上記プール値を生成するように構成される。
本明細書の主題の1つ以上の実施形態の詳細が添付の図面および以下の説明に記載されている。主題の他の特徴、局面および利点は、説明、図面および特許請求の範囲から明らかになるであろう。
詳細な説明
複数の層を有するニューラルネットワークは、推測値の計算に使用することができる。たとえば、入力を前提として、ニューラルネットワークは当該入力について推測値を計算することができる。ニューラルネットワークは、ニューラルネットワークの各層を介して入力を処理することによってこの推測値を計算する。特に、ニューラルネットワークの層は、各々が重みのそれぞれのセットを有する状態で、ある順序で配置される。各層は、入力を受け取って、当該層の重みのセットに従って入力を処理して、出力を生成する。
理して、推測値を生成し、1つのニューラルネットワーク層からの出力は、次のニューラルネットワーク層への入力として提供される。ニューラルネットワーク層へのデータ入力、たとえばニューラルネットワークへの入力または当該順序内の当該層の下方にある層の、ニューラルネットワーク層への出力、は、当該層への活性化入力と称することができる。
ットとのドット積を計算することができる。
、たとえば乗算および加算を実行することができる他の回路であってもよい。いくつかの実現例では、行列計算ユニット212は、汎用行列プロセッサである。
いては、図4を参照して以下でさらに説明する。
号に基づいて重み入力を重みレジスタ402に送信することができる。重みレジスタ402は、たとえば活性化レジスタ406を介して複数のクロックサイクルにわたって活性化入力がセルに送信されるときに重み入力がセル内にとどまって隣接するセルに送信されないように、重み入力を静的に格納することができる。したがって、重み入力は、たとえば乗算回路408を使用して複数の活性化入力に適用可能であり、それぞれの累積値は、隣接するセルに送信されることができる。
,0のための正規化値であり得る。
性化値802とを掛け合わせて、正規化値を生成することができる。いくつかの実現例では、正規化値は、次いで、プール回路、たとえば図5のプール回路508に送られる。
つかの実現例では、プール回路は、新たな正規化値が最後の最上部のレジスタ、たとえばレジスタ916に格納されるまで新たな正規化値をシフトする。
コンピュータによって実行されてもよく、当該1つ以上のプログラム可能なコンピュータは、入力データ上で動作して出力を生成することによって機能を実行するように1つ以上のコンピュータプログラムを実行する。また、当該プロセスおよび論理フローは、特定目的論理回路、たとえばFPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によって実行されてもよく、装置は、特定目的論理回路、たとえばFPGAまたはASICとして実現されてもよい。
:GPS)受信機で実施されてもよく、または携帯型記憶装置、たとえばユニバーサルシリアルバス(universal serial bus:USB)フラッシュドライブで実施されてもよい。
と対話できるグラフィカルユーザインターフェイスもしくはウェブブラウザを有するクライアントコンピュータを含む計算システムで実現されてもよく、または1つ以上のこのようなバックエンドコンポーネント、ミドルウェアコンポーネントもしくはフロントエンドコンポーネントのいずれかの組み合わせを含む計算システムで実現されてもよい。当該システムのコンポーネント同士は、デジタルデータ通信のいずれかの形態または媒体、たとえば通信ネットワークによって相互接続されてもよい。通信ネットワークの例としては、ローカルエリアネットワーク(local area network:LAN)および広域ネットワーク(wide area network:WAN)、たとえばインターネットが挙げられる。
Claims (17)
- ニューラルネットワーク計算を実行するための回路であって、
ベクトル計算ユニットを備え、前記ベクトル計算ユニットは、
プール回路を含み、前記プール回路は、
ニューラルネットワーク層の計算出力である値のセットを、前記ベクトル計算ユニットに含まれる他の回路から受け取るように構成され、
前記値のセットに対して特定のプール関数を実行するように構成され、前記特定のプール関数は、前記値のセットにおける1つ以上の値をプールするために使用され、
前記プール回路は、さらに、前記値のセットにおける前記1つ以上の値をプールするために使用される前記特定のプール関数に基づいてプール値を生成するように構成され、
前記特定のプール関数は、前記ベクトル計算ユニットによって受け取られる制御信号によって複数のプール関数の中から指定され、前記制御信号は、前記値のセットにおける前記1つ以上の値をプールするために前記プール回路によって使用される1つ以上のパラメータを指定し、少なくとも1つのパラメータは、特定のニューラルネットワーク層のためのストライド値を備える、回路。 - 前記値のセットは、正規化値を備え、前記プール回路は、集約回路を備え、
前記集約回路は、集約関数を前記正規化値のうちの1つ以上に適用して前記プール値を生成するように構成され、前記集約関数は、前記値のセットにおける前記1つ以上の値をプールするために使用される前記特定のプール関数を表す、請求項1に記載の回路。 - 前記集約関数は、前記プール回路に、前記値のセットにおける前記正規化値の最大値、最小値もしくは平均値、または前記値のセットにおける前記正規化値のサブセットの最大値、最小値もしくは平均値を返させるように動作可能である、請求項2に記載の回路。
- 前記プール回路は、さらに、前記特定のプール関数に基づいて値のM×Nセットのプールを実行するように構成され、MおよびNの各々は、1以上の整数である、請求項1~3のいずれか1項に記載の回路。
- 前記ベクトル計算ユニットは、複数の並列プール回路を含み、
前記複数の並列プール回路の各プール回路は、所与のクロックサイクルにわたって、前記値のセットからそれぞれの要素を受け取るように構成される、請求項1~4のいずれか1項に記載の回路。 - 前記プール回路は、さらに、前記プール回路に含まれる複数のレジスタおよび複数のメモリユニットに前記値のセットを格納するように構成され、
前記複数のレジスタおよび前記複数のメモリユニットは、直列に接続され、
各レジスタは、前記値のセットのうちの1つの値を格納するように構成され、各メモリユニットは、前記値のセットのうちの複数の値を格納するように構成される、請求項1~5のいずれか1項に記載の回路。 - 前記プール回路は、毎クロックサイクル後に、前記値のセットにおける所与の値を前記プール回路の後続のレジスタまたはメモリユニットにシフトして、前記値のセットから前記プール値を生成するように構成される、請求項6に記載の回路。
- 前記値のセットは、累積値のベクトルを備え、
前記プール回路は、前記ベクトル計算ユニットによって受け取られる制御信号によって指定される特定のプール関数に基づいて前記プール値を生成する、請求項1~7のいずれか1項に記載の回路。 - ニューラルネットワーク計算を実行するための方法であって、
ベクトル計算ユニットに含まれるプール回路が、前記ニューラルネットワーク計算を実行するための値のセットを受け取るステップと、
前記プール回路が、前記値のセットに対して特定のプール関数を実行するステップとを備え、前記特定のプール関数は、前記値のセットにおける1つ以上の値をプールするために使用され、前記方法は、さらに、
前記プール回路が、前記値のセットにおける前記1つ以上の値をプールするために使用される前記特定のプール関数に基づいてプール値を生成するステップと、
前記プール回路が、前記ベクトル計算ユニットに含まれる他の回路に前記プール値を提供して、前記ニューラルネットワーク計算を実行するステップとを備え、
前記特定のプール関数は、前記ベクトル計算ユニットによって受け取られる制御信号によって複数のプール関数の中から指定され、前記制御信号は、前記値のセットにおける前記1つ以上の値をプールするために前記プール回路によって使用される1つ以上のパラメータを指定し、少なくとも1つのパラメータは、特定のニューラルネットワーク層のためのストライド値を備える、方法。 - 前記値のセットは、正規化値を備え、
前記方法は、さらに、
前記プール回路が、集約関数を前記正規化値のうちの1つ以上に適用して前記プール値を生成するステップを備え、
前記集約関数は、前記値のセットにおける前記1つ以上の値をプールするために使用される前記特定のプール関数を表す、請求項9に記載の方法。 - 前記集約関数は、前記プール回路に、前記値のセットにおける前記正規化値の最大値、最小値もしくは平均値、または前記値のセットにおける前記正規化値のサブセットの最大値、最小値もしくは平均値を返させるように動作可能である、請求項10に記載の方法。
- 前記プール回路が、前記プール回路に含まれる複数のレジスタおよび複数のメモリユニットに前記値のセットを格納するステップをさらに備え、
前記複数のレジスタおよび前記複数のメモリユニットは、直列に接続され、
各レジスタは、前記値のセットのうちの1つの値を格納するように構成され、各メモリユニットは、前記値のセットのうちの複数の値を格納するように構成される、請求項9~11のいずれか1項に記載の方法。 - 前記プール回路が、毎クロックサイクル後に、前記値のセットにおける所与の値を前記プール回路の後続のレジスタまたはメモリユニットにシフトして、前記値のセットから前記プール値を生成するステップをさらに備える、請求項12に記載の方法。
- 前記プール値を生成するステップは、前記ベクトル計算ユニットによって受け取られる制御信号によって指定される特定のプール関数に基づいて前記プール値を生成するステップを備える、請求項9~13のいずれか1項に記載の方法。
- 前記値のセットに対して前記特定のプール関数を実行するステップは、前記特定のプール関数に基づいて値のM×Nセットのプールを実行するステップを備え、MおよびNの各々は、1以上の整数である、請求項9~14のいずれか1項に記載の方法。
- ニューラルネットワーク計算を実行するための命令を格納するための非一時的な機械読取可能な記憶装置であって、前記命令は、動作を実行させるようにプロセッサによって実行可能であり、前記動作は、
ベクトル計算ユニットに含まれるプール回路が、前記ニューラルネットワーク計算を実行するための値のセットを受け取るステップと、
前記プール回路が、前記値のセットに対して特定のプール関数を実行するステップとを備え、
前記特定のプール関数は、前記値のセットにおける1つ以上の値をプールするために使用され、前記動作は、さらに、
前記プール回路が、前記値のセットにおける前記1つ以上の値をプールするために使用される前記特定のプール関数に基づいてプール値を生成するステップと、
前記プール回路が、前記ベクトル計算ユニットに含まれる他の回路に前記プール値を提供して、前記ニューラルネットワーク計算を実行するステップとを備え、
前記特定のプール関数は、前記ベクトル計算ユニットによって受け取られる制御信号によって複数のプール関数の中から指定され、前記制御信号は、前記値のセットにおける前記1つ以上の値をプールするために前記プール回路によって使用される1つ以上のパラメータを指定し、少なくとも1つのパラメータは、特定のニューラルネットワーク層のためのストライド値を備える、非一時的な機械読取可能な記憶装置。 - コンピュータによって実行されるプログラムであって、前記プログラムは、前記コンピュータに、請求項9~15のいずれか1項に記載の方法を実行させる、プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023144224A JP2023169224A (ja) | 2015-05-21 | 2023-09-06 | ニューラルネットワークプロセッサにおけるベクトル計算ユニット |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562165022P | 2015-05-21 | 2015-05-21 | |
US62/165,022 | 2015-05-21 | ||
US14/845,117 US10192162B2 (en) | 2015-05-21 | 2015-09-03 | Vector computation unit in a neural network processor |
US14/845,117 | 2015-09-03 | ||
JP2019142868A JP7000387B2 (ja) | 2015-05-21 | 2019-08-02 | ニューラルネットワークプロセッサにおけるベクトル計算ユニット |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019142868A Division JP7000387B2 (ja) | 2015-05-21 | 2019-08-02 | ニューラルネットワークプロセッサにおけるベクトル計算ユニット |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023144224A Division JP2023169224A (ja) | 2015-05-21 | 2023-09-06 | ニューラルネットワークプロセッサにおけるベクトル計算ユニット |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022000782A JP2022000782A (ja) | 2022-01-04 |
JP2022000782A5 JP2022000782A5 (ja) | 2022-02-17 |
JP7346510B2 true JP7346510B2 (ja) | 2023-09-19 |
Family
ID=56069218
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017550887A Active JP6615902B2 (ja) | 2015-05-21 | 2016-04-29 | ニューラルネットワークプロセッサにおけるベクトル計算ユニット |
JP2019142868A Active JP7000387B2 (ja) | 2015-05-21 | 2019-08-02 | ニューラルネットワークプロセッサにおけるベクトル計算ユニット |
JP2021148010A Active JP7346510B2 (ja) | 2015-05-21 | 2021-09-10 | ニューラルネットワークプロセッサにおけるベクトル計算ユニット |
JP2023144224A Pending JP2023169224A (ja) | 2015-05-21 | 2023-09-06 | ニューラルネットワークプロセッサにおけるベクトル計算ユニット |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017550887A Active JP6615902B2 (ja) | 2015-05-21 | 2016-04-29 | ニューラルネットワークプロセッサにおけるベクトル計算ユニット |
JP2019142868A Active JP7000387B2 (ja) | 2015-05-21 | 2019-08-02 | ニューラルネットワークプロセッサにおけるベクトル計算ユニット |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023144224A Pending JP2023169224A (ja) | 2015-05-21 | 2023-09-06 | ニューラルネットワークプロセッサにおけるベクトル計算ユニット |
Country Status (12)
Country | Link |
---|---|
US (4) | US10192162B2 (ja) |
EP (2) | EP4276690A1 (ja) |
JP (4) | JP6615902B2 (ja) |
KR (4) | KR102379700B1 (ja) |
CN (2) | CN107533667B (ja) |
DE (2) | DE112016002296T5 (ja) |
DK (1) | DK3298545T3 (ja) |
FI (1) | FI3298545T3 (ja) |
GB (2) | GB2553055B (ja) |
HK (1) | HK1245954A1 (ja) |
TW (2) | TWI591490B (ja) |
WO (1) | WO2016186813A1 (ja) |
Families Citing this family (82)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10192162B2 (en) | 2015-05-21 | 2019-01-29 | Google Llc | Vector computation unit in a neural network processor |
GB201607713D0 (en) * | 2016-05-03 | 2016-06-15 | Imagination Tech Ltd | Convolutional neural network |
KR20180034853A (ko) * | 2016-09-28 | 2018-04-05 | 에스케이하이닉스 주식회사 | 합성곱 신경망의 연산 장치 및 방법 |
US10037490B2 (en) * | 2016-12-13 | 2018-07-31 | Google Llc | Performing average pooling in hardware |
US10032110B2 (en) * | 2016-12-13 | 2018-07-24 | Google Llc | Performing average pooling in hardware |
US10521488B1 (en) | 2016-12-30 | 2019-12-31 | X Development Llc | Dynamic partitioning |
JP6740920B2 (ja) * | 2017-02-01 | 2020-08-19 | 株式会社デンソー | 演算処理装置 |
EP3563307B1 (en) | 2017-02-23 | 2023-04-12 | Cerebras Systems Inc. | Accelerated deep learning |
US10896367B2 (en) * | 2017-03-07 | 2021-01-19 | Google Llc | Depth concatenation using a matrix computation unit |
US10909447B2 (en) | 2017-03-09 | 2021-02-02 | Google Llc | Transposing neural network matrices in hardware |
US10108581B1 (en) | 2017-04-03 | 2018-10-23 | Google Llc | Vector reduction processor |
WO2018193361A1 (en) | 2017-04-17 | 2018-10-25 | Cerebras Systems Inc. | Microthreading for accelerated deep learning |
WO2018193354A1 (en) * | 2017-04-17 | 2018-10-25 | Cerebras Systems Inc. | Wavelet representation for accelerated deep learning |
US11488004B2 (en) | 2017-04-17 | 2022-11-01 | Cerebras Systems Inc. | Neuron smearing for accelerated deep learning |
DE102018110607A1 (de) | 2017-05-08 | 2018-11-08 | Nvidia Corporation | Verallgemeinerte Beschleunigung von Matrix-Multiplikations-und-Akkumulations-Operationen |
US10338919B2 (en) | 2017-05-08 | 2019-07-02 | Nvidia Corporation | Generalized acceleration of matrix multiply accumulate operations |
EP3500945B1 (en) | 2017-05-17 | 2020-09-30 | Google LLC | Low latency matrix multiply unit |
WO2018213636A1 (en) * | 2017-05-17 | 2018-11-22 | Google Llc | Performing matrix multiplication in hardware |
TWI769810B (zh) * | 2017-05-17 | 2022-07-01 | 美商谷歌有限責任公司 | 特殊用途神經網路訓練晶片 |
CN107146616B (zh) * | 2017-06-13 | 2020-05-08 | Oppo广东移动通信有限公司 | 设备控制方法及相关产品 |
CN109284821B (zh) * | 2017-07-19 | 2022-04-12 | 华为技术有限公司 | 一种神经网络运算装置 |
US10671349B2 (en) | 2017-07-24 | 2020-06-02 | Tesla, Inc. | Accelerated mathematical engine |
US11409692B2 (en) * | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
US11157287B2 (en) | 2017-07-24 | 2021-10-26 | Tesla, Inc. | Computational array microprocessor system with variable latency memory access |
US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
US11157441B2 (en) | 2017-07-24 | 2021-10-26 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
TWI653584B (zh) | 2017-09-15 | 2019-03-11 | 中原大學 | 利用非揮發性記憶體完成類神經網路訓練的方法 |
GB2568230B (en) * | 2017-10-20 | 2020-06-03 | Graphcore Ltd | Processing in neural networks |
KR102586173B1 (ko) * | 2017-10-31 | 2023-10-10 | 삼성전자주식회사 | 프로세서 및 그 제어 방법 |
KR102424962B1 (ko) | 2017-11-15 | 2022-07-25 | 삼성전자주식회사 | 병렬 연산 처리를 수행하는 메모리 장치 및 이를 포함하는 메모리 모듈 |
US10599975B2 (en) | 2017-12-15 | 2020-03-24 | Uber Technologies, Inc. | Scalable parameter encoding of artificial neural networks obtained via an evolutionary process |
US11360930B2 (en) | 2017-12-19 | 2022-06-14 | Samsung Electronics Co., Ltd. | Neural processing accelerator |
US20190205738A1 (en) * | 2018-01-04 | 2019-07-04 | Tesla, Inc. | Systems and methods for hardware-based pooling |
KR102637735B1 (ko) * | 2018-01-09 | 2024-02-19 | 삼성전자주식회사 | 근사 곱셈기를 구비하는 뉴럴 네트워크 처리 장치 및 이를 포함하는 시스템온 칩 |
CN108182471B (zh) * | 2018-01-24 | 2022-02-15 | 上海岳芯电子科技有限公司 | 一种卷积神经网络推理加速器及方法 |
US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
US11164073B2 (en) * | 2018-02-08 | 2021-11-02 | Western Digital Technologies, Inc. | Systolic neural network processor with feedback control |
US10796198B2 (en) * | 2018-02-08 | 2020-10-06 | Western Digital Technologies, Inc. | Adjusting enhancement coefficients for neural network engine |
US11907834B2 (en) | 2018-02-14 | 2024-02-20 | Deepmentor Inc | Method for establishing data-recognition model |
TWI659324B (zh) * | 2018-02-14 | 2019-05-11 | 倍加科技股份有限公司 | 電路規劃結果產生方法與系統 |
SG11202007532TA (en) * | 2018-02-16 | 2020-09-29 | Governing Council Univ Toronto | Neural network accelerator |
CN110415157B (zh) * | 2018-04-26 | 2024-01-30 | 华为技术有限公司 | 一种矩阵乘法的计算方法及装置 |
US11537838B2 (en) | 2018-05-04 | 2022-12-27 | Apple Inc. | Scalable neural network processing engine |
US11487846B2 (en) | 2018-05-04 | 2022-11-01 | Apple Inc. | Performing multiply and accumulate operations in neural network processor |
US10440341B1 (en) | 2018-06-07 | 2019-10-08 | Micron Technology, Inc. | Image processor formed in an array of memory cells |
US11501140B2 (en) * | 2018-06-19 | 2022-11-15 | International Business Machines Corporation | Runtime reconfigurable neural network processor core |
DE102018115902A1 (de) | 2018-07-01 | 2020-01-02 | Oliver Bartels | SIMD-Prozessor mit CAM zur Operandenauswahl nach Mustererkennung |
TWI667576B (zh) * | 2018-07-09 | 2019-08-01 | 國立中央大學 | 機器學習方法及機器學習裝置 |
CN109273035B (zh) * | 2018-08-02 | 2020-03-17 | 北京知存科技有限公司 | 闪存芯片的控制方法、终端 |
US11636319B2 (en) * | 2018-08-22 | 2023-04-25 | Intel Corporation | Iterative normalization for machine learning applications |
US11328207B2 (en) | 2018-08-28 | 2022-05-10 | Cerebras Systems Inc. | Scaled compute fabric for accelerated deep learning |
WO2020044208A1 (en) | 2018-08-29 | 2020-03-05 | Cerebras Systems Inc. | Isa enhancements for accelerated deep learning |
WO2020044238A1 (en) | 2018-08-29 | 2020-03-05 | Cerebras Systems Inc. | Processor element redundancy for accelerated deep learning |
KR102637733B1 (ko) | 2018-10-31 | 2024-02-19 | 삼성전자주식회사 | 뉴럴 네트워크 프로세서 및 그것의 컨볼루션 연산 방법 |
JP7315317B2 (ja) | 2018-11-09 | 2023-07-26 | 株式会社Preferred Networks | プロセッサおよびプロセッサのデータ転送方法 |
CN111445020B (zh) * | 2019-01-16 | 2023-05-23 | 阿里巴巴集团控股有限公司 | 一种基于图的卷积网络训练方法、装置及*** |
US11188085B2 (en) * | 2019-03-22 | 2021-11-30 | Ford Global Technologies, Llc | Vehicle capsule networks |
US10929058B2 (en) | 2019-03-25 | 2021-02-23 | Western Digital Technologies, Inc. | Enhanced memory device architecture for machine learning |
US11783176B2 (en) | 2019-03-25 | 2023-10-10 | Western Digital Technologies, Inc. | Enhanced storage device memory architecture for machine learning |
US10733016B1 (en) | 2019-04-26 | 2020-08-04 | Google Llc | Optimizing hardware FIFO instructions |
US11853890B2 (en) * | 2019-05-02 | 2023-12-26 | Macronix International Co., Ltd. | Memory device and operation method thereof |
US11233049B2 (en) | 2019-06-14 | 2022-01-25 | Macronix International Co., Ltd. | Neuromorphic computing device |
US11514300B2 (en) | 2019-06-14 | 2022-11-29 | Macronix International Co., Ltd. | Resistor circuit, artificial intelligence chip and method for manufacturing the same |
TWI698810B (zh) * | 2019-06-14 | 2020-07-11 | 旺宏電子股份有限公司 | 類神經計算裝置 |
KR20210014902A (ko) | 2019-07-31 | 2021-02-10 | 삼성전자주식회사 | 프로세서 및 그 제어 방법 |
CN110610235B (zh) * | 2019-08-22 | 2022-05-13 | 北京时代民芯科技有限公司 | 一种神经网络激活函数计算电路 |
US11836624B2 (en) | 2019-08-26 | 2023-12-05 | D5Ai Llc | Deep learning with judgment |
US11934824B2 (en) | 2019-09-05 | 2024-03-19 | Micron Technology, Inc. | Methods for performing processing-in-memory operations, and related memory devices and systems |
US11693657B2 (en) | 2019-09-05 | 2023-07-04 | Micron Technology, Inc. | Methods for performing fused-multiply-add operations on serially allocated data within a processing-in-memory capable memory device, and related memory devices and systems |
US11829729B2 (en) | 2019-09-05 | 2023-11-28 | Micron Technology, Inc. | Spatiotemporal fused-multiply-add, and related systems, methods and devices |
KR20210050243A (ko) * | 2019-10-28 | 2021-05-07 | 삼성전자주식회사 | 뉴로모픽 패키지 장치 및 뉴로모픽 컴퓨팅 시스템 |
KR102139229B1 (ko) * | 2019-10-30 | 2020-07-29 | 주식회사 뉴로메카 | 인공신경망을 이용한 로봇 매니퓰레이터의 충돌을 감지하는 방법 및 시스템 |
KR102357168B1 (ko) * | 2019-10-30 | 2022-02-07 | 주식회사 뉴로메카 | 인공신경망을 이용한 로봇 매니퓰레이터의 충돌을 감지하는 방법 및 시스템 |
KR20210105053A (ko) * | 2020-02-18 | 2021-08-26 | 에스케이하이닉스 주식회사 | 연산 회로 및 그것을 포함하는 딥 러닝 시스템 |
JP7475080B2 (ja) | 2020-04-01 | 2024-04-26 | 義憲 岡島 | 曖昧検索回路 |
US11537861B2 (en) * | 2020-06-23 | 2022-12-27 | Micron Technology, Inc. | Methods of performing processing-in-memory operations, and related devices and systems |
CN114654884B (zh) * | 2020-12-22 | 2023-06-06 | 精工爱普生株式会社 | 印刷条件设定方法、印刷条件设定*** |
US20220277190A1 (en) * | 2021-02-28 | 2022-09-01 | Anaflash Inc. | Neural network engine with associated memory array |
US11544213B2 (en) | 2021-03-04 | 2023-01-03 | Samsung Electronics Co., Ltd. | Neural processor |
CN112992248A (zh) * | 2021-03-12 | 2021-06-18 | 西安交通大学深圳研究院 | 一种基于fifo的可变长循环移位寄存器的pe计算单元结构 |
US11714556B2 (en) * | 2021-09-14 | 2023-08-01 | quadric.io, Inc. | Systems and methods for accelerating memory transfers and computation efficiency using a computation-informed partitioning of an on-chip data buffer and implementing computation-aware data transfer operations to the on-chip data buffer |
WO2023080291A1 (ko) * | 2021-11-08 | 2023-05-11 | 한국전자기술연구원 | 딥러닝 가속기를 위한 풀링 장치 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140180989A1 (en) | 2012-12-24 | 2014-06-26 | Google Inc. | System and method for parallelizing convolutional neural networks |
US20140280989A1 (en) | 2013-03-14 | 2014-09-18 | Thomas J. Borkowski | System and method for establishing peer to peer connections through symmetric nats |
JP2015036939A (ja) | 2013-08-15 | 2015-02-23 | 富士ゼロックス株式会社 | 特徴抽出プログラム及び情報処理装置 |
Family Cites Families (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3761876A (en) * | 1971-07-28 | 1973-09-25 | Recognition Equipment Inc | Recognition unit for optical character reading system |
US3777132A (en) * | 1972-02-23 | 1973-12-04 | Burroughs Corp | Method and apparatus for obtaining the reciprocal of a number and the quotient of two numbers |
FR2595891B1 (fr) * | 1986-03-11 | 1988-06-10 | Labo Electronique Physique | Procede de renforcement des contours de signaux numeriques et dispositif de traitement pour la mise en oeuvre dudit procede |
JPS63206828A (ja) | 1987-02-23 | 1988-08-26 | Mitsubishi Electric Corp | 最大値ストレツチ回路 |
US5014235A (en) | 1987-12-15 | 1991-05-07 | Steven G. Morton | Convolution memory |
US5136717A (en) | 1988-11-23 | 1992-08-04 | Flavors Technology Inc. | Realtime systolic, multiple-instruction, single-data parallel computer system |
EP0411341A3 (en) * | 1989-07-10 | 1992-05-13 | Yozan Inc. | Neural network |
US5138695A (en) | 1989-10-10 | 1992-08-11 | Hnc, Inc. | Systolic array image processing system |
JP2756170B2 (ja) | 1990-03-05 | 1998-05-25 | 日本電信電話株式会社 | ニューラルネットワーク学習回路 |
US5337395A (en) | 1991-04-08 | 1994-08-09 | International Business Machines Corporation | SPIN: a sequential pipeline neurocomputer |
US5146543A (en) | 1990-05-22 | 1992-09-08 | International Business Machines Corp. | Scalable neural array processor |
JPH04290155A (ja) | 1991-03-19 | 1992-10-14 | Fujitsu Ltd | 並列データ処理方式 |
US5519811A (en) * | 1991-10-17 | 1996-05-21 | Kawasaki Steel Corporation | Neural network, processor, and pattern recognition apparatus |
US5903454A (en) | 1991-12-23 | 1999-05-11 | Hoffberg; Linda Irene | Human-factored interface corporating adaptive pattern recognition based controller apparatus |
US5799134A (en) | 1995-03-13 | 1998-08-25 | Industrial Technology Research Institute | One dimensional systolic array architecture for neural network |
US5812993A (en) | 1996-03-07 | 1998-09-22 | Technion Research And Development Foundation Ltd. | Digital hardware architecture for realizing neural network |
US6038337A (en) | 1996-03-29 | 2000-03-14 | Nec Research Institute, Inc. | Method and apparatus for object recognition |
JPH11177399A (ja) | 1997-12-15 | 1999-07-02 | Mitsubishi Electric Corp | クロック遅延回路およびこれを用いた発振回路、位相同期回路、クロック生成回路 |
GB9902115D0 (en) | 1999-02-01 | 1999-03-24 | Axeon Limited | Neural networks |
US7054850B2 (en) * | 2000-06-16 | 2006-05-30 | Canon Kabushiki Kaisha | Apparatus and method for detecting or recognizing pattern by employing a plurality of feature detecting elements |
JP3613466B2 (ja) * | 2001-04-06 | 2005-01-26 | 旭化成株式会社 | データ演算処理装置及びデータ演算処理プログラム |
US7245767B2 (en) | 2003-08-21 | 2007-07-17 | Hewlett-Packard Development Company, L.P. | Method and apparatus for object identification, classification or verification |
US7693585B2 (en) | 2004-09-30 | 2010-04-06 | Rockwell Automation Technologies, Inc. | Enabling object oriented capabilities in automation systems |
US7634137B2 (en) | 2005-10-14 | 2009-12-15 | Microsoft Corporation | Unfolded convolution for fast feature extraction |
US8103606B2 (en) | 2006-12-08 | 2012-01-24 | Medhat Moussa | Architecture, system and method for artificial neural network implementation |
US8184696B1 (en) | 2007-09-11 | 2012-05-22 | Xilinx, Inc. | Method and apparatus for an adaptive systolic array structure |
JP5376920B2 (ja) | 2008-12-04 | 2013-12-25 | キヤノン株式会社 | コンボリューション演算回路、階層的コンボリューション演算回路及び物体認識装置 |
EP2259214B1 (en) * | 2009-06-04 | 2013-02-27 | Honda Research Institute Europe GmbH | Implementing a neural associative memory based on non-linear learning of discrete synapses |
US8442927B2 (en) | 2009-07-30 | 2013-05-14 | Nec Laboratories America, Inc. | Dynamically configurable, multi-ported co-processor for convolutional neural networks |
TWI525558B (zh) | 2011-01-17 | 2016-03-11 | Univ Nat Taipei Technology | Resilient high - speed hardware reverse transfer and feedback type neural network system |
US8924455B1 (en) | 2011-02-25 | 2014-12-30 | Xilinx, Inc. | Multiplication of matrices using systolic arrays |
TW201331855A (zh) | 2012-01-19 | 2013-08-01 | Univ Nat Taipei Technology | 具自由回饋節點的高速硬體倒傳遞及回饋型類神經網路 |
KR20130090147A (ko) * | 2012-02-03 | 2013-08-13 | 안병익 | 신경망 컴퓨팅 장치 및 시스템과 그 방법 |
JP5834997B2 (ja) * | 2012-02-23 | 2015-12-24 | 株式会社ソシオネクスト | ベクトルプロセッサ、ベクトルプロセッサの処理方法 |
CN102665049B (zh) * | 2012-03-29 | 2014-09-17 | 中国科学院半导体研究所 | 基于可编程视觉芯片的视觉图像处理*** |
US9081608B2 (en) * | 2012-05-19 | 2015-07-14 | Digital System Research Inc. | Residue number arithmetic logic unit |
CN104620315B (zh) * | 2012-07-12 | 2018-04-13 | 诺基亚技术有限公司 | 一种矢量量化的方法及装置 |
US9477925B2 (en) | 2012-11-20 | 2016-10-25 | Microsoft Technology Licensing, Llc | Deep neural networks training for speech and pattern recognition |
US9190053B2 (en) | 2013-03-25 | 2015-11-17 | The Governing Council Of The Univeristy Of Toronto | System and method for applying a convolutional neural network to speech recognition |
KR20150016089A (ko) * | 2013-08-02 | 2015-02-11 | 안병익 | 신경망 컴퓨팅 장치 및 시스템과 그 방법 |
US9978014B2 (en) * | 2013-12-18 | 2018-05-22 | Intel Corporation | Reconfigurable processing unit |
JP6314628B2 (ja) * | 2014-04-28 | 2018-04-25 | 株式会社デンソー | 演算処理装置 |
CN104035751B (zh) | 2014-06-20 | 2016-10-12 | 深圳市腾讯计算机***有限公司 | 基于多图形处理器的数据并行处理方法及装置 |
US9886948B1 (en) * | 2015-01-05 | 2018-02-06 | Amazon Technologies, Inc. | Neural network processing of multiple feature streams using max pooling and restricted connectivity |
EP3064130A1 (en) | 2015-03-02 | 2016-09-07 | MindMaze SA | Brain activity measurement and feedback system |
US20160267111A1 (en) | 2015-03-11 | 2016-09-15 | Microsoft Technology Licensing, Llc | Two-stage vector reduction using two-dimensional and one-dimensional systolic arrays |
US10102481B2 (en) * | 2015-03-16 | 2018-10-16 | Conduent Business Services, Llc | Hybrid active learning for non-stationary streaming data with asynchronous labeling |
US9552510B2 (en) * | 2015-03-18 | 2017-01-24 | Adobe Systems Incorporated | Facial expression capture for character animation |
WO2016154781A1 (en) * | 2015-03-27 | 2016-10-06 | Intel Corporation | Low-cost face recognition using gaussian receptive field features |
US10192162B2 (en) | 2015-05-21 | 2019-01-29 | Google Llc | Vector computation unit in a neural network processor |
GB2558271B (en) * | 2016-12-23 | 2021-09-08 | Imagination Tech Ltd | Median determination |
-
2015
- 2015-09-03 US US14/845,117 patent/US10192162B2/en active Active
-
2016
- 2016-04-29 KR KR1020207018024A patent/KR102379700B1/ko active IP Right Grant
- 2016-04-29 JP JP2017550887A patent/JP6615902B2/ja active Active
- 2016-04-29 DK DK16724517.4T patent/DK3298545T3/da active
- 2016-04-29 CN CN201680019810.9A patent/CN107533667B/zh active Active
- 2016-04-29 EP EP23197533.5A patent/EP4276690A1/en active Pending
- 2016-04-29 GB GB1715525.0A patent/GB2553055B/en active Active
- 2016-04-29 CN CN202110718015.1A patent/CN113392964A/zh active Pending
- 2016-04-29 KR KR1020227009700A patent/KR102516092B1/ko active IP Right Grant
- 2016-04-29 KR KR1020177028169A patent/KR102127524B1/ko active IP Right Grant
- 2016-04-29 DE DE112016002296.4T patent/DE112016002296T5/de active Pending
- 2016-04-29 WO PCT/US2016/029986 patent/WO2016186813A1/en active Application Filing
- 2016-04-29 FI FIEP16724517.4T patent/FI3298545T3/fi active
- 2016-04-29 KR KR1020237010250A patent/KR20230048449A/ko not_active Application Discontinuation
- 2016-04-29 GB GB2200642.3A patent/GB2600290A/en not_active Withdrawn
- 2016-04-29 EP EP16724517.4A patent/EP3298545B1/en active Active
- 2016-04-29 DE DE202016107442.8U patent/DE202016107442U1/de active Active
- 2016-05-20 TW TW105115868A patent/TWI591490B/zh active
- 2016-05-20 TW TW106116630A patent/TWI638272B/zh active
- 2016-12-22 US US15/389,288 patent/US10074051B2/en active Active
-
2018
- 2018-04-27 HK HK18105509.3A patent/HK1245954A1/zh unknown
-
2019
- 2019-01-11 US US16/245,406 patent/US11620508B2/en active Active
- 2019-08-02 JP JP2019142868A patent/JP7000387B2/ja active Active
-
2021
- 2021-09-10 JP JP2021148010A patent/JP7346510B2/ja active Active
-
2023
- 2023-03-01 US US18/176,640 patent/US12014272B2/en active Active
- 2023-09-06 JP JP2023144224A patent/JP2023169224A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140180989A1 (en) | 2012-12-24 | 2014-06-26 | Google Inc. | System and method for parallelizing convolutional neural networks |
US20140280989A1 (en) | 2013-03-14 | 2014-09-18 | Thomas J. Borkowski | System and method for establishing peer to peer connections through symmetric nats |
JP2015036939A (ja) | 2013-08-15 | 2015-02-23 | 富士ゼロックス株式会社 | 特徴抽出プログラム及び情報処理装置 |
Non-Patent Citations (1)
Title |
---|
石井 智大 他,ConvolutionalNeural Networkを用いた一般物体認識手法の解析,情報処理学会 研究報告 コンピュータビジョンとイメージメディア(CVIM),日本,情報処理学会,2014年05月08日,Vol.2014-CVIM-192 No.14,1-8,インターネット<URL:https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_action_common_download&item_id=100955&item_no=1&file_no=1> |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7346510B2 (ja) | ニューラルネットワークプロセッサにおけるベクトル計算ユニット | |
JP7394104B2 (ja) | ハードウェアにおけるカーネルストライドの実行 | |
TWI765168B (zh) | 用於硬體中之轉置神經網路矩陣之方法、系統及電腦儲存媒體 | |
KR102370563B1 (ko) | 하드웨어에서의 평균 풀링의 수행 | |
KR102413522B1 (ko) | 신경망 프로세서에서 사용하기 위한 가중치들의 프리페칭 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211005 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221012 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230807 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230816 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230906 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7346510 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |