JP6750203B2 - 畳み込みニューラルネットワークの演算方法及び演算プログラム、情報処理装置 - Google Patents
畳み込みニューラルネットワークの演算方法及び演算プログラム、情報処理装置 Download PDFInfo
- Publication number
- JP6750203B2 JP6750203B2 JP2015206157A JP2015206157A JP6750203B2 JP 6750203 B2 JP6750203 B2 JP 6750203B2 JP 2015206157 A JP2015206157 A JP 2015206157A JP 2015206157 A JP2015206157 A JP 2015206157A JP 6750203 B2 JP6750203 B2 JP 6750203B2
- Authority
- JP
- Japan
- Prior art keywords
- kernel
- calculated
- sum
- input
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004364 calculation method Methods 0.000 title claims description 55
- 238000013527 convolutional neural network Methods 0.000 title claims description 20
- 230000010365 information processing Effects 0.000 title claims description 18
- 238000011176 pooling Methods 0.000 claims description 47
- 238000000034 method Methods 0.000 claims description 40
- 238000010586 diagram Methods 0.000 description 27
- 238000013500 data storage Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000001186 cumulative effect Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 229940050561 matrix product Drugs 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 102100040149 Adenylyl-sulfate kinase Human genes 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012026 site acceptance test Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Complex Calculations (AREA)
Description
以下の付録においては、SGEMM(Single precision floating GEneral Matrix Multiply)を使用して畳み込み演算を実行する方法について説明を追加する。
畳み込み演算において使用されるカーネルの要素毎に、入力データに含まれる入力値の中から前記畳み込み演算において当該要素と掛け合わされる入力値を特定し、特定された当該入力値の総和を算出する第1算出部と、
前記カーネルの要素毎に、当該要素について前記第1算出部により算出された前記総和と当該要素との積を算出し、算出された当該積の平均を算出する第2算出部と、
を有する情報処理装置。
前記入力データからSAT(Summed Area Table)を生成する生成部
をさらに有し、
前記第1算出部は、
特定された前記入力値を含む矩形領域について、前記入力値の総和を前記SATを用いて算出する、
付記1記載の情報処理装置。
前記第2算出部は、
算出された前記積の総和を前記カーネルの要素数で除することで前記積の平均を算出する、
付記1又は2記載の情報処理装置。
コンピュータが、
畳み込み演算において使用されるカーネルの要素毎に、入力データに含まれる入力値の中から前記畳み込み演算において当該要素と掛け合わされる入力値を特定し、特定された当該入力値の総和を算出し、
前記カーネルの要素毎に、当該要素について算出された前記総和と当該要素との積を算出し、算出された当該積の平均を算出する、
処理を実行する、畳み込みニューラルネットワークの演算方法。
コンピュータに、
畳み込み演算において使用されるカーネルの要素毎に、入力データに含まれる入力値の中から前記畳み込み演算において当該要素と掛け合わされる入力値を特定し、特定された当該入力値の総和を算出し、
前記カーネルの要素毎に、当該要素について算出された前記総和と当該要素との積を算出し、算出された当該積の平均を算出する、
処理を実行させる、畳み込みニューラルネットワークの演算プログラム。
102 SAT生成部 103 SAT格納部
104 総和テーブル生成部 105 カーネル格納部
106 総和テーブル格納部 107 算出部
1071 第1算出部 1072 第2算出部
108 プーリング出力データ格納部 109 処理部
110 更新部
Claims (4)
- 入力データに対してカーネルを移動させつつ行う複数回の畳み込み演算及び当該複数回の畳み込み演算の結果に対して行う平均プーリングに代わる処理を行う情報処理装置であって、
前記カーネルの要素毎に、前記入力データに含まれる入力値の中から前記複数回の畳み込み演算において当該要素と掛け合わされる入力値を特定し、特定された当該入力値の総和を算出する第1算出部と、
前記カーネルの要素毎に、当該要素について前記第1算出部により算出された前記総和と当該要素との積を算出し、算出された当該積の平均を算出する第2算出部と、
を有する情報処理装置。 - 前記入力データからSAT(Summed Area Table)を生成する生成部
をさらに有し、
前記第1算出部は、
特定された前記入力値を含む矩形領域について、前記入力値の総和を前記SATを用いて算出する、
請求項1記載の情報処理装置。 - 入力データに対してカーネルを移動させつつ行う複数回の畳み込み演算及び当該複数回の畳み込み演算の結果に対して行う平均プーリングに代わる処理を行うための演算方法であって、
コンピュータが、
記憶部に記憶された前記カーネルの要素毎に、前記入力データに含まれる入力値の中から前記複数回の畳み込み演算において当該要素と掛け合わされる入力値を特定し、特定された当該入力値の総和を算出し、
前記記憶部に記憶された前記カーネルの要素毎に、当該要素について算出された前記総和と当該要素との積を算出し、算出された当該積の平均を算出する、
処理を実行する、畳み込みニューラルネットワークの演算方法。 - 入力データに対してカーネルを移動させつつ行う複数回の畳み込み演算及び当該複数回の畳み込み演算の結果に対して行う平均プーリングに代わる処理を行うための演算プログラムであって、
コンピュータに、
記憶部に記憶された前記カーネルの要素毎に、前記入力データに含まれる入力値の中から前記複数回の畳み込み演算において当該要素と掛け合わされる入力値を特定し、特定された当該入力値の総和を算出し、
前記記憶部に記憶された前記カーネルの要素毎に、当該要素について算出された前記総和と当該要素との積を算出し、算出された当該積の平均を算出する、
処理を実行させる、畳み込みニューラルネットワークの演算プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015206157A JP6750203B2 (ja) | 2015-10-20 | 2015-10-20 | 畳み込みニューラルネットワークの演算方法及び演算プログラム、情報処理装置 |
US15/263,772 US9600763B1 (en) | 2015-10-20 | 2016-09-13 | Information processing method, information processing device, and non-transitory recording medium for storing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015206157A JP6750203B2 (ja) | 2015-10-20 | 2015-10-20 | 畳み込みニューラルネットワークの演算方法及び演算プログラム、情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017078934A JP2017078934A (ja) | 2017-04-27 |
JP6750203B2 true JP6750203B2 (ja) | 2020-09-02 |
Family
ID=58337128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015206157A Expired - Fee Related JP6750203B2 (ja) | 2015-10-20 | 2015-10-20 | 畳み込みニューラルネットワークの演算方法及び演算プログラム、情報処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9600763B1 (ja) |
JP (1) | JP6750203B2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6778010B2 (ja) * | 2016-04-13 | 2020-10-28 | キヤノン株式会社 | 画像識別システム、画像識別方法 |
US9959498B1 (en) * | 2016-10-27 | 2018-05-01 | Google Llc | Neural network instruction set architecture |
US10032110B2 (en) * | 2016-12-13 | 2018-07-24 | Google Llc | Performing average pooling in hardware |
US10037490B2 (en) * | 2016-12-13 | 2018-07-31 | Google Llc | Performing average pooling in hardware |
WO2018235357A1 (ja) | 2017-06-22 | 2018-12-27 | 日本電気株式会社 | 演算装置、演算方法及びプログラム |
JP6805984B2 (ja) * | 2017-07-06 | 2020-12-23 | 株式会社デンソー | 畳み込みニューラルネットワーク |
KR102442055B1 (ko) * | 2017-09-26 | 2022-09-13 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
KR102452953B1 (ko) | 2017-10-30 | 2022-10-11 | 삼성전자주식회사 | 뉴럴 네트워크의 컨볼루션 연산을 수행하는 방법 및 장치 |
CN109754062B (zh) * | 2017-11-07 | 2024-05-14 | 上海寒武纪信息科技有限公司 | 卷积扩展指令的执行方法以及相关产品 |
WO2019107900A1 (ko) * | 2017-11-28 | 2019-06-06 | 주식회사 날비컴퍼니 | 컨볼루션 신경망 내 필터 프루닝 장치 및 방법 |
WO2019168088A1 (ja) | 2018-03-02 | 2019-09-06 | 日本電気株式会社 | 推論装置、畳み込み演算実行方法及びプログラム |
CN108805270B (zh) * | 2018-05-08 | 2021-02-12 | 华中科技大学 | 一种基于存储器的卷积神经网络*** |
JP2019200675A (ja) | 2018-05-17 | 2019-11-21 | 東芝メモリ株式会社 | 演算デバイス及びデータの処理方法 |
JP7204545B2 (ja) | 2019-03-15 | 2023-01-16 | 本田技研工業株式会社 | 音響信号処理装置、音響信号処理方法、およびプログラム |
GB2582352B (en) | 2019-03-20 | 2021-12-15 | Imagination Tech Ltd | Methods and systems for implementing a convolution transpose layer of a neural network |
CN111798520B (zh) * | 2020-09-08 | 2020-12-22 | 平安国际智慧城市科技股份有限公司 | 基于卷积神经网络的图像处理方法、装置、设备及介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3209420B2 (ja) * | 1999-06-30 | 2001-09-17 | Lg電子株式会社 | 畳み込み処理方法及び装置 |
KR100601967B1 (ko) * | 2004-10-08 | 2006-07-18 | 삼성전자주식회사 | 영상의 다이나믹 레인지 압축 장치 및 방법 |
JP4757116B2 (ja) | 2006-06-30 | 2011-08-24 | キヤノン株式会社 | パラメータ学習方法及びその装置、パターン識別方法及びその装置、プログラム |
US10839006B2 (en) * | 2015-05-18 | 2020-11-17 | Oath Inc. | Mobile visual search using deep variant coding |
US10489703B2 (en) * | 2015-05-20 | 2019-11-26 | Nec Corporation | Memory efficiency for convolutional neural networks operating on graphics processing units |
US10460230B2 (en) * | 2015-06-04 | 2019-10-29 | Samsung Electronics Co., Ltd. | Reducing computations in a neural network |
US11423311B2 (en) * | 2015-06-04 | 2022-08-23 | Samsung Electronics Co., Ltd. | Automatic tuning of artificial neural networks |
WO2016197303A1 (en) * | 2015-06-08 | 2016-12-15 | Microsoft Technology Licensing, Llc. | Image semantic segmentation |
-
2015
- 2015-10-20 JP JP2015206157A patent/JP6750203B2/ja not_active Expired - Fee Related
-
2016
- 2016-09-13 US US15/263,772 patent/US9600763B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
US9600763B1 (en) | 2017-03-21 |
JP2017078934A (ja) | 2017-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6750203B2 (ja) | 畳み込みニューラルネットワークの演算方法及び演算プログラム、情報処理装置 | |
KR101959376B1 (ko) | 멀티 코어 최적화된 순환 신경망을 위한 시스템 및 방법 | |
JP6900487B2 (ja) | ハードウェアにおける平均プーリングの実行 | |
US20190065958A1 (en) | Apparatus and Methods for Training in Fully Connected Layers of Convolutional Networks | |
US10643129B2 (en) | Apparatus and methods for training in convolutional neural networks | |
US10642622B2 (en) | Arithmetic processing device and control method of the arithmetic processing device | |
WO2019216404A1 (ja) | ニューラルネットワーク構築装置、情報処理装置、ニューラルネットワーク構築方法及びプログラム | |
JP6958027B2 (ja) | 演算処理装置及び演算処理装置の制御方法 | |
CN110046704B (zh) | 基于数据流的深度网络加速方法、装置、设备及存储介质 | |
JP2018124867A (ja) | 演算処理装置及び演算処理装置の制御方法 | |
JP7020485B2 (ja) | 演算装置、演算方法及びプログラム | |
JP2007026170A (ja) | 半導体集積回路の自動レイアウト方法、自動レイアウトプログラム、および自動レイアウト装置 | |
US8127259B2 (en) | Synthesis constraint creating device, behavioral synthesis device, synthesis constraint creating method and recording medium | |
CN115630599B (zh) | 用于版图处理的方法、设备和介质 | |
US10496764B2 (en) | Integrated circuit buffering solutions considering sink delays | |
KR20180055447A (ko) | 데이터 처리 방법 및 장치 | |
US20200192631A1 (en) | Fused convolution and batch normalization for neural networks | |
US11783108B2 (en) | System memory-aware circuit region partitioning | |
JP2020080048A (ja) | 並列処理装置およびプログラム | |
CN114065119A (zh) | 数据处理方法及相关产品 | |
KR101470695B1 (ko) | 그리드 컴퓨팅 스케쥴링을 위한 생물지리학적 최적화 방법 및 시스템 | |
WO2021077533A1 (zh) | 卷积神经网络模型的计算方法及装置 | |
CN113785312A (zh) | 运算装置及运算方法 | |
JP2806262B2 (ja) | マルチプロセッサシステムのプロセス割当方法 | |
Quell et al. | Parallelized construction of extension velocities for the level-set method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180608 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190326 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190521 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191008 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200714 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200727 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6750203 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |