JP2021044783A - 情報処理装置,情報処理方法および情報処理プログラム - Google Patents
情報処理装置,情報処理方法および情報処理プログラム Download PDFInfo
- Publication number
- JP2021044783A JP2021044783A JP2019167608A JP2019167608A JP2021044783A JP 2021044783 A JP2021044783 A JP 2021044783A JP 2019167608 A JP2019167608 A JP 2019167608A JP 2019167608 A JP2019167608 A JP 2019167608A JP 2021044783 A JP2021044783 A JP 2021044783A
- Authority
- JP
- Japan
- Prior art keywords
- quantization
- information processing
- distribution
- variable elements
- variable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 230000010365 information processing Effects 0.000 title claims description 37
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000013139 quantization Methods 0.000 claims abstract description 186
- 238000012545 processing Methods 0.000 claims abstract description 57
- 238000013528 artificial neural network Methods 0.000 claims abstract description 39
- 238000009826 distribution Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims description 34
- 230000015654 memory Effects 0.000 description 17
- 238000013135 deep learning Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000007796 conventional method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/70—Type of the data to be coded, other than image and sound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
図1は実施形態の一例としての計算機システム1のハードウェア構成を例示する図である。
アクセラレータ12は、行列演算などのニューラルネットワークの計算に必要な演算処理を実行する。
図2は実施形態の一例としての計算機システム1の機能構成を例示する図である。
Wt+1 ← Wt−η・Δw ・・・(1)
なお、wt+1は更新後の重みであり、Wtは更新前の重みである。ηはニューラルネットワークの学習率である。Δwは勾配である。
量子化処理部101は、ニューラルネットワークに使用される変数を量子化する。例えば、量子化処理部101は、上述した勾配Δwを量子化する。
例えば、量子化処理部101は、例えば、32ビット浮動小数点数から8ビット固定小数点数に変更してもよい。
また、本計算機システム1において、量子化処理部101は、統計処理部102および量子化位置設定部103としての機能を備える。
量子化位置設定部103は、量子化位置を設定する。
この図4においてはビット幅が8ビットであり、小数点ビット幅が3ビットの固定小数点<8,3>の構成を例示する。
この図4に例示する固定小数点<8,3>は、以下の式(2)で表される。
ここで、従来の量子化手法における量子化位置を説明する。
従来の量子化手法においては、量子化範囲を、当該量子化範囲のMSBが、量子化前の変数要素の分布におけるMSBに合わせる(設定する)。
上述の如く構成された実施形態の一例としての計算機システム1の量子化位置設定部103による処理を、図7に示すフローチャート(ステップS1〜S3に従って説明する)。以下の処理は、量子化処理部101が勾配Δwを固定小数点に量子化する際に行なわれる。
このように、実施形態の一例としての計算機システム1によれば、量子化位置設定部103が、量子化対象データを構成する複数の変数要素の出現頻度の分布において、最大値の変数要素よりも小さい変数要素に量子化位置の最上位ビット(MSB)位置を合わせる。これにより、ニューラルネットワークを量子化して学習させても、量子化しない場合に比べて、画像等の認識率の劣化量が低減される。
図8は実施形態の一例としての計算機システム1の量子化手法による画像認識率を例示する図である。
図9は実施形態の一例としての計算機システム1の量子化手法による画像認識率を説明するための図である。
開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。本実施形態の各構成および各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。
また、上述した開示により本実施形態を当業者によって実施・製造することが可能である。
以上の実施形態に関し、さらに以下の付記を開示する。
量子化対象データの量子化を行なう処理を実行するプロセッサを有する情報処理装置であって、
前記プロセッサは、
前記量子化対象データを構成する複数の変数要素の出現頻度の分布を取得し、
前記複数の変数要素の出現頻度の分布に基づき、前記複数の変数要素のうち最大値の変数要素よりも小さい変数要素に量子化位置の最上位ビット位置を合わせる、処理を行なうことを特徴とする、情報処理装置。
前記合わせる処理が、
量子化範囲から外れる値を量子化後の最上位ビット位置となるように処理する
ことを特徴とする、付記1記載の情報処理装置。
前記量子化対象データが、ニューラルネットワークの重みの更新に使用する勾配である
ことを特徴とする、付記1または2記載の情報処理装置。
ニューラルネットワークの学習率が所定の閾値よりも小さい場合に、前記複数の変数要素のうち最大値の変数要素よりも小さい変数要素に量子化位置の最上位ビット位置を合わせる
ことを特徴とする、付記1〜3のいずれか1項に記載の情報処理装置。
情報処理装置が、量子化対象データの量子化を行なうに際して、
前記量子化対象データを構成する複数の変数要素の出現頻度の分布を取得する処理と、
前記複数の変数要素の出現頻度の分布に基づき、前記複数の変数要素のうち最大値の変数要素よりも小さい変数要素に量子化位置の最上位ビット位置を合わせる処理と
を備えることを特徴とする、情報処理方法。
量子化範囲から外れる値を量子化後の最上位ビット位置となるように処理する
ことを特徴とする、付記5記載の情報処理方法。
前記量子化対象データが、ニューラルネットワークの重みの更新に使用する勾配である
ことを特徴とする、付記5または6記載の情報処理方法。
ニューラルネットワークの学習率が所定の閾値よりも小さい場合に、前記複数の変数要素のうち最大値の変数要素よりも小さい変数要素に量子化位置の最上位ビット位置を合わせる
ことを特徴とする、付記5〜7のいずれか1項に記載の情報処理方法。
量子化対象データの量子化を行なう情報処理装置のプロセッサに、
前記量子化対象データを構成する複数の変数要素の出現頻度の分布を取得し、
前記複数の変数要素の出現頻度の分布に基づき、前記複数の変数要素のうち最大値の変数要素よりも小さい変数要素に量子化位置の最上位ビット位置を合わせる
処理を実行させる、情報処理プログラム。
量子化範囲から外れる値を量子化後の最上位ビット位置となるように
前記プロセッサに処理を実行させる、付記9記載の情報処理プログラム。
前記量子化対象データが、ニューラルネットワークの重みの更新に使用する勾配である
ことを特徴とする、付記9または10記載の情報処理プログラム。
ニューラルネットワークの学習率が所定の閾値よりも小さい場合に、前記複数の変数要素のうち最大値の変数要素よりも小さい変数要素に量子化位置の最上位ビット位置を合わせる
処理を実行させる、付記9〜11のいずれか1項に記載の情報処理プログラム。
10 CPU
11 メモリ
12 アクセラレータ
13 通信バス
100 深層学習処理部
101 量子化処理部
102 統計処理部
103 量子化位置設定部
Claims (6)
- 量子化対象データの量子化を行なう処理を実行するプロセッサを有する情報処理装置であって、
前記プロセッサは、
前記量子化対象データを構成する複数の変数要素の出現頻度の分布を取得し、
前記複数の変数要素の出現頻度の分布に基づき、前記複数の変数要素のうち最大値の変数要素よりも小さい変数要素に量子化位置の最上位ビット位置を合わせる、処理を行なうことを特徴とする、情報処理装置。 - 前記合わせる処理が、
量子化範囲から外れる値を量子化後の最上位ビット位置となるように処理する
ことを特徴とする、請求項1記載の情報処理装置。 - 前記量子化対象データが、ニューラルネットワークの重みの更新に使用する勾配である
ことを特徴とする、請求項1または2記載の情報処理装置。 - ニューラルネットワークの学習率が所定の閾値よりも小さい場合に、前記量子化位置設定部が、前記複数の変数要素のうち最大値の変数要素よりも小さい変数要素に量子化位置の最上位ビット位置を合わせる
ことを特徴とする、請求項1〜3のいずれか1項に記載の情報処理装置。 - 量子化対象データの量子化を行なうに際して、
前記量子化対象データを構成する複数の変数要素の出現頻度の分布を取得する処理と、
前記複数の変数要素の出現頻度の分布に基づき、前記複数の変数要素のうち最大値の変数要素よりも小さい変数要素に量子化位置の最上位ビット位置を合わせる処理と
を備えることを特徴とする、情報処理方法。 - 量子化対象データの量子化を行なう情報処理装置のプロセッサに、
前記量子化対象データを構成する複数の変数要素の出現頻度の分布を取得し、
前記複数の変数要素の出現頻度の分布に基づき、前記複数の変数要素のうち最大値の変数要素よりも小さい変数要素に量子化位置の最上位ビット位置を合わせる
処理を実行させる、情報処理プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019167608A JP2021044783A (ja) | 2019-09-13 | 2019-09-13 | 情報処理装置,情報処理方法および情報処理プログラム |
EP20186055.8A EP3792836A1 (en) | 2019-09-13 | 2020-07-15 | Information processing apparatus, method of processing information, and information processing program |
US16/930,356 US11811427B2 (en) | 2019-09-13 | 2020-07-16 | Information processing apparatus, method of processing information, and non-transitory computer-readable storage medium for storing information processing program |
CN202010788818.XA CN112508165A (zh) | 2019-09-13 | 2020-08-07 | 用于信息处理的设备、方法及非暂态计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019167608A JP2021044783A (ja) | 2019-09-13 | 2019-09-13 | 情報処理装置,情報処理方法および情報処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021044783A true JP2021044783A (ja) | 2021-03-18 |
Family
ID=71620356
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019167608A Ceased JP2021044783A (ja) | 2019-09-13 | 2019-09-13 | 情報処理装置,情報処理方法および情報処理プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11811427B2 (ja) |
EP (1) | EP3792836A1 (ja) |
JP (1) | JP2021044783A (ja) |
CN (1) | CN112508165A (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018155232A1 (ja) * | 2017-02-23 | 2018-08-30 | ソニー株式会社 | 情報処理装置、情報処理方法、並びにプログラム |
US20180322391A1 (en) * | 2017-05-05 | 2018-11-08 | Nvidia Corporation | Loss-scaling for deep neural network training with reduced precision |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6540725B2 (ja) | 2017-01-30 | 2019-07-10 | 富士通株式会社 | 演算処理装置、方法、およびプログラム |
US10467795B2 (en) * | 2017-04-08 | 2019-11-05 | Intel Corporation | Sub-graph in frequency domain and dynamic selection of convolution implementation on a GPU |
KR102601604B1 (ko) | 2017-08-04 | 2023-11-13 | 삼성전자주식회사 | 뉴럴 네트워크의 파라미터들을 양자화하는 방법 및 장치 |
KR102564456B1 (ko) | 2017-10-19 | 2023-08-07 | 삼성전자주식회사 | 뉴럴 네트워크의 파라미터를 양자화하는 장치 및 방법 |
US20190171927A1 (en) * | 2017-12-06 | 2019-06-06 | Facebook, Inc. | Layer-level quantization in neural networks |
JP2019139338A (ja) * | 2018-02-07 | 2019-08-22 | 富士通株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN108875924A (zh) * | 2018-02-09 | 2018-11-23 | 北京旷视科技有限公司 | 基于神经网络的数据处理方法、装置、***及存储介质 |
CN110222821B (zh) * | 2019-05-30 | 2022-03-25 | 浙江大学 | 基于权重分布的卷积神经网络低位宽量化方法 |
-
2019
- 2019-09-13 JP JP2019167608A patent/JP2021044783A/ja not_active Ceased
-
2020
- 2020-07-15 EP EP20186055.8A patent/EP3792836A1/en active Pending
- 2020-07-16 US US16/930,356 patent/US11811427B2/en active Active
- 2020-08-07 CN CN202010788818.XA patent/CN112508165A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018155232A1 (ja) * | 2017-02-23 | 2018-08-30 | ソニー株式会社 | 情報処理装置、情報処理方法、並びにプログラム |
US20180322391A1 (en) * | 2017-05-05 | 2018-11-08 | Nvidia Corporation | Loss-scaling for deep neural network training with reduced precision |
Non-Patent Citations (1)
Title |
---|
WEI WEN, CONG XU, FENG YAN, CHUNPENG WU, YANDAN WANG, YIRAN CHEN, HAI LI: "TernGrad: Ternary Gradients to Reduce Communication in Distributed Deep Learning", 31ST CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS (NIPS 2017), JPN6023019569, 29 December 2017 (2017-12-29), ISSN: 0005058142 * |
Also Published As
Publication number | Publication date |
---|---|
EP3792836A1 (en) | 2021-03-17 |
US20210081783A1 (en) | 2021-03-18 |
CN112508165A (zh) | 2021-03-16 |
US11811427B2 (en) | 2023-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11043962B2 (en) | Information processing apparatus, information processing method, and recording medium | |
JP2017097585A (ja) | 学習装置、プログラム及び学習方法 | |
US20190244097A1 (en) | Information processing apparatus and information processing method | |
CN112687266B (zh) | 语音识别方法、装置、计算机设备和存储介质 | |
JP2021111143A (ja) | 学習プログラム,学習方法および推定装置 | |
EP3796233A1 (en) | Information processing device and method, and program | |
KR102505946B1 (ko) | 인공신경망 모델 학습 방법 및 시스템 | |
US12033658B2 (en) | Acoustic model learning apparatus, acoustic model learning method, and program | |
EP3792748A1 (en) | Information processing device and method, and program | |
US20220405561A1 (en) | Electronic device and controlling method of electronic device | |
JP2019211985A (ja) | 学習プログラム、学習方法、及び情報処理装置 | |
US20180114141A1 (en) | Planning method for learning and planning system for learning with automatic mechanism of generating personalized learning path | |
JP2021044783A (ja) | 情報処理装置,情報処理方法および情報処理プログラム | |
WO2022134946A1 (zh) | 模型训练方法、装置、存储介质及设备 | |
US20200356850A1 (en) | Fusion of neural networks | |
CN114049539B (zh) | 基于去相关二值网络的协同目标识别方法、***及装置 | |
JP7243498B2 (ja) | 演算処理装置、制御プログラム、及び制御方法 | |
KR20220082618A (ko) | 준합성 데이터 생성 장치 및 데이터 생성 방법 | |
CN112598108A (zh) | 信息处理设备、处理信息的方法和计算机可读记录介质 | |
WO2022009433A1 (ja) | 情報処理装置,情報処理方法および情報処理プログラム | |
JP2020190896A (ja) | 情報処理装置、情報処理プログラム及び制御方法 | |
JP6992864B1 (ja) | ニューラルネットワーク軽量化装置、ニューラルネットワーク軽量化方法およびプログラム | |
JP7436830B2 (ja) | 学習プログラム、学習方法、および学習装置 | |
CN113924578A (zh) | 搜索神经网络架构的方法和装置 | |
JP7507172B2 (ja) | 情報処理方法、情報処理システム及び情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220609 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230509 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230516 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230707 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20230707 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231017 |
|
A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20240227 |