TW201918939A - 用於學習低精度神經網路的方法及裝置 - Google Patents

用於學習低精度神經網路的方法及裝置 Download PDF

Info

Publication number
TW201918939A
TW201918939A TW107124493A TW107124493A TW201918939A TW 201918939 A TW201918939 A TW 201918939A TW 107124493 A TW107124493 A TW 107124493A TW 107124493 A TW107124493 A TW 107124493A TW 201918939 A TW201918939 A TW 201918939A
Authority
TW
Taiwan
Prior art keywords
scaling factor
weight
neural network
quantization
network model
Prior art date
Application number
TW107124493A
Other languages
English (en)
Other versions
TWI775898B (zh
Inventor
崔裕鎭
正元 李
哈米 莫斯塔法 伊爾
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW201918939A publication Critical patent/TW201918939A/zh
Application granted granted Critical
Publication of TWI775898B publication Critical patent/TWI775898B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Analysis (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

本發明提供一種方法。所述方法包括：選擇神經網路模型，其中所述神經網路模型包括多個層，且其中所述多個層中的每一者包括權重及啟動；通過將多個量化層***到所述神經網路模型內來修改所述神經網路模型；將成本函數與經修改的所述神經網路模型進行關聯，其中所述成本函數包括與第一正規化項對應的第一係數，且其中所述第一係數的初始值是預定義的；以及訓練經修改的所述神經網路模型，以通過增大所述第一係數來產生層的量化權重，直到所有權重均被量化且所述第一係數滿足預定義的閾值為止，更包括優化所述量化權重的權重縮放因數及優化量化啟動的啟動縮放因數，且其中所述量化權重是使用經優化的所述權重縮放因數進行量化。

Description

合併權重量化與啟動量化之低準度神經網路之學習方法與裝置
本揭露大體來說涉及神經網路，且更具體來說，涉及將權重量化與啟動量化進行組合的用於學習低精度神經網路的方法及裝置。
深度神經網路近來在許多電腦視覺任務（例如，圖像分類、物件檢測、語義分割（semantic segmentation）及超解析度（super resolution））中實現了主要的性能突破。最先進的神經網路的性能得益於非常深的及過度參數化的多層架構。目前，通常在多於一百個層中存在數百萬或數千萬個參數。然而，在大量層中增加網路參數的數目需要使用高性能向量計算處理器，例如配備有大量記憶體的圖形處理單元（graphics processing unit，GPU）。此外，當對高解析度圖像及尺寸增大的視頻進行處理時，對計算能力及記憶體資源的需求迅速增長。
近來，深度神經網路的低精度實施方式受到極大的關注，特別是對於資源受限器件（例如，由電池供電的移動器件或可攜式器件）上的深度神經網路的部署而言。在這種平臺中，記憶體及能力是有限的。此外，可能不支持基本浮點算數運算（floating-point arithmetic operation）。低精度權重（例如，參數）及啟動（例如，特徵圖）降低了計算成本並且降低了記憶體要求。由此，當計算預算和電力預算有限時，低精度權重及啟動是優選的，且有時需要以降低的功耗進行高效處理。通過使用較小位元寬度的低精度權重及啟動而不使用較大位元寬度的全精度值也可減少記憶體負擔。
根據一個實施例，一種方法包括：選擇神經網路模型，其中所述神經網路模型包括多個層，且其中所述多個層中的每一者包括權重及啟動；通過將多個量化層***到所述神經網路模型內來修改所述神經網路模型；將成本函數與經修改的所述神經網路模型進行關聯，其中所述成本函數包括與第一正規化項對應的第一係數，且其中所述第一係數的初始值是預定義的；以及訓練經修改的所述神經網路模型，以通過增大所述第一係數來產生層的量化權重，直到所有權重均被量化且所述第一係數滿足預定義的閾值為止，更包括優化所述量化權重的權重縮放因數以及優化量化啟動的啟動縮放因數，且其中所述量化權重是使用經優化的所述權重縮放因數進行量化。
根據一個實施例，一種裝置包括：選擇器，被配置成選擇神經網路模型，其中所述神經網路模型包括多個層，且其中所述多個層中的每一者包括權重及啟動；***器件，被配置成通過將多個量化層***到所述神經網路模型內來修改所述神經網路模型；關聯器件，被配置成將成本函數與經修改的所述神經網路模型進行關聯，其中所述成本函數包括與第一正規化項對應的第一係數，且其中所述第一係數的初始值是預定義的；以及訓練器件，被配置成訓練經修改的所述神經網路模型，以通過增大所述第一係數來產生層的量化權重，直到所有權重均被量化且所述第一係數滿足預定義的閾值為止，且優化所述量化權重的權重縮放因數以及優化量化啟動的啟動縮放因數，其中所述量化權重是使用經優化的所述權重縮放因數進行量化。
在下文中，參照附圖詳細闡述本揭露的實施例。應注意，相同的元件將由相同的參考編號指示，儘管它們示出在不同的圖式中。在以下說明中，提供例如詳細配置及元件等具體細節僅是為了幫助全面理解本揭露的實施例。因此，對所屬領域中的技術人員應顯而易見，在不背離本揭露的範圍的條件下可對本文所述的實施例作出各種改變及修改。另外，為清晰及簡潔起見，省略對眾所周知的功能及構造的說明。以下所述的用語是考慮到本揭露中的功能而定義的用語，且可根據使用者、使用者的意圖或習慣而有所不同。因此，這些用語的定義應基於本說明書通篇的內容來確定。
本揭露可具有各種修改及各種實施例，以下參照附圖詳細闡述其中的一些實施例。然而應理解，本揭露並非僅限於所述實施例，而是包括處於本揭露的範圍內的所有修改、等效形式及替代形式。
儘管可能使用包括例如“第一（first）”、“第二（second）”等序數詞的用語來闡述各種元件，但結構元件不受這些用語限制。這些用語僅用於區分各個元件。舉例來說，在不背離本揭露的範圍的條件下，“第一結構元件”可被稱為“第二結構元件”。相似地，“第二結構元件”也可被稱為“第一結構元件”。本文中所用的用語“和/或（and/or）”包括一個或多個相關項的任意及所有組合。
本文中所用的用語僅用於闡述本揭露的各種實施例，而並非旨在限制本揭露。除非上下文清楚地另外指明，否則單數形式旨在包括複數形式。在本揭露中，應理解，用語“包括（include）”或“具有（have）”指示特徵、數目、步驟、操作、結構元件、部件或其組合的存在，而不排除一個或多個其他特徵、數位、步驟、操作、結構元件、部件或其組合的存在或添加的可能。
除非進行不同地定義，否則本文中所用的所有用語具有與本揭露所屬領域中的技術人員所理解的含意相同的含意。例如在常用字典中所定義的用語等用語應被解釋為具有與相關技術領域中的上下文含意相同的含意，且除非在本揭露中進行清楚定義，否則不應將其解釋為具有理想化或過於正式的含意。
根據一個實施例，本系統及方法獲得具有量化權重及量化啟動（例如，特徵圖）的低精度神經網路。量化權重及量化啟動由低精度（例如，較低位元寬度）的固定點數表示。在神經網路的每一個層中分別為權重及啟動定義共用縮放因數（common scaling factor）以涵蓋權重及啟動的對於每一個層均發生變化的動態範圍。本系統及方法提供權重量化及啟動量化。
對於權重量化而言，本系統在神經網路的每一個層中以權重的均方量化誤差（mean square quantization error，MSQE）的正規化係數對神經網路進行訓練。根據一個實施例，正規化係數是可學習參數。在初始時，可將正規化係數設定成小的且對高精度（例如，較大位元寬度）模型進行訓練。隨著訓練繼續進行，本系統逐漸增大正規化係數以使正規化係數迫使權重越來越被量化。本系統在正規化係數變得足夠大而使開始時為高精度模型的經訓練模型收斂到僅具有量化權重的低精度模型時完成網路訓練。在訓練期間，每一個層中的權重的縮放因數也是可學習的以使本系統對縮放因數進行優化來將MSQE最小化。
對於啟動（例如，特徵圖）量化而言，本系統包括量化層。量化層是輸出輸入的量化值的非線性層。類似于權重量化，在每一個層中定義啟動的可學習縮放因數，且在訓練期間優化所述可學習縮放因數。將每一個層中的啟動的MSQE最小化以進行優化。量化層在訓練期間產生量化啟動且權重是基於量化啟動進行優化。相反，權重不在訓練反覆運算期間被量化，而是隨著由於MSQE正規化及增大的正規化係數繼續進行訓練，每一權重會逐漸收斂到量化值。
通過將權重量化過程與啟動量化過程進行組合，本系統提供用於學習低精度神經網路的統一訓練方法。根據一個實施例，除了用於低精度神經網路的本訓練過程之外，本系統及方法還提供對可應用的權重及啟動的2的冪縮放因數進行的正規化。當2的冪縮放由位移來實施而非由標量乘法來實施時，2的冪縮放在計算上可為有利的。
根據一個實施例，本系統關注具有量化權重及量化啟動（例如，特徵圖）的低精度神經網路。每一個層中的量化權重及量化啟動分別由相似位元寬度的低精度固定點數（low-precision fixed-point number）表示。在神經網路的每一個層中分別另外地定義權重及啟動的共用縮放因數以涵蓋權重及啟動的對於每一個層均發生變化的動態範圍。縮放因數是量化單元大小（quantization cell size），其對於線性量化而言是固定的。
低精度神經網路可由低精度固定點算數運算來實施。
圖1示出根據本揭露實施例的將權重量化與啟動量化進行組合的用於一般非線性啟動函數的低精度卷積層100的方法的示例性流程圖。
參照圖1，低精度卷積層100的固定點設計包括卷積運算101、偏置加法運算103、第一比例因數乘法運算105、非線性啟動運算107、第二比例因數乘法運算109、量化運算111及用於成本函數選擇、神經網路訓練、量化單元大小優化及權重優化的運算113。
圖1所示方法包括選擇神經網路模型，其中神經網路模型包括多個層。在實施例中，可使用選擇器來選擇神經網路模型。所述多個層中的每一者可包括權重及啟動。可通過將多個量化層***到神經網路模型內來修改神經網路模型。在實施例中，可使用***裝置來***所述多個量化層。將成本函數與經修改的神經網路模型進行關聯，其中所述成本函數包括與第一正規化項對應的第一係數，且第一係數的初始值是預定義的。在實施例中，可使用關聯裝置來將成本函數與經修改的神經網路模型進行關聯。訓練經修改的神經網路模型以通過增大第一係數來產生層的量化權重直到所有權重均被量化且第一係數滿足預定義的閾值為止，並且優化量化權重的權重縮放因數以及優化量化啟動的啟動縮放因數，其中量化權重是使用經優化的權重縮放因數進行量化。在實施例中，可使用訓練裝置來提供訓練。
權重縮放因數及啟動縮放因數可基於將最小平方量化誤差（MSQE）最小化來進行優化。
可將所述多個量化層中的每一量化層***到神經網路模型內每一個層中的每一啟動輸出之後。
成本函數可包括與第二正規化項對應的第二係數，第二正規化項基於權重縮放因數及啟動縮放因數為2的冪數。
可將量化權重、權重縮放因數及啟動縮放因數應用於固定點神經網路，其中固定點神經網路包括多個卷積層，其中所述多個卷積層中的每一者包括卷積運算，所述卷積運算被配置成接收特徵圖及量化權重。偏置加法運算可被配置成接收卷積運算的輸出、及偏置。第一乘法運算可被配置成接收偏置加法運算的輸出、及第一比例因數。啟動運算可被配置成接收第一乘法器運算的輸出。第二乘法運算可被配置成接收啟動運算的輸出及第二比例因數，且量化運算可被配置成接收第二乘法運算的輸出。
可通過以下方式訓練神經網路：通過隨機梯度下降方法來更新權重；通過隨機梯度下降方法來更新權重縮放因數；通過隨機梯度下降方法來更新啟動縮放因數；如果權重縮放因數及啟動縮放因數是2的冪，則包括隨機下降方法的附加梯度；通過隨機梯度下降方法來更新正規化係數；以及如果正規化係數大於預定常數或者所述隨機梯度下降方法的反覆運算次數大於預定限值，則結束訓練。
權重可為固定點權重。第一比例因數可為權重縮放因數與啟動縮放因數的乘積。啟動運算可為非線性啟動函數。
量化權重、權重縮放因數及啟動縮放因數可應用於固定點神經網路，其中固定點神經網路包括多個卷積層，且其中所述多個卷積層中的每一者包括卷積運算，所述卷積運算被配置成接收特徵圖及量化權重。偏置加法運算可被配置成接收卷積運算的輸出、及偏置。修正線性單元（ReLU）啟動運算可被配置成接收偏置加法運算的輸出。比例因數乘法運算可被配置成接收ReLU啟動運算的輸出及比例因數，且量化運算可被配置成接收比例因數乘法運算的輸出。
比例因數可為權重比例因數與量化比例因數的乘積。
卷積運算101接收特徵圖（例如，固定點（fixed-point，FXP）輸入）及固定點權重（例如，FXP權重）。在一個實施例中，卷積運算101是利用低精度固定點乘法器及累加器實施的。
偏置加法運算103接收卷積運算101的輸出、及偏置，並對卷積運算101的輸出與偏置求和。
對於層l ，可以權重縮放因數d l 及輸入特徵圖縮放因數D l -1來對 固定點權重及輸入特徵圖進行縮放。舉例來說，可由第一比例因數乘法運算105以權重縮放因數d l 與輸入特徵圖縮放因數D l -1 的乘積（例如，D l -1 d l ）來對偏置加法運算103的輸出進行縮放，第一比例因數乘法運算105接收偏置加法運算103的輸出、及縮放因數D l -1 d l 並從偏置加法運算103的輸出與縮放因數D l -1 d l 產生乘積。在一個實施例中，可通過以縮放因數D l -1 d l 對偏置進行縮放來避免對偏置加法運算103的輸出進行縮放。
第一非線性啟動運算107接收第一比例因數乘法運算105的輸出。
非線性啟動運算107的輸出以縮放因數縮放因數1/D l 進行縮放。舉例來說，第二比例因數乘法運算109接收啟動運算107的輸出、及縮放因數（例如，1/D l ）並產生啟動運算107的輸出與縮放因數的乘積。
量化運算111將第二比例因數乘法運算109的輸出量化（例如，FXP輸出）。
運算113選擇成本函數，訓練神經網路，優化量化單元大小並優化權重。
圖2示出根據本揭露實施例的將權重量化與啟動量化進行組合的用於ReLU啟動函數的低精度卷積層200的方法的示例性流程圖。
參照圖2，低精度卷積層200包括卷積運算201、偏置加法運算203、ReLU運算205、比例因數乘法運算207、量化運算209及用於成本函數選擇、神經網路訓練、量化單元大小優化及權重優化的運算211。
卷積運算201接收特徵圖（例如，FXP輸入）及固定點權重（例如，FXP權重）。在一個實施例中，卷積運算201是利用低精度固定點乘法器及累加器實施的。
偏置加法運算203接收卷積運算201的輸出、及偏置，並對卷積運算201的輸出與偏置求和。
ReLU運算205接收偏置加法運算203的輸出。
對於層l ，可分別以縮放因數d l 及D l -1來對 固定點權重及輸入特徵圖進行縮放。舉例來說，可由比例因數乘法運算207以權重縮放因數d l 與輸入特徵圖縮放因數D l -1 的乘積除以D l （例如，(D l -1 d l )/D l ）來對ReLU運算205的輸出進行縮放，比例因數乘法運算207接收ReLU運算205的輸出及縮放因數D l -1 d l /D l ，並從ReLU運算205的輸出與縮放因數D l -1 d l /D l 產生乘積。也就是說，圖1中所示的兩個縮放運算在圖2中被組合成一個縮放運算。如果縮放因數是2的冪數，則可通過位移來實施縮放。相似地，可通過利用簡單矩陣乘法取代卷積來實施全連接層（fully-connected layer）。
量化運算209將比例因數乘法運算207的輸出量化（例如，FXP輸出）。
運算211選擇成本函數，訓練神經網路，優化量化單元大小並優化權重。
在低精度神經網路中，可提供並固定權重及啟動的位元寬度。可選擇用於固定點權重及啟動的縮放因數。在確定最優縮放因數的同時，本系統對低精度固定點權重進行優化。根據一個實施例，本系統及方法同時學習量化參數及量化固定點權重。
根據一個實施例，本系統及方法提供包括權重量化及啟動量化的低精度神經網路量化。
可定義量化函數。可提供用於表示每一量化值的位元數。對於位元寬度n 而言（其中n 是整數），量化函數輸出如以下方程式（1）中所示：Qn (x ;d ) =d ·clip (round (2/d ),[-2 n -1 ,2 n -1 -1])，…(1) 其中x 是輸入且d 是量化單元大小（例如，共用縮放因數）；且捨入函數（rounding function）及裁減函數（clipping function）如以下方程式（2）及方程式（3）中所示：round (x ) =sign (x)ë|x | + 0.5û，…(2)clip (x ,[a ,b ]) = min(max (x ,a ),b )，…(3) 其中x 、a 、及b 是輸入。
對於具有L 個層的一般非線性神經網路而言，W 1 ,W 2 ,...,WL 分別為層1到層L 中的權重集合，其中L 是整數。為使標注簡明起見，對於任何符號A 而言，方程式（4）均如下：，…(4)。
對於權重量化而言，本系統提供所有L 個層中的權重的MSQE的平均值的正規化項，即，如以下方程式（5）中所示：，…(5) 其中n 是低精度權重的位元寬度，d l 是量化單元大小（即，層L 中的權重的共用縮放因數），且N 是所有L 個層中的權重的總數目，即。
根據一個實施例，本系統提供可學習正規化係數以利用以上MSQE正規化逐漸獲得量化權重。正規化係數可為另一個可學習參數。本系統從小的正規化係數（例如，預定義的正規化係數）開始，以小的性能損失來學習高精度模型。隨著訓練繼續進行，本系統增大正規化係數直到在訓練完成時存在量化權重為止。包括小的正規化係數的附加懲罰項（additional penalty term），例如，-log a，其中a是正規化係數。權重量化的成本函數如以下方程式（6）中所示：，…(6) 其中是訓練資料集X 的原始網路損失函數（original network loss function），且其中l 是為進行訓練而選擇及固定的超參數（hyper-parameter）。
本系統對網路訓練中的成本函數進行優化並更新權重、量化單元大小及可學習正規化係數。由於存在對小的a值的懲罰項即-loga（其中a使正規化項Rn 的重要性在訓練期間連續增大），此使用于權重量化的正規化增大且使權重能夠通過完成訓練而得到量化。正規化係數逐漸增大，只要網路損失函數不明顯降低即可。
對於啟動量化而言，本系統提供量化層。對於原始全精度模型而言，在需要對低精度模型進行啟動量化的任何位置（例如，在每一啟動函數之後）***用於啟動的量化層。本系統可在從1到L 的每一現存的層之後***量化層。對於來自層l 的啟動x 而言，量化層輸出Qm (x ;D l )，其中Qm 是位元寬度m 的量化函數，且D l 是層l 的輸出啟動的可學習量化單元大小（例如，共用縮放因數）。
本系統通過將層l 的輸出啟動的MSQE最小化來對D l 進行優化，如以下方程式（7）中所示：，…(7) 其中Xl 是層l 的輸出啟動值的集合，條件是1£l £L 。此外，通過假設量化層是緊挨在第一層之前***以對網路輸入進行量化（即，其中X 0 是網路輸入值的集合且D 0 是網路輸入的量化單元大小），l 可包括l =0。
在訓練中將量化層啟動以產生量化啟動來針對量化啟動對權重進行優化。相反，權重量化方法實際上不會在訓練期間一次將權重全部量化。權重是在訓練期間逐漸被量化的，其中由於MSQE正規化，每一個權重會隨著訓練以增大的正規化係數進行而逐漸收斂到量化值。
2的冪量化單元大小（例如，共用縮放因數）當由位移實施而非由標量乘法實施時會在計算方面提供有益之處。可如以下在方程式（8）中所示來引入附加正規化項：…(8) 其中roundpow 2 是捨入到最接近的2的冪值的捨入函數，即，如以下方程式（9）中所示：...(9) 利用可學習正規化係數，本系統在訓練期間將量化單元大小逐漸收斂到最優的2的冪值。舉例來說，可通過對以下方程式（10）所示的成本函數進行優化來獲得以2的冪的量化單元大小進行的權重量化：，…(10) 其中l 及z 是為進行訓練而選擇及固定的超參數。相似地，可通過將啟動量化單元大小正規化到2的冪數。
圖3示出根據本揭露實施例對低精度神經網路進行權重量化及啟動量化的方法的示例性流程圖。
參照圖3，在301處，本系統選擇具有位元寬度n 及m 的神經網路模型，其中n 及m 是整數。低精度神經網路的量化方法包括分別針對低精度權重及低精度啟動來選擇具有位元寬度n 及m 的原始神經網路模型（例如，位元寬度可針對不同層而為不同的或者針對所有層為固定的）。
在303處，本系統通過***量化層對所選擇的神經網路模型進行修改。舉例來說，在每一啟動輸出之後及第一層輸入之前***量化層。
在305處，本系統選擇成本函數。舉例來說，成本函數如以下方程式（11）中所示：…(11) 其中l 及h 是在訓練之前選擇及固定的超參數。
在307處，如果量化單元大小是2的冪，則本系統在成本函數中包括附加正規化項，如以下方程式（12）中所示：，...(12) 其中z 1 及z 2 是在訓練之前選擇及固定的超參數。
在309處，本系統對網路進行訓練以產生經優化的量化單元大小。
在311處，本系統利用經優化的量化單元大小對權重進行優化。在訓練結束之後，本系統可利用經優化的量化單元大小對經訓練的權重進行量化，這是由於在訓練結束時的經訓練的權重是經量化的但仍處於高精度。從311產生的損失可為可忽略不計的，只要權重量化成功且a 變得足夠大即可。
圖4示出根據本揭露實施例的將權重量化與啟動量化進行組合的訓練低精度神經網路的方法的示例性流程圖。根據一個實施例，圖4可如由圖3中的309所表示的一樣來實施。
利用以迷你批（mini-batch）進行的隨機梯度下降，通過隨機梯度下降方法的一種來更新每一可學習參數p （例如，權重、量化單元大小、正規化係數），例如如以下方程式（13）中所示：…(13) 參照圖4，在401處，本系統利用如以下方程式（14）中所示梯度來更新中的權重：…(14) 其中Bn (δl ) 是線性量化單元邊界的集合，即，如以下方程式（15）中所示：…(15) 第一項可從反向傳播方法（back propagation method）獲得。
在403處，本系統利用以下方程式（16）所示梯度來更新權重量化單元大小：…(16) 其中=clip (round (w /d l ),[-2 n -1 ,2 n -1 -1])。
在405處，本系統更新權重正規化係數a 。並非直接更新a ，本系統利用如以下方程式（17）中所示的梯度來更新g = loga ：…(17) 在407處，本系統利用以下方程式（18）所示梯度來更新啟動量化單元大小：…(18) 其中。
在409處，如果需要2的冪量化單元大小，則如以下方程式（19）及方程式（20）所示包括附加梯度：…(19)…(20) 在訓練期間，利用以下方程式（21）及方程式（22）的梯度更新w1 = logb 1 及w2 = logb 2 。…(21)…(22)
在411處，如果對於足夠大的預定常數A 而言a ＞A 或如果反覆運算次數大於預定數目，則訓練結束。
為能夠通過量化層進行反向傳播，當輸入處於裁剪邊界內時，本系統使用將梯度從上層傳遞到下層的直通估算器（straight-through estimator）。在裁剪邊界外部，梯度被確定成零。在量化中可使用隨機捨入而非確定性捨入來實現更好的收斂。
梯度的附加計算成本並不昂貴，且附加複雜度僅以O (N )增長，其中N 是權重的數目。因此，上述方法適用于具有數百萬或數千萬個參數的深度神經網路。
根據一個實施例，權重量化方法可擴展到包括權重修剪。也就是說，對於閾值q 而言，用於權重量化與權重修剪兩者的函數可如以下方程式（23）中一樣進行定義：…(23)
如果輸入小於閾值q ，則以上方程式（23）輸出零。否則，方程式（23）輸出輸入的量化值。接著，為了除實現權重量化之外還實現權重修剪，將以上方程式（5）中的權重正規化修改為以下方程式（24）：…(24) 其中q l 是預定常數或每一訓練反覆運算中的權重值的函數。
舉例來說，對於每一層l 中的目標權重修剪速率rl 而言，可從每一個層中的權重的絕對值的第r個百分位獲得閾值q l ，閾值q l 可在每一訓練反覆運算中更新。正規化接著迫使低於閾值q l 的權重朝零逼近，同時將其他權重量化成它們最近的單元中心。經量化的低精度權重的大小可通過可變速率編碼（例如，赫夫曼編碼（Huffman coding）或算術編碼）得到進一步壓縮。
舉例來說，對於權重修剪而言，修剪函數可如以下方程式（25）中所示：…(25) 權重修剪正規化項可如以下方程式（26）中所示：…(26) 其中q l 是預定常數或每一訓練反覆運算中的權重值的函數。
類似於以上方程式（24），對於每一層l 中的目標權重修剪速率rl 而言，可從每一個層中的權重的絕對值的第r個百分位獲得閾值q l ，且閾值q l 可在每一訓練反覆運算中更新。正規化接著使低於閾值q l 的權重朝零移動。
根據一個實施例，本系統提供具有量化權重及量化特徵圖的低精度神經網路。舉例來說，假設分別對每一個層中的權重及特徵圖應用共用縮放因數（即，固定量化單元大小），則經量化的權重及特徵圖由低精度的固定點數表示。由於固定點權重及特徵圖為低精度，因此本系統會降低存儲/記憶體要求降低計算成本；可使用固定點算數運算而非全精度浮點算數運算。
儘管已在本揭露的詳細說明中闡述了本揭露的某些實施例，然而在不背離本揭露的範圍的條件下可以各種形式對本揭露進行修改。因此，本揭露的範圍不應僅基於所闡述的實施例來確定，而是應基於隨附權利要求及其等效範圍來確定。
100、200‧‧‧低精度卷積層
101、201‧‧‧卷積運算
103、203‧‧‧偏置加法運算
105‧‧‧第一比例因數乘法運算
107‧‧‧非線性啟動運算/第一非線性啟動運算/啟動運算
109‧‧‧第二比例因數乘法運算
111、209‧‧‧量化運算
113、211‧‧‧運算
205‧‧‧ReLU運算
207‧‧‧比例因數乘法運算
301、303、305、307、309、311、401、403、405、407、409、411‧‧‧步驟
結合附圖閱讀以下詳細說明，以上及其他方面、特徵及本揭露某些實施例的優點將更顯而易見，在附圖中： 圖1示出根據本揭露實施例的將權重量化與啟動量化進行組合的用於一般非線性啟動函數的低精度卷積層的方法的示例性流程圖。 圖2示出根據本揭露實施例的將權重量化與啟動量化進行組合的用於修正線性單元（rectified linear unit，ReLU）啟動函數的低精度卷積層的方法的示例性流程圖。 圖3示出根據本揭露實施例的對低精度神經網路進行權重量化及啟動量化的方法的示例性流程圖。 圖4示出根據本揭露實施例的將權重量化與啟動量化進行組合的訓練低精度神經網路的方法的示例性流程圖。

Claims (20)

  1. 一種方法，包括： 選擇神經網路模型，其中所述神經網路模型包括多個層，且其中所述多個層中的每一者包括權重及啟動； 通過將多個量化層***到所述神經網路模型內來修改所述神經網路模型； 將成本函數與經修改的所述神經網路模型進行關聯，其中所述成本函數包括與第一正規化項對應的第一係數，且其中所述第一係數的初始值是預定義的；以及 訓練經修改的所述神經網路模型，以通過增大所述第一係數來產生層的量化權重，直到所有權重均被量化且所述第一係數滿足預定義的閾值為止，更包括優化所述量化權重的權重縮放因數以及優化量化啟動的啟動縮放因數，且其中所述量化權重是使用經優化的所述權重縮放因數進行量化。
  2. 如申請專利範圍第1項所述的方法，其中優化所述權重縮放因數及所述啟動縮放因數是基於將最小平方量化誤差最小化。
  3. 如申請專利範圍第1項所述的方法，更包括：將所述多個量化層中的每一量化層***到所述神經網路模型內每一個層中的每一啟動輸出之後。
  4. 如申請專利範圍第1項所述的方法，其中所述成本函數包括與第二正規化項對應的第二係數，所述第二正規化項是基於所述權重縮放因數及所述啟動縮放因數為2的冪數。
  5. 如申請專利範圍第1項所述的方法，更包括將所述量化權重、所述權重縮放因數及所述啟動縮放因數應用於固定點神經網路，其中所述固定點神經網路包括多個卷積層， 其中所述多個卷積層中的每一者包括：卷積運算，被配置成接收特徵圖及所述量化權重， 偏置加法運算，被配置成接收所述卷積運算的輸出、及偏置， 第一乘法運算，被配置成接收所述偏置加法運算的輸出、及第一比例因數， 啟動運算，被配置成接收所述第一乘法器運算的輸出， 第二乘法運算，被配置成接收所述啟動運算的輸出、及第二比例因數，以及 量化運算，被配置成接收所述第二乘法運算的輸出。
  6. 如申請專利範圍第1項所述的方法，其中訓練所述神經網路包括： 通過隨機梯度下降方法來更新所述權重； 通過所述隨機梯度下降方法來更新所述權重縮放因數； 通過所述隨機梯度下降方法來更新所述啟動縮放因數； 如果所述權重縮放因數及所述啟動縮放因數是2的冪，則包括所述隨機下降方法的附加梯度； 通過所述隨機梯度下降方法來更新所述第一係數；以及 如果所述第一係數大於預定常數或者所述方法的反覆運算次數大於預定限值，則結束訓練。
  7. 如申請專利範圍第5項所述的方法，其中所述權重是固定點權重。
  8. 如申請專利範圍第5項所述的方法，其中所述第一比例因數是所述權重縮放因數與所述啟動縮放因數的乘積。
  9. 如申請專利範圍第5項所述的方法，其中所述啟動運算是非線性啟動函數。
  10. 如申請專利範圍第1項所述的方法，更包括將所述量化權重、所述權重縮放因數及所述啟動縮放因數應用於固定點神經網路，其中所述固定點神經網路包括多個卷積層， 其中所述多個卷積層中的每一者包括：卷積運算，被配置成接收特徵圖及所述量化權重， 偏置加法運算，被配置成接收所述卷積運算的輸出、及偏置， 修正線性單元啟動運算，被配置成接收所述偏置加法運算的輸出， 比例因數乘法運算，被配置成接收所述修正線性單元啟動運算的輸出、及比例因數，以及 量化運算，被配置成接收所述比例因數乘法運算的輸出。
  11. 如申請專利範圍第10項所述的方法，其中所述比例因數是所述權重比例因數與所述量化比例因數的乘積。
  12. 一種裝置，包括： 選擇器，被配置成選擇神經網路模型，其中所述神經網路模型包括多個層，且其中所述多個層中的每一者包括權重及啟動； ***器件，被配置成通過將多個量化層***到所述神經網路模型內來修改所述神經網路模型； 關聯器件，被配置成將成本函數與經修改的所述神經網路模型進行關聯，其中所述成本函數包括與第一正規化項對應的第一係數，且其中所述第一係數的初始值是預定義的；以及 訓練器件，被配置成訓練經修改的所述神經網路模型，以通過增大所述第一係數來產生層的量化權重，直到所有權重均被量化且所述第一係數滿足預定義的閾值為止，且優化所述量化權重的權重縮放因數以及優化量化啟動的啟動縮放因數，其中所述量化權重是使用經優化的所述權重縮放因數進行量化。
  13. 如申請專利範圍第12項所述的裝置，其中所述訓練器件還被配置成基於將最小平方量化誤差最小化來優化所述權重縮放因數及所述啟動縮放因數。
  14. 如申請專利範圍第12項所述的裝置，其中所述***器件還被包括以將所述多個量化層中的每一量化層***到所述神經網路模型內每一個層中的每一啟動輸出之後。
  15. 如申請專利範圍第12項所述的裝置，其中所述成本函數包括與第二正規化項對應的第二係數，所述第二正規化項是基於所述權重縮放因數及所述啟動縮放因數為2的冪數。
  16. 如申請專利範圍第12項所述的裝置，其中所述神經網路是固定點神經網路，所述量化權重、所述權重縮放因數及所述啟動縮放因數應用於所述固定點神經網路，其中所述固定點神經網路包括多個卷積層， 其中所述多個卷積層中的每一者包括：卷積器件，被配置成接收特徵圖及所述量化權重， 偏置加法器件，被配置成接收所述卷積器件的輸出、及偏置， 第一乘法器，被配置成接收所述偏置加法器件的輸出、及第一比例因數， 啟動器件，被配置成接收所述第一乘法器的輸出， 第二乘法器，被配置成接收所述啟動器件的輸出、及第二比例因數，以及 量化器件，被配置成接收所述第二乘法器的輸出。
  17. 如申請專利範圍第12項所述的裝置，其中所述訓練器件更被包括以： 通過隨機梯度下降方法來更新所述權重； 通過所述隨機梯度下降方法來更新所述權重縮放因數； 通過所述隨機梯度下降方法來更新所述啟動縮放因數； 如果所述權重縮放因數及所述啟動縮放因數是2的冪，則包括所述隨機下降方法的附加梯度； 通過所述隨機梯度下降方法來更新所述第一係數；以及 如果所述第一係數大於預定常數或者反覆運算次數大於預定限值，則結束訓練。
  18. 如申請專利範圍第16項所述的裝置，其中所述權重是固定點權重。
  19. 如申請專利範圍第16項所述的裝置，其中所述第一比例因數是所述權重縮放因數與所述啟動縮放因數的乘積。
  20. 如申請專利範圍第16項所述的裝置，其中所述啟動器件是非線性啟動器件。
TW107124493A 2017-11-07 2018-07-16 用於學習低精度神經網路的方法及裝置 TWI775898B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201762582848P 2017-11-07 2017-11-07
US62/582,848 2017-11-07
US201762583390P 2017-11-08 2017-11-08
US62/583,390 2017-11-08
US15/914,229 US11270187B2 (en) 2017-11-07 2018-03-07 Method and apparatus for learning low-precision neural network that combines weight quantization and activation quantization
US15/914,229 2018-03-07

Publications (2)

Publication Number Publication Date
TW201918939A true TW201918939A (zh) 2019-05-16
TWI775898B TWI775898B (zh) 2022-09-01

Family

ID=66327406

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107124493A TWI775898B (zh) 2017-11-07 2018-07-16 用於學習低精度神經網路的方法及裝置

Country Status (4)

Country Link
US (1) US11270187B2 (zh)
KR (1) KR102672004B1 (zh)
CN (1) CN109754063A (zh)
TW (1) TWI775898B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI709090B (zh) * 2019-08-30 2020-11-01 阿證科技股份有限公司 類神經人工智慧決策網路核心系統及其資訊處理方法
TWI743710B (zh) * 2020-03-18 2021-10-21 國立中山大學 卷積神經網路的方法、電子裝置與電腦程式產品
TWI795135B (zh) * 2021-12-22 2023-03-01 財團法人工業技術研究院 神經網路模型的量化方法及深度學習加速器
US11636336B2 (en) 2019-12-04 2023-04-25 Industrial Technology Research Institute Training device and training method for neural network model
TWI820846B (zh) * 2022-06-29 2023-11-01 新加坡商聯發科技（新加坡）私人有限公司 確定用於混合精度神經網路計算的位寬的方法以及系統

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190068255A (ko) * 2017-12-08 2019-06-18 삼성전자주식회사 고정 소수점 뉴럴 네트워크를 생성하는 방법 및 장치
CN108256644B (zh) * 2018-01-05 2021-06-22 上海兆芯集成电路有限公司 微处理器电路以及执行神经网络运算的方法
US11205115B1 (en) * 2018-04-20 2021-12-21 Perceive Corporation Neural network inference circuit
WO2019220755A1 (ja) * 2018-05-14 2019-11-21 ソニー株式会社 情報処理装置および情報処理方法
US11551077B2 (en) * 2018-06-13 2023-01-10 International Business Machines Corporation Statistics-aware weight quantization
US10380997B1 (en) * 2018-07-27 2019-08-13 Deepgram, Inc. Deep learning internal state index-based search and classification
US11640533B2 (en) * 2018-08-03 2023-05-02 Arm Limited System, method and apparatus for training neural networks using multiple datasets
WO2020049681A1 (ja) * 2018-09-06 2020-03-12 株式会社Pfu 情報処理装置、方法及びプログラム
WO2020104036A1 (en) * 2018-11-22 2020-05-28 Nokia Technologies Oy Learning in communication systems
US12045725B1 (en) 2018-12-05 2024-07-23 Perceive Corporation Batch normalization for replicated layers of neural network
US11847567B1 (en) 2018-12-05 2023-12-19 Perceive Corporation Loss-aware replication of neural network layers
GB2580171B (en) * 2018-12-21 2021-02-17 Imagination Tech Ltd Methods and systems for selecting quantisation parameters for deep neural networks using back-propagation
KR102165273B1 (ko) * 2019-04-02 2020-10-13 국방과학연구소 소형 뉴럴 네트워크의 채널 프루닝(pruning) 방법 및 시스템
US11531879B1 (en) 2019-04-25 2022-12-20 Perceive Corporation Iterative transfer of machine-trained network inputs from validation set to training set
US11900238B1 (en) 2019-04-25 2024-02-13 Perceive Corporation Removing nodes from machine-trained network based on introduction of probabilistic noise during training
US11610154B1 (en) 2019-04-25 2023-03-21 Perceive Corporation Preventing overfitting of hyperparameters during training of network
US11556770B2 (en) * 2019-05-31 2023-01-17 International Business Machines Corporation Auto weight scaling for RPUs
CN112085175B (zh) * 2019-06-14 2024-05-03 华为技术有限公司 基于神经网络计算的数据处理方法和装置
US20220129759A1 (en) * 2019-06-26 2022-04-28 Intel Corporation Universal Loss-Error-Aware Quantization for Deep Neural Networks with Flexible Ultra-Low-Bit Weights and Activations
US11494657B2 (en) * 2019-07-30 2022-11-08 Perceive Corporation Quantizing neural networks using approximate quantization function
CN110533165B (zh) * 2019-08-16 2022-05-17 浪潮电子信息产业股份有限公司 一种图像处理方法、装置及设备
GB2581546B (en) * 2019-08-22 2021-03-31 Imagination Tech Ltd Methods and systems for converting weights of a deep neural network from a first number format to a second number format
CN112446487A (zh) * 2019-08-29 2021-03-05 佳能株式会社 神经网络模型的训练和应用方法、装置、***及存储介质
JP7419711B2 (ja) * 2019-09-09 2024-01-23 株式会社ソシオネクスト 量子化パラメータ最適化方法、及び、量子化パラメータ最適化装置
WO2021053363A1 (en) * 2019-09-19 2021-03-25 Intel Corporation Techniques to tune scale parameter for activations in binary neural networks
CN112561050B (zh) * 2019-09-25 2023-09-05 杭州海康威视数字技术股份有限公司 一种神经网络模型训练方法及装置
US11842169B1 (en) 2019-09-25 2023-12-12 Amazon Technologies, Inc. Systolic multiply delayed accumulate processor architecture
EP3816872A1 (en) * 2019-11-01 2021-05-05 Applied Brain Research Inc. Methods and systems for training multi-bit spiking neural networks for efficient implementation on digital hardware
US11816446B2 (en) 2019-11-27 2023-11-14 Amazon Technologies, Inc. Systolic array component combining multiple integer and floating-point data types
US11467806B2 (en) 2019-11-27 2022-10-11 Amazon Technologies, Inc. Systolic array including fused multiply accumulate with efficient prenormalization and extended dynamic range
US11995555B1 (en) 2019-12-17 2024-05-28 Perceive Corporation Training a neural network with quantized weights
CN111105017B (zh) * 2019-12-24 2023-05-16 北京旷视科技有限公司 神经网络量化方法、装置及电子设备
CN111200716B (zh) * 2020-01-08 2021-10-26 珠海亿智电子科技有限公司 特征映射缩放的精度补偿方法、***及存储介质
US11935271B2 (en) * 2020-01-10 2024-03-19 Tencent America LLC Neural network model compression with selective structured weight unification
CN113112012B (zh) * 2020-01-10 2023-04-25 腾讯美国有限责任公司 用于视频图像处理的方法、装置和计算机设备
CN111240640B (zh) * 2020-01-21 2022-05-10 苏州浪潮智能科技有限公司 基于硬件环境的数据量化方法、装置及可读存储介质
JP7475164B2 (ja) * 2020-03-05 2024-04-26 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
CN113392954B (zh) * 2020-03-13 2023-01-24 华为技术有限公司 终端网络模型的数据处理方法、装置、终端以及存储介质
KR102657904B1 (ko) * 2020-05-12 2024-04-17 한국전자통신연구원 뉴럴 네트워크에서의 다중 레벨 단계적 양자화 방법 및 장치
US20210365838A1 (en) * 2020-05-22 2021-11-25 Electronics And Telecommunications Research Institute Apparatus and method for machine learning based on monotonically increasing quantization resolution
CN113762500B (zh) * 2020-06-04 2024-04-02 合肥君正科技有限公司 一种卷积神经网络在量化时提高模型精度的训练方法
CN113762496B (zh) * 2020-06-04 2024-05-03 合肥君正科技有限公司 一种降低低比特卷积神经网络推理运算复杂度的方法
CN113762497B (zh) * 2020-06-04 2024-05-03 合肥君正科技有限公司 一种卷积神经网络模型低比特推理优化的方法
CN113762494B (zh) * 2020-06-04 2024-08-02 合肥君正科技有限公司 一种通过权重预处理提高低比特神经网络模型精度的方法
US11308027B1 (en) 2020-06-29 2022-04-19 Amazon Technologies, Inc. Multiple accumulate busses in a systolic array
WO2022003657A1 (en) * 2020-06-30 2022-01-06 Samsung Electronics Co., Ltd. A method and system for processing data efficiently in a model inference phase in a communication device
CN111523526A (zh) * 2020-07-02 2020-08-11 杭州雄迈集成电路技术股份有限公司 一种目标检测方法、计算机设备及可读存储介质
CN111783961A (zh) * 2020-07-10 2020-10-16 中国科学院自动化研究所 基于激活定点拟合的卷积神经网络训练后量化方法及***
US12061981B1 (en) 2020-08-13 2024-08-13 Perceive Corporation Decomposition of weight tensors in network with value quantization
CN112183726A (zh) * 2020-09-28 2021-01-05 云知声智能科技股份有限公司 一种神经网络全量化方法及***
US20220114413A1 (en) * 2020-10-12 2022-04-14 Black Sesame International Holding Limited Integer-based fused convolutional layer in a convolutional neural network
WO2022087953A1 (zh) * 2020-10-29 2022-05-05 华为技术有限公司 一种基于神经网络模型的量化方法及其相关设备
US20220180177A1 (en) * 2020-12-08 2022-06-09 International Business Machines Corporation An efficient method for vlsi implementation of useful neural network activation functions
CN112733863B (zh) * 2021-01-07 2022-06-07 苏州浪潮智能科技有限公司 一种图像特征提取方法、装置、设备及存储介质
US20220222435A1 (en) * 2021-01-08 2022-07-14 Meta Platforms, Inc. Task-Specific Text Generation Based On Multimodal Inputs
CN112884146B (zh) * 2021-02-25 2024-02-13 香港理工大学深圳研究院 一种训练基于数据量化与硬件加速的模型的方法及***
CN113408695B (zh) * 2021-04-29 2024-05-31 开放智能机器（上海）有限公司 一种离线量化工具的精度调优方法
KR20220154902A (ko) * 2021-05-14 2022-11-22 삼성전자주식회사 전자 장치 및 이의 제어 방법
CN113516172B (zh) * 2021-05-19 2023-05-12 电子科技大学 基于随机计算贝叶斯神经网络误差注入的图像分类方法
US11880682B2 (en) * 2021-06-30 2024-01-23 Amazon Technologies, Inc. Systolic array with efficient input reduction and extended array performance
CN114067285B (zh) * 2021-11-18 2024-08-20 昆明理工大学 一种基于二值化的卷积神经网络车辆分类方法
CN114764756B (zh) * 2022-06-15 2022-09-20 杭州雄迈集成电路技术股份有限公司 去雾模型的量化剪枝方法及***
KR20240078953A (ko) * 2022-11-28 2024-06-04 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR20240120352A (ko) * 2023-01-31 2024-08-07 삼성전자주식회사 곱셈기와 누적기를 이용한 양자화를 수행하는 전자 장치 및 그 제어 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2700031A2 (en) * 2011-04-20 2014-02-26 Novo Nordisk A/S Glucose predictor based on regularization networks with adaptively chosen kernels and regularization parameters
US9224089B2 (en) * 2012-08-07 2015-12-29 Qualcomm Incorporated Method and apparatus for adaptive bit-allocation in neural systems
EP4375992A3 (en) * 2014-05-07 2024-07-10 Samsung Electronics Co., Ltd. Method and device for quantizing linear predictive coefficient, and method and device for dequantizing same
US10417525B2 (en) 2014-09-22 2019-09-17 Samsung Electronics Co., Ltd. Object recognition with reduced neural network weight precision
US10373050B2 (en) 2015-05-08 2019-08-06 Qualcomm Incorporated Fixed point neural network based on floating point neural network quantization
US10262259B2 (en) 2015-05-08 2019-04-16 Qualcomm Incorporated Bit width selection for fixed point neural networks
CN105512289B (zh) 2015-12-07 2018-08-14 郑州金惠计算机***工程有限公司 基于深度学习和哈希的图像检索方法
US20170228646A1 (en) * 2016-02-04 2017-08-10 Qualcomm Incorporated Spiking multi-layer perceptron
US10831444B2 (en) * 2016-04-04 2020-11-10 Technion Research & Development Foundation Limited Quantized neural network training and inference
CN107133919A (zh) 2017-05-16 2017-09-05 西安电子科技大学 基于深度学习的时间维视频超分辨率方法
CN107239826A (zh) * 2017-06-06 2017-10-10 上海兆芯集成电路有限公司 在卷积神经网络中的计算方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI709090B (zh) * 2019-08-30 2020-11-01 阿證科技股份有限公司 類神經人工智慧決策網路核心系統及其資訊處理方法
US11636336B2 (en) 2019-12-04 2023-04-25 Industrial Technology Research Institute Training device and training method for neural network model
TWI743710B (zh) * 2020-03-18 2021-10-21 國立中山大學 卷積神經網路的方法、電子裝置與電腦程式產品
TWI795135B (zh) * 2021-12-22 2023-03-01 財團法人工業技術研究院 神經網路模型的量化方法及深度學習加速器
TWI820846B (zh) * 2022-06-29 2023-11-01 新加坡商聯發科技（新加坡）私人有限公司 確定用於混合精度神經網路計算的位寬的方法以及系統

Also Published As

Publication number Publication date
US11270187B2 (en) 2022-03-08
KR102672004B1 (ko) 2024-06-03
KR20190051755A (ko) 2019-05-15
TWI775898B (zh) 2022-09-01
US20190138882A1 (en) 2019-05-09
CN109754063A (zh) 2019-05-14

Similar Documents

Publication Publication Date Title
TW201918939A (zh) 用於學習低精度神經網路的方法及裝置
CN109685198B (zh) 用于量化神经网络的参数的方法和装置
CN110555450B (zh) 人脸识别神经网络调整方法和装置
US20180260710A1 (en) Calculating device and method for a sparsely connected artificial neural network
CN109002889B (zh) 自适应迭代式卷积神经网络模型压缩方法
CN109670575B (zh) 用于同时执行激活和卷积运算的方法和装置及其学习方法和学习装置
CN110555508A (zh) 人工神经网络调整方法和装置
CN108345939A (zh) 基于定点运算的神经网络
CN115688877A (zh) 一种用于对待量化数据进行定点化处理的方法及计算装置
CN112508125A (zh) 一种图像检测模型的高效全整数量化方法
CN109670574B (zh) 用于同时执行激活和卷积运算的方法和装置及其学习方法和学习装置
JP7076648B2 (ja) 画像処理方法及び装置、コンピュータ機器並びにコンピュータ記憶媒体
US12050987B2 (en) Dynamic variable bit width neural processor
TWI744724B (zh) 處理卷積神經網路的方法
CN112771547A (zh) 通信***中的端到端学习
WO2022111002A1 (zh) 用于训练神经网络的方法、设备和计算机可读存储介质
US20240095522A1 (en) Neural network generation device, neural network computing device, edge device, neural network control method, and software generation program
CN112561050B (zh) 一种神经网络模型训练方法及装置
CN118171702A (zh) 一种基于多模型联合学习的神经网络量化方法
CN112446461A (zh) 一种神经网络模型训练方法及装置
WO2021232907A1 (zh) 一种神经网络模型的训练装置、方法及相关设备
CN116472538A (zh) 用于量化神经网络的方法和***
CN114298291A (zh) 一种模型量化处理***及一种模型量化处理方法
JP7506276B2 (ja) 半導体ハードウェアにおいてニューラルネットワークを処理するための実装および方法
US20210365838A1 (en) Apparatus and method for machine learning based on monotonically increasing quantization resolution

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent