JP6869676B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP6869676B2 JP6869676B2 JP2016188412A JP2016188412A JP6869676B2 JP 6869676 B2 JP6869676 B2 JP 6869676B2 JP 2016188412 A JP2016188412 A JP 2016188412A JP 2016188412 A JP2016188412 A JP 2016188412A JP 6869676 B2 JP6869676 B2 JP 6869676B2
- Authority
- JP
- Japan
- Prior art keywords
- codebook
- information processing
- layer
- weight parameter
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Description
以下、本発明の第1の実施形態について、図面を参照しながら説明する。本実施形態は、ニューラルネットの重みパラメータの圧縮の方法、および圧縮したパラメータを用いた認識動作の基本的な形態について示す。
次に、図3(A)および(B)のフローチャートを用いて、情報処理装置がニューラルネットのパラメータを近似的に圧縮する動作を詳細に述べる。動作を開始すると、まずパラメータ分割部101はステップS101からステップS106のループ処理を行う。ステップS101でループが開始されると、まず圧縮の準備段階として各層の重みパラメータを全て読み出し、これらを同一サイズの部分に分割する処理を施す。ステップS102で、パラメータ分割部101はニューラルネット・パラメータ記憶部108から各層の畳み込み演算のパラメータを順次読みだす。次いで、ステップS103では、パラメータ分割部101が重みパラメータを同一サイズに分割するためにパラメータを整列させる。
f:RW×H×DIN×DOUT→RW×H×D’ (数式1)
ただし、ここでD’=DIN×DOUTである。演算操作fの具体例の一つとして、数式2で表わされる演算操作を挙げる。
c’[i,j,p+(q−1)×DIN]:=c[i,j,p,q] (数式2)
ただし、
p=1,…,DIN
q=1,…,DOUT
c’∈RW×H×D’,c∈RW×H×DIN×DOUT
上記の演算操作は、ラスター順にパラメータを整列する操作である。本演算操作により、例えば第1層の3×3×3×64のサイズのテンソルの場合、3×3×192のサイズの3次のテンソルに変換される。
Subject to||an||≦1,∀n=1,2,…,M (数式3)
ここで、cnは先に分割した重みパラメータのうちのn番目のもので、3次元のデータであるc(i,j)∈RW×H×DをL=W×H×Dの長さの列ベクトルに整列してcn∈RL×1としたものである。AはM個のコードブックベクトルaiからなるセットでA=[a1,a2,…,aM]である。各コードブックベクトルaiはai∈RL×1である。xnはn番目の重みパラメータを再構成するためのコードブックの係数でxn∈RM×1である。
図7は、本実施形態に係る認識時の処理のフローチャートである。ニューラルネットの動作が開始すると、ステップS201で、パラメータ再構成部104はコードブック記憶部103からコードブックAとコードブック係数Xを読み出す。次に、i層の処理を行う際には、再構成部104が下記の数式4に示すように、該当するコードブックベクトルとコードブック係数を用いて線形和でパラメータc(i,j)を再構成してから連結する。これにより、畳み込みのパラメータを復元する(ステップS203〜ステップS205)。
その後の処理は、通常のCNNと同様に畳み込み処理によるニューラルネットの処理動作を行う(ステップS206)。以上が、本実施形態の認識時の動作となる。
上述の説明で示した以外にも、パラメータの整列と分割の他の形態としては種々の形態が考えられる。例えば、9×3×64のサイズに整列してから9×3×4のサイズに分割する、27×64のサイズの2次元のパラメータに整列してから3×64のサイズに分割する等、である。本実施形態は特定の形態に限定されるものではない。ただし、CNNの認識動作はチャンネルごとに畳み込みを行うことから、分割の対象とする次元は畳み込みの空間方向ではなく、上述の説明のように入出力のチャンネルの次元に沿って行う方が、実装時の速度面では都合がよい。
変形例1として、全層を一度に近似圧縮するのではなく、低層から1層ずつ徐々に近似する方法について述べる。具体的な手順は、以下の通りである。まず、ニューラルネットの全層の重みパラメータを近似するために、コードブックとコードブック係数を学習する。次に、ニューラルネットの第1層のパラメータのみコードブックで近似再構成した値で置換する。
変形例2として、ニューラルネットの学習の際にコードブックの学習を同時に行う形態について述べる。この変形例2では、まずコードブックAおよびコードブック係数Xを乱数で初期化し、ニューラルネットの重みwを最初から近似式w:=ΣmAxmとして置換しておく。そして、コードブック係数Xを確率的誤差逆伝搬を用いて更新する。更新に用いる式は以下の数式5である。
E=ENN+λ|x|
Δxm=−η ∂E/∂xm
=−η(∂E/∂w)×(∂w/∂xm)
=−η{(∂ENN/∂w)×A+λ×Sign(xm)} (数式5)
ただし、ここでENNはニューラルネットの学習時の目標値からの誤差量である。ηは学習係数である。Eはニューラルネットの誤差とスパース項の損失を合わせた誤差量である。Sign(x)はxの符号を返す演算子である。∂E/∂wは誤差の勾配であり、公知の手法である誤差逆伝搬法によって求めることが可能である。
Δam=−ε ∂ENN/∂am
=−ε(∂ENN/∂w)×(∂w/∂am)
=−ε(∂ENN/∂w)×xm (数式6)
ただし、εは学習係数である。以上の方法で更新を交互に行うことで、ニューラルネット、コードブックおよびコードブック係数の学習が同時に行われる。
変形例3として、ニューラルネットの重みが既存の学習済みのコードブックに適合するようにチャンネルの順序の変更や学習を行うような形態が考えられる。CNNの重みパラメータは、これまでラスター等の整列をすることはあったが、各チャンネルの順序を入れ替えるような処理については行わなかった。CNNにおいて、各層のチャンネルの順序には意味はないので、層間でパラメータの整合性が取れるのであれば、任意のチャンネルを入れ替えることは学習において特に支障はない。そこで、変形例3では、学習済みのコードブックに適応するようにCNNの重みパラメータの側をソートする形態について述べる。
変形例4は、ユーザがユーザ指示部109を使ってパラメータの制約条件を設定し、その制約条件内で学習を最適化するものである。例えば、メモリサイズの最大値等を入力し、パラメータ符号化部102が圧縮後のサイズが条件値を超えないように、ハイパーパラメータであるKやNを探索する方法である。これは、学習時に所定の間隔で上記パラメータの値を変更してみて、数式7のような評価式の値が最も高く、且つ制約条件を満たすようなパラメータの変更を採用する等の方法が考えられる。
評価値=圧縮後のサイズ増分率×近似誤差の低減率 (数式7)
次に、本発明の第2の実施形態について説明する。第1の実施形態では全ての層に共通のコードブックを用いて重みパラメータの圧縮を行った。これに対し、本実施形態では、情報処理装置のメモリ量を圧縮するために、階層のそれぞれでタイミングを変えて異なるコードブックのセットを読み出して利用する方法について述べる。なお、第1の実施形態において既に説明を行った構成については、その説明は省略する。
次に、本発明の第3の実施形態について説明する。第1、第2の実施形態は、画像データについてCNNの重みパラメータを近似圧縮したが、本実施形態では、さらにこれを一般化してより高次元のデータを処理するCNNにも適応できることを示す。なお、高次元のデータとしては、例えば奥行き情報のデータや医用の画像診断で使われるようなボクセル画像、また動画などが挙げられる。以下の説明では、動画を例にして、これを処理するCNNのパラメータの近似圧縮の形態について述べる。なお、第1、第2の実施形態において既に説明を行った構成については、その説明は省略する。
次に、本発明の第4の実施形態について説明する。上述の各実施形態では、パラメータのコードブックベクトルは実数の値を用いていたが、本実施形態では、これを2値とする例について説明する。本実施形態では、コードブックベクトルを2値化することにより、近似精度が下がる可能性もある一方、メモリサイズの低減や計算負荷量の削減といった効果が期待できる。なお、第1〜第3の実施形態において既に説明を行った構成については、その説明は省略する。
minX,AΣn||cn−Axn||2+λ1|xn|+λ2Q(A),
Q(A)=Σij|aij−qnearest| (数式8)
数式8は、第3の実施形態で示した数式3を一般化した形態になっており、コードブックの2値化制約項Q(A)を備えている。Q(A)中のqnearestの項は、2値{0,1}のうち、aijの値が近い方の値を取る変数である。この数式8を用いて2値のコードブックベクトルを学習で得るために、以下のような処理を行う。
c(i,j)=sign(Σm∈{Top(K)}x(i,j,m)am) (数式9)
以上、本実施形態によれば、2値のコードブックを用いることにより、更なるメモリサイズの低減、計算負荷量の削減が可能となる。なお、上述したとおり、コードブックベクトル、コードブックの係数、および再構成の対象である重みパラメータの形態には様々な変形例が考えられる。しかし、本実施形態は特定の形態に限定されるものではなく、要求される圧縮率と近似精度等に基づいて、最適な構成を採用すればよい。
また、本発明は、上記実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPU等)がプログラムを読出し実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、1つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形(各実施例の有機的な組合せを含む)が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。
102 パラメータ符合化部
103 コードブック記憶部
104 パラメータ再構成部
105 ニューラルネット演算部
106 データ入力部
107 結果出力部
108 ニューラルネット・パラメータ記憶部
109 ユーザ指示部
Claims (14)
- 畳み込みニューラルネットの重みパラメータを複数のグループに分割する分割手段と、
前記分割されたグループごとに、前記重みパラメータを複数のコードブックにより近似して符号化する符号化手段と、を有し、
前記符号化手段は、前記畳み込みニューラルネットワークの第1階層の前記重みパラメータを符号化する場合と、前記第1階層より高層の第2層の前記重みパラメータを符号化する場合とで異なるコードブックを用いて符号化を行うことを特徴とする情報処理装置。 - 前記分割手段は、前記重みパラメータを所定の方法で整列した後に前記複数のグループに分割することを特徴とする請求項1に記載の情報処理装置。
- 前記重みパラメータは、2値あるいは3値の値を要素とすることを特徴とする請求項1または2に記載の情報処理装置。
- 前記複数のコードブックそれぞれは、複数のコードブックベクトルにより構成され、
前記符号化手段により決定されたコードブック係数と、当該コードブック係数に対応するコードブックベクトルとの線形和により前記重みパラメータを再構成する再構成手段をさらに有することを特徴とする請求項1から3のいずれか1項に記載の情報処理装置。 - 前記符号化手段は、前記重み係数を、前記複数のコードブックによる前記重みパラメータの近似精度の損失項と前記重み係数のスパース項としての損失項を含む損失関数を最適化することによって決定することを特徴とする請求項4に記載の情報処理装置。
- 前記再構成手段は前記重みパラメータの再構成の対象となるニューラルネットの階層に応じて異なるコードブックのセットを読み込んで用いることを特徴とする請求項4または5に記載の情報処理装置。
- 前記重み係数と前記コードブックベクトルの少なくとも一方は、2値あるいは3値の値を要素とすることを特徴とする請求項4から6のいずれか1項に記載の情報処理装置。
- ユーザが学習のパラメータに対する制約条件を指示するための指示手段をさらに有することを特徴とする請求項4から7のいずれか1項に記載の情報処理装置。
- 前記符号化手段は、前記指示手段により指示された前記制約条件を満たすように学習を行い、当該学習の結果に基づいて前記重みパラメータを符号化することを特徴とする請求項8に記載の情報処理装置。
- 前記指示手段は、メモリに関する前記制約条件の指示を前記ユーザから受付け、
前記符号化手段は、符号化圧縮した際の前記重みパラメータが前記メモリに記憶可能となるように前記重みパラメータを符号化することを特徴とする請求項9に記載の情報処理装置。 - 前記符号化手段は、前記畳み込みニューラルネットの畳み込み層における畳み込み演算の画素サイズに応じて異なるコードブックを用いて前記重みパラメータを符号化することを特徴とする請求項1から10のいずれか1項に記載の情報処理装置。
- 前記分割手段は、分割された前記重みパラメータが同一サイズとなるように前記重みパラメータを複数のグループに分割することを特徴とする請求項1から11のいずれか1項に記載の情報処理装置。
- 情報処理装置が実施する情報処理方法であって、
畳み込みニューラルネットの重みパラメータを複数のグループに分割するステップと、
前記分割されたグループごとに、前記重みパラメータを複数のコードブックにより近似して符号化するステップと、を有し、
前記符号化するステップにおいて、前記情報処理装置は、前記畳み込みニューラルネットワークの第1階層の前記重みパラメータを符号化する場合と、前記第1階層より高層の第2層の前記重みパラメータを符号化する場合とで異なるコードブックを用いて符号化を行うことを特徴とする情報処理方法。 - コンピュータを請求項1から12のいずれか1項に記載の情報処理装置として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016188412A JP6869676B2 (ja) | 2016-09-27 | 2016-09-27 | 情報処理装置、情報処理方法及びプログラム |
US15/713,470 US11720786B2 (en) | 2016-09-27 | 2017-09-22 | Information processing apparatus, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016188412A JP6869676B2 (ja) | 2016-09-27 | 2016-09-27 | 情報処理装置、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018055260A JP2018055260A (ja) | 2018-04-05 |
JP6869676B2 true JP6869676B2 (ja) | 2021-05-12 |
Family
ID=61685574
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016188412A Active JP6869676B2 (ja) | 2016-09-27 | 2016-09-27 | 情報処理装置、情報処理方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11720786B2 (ja) |
JP (1) | JP6869676B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018217829A1 (en) * | 2017-05-23 | 2018-11-29 | Intel Corporation | Methods and apparatus for enhancing a neural network using binary tensor and scale factor pairs |
JP6714297B2 (ja) * | 2017-09-12 | 2020-06-24 | 株式会社アクセル | 処理装置及び推論処理方法 |
WO2019220008A1 (en) * | 2018-05-15 | 2019-11-21 | Nokia Technologies Oy | A method for neural networks |
JP7240657B2 (ja) | 2018-05-15 | 2023-03-16 | Tokyo Artisan Intelligence株式会社 | ニューラルネットワーク回路装置、ニューラルネットワーク、ニューラルネットワーク処理方法およびニューラルネットワークの実行プログラム |
US11189367B2 (en) * | 2018-05-31 | 2021-11-30 | Canon Medical Systems Corporation | Similarity determining apparatus and method |
CN112437930A (zh) * | 2018-07-12 | 2021-03-02 | 华为技术有限公司 | 以熟练的推理速度和功耗,生成神经网络的压缩表示 |
CN110739974B (zh) * | 2018-07-19 | 2023-11-10 | 嘉楠明芯(北京)科技有限公司 | 数据压缩方法及装置和计算机可读存储介质 |
US11461653B2 (en) * | 2019-01-23 | 2022-10-04 | StradVision, Inc. | Learning method and learning device for CNN using 1xK or Kx1 convolution to be used for hardware optimization, and testing method and testing device using the same |
US11966837B2 (en) * | 2019-03-13 | 2024-04-23 | International Business Machines Corporation | Compression of deep neural networks |
JP7028819B2 (ja) * | 2019-03-13 | 2022-03-02 | Kddi株式会社 | 付加情報埋込装置、付加情報検出装置、付加情報埋込方法、及びプログラム |
KR20200122707A (ko) * | 2019-04-18 | 2020-10-28 | 에스케이하이닉스 주식회사 | 프로세싱 엘리먼트 및 프로세싱 시스템 |
CN110097008B (zh) * | 2019-04-30 | 2021-02-19 | 苏州大学 | 一种人体动作识别方法 |
CN110796238B (zh) * | 2019-10-29 | 2020-12-08 | 上海安路信息科技有限公司 | 基于arm架构fpga硬件***的卷积神经网络权重压缩方法及其装置 |
JP2020123384A (ja) * | 2020-04-17 | 2020-08-13 | 株式会社アクセル | 処理装置及び推論処理方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3029606A3 (en) * | 2014-11-14 | 2016-09-14 | Thomson Licensing | Method and apparatus for image classification with joint feature adaptation and classifier learning |
CN105184362B (zh) * | 2015-08-21 | 2018-02-02 | 中国科学院自动化研究所 | 基于参数量化的深度卷积神经网络的加速与压缩方法 |
-
2016
- 2016-09-27 JP JP2016188412A patent/JP6869676B2/ja active Active
-
2017
- 2017-09-22 US US15/713,470 patent/US11720786B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11720786B2 (en) | 2023-08-08 |
US20180089564A1 (en) | 2018-03-29 |
JP2018055260A (ja) | 2018-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6869676B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US11715287B2 (en) | Systems and methods for exchange of data in distributed training of machine learning algorithms | |
US11593586B2 (en) | Object recognition with reduced neural network weight precision | |
Sulam et al. | Multilayer convolutional sparse modeling: Pursuit and dictionary learning | |
US11227364B2 (en) | Computer-implemented method using convolutional neural network, apparatus for generating composite image, and computer-program product | |
CN111932445B (zh) | 对风格迁移网络的压缩方法及风格迁移方法、装置和*** | |
US20210125070A1 (en) | Generating a compressed representation of a neural network with proficient inference speed and power consumption | |
CN107622302B (zh) | 用于卷积神经网络的超像素方法 | |
Wang et al. | Factorized convolutional neural networks | |
Young et al. | Transform quantization for CNN compression | |
JP6574503B2 (ja) | 機械学習方法および装置 | |
Wang et al. | Design of efficient convolutional layers using single intra-channel convolution, topological subdivisioning and spatial" bottleneck" structure | |
US20200097802A1 (en) | Execution method, execution device, learning method, learning device, and recording medium for deep neural network | |
US11657285B2 (en) | Methods, systems, and media for random semi-structured row-wise pruning in neural networks | |
Patel et al. | Deep perceptual compression | |
CN110298446A (zh) | 面向嵌入式***的深度神经网络压缩和加速方法及*** | |
KR20220058628A (ko) | 신경망 모델 압축 | |
CN113642726A (zh) | 用于压缩激活数据的***和方法 | |
JP6795721B1 (ja) | 学習システム、学習方法、及びプログラム | |
Qi et al. | Learning low resource consumption cnn through pruning and quantization | |
US11907834B2 (en) | Method for establishing data-recognition model | |
CN114781639A (zh) | 面向边缘设备多层共享码本向量量化的深度模型压缩方法 | |
Shen et al. | Golomb-Rice coding parameter learning using deep belief network for hyperspectral image compression | |
WO2021179117A1 (zh) | 神经网络通道数搜索方法和装置 | |
EP4318315A1 (en) | A computer implemented method for transforming a pre-trained neural network and a device therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190924 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200715 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200728 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200909 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210316 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210414 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6869676 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |