JP7052678B2

JP7052678B2 - 畳込み演算方法

Info

Publication number: JP7052678B2
Application number: JP2018208573A
Authority: JP
Inventors: 祐樹浅田; 智義船▲崎▼; 祥平野本
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2018-11-06
Filing date: 2018-11-06
Publication date: 2022-04-12
Anticipated expiration: 2038-11-06
Also published as: JP2020077076A

Description

本発明は、特徴量と重み係数との畳込み演算を行う畳込み演算方法に関する。

画像認識や音声認識などで活用されるＣＮＮ（Convolutional Neural Network）では、画像や音声信号の特徴量と重み係数との畳込み演算が繰り返し行われる。近年は、処理速度の向上やネットワークモデルのサイズ削減のため、特徴量や重み係数の低ビット化が進んでいる。ただし、低ビット化と認識性能にはトレードオフの関係があり、ネットワークやレイヤによって高精度演算と低精度演算とを使い分けて実行する混合精度の畳込み演算が必要となる。そこで、このような混合精度の畳込み演算の効率的な実行方法が求められている。

本発明に関連する技術として以下の先行技術がある。

特開平７－４４５３３号公報特開平７－１２１３５４号公報

図１４は、特許文献１に記載の演算装置による演算を模式化して示す図である。この演算装置は、２４ビットの高精度乗算器を用いて、高精度の演算を行う場合には、（ａ）に示すように、被乗数部と乗数部にそれぞれ２４ビットのデータを配置して乗算を行い、低精度の演算を行う場合には、（ｂ）に示すように、低精度の部分演算（８ビット×３×３）に分割して必要な演算部分だけが演算結果に出力されるように乗算器の出力を切り替えることで並列乗算を行う。

図１５は、特許文献２に記載の乗算器による演算を模式化して示す図である。この乗算器では、高精度（倍精度）乗算器を用いて、高精度（倍精度）の演算を行う場合には、（ａ）に示すように、被乗数部と乗数部にそれぞれ倍精度のデータを配置して乗算を行い、低精度（単精度）の演算を行う場合には、（ｂ）及び（ｃ）に示すように、被乗数部と乗数部の上位と下位にそれぞれ単精度のデータを配置し、不要な部分演算がゼロとなるように回路を切り替えることで単精度の並列乗算及び内積演算を行う。

しかしながら、特許文献１に記載の演算装置及び特許文献２に記載の乗算器は、混合精度の演算用にハードウェアとして設計及び実装する必要があり、実装後はビット長も自由に変更できない。また、低ビット化率（即ち、低精度時のビット長／高精度時のビット長）が１／Ｎのときに、演算効率は高々Ｎ倍程度にしかできない。

本発明は、特徴量と重み係数との畳込み演算において、任意の低精度ビット長に対応でき、かつ低ビット化による演算効率の向上率を高くすることを目的とする。

本発明の一態様の畳込み演算方法は、特徴量が１次元以上の格子状に配置された特徴マップ（３０）に対して、重み係数が１次元以上の格子状に配置されたフィルタ（３１）をスライドさせながら畳込み演算を行うための畳込み演算方法であって、乗算器（１０）の被乗数部（１１）又は乗数部（１２）に複数の前記特徴量を配置し、前記乗算器の乗数部（１２）又は被乗数部（１１）に複数の前記重み係数を配置して、前記フィルタのスライド位置が異なる２以上の畳込み演算の一部を並列に実行する。

本発明の畳込み演算方法によれば、汎用の乗算器を用いて任意の低精度ビット長の特徴量及び重み係数の畳込み演算を行うことができ、低ビット化による演算効率の向上率を高くできる。

図１は、本発明の実施の形態におけるＣＮＮにおける特徴量と重み係数との畳込み演算を行う高精度乗算器を模式的に示す図である。図２は、本発明の実施の形態における低精度の畳込み演算を行う場合の高精度乗算器を模式的に示す図である。図３は、本発明の実施の形態におけるＣＮＮにおける特徴量と重み係数との畳込み演算を模式的に示した図である。図４は、本発明の実施の形態における実施例Ｍ１の乗算を模式的に示す図である。図５は、実施例Ｍ１の畳込み演算を模式的に示す図である。図６は、実施例Ｍ２の乗算を模式的に示す図である。図７は、実施例Ｍ２の畳込み演算を模式的に示す図である。図８は、畳込み及びスライドの実施例Ｃ１を説明する図である。図９は、畳込み及びスライドの実施例Ｃ２を説明する図である。図１０は、畳込み及びスライドの実施例Ｃ３を説明する図である。図１１は、畳込み及びスライドの実施例Ｃ４を説明する図である。図１２は、畳込み及びスライドの実施例Ｃ５を説明する図である。図１３は、畳込み及びスライドの実施例Ｃ６を説明する図である。図１４（ａ）は、従来の演算装置による演算（高精度）を模式化して示す図である。図１４（ｂ）は、従来の演算装置による演算（低精度）を模式化して示す図である。図１５（ａ）は、従来の乗算器による演算（倍精度）を模式化して示す図である。図１５（ｂ）及び（ｃ）は、従来の乗算器による演算（単精度）を模式化して示す図である。

以下、本発明に係る畳込み演算方法の実施の形態について図面を参照しながら説明する。図１は、本発明の実施の形態におけるＣＮＮにおける特徴量と重み係数との畳込み演算を行う高精度乗算器を模式的に示す図である。本実施の形態では、高精度乗算器１０は、被乗数部１１と、乗数部１２とを有する。高精度の畳込み演算を行う場合には、被乗数部１１に高精度の特徴量Ａが配置され、乗数部１２に高精度の重み係数Ｂが配置され、乗算が実行され、乗算結果１３として、Ａ×Ｂが得られる。

図２は、低精度の畳込み演算を行う場合の高精度乗算器を模式的に示す図であり、図３は、ＣＮＮにおける特徴量と重み係数との畳込み演算を模式的に示した図である。図３に示すように、画像認識におけるＣＮＮでは、画像の特徴量を２次元の格子状に配置した特徴マップ３０に対して、重み係数が２次元の格子状に配置されたフィルタ３１を所定のストライド幅で所定のスライド方向にスライドさせながら対応する特徴量と重み係数同士を乗算し、その結果を積算することで、特徴マップ３０とフィルタ３１との畳込み演算を行う。

図２は、この畳込み演算を行う場合の高精度乗算器１０への特徴量及び重み係数の配置を説明している。特徴マップ３０のｉ行ｊ列の特徴量をａ_ｉｊとし、フィルタ３１のｐ行ｑ列の重み係数をｗ_ｐｑとすると、ｉ行ｊ列の畳込み演算結果ａ_ｉｊ’は、下式（１）で表される。
ａ_ｉｊ’＝Σ_ｐΣ_ｑａ_{ｉ＋ｐｊ＋ｑ}×ｗ_ｐｑ …（１）

いま、被乗数である特徴量のビット長が高精度乗算器１０の被乗数部１１のビット長の１／２以下であるときには、高精度乗算器１０の被乗数部１１に複数の特徴量を配置できる。また、乗数である重み係数のビット長が高精度乗算器１０の乗数部１２のビット長の１／２以下であるときは、高精度乗算器１０の乗数部１２に複数の重み係数を配置できる。

図２に示す例では、被乗数部１１には、特徴マップ上で連続している（隣り合っている）特徴量ａ_{ｉ＋ｐｊ＋ｑ}とａ_{ｉ＋ｐｊ＋ｑ＋１}とがゼロ列を挟んで配置されている。また、乗数部１２には、フィルタ上で連続している（隣り合っている）重み係数ｗ_{ｐｑ＋１}とｗ_ｐｑとがゼロ列を挟んで配置されている。

高精度乗算器１０にてこのような配置で乗算を行うと、ａ_{ｉ＋ｐｊ＋ｑ}とｗ_{ｐｑ＋１}との乗算結果１３３（結果３）が得られ、ａ_{ｉ＋ｐｊ＋ｑ＋１}とｗ_{ｐｑ＋１}との乗算結果とａ_{ｉ＋ｐｊ＋ｑ}とｗ_ｐｑとの乗算結果との積算結果１３２（結果２）が得られ、ａ_{ｉ＋ｐｊ＋ｑ＋１}とｗ_ｐｑとの乗算結果１３１（結果１）が得られる。

いま、フィルタ３１の左上端が特徴マップのｉ行ｊ列目にある場合にこのフィルタ３１を「スライドｉｊ」と呼ぶこととすると、上記の結果１は、スライドｉｊ＋１の畳込み演算の一部として利用でき、結果２はスライドｉｊの畳込み演算の一部として利用でき、結果３はスライドｉｊ－１の畳込み演算の一部として利用できる。即ち、高精度乗算器１０は、異なるスライドの部分的な畳込み演算を並列に行う。

本実施の形態の畳込み演算を一般化すると次のように表現できる。
まず、高精度乗算器１０における低精度の畳込み演算のための乗算を以下のように設定する。ここで、ｃｅｉｌは小数点以下を切り上げて整数とする関数、ｍｉｎは引数から最小のもの選ぶ関数である。
並列数（即ち、高精度乗算器に配置する低精度の特徴量又は重み係数の数）：Ｈ
被乗数の低精度ビット長：ｍ
乗数の低精度ビット長：ｎ
加算による桁上がりの格納に必要なビット長：ｋ≧ｃｅｉｌ（ｌｏｇＨ）
必要な高精度ビット長：Ｌ≧（ｋ＋ｎ＋ｍ）×Ｈ－（ｋ＋ｍｉｎ（ｎ，ｍ））

また、畳込み演算を以下のように設定する。
特徴マップ（チャンネル数×マップ高さ×マップ幅）：Ｃｈ×Ｈａ×Ｗａ
フィルタ（チャンネル数×フィルタ高さ×フィルタ幅）：Ｃｈ×Ｈｗ×Ｗｗ
ストライド幅：ｓ
パディング幅：Ｐ
畳込み演算：ａ_ｉｊ’＝Σ_ｃΣ_ｐΣ_ｑａ_{ｃｓｉ＋ｐｓｊ＋ｑ}×ｗ_ｃｐｑ

畳込み演算器は、特徴量ａ_ｉｊ’の畳込み演算において、ｃ＝０、ｉ＝０、ｊ＝０、ｐ＝０、ｑ＝０から開始して以下の手順を実行する。ここで、［Ｘ：Ｙ］は対象とするビット位置の範囲（ビット位置Ｘからビット位置Ｙまで）を示している。
（１）Ｈ個の特徴量のｔ番目（ａ_{ｃｓｉ＋ｐｓｊ＋ｑ+ｓｔ}［ｍ－１：０］）を被乗数部１１の［ｍ－１＋ｔ×（ｋ＋ｎ＋ｍ）：ｔ×（ｋ＋ｎ＋ｍ）］に配置する。ただし、ｓｊ＋ｑ＋ｓｔがＷａ－１を超える場合はゼロを配置する。ここで、ｔは０以上かつＨ－１以下の整数とする。
（２）Ｈ個の重み係数のｏ番目（ｗ_{ｃｐｑ＋ｓｏ}［ｎ－１：０］）を乗数部１２の［ｎ－１＋（Ｈ－１－ｏ）×（ｋ＋ｎ＋ｍ）：（Ｈ－１－ｏ）×（ｋ＋ｎ＋ｍ）］に配置する。ただし、ｑ＋ｓｏがＷｗ－１を超える場合はゼロを配置する。ここで、ｏは０以上かつＨ－１以下の整数とする。
（３）部分乗算及び加算の桁上がりによる演算の重複を避けるため、被乗数部１１と乗数部１２の残りのビットにゼロを配置する。
（４）乗算を実行する。
（５）得られる（２Ｈ－１）個の演算結果のｒ番目［ｋ＋ｎ＋ｍ－１＋ｒ×（ｋ＋ｎ＋ｍ）：ｒ×（ｋ＋ｎ＋ｍ）］をスライドｉｊ＋ｒ－（Ｈ－１）の畳込み演算の一部として積算する。ここで、ｒは０以上かつ２Ｈ－１－１以下の整数である。
（６）ｘ番目のｑ方向の並列演算をｑ＝ｆｌｏｏｒ（ｘ／ｓ）×（Ｈ×ｓ）＋ｘ％ｓとして（１）～（５）を繰り返す。ここで、ｘは０以上かつｍｉｎ（ｃｅｉｌ（ｍａｘ（Ｗ，Ｈ×ｓ）／Ｈ），Ｗ）－１以下の整数、％は剰余を求める演算子、ｆｌｏｏｒは小数点以下を切り捨てる関数、ｍａｘは引数から最大のものを選択する関数である。
（７）残りのｐ方向を０からＨｗ－１まで、ｃ方向を０からＣｈ－１まで（１）～（６）を繰り返して畳み込む。
（８）ｙ番目のｊ方向のスライドをｊ＝ｙ×Ｈとして（１）～（７）を繰り返す。ここで、ｙは０以上かつｃｅｉｌ（（（Ｗａ＋２Ｐ－Ｗｗ）／ｓ＋１－１）／Ｈ）＋１－１以下の整数である。
（９）残りのｉ方向を０から（Ｈａ＋２Ｐ－Ｈｗ）／ｓ＋１－１まで（１）～（８）を繰り返してすべての特徴量を計算する。

なお、上記の演算において、被乗数部と乗数部、重み係数と特徴量の並びの昇順と降順、ｐ方向とｑ方向、ｉ方向とｊ方向、ｐｑｉｊの順方向と逆方向をそれぞれ入れ替えてもよい。また、特徴量及び重み係数のとり得る範囲を制限することで、加算による桁上りが少ないことが保証できる場合には、加算による桁上りの格納に必要なビット長はｋより小さくてもよい。

このように、本実施の形態では、高精度乗算器１０の被乗数部１１に２以上の特徴量を配置し、乗数部１２にも２以上の重み係数を配置することで、スライドの異なる２以上の畳込み演算を並行して実行する。このとき、被乗数部１１には２以上の特徴量として特徴マップ３０上の連続したデータを配置し、乗数部１２にも２以上の重み係数としてフィルタ３１上の連続したデータを配置する。

さらに、各データの前又は後には、低精度乗算時の桁上がり分及び加算時の桁上がり分が並列に実行される他の乗算に影響することを避けるためにゼロ列を配置する。これにより、乗算及び加算によって桁上がりが発生しても乗算結果１３にそれらのビットを格納する桁を確保できる。

乗算結果１３として得られる２以上の低精度の乗算又は積和演算の結果は、スライドの移動方向に連続した異なる２以上の畳込み演算で用いることができる。そして、ストライド幅ｓが２以上の場合には、特徴量としては、特徴マップ３０上でそれぞれ２以上離れた連続データを配置し、また、重み係数としては、フィルタ３１上でそれぞれ２以上離れた連続データを配置する。また、スライドの移動方向に連続した異なる２以上の畳込み演算を続けて実行する場合には、スライド位置として２以上離れた位置で次の畳込み演算を実行し、特徴量としては、特徴マップ３０上で２以上離れた位置から前記連続データの配置を開始し、重み係数としては、フィルタ３１上で２以上離れた位置から前記連続データの配置を開始する。

本実施の形態によれば、汎用の乗算器を用いて任意の低精度ビット長の特徴量及び重み係数の畳込み演算を並列に行うことができる。低ビット化率（即ち、低精度時のビット長／高精度時のビット長）が１／Ｎの時に、演算効率を約ｃｅｉｌ（Ｎ／２）^２にまで向上できる。

以下、具体的な乗算の実施例及び畳込み及びスライドの実施例を説明する。以下では、乗算の実施例として、実施例Ｍ１、Ｍ２を説明し、畳込み及びスライドの実施例として実施例Ｃ１～Ｃ６を説明する。

（乗算：実施例Ｍ１）
本実施例では、並列数：Ｈ＝２、特徴量の低精度ビット長：ｍ＝４ビット、重み係数の低精度ビット長：ｎ＝４ビットとする。また、畳込み演算を以下のように設定する。
特徴マップ：Ｃｈ×Ｈａ×Ｗａ＝１×８×８
フィルタ：Ｃｈ×Ｈｗ×Ｗｗ＝１×４×４
ストライド幅：ｓ＝１
パディング幅：Ｐ＝０

図４は、実施例Ｍ１の乗算を模式的に示す図である。図５は、実施例Ｍ１の畳込み演算を模式的に示す図である。本実施例では、特徴量ａ_ｉｊ’の畳込み演算において、例えば、ｃ＝０、ｉ＝０、ｊ＝２、ｐ＝０、ｑ＝０のときに、以下の手順で乗算（図４参照）を行う。

（Ｍ１－１）特徴量ａ_０２［３：０］を被乗数部１１の［３：０］（Ａ３～Ａ０）に配置し、特徴量ａ_０３［３：０］を被乗数部１１の［１２：９］（Ａ１２～Ａ９）に配置する。
（Ｍ１－２）重み係数ｗ_００［３：０］を乗数部１２の［１２：９］（Ｂ１２～Ｂ９）に配置し、重み係数ｗ_０１［３：０］を乗数部１２の［３：０］（Ｂ３～Ｂ０）に配置する。
（Ｍ１－３）部分乗算及び加算の桁上がりによる演算の重複を避けるため、被乗数部１１と乗数部１２の残りのビットにゼロを配置する。
（Ｍ１－４）乗算を実行する。
（Ｍ１－５）演算結果１３の［８：０］（Ｃ８～Ｃ０）をスライド０１の畳込み演算の一部とし、演算結果１３の［１７：９］（Ｃ１７～Ｃ９）をスライド０２の畳込み演算の一部とし、演算結果１３の［２６：１８］（Ｃ２６～Ｃ１８）をスライド０３の畳込み演算の一部として、それぞれ積算する。

（乗算：実施例Ｍ２）
本実施例では、並列数：Ｈ＝３、特徴量の低精度ビット長：ｍ＝４ビット、重み係数の低精度ビット長：ｎ＝２ビットとする。また、畳込み演算を以下のように設定する。
特徴マップ：Ｃｈ×Ｈａ×Ｗａ＝１×８×８
フィルタ：Ｃｈ×Ｈｗ×Ｗｗ＝１×３×３
ストライド幅：ｓ＝１
パディング幅：Ｐ＝０

図６は、実施例Ｍ２の乗算を模式的に示す図である。図７は、実施例Ｍ２の畳込み演算を模式的に示す図である。本実施例では、特徴量ａ_ｉｊ’の畳込み演算において、例えば、ｃ＝０、ｉ＝０、ｊ＝３、ｐ＝０、ｑ＝０のときに、以下の手順で乗算（図６参照）を行う。

（Ｍ２－１）特徴量ａ_０３［３：０］を被乗数部１１の［３：０］（Ａ３～Ａ０）に配置し、特徴量ａ_０４［３：０］を被乗数部１１の［１１：８］（Ａ１１～Ａ８）に配置し、特徴量ａ_０５［３：０］を被乗数部１１の［１９：１６］（Ａ１９～Ａ１６）に配置する。
（Ｍ２－２）重み係数ｗ_００［１：０］を乗数部１２の［１７：１６］（Ｂ１７～Ｂ１６）に配置し、重み係数ｗ_０１［１：０］を乗数部１２の［９：８］（Ｂ９～Ｂ８）配置し、重み係数ｗ_０２［１：０］を乗数部１２の［１：０］（Ｂ１～Ｂ０）に配置する。
（Ｍ２－３）部分乗算及び加算の桁上がりによる演算の重複を避けるため、被乗数部１１と乗数部１２の残りのビットにゼロを配置する。
（Ｍ２－４）乗算を実行する。
（Ｍ２－５）演算結果１３の［７：０］（Ｃ７～Ｃ０）をスライド０１の畳込み演算の一部とし、演算結果１３の［１５：８］（Ｃ１５～Ｃ８）をスライド０２の畳込み演算の一部とし、演算結果１３の［２３：１６］（Ｃ２３～Ｃ１６）をスライド０３の畳込み演算の一部とし、演算結果１３の［３１：２４］（Ｃ３１～Ｃ２４）をスライド０４の畳込み演算の一部とし、演算結果１３の［３９：３２］（Ｃ３９～Ｃ３２）をスライド０５の畳込み演算の一部として、それぞれ積算する。

（畳込み：実施例Ｃ１）
図８は、畳込み及びスライドの実施例Ｃ１を説明する図である。本実施例では、畳込み演算を以下のように設定する。
並列数：Ｈ＝２
特徴マップ：Ｃｈ×Ｈａ×Ｈｗ＝１×８×８
フィルタ：Ｃｈ×Ｈｗ×Ｗｗ＝１×４×４
ストライド幅：ｓ＝１
パディング幅：Ｐ＝０

畳込みは以下の手順で行う。
（Ｃ１－６）特徴量と重み係数の並列乗算をｑ方向に０、２として繰り返してスライド毎に積算する。
（Ｃ１－７）ｐ方向に０から３まで（Ｃ１－６）を繰り返して畳み込む。
（Ｃ１－８）スライドをｊ方向に０、２、４として（Ｃ１－７）を繰り返す。
（Ｃ１－９）ｉ方向に０から４まで（Ｃ１－８）を繰り返してすべての特徴量を計算する。

（畳込み：実施例Ｃ２）
図９は、畳込み及びスライドの実施例Ｃ２を説明する図である。本実施例では、畳込み演算を以下のように設定する。
並列数：Ｈ＝３
特徴マップ：Ｃｈ×Ｈａ×Ｈｗ＝１×８×８
フィルタ：Ｃｈ×Ｈｗ×Ｗｗ＝１×３×３
ストライド幅：ｓ＝１
パディング幅：Ｐ＝０

畳込みは以下の手順で行う。
（Ｃ２－６）特徴量と重み係数の並列乗算をｑ方向に０として実行し、スライド毎に積算する。
（Ｃ２－７）ｐ方向に０から２まで（Ｃ２－６）を繰り返して畳み込む。
（Ｃ２－８）スライドをｊ方向に０、３、６として（Ｃ２－７）を繰り返す。ここで、ｊが６のときにはスライドが特徴マップからはみ出し、対応する特徴量が得られなくなるが、特徴量の代わりにゼロを配置する。
（Ｃ２－９）ｉ方向に０から５まで（Ｃ２－８）を繰り返してすべての特徴量を計算する。

（畳込み：実施例Ｃ３）
図１０は、畳込み及びスライドの実施例Ｃ３を説明する図である。本実施例では、畳込み演算を以下のように設定する。
並列数：Ｈ＝２
特徴マップ：Ｃｈ×Ｈａ×Ｈｗ＝１×８×８
フィルタ：Ｃｈ×Ｈｗ×Ｗｗ＝１×３×３
ストライド幅：ｓ＝１
パディング幅：Ｐ＝０

畳込みは以下の手順で行う。
（Ｃ３－６）特徴量と重み係数の並列乗算をｑ方向に０、２として繰り返してスライド毎に積算する。ここで、ｑが２のとき、フィルタのサイズが不足し、並列数分の重み係数が得られなくなるが、重み係数の代わりにゼロを配置する。
（Ｃ３－７）ｐ方向に０から２まで（Ｃ３－６）を繰り返して畳み込む。
（Ｃ３－８）スライドをｊ方向に０、２、４、６として（Ｃ３－７）を繰り返す。ここで、ｊが６のときにはスライドが特徴マップからはみ出し、対応する特徴量が得られなくなるが、特徴量の代わりにゼロを配置する。
（Ｃ３－９）ｉ方向に０から５まで（Ｃ３－８）を繰り返してすべての特徴量を計算する。

（畳込み：実施例Ｃ４）
図１１は、畳込み及びスライドの実施例Ｃ４を説明する図である。本実施例では、畳込み演算を以下のように設定する。
並列数：Ｈ＝２
特徴マップ：Ｃｈ×Ｈａ×Ｈｗ＝１×８×８
フィルタ：Ｃｈ×Ｈｗ×Ｗｗ＝１×４×４
ストライド幅：ｓ＝２
パディング幅：Ｐ＝０

畳込みは以下の手順で行う。
（Ｃ４－６）特徴量と重み係数の並列乗算をｑ方向に０、１として繰り返してスライド毎に積算する。
（Ｃ４－７）ｐ方向に０から３まで（Ｃ４－６）を繰り返して畳み込む。
（Ｃ４－８）スライドをｊ方向に０、２として（Ｃ４－７）を繰り返す。
（Ｃ４－９）ｉ方向に０から２まで（Ｃ４－８）を繰り返してすべての特徴量を計算する。

（畳込み：実施例Ｃ５）
図１２は、畳込み及びスライドの実施例Ｃ５を説明する図である。本実施例では、畳込み演算を以下のように設定する。
並列数：Ｈ＝３
特徴マップ：Ｃｈ×Ｈａ×Ｈｗ＝１×９×９
フィルタ：Ｃｈ×Ｈｗ×Ｗｗ＝１×３×３
ストライド幅：ｓ＝２
パディング幅：Ｐ＝０

畳込みは以下の手順で行う。
（Ｃ５－６）特徴量と重み係数の並列乗算をｑ方向に０、１として繰り返してスライド毎に積算する。ここで、フィルタのサイズが不足し、並列数分の重み係数が得られないが、重み係数の代わりにゼロを配置する。
（Ｃ５－７）ｐ方向に０から２まで（Ｃ５－６）を繰り返して畳み込む。
（Ｃ５－８）スライドをｊ方向に０、３として（Ｃ５－７）を繰り返す。ここで、ｊが３のときには重み係数の代わりに配置したゼロに対応する特徴量が得られなくなるが、特徴量の代わりにゼロを配置する。
（Ｃ５－９）ｉ方向に０から３まで（Ｃ５－８）を繰り返してすべての特徴量を計算する。

（畳込み：実施例Ｃ６）
図１３は、畳込み及びスライドの実施例Ｃ６を説明する図である。本実施例では、畳込み演算を以下のように設定する。
並列数：Ｈ＝２
特徴マップ：Ｃｈ×Ｈａ×Ｈｗ＝１×１０×１０
フィルタ：Ｃｈ×Ｈｗ×Ｗｗ＝１×４×４
ストライド幅：ｓ＝３
パディング幅：Ｐ＝０

畳込みは以下の手順で行う。
（Ｃ６－６）特徴量と重み係数の並列乗算をｑ方向に０、１、２として繰り返してスライド毎に積算する。ここで、ｑが１、２のときにはフィルタのサイズが不足し、並列数分の重み係数が得られなくなるが、重み係数の代わりにゼロを配置する。
（Ｃ６－７）ｐ方向に０から３まで（Ｃ６－６）を繰り返して畳み込む。
（Ｃ６－８）スライドをｊ方向に０、２として（Ｃ６－７）を繰り返す。ここで、ｊが２のときには重み係数の代わりに配置したゼロに対応する特徴量が得られなくなるが、特徴量の代わりにゼロを配置する。
（Ｃ６－９）ｉ方向に０から２まで（Ｃ６－８）を繰り返してすべての特徴量を計算する。

なお、上記の実施の形態では、特徴量及び重み係数がそれぞれ２次元の格子状に配置されている例を説明したが、特徴量及び重み係数がそれぞれ１次元に配置されていてもよく（この場合にも、行が１行又は列が１列の格子状配置ということができる）、３次元以上の格子状配列であってもよい。

以上のように、本発明は、汎用の乗算器を用いて任意の低精度ビット長の特徴量及び重み係数の畳込み演算を並列に行うことができ、低ビット化による演算効率の向上率を高くできるという効果を有し、特徴量と重み係数との畳込み演算を行う畳込み演算方法等として有用である。

１０高精度乗算器，１１被乗数部，１２乗数部，１３乗算結果，
３０特徴マップ，３１フィルタ

Claims

特徴量が１次元以上の格子状に配置された特徴マップに対して、重み係数が１次元以上の格子状に配置されたフィルタをスライドさせながら畳込み演算を行うための畳込み演算方法であって、
乗算器の被乗数部又は乗数部に複数の前記特徴量を配置し、前記乗算器の乗数部又は被乗数部に複数の前記重み係数を配置して、
前記フィルタのスライド位置が異なる２以上の畳込み演算の一部を並列に実行する畳込み演算方法。
前記乗算器に配置する各特徴量の前又は後にゼロ列を配置し、
前記乗算器に配置する各重み係数の前又は後にゼロ列を配置する、請求項１に記載の畳込み演算方法。
前記複数の特徴量として、前記特徴マップ上で連続する複数の特徴量を配置し、
前記複数の重み係数として、前記フィルタ上で連続する複数の重み係数を配置する、請求項１又は２に記載の畳込み演算方法。
前記フィルタのストライドの幅が２以上であるときは、前記複数の特徴量として、前記特徴マップ上で２以上離れて連続する複数の特徴量を配置し、前記複数の重み係数として、前記フィルタ上で２以上離れて連続する複数の重み係数を配置する、請求項１～３のいずれか一項に記載の畳込み演算方法。
前記乗算器により得られる２以上の乗算結果又は積和演算結果を、前記フィルタのスライド方向に連続した異なる２以上の畳込み演算で用いる、請求項１～４のいずれか一項に記載の畳込み演算方法。
前記フィルタのスライド位置が異なる２以上の畳込み演算を続けて実行する場合に、スライド位置として２以上離れた位置で次の畳込み演算を実行し、前記複数の特徴量として前記特徴マップ上で２以上離れた位置から連続する複数の特徴量の配置を開始し、前記複数の重み係数としてフィルタ上で２以上離れた位置から連続する複数の重み係数の配置を開始する、請求項１～５のいずれか一項に記載の畳込み演算方法。