JP7461081B2 - 畳み込みハードウェアによる特徴データに対する逆畳み込み処理方法及び装置 - Google Patents
畳み込みハードウェアによる特徴データに対する逆畳み込み処理方法及び装置 Download PDFInfo
- Publication number
- JP7461081B2 JP7461081B2 JP2022558105A JP2022558105A JP7461081B2 JP 7461081 B2 JP7461081 B2 JP 7461081B2 JP 2022558105 A JP2022558105 A JP 2022558105A JP 2022558105 A JP2022558105 A JP 2022558105A JP 7461081 B2 JP7461081 B2 JP 7461081B2
- Authority
- JP
- Japan
- Prior art keywords
- convolution
- deconvolution
- kernel
- feature map
- zero
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 93
- 238000012545 processing Methods 0.000 title claims description 51
- 230000015654 memory Effects 0.000 claims description 51
- 230000015572 biosynthetic process Effects 0.000 claims description 41
- 238000003786 synthesis reaction Methods 0.000 claims description 41
- 239000011159 matrix material Substances 0.000 claims description 40
- 238000011049 filling Methods 0.000 claims description 30
- 238000005457 optimization Methods 0.000 claims description 24
- 239000002131 composite material Substances 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 10
- 238000009966 trimming Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000003672 processing method Methods 0.000 claims description 7
- 238000011068 loading method Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 description 17
- 238000007792 addition Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 238000005265 energy consumption Methods 0.000 description 10
- 241001442055 Vipera berus Species 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005429 filling process Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- XDDAORKBJWWYJS-UHFFFAOYSA-N glyphosate Chemical group OC(=O)CNCP(O)(O)=O XDDAORKBJWWYJS-UHFFFAOYSA-N 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
- G06F17/153—Multidimensional correlation or convolution
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Complex Calculations (AREA)
Description
本願は、2021年3月18日に中国国家知識産権局に提出された、出願番号が202110288755.6であり、発明の名称が「畳み込みハードウェアによる特徴データに対する逆畳み込み処理方法及び装置」である中国特許出願の優先権を主張し、その全ての内容が参照により本願に組み込まれる。
(1)汎用プロセッサのハードウェアアーキテクチャ設計は、ニューラルネットワークモデルに含まれる畳み込み、プーリング、逆畳み込み等の多くの処理に適合しないため、動作効率が非常に低い。
(2)専用のハードウェア加速器を使用してニューラルネットワークモデルを実行する場合、効率は大幅に向上されるが、一般に特定の処理について特定のハードウェアを設計する必要があるため、例えば、畳み込み処理と逆畳み込み処理とに対してそれぞれ個別に畳み込みモジュールと逆畳み込みモジュールとを設計する必要があるため、ハードウェアの複雑さが増加し、チップの面積オーバーヘッドと電力消費オーバーヘッドとが増加されてしまう。
(3)現在、畳み込みハードウェアを使用して逆畳み込み処理を実行する方法が提案されているが、無効な演算が多く含まれているため、ハードウェア加速器の遅延とエネルギー消費とがいずれも大きく、オンチップキャッシュスペースが増加しててしまうため、ハードウェアの高度化が求められる。
本開示の第1態様に係る特徴マップに対する逆畳み込み処理方法は、逆畳み込みカーネルを複数の畳み込みカーネルに分割し、畳み込みカーネルに対して最適化を行ってその中の無効な重みの行及び/又は列を除去する。最適化後の複数の畳み込みカーネル及び対応する特徴マップを用いて畳み込み演算を行い、得られた複数の畳み込み出力特徴マップをインターリーブし、組み合わせ及びトリミングすることにより、逆畳み込み出力結果を得る。本開示の技術的構成は、畳み込みハードウェアを利用して実行することができ、専用の逆畳み込みハードウェアを必要でないため、ハードウェアの複雑さを低減して、チップの面積オーバーヘッド及び電力消費オーバーヘッドを節約することができる。また、本開示の方法は、最適化処理ステップにより大量の無効な重みを除去するため、関連のハードウェアの動作効率を大幅向上させることができ、これによりハードウェアの遅延性能及びエネルギー消費特性を改善することができる。
プロセッサの処理性能を向上させるために、一般に汎用プロセッサが高計算能力、大容量のキャッシュとメモリを有することが求められ、その結果、非常に高いエネルギー消費とハードウェア費用が必要となるため、汎用プロセッサは端末機器に適用されることができない。汎用プロセッサのこれらの欠点を克服するために、スライディング・ウィンドウ(sliding window)により畳み込み、プーリング、逆畳み込み等の処理を実行することに適合するとともに、動作効率が高く、電力消費が非常に低い専用のハードウェア加速器が開発された。
図4は、本開示の例示的な一実施例に係る畳み込みハードウェアによる特徴マップに対する逆畳み込み処理方法100のフローチャートを示し、図5は、図4に示す方法100に基づいて特徴マップに対して逆畳み込み処理を行うことの概略図を示す。畳み込みハードウェアは、乗算加算アレイ(Multiply And Accumulate、MAC)と、例えばスタティックランダムアクセスメモリ(Static Random-Access Memory、SRAM)のようなオンチップメモリと、を含むことができる。
p′ht=floor((kh-1-ph)/sh) (式1)
p′wl=floor((kw-1-pw)/sw) (式2)
p′hb=ceil((kh-1-ph)/sh) (式3)
p′wr=ceil((kw-1-pw)/sw) (式4)
k′h=ceil((kh+ph%sh)/sh) (式5)
k′w=ceil((kw+pw%sw)/sw) (式6)
ikh=(k′h-1-ik′h)×sh+ish-ph%sh (式7)
ikw=(k′w-1-ik′w)×sw+isw-pw%sw (式8)
ihfo=ih×sh+ish (式9)
iwfo=iw×sw+isw (式10)
ho=(h-1)×sh-2×ph+kh+oph (式11)
wo=(w-1)×sw-2×pw+kw+opw (式12)
hfo=sh×h′o (式13)
wfo=sw×w′o (式14)
h′o=h+p′ht+p′hb-k′h+1 (式15)
w′o=w+p′wl+p′wr-k′w+1 (式16)
図6は、例示的な一実施例に係る特徴マップに対して逆畳み込み処理を行うための装置200の機能ブロック図を示す。なお、装置200の各機能モジュールは、上記での図4と図5を参照して説明した方法100の各ステップを実行するために用いられるため、以下、各モジュールを簡潔に説明し、詳細については上記した方法100を参照することができる。
図7は、例示的な一実施例に係る電子機器300の構造のブロック図を示し、電子機器300は、上記で図4~図6を参照して説明した、畳み込み操作により逆畳み込み処理を実施する方法を実行ために用いられることができる。
上記の方法及び機器に加えて、本開示の実施例は、コンピュータプログラム命令を含むコンピュータプログラム製品であることもでき、前記コンピュータプログラム命令がプロセッサによって実行されると、畳み込みニューラルネットワーク加速器を制御して本明細書の上記の「例示的な方法」の部分で説明した本開示の各実施例に係る特徴マップに対する逆畳み込み処理方法を実行させることができる。
Claims (10)
- 乗算加算アレイとオンチップメモリとを含む専用の畳み込みハードウェアによる特徴マップに対する逆畳み込み処理方法であって、
特徴マップ及び逆畳み込みカーネルを前記オンチップメモリに読み込み、前記特徴マップにゼロ埋め処理を行うステップと、
前記逆畳み込みカーネルに基づいて複数の畳み込みカーネルを決定するステップと、
各畳み込みカーネルから全要素が無効な重みである行及び/又は列を削除して最適化畳み込みカーネルを得、ゼロ埋め後の特徴マップから対応する行及び/又は列を削除して各最適化畳み込みカーネルに対応する最適化特徴マップを得るステップであって、前記無効な重みは、各畳み込みカーネルを決定するときに挿入されたゼロ値の重みであるステップと、
前記乗算加算アレイを利用して各最適化畳み込みカーネル及び対応する最適化特徴マップに対して畳み込み処理を行って、複数の畳み込み出力を得るステップと、
前記複数の畳み込み出力に対してインターリーブ合成処理を行って、前記特徴マップ及び前記逆畳み込みカーネルに対応する逆畳み込み出力を含むインターリーブ合成出力を得るステップと、を含む、
ことを特徴とする専用の畳み込みハードウェアによる特徴マップに対する逆畳み込み処理方法。 - 前記乗算加算アレイに含まれる乗算器の数は、各最適化畳み込みカーネルに含まれる重み値の数以上である、
ことを特徴とする請求項1に記載の専用の畳み込みハードウェアによる特徴マップに対する逆畳み込み処理方法。 - 前記特徴マップに対してゼロ埋め処理を行うステップは、
前記逆畳み込みカーネルの高さサイズと、逆畳み込み演算に用いられる高さ方向のステップサイズ及び高さ方向のゼロ埋めパラメーターと、に基づいて、前記特徴マップの上側でのゼロ埋めの数及び下側でのゼロ埋めの数を決定するステップと、
前記逆畳み込みカーネルの幅サイズと、逆畳み込み演算に用いられる幅方向のステップサイズ及び幅方向のゼロ埋めパラメーターと、に基づいて、前記特徴マップの左側でのゼロ埋めの数及び右側でのゼロ埋めの数を決定するステップと、を含み、
前記下側でのゼロ埋めの数は、前記上側でのゼロ埋めの数より1行多く、
前記右側でのゼロ埋めの数は、前記左側でのゼロ埋めの数より1列多い、
ことを特徴とする請求項1に記載の専用の畳み込みハードウェアによる特徴マップに対する逆畳み込み処理方法。 - 前記逆畳み込みカーネルに基づいて複数の畳み込みカーネルを決定するステップは、
前記逆畳み込みカーネルに対応する畳み込みカーネルの数とサイズを決定するステップであって、前記畳み込みカーネルの数は、逆畳み込み演算に用いられる高さ方向のステップサイズと幅方向のステップサイズとの積と等しく、前記畳み込みカーネルの高さサイズは、前記逆畳み込みカーネルの高さサイズと、逆畳み込み演算に用いられる高さ方向のステップサイズ及び高さ方向のゼロ埋めパラメーターとの関数であり、畳み込みカーネルの幅サイズは、前記逆畳み込みカーネルの幅サイズと、逆畳み込み演算に用いられる幅方向のステップサイズ及び幅方向のゼロ埋めパラメーターとの関数であるステップと、
各畳み込みカーネルの各位置について、当該畳み込みカーネルの高さ及び幅方向の二次元インデックスと、当該畳み込みカーネルの高さサイズ及び幅サイズと、当該位置の二次元座標値と、逆畳み込み演算に用いられる高さ方向のステップサイズ及び幅方向のステップサイズと、高さ方向のゼロ埋めパラメーター及び幅方向のゼロ埋めパラメーターと、に基づいて、前記逆畳み込みカーネルの対応する位置の二次元座標値を決定し、前記対応する位置の重み値を前記畳み込みカーネルにおける当該位置の重み値とするステップと、を含み、
決定された前記逆畳み込みカーネルの対応する位置の二次元座標値が前記逆畳み込みカーネルの位置座標範囲を超える場合、前記畳み込みカーネルの当該位置の重みは、ゼロ値を有する無効な重みであると決定する、
ことを特徴とする請求項1に記載の専用の畳み込みハードウェアによる特徴マップに対する逆畳み込み処理方法。 - 前記複数の畳み込み出力に対してインターリーブ合成処理を行うステップは、
逆畳み込み演算に用いられる高さ方向のステップサイズ及び幅方向のステップサイズをパディングステップサイズとし、畳み込みカーネルの高さ及び幅方向の二次元インデックスをパディングオフセットとして、各畳み込み出力の各要素を合成行列にパディングするステップを含む、
ことを特徴とする請求項4に記載の専用の畳み込みハードウェアによる特徴マップに対する逆畳み込み処理方法。 - 前記複数の畳み込み出力に対してインターリーブ合成処理を行ってインターリーブ合成出力を得た後に、
前記インターリーブ合成出力に不要な部分が含まれている場合、前記インターリーブ合成出力をトリミングして前記不要な部分を切り取ることにより、前記特徴マップ及び前記逆畳み込みカーネルに対応する逆畳み込み出力を得るステップをさらに含む、
ことを特徴とする請求項1に記載の専用の畳み込みハードウェアによる特徴マップに対する逆畳み込み処理方法。 - 前記インターリーブ合成出力をトリミングするステップは、
トリミング後のサイズが前記特徴マップ及び前記逆畳み込みカーネルの逆畳み込み出力のサイズに対応するまで、前記インターリーブ合成出力をトリミングして前記インターリーブ合成出力の右側及び下側を切り取るステップを含む、
ことを特徴とする請求項6に記載の専用の畳み込みハードウェアによる特徴マップに対する逆畳み込み処理方法。 - 乗算加算アレイとオンチップメモリとを含む専用の畳み込みハードウェアによる特徴マップに対する逆畳み込み処理装置であって、
特徴マップ及び逆畳み込みカーネルを前記オンチップメモリに読み込むために用いられる読み取りモジュールと、
前記特徴マップに対してゼロ埋め処理を行うために用いられるゼロ埋めモジュールと、
前記逆畳み込みカーネルに基づいて、複数の畳み込みカーネルを生成するために用いられる畳み込みカーネル生成モジュールと、
各畳み込みカーネルから全要素が無効な重みである行及び/又は列を削除して最適化畳み込みカーネルを得、ゼロ埋め後の特徴マップから対応する行及び/又は列を削除して各最適化畳み込みカーネルに対応する最適化特徴マップを得るために用いられる最適化モジュールであって、前記無効な重みは、各畳み込みカーネルを決定するときに挿入されたゼロ値の重みである最適化モジュールと、
前記乗算加算アレイを利用して各最適化畳み込みカーネル及び対応する最適化特徴マップに対して畳み込み処理を行って、複数の畳み込み出力を得るために用いられる畳み込みモジュールと、
前記複数の畳み込み出力に対してインターリーブ合成処理を行って、前記特徴マップ及び前記逆畳み込みカーネルに対応する逆畳み込み出力を含むインターリーブ合成出力を得るために用いられるインターリーブ合成モジュールとを含む、
ことを特徴とする専用の畳み込みハードウェアによる特徴マップに対する逆畳み込み処理装置。 - 乗算加算アレイとオンチップメモリとを含む専用の畳み込みハードウェアと、
命令が記憶される少なくとも1つのオフチップメモリと、
少なくとも1つのプロセッサと、を含み、
前記命令が前記プロセッサによって実行されると、請求項1~7のいずれか1項に記載の方法を実行する、
ことを特徴とする電子機器。 - コンピュータプログラム命令が記憶され、
前記コンピュータプログラム命令が電子機器のプロセッサによって実行されると、前記電子機器は請求項1~7のいずれか1項に記載の方法を実行し、
前記電子機器は、乗算加算アレイとオンチップメモリとを有する専用の畳み込みハードウェアをさらに含む、
ことを特徴とするコンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110288755.6A CN112686377B (zh) | 2021-03-18 | 2021-03-18 | 利用卷积硬件对特征数据进行反卷积处理的方法和装置 |
CN202110288755.6 | 2021-03-18 | ||
PCT/CN2022/075891 WO2022193877A1 (zh) | 2021-03-18 | 2022-02-10 | 利用卷积硬件对特征数据进行反卷积处理的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023521303A JP2023521303A (ja) | 2023-05-24 |
JP7461081B2 true JP7461081B2 (ja) | 2024-04-03 |
Family
ID=75455692
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022558105A Active JP7461081B2 (ja) | 2021-03-18 | 2022-02-10 | 畳み込みハードウェアによる特徴データに対する逆畳み込み処理方法及び装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230409886A1 (ja) |
EP (1) | EP4120141A4 (ja) |
JP (1) | JP7461081B2 (ja) |
CN (1) | CN112686377B (ja) |
WO (1) | WO2022193877A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112686377B (zh) * | 2021-03-18 | 2021-07-02 | 北京地平线机器人技术研发有限公司 | 利用卷积硬件对特征数据进行反卷积处理的方法和装置 |
CN116152037A (zh) * | 2022-12-06 | 2023-05-23 | 嘉楠明芯(北京)科技有限公司 | 图像反卷积方法和设备、存储介质 |
CN116740476B (zh) * | 2023-08-15 | 2023-11-07 | 四川互慧软件有限公司 | 一种基于患者360可视化人体自动标注方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017130036A (ja) | 2016-01-20 | 2017-07-27 | 富士通株式会社 | 情報処理装置、演算方法、および演算プログラム |
US20190138898A1 (en) | 2017-11-07 | 2019-05-09 | Samsung Electronics Co., Ltd. | Method and apparatus with neural network performing deconvolution |
US20200057938A1 (en) | 2017-04-28 | 2020-02-20 | Beijing Sensetime Technology Development Co., Ltd. | Convolution acceleration and computing processing method and apparatus, electronic device, and storage medium |
US20200234129A1 (en) | 2019-01-22 | 2020-07-23 | Nvidia Corporation | Techniques for removing masks from pruned neural networks |
US20210019363A1 (en) | 2019-07-16 | 2021-01-21 | Facebook Technologies, Llc | Optimization for deconvolution |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107729994B (zh) * | 2017-11-28 | 2020-05-26 | 南京地平线机器人技术有限公司 | 执行卷积神经网络中的卷积层的运算的方法和装置 |
CN108717569B (zh) * | 2018-05-16 | 2022-03-22 | 中国人民解放军陆军工程大学 | 一种膨胀全卷积神经网络装置及其构建方法 |
US12014262B2 (en) * | 2018-10-03 | 2024-06-18 | Synopsys, Inc. | Deconvolution by convolutions |
GB2582352B (en) * | 2019-03-20 | 2021-12-15 | Imagination Tech Ltd | Methods and systems for implementing a convolution transpose layer of a neural network |
CN110399924B (zh) * | 2019-07-26 | 2021-09-07 | 北京小米移动软件有限公司 | 一种图像处理方法、装置及介质 |
CN111428189B (zh) * | 2020-04-01 | 2023-09-22 | 南京大学 | 一种用于反卷积运算的数据预处理方法及装置 |
CN111738433B (zh) * | 2020-05-22 | 2023-09-26 | 华南理工大学 | 一种可重配置的卷积硬件加速器 |
CN111709338B (zh) * | 2020-06-08 | 2024-02-27 | 苏州超云生命智能产业研究院有限公司 | 一种用于表格检测的方法、装置及检测模型的训练方法 |
CN112364989A (zh) * | 2020-10-10 | 2021-02-12 | 天津大学 | 一种基于快速傅里叶变换的卷积神经网络加速设计方法 |
CN111932437B (zh) * | 2020-10-10 | 2021-03-05 | 深圳云天励飞技术股份有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN112686377B (zh) * | 2021-03-18 | 2021-07-02 | 北京地平线机器人技术研发有限公司 | 利用卷积硬件对特征数据进行反卷积处理的方法和装置 |
-
2021
- 2021-03-18 CN CN202110288755.6A patent/CN112686377B/zh active Active
-
2022
- 2022-02-10 JP JP2022558105A patent/JP7461081B2/ja active Active
- 2022-02-10 US US18/247,408 patent/US20230409886A1/en active Pending
- 2022-02-10 EP EP22770233.9A patent/EP4120141A4/en active Pending
- 2022-02-10 WO PCT/CN2022/075891 patent/WO2022193877A1/zh unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017130036A (ja) | 2016-01-20 | 2017-07-27 | 富士通株式会社 | 情報処理装置、演算方法、および演算プログラム |
US20200057938A1 (en) | 2017-04-28 | 2020-02-20 | Beijing Sensetime Technology Development Co., Ltd. | Convolution acceleration and computing processing method and apparatus, electronic device, and storage medium |
US20190138898A1 (en) | 2017-11-07 | 2019-05-09 | Samsung Electronics Co., Ltd. | Method and apparatus with neural network performing deconvolution |
JP2019087252A (ja) | 2017-11-07 | 2019-06-06 | 三星電子株式会社Samsung Electronics Co.,Ltd. | ニューラルネットワークにおいてデコンボルーション演算を実行する装置及びその方法 |
US20200234129A1 (en) | 2019-01-22 | 2020-07-23 | Nvidia Corporation | Techniques for removing masks from pruned neural networks |
US20210019363A1 (en) | 2019-07-16 | 2021-01-21 | Facebook Technologies, Llc | Optimization for deconvolution |
Non-Patent Citations (3)
Title |
---|
Dawen Xu et al.,Accelerating Generative Neural Networks on Unmodified Deep Learning Processors -- A Software Approach,ARXIV,米国,ARXIV.ORG,2020年04月29日,1-12,[online],[令和 5年9月28日検索],インターネット <URL:https://arxiv.org/abs/1907.01773> |
Dawen Xu,,2018 IEEE/ACM Inter national Conference on Compuer-Aided Design (ICCAD),FCN-Engine: Accelerating A Deconvolutional Layers in Classic CNN Processors,米国,IEEE,2018年11月05日,1-6,[online],[令和 5年9月28日検索],インターネット <URL:https://ieeexplore.ieee.org/document/8587762> |
Lin Bai et al.,A Unified Hardware Architecture for Convolutions and Deconvolutions in CNN,ARXIR,米国,ARXIR.ORG,2020年05月29日,1-5,[online],[令和 5年9月28日検索],インターネット <URL:https://arxiv.org/abs/2006.00053>1-5 |
Also Published As
Publication number | Publication date |
---|---|
CN112686377B (zh) | 2021-07-02 |
CN112686377A (zh) | 2021-04-20 |
EP4120141A4 (en) | 2023-08-09 |
US20230409886A1 (en) | 2023-12-21 |
EP4120141A1 (en) | 2023-01-18 |
WO2022193877A1 (zh) | 2022-09-22 |
JP2023521303A (ja) | 2023-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7461081B2 (ja) | 畳み込みハードウェアによる特徴データに対する逆畳み込み処理方法及び装置 | |
KR102305851B1 (ko) | 신경망의 컨볼루션 계산을 위한 방법 및 전자 디바이스 | |
JP6856609B2 (ja) | 畳み込みニューラルネットワークの畳み込み層における演算を実行する方法及び装置 | |
KR102285965B1 (ko) | 신경망의 컨볼루션 계산을 위한 방법 및 전자 디바이스 | |
CN109213962B (zh) | 运算加速器 | |
EP3855367A1 (en) | Operation accelerator, processing method, and related device | |
KR20190028501A (ko) | 콘볼루셔널 뉴럴 네트워크들에 대한 슈퍼픽셀 방법들 | |
GB2582352A (en) | Methods and systems for implementing a convolution transpose layer of a neural network | |
CN107833176A (zh) | 一种信息处理方法及相关产品 | |
TW202022711A (zh) | 使用記憶體內運算的卷積加速器 | |
JP2023523047A (ja) | 画像処理方法、装置、コンピュータ機器及び記憶媒体 | |
WO2023045445A1 (zh) | 数据处理装置、数据处理方法及相关产品 | |
CN112703511A (zh) | 运算加速器和数据处理方法 | |
CN113313140B (zh) | 基于深度注意力的三维模型分类和检索方法及装置 | |
CN114118181A (zh) | 一种高维回归点云配准方法、***、计算机设备及应用 | |
KR20200129957A (ko) | 피처맵 데이터에 대한 압축을 수행하는 뉴럴 네트워크 프로세서 및 이를 포함하는 컴퓨팅 시스템 | |
CN116012588A (zh) | 一种用于语义分割的新型特征上采样方法 | |
WO2023284130A1 (zh) | 用于卷积计算的芯片及其控制方法、电子装置 | |
CN111340182A (zh) | 一种输入特征逼近的低复杂度cnn训练方法与装置 | |
US11842273B2 (en) | Neural network processing | |
US20240160692A1 (en) | Implementing a scatter function on a neural network accelerator | |
CN113469333B (zh) | 执行神经网络模型的人工智能处理器、方法及相关产品 | |
WO2021082722A1 (zh) | 运算装置、方法及相关产品 | |
Li et al. | IPE transformer for depth completion with input-aware positional embeddings | |
GB2618398A (en) | Implementing a scatter function on a neural network accelerator |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220922 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231002 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231010 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240312 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240314 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7461081 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |