JP2020144907A - インターリーブチャネルデータ用の構成可能な畳み込みエンジン - Google Patents
インターリーブチャネルデータ用の構成可能な畳み込みエンジン Download PDFInfo
- Publication number
- JP2020144907A JP2020144907A JP2020084320A JP2020084320A JP2020144907A JP 2020144907 A JP2020144907 A JP 2020144907A JP 2020084320 A JP2020084320 A JP 2020084320A JP 2020084320 A JP2020084320 A JP 2020084320A JP 2020144907 A JP2020144907 A JP 2020144907A
- Authority
- JP
- Japan
- Prior art keywords
- convolution
- stream
- circuit
- data
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims description 70
- 238000012805 post-processing Methods 0.000 claims description 49
- 230000004044 response Effects 0.000 claims description 49
- 238000010606 normalization Methods 0.000 claims description 30
- 230000009466 transformation Effects 0.000 claims description 13
- 238000000844 transformation Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 abstract description 8
- 230000008878 coupling Effects 0.000 abstract description 2
- 238000010168 coupling process Methods 0.000 abstract description 2
- 238000005859 coupling reaction Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 78
- 238000011176 pooling Methods 0.000 description 70
- 230000008569 process Effects 0.000 description 55
- 239000000872 buffer Substances 0.000 description 36
- 238000010586 diagram Methods 0.000 description 34
- 238000006243 chemical reaction Methods 0.000 description 23
- 238000004364 calculation method Methods 0.000 description 21
- 238000001914 filtration Methods 0.000 description 19
- 238000007781 pre-processing Methods 0.000 description 19
- 238000012937 correction Methods 0.000 description 15
- 238000013507 mapping Methods 0.000 description 14
- 238000003860 storage Methods 0.000 description 13
- 238000012952 Resampling Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000011161 development Methods 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000009825 accumulation Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 241000023320 Luma <angiosperm> Species 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000003705 background correction Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000002950 deficient Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 230000002085 persistent effect Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- YGSDEFSMJLZEOE-UHFFFAOYSA-N salicylic acid Chemical compound OC(=O)C1=CC=CC=C1O YGSDEFSMJLZEOE-UHFFFAOYSA-N 0.000 description 3
- 229960000196 stridex Drugs 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 241000238370 Sepia Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000059 patterning Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004049 embossing Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000009249 intrinsic sympathomimetic activity Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
- G06F17/153—Multidimensional correlation or convolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Biodiversity & Conservation Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Algebra (AREA)
- Neurology (AREA)
- Image Processing (AREA)
- Complex Calculations (AREA)
Abstract
Description
例示的な電子デバイス
例示的な画像信号処理パイプライン
例示的なビジョンモジュール
例示的な畳み込みエンジンアーキテクチャ
畳み込みエンジン処理モード
畳み込みコア回路
(NΣH2−(ΣH)2) (2)
式中、Nは畳み込みカーネルのサイズであり、Hはカーネルデータである。式2は、式1の分母の一部を形成し、したがって、NCCスコアを計算する過程でカーネル統計値を計算することができる。
チャネルごとの空間プーリング及び正規化
インターリーブチャネルマージ
Claims (20)
- 畳み込みエンジンであって、
1つ以上の第1の畳み込みカーネルを第1の入力データに適用することによって第1の値の第1のストリームを生成するように構成された第1の畳み込み回路であって、前記第1のストリーム内の前記第1の値が、インターリーブ方式でデータの第1の複数のデータチャネルを定義する、第1の畳み込み回路と、
1つ以上の第2の畳み込みカーネルを第2の入力データに適用することによって第2の値の第2のストリームを生成するように構成された第2の畳み込み回路であって、前記第2のストリーム内の前記第2の値が、インターリーブ方式でデータの第2の複数のデータチャネルを定義する、第2の畳み込み回路と、
前記第1の畳み込み回路に連結されて前記第1のストリームを受信し、前記第2の畳み込み回路に連結されて前記第2のストリームを受信するチャネルマージ回路であって、
前記畳み込みエンジンの第1のモードでは、前記第2の値とインターリーブされた前記第1の値を含む第1の出力ストリームであって、前記第1の出力ストリームが、インターリーブ方式で前記第1の複数のチャネル及び前記第2の複数のチャネルを定義し、前記第1の畳み込み回路によって受信された前記第1の入力データが、前記第2の畳み込み回路によって受信された前記第2の入力データと同じである、第1の出力ストリームを生成し、
前記畳み込みエンジンの第2のモードでは、前記第2の畳み込み回路であって、前記第2の畳み込み回路によって使用される前記第2の入力データが、前記第1の畳み込み回路によって生成された前記第1の値の第1のストリームである、前記第2の畳み込み回路からの前記第2の値の第2のストリームを含む第2の出力ストリームを生成する、
ように構成された、チャネルマージ回路と、
を備える、畳み込みエンジン。 - 前記畳み込みエンジンの第3のモードでは、前記チャネルマージ回路が、前記第1の値を含む第3の出力ストリーム及び前記第2の値を含む第4の出力ストリームを生成するように構成されており、前記第1の畳み込み回路によって受信された前記第1の入力データが、前記第2の畳み込み回路によって受信された前記第2の入力データと同じである、請求項1に記載の畳み込みエンジン。
- 前記第2の畳み込み回路が第2の畳み込みカーネルを前記入力データに適用するのと同時に、前記第1の畳み込み回路が前記第1の入力データに第1の畳み込みカーネルを適用し、前記第1の畳み込みカーネルが第1のフィルタ要素を有し、前記第2の畳み込みカーネルが前記第1のフィルタ要素とは異なる第2のフィルタ要素を有する、請求項1に記載の畳み込みエンジン。
- 前記第1の畳み込み回路が、
畳み込みコアであって、
前記第1の複数のデータチャネルの偶数チャネルを定義する偶数データ値のストリームを生成するように構成された第1の実行クラスタと、
前記第1の複数のデータチャネルの奇数チャネルを定義する奇数データ値のストリームを生成するように構成された第2の実行クラスタと、
を含む、畳み込みコアと、
前記第1の実行クラスタに連結されて前記偶数データ値のストリームを受信し、前記第2の実行クラスタに連結されて前記奇数データ値のストリームを受信する後処理回路であって、前記偶数データ値のストリーム及び前記奇数データ値のストリームから前記第1の値の第1のストリームを生成するように構成された、後処理回路と、
を含む、請求項1に記載の畳み込みエンジン。 - 前記後処理回路が、
複数の第1の畳み込みカーネルの第1のマルチチャネル正規化相互相関(NCC)スコアと、前記第1の実行クラスタからの前記偶数データ値のストリームとを計算するように構成された第1のマルチチャネルNCCユニットと、
前記複数の第1の畳み込みカーネルの第2のマルチチャネルNCCスコアと、前記第2の実行クラスタからの前記奇数データ値のストリームとを計算するように構成された第2のマルチチャネルNCCユニットと、
を含む、請求項4に記載の畳み込みエンジン。 - 前記後処理回路が、前記第1の複数のデータチャネルのうちの少なくとも1つと関連付けられた最大値又は最小値を決定するように構成されたピークファインダを更に含む、請求項5に記載の畳み込みエンジン。
- 前記後処理回路が、
前記第1の実行クラスタからの前記偶数データ値のストリームへの非線形変換を実行するように構成された第1の応答整流ユニットと、
前記第2の実行クラスタからの前記奇数データ値のストリームへの非線形変換を実行するように構成された第2の応答整流ユニットと、
を含む、請求項4に記載の畳み込みエンジン。 - 前記後処理回路が、
前記第1の複数のデータチャネルの前記偶数チャネルを定義する前記偶数データ値に対してチャネル間局所応答正規化を実行するように構成された第1のチャネル間局所応答正規化(LRN)ユニットと、
前記第1の複数のデータチャネルの前記奇数チャネルを定義する前記奇数データ値に対してチャネル間局所応答正規化を実行するように構成された第2のチャネル間LRNユニットと、
を含む、請求項4に記載の畳み込みエンジン。 - 前記第1の畳み込み回路が、
複数の第1の畳み込みカーネルを前記第1の入力データに適用することによって、前記第1の複数のデータチャネルのデータ値の少なくとも一部を生成するように構成された実行クラスタを含む畳み込みコアと、
後処理回路であって、
前記実行クラスタに連結され、前記複数の第1の畳み込みカーネルの正規化相互相関(NCC)スコア及び前記少なくとも一部のデータ値とを計算するように構成されたマルチチャネルNCCユニットと、
前記マルチチャネルNCCに連結され、前記データ値の少なくとも一部に対して非線形変換を実行するように構成された応答整流ユニットと、
前記応答整流ユニットに連結され、前記応答整流ユニットの出力に対してチャネル間局所応答正規化を実行するように構成されたチャネル間局所応答正規化(LRN)ユニットと、
前記第1の複数のデータチャネルのうちの少なくとも1つと関連付けられた最大値又は最小値を判定するように構成されたピークファインダと、
を含む、後処理回路と、
を含み、
前記畳み込みエンジンが、前記マルチチャネルNCCユニット、前記応答整流ユニット、前記チャネル間LRNユニット、及び前記ピークファインダを選択的にアクティブ化させる又は非アクティブ化させるように構成された制御回路を更に含む、請求項1に記載の畳み込みエンジン。 - 前記畳み込みエンジンを、前記第1及び第2のモードを含む複数のモード間で切り替えるように構成された制御回路を更に備える、請求項1に記載の畳み込みエンジン。
- 前記第2の畳み込み回路が、第1のマルチプレクサを含み、
前記チャネルマージ回路が、第2のマルチプレクサを含み、
前記制御回路が、
前記畳み込みエンジンの前記第1のモードにおいて、
前記第1のマルチプレクサに、前記第1の入力データを、前記第2の畳み込み回路への前記第2の入力データとして選択させ、
前記第2のマルチプレクサに、前記第1の出力ストリームを、前記チャネルマージ回路の出力として選択させ、
前記畳み込みエンジンの前記第2のモードにおいて、
前記第1のマルチプレクサに、前記第1の畳み込み回路によって生成された前記第1の値の第1のストリームを、前記第2の畳み込み回路への前記第2の入力データとして選択させ、
前記第2のマルチプレクサに、前記第2の畳み込み回路によって生成された前記第2の値の第2のストリームを、前記チャネルマージ回路の前記出力として選択させる、
ように更に構成された、請求項10に記載の畳み込みエンジン。 - 前記畳み込みエンジンの第3のモードにおいて、
前記チャネルマージ回路が、前記第1の値を含む第3の出力ストリームと、前記第2の値を含む第4の出力ストリームとを生成するように構成されており、
前記制御回路が、
前記第1のマルチプレクサに、前記第1の入力データを、前記第2の畳み込み回路への前記第2の入力データとして選択させ、
前記第2のマルチプレクサに、前記第2の値の第2のストリームを前記チャネルマージ回路の前記出力として選択させる、
ように更に構成された、請求項11に記載の畳み込みエンジン。 - 畳み込みエンジンによって、1つ以上の第1の畳み込みカーネルを第1の入力データに適用することによって、第1の値の第1のストリームを生成することであって、前記第1のストリーム内の前記第1の値が、インターリーブ方式でデータの第1の複数のチャネルを定義する、ことと、
前記畳み込みエンジンによって、1つ以上の第2の畳み込みカーネルを第2の入力データに適用することによって、第2の値の第2のストリームを生成することであって、前記第2のストリーム内の前記第2の値が、インターリーブ方式でデータの第2の複数のチャネルを定義する、ことと、
前記畳み込みエンジンの第1のモードでは、前記第2の値とインターリーブされた前記第1の値を含む第1の出力ストリームを生成することであって、前記第1の出力ストリームが、インターリーブ方式で前記第1の複数のチャネル及び前記第2の複数のチャネルを定義し、前記第1の入力データが前記第2の入力データと同じである、ことと、
前記畳み込みエンジンの第2のモードでは、前記第2の畳み込み回路からの前記第2の値の第2のストリームを含む第2の出力ストリームを生成することであって、前記第2の入力データが、前記第1の値の第1のストリームである、ことと、
を含む、方法。 - 前記畳み込みエンジンの第3のモードにおいて、前記第1の値を含む第3の出力ストリームと前記第2の値を含む第4の出力ストリームとを生成することであって、前記第1の入力データが前記第2の入力データと同じである、ことを更に含む、請求項13に記載の方法。
- 前記畳み込みエンジンが、第2の畳み込みカーネルを前記入力データに適用することと同時に、前記第1の入力データに第1の畳み込みカーネルを適用し、前記第1の畳み込みカーネルが第1のフィルタ要素を有し、前記第2の畳み込みカーネルが前記第1のフィルタ要素は異なる第2のフィルタ要素を有する、請求項13に記載の方法。
- 前記第1の複数のデータチャネルの偶数チャネルを定義する偶数データ値のストリームを生成することと、
前記第1の複数のデータチャネルの奇数チャネルを定義する奇数データ値のストリームを生成することと、
前記偶数データ値のストリーム及び前記奇数データ値のストリームから前記第1の値の第1のストリームを生成することと、
を更に含む、請求項13に記載の方法。 - 複数の第1の畳み込みカーネル及び前記偶数データ値のストリームに関して、第1のマルチチャネル正規化相互相関(NCC)スコアを計算することと、
前記複数の第1の畳み込みカーネル及び前記奇数データ値のストリームに関して、第2のマルチチャネルNCCスコアを計算することと、
を更に含む、請求項16に記載の方法。 - 前記偶数データ値のストリームに対して非線形変換を実行することと、
前記奇数データ値のストリームに対して非線形変換を実行することと、
を更に含む、請求項16に記載の方法。 - 前記第1の複数のデータチャネルの前記偶数チャネルを定義する前記偶数データ値に対して、チャネル間局所応答正規化を実行することと、
前記第1の複数のデータチャネルの前記奇数チャネルを定義する前記奇数データ値に対して、チャネル間局所応答正規化を実行することと、
を更に含む、請求項17に記載の方法。 - 電子デバイスであって、
1つ以上の第1の畳み込みカーネルを第1の入力データに適用することによって第1の値の第1のストリームを生成するように構成された第1の畳み込み回路であって、前記第1のストリーム内の前記第1の値が、インターリーブ方式で第1の複数のデータチャネルを定義する、第1の畳み込み回路と、
1つ以上の第2の畳み込みカーネルを第2の入力データに適用することによって第2の値の第2のストリームを生成するように構成された第2の畳み込み回路であって、前記第2のストリーム内の前記第2の値が、インターリーブ方式で第2の複数のデータチャネルを定義する、第2の畳み込み回路と、
前記第1の畳み込み回路に連結されて前記第1のストリームを受信し、前記第2の畳み込み回路に連結されて前記第2のストリームを受信するチャネルマージ回路であって、
前記畳み込みエンジンの第1のモードでは、前記第2の値とインターリーブされた前記第1の値を含む第1の出力ストリームであって、前記第1の出力ストリームが、インターリーブ方式で前記第1の複数のチャネル及び前記第2の複数のチャネルを定義し、前記第1の畳み込み回路によって受信された前記第1の入力データが、前記第2の畳み込み回路によって受信された前記第2の入力データと同じである、第1の出力ストリームを生成し、
前記畳み込みエンジンの第2のモードでは、前記第1の値を含む第2の出力ストリームと前記第2の値を含む第3の出力ストリームであって、前記第1の畳み込み回路によって受信された前記第1の入力データが、前記第2の畳み込み回路によって受信された前記第2の入力データと同じである、第3の出力ストリームを生成する、
ように構成された、チャネルマージ回路と、
を備える電子デバイス。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/499,543 | 2017-04-27 | ||
US15/499,543 US10176551B2 (en) | 2017-04-27 | 2017-04-27 | Configurable convolution engine for interleaved channel data |
JP2019558415A JP6705065B1 (ja) | 2017-04-27 | 2018-03-06 | インターリーブチャネルデータ用の構成可能な畳み込みエンジン |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019558415A Division JP6705065B1 (ja) | 2017-04-27 | 2018-03-06 | インターリーブチャネルデータ用の構成可能な畳み込みエンジン |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020144907A true JP2020144907A (ja) | 2020-09-10 |
JP6961749B2 JP6961749B2 (ja) | 2021-11-05 |
Family
ID=61750535
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019558415A Active JP6705065B1 (ja) | 2017-04-27 | 2018-03-06 | インターリーブチャネルデータ用の構成可能な畳み込みエンジン |
JP2020084320A Active JP6961749B2 (ja) | 2017-04-27 | 2020-05-13 | インターリーブチャネルデータ用の構成可能な畳み込みエンジン |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019558415A Active JP6705065B1 (ja) | 2017-04-27 | 2018-03-06 | インターリーブチャネルデータ用の構成可能な畳み込みエンジン |
Country Status (7)
Country | Link |
---|---|
US (3) | US10176551B2 (ja) |
JP (2) | JP6705065B1 (ja) |
KR (2) | KR102352102B1 (ja) |
CN (2) | CN110574026B (ja) |
DE (1) | DE112018002228B4 (ja) |
GB (2) | GB2584504B (ja) |
WO (1) | WO2018200075A1 (ja) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9977994B2 (en) * | 2016-06-30 | 2018-05-22 | Apple Inc. | Configurable histogram-of-oriented gradients (HOG) processor |
US9858636B1 (en) | 2016-06-30 | 2018-01-02 | Apple Inc. | Configurable convolution engine |
JP2018067154A (ja) * | 2016-10-19 | 2018-04-26 | ソニーセミコンダクタソリューションズ株式会社 | 演算処理回路および認識システム |
KR102061408B1 (ko) * | 2017-03-24 | 2019-12-31 | (주)제이엘케이인스펙션 | 가상 3차원 심층 신경망을 이용하는 영상 분석 장치 및 방법 |
US10176551B2 (en) * | 2017-04-27 | 2019-01-08 | Apple Inc. | Configurable convolution engine for interleaved channel data |
US10776694B2 (en) * | 2017-05-16 | 2020-09-15 | Samsung Electronics Co., Ltd. | Optimized neural network input stride method and apparatus |
JP7242185B2 (ja) * | 2018-01-10 | 2023-03-20 | キヤノン株式会社 | 画像処理方法、画像処理装置、画像処理プログラム、および、記憶媒体 |
US11586907B2 (en) | 2018-02-27 | 2023-02-21 | Stmicroelectronics S.R.L. | Arithmetic unit for deep learning acceleration |
US11687762B2 (en) | 2018-02-27 | 2023-06-27 | Stmicroelectronics S.R.L. | Acceleration unit for a deep learning engine |
US10977854B2 (en) | 2018-02-27 | 2021-04-13 | Stmicroelectronics International N.V. | Data volume sculptor for deep learning acceleration |
CN110322388B (zh) * | 2018-03-29 | 2023-09-12 | 上海熠知电子科技有限公司 | 池化方法及装置、池化***、计算机可读存储介质 |
US10997736B2 (en) * | 2018-08-10 | 2021-05-04 | Apple Inc. | Circuit for performing normalized cross correlation |
EP3648013A1 (en) * | 2018-11-02 | 2020-05-06 | Tata Consultancy Services Limited | Method and system for partitioning of deep convolution network for executing on computationally constraint devices |
KR20200081044A (ko) | 2018-12-27 | 2020-07-07 | 삼성전자주식회사 | 뉴럴 네트워크의 컨볼루션 연산을 처리하는 방법 및 장치 |
KR20210020387A (ko) | 2019-08-14 | 2021-02-24 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
DE102019129760A1 (de) * | 2019-11-05 | 2021-05-06 | Eyyes Gmbh | Verfahren zur Verarbeitung von Eingangsdaten |
US11676023B2 (en) | 2019-11-27 | 2023-06-13 | Pavel Sinha | Systems and methods for performing direct conversion of image sensor data to image analytics |
US20220076059A1 (en) * | 2019-12-02 | 2022-03-10 | Qualcomm Incorporated | Multi-Stage Neural Network Process for Keypoint Detection In An Image |
US11403727B2 (en) * | 2020-01-28 | 2022-08-02 | Nxp Usa, Inc. | System and method for convolving an image |
KR20210097448A (ko) | 2020-01-30 | 2021-08-09 | 삼성전자주식회사 | 영상 데이터 처리 방법 및 영상 데이터 처리 방법을 수행하는 센서 장치 |
KR20210101903A (ko) | 2020-02-11 | 2021-08-19 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
US11507831B2 (en) * | 2020-02-24 | 2022-11-22 | Stmicroelectronics International N.V. | Pooling unit for deep learning acceleration |
US20210287338A1 (en) * | 2020-03-11 | 2021-09-16 | Mediatek Inc. | Image-guided adjustment to super-resolution operations |
US11580192B2 (en) * | 2020-04-08 | 2023-02-14 | Meta Platforms, Inc. | Grouped convolution using point-to-point connected channel convolution engines |
KR20210139061A (ko) * | 2020-05-13 | 2021-11-22 | 엘지이노텍 주식회사 | 이미징 장치 및 이미징 방법 |
GB2595696B (en) | 2020-06-04 | 2022-12-28 | Envisics Ltd | Forming a hologram of a target image for projection using data streaming |
US20220067509A1 (en) * | 2020-09-02 | 2022-03-03 | Alibaba Group Holding Limited | System and method for learning from partial compressed representation |
US11144822B1 (en) * | 2021-01-04 | 2021-10-12 | Edgecortix Pte. Ltd. | Neural network accelerator run-time reconfigurability |
JP7418019B2 (ja) * | 2021-12-10 | 2024-01-19 | 株式会社アクセル | 情報処理装置、情報処理装置における情報処理方法、及びプログラム |
Family Cites Families (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4399536A (en) * | 1981-10-02 | 1983-08-16 | Bell Telephone Laboratories, Incorporated | Convolution filter arrangement for digital multifrequency receiver |
US4694407A (en) | 1985-06-11 | 1987-09-15 | Rca Corporation | Fractal generation, as for video graphic displays |
JPH0823883B2 (ja) | 1987-07-02 | 1996-03-06 | 富士通株式会社 | ビデオレート画像プロセッサ |
CN1010437B (zh) * | 1988-06-02 | 1990-11-14 | 清华大学 | 一种实时图象邻域处理器 |
JPH07168809A (ja) | 1993-03-30 | 1995-07-04 | Klics Ltd | ウェーブレット変換方法及びウェーブレット変換回路 |
EP0644684B1 (en) | 1993-09-17 | 2000-02-02 | Eastman Kodak Company | Digital resampling integrated circuit for fast image resizing applications |
US5572532A (en) * | 1993-12-29 | 1996-11-05 | Zenith Electronics Corp. | Convolutional interleaver and deinterleaver |
US6539120B1 (en) | 1997-03-12 | 2003-03-25 | Matsushita Electric Industrial Co., Ltd. | MPEG decoder providing multiple standard output signals |
WO1999012265A1 (fr) * | 1997-09-02 | 1999-03-11 | Sony Corporation | Codeur/decodeur turbo et procede de codage/decodage turbo |
US6088387A (en) * | 1997-12-31 | 2000-07-11 | At&T Corp. | Multi-channel parallel/serial concatenated convolutional codes and trellis coded modulation encoder/decoder |
US6070263A (en) * | 1998-04-20 | 2000-05-30 | Motorola, Inc. | Circuit for use in a Viterbi decoder |
US6573905B1 (en) | 1999-11-09 | 2003-06-03 | Broadcom Corporation | Video and graphics system with parallel processing of graphics windows |
US7058086B2 (en) | 1999-05-26 | 2006-06-06 | Xm Satellite Radio Inc. | Method and apparatus for concatenated convolutional encoding and interleaving |
JP3688959B2 (ja) * | 1999-11-29 | 2005-08-31 | 株式会社東芝 | パケット伝送システム |
US7020827B2 (en) * | 2001-06-08 | 2006-03-28 | Texas Instruments Incorporated | Cascade map decoder and method |
JP3927776B2 (ja) | 2001-06-25 | 2007-06-13 | キヤノン株式会社 | 画像処理装置及びその処理方法 |
US7379105B1 (en) | 2002-06-18 | 2008-05-27 | Pixim, Inc. | Multi-standard video image capture device using a single CMOS image sensor |
US7397938B2 (en) | 2003-08-13 | 2008-07-08 | Siemens Medical Solutions Usa, Inc. | Method and system for fast normalized cross-correlation between an image and a Gaussian for detecting spherical structures |
US7266255B1 (en) | 2003-09-26 | 2007-09-04 | Sun Microsystems, Inc. | Distributed multi-sample convolution |
US7737994B1 (en) | 2003-09-26 | 2010-06-15 | Oracle America, Inc. | Large-kernel convolution using multiple industry-standard graphics accelerators |
KR100664178B1 (ko) * | 2004-11-13 | 2007-01-04 | 엘지전자 주식회사 | 디지털 멀티미디어 방송 수신기의 채널 정보 갱신 방법 |
US20060215929A1 (en) | 2005-03-23 | 2006-09-28 | David Fresneau | Methods and apparatus for image convolution |
KR20060121312A (ko) * | 2005-05-24 | 2006-11-29 | 엘지전자 주식회사 | 컨볼루션 터보 부호 인터리버 |
WO2007054931A2 (en) * | 2005-11-10 | 2007-05-18 | D-Blur Technologies Ltd. | Image enhancement in the mosaic domain |
US8154636B2 (en) | 2005-12-21 | 2012-04-10 | DigitalOptics Corporation International | Image enhancement using hardware-based deconvolution |
US7701496B2 (en) | 2006-12-22 | 2010-04-20 | Xerox Corporation | Color filter pattern for color filter arrays including a demosaicking algorithm |
US8379738B2 (en) * | 2007-03-16 | 2013-02-19 | Samsung Electronics Co., Ltd. | Methods and apparatus to improve performance and enable fast decoding of transmissions with multiple code blocks |
JP4442644B2 (ja) * | 2007-06-15 | 2010-03-31 | 株式会社デンソー | パイプライン演算装置 |
US20090077359A1 (en) | 2007-09-18 | 2009-03-19 | Hari Chakravarthula | Architecture re-utilizing computational blocks for processing of heterogeneous data streams |
US8824833B2 (en) | 2008-02-01 | 2014-09-02 | Omnivision Technologies, Inc. | Image data fusion systems and methods |
US8345984B2 (en) | 2010-01-28 | 2013-01-01 | Nec Laboratories America, Inc. | 3D convolutional neural networks for automatic human action recognition |
US8842222B2 (en) * | 2010-04-18 | 2014-09-23 | Imax Corporation | Double stacked projection |
WO2012108411A1 (ja) * | 2011-02-10 | 2012-08-16 | 日本電気株式会社 | 符号化/復号化処理プロセッサ、および無線通信装置 |
JP2013207382A (ja) * | 2012-03-27 | 2013-10-07 | Nec Corp | インタリーブ制御装置、インタリーブ処理装置及びインタリーブ処理方法 |
US8917952B2 (en) | 2012-10-22 | 2014-12-23 | Siemens Medical Solutions Usa, Inc. | Parallel image convolution processing with SVD kernel data |
WO2014094232A1 (en) | 2012-12-18 | 2014-06-26 | Intel Corporation | Hardware convolution pre-filter to accelerate object detection |
US8983188B1 (en) | 2013-05-14 | 2015-03-17 | Google Inc. | Edge-aware smoothing in images |
GB2516221A (en) * | 2013-07-01 | 2015-01-21 | Barco Nv | Method and processor for streaming video processing |
US9202144B2 (en) * | 2013-10-30 | 2015-12-01 | Nec Laboratories America, Inc. | Regionlets with shift invariant neural patterns for object detection |
US9392173B2 (en) | 2013-12-13 | 2016-07-12 | Adobe Systems Incorporated | Image deblurring based on light streaks |
RU2014104571A (ru) * | 2014-02-10 | 2015-08-20 | ЭлЭсАй Корпорейшн | Системы и способы для эффективного с точки зрения площади кодирования данных |
US9832388B2 (en) | 2014-08-04 | 2017-11-28 | Nvidia Corporation | Deinterleaving interleaved high dynamic range image by using YUV interpolation |
US10255547B2 (en) * | 2014-12-04 | 2019-04-09 | Nvidia Corporation | Indirectly accessing sample data to perform multi-convolution operations in a parallel processing system |
CN104484658A (zh) * | 2014-12-30 | 2015-04-01 | 中科创达软件股份有限公司 | 一种基于多通道卷积神经网络的人脸性别识别方法及装置 |
CN106033528A (zh) | 2015-03-09 | 2016-10-19 | 富士通株式会社 | 从彩色文档图像中提取特定区域的方法和设备 |
US10268886B2 (en) | 2015-03-11 | 2019-04-23 | Microsoft Technology Licensing, Llc | Context-awareness through biased on-device image classifiers |
US20160328644A1 (en) | 2015-05-08 | 2016-11-10 | Qualcomm Incorporated | Adaptive selection of artificial neural networks |
US9582726B2 (en) | 2015-06-24 | 2017-02-28 | Qualcomm Incorporated | Systems and methods for image processing in a deep convolution network |
US9525427B1 (en) * | 2015-09-11 | 2016-12-20 | Tektronix, Inc. | Test and measurement instrument including asynchronous time-interleaved digitizer using harmonic mixing and a linear time-periodic filter |
US9858636B1 (en) * | 2016-06-30 | 2018-01-02 | Apple Inc. | Configurable convolution engine |
CN106530210B (zh) * | 2016-10-31 | 2019-09-06 | 北京大学 | 基于阻变存储器件阵列实现并行卷积计算的设备和方法 |
CN108073549B (zh) * | 2016-11-14 | 2021-04-27 | 耐能股份有限公司 | 卷积运算装置及方法 |
US10176551B2 (en) * | 2017-04-27 | 2019-01-08 | Apple Inc. | Configurable convolution engine for interleaved channel data |
US10319066B2 (en) * | 2017-04-27 | 2019-06-11 | Apple Inc. | Convolution engine with per-channel processing of interleaved channel data |
US10325342B2 (en) * | 2017-04-27 | 2019-06-18 | Apple Inc. | Convolution engine for merging interleaved channel data |
-
2017
- 2017-04-27 US US15/499,543 patent/US10176551B2/en active Active
-
2018
- 2018-03-06 KR KR1020207025505A patent/KR102352102B1/ko active IP Right Grant
- 2018-03-06 GB GB1915153.9A patent/GB2584504B/en active Active
- 2018-03-06 JP JP2019558415A patent/JP6705065B1/ja active Active
- 2018-03-06 CN CN201880027358.XA patent/CN110574026B/zh active Active
- 2018-03-06 KR KR1020197031687A patent/KR102163424B1/ko active Application Filing
- 2018-03-06 DE DE112018002228.5T patent/DE112018002228B4/de active Active
- 2018-03-06 WO PCT/US2018/021210 patent/WO2018200075A1/en active Application Filing
- 2018-03-06 CN CN202110176449.3A patent/CN112926726A/zh active Pending
- 2018-03-06 GB GB2108888.5A patent/GB2592835B/en active Active
- 2018-11-28 US US16/203,550 patent/US10489880B2/en active Active
-
2019
- 2019-10-25 US US16/664,120 patent/US10685421B1/en active Active
-
2020
- 2020-05-13 JP JP2020084320A patent/JP6961749B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
US20180315155A1 (en) | 2018-11-01 |
GB2592835A (en) | 2021-09-08 |
US10489880B2 (en) | 2019-11-26 |
KR102352102B1 (ko) | 2022-01-17 |
GB201915153D0 (en) | 2019-12-04 |
DE112018002228B4 (de) | 2023-08-03 |
US10685421B1 (en) | 2020-06-16 |
GB2584504B (en) | 2021-08-04 |
KR20190126440A (ko) | 2019-11-11 |
WO2018200075A1 (en) | 2018-11-01 |
KR20200105984A (ko) | 2020-09-09 |
CN112926726A (zh) | 2021-06-08 |
GB2592835B (en) | 2022-03-02 |
CN110574026B (zh) | 2021-02-26 |
GB2584504A (en) | 2020-12-09 |
CN110574026A (zh) | 2019-12-13 |
KR102163424B1 (ko) | 2020-10-08 |
JP6961749B2 (ja) | 2021-11-05 |
US10176551B2 (en) | 2019-01-08 |
JP2020522775A (ja) | 2020-07-30 |
US20200167889A1 (en) | 2020-05-28 |
GB202108888D0 (en) | 2021-08-04 |
DE112018002228T5 (de) | 2020-01-09 |
JP6705065B1 (ja) | 2020-06-03 |
US20190096026A1 (en) | 2019-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6961749B2 (ja) | インターリーブチャネルデータ用の構成可能な畳み込みエンジン | |
US10325342B2 (en) | Convolution engine for merging interleaved channel data | |
CN110637297B (zh) | 卷积引擎、数据处理方法和电子设备 | |
US10747843B2 (en) | Configurable convolution engine | |
JP6574534B2 (ja) | 並列コンピュータビジョン及び画像スケーリング・アーキテクチャ | |
US11936992B2 (en) | Multi-mode demosaicing for raw image data | |
US10997736B2 (en) | Circuit for performing normalized cross correlation | |
US20230289923A1 (en) | Machine learning based noise reduction circuit |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200525 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200525 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210621 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210825 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210913 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211013 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6961749 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |