TW202014934A - 電子系統以及非暫時性電腦可讀記錄媒體 - Google Patents

電子系統以及非暫時性電腦可讀記錄媒體 Download PDF

Info

Publication number
TW202014934A
TW202014934A TW108136405A TW108136405A TW202014934A TW 202014934 A TW202014934 A TW 202014934A TW 108136405 A TW108136405 A TW 108136405A TW 108136405 A TW108136405 A TW 108136405A TW 202014934 A TW202014934 A TW 202014934A
Authority
TW
Taiwan
Prior art keywords
gain
layer
feature map
output
neural network
Prior art date
Application number
TW108136405A
Other languages
English (en)
Inventor
金泰義
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW202014934A publication Critical patent/TW202014934A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

提供了電子系統及非暫時性電腦可讀記錄媒體。電子系統被配置以接收輸入資料並產生輸出資料。電子系統包括包括多個層的神經網路裝置，神經網路裝置進一步包括處理器，其中所述處理器被配置以在所述多個層中的每一者處產生多個原始特徵圖，應用與所述多個原始特徵圖中的每一者對應的增益以產生多個輸出特徵圖，並使用圖像重構層通過對所述多個輸出特徵圖進行求和來產生所述輸出資料；以及記憶體，儲存分別與所述多個層中的每一者對應的多個增益。

Description

電子系統以及非暫時性電腦可讀記錄媒體
本發明概念涉及能夠從輸入圖像移除雜訊並產生輸出圖像的方法、以及包括能夠執行上述操作的神經網路裝置的電子系統。 [相關申請的交叉參考]
本申請主張2018年10月10日在韓國智慧財產權局提出申請的韓國專利申請第10-2018-0120611號的權利，所述韓國專利申請的公開內容全部併入本案供參考。
神經網路裝置是類比生物學習活動的計算系統、結構或架構。隨著神經網路裝置及技術的最近發展，已積極地對被配置以分析輸入資料並提供從由神經網路裝置執行的過程匯出的對應有效輸出資料的各類電子系統進行了研究。
本發明概念提供一種被配置以執行如下神經網路運算的裝置及一種操作所述裝置的方法：使用神經網路中所包括的多個層各自的特性從輸入圖像移除雜訊並產生輸出圖像。
根據本發明概念的方面，提供一種電子系統，其被配置以接收輸入資料並產生輸出資料。所述電子系統包括：神經網路裝置，包括多個層，所述神經網路裝置進一步包括處理器，其中所述處理器被配置以在所述多個層中的每一者處產生多個原始特徵圖，應用與所述多個原始特徵圖中的每一者對應的增益以產生多個輸出特徵圖，並使用圖像重構層通過對所述多個輸出特徵圖進行求和來產生所述輸出資料；以及記憶體，儲存分別與所述多個層中的每一者對應的多個增益。
根據本發明概念的另一方面，提供一種記錄有用於使用神經網路裝置產生輸出圖像的程式的非暫時性電腦可讀記錄媒體。所述程式包括以下操作：接收輸入圖像；基於所述輸入圖像而從被級聯連接的卷積層中的一些或全部產生多個原始特徵圖；應用與所產生的所述多個原始特徵圖中的每一者對應的增益，並產生多個輸出特徵圖；以及基於所述多個輸出特徵圖產生所述輸出圖像。所述增益是通過學習演算法而學習且在所述操作被執行時加以更新。
根據本發明概念的另一方面，提供一種被配置以使用包括多個層的神經網路來執行運算的計算裝置。所述計算裝置包括：感測器模組，被配置以產生包含第一物體的輸入圖像；記憶體，其中儲存有與所述多個層中的每一者對應的增益；以及處理器，被配置以接收所述輸入圖像以在所述多個層中的每一者處產生多個原始特徵圖，應用與所述多個原始特徵圖中的每一者對應的增益以產生多個輸出特徵圖，並作為由圖像重構層對所述多個輸出特徵圖進行求和的結果而產生輸出圖像。
因根據示例性實施例的被配置以執行神經網路運算的裝置及操作所述裝置的方法，可通過移除由存在於圖像感測器與被攝體（subject）之間的各種物體引起的雜訊而獲得高分辨圖像。
圖（Figure，FIG.）1是示出根據實施例的電子系統10的方塊圖。
電子系統10可用於使用神經網路裝置13來即時分析輸入資料、從所分析的輸入資料提取有效資訊，並基於所提取的資訊來控制電子系統10內部及外部的各種元件。電子系統10可應用於主機裝置，例如智慧型電話、移動裝置、圖像顯示裝置、測量裝置、智慧電視機（TV）、無人機、機器人、高級駕駛員輔助系統（advanced drivers assistance system，ADAS）、醫療裝置、及物聯網（Internet of Things，IoT）裝置等。就這點來說，電子系統10可以以操作方式安裝在主機裝置中，或者集成—全部或部分地—在主機裝置內。
在某些實施例中，可將圖1所示電子系統10實現為主機裝置內的應用處理器（application processor，AP）。由於電子系統10執行神經網路運算以及可能許多其他操作，因此電子系統10可被說成包括神經網路系統。
參照圖1，電子系統10可包括中央處理器（central processing unit，CPU）11、隨機存取記憶體（random access memory，RAM）12、神經網路裝置13、記憶體14及感測器模組15。如所屬領域中的技術人員應理解，電子系統10可進一步包括一個或多個額外元件，例如輸入/輸出（input/output，I/O）模組、安全模組及電源控制模組—但為清晰起見，圖1中未示出此類別模組。
可在單個半導體晶片中實現電子系統10的構成元件（例如，CPU 11、RAM 12、神經網路裝置13、記憶體14及/或感測器模組15）中的一些或全部。舉例來說，可將電子系統10實現為系統晶片（System-on-Chip，SoC）。
如圖1中所示出，構成電子系統10的各種元件可通過使用具有各種配置但在圖1中被泛化地指示為匯流排16的一個或多個信號線及/或匯流排進行通信。
CPU 11可用於控制電子系統10的整體操作。就這點來說，CPU 11可包括具有各種架構的一個或多個處理核心。CPU 11可處理或執行記憶體14中所儲存的程式及/或資料。舉例來說，CPU 11可執行記憶體14中所儲存的程式，以控制由神經網路裝置13執行的各種功能。
RAM 12可用於臨時儲存程式、資料及/或指令。舉例來說，記憶體14中所儲存的程式及/或資料可在CPU 11的控制下或者（例如）在電源開啟操作期間響應於CPU 11對引導代碼（boot code）的執行而臨時儲存在RAM 12中。可使用例如動態RAM（dynamic RAM，DRAM）及/或靜態RAM（static RAM，SRAM）來以各種方式實現RAM 12。
神經網路裝置13可用於關於所接收的輸入資料執行各種神經網路運算，以產生輸出資料。換句話說，可使用神經網路裝置13來分析（或處理）由電子系統10接收的輸入資料，以產生下文將被稱為“神經網路運算結果”的結果。
在一個特定應用中，主機裝置可包括圖像捕獲元件（例如照相機），且通過使用所述照相機而獲得的圖像資料可作為輸入資料被處理。一般來說，輸入資料（例如由照相機捕獲的圖像資料）經常包含非期望的雜訊分量，如果可能，則在對應輸出資料的產生期間應移除所述雜訊分量。在某些實施例中，可使用神經網路裝置來從輸入資料移除雜訊。
就這點來說，可將圖1所示神經網路裝置13以各種方式實現為（或以各種方式結構化為）計算裝置或計算模組。所屬領域中的技術人員應理解，存在許多類型的神經網路或神經網路裝置，例如卷積神經網路（convolution neural network，CNN）、具有卷積神經網路的區域（region with convolution neural network，R-CNN）、區域提議網路（region proposal network，RPN）、迴圈神經網路（recurrent neural network，RNN）、基於堆疊的深度神經網路（stacking-based deep neural network，S-DNN）、狀態空間動態神經網路（state-space dynamic neural network，S-SDNN）、解卷積網路、深度信念網路（deep belief network，DBN）、受限玻耳茲曼機（restricted Boltzman machine，RBM）、全卷積網路（fully convolutional network）、長短期記憶（long short-term memory，LSTM）網路、及分類網路（classification network）等。此外，被配置以執行一個或多個任務的神經網路可包括一個或多個子神經網路。將參照圖2以一些額外細節來闡述神經網路結構的一個實例。
參照圖2，神經網路NN可包括第一層L1至第n層Ln，其中第一層L1至第n層Ln中的每一者可為線性層或非線性層。在一些實施例中，可將至少一個線性層與至少一個非線性層組合在特定層中。舉例來說，線性層可包括卷積層（convolution layer）及全連接層（fully connected layer），而非線性層可包括池化層（pooling layer）及啟動層（activation layer）。
作為一個實例，假設圖2所示第一層L1是卷積層，假設第二層L2是池化層，且假設第n層Ln是全連接層或輸出層。神經網路NN可進一步包括啟動層以及被配置以執行其他類型的運算的其他層。
第一層L1至第n層Ln中的每一者可：（1）接收輸入圖像幀或由上一層產生的特徵圖作為輸入特徵圖；（2）對輸入特徵圖執行運算；以及（3）產生輸出特徵圖。此處，用語“特徵圖”指代其中表達所接收輸入資料的各種特性的資料。舉例來說，在圖2中，特徵圖FM1、FM2及FMn可具有二維（two-dimensional，2D）矩陣形式或三維（three-dimensional，3D）矩陣形式。特徵圖FM1至FMn（包括FM1至FMn在內）可具有寬度W（下文稱為行）、高度H（下文稱為列）及深度D，這些參數可分別對應於由x軸、y軸及z軸定義的座標。在圖2所示出的實例中，深度D指代通道數目。
第一層L1可使用權重圖WM對第一特徵圖FM1進行卷積運算，以產生第二特徵圖FM2。權重圖WM可有效地對第一特徵圖FM1進行濾波，且可被稱為“濾波器”或“內核”。權重圖WM的深度（即，通道數目）可與第一特徵圖FM1的深度（即，通道數目）相關聯（例如，相等），且權重圖WM的通道可分別與對應的第一特徵圖FM1的通道進行卷積運算。可使用第一特徵圖FM1作為滑動窗（sliding window）來使權重圖WM橫移（或“移位”）。移位量可被稱為“步長（stride length）”或“步幅（stride）”。在每次移位期間，可將權重圖WM中所包含的權重中的每一者與和第一特徵圖FM1交疊的區域中的所有特徵值相乘，並再進行相加。當使用權重圖WM對第一特徵圖FM1進行卷積運算時，可產生第二特徵圖FM2的一個通道。雖然圖2中僅示出單個權重圖WM，然而所屬領域中的技術人員應認識到，可使用第一特徵圖FM1實質上對多個權重圖進行卷積運算，以產生第二特徵圖FM2的多個通道。換句話說，第二特徵圖FM2的通道的數目可對應於權重圖的數目。
第二層L2可用於根據池化運算來改變第二特徵圖FM2的空間大小，以產生第三特徵圖FM3。在某些實施例中，池化運算可採取採樣運算或下採樣運算的形式。可使2D池化窗PW在第二特徵圖FM2上以池化窗PW為大小單位而移位元，且可選擇與池化窗PW交疊的區域的特徵值的最大值（或平均值）。因此，可從第二特徵圖FM2產生具有所期望空間大小的第三特徵圖FM3。第三特徵圖FM3的通道的數目可等於第二特徵圖FM2的通道的數目。
在一些實施例中，第二層L2不需要是池化層。也就是說，第二層L2可為池化層或與第一層L1類似的卷積層。第二層L2可使用（第二）權重圖對第二特徵圖FM2進行卷積運算，並產生第三特徵圖FM3。在此種情形中，在由第二層L2執行的卷積運算期間所使用的（第二）權重圖可不同於在由第一層L1執行的卷積運算期間所使用的（第一）權重圖WM。
可通過包括第一層L1及第二層L2在內的多個層而在第N層處產生第N特徵圖。第N特徵圖可被輸入到設置在神經網路NN的後端上的重構層（reconstruction layer）。因此，重構層可用於產生輸出資料。在某些實施例中，重構層可使用權重圖對第N特徵圖進行卷積運算，以產生輸出資料（例如，在從照相機接收到輸入圖像的特定實例中，為輸出圖像）。因此，重構層可包括或可不包括卷積層，且在一些實施例中，重構層可被實現為能夠從特徵圖適當地重構所期望輸出資料的另一類層。
返回參照圖1，由神經網路裝置13接收的“輸入資料”可為與由照相機常規捕獲的類型的靜態圖像或移動圖像（例如，連續接收的圖像幀）相關聯的資料。神經網路裝置13可產生包含輸入資料特徵值的特徵圖，且此後從特徵圖重構對應的“輸出資料”。
在此類實施例中，神經網路裝置13可將特徵圖儲存在內部記憶體或外部記憶體（例如，記憶體14）中，載入所儲存的特徵圖，並使用權重圖來對所載入的特徵圖進行卷積運算。
記憶體14可包括能夠儲存及檢索各種資料、程式（包括至少一個作業系統（operating system，OS））、資料值、資訊等的資料儲存媒體。在一些實施例中，記憶體14可用於儲存在由神經網路裝置13執行的神經網路運算期間產生的特徵圖、以及所述神經網路運算所需的權重圖及相關聯資訊（例如，增益）。
在下文中，用語“增益”統指賦予由卷積層產生的原始特徵圖的值及/或資料。在一些實施例中，增益可包括通過由增益乘法器對原始特徵圖進行乘法運算而獲得的增益值、或者增益內核（gain kernel）中所包含的增益內核值。
可使用DRAM及/或SRAM中的一者或多者以各種方式實現記憶體14。作為另一選擇或另外，記憶體14可包括至少一個非揮發性記憶體，例如唯讀記憶體（read-only memory，ROM）、可程式設計ROM（programmable ROM，PROM）、電可程式設計ROM（electrically programmable ROM，EPROM）、電可擦除可程式設計ROM（electrically erasable and programmable ROM，EEPROM）、快閃記憶體記憶體、相變RAM（phase-change RAM，PRAM）、磁性RAM（magnetic RAM，MRAM）、電阻性RAM（resistive RAM，RRAM）、及/或鐵電性RAM（ferroelectric RAM，FRAM）。在一些實施例中，記憶體14可包括以下中的至少一者：硬碟驅動器（hard disk drive，HDD）、固態驅動器（solid-state drive，SSD）、壓縮快閃記憶體（compact flash，CF）、安全數位（secure digital，SD）、微型安全數位（micro secure digital，micro-SD）、小型SD（mini-SD）卡、極速數位（extreme digital，xD）、或儲存棒（memory stick）。
感測器模組15可用於收集與電子系統10（或併入有電子系統10的主機裝置）和被成像物體的距離或電子系統10接近被成像物體相關聯的資訊。就這點來說，感測器模組15可用於感測圖像信號或接收外部產生的圖像信號，並將所感測或所接收的圖像信號轉換成圖像資料（例如，圖像幀資料）。為此，感測器模組15可包括一個或多個感測裝置，例如光學成像裝置及/或電成像裝置、光學圖像感測器及/或電圖像感測器、光檢測與測距（light detection and ranging，LIDAR）感測器、超聲波感測器、紅外（infrared，IR）感測器等。
在某些實施例中，感測器模組15可將輸入資料（例如，圖像幀資料）提供到神經網路裝置13。舉例來說，感測器模組15可用於捕獲從電子系統10的周圍環境選擇的圖像並將對應的輸入資料提供到神經網路裝置13。
圖3是在一個實例（300）中進一步示出圖1所示神經網路裝置13的方塊圖。
神經網路裝置300可包括層單元310、增益單元320、特徵加法器330及重構層340。層單元310可包括第一層310_1至第N層310_N。增益單元320可包括第一增益乘法器321_1至第N增益乘法器321_N。可將第一層310_1至第N層310_N中的至少一些層實現為卷積層或池化層。可將重構層340實現為卷積層。在下文中，將闡述其中第一層310_1至第N層310_N為卷積層的情形。然而，可在各種卷積層之間或代替各種卷積層而設置各種其他層，例如池化層。
關於圖3所示出的實例，輸入資料被接收為輸入圖像21。輸入圖像21可為從記憶體（例如，圖1所示記憶體14）或感測器（例如，圖1所示感測器模組15）載入到神經網路裝置300的圖像資料。假設輸入圖像21包含通常與光學成像相關聯的類型的雜訊。此種類型的圖像雜訊可由可能在被成像物體與成像感測器之間存在的各種非預期的或干擾性的物體引起。作為另一選擇或另外，干擾性物體可包括霧、塵埃、煙、圖像感測器的表面上的污點。不管干擾性物體的具體形式如何，干擾性物體均引起圖像雜訊，且圖像雜訊使輸入圖像21的解析度降級。具體來說，圖像雜訊可與被成像物體的一部分（例如，炫目或反射性的）相關聯，或者圖像雜訊可為物體周圍的環境（例如，天氣）的一般狀況。
神經網路裝置300可被實現成執行與以下相關聯的各種操作：接收輸入圖像21、從輸入圖像21移除不需要的圖像雜訊、及產生對應的輸出圖像22。
神經網路裝置300可使用層單元310產生包含輸入圖像21的特徵值的特徵圖。根據一個實施例，神經網路裝置300可在第一層310_1處將輸入圖像21與第一權重圖進行卷積運算，並產生第一原始特徵圖RFM_1。神經網路裝置300可將所產生的第一原始特徵圖RFM_1輸入到第二層310_2。隨後，神經網路裝置300可在第i+1層處將第i原始特徵圖與第i+1權重圖進行卷積運算，並將第i+1原始特徵圖提供到第i+2層。如下文中所使用，值‘i’是正整數（即，i = 1、2、3、...）。舉例來說，神經網路裝置300可在第二層310_2處將第一原始特徵圖RFM_1與第二權重圖進行卷積運算，並將第二原始特徵圖RFM_2提供到第三層310_3。
根據另一實施例，神經網路裝置300可將在第一層310_1處產生的第一原始特徵圖RFM_1提供到第二層310_2，並將基於第一原始特徵圖RFM_1的第一輸出特徵圖OFM_1提供到特徵加法器330。
此處，神經網路裝置300可使用層單元310中所包括的第一層310_1至第N層310_N來處理輸入圖像21的一個或多個特性。作為實例，神經網路裝置300可在第一層310_1至第N層310_N處處理輸入圖像21中所包含的各種頻率資料。神經網路裝置300可在第一層310_1處處理具有高頻率範圍的資料，並增大輸入圖像21的至少一個區域的解析度。作為另一選擇或另外，神經網路裝置300可在第二層310_2處處理具有低頻率範圍的資料，並使輸入圖像21的至少一個區域柔化（soften）。
作為另一選擇，神經網路裝置300可在每一層處調整各種圖像參數值，例如色度、色溫、對比度、亮度及伽馬值。舉例來說，神經網路裝置300可在每一層處處理與不同圖像參數相關的資料，並在每一層處的不同層級處處理與同一圖像參數（例如，色溫）相關的資料。也就是說，神經網路裝置300可在第一層310_1處處理圖像的對比度，並在第二層310_2處處理圖像的色度。神經網路裝置300還可在第一層310_1處比在第二層310_2處處理具有更高色溫的資料。
神經網路裝置300可對第一原始特徵圖RFM_1應用第一增益值G_1並產生第一輸出特徵圖OFM_1。舉例來說，第一增益乘法器321_1可接收第一原始特徵圖RFM_1，將第一原始特徵圖RFM_1與第一增益值G_1相乘，並輸出第一輸出特徵圖OFM_1。
也就是說，神經網路裝置300可通過與第i原始特徵圖對應的增益來對第i原始特徵圖執行運算，並產生第i輸出特徵圖。在此種情形中，第i+1原始特徵圖可為通過將第i原始特徵圖與第i權重圖進行卷積運算而獲得的特徵圖。通過對特定原始特徵圖RFM應用對應的增益，可反映出產生原始特徵圖RFM的每一層的特性。也就是說，對每一原始特徵圖RFM應用的增益可根據所述原始特徵圖RFM而為不同的，可使用增益來強調一些層的特性，而可使用一些其他增益來減弱一些其他層的特性。例如，為比第二層310_2的特性更重地強調第一層310_1的特性，與第一原始特徵圖RFM_1相乘的第一增益值G_1可大於第二增益值G_2。可將增益與原始特徵圖RFM中所包含的多個特徵值相乘，以產生輸出特徵圖OFM。舉例來說，增益值可為實數值。由於第一增益值G_1至第N增益值G_N中的至少一些增益值具有不同的實數值，因此第一原始特徵圖RFM_1至第N原始特徵圖RFM_N的特性可被不同程度地強調。
將參照圖4以一些額外細節來闡述增益單元320的另一實例。不同於圖3中所示出的實施例，增益單元320可包括第一增益內核322_1至第N增益內核322_N。因此，神經網路裝置300可對第i原始特徵圖與第i增益內核執行運算，並產生第i輸出特徵圖。
根據實施例，神經網路裝置300可將第一原始特徵圖RFM_1與第一增益內核322_1進行卷積運算，並產生第一輸出特徵圖OFM_1。可將第一增益內核322_1至第N增益內核322_N實現為矩陣形式。
在此種情形中，第i增益內核可對應於第i原始特徵圖的矩陣大小。舉例來說，可將第一增益內核322_1實現為與第一原始特徵圖RFM_1的大小對應的矩陣。作為另一實例，可將第一增益內核322_1實現為大小比第一原始特徵圖RFM_1小的矩陣。神經網路裝置300可將第一原始特徵圖RFM_1中所包含的多個特徵值與第一增益內核322_1進行卷積運算，並產生第一輸出特徵圖OFM_1。換句話說，神經網路裝置300可將第一原始特徵圖RFM_1中所包含的特徵值與第一增益內核322_1中所包含的增益內核值進行卷積運算，並產生第一輸出特徵圖OFM_1中所包含的特徵值。
在某些實施例中，“增益”將為可由神經網路裝置300學習的值。具體來說，以上參照圖3所述的第一增益值G_1至第N增益值G_N可為可學習的值。此外，圖4所示的第一增益內核322_1至第N增益內核322_N中所包含的增益內核值可為可學習的值。因此，增益內核322_1至322_N可為可學習的矩陣。
舉例來說，在由神經網路裝置300執行的學習過程期間，神經網路裝置300可連續地學習第一增益值G_1至第N增益值G_N及第一增益內核322_1至第N增益內核322_N，以從輸入圖像21移除雜訊。可學習第一增益值G_1至第N增益值G_N及第一增益內核322_1至第N增益內核322_N來作為用於從輸入圖像21移除雜訊的最優值。為實現神經網路裝置300，可使用所接收的多對輸入圖像21與輸出圖像22來學習第一增益值G_1至第N增益值G_N或第一增益內核322_1至第N增益內核322_N。在此種情形中，所述多對輸入圖像21與輸出圖像22可由使用者提供、或者通過網路服務而接收、或者由先前所儲存的圖像配對而成。
同時，可將以上參照圖3及圖4所述的增益單元320實現為可學習的值或預設值。舉例來說，可將增益單元320中所包含的第一增益值G_1至第N增益值G_N或第一增益內核322_1至第N增益內核322_N實現為預設值。
返回參照圖3，神經網路裝置300可從可被級聯連接（cascade-connected）的第一層310_1至第N層310_N中的一些或全部產生第一原始特徵圖RFM_1至第N原始特徵圖RFM_N。
作為實例，神經網路裝置300可僅從可被級聯連接的第一層310_1至第N層310_N中的一些層產生原始特徵圖。可使用各層中的僅一些層來進行計算，以降低置於神經網路裝置300上的計算負載。在此種情形中，神經網路裝置300可產生與在一些層處產生的原始特徵圖對應的輸出特徵圖。也就是說，神經網路裝置300可僅產生第一輸出特徵圖OFM_1至第N輸出特徵圖OFM_N中與原始特徵圖對應的輸出特徵圖。
作為另一實例，神經網路裝置300可從可被級聯連接的所有第一層310_1至第N層310_N產生原始特徵圖。因此，神經網路裝置300可對增益單元320應用第一原始特徵圖RFM_1至第N原始特徵圖RFM_N，並產生第一輸出特徵圖OFM_1至第N輸出特徵圖OFM_N。
作為另一實例，神經網路裝置300可僅產生一些輸出特徵圖。神經網路裝置300可從可被級聯連接的所有第一層310_1至第N層310_N產生原始特徵圖。在此種情形中，神經網路裝置300可僅使用增益單元320中所包含的一些增益乘法器或一些增益內核來產生輸出特徵圖。神經網路裝置300可控制增益單元320將一些增益值調整為0或將一些增益內核調整為0。舉例來說，神經網路裝置300可將除基於第N層310_N而產生的第N輸出特徵圖OFM_N之外的第一輸出特徵圖OFM_1至第N-1輸出特徵圖OFM_N-1的特徵值調整為0。
神經網路裝置300可用於使用特徵加法器330來對第一輸出特徵圖OFM_1至第N輸出特徵圖OFM_N進行求和。作為實例，當第一輸出特徵圖OFM_1至第N輸出特徵圖OFM_N具有相同大小時，神經網路裝置300可使用特徵加法器330對輸出特徵圖OFM_1至OFM_N進行求和。作為另一實例，輸出特徵圖OFM_1至OFM_N可具有不同的矩陣大小。在此種情形中，神經網路裝置300可對具有不同大小的輸出特徵圖OFM_1至OFM_N的平均值進行求和。作為另一選擇，神經網路裝置300可執行縮小（downsizing）運算，以將輸出特徵圖OFM_1至OFM_N的矩陣大小調整成具有最小矩陣大小的輸出特徵圖。作為另一選擇，神經網路裝置300可執行增大（upsizing）運算，以將輸出特徵圖OFM_1至OFM_N的矩陣大小調整為具有最大矩陣大小的輸出特徵圖。
另外，神經網路裝置300可使用各種方法來對輸出特徵圖OFM_1至OFM_N進行求和，例如，將相應輸出特徵圖OFM_1至OFM_N的與同一列、行及深度對應的特徵值相加並在求和過程中忽略具有不同矩陣大小的部分的方法。也就是說，神經網路裝置300可使用用於反映輸出特徵圖OFM_1至OFM_N的特徵值的各種方法來對輸出特徵圖OFM_1至OFM_N進行求和。
神經網路裝置300可將由特徵加法器330產生的求和後的特徵圖（summed feature map）SFM提供到重構層340。重構層340可將求和後的特徵圖SFM重構成輸出圖像22。也就是說，重構層340可為被配置以再次將特徵圖重構成圖像資料類型的各類層。舉例來說，可將重構層340實現為卷積層。
神經網路裝置300可使用增益單元320對由層單元310中所包括的第一層310_1至第N層310_N輸出的結果中的每一者應用增益，並控制由相應層310_1至310_N輸出的特徵值。可學習所述增益來作為使輸入圖像21的雜訊最小化的最優增益。因此，神經網路裝置300可有效地用於基於與層310_1至310_N相關聯的所有特性而從輸入圖像21移除雜訊。
圖5A是針對使用增益乘法器（例如，圖3）的實施例進一步示出神經網路裝置300的運算的概念圖，且圖5B是進一步示出使用增益內核（例如，圖4）的神經網路裝置300的運算的另一概念圖。
參照圖5A，神經網路裝置300可對第一原始特徵圖RFM_1應用第一增益值G_1，並產生第一輸出特徵圖OFM_1。舉例來說，第一增益值G_1可為第一增益矩陣GM_1中所包含的值。神經網路裝置300還可將第一權重圖WM_1與第一原始特徵圖RFM_1進行卷積運算，並產生第二原始特徵圖RFM_2。
根據實施例，增益乘法器321可將第一原始特徵圖RFM_1與第一增益值G_1相乘並產生第一輸出特徵圖OFM_1。第一增益矩陣GM_1可具有與第一原始特徵圖RFM_1的那些在數值上相等的列H、行W及深度D。可將第一增益矩陣GM_1實現為通過將單位矩陣與第一增益值G_1相乘而獲得的形狀，如圖5A中所示。類似於第一增益矩陣GM_1，也可將第二增益矩陣GM_2實現為通過將單位矩陣與第二增益值G_2相乘而獲得的形狀。也就是說，可將第i增益矩陣實現為通過將單位矩陣與第i增益值相乘而獲得的形狀。
神經網路裝置300可根據增益矩陣GM中所包含的增益值來增大或減小原始特徵圖RFM中所包含的特徵值，並產生輸出特徵圖OFM。神經網路裝置300可使用特徵加法器330對多個輸出特徵圖OFM進行求和，並產生求和後的特徵圖SFM，且使用重構層340將求和後的特徵圖SFM重構成輸出圖像22。
參照圖5B，神經網路裝置300可對第一原始特徵圖RFM_1應用第一增益內核322_1，並產生第一輸出特徵圖OFM_1。第一增益內核322_1的列及行可分別等於或小於第一原始特徵圖RFM_1的列及行，且第一增益內核322_1的深度可等於第一原始特徵圖RFM_1的深度。神經網路裝置300也可將第一權重圖WM_1與第一原始特徵圖RFM_1進行卷積運算，並產生第二原始特徵圖RFM_2。
在圖5B中所示出的實施例中，神經網路裝置300可將第一原始特徵圖RFM_1與第一增益內核322_1進行卷積運算，並產生第一輸出特徵圖OFM_1。神經網路裝置300可以如下方式執行移位元及卷積運算：根據預定步幅（predetermined stride）使用第一原始特徵圖RFM_1作為滑動窗來使第一增益內核322_1橫移。此處，第一增益內核322_1可包含呈矩陣形式的多個增益內核值。第一增益內核322_1中所包含的增益內核值可為參照多對輸入圖像與輸出圖像而學習的值。隨後，使用特徵加法器330及重構層340來產生輸出圖像22的過程可與參照圖5A所述的過程相同或類似，且因此，將不再對此予以贅述。
圖6是在另一實例中進一步示出圖1所示神經網路裝置13的方塊圖。
參照圖6，神經網路裝置13可包括處理器40、控制器50及記憶體60。處理器40可包括多個處理電路41及記憶體42。另外，神經網路裝置13可進一步包括直接記憶體存取（direct memory access，DMA）控制器，以將資料儲存在外部記憶體中。雖然圖6示出其中神經網路裝置13包括一個處理器40的實例，然而本發明概念並非僅限於此，且神經網路裝置13可包括數個處理器40。
在某些實施例中，可將處理器40實現為硬體電路。因此，可將神經網路裝置13實現為單個半導體晶片（例如，SoC）。作為另一選擇，可將神經網路裝置13實現為多個經互連的半導體晶片。在以下說明中，處理器40中所包括的記憶體42將被稱為第一記憶體42，且處理器40外部的記憶體60將被稱為第二記憶體60。
控制器50可被實現為CPU或微處理器（microprocessor，MP），且可用於控制神經網路裝置13的整體操作。控制器50可設定及管理神經網路運算參數，使得處理器40可正常執行神經網路的各層的運算。另外，控制器50可基於神經網路裝置13的管理策略來控制所述多個處理電路41高效地運行，且可控制資料在處理器40內/外的元件之間的輸入/輸出及操作流程。
舉例來說，控制器50可載入於所述多個處理電路41中的一個處理電路中，以對第一記憶體42或第二記憶體60中所儲存的原始特徵圖RFM_1至RFM_N中的一個原始特徵圖及與所述一個原始特徵圖對應的增益進行計算。控制器50可控制處理電路產生第一輸出特徵圖OFM_1至第N輸出特徵圖OFM_N，對所有第一輸出特徵圖OFM_1至第N輸出特徵圖OFM_N進行求和，產生求和後的特徵圖SFM，並產生與求和後的特徵圖SFM對應的輸出圖像22。
在實施例中，可將與控制器50的上述運算相關的演算法實現為儲存在記憶體（例如，第二記憶體60）中並由上述CPU或MP執行的軟體或韌體。
所述多個處理電路41可通過控制器50的控制而執行被分配的運算。所述多個處理電路41可被實現成同時並行地運行。此外，相應的處理電路41可獨立地運行。舉例來說，可將處理電路41中的每一者實現為能夠執行指令的核心電路。處理電路41可根據以上參照圖1、圖2、圖3、圖4、圖5A及圖5B所述的神經網路系統的運算方法來執行神經網路運算。
第一記憶體42可為處理器40的嵌入式記憶體且為SRAM。然而，本發明概念並非僅限於此，且可將第一記憶體42實現為處理器40的簡單緩衝器（simple buffer）、高速緩衝記憶體、或另一類記憶體（例如DRAM）。第一記憶體42可儲存因由所述多個處理電路41執行的運算而產生的資料，例如，在運算過程期間產生的特徵圖或各類的多條資料。第一記憶體42可為所述多個處理電路41的共用記憶體。
可將第二記憶體60實現為RAM，例如，DRAM或SRAM。然而，本發明概念並非僅限於此，且可將第二記憶體60實現為非揮發性記憶體。第二記憶體60可儲存各種程式及資料。第二記憶體60可由主機處理器（例如，圖1中的CPU 11）或另一外部裝置存取。在實施例中，第二記憶體60的資料儲存容量可大於第一記憶體42的資料儲存容量。在實施例中，第一記憶體42的存取等待時間可小於第二記憶體60的存取等待時間。
圖7是在另一實例中進一步示出根據實施例的圖1所示電子系統10及由神經網路裝置13執行的學習操作的方塊圖。
參照圖7，電子系統10可包括資料獲得單元81、模型學習單元82及模型估計單元83。
電子系統10可學習用於確定輸入圖像21中的雜訊部分的準則。此外，電子系統10可學習用於產生通過從輸入圖像21移除雜訊而獲得的輸出圖像22的準則。為此，電子系統10可學習分別與第一原始特徵圖RFM_1至第N原始特徵圖RFM_N對應的增益。舉例來說，電子系統10可學習增益矩陣或增益內核並學習增益矩陣或增益內核中所包含的值（例如，增益值或增益內核值）。電子系統10可獲得待用於學習的資料（在下文中，稱為學習資料），對模型學習單元82應用學習資料，並學習用於確定情景的準則。
資料獲得單元81可獲得學習資料，例如，成對的輸入圖像21與輸出圖像22。舉例來說，資料獲得單元81可接收通過在雜訊情景（例如，霧天）中捕獲被攝體的圖像而獲得的輸入圖像21、以及通過在無雜訊情景（例如，晴天）中捕獲被攝體的圖像而獲得的輸出圖像22。也就是說，資料獲得單元81可獲得通過在不同的環境中捕獲類似的被攝體的圖像而獲得的成對的輸入圖像21與輸出圖像22。
可將資料獲得單元81實現為一個或多個I/O介面。舉例來說，可由感測器模組15捕獲成對的輸入圖像21與輸出圖像22。在此種情形中，資料獲得單元81可從感測器模組15獲得圖像。此外，成對的輸入圖像21與輸出圖像22可為記憶體中所儲存的圖像。在此種情形中，資料獲得單元81可從記憶體14、第一記憶體42及第二記憶體60中的至少一者獲得圖像。此外，所述成對的輸入圖像21與輸出圖像22可為從外部裝置及/或伺服器接收的圖像。在此種情形中，資料獲得單元81可從各種通信模組（例如收發器）獲得圖像。
模型學習單元82可基於學習資料來學習用於確定輸入圖像21的雜訊並移除所述雜訊的準則。模型學習單元82可學習增益來作為移除雜訊的最優值。舉例來說，模型學習單元82可比第二原始特徵圖RFM_2的特徵值更重地強調第一原始特徵圖RFM_1的特徵值，以從輸入圖像21移除雜訊。經強調的特徵值可在求和後的特徵圖SFM中比其它特徵值顯得更加突出且實現預定目標（例如雜訊降低）。為此，模型學習單元82可對多個增益進行不同程度的學習。作為實例，模型學習單元82對與在第一層310_1處產生的第一原始特徵圖RFM_1對應的第一增益（例如，第一增益值G_1或第一增益內核322_1）的學習可不同於對與第二原始特徵圖RFM_2對應的第二增益（例如，第二增益值G_2或第二增益內核322_2）的學習。作為另一實例，模型學習單元82可學習第一增益值G_1及第二增益值G_2，使得第一增益值G_1大於第二增益值G_2。
模型學習單元82可使用各種學習演算法來使神經網路裝置300進行學習。舉例來說，所述學習演算法可包括例如誤差反向傳播（error back-propagation）及梯度下降（gradient descent）等各種演算法。此外，模型學習單元82可通過使用學習資料（例如，多對輸入圖像21與輸出圖像22）作為輸入值進行監督式學習來使神經網路裝置300進行學習。作為另一選擇，模型學習單元82可通過使用通過輸入圖像21與輸出圖像22之間的比較而得到的關於是否已從輸入圖像21適當地移除雜訊的回饋進行強化學習來使神經網路裝置300進行學習。
如上所述，模型學習單元82可將所學習的資料（例如，第一增益值G_1至第N增益值G_N、第一增益矩陣GM_1至第N增益矩陣GM_N及第一增益內核GK_1至第N增益內核GK_N中的至少一者）儲存在電子系統10的記憶體中。電子系統10的記憶體可包括記憶體14、第一記憶體42及第二記憶體60中的至少一者。此外，模型學習單元82可將經過學習的神經網路裝置300以及神經網路裝置300中所包含的資料及參數儲存在記憶體中。
模型估計單元83可將估計資料登錄到神經網路裝置300，並在根據所述估計資料而輸出的資料不滿足預定準則時使模型學習單元82能夠再次學習。在此種情形中，所述估計資料可為用於估計神經網路裝置300的預設資料（例如，圖像資料）。
舉例來說，當輸入圖像21的雜訊剩餘區域（noise-remaining region）對幀的比率超過預定臨界值時，模型估計單元83可估計出被輸入了估計資料的經過學習的神經網路裝置300的輸出資料不滿足預定準則。
同時，資料獲得單元81、模型學習單元82及模型估計單元83中的至少一者可被製造為至少一個硬體晶片的類型且安裝在電子系統10中。例如，資料獲得單元81、模型學習單元82及模型估計單元83中的至少一者可被製造為專用於人工智慧（artificial intelligence，AI）的硬體晶片或者專用於神經網路運算的硬體晶片（例如，神經元處理器（neuronal processing unit，NPU））的類型、或者被製造為現有通用處理器（例如，CPU或應用處理器）或圖形專用處理器（例如，圖形處理器（graphics processing unit，GPU））的一部分，並安裝在各種電子裝置中。
此外，資料獲得單元81、模型學習單元82及模型估計單元83可安裝在一個電子系統10中或分別安裝在單獨的電子裝置中。舉例來說，資料獲得單元81、模型學習單元82及模型估計單元83中的一些單元可包含於電子系統10中，且其餘的單元可包含於伺服器中。
另外，可將資料獲得單元81、模型學習單元82及模型估計單元83中的至少一者實現為軟體模組。當將資料獲得單元81、模型學習單元82及模型估計單元83中的至少一者實現為軟體模組（或包含指令的程式模組）時，所述軟體模組可儲存在非暫時性電腦可讀記錄媒體中。在此種情形中，至少一個軟體模組可由OS或預定應用提供。作為另一選擇，至少一個軟體模組中的一些軟體模組可由OS提供，且其餘軟體模組可由預定應用提供。
圖8A、圖8B及圖8C分別是進一步示出從輸入圖像移除雜訊以產生對應輸出圖像的可能效果的圖。此處，在圖8A、圖8B及圖8C所示的第一輸入圖像21a、第二輸入圖像21b及第三輸入圖像21c中顯而易見的各種圖像雜訊91、92及93可為圖像幀中各種圖像參數（例如，解析度、亮度、色度及RGB值）出現變化的至少局部圖像區域。
圖8A示出其中在緊密靠近成像感測器（例如，照相機鏡頭）處存在小尺寸的非預期物體（例如，照相機鏡頭上的小塵埃或指紋）的情景。在此種情形中，雜訊91可以以不規則的形式出現在第一輸入圖像21a的所選區域中。
圖8B示出其中在預期物體與成像感測器（例如，照相機鏡頭）之間距成像感測器比距物體稍微更近處存在非預期物體（例如，圍欄金屬絲）的情景。在此種情形中，可出現具有圖案化形狀的雜訊92。舉例來說，當照相機鏡頭被設置成距圍欄金屬絲比距預期物體更近時，照相機鏡頭的焦點可固定在物體上，然而所捕獲的圖像可包含與圍欄相關聯的前方蔭蔽雜訊（foreshadowing noise）。
圖8C示出其中在預期物體周圍存在分散式非預期物體（例如，濃煙或濃霧）的情景。此種情景往往使所捕獲的圖像模糊（或發生顏色偏斜），這是因為跨越圖像廣泛地包含雜訊93。
這些情景僅為由接近預期物體的各種類型的非預期物體引起的圖像雜訊的所選實例（例如，91、92、93）。然而，可使用像以上所述的包括神經網路裝置13/300的實施例一樣的實施例來從輸入圖像21有效地移除此種雜訊並產生經改善的輸出圖像22。
根據實施例，可使用成對的輸入圖像與輸出圖像（例如一對第一輸入圖像21a與輸出圖像22、一對第二輸入圖像21b與輸出圖像22及一對第三輸入圖像21c與輸出圖像22）來使神經網路裝置300進行學習。舉例來說，可學習增益值G_1至G_N、增益矩陣GM_1至GM_N及增益內核GK_1至GK_N中的至少一者。
圖9是在一個實施例中概述操作像以上參照圖1、圖3、圖4、圖6及圖7所述的電子系統一樣的電子系統的方法的流程圖。在下文，將關於圖1所示實施例來闡述示例性操作方法。
在操作S710中，神經網路裝置13可使用第一層310_1接收輸入圖像並將第一原始特徵圖RFM_1提供到第二層310_2。
在操作S720中，神經網路裝置13可使用第x層對第x-1原始特徵圖進行卷積運算並產生第x原始特徵圖。此處，x的初始值可為2。換句話說，神經網路裝置13可使用第二層310_2將第一原始特徵圖RFM_1與第一權重圖進行卷積運算並產生第二原始特徵圖RFM_2。
在操作S730中，神經網路裝置13可將第x原始特徵圖提供到第x+1層，對第x原始特徵圖應用第x增益並儲存第x輸出特徵圖。舉例來說，神經網路裝置13可將第二原始特徵圖RFM_2提供到第三層310_3，對第二原始特徵圖RFM_2應用與第二原始特徵圖RFM_2對應的第二增益，並產生第二輸出特徵圖OFM_2。
在執行操作S720及S730之後，神經網路裝置13可重複操作S720及S730，以產生後續輸出特徵圖，例如第三輸出特徵圖及第四輸出特徵圖。也就是說，神經網路裝置13可重複地執行操作S720及S730，直至產生第N輸出特徵圖OFM_N為止。
在操作S740中，神經網路裝置13可使用第N層310_N對第N原始特徵圖RFM_N應用第N增益並產生第N輸出特徵圖OFM_N。在此種情形中，第一層310_1至第N層310_N可被級聯連接。由於以上參照圖3詳細闡述了第一層310_1至第N層310_N的級聯連接，因此不再對此予以贅述。
根據實施例，神經網路裝置13可通過以1為增量將x從2增大至N-1（N為多個層的數目）而重複地執行操作S720及S730，且執行操作S740。因此，神經網路裝置13可產生第一輸出特徵圖OFM_1至第N輸出特徵圖OFM_N。
根據另一實施例，神經網路裝置13可只有當x是2至N-1的某一值時才執行操作S720及S730，且可不執行操作S740。當不執行操作S740時，神經網路裝置13可在執行操作S730之後執行操作S750。舉例來說，神經網路裝置13可產生第一輸出特徵圖OFM_1至第N輸出特徵圖OFM_N中的僅一些輸出特徵圖，例如第一輸出特徵圖、第四輸出特徵圖及第六輸出特徵圖。
在操作S750中，神經網路裝置13可對所產生的輸出特徵圖進行求和並產生求和後的特徵圖SFM。舉例來說，求和後的特徵圖SFM可為其中通過增益有區別地反映相應各層的特性的特徵圖。
在操作S760中，神經網路裝置13可將求和後的特徵圖SFM重構成輸出圖像22。作為實例，神經網路裝置13可使用重構層340將求和後的特徵圖SFM重構成輸出圖像22。重構層340可為卷積層，且被實現為可將特徵圖重構成圖像資料形式的各種層。
在以上說明及附圖中公開了本發明概念的典型示例性實施例。雖然採用了具體用語，然而所述用語應僅以一般性及說明性意義而非出於限制目的來加以使用。所屬領域中的普通技術人員應理解，可在不背離由以上申請專利範圍書界定的本發明概念的精神及範圍的條件下對所公開的實施例作出形式及細節上的各種改變。
10:電子系統 11:中央處理器 12:隨機存取記憶體 13:神經網路裝置 14:記憶體 15:感測器模組 16:匯流排 21、21a、21b、21c:輸入圖像 22:輸出圖像 40:處理器 41:處理電路 42、60:記憶體 50:控制器 81:資料獲得單元 82:模型學習單元 83:模型估計單元 91、92、93:圖像雜訊 300:神經網路裝置 310:層單元 310_1～310_N:層 320:增益單元 321_1～321_N:增益乘法器 322_1～322_N:增益內核 330:特徵加法器 340:重構層 D:深度 FM1～FM3:特徵圖 GM_1～GM_2:增益矩陣 H:高度 L1、L2:層 NN:神經網路 OFM_1～OFM_N:輸出特徵圖 PW:池化窗 RFM_1～RFM_N:原始特徵圖 SFM:求和後的特徵圖 S710～S760:操作 W:寬度 WM、WM1、WM2:權重圖
結合附圖閱讀以下詳細說明，將更清晰地理解本發明概念的實施例，附圖中： 圖1是根據實施例的電子系統的方塊圖。 圖2是神經網路結構的實例的圖。 圖3是根據實施例的神經網路裝置的方塊圖。 圖4是根據實施例的增益單元的圖。 圖5A是根據實施例使用增益乘法器的神經網路裝置的圖。 圖5B是根據實施例使用增益內核的神經網路裝置的圖。 圖6是根據實施例的神經網路裝置的方塊圖。 圖7是根據實施例學習神經網路裝置的操作的方塊圖。 圖8A、圖8B及圖8C是用於解釋輸入圖像以及通過移除所述輸入圖像中的雜訊而獲得的輸出圖像的圖。 圖9是根據實施例操作電子系統的方法的流程圖。
21:輸入圖像
22:輸出圖像
300:神經網路裝置
310:層單元
310_1~310_N:層
320:增益單元
321_1~321_N:增益乘法器
330:特徵加法器
340:重構層
RFM_1~RFM_N:原始特徵圖
OFM_1~OFM_N:輸出特徵圖
SFM:求和後的特徵圖

Claims (10)

  1. 一種接收輸入資料並產生輸出資料的電子系統，所述電子系統包括： 神經網路裝置，包括多個層，所述神經網路裝置進一步包括處理器， 其中所述處理器被配置以在所述多個層中的每一者處產生多個原始特徵圖，應用與所述多個原始特徵圖中的每一者對應的增益以產生多個輸出特徵圖，並使用圖像重構層通過對所述多個輸出特徵圖進行求和來產生所述輸出資料；以及 記憶體，儲存分別與所述多個層中的每一者對應的多個增益。
  2. 如申請專利範圍第1項所述的電子系統，其中所述多個層包括N個層，所述N個層包括依序級聯連接的第一層至第N層，其中所述N個層中的第i層將第i原始特徵圖提供到所述N個層中的第i+1層，且 對所述第i原始特徵圖應用與所述N個層中的第i層對應的第i增益， 其中i是從1至N不等的整數。
  3. 如申請專利範圍第1項所述的電子系統，其中所述處理器將通過對所述多個輸出特徵圖進行求和而獲得的求和後的特徵圖提供到所述圖像重構層，且所述圖像重構層提供所述輸出資料。
  4. 如申請專利範圍第1項所述的電子系統，其中所述輸入資料是由圖像感測器捕獲的圖像資料且包含物體及雜訊，並且所述輸出資料是通過從輸入圖像移除所述雜訊而獲得的輸出圖像。
  5. 如申請專利範圍第1項所述的電子系統，其中所述處理器進一步被配置以基於一對的輸入圖像與輸出圖像來學習所述多個增益中的增益並將所學習的所述增益儲存在所述記憶體中。
  6. 如申請專利範圍第5項所述的電子系統，其中對所學習的所述增益進行學習，以強化由與所述增益對應的層輸出的特徵圖的特徵值。
  7. 如申請專利範圍第1項所述的電子系統，其中所述增益被實現為增益內核，且 所述多個輸出特徵圖是基於所述原始特徵圖及與所述原始特徵圖對應的所述增益內核而產生。
  8. 一種記錄有用於使用神經網路裝置從輸入圖像產生輸出圖像的程式的非暫時性電腦可讀記錄媒體，所述程式包括： 接收所述輸入圖像； 基於所述輸入圖像而從被級聯連接的卷積層中的一些或全部產生多個原始特徵圖； 應用與所產生的所述多個原始特徵圖中的每一者對應的增益，並產生多個輸出特徵圖；以及 基於所述多個輸出特徵圖產生所述輸出圖像， 其中所述增益是通過學習演算法而學習且在所述程式被執行時加以更新。
  9. 如申請專利範圍第8項所述的非暫時性電腦可讀記錄媒體，其中所述程式進一步包括： 將從第x-1卷積層接收的第x-1原始特徵圖與第x權重圖進行卷積運算； 產生第x原始特徵圖；以及 將所述第x原始特徵圖提供到第x+1卷積層，其中所述卷積運算、產生及提供是由第x卷積層執行，且x是大於1的整數。
  10. 如申請專利範圍第8項所述的非暫時性電腦可讀記錄媒體，其中所述被級聯連接的卷積層包括N個卷積層，所述N個卷積層包括第一卷積層至第N卷積層，其中N是大於1的整數， 所述產生所述多個原始特徵圖包括從所有所述被級聯連接的卷積層產生所述多個原始特徵圖，且 除基於所述第N卷積層而產生的第N輸出特徵圖之外的第一輸出特徵圖至第N-1輸出特徵圖的特徵值均為0。
TW108136405A 2018-10-10 2019-10-08 電子系統以及非暫時性電腦可讀記錄媒體 TW202014934A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0120611 2018-10-10
KR1020180120611A KR20200040550A (ko) 2018-10-10 2018-10-10 뉴럴 네트워크 연산을 수행하는 장치 및 이의 동작 방법

Publications (1)

Publication Number Publication Date
TW202014934A true TW202014934A (zh) 2020-04-16

Family

ID=70159025

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108136405A TW202014934A (zh) 2018-10-10 2019-10-08 電子系統以及非暫時性電腦可讀記錄媒體

Country Status (4)

Country Link
US (1) US20200118249A1 (zh)
KR (1) KR20200040550A (zh)
CN (1) CN111028158A (zh)
TW (1) TW202014934A (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3629240B1 (en) * 2018-09-07 2023-08-23 Panasonic Intellectual Property Corporation of America Generative adversarial networks for local noise removal from an image
US10970645B1 (en) * 2020-05-08 2021-04-06 StradVision, Inc. Method for explainable active learning, to be used for object detector, by using Bayesian dual autoencoder and active learning device using the same
US20210357730A1 (en) * 2020-05-12 2021-11-18 Alibaba Group Holding Limited Multi-size convolutional layer background
KR102417573B1 (ko) * 2020-05-29 2022-07-06 (주)코셈 인공 지능 학습 데이터를 활용한 전자 현미경
WO2021251614A1 (en) * 2020-06-12 2021-12-16 Samsung Electronics Co., Ltd. Image processing apparatus and method of operating the same
GB2596834A (en) * 2020-07-08 2022-01-12 Continental Automotive Gmbh Mobile robot system and method for moving a mobile robot to a destination location
CN114343665B (zh) * 2021-12-31 2022-11-25 贵州省人民医院 一种基于图卷积空时特征融合选择的心律失常识别方法

Also Published As

Publication number Publication date
KR20200040550A (ko) 2020-04-20
US20200118249A1 (en) 2020-04-16
CN111028158A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
TW202014934A (zh) 電子系統以及非暫時性電腦可讀記錄媒體
US11074474B2 (en) Apparatus for performing neural network operation and method of operating the same
US20220261615A1 (en) Neural network devices and methods of operating the same
US12008797B2 (en) Image segmentation method and image processing apparatus
US11849226B2 (en) Image processing device including neural network processor and operating method thereof
CN111914997B (zh) 训练神经网络的方法、图像处理方法及装置
US20200364567A1 (en) Neural network device for selecting action corresponding to current state based on gaussian value distribution and action selecting method using the neural network device
TWI834729B (zh) 神經網路處理器及其卷積操作方法
US20200175338A1 (en) Processing input data in a convolutional neural network
US20230289601A1 (en) Integrated circuit that extracts data, neural network processor including the integrated circuit, and neural network
US20200342285A1 (en) Data processing using a neural network system
US11537438B2 (en) Information processing apparatus, information processing method, and storage medium for efficient storage of kernels of various sizes
US20200356844A1 (en) Neural network processor for compressing featuremap data and computing system including the same
US10878592B2 (en) Video data processing
Doner et al. FPGA-based infrared image deblurring using angular position of IR detector
US11943557B2 (en) Image sensor module, image processing system, and operating method of image sensor module
KR20200132660A (ko) 가우시안 가치 분포에 기초하여 현재 상태에 대한 행동을 선택하는 뉴럴 네트워크 장치 및 이를 이용하는 행동 선택 방법
KR20240039394A (ko) 영상 처리 장치, 그것을 갖는 전자 장치, 그것의 동작 방법
WO2023140869A1 (en) Method and apparatus for quantizing an output feature map using an activation function
AlDahoul et al. An FPGA based Embedded Vision System for Real-Time Motion Detection