TW202042119A - 用於辨識裝置的人工神經網路正規化系統 - Google Patents

用於辨識裝置的人工神經網路正規化系統 Download PDF

Info

Publication number
TW202042119A
TW202042119A TW108115000A TW108115000A TW202042119A TW 202042119 A TW202042119 A TW 202042119A TW 108115000 A TW108115000 A TW 108115000A TW 108115000 A TW108115000 A TW 108115000A TW 202042119 A TW202042119 A TW 202042119A
Authority
TW
Taiwan
Prior art keywords
inference block
neural network
inference
block
output
Prior art date
Application number
TW108115000A
Other languages
English (en)
Inventor
劉子瑄
謝明得
Original Assignee
財團法人成大研究發展基金會
奇景光電股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人成大研究發展基金會, 奇景光電股份有限公司 filed Critical 財團法人成大研究發展基金會
Priority to TW108115000A priority Critical patent/TW202042119A/zh
Publication of TW202042119A publication Critical patent/TW202042119A/zh

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

一種用於辨識裝置的人工神經網路正規化系統，包含輸入層，產生影像的初始特徵圖；複數隱藏層，對初始特徵圖進行卷積以產生物件特徵圖；匹配單元，其接收物件特徵圖且執行匹配，以輸出辨識結果。第一推論區塊與第二推論區塊，設於人工神經網路的至少一隱藏層中。於第一模式，開啟第一推論區塊且關閉第二推論區塊，其中第一推論區塊僅接收前一層的第一推論區塊的輸出。於第二模式，開啟第一推論區塊與第二推論區塊，其中第二推論區塊接收前一層的第二推論區塊的輸出與前一層的第一推論區塊的輸出。

Description

用於辨識裝置的人工神經網路正規化系統
本發明係有關一種機器學習，特別是關於一種卷積神經網路(CNN)正規化系統或物件辨識架構。
卷積神經網路(convolutional neural network, CNN)是深層(deep)神經網路的一種，其使用卷積層以過濾輸入，以得到有用資訊。卷積層的濾波器可根據所學習參數進行修改，以萃取得到特定工作的最有用資訊。卷積神經網路普遍用於分類(classification)、偵測及辨識(recognition)，例如影像分類、醫學影像分析及影像/視訊辨識。然而，卷積神經網路的推論(inference)需要大量的記憶體及運算。一般來說，卷積神經網路的模型準確度愈高，則架構愈複雜(亦即，更多記憶體與運算)且功耗愈大。
當低功率終端(end)裝置(例如全時感測器(always-on-sensor, AOS))愈發展，則低複雜度的卷積神經網路的需求愈大。然而，低複雜度的卷積神經網路由於受到功率的限制，無法達到高複雜度的卷積神經網路的高效能。受控於高效能之輔助處理器的全時感測器，配合低複雜度的卷積神經網路，可持續偵測簡單物件，直到主處理器配合高複雜度的卷積神經網路被啟動為止。因此，系統需要儲存兩個卷積神經網路模型(亦即，低複雜度模型與高複雜度模型)，因而需要更多高成本的靜態隨機存取記憶體(SRAM)裝置。
鑑於上述，本發明實施例的目的之一在於提出一種卷積神經網路正規化系統，可支援多個模式以降低功耗。
本發明實施例提出一種用於辨識裝置的人工神經網路正規化系統，包含輸入層、複數隱藏層及匹配單元。輸入層產生影像的初始特徵圖。隱藏層對初始特徵圖進行卷積以產生物件特徵圖。匹配單元接收物件特徵圖且執行匹配，以輸出辨識結果。第一推論區塊與第二推論區塊，設於人工神經網路的至少一隱藏層中。於第一模式，開啟第一推論區塊且關閉第二推論區塊，其中第一推論區塊僅接收前一層的第一推論區塊的輸出。於第二模式，開啟第一推論區塊與第二推論區塊，其中第二推論區塊接收前一層的第二推論區塊的輸出與前一層的第一推論區塊的輸出。
第一圖例示本發明實施例用於辨識裝置的卷積神經網路(convolutional neural network, CNN)正規化(regularization)系統100的示意圖。卷積神經網路正規化系統100可使用數位影像處理器與記憶體裝置(例如靜態隨機存取記憶體(SRAM)裝置)來實施。卷積神經網路正規化系統100可適用於臉部辨識。
雖然本實施例以卷積神經網路作為例示，然而本實施例可概括至人工神經網路(artificial neural network)，其包含一群互相連結的節點(node)，類似於人腦的神經網路。根據本實施例的特徵之一，卷積神經網路正規化系統100可支援多個(操作)模式，可選擇操作於其中之一模式。本實施例之卷積神經網路正規化系統100可操作於高精確(high-precision)模式或低功率模式。相較於高精確模式，操作於低功率模式的卷積神經網路正規化系統100消耗較少功率，但得到較小精確度。
在本實施例中，如第一圖所示，卷積神經網路正規化系統100可包含輸入層11及複數隱藏(hidden)層12，其包含輸出層13以輸出物件特徵圖(或物件特徵或物件向量)。其中，輸入層11可產生影像的初始特徵圖(initial feature map)。隱藏層12可對初始特徵圖進行卷積運算，以產生物件特徵圖。於至少一隱藏層中，本實施例之卷積神經網路正規化系統100可包含第一推論(inference)區塊(或群)101(如所示實線區塊)，其包含複數第一節點或濾波器(filter)。於至少一隱藏層中，本實施例之卷積神經網路正規化系統100可包含第二推論區塊(或群)102(如所示虛線區塊)，其包含複數第二節點或濾波器。如第一圖所例示，至少一第一推論區塊101與至少一第二推論區塊102位於同一隱藏層12。
本實施例之卷積神經網路正規化系統100可包含匹配(matching)單元14(例如臉部匹配單元)，其接收輸出層13的物件特徵圖(例如臉部特徵圖、臉部特徵或臉部向量)，並配合資料庫以執行(物件)匹配，用以決定是否辨識出特定物件(例如臉部)。匹配單元14可使用傳統臉部匹配技術，其細節因此省略。
第二圖顯示本發明實施例之多階段訓練方法200的流程圖，可使用於第一圖之卷積神經網路正規化系統100。在本實施例中，多階段訓練方法200係提供三階段訓練。根據本實施例的另一特徵，多階段訓練方法200可得到一(訓練)模型，其具有複數操作模式(例如高精確模式與低功率模式)。
於第一階段(步驟21)，如一般的訓練流程，訓練整個卷積神經網路正規化系統100，因而產生訓練前(pre-trained)模型。亦即，於第一階段，第一推論區塊101與第二推論區塊102的節點(或濾波器)係廣泛地訓練。
於第二階段(步驟22)，微調(fine-tune)訓練前模型的第一推論區塊101的第一節點的權重(weight)，且將第二推論區塊102的第二節點的權重設為零(或關閉)，因而產生低功率(或第一)模型。如第一圖所例示，沿著推論路徑(如所示實線)，微調第一推論區塊101的第一節點的權重，且將第二推論區塊102的第二節點的權重設為零。在本實施例中，每一個第一推論區塊101僅接收前一層的第一推論區塊101的輸出，並關閉每一個第二推論區塊102。
於第三階段(步驟23)，微調第二推論區塊102的第二節點的權重，且固定低功率模型的第一推論區塊101的第一節點的權重(使其維持於步驟22結束時的值)，因而產生高精確(或第二)模型。如第一圖所例示，沿著推論路徑(如所示虛線)，微調訓練前模型的第二推論區塊102的第二節點的權重，且固定低功率模型的第一推論區塊101的第一節點的權重。在一實施例中，歐幾里得長度(Euclidean length)(亦即，L2長度(norm))可予以刪除，以確保第三階段所訓練的模型可以收斂(converge)，使得執行得以正常。
在本實施例中，每一個第二推論區塊102接收前一層第二推論區塊102的輸出及前一層第一推論區塊101的輸出，然而每一個第一推論區塊101僅接收前一層第一推論區塊101的輸出。於另一實施例中，如第三圖所示，每一個第一推論區塊101更接收前一層第二推論區塊102的輸出。
根據前述多階段訓練方法200所訓練的卷積神經網路正規化系統100可用以執行臉部辨識。經訓練的卷積神經網路正規化系統100可操作於低功率模式，其中第二推論區塊102可關閉以降低功耗。經訓練的卷積神經網路正規化系統100可操作於高精確模式，其操作整個卷積神經網路正規化系統100以得到高精確度。
根據前述實施例，由於僅需使用單一系統或模型，而非如傳統使用二個系統或模型，因而得以大量減少實施卷積神經網路所需的靜態隨機存取記憶體(SRAM)裝置。因此，受控於輔助處理器(co-processor)的全時感測器(always-on-sensor, AOS)可於低功率模式持續偵測簡單物件，直到主處理器於高精確度模式被啟動為止。
第一/三圖所例示的卷積神經網路正規化系統100可概括至支援二個以上模式的卷積神經網路正規化系統。第四圖例示本發明另一實施例用於辨識裝置的卷積神經網路正規化系統400的示意圖。在本實施例中，於至少一隱藏層12中，卷積神經網路正規化系統400更包含第三推論區塊103。
於訓練卷積神經網路正規化系統400的第一階段，如一般的訓練流程，訓練整個卷積神經網路正規化系統400，因而產生訓練前(pre-trained)模型。於第二階段，微調訓練前模型的第一推論區塊101的第一節點的權重，且將第二推論區塊102的第二節點及第三推論區塊103的第三節點的權重設為零(或關閉)，因而產生第一低功率模型。於第三階段，微調第二推論區塊102的第二節點的權重，將第三推論區塊103的第三節點的權重設為零，且固定第一低功率模型的第一推論區塊101的第一節點的權重，因而產生第二低功率模型。於第四(最終)階段，微調第三推論區塊103的第三節點的權重，且固定第二低功率模型的第一推論區塊101的第一節點及第二推論區塊102的第二節點的權重，因而產生高精確(或第三)模型。
經訓練的卷積神經網路正規化系統400可操作於第一低功率模式，其中第二推論區塊102及第三推論區塊103可關閉以降低功耗。經訓練的卷積神經網路正規化系統400可操作於第二低功率模式，其中第三推論區塊103可關閉以降低功耗。經訓練的卷積神經網路正規化系統400可操作於高精確模式，其操作整個卷積神經網路正規化系統400以得到高精確度。
以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。
100:卷積神經網路正規化系統 400:卷積神經網路正規化系統 11:輸入層 12:隱藏層 13:輸出層 14:匹配單元 101:第一推論區塊 102:第二推論區塊 103:第三推論區塊 200:多階段訓練方法 21:(第一階段)廣泛地訓練整個系統 22:(第二階段)微調第一推論區塊以產生低功率模型 23:(第三階段)微調第二推論區塊以產生高精確模型
第一圖例示本發明實施例用於辨識裝置的卷積神經網路(CNN)正規化系統的示意圖。 第二圖顯示本發明實施例之多階段訓練方法的流程圖，可使用於第一圖之卷積神經網路正規化系統。 第三圖例示本發明實施例用於辨識裝置的卷積神經網路正規化系統的另一示意圖。 第四圖例示本發明另一實施例用於辨識裝置的卷積神經網路正規化系統的示意圖。
100:卷積神經網路正規化系統
11:輸入層
12:隱藏層
13:輸出層
14:匹配單元
101:第一推論區塊
102:第二推論區塊

Claims (6)

  1. 一種用於辨識裝置的人工神經網路正規化系統，包含： 一輸入層，產生一影像的初始特徵圖； 複數隱藏層，對該初始特徵圖進行卷積以產生物件特徵圖；及 一匹配單元，其接收該物件特徵圖且執行匹配，以輸出辨識結果； 其中第一推論區塊與第二推論區塊，設於人工神經網路的至少一隱藏層中，該第一推論區塊包含複數第一濾波器且該第二推論區塊包含複數第二濾波器； 於第一模式，開啟該第一推論區塊且關閉該第二推論區塊，其中該第一推論區塊僅接收前一層的第一推論區塊的輸出；於第二模式，開啟該第一推論區塊與該第二推論區塊，其中該第二推論區塊接收前一層的第二推論區塊的輸出與前一層的第一推論區塊的輸出。
  2. 根據申請專利範圍第1項所述用於辨識裝置之人工神經網路正規化系統，於該第二模式，其中該第一推論區塊僅接收前一層的第一推論區塊的輸出。
  3. 根據申請專利範圍第1項所述用於辨識裝置之人工神經網路正規化系統，於該第二模式，其中該第一推論區塊接收前一層的第一推論區塊的輸出與前一層的第二推論區塊的輸出。
  4. 根據申請專利範圍第1項所述用於辨識裝置之人工神經網路正規化系統，更包含第三推論區塊，設於該至少一隱藏層中，該第三推論區塊包含複數第三濾波器。
  5. 根據申請專利範圍第4項所述用於辨識裝置之人工神經網路正規化系統，其中該第三推論區塊於該第一模式與該第二模式時為關閉，且於第三模式時為開啟。
  6. 根據申請專利範圍第1項所述用於辨識裝置之人工神經網路正規化系統，其中該匹配單元包含臉部匹配單元，用以決定是否辨識出特定臉部。
TW108115000A 2019-04-30 2019-04-30 用於辨識裝置的人工神經網路正規化系統 TW202042119A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW108115000A TW202042119A (zh) 2019-04-30 2019-04-30 用於辨識裝置的人工神經網路正規化系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108115000A TW202042119A (zh) 2019-04-30 2019-04-30 用於辨識裝置的人工神經網路正規化系統

Publications (1)

Publication Number Publication Date
TW202042119A true TW202042119A (zh) 2020-11-16

Family

ID=74201125

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108115000A TW202042119A (zh) 2019-04-30 2019-04-30 用於辨識裝置的人工神經網路正規化系統

Country Status (1)

Country Link
TW (1) TW202042119A (zh)

Similar Documents

Publication Publication Date Title
Allen-Zhu et al. What can resnet learn efficiently, going beyond kernels?
Xiao et al. Robust facial landmark detection via recurrent attentive-refinement networks
She et al. Text classification based on hybrid CNN-LSTM hybrid model
CN110347847B (zh) 基于神经网络的知识图谱补全方法
US10032463B1 (en) Speech processing with learned representation of user interaction history
Tavanaei et al. Bio-inspired multi-layer spiking neural network extracts discriminative features from speech signals
WO2022217746A1 (zh) 一种高分辨率高光谱计算成像方法、***及介质
JP7109771B2 (ja) 音声認識システム、音声認識方法、学習済モデル
Ozcan et al. Lip reading using convolutional neural networks with and without pre-trained models
Eloff et al. Multimodal one-shot learning of speech and images
TW202125286A (zh) 以記憶體內計算陣列進行神經網路的迴旋層的並行處理
WO2021208455A1 (zh) 一种面向家居口语环境的神经网络语音识别方法及***
CN113240079A (zh) 一种模型训练方法及装置
CN111105023A (zh) 数据流重构方法及可重构数据流处理器
CN111062465A (zh) 一种神经网络结构自调整的图像识别模型及方法
Katarya et al. Study on text classification using capsule networks
Telgarsky Feature selection with gradient descent on two-layer networks in low-rotation regimes
Nguyen et al. Reinforcement learning based navigation with semantic knowledge of indoor environments
Zhang et al. Variational hyperparameter inference for few-shot learning across domains
Yang et al. A quantum kernel learning approach to acoustic modeling for spoken command recognition
CN112771609A (zh) 包括神经形态处理模块的传感器处理***及其方法
TW202042119A (zh) 用於辨識裝置的人工神經網路正規化系統
US20230368031A1 (en) Training Machine-Trained Models by Directly Specifying Gradient Elements
CN111914984B (zh) 用于辨识装置的人工神经网络正规化***
Sun et al. An image classification method based on Echo State Network