TWI738144B - 訊息處理方法及其裝置、電子設備和儲存媒體 - Google Patents

訊息處理方法及其裝置、電子設備和儲存媒體 Download PDF

Info

Publication number
TWI738144B
TWI738144B TW108144946A TW108144946A TWI738144B TW I738144 B TWI738144 B TW I738144B TW 108144946 A TW108144946 A TW 108144946A TW 108144946 A TW108144946 A TW 108144946A TW I738144 B TWI738144 B TW I738144B
Authority
TW
Taiwan
Prior art keywords
matrix
convolution
neural network
convolutional layer
processing
Prior art date
Application number
TW108144946A
Other languages
English (en)
Other versions
TW202044068A (zh
Inventor
張兆陽
吳凌雲
羅平
Original Assignee
大陸商深圳市商湯科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商深圳市商湯科技有限公司 filed Critical 大陸商深圳市商湯科技有限公司
Publication of TW202044068A publication Critical patent/TW202044068A/zh
Application granted granted Critical
Publication of TWI738144B publication Critical patent/TWI738144B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Error Detection And Correction (AREA)
  • Complex Calculations (AREA)

Abstract

本發明涉及一種訊息處理方法及其裝置、電子設備和儲存媒體，其中所述方法包括將接收的輸入訊息輸入至神經網路中；通過所述神經網路處理所述輸入訊息，其中在通過所述神經網路的卷積層執行卷積處理的情況下，利用爲卷積層配置的變換矩陣更新卷積層的卷積核，以通過更新後的卷積核完成所述卷積層的卷積處理；輸出通過所述神經網路處理後的處理結果。本發明實施例可實現神經網路的任意形式的分組卷積。

Description

訊息處理方法及其裝置、電子設備和儲存媒體
本發明涉及訊息處理領域，尤其涉及一種訊息處理方法及其裝置、電子設備和儲存媒體。
卷積神經網路憑藉其强大的性能優勢，推動了電腦視覺、自然語言處理等領域的重大進步，成爲工業和學術界的研究熱潮。然而由於深度卷積神經網路受到大量矩陣運算的限制，往往需要海量儲存及計算資源，削減神經網路中卷積單元(Convolution)的冗餘是解決這個問題的重要方式之一。其中，分組卷積(Group Convolution)是一種通道分組卷積的方式，在各個網路中被廣泛應用。
本發明提出了一種通過神經網路執行輸入訊息的訊息處理的技術方案。
根據本發明的一方面，提供了一種訊息處理方法，其應用在神經網路中，包括：
將接收的輸入訊息輸入至神經網路中；
通過所述神經網路處理所述輸入訊息，其中在通過所述神經網路的卷積層執行卷積處理的情況下，利用爲卷積層配置的變換矩陣更新卷積層的卷積核，以通過更新後的卷積核完成所述卷積層的卷積處理；
輸出通過所述神經網路處理後的處理結果。
在一些可能的實施方式中，所述利用爲卷積層配置的變換矩陣更新卷積層的卷積核，包括：
獲取所述卷積層的卷積核的空間維度；
基於所述卷積核的空間維度，對卷積層對應的所述變換矩陣執行複製處理，其中，複製處理的次數由所述卷積核的空間維度確定；
對複製處理後的變換矩陣和所述卷積核執行點乘處理，得到相應卷積層的更新的卷積核。
在一些可能的實施方式中，在通過所述神經網路的卷積層執行卷積處理之前，所述方法還包括：
確定構成卷積層對應的所述變換矩陣的矩陣單元，所述矩陣單元包括第一矩陣和第二矩陣，或者僅包括第二矩陣，其中，響應於所述卷積層的輸入特徵的通道數和輸出特徵的通道數不同，所述卷積層對應的變換矩陣包括第一矩陣和第二矩陣，響應於所述卷積層的輸入特徵的通道數和輸出特徵的通道數相同，所述卷積層對應的變換矩陣包括第二矩陣，所述第一矩陣由單位矩陣連接形成，所述第二矩陣由多個子矩陣的函數變換的內積得到；
基於確定的矩陣單元形成所述卷積層的變換矩陣。
在一些可能的實施方式中，確定構成卷積層的變換矩陣的第二矩陣包括：
獲取爲每個卷積層配置的門控參數；
基於所述門控參數確定構成所述第二矩陣的子矩陣；
基於確定的所述子矩陣形成所述第二矩陣。
在一些可能的實施方式中，所述獲取爲每個卷積層配置的門控參數，包括：
根據接收的配置訊息獲取每個卷積層配置的門控參數；或者
基於所述神經網路的訓練結果，確定卷積層配置的門控參數。
在一些可能的實施方式中，所述基於確定的矩陣單元形成所述卷積層的變換矩陣，包括：
獲取每個卷積層的輸入特徵的第一通道數和輸出特徵的第二通道數；
響應於第一通道數大於第二通道數，所述變換矩陣爲第一矩陣和第二矩陣的乘積；
響應於第一通道數小於第二通道數，所述變換矩陣爲第二矩陣和第一矩陣的乘積。
在一些可能的實施方式中，所述基於所述門控參數確定構成所述第二矩陣的子矩陣，包括：
採用符號函數對所述門控參數進行函數處理，得到二值化向量；
基於所述二值化向量得到二值化門控向量，並基於所述二值化門控向量、第一基礎矩陣和第二基礎矩陣，得到多個所述子矩陣。
在一些可能的實施方式中，所述基於所述二值化向量得到二值化門控向量，包括：
將所述二值化向量確定爲所述二值化門控向量；或者
將置換矩陣和所述二值化向量的乘積結果確定爲所述二值化門控向量。
在一些可能的實施方式中，基於所述二值化門控向量、第一基礎矩陣和第二基礎矩陣，得到多個所述子矩陣，包括：
響應於所述二值化門控向量中的元素爲第一數值，得到的子矩陣爲全1矩陣；
響應於所述二值化門控向量中的元素爲第二數值，得到的子矩陣爲單位矩陣。
在一些可能的實施方式中，所述第一基礎矩陣爲全1矩陣，第二基礎矩陣爲單位矩陣。
在一些可能的實施方式中，所述基於確定的所述子矩陣形成所述第二矩陣，包括：
對多個所述子矩陣進行內積運算，得到所述第二矩陣。
在一些可能的實施方式中，所述輸入訊息包括：文字訊息、圖像訊息、視訊訊息、語音訊息中的至少一種。
在一些可能的實施方式中，所述變換矩陣的維度爲第一通道數乘以第二通道數，所述第一通道數爲卷積層的輸入特徵的通道數，所述第二通道數爲卷積層的輸出特徵的通道數，並且所述變換矩陣的元素包括0和1中的至少一種。
在一些可能的實施方式中，所述方法還包括訓練所述神經網路的步驟，其包括：
獲取訓練樣本以及用於監督的真實檢測結果；
利用所述神經網路對所述訓練樣本進行處理，得到預測結果；
基於所述預測結果和真實檢測結果對應的損失，反饋調節所述神經網路的網路參數，直至滿足終止條件，所述網路參數包括每個網路層的卷積核和變換矩陣。
根據本發明的第二方面，提供了一種訊息處理裝置，其包括：
輸入模組，其用於將接收的輸入訊息輸入至神經網路中；
訊息處理模組，其用於通過所述神經網路處理所述輸入訊息，其中在通過所述神經網路的卷積層執行卷積處理的情況下，利用爲卷積層配置的變換矩陣更新卷積層的卷積核，以通過更新後的卷積核完成所述卷積層的卷積處理；
輸出模組，其用於輸出通過所述神經網路處理後的處理結果。
在一些可能的實施方式中，所述訊息處理模組還用於獲取所述卷積層的卷積核的空間維度；
基於所述卷積核的空間維度，對卷積層對應的所述變換矩陣執行複製處理，其中，複製處理的次數由所述卷積核的空間維度確定；
對複製處理後的變換矩陣和所述卷積核執行點乘處理，得到相應卷積層的更新的卷積核。
在一些可能的實施方式中，所述訊息處理模組還用於確定構成卷積層對應的所述變換矩陣的矩陣單元，基於確定的矩陣單元形成所述卷積層的變換矩陣；其中，所述矩陣單元包括第一矩陣和第二矩陣，或者僅包括第二矩陣，其中，響應於所述卷積層的輸入特徵的通道數和輸出特徵的通道數不同，所述卷積層對應的變換矩陣包括第一矩陣和第二矩陣，響應於所述卷積層的輸入特徵的通道數和輸出特徵的通道數相同，所述卷積層對應的變換矩陣包括第二矩陣，所述第一矩陣由單位矩陣連接形成，所述第二矩陣由多個子矩陣的函數變換的內積得到。
在一些可能的實施方式中，所述訊息處理模組還用於獲取爲每個卷積層配置的門控參數；
基於所述門控參數確定構成所述第二矩陣的子矩陣；
基於確定的所述子矩陣形成所述第二矩陣。
在一些可能的實施方式中，所述訊息處理模組還用於根據接收的配置訊息獲取每個卷積層配置的門控參數；或者
基於所述神經網路的訓練結果，確定卷積層配置的門控參數。
在一些可能的實施方式中，所述訊息處理模組還用於獲取每個卷積層的輸入特徵的第一通道數和輸出特徵的第二通道數；
響應於第一通道數大於第二通道數，所述變換矩陣爲第一矩陣和第二矩陣的乘積；
響應於第一通道數小於第二通道數，所述變換矩陣爲第二矩陣和第一矩陣的乘積。
在一些可能的實施方式中，所述訊息處理模組還用於採用符號函數對所述門控參數進行函數處理，得到二值化向量；
基於所述二值化向量得到二值化門控向量，並基於所述二值化門控向量、第一基礎矩陣和第二基礎矩陣，得到多個所述子矩陣。
在一些可能的實施方式中，所述訊息處理模組還用於將所述二值化向量確定爲所述二值化門控向量；或者
將置換矩陣和所述二值化向量的乘積結果確定爲所述二值化門控向量。
在一些可能的實施方式中，所述訊息處理模組還用於在所述二值化門控向量中的元素爲第一數值的情況下，得到的子矩陣爲全1矩陣；
在所述二值化門控向量中的元素爲第二數值的情況下，得到的子矩陣爲單位矩陣。
在一些可能的實施方式中，所述第一基礎矩陣爲全1矩陣，第二基礎矩陣爲單位矩陣。
在一些可能的實施方式中，所述訊息處理模組還用於對多個所述子矩陣進行內積運算，得到所述第二矩陣。
在一些可能的實施方式中，所述輸入訊息包括：文字訊息、圖像訊息、視訊訊息、語音訊息中的至少一種。
在一些可能的實施方式中，述變換矩陣的維度爲第一通道數乘以第二通道數，所述第一通道數爲卷積層的輸入特徵的通道數，所述第二通道數爲卷積層的輸出特徵的通道數，並且所述變換矩陣的元素包括0和1中的至少一種。
在一些可能的實施方式中，所述訊息處理模組還用於訓練所述神經網路，其中，訓練所述神經網路的步驟包括：
獲取訓練樣本以及用於監督的真實檢測結果；
利用所述神經網路對所述訓練樣本進行處理，得到預測結果；
基於所述預測結果和真實檢測結果對應的損失，反饋調節所述神經網路的網路參數，直至滿足終止條件，所述網路參數包括每個網路層的卷積核和變換矩陣。
根據本發明的第三方面，提供了一種電子設備，其包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置爲調用所述記憶體儲存的指令，以執行第一方面中任意一項所述的方法。
根據本發明的第四方面，提供了一種電腦可讀儲存媒體，其上儲存有電腦程序指令，其特徵在於，所述電腦程序指令被處理器執行時第一方面中任意一項所述的方法
在本發明實施例中，可以將輸入訊息輸入至神經網路執行相應的運算處理，其中在執行神經網路的卷積層的卷積處理時，可以基於爲每個卷積層確定的變換矩陣更新該卷積層的卷積核，並利用新的卷積核完成相應的卷積處理，通過該方式，可以實現爲每個卷積層單獨配置相應的變換矩陣，形成相應的分組效果，該分組不局限於相鄰通道的分組，同時還可以提高神經網路的運算精確度。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本發明。
根據下面參考附圖對示例性實施例的詳細說明，本發明的其它特徵及方面將變得清楚。
以下將參考附圖詳細說明本發明的各種示例性實施例、特徵和方面。附圖中相同的附圖標記表示功能相同或相似的元件。儘管在附圖中示出了實施例的各種方面，但是除非特別指出，不必按比例繪製附圖。
在這裏專用的詞“示例性”意爲“用作例子、實施例或說明性”。這裏作爲“示例性”所說明的任何實施例不必解釋爲優於或好於其它實施例。
本文中術語“和/或”，僅僅是一種描述關聯對象的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外，爲了更好地說明本發明，在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解，沒有某些具體細節，本發明同樣可以實施。在一些實例中，對於本領域技術人員熟知的方法、手段、元件和電路未作詳細描述，以便於凸顯本發明的主旨。
可以理解，本發明提及的上述各個方法實施例，在不違背原理邏輯的情況下，均可以彼此相互結合形成結合後的實施例，限於篇幅，本發明不再贅述。
此外，本發明還提供了訊息處理裝置、電子設備、電腦可讀儲存媒體、程序，上述均可用來實現本發明提供的任一種訊息處理方法，相應技術方案和描述和參見方法部分的相應記載，不再贅述。
本發明實施例的訊息處理裝置的執行主體可以是任意的電子設備或者伺服器，如具有圖像處理功能的圖像處理設備、具有語音處理功能的語音處理設備、以及具有視訊處理功能的視訊處理設備等等，主要可以根據待處理的訊息確定。其中，電子設備可以爲用戶設備（User Equipment，UE）、行動設備、用戶終端、終端、平板手機、無線電話、個人數位助理（Personal Digital Assistant，PDA）、手持設備、電腦設備、車載設備、可穿戴設備等。在一些可能的實現方式中，該訊息處理方法也可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。
圖1示出根據本發明實施例的一種訊息處理方法的流程圖，如圖1所示，所述訊息處理方法包括：
S10：將接收的輸入訊息輸入至神經網路中；
在一些可能的實施方式中，輸入訊息可以包括數字、圖像、文字、音訊、視訊中的至少一種，或者在其他實施方式中也可以包括其他的訊息，本發明對此不作具體限定。
在一些可能的實施方式中，本發明提供的訊息處理方法可以通過神經網路實現，該神經網路可以爲經過訓練的能夠執行輸入訊息的相應處理並滿足精確度要求的網路。例如，本發明實施例的神經網路可以爲卷積神經網路，其中可以爲具有目標檢測、目標辨識功能的神經網路，從而可以實現接收的圖像中的目標對象的檢測和辨識，其中目標對象可以爲行人、人臉、車輛、動物等任意類型的對象，具體可以根據應用場景確定。
在通過神經網路執行輸入訊息的處理時，即可以將輸入訊息輸入至神經網路中，通過神經網路的各網路層執行相應的運算。其中，神經網路可以包括至少一層卷積層。
S20：通過所述神經網路處理所述輸入訊息，其中在通過所述神經網路的卷積層執行卷積處理的情況下，利用爲卷積層配置的變換矩陣更新卷積層的卷積核，以通過更新後的卷積核完成所述卷積層的卷積處理；
在一些可能的實施方式中，在將輸入訊息輸入至神經網路中之後，可以對通過神經網路對該輸入訊息進行運算處理，例如可以針對輸入訊息的特徵執行向量運算或者矩陣運算，或者加減乘除等運算，具體的運算類型可以根據神經網路的結構確定。在一些實施例中，神經網路可以包括至少一層卷積層、池化層、全連接層、殘差網路、分類器，或者在其他實施例中也可以包括其他的網路層，本發明對此不作具體限定。
在執行神經網路中的卷積處理時，本發明實施例可以根據爲神經網路的各卷積層配置的變換矩陣更新各卷積層的卷積運算的卷積核。其中，可以爲每個卷積層配置不同的變換矩陣，也可以爲每個卷積層配置相同的變換矩陣，變換矩陣也可以爲經過神經網路訓練學習得到的參數矩陣，具體可以根據需求和應用場景設定。本發明實施例的變換矩陣的維度爲卷積層的輸入特徵的第一通道數和輸出特徵的第二通道數的乘積，例如可以爲
Figure 02_image001
，其中
Figure 02_image003
爲卷積層的輸入特徵的通道數，
Figure 02_image005
表示卷積層的輸出特徵的通道數，並且變換矩陣可以構造爲二值化矩陣，其中該二值化矩陣中的元素包括0和1中的至少一種，即本發明實施例的變換矩陣可以爲由0和1中的至少一種元素構成的矩陣。
在一些可能的實施方式中，每個卷積層相應的變換矩陣可以爲神經網路經過訓練得到的矩陣，其中，在訓練神經網路時，可以引入變換矩陣，結合訓練樣本的特徵，確定出滿足訓練要求且適應於訓練樣本的變換矩陣。即本發明實施例中爲每個卷積層配置的變換矩陣可以使得該卷積層的卷積方式適應於訓練樣本的樣本特徵，例如可以實現不同卷積層的不同分組卷積。其中，爲了提高神經網路的應用精確度，本發明實施例的輸入訊息的類型與訓練神經網路所使用的訓練樣本的類型相同。
在一些可能的實施方式中，可以根據接收到的配置訊息確定每個卷積層的變換矩陣，其中配置訊息爲關於卷積層的變換矩陣的訊息，並且每個變換矩陣爲設定的適應於輸入訊息的變換矩陣，即能夠得到精確的處理結果的變換矩陣。其中接收配置訊息的方式可以包括接收其他設備傳輸的配置訊息，或者讀取預先儲存的配置訊息等，本發明對此不作具體限定。
在得到爲每個卷積層配置的變換矩陣之後，即可以基於配置的變換矩陣得到新的卷積核，即完成卷積層的卷積核的更新。其中，卷積核爲現有技術中的卷積處理中所使用的卷積方式確定的卷積核，在訓練神經網路時，可以經過訓練得到該更新之前的卷積核的具體參數。
S30：輸出通過所述神經網路處理後的處理結果。
在經過神經網路的處理後，即可以得到神經網路對輸入訊息的處理結果，此時可以輸出該處理結果。
在一些可能的實施方式中，輸入訊息可以爲圖像訊息，神經網路可以爲檢測所述輸入訊息中對象的類型的網路，此時該處理結果即可以爲圖像訊息中包括的對象的類型。或者，神經網路可以爲檢測輸入訊息中目標類型的對象所在的位置區域，此時該處理結果即可以為圖像訊息中包括的目標類型的對象的位置區域，其中處理結果同樣也可以爲矩陣形式，本發明對此不做具體限定。
下面結合分別對本發明實施例的訊息處理方法的各步驟進行詳細的說明，其中，在獲取了爲每個卷積層配置的變換矩陣之後，可以根據該配置的變換矩陣對應的更新相應卷積層的卷積核。圖2示出根據本發明實施例的訊息處理方法中更新卷積核的流程圖；其中，所述爲卷積層配置的變換矩陣更新卷積層的卷積核，包括：
S21：獲取所述卷積層的卷積核的空間維度；
在一些可能的實施方式中，在獲取了爲每個卷積層配置的變換矩陣後，可以執行卷積核的更新過程，其中，可以獲得每個卷積層的卷積核的空間維度。例如，神經網路中各卷積層的卷積核的維度可以表示爲
Figure 02_image007
，其中
Figure 02_image009
爲卷積核的空間維度，k爲大於或者等於1的整數，例如可以爲3或者5等數值，具體可以根據神經網路結構確定，
Figure 02_image003
爲卷積層的輸入特徵的通道數（第一通道數），
Figure 02_image005
表示卷積層的輸出特徵的通道數（第二通道數）。
S22：基於所述卷積核的空間維度，對卷積層對應的所述變換矩陣執行複製處理，其中，複製處理的次數由所述卷積核的空間維度確定；
在一些可能的實施方式中，可以基於卷積層的卷積核的空間維度，對該卷積層的變換矩陣執行複製處理，即複製出
Figure 02_image009
個變換矩陣，並利用該複製出的
Figure 02_image009
個變換矩陣形成新的矩陣，該形成的新的矩陣與卷積核的維度相同。
S23：對複製處理後的變換矩陣和所述卷積核執行點乘處理，得到相應卷積層的更新的卷積核。
在一些可能的實施方式中，可以利用複製出的
Figure 02_image009
個變換矩陣所形成新的矩陣與卷積核的點乘，得到更新後的卷積核。
在一些可能的實施方式中，本發明利用更新的卷積核執行卷積處理的表達式可以包括：
Figure 02_image011
Figure 02_image012
（1）；
其中，
Figure 02_image014
表示卷積層的輸入特徵
Figure 02_image016
中的第i+m行第j+n列的特徵單元，
Figure 02_image016
的大小可以爲表示爲
Figure 02_image018
，N表示卷積層的輸入特徵的樣本量，
Figure 02_image004
表示輸入特徵的通道數，H和W分別表示單個通道的輸入特徵的高和寬，
Figure 02_image021
；
Figure 02_image023
表示卷積層的輸出特徵
Figure 02_image025
中第i行第j列的特徵單元，
Figure 02_image027
，
Figure 02_image029
表示輸出特徵的通道數，
Figure 02_image031
表示單個通道輸出特徵的高和寬，
Figure 02_image033
表示卷積層的卷積核中第m行n列的卷積單元，卷積核的空間維度爲k行k列，U爲該卷積層配置的變換矩陣（維度與卷積單元相同），b表示可選的偏置項，其可以爲大於或者等於0的數值。
通過上述方式，即可以完成每個卷積層的卷積核的更新過程，由於爲每個卷積層配置的變換矩陣可以爲不同形式，因此可以實現任意的卷積操作。
現有技術中，在神經網路中實現卷積處理的分組卷積時，以往的分組卷積仍然存在幾個重要缺陷：
（1）依賴人爲設計的方式確定卷積參數，需通過繁瑣的實驗驗證搜索出合適的分組數量，使其在實際應用時不易推廣；
（2）現有的應用都是對整個網路的所有卷積層都使用同類型的分組卷積策略，一方面很難手動選擇出適合整個網路的分組卷積策略，另一方面這樣的操作方式不一定使神經網路的性能達到最優；
（3）又有的分組方式只是將相鄰通道的卷積特徵劃分到同一分組，這種易於實現的方式大大忽略了不同通道特徵訊息的關聯性。
而本發明實施例，通過爲每個卷積層配置適應的變換矩陣，實現每個卷積層單獨的元卷積（Meta Convolution）處理，在變換矩陣爲經過神經網路的訓練得到的參數的情況下，可以實現在沒有人爲干預的情況下，爲深度神經網路卷積層自主學習出任意的分組卷積方案。對神經網路的不同卷積層配置各自不同的分組策略。本發明實施例提供的元卷積方法可以應用在深度神經網路的任意卷積層上，使網路不同深度的卷積層都能通過學習自主選擇出適應當前特徵表達的最優的通道分組方案。本發明的卷積處理具有多樣性。其中，元卷積方法由變換矩陣形式表示，不僅可以表達出已有的相鄰分組卷積技術，而且能拓展出任意通道分組方案，增加了不同通道特徵訊息的關聯性，推動了卷積冗餘消除技術的前沿發展。另外，本發明實施例提供的卷積處理還具有簡易性。其中利用Kronecker（克羅內克積）運算將網路參數分解，以一種可微分的端到端訓練方式，使得本發明提出的元卷積方法具有計算量小，參數量小，易於實現和應用等優點。本發明還具有通用性，適用於各種不同的網路模型和視覺任務，元卷積方法可以簡便有效的應用於各種卷積神經網路,在圖像分類（CIFAR10， ImageNet）、目標檢測與辨識（COCO， Kinetics）、圖像分割（Cityscapes， ADE2k）等各種視覺任務上取得優異的效果。
圖3示出現有的常規卷積操作的示意圖。圖4示出現有的分組卷積的卷積操作的示意圖。其中，如圖3所示，對於通常的卷積操作來說，
Figure 02_image006
個通道的輸出特徵中的每個通道都是由輸入特徵所有
Figure 02_image004
個通道整體一起做卷積操作獲得。如圖4所示，傳統的分組卷積（Group Convolution）則是在通道維度上進行分組，達到減少參數量的目的。圖4直觀的表示出分組數量爲2的分組卷積操作，即每
Figure 02_image037
個通道的輸入特徵爲一組，與維度
Figure 02_image039
的權重卷積，得到
Figure 02_image041
個通道數量的一組輸出特徵。此時，總的權重維度爲
Figure 02_image043
，與通常卷積相比參數量減少2倍。通常該方式的分組數量（group num）爲人爲設定，且能被
Figure 02_image004
整除。當分組數量等於輸入特徵的通道數
Figure 02_image004
時，相當於每個通道的特徵都分別進行卷積操作。
爲了更加清楚的瞭解本發明實施例提供的通過變換矩陣更新卷積核，實現新的卷積方式（元卷積）的過程，下面舉例說明。
如上述實施例所述，變換矩陣
Figure 02_image047
是可學習的二值化矩陣，其內每個元素要麽爲0要麽爲1，維度與
Figure 02_image033
相同。本發明實施例中將變換矩陣U與卷積層的卷積單元
Figure 02_image033
點乘相當於對權重進行稀疏表達，不同的U代表不同的卷積操作方法，比如：圖5中示出根據本發明實施例的不同的變換矩陣的結構示意圖。
（1）在U爲圖5中的矩陣a的形式時，U爲全1矩陣，利用該變換矩陣形成新的卷積核，相當於爲改變卷積操作的卷積核，此時元卷積代表通常的卷積操作，與圖3中卷積方式對應，此時
Figure 02_image051
，分組數量爲1。
（2）在U爲圖5中的矩陣b的形式時，U爲塊對角矩陣，利用該變換矩陣形成新的卷積核，元卷積代表分組卷積操作，與圖4中卷積方式對應，此時
Figure 02_image051
，分組數量爲2。
（3）在U爲圖5中的矩陣c的形式時，U爲塊對角矩陣，利用該變換矩陣形成新的卷積核，元卷積代表分組數量爲4的分組卷積操作，同樣
Figure 02_image051
。
（4）在U爲圖5中的矩陣d的形式時，U爲單位矩陣，利用該變換矩陣形成新的卷積核，元卷積代表每個通道的特徵都分別單獨卷積的分組卷積操作，此時
Figure 02_image053
，分組數量爲8。
（5）在U爲圖5中的矩陣g的矩陣時，元卷積代表以往從未出現過的卷積操作方式，每個
Figure 02_image006
通道的輸出特徵並不是由固定相鄰的
Figure 02_image004
通道輸入特徵獲得，此時爲任意通道分組方案。其中，矩陣g可以爲通過矩陣e和f獲得的矩陣，並且圖5中的f表示矩陣g對應的卷積形式。
由上述示例性說明可知，本發明提出的通過變換矩陣更新卷積核實現元卷積的方法實現了對卷積層權重的稀疏表示，不僅可以表達出已存在的卷積操作，而且能拓展出從未出現過的任意通道分組卷積方案，相比以往的卷積技術擁有更加豐富的表達能力。同時，與以往人爲設計分組數量的卷積方法不同，元卷積可以自主學習適應當前數據的卷積方案。
本發明實施例提出的元卷積方法應用在深度神經網路的任意卷積層上時，元卷積方法即可爲網路不同深度的卷積層通過學習自主選擇出適應當前特徵表達的最優的通道分組方案。其中，由於每個卷積層中均配置有相應的二值化對角塊矩陣U，也就是說在擁有L層隱層的深度神經網路中，元卷積方法會帶來
Figure 02_image057
維度的學習參數。比如，在100層的深度網路中，若每層特徵圖的通道數爲1000，則會帶來上百萬的參數量。
在一些可能的實施方式中，可以根據接收的配置訊息直接獲取配置的變換矩陣，也可以通過神經網路的訓練直接確定各卷積層的變換矩陣。另外，爲了進一步減少變換矩陣的優化難度以及減小運算參數量，本發明實施例將變換矩陣拆分成兩個矩陣相乘的方式，也就是說本發明實施例的變換矩陣可以包括第一矩陣和第二矩陣，其中可以根據接收的配置訊息獲取該第一矩陣和第二矩陣，或者根據訓練的結果得到該第一矩陣和第二矩陣。其中第一矩陣由單位矩陣連接形成，所述第二矩陣由多個子矩陣的函數變換的內積得到。通過第一矩陣和第二矩陣的乘積可以得到變換矩陣。
圖6示出根據本發明實施例的訊息處理方法中確定變換矩陣的流程圖。其中，在通過所述神經網路的卷積層執行卷積處理之前，可以確定卷積層對應的變換矩陣，該步驟可以包括：
S101：確定構成卷積層對應的所述變換矩陣的矩陣單元，所述矩陣單元包括第二矩陣，或者包括第一矩陣和第二矩陣，其中，響應於所述卷積層的輸入特徵的通道數和輸出特徵的通道數不同，所述卷積層對應的變換矩陣包括第一矩陣和第二矩陣，響應於所述卷積層的輸入特徵的通道數和輸出特徵的通道數相同，所述卷積層對應的二值化矩陣包括第二矩陣，所述第一矩陣由單位矩陣連接形成，所述第二矩陣由多個子矩陣的函數變換的內積得到；
S102：基於確定的矩陣單元形成所述卷積層的變換矩陣。
在一些可能的實施方式中，針對卷積層中輸入特徵和輸出特徵的通道數相同或者不同的情況，可以通過不同的方式確定構成變換矩陣的矩陣單元，例如，在卷積層的輸入特徵的通道數和輸出特徵的通道數相同的情況下，構成卷積層的變換矩陣的矩陣單元爲第二矩陣，以及在卷積層的輸入特徵的通道數和輸出特徵的通道數不同的情況下，構成卷積層的變換矩陣的矩陣單元可以爲第一矩陣和第二矩陣。
在一些可能的實施方式中，可以根據接收的配置訊息得到變換矩陣相應的第一矩陣和第二矩陣，也可以通過神經網路訓練學習第一矩陣和第二矩陣的相關參數。
本發明實施例中，構成變換矩陣的第一矩陣由單位矩陣連接形成，在確定卷積層的輸入特徵的第一通道數和輸出特徵的第二通道數的情況下，即可以確定該第一矩陣和第二矩陣的維度。在第一通道數大於第二通道數的情況下，第一矩陣的維度爲
Figure 02_image004
×
Figure 02_image006
，此時第二矩陣的維度爲
Figure 02_image006
×
Figure 02_image006
，在第一通道數小於第二通道數的情況下，第一矩陣的維度爲
Figure 02_image004
×
Figure 02_image006
，第二矩陣
Figure 02_image061
的維度爲
Figure 02_image004
×
Figure 02_image004
。本發明實施例中，基於卷積層的輸入特徵的第一通道數和輸出特徵的第二通道數即可以確定第一矩陣的維度，基於該維度即可以確定連接形成該第一矩陣的多個單位矩陣，其中，由於單位矩陣爲方陣，即可以方便的得到第一矩陣的形式。
對於形成變換矩陣的第二矩陣，本發明實施例可以根據得到的門控參數來確定第二矩陣。圖7示出根據本發明實施例的訊息處理方法中確定構成卷積層的變換矩陣的第二矩陣的方法流程圖。其中，確定構成卷積層的變換矩陣的第二矩陣包括：
S1011：獲取爲每個卷積層配置的門控參數；
S1012：基於所述門控參數確定構成所述第二矩陣的子矩陣；
S1013：基於確定的所述子矩陣形成所述第二矩陣。
在一些可能的實施方式中，門控參數可以包括多個數值，其可以爲0附近的浮點型小數，如float64位或者32位的小數，本發明對此不作具體限定。上述接收的配置訊息中可以包括該連續的數值，或者，神經網路經訓練也可以學習確定出該連續的數值。
在一些可能的實施方式中，第二矩陣可以由多個子矩陣的內積運算得到，通過步驟S1011獲取的門控參數可以形成該多個子矩陣，繼而根據該多個子矩陣的內積運算結果得到第二矩陣。
圖8示出根據本發明實施例的訊息處理方法中步驟S1012的流程圖，其中所述基於所述門控參數確定構成所述第二矩陣的子矩陣，可以包括：
S10121：採用符號函數對所述門控參數進行函數處理，得到二值化向量；
在一些可能的實施方式中，可以將門控參數中的各參數數值輸入至符號函數中，經過符號函數的處理可以得到相應的結果，基於每個門控參數對應的符號函數的運算結果可以構成二值化向量。
其中，得到二值化向量的表達式可以表示爲：
Figure 02_image063
（2）;
其中，
Figure 02_image065
爲門控參數，g爲二值化向量。其中，對於符號函數f(a)=sign(a)，在a大於或者等於零時，sign（a）等於1，以及在a小於零時，sign（a）等於0。因此，通過符號函數處理之後，得到的二值化向量中的元素可以包括0和1中的至少一種，並且元素的數目與門控參數中的連續數值的數量相同。
S10122：基於所述二值化向量得到二值化門控向量，並基於所述二值化門控向量、第一基礎矩陣和第二基礎矩陣，得到多個所述子矩陣。
在一些可能的實施方式中，可以直接將二值化向量的元素確定爲二值化門控向量，即可以不對二值化向量進行任何處理。其中二值化門控向量的表達式可以爲：
Figure 02_image067
。其中
Figure 02_image069
表示二值化門控向量。進一步地，可以根據該二值化門控向量、第一基礎矩陣和第二矩陣形成構成第二矩陣的多個子矩陣。其中，本發明實施例中的第一矩陣可以爲全1矩陣，第二基礎矩陣爲單位矩陣。通過該種方式確定的第二矩陣形成的卷積分組的方式可以爲任意的分組方式，如圖5中的g的卷積形式。
在另一些可能的實施方式中，爲了實現卷積層的塊分組卷積的形式，可以利用置換矩陣與二值化向量的乘積得到二值化門控向量，其中置換矩陣可以爲升序排序矩陣，其可以對二值化向量進行排序，使得得到的二值化門控向量中的0在1之前。其中，二值化門控向量的表達式可以爲
Figure 02_image071
，P爲置換矩陣。進一步地，可以根據該二值化門控向量、第一基礎矩陣和第二矩陣形成構成第二矩陣的多個子矩陣。
在一些可能的實施方式中，基於所述二值化門控向量、第一基礎矩陣和第二基礎矩陣，得到多個所述子矩陣，可以包括：響應於所述二值化門控向量中的元素爲第一數值，得到的子矩陣爲全1矩陣；以及響應於所述二值化門控向量中的元素爲第二數值，得到的子矩陣爲單位矩陣。其中第一數值爲1，第二數值爲0。也就是說，本發明實施例中得到的各子矩陣可以爲全1矩陣或者單位矩陣，其中在二值化門控向量中的元素爲1時，對應的子矩陣爲全1矩陣，二值化門控向量中的元素爲0時，對應的子矩陣爲單位矩陣。
在一些可能的實施方式，針對二值化門控向量中的每個元素可以得到相應的子矩陣，其中得到子矩陣的方式可以包括：
利用二值化門控向量中的元素與第一基礎矩陣相乘，得到第一向量；
利用二值化門控向量中的元素與第二基礎矩陣相乘，得到第二向量；
利用所述第一向量和所述第二基礎矩陣的加和結果，與第二向量之間的差值得到相應的子矩陣。
其中，獲得所述多個子矩陣的表達式可以爲：
Figure 02_image073
（3）。
其中，可以將二值化門控向量
Figure 02_image069
中的第i個元素
Figure 02_image076
與第一基礎矩陣1 相乘，得到第一向量，將第i個元素
Figure 02_image076
與第二基礎矩陣I相乘得到第二向量，並將第一向量與第二基礎向量進行加和運算得到加和結果，利用該加和結果與第二向量之間的差值，得到第i個子矩陣
Figure 02_image078
。其中，i爲大於0小於或者等於K的整數，K爲二值化門控向量的元素個數。
基於本發明實施例的上述配置，可以基於得到的門控參數確定各子矩陣，以進一步確定第二矩陣。在通過神經網路訓練學習的情況下，可以將C×C維的第二矩陣
Figure 02_image061
的學習轉變成一系列子矩陣
Figure 02_image078
的學習，參數量也從C×C減少到
Figure 02_image080
，i表示子矩陣的數量。例如，可以將第二矩陣分解成三個2×2的子矩陣做kronecker內積運算，即：
Figure 02_image082
（4）。
此時，參數量由8^2=64減少到3×2^2=12。顯然，通過本發明實施例的方式可以減少卷積處理的運算量。
如上所述，在得到各子矩陣之後，可以基於各子矩陣的內積運算第二矩陣。其中，第二矩陣的表達式爲：
Figure 02_image084
；
其中，
Figure 02_image061
表示第二矩陣，
Figure 02_image087
代表內積運算，
Figure 02_image078
表示第i個子矩陣。
對於內積運算，表示任意兩個矩陣的矩陣間運算，其可以定義爲：
Figure 02_image090
（5）。
通過上述配置，本發明實施例可以確定形成了第二矩陣的各子矩陣。在卷積層的輸入特徵的第一通道數與第二通道數相同時，第二矩陣即可以爲變換矩陣，在第一通道數和第二通道數不同時，變換矩陣可以根據第一矩陣和第二矩陣確定，此時可以將
Figure 02_image002
維度的長方陣（變換矩陣）用通過單位矩陣連接的第一矩陣和C×C維度的方陣
Figure 02_image061
（第二矩陣）表示，其中，C爲卷積層的輸入特徵的通道數
Figure 02_image004
和輸出特徵的通道數
Figure 02_image006
中較小的數值，即
Figure 02_image094
。
圖9示出根據本發明實施例的訊息處理方法中步驟S103的流程圖，其中，所述基於確定的矩陣單元形成所述卷積層的變換矩陣，包括：
S1031：獲取每個卷積層的輸入特徵的第一通道數和輸出特徵的第二通道數；
S1032：響應於第一通道數大於第二通道數，所述變換矩陣爲第一矩陣和第二矩陣的乘積；
S1033：響應於第一通道數小於第二通道數，所述變換矩陣爲第二矩陣和第一矩陣的乘積。
如上所述，本發明實施例可以獲取構成變換矩陣的第一矩陣和第二矩陣，其中，可以如上述實施例所述基於接收的配置訊息得到該第一矩陣和第二矩陣，也可以經過神經網路的訓練得到該第一矩陣和第二矩陣。其中，在形成各卷積層對應的變換矩陣時，可以首先根據卷積層中輸入特徵的通道數和輸出特徵的通道數確定形成第一矩陣和第二矩陣的方式。
在輸入特徵的通道數（第一通道數）大於輸出特徵的通道數（第二通道數）時，變換矩陣爲第一矩陣乘以第二矩陣的結果。在輸入特徵的通道數小於輸出特徵的通道數時，變換矩陣爲第二矩陣乘以第一矩陣的結果，在輸入特徵和輸出特徵的通道數相同時，則可以通過第一矩陣乘以第二矩陣或者第二矩陣乘以第一矩陣來確定變換矩陣。
對於
Figure 02_image004
和
Figure 02_image006
相等的情況，本發明實施例第二矩陣即可以作爲變換矩陣，在此不作具體說明，下面針對
Figure 02_image004
和
Figure 02_image006
不相等的情況，說明確定構成變換矩陣的第一矩陣和第二矩陣。
當
Figure 02_image004
大於
Figure 02_image006
時，變換矩陣等於第一矩陣
Figure 02_image096
乘以第二矩陣
Figure 02_image061
，此時第一矩陣
Figure 02_image096
的維度爲
Figure 02_image004
×
Figure 02_image006
，第一矩陣的表達式爲
Figure 02_image098
，第二矩陣
Figure 02_image061
的維度爲
Figure 02_image006
×
Figure 02_image006
，其表達式爲
Figure 02_image100
。第一矩陣和第二矩陣均爲0和1中至少一種元素構成的矩陣，對應的，變換矩陣U的表達式即爲：
Figure 02_image102
。其中，第一矩陣
Figure 02_image096
爲由單位矩陣I連接形成，其中I的維度爲
Figure 02_image006
×
Figure 02_image006
，並且單位矩陣I的表達式爲
Figure 02_image104
。例如，在變換矩陣爲圖4中g所示出的條紋矩陣時，
Figure 02_image106
，
Figure 02_image108
，則可以構成出維度爲8×4的第一矩陣
Figure 02_image096
，以及維度爲4×4的第二矩陣
Figure 02_image061
。
當
Figure 02_image004
小於
Figure 02_image006
時，變換矩陣等於第二矩陣
Figure 02_image061
乘以第一矩陣
Figure 02_image110
，其中第一矩陣
Figure 02_image110
的維度爲
Figure 02_image004
×
Figure 02_image006
，第一矩陣的表達式爲
Figure 02_image112
，第二矩陣
Figure 02_image061
的維度爲
Figure 02_image004
×
Figure 02_image004
，其表達式爲
Figure 02_image114
。第一矩陣和第二矩陣均爲0和1中至少一種元素構成的矩陣，對應的，變換矩陣U的表達式即爲：
Figure 02_image116
。其中，第一矩陣
Figure 02_image110
爲由單位矩陣I連接形成，其中I的維度爲
Figure 02_image004
×
Figure 02_image004
，並且單位矩陣I的表達式爲
Figure 02_image119
。
通過上述方式，即可以確定構成變換矩陣的第一矩陣和第二矩陣。其中，如上所述，第一矩陣爲由單位矩陣連接形成，在確定輸入特徵的通道數和輸出特徵的通道數之後，第一矩陣也相應的被確定。在獲知第二矩陣的維度的情況下，還可以進一步確定第二矩陣內的元素值。其中，本發明實施例中的第二矩陣可以由多個子矩陣的函數變換的內積得到。
在一些可能的實施方式中，可以在通過神經網路進行訓練時，學習獲得每個卷積層的門控參數
Figure 02_image065
。或者接收的配置訊息中可以包括爲每個卷積層配置的門控參數，從而經過上述方式既可以確定出每個卷積層對應的變換矩陣，同時將第二矩陣U ̃的參數量從
Figure 02_image121
減少到僅有i個參數。或者，在接收的配置訊息中，也可以僅包括每個卷積層對應的門控參數
Figure 02_image065
，並可以通過上述方式進一步確定各子矩陣以及第二矩陣。
下面針對通過神經網路實現本發明實施例的上述訊息處理方法的示例，說明訓練神經網路的具體步驟。圖10示出根據本發明實施例訓練神經網路的流程圖，其中所述訓練神經網路的步驟，包括：
S41：獲取訓練樣本以及用於監督的真實檢測結果；
在一些可能的實施方式中，訓練樣本可以爲上述輸入訊息類型的樣本數據，如文字訊息、圖像訊息、視訊訊息、語音訊息中的至少一種。用於監督的真實檢測結果爲想要預測的訓練樣本中的真實結果，如圖像中的對象類型，相應對象的位置等等，本發明對此不作具體限定。
S42：利用所述神經網路對所述訓練樣本進行處理，得到預測結果；
在一些可能的實施方式中，可以將訓練樣本中的各樣本數據輸入至神經網路中，通過神經網路中各網路層的運算得到相應的預測結果。其中，神經網路的卷積處理可以基於上述訊息處理的方式執行，即利用預先配置的變換矩陣更新各網路層的卷積核，並利用新的卷積核執行卷積操作。通過神經網路得到處理結果即預測結果。
S43：基於所述預測結果和真實檢測結果對應的損失，反饋調節所述神經網路的網路參數，直至滿足終止條件，所述網路參數包括每個網路層的卷積核和變換矩陣（包括門控參數中的連續值）。
在一些可能的實施方式中，可以利用預設的損失函數得到預測結果和真實檢測結果對應的損失值，在該損失值大於損失閥值時，反饋調節神經網路的網路參數，並利用調整參數後的神經網路重新預測樣本數據對應的預測結果，直至預測結果對應的損失小於損失閥值，即表明神經網路滿足精確度要求，此時可以終止訓練。其中，預設的損失函數可以爲預測結果和真實檢測結果之間的減法運算，即損失值爲預測結果和真實檢測結果之間的差值，在其他實施例中，預設的損失函數也可以爲其他形式，本發明對此不作具體限定。
通過上述方式即可以完成神經網路的訓練，並可以得到爲神經網路中每個卷積層配置的變換矩陣，從而可以完成各卷積層的元卷積運算。
綜上所述，本發明實施例可以將輸入訊息輸入至神經網路執行相應的運算處理，其中在執行神經網路的卷積層的卷積處理時，可以基於爲每個卷積層確定的變換矩陣更新該卷積層的卷積核，並利用新的卷積核完成相應的卷積處理，通過該方式，可以實現爲每個卷積層單獨配置相應的變換矩陣，形成相應的分組效果，該分組不局限於相鄰通道的分組，同時還可以提高神經網路的運算精確度。
另外，本發明實施例的技術方案相比以往技術針對特定任務人爲設定分組數量的缺陷，可以在沒有人爲干預的情況下爲深度神經網路卷積層自主學習出任意的分組卷積方案。以及，本發明實施例不僅可以表達出已有的相鄰分組卷積技術，而且能拓展出任意通道分組方案，增加了不同通道特徵訊息的關聯性，推動了卷積冗餘消除技術的前沿發展。將本發明提出的元卷積方法應用在深度神經網路的任意卷積層上，使網路不同深度的卷積層都能通過學習自主選擇出適應當前特徵表達的通道分組方案，相比傳統整個網路採用單一類型分組卷積的策略更能得到最優性能的模型。另外，本發明還可以利用Kronecker運算將網路參數分解，以一種可微分的端到端訓練方式，使得本發明實施例提出的元卷積方法具有計算量小，參數量小，易於實現和應用等優點。
本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
圖11示出根據本發明實施例的訊息處理裝置的方塊圖，如圖11所示，所述訊息處理裝置包括：
輸入模組10，其用於將接收的輸入訊息輸入至神經網路中；
訊息處理模組20，其用於通過所述神經網路處理所述輸入訊息，其中在通過所述神經網路的卷積層執行卷積處理的情況下，利用爲卷積層配置的變換矩陣更新卷積層的卷積核，以通過更新後的卷積核完成所述卷積層的卷積處理；
輸出模組30，其用於輸出通過所述神經網路處理後的處理結果。
在一些可能的實施方式中，所述訊息處理模組還用於獲取所述卷積層的卷積核的空間維度；
基於所述卷積核的空間維度，對卷積層對應的所述變換矩陣執行複製處理，其中，複製處理的次數由所述卷積核的空間維度確定；
對複製處理後的變換矩陣和所述卷積核執行點乘處理，得到相應卷積層的更新的卷積核。
在一些可能的實施方式中，所述訊息處理模組還用於確定構成卷積層對應的所述變換矩陣的矩陣單元，基於確定的矩陣單元形成所述卷積層的變換矩陣；其中，所述矩陣單元包括第一矩陣和第二矩陣，或者僅包括第二矩陣，其中，響應於所述卷積層的輸入特徵的通道數和輸出特徵的通道數不同，所述卷積層對應的變換矩陣包括第一矩陣和第二矩陣構成，響應於所述卷積層的輸入特徵的通道數和輸出特徵的通道數相同，所述卷積層對應的變換矩陣包括第二矩陣構成，所述第一矩陣由單位矩陣連接形成，所述第二矩陣由多個子矩陣的函數變換的內積得到。
在一些可能的實施方式中，所述訊息處理模組還用於獲取爲每個卷積層配置的門控參數；
基於所述門控參數確定構成所述第二矩陣的子矩陣；
基於確定的所述子矩陣形成所述第二矩陣。
在一些可能的實施方式中，所述訊息處理模組還用於根據接收的配置訊息獲取每個卷積層配置的門控參數；或者
基於所述神經網路的訓練結果，確定卷積層配置的門控參數。
在一些可能的實施方式中，所述訊息處理模組還用於獲取每個卷積層的輸入特徵的第一通道數和輸出特徵的第二通道數；
響應於第一通道數大於第二通道數，所述變換矩陣爲第一矩陣和第二矩陣的乘積；
響應於第一通道數小於第二通道數，所述變換矩陣爲第二矩陣和第一矩陣的乘積。
在一些可能的實施方式中，所述訊息處理模組還用於採用符號函數對所述門控參數進行函數處理，得到二值化向量；
基於所述二值化向量得到二值化門控向量，並基於所述二值化門控向量、第一基礎矩陣和第二基礎矩陣，得到多個所述子矩陣。
在一些可能的實施方式中，所述訊息處理模組還用於將所述二值化向量確定爲所述二值化門控向量；或者
將置換矩陣和所述二值化向量的乘積結果確定爲所述二值化門控向量。
在一些可能的實施方式中，所述訊息處理模組還用於在所述二值化門控向量中的元素爲第一數值的情況下，得到的子矩陣爲全1矩陣；
在所述二值化門控向量中的元素爲第二數值的情況下，得到的子矩陣爲單位矩陣。
在一些可能的實施方式中，所述第一基礎矩陣爲全1矩陣，第二基礎矩陣爲單位矩陣。
在一些可能的實施方式中，所述訊息處理模組還用於對多個所述子矩陣進行內積運算，得到所述第二矩陣。
在一些可能的實施方式中，所述輸入訊息包括：文字訊息、圖像訊息、視訊訊息、語音訊息中的至少一種。
在一些可能的實施方式中，所述變換矩陣的維度爲第一通道數乘以第二通道數，所述第一通道數爲卷積層的輸入特徵的通道數，所述第二通道數爲卷積層的輸出特徵的通道數，並且所述變換矩陣的元素包括0和1中的至少一種。
在一些可能的實施方式中，所述訊息處理模組還用於訓練所述神經網路，其中，訓練所述神經網路的步驟包括：
獲取訓練樣本以及用於監督的真實檢測結果；
利用所述神經網路對所述訓練樣本進行處理，得到預測結果；
基於所述預測結果和真實檢測結果對應的損失，反饋調節所述神經網路的網路參數，直至滿足終止條件，所述網路參數包括每個網路層的卷積核和變換矩陣。
在一些實施例中，本發明實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，爲了簡潔，這裏不再贅述。
本發明實施例還提出一種電腦可讀儲存媒體，其上儲存有電腦程序指令，所述電腦程序指令被處理器執行時實現上述方法。電腦可讀儲存媒體可以是非揮發性電腦可讀儲存媒體。
本發明實施例還提出一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置爲上述方法。
電子設備可以被提供爲終端、伺服器或其它形態的設備。
圖12是根據本發明實施例的一種電子設備的方塊圖。例如，電子設備800可以是行動電話，電腦，數位廣播終端，消息收發設備，遊戲控制台，平板設備，醫療設備，健身設備，個人數位助理等終端。
參照圖12，電子設備800可以包括以下一個或多個組件：處理組件802，記憶體804，電源組件806，多媒體組件808，音訊組件810，輸入/輸出（I/ O）的介面812，感測器組件814，以及通訊組件816。
處理組件802通常控制電子設備800的整體操作，諸如與顯示，電話呼叫，數據通訊，相機操作和記錄操作相關聯的操作。處理組件802可以包括一個或多個處理器820來執行指令，以完成上述的方法的全部或部分步驟。此外，處理組件802可以包括一個或多個模組，便於處理組件802和其他組件之間的交互。例如，處理組件802可以包括多媒體模組，以方便多媒體組件808和處理組件802之間的交互。
記憶體804被配置爲儲存各種類型的數據以支持在電子設備800的操作。這些數據的示例包括用於在電子設備800上操作的任何應用程式或方法的指令，連絡人數據，電話簿數據，消息，圖片，視訊等。記憶體804可以由任何類型的揮發性或非揮發性儲存設備或者它們的組合實現，如靜態隨機存取記憶體（SRAM），電子可抹除可程式唯讀記憶體（EEPROM），可抹除可程式唯讀記憶體（EPROM），可程式唯讀記憶體（PROM），唯讀記憶體（ROM），磁記憶體，快閃記憶體，磁碟或光碟。
電源組件806爲電子設備800的各種組件提供電力。電源組件806可以包括電源管理系統，一個或多個電源，及其他與爲電子設備800生成、管理和分配電力相關聯的組件。
多媒體組件808包括在所述電子設備800和用戶之間的提供一個輸出介面的螢幕。在一些實施例中，螢幕可以包括液晶顯示器（LCD）和觸控面板（TP）。如果螢幕包括觸控面板，螢幕可以被實現爲觸控螢幕，以接收來自用戶的輸入訊號。觸控面板包括一個或多個觸控感測器以感測觸控、滑動和觸控面板上的手勢。所述觸控感測器可以不僅感測觸控或滑動動作的邊界，而且還檢測與所述觸控或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體組件808包括一個前置拍射鏡頭和/或後置拍射鏡頭。當電子設備800處於操作模式，如拍攝模式或視訊模式時，前置拍射鏡頭和/或後置拍射鏡頭可以接收外部的多媒體數據。每個前置拍射鏡頭和後置拍射鏡頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音訊組件810被配置爲輸出和/或輸入音訊訊號。例如，音訊組件810包括一個麥克風（MIC），當電子設備800處於操作模式，如呼叫模式、記錄模式和語音辨識模式時，麥克風被配置爲接收外部音訊訊號。所接收的音訊訊號可以被進一步儲存在記憶體804或經由通訊組件816發送。在一些實施例中，音訊組件810還包括一個揚聲器，用於輸出音訊訊號。
I/ O介面812爲處理組件802和外圍介面模組之間提供介面，上述外圍介面模組可以是鍵盤，點擊輪，按鈕等。這些按鈕可包括但不限於：主頁按鈕、音量按鈕、啓動按鈕和鎖定按鈕。
感測器組件814包括一個或多個感測器，用於爲電子設備800提供各個方面的狀態評估。例如，感測器組件814可以檢測到電子設備800的打開/關閉狀態，組件的相對定位，例如所述組件爲電子設備800的顯示器和小鍵盤，感測器組件814還可以檢測電子設備800或電子設備800一個組件的位置改變，用戶與電子設備800接觸的存在或不存在，電子設備800方位或加速/減速和電子設備800的溫度變化。感測器組件814可以包括接近感測器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器組件814還可以包括光感測器，如CMOS或CCD圖像感測器，用於在成像應用中使用。在一些實施例中，該感測器組件814還可以包括加速度感測器，陀螺儀感測器，磁感測器，壓力感測器或溫度感測器。
通訊組件816被配置爲便於電子設備800和其他設備之間有線或無線方式的通訊。電子設備800可以接入基於通訊標準的無線網路，如WiFi，2G或3G，或它們的組合。在一個示例性實施例中，通訊組件816經由廣播頻道接收來自外部廣播管理系統的廣播訊號或廣播相關訊息。在一個示例性實施例中，所述通訊組件816還包括近場通訊（NFC）模組，以促進短程通訊。例如，在NFC模組可基於射頻辨識（RFID）技術，紅外數據協會（IrDA）技術，超寬帶（UWB）技術，藍牙（BT）技術和其他技術來實現。
在示例性實施例中，電子設備800可以被一個或多個應用專用集成電路（ASIC）、數位訊號處理器（DSP）、數位訊號處理設備（DSPD）、可程式化邏輯裝置（PLD）、可程式化邏輯電路（FPGA）、控制器、微控制器、微處理器或其他電子元件實現，用於執行上述方法。
在示例性實施例中，還提供了一種非揮發性電腦可讀儲存媒體，例如包括電腦程式指令的記憶體804，上述電腦程式指令可由電子設備800的處理器820執行以完成上述方法。
圖13示出根據本發明實施例的一種電子設備的另一方塊圖。例如，電子設備1900可以被提供爲一伺服器。參照圖13，電子設備1900包括處理組件1922，其進一步包括一個或多個處理器，以及由記憶體1932所代表的記憶體資源，用於儲存可由處理組件1922的執行的指令，例如應用程式。記憶體1932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外，處理組件1922被配置爲執行指令，以執行上述方法。
電子設備1900還可以包括一個電源組件1926被配置爲執行電子設備1900的電源管理，一個有線或無線網路介面1950被配置爲將電子設備1900連接到網路，和一個輸入輸出（I/O）介面1958。電子設備1900可以操作基於儲存在記憶體1932的操作系統，例如Windows ServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM或類似。
在示例性實施例中，還提供了一種非揮發性電腦可讀儲存媒體，例如包括電腦程式指令的記憶體1932，上述電腦程式指令可由電子設備1900的處理組件1922執行以完成上述方法。
本發明可以是系統、方法和/或電腦程式産品。電腦程式産品可以包括電腦可讀儲存媒體，其上載有用於使處理器實現本發明的各個方面的電腦可讀程式指令。
電腦可讀儲存媒體可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存媒體例如可以是――但不限於――電儲存設備、磁儲存設備、光儲存設備、電磁儲存設備、半導體儲存設備或者上述的任意合適的組合。電腦可讀儲存媒體的更具體的例子（非窮舉的列表）包括：隨身碟、硬碟、隨機存取記憶體（RAM）、唯讀記憶體（ROM）、可抹除可程式唯讀記憶體（EPROM或閃存）、靜態隨機存取記憶體（SRAM）、光碟唯讀記憶體（CD-ROM）、光碟片（DVD）、記憶棒、軟碟、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裏所使用的電腦可讀儲存媒體不被解釋爲瞬時訊號本身，諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波（例如，通過光纖電纜的光脈衝）、或者通過電線傳輸的電訊號。
這裏所描述的電腦可讀程式指令可以從電腦可讀儲存媒體下載到各個計算/處理設備，或者通過網路、例如因特網、局域網、廣域網和/或無線網下載到外部電腦或外部儲存設備。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、網關電腦和/或邊緣伺服器。每個計算/處理設備中的網路適配卡或者網路介面從網路接收電腦可讀程式指令，並轉發該電腦可讀程式指令，以供儲存在各個計算/處理設備中的電腦可讀儲存媒體中。
用於執行本發明操作的電腦程式指令可以是彙編指令、指令集架構（ISA）指令、機器指令、機器相關指令、微代碼、固件指令、狀態設置數據、或者以一種或多種程式化語言的任意組合編寫的源代碼或目標代碼，所述程式化語言包括面向對象的程式化語言—諸如Smalltalk、C++等，以及常規的過程式程式化語言—諸如“C”語言或類似的程式化語言。電腦可讀程式指令可以完全地在用戶電腦上執行、部分地在用戶電腦上執行、作爲一個獨立的軟體包執行、部分在用戶電腦上部分在遠程電腦上執行、或者完全在遠程電腦或伺服器上執行。在涉及遠程電腦的情形中，遠程電腦可以通過任意種類的網路—包括局域網(LAN)或廣域網(WAN)—連接到用戶電腦，或者，可以連接到外部電腦（例如利用因特網伺服提供商來通過因特網連接）。在一些實施例中，通過利用電腦可讀程式指令的狀態訊息來個性化定制電子電路，例如可程式化邏輯電路、可程式化邏輯電路（FPGA）或可程式化邏輯裝置（PLA），該電子電路可以執行電腦可讀程式指令，從而實現本發明的各個方面。
這裏參照根據本發明實施例的方法、裝置（系統）和電腦程式産品的流程圖和/或方塊圖描述了本發明的各個方面。應當理解，流程圖和/或方塊圖的每個方塊以及流程圖和/或方塊圖中各方塊的組合，都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式化數據處理裝置的處理器，從而生産出一種機器，使得這些指令在通過電腦或其它可程式化數據處理裝置的處理器執行時，産生了實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存媒體中，這些指令使得電腦、可程式化數據處理裝置和/或其他設備以特定方式工作，從而，儲存有指令的電腦可讀媒體則包括一個製造品，其包括實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令加載到電腦、其它可程式化數據處理裝置、或其它設備上，使得在電腦、其它可程式化數據處理裝置或其它設備上執行一系列操作步驟，以産生電腦實現的過程，從而使得在電腦、其它可程式化數據處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作。
附圖中的流程圖和方塊圖顯示了根據本發明的多個實施例的系統、方法和電腦程式産品的可能實現的體系架構、功能和操作。在這點上，流程圖或方塊圖中的每個方塊可以代表一個模組、程式段或指令的一部分，所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作爲替換的實現中，方塊中所標注的功能也可以以不同於附圖中所標注的順序發生。例如，兩個連續的方塊實際上可以基本並行地執行，它們有時也可以按相反的順序執行，這依所涉及的功能而定。也要注意的是，方塊圖和/或流程圖中的每個方塊、以及方塊圖和/或流程圖中的方塊的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。
以上已經描述了本發明的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中的技術的技術改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。
10:輸入模組 20:訊息處理模組 30:輸出模組 802:處理組件 804:記憶體 806:電源組件 808:多媒體組件 810:音訊組件 812:輸入/輸出介面 814:感測器組件 816:通訊組件 820:處理器 1922:處理組件 1926:電源組件 1932:記憶體 1950:網路介面 1958:輸入/輸出介面
此處的附圖被並入說明書中並構成本說明書的一部分，這些附圖示出了符合本發明的實施例，並與說明書一起用於說明本發明的技術方案： 圖1示出根據本發明實施例的訊息處理方法的流程圖； 圖2示出根據本發明實施例的訊息處理方法中更新卷積核的流程圖； 圖3示出現有的常規卷積操作的示意圖； 圖4示出現有的分組卷積的卷積操作的示意圖； 圖5示出根據本發明實施例的不同的變換矩陣的結構示意圖； 圖6示出根據本發明實施例的訊息處理方法中確定變換矩陣的流程圖； 圖7示出根據本發明實施例的訊息處理方法中確定構成卷積層的變換矩陣的第二矩陣的方法流程圖； 圖8示出根據本發明實施例的訊息處理方法中步驟S1012的流程圖； 圖9示出根據本發明實施例的訊息處理方法中步驟S103的流程圖； 圖10示出根據本發明實施例訓練神經網路的流程圖； 圖11示出根據本發明實施例的訊息處理裝置的方塊圖； 圖12示出根據本發明實施例的一種電子設備的方塊圖； 圖13示出根據本發明實施例的一種電子設備的另一方塊圖。

Claims (16)

  1. 一種訊息處理方法，其應用在神經網路中，其中，包括：將接收的輸入訊息輸入至神經網路中，其中，所述輸入訊息包括：圖像訊息、視訊訊息、語音訊息中的至少一種；通過所述神經網路處理所述輸入訊息，其中在通過所述神經網路的卷積層執行卷積處理的情況下，利用為卷積層配置的變換矩陣更新卷積層的卷積核，以通過更新後的卷積核完成所述卷積層的卷積處理，其中，變換矩陣包括經過所述神經網路的訓練得到的參數矩陣；輸出通過所述神經網路處理後的處理結果。
  2. 如請求項1所述的方法，其中，所述利用為卷積層配置的變換矩陣更新卷積層的卷積核，包括：獲取所述卷積層的卷積核的空間維度；基於所述卷積核的空間維度，對卷積層對應的所述變換矩陣執行複製處理，其中，複製處理的次數由所述卷積核的空間維度確定；對複製處理後的變換矩陣和所述卷積核執行點乘處理，得到相應卷積層的更新的卷積核。
  3. 如請求項1或2所述的方法，其中，在通過所述神經網路的卷積層執行卷積處理之前，所述方法還包括：確定構成卷積層對應的所述變換矩陣的矩陣單元，所述矩陣單元包括第一矩陣和第二矩陣，或者僅包括第二矩陣，其中，響應於所述卷積層的輸入特徵的通道數和輸出 特徵的通道數不同，所述卷積層對應的變換矩陣包括第一矩陣和第二矩陣，響應於所述卷積層的輸入特徵的通道數和輸出特徵的通道數相同，所述卷積層對應的變換矩陣包括第二矩陣，所述第一矩陣由單位矩陣連接形成，所述第二矩陣由多個子矩陣的函數變換的內積得到；基於確定的矩陣單元形成所述卷積層的變換矩陣。
  4. 如請求項3所述的方法，其中，確定構成卷積層的變換矩陣的第二矩陣包括：獲取為每個卷積層配置的門控參數；基於所述門控參數確定構成所述第二矩陣的子矩陣；基於確定的所述子矩陣形成所述第二矩陣。
  5. 如請求項4所述的方法，其中，所述獲取為每個卷積層配置的門控參數，包括：根據接收的配置訊息獲取每個卷積層配置的門控參數；或者基於所述神經網路的訓練結果，確定卷積層配置的門控參數。
  6. 如請求項3所述的方法，其中，所述基於確定的矩陣單元形成所述卷積層的變換矩陣，包括：獲取每個卷積層的輸入特徵的第一通道數和輸出特徵的第二通道數；響應於第一通道數大於第二通道數，所述變換矩陣為第一矩陣和第二矩陣的乘積； 響應於第一通道數小於第二通道數，所述變換矩陣為第二矩陣和第一矩陣的乘積。
  7. 如請求項4所述的方法，其中，所述基於所述門控參數確定構成所述第二矩陣的子矩陣，包括：採用符號函數對所述門控參數進行函數處理，得到二值化向量；基於所述二值化向量得到二值化門控向量，並基於所述二值化門控向量、第一基礎矩陣和第二基礎矩陣，得到多個所述子矩陣。
  8. 如請求項7所述的方法，其中，所述基於所述二值化向量得到二值化門控向量，包括：將所述二值化向量確定為所述二值化門控向量；或者將置換矩陣和所述二值化向量的乘積結果確定為所述二值化門控向量。
  9. 如請求項7所述的方法，其中，基於所述二值化門控向量、第一基礎矩陣和第二基礎矩陣，得到多個所述子矩陣，包括：響應於所述二值化門控向量中的元素為第一數值，得到的子矩陣為全1矩陣；響應於所述二值化門控向量中的元素為第二數值，得到的子矩陣為單位矩陣。
  10. 如請求項7所述的方法，其中，所述第一基礎矩陣為全1矩陣，第二基礎矩陣為單位矩陣。
  11. 如請求項4所述的方法，其中，所述基於確定的所述子矩 陣形成所述第二矩陣，包括：對多個所述子矩陣進行內積運算，得到所述第二矩陣。
  12. 如請求項1所述的方法，其中，所述變換矩陣的維度為第一通道數乘以第二通道數，所述第一通道數為卷積層的輸入特徵的通道數，所述第二通道數為卷積層的輸出特徵的通道數，並且所述變換矩陣的元素包括0和1中的至少一種。
  13. 如請求項1所述的方法，其中，所述方法還包括訓練所述神經網路的步驟，其包括：獲取訓練樣本以及用於監督的真實檢測結果；利用所述神經網路對所述訓練樣本進行處理，得到預測結果；基於所述預測結果和真實檢測結果對應的損失，反饋調節所述神經網路的網路參數，直至滿足終止條件，所述網路參數包括每個網路層的卷積核和變換矩陣。
  14. 一種訊息處理裝置，其中，包括：輸入模組，其用於將接收的輸入訊息輸入至神經網路中，其中，所述輸入訊息包括：圖像訊息、視訊訊息、語音訊息中的至少一種；訊息處理模組，其用於通過所述神經網路處理所述輸入訊息，其中在通過所述神經網路的卷積層執行卷積處理的情況下，利用為卷積層配置的變換矩陣更新卷積層的卷積核，以通過更新後的卷積核完成所述卷積層的卷積處理， 其中，變換矩陣包括經過所述神經網路的訓練得到的參數矩陣；輸出模組，其用於輸出通過所述神經網路處理後的處理結果。
  15. 一種電子設備，其中，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為調用所述記憶體儲存的指令，以執行請求項1-13其中任意一項所述的方法。
  16. 一種儲存媒體，其上儲存有電腦程式指令，其中，所述電腦程式指令被處理器執行時實現請求項1-13其中任意一項所述的方法。
TW108144946A 2019-05-21 2019-12-09 訊息處理方法及其裝置、電子設備和儲存媒體 TWI738144B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910425613.2 2019-05-21
CN201910425613.2A CN110188865B (zh) 2019-05-21 2019-05-21 信息处理方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
TW202044068A TW202044068A (zh) 2020-12-01
TWI738144B true TWI738144B (zh) 2021-09-01

Family

ID=67717183

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108144946A TWI738144B (zh) 2019-05-21 2019-12-09 訊息處理方法及其裝置、電子設備和儲存媒體

Country Status (6)

Country Link
US (1) US20210089913A1 (zh)
JP (1) JP7140912B2 (zh)
CN (1) CN110188865B (zh)
SG (1) SG11202012467QA (zh)
TW (1) TWI738144B (zh)
WO (1) WO2020232976A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188865B (zh) * 2019-05-21 2022-04-26 深圳市商汤科技有限公司 信息处理方法及装置、电子设备和存储介质
CN113191377A (zh) * 2020-01-14 2021-07-30 北京京东乾石科技有限公司 用于处理图像的方法和装置
CN113032843B (zh) * 2021-03-30 2023-09-15 北京地平线信息技术有限公司 用于获得和处理带数字签名信息的张量数据的方法和装置
CN113762472A (zh) * 2021-08-24 2021-12-07 北京地平线机器人技术研发有限公司 一种神经网络的指令序列生成方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107993186A (zh) * 2017-12-14 2018-05-04 中国人民解放军国防科技大学 一种基于Winograd算法的3D CNN加速方法及***
CN108288088A (zh) * 2018-01-17 2018-07-17 浙江大学 一种基于端到端全卷积神经网络的场景文本检测方法
CN108537121A (zh) * 2018-03-07 2018-09-14 中国科学院西安光学精密机械研究所 气象环境参数与图像信息融合的自适应遥感场景分类方法
CN108537122A (zh) * 2018-03-07 2018-09-14 中国科学院西安光学精密机械研究所 包含气象参数的图像融合采集***及图像存储方法
US20190065896A1 (en) * 2017-08-23 2019-02-28 Samsung Electronics Co., Ltd. Neural network method and apparatus
US20190130573A1 (en) * 2017-10-30 2019-05-02 Rakuten, Inc. Skip architecture neural network machine and method for improved semantic segmentation
US20190147302A1 (en) * 2017-11-10 2019-05-16 Nvidia Corp. Bilateral convolution layer network for processing point clouds
CN110188865A (zh) * 2019-05-21 2019-08-30 深圳市商汤科技有限公司 信息处理方法及装置、电子设备和存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10576603B2 (en) * 2014-04-22 2020-03-03 Kla-Tencor Corporation Patterned wafer geometry measurements for semiconductor process controls
WO2016090520A1 (en) 2014-12-10 2016-06-16 Xiaogang Wang A method and a system for image classification
CN106326985A (zh) * 2016-08-18 2017-01-11 北京旷视科技有限公司 神经网络训练方法和装置及数据处理方法和装置
US11210584B2 (en) * 2017-01-31 2021-12-28 International Business Machines Corporation Memory efficient convolution operations in deep learning neural networks
CN107633295B (zh) * 2017-09-25 2020-04-28 南京地平线机器人技术有限公司 用于适配神经网络的参数的方法和装置
CN107657314A (zh) 2017-09-26 2018-02-02 济南浪潮高新科技投资发展有限公司 一种基于区间算法的神经网络卷积层设计方法
CN108229679A (zh) * 2017-11-23 2018-06-29 北京市商汤科技开发有限公司 卷积神经网络去冗余方法及装置、电子设备和存储介质
CN108304923B (zh) 2017-12-06 2022-01-18 腾讯科技（深圳）有限公司 卷积运算处理方法及相关产品
CN108416427A (zh) * 2018-02-22 2018-08-17 重庆信络威科技有限公司 卷积核堆积数据流、压缩编码以及深度学习算法
CN108734169A (zh) * 2018-05-21 2018-11-02 南京邮电大学 一种基于全卷积网络改进的场景文本提取方法
CN109165723B (zh) * 2018-08-03 2021-03-19 北京字节跳动网络技术有限公司 用于处理数据的方法和装置
CN109460817B (zh) * 2018-09-11 2021-08-03 华中科技大学 一种基于非易失存储器的卷积神经网络片上学习***
US11449729B2 (en) * 2018-11-08 2022-09-20 Arm Limited Efficient convolutional neural networks
CN109583586B (zh) 2018-12-05 2021-03-23 东软睿驰汽车技术（沈阳）有限公司 一种语音识别或图像识别中的卷积核处理方法及装置
EP3671568A1 (en) * 2018-12-17 2020-06-24 IMEC vzw Binary recurrent neural network inference technique

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190065896A1 (en) * 2017-08-23 2019-02-28 Samsung Electronics Co., Ltd. Neural network method and apparatus
US20190130573A1 (en) * 2017-10-30 2019-05-02 Rakuten, Inc. Skip architecture neural network machine and method for improved semantic segmentation
US20190147302A1 (en) * 2017-11-10 2019-05-16 Nvidia Corp. Bilateral convolution layer network for processing point clouds
CN107993186A (zh) * 2017-12-14 2018-05-04 中国人民解放军国防科技大学 一种基于Winograd算法的3D CNN加速方法及***
CN108288088A (zh) * 2018-01-17 2018-07-17 浙江大学 一种基于端到端全卷积神经网络的场景文本检测方法
CN108537121A (zh) * 2018-03-07 2018-09-14 中国科学院西安光学精密机械研究所 气象环境参数与图像信息融合的自适应遥感场景分类方法
CN108537122A (zh) * 2018-03-07 2018-09-14 中国科学院西安光学精密机械研究所 包含气象参数的图像融合采集***及图像存储方法
CN110188865A (zh) * 2019-05-21 2019-08-30 深圳市商汤科技有限公司 信息处理方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
JP2022500786A (ja) 2022-01-04
CN110188865A (zh) 2019-08-30
SG11202012467QA (en) 2021-01-28
WO2020232976A1 (zh) 2020-11-26
US20210089913A1 (en) 2021-03-25
TW202044068A (zh) 2020-12-01
JP7140912B2 (ja) 2022-09-21
CN110188865B (zh) 2022-04-26

Similar Documents

Publication Publication Date Title
TWI738144B (zh) 訊息處理方法及其裝置、電子設備和儲存媒體
TWI759722B (zh) 神經網路訓練方法及裝置、圖像處理方法及裝置、電子設備和計算機可讀存儲介質
CN109829433B (zh) 人脸图像识别方法、装置、电子设备及存储介质
CN113569797B (zh) 关键点检测方法及装置、电子设备和存储介质
CN111340766B (zh) 目标对象的检测方法、装置、设备和存储介质
CN111581488B (zh) 一种数据处理方法及装置、电子设备和存储介质
TW202105244A (zh) 圖像處理方法及裝置、電子設備和電腦可讀儲存介質
TW202105321A (zh) 圖像處理方法及裝置、電子設備和電腦可讀儲存介質
TW202030648A (zh) 一種目標對象處理方法、裝置、電子設備及儲存介質
TWI721603B (zh) 資料處理方法和資料處理裝置、電子設備和電腦可讀儲存媒體
CN111242303B (zh) 网络训练方法及装置、图像处理方法及装置
CN109635920B (zh) 神经网络优化方法及装置、电子设备和存储介质
CN109145970B (zh) 基于图像的问答处理方法和装置、电子设备及存储介质
CN112668707B (zh) 运算方法、装置及相关产品
KR20220011783A (ko) 심볼 식별 방법 및 장치, 전자 기기 및 저장 매체
TWI733276B (zh) 檢測器的配置方法及裝置、目標檢測方法及裝置、電子設備、電腦可讀儲存媒體和電腦程式
TW202036476A (zh) 圖像處理方法及裝置、電子設備和儲存介質
CN109447258B (zh) 神经网络模型的优化方法及装置、电子设备和存储介质
CN111988622B (zh) 视频预测方法及装置、电子设备和存储介质
CN112259122A (zh) 音频类型识别方法、装置及存储介质
CN111488964B (zh) 图像处理方法及装置、神经网络训练方法及装置
CN110297970B (zh) 信息推荐模型训练方法及装置
CN109635926B (zh) 用于神经网络的注意力特征获取方法、装置及存储介质
CN111046780A (zh) 神经网络训练及图像识别方法、装置、设备和存储介质
CN111626398B (zh) 运算方法、装置及相关产品