TW201626293A - 由知識圖譜偏置的資料分類 - Google Patents

由知識圖譜偏置的資料分類 Download PDF

Info

Publication number
TW201626293A
TW201626293A TW104124589A TW104124589A TW201626293A TW 201626293 A TW201626293 A TW 201626293A TW 104124589 A TW104124589 A TW 104124589A TW 104124589 A TW104124589 A TW 104124589A TW 201626293 A TW201626293 A TW 201626293A
Authority
TW
Taiwan
Prior art keywords
knowledge map
objects
weights
metric
confidence
Prior art date
Application number
TW104124589A
Other languages
English (en)
Inventor
馬俊達爾松迪伯
陶爾里根布萊斯
塔拉泰薩秦薩巴斯
朱利安大衛強納森
安納普瑞迪凡卡塔斯瑞坎塔瑞迪
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201626293A publication Critical patent/TW201626293A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

一種用於分類物件的方法包括向多個物件應用多個置信度值。該方法亦包括基於這多個置信度值來決定度量。該方法進一步包括在該度量高於閾值時，基於知識圖譜來決定這多個物件中的第一物件的分類。

Description

由知識圖譜偏置的資料分類 【相關申請案的交叉引用】
本案依據專利法.§ 119(e)主張於2014年8月19日提出申請的題為「KNOWLEDGE-GRAPH BIASED CLASSIFICATION FOR DATA(由知識圖譜偏置的資料分類)」的美國臨時專利申請案第62/039,329號的權益，其公開內容經由援引全部明確納入於此。
本案的某些態樣一般係關於神經系統工程設計，且尤其係關於由知識圖譜偏置的分類。
可包括一群互連的人工神經元(即神經元模型)的人工神經網路是一種計算設備或者表示將由計算設備執行的方法。人工神經網路可具有生物學神經網路中的對應的結構及/或功能。然而，人工神經網路可為其中傳統計算技術是麻煩的、不切實際的、或不勝任的某些應用提供創新且有用的計算技術。由於人工神經網路能從觀察中推斷出功能，因此此類網路在因任務或資料的複雜度使得經由習知技術來設計 該功能較為麻煩的應用中是特別有用的。取決於資料及/或網路架構的複雜性，神經網路可能不使用模式共現性來進行物件辨識。由此，期望提供基於知識圖譜偏置來分類資料中的物件的神經元形態接收器。
在本案的一個態樣，揭示一種用於分類物件的方法。該方法包括向多個物件應用多個置信度值。該方法亦包括基於這多個置信度值來決定度量。該方法進一步包括在該度量高於閾值時，基於知識圖譜來決定這多個物件中的第一物件的分類。
本案的另一態樣針對一種設備，其包括用於向多個物件應用多個置信度值的裝置。該設備亦包括用於基於這多個置信度值來決定度量的裝置。該設備進一步包括用於在該度量高於閾值時，基於知識圖譜來決定這多個物件中的第一物件的分類的裝置。
在本案的另一態樣，揭示一種用於分類物件的電腦程式產品。該電腦程式產品具有其上記錄有非瞬態程式碼的非瞬態電腦可讀取媒體。該程式碼包括用於向多個物件應用多個置信度值的程式碼。該程式碼亦包括用於基於這多個置信度值來決定度量的程式碼。該程式碼進一步包括用於在該度量高於閾值時，基於知識圖譜來決定這多個物件中的第一物件的分類的程式碼。
本案的另一態樣針對一種用於分類物件的裝置，該裝置具有記憶體和耦合至該記憶體的一或多個處理器。處理 器被配置成向多個物件應用多個置信度值。處理器亦被配置成基於這多個置信度值來決定度量。處理器被進一步配置成在該度量高於閾值時，基於知識圖譜來決定這多個物件中的第一物件的分類。
本案的附加特徵和優點將在下文描述。本發明所屬領域中具有通常知識者應該領會，本案可容易地被用作修改或設計用於實施與本案相同的目的的其他結構的基礎。本發明所屬領域中具有通常知識者亦應認識到，此類等效構造並不脫離所附請求項中所闡述的本案的教導。被認為是本案的特性的新穎特徵在其組織和操作方法兩態樣連同進一步的目的和優點在結合附圖來考慮以下描述時將被更好地理解。然而，要清楚理解的是，提供每一幅附圖均僅用於圖示和描述目的，且無意作為對本案的限定的定義。
100‧‧‧人工神經系統
102‧‧‧神經元級
104‧‧‧神經元級
106‧‧‧經元級
1081‧‧‧輸入信號
1082‧‧‧輸入信號
108N‧‧‧輸入信號
1101‧‧‧輸出尖峰
1102‧‧‧輸出尖峰
110M‧‧‧輸出尖峰
200‧‧‧示圖
202‧‧‧處理單元
2041‧‧‧輸入
204i‧‧‧輸入
204N‧‧‧輸入
2061‧‧‧突觸權重
206i‧‧‧突觸權重
206N‧‧‧突觸權重
208‧‧‧輸出信號
300‧‧‧示圖
302‧‧‧部分
304‧‧‧部分
306‧‧‧交越點
400‧‧‧模型
402‧‧‧負態相
404‧‧‧正態相
500‧‧‧影像
502‧‧‧滑鼠
504‧‧‧鍵盤
506‧‧‧PC監視器
700‧‧‧實現
702‧‧‧通用處理器
704‧‧‧記憶體塊
706‧‧‧程式記憶體
800‧‧‧記憶體塊
802‧‧‧記憶體
804‧‧‧互連網路
808‧‧‧互連網路
900‧‧‧實現
902‧‧‧記憶體組
904‧‧‧處理單元
1000‧‧‧神經網路
1002‧‧‧局部處理單元
1004‧‧‧局部狀態記憶體
1006‧‧‧局部參數記憶體
1010‧‧‧局部模型程式的局部(神經元)模型程式(LMP)記憶體
1012‧‧‧局部連接記憶體
1014‧‧‧配置處理器單元
1016‧‧‧路由連接處理單元
1100‧‧‧方法
1102‧‧‧方塊
1104‧‧‧方塊
1106‧‧‧方塊
在結合附圖理解下面闡述的詳細描述時，本案的特徵、本質和優點將變得更加明顯，在附圖中，相同元件符號始終作相應標識。
圖1圖示了根據本案的某些態樣的實例神經元網路。
圖2圖示了根據本案的某些態樣的計算網路(神經系統或神經網路)的處理單元(神經元)的實例。
圖3圖示了根據本案的某些態樣的尖峰定時依賴可塑性(STDP)曲線的實例。
圖4圖示了根據本案的某些態樣的用於定義神經元模型的行為的正態相和負態相的實例。
圖5圖示了被捕捉以供物件辨識系統處理的影像的實例。
圖6圖示了根據本案的一態樣的知識圖譜的實例。
圖7圖示了根據本案的某些態樣的使用通用處理器來設計神經網路的實例實現。
圖8圖示了根據本案的某些態樣的設計其中記憶體可以與個體分散式處理單元對接的神經網路的實例實現。
圖9圖示了根據本案的某些態樣的基於分散式記憶體和分散式處理單元來設計神經網路的實例實現。
圖10圖示了根據本案的某些態樣的神經網路的實例實現。
圖11是圖示根據本案的一態樣的用於分類物件的方法的流程圖。
以下結合附圖闡述的詳細描述意欲作為各種配置的描述，而無意表示可實踐本文中所描述的概念的僅有的配置。本詳細描述包括具體細節以便提供對各種概念的透徹理解。然而，對於本發明所屬領域中具有通常知識者將顯而易見的是，沒有這些具體細節亦可實踐這些概念。在一些例子中，以方塊圖形式示出眾所周知的結構和元件以避免湮沒此類概念。
基於本教導，本發明所屬領域中具有通常知識者應領會，本案的範疇意欲覆蓋本案的任何態樣，不論其是與本案的任何其他態樣相獨立地還是組合地實現的。例如，可以 使用所闡述的任何數目的態樣來實現裝置或實踐方法。另外，本案的範疇意欲覆蓋使用作為所闡述的本案的各個態樣的補充或者與之不同的其他結構、功能性、或者結構及功能性來實踐的此類裝置或方法。應當理解，所揭示的本案的任何態樣可由請求項的一或多個元素來實施。
措辭「示例性」在本文中用於表示「用作實例、例子或圖示」。本文中描述為「示例性」的任何態樣不必被解釋為優於或勝過其他態樣。
儘管本文描述了特定態樣，但這些態樣的眾多變體和置換落在本案的範疇之內。儘管提到了優選態樣的一些益處和優點，但本案的範疇並非意欲被限定於特定益處、用途或目標。相反，本案的各態樣意欲能寬泛地應用於不同的技術、系統組態、網路和協定，其中一些作為實例在附圖以及以下對優選態樣的描述中圖示。詳細描述和附圖僅僅圖示本案而非限定本案，本案的範疇由所附請求項及其等效技術方案來定義。
實例神經系統、訓練及操作
圖1圖示了根據本案的某些態樣的具有多級神經元的實例人工神經系統100。神經系統100可具有神經元級102，該神經元級102經由突觸連接網路104(亦即，前饋連接)來連接到另一神經元級106。為簡單起見，圖1中僅圖示了兩級神經元，儘管神經系統中可存在更少或更多級神經元。應注意，一些神經元可經由側向連接來連接至同層中的其他神經元。此外，一些神經元可經由回饋連接來後向連接至先前層 中的神經元。
如圖1所圖示的，級102中的每一個神經元可以接收可由前級的神經元(未在圖1中示出)產生的輸入信號108。信號108可表示級102的神經元的輸入電流。該電流可在神經元膜上累積以對膜電位進行充電。當膜電位達到其閾值時，該神經元可激發並產生輸出尖峰，該輸出尖峰將被傳遞到下一級神經元(例如，級106)。在一些建模辦法中，神經元可以連續地向下一級神經元傳遞信號。該信號通常是膜電位的函數。此類行為可在硬體及/或軟體(包括類比和數位實現，諸如以下所述那些實現)中進行模擬或模仿。
在生物學神經元中，在神經元激發時產生的輸出尖峰被稱為動作電位。該電信號是相對迅速、瞬態的神經脈衝，其具有約為100mV的振幅和約為1ms的歷時。在具有一系列連通的神經元(例如，尖峰從圖1中的一級神經元傳遞至另一級神經元)的神經系統的特定實施例中，每個動作電位皆具有基本上相同的振幅和歷時，並且因此該信號中的資訊可僅由尖峰的頻率和數目、或尖峰的時間來表示，而不由振幅來表示。動作電位所攜帶的資訊可由尖峰、發放了尖峰的神經元、以及該尖峰相對於一個或數個其他尖峰的時間來決定。尖峰的重要性可由向各神經元之間的連接所應用的權重來決定，如以下所解釋的。
尖峰從一級神經元向另一級神經元的傳遞可經由突觸連接(或簡稱「突觸」)網路104來達成，如圖1中所圖示的。相對於突觸104，級102的神經元可被視為突觸前神經元， 而級106的神經元可被視為突觸後神經元。突觸104可接收來自級102的神經元的輸出信號(亦即，尖峰)，並根據可調節突觸權重、...、來按比例縮放那些信號，其中P是級102的神經元與級106的神經元之間的突觸連接的總數，並且i是神經元級的指示符。在圖1的實例中，i表示神經元級102並且i+1表示神經元級106。此外，經按比例縮放的信號可被組合以作為級106中每個神經元的輸入信號。級106之每一者神經元可基於對應的組合輸入信號來產生輸出尖峰110。可使用另一突觸連接網路(圖1中未圖示)將這些輸出尖峰110傳遞到另一級神經元。
生物學突觸可以仲裁突觸後神經元中的興奮性或抑制性(超級化)動作，並且亦可用於放大神經元信號。興奮性信號使膜電位去極化(亦即，相對於靜息電位增大膜電位)。若在某個時間段內接收到足夠的興奮性信號以使膜電位去極化到高於閾值，則在突觸後神經元中發生動作電位。相反，抑制性信號一般使膜電位超極化(亦即，降低膜電位)。抑制性信號若足夠強則可抵消掉興奮性信號之和並阻止膜電位到達閾值。除了抵消掉突觸興奮以外，突觸抑制亦可對自發活躍神經元施加強力的控制。自發活躍神經元是指在沒有進一步輸入的情況下(例如，由於其動態或回饋而)發放尖峰的神經元。經由壓制這些神經元中的動作電位的自發產生，突觸抑制可對神經元中的激發模式進行定形，這一般被稱為雕刻。取決於期望的行為，各種突觸104可充當興奮性或抑制性突觸的任何組合。
神經系統100可由通用處理器、數位訊號處理器(DSP)、特殊應用積體電路(ASIC)、現場可程式設計閘陣列(FPGA)或其他可程式設計邏輯裝置(PLD)、個別閘或電晶體邏輯、個別的硬體元件、由處理器執行的軟體模組、或其任何組合來模擬。神經系統100可用在大範圍的應用中，諸如影像和模式辨識、機器學習、電機控制、及類似應用等。神經系統100中的每一神經元可被實現為神經元電路。被充電至發起輸出尖峰的閾值的神經元膜可被實現為例如對流經其的電流進行積分的電容器。
在一態樣，電容器作為神經元電路的電流積分裝置可被除去，並且可使用較小的憶阻器元件來替代它。這種辦法可應用於神經元電路中，以及其中大容量電容器被用作電流積分器的各種其他應用中。另外，每個突觸104可基於憶阻器元件來實現，其中突觸權重變化可與憶阻器電阻的變化有關。使用奈米特徵尺寸的憶阻器，可顯著地減小神經元電路和突觸的面積，這可使得實現大規模神經系統硬體實現更為切實可行。
對神經系統100進行模擬的神經處理器的功能性可取決於突觸連接的權重，這些權重可控制神經元之間的連接的強度。突觸權重可儲存在非揮發性記憶體中以在掉電之後保留該處理器的功能性。在一態樣，突觸權重記憶體可實現在與主神經處理器晶片分開的外部晶片上。突觸權重記憶體可與神經處理器晶片分開地封裝成可更換的儲存卡。這可向神經處理器提供多種多樣的功能性，其中特定功能性可基於 當前附連至神經處理器的儲存卡中所儲存的突觸權重。
圖2圖示了根據本案的某些態樣的計算網路(例如，神經系統或神經網路)的處理單元(例如，神經元或神經元電路)202的示例性示圖200。例如，神經元202可對應於來自圖1的級102和106的任何神經元。神經元202可接收多個輸入信號2041-204N，這些輸入信號可以是該神經系統外部的信號、或是由同一神經系統的其他神經元所產生的信號、或這兩者。輸入信號可以是電流、電導、電壓、實數值的及/或複數值的。輸入信號可包括具有定點或浮點表示的數值。可經由突觸連接將這些輸入信號遞送到神經元202，突觸連接根據可調節突觸權重2061-206N(W1-WN)對這些信號進行按比例縮放，其中N可以是神經元202的輸入連接總數。
神經元202可組合這些經按比例縮放的輸入信號，並且使用組合的經按比例縮放的輸入來產生輸出信號208(亦即，信號Y)。輸出信號208可以是電流、電導、電壓、實數值的及/或複數值的。輸出信號可以是具有定點或浮點表示的數值。隨後該輸出信號208可作為輸入信號傳遞至同一神經系統的其他神經元、或作為輸入信號傳遞至同一神經元202、或作為該神經系統的輸出來傳遞。
處理單元(神經元)202可由電路來模擬，並且其輸入和輸出連接可由具有突觸電路的電連接來模擬。處理單元202及其輸入和輸出連接亦可由軟體代碼來模擬。處理單元202亦可由電路來模擬，而其輸入和輸出連接可由軟體代碼來模擬。在一態樣，計算網路中的處理單元202可以是類比電路 。在另一態樣，處理單元202可以是數位電路。在又一態樣，處理單元202可以是具有類比和數位元件兩者的混合信號電路。計算網路可包括任何前述形式的處理單元。使用此類處理單元的計算網路(神經系統或神經網路)可用在大範圍的應用中，諸如影像和模式辨識、機器學習、電機控制、及類似應用等。
在神經網路的訓練程序期間，突觸權重(例如，來 自圖1的權重、...、及/或來自圖2的權重2061-206N)可用隨機值來初始化並根據學習規則而被增大或減小。本發明所屬領域中具有通常知識者將領會，學習規則的實例包括但不限於尖峰定時依賴可塑性(STDP)學習規則、Hebb規則、Oja規則、Bienenstock-Copper-Munro(BCM)規則等。在一些態樣，這些權重可穩定或收斂至兩個值(亦即，權重的雙峰分佈)之一。該效應可被用於減少每個突觸權重的位數、提高從/向儲存突觸權重的記憶體讀取和寫入的速度、以及降低突觸記憶體的功率及/或處理器消耗。
突觸類型
在神經網路的硬體和軟體模型中，突觸相關功能的處理可基於突觸類型。突觸類型可以是非可塑突觸(權重和延遲沒有改變)、可塑突觸(權重可改變)、結構化延遲可塑突觸(權重和延遲可改變)、全可塑突觸(權重、延遲和連通性可改變)、以及基於此的變型(例如，延遲可改變，但在權重或連通性態樣沒有改變)。多種類型的優點在於處理可以被細分。例如，非可塑突觸不會使用待執行的可塑性功能(或 等待此類功能完成)。類似地，延遲和權重可塑性可被細分成可一起或分開地、順序地或並行地運作的操作。不同類型的突觸對於適用的每一種不同的可塑性類型可具有不同的查閱資料表或公式以及參數。因此，這些方法將針對該突觸的類型來存取相關的表、公式或參數。
亦進一步牽涉到以下事實：尖峰定時依賴型結構化可塑性可獨立於突觸可塑性地來執行。結構化可塑性即使在權重幅值沒有改變的情況下(例如，若權重已達最小或最大值、或者其由於某種其他原因而不被改變)亦可被執行，因為結構化可塑性(亦即，延遲改變的量)可以是pre-post(前-後)尖峰時間差的直接函數。替換地，結構化可塑性可被設為權重變化量的函數或者可基於與權重或權重變化的界限有關的條件來設置。例如，突觸延遲可僅在權重變化發生時或者在權重到達0的情況下才改變，但在這些權重為最大值時則不改變。然而，具有獨立函數以使得這些程序能被並行化從而減少記憶體存取的次數和交疊可能是有利的。
突觸可塑性的決定
神經元可塑性(或簡稱「可塑性」)是大腦中的神經元和神經網路回應於新的資訊、感官刺激、發展、損壞、或機能障礙而改變其突觸連接和行為的能力。可塑性對於生物學中的學習和記憶、以及對於計算神經元科學和神經網路是重要的。已經研究了各種形式的可塑性，諸如突觸可塑性(例如，根據Hebbian理論)、尖峰定時依賴可塑性(STDP)、非突觸可塑性、活躍性依賴可塑性、結構化可塑性和自穩態可 塑性。
STDP是調節神經元之間的突觸連接的強度的學習程序。連接強度是基於特定神經元的輸出與收到輸入尖峰(亦即，動作電位)的相對定時來調節的。在STDP程序下，若至某個神經元的輸入尖峰平均而言傾向於緊挨在該神經元的輸出尖峰之前發生，則可發生長期增強(LTP)。於是使得該特定輸入在一定程度上更強。另一態樣，若輸入尖峰平均而言傾向於緊接在輸出尖峰之後發生，則可發生長期抑壓(LTD)。於是使得該特定輸入在一定程度上更弱，並由此得名「尖峰定時依賴可塑性」。因此，使得可能是突觸後神經元興奮原因的輸入甚至在將來作出貢獻的可能性更大，而使得不是突觸後尖峰的原因的輸入在將來作出貢獻的可能性更小。該程序繼續，直至初始連接集合的子集保留，而所有其他連接的影響減小至無關緊要的水平。
由於神經元一般在其許多輸入皆在一短時段內發生(亦即，累積性足以引起輸出)時產生輸出尖峰，因此通常保留下來的輸入子集包括傾向於在時間上相關的彼等輸入。另外，由於在輸出尖峰之前發生的輸入被加強，因此提供對相關性的最早充分累積性指示的那些輸入將最終變成至該神經元的最後輸入。
STDP學習規則可因變於突觸前神經元的尖峰時間t 前與突觸後神經元的尖峰時間t 後之間的時間差(亦即，)t=t 後-t 前來有效地適配將該突觸前神經元連接到該突觸後神經元的突觸的突觸權重。STDP的典型公式化是若該時間差為 正(突觸前神經元在突觸後神經元之前激發)則增大突觸權重(亦即，增強該突觸)，以及若該時間差為負(突觸後神經元在突觸前神經元之前激發)則減小突觸權重(亦即，抑壓該突觸)。
在STDP程序中，突觸權重隨時間推移的改變可通常使用指數式衰退來達成，如由下式提供的： 其中k +和分別是針對正和負時間差的時間常數，a +和a -是對應的比例縮放幅值，並且μ是可應用於正時間差及/或負時間差的偏移。
圖3圖示了根據STDP，突觸權重作為突觸前(presynaptic)和突觸後(postsynaptic)尖峰的相對定時的函數而改變的示例性示圖300。若突觸前神經元在突觸後神經元之前激發，則對應的突觸權重可被增大，如曲線圖300的部分302中所圖示的。該權重增大可被稱為該突觸的LTP。從曲線圖部分302可觀察到，LTP的量可因變於突觸前和突觸後尖峰時間之差而大致呈指數式地下降。相反的激發次序可減小突觸權重，如曲線圖300的部分304中所圖示的，從而導致該突觸的LTD。
如圖3中的曲線圖300中所圖示的，可向STDP曲線圖的LTP(因果性)部分302應用負偏移μ。x軸的交越點306(y=0)可被配置成與最大時間滯後重合以考慮到來自層i-1的各因果性輸入的相關性。在基於訊框的輸入(亦即，呈特定歷時 的包括尖峰或脈衝的訊框的形式的輸入)的情形中，可計算偏移值μ以反映訊框邊界。該訊框中的第一輸入尖峰(脈衝)可被視為要麼如直接由突觸後電位所建模地隨時間衰退，要麼在對神經狀態的影響的意義上隨時間衰退。若該訊框中的第二輸入尖峰(脈衝)被視為與特定的時間訊框相關或有關，則該訊框之前和之後的有關時間可經由使STDP曲線的一或多個部分偏移以使得這些有關時間中的值可以不同(例如，對於大於一個訊框為負，而對於小於一個訊框為正)來在該時間訊框邊界處被分開並在可塑性意義上被不同地對待。例如，負偏移μ可被設為偏移LTP以使得曲線實際上在大於訊框時間的pre-post時間處變得低於零並且它由此為LTD而非LTP的一部分。
神經元模型及操作
存在一些用於設計有用的尖峰發放神經元模型的一般原理。良好的神經元模型在以下兩個計算態相(regime)態樣可具有豐富的潛在行為：重合性偵測和功能性計算。此外，良好的神經元模型應當具有允許時間編碼的兩個要素：輸入的抵達時間影響輸出時間，以及重合性偵測能具有窄時間窗。最後，為了在計算上是有吸引力的，良好的神經元模型在連續時間上可具有封閉形式解，並且具有穩定的行為，包括在靠近吸引子和鞍點之處。換言之，有用的神經元模型是可實踐且可被用於建模豐富的、現實的且生物學一致的行為並且可被用於對神經電路進行工程設計和反向工程兩者的神經元模型。
神經元模型可取決於事件，諸如輸入抵達、輸出尖峰或其他事件，無論這些事件是內部的還是外部的。為了達成豐富的行為庫，能展現複雜行為的狀態機可能是期望的。若事件本身的發生在撇開輸入貢獻(若有)的情況下能影響狀態機並約束該事件之後的動態，則該系統的將來狀態並非僅是狀態和輸入的函數，而是狀態、事件和輸入的函數。
在一態樣，神經元n可被建模為尖峰帶洩漏積分激發神經元，其膜電壓v n (t)由以下動態來支配： 其中α和β是參數，w m,n 是將突觸前神經元m連接至突觸後神經元n的突觸的突觸權重，以及y m (t)是神經元m的尖峰發放輸出，其可根據△t m,n 被延遲達樹突或軸突延遲才抵達神經元n的胞體。
應注意，從建立了對突觸後神經元的充分輸入的時間直至該突觸後神經元實際上激發的時間存在延遲。在動態尖峰發放神經元模型(諸如Izhikevich簡單模型)中，若在去極化閾值v t 與峰值尖峰電壓v 峰值之間有差量，則可引發時間延遲。例如，在該簡單模型中，神經元胞體動態可由關於電壓和恢復的微分方程對來支配，即： 其中v是膜電位，u是膜恢復變數，k是描述膜電位v的時間尺度的參數，a是描述恢復變數u的時間尺度的參數，b是描述恢 復變數u對膜電位v的閾下波動的敏感度的參數，v r 是膜靜息電位，I是突觸電流，以及C是膜的電容。根據該模型，神經元被定義為在v>v 峰值時發放尖峰。
Hunzinger Cold模型
Hunzinger Cold神經元模型是能再現豐富多樣的各種神經行為的最小雙態相尖峰發放線性動態模型。該模型的一維或二維線性動態可具有兩個態相，其中時間常數(以及耦合)可取決於態相。在閾下態相中，時間常數(按照慣例為負)表示洩漏通道動態，其一般作用於以生物學一致的線性方式使細胞返回到靜息。閾上態相中的時間常數(按照慣例為正)反映抗洩漏通道動態，其一般驅動細胞發放尖峰，而同時在尖峰產生中引發等待時間。
如圖4中所圖示的，該模型400的動態可被劃分成兩個(或更多個)態相。這些態相可被稱為負態相402(亦可互換地稱為帶洩漏積分激發(LIF)態相，勿與LIF神經元模型混淆)以及正態相404(亦可互換地稱為抗洩漏積分激發(ALIF)態相，勿與ALIF神經元模型混淆)。在負態相402中，狀態在將來事件的時間趨向於靜息(v -)。在該負態相中，該模型一般展現出時間輸入偵測性質及其他閾下行為。在正態相404中，狀態趨向於尖峰發放事件(v s )。在該正態相中，該模型展現出計算性質，諸如取決於後續輸入事件而引發發放尖峰的等待時間。在事件態樣對動態進行公式化以及將動態分成這兩個態相是該模型的基礎特性。
線性雙態相二維動態(對於狀態v和u)可按照慣例 定義為：
其中q ρ 和r是用於耦合的線性變換變數。
符號ρ在本文中用於標示動態態相，在討論或表達具體態相的關係時，按照慣例對於負態相和正態相分別用符號「-」或「+」來替換符號ρ。
模型狀態經由膜電位(電壓)v和恢復電流u來定義。在基本形式中，態相在本質上是由模型狀態來決定的。該精確和通用的定義存在一些細微卻重要的態樣，但目前考慮該模型在電壓v高於閾值(v +)的情況下處於正態相404中，否則處於負態相402中。
態相依賴型時間常數包括負態相時間常數τ -和正態相時間常數τ +。恢復電流時間常數τ u 通常是與態相無關的。出於方便起見，負態相時間常數τ -通常被指定為反映衰退的負量，從而用於電壓演變的相同運算式可用於正態相，在正態相中指數和τ +將一般為正，正如τ u 那樣。
這兩個狀態元素的動態可在發生事件之際經由使狀態偏離其零傾線(null-cline)的變換來耦合，其中變換變數為：q ρ =-τ ρ βu-v ρ (7)
r=δ(v+ε), (8)其中δ、ε、β和v -、v +是參數。v ρ 的兩個值是這兩個態相的參 考電壓的基數。參數v -是負態相的基電壓，並且膜電位在負態相中一般將朝向v -衰退。參數v +是正態相的基電壓，並且膜電位在正態相中一般將趨向於背離v +。
v和u的零傾線分別由變換變數q ρ 和r的負數提供。參數δ是控制u零傾線的斜率的比例縮放因數。參數ε通常被設為等於-v -。參數β是控制這兩個態相中的v零傾線的斜率的電阻值。τ ρ 時間常數參數不僅控制指數式衰退，亦單獨地控制每個態相中的零傾線斜率。
該模型可被定義為在電壓v達到值v s 時發放尖峰。隨後，狀態可在發生重定事件(其可以與尖峰事件完全相同)之際被復位：
u=u+△u， (10)其中和△u是參數。重定電壓通常被設為v -。
依照暫態耦合的原理，封閉形式解不僅對於狀態是可能的(且具有單個指數項)，而且對於到達特定狀態的時間亦是可能的。封閉形式狀態解為：
因此，模型狀態可僅在發生事件之際被更新，諸如在輸入(突觸前尖峰)或輸出(突觸後尖峰)之際被更新。亦可在任何特定的時間(無論是否有輸入或輸出)執行操作。
而且，依照暫態耦合原理，突觸後尖峰的時間可被預計，因此到達特定狀態的時間可提前被決定而無需反覆運算技術或數值方法(例如，歐拉數值方法)。給定了先前電壓狀態v 0，直至到達電壓狀態v f 之前的時間延遲由下式提供：
若尖峰被定義為發生在電壓狀態v到達v s 的時間，則從電壓處於給定狀態v的時間起量測的直至發生尖峰前的時間量或即相對延遲的封閉形式解為： 其中通常被設為參數v +，但其他變型可以是可能的。
模型動態的以上定義取決於該模型是在正態相還是負態相中。如所提及的，耦合和態相ρ可基於事件來計算。出於狀態傳播的目的，態相和耦合(變換)變數可基於在上一(先前)事件的時間的狀態來定義。出於隨後預計尖峰輸出時間的目的，態相和耦合變數可基於在下一(當前)事件的時間的狀態來定義。
存在對該Cold模型、以及在時間上執行模仿、模擬、或建模的若干可能實現。這包括例如事件-更新、步階-事件更新、以及步階-更新模式。事件更新是其中基於事件或「事件更新」(在特定時刻)來更新狀態的更新。步階更新是以間隔(例如，1ms)來更新模型的更新。這不一定利用反覆運算方法或數值方法。經由僅在事件發生於步階處或步階間的 情況下才更新模型或即經由「步階-事件」更新，基於事件的實現以有限的時間解析度在基於步階的模仿器中實現亦是可能的。
針對嚴重有噪資料的穩健性而由知識圖譜偏置的分類
習知的物件辨識系統包括影像預處理階段、特徵提取階段、以及分類階段。具體地，在習知的物件辨識系統中，影像預處理階段被指定用於預處理影像和該影像內的片段特徵。
在本案中，分段是指決定影像中的物件周圍的邊界。例如，影像可包括椅子、桌子和燈。這些物件中的每一者可被分段。針對前述物件中的每一者的片段可以是例如包圍屬於該物件的所有圖元的最小矩形。
在預處理該影像之後，特徵提取階段從經預處理的影像中提取特徵。在本案中，特徵可被稱為物件，諸如面部、監視器、鍵盤、及/或可被拍照的其他物件。此外，在提取特徵之後，分類器可對所提取的特徵進行分類。亦即，分類將一或多個可能的類應用於每個所提取的物件。亦應注意，在本案中，類可被稱為標記或類別。附加地或替換地，分類器被指定用於基於所提取的特徵來分類整個影像或該影像的子集。例如，影像可被分類為日落。
圖5圖示了可經由物件辨識系統來分類的影像500的實例。如圖5中所示，影像500包括PC監視器506、鍵盤504和滑鼠502。由此，基於習知的物件辨識系統的各階段，所提取的物件為PC監視器506、鍵盤504和滑鼠502。作為實例，針對 所提取的PC監視器物件的推斷類可以是PC監視器、TV、及/或窗。作為另一實例，針對所提取的鍵盤物件的推斷類可以是鍵盤、淺盤、和餐具墊。
此外，分類器針對從每個物件推斷出的一或多個類提供置信度量。置信度量可基於提供給網路的訓練。在本案中，置信度量可被稱為置信度、置信度評分、及/或置信度值。在一個實例中，從特徵提取器提取的物件可以是PC監視器，並且針對PC監視器的分類器輸出可以是：PC監視器：50%，TV：40%，窗：10%。亦即，網路有50%的置信度相信該物件是PC監視器，有40%的置信度相信該對像是TV，而有10%的置信度相信該對像是窗。在該實例中，PC監視器、TV和窗是根據從影像中提取的物件來推斷的類。
另外，在一種配置中，最高置信度與次最高置信度之間的差異可被用作混淆度量。具體地，在該配置中，混淆度量即混淆性與兩個置信度量之間的差異反相關。亦即，兩個置信度評分之間的低差異導致高混淆性。例如，在前面的實例中，針對PC監視器(50%)和TV(40%)的置信度量之間的差異小於針對PC監視器(50%)和窗(10%)的置信度量之間的差異。由此，在前面的實例中，相比於關於所提取的物件是PC監視器還是窗的混淆性，關於所提取的對像是PC監視器還是TV有較大混淆性。
在一種配置中，對於給定物件，針對每個所預測類的置信度對於k個預測按降冪為P1、P2、...、Pk。附加地或替換地，混淆度量可如下決定： 分類器混淆值=P1-P2 (15)
分類器混淆值=(P1-P2)/(P1+P2) (16)
分類器混淆值=P1/中值(P1,P2,...,Pk) (17)
分類器混淆值=P1/均值(P1,P2,...,Pk) (18)
在式15-18中，分類器混淆值與混淆性反相關。亦即，較低的分類器混淆值可指示高混淆性。
如先前所討論的，度量可基於提供給網路的訓練。由此，在一些情形中，若網路尚未關於一物件被訓練，則可向該物件賦予低置信度。附加地或替換地，錯誤類可能接收到最高置信度評分。在一些情形中，低影像品質、遮蔽、物件的不良分段、及/或其他因素可能導致高置信度量被不正確地指派給類。例如，如圖5中所示，PC監視器的僅部分影像被捕捉到。由此，在圖5的實例中，相比於指派給正確類(諸如PC監視器)的置信度，物件辨識系統可能向錯誤類(諸如窗)指派較高置信度。
表1提供了向針對從影像中提取的物件所推斷的類指派的置信度的實例。在該實例中，表1的置信度量可基於圖5的實例，其中PC監視器506部分地顯示在該影像中。如表1中所示，針對監視器的分類器輸出為：窗：40%，監視器：35%，TV：25%。亦即，網路推斷所提取的PC監視器物件要麼是窗，要麼是監視器，要麼是TV。此外，網路有40%的置信度相信所提取的PC監視器對像是窗，有35%的置信度相信所提取的PC監視器對像是監視器，而有25%的置信度相信所提取的PC監視器對像是TV。
對於表1，當存在其他三個物件為CPU(圖5中未圖示)、滑鼠和鍵盤的高置信度時，網路並未考慮所提取的PC監視器對像是PC監視器的概率。因此，在表1的實例中，相比於該物件是監視器的置信度，該對像是窗的置信度更大。
在大多數情形中，人類觀察者可以基於影像中被遮擋的物件與未被遮擋的物件的關聯來準確地決定影像中被遮擋的物件。例如，人類觀察者可基於監視器與未被遮擋的物件(諸如CPU、滑鼠、及/或鍵盤)的關聯而辨識出被遮擋的監視器。關聯知識基於常常與其他物件一起出現的物件的關聯性映射。
本案的各態樣針對產生指示環境中的不同物件的共存性概率的知識圖譜。另外，本案的各態樣亦針對基於知識圖譜來偏置分類器的輸出。此外，本案的各態樣進一步針對基於分類器的輸出來更新現有知識圖譜。
應注意，習知系統可構建貝氏信念網路。例如，可在從英語詞彙詞典匯出的知識圖譜上構建分層資料庫。此外 ，其他習知系統隨著延長的使用而改進分類結果。儘管如此，習知系統不使用在網路的訓練期間動態地學習的基於知識圖譜的分類系統。
本案的各態樣經由將分類器與並行輪詢機制解耦來提供了靈活性。附加地或替換地，並行輪詢機制被耦合至分類器以基於知識圖譜輸出來修改分類器權重。
在一種配置中，基於知識圖譜的分類系統標記被遮蔽及/或背朝相機的人(或物件)。在一些情形中，使用者可能傾向於與來自特定群(諸如朋友及/或家人)的一或多個人一起拍照。隨時間推移，知識圖譜將該使用者與特定個人相關聯。亦即，知識圖譜基於隨時間推移拍攝的照片來偏置與特定個人的關聯。因此，在一種配置中，基於該關聯，根據針對群影像中的特定個人與該影像中的其他個人的關聯的知識圖譜偏置來標記該特定個人。更具體地，即使在該個人的影像被遮擋及/或有噪時，該個人亦可被標記。
在另一配置中，基於知識圖譜的分類系統標記經由影像捕捉設備(諸如頭戴式顯示器)捕捉的快速移動影像。由於一些影像捕捉設備(諸如頭戴式顯示器)的本質，一些所捕捉的影像可能部分地在相機的視野中及/或可能僅在相機的視野中達較小時間段。亦即，一些所捕捉的影像可能沒有良好地分框。
因此，在該配置中，經由知識圖譜來獲得部分地在影像捕捉設備的視野中及/或在影像捕捉設備的視野外的物件的可能標記。應注意，不在影像捕捉設備的視野中的物件可 能在使用者的相關環境中。可針對影像捕捉設備指定知識圖譜以減少可能的物件類的搜尋空間。本案的各態樣不限於頭戴式顯示器，並且亦構想了用於其他影像捕捉設備。
在另一配置中，基於知識圖譜的分類系統建議要包括在照片中的人。具體地，知識圖譜可構建常常出現在所捕捉的影像中的人群的圖譜。亦即，在一種配置中，在對群照片分框時，知識圖譜基於知識圖譜資訊來提供關於應被包括在該照片中的其他個人的上下文資訊。
在一些情形中，某些類可不被分類器標識。因此，在一種配置中，基於知識圖譜的分類系統在物件標記應用中呈現可能類的列表。亦即，知識圖譜可輔助使用者向所提取的物件應用正確的類。例如，在面部標記應用中，一或多個面部可具有低置信度或者可能沒有被分段。由此，在該實例中，知識圖譜提供可能姓名的列表，使用者可將可能姓名與特定個人相關聯。此外，分類器可根據使用者標記的影像被訓練及/或知識圖譜可基於使用者標記的影像被更新。
圖6圖示了基於本案的一態樣的知識圖譜的實例。如圖6中所示，每個物件與另一物件相關聯。在該實例中，如圖6中所示，較粗的線表示較強的共存性概率。例如，如圖6中所示，相比於與窗共存的概率，監視器具有與滑鼠共存的較強概率。在另一實例中，如圖6中所示，相比於與窗共存的概率，DVD具有與TV共存的較強概率。
在一種配置中，知識圖譜被表示為成對出現概率的矩陣。例如，圖6的知識圖譜可被編碼為表2的知識圖譜矩陣 (KGM)。
如表2中所示，行和列的每個交叉點表示兩個物件的出現概率。例如，如表2中所示，監視器具有與TV一起出現的概率0，與窗一起出現的概率0.2，與DVD一起出現的概率0.4，以及與滑鼠一起出現的概率0.9。
以下提供的偽代碼是用於在沒有外部輸入的情況下從初始資料庫產生知識圖譜的實例。亦即，知識圖譜可基於所擷取的影像來訓練。在本實例中，Ai是指影像，L1...LN是指類或物件，而F是指標對由(Li,Lj)定義的給定矩陣位置的遞增量。在一種配置中，F是恆定標量值。
初始化知識圖譜矩陣(KGM)的所有元素 對於每個{資料庫中的影像，Ai}
甲、獲取物件的標記索引：L1,L2,...,LN
乙、將矩陣條目(Li,Lj),{0<i,j<=N}遞增F
在該配置中，假定每個影像在類態樣被註釋。此外，假定每個類具有唯一性索引。例如，一類(諸如汽車)具有索引7，而另一類(諸如交通訊號燈)具有索引31。由此， 針對這兩個類的矩陣元素(7,31)和(31,7)包括這兩個類(諸如汽車和交通訊號燈)的共存性概率。共存性亦可被稱為共現性，反之亦然。
應注意，本案的各態樣採用非有向圖，從而得到對稱的知識圖譜矩陣。儘管如此，亦構想了本案的各態樣用於時間序列。亦即，在一些情形中，諸如具有n元組模型的語音/音訊資料，出現次序被用於決定共存性概率。在另一配置中，知識圖譜矩陣的維度大於2，從而這些維度捕捉一次兩個以上物件的共現性統計及/或將其他環境元素(諸如GPS位置及/或時刻)與多個物件的共現性統計相關聯。
基於前面的實例，矩陣元素(7,31)可指示在一或多個影像(諸如視訊)中，一個物件(諸如汽車)後跟隨有另一物件(諸如交通訊號燈)的概率。另外，矩陣元素(31,7)可指示在一或多個影像(諸如視訊)中，一個物件(諸如交通訊號燈)後跟隨有另一物件(諸如汽車)的概率。在有向圖的本實例中，可添加第三維度以指示共現性之間的時間。例如，矩陣元素(7,31,10)可指示在視訊片段中，汽車後面在彼此的10個時間單位內跟隨有交通訊號燈的概率。時間單位可以是秒、分鐘、小時、或任何其他時間單位。
在本實例中，針對給定類指定並行評分系統。亦即，當向系統呈現物件時，為該物件指定前k個預測類的置信度量P1、P2、...Pk。例如，如先前所討論的，在表1中，針對監視器物件的度量(諸如置信度量)可以是40%(P1)、35%(P2)、和25%(P3)。
在一種配置中，該系統決定具有最大置信度量P1的物件。例如，基於表1，滑鼠具有最大置信度量(90%)。此外，對於影像之每一者物件(諸如滑鼠、CPU、鍵盤和監視器)，該系統決定度量。在一種配置中，該系統基於各類的置信度的差異來決定混淆度量。混淆度量可基於下式：i.分類器混淆值=1/(P1-P2) (19)
如表1中所示，該系統有40%的置信度相信監視器是窗，而有35%的置信度相信監視器是監視器。因此，基於式15，混淆度量是20%。亦即，混淆度量是兩個置信度量之間的差異除具有值1的分子所得的商。
在該配置中，高混淆度量指示關於真正物件是否為兩個推斷類之一存在混淆。由此，對於影像中的物件，若混淆度量小於閾值，則推斷類被接受作為正確類。此外，若物件的混淆度量大於閾值，則系統決定將物件的預測類與具有最高置信度的類拘束的概率。
在本實例中，閾值可以是10%。因此，對於表1，由於監視器的分類器混淆性為20%，因此系統不會接受具有最高置信度值的預測類(諸如窗)作為正確類。由此，系統決定將物件(諸如監視器)的預測類與具有最高置信度P1的物件(諸如滑鼠)拘束的概率。
拘束可基於表2的知識圖譜矩陣概率W1、W2、...Wk。在決定知識圖譜矩陣概率之後，基於該物件的置信度量P1、P2、...Pk與知識圖譜矩陣概率W1、W2、...Wk之積來決定加權置信度。最後，物件的各預測類的加權置信度量被用於選 擇具有最高加權置信度的預測類。
在本實例中，基於表2，當具有最高置信度的物件是滑鼠時，針對窗的權重(W1)為0，而針對監視器的權重(W2)為0.9。來自表2的知識圖譜矩陣決定針對監視器的類的加權置信度評分。例如，對於監視器，窗類的加權置信度為原始置信度P1(40%)與權重W1(0)之積。另外，監視器類的加權置信度為原始置信度P2(35%)與權重W2(0.9)之積。基於表1和表2的加權置信度在表3中示出。
在該實例中，針對窗、監視器和TV的置信度用將滑鼠與窗、滑鼠與監視器、以及滑鼠與TV相連結的知識圖譜矩陣概率來加權。基於新的置信度評分，監視器現在被認為是勝出的類，因為監視器具有最高加權置信度。
亦即，分類器的輸出基於知識圖譜矩陣中提供的權重而被偏置。例如，如表2中所示，滑鼠更有可能與監視器共存，而非與TV或窗共存。因此，相比於滑鼠/窗關係和滑鼠/TV關係，滑鼠/監視器關係被賦予較大權重。知識圖譜矩陣中提供的權重可基於系統的訓練。
在一種配置中，深度迴旋網路(DCN)分類器的輸出亦擴增知識圖譜矩陣。在該配置中，基於分類器的輸出，系統選擇混淆性小於閾值的所有物件並從所選物件構建知識 圖譜矩陣。
例如，表1指示CPU、滑鼠和鍵盤具有低混淆度量。因此，這些條目(諸如CPU、滑鼠和鍵盤)可經由以成對形式連結化物件標記來遞增知識圖譜矩陣中的條目。遞增量可以是固定的，或者可以是成對參與類標記的混淆量的函數。亦即，混淆性低於閾值的物件可更新知識圖譜矩陣的權重。亦即，系統可經由更新知識圖譜矩陣的權重來被訓練。
替換地或附加地，在推斷不正確時，使用者可糾正指派給物件的類。在該配置中，正確類被指派置信度100%，且知識圖譜矩陣中將經糾正物件的類連結到其他物件的相應條目被遞增。在另一配置中，知識圖譜矩陣用負相關(諸如帶洩漏更新)來更新。
在考慮到隨時間推移的相關性損耗的情況下，帶洩漏更新指定知識圖譜矩陣的每個元素隨時間推移的衰退。例如，若一人不與某個朋友群的成員相關聯，則知識圖譜矩陣將經由減小知識圖譜矩陣中的相應條目來反映隨時間推移的關聯損耗。
如先前所討論的，空間相關亦可被用於多維知識圖譜矩陣。在一個態樣，另一維度(諸如第三或第四維度)可被指定用於指示物件的空間分隔。例如，元素(7,31,10)可指示汽車和交通訊號燈在彼此的10個距離單位內的共現性的概率。距離單位可以是英尺、英寸、米、或任何其他量測單元。
由此，基於本案的各態樣，知識圖譜矩陣使用初始 資料集並且亦基於不同物件類的共現性概率來適配於將來影像。在一種配置中，在針對置信度來標記物件時，考慮物件的空間及/或時間關係。此外，本案的各態樣亦可應用於語音及/或視訊。例如，視訊訊框可基於先前訊框的內容被重新填充。
在一種配置中，特徵提取被實現為深度迴旋網路。在該配置中，經由將深度迴旋網路的頂層中的所有節點與可塑突觸相連接來指定整合的深度迴旋網路知識圖譜矩陣。亦即，每個節點表示一類，且該節點的啟動是某個類的概率。當知識圖譜被學習時，共現物件的節點之間的突觸被加強，而非共現物件的節點之間的突觸被減弱。側向突觸基於其他被啟動的物件節點來向物件的節點添加輸入。具體地，知識圖譜矩陣經由深度迴旋網路的輸出層中的側向連接來實現。突觸的可塑性允許使用者更新知識圖譜矩陣或允許隨時間推移學習新的物件共現性。在一種配置中，提供兩個分開的突觸集合，一個集合用於知識圖譜矩陣，而一個集合用於分類器。
本案的各態樣在存在雜訊的情況下改善了分類網路的效能，經由預取可能的輸出類並減小搜尋空間來減少了分類等待時間，並且實現了新穎的使用者體驗。
圖7圖示了根據本案的某些態樣的使用通用處理器702進行前述基於知識圖譜關聯的物件分類的實例實現700。與計算網路(神經網路)相關聯的變數(神經信號)、突觸權重、系統參數，延遲，和頻率槽資訊可被儲存在記憶體塊704 中，而在通用處理器702處執行的指令可從程式記憶體706中載入。在本案的一態樣，載入到通用處理器702中的指令可包括用於以下操作的代碼：構建計算不同物件類的共現性的成對概率的知識圖譜，在存在雜訊的情況下使用該知識圖譜來擴增物件分類系統的效能，及/或用來自分類器的輸出或來自使用者產生的標記的新資料來適配該知識圖譜。
圖8圖示了根據本案的某些態樣的前述基於知識圖譜關聯的物件分類的實例實現800，其中記憶體802可經由互連網路804與計算網路(神經網路)的個體(分散式)處理單元(神經處理器)808對接。與計算網路(神經網路)相關聯的變數(神經信號)、突觸權重、系統參數，延遲，頻率槽資訊，知識圖譜關聯可被儲存在記憶體802中，並且可從記憶體802經由互連網路804的連接被載入到每個處理單元(神經處理器)808中。在本案的一態樣，處理單元808可被配置成：構建計算不同物件類的共現性的成對概率的知識圖譜，在存在雜訊的情況下使用該知識圖譜來擴增物件分類系統的效能，及/或用來自分類器的輸出或來自使用者產生的標記的新資料來適配該知識圖譜。
圖9圖示了前述基於知識圖譜關聯的物件分類的實例實現900。如圖9中所圖示的，一個記憶體組902可與計算網路(神經網路)的一個處理單元904直接對接。每一個記憶體組902可儲存與對應的處理單元(神經處理器)904相關聯的變數(神經信號)、突觸權重、及/或系統參數，延遲，頻率槽資訊，以及知識圖譜關聯。在本案的一態樣，處理單元904可 被配置成：構建計算不同物件類的共現性的成對概率的知識圖譜，在存在雜訊的情況下使用該知識圖譜來擴增物件分類系統的效能，及/或用來自分類器的輸出或來自使用者產生的標記的新資料來適配該知識圖譜。
圖10圖示了根據本案的某些態樣的神經網路1000的實例實現。如圖10中所圖示的，神經網路1000可具有多個局部處理單元1002，它們可執行上述方法的各種操作。每個局部處理單元1002可包括儲存該神經網路的參數的局部狀態記憶體1004和局部參數記憶體1006。另外，局部處理單元1002可具有用於儲存局部模型程式的局部(神經元)模型程式(LMP)記憶體1010、用於儲存局部學習程式的局部學習程式(LLP)記憶體1010、以及局部連接記憶體1012。此外，如圖10中所圖示的，每個局部處理單元1002可與用於提供針對該局部處理單元的各局部記憶體的配置的配置處理器單元1014對接，並且與提供各局部處理單元1002之間的路由的路由連接處理單元1016對接。
在一種配置中，神經元模型被配置成用於基於知識圖譜關聯來分類物件。神經元模型包括應用裝置和決定裝置。在一個態樣，應用裝置及/或決定裝置可以是配置成執行所述功能的通用處理器702、程式記憶體706、記憶體塊704、記憶體802、互連網路804、處理單元808、處理單元904、局部處理單元1002、及/或路由連接處理單元1016。在另一配置中，前述裝置可以是被配置成執行由前述裝置所敘述的功能的任何模組或任何設備。
根據本案的某些態樣，每一個局部處理單元1002可被配置成基於神經網路的一或多個期望功能性特徵來決定神經網路的參數，以及隨著所決定的參數被進一步適配、調諧和更新來使這一或多個功能性特徵朝著期望的功能性特徵發展。
圖11圖示了用於分類物件的方法1100。在方塊1102，物件分類器向物件應用一或多個置信度評分。亦即，每個物件與一或多個置信度評分相關聯。此外，在方塊1104，物件分類器基於置信度評分來決定度量。最後，在方塊1106，在該度量高於閾值時，物件分類器基於知識圖譜來決定第一物件的分類。
以上所描述的方法的各種操作可由能夠執行相應功能的任何合適的裝置來執行。這些裝置可包括各種硬體及/或軟體元件及/或模組，包括但不限於電路、特殊應用積體電路(ASIC)、或處理器。一般而言，在附圖中有圖示的操作的場合，那些操作可具有帶相似編號的相應配對手段功能元件。
如本文所使用的，術語「決定」涵蓋各種各樣的動作。例如，「決定」可包括演算、計算、處理、推導、研究、檢視(例如，在表、資料庫或其他資料結構中檢視)、探知及諸如此類。另外，「決定」可包括接收(例如接收資訊)、存取(例如存取記憶體中的資料)、及類似動作。而且，「決定」可包括解析、選擇、選取、確立及類似動作。
如本文中所使用的，引述一列項目中的「至少一個」的短語是指這些專案的任何組合，包括單個成員。作為實 例，「a、b或c中的至少一者」意欲涵蓋：a、b、c、a-b、a-c、b-c和a-b-c。
結合本案所描述的各種說明性邏輯區塊、模組和電路可用設計成執行本文所描述功能的通用處理器、數位訊號處理器(DSP)、特殊應用積體電路(ASIC)、現場可程式設計閘陣列信號(FPGA)或其他可程式設計邏輯裝置(PLD)、個別閘或電晶體邏輯、個別的硬體元件或其任何組合來實現或執行。通用處理器可以是微處理器，但在替換方案中，處理器可以是任何市售的處理器、控制器、微控制器、或狀態機。處理器亦可以被實現為計算設備的組合，例如DSP與微處理器的組合、複數個微處理器、與DSP核心協同的一或多個微處理器、或任何其他此類配置。
結合本案所描述的方法或演算法的步驟可直接在硬體中、在由處理器執行的軟體模組中、或在這兩者的組合中體現。軟體模組可常駐在本發明所屬領域所知的任何形式的儲存媒體中。可使用的儲存媒體的一些實例包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、快閃記憶體、可抹除可程式設計唯讀記憶體(EPROM)、電子可抹除可程式設計唯讀記憶體(EEPROM)、暫存器、硬碟、可移除磁碟、CD-ROM，等等。軟體模組可包括單一指令、或許多指令，且可分佈在若干不同的程式碼片段上，分佈在不同的程式間以及跨多個儲存媒體分佈。儲存媒體可被耦合到處理器以使得該處理器能從/向該儲存媒體讀寫資訊。替換地，儲存媒體可以被整合到處理器。
本文所揭示的方法包括用於實現所描述的方法的一或多個步驟或動作。這些方法步驟及/或動作可以彼此互換而不會脫離請求項的範疇。換言之，除非指定了步驟或動作的特定次序，否則具體步驟及/或動作的次序及/或使用可以改動而不會脫離請求項的範疇。
所描述的功能可在硬體、軟體、韌體或其任何組合中實現。若以硬體實現，則實例硬體設定可包括設備中的處理系統。處理系統可以用匯流排架構來實現。取決於處理系統的具體應用和整體設計約束，匯流排可包括任何數目的互連匯流排和橋接器。匯流排可將包括處理器、機器可讀取媒體、以及匯流排介面的各種電路連結在一起。匯流排介面可用於尤其將網路介面卡等經由匯流排連接至處理系統。網路介面卡可用於實現信號處理功能。對於某些態樣，使用者介面(例如，按鍵板、顯示器、滑鼠、操縱桿，等等)亦可以被連接到匯流排。匯流排亦可以連結各種其他電路，諸如定時源、周邊設備、穩壓器、功率管理電路以及類似電路，它們在本發明所屬領域中是眾所周知的，因此將不再進一步描述。
處理器可負責管理匯流排和一般處理，包括執行儲存在機器可讀取媒體上的軟體。處理器可用一或多個通用及/或專用處理器來實現。實例包括微處理器、微控制器、DSP處理器、以及其他能執行軟體的電路系統。軟體應當被寬泛地解釋成意指指令、資料、或其任何組合，無論是被稱作軟體、韌體、仲介軟體、微代碼、硬體描述語言、或其他。作 為實例，機器可讀取媒體可包括隨機存取記憶體(RAM)、快閃記憶體、唯讀記憶體(ROM)、可程式設計唯讀記憶體(PROM)、可抹除可程式設計唯讀記憶體(EPROM)、電可抹除可程式設計唯讀記憶體(EEPROM)、暫存器、磁碟、光碟、硬驅動器、或者任何其他合適的儲存媒體、或其任何組合。機器可讀取媒體可被實施在電腦程式產品中。該電腦程式產品可以包括包裝材料。
在硬體實現中，機器可讀取媒體可以是處理系統中與處理器分開的一部分。然而，如本發明所屬領域中具有通常知識者將容易領會的，機器可讀取媒體或其任何部分可在處理系統外部。作為實例，機器可讀取媒體可包括傳輸線、由資料調制的載波、及/或與設備分開的電腦產品，所有這些皆可由處理器經由匯流排介面來存取。替換地或補充地，機器可讀取媒體或其任何部分可被整合到處理器中，諸如快取記憶體及/或通用暫存器檔可能就是這種情形。儘管所討論的各種元件可被描述為具有特定位置，諸如局部元件，但它們亦可按各種方式來配置，諸如某些元件被配置成分散式運算系統的一部分。
處理系統可以被配置為通用處理系統，該通用處理系統具有一或多個提供處理器功能性的微處理器、以及提供機器可讀取媒體中的至少一部分的外部記憶體，它們皆經由外部匯流排架構與其他支援電路系統連結在一起。替換地，該處理系統可以包括一或多個神經元形態處理器以用於實現本文所述的神經元模型和神經系統模型。作為另一替換方案 ，處理系統可以用帶有整合在單塊晶片中的處理器、匯流排介面、使用者介面、支援電路系統、和至少一部分機器可讀取媒體的特殊應用積體電路(ASIC)來實現，或者用一或多個現場可程式設計閘陣列(FPGA)、可程式設計邏輯裝置(PLD)、控制器、狀態機、閘控邏輯、個別硬體元件、或者任何其他合適的電路系統、或者能執行本案通篇所描述的各種功能性的電路的任何組合來實現。取決於具體應用和加諸於整體系統上的總設計約束，本發明所屬領域中具有通常知識者將認識到如何最佳地實現關於處理系統所描述的功能性。
機器可讀取媒體可包括數個軟體模組。這些軟體模組包括當由處理器執行時使處理系統執行各種功能的指令。這些軟體模組可包括傳送模組和接收模組。每個軟體模組可以常駐在單個存放裝置中或者跨多個存放裝置分佈。作為實例，當觸發事件發生時，可以從硬驅動器中將軟體模組載入到RAM中。在軟體模組執行期間，處理器可以將一些指令載入到快取記憶體中以提高存取速度。隨後可將一或多個快取記憶體行載入到通用暫存器檔中以供處理器執行。在以下述及軟體模組的功能性時，將理解此類功能性是在處理器執行來自該軟體模組的指令時由該處理器來實現的。
若以軟體實現，則各功能可作為一或多個指令或代碼儲存在電腦可讀取媒體上或藉其進行傳送。電腦可讀取媒體包括電腦儲存媒體和通訊媒體兩者，這些媒體包括促成電腦程式從一地向另一地轉移的任何媒體。儲存媒體可以是能被電腦存取的任何可用媒體。作為實例而非限定，此類電腦 可讀取媒體可包括RAM、ROM、EEPROM、CD-ROM或其他光碟儲存、磁碟儲存或其他磁存放裝置、或能用於攜帶或儲存指令或資料結構形式的期望程式碼且能被電腦存取的任何其他媒體。另外，任何連接亦被正當地稱為電腦可讀取媒體。例如，若軟體是使用同軸電纜、光纖電纜、雙絞線、數位用戶線(DSL)、或無線技術(諸如紅外(IR)、無線電、以及微波)從web網站、伺服器、或其他遠端源傳送而來，則該同軸電纜、光纖電纜、雙絞線、DSL或無線技術(諸如紅外、無線電、以及微波)就被包括在媒體的定義之中。如本文中所使用的盤(disk)和碟(disc)包括壓縮光碟(CD)、鐳射光碟、光碟、數位多功能光碟(DVD)、軟碟、和藍光®光碟，其中盤(disk)常常磁性地再現資料，而碟(disc)用鐳射來光學地再現資料。因此，在一些態樣，電腦可讀取媒體可包括非瞬態電腦可讀取媒體(例如，有形媒體)。另外，對於其他態樣，電腦可讀取媒體可包括瞬態電腦可讀取媒體(例如，信號)。上述的組合應當亦被包括在電腦可讀取媒體的範疇內。
因此，一些態樣可包括用於執行本文中提供的操作的電腦程式產品。例如，此類電腦程式產品可包括其上儲存(及/或編碼)有指令的電腦可讀取媒體，這些指令能由一或多個處理器執行以執行本文中所描述的操作。對於一些態樣，電腦程式產品可包括包裝材料。
此外，應當領會，用於執行本文中所描述的方法和技術的模組及/或其他合適裝置能由使用者終端及/或基地台 在適用的場合下載及/或以其他方式獲得。例如，此類設備可被耦合至伺服器以促成用於執行本文中所描述的方法的裝置的轉移。替換地，本文所述的各種方法可經由儲存裝置(例如，RAM、ROM、諸如壓縮光碟(CD)或軟碟等實體儲存媒體等)來提供，以使得一旦將該儲存裝置耦合至或提供給使用者終端及/或基地台，該設備就能獲得各種方法。此外，可利用適於向設備提供本文中所描述的方法和技術的任何其他合適的技術。
將理解，請求項並不被限定於以上所圖示的精確配置和元件。可在以上所描述的方法和設備的佈局、操作和細節上作出各種改動、更換和變形而不會脫離請求項的範疇。
1100‧‧‧方法
1102‧‧‧方塊
1104‧‧‧方塊
1106‧‧‧方塊

Claims (24)

  1. 一種用於分類一物件的方法，該方法包括以下步驟：向複數個物件應用複數個置信度值；至少部分地基於該複數個置信度值來決定一度量；及在該度量高於一閾值時，至少部分地基於一知識圖譜來決定該複數個物件中的一第一物件的一分類。
  2. 如請求項1之方法，其中該知識圖譜包括至少部分地基於該第一物件與至少一第二物件相關聯的一可能性來決定的權重。
  3. 如請求項2之方法，其中該分類是至少部分地基於用該知識圖譜的該等權重來偏置針對該第一物件的該複數個置信度值而決定的。
  4. 如請求項2之方法，進一步包括將該知識圖譜的該等權重與該複數個物件中具有一最高置信度值的一物件相關聯。
  5. 如請求項2之方法，其中該知識圖譜的該等權重至少部分地基於所學習的物件關係。
  6. 如請求項5之方法，進一步包括至少部分地基於學習該複數個物件中具有小於該閾值的一混淆值的物件的關係來更新該知識圖譜的該等權重。
  7. 如請求項5之方法，進一步包括至少部分地基於使用者輸入來更新該知識圖譜的該等權重。
  8. 如請求項2之方法，其中該知識圖譜的該等權重至少部分地基於該第一物件相對於該第二物件出現時的一次序。
  9. 如請求項1之方法，其中該知識圖譜與一深度迴旋網路(DCN)相整合。
  10. 如請求項1之方法，其中該度量是至少部分地基於針對每個預測類的置信度值的一混淆度量。
  11. 如請求項1之方法，其中該複數個物件是至少在一影像、視訊、音訊、或其一組合中捕捉的。
  12. 一種用於分類一物件的裝置，該裝置包括：一記憶體單元；及耦合至該記憶體單元的至少一個處理器，該至少一個處理器被配置成：向複數個物件應用複數個置信度值；至少部分地基於該複數個置信度值來決定一度量；及在該度量高於一閾值時，至少部分地基於一知識圖譜來決定該複數個物件中的一第一物件的一分類。
  13. 如請求項12之裝置，其中該知識圖譜包括至少部分地基於該第一物件與至少一第二物件相關聯的一可能性來決定的權重。
  14. 如請求項13之裝置，其中該至少一個處理器被進一步配置成至少部分地基於用該知識圖譜的該等權重來偏置針對該第一物件的該複數個置信度值而決定該分類。
  15. 如請求項13之裝置，其中該至少一個處理器被進一步配置成將該知識圖譜的該等權重與該複數個物件中具有一最高置信度值的一物件相關聯。
  16. 如請求項13之裝置，其中該知識圖譜的該等權重至少部分地基於所學習的物件關係。
  17. 如請求項16之裝置，其中該至少一個處理器被進一步配置成至少部分地基於學習該複數個物件中具有小於該閾值的一混淆值的物件的關係來更新該知識圖譜的該等權重。
  18. 如請求項16之裝置，其中該至少一個處理器被進一步配置成至少部分地基於使用者輸入來更新該知識圖譜的該等權重。
  19. 如請求項13之裝置，其中該知識圖譜的該等權重至少部分地基於該第一物件相對於該第二物件出現時的一次序。
  20. 如請求項12之裝置，其中該知識圖譜與一深度迴旋網路(DCN)相整合。
  21. 如請求項12之裝置，其中該度量是至少部分地基於針對每個預測類的置信度的一混淆度量。
  22. 如請求項12之裝置，其中該複數個物件是至少在一影像、視訊、音訊、或其一組合中捕捉的。
  23. 一種用於分類一物件的電腦程式產品，該電腦程式產品包括：其上記錄有程式碼的一非瞬態電腦可讀取媒體，該程式碼由一處理器執行並且包括：用於向複數個物件應用複數個置信度值的程式碼；用於至少部分地基於該複數個置信度值來決定一度量的程式碼；及用於在該度量高於一閾值時，至少部分地基於一知識圖譜來決定該複數個物件中的一第一物件的一分類的程式碼。
  24. 一種用於分類一物件的設備，該設備包括： 用於向複數個物件應用複數個置信度值的裝置；用於至少部分地基於該複數個置信度值來決定一度量的裝置；及用於在該度量高於一閾值時，至少部分地基於一知識圖譜來決定該複數個物件中的一第一物件的一分類的裝置。
TW104124589A 2014-08-19 2015-07-29 由知識圖譜偏置的資料分類 TW201626293A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462039329P 2014-08-19 2014-08-19
US14/528,890 US10474949B2 (en) 2014-08-19 2014-10-30 Knowledge-graph biased classification for data

Publications (1)

Publication Number Publication Date
TW201626293A true TW201626293A (zh) 2016-07-16

Family

ID=55348579

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104124589A TW201626293A (zh) 2014-08-19 2015-07-29 由知識圖譜偏置的資料分類

Country Status (9)

Country Link
US (1) US10474949B2 (zh)
EP (2) EP3937087A1 (zh)
JP (1) JP2017531240A (zh)
KR (1) KR20170044102A (zh)
CN (1) CN106663221B (zh)
BR (1) BR112017003023A2 (zh)
SG (1) SG11201610934SA (zh)
TW (1) TW201626293A (zh)
WO (1) WO2016028446A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI705341B (zh) * 2018-08-22 2020-09-21 香港商阿里巴巴集團服務有限公司 特徵關係推薦方法及裝置、計算設備及儲存媒體
TWI707280B (zh) * 2017-06-09 2020-10-11 日商川崎重工業股份有限公司 動作預測系統以及動作預測方法
US11829851B2 (en) 2018-03-13 2023-11-28 Sony Corporation Information processor, mobile device, and method and program thereof

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9536293B2 (en) * 2014-07-30 2017-01-03 Adobe Systems Incorporated Image assessment using deep convolutional neural networks
US9953425B2 (en) 2014-07-30 2018-04-24 Adobe Systems Incorporated Learning image categorization using related attributes
US20160203137A1 (en) * 2014-12-17 2016-07-14 InSnap, Inc. Imputing knowledge graph attributes to digital multimedia based on image and video metadata
US10078651B2 (en) * 2015-04-27 2018-09-18 Rovi Guides, Inc. Systems and methods for updating a knowledge graph through user input
US10726337B1 (en) * 2015-04-30 2020-07-28 Hrl Laboratories, Llc Method and apparatus for emulation of neuromorphic hardware including neurons and synapses connecting the neurons
CN109478241B (zh) * 2016-05-13 2022-04-12 努门塔公司 执行推理的计算机实现的方法、存储介质及计算设备
CN109564636B (zh) * 2016-05-31 2023-05-02 微软技术许可有限责任公司 使用一个神经网络来训练另一个神经网络
US11188823B2 (en) 2016-05-31 2021-11-30 Microsoft Technology Licensing, Llc Training a neural network using another neural network
US10380480B2 (en) 2016-05-31 2019-08-13 Microsoft Technology Licensing, Llc Changeover from one neural network to another neural network
US11194860B2 (en) * 2016-07-11 2021-12-07 Baidu Usa Llc Question generation systems and methods for automating diagnosis
US10949737B2 (en) 2016-07-13 2021-03-16 Samsung Electronics Co., Ltd. Method for neural network and apparatus performing same method
US10606849B2 (en) 2016-08-31 2020-03-31 International Business Machines Corporation Techniques for assigning confidence scores to relationship entries in a knowledge graph
US10607142B2 (en) 2016-08-31 2020-03-31 International Business Machines Corporation Responding to user input based on confidence scores assigned to relationship entries in a knowledge graph
US9767408B1 (en) 2016-09-16 2017-09-19 International Business Machines Corporation Multi-memristive synapse with clock-arbitrated weight update
US9785885B1 (en) 2016-09-16 2017-10-10 International Business Machines Corporation Arbitration schema based on a global clock
US11995539B2 (en) 2017-06-09 2024-05-28 Samsung Electronics Co., Ltd. Electronic apparatus and method for re-learning trained model
US10628699B2 (en) * 2017-06-13 2020-04-21 Samsung Electronics Co., Ltd. Event-based image feature extraction
US11334692B2 (en) 2017-06-29 2022-05-17 International Business Machines Corporation Extracting a knowledge graph from program source code
CN107526769A (zh) * 2017-07-10 2017-12-29 北京百度网讯科技有限公司 基于人工智能的照片处理方法及装置、设备及可读介质
US10540390B1 (en) 2017-08-07 2020-01-21 Amazon Technologies, Inc. Image-based item identification
US20190080245A1 (en) * 2017-09-08 2019-03-14 Niantic, Inc. Methods and Systems for Generation of a Knowledge Graph of an Object
US10725982B2 (en) 2017-11-20 2020-07-28 International Business Machines Corporation Knowledge graph node expiration
CN108171255A (zh) * 2017-11-22 2018-06-15 广东数相智能科技有限公司 基于图像识别的图片联想强度评分方法及装置
US11205114B2 (en) * 2018-03-19 2021-12-21 Intel Corporation Multi-layer neural networks using symmetric tensors
CN108536861B (zh) * 2018-04-19 2022-03-18 中国科学院重庆绿色智能技术研究院 一种医疗指南的交互式培训方法及其***
US10776337B2 (en) 2018-07-06 2020-09-15 International Business Machines Corporation Multi-dimensional knowledge index and application thereof
CN109063021B (zh) * 2018-07-12 2021-10-15 浙江大学 一种能够编码关系语义多样性结构的知识图谱分布式表示方法
US10803182B2 (en) 2018-12-03 2020-10-13 Bank Of America Corporation Threat intelligence forest for distributed software libraries
US11354351B2 (en) * 2019-01-31 2022-06-07 Chooch Intelligence Technologies Co. Contextually generated perceptions
US11403328B2 (en) 2019-03-08 2022-08-02 International Business Machines Corporation Linking and processing different knowledge graphs
KR102079970B1 (ko) * 2019-04-30 2020-04-07 (주)에스투더블유랩 지식 그래프를 이용하여 사이버 시큐리티를 제공하는 방법, 장치 및 컴퓨터 프로그램
US11308365B2 (en) * 2019-06-13 2022-04-19 Expedia, Inc. Image classification system
CN110362689A (zh) * 2019-06-21 2019-10-22 深圳壹账通智能科技有限公司 一种风险评估方法、装置、存储介质和服务器
CN110363583B (zh) * 2019-07-02 2023-08-04 北京淇瑀信息科技有限公司 一种基于位置信息创建用户消费行为标签的方法、装置和电子设备
US11379733B2 (en) 2019-07-10 2022-07-05 International Business Machines Corporation Detecting and predicting object events from images
DE102019119087A1 (de) * 2019-07-15 2021-01-21 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Komponentenbasierte verarbeitung von eingangsgrössen
CN110765317B (zh) * 2019-09-18 2024-03-01 上海合合信息科技股份有限公司 一种企业受益人运算***及方法
CN111177400B (zh) * 2019-12-05 2023-07-25 国网能源研究院有限公司 基于知识图谱的设备、业务及数据的关联显示方法和装置
US11176137B2 (en) 2020-02-19 2021-11-16 Bank Of America Corporation Query processing platform for performing dynamic cluster compaction and expansion
WO2021171208A1 (en) 2020-02-24 2021-09-02 Thales Canada Inc. Method for semantic object detection with knowledge graph
CN111367961B (zh) * 2020-02-27 2023-03-28 西安交通大学 基于图卷积神经网络的时序数据事件预测方法、***及其应用
CN111522967B (zh) * 2020-04-27 2023-09-15 北京百度网讯科技有限公司 知识图谱构建方法、装置、设备以及存储介质
CN111753330B (zh) * 2020-06-18 2023-08-29 百度在线网络技术（北京）有限公司 数据泄露主体的确定方法、装置、设备和可读存储介质
CN111743574B (zh) * 2020-07-12 2023-04-07 西北工业大学 乳腺癌超声影像高置信实体关系的知识图谱构建方法
CN114641811B (zh) * 2020-10-16 2023-03-28 维萨国际服务协会 用于用户网络活动异常检测的***、方法和计算机程序产品
CN112417457B (zh) * 2020-11-16 2022-02-08 中国电子科技集团公司第三十研究所 一种基于大数据的敏感数据还原检测的方法与***
CN112417456B (zh) * 2020-11-16 2022-02-08 中国电子科技集团公司第三十研究所 一种基于大数据的结构化敏感数据还原检测的方法
US11544508B2 (en) * 2020-11-23 2023-01-03 Nielsen Consumer Llc Methods, systems, articles of manufacture, and apparatus to recalibrate confidences for image classification
US11907269B2 (en) * 2020-12-01 2024-02-20 International Business Machines Corporation Detecting non-obvious relationships between entities from visual data sources
CN113516156A (zh) * 2021-04-13 2021-10-19 浙江工业大学 一种基于多源信息融合的细粒度图像分类方法
CN113408611B (zh) * 2021-06-18 2022-05-10 电子科技大学 一种基于延迟机制的多层图像分类方法
CN114691896B (zh) * 2022-05-31 2022-09-13 浙江大学 一种知识图谱数据清洗方法及装置
CN115168603B (zh) * 2022-06-27 2023-04-07 天翼爱音乐文化科技有限公司 一种彩铃业务流程自动反馈应答方法、装置及存储介质
CN115543402B (zh) * 2022-11-21 2023-03-24 北京大学 一种基于代码提交的软件知识图谱增量更新方法
CN115860152B (zh) * 2023-02-20 2023-06-27 南京星耀智能科技有限公司 一种面向人物军事知识发现的跨模态联合学习方法
CN117332282B (zh) * 2023-11-29 2024-03-08 之江实验室 一种基于知识图谱的事件匹配的方法及装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7181062B2 (en) * 2002-08-30 2007-02-20 Lockheed Martin Corporation Modular classification architecture for a pattern recognition application
EP1413973A1 (en) * 2002-10-22 2004-04-28 Thomson Licensing S.A. Method and apparatus for automatically calculating confidence values of data classification
US7848566B2 (en) 2004-10-22 2010-12-07 Carnegie Mellon University Object recognizer and detector for two-dimensional images using bayesian network based classifier
US8732025B2 (en) 2005-05-09 2014-05-20 Google Inc. System and method for enabling image recognition and searching of remote content on display
JP4640155B2 (ja) 2005-12-15 2011-03-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
CN101187985B (zh) 2006-11-17 2012-02-01 东软集团股份有限公司 确定对象分类器分类边界的方法及装置
JP4755632B2 (ja) 2007-08-15 2011-08-24 ヤフー株式会社 アイテム認識装置及びアイテム認識方法
TWI354904B (en) 2008-01-25 2011-12-21 Yun Ken Method of classifying documents automatically, com
JP5800494B2 (ja) 2010-11-19 2015-10-28 キヤノン株式会社 特定領域選択装置、特定領域選択方法及びプログラム
JP5929896B2 (ja) 2011-03-17 2016-06-08 日本電気株式会社 画像認識システム、画像認識方法および画像認識用プログラム
US9916538B2 (en) 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
CN103207879B (zh) 2012-01-17 2016-03-30 阿里巴巴集团控股有限公司 图像索引的生成方法及设备
CN103699663B (zh) * 2013-12-27 2017-02-08 中国科学院自动化研究所 一种基于大规模知识库的热点事件挖掘方法
CN103699687B (zh) * 2014-01-03 2017-02-01 复旦大学 一种基于枚举的网络实体爬取方法
US20150310862A1 (en) * 2014-04-24 2015-10-29 Microsoft Corporation Deep learning for semantic parsing including semantic utterance classification

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI707280B (zh) * 2017-06-09 2020-10-11 日商川崎重工業股份有限公司 動作預測系統以及動作預測方法
US11829851B2 (en) 2018-03-13 2023-11-28 Sony Corporation Information processor, mobile device, and method and program thereof
TWI705341B (zh) * 2018-08-22 2020-09-21 香港商阿里巴巴集團服務有限公司 特徵關係推薦方法及裝置、計算設備及儲存媒體
US11244232B2 (en) 2018-08-22 2022-02-08 Advanced New Technologies Co., Ltd. Feature relationship recommendation method, apparatus, computing device, and storage medium

Also Published As

Publication number Publication date
US10474949B2 (en) 2019-11-12
EP3183695A1 (en) 2017-06-28
EP3937087A1 (en) 2022-01-12
KR20170044102A (ko) 2017-04-24
CN106663221A (zh) 2017-05-10
US20160055409A1 (en) 2016-02-25
SG11201610934SA (en) 2017-03-30
CN106663221B (zh) 2019-11-29
JP2017531240A (ja) 2017-10-19
BR112017003023A2 (pt) 2017-12-12
WO2016028446A1 (en) 2016-02-25

Similar Documents

Publication Publication Date Title
TW201626293A (zh) 由知識圖譜偏置的資料分類
CN106104577B (zh) 照片管理
CN106575377B (zh) 共同特征上的分类器更新
EP3143563B1 (en) Distributed model learning
US10339447B2 (en) Configuring sparse neuronal networks
US20150278680A1 (en) Training, recognition, and generation in a spiking deep belief network (dbn)
TW201541372A (zh) 使用尖峰發放神經元的人工神經網路和感知器學習
US20150242745A1 (en) Event-based inference and learning for stochastic spiking bayesian networks
CN110659742B (zh) 获取用户行为序列的序列表示向量的方法和装置
TW201602807A (zh) Ｃｏｌｄ神經元尖峰時序反向傳播
US20150317557A1 (en) Temporal spike encoding for temporal learning
US20150212861A1 (en) Value synchronization across neural processors
TW201602923A (zh) 使用尖峰發放神經網路對大序列的概率性表示
WO2021056914A1 (zh) 一种目标检测模型的自动建模方法及装置
US9269045B2 (en) Auditory source separation in a spiking neural network
US20150213356A1 (en) Method for converting values into spikes
CN112861474B (zh) 一种信息标注方法、装置、设备及计算机可读存储介质
Shanbhag Activity Recognition in Videos Using Deep Learning
Bagherian Artificial Neural Networks for Nonlinear System Identification of Neuronal Microcircuits
Ahmad Mitigating catastrophic forgetting in incremental learning
Li Optimizing rate-based spiking neural networks
TW202401304A (zh) 連續學習的機器學習方法及電子裝置