TWI631518B - 具有一或多個計算裝置的電腦伺服系統及訓練事件分類器模型的電腦實作方法 - Google Patents

具有一或多個計算裝置的電腦伺服系統及訓練事件分類器模型的電腦實作方法 Download PDF

Info

Publication number
TWI631518B
TWI631518B TW104116978A TW104116978A TWI631518B TW I631518 B TWI631518 B TW I631518B TW 104116978 A TW104116978 A TW 104116978A TW 104116978 A TW104116978 A TW 104116978A TW I631518 B TWI631518 B TW I631518B
Authority
TW
Taiwan
Prior art keywords
vector
computer
iteration
event
group
Prior art date
Application number
TW104116978A
Other languages
English (en)
Other versions
TW201614551A (en
Inventor
黃德銘
Original Assignee
美商優大科技公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商優大科技公司 filed Critical 美商優大科技公司
Publication of TW201614551A publication Critical patent/TW201614551A/zh
Application granted granted Critical
Publication of TWI631518B publication Critical patent/TWI631518B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Complex Calculations (AREA)
  • Image Analysis (AREA)

Abstract

部分實施例包括訓練電子交易事件分類器模型的方法以評等電子交易事件。該方法能包括：接收對應於可量化特徵向量組、已知結果標籤組、及已知成本值組的可觀察事件訓練組；設定支援向量機之核心函數的最初參數；及透過該核心函數的潛在權重向量迭代，直到如同由迭代的工作權重向量所組態的該核心函數能在基於該等可量化特徵向量之精準度的臨限容差內估算該等已知結果標籤的至少極性；其中該迭代包括藉由解出變數限制而在各迭代中在該等可量化特徵的特徵空間中計算該工作權重向量。

Description

具有一或多個計算裝置的電腦伺服系統及訓練事件分類器模型的電腦實作方法
本申請案主張2014年6月2日所申請之美國臨時專利申請案第62/006,684號「BUILDING OF EVENT COST SENSITIVE PREDICTIVE MODEL FOR MAXIMIZING RETURN」的權益，該案以引用方式併入本文中。
本揭示發明的至少一實施例通常相關於基於支援向量機的數位事件概述過濾器，且特別相關於使用數位事件概述過濾器偵測詐欺電子交易或分類電子交易。
許多企業使用電腦伺服器系統(例如，一或多個電腦)以提供電腦實作服務給他們的客戶。例如，部分商人可在電腦伺服器系統上實作網站或雲端為基礎的應用以直接提供個人化服務或內容散佈服務(例如，社群網路、視訊串流、雲端儲存等)給他們的客戶。例如，部分商人可使用網站或雲端為基礎的應用以販售自有或附屬產 品。在此等範例中，電腦伺服器系統可執行數位事件概述過濾器以識別發生在電腦實作服務上的惡意行為，例如，偵測詐欺交易、詐欺使用、跨服務帳戶的垃圾郵件發送等。電腦伺服器系統也可執行數位事件概述過濾器以分類電子交易。例如，電腦實作服務能使用數位事件概述過濾器以識別提交資源(例如，電腦伺服器系統的計算或記憶體資源)至其的所有電子交易或潛在電子交易的子集。電腦伺服器系統也可執行數位事件概述過濾器以基於呈交給過濾器的數位事件概述估算已知結果的可能性。例如，數位事件概述能係個人的過去駕駛記錄、索賠歷史、及車輛型號的電子記錄。數位事件概述過濾器能產生估算個人涉及車禍之風險的分數。然後數位概述的輸出能使用為計算個人所需之保險費的輸入。
數位事件概述過濾器致能物件資料驅動分析，諸如，事件分類分析。事件分類分析能用於基於電子交易事件的可量化特徵(例如，屬性、性質、因子、及參數)估算電子交易事件的結果。例如，電子交易事件能包括處理電子轉帳、經由電腦介面呈現電子廣告、或開啟或關閉電腦伺服器系統上的服務帳戶。例如，該等結果能係接收處理錯誤、導致使用者經由電腦介面購買產品、導致使用者提出申訴、防止惡意活動等。
此等可量化特徵能在結果發生之前、同時、或之後度量及/或收集。在部分情形中，估算涉及預測尚未發生的結果。範例可係預測行銷電子郵件是否將導致產 品銷售。在其他情形中，估算涉及不使用結果的直接觀察發掘結果，例如，藉由分析與產生該結果之事件有關的可觀察特徵。範例可係***或電子郵件詐欺偵測。
從企業實體的觀點來看，電子交易事件，其 可包括相關子事件，可相關於未知的結果。令x(可量化特徵)為m維向量(例如，總共m個可量化特徵)，其中xRm代表所有有用可量化特徵，包括能度量或用於決定電子交易事件之結果y的因子。為說明的目的，結果能對各電子交易事件簡化為yi {-1,1}。亦即，結果對企業實體導致正面結果或負面結果。
通常，企業實體基於有限資源希望能聚焦在 具有最高報酬的事件上。可取結果能為正一，諸如，從直遞信函產生捐款，或負一，諸如，詐欺偵測或在車禍中產生的保險索賠金額。在真實世界問題中也相當常見將導致可取結果的事件組係所有可用或可能事件的非常小的一部分。
數位事件概述過濾器能藉由監督學習分類處理而實作。電腦伺服器系統能實作監督學習處理以基於可觀察電子交易事件的可量化特徵決定電子交易的結果。例如，監督學習分類處理企圖藉由使用由n對(x1,y1)、(x2,y2)、...、(xn,yn)組成的訓練資料{X=[xi,yi],i=1,...,n}學習x及yi之間的未知輸入-輸出關係(相依性或函數)f0(x)。在以上簡 化中，將結果yi視為係二元變數yi {-1,1}。線性監督學習分類處理能企圖從訓練資料學習權重向量w。然後w用於經由y'i=sign(wxi+b)從先前未見(unseen)的資料組xi計算估算結果y'。另外，分數wxi+b用於評等未見資料。
此揭示發明涉及將成本效益決策最佳化的電 腦實作事件分類處理。例如，事件分類處理能使用具有線性核心、非線性核心、或彼等之組合的分類器模型。事件分類處理能藉由將報酬/成本(κ)列入考慮的同時將接收者操作特徵(ROC)曲線面積最大化而最佳化。所揭示的處理直接經由事件分類分析將電子交易活動的報酬最佳化。 「報酬」可代表與處理特定電子交易所消耗的時間及資源關聯的財政成本。在部分實施例中，分類器模型能用於分類具有分別與彼等關聯之對應數位事件概述(例如，藉由可量化特徵界定)的非電子交易。實施例包括演算法以將電腦系統最佳化(例如，藉由減少處理器時間或記憶體消耗)以實作事件分類處理。
在部分實施例中，事件分類處理使用由報酬 最佳化系統的模型建立器引擎產生的一或多個分類器模型。例如，分類器模型可係SVM模型。報酬最佳化系統能係包含一或多個計算裝置的電腦系統。事件分類處理能藉由報酬最佳化系統中的事件分類引擎實作。
在電子交易事件的結果偶爾能在企業實體未 實施任何「發現行動」的情形中得到的同時，通常，表示為「y」的結果需要企業實體費一些工夫發現其。「發現 行動」可包括推導、估算、或預測形式，諸如，在詐欺偵測或預測行銷的情形中。此意謂著企業實體可需要增加與發現處理(例如，經由分類分析)有關的部分成本。因為此關聯成本，企業實體想要減少所聚焦的電子交易事件數以決定業務結果。
然而，在許多現實世界的應用中，事件結果 並不始終依據彼等之報酬或成本以相同方式評價。例如，在直遞信函活動中，信函的收件人能回應或提供特定量的捐款，其將變為該活動之投資報酬的正面貢獻，或選擇不回應或拒絕捐款，其意謂著企業增加寄出信函的成本。在此情形中，正面貢獻能對應於與貢獻成比例的y。拒絕捐款能對應於y=-1。相似地在詐欺偵測應用中，各詐欺交易可具有不同成本量(例如，具有y=1之結果的真實交易，及具有與詐欺交易所導致的損失成比例之y的結果的假帳戶)。
為了合併企業決策背景的此態樣，此揭示發 明將κ=(κ1,...,κn)表示為與各事件之結果關聯的報酬或成本。部分實施例限定κRn且κ大於0。在此範例中，yi係負的以代表事件的負面影響。在許多情形中，當預測事件的成本/報酬(κ1,......,κn)係作決策的中間步驟時，其並不係企業中的決策者所需要的。決策者，例如，能係電腦應用程式或作為企業主的代理人之操作電腦的人。決策者所想要的可係藉由事件對投資報酬(POI)的相關貢獻評等的事件列表。然後決策者能使用相關貢獻以將彼等焦點優 先化在推導最高可能報酬上，而非嘗試精準地解出估算問題κ=(κ1,......,κn)。亦即，決策者可希望在是否集中精力在此種事件上的各可能事件上產生二元決定。在部分實施例中，決策者可基於所揭示的事件分類引擎產生此種二元決定。所揭示的事件分類引擎能協助決策者實現最高報酬。亦即，分類器模型能用於將可能的負面結果事件從可能的正面結果事件分離。
在部分實施例中，分類模型能基於線性核 心。例如，模型建立器引擎能實作將、、及κ採用為輸入並將w採用為輸出的線性監督學習處理。此處，表示訓練組中之可觀察事件的可量化特徵向量的陣列；表示訓練組中之可觀察事件的結果標籤的陣列；κ表示分別與訓練組中之可觀察事件的結果標籤關聯之成本的陣列；且w表示與線性核心關聯的已計算權重。權重能用於組態線性核心，使得線性核心能用於基於此種事件的可量化特徵分類新的可觀察事件。亦即，權重可由事件分類引擎用於評估所有潛在事件，且決策者(例如，報酬最佳化系統)能在sign(wxi+b)>0，例如，事件可能導致正面結果，的事件上行動。當資源(例如，時間、處理器可用性、或電腦記憶體)有限時，決策者能使用wxi+b的幅度選擇最高評等事件以具有最高可能報酬。
基於輸出w，決策者能將企業活動的整體報酬監測為：
重點係須注意企業可依其所界定地關注在最 小化或最大化報酬上。為簡化討論及易於說明，此揭示發明使用企業希望使報酬最大化的範例。在企業具有有限資源以僅聚焦在最高d事件的情形中，事件分類引擎能確保提供正面結果(y=1)及較高結果(亦即，κ甚大)的事件將具有比提供負面結果的所有事件更大之(wxi+b)分數的可能性。在此條件下，事件分類引擎能將企業的報酬最佳化。
在部分實施例中，事件分類引擎能經由用於 度量分類器的效能之稱為「ROC曲線下的面積」或「ROC面積」的度量協助最佳化報酬。ROC面積度量具有正面結果yi=1之資料點xi將具有比具有負面結果的點更高之分數(wxi+b)的可能性。然而，標準ROC曲線等同地處理各樣本，亦即，κ=1且所有正面結果均相似且所有負面結果均相似，而非當建立分類器模型時將每個個體κ=(κ1,...,κn)列入考慮。此揭示發明的實施例參考至藉由將與各結果關聯的成本κ列入考慮而將ROC面積最佳化的方法。
此揭示發明的部分實施例具有除了上述態 樣、元件、特徵、及步驟外或取代彼等的其他樣態、元件、特徵、及步驟。此等潛在添加物及取代物在本說明書其餘部分的各處描述。
100、204‧‧‧模型建立器引擎
102、202‧‧‧分類器模型
104‧‧‧訓練資料組
106‧‧‧可觀察事件
108A、108B‧‧‧已知結果標籤
110A、110B‧‧‧可量化特徵
112‧‧‧參數
114‧‧‧輸入特徵向量
116‧‧‧結果值
120‧‧‧可組態函數
200‧‧‧報酬最佳化系統
206‧‧‧事件分類引擎
208‧‧‧訓練介面
210‧‧‧估算介面
300、400、700‧‧‧方法
500‧‧‧argmax函數
800‧‧‧計算裝置
810‧‧‧處理器
820‧‧‧記憶體
830‧‧‧互連
840‧‧‧網路卡
850‧‧‧儲存配接器
870‧‧‧碼
116A、116B‧‧‧已知成本
圖1A係根據各種實施例之產生用於基於事件的可量化特徵估算結果的分類器模型之模型建立器引擎的資料流程圖。
圖1B係根據各種實施例描繪圖1A的分類器模型之範例的圖。
圖2係根據各種實施例描繪產生一或多個分類器模型並使用該等分類器模型以估算可觀察事件以最佳化企業報酬之報酬最佳化系統的方塊圖。
圖3係根據各種實施例描繪建立分類器模型以基於事件之可量化特徵估算事件的結果之方法的虛擬碼方塊。
圖4根據各種實施例描繪圖3之方法的流程圖。
圖5根據各種實施例描繪使用在圖3之方法中的argmax函數的虛擬碼方塊。
圖6係根據各種實施例之實作圖5的argmax函數之方法的流程圖。
圖7係根據各種實施例之訓練事件分類器模型之高階方法的流程圖。
圖8係根據各種實施例之可代表本文描述之一或多個計算裝置或伺服器的計算裝置800之範例的方塊圖。
該等圖式描畫此揭示發明的各種實施例僅用於說明之目的。熟悉本技術的人士將從以上討論迅速地認 知可利用本文說明之結構及方法的替代實施例而不脫離本文描述之本發明的原理。
圖1A係根據各種實施例之產生用於基於事件的可量化特徵估算結果(例如，過去、現在、或未來的結果)的分類器模型之模型建立器引擎100的資料流程圖。模型建立器引擎100能如同由一組可執行指令所組態地藉由電腦伺服器系統中的電腦處理器實作。模型建立器引擎100能替代地由特定應用積體電路(ASIC)、可程式化控制器、場效可程式化閘極陣列(FPGA)、或其他電子電路實作。模型建立器引擎100能基於可觀察事件106及已知結果(例如，已知結果標籤108A、已知結果標籤108B等；共同稱為「已知結果108」)的訓練資料組104訓練分類器模型102，諸如，監督學習模型。
模型建立器引擎100典型地實例化為在具有合適資料結構以儲存分類器模型102或訓練資料組104之電腦伺服器系統(例如，一或多個計算裝置)上運行的活動電腦程序。資料結構能實例化在電腦系統的一或多個記憶體裝置上。各可觀察事件106能包括可量化特徵(例如，可量化特徵110A、可量化特徵110B等；共同稱為「可量化特徵110」)的陣列。可量化特徵之陣列的尺寸能對應於特定空間中的維度數(例如，與能觀察及記錄的事件關聯之度量及屬性的種類)。分類器模型102，例如，能係監督 學習模型，諸如，支援向量機(SVM)。
模型建立器引擎100能企圖創造用於可組態 函數120的參數112，使得以參數112組態的組態函數120能將可觀察事件106精準地分類為已知結果108的已知類別(例如，正面或負面)。可組態函數120可稱為「核心」。組態函數120及參數112的選擇可係分類器模型102的基礎。
然後模型建立器引擎100能與，例如，事件 分類引擎共用分類器模型102。事件分類引擎能如同由一組可執行指令所組態地藉由電腦系統的電腦處理器實作。 事件分類引擎能耦接至將相同特徵空間中的電子交易事件之即時數位事件概述接收為訓練資料組104的應用程式設計介面。然後該事件分類引擎能使用分類器模型102以產生電子交易事件之潛在結果的估算及/或預測。
圖1B係根據各種實施例描繪圖1A的分類器 模型102之範例的圖。分類器模型102可具現為藉由參數112組態的組態函數120。例如，參數112能係用於多項式函數、線性函數、或界定代表任何潛在可觀察事件(例如，包括可觀察事件106)之一或多個輸入特徵向量114的一或多個變數及代表結果值116(例如，包括圖1A的已知結果108)的一或多個變數之間的關係之另一數學函數的係數。在此範例中，輸入特徵向量114僅具有一維；然而，在其他範例中，輸入特徵向量114能係多維的。相似地，參數112，諸如，線性權重(w)，也可係多維的。
模型建立器引擎100能組態參數112，使得可 組態函數120能根據誤差的容差度一致地及精準地基於可觀察事件的輸入特徵向量將其與結果值匹配。在所說明的線性組態函數中，可觀察事件的結果值係wx+b，其中w(亦即，線性權重)及b(亦即，常數臨限值)係分類模型102之已計算參數112的一部分。
圖2係根據各種實施例描繪產生一或多個分 類器模型202，諸如，圖1A的分類器模型102，並使用分類器模型202以估算可觀察事件以最佳化企業報酬之報酬最佳化系統200的方塊圖。例如，報酬最佳化系統200能藉由包含一或多個計算裝置的電腦系統實作，諸如，圖8的電腦系統800。例如，一或多個計算裝置能包括桌上型電腦、電腦伺服器、虛擬電腦、特定應用積體電路、或其之任何組合。報酬最佳化系統200能包括模型建立器引擎204(例如，圖1A的模型建立器引擎100)及事件分類引擎206。
模型建立器引擎204可與訓練介面208耦 接。訓練介面208能係應用程式設計介面(API)、使用者介面(例如，網路為基礎的應用程式)、或其之組合。訓練介面208能從用戶裝置(例如，電腦系統)接收訓練資料組。訓練資料組能包括一組已觀察事件，其包括各事件的可量化特徵向量及已知結果標籤。
基於訓練資料組，模型建立器引擎204能產 生一或多個分類器模型202。使用一或多個分類器模型 202，事件分類引擎206能估算可觀察事件以評等正面結果或負面結果的可能性。估算介面210能係API或使用者介面。在部分實施例中，估算介面210與訓練介面208積集。例如，估算介面210能用於接收可觀察事件。以即時或非同步方式，事件分類引擎206能將各可觀察事件分類為可能正的或可能負的。事件分類引擎206也能藉由各可觀察事件的潛在報酬評等各可觀察事件。
多變數SVM公式在Joachims，「用於多變數 效能度量的支援向量方法」，International Conference of Machine Learning 2005中揭示如下：
公式(2)受限於描述於公式(3)之不等式的限 制。(Joachims,2005)描述基於線性核心的SVM公式。此處，表示訓練組中的可觀察事件之可量化特徵的陣列；表示訓練組中的可觀察事件之結果標籤的陣列；且w表示待計算權重以組態待使用為分類器模型的線性核心。根據上式公式，分類器模型能精準地分類訓練組中的可觀察事件。{-1,+1}n係所有可容許結果標籤向量。表示排除已知正確之結果標籤，亦即，的所有可容許結果標籤向量組。Ψ係估算(y'1,...,y'n)及(x1,...,xn)之間的匹配的線性函數。如藉由(Joachims,2005)所揭示的，將Ψ(,)限制如下：
由於此映射，(Joachims,2005)揭示將下列公 式使用為預測規則， 其中預測規則根據公式(5)的線性函數傳回評分最高之標籤的元組(tuple)，且w係藉由學習演算法學習的權重向量。意謂著若w具有大於所有可能wTΨ(,)的wTΨ(,)，則將其視為正確地分類所有訓練資料。
此公式能用於各種成本函數△(,)，諸如， ROC曲線。然而，此公式(公式(2))僅具有一個鬆弛變數ξ。此使(Joachims 2005)中的公式不能對各資料點指定不同權重。亦即，(Joachims 2005)揭示僅具有用於全體訓練組而非各個獨立資料點的單一懲罰參數C。所揭示的技術修改(Joachims 2005)公式，使得各資料點的權重能獨立地處理。
所揭示的演算法在最大化ROC面積的同時， 致能SVM對各資料點處理不同成本。所揭示的演算法能將訓練組中之各資料點的成本項併入ROC面積成本函數中。此能理解為彷彿演算法擴展訓練資料組的尺寸，且各資料點根據其成本項κ擴展。例如，若第一可觀察事件的結果比第二可觀察事件更有價值5倍以上(亦即，κ1>5*κ2)，則在訓練SVM分類器模型的同時，第一可觀察 事件應具有五倍的存在度。
在較佳實施例中，所揭示的演算法藉由以與 訓練資料組中的已知結果關聯之成本/報酬成比例的不同成本項(κ)加權資料點而模擬訓練資料組的擴展。較佳實施例依據節省計算及記憶體資源而在其他替代實施例上進行區分。例如，替代實施例能藉由在饋送訓練組至(Joachims,2005)公式之前在訓練組中將資料點複製多次而「擴展」訓練組中的單一資料點。然而，此替代實施例可顯著地減緩計算。例如，藉由實作該替代實施例，已修改的訓練資料組可係原始訓練資料組的百倍至千倍大。在較佳實施例中，修改SVM公式，所以其能以彷彿在原始訓練資料組上的運作實質相似的速度計算分類器模型，但同時，彷彿考慮多次般地考慮特定資料點。在其他替代實施例中，可將不同距離懲罰(Ci)施加至各資料點。然而，須注意距離懲罰參數(Ci)及結果報酬的成本/報酬(κi)之間的連接並非是需估算的細節。因為距離懲罰參數懲罰在輸入特徵空間中之錯誤邊界側上的各資料點的距離(例如，藉由可量化特徵向量表示)，因此難以決定如何能基於κi指定Ci。可能需要某些試誤以取得準確地代表與已知結果關聯之成本/報酬的最佳距離懲罰參數。
圖3根據各種實施例描繪操作模型建立器引 擎(例如，圖1A的模型建立器引擎100或圖2之模型建立器引擎204)產生分類器模型(例如，圖1A的分類器模型102或圖2之分類器模型202)以基於事件的可量化特徵估 算結果之方法300的虛擬碼方塊。分類器模型，例如，能係支援向量機，諸如，具有線性核心的支援向量機。為易於表示，向量變數或矩陣變數在虛擬碼方塊中以粗體顯示。步驟301-322描繪取用作為輸入之各種可量化特徵向量x及對應結果標籤以決定作為建立支援向量機的線性模型之基礎的權重w的方法。
圖4根據各種實施例描繪圖3之方法300的 流程圖。方法400包括接收包括可觀察事件(從1至n)之訓練資料組的步驟402，各可觀察事件具有對應可量化特徵向量(xi)及結果標籤(yi)。步驟402能對應於圖3的步驟301。訓練資料組更包括成本向量，κ=(κ1,...,κn)，其中各成本對應於可觀察事件之一者的結果標籤。成本能指示可觀察事件之已知結果的已知報酬。
實作方法300的電腦系統能經由耦接至用戶 電腦的應用程式設計介面輸入訓練資料組。用戶電腦，例如，能係將訊息事件提供為可觀察事件的電子訊息伺服器；將電腦實作社群網路互動事件提供為可觀察事件的社群網路系統；或將廣告展示提供為可觀察事件的數位廣告系統；或將歷史或模擬電子索賠記錄提供為可觀察事件的電子保險方針最佳化系統。
步驟402也可包括接收關於分類器模型的臨 限設定。例如，模型建立器引擎能選擇分類器模型的距離懲罰參數(C)。模型建立器引擎也能選擇對應於停止準則的ε。方法400能透過一組最佳化步驟迭代(例如，步驟 414-418)，直到符合基於停止準則的不等式。
步驟404包括正規化成本向量。步驟404能 對應於圖3的步驟302。成本向量能正規化為整數(例如，藉由捨入或捨去)。例如，步驟404能包括藉由將原始成本向量除以原始成本向量中的最小成本而計算取代成本向量。
步驟406、408、410、及412涉及設定代表具 有線性核心的支援向量機之限制的參數變數。為解出該等限制並最佳化線性核心，步驟414至418涉及透過用於會解出限制之線性核心函數的不同參數迭代。步驟406包括設定匹配基準向量(CC)。匹配基準向量能係分別對應於可觀察事件的向量。匹配基準向量的各值能代表樣本可觀察事件的已知結果及根據分類器模型的核心函數之最差/完美組態的已估算結果之間的最大距離。步驟406能對應於步驟303。
匹配基準向量(CC)的尺寸係n且每個訓練資 料點將具有其對應的CCi。為說明CCi的角色，考慮每個κi均等於1的情形。針對指定資料點xi，CCi藉由計算應具有小於wxi之分數wxj的資料點數而在開始設定。若xi具有正面標籤yi=1，則意謂著其CCi應係其係#neg的負面範例數。當xi具有負面標籤時，則其CCi應係-1*#pos，因為其分數設想為在具有#pos之尺寸的所有正面資料點「之後」。當所有範例以右序評等時，CCi也能視為擷取在xi及相反類別xj中的資料點之間的所有逐對比較。
以下經由相同趨勢，步驟304將成本列入考 慮。將總成本為多少或有多少擴展負面資料點應在正資料點xi之後列入考慮，其中若(yi=1)，yj=-1，且此更藉由κi加權，因此。
步驟408包括初始化失配量測向量()。失 配量測向量能對應於如同由各迭代的已計算權重向量組態之核心函數能良好地估算已知結果的程度。經由機器學習的各迭代，更新失配量測向量並與匹配基準向量比較。步驟408能對應於步驟304。步驟304在第一步驟將設定為與步驟303中之匹配基準向量完全相反，亦即，g=1。
步驟410包括計算基底因子(bf)以將用於解出 多變數支援向量機限制的赫士陣列正規化。當使用線性代數及矩陣操作以解出限制時，基底因子在數學上係最佳的，以避免計算誤差。步驟410能對應於步驟305。
步驟412包括初始化工作變數以在各迭代中追蹤線性核心之權重(w)的連續最佳化。例如，解出核心函數之參數的迭代在步驟414開始。各迭代藉由迭代指數(g)索引。迭代指數能追蹤模型建立器引擎已進行的迭代數。各迭代能將限制設定為具有可變函數的線性方程式組，包括赫士矩陣(Hg)、匹配估算向量(fg)、距離懲罰參數(C)、及停止準則(ε)。可將具有g個元素之匹配估算向 量fg的各元素計算為其中i=1...g。匹配 估算向量能度量線性核心的接近程度以正確估算訓練資料組中之可觀察事件的結果。fi的值能估算步驟i之解答 (wi)與可取結果的接近程度並滿足最佳化問題的限制。
赫士矩陣能計算為Hg=ZTZ，然而 且Z←Z∪zg。能將zg視為係藉由與完美解答的差距加權之所有xi的聚合，其中其具有基於在圖5中之方法500的步驟503中計算之評等係數(si)的尺寸之領先(若yi=-1)或落後(若yi=1)的正確資料點數。
步驟414包括計算對應於乘數向量(α)的權重向量(w)，該乘數向量解出包含赫士矩陣(Hg)、匹配估算向量(fg)、距離懲罰參數(C)、及停止準則(ε)的工作限制組。步驟414能對應於圖3的步驟308-314。例如，權重向量能經由拉格朗日乘數法計算。乘數向量能藉由下列不等式表示：min L( α )=0.5 α T Hα - fα 公式(6)
權重向量係m-維的，其中m對應於可量化特徵之特徵空間中的維數。權重向量能計算為：
步驟416包括基於工作限制組計算最佳鬆弛變數。步驟416能對應於圖3的步驟315。
步驟418包括針對其已知結果未由權重向量(w)精準地預測之一或多個可觀察事件的模型化「交換」。例如，步驟418能包括交換其預測結果具有錯誤極性的可觀察事件(例如，已知正面結果具有預測負面結果 或反之亦然)。例如，步驟418能對應於圖3的步驟316。
步驟420包括驗證是否結束訓練迭代。步驟 420能對應於步驟317-321。例如，步驟420能決定在已知結果及由權重向量估算的結果(例如，步驟317)之間是否有任何失配(例如，在由鬆弛變數表示的預組態容差內)。若仍有部分失配，模型建立器引擎再度迭代(例如，步驟318-319)。當迭代的權重向量能產生匹配估算時，將權重向量(w)儲存為分類器模型的一部分。
然後模型建立器引擎能在步驟422中計算臨 限值(b)。在部分實施例中，藉由在訓練資料組上使用wx+b的分類器函數而透過不同臨限值迭代並選擇產生最高報酬的臨限值(b)(例如，根據公式1A)使用訓練資料組及權重向量(w)計算臨限值。在n折交叉驗證的情形中，臨限值(b)能藉由使用提供最高可能報酬的驗證資料組計算。
方法300能實作為可執行指令以組態電腦處 理器。方法300能實作以改善相關於電子交易分類之技術領域的準確性，諸如，電子詐欺偵測、數位事件概述分類、電子資源節省等。方法300也能有利地節省實施監督學習以訓練對訓練資料組之結果成本敏感的支援向量機之電腦伺服器的計算資源。
圖5根據各種實施例描繪能使用在圖3之方 法300中的argmax函數500的虛擬碼方塊。argmax函數500能實作為組態成實作在計算裝置上並由電腦處理器執 行的電腦演算法。為易於表示，向量變數或矩陣變數在虛擬碼方塊中以粗體顯示。步驟501-515描繪採用作為輸入之各種可量化特徵向量x及對應成本向量κ以決定匹配基準向量cc1...ccn的方法。
使用在圖3之步驟316中的argmax函數，諸 如，argmax函數500，致能所揭示的演算法模擬在確定計算成本保持在與原始訓練資料組相似的程度的同時，將特定資料點加權多次的擴展訓練資料組。argmax函數500，例如，能在將擴展尺寸使用為基礎的同時，將交換級的尺寸乘以新尺寸κi。能以此方式計算合適限制而沒有透過擴展資料組尺寸的迴路。同時，此實現確保成本函數將各結果的適當成本列入考慮的目的。此也係以κi複製各訓練資料的等效實例，但不需要以增加計算成本。將yi=-1之所有κi的和表示為#neg_exp並將yi=1之所有κi的和表示為#pos_exp。
圖6係根據各種實施例之實作argmax函數 500之方法的流程圖。在步驟602中，argmax函數500接收可觀察事件的已知可量化特徵向量(xi)及已知結果標籤(yi)。函數500初始化暫時失配量測向量為0。步驟602能對應於步驟501-502。
在步驟604中，模型建立器引擎，諸如，圖2 的模型建立器引擎202，基於工作權重向量(w)及可量化特徵向量(x)的點乘積排序可觀察事件之工作資料組中的資料點(例如，藉由可量化特徵向量(x)表示)。在步驟604 中，代表以遞減次序排序之資料點的指數可儲存在已排序事件向量(r)中。模型建立器引擎首先能基於工作權重向量(w)產生評等係數(si)並基於評等係數排序事件向量(r)。評等係數能係期望結果或實質接近期望結果的估算。步驟604能對應於步驟503-504。在步驟606中，argmax函數500能增加評等係數。
步驟606能對應於圖5的步驟505。此步驟初 始化sp及sn變數。須注意sp與評等係數(si)不同。變數sp初始化為正面樣本之所有成本的和，且變數sn在開始時設定為0。此等二變數用於追蹤步驟506至514之間在資料點之後或之前的所有正面及負面範例的累計成本。例如，當在步驟512中遇到負面範例時，將範例的成本項加至sn。
步驟608前進經過可觀察事件以產生必要交 換以調整已估算結果及已知結果標籤之間的任何失配。步驟608能對應於步驟506-514。此迴路基於步驟504中的指數ri經過各範例。此意謂著從具有最高評等係數(si)的資料點開始並計算對應的。例如，在步驟508中，argmax函數500能基於具有比更大之評等係數(sj)的負面範例(sn)之所有κ的和計算正面範例的。為知道其工作原理，考慮具有大於每個單一負面資料點的評等係數之評等係數的正資料點，亦即，其完美的評等且Sn保持為0，則其將具有等於步驟303中之匹配基準向量組(CC)的。相似地，步驟511及512能計算負面 範例。argmax函數在步驟506至514的迴路中從1進展至n(亦即，訓練資料組的尺寸)。此處，彷彿有資料點數般地計算。此特徵有利地致能所揭示的argmax函數500將個別資料級的各種成本項=(κ1,......,κn)列入考慮。
建立分類器模型的揭示方法透過各種既存監 督學習模型改善。例如，所揭示的模型建立器引擎能建立能藉由將訓練資料組中之各可觀察事件的成本/報酬列入考慮而更精確地估算結果報酬的分類器模型。模型建立器引擎能使用匹配基準向量與失配量測向量比較，以透過不同潛在權重向量迭代以識別最佳權重向量。當訓練資料組中的報酬/成本對不同資料點不同時，此等特徵改善估算效能。亦即，分類器模型能用於增加在電子交易事件上產生之每個決定的投資報酬以及整體企業營運的投資報酬。
在部分實施例中，將模型建立器引擎最佳化 以最小化計算資源。例如，成本/報酬向量在步驟404中正規化，使得各成本值係小整數。當使用赫士矩陣解出支援向量機的限制時，模型建立器引擎也能計算最佳基底因子。需要此基底因子(bf)並施用其以確保赫士矩陣的數值穩定性。沒有在步驟309使用基底因子，步驟311之赫士矩陣的條件數將變得太大而不能使用數值解法發現在步驟313中需要的其反矩陣。因為在309中的縮放步驟，來自(Joachims,2005)的原始停止準則修改為步驟317以具有適當停止準則。此有利地致能模型建立器引擎有效率地發現 解答而不由於捨去誤差變得不穩定。針對另一範例，argmax函數500能將κ=(κ1,...,κn)列入考慮，不必在能遠大於n之資料點數上運行。此致能模型建立器引擎以與n相同的速度計算解答，但將資料組映射至更大的。實際上，擴展訓練資料組以操作彷彿其係具有每個資料點均複製κi次的更大資料組。在數個實施例中，所有κi的值均係正的，i=1...n。
圖7係根據各種實施例之訓練事件分類器模 型之高階方法700的流程圖。方法700能係圖3的方法300。在步驟702，電腦伺服系統接收對應於可量化特徵向量組、已知結果標籤組、及已知成本值組的可觀察事件的訓練組。已知成本值能量化與已知結果標籤關聯的已知報酬。已知結果標籤能包括至少一負面結果及至少一正面結果。
在步驟704，電腦系統能相關於已知成本值之 中的最低成本正規化已知成本值。在步驟706，電腦系統能設定支援向量機之核心函數的最初參數。核心函數能具有線性核心或非線性核心，諸如，高斯核心。設定最初參數能包括初始化匹配基準向量及失配量測向量。匹配基準向量及失配量測向量之間的差能度量如同由工作權重向量組態的核心函數是否精確地估算可觀察事件之已知結果標籤的極性。
在步驟708，電腦系統透過核心函數的潛在權 重向量迭代，直到如同由迭代的工作權重向量所組態的核 心函數能基於可量化特徵向量在精準度的臨限容差內估算已知結果標籤的至少極性。各迭代能包括藉由解出變數限制而在各迭代中在可量化特徵的特徵空間中計算工作權重向量。
在各迭代中，電腦系統能基於相關於匹配基 準向量的失配量測向量重計算變數限制。然後，例如，電腦系統能基於變數限制藉由實施迴歸分析計算工作權重向量。在部分實施例中，各迭代包括在匹配基準向量在每次迭代均保持不變的同時重計算失配量測向量。例如，此重計算能在迭代結束時發生。在部分實施例中，失配量測向量代表逐對損失函數。失配量測向量的重計算能包括基於已知本成值的可觀察事件之中的已知評等實施交換對。
在處理或方塊以指定次序呈現的同時，替代 實施例可用不同次序實施具有步驟的常式，或利用具有方塊的系統，且部分處理或方塊可刪除、移動、加入、次分割、結合、及/或修改以提供替代或次結合。此等處理或方塊各者可用各式各樣不同方式實作。此外，在處理或方塊有時顯示為序列實施的同時，此等處理或方塊可替代地並列地實施，或可在不同時間實施。
圖8係根據各種實施例之可代表本文描述之 一或多個計算裝置或伺服器的計算裝置800之範例的方塊圖。計算裝置800能係實作上述方法及處理的一或多個計算裝置。計算裝置800包括耦接至互連830的一或多個處理器810及記憶體820。顯示於圖8中的互連830係代表 藉由適當橋接器、配接器、或控制器所連接之任何一或多個分離實體匯流排、點對點連接、或二者的抽象概念。因此互連830可包括，例如，系統匯流排、週邊組件互連(PCI)匯流排或PCI-快速匯流排、超傳輸(HyperTransport)或工業標準架構(ISA)匯流排、小型電腦系統介面(SCSI)匯流排、通用串列匯流排(USB)、IIC(I2C)匯流排、或國際電機電子工程師學會(IEEE)標準1394匯流排(常稱為「火線」)。
處理器(等)810係計算裝置800的中央處理單 元(CPU)且因此控制計算裝置800的整體操作。在特定實施例中，處理器(等)810藉由執行儲存在記憶體820中的軟體或韌體完成此。處理器(等)810可係或可包括一或多個可程式化通用或專用微處理器、通用圖形處理單元(GPGPU)、數位訊號處理器(DSP)、可程式化控制器、特定應用積體電路(ASIC)、可程式化邏輯裝置(PLD)、或可信賴平台模組(TPM)等，或此種裝置的組合。
記憶體820係或包括計算裝置800的主記憶 體。記憶體820代表任何形式的隨機存取記憶體(RAM)、唯讀記憶體(ROM)、或快閃記憶體等，或此種裝置的組合。在使用時，記憶體820可包含碼870，其包括根據本文揭示的網狀連接系統的指令。
網路卡840及儲存配接器850也經由互連830 連接至處理器(等)810。網路卡840透過網路將與遠端裝置通訊的能力提供給計算裝置800，且可係，例如，乙太 網路卡或光纖通道配接卡。網路卡840也可將與其他電腦通訊的能力提供給計算裝置800。儲存配接器850致能計算裝置800存取持久儲存器，並可係，例如，光纖通道配接卡或SCSI配接卡。
儲存在記憶體820中的碼870可實作為軟體 及/或韌體以程式化處理器(等)810以實行上述行動。在特定實施例中，此種軟體或韌體可藉由經由計算裝置800(例如，經由網路卡840)從遠端系統下載而最初提供至計算裝置800。
本文介紹的技術能藉由，例如，以軟體及/或 韌體程式化的可程式化電路(例如，一或多個微處理器)，或完全以專用硬接線電路，或此種形式的組合實作。專用硬接線電路可採用，例如，一或多個特定應用積體電路(ASIC)、可程式化邏輯裝置(PLD)、場效可規劃閘極陣列(FPGA)等的形式。
針對記憶體820不能保持之非常大的資料 組，可能具有藉由經由網路將多個計算裝置共同連接及使用訊息傳遞介面(MPI)或Hadoop以將計算最佳化(w)之此種方式組織碼870的執行而協同工作的多個計算裝置800以實作本文介紹的技術。
用於實作本文介紹之技術的軟體或韌體可儲 存在機器可讀儲存媒體上並可藉由一或多個通用或專用可程式化微處理器執行。「機器可讀儲存媒體」作為使用在本文中的術語包括能以可由機器(機器可係，例如，電 腦、網路裝置、行動電話、個人數位助理(PDA)、製造工具、具有一或多個處理器的任何裝置等)存取之形式儲存資訊的任何機制。例如，機器可存取儲存媒體包括可記錄/不可記錄媒體(例如，唯讀記憶體(ROM)；隨機存取記憶體(RAM)；磁碟儲存媒體；光儲存媒體；快閃記憶體裝置等)等。
術語「邏輯」當使用在本文中時能包括，例 如，以特定軟體及/或韌體程式化的可程式化電路、專用硬接線電路、或彼等的組合。
本揭示發明的部分實施例具有除了上述樣 態、元件、特徵、及步驟外或取代彼等的其他樣態、元件、特徵、及步驟。此等潛在添加物及取代物在本說明書其餘部分的各處描述。例如，部分實施例包括非線性核心。
擴展上述演算法至非線性核心
上述數個實施例包括用於最佳化ROC以解出成本敏感真實世界問題的線性SVM演算法。此能擴展成合併非線性核心。核心方法流行的原因可包括使用各種核心函數以將來自原始輸入空間的資料映射至高維特徵空間S的能力，其中Φ代表Rm→Rs的映射。在此特徵空間中，部分實施例能創造分離超平面f=wTΦ(x)+b以分離二類別。然而，由於高計算複雜性，特徵空間通常不直接計算，且SVM演算法的大部分已使用此「核心技巧」繞過 特徵空間的計算，且在原始輸入空間內操作。
最廣泛使用的核心函數的一者係具有下列形式的高斯核心：K( x ,x i )=exp(-[∥ x - x i ∥2])/2σ 2其中σ係高斯核心的寬度。在本文件的其餘部分中，將高斯核心使用為範例，但本文提及的所有該方法可應用至所有正定核心。
例如，Zhang,K.、Lan,L.、Wang,Z.、及Moerchen,F.(2012年)，「在有限資源上擴大核心SVM：低階線性化方法」，Proceedings of the 15th International Conference on Artificial Intelligence and Statistics(AISTATS)，揭示基於使用將高維空間中的資料點明顯地變換至線性空間中，然後能應用線性SVM演算法以解出核心化SVM的Nystrőm方法之核心矩陣的低階近似的方法。
指定訓練資料組的特徵向量Xn=[x1...xn]，部分實施例能基於訓練資料計算n×n核心矩陣Kn，及用於各資料點的經驗核心映射，Kij=<Φ(xi)，Φ(xj)>=<ui,uj>。
在此情形中，ui係n×1向量，此能視為將原始xi映射至ui。在多數實際問題中，ui維度遠大於m，如同多數問題具有遠大於特徵數的資料點數。為計算ui，必需發現核心矩陣Kn的特徵值分解。
其中 n×n 尺寸的 V n 由核心矩陣的特徵向量組成，且 D r 係特徵值的對角矩陣。經驗映射計算如下， ，其中 U n 係 n×n 矩陣。然而計算完整核心矩陣的特徵值分解通常非常昂貴。克服此問題的一種非常流行的方法係Nystrőm法，其藉由從訓練資料組 X n 選擇尺寸k的子集 Z而產生核心的k-階近似，然後藉由，計算 k-階近似核心，其中係用於子集Z之核心矩陣的反矩陣，且 K nz R n×k 係Xn及Xz的核心矩陣。且用於經驗核心 映射的k-階近似係，其中係藉由以z矩陣 取代全經驗映射 U n 的n。的各列基本上對應於受變換的 x i 。
所以為將之前章節概述的線性演算法用於解出非線性問題，需要取代，將作為輸入供應至演算法1。k-階近似的的良好程度係由選擇及計算Z的方式決定。選擇良好的Z組使得近似不離準確解過遠係重要的，因此將具有更佳的分類效能。
在(Zhang、Lan、Wang、及Moerchen,2012)中，揭示使用常數步驟k均值聚類法之用於選擇子集Z的方法。基本上，在開始時，隨機選擇k個資料點，然後對小量步驟，諸如，五個步驟，實施k均值聚類，然後將中心使用為Nystrőm方法中的子集Z。且減少計算複雜性的一個關鍵因子係具有小數量的子集Z，但仍實現整體訓練資料組的良好收斂，以具有 U n 的良好近似。
當滿足下列三條件時，此方法對資料組良好地運行：
1.資料組對所分類平衡，亦即，各分類的尺寸大約相 同。
2.各資料點具有相等權重。
3.問題的維度甚小。
但在實際上，當具有其分類分佈不平衡的資料組時，各資料點的加權不同且問題的維數甚高，此種方式可導致演算法不穩定。藉由不穩定性，其意謂著對於相同的核心參數，諸如，σ及相同尺寸的Z，不同結果可由於不同的隨機化及如何計算k均值而產生。此種行為係不可取的；當實施交叉驗證時，如同使得實際上難以選擇用於SVM的合適核心參數。來自(Zhang、Lan、Wang、及Moerchen,2012)的不同k均值演算法能用於選擇Z子集。且將此新子集選擇方法用於所揭示的系統/演算法。
使用已修改K均值聚類的中心選擇演算法
數個實施例包括用於已修改K均值聚類的中心選擇演算法。
所揭示的系統能接收輸入、k、 T(步驟數)。
所揭示的系統能隨機地從將k個資料點選擇為Z。且將Z的元素表示為z。另一方式能基於相對重要性κ=(κ1,......,κn)從汲取k個資料點。若κ1係κ2的五倍大，則其應具有五倍被選擇為Z之一部分的機會。另一替代係基於+1類別及-1類別之間的總權重和的比率汲取資 料。計算比率，並使具有y=1的資料點有r倍 的可能性被選擇為Z的一部分。
所揭示的系統能對t=1至T迭代以下步驟。
針對 X n 內的各 x i ，所揭示的系統能將其指定給具有至其最短歐幾里德距離的點 z Z 。僅能將各 x i 指定給其對應的z一次。所有的 x i 指定給相同的z通常係指在步驟t如同在相同聚類中。
所揭示的系統能根據下列方程式更新z
當迭代結束時，所揭示的系統能對i=[1....k]輸出。
此方法能基於成本/報酬κj計算k-均值聚類，且當與用於在線性空間中解出非線性問題之核心矩陣的低階近似結合時，產生遠比揭示在(Zhang、Lan、Wang、及Moerchen,2012)中的結果更精準及穩定的結果。
為將所揭示的系統擴展成解出非線性問題，所揭示的系統能在整體資料組上使用新的中心選擇演算法。在計算z之後，所揭示的系統能遵循在(Zhang、Lan、Wang、及Moerchen,2012)中概述的方法計算，然後將作為饋送至線性演算法，並基於展開w。

Claims (20)

  1. 一種具有一或多個計算裝置的電腦伺服系統，包含：記憶體儲存裝置，具有可執行指令以實作：訓練應用程式設計介面，組態成透過通訊網路接收對應於第一可量化特徵向量組、已知結果標籤組、及已知成本值組的可觀察事件訓練組；其中該等已知成本值量化與該等已知結果標籤關聯的已知回傳，且其中該等已知結果標籤包括至少一負面結果及至少一正面結果；及模型建立器引擎，組態成設定支援向量機之核心函數的最初參數，及透過該核心函數的潛在權重向量迭代，直到如同由迭代的工作權重向量所組態的該核心函數能在基於該第一可量化特徵向量組之精準度的臨限容差內至少估算該等已知結果標籤的極性；其中該迭代包括藉由解出變數限制而在各迭代中在該第一可量化特徵組的特徵空間中計算該工作權重向量。
  2. 如申請專利範圍第1項的電腦伺服系統，其中該等可執行指令更包含指令以實作：估算應用程式設計介面，組態成接收對應於第二可量化特徵向量組的可觀察事件查詢組，其中該可觀察事件查詢組的實際結果及該等實際結果的實際成本值不為該電腦伺服系統所知；事件分類引擎，組態成基於該工作權重向量及該第二可量化特徵向量組估算該可觀察事件查詢組以估算各可觀察事件是否產生正面結果或負面結果。
  3. 如申請專利範圍第1項的電腦伺服系統，其中該等可執行指令更包含指令以實作：估算介面，組態成接收對應於第二可量化特徵向量組的可觀察事件查詢組，其中該可觀察事件查詢組的實際結果及該等實際結果的實際成本值不為該電腦伺服系統所知；事件分類引擎，組態成基於該工作權重向量及該第二可量化特徵向量組估算該可觀察事件查詢組的潛在結果之中的評等。
  4. 一種訓練事件分類器模型的電腦實作方法，包含：藉由電腦網路介面由電腦伺服系統接收訓練資料組，包括可觀察事件(從1至n)，各者具有對應可量化特徵向量(x i )、已知結果標籤(yi)、及已知成本(κi)；儲存該訓練資料組在該電腦伺服系統的一或多個記憶體裝置中；由該電腦伺服系統設定代表具有線性核心函數之支援向量機的限制的參數變數；由該電腦伺服系統藉由調整該等參數變數而對該線性核心函數迭代，及解出該等限制；由該電腦伺服系統藉由比較如同由工作參數組所組態之該線性核心函數的效能及該等已知結果標籤而驗證是否結束該迭代；及由該電腦伺服系統提供該工作參數組至由該電腦伺服系統所實作的事件分類引擎，以估算或預測電子交易事件的結果。
  5. 如申請專利範圍第4項的電腦實作方法，其中藉由解出該等限制的該迭代包括對該線性核心函數計算線性乘數權重向量(w)。
  6. 如申請專利範圍第4項的電腦實作方法，其中設定變數包括初始化失配量測向量(
    Figure TWI631518B_C0001
    )，該失配量測向量對應於如同由各迭代的該工作參數組所組態之該線性核心函數估算該等已知結果的程度。
  7. 如申請專利範圍第6項的電腦實作方法，其中該失配量測向量(
    Figure TWI631518B_C0002
    )初始化為：
    Figure TWI631518B_C0003
    及在該迭代期間更新，其中#neg係具有負面結果之可觀察事件數且#pos係具有正面結果的可觀察事件數，且其中n代表可觀察事件數。
  8. 如申請專利範圍第7項的電腦實作方法，其中在該迭代期間，將該失配量測向量(
    Figure TWI631518B_C0004
    )與匹配基準向量進行比較為：
    Figure TWI631518B_C0005
    ，其中該匹配基準向量在該迭代期間保持不變。
  9. 如申請專利範圍第8項的電腦實作方法，其中藉由調整該等參數變數的該迭代包括：計算
    Figure TWI631518B_C0006
    藉由設定Z←Z∪zg而更新成本矩陣；設定赫士(Hessian)矩陣Hg=ZTZ；及計算向量fg，該向量的各元素計算為
    Figure TWI631518B_C0007
    ，其中i=1..g且g係該迭代的迭代指數。
  10. 如申請專利範圍第9項的電腦實作方法，其中藉由解出該等限制的該迭代包括藉由下列步驟計算權重向量(w)：藉由解出以下方程式而計算α使用：min L(α)=0.5αTHα-fα，條件為αi
    Figure TWI631518B_C0008
    0及
    Figure TWI631518B_C0009
    ；及計算
    Figure TWI631518B_C0010
  11. 如申請專利範圍第10項之電腦實作方法，其中該迭代更包含：針對該等可觀察事件之一或多個範例的模型化互換，其中根據預置容差，該等對應已知結果標籤未精準地由該權重向量(w)預測；及根據該等互換更新該失配量測向量。
  12. 如申請專利範圍第4項的電腦實作方法，更包含基於該等已知成本藉由選擇產生最高回傳的該臨限值而為該線性核心函數計算臨限值。
  13. 一種訓練事件分類器模型的電腦實作方法，包含：經由電腦網路介面由電腦伺服系統接收對應於可量化特徵向量組、已知結果標籤組、及已知成本值組的可觀察事件訓練組；其中該等已知成本值量化與該等已知結果標籤關聯的已知回傳，且其中該等已知結果標籤包括至少一負面結果及至少一正面結果；由該電腦伺服系統設定支援向量機之核心函數的最初參數；及由該電腦伺服系統透過該核心函數的潛在權重向量迭代，直到如同由迭代之工作權重向量所組態的該核心函數能在基於該等可量化特徵向量之精準度的臨限容差內至少估算該等已知結果標籤的極性；其中該迭代包括藉由解出複數個變數限制而在各迭代中在該等可量化特徵的特徵空間中計算該工作權重向量。
  14. 如申請專利範圍第13項的電腦實作方法，更包含相關於該等已知成本值之中的最低成本正規化該等已知成本值。
  15. 如申請專利範圍第13項的電腦實作方法，其中設定該等最初參數包括初始化匹配基準向量及失配量測向量，且其中該匹配基準向量及該失配量測向量之間的差量測如同由該工作權重向量所組態的該核心函數是否精準地估算該等可觀察事件之該等已知結果標籤的極性。
  16. 如申請專利範圍第15項的電腦實作方法，其中該迭代包括在各迭代中重計算該失配量測向量，同時在該迭代期間該匹配基準向量保持不變。
  17. 如申請專利範圍第16項的電腦實作方法，其中該迭代包括基於相對於該匹配基準向量的該失配量測向量計算該等變數限制；且其中計算該工作權重向量係藉由實施基於該複數個變數限制的迴歸分析。
  18. 如申請專利範圍第16項的電腦實作方法，其中該失配量測向量代表逐對損耗函數，且其中該重計算該失配量測向量包括基於該等已知成本值之該等可觀察事件之中的已知評等實施互換對。
  19. 如申請專利範圍第13項的電腦實作方法，其中該核心函數係線性核心。
  20. 如申請專利範圍第13項的電腦實作方法，其中該核心函數係非線性核心。
TW104116978A 2014-06-02 2015-05-27 具有一或多個計算裝置的電腦伺服系統及訓練事件分類器模型的電腦實作方法 TWI631518B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462006684P 2014-06-02 2014-06-02
US62/006,684 2014-06-02

Publications (2)

Publication Number Publication Date
TW201614551A TW201614551A (en) 2016-04-16
TWI631518B true TWI631518B (zh) 2018-08-01

Family

ID=54767179

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104116978A TWI631518B (zh) 2014-06-02 2015-05-27 具有一或多個計算裝置的電腦伺服系統及訓練事件分類器模型的電腦實作方法

Country Status (3)

Country Link
US (1) US10599999B2 (zh)
TW (1) TWI631518B (zh)
WO (1) WO2015187372A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI720391B (zh) * 2018-11-16 2021-03-01 大陸商北京嘀嘀無限科技發展有限公司 通過叫車訂單識別醉酒乘客的人工智慧系統和方法
US11004070B2 (en) 2018-10-26 2021-05-11 Advanced New Technologies Co., Ltd. Method, apparatus and electronic device for blockchain transactions
US11032077B2 (en) 2018-09-20 2021-06-08 Advanced New Technologies Co., Ltd. Blockchain-based transaction method and apparatus, and remitter device
US11050549B2 (en) 2018-09-30 2021-06-29 Advanced New Technologies Co., Ltd. Blockchain-based transaction method and apparatus, and remitter device
US11244306B2 (en) 2018-08-06 2022-02-08 Advanced New Technologies Co., Ltd. Method, apparatus and electronic device for blockchain transactions
TWI764205B (zh) * 2019-08-27 2022-05-11 南韓商韓領有限公司 電腦實行的系統以及方法
US11341487B2 (en) 2018-12-29 2022-05-24 Advanced New Technologies Co., Ltd. System and method for information protection
US11341492B2 (en) 2018-08-30 2022-05-24 Advanced New Technologies Co., Ltd. Method, apparatus and electronic device for blockchain transactions

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10192051B2 (en) 2015-06-17 2019-01-29 Accenture Global Services Limited Data acceleration
US10708151B2 (en) * 2015-10-22 2020-07-07 Level 3 Communications, Llc System and methods for adaptive notification and ticketing
EP3293683A1 (en) * 2016-09-09 2018-03-14 Yandex Europe AG Method and system for training a machine learning algorithm for selecting process parameters for an industrial process
TWI725110B (zh) * 2017-01-19 2021-04-21 香港商阿里巴巴集團服務有限公司 資料庫操作方法及裝置
CN107391569B (zh) * 2017-06-16 2020-09-15 阿里巴巴集团控股有限公司 数据类型的识别、模型训练、风险识别方法、装置及设备
US11586905B2 (en) * 2017-10-11 2023-02-21 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for customizing kernel machines with deep neural networks
US20190205926A1 (en) * 2017-12-29 2019-07-04 Oath Inc. Method and system for detecting fraudulent user-content provider pairs
CN108334647A (zh) * 2018-04-12 2018-07-27 阿里巴巴集团控股有限公司 保险欺诈识别的数据处理方法、装置、设备及服务器
CA3102116A1 (en) * 2018-06-01 2019-12-05 World Wide Warranty Life Services Inc. A system and method for protection plans and warranty data analytics
TWI694344B (zh) * 2018-10-26 2020-05-21 財團法人資訊工業策進會 為一作業環境檢測影響因子之裝置及方法
CA3028194A1 (en) 2018-11-16 2020-05-16 Beijing Didi Infinity Technology And Development Co., Ltd. Artificial intelligent systems and methods for identifying a drunk passenger by a car hailing order
US11164099B2 (en) * 2019-02-19 2021-11-02 International Business Machines Corporation Quantum space distance estimation for classifier training using hybrid classical-quantum computing system
CN111522632A (zh) * 2020-04-14 2020-08-11 重庆邮电大学 基于核聚类特征选择的Hadoop配置参数选择方法
CN112749978B (zh) * 2020-12-31 2024-02-06 百度在线网络技术（北京）有限公司 检测方法、装置、设备、存储介质以及程序产品
CN113962568A (zh) * 2021-10-26 2022-01-21 天元大数据信用管理有限公司 基于支持向量机的模型标签标注方法、设备及介质
CN115080963B (zh) * 2022-07-07 2023-04-04 上海量化森林科技有限公司 一种基于云计算的智慧金融数据防护方法及服务器
CN116843341B (zh) * 2023-06-27 2024-06-18 湖南工程学院 ***异常数据检测方法、装置、设备及存储介质
CN117148309B (zh) * 2023-11-01 2024-01-30 德心智能科技(常州)有限公司 应用于社区网格巡查的毫米波雷达人体感知方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030078850A1 (en) * 2001-09-05 2003-04-24 Eric Hartman Electronic marketplace system and method using a support vector machine
US20100145902A1 (en) * 2008-12-09 2010-06-10 Ita Software, Inc. Methods and systems to train models to extract and integrate information from data sources
CN102651071A (zh) * 2012-04-06 2012-08-29 天津大学 基于支持向量机的机舱内部路径损耗预测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7490071B2 (en) * 2003-08-29 2009-02-10 Oracle Corporation Support vector machines processing system
US9269057B1 (en) * 2013-12-11 2016-02-23 Google, Inc. Using specialized workers to improve performance in machine learning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030078850A1 (en) * 2001-09-05 2003-04-24 Eric Hartman Electronic marketplace system and method using a support vector machine
US20100145902A1 (en) * 2008-12-09 2010-06-10 Ita Software, Inc. Methods and systems to train models to extract and integrate information from data sources
CN102651071A (zh) * 2012-04-06 2012-08-29 天津大学 基于支持向量机的机舱内部路径损耗预测方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI786282B (zh) * 2018-08-06 2022-12-11 開曼群島商創新先進技術有限公司 區塊鏈交易方法及裝置、電子設備
US11244306B2 (en) 2018-08-06 2022-02-08 Advanced New Technologies Co., Ltd. Method, apparatus and electronic device for blockchain transactions
US11379826B2 (en) 2018-08-06 2022-07-05 Advanced New Technologies Co., Ltd. Method, apparatus and electronic device for blockchain transactions
US11341492B2 (en) 2018-08-30 2022-05-24 Advanced New Technologies Co., Ltd. Method, apparatus and electronic device for blockchain transactions
US11392942B2 (en) 2018-08-30 2022-07-19 Advanced New Technologies Co., Ltd. Method, apparatus and electronic device for blockchain transactions
US12021993B2 (en) 2018-09-20 2024-06-25 Advanced New Technologies Co., Ltd. Blockchain-based transaction method and apparatus, and remitter device
US11032077B2 (en) 2018-09-20 2021-06-08 Advanced New Technologies Co., Ltd. Blockchain-based transaction method and apparatus, and remitter device
US11050549B2 (en) 2018-09-30 2021-06-29 Advanced New Technologies Co., Ltd. Blockchain-based transaction method and apparatus, and remitter device
US11258584B2 (en) 2018-10-26 2022-02-22 Advanced New Technologies Co., Ltd. Method, apparatus and electronic device for blockchain transactions
US11004070B2 (en) 2018-10-26 2021-05-11 Advanced New Technologies Co., Ltd. Method, apparatus and electronic device for blockchain transactions
TWI720391B (zh) * 2018-11-16 2021-03-01 大陸商北京嘀嘀無限科技發展有限公司 通過叫車訂單識別醉酒乘客的人工智慧系統和方法
US11341487B2 (en) 2018-12-29 2022-05-24 Advanced New Technologies Co., Ltd. System and method for information protection
US11416854B2 (en) 2018-12-29 2022-08-16 Advanced New Technologies Co., Ltd. System and method for information protection
TWI764205B (zh) * 2019-08-27 2022-05-11 南韓商韓領有限公司 電腦實行的系統以及方法
TWI820660B (zh) * 2019-08-27 2023-11-01 南韓商韓領有限公司 電腦實行的系統以及方法

Also Published As

Publication number Publication date
WO2015187372A1 (en) 2015-12-10
US10599999B2 (en) 2020-03-24
US20170124483A1 (en) 2017-05-04
TW201614551A (en) 2016-04-16

Similar Documents

Publication Publication Date Title
TWI631518B (zh) 具有一或多個計算裝置的電腦伺服系統及訓練事件分類器模型的電腦實作方法
US11995702B2 (en) Item recommendations using convolutions on weighted graphs
US11893467B2 (en) Model interpretation
US20230325724A1 (en) Updating attribute data structures to indicate trends in attribute data provided to automated modelling systems
CN111737546B (zh) 确定实体业务属性的方法及装置
CN112163963B (zh) 业务推荐方法、装置、计算机设备和存储介质
US20180225581A1 (en) Prediction system, method, and program
US20240005218A1 (en) Model interpretation
WO2017159402A1 (ja) 共クラスタリングシステム、方法およびプログラム
Li et al. Credit scoring by incorporating dynamic networked information
Rath et al. Modern approach for loan sanctioning in banks using machine learning
Rančić et al. Investigating oversampling techniques for fair machine learning models
US11144938B2 (en) Method and system for predictive modeling of consumer profiles
Liu E‐Commerce Precision Marketing Model Based on Convolutional Neural Network
CN114139593A (zh) 一种去偏差图神经网络的训练方法、装置和电子设备
Gujar et al. Genethos: A synthetic data generation system with bias detection and mitigation
Kaminskyi et al. Machine learning methods application for consumer banking
Prasasti et al. Customer lifetime value and defection possibility prediction model using machine learning: An application to a cloud-based software company
CN115907954A (zh) 账户的识别方法、装置、计算机设备和存储介质
Yong et al. Empirical study on credit classification of E-commerce sellers based on FCM algorithm
CN117195061B (zh) 事件响应预测模型处理方法、装置和计算机设备
US20240185369A1 (en) Biasing machine learning model outputs
Huang Fuzzy support vector machine using particle swarm optimization for high-tech enterprises financing risk assessment
Guruswamy et al. A Powerful Algorithm for e-Commerce Credit Risk Analysis
WO2021044459A1 (ja) 学習装置、予測システム、方法およびプログラム