TW202105183A - 用於轉換後之資料之自我修復機器學習系統 - Google Patents

用於轉換後之資料之自我修復機器學習系統 Download PDF

Info

Publication number
TW202105183A
TW202105183A TW109121813A TW109121813A TW202105183A TW 202105183 A TW202105183 A TW 202105183A TW 109121813 A TW109121813 A TW 109121813A TW 109121813 A TW109121813 A TW 109121813A TW 202105183 A TW202105183 A TW 202105183A
Authority
TW
Taiwan
Prior art keywords
model
data
feature
input
deep learning
Prior art date
Application number
TW109121813A
Other languages
English (en)
Other versions
TWI755778B (zh
Inventor
賽爾保羅 卡拉斯科
趙岑
Original Assignee
美商索尼互動娛樂有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商索尼互動娛樂有限責任公司 filed Critical 美商索尼互動娛樂有限責任公司
Publication of TW202105183A publication Critical patent/TW202105183A/zh
Application granted granted Critical
Publication of TWI755778B publication Critical patent/TWI755778B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/358—Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/422—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle automatically for the purpose of assisting the player, e.g. automatic braking in a driving game
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

一種端對端基於雲端之機器學習平台，其提供個性化之遊戲玩家體驗。為所有轉換後之資料生成資料譜系，以用於生成特徵ETL且用於訓練機器學習模型。該資料用於理解線下及線上推薦系統之效能以用於使遊戲玩家體驗個性化。為此，平台管線將該轉換後之資料之生命週期提供至一自我修復系統，該自我修復系統將該生命週期與使用者互動之生命週期進行比較。藉由比較該兩個生命週期，該自我修復系統能夠自動提供一診斷，且若模型預測之效能已隨時間發生變化，則該自我修復系統亦能夠自動提供一措施。

Description

用於轉換後之資料之自我修復機器學習系統
本申請案一般而言係關於技術上有創造性之非常規解決方案，此等解決方案必須植根於電腦技術且產生具體之技術改良。具體而言，本申請案係關於提供個性化之遊戲玩家預測的端對端基於雲端之機器學習平台。
機器學習能夠分為不同任務，諸如監督式學習、無監督學習、深度學習、強化學習及推薦系統，該等不同任務能夠用於各種各樣之電腦應用，諸如線上個性化推薦、電腦視覺、語音辨識、網際網路搜尋引擎、個人助理及自動駕駛汽車。
如本文中所理解，機器學習尤其適合於諸如電腦遊戲之電腦模擬的情景，其中遊戲開發者藉由「重新想像」人們如何玩遊戲而不斷創新，而遊戲玩家在他們互動、消費及購買遊戲方面之行為卻不斷變化。
本原理係關於對可促成機器學習模型之線下或線上預測(特別是在做出與諸如電腦遊戲之電腦模擬中之個性化體驗有關的預測時)之改變的根本原因之偵測及補救。本文在實例實施例中描述之模型學習如何提供個性化之遊戲體驗，諸如向給定使用者推薦遊戲，向使用者推薦更好地玩遊戲之提示或向使用者推薦遊戲活動。機器學習管線為特徵及模型生成資料譜系。遊戲玩家之行為可隨時改變。此可導致模型預測之效能發生變化。下文描述之「自我修復」系統偵測彼等變化且提供對彼等變化之補救，使得即使玩家之行為發生變化，玩家體驗仍然為個性化的。
本原理解決了上述挑戰中之一或多個挑戰。
因此，在一個態樣中，一種設備包括：至少一個處理器；及至少一個電腦儲存器，該至少一個電腦儲存器並非瞬時信號且反過來包括指令，該等指令能夠由該處理器執行以執行有權存取歷史原始資料、模型特徵、特徵元資料及模型元資料之決策樹模型或序列模型，以識別電腦遊戲之使用者行為之變化及模型預測之變化從而向使用者做出推薦。該決策樹模型至少部分藉由以下操作來如此做：針對至少第一預測模型，判定變化是否與關聯於該第一預測模型之模型品質度量相關聯。回應於判定變化與關聯於該第一預測模型之該模型品質度量相關聯，該等指令能夠執行以用於生成致使該決策樹模型使用特徵分佈統計資料(statistics)來深入研究該變化之原因的信號。另一方面，回應於判定變化不與關聯於該第一預測模型之該模型品質度量相關聯，該等指令能夠執行以用於生成判定特徵按重要性之排名是否已改變的信號。
此外，該等指令能夠執行以用於致使該決策樹模型回應於判定該特徵按重要性之排名已改變，判定關於特徵分佈之統計資料是否已改變，及回應於判定關於特徵分佈之統計資料已改變，生成指示使用者行為可能已改變之信號。相反，回應於判定關於特徵分佈之統計資料未改變，指示健康之系統。另外，回應於判定該特徵按重要性之排名未改變，指示健康之系統。
在實例實施例中，該等指令可為能夠執行的以識別用於生成模型特徵標記之資料集之屬性已改變，且作為回應，自動將資料回填至該模型特徵標記中以補償機器學習管線之處理延遲。該等指令可為能夠執行的以識別用於生成該模型特徵標記之資料集之屬性未改變，且作為回應，重新訓練該第一預測模型。
在一些實施例中，上面提到之該序列模型可包括：深度學習系統；用於輸入至該深度學習系統之原始資料分佈統計資料；用於輸入至該深度學習系統之特徵資料，該特徵資料包括特徵資料分佈統計資料、該模型中之各別特徵之重要性及特徵部署之狀態；及用於輸入至該深度學習系統之監測資料，該監測資料包括電腦組件使用、已處理之請求及機器學習作業之時間特性。而且，該序列模型可包括用於輸入至該深度學習系統之模型資料，該模型資料包括模型效能度量測度及模型元資料度量。該深度學習系統輸出針對機器學習管線之自我修復措施之推薦。
在實例實施例中，該序列模型之該深度學習系統可包括至少第一層長短期記憶(LSTM)單元，該第一層LSTM單元用於監測來自資料譜系基礎架構之原始資料、特徵資料及管線資料。該序列模型亦可包括：至少第二層LSTM單元，該第二層LSTM單元用於監測模型資料；及至少第三層LSTM單元，該第三層LSTM單元用於為注意力層監測前兩層。該注意力層使得該深度學習系統能夠學習將「注意力」放在哪裡，且能夠學習如何藉由調整指派給各種輸入之權數來如此做。softmax分類器自該注意力層接收輸入且輸出複數個措施之各別機率。
在非限制性實例中，該等機率中之至少第一機率由下式給出：
Figure 02_image001
且假設α＜t,t’＞ 為分類器之輸入yi ＜t＞ 在時間t應給予先前之LSTM監測層之啟動a＜t’＞ 及c＜t＞ 的注意力之量，如由下式判定： c＜t＞ = 我們有
Figure 02_image003
其中
Figure 02_image005
該序列模型可在線下執行，在此情況下，該序列模型之輸入可包括每日模型效能度量、模型元資料度量、每日特徵分佈統計資料、每日原始資料分佈及管線監測資料。當在線下時，該序列模型可輸出以下各項中之一或多項之由該softmax分類器生成的最高機率：無措施；自動重新訓練至少一個模型；開發至少一個新模型；建立至少一個新特徵；添加資料；及指示使用者行為之變化。
此外，該序列模型可在線上執行，在此情況下，該序列模型之輸入可包括以下各項中之一或多項：每小時模型效能度量、線上模型元資料度量、指示所有特徵皆可用於該模型之特徵部署狀態，及線上特徵元資料度量。當在線上時，該序列模型可輸出以下各項中之一或多項之由softmax分類器生成的最高機率：無措施；重新部署預設模型；請求對模型特徵之變化；及指示使用者行為之變化。
在另一態樣中，一種電腦系統經組態以執行包括深度學習系統之電腦化之序列模型。可將原始資料分佈統計資料與用於輸入至該深度學習系統之特徵資料一起輸入至該深度學習系統，該特徵資料包括特徵資料分佈統計資料、該模型中之各別特徵之重要性及特徵部署之狀態。而且，可將包括電腦組件使用、已處理之請求及機器學習作業之時間特性的監測資料輸入至該深度學習系統。此外，可將包括模型效能度量測度及模型元資料度量之模型資料輸入至該深度學習系統。該深度學習系統輸出針對機器學習管線之自我修復措施之推薦。
在另一態樣中，一種設備包括：至少一個處理器；及至少一個電腦儲存器，該至少一個電腦儲存器並非瞬時信號且反過來包括指令，該等指令能夠由該處理器執行以藉由至少一種電腦模擬來追蹤使用者互動以生成特徵。該等指令可經執行以追蹤該等特徵及版本、時間內容脈絡(time context)、度量及與該等特徵之模型的關係；追蹤負責生成該等特徵之至少一條源始線(ancestry line)；及使用追蹤使用者互動、特徵及源始線之輸出，將使用者特徵及使用者互動之生命週期進行組合以輸出針對機器學習管線之自我修復措施的至少一個推薦。
本申請案之關於其結構及操作兩者的細節可參考附圖得到最佳之理解，在附圖中相同之附圖標記指代相同之部分，且在附圖中：
本揭露一般而言係關於電腦生態系統，其包括消費型電子器件(CE)裝置網路之各態樣，該CE裝置網路諸如但不限於：分散式電腦遊戲網路、擴增實境(AR)網路、虛擬實境(VR)網路、視訊廣播、內容遞送網路、虛擬機、機器學習及人工神經網路應用。
本文之系統可包括伺服器及用戶端組件，該伺服器及用戶端組件藉由網路連接使得可在用戶端與伺服器組件之間交換資料。用戶端組件可包括一或多個計算裝置，該一或多個計算裝置包括AR耳機、VR耳機、遊戲控制台(諸如Sony PlayStation® )及相關母板、遊戲控制器、可攜式電視(例如智慧型TV、支持網際網路之TV)、可攜式電腦(諸如膝上型電腦及平板電腦)及其他行動裝置(包括智慧型電話及下文所論述之額外實例)。此等用戶端裝置可藉由多種操作環境操作。例如，用戶端電腦中之一些可採用例如Orbis或Linux作業系統、來自Microsoft之作業系統，或Unix作業系統，或由Apple公司或Google生產之作業系統。此等操作環境可用於執行一或多個程式/應用程式，諸如由Microsoft或Google或Mozilla製作之瀏覽器，或可存取由下文所論述之網際網路伺服器託管之網站的其他瀏覽器程式。此外，根據本原理之操作環境可用於執行一或多個電腦遊戲程式/應用程式及採用本原理之其他程式/應用程式。
伺服器及/或閘道可包括執行指令之一或多個處理器，該等指令將伺服器組態為經由諸如網際網路之網路接收及傳輸資料。另外地或替代地，用戶端及伺服器可經由本端內部網路或虛擬專用網路連接。伺服器或控制器可由遊戲控制台及/或其一或多個母板(諸如Sony PlayStation®)、個人電腦等實例化。
可經由網路在用戶端與伺服器之間交換資訊。為此且為了安全起見，伺服器及/或用戶端可包括防火牆、負載平衡器、臨時儲存器及代理，及用於可靠性及安全性之其他網路基礎架構。一或多個伺服器可形成實施根據本原理向網路使用者提供諸如線上社交網站或視訊遊戲網站之安全社群從而以群眾外包方式通信之方法的設備。
如本文所使用，指令係指用於在系統中處理資訊之電腦實施之步驟。指令可在軟體、韌體或硬體中實施，且包括由系統之組件實施的任何類型之已程式化步驟。
處理器可為能夠藉由諸如位址線、資料線及控制線之各種線及暫存器及移位暫存器執行邏輯之任何習知的通用單晶片處理器或多晶片處理器。
藉由本文之流程圖及使用者介面描述的軟體模組可包括各種子常式、程序等。在不限制本揭露之情況下，經陳述為由特定模組執行之邏輯可經再分配至其他軟體模組及/或一起組合在單一模組中及/或使得在可共用庫中可用。
如上文所指示，本文描述之本原理可實施為硬體、軟體、韌體或其組合；因此，依據說明性組件、區塊、模組、電路及步驟之功能性對它們進行闡述。
除上文已經提到之內容之外，下文描述之邏輯區塊、模組及電路可藉由通用處理器、數位信號處理器(DSP)、場可程式化閘陣列(FPGA)或經設計以執行本文描述之功能的其他可程式化邏輯裝置(諸如特殊應用積體電路(ASIC)、離散閘或電晶體邏輯、離散硬體組件或其任何組合)來實施或執行。處理器可由控制器或狀態機或計算裝置之組合實施。
以下描述之功能及方法可在硬體電路或軟體電路中實施。當在軟體中實施時，該等功能及方法可以諸如但不限於Python、Scala、Java、C#或C++之適當語言編寫，且可儲存在電腦可讀儲存媒體上或藉由電腦可讀儲存媒體傳輸，諸如隨機存取記憶體(RAM)、唯讀記憶體(ROM)、電可抹除可程式化唯讀記憶體(EEPROM)、緊湊光碟唯讀記憶體(CD-ROM)或其他光碟儲存器(諸如數位通用光碟(DVD))、磁碟儲存器或包括可移除大拇哥隨身碟之其他磁性儲存裝置等。連接可建立電腦可讀媒體。此等連接可包括例如硬連線電纜，包括光纖及同軸線及數位用戶線(DSL)及雙絞線。此等連接可包括無線通信連接，包括紅外線及無線電。
一個實施例中包括之組件可以任何適當之組合用於其他實施例中。例如，可將本文描述及/或附圖中所描繪之各種組件中之任一者組合、互換或自其他實施例排除。
「具有A、B及C中之至少一者之系統」(類似地，「具有A、B或C中之至少一者之系統」及「具有A、B、C中之至少一者之系統」)包括以下系統：僅具有A；僅具有B；僅具有C；同時具有A及B；同時具有A及C；同時具有B及C；及/或同時具有A、B及C等。
一般而言，本原理理解機器學習模型之開發需要多個工作流程。首先需要訓練機器學習模型，以便將其預測提供至應用程式。模型訓練涉及模型特徵之選擇及機器學習演算法。
特徵係藉由ETL(提取、轉換及載入)服務生成。ETL之目標為自初始原始資料集中提取相關資料。在監督式學習(諸如資料集之迴歸及分類)中，模型訓練需要藉由找到訓練集之標籤資料或輸出資料與模型預測之間的差異之最小值來定位模型參數或權數。該差異稱為成本或損失函數，而找到該最小值之演算法稱為梯度下降。可使用梯度下降演算法，諸如批量梯度下降、隨機梯度下降及小批量梯度下降。
另一方面，在無監督學習(諸如資料集之叢集)中，沒有標籤資料。對模型之訓練旨在發現資料中之模式。雖然模型參數係由演算法生成，但是模型訓練需要許多需要由建模者進行調諧之超參數。「模型參數」通常為藉由學習演算法(諸如梯度下降)最佳化之內部變數、係數或權數。模型參數之實例包括線性迴歸、邏輯迴歸及支援向量機中之權數向量係數、決策樹中之***點。相反，「超參數」通常由建模者設定或經由演算法方法進行調諧以最佳化模型之效能。超參數之實例包括k最近鄰演算法中之最近鄰的數量k、決策樹中之樹的深度、神經網路中之學習率，或在卷積神經網路中之給定卷積層中學習的過濾器之數量。
當模型已受訓練，例如已找到模型參數，且模型已經驗證，例如已調諧模型超參數時，可對模型進行測試。測試模型需要理解模型在它之前從未見過之實例上表現如何以便避免過度擬合或低度擬合。若模型過度擬合，則該模型在訓練資料上之表現很好，但是不能很好地泛化。若模型低度擬合，則該模型過於簡單而未習得資料集之基礎結構。
如本文所理解，機器學習管線可用於藉由利用大規模資料處理基礎架構來使機器學習工作流程從頭到尾自動化，以便以自動化方式促進自原始資料生成特徵ETL、特徵到模型預測之資料轉換及在生產環境中部署經過訓練之模型以進行推斷。資料管線使建模者能夠更快地自生成其特徵ETL移動至監測其在生產環境中之模型預測。當模型已經訓練、驗證及測試時，可將該模型部署在生產環境中以向應用程式提供其推薦。
在生產中，必須監測模型效能。對於標準演算法(諸如迴歸或分類)，可使用標準度量來監測模型效能，諸如迴歸之均方根誤差或分類之精確率、召回率及F1得分。
在用於提供個性化之玩家體驗之機器學習模型的情景中，本原理係關於以下認知。當遊戲開發者藉由重新想像人們如何玩遊戲而進行創新時，諸如數位遊戲、數位內容、遊戲行動應用程式、遊戲視訊之遊戲項目時常發生變化。此外，遊戲玩家在其互動、消費及購買遊戲方面之行為不斷變化。如本文所理解，在該情景下，即使已適當地訓練、驗證及測試了模型，用於使遊戲體驗個性化之模型效能亦可隨時改變。建模者沒有任何方法來闡明模型表現之原因。因此，需要為遊戲使用者及遊戲項目生成新特徵ETL，且需要對個性化模型進行重新訓練、驗證及測試。
當前，在沒有本文提出之原理的情況下，尚未解決該挑戰。通常，選擇正確之特徵對模型預測之品質的影響比模型演算法本身更大。儘管不同類型之演算法可產生略好之模型預測，但對於特徵卻並非如此，且在沒有將用於生成特徵ETL之原始資料輸入之變化、用於生成模型特徵及訓練模型之資料轉換的變化與隨時發生變化之模型效能本身關聯起來之機制的情況下，在本原理之前沒有任何方法來評估推斷之模型效能變化的根本原因。如本文所理解，必須監測一個以上參數。例如，僅監測特徵或模型需要很長時間才能發現表現不好之模型的根本原因，而僅監測資料管線無法預見原始遊戲玩家及/或遊戲項目資料之變化。因此，本原理有助於調試及提高端對端模型效能。
本文描述了一種用以監測模型預測、識別不健康之資料轉換之可能的根本原因且提出補救措施之自我修復系統。自我修復系統將所有類型之資料轉換中涉及的所有轉換後之資料之生命週期關聯起來。一起分析用於生成特徵之原始資料、用於生成模型之特徵、模型預測及資料管線。利用該歷史資料，偵測模型效能變化之可能的根本原因，且藉由自我修復系統之模型提出解決問題之適當措施。
如圖1所示，符合本原理之系統具有四個組成部分。模型效能及監測系統100追蹤模型預測之品質的任何變化。模型效能及監測系統100可決定係採用下面描述之決策樹模型還是採用下面描述之序列模型。若系統所具有之歷史資料量少於臨限值，例如少於18個月，則自我修復系統請求決策樹模型。另一方面，若系統所具有之歷史資料量多於臨限值，則自我修復系統請求序列模型。
用於特徵及模型之資料譜系基礎架構102將轉換後之資料(例如，生成之特徵及模型預測)的生命週期與遊戲玩家跟遊戲項目之互動的生命週期進行比較。監測系統100及資料譜系基礎架構102兩者都向在相對較小之歷史資料集上進行操作之決策樹模型104提供輸入，以為線下模型預測判定補救措施之過程。此外，監測系統100及資料譜系基礎架構102兩者都針對相對較大之歷史資料集向序列模型106提供輸入，序列模型106使用為線下及線上模型預測兩者判定補救措施之過程的注意力機制。
監測系統100持續地追蹤模型品質度量(在本文稱為模型WPAE)之任何顯著變化，該模型品質度量藉由臨限值進行量測且藉由自我修復系統之管理員設立。「WPAE」度量之細節在本受讓人之以引用之方式併入本文中的美國專利申請序列號16/424,193中進行了闡述。相反，資料譜系基礎架構102持續地追蹤資料、它們之版本、時間內容脈絡及與在機器學習管線中發生之任何資料轉換相關聯之度量。資料譜系基礎架構102亦持續地追蹤遊戲玩家與遊戲項目及遊戲玩家與其他遊戲玩家之互動變化。藉由分析來自資料譜系基礎架構之資料，決策樹模型104能夠診斷線下模型預測何時已改變及產生該改變之原因。因此，它能夠針對正確之原因預測正確之措施，諸如生成新的特徵ETL、重新訓練模型、重新設計模型或警示遊戲玩家行為變化。
類似地，藉由分析來自資料譜系基礎架構102之資料，序列模型106能夠診斷線下或線上模型預測何時已改變及產生該改變之原因。因此，它能夠針對正確之原因預測正確之措施，諸如生成新的特徵ETL、重新訓練模型、重新設計模型或警示遊戲玩家行為變化。
圖1進一步示出了資料譜系基礎架構102存取含有遊戲資料及歷史使用者互動資料之一或多個資料儲存區108(在圖1中稱為「湖」)。另一方面，資料譜系基礎架構102可自一或多個發布與訂閱饋給源110存取即時使用者互動資料。此外，資料譜系基礎架構102存取下面描述之機器學習管線的特徵儲存區及模型儲存區資料結構112。圖1(及其他附圖)中之每個區塊可由一或多個處理器及一或多個電腦儲存裝置之各別組合來實施，本文揭露該處理器及電腦儲存裝置之非限制性實例。
本文揭露之系統監測部署在生產環境中之每個模型之預測的效能。資料譜系基礎架構102追蹤資料轉換之所有階段，自原始資料至模型特徵，自模型特徵至經過訓練之模型，及自經過訓練之模型至部署在生產中之模型。自我修復系統亦關聯轉換後之資料之生命週期。原始資料、特徵資料、模型資料及資料管線資料都彼此相互關聯。利用該歷史知識，自我修復系統偵測任何模型效能變化之可能的根本原因，且提出適當之措施來解決任何偵測到之問題。
轉到圖2，示出了使得建模者能夠生成特徵ETL之機器學習管線200。使用者互動資料及遊戲資料皆由在本文中進一步描述之ETL生成服務200接收。ETL生成服務200能夠生成含有描述複數個特徵之元資料204的一或多個資料結構202。特徵元資料可包括統計度量，包括平均數、平均值、最大值、最小值及標準差，特徵與其他特徵之關係及特徵與模型之關係。
如圖3所示，管線亦使得建模者能夠大規模地開發、訓練及部署機器學習模型。將特徵輸入至可在線下或線上之模型訓練服務300，且在經訓練之後，模型可在推斷服務302中提供其預測。訓練服務300及推斷服務302兩者都能夠生成一或多個資料結構304，資料結構304含有針對複數個模型自兩個服務生成之模型元資料306。
管線可為多租戶的，且能夠同時訓練大量模型。在經訓練之後，模型能夠同時向許多線上或線下應用程式提供其預測。對於模型訓練，管線提供許多現成之標準機器學習庫，此等庫實施多種類型之演算法。對於模型推斷，管線之模型推斷服務302將模型部署提供至多種類型之生產環境。
圖2及圖3所示之管線生成模型元資料及特徵元資料。模型元資料係在訓練模型時或在模型在推斷中提供其預測時生成。特徵元資料可於在管線中生成每個ETL之後生成。
模型元資料306針對每個模型可包括模型演算法、模型架構(尤其係針對深度學習模型，諸如卷積神經網路(CNN)或遞歸神經網路(RNN))、模型參數或權數、模型超參數、模型特徵、模型學習率、模型對其他模型之相依性(諸如當一個模型之訓練或預測相依於一或多個其他模型時)、推斷中之模型預測之狀態(因為模型能夠提供線上或線下模型推斷)及標準演算法度量。此等度量反過來對於迴歸可包括均方根誤差，且對於分類可包括精確率、召回率、F1得分(精確率及召回率之調和平均數)。元資料306亦可包括用於推薦之模型預測的相關性，如藉由例如本文論述之WPAE度量所量測。
管線模型向遊戲玩家提供個性化之遊戲體驗。彼等預測之實例包括但不限於僅在遊戲玩家之首頁上向遊戲玩家推薦一系列遊戲。預測亦可包括藉由推薦提示(諸如觀看視訊)以學習如何在遊戲之特定時刻玩得更好來幫助遊戲玩家提高其玩法。此外，預測可包括在玩家新聞饋給中推薦有關遊戲之故事，及向遊戲玩家推薦遊戲活動，諸如特定事件或錦標賽。
圖4使用第一螢幕擷取畫面400及第二螢幕擷取畫面402以藉由示出與項目之實例非限制性使用者互動及與其他使用者之使用者互動來示出圖1所示之資料譜系基礎架構102。如螢幕擷取畫面400所示，追蹤使用者與遊戲資料之互動，包括使用者購買遊戲及遊戲中提供之項目、使用者玩遊戲、使用者觀看遊戲、關於遊戲之使用者評論、使用者與其他使用者分享遊戲，及使用者在遊戲中之停留時間。當使用者觀看顯示器406上之遊戲時，基於藉由例如遊戲控制器404進行之使用者輸入來記錄此等互動，其中使用者輸入經記錄且與軟體中之遊戲事件相關聯以知曉控制器404上之使用者輸入在互動類型方面確切地表示什麼內容。
另一方面，螢幕擷取畫面402示出了使用者與使用者之互動，包括使用者與其他使用者加好友、關注其他使用者，及再分享最初由分享使用者提供之電腦模擬分享。下文進一步描述之自我修復系統之決策樹模型及序列模型利用資料譜系基礎架構102。
鑒於上述情況，可瞭解，資料譜系基礎架構102持續地追蹤直接之原始遊戲資料及遊戲玩家互動資料，且特別地追蹤包括遊戲發布日期、玩遊戲之年齡限制、遊戲類型、遊戲關鍵詞/元資料、地域及遊戲語言之遊戲資料。亦追蹤包括使用者之地域、使用者之語言、使用者之年齡、使用者之會員類型及使用者之電子錢包餘額的使用者資料。追蹤使用者與遊戲之互動，包括玩遊戲命令、購買訂單、使用者觀看遊戲、使用者花在遊戲廣告上之停留時間、與遊戲相關之使用者喜好指示、使用者對遊戲之評論及使用者對遊戲之再分享。此外，資料譜系管線102追蹤使用者與使用者之互動，包括加好友、關注及再分享。
例如藉由使用者遊戲控制台/遊戲控制器將輸入傳達給網際網路上之一或多個伺服器且儲存在如上面論述之圖1之區塊108所指示的「資料湖」或通常託管在網際網路上之儲存裝置上之資料儲存庫中來收集以上資訊。資料用於生成線下特徵ETL。注意，亦可如關於圖1之區塊110所描述經由發布與訂閱饋給即時地傳輸使用者互動。在該情況下，特徵ETL係自彼等流式傳輸之互動在線上生成。
資料譜系基礎架構102持續地追蹤負責生成在訓練模型時直接涉及之特徵ETL的源始線。它追蹤ETL本身生成之特徵、它們之版本、它們之時間內容脈絡、特徵資料分佈統計資料、它們與其他ETL之相依關係及它們與模型之關係。歷史特徵元資料經儲存在特徵儲存區中，如關於圖1之區塊112所描述。資料譜系基礎架構102進一步在對基線模型之訓練與推斷期間持續地追蹤模型效能度量。它追蹤每個特徵對於每個模型之重要性，及一個模型何時與其他模型具有相依關係。歷史模型元資料經儲存在模型儲存區中，如關於圖1之區塊112所描述。
對問題之偵測及對該問題之補救係藉由兩個機器學習模型完成：圖1所示之決策樹模型104及圖1所示之序列模型106，此兩者都藉由存取來自資料譜系基礎架構102之資訊來完成。
圖5示出了決策樹模型104之更多細節。通常，藉由利用來自資料湖、特徵儲存區及模型儲存區之歷史資料，系統可將用於生成特徵ETL、訓練模型及部署模型之轉換後之資料的生命週期與使用者與遊戲之互動及使用者與使用者之互動的生命週期進行比較。藉由將特徵及模型之生命週期與使用者與遊戲或其他使用者之互動之生命週期進行組合，自我修復系統能夠發現使用者行為之轉變及模型預測之轉變。
決策樹模型104之樹可藉由吉尼不純度測度進行訓練：
Figure 02_image007
其中pi,k 為第i個節點中之訓練實例中之類別k的比率。
訓練演算法可使用分類及迴歸樹(CART)演算法，該演算法將以下成本函數最小化：
Figure 02_image009
其中G左 / 右 量測左/右子集之不純度，而M左 / 右 為左/右子集中之實例的數量。
決策樹模型104之目標為對自我修復系統在某些條件下採取之各種措施進行分類。
鑒於上述情況，如區塊500所示，判定模型品質度量(例如，上面論述之WPAE)之改變是否達到資料管線管理員定義之給定臨限值，諸如百分之五(5%)。若是，則模型移動至區塊502以判定特徵分佈統計資料是否已改變。因此，在區塊502處，決策樹模型分析關於特徵分佈之統計資料。然而，如下面亦將進一步解釋，即使模型WPAE未改變，自我修復系統仍請求模型每天或每週調查系統是否從頭到尾為健康的。
若在區塊504處判定用於生成特徵ETL之原始資料集之大小已改變，且若在區塊506處判定存在管線延遲，則邏輯移動至狀態508以自動將原始資料回填至特徵ETL中以補償管線作業處理延遲。
另一方面，若在區塊506處判定在如區塊504處所判定之資料集大小改變存在之情況下不存在管線延遲，則邏輯移動至狀態510以向為與本文之原理一致之資料收集開發網路用戶端的模型工程團隊生成聽覺或視覺警示。用戶端遙測資料可丟失，且在該情況下，可向用戶端工程團隊請求票證，以使該團隊調查丟失資料之問題。
相反，若在區塊504處判定用於生成特徵ETL之原始資料集的大小未改變，則邏輯移動至狀態512以觸發模型自動進行重新訓練。
類似地，若在區塊502處判定特徵分佈統計資料之改變尚未達到臨限值量，則模型之邏輯可移動至狀態514，以在區塊500處判定之WPAE變化存在的情況下觸發模型自動進行重新訓練。注意，狀態508、510、512、514及520處之措施為「自我修復推薦」之實例。
然而，即使如在區塊500處所判定，模型WPAE未改變，模型邏輯亦可移動至區塊516以判定即使當WPAE沒有改變時特徵重要性排名是否已轉變。可如此做來每天或每週調查系統是否從頭到尾為健康的。因此，在區塊516處，可判定特徵按重要性之排名是否已改變。自我修復系統可觸發模型自動進行重新訓練。另外地或替代地，若如區塊516處所判定，模型之特徵之重要性排名已轉變，則模型邏輯可在區塊518處判定關於特徵分佈之統計資料是否已改變。若特徵分佈統計資料已改變，則邏輯可移動至狀態520，以發送使建模者調查原始資料分佈中之任何變化且警示營銷部門使用者行為可能已改變的聽覺或視覺請求。
另一方面，若在區塊518處判定特徵分佈統計資料尚未改變，則邏輯可移動至狀態522以指示整個系統為健康的。同樣，若在區塊516處判定特徵按重要性之排名尚未改變，則邏輯可移動至狀態524以指示整個系統為健康的。
圖6示出了序列模型106之實例架構。當已經獲取足夠之歷史資料集時，序列模型106可由自我修復系統用於線下及線上模型預測。此可需要長達18個月之原始資料。
如圖6所示，序列模型106可藉由深度學習系統600實施。輸入至深度學習系統600之特徵可包括原始資料分佈統計資料602。此等統計資料可包括遊戲資料及使用者資料分佈統計資料及自資料譜系基礎架構102之資料湖得到的使用者與遊戲及使用者與使用者之互動分佈統計資料。深度學習系統600亦可存取特徵資料604，特徵資料604包括特徵資料分佈統計資料、模型中之各別特徵之重要性及特徵部署之狀態。
此外，深度學習系統600亦可存取管線監測資料606，管線監測資料606包括機器學習管線對CPU/記憶體/實例之使用、管線已處理之請求及管線中之機器學習的時間/持續時間/潛時。管線監測資料606可進一步包括記錄原始資料時之誤差/警告及正在執行之機器學習作業的數量。
深度學習系統600亦可存取模型資料608。模型資料可包括按模型WPAE之模型效能度量測度及模型元資料度量。
深度學習系統600之輸出包括自我修復系統之推薦之補救措施610。
序列模型106之深度學習系統600可藉由稱為長短期記憶(LSTM)網路之遞歸神經網路(RNN)之變型來實施。RNN為提供有效且可擴展之模型以用於基於序列資料進行預測之一類神經網路。RNN將來自當前時刻之輸入與來自記憶體層之輸入進行組合以提供決策。
然而，如本文所理解，當經訓練時，RNN可遭受梯度消失及梯度***。發生此情況之原因在於，RNN由於相對於部署在RNN網路中之若干層可呈指數形式遞減或遞增之乘性梯度而無法捕獲長期相依性。
理解自我修復系統之目標為自大歷史資料集中學習做出相關預測，LSTM網路藉由利用特定閘來解決RNN之梯度消失及梯度***的問題。LSTM在捕獲特徵資料之長期時間相依性方面非常有效。
實際上，現在參考圖7，示出了LSTM單元700，它使用四種類型之閘，如下表所描述：
閘之類型 閘之作用
更新閘(702) Γu 過去對於現在有多重要?
相關閘(704) Γr 丟棄先前之資訊?
遺忘閘(706) Γf 是否抹除胞元?
輸出閘(708) Γo 揭示胞元多少內容?
圖7示出了此四個閘如何整合至LSTM單元中，其中： x＜t＞ 710為單元之輸入向量，a＜t-1＞ 712為先前胞元輸出，c＜t-1＞ 714為先前胞元記憶，a＜t＞ 716為當前胞元輸出，且c＜t＞ 718為當前胞元記憶。
當前胞元輸出716可藉由以下公式進行計算，其中符號*表示兩個向量之間的逐元素相乘：
Figure 02_image011
當前胞元記憶718可藉由以下公式進行計算：
Figure 02_image013
其中c̄＜t＞ 可藉由以下表達式進行計算：
Figure 02_image015
，其中Wc 為權數且bc 為偏差。
鑒於LSTM之上述結構，現在請注意圖8，該圖示出在一個實例中，序列模型106之深度學習系統600包括三層LSTM單元。前兩層800、802為監測層，該等監測層監測原始資料、特徵資料、管線資料804及模型資料806。
第三LSTM層808為注意力層810提供整體監測。注意力層810使得序列模型106之深度學習系統600能夠學習將「注意力」放在哪裡，且能夠學習如何藉由調整指派給來自整體監測層808之各種輸入之權數來如此做。
如圖8所示，注意力層810對整體監測層808中之不同的LSTM胞元之輸出進行加權，且將其計算出之輸出輸入至softmax分類器812，softmax分類器812輸出每種可能之措施之機率，由下式給出：
Figure 02_image017
關於上文，假設α＜t,t’＞ 為分類器之輸入yi ＜t＞ 在時間t(其中t如所示沿著x軸自左向右前進)應給予先前之LSTM監測層之啟動a＜t’＞ 及c＜t＞ (亦即內容脈絡)的注意力之量，如由下式判定：
Figure 02_image019
我們有
Figure 02_image021
其中
Figure 02_image023
圖9示出了注意力層810之LSTM單元利用注意力向量900且向如上文描述之softmax分類器812提供輸入，softmax分類器812輸出補救措施902。對於線下模型，序列模型之輸入可包括每日模型WPAE及模型元資料度量、每日特徵分佈統計資料、每日原始資料分佈及管線監測資料。由線下序列模型106輸出之補救措施902可包括以下措施中之一或多項之由序列模型之softmax分類器812生成的最高機率： 健康之系統-自我修復系統無措施； 重新訓練模型-自我修復系統將自動重新訓練模型； 開發新模型-自我修復系統警示建模者可能需要新模型； 建立新特徵-自我修復系統警示建模者需要為模型生成新特徵； 在丟失之資料上回填作業資料-自我修復系統自動將原始資料回填至特徵ETL中；及 使用者事件偵測-自我修復系統請求調查原始資料分佈之任何變化，且警示營銷部門使用者行為可能已改變。
另一方面，對於線上序列模型106，序列模型之輸入可包括每小時模型效能(諸如點擊項目之次數或遊戲玩家之購買次數)、線上模型元資料度量、指示所有特徵皆可用於模型以使模型返回其預測之特徵部署狀態及線上特徵元資料度量。線上序列模型106之輸出(補救措施902)可包括以下措施中之一或多項之由序列模型之softmax分類器812生成的最高機率： 健康之系統-自我修復系統無措施； 還原已部署之模型-自我修復系統在生產中重新部署預設模型；更新線上特徵-自我修復系統請求建模者改變模型中之特徵；及 使用者事件偵測-自我修復系統請求調查原始資料分佈之任何變化，且警示營銷部門使用者行為可能已改變。
現在參考圖10，示出了實例系統，該系統可包括根據本原理之本文提到的用於執行本文獻中描述之技術的實例裝置中之一或多個裝置。如圖所示，系統可包括一或多個區域資料中心10，該一或多個區域資料中心中之每個區域資料中心包括具有伴隨處理器及固態記憶體及磁碟記憶體之一或多個伺服器。該等伺服器建立用於執行其中在多個資料中心上執行機器學習模型之上述機器學習平台的基於雲端之系統。區域資料中心經由有線鏈路及/或無線鏈路16與一或多個電腦化前端裝置18(諸如執行網路瀏覽器之電腦(膝上型電腦、PC等)、在行動裝置上執行之行動應用程式或諸如遊戲控制台之電腦模擬控制台)通信。
因此，如圖10所示，自「雲端」提供用於使遊戲體驗個性化之機器學習管線。機器學習管線藉由由區域資料中心10託管之雲端後端中之大量電腦叢集執行。所有模型訓練及模型推斷都發生在後端。將模型預測提供至前端應用程式，諸如在包括網路瀏覽器之裝置18上運行之前端應用程式、遊戲控制台或行動應用程式中之任一者。所有前端應用程式都經由網際網路16與雲端後端通信。每個叢集可包括實體上位於一或多個伺服器場上之大量電腦伺服器，該伺服器場位於地理上分散之一或多個資料中心中。
典型架構可包括分散在全球之大量區域資料中心，其中一或多個區域資料中心位於北美、歐洲中東及非洲、日本及世界上其他地區。
如圖11所示，每個資料中心可包括用以管理自前端應用程式18至複數個伺服器場23之網路請求的一或多個負載平衡器20，及保護伺服器25免受外部安全威脅之一或多個威脅偵測及防火牆工具22。儘管大多數資料為運動的且經生成且可以可易於由伺服器場中之叢集存取及操縱之各種資料格式(諸如Apache Parquet)儲存在大型檔案系統(諸如Apache Hadoop分散式檔案系統(HDFS))中，但是一些資料可為靜止的，且實體地儲存在資料中心中之網路附接儲存裝置(NAS)24上。
電腦化前端裝置18可包括一或多個顯示器、用於根據本原理輸出音訊之一或多個揚聲器、一或多個輸入裝置、一或多個網路介面、一或多個輸入埠(諸如以實體方式(例如，使用有線連接)連接至另一CE裝置之高清晰度多媒體介面(HDMI)埠或USB埠及/或連接耳機之耳機埠)、一或多個電腦記憶體(諸如基於磁碟之儲存器或固態儲存器)、位置或定位接收器、一或多個相機等。
應瞭解，雖然已經參考一些實例實施例描述了本原理，但此等實施例不意欲為限制性的，且可使用各種替代配置來實施本文主張之標的物。
10:區域資料中心 16:有線鏈路及/或無線鏈路/網際網路 18:電腦化前端裝置/裝置/前端應用程式 20:負載平衡器 22:威脅偵測及防火牆工具 23:伺服器場 24:網路附接儲存裝置 25:伺服器 100:模型效能及監測系統 102:資料譜系基礎架構/資料譜系管線 104:決策樹模型 106:序列模型/線下序列模型/線上序列模型 108:資料儲存區 110:發布與訂閱饋給源 112:特徵儲存區及模型儲存區資料結構 200:機器學習管線/ETL生成服務 202:資料結構 204:元資料 300:模型訓練服務/訓練服務 302:推斷服務/模型推斷服務 304:資料結構 306:模型元資料/元資料 400:第一螢幕擷取畫面/螢幕擷取畫面 402:第二螢幕擷取畫面/螢幕擷取畫面 404:遊戲控制器/控制器 406:顯示器 500:區塊 502:區塊 504:區塊 506:區塊 508:狀態 510:狀態 512:狀態 514:狀態 516:區塊 518:區塊 520:狀態 522:狀態 524:狀態 600:深度學習系統 602:原始資料分佈統計資料 604:特徵資料 606:管線監測資料 608:模型資料 610:補救措施 700:長短期記憶(LSTM)單元 702:更新閘 704:相關閘 706:遺忘閘 708:輸出閘 710:單元之輸入向量 712:先前胞元輸出 714:先前胞元記憶 716:當前胞元輸出 718:當前胞元記憶 800:監測層 802:監測層 804:原始資料、特徵資料、管線資料 806:模型資料 808:第三LSTM層/整體監測層 810:注意力層 812:softmax分類器 900:注意力向量 902:補救措施
[圖1] 為自我修復系統之實例架構之方塊圖，該自我修復系統包括其模型效能監測系統、其資料譜系基礎架構、其決策樹模型及其序列模型； [圖2] 為示出使用提供線下或線上服務之管線以自使用者互動及遊戲資料生成特徵ETL且將特徵元資料儲存在特徵儲存區中的特徵之資料轉換之示意圖，其中特徵能夠自儲存在資料湖中之資料在線下生成或在自發布與訂閱饋給流式傳輸資料時在線上生成； [圖3] 為模型之資料轉換之示意圖，其中管線提供用以訓練模型之訓練服務，及用於使模型提供其預測之推斷服務，且其中模型元資料儲存在模型儲存區中； [圖4] 為示出與項目之實例非限制性使用者互動及與其他使用者之使用者互動的螢幕擷取畫面； [圖5] 示出了圖1之決策樹模型之實例，該模型用於在各種情景中藉由自我修復系統對決策進行分類； [圖6] 為圖1之序列模型之實例架構的方塊圖，該序列模型包括具有其特徵之深度學習系統及提供補救措施的深度學習系統之輸出； [圖7] 為可由圖6之序列模型實施的長短期記憶(LSTM)單元之架構之示意圖； [圖8] 為序列模型深度學習系統之更詳細架構之示意圖，其示出了原始資料、特徵資料、管線資料及模型資料之系統之特徵、三個LSTM層網路及相關之注意力層； [圖9] 為圖8所示之注意力層之實例架構的示意圖，其包括向注意力層提供輸入之注意力向量、注意力層之LSTM網路及用以對補救措施進行分類之softmax分類器； [圖10] 為符合本原理之基於雲端之機器學習平台的網路架構之方塊圖；且 [圖11] 為符合本原理之資料中心架構之方塊圖。
100:模型效能及監測系統
102:資料譜系基礎架構/資料譜系管線
104:決策樹模型
106:序列模型/線下序列模型/線上序列模型
108:資料儲存區
110:發布與訂閱饋給源
112:特徵儲存區及模型儲存區資料結構

Claims (20)

  1. 一種設備，該設備包括： 至少一個處理器；及 至少一個電腦儲存器，該至少一個電腦儲存器並非一瞬時信號且包括指令，該等指令能夠由該至少一個處理器執行以： 執行有權存取歷史資料、模型特徵及模型元資料之一決策樹模型，以至少部分藉由以下操作來識別電腦模擬之使用者行為之變化及模型預測之變化以向使用者做出推薦： 針對至少一第一預測模型，判定一變化是否與關聯於該第一預測模型之一模型品質度量相關聯； 回應於判定一變化與關聯於該第一預測模型之該模型品質度量相關聯，生成致使該決策樹模型或一序列模型使用特徵分佈統計資料來深入研究該變化之原因的一信號； 回應於判定一變化不與關聯於該第一預測模型之該模型品質度量相關聯，生成起始一系統健康檢查之一信號，該系統健康檢查包括判定一特徵按重要性之排名是否已改變； 回應於判定該特徵按重要性之排名已改變，判定關於一特徵分佈之統計資料是否已改變； 回應於判定關於一特徵分佈之統計資料已改變，生成指示使用者行為可能已改變之一信號； 回應於判定關於一特徵分佈之統計資料未改變，指示一健康之系統；及 回應於判定該特徵按重要性之排名未改變，指示一健康之系統。
  2. 如請求項1之設備，其中該等指令能夠執行以： 識別用於生成一模型特徵標記之一資料集之一屬性已改變，且作為回應，自動將資料回填至該模型特徵標記中以補償處理延遲； 識別用於生成該模型特徵標記之一資料集之一屬性未改變，且作為回應，重新訓練該第一預測模型。
  3. 如請求項1之設備，其中該序列模型包括： 一深度學習系統； 用於輸入至該深度學習系統之原始資料分佈統計資料； 用於輸入至該深度學習系統之特徵資料，該特徵資料包括特徵資料分佈統計資料、該模型中之各別特徵之重要性及特徵部署之狀態； 用於輸入至該深度學習系統之監測資料，該監測資料包括電腦組件使用、已處理之請求及機器學習之時間特性；及 用於輸入至該深度學習系統之模型資料，該模型資料包括模型效能度量測度及模型元資料度量； 該深度學習系統輸出針對機器學習管線之補救措施之推薦。
  4. 如請求項3之設備，其中該深度學習系統包括： 至少一第一層長短期記憶(LSTM)單元，該第一層LSTM單元用於監測來自一資料譜系基礎架構之原始資料、特徵資料及管線資料； 至少一第二層LSTM，該第二層LSTM用於監測模型資料； 至少一第三層LSTM，該第三層LSTM用於將對該前兩層之一整體監測提供至一注意力層； 該注意力層，該注意力層調整指派給來自先前之整體監測之輸入的權數；及 一softmax分類器，該softmax分類器用於自該注意力層接收輸入且輸出複數個措施之各別機率。
  5. 如請求項4之設備，其中該等機率中之至少一第一機率由下式給出：
    Figure 03_image001
    其中α＜t,t’＞ 為一分類器之輸入yi ＜t＞ 在時間t應給予一先前之監測層之啟動a＜t’＞ 及c＜t＞ 的注意力之一量，如由下式判定：
    Figure 03_image003
    然後
    Figure 03_image005
    其中
    Figure 03_image007
    。
  6. 如請求項4之設備，其中該序列模型為線下的，且該序列模型之輸入包括每日模型有效性度量、模型元資料度量、每日特徵分佈統計資料、每日原始資料分佈及管線監測資料。
  7. 如請求項6之設備，其中該序列模型經組態以輸出以下各項中之一或多項之由該softmax分類器生成的一最高機率：無措施；自動重新訓練至少一個模型；開發至少一個新模型；建立至少一個新特徵；添加資料；及指示使用者行為之變化。
  8. 如請求項4之設備，其中該序列模型為線上的，且該序列模型之輸入包括以下各項中之一或多項：每小時模型效能、線上模型元資料度量、指示所有特徵皆可用於該模型之特徵部署狀態，及線上特徵元資料度量。
  9. 如請求項8之設備，其中該序列模型經組態以輸出以下各項中之一或多項之由該softmax分類器生成的一最高機率：無措施；重新部署一預設模型；請求對模型特徵之一變化；及指示使用者行為之變化。
  10. 一種電腦系統，該電腦系統經組態以執行一電腦化之序列模型，該電腦化之序列模型包括： 一深度學習系統； 用於輸入至該深度學習系統之原始資料分佈統計資料； 用於輸入至該深度學習系統之特徵資料，該特徵資料包括特徵資料分佈統計資料、該模型中之各別特徵之重要性及特徵部署之狀態； 用於輸入至該深度學習系統之監測資料，該監測資料包括電腦組件使用、已處理之請求及機器學習之時間特性；及 用於輸入至該深度學習系統之模型資料，該模型資料包括模型效能度量測度及模型元資料度量； 該深度學習系統輸出針對機器學習管線之補救措施之推薦。
  11. 如請求項10之系統，其中該深度學習系統包括： 至少一第一層長短期記憶(LSTM)單元，該第一層LSTM單元用於監測來自一資料譜系基礎架構之原始資料、特徵資料及管線資料； 至少一第二層LSTM，該第二層LSTM用於監測模型資料； 至少一第三層LSTM，該第三層LSTM用於將對該前兩層之一整體監測提供至一注意力層； 該注意力層，該注意力層調整指派給來自先前之整體監測之輸入的權數；及 一softmax分類器，該softmax分類器用於自該注意力層接收輸入且輸出複數個措施之各別機率。
  12. 如請求項11之系統，其中該等機率中之至少一第一機率由下式給出：
    Figure 03_image009
    其中α＜t,t’＞ 為一分類器之輸入yi ＜t＞ 在時間t應給予一先前之監測層之啟動a＜t’＞ 及c＜t＞ 的注意力之一量，如由下式判定：
    Figure 03_image011
    然後
    Figure 03_image013
    其中
    Figure 03_image015
    。
  13. 如請求項10之系統，其中該序列模型為線下的，且該序列模型之輸入包括每日模型有效性度量、模型元資料度量、每日特徵分佈統計資料、每日原始資料分佈及管線監測資料。
  14. 如請求項13之系統，其中該序列模型經組態以輸出以下各項中之一或多項之由一softmax分類器生成的一最高機率：無措施；自動重新訓練至少一個模型；開發至少一個新模型；建立至少一個新特徵；添加資料；及指示使用者行為之變化。
  15. 如請求項10之系統，其中該序列模型為線上的，且該序列模型之輸入包括以下各項中之一或多項：每小時模型效能、線上模型元資料度量、指示所有特徵皆可用於該模型之特徵部署狀態，及線上特徵元資料度量。
  16. 如請求項15之系統，其中該序列模型經組態以輸出以下各項中之一或多項之由一softmax分類器生成的一最高機率：無措施；重新部署一預設模型；請求對模型特徵之一變化；及指示使用者行為之變化。
  17. 一種設備，該設備包括： 至少一個處理器；及 至少一個電腦儲存器，該至少一個電腦儲存器並非一瞬時信號且包括指令，該等指令能夠由該至少一個處理器執行以： 藉由至少一種電腦模擬來追蹤使用者互動以生成特徵； 追蹤該等特徵及版本、時間內容脈絡、度量及與該等特徵之模型的關係； 追蹤負責生成該等特徵之至少一條源始線； 使用追蹤使用者互動、特徵及源始線之輸出，將使用者特徵及使用者互動之生命週期進行組合以輸出針對機器學習管線之一補救措施之至少一個推薦。
  18. 如請求項17之設備，其中該等指令能夠執行以： 比較模型之生命週期與模擬使用者互動之生命週期；及 基於比較模型之生命週期與模擬使用者互動之生命週期，將使用者特徵及使用者互動之生命週期進行組合以輸出針對該機器學習管線之一補救措施之至少一個推薦。
  19. 如請求項17之設備，其中該電腦模擬包括一電腦遊戲。
  20. 如請求項19之設備，其中該等指令能夠執行以： 至少部分藉由識別使用者在一預定時間段內花費在購買電腦遊戲上之金錢來識別包括使用者購買該電腦遊戲之傾向的一支出特徵； 至少部分藉由識別該使用者在一預定時間跨度內花費在玩電腦遊戲上之一時間量來識別一玩遊戲特徵。
TW109121813A 2019-07-15 2020-06-29 用於轉換後之資料之自我修復機器學習系統 TWI755778B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/512,119 2019-07-15
US16/512,119 US11250322B2 (en) 2019-07-15 2019-07-15 Self-healing machine learning system for transformed data

Publications (2)

Publication Number Publication Date
TW202105183A true TW202105183A (zh) 2021-02-01
TWI755778B TWI755778B (zh) 2022-02-21

Family

ID=74115364

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109121813A TWI755778B (zh) 2019-07-15 2020-06-29 用於轉換後之資料之自我修復機器學習系統

Country Status (4)

Country Link
US (1) US11250322B2 (zh)
CN (1) CN112232515A (zh)
TW (1) TWI755778B (zh)
WO (1) WO2021011154A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11537558B2 (en) * 2018-11-13 2022-12-27 Dokkio, Inc. File management systems and methods
US11663051B2 (en) * 2020-01-07 2023-05-30 International Business Machines Corporation Workflow pipeline optimization based on machine learning operation for determining wait time between successive executions of the workflow
US11714677B2 (en) * 2020-08-07 2023-08-01 Oracle Financial Services Software Limited Materialization of an analytical workspace
US11348035B2 (en) * 2020-10-27 2022-05-31 Paypal, Inc. Shared prediction engine for machine learning model deployment
US11893028B2 (en) * 2020-12-04 2024-02-06 Shore Alliance Group Inc. System and method for interactive and automated data processing from disparate data sources
US11847130B2 (en) * 2021-05-21 2023-12-19 Capital One Services, Llc Extract, transform, load monitoring platform
US11620162B2 (en) * 2021-05-24 2023-04-04 Capital One Services, Llc Resource allocation optimization for multi-dimensional machine learning environments
US11625292B2 (en) * 2021-05-27 2023-04-11 EMC IP Holding Company LLC System and method for self-healing of upgrade issues on a customer environment and synchronization with a production host environment
US11868166B2 (en) * 2021-08-05 2024-01-09 International Business Machines Corporation Repairing machine learning pipelines
CN117899492A (zh) * 2024-03-20 2024-04-19 成都帆点创想科技有限公司 一种游戏玩法场景的实时推荐方法及***

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5946673A (en) 1996-07-12 1999-08-31 Francone; Frank D. Computer implemented machine learning and control system
US6615166B1 (en) 1999-05-27 2003-09-02 Accenture Llp Prioritizing components of a network framework required for implementation of technology
US6601233B1 (en) 1999-07-30 2003-07-29 Accenture Llp Business components framework
US7020697B1 (en) 1999-10-01 2006-03-28 Accenture Llp Architectures for netcentric computing systems
US20050065753A1 (en) 2003-09-24 2005-03-24 International Business Machines Corporation Apparatus and method for monitoring system health based on fuzzy metric data ranges and fuzzy rules
US8298087B1 (en) * 2009-01-02 2012-10-30 Nintendo Of America Inc. Recommendation engine for electronic game shopping channel
US9427185B2 (en) 2013-06-20 2016-08-30 Microsoft Technology Licensing, Llc User behavior monitoring on a computerized device
US10452992B2 (en) 2014-06-30 2019-10-22 Amazon Technologies, Inc. Interactive interfaces for machine learning model evaluations
US9699205B2 (en) 2015-08-31 2017-07-04 Splunk Inc. Network security system
EP3459022A4 (en) * 2016-05-16 2020-02-19 Purepredictive, Inc. PREDICTIVE DRIFT DETECTION AND CORRECTION
CN109716346A (zh) 2016-07-18 2019-05-03 河谷生物组学有限责任公司 分布式机器学习***、装置和方法
US11113480B2 (en) 2016-09-26 2021-09-07 Google Llc Neural machine translation systems
US10449440B2 (en) * 2017-06-30 2019-10-22 Electronic Arts Inc. Interactive voice-controlled companion application for a video game
CN107423442B (zh) * 2017-08-07 2020-09-25 火烈鸟网络(广州)股份有限公司 基于用户画像行为分析的应用推荐方法及***，储存介质及计算机设备
US11989861B2 (en) 2017-11-28 2024-05-21 Intel Corporation Deep learning-based real-time detection and correction of compromised sensors in autonomous machines
CN108460489A (zh) 2018-03-15 2018-08-28 重庆邮电大学 一种基于大数据技术的用户行为分析与服务推荐框架
CN109062590A (zh) * 2018-06-29 2018-12-21 武汉掌游科技有限公司 一种游戏sdk在线更新的方法及***
CN109908590B (zh) * 2019-02-27 2022-06-21 广州华多网络科技有限公司 一种游戏推荐方法、装置、设备及介质
US11451568B2 (en) * 2019-05-13 2022-09-20 Feedzai—Consultadoria e Inovação Tecnólogica, S.A. Automatic model monitoring for data streams

Also Published As

Publication number Publication date
TWI755778B (zh) 2022-02-21
US11250322B2 (en) 2022-02-15
WO2021011154A1 (en) 2021-01-21
US20210019612A1 (en) 2021-01-21
CN112232515A (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
TWI755778B (zh) 用於轉換後之資料之自我修復機器學習系統
US20230162063A1 (en) Interpretability-based machine learning adjustment during production
US20230196101A1 (en) Determining suitability of machine learning models for datasets
US10338993B1 (en) Analysis of failures in combinatorial test suite
Pierson Data science for dummies
US10459827B1 (en) Machine-learning based anomaly detection for heterogenous data sources
TWI785346B (zh) 用於轉換資料及最佳化資料轉換之雙重機器學習管道
US20200210809A1 (en) System and method for outlier detection using a cascade of neural networks
US11790303B2 (en) Analyzing agent data and automatically delivering actions
US11734419B1 (en) Directed graph interface for detecting and mitigating anomalies in entity interactions
US11551119B2 (en) Machine learning based ranking of private distributed data, models and compute resources
US20180240136A1 (en) Modeling consumer activity
US11928573B2 (en) Computer system, a computer device and a computer implemented method
US11763312B2 (en) Automated rules execution testing and release system
US20090216608A1 (en) Collaborative review system
Yang et al. Learning informative and private representations via generative adversarial networks
US9304895B1 (en) Evolutionary technique with n-pool evolution
CN116910373B (zh) 房源推荐方法、装置、电子设备及存储介质
US20230177583A1 (en) Playstyle analysis for game recommendations
US20230103778A1 (en) Hybrid human-computer learning system
US10025700B1 (en) Data mining technique with n-Pool evolution
US11846979B1 (en) Anomaly detection and diagnostics based on multivariate analysis
US20240193944A1 (en) Attention monitoring in a video conferencing session
US20240169390A1 (en) Method and system for digital traffic campaign management
US20230252390A1 (en) System and method for providing site reliability engineering leaderboard