TWI788529B - 基於ｌｓｔｍ模型的信用風險預測方法及裝置 - Google Patents

基於ｌｓｔｍ模型的信用風險預測方法及裝置 Download PDF

Info

Publication number
TWI788529B
TWI788529B TW108106321A TW108106321A TWI788529B TW I788529 B TWI788529 B TW I788529B TW 108106321 A TW108106321 A TW 108106321A TW 108106321 A TW108106321 A TW 108106321A TW I788529 B TWI788529 B TW I788529B
Authority
TW
Taiwan
Prior art keywords
time interval
vector
lstm
user
hidden state
Prior art date
Application number
TW108106321A
Other languages
English (en)
Other versions
TW201946013A (zh
Inventor
洪滿伙
Original Assignee
開曼群島商創新先進技術有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 開曼群島商創新先進技術有限公司 filed Critical 開曼群島商創新先進技術有限公司
Publication of TW201946013A publication Critical patent/TW201946013A/zh
Application granted granted Critical
Publication of TWI788529B publication Critical patent/TWI788529B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03—Credit; Loans; Processing thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Strategic Management (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Computational Linguistics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Technology Law (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

基於LSTM模型的信用風險預測方法，包括：獲取目標帳戶在預設時間段內的用戶操作行為資料；基於目標帳戶在各個時間區間內的用戶操作行為資料，產生對應於各個時間區間的用戶行為向量序列；將產生的對應於各個時間區間的用戶行為向量序列輸入至訓練完畢的基於編碼-解碼架構的LSTM模型中的LSTM編碼器進行計算，得到對應於各個時間區間的隱藏狀態向量；將對應於各個時間區間的隱藏狀態向量作為風險特徵，輸入至LSTM解碼器進行計算，得到目標帳戶在下一時間區間內的風險評分；以及各隱藏狀態向量對應於風險評分的權重值。

Description

基於LSTM模型的信用風險預測方法及裝置
本說明書係關於通信領域，尤其關於一種基於LSTM模型的信用風險預測方法及裝置。
在現有的信用風險防範體系中，已經廣泛使用信用風險預測模型來防範信用風險。透過提供來自風險帳戶的大量風險交易作為訓練樣本，並從這些風險交易中提取風險特徵進行訓練，來構建信用風險模型，然後使用構建完成的信用風險模型來對用戶的交易帳戶進行信用風險預測和評估。
本說明書提出一種基於LSTM模型的信用風險預測方法，所述方法包括：獲取目標帳戶在預設時間段內的用戶操作行為資料；其中，所述預設時間段為由若干時間步長相同的時間區間組成的時間序列；基於所述目標帳戶在各個時間區間內的用戶操作行為資料，產生對應於各個時間區間的用戶行為向量序列； 將產生的對應於各個時間區間的用戶行為向量序列輸入至訓練完畢的基於編碼-解碼架構的LSTM模型中的LSTM編碼器進行計算，得到對應於各個時間區間的隱藏狀態向量；其中，所述LSTM模型包括LSTM編碼器，和引入了注意力機制的LSTM解碼器；將對應於各個時間區間的隱藏狀態向量作為風險特徵，輸入至所述LSTM解碼器進行計算，得到所述目標帳戶在下一時間區間內的風險評分；以及，各隱藏狀態向量對應於所述風險評分的權重值；其中，所述權重值表徵所述隱藏狀態向量對所述風險評分的貢獻度。
可選的，所述方法還包括：獲取若干被標記了風險標籤的樣本帳戶在所述預設時間段內的用戶操作行為資料；基於所述若干樣本帳戶在各個時間區間內的用戶操作行為資料，產生對應於各個時間區間的用戶行為向量序列；將產生的用戶行為向量序列作為訓練樣本訓練基於編碼-解碼架構的LSTM模型。
可選的，基於帳戶在各個時間區間內的用戶操作行為資料，產生對應於各個時間區間的用戶行為向量序列，包括：獲取帳戶在各個時間區間內的多種用戶操作行為資料；從獲取到的用戶操作行為資料中提取關鍵因數，並對 所述關鍵因數進行數位化處理，得到與所述用戶操作行為資料對應的用戶行為向量；對與各個時間區間內的多種用戶操作行為資料對應的用戶行為向量進行拼接處理，產生對應於各個時間區間的用戶行為向量序列。
可選的，所述多種用戶行為包括信貸表現行為、用戶消費行為、理財支付行為；所述關鍵因數包括與信貸表現行為對應的借貸訂單狀態和借貸還款金額、與用戶消費行為對應的用戶消費類目和用戶消費筆數、與理財支付行為對應的理財支付類型和理財收益金額。
可選的，所述LSTM編碼器採用多層的many-to-one結構；所述LSTM解碼器採用輸入節點和輸出節點數量對稱的多層的many-to-many結構。
可選的，所述將產生的對應於各個時間區間的用戶行為向量序列輸入至訓練完畢的基於編碼-解碼架構的LSTM模型中的LSTM編碼器進行計算，得到對應於各個時間區間的隱藏狀態向量，包括：將產生的對應於各個時間區間的用戶行為向量序列輸入至訓練完畢的基於編碼-解碼架構的LSTM模型中的LSTM編碼器進行雙向傳播計算，得到前向傳播計算得到的第一隱藏狀態向量；以及，後向傳播計算得到的第二隱藏狀態向量；其中，在進行前向傳播計算和後向傳播計算時，對應於各個時間區間的用戶行為向量序列的輸入順序 相反；對所述第一隱藏狀態向量和所述第二隱藏狀態向量進行拼接處理，得到對應於各個時間區間的最終隱藏狀態向量。
可選的，所述將對應於各個時間區間的隱藏狀態向量作為風險特徵，輸入至所述LSTM解碼器進行計算，得到所述目標帳戶在下一時間區間內的風險評分，包括：將對應於各個時間區間的隱藏狀態向量作為風險特徵，輸入至所述LSTM解碼器進行計算，得到所述目標帳戶在下一時間區間內的輸出向量；對所述輸出向量進行數位化處理，得到所述目標帳戶在下一時間區間內的風險評分。
可選的，所述輸出向量為多維向量；所述對所述輸出向量進行數位化處理，包括以下中的任一：提取所述輸出向量中取值位於0~1之間的子向量的取值作為風險評分；如果所述輸出向量中包含多個取值位於0~1之間的子向量時，計算該多個子向量的取值的平均值作為風險評分；如果所述輸出向量中包含多個取值位於0~1之間的子向量時，提取該多個子向量的取值中的最大值或者最小值作為風險評分。
本說明書還提出一種基於LSTM模型的信用風險預測 裝置，所述裝置包括：獲取模組，獲取目標帳戶在預設時間段內的用戶操作行為資料；其中，所述預設時間段為由若干時間步長相同的時間區間組成的時間序列；產生模組，基於所述目標帳戶在各個時間區間內的用戶操作行為資料，產生對應於各個時間區間的用戶行為向量序列；第一計算模組，將產生的對應於各個時間區間的用戶行為向量序列輸入至訓練完畢的基於編碼-解碼架構的LSTM模型中的LSTM編碼器進行計算，得到對應於各個時間區間的隱藏狀態向量；其中，所述LSTM模型包括LSTM編碼器，和引入了注意力機制的LSTM解碼器；第二計算模組，將對應於各個時間區間的隱藏狀態向量作為風險特徵，輸入至所述LSTM解碼器進行計算，得到所述目標帳戶在下一時間區間內的風險評分；以及，各隱藏狀態向量對應於所述風險評分的權重值；其中，所述權重值表徵所述隱藏狀態向量對所述風險評分的貢獻度。
可選的，所述獲取模組進一步：獲取若干被標記了風險標籤的樣本帳戶在所述預設時間段內的用戶操作行為資料；所述產生模組進一步：基於所述若干樣本帳戶在各個時間區間內的用戶操作行為資料，產生對應於各個時間區間的用戶行為向量序列； 所述裝置還包括：訓練模組，將產生的用戶行為向量序列作為訓練樣本訓練基於編碼-解碼架構的LSTM模型。
可選的，所述產生模組進一步：獲取帳戶在各個時間區間內的多種用戶操作行為資料；從獲取到的用戶操作行為資料中提取關鍵因數，並對所述關鍵因數進行數位化處理，得到與所述用戶操作行為資料對應的用戶行為向量；對與各個時間區間內的多種用戶操作行為資料對應的用戶行為向量進行拼接處理，產生對應於各個時間區間的用戶行為向量序列。
可選的，所述多種用戶行為包括信貸表現行為、用戶消費行為、理財支付行為；所述關鍵因數包括與信貸表現行為對應的借貸訂單狀態和借貸還款金額、與用戶消費行為對應的用戶消費類目和用戶消費筆數、與理財支付行為對應的理財支付類型和理財收益金額。
可選的，所述LSTM編碼器採用多層的many-to-one結構；所述LSTM解碼器採用輸入節點和輸出節點數量對稱的多層的many-to-many結構。
可選的，所述第一計算模組：將產生的對應於各個時間區間的用戶行為向量序列輸入至訓練完畢的基於編碼-解碼架構的LSTM模型中的 LSTM編碼器進行雙向傳播計算，得到前向傳播計算得到的第一隱藏狀態向量；以及，後向傳播計算得到的第二隱藏狀態向量；其中，在進行前向傳播計算和後向傳播計算時，對應於各個時間區間的用戶行為向量序列的輸入順序相反；對所述第一隱藏狀態向量和所述第二隱藏狀態向量進行拼接處理，得到對應於各個時間區間的最終隱藏狀態向量。
可選的，所述第二計算模組：將對應於各個時間區間的隱藏狀態向量作為風險特徵，輸入至所述LSTM解碼器進行計算，得到所述目標帳戶在下一時間區間內的輸出向量； 對所述輸出向量進行數位化處理，得到所述目標帳戶在下一時間區間內的風險評分。
可選的，所述輸出向量為多維向量；所述對所述輸出向量進行數位化處理，包括以下中的任一：提取所述輸出向量中取值位於0~1之間的子向量的取值作為風險評分；如果所述輸出向量中包含多個取值位於0~1之間的子向量時，計算該多個子向量的取值的平均值作為風險評分；如果所述輸出向量中包含多個取值位於0~1之間的子向量時，提取該多個子向量的取值中的最大值或者最小值 作為風險評分。
本說明書還提出一種電子設備，包括：處理器；用於儲存機器可執行指令的記憶體；其中，透過讀取並執行所述記憶體儲存的與基於LSTM模型的信用風險預測的控制邏輯對應的機器可執行指令，所述處理器被促使：獲取目標帳戶在預設時間段內的用戶操作行為資料；其中，所述預設時間段為由若干時間步長相同的時間區間組成的時間序列；基於所述目標帳戶在各個時間區間內的用戶操作行為資料，產生對應於各個時間區間的用戶行為向量序列；將產生的對應於各個時間區間的用戶行為向量序列輸入至訓練完畢的基於編碼-解碼架構的LSTM模型中的LSTM編碼器進行計算，得到對應於各個時間區間的隱藏狀態向量；其中，所述LSTM模型包括LSTM編碼器，和引入了注意力機制的LSTM解碼器；將對應於各個時間區間的隱藏狀態向量作為風險特徵，輸入至所述LSTM解碼器進行計算，得到所述目標帳戶在下一時間區間內的風險評分；以及，各隱藏狀態向量對應於所述風險評分的權重值；其中，所述權重值表徵所述隱藏狀態向量對所述風險評分的貢獻度。
70:基於LSTM模型的信用風險預測裝置
701:獲取模組
702:產生模組
703:第一計算模組
704:第二計算模組
圖1是本說明書一實施例提供的一種基於LSTM模型的信用風險預測方法的流程圖；圖2是本說明書一實施例提供的一種基於encoder-decoder架構的LSTM模型；圖3是本說明書一實施例提供的多種多層LSTM網路架構的示意圖；圖4是本說明書一實施例提供的一種對用戶劃分群體的示意圖；圖5是本說明書一實施例提供的一種為LSTM編碼器中的各資料節點構建用戶行為向量序列的示意圖；圖6是本說明書一實施例提供的承載一種基於LSTM模型的信用風險預測裝置的服務端的硬體結構圖；圖7是本說明書一實施例提供的一種基於LSTM模型的信用風險預測裝置的邏輯框圖。
本說明書旨在提出一種，在對目標帳戶進行信用風險預測的場景下，基於目標帳戶在一段時間內的用戶操作行為資料來訓練基於encoder-decoder(編碼-解碼)架構的LSTM模型，基於訓練完成的LSTM模型對目標帳戶在未來一段時間內的信用風險進行預測的技術方案。
在實現時，建模方可以預先定義一個需要預測信用風險的目標時間段作為表現窗口，以及預先設計一個觀察目標帳戶的用戶行為表現的預設時間段作為觀察窗口，並將 上述表現窗口和觀察窗口基於建模方定義的時間步長，組成時間序列。
例如，在一個例子中，假設建模方需要基於目標帳戶過去12個月的用戶操作行為資料，來預測該目標帳戶在未來6個月的信用風險，那麼可以將表現窗口設計為未來6個月，將觀察窗口設計為過去12個月。假設建模方定義的時間步長為1個月，那麼可以將表現窗口和觀察窗口劃分為時間步長為1個月的若干時間區間組成時間序列。此時每一個時間區間稱之為上述時間序列中的一個資料節點。
建模方可以準備若干被標記了風險標籤的樣本帳戶，並獲取這些樣本帳戶在上述觀察窗口內的用戶操作行為資料，並基於各樣本帳戶在該觀察窗口中的各個時間區間內的用戶操作行為資料，來構建與各個時間區間對應的用戶行為向量序列作為訓練樣本，來訓練基於encoder-decoder架構的LSTM模型；其中，上述LSTM模型包括LSTM編碼器和引入了注意力機制(Attention mechanism)的LSTM解碼器。
例如，可以基於這些訓練樣本輸入至LSTM編碼器進行訓練計算，來訓練LSTM編碼器，然後將訓練LSTM編碼器時從訓練樣本中計算得到的，對應於各個時間區間的隱藏狀態向量作為訓練解碼器所需的特徵變數，繼續輸入至LSTM解碼器進行訓練計算，來訓練LSTM解碼器，並透過反覆運算執行以上過程，直到LSTM模型訓練完畢。
當建模方基於訓練完成的上述LSTM模型對目標帳戶 在上述表現窗口中的信用風險進行預測時，可以採用同樣的方式，獲取目標帳戶在上述觀察窗口內的用戶操作行為資料，並基於該目標帳戶在該觀察窗口內的各個時間區間內的用戶操作行為資料，來構建與各個時間區間對應的用戶行為向量序列作為預測樣本，然後將這些預測樣本輸入上述LSTM模型的LSTM編碼器中進行計算得到與各個時間區間對應的隱藏狀態向量。
進一步的，可以將透過LSTM編碼器計算得到的與各個時間區間對應的隱藏狀態向量作為該目標帳戶的風險特徵，輸入至上述LSTM模型進行計算，輸入該目標帳戶的風險評分，以及各個隱藏狀態向量相對於上述風險評分的權重值；其中，該權重值表徵上述隱藏狀態向量對上述風險評分的貢獻度。
在以上技術方案中，一方面，由於將目標帳戶在各個時間區間內的用戶行為向量序列，作為輸入資料直接輸入基於編碼-解碼架構的LSTM模型中的LSTM編碼器中進行計算，就可以得到對應於各個時間區間的隱藏狀態向量，進而可以將得到的隱藏狀態向量作為風險特徵進一步輸入至LSTM解碼器進行計算，來完成該目標帳戶的風險預測得到風險評分；因此，可以無需建模人員基於目標帳戶的用戶操作行為資料，來開發和探索建模所需的特徵變數，可以避免由於基於建模人員的經驗設計的特徵變數不夠準確，而造成的難以深度挖掘出資料中包含的資訊，對模型進行風險預測的準確度造成影響；而且，也不需要對人工 設計的特徵變數進行儲存維護，可以降低系統的儲存開銷；另一方面，由於基於編碼-解碼架構的LSTM模型的LSTM解碼器中，引入了注意力機制，因此將LSTM編碼器得到的對應於各個時間區間的隱藏特徵變數作為風險特徵，輸入LSTM解碼器進行風險預測計算，可以得到對應於各個時間區間的隱藏狀態向量對應於最終風險評分的權重值，從而能夠直觀的評估出各個隱藏特徵變數對最終得到的風險評分的貢獻度，進而可以提升LSTM模型的可解釋性。
下面透過具體實施例並結合具體的應用場景對本說明書進行描述。
請參考圖1，圖1是本說明書一實施例提供的一種基於LSTM模型的信用風險預測方法，應用於服務端，所述方法執行以下步驟：步驟102，獲取目標帳戶在預設時間段內的用戶操作行為資料；其中，所述預設時間段為由若干時間步長相同的時間區間組成的時間序列；步驟104，基於所述目標帳戶在各個時間區間內的用戶操作行為資料，產生對應於各個時間區間的用戶行為向量序列；步驟106，將產生的對應於各個時間區間的用戶行為向量序列輸入至訓練完畢的基於編碼-解碼架構的LSTM模型中的LSTM編碼器進行計算，得到對應於各個時間區間 的隱藏狀態向量；其中，所述LSTM模型包括LSTM編碼器，和引入了注意力機制的LSTM解碼器；步驟108，將對應於各個時間區間的隱藏狀態向量作為風險特徵，輸入至所述LSTM解碼器進行計算，得到所述目標帳戶在下一時間區間內的風險評分；以及，各隱藏狀態向量對應於所述風險評分的權重值；其中，所述權重值表徵所述隱藏狀態向量對所述風險評分的貢獻度。
上述目標帳戶，可以包括用戶的支付帳戶，用戶可以透過在相應的支付客戶端(比如支付APP)上登錄目標帳戶來發起支付交易。
上述服務端，可以包括面向用戶的支付客戶端提供服務，對用戶登錄客戶端所使用的支付帳號進行風險識別的伺服器、伺服器集群或者基於伺服器集群構建的雲端平台。
上述操作行為資料，可以包括用戶在客戶端上登錄目標帳戶後執行的一系列與交易相關的操作行為而產生的資料；例如，上述操作行為可以包括用戶的信貸表現行為、用戶消費行為、理財支付行為、店鋪經營行為、日常交友行為等。用戶在透過客戶端完成以上示出的操作行為時，客戶端可以將執行上述操作行為所產生的資料上傳至服務端，由服務端在其本地的資料庫中作為事件進行保存。
在本說明書中，建模方可以預先定義一個需要預測信用風險的目標時間段作為表現窗口，以及預先設計一個觀 察目標帳戶的用戶行為表現的預設時間段作為觀察窗口，並將上述表現窗口和觀察窗口基於建模方定義的時間步長，組成時間序列。
其中，上述表現窗口和觀察窗口所對應的時間段的取值大小，可以由建模方基於實際的預測目標來自訂設置，在本說明書中不再進行具體限定。相應的，上述時間步長的取值大小，也可以由建模方基於實際的業務需求，來自訂設置，在本說明書中也不再進行具體限定。
在以下實施例中，將以建模方需要基於目標帳戶過去12個月的用戶操作行為資料，來預測該目標帳戶在未來6個月的信用風險，以及定義的上述時間步長為1個月為例進行說明。
在這種情況下，可以將上述表現窗口設計為未來6個月，將觀察窗口設計為過去12個月。進一步的，還可以按照定義的時間步長，將表現窗口劃分為6個時間步長均為1個月的時間區間，然後將這些時間區間組織成時間序列；以及，將觀察窗口劃分為12個時間步長均為1個月的時間區間，然後將這些時間區間組織成時間序列。
請參見圖2，圖2為本說明書示出的一種基於encoder-decoder架構的LSTM模型。
如圖2所示，上述基於encoder-decoder架構的LSTM模型，具體可以包括LSTM編碼器、以及引入了注意力機制的LSTM解碼器。
上述LSTM編碼器(Encoder)，用於對上述觀察窗口中 的各資料節點輸入的用戶行為向量序列進行特徵發現，並將各資料節點輸出的隱藏狀態向量(即最終發現的特徵)，進一步輸入至LSTM解碼器。其中，LSTM編碼器中的資料節點，與上述觀察窗口中的各時間區間相對應。上述觀察窗口中的每一個時間區間，分別對應LSTM編碼器中的一個資料節點。
上述LSTM解碼器(Decoder)，用於基於LSTM編碼器從輸入的用戶行為向量序列中發現的風險特徵，以及用戶在觀察窗口中各個資料節點中的行為表現，對表現窗口中的各資料節點的信用風險進行預測，輸出與表現窗口中的各資料節點對應的預測結果。其中，LSTM解碼器中的資料節點，與上述表現窗口中的各時間區間相對應。上述表現窗口中的每一個時間區間，分別對應LSTM解碼器中的一個資料節點。
需要說明的是，上述LSTM解碼器中的第一個資料節點對應的時間區間，為上述編碼器中的最後一個資料節點對應的時間區間的下一個時間區間。比如，圖2中，0-M1表示與當前時刻的前一個月對應的時間區間；S表示與當前月對應的時間區間；P-M1表示與當前時刻的下一個月對應的時間區間。
上述注意力機制(Attention)，用於為LSTM編碼器在觀察窗口中的各資料節點輸出的特徵，分別標注對應於LSTM解碼器在表現窗口中的各資料節點輸出的預測結果的權重值；其中，該權重值表徵LSTM編碼器在觀察窗口 中的各資料節點輸出的特徵，對應於LSTM解碼器在表現窗口中的各資料節點輸出的預測結果的貢獻度(也稱之為影響度)。
透過引入注意力機制，使得建模方可以直觀的查看到LSTM編碼器在觀察窗口中各個資料節點發現的特徵，對最終LSTM解碼器最終在表現窗口中各個資料節點輸出的預測結果的貢獻度，提升LSTM模型的可解釋性。
在示出的一種實施方式中，為了可以刻畫用戶的操作行為，上述LSTM編碼器和LSTM解碼器，均可以採用多層的LSTM網路架構(比如大於3層)。
其中，上述LSTM編碼器和LSTM解碼器所採用的多層LSTM網路架構的具體形式，在本說明書中不進行特別限定；例如，請參見圖3，多層LSTM網路架構的具體形式，通常可以包括一對一、一對多、多對一、輸入和輸出節點數量不對稱的多對多、輸入和輸出節點數量對稱的多對多等結構形式。
在示出的一種實施方式中，由於LSTM編碼器最終需要將觀察窗口中的各資料節點輸出的隱藏狀態向量匯總為一路輸入，因此LSTM編碼器可以採用如圖3中示出的多對一結構。而由於LSTM解碼器最終需要為表現窗口中的各資料節點分別輸出一個對應的預測結果，因此LSTM編碼器可以採用如圖3中示出的輸入和輸出節點數量對稱的多對多結構。
以下透過具體的實施例對以上示出的基於encoder- decoder架構的LSTM模型的訓練以及使用過程進行詳細描述。
1)用戶分群
在本說明書中，由於不同的用戶人群的資料厚薄，以及信用行為表現等均存在較大的差異，因此為了避免這種差異對模型準確度的影響，在針對需要進行信用風險評估的用戶群體進行建模時，可以按照這些差異對上述用戶群體進行用戶群體劃分，然後針對每一個用戶群體分別訓練用於對該用戶群體中的用戶進行信用風險評估的LSTM模型。
其中，在對上述用戶群體進行用戶群體劃分時所採用的特徵，以及具體的用戶群體劃分方式，在本說明書中不進行特別限定；例如，在實際應用中，可以按照用戶資料豐富程度、職業、逾期次數、年齡等特徵，來進行用戶群體劃分；比如，如圖4所示，在一個例子中，可以將所有用戶劃分為資料稀少的群體和資料豐富的群體，然後進一步將資料稀少的群體按照職業劃分為諸如工薪族、學生組等用戶群體，將資料豐富的群體按照逾期次數，進一步劃分為信用良好、信用一般等用戶群體。
2)基於encoder-decoder架構的LSTM模型的訓練
在本說明書中，在對劃分出的某一用戶群體進行上述 LSTM模型的訓練時，建模方可以收集隸屬於該用戶群體的大量被標記了風險標籤的用戶帳戶作為樣本帳戶。
其中，上述風險標籤具體可以包括用於指示帳戶存在信用風險的標籤，和用於指示帳戶不存在信用風險的標籤；比如，對於存在信用風險的樣本帳戶可以標記一個標籤1；對於不存在信用風險的樣本帳戶可以標記一個標籤0。
需要說明的是，建模方準備的被標記了風險標籤的樣本帳戶中，被標記了用於指示帳戶存在信用風險的標籤，和被標記了用於指示帳戶不存在信用風險的標籤的樣本帳戶的比例，在本說明書中不進行特別限定，建模方可以基於實際的建模需求來進行設置。
進一步的，建模方可以獲取被標記了風險標籤的這些樣本帳戶，在上述觀察窗口內的用戶操作行為資料，並獲取這些樣本帳戶在上述觀察窗口中的各個時間區間內產生的用戶操作行為資料，基於這些樣本帳戶在上述觀察窗口中的各個資料節點對應的時間區間內產生的用戶操作行為資料，為各資料節點分別構建對應的用戶行為向量序列，然後將構建出的用戶行為向量序列作為訓練樣本來訓練上述基於encoder-decoder架構的LSTM模型。
在示出的一種實施方式中，建模方可以預先定義多種用於構建用戶行為向量序列的用戶操作行為，在對觀察窗口中的各資料節點分別構建對應的用戶行為向量序列時，可以獲取上述樣本帳戶在觀察窗口中的各個時間區間內， 產生的與上述多種用戶操作行為對應的多種用戶操作行為資料，並從獲取到的用戶操作行為資料中分別提取關鍵因數，然後對提取到的關鍵因數進行數位化處理，得到與各用戶操作行為資料對應的用戶行為向量。
進一步的，在得到與各用戶操作行為對應的用戶行為向量後，可以對上述觀察窗口中的各個資料節點對應的時間區間內的多種用戶操作行為資料對應的用戶行為向量進行拼接處理，產生對應於各個時間區間的用戶行為向量序列。
其中，建模方定義的上述多種用戶操作行為在本說明書中不進行特別限定，建模方可以基於實際的需求進行自訂；從與上述多種用戶操作行為對應的用戶操作行為資料中提取的關鍵因數，在本說明書中也不進行特別限定，上述用戶操作行為資料中的重要構成要素，均可以作為上述關鍵因數，
請參見圖5，圖5為本說明書示出的一種為LSTM編碼器中的各資料節點構建用戶行為向量序列的示意圖。
在示出的一種實施方式中，建模方定義的多種用戶操作行為，具體可以包括信貸表現行為、用戶消費行為、理財支付行為；相應的，上述關鍵因數，具體可以包括與信貸表現行為對應的借貸訂單狀態和借貸還款金額、與用戶消費行為對應的用戶消費類目和用戶消費筆數、與理財支付行為對應的理財支付類型和理財收益金額等等。
對於觀察窗口中的每一個時間區間，可以分別獲取樣 本帳戶在該時間區間內產生的信貸表現行為資料、用戶消費行為資料、理財支付行為資料，然後從信貸表現行為資料中提取出借貸訂單狀態(圖5中示出的為正常、逾期兩種狀態)和借貸還款金額(圖5中示出的為實際的借貸金額和逾期金額；比如，逾期1/50，表示逾期一次，逾期金額50元；正常/10，表示正常還款，還款金額為10元)，從用戶消費行為資料中提取出用戶消費類目(圖5中示出的為手機、黃金、充值、服裝等四種消費類目)和用戶消費筆數，從理財支付行為資料中提取出理財支付類型(圖5中示出的為貨幣基金、基金兩種理財產品類型)和理財收益金額。
進一步的，可以對從信貸表現行為資料、用戶消費行為資料、理財支付行為資料中提取出的資訊進行數位化處理，得到每一種用戶操作行為資料對應於各時間區間的用戶行為向量，而後可以對以上示出的三種用戶操作行為資料對應於各時間區間的用戶行為向量進行拼接，得到與各時間區間對應的用戶行為向量序列。
在本說明書中，上述基於encoder-decoder架構的LSTM模型中的LSTM編碼器所涉及的計算通常包括輸入閘計算、記憶閘(也稱之為遺忘閘)計算、單元狀態計算以及隱藏狀態向量計算四部分；其中，由於在本說明書中，LSTM編碼器計算得到的隱藏狀態向量，最終會匯總後作為LSTM解碼器的輸入，因此對於LSTM編碼器而言，可以不涉及輸出閘。以上各部分計算所涉及的計算公式如下所 示：f(t)=f(Wf ＊Xi+Uf＊h(t-1)+bf) i(t)=f(Wi ＊Xi+Ui＊h(t-1)+bi) m(t)=tanh(Wm＊Xi+Um＊h(t-1)+bm) h(t)=f(t)＊h(t-1)+i(t)＊m(t)
其中，在以上公式中，f(t)表示LSTM編碼器第t個資料節點的記憶閘；i(t)表示LSTM編碼器第t個資料節點的輸入閘；m(t)表示LSTM編碼器第t個資料節點的單元狀態(也稱之為候選隱藏狀態)；h(t)表示LSTM編碼器第t個資料節點(即第t個時間區間)對應的隱藏狀態向量；h(t-1)表示LSTM編碼器第t個資料節點的上一資料節點對應的隱藏狀態向量；f表示非線性啟動函數，可以基於實際的需求選取合適的非線性啟動函數；例如，對於LSTM編碼器而言，上述f具體可以採用sigmoid函數。Wf和Uf表示記憶閘的權重矩陣；bf表示記憶閘的偏置項。Wi和Ui表示輸入閘的權重矩陣；bi表示輸入閘的偏置項；Wm和Um表示單元狀態的權重矩陣；bm表示單元狀態的偏置項。
在本說明書中，上述基於encoder-decoder架構的LSTM模型中的LSTM解碼器中引入的注意力機制涉及的計算通常包括貢獻度取值計算、以及貢獻度取值進行歸一化處理(歸一化至0~1之間)轉換成權重值的計算兩部分。以上各部分計算所涉及的計算公式如下所示：etj=tanh(Wa＊s(j-1)+Ua＊h(t)) atj=exp(etj)/sum_T(exp(etj))
其中，在以上公式中，etj表示LSTM編碼器第t個資料節點對應的隱藏狀態向量，對LSTM編碼器第j個資料節點對應的預測結果的貢獻度取值；atj表示對etj進行歸一化處理後，得到的權重值；exp(etj)表示對etj進行指數函數運算；sum_T(exp(etj))表示對LSTM編碼器的共計T個資料節點的etj進行求和。s(j-1)表示LSTM解碼器第j個資料節點對應的隱藏狀態向量。Wa和Ua為注意力機制的權重矩陣。
其中，需要說明的是，在以上公式中，對etj進行歸一化處理，採用的是將etj的取值進行指數函數運算的結果，與對LSTM編碼器的共計T個資料節點的etj進行求和的結果相除的方式，將etj的取值歸一化至區間[0,1]，在實際應用中，除了以上公式示出的歸一化方式以外，本領域技術人員在將本說明書的技術方案付諸實現時，也可以採用其它的歸一化方式，在本說明書中不再進行一一列舉。
在本說明書中，上述基於encoder-decoder架構的LSTM模型中的LSTM編碼器涉及的計算通常包括輸入閘計算、記憶閘計算、輸出閘計算、單元狀態計算、隱藏狀態向量計算、以及輸出向量計算等六部分。以上各部分計算所涉及的計算公式如下所示： F(j)=f(WF ＊Cj+UF＊S(j-1)+KF ＊y(j-1)+bf) I(j)=f(WI ＊Cj+UI＊S(j-1)+KI ＊y(j-1)+bI) O(j)=f(Wo ＊Cj+UO＊S(j-1)+KO ＊y(j-1)+bO) n(j)=tanh(Wn＊Cj+Un＊S(j-1)+Km ＊y(j-1)+bn) S(j)=F(j)＊S(j-1)+I(j)＊n(j) y(j)=O(j)＊tanh(S(j)) Cj=sum_T(atj＊h(t))
其中，在以上公式中，F(j)表示LSTM解碼器第j個資料節點的記憶閘；I(j)表示LSTM解碼器第j個資料節點的輸入閘；O(j)表示LSTM解碼器第j個資料節點的輸出閘；n(j)表示LSTM解碼器第j個資料節點的單元狀態；S(j)表示LSTM解碼器第j個資料節點對應的隱藏狀態向量；S(j-1)表示LSTM解碼器第j個資料節點的上一資料節點對應的隱藏狀態向量；y(j)表示LSTM解碼器第j個節點的輸出向量；f表示非線性啟動函數，可以基於實際的需求選取合適的非線性啟動函數；例如，對於LSTM解碼器而言，上述f具體也可以採用sigmoid函數。Cj表示LSTM編碼器各個資料節點對應的隱藏狀態向量h(t)乘以基於LSTM解碼器的注意力機制計算出的注意力權重atj後進行加權計算得到的加權和；WF、UF和KF表示記憶閘的權重矩陣；bF表示記憶閘的偏置項。WI、UI和KI表示輸入閘的權重矩陣；bI表示輸入閘的偏置項；WO、UO和KO表示輸出閘的權重矩陣；bO表示輸出閘的偏置項。Wn、Un和Kn表示單元狀態的權重矩陣；bn表示單元狀態的偏置項。
在本說明書中，以上各公式中示出的Wf、Uf、bf、Wi、Ui、bi、Wm、Um、bm、Wa、Ua、WF、UF、KF、bF、WI、UI、KI、bI、WO、UO、KO、bO、Wn、Un和Kn、bn等參數，即為上述LSTM模型最終需要訓練出的模型參數。
在訓練上述LSTM模型時，具體可以將基於以上示出的被標記了風險標籤的樣本帳戶在觀察窗口中的各時間區間內的用戶操作行為資料，構建出的與各時間區間對應的用戶行為向量序列作為訓練樣本，輸入至LSTM編碼器中進行訓練計算，再將LSTM編碼器的計算結果作為輸入繼續輸入至LSTM解碼器中進行訓練計算，並透過反覆運算以上的訓練計算過程，不斷對以上的模型參數進行調整；當將以上各參數調整至最優值時，此時模型的訓練演算法收斂，上述LSTM模型訓練完畢。
其中，需要說明的是，在訓練上述LSTM模型時採用的訓練演算法，在本說明書中不進行特別限定；例如，在一種實現方式中，可以採用梯度下降法來不斷進行迭代運算，來訓練上述LSTM模型。
3)基於encoder-decoder架構的LSTM模型的信用風險預測
在本說明書中，按照以上實施例中示出的模型訓練流程，針對每一個劃分出的用戶群體分別訓練一個LSTM模型，並基於訓練完成的該LSTM模型對隸屬於該用戶群體的用戶帳戶進行信用風險評估。
當建模方需要針對某一目標帳戶進行風險評估時，建 模方可以獲取該目標帳戶，獲取該目標帳戶在上述觀察窗口中的各個時間區間內產生的用戶操作行為資料，基於該目標帳戶在上述觀察窗口中的各個資料節點對應的時間區間內產生的用戶操作行為資料，為各資料節點分別構建對應的用戶行為向量序列。
其中，為上述目標帳戶構建用戶行為向量序列的過程，在本說明書中不再進行贅述，可以參考之前實施例的描述；例如，仍然可以採用圖5中示出的方式，為目標帳戶構建與觀察窗口中的各時間區間對應的用戶行為向量序列。
當為目標帳戶構建出對應於觀察窗口中的各個時間區間的用戶行為向量序列後，首先可以從訓練完成的LSTM模型中確定出與該目標帳戶所屬的用戶群體對應的LSTM模型，然後將該用戶行為向量序列作為預測樣本，輸入至該LSTM模型的LSTM編碼器中的各資料節點進行計算。
其中，對於LSTM模型而言，通常採用正向傳播計算或者反向傳播計算中的其中一種。所謂正向傳播計算，是指對應於觀察窗口中的各個時間區間的用戶行為向量序列，在LSTM模型中的輸入順序，與LSTM模型中的各資料節點的傳播方向相同；反之，所謂反向傳播計算，是指對應於觀察窗口中的各個時間區間的用戶行為向量序列，在LSTM模型中的輸入順序，與LSTM模型中的各資料節點的傳播方向相反。
也即，對於反向傳播計算和正向傳播計算而言，觀察 窗口中的各個時間區間的用戶行為向量序列作為輸入資料的輸入順序完全相反。
例如，以正向傳播計算為例，對於目標帳戶對應於觀察窗口中的第1個時間區間(即第1個月)的用戶行為向量序列X1，可以將其作為LSTM編碼器各資料節點的傳播方向上的第1個資料節點的資料登錄，按照以上示出的LSTM編碼計算公式，求解出f(1)、i(1)、m(1)，再基於計算出的f(1)、i(1)、m(1)進一步求解出與第1個時間區間對應的隱藏狀態向量h(1)。然後再將第2個時間區間的用戶行為向量序列X2，作為LSTM編碼器各資料節點的傳播方向上的第2個資料節點的資料登錄，採用相同的計算方式進行計算，以此類推，依次分別進行計算出與第2~12個時間區間對應的隱藏狀態向量h(2)~h(12)。
又如，以反向傳播計算為例，則可以將目標帳戶對應於觀察窗口中的第12個時間區間(也即最後一個時間區間)的用戶行為向量序列X12，作為LSTM編碼器各資料節點的傳播方向上的第1個資料節點的資料登錄，採用相同的計算方式，求解出f(1)、i(1)、m(1)，再基於計算出的f(1)、i(1)、m(1)進一步求解出與第1個時間區間對應的隱藏狀態向量h(1)。然後再將第11個時間區間的用戶行為向量序列X11，作為LSTM編碼器各資料節點的傳播方向上的第2個資料節點的資料登錄，採用相同的計算方式進行計算，以此類推，依次分別進行計算出與第2~12個時間區間對應的隱藏狀態向量h(2)~h(12)。
在示出的一種實施方式中，為了提升LSTM編碼器的計算精度，LSTM編碼器中的計算可以採用雙向傳播計算。當分別完成反向傳播計算和正向傳播計算後，對於LSTM編碼器中的每一個資料節點而言，可以分別得到一個前向傳播計算得到的第一隱藏狀態向量，和一個反向傳播計算得到的第二隱藏狀態向量。
在這種情況下，可以對LSTM編碼器中各資料節點對應的第一隱藏狀態向量和第二隱藏狀態進行拼接，作為與各資料節點對應的最終隱藏狀態向量；例如，以LSTM編碼器的第t個資料節點為例，假設該資料節點計算出的第一隱藏狀態向量記為ht_before，計算出的第二隱藏向量記為ht_after，最終隱藏向量記為ht_final，那麼ht_final可以表示為t_final=[ht_before，ht_after]。
在本說明書中，當將為目標帳戶構建出對應於觀察窗口中的各個時間區間的用戶行為向量序列作為預測樣本，輸入至上述LSTM模型的LSTM編碼器中的各資料節點完成計算後，可以將LSTM編碼器中的各資料節點計算得到的隱藏狀態向量作為從目標帳戶的用戶操作行為資料中提取出的風險特徵，進一步輸入至上述LSTM模型中的LSTM解碼器，按照以上是實施例中示出的LSTM解碼器的計算公式進行計算，以對上述目標帳戶在上述表現窗口中的各時間區間的信用風險進行預測。
例如，首先可以基於LSTM解碼器的注意力機制，計算出與LSTM編碼器中的各資料節點對應的隱藏狀態向量 的注意力權重atj，再進一步計算出與LSTM編碼器中的各資料節點對應的隱藏狀態向量乘以對應的注意力權重atj後的加權和Cj。然後，可以基於以上示出的LSTM解碼器的計算公式，進一步計算出與LSTM解碼器中第一個資料節點對應的輸出向量，對上述目標帳戶在表現窗口中第一個時間區間的信用風險進行預測；以此類推，可以基於相同的方式，按照以上示出的LSTM解碼器的計算公式，依次計算出與LSTM解碼器中的下一個資料節點對應的輸出向量，對上述目標帳戶在表現窗口中的下一個時間區間的信用風險進行預測。
在本說明書中，當完成LSTM解碼器的計算後，可以得到LSTM編碼器中的各資料節點對應的隱藏狀態向量的注意力權重atj，以及與LSTM解碼器中的各資料節點對應的輸出向量。
在示出的一種實施方式中，上述LSTM模型可以進一步對與LSTM解碼器中的各資料節點對應的輸出向量進行數位化處理，將與各資料節點對應的輸出向量轉換為與各資料節點對應的風險評分，作為目標帳戶在表現窗口中各個時間區間的信用風險預測結果。
其中，對上述輸出向量進行數位化處理，將上述輸出向量轉換為風險評分的具體方式，在本說明書中，不進行特別限定；例如，在一種實現方式中，由於最終輸出的輸出向量為一個多維向量，且輸出向量中通常會包含取值位於0~1 之間的子向量。因此，在實現時，可以直接提取上述輸出向量中取值位於0~1之間的子向量的取值，作為與該輸出向量對應的風險評分。
在示出的另一種實現方式中，如果上述輸出向量中包含多個取值位於0~1之間的子向量時，可以提取該多個子向量的取值中的最大值或者最小值作為與該輸出向量對應的風險評分；或者，也可以計算該多個子向量的取值的平均值作為風險評分。
當完成以上計算後，上述LSTM解碼器可以將與LSTM解碼器中的各資料節點對應的風險評分，以及與上述LSTM編碼器中的各資料節點得到的隱藏狀態向量，相對於上述風險評分的權重值，作為最終的預測結果進行輸出。
其中，在示出的一種實施方式中，上述LSTM解碼器也可以將LSTM解碼中的各個資料節點對應的風險評分進行匯總後，轉換成為一個上述目標帳戶在上述表現窗口中是否存在信用風險的預測結果。
在一種實現方式中，上述LSTM解碼器可以將LSTM解碼中的各個資料節點對應的風險評分進行求和，然後將求和結果與預設的風險閾值進行比較；如果求和結果大於等於該風險閾值，則輸出一個1，表示上述目標帳戶在上述變現窗口中存在信用風險；反之，如果求和結果小於風險閾值，則輸出一個0，表示上述目標帳戶在上述變現窗口中不存在信用風險。
透過以上實施例可見，一方面，由於將目標帳戶在各個時間區間內的用戶行為向量序列，作為輸入資料直接輸入基於編碼-解碼架構的LSTM模型中的LSTM編碼器中進行計算，就可以得到對應於各個時間區間的隱藏狀態向量，進而可以將得到的隱藏狀態向量作為風險特徵進一步輸入至LSTM解碼器進行計算，來完成該目標帳戶的風險預測得到風險評分；因此，可以無需建模人員基於目標帳戶的用戶操作行為資料，來開發和探索建模所需的特徵變數，可以避免由於基於建模人員的經驗設計的特徵變數不夠準確，而造成的難以深度挖掘出資料中包含的資訊，對模型進行風險預測的準確度造成影響；而且，也不需要對人工設計的特徵變數進行儲存維護，可以降低系統的儲存開銷；另一方面，由於基於編碼-解碼架構的LSTM模型的LSTM解碼器中，引入了注意力機制，因此將LSTM編碼器得到的對應於各個時間區間的隱藏特徵變數作為風險特徵，輸入LSTM解碼器進行風險預測計算，可以得到對應於各個時間區間的隱藏狀態向量對應於最終風險評分的權重值，從而能夠直觀的評估出各個隱藏特徵變數對最終得到的風險評分的貢獻度，進而可以提升LSTM模型的可解釋性。
與上述方法實施例相對應，本說明書還提供了裝置的實施例。
與上述方法實施例相對應，本說明書還提供了一種基 於LSTM模型的信用風險預測裝置的實施例。本說明書的基於LSTM模型的信用風險預測裝置實施例可以應用在電子設備上。裝置實施例可以透過軟體實現，也可以透過硬體或者軟硬體結合的方式實現。以軟體實現為例，作為一個邏輯意義上的裝置，是透過其所在電子設備的處理器將非易失性記憶體中對應的電腦程式指令讀取到記憶體中運行形成的。從硬體層面而言，如圖6所示，為本說明書的基於LSTM模型的信用風險預測裝置所在電子設備的一種硬體結構圖，除了圖6所示的處理器、記憶體、網路介面、以及非易失性記憶體之外，實施例中裝置所在的電子設備通常根據該電子設備的實際功能，還可以包括其他硬體，對此不再贅述。
圖7是本說明書一示例性實施例示出的一種基於LSTM模型的信用風險預測裝置的框圖。
請參考圖7，所述基於LSTM模型的信用風險預測裝置70可以應用在前述圖6所示的電子設備中，包括有：獲取模組701、產生模組702、第一計算模組703和第二計算模組704。
獲取模組701，獲取目標帳戶在預設時間段內的用戶操作行為資料；其中，所述預設時間段為由若干時間步長相同的時間區間組成的時間序列；產生模組702，基於所述目標帳戶在各個時間區間內的用戶操作行為資料，產生對應於各個時間區間的用戶行為向量序列； 第一計算模組703，將產生的對應於各個時間區間的用戶行為向量序列輸入至訓練完畢的基於編碼-解碼架構的LSTM模型中的LSTM編碼器進行計算，得到對應於各個時間區間的隱藏狀態向量；其中，所述LSTM模型包括LSTM編碼器，和引入了注意力機制的LSTM解碼器；第二計算模組704，將對應於各個時間區間的隱藏狀態向量作為風險特徵，輸入至所述LSTM解碼器進行計算，得到所述目標帳戶在下一時間區間內的風險評分；以及，各隱藏狀態向量對應於所述風險評分的權重值；其中，所述權重值表徵所述隱藏狀態向量對所述風險評分的貢獻度。
在本實施例中，所述獲取模組701進一步：獲取若干被標記了風險標籤的樣本帳戶在所述預設時間段內的用戶操作行為資料；所述產生模組702進一步：基於所述若干樣本帳戶在各個時間區間內的用戶操作行為資料，產生對應於各個時間區間的用戶行為向量序列；所述裝置70還包括：訓練模組705(圖7中未示出)，將產生的用戶行為向量序列作為訓練樣本訓練基於編碼-解碼架構的LSTM模型。
在本實施例中，所述產生模組702進一步：獲取帳戶在各個時間區間內的多種用戶操作行為資料； 從獲取到的用戶操作行為資料中提取關鍵因數，並對所述關鍵因數進行數位化處理，得到與所述用戶操作行為資料對應的用戶行為向量；對與各個時間區間內的多種用戶操作行為資料對應的用戶行為向量進行拼接處理，產生對應於各個時間區間的用戶行為向量序列。
在本實施例中，所述多種用戶行為包括信貸表現行為、用戶消費行為、理財支付行為；所述關鍵因數包括與信貸表現行為對應的借貸訂單狀態和借貸還款金額、與用戶消費行為對應的用戶消費類目和用戶消費筆數、與理財支付行為對應的理財支付類型和理財收益金額。
在本實施例中，所述LSTM編碼器採用多層的many-to-one結構；所述LSTM解碼器採用輸入節點和輸出節點數量對稱的多層的many-to-many結構。
在本實施例中，所述第一計算模組703：將產生的對應於各個時間區間的用戶行為向量序列輸入至訓練完畢的基於編碼-解碼架構的LSTM模型中的LSTM編碼器進行雙向傳播計算，得到前向傳播計算得到的第一隱藏狀態向量；以及，後向傳播計算得到的第二隱藏狀態向量；其中，在進行前向傳播計算和後向傳播計算時，對應於各個時間區間的用戶行為向量序列的輸入順序相反；對所述第一隱藏狀態向量和所述第二隱藏狀態向量進 行拼接處理，得到對應於各個時間區間的最終隱藏狀態向量。
在本實施例中，所述第二計算模組704：將對應於各個時間區間的隱藏狀態向量作為風險特徵，輸入至所述LSTM解碼器進行計算，得到所述目標帳戶在下一時間區間內的輸出向量；對所述輸出向量進行數位化處理，得到所述目標帳戶在下一時間區間內的風險評分。
在本實施例中，所述輸出向量為多維向量；所述對所述輸出向量進行數位化處理，包括以下中的任一：提取所述輸出向量中取值位於0~1之間的子向量的取值作為風險評分；如果所述輸出向量中包含多個取值位於0~1之間的子向量時，計算該多個子向量的取值的平均值作為風險評分；如果所述輸出向量中包含多個取值位於0~1之間的子向量時，提取該多個子向量的取值中的最大值或者最小值作為風險評分。
上述裝置中各個模組的功能和作用的實現過程具體詳見上述方法中對應步驟的實現過程，在此不再贅述。
對於裝置實施例而言，由於其基本對應於方法實施例，所以相關之處參見方法實施例的部分說明即可。以上所描述的裝置實施例僅僅是示意性的，其中所述作為分離 部件說明的模組可以是或者也可以不是物理上分開的，作為模組顯示的部件可以是或者也可以不是物理模組，即可以位於一個地方，或者也可以分佈到多個網路模組上。可以根據實際的需要選擇其中的部分或者全部模組來實現本說明書方案的目的。本領域普通技術人員在不付出創造性勞動的情況下，即可以理解並實施。
上述實施例闡明的系統、裝置、模組或模組，具體可以由電腦晶片或實體實現，或者由具有某種功能的產品來實現。一種典型的實現設備為電腦，電腦的具體形式可以是個人電腦、膝上型電腦、行動電話、相機電話、智慧型電話、個人數位助理、媒體播放機、導航設備、電子郵件收發設備、遊戲控制台、平板電腦、可穿戴設備或者這些設備中的任意幾種設備的組合。
與上述方法實施例相對應，本說明書還提供了一種電子設備的實施例。該電子設備包括：處理器以及用於儲存機器可執行指令的記憶體；其中，處理器和記憶體通常透過內部匯流排相互連接。在其他可能的實現方式中，所述設備還可能包括外部介面，以能夠與其他設備或者部件進行通信。
在本實施例中，透過讀取並執行所述記憶體儲存的與基於LSTM模型的信用風險預測的控制邏輯對應的機器可執行指令，所述處理器被促使：獲取目標帳戶在預設時間段內的用戶操作行為資料；其中，所述預設時間段為由若干時間步長相同的時間區間 組成的時間序列；基於所述目標帳戶在各個時間區間內的用戶操作行為資料，產生對應於各個時間區間的用戶行為向量序列；將產生的對應於各個時間區間的用戶行為向量序列輸入至訓練完畢的基於編碼-解碼架構的LSTM模型中的LSTM編碼器進行計算，得到對應於各個時間區間的隱藏狀態向量；其中，所述LSTM模型包括LSTM編碼器，和引入了注意力機制的LSTM解碼器；將對應於各個時間區間的隱藏狀態向量作為風險特徵，輸入至所述LSTM解碼器進行計算，得到所述目標帳戶在下一時間區間內的風險評分；以及，各隱藏狀態向量對應於所述風險評分的權重值；其中，所述權重值表徵所述隱藏狀態向量對所述風險評分的貢獻度。
在本實施例中，透過讀取並執行所述記憶體儲存的與基於LSTM模型的信用風險預測的控制邏輯對應的機器可執行指令，所述處理器還被促使：獲取若干被標記了風險標籤的樣本帳戶在所述預設時間段內的用戶操作行為資料；基於所述若干樣本帳戶在各個時間區間內的用戶操作行為資料，產生對應於各個時間區間的用戶行為向量序列；將產生的用戶行為向量序列作為訓練樣本訓練基於編碼-解碼架構的LSTM模型。
在本實施例中，透過讀取並執行所述記憶體儲存的與基於LSTM模型的信用風險預測的控制邏輯對應的機器可執行指令，所述處理器還被促使： 獲取帳戶在各個時間區間內的多種用戶操作行為資料；從獲取到的用戶操作行為資料中提取關鍵因數，並對所述關鍵因數進行數位化處理，得到與所述用戶操作行為資料對應的用戶行為向量；對與各個時間區間內的多種用戶操作行為資料對應的用戶行為向量進行拼接處理，產生對應於各個時間區間的用戶行為向量序列。
在本實施例中，透過讀取並執行所述記憶體儲存的與基於LSTM模型的信用風險預測的控制邏輯對應的機器可執行指令，所述處理器還被促使：將產生的對應於各個時間區間的用戶行為向量序列輸入至訓練完畢的基於編碼-解碼架構的LSTM模型中的LSTM編碼器進行雙向傳播計算，得到前向傳播計算得到的第一隱藏狀態向量；以及，後向傳播計算得到的第二隱藏狀態向量；其中，在進行前向傳播計算和後向傳播計算時，對應於各個時間區間的用戶行為向量序列的輸入順序相反；對所述第一隱藏狀態向量和所述第二隱藏狀態向量進行拼接處理，得到對應於各個時間區間的最終隱藏狀態向量。
在本實施例中，透過讀取並執行所述記憶體儲存的與基於LSTM模型的信用風險預測的控制邏輯對應的機器可執行指令，所述處理器還被促使： 將對應於各個時間區間的隱藏狀態向量作為風險特徵，輸入至所述LSTM解碼器進行計算，得到所述目標帳戶在下一時間區間內的輸出向量；對所述輸出向量進行數位化處理，得到所述目標帳戶在下一時間區間內的風險評分。
在本實施例中，所述輸出向量為多維向量；透過讀取並執行所述記憶體儲存的與基於LSTM模型的信用風險預測的控制邏輯對應的機器可執行指令，所述處理器還被促使執行以下中的任一：提取所述輸出向量中取值位於0~1之間的子向量的取值作為風險評分；如果所述輸出向量中包含多個取值位於0~1之間的子向量時，計算該多個子向量的取值的平均值作為風險評分；如果所述輸出向量中包含多個取值位於0~1之間的子向量時，提取該多個子向量的取值中的最大值或者最小值作為風險評分。
本領域技術人員在考慮說明書及實踐這裡公開的發明後，將容易想到本說明書的其它實施方案。本說明書旨在涵蓋本說明書的任何變型、用途或者適應性變化，這些變型、用途或者適應性變化遵循本說明書的一般性原理並包括本說明書未公開的本技術領域中的公知常識或慣用技術手段。說明書和實施例僅被視為示例性的，本說明書的真正範圍和精神由下面的申請專利範圍指出。
應當理解的是，本說明書並不局限於上面已經描述並在圖式中示出的精確結構，並且可以在不脫離其範圍進行各種修改和改變。本說明書的範圍僅由所附的申請專利範圍來限制。
以上所述僅為本說明書的較佳實施例而已，並不用以限制本說明書，凡在本說明書的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本說明書保護的範圍之內。

Claims (11)

  1. 一種基於LSTM模型的信用風險預測方法，該方法包括：獲取目標帳戶在預設時間段內的用戶操作行為資料；其中，該預設時間段為由若干時間步長相同的時間區間組成的時間序列；基於該目標帳戶在各個時間區間內的用戶操作行為資料，產生對應於各個時間區間的用戶行為向量序列；將產生的對應於各個時間區間的用戶行為向量序列輸入至訓練完畢的基於編碼-解碼架構的LSTM模型中的LSTM編碼器進行雙向傳播計算，得到前向傳播計算得到的第一隱藏狀態向量；以及，後向傳播計算得到的第二隱藏狀態向量；其中，該LSTM模型包括LSTM編碼器，和引入了注意力機制的LSTM解碼器，在進行前向傳播計算和後向傳播計算時，對應於各個時間區間的用戶行為向量序列的輸入順序相反；對該第一隱藏狀態向量和該第二隱藏狀態向量進行拼接處理，得到對應於各個時間區間的最終隱藏狀態向量；以及其中該基於編碼-解碼架構的LSTM模型是透過以下方式訓練的：獲取若干被標記了風險標籤的樣本帳戶在該預設時間段內的用戶操作行為資料；基於該若干樣本帳戶在各個時間區間內的用戶操 作行為資料，產生對應於各個時間區間的用戶行為向量序列；將產生的用戶行為向量序列作為訓練樣本訓練該基於編碼-解碼架構的LSTM模型；將對應於各個時間區間的隱藏狀態向量作為風險特徵，輸入至該LSTM解碼器進行計算，得到該目標帳戶在下一時間區間內的輸出向量，並對該輸出向量進行數位化處理，得到該目標帳戶在下一時間區間內的風險評分，以及各隱藏狀態向量對應於該風險評分的權重值作為信用風險的預測結果進行輸出；其中，該權重值表徵該隱藏狀態向量對該風險評分的貢獻度，該下一時間區間屬於作為表現窗口的目標時間段中，且該下一時間區間與該預設時間段中的最後一個時間區間相鄰。
  2. 根據請求項1所述的方法，基於帳戶在各個時間區間內的用戶操作行為資料，產生對應於各個時間區間的用戶行為向量序列，包括：獲取帳戶在各個時間區間內的多種用戶操作行為資料；從獲取到的用戶操作行為資料中提取關鍵因數，並對該關鍵因數進行數位化處理，得到與該用戶操作行為資料對應的用戶行為向量；對與各個時間區間內的多種用戶操作行為資料對應的用戶行為向量進行拼接處理，產生對應於各個時間區間的 用戶行為向量序列。
  3. 根據請求項2所述的方法，該多種用戶行為包括信貸表現行為、用戶消費行為、理財支付行為；該關鍵因數包括與信貸表現行為對應的借貸訂單狀態和借貸還款金額、與用戶消費行為對應的用戶消費類目和用戶消費筆數、與理財支付行為對應的理財支付類型和理財收益金額。
  4. 根據請求項1所述的方法，該LSTM編碼器採用多層的many-to-one結構；該LSTM解碼器採用輸入節點和輸出節點數量對稱的多層的many-to-many結構。
  5. 根據請求項1所述的方法，該輸出向量為多維向量；所述對該輸出向量進行數位化處理，包括以下中的任一：提取該輸出向量中取值位於0~1之間的子向量的取值作為風險評分；如果該輸出向量中包含多個取值位於0~1之間的子向量時，計算該多個子向量的取值的平均值作為風險評分；如果該輸出向量中包含多個取值位於0~1之間的子向量時，提取該多個子向量的取值中的最大值或者最小值作為風險評分。
  6. 一種基於LSTM模型的信用風險預測裝置，該裝置包括獲取模組、產生模組、訓練模組、第一計算模組及第二計算模組：該獲取模組，獲取目標帳戶在預設時間段內的用戶操作行為資料；其中，該預設時間段為由若干時間步長相同的時間區間組成的時間序列；該產生模組，基於該目標帳戶在各個時間區間內的用戶操作行為資料，產生對應於各個時間區間的用戶行為向量序列；該第一計算模組，將產生的對應於各個時間區間的用戶行為向量序列輸入至訓練完畢的基於編碼-解碼架構的LSTM模型中的LSTM編碼器進行雙向傳播計算，得到前向傳播計算得到的第一隱藏狀態向量；以及，後向傳播計算得到的第二隱藏狀態向量；其中，該LSTM模型包括LSTM編碼器，和引入了注意力機制的LSTM解碼器，在進行前向傳播計算和後向傳播計算時，對應於各個時間區間的用戶行為向量序列的輸入順序相反；該第一計算模組進一步，對該第一隱藏狀態向量和該第二隱藏狀態向量進行拼接處理，得到對應於各個時間區間的最終隱藏狀態向量；以及其中該基於編碼-解碼架構的LSTM模型是透過以下方式訓練的：該獲取模組，獲取若干被標記了風險標籤的樣本帳戶在該預設時間段內的用戶操作行為資料； 該產生模組，基於該若干樣本帳戶在各個時間區間內的用戶操作行為資料，產生對應於各個時間區間的用戶行為向量序列；該訓練模組，將產生的用戶行為向量序列作為訓練樣本訓練該基於編碼-解碼架構的LSTM模型；該第二計算模組，將對應於各個時間區間的隱藏狀態向量作為風險特徵，輸入至該LSTM解碼器進行計算，得到該目標帳戶在下一時間區間內的輸出向量，並對該輸出向量進行數位化處理，得到該目標帳戶在下一時間區間內的風險評分，以及各隱藏狀態向量對應於該風險評分的權重值作為信用風險的預測結果進行輸出；其中，該權重值表徵該隱藏狀態向量對該風險評分的貢獻度，該下一時間區間屬於作為表現窗口的目標時間段中，且該下一時間區間與該預設時間段中的最後一個時間區間相鄰。
  7. 根據請求項6所述的裝置，該產生模組進一步：獲取帳戶在各個時間區間內的多種用戶操作行為資料；從獲取到的用戶操作行為資料中提取關鍵因數，並對該關鍵因數進行數位化處理，得到與該用戶操作行為資料對應的用戶行為向量；對與各個時間區間內的多種用戶操作行為資料對應的用戶行為向量進行拼接處理，產生對應於各個時間區間的用戶行為向量序列。
  8. 根據請求項7所述的裝置，該多種用戶行為包括信貸表現行為、用戶消費行為、理財支付行為；該關鍵因數包括與信貸表現行為對應的借貸訂單狀態和借貸還款金額、與用戶消費行為對應的用戶消費類目和用戶消費筆數、與理財支付行為對應的理財支付類型和理財收益金額。
  9. 根據請求項6所述的裝置，該LSTM編碼器採用多層的many-to-one結構；該LSTM解碼器採用輸入節點和輸出節點數量對稱的多層的many-to-many結構。
  10. 根據請求項6所述的裝置，該輸出向量為多維向量；所述對該輸出向量進行數位化處理，包括以下中的任一：提取該輸出向量中取值位於0~1之間的子向量的取值作為風險評分；如果該輸出向量中包含多個取值位於0~1之間的子向量時，計算該多個子向量的取值的平均值作為風險評分；如果該輸出向量中包含多個取值位於0~1之間的子向量時，提取該多個子向量的取值中的最大值或者最小值作為風險評分。
  11. 一種電子設備，包括： 處理器；用於儲存機器可執行指令的記憶體；其中，透過讀取並執行該記憶體儲存的與基於LSTM模型的信用風險預測的控制邏輯對應的機器可執行指令，該處理器被促使：獲取目標帳戶在預設時間段內的用戶操作行為資料；其中，該預設時間段為由若干時間步長相同的時間區間組成的時間序列；基於該目標帳戶在各個時間區間內的用戶操作行為資料，產生對應於各個時間區間的用戶行為向量序列；將產生的對應於各個時間區間的用戶行為向量序列輸入至訓練完畢的基於編碼-解碼架構的LSTM模型中的LSTM編碼器進行雙向傳播計算，得到前向傳播計算得到的第一隱藏狀態向量；以及，後向傳播計算得到的第二隱藏狀態向量；其中，該LSTM模型包括LSTM編碼器，和引入了注意力機制的LSTM解碼器，在進行前向傳播計算和後向傳播計算時，對應於各個時間區間的用戶行為向量序列的輸入順序相反；對該第一隱藏狀態向量和該第二隱藏狀態向量進行拼接處理，得到對應於各個時間區間的最終隱藏狀態向量；以及其中該基於編碼-解碼架構的LSTM模型是透過以下方式訓練的：獲取若干被標記了風險標籤的樣本帳戶在該預設時間段內的用戶操作行為資料； 基於該若干樣本帳戶在各個時間區間內的用戶操作行為資料，產生對應於各個時間區間的用戶行為向量序列；將產生的用戶行為向量序列作為訓練樣本訓練該基於編碼-解碼架構的LSTM模型；將對應於各個時間區間的隱藏狀態向量作為風險特徵，輸入至該LSTM解碼器進行計算，得到該目標帳戶在下一時間區間內的輸出向量，並對該輸出向量進行數位化處理，得到該目標帳戶在下一時間區間內的風險評分，以及各隱藏狀態向量對應於該風險評分的權重值作為信用風險的預測結果進行輸出；其中，該權重值表徵該隱藏狀態向量對該風險評分的貢獻度，該下一時間區間屬於作為表現窗口的目標時間段中，且該下一時間區間與該預設時間段中的最後一個時間區間相鄰。
TW108106321A 2018-04-24 2019-02-25 基於ｌｓｔｍ模型的信用風險預測方法及裝置 TWI788529B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810373757.3 2018-04-24
CN201810373757.3A CN108734338A (zh) 2018-04-24 2018-04-24 基于lstm模型的信用风险预测方法及装置

Publications (2)

Publication Number Publication Date
TW201946013A TW201946013A (zh) 2019-12-01
TWI788529B true TWI788529B (zh) 2023-01-01

Family

ID=63939762

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108106321A TWI788529B (zh) 2018-04-24 2019-02-25 基於ｌｓｔｍ模型的信用風險預測方法及裝置

Country Status (4)

Country Link
US (1) US20190325514A1 (zh)
CN (1) CN108734338A (zh)
TW (1) TWI788529B (zh)
WO (1) WO2019209846A1 (zh)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10127240B2 (en) 2014-10-17 2018-11-13 Zestfinance, Inc. API for implementing scoring functions
WO2019028179A1 (en) 2017-08-02 2019-02-07 Zestfinance, Inc. SYSTEMS AND METHODS FOR PROVIDING DISAPPEARED IMPACT INFORMATION OF AUTOMATIC LEARNING MODEL
EP3762869A4 (en) 2018-03-09 2022-07-27 Zestfinance, Inc. SYSTEMS AND METHODS FOR PROVIDING ASSESSMENT OF A MACHINE LEARNING MODEL THROUGH DECOMPOSITION
US11847574B2 (en) 2018-05-04 2023-12-19 Zestfinance, Inc. Systems and methods for enriching modeling tools and infrastructure with semantics
US11012421B2 (en) 2018-08-28 2021-05-18 Box, Inc. Predicting user-file interactions
CN109582834B (zh) * 2018-11-09 2023-06-02 创新先进技术有限公司 数据风险预测方法及装置
US11669759B2 (en) * 2018-11-14 2023-06-06 Bank Of America Corporation Entity resource recommendation system based on interaction vectorization
US11568289B2 (en) 2018-11-14 2023-01-31 Bank Of America Corporation Entity recognition system based on interaction vectorization
CN110020882A (zh) * 2018-12-11 2019-07-16 阿里巴巴集团控股有限公司 一种事件预测方法和装置
CN110020938B (zh) * 2019-01-23 2024-01-16 创新先进技术有限公司 交易信息处理方法、装置、设备及存储介质
CA3134043A1 (en) * 2019-03-18 2020-09-24 Sean Javad Kamkar Systems and methods for model fairness
CN110096575B (zh) * 2019-03-25 2022-02-01 国家计算机网络与信息安全管理中心 面向微博用户的心理画像方法
CN110060094A (zh) * 2019-03-26 2019-07-26 上海拍拍贷金融信息服务有限公司 客群优劣预估方法及装置、计算机可读存储介质
CN112053021A (zh) * 2019-06-05 2020-12-08 国网信息通信产业集团有限公司 一种用于企业经营管理风险识别的特征编码方法及装置
CN112132367A (zh) * 2019-06-05 2020-12-25 国网信息通信产业集团有限公司 一种用于企业经营管理风险识别的建模方法及装置
CN110298742B (zh) * 2019-06-14 2021-11-05 联动优势科技有限公司 数据处理方法和装置
CN112446516A (zh) * 2019-08-27 2021-03-05 北京理工大学 一种出行预测方法及装置
US11799890B2 (en) * 2019-10-01 2023-10-24 Box, Inc. Detecting anomalous downloads
CN110796240A (zh) * 2019-10-31 2020-02-14 支付宝(杭州)信息技术有限公司 一种训练方法、特征提取方法、装置及电子设备
CN111062416B (zh) * 2019-11-14 2021-09-21 支付宝(杭州)信息技术有限公司 用户聚类及特征学习方法、设备、计算机可读介质
CN111047429A (zh) * 2019-12-05 2020-04-21 中诚信征信有限公司 一种概率预测方法及装置
CN111125695B (zh) * 2019-12-26 2022-04-05 武汉极意网络科技有限公司 账户风险评估方法、装置、设备及存储介质
CN111241673B (zh) * 2020-01-07 2021-10-22 北京航空航天大学 用于噪声环境工业设备的健康状态预测方法
CN111258469B (zh) * 2020-01-09 2021-05-14 支付宝(杭州)信息技术有限公司 处理交互序列数据的方法及装置
CN111340112B (zh) * 2020-02-26 2023-09-26 腾讯科技（深圳）有限公司 分类方法、装置、服务器
CN111401908A (zh) * 2020-03-11 2020-07-10 支付宝(杭州)信息技术有限公司 交易行为类型确定方法、装置及设备
WO2021212377A1 (zh) * 2020-04-22 2021-10-28 深圳市欢太数字科技有限公司 用户数据的危险属性确定方法、装置以及电子设备
CN111291015B (zh) * 2020-04-28 2020-08-07 国网电子商务有限公司 一种用户行为异常检测方法及装置
CN111553800B (zh) * 2020-04-30 2023-08-25 上海商汤智能科技有限公司 一种数据处理方法及装置、电子设备和存储介质
CN111383107B (zh) * 2020-06-01 2021-02-12 江苏擎天助贸科技有限公司 基于出口数据的外贸企业预授信额度分析方法
US11651254B2 (en) * 2020-07-07 2023-05-16 Intuit Inc. Inference-based incident detection and reporting
CN111882039A (zh) * 2020-07-28 2020-11-03 平安科技（深圳）有限公司 物理机销售数据预测方法、装置、计算机设备及存储介质
CN112085499A (zh) * 2020-08-28 2020-12-15 银清科技有限公司 限额账户数据的处理方法及装置
CN112116245A (zh) * 2020-09-18 2020-12-22 平安科技（深圳）有限公司 信贷风险评估方法、装置、计算机设备及存储介质
CN112532429B (zh) * 2020-11-11 2023-01-31 北京工业大学 一种基于位置信息的多变量QoS预测方法
US11720962B2 (en) 2020-11-24 2023-08-08 Zestfinance, Inc. Systems and methods for generating gradient-boosted models with improved fairness
CN112634028A (zh) * 2020-12-30 2021-04-09 四川新网银行股份有限公司 一种识别人行征信报告代偿回购行为的方法
CN112990439A (zh) * 2021-03-30 2021-06-18 太原理工大学 一种增强矿井下时间序列数据互相关联性的方法
CN113221989B (zh) * 2021-04-30 2022-09-02 浙江网商银行股份有限公司 基于分布式的评估模型训练方法、***以及装置
US11823066B2 (en) * 2021-05-28 2023-11-21 Bank Of America Corporation Enterprise market volatility predictions through synthetic DNA and mutant nucleotides
CN113052693B (zh) * 2021-06-02 2021-09-24 北京轻松筹信息技术有限公司 数据处理方法、装置、电子设备及计算机可读存储介质
CN113537297B (zh) * 2021-06-22 2023-07-28 同盾科技有限公司 一种行为数据预测方法及装置
CN113344104A (zh) * 2021-06-23 2021-09-03 支付宝(杭州)信息技术有限公司 一种数据处理方法、装置、设备及介质
CN113569949B (zh) * 2021-07-28 2024-06-21 广州博冠信息科技有限公司 异常用户识别方法及装置、电子设备和存储介质
CN113743735A (zh) * 2021-08-10 2021-12-03 南京星云数字技术有限公司 风险评分的生成方法及装置
US20230063489A1 (en) * 2021-08-25 2023-03-02 Bank Of America Corporation Malware Detection with Multi-Level, Ensemble Artificial Intelligence Using Bidirectional Long Short-Term Memory Recurrent Neural Networks and Natural Language Processing
US12021895B2 (en) 2021-08-25 2024-06-25 Bank Of America Corporation Malware detection with multi-level, ensemble artificial intelligence using bidirectional long short-term memory recurrent neural networks and natural language processing
CN113836819B (zh) * 2021-10-14 2024-04-09 华北电力大学 一种基于时序关注的床温预测方法
CN114282937A (zh) * 2021-11-18 2022-04-05 青岛亿联信息科技股份有限公司 一种基于物联网的楼宇经济预测方法与***
CN115048992A (zh) * 2022-06-06 2022-09-13 支付宝(杭州)信息技术有限公司 建立时间序列预测模型的方法、时间序列预测方法和装置
CN115416160B (zh) * 2022-09-23 2024-01-23 湖南三一智能控制设备有限公司 搅拌筒转向识别方法、装置及搅拌车
CN116503872B (zh) * 2023-06-26 2023-09-05 四川集鲜数智供应链科技有限公司 一种基于机器学习的授信客户挖掘方法
CN116629456B (zh) * 2023-07-20 2023-10-13 杭银消费金融股份有限公司 业务逾期风险预测方法、***与存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170192956A1 (en) * 2015-12-31 2017-07-06 Google Inc. Generating parse trees of text segments using neural networks
CN107316198A (zh) * 2016-04-26 2017-11-03 阿里巴巴集团控股有限公司 账户风险识别方法及装置
CN107484017A (zh) * 2017-07-25 2017-12-15 天津大学 基于注意力模型的有监督视频摘要生成方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8645291B2 (en) * 2011-08-25 2014-02-04 Numenta, Inc. Encoding of data for processing in a spatial and temporal memory system
US20190197549A1 (en) * 2017-12-21 2019-06-27 Paypal, Inc. Robust features generation architecture for fraud modeling

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170192956A1 (en) * 2015-12-31 2017-07-06 Google Inc. Generating parse trees of text segments using neural networks
CN107316198A (zh) * 2016-04-26 2017-11-03 阿里巴巴集团控股有限公司 账户风险识别方法及装置
CN107484017A (zh) * 2017-07-25 2017-12-15 天津大学 基于注意力模型的有监督视频摘要生成方法

Also Published As

Publication number Publication date
TW201946013A (zh) 2019-12-01
CN108734338A (zh) 2018-11-02
WO2019209846A1 (en) 2019-10-31
US20190325514A1 (en) 2019-10-24

Similar Documents

Publication Publication Date Title
TWI788529B (zh) 基於ｌｓｔｍ模型的信用風險預測方法及裝置
US10958748B2 (en) Resource push method and apparatus
EP3627759B1 (en) Method and apparatus for encrypting data, method and apparatus for training machine learning model, and electronic device
US11436430B2 (en) Feature information extraction method, apparatus, server cluster, and storage medium
WO2019114412A1 (zh) 一种基于图结构模型的信用风险控制方法、装置以及设备
CN111724083A (zh) 金融风险识别模型的训练方法、装置、计算机设备及介质
US20210303970A1 (en) Processing data using multiple neural networks
Saitulasi et al. Deep Belief Network and Sentimental analysis for extracting on multi-variable Features to predict Stock market Performance and accuracy
US20200175406A1 (en) Apparatus and methods for using bayesian program learning for efficient and reliable knowledge reasoning
Potluru et al. Synthetic data applications in finance
WO2021147405A1 (zh) 客服语句质检方法及相关设备
Xu Bitcoin price forecast using LSTM and GRU recurrent networks, and hidden Markov model
US20230252387A1 (en) Apparatus, method and recording medium storing commands for providing artificial-intelligence-based risk management solution in credit exposure business of financial institution
US20240161117A1 (en) Trigger-Based Electronic Fund Transfers
CN116029760A (zh) 消息推送方法、装置、计算机设备和存储介质
CN114757700A (zh) 物品销量预测模型训练方法、物品销量预测方法及装置
Wu et al. Applying a Probabilistic Network Method to Solve Business‐Related Few‐Shot Classification Problems
CN112950392A (zh) 信息展示方法、后验信息确定方法及装置及相关设备
CN113935780B (zh) 基于生存分析的客户流失风险的预测方法、及其相关设备
CN113222732B (zh) 信息处理方法、装置、设备及存储介质
Benavente-Peces et al. Applied Data Analytics
Song et al. Tri‐transformer Hawkes process via dot‐product attention operations with event type and temporal encoding
CN117237009A (zh) 权益推送风险预警方法、装置、计算机设备及存储介质
Yang Security Evaluation of Financial and Insurance and Ruin Probability Analysis Integrating Deep Learning Models
Li Research on Risk Warning System for Insurance Company Based on Neural Network