TWI810560B

TWI810560B - 基於雲端微服務的人工智慧模型服務方法及伺服器

Info

Publication number: TWI810560B
Application number: TW110116700A
Authority: TW
Inventors: 王俊權; 宋政隆; 王信富; 吳瑞琳; 王麗芳; 彭士爵
Original assignee: 中國信託商業銀行股份有限公司
Priority date: 2021-05-10
Filing date: 2021-05-10
Publication date: 2023-08-01
Also published as: TW202244755A

Abstract

一種人工智慧模型服務伺服器，在一處理單元經由一通訊單元接收到一來自一使用端的專案請求資料後，該處理單元執行一儲存於一儲存單元的資訊轉換應用程式群組解析該專案請求資料並產生一特定格式的解析結果，並執行一儲存於該儲存單元的安全管理應用程式群組判定該解析結果是否合法，當該處理單元判定出該解析結果合法時，根據該解析結果，利用一對應該解析結果的目標人工智慧模型容器，產生一服務結果，當判定出該解析結果不合法時，該處理單元執行該安全管理應用程式群組產生並經由該通訊單元傳送一驗證失敗訊息至該使用端。

Description

基於雲端微服務的人工智慧模型服務方法及伺服器

本發明是有關於一種人工智慧模型服務方法，特別是指一種基於雲端微服務的人工智慧模型服務方法及伺服器。

近年來人工智慧(artificial intelligence,AI)已成為最熱門的技術之一，其可應用在多種領域，例如醫療、交通、金融等領域。

現有的自建AI模型落地案所使用的架構主要是將整個自建AI服務封裝成專門為單一專案的AI模型容器，並將AI模型容器部署在單台虛擬機器(Virtual Machine,VM)上。

然而，將整個服務封裝成容器部署在單台虛擬機器的架構，不同的落地專案間無法共享資源，所有專案的AI模型容器皆是各自進行資訊轉換及授權管理，故在每次進行專案時，需要額外的人力與時間成本，重複地取得固有系統的支援以利完成專案端對端(End to End)的串接，不具高重用性(High Reusability)。

因此，本發明的目的，即在提供一種具有高重用性的人工智慧模型服務方法。

於是，本發明人工智慧模型服務方法，由一伺服器來實施，該伺服器儲存一資訊轉換應用程式群組、一安全管理應用程式群組，及多個人工智慧模型容器，該伺服器經由一通訊網路連接一使用端，該人工智慧模型服務方法包含一步驟(A)、一步驟(B)、一步驟(C)，及一步驟(D)。

在該步驟(A)中，在該伺服器接收到一來自該使用端的專案請求資料後，該伺服器執行該資訊轉換應用程式群組解析該專案請求資料並產生一特定格式的解析結果。

在該步驟(B)中，該伺服器執行該安全管理應用程式群組判定該解析結果是否合法。

在該步驟(C)中，當該伺服器判定出該解析結果合法時，該伺服器根據該解析結果，利用該等人工智慧模型容器中之一對應該解析結果的目標人工智慧模型容器，產生一服務結果。

在該步驟(D)中，當該伺服器判定出該解析結果不合法時，該伺服器執行該安全管理應用程式群組產生並經由該通訊網路傳送一驗證失敗訊息至該使用端。

本發明的另一目的，即在提供一種具有高重用性的人工智慧模型服務伺服器。

於是，本發明人工智慧模型服務伺服器包含一通訊單元、一儲存單元，及一處理單元。

該通訊單元連接一通訊網路，並經由該通訊網路連接一使用端。

該儲存單元儲存一資訊轉換應用程式群組、一安全管理應用程式群組，及多個人工智慧模型容器。

該處理單元電連接該通訊單元及該儲存單元。

其中，在該處理單元經由該通訊單元接收到一來自該使用端的專案請求資料後，該處理單元執行該資訊轉換應用程式群組解析該專案請求資料並產生一特定格式的解析結果，並執行該安全管理應用程式群組判定該解析結果是否合法，當該處理單元判定出該解析結果合法時，該處理單元根據該解析結果，利用該等人工智慧模型容器中之一對應該解析結果的目標人工智慧模型容器，產生一服務結果，當該處理單元判定出該解析結果不合法時，該處理單元執行該安全管理應用程式群組產生並經由該通訊單元傳送一驗證失敗訊息至該使用端。

本發明之功效在於：藉由該處理單元執行該資訊轉換應用程式群組解析該專案請求資料產生統一特定格式的該解析結果，以使人工智慧模型容器無需重複處理不同系統間複雜的資訊轉換，且藉由執行該安全管理應用程式群組判定該解析結果是否合法，以使人工智慧模型容器無需自行管理授權資訊，具有高重用性。

11:人工智慧模型服務伺服器

111:通訊單元

112:儲存單元

113:處理單元

12:使用端

13:資料庫

100:通訊網路

21~25:步驟

211、212:子步驟

231~234:子步驟

本發明的其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：圖1是一方塊圖，說明本發明人工智慧模型服務伺服器的一實施例；圖2是一流程圖，說明本發明人工智慧模型服務方法的一實施例；圖3是一流程圖，輔助說明圖2步驟21的子步驟；及圖4是一流程圖，輔助說明圖2步驟23的子步驟。

在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。

參閱圖1，本發明基於雲端微服務的人工智慧模型服務伺服器11的一實施例，包含一通訊單元111、一儲存單元112，及一電連接該通訊單元111及該儲存單元112的處理單元113。

該通訊單元111通訊經由一通訊網路100連接一使用端 12及多個資料庫13，該等資料庫13例如是使用資料庫管理系統(Database Management System,DBMS)、安全檔案傳輸協定(Secure File Transfer Protocol,SFTP)、網路附加儲存(Network Attached Storage,NAS)等技術所建立。

該儲存單元112儲存一資訊轉換應用程式群組、一安全管理應用程式群組、一資源分配應用程式群組、多個人工智慧模型容器，及多筆分別相關於該等資料庫13的授權資訊。該資訊轉換應用程式群組包括多個資訊轉換應用程式，該安全管理應用程式群組包括多個安全管理應用程式，該資源分配應用程式群組包括多個資源分配應用程式，該等資源分配應用程式分別對應該等授權資訊。

值得注意的是，該等人工智慧模型容器例如為提取文件詞幹，取得文本可能含義組合之相關於自然語言處理(Natural Language Processing,NLP)的人工智慧模型容器，或辨識人臉影像，取得人臉獨特的特徵值之相關於電腦視覺(Computer Vision,CV)的人工智慧模型容器，該等授權資訊係該處理單元113執行該安全管理應用程式群組以Base64編碼，並將編碼後的該等授權資訊以單次寫入底層Kubernetes環境的記憶體的方式儲存，但不以此為限。

要特別注意的是，每一資源分配應用程式各自獨立，所進行的資源分配的對象不同，例如資料庫管理系統相關的資源分配應用程式只會針對資料庫管理系統的資料庫之授權進行驗證，安全檔案傳輸協定相關的資源分配應用程式只針對安全檔案傳輸協定的資料庫之授權進行驗證。

參閱圖1、2，本發明基於雲端微服務的人工智慧模型服務方法的一實施例是由圖1所示的本發明基於雲端微服務的人工智慧模型服務伺服器11的該實施例來實現。以下詳述該基於雲端微服務的人工智慧模型服務方法的該實施例的各個步驟。

在步驟21中，在該處理單元113經由該通訊單元111接收到一來自該使用端12的專案請求資料後，該處理單元113執行該資訊轉換應用程式群組解析該專案請求資料並產生一特定格式的解析結果，該解析結果包括一具有一金鑰、一有效時間區間的授權碼，及一對應該等人工智慧模型容器之其中一者的模型代碼。

搭配參閱圖3，步驟21包括子步驟211、212，以下說明步驟21包括的子步驟。

在子步驟211中，在該處理單元113經由該通訊單元111接收到該專案請求資料後，該處理單元113執行該資訊轉換應用程式群組對該專案請求資料進行常規正則文本解析(Regular Expression Text Parser)，以產生一轉換前解析結果。

在子步驟212中，該處理單元113執行該資訊轉換應用程式群組將該轉換前解析結果轉換成該解析結果。

值得注意的是，在本實施例中，該處理單元113執行該資訊轉換應用程式群組將該轉換前解析結果轉換成JSON(JavaScript Object Notation)的格式，且該解析結果係包括一具有該模型代碼的統一資源標誌符(Uniform Resource Identifier,URI)，但不以此為限。

要再注意的是，在子步驟211中，該資訊轉換應用程式群組根據該專案請求資料不同有不同的解析方式，舉例來說，若該專案請求資料包括有一網路路徑，例如為http：//aigo.ctbcbank.com/api/hrface/punch，表示進入點直接是RESTful API(即api-gateway)，其中<aigo.ctbcbank.com>表示RESTFul進入點，<hrface>表示專案名稱，<punch>表示所進行的服務，經過常規正則文本解析後，該資訊轉換應用程式群組會將這個專案的需求，轉給專案指定要使用的模型，產生一統一資源標誌符，例如http：//feature.hrface.svc.cluster.local：18890，該統一資源標誌符為Kubernetes的原生描述方式，其中<feature>即該模型代碼。

若該專案請求資料包括有一具有多個協定網址的電文，如下所示：

表示進入點為企業服務匯流排(Enterprise Service Bus,ESB)通道，其中<AiQnaInq>表示專案名稱，<01>表示所進行的服務，經過常規正則文本解析後，該資訊轉換應用程式群組會將這個專案的需求，轉給專案指定要使用的模型，產生該統一資源標誌符。

若該專案請求資料包括有一包括一獨立的空間放置路徑，例如/in-nfs/hrface/employeeData，表示進入點是檔案或目錄更動，其中hrface為專案名稱，employeeData為服務名稱，該資訊轉換應用程式群組直接觸發專案的商業邏輯產生該統一資源標誌符。

在步驟22中，該處理單元113執行該安全管理應用程式群組判定該解析結果是否合法。當判定出該解析結果合法時，流程進行步驟23；而當判定出該解析結果不合法時，流程進行步驟25。

值得注意的是，在本實施例中，該授權碼是由長度大於128小於等於256的隨機字串組成，該處理單元113執行該安全管理應用程式群組判定該授權碼的該金鑰是否合法且該授權碼是否在該有效時間區間內，以判定該解析結果是否合法，當該授權碼的該金鑰合法且該授權碼在該有效時間區間內，該處理單元113判定該解析結果合法；而當該授權碼的該金鑰不合法或該授權碼不在該有效時間區間內，則該處理單元113判定該解析結果不合法，但不以此為限。

要再注意的是，在本實施例中，該處理單元113利用JSON Web Token(JWT)演算法判定該授權碼的該金鑰是否合法，但不以此為限。

在步驟23中，該處理單元113根據該解析結果，利用該等人工智慧模型容器中之一對應該解析結果之該模型代碼的目標人工智慧模型容器，產生一服務結果。值得注意的是，利用的人工智慧模型容器不同，所產生的服務結果不同，該服務結果例如為人臉、印鑑或洗錢防制(Anti-Money Laundering,AML)文件的辨識結果，但不以此為限。

搭配參閱圖4，步驟23包括子步驟231~234，以下說明步驟23包括的子步驟。

在子步驟231中，該處理單元113利用該目標人工智慧模型容器，根據該解析結果產生一對應該等資源分配應用程式中之一目標資源分配應用程式的資源分配請求。

在子步驟232中，該處理單元113執行該安全管理應用程式群組從該等授權資訊中獲得一對應該目標資源分配應用程式及該目標人工智慧模型容器的目標授權資訊。

值得注意的是，在本實施例中，該安全管理應用程式群組，在被啟動時，自底層Kubernetes取得所有的授權資訊，當該目標資源分配應用程式來要求取得授權資訊時，透過雲原生的解碼方式，獲得該目標授權資訊，但不以此為限。

在子步驟233中，該處理單元113執行該目標資源分配應用程式根據該目標授權資訊，取得該等資料庫13中之一對應該目標授權資訊的一目標資料庫的授權，並根據該資源分配請求從該目標資料庫存取一相關於該資源分配請求的分配資料。

在子步驟234中，該處理單元113利用該目標人工智慧模型容器根據該分配資料，產生該服務結果。

在步驟24中，該處理單元113執行該安全管理應用程式群組將該授權碼進行編碼後儲存至該儲存單元112。

在步驟25中，該處理單元113執行該安全管理應用程式群組產生並經由該通訊單元111傳送一驗證失敗訊息至該使用端12。

綜上所述，本發明基於雲端微服務的人工智慧模型服務方法及伺服器，藉由該處理單元113執行該資訊轉換應用程式群組解析該專案請求資料產生統一特定格式的該解析結果，以使人工智慧模型容器無需重複處理不同系統間複雜的資訊轉換，且藉由執行該安全管理應用程式群組判定該解析結果是否合法，以使人工智慧模型容器無需自行管理授權資訊，具有高重用性，並藉由執行該目標資源分配應用程式根據該目標授權資訊取得該目標資料庫的授權，以分權式資源分配(Decentralized resource allocation)提供了高併發(High Concurrency)、高吞吐(High Capacity)的保證，此外，該資訊轉換應用程式群組、該安全管理應用程式群組，及該資源分配應用程式群組以微服務集群的方式存在，實現了微服務設計的水平與垂直擴展，使得人工智慧模型不再只是單點的服務，具有高可用性(High Availability)，故確實能達成本發明的目的。

惟以上所述者，僅為本發明的實施例而已，當不能以此限定本發明實施的範圍，凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾，皆仍屬本發明專利涵蓋的範圍內。