TW201947492A - 運營資料匯流系統與方法 - Google Patents

運營資料匯流系統與方法 Download PDF

Info

Publication number
TW201947492A
TW201947492A TW107116271A TW107116271A TW201947492A TW 201947492 A TW201947492 A TW 201947492A TW 107116271 A TW107116271 A TW 107116271A TW 107116271 A TW107116271 A TW 107116271A TW 201947492 A TW201947492 A TW 201947492A
Authority
TW
Taiwan
Prior art keywords
data
information
area
converging
real
Prior art date
Application number
TW107116271A
Other languages
English (en)
Inventor
郭健男
沈仁傑
王聖文
Original Assignee
玉山商業銀行股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 玉山商業銀行股份有限公司 filed Critical 玉山商業銀行股份有限公司
Priority to TW107116271A priority Critical patent/TW201947492A/zh
Publication of TW201947492A publication Critical patent/TW201947492A/zh

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

關於一種運營資料匯流系統,系統主要採用一種三層式的資料儲存架構,分別以高效資料處理的關聯式資料庫實現原始資料區,以提供原始資料服務;由高性價比存儲及分散處理的大數據平台實現資料加值區,即時同步關聯式資料庫的資料,以提供加值彙整服務;以及由低成本庫存的檔案伺服器實現資料備存區,用以提供備存與稽核服務。其中,提供一訊息系統作為關聯式資料庫與大數據平台間的資料傳送工具,以軟體方法偵測關聯式資料庫中數據流變化,並將變化傳送至訊息系統,將訊息系統中留存的異動資料依序寫入大數據平台,達成資料同步。

Description

運營資料匯流系統與方法
說明書公開一種資訊系統,特別是一種藉由三層式的資料儲存架構實現的運營資料匯流系統,以及其中運行方法。
金融機構如銀行、證券公司等,經常性地產生大量的資訊,資訊處理需要強而有力的資訊系統,然而,如果有需要即時處理的資訊,卻因為資訊系統效率低落而無法即時處理,即無法讓使用者取得即時而有用的資訊。
在金融交易中需要跨系統交換資料,這類系統資料交換多透過批次檔案方式提供,若因為資訊時效性低將無法有效提供業務加值運用。舉例來說,若有消費者在甲地以***消費達一額度,銀行將給與當地消費的優惠,卻因為系統的問題無法即時處理這筆交易與即時遞送優惠訊息,當消費者已經離開甲地,優惠訊息才到達消費者,即無法優惠任何事情。
更者,除了以上即時資訊的處理問題外,在大量歷史資料的運用、查詢與備存上,由於金融機構的各種資料來自不同的系統,資料也與日俱增,會使得其中資訊系統架構複雜,各系統資料內容記載資訊結構上不一致且無統一系統管理,不僅造成跨系統資料整合應用困難,且資料分析多仰賴過往經驗,內部溝通須耗費大量時間,資料正確性亦需花大量人力確認,調閱作業也相形複 雜與費時。如此將產生大量耗時耗人力的工作,增加營運成本。
揭露書提出一種運營資料匯流系統,以及其中運作方法,運營資料匯流系統主要採用一種三層式的資料儲存架構,主要有以伺服系統軟體程序與資料庫實現的原始資料區、資料加值區以及資料備存區。
其中,根據一實施例,所述運營資料匯流系統分別以高效資料處理的關聯式資料庫實現原始資料區,以提供原始資料服務;由高性價比存儲及分散處理的大數據平台實現資料加值區,即時同步關聯式資料庫的資料,以提供加值彙整服務;以及由低成本庫存的檔案伺服器實現資料備存區,用以提供備存與稽核服務。
進一步地,運營資料匯流系統以一訊息系統作為關聯式資料庫與大數據平台間的資料傳送工具,且關聯式資料庫與訊息系統之間執行一訊息提供程式,能將關聯式資料庫中的表格(table)依照鍵值(key)視為字串流,並能即時偵測關聯式資料庫中數據流變化,並將變化傳送至訊息系統。
更者,所述訊息系統與大數據平台之間可執行一訊息寫入程式,用以將訊息系統中留存的異動資料依序寫入大數據平台,以達成資料同步。
運營資料匯流系統取得數據的方式是收錄外部或內部原始資料,包括可以即時同步作業,或是以一整批資料收錄的作業收錄資料。其中可包括轉換與清理資料的程序,以提供高品質資料。
進一步地,運營資料匯流系統中的資料服務中,可以通過資料加值區的功能提供多樣性內容,並通過資料提供的功能提供資料查詢、訂閱與整批資料提供的服務。
在運營資料匯流方法的實施例中,通過系統取得外部資訊或內部資訊,經一整批資料收錄功能對外部資訊或內部資訊執行資 料轉換或資料清理,以形成一資料加值區中的非結構資料,或直接以經資料整合運算後,成為商業智慧應用中自主分析來源,並以一視覺化呈現給使用者。其中,內部資訊經即時同步作業同步到原始資料區,作為原始資料查詢之用,也可用於資料加值區即時串流分析之用。
為了能更進一步瞭解本發明為達成既定目的所採取之技術、方法及功效,請參閱以下有關本發明之詳細說明、圖式,相信本發明之目的、特徵與特點,當可由此得以深入且具體之瞭解,然而所附圖式僅提供參考與說明用,並非用來對本發明加以限制者。
11‧‧‧原始資料區
12‧‧‧資料加值區
13‧‧‧資料備存區
21‧‧‧高效資料處理區
22‧‧‧高性價比資料處理區
23‧‧‧低成本資料處理區
31‧‧‧關聯式資料庫
32‧‧‧訊息提供程式
33‧‧‧訊息系統
34‧‧‧訊息寫入程式
35‧‧‧大數據平台
41‧‧‧資料來源
411‧‧‧內部資訊
412‧‧‧外部資訊
42‧‧‧資料收錄單元
421‧‧‧即時同步作業
422‧‧‧整批資料收錄
43‧‧‧資料服務單元
431‧‧‧資料描述區
432‧‧‧原始資料區
433‧‧‧資料加值區
434‧‧‧資料備存區
44‧‧‧資料提供單元
441‧‧‧資料查詢
442‧‧‧資料訂閱服務
443‧‧‧整批資料提供
45‧‧‧資料應用
451‧‧‧商業智慧
452‧‧‧報表平台
453‧‧‧簡訊平台
454‧‧‧應用系統
501‧‧‧原始資料供應
502‧‧‧原始資料查詢
601‧‧‧歷史資料查詢
602‧‧‧資料模型建立
603‧‧‧複雜高效運算
604‧‧‧非結構資料存放
605‧‧‧資料整合運算
606‧‧‧自主分析預處理
607‧‧‧即時串流分析
608‧‧‧資料模型運算
701‧‧‧資料備存
702‧‧‧稽核查詢
81‧‧‧外部資訊
82‧‧‧內部資訊
83‧‧‧即時同步作業
84‧‧‧整批資料收錄
85‧‧‧原始資料區
86‧‧‧資料加值區
87‧‧‧資料查詢
88‧‧‧資料描述區
89‧‧‧商業智慧
90‧‧‧行銷分析人員
步驟801~821‧‧‧運營資料匯流流程範例
圖1顯示運營資料匯流系統的三層式架構實施例示意圖;圖2顯示運營資料匯流系統中三層式資料儲存方式的成本與效能關係圖;圖3顯示運營資料匯流系統的系統架構實施例之一;圖4顯示運營資料匯流系統的系統架構實施例之二;圖5顯示運營資料匯流系統的原始資料區實施例;圖6顯示運營資料匯流系統的資料加值區實施例;圖7顯示運營資料匯流系統的資料庫存區實施例;圖8顯示運營資料匯流系統中運行的方法流程實施例。
揭露書關於一種運營資料匯流方法與系統,所提出的運營資料匯流系統在概念上實現一種如圖1所示三層式資料架構實施例示意圖,其中主要包括一原始資料區11,此區在一實施例中可由高效資料處理的關聯式資料庫(Relational Database,RDB)實現,用以提供原始資料服務;一資料加值區12,此區為一種大數據平 台,在一實施例中可由高性價比存儲及分散處理的Hadoop開源計畫實現,這是一個Apache軟體基金會的開源計畫,具有強大的分散運算能力,可在系統中擔負處理各種網路使用記錄的分析,但不限於前述之使用範圍,在此則用以提供資料加值彙整服務;以及一資料備存區13,此區主要是由低成本庫存的檔案伺服器實現,用以提供資料備存與稽核。
運營資料匯流系統可採用多種技術結合資料流程,手段主要是通過不同成本與效能考量的資料處理方案整合金融機構(如金控、銀行)內部與外部資訊,分為如圖1所述原始資料區11、資料加值區12與資料備存區13等三層架構,依照其屬性,考量成本與儲存效能,如圖2所示運營資料匯流系統中三層式資料儲存方式的成本與效能關係圖。
圖2所示為各種資料處理方案有關儲存成本(縱軸)與資料處理的回應速度(橫軸)的關係。
高效資料處理區21,位於儲存成本高,但是回應速度快的位置,為時常有大量數據湧入的儲存方案,適合圖1顯示運營資料匯流系統中原始資料區11。高性價比資料處理區22是位於儲存成本適中,但有不錯回應速度的儲存方案,適合運營資料匯流系統中資料加值12時常需要數據分析與提供客戶即時需要的需求。低成本資料處理區23則是一種低回應速度但是儲存成本低的儲存方案,適用運營資料匯流系統中資料備存區13的需求,此類資料並不經常更動,僅須應付調閱檔案的需求。
根據以上所述由高效資料處理、高性價比存儲及分散處理、低成本庫存的三層式資料架構,使得揭露書所提出的運營資料匯流系統建構涵蓋時效性、多樣性、整合性、安全性與高品質共五大面向的資訊服務,以單一平台架構,滿足金融機構高效穩定又符合成本考量的需求。
根據運營資料匯流系統實施例,可參考圖3所示系統架構實 施例,所述原始資料區(圖1,11)以關聯式資料庫(RDB)31實現,資料加值區(圖1,12)為一大數據平台35。
系統運作時,關聯式資料庫(RDB)31即時同步資料至大數據平台35,同步方式例如採用異動資料擷取(Change Data Capture,CDC)技術,目的是處理運營資料匯流系統中大量產生的數據,其中採用的大數據平台35例如Apache軟體基金會的Hadoop開源計畫,具有強大的分散運算能力,在系統中擔負處理各種網路使用記錄的分析,但不限於前述之應用實例。在運營資料匯流系統中,由關聯式資料庫31透過異動資料擷取(CDC)程式將資料即時同步至如Hadoop實現的大數據平台35。
揭露書所提出的運營資料匯流系統係通過一訊息系統33作為關聯式資料庫31與大數據平台35間的資料傳送工具。在關聯式資料庫31與訊息系統33之間執行一訊息提供程式32,將關聯式資料庫31中的表格(TABLE)依照鍵值(KEY)視為字串流(Stream),訊息提供程式32能即時偵測關聯式資料庫31中數據流變化,並將變化傳送至訊息系統33。另於訊息系統33與大數據平台35之間執行一訊息寫入程式34,將訊息系統33中留存的異動資料,依序透過一種串流處理程序寫入大數據平台35,達成資料同步。
以上所述訊息系統33,例如Apache軟體基金會中一個處理即時資料的Kafka,此為設計用以處理一個系統中往來活動資料與營運數據處理的資料管理與訊息系統。所述系統以網站為例,網站的活動資料如網頁訪問次數、被瀏覽內容以及搜索記錄等,這些活動資料最終寫入某個檔案或資料庫中,用於後續分析與統計;而營運數據例如網站伺服器的性能數據,如中央處理器運行、輸出入介面使用、運行時間等。
當所述訊息系統33用於揭露書所揭示的運營資料匯流系統時,則是處理訊息發布與訂閱的相關工作,讓訊息發布者寫入內 容,訊息接收者則是可以從訊息系統讀取資料,其中通過如Kafka實現的訊息系統33,可以保障運營資料匯流系統中訊息發布者將訊息發送到指定對象。
在訊息傳遞的過程中,資料中的元數據(metadata)成為數據管理的重要資訊,元數據可提供作為歷史調閱與分析運用,若應用於運營資料匯流系統,當資料更新,元數據也同步更新,元數據基礎資訊如資料表名稱、欄位名稱、欄位內容等,元數據進階資訊如資料業務說明、欄位業務描述、技術邏輯、資料更新頻率等。
依據以上實施例所描述的運營資料匯流系統的資料處理架構,系統架構主要如圖4顯示,應用在金融機構可以概略分為五的部分,分別可以伺服系統、資料庫,以及運行於伺服系統中的軟體程序等方式實現。
第一部分是資料來源41,包括來自金融機構內部資訊411(存放款、***、財富、財金…等)與外部資訊412(公開資訊、社群資訊…等),或是其中之一。
就銀行業務來說,例如消費者在各地使用金融卡與***消費的資訊,都會即時匯入系統,這些數據將以系統的資料收錄單元42處理,且需要高效能資料處理能力的伺服系統,包括需要顧及時效性的即時同步作業421,這類資料例如刷卡消費查核、轉帳、即時回覆簡訊等。系統通過整批資料收錄422的作業可以產生高品質的資料,其中包括資料轉換,如ETL(萃取(extract)、轉置(transform)與載入(load))資料處理程序,以及資料清理程序等工作,可以確保產出高品質資料,對不同來源產生的資料進行統合與格式均一等處理。
系統包括資料服務單元43,可以根據所收錄的資料提供多樣性內容,例如:其中設有資料描述區431,其中涵蓋企業資料字典、血緣與衝 擊分析等工具,可以將收錄的資料經(語意)分析後形成系統中的知識工具。
設有原始資料區432,此區用以存放經收錄、轉換與清理後的原始資料(raw data),相較於最後備存的資料,這部份較佳是較近期資料,可以形成關聯式資料庫(RDB),以供應查詢原始資料的服務。
資料服務單元43設有資料加值區433,產生整合性的數據,例如,其中可使用如前述Hadoop(Apache基金會下的計畫Hadoop®)實現的大數據伺服系統,在此系統中實現歷史資料查詢、資料模型建立、複雜高效運算、非結構資料存放、資料整合運算、自主分析預處理、即時串流分析,以及資料模型運算等功能。
資料服務單元43設有資料備存區434,資料備存區434一般為較低成本的儲存方案,用以儲存歷史資料,提供資料備存、稽核查詢等功能。
運營資料匯流系統包括一資料提供單元44,通過運營資料匯流系統中的軟體程序提供多樣的服務。其中提供的服務包括資料查詢441,例如可通過應用程式介面(API)提供具有權限管理的安全性措施,資料查詢441的相關作業如資料庫虛擬化整合、查詢權限管理(安全性)、資料去識別化等。資料提供單元44提供資料訂閱服務442,可以根據使用者請求提供資料訂閱、推播等功能。資料提供單元44提供整批資料提供443,其中方式包括資料轉換、ETL資料處理與批次遞送等。
最後,運營資料匯流系統所收錄得資料經資料服務單元43與資料提供單元44產出後,形成各種資料應用45,根據實施例,在金融機構的應用上可包括商業智慧451,能提供視覺化與自主分析的作業;報表平台452提供報表查詢;簡訊平台453提供簡訊發送的服務;以及應用系統454,包含績效管理與風險管理的功能, 但應用系統454之實作不限於前述之使用範圍。
運營資料匯流系統的核心在於其中資料服務單元(圖4,43)中的原始資料區(圖4,432)、資料加值區(圖4,433)以及資料備存區(圖4,434)。
圖5首先顯示運營資料匯流系統運行時其中資料服務單元中原始資料區(圖4,432)的實施例。圖中顯示原始資料區432主要包括以執行於電腦系統的軟體程序與配合資料庫實現的原始資料供應501與原始資料查詢502兩個功能。原始資料供應501為資料經同步資料源收錄、轉換與清理後,進入關聯式資料庫中儲存,除可以提供高品質的資料外,更通過原始資料查詢502的功能形成可查詢的結構型資料。
圖6顯示運營資料匯流系統的資料加值區實施例。圖中顯示資料加值區433,當各種資料經系統收錄後,通過系統中軟體程序與資料庫的運作,將資料加以彙整,產生整合性的大數據,使得系統可以提供歷史資料查詢601、資料模型建立602、複雜高效運算603、非結構資料存放604、資料整合運算605、自主分析預處理606、即時串流分析607,以及資料模型運算608等功能。
歷史資料查詢601讓系統收錄的資料,成為可查詢的歷史資料。
資料模型建立602功能提供系統根據收錄的資料建立資料模型(data model),並定義輸入與輸出,配合資料模型運算608,由輸入的資料即時運算後回覆結果。
複雜高效運算603為系統因為資料虛擬化架構提供了對各種數據高效運算的能力。非結構資料存放604讓系統可以儲存影音資料、外部開放式資料(open data)等非結構資料。資料整合運算605提供系統可以快速整合跨系統資源,而不受限於單一資料來源,適合金融機構等需要處理複雜來源資料的用途。自主分析預處理606提供系統在自主分析之前,能夠預先處理內部資訊、 外部資訊,例如資料轉換、清理與同步等動作。
即時串流分析607提供系統處理即時資料,能夠即時將資訊以簡訊、推播等技術播送出去,並能形成訂閱內容。
圖7顯示運營資料匯流系統的資料庫存區實施例,資料備存區434主要的功能是提供資料備存701,是以低成本的儲存方案將近期資料儲存後備查,並同時用於金融機構內稽核查詢702之用。
如此可知,運營資料匯流系統通過資料收錄單元42、資料服務單元43與資料提供單元44提供資料整合的作業程序,使得系統所收錄的原始資料可以形成知識、可查詢資料、資料模型,除了通過低成本儲存方案建立的資料備存外,仍可提供資料查詢、訂閱與整批提供的服務,並產生最後多樣性的資料應用45。
上述實施例顯示,運營資料匯流系統通過伺服系統端的軟體程序與資料庫的應用,讓整個系統可兼顧時效性(即時、類即時、批次),主要是指資料查詢與應用的時效性,通過資料收錄單元42的功能,達成與資料來源彼此之間同步資料的功效,以利快速反應客戶需求。
系統提供資料多樣性,包括原始/彙整/歷史資料查詢、即時資料推播、批次資料提供等功能,其中提供三層式的資料儲存架構,將關聯式資料庫、以平行運算系統實現的大數據平台,以及低成本儲存方案整合後,強化資料儲存管理,實現資料提供服務,以增進使用效益。
所述高品質,則是指系統提供資料清理(如ETL)、資料品質檢驗等功能,能促進資料整合。
系統的整合性指資料整合運算與資料模型運算等功能,達成資料彙整,並形成業務模型。
安全性則是指權限管理,提供查詢權限管理機制,可以根據權限提供適當的資訊,包括資料去識別化的運用。
圖8顯示運營資料匯流系統中運行的方法流程實施例,在此 流程實施例中,資料源為外部資訊81與內部資訊82,系統將得到的資訊形成運營資料匯流系統處理的目標,在此流程中,經即時同步作業83、整批資料收錄84、原始資料區85、資料加值區86,提供資料查詢87,以及形成資料描述區88的內容,更是作為商業智慧89與行銷分析人員90執行分析的應用。
流程中,自外部資訊81取得外部公開圖資資訊(步驟801),圖資在整批資料收錄84中經過資料轉換(步驟805),形成資料加值區86中存放的非結構資料(步驟809),接著經資料整合運算(步驟810)後,成為商業智慧89應用的一環,就是提供自主分析(步驟818),目的是能夠呈現給使用者,如行銷分析人員90。
在另一方面,系統取得企業(如金融機構)內部資訊(步驟802),這些資料可經資料清理(步驟806)後,提供給資料加值區86,並接續提供自主分析(步驟818)。
在金融機構運用的流程中,內部資訊82例如一個提供消費者的特惠資料(步驟803),這些資料經即時同步作業83中同步資料(步驟804),為的是同步到原始資料區85中成為原始資料供應(步驟807)的一部分,能夠作為原始資料查詢(步驟808)之用,也用於資料加值區86即時串流分析,分析大數據資料串流(步驟811),同樣提供自主分析(步驟818)。
當原始資料供應(步驟807)成為原始資料查詢(步驟808)之用時,系統通過資料查詢87的功能判斷這些是否為系統所需要的資料?(步驟813),若是系統所需資料(是),則執行自主分析(步驟818),否則,資料可以成為資料描述區88中的資料字典(步驟817)。資料字典的內容是能夠讓行銷分析人員確認需要分析的資料,其中目的之一是能夠讓使用者篩選不需要分析的資料。
當系統取得經轉換的外部資訊、經清理的內部資訊、經即時串流分析的內部資訊,或是查詢原始資料得到的資料時,通過商業智慧89應用中自主分析步驟後(步驟818),資訊可經視覺化呈 現(步驟819),讓行銷分析人員90使用視覺化報表工具,結合即時資料串流分析與批次整理資料,依業務維度,進行行銷活動成效分析,直到結束(步驟820)整個流程。
另一方面,由行銷分析人員90提起資料分析的需求,系統進行分析(步驟821),可先至資料描述區88查詢資料字典(步驟817),能夠讓行銷分析人員90確認需要分析的資料,篩選不需要分析的資料。
接著,運營資料匯流系統提供的資料查詢87功能中,先執行查詢權限管理(步驟816)的步驟,判斷登入系統查詢的使用者(即本範例的行銷分析人員90)是否有權限?(步驟814),若判斷具有權限(是),將執行資料去識別化(步驟812),將資料去識別化目的一方面是讓系統移除資料中可以識別來源或身份的資訊,作為系統可查詢的原始資料(步驟808),另一方面是讓使用者可以確認分析的資料。反之,若使用者並沒有查詢權限(否),則拒絕查詢(步驟815)。
以下列舉揭露書所提出運營資料匯流系統的優勢。
由於運營資料匯流系統結合即時資料同步技術、大數據資料串流、ETL等技術,彙整全行資料,可大幅簡化過往複雜的資料流程,降低系統維運成本,並可滿足即時加值彙整、模型建置運算、歷史大量資料及非結構化資料處理的資料服務需求。系統透過資料虛擬化架構,快速整合跨系統資源,提供單一資料查詢管道與資料去識別化功能,實現集中權限管理與提升資料安全性。
運行在特定企業中,運營資料匯流系統提供企業資料定義,並透過合宜的權限管理,便利跨部處資訊共享,降低各業務系統間溝通與應用的門檻,不僅能提升系統分析效率,也可驅動業務自主分析能量,打破傳統數字管理,以數據帶動業務發展。同時也透過資料品質管理,隨時維持資料之正確性。
透過彙整全行資料源以及結合異動資料擷取(CDC)即時資 料同步技術,並透過大數據資料串流技術與ETL處理技術,除可降低各系統介接之複雜度外,也同時大幅簡化資料流程;儘管日後行內系統數量增加,整體系統複雜度亦不受影響,有效降低系統維運成本。
最後,系統整合行內線上與線下資料,同時結合公開資訊,了解顧客即時動態,掌握即時商機。
如此,根據以上運營資料匯流方法與系統的實施例,可知,當運營資料匯流系統核心建構一種三層式資料架構,將資料分別為原始資料區、資料加值區以及資料備存區,實現多種技術結合資料流程,整合金融機構內部各系統資訊,建構涵蓋時效性、多樣性、整合性、安全性與高品質共五大面向的資訊服務,藉此可以結合即時資料同步、大數據串流分析、機敏性資料遮罩等技術,透過資料虛擬化架構,利用應用程式介面(API)概念達成單一平台多樣性資料服務,如此可以打造商用資料庫與開放平行運算環境的即時串流技術,實現三層式資料架構間系統介接,強化資料儲存管理,輔以資料定義,增進資料使用效益。因此具有以下優勢: 一、達到金融機構高穩定性的要求;二、能以低成本的方式進行平台架構;三、提供即時/類即時/批次型等多樣化的資料服務;四、將傳統結構化及非結構化資料整合於單一平台;以及五、提供整合性及去識別化的查詢服務。
惟以上所述僅為本發明之較佳可行實施例,非因此即侷限本發明之專利範圍,故舉凡運用本發明說明書及圖示內容所為之等效結構變化,均同理包含於本發明之範圍內,合予陳明。

Claims (10)

  1. 一種運營資料匯流系統,包括:一原始資料區,由一關聯式資料庫實現,用以儲存收錄自一外部資訊與一內部資訊,或是其中之一的原始資料,並經資料轉換與資料清理的資料;一資料加值區,實現一大數據平台,即時同步該關聯式資料庫的資料,用以提供資料加值彙整服務;以及一資料備存區,由一檔案伺服器實現,用以提供資料備存與稽核。
  2. 如請求項1所述的運營資料匯流系統,其中,一訊息系統作為該關聯式資料庫與該大數據平台間的資料傳送工具。
  3. 如請求項2所述的運營資料匯流系統,其中該關聯式資料庫與該訊息系統之間執行一訊息提供程式,將該關聯式資料庫中的表格依照鍵值視為字串流,且該訊息提供程式能即時偵測該關聯式資料庫中數據流變化,並將變化傳送至該訊息系統。
  4. 如請求項2所述的運營資料匯流系統,其中該訊息系統與該大數據平台之間執行一訊息寫入程式,將該訊息系統中留存的異動資料,依序透過一種串流處理程序寫入該大數據平台,達成資料同步。
  5. 如請求項1所述的運營資料匯流系統,其中收錄該原始資料的方式包括一即時同步作業,以及一整批資料收錄的作業。
  6. 如請求項5所述的運營資料匯流系統,其中該整批資料收錄的作業包括萃取、轉置與載入資料處理程序,以及一資料清理程序。
  7. 如請求項1所述的運營資料匯流系統,其中該資料加值區包括的功能包括:歷史資料查詢、資料模型建立、複雜高效運算、非結構資料存放、資料整合運算、自主分析預處理、即時串流分析,以及資料模型運算。
  8. 如請求項1所述的運營資料匯流系統,其中該資料備存區此用較低成本的儲存方案,用以儲存歷史資料,提供的功能包括資料備存與稽核查詢。
  9. 如請求項1至8中任一項所述的運營資料匯流系統,更包括一資料提供單元,通過該運營資料匯流系統中的軟體程序提供的服務包括資料查詢、資料訂閱服務,以及整批資料提供。
  10. 一種應用如請求項1所述的運營資料匯流系統的運營資料匯流方法,包括:取得一外部資訊或一內部資訊;經一整批資料收錄功能對該外部資訊或該內部資訊執行資料轉換或資料清理;形成一資料加值區中的非結構資料,或直接以經資料整合運算後,成為商業智慧應用中自主分析,並以一視覺化呈現給使用者;其中,該內部資訊經即時同步作業同步到該原始資料區,作為原始資料查詢之用,也用於該資料加值區即時串流分析之用;其中,該運營資料匯流系統提供的一資料查詢功能,包括執行查詢權限管理的步驟,判斷登入系統查詢的使用者的權限。
TW107116271A 2018-05-14 2018-05-14 運營資料匯流系統與方法 TW201947492A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW107116271A TW201947492A (zh) 2018-05-14 2018-05-14 運營資料匯流系統與方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107116271A TW201947492A (zh) 2018-05-14 2018-05-14 運營資料匯流系統與方法

Publications (1)

Publication Number Publication Date
TW201947492A true TW201947492A (zh) 2019-12-16

Family

ID=69582816

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107116271A TW201947492A (zh) 2018-05-14 2018-05-14 運營資料匯流系統與方法

Country Status (1)

Country Link
TW (1) TW201947492A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI802056B (zh) * 2020-10-27 2023-05-11 大陸商中國銀聯股份有限公司 資料核對方法、裝置、設備、系統及存儲介質
US11687853B2 (en) 2020-09-14 2023-06-27 Data Systems Consulting Co., Ltd. Electronic device for detecting business system and detection method thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11687853B2 (en) 2020-09-14 2023-06-27 Data Systems Consulting Co., Ltd. Electronic device for detecting business system and detection method thereof
TWI802056B (zh) * 2020-10-27 2023-05-11 大陸商中國銀聯股份有限公司 資料核對方法、裝置、設備、系統及存儲介質

Similar Documents

Publication Publication Date Title
Sagiroglu et al. Big data: A review
CN104767813B (zh) 基于openstack的公众行大数据服务平台
CN103678665A (zh) 一种基于数据仓库的异构大数据整合方法和***
CN104298771A (zh) 一种海量web日志数据查询与分析方法
US20190050435A1 (en) Object data association index system and methods for the construction and applications thereof
Bedeley Big Data opportunities and challenges: the case of banking industry
Wongthongtham et al. Ontology and trust based data warehouse in new generation of business intelligence: State-of-the-art, challenges, and opportunities
Jiang Research on big data audit based on financial sharing service model using fuzzy AHP
Srivastava et al. Fraud detection in the distributed graph database
CN110544035A (zh) 一种内控检测方法、***和计算机可读存储介质
CN111639121A (zh) 一种构建客户画像的大数据平台及构建方法
CN110968571A (zh) 面向金融信息服务的大数据分析与处理平台
Liang et al. Financial big data analysis and early warning platform: a case study
Benjelloun et al. Big Data Processing: Batch-based processing and stream-based processing
CN111126852A (zh) 一种基于大数据建模的bi应用***
Kanchi et al. Challenges and Solutions in Big Data Management--An Overview
Chen [Retracted] Construction Project Cost Management and Control System Based on Big Data
Dai Designing an accounting information management system using big data and cloud technology
Ibtisum A Comparative Study on Different Big Data Tools
TW201947492A (zh) 運營資料匯流系統與方法
Nagdive et al. Web server log analysis for unstructured data using apache flume and pig
Balakrishnan et al. Implementing data strategy: design considerations and reference architecture for data-enabled value creation
Alvord et al. Big data fabric architecture: How big data and data management frameworks converge to bring a new generation of competitive advantage for enterprises
Ahmed et al. Agent-based big data analytics in retailing: a case study
Mishra et al. Challenges in big data application: a review