TWI604320B - 巨量資料存取方法以及使用該方法的系統 - Google Patents

巨量資料存取方法以及使用該方法的系統 Download PDF

Info

Publication number
TWI604320B
TWI604320B TW103126348A TW103126348A TWI604320B TW I604320 B TWI604320 B TW I604320B TW 103126348 A TW103126348 A TW 103126348A TW 103126348 A TW103126348 A TW 103126348A TW I604320 B TWI604320 B TW I604320B
Authority
TW
Taiwan
Prior art keywords
data
file system
error
database
data access
Prior art date
Application number
TW103126348A
Other languages
English (en)
Other versions
TW201606530A (zh
Inventor
陳志明
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW103126348A priority Critical patent/TWI604320B/zh
Priority to CN201410399954.4A priority patent/CN105320711B/zh
Priority to US14/527,694 priority patent/US9600491B2/en
Publication of TW201606530A publication Critical patent/TW201606530A/zh
Application granted granted Critical
Publication of TWI604320B publication Critical patent/TWI604320B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

巨量資料存取方法以及使用該方法的系統
本發明關連於一種資料存取技術，特別是一種巨量資料存取方法以及使用該方法的系統。
越來越多企業建置雲端運算(cloud computing)以及巨量資料(big data)儲存環境。然而，因為資料量過於龐大且複雜，使得現有的資料庫管理工具或傳統的資料處理應用程式都難以處理。因此，需要一種巨量資料存取方法以及使用該方法的系統，用以提高擴充性。
本發明的實施例提出一種巨量資料存取方法，包含以下步驟。接收從不同類型的多個資料庫前端模組中之一者傳送的請求；以及使用相應的應用程式介面來操作不同類型的多個雲端檔案系統中之一者，用以完成請求的資料存取作業。
本發明的實施例提出一種巨量資料存取系統，包含安全檢驗雜湊模組，耦接於不同類型的多個資料庫前端模組以及不同類型的多個雲端檔案系統之間，用以接收從資料庫前端模組中之一者傳送的一請求；以及使用相應的應用程式介面來操作雲端檔案系統中之一者，用以完成請求的資料存取作業。
110‧‧‧客戶端
120_1、120_2、…、120_i‧‧‧巨量資料儲存子系統
130‧‧‧接待模組
140‧‧‧虛擬伺服器
150_1、150_2、…、150_i‧‧‧代理模組
160_1、160_2、…、160_i‧‧‧資料庫前端模組
170_1、170_2、…、170_i‧‧‧巨量資料儲存節點
210‧‧‧處理單元
220‧‧‧顯示單元
230‧‧‧輸入裝置
240‧‧‧儲存裝置
250‧‧‧記憶體
260‧‧‧通訊介面
310‧‧‧聯合巨量資料集檔案系統
320‧‧‧內部資料庫
331‧‧‧文件導向資料庫
333‧‧‧格狀檔案系統
351‧‧‧分散式批次資料庫
353‧‧‧分散式檔案系統
371‧‧‧分散式即時資料庫
373‧‧‧分散式檔案系統
410‧‧‧主伺服器
430、440、450‧‧‧從伺服器
460‧‧‧儲存伺服器
510‧‧‧水龍頭伺服器
520、530、540、550‧‧‧閃電伺服器
560‧‧‧儲存伺服器
611、613、615‧‧‧聯合巨量資料集檔案系統
630‧‧‧糾刪編碼模組
650‧‧‧安全檢驗雜湊模組
700‧‧‧檔案
710_1~710_k‧‧‧區塊
730_1~730_m‧‧‧資料區段
750_1~750_n‧‧‧同位元區段
770_1~770_m+n‧‧‧元標籤
S811~S875‧‧‧方法步驟
第1圖係依據本發明實施例之巨量資料存取系統的系統架構圖。
第2圖係依據本發明實施例的計算機裝置的系統架構圖。
第3圖係依據本發明實施例的巨量資料儲存節點的方塊圖。
第4圖係依據本發明實施例的Apache® Hadoop雲端運算架構的示意圖。
第5圖係依據本發明實施例的Apache® Storm雲端運算架構的示意圖。
第6圖係依據本發明實施例的巨量資料儲存節點的方塊圖。
第7圖係依據本發明實施例的檔案結構示意圖。
第8圖係依據本發明實施例之執行處理單元210的資料讀取方法流程圖。
以下說明係為完成發明的較佳實現方式，其目的在於描述本發明的基本精神，但並不用以限定本發明。實際的發明內容必須參考之後的權利要求範圍。
必須了解的是，使用於本說明書中的”包含”、”包括”等詞，係用以表示存在特定的技術特徵、數值、方法步驟、作業處理、元件以及/或組件，但並不排除可加上更多的技術特徵、數值、方法步驟、作業處理、元件、組件，或以上的任 意組合。
於權利要求中使用如”第一”、"第二"、"第三"等詞 係用來修飾權利要求中的元件，並非用來表示之間具有優先權順序，先行關係，或者是一個元件先於另一個元件，或者是執行方法步驟時的時間先後順序，僅用來區別具有相同名字的元件。
第1圖係依據本發明實施例之巨量資料存取系統 的系統架構圖，包含客戶端110及i個巨量資料儲存子系統120_1至120_i，其中，i為正整數。雖然本發明實施例只描述一個客戶端的行為，熟習此技藝人士可輕易將以下所述的技術內容應用在多個客戶端的環境，本發明並不因此受限。巨量資料儲存子系統120_1中包含接待模組(reception module)130，用以從客戶端110接收各種資料庫應用程式介面(DB API,Database Application Programming Interface)的請求，並轉送給虛擬伺服器140。DB API可為結構化查詢語言(SQL,Structural Query Language)API、COBOL API等，用以實施第四層(layer 4)或第七層(layer 7)資料庫命令。需要注意的是，巨量資料儲存子系統120_1至120_i只存在一個接待模組，作為所有客戶端的單一窗口。接待模組130定期向其他巨量資料儲存子系統120_2至120_i的相應模組發送心跳訊號(heartbeat signal)，用以通知接待模組130還活著。當接待模組130失效過一段時間而無法發送心跳訊號，其他相應模組會協商出由巨量資料儲存子系統120_2至120_i中之一者來當作客戶端的新單一窗口。虛擬伺服器140執行平衡負載機制(load-balancing mechanism)，用以將客 戶端110的請求分派到工作量(workload)較輕的代理模組。虛擬伺服器140可藉由監看每一個代理模組與客戶端間的連線數目來決定每一個巨量資料儲存子系統的工作量，連線數目較多代表工作量較重。被分派的代理模組150_1、150_2或150_i與客戶端間建立一個連線以處理客戶端110後續的DB API請求。換句話說，接待模組130只處理客戶端110傳送之包含DB API請求的第一個封包，而分派的代理模組會直接與客戶端110建立連線，處理包含DB API請求的後續封包。於每一個巨量資料儲存子系統中，代理模組連接一個資料庫前端模組，而此資料庫前端模組連接於一個巨量資料儲存節點。例如，代理模組150_1傳遞由客戶端110傳送的DB API請求給資料庫前端模組160_1，資料庫前端模組160_1解譯(interpret)DB API請求並據以操作巨量資料儲存節點170_1，用以取得客戶端110所需的資訊並回覆給客戶端110。客戶端所請求的資訊可以是任何的統計分析或演算法結果，例如，商品間的關聯性、事件因果分析等等。
接待模組130、虛擬伺服器140、代理模組150_1及 資料庫前端模組160_1可整合於一部計算機裝置中，也可分散在不同的計算機裝置。類似地，成對的代理模組150_2及資料庫前端模組160_2，或者，成對的代理模組150_i及資料庫前端模組160_i可整合於一部計算機裝置中，也可分散在不同的計算機裝置。巨量資料儲存節點170_1、170_2至170_i中之任一者中包含多部的計算機裝置，用以完成巨量資料的存取與運算。第2圖係依據本發明實施例的計算機裝置的系統架構圖。 處理單元210可使用多種方式實施，例如以專用硬體電路或通用硬體(例如，單一處理器、具平行處理能力的多處理器、圖形處理器或其他具運算能力的處理器)，並且在執行程式碼或軟體時，提供之後所描述的功能。系統架構另包含記憶體250用以儲存執行過程中需要的資料，例如，變數、資料表(data tables)等，以及儲存單元240，用以儲存各式各樣的電子檔案，例如，網頁、文件、音訊檔、視訊檔等。系統架構另包含通訊介面260，讓處理單元210可藉以跟其他電子裝置進行溝通。通訊介面260可以是區域網路(local area network,LAN)通訊模組或無線區域網路通訊模組(WLAN)。輸入裝置230可包含鍵盤、滑鼠、觸控面板等。使用者可按壓鍵盤上的硬鍵來輸入字元，藉由操作滑鼠來控制鼠標，或者是在觸控面板製造手勢來控制執行中的應用程式。手勢可包含單擊、雙擊、單指拖曳、多指拖曳等，但不限定於此。顯示單元220可包含顯示面板(例如，薄膜液晶顯示面板、有機發光二極體面板或其他具顯示能力的面板)，用以顯示輸入的字元、數字、符號、拖曳鼠標的移動軌跡、繪製的圖案或應用程式所提供的畫面，提供給使用者觀看。
第3圖係依據本發明實施例的巨量資料儲存節點的方塊圖，可實施於巨量資料儲存節點170_1、170_2至170_i中之任一者。聯合巨量資料集檔案系統(ULDSFS,Unified Large Data Set File System)310為一個中介層，使資料庫前端模組160_1至160_i中之任一者可忽略資料實際儲存環境而使用統一的存取方法來請求資訊。聯合巨量資料集檔案系統310可依 據資料庫前端模組160_1至160_i中之任一者的請求來操作可處理巨量資料之不同類型的內部資料庫(native database)320。聯合巨量資料集檔案系統310擁有操作不同雲端檔案系統的API能力，換句話說，聯合巨量資料集檔案系統310可依據資料庫前端模組所請求資料的實際存放的雲端檔案系統類型，使用相應的API來存取資料。舉例來說，聯合巨量資料集檔案系統310可使用跨平台(cross-platform)的文件導向資料庫(Document-oriented Database)331所提供的API來存取格狀檔案系統(Grid File System)333，如MongoDB。聯合巨量資料集檔案系統310可使用分散式批次資料庫(distributed batch database)351所提供的API來存取分散式檔案系統353，如Apache® Hadoop。聯合巨量資料集檔案系統310可使用分散式即時資料庫(distributed real-time database)371所提供的API來存取分散式檔案系統373，如Apache® Storm。
第4圖係依據本發明實施例的Apache® Hadoop雲端運算架構的示意圖。舉例來說，伺服器410為架構在雲端運算環境中的主伺服器(master server)，主要包含二個程序：變換(map)及歸納(reduce)。伺服器430至450為架構在雲端運算環境中的從伺服器(slave servers)，而伺服器460為架構在雲端運算環境中的儲存伺服器(storage server)。熟習此技藝人士了解，主伺服器410、從伺服器430至450、儲存伺服器460，以及以上任意組合亦可實現於同一部具運算能力的實體電子裝置中，本發明並不因此而受限。於變換程序中，主伺服器410將一個巨量資料運算任務切分成小的子任務，並經由儲存伺服器 460分派給從伺服器430至450進行處理。從伺服器430至450中之每一者負責處理被賦予的子任務，並將運算結果儲存到儲存伺服器460中的指定位置。於歸納程序中，主伺服器410從儲存伺服器460蒐集所有子任務的運算結果，並合併成為可供輸出的形式。
第5圖係依據本發明實施例的Apache® Storm雲端運算架構的示意圖。舉例來說，伺服器510為架構在雲端運算環境中的水龍頭伺服器(spout server)；伺服器520至550為架構在雲端運算環境中的閃電伺服器(bolt servers)，而伺服器560為架構在雲端運算環境中的儲存伺服器。熟習此技藝人士了解，水龍頭伺服器510、閃電伺服器520至550、儲存伺服器560，以及以上任意組合亦可實現於同一部具運算能力的實體電子裝置中，本發明並不因此而受限。水龍頭伺服器510從儲存伺服器560讀取巨量資料並將資料組織成數個串流(stream)分派給閃電伺服器520至540。閃電伺服器520至540各自對接收的資料做運算，並且將結果輸出至閃電伺服器550。閃電伺服器550蒐集所有的運算結果，並合併成為可供輸出的形式。
第6圖係依據本發明實施例的巨量資料儲存節點的方塊圖，可實施於巨量資料儲存節點170_1、170_2至170_i中之任一者。糾刪編碼模組(Erasure Coding Module)630可接收不同類型的聯合巨量資料集檔案系統611、613及615的資料寫入請求，並依據欲寫入的資料產生錯誤檢查與修正碼(ECC,Error Check and Correction code)。第7圖係依據本發明實施例的檔案結構示意圖。儲存巨量資料的檔案700可包含k個區塊 (segments)710_1至710_k，而每個區塊包含m個資料區段(data fragments)以及n個同位元區段(parity fragments)，其中，k、m、n為正整數。例如，區塊710_1包含資料區段730_1至730_m以及同位元區段750_1至750_n。其中，資料區段係儲存從聯合巨量資料集檔案系統611、613及615取得的原始資料，同位元區段係儲存由糾刪編碼模組630產生的錯誤檢查與修正碼。糾刪編碼模組(Erasure Coding Module)630接著將資料區段及同位元區段的值傳給安全檢驗雜湊模組(SVH,Secure Verification Hashing Module)650。安全檢驗雜湊模組650使用演算法，例如安全雜湊演算法(SHA,Secure Hash Algorithm)，為每一個區段中計算一個雜湊值(hash value)，並將雜湊值儲存於區段中。此雜湊值可提升雲端運算環境中變換(map)或水龍頭(spout)作業的效率。安全檢驗雜湊模組650可另為每一個區段儲存一個元標籤(meta tag)，770_1至770_m+n，用以辨認寫入資料的類型，例如製程、薪資、客戶等。安全檢驗雜湊模組650透過文件導向資料庫331、分散式批次資料庫351或分散式即時資料庫371提供的API寫入資料區段及同位元區段的值至相應的檔案系統，例如格狀檔案系統333、分散式檔案系統353或373。
當讀取資料時，安全檢驗雜湊模組650可檢驗從文件導向資料庫331、分散式批次資料庫351或分散式即時資料庫371所讀取資料的正確性(integrity)，並且當讀取的資料發生錯誤時，嘗試修正。安全檢驗雜湊模組650可依據聯合巨量資料集檔案系統611、613及615發出的資料讀取請求，透過文件導向資料庫331、分散式批次資料庫351或分散式即時資料庫371 提供的API讀取相應檔案系統中的資料。當讀取的資料沒有錯誤或讀取資料中的錯誤已經修正，則安全檢驗雜湊模組650傳送原始或已修正的資料給糾刪編碼模組630，使得糾刪編碼模組630可回覆原始或已修正的資料給巨量資料集檔案系統611、613或615。此外，安全檢驗雜湊模組650透過文件導向資料庫331、分散式批次資料庫351或分散式即時資料庫371所提供的API將修正後的資料寫回相應的檔案系統，並且傳送包含修正過區段中的元標籤的事件給安全智能分析模組(SIA,Security Intelligence Analytics Module)。當收到一定數量之包含相同元標籤的事件時，安全智能分析模組可發布一份假的文件作為蜂蜜罐頭(honeypot)，用以吸引駭客攻擊並精確定位(pinpoint)惡意軟體(malware)。或者，安全智能分析模組可使用機器學習(machine learning)預測駭客未來可能攻擊哪一類型的資料，並採取相應的措施，例如修正安全漏洞(breach)等。 當讀取資料中的錯誤無法修正，安全檢驗雜湊模組650通知糾刪編碼模組630讀取資料失敗，使得糾刪編碼模組630可回覆巨量資料集檔案系統611、613或615之前的存取請求失敗。安全檢驗雜湊模組650可使用習知的錯誤檢查修正(ECC,Error Check and Correction)演算法來嘗試修正存在於資料段以及同位元段中可容忍數目的錯誤。
第8圖係依據本發明實施例之執行處理單元210的 資料讀取方法流程圖。此方法當安全檢驗雜湊模組650中的程式碼被處理單元210載入並執行時實施。透過文件導向資料庫331、分散式批次資料庫351或分散式即時資料庫371所提供的 API讀取巨量資料集檔案系統611、613或615所請求的資料後(步驟S811)，判斷讀取的資料是否正確(步驟S813)。於步驟S813，讀取的資料包含資料區段及同位元區段的值。若是，則透過糾刪編碼模組630回覆讀取的資料給巨量資料集檔案系統611、613或615(步驟S831)；否則，執行錯誤修正演算法來嘗試修正錯誤(步驟S851)。接著，判斷是否成功修正錯誤(步驟S853)，若是，則透過糾刪編碼模組630回覆修正後的資料給巨量資料集檔案系統611、613或615(步驟S871)，透過文件導向資料庫331、分散式批次資料庫351或分散式即時資料庫371提供的API將修正後的資料寫回相應的檔案系統(步驟S873)，以及傳送包含修正過區段中的元標籤的事件給安全智能分析模組(步驟S875)；否則，透過糾刪編碼模組630回覆巨量資料集檔案系統611、613或615資料讀取失敗的訊息(步驟S891)。於步驟S813、S851及S853中，可使用習知的錯誤檢查修正演算法來檢查讀取或修正後的資料是否正確，以及嘗試修正錯誤的資料。
雖然第1至6圖中包含了以上描述的元件，但不排 除在不違反發明的精神下，使用更多其他的附加元件，已達成更佳的技術效果。此外，雖然第8圖的方法流程圖採用特定的順序來執行，但是在不違法發明精神的情況下，熟習此技藝人士可以在達到相同效果的前提下，修改這些步驟間的順序，所以，本發明並不侷限於僅使用如上所述的順序。
雖然本發明使用以上實施例進行說明，但需要注 意的是，這些描述並非用以限縮本發明。相反地，此發明涵蓋 了熟習此技藝人士顯而易見的修改與相似設置。所以，申請權利要求範圍須以最寬廣的方式解釋來包含所有顯而易見的修改與相似設置。
S811、S813、S831、S851、S853、S871、S873、S875、S891‧‧‧方法步驟

Claims (22)

  1. 一種巨量資料存取方法，包含：接收從不同類型的多個資料庫前端模組中之一者傳送的一資料存取請求；以及使用一相應的應用程式介面來操作不同類型的多個雲端檔案系統中之一者，用以完成上述資料存取請求的資料存取作業。
  2. 如申請專利範圍第1項所述的巨量資料存取方法，其中，上述應用程式介面相應於一跨平台文件導向資料庫，以及上述雲端檔案系統為一格狀檔案系統。
  3. 如申請專利範圍第1項所述的巨量資料存取方法，其中，上述應用程式介面相應於一分散式批次資料庫，以及上述雲端檔案系統為一分散式檔案系統。
  4. 如申請專利範圍第1項所述的巨量資料存取方法，其中，上述應用程式介面相應於一分散式即時資料庫，以及上述雲端檔案系統為一分散式檔案系統。
  5. 如申請專利範圍第1項所述的巨量資料存取方法，其中，上述資料存取請求為一資料寫入請求，更包含：依據欲寫入的資料產生一錯誤檢查修正碼，其中，上述欲寫入的資料放置於一檔案中的一資料區段，並且上述錯誤檢查修正碼放置於上述檔案中的一同位元區段；以及使用上述相應的應用程式介面將上述資料區段以及上述同位元區段的值寫入上述雲端檔案系統。
  6. 如申請專利範圍第5項所述的巨量資料存取方法，更包含： 為每一上述資料區段以及上述同位元區段計算一雜湊值；以及儲存上述雜湊值於上述相應的資料區段以及上述同位元區段。
  7. 如申請專利範圍第5項所述的巨量資料存取方法，更包含：為每一上述資料區段儲存一元標籤，用以辨認寫入資料的類型。
  8. 如申請專利範圍第1項所述的巨量資料存取方法，其中，上述資料存取請求為一資料讀取請求，更包含：使用上述相應的應用程式介面從上述雲端檔案系統中讀取一資料，其中，上述資料包含一資料區段及一同位元區段的值；判斷上述讀取資料是否正確；當上述讀取資料正確時，則回覆上述讀取資料；當上述讀取資料不正確時，則執行一錯誤修正演算法來嘗試修正上述讀取資料中的錯誤以及判斷是否成功修正錯誤；當修正錯誤成功時，則回覆上述修正後的資料；以及當修正錯誤失敗時，則回覆資料讀取失敗的一訊息。
  9. 如申請專利範圍第8項所述的巨量資料存取方法，更包含：當修正錯誤成功時，使用上述相應的應用程式介面將上述修正後的資料寫回上述雲端檔案系統。
  10. 如申請專利範圍第9項所述的巨量資料存取方法，更包含：當修正錯誤成功時，傳送上述修正後的資料區段中的一元 標籤給一安全智能分析模組，其中，上述元標籤用以辨認上述修正後的資料區段的資料類型。
  11. 如申請專利範圍第10項所述的巨量資料存取方法，更包含：當上述安全智能分析模組收到一定數量之包含相同的上述元標籤時，發布一假的文件作為蜂蜜罐頭。
  12. 如申請專利範圍第10項所述的巨量資料存取方法，其中，上述安全智能分析模組預測將來哪一類型的資料可能遭受攻擊。
  13. 一種巨量資料存取系統，包含：一安全檢驗雜湊模組，耦接於不同類型的多個資料庫前端模組以及不同類型的多個雲端檔案系統之間，用以接收從上述資料庫前端模組中之一者傳送的一資料存取請求；以及使用一相應的應用程式介面來操作上述雲端檔案系統中之一者，用以完成上述資料存取請求的資料存取作業。
  14. 如申請專利範圍第13項所述的巨量資料存取系統，其中，上述雲端檔案系統的應用程式介面包含一跨平台文件導向資料庫、一分散式批次資料庫以及一分散式即時資料庫的應用程式介面，以及上述雲端檔案系統包含一格狀檔案系統以及一分散式檔案系統。
  15. 如申請專利範圍第13項所述的巨量資料存取系統，其中，上述資料存取請求為一資料寫入請求，更包含：一糾刪編碼模組，用以依據欲寫入的資料產生一錯誤檢查修正碼，其中，上述欲寫入的資料放置於一檔案中的一資料區段，並且上述錯誤檢查修正碼放置於上述檔案中的一 同位元區段；以及使用上述相應的應用程式介面將上述資料區段以及上述同位元區段的值寫入上述雲端檔案系統。
  16. 如申請專利範圍第15項所述的巨量資料存取系統，其中，上述安全檢驗雜湊模組為每一上述資料區段以及上述同位元區段計算一雜湊值；以及儲存上述雜湊值於上述相應的資料區段以及上述同位元區段。
  17. 如申請專利範圍第15項所述的巨量資料存取系統，其中，上述安全檢驗雜湊模組為每一上述資料區段儲存一元標籤，用以辨認寫入資料的類型。
  18. 如申請專利範圍第13項所述的巨量資料存取系統，其中，上述資料存取請求為一資料讀取請求，上述安全檢驗雜湊模組使用上述相應的應用程式介面從上述雲端檔案系統中讀取一資料，其中，上述資料包含一資料區段及一同位元區段的值；判斷上述讀取資料是否正確；當上述讀取資料正確時，則回覆上述讀取資料；當上述讀取資料不正確時，則執行一錯誤修正演算法來嘗試修正上述讀取資料中的錯誤以及判斷是否成功修正錯誤；當修正錯誤成功時，則回覆上述修正後的資料；以及當修正錯誤失敗時，則回覆資料讀取失敗的一訊息。
  19. 如申請專利範圍第18項所述的巨量資料存取系統，其中，當修正錯誤成功時，上述安全檢驗雜湊模組使用上述相應的應用程式介面將上述修正後的資料寫回上述雲端檔案系統。
  20. 如申請專利範圍第19項所述的巨量資料存取系統，其中， 當修正錯誤成功時，上述安全檢驗雜湊模組傳送上述修正後的資料區段中的一元標籤給一安全智能分析模組，其中，上述元標籤用以辨認上述修正後的資料區段的資料類型。
  21. 如申請專利範圍第20項所述的巨量資料存取系統，其中，當收到一定數量之包含相同的上述元標籤時，上述安全智能分析模組發布一假的文件作為蜂蜜罐頭。
  22. 如申請專利範圍第20項所述的巨量資料存取系統，其中，上述安全智能分析模組預測將來哪一類型的資料可能遭受攻擊。
TW103126348A 2014-08-01 2014-08-01 巨量資料存取方法以及使用該方法的系統 TWI604320B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW103126348A TWI604320B (zh) 2014-08-01 2014-08-01 巨量資料存取方法以及使用該方法的系統
CN201410399954.4A CN105320711B (zh) 2014-08-01 2014-08-13 巨量数据存取方法以及使用该方法的***
US14/527,694 US9600491B2 (en) 2014-08-01 2014-10-29 Methods for accessing big data and systems using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103126348A TWI604320B (zh) 2014-08-01 2014-08-01 巨量資料存取方法以及使用該方法的系統

Publications (2)

Publication Number Publication Date
TW201606530A TW201606530A (zh) 2016-02-16
TWI604320B true TWI604320B (zh) 2017-11-01

Family

ID=55180221

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103126348A TWI604320B (zh) 2014-08-01 2014-08-01 巨量資料存取方法以及使用該方法的系統

Country Status (3)

Country Link
US (1) US9600491B2 (zh)
CN (1) CN105320711B (zh)
TW (1) TWI604320B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017080875A1 (en) 2015-11-10 2017-05-18 Koninklijke Philips N.V. Adaptive light source
US20170228285A1 (en) * 2016-02-10 2017-08-10 SwiftStack, Inc. Data durability in stored objects
US10901845B2 (en) * 2018-04-16 2021-01-26 Microsoft Technology Licensing, Llc Erasure coding for a single-image memory
US11132357B1 (en) * 2018-09-14 2021-09-28 State Farm Mutual Automobile Insurance Company Big-data view integration platform
US11790300B2 (en) 2021-08-03 2023-10-17 State Farm Mutual Automobile Insurance Company Systems and methods for generating insurance business plans

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7042852B2 (en) * 2002-05-20 2006-05-09 Airdefense, Inc. System and method for wireless LAN dynamic channel change with honeypot trap
US8839417B1 (en) * 2003-11-17 2014-09-16 Mcafee, Inc. Device, system and method for defending a computer network
US7676814B2 (en) 2004-03-25 2010-03-09 Globalfoundries Inc. Four layer architecture for network device drivers
US9116823B2 (en) * 2006-12-06 2015-08-25 Intelligent Intellectual Property Holdings 2 Llc Systems and methods for adaptive error-correction coding
US9207993B2 (en) * 2010-05-13 2015-12-08 Microsoft Technology Licensing, Llc Dynamic application placement based on cost and availability of energy in datacenters
US9659313B2 (en) * 2010-09-27 2017-05-23 Unisys Corporation Systems and methods for managing interactive features associated with multimedia content
CN102638484A (zh) * 2011-02-15 2012-08-15 鸿富锦精密工业（深圳）有限公司 云端存取***及其根据社群网络显示数据对象的方法
US8606878B2 (en) * 2011-02-28 2013-12-10 Red Hat, Inc. Systems and methods for de-populating cloud data store
US8407284B2 (en) * 2011-05-27 2013-03-26 Red Hat, Inc. Systems and methods for cloud data deployment based on preferential and/or existing subscription relationships
CN102833294B (zh) * 2011-06-17 2015-05-20 阿里巴巴集团控股有限公司 基于云存储的文件处理方法、***及服务器集群***
CN103049448B (zh) * 2011-10-13 2017-03-22 腾讯科技（深圳）有限公司 文件管理方法和***
US10097642B2 (en) * 2012-05-29 2018-10-09 Openet Telecom Ltd. System and method for using VoLTE session continuity information using logical scalable units
WO2013184201A1 (en) * 2012-06-08 2013-12-12 Ntt Docomo, Inc. A method and apparatus for low delay access to key-value based storage systems using fec techniques
EP2864885B1 (en) * 2012-06-25 2017-05-17 Storone Ltd. System and method for datacenters disaster recovery
CN102906751B (zh) * 2012-07-25 2015-12-02 华为技术有限公司 一种数据存储、数据查询的方法及装置
US9251194B2 (en) * 2012-07-26 2016-02-02 Microsoft Technology Licensing, Llc Automatic data request recovery after session failure
US9881017B2 (en) * 2012-08-03 2018-01-30 Egnyte, Inc. System and method for event-based synchronization of remote and local file systems
CN103810215A (zh) * 2012-11-14 2014-05-21 财团法人资讯工业策进会 云端文件存取***及方法
CN103841170B (zh) * 2012-11-27 2018-12-14 联想(北京)有限公司 一种云存储方法和服务器
US20150324417A1 (en) * 2012-12-10 2015-11-12 Viditeck Ag Rules based data processing system and method
CN103152423A (zh) * 2013-03-15 2013-06-12 安科智慧城市技术（中国）有限公司 一种云存储***及其数据存取方法
US9350747B2 (en) * 2013-10-31 2016-05-24 Cyberpoint International Llc Methods and systems for malware analysis
CN103607393A (zh) * 2013-11-21 2014-02-26 浪潮电子信息产业股份有限公司 一种基于数据分割的数据安全保护方法
US20160217159A1 (en) * 2013-11-29 2016-07-28 Ca, Inc. Database virtualization

Also Published As

Publication number Publication date
US20160034491A1 (en) 2016-02-04
US9600491B2 (en) 2017-03-21
CN105320711B (zh) 2019-08-30
CN105320711A (zh) 2016-02-10
TW201606530A (zh) 2016-02-16

Similar Documents

Publication Publication Date Title
US10078710B2 (en) Distributed data set storage and analysis reproducibility
CN109074377B (zh) 用于实时处理数据流的受管理功能执行
US20180060133A1 (en) Event-driven resource pool management
US10509696B1 (en) Error detection and mitigation during data migrations
TWI604320B (zh) 巨量資料存取方法以及使用該方法的系統
CA2961229C (en) Asynchronous processing of mapping information
US20120159627A1 (en) Suspicious node detection and recovery in mapreduce computing
US10027534B1 (en) Log management system and method for distributed computing systems
US20140081901A1 (en) Sharing modeling data between plug-in applications
JP2015527008A (ja) コンピューティングシステムにおいてストレージデータの暗号化不要の整合性保護を促進するメカニズム
US11086827B1 (en) Dataset schema and metadata management service
US20160048703A1 (en) Securing integrity and consistency of a cloud storage service with efficient client operations
BR112017001171B1 (pt) Método executado em um dispositivo de computação, dispositivo de computação e dispositivo de memória legível por computador para recuperar a operacionalidade de um serviço baseado em nuvem
US10187264B1 (en) Gateway path variable detection for metric collection
US10733153B2 (en) Snapshot management in distributed file systems
US20140189526A1 (en) Changing log file content generation
CN117643015A (zh) 基于日志记录的客户端密钥修改的快照跨一系列节点管理密钥
WO2021223431A1 (zh) 工控***数据安全的拟态存储***及方法
US11178216B2 (en) Generating client applications from service model descriptions
Sreedhar et al. Big Data and Hadoop
US10452837B1 (en) Inbound link handling
US9317546B2 (en) Storing changes made toward a limit
Townend et al. A framework for improving trust in dynamic service-oriented systems
Xiao et al. Real-Time and Distributed Anomalies Detection Architecture and Implementation with Structured Streaming
Zervoudakis et al. EPOPTIS: A Monitoring-as-a-Service Platform for Internet-of-Things Applications