TWI732557B - Model joint training method and device based on blockchain - Google Patents
Model joint training method and device based on blockchain Download PDFInfo
- Publication number
- TWI732557B TWI732557B TW109116403A TW109116403A TWI732557B TW I732557 B TWI732557 B TW I732557B TW 109116403 A TW109116403 A TW 109116403A TW 109116403 A TW109116403 A TW 109116403A TW I732557 B TWI732557 B TW I732557B
- Authority
- TW
- Taiwan
- Prior art keywords
- result
- node
- training
- chain
- type
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本說明書實施例提供一種基於區塊鏈的模型聯合訓練方法及裝置,在訓練方法中,區塊鏈的當前層節點接收對應的上層節點發送的第一訓練結果。該第一訓練結果至少基於第一類型結果判定,第一類型結果由上層節點基於其在鏈下維護的私有資料,對其在鏈上維護的多種模型中的目標模型進行訓練後得到。當前層節點基於其鏈下維護的私有資料,對其在鏈上維護的多種模型中的目標模型進行訓練,得到第二訓練結果。對第一訓練結果和第二訓練結果進行融合,得到融合結果。判斷當前層節點是否在最後一個層級。若當前層節點在最後一個層級,則在區塊鏈上廣播所述融合結果,以使得多個節點基於融合結果對各自在鏈上維護的多種模型中的目標模型進行更新。The embodiments of this specification provide a method and device for joint training of a model based on a block chain. In the training method, the current layer node of the block chain receives the first training result sent by the corresponding upper layer node. The first training result is determined based on at least the first type of result, and the first type of result is obtained by the upper node after training the target model among the multiple models maintained on the chain based on the private data maintained off-chain by the upper node. The current layer node trains the target model in the multiple models maintained on the chain based on the private data maintained under the chain, and obtains the second training result. The first training result and the second training result are fused to obtain the fusion result. Determine whether the current layer node is in the last layer. If the current layer node is at the last level, the fusion result is broadcast on the blockchain, so that multiple nodes update the target model in the multiple models maintained on the chain based on the fusion result.
Description
本說明書一個或多個實施例涉及電腦技術領域,尤其涉及一種基於區塊鏈的模型聯合訓練方法及裝置。 One or more embodiments of this specification relate to the field of computer technology, and in particular to a method and device for joint training of models based on blockchain.
聯邦學習(Federated Learning),也稱聯合學習,是一種新興的人工智慧基礎技術。其設計目標是在保障大資料交換時的資訊安全、保護終端資料和個人資料隱私、保證合法合規的前提下,在多參與方(或者計算節點或者主體)之間開展高效率的機器學習。 在傳統的模型聯合學習或訓練過程中,為了確保各方資料的安全性,通常會對各方間交流互動的資料進行加密,然而其仍然存在資料洩露的風險。 因此,需要提供一種更安全地模型聯合訓練方法。 Federated Learning, also known as joint learning, is an emerging basic technology of artificial intelligence. Its design goal is to carry out high-efficiency machine learning among multiple parties (or computing nodes or subjects) under the premise of ensuring information security during the exchange of big data, protecting the privacy of terminal data and personal data, and ensuring legal compliance. In the traditional model joint learning or training process, in order to ensure the security of the data of all parties, the data exchanged and interacted between the parties are usually encrypted. However, there is still a risk of data leakage. Therefore, it is necessary to provide a safer model joint training method.
本說明書一個或多個實施例描述了一種基於區塊鏈的模型聯合訓練方法及裝置,可以在確保各方資料安全的情況下,高效地對模型進行聯合訓練。 第一態樣,提供了一種基於區塊鏈的模型聯合訓練方法,包括: 接收對應的上層節點發送的第一訓練結果;所述第一訓練結果至少基於第一類型結果判定;所述第一類型結果由所述上層節點基於其在鏈下維護的私有資料,對其在鏈上維護的多種模型中的目標模型進行訓練後得到; 基於其鏈下維護的私有資料,對其在鏈上維護的多種模型中的所述目標模型進行訓練,得到第二訓練結果; 對所述第一訓練結果和所述第二訓練結果進行融合,得到融合結果; 判斷所述當前層節點是否在最後一個層級; 若所述當前層節點在最後一個層級,則在所述區塊鏈上廣播所述融合結果,以使得所述多個節點基於所述融合結果對各自在鏈上維護的多種模型中的所述目標模型進行更新。 第二態樣,提供了一種基於區塊鏈的模型聯合訓練方法,包括: 接收對應的上層節點發送的第一訓練結果;所述第一訓練結果至少包括第一類型結果;所述第一類型結果由所述上層節點基於其在鏈下維護的私有資料,對其在鏈上維護的多種模型中的目標模型進行訓練後得到; 基於其鏈下維護的私有資料,對其在鏈上維護的多種模型中的所述目標模型進行訓練,得到第二訓練結果; 判斷所述當前層節點是否在最後一個層級; 若所述當前層節點在最後一個層級,則對所述第一訓練結果和所述第二訓練結果進行融合,得到融合結果; 在所述區塊鏈上廣播所述融合結果,以使得所述多個節點基於所述融合結果對各自在鏈上維護的多種模型中的所述目標模型進行更新。 第三態樣,提供了一種基於區塊鏈的模型聯合訓練裝置,包括: 接收單元,用於接收對應的上層節點發送的第一訓練結果;所述第一訓練結果至少基於第一類型結果判定;所述第一類型結果由所述上層節點基於其在鏈下維護的私有資料,對其在鏈上維護的多種模型中的目標模型進行訓練後得到; 訓練單元,用於基於其鏈下維護的私有資料,對其在鏈上維護的多種模型中的所述目標模型進行訓練,得到第二訓練結果; 融合單元,用於對所述接收單元接收的所述第一訓練結果和所述訓練單元訓練得到的所述第二訓練結果進行融合,得到融合結果; 判斷單元,用於判斷所述當前層節點是否在最後一個層級; 廣播單元,用於若所述判斷單元判斷所述當前層節點在最後一個層級,則在所述區塊鏈上廣播所述融合結果,以使得所述多個節點基於所述融合結果對各自在鏈上維護的多種模型中的所述目標模型進行更新。 第四態樣,提供了一種基於區塊鏈的模型聯合訓練裝置,包括: 接收單元,用於接收對應的上層節點發送的第一訓練結果;所述第一訓練結果至少包括第一類型結果;所述第一類型結果由所述上層節點基於其在鏈下維護的私有資料,對其在鏈上維護的多種模型中的目標模型進行訓練後得到; 訓練單元,用於基於其鏈下維護的私有資料,對其在鏈上維護的多種模型中的所述目標模型進行訓練,得到第二訓練結果; 判斷單元,用於判斷所述當前層節點是否在最後一個層級; 融合單元,用於若所述判斷單元判斷所述當前層節點在最後一個層級,則對所述第一訓練結果和所述第二訓練結果進行融合,得到融合結果; 廣播單元,用於在所述區塊鏈上廣播所述融合單元得到的融合結果,以使得所述多個節點基於所述融合結果對各自在鏈上維護的多種模型中的所述目標模型進行更新。 第五態樣,提供了一種電腦儲存媒體,其上儲存有電腦程式,當所述電腦程式在電腦中執行時,令電腦執行第一態樣的方法或第二態樣的方法。 第六態樣,提供了一種計算設備,包括記憶體和處理器,所述記憶體中儲存有可執行代碼,所述處理器執行所述可執行代碼時,實現第一態樣的方法或第二態樣的方法。 本說明書一個或多個實施例提供的基於區塊鏈的模型聯合訓練方法及裝置,區塊鏈的每層節點可以接收對應的上層節點發送的訓練結果,並可以將接收的訓練結果與自身的訓練結果進行融合後發送至對應的下層節點,或者直接將兩種訓練結果轉發至對應的下層節點,直至到達最後一層節點。最後一層節點將全部的訓練結果進行融合,得到最終訓練結果,並在區塊鏈上廣播該最終訓練結果,從而使得各節點均可以更新對應的模型,至此就實現了基於區塊鏈的模型聯合訓練。也即本說明書提供的方案,可以基於區塊鏈來實現模型的聯合訓練,由此可以保證模型聯合訓練過程的安全可靠。 One or more embodiments of this specification describe a method and device for joint training of models based on blockchain, which can efficiently perform joint training of models while ensuring the security of the data of all parties. The first aspect provides a method for joint training of models based on blockchain, including: Receive the first training result sent by the corresponding upper node; the first training result is determined based on at least the first type of result; the first type of result is determined by the upper node based on the private information it maintains off-chain The target model in the multiple models maintained on the chain is obtained after training; Based on the private data maintained under the chain, train the target model among the multiple models maintained on the chain to obtain the second training result; Fusing the first training result and the second training result to obtain a fusion result; Judging whether the current layer node is in the last layer; If the current layer node is at the last level, the fusion result is broadcast on the blockchain, so that the multiple nodes can compare each of the multiple models maintained on the chain based on the fusion result. The target model is updated. The second aspect provides a method for joint training of models based on blockchain, including: Receive the first training result sent by the corresponding upper-layer node; the first training result includes at least the first-type result; the first-type result is registered by the upper-layer node based on the private data maintained off-chain The target model in the multiple models maintained on the above is obtained after training; Based on the private data maintained under the chain, train the target model among the multiple models maintained on the chain to obtain the second training result; Judging whether the current layer node is in the last layer; If the current layer node is in the last layer, fusing the first training result and the second training result to obtain a fusion result; Broadcasting the fusion result on the blockchain, so that the multiple nodes update the target model in the multiple models maintained on the chain based on the fusion result. The third aspect provides a block chain-based model joint training device, including: The receiving unit is configured to receive a first training result sent by a corresponding upper node; the first training result is determined based on at least a first type result; the first type result is determined by the upper node based on its private maintenance off-chain Data, obtained after training the target model in the multiple models maintained on the chain; The training unit is used to train the target model of the multiple models maintained on the chain based on the private data maintained off-chain to obtain the second training result; A fusion unit, configured to fuse the first training result received by the receiving unit and the second training result obtained by the training unit to obtain a fusion result; A judging unit for judging whether the current layer node is in the last layer; The broadcasting unit is configured to, if the judging unit judges that the current layer node is at the last level, broadcast the fusion result on the blockchain, so that the plurality of nodes are in each position based on the fusion result. The target model among the multiple models maintained on the chain is updated. The fourth aspect provides a block chain-based model joint training device, including: The receiving unit is configured to receive a first training result sent by a corresponding upper-layer node; the first training result includes at least a first-type result; the first-type result is determined by the upper-layer node based on its private data maintained under the chain , Which is obtained after training the target model among the multiple models maintained on the chain; The training unit is used to train the target model of the multiple models maintained on the chain based on the private data maintained off-chain to obtain the second training result; A judging unit for judging whether the current layer node is in the last layer; A fusion unit, configured to merge the first training result and the second training result to obtain a fusion result if the judgment unit judges that the current layer node is at the last level; The broadcasting unit is configured to broadcast the fusion result obtained by the fusion unit on the blockchain, so that the multiple nodes perform the target model of the multiple models maintained on the chain based on the fusion result Update. The fifth aspect provides a computer storage medium on which a computer program is stored, and when the computer program is executed in the computer, the computer is caused to execute the method of the first aspect or the method of the second aspect. A sixth aspect provides a computing device, including a memory and a processor, the memory stores executable code, and when the processor executes the executable code, the method or the first aspect of the first aspect is implemented. The two-way approach. One or more embodiments of this specification provide a blockchain-based model joint training method and device. Each layer node of the blockchain can receive the training result sent by the corresponding upper node, and can compare the received training result with its own The training results are fused and sent to the corresponding lower-level nodes, or the two training results are directly forwarded to the corresponding lower-level nodes, until the last-level node is reached. The last layer of nodes integrates all the training results to obtain the final training result, and broadcasts the final training result on the blockchain, so that each node can update the corresponding model, and thus realizes the model combination based on the blockchain training. That is to say, the solution provided in this specification can realize the joint training of the model based on the blockchain, thereby ensuring the safety and reliability of the joint training process of the model.
下面結合圖式,對本說明書提供的方案進行描述。 在描述本說明書提供的方案之前,先對本方案的發明構思作以下說明。 如背景技術所述,傳統的模型聯合訓練方法存在資料洩露的風險,為了確保各方資料的安全性,本方案將基於區塊鏈實現模型的聯合訓練。區塊鏈是借由密碼學串接並保護內容的串連文字記錄。每一個區塊包含了前一個區塊的加密雜湊、相應時間戳記記以及交易資料,這樣的設計使得區塊內容具有難以篡改的特性。用區塊鏈技術所串接的分散式帳本能讓兩方有效記錄交易,且可永久查驗此交易。 其具體實現思路可以為:首先可以將區塊鏈中的各節點劃分為多個層級,並建立相鄰兩個層級的節點之間的對應關係。之後,區塊鏈的每層節點可以接收對應的上層節點發送的訓練結果,並可以將接收的訓練結果與自身的訓練結果進行融合後發送至對應的下層節點,或者直接將兩種訓練結果轉發至對應的下層節點,直至到達最後一層節點。最後一層節點將全部的訓練結果進行融合,得到最終訓練結果,並在區塊鏈上廣播該最終訓練結果,從而使得各節點均可以更新對應的模型,至此就實現了基於區塊鏈的模型聯合訓練。 The following describes the solutions provided in this specification in conjunction with the drawings. Before describing the solution provided in this specification, the following description of the inventive concept of this solution is provided. As mentioned in the background art, the traditional model joint training method has the risk of data leakage. In order to ensure the security of the data of all parties, this solution will implement the joint training of the model based on the blockchain. Blockchain is a series of text records that are connected and protected by cryptography. Each block contains the encrypted hash of the previous block, the corresponding time stamp and transaction data. This design makes the block content difficult to tamper with. The distributed ledger connected by blockchain technology allows two parties to effectively record the transaction, and the transaction can be checked permanently. The specific realization idea can be as follows: first, each node in the blockchain can be divided into multiple levels, and the corresponding relationship between the nodes of two adjacent levels can be established. After that, each layer node of the blockchain can receive the training result sent by the corresponding upper node, and can merge the received training result with its own training result and send it to the corresponding lower node, or directly forward the two training results To the corresponding lower-level node, until reaching the last-level node. The last layer of nodes integrates all the training results to obtain the final training result, and broadcasts the final training result on the blockchain, so that each node can update the corresponding model, and thus realizes the model combination based on the blockchain training.
以上就是本說明書提供的發明構思,基於該發明構思就可以得到本方案,以下對本方案進行詳細闡述。 The above is the inventive concept provided in this specification, and the solution can be obtained based on the inventive concept. The solution will be described in detail below.
圖1為本說明書提供的基於區塊鏈的模型聯合訓練方法實施場景示意圖。圖1中,節點1-節點15為區塊鏈中的節點,各個節點按照層級關係組織。具體地,節點1-節點8在第1個層級,節點9-節點12在第2個層級,節點13-節點14在第3個層級,節點15在第4個層級(也即最後一個層級)。此外,第1個層級的節點1-節點2對應於第2個層級的節點9,第1個層級的節點3-節點4對應於第2個層級的節點10,第1個層級的節點5-節點6對應於第2個層級的節點11,第1個層級的節點7-節點8對應於第2個層級的節點12。第2個層級的節點9-節點10對應於第3個層級的節點13,第2個層級的節點11-節點12對應於第3個層級的節點14。第3個層級的節點13-節點14對應於最後一個層級的節點15。
Figure 1 is a schematic diagram of the implementation scenario of the blockchain-based model joint training method provided in this specification. In Figure 1,
圖1中的每個節點可以表徵一個參與方。上述每個節點在鏈上可以維護多種模型。這裡的多種模型可以包括邏輯回歸(Logistic Regression,LR)模型、梯度提升決策樹(Gradient Boosting Decision Tree,GBDT)模型以及深度神經網路(Deep Neural Networks,DNN)模型中的至少一項。上述多種模型中的任一模型可以是由某個節點預先提交到 區塊鏈上。可以理解的是,針對提交到區塊鏈上的模型,各節點均可以執行相應的計算(如,訓練)。此外,區塊鏈中的每個節點在鏈下還可以維護自身的私有資料。在一個示例中,各節點可以透過在相應區塊記錄中包含指向的鏈下資料的指標,來實現各自對鏈下資料的維護。 Each node in Figure 1 can represent a participant. Each of the above nodes can maintain multiple models on the chain. The multiple models here may include at least one of a Logistic Regression (LR) model, a Gradient Boosting Decision Tree (GBDT) model, and a Deep Neural Networks (DNN) model. Any of the above models can be pre-submitted by a certain node On the blockchain. It is understandable that for the model submitted to the blockchain, each node can perform corresponding calculations (eg, training). In addition, each node in the blockchain can also maintain its own private information under the chain. In one example, each node can implement the maintenance of the off-chain data by including the indicator of the off-chain data pointed to in the corresponding block record.
圖1中,任務處理器(task rebuilder)可以在區塊鏈上發佈模型訓練任務。這裡的任務處理器可以為單獨的伺服器,也可以設置於區塊鏈中的任一節點。此外,上述模型訓練任務至少指示待訓練的目標模型。需要說明的是,在發佈上述模型訓練任務後,只有第1個層級的各個節點會執行訓練任務,而其它層級的節點則等待接收對應節點的訓練結果,之後才開始執行訓練任務。 In Figure 1, the task rebuilder can publish model training tasks on the blockchain. The task processor here can be a separate server, or it can be set on any node in the blockchain. In addition, the aforementioned model training task at least indicates the target model to be trained. It should be noted that after the above-mentioned model training task is released, only the nodes of the first level will perform the training task, and the nodes of other levels will wait to receive the training result of the corresponding node before starting the training task.
以第1個層級的節點1-節點2為例來說,在發佈上述模型訓練任務後,節點1-節點2可以從其在鏈上維護的多種模型中選取出目標模型,並基於其在鏈下維護的私有資料,對選取的目標模型進行訓練。之後,節點1和節點2可以將各自的訓練結果(如,模型梯度和/或模型參數)發送至節點9。節點9可以獲取對應的訓練結果,並將接收的訓練結果和自身獲取的訓練結果融合後,或者直接全部轉發至節點13等等,依次類推,直至到達節點15。節點15可以融合所有的訓練結果,並將融合結果發佈到區塊鏈上,從而各節點基於該融合結果,更新各自維護的目標模型。
Take
在此說明,受限於篇幅,圖1只列出了四個層級的節點,且下一層級的各節點只與上一層級的兩個節點相對應,實際上區塊鏈中還可以包括超過四個層級的節點,且下一層級的各節點可以與上一層級的超過兩個的節點相對應,本說明書對此不作限定。
需要說明的是,區塊鏈上的鏈式雜湊指標可以確保幾乎不可能存在更改或刪除區塊鏈上的記錄的可能性。此外,區塊鏈上的記錄還可以包含指向鏈下私有資料的指標。指標與雜湊指標一起可用於驗證鏈下資料的完整性。這樣一來,區塊鏈還可以保護鏈下資料的完整性。保護鏈上和鏈下記錄的完整性從本質上阻止了欺詐性刪除或更改記錄以謀取個人利益。
另外,區塊鏈提供附加到區塊鏈的記錄的近即時透明性,即這些新記錄對區塊鏈的各個節點可見。這提高了此類節點檢測欺詐性記錄的能力。這種透明性的存在和僅被發現的可能性就將極大地阻止欺詐行為。
綜上,本方案可以確保模型聯合訓練過程的安全性。
圖2為本說明書一個實施例提供的基於區塊鏈的模型聯合訓練方法流程圖。所述方法的執行主體可以為圖1中區塊鏈的第2-4個層級的節點中任一節點。如圖2所示,所述方法具體可以包括:
步驟202,接收對應的上層節點發送的第一訓練結果。
關於上述第一訓練結果,這裡分兩種情況進行說明,第一種,上述上層節點不存在對應的上層節點,也即上層節點為第1個層級的節點,則第一訓練結果基於第一類型結果判定,如,將第一類型結果作為第一訓練結果。這裡的第一類型結果由上層節點基於其在鏈下維護的私有資料,對其在鏈上維護的多種模型中的目標模型進行訓練後得到。第二種,上述上層節點還存在對應的上層節點,也即上層節點為非第1個層級的節點,則第一訓練結果基於第一類型結果和第二類型結果判定,其中,第二類型結果由上層節點基於從其對應的上層節點接收的結果判定。在一個示例中,可以對第一類型結果和第二類型結果進行求平均或者求加權平均得到第一訓練結果。
需要說明的是,上述目標模型可以由任務處理器在發佈模型訓練任務時指定。如,可以為LR模型、GBDT模型或者DNN模型中的任一種。此外,上述第一類型結果或者第二類型結果可以是指目標模型的中間模型梯度和/或中間模型參數。
還需要說明的是,上述第一訓練結果的個數可以基於對應的上層節點的個數判定。也即在對應的上層節點的個數為多個時,上述第一訓練結果的個數也可以為多個。
以下結合圖1對上述第一訓練結果進行說明。
以圖1中第2個層級的節點9為例來說,節點9可以接收節點1和節點2各自發送的第一訓練結果,也即節點9接收到的第一訓練結果的個數為兩個。其中,節點1(或節點2)發送的第一訓練結果即為第一類型結果,即其由節點1(或節點2)在接收到任務處理器在區塊鏈上發佈的模型訓練任務時,基於在鏈下維護的私有資料,對目標模型進行訓練後得到。
而對於第3個層級的節點13,其可以接收節點9和節點10各自發送的第一訓練結果,也即節點13接收到的第一訓練結果的個數為兩個。其中,節點9(或節點10)發送的第一訓練結果基於第一類型結果和第二類型結果判定。對於節點9,對應的第一類型結果由節點9在接收到節點1和節點2發送的第一訓練結果時,基於在鏈下維護的私有資料,對目標模型進行訓練後得到。而對應的第二類型結果是由節點9在對節點1和節點2發送的第一訓練結果融合後得到。
步驟204,基於其鏈下維護的私有資料,對其在鏈上維護的多種模型中的目標模型進行訓練,得到第二訓練結果。
如,第2個層級的節點9可以對目標模型進行訓練,從而得到第二訓練結果。再如,第3個層級的節點13可以對目標模型進行訓練,從而得到第二訓練結果。
步驟206,對第一訓練結果和第二訓練結果進行融合,得到融合結果。
如,可以將第一訓練結果作為新的第二類型結果,並將第二訓練結果作為新的第一類型結果進行求平均或者求加權平均,得到融合結果。
如,第2個層級的節點9,其可以將從節點1和節點2接收的兩個第一訓練結果分別作為兩個新的第二類型結果,此外,還可以將其自身得到的第二訓練結果作為新的第一類型結果。之後,對兩個新的第二類型結果以及新的第一類型結果進行求平均或者求加權平均,得到融合結果。可以理解的是,該融合結果即為節點9發送到節點13的第一訓練結果。
再如,第3個層級的節點13,其可以將從節點9和節點10接收的兩個第一訓練結果分別作為兩個新的第二類型結果,此外,還可以將其自身得到的第二訓練結果作為新的第一類型結果。之後,對兩個新的第二類型結果以及新的第一類型結果進行求平均或者求加權平均,得到融合結果。可以理解的是,該融合結果即為節點13發送到節點15的第一訓練結果。
步驟208,判斷當前層節點是否在最後一個層級。
步驟210,若當前層節點在最後一個層級,則在區塊鏈上廣播融合結果,以使得多個節點基於融合結果對各自在鏈上維護的多種模型中的目標模型進行更新。
以圖1中的第4個層級的節點15為例來說,由於節點15在最後一個層級,其可以其區塊鏈上廣播融合結果。可以理解的是,這裡的融合結果可以是指目標模型的總模型梯度或者總模型參數。
若融合結果為總模型梯度,那麼各節點在接收到總模型梯度之後,可以基於該總模型梯度,判定總模型參數。之後,基於總模型參數,對各自對應的目標模型進行更新。
若融合結果為總模型參數,各節點在接收到總模型參數之後,可以直接基於總模型參數,對各自對應的目標模型進行更新。
以上是對當前層節點在最後一個層級的情況說明,以下對當前層節點不在最後一個層級的情況進行描述。
若當前層節點不在最後一個層級,則將融合結果作為發送到對應的下層節點的第一訓練結果。
以第2個層級的節點9為例來說,其可以將對應的融合結果作為第一訓練結果發送到節點13。
再以第3個層級的節點13為例來說,其可以將對應的融合結果作為第一訓練結果發送到節點15。
需要說明的是,在執行步驟210之後,只完成了目標模型的一輪反覆運算訓練。若一輪反覆運算結束之後,目標模型對應的損失函數是否達到預定的收斂條件,則模型聯合訓練結束;否則,進入下一輪反覆運算,直至目標模型對應的損失函數達到預定的收斂條件。可以理解的是,下一輪反覆運算的過程基於更新後的目標模型執行。
在目標模型對應的損失函數滿足預定的收斂條件時,模型聯合訓練結束。任務處理器可以調用智慧合約,智慧合約被用於計算多個節點各自對應的獎勵,並向多個節點發放各自對應的獎勵,以使多個節點各自對應的虛擬資源增加。
在一個例子中,智慧合約的實現原理如下:假設第t次提交資料(或演算法)對已有模型增益是 A_t,對於每次提交資料(或者演算法)h,定義一個loss function L(h, t)。最後節點對應的獎勵是 A_t – L(h, t)。
上述模型增益可以透過計算Shapley value值得到。Shapley value是透過考慮各個節點做出的貢獻,來公平地分配合作收益。
還需要說明的是,步驟202-步驟210是在模型聯合訓練過程中,非第1個層級的節點所進行的操作。可以理解的是,對於第1個層級的各節點,其可以在接收到任務處理器在區塊鏈上發佈的模型訓練任務時,基於其鏈下維護的私有資料,對其在鏈上維護的多種模型中的目標模型進行訓練,得到第二訓練結果。之後,可以將第二訓練結果作為發送到對應的下層節點(即第2個層級的節點)的第一訓練結果。從而對應的下層節點就可以執行上述步驟202-步驟210,直至到達最後一個層級的節點。
綜上,本說明書實施例提供的基於區塊鏈的模型聯合訓練方法作出了以下幾點創新:第一,創新性的提出把區塊鏈引入聯邦學習中。第二,運用區塊鏈的雜湊指標技術解決鏈上和鏈下資料的完整性。第三,運用區塊鏈的數位簽章技術解決機器學習模型資料來源的真實性。第四,利用區塊鏈的智慧合約技術解決了聯邦學習中的促進資料共用和演算法共建的激勵和懲罰機制問題。第五,在區塊鏈上實現了聯邦學習的過程。
基於上述幾方面的創新點,可以保證各參與方的私有資料和模型訓練結果的真實性、完整性、可溯源性。此外,智慧合約的使用可以促進各參與方之間的協作能力。
圖3為本說明書另一個實施例提供的基於區塊鏈的模型聯合訓練方法流程圖。所述方法的執行主體可以為圖1中區塊鏈的第2-4個層級的節點中任一節點。如圖3所示,所述方法具體可以包括:
步驟302,接收對應的上層節點發送的第一訓練結果。
關於上述第一訓練結果,這裡分兩種情況進行說明,第一種,上述上層節點不存在對應的上層節點,也即上層節點為第1個層級的節點,則第一訓練結果只包括第一類型結果,這裡的第一類型結果由上層節點基於其在鏈下維護的私有資料,對其在鏈上維護的多種模型中的目標模型進行訓練後得到。第二種,上述上層節點還存在對應的上層節點,也即上層節點為非第1個層級的節點,則第一訓練結果包括第一類型結果和第二類型結果。其中,第二類型結果由上層節點基於從其對應的上層節點接收的結果判定。如,該第二類型結果由上層節點對應的各上層節點的訓練結果構成。
需要說明的是,上述目標模型可以由任務處理器在發佈模型訓練任務時指定。如,可以為LR模型、GBDT模型或者DNN模型中的任一種。此外,上述第一類型結果或者第二類型結果可以是指目標模型的中間模型梯度和/或中間模型參數。
還需要說明的是,上述第一訓練結果的個數可以基於對應的上層節點的個數判定。也即在對應的上層節點的個數為多個時,上述第一訓練結果的個數也可以為多個。
以圖1中第2個層級的節點9為例來說,節點9可以接收節點1和節點2各自發送的第一訓練結果,也即節點9接收到的第一訓練結果的個數為兩個。其中,節點1(或節點2)發送的第一訓練結果只包括第一類型結果,即其由節點1(或節點2)在接收到任務處理器在區塊鏈上發佈的模型訓練任務時,基於在鏈下維護的私有資料,對目標模型進行訓練後得到。
而對於第3個層級的節點13,其可以接收節點9和節點10各自發送的第一訓練結果,也即節點13接收到的第一訓練結果的個數為兩個。其中,節點9(或節點10)發送的第一訓練結果包括第一類型結果和第二類型結果。對於節點9,對應的第一類型結果由節點9在接收到節點1和節點2發送的第一訓練結果時,基於在鏈下維護的私有資料,對目標模型進行訓練後得到。而對應的第二類型結果由對應於節點9的節點1和節點2發送的第一訓練結果構成。
步驟304,基於其鏈下維護的私有資料,對其在鏈上維護的多種模型中的目標模型進行訓練,得到第二訓練結果。
如,第2個層級的節點9可以對目標模型進行訓練,從而得到第二訓練結果。再如,第3個層級的節點13可以對目標模型進行訓練,從而得到第二訓練結果。
步驟306,判斷當前層節點是否在最後一個層級。
步驟308,若當前層節點在最後一個層級,則對第一訓練結果和第二訓練結果進行融合,得到融合結果。
如,可以對第一訓練結果和第二訓練結果進行求平均或者求加權平均,得到融合結果。
如,第4個層級的節點15,其可以將從節點13和節點14接收的兩個第一訓練結果和其自身得到的第二訓練結果進行求平均或者求加權平均,得到融合結果。
可以理解的是,這裡相當於是對所有的節點的訓練結果進行匯總計算。
而若當前層節點不在最後一個層級,則將第一訓練結果作為發送到對應的下層節點的第一訓練結果中的第二類型結果,將第二訓練結果作為發送到對應的下層節點的第一訓練結果中的第一類型結果。
如,第2個層級的節點9,其可以將從節點1和節點2接收的兩個第一訓練結果分別作為兩個新的第二類型結果,此外,還可以將其自身得到的第二訓練結果作為新的第一類型結果。之後,將該兩個新的第二類型結果以及新的第一類型結果作為發送到節點13的第一訓練結果中的兩部分。
步驟310,在區塊鏈上廣播融合結果,以使得多個節點基於融合結果對各自在鏈上維護的多種模型中的目標模型進行更新。
可以理解的是,這裡的融合結果可以是指目標模型的總模型梯度或者總模型參數。
若融合結果為總模型梯度,那麼各節點在接收到總模型梯度之後,可以基於該總模型梯度,判定總模型參數。之後,基於總模型參數,對各自對應的目標模型進行更新。
若融合結果為總模型參數,各節點在接收到總模型參數之後,可以直接基於總模型參數,對各自對應的目標模型進行更新。
同樣地,在執行步驟310之後,只完成了目標模型的一輪反覆運算訓練。若一輪反覆運算結束之後,目標模型對應的損失函數是否達到預定的收斂條件,則模型聯合訓練結束;否則,進入下一輪反覆運算,直至目標模型對應的損失函數達到預定的收斂條件。可以理解的是,下一輪反覆運算的過程基於更新後的目標模型執行。
還需要說明的是,步驟302-步驟310是在模型聯合訓練過程中,非第1個層級的節點所進行的操作。可以理解的是,對於第1個層級的各節點,其可以在接收到任務處理器在區塊鏈上發佈的模型訓練任務時,基於其鏈下維護的私有資料,對其在鏈上維護的多種模型中的目標模型進行訓練,得到第二訓練結果。之後,可以將第二訓練結果作為發送到對應的下層節點(即第2個層級的節點)的第一訓練結果。從而對應的下層節點就可以執行上述步驟302-步驟310,直至到達最後一個層級的節點。
本說明書實施例提供的基於區塊鏈的模型聯合訓練方法,可以基於區塊鏈來實現模型的聯合訓練,由此可以保證模型聯合訓練過程的安全可靠。
與上述基於區塊鏈的模型聯合訓練方法對應地,本說明書一個實施例還提供的一種基於區塊鏈的模型聯合訓練裝置,該區塊鏈包括多個具有層級關係的節點,且相鄰兩個層級的節點之間具有對應關係。多個節點中的每個節點在鏈下維護有私有資料,在鏈上維護有多種模型。該裝置設置於區塊鏈的當前層節點,如圖4所示,該裝置可以包括:
接收單元402,用於接收對應的上層節點發送的第一訓練結果。該第一訓練結果至少基於第一類型結果判定,第一類型結果由上層節點基於其在鏈下維護的私有資料,對其在鏈上維護的多種模型中的目標模型進行訓練後得到。
若上層節點還存在對應的上層節點,則第一訓練結果基於第一類型結果和第二類型結果共同判定,第二類型結果由上層節點基於從其對應的上層節點接收的結果判定。
訓練單元404,用於基於其鏈下維護的私有資料,對其在鏈上維護的多種模型中的目標模型進行訓練,得到第二訓練結果。
融合單元406,用於對接收單元402接收的第一訓練結果和訓練單元404訓練得到的第二訓練結果進行融合,得到融合結果。
融合單元406具體用於:
將第一訓練結果作為新的第二類型結果,並將第二訓練結果作為新的第一類型結果進行求平均或者求加權平均,得到融合結果。
這裡的融合結果可以包括目標模型的總模型梯度和/或總模型參數。
判斷單元408,用於判斷當前層節點是否在最後一個層級。
廣播單元410,用於若判斷單元408判斷當前層節點在最後一個層級,則在區塊鏈上廣播融合結果,以使得多個節點基於融合結果對各自在鏈上維護的多種模型中的目標模型進行更新。
可選地,該裝置還可以包括:
發送單元(圖中未示出),用於若當前層節點不在最後一個層級,則將融合結果作為發送到對應的下層節點的第一訓練結果。
可選地,該裝置還可以包括:
調用單元(圖中未示出),用於在目標模型對應的損失函數滿足預定的收斂條件時,調用智慧合約,該智慧合約被用於計算多個節點各自對應的獎勵,並向多個節點發放各自對應的獎勵,以使多個節點各自對應的虛擬資源增加。
本說明書上述實施例裝置的各功能模組的功能,可以透過上述方法實施例的各步驟來實現,因此,本說明書一個實施例提供的裝置的具體工作過程,在此不復贅述。
本說明書一個實施例提供的基於區塊鏈的模型聯合訓練裝置,可以保證模型聯合訓練過程的安全可靠。
與上述基於區塊鏈的模型聯合訓練方法對應地,本說明書一個實施例還提供的一種基於區塊鏈的模型聯合訓練裝置,該區塊鏈包括多個具有層級關係的節點,且相鄰兩個層級的節點之間具有對應關係。多個節點中的每個節點在鏈下維護有私有資料,在鏈上維護有多種模型。該裝置設置於區塊鏈的當前層節點,如圖5所示,該裝置可以包括:
接收單元502,用於接收對應的上層節點發送的第一訓練結果。該第一訓練結果至少包括第一類型結果,第一類型結果由上層節點基於其在鏈下維護的私有資料,對其在鏈上維護的多種模型中的目標模型進行訓練後得到。
若上層節點還存在對應的上層節點,則第一訓練結果還包括第二類型結果,第二類型結果由上層節點基於從其對應的上層節點接收的結果判定。
訓練單元504,用於基於其鏈下維護的私有資料,對其在鏈上維護的多種模型中的目標模型進行訓練,得到第二訓練結果。
判斷單元506,用於判斷當前層節點是否在最後一個層級。
融合單元508,用於若判斷單元506判斷當前層節點在最後一個層級,則對第一訓練結果和第二訓練結果進行融合,得到融合結果。
融合單元508具體可以用於:
對第一訓練結果和第二訓練結果進行求平均或者求加權平均,得到融合結果。
廣播單元510,用於在區塊鏈上廣播融合單元508得到的融合結果,以使得多個節點基於融合結果對各自在鏈上維護的多種模型中的目標模型進行更新。
可選地,該裝置還可以包括:
發送單元(圖中未示出),用於若判斷單元506判斷當前層節點不在最後一個層級,則將第一訓練結果作為發送到對應的下層節點的第一訓練結果中的第二類型結果,將第二訓練結果作為發送到對應的下層節點的第一訓練結果中的第一類型結果。
本說明書上述實施例裝置的各功能模組的功能,可以透過上述方法實施例的各步驟來實現,因此,本說明書一個實施例提供的裝置的具體工作過程,在此不復贅述。
本說明書一個實施例提供的基於區塊鏈的模型聯合訓練裝置,可以保證模型聯合訓練過程的安全可靠。
另一方面,本說明書的實施例提供了一種電腦可讀儲存媒體,其上儲存有電腦程式,當所述電腦程式在電腦中執行時,令電腦執行圖2或圖3所示的方法。
另一方面,本說明書的實施例提供一種計算設備,包括記憶體和處理器,所述記憶體中儲存有可執行代碼,所述處理器執行所述可執行代碼時,實現圖2或圖3所示的方法。
本說明書中的各個實施例均採用遞進的方式描述,各個實施例之間相同相似的部分互相參見即可,每個實施例重點說明的都是與其他實施例的不同之處。尤其,對於設備實施例而言,由於其基本相似於方法實施例,所以描述的比較簡單,相關之處參見方法實施例的部分說明即可。
結合本說明書公開內容所描述的方法或者演算法的步驟可以硬體的方式來實現,也可以是由處理器執行軟體指令的方式來實現。軟體指令可以由相應的軟體模組組成,軟體模組可以被存放於RAM記憶體、快閃記憶體、ROM記憶體、EPROM記憶體、EEPROM記憶體、暫存器、硬碟、移動硬碟、CD-ROM或者本領域熟知的任何其它形式的儲存媒體中。一種示例性的儲存媒體耦合至處理器,從而使處理器能夠從該儲存媒體讀取資訊,且可向該儲存媒體寫入資訊。當然,儲存媒體也可以是處理器的組成部分。處理器和儲存媒體可以位於ASIC中。另外,該ASIC可以位於伺服器中。當然,處理器和儲存媒體也可以作為分立元件存在於伺服器中。
本領域技術人員應該可以意識到,在上述一個或多個示例中,本發明所描述的功能可以用硬體、軟體、韌體或它們的任意組合來實現。當使用軟體實現時,可以將這些功能儲存在電腦可讀媒體中或者作為電腦可讀媒體上的一個或多個指令或代碼進行傳輸。電腦可讀媒體包括電腦儲存媒體和通訊媒體,其中通訊媒體包括便於從一個地方向另一個地方傳送電腦程式的任何媒體。儲存媒體可以是通用或專用電腦能夠存取的任何可用媒體。
上述對本說明書特定實施例進行了描述。其它實施例在所附申請專利範圍的範圍內。在一些情況下,在申請專利範圍中記載的動作或步驟可以按照不同於實施例中的順序來執行並且仍然可以實現期望的結果。另外,在圖式中描繪的過程不一定要求示出的特定順序或者連續順序才能實現期望的結果。在某些實施方式中,多工處理和並行處理也是可以的或者可能是有利的。
以上所述的具體實施方式,對本說明書的目的、技術方案和有益效果進行了進一步詳細說明,所應理解的是,以上所述僅為本說明書的具體實施方式而已,並不用於限定本說明書的保護範圍,凡在本說明書的技術方案的基礎之上,所做的任何修改、等同替換、改進等,均應包括在本說明書的保護範圍之內。
It is explained here that due to space limitations, Figure 1 only lists four levels of nodes, and each node of the next level only corresponds to the two nodes of the previous level. In fact, the blockchain can also include more than There are four levels of nodes, and each node of the next level can correspond to more than two nodes of the previous level, which is not limited in this specification.
It should be noted that the chain hash indicator on the blockchain can ensure that it is almost impossible to change or delete records on the blockchain. In addition, the records on the blockchain can also contain indicators that point to private data off the chain. The indicator and the hash indicator together can be used to verify the integrity of the off-chain data. In this way, the blockchain can also protect the integrity of the data off the chain. Protecting the integrity of on-chain and off-chain records essentially prevents fraudulent deletion or alteration of records for personal gain.
In addition, the blockchain provides near-instant transparency of records attached to the blockchain, that is, these new records are visible to each node of the blockchain. This improves the ability of such nodes to detect fraudulent records. The existence of this transparency and the mere possibility of being discovered will greatly deter fraud.
In summary, this solution can ensure the safety of the model joint training process.
Fig. 2 is a flowchart of a model joint training method based on blockchain provided by an embodiment of this specification. The execution subject of the method can be any node among the nodes of the 2-4th level of the blockchain in FIG. 1. As shown in Figure 2, the method may specifically include:
Step 202: Receive the first training result sent by the corresponding upper node.
Regarding the above-mentioned first training result, here is explained in two cases. In the first case, the above-mentioned upper-level node does not have a corresponding upper-level node, that is, the upper-level node is a node of the first level, and the first training result is based on the first type The result is determined, for example, the result of the first type is used as the first training result. The first type of result here is obtained by the upper node after training the target model of the multiple models maintained on the chain based on the private data maintained under the chain. In the second type, the above-mentioned upper-level node also has a corresponding upper-level node, that is, the upper-level node is a non-first-level node, and the first training result is determined based on the first-type result and the second-type result, where the second-type result It is determined by the upper node based on the result received from its corresponding upper node. In an example, the first training result can be obtained by averaging the results of the first type and the results of the second type or by calculating a weighted average.
It should be noted that the above-mentioned target model may be specified by the task processor when issuing the model training task. For example, it can be any of LR model, GBDT model or DNN model. In addition, the above-mentioned first type result or second type result may refer to the intermediate model gradient and/or the intermediate model parameter of the target model.
It should also be noted that the number of the aforementioned first training results may be determined based on the number of corresponding upper-level nodes. That is, when the number of corresponding upper-layer nodes is multiple, the number of the above-mentioned first training results may also be multiple.
The above first training result will be described below in conjunction with FIG. 1.
Taking node 9 at the second level in Figure 1 as an example, node 9 can receive the first training results sent by
1,2,3,4,5,6,7,8,9,10,11,12,13,14,15:節點 202,204,206,208,210,302,304,306,308,310:步驟 402,502:接收單元 404,504:訓練單元 406,508:融合單元 408,506:判斷單元 410,510:廣播單元 1,2,3,4,5,6,7,8,9,10,11,12,13,14,15: node 202,204,206,208,210,302,304,306,308,310: steps 402, 502: receiving unit 404, 504: training unit 406,508: Fusion unit 408,506: Judgment unit 410,510: Broadcast unit
為了更清楚地說明本說明書實施例的技術方案,下面將對實施例描述中所需要使用的圖式作簡單地介紹,顯而易見地,下面描述中的圖式僅僅是本說明書的一些實施例,對於本領域普通技術人員來講,在不付出創造性勞動的前提下,還可以根據這些圖式獲得其它的圖式。 [圖1]為本說明書提供的基於區塊鏈的模型聯合訓練方法實施場景示意圖; [圖2]為本說明書一個實施例提供的基於區塊鏈的模型聯合訓練方法流程圖; [圖3]為本說明書另一個實施例提供的基於區塊鏈的模型聯合訓練方法流程圖; [圖4]為本說明書一個實施例提供的基於區塊鏈的模型聯合訓練裝置示意圖; [圖5]為本說明書另一個實施例提供的基於區塊鏈的模型聯合訓練裝置示意圖。 In order to explain the technical solutions of the embodiments of this specification more clearly, the following will briefly introduce the drawings that need to be used in the description of the embodiments. Obviously, the drawings in the following description are only some embodiments of the specification. For those of ordinary skill in the art, other schemas can be obtained based on these schemas without creative work. [Figure 1] A schematic diagram of the implementation scenario of the blockchain-based model joint training method provided in this specification; [Fig. 2] A flowchart of a model joint training method based on blockchain provided by an embodiment of this specification; [Figure 3] This is a flowchart of a blockchain-based model joint training method provided by another embodiment of this specification; [Figure 4] A schematic diagram of a block chain-based model joint training device provided by an embodiment of this specification; [Figure 5] is a schematic diagram of a block chain-based model joint training device provided by another embodiment of this specification.
Claims (18)
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911252312.0 | 2019-12-09 | ||
CN201911252312.0A CN111062044B (en) | 2019-12-09 | 2019-12-09 | Model joint training method and device based on block chain |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202123047A TW202123047A (en) | 2021-06-16 |
TWI732557B true TWI732557B (en) | 2021-07-01 |
Family
ID=70300426
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW109116403A TWI732557B (en) | 2019-12-09 | 2020-05-18 | Model joint training method and device based on blockchain |
Country Status (3)
Country | Link |
---|---|
CN (2) | CN111062044B (en) |
TW (1) | TWI732557B (en) |
WO (1) | WO2021114929A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI797808B (en) * | 2021-11-02 | 2023-04-01 | 財團法人資訊工業策進會 | Machine learning system and method |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111062044B (en) * | 2019-12-09 | 2021-03-23 | 支付宝(杭州)信息技术有限公司 | Model joint training method and device based on block chain |
CN111581671B (en) * | 2020-05-11 | 2021-05-25 | 笵成科技南京有限公司 | Digital passport protection method combining deep neural network and block chain |
CN111539731A (en) * | 2020-06-19 | 2020-08-14 | 支付宝(杭州)信息技术有限公司 | Block chain-based federal learning method and device and electronic equipment |
CN111966698B (en) * | 2020-07-03 | 2023-06-13 | 华南师范大学 | Block chain-based trusted federation learning method, system, device and medium |
CN112257063B (en) * | 2020-10-19 | 2022-09-02 | 上海交通大学 | Cooperative game theory-based detection method for backdoor attacks in federal learning |
CN112714050B (en) * | 2020-12-22 | 2022-05-31 | 齐鲁工业大学 | Data sharing and privacy protection method based on block chain and federal learning |
CN113111124B (en) * | 2021-03-24 | 2021-11-26 | 广州大学 | Block chain-based federal learning data auditing system and method |
CN112733967B (en) * | 2021-03-30 | 2021-06-29 | 腾讯科技(深圳)有限公司 | Model training method, device, equipment and storage medium for federal learning |
CN113177645B (en) * | 2021-06-29 | 2021-09-28 | 腾讯科技(深圳)有限公司 | Federal learning method and device, computing equipment and storage medium |
CN113609508B (en) * | 2021-08-24 | 2023-09-26 | 上海点融信息科技有限责任公司 | Federal learning method, device, equipment and storage medium based on blockchain |
CN113836566B (en) * | 2021-11-26 | 2022-03-29 | 腾讯科技(深圳)有限公司 | Model processing method, device, equipment and medium based on block chain system |
CN114429222A (en) * | 2022-01-19 | 2022-05-03 | 支付宝(杭州)信息技术有限公司 | Model training method, device and equipment |
CN114785810B (en) * | 2022-03-31 | 2023-05-16 | 海南师范大学 | Tree-like broadcast data synchronization method suitable for federal learning |
TWI807961B (en) * | 2022-08-11 | 2023-07-01 | 財團法人亞洲大學 | Multi-layer federated learning system and methodology based on distributed clustering |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019086553A1 (en) * | 2017-10-31 | 2019-05-09 | Twinpeek | Privacy management |
US20190268163A1 (en) * | 2017-04-27 | 2019-08-29 | Factom, Inc. | Secret Sharing via Blockchain Distribution |
CN110472745A (en) * | 2019-08-06 | 2019-11-19 | 深圳前海微众银行股份有限公司 | Information transferring method and device in a kind of federal study |
CN110490738A (en) * | 2019-08-06 | 2019-11-22 | 深圳前海微众银行股份有限公司 | A kind of federal learning method of mixing and framework |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160256480A1 (en) * | 2015-03-03 | 2016-09-08 | Wintley PHIPPS | Therapeutic composition for wound healing |
US20180089587A1 (en) * | 2016-09-26 | 2018-03-29 | Google Inc. | Systems and Methods for Communication Efficient Distributed Mean Estimation |
US11249982B2 (en) * | 2018-01-19 | 2022-02-15 | Acronis International Gmbh | Blockchain-based verification of machine learning |
US11526745B2 (en) * | 2018-02-08 | 2022-12-13 | Intel Corporation | Methods and apparatus for federated training of a neural network using trusted edge devices |
CN108491266B (en) * | 2018-03-09 | 2021-11-16 | 联想(北京)有限公司 | Data processing method and device based on block chain and electronic equipment |
EP3564873B1 (en) * | 2018-04-30 | 2022-11-30 | Hewlett Packard Enterprise Development LP | System and method of decentralized machine learning using blockchain |
CN108898219A (en) * | 2018-06-07 | 2018-11-27 | 广东工业大学 | A kind of neural network training method based on block chain, device and medium |
CN109167695B (en) * | 2018-10-26 | 2021-12-28 | 深圳前海微众银行股份有限公司 | Federal learning-based alliance network construction method and device and readable storage medium |
CN109698822A (en) * | 2018-11-28 | 2019-04-30 | 众安信息技术服务有限公司 | Combination learning method and system based on publicly-owned block chain and encryption neural network |
CN110135846A (en) * | 2019-05-17 | 2019-08-16 | 杭州云象网络技术有限公司 | A kind of behavior sequence automatic classification method of block chain node |
CN110490330A (en) * | 2019-08-16 | 2019-11-22 | 安徽航天信息有限公司 | A kind of distributed machines learning system based on block chain |
CN110991622B (en) * | 2019-08-22 | 2021-06-04 | 腾讯科技(深圳)有限公司 | Machine learning model processing method based on block chain network and node |
CN111062044B (en) * | 2019-12-09 | 2021-03-23 | 支付宝(杭州)信息技术有限公司 | Model joint training method and device based on block chain |
-
2019
- 2019-12-09 CN CN201911252312.0A patent/CN111062044B/en active Active
- 2019-12-09 CN CN202110508630.XA patent/CN113268776B/en active Active
-
2020
- 2020-05-18 TW TW109116403A patent/TWI732557B/en active
- 2020-10-28 WO PCT/CN2020/124489 patent/WO2021114929A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190268163A1 (en) * | 2017-04-27 | 2019-08-29 | Factom, Inc. | Secret Sharing via Blockchain Distribution |
WO2019086553A1 (en) * | 2017-10-31 | 2019-05-09 | Twinpeek | Privacy management |
CN110472745A (en) * | 2019-08-06 | 2019-11-19 | 深圳前海微众银行股份有限公司 | Information transferring method and device in a kind of federal study |
CN110490738A (en) * | 2019-08-06 | 2019-11-22 | 深圳前海微众银行股份有限公司 | A kind of federal learning method of mixing and framework |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI797808B (en) * | 2021-11-02 | 2023-04-01 | 財團法人資訊工業策進會 | Machine learning system and method |
Also Published As
Publication number | Publication date |
---|---|
TW202123047A (en) | 2021-06-16 |
CN113268776A (en) | 2021-08-17 |
CN113268776B (en) | 2023-03-07 |
WO2021114929A1 (en) | 2021-06-17 |
CN111062044B (en) | 2021-03-23 |
CN111062044A (en) | 2020-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI732557B (en) | Model joint training method and device based on blockchain | |
EP3659086B1 (en) | Computer-implemented system and method for managing a large distributed memory pool in a blockchain network | |
US20210194887A1 (en) | Blockchain system and permission management method thereof | |
JP2020515092A (en) | Blockchain monitoring and management | |
CN108615195B (en) | Resource transfer information transmission method and device, storage medium and electronic device | |
CN110751485B (en) | Data processing method and equipment | |
CN110070445A (en) | A kind of transaction processing method and device based on block catenary system | |
Jiang et al. | A new evidential trust model for open distributed systems | |
CN112364366A (en) | Block chain-based alliance data sharing access control method and system | |
JP2020060821A (en) | Organization management support system, organization management support method and organization management support apparatus | |
CN115796261A (en) | Block chain-based lightweight group consensus federated learning method | |
CN113469811A (en) | Block chain transaction processing method and device | |
CN110784324B (en) | Node admission method and device | |
CN112615868B (en) | Method and device for transmitting authenticatable message across chains | |
Charalampidis et al. | When distributed ledger technology meets internet of things--benefits and challenges | |
Mohsenzadeh et al. | A novel reputation-based consensus framework (RCF) in distributed ledger technology | |
Zhu | [Retracted] Research on Real‐Time Tracking Algorithm of E‐Commerce Logistics Information Based on Blockchain Technology | |
CN113239255B (en) | Heterogeneous data resource sharing method and device, computer equipment and medium | |
CN115708119A (en) | Cross-chain transaction system, method, device and storage medium | |
Katal et al. | Blockchain consensus algorithms: study and challenges | |
Nacer et al. | Blockchain as a Complementary Technology for the Internet of Things: A Survey | |
US20230409400A1 (en) | System for resource allocation and monitoring | |
Benčić | Mitigating the impact of malicious nodes in distributed ledger networks with resource constrained nodes | |
WO2023165793A1 (en) | Distributed software agents for managing a decentralised peer-to-peer storage network | |
CN115811519A (en) | Physical examination archive storage method, device, equipment and medium based on alliance chain |