CN113095513A - 双层公平联邦学习方法、装置和存储介质 - Google Patents
双层公平联邦学习方法、装置和存储介质 Download PDFInfo
- Publication number
- CN113095513A CN113095513A CN202110448566.0A CN202110448566A CN113095513A CN 113095513 A CN113095513 A CN 113095513A CN 202110448566 A CN202110448566 A CN 202110448566A CN 113095513 A CN113095513 A CN 113095513A
- Authority
- CN
- China
- Prior art keywords
- model
- client
- local
- global
- global model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种双层公平联邦学习方法,其包括如下步骤:获取多个客户端的局部模型;中央服务端对所有局部模型进行聚合处理,得到全局模型;每一所述客户端分别依据所述全局模型对对应的局部模型进行约束处理,使对应的局部模型的模型参数接近所述全局模型的模型参数,以得到对应的新的局部模型;所述中央服务端依据所有新的局部模型更新所述全局模型;本发明能够在***露个体客户端的内部数据的情况下,依据各个客户端的非独立同分布数据生成具有较高泛化能力的全局模型,且各个客户端的局部模型依据全局模型进行调整实现所有客户端的模型训练共享。
Description
技术领域
本发明涉及联邦学***联邦学习方法、装置和存储介质。
背景技术
机器学习在各行各业中得到了越来越广泛的关注和应用。但是它需要大量的、全方位的数据来训练模型。而在现实世界中,大多数企业只有有限和单一方面的数据,传统的做法是将跨组织的数据融合到一个中央服务器中。随着越来越多的公司意识到数据安全和用户隐私的问题,不同公司之间的数据集成面临着巨大的阻力。因此,在大多数行业中,数据以孤岛的形式存在。
近年来,联邦学***性引起了人们的关注。联邦学***性分为两类:协作公平性和最小最大公平性。协作公平认为,由于不同客户的贡献可能不同,客户应该得到与其贡献相称的不同机器学***性认为,要减少客户机模型性能差异,为所有客户机提供一个高质量的模型。本专利关注的是最小最大公平性。
现有的联邦学***性主要关注最小最大公平性。联邦学习的兴起为解决数据孤岛问题提供了新的学习思路。联邦学习使得分布在不同地点的多个客户端在***露数据的情况下,建立一个共享的全局机器学习模型。
然而,传统的联邦学***性的联邦学习受到越来越多的关注,即降低模型在各个客户端的性能差异,这是符合实际意义。一方面,在联帮学习中,如果客户端无法得到好的模型,它可以随时退出学习过程,中心服务器需要确保每个客户机的效果,鼓励更多的客户端参与培训,以获得更好的全局模型。另一方面,减少客户端的模型性能差异可以提高全局模型的泛化能力,比如,如果模型在数据集D1和D2下损失是相同的,那么说明在D1数据上训练的模型可以在D2上很好地推广,反之亦然。
目前q-Fair federated learning(q-FFL)算法是比较受欢迎的最小最大公平性联邦学***性。
但是,q-FFL算法存在以下缺点:首先,它没有考虑到联邦学***性的定义,由于方差是是一个绝对指标,与准确度的量级有关,会造成评估不准确。
发明内容
本发明的目的是提供双层公平联邦学习方法、装置和存储介质,能够在***露个体客户端的内部数据的情况下,依据各个客户端的非独立同分布数据生成具有较高泛化能力的全局模型,且各个客户端的局部模型依据全局模型进行调整实现所有客户端的模型训练共享。
为了实现上有目的,本发明公开了一种双层公平联邦学习方法,其包括如下步骤:
S1、获取多个客户端的局部模型;
S2、中央服务端对所有局部模型进行聚合处理,得到全局模型;
S3、每一所述客户端分别依据所述全局模型对对应的局部模型进行约束处理,使对应的局部模型的模型参数接近所述全局模型的模型参数,以得到对应的新的局部模型;
S4、所述中央服务端依据所有新的局部模型更新所述全局模型。
较佳地,所述步骤(1)具体包括如下步骤:
S11、每一客户端分别搜集对应的内部数据,所述内部数据为非独立同分布数据;
S12、对每一客户端的内部数据进行模型训练,以构建对应的局部模型。
较佳地,所述步骤(4)之前还包括:
S401、依据每一客户端的内部数据对对应的新的局部模型进行迭代训练。
较佳地,所述内部数据包括当前客户端的历史内部数据和最新的内部数据。
较佳地,所述步骤(3)具体包括:
S31、依据所述全局模型对每一所述客户端对应的局部模型添加对应的修正变量,以使对应的局部模型的模型参数接近所述全局模型的模型参数,以得到对应的新的局部模型。
具体地,将第i个客户端的损失函数定义为其中,Wi为第i个客户端对应的局部模型,Xi为第i个客户端的输入数据,Yi为第i个客户端对应Xi的真实标签,F为中央服务端以基尼系数为测度的目标函数,f为客户端的目标函数,将第i个客户端的对应的局部模型对应的修正变量定义为则第i个客户端被约束处理后的损失函数为其中,W为全局模型。
具体地,所述中央服务端依据公式将所有新的局部模型更新所述全局模型,其中,W(t)为迭代第t次后的全局模型,W(t+1)为迭代第t+1次后的全局模型,K为客户端的总数量,Wi (t)为第i个客户端迭代第t次后对应的局部模型,λ为聚合参数。
具体地,所述步骤(4)具体包括:
S41、所述中央服务端依据所有新的局部模型以模型距离无关性或模型性能公平性更新所述全局模型;
相应地,本发明还公开了一种双层公平联邦学习装置,其包括:
获取模块,用于获取多个客户端的局部模型;
聚合模块,用于中央服务端对所有局部模型进行聚合处理,得到全局模型;
约束模块,用于每一所述客户端分别依据所述全局模型对对应的局部模型进行约束处理,使对应的局部模型的模型参数接近所述全局模型的模型参数,以得到对应的新的局部模型;
更新模块,用于所述中央服务端依据所有新的局部模型更新所述全局模型。
相应地,本发明还公开了一种存储介质,用于存储计算机程序,所述程序被处理器执行时实现如上所述的双层公平联邦学习方法。
与现有技术相比,本发明一方面能够在***露个体客户端的内部数据的情况下,中央服务端依据各个客户端的非独立同分布数据生成具有较高泛化能力的全局模型,且各个客户端的局部模型依据全局模型进行调整实现所有客户端的模型训练共享;另一方面,各个客户端时通过对局部模型进行约束处理以使局部模型的模型参数接近所述全局模型的模型参数,使得客户端的局部模型能够具有最大限度的准确性,以满足实际使用需求。
附图说明
图1是本发明的双层公平联邦学习方法中中央服务端和各个客户端的结构关系示意图;
图2是本发明的双层公平联邦学习方法的执行流程图;
图3是本发明的双层公平联邦学习装置的结构示意图。
具体实施方式
为详细说明本发明的技术内容、构造特征、所实现目的及效果,以下结合实施方式并配合附图详予说明。
请参阅图1-图2所示,本实施例的双层公平联邦学习方法包括如下步骤:
S1、获取多个客户端2的局部模型;
S2、中央服务端1对所有局部模型进行聚合处理,得到全局模型;
S3、每一所述客户端2分别依据所述全局模型对对应的局部模型进行约束处理,使对应的局部模型的模型参数接近所述全局模型的模型参数,以得到对应的新的局部模型;
S4、所述中央服务端1依据所有新的局部模型更新所述全局模型。
通过重复步骤(2)至步骤(5)以迭代更新局部模型,从而迭代更新全局模型,直至所有的局部模型收敛于所述全局模型。使所有的局部模型收敛于所述全局模型的目的在于供每个局部模型最大化地学***性和稳定性。
较佳地,所述步骤(1)具体包括如下步骤:
S11、每一客户端2分别搜集对应的内部数据,所述内部数据为非独立同分布数据;
S12、对每一客户端2的内部数据进行模型训练,以构建对应的局部模型。
可以理解的是,由于每个客户端2的局部模型是通过其内部数据进行模型训练得到的,因此,每个局部模型具有该客户端2的特征信息,但局部模型本身不具有该客户端2的内部数据,因此,将该客户端2的局部模型供中央服务端1聚合,不会造成该客户端2的内部数据泄漏,但由于全局模型是由全部局部模型聚合形成的,因此,全局模型集成了各个客户端2的特征信息,使得全局模型具有一定的泛化能力,能够在一定程度上适应其他的没有加入本实施例的联邦学***性。
本实施例所指的双层包括上层和下层,上层指中央服务端1,本实施例的上层只包括一个中央服务端1;下层指客户端2,本实施例的下层包括K个客户端2。中央服务端1和各个客户端2能够独立控制相应变量以优化对应模型的模型参数,中央服务端1能够与每一客户端2进行通讯,中央客户端2不能完全决定每一客户端2的行为,但中央客户端2的决策可能会影响每一客户端2的行为,同样地,每一客户端2的决策不仅决定自身的行为,也可能影响中央服务端1的行为。也就是说,中央客户端2和每一客户端2之间是相互依存、相互影响的关系。
较佳地,所述步骤(4)之前还包括:
S401、依据每一客户端2的内部数据对对应的新的局部模型进行迭代训练。
较佳地,所述内部数据包括当前客户端2的历史内部数据和最新的内部数据。
可以理解的是,依据内部数据对新的局部模型进行迭代训练,以使得新的局部模型能够更加贴合当前客户端2,且由于客户端2的内部数据会随着时间的变化而发生动态变化,因此,将历史内部数据和最新的内部数据作为模型训练数据,对新的局部模型进行模型训练,能够保证新的局部模型的模型参数更能符合客户端2的当前状态。
较佳地,所述步骤(3)具体包括:
S31、依据所述全局模型对每一所述客户端2对应的局部模型添加对应的修正变量,以使对应的局部模型的模型参数接近所述全局模型的模型参数,以得到对应的新的局部模型。
具体地,将第i个客户端2的损失函数定义为其中,Wi为第i个客户端2对应的局部模型,Xi为第i个客户端2的输入数据,Yi为第i个客户端2对应Xi的真实标签,F为中央服务端1以基尼系数为测度的目标函数,f为客户端2的目标函数,将第i个客户端2的对应的局部模型对应的修正变量定义为则第i个客户端2被约束处理后的损失函数为其中,W为全局模型。
由于F为中央服务端1以基尼系数为测度的目标函数,基尼系数是一个相对指标,具有强洛伦兹一致性,适于准确评估全局模型的公平性。将F定义为中央服务端1以基尼系数为测度的目标函数,能够相对传统以方法评估公平性更准确,且后续能够利用基尼系数分解不公平水平的构成要素和不公平程度的变化,以便于对学习过程进行更进一步的渗入分析。
进一步地,所述中央服务端1依据公式将所有新的局部模型更新所述全局模型,其中,W(t)为迭代第t次后的全局模型,W(t+1)为迭代第t+1次后的全局模型,K为客户端2的总数量,Wi (t)为第i个客户端2迭代第t次后对应的局部模型,λ为聚合参数。
可以理解的是,为了保证全局模型在单个局部模型上的收敛稳定性,本实施例没有用全局模型代替第i个客户端2的局部模型Wi,而是对每个局部模型进行优化调整后添加到全局模型上,以更新全局模型,从而在后续的迭代中实现全局模型和每个局部模型的不断优化。
值得注意的是,由公式可知,W(t+1)的值能够根据局部模型的数量进行变化,且各个模型不涉及到客户端2的具体内部数据,仅涉及到由具体内部数据构建的局部模型的特征信息,因此,本实施例的双层公平联邦学习方法的客户端2能够中途退出学习,也能够中途加入学习,从而使得本实施例的学习方法具有更高的适应性
具体地,所述步骤(4)具体包括:
S41、所述中央服务端1依据所有新的局部模型以模型距离无关性或模型性能公平性更新所述全局模型。
可以理解的是,当聚合参数λ对所有客户端2都相同时,远离全局模型的局部模型将获得优势。因此,为了实现模型距离的无关性,需要对远离全局模型的局部模型进行约束,使全局模型到所有局部模型的更新是一致的,从而体现全局模型的公平性。实际上,局部模型每迭代一次,会越靠近全局模型,当迭代至一定程度时,局部模型会收敛于全局模型。
可以理解的是,针对局部模型的性能差异,对客户端2的更新施加不同的权重,赋予损失较高的客户更大的权重,从而降低全局模型在不同客户端2上的性能差异,提高公平性。不同局部模型的聚合参数λ根据实际情况在上述三个定义上进行选取,在此不做详细讨论。
至此,本实施例完成了全局模型和各个局部模型的构建及更新迭代,为了对全局模型和各个局部模型进行优化求解,本实施例还提供了解决全局模型和各个局部模型的双层规划问题:
请参阅图1-图3所示,相应地,本发明还公开了一种双层公平联邦学习装置,其包括:
获取模块10,用于获取多个客户端2的局部模型;
聚合模块20,用于中央服务端1对所有局部模型进行聚合处理,得到全局模型;
约束模块30,用于每一所述客户端2分别依据所述全局模型对对应的局部模型进行约束处理,使对应的局部模型的模型参数接近所述全局模型的模型参数,以得到对应的新的局部模型;
更新模块40,用于所述中央服务端1依据所有新的局部模型更新所述全局模型。
相应地,本发明还公开了一种存储介质,用于存储计算机程序,所述程序被处理器执行时实现如上所述的双层公平联邦学习方法。
结合图1-图3,本发明一方面能够在***露个体客户端2的内部数据的情况下,中央服务端1依据各个客户端2的非独立同分布数据生成具有较高泛化能力的全局模型,且各个客户端2的局部模型依据全局模型进行调整实现所有客户端2的模型训练共享;另一方面,各个客户端2时通过对局部模型进行约束处理以使局部模型的模型参数接近所述全局模型的模型参数,使得客户端2的局部模型能够具有最大限度的准确性,以满足实际使用需求。
以上所揭露的仅为本发明的优选实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明申请专利范围所作的等同变化,仍属本发明所涵盖的范围。
Claims (10)
1.一种双层公平联邦学习方法,其特征在于,包括如下步骤:
获取多个客户端的局部模型;
中央服务端对所有局部模型进行聚合处理,得到全局模型;
每一所述客户端分别依据所述全局模型对对应的局部模型进行约束处理,使对应的局部模型的模型参数接近所述全局模型的模型参数,以得到对应的新的局部模型;
所述中央服务端依据所有新的局部模型更新所述全局模型。
2.如权利要求1所述的双层公平联邦学习方法,其特征在于,所述获取多个客户端的局部模型,具体包括如下步骤:
每一客户端分别搜集对应的内部数据,所述内部数据为非独立同分布数据;
对每一客户端的内部数据进行模型训练,以构建对应的局部模型。
3.如权利要求1所述的双层公平联邦学习方法,其特征在于,所述中央服务端依据所有新的局部模型更新所述全局模型,之前还包括:
依据每一客户端的内部数据对对应的新的局部模型进行迭代训练。
4.如权利要求1所述的双层公平联邦学习方法,其特征在于,所述内部数据包括当前客户端的历史内部数据和最新的内部数据。
5.如权利要求1所述的双层公平联邦学习方法,其特征在于,所述每一所述客户端分别依据所述全局模型对对应的局部模型进行约束处理,使对应的局部模型的模型参数接近所述全局模型的模型参数,以得到对应的新的局部模型,具体包括:
依据所述全局模型对每一所述客户端对应的局部模型添加对应的修正变量,以使对应的局部模型的模型参数接近所述全局模型的模型参数,以得到对应的新的局部模型。
9.一种双层公平联邦学习装置,其特征在于,包括:
获取模块,用于获取多个客户端的局部模型;
聚合模块,用于中央服务端对所有局部模型进行聚合处理,得到全局模型;
约束模块,用于每一所述客户端分别依据所述全局模型对对应的局部模型进行约束处理,使对应的局部模型的模型参数接近所述全局模型的模型参数,以得到对应的新的局部模型;
更新模块,用于所述中央服务端依据所有新的局部模型更新所述全局模型。
10.一种存储介质,用于存储计算机程序,其特征在于:所述程序被处理器执行时实现如权利要求1~8中任一项所述的双层公平联邦学习方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110448566.0A CN113095513A (zh) | 2021-04-25 | 2021-04-25 | 双层公平联邦学习方法、装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110448566.0A CN113095513A (zh) | 2021-04-25 | 2021-04-25 | 双层公平联邦学习方法、装置和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113095513A true CN113095513A (zh) | 2021-07-09 |
Family
ID=76680210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110448566.0A Pending CN113095513A (zh) | 2021-04-25 | 2021-04-25 | 双层公平联邦学习方法、装置和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113095513A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113708982A (zh) * | 2021-10-28 | 2021-11-26 | 华中科技大学 | 一种基于群体学习的服务功能链部署方法及*** |
CN114065863A (zh) * | 2021-11-18 | 2022-02-18 | 北京百度网讯科技有限公司 | 联邦学习的方法、装置、***、电子设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109871702A (zh) * | 2019-02-18 | 2019-06-11 | 深圳前海微众银行股份有限公司 | 联邦模型训练方法、***、设备及计算机可读存储介质 |
CN110572253A (zh) * | 2019-09-16 | 2019-12-13 | 济南大学 | 一种联邦学习训练数据隐私性增强方法及*** |
CN111291897A (zh) * | 2020-02-10 | 2020-06-16 | 深圳前海微众银行股份有限公司 | 基于半监督的横向联邦学习优化方法、设备及存储介质 |
CN111723947A (zh) * | 2020-06-19 | 2020-09-29 | 深圳前海微众银行股份有限公司 | 一种联邦学习模型的训练方法及装置 |
CN111798002A (zh) * | 2020-05-31 | 2020-10-20 | 北京科技大学 | 一种局部模型占比可控的联邦学习全局模型聚合方法 |
US20200342247A1 (en) * | 2019-04-24 | 2020-10-29 | Crc R&D, Llc | Systems and methods for automatic recognition of vehicle information |
CN112532451A (zh) * | 2020-11-30 | 2021-03-19 | 安徽工业大学 | 基于异步通信的分层联邦学习方法、装置、终端设备及存储介质 |
CN112668726A (zh) * | 2020-12-25 | 2021-04-16 | 中山大学 | 一种高效通信且保护隐私的个性化联邦学习方法 |
-
2021
- 2021-04-25 CN CN202110448566.0A patent/CN113095513A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109871702A (zh) * | 2019-02-18 | 2019-06-11 | 深圳前海微众银行股份有限公司 | 联邦模型训练方法、***、设备及计算机可读存储介质 |
US20200342247A1 (en) * | 2019-04-24 | 2020-10-29 | Crc R&D, Llc | Systems and methods for automatic recognition of vehicle information |
CN110572253A (zh) * | 2019-09-16 | 2019-12-13 | 济南大学 | 一种联邦学习训练数据隐私性增强方法及*** |
CN111291897A (zh) * | 2020-02-10 | 2020-06-16 | 深圳前海微众银行股份有限公司 | 基于半监督的横向联邦学习优化方法、设备及存储介质 |
CN111798002A (zh) * | 2020-05-31 | 2020-10-20 | 北京科技大学 | 一种局部模型占比可控的联邦学习全局模型聚合方法 |
CN111723947A (zh) * | 2020-06-19 | 2020-09-29 | 深圳前海微众银行股份有限公司 | 一种联邦学习模型的训练方法及装置 |
CN112532451A (zh) * | 2020-11-30 | 2021-03-19 | 安徽工业大学 | 基于异步通信的分层联邦学习方法、装置、终端设备及存储介质 |
CN112668726A (zh) * | 2020-12-25 | 2021-04-16 | 中山大学 | 一种高效通信且保护隐私的个性化联邦学习方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113708982A (zh) * | 2021-10-28 | 2021-11-26 | 华中科技大学 | 一种基于群体学习的服务功能链部署方法及*** |
CN114065863A (zh) * | 2021-11-18 | 2022-02-18 | 北京百度网讯科技有限公司 | 联邦学习的方法、装置、***、电子设备及存储介质 |
CN114065863B (zh) * | 2021-11-18 | 2023-08-29 | 北京百度网讯科技有限公司 | 联邦学习的方法、装置、***、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Nguyen et al. | Fast-convergent federated learning | |
CN112367109B (zh) | 空地网络中由数字孪生驱动的联邦学习的激励方法 | |
CN113191484B (zh) | 基于深度强化学习的联邦学习客户端智能选取方法及*** | |
Zhan et al. | An incentive mechanism design for efficient edge learning by deep reinforcement learning approach | |
Zou et al. | Mobile device training strategies in federated learning: An evolutionary game approach | |
CN112947084B (zh) | 一种基于强化学习的模型未知多智能体一致性控制方法 | |
CN106850289B (zh) | 结合高斯过程与强化学习的服务组合方法 | |
CN113095513A (zh) | 双层公平联邦学习方法、装置和存储介质 | |
WO2023124296A1 (zh) | 基于知识蒸馏的联合学习训练方法、装置、设备及介质 | |
CN110348352B (zh) | 一种人脸图像年龄迁移网络的训练方法、终端和存储介质 | |
US11468330B2 (en) | Artificial neural network growth | |
Wu et al. | A performance comparison of neural networks in forecasting stock price trend | |
Li et al. | Adaptive exploration policy for exploration–exploitation tradeoff in continuous action control optimization | |
Wang et al. | Adaptive LASSO for varying-coefficient partially linear measurement error models | |
CN111353525A (zh) | 一种不均衡不完整数据集的建模及缺失值填补方法 | |
CN104537224B (zh) | 基于自适应学习算法的多状态***可靠性分析方法及*** | |
CN115688569A (zh) | 增益调整方法、装置、计算机设备和存储介质 | |
CN115629576A (zh) | 非侵入式柔性负荷聚合特性辨识与优化方法、装置及设备 | |
Shi et al. | Application on stock price prediction of Elman neural networks based on principal component analysis method | |
CN116050557A (zh) | 电力负荷预测方法、装置、计算机设备和介质 | |
CN113743012A (zh) | 一种多用户场景下的云-边缘协同模式任务卸载优化方法 | |
Wu et al. | DPFed: Toward Fair Personalized Federated Learning with Fast Convergence | |
Mao et al. | QoS trust rate prediction for Web services using PSO-based neural network | |
Yan et al. | Research and Application of Genetic Algorithm Based Optimization of BP Neural Network Combinatorial Model | |
CN117973506B (zh) | 基于多视图协同训练和激励机制的个性化联邦学习框架 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210709 |
|
RJ01 | Rejection of invention patent application after publication |