CN117391646B - 一种协同创新管理*** - Google Patents

一种协同创新管理*** Download PDF

Info

Publication number
CN117391646B
CN117391646B CN202311685364.3A CN202311685364A CN117391646B CN 117391646 B CN117391646 B CN 117391646B CN 202311685364 A CN202311685364 A CN 202311685364A CN 117391646 B CN117391646 B CN 117391646B
Authority
CN
China
Prior art keywords
feature
training
enterprise
government
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311685364.3A
Other languages
English (en)
Other versions
CN117391646A (zh
Inventor
丁新云
杨作铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eden Information Service Ltd
Original Assignee
Eden Information Service Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eden Information Service Ltd filed Critical Eden Information Service Ltd
Priority to CN202311685364.3A priority Critical patent/CN117391646B/zh
Publication of CN117391646A publication Critical patent/CN117391646A/zh
Application granted granted Critical
Publication of CN117391646B publication Critical patent/CN117391646B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/101—Collaborative creation, e.g. joint development of products or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种协同创新管理***，其通过深度神经网络模型分别提取出协同创新***中的政府参数、企业参数以及高校参数中各个参数的全局性隐含关联特征分布信息，并使用具有三维卷积核的卷积神经网络来对这三者的特征信息进行融合，以挖掘出更深层次的三者的动态隐含关联特征，并且在此过程中进一步对这三者的特征矩阵进行柯西重概率化的修正，以增强了对信息损失的鲁棒性，提高了融合特征信息的三方关联特征图的特征表达能力。这样，能够提高产学研合作创新的效率。

Description

一种协同创新管理***
技术领域
本发明涉及智能协同管理领域，且更为具体地，涉及一种协同创新管理***。
背景技术
产学研协同创新作为提升国家和地区自主创新能力的一种全新组织模式，成为当今国际科技创新活动的新趋势和创新理论研究的新焦点，能够实现从知识生产到知识商业化各个环节的相互耦合，是解决教育、科技与经济社会发展联系不紧密问题的首要选择。我们在做政府审计过程中发现，国内外对产学研协同创新的研究集中在理论分析与机制研究，未曾构建基于政府、企业和高校三方都为协同创新博弈主体的条件下的三方博弈***，不能仿真不同因素条件下，协同创新关系的变化。因此，构建政产学研三方演化博弈分析***具有理论和现实两方面的重要意义。
多数研究都是以企业和高校作为协同创新的博弈主体，只是将政府行为作为外生变量引入博弈模型，并没有将政府作为行为主体与企业和高校进行博弈分析；未对政产学研协同创新中高校牵头的协同创新三方博弈模型进行研究，且未对政府参与协同创新的方式进行详细分析，往往只考虑资金支持，而忽略现实中更为重要的政策支持为企业和高校带来的优惠。同时协同创新主体之间的博弈未考虑参与意愿对策略选择的影响。这样，产学研合作创新的效率将大打折扣，不利于产学研合作的发展。因此，需要一种协同创新管理***。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种协同创新管理***，其通过深度神经网络模型分别提取出协同创新***中政府参数、企业参数以及高校参数中各个参数的全局性隐含关联特征分布信息，并使用具有三维卷积核的卷积神经网络来对这三者的特征信息进行融合，以挖掘出更深层次的三者的动态隐含关联特征，并且在此过程中进一步对这三者的特征矩阵进行柯西重概率化的修正，以增强了对信息损失的鲁棒性，提高了融合特征信息的三方关联特征图的特征表达能力。这样，能够提高产学研合作创新的效率。
根据本申请的一个方面，提供了一种协同创新管理***，其包括：
创新方参数获取单元，用于获取协同创新***中政府的多个第一参数、企业的多个第二参数和高校的多个第三参数；
参数语义编码单元，用于将所述政府的多个第一参数、所述企业的多个第二参数和所述高校的多个第三参数分别通过包含嵌入层的上下文编码器以得到多个政府参数特征向量、多个企业参数特征向量和多个高校参数特征向量；
政府参数关联编码单元，用于将所述多个政府参数特征向量进行二维排列为第一特征矩阵后通过第一卷积神经网络以得到政府特征矩阵；
企业参数关联编码单元，用于将所述多个企业参数特征向量进行二维排列为第二特征矩阵后通过第二卷积神经网络以得到企业特征矩阵；
高校参数关联编码单元，用于将所述多个高校参数特征向量进行二维排列为第三特征矩阵后通过第三卷积神经网络以得到高校特征矩阵；
特征分布校正单元，用于对所述政府特征矩阵、所述企业特征矩阵和所述高校特征矩阵进行柯西重概率化以得到校正后政府特征矩阵、校正后企业特征矩阵和校正后高校特征矩阵，其中，所述柯西重概率化基于特征矩阵中各个位置的特征值与特征矩阵中所有位置的特征值的加和值之间的比例来进行。
三方关联编码单元，用于将所述校正后政府特征矩阵、所述校正后企业特征矩阵和所述校正后高校特征矩阵构造为三维输入张量后通过具有三维卷积核的第四卷积神经网络以得到三方关联特征图；以及创新模式评估结果生成单元，用于将所述三方关联特征图通过分类器以得到分类结果，所述分类结果用于表示协同创新***中政府、企业和高校的协同创新模式是否存在异常。
与现有技术相比，本申请提供的协同创新管理***，其通过深度神经网络模型分别提取出协同创新***中政府参数、企业参数以及高校参数中各个参数的全局性隐含关联特征分布信息，并使用具有三维卷积核的卷积神经网络来对这三者的特征信息进行融合，以挖掘出更深层次的三者的动态隐含关联特征，并且在此过程中进一步对这三者的特征矩阵进行柯西重概率化的修正，以增强了对信息损失的鲁棒性，提高了融合特征信息的三方关联特征图的特征表达能力。这样，能够提高产学研合作创新的效率。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的协同创新管理***的框图。
图2为根据本申请实施例的协同创新管理***中参数语义编码单元的框图。
图3为根据本申请实施例的协同创新管理***的管理方法的流程图。
图4为根据本申请实施例的协同创新管理***的管理方法的架构示意图。
实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
图1图示了根据本申请实施例的协同创新管理***的框图。如图1所示，根据本申请实施例的协同创新管理*** 200，包括：创新方参数获取单元 210，用于获取协同创新***中政府的多个第一参数、企业的多个第二参数和高校的多个第三参数；参数语义编码单元 220，用于将所述政府的多个第一参数、所述企业的多个第二参数和所述高校的多个第三参数分别通过包含嵌入层的上下文编码器以得到多个政府参数特征向量、多个企业参数特征向量和多个高校参数特征向量；政府参数关联编码单元 230，用于将所述多个政府参数特征向量进行二维排列为第一特征矩阵后通过第一卷积神经网络以得到政府特征矩阵；企业参数关联编码单元 240，用于将所述多个企业参数特征向量进行二维排列为第二特征矩阵后通过第二卷积神经网络以得到企业特征矩阵；高校参数关联编码单元 250，用于将所述多个高校参数特征向量进行二维排列为第三特征矩阵后通过第三卷积神经网络以得到高校特征矩阵；特征分布校正单元 260，用于对所述政府特征矩阵、所述企业特征矩阵和所述高校特征矩阵进行柯西重概率化以得到校正后政府特征矩阵、校正后企业特征矩阵和校正后高校特征矩阵，其中，所述柯西重概率化基于特征矩阵中各个位置的特征值与特征矩阵中所有位置的特征值的加和值之间的比例来进行；三方关联编码单元 270，用于将所述校正后政府特征矩阵、所述校正后企业特征矩阵和所述校正后高校特征矩阵构造为三维输入张量后通过具有三维卷积核的第四卷积神经网络以得到三方关联特征图；以及，创新模式评估结果生成单元 280，用于将所述三方关联特征图通过分类器以得到分类结果，所述分类结果用于表示协同创新***中政府、企业和高校的协同创新模式是否存在异常。
具体地，在本申请实施例中，所述创新方参数获取单元 210和所述参数语义编码单元 220，用于获取协同创新***中政府的多个第一参数、企业的多个第二参数和高校的多个第三参数，并将所述政府的多个第一参数、所述企业的多个第二参数和所述高校的多个第三参数分别通过包含嵌入层的上下文编码器以得到多个政府参数特征向量、多个企业参数特征向量和多个高校参数特征向量。如前所述，传统的协同创新管理分析都是基于统计的分析，但由于政府、企业和高校组成的三方博弈***是一个复杂***，其具有非线性和非均衡的本质特征，无法通过传统的统计模型来精准评估。因此，在本申请的技术方案中，期望利用深度学习的神经网络模型来对其进行精准地估计，以提高产学研合作创新的效率。
也就是，具体地，在本申请的技术方案中，首先，获取协同创新***中政府的多个第一参数、企业的多个第二参数和高校的多个第三参数。特别地，这里，所述政府的多个第一参数包括政府参与协同创新的总成本、政府选择“参与”策略所获得的收益、政府选择“不参与”策略所获得的收益占政府选择“参与”策略所获得的收益的比例和政府选择参与协同创新的意愿；所述企业的多个第二参数包括政府所提供的优惠政策使得企业和高校在协同创新过程中投入的总成本的减少量、企业进行协同创新之前的初始收益、企业单独研发所获得的收益、企业违约时向企业支付的惩罚、企业选择进行协同创新的意愿、企业和高校都选择协同创新时为企业带来的额外收益、企业和高校参与协同创新的总成本和企业的成本分摊比例系数；以及，所述高校的多个第三参数包括政府所提供的优惠政策使得企业和高校在协同创新过程中投入的总成本的减少量、高校进行协同创新之前的初始收益、高校单独研发所获得的收益、高校违约时向企业支付的惩罚、高校选择进行协同创新的意愿、企业和高校都选择协同创新时为高校带来的额外收益、企业和高校参与协同创新的总成本、政府对积极参数协同创新的高校给予的资金支持和高校的成本分摊比例系数。
然后，将所述政府的多个第一参数通过包含嵌入层的上下文编码器中进行全局信息的编码处理，以得到具有全局性政府参数隐含关联特征信息的多个政府参数特征向量。并且，对于企业的所述多个第二参数和高校的所述多个第三参数，同样地，也将其分别通过包含嵌入层的上下文编码器中进行编码处理，以分别提取出具有全局企业参数隐含关联特征信息的多个企业参数特征向量，以及提取出具有全局高校参数隐含关联特征信息的多个高校参数特征向量。
更具体地，在本申请实施例中，所述参数语义编码单元，包括：输入向量构造子单元，用于将所述政府的多个第一参数、所述企业的多个第二参数和所述高校的多个第三参数分别构造为输入向量以获得输入向量的序列；嵌入化子单元，用于使用所述包含嵌入层的上下文编码器的嵌入层将所述输入向量的序列中的各个输入向量转化为嵌入向量以获得嵌入向量的序列；以及，上下文语义编码子单元，用于使用所述包含嵌入层的上下文编码器的转化器对所述嵌入向量的序列进行基于全局的上下文语义编码以获得所述多个政府参数特征向量、所述多个企业参数特征向量和所述多个高校参数特征向量。
图2图示了根据本申请实施例的协同创新管理***中参数语义编码单元的框图。如图2所示，所述参数语义编码单元 220，包括：输入向量构造子单元 221，用于将所述政府的多个第一参数、所述企业的多个第二参数和所述高校的多个第三参数分别构造为输入向量以获得输入向量的序列；嵌入化子单元 222，用于使用所述包含嵌入层的上下文编码器的嵌入层将所述输入向量的序列中的各个输入向量转化为嵌入向量以获得嵌入向量的序列；以及，上下文语义编码子单元 223，用于使用所述包含嵌入层的上下文编码器的转化器对所述嵌入向量的序列进行基于全局的上下文语义编码以获得所述多个政府参数特征向量、所述多个企业参数特征向量和所述多个高校参数特征向量。
具体地，在本申请实施例中，所述政府参数关联编码单元 230，用于将所述多个政府参数特征向量进行二维排列为第一特征矩阵后通过第一卷积神经网络以得到政府特征矩阵。也就是，在本申请的技术方案中，进一步地，将所述多个政府参数特征向量进行二维排列为第一特征矩阵后通过第一卷积神经网络以得到政府特征矩阵。这样，可以在整合所述多个政府参数特征信息之间的关联性特征之后，使用在高维隐含关联特征提取方面具有优异表现的卷积神经网络模型来对所述多个政府参数的特征信息进行更深层次的特征挖掘，以得到所述政府特征矩阵。
更具体地，在本申请实施例中，所述政府参数关联编码单元，进一步用于使用所述第一卷积神经网络的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部通道维度的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第一卷积神经网络的最后一层的输出为所述政府特征矩阵，所述第一卷积神经网络的第一层的输入为所述第一特征矩阵。
具体地，在本申请实施例中，所述企业参数关联编码单元 240和所述高校参数关联编码单元 250，用于将所述多个企业参数特征向量进行二维排列为第二特征矩阵后通过第二卷积神经网络以得到企业特征矩阵，并将所述多个高校参数特征向量进行二维排列为第三特征矩阵后通过第三卷积神经网络以得到高校特征矩阵。也就是，在本申请的技术方案中，进一步地，通过同样的方式将所述多个企业参数特征向量进行二维排列为第二特征矩阵后通过第二卷积神经网络中进行处理，并将所述多个高校参数特征向量进行二维排列为第三特征矩阵后通过第三卷积神经网络中进行处理，就可以获得对应于企业的具有全局性企业参数数据关联特征信息的企业特征矩阵和对应于高校的具有全局性高校参数数据关联特征信息的高校特征矩阵。相应地，在一个具体示例中，使用所述第三卷积神经网络的各层在层的正向传递过程中对输入数据分别进行卷积处理、局部通道维度的均值池化处理和非线性激活处理以由所述第三卷积神经网络的最后一层输出所述高校特征矩阵。
更具体地，在本申请实施例中，所述企业参数关联编码单元，进一步用于使用所述第二卷积神经网络的各层在层的正向传递过程中对输入数据分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部通道维度的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第二卷积神经网络的最后一层的输出为所述企业特征矩阵，所述第二卷积神经网络的第一层的输入为所述第二特征矩阵。
具体地，在本申请实施例中，所述特征分布校正单元 260，用于对所述政府特征矩阵、所述企业特征矩阵和所述高校特征矩阵进行柯西重概率化以得到校正后政府特征矩阵、校正后企业特征矩阵和校正后高校特征矩阵，其中，所述柯西重概率化基于特征矩阵中各个位置的特征值与特征矩阵中所有位置的特征值的加和值之间的比例来进行。应可以理解，在本申请的技术方案中，进一步将所述政府特征矩阵、所述企业特征矩阵和所述高校特征矩阵构造为三维输入张量后通过具有三维卷积核的第四卷积神经网络中进行处理，就可以提取出所述政府参数特征、所述企业参数特征和所述高校参数特征之间的动态本质关联特征。但是，考虑带在所述三维输入张量通过具有三维卷积核的第四卷积神经网络以得到三方关联特征图时，在所述三维卷积核对所述政府特征矩阵、所述企业特征矩阵和所述高校特征矩阵进行关联性特征提取的同时，在迭代过程中存在所述政府特征矩阵、所述企业特征矩阵和所述高校特征矩阵本身的信息损失，因此期望对此进行补偿。具体地，在本申请的技术方案中，进一步对所述政府特征矩阵、所述企业特征矩阵和所述高校特征矩阵进行柯西重概率化以修正。
更具体地，在本申请实施例中，所述特征分布校正单元，进一步用于：以如下公式分别对所述政府特征矩阵、所述企业特征矩阵和所述高校特征矩阵进行柯西重概率化以得到所述校正后政府特征矩阵、所述校正后企业特征矩阵和所述校正后高校特征矩阵。
其中，所述公式为：
其中为所述政府特征矩阵、所述企业特征矩阵和所述高校特征矩阵中的每个特征矩阵的各个位置的特征值，且/>表示对特征矩阵的所有位置的特征值求和，表示矩阵的指数运算，所述矩阵的指数运算表示计算以矩阵中各个位置的特征值为幂的自然指数函数值，特征矩阵除以参数表示以特征矩阵中各个位置的特征值分别除以参数。
具体地，在本申请实施例中，所述三方关联编码单元 270，用于将所述校正后政府特征矩阵、所述校正后企业特征矩阵和所述校正后高校特征矩阵构造为三维输入张量后通过具有三维卷积核的第四卷积神经网络以得到三方关联特征图。也就是，在本申请的技术方案中，然后，再将所述修正后的政府特征矩阵、所述修正后的企业特征矩阵和所述修正后的高校特征矩阵构造为三维输入张量后通过具有三维卷积核的第四卷积神经网络以得到三方关联特征图。应可以理解，这样，该柯西重概率化通过对所述政府特征矩阵、所述企业特征矩阵和所述高校特征矩阵的特征值进行概率性信息解释，使得在通过梯度反向传播进行所述第四卷积神经网络和所述第一到第三卷积神经网络之一的训练时，可以使得级联的所述第四卷积神经网络和所述第一到第三卷积神经网络之一的参数能够对三维卷积核的特征提取带来的信息损失随迭代而自我适应，从而增强对信息损失的鲁棒性，提高了所述三方关联特征图的特征表达能力。
更具体地，在本申请实施例中，所述三方关联编码单元，进一步用于：所述具有三维卷积核的第四卷积神经网络在层的正向传递中对输入数据分别进行：基于所述三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述第四卷积神经网络的最后一层的输出为所述三方关联特征图，所述第四卷积神经网络的第一层的输入为所述三维输入张量。
具体地，在本申请实施例中，所述创新模式评估结果生成单元 280，用于将所述三方关联特征图通过分类器以得到分类结果，所述分类结果用于表示协同创新***中政府、企业和高校的协同创新模式是否存在异常。也就是，进一步地，再将所述三方关联特征图通过分类器以得到用于表示协同创新***中政府、企业和高校的协同创新模式是否存在异常的分类结果。在一个具体示例中，所述分类器以如下公式对所述三方关联特征图进行处理以生成分类结果，其中，所述公式为：，其中表示将所述三方关联特征图投影为三方关联特征向量，/>至/>为各层全连接层的权重矩阵，/>至/>表示各层全连接层的偏置矩阵。
具体地，在本申请实施例中，所述协同创新管理*** 200还包括：用于对所述第一卷积神经网络、所述第二卷积神经网络、所述第三卷积神经网络、所述具有三维卷积核的第四卷积神经网络和所述分类器进行训练的训练模块；其中，所述训练模块，包括：训练创新方参数获取单元，用于获取训练数据，其中，所述训练数据包括，协同创新***中政府的多个训练第一参数、企业的多个训练第二参数和高校的多个训练第三参数；训练参数语义编码单元，用于将所述政府的多个训练第一参数、所述企业的多个训练第二参数和所述高校的多个训练第三参数分别通过包含嵌入层的上下文编码器以得到多个训练政府参数特征向量、多个训练企业参数特征向量和多个训练高校参数特征向量；训练政府参数关联编码单元，用于将所述训练多个政府参数特征向量进行二维排列为训练第一特征矩阵后通过所述第一卷积神经网络以得到训练政府特征矩阵；训练企业参数关联编码单元，用于将所述多个训练企业参数特征向量进行二维排列为训练第二特征矩阵后通过所述第二卷积神经网络以得到训练企业特征矩阵；训练高校参数关联编码单元，用于将所述多个训练高校参数特征向量进行二维排列为训练第三特征矩阵后通过所述第三卷积神经网络以得到训练高校特征矩阵；训练特征分布校正单元，用于对所述训练政府特征矩阵、所述训练企业特征矩阵和所述训练高校特征矩阵进行柯西重概率化以得到训练校正后政府特征矩阵、训练校正后企业特征矩阵和训练校正后高校特征矩阵；训练三方关联编码单元，用于将所述训练校正后政府特征矩阵、所述训练校正后企业特征矩阵和所述训练校正后高校特征矩阵构造为训练三维输入张量后通过所述具有三维卷积核的第四卷积神经网络以得到训练三方关联特征图；分类损失计算单元，用于将所述训练三方关联特征图通过所述分类器以得到分类损失函数值；反向传播训练单元，用于以所述分类损失函数值通过梯度下降的方向传播来对所述第一卷积神经网络、所述第二卷积神经网络、所述第三卷积神经网络、所述具有三维卷积核的第四卷积神经网络和所述分类器进行训练，其中，在每次迭代时对所述训练三方关联特征图投影得到的训练三方关联特征向量进行训练优化。
特别地，在本申请的技术方案中，将所述训练校正后政府特征矩阵、所述训练校正后企业特征矩阵和所述训练校正后高校特征矩阵构造为训练三维输入张量后通过具有三维卷积核的第四卷积神经网络时，所述具有三维卷积核的第四卷积神经网络能够捕捉所述训练校正后政府特征矩阵、所述训练校正后企业特征矩阵和所述训练校正后高校特征矩阵之间的跨域局部语义关联特征，但是所述训练校正后政府特征矩阵、所述训练校正后企业特征矩阵和所述训练校正后高校特征矩阵在特征源域的表达存在尺度差异和语义密度分布不均衡，导致所述训练三方关联特征图具有整体特征分布的较为显著的不一致和不稳定，从而影响其通过分类器进行分类训练的稳定性。
基于此，本申请的申请人在将所述训练三方关联特征图通过分类器进行分类训练时，在每次迭代时对所述训练三方关联特征图投影得到的训练三方关联特征向量进行训练优化，具体表示为：以如下公式对所述训练三方关联特征图投影得到的训练三方关联特征向量进行训练优化以得到优化训练三方关联特征向量。
其中，所述公式为：
其中，是所述训练三方关联特征向量，/>是所述训练三方关联特征向量/>的特征值，/>和/>分别是所述训练三方关联特征向量/>的1范数和2范数，/>是所述训练三方关联特征向量/>的长度，且/>是与/>相关的权重超参数，/>是所述优化训练三方关联特征向量的特征值。
这里，通过所述训练三方关联特征向量的整体特征分布分别在绝对距离的刚性结构和空间距离的非刚性结构下的结构一致性和稳定性表示，来使得所述训练三方关联特征向量/>的全局特征分布对于局部模式变化具有一定重复性，以在所述训练三方关联特征向量/>通过分类器进行分类时，对于全局特征分布经由分类器的权重矩阵的尺度和旋转变化具有鲁棒性，提升分类训练的稳定性。
综上，基于本申请实施例的所述协同创新管理*** 200被阐明，其通过深度神经网络模型分别提取出协同创新***中政府参数、企业参数以及高校参数中各个参数的全局性隐含关联特征分布信息，并使用具有三维卷积核的卷积神经网络来对这三者的特征信息进行融合，以挖掘出更深层次的三者的动态隐含关联特征，并且在此过程中进一步对这三者的特征矩阵进行柯西重概率化的修正，以增强了对信息损失的鲁棒性，提高了融合特征信息的三方关联特征图的特征表达能力。这样，能够提高产学研合作创新的效率。
如上所述，根据本申请实施例的协同创新管理*** 200可以实现在各种终端设备中，例如协同创新管理算法的服务器等。在一个示例中，根据本申请实施例的协同创新管理*** 200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该协同创新管理*** 200可以是该终端设备的操作***中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该协同创新管理*** 200同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该协同创新管理*** 200与该终端设备也可以是分立的设备，并且该协同创新管理*** 200可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
图3图示了协同创新管理***的管理方法的流程图。如图3所示，根据本申请实施例的协同创新管理***的管理方法，包括步骤：S110，获取协同创新***中政府的多个第一参数、企业的多个第二参数和高校的多个第三参数；S120，将所述政府的多个第一参数、所述企业的多个第二参数和所述高校的多个第三参数分别通过包含嵌入层的上下文编码器以得到多个政府参数特征向量、多个企业参数特征向量和多个高校参数特征向量；S130，将所述多个政府参数特征向量进行二维排列为第一特征矩阵后通过第一卷积神经网络以得到政府特征矩阵；S140，将所述多个企业参数特征向量进行二维排列为第二特征矩阵后通过第二卷积神经网络以得到企业特征矩阵；S150，将所述多个高校参数特征向量进行二维排列为第三特征矩阵后通过第三卷积神经网络以得到高校特征矩阵；S160，对所述政府特征矩阵、所述企业特征矩阵和所述高校特征矩阵进行柯西重概率化以得到校正后政府特征矩阵、校正后企业特征矩阵和校正后高校特征矩阵，其中，所述柯西重概率化基于特征矩阵中各个位置的特征值与特征矩阵中所有位置的特征值的加和值之间的比例来进行；S170，将所述校正后政府特征矩阵、所述校正后企业特征矩阵和所述校正后高校特征矩阵构造为三维输入张量后通过具有三维卷积核的第四卷积神经网络以得到三方关联特征图；以及，S180，将所述三方关联特征图通过分类器以得到分类结果，所述分类结果用于表示协同创新***中政府、企业和高校的协同创新模式是否存在异常。
图4图示了根据本申请实施例的协同创新管理***的管理方法的架构示意图。如图4所示，在所述协同创新管理***的管理方法的网络架构中，首先，将获得的所述政府的多个第一参数（例如，如图4中所示意的P1）、所述企业的多个第二参数（例如，如图4中所示意的P2）和所述高校的多个第三参数（例如，如图4中所示意的P3）分别通过包含嵌入层的上下文编码器（例如，如图4中所示意的E）以得到多个政府参数特征向量（例如，如图4中所示意的VF1）、多个企业参数特征向量（例如，如图4中所示意的VF2）和多个高校参数特征向量（例如，如图4中所示意的VF3）；接着，将所述多个政府参数特征向量进行二维排列为第一特征矩阵（例如，如图4中所示意的MF1）后通过第一卷积神经网络（例如，如图4中所示意的CNN1）以得到政府特征矩阵（例如，如图4中所示意的M1）；然后，将所述多个企业参数特征向量进行二维排列为第二特征矩阵（例如，如图4中所示意的MF2）后通过第二卷积神经网络（例如，如图4中所示意的CNN2）以得到企业特征矩阵（例如，如图4中所示意的M2）；接着，将所述多个高校参数特征向量进行二维排列为第三特征矩阵（例如，如图4中所示意的MF3）后通过第三卷积神经网络（例如，如图4中所示意的CNN3）以得到高校特征矩阵（例如，如图4中所示意的M3）；然后，对所述政府特征矩阵、所述企业特征矩阵和所述高校特征矩阵进行柯西重概率化以得到校正后政府特征矩阵（例如，如图4中所示意的MC1）、校正后企业特征矩阵（例如，如图4中所示意的MC2）和校正后高校特征矩阵（例如，如图4中所示意的MC3）；接着，将所述校正后政府特征矩阵、所述校正后企业特征矩阵和所述校正后高校特征矩阵构造为三维输入张量（例如，如图4中所示意的DT）后通过具有三维卷积核的第四卷积神经网络（例如，如图4中所示意的CNN4）以得到三方关联特征图（例如，如图4中所示意的F）；以及，最后，将所述三方关联特征图通过分类器（例如，如图4中所示意的分类器）以得到分类结果，所述分类结果用于表示协同创新***中政府、企业和高校的协同创新模式是否存在异常。
综上，基于本申请实施例的所述协同创新管理***的管理方法被阐明，其通过深度神经网络模型分别提取出协同创新***中政府参数、企业参数以及高校参数中各个参数的全局性隐含关联特征分布信息，并使用具有三维卷积核的卷积神经网络来对这三者的特征信息进行融合，以挖掘出更深层次的三者的动态隐含关联特征，并且在此过程中进一步对这三者的特征矩阵进行柯西重概率化的修正，以增强了对信息损失的鲁棒性，提高了融合特征信息的三方关联特征图的特征表达能力。这样，能够提高产学研合作创新的效率。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (8)

1.一种协同创新管理***，其特征在于，包括：
创新方参数获取单元，用于获取协同创新***中政府的多个第一参数、企业的多个第二参数和高校的多个第三参数；
参数语义编码单元，用于将所述政府的多个第一参数、所述企业的多个第二参数和所述高校的多个第三参数分别通过包含嵌入层的上下文编码器以得到多个政府参数特征向量、多个企业参数特征向量和多个高校参数特征向量；
政府参数关联编码单元，用于将所述多个政府参数特征向量进行二维排列为第一特征矩阵后通过第一卷积神经网络以得到政府特征矩阵；
企业参数关联编码单元，用于将所述多个企业参数特征向量进行二维排列为第二特征矩阵后通过第二卷积神经网络以得到企业特征矩阵；
高校参数关联编码单元，用于将所述多个高校参数特征向量进行二维排列为第三特征矩阵后通过第三卷积神经网络以得到高校特征矩阵；
特征分布校正单元，用于对所述政府特征矩阵、所述企业特征矩阵和所述高校特征矩阵进行柯西重概率化以得到校正后政府特征矩阵、校正后企业特征矩阵和校正后高校特征矩阵，其中，所述柯西重概率化基于特征矩阵中各个位置的特征值与特征矩阵中所有位置的特征值的加和值之间的比例来进行；
三方关联编码单元，用于将所述校正后政府特征矩阵、所述校正后企业特征矩阵和所述校正后高校特征矩阵构造为三维输入张量后通过具有三维卷积核的第四卷积神经网络以得到三方关联特征图；以及
创新模式评估结果生成单元，用于将所述三方关联特征图通过分类器以得到分类结果，所述分类结果用于表示协同创新***中政府、企业和高校的协同创新模式是否存在异常；
其中，还包括：用于对所述第一卷积神经网络、所述第二卷积神经网络、所述第三卷积神经网络、所述具有三维卷积核的第四卷积神经网络和所述分类器进行训练的训练模块；
其中，所述训练模块，包括：
训练创新方参数获取单元，用于获取训练数据，其中，所述训练数据包括，协同创新***中政府的多个训练第一参数、企业的多个训练第二参数和高校的多个训练第三参数；
训练参数语义编码单元，用于将所述政府的多个训练第一参数、所述企业的多个训练第二参数和所述高校的多个训练第三参数分别通过包含嵌入层的上下文编码器以得到多个训练政府参数特征向量、多个训练企业参数特征向量和多个训练高校参数特征向量；
训练政府参数关联编码单元，用于将所述多个训练政府参数特征向量进行二维排列为训练第一特征矩阵后通过所述第一卷积神经网络以得到训练政府特征矩阵；
训练企业参数关联编码单元，用于将所述多个训练企业参数特征向量进行二维排列为训练第二特征矩阵后通过所述第二卷积神经网络以得到训练企业特征矩阵；
训练高校参数关联编码单元，用于将所述多个训练高校参数特征向量进行二维排列为训练第三特征矩阵后通过所述第三卷积神经网络以得到训练高校特征矩阵；
训练特征分布校正单元，用于对所述训练政府特征矩阵、所述训练企业特征矩阵和所述训练高校特征矩阵进行柯西重概率化以得到训练校正后政府特征矩阵、训练校正后企业特征矩阵和训练校正后高校特征矩阵；
训练三方关联编码单元，用于将所述训练校正后政府特征矩阵、所述训练校正后企业特征矩阵和所述训练校正后高校特征矩阵构造为训练三维输入张量后通过所述具有三维卷积核的第四卷积神经网络以得到训练三方关联特征图；以及
分类损失计算单元，用于将所述训练三方关联特征图通过所述分类器以得到分类损失函数值；
反向传播训练单元，用于以所述分类损失函数值通过梯度下降的方向传播来对所述第一卷积神经网络、所述第二卷积神经网络、所述第三卷积神经网络、所述具有三维卷积核的第四卷积神经网络和所述分类器进行训练，其中，在每次迭代时对所述训练三方关联特征图投影得到的训练三方关联特征向量进行训练优化；
其中，在每次迭代时，对所述训练三方关联特征图投影得到的训练三方关联特征向量进行训练优化，包括：以如下公式对所述训练三方关联特征图投影得到的训练三方关联特征向量进行训练优化以得到优化训练三方关联特征向量；
其中，所述公式为：
其中，V是所述训练三方关联特征向量，vi是所述训练三方关联特征向量V的特征值，||·||1和||·||2分别是所述训练三方关联特征向量V的1范数和2范数，L是所述训练三方关联特征向量V的长度，且α是与vi相关的权重超参数，v'i是所述优化训练三方关联特征向量的特征值。
2.根据权利要求1所述的协同创新管理***，其中，所述参数语义编码单元，包括：
输入向量构造子单元，用于将所述政府的多个第一参数、所述企业的多个第二参数和所述高校的多个第三参数分别构造为输入向量以获得输入向量的序列；
嵌入化子单元，用于使用所述包含嵌入层的上下文编码器的嵌入层将所述输入向量的序列中的各个输入向量转化为嵌入向量以获得嵌入向量的序列；以及
上下文语义编码子单元，用于使用所述包含嵌入层的上下文编码器的转化器对所述嵌入向量的序列进行基于全局的上下文语义编码以获得所述多个政府参数特征向量、所述多个企业参数特征向量和所述多个高校参数特征向量。
3.根据权利要求2所述的协同创新管理***，其中，所述政府参数关联编码单元，进一步用于使用所述第一卷积神经网络的各层在层的正向传递过程中对输入数据分别进行：
对输入数据进行卷积处理以得到卷积特征图；
对所述卷积特征图进行基于局部通道维度的均值池化以得到池化特征图；以及
对所述池化特征图进行非线性激活以得到激活特征图；
其中，所述第一卷积神经网络的最后一层的输出为所述政府特征矩阵，所述第一卷积神经网络的第一层的输入为所述第一特征矩阵。
4.根据权利要求3所述的协同创新管理***，其中，所述高校参数关联编码单元，进一步用于：使用所述第三卷积神经网络的各层在层的正向传递过程中对输入数据分别进行卷积处理、局部通道维度的均值池化处理和非线性激活处理以由所述第三卷积神经网络的最后一层输出所述高校特征矩阵。
5.根据权利要求4所述的协同创新管理***，其中，所述特征分布校正单元，进一步用于：以如下公式分别对所述政府特征矩阵、所述企业特征矩阵和所述高校特征矩阵进行柯西重概率化以得到所述校正后政府特征矩阵、所述校正后企业特征矩阵和所述校正后高校特征矩阵；
其中，所述公式为：
其中mi,j为所述政府特征矩阵、所述企业特征矩阵和所述高校特征矩阵中的每个特征矩阵的各个位置的特征值，且表示对特征矩阵的所有位置的特征值求和，exp(·)表示矩阵的指数运算，所述矩阵的指数运算表示计算以矩阵中各个位置的特征值为幂的自然指数函数值，特征矩阵除以参数表示以特征矩阵中各个位置的特征值分别除以参数。
6.根据权利要求5所述的协同创新管理***，其中，所述三方关联编码单元，进一步用于：所述具有三维卷积核的第四卷积神经网络在层的正向传递中对输入数据分别进行：
基于所述三维卷积核对所述输入数据进行三维卷积处理以得到卷积特征图；
对所述卷积特征图进行基于局部特征矩阵的均值池化处理以得到池化特征图；以及
对所述池化特征图进行非线性激活以得到激活特征图；
其中，所述第四卷积神经网络的最后一层的输出为所述三方关联特征图，所述第四卷积神经网络的第一层的输入为所述三维输入张量。
7.根据权利要求6所述的协同创新管理***，其中，所述创新模式评估结果生成单元，进一步用于：所述分类器以如下公式对所述三方关联特征图进行处理以生成分类结果；
其中，所述公式为：softmax{(Wn,Bn):…:(W1,B1)|Project(F)}，其中Project(F)表示将所述三方关联特征图投影为三方关联特征向量，W1至Wn为各层全连接层的权重矩阵，B1至Bn表示各层全连接层的偏置矩阵。
8.根据权利要求7所述的协同创新管理***，其中，所述政府的多个第一参数包括政府参与协同创新的总成本、政府选择“参与”策略所获得的收益、政府选择“不参与”策略所获得的收益占政府选择“参与”策略所获得的收益的比例和政府选择参与协同创新的意愿；所述企业的多个第二参数包括政府所提供的优惠政策使得企业和高校在协同创新过程中投入的总成本的减少量、企业进行协同创新之前的初始收益、企业单独研发所获得的收益、企业违约时向企业支付的惩罚、企业选择进行协同创新的意愿、企业和高校都选择协同创新时为企业带来的额外收益、企业和高校参与协同创新的总成本和企业的成本分摊比例系数；以及，所述高校的多个第三参数包括政府所提供的优惠政策使得企业和高校在协同创新过程中投入的总成本的减少量、高校进行协同创新之前的初始收益、高校单独研发所获得的收益、高校违约时向企业支付的惩罚、高校选择进行协同创新的意愿、企业和高校都选择协同创新时为高校带来的额外收益、企业和高校参与协同创新的总成本、政府对积极参数协同创新的高校给予的资金支持和高校的成本分摊比例系数。
CN202311685364.3A 2023-12-11 2023-12-11 一种协同创新管理*** Active CN117391646B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311685364.3A CN117391646B (zh) 2023-12-11 2023-12-11 一种协同创新管理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311685364.3A CN117391646B (zh) 2023-12-11 2023-12-11 一种协同创新管理***

Publications (2)

Publication Number Publication Date
CN117391646A CN117391646A (zh) 2024-01-12
CN117391646B true CN117391646B (zh) 2024-03-22

Family

ID=89470601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311685364.3A Active CN117391646B (zh) 2023-12-11 2023-12-11 一种协同创新管理***

Country Status (1)

Country Link
CN (1) CN117391646B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734621A (zh) * 2018-03-23 2018-11-02 江苏科技大学 一种政产学研协同创新三方演化博弈分析方法
CN108846340A (zh) * 2018-06-05 2018-11-20 腾讯科技（深圳）有限公司 人脸识别方法、装置及分类模型训练方法、装置、存储介质和计算机设备
CN114911958A (zh) * 2022-06-09 2022-08-16 电子科技大学 一种基于语义偏好的快速图像检索方法
CN115147655A (zh) * 2022-07-12 2022-10-04 温州宁酷科技有限公司 油气集输监控***及其方法
CN115796621A (zh) * 2022-12-23 2023-03-14 国网电力科学研究院有限公司 基于演化博弈论的综合能源***发展分析方法及***
CN116307841A (zh) * 2023-02-14 2023-06-23 河海大学 一种集成多指标的高校评价***的构建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734621A (zh) * 2018-03-23 2018-11-02 江苏科技大学 一种政产学研协同创新三方演化博弈分析方法
CN108846340A (zh) * 2018-06-05 2018-11-20 腾讯科技（深圳）有限公司 人脸识别方法、装置及分类模型训练方法、装置、存储介质和计算机设备
CN114911958A (zh) * 2022-06-09 2022-08-16 电子科技大学 一种基于语义偏好的快速图像检索方法
CN115147655A (zh) * 2022-07-12 2022-10-04 温州宁酷科技有限公司 油气集输监控***及其方法
CN115796621A (zh) * 2022-12-23 2023-03-14 国网电力科学研究院有限公司 基于演化博弈论的综合能源***发展分析方法及***
CN116307841A (zh) * 2023-02-14 2023-06-23 河海大学 一种集成多指标的高校评价***的构建方法

Also Published As

Publication number Publication date
CN117391646A (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
Shao et al. Branchy-GNN: A device-edge co-inference framework for efficient point cloud processing
US20220253742A1 (en) Quantum error correction decoding system and method, fault-tolerant quantum error correction system, and chip
CN104657434B (zh) 一种社交网络结构构建方法
CN110363068A (zh) 一种基于多尺度循环生成式对抗网络的高分辨行人图像生成方法
CN112446489A (zh) 基于变分自编码器的动态网络嵌入链接预测方法
CN116541779B (zh) 个性化公共安全突发事件检测模型训练方法、检测方法及装置
CN112926747A (zh) 优化业务模型的方法及装置
CN112884045A (zh) 基于多视角的随机删边嵌入模型的分类方法
Wang et al. A research on the optimal design of BP neural network based on improved GEP
Tanaka et al. A faithful distributed implementation of dual decomposition and average consensus algorithms
CN117391646B (zh) 一种协同创新管理***
CN116030537B (zh) 基于多分支注意力图卷积的三维人体姿态估计方法
Aketi et al. Neighborhood gradient clustering: An efficient decentralized learning method for non-iid data distributions
CN115527052A (zh) 一种基于对比预测的多视图聚类方法
CN116228014A (zh) 一种基础设施入网的直流配电网效益评估***及其方法
CN115861664A (zh) 基于局部特征融合与自注意力机制的特征匹配方法及***
WO2022127603A1 (zh) 一种模型处理方法及相关装置
Wang et al. Heterogeneous defect prediction algorithm combined with federated sparse compression
CN115345298A (zh) 联合训练模型的方法及装置
Tziotis et al. Second order optimality in decentralized non-convex optimization via perturbed gradient tracking
CN115204171A (zh) 基于超图神经网络的文档级事件抽取方法及***
CN114880527A (zh) 一种基于多预测任务的多模态知识图谱表示方法
CN115130568A (zh) 支持多参与方的纵向联邦Softmax回归方法及***
CN114662148A (zh) 一种保护隐私的多方联合训练方法及装置
CN114139721A (zh) 一种基于同态加密的分布式学习提升密文计算效率方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant