CN113407645A - 一种基于知识图谱的声像档案智能编研方法 - Google Patents

一种基于知识图谱的声像档案智能编研方法 Download PDF

Info

Publication number
CN113407645A
CN113407645A CN202110533208.XA CN202110533208A CN113407645A CN 113407645 A CN113407645 A CN 113407645A CN 202110533208 A CN202110533208 A CN 202110533208A CN 113407645 A CN113407645 A CN 113407645A
Authority
CN
China
Prior art keywords
researching
knowledge graph
compiling
editing
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110533208.XA
Other languages
English (en)
Other versions
CN113407645B (zh
Inventor
邱杰峰
李喆
袁雯
程莉红
施千里
陈莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CNNC Fujian Nuclear Power Co Ltd
Original Assignee
CNNC Fujian Nuclear Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CNNC Fujian Nuclear Power Co Ltd filed Critical CNNC Fujian Nuclear Power Co Ltd
Priority to CN202110533208.XA priority Critical patent/CN113407645B/zh
Publication of CN113407645A publication Critical patent/CN113407645A/zh
Application granted granted Critical
Publication of CN113407645B publication Critical patent/CN113407645B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/288—Entity relationship models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及电子档案库架构技术领域，公开了一种基于知识图谱的声像档案智能编研方法，实现方法包括以下步骤：将声像***档案中的结构化数据抽取为三元组，以构建知识图谱，再接收用户选题信息，接着对对于用户选题信息缺失的实体，使用声像档案智能编研模型自动生成编研目标标签，并存入知识图谱数据库中，再从知识图谱中检索相关声像数据进行编研。本发明根据编研目标自动提取音频和图片中的相关特征，使得声像实体在不同编研目标下有不同嵌入向量表示，然后根据嵌入向量之间的关系自动生成档案中缺失的编研目标标签数据从而完成更加有效地档案编研，从而解决传统声像档案编研方法无法为声像文件自动生成编研目标标签的问题。

Description

一种基于知识图谱的声像档案智能编研方法
技术领域
本发明涉及电子档案库架构技术领域，具体是一种基于知识图谱的声像档案智能编研方法。
背景技术
传统声像档案编研方法由于其存储方式的限制，无法对档案进行更加细粒度的有效利用，在进行档案编研时候，需要人工进行标签的添加来实现相关数据的有效关联，这个过程耗费人力，且标签需要统一的规范和标准。
由于档案上传人员的素质差异，以及工作责任心的问题，往往会造成声像档案文件缺失某些重要标签，从而增加了后期的编研难度，且工作效率低，容易出现错误。
发明内容
本发明的目的在于提供一种基于知识图谱的声像档案智能编研方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于知识图谱的声像档案智能编研方法，实现方法包括以下步骤：
S1、将声像***档案中的结构化数据抽取为三元组以构建知识图谱；
S2、提取声像档案知识图谱中每种关系的邻接矩阵Ar；
S3、为每一种关系建立一个细胞，即一个隐藏层，每个细胞都维护了一个卷积核和一个权重矩阵w；
S4、使用卷积核自动提取不同关系的编研目标的声像实体的关联特征；
S5、根据用户所选择编研目标选择对应的训练集，如在选择人物关系作为编研目标时，训练集则为所有人物关系三元组中的尾实体的标注数据；
S6、根据模型自动生成的标签字段；对档案进行更加有效地编研。
作为本发明再进一步的方案：所述步骤S4中在进行不同关系的编研时，需要自动捕获声像实体中的关联特征，因此对于音频实体和图像实体分别采用对应大小的卷积核提取特征，经过池化和激活层后得到实体的特征向量，然后将该关系下存在所有声像实体的特征表示为特征矩阵Hr。
作为本发明再进一步的方案：所述步骤S2中每种关系的邻接矩阵Ar的邻接矩阵集为
Figure BSA0000242342810000021
再把邻接矩阵集
Figure BSA0000242342810000022
作为声像档案智能编研模型的输入，其中n为知识图谱中关系的数量。
作为本发明再进一步的方案：所述步骤S5中训练集在模型训练过程中，每个关系对应的细胞都计算了一个关系状态矩阵Rn，其公式为：
Figure BSA0000242342810000023
其中Rn表示第n种关系的状态矩阵，B为每个细胞的偏置矩阵，所有***共享权重矩阵W，σ为激活函数，因此每一层根据关系自动提取的声像实体特征都会受到之前关系序列的影响。
作为本发明再进一步的方案：所述步骤S5中训练集的模型训练需要在输出上加上一个softmax层来根据训练的声像实体特征进行多分类，进而得到缺失的标签字段，则输出的结果为：
yn＝softmax(W(S)Rn)
其中W(S)为softmax层的权重。
与现有技术相比，本发明的有益效果：
本发明将传统的结构化声像档案***重新为知识图谱的形式，并且提出了基于知识图谱的声像档案智能编研方法，该方法可以根据编研目标自动提取音频和图片中的相关特征，使得声像实体在不同编研目标下有不同嵌入向量表示，然后根据嵌入向量之间的关系自动生成档案中缺失的编研目标标签数据从而完成更加有效地档案编研，从而解决传统声像档案编研方法无法为声像文件自动生成编研目标标签的问题，且大大提高了工作效率，准确率高。
附图说明
图1为一种基于知识图谱的声像档案智能编研方法的流程示意图。
具体实施方式
请参阅图1，本发明实施例中，一种基于知识图谱的声像档案智能编研方法，实现方法包括以下步骤：
S1、将声像***档案中的结构化数据抽取为三元组以构建知识图谱；
S2、提取声像档案知识图谱中每种关系的邻接矩阵Ar；
S3、为每一种关系建立一个细胞，即一个隐藏层，每个细胞都维护了一个卷积核和一个权重矩阵w；
S4、使用卷积核自动提取不同关系的编研目标的声像实体的关联特征；
S5、根据用户所选择编研目标选择对应的训练集，如在选择人物关系作为编研目标时，训练集则为所有人物关系三元组中的尾实体的标注数据；
S6、根据模型自动生成的标签字段；对档案进行更加有效地编研。
优先的，步骤S4中在进行不同关系的编研时，需要自动捕获声像实体中的关联特征，因此对于音频实体和图像实体分别采用对应大小的卷积核提取特征，经过池化和激活层后得到实体的特征向量，然后将该关系下存在所有声像实体的特征表示为特征矩阵Hr。
优先的，步骤S2中每种关系的邻接矩阵Ar的邻接矩阵集为
Figure BSA0000242342810000031
再把邻接矩阵集
Figure BSA0000242342810000032
作为声像档案智能编研模型的输入，其中n为知识图谱中关系的数量。
优先的，步骤S5中训练集在模型训练过程中，每个关系对应的细胞都计算了一个关系状态矩阵Rn，其公式为：
Figure BSA0000242342810000033
其中Rn表示第n种关系的状态矩阵，B为每个细胞的偏置矩阵，所有***共享权重矩阵W，σ为激活函数，因此每一层根据关系自动提取的声像实体特征都会受到之前关系序列的影响。
优先的，步骤S5中训练集的模型训练需要在输出上加上一个softmax层来根据训练的声像实体特征进行多分类，进而得到缺失的标签字段，则输出的结果为：
yn＝softmax(W(S)Rn)
其中W(S)为softmax层的权重。
以上所述的，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种基于知识图谱的声像档案智能编研方法，其特征在于，实现方法包括以下步骤：
S1、将声像***档案中的结构化数据抽取为三元组以构建知识图谱；
S2、提取声像档案知识图谱中每种关系的邻接矩阵Ar；
S3、为每一种关系建立一个细胞，即一个隐藏层，每个细胞都维护了一个卷积核和一个权重矩阵w；
S4、使用卷积核自动提取不同关系的编研目标的声像实体的关联特征；
S5、根据用户所选择编研目标选择对应的训练集；
S6、根据模型自动生成的标签字段；对档案进行更加有效地编研。
2.根据权利要求1所述的一种基于知识图谱的声像档案智能编研方法，其特征在于，所述步骤S4中在进行不同关系的编研时，需要自动捕获声像实体中的关联特征，因此对于音频实体和图像实体分别采用对应大小的卷积核提取特征，经过池化和激活层后得到实体的特征向量，然后将该关系下存在所有声像实体的特征表示为特征矩阵Hr。
3.根据权利要求1所述的一种基于知识图谱的声像档案智能编研方法，其特征在于，
所述步骤S2中每种关系的邻接矩阵Ar的邻接矩阵集为
Figure FSA0000242342800000011
再把邻接矩阵集
Figure FSA0000242342800000012
作为声像档案智能编研模型的输入，其中n为知识图谱中关系的数量。
4.根据权利要求1所述的一种基于知识图谱的声像档案智能编研方法，其特征在于，
所述步骤S5中训练集在模型训练过程中，每个关系对应的细胞都计算了一个关系状态矩阵Rn，其公式为：
Figure FSA0000242342800000013
其中Rn表示第n种关系的状态矩阵，B为每个细胞的偏置矩阵，所有***共享权重矩阵W，σ为激活函数，因此每一层根据关系自动提取的声像实体特征都会受到之前关系序列的影响。
5.根据权利要求4所述的一种基于知识图谱的声像档案智能编研方法，其特征在于，所述步骤S5中训练集的模型训练需要在输出上加上一个softmax层来根据训练的声像实体特征进行多分类，进而得到缺失的标签字段，则输出的结果为：
yn＝softmax(W(S)Rn)
其中W(S)为softmax层的权重。
CN202110533208.XA 2021-05-19 2021-05-19 一种基于知识图谱的声像档案智能编研方法 Active CN113407645B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110533208.XA CN113407645B (zh) 2021-05-19 2021-05-19 一种基于知识图谱的声像档案智能编研方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110533208.XA CN113407645B (zh) 2021-05-19 2021-05-19 一种基于知识图谱的声像档案智能编研方法

Publications (2)

Publication Number Publication Date
CN113407645A true CN113407645A (zh) 2021-09-17
CN113407645B CN113407645B (zh) 2024-06-11

Family

ID=77678775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110533208.XA Active CN113407645B (zh) 2021-05-19 2021-05-19 一种基于知识图谱的声像档案智能编研方法

Country Status (1)

Country Link
CN (1) CN113407645B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114218437A (zh) * 2021-12-20 2022-03-22 天翼爱音乐文化科技有限公司 自适应图片裁剪融合方法、***、计算机设备及介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361111A (zh) * 2014-11-28 2015-02-18 青岛大学 一种档案自动编研方法
CN110309321A (zh) * 2019-07-10 2019-10-08 电子科技大学 一种基于图谱表示学习的知识表示学习方法
CN110943857A (zh) * 2019-11-20 2020-03-31 国网湖北省电力有限公司信息通信公司 基于卷积神经网络的电力通信网故障分析及定位方法
US20200160215A1 (en) * 2018-11-16 2020-05-21 NEC Laboratories Europe GmbH Method and system for learning numerical attributes on knowledge graphs
CN111241306A (zh) * 2020-01-21 2020-06-05 浙江大学 一种基于知识图谱和指针网络的路径规划方法
CN111382272A (zh) * 2020-03-09 2020-07-07 西南交通大学 一种基于知识图谱的电子病历icd自动编码方法
CN111581396A (zh) * 2020-05-06 2020-08-25 西安交通大学 一种基于多维特征融合与依存句法的事件图谱构建***及方法
CN112100406A (zh) * 2020-11-11 2020-12-18 腾讯科技（深圳）有限公司 数据处理方法、装置、设备以及介质
CN112417219A (zh) * 2020-11-16 2021-02-26 吉林大学 基于超图卷积的超边链接预测方法
WO2021042546A1 (zh) * 2019-09-06 2021-03-11 平安科技（深圳）有限公司 知识图谱链接错误的查修方法、装置及存储介质
CN112612900A (zh) * 2020-12-10 2021-04-06 大连理工大学 一种知识图谱指导的多张场景图像生成方法
CN112765363A (zh) * 2021-01-19 2021-05-07 昆明理工大学 一种面向科技服务需求的需求图谱构建方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361111A (zh) * 2014-11-28 2015-02-18 青岛大学 一种档案自动编研方法
US20200160215A1 (en) * 2018-11-16 2020-05-21 NEC Laboratories Europe GmbH Method and system for learning numerical attributes on knowledge graphs
CN110309321A (zh) * 2019-07-10 2019-10-08 电子科技大学 一种基于图谱表示学习的知识表示学习方法
WO2021042546A1 (zh) * 2019-09-06 2021-03-11 平安科技（深圳）有限公司 知识图谱链接错误的查修方法、装置及存储介质
CN110943857A (zh) * 2019-11-20 2020-03-31 国网湖北省电力有限公司信息通信公司 基于卷积神经网络的电力通信网故障分析及定位方法
CN111241306A (zh) * 2020-01-21 2020-06-05 浙江大学 一种基于知识图谱和指针网络的路径规划方法
CN111382272A (zh) * 2020-03-09 2020-07-07 西南交通大学 一种基于知识图谱的电子病历icd自动编码方法
CN111581396A (zh) * 2020-05-06 2020-08-25 西安交通大学 一种基于多维特征融合与依存句法的事件图谱构建***及方法
CN112100406A (zh) * 2020-11-11 2020-12-18 腾讯科技（深圳）有限公司 数据处理方法、装置、设备以及介质
CN112417219A (zh) * 2020-11-16 2021-02-26 吉林大学 基于超图卷积的超边链接预测方法
CN112612900A (zh) * 2020-12-10 2021-04-06 大连理工大学 一种知识图谱指导的多张场景图像生成方法
CN112765363A (zh) * 2021-01-19 2021-05-07 昆明理工大学 一种面向科技服务需求的需求图谱构建方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114218437A (zh) * 2021-12-20 2022-03-22 天翼爱音乐文化科技有限公司 自适应图片裁剪融合方法、***、计算机设备及介质

Also Published As

Publication number Publication date
CN113407645B (zh) 2024-06-11

Similar Documents

Publication Publication Date Title
US8818916B2 (en) System and method for linking multimedia data elements to web pages
US20200012674A1 (en) System and methods thereof for generation of taxonomies based on an analysis of multimedia content elements
US9672217B2 (en) System and methods for generation of a concept based database
US8874596B2 (en) Image processing system and method
CN111324774B (zh) 一种视频去重方法和装置
US20100042646A1 (en) System and Methods Thereof for Generation of Searchable Structures Respective of Multimedia Data Content
WO2022121485A1 (zh) 图像的多标签分类方法、装置、计算机设备及存储介质
CN109389044B (zh) 基于卷积网络与多任务学习的多场景人群密度估计方法
CN109960722B (zh) 一种信息处理方法及装置
US9665773B2 (en) Searching for events by attendants
Pustu-Iren et al. Automated Visual Content Analysis for Film Studies: Current Status and Challenges.
CN114064627A (zh) 一种针对多重关系的知识图谱链接补全方法及***
CN113407645A (zh) 一种基于知识图谱的声像档案智能编研方法
CN116778148A (zh) 目标检测方法、装置、电子设备及存储介质
CN114821140A (zh) 基于曼哈顿距离的图像聚类方法、终端设备及存储介质
Kumar et al. An extensive review on different strategies of multimedia data mining
Zhuang et al. Dlstm approach to video modeling with hashing for large-scale video retrieval
US20210271699A1 (en) Techniques for Searching a Database of Documents by Analogy
CN110659382B (zh) 基于异构信息网络表示学习技术的混合音乐推荐方法
Venkatavara Prasad et al. Sequential mining of real time moving object by using fast frequence pattern algorithm
CN110428051A (zh) 一种复用深度神经网络模型训练模型的方法和***
CN117649582B (zh) 基于级联注意力的单流单阶段网络目标跟踪方法与***
CN114219985B (zh) 信息识别处理方法、装置、计算机设备、存储介质
CN108984638A (zh) 一种照片命名处理方法
Guo et al. A Scalable Data Augmentation and Training Pipeline for Logo Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant