CN106503246A - 一种古籍智能数字化文献库的建立方法 - Google Patents
一种古籍智能数字化文献库的建立方法 Download PDFInfo
- Publication number
- CN106503246A CN106503246A CN201610982510.2A CN201610982510A CN106503246A CN 106503246 A CN106503246 A CN 106503246A CN 201610982510 A CN201610982510 A CN 201610982510A CN 106503246 A CN106503246 A CN 106503246A
- Authority
- CN
- China
- Prior art keywords
- document
- document databse
- intelligent
- ancient books
- databse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000005516 engineering process Methods 0.000 claims abstract description 24
- 230000011218 segmentation Effects 0.000 claims abstract description 9
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000013459 approach Methods 0.000 claims description 4
- 230000007935 neutral effect Effects 0.000 claims description 4
- 230000008901 benefit Effects 0.000 claims description 3
- 238000003066 decision tree Methods 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 abstract 1
- 238000007418 data mining Methods 0.000 abstract 1
- 238000010276 construction Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013332 literature search Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/243—Natural language query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种古籍智能数字化文献库的建立方法，包括以下步骤：S1：应用自动分词技术，建立以词为单位的数字化古籍档案库；S2：应用计算智能技术，通过聚类方法对专有名词进行自动分类，所述计算智能技术包括进化算法、神经网络和模糊逻辑；S3：依次建立原始数据化文献库、关系索引文献库、逻辑学习文献库三个层次的智能化数据库，在聚类方法中，当无法提前确定分类标准时，采用模糊逻辑和群体智能方法，摸索出合理的类别模板。建立基础知识库，包括人名、字、号等专有名词相关的数据库，从大量的数据样例中进行提取知识，利用模糊逻辑，决策树分类等数据挖掘方法来找出有用的人名、地名、事件等有用信息，以便实现全方位立体关系检索。
Description
技术领域
本发明属于古籍知识发现领域领域，涉及一种文献库的建立方法，尤其是涉及一种古籍智能数字化文献库的建立方法。
背景技术
自从20世纪80年代以来，通过二十多年的古籍数字化建设，我国已经在项目建设和理论研究方面取得了实质性的进展，但在其发展和实现的过程中，有着自身和外在不可逾越，或者说是在一定时期内无法逾越的问题，主要表现在以下几个方面：1.古籍数字化的标引检索技术亟待完善；2.知识发现技术有待进一步提高；3.古籍缺乏整体规划，重复建设和遗弃严重；4.文献购置和设备购置成为制约古籍数字化的两大难题。
由于在古籍整理和数字化方面，我国乃至世界范围内，缺乏一个整体的领导和规划，使得古籍数字化工作存在着重复建设的问题，如文渊阁《四库全书》的数字化就存在着上海人民出版社、迪志文化出版有限公司和武汉大学出版社的三个版本。另外，古籍整理技术成果不能得到充分利用，千百年来我国的古籍整理先人所形成的成果，尤其是二次文献成果(如30年代的哈佛燕京学社的索引)在现今似已被遗弃，失去了其存在的价值。
图书馆的古籍文献状态分为“物理拥有”(拥有模式是指提供给读者的服务是通过物理存在概念上的本馆占有文献来实现的模式。)和“获取”(获取模式是一种不占有物理馆藏而通过网络等技术为传播媒介，取得的能够满足读者(用户)需求的信息的模式。)两种。对于古籍文献资料较多的图书馆来说，虽他们拥有丰富的文献资料和文献处理经验，但在经费一定的情况下，因为经费过多用于古籍的采购，无法购置必需的设备和软件，也缺乏足够的人力和相关的计算机技术人才，不少已经规划好的项目无法开展。而对于以获取方式取得古籍的图书馆来说，古籍电子出版物和网络获取成本太高，利润太少，投资大，市场小，且盗版严重。以上的现状，使得建立一个数字化、智能化古籍检索的数据库成为古籍数字化工作的重中之重。
发明内容
为解决现有古籍数字化工作缺少智能文献库的缺陷，本发明提供一种古籍智能数字化文献库的建立方法，提供智能的知识相关检索，帮助客户更快捷更方便地找到其所想要的文献资料。
本发明为解决上述问题采用如下的技术方案：
一种古籍智能数字化文献库的建立方法，包括以下步骤：
S1：应用自动分词技术，建立以词为单位的数字化古籍档案库；
S2：应用计算智能技术，通过聚类方法对专有名词进行自动分类；
S3：依次建立原始数据化文献库、关系索引文献库、逻辑学习文献库三个层次的智能化数据库。
进一步的，S3中，建立所述原始数据化文献库，包括以下步骤：
M1：通过数字版权购买、网络资源收集、图书档案馆互利联营和自主收集整理扫描识别的途径，建立原始数字文献库；
M2：以古籍的年代、标题、作者、来源、长度、简介、版本、章节、页码作为索引项目，提取古籍部分或全部内容。
进一步的，S3中，建立所述关系索引文献库，包括以下步骤：
N1：应用自动分词技术实现智能古籍文献的第一步智能化，即以词为检索单元的古籍文献；
N2：基于词频、词构模式、词构年代和地域特征的词分析方法，对文学、历史、科技各方面的文献，建立专有名词库；
N3：进行专有名词的提取和识别，并对名词之间的关联进行智能分析，让每一个关键字词都有环境词组关联，由此建立进一步智能化的关系索引文献库。
进一步的，S3中，建立所述逻辑学习文献库，包括以下步骤：
P1：所述关系索引文献库检索之后，对于检索结果的进一步分类应用和人为调整；
P2：来自智能终端用户的选择和辨别解析，这些用户输入被作为搜索算法的持续学习训练过程，存入文献库，形成所述逻辑学习文献库。
进一步的，S2中，所述计算智能技术包括进化算法、神经网络和模糊逻辑。
进一步的，S2中，在聚类方法中，当无法提前确定分类标准时，采用模糊逻辑和群体智能方法，摸索出合理的类别模板。
本发明的有益效果在于：
(1)提供一种古籍智能数字化文献库的建立方法，建立基础知识库，包括人名、字、号等专有名词相关的数据库，从大量的数据样例中进行提取知识，利用模糊逻辑，决策树分类等数据挖掘方法来找出有用的人名、地名、事件等有用信息，依次建立原始数据化文献库、关系索引文献库、逻辑学习文献库三个层次的智能化数据库，以便实现全方位立体关系检索。
(2)关系索引文献库的建立使我们的检索不再是同一字词相似度的检索，而是具有特征量，区分量，相关量，分类量，关联量，趋势量，偏离量的全方位的立体关系检索，相互关联索引的词汇网络为分析研究词汇丰富的人文和社会内涵及其与文化经济活动的联系，为进行知识发现工作、建立丰富的古籍文献的专家知识库，奠定了基础。
(3)自智能终端用户的选择和辨别解析，这些用户输入将被作为搜索算法的持续学习训练过程存入关联第三层文献库，即逻辑学习文献库。词汇检索成为与现代人语境关联、智能识别用户体验、推送综合关联信息的智能文献检索。
具体实施方式
本发明提供一种古籍智能数字化文献库的建立方法，包括以下步骤：
S1：应用自动分词技术，建立以词为单位的数字化古籍档案库；
S2：应用计算智能技术，通过聚类方法对专有名词进行自动分类；
S3：依次建立原始数据化文献库、关系索引文献库、逻辑学习文献库三个层次的智能化数据库；
(1)建立所述原始数据化文献库，包括以下步骤：
M1：通过数字版权购买、网络资源收集、图书档案馆互利联营和自主收集整理扫描识别的途径，建立原始数字文献库；
M2：以古籍的年代、标题、作者、来源、长度、简介、版本、章节、页码作为索引项目，提取古籍部分或全部内容。
(2)建立所述关系索引文献库，包括以下步骤：
N1：应用自动分词技术实现智能古籍文献的第一步智能化，即以词为检索单元的古籍文献；
N2：基于词频、词构模式、词构年代和地域特征的词分析方法，对文学、历史、科技各方面的文献，建立专有名词库；
N3：进行专有名词的提取和识别，并对名词之间的关联进行智能分析，让每一个关键字词都有环境词组关联，由此建立进一步智能化的关系索引文献库。
(3)建立所述逻辑学习文献库，包括以下步骤：
P1：所述关系索引文献库检索之后，对于检索结果的进一步分类应用和人为调整；
P2：来自智能终端用户的选择和辨别解析，这些用户输入被作为搜索算法的持续学习训练过程，存入文献库，形成所述逻辑学习文献库。
需要指出的是，S2中，所述计算智能技术包括进化算法、神经网络和模糊逻辑；在聚类方法中，当无法提前确定分类标准时，采用模糊逻辑和群体智能方法，摸索出合理的类别模板。
本发明在原有古籍数字化的基础上，应用自动分词技术，建立以词为单位的数字化古籍档案库，再应用进化算法、神经网络和模糊逻辑等计算智能技术，通过聚类方法对专有名词进行自动分类，对文本数据库进行智能化文献整理，建立三个层次的智能数字化文献库，同时可以通过专家知识信息平台对文献数据进行自动标引、检索、增删、修改和扩充等。在聚类方法中，当无法提前确定分类标准时，采用模糊逻辑和群体智能方法，可以摸索出合理的类别模板。
实现三个层次数字化文献库的主要技术方案如下：
一是原始数据化文献库。通过数字版权购买、网络资源收集、图书档案馆互利联营和自主收集整理扫描识别等途径，建立原始数字文献库。古籍的年代、标题、作者、来源、长度、简介、版本、章节、页码等作为索引项目，可以提取古籍部分或全部内容。这是整个项目的基石，总体技术成熟，存储、数据库、手机整理等，是整体项目中需要资金支持最大的部分。
二是关系索引文献库。在完成上述原始数据化文献***功能外，应用自动分词技术实现智能古籍文献的第一步智能化，即以词为检索单元的古籍文献。应用进化计算、神经网络和模糊逻辑等方法，和基于词频、词构模式、词构年代和地域特征的词分析方法，对文学、历史、科技等各方面的文献，建立专有名词库，进行专有名词的提取和识别，并对名词之间的关联进行智能分析，让每一个关键字词都有环境词组关联，由此建立进一步智能化的关系索引文献库。相互关联索引的词汇网络为分析研究词汇丰富的人文和社会内涵及其与文化经济活动的联系，为进行知识发现工作、建立丰富的古籍文献的专家知识库，奠定了基础。
三是逻辑学习文献库。关系索引文献库的建立使我们的检索不再是同一字词相似度的检索，而是具有特征量，区分量，相关量，分类量，关联量，趋势量，偏离量的全方位的立体关系检索。对于检索结果的进一步分类应用和人为调整，在很大规模上来自智能终端用户的选择和辨别解析，这些用户输入将被作为搜索算法的持续学习训练过程存入关联第三层文献库，即逻辑学习文献库。词汇检索成为与现代人语境关联、智能识别用户体验、推送综合关联信息的智能文献检索。
以上通过实施例对本发明的进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。
Claims (6)
1.一种古籍智能数字化文献库的建立方法，其特征在于：包括以下步骤：
S1：应用自动分词技术，建立以词为单位的数字化古籍档案库；
S2：应用计算智能技术，通过聚类方法对专有名词进行自动分类；
S3：依次建立原始数据化文献库、关系索引文献库、逻辑学习文献库三个层次的智能化数据库。
2.根据权利要求1所述的一种古籍智能数字化文献库的建立方法，其特征在于：S3中，建立所述原始数据化文献库，包括以下步骤：
M1：通过数字版权购买、网络资源收集、图书档案馆互利联营和自主收集整理扫描识别的途径，建立原始数字文献库；
M2：以古籍的年代、标题、作者、来源、长度、简介、版本、章节、页码作为索引项目，提取古籍部分或全部内容。
3.根据权利要求1所述的一种古籍智能数字化文献库的建立方法，其特征在于：S3中，建立所述关系索引文献库，包括以下步骤：
N1：应用自动分词技术实现智能古籍文献的第一步智能化，即以词为检索单元的古籍文献；
N2：基于词频、词构模式、词构年代和地域特征的词分析方法，对文学、历史、科技各方面的文献，建立专有名词库；
N3：进行专有名词的提取和识别，并对名词之间的关联进行智能分析，让每一个关键字词都有环境词组关联，由此建立进一步智能化的关系索引文献库。
4.根据权利要求1所述的一种古籍智能数字化文献库的建立方法，其特征在于：S3中，建立所述逻辑学习文献库，包括以下步骤：
P1：所述关系索引文献库检索之后，对于检索结果的进一步分类应用和人为调整；
P2：来自智能终端用户的选择和辨别解析，这些用户输入被作为搜索算法的持续学习训练过程，存入文献库，形成所述逻辑学习文献库。
5.根据权利要求1所述的一种古籍智能数字化文献库的建立方法，其特征在于：S2中，所述计算智能技术包括进化算法、神经网络和模糊逻辑。
6.根据权利要求1所述的一种古籍智能数字化文献库的建立方法，其特征在于：S2中，在聚类方法中，当无法提前确定分类标准时，采用模糊逻辑和群体智能方法，摸索出合理的类别模板。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610982510.2A CN106503246A (zh) | 2016-11-09 | 2016-11-09 | 一种古籍智能数字化文献库的建立方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610982510.2A CN106503246A (zh) | 2016-11-09 | 2016-11-09 | 一种古籍智能数字化文献库的建立方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106503246A true CN106503246A (zh) | 2017-03-15 |
Family
ID=58323562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610982510.2A Pending CN106503246A (zh) | 2016-11-09 | 2016-11-09 | 一种古籍智能数字化文献库的建立方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106503246A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107862069A (zh) * | 2017-11-21 | 2018-03-30 | 广州星耀悦教育科技有限公司 | 一种分类数据库的构建方法以及图书分类的方法 |
| CN109002184A (zh) * | 2017-06-07 | 2018-12-14 | 北京搜狗科技发展有限公司 | 一种输入法候选词的联想方法和装置 |
| CN111181785A (zh) * | 2019-12-30 | 2020-05-19 | 上海汇付数据服务有限公司 | 基于反馈式链路的监控方法和装置 |
| CN111709237A (zh) * | 2020-06-04 | 2020-09-25 | 中国地质大学（北京） | 一种基于地学分支学科专家知识的逻辑结构树构建方法 |
| CN112836021A (zh) * | 2021-02-24 | 2021-05-25 | 南京乐图软件技术有限公司 | 一种图书馆智能化搜索*** |
-
2016
- 2016-11-09 CN CN201610982510.2A patent/CN106503246A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109002184A (zh) * | 2017-06-07 | 2018-12-14 | 北京搜狗科技发展有限公司 | 一种输入法候选词的联想方法和装置 |
| CN109002184B (zh) * | 2017-06-07 | 2022-09-23 | 北京搜狗科技发展有限公司 | 一种输入法候选词的联想方法和装置 |
| CN107862069A (zh) * | 2017-11-21 | 2018-03-30 | 广州星耀悦教育科技有限公司 | 一种分类数据库的构建方法以及图书分类的方法 |
| CN111181785A (zh) * | 2019-12-30 | 2020-05-19 | 上海汇付数据服务有限公司 | 基于反馈式链路的监控方法和装置 |
| CN111709237A (zh) * | 2020-06-04 | 2020-09-25 | 中国地质大学（北京） | 一种基于地学分支学科专家知识的逻辑结构树构建方法 |
| CN112836021A (zh) * | 2021-02-24 | 2021-05-25 | 南京乐图软件技术有限公司 | 一种图书馆智能化搜索*** |
| CN112836021B (zh) * | 2021-02-24 | 2022-04-26 | 南京乐图软件技术有限公司 | 一种图书馆智能化搜索*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106503246A (zh) | 一种古籍智能数字化文献库的建立方法 | |
| US8341112B2 (en) | Annotation by search | |
| CN100538695C (zh) | 构造、维护个性化分类树的方法及*** | |
| Deshpande et al. | Text summarization using clustering technique | |
| CN102982076A (zh) | 基于语义标签库的多维度内容标注方法 | |
| CN102184262A (zh) | 基于web的文本分类挖掘***及方法 | |
| WO2018090468A1 (zh) | 视频节目的搜索方法和装置 | |
| CN103324700A (zh) | 一种基于Web信息的本体概念属性学习方法 | |
| Richards et al. | The Archaeology Data Service and the Archaeotools project: faceted classification and natural language processing | |
| CN106227788A (zh) | 一种以Lucene为基础的数据库查询方法 | |
| CN106547893A (zh) | 一种图片分类管理***及图片分类管理方法 | |
| Schweighofer et al. | Automatic text representation, classification and labeling in European law | |
| CN103761286B (zh) | 一种基于用户兴趣的服务资源检索方法 | |
| Eken et al. | DoCA: a content-based automatic classification system over digital documents | |
| CN117151659B (zh) | 一种基于大语言模型的生态修复工程全生命周期追溯方法 | |
| CN113742292A (zh) | 基于ai技术的多线程数据检索及所检索数据的访问方法 | |
| Liu et al. | Research on incremental clustering | |
| Goyal et al. | A Review on Different Content Based Image Retrieval Techniques Using High Level Semantic Feature | |
| Irshad et al. | SwCS: Section-Wise Content Similarity Approach to Exploit Scientific Big Data. | |
| Li | Glowworm Swarm Optimization Algorithm‐and K‐Prototypes Algorithm‐Based Metadata Tree Clustering | |
| Qin et al. | Construction of agricultural knowledge service platform for scientific and technological innovation | |
| Gupta et al. | A system's approach towards domain identification of web pages | |
| Yan et al. | Research on Application Value Analysis of Real Estate Registration Based on Big Data Mining | |
| CN110879842A (zh) | 一种基于信息抽取的法律知识图谱构建方法 | |
| Yadav et al. | Ontdr: An ontology-based augmented method for document retrieval |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170315 |