CN112559526A - 数据表导出方法、装置、计算机设备及存储介质 - Google Patents

数据表导出方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112559526A
CN112559526A CN202011473636.XA CN202011473636A CN112559526A CN 112559526 A CN112559526 A CN 112559526A CN 202011473636 A CN202011473636 A CN 202011473636A CN 112559526 A CN112559526 A CN 112559526A
Authority
CN
China
Prior art keywords
data table
field
export
template
fields
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011473636.XA
Other languages
English (en)
Inventor
王唯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN202011473636.XA priority Critical patent/CN112559526A/zh
Publication of CN112559526A publication Critical patent/CN112559526A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/242Query formulation
    • G06F16/2433Query languages
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/248Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及数据处理领域,本发明公开了一种数据表导出方法、装置、计算机设备及存储介质,所述方法包括:通过接收导出请求,获取导出请求中的项目标识、模板类型和多个预设字段;自项目问题库中获取项目问题清单,同时自模板库中获取与模板类型和项目标识均匹配的导出模板;运用NLP技术,通过关键字段提取模型对项目问题清单进行关键字段识别,获取关注结果;根据项目标识、所有预设字段和所有关注字段,对导出模板进行加工,得到待导出数据表;从数据库中查询字段数据,以及对查询到的字段数据进行校验,并导出数据表。本发明实现了导出数据表的动态可配置化,提升了导出数据表的可维护性和适应性,保证了导出数据表的准确性。

Description

数据表导出方法、装置、计算机设备及存储介质
技术领域
本发明涉及大数据的数据处理领域,尤其涉及一种数据表导出方法、装置、计算机设备及存储介质。
背景技术
目前,问题清单表格的导入导出往往是开发方与业务方约定好的固定表头,***按照该固定表头开发,业务方从***导出问题清单模板,然后在本地按照该模板填写或编辑数据(表头不能变动),业务方通常只需要从与处理着的项目相关的某几个表头进行处理,过程中就需要花费精力去选择表头,选择后导入模板才能从数据库中导出问题清单表格中需要的数据,在导出的问题清单表格中修改完需要输入的数据后,才能导入***中生效,这一过程十分繁琐,而且开发方无法针对各个项目的问题清单表格单独开发与其对应的模板,因此该模板的可维护性和动态适用性差。
发明内容
本发明提供一种数据表导出方法、装置、计算机设备及存储介质,实现了导出数据表的动态可配置化,提升了导出数据表的可维护性和适应性,保证了导出数据表的准确性,满足了用户的多样性需求,提升了用户体验满意度。
一种数据表导出方法,包括:
接收导出请求,获取所述导出请求中的项目标识、模板类型和多个预设字段;
自项目问题库中获取与所述项目标识关联的项目问题清单,同时自模板库中获取与所述模板类型和所述项目标识均匹配的导出模板;
运用NLP技术,通过关键字段提取模型对所述项目问题清单进行关键字段识别,获取所述关键字段提取模型根据识别的关键字段输出的关注结果;所述关注结果包括多个关注字段;
根据所述项目标识、所有所述预设字段和所有所述关注字段,对所述导出模板进行加工,得到与所述项目标识对应的待导出数据表;
从数据库中查询与所述待导出数据表中的各表头字段对应的字段数据,以及对查询到的所述字段数据进行校验,并导出与所述导出请求对应的数据表。
一种数据表导出装置,包括:
接收模块,用于接收导出请求,获取所述导出请求中的项目标识、模板类型和多个预设字段;
获取模块,用于自项目问题库中获取与所述项目标识关联的项目问题清单,同时自模板库中获取与所述模板类型和所述项目标识均匹配的导出模板;
识别模块,用于运用NLP技术,通过关键字段提取模型对所述项目问题清单进行关键字段识别,获取所述关键字段提取模型根据识别的关键字段输出的关注结果;所述关注结果包括多个关注字段;
加工模块,用于根据所述项目标识、所有所述预设字段和所有所述关注字段,对所述导出模板进行加工,得到与所述项目标识对应的待导出数据表;
导出模块,用于从数据库中查询与所述待导出数据表中的各表头字段对应的字段数据,以及对查询到的所述字段数据进行校验,并导出与所述导出请求对应的数据表。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述数据表导出方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述数据表导出方法的步骤。
本发明提供的数据表导出方法、装置、计算机设备及存储介质,通过接收导出请求,获取所述导出请求中的项目标识、模板类型和多个预设字段;自项目问题库中获取项目问题清单,同时自模板库中获取与所述模板类型和所述项目标识均匹配的导出模板;运用NLP技术,通过关键字段提取模型对所述项目问题清单进行关键字段识别,获取关注结果;根据所述项目标识、所有所述预设字段和所有所述关注字段,对所述导出模板进行加工,得到待导出数据表;从数据库中查询字段数据,以及对查询到的所述字段数据进行校验,并导出数据表,如此,本发明实现了无需约定固定的表头,自动匹配导出模板,以及自动从项目问题清单中识别出关注字段***导出模板中,实现了动态配置数据表的表头及对数据表中的字段数据进行自动校验,减少了针对各个项目开发固有表头的工作量,和人工选择表头及查阅表头的工作量,实现了导出数据表的动态可配置化,提升了导出数据表的可维护性和适应性,保证了导出数据表的准确性,满足了用户的多样性需求,提升了用户体验满意度。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中数据表导出方法的应用环境示意图;
图2是本发明一实施例中数据表导出方法的流程图;
图3是本发明一实施例中数据表导出方法的步骤S30的流程图;
图4是本发明一实施例中数据表导出方法的步骤S40的流程图;
图5是本发明另一实施例中数据表导出方法的步骤S40的流程图;
图6是本发明一实施例中数据表导出方法的步骤S50的流程图;
图7是本发明一实施例中数据表导出装置的原理框图;
图8是本发明一实施例中数据表导出装置的识别模块的原理框图;
图9是本发明一实施例中计算机设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供的数据表导出方法,可应用在如图1的应用环境中,其中,客户端(计算机设备)通过网络与服务器进行通信。其中,客户端(计算机设备)包括但不限于为各种个人计算机、笔记本电脑、智能手机、平板电脑、摄像头和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中,如图2所示,提供一种数据表导出方法,其技术方案主要包括以下步骤S10-S50:
S10,接收导出请求,获取所述导出请求中的项目标识、模板类型和多个预设字段。
可理解地,接收到所述导出请求,所述导出请求为用户需要导出一个项目的数据表时,在应用程序界面上输入完所述项目标识、所述模板类型和所有所述预设字段之后触发的请求,所述项目标识为赋予项目一个唯一标识码,所述模板类型为按照选用的导出模板并导出数据表的分类,所述模板类型为在模板库中历史的导出模板的分类,通过一个所述模板类型对应与一种导出模板的分类,所述模板类型的名称可以根据需求设定,比如所述模板类型的名称可以为某一项目分类加上导出模板中的表头再加上版本号,或者可以为某一项目分类加上导出模板中的表头各首字母汇总再加上版本号等等,所述预设字段为导出数据表中的用户已知的字段。
S20,自项目问题库中获取与所述项目标识关联的项目问题清单,同时自模板库中获取与所述模板类型和所述项目标识均匹配的导出模板。
可理解地,所述项目问题库存储了所有项目的项目问题清单,一个所述项目标识关联一个所述项目问题清单,所述项目问题清单记录了该项目的所有问题,增改减项目问题都在所述项目问题清单中进行维护,从所述项目问题库中查询到与所述项目标识关联的所述项目问题清单,并获取查询到的所述项目问题清单,所述模板库存储了所有所述导出模板,一个所述导出模板的名称包括项目标识和模板类型,从所述模板库中查询与所述模板类型和所述项目标识均匹配的所述导出模板的名称,所述匹配方法可以为通过文本相似度算法进行匹配。
S30,运用NLP技术,通过关键字段提取模型对所述项目问题清单进行关键字段识别,获取所述关键字段提取模型根据识别的关键字段输出的关注结果;所述关注结果包括多个关注字段。
可理解地,所述NLP(自然语言处理,Natural Language Processing)技术为以一种将自然语言转换成计算机语言进行分析,理解和从文本中提取信息等重要的过程,比如自动摘要,机器翻译,命名实体识别,关系提取,语音识别和主题分割等,所述关键字段提取模型能够识别出输入该模型的文本中的关键字段的语言模型,通过所述关键字段提取模型对所述项目问题清单进行关键字段识别,所述关键字段识别为运用NLP技术提取出所述项目问题清单中的关键词,再通过Word2vec技术对提取的关键词进行向量转换,并对转换后的关键词的向量提取关键字段特征,根据提取的关键字段特征识别出关键字段的过程,从而得到含有多个所述关键字段的关键字段结果,从所述关键字段结果中抽取出大于预设阈值的所述关键字段,并将抽取的所述关键字段确定为所述关注字段,将所有所述关注字段确定为所述关注结果,所述关键字段为从所述项目问题清单中识别的关键词转换提取获得的字段,所述关注字段为预测出用户关注的关键字段。
在一实施例中,如图3所示,所述步骤S30中,即所述运用NLP技术,通过关键字段提取模型对所述项目问题清单进行关键字段识别,获取所述关键字段提取模型根据识别的关键字段输出的关注结果,包括:
S301,运用NLP技术,通过所述关键字段提取模型中的LDA关键词模型对所述项目问题清单进行关键词提取,得到关键词结果。
可理解地,所述关键字段提取模型包括所述LDA关键词模型,所述LDA关键词模型为基于LDA主题模型的语言模型,通过所述LDA关键词模型对所述项目问题清单进行分词处理,对划分的词进行去停用词处理,对处理后的关键词的分布情况进行上下文语义识别,预测出各个关键词的概率分布,所述LDA关键词模型实现了运用NLP技术,通过LDA主题模型的提取方法提取输入的项目问题清单中的关键词,将所有关键词作为关键词结果输出,所述关键词结果包含多个所述关键词。
S302,运用Word2vec技术,通过所述关键字段提取模型对所述关键词结果进行关键字段特征提取,得到关键字段结果。
可理解地,所述Word2vec技术为运用Word2vec算法将各所述关键词映射成N维的词向量的转换过程,通过所述关键字段提取模型对转换后的向量进行所述关键字段特征提取,预测出与所述数据库中字段匹配的关键字段,将所有所述关键字段确定为所述关键字段结果。
S303,对所述关键字段结果进行抽取,获得所述关注结果。
可理解地,从所述关键字段结果中抽取出大于预设阈值的所述关键字段,并将抽取的所述关键字段确定为所述关注字段,将所有所述关注字段确定为所述关注结果。
本发明实现了运用NLP技术,通过所述关键字段提取模型中的LDA关键词模型对所述项目问题清单进行关键词提取,得到关键词结果;运用Word2vec技术,通过所述关键字段提取模型对所述关键词结果进行关键字段特征提取,得到关键字段结果;对所述关键字段结果进行抽取,获得所述关注结果,如此,实现了运用NLP技术和Word2vec技术自动识别出项目问题清单中需要关注的字段,无需用户人工选择字段,减少了人工操作,并避免了用户在众多字段中确认关注的字段的遗漏,更加全方位地识别关注的字段。
S40,根据所述项目标识、所有所述预设字段和所有所述关注字段,对所述导出模板进行加工,得到与所述项目标识对应的待导出数据表。
可理解地,将所有所述预设字段和所有所述关注字段进行去重处理,即所有所述关注字段中可能包含有所述预设字段,需要从中去除重复项,从而将去重后的所述关注字段和所有所述预设字段标记为导出字段,所述导出字段为需要导出的字段,所述加工过程为将所述导出字段在所述导出模板的表头后***,即所述导出模板表头会存在固有的字段,在固有的字段之后***所述导出字段,将所述项目标识***所述导出模板中的项目字段中的操作过程,所述项目字段为输入涉及项目的字段位置,将加工之后的所述导出模板确定为所述待导出数据表,并与所述项目标识对应。
在一实施例中,如图4所示,所述步骤S40中,即所述根据所述项目标识、所有所述预设字段和所有所述关注字段,对所述导出模板进行加工,得到与所述项目标识对应的待导出数据表,包括:
S401,对所有所述预设字段和所有所述关注字段进行去重处理,得到导出字段。
可理解地,从所有所述关注字段中去除与所述预设字段相同的重复项,将去除重复项后的所述关注字段和所有所述预设字段标记为所述导出字段。
在一实施例中,如图5所示,所述步骤S401之后,即所述对所有所述预设字段和所有所述关注字段进行去重处理,得到导出字段之后,还包括:
S403,根据各所述导出字段,对与获取的所述导出模板匹配的所述模板类型进行模板类型新增处理,得到与所述模板类型对应的新模板类型。
可理解地,所述模板类型新增处理过程为将所述导出模板的模板类型与所有所述导出字段通过分隔符隔开后进行合并,如遇到合并后的名称与历史的模板类型去除版本号后的内容相同,则通过版本号进行区别,在最近新增的模板类型的版本号后升版,从而得到在所述模板类型的基础上新增的所述新模板类型。
S404,将各所述导出字段加入所述表头字段中,将加入后的所述导出模板确定为与所述新模板类型匹配的新导出模板,将所述新导出模板存储至所述模板库中。
可理解地,将各所述导出字段加入所述表头字段中,将加入后的所述导出模板确定为所述新导出模板,所述新导出模板为新增的与所述新模板类型匹配的导出模板,将所述新导出模板存储至所述模板库中,需要强调的是,为进一步保证所述模板库的私密和安全性,上述模板库还可以存储于区块链的节点中。
其中,本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。区块链提供的去中心化的完全分布式DNS服务通过网络中各个节点之间的点对点数据传输服务就能实现域名的查询和解析,可用于确保某个重要的基础设施的操作***和固件没有被篡改,可以监控数据的状态和完整性,发现不良的篡改,并确保所传输的数据没用经过篡改,将所述模板库存储在区块链中,能够确保所有所述导出模板的私密和安全性。
本发明实现了通过根据各所述导出字段,对与获取的所述导出模板匹配的所述模板类型进行模板类型新增处理,得到与所述模板类型对应的新模板类型;将各所述导出字段加入所述表头字段中,将加入后的所述导出模板确定为与所述新模板类型匹配的新导出模板,将所述新导出模板存储至所述模板库中,如此,能够实现在现有的模板类型上新增处理,得到新增模板类型,以及自动新增导出模板,存储于模板库中,以供后续直接调用该导出模板,为用户提供了便利,并满足了导出模板的多样性,提升了用户的体验度。
S402,将所述导出字段加入所述表头字段中,以及将所述项目标识加入所述导出模板中的项目字段中,得到与所述项目标识对应的待导出数据表。
可理解地,将所述导出字段***所述表头字段中,将所述项目标识***所述导出模板中的项目字段中的操作过程,将加工之后的所述导出模板确定为所述待导出数据表,并与所述项目标识对应。
本发明实现了通过对所有所述预设字段和所有所述关注字段进行去重处理,得到导出字段;将各所述导出字段加入所述表头字段中,以及将所述项目标识加入所述导出模板中的项目字段中,得到与所述项目标识对应的待导出数据表,如此,实现了对所有预设字段和所有关注字段去重后获得导出字段,并对导出模板进行加工得到与项目标识对应的待导出数据表,从而动态配置导出模板得到针对项目的待导出数据表,减少了人工配置字段输出待导出数据表。
S50,从数据库中查询与所述待导出数据表中的各表头字段对应的字段数据,以及对查询到的所述字段数据进行校验,并导出与所述导出请求对应的数据表。
可理解地,所述数据库存储了所有与项目相关的字段的字段数据,所述表头字段为所述导出模板中所有固有的字段和所有所述导出字段,从所述数据库中查询与各所述表头字段对应的所述字段数据,所述校验过程为对查询到的所述字段数据进行非空校验,将与为空的所述字段数据对应的所述表头字段从所述待导出数据表中去除,对去除后的所述待导出数据表进行规则核验,将规则核验合格后的所述待导出数据表确定为所述数据表,将所述数据表存储至所述数据库中,以供后续调用所述数据表。
其中,所述非空校验为判断字段数据是否为空,所述规则校验为校验所述字段数据是否符合与其对应的表头字段的条件规则,例如正则化规则,如此,无需约定固定的表头及开发,自动从项目问题清单中识别出表头,从而动态地配置导出模板并输出仅含有关注字段的待导出数据表,减少了人工选择表头及查阅表头的工作量。
本发明实现了通过接收导出请求,获取所述导出请求中的项目标识、模板类型和多个预设字段;自项目问题库中获取与所述项目标识关联的项目问题清单,同时自模板库中获取与所述模板类型和所述项目标识均匹配的导出模板;运用NLP技术,通过关键字段提取模型对所述项目问题清单进行关键字段识别,获取所述关键字段提取模型根据识别的关键字段输出的关注结果;所述关键字段关注结果包括多个关注字段;根据所述项目标识、所有所述预设字段和所有所述关注字段,对所述导出模板进行加工,得到与所述项目标识对应的待导出数据表;从数据库中查询与所述待导出数据表中的各表头字段对应的字段数据,以及对查询到的所述字段数据进行校验,并导出与所述导出请求对应的数据表。
如此,实现了通过接收导出请求,获取所述导出请求中的项目标识、模板类型和多个预设字段;自项目问题库中获取项目问题清单,同时自模板库中获取与所述模板类型和所述项目标识均匹配的导出模板;运用NLP技术,通过关键字段提取模型对所述项目问题清单进行关键字段识别,获取关注结果;根据所述项目标识、所有所述预设字段和所有所述关注字段,对所述导出模板进行加工,得到待导出数据表;从数据库中查询字段数据,以及对查询到的所述字段数据进行校验,并导出数据表,因此,实现了无需约定固定的表头,自动匹配导出模板,以及自动从项目问题清单中识别出关注字段***导出模板中,实现了动态配置数据表的表头及对数据表中的字段数据进行自动校验,减少了针对各个项目开发固有表头的工作量,和人工选择表头及查阅表头的工作量,实现了导出数据表的动态可配置化,提升了导出数据表的可维护性和适应性,保证了导出数据表的准确性,满足了用户的多样性需求,提升了用户体验满意度。
在一实施例中,如图6所示,所述步骤S50中,即所述从数据库中查询与所述待导出数据表中的各表头字段对应的字段数据,以及对查询到的所述字段数据进行校验,并导出与所述导出请求对应的数据表,包括:
S501,从所述数据库中查询与所述待导出数据表中的各所述表头字段对应的字段数据。
可理解地,对所述待导出数据表进行SQL解析,即将所述待导出数据表进行SQL语句转换,并生成与各所述表头字段一一对应的SQL语句,执行解析后的SQL语句,从而可以从所述数据库中查询到与各所述表头字段一一对应的所述字段数据,所述表头字段和与其对应的所述字段数据存储于所述数据库的数据表中。
S502,对查询到的所述字段数据进行非空校验,将与为空的所述字段数据对应的所述表头字段标记为去除字段,同时将与非空的所述字段数据对应的所述表头字段标记为待核验字段。
可理解地,所述非空检验为判断字段数据是否为空,在所述字段数据为空时,说明查询到的数据不是需要关注的数据,需要进行去除。
S503,将所有所述去除字段从所述待导出数据表中去除,对去除后的所述待导出数据表中的各所述待核验字段进行规则核验。
可理解地,所述规则校验为校验所述字段数据是否符合与其对应的表头字段的条件规则,例如正则化规则,正则化规则为判断所述字段数据是否符合所述表头字段的类型及输入内容的格式,比如判断是否为数值类型以及为3位的整数。
S504,在检测到规则核验合格时,将规则核验合格后的所述待导出数据表确定为与所述导出请求对应的所述数据表。
可理解地,所有所述待核验字段都符合所述规则核验的要求,说明所述待导出数据表的规则核验合格,将规则核验合格后的所述导出数据表标记为所述数据表。
本发明实现了通过从所述数据库中查询与所述待导出数据表中的各所述表头字段对应的字段数据;对查询到的所述字段数据进行非空校验,将与为空的所述字段数据对应的所述表头字段标记为去除字段,同时将与非空的所述字段数据对应的所述表头字段标记为待核验字段;将所有所述去除字段从所述待导出数据表中去除,对去除后的所述待导出数据表中的各所述待核验字段进行规则核验;在检测到规则核验合格时,将规则核验合格后的所述待导出数据表确定为与所述导出请求对应的所述数据表,如此,实现了通过非空校验和规则核验,将空的和不符合的表头字段进行去除,输出规则核验合格的数据,避免不必要的数据输出造成困惑,保证了导出数据表的准确性和正确性,提升了导出数据表的准确率,提升了用户体验满意度。
在一实施例中,所述步骤S503之后,即所述对去除后的所述待导出数据表中的各所述待核验字段进行规则核验之后,还包括:
S505,在检测到规则核验不合格时,将规则核验不合格的所述待核验字段去除,并将去除规则核验不合格的所述待核验字段之后的所述导出数据表确定为所述数据表。
如此,实现了通过从所述数据库中查询与所述待导出数据表中的各所述表头字段对应的字段数据;对查询到的所述字段数据进行非空校验,将与为空的所述字段数据对应的所述表头字段标记为去除字段,同时将与非空的所述字段数据对应的所述表头字段标记为待核验字段;将所有所述去除字段从所述待导出数据表中去除,对去除后的所述待导出数据表中的各所述待核验字段进行规则核验;在检测到规则核验不合格时,将规则核验不合格的所述待核验字段去除,并将去除规则核验不合格的所述待核验字段之后的所述导出数据表确定为所述数据表,如此,实现了通过非空校验和规则核验,将空的和不符合的表头字段进行去除,再将其他规则核验不合格的所述待核验字段去除,输出剩余的数据作为合格的数据,避免不必要的数据输出造成困惑,保证了导出数据表的准确性和正确性,提升了导出数据表的准确率,提升了用户体验满意度。
在一实施例中,所述步骤S50之后,即所述从数据库中查询与所述待导出数据表中的各表头字段对应的字段数据,并对查询到的所述字段数据进行校验输出,得到数据表之后,还包括:
S60,接收到导入请求,获取所述导入请求中的导入数据表;所述导入数据表为对所述数据表进行数据修改生成并与该数据表关联之后获得。
可理解地,所述导入请求为用户确认完所述导入数据表之后,需要导入所述导入数据表所触发的请求,所述导入请求中可以包括所述导入数据表,通过从所述导入请求中获取所述导入数据表,
所述导入数据表为对所述数据表进行数据修改生成并与该数据表关联之后获得,即在对所述数据表进行数据修改之后另存为一个新的数据表,将另存为的新的数据表与原所述数据表关联,该关联关系可以通过在所述导入数据表中体现,比如在所述导入数据表中的属性栏中增加关联的数据表。
S70,将与所述导入数据表关联的所述数据表与所述导入数据表进行对比,得到差异结果。
可理解地,从所述数据库中调用与所述导入数据表关联的所述数据表,并将其与所述导入数据表进行对比,将对比的结果确定为所述差异结果。
S80,对所述差异结果进行SQL语句转换,得到SQL执行语句。
可理解地,所述SQL语句转换为将差异的所述表头字段进行增删改类型识别,获取与识别出差异的所述表头字段的增删改类型对应的SQL语句模板,根据差异的所述表头字段的增删改类型,将差异的所述表头字段及与其对应的所述字段数据添加入获取的与其对应的SQL语句模板中,从而生成所述SQL执行语句。
S90,执行所述SQL执行语句之后,对所述导入数据表进行校验。
可理解地,执行完所述SQL执行语句之后,通过读取所述数据库中差异的所述表头字段的所述字段数据,与所述导入数据表中相应的数据进行对比,确认是否一致,如果一致,则说明校验所述导入数据表的结果为校验成功,如果不一致,则说明校验所述导入数据表的结果为校验失败。
S100,将校验成功的所述导入数据表进行导出,得到与所述导入请求对应的导出数据表。
可理解地,将校验成功的所述导入数据表进行导出,从而能够提供给用户应用校验成功的所述导出数据表做进一步的数据表操作。
本发明实现了在得到数据表之后,接收到导入请求,获取导入数据表;将与所述导入数据表关联的所述数据表与所述导入数据表进行对比,得到差异结果;对所述差异结果进行SQL语句转换,得到SQL执行语句;执行所述SQL执行语句之后,对所述导入数据表进行校验;将校验成功的所述导入数据表进行导出,得到与所述导入请求对应的数据表,如此,实现了在数据表中修改后导入,能够自动比对差异结果,并通过SQL语句转换将差异结果转换成SQL执行语句,执行导入数据库中并校验后导出数据表,能够自动导入导出数据表,减少了人工操作,提高了导入导出数据表的效率,提升了用户的体验满意度。
在一实施例中,提供一种数据表导出装置,该数据表导出装置与上述实施例中数据表导出方法一一对应。如图7所示,该数据表导出装置包括接收模块11、获取模块12、识别模块13、加工模块14和导出模块15。各功能模块详细说明如下:
接收模块11,用于接收导出请求,获取所述导出请求中的项目标识、模板类型和多个预设字段;
获取模块12,用于自项目问题库中获取与所述项目标识关联的项目问题清单,同时自模板库中获取与所述模板类型和所述项目标识均匹配的导出模板;
识别模块13,用于运用NLP技术,通过关键字段提取模型对所述项目问题清单进行关键字段识别,获取所述关键字段提取模型根据识别的关键字段输出的关注结果;所述关注结果包括多个关注字段;
加工模块14,用于根据所述项目标识、所有所述预设字段和所有所述关注字段,对所述导出模板进行加工,得到与所述项目标识对应的待导出数据表;
导出模块15,用于从数据库中查询与所述待导出数据表中的各表头字段对应的字段数据,以及对查询到的所述字段数据进行校验,并导出与所述导出请求对应的数据表。
在一实施例中,如图8所示,所述识别模块13包括:
第一提取子模块31,用于运用NLP技术,通过所述关键字段提取模型中的LDA关键词模型对所述项目问题清单进行关键词提取,得到关键词结果;
第二提取子模块32,用于运用Word2vec技术,通过所述关键字段提取模型对所述关键词结果进行关键字段特征提取,得到关键字段结果;
抽取子模块33,用于对所述关键字段结果进行抽取,获得所述关注结果。
关于数据表导出装置的具体限定可以参见上文中对于数据表导出方法的限定,在此不再赘述。上述数据表导出装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图9所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据表导出方法。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例中数据表导出方法。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述实施例中数据表导出方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据表导出方法,其特征在于,包括:
接收导出请求,获取所述导出请求中的项目标识、模板类型和多个预设字段;
自项目问题库中获取与所述项目标识关联的项目问题清单,同时自模板库中获取与所述模板类型和所述项目标识均匹配的导出模板;
运用NLP技术,通过关键字段提取模型对所述项目问题清单进行关键字段识别,获取所述关键字段提取模型根据识别的关键字段输出的关注结果;所述关注结果包括多个关注字段;
根据所述项目标识、所有所述预设字段和所有所述关注字段,对所述导出模板进行加工,得到与所述项目标识对应的待导出数据表;
从数据库中查询与所述待导出数据表中的各表头字段对应的字段数据,以及对查询到的所述字段数据进行校验,并导出与所述导出请求对应的数据表。
2.如权利要求1所述的数据表导出方法,其特征在于,所述运用NLP技术,通过关键字段提取模型对所述项目问题清单进行关键字段识别,获取所述关键字段提取模型根据识别的关键字段输出的关注结果,包括:
运用NLP技术,通过所述关键字段提取模型中的LDA关键词模型对所述项目问题清单进行关键词提取,得到关键词结果;
运用Word2vec技术,通过所述关键字段提取模型对所述关键词结果进行关键字段特征提取,得到关键字段结果;
对所述关键字段结果进行抽取,获得所述关注结果。
3.如权利要求1所述的数据表导出方法,其特征在于,所述根据所述项目标识、所有所述预设字段和所有所述关注字段,对所述导出模板进行加工,得到与所述项目标识对应的待导出数据表,包括:
对所有所述预设字段和所有所述关注字段进行去重处理,得到导出字段;
将所述导出字段加入所述表头字段中,以及将所述项目标识加入所述导出模板中的项目字段中,得到与所述项目标识对应的待导出数据表。
4.如权利要求3所述的数据表导出方法,其特征在于,所述对所有所述预设字段和所有所述关注字段进行去重处理,得到导出字段之后,还包括:
根据各所述导出字段,对与获取的所述导出模板匹配的所述模板类型进行模板类型新增处理,得到与所述模板类型对应的新模板类型;
将各所述导出字段加入所述表头字段中,将加入后的所述导出模板确定为与所述新模板类型匹配的新导出模板,将所述新导出模板存储至所述模板库中。
5.如权利要求1所述的数据表导出方法,其特征在于,所述从数据库中查询与所述待导出数据表中的各表头字段对应的字段数据,以及对查询到的所述字段数据进行校验,并导出与所述导出请求对应的数据表,包括:
从所述数据库中查询与所述待导出数据表中的各所述表头字段对应的字段数据;
对查询到的所述字段数据进行非空校验,将与为空的所述字段数据对应的所述表头字段标记为去除字段,同时将与非空的所述字段数据对应的所述表头字段标记为待核验字段;
将所有所述去除字段从所述待导出数据表中去除,对去除后的所述待导出数据表中的各所述待核验字段进行规则核验;
在检测到规则核验合格时,将规则核验合格后的所述待导出数据表确定为与所述导出请求对应的所述数据表。
6.如权利要求1所述的数据表导出方法,其特征在于,所述从数据库中查询与所述待导出数据表中的各表头字段对应的字段数据,并对查询到的所述字段数据进行校验输出,得到数据表之后,还包括:
接收到导入请求,获取所述导入请求中的导入数据表;所述导入数据表为对所述数据表进行数据修改生成并与该数据表关联之后获得;
将与所述导入数据表关联的所述数据表与所述导入数据表进行对比,得到差异结果;
对所述差异结果进行SQL语句转换,得到SQL执行语句;
执行所述SQL执行语句之后,对所述导入数据表进行校验;
将校验成功的所述导入数据表进行导出,得到与所述导入请求对应的导出数据表。
7.一种数据表导出装置,其特征在于,包括:
接收模块,用于接收导出请求,获取所述导出请求中的项目标识、模板类型和多个预设字段;
获取模块,用于自项目问题库中获取与所述项目标识关联的项目问题清单,同时自模板库中获取与所述模板类型和所述项目标识均匹配的导出模板;
识别模块,用于运用NLP技术,通过关键字段提取模型对所述项目问题清单进行关键字段识别,获取所述关键字段提取模型根据识别的关键字段输出的关注结果;所述关注结果包括多个关注字段;
加工模块,用于根据所述项目标识、所有所述预设字段和所有所述关注字段,对所述导出模板进行加工,得到与所述项目标识对应的待导出数据表;
导出模块,用于从数据库中查询与所述待导出数据表中的各表头字段对应的字段数据,以及对查询到的所述字段数据进行校验,并导出与所述导出请求对应的数据表。
8.如权利要求7所述的数据表导出装置,其特征在于,所述识别模块包括:
第一提取子模块,用于运用NLP技术,通过所述关键字段提取模型中的LDA关键词模型对所述项目问题清单进行关键词提取,得到关键词结果;
第二提取子模块,用于运用Word2vec技术,通过所述关键字段提取模型对所述关键词结果进行关键字段特征提取,得到关键字段结果;
抽取子模块,用于对所述关键字段结果进行抽取,获得所述关注结果。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述数据表导出方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述数据表导出方法。
CN202011473636.XA 2020-12-15 2020-12-15 数据表导出方法、装置、计算机设备及存储介质 Pending CN112559526A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011473636.XA CN112559526A (zh) 2020-12-15 2020-12-15 数据表导出方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011473636.XA CN112559526A (zh) 2020-12-15 2020-12-15 数据表导出方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN112559526A true CN112559526A (zh) 2021-03-26

Family

ID=75064780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011473636.XA Pending CN112559526A (zh) 2020-12-15 2020-12-15 数据表导出方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112559526A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113220782A (zh) * 2021-04-30 2021-08-06 土巴兔集团股份有限公司 多元测试数据源生成方法、装置、设备及介质
CN113239019A (zh) * 2021-06-03 2021-08-10 锋泾(中国)建材集团有限公司 Erp***间的数据迁移方法、***及电子设备、介质
CN115860677A (zh) * 2022-12-12 2023-03-28 中量工程咨询有限公司 一种构件工程量数据处理方法、***、设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113220782A (zh) * 2021-04-30 2021-08-06 土巴兔集团股份有限公司 多元测试数据源生成方法、装置、设备及介质
CN113239019A (zh) * 2021-06-03 2021-08-10 锋泾(中国)建材集团有限公司 Erp***间的数据迁移方法、***及电子设备、介质
CN115860677A (zh) * 2022-12-12 2023-03-28 中量工程咨询有限公司 一种构件工程量数据处理方法、***、设备及存储介质
CN115860677B (zh) * 2022-12-12 2024-03-22 中量工程咨询有限公司 一种构件工程量数据处理方法、***、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110765275B (zh) 搜索方法、装置、计算机设备和存储介质
WO2020057022A1 (zh) 关联推荐方法、装置、计算机设备和存储介质
CN109474578B (zh) 报文消息校验方法、装置、计算机设备和存储介质
WO2020186786A1 (zh) 文件处理方法、装置、计算机设备和存储介质
CN110457302B (zh) 一种结构化数据智能清洗方法
CN112559526A (zh) 数据表导出方法、装置、计算机设备及存储介质
CN112613917A (zh) 基于用户画像的信息推送方法、装置、设备及存储介质
CN111680634A (zh) 公文文件处理方法、装置、计算机设备及存储介质
CN110674360B (zh) 一种用于数据的溯源方法和***
CN113220782A (zh) 多元测试数据源生成方法、装置、设备及介质
CN113961768B (zh) 敏感词检测方法、装置、计算机设备和存储介质
CN111859093A (zh) 敏感词处理方法、装置及可读存储介质
CN112328486A (zh) 接口自动化测试方法、装置、计算机设备及存储介质
CN110362478B (zh) 应用升级测试方法、装置、计算机设备和存储介质
CN113505078B (zh) 配置文件更新方法、装置、设备及存储介质
CN111858467B (zh) 基于人工智能的文件数据处理方法、装置、设备和介质
CN111522881B (zh) 业务数据处理方法、装置、服务器及存储介质
CN108460116B (zh) 搜索方法、装置、计算机设备、存储介质及搜索***
CN114416847A (zh) 一种数据转换的方法、装置、服务器及存储介质
CN110674383A (zh) 舆情查询方法、装置及设备
CN112363929B (zh) ***上线方法、装置、计算机设备及存储介质
CN115203339A (zh) 多数据源整合方法、装置、计算机设备及存储介质
CN115269765A (zh) 账号识别方法、装置、电子设备和存储介质
CN114238768A (zh) 资讯信息的推送方法、装置、计算机设备和存储介质
CN114911753A (zh) 一种演示文档的生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination