CN113449028A - 一种数据提取方法、装置、电子设备及存储介质 - Google Patents
一种数据提取方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113449028A CN113449028A CN202110760467.6A CN202110760467A CN113449028A CN 113449028 A CN113449028 A CN 113449028A CN 202110760467 A CN202110760467 A CN 202110760467A CN 113449028 A CN113449028 A CN 113449028A
- Authority
- CN
- China
- Prior art keywords
- data
- extraction
- script
- target
- data extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Stored Programmes (AREA)
Abstract
本申请提供一种数据提取方法、装置、电子设备及存储介质,所述方法包括:接收数据需求终端输入的数据提取需求信息,从预设的多个脚本中确定与数据提取需求信息对应的目标脚本,目标脚本用于提取满足所述数据提取需求信息的数据,运行所述目标脚本,以得到提取结果,所述提取结果中包括满足所述数据提取需求信息的数据,从预先配置的数据表配置信息中,获取与目标脚本对应的数据表配置信息,生成包含数据表配置信息和提取结果的数据结果表。在本方案中,预先设置多个脚本,在进行数据提取时,只需获取数据需求终端的数据提取需求信息即可采用对应的脚本进行数据提取,无需再基于业务方的需求单独开发脚本,减少了人力和研发资源的消耗。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种数据提取方法、装置、电子设备及存储介质。
背景技术
目前,资产证券化(Asset-backed Securities,ABS)作为一种新型的融资工具,进入了大众的视野。资产证券化能将公司未来能产生稳定现金流的资产打包出售,为企业的当前发展获得先机。不同传统的银行借贷、债券发行等融资方式,资产证券化涉及的资产挑选、分析,债券的分层设计,评级等环节,需要具有丰富的金融行业知识和经验,才能实现资产支持证券的成功发行。
往往ABS业务的数据需求终端为了降低交易风险,通常需要对ABS业务进行分析,目前采用的分析方式通常为,提取ABS业务的动静态池数据,然后基于动静态池数据进行业务分析。目前在提取动静态池数据时,通常是由开发人员根据业务方的需求开发用于进行数据提取的脚本,然后人工运行脚本,并进行指标统计,最后导出业务需要的动静态池数据。
采用上述方式进行动静态池数据提取时,针对不同的业务方需求,需要开发不同的脚本,耗费人力和研发资源过多,造成了数据提取繁琐复杂的问题。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本申请提供了一种数据提取方法、装置、电子设备及存储介质。
第一方面,本申请提供了一种数据提取方法,包括:
获取数据需求终端输入的数据提取需求信息;
从预设的多个脚本中确定与所述数据提取需求信息对应的目标脚本,所述目标脚本用于提取满足所述数据提取需求信息的数据;
运行所述目标脚本,以得到提取结果,所述提取结果中包括满足所述数据提取需求信息的数据;
从预先配置的数据表配置信息中,获取与所述目标脚本对应的数据表配置信息;
生成包含所述数据表配置信息和所述提取结果的数据结果表。
作为一种可能的实现方式,所述数据提取需求信息包括业务类型,所述从预设的多个脚本中确定与所述数据提取需求信息对应的目标脚本,包括:
基于预设的脚本与业务类型的对应关系,从预设多个脚本中确定与所述业务类型对应的至少一个脚本作为目标脚本。
作为一种可能的实现方式,所述数据提取需求信息包括业务类型和数据类型,所述从预设的多个脚本中确定与所述数据提取需求信息对应的目标脚本,包括:
基于预设的脚本与业务类型的对应关系,从预设多个脚本中确定与所述业务类型对应的脚本;
基于预设的脚本与数据类型的对应关系,从与所述业务类型对应的脚本中,确定与所述数据类型对应的脚本作为目标脚本。
作为一种可能的实现方式,所述方法还包括:
在运行所述目标脚本之前,获取所述数据需求终端输入的脚本参数,并将所述脚本参数***所述目标脚本。
作为一种可能的实现方式,所述从预先配置的数据表配置信息中,获取与所述目标脚本对应的数据表配置信息,包括:
从预先配置的标题中,确定与所述目标脚本对应的目标标题;
基于预先配置的字段映射关系表,确定与所述目标脚本对应的目标字段;
所述生成包含所述数据表配置信息和所述提取结果的数据结果表,包括:
生成包含所述目标标题、所述目标字段和所述提取结果的数据结果表。
作为一种可能的实现方式,所述方法还包括:
将所述数据结果表推送至数据需求终端以进行展示。
第二方面,本申请实施例还提供了一种数据提取装置,包括:
第一获取模块,用于获取数据需求终端输入的数据提取需求信息;
脚本确定模块,用于从预设的多个脚本中确定与所述数据提取需求信息对应的目标脚本,所述目标脚本用于提取满足所述数据提取需求信息的数据;
数据提取模块,用于运行所述目标脚本,以得到提取结果,所述提取结果中包括满足所述数据提取需求信息的数据;
第二获取模块,用于从预先配置的数据表配置信息中,获取与所述提取结果对应的数据表配置信息;
数据表生成模块,用于生成包含所述数据表配置信息和所述提取结果的数据结果表。
作为一种可能的实现方式,所述第二获取模块,具体用于:
从预先配置的标题中,确定与所述目标脚本对应的目标标题;
基于预先配置的字段映射关系表,确定与所述目标脚本对应的目标字段;
所述数据表生成模块,具体用于:
生成包含所述目标标题、所述目标字段和所述提取结果的数据结果表。
第三方面,本申请实施例还提供了一种电子设备,包括:处理器和存储器,所述处理器用于执行所述存储器中存储的数据提取程序,以实现第一方面所述的数据提取方法。
第四方面,本申请实施例还提供了一种存储介质,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现第一方面任一所述的数据提取方法。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点:
本申请实施例提供的数据提取方法,接收数据需求终端输入的数据提取需求信息,从预设的多个脚本中确定与数据提取需求信息对应的目标脚本,目标脚本用于提取满足所述数据提取需求信息的数据,运行所述目标脚本,以得到提取结果,所述提取结果中包括满足所述数据提取需求信息的数据,从预先配置的数据表配置信息中,获取与目标脚本对应的数据表配置信息,生成包含数据表配置信息和提取结果的数据结果表。在本方案中,预先设置多个脚本,在进行数据提取时,只需获取数据需求终端的数据提取需求信息即可采用对应的脚本进行数据提取,无需再基于业务方的需求单独开发脚本,减少了人力和研发资源的消耗。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种数据提取***的示意图。
图2是根据一示例性实施例示出的一种数据提取方法的流程图。
图3是根据一示例性实施例示出的一种数据提取装置的框图。
图4是根据一示例性实施例示出的一种电子设备的示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
目前在对资产证券化(Asset-backed Securities,ABS)业务进行分析时,需要获取ABS业务的动静态池数据,然后基于动静态池数据对ABS业务进行分析。当前获取动静态池数据的方式通常为,由业务方提出数据提取的需求,由开发人员根据业务方提出的需求开发相应的脚本,采用人工在大数据平台人工运行脚本的模式,通过人工进行指标统计并导出的方式完成动静态池数据的提取,具体的过程大概可以分为以下三步:第一步,开发人员根据业务方需求梳理开发逻辑与流程;第二步,开发人员基于确认的开发逻辑编写统计脚本;第三步,开发人员执行脚本,并将执行脚本后得到的结果,通过发邮件或信息的方式推送给业务方。
上述方式虽然能够提取到业务方需要的动静态池数据,但是由于业务方的需求不定,使得开发人员需要针对的不同的需求去开发不同的脚本,会耗费过多人力和研发资源。
为了减少人力和研发资源的消耗,本申请实施例提供了一种数据提取***。
参见图1,为本申请实施例提供的一种数据提取***的框图,如图1所示,数据提取***包括数据需求终端、数据集市、数据作业脚本模块、配置信息模块和推送模块。
其中,数据需求终端用于与业务方进行交互,接收业务方输入的数据提取需求信息,以及用于向业务方展示推送的数据。
数据集市用于存储多个类型的业务各自对应的数据源。
数据作业脚本模块用于存储有多个脚本以及脚本与业务类型的对应关系,数据提取***支持对数据作业脚本模块中存储的脚本对应的业务类型进行数据提取。而数据作业脚本模块中存储的脚本可以根据实际需求设置,图1中仅以四种业务类型对应的脚本为例。
作为一个实施例,脚本由开发人员根据收集到的业务方的数据提取需求信息编写。在编写脚本时,开发人员可以根据业务方对应的业务类型,对收集的数据提取需求信息进行分类,同一类的数据提取需求信息对应的业务类型相同,不同类的数据提取需求信息对应的业务类型不同。然后开发人员分别针对每一业务类型对应的数据提取需求信息进行开发逻辑梳理,从而编写出与该业务类型对应的用于进行数据提取的脚本。
因为一种业务可能会有多种类型的数据,例如图1所示,第一业务包含余额类数据、还款类数据,第二业务包含退款类数据、还款计划类数据,第三业务包含交易额类数据、逾期类数据,第四业务包含还款计划类数据、逾期类数据。而对业务进行不同的分析时,业务方需要的数据类型可能也不同,因此,开发人员在编写每一业务类型对应的脚本时,还可以进一步对高业务类型对应的数据提取需求信息进行细分,具体的,可以根据数据类型对数据提取需求信息进行划分,将要提取的数据的数据类型相同的数据提取需求信息划分为同一子类,将要提取的数据的数据类型不同的数据提取需求信息划分为不同的子类,然后针对每个子类分别进行脚本逻辑梳理,并编写对应的脚本,从而得到与数据类型对应的脚本。
比如,第一业务中包含还款类、余额类的数据,则开发人员在编写第一业务的脚本时可以分别编写用于提取还款类数据的脚本和用于提取余额类数据的脚本。
在本申请实施例中,脚本用于从数据集市中与业务类型对应的数据源中提取与数据类型对应的数据,其中脚本中配置与业务类型对应的数据源、与数据类型对应的数据指标和/或筛选条件等参数。
在编写完脚本后,开发人员可以构建脚本与业务类型以及数据类型之间的对应关系,并将脚本以及上述对应关系存储到数据作业脚本模块中,以便后续可以根据直接调用。
配置信息模块用于存储开发人员预先配置的用于将提取到的数据生成数据结果表所需的数据表配置信息,包括但不限于:用于在数据需求终端中展示的标题,生成数据结果表所需的执行策略,以及字段映射关系等信息。
推送模块用于将生成的数据结果表推送到数据需求终端,以在数据需求终端中展示数据结果表。
基于此,本申请实施例提供了一种数据提取方法,以应用该方法实现能够通过上述数据提取***自动进行数据提取,无需开发人员每次都进行脚本开发,从而减少人工消耗和研发资源占用。
下面结合附图以具体实施例对本申请提供的数据提取方法做进一步的解释说明,实施例并不构成对本申请实施例的限定。
参见图2,为本申请实施例提供的一种数据提取方法的实施例流程图,该方法可应用于图1所示例的数据提取***,如图2所示,该方法可以包括以下步骤:
S21.获取数据需求终端输入的数据提取需求信息。
其中,数据需求终端可以为与业务方进行人机交互的终端,包括但不限于智能手机、电脑等带有显示屏的终端,业务方可以根据实际需求在数据需求终端中输入进行数据提取所需的数据提取需求信息。
在进行数据提取时,需要根据数据需求终端中输入的数据提取需求信息进行数据提取,以提取到满足业务方需求的数据。通常数据需求终端的数据提取需求信息由业务方提供,基于此,在进行数据提取时,可以在数据需求终端中展示信息配置界面,业务方可以在信息配置界面中输入数据提取需求信息,通过获取信息配置界面中输入的信息,获取到数据需求终端输入的数据提取需求信息。
作为一个实施例,数据提取需求信息中可以包括业务类型和数据类型中的至少一种。
作为一种可能的实现方式,需求信息配置界面中可以设置有需求输入窗口,业务方可以在需求输入窗口中输入需求描述信息,因为业务方输入的需求描述信息通常比较口语化,因此在获取到业务方输入的需求描述信息后,可以对需求描述信息进行关键词提取,将提取到的关键词分别与预设的业务类型词库和数据类型词库进行匹配,其中业务类型词库有多个业务类型的名称组成,比如业务类型词库中可以包括“第一业务”、“第二业务”、“第三业务”,数据类型词库则由多个数据类型的名称组成,比如数据类型词库中可以包括“余额类”、“还款类”、“退款类”等,将匹配出的业务类型和/或数据类型作为数据需求终端输入的数据提取需求信息。比如业务方输入的需求描述信息为“提取第一业务的余额类数据”,则得到的数据提取需求信息就是“第一业务”和“余额类”。
作为另一种可选的实现方式,需求信息配置界面中可以设置有业务类型选项和数据类型选项,不同的业务类型选项对应不同的业务类型,不同的数据类型选项对应不同的数据类型,业务方可以根据自身需求选取对应的业务类型选项和数据类型选项,然后将业务方选取的业务类型选项对应的业务类型作为数据需求终端输入的业务类型,将业务方选取的数据类型对应的数据类型作为数据需求终端输入的数据类型。
进一步的,因为不同的业务包含的数据的数据类型可能不同,因此针对不同的业务类型可以设置不同的数据类型选项,比如第一业务对应的数据类型选项可以为“余额类”、“还款类”等,第二业务对应的数据类型选项可以为“退款类”、“还款计划类”等,第三业务对应的数据类型选项可以为“交易额类”、“逾期类”等,第四业务对应的数据类型选项可以为“还款计划类”、“逾期类”等。
S22.从预设的多个脚本中确定与所述数据提取需求信息对应的目标脚本,所述目标脚本用于提取满足所述数据提取需求信息的数据。
在本申请实施例中,在获取到数据需求终端输入的数据提取需求信息之后,可以根据预设的脚本与业务类型以及数据类型之间的对应关系,从数据作业脚本模块中存储的多个脚本中,确定出与数据提取需求信息对应的脚本(下称目标脚本)。
作为一个实施例,若数据提取需求信息中只有业务类型,则可以根据预设的脚本与业务类型的对应关系,从预设的多个脚本中选取与数据需求终端输入的业务类型对应的脚本,若与数据需求终端输入业务类型对应的脚本有多个,则可以将所有与数据需求终端输入的业务类型对应的脚本作为目标脚本,也可以从与数据需求终端输入的业务类型对应的脚本选取任意脚本作为目标脚本。
作为另一个实施例,若数据提取需求信息中除了业务类型还包括数据类型,则可以先根据脚本与业务类型的对应关系,确定出与数据需求终端输入的业务类型对应的脚本,然后再根据脚本与数据类型的对应关系从与数据需求终端输入的业务类型对应的脚本中选取出与数据需求终端输入的数据类型对应的脚本,作为目标脚本。
S23.运行所述目标脚本,以得到提取结果,所述提取结果中包括满足所述数据提取需求信息的数据。
在本申请实施例中,脚本为预先根据之前收集到的数据需求终端的数据提取需求信息编写的用于提取满足数据需求终端需求的数据的脚本,因此,与当前获取到的数据需求终端的数据提取需求信息对应的目标脚本必然可以提取满足当前数据需求终端需求的数据。所以在确定出目标脚本之后,直接对目标脚本进行运行即可提取出符合数据需求终端需求的数据,也即提取出满足数据需求终端输入的数据提取需求信息的数据。
作为一个实施例,在得到提取结果后,可以将提取结果存储到与数据需求终端输入的业务类型对应的动静态池中,以便用于对与数据需求终端输入的业务类型对应的业务进行分析。
S24.从预先配置的数据表配置信息中,获取与所述提取结果对应的数据表配置信息。
S25.生成包含所述数据表配置信息和所述提取结果的数据结果表。
下面对S24和S25进行统一说明:
目前的数据提取方式还存在提取的数据不能可视化,导致后期操作成本高,效率低的问题。
为了解决上述问题,本申请实施例,在得到提取结果之后,会基于提取结果生成更便于理解和可视化的数据结果表。
在本申请实施例中,可以由***开发人员预先配置生成数据结果表所需的数据表配置信息,然后基于提取结果从预先配置的数据表配置信息中查找与提取结果对应的数据表配置信息,进而生成包含数据表配置信息和提取结果的数据结果表,其中数据表配置信息可以包括标题、字段等信息。
作为一个实施例,预先配置的数据表信息中可以包括多个标题,其中一个标题对应一个脚本,不同的脚本对应不同的标题,标题可以为体现其对应的脚本所提取的数据的数据类型的内容,比如“第一业务的余额类数据”、“第二业务的退款类数据”等,如此,便可以根据标题了解数据表包含的数据的数据类型。
作为一个实施例,预先配置的数据表配置信息可以包括字段映射关系表,因为基于脚本提取到的提取结果,通常包含与脚本中包含的各数据指标分别对应的数据,但是由于脚本中的数据指标通常采用的是脚本语言,不利于业务方理解,因此为便于业务方的理解可以在得到提取结果后,将提取结果中的各数据指标由脚本语言转换为数据需求终端可以理解的字段,因此字段映射关系表中可以包括各数据指标的脚本语言与字段的映射关系。
基于上述内容,在从预先配置的数据表配置信息中,获取与提取结果对应的数据表配置信息时,可以从预先配置的标题中,确定与目标脚本对应的目标标题,并基于预先配置的字段映射关系表,确定与目标脚本对应的目标字段。
具体的,基于预先配置的字段映射关系表,确定与目标脚本对应的目标字段可以包括:确定目标脚本中包含的数据指标,然后从字段映射关系表中查找与目标脚本中包含的数据指标对应的字段作为目标字段。
在得到目标标题和目标字段之后,即可生成包含目标标题、目标字段以及提取结果的数据结果表。
在本申请实施例中,可以由***开发人员预先配置生成数据结果表所需的执行策略,因此,基于预先配置的执行策略即可生成包含目标标题、目标字段以及提取结果的数据结果表。
作为一个实施例,基于预先配置的执行策略即可生成包含目标标题、目标字段以及提取结果的数据结果表,可以包括:
获取预设的数据表模块,将所述目标标题***到所述数据表模板的标题位置,将所述目标字段***所述数据表模板行首或列首,若包含多个目标字段,则分部将各目标字段***不同的行首或列首,比如有第一字段和第二字段两个目标字段,则可以将第一字段***第一行的行首,将第二字段***第二行的行首,或将第一字段***第一列的列首,将第二字段***第二列的列首,然后将提取结果中与目标字段对应的数据(即目标字段对应的指标数据)***到目标字段所在行或列中,从而生成数据结果表。
本申请实施例提供的数据提取方法,接收数据需求终端输入的数据提取需求信息,从预设的多个脚本中确定与数据提取需求信息对应的目标脚本,目标脚本用于提取满足所述数据提取需求信息的数据,运行所述目标脚本,以得到提取结果,所述提取结果中包括满足所述数据提取需求信息的数据,从预先配置的数据表配置信息中,获取与目标脚本对应的数据表配置信息,生成包含数据表配置信息和提取结果的数据结果表。在本方案中,预先设置多个脚本,在进行数据提取时,只需获取数据需求终端的数据提取需求信息即可采用对应的脚本进行数据提取,无需再基于业务方的需求单独开发脚本,减少了人力和研发资源的消耗。
而且,本申请实施例提供的数据提取方法,在得到提取结果后,基于提取结果生成可读性和可视性更好的数据结果表,更便于业务方对数据进行理解。
数据需求终端在不同的时刻对同一数据类型的数据的提取需求也可能不同,比如所要提取的数据所处的时间区间不同,但是针对同一类型数据,虽然所要提取的数据所处的时间区间不同,但是其进行数据提取的脚本逻辑是类似的,因此,在编写脚本时,可以将脚本的脚本参数设置为可调节,这样在同一数据类型的数据进行提取时即使提取需求不同,也可以采用同一脚本。
为了使得提取到的数据更符合数据需求终端的需求,本申请的另一实施例提供一种数据提取方法,在图2所示的实施例的基础上,在运行目标脚本之前,还可以包括:
获取数据需求终端输入的脚本参数,并将脚本参数***目标脚本,从而在运行目标脚本时,可以运行***有数据需求终端输入的脚本参数的目标脚本,从而提取到更符合业务方需求的数据。
其中,脚本参数可以为数据提取时间区间,也即所要提取的数据所处的时间区间,当然除了数据提取时间区间,脚本参数还可以为其他参数,对此本申请实施例不做具体限定。
作为一个实施例,在确定出目标脚本之后,可以在数据需求终端中展示脚本参数配置界面,脚本参数配置界面中可以设置有脚本参数输入窗口,业务方可以直接在窗口中输入脚本参数,脚本参数配置界面中还可以设置有参数选项,业务方也可以通过选取参数选项的方式来输入脚本参数。
本申请实施例提供的数据提取方法,在运行目标脚本前,获取数据需求终端输入的脚本参数,并将脚本参数***目标脚本中,从而使得通过运行目标脚本获取到的数据更加符合业务方的需求。
本申请的另一实施例提供的数据提取方法,在上述任一实施例的基础上,还可以包括:
将数据结果表推送至数据需求终端以进行展示。
在本申请实施例中,可以在生成数据结果表后直接将数据结果表推送到数据需求终端中进行展示,也可以接收到针对提取结果的展示请求后,再将数据结果表推送到数据需求终端中进行展示,对此本实施例不做具体限定。
本申请实施例提供的数据提取方法,将数据结果表推送至数据需求终端,可以是业务方及时获取到提取的数据。
本申请的另一实施例提供的数据提取方法,在上述任一实施例的基础上,还可以包括:
在接收到针对提取结果的下载请求时,将数据结果表下载至下载请求中携带的目的地址中。
本申请实施例提供的数据提取方法,可以将数据结果表下载至指定位置,更便于业务方获取。
参见图3,为本申请另一实施例提供的一种数据提取装置的框图,如图3所示,该装置可以包括:
第一获取模块301,用于获取数据需求终端输入的数据提取需求信息。
脚本确定模块302,用于从预设的多个脚本中确定与所述数据提取需求信息对应的目标脚本,所述目标脚本用于提取满足所述数据提取需求信息的数据。
数据提取模块303,用于运行所述目标脚本,以得到提取结果,所述提取结果中包括满足所述数据提取需求信息的数据。
第二获取模块304,用于从预先配置的数据表配置信息中,获取与所述提取结果对应的数据表配置信息。
数据表生成模块305,用于生成包含所述数据表配置信息和所述提取结果的数据结果表。
作为一个实施例,所述数据提取需求信息包括业务类型,脚本确定模块302具体用于:
基于预设的脚本与业务类型的对应关系,从预设多个脚本中确定与所述业务类型对应的至少一个脚本作为目标脚本。
作为一个实施例,所述数据提取需求信息包括业务类型和数据类型,脚本确定模块302具体用于:
基于预设的脚本与业务类型的对应关系,从预设多个脚本中确定与所述业务类型对应的脚本;
基于预设的脚本与数据类型的对应关系,从与所述业务类型对应的脚本中,确定与所述数据类型对应的脚本作为目标脚本。
作为一个实施例,所述装置还包括(图3中未示出):
参数调整模块,用于在运行所述目标脚本之前,获取所述数据需求终端输入的脚本参数,并将所述脚本参数***所述目标脚本。
作为一个实施例,所述第二获取模块304,具体用于:
从预先配置的标题中,确定与所述目标脚本对应的目标标题;
基于预设预先配置的字段映射关系表,确定与所述提取结果对应的目标字段;
所述数据表生成模块305,具体用于:
基于预设的数据表生成规则,生成包含所述目标标题、所述目标字段和所述提取结果的数据结果表。:
作为一个实施例,所述装置还包括(图3中未示出):
推送模块,用于将所述数据结果表推送至数据需求终端以进行展示。
参见图4,图4是本申请的另一实施例提供的一种电子设备的结构示意图。
如图4所示,本实施例提供的电子设备包括:至少一个处理器401、存储器402、至少一个网络接口403和其他用户接口404。电子设备400中的各个组件通过总线***405耦合在一起。可理解,总线***405用于实现这些组件之间的连接通信。总线***405除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图4中将各种总线都标为总线***405。
其中,用户接口404可以包括显示器、键盘或者点击设备(例如,鼠标,轨迹球(trackball)、触感板或者触摸屏等。
可以理解,本申请实施例中的存储器402可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM,DRRAM)。本文描述的存储器402旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中,存储器402存储了如下的元素,可执行单元或者数据结构,或者他们的子集,或者他们的扩展集:操作***4021和第二应用程序4022。
其中,操作***4021,包含各种***程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。第二应用程序4022,包含各种第二应用程序,例如媒体播放器(Media Player)、浏览器(Browser)等,用于实现各种应用业务。实现本申请实施例方法的程序可以包含在第二应用程序4022中。
在本申请实施例中,通过调用存储器402存储的程序或指令,具体的,可以是第二应用程序4022中存储的程序或指令,处理器401用于执行各方法实施例所提供的方法步骤,例如包括:
获取数据需求终端输入的数据提取需求信息;
从预设的多个脚本中确定与所述数据提取需求信息对应的目标脚本,所述目标脚本用于提取满足所述数据提取需求信息的数据;
运行所述目标脚本,以得到提取结果,所述提取结果中包括满足所述数据提取需求信息的数据;
从预先配置的数据表配置信息中,获取与所述目标脚本对应的数据表配置信息;
生成包含所述数据表配置信息和所述提取结果的数据结果表。
上述本申请实施例揭示的方法可以应用于处理器401中,或者由处理器401实现。处理器401可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器401中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器401可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器402,处理器401读取存储器402中的信息,结合其硬件完成上述方法的步骤。
可以理解的是,本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits,ASIC)、数字信号处理器(Digital Signal Processing,DSP)、数字信号处理设备(DSPDevice,DSPD)、可编程逻辑设备(Programmable LogicDevice,PLD)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请功能的其它电子单元或其组合中。
对于软件实现,可通过执行本文功能的单元来实现本文的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
本申请实施例还提供了一种存储介质(计算机可读存储介质)。这里的存储介质存储有一个或者多个程序。其中,存储介质可以包括易失性存储器,例如随机存取存储器;存储器也可以包括非易失性存储器,例如只读存储器、快闪存储器、硬盘或固态硬盘;存储器还可以包括上述种类的存储器的组合。
当存储介质中一个或者多个程序可被一个或者多个处理器执行,以实现上述在电子设备侧执行的数据提取方法。
处理器用于执行存储器中存储的数据提取方法程序,以实现以下在电子设备侧执行的数据提取方法的步骤:
获取数据需求终端输入的数据提取需求信息;
从预设的多个脚本中确定与所述数据提取需求信息对应的目标脚本,所述目标脚本用于提取满足所述数据提取需求信息的数据;
运行所述目标脚本,以得到提取结果,所述提取结果中包括满足所述数据提取需求信息的数据;
从预先配置的数据表配置信息中,获取与所述目标脚本对应的数据表配置信息;
生成包含所述数据表配置信息和所述提取结果的数据结果表。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
可以理解的是,上述各实施例中相同或相似部分可以相互参考,在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是,在本申请的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本申请的描述中,除非另有说明,“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种数据提取方法,其特征在于,包括:
获取数据需求终端输入的数据提取需求信息;
从预设的多个脚本中确定与所述数据提取需求信息对应的目标脚本,所述目标脚本用于提取满足所述数据提取需求信息的数据;
运行所述目标脚本,以得到提取结果,所述提取结果中包括满足所述数据提取需求信息的数据;
从预先配置的数据表配置信息中,获取与所述目标脚本对应的数据表配置信息;
生成包含所述数据表配置信息和所述提取结果的数据结果表。
2.根据权利要求1所述的方法,其特征在于,所述数据提取需求信息包括业务类型,所述从预设的多个脚本中确定与所述数据提取需求信息对应的目标脚本,包括:
基于预设的脚本与业务类型的对应关系,从预设多个脚本中确定与所述业务类型对应的至少一个脚本作为目标脚本。
3.根据权利要求1所述的方法,其特征在于,所述数据提取需求信息包括业务类型和数据类型,所述从预设的多个脚本中确定与所述数据提取需求信息对应的目标脚本,包括:
基于预设的脚本与业务类型的对应关系,从预设多个脚本中确定与所述业务类型对应的脚本;
基于预设的脚本与数据类型的对应关系,从与所述业务类型对应的脚本中,确定与所述数据类型对应的脚本作为目标脚本。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在运行所述目标脚本之前,获取所述数据需求终端输入的脚本参数,并将所述脚本参数***所述目标脚本。
5.根据权利要求1所述的方法,其特征在于,所述从预先配置的数据表配置信息中,获取与所述目标脚本对应的数据表配置信息,包括:
从预先配置的标题中,确定与所述目标脚本对应的目标标题;
基于预先配置的字段映射关系表,确定与所述目标脚本对应的目标字段;
所述生成包含所述数据表配置信息和所述提取结果的数据结果表,包括:
生成包含所述目标标题、所述目标字段和所述提取结果的数据结果表。
6.根据权利要求1-5任一所述的方法,其特征在于,所述方法还包括:
将所述数据结果表推送至所述数据需求终端以进行展示。
7.一种数据提取装置,其特征在于,包括:
第一获取模块,用于获取数据需求终端输入的数据提取需求信息;
脚本确定模块,用于从预设的多个脚本中确定与所述数据提取需求信息对应的目标脚本,所述目标脚本用于提取满足所述数据提取需求信息的数据;
数据提取模块,用于运行所述目标脚本,以得到提取结果,所述提取结果中包括满足所述数据提取需求信息的数据;
第二获取模块,用于从预先配置的数据表配置信息中,获取与所述提取结果对应的数据表配置信息;
数据表生成模块,用于生成包含所述数据表配置信息和所述提取结果的数据结果表。
8.根据权利要求7所述的装置,其特征在于,所述第二获取模块,具体用于:
从预先配置的标题中,确定与所述目标脚本对应的目标标题;
基于预先配置的字段映射关系表,确定与所述目标脚本对应的目标字段;
所述数据表生成模块,具体用于:
生成包含所述目标标题、所述目标字段和所述提取结果的数据结果表。
9.一种电子设备,其特征在于,包括:处理器和存储器,所述处理器用于执行所述存储器中存储的数据提取程序,以实现权利要求1-6任一所述的数据提取方法。
10.一种存储介质,其特征在于,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现权利要求1-6任一所述的数据提取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110760467.6A CN113449028A (zh) | 2021-07-06 | 2021-07-06 | 一种数据提取方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110760467.6A CN113449028A (zh) | 2021-07-06 | 2021-07-06 | 一种数据提取方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113449028A true CN113449028A (zh) | 2021-09-28 |
Family
ID=77815246
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110760467.6A Pending CN113449028A (zh) | 2021-07-06 | 2021-07-06 | 一种数据提取方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113449028A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109271411A (zh) * | 2018-09-28 | 2019-01-25 | 中国平安财产保险股份有限公司 | 报表生成方法、装置、计算机设备及存储介质 |
US20190130007A1 (en) * | 2017-10-31 | 2019-05-02 | International Business Machines Corporation | Facilitating automatic extract, transform, load (etl) processing |
CN110222104A (zh) * | 2019-04-30 | 2019-09-10 | 中国人民财产保险股份有限公司 | 数据提取方法、设备及存储介质 |
US20190370352A1 (en) * | 2018-05-31 | 2019-12-05 | Oracle International Corporation | Flexible energy information aggregation |
US20210157535A1 (en) * | 2019-11-27 | 2021-05-27 | Seiko Epson Corporation | Information processing method, information processing apparatus, and non-transitory computer-readable storage medium storing program |
-
2021
- 2021-07-06 CN CN202110760467.6A patent/CN113449028A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190130007A1 (en) * | 2017-10-31 | 2019-05-02 | International Business Machines Corporation | Facilitating automatic extract, transform, load (etl) processing |
US20190370352A1 (en) * | 2018-05-31 | 2019-12-05 | Oracle International Corporation | Flexible energy information aggregation |
CN109271411A (zh) * | 2018-09-28 | 2019-01-25 | 中国平安财产保险股份有限公司 | 报表生成方法、装置、计算机设备及存储介质 |
CN110222104A (zh) * | 2019-04-30 | 2019-09-10 | 中国人民财产保险股份有限公司 | 数据提取方法、设备及存储介质 |
US20210157535A1 (en) * | 2019-11-27 | 2021-05-27 | Seiko Epson Corporation | Information processing method, information processing apparatus, and non-transitory computer-readable storage medium storing program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111221521B (zh) | 日志代码的生成方法、装置、计算机***和可读存储介质 | |
US8122292B2 (en) | Debugging of business flows deployed in production servers | |
CN111367976B (zh) | 基于java反射机制的excel文件数据的导出方法及装置 | |
US20100131869A1 (en) | Technology for generating service program | |
CN109308254B (zh) | 一种测试方法、装置及测试设备 | |
CN110580189A (zh) | 生成前端页面的方法、装置、计算机设备以及存储介质 | |
US11663288B2 (en) | Just-in-time front end template generation using logical document object models | |
CN111414377B (zh) | 结构化查询语句的处理方法、装置及存储介质 | |
CN110990274A (zh) | 一种生成测试案例的数据处理方法、装置及*** | |
CN111666201A (zh) | 回归测试方法、装置、介质及电子设备 | |
CN107562710B (zh) | 一种图表处理装置及方法 | |
CN114048415A (zh) | 表单生成方法及装置、电子设备和计算机可读存储介质 | |
CN113419711A (zh) | 页面引导方法、装置、电子设备及存储介质 | |
CN111209283A (zh) | 一种数据处理方法及装置 | |
CN109992614B (zh) | 数据获取方法、装置和服务器 | |
US7664776B1 (en) | Methods and apparatus for dynamic form definition | |
CN113449028A (zh) | 一种数据提取方法、装置、电子设备及存储介质 | |
US11842387B1 (en) | Personalized financial account statement | |
CN111916164B (zh) | 用于临床研究中的中心启动调研***的实现方法和装置 | |
CN112114794B (zh) | 网站应用程序自动生成方法、装置和计算机存储介质 | |
CN117009397A (zh) | 数据查询方法、数据查询装置、电子设备和存储介质 | |
CN112181407B (zh) | 业务实现处理方法及装置、***、电子设备和存储介质 | |
CN113052675B (zh) | 数据展示方法和装置 | |
CN113127689B (zh) | 一种数据处理方法、装置、设备及存储介质 | |
CN115543323B (zh) | 一种页面开发方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |