CN115422202A - 业务模型的生成方法、业务数据查询方法、装置及设备 - Google Patents
业务模型的生成方法、业务数据查询方法、装置及设备 Download PDFInfo
- Publication number
- CN115422202A CN115422202A CN202211174136.5A CN202211174136A CN115422202A CN 115422202 A CN115422202 A CN 115422202A CN 202211174136 A CN202211174136 A CN 202211174136A CN 115422202 A CN115422202 A CN 115422202A
- Authority
- CN
- China
- Prior art keywords
- field information
- data processing
- original data
- data
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2291—User-Defined Types; Storage management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种业务模型的生成方法、业务数据查询方法、装置及设备,可以应用于数据分析技术领域。该业务模型的生成方法包括:根据获取的配置信息,生成K个原始数据表,配置信息用于定义业务模型,原始数据表与业务数据一一对应;解析K个原始数据表,得到与K个原始数据表对应的M个字段信息,字段信息用于表示业务数据的属性特征;以及根据M个字段信息和M个字段信息之间的定义逻辑,通过N个级联的数据处理层处理K个原始数据表,生成目标业务模型,其中,第n个数据处理层的输入包括K个原始数据表中的一个原始数据表和第n‑1个数据处理层输出的中间表,定义逻辑用于表示两个字段信息之间的处理关系。
Description
技术领域
本公开涉及数据分析技术领域,具体涉及一种业务模型的生成方法、业务数据查询方法、装置、电子设备、存储介质和程序产品。
背景技术
目前,金融行业通过建立风险预警平台,在风险预警平台上生成用于评估业务风险的业务模型。相关技术中,一般由企业的业务人员根据业务需求总结问题,并将问题反馈至技术人员处,由技术人员将业务问题翻译为结构化查询语言(Structured QueryLanguage,SQL),形成业务模型。
但是,企业每日产生的业务数据量庞大且增长迅速,传统的业务模型构建过程通过业务人员和技术人员的沟通,将业务问题转换为业务模型,导致沟通成本高,沟通效率低,生成业务模型的处理效率低,且对业务模型的维护调优成本高等技术问题。
此外,相关技术中生成的业务模型通常由一条包括十几行代码的SQL语句运行,业务模型结构复杂,且调用多个关联表进行笛卡尔积运算的运行周期长,数据库资源的消耗量大,后期运维和优化成本高。
发明内容
鉴于上述问题,本公开提供了一种业务模型的生成方法、业务数据查询方法、装置、电子设备、存储介质和程序产品。
根据本公开的第一个方面,提供了一种业务模型的生成方法,包括:根据获取的配置信息,生成K个原始数据表,配置信息用于定义业务模型,原始数据表与业务数据一一对应,K大于等于2;解析K个原始数据表,得到与K个原始数据表对应的M个字段信息,字段信息用于表示业务数据的属性特征,M大于等于2;以及根据M个字段信息和M个字段信息之间的定义逻辑,通过N个级联的数据处理层处理K个原始数据表,生成目标业务模型,其中,第n个数据处理层的输入包括K个原始数据表中的一个原始数据表和第n-1个数据处理层输出的中间表,N大于等于1,n大于等于2且n小于等于N,定义逻辑用于表示M个字段信息中两个字段信息之间的处理关系。
根据本公开的实施例,其中,数据处理层的输出包括中间表和结构化查询语句;根据M个字段信息和M个字段信息之间的定义逻辑,通过N个级联的数据处理层处理K个原始数据表,生成目标业务模型,包括:在第n-1个数据处理层输出第n-1个中间表之后,从第n-1个中间表中确定第一字段信息,第一字段信息与第n个数据处理层执行的数据处理功能相关;根据第一字段信息和M个字段信息之间的定义逻辑,从K个原始数据表中确定第一原始数据表;以及根据第一原始数据表和第n-1个中间表,生成与第n个数据处理层对应的第n个中间表和第n个结构化查询语句,其中,在n等于N的情况下,第N个中间表为与目标业务模型对应的数据表。
根据本公开的实施例,其中,定义逻辑包括数据库函数或预设脚本方法;根据第一字段信息和M个字段信息之间的定义逻辑,从K个原始数据表中确定第一原始数据表,包括:从M个字段信息中获取与第一字段信息对应的第二字段信息;根据第一字段信息和第二字段信息的字段名,从M个字段信息之间的定义逻辑中确定目标定义逻辑;以及根据目标定义逻辑,确定第一原始数据表。
根据本公开的实施例,还包括:响应于用户的预设操作,生成与第n个数据处理层对应的临时中间表,预设操作包括连接操作和/或过滤操作;利用临时中间表替换第n个数据处理层生成的原始第n个中间表,得到更新的第n个中间表;以及根据更新的第n个中间表和M个字段信息之间的定义逻辑,更新第n+1个数据处理层生成的第n+1个中间表。
根据本公开的实施例,其中,响应于用户的预设操作,生成与第n个数据处理层对应的临时中间表,包括:响应于用户的连接操作,确定用户选中的第三字段信息,第三字段信息包括在用户的交互界面上展示的字段;以及将第n-1个数据处理层生成的第n-1个中间表与第三字段信息所属的第二原始数据表或所属的中间表相连,生成与第n个数据处理层对应的临时中间表;和/或响应于用户的过滤操作,确定用户选中的第四字段信息,在第n个数据处理层生成的原始第n个中间表中删除第四字段信息,生成与第n个数据处理层对应的临时中间表。
根据本公开的实施例,还包括:在原始数据表中存在用于表征用户身份的标识字段的情况下,将标识字段确定为目标字段信息;以及根据目标字段信息和M个字段信息之间的定义逻辑,从M个字段信息中随机获取与目标字段信息对应的待选字段信息;以及基于目标字段信息所属的原始数据表和待选字段所属的原始数据表,生成与第1个数据处理层对应的第1个中间表和第1个结构化查询语句。
根据本公开的实施例,还包括:按照N个级联的数据处理层的连接顺序,对N个数据处理层生成的N个结构化查询语句进行组合,得到目标结构化查询语句,目标结构化查询语句用于生成目标业务模型。
根据本公开的实施例,其中,按照N个级联的数据处理层的连接顺序,对N个数据处理层生成的N个结构化查询语句进行组合,得到目标结构化查询语句,包括:从索引表中确定与N个结构化查询语句对应的索引数据,索引表中的索引数据用于通过标准结构化查询语句表征M个字段信息之间的处理关系;以及根据索引数据优化N个结构化查询语句,得到优化后的P个结构化查询语句,其中,P大于等于1,且小于等于N;对P个结构化查询语句进行组合,得到Q个结构化查询语句,Q个结构化查询语句均用于生成目标业务模型;根据Q个结构化查询语句的验证结果,确定与目标业务模型对应的目标结构化查询语句,验证结果用于表示Q个结构化查询语句的运行时长。
根据本公开的实施例,其中,根据获取的配置信息,生成K个原始数据表,包括:响应于用户的操作,生成与操作对应的配置信息;将配置信息传输至模拟环境中,生成与配置信息对应的模拟业务数据;以及根据模拟业务数据和配置信息,生成K个原始数据表。
根据本公开的实施例,还包括:在生成目标业务模型之后,对目标业务模型进行评估,得到评估结果;以及在确定评估结果为通过的情况下,将目标业务模型从模拟环境发布至生产环境中,以便目标业务模型在生产环境中为用户提供服务。
本公开的第二方面提供了一种业务数据查询方法,包括:响应于目标用户的查询请求,解析查询请求,得到与查询请求对应的多个字段信息;以及将多个字段信息输入业务模型,输出与查询请求对应的查询结果:其中业务模型是根据上述方法生成的。
本公开的第三方面提供了一种业务模型的生成装置,包括:
获取模块,用于根据获取的配置信息,生成K个原始数据表,配置信息用于定义业务模型,原始数据表与业务数据一一对应,K大于等于2;
解析模块,用于解析K个原始数据表,得到与K个原始数据表对应的M个字段信息,字段信息用于表示业务数据的属性特征,M大于等于2;以及
生成模块,用于根据M个字段信息和M个字段信息之间的定义逻辑,通过N个级联的数据处理层处理K个原始数据表,生成目标业务模型;其中,第n个数据处理层的输入包括K个原始数据表中的一个原始数据表和第n-1个数据处理层输出的中间表,N大于等于1,n大于等于1且n小于等于N,定义逻辑用于表示M个字段信息中两个字段信息之间的处理关系。
本公开的第四方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得一个或多个处理器执行上述业务模型的生成方法或业务数据查询方法。
本公开的第五方面还提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行上述业务模型的生成方法或业务数据查询方法。
本公开的第六方面还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述业务模型的生成方法或业务数据查询方法。
本公开通过获取配置信息,根据配置信息生成原始数据表,然后基于原始数据表中的M个字段信息,通过N个数据处理层处理K个原始数据表,实现了分层构建目标业务模型。本公开在利用N个数据处理层生成目标业务模型的过程中,将整个业务模型的处理逻辑优化到每个数据处理层上,简化了业务模型结构,降低了运行时间,也便于模型的维护和优化,降低了维护和优化成本。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述内容以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了根据本公开实施例的业务模型的生成方法的应用场景;
图2示意性示出了根据本公开实施例的业务模型的生成方法的流程图;
图3示意性示出了根据本公开实施例的基于N个数据处理层生成目标业务模型的流程图;
图4示意性示出了根据本公开具体实施例的生成目标业务模型的示意图;
图5示意性示出了根据本公开实施例的更新中间表方法的流程图;
图6示意性示出了根据本公开实施例的业务数据查询方法的流程图;
图7示意性示出了根据本公开实施例的业务模型的生成装置的结构框图;
图8示意性示出了根据本公开实施例的适于业务模型的生成方法的电子设备的方框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。
在本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理,均符合相关法律法规的规定,采取了必要保密措施,且不违背公序良俗。
在本公开的技术方案中,在获取或采集用户个人信息之前,均获取了用户的授权或同意。
本公开发现,相关技术中,一般由业务人员将业务问题反馈至技术人员,通过技术人员完成业务模型的构建。在构建业务模型的过程中,业务人员和技术人员的沟通会导致构建效率低、构建成本高。对于构建完成的业务模型,经验丰富的技术人员可以对复杂的模型结构进行维护和优化,但需要耗费大量时间成本梳理模型结构。对于不了解当前模型的技术人员以及提交该业务模型需求的业务人员,无法根据复杂的模型结构确定模型的功能是否符合需求,进一步增加了沟通时间和沟通成本、模型维护成本和模型维护难度。
此外,相关技术中构建模型的运行框架保持不变,改变的只是模型和参数,导致生成的业务模型对应一条SQL语句。在运行这条SQL语句的过程中,需要将多个表关联,再加上笛卡尔积运算,导致业务模型的运行时间长、结构复杂,消耗的数据库资源多,后期运维和优化成本高。
本公开的实施例提供了一种业务模型的生成方法,包括:根据获取的配置信息,生成K个原始数据表,配置信息用于定义业务模型,原始数据表与业务数据一一对应,K大于等于2;解析K个原始数据表,得到与K个原始数据表对应的M个字段信息,字段信息用于表示业务数据的属性特征,M大于等于2;以及根据M个字段信息和M个字段信息之间的定义逻辑,通过N个级联的数据处理层处理K个原始数据表,生成目标业务模型;其中,第n个数据处理层的输入包括K个原始数据表中的一个原始数据表和第n-1个数据处理层输出的中间表,N大于等于1,n大于等于1且n小于等于N,定义逻辑用于表示两个字段信息之间的处理关系。
图1示意性示出了根据本公开实施例的业务模型的生成方法的应用场景。
如图1所示,根据该实施例的应用场景100可以包括第一终端设备101、第二终端设备102、第三终端设备103。网络104用以在第一终端设备101、第二终端设备102、第三终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用第一终端设备101、第二终端设备102、第三终端设备103通过网络104与服务器105交互,以接收或发送消息等。第一终端设备101、第二终端设备102、第三终端设备103上可以安装有各种客户端应用,例如网上银行客户端、网页浏览器应用、搜索类应用、即时通信工具等,以便用户通过第一终端设备101、第二终端设备102、第三终端设备103执行交易操作。
第一终端设备101、第二终端设备102、第三终端设备103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对用户利用第一终端设备101、第二终端设备102、第三终端设备103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是,本公开实施例所提供的业务模型的生成方法一般可以由服务器105执行。相应地,本公开实施例所提供的业务模型的生成装置一般可以设置于服务器105中。本公开实施例所提供的业务模型的生成方法也可以由不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的业务模型的生成装置也可以设置于不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
以下将基于图1描述的场景,通过图2~图6对公开实施例的业务模型的生成方法进行详细描述。
图2示意性示出了根据本公开实施例的业务模型的生成方法的流程图。
如图2所示,该方法包括操作S210~S230。
在操作S210,根据获取的配置信息,生成K个原始数据表,配置信息用于定义业务模型,原始数据表与业务数据一一对应,K大于等于2。
根据本公开的实施例,配置信息是根据用户在交互界面的交互操作生成的。用户可以在风险预警平台上进行操作,生成用于定义业务模型的配置信息。例如,用户可以根据交互界面上展示的信息,进行选择操作,生成配置信息。
具体的,风险预警平台可以根据业务类型,预先构建得到字典库,字典库中包括与多种服务对应的字段名、字段类型、字段长度等信息。
例如,对于用于评估代收代付业务的业务模型,字典库中包括交易数据的原始数据表,包括账号、姓名、交易日、金额等字段名,相应地,也包括与账号、姓名、交易日、金额等字段名对应的字段类型和字段长度。用户可以在交互界面上进行操作,根据字典库提供的信息,选中与目标业务有关的按钮或字段并生成配置信息。如,输入“查询代收代付业务的具体交易信息”,生成的配置信息可以对应“备注”字段。
配置信息可以通过分隔符或其他特殊符号来表示数据与数据之间的分隔。风险预警平台可以调用对应的数据库方法识别上述分隔符或其他特殊符号,生成K个原始数据表。
在根据配置信息生成原始数据表的过程中,可以响应于用户的操作,确定原始数据表的表名。例如,对于业务类型为交易数据的业务数据,生成的原始数据表的表名可以为A.J原始表,交易数据对应的原始数据表中的字段包括账户、交易金额、交易时刻;对于业务类型为余额数据的业务数据,生成原始数据表的表明可以为A.Y原始表,对应地,原始表中的字段包括账户和余额。
在响应于用户的操作生成配置信息之后,将用于定义业务模型的配置信息生成K个原始数据表。K个原始数据表中包括配置信息的全量信息。例如,对于代收代付业务,生成的原始数据表中包括用于选中的交易数据、余额数据、用户信息等对应的全部字段名、字段类型、字段长度。
根据本公开的实施例,原始数据表的形式可以是预先设置好的,例如,账户为原始数据表的初始字段,其次是姓名、余额、交易日等信息。
在操作S220,解析K个原始数据表,得到与K个原始数据表对应的M个字段信息,字段信息用于表示业务数据的属性特征,M大于等于2。
根据本公开的实施例,K个原始数据表可以在多个数据库之间进行传输。在生成K个原始数据表之后,基于K个原始数据表生成目标业务模型之前,调用数据库方法解析K个原始数据表,得到与K个原始数据表对应的M个字段信息。其中,每个原始数据表中包括多个字段。M个字段信息还可以是仅属于一个原始数据表,也可以同时属于多个原始数据表,如,每个原始数据表可以包括M个字段信息,还可以包括M个字段信息中的至少一个字段信息。例如,“账户”字段可以属于多个原始数据表,“性别”字段仅属于用户基本信息的原始数据表。
具体的,数据库方法用于对原始数据表进行拆分、数据清洗、数据过滤等操作。例如,将K个原始数据表按照类别拆分为多个字段信息,再按照字段的不同层次,将同类别的多个字段信息进行细分,以便后续确定字段信息之间的连接关系。数据清洗和数据过滤可以是将原始数据表中的无效字段、无效信息进行清洗和过滤。
例如,用户选定了“备注”字段,但是没有对选中的“备注”字段进行后续操作,即“备注”字段为无效字段。由于原始数据表中包括全量配置信息,因此原始数据表中包括“备注”字段。在对原始数据表进行解析的过程中,可以将“备注”字段过滤出来。
根据本公开的实施例,字段信息包括字段名、字段类型、字段长度等信息。
在操作S230,根据M个字段信息和M个字段信息之间的定义逻辑,通过N个级联的数据处理层处理K个原始数据表,生成目标业务模型。
第n个数据处理层的输入包括K个原始数据表中的一个原始数据表和第n-1个数据处理层输出的中间表,n大于等于1且n小于等于N,定义逻辑用于表示M个字段信息中两个字段信息之间的处理关系。
根据本公开的实施例,定义逻辑用于表示两个字段信息之间的处理关系。其中,在两个字段信息之间存在连接关系的情况下,两个字段信息之间存在定义逻辑;两个字段信息之间不存在连接关系的情况下,这个两个字段信息之间不存在定义逻辑。
定义逻辑包括预设连接方法,例如,账户和姓名之间存在连接关系,且连接方法为从账户指向姓名。其中,连接方法可以为预设的脚本方法、还可以为封装后的数据库调用方法。
根据本公开的实施例,一个字段信息可以与多个字段信息之间存在定义逻辑,两个字段信息之间存在唯一对应的定义逻辑。例如,账号可以与姓名存在定义逻辑,且定义逻辑为从账号指向姓名;账号还可以与余额存在定义逻辑,且定义逻辑为账号指向余额。
根据本公开的实施例,N个数据处理层为级联的数据处理层,N大于等于1,数据处理层的个数与原始数据表的数量有关。在利用多个数据处理层完成K个原始数据表的连接之后,最后一个数据处理层输出目标业务模型的数据表。实际上,在处理完K个原始数据表之后,就完成了目标业务模型的构建。并且,在生成目标业务模型之后,不再产生新的数据处理层,数据处理层的个数也就随之确定下来。其中,每个数据处理层用于处理K个原始数据表中的一个原始数据表和上一个数据处理层输出的中间表。
根据本公开的实施例,每个数据处理层也可以处理原始数据表或中间表,例如,对上一个数据处理层生成的中间表进行过滤等操作,或者对获取的原始数据表进行数据过滤等操作。
根据本公开的实施例,本公开的数据处理层是指在生成目标业务模型过程中进行数据处理操作的虚拟数据层,并非实际物理意义的结构层。
本公开通过获取配置信息,根据配置信息生成原始数据表,然后基于原始数据表中的M个字段信息,通过N个数据处理层处理K个原始数据表,实现了分层构建目标业务模型。本公开在利用N个数据处理层生成目标业务模型的过程中,将整个业务模型的处理逻辑优化到每个数据处理层上,简化了业务模型结构,降低了运行时间,也便于模型的维护和优化,降低了维护和优化成本。
对于每个数据处理层,可以利用简单的数据库处理方法或数据库处理逻辑,实现模型的运算。实现了在单个数据处理层运算过程中,解放其他数据处理层的计算资源,提高了数据库资源的调用效率。并且,相对于传统的模型生成方法,每个数据处理层可以由多个数据库并行执行,提高了生成目标模型的运行效率。
图3示意性示出了根据本公开实施例的基于N个数据处理层生成目标业务模型的流程图。
如图3所示,该实施例的方法包括操作S331~操作S333,可以作为操作S230的一个具体实施例。
根据本公开的实施例,除了第1个数据处理层以外,对于N个数据处理层中的任一数据处理层,都可以通过该实施例的方法,生成中间表和SQL语句。
在操作S331,在第n-1个数据处理层输出第n-1个中间表之后,从第n-1个中间表中确定第一字段信息,第一字段信息与第n个数据处理层执行的数据处理功能相关。
根据本公开的实施例,第一字段信息与第n个数据处理层执行的数据处理功能相关。数据库中包括M个字段信息之间的定义逻辑,两个字段信息之间存在唯一的定义逻辑。
对于任意的一个字段信息,数据库中都包括对应的定义逻辑,以及连接方法。对于该字段信息,可以形成与每个连接方法对应的数据处理层。
根据本公开的实施例,可以从第n-1个中间表中随机确定一个第一字段信息,在确定第一字段信息之后,从多个数据处理层中确定第n个数据处理层。
在操作S332,根据第一字段信息和M个字段信息之间的定义逻辑,从K个原始数据表中确定第一原始数据表。
根据本公开的实施例,在确定第一字段信息之后,根据第一字段信息从M个字段信息中确定与第一字段信息对应的字段信息,然后根据两个字段信息之间的定义逻辑,从K个原始数据表中确定第一原始数据表。
其中,第一原始数据表中包括与第一字段信息对应的字段信息,可以包括第一字段信息也可以不包括第一字段信息。
例如,从交易数据对应的原始数据表中确定“账户”,在第一原始数据表为关于余额数据的原始数据表的情况下,中间表和第一原始表中都包括与“账户”对应的“余额”字段信息。在第一原始数据表为关于用户基本信息的原始数据表的情况下,中间表和第一原始表中都包括第一字段“账户”,但是仅第一原始数据表中包括“性别”字段信息。
在操作S333,根据第一原始数据表和第n-1个中间表,生成与第n个数据处理层对应的第n个中间表和第n个结构化查询语句,其中,在n等于N的情况下,第N个中间表为与目标业务模型对应的数据表。
根据本公开的实施例,在从第n-1个中间表中确定待处理的第一字段信息之后,从M个字段信息之间的定义逻辑中确定与第一字段信息对应的定义逻辑,并生成与第n个数据处理层对应的第n个中间表和第n个结构化查询语句。
其中,在确定第一原始数据表和第n-1个中间表之后,可以自动调用对应的脚本方法或数据库函数,将第一原始数据表和第n-1个中间表进行融合,生成第n个中间表和第n个结构化查询语句。还可以响应于用户的操作,将第一原始数据表和第n-1个中间表进行融合;还可以响应于用户的操作,对生成第n个中间表进行操作。
根据本公开的实施例,中间表的表名由***自动生成,中间表的字段来源为K个原始数据表中的第一原始数据表。每个数据处理层的处理结果可以存储于与该数据处理层对应的中间表中。生成的中间表还包括对应字段的字段名、字段类型和字段长度,无需用户重新指定。
例如,中间表的表名可以由该数据处理层处理的两个字段信息的字段名构成,还可以包括该数据处理层所处的层级,如第5个数据处理层在中间表名中的体现为5。
每个数据处理层得到的结构化查询语句仅包括该数据处理层处理的两个字段信息之间的处理关系,最终生成的目标业务模型的目标结构化查询语句是由每个数据处理层的结构化数据查询语句组合得到的。
本公开利用数据处理层处理多个字段信息,且每个数据处理层生成对应的中间表和SQL语句,将整个业务模型的处理结构拆分到每个数据处理层上,实现了每个数据处理层下的数据分离、SQL语句分离,便于针对模型的每个数据处理的处理结果进行维护和优化。同时,又通过中间表连接N个数据处理层,保证整个业务数据模型的完整功能。
根据本公开的实施例,操作S332的方法包括:从M个字段信息中获取与第一字段信息对应的第二字段信息。具体的,根据第一字段信息与其他字段信息的连接关系,可以确定与第一字段信息对应的第二字段信息。
第n个数据处理层可以根据第一字段信息和第二字段信息的字段名,从多个定义逻辑中确定目标定义逻辑,最后根据目标定义逻辑确定第一原始数据表。例如,对于“账号”和“性别”字段,在确定目标定义逻辑之后,即可根据目标定义逻辑确定包括“账号”和“性别”的第一原始数据表。
根据本公开的实施例,第一字段信息可以对应多个字段信息。在第一字段信息对应多个字段信息的情况下,可以从多个字段信息中随机选取一个与第一字段信息相关的第二字段信息,进行处理。
类似的,将与第一字段信息相关的其他字段信息作为其他数据处理层的第二字段信息,进行处理。
根据本公开的实施例,定义逻辑包括数据库函数或预设脚本方法。
根据本公开的实施例,对于第1个数据处理层,在原始数据表中存在用于表征用户身份的标识字段的情况下,将标识字段确定为目标字段信息。
例如,对于代收代付业务,账户字段可以表征用户身份。对于第1个数据处理层,可以将原始数据表中的账户字段作为目标字段,目标字段信息包括字段名为“账户”,字段类型为“数值型”。
根据目标字段信息和M个字段信息之间的定义逻辑,从M个字段信息中随机获取与目标字段信息对应的待选字段信息。目标字段信息可以存在于多个原始数据表中,与多个原始数据表中的基础字段或特殊字段存在关系,在第1个数据处理层,随机选取一个字段信息作为待选字段信息。将目标字段信息所属的原始数据表和待选字段信息所属的原始数据表相关联起来,经过第1个数据处理层的运算,生成与第1个数据处理层对应的第1个中间表和第1个结构化查询语句。
例如,仍以上述代收代付业务为例,在确定目标字段信息为账户字段的情况下,账户字段与ID字段存在连接关系。根据账户和ID之间的定义逻辑,将包括账户的目标字段信息的原始数据表和包括ID的原始数据表进行关联,生成的第1个中间表包括账户和ID,生成的第1个SQL语句表示从账户所属的原始数据表到ID所属的原始数据表,即从账户到ID的执行路径。
如,账户表到ID表相关联,融合得到第1个中间表。
图4示意性示出了根据本公开具体实施例的生成目标业务模型的示意图。
如图4所示,该方法共包括N个数据处理层,具体的,包括第1个数据处理层403、第2个数据处理层404、第3个数据处理至第N-1个数据处理层405和第N个数据处理层406。
根据获取的配置信息生成的第一数据库401,用于向第1个数据处理层403、第2个数据处理层404、第3个数据处理至第N-1个数据处理层405和最后的第N个数据处理层406输入K个原始数据表以及K个原始数据表生成的M个字段信息。
第二数据库402用于存储M个字段信息之间的定义逻辑。具体的,第二数据库402中包括连接M个字段信息中多个字段信息的数据库函数或预设脚本方法。
对于第1个数据处理层403,可以从第一数据库401中获取目标字段信息,以及第1个数据处理层403要处理的其他字段信息、原始数据表。在从第二数据库402中获取定义逻辑之后,第1个数据处理层403生成第1个中间表和第1个SQL语句。其中,第1个中间表作为第2个数据处理层404的一个输入,第1个SQL语句输入作为SQL语句优化模型408的一个输入。
第2个数据处理层404可以从第一数据库401和第1个中间表中获取待处理的字段信息、原始数据表,并从第二数据库402中获取待处理字段的定义逻辑,并根据定义逻辑对待处理的字段信息进行计算,生成第2个中间表和第2个SQL语句。类似的,对于第3个数据处理至第N-1个数据处理层405,均从上一个数据处理层获取中间表、从第一数据库401中获取待处理的字段信息和原始数据表,从第二数据库402中获取待处理字段的定义逻辑。然后生成第3个中间表…第N-1个中间表,第3个SQL语句…第N-1个SQL语句,其中,第3个数据处理至第N-1个数据处理层405生成的第3个SQL语句…第N-1个SQL语句均输入SQL语句优化模型408。
对于最后的第N个数据处理层406,类似的,在从第一数据库401和第N-1个中间表中获取待处理字段、从第二数据库402中获取定义逻辑之后,将生成的第N个SQL语句输入SQL语句优化模型408。并且,生成的第N个中间表为业务模型的数据表407。
SQL语句优化模型408,用于接收每个数据处理层得到的SQL语句,然后将N个SQL语句进行组合,生成最终的目标SQL语句。
图5示意性示出了根据本公开实施例的更新中间表方法的流程图。
如图5所示,该实施例的方法包括操作S510~操作S530。该实施例可以设置于操作S331~操作S332之后,还可以与操作S331~操作S332并行,还可以作为操作S333的一个具体实施例。在接收到用户的预设操作之后,执行上述操作S510~操作S530。
根据本公开的实施例,每个数据处理层可以根据定义逻辑处理第一字段信息和第二字段信息,生成与该数据处理层对应的中间表和SQL语句。还可以响应于用户的操作,对该数据处理层对应的中间表进行更新。
在操作S510,响应于用户的预设操作,生成与第n个数据处理层对应的临时中间表,预设操作包括连接操作和/或过滤操作。
根据本公开的实施例,用户可以对任意一个数据处理层包括的两个字段进行连接操作,还可以将对上一个数据处理层生成的中间表和该数据处理层获取的原始数据表进行连接操作,连接两个数据表。
过滤操作可以是对第n个数据处理层生成的第n个中间表进行的过滤。具体的,可以过滤第n个中间表中任一个字段,或者过滤任一字段下的部分信息,例如,删除余额字段下不符合余额限制范围的信息。
在响应于用户的预设操作,对第n个数据处理层的第n个中间表进行操作后,生成与第n个数据处理层对应的临时中间表,用于更新第n个中间表。
在操作S520,利用临时中间表替换第n个数据处理层生成的原始第n个中间表,得到更新的第n个中间表。
根据本公开的实施例,在生成临时中间表之后,利用临时中间表替换第n个数据处理层生成的原始第n个中间表,得到更新的第n个中间表。
具体的,替换原始第n个中间表的操作包括:确定原始第n个中间表的存储位置,然后将原始第n个中间表存储于预设位置,并利用临时中间表替换原始第n个中间表。在临时中间表成功替换原始第n个中间表的情况下,删除预设位置处的原始第n个中间表。
在操作S530,根据更新的第n个中间表和M个字段信息之间的定义逻辑,更新第n+1个数据处理层生成的第n+1个中间表。
根据本公开的实施例,在利用临时中间表更新第n个中间表之后,将更新的第n个中间表作为第n+1个数据处理层的输入。相应地,第n+1个数据处理层根据更新的第n个中间表和M个字段信息之间的定义逻辑,更新第n+1个数据处理层的输出。
根据本公开的实施例,对于连接操作,操作S510的一个具体实施例可以是:响应于用户的连接操作,确定用户选中的第三字段信息。将第n-1个数据处理层生成的第n-1个中间表与第三字段信息所属的第二原始数据表或所属的中间表相连,生成与第n个数据处理层对应的临时中间表。其中,第三字段信息包括在用户的交互界面上展示的字段。
根据本公开的实施例,每个数据处理层的处理结果都可以向用户展示。具体的,用户通过预设点击操作,以便向风险预警平台请求展示某个数据处理层的处理结果。风险预警平台可以向用户展示该数据处理层的中间表和SQL语句,其中,默认展示中间表的全部字段。
在向目标用户展示第n-1个数据处理层的第n-1个中间表和第n-1个SQL语句之后,响应于用户在第n-1个中间表和其他中间表或原始数据表的连接操作,确定用户选中的第三字段信息,并生成临时中间表,以便更新后续数据处理层的输入。其中,用户可以在原始数据表中选中第三字段信息,还可以在其他中间表中选中第三字段信息。
用户在第n-1个中间表上进行了操作,生成临时中间表,即原始第n个中间表与临时中间表之间存在不同。因此,原始第n个中间表不能作为第n+1个数据处理层的输入,需要将发生改变的临时中间表作为第n+1个数据处理层的输入。也就是说,利用连接操作替代了原始第n个数据处理层的处理操作,相应地更新第n个数据处理层以下全部数据处理层的操作。
根据本公开的实施例,还可以将连接操作产生的临时中间表作为新增数据处理层得到的结果,将该临时中间表作为原始第n层数据处理层的输入。
根据本公开的实施例,连接操作的表现形式为连接线。例如,在交互界面上通过连接线向用户展示连接操作的。
根据本公开的实施例,对于过滤操作,操作S510的一个具体实施例可以是:响应于用户的过滤操作,确定用户选中的第四字段信息,在第n个数据处理层生成的原始第n个中间表中删除第四字段信息,生成与第n个数据处理层对应的临时中间表。
在更新第n个数据处理层的第n个中间表的情况下,相应地,在第n个数据处理层后方的所有数据处理层的处理结果均发生改变。
例如,在第n个数据处理层中,通过过滤操作更新了第n个中间表,更新的第n个中间表中删除了字段A。在第n个数据处理层之后的第n+1个数据处理层,直至最后的第N个数据处理层中,均不会包括字段A。
本公开通过响应于用户的操作,更新中间表,无需业务人员和技术人员再次沟通,在生成目标业务模型阶段即可实现模型的修改,提高了模型生成效率。
根据本公开的实施例,如图4所示,每个数据处理层得到的SQL语句都作为SQL语句优化模块408的输入。SQL语句优化模块408用于根据N个数据处理层输出的N个SQL语句,得到与目标业务模型对应的目标SQL语句。
根据本公开的实施例,按照N个级联的数据处理层的连接顺序,对N个数据处理层生成的N个结构化查询语句进行组合,得到目标结构化查询语句,目标结构化查询语句用于生成目标业务模型。
具体的,可以按照N个级联的数据处理层的连接顺序,将N个结构化查询语句依次串联起来,得到最终的目标结构化查询语句。并且,在利用目标结构化查询语句生成目标业务模型的过程中,以每个结构化查询语句为处理单位,生成目标业务模型。
根据本公开的实施例,N个结构化查询语句中可以包括多个预先加载好的结构化查询语句。例如,对于“账户”和“余额”字段,多个业务场景均涉及“账户”和“余额”字段,在生成目标业务模型之前,可以预先完成对“账户”和“余额”字段的处理。在生成目标业务模型的过程中,直接获取处理“账户”和“余额”字段的数据处理层的中间表。
本公开通过组合每个数据层生成的SQL语句,得到生成目标业务模型的目标SQL语句,实现了简化目标SQL语句,将链式计算变更为并行计算,降低了运算时间。
根据本公开的实施例,作为一种实施例,可以对N个结构化查询语句进行优化。
从索引表中确定与N个结构化查询语句对应的索引数据,根据索引数据优化N个结构化查询语句,得到优化后的P个结构化查询语句。
其中,索引表中的索引数据用于通过标准结构化查询语句表征M个字段信息之间的处理关系。具体的,索引表可以是用户根据实际处理经验形成的、最优处理路径的SQL语句表。
在得到优化后的P个结构化查询语句之后,对P个结构化查询语句进行组合,得到Q个结构化查询语句。根据Q个结构化查询语句的验证结果,确定与目标业务模型对应的目标结构化查询语句。
根据本公开的实施例,Q个结构化查询语句均用于生成目标业务模型,但是每个结构化查询语句的运行时间不同。结构化查询语句的验证结果可以表示生成业务模型的运行时长。
根据Q个结构化查询语句的验证结果,可以从Q个结构化查询语句中选中运行时长最短的结构化查询语句,并将该运行时长最短的结构化查询语句作为目标结构化查询语句。实现了每个数据处理层输出的SQL语句的优化和简化,提高了构建目标业务模型的处理效率。
根据本公开的实施例,风险预警平台中的业务模型构建模块需要使用独立的数据库,在非生产环境的模拟环境中完成目标业务模型的构建。
具体的,响应于用户的操作,生成与操作对应的配置信息之后,将配置信息传输至模拟环境,在模拟环境中生成与配置信息对应的模拟业务数据。然后根据模拟业务数据和配置信息,生成K个原始数据表。
根据本公开的实施例,在配置信息中没有具体业务数据的情况下,可以根据配置信息,自动生成与配置信息匹配的模拟业务数据,以便生成原始数据表。
考虑到在生成目标业务模型过程中,对SQL语句的调优、对业务模型参数的调试都需要多途径尝试,可能会导致数据库短暂高负荷,甚至出现死锁的情况。本公开通过在模拟环境中生成目标业务模型,避免因生成模型、调优模型导致数据库短暂高负荷、数据库崩溃的问题。
根据本公开的实施例,在生成目标业务模型之后,还可以对目标业务模型进行评估,得到评估结果。
具体的,评估方法可以包括:将构造的模拟数据输入目标业务模型,然后通过目标业务模型的输出结果确定评估结果。输出结果包括运行时间、输出参数是否符合要求等。
在确定评估结果为通过的情况下,将目标业务模型从模拟环境发布至生产环境中,以便目标业务模型在生产环境中为用户提供服务,提高业务模型的可靠性。
本公开通过分层运算,在便于业务人员定义模型的同时,也解决了SQL的性能问题。通过分层模型,可以实现分布式运算,使得模型性能得到大幅提升。此外,相对传统建模方式,分层模型不仅能够节约人力成本,大幅降低了建模的复杂性,还能提高业务模型的上线效率,以便业务人员根据生成的目标业务模型得到准确的风险预测报告。
图6示意性示出了根据本公开实施例的业务数据查询方法的流程图。
如图6所示,该实施例的业务数据查询方法包括操作S610~操作S620。
在操作S610,响应于目标用户的查询请求,解析查询请求,得到与查询请求对应的多个字段信息。
在操作S620,将多个字段信息输入业务模型,输出与查询请求对应的查询结果。
根据本公开的实施例,在根据用户需求生成业务模型之后,可以发布该业务模型,以便业务人员根据该业务模型实施对应的风险预警操作。其中,该业务模型是根据上述业务模型的生成方法生成的。
具体的,用户通过交互界面的发起查询请求,风险预警平台响应于目标用户的查询请求,对该查询请求进行解析,得到与该查询请求对应的多个字段信息,将多个字段信息输入业务模型后,输出查询结果。查询请求可以是用于查询与当前业务模型对应业务的风险查询请求。
例如,业务人员发现代收代付业务存在的问题之后,可以在风险预警平台上根据需求,选中对应的字段信息,生成配置信息。在风险预警平台根据配置信息生成业务模型之后,响应于业务人员的风险预警查询请求,解析查询请求,得到与查询请求对应的多个字段信息。然后将多个字段信息输入业务模型,就可以得到与风险预警查询请求对应的查询结果。查询结果可以通过风险报告的形式向业务人员展示。
业务人员可以通过风险预警平台的交互界面进行操作,无需业务人员了解SQL执行逻辑,也无需技术人员进行翻译,即可通过包括业务领域用词的字典库,实现自主定义模型及调整参数,使得业务人员可以通过平台直接建模,迅速、直接地将想法变为模型,不会因沟通成本高、周期长、复杂等因素丢失想法,造成企业风险预警漏洞。
图7示意性示出了根据本公开实施例的业务模型的生成装置的结构框图。
如图7所示,该实施例的业务模型的生成装置700包括获取模块710、解析模块720和生成模块730。
获取模块710,用于根据获取的配置信息,生成K个原始数据表,配置信息用于定义业务模型,原始数据表与业务数据一一对应,K大于等于2。在一实施例中,获取模块710,可以用于执行前文描述的操作S210,在此不再赘述。
解析模块720,用于解析K个原始数据表,得到与K个原始数据表对应的M个字段信息,字段信息用于表示业务数据的属性特征,M大于等于2。在一实施例中,解析模块720可以用于执行前文描述的操作S220,在此不再赘述。
生成模块730,用于根据M个字段信息和M个字段信息之间的定义逻辑,通过N个级联的数据处理层处理K个原始数据表,生成目标业务模型,其中,第n个数据处理层的输入包括所述K个原始数据表中的一个原始数据表和第n-1个数据处理层输出的中间表,N大于等于1,n大于等于2且n小于等于N,定义逻辑用于表示M个字段信息中两个字段信息之间的处理关系。在一实施例中,生成模块730可以用于执行前文描述的操作S230,在此不再赘述。
根据本公开的实施例,生成模块730包括第一生成单元、第二生成单元和第三生成单元。
第一生成单元用于在第n-1个数据处理层输出第n-1个中间表之后,从第n-1个中间表中确定第一字段信息,第一字段信息与第n个数据处理层执行的数据处理功能相关。在一实施例中,第一生成单元可以用于执行前文描述的操作S331,在此不再赘述。
第二生成单元用于根据第一字段信息和M个字段信息之间的定义逻辑,从K个原始数据表中确定第一原始数据表。在一实施例中,第二生成单元可以用于执行前文描述的操作S332,在此不再赘述。
第三生成单元用于根据第一原始数据表和第n-1个中间表,生成与第n个数据处理层对应的第n个中间表和第n个结构化查询语句,其中,在n等于N的情况下,第N个中间表为与目标业务模型对应的数据表。在一实施例中,第三生成单元可以用于执行前文描述的操作S333,在此不再赘述。
根据本公开的实施例,生成模块730还包括第一更新单元、第二更新单元和第三更新单元。
第一更新单元用于响应于用户的预设操作,生成与第n个数据处理层对应的临时中间表,预设操作包括连接操作和/或过滤操作。在一实施例中,第一更新单元可以用于执行前文描述的操作S510,在此不再赘述。
第二更新单元用于利用临时中间表替换第n个数据处理层生成的原始第n个中间表,得到更新的第n个中间表。在一实施例中,第二更新单元可以用于执行前文描述的操作S520,在此不再赘述。
第三更新单元用于根据更新的第n个中间表和M个字段信息之间的定义逻辑,更新第n+1个数据处理层生成的第n+1个中间表。在一实施例中,第三更新单元可以用于执行前文描述的操作S530,在此不再赘述。
根据本公开的实施例,业务数据查询装置包括响应模块和输出模块。
响应模块用于响应于目标用户的查询请求,解析查询请求,得到与查询请求对应的多个字段信息。在一实施例中,响应模块可以用于执行前文描述的操作S710,在此不再赘述。
输出模块用于将多个字段信息输入业务模型,输出与查询请求对应的查询结果,其中业务模型是根据上述业务模型的生成方法生成的。在一实施例中,输出模块可以用于执行前文描述的操作S720,在此不再赘述。
图8示意性示出了根据本公开实施例的适于业务模型的生成方法的电子设备的方框图。
如图8所示,根据本公开实施例的电子设备800包括处理器801,其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。处理器801例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC))等等。处理器801还可以包括用于缓存用途的板载存储器。处理器801可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 803中,存储有电子设备800操作所需的各种程序和数据。处理器801、ROM802以及RAM 803通过总线804彼此相连。处理器801通过执行ROM 802和/或RAM 803中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意,所述程序也可以存储在除ROM 802和RAM803以外的一个或多个存储器中。处理器801也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例,电子设备800还可以包括输入/输出(I/O)接口805,输入/输出(I/O)接口805也连接至总线804。电子设备800还可以包括连接至I/O接口805的以下部件中的一项或多项:包括键盘、鼠标等的输入部分806;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807;包括硬盘等的存储部分808;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器810上,以便于从其上读出的计算机程序根据需要被安装入存储部分808。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/***中所包含的;也可以是单独存在,而未装配入该设备/装置/***中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。例如,根据本公开的实施例,计算机可读存储介质可以包括上文描述的ROM 802和/或RAM 803和/或ROM 802和RAM 803以外的一个或多个存储器。
本公开的实施例还包括一种计算机程序产品,其包括计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机***中运行时,该程序代码用于使计算机***实现本公开实施例所提供的业务模型的生成方法。
在该计算机程序被处理器801执行时执行本公开实施例的***/装置中限定的上述功能。根据本公开的实施例,上文描述的***、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中,该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中,该计算机程序也可以在网络介质上以信号的形式进行传输、分发,并通过通信部分809被下载和安装,和/或从可拆卸介质811被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
在这样的实施例中,该计算机程序可以通过通信部分809从网络上被下载和安装,和/或从可拆卸介质811被安装。在该计算机程序被处理器801执行时,执行本公开实施例的***中限定的上述功能。根据本公开的实施例,上文描述的***、设备、装置、模块、单元等可以通过计算机程序模块来实现。
根据本公开的实施例,可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码,具体地,可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java,C++,python,“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上所述的具体实施例,对本公开的目的、技术方案和有益效果进行了进一步详细说明,应理解的是,以上所述仅为本公开的具体实施例而已,并不用于限制本公开,凡在本公开的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。
Claims (15)
1.一种业务模型的生成方法,包括:
根据获取的配置信息,生成K个原始数据表,所述配置信息用于定义业务模型,所述原始数据表与业务数据一一对应,K大于等于2;
解析所述K个原始数据表,得到与所述K个原始数据表对应的M个字段信息,所述字段信息用于表示所述业务数据的属性特征,M大于等于2;以及
根据所述M个字段信息和所述M个字段信息之间的定义逻辑,通过N个级联的数据处理层处理所述K个原始数据表,生成目标业务模型;
其中,第n个数据处理层的输入包括所述K个原始数据表中的一个原始数据表和第n-1个数据处理层输出的中间表,N大于等于1,n大于等于2且n小于等于N,所述定义逻辑用于表示所述M个字段信息中两个字段信息之间的处理关系。
2.根据权利要求1所述的方法,其中,数据处理层的输出包括中间表和结构化查询语句;根据所述M个字段信息和所述M个字段信息之间的定义逻辑,通过N个级联的数据处理层处理所述K个原始数据表,生成目标业务模型,包括:
在第n-1个数据处理层输出第n-1个中间表之后,从所述第n-1个中间表中确定第一字段信息,所述第一字段信息与所述第n个数据处理层执行的数据处理功能相关;
根据所述第一字段信息和所述M个字段信息之间的定义逻辑,从所述K个原始数据表中确定第一原始数据表;以及
根据所述第一原始数据表和所述第n-1个中间表,生成与所述第n个数据处理层对应的第n个中间表和第n个结构化查询语句,其中,在n等于N的情况下,第N个中间表为与所述目标业务模型对应的数据表。
3.根据权利要求2所述的方法,其中,所述定义逻辑包括数据库函数或预设脚本方法;
所述根据所述第一字段信息和所述M个字段信息之间的定义逻辑,从所述K个原始数据表中确定第一原始数据表,包括:
从所述M个字段信息中获取与所述第一字段信息对应的第二字段信息;
根据所述第一字段信息和所述第二字段信息的字段名,从所述M个字段信息之间的定义逻辑中确定目标定义逻辑;以及
根据所述目标定义逻辑,确定所述第一原始数据表。
4.根据权利要求2所述的方法,还包括:
响应于用户的预设操作,生成与第n个数据处理层对应的临时中间表,所述预设操作包括连接操作和/或过滤操作;
利用所述临时中间表替换所述第n个数据处理层生成的原始第n个中间表,得到更新的第n个中间表;以及
根据所述更新的第n个中间表和所述M个字段信息之间的定义逻辑,更新第n+1个数据处理层生成的第n+1个中间表。
5.根据权利要求4所述的方法,其中,所述响应于用户的预设操作,生成与第n个数据处理层对应的临时中间表,包括:
响应于用户的连接操作,确定用户选中的第三字段信息,所述第三字段信息包括在用户的交互界面上展示的字段;以及将第n-1个数据处理层生成的第n-1个中间表与所述第三字段信息所属的第二原始数据表或所属的中间表相连,生成与第n个数据处理层对应的临时中间表;和/或
响应于用户的过滤操作,确定用户选中的第四字段信息,在所述第n个数据处理层生成的原始第n个中间表中删除所述第四字段信息,生成与第n个数据处理层对应的临时中间表。
6.根据权利要求2所述的方法,还包括:
在所述原始数据表中存在用于表征用户身份的标识字段的情况下,将所述标识字段确定为目标字段信息;
根据所述目标字段信息和所述M个字段信息之间的定义逻辑,从所述M个字段信息中随机获取与所述目标字段信息对应的待选字段信息;以及
基于所述目标字段信息所属的原始数据表和所述待选字段所属的原始数据表,生成与第1个数据处理层对应的第1个中间表和第1个结构化查询语句。
7.根据权利要求2所述的方法,还包括:
按照N个级联的数据处理层的连接顺序,对N个所述数据处理层生成的N个结构化查询语句进行组合,得到目标结构化查询语句,所述目标结构化查询语句用于生成所述目标业务模型。
8.根据权利要求7所述的方法,其中,所述按照N个级联的数据处理层的连接顺序,对N个所述数据处理层生成的N个结构化查询语句进行组合,得到目标结构化查询语句,包括:
从索引表中确定与所述N个结构化查询语句对应的索引数据,所述索引表中的索引数据用于通过标准结构化查询语句表征所述M个字段信息之间的处理关系;以及
根据所述索引数据优化所述N个结构化查询语句,得到优化后的P个结构化查询语句,其中,P大于等于1,且小于等于N;
对所述P个结构化查询语句进行组合,得到Q个结构化查询语句,所述Q个结构化查询语句均用于生成所述目标业务模型;
根据所述Q个结构化查询语句的验证结果,确定与所述目标业务模型对应的目标结构化查询语句,所述验证结果用于表示所述Q个结构化查询语句的运行时长。
9.根据权利要求1所述的方法,其中,所述根据获取的配置信息,生成K个原始数据表,包括:
响应于用户的操作,生成与所述操作对应的配置信息;
将所述配置信息传输至模拟环境中,生成与所述配置信息对应的模拟业务数据;以及
根据所述模拟业务数据和所述配置信息,生成所述K个原始数据表。
10.根据权利要求9所述的方法,还包括:
在生成目标业务模型之后,对所述目标业务模型进行评估,得到评估结果;以及
在确定所述评估结果为通过的情况下,将所述目标业务模型从所述模拟环境发布至生产环境中,以便所述目标业务模型在所述生产环境中为用户提供服务。
11.一种业务数据查询方法,包括:
响应于目标用户的查询请求,解析所述查询请求,得到与所述查询请求对应的多个字段信息;以及
将所述多个字段信息输入所述业务模型,输出与所述查询请求对应的查询结果;
其中所述业务模型是根据权利要求1-10之一所述的方法生成的。
12.一种业务模型的生成装置,包括:
获取模块,用于根据获取的配置信息,生成K个原始数据表,所述配置信息用于定义业务模型,所述原始数据表与业务数据一一对应,K大于等于2;
解析模块,用于解析所述K个原始数据表,得到与所述K个原始数据表对应的M个字段信息,所述字段信息用于表示所述业务数据的属性特征,M大于等于2;以及
生成模块,用于根据所述M个字段信息和所述M个字段信息之间的定义逻辑,通过N个级联的数据处理层处理所述K个原始数据表,生成目标业务模型;
其中,第n个数据处理层的输入包括所述K个原始数据表中的一个原始数据表和第n-1个数据处理层输出的中间表,N大于等于1,n大于等于1且n小于等于N,所述定义逻辑用于表示所述M个字段信息中两个字段信息之间的处理关系。
13.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行根据权利要求1~11中任一项所述的方法。
14.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行根据权利要求1~11中任一项所述的方法。
15.一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现根据权利要求1~11中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211174136.5A CN115422202A (zh) | 2022-09-26 | 2022-09-26 | 业务模型的生成方法、业务数据查询方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211174136.5A CN115422202A (zh) | 2022-09-26 | 2022-09-26 | 业务模型的生成方法、业务数据查询方法、装置及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115422202A true CN115422202A (zh) | 2022-12-02 |
Family
ID=84204238
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211174136.5A Pending CN115422202A (zh) | 2022-09-26 | 2022-09-26 | 业务模型的生成方法、业务数据查询方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115422202A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116415199A (zh) * | 2023-04-13 | 2023-07-11 | 广东铭太信息科技有限公司 | 基于审计中间表的业务数据离群分析方法 |
-
2022
- 2022-09-26 CN CN202211174136.5A patent/CN115422202A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116415199A (zh) * | 2023-04-13 | 2023-07-11 | 广东铭太信息科技有限公司 | 基于审计中间表的业务数据离群分析方法 |
CN116415199B (zh) * | 2023-04-13 | 2023-10-20 | 广东铭太信息科技有限公司 | 基于审计中间表的业务数据离群分析方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11487539B2 (en) | Systems and methods for automating and monitoring software development operations | |
US10997531B2 (en) | System, method and graphical user interface for workflow generation, deployment and/or execution | |
CN111177231A (zh) | 报表生成方法和报表生成装置 | |
CN111722839B (zh) | 一种代码生成方法、装置、电子设备及存储介质 | |
US20230334017A1 (en) | Api for implementing scoring functions | |
US20090070121A1 (en) | System, Method And Graphical User Interface For Workflow Generation, Deployment And/Or Execution | |
CN110795509A (zh) | 一种数据仓库的指标血缘关系图的构建方法、装置和电子设备 | |
US11531914B2 (en) | Artificial intelligence (AI) based automatic rule generation | |
US20190147029A1 (en) | Method and system for generating conversational user interface | |
CN110795478A (zh) | 一种应用于金融业务的数据仓库更新方法、装置和电子设备 | |
CN111125064A (zh) | 一种生成数据库模式定义语句的方法和装置 | |
CN115422202A (zh) | 业务模型的生成方法、业务数据查询方法、装置及设备 | |
CN112102099A (zh) | 保单数据处理方法、装置、电子设备及存储介质 | |
CN113378346A (zh) | 模型仿真的方法和装置 | |
CN115904527A (zh) | 数据处理方法、装置、设备及介质 | |
CN115033634A (zh) | 数据采集方法、装置、电子设备和介质 | |
CN110019177A (zh) | 规则存储的方法和装置 | |
CN113434382A (zh) | 数据库性能监控方法、装置、电子设备及计算机可读介质 | |
CN115017185A (zh) | 一种数据处理方法、装置及存储介质 | |
CN113762702A (zh) | 工作流部署方法、装置、计算机***和可读存储介质 | |
CN113779017A (zh) | 数据资产管理的方法和装置 | |
CN116301869B (zh) | 前端页面配置管控***、方法、设备、介质 | |
CN116915870B (zh) | 任务创建请求处理方法、装置、电子设备和可读介质 | |
US20230385663A1 (en) | Large scale forecasting with explanation information for time series datasets | |
US20230214901A1 (en) | System and method to recommend cloud service |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |