CN111651413B - 征信报告文件解析方法及装置 - Google Patents
征信报告文件解析方法及装置 Download PDFInfo
- Publication number
- CN111651413B CN111651413B CN202010621039.0A CN202010621039A CN111651413B CN 111651413 B CN111651413 B CN 111651413B CN 202010621039 A CN202010621039 A CN 202010621039A CN 111651413 B CN111651413 B CN 111651413B
- Authority
- CN
- China
- Prior art keywords
- file
- credit
- information unit
- credit report
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 168
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000011835 investigation Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 34
- 230000004048 modification Effects 0.000 claims description 25
- 238000012986 modification Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 9
- 238000012546 transfer Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/03—Credit; Loans; Processing thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Finance (AREA)
- General Engineering & Computer Science (AREA)
- Accounting & Taxation (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种征信报告文件解析方法及装置,该方法包括:接收源***发送的征信报告文件;按照征信报告文件中的信息单元对征信报告文件进行解析;将征信报告文件的解析结果保存至预先配置的信息单元文件中;在满足文件加载条件时,将信息单元文件加载至数据库的临时数据区。本发明能够按照信息单元对征信报告文件进行自动解析,将解析结果解析至不同的信息单元文件中,还可以将信息单元文件自动加载至数据库的临时数据区,自动化解析和自动化加载不仅简化了征信报告的解析流程,还提高了征信报告的解析效率。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及征信报告文件解析方法及装置。
背景技术
本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
数据仓库类***一般通过数据下传平台等总线***接收各***数据或业务人员手工录入的数据。经过ETL处理(Extract-Transform-Load,是将业务***的数据经过抽取、清洗转换之后加载到数据仓库的过程)后加载到数据库中,最后对数据进行加工、展现以及分析,以满足业务决策及监管需求。源***下传的数据内容及命名遵守数据平台的统一规则,数据仓库***需要有配套的ETL工具。
根据银***要求,自2020年第一季度起各商业银行需要报送企业“首贷户”统计数据。“首贷户”的判定规则是填报机构向企业首次发放贷款前,通过人行征信***查询,该客户没有银行业金融机构体系贷款的记录。针对于此需求,需要通过解析企业的征信报告数据进行首贷判定,每笔新发生贷款打标统计。
目前ETL常用的有三种工具Datastage,Informatica及Kettle,解析XML格式的征信报告文件的工具主要为Kettle。Kettle通过图形界面的方式人为指定循环读取XML的路径,并指定该路径下每个字段对应的路径,以便kettle能够循环读取XML中的数据,从而获取所有记录中不同字段的值。
基于上述描述,Kettle有明显的不足之处:征信报告解析半自动化,扔需要手动干预辅助。即在进行批量操作时需要每次图形界面手动指定或修改XML的路径,并指定或配置该路径下每个字段对应的路径,对于每天要加工处理的集市***,频繁地操作图形界面相对不便,导致征信报告解析过程较为繁琐,同时征信报告解析效率较低。
因此,现有的征信报告解析存在过程繁琐、效率较低的问题。
发明内容
本发明实施例提供一种征信报告文件解析方法,用以简化征信报告解析流程,提高征信报告解析效率,该征信报告文件解析方法包括:
接收源***发送的征信报告文件;
按照征信报告文件中的信息单元对征信报告文件进行解析;
将征信报告文件的解析结果保存至预先配置的信息单元文件中;
在满足文件加载条件时,将信息单元文件加载至数据库的临时数据区。
本发明实施例还提供一种征信报告文件解析装置,用以简化征信报告解析流程,提高征信报告解析效率,该征信报告文件解析装置包括:
文件接收模块,用于接收源***发送的征信报告文件;
文件解析模块,用于按照征信报告文件中的信息单元对征信报告文件进行解析;
结果保存模块,用于将征信报告文件的解析结果保存至预先配置的信息单元文件中;
文件加载模块,用于在满足文件加载条件时,将信息单元文件加载至数据库的临时数据区。
本发明实施例还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述征信报告文件解析方法。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述征信报告文件解析方法的计算机程序。
本发明实施例中,接收源***发送的征信报告文件,可以按照征信报告文件中的信息单元对征信报告文件进行解析,同时基于预先配置的信息单元文件将征信报告文件的解析结果保存至信息单元文件中,在满足文件加载条件时将信息单元文件加载至数据库的临时数据区。本发明实施例能够按照信息单元对征信报告文件进行自动解析,将解析结果解析至不同的信息单元文件中,还可以将信息单元文件自动加载至数据库的临时数据区,自动化解析和自动化加载不仅简化了征信报告的解析流程,还提高了征信报告的解析效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本发明实施例提供的征信报告文件解析方法的实现流程图;
图2为本发明实施例提供的征信报告文件解析方法的另一实现流程图;
图3为本发明实施例提供的征信报告文件解析方法的再一实现流程图;
图4为本发明实施例提供的征信报告文件解析方法中步骤104的实现流程图
图5为本发明实施例提供的征信报告文件解析方法的又一实现流程图;
图6为本发明实施例提供的征信报告文件解析装置的功能模块图;
图7为本发明实施例提供的征信报告文件解析装置的另一功能模块图;
图8为本发明实施例提供的征信报告文件解析装置的再一功能模块图;
图9为本发明实施例提供的征信报告文件解析装置中文件加载模块604的结构框图;
图10为本发明实施例提供的征信报告文件解析装置的又一功能模块图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。
图1示出了本发明实施例提供的征信报告文件解析方法的实现流程,为便于描述,仅示出了与本发明实施例相关的部分,详述如下:
如图1所示,征信报告文件解析方法,其包括:
步骤101,接收源***发送的征信报告文件;
步骤102,按照征信报告文件中的信息单元对征信报告文件进行解析;
步骤103,将征信报告文件的解析结果保存至预先配置的信息单元文件中;
步骤104,在满足文件加载条件时,将信息单元文件加载至数据库的临时数据区。
在本发明实施例中,源***以ftp的形式发送征信报告文件。按照人行统一发布的人民银行征信***标准,每个征信报告文件包括包括多个信息单元,每个信息单元由一个或多个信息段和/或一个或多个数据项构成。其中,数据项:一组属性描述定义、标识、表示和允许值的基础数据单元。信息段:一个已标识、命名和结构化的、在功能上相互关联的数据项的集合,信息段由不少于一个数据项构成。
据此,可以按照信息单元的分类对征信报告进行解析,并将解析结果分别保存至预先配置一个或多个信息单元文件中。示例性的,预先配置至少4个信息单元文件,该4个信息单元文件对应的信息单元分别为:贴现账户分机构汇总信息单元、欠息信息单元、信贷交易提示信息单元及借贷账户基本信息段单元。可以按照上述信息单元对每个征信报告进行解析,并将解析到的信息分门别类的保存在上述信息单元中。本领域技术人员可以理解的是,还可以预先配置除上述信息单元之外的其它的信息单元,本发明实施例对此不作特别的限制。另外,可以将上述信息单元(文件)配置在配置文件中,通过修改配置文件修改配置的信息单元(文件)。
在对征信报告文件的信息单元进行解析时,为避免读写锁,每期的征信报告文件单线程处理,为提高征信报告解析效率,多期的征信报告文件可以并行处理。解析结果按照信息单元进行分类。处理征信报告时,每个信息单元都存有公共信息,公共信息至少包括客户名称、客户证件类型及客户证件号。如果解析处理的信息单元不存在,解析结果除了生成公共信息外,其他信息都为空,并且以‘|’分割。该模块具有扩展性,如果需要多个信息单元,可以直接修改配置文件;如果信息单元的节点有变化,也直接修改配置文件,无需动源码。
在满足文件加载的条件时,即触发文件加载时对信息单元文件进行加载。源***在发送征信报告文件时会在某个时间段内连续发送多个征信报告文件,例如在对所有的征信报告文件都解析完成后认为满足文件加载的条件。
可以理解的是,还可以对征信报告的解析结果分批次加载。例如,在征信报告文件的解析数量满足一定数量时,或者对征信报告文件的解析时长达到一定的时长时,即对征信报告的解析结果进行加载。本领域技术人员可以理解的是,还可以包括除上述加载条件之外的其它加载条件,本发明实施例不作具体限制。
在本发明实施例中,接收源***发送的征信报告文件,可以按照征信报告文件中的信息单元对征信报告文件进行解析,同时基于预先配置的信息单元文件将征信报告文件的解析结果保存至信息单元文件中,在满足文件加载条件时将信息单元文件加载至数据库的临时数据区。本发明实施例能够按照信息单元对征信报告文件进行自动解析,将解析结果解析至不同的信息单元文件中,还可以将信息单元文件自动加载至数据库的临时数据区,自动化解析和自动化加载不仅简化了征信报告的解析流程,还提高了征信报告的解析效率。
图2示出了本发明实施例提供的征信报告文件解析方法的另一实现流程,为便于描述,仅示出了与本发明实施例相关的部分,详述如下:
在本发明的一实施例中,为了适应不同***需求,提高征信报告文件解析的规范性和可扩展性,如图2所示,步骤101,接收源***发送的征信报告文件,包括:
步骤201,通过文件接收目录接收源***发送的征信报告文件;
相应的,征信报告文件解析方法,还包括:
步骤202,对文件接收目录进行扫描,将扫描到的征信报告文件移动至文件解析目录下;
相应的,步骤102,按照征信报告文件中的信息单元对征信报告文件进行解析,包括:
步骤203,在接收到源***发送的标识文件后,按照征信报告文件中的信息单元对文件解析目录下的征信报告文件进行解析。
源***除了发送征信报告文件,还会在所有征信报告文件发送完成之后,发送一个表明该时间段内所有征信报告文件已全部发送的标识文件。据此,为了提高征信报告文件解析的规范性和可扩展性,可以通过不同的文件目录保存征信报告文件及标识文件。具体的,可以通过文件接收目录接收源***发送的征信报告文件,然后利用守护进程imrsdemon.sh对文件接收目录持续性扫描,在扫描到该文件为XML格式的文件时认为该XML文件为征信报告文件,同时在该征信报告文件不过期的情况下,将扫描到的该征信报告文件移动至文件解析目录下。这样,守护进程imrsdemon.sh将所有扫描到的征信报告文件从文件接收目录移动至文件解析目录后,文件接收目录仅包括标识文件,不包括征信报告文件;而文件解析目录仅包括待解析的征信报告文件,不包括标识文件。示例性的,该文件接收目录可以定义为/imrswork/data/up,该文件解析目录可以定义为/imrswork/data/XML_source。
另一方面,源***发送的该标识文件也可以作为征信报告文件解析的触发条件,即在接收到源***发送的标识文件后,说明所有的征信报告已发送,此时可以按照征信报告文件中的信息单元对文件解析目录下的征信报告文件进行解析。
在本发明实施例中,通过文件接收目录接收源***发送的征信报告文件,对文件接收目录进行扫描,将扫描到的征信报告文件移动至文件解析目录下,在接收到源***发送的标识文件后,按照征信报告文件中的信息单元对文件解析目录下的征信报告文件进行解析,将扫描到的征信报告文件从文件接收目录移动至文件解析目录,即采用不同的文件目录分别存放征信报告文件及标识文件,集中对文件解析目录下的征信报告文件进行解析,能够适应不同***需求,提高征信报告文件解析的规范性和可扩展性。
图3示出了本发明实施例提供的征信报告文件解析方法的再一的实现流程,为便于描述,仅示出了与本发明实施例相关的部分,详述如下:
在本发明的一实施例中,源***发送的标识文件包括源***发送的征信报告文件总数。为了提高征信报告解析的准确性和完整性,如图3所示,征信报告文件解析方法,还包括:
步骤301,在解析征信报告文件的同时记录征信报告文件的解析处理总数;
相应的,步骤104,在满足文件加载条件时,将信息单元文件加载至数据库的临时数据区,包括:
步骤302,当解析处理总数等于征信报告文件总数时,将信息单元文件加载至数据库的临时数据区。
源***发送的标识文件,至少包括源***发送的征信报告文件总数。可以理解的是,标识文件还可以包括除上述征信报告文件总数之外的其它信息。例如,源***当期发送的所有征信报告文件包含的数据总数,及该写征信报告文件的发送日期等。
据此,可以在解析征信报告文件的同时,同时记录征信报告文件的解析处理总数,以便于标识文件中的征信报告文件总数进行实时比较,以判断是否解析处理完所有的征信报告文件。
例如,可以将该解析处理总数保存在记录数据库表sys_ftpfilectl的解析处理总数字段fileNum中。将记录数据库表sys_ftpfilectl的解析处理总数字段fileNum与源***发送的标识文件中的征信报告文件总数进行实时比较,在解析处理总数字段fileNum中的解析处理总数小于标识文件中的征信报告文件总数时,说明还存在未解析处理的征信报告文件。在解析处理总数字段fileNum中的解析处理总数等于标识文件中的征信报告文件总数时,说明所有的征信报告文件已全部解析处理完,此时即可将保存了全部解析结果的信息单元文件加载至数据库的临时数据区。
同时,鉴于对征信报告文件的解析存在解析成功和解析失败的结果,只有征信报告文件解析成功,该征信报告文件的解析结果才会存放在信息单元文件中,在征信报告文件解析失败的情况下,该征信报告文件的解析结果是不会存放在信息单元文件中的。故此时加载的信息单元文件中仅包括解析成功的征信报告文件的解析结果,不包括解析失败的征信报告文件的解析结果。
据此,记录数据库表sys_ftpfilectl还可以包括解析失败字段errorNum。当解析处理总数等于征信报告文件总数,且解析失败字段errorNum等于零时,说明所有的征信报告文件均解析成功,此时加载的信息单元文件包括所有征信报告文件的解析结果。
当解析处理总数等于征信报告文件总数,且解析失败字段errorNum不等于零时,说明存在解析失败的征信报告文件,此时加载的信息单元文件仅包括解析成功的征信报告文件的解析结果。同时,可以人工干预,查看和分析解析失败的征信报告文件解析失败的原因。
另外,记录数据库表sys_ftpfilectl还可以包括解析文件状态字段。示例性的,当征信报告文件解析成功时,解析成功的征信报告文件对应的解析文件状态字段为5000,当征信报告文件解析失败时,解析失败的征信报告文件对应的解析文件状态字段为4001。当所有的征信报告文件均解析成功时,所有征信报告文件对应的解析文件状态字段均为5000。例如当记录数据库表sys_ftpfilectl所有征信报告文件对应的解析文件状态字段均为5000时,即所有征信报告文件均解析成功后,将信息单元文件加载至数据库的临时数据区。
在本发明实施例中,在解析征信报告文件的同时记录征信报告文件的解析处理总数,当解析处理总数等于征信报告文件总数时,将信息单元文件加载至数据库的临时数据区,能够提高征信报告解析的准确性和完整性。
图4示出了本发明实施例提供的征信报告文件解析方法中步骤104的实现流程,为便于描述,仅示出了与本发明实施例相关的部分,详述如下:
在本发明的一实施例中,为了提高文件加载效率,进而提高征信报告解析效率,如图4所示,步骤104,在满足文件加载条件时,将信息单元文件加载至数据库的临时数据区,包括:
步骤401,利用sqlloader命令将信息单元文件加载至oracle数据库的临时数据区。
当数据库为oracle数据库时,可以利用oracle数据库中的sqlloader命令,将信息单元文件加载至oracle数据库的临时数据区。可以理解的是,数据库还可以是其它的数据库,加载命令也可以是其它数据库中的其它加载命令,本发明实施例对此不作特别的限制。
在本发明实施例中,利用sqlloader命令将信息单元文件加载至oracle数据库的临时数据区,能够提高文件加载效率,进而提高征信报告解析效率。
图5示出了本发明实施例提供的征信报告文件解析方法的又一的实现流程,为便于描述,仅示出了与本发明实施例相关的部分,详述如下:
在本发明的一实施例中,为了便于了解信息单元文件的加载状态,如图5所示,征信报告文件解析方法,还包括:
步骤501,在将信息单元文件加载至数据库的临时数据区时,记录信息单元文件对应的加载作业的加载状态。
在本发明实施例中,加载作业可以命令行的形式配置在数据库的加载状态数据库表中。示例性的,信息单元文件的加载作业的加载状态可以包括:未加载时的加载初始状态INI,加载过程中的加载进行状态RUN,加载结束后的加载成功状态SUC,以及加载结束后的加载失败状态ERR。通过包含会计日的日期数据库表设定批量运行日期,后台启动守护进程imrsdemon.sh获得批量运行日期内加载状态为加载初始状态INI的加载作业,读取加载命令进行加载。加载过程中为加载进行状态RUN,加载结束后为加载成功状态SUC或加载失败状态ERR。
若信息单元文件成功加载至oracle数据库的临时数据区,该信息单元文件对应的加载作业的加载状态为加载成功状态SUC;若信息单元文件未成功加载至oracle数据库的临时数据区,该信息单元文件对应的加载作业的加载状态为加载失败状态ERR。
其中,记录数据库表sys_ftpfilectl还可以包括信息文件单元的加载状态结果字段filesta。示例性的,当信息文件单元加载成功时,记录数据库表sys_ftpfilectl信息文件单元的加载状态结果字段filesta为6000;当信息文件单元加载失败时,记录数据库表sys_ftpfilectl信息文件单元的加载状态结果字段filesta为5200。
对于加载失败状态ERR的信息文件单元,可能存在不同的加载失败原因,以下以表一示例性的说明可能存在的加载失败的原因:
表一
在本发明实施例中,在将信息单元文件加载至数据库的临时数据区时,记录信息单元文件对应的加载作业的加载状态,便于了解信息单元文件的加载状态。
在本发明的一实施例中,为了保证信息单元文件的安全性,如图5所示,征信报告文件解析方法,还包括:
步骤502,在监测到临时数据区的信息单元文件被提取成功时,删除临时数据区中提取成功的信息单元文件。
根据监管要求及数据安全的考虑,征信报告文件及解析后的信息单元文件不能本地保存,据此考虑将解析后的信息单元文件加载在数据库的临时数据区。为了提高征信数据(信息单元文件)的安全性,可以适时删除临时数据区中的信息单元文件。
在得到该些信息单元文件后,需要利用该写信息单元文件中的信息,因此需要及时从数据库的临时数据区提取该些信息单元文件。为了保证信息单元的安全性,可以对提取行为进行监测,即在监测到信息单元文件被提取成功,即从临时数据区中删除提取成功的信息单元文件。
在本发明实施例中,在监测到临时数据区的信息单元文件被提取成功时,删除临时数据区中提取成功的信息单元文件,能够保证信息单元文件的安全性。
在本发明的一实施例中,为了提高信息单元文件配置的灵活性,进而提高征信报告文件解析效率,如图5所示,征信报告文件解析方法,还包括:
步骤503,在接收到配置指令时,根据接收到的配置指令对信息单元文件进行配置。
在对征信报告文件进行解析时,可以预先对信息单元文件进行配置。例如,在接收到配置指令时,根据配置指令配置信息单元文件。具体的,该信息单元文件的信息可以保存在配置文件中,需要配置时直接对该配置文件进行配置即可。
在本发明实施例中,在接收到配置指令时,根据接收到的配置指令对信息单元文件进行配置,提高信息单元文件配置的灵活性,进而提高征信报告文件解析效率。
在本发明的一实施例中,为了提高信息单元文件配置修改的灵活性,如图5所示,征信报告文件解析方法,还包括:
步骤504,在接收到修改指令时,根据接收到的修改指令对配置的信息单元文件进行修改。
上述配置文件具有扩展性,如果需要配置更多的信息单元文件或者对信息单元文件进行修改,可以直接配置或修改该配置文件即可。例如,可以在接收到修改指令时,根据修改指令对配置的信息单元文件进行修改。该修改可以包括增加信息单元文件,删除信息单元文件,更改信息单元文件或替换信息单元文件等等。
在本发明实施例中,在接收到修改指令时,根据接收到的修改指令对配置的信息单元文件进行修改,能够提高信息单元文件配置修改的灵活性。
本发明实施例还提供一种信报告文件解析装置,如下面的实施例所述。由于这些装置解决问题的原理与信报告文件解析方法相似,因此这些装置的实施可以参见方法的实施,重复之处不再赘述。
图6示出了本发明实施例提供的征信报告文件解析装置的功能模块,为便于说明,仅示出了与本发明实施例相关的部分,详述如下:
参考图6,所述信报告文件解析装置所包含的各个模块用于执行图1对应实施例中的各个步骤,具体请参阅图1以及图1对应实施例中的相关描述,此处不再赘述。本发明实施例中,所述信报告文件解析装置包括文件接收模块601、文件解析模块602、结果保存模块603及文件加载模块604。
文件接收模块601,用于接收源***发送的征信报告文件。
文件解析模块602,用于按照征信报告文件中的信息单元对征信报告文件进行解析。
结果保存模块603,用于将征信报告文件的解析结果保存至预先配置的信息单元文件中。
文件加载模块604,用于在满足文件加载条件时,将信息单元文件加载至数据库的临时数据区。
在本发明实施例中,文件接收模块601接收源***发送的征信报告文件,文件解析模块602可以按照征信报告文件中的信息单元对征信报告文件进行解析,同时结果保存模块603基于预先配置的信息单元文件将征信报告文件的解析结果保存至信息单元文件中,文件加载模块604在满足文件加载条件时将信息单元文件加载至数据库的临时数据区。本发明实施例文件解析模块602能够按照信息单元对征信报告文件进行自动解析,结果保存模块603将解析结果解析至不同的信息单元文件中,文件加载模块604还可以将信息单元文件自动加载至数据库的临时数据区,自动化解析和自动化加载不仅简化了征信报告的解析流程,还提高了征信报告的解析效率。
图7示出了本发明实施例提供的征信报告文件解析装置的另一功能模块,为便于说明,仅示出了与本发明实施例相关的部分,详述如下:
在本发明的一实施例中,为了适应不同***需求,提高征信报告文件解析的规范性和可扩展性,参考图7,所述信报告文件解析装置所包含的各个模块用于执行图2对应实施例中的各个步骤,具体请参阅图2以及图2对应实施例中的相关描述,此处不再赘述。本发明实施例中,文件接收模块601包括文件接收单元701。
文件接收单元701,用于通过文件接收目录接收源***发送的征信报告文件。
相应的,所述信报告文件解析装置,还包括扫描转移模块702。
扫描转移模块702,用于对文件接收目录进行扫描,将扫描到的征信报告文件移动至文件解析目录下。
相应的,文件解析模块602包括文件解析单元703。
文件解析单元703,用于在接收到源***发送的标识文件后,按照征信报告文件中的信息单元对文件解析目录下的征信报告文件进行解析。
在本发明实施例中,文件接收单元701通过文件接收目录接收源***发送的征信报告文件,扫描转移模块702对文件接收目录进行扫描,将扫描到的征信报告文件移动至文件解析目录下,文件解析单元703在接收到源***发送的标识文件后,按照征信报告文件中的信息单元对文件解析目录下的征信报告文件进行解析,扫描转移模块702将扫描到的征信报告文件从文件接收目录移动至文件解析目录,即采用不同的文件目录分别存放征信报告文件及标识文件,文件解析单元703集中对文件解析目录下的征信报告文件进行解析,能够适应不同***需求,提高征信报告文件解析的规范性和可扩展性。
图8示出了本发明实施例提供的征信报告文件解析装置的再一功能模块,为便于说明,仅示出了与本发明实施例相关的部分,详述如下:
在本发明的一实施例中,源***发送的标识文件包括源***发送的征信报告文件总数。为了提高征信报告解析的准确性和完整性,参考图8,所述征信报告文件解析装置所包含的各个模块或单元用于执行图3对应实施例中的各个步骤,具体请参阅图3以及图3对应实施例中的相关描述,此处不再赘述。本发明实施例中,所述征信报告文件解析装置,还包括解析记录模块801。
解析记录模块801,在解析征信报告文件的同时记录征信报告文件的解析处理总数。
相应的,文件加载模块604包括文件加载单元803。
文件加载单元803,用于当解析处理总数等于征信报告文件总数时,将信息单元文件加载至数据库的临时数据区。
在本发明实施例中,解析记录模块801在解析征信报告文件的同时记录征信报告文件的解析处理总数,文件加载单元803当解析处理总数等于征信报告文件总数时,将信息单元文件加载至数据库的临时数据区,能够提高征信报告解析的准确性和完整性。
图9示出了本发明实施例提供的征信报告文件解析装置中文件加载模块604的结构示意,为便于说明,仅示出了与本发明实施例相关的部分,详述如下:
在本发明的一实施例中,为了提高文件加载效率,进而提高征信报告解析效率,参考图9,所文件加载模块604所包含的各个单元用于执行图4对应实施例中的各个步骤,具体请参阅图4以及图4对应实施例中的相关描述,此处不再赘述。本发明实施例中,所述文件加载模块604包括加载单元901。
加载单元901,用于利用sqlloader命令将信息单元文件加载至oracle数据库的临时数据区。
在本发明实施例中,加载单元901利用sqlloader命令将信息单元文件加载至oracle数据库的临时数据区,能够提高文件加载效率,进而提高征信报告解析效率。
图10示出了本发明实施例提供的征信报告文件解析装置的又一功能模块,为便于说明,仅示出了与本发明实施例相关的部分,详述如下:
在本发明的一实施例中,为了便于了解信息单元文件的加载状态,参考图10,所述所包含的各个模块用于执行图5对应实施例中的各个步骤,具体请参阅图5以及图5对应实施例中的相关描述,此处不再赘述。本发明实施例中,在上述模块结构的基础上,所述征信报告文件解析装置,还包括加载状态记录模块1001。
加载状态记录模块1001,用于在将信息单元文件加载至数据库的临时数据区时,记录信息单元文件对应的加载作业的加载状态。
在本发明实施例中,加载状态记录模块1001在将信息单元文件加载至数据库的临时数据区时,记录信息单元文件对应的加载作业的加载状态,便于了解信息单元文件的加载状态。
在本发明的一实施例中,为了保证信息单元文件的安全性,如图10所示,在上述模块结构的基础上,所述征信报告文件解析装置,还包括文件删除模块1002。
文件删除模块1002,用于在监测到临时数据区的信息单元文件被提取成功时,删除临时数据区中提取成功的信息单元文件。
在本发明实施例中,文件删除模块1002在监测到临时数据区的信息单元文件被提取成功时,删除临时数据区中提取成功的信息单元文件,能够保证信息单元文件的安全性。
在本发明的一实施例中,为了提高信息单元文件配置的灵活性,进而提高征信报告文件解析效率,如图10所示,在上述模块结构的基础上,所述征信报告文件解析装置,还包括配置模块1003。
配置模块1003,用于在接收到配置指令时,根据接收到的配置指令对信息单元文件进行配置。
在本发明实施例中,配置模块1003在接收到配置指令时,根据接收到的配置指令对信息单元文件进行配置,提高信息单元文件配置的灵活性,进而提高征信报告文件解析效率。
在本发明的一实施例中,为了提高信息单元文件配置修改的灵活性,如图10所示,在上述模块结构的基础上,所述征信报告文件解析装置,还包括修改模块1004。
修改模块1004,用于在接收到修改指令时,根据接收到的修改指令对配置的信息单元文件进行修改。
在本发明实施例中,修改模块1004在接收到修改指令时,根据接收到的修改指令对配置的信息单元文件进行修改,能够提高信息单元文件配置修改的灵活性。
本发明实施例还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述信报告文件解析方法。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述信报告文件解析方法的计算机程序。
综上所述,本发明实施例中,接收源***发送的征信报告文件,可以按照征信报告文件中的信息单元对征信报告文件进行解析,同时基于预先配置的信息单元文件将征信报告文件的解析结果保存至信息单元文件中,在满足文件加载条件时将信息单元文件加载至数据库的临时数据区。本发明实施例能够按照信息单元对征信报告文件进行自动解析,将解析结果解析至不同的信息单元文件中,还可以将信息单元文件自动加载至数据库的临时数据区,自动化解析和自动化加载不仅简化了征信报告的解析流程,还提高了征信报告的解析效率。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种征信报告文件解析方法,其特征在于,包括:
接收源***发送的征信报告文件;
按照征信报告文件中的信息单元对征信报告文件进行解析;
将征信报告文件的解析结果保存至预先配置的信息单元文件中;
在满足文件加载条件时,将信息单元文件加载至数据库的临时数据区;
其中,接收源***发送的征信报告文件,包括:
通过文件接收目录接收源***发送的征信报告文件;
相应的,征信报告文件解析方法,还包括:
对文件接收目录进行扫描,将扫描到的征信报告文件移动至文件解析目录下;
相应的,按照征信报告文件中的信息单元对征信报告文件进行解析,包括:
在接收到源***发送的标识文件后,按照征信报告文件中的信息单元对文件解析目录下的征信报告文件进行解析;其中,源***发送的标识文件为征信报告文件解析的触发条件;源***发送的标识文件包括源***发送的征信报告文件总数;
征信报告文件解析方法,还包括:
在解析征信报告文件的同时记录征信报告文件的解析处理总数;其中,解析处理总数保存在记录数据库表的解析处理总数字段中,记录数据库表还包括解析失败字段;
相应的,在满足文件加载条件时,将信息单元文件加载至数据库的临时数据区,包括:
当解析处理总数等于征信报告文件总数时,将信息单元文件加载至数据库的临时数据区;其中,在征信报告文件解析失败的情况下,征信报告文件的解析结果不会存放在信息单元文件中,信息单元文件中仅包括解析成功的征信报告文件的解析结果,不包括解析失败的征信报告文件的解析结果;
还包括:
在接收到配置指令时,根据接收到的配置指令对信息单元文件进行配置;和/或
在接收到修改指令时,根据接收到的修改指令对配置的信息单元文件进行修改。
2.如权利要求1所述的征信报告文件解析方法,其特征在于,在满足文件加载条件时,将信息单元文件加载至数据库的临时数据区,包括:
利用sqlloader命令将信息单元文件加载至oracle数据库的临时数据区。
3.如权利要求1所述的征信报告文件解析方法,其特征在于,还包括:
在将信息单元文件加载至数据库的临时数据区时,记录信息单元文件对应的加载作业的加载状态。
4.如权利要求1所述的征信报告文件解析方法,其特征在于,还包括:
在监测到临时数据区的信息单元文件被提取成功时,删除临时数据区中提取成功的信息单元文件。
5.一种征信报告文件解析装置,其特征在于,包括:
文件接收模块,用于接收源***发送的征信报告文件;
文件解析模块,用于按照征信报告文件中的信息单元对征信报告文件进行解析;
结果保存模块,用于将征信报告文件的解析结果保存至预先配置的信息单元文件中;
文件加载模块,用于在满足文件加载条件时,将信息单元文件加载至数据库的临时数据区;
其中,文件接收模块包括:
文件接收单元,用于通过文件接收目录接收源***发送的征信报告文件;
相应的,所述征信报告文件解析装置,还包括:
扫描转移模块,用于对文件接收目录进行扫描,将扫描到的征信报告文件移动至文件解析目录下;
相应的,文件解析模块包括:
文件解析单元,用于在接收到源***发送的标识文件后,按照征信报告文件中的信息单元对文件解析目录下的征信报告文件进行解析;其中,源***发送的标识文件为征信报告文件解析的触发条件;源***发送的标识文件包括源***发送的征信报告文件总数;
征信报告文件解析装置还包括解析记录模块,在解析征信报告文件的同时记录征信报告文件的解析处理总数;其中,解析处理总数保存在记录数据库表的解析处理总数字段中,记录数据库表还包括解析失败字段;
相应的,文件加载模块包括文件加载单元;
文件加载单元,用于当解析处理总数等于征信报告文件总数时,将信息单元文件加载至数据库的临时数据区;其中,在征信报告文件解析失败的情况下,征信报告文件的解析结果不会存放在信息单元文件中,信息单元文件中仅包括解析成功的征信报告文件的解析结果,不包括解析失败的征信报告文件的解析结果;
还包括:
配置模块,用于在接收到配置指令时,根据接收到的配置指令对信息单元文件进行配置;
修改模块,用于在接收到修改指令时,根据接收到的修改指令对配置的信息单元文件进行修改。
6.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至4任一所述征信报告文件解析方法。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至4任一所述征信报告文件解析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010621039.0A CN111651413B (zh) | 2020-07-01 | 2020-07-01 | 征信报告文件解析方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010621039.0A CN111651413B (zh) | 2020-07-01 | 2020-07-01 | 征信报告文件解析方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111651413A CN111651413A (zh) | 2020-09-11 |
CN111651413B true CN111651413B (zh) | 2024-05-28 |
Family
ID=72346217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010621039.0A Active CN111651413B (zh) | 2020-07-01 | 2020-07-01 | 征信报告文件解析方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111651413B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114139526A (zh) * | 2021-10-11 | 2022-03-04 | 深圳市房帮帮互联网科技有限公司 | 一种新的征信报告pdf解析方法,处理和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108171600A (zh) * | 2018-01-19 | 2018-06-15 | 深圳前海大数金融服务有限公司 | 征信报告解析方法、服务器及存储介质 |
CN109447787A (zh) * | 2018-10-26 | 2019-03-08 | 平安科技(深圳)有限公司 | 征信报告自动解析方法、装置、计算机设备以及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050240601A1 (en) * | 2004-04-21 | 2005-10-27 | Mairead Lyons | System and method for transactional data collection and processing |
-
2020
- 2020-07-01 CN CN202010621039.0A patent/CN111651413B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108171600A (zh) * | 2018-01-19 | 2018-06-15 | 深圳前海大数金融服务有限公司 | 征信报告解析方法、服务器及存储介质 |
CN109447787A (zh) * | 2018-10-26 | 2019-03-08 | 平安科技(深圳)有限公司 | 征信报告自动解析方法、装置、计算机设备以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111651413A (zh) | 2020-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102033971B1 (ko) | 데이터 품질 분석 | |
US9954747B2 (en) | Systems and methods of specifying service level criteria | |
CN105493028A (zh) | 用于云分析的数据一致性和回退 | |
US11468022B2 (en) | Integrated disposition for file retention management | |
EP3089051B1 (en) | Database rollback using wal | |
CN110941629B (zh) | 元数据处理方法、装置、设备及计算机可读存储介质 | |
CN113326247B (zh) | 云端数据的迁移方法、装置及电子设备 | |
CN110471945B (zh) | 活跃数据的处理方法、***、计算机设备和存储介质 | |
US7085782B2 (en) | Log grooming in a multi-log environment | |
CN111651413B (zh) | 征信报告文件解析方法及装置 | |
CN103077192A (zh) | 一种数据处理方法及其*** | |
CN109669954A (zh) | 合同数据的获取方法、设备、存储介质及装置 | |
US20220138167A1 (en) | View tables framework | |
CN111611276A (zh) | 数据查询方法、装置及存储介质 | |
CN102844774A (zh) | 网页的控制方法、计算机***及程序 | |
US20030101199A1 (en) | Electronic document processing system | |
CN111581227A (zh) | 事件推送方法、装置、计算机设备及存储介质 | |
CN115719126A (zh) | 基于业务链的档案调阅方法、装置和电子设备 | |
CN112905558A (zh) | 一种基于数据库配置的报表***实现方法及*** | |
CN111767299A (zh) | 数据库操作方法、装置、***、存储介质及电子设备 | |
US20070299849A1 (en) | Logging of application messages | |
CN112164433A (zh) | 一种医院后台数据的处理方法及*** | |
KR20190055278A (ko) | 멀티 gaap을 지원하기 위한 전표 데이터 관리 시스템 및 방법 | |
CN112650796A (zh) | 一种自动化的应用数据收集、存储管理*** | |
CN112596948B (zh) | 一种数据库集群数据备份方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |