CN112433994A - 一种文件处理方法 - Google Patents

一种文件处理方法 Download PDF

Info

Publication number
CN112433994A
CN112433994A CN202011330870.7A CN202011330870A CN112433994A CN 112433994 A CN112433994 A CN 112433994A CN 202011330870 A CN202011330870 A CN 202011330870A CN 112433994 A CN112433994 A CN 112433994A
Authority
CN
China
Prior art keywords
file
data
processing
computer
small blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011330870.7A
Other languages
English (en)
Inventor
代正涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenzhou Digital Technology Co ltd
Original Assignee
Beijing Shenzhou Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenzhou Digital Technology Co ltd filed Critical Beijing Shenzhou Digital Technology Co ltd
Priority to CN202011330870.7A priority Critical patent/CN112433994A/zh
Publication of CN112433994A publication Critical patent/CN112433994A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1737—Details of further file system functions for reducing power consumption or coping with limited storage space, e.g. in mobile devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/186—Templates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开的文件处理方法，涉及计算机技术领域，通过接收客户端发送的文件处理请求并根据文件处理请求，获取对应的文件，根据文件模板，将文件解析成对应的文件数据，以将以文件持久化的数据解析成程序所能直接处理的数据，将文件数据写入数据库中并基于设定的分段规则，将该文件数据分割成多个小块数据，从多个小块数据选取一块数据进行数据处理，直至多个小块数据处理完毕，提高了文件数据解析的成功率及效率且不占用现有的资源，提高了银行***的执行效率。

Description

一种文件处理方法
技术领域
本发明涉及计算机技术领域，具体涉及一种文件处理方法。
背景技术
目前银行的核心***，比如交易***，大部分采用实时处理的方式，例如：代发工资、批量开户等场景，执行过程包括文件解析及业务处理，对于这种实时处理存在以下不足：
其一，文件实时处理，响应给柜面人员处理时间较长，柜面需要等待较长时间，影响效率；其二，对于大文件的实时处理，处理时间随着文件大小会成倍的增加；其三，实时处理文件会占用现有***的资源，影响其他的业务的正常使用。
综上所述，在硬件资源已经使用到极致的今天，现有的执行过程已经无法满足日益增长的业务需求，最终会成为占用***资源的瓶颈，因此如何提高文件处理的效率且不占用现有的资源，是目前急需解决的问题。
发明内容
为解决现有技术的不足，本发明实施例提供了一种文件处理方法，该方法包括以下步骤：
S1接收客户端发送的文件处理请求并根据所述文件处理请求，获取对应的文件；
S2根据文件模板，将所述文件解析成对应的文件数据；
S3将所述文件数据写入数据库中并基于设定的分段规则，将所述文件数据分割成多个小块数据；
S4从所述多个小块数据选取一块数据进行数据处理；
S5重复步骤S4，直至所述多个小块数据处理完毕。
优选地，所述方法还包括：
根据所述文件数据的处理进度，实时更新所述文件的状态。
优选地，在步骤S5之后，所述方法还包括：
生成所述文件的处理结果文件以及处理明细文件。
本发明实施例提供的文件处理方法，具有以下有益效果：
(1)将数据先入库后再处理，能够大幅提高文件数据解析的成功率；
(2)通过将大块的数据分成若干小块数据，每次读取一小段的数据提供业务处理，避免大量的数据被加载至***内存中，造成***资源的占用，通过小段的方式处理，能合理地根据***自身处理能力分配资源，解决了文件处理时间、效率、资源占用等问题，有利于提高银行***的执行效率。
具体实施方式
以下结合具体实施例对本发明作具体的介绍。
本发明提供的实施例提供的文件处理方法包括以下步骤：
S101，接收客户端发送的文件处理请求并根据文件处理请求，获取对应的文件。
S102，根据文件模板，将文件解析成对应的文件数据，以将以文件持久化的数据解析成程序所能直接处理的数据。
S103，将文件数据写入数据库中并基于设定的分段规则，将该文件数据分割成多个小块数据。
作为本发明一个具体的实施例，处理大小为100万的数据，根据数据的主关键字进行分段(比如数据表示)，每段数据的大小为10000，那么就将100W的数据分为一百段，每段数据大小为1万，各段起始为：1-10000、10001-20000、20001-30000…。
S104，从多个小块数据选取一块数据进行数据处理。
S105重复步骤S104，直至多个小块数据处理完毕。
可选地，该方法还包括：
根据文件数据的处理进度，实时更新文件的状态。
作为一个具体的实施例，客户端发来处理文件的请求，会在数据库中登记一条处理当前文件的记录，状态为待处理；异步处理文件开始时，修改状态为处理中，等待异步处理完成后更新状态为终态。主这样做的目的是为了防止并发重复执行该文件及追踪整个文件处理的周期。
可选地，在步骤S105之后，该方法还包括：
生成文件的处理结果文件以及处理明细文件。
本发明实施例提供的文件处理方法，通过接收客户端发送的文件处理请求并根据文件处理请求，获取对应的文件，根据文件模板，将文件解析成对应的文件数据，以将以文件持久化的数据解析成程序所能直接处理的数据，将文件数据写入数据库中并基于设定的分段规则，将该文件数据分割成多个小块数据，从多个小块数据选取一块数据进行数据处理，直至多个小块数据处理完毕，提高了文件数据解析的成功率及效率且不占用现有的资源，提高了银行***的执行效率。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
可以理解的是，上述方法及装置中的相关特征可以相互参考。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (5)

1.一种文件处理方法，其特征在于，包括：
S1接收客户端发送的文件处理请求并根据所述文件处理请求，获取对应的文件；
S2根据文件模板，将所述文件解析成对应的文件数据；
S3将所述文件数据写入数据库中并基于设定的分段规则，将所述文件数据分割成多个小块数据；
S4从所述多个小块数据选取一块数据进行数据处理；
S5重复步骤S4，直至所述多个小块数据处理完毕。
2.根据权利要求1所述的文件处理方法，其特征在于，所述方法还包括：
根据所述文件数据的处理进度，实时更新所述文件的状态。
3.根据权利要求1所述的文件处理方法，其特征在于，在步骤S5之后，所述方法还包括：
生成所述文件的处理结果文件以及处理明细文件。
4.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如权利要求1-2所述的方法。
5.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1-2所述的方法。
CN202011330870.7A 2020-11-24 2020-11-24 一种文件处理方法 Pending CN112433994A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011330870.7A CN112433994A (zh) 2020-11-24 2020-11-24 一种文件处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011330870.7A CN112433994A (zh) 2020-11-24 2020-11-24 一种文件处理方法

Publications (1)

Publication Number Publication Date
CN112433994A true CN112433994A (zh) 2021-03-02

Family

ID=74692939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011330870.7A Pending CN112433994A (zh) 2020-11-24 2020-11-24 一种文件处理方法

Country Status (1)

Country Link
CN (1) CN112433994A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105007322A (zh) * 2015-07-21 2015-10-28 陈丹 一种文件传输方法及***
US20160124857A1 (en) * 2014-11-05 2016-05-05 International Business Machines Corporation Access accelerator for active hbase database regions
CN107797854A (zh) * 2017-06-26 2018-03-13 平安科技（深圳）有限公司 交易文件处理方法、装置、存储介质和计算机设备
CN109492034A (zh) * 2018-09-17 2019-03-19 中国建设银行股份有限公司 批量处理***、方法、装置和存储介质
CN109525632A (zh) * 2018-09-30 2019-03-26 珠海派诺科技股份有限公司 网关数据上传数据库连接数控制方法、装置、设备及介质
CN110825598A (zh) * 2019-09-23 2020-02-21 武汉智美互联科技有限公司 一种日志实时处理方法及***
CN110995830A (zh) * 2019-11-29 2020-04-10 武汉卓讯互动信息科技有限公司 一种网络资源处理方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160124857A1 (en) * 2014-11-05 2016-05-05 International Business Machines Corporation Access accelerator for active hbase database regions
CN105007322A (zh) * 2015-07-21 2015-10-28 陈丹 一种文件传输方法及***
CN107797854A (zh) * 2017-06-26 2018-03-13 平安科技（深圳）有限公司 交易文件处理方法、装置、存储介质和计算机设备
CN109492034A (zh) * 2018-09-17 2019-03-19 中国建设银行股份有限公司 批量处理***、方法、装置和存储介质
CN109525632A (zh) * 2018-09-30 2019-03-26 珠海派诺科技股份有限公司 网关数据上传数据库连接数控制方法、装置、设备及介质
CN110825598A (zh) * 2019-09-23 2020-02-21 武汉智美互联科技有限公司 一种日志实时处理方法及***
CN110995830A (zh) * 2019-11-29 2020-04-10 武汉卓讯互动信息科技有限公司 一种网络资源处理方法和装置

Similar Documents

Publication Publication Date Title
CN102955792A (zh) 一种实时全文搜索引擎事务处理的实现方法
CN107870928A (zh) 文件读取方法和装置
CN111414362A (zh) 数据读取方法、装置、设备及存储介质
CN111553652B (zh) 业务处理方法及装置
CN112750027A (zh) 批量业务处理方法、装置、计算机设备和存储介质
CN114116665B (zh) 数据库中并行写入事务日志以提升处理效率的方法
CN106855858A (zh) 数据库操作方法及装置
CN113918532A (zh) 画像标签聚合方法、电子设备及存储介质
CN110955719A (zh) 一种数据存取处理设备、***和方法
CN112433994A (zh) 一种文件处理方法
CN112015819A (zh) 分布式图数据库的数据更新方法、装置、设备及介质
CN111125168A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN113934727B (zh) 多源异构金融数据的适配性采集与处理***及其方法
CN111737090B (zh) 日志仿真方法、装置、计算机设备和存储介质
CN114138424A (zh) 一种虚拟机内存快照生成方法、装置及电子设备
DE102021129862A1 (de) Verfahren und Einrichtung zum Identifizieren von Hardwareperformanzzählereignissen zum Detektieren und Klassifizieren von Malware oder Arbeitslast unter Verwendung künstlicher Intelligenz
CN113254455A (zh) 数据库的动态配置方法、装置、计算机设备及存储介质
CN113468105A (zh) 数据快照的数据结构、相关数据处理方法及装置和***
CN115599838B (zh) 基于人工智能的数据处理方法、装置、设备及存储介质
CN115544096B (zh) 数据查询方法、装置、计算机设备及存储介质
CN117170942B (zh) 一种基于文件***快照的数据库备份方法以及相关设备
CN113205421A (zh) 理财产品的核算方法及装置
CN111444167A (zh) 一种基于数据摘要去重数据的方法、装置及存储介质
CN106940698A (zh) 一种维度数据处理方法及装置
CN117453743A (zh) 基于大数据多表数据联合分析方法、***、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination