CN117312262A - 一种业务数据传输与监控管理方法 - Google Patents
一种业务数据传输与监控管理方法 Download PDFInfo
- Publication number
- CN117312262A CN117312262A CN202311154171.5A CN202311154171A CN117312262A CN 117312262 A CN117312262 A CN 117312262A CN 202311154171 A CN202311154171 A CN 202311154171A CN 117312262 A CN117312262 A CN 117312262A
- Authority
- CN
- China
- Prior art keywords
- file
- shared
- shared block
- block
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 93
- 238000012544 monitoring process Methods 0.000 title claims abstract description 46
- 238000007726 management method Methods 0.000 title claims abstract description 36
- 239000003999 initiator Substances 0.000 claims abstract description 74
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000008569 process Effects 0.000 claims abstract description 23
- 230000002159 abnormal effect Effects 0.000 claims description 21
- 238000012217 deletion Methods 0.000 claims description 18
- 230000037430 deletion Effects 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 13
- 230000000051 modifying effect Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 230000006378 damage Effects 0.000 claims description 9
- 238000004806 packaging method and process Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 230000001934 delay Effects 0.000 claims description 3
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 230000007935 neutral effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/176—Support for shared access to files; File sharing support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
- G06F16/137—Hash-based
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/162—Delete operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明特别涉及一种业务数据传输与监控管理方法。该业务数据传输与监控管理方法，该业务数据传输与监控管理方法，实现对发起方用户发起的目标共享文件及其头文件的上传，并将上传的文件存储到指定共享块；向接收方发送共享块中待接收的目标共享文件，并在发送成功后指定时间内删除共享块中存储的文件，清空共享块的盒子，同步记录文件传输日志，最后完成文件生命周期的历史信息记录；从发起方/接收方为入口进入共享块的列表，查看共享块详情，实现共享块的状态展现监控。该业务数据传输与监控管理方法，为用户提供了***内部和外部业务数据的传输通道，实现了通道管理、文件传输管理和过程监控管理，实现子***间的业务文件共享。
Description
技术领域
本发明涉及云计算技术领域，特别涉及一种业务数据传输与监控管理方法。
背景技术
随着信息化与数字化的快速推广与发展，各行业各部门纷纷开发了各自的线上管理***。但是个***间的数据共享一直是一个难题。
为了使业务子***中业务逻辑与底层存储及共享解耦合，设计并开发共享块功能，实现内部数据传输功能，本发明提出了一种业务数据传输与监控管理方法。
发明内容
本发明为了弥补现有技术的缺陷，提供了一种简单高效的业务数据传输与监控管理方法。
本发明是通过如下技术方案实现的：
一种业务数据传输与监控管理方法，其特征在于：包括以下步骤：
步骤S1、文件共享
实现对发起方用户发起的目标共享文件及其头文件的上传，并将上传的文件存储到指定共享块；为接收方提供必要的活动文件消费信息，同时计算文件哈希值，记录用户上传文件的日志信息和文件生命周期历史信息；
文件上传之后，修改保存文件的盒子状态信息以及所属共享块的容量与状态值属性信息，并记录文件编码进入待消费的内存列表中；
步骤S2、文件消费
向接收方发送共享块中待接收的目标共享文件，并在发送成功后指定时间内删除共享块中存储的文件，清空共享块的盒子，同步记录文件传输日志，最后完成文件生命周期的历史信息记录；
步骤S3、运行监控
从发起方/接收方为入口进入共享块的列表，查看共享块详情，实现共享块的状态展现监控。
所述步骤S1中，文件共享时，先将头文件上传到指定共享块的存储路径下，然后对目标目标共享文件进行控制和传输操作，若找不到目标目标共享文件则处理头文件上传异常，并返回传输错误信息，若找到目标目标共享文件则将其压入等待队列，存储到共享块的盒子中。
所述步骤S1中，头文件上传之前对共享块的用户权限进行验证判断，判断共享块是否可用以及目标共享文件发起方和指定共享块的共享用户是否一致，若一致则判定有上传权限；头文件上传之后，返回头文件上传操作结果和头文件在共享块服务器的存储路径信息；
文件上传之前验证对应的头文件是否已保存在共享块中，如果共享块中未保存头文件，则中断上传操作，返回给发起方用户重新上传头文件的提示信息；如果头文件已保存在共享块中，则查找指定共享块中的空闲盒子：
若当前不存在空闲盒子，则目标共享文件进入等待上传队列中，并记录文件传输日志和开启文件生命周期；
若找到空闲盒子，或者共享块等待队列中存在文件且有盒子被空出，则执行目标共享文件上传操作，记录文件传输日志和文件生命周期历史信息。
所述步骤S1中，包括以下步骤：
步骤S1.1、头文件和目标共享文件映射处理
头文件中存储目标共享文件的元数据内容；头文件和目标共享文件之间存在键值对key-value的映射关系，传输时头文件和目标共享文件之间建立起映射关系，并保存描述映射关系的唯一编码；
步骤S1.2、头文件上传
将上传发起方用户提供的头文件保存到指定共享块；
头文件上传在先，目标共享文件上传在后，如果头文件上传时产生异常，则上传动作终止，并返回错误信息；
步骤S1.3、目标共享文件上传
将上传发起方用户提供的目标共享文件保存到指定共享块，共享块中盒子被占满时进入共享块的队列；
先处理头文件的上传，再处理目标共享文件的上传，头文件和目标共享文件均上传成功后返回调用方成功信息，并将上传成功的头文件和目标共享文件进行打包，如果缺少一个文件则不能进行打包动作；
文件上传成功以后，根据上传文件的大小重新计算共享块的剩余容量并更新数据库值；
共享块允许超过其设置的容量大小进行传输，当共享块的容量占比超过100％时，为了不影响共享块的传输效率，***优先调度较大的文件进行下载；在***管理的参数设置中对最大允许超过的百分比进行自定义设置；
步骤S1.4、文件进入等待队列
当共享块处于繁忙状态时，发起方用户请求上传的目标共享文件进入指定共享块的等待队列，等待处理；
步骤S1.5、传输日志记录
对于文件传输的过程进行完整的事务记录，便于跟踪记录和数据汇总。
将发起方用户发起一次文件上传请求之后的传输或入队列过程及结果进行记录，以传输日志的形式存储到数据库中；
所述传输日志记录的记载内容，包括但不限于文件名、文件路径、头文件名、头文件路径、共享块ID、盒子ID、排队进队时间、排队出队时间、排队等待时长(MS)、写入开始时间、写入结束时间、写入时长(MS)、读取开始时间、读取结束时间、读取时长和预警信息(是/否，超时预警状态)。
对于传输日志记录按照时间粒度(默认一小时)进行汇总，形成统计报表；
步骤S1.6、文件生命周期记录
在整个业务流程中，从文件的开始传输到文件的销毁，完整记录文件的相关信息以及中间过程信息，形成文件生命周期记录；
所述文件生命周期记录的内容包括但不限于文件名、文件原始路径、头文件名、头文件传输路径、发起方、接收方、共享块存储路径，共享块ID、盒子ID、排队进队时间、排队出队时间、排队等待时长(MS)、写入开始时间、写入结束时间、写入时长(MS)、读取开始时间、读取结束时间、读取时长和预警信息(是/否，超时预警状态)；
步骤S1.7、故障/异常处理
打印输出全部异常信息，并返回异常状态码和异常关键信息。
所述步骤S2中，由文件接收方用户发起文件消费请求，然后根据待接收文件唯一编码查询到文件所在的共享块、盒子信息和存储地址；
服务器获取共享块盒子中的文件进行发送之前，首先判断接受方用户对当前共享块的消费权限，发起方用户和所属消费者用户是否一致，若一致则判定有消费权限；然后判断文件的锁定状态，即为当前盒子的读写状态是否为有文件且未读写，若有文件且未读写则文件未锁定，具备消费条件；
若文件具备消费条件，首先发送目标共享文件对应的头文件至接收方用户，记录头文件发送结果；然后将文件状态修改为锁定状态，不允许并发读取、修改和删除，修改盒子的读写状态为在读；
最后获取共享块中存储的文件读取权限，发送目标共享文件到接收方所指定的接收地址中；若接收地址以及文件夹目录不存在，则为接收方用户创建一个新的文件夹；
文件消费操作完成或异常处理后，恢复当前盒子的读写状态；同步保存文件传输操作记录和文件生命周期历史记录；并开启文件自动删除操作倒计时；文件删除后，修改当前盒子文件状态信息以及所属共享块的容量和状态信息；
文件成功删除并清空所在盒子后，若所属共享块存在待上传文件等待队列，则当前队列中最先进入队列的文件出队，对该目标共享文件进行文件上传操作。
所述步骤S2中，包括以下步骤：
步骤S2.1、目标共享文件下载
接收方开启监听任务，当发起方传输文件到接收方时，接收方用户从共享块中获取待消费的目标共享文件及其头文件，解压文件后，进行下一步的流程处理；
接收方在启动监听服务时，将各自的用户信息和下载文件路径传递给共享块，开启监听得到待下载文件的通用唯一识别码UUID，然后进行下载操作；下载操作支持断点续传；
目标共享文件下载以后，接收方校验下载文件的正确性，若校验正确则流程结束，若校验不正确，则重新发起下载请求直到下载成功；
步骤S2.2、文件删除
共享块只作为文件的传输中间体，并不长久保存目标共享文件；文件下载成功以后，包括目标共享文件和头文件；
共享块删除物理文件时，向删除任务中传递待删除文件的发起方和文件的通用唯一识别码UUID，发起方信息用于校验是否有删除权限，通用唯一识别码UUID用于指定删除的文件；只有共享块的发起方所有者才有删除权限，若待删除文件的发起方与共享块的发起方所有者不一致，则提示没有权限进行删除操作；
共享块的物理文件删除以后，对共享块的容量和剩余容量进行重新计算；
步骤S2.3、故障/异常处理
打印输出全部异常信息，并返回异常状态码和异常关键信息。
所述步骤S2.2中，共享块的物理文件删除并不是在文件下载成功之后立即删除；为了提高共享块的传输效率，物理文件的删除是和文件下载异步的，***提供参数设置，自定义设置参数延迟删除时间removetime，时间单位是秒；当文件下载成功以后向任务***发送删除任务请求，从下载成功的时间开始延迟参数设置的时间进行物理文件删除。
所述步骤S3中，包括以下步骤：
步骤S3.1、拓扑展现
以拓扑图的形式展现所有发起方列表和接收方列表，并展现发起方和接收方的关联关系；
在拓扑图页面根据发起方进行选择，只展现已经选择的发起方所关联的共享块；
拓扑图展现的是所有已经启用的共享块，只有管理员能够看到所有的共享块，普通用户只能查看到自己作为共享块的发起方/接收方的共享块信息；
步骤S3.2、共享块列表展示
在拓扑图页面以共享块列表的形式展现所有发起方/接收方的共享块，展现信息包括但不限于共享块名称、共享块状态、发起方和接收方，以及共享块容量占比信息，以tab标签页的形式展现共享块中盒子的信息；
步骤S3.3、展现共享块的详情信息；
步骤S3.4、如果共享块中有传输的文件在排队，则展现共享块的队列信息；
步骤S3.5、展现共享块中的文件传输历史；
步骤S3.6、对共享块的生命周期状态进行监控，展现共享块的生命周期状态以及共享块的盒子的文件传输状态；
共享块的生命周期状态包括初始化、已利用、注销和销毁四种状态；从共享块是否包含上传的文件的维度看，状态包括空闲、使用中和繁忙三种状态；
共享块在共享块池中未分配发起方和接收方的状态为初始化，分配了发起方和接收方的状态已利用，管理者对共享块进行了注销操作时为注销状态，管理者销毁共享块以后为销毁状态。
一种业务数据传输与监控管理设备，其特征在于：包括存储器和处理器；所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序时实现如上所述的方法步骤。
本发明的有益效果是：该业务数据传输与监控管理方法，为用户提供了***内部和外部业务数据的传输通道，实现了通道管理、文件传输管理和过程监控管理，实现子***间的业务文件共享。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
附图1为本发明业务数据传输与监控管理方法示意图。
附图2为本发明共享块运行体系示意图。
具体实施方式
为了使本技术领域的人员更好的理解本发明中的技术方案，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚，完整的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
该业务数据传输与监控管理方法，包括以下步骤：
步骤S1、文件共享
实现对发起方用户发起的目标共享文件及其头文件的上传，并将上传的文件存储到指定共享块；为接收方提供必要的活动文件消费信息，同时计算文件哈希值，记录用户上传文件的日志信息和文件生命周期历史信息；
所述步骤S1中，文件共享时，先将头文件上传到指定共享块的存储路径下，然后对目标目标共享文件进行控制和传输操作，若找不到目标目标共享文件则处理头文件上传异常，并返回传输错误信息，若找到目标目标共享文件则将其压入等待队列，存储到共享块的盒子中。
头文件上传之前对共享块的用户权限进行验证判断，判断共享块是否可用以及目标共享文件发起方和指定共享块的共享用户是否一致，若一致则判定有上传权限；头文件上传之后，返回头文件上传操作结果和头文件在共享块服务器的存储路径信息。
文件上传之前验证对应的头文件是否已保存在共享块中，如果共享块中未保存头文件，则中断上传操作，返回给发起方用户重新上传头文件的提示信息；如果头文件已保存在共享块中，则查找指定共享块中的空闲盒子：
若当前不存在空闲盒子，则目标共享文件进入等待上传队列中，并记录文件传输日志和开启文件生命周期；
若找到空闲盒子，或者共享块等待队列中存在文件且有盒子被空出，则执行目标共享文件上传操作，记录文件传输日志和文件生命周期历史信息。
文件上传之后，修改保存文件的盒子状态信息以及所属共享块的容量与状态值属性信息，并记录文件编码进入待消费的内存列表中。
所述步骤S1中，包括以下步骤：
步骤S1.1、头文件和目标共享文件映射处理
头文件中存储目标共享文件的元数据的内容。头文件和目标共享文件之间存在键值对key-value的映射关系，在传输时对头文件和目标共享文件进行映射处理，以表示两者之间的逻辑关系；
头文件和目标共享文件之间建立起映射关系，并保存描述映射关系的唯一编码；
步骤S1.2、头文件上传
将上传发起方用户提供的头文件保存到指定共享块；先处理头文件的上传，再处理目标共享文件的上传，头文件和目标共享文件均上传成功后返回调用方成功信息，并将上传成功的头文件和目标共享文件进行打包，如果缺少一个文件则不能进行打包动作。
头文件上传在先，目标共享文件上传在后，如果头文件上传时产生异常，则上传动作终止，并返回错误信息；
文件上传成功以后，根据上传文件的大小重新计算共享块的剩余容量并更新数据库值；
共享块允许超过其设置的容量大小进行传输，当共享块的容量占比超过100％时，为了不影响共享块的传输效率，***优先调度较大的文件进行下载，下载耗时会更多一些，容易造成数据传输进行排队。在***管理的参数设置中对最大允许超过的百分比进行自定义设置。最大为超出比为百分之三百。
步骤S1.3、目标共享文件上传
将上传发起方用户提供的目标共享文件保存到指定共享块，共享块中盒子被占满时进入共享块的队列；
步骤S1.4、文件进入等待队列
当共享块处于繁忙状态时，发起方用户请求上传的目标共享文件进入指定共享块的等待队列，等待处理；
步骤S1.5、传输日志记录
对于文件传输的过程进行完整的事务记录，便于跟踪记录和数据汇总。
将发起方用户发起一次文件上传请求之后的传输或入队列过程及结果进行记录，以传输日志的形式存储到数据库中；
所述传输日志记录的记载内容，包括但不限于文件名、文件路径、头文件名、头文件路径、共享块ID、盒子ID、排队进队时间、排队出队时间、排队等待时长(MS)、写入开始时间、写入结束时间、写入时长(MS)、读取开始时间、读取结束时间、读取时长和预警信息(是/否，超时预警状态)。
对于传输日志记录按照时间粒度(默认一小时)进行汇总，形成统计报表，管理员可以进行报表的查看，数据导出。
步骤S1.6、文件生命周期记录
在整个业务流程中，从文件的开始传输到文件的销毁，完整记录文件的相关信息以及中间过程信息，形成文件生命周期记录；
所述文件生命周期记录的内容包括但不限于文件名、文件原始路径、头文件名、头文件传输路径、发起方、接收方、共享块存储路径，共享块ID、盒子ID、排队进队时间、排队出队时间、排队等待时长(MS)、写入开始时间、写入结束时间、写入时长(MS)、读取开始时间、读取结束时间、读取时长和预警信息(是/否，超时预警状态)。
步骤S1.7、故障/异常处理
打印输出全部异常信息，并返回异常状态码和异常关键信息。
步骤S2、文件消费
向接收方发送共享块中待接收的目标共享文件，并在发送成功后指定时间内删除共享块中存储的文件，清空共享块的盒子，同步记录文件传输日志，最后完成文件生命周期的历史信息记录；
所述步骤S2中，由文件接收方用户发起文件消费请求，然后根据待接收文件唯一编码查询到文件所在的共享块、盒子信息和存储地址；服务器获取共享块盒子中的文件进行发送之前，首先判断接受方用户对当前共享块的消费权限，发起方用户和所属消费者用户是否一致，若一致则判定有消费权限；然后判断文件的锁定状态，即为当前盒子的读写状态是否为有文件且未读写，若有文件且未读写则文件未锁定，具备消费条件；
若文件具备消费条件，首先发送目标共享文件对应的头文件至接收方用户，记录头文件发送结果；然后将文件状态修改为锁定状态，不允许并发读取、修改和删除，修改盒子的读写状态为在读；最后获取共享块中存储的文件读取权限，发送目标共享文件到接收方所指定的接收地址中；若接收地址以及文件夹目录不存在，则为接收方用户创建一个新的文件夹。
文件消费操作完成或异常处理后，恢复当前盒子的读写状态；同步保存文件传输操作记录和文件生命周期历史记录；并开启文件自动删除操作倒计时；文件删除后，修改当前盒子文件状态信息以及所属共享块的容量和状态信息。
文件成功删除并清空所在盒子后，若所属共享块存在待上传文件等待队列，则当前队列中最先进入队列的文件出队，对该目标共享文件进行文件上传操作。
所述步骤S2中，包括以下步骤：
步骤S2.1、目标共享文件下载
接收方开启监听任务，当发起方传输文件到接收方时，接收方用户从共享块中获取待消费的目标共享文件及其头文件，解压文件后，进行下一步的流程处理；
接收方在启动监听服务时，将各自的用户信息和下载文件路径传递给共享块，开启监听得到待下载文件的通用唯一识别码UUID(Universally Unique Identifier)，然后进行下载操作；下载操作支持断点续传；
目标共享文件下载以后，接收方校验下载文件的正确性，若校验正确则流程结束，若校验不正确，则重新发起下载请求直到下载成功；
步骤S2.2、文件删除
共享块只作为文件的传输中间体，并不长久保存目标共享文件；文件下载成功以后，包括目标共享文件和头文件；
共享块的物理文件删除并不是在文件下载成功之后立即删除；为了提高共享块的传输效率，物理文件的删除是和文件下载异步的，***提供参数设置，自定义设置参数延迟删除时间removetime，时间单位是秒；当文件下载成功以后向任务***发送删除任务请求，从下载成功的时间开始延迟参数设置的时间进行物理文件删除。
文件下载成功以后，物理文件没有被删除，***默认设置延迟3秒进行物理文件删除。
共享块删除物理文件时，向删除任务中传递待删除文件的发起方和文件的通用唯一识别码UUID，发起方信息用于校验是否有删除权限，通用唯一识别码UUID用于指定删除的文件；只有共享块的发起方所有者才有删除权限，若待删除文件的发起方与共享块的发起方所有者不一致，则提示没有权限进行删除操作；
共享块的物理文件删除以后，对共享块的容量和剩余容量进行重新计算。
步骤S2.3、故障/异常处理
打印输出全部异常信息，并返回异常状态码和异常关键信息。
步骤S3、运行监控
从发起方/接收方为入口进入共享块的列表，查看共享块详情，实现共享块的状态展现监控；
在共享块详情页面查看共享块中文件传输状态的变化，从打包到开始上传，上传中到上传结束，开始下载到下载结束。
所述步骤S3中，包括以下步骤：
步骤S3.1、拓扑展现
以拓扑图的形式展现所有发起方列表和接收方列表，并展现发起方和接收方的关联关系；
在拓扑图页面根据发起方进行选择，拓扑图根据选择结果进行改变，只展现已经选择的发起方所关联的共享块；
拓扑图展现的是所有已经启用的共享块，只有管理员能够看到所有的共享块，普通用户只能查看到自己作为共享块的发起方/接收方的共享块信息。
步骤S3.2、共享块列表展示
在拓扑图页面以共享块列表的形式展现所有发起方/接收方的共享块；共享块一页展示5个，数量多于5个的时候进行分页展现。展现信息包括但不限于共享块名称、共享块状态、发起方和接收方，以及共享块容量占比信息，以tab标签页的形式展现共享块中盒子的信息；
步骤S3.3、展现共享块的详情信息；
步骤S3.4、如果共享块中有传输的文件在排队，则展现共享块的队列信息；
步骤S3.5、展现共享块中的文件传输历史；
步骤S3.6、对共享块的生命周期状态进行监控，展现共享块的生命周期状态以及共享块的盒子的文件传输状态；
共享块的生命周期状态包括初始化、已利用、注销和销毁四种状态；从共享块是否包含上传的文件的维度看，状态包括空闲、使用中和繁忙三种状态；
共享块在共享块池中未分配发起方和接收方的状态为初始化，分配了发起方和接收方的状态已利用，管理者对共享块进行了注销操作时为注销状态，管理者销毁共享块以后为销毁状态。
该业务数据传输与监控管理设备，包括存储器和处理器；所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序时实现如上所述的方法步骤。
该业务数据传输与监控管理方法，业务***调用共享块管理和文件传输相关接口(SDK模式)进行数据传递，共享块提供文件存储(传输)功能，并提供文件缓存处理。
共享块分为两个运行体系，一个体系是通过后台SDK调用模式实现文件传输及产生各种运行数据；另一个体系是通过共享块的***界面，提供管理及监控功能。
为了兼顾***性能和接口对接，性能要求高的部分由C语言编码实现，并通过Java封装为接口以SDK的模式调用。
以上所述的实施例，只是本发明具体实施方式的一种，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。
Claims (9)
1.一种业务数据传输与监控管理方法，其特征在于：包括以下步骤：
步骤S1、文件共享
实现对发起方用户发起的目标共享文件及其头文件的上传，并将上传的文件存储到指定共享块；为接收方提供必要的活动文件消费信息，同时计算文件哈希值，记录用户上传文件的日志信息和文件生命周期历史信息；
文件上传之后，修改保存文件的盒子状态信息以及所属共享块的容量与状态值属性信息，并记录文件编码进入待消费的内存列表中；
步骤S2、文件消费
向接收方发送共享块中待接收的目标共享文件，并在发送成功后指定时间内删除共享块中存储的文件，清空共享块的盒子，同步记录文件传输日志，最后完成文件生命周期的历史信息记录；
步骤S3、运行监控
从发起方/接收方为入口进入共享块的列表，查看共享块详情，实现共享块的状态展现监控。
2.根据权利要求1所述的业务数据传输与监控管理方法，其特征在于：所述步骤S1中，文件共享时，先将头文件上传到指定共享块的存储路径下，然后对目标目标共享文件进行控制和传输操作，若找不到目标目标共享文件则处理头文件上传异常，并返回传输错误信息，若找到目标目标共享文件则将其压入等待队列，存储到共享块的盒子中。
3.根据权利要求2所述的业务数据传输与监控管理方法，其特征在于：所述步骤S1中，头文件上传之前对共享块的用户权限进行验证判断，判断共享块是否可用以及目标共享文件发起方和指定共享块的共享用户是否一致，若一致则判定有上传权限；头文件上传之后，返回头文件上传操作结果和头文件在共享块服务器的存储路径信息；
文件上传之前验证对应的头文件是否已保存在共享块中，如果共享块中未保存头文件，则中断上传操作，返回给发起方用户重新上传头文件的提示信息；如果头文件已保存在共享块中，则查找指定共享块中的空闲盒子：
若当前不存在空闲盒子，则目标共享文件进入等待上传队列中，并记录文件传输日志和开启文件生命周期；
若找到空闲盒子，或者共享块等待队列中存在文件且有盒子被空出，则执行目标共享文件上传操作，记录文件传输日志和文件生命周期历史信息。
4.根据权利要求3所述的业务数据传输与监控管理方法，其特征在于：所述步骤S1中，包括以下步骤：
步骤S1.1、头文件和目标共享文件映射处理
头文件中存储目标共享文件的元数据内容；头文件和目标共享文件之间存在键值对key-value的映射关系，传输时头文件和目标共享文件之间建立起映射关系，并保存描述映射关系的唯一编码；
步骤S1.2、头文件上传
将上传发起方用户提供的头文件保存到指定共享块；
头文件上传在先，目标共享文件上传在后，如果头文件上传时产生异常，则上传动作终止，并返回错误信息；
步骤S1.3、目标共享文件上传
将上传发起方用户提供的目标共享文件保存到指定共享块，共享块中盒子被占满时进入共享块的队列；
先处理头文件的上传，再处理目标共享文件的上传，头文件和目标共享文件均上传成功后返回调用方成功信息，并将上传成功的头文件和目标共享文件进行打包，如果缺少一个文件则不能进行打包动作；
文件上传成功以后，根据上传文件的大小重新计算共享块的剩余容量并更新数据库值；
共享块允许超过其设置的容量大小进行传输，当共享块的容量占比超过100％时，为了不影响共享块的传输效率，***优先调度较大的文件进行下载；在***管理的参数设置中对最大允许超过的百分比进行自定义设置；
步骤S1.4、文件进入等待队列
当共享块处于繁忙状态时，发起方用户请求上传的目标共享文件进入指定共享块的等待队列，等待处理；
步骤S1.5、传输日志记录
对于文件传输的过程进行完整的事务记录，便于跟踪记录和数据汇总；
将发起方用户发起一次文件上传请求之后的传输或入队列过程及结果进行记录，以传输日志的形式存储到数据库中；
所述传输日志记录的记载内容，包括但不限于文件名、文件路径、头文件名、头文件路径、共享块ID、盒子ID、排队进队时间、排队出队时间、排队等待时长MS、写入开始时间、写入结束时间、写入时长MS、读取开始时间、读取结束时间、读取时长和预警信息；
对传输日志记录按照时间粒度进行汇总，形成统计报表；
步骤S1.6、文件生命周期记录
在整个业务流程中，从文件的开始传输到文件的销毁，完整记录文件的相关信息以及中间过程信息，形成文件生命周期记录；
所述文件生命周期记录的内容包括但不限于文件名、文件原始路径、头文件名、头文件传输路径、发起方、接收方、共享块存储路径，共享块ID、盒子ID、排队进队时间、排队出队时间、排队等待时长MS、写入开始时间、写入结束时间、写入时长MS、读取开始时间、读取结束时间、读取时长和预警信息；
步骤S1.7、故障/异常处理
打印输出全部异常信息，并返回异常状态码和异常关键信息。
5.根据权利要求1所述的业务数据传输与监控管理方法，其特征在于：所述步骤S2中，由文件接收方用户发起文件消费请求，然后根据待接收文件唯一编码查询到文件所在的共享块、盒子信息和存储地址；
服务器获取共享块盒子中的文件进行发送之前，首先判断接受方用户对当前共享块的消费权限，发起方用户和所属消费者用户是否一致，若一致则判定有消费权限；然后判断文件的锁定状态，即为当前盒子的读写状态是否为有文件且未读写，若有文件且未读写则文件未锁定，具备消费条件；
若文件具备消费条件，首先发送目标共享文件对应的头文件至接收方用户，记录头文件发送结果；然后将文件状态修改为锁定状态，不允许并发读取、修改和删除，修改盒子的读写状态为在读；
最后获取共享块中存储的文件读取权限，发送目标共享文件到接收方所指定的接收地址中；若接收地址以及文件夹目录不存在，则为接收方用户创建一个新的文件夹；
文件消费操作完成或异常处理后，恢复当前盒子的读写状态；同步保存文件传输操作记录和文件生命周期历史记录；并开启文件自动删除操作倒计时；文件删除后，修改当前盒子文件状态信息以及所属共享块的容量和状态信息；
文件成功删除并清空所在盒子后，若所属共享块存在待上传文件等待队列，则当前队列中最先进入队列的文件出队，对该目标共享文件进行文件上传操作。
6.根据权利要求5所述的业务数据传输与监控管理方法，其特征在于：所述步骤S2中，
包括以下步骤：
步骤S2.1、目标共享文件下载
接收方开启监听任务，当发起方传输文件到接收方时，接收方用户从共享块中获取待消费的目标共享文件及其头文件，解压文件后，进行下一步的流程处理；
接收方在启动监听服务时，将各自的用户信息和下载文件路径传递给共享块，开启监听得到待下载文件的通用唯一识别码UUID，然后进行下载操作；下载操作支持断点续传；
目标共享文件下载以后，接收方校验下载文件的正确性，若校验正确则流程结束，若校验不正确，则重新发起下载请求直到下载成功；
步骤S2.2、文件删除
共享块只作为文件的传输中间体，并不长久保存目标共享文件；文件下载成功以后，包括目标共享文件和头文件；
共享块删除物理文件时，向删除任务中传递待删除文件的发起方和文件的通用唯一识别码UUID，发起方信息用于校验是否有删除权限，通用唯一识别码UUID用于指定删除的文件；只有共享块的发起方所有者才有删除权限，若待删除文件的发起方与共享块的发起方所有者不一致，则提示没有权限进行删除操作；
共享块的物理文件删除以后，对共享块的容量和剩余容量进行重新计算；
步骤S2.3、故障/异常处理
打印输出全部异常信息，并返回异常状态码和异常关键信息。
7.根据权利要求6所述的业务数据传输与监控管理方法，其特征在于：所述步骤S2.2中，共享块的物理文件删除并不是在文件下载成功之后立即删除；为了提高共享块的传输效率，物理文件的删除是和文件下载异步的，***提供参数设置，自定义设置参数延迟删除时间removetime，时间单位是秒；当文件下载成功以后向任务***发送删除任务请求，从下载成功的时间开始延迟参数设置的时间进行物理文件删除。
8.根据权利要求1所述的业务数据传输与监控管理方法，其特征在于：所述步骤S3中，
包括以下步骤：
步骤S3.1、拓扑展现
以拓扑图的形式展现所有发起方列表和接收方列表，并展现发起方和接收方的关联关系；
在拓扑图页面根据发起方进行选择，只展现已经选择的发起方所关联的共享块；
拓扑图展现的是所有已经启用的共享块，只有管理员能够看到所有的共享块，普通用户只能查看到自己作为共享块的发起方/接收方的共享块信息；
步骤S3.2、共享块列表展示
在拓扑图页面以共享块列表的形式展现所有发起方/接收方的共享块，展现信息包括但不限于共享块名称、共享块状态、发起方和接收方，以及共享块容量占比信息，以tab标签页的形式展现共享块中盒子的信息；
步骤S3.3、展现共享块的详情信息；
步骤S3.4、如果共享块中有传输的文件在排队，则展现共享块的队列信息；
步骤S3.5、展现共享块中的文件传输历史；
步骤S3.6、对共享块的生命周期状态进行监控，展现共享块的生命周期状态以及共享块的盒子的文件传输状态；
共享块的生命周期状态包括初始化、已利用、注销和销毁四种状态；从共享块是否包含上传的文件的维度看，状态包括空闲、使用中和繁忙三种状态；
共享块在共享块池中未分配发起方和接收方的状态为初始化，分配了发起方和接收方的状态已利用，管理者对共享块进行了注销操作时为注销状态，管理者销毁共享块以后为销毁状态。
9.一种业务数据传输与监控管理设备，其特征在于：包括存储器和处理器；所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序时实现如权利要求1至8任意一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311154171.5A CN117312262A (zh) | 2023-09-08 | 2023-09-08 | 一种业务数据传输与监控管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311154171.5A CN117312262A (zh) | 2023-09-08 | 2023-09-08 | 一种业务数据传输与监控管理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117312262A true CN117312262A (zh) | 2023-12-29 |
Family
ID=89272835
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311154171.5A Pending CN117312262A (zh) | 2023-09-08 | 2023-09-08 | 一种业务数据传输与监控管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117312262A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117873403A (zh) * | 2024-03-11 | 2024-04-12 | 四川大学 | office文档IO中tmp文件还原方法及其*** |
-
2023
- 2023-09-08 CN CN202311154171.5A patent/CN117312262A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117873403A (zh) * | 2024-03-11 | 2024-04-12 | 四川大学 | office文档IO中tmp文件还原方法及其*** |
| CN117873403B (zh) * | 2024-03-11 | 2024-06-04 | 四川大学 | office文档IO中tmp文件还原方法及其*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1696611B1 (en) | Server data queuing system and method | |
| US20210160319A1 (en) | Data Sending Method and Apparatus, and Data Receiving Method and Apparatus | |
| CN108512930B (zh) | 一种共享文件的管理方法、装置、服务器和存储介质 | |
| CN109697112B (zh) | 分布式集约化一站式作业***和实现方法 | |
| CN117312262A (zh) | 一种业务数据传输与监控管理方法 | |
| WO2020098654A1 (zh) | 基于云存储的数据存储方法、装置和存储介质 | |
| CN109885577B (zh) | 数据处理方法、装置、终端及存储介质 | |
| CN110825694A (zh) | 数据处理方法、装置、设备和存储介质 | |
| CN112632375B (zh) | 会话信息处理方法、服务器及存储介质 | |
| CN109522273B (zh) | 一种实现数据写入的方法及装置 | |
| EP2479962A1 (en) | Method and mobile terminal for recycling short messages | |
| CN112969198A (zh) | 数据传输方法、终端及存储介质 | |
| CN116578410A (zh) | 资源管理方法、装置、计算机设备和存储介质 | |
| CN115599299A (zh) | 一种存储桶管理方法、装置及电子设备和存储介质 | |
| US9659041B2 (en) | Model for capturing audit trail data with reduced probability of loss of critical data | |
| CN115268797A (zh) | 一种通过WebDav实现***与对象存储通信的方法 | |
| CN114978885A (zh) | 一种日志管理方法、装置、计算机设备及*** | |
| CN114428764A (zh) | 文件写入方法、***、电子设备及可读存储介质 | |
| CN115168203A (zh) | 接口模拟方法、装置、***、计算机设备和存储介质 | |
| CN114756451A (zh) | 电网***的安全测试方法、装置、计算机设备、存储介质 | |
| CN114218058A (zh) | 一种多任务用户操作日志记录用户操作顺序的方法及*** | |
| CN109241011B (zh) | 一种虚拟机文件处理方法及装置 | |
| CN107704557B (zh) | 操作互斥数据的处理方法、装置、计算机设备和存储介质 | |
| CN115733833B (zh) | 文件分时下载方法、装置、计算机设备和存储介质 | |
| JP2005526328A (ja) | データの自動インポート |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |