CN110865990A - 非实时数据交换方法、***和计算机设备 - Google Patents
非实时数据交换方法、***和计算机设备 Download PDFInfo
- Publication number
- CN110865990A CN110865990A CN201910968954.4A CN201910968954A CN110865990A CN 110865990 A CN110865990 A CN 110865990A CN 201910968954 A CN201910968954 A CN 201910968954A CN 110865990 A CN110865990 A CN 110865990A
- Authority
- CN
- China
- Prior art keywords
- data
- directory
- target
- real
- loading
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 65
- 238000012986 modification Methods 0.000 claims description 31
- 230000004048 modification Effects 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 23
- 238000004140 cleaning Methods 0.000 claims description 19
- 239000000725 suspension Substances 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 5
- 230000003993 interaction Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000012795 verification Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/08—Insurance
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Technology Law (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种非实时数据交换方法，所述方法包括：从源设备中获取初始数据，所述初始数据为被预先标注和分类的数据；将所述初始数据加载到接收目录；将位于所述接收目录中的初始数据进行数据处理得到目标数据，并将所述目标数据加载到发布目录；及通过发布目录发布所述目标数据至目标设备。本发明实施例通过非实时数据交换，将数据供方与数据需方解耦，实现高效地数据交互，从而进一步提高数据交换效率、减小数据交换带来的消耗与麻烦。
Description
技术领域
本发明实施例涉及数据处理领域，尤其涉及一种非实时数据交换方法、***、计算机设备及计算机可读存储介质。
背景技术
目前企业***内有很多***互相调取借口传递数据，但业务负载随时间不断增加，原先架构因原始设计不能承担现在业务负载。一些服务器集群本身已经承载了大量的业务计算任务，接口吞吐十分忙绿，而其他集群仍然不断请求相同的数据，导致此接口IO，***资源达到饱和；同时这些集群互相重复调用接口请求数据，互相等待对方的数据；之前的***存储方式并不统一，直连存储DAS、存储区域网络SAN并存，并且每个***有各自独立的数据存储物理地址，这就造成了数据管理与维护很不便利，每次数据的迁移与更新都是人工进行处理，需要供方与需方通过平台互相紧密耦合才能实现功能，巨大消耗十分麻烦。
因此，如何将供方与需方解耦并实现高效地数据交交换，从而进一步提高数据交换效率、减小数据交换带来的计算机资源消耗，成为了当前要解决的技术问题之一。
发明内容
有鉴于此，有必要提供一种非实时数据交换方法、***、计算机设备及计算机可读存储介质，以解决当前数据交换需要数据供方与数据需方通过平台互相紧密耦合才能实现和数据交换消耗巨大十分麻烦等技术问题。
为实现上述目的，本发明实施例提供了非实时数据交换方法，所述方法步骤包括：
从源设备中获取初始数据，所述初始数据为被预先标注和分类的数据；
将所述初始数据加载到接收目录；
将位于所述接收目录中的初始数据进行数据处理得到目标数据，并将所述目标数据加载到发布目录；及
通过发布目录发布所述目标数据至目标设备。
示例性的，所述初始数据包括全量数据或/和批量数据，所述接收目录包括准实时接收目录与批量接收目录；将所述初始数据加载到接收目录，包括：
判断是否接收到目标设备的需求指令，所述需求指令包括全增量需求指令；
如果接收到所述需求指令，则将所述全量数据对应加载到所述准实时接收目录，及将所述批量数据对应加载到所述批量接收目录中；及
如果没有接收到所述需求指令，则将所述全量数据和批量数据加载到批量接收目录中。
示例性的，所述目标数据包括目标全量数据或/和目标批量数据，所述发布目录包括准实时发布目录与增量发布目录；将所述目标数据加载到发布目录，包括：
如果接收到所述需求指令，则将所述目标全量数据对应发布到所述准实时发布目录，及将所述目标批量数据对应发布到所述增量发布目录中；
如果没有接收到所述需求指令，则将所述目标全量数据和批量数据发布至增量发布目录中。
示例性的，所述将位于所述接收目录中的初始数据进行数据处理得到目标数据，包括：
监测全量数据或批量数据的被处理过程；
当监测到所述被处理过程中出现字段信息修改事件：则生成警示信息并将所述警示信息写入到修改日志组件，所述修改日志组件用于告知所述源设备所述初始数据已被修改，所述警示信息包括修改之前的详细信息和修改之后的详细信息；
其中，所述字段信息修改事件包括对数据修改事件以及清理事件，所述清理事件包括对超过预设长度的字段的清理事件和对包括预设字符的数据的清理事件。
示例性的，所述将位于所述接收目录中的初始数据进行数据处理得到目标数据，还包括：
当监测到所述被处理过程中出现处理失败事件时：中止数据处理操作；及生成中止数据处理操作信息，将所述中止数据处理操作信息写入到失败日志组件中，所述失败日志组件用于告知所述源设备所述初始数据上传失败；
其中，所述中止数据处理操作信息包括触发所述中止数据处理操作的原因描述信息；所述处理失败事件包括：数据预装载超出预设装载范围导致的超载事件。
示例性的，通过发布目录发布所述目标数据至目标设备，包括：
当检测到目标数据被载入到发布目录上发布时，则生成告知发布完成文件和通知获取数据文件；
将所述告知发布完成文件发送源设备，用于告知源设备已发布完成；及
将所述通知获取数据文件发送给目标设备，并以预定频率通知目标设备获取目标数据。
为实现上述目的，本发明实施例还提供了一种非实时数据交换***，所述***，包括：
获取模块，用于从源设备中获取初始数据，所述初始数据为被预先标注和分类的数据；
加载模块，用于将所述初始数据加载到接收目录；
处理模块，用于将位于所述接收目录中的初始数据进行数据处理得到目标数据，并将所述目标数据加载到发布目录；及
发布模块，用于通过发布目录发布所述目标数据至目标设备。
示例性的，所述初始数据包括全量数据或/和批量数据，所述接收目录包括准实时接收目录与批量接收目录；所述加载模块还用于：
判断是否接收到目标设备的需求指令，所述需求指令包括全增量需求指令；
如果接收到所述需求指令，则将所述全量数据对应加载到所述准实时接收目录，及将所述批量数据对应加载到所述批量接收目录中；及
如果没有接收到所述需求指令，则将所述全量数据和批量数据加载到批量接收目录中。
为实现上述目的，本发明实施例还提供了一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被处理器执行时实现如上述的非实时数据交换方法的步骤。
为实现上述目的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如上述的非实时数据交换方法的步骤。
本发明实施例提供的非实时数据交换方法、***、计算机设备及计算机可读存储介质，为数据提供了有效的交换方法；通过非实时数据交换方法，将供方与需方解耦，实现高效地数据交互，从而进一步提高数据交换效率、减小数据交换带来的计算机资源消耗。
附图说明
图1为本发明实施例非实时数据交换方法的环境应用示意图。
图2为本发明实施例非实时数据交换方法的流程示意图。
图3为本发明非实时数据交换***实施例二的程序模块示意图。
图4为本发明计算机设备实施例三的硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
图1示意性示出了根据本申请实施例一的非实时数据交换的环境应用示意图。在示例性的实施例中，计算机设备2可以通过网络8连接多个源设备4，以及连接多个目标设备6。
计算机设备2可以配置有接收目录、发布目录和数据处理层。所述数据处理层可以包括准实时交换模块，批量交换模块、数据合并去重模块、数据试转载模块和中心数据库等。
所述接收目录通过数据处理层连接所述发布目录；所述接收目录包括准实时接收目录与批量接收目录，所述发布目录包括准实时发布目录与增量发布目录。
所述准实时接收目录通过准实时交换模块连接所述准实时发布目录；
所述批量接收目录通过所述批量交换模块连接增量发布目录；
所述数据合并去重模块与所述数据试转载模块连接，所述准实时交换模块通所述数据合并去重模块与所述数据试转载模块连接所述中心数据库；
批量交换模块通过数据试转载模块连接所述中心数据库。
其中，准实时交换模块包括文件解析层和全量文件与处理层。批量交换模块包括：批量效验层、批量文件预处理层和数据去重层。
源设备4，作为供方***，可以是用于提供包括车险承保数据、车险理赔数据、人意险数据和再保数据的电子设备，如服务器或服务器集群等。
目标设备6，作为需方***，可以是用于接收目标数据的电子设备，如服务器或服务器集群等。
网络8可以因特网(Internet)、广域网(wide area network，WAN)、局域网等。
以下实施例中，将以计算机设备2为执行主体进行示例性描述。
实施例一
参阅图2，示出了本发明实施例之非实时数据交换方法的步骤流程图。可以理解，本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备2为执行主体进行示例性描述。具体如下。
步骤S100，从源设备4中获取初始数据，所述初始数据为被预先标注和分类的数据。
示例性的，所述初始数据可以包括车险承保数据、车险理赔数据、人意险数据和再保数据。
示例性的，所述初始数据包括信号文件(.ok或.ok.ing)、***编号、批次编号、批量文件清单。其中，同一批次的初始数据即为有前后数据依赖关系；所述初始数据有依赖关系则分为批量数据，所述批量数据可以通过“接收－处理-试装载-发布”顺序串行执行，所述串行执行的进程之间是可以并行的；所述初始数据没有依赖关系则分为全量数据，则可并行执行进程，在配置中可设置最大进程数，可控制并发量。
步骤S102，将所述初始数据加载到接收目录。
在示例性的实施例中，所述初始数据包括全量数据或/和批量数据，所述接收目录包括准实时接收目录与批量接收目录。
所述步骤S102可以进一步包括：
步骤S102A，判断是否接收到目标设备6的需求指令，所述需求指令包括全增量需求指令；
步骤S102B，如果接收到所述需求指令，则将所述全量数据对应加载到所述准实时接收目录，及将所述批量数据对应加载到所述批量接收目录中；及
步骤S102C，如果没有接收到所述需求指令，则将所述全量数据和批量数据加载到批量接收目录中。
示例性的，对于目标设备6而言，数据装载不区分批量和全量，都是按批量的方式去装载；有则改，无则***。如目标设备6有全增量需求，源设备4的增量数据文件中要需实现全增量逻辑；一般用全量方式提供数据都是数据量非常小，变化极少的基础配置表。
步骤S104，将位于所述接收目录中的初始数据进行数据处理得到目标数据，并将所述目标数据加载到发布目录。
在示例性的实施例中，所述目标数据包括目标全量数据或/和目标批量数据，所述发布目录包括准实时发布目录与增量发布目录。
所述步骤S104可以进一步包括：
步骤S104A1，如果接收到所述需求指令，则将所述目标全量数据对应发布到所述准实时发布目录，及将所述目标批量数据对应发布到所述增量发布目录中；
步骤S104A2，如果没有接收到所述需求指令，则将所述目标全量数据和批量数据发布至增量发布目录中。
示例性的，对所述全量数据和批量数据进行不同的数据处理。
示例性的，通过准实时处理模块对所述全量数据进行处理，将所述全量数据(即准实时数据)通过所述文件解析层进行解析，并将解析后的全量数据进行文件预处理层，以得到目标全量数据。
示例性的，通过批量数据处理模块对所述批量数据进行处理，所述批量数据依次进入批量校验层、批量文件预处理层和数据去重层进行批量校验操作、文件预处理操作和数据去重操作，以得到数据去重操作后的目标批量数据。
示例性的，对数据的校验和预处理，主要是检查数据格式，字段个数；比如以逗号分隔，每行的逗号格式是否一致；再有每个字段中是否有换行，如有替换掉。
示例性的，将处理后的全量数据和批量数据收入所述中心数据库。
示例性的，所述非实时数据交换方法包括：制订交换标准，约定上目标设备6交换流程和规范；为源设备4与目标设备6提供数据交换通道，实现集中的接收和分发；提供一定程序的数据质量检测和数据整理服务。
具体的，将处理后的全量数据进行合并去重，试装载，最后收入中心数据库；将处理后的批量数据进行试装载，最后收入中心数据库。
具体的，所述步骤S104还可以进一步包括：
步骤S104B1，监测全量数据或批量数据的被处理过程；
步骤S104B2，当监测到所述被处理过程中出现字段信息修改事件：则生成警示信息并将所述警示信息写入到修改日志组件，所述修改日志组件用于告知源设备4所述初始数据进行了修改，所述警示信息包括修改之前的详细信息和修改之后的详细信息；
其中，所述字段信息修改事件包括对数据修改事件以及清理事件，所述清理事件包括对超过预设长度的字段的清理事件和对包括预设字符的数据的清理事件。
示例性的，当***发生故障时，为使***继续稳定的运行，提供人工干预的机制和重复执行的功能；
示例性的，当数据预加载中发生超过预设长度的字段的清理事件，则这个数据处理批次在数据库中的状态表的状态置为失败，通过监控***，监控到失败批次，根据批次查找日志信息，进而做补跑处理，同时通过邮件***通知源设备4，告知数据发布失败，源设备4自行查自检，手工整理数据，再次按流程发布。
示例性的，当检测到所述字段信息修改事件，则生成一个警示信息(warning)，具体步骤包括：格式转换：对字符集统一化处理，未对数据进行修改，则不会生成Warning提示；数据合并：对多个文件进行合并，未对数据进行修改，则不会生成Warning提示；数据去重：对重复的记录进行去重操作，未对数据进行修改，则不会生成Waring提示；数据清洗：对超长字段和含有特殊字符的数据进行清洗，已对数据进行过修改，则需要Warning提示，并将修改之前与之后的详细信息以写入修改日志组件。
具体的，所述步骤S104还可以进一步包括：
步骤S104B3，当监测到所述被处理过程中出现处理失败事件时：中止数据处理操作；及生成中止数据处理操作信息，将所述中止数据处理操作信息写入到失败日志组件中，所述失败日志组件用于告知源设备4所述初始数据上传失败；
其中，所述中止数据处理操作信息包括触发所述中止数据处理操作的原因描述信息；所述处理失败事件包括：数据预装载超出预设装载范围导致的超载事件。
示例性的，当监测到所述处理失败事件时，则中止处理所述全量数据或批量数据，具体步骤包括：验证无误，取出生成的文件，不会对数据进行Reject处理；验证有误，但是错误数在可接受的范围，且可以对数据进行处理，则不会对数据进行Reject处理；验证有误，数据超出处理范围，则结束流程，提交自检Reject日志，并写入失败日志组件。
示例性的，将数据存储在临时表中，将数据***所述临时表中，验证所述数据***是否有误，比如验证字段是否超长，数据类型是否错误等；例如：当验证到***的所述数据中有多于5条有问题，则可以先提交其他数据，后续再单独处理异常数据；验证完后，中间表就清理掉。如此可保障***稳定运行并且完善了统一的Reject和Warning机制，对于无法处理的数据以Reject方式提交出来，对字段***自动修改的数据以Warning的方式提交出来，保证数据在处理过程中有完整的可追溯性。
步骤S106，通过发布目录发布所述目标数据至目标设备6。
在示例性的实施例中，所述步骤S106可以进一步包括：
步骤S106A，当检测到目标数据被载入到发布目录上发布时，则生成告知发布完成文件和通知获取数据文件；
步骤S106B，将所述告知发布完成文件发送源设备4，用于告知源设备4已发布完成；及
步骤S106C，将所述通知获取数据文件发送给目标设备6，并以预定频率通知目标设备6获取数据。
实施例二
图3为本发明非实时数据交换***实施例二的程序模块示意图。非实时数据交换***20可以包括或被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本发明，并可实现上述非实时数据交换方法。本发明实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序本身更适合于描述非实时数据交换***20在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能：
获取模块200，用于从源设备4中获取初始数据，所述初始数据为被预先标注和分类的数据。
加载模块202，用于将所述初始数据加载到接收目录。
处理模块204，用于将位于所述接收目录中的初始数据进行数据处理得到目标数据，并将所述目标数据加载到发布目录.
发布模块206，用于通过发布目录发布所述目标数据至目标设备。
示例性的，所述初始数据可以包括车险承保数据、车险理赔数据、人意险数据和再保数据。
示例性的，所述初始数据包括信号文件(.ok或.ok.ing)、***编号、批次编号、批量文件清单。其中，同一批次的初始数据即为有前后数据依赖关系；所述初始数据有依赖关系则分为批量数据，所述批量数据可以通过“接收－处理-试装载-发布”顺序串行执行，所述串行执行的进程之间是可以并行的；所述初始数据没有依赖关系则分为全量数据，则可并行执行进程，在配置中可设置最大进程数，可控制并发量。
示例性的，所述初始数据包括全量数据或/和批量数据，所述接收目录包括准实时接收目录与批量接收目录；将所述初始数据加载到接收目录；所述加载模块202还用于：判断是否接收到目标设备6的需求指令，所述需求指令包括全增量需求指令；如果接收到所述需求指令，则将所述全量数据对应加载到所述准实时接收目录，及将所述批量数据对应加载到所述批量接收目录中；及如果没有接收到所述需求指令，则将所述全量数据和批量数据加载到批量接收目录中。
示例性的，对于目标设备6而言，数据装载不区分批量和全量，都是按批量的方式去装载；如目标设备6有全增量需求，源设备4的增量数据文件中要需实现全增量逻辑；一般用全量方式提供数据都是数据量非常小，变化极少的基础配置表。
示例性的，所述处理模块204，还用于：如果接收到所述需求指令，则将所述目标全量数据对应发布到所述准实时发布目录，及将所述目标批量数据对应发布到所述增量发布目录中；如果没有接收到所述需求指令，则将所述目标全量数据和批量数据发布至增量发布目录中。
示例性的，所述处理模块204，还用于：监测全量数据或批量数据的被处理过程；当监测到所述被处理过程中出现字段信息修改事件：则生成警示信息并将所述警示信息写入到修改日志组件，所述日志组件用于告知源设备4所述初始数据进行了修改，所述警示信息包括修改之前的详细信息和修改之后的详细信息；其中，所述字段信息修改事件包括对数据修改事件以及清理事件，所述清理事件包括对超过预设长度的字段的清理事件和对包括预设字符的数据的清理事件。
示例性的，所述处理模块204，还用于：当监测到所述被处理过程中出现处理失败事件时：中止数据处理操作；及生成中止数据处理操作信息，将所述中止数据处理操作信息写入到失败日志组件中，所述失败日志组件用于告知源设备4所述初始数据上传失败；其中，所述中止数据处理操作信息包括触发所述中止数据处理操作的原因描述信息；所述处理失败事件包括：数据预装载超出预设装载范围导致的超载事件。
示例性的，所述发布模块206，还用于：当检测到目标数据被载入到发布目录上发布时，则生成告知发布完成文件和通知获取数据文件；将所述告知发布完成文件发送源设备，用于告知源设备已发布完成；及将所述通知获取数据文件发送给目标设备，并以预定频率通知目标设备获取目标数据。
实施例三
参阅图4，是本发明实施例三之计算机设备的硬件架构示意图。本实施例中，所述计算机设备2是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。该计算机设备2可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图所示，所述计算机设备2至少包括，但不限于，可通过***总线相互通信连接存储器21、处理器22、网络接口23、以及非实时数据交换***20。
本实施例中，存储器21至少包括一种类型的计算机可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器21可以是计算机设备2的内部存储单元，例如该计算机设备2的硬盘或内存。在另一些实施例中，存储器21也可以是计算机设备2的外部存储设备，例如该计算机设备2上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。当然，存储器21还可以既包括计算机设备2的内部存储单元也包括其外部存储设备。本实施例中，存储器21通常用于存储安装于计算机设备2的操作***和各类应用软件，例如实施例二的非实时数据交换***20的程序代码等。此外，存储器21还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器22在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器22通常用于控制计算机设备2的总体操作。本实施例中，处理器22用于运行存储器21中存储的程序代码或者处理数据，例如运行非实时数据交换***20，以实现实施例一的非实时数据交换方法。
所述网络接口23可包括无线网络接口或有线网络接口，该网络接口23通常用于在所述计算机设备2与其他电子装置之间建立通信连接。例如，所述网络接口23用于通过网络将所述计算机设备2与外部终端相连，在所述计算机设备2与外部终端之间的建立数据传输通道和通信连接等。所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯***(Global System of Mobile communication，GSM)、宽带码分多址(WidebandCode Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是，图4仅示出了具有部件20-23的计算机设备2，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。
在本实施例中，存储于存储器21中的非实时数据交换***20还可以被分割为一个或者多个程序模块，所述一个或者多个程序模块被存储于存储器21中，并由一个或多个处理器(本实施例为处理器22)所执行，以完成本发明。
例如，图3示出了本发明实施例二之所述实现非实时数据交换***20的程序模块示意图，该实施例中，所述非实时数据交换***20可以被划分为获取模块200、加载模块202、处理模块204和发布模块206。其中，本发明所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述所述非实时数据交换***20在所述计算机设备2中的执行过程。所述程序模块200-206的具体功能在实施例二中已有详细描述，在此不再赘述。
实施例四
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于非实时数据交换***20，被处理器执行时实现实施例一的非实时数据交换方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种非实时数据交换方法，其特征在于，所述方法包括：
从源设备中获取初始数据，所述初始数据为被预先标注和分类的数据；
将所述初始数据加载到接收目录；
将位于所述接收目录中的初始数据进行数据处理得到目标数据，并将所述目标数据加载到发布目录；及
通过发布目录发布所述目标数据至目标设备。
2.如权利要求1所述的非实时数据交换方法，其特征在于，所述初始数据包括全量数据或/和批量数据，所述接收目录包括准实时接收目录与批量接收目录；将所述初始数据加载到接收目录，包括：
判断是否接收到目标设备的需求指令，所述需求指令包括全增量需求指令；
如果接收到所述需求指令，则将所述全量数据对应加载到所述准实时接收目录，及将所述批量数据对应加载到所述批量接收目录中；及
如果没有接收到所述需求指令，则将所述全量数据和批量数据加载到批量接收目录中。
3.如权利要求2所述的非实时数据交换方法，其特征在于，所述目标数据包括目标全量数据或/和目标批量数据，所述发布目录包括准实时发布目录与增量发布目录；将所述目标数据加载到发布目录，包括：
如果接收到所述需求指令，则将所述目标全量数据对应发布到所述准实时发布目录，及将所述目标批量数据对应发布到所述增量发布目录中；
如果没有接收到所述需求指令，则将所述目标全量数据和批量数据发布至增量发布目录中。
4.如权利要求1所述的非实时数据交换方法，其特征在于，所述将位于所述接收目录中的初始数据进行数据处理得到目标数据，包括：
监测全量数据或批量数据的被处理过程；
当监测到所述被处理过程中出现字段信息修改事件：则生成警示信息并将所述警示信息写入到修改日志组件，所述修改日志组件用于告知所述源设备所述初始数据已被修改，所述警示信息包括修改之前的详细信息和修改之后的详细信息；
其中，所述字段信息修改事件包括数据修改事件以及清理事件，所述清理事件包括对超过预设长度的字段的清理事件和对包括预设字符的数据的清理事件。
5.如权利要求4所述的非实时数据交换方法，其特征在于，所述将位于所述接收目录中的初始数据进行数据处理得到目标数据，还包括：
当监测到所述被处理过程中出现处理失败事件时：中止数据处理操作；及生成中止数据处理操作信息，将所述中止数据处理操作信息写入到失败日志组件中，所述失败日志组件用于告知所述源设备所述初始数据上传失败；
其中，所述中止数据处理操作信息包括触发所述中止数据处理操作的原因描述信息；所述处理失败事件包括：数据预装载超出预设装载范围导致的超载事件。
6.如权利要求5所述的非实时数据交换方法，其特征在于，通过发布目录发布所述目标数据至目标设备，还包括：
当检测到目标数据被载入到发布目录上发布时，则生成告知发布完成文件和通知获取数据文件；
将所述告知发布完成文件发送源设备，用于告知源设备已发布完成；及
将所述通知获取数据文件发送给目标设备，并以预定频率通知目标设备获取目标数据。
7.一种非实时数据交换***，其特征在于，包括：
获取模块，用于从源设备中获取初始数据，所述初始数据为被预先标注和分类的数据；
加载模块，用于将所述初始数据加载到接收目录；
处理模块，用于将位于所述接收目录中的初始数据进行数据处理得到目标数据，并将所述目标数据加载到发布目录；及
发布模块，用于通过发布目录发布所述目标数据至目标设备。
8.如权利要求7所述的非实时数据交换***，其特征在于，所述初始数据包括全量数据或/和批量数据，所述接收目录包括准实时接收目录与批量接收目录；所述加载模块还用于：
判断是否接收到目标设备的需求指令，所述需求指令包括全增量需求指令；
如果接收到所述需求指令，则将所述全量数据对应加载到所述准实时接收目录，及将所述批量数据对应加载到所述批量接收目录中；及
如果没有接收到所述需求指令，则将所述全量数据和批量数据加载到批量接收目录中。
9.一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的非实时数据交换方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序可被至少一个处理器所执行，以使所述至少一个处理器执行如权利要求1至6中任一项所述的非实时数据交换方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910968954.4A CN110865990B (zh) | 2019-10-12 | 2019-10-12 | 非实时数据交换方法、***和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910968954.4A CN110865990B (zh) | 2019-10-12 | 2019-10-12 | 非实时数据交换方法、***和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110865990A true CN110865990A (zh) | 2020-03-06 |
| CN110865990B CN110865990B (zh) | 2024-04-30 |
Family
ID=69652674
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910968954.4A Active CN110865990B (zh) | 2019-10-12 | 2019-10-12 | 非实时数据交换方法、***和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110865990B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2545232A1 (en) * | 2005-07-29 | 2007-01-29 | Cognos Incorporated | Method and system for creating a taxonomy from business-oriented metadata content |
| JP2007213209A (ja) * | 2006-02-08 | 2007-08-23 | Sharp Corp | データ管理装置、データ記憶装置、データ管理方法、プログラム、および記録媒体 |
| CN105183391A (zh) * | 2015-09-18 | 2015-12-23 | 北京京东尚科信息技术有限公司 | 一种分布式数据平台下数据存储的方法和装置 |
| CN108829767A (zh) * | 2018-05-29 | 2018-11-16 | 吉贝克信息技术（北京）有限公司 | 数据交换***及其方法、装置和计算机存储介质 |
| CN109344123A (zh) * | 2018-10-23 | 2019-02-15 | 山东浪潮云信息技术有限公司 | 一种基于目录文件的数据交互方法 |
-
2019
- 2019-10-12 CN CN201910968954.4A patent/CN110865990B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2545232A1 (en) * | 2005-07-29 | 2007-01-29 | Cognos Incorporated | Method and system for creating a taxonomy from business-oriented metadata content |
| JP2007213209A (ja) * | 2006-02-08 | 2007-08-23 | Sharp Corp | データ管理装置、データ記憶装置、データ管理方法、プログラム、および記録媒体 |
| CN105183391A (zh) * | 2015-09-18 | 2015-12-23 | 北京京东尚科信息技术有限公司 | 一种分布式数据平台下数据存储的方法和装置 |
| CN108829767A (zh) * | 2018-05-29 | 2018-11-16 | 吉贝克信息技术（北京）有限公司 | 数据交换***及其方法、装置和计算机存储介质 |
| CN109344123A (zh) * | 2018-10-23 | 2019-02-15 | 山东浪潮云信息技术有限公司 | 一种基于目录文件的数据交互方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110865990B (zh) | 2024-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109032824B (zh) | 数据库校验方法、装置、计算机设备和存储介质 | |
| CN110222535B (zh) | 区块链配置文件的处理装置、方法及存储介质 | |
| CN101268620A (zh) | 用于管理设备管理对象的设备管理***和方法 | |
| CN110784348A (zh) | 一种固件升级方法、装置、电子设备及存储介质 | |
| CN110599354A (zh) | 线上对账方法、***、计算机设备和计算机可读存储介质 | |
| CN108170551B (zh) | 基于爬虫***的前后端错误处理方法、服务器及存储介质 | |
| CN111651595A (zh) | 一种异常日志处理方法及装置 | |
| CN110958292A (zh) | 文件上传方法、电子装置、计算机设备及存储介质 | |
| CN112561370A (zh) | 软件发版的管理方法、装置、计算机设备及存储介质 | |
| CN110866834A (zh) | 批处理程序的执行方法及*** | |
| CN113609088A (zh) | 文件处理方法、装置及设备 | |
| CN112395266B (zh) | 一种数据文件处理方法、第一服务器及计算机存储介质 | |
| CN106855888B (zh) | 基于Logstash分布式***的日志监控*** | |
| CN110865990A (zh) | 非实时数据交换方法、***和计算机设备 | |
| CN112269646A (zh) | 自动化运维任务部署远程操控***和方法 | |
| CN112181836A (zh) | 测试用例生成方法、***、设备及存储介质 | |
| CN110704462A (zh) | 数据变更通知方法、电子装置、计算机设备及存储介质 | |
| CN110620800B (zh) | 电力二次***跨安全区的配置数据同步处理方法和装置 | |
| CN114168108A (zh) | 代码合并方法、装置、电子设备和计算机可读存储介质 | |
| CN112131180B (zh) | 数据上报方法、装置以及存储介质 | |
| CN114490196A (zh) | 数据库切换方法、***、设备及介质 | |
| CN113242147A (zh) | 多云环境的自动化运维部署方法、装置、设备和存储介质 | |
| CN114022279A (zh) | 一种业务数据纠错方法、装置、设备及可读存储介质 | |
| CN112416385A (zh) | 采集组件管理方法和*** | |
| CN109828884B (zh) | 加挂服务数据处理方法、***、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |