CN113987089B - 一种***级联方法、数据处理方法及装置 - Google Patents

一种***级联方法、数据处理方法及装置 Download PDF

Info

Publication number
CN113987089B
CN113987089B CN202111615452.7A CN202111615452A CN113987089B CN 113987089 B CN113987089 B CN 113987089B CN 202111615452 A CN202111615452 A CN 202111615452A CN 113987089 B CN113987089 B CN 113987089B
Authority
CN
China
Prior art keywords
data
data object
target
cascade
identifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111615452.7A
Other languages
English (en)
Other versions
CN113987089A (zh
Inventor
冯刚义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Likong Yuantong Technology Co ltd
Original Assignee
Beijing Likong Yuantong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Likong Yuantong Technology Co ltd filed Critical Beijing Likong Yuantong Technology Co ltd
Priority to CN202111615452.7A priority Critical patent/CN113987089B/zh
Publication of CN113987089A publication Critical patent/CN113987089A/zh
Application granted granted Critical
Publication of CN113987089B publication Critical patent/CN113987089B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种***级联方法、数据处理方法及装置。该***级联方法包括：获取待级联***中待级联的第一数据对象及目标级联***；在目标级联***中创建第二数据对象；建立第一数据对象与第二数据对象的映射关系；基于映射关系，将第一数据对象对应的数据内容上传至第二数据对象，以使目标级联***基于映射关系从第二数据对象中提取第一数据对象对应的数据内容。通过本发明提供的***级联方法可以在复杂的场景下可更好的适应运行环境，减少了所需维护的进程数量、问题排查的时间成本，减轻了下级***的逻辑负担以及对物理服务器CPU的负担。

Description

一种***级联方法、数据处理方法及装置
技术领域
本发明涉及计算机通信技术领域，具体涉及一种***级联方法、数据处理方法及装置。
背景技术
常规的***级联是将下级***中可请求的数据列表，推送给上级***并由上级***进行整合与展示。若上级***收到客户端的对应请求后，将会根据映射关系找到对应的下级***来进行数据请求操作。待下级***处理完毕后，一并将数据集反馈给上级***，在由上级回复确认报文后转发给发出请求的客户端程序。但是随着应用场景的增加，这些常规的级联方式上下级之间数据传输过程中需要进行上下级***间双向的数据传输，造成运营维护工作难度大，加剧上下级***的网络负担，增加物理服务器CPU的损耗。因此，如何实现***间轻量化的级联，以降低级联***间数据传输过程网络资源的损耗，成为亟待解决的问题。
发明内容
因此，本发明要解决的技术问题在于克服现有技术中的上下级***间双向的数据传输频繁导致增加服务器损耗的缺陷，从而提供一种新的***级联方法、数据处理方法及装置。
本发明提出的技术方案如下：
本发明实施例第一方面提供一种***级联方法，包括：获取待级联***中待级联的第一数据对象及目标级联***；在所述目标级联***中创建第二数据对象；建立所述第一数据对象与所述第二数据对象的映射关系；基于所述映射关系，将所述第一数据对象对应的数据内容上传至所述第二数据对象，以使所述目标级联***基于所述映射关系从所述第二数据对象中提取所述第一数据对象对应的数据内容。
可选地，所述在所述目标级联***中创建第二数据对象，包括:获取所述第一数据对象的对象属性；基于所述对象属性在所述目标级联***中创建第二数据对象。
可选地，所述建立所述第一数据对象与所述第二数据对象的映射关系，包括：获取第一数据对象的第一标识以及第二数据对象的第二标识；基于所述第一标识和所述第二标识的对应关系建立所述第一数据对象与所述第二数据对象的映射关系。
可选地，还包括：获取所述第一数据对象的变更操作，所述变更操作包括：删除、修改和数据写入；基于所述映射关系，控制所述第二数据对象执行所述变更操作。
本发明实施例第二方面提供一种数据处理方法，包括：在第三***接收到数据处理请求时，基于所述数据处理请求及所述第三***对应的映射关系，确定第三***中的第三数据对象，所述数据处理请求包括：数据处理操作、目标数据对象及其所属的第四***，所述第三***与所述第四***采用第一方面及其任意一种可选实施方式所述的方法进行***级联；从所述第三数据对象中提取对应的数据内容，并对所述数据内容执行所述数据处理操作。
可选地，所述基于所述数据处理请求及所述第三***对应的映射关系，确定第三***中的第三数据对象，包括：判断所述映射关系中是否存在所述目标数据对象的目标标识；当所述映射关系中存在所述目标标识时，基于所述映射关系提取所述目标标识对应的第三标识；基于所述第三标识确定所述第三数据对象。
本发明实施例第三方面提供一种***级联装置，包括：获取模块，用于获取待级联***中待级联的第一数据对象及目标级联***；第一处理模块，用于在所述目标级联***中创建第二数据对象；第二处理模块，用于建立所述第一数据对象与所述第二数据对象的映射关系；第三处理模块，用于基于所述映射关系，将所述第一数据对象对应的数据内容上传至所述第二数据对象，以使所述目标级联***基于所述映射关系从所述第二数据对象中提取所述第一数据对象对应的数据内容。
本发明实施例第四方面提供一种数据处理装置，包括：第四处理模块，用于在第一***接收到数据处理请求时，基于所述数据处理请求及所述第一***对应的映射关系，确定第一***中的第三数据对象，所述数据处理请求包括：数据处理操作、目标数据对象及其所属的第二***，所述第一***与所述第二***采用如第三方面所述的装置进行***级联；第五处理模块，用于从所述第三数据对象中提取对应的数据内容，并对所述数据内容执行所述数据处理操作。
本发明实施例第五方面提供一种电子设备，包括： 存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面、第二方面及其任意一种可选实施方式所述的方法。
本发明实施例第六方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行如第一方面、第二方面及其任意一种可选实施方式所述的方法。
本发明技术方案，具有如下优点：
本发明提供了一种***级联方法及装置，通过在上下级***建立数据对象间的映射关系，将下级***被请求的部分数据上传至上级***所对应的数据区域，从而实现了上下级***的级联。这样在上级***需要读取下级***这部分数据时，就不用上下级***互相请求的操作，可以直接从上级***中对应的数据区读取，无需上下级反复请求，减轻了上下级***间网络负担以及CPU的处理压力。由于采用了单向传输的方式，告别了原有级联状态下请求转发的过程。整体查询请求将在同层级内***完成整个查询过程，直接返回给客户端程序。相对于传统的级联方式即减轻了逻辑下级***的负担，这一点在层级越多的级联***中体现的价值越大。
本发明提供了一种数据处理方法及装置，在第三***接收到数据处理请求时，基于数据处理请求及第三***对应的映射关系，确定第三***中的第三数据对象，数据处理请求包括：数据处理操作、目标数据对象及其所属的第四***，第三***与第四***采用本发明另一实施例提供的级联方法进行***级联；从第三数据对象中提取对应的数据内容，并对数据内容执行数据处理操作。通过在数据处理过程中利用本发明中另一实施例的***级联方法进行数据处理，使得在数据处理时更加便捷，根据需要处理的数据很方便地找到对应的下级***，这样直接在下级***对目标数据做对应的处理即可，上级***无需对下级***发出指令，大大节省了数据处理过程中的运行空间，减轻了上下级***的运行负担。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中***级联方法的流程图；
图2为本发明实施例中目标级联***中创建第二数据对象的流程图；
图3为本发明实施例中建立第一数据对象与第二数据对象的映射关系的流程图；
图4为本发明实施例中单层服务运行过程展开图；
图5为本发明实施例中为多级***联处理方式的示意图；
图6为本发明实施例中数据处理方法的流程图；
图7为本发明实施例中基于数据处理请求及第一***对应的映射关系，确定第一***中的第三数据对象的流程图；
图8为本发明实施例中的***级联装置的结构示意图；
图9为本发明实施例中的数据处理装置的结构示意图；
图10本发明实施例中的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
常规的***级联是将下级***中可请求的数据列表，推送给上级***并由上级***进行整合与展示。若上级***收到客户端的对应请求后，将会根据映射关系找到对应的下级***来进行数据请求操作。待下级***处理完毕后，一并将数据集反馈给上级***，在由上级转发给发出请求的客户端程序。但随着应用场景的增加，常规的级联方式并不能满足多种多样的应用场景。比如：过单向网闸、重点数据多副本、单***多并发的分压。
场景一常规级联***通过单向网闸：由于单向网闸传输一般仅会允许一个字节作为确认字节来进行回复。常规状态下级联为双向传输过程，想通过单向网闸的话，必然要采用类似于网关的方式来进行单向的数据推送来进交互。增加了整体***的进程数量、通信过程接口，对后续的运营维护工作增加了难度。
场景二常规级联***做重点数据多副本：一般情况下级联***的数据多副本过程是非常复杂且繁琐的，各逻辑层级会存储个层级所对应的数据。难免会多出一些需要维护的进程或线程，来单独处理这类多副本的重点数据。而且另外一个带出的问题是当某一个下级服务出现网络异常或进程异常等状况会影响到上级***的历史查询工作。
场景三常规级联***请求分压：假设下级***以非集群模式来组建的，常规级联模式下，上级若对下级请求或订阅大量的数据，会加剧上下级***的网络负担以及对物理服务器CPU造成负担。造成负担的主要原因为大量反复的数据转发。
基于上述问题，本发明实施例提供了一种***级联方法，如图1所示，该方法具体包括如下步骤：
步骤S101：获取待级联***中待级联的第一数据对象及目标级联***。
其中，在实际应用中，待级联***为下级***，目标级联***为上级***，待级联***中的第一数据对象为下级***中的数据对应的存储位置，第一数据对象可以对应的是一个数据的存储位置，也可以是多个数据对应的多个存储位置，具体可根据下级***允许上级***访问的数据来选取对应的存储位置。需要说明的是，在本发明实施例中，下级目标***拥有独立的储存空间，下级***的数据来源仅由下级本身来进行控制管理，不必向上级服务进行汇报和批准，上下级以是一种相互独立的方式存在。
步骤S102：在目标级联***中创建第二数据对象。
其中，第二数据对象为目标级联***中用于存储数据的存储位置，如果上下级***形成级联关系后，下级***将上级***请求的数据推送到上级***中，上级***也会对下级***推送的数据建立相对应的数据区；上级***的其它储存空间也可以与其它下级***形成级联关系，形成一对多的处理方式。
步骤S103：建立第一数据对象与第二数据对象的映射关系。
其中，如果下级***发生级联操作后，会将选取的数据推送到上级***所对应的数据区中，上级***会对这些数据进行整合与展示，这样就形成了映射绑定关系。
步骤S104：基于映射关系，将第一数据对象对应的数据内容上传至第二数据对象，以使目标级联***基于映射关系从第二数据对象中提取第一数据对象对应的数据内容。
本发明实施例提供的***级联方法，通过在上下级***建立数据对象间的映射关系，将下级***被请求的部分数据上传至上级***所对应的数据区域，从而实现了上下级***的级联，这样在上级***需要读取下级***这部分数据时，就不用上下级***互相请求的操作，可以直接从上级***中对应的数据区读取，无需上下级反复请求，避免采用网关来处理单向隔离的网络环境，仅需要两套相同的程序分别放置于单向隔离网络之中，通过下级推送数据的方式来达到级联的效果。减少了程序开发的工作量，更减少了日后的维护工作，减轻了上下级***间网络负担以及CPU的处理压力。并且，上级采用了独立副本映射的机制，数据可进行轻量化备份，相较于整体备份更加灵活多变，配置性强。
具体地，在一实施例中，上述的步骤S102，如图2所示，具体包括如下步骤:
步骤S201：获取第一数据对象的对象属性。
其中，对象属性包括：存储数据内容的类型、具体数值要求等属性信息，如：A数据的数值要求为0-100等。下级联***服务器中数据属性比较复杂，先确定下级数据中的数据属性，以便于上级***的分析以及备份。
步骤S202：基于对象属性在目标级联***中创建第二数据对象。
其中，如果上下级***进行级联后，上级***根据获取的数据属性，会创建相对应的数据属性区，以用来存储下级上传的数据。这样，上下级映射部分数据属性一样，备份以及提取过程中都很便捷。
通过上述步骤，可实现上级***对下级***数据的轻量化备份，避免了整体数据备份的庞大体积，且灵活可靠。在上级***中会存在下级***上传数据部分的本地化文件。在上下级级联状态为了数据传输的可靠性，增加了离线数据机制。所有级联测点待发送的数据在上级离线的情况下，会在本地生成离线数据文件，文件内消息按照时间序存储的二进制信息。待上级服务上线后进行离线数据回补，回补结束后才会继续推送当前测点数据。
具体地，在一实施例中，上述的步骤S103，如图3所示，具体包括如下步骤：
步骤S301：获取第一数据对象的第一标识以及第二数据对象的第二标识。
其中，在级联过程中，下级***选取级联的数据属性以及数据区为一个唯一标识，标记为唯一的一个标识（1）；上级***也会创建对应的数据属性的一个数据区，标记为唯一的一个标识（2）。
步骤S302：基于第一标识和第二标识的对应关系建立第一数据对象与第二数据对象的映射关系。
其中，在上下级***发生级联操作后，会将本***中的标识（1）以及数据属性推送至上级***，上级***会根据下级***推送的级联消息创建对应数据属性的数据区，标识为标识（2），并且与下级的标识（1）进行绑定完成映射过程。这种利用数据对象唯一标识的方式建立数据对象间的映射关系，保障了映射关系的准确性，提高后续数据查询和读取的效率。
具体地，在一实施例中，上述的步骤S104，具体包括如下步骤：
步骤S401：获取第一数据对象的变更操作。
其中，变更操作包括：删除、修改和数据写入。具体地，如果下级***的服务器对下级***的数据进行数据变更时，比如：删、改、数据写入等操作，会触发级联消息，将数据变更的信息推送给上级***的服务器，上级服务器也会对所映射的数据进行相对应的操作。从而保障上下级***中级联数据对象存储数据内容的一致性。
步骤S402：基于映射关系，控制第二数据对象执行变更操作。
其中，如果上下级所建立的映射关系，当触发级联消息过程中，上级会根据所得到的信息寻找对应的映射数据，执行相应的操作。在这样的运行状态下，上下级映射数据会保持一致，即使下级服务器掉线或者丢失部分内容也不会影响上级服务器的获取相应的数据内容。另外，上级***平面化管理，级联数据并非以虚拟化数据存在的。级联上来的数据与本地数据无实际差异。在下级***异常情况下，上级***依然可以正常操作级联数据。降低了使用过程中的影响。
通过上述步骤，本发明实施例提供的***级联方法，通过在上下级***建立数据对象间的映射关系，将下级***被请求的部分数据上传至上级***所对应的数据区域，从而实现了上下级***的级联。如图4示例，为单层***服务运行过程展开图。这样在上级***需要读取下级***这部分数据时，就不用上下级***互相请求的操作，可以直接从上级***中对应的数据区读取，无需上下级反复请求，减轻了上下级***间网络负担以及CPU的处理压力。由于采用了单向传输的方式，告别了原有级联状态下请求转发的过程。整体查询请求将在同层级内***完成整个查询过程，直接返回给客户端程序。相对于传统的级联方式即减轻了逻辑下级***的负担，这一点在层级越多的级联***中体现的价值越大。图5为多级***级联处理方式的示意图。
本发明实施例还提供了一种数据处理方法，如图6所示，该数据处理方法具体包括如下步骤：
步骤S501：在第三***接收到数据处理请求时，基于数据处理请求及第三***对应的映射关系，确定第三***中的第三数据对象。
其中，数据处理请求包括：数据处理操作、目标数据对象及其所属的第四***，第三***与第四***采用本发明另一实施例提供的***级联方法进行***级联。
具体地，以两级***进行级联为例，第三***为上级***，第四***为下级***。在数据处理过程中，当上级***接收到要对下级***的部分数据进行处理操作时，先确定所处理的数据所对应的目标数据区，并且根据上下级***的级联映射关系，如果数据区为上下级映射部分，就要确定在上级***中存储此目标数据的根源所在的第三数据对象，其中第三数据对象为存储有目标数据的存储位置。
步骤S502：从第三数据对象中提取对应的数据内容，并对数据内容执行数据处理操作。
具体地，上述步骤已经在上级***的本地存储空间内找到了对应需要进行数据操作的数据内容，就可以直接对其做所需要的数据处理。
本发明实施例提供的数据处理方法，通过在数据处理过程中利用本发明中另一实施例的***级联方法进行数据处理，无需上下级的数据处理请求的交互，可以很便捷的对需要处理的下级数据进行了相应的操作。而且，某一层级客户端仅在本层级进行消息处理，减少了最底层级联***的压力，级联层级越多体现越明显。
具体地，在一实施例中，上述的步骤S501，如图7所示，具体包括如下步骤：
步骤S601：判断映射关系中是否存在目标数据对象的目标标识。
其中，在进行数据处理过程中，如果在上级***存储的映射关系中可以找到与要处理的目标数据的标识相对应的目标标识，则说明该目标数据所在的下级数据区与上级***建立了***级联关系，并且形成了映射绑定。
步骤S602：当映射关系中存在目标标识时，基于映射关系提取目标标识对应的第三标识。
其中，如果目标数据在上下级进行映射过程中的数据区域，那么就可以找到目标数据对应的唯一标识（3）。
步骤S603：基于第三标识确定第三数据对象。
其中，根据上下级的***级联关系，可以根据标识（3）找到对应的上级***中的目标标识（4），根据目标标识（4）就可以确定所要处理的数据对象在上级***中的数据区。
通过执行上述步骤，本发明实施例提供的数据处理方法，通过在数据处理过程中利用本发明中另一实施例的***级联方法进行数据处理，使得在数据处理时更加便捷，根据需要处理的数据的唯一标识很方便地找到对应的上级***的目标标识，这样上级***直接根据目标标识直接在本地***对目标数据做对应的处理即可，上级***无需对下级***发出指令，大大节省了数据处理过程中的运行空间，减轻了上下级***的运行负担。
本发明实施例还提供了一种***级联装置，如图8所示，该***级联装置包括：
第一获取模块101，用于获取待级联***中待级联的第一数据对象及目标级联***。详细内容参见上述方法实施例中步骤S101的相关描述，在此不再进行赘述。
第一处理模块102，用于在目标级联***中创建第二数据对象。详细内容参见上述方法实施例中步骤S102的相关描述，在此不再进行赘述。
第二处理模块103，用于建立第一数据对象与第二数据对象的映射关系。详细内容参见上述方法实施例中步骤S103的相关描述，在此不再进行赘述。
第三处理模块104，用于基于映射关系，将第一数据对象对应的数据内容上传至第二数据对象，以使目标级联***基于映射关系从第二数据对象中提取第一数据对象对应的数据内容。详细内容参见上述方法实施例中步骤S104的相关描述，在此不再进行赘述。
通过上述步骤，本发明实施例提供的***级联方法，通过在上下级***建立数据对象间的映射关系，将下级***被请求的部分数据上传至上级***所对应的数据区域，从而实现了上下级***的级联。这样在上级***需要读取下级***这部分数据时，就不用上下级***互相请求的操作，可以直接从上级***中对应的数据区读取，无需上下级反复请求，减轻了上下级***间网络负担以及CPU的处理压力。由于采用了单向传输的方式，告别了原有级联状态下请求转发的过程。整体查询请求将在同层级内***完成整个查询过程，直接返回给客户端程序。相对于传统的级联方式即减轻了逻辑下级***的负担，这一点在层级越多的级联***中体现的价值越大。
本发明实施例还提供了一种数据处理装置，如图9所示，该数据处理装置包括：
第四处理模块201，用于在第一***接收到数据处理请求时，基于数据处理请求及第一***对应的映射关系，确定第一***中的第三数据对象，数据处理请求包括：数据处理操作、目标数据对象及其所属的第二***，第一***与第二***采用如本发明另一实施例提供的***级联装置进行***级联。详细内容参见上述方法实施例中步骤S501的相关描述，在此不再进行赘述。
第五处理模块202，用于从第三数据对象中提取对应的数据内容，并对数据内容执行数据处理操作。详细内容参见上述方法实施例中步骤S502的相关描述，在此不再进行赘述。
通过执行上述步骤，本发明实施例提供的数据处理方法，通过在数据处理过程中利用本发明中另一实施例的***级联方法进行数据处理，使得在数据处理时更加便捷，根据需要处理的数据很方便地找到对应的下级***，这样直接在下级***对目标数据做对应的处理即可，上级***无需对下级***发出指令，大大节省了数据处理过程中的运行空间，减轻了上下级***的运行负担。
根据本发明实施例还提供了一种电子设备，如图10所示，该电子设备可以包括处理器901和存储器902，其中处理器901和存储器902可以通过总线或者其他方式连接，图10中以通过总线连接为例。
处理器901可以为中央处理器（Central Processing Unit，CPU）。处理器901还可以为其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器902作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明方法实施例中的方法所对应的程序指令/模块。处理器901通过运行存储在存储器902中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储处理器901所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件或其他非暂态固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至处理器901。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器902中，当被处理器901执行时，执行上述方法实施例中的方法。
上述电子设备具体细节可以对应参阅上述方法实施例中对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）、随机存储记忆体（Random Access Memory，RAM）、快闪存储器（Flash Memory）、硬盘（Hard Disk Drive，缩写：HDD）或固态硬盘（Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (9)

1.一种***级联方法，其特征在于，包括：
获取待级联***中待级联的第一数据对象及目标级联***；
在所述目标级联***中创建第二数据对象；
建立所述第一数据对象与所述第二数据对象的映射关系；
基于所述映射关系，将所述第一数据对象对应的数据内容上传至所述第二数据对象，以使所述目标级联***基于所述映射关系从所述第二数据对象中提取所述第一数据对象对应的数据内容；
在目标级联***中存在待级联***上传数据部分的本地化文件，所有级联测点待发送的数据在目标级联***离线的情况下，会在本地生成离线数据文件，文件内消息按照时间序存储的二进制信息，待目标级联***服务上线后进行离线数据回补，回补结束后才会继续推送当前测点数据；
所述建立所述第一数据对象与所述第二数据对象的映射关系，包括：
获取第一数据对象的第一标识以及第二数据对象的第二标识；
在级联过程中，待级联***选取级联的数据属性以及数据区为一个唯一标识，标记为第一标识；目标级联***创建对应的数据属性的一个数据区，标记为第二标识；
基于所述第一标识和所述第二标识的对应关系建立所述第一数据对象与所述第二数据对象的映射关系；
在待级联***和目标级联***发生级联操作后，会将第一标识以及数据属性推送至目标级联***，目标级联***根据待级联***推送的级联消息创建对应数据属性的数据区，标识为第二标识，并且与第一标识进行绑定完成映射过程。
2.根据权利要求1所述的方法，其特征在于，所述在所述目标级联***中创建第二数据对象，包括:
获取所述第一数据对象的对象属性；
基于所述对象属性在所述目标级联***中创建第二数据对象。
3.根据权利要求1所述的方法，其特征在于，还包括：
获取所述第一数据对象的变更操作，所述变更操作包括：删除、修改和数据写入；
基于所述映射关系，控制所述第二数据对象执行所述变更操作。
4.一种数据处理方法，其特征在于，包括：
在第三***接收到数据处理请求时，基于所述数据处理请求及所述第三***对应的映射关系，确定第三***中的第三数据对象，所述数据处理请求包括：数据处理操作、目标数据对象及其所属的第四***，所述第三***与所述第四***采用如权利要求1-3任一项所述的方法进行***级联；
从所述第三数据对象中提取对应的数据内容，并对所述数据内容执行所述数据处理操作。
5.根据权利要求4所述的方法，其特征在于，所述基于所述数据处理请求及所述第三***对应的映射关系，确定第三***中的第三数据对象，包括：
判断所述映射关系中是否存在所述目标数据对象的目标标识；
当所述映射关系中存在所述目标标识时，基于所述映射关系提取所述目标标识对应的第三标识；
基于所述第三标识确定所述第三数据对象。
6.一种***级联装置，其特征在于，包括：
获取模块，用于获取待级联***中待级联的第一数据对象及目标级联***；
第一处理模块，用于在所述目标级联***中创建第二数据对象；
第二处理模块，用于建立所述第一数据对象与所述第二数据对象的映射关系；
第三处理模块，用于基于所述映射关系，将所述第一数据对象对应的数据内容上传至所述第二数据对象，以使所述目标级联***基于所述映射关系从所述第二数据对象中提取所述第一数据对象对应的数据内容；
在目标级联***中存在待级联***上传数据部分的本地化文件，所有级联测点待发送的数据在目标级联***离线的情况下，会在本地生成离线数据文件，文件内消息按照时间序存储的二进制信息，待目标级联***服务上线后进行离线数据回补，回补结束后才会继续推送当前测点数据；
所述建立所述第一数据对象与所述第二数据对象的映射关系，包括：
获取第一数据对象的第一标识以及第二数据对象的第二标识；
在级联过程中，待级联***选取级联的数据属性以及数据区为一个唯一标识，标记为第一标识；目标级联***创建对应的数据属性的一个数据区，标记为第二标识；
基于所述第一标识和所述第二标识的对应关系建立所述第一数据对象与所述第二数据对象的映射关系；
在待级联***和目标级联***发生级联操作后，会将第一标识以及数据属性推送至目标级联***，目标级联***根据待级联***推送的级联消息创建对应数据属性的数据区，标识为第二标识，并且与第一标识进行绑定完成映射过程。
7.一种数据处理装置，其特征在于，包括：
第四处理模块，用于在第一***接收到数据处理请求时，基于所述数据处理请求及所述第一***对应的映射关系，确定第一***中的第三数据对象，所述数据处理请求包括：数据处理操作、目标数据对象及其所属的第二***，所述第一***与所述第二***采用如权利要求6所述的装置进行***级联；
第五处理模块，用于从所述第三数据对象中提取对应的数据内容，并对所述数据内容执行所述数据处理操作。
8.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-5任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机从而执行如权利要求1-5任一项所述的方法。
CN202111615452.7A 2021-12-28 2021-12-28 一种***级联方法、数据处理方法及装置 Active CN113987089B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111615452.7A CN113987089B (zh) 2021-12-28 2021-12-28 一种***级联方法、数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111615452.7A CN113987089B (zh) 2021-12-28 2021-12-28 一种***级联方法、数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN113987089A CN113987089A (zh) 2022-01-28
CN113987089B true CN113987089B (zh) 2022-08-26

Family

ID=79734573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111615452.7A Active CN113987089B (zh) 2021-12-28 2021-12-28 一种***级联方法、数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN113987089B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114640595B (zh) * 2022-03-11 2023-08-18 杭州数梦工场科技有限公司 级联方法、装置、电子设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104104653A (zh) * 2013-04-03 2014-10-15 ***通信集团公司 一种页面信息同步的方法、设备和***
CN108076081A (zh) * 2016-11-09 2018-05-25 菜鸟智能物流控股有限公司 一种业务数据的同步方法、装置和***
CN108200110A (zh) * 2016-12-08 2018-06-22 杭州海康威视***技术有限公司 一种数据处理方法、装置及***
CN110392025A (zh) * 2018-04-20 2019-10-29 伊姆西Ip控股有限责任公司 管理分布式***的方法、设备和计算机程序产品
US10599753B1 (en) * 2013-11-11 2020-03-24 Amazon Technologies, Inc. Document version control in collaborative environment
CN110955704A (zh) * 2019-12-03 2020-04-03 北京锐安科技有限公司 一种数据管理方法、装置、设备及存储介质
CN113254534A (zh) * 2021-06-04 2021-08-13 四川省明厚天信息技术股份有限公司 数据同步方法、装置及计算机存储介质
CN113836223A (zh) * 2021-08-26 2021-12-24 浪潮软件科技有限公司 一种异构数据库数据同步的方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101132222B (zh) * 2006-08-22 2011-02-16 上海贝尔阿尔卡特股份有限公司 网关设备、通信网络和同步方法
CN106844727B (zh) * 2017-02-10 2020-07-10 山南远宏科技有限公司 海量图像特征数据分布式采集处理和分级应用***及方法
CN108446283B (zh) * 2017-02-16 2021-05-11 杭州海康威视数字技术股份有限公司 数据存储方法及装置
CN110266768B (zh) * 2019-05-24 2022-02-25 视联动力信息技术股份有限公司 一种数据传输方法和***
CN110781815B (zh) * 2019-10-25 2022-09-27 四川东方网力科技有限公司 视频数据处理方法及***
CN113220791B (zh) * 2021-06-03 2023-07-28 西安热工研究院有限公司 一种数据级联同步***及方法
CN113626522A (zh) * 2021-08-02 2021-11-09 Oppo广东移动通信有限公司 数据同步方法、装置、介质及设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104104653A (zh) * 2013-04-03 2014-10-15 ***通信集团公司 一种页面信息同步的方法、设备和***
US10599753B1 (en) * 2013-11-11 2020-03-24 Amazon Technologies, Inc. Document version control in collaborative environment
CN108076081A (zh) * 2016-11-09 2018-05-25 菜鸟智能物流控股有限公司 一种业务数据的同步方法、装置和***
CN108200110A (zh) * 2016-12-08 2018-06-22 杭州海康威视***技术有限公司 一种数据处理方法、装置及***
CN110392025A (zh) * 2018-04-20 2019-10-29 伊姆西Ip控股有限责任公司 管理分布式***的方法、设备和计算机程序产品
CN110955704A (zh) * 2019-12-03 2020-04-03 北京锐安科技有限公司 一种数据管理方法、装置、设备及存储介质
CN113254534A (zh) * 2021-06-04 2021-08-13 四川省明厚天信息技术股份有限公司 数据同步方法、装置及计算机存储介质
CN113836223A (zh) * 2021-08-26 2021-12-24 浪潮软件科技有限公司 一种异构数据库数据同步的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Text Detection System for Natural Scenes With Convolutional Feature Learning and Cascaded Classification;Siyu Zhu等;《Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition》;20161231;625-632页 *
JPA对象关系映射 -- 级联操作;barry的异想世界;《https://blog.csdn.net/qq_33920904/article/details/104932621》;20200317;1-4页 *
基于异步处理框架的在线客服交流平台研究与实现;李彦卓;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130215;I138-589 *

Also Published As

Publication number Publication date
CN113987089A (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
RU2471227C2 (ru) Содействуемая обслуживающим узлом и одноранговая синхронизация
US20140379656A1 (en) System and Method for Maintaining a Cluster Setup
US20200356624A1 (en) Collaborative document editing system and method
US11429566B2 (en) Approach for a controllable trade-off between cost and availability of indexed data in a cloud log aggregation solution such as splunk or sumo
US8392437B2 (en) Method and system for providing deduplication information to applications
CN110958300B (zh) 一种数据的上传方法、***、装置、电子设备和计算机可读介质
CN109460252B (zh) 基于git的配置文件处理方法、装置和计算机设备
JP2011508342A (ja) 非同期型レプリケーション
CN113987089B (zh) 一种***级联方法、数据处理方法及装置
WO2021068740A1 (zh) 一种文件管理方法及装置
CN115203159B (zh) 一种数据存储方法、装置、计算机设备和存储介质
CN113157658B (zh) 客户端日志收集分发方法、装置及计算机设备
CN114489762A (zh) 一种多版本应用的实现方法、***及电子设备
US11321374B2 (en) External storage of unstructured database objects
CN114490509A (zh) 跟踪改变数据捕获日志历史
CN111488242B (zh) 将条带化备份加标签和路由到重复数据删除设备上的单个重复数据删除实例的方法和***
US20210397599A1 (en) Techniques for generating a consistent view of an eventually consistent database
CN112711466B (zh) 悬挂事务巡检方法和装置、电子设备和存储介质
CN111694801A (zh) 一种应用于故障恢复的数据去重方法和装置
CN114564211A (zh) 集群部署方法、集群部署装置、设备及介质
CN114564925A (zh) 报表生成方法、装置、电子设备及可读存储介质
CN112527760A (zh) 数据存储方法、装置、服务器及介质
CN112199529A (zh) 图片处理方法、装置、电子设备及存储介质
CN111614743B (zh) 文件检测方法、装置、计算机设备和存储介质
WO2018061070A1 (ja) 計算機システム及び分析ソースデータ管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant