CN114969058A - 一种数据更新方法、装置、设备、存储介质 - Google Patents

一种数据更新方法、装置、设备、存储介质 Download PDF

Info

Publication number
CN114969058A
CN114969058A CN202210832817.XA CN202210832817A CN114969058A CN 114969058 A CN114969058 A CN 114969058A CN 202210832817 A CN202210832817 A CN 202210832817A CN 114969058 A CN114969058 A CN 114969058A
Authority
CN
China
Prior art keywords
data
current user
updating
user data
structure model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210832817.XA
Other languages
English (en)
Inventor
任广磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Inspur Data Technology Co Ltd
Original Assignee
Jinan Inspur Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Inspur Data Technology Co Ltd filed Critical Jinan Inspur Data Technology Co Ltd
Priority to CN202210832817.XA priority Critical patent/CN114969058A/zh
Publication of CN114969058A publication Critical patent/CN114969058A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2246—Trees, e.g. B+trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据更新方法、装置、设备、存储介质，涉及计算机技术领域，包括：采集当前用户数据，并抓取当前用户数据中的实体标识；对实体标识和预先保存的与当前用户数据的目标数据结构模型对应的标准实体标识进行比对，并获取比对结果；基于比对结果选择是否进行当前用户数据的更新操作。由此可见，通过对实体标识和预先保存的标准实体标识进行比对，以获得相应的比对结果，然后基于比对结果进行选择数据是否更新，这样一来，可以根据采集到的数据实时进行更新，而避免了需要从树形结构数据的节点处层层向下获取所有数据，将所有数据进行比较，在选择是否更新的低效率问题，提高用户海量数据更新的核心竞争力。

Description

一种数据更新方法、装置、设备、存储介质
技术领域
本发明涉及计算机技术领域，特别涉及一种数据更新方法、装置、设备、存储介质。
背景技术
在信息化时代，存在大量的数据需要收集及更新，当数据量非常庞大时，采集加更新的效率就是一个需要面临解决的问题。目前使用的数据结构一般为树形结构，那么树形结构的数据更新目前都是从根节点，层层向下获取数据以及更新数据，但是很多情况下，仅有部分数据有变化需要更新，而通过上述的更新方式层层向下获取所有数据的方式会导致每一次数据更新前需要做大量的数据对比，浪费数据对比的时间，进而影响数据更新的效率，这样一来，所有数据的对比更新就是影响效率的点。
综上，如何实现提高数据更新效率、提高数据实时性以及提高用户海量数据更新的核心竞争力是本领域有待解决的技术问题。
发明内容
有鉴于此，本发明的目的在于提供一种数据更新方法、装置、设备、存储介质，能够实现提高数据更新效率、提高数据实时性以及提高用户海量数据更新的核心竞争力。其具体方案如下：
第一方面，本申请公开了一种数据更新方法，包括：
采集当前用户数据，并抓取所述当前用户数据中的实体标识；
对所述实体标识和预先保存的与所述当前用户数据的目标数据结构模型对应的标准实体标识进行比对，并获取比对结果；
基于所述比对结果选择是否进行当前用户数据的更新操作。
可选的，所述采集当前用户数据，包括：
基于用户场景选择通过主动采集方式和/或被动接收方式采集当前用户数据。
可选的，所述采集当前用户数据，包括：
基于预设固定时间周期采集当前用户数据。
可选的，所述采集当前用户数据之后，还包括：
若所述当前用户数据中不存在实体标识，则基于所述当前用户数据创建相应的数据结构模型；
相应的，所述基于所述比对结果选择是否进行当前用户数据的更新操作，包括：
基于所述数据结构模型对所述当前用户数据进行更新并保存。
可选的，所述对所述实体标识和预先保存的与所述当前用户数据的目标数据数据模型对应的标准实体标识进行比对之前，还包括：
判断所述当前用户数据的数据结构模型是否存在；
若不存在所述数据结构模型，则基于所述当前用户数据生成对应的目标数据结构模型。
可选的，所述数据更新方法，还包括：
基于用户需求对目标数据结构模型的数据更新策略进行调整，以完成对所述目标数据结构模型的更新，得到当前数据结构模型，并将所述当前数据结构模型作为目标数据结构模型。
可选的，所述基于所述比对结果选择是否进行当前用户数据的更新操作，包括：
若实体标识与标准实体标识的比对结果一致，则不执行所述当前用户数据的更新操作；
若实体标识与标准实体标识的比对结果不一致，则基于所述标准实体标识对应的目标数据结构模型中的数据更新策略执行所述当前用户数据的更新操作。
第二方面，本申请公开了一种数据更新装置，包括：
标识抓取模块，用于采集当前用户数据，并抓取所述当前用户数据中的实体标识；
比对模块，用于对所述实体标识和预先保存的与所述当前用户数据的目标数据结构模型对应的标准实体标识进行比对，并获取比对结果；
数据更新模块，用于基于所述比对结果选择是否进行当前用户数据的更新操作。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述公开的数据更新方法的步骤。
第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的数据更新方法的步骤。
可见，本申请公开了一种数据更新方法，包括：采集当前用户数据，并抓取所述当前用户数据中的实体标识；对所述实体标识和预先保存的与所述当前用户数据的目标数据结构模型对应的标准实体标识进行比对，并获取比对结果；基于所述比对结果选择是否进行当前用户数据的更新操作。由此可见，本申请通过对实体标识和预先保存的标准实体标识进行比对，以获得相应的比对结果，然后基于比对结果进行选择数据是否更新，这样一来，可以根据采集到的数据实时进行更新，而避免了需要从树形结构数据的节点处层层向下获取所有数据，将所有数据进行比较，在选择是否更新的低效率问题，提高用户海量数据更新的核心竞争力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种数据更新方法流程图；
图2为本申请公开的一种具体的数据更新方法流程图；
图3为本申请公开的另一种具体的数据更新方法流程图；
图4为本申请公开的一种数据更新装置结构示意图；
图5为本申请公开的一种电子设备结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在信息化时代，存在大量的数据需要收集及更新，当数据量非常庞大时，采集加更新的效率就是一个需要面临解决的问题。目前使用的数据结构一般为树形结构，那么树形结构的数据更新目前都是从根节点，层层向下获取数据以及更新数据，但是很多情况下，仅有部分数据有变化需要更新，而通过上述的更新方式层层向下获取所有数据的方式会导致每一次数据更新前需要做大量的数据对比，浪费数据对比的时间，进而影响数据更新的效率，这样一来，所有数据的对比更新就是影响效率的点。
为此，本申请公开了一种数据更新方案，能够实现提高数据更新效率、提高数据实时性以及提高用户海量数据更新的核心竞争力。
参照图1所示，本发明实施例公开了一种数据更新方法，包括：
步骤S11：采集当前用户数据，并抓取所述当前用户数据中的实体标识。
本实施例中，统一采集当前用户数据，并且从当前的用户数据中抓取数据中包含的Etag实体标识，其中，Etag实体标识具体为用来判断数据是否已经被修改的标识，例如：当客户端请求一个页面A，服务器返回页面A，并在给页面A加上一个Etag。客户端展现该页面，并将页面连同Etag一起缓存。客户再次请求页面A，并将上次请求时服务器返回的Etag一起传递给服务器。服务器检查该Etag，并判断出该页面自上次客户端请求之后还未被修改，直接返回响应304和一个空的响应体。而在本实施例中，通过将用户数据也加入Etag的实体标识以后，用于识别当前用户数据是否存在变化，方便进行数据更新的等操作。
本实施例中，若所述当前用户数据中不存在实体标识，则基于所述当前用户数据创建相应的数据结构模型；基于所述数据结构模型对所述当前用户数据进行更新并保存。可以理解的是，若采集到的当前用户数据中不包含Etag等实体标识信息，那么针对该数据可以理解为第一次收到的用户数据，需要将收到的当前用户数据的数据模型和当前用户数据记录在存储模块，供后续模块处理，其中后续模块的处理即为基于当前用户数据创建对应的数据结构模型，基于所述数据结构模型对所述当前用户数据进行更新并保存。
步骤S12：对所述实体标识和预先保存的与所述当前用户数据的目标数据结构模型对应的标准实体标识进行比对，并获取比对结果。
本实施例中，从本地数据库中查找与当前用户数据的数据模型的目标数据结构模型，并且比较二者的实体标识是否一致，以得到比对结果一致或比对结果不一致的比对结果。
步骤S13：基于所述比对结果选择是否进行当前用户数据的更新操作。
本实施例中，当获取上述步骤产生的比对结果之后，根据比对结果进行相应的数据操作。
在一种实施方式中，若实体标识与标准实体标识的比对结果一致，则不执行所述当前用户数据的更新操作。可以理解的是，由于将当前用户数据的Etag实体标识与上次记录的目标Etag实体标识进行比较的结果为Etag的值相同，则表示当前用户数据未产生变化，无需进行数据更新的操作，结束流程处理。
在另一种实施方式中，若实体标识与标准实体标识的比对结果不一致，则基于所述标准实体标识对应的目标数据结构模型中的数据更新策略执行所述当前用户数据的更新操作。可以理解的是，由于当前用户数据的Etag实体标识与已记录的最新的目标实体标识不相同时，则更新当前用户数据，并为所述更新后的当前用户数据记录最新的目标实体标识。需要注意的是，在数据更新的过程中，需要使用相应的更新策略进行更新，具体更新过程为，基于数据资源的途径和当前用户数据所用的数据模型并基于预设算法生成该数据的Etag实体标识，例如：基于URL_SAFE_BASE64(SHA-256(资源路径+更新模型(包含值)))生成Etag实体标识；上述SHA算法可自选，可使用自选的算法进行替换。由此可见，本实施例通过支持接收的数据包含Etag等实体标识，接收到的数据含有Etag标识则校验数据时优先判断该标识是否变化。
可见，本申请公开了一种数据更新方法，包括：采集当前用户数据，并抓取所述当前用户数据中的实体标识；对所述实体标识和预先保存的与所述当前用户数据的目标数据结构模型对应的标准实体标识进行比对，并获取比对结果；基于所述比对结果选择是否进行当前用户数据的更新操作。由此可见，本申请通过对实体标识和预先保存的标准实体标识进行比对，以获得相应的比对结果，然后基于比对结果进行选择数据是否更新，这样一来，可以根据采集到的数据实时进行更新，而避免了需要从树形结构数据的节点处层层向下获取所有数据，将所有数据进行比较，在选择是否更新的低效率问题，提高用户海量数据更新的核心竞争力。
参照图2所示，本发明实施例公开了一种具体的数据更新方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：
步骤S21：基于用户场景选择通过主动采集方式和/或被动接收方式采集当前用户数据，抓取所述当前用户数据中的实体标识。
本实施例中，基于用户场景选择通过主动采集方式和/或被动接收方式采集当前用户数据，在一种实施方式中，若被动接收方式采集数据，根据接收到的当前用户数据是否含有Etag实体标识进行不同处理，当接收到的当前用户数据含有Etag实体标识时，记录该Etag实体标识，并与上次记录的Etag实体标识进行比较，如果Etag的值相同，则表示当前用户数据未变化，无需后续处理，流程结束。当接收到的当前用户数据无Etag实体标识时，需要将收到当前用户数据的数据模型和数据记录在存储模块，供后续模块处理。
在另一种实施方式中，用户主动采集当前用户数据时，根据接收到的当前用户数据是否含有Etag实体标识进行不同处理：当采集到的当前用户数据含有Etag实体标识时，记录该Etag实体标识，并与上次记录的Etag实体标识进行比较，如果Etag的值相同，则表示数据未变化，无需后续处理，流程结束。当接收到的当前用户数据无Etag实体标识时，需要将收到数据的数据模型和数据记录在存储模块，供后续模块处理。
步骤S22：判断所述当前用户数据的数据结构模型是否存在；若不存在所述数据结构模型，则基于所述当前用户数据生成对应的目标数据结构模型。
本实施例中，若基于接收到的当前用户数据从本地数据库中无法找到对应的数据结构模型，说明该用户数据为第一次被采集到，需要记录该用户数据并基于当前用户数据生成对应的目标数据结构模型，然后基于当前的目标数据结构模型生成相应的更新策略，对当前用户数据根据更新策略进行更新处理，第一次收到数据时，记录该数据结构模型，并将整个数据模型作为默认更新策略，即该数据结构的所有信息均需要进行对比。将上述记录的数据模型通过界面展示给用户，用户可根据自己需求对整个数据模型的更新策略进行调整，并生成新的更新策略，并将此策略调整为默认策略。而在更新策略的生成过程中存在两种方式，一种方式为直接基于当前数据结构模型和预先设置的策略生成方式进行新策略的生成，另一种方式为基于用户需求对目标数据结构模型的数据更新策略进行调整，以完成对所述目标数据结构模型的更新，得到当前数据结构模型，并将所述当前数据结构模型作为目标数据结构模型。可以理解的是，第一种方式更多不依靠用户的调整，自动根据新数据结构模型生成相应的更新策略，然后因为该更新策略满足需求，则直接使用该更新策略进行数据更新操作；第二种方式更多考虑了用户需求，当自动生成的更新策略不满足用户需求，用户可选择编辑该策略并创建新更新策略；其中，更新策略会在初次获取数据时将获取到的数据根据策略进行分类并记录资源路径，后续采集的数据根据已存储的资源路径仅记录更新策略所需数据。并且数据更新策略可以选择一次采集整个结构的数据，可以选择整体结构的部分子结构数据等，根据用户需求分析各个适用场景的最优策略。并且本实施例中还支持一种数据结构存在多种更新策略，更新策略为用户需求服务，更好地提高了用户的体验性。
步骤S23：将当前用户数据的实体标识作为当前数据结构的标准实体标识，并与所述目标数据结构模型存储在本地数据库中。
本实施例中，将目标数据结构模型、当前用户数据、以及生成的Etag保存至本地数据库中，以便当后续出现该类型的用户数据时从本地数据库中直接查询对应的数据结构模型和Etag用于比对，并且用户完成更新策略的选择后，可以选择***目前支持的存储模块进行策略的存储，存储方式支持目前常用的方式，存储方式具体可以包括但不限于：内存，数据库，缓存等介质。
本实施例中，对于树形结构数据的更新设计合理的采集方式，更新策略，Etag生成，数据对比，存储方式，提高数据更新的效率；通过主动或被动方式采集数据，数据更新策略，数据处理，数据存储方式的有机结合，提高数据更新的效率；包括：数据采集模块，数据更新策略模块，数据处理模块，存储模块。当接收到更新数据，或主动采集到数据时，通过采集模块统一处理数据；数据更新策略针对不同的更新需求进行策略创建，编辑，删除等维护，针对采集到的数据默认配置对比所有数据；处理模块根据采集到的数据和更新策略对数据进行对比，分析数据是否变化，是否需要更新；存储模块负责存储采集到的数据，更新策略，数据处理算法等的存储，当进行数据采集时，可根据用户场景选择被动接收或者主动采集方案；根据数据采集过程选择的方案，抓取数据中是否包含Etag实体标识，如采集到的数据中有Etag实体标识，则对比生成的Etag实体标识与该数据模型对应的已记录的Etag实体标识，如Etag相同，则流程结束，放弃更新该数据；如Etag不同，执行更新数据的操作并记录最新的实体标识；如无Etag实体标识，则表示目前为第一版数据，根据采集到的数据创建并记录数据模型，如该模型满足用户需求，则根据用户选择的数据更新模型生成Etag实体标识；如该模型不满足用户需求，则用户可在该数据模型的基础上进行编辑并创建新的数据更新模型；将新的数据更新模型存储至预设数据库或其他存储介质中，以便当再次进行数据的更新操作时，用于提供数据更新模型进行比对。需要注意的是，本实施例中的数据更新方式不仅可以应用于树形结构数据还可以应用于其他结构数据的数据更新操作，对此不进行限定。
由此可见，本实施例中通过不同的数据采集方式采集数据，支持接收数据变化通知，主动采集通知中明确的变化数据，能够实时进行数据的更新，提高效率，并且通过不同更新策略的生成方式，大大提高了用户的体验感，提升产品竞争力。
参照图3所示，本发明实施例公开了一种具体的数据更新方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：
步骤S31：基于预设固定时间周期采集当前用户数据，抓取所述当前用户数据中的实体标识。
本实施例中，通过固定时间周期定期采集所有的当前用户数据，这样一来，通过定期采集的方式采集数据，然后进行相应的数据更新操作，能够及时在本地数据库中更新数据的实体标识为最新标识，并更新最新的用户数据，避免通过主动或被动的采集方式，造成的某些不常用的数据的采集的遗漏，提高整体的更新操作的效率。
步骤S32：对所述实体标识和预先保存的与所述当前用户数据的目标数据结构模型对应的标准实体标识进行比对，并获取比对结果。
步骤S32：基于所述比对结果选择是否进行当前用户数据的更新操作。
其中，步骤S32、步骤S33中更加详细的处理过程请参照前述公开的实施例，在此不再进行赘述。
由此可见，本申请通过定期数据采集，进行相应的数据更新操作，基于用户的个性化需求进行数据更新，提高更新效率。
参照图4所示，本发明实施例公开了一种数据更新装置，包括：
标识抓取模块11，用于采集当前用户数据，并抓取所述当前用户数据中的实体标识；
比对模块12，用于对所述实体标识和预先保存的与所述当前用户数据的目标数据结构模型对应的标准实体标识进行比对，并获取比对结果；
数据更新模块13，用于基于所述比对结果选择是否进行当前用户数据的更新操作。
在标识抓取模块11中，统一采集当前用户数据，并且从当前的用户数据中抓取数据中包含的Etag实体标识，其中，Etag实体标识具体为用来判断数据是否已经被修改的标识，例如：当客户端请求一个页面A，服务器返回页面A，并在给页面A加上一个Etag。客户端展现该页面，并将页面连同Etag一起缓存。客户再次请求页面A，并将上次请求时服务器返回的Etag一起传递给服务器。服务器检查该Etag，并判断出该页面自上次客户端请求之后还未被修改，直接返回响应304和一个空的响应体。而在本实施例中，通过将用户数据也加入Etag的实体标识以后，用于识别当前用户数据是否存在变化，方便进行数据更新的等操作。若所述当前用户数据中不存在实体标识，则基于所述当前用户数据创建相应的数据结构模型；基于所述数据结构模型对所述当前用户数据进行更新并保存。可以理解的是，若采集到的当前用户数据中不包含Etag等实体标识信息，那么针对该数据可以理解为第一次收到的用户数据，需要将收到的当前用户数据的数据模型和当前用户数据记录在存储模块，供后续模块处理，其中后续模块的处理即为基于当前用户数据创建对应的数据结构模型，基于所述数据结构模型对所述当前用户数据进行更新并保存。
在比对模块12中，若基于接收到的当前用户数据从本地数据库中无法找到对应的数据结构模型，说明该用户数据为第一次被采集到，需要记录该用户数据并基于当前用户数据生成对应的目标数据结构模型，然后基于当前的目标数据结构模型生成相应的更新策略，对当前用户数据根据更新策略进行更新处理，第一次收到数据时，记录该数据结构模型，并将整个数据模型作为默认更新策略，即该数据结构的所有信息均需要进行对比。将上述记录的数据模型通过界面展示给用户，用户可根据自己需求对整个数据模型的更新策略进行调整，并生成新的更新策略，并将此策略调整为默认策略。而在更新策略的生成过程中存在两种方式，一种方式为直接基于当前数据结构模型和预先设置的策略生成方式进行新策略的生成，另一种方式为基于用户需求对目标数据结构模型的数据更新策略进行调整，以完成对所述目标数据结构模型的更新，得到当前数据结构模型，并将所述当前数据结构模型作为目标数据结构模型。可以理解的是，第一种方式更多不依靠用户的调整，自动根据新数据结构模型生成相应的更新策略，然后因为该更新策略满足需求，则直接使用该更新策略进行数据更新操作；第二种方式更多考虑了用户需求，当自动生成的更新策略不满足用户需求，用户可选择编辑该策略并创建新更新策略；其中，更新策略会在初次获取数据时将获取到的数据根据策略进行分类并记录资源路径，后续采集的数据根据已存储的资源路径仅记录更新策略所需数据。并且数据更新策略可以选择一次采集整个结构的数据，可以选择整体结构的部分子结构数据等，根据用户需求分析各个适用场景的最优策略。并且本实施例中还支持一种数据结构存在多种更新策略，更新策略为用户需求服务，更好地提高了用户的体验性。
在数据更新模块13中，将目标数据结构模型、当前用户数据、以及生成的Etag保存至本地数据库中，以便当后续出现该类型的用户数据时从本地数据库中直接查询对应的数据结构模型和Etag用于比对，并且用户完成更新策略的选择后，可以选择***目前支持的存储模块进行策略的存储，存储方式支持目前常用的方式，存储方式具体可以包括但不限于：内存，数据库，缓存等介质。对于树形结构数据的更新设计合理的采集方式，更新策略，Etag生成，数据对比，存储方式，提高数据更新的效率；通过主动或被动方式采集数据，数据更新策略，数据处理，数据存储方式的有机结合，提高数据更新的效率；包括：数据采集模块，数据更新策略模块，数据处理模块，存储模块。当接收到更新数据，或主动采集到数据时，通过采集模块统一处理数据；数据更新策略针对不同的更新需求进行策略创建，编辑，删除等维护，针对采集到的数据默认配置对比所有数据；处理模块根据采集到的数据和更新策略对数据进行对比，分析数据是否变化，是否需要更新；存储模块负责存储采集到的数据，更新策略，数据处理算法等的存储，当进行数据采集时，可根据用户场景选择被动接收或者主动采集方案；根据数据采集过程选择的方案，抓取数据中是否包含Etag实体标识，如采集到的数据中有Etag实体标识，则对比生成的Etag实体标识与该数据模型对应的已记录的Etag实体标识，如Etag相同，则流程结束，放弃更新该数据；如Etag不同，执行更新数据的操作并记录最新的实体标识；如无Etag实体标识，则表示目前为第一版数据，根据采集到的数据创建并记录数据模型，如该模型满足用户需求，则根据用户选择的数据更新模型生成Etag实体标识；如该模型不满足用户需求，则用户可在该数据模型的基础上进行编辑并创建新的数据更新模型；将新的数据更新模型存储至预设数据库或其他存储介质中，以便当再次进行数据的更新操作时，用于提供数据更新模型进行比对。需要注意的是，本实施例中的数据更新方式不仅可以应用于树形结构数据还可以应用于其他结构数据的数据更新操作，对此不进行限定。
可见，本申请公开了一种数据更新方法，包括：采集当前用户数据，并抓取所述当前用户数据中的实体标识；对所述实体标识和预先保存的与所述当前用户数据的目标数据结构模型对应的标准实体标识进行比对，并获取比对结果；基于所述比对结果选择是否进行当前用户数据的更新操作。由此可见，本申请通过对实体标识和预先保存的标准实体标识进行比对，以获得相应的比对结果，然后基于比对结果进行选择数据是否更新，这样一来，可以根据采集到的数据实时进行更新，而避免了需要从树形结构数据的节点处层层向下获取所有数据，将所有数据进行比较，在选择是否更新的低效率问题，提高用户海量数据更新的核心竞争力。
在一些具体实施方式中，所述标识抓取模块11，具体可以包括：
数据采集单元，用于基于用户场景选择通过主动采集方式和/或被动接收方式采集当前用户数据。
在一些具体实施方式中，所述标识抓取模块11，具体可以包括：
固定周期采集单元，用于基于预设固定时间周期采集当前用户数据。
在一些具体实施方式中，所述标识抓取模块11，具体可以包括：
模型创建单元，用于若所述当前用户数据中不存在实体标识，则基于所述当前用户数据创建相应的数据结构模型；
相应的，所述基于所述比对结果选择是否进行当前用户数据的更新操作，包括：基于所述数据结构模型对所述当前用户数据进行更新并保存。
在一些具体实施方式中，所述比对模块12，具体可以包括：
判断单元，用于判断所述当前用户数据的数据结构模型是否存在；若不存在所述数据结构模型，则基于所述当前用户数据生成对应的目标数据结构模型。
在一些具体实施方式中，所述树形结构数据更新装置，具体可以包括：
策略调整单元，用于基于用户需求对目标数据结构模型的数据更新策略进行调整，以完成对所述目标数据结构模型的更新，得到当前数据结构模型，并将所述当前数据结构模型作为目标数据结构模型。
在一些具体实施方式中，所述数据更新模块13，具体可以包括：
更新操作单元，用于若实体标识与标准实体标识的比对结果一致，则不执行所述当前用户数据的更新操作；若实体标识与标准实体标识的比对结果不一致，则基于所述标准实体标识对应的目标数据结构模型中的数据更新策略执行所述当前用户数据的更新操作。
进一步的，本申请实施例还公开了一种电子设备，图5是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图5为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的数据更新方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作***221、计算机程序222等，存储方式可以是短暂存储或者永久存储。
其中，操作***221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的数据更新方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223除了可以包括电子设备接收到的由外部设备传输进来的数据，也可以包括由自身输入输出接口25采集到的数据等。
进一步的，本申请还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的数据更新方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种数据更新方法、装置、设备、存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种数据更新方法，其特征在于，包括：
采集当前用户数据，并抓取所述当前用户数据中的实体标识；
对所述实体标识和预先保存的与所述当前用户数据的目标数据结构模型对应的标准实体标识进行比对，并获取比对结果；
基于所述比对结果选择是否进行当前用户数据的更新操作。
2.根据权利要求1所述的数据更新方法，其特征在于，所述采集当前用户数据，包括：
基于用户场景选择通过主动采集方式和/或被动接收方式采集当前用户数据。
3.根据权利要求1所述的数据更新方法，其特征在于，所述采集当前用户数据，包括：
基于预设固定时间周期采集当前用户数据。
4.根据权利要求1所述的数据更新方法，其特征在于，所述采集当前用户数据之后，还包括：
若所述当前用户数据中不存在实体标识，则基于所述当前用户数据创建相应的数据结构模型；
相应的，所述基于所述比对结果选择是否进行当前用户数据的更新操作，包括：
基于所述数据结构模型对所述当前用户数据进行更新并保存。
5.根据权利要求1所述的数据更新方法，其特征在于，所述对所述实体标识和预先保存的与所述当前用户数据的目标数据数据模型对应的标准实体标识进行比对之前，还包括：
判断所述当前用户数据的数据结构模型是否存在；
若不存在所述数据结构模型，则基于所述当前用户数据生成对应的目标数据结构模型。
6.根据权利要求1所述的数据更新方法，其特征在于，还包括：
基于用户需求对目标数据结构模型的数据更新策略进行调整，以完成对所述目标数据结构模型的更新，得到当前数据结构模型，并将所述当前数据结构模型作为目标数据结构模型。
7.根据权利要求1至6任一项所述的数据更新方法，其特征在于，所述基于所述比对结果选择是否进行当前用户数据的更新操作，包括：
若实体标识与标准实体标识的比对结果一致，则不执行所述当前用户数据的更新操作；
若实体标识与标准实体标识的比对结果不一致，则基于所述标准实体标识对应的目标数据结构模型中的数据更新策略执行所述当前用户数据的更新操作。
8.一种数据更新装置，其特征在于，包括：
标识抓取模块，用于采集当前用户数据，并抓取所述当前用户数据中的实体标识；
比对模块，用于对所述实体标识和预先保存的与所述当前用户数据的目标数据结构模型对应的标准实体标识进行比对，并获取比对结果；
数据更新模块，用于基于所述比对结果选择是否进行当前用户数据的更新操作。
9.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的数据更新方法的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的数据更新方法的步骤。
CN202210832817.XA 2022-07-15 2022-07-15 一种数据更新方法、装置、设备、存储介质 Pending CN114969058A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210832817.XA CN114969058A (zh) 2022-07-15 2022-07-15 一种数据更新方法、装置、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210832817.XA CN114969058A (zh) 2022-07-15 2022-07-15 一种数据更新方法、装置、设备、存储介质

Publications (1)

Publication Number Publication Date
CN114969058A true CN114969058A (zh) 2022-08-30

Family

ID=82970153

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210832817.XA Pending CN114969058A (zh) 2022-07-15 2022-07-15 一种数据更新方法、装置、设备、存储介质

Country Status (1)

Country Link
CN (1) CN114969058A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115599793A (zh) * 2022-09-28 2023-01-13 北京亚控科技发展有限公司（Cn） 一种更新数据的方法、装置及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115599793A (zh) * 2022-09-28 2023-01-13 北京亚控科技发展有限公司（Cn） 一种更新数据的方法、装置及存储介质
CN115599793B (zh) * 2022-09-28 2024-01-26 北京亚控科技发展有限公司 一种更新数据的方法、装置及存储介质

Similar Documents

Publication Publication Date Title
US20210303524A1 (en) Management of journal entries associated with customizations of knowledge objects in a search head cluster
US11062016B2 (en) Systems and methods for verifying user credentials for search
CN102571420B (zh) 一种网元数据管理方法及***
US20110154339A1 (en) Incremental mapreduce-based distributed parallel processing system and method for processing stream data
US11822433B2 (en) Qualification parameters for captain selection in a search head cluster
US11841834B2 (en) Method and apparatus for efficient synchronization of search heads in a cluster using digests
CN114153806A (zh) 一种文件存储方法、装置、设备及存储介质
CN104135507A (zh) 一种防盗链的方法和装置
CN112036125A (zh) 一种文档管理方法、装置及计算机设备
CN114969058A (zh) 一种数据更新方法、装置、设备、存储介质
CN112491609A (zh) 基于业务服务的***应用架构发现方法及***
CN112231481A (zh) 网址的分类方法、装置、计算机设备和存储介质
CN111984660A (zh) 数据同步方法、装置、设备及存储介质
CN115408569A (zh) 一种进程溯源树简化方法、装置、设备及介质
CN108628702B (zh) 聊天记录的备忘方法、装置、电子设备和存储介质
CN115455477A (zh) 一种数据权限管理方法、装置、设备、介质及程序产品
CN111966533A (zh) 电子文件管理方法、装置、计算机设备和存储介质
CN116991815B (zh) 一种分布式存储***的日志收集方法、装置、设备及介质
CN113297158B (zh) 一种云安全产品管理方法、装置、设备及存储介质
CN115801569B (zh) 一种访问规则部署方法、装置、设备、介质及云平台
CN111930718B (zh) 配置管理数据库的节点调整方法及装置
JP2006003996A (ja) 利用履歴管理装置、利用履歴管理方法および利用履歴管理プログラム
CN115495769B (zh) 一种数据脱敏方法、***、可读存储介质及设备
CN118132067A (zh) 一种微模块监控***及其配置界面修改方法、设备及介质
CN115730171A (zh) 一种数据存储方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination