CN109815240A - 用于管理索引的方法、装置、设备和存储介质 - Google Patents

用于管理索引的方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN109815240A
CN109815240A CN201910088131.2A CN201910088131A CN109815240A CN 109815240 A CN109815240 A CN 109815240A CN 201910088131 A CN201910088131 A CN 201910088131A CN 109815240 A CN109815240 A CN 109815240A
Authority
CN
China
Prior art keywords
index
target
data
label
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910088131.2A
Other languages
English (en)
Other versions
CN109815240B (zh
Inventor
伍检
王杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910088131.2A priority Critical patent/CN109815240B/zh
Publication of CN109815240A publication Critical patent/CN109815240A/zh
Priority to US16/690,829 priority patent/US11308060B2/en
Priority to EP19210737.3A priority patent/EP3690669A1/en
Priority to JP2019211255A priority patent/JP6982049B2/ja
Priority to KR1020190157615A priority patent/KR102368775B1/ko
Application granted granted Critical
Publication of CN109815240B publication Critical patent/CN109815240B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/221Column-oriented storage; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • G06F16/2272Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2365Ensuring data consistency and integrity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/248Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

根据本公开的示例实施例,提供了用于管理索引的方法、装置、设备和计算机可读存储介质。用于管理索引的方法包括确定针对数据库中存储的目标数据的目标索引,目标索引具有相对应的索引标记,用于标识目标索引的存储版本。该方法还包括基于目标索引,获取数据库中存储的目标数据,目标数据具有相对应的数据标记,用于标识目标数据的存储版本。该方法进一步包括响应于索引标记与数据标记不匹配,确定与目标索引相关联的操作。以此方式,能够实现数据库索引的有效管理,减少后续调用的时间开销并提高数据读取的性能。

Description

用于管理索引的方法、装置、设备和存储介质
技术领域
本公开的实施例主要涉及计算机领域,并且更具体地,涉及用于管理索引的方法、装置、设备和计算机可读存储介质。
背景技术
随着各个领域对数据需求的增加,数据库技术得到越来越广泛应用。为了更方便地查询所需数据,有时需要在数据库中创建二级索引。随着数据的不断更新,所创建的索引中的一些可能已经不再适合用于其所指示的数据,这样的索引需要被清除。因此,需要高效地管理这些索引,以提高数据库的性能。然而,在索引管理的传统方式中,需要对每个待处理的索引及其指示的数据执行一系列操作才能确定该索引是否应当被清除,这降低了数据库的性能。
发明内容
根据本公开的示例实施例,提供了一种用于管理索引的方案。
在本公开的第一方面中,提供了一种管理索引的方法。该方法包括确定针对数据库中存储的目标数据的目标索引,目标索引具有相对应的索引标记,用于标识目标索引的存储版本。该方法还包括基于目标索引,获取数据库中存储的目标数据,目标数据具有相对应的数据标记,用于标识目标数据的存储版本。该方法进一步包括响应于索引标记与数据标记不匹配,确定与目标索引相关联的操作。
在本公开的第二方面中,提供了一种用于管理索引的装置。该装置包括索引确定模块,被配置为确定针对数据库中存储的目标数据的目标索引,目标索引具有相对应的索引标记,用于标识目标索引的存储版本。该装置还包括数据获取模块,被配置为基于目标索引,获取数据库中存储的目标数据,目标数据具有相对应的数据标记,用于标识目标数据的存储版本。该装置进一步包括操作确定模块,被配置为响应于索引标记与数据标记不匹配,确定与目标索引相关联的操作。
在本公开的第三方面中,提供了一种设备,包括一个或多个处理器;以及存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现根据本公开的第一方面的方法。
在本公开的第四方面中,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现根据本公开的第一方面的方法。
应当理解,发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征,亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中,相同或相似的附图标注表示相同或相似的元素,其中:
图1示出了本公开的实施例能够在其中实现的示例环境的示意图;
图2示出了根据本公开的实施例的管理索引的过程的流程图;
图3示出了图示根据本公开的一些实施例的数据存储结构的示意图;
图4示出了图示根据本公开的一些实施例的存储索引标记和数据标记的表的示意图;
图5示出了图示根据本公开的一些实施例的干预字段的示意图;
图6示出了根据本公开的一些实施例的确定与目标索引相关联的操作的过程的流程图;
图7示出了根据本公开的实施例的用于管理索引的装置的示意性框图;以及
图8示出了能够实施本公开的多个实施例的计算设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
在本公开的实施例的描述中,术语“包括”及其类似用语应当理解为开放性包含,即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
如上文所提及的,在一些情况下,需要在数据库中创建二级索引来更好地响应数据查询请求。下面以数据库HBase为例进行说明。HBase是一个高可靠性、高性能、面向列和可扩展的分布式存储***。用户通过行键(rowkey)和行键的范围来检索数据和进行主键查询(以行键作为主键),能够高性能的在海量数据中查询目标数据。然而,在实际应用中,很多需求都是对非主键查询。尽管HBase提供过滤的方式对非主键进行扫描,但这种方式需要的数据往往需要进行全表扫描,对整个集群性能消耗较大并且查询性能较低,在超大规模数据量的场景下不适用。
为了使用非主键查询,目前通常是对HBase源数据表中的数据建立倒排索引(即,二级索引),再通过倒排索引中行键得到对应的HBase源数据表的行键信息,进而定位到目标数据。倒排索引的存储与设计有关,可以与HBase源数据表是同一个表,也可以为单独表。
在流式数据生产中,HBase源数据表中的数据不断更新,导致倒排索引中存在已经不再适合于其所指示的数据的索引(在本文中又可以被称为脏索引)。在这种情况下,需要执行退场动作来清理脏索引。在数据写入时清理脏索引将导致写入速度下降,对于写入性能高的***,通常将该动作延迟到数据读取时进行。
传统上,二级索引的延迟退场采用两种解决方案。第一种方案是批量延迟退场。这种方案中,在数据读取同时对数据上所有二级索引执行退场逻辑判断来确定是否清理某个二级索引。第二种方案是按需延迟退场。这种方案中,在数据读取同时仅对查询命中的二级索引进行退场逻辑判断,最多影响命中的索引数据。
在这两种传统方案中,均需要对每个待处理的索引执行一系列操作(即,退场逻辑判断)才能确定该索引是否应当被清除,这降低了数据库的性能。另外,这两种传统方案使用场景有所不同,所带来的问题和不足也有不同之处。第一种方案仅能应用在索引访问密集的场景中,应用范围比较有限。通过批量延迟退场会导致大量未相关的索引也退场,从而引起性能下降。第二种方案可以按需求退场索引数据,但是每次查询都需要判断命中的索引是否需要清理,导致性能下降。
根据本公开的实施例,提出了一种管理索引的方案。在该方案中,设置用于标识目标索引的存储版本的索引标记和用于标识目标数据的存储版本的数据标记,通过比较索引标记和数据标记可以确定与目标索引相关联的操作。以此方式,能够减少确定目标索引是否应当被删除所需的操作。因此,本公开的方案能够有利地实现数据库索引的有效管理,从而减少后续调用的时间开销并提高数据读取的性能。
以下将参照附图来具体描述本公开的实施例。
图1示出了本公开的实施例能够在其中实现的示例环境100的示意图。在该示例环境100中,数据库101中存储有数据121、123,并且数据具有相对应的数据标记122、124,用于标识数据的存储版本。数据标记可以是时间戳或者按预定规则定义的一系列数值,只要这样的标记能够标识数据的存储版本。索引111、113具有相对应的索引标记112、114,用于标识索引的存储版本。索引标记可以是时间戳、按预定规则定义的一系列数值、或者预定标记。下文还将参考图3和图4来详细描述数据标记和索引标记。
索引111、113可以指示数据库101中存储的、其所针对的数据,例如可以利用其所针对的数据在数据库101中的存储位置来指示数据。例如,索引111可以是针对数据121的索引。索引111、113可以是基于数据库101中存储的数据的当前版本或先前版本而生成的。例如,索引111、113可以是二级索引或倒排索引。
如前文提及的,随着数据库101中存储的数据的更新,一些索引(例如,基于数据的先前版本生成的索引)可能已经不再适合于指示其原本针对的数据。在这种情况下,由计算设备102对索引(例如,索引111、113)进行管理,例如清理其中的脏索引。应当理解,图1中示出的环境100仅是示例性的,还可以使用多个计算设备来确定管理数据库101中的索引。还应当理解,计算设备102可以是固定式计算设备,也可以是便携式计算设备,诸如移动电话、平板计算机等。
数据库101可以存储在计算设备102中,也可以与计算设备102远程地存储。计算设备102可以部署在客户端,也可以部署在服务器端,本公开的范围在此方面不受限制。尽管在图1中将索引111、113示出为与数据121、123存储于同一数据库101中,但是应当理解,索引111、113也可以与数据121、123分开存储,例如存储在其他数据库中。
为了更清楚地理解本公开的实施例所提供的索引管理方案,将参照图2来进一步描述本公开的实施例。图2示出了根据本公开的实施例的管理索引的过程200的流程图。过程200可以由图1的计算设备102来实现。为便于讨论,将结合图1来描述过程200。
在框210,计算设备102确定针对数据库101中存储的目标数据的目标索引。为了便于讨论,下文将以索引111作为目标索引来描述,并且假设目标索引111所针对的目标数据为数据121。目标索引111具有相对应的索引标记112,用于标识目标索引111的存储版本。索引标记112可以是时间戳、一系列数值中的一个数值、或者预定标记。
在一些实施例中,过程200可以与数据查询过程相结合。计算设备102可以接收查询请求,例如针对目标数据121的查询请求,并且基于查询请求中的关键词,确定目标索引111。例如,计算设备102接收到来自用户的查询请求,并通过解析该查询请求而命中目标索引111。
在一些实施例中,过程200可以定期地执行,即,计算设备102可以定期地管理索引。过程200也可以响应于例如来自用户的指令而启动。在这样的实施例中,可以对数据库101中的每个索引执行过程200,并且目标索引111可以是任意索引。
在框220,计算设备102基于目标索引111,获取数据库101中存储的目标数据121,目标数据121具有相对应的数据标记122,用于标识目标数据121的存储版本。数据标记122可以是与目标数据121的写入或更新相关联的时间戳、一系列数值中的一个数值等。
在一些实施例中,计算设备102可以基于目标索引111来确定目标数据121在数据库101中的存储位置,并且基于所确定的存储位置,从数据库101中获取目标数据121。例如,当目标索引111与目标数据121存储在数据库101的同一表中时,目标索引111可以指示目标数据121在该表中的行;当目标索引111与目标数据121存储在不同表中时,目标索引111可以指示存储目标数据121的表和目标数据121在该表中哪一行。
下面将参考图3和图4以示例方式来更详细地说明目标索引、索引标记、目标数据和数据标记之间的关系。图3示出了图示根据本公开的一些实施例的数据存储结构300的示意图。图3以HBase的数据存储结构为例进行说明,应当理解这仅仅是示意性的,本公开的实施例可以应用于以任何结构存储的数据和索引。
如图3所示,元素310标识该行的元素表示各个列族(Column Family,CF),元素320标识该行元素表示各个列。数据存储结构300包括三个列族,d列族311(也可以表示为CF:d)、s列族312(也可以表示为CF:s)和i列族313(也可以表示为CF:i)。d列族311仅包括一个d:@cnt列321,其用于存储例如格式为json的源数据。
s列族312用于存储与源数据有关的***字段。例如,s:@ts列322可以存储d:@cnt列321中的数据的更新时间。s:@tag列323可以存储用于标识数据(可以包括d列族311和s列族312的数据)的存储版本的数据标记。
i列族313包括i:@tag列325,其存储索引的索引标记,例如索引标记112。在这种示例中,当行330用于存储与索引有关的信息时,d列族311和s列族312可以为空;当行330用于存储与数据有关的信息时,i列族313可以为空。在该示例中,通过给索引和数据分配不同的列族,在物理存储上将它们隔离起来,这样在访问索引时可以指定该列尽量少的数据访问,加快访问速度。
下面结合图4来描述一个具体示例。图4示出了图示根据本公开的一些实施例的存储索引标记和数据标记的表400的示意图。表400的上部分用于存储与索引有关的信息,下部分用于存储与数据有关的信息。行430包括数据的行键421(在该示例中为15)、源数据422、更新时间423(T1)和数据标记424(T1)。在该示例中,数据标记424为与源数据422的写入相对应的时间戳。行430中存储的数据是图1中的目标数据121的一个具体示例,而数据标记424是图1中的数据标记122的一个具体示例。
索引411和413是基于行430中存储的数据(例如,源数据422)按照预定义规则生成的。索引411和413分别具有相对应的索引标记412和414。以索引411为例,`Act_@type_15指示对于其所针对的目标数据而言,与“type”这一属性相对应的属性值为“Act”,并且该目标数据存储于行键为15的行中。在图4的示例中,索引411和413是在写入源数据422时生成的,因此具有与数据标记424相匹配的索引标记,即,均为时间戳T1。索引411和413是图1中的目标索引111的具体示例,而索引标记412和414图1中的索引标记112的具体示例。
如果在时间T2处,行430中的数据被更新,例如“type”这一属性的属性值被修改为["Act1","TVPlay1"],则数据标记424将被更新为时间戳T2。同时,将生成新的索引,例如`Act1_@type_15和`TVPlay1_@type_15,并且与这两个新索引相对应的索引标记将被设置为时间戳T2。在这种情况下,索引411和413已不再适合于指示行430中存储的数据,并且索引标记412和414也与数据标记424不匹配。在本公开的实施例中,数据标记和索引标记又可以分别称为数据信任标记和索引信任标记(有时统称为信任标记)。
在图4的示例中,数据标记和索引标记采取时间戳的形式。时间戳是一个递增的字段并且在数据发生变化时,时间戳将被修改,使得数据信任标记与索引信任标记不再匹配,从而触发脏索引的删除(或退场)机制。因此,使用时间戳作为信任标记可以简单地标识数据和索引的存储版本。
还可以采用其他形式的数据标记和索引标记,例如,预定义的递增数列。举例而言,可以使用公差为d的等差数列作为信任标记。在数据被初始写入数据库101时,将数据标记设置为a,同时所生成的索引的索引标记也被设置为a。当数据被修改时,数据标记递增d变为a+d,同时所生成的新索引的索引标记被设置为a+d。在这种情况下,旧索引的索引标记(值为a)与数据标记(a+d)不同,认为它们不匹配。作为另一示例,还可以使用公差为2的等差数列作为信任标记。在数据被初始写入数据库101时,将数据标记设置为b,同时所生成的索引的索引标记被设置为b+1。当数据被修改时,数据标记递增2变为b+2,同时所生成的新索引的索引标记被设置为(b+1)+2。
在图3和图4的示例中,数据及其索引被存储在同一表中,并且以不同的列族进行区分。对于诸如HBase的数据库,通过指定列族来获取数据。因此,这样的信任标记存储设计的一个优点在于,在获取数据时将同时获取列族下的@trust列(即,信任标记),而不需要添加额外的请求。应当理解,本公开的实施例也可以用于数据及其索引被存储在不同表中的情况。
在一些实施例中,为了便于修改d:@cnt列321中的源数据,s列族312可以包括一个或多个s:@prop列324(参见图3),其存储用于修改d:@cnt列321中的源数据的一个或多个字段(在本文中又可以被称为干预字段)。在这种情况下最终输出的数据为d列族311和s列族312合并后生成的最终数据,同时相同字段的数据以CF:s为准。下面将结合图5对此进行描述。
图5示出了图示根据本公开的一些实施例的干预字段的示意图500。图5中所示的s:@type列524可以被认为是s:@prop列324的一个具体实现,其用于修改或干预源数据422中的属性“type”的属性值。如图所示,在干预字段501为["Act2","TVPlay2"]的情况下,最终输出的结果502将不同于源数据422。干预字段具有比源数据高的优先级。
在这样的实施例中,索引标记还可以包括除时间戳或等差数列之外的预定标记,该预定标记可以用于指示目标索引与目标数据的相关性是不确定的。例如,预定标记可以是字符NULL。例如,当源数据422更新而干预字段501未被更新时,所生成的索引的索引标记将被设置为诸如NULL的预定标记。
继续参考图2。在框230处,计算设备102确定索引标记112与数据标记122是否匹配。在索引标记112和数据标记122为相同格式的时间戳的情况下,如果索引标记112和数据标记122相同,则认为它们相匹配;如果索引标记112和数据标记122不同,则认为它们不匹配。在索引标记112和数据标记122均为时间戳但格式不同的情况下,如果索引标记112和数据标记122指示相同的时间,则认为它们相匹配;如果索引标记112和数据标记122指示不同的时间,则认为它们不匹配。
在索引标记112和数据标记122采用如上文所述的公差为d的等差数列的情况下,如果索引标记112和数据标记122相同,则认为它们相匹配;如果索引标记112和数据标记122不同,则认为它们不匹配。在索引标记112和数据标记122采用如上文所述的公差为2的等差数列的情况下,如果索引标记112比数据标记122大1,则认为它们相匹配;否则认为它们不匹配。
在如上文所述的索引标记包括诸如NULL的预定标记的实施例中,如果索引标记112为预定标记,则认为索引标记112与数据标记122不匹配。
如果在框230处确定索引标记112与数据标记122不匹配,则过程200进行到框240。在框240处,计算设备102确定与目标索引111相关联的操作。例如,计算设备102可以执行针对目标索引111的退场逻辑处理,以确定目标索引111是否应当被删除。下文将结合图6来描述这一过程。
如果在框230处确定索引标记112与数据标记122相匹配,则意味着目标索引111与目标数据121具有相关性,并且可以用于指示目标数据121。在这种情况下,目标索引111及其索引标记112将被保留。
在过程200与数据查询过程相结合的实施例(如上文参考框210所提及的)中,如果确定索引标记112与数据标记122相匹配,计算设备102可以基于目标数据121来提供对查询请求的响应。例如,计算设备102可以基于目标数据121来确定查询结果,并且提供查询结果作为对查询请求的响应。在没有上述干预字段的情况下,计算设备102可以直接将目标数据121的相应部分(例如,源数据422)作为查询结果而提供。在具有上述干预字段(例如,干预字段501)的情况下,计算设备102可以基于源数据422和干预字段501来确定查询结果502(参见图5),并且提供查询结果502作为对查询请求的响应。
以上描述了根据本公开的实施例的管理索引的过程200。以此方式,可以利用数据标记和索引标记来指示目标索引与目标数据之间的相关性,并基于此来确定目标索引是否被清理。因此,本公开的方案能够有效地管理数据库索引,从而减少后续调用的时间开销并提高数据读取的性能。
图6示出了根据本公开的一些实施例的确定与目标索引相关联的操作的过程600的流程图。过程600可以由图1的计算设备102来实现,并且可以被认为是图2中的框240的一个具体实现。
如果确定索引标记112与数据标记122不匹配,则在框610,计算设备102生成与目标数据121相关联的一组索引。计算设备102可以解析目标数据121并且基于与生成目标索引111相同的预定规则来生成该组索引。举例而言,计算设备102可以解析目标数据121,针对属性“type”来生成该组索引。如果目标数据121包括源数据和干预字段,则在生成该组索引时计算设备102需要首先将源数据和干预字段进行合并,并且基于合并后的数据来生成该组索引。
在框620,计算设备102确定在框610处生成的该组索引是否包含目标索引111。如果该组索引包含目标索引111,意味着目标索引111与目标数据121是相关的,则过程600进行到框630。在框630,计算设备102基于数据标记122来修改索引标记112以使得索引标记112与数据标记122相匹配。例如,在信任标记为时间戳的情况下,计算设备102可以将索引标记112修改成与数据标记122相同的时间戳。
对于目标数据121包括源数据和干预字段的情况,索引标记还可以为诸如NULL的预定标记。因此,在一些实施例中,计算设备102可以确定索引标记112是否为预定标记,预定标记指示目标索引111与目标数据121的相关性是不确定的。如果确定索引标记112为预定标记,则计算设备102可以将索引标记112修改成数据标记122。
在与数据查询过程相结合的实施例(如上文参考框210所提及的)中,在框630,计算设备102还可以基于目标数据121来提供对查询的响应。例如,如上文关于图2所描述的类似,计算设备102可以基于目标数据121来确定查询结果,并且提供查询结果作为对查询请求的响应。
如果计算设备102在框620确定该组索引不包含目标索引112,意味着目标索引111不应再指示目标数据121,即,目标索引111已经成为需要被清理的脏索引。在这种情况下,过程600进行到框640。在框640,计算设备102删除目标索引111和索引标记112。即,计算设备102执行脏索引退场操作。
在本文中,结合图6所描述的过程600可以被称为退场逻辑处理。如上文所提及的,在数据查询过程中,对于数据标记和索引标记相匹配的情况,可以不执行退场逻辑处理而直接提供查询结果。这主要优化了现有按需退场方案中的两个问题:一是每次查询都需要解析数据,二是每次查询都需要判断目标索引是否在由目标数据生成的索引中。因此,在这样的实施例中,通过数据标记和索引标记的使用,可以提高数据查询的效率和数据库的读取性能。
为了使用索引标记和数据标记,计算设备102需要基于目标数据121来生成目标索引111和索引标记112。对于目标数据121不包含干预字段的情况,如果确定目标数据121将被写入或者已经被写入数据库101,则计算设备102可以生成目标索引111和数据标记122,并且基于生成的数据标记122来确定索引标记112。例如,在目标数据121被初始写入数据库101时,或者在目标数据121的更新涉及与索引有关的字段(索引的配置字段)时,将生成目标索引111和数据标记122,例如,数据标记122为初始写入或更新目标数据121时的时间戳。计算设备102然后可以基于数据标记122来设置索引标记112,以使得两者相匹配。例如,计算设备102可以将索引标记112设置成与数据标记122相同的时间戳。
下面来考虑目标数据121包括源数据和用于修改源数据的干预字段的情况(诸如图5所示)。如果目标索引111是在目标数据121初始写入数据库101时被生成的,则索引标记112的设置与不包含干预字段的情况相同,即设置成与数据标记122相匹配。如果目标索引111是在目标数据121更新时被生成的,则需要考虑被更新的是源数据还是干预字段。如果确定目标数据121的源数据将被更新或者已经被更新,则计算设备102可以生成目标索引111(在更新涉及与索引有关的字段的情况下),并且将相对应的索引标记112确定为预定标记,诸如NULL,预定标记指示目标索引111与目标数据121的相关性是不确定的。这是由于干预字段具有比源数据高的优先级,更新源数据时未读取干预字段,导致目标索引与目标数据之间的相关性未知。
继续参考图3、图4和图5中的示例来对目标数据包括源数据和干预字段两部分的情况进行说明。数据标记的更新分d列族311和s列族312两个列族的更新:(1)d列族311(即d:@cnt列321)更新时,即源数据更新时,更新数据标记,因为d列族311保存的是原始加工数据,只要有修改则数据标记必须更新;(2)s列族312更新时,只有当更新的字段包含在与索引有关的字段时才更新数据标记,否则不做处理。对于图4中的示例,当更新的字段与“type”字段有关时才更新数据标记;如果更新的字段为“name”,则不更新数据标记。
索引标记更新分为以下三种情况:(1)在d列族311数据初始化时,直接写入与数据标记相匹配的索引标记;(2)d列族311更新导致索引写入(即,更新涉及与索引有关的字段)时,为了提升写入性能,在数据写入时未读取旧数据的s列族312来合并,导致索引与数据之间的相关性未知,因此与所生成的索引相对应的索引标记被设置为诸如NULL的预定标记;(3)s列族312更新导致索引写入时,更新的字段涉及与索引有关的字段,将索引标记设置成与数据标记相匹配,否则不做处理。
图7示出了根据本公开的实施例的用于管理索引的装置700的示意性框图。如图7所示,装置700包括:索引确定模块710,被配置为确定针对数据库中存储的目标数据的目标索引,目标索引具有相对应的索引标记,用于标识目标索引的存储版本;数据获取模块720,被配置为基于目标索引,获取数据库中存储的目标数据,目标数据具有相对应的数据标记,用于标识目标数据的存储版本;以及操作确定模块730,被配置为响应于索引标记与数据标记不匹配,确定与目标索引相关联的操作。
在一些实施例中,操作确定模块730包括:数据解析模块,被配置为生成与目标数据相关联的一组索引;索引判断模块,被配置为确定一组索引是否包含目标索引;以及标记修改模块,被配置为响应于一组索引包含目标索引,基于数据标记来修改索引标记以使得索引标记与数据标记相匹配。
在一些实施例中,标记修改模块包括:标记判断模块,被配置为确定索引标记是否为预定标记,预定标记指示目标索引与目标数据的相关性是不确定的;以及预定修改模块,被配置为响应于确定索引标记为预定标记,将索引标记修改成数据标记。
在一些实施例中,装置700还包括:索引删除模块,被配置为响应于一组索引不包含目标索引,删除目标索引和索引标记。
在一些实施例中,索引确定模块710包括:请求接收模块,被配置为接收针对目标数据的查询请求;以及目标确定模块,被配置为基于查询请求中的关键词,确定目标索引。
在一些实施例中,装置700还包括:结果确定模块,被配置为响应于索引标记与数据标记相匹配,基于目标数据,确定查询结果;以及结果提供模块,被配置为提供查询结果作为对查询请求的响应。
在一些实施例中,数据获取模块720包括:位置确定模块,被配置为基于目标索引,确定目标数据在数据库中的存储位置;以及目标获取模块,被配置为基于存储位置,从数据库中获取目标数据。
在一些实施例中,装置700还包括:标记生成模块,被配置为基于目标数据,生成目标索引和索引标记
在一些实施例中,标记生成模块包括:第一索引生成模块,被配置为响应于确定目标数据将被写入数据库,生成目标索引和数据标记;以及索引标记确定模块,被配置为基于生成的数据标记来确定索引标记。
在一些实施例中,目标数据包括源数据和用于修改源数据的干预字段,并且其中标记生成模块包括:第二索引生成模块,被配置为响应于确定目标数据的源数据将被更新,生成目标索引;以及预定标记确定模块,被配置为将索引标记确定为预定标记,预定标记指示目标索引与目标数据的相关性是不确定的。
图8示出了可以用来实施本公开的实施例的示例设备800的示意性框图。设备800可以用于实现图1的计算设备102。如图所示,设备800包括中央处理单元(CPU)801,其可以根据存储在只读存储器(ROM)802中的计算机程序指令或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序指令,来执行各种适当的动作和处理。在RAM 803中,还可存储设备800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805,包括:输入单元806,例如键盘、鼠标等;输出单元807,例如各种类型的显示器、扬声器等;存储单元808,例如磁盘、光盘等;以及通信单元809,例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元801执行上文所描述的各个方法和处理,例如过程200和600中的任一个。例如,在一些实施例中,过程200和600中的任一个可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由CPU 801执行时,可以执行上文描述的过程200和600中的任一个的一个或多个步骤。备选地,在其他实施例中,CPU 801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行过程200和600中的任一个。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外,虽然采用特定次序描绘了各操作,但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行,或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地,在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (22)

1.一种管理索引的方法,包括:
确定针对数据库中存储的目标数据的目标索引,所述目标索引具有相对应的索引标记,用于标识所述目标索引的存储版本;
基于所述目标索引,获取所述数据库中存储的所述目标数据,所述目标数据具有相对应的数据标记,用于标识所述目标数据的存储版本;以及
响应于所述索引标记与所述数据标记不匹配,确定与所述目标索引相关联的操作。
2.根据权利要求1所述的方法,其中确定与所述目标索引相关联的所述操作包括:
生成与所述目标数据相关联的一组索引;
确定所述一组索引是否包含所述目标索引;以及
响应于所述一组索引包含所述目标索引,基于所述数据标记来修改所述索引标记以使得所述索引标记与所述数据标记相匹配。
3.根据权利要求2所述的方法,其中修改所述索引标记包括:
确定所述索引标记是否为预定标记,所述预定标记指示所述目标索引与所述目标数据的相关性是不确定的;以及
响应于确定所述索引标记为所述预定标记,将所述索引标记修改成所述数据标记。
4.根据权利要求2所述的方法,还包括:
响应于所述一组索引不包含所述目标索引,删除所述目标索引和所述索引标记。
5.根据权利要求1所述的方法,其中确定所述目标索引包括:
接收针对所述目标数据的查询请求;以及
基于所述查询请求中的关键词,确定所述目标索引。
6.根据权利要求5所述的方法,还包括:
响应于所述索引标记与所述数据标记相匹配,基于所述目标数据,确定查询结果;以及
提供所述查询结果作为对所述查询请求的响应。
7.根据权利要求1所述的方法,其中获取所述目标数据包括:
基于所述目标索引,确定所述目标数据在所述数据库中的存储位置;以及
基于所述存储位置,从所述数据库中获取所述目标数据。
8.根据权利要求1所述的方法,还包括:
基于所述目标数据,生成所述目标索引和所述索引标记。
9.根据权利要求8所述的方法,其中生成所述目标索引和所述索引标记包括:
响应于确定所述目标数据将被写入所述数据库,生成所述目标索引和所述数据标记;以及
基于生成的所述数据标记来确定所述索引标记。
10.根据权利要求8所述的方法,其中所述目标数据包括源数据和用于修改所述源数据的干预字段,并且其中生成所述目标索引和所述索引标记包括:
响应于确定所述目标数据的所述源数据将被更新,生成所述目标索引;以及
将所述索引标记确定为预定标记,所述预定标记指示所述目标索引与所述目标数据的相关性是不确定的。
11.一种用于管理索引的装置,包括:
索引确定模块,被配置为确定针对数据库中存储的目标数据的目标索引,所述目标索引具有相对应的索引标记,用于标识所述目标索引的存储版本;
数据获取模块,被配置为基于所述目标索引,获取所述数据库中存储的所述目标数据,所述目标数据具有相对应的数据标记,用于标识所述目标数据的存储版本;以及
操作确定模块,被配置为响应于所述索引标记与所述数据标记不匹配,确定与所述目标索引相关联的操作。
12.根据权利要求11所述的装置,其中所述操作确定模块包括:
数据解析模块,被配置为生成与所述目标数据相关联的一组索引;
索引判断模块,被配置为确定所述一组索引是否包含所述目标索引;以及
标记修改模块,被配置为响应于所述一组索引包含所述目标索引,基于所述数据标记来修改所述索引标记以使得所述索引标记与所述数据标记相匹配。
13.根据权利要求12所述的装置,其中所述标记修改模块包括:
标记判断模块,被配置为确定所述索引标记是否为预定标记,所述预定标记指示所述目标索引与所述目标数据的相关性是不确定的;以及
预定修改模块,被配置为响应于确定所述索引标记为所述预定标记,将所述索引标记修改成所述数据标记。
14.根据权利要求12所述的装置,还包括:
索引删除模块,被配置为响应于所述一组索引不包含所述目标索引,删除所述目标索引和所述索引标记。
15.根据权利要求11所述的装置,其中所述索引确定模块包括请求接收模块,被配置为接收针对所述目标数据的查询请求;以及
目标确定模块,被配置为基于所述查询请求中的关键词,确定所述目标索引。
16.根据权利要求15所述的装置,还包括:
结果确定模块,被配置为响应于所述索引标记与所述数据标记相匹配,基于所述目标数据,确定查询结果;以及
结果提供模块,被配置为提供所述查询结果作为对所述查询请求的响应。
17.根据权利要求11所述的装置,其中所述数据获取模块包括:
位置确定模块,被配置为基于所述目标索引,确定所述目标数据在所述数据库中的存储位置;以及
目标获取模块,被配置为基于所述存储位置,从所述数据库中获取所述目标数据。
18.根据权利要求11所述的装置,还包括:
标记生成模块,被配置为基于所述目标数据,生成所述目标索引和所述索引标记。
19.根据权利要求18所述的装置,其中所述标记生成模块包括:
第一索引生成模块,被配置为响应于确定所述目标数据将被写入所述数据库,生成所述目标索引和所述数据标记;以及
索引标记确定模块,被配置为基于生成的所述数据标记来确定所述索引标记。
20.根据权利要求18所述的装置,其中所述目标数据包括源数据和用于修改所述源数据的干预字段,并且其中所述标记生成模块包括:
第二索引生成模块,被配置为响应于确定所述目标数据的所述源数据将被更新,生成所述目标索引;以及
预定标记确定模块,被配置为将所述索引标记确定为预定标记,所述预定标记指示所述目标索引与所述目标数据的相关性是不确定的。
21.一种设备,所述设备包括:
一个或多个处理器;以及
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-10中任一项所述的方法。
22.一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如权利要求1-10中任一项所述的方法。
CN201910088131.2A 2019-01-29 2019-01-29 用于管理索引的方法、装置、设备和存储介质 Active CN109815240B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910088131.2A CN109815240B (zh) 2019-01-29 2019-01-29 用于管理索引的方法、装置、设备和存储介质
US16/690,829 US11308060B2 (en) 2019-01-29 2019-11-21 Method, apparatus, device and storage medium for managing index
EP19210737.3A EP3690669A1 (en) 2019-01-29 2019-11-21 Method, apparatus, device and storage medium for managing index technical field
JP2019211255A JP6982049B2 (ja) 2019-01-29 2019-11-22 インデックスを管理するための方法、装置、設備及び記憶媒体
KR1020190157615A KR102368775B1 (ko) 2019-01-29 2019-11-29 인덱스 관리 방법, 장치, 기기 및 저장 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910088131.2A CN109815240B (zh) 2019-01-29 2019-01-29 用于管理索引的方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN109815240A true CN109815240A (zh) 2019-05-28
CN109815240B CN109815240B (zh) 2022-02-25

Family

ID=66605764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910088131.2A Active CN109815240B (zh) 2019-01-29 2019-01-29 用于管理索引的方法、装置、设备和存储介质

Country Status (5)

Country Link
US (1) US11308060B2 (zh)
EP (1) EP3690669A1 (zh)
JP (1) JP6982049B2 (zh)
KR (1) KR102368775B1 (zh)
CN (1) CN109815240B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112269905A (zh) * 2020-11-06 2021-01-26 湖南快乐阳光互动娱乐传媒有限公司 一种提高***数据查询能力的方法及***

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220158831A1 (en) * 2020-11-13 2022-05-19 Citrix Systems, Inc. Preventing http cookie stealing using cookie morphing
CN113407741B (zh) * 2021-06-04 2022-09-20 北京三快在线科技有限公司 素材管理方法、装置、电子设备及存储介质
CN114328526A (zh) * 2021-12-27 2022-04-12 中国电信股份有限公司 数据处理方法、装置、电子设备及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5310399B2 (ja) * 2009-09-01 2013-10-09 富士通株式会社 索引管理装置の処理方法および索引管理装置
CN103605777A (zh) * 2013-11-28 2014-02-26 北京国双科技有限公司 数据库索引处理方法和装置
CN103714121A (zh) * 2013-12-03 2014-04-09 华为技术有限公司 一种索引记录的管理方法及装置
CN103902698A (zh) * 2014-03-31 2014-07-02 北京车商汇软件有限公司 一种数据存储***和存储方法
CN105183915A (zh) * 2015-10-14 2015-12-23 江苏师范大学 减少索引维护开销的多版本管理方法
CN107291768A (zh) * 2016-04-11 2017-10-24 阿里巴巴集团控股有限公司 一种索引建立的方法及装置
CN105512325B (zh) * 2015-12-21 2018-12-25 华为技术有限公司 多版本数据索引的更新、删除与建立方法及装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5727196A (en) 1992-05-21 1998-03-10 Borland International, Inc. Optimized query interface for database management systems
EP0864129B1 (en) 1995-12-01 2000-08-16 BRITISH TELECOMMUNICATIONS public limited company Database access
JP2000003366A (ja) 1998-06-11 2000-01-07 Hitachi Ltd 文書登録方法と文書検索方法及びその実施装置並びにその処理プログラムを記録した媒体
US7499907B2 (en) * 2001-10-12 2009-03-03 Teradata Us, Inc. Index selection in a database system
JP3945282B2 (ja) 2002-03-19 2007-07-18 セイコーエプソン株式会社 情報検索装置、情報検索方法、プログラムおよび記録媒体
JP4299022B2 (ja) 2003-02-28 2009-07-22 トヨタ自動車株式会社 コンテンツ検索用インデックス生成装置
KR100834760B1 (ko) 2006-11-23 2008-06-05 삼성전자주식회사 최적화된 인덱스 검색 방법 및 장치
JP4148529B2 (ja) 2006-12-28 2008-09-10 インターナショナル・ビジネス・マシーンズ・コーポレーション データベースにおける索引の整合性をチェックするためのシステム、方法およびプログラム
US8903814B2 (en) 2011-07-07 2014-12-02 International Business Machines Corporation Indexing timestamp with time zone value
CN107832277B (zh) * 2012-03-13 2021-12-24 谷歌有限责任公司 用于提供网页的二进制表示的***和方法
US10311428B2 (en) * 2012-05-24 2019-06-04 Google Llc Systems, methods, and computer program products for providing a contactless protocol
US11816465B2 (en) * 2013-03-15 2023-11-14 Ei Electronics Llc Devices, systems and methods for tracking and upgrading firmware in intelligent electronic devices
CN103741421B (zh) 2013-12-12 2016-05-11 张子军 定型机热循环以及除废***
KR101588375B1 (ko) 2014-04-25 2016-01-25 네이버 주식회사 데이터베이스 관리 방법 및 데이터베이스 관리 시스템
AU2015415125A1 (en) * 2015-11-20 2018-05-31 Hewlett-Packard Development Company, L.P. XML file condensing
CN108880972B (zh) * 2017-05-09 2022-08-12 腾讯科技(深圳)有限公司 一种信息处理方法、服务器及终端
KR20190107965A (ko) * 2018-03-13 2019-09-23 주식회사 웨이브쓰리디 드론을 이용한 코딩 교육 시스템
US11088838B2 (en) * 2018-05-11 2021-08-10 Palo Alto Networks, Inc. Automated authentication of a new network element
US11874811B2 (en) * 2018-12-28 2024-01-16 Teradata Us, Inc. Control versioning of temporal tables to reduce data redundancy

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5310399B2 (ja) * 2009-09-01 2013-10-09 富士通株式会社 索引管理装置の処理方法および索引管理装置
CN103605777A (zh) * 2013-11-28 2014-02-26 北京国双科技有限公司 数据库索引处理方法和装置
CN103714121A (zh) * 2013-12-03 2014-04-09 华为技术有限公司 一种索引记录的管理方法及装置
CN103902698A (zh) * 2014-03-31 2014-07-02 北京车商汇软件有限公司 一种数据存储***和存储方法
CN105183915A (zh) * 2015-10-14 2015-12-23 江苏师范大学 减少索引维护开销的多版本管理方法
CN105512325B (zh) * 2015-12-21 2018-12-25 华为技术有限公司 多版本数据索引的更新、删除与建立方法及装置
CN107291768A (zh) * 2016-04-11 2017-10-24 阿里巴巴集团控股有限公司 一种索引建立的方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112269905A (zh) * 2020-11-06 2021-01-26 湖南快乐阳光互动娱乐传媒有限公司 一种提高***数据查询能力的方法及***
CN112269905B (zh) * 2020-11-06 2023-07-21 湖南快乐阳光互动娱乐传媒有限公司 一种提高***数据查询能力的方法及***

Also Published As

Publication number Publication date
US20200242097A1 (en) 2020-07-30
JP6982049B2 (ja) 2021-12-17
EP3690669A1 (en) 2020-08-05
JP2020123320A (ja) 2020-08-13
KR102368775B1 (ko) 2022-02-28
KR20200094074A (ko) 2020-08-06
CN109815240B (zh) 2022-02-25
US11308060B2 (en) 2022-04-19

Similar Documents

Publication Publication Date Title
JP6998928B2 (ja) データを記憶およびクエリするための方法、装置、設備、および媒体
CN105630864B (zh) 存储行标识符值的字典的强制排序
CN109815240A (zh) 用于管理索引的方法、装置、设备和存储介质
CN109144994A (zh) 索引更新方法、***及相关装置
CN103678556A (zh) 列式数据库处理的方法和处理设备
US20140046928A1 (en) Query plans with parameter markers in place of object identifiers
CN108334609B (zh) Oracle中实现JSON格式数据存取的方法、装置、设备及存储介质
US20220067024A1 (en) Facilitating performance of database operations using microservices
CN107526746B (zh) 管理文档索引的方法和设备
CN112930529A (zh) 从概念数据模型生成软件工件
US20230012642A1 (en) Method and device for snapshotting metadata, and storage medium
CN112818015A (zh) 基于数据血缘分析的数据追踪方法、***及存储介质
US9665601B1 (en) Using a member attribute to perform a database operation on a computing device
CN109408539B (zh) 数据操作方法、装置、服务器和存储介质
CN108694172B (zh) 信息输出方法和装置
CN111858581A (zh) 一种分页查询的方法、装置、存储介质和电子设备
WO2015105043A1 (ja) 演算システム、データベース管理装置および演算方法
CN116010345A (zh) 一种实现流批一体数据湖的表服务方案的方法、装置及设备
CN115344603A (zh) 运价数据存储方法、装置、电子设备和计算机存储介质
CN110795915A (zh) xml文件批量修改方法、***、设备和计算机可读存储介质
CN114791882A (zh) 变量命名冲突解决方法和装置、电子设备、存储介质
JP2018109898A (ja) データマイグレーションシステム
CN112347794A (zh) 数据翻译方法、装置、设备及计算机存储介质
CN113515504B (zh) 数据管理方法、装置、电子设备以及存储介质
CN117093597B (zh) 数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant