CN108241934A - 数据查询方法与装置 - Google Patents

数据查询方法与装置 Download PDF

Info

Publication number
CN108241934A
CN108241934A CN201611208000.6A CN201611208000A CN108241934A CN 108241934 A CN108241934 A CN 108241934A CN 201611208000 A CN201611208000 A CN 201611208000A CN 108241934 A CN108241934 A CN 108241934A
Authority
CN
China
Prior art keywords
data
operation data
wide table
library
wide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611208000.6A
Other languages
English (en)
Other versions
CN108241934B (zh
Inventor
武磊磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201611208000.6A priority Critical patent/CN108241934B/zh
Publication of CN108241934A publication Critical patent/CN108241934A/zh
Application granted granted Critical
Publication of CN108241934B publication Critical patent/CN108241934B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Development Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Computational Linguistics (AREA)
  • Computer Security & Cryptography (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供一种数据查询方法与装置。数据查询方法包括：持续接收来自多个数据库的操作数据，所述操作数据包括多个数据对象的多个数据元素；暂存并处理所述操作数据，使所述操作数据中的每个操作数据值具有唯一编码；当获取到一数据对象的所有数据元素后，向多个宽表中的一个宽表添加一条关于所述数据对象的数据记录；存储所述多个宽表以供展示查询。本公开提供的数据查询方法能够解决多表关联查询到速度瓶颈问题，提高查询速度。

Description

数据查询方法与装置
技术领域
本公开涉及数据库技术领域，具体而言，涉及一种数据查询方法与装置。
背景技术
物流行业每天产生海量的物流信息，因此，有效管理与查询这些物流信息成为一项必要且紧迫的工作。
在现有技术中，查询物流信息的方式通常包括建立由复杂的SQL语句构成的监控报表，但是，这种方式无法实现对物流信息数据进行多节点实时监控。在其他查询物流信息的方式中，还包括基于多个数据库多表关联查询+WEB页面展示的方式开发数据报表。但是，随着业务量的大幅度增加，通过多个数据库进行多表关联查询的方式会由于待查询数据量过大而导致查询超时，在查询速度上遇到瓶颈。此外，由于考虑到***的稳定性，物流公司通常会对各个业务***进行拆分，相关的物流信息数据也会被存储到不同的数据库或者其他存储介质中去，现有的数据查询方法在这种数据聚合度不高的情况下，无法实现复杂的多表、多数据库组合查询。
因此，需要一种能对复杂数据来源的海量物流信息进行快速查询的数据查询方法。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种数据查询方法与装置，用于至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或多个问题。
根据本公开的第一方面，提供一种数据查询方法。包括：
持续接收来自多个数据库的操作数据，所述操作数据包括多个数据对象的多个数据元素；
暂存并处理所述操作数据，使所述操作数据中的每个操作数据值具有唯一编码；
当获取到一数据对象的所有数据元素后，向多个宽表中的一个宽表添加一条关于所述数据对象的数据记录；
存储所述多个宽表以供展示查询。
在本公开的一种示例性实施例中，所述数据对象包括配送物品，所述数据元素包括配送箱号、包裹编号、配送站名称以及操作时间。
在本公开的一种示例性实施例中，还包括：
根据所述操作数据的来源判断所述数据对象所属的宽表。
在本公开的一种示例性实施例中，所述使所述操作数据中的每个操作数据值具有唯一编码包括：
当所述操作数据中的多个操作数据值均为同一个数据对象的同一个数据元素时，为所述多个操作数据值设置唯一编码，并根据所述唯一编码将所述多个操作数据值记录为所述数据对象的数据元素。
在本公开的一种示例性实施例中，所述存储所述多个宽表包括：以分库分表方式存储每个宽表。
在本公开的一种示例性实施例中，包括：按所述数据记录的添加月份将所述宽表分为多个库存储。
在本公开的一种示例性实施例中，在所述多个库的每一个库中，按所述数据记录的添加日期将所述宽表分为多个子表存储。
根据本公开的第二方面，提供一种数据查询装置，包括：
数据收集模块，用于持续接收来自多个数据库的操作数据，所述操作数据包括多个数据对象的多个数据元素；
数据暂存模块，用于暂存并处理所述操作数据，使所述操作数据中的每个操作数据值具有唯一编码；
数据添加模块，用于当获取到一数据对象的所有数据元素后，向多个宽表中的一个宽表添加一条关于所述数据对象的数据记录；
数据存储模块，用于存储所述多个宽表以供展示查询。
在本公开的一种示例性实施例中，所述数据对象包括配送物品，所述数据元素包括配送箱号、包裹编号、配送站名称以及操作时间。
在本公开的一种示例性实施例中，所述数据添加模块还用于根据所述操作数据的来源判断所述数据对象所属的宽表。
在本公开的一种示例性实施例中，所述使所述操作数据中的每个操作数据值具有唯一编码包括：
当所述操作数据中的多个操作数据值均为同一个数据对象的同一个数据元素时，为所述多个操作数据值设置唯一编码，并根据所述唯一编码将所述多个操作数据值记录为所述数据对象的数据元素。
在本公开的一种示例性实施例中，所述数据存储模块包括：以分库分表方式存储每个宽表。
在本公开的一种示例性实施例中，包括：按所述数据记录的添加月份将所述宽表分为多个库存储。
在本公开的一种示例性实施例中，在所述多个库的每一个库中，按所述数据记录的添加日期将所述宽表分为多个子表存储。
本公开提供的数据查询方法通过同时接收多个数据库的数据，暂存数据并对数据进行异步加工以生成查询便利性高的宽表，避免了对海量数据进行多表关联查询，克服了数据来源复杂的数据的查询速度瓶颈。此外，通过使用分库分表的方式对宽表进行最小粒度的存储，解决了在存储海量数据的情况下，单表查询数据量过大导致的查询速度缓慢问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出本公开示例性实施例中一种数据查询方法的流程图。
图2示意性示出本公开示例性实施例中数据查询方法用于物流信息查询领域的工作示意图。
图3示意性示出本公开示例性实施例中一种数据查询装置的方框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
下面结合附图对本公开示例实施方式进行详细说明。
图1示意性示出本公开示例性实施例中一种数据查询方法的流程图。
参考图1，数据查询方法100可以包括：
步骤S102，持续接收来自多个数据库的操作数据，所述操作数据包括多个数据对象的多个数据元素。
步骤S104，暂存并处理所述操作数据，使所述操作数据中的每个操作数据值具有唯一编码。
步骤S106，当获取到一数据对象的所有数据元素后，向多个宽表中的一个宽表添加一条关于所述数据对象的数据记录。
步骤S108，存储所述多个宽表以供展示查询。
本公开提供的数据查询方法通过同时接收多个数据库的数据，暂存数据并对数据进行异步加工以生成查询便利性高的宽表，避免了对海量数据进行多表关联查询，克服了数据来源复杂的数据的查询速度瓶颈。此外，通过使用分库分表的方式对宽表进行最小粒度的存储，解决了在存储海量数据的情况下，单表查询数据量过大导致的查询速度缓慢问题。
下面对数据查询方法100的各步骤进行详细说明。
步骤S102，持续接收来自多个数据库的操作数据，所述操作数据包括多个数据对象的多个数据元素。
在本公开的一种示例性实施方式中，数据查询方法可以应用在物流信息查询领域，此时，由于物流信息涉及多个物流***与多个物流环节，可以通过接收各个生产***MQ消息收集物流数据。MQ(message middleware，消息中间件)消息是一种面向消息的中间件(MOM)，它在各应用软件间提供基于队列的通信信道，常用的MQ消息包括rabbitMQ、Kafka、activeMQ等。
可以通过使各生产***在产生操作数据时异步发送MQ消息来实现步骤S102。由于各生产***持续运行，并持续将操作数据存储在各生产***下属的数据库中，因此，对应于各数据库的操作数据的MQ消息将被持续发送，从而传递操作数据，使接收端持续接收到来自各数据库的操作数据。
当本方法被应用在物流查询领域时，上述的数据对象可以包括配送物品，所述数据元素可以包括但不限于配送箱号、包裹编号、配送站名称以及操作时间等物流信息。值得一提的是，本方法的应用领域不限于物流信息查询领域，本领域技术人员可根据实际情况在其他数据查询领域应用本方法。
步骤S104，暂存并处理所述操作数据，使所述操作数据中的每个操作数据值具有唯一编码。
在通过收集MQ消息获取到来自于各生产***的操作数据后，可以通过Redis暂存所有操作数据，并对这些操作数据进行处理。
在本公开的一种示例性实施例中，上述处理过程包括使所述操作数据中的每个操作数据值具有唯一编码。其具体过程例如可以包括：当所述操作数据中的多个操作数据值均为同一个数据对象的同一个数据元素时，为所述多个操作数据值设置唯一编码，并根据所述唯一编码将所述多个操作数据值记录为所述数据对象的数据元素。
上述数据唯一化过程可以使来源于所有生产***的操作数据得以被一一记录，从而不会因为多个生产***对同一配送物品进行相同操作而导致数据覆盖或丢失。例如，多个生产***可以对同一配送物品产生多个操作，本步骤可以通过结合生产***编码、操作时间以及配送物品编码等数据元素为上述多个操作中的每一个操作设置唯一编码，从而精确记录上述多个操作。
步骤S106，当获取到一数据对象的所有数据元素后，向多个宽表中的一个宽表添加一条关于所述数据对象的数据记录。
在持续获取操作数据的过程中，可以持续判断一个数据对象的所有数据元素是否已被补齐。例如，当数据对象为配送物品时，可以预先设置其必需的数据元素为配送箱号、包裹编号、配送站名称以及操作时间等。当判断一配送物品的上述必需的数据元素均已具备，即可将关于此配送物品的信息添加进一个宽表内。
在本公开的一种示例性实施例中，上述宽表可以为多个，每个宽表均可对应一个生产***，例如预分拣宽表可以对应于预分拣生产***，用于记录预分拣过程中产生的操作数据。此时，上述向宽表中添加数据记录可以包括根据所述操作数据的来源判断所述数据对象所属的宽表。例如，当一配送物品的配送箱号来源于预分拣生产***时，可以将关于该配送物品的数据记录添加进预分拣宽表中。
步骤S108，存储所述多个宽表以供展示查询。
由于持续接收MQ消息，上述将数据记录添加进宽表的过程也是持续的，上述多个表中的数据会持续增加。此时，可以在添加每一条数据记录后更新并存储宽表至后端存储介质，将存储的各宽表作为展示查询的数据源。
在本公开的一种示例性实施例中，存储多个宽表可以包括以分库分表方式存储每个宽表。例如，可以按所述数据记录的添加月份将所述宽表分为多个库存储，将预分拣宽表中的一月份数据存储为一个库，将二月份数据存储为另一个库等等。当判断需要添加的数据记录为新的月份时，可以建立新的库从而将新的数据记录添加进去。此外，在所述多个库的每一个库中，可以按所述数据记录的添加日期将所述宽表分为多个子表存储。例如，将1月1日的操作数据存储为子表一，将1月2日的操作数据存储为子表二等。
上述分库分表存储宽表的划分规则还可以包括通过主键策略、主键+业务主键策略等对宽表进行分库分表存储，本公开对此不作特殊限定。通过对宽表进行分库分表存储，可以解决单表存储查询数据量过大的问题，有效提高查询速度。
下面通过具体实施例来对上述方法100进行详细说明。
图2是本公开示例实施方式中数据查询方法100用于物流信息查询领域的工作示意图。
参考图2，操作数据可以来自多个物理生产***，例如预分拣生产***、分拣生产***、外单生产***、终端生产***、运输生产***以及财务生产***等。对应于上述生产***，可以产生多个宽表以供查询展示。
下面以分拣生产***为例进行说明。在分拣生产***将生产过程中产生的操作数据存储到数据库中时，可以异步发出关于该操作数据的MQ消息。
分拣现场生产通常以箱为单位进行作业，每一箱里包含多个包裹，验货过程中需要进行开箱操作，对各包裹进行验货。由于同一个包裹可能被多个分拣中心采集操作，多个分拣中心均对应包裹号记录操作时间，无法仅根据包裹号和操作时间判断该包裹的每一个操作记录是被哪个分拣中心记录的。因此，可以通过多数据元素关联例如“包裹号+分拣中心编号+操作时间”的方式来对每一条包裹操作记录进行唯一编码，以便一一记录涉及该包裹的每一次操作。当同一分拣中心对该包裹重复操作时，可以以最后一次操作的时间作为此操作的操作时间。
从图2中可以看到，对于一个生产***而言，需要关联boxing_d表(存储boxcode和packagecode)、send_d表(存储boxcode和sendcode)以及send_m表(存储sendcode和sitecode、operate_time)的数据才能确定sitecode和packagecode、operate_time确定唯一记录。
为了保证宽表的记录唯一性，需要将以上三张表的数据暂存到Redis缓存，待数据补全后确认记录的唯一性。其中boxing_d表存储的箱号boxcode和包裹号packagecode是一对多的关系，需要存储成一对多的集合，以对箱号和多个包裹号进行关联操作。
对于完整的物流***来说，通常每一个生产***都会保存上述三张表，所以对于每一个生产***，均可以通过获取上述三张表来进行数据唯一性确定。
另外，由于现场生产为了保持处理速度会将操作数据分别存储在不同的表里，生产***产生操作数据的时间不同，为了获得一数据对象所有需要的数据元素，需要将操作数据暂存在一起，等待该数据对象所需的所有数据对象都补全后再对该数据对象的数据进行操作。
在以上过程解决了确保数据记录唯一和数据补全的问题后，可以持续不断地将把完整的具有唯一记录的分拣操作数据写入到后端的存储介质中，形成持续更新的分拣宽表。
通过以宽表的形式存储数据，使得在对分拣各环节进行查询时不需要采用传统的跨多表关联查询，解决了多表关联查询导致的性能瓶颈问题，提高了查询速度。在本公开的其他实施例中，其他生产***的宽表生成过程与上述分拣宽表生成过程相似，本公开于此不再赘述。
由于上述过程中产生的宽表随着时间的推移会存在数据存储量过大，从而导致单宽表查询性能较差的问题，因此可以采用分库分表的方式对上述宽表进行存储。
分库分表的策略可以有多种，例如主键策略、主键+业务主键策略、日期策略等等，本领域技术人员可依照本公开实施例精神自由设置。由于物流行业对信息的实时性要求较高，通常只需查询当天的数据，因此，可以按照操作日期对宽表进行分库分表存储。
首先，可以按照自然月对宽表进行分库存储。分库的命名规则例如可以为“业务名称缩写+_+年+月”。以分拣宽表为例，分拣宽表的各分库的命名可以为dms_201601、dms_201602或dms_201603等等。
其次，在各分库中，可以按照自然日对各分库分表存储。分表命名规则例如可以为“业务名称缩写+_+年+月+日”。以分拣宽表为例，分拣宽表各分库的分表可以被命名为sorting_20160101、sorting_20160102、sorting_20160103。
分库分表存储方式通过将大量数据分割为多个小数据块进行存储，避免了查询者对大量数据进行查询浪费时间，提高了查询效率，从而可以满足物流行业对每日海量实时数据的快速查询需求。
对应于上述方法实施例，本公开还提供一种数据查询装置，可以用于执行上述方法实施例。
图2示意性示出本公开示例性实施例中一种数据查询装置的方框图。参考图2，数据查询装置200可以包括数据收集模块202、数据暂存模块204、数据添加模块206以及数据存储模块208。
数据收集模块202可以用于持续接收来自多个数据库的操作数据，所述操作数据包括多个数据对象的多个数据元素。
数据暂存模块204可以用于暂存并处理所述操作数据，使所述操作数据中的每个操作数据值具有唯一编码。
数据添加模块206可以用于当获取到一数据对象的所有数据元素后，向多个宽表中的一个宽表添加一条关于所述数据对象的数据记录。
数据存储模块208可以用于存储所述多个宽表以供展示查询。
在本公开的一种示例性实施例中，所述数据对象包括配送物品，所述数据元素包括配送箱号、包裹编号、配送站名称以及操作时间。
在本公开的一种示例性实施例中，所述数据添加模块还用于根据所述操作数据的来源判断所述数据对象所属的宽表。
在本公开的一种示例性实施例中，所述使所述操作数据中的每个操作数据值具有唯一编码包括：
当所述操作数据中的多个操作数据值均为同一个数据对象的同一个数据元素时，为所述多个操作数据值设置唯一编码，并根据所述唯一编码将所述多个操作数据值记录为所述数据对象的数据元素。
在本公开的一种示例性实施例中，所述数据存储模块包括：以分库分表方式存储每个宽表。
在本公开的一种示例性实施例中，包括：按所述数据记录的添加月份将所述宽表分为多个库存储。
在本公开的一种示例性实施例中，在所述多个库的每一个库中，按所述数据记录的添加日期将所述宽表分为多个子表存储。
由于装置200的各功能已在其对应的方法实施例中予以详细说明，本公开于此不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (14)

1.一种数据查询方法，其特征在于，包括：
持续接收来自多个数据库的操作数据，所述操作数据包括多个数据对象的多个数据元素；
暂存并处理所述操作数据，使所述操作数据中的每个操作数据值具有唯一编码；
当获取到一数据对象的所有数据元素后，向多个宽表中的一个宽表添加一条关于所述数据对象的数据记录；
存储所述多个宽表以供展示查询。
2.根据权利要求1所述的数据查询方法，其特征在于，所述数据对象包括配送物品，所述数据元素包括配送箱号、包裹编号、配送站名称以及操作时间。
3.根据权利要求1所述的数据查询方法，其特征在于，还包括：
根据所述操作数据的来源判断所述数据对象所属的宽表。
4.根据权利要求1所述的数据查询方法，其特征在于，所述使所述操作数据中的每个操作数据值具有唯一编码包括：
当所述操作数据中的多个操作数据值均为同一个数据对象的同一个数据元素时，为所述多个操作数据值设置唯一编码，并根据所述唯一编码将所述多个操作数据值记录为所述数据对象的数据元素。
5.根据权利要求1所述的数据查询方法，其特征在于，所述存储所述多个宽表包括：以分库分表方式存储每个宽表。
6.根据权利要求5所述的数据查询方法，其特征在于，包括：按所述数据记录的添加月份将所述宽表分为多个库存储。
7.根据权利要求6所述的数据查询方法，其特征在于，在所述多个库的每一个库中，按所述数据记录的添加日期将所述宽表分为多个子表存储。
8.一种数据查询装置，其特征在于，包括：
数据收集模块，用于持续接收来自多个数据库的操作数据，所述操作数据包括多个数据对象的多个数据元素；
数据暂存模块，用于暂存并处理所述操作数据，使所述操作数据中的每个操作数据值具有唯一编码；
数据添加模块，用于当获取到一数据对象的所有数据元素后，向多个宽表中的一个宽表添加一条关于所述数据对象的数据记录；
数据存储模块，用于存储所述多个宽表以供展示查询。
9.根据权利要求8所述的数据查询装置，其特征在于，所述数据对象包括配送物品，所述数据元素包括配送箱号、包裹编号、配送站名称以及操作时间。
10.根据权利要求8所述的数据查询装置，其特征在于，所述数据添加模块还用于根据所述操作数据的来源判断所述数据对象所属的宽表。
11.根据权利要求8所述的数据查询装置，其特征在于，所述使所述操作数据中的每个操作数据值具有唯一编码包括：
当所述操作数据中的多个操作数据值均为同一个数据对象的同一个数据元素时，为所述多个操作数据值设置唯一编码，并根据所述唯一编码将所述多个操作数据值记录为所述数据对象的数据元素。
12.根据权利要求8所述的数据查询装置，其特征在于，所述数据存储模块包括：以分库分表方式存储每个宽表。
13.根据权利要求12所述的数据查询装置，其特征在于，包括：按所述数据记录的添加月份将所述宽表分为多个库存储。
14.根据权利要求13所述的数据查询装置，其特征在于，在所述多个库的每一个库中，按所述数据记录的添加日期将所述宽表分为多个子表存储。
CN201611208000.6A 2016-12-23 2016-12-23 数据查询方法与装置 Active CN108241934B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611208000.6A CN108241934B (zh) 2016-12-23 2016-12-23 数据查询方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611208000.6A CN108241934B (zh) 2016-12-23 2016-12-23 数据查询方法与装置

Publications (2)

Publication Number Publication Date
CN108241934A true CN108241934A (zh) 2018-07-03
CN108241934B CN108241934B (zh) 2021-02-26

Family

ID=62704107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611208000.6A Active CN108241934B (zh) 2016-12-23 2016-12-23 数据查询方法与装置

Country Status (1)

Country Link
CN (1) CN108241934B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110544162A (zh) * 2019-09-05 2019-12-06 广州酷旅旅行社有限公司 财务数据处理方法、装置、计算机设备和存储介质
CN112395293A (zh) * 2020-11-27 2021-02-23 浙江诺诺网络科技有限公司 分库分表方法、分库分表装置、分库分表设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103678665A (zh) * 2013-12-24 2014-03-26 焦点科技股份有限公司 一种基于数据仓库的异构大数据整合方法和***
US20160012094A1 (en) * 2014-07-08 2016-01-14 Gordon GAUMNITZ Faster access for compressed time series data: the bock index
CN105608210A (zh) * 2015-12-29 2016-05-25 北京京东尚科信息技术有限公司 一种数据存储方法和装置
CN106033473A (zh) * 2015-03-20 2016-10-19 阿里巴巴集团控股有限公司 数据的处理方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103678665A (zh) * 2013-12-24 2014-03-26 焦点科技股份有限公司 一种基于数据仓库的异构大数据整合方法和***
US20160012094A1 (en) * 2014-07-08 2016-01-14 Gordon GAUMNITZ Faster access for compressed time series data: the bock index
CN106033473A (zh) * 2015-03-20 2016-10-19 阿里巴巴集团控股有限公司 数据的处理方法和装置
CN105608210A (zh) * 2015-12-29 2016-05-25 北京京东尚科信息技术有限公司 一种数据存储方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110544162A (zh) * 2019-09-05 2019-12-06 广州酷旅旅行社有限公司 财务数据处理方法、装置、计算机设备和存储介质
CN112395293A (zh) * 2020-11-27 2021-02-23 浙江诺诺网络科技有限公司 分库分表方法、分库分表装置、分库分表设备及存储介质
CN112395293B (zh) * 2020-11-27 2024-03-01 浙江诺诺网络科技有限公司 分库分表方法、分库分表装置、分库分表设备及存储介质

Also Published As

Publication number Publication date
CN108241934B (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
US7099891B2 (en) Method for allowing simple interoperation between backend database systems
US7895359B2 (en) System and method for message processing and routing
JP5290271B2 (ja) チャネルツリー演算を実行する方法および装置
CN101065947B (zh) Web服务注册和操作方法和***
US7890955B2 (en) Policy based message aggregation framework
CN108446335B (zh) 基于数据库的异构***数据抽取及统一对外数据交换方法
US7444596B1 (en) Use of template messages to optimize a software messaging system
CN104429046A (zh) 扩展冗余消除中间盒
CN102724307A (zh) 用于物联网的信息融合引擎及方法
CN108769099A (zh) 一种消息中间件的消息去重的实现方法
CN104823428A (zh) 存储***中操作请求处理方法和装置
CN104615684B (zh) 一种海量数据通信并发处理方法及***
CN108241934A (zh) 数据查询方法与装置
CN101068237B (zh) 数据访问***以及数据访问方法
CN107644017A (zh) 日志文件的查询方法及装置
CN114710571A (zh) 数据包处理***
KR950001526A (ko) 전표 처리방법
CN109145092B (zh) 一种数据库更新、智能问答管理方法、装置及其设备
CN105447000A (zh) 一种事务消息的传输方法和设备
CN101510293A (zh) 证券行情订单队列数据传输方法
CN102655480A (zh) 相似邮件处理***和方法
CN112668969B (zh) 用户标签处理方法、***、电子设备和存储介质
CN101814071A (zh) 一种实现***与数据源进行数据交换的方法及装置
CN101382959B (zh) 一种多媒体资源获取方法、装置及***
CN115269708A (zh) 一种数据对账处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant