CN113672687A - 一种电商大数据处理方法、装置、设备及存储介质 - Google Patents

一种电商大数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113672687A
CN113672687A CN202111237956.XA CN202111237956A CN113672687A CN 113672687 A CN113672687 A CN 113672687A CN 202111237956 A CN202111237956 A CN 202111237956A CN 113672687 A CN113672687 A CN 113672687A
Authority
CN
China
Prior art keywords
data
rdd
dataframe
filtering
commerce website
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111237956.XA
Other languages
English (en)
Other versions
CN113672687B (zh
Inventor
隋国栋
高景洋
刘峰
刘超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhidemai Technology Co ltd
Original Assignee
Beijing Zhidemai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhidemai Technology Co ltd filed Critical Beijing Zhidemai Technology Co ltd
Priority to CN202111237956.XA priority Critical patent/CN113672687B/zh
Publication of CN113672687A publication Critical patent/CN113672687A/zh
Application granted granted Critical
Publication of CN113672687B publication Critical patent/CN113672687B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/278—Data partitioning, e.g. horizontal or vertical partitioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明是关于一种电商大数据处理方法、装置、设备及存储介质。该方法包括：通过Spark程序读取Hbase中的商品数据，生成弹性分布式数据集RDD；将RDD转换成DataFrame；通过电商网站ID及上下架条件，过滤DataFrame中的数据；将过滤数据后的DataFrame重新转换成RDD；通过RDD的MapPartitions操作，将重新转换的RDD的每条数据与预先配置的采集方案和采集任务做匹配，生成最优调度项；将生成的最优调度项，按任务频次推入到不同的链接池中。本发明提供的技术方案，大大提高商品数据的调度速度，且调度商品数据量稳定，大大减少了取分区数据读取失败的情况。

Description

一种电商大数据处理方法、装置、设备及存储介质
技术领域
本发明涉及数据处理领域，尤其涉及一种电商大数据处理方法、装置、设备及存储介质。
背景技术
随着业务数据的积累，电商商品数据量越来越大，数据的读取越来越慢，导致整个数据处理流程变慢。以Hbase数据库为例，Hbase数据库内部以分区为数据单位，一个分区中可以有很多条数据，4096个分区可存储多达2亿商品数据量，用Python程序顺序遍历每个分区，读取商品数据后，做调度、分发、下载分析操作，这种方式存在的问题是：执行速度慢，调度一轮数据的时候，为1.5小时-2小时；并且，在执行过程中会有分区扫描失败的情况，导致有数据不能正常进入下游流程。
发明内容
为克服相关技术中存在的问题，本发明提供一种电商大数据处理方法、装置、设备及存储介质。
根据本发明实施例的第一方面，提供一种电商大数据处理方法，包括：
通过Spark程序读取Hbase中的商品数据，生成弹性分布式数据集RDD；
将RDD转换成DataFrame；
通过电商网站ID及上下架条件，过滤DataFrame中的数据；
将过滤数据后的DataFrame重新转换成RDD；
通过RDD的MapPartitions操作，将重新转换的RDD的每条数据与预先配置的采集方案和采集任务做匹配，生成最优调度项；
将生成的最优调度项，按任务频次推入到不同的链接池中。
进一步，所述通过电商网站ID及上下架条件，过滤DataFrame中的数据，具体包括：
根据电商网站对应的ID字段从DataFrame中的数据过滤出需要参与调度的电商网站的商品数据，从所述需要参与调度的电商网站的商品数据中过滤出处于上架状态的商品数据。
进一步，所述采集方案和采集任务包括采集的数据范围和字段。
进一步，所述链接池为kafka队列。
根据本发明实施例的第二方面，提供一种电商大数据处理装置，包括：
数据读取模块，用于通过Spark程序读取Hbase中的商品数据，生成弹性分布式数据集RDD；
第一转换模块，用于将RDD转换成DataFrame；
数据过滤模块，用于通过电商网站ID及上下架条件，过滤DataFrame中的数据；
第二转换模块，用于将过滤数据后的DataFrame重新转换成RDD；
数据匹配模块，用于通过RDD的MapPartitions操作，将重新转换的RDD的每条数据与预先配置的采集方案和采集任务做匹配，生成最优调度项；
任务推入模块，用于将生成的最优调度项，按任务频次推入到不同的链接池中。
进一步，所述数据过滤模块，具体用于根据电商网站对应的ID字段从DataFrame中的数据过滤出需要参与调度的电商网站的商品数据，从所述需要参与调度的电商网站的商品数据中过滤出处于上架状态的商品数据。
进一步，所述采集方案和采集任务包括采集的数据范围和字段。
进一步，所述链接池为kafka队列。
根据本发明实施例的第三方面，提供一种终端设备，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
根据本发明实施例的第四方面，提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
本发明的实施例提供的技术方案可以包括以下有益效果：
大大提高商品数据的调度速度，且调度商品数据量稳定，大大减少了取分区数据读取失败的情况。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
通过结合附图对本发明示例性实施方式进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施方式中，相同的参考标号通常代表相同部件。
图1是根据本发明一示例性实施例示出的一种电商大数据处理方法的流程示意图；
图2是根据本发明一示例性实施例示出的一种电商大数据处理装置的结构框图；
图3是根据本发明一示例性实施例示出的一种计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的优选实施方式。虽然附图中显示了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
以下结合附图详细描述本发明实施例的技术方案。
图1是根据本发明一示例性实施例示出的一种电商大数据处理方法的流程示意图。
参见图1，该方法包括：
110、通过Spark程序读取Hbase中的商品数据，生成RDD；
其中，Spark是专为大规模数据处理而设计的快速通用的计算引擎，RDD(Resilient Distributed Datasets，弹性分布式数据集)是Spark中的一种数据集合，字段不对称，每条数据拥有的字段不一定相同。
120、将RDD转换成DataFrame，以便过滤数据；
其中，DataFrame是Spark中的一种数据集合，类似一个二维表，数据对称，每条数据拥有的字段相同。
130、通过电商网站ID及上下架条件，过滤DataFrame中的数据，得到需要参与调度的数据
其中，在调度库中每条数据都有WebsiteID字段，该字段可标识出当前这条数据属于哪个电商网站，例：京东=1、苏宁=17、天猫=71等等。
上下架条件即电商商品的上下架状态，如果商品为上架状态，则可以电商购买；如果为下架状态，则不可在电商购买。在调度库中对应有字段为IsDeleted ,True:表示下架，False:表示上架。
在确定参与调度的数据时，一方面需要根据电商网站对应的的ID字段从DataFrame中的数据过滤出需要参与调度的电商网站的商品数据，另一方面需要从过滤出的需要参与调度的电商网站的商品数据中进一步过滤出处于上架状态的商品数据。
140、将过滤数据后的DataFrame重新转换成RDD；
具体的，在pyspark中，将DataFrame转换成RDD，只需要执行代码DataFrame.RDD即可将一个DataFrame数据集，转换为RDD数据集。
150、通过RDD的MapPartitions操作，将重新转换的RDD的每条数据与采集方案和采集任务做匹配，生成最优调度项；
采集方案和采集任务，是在数据中心采集的配置，包含了采集的数据范围（上架或下架、自营或第三方）、要采集的字段（标题、图片、价格、优惠信息、分类、品牌）等信息。MapPartations是Spark中的一种数据处理方式，即：将RDD中的每一条数据，都执行一个相同的操作。在调度时会根据数据范围，匹配调度库中的数据是否做推送操作。
160、将生成的最优调度项，按任务频次推入到不同的链接池中，为下游功能提供数据。
链接池为一个大数据消息队列组件，调度程序将数据推进链接池中。下游的分布式下载程序，从链接池中消费出数据后，做下载操作，实现数据的采集。在一个实施例中，链接池可采用kafka队列，这是一种常用的数据处理队列组件。
通过实施本发明实施例提供的一种电商大数据处理方法的技术方案，能够大大提高商品数据的调度速度，调度速度可由原来的1.5小时-2小时，提高到15分钟-24分钟，且调度商品数据量稳定，大大减少了取分区数据读取失败的情况。
与上述方法实施例相对应地，本实施例提供一种电商大数据处理装置，图2是根据本发明示例性实施例示出的一种电商大数据处理装置的结构框图。
参见图2，该***包括：
数据读取模块，用于通过Spark程序读取Hbase中的商品数据，生成弹性分布式数据集RDD；
第一转换模块，用于将RDD转换成DataFrame；
数据过滤模块，用于通过电商网站ID及上下架条件，过滤DataFrame中的数据；
第二转换模块，用于将过滤数据后的DataFrame重新转换成RDD；
数据匹配模块，用于通过RDD的MapPartitions操作，将重新转换的RDD的每条数据与预先配置的采集方案和采集任务做匹配，生成最优调度项；
任务推入模块，用于将生成的最优调度项，按任务频次推入到不同的链接池中。
可选地，在该实施例中，所述数据过滤模块，具体用于根据电商网站对应的ID字段从DataFrame中的数据过滤出需要参与调度的电商网站的商品数据，从所述需要参与调度的电商网站的商品数据中过滤出处于上架状态的商品数据。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。
图3是根据本发明一示例性实施例示出的一种计算设备的结构示意图。
参见图3，计算设备300包括存储器310和处理器320。
处理器320可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器310可以包括各种类型的存储单元，例如***内存、只读存储器（ROM）和永久存储装置。其中，ROM可以存储处理器320或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置（例如磁或光盘、闪存）作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备（例如软盘、光驱）。***内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。***内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器310可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片（DRAM，SRAM，SDRAM，闪存，可编程只读存储器），磁盘和/或光盘也可以采用。在一些实施方式中，存储器310可以包括可读和/或写的可移除的存储设备，例如激光唱片（CD）、只读数字多功能光盘（例如DVD-ROM，双层DVD-ROM）、只读蓝光光盘、超密度光盘、闪存卡（例如SD卡、min SD卡、Micro-SD卡等等）、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器310上存储有可执行代码，当可执行代码被处理器320处理时，可以使处理器320执行上文述及的方法中的部分或全部。
此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中部分或全部步骤的计算机程序代码指令。
或者，本发明还可以实施为一种非暂时性机器可读存储介质（或计算机可读存储介质、或机器可读存储介质），其上存储有可执行代码（或计算机程序、或计算机指令代码），当所述可执行代码（或计算机程序、或计算机指令代码）被电子设备（或计算设备、服务器等）的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤的部分或全部。
上文中已经参考附图详细描述了本发明的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本发明所必须的。另外，可以理解，本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，本发明实施例装置中的模块可以根据实际需要进行合并、划分和删减。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本发明的多个实施例的***和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种电商大数据处理方法，其特征在于，包括：
通过Spark程序读取Hbase中的商品数据，生成弹性分布式数据集RDD；
将RDD转换成DataFrame；
通过电商网站ID及上下架条件，过滤DataFrame中的数据；
将过滤数据后的DataFrame重新转换成RDD；
通过RDD的MapPartitions操作，将重新转换的RDD的每条数据与预先配置的采集方案和采集任务做匹配，生成最优调度项；
将生成的最优调度项，按任务频次推入到不同的链接池中。
2.根据权利要求1所述的方法，其特征在于，所述通过电商网站ID及上下架条件，过滤DataFrame中的数据，具体包括：
根据电商网站对应的ID字段从DataFrame中的数据过滤出需要参与调度的电商网站的商品数据，从所述需要参与调度的电商网站的商品数据中过滤出处于上架状态的商品数据。
3.根据权利要求1所述的方法，其特征在于，所述采集方案和采集任务包括采集的数据范围和字段。
4.根据权利要求1所述的方法，其特征在于，所述链接池为kafka队列。
5.一种电商大数据处理装置，其特征在于，包括：
数据读取模块，用于通过Spark程序读取Hbase中的商品数据，生成弹性分布式数据集RDD；
第一转换模块，用于将RDD转换成DataFrame；
数据过滤模块，用于通过电商网站ID及上下架条件，过滤DataFrame中的数据；
第二转换模块，用于将过滤数据后的DataFrame重新转换成RDD；
数据匹配模块，用于通过RDD的MapPartitions操作，将重新转换的RDD的每条数据与预先配置的采集方案和采集任务做匹配，生成最优调度项；
任务推入模块，用于将生成的最优调度项，按任务频次推入到不同的链接池中。
6.根据权利要求5所述的装置，其特征在于，所述数据过滤模块，具体用于根据电商网站对应的ID字段从DataFrame中的数据过滤出需要参与调度的电商网站的商品数据，从所述需要参与调度的电商网站的商品数据中过滤出处于上架状态的商品数据。
7.根据权利要求5所述的装置，其特征在于，所述采集方案和采集任务包括采集的数据范围和字段。
8.根据权利要求5所述的装置，其特征在于，所述链接池为kafka队列。
9.一种终端设备，其特征在于，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-4中任一项所述的方法。
10.一种非暂时性机器可读存储介质，其上存储有可执行代码，其特征在于，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-4中任一项所述的方法。
CN202111237956.XA 2021-10-25 2021-10-25 一种电商大数据处理方法、装置、设备及存储介质 Active CN113672687B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111237956.XA CN113672687B (zh) 2021-10-25 2021-10-25 一种电商大数据处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111237956.XA CN113672687B (zh) 2021-10-25 2021-10-25 一种电商大数据处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113672687A true CN113672687A (zh) 2021-11-19
CN113672687B CN113672687B (zh) 2022-02-15

Family

ID=78551087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111237956.XA Active CN113672687B (zh) 2021-10-25 2021-10-25 一种电商大数据处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113672687B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116166655A (zh) * 2023-04-25 2023-05-26 尚特杰电力科技有限公司 大数据清洗***

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040249643A1 (en) * 2003-06-06 2004-12-09 Ma Laboratories, Inc. Web-based computer programming method to automatically fetch, compare, and update various product prices on the web servers
CN108564448A (zh) * 2018-04-23 2018-09-21 广东奥园奥买家电子商务有限公司 一种订单防刷的实现方法
US20180300242A1 (en) * 2017-04-12 2018-10-18 International Business Machines Corporation Caching a Block of Data in a Multi-Tenant Cache Storage Device Based on Space Usage Boundary Estimates
CN108876508A (zh) * 2018-05-03 2018-11-23 上海海事大学 一种电商协同过滤推荐方法
CN109034981A (zh) * 2018-08-23 2018-12-18 上海海事大学 一种电商协同过滤推荐方法
CN109597857A (zh) * 2018-12-06 2019-04-09 中电工业互联网有限公司 一种基于Spark的物联网大数据计算方法
CN109920248A (zh) * 2019-03-05 2019-06-21 南通大学 一种基于gru神经网络的公交到站时间预测方法
US10331380B1 (en) * 2015-04-06 2019-06-25 EMC IP Holding Company LLC Scalable distributed in-memory computation utilizing batch mode extensions
CN110022226A (zh) * 2019-01-04 2019-07-16 国网浙江省电力有限公司 一种基于面向对象的数据采集***及采集方法
CN110046176A (zh) * 2019-04-28 2019-07-23 南京大学 一种基于Spark的大规模分布式DataFrame的查询方法
CN110673854A (zh) * 2019-09-24 2020-01-10 深圳前海微众银行股份有限公司 Sas语言编译方法、装置、设备及可读存储介质
CN110765154A (zh) * 2019-10-16 2020-02-07 华电莱州发电有限公司 火电厂海量实时生成数据的处理方法及装置
US10691597B1 (en) * 2019-08-10 2020-06-23 MIFrontiers Corporation Method and system for processing big data
CN111768136A (zh) * 2019-06-10 2020-10-13 北京京东尚科信息技术有限公司 库存调度方法和装置
CN113177090A (zh) * 2021-04-30 2021-07-27 中国邮政储蓄银行股份有限公司 数据处理方法及装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040249643A1 (en) * 2003-06-06 2004-12-09 Ma Laboratories, Inc. Web-based computer programming method to automatically fetch, compare, and update various product prices on the web servers
US10331380B1 (en) * 2015-04-06 2019-06-25 EMC IP Holding Company LLC Scalable distributed in-memory computation utilizing batch mode extensions
US20180300242A1 (en) * 2017-04-12 2018-10-18 International Business Machines Corporation Caching a Block of Data in a Multi-Tenant Cache Storage Device Based on Space Usage Boundary Estimates
CN108564448A (zh) * 2018-04-23 2018-09-21 广东奥园奥买家电子商务有限公司 一种订单防刷的实现方法
CN108876508A (zh) * 2018-05-03 2018-11-23 上海海事大学 一种电商协同过滤推荐方法
CN109034981A (zh) * 2018-08-23 2018-12-18 上海海事大学 一种电商协同过滤推荐方法
CN109597857A (zh) * 2018-12-06 2019-04-09 中电工业互联网有限公司 一种基于Spark的物联网大数据计算方法
CN110022226A (zh) * 2019-01-04 2019-07-16 国网浙江省电力有限公司 一种基于面向对象的数据采集***及采集方法
CN109920248A (zh) * 2019-03-05 2019-06-21 南通大学 一种基于gru神经网络的公交到站时间预测方法
CN110046176A (zh) * 2019-04-28 2019-07-23 南京大学 一种基于Spark的大规模分布式DataFrame的查询方法
CN111768136A (zh) * 2019-06-10 2020-10-13 北京京东尚科信息技术有限公司 库存调度方法和装置
US10691597B1 (en) * 2019-08-10 2020-06-23 MIFrontiers Corporation Method and system for processing big data
CN110673854A (zh) * 2019-09-24 2020-01-10 深圳前海微众银行股份有限公司 Sas语言编译方法、装置、设备及可读存储介质
CN110765154A (zh) * 2019-10-16 2020-02-07 华电莱州发电有限公司 火电厂海量实时生成数据的处理方法及装置
CN113177090A (zh) * 2021-04-30 2021-07-27 中国邮政储蓄银行股份有限公司 数据处理方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116166655A (zh) * 2023-04-25 2023-05-26 尚特杰电力科技有限公司 大数据清洗***

Also Published As

Publication number Publication date
CN113672687B (zh) 2022-02-15

Similar Documents

Publication Publication Date Title
WO2020082871A1 (zh) 一种并行化执行区块链交易的方法、装置及***
US9189270B2 (en) Realizing jumps in an executing process instance
CN111813791B (zh) 一种分布式补偿事务的方法及设备
CN110956275B (zh) 风险预测和风险预测模型的训练方法、装置及电子设备
CN113672687B (zh) 一种电商大数据处理方法、装置、设备及存储介质
CN112506671B (zh) 区块链中的交易处理方法、装置及电子设备
CN110941502A (zh) 消息处理方法、装置、存储介质及设备
CN110278264B (zh) 一种基于区块链的跨链通信的方法、装置及交易***
US8560505B2 (en) Automatic selection of blocking column for de-duplication
CN110287038A (zh) 提升Spark Streaming框架的数据处理效率的方法及***
CN112162806B (zh) 弹窗显示的方法、终端及计算机存储介质
US7606906B2 (en) Bundling and sending work units to a server based on a weighted cost
CN111539765A (zh) 商品价格数据处理方法、装置及设备
US20210073850A1 (en) Redemption code distribution
CN107451204B (zh) 一种数据查询方法、装置及设备
CN110874786A (zh) 虚假交易团伙识别方法、设备及计算机可读介质
CN112748994B (zh) 一种区块链交易并行处理方法及***
CN113486109A (zh) 异构数据库的数据同步方法、装置及电子设备
WO2021164707A1 (zh) 物品更换信息生成方法、物品整理方法、装置及电子设备
CN109829678B (zh) 一种回滚处理方法、装置以及电子设备
CN111709748B (zh) 一种具有业务属性的交易执行方法、装置及电子设备
CN111611313B (zh) 信息同步方法及电子设备
CN113609175A (zh) 一种基于图数据库的电商商品属性数据处理方法及装置
CN113643100A (zh) 一种商品相似度判定模块贡献量化方法及***
CN113837826A (zh) 一种处理订单的方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant