CN113157785A - 一种数据采集***、方法及装置 - Google Patents

一种数据采集***、方法及装置 Download PDF

Info

Publication number
CN113157785A
CN113157785A CN202110170929.9A CN202110170929A CN113157785A CN 113157785 A CN113157785 A CN 113157785A CN 202110170929 A CN202110170929 A CN 202110170929A CN 113157785 A CN113157785 A CN 113157785A
Authority
CN
China
Prior art keywords
data
product
target product
data file
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110170929.9A
Other languages
English (en)
Inventor
邹鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp filed Critical China Construction Bank Corp
Priority to CN202110170929.9A priority Critical patent/CN113157785A/zh
Publication of CN113157785A publication Critical patent/CN113157785A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1004—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's to protect a block of data words, e.g. CRC or checksum
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书实施例提供一种数据采集***、方法及装置。所述***包括：数据接收方和多个数据发送方；所述多个数据发送方，用于获取目标产品的产品标识；基于所述产品标识从产品的消费数据中查找所述目标产品的消费数据；所述消费数据表征产品的销售情况；将所述目标产品的消费数据转换为预设格式的数据文件；将所述数据文件发送至数据接收方；所述数据接收方，用于对所述数据文件进行校验，在校验通过的情况下，存储所述数据文件，提高了数据采集的效率。

Description

一种数据采集***、方法及装置
技术领域
本说明书实施例涉及大数据技术领域，特别涉及一种数据采集***、方法及装置。
背景技术
一些产品借助互联网+模式，扶持上游产业，扩宽下游产业，解决产品滞销问题。为加快目标产品的销售，通常需要对目标产品的消费数据进行采集和统计。
目前，目标产品的消费数据的采集和统计是通过线下统计的方式。例如通过线下门店进行调研的方式统计目标产品的消费数据，或者收集各电商提供的目标产品的消费数据。
然而，各电商平台的数据库都是独立的，***环境和数据库结构不相同，从而使得从各电商获取的数据的数据格式不同，需要工作人员对从各个电商平台获取的数据格式进行转换和统计。因此，现有技术中，对于大量的数据来说，通过人工转换的方式耗时耗力，对于目标产品的消费数据的采集和统计效率较低。
发明内容
本说明书实施例的目的是提供一种数据采集***、方法及装置，以提高数据采集的效率。
为解决上述技术问题，本说明书实施例提供一种数据采集***，所述***包括：数据接收方和多个数据发送方；所述多个数据发送方，用于获取目标产品的产品标识；基于所述产品标识从产品的消费数据中查找所述目标产品的消费数据；所述消费数据表征产品的销售情况；将所述目标产品的消费数据转换为预设格式的数据文件；将所述数据文件发送至数据接收方；所述数据接收方，用于对所述数据文件进行校验，在校验通过的情况下，存储所述数据文件。
为解决上述技术问题，本说明书实施例还提供一种数据采集方法，所述方法包括：获取目标产品的产品标识；基于所述产品标识从产品的消费数据中查找所述目标产品的消费数据；所述消费数据表征产品的销售情况；将所述目标产品的消费数据转换为预设格式的数据文件；将所述数据文件发送至数据接收方，以便于所述数据接收方对所述数据文件进行校验，在校验通过的情况下，存储所述数据文件。
为解决上述技术问题，本说明书实施例还提供一种数据采集装置，所述装置包括：获取模块，用于获取目标产品的产品标识；查找模块，用于基于所述产品标识从产品的消费数据中查找所述目标产品的消费数据；所述消费数据表征产品的销售情况；转换模块，用于将所述目标产品的消费数据转换为预设格式的数据文件；发送模块，用于将所述数据文件发送至数据接收方，以便于所述数据接收方对所述数据文件进行校验，在校验通过的情况下，存储所述数据文件。
为解决上述技术问题，本说明书实施例还提供一种电子设备，包括存储器和处理器；所述存储器，用于存储计算机程序指令；所述处理器，用于执行所述计算机程序指令以实现以下步骤：获取目标产品的产品标识；基于所述产品标识从产品的消费数据中查找所述目标产品的消费数据；所述消费数据表征产品的销售情况；将所述目标产品的消费数据转换为预设格式的数据文件；将所述数据文件发送至数据接收方，以便于所述数据接收方对所述数据文件进行校验，在校验通过的情况下，存储所述数据文件。
为解决上述技术问题，本说明书实施例还提供一种数据采集方法，所述方法包括：获取数据发送方提供的数据文件；其中，所述数据文件为所述数据发送方根据以下方式得到：获取目标产品的产品标识；基于所述产品标识从产品的消费数据中查找所述目标产品的消费数据；所述消费数据表征产品的销售情况；将所述目标产品的消费数据转换为预设格式的数据文件；对所述数据文件进行校验；在校验通过的情况下，存储所述数据文件。
为解决上述技术问题，本说明书实施例还提供一种数据采集装置，所述装置包括：获取模块，用于获取数据发送方提供的数据文件；其中，所述数据文件为所述数据发送方根据以下方式得到：获取目标产品的产品标识；基于所述产品标识从产品的消费数据中查找所述目标产品的消费数据；所述消费数据表征产品的销售情况；将所述目标产品的消费数据转换为预设格式的数据文件；校验模块，用于对所述数据文件进行校验；存储模块，用于在校验通过的情况下，存储所述数据文件。
为解决上述技术问题，本说明书实施例还提供一种电子设备，包括存储器和处理器；所述存储器，用于存储计算机程序指令；所述处理器，用于执行所述计算机程序指令以实现以下步骤：获取数据发送方提供的数据文件；其中，所述数据文件为所述数据发送方根据以下方式得到：获取目标产品的产品标识；基于所述产品标识从产品的消费数据中查找所述目标产品的消费数据；所述消费数据表征产品的销售情况；将所述目标产品的消费数据转换为预设格式的数据文件；对所述数据文件进行校验；在校验通过的情况下，存储所述数据文件。
由以上本说明书实施例提供的技术方案可见，本说明书实施例通过多个数据发送方获取目标产品的产品标识；基于所述产品标识从产品的消费数据中查找所述目标产品的消费数据；所述消费数据表征产品的销售情况；将所述目标产品的消费数据转换为预设格式的数据文件；将所述数据文件发送至数据接收方，数据接收方对所述数据文件进行校验，在校验通过的情况下，存储所述数据文件，从而完成数据的采集，能够兼容各个数据发送方不同的***设计，实现各个数据发送方与数据接收方数据的直连直报，通过设置统一格式的数据文件，数据接收方在接收到数据文件后不需对数据格式再进行转换，提高了数据采集的效率。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书实施例一种数据采集方法的流程图；
图2为本说明书实施例一种数据采集方法的流程图；
图3为本说明书实施例一种数据采集方法的流程图；
图4为本说明书实施例一种数据采集装置的功能结构示意图；
图5为本说明书实施例一种电子设备的功能结构示意图；
图6为本说明书实施例一种数据采集装置的功能结构示意图。
具体实施方式
下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
为了更好地理解本申请的发明构思，首先介绍本说明书实施例一种数据采集***，所述数据采集***可以包括数据接收方和多个数据发送方。
在一些实施例中，所述数据发送方可以为电商平台，例如可以是中国建设银行的善融商务个人商城、善融商务企业商城，还可以是其他电商平台，如京东商城、淘宝商城、苏宁、永辉超市等。
在一些实施例中，所述多个数据发送方，用于获取目标产品的产品标识；基于所述产品标识从产品的消费数据中查找所述目标产品的消费数据；所述消费数据表征产品的销售情况；将所述目标产品的消费数据转换为预设格式的数据文件；将所述数据文件发送至数据接收方。
在一些实施例中，所述数据接收方可以为消费服务平台。所述数据接收方，用于对所述数据文件进行校验，在校验通过的情况下，存储所述数据文件。具体的，所述数据接收方可以对数据发送方提供的数据文件的格式进行校验，在校验通过的情况下，存储所述数据文件。
下面对所述多个数据发送方和所述数据接收方之间的数据交互进行说明。如图1所示，所述多个数据发送方和所述数据接收方之间的数据交互过程可以包括以下步骤。
S101：数据发送方获取目标产品的产品标识。
在一些实施例中，所述目标产品的产品标识用于唯一标识所述目标产品。所述目标产品的产品标识可以为目标产品的名称、编号等。
在一些实施例中，所述目标产品的产品标识从预设的产品信息表中获取得到；所述产品信息表中存储有目标产品的产品标识。具体的，所述数据发送方可以从预设的产品信息表中进行查询，可查询到的产品即为目标产品，获取所述产品信息表中目标产品的产品标识。
在一个具体的示例中，所述产品信息表可以是目标网络提供的，所述目标网络可以向数据接收方推送目标产品目录，数据接收方可以根据所述目标产品目录生成产品信息表，并提供接口，以便于数据发送方从该接口获取所述产品信息表。
S102：数据发送方基于所述产品标识从产品的消费数据中查找所述目标产品的消费数据。
在一些实施例中，所述消费数据表征产品的销售情况。具体的，所述消费数据可以包括产品信息，如产品名称、产品价格、产品属性、产品外观等；还可以包括产品的订单信息、产品的评价信息、产品的供应商等信息。
在一些实施例中，数据发送方可以记录有各种产品的消费数据。根据所述产品标识，数据发送方可以从各种产品的消费数据中查找到目标产品的消费数据。
在一些实施例中，为提高目标产品消费数据的查找效率。所述数据发送方还可以获取目标产品供应商的标识，相应的，所述根据所述目标产品供应商的标识获取所述目标产品供应商的产品的消费数据；基于所述产品标识从所述目标产品供应商的产品的消费数据中查找所述目标产品的消费数据。
在一些实施例中，所述目标产品供应商的标识从预设的供应商信息表中获取得到；所述供应商信息表中存储有目标产品供应商的标识。
在一个具体的示例中，所述供应商信息表可以是目标网络提供的，所述目标网络可以向数据接收方推送供应商数据，数据接收方可以根据所述供应商数据生成供应商信息表，并提供接口，以便于数据发送方从该接口获取所述产品信息表。当然，除了目标产品供应商提供目标产品外，与目标产品供应商合作的经销商也可以提供目标产品，因此，所述供应商信息表还可以包括目标产品经销商的标识，相应的，数据发送方还可以根据目标产品经销商的标识，获取所述目标产品经销商的产品的消费数据；基于所述产品标识从所述目标产品经销商的产品的消费数据中查找所述目标产品的消费数据。其中，所述目标产品经销商标识可以根据供应商与经销商的授权关系得到。数据接收方可以通过表1维护供应商与经销商的授权关系。
表1
Figure RE-GDA0003105348910000051
S103：数据发送方将所述目标产品的消费数据转换为预设格式的数据文件。
在一些实施例中，数据文件的格式可以是数据发送方和数据接收方预先确定的格式。例如可以确定需要上传的必要字段、非必要字段，以及字段的格式的等。
所述数据发送方可以将所述目标产品的消费数据进行整理，得到预设格式的数据文件。
在一些实施例中，所述数据文件可以为多个，不同的数据文件所包含的数据信息不同。例如，所述数据文件可以包括表征目标产品信息的产品信息文件、表征目标产品外观的产品附件文件、表征目标产品售卖信息的订单信息文件、表征目标产品与订单关系的订单产品映射文件和表征目标产品评价信息的评价信息文件等，如表2所示。
表2
序号 文件名 数据发送方 数据接收方 文件格式 备注
1 产品信息文件 电商/物联网 目标平台 Dat
2 产品附件文件 电商/物联网 目标平台 Dat
3 订单信息文件 电商/物联网 目标平台 Dat
4 订单产品映射文件 电商/物联网 目标平台 Dat
5 评价信息文件 电商/物联网 目标平台 Dat
S104：数据发送方将所述数据文件发送至数据接收方。
在一些实施例中，为提高数据的传输效率，对于较大的文件，可以将文件进行拆分为多个小文件后进行发送。具体的，在所述数据文件的记录条数大于预设值的情况下，对所述数据文件进行拆分，以使拆分后的各个数据文件的记录条数小于预设值；相应的，将拆分后的各个数据文件发送至数据接收方。其中，所述预设值可以根据实际情况进行设置，例如可以为10000条、15000条、20000条、25000条等。
在一些实施例中，所述数据文件对应有数据发送方标识；所述数据发送方标识用于唯一标识发送所述数据文件的数据发送方。具体的，所述数据发送方标识可以为数据发送方的名称、编号等，如表3所示。
表3
Figure RE-GDA0003105348910000061
Figure RE-GDA0003105348910000071
S105：数据接收方对所述数据文件进行校验。
在一些实施例中，数据接收方可以使用ETL(Extract-Transform-Load，数据仓库技术)将多个数据发送方发送的数据文件经过抽取、清洗转换之后加载到数据仓库。
在一些实施例中，数据接收方还可以对所述数据文件进行校验，所述对所述数据文件进行校验包括：对所述数据文件的字段和字段格式进行校验，在所述数据文件的字段包含预设字段，且所述数据文件的字段为预设格式的情况下，确定校验通过。具体的，可以校验数据文件的格式，是否包含必要的字段，是否包含非必要字段等。
S106：数据接收方在校验通过的情况下，存储所述数据文件。
通过上述实施例的介绍，可以看出，本说明书实施例通过多个数据发送方获取目标产品的产品标识；基于所述产品标识从产品的消费数据中查找所述目标产品的消费数据；所述消费数据表征产品的销售情况；将所述目标产品的消费数据转换为预设格式的数据文件；将所述数据文件发送至数据接收方，数据接收方对所述数据文件进行校验，在校验通过的情况下，存储所述数据文件，从而完成数据的采集，能够兼容各个数据发送方不同的***设计，实现各个数据发送方与数据接收方数据的直连直报，通过设置统一格式的数据文件，数据接收方在接收到数据文件后不需对数据格式再进行转换，提高了数据采集的效率。
下面介绍本说明书实施例一种数据采集方法。所述数据同步方法的执行主体为所述数据发送方。如图2所示，所述数据采集方法可以包括以下具体实施步骤。
S210：获取目标产品的产品标识。
在一些实施例中，所述目标产品的产品标识用于唯一标识所述目标产品。所述目标产品的产品标识可以为目标产品的名称、编号等。
在一些实施例中，所述目标产品的产品标识从预设的产品信息表中获取得到；所述产品信息表中存储有目标产品的产品标识。具体的，所述数据发送方可以从预设的产品信息表中进行查询，可查询到的产品即为目标产品，获取所述产品信息表中目标产品的产品标识。
在一个具体的示例中，所述产品信息表可以是目标网络提供的，所述目标网络可以向数据接收方推送目标产品目录，数据接收方可以根据所述目标产品目录生成产品信息表，并提供接口，以便于数据发送方从该接口获取所述产品信息表。
S220：基于所述产品标识从产品的消费数据中查找所述目标产品的消费数据；所述消费数据表征产品的销售情况。
在一些实施例中，所述消费数据表征产品的销售情况。具体的，所述消费数据可以包括产品信息，如产品名称、产品价格、产品属性、产品外观等；还可以包括产品的订单信息、产品的评价信息、产品的供应商等信息。
在一些实施例中，数据发送方可以记录有各种产品的消费数据。根据所述产品标识，数据发送方可以从各种产品的消费数据中查找到目标产品的消费数据。
在一些实施例中，为提高目标产品消费数据的查找效率。所述数据发送方还可以获取目标产品供应商的标识，相应的，所述根据所述目标产品供应商的标识获取所述目标产品供应商的产品的消费数据；基于所述产品标识从所述目标产品供应商的产品的消费数据中查找所述目标产品的消费数据。
在一些实施例中，所述目标产品供应商的标识从预设的供应商信息表中获取得到；所述供应商信息表中存储有目标产品供应商的标识。
在一个具体的示例中，所述供应商信息表可以是目标网络提供的，所述目标网络可以向数据接收方推送供应商数据，数据接收方可以根据所述供应商数据生成供应商信息表，并提供接口，以便于数据发送方从该接口获取所述产品信息表。当然，除了目标产品供应商提供目标产品外，与目标产品供应商合作的经销商也可以提供目标产品，因此，所述供应商信息表还可以包括目标产品经销商的标识，相应的，数据发送方还可以根据目标产品经销商的标识，获取所述目标产品经销商的产品的消费数据；基于所述产品标识从所述目标产品经销商的产品的消费数据中查找所述目标产品的消费数据。其中，所述目标产品经销商标识可以根据供应商与经销商的授权关系得到。
S230：将所述目标产品的消费数据转换为预设格式的数据文件。
在一些实施例中，数据文件的格式可以是数据发送方和数据接收方预先确定的格式。例如可以确定需要上传的必要字段、非必要字段，以及字段的格式等等。
所述数据发送方可以将所述目标产品的消费数据进行整理，得到预设格式的数据文件。
在一些实施例中，所述数据文件可以为多个，不同的数据文件所包含的数据信息不同。例如，所述数据文件可以包括表征目标产品信息的产品信息文件、表征目标产品外观的产品附件文件、表征目标产品售卖信息的订单信息文件、表征目标产品与订单关系的订单产品映射文件和表征目标产品评价信息的评价信息文件等。
S240：将所述数据文件发送至数据接收方，以便于所述数据接收方对所述数据文件进行校验，在校验通过的情况下，存储所述数据文件。
在一些实施例中，为提高数据的传输效率，对于较大的文件，可以将文件进行拆分为多个小文件后进行发送。具体的，在所述数据文件的记录条数大于预设值的情况下，对所述数据文件进行拆分，以使拆分后的各个数据文件的记录条数小于预设值；相应的，将拆分后的各个数据文件发送至数据接收方。其中，所述预设值可以根据实际情况进行设置，例如可以为10000条、15000条、20000条、250000条等。
在一些实施例中，所述数据文件对应有数据发送方标识；所述数据发送方标识用于唯一标识发送所述数据文件的数据发送方。具体的，所述数据发送方标识可以为数据发送方的名称、编号等。
在一些实施例中，数据接收方可以使用ETL(Extract-Transform-Load，数据仓库技术)将多个数据发送方发送的数据文件经过抽取、清洗转换之后加载到数据仓库。
在一些实施例中，数据接收方还可以对所述数据文件进行校验在校验通过的情况下，存储所述数据文件。所述对所述数据文件进行校验包括：对所述数据文件的字段和字段格式进行校验，在所述数据文件的字段包含预设字段，且所述数据文件的字段为预设格式的情况下，确定校验通过。具体的，可以校验数据文件的格式，是否包含必要的字段，是否包含非必要字段等。
由以上本说明书实施例提供的技术方案可见，本说明书实施例中，数据发送方可以获取目标产品的产品标识；基于所述产品标识从产品的消费数据中查找所述目标产品的消费数据；所述消费数据表征产品的销售情况；将所述目标产品的消费数据转换为预设格式的数据文件；将所述数据文件发送至数据接收方，以便于所述数据接收方对所述数据文件进行校验，在校验通过的情况下，存储所述数据文件，从而完成数据的采集，能够兼容各个数据发送方不同的***设计，实现各个数据发送方与数据接收方数据的直连直报，通过设置统一格式的数据文件，数据接收方在接收到数据文件后不需对数据格式再进行转换，提高了数据采集的效率。
下面介绍本说明书实施例一种数据采集方法。所述数据同步方法的执行主体为所述数据接收方。如图3所示，所述数据采集方法可以包括以下具体实施步骤。
S310：获取数据发送方提供的数据文件；其中，所述数据文件为所述数据发送方根据以下方式得到：获取目标产品的产品标识；基于所述产品标识从产品的消费数据中查找所述目标产品的消费数据；所述消费数据表征产品的销售情况；将所述目标产品的消费数据转换为预设格式的数据文件。
对于该步骤的具体描述可以参考步骤S101、S102、S103、S104中的说明，在此不再赘述。
S320：对所述数据文件进行校验。
对于该步骤的具体描述可以参考步骤S105中的说明，在此不再赘述。
S330：在校验通过的情况下，存储所述数据文件。
由以上本说明书实施例提供的技术方案可见，本说明书实施例中，数据接收方可以获取数据发送方提供的数据文件；其中，所述数据文件为所述数据发送方根据以下方式得到：获取目标产品的产品标识；基于所述产品标识从产品的消费数据中查找所述目标产品的消费数据；所述消费数据表征产品的销售情况；将所述目标产品的消费数据转换为预设格式的数据文件；对所述数据文件进行校验；在校验通过的情况下，存储所述数据文件，从而完成数据的采集，能够兼容各个数据发送方不同的***设计，实现各个数据发送方与数据接收方数据的直连直报，通过设置统一格式的数据文件，数据接收方在接收到数据文件后不需对数据格式再进行转换，提高了数据采集的效率。
基于图2所对应的数据采集方法，介绍本说明书实施例一种数据采集装置。如图4所示，所述数据采集装置包括以下模块。
获取模块410，用于获取目标产品的产品标识；
查找模块420，用于基于所述产品标识从产品的消费数据中查找所述目标产品的消费数据；所述消费数据表征产品的销售情况；
转换模块430，用于将所述目标产品的消费数据转换为预设格式的数据文件；
发送模块440，用于将所述数据文件发送至数据接收方，以便于所述数据接收方对所述数据文件进行校验，在校验通过的情况下，存储所述数据文件。
本说明书上述实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的电子设备中执行。图5为本说明书实施例一种电子设备的功能结构示意图，所述电子设备可以包括存储器和处理器。
在一些实施例中，所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现数据采集方法的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据用户终端的使用所创建的数据。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(APPlication Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。所述处理器可以执行所述计算机指令实现以下步骤：获取目标产品的产品标识；基于所述产品标识从产品的消费数据中查找所述目标产品的消费数据；所述消费数据表征产品的销售情况；将所述目标产品的消费数据转换为预设格式的数据文件；将所述数据文件发送至数据接收方，以便于所述数据接收方对所述数据文件进行校验，在校验通过的情况下，存储所述数据文件。
在本说明书实施例中，该电子设备具体实现的功能和效果，可以与其它实施例对照解释，在此不再赘述。
基于图3所对应的数据采集方法，介绍本说明书实施例一种数据采集装置。如图6所示，所述数据采集装置包括以下模块。
获取模块610，用于获取数据发送方提供的数据文件；其中，所述数据文件为所述数据发送方根据以下方式得到：获取目标产品的产品标识；基于所述产品标识从产品的消费数据中查找所述目标产品的消费数据；所述消费数据表征产品的销售情况；将所述目标产品的消费数据转换为预设格式的数据文件；
校验模块620，用于对所述数据文件进行校验；
存储模块630，用于在校验通过的情况下，存储所述数据文件。
本说明书上述实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的电子设备中执行。图5为本说明书实施例一种电子设备的功能结构示意图，所述电子设备可以包括存储器和处理器。
在一些实施例中，所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现数据采集方法的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据用户终端的使用所创建的数据。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(Secure Digital,SD)卡、闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(APPlication Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。所述处理器可以执行所述计算机指令实现以下步骤：获取目标产品的产品标识；基于所述产品标识从产品的消费数据中查找所述目标产品的消费数据；所述消费数据表征产品的销售情况；将所述目标产品的消费数据转换为预设格式的数据文件；对所述数据文件进行校验；在校验通过的情况下，存储所述数据文件。
在本说明书实施例中，该电子设备具体实现的功能和效果，可以与其它实施例对照解释，在此不再赘述。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。尤其，对于装置实施例和设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域技术人员在阅读本说明书文件之后，可以无需创造性劳动想到将本说明书列举的部分或全部实施例进行任意组合，这些组合也在本说明书公开和保护的范围内。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray， FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字***“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、 CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language) 等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog2。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书可用于众多通用或专用的计算机***环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器***、基于微处理器的***、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何***或设备的分布式计算环境等等。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
虽然通过实施例描绘了本说明书，本领域普通技术人员知道，本说明书有许多变形和变化而不脱离本说明书的精神，希望所附的权利要求包括这些变形和变化而不脱离本说明书的精神。

Claims (14)

1.一种数据采集***，其特征在于，所述***包括：数据接收方和多个数据发送方；
所述多个数据发送方，用于获取目标产品的产品标识；基于所述产品标识从产品的消费数据中查找所述目标产品的消费数据；所述消费数据表征产品的销售情况；将所述目标产品的消费数据转换为预设格式的数据文件；将所述数据文件发送至数据接收方；
所述数据接收方，用于对所述数据文件进行校验，在校验通过的情况下，存储所述数据文件。
2.一种数据采集方法，其特征在于，所述方法包括：
获取目标产品的产品标识；
基于所述产品标识从产品的消费数据中查找所述目标产品的消费数据；所述消费数据表征产品的销售情况；
将所述目标产品的消费数据转换为预设格式的数据文件；
将所述数据文件发送至数据接收方，以便于所述数据接收方对所述数据文件进行校验，在校验通过的情况下，存储所述数据文件。
3.根据权利要求2所述的方法，其特征在于，所述目标产品的产品标识从预设的产品信息表中获取得到；所述产品信息表中存储有目标产品的产品标识。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取目标产品供应商的标识；
相应的，所述根据所述目标产品供应商的标识获取所述目标产品供应商的产品的消费数据；基于所述产品标识从所述目标产品供应商的产品的消费数据中查找所述目标产品的消费数据。
5.根据权利要求4所述的方法，其特征在于，所述目标产品供应商的标识从预设的供应商信息表中获取得到；所述供应商信息表中存储有目标产品供应商的标识。
6.根据权利要求2所述的方法，其特征在于，所述数据文件包括以下文件中的至少一种：
表征目标产品信息的产品信息文件、表征目标产品外观的产品附件文件、表征目标产品售卖信息的订单信息文件、表征目标产品与订单关系的订单产品映射文件和表征目标产品评价信息的评价信息文件。
7.根据权利要求2所述的方法，其特征在于，所述数据文件对应有数据发送方标识；所述数据发送方标识用于唯一标识发送所述数据文件的数据发送方。
8.根据权利要求2所述的方法，其特征在于，在所述数据文件的记录条数大于预设值的情况下，对所述数据文件进行拆分，以使拆分后的各个数据文件的记录条数小于预设值；相应的，将拆分后的各个数据文件发送至数据接收方。
9.一种数据采集装置，其特征在于，所述装置包括：
获取模块，用于获取目标产品的产品标识；
查找模块，用于基于所述产品标识从产品的消费数据中查找所述目标产品的消费数据；所述消费数据表征产品的销售情况；
转换模块，用于将所述目标产品的消费数据转换为预设格式的数据文件；
发送模块，用于将所述数据文件发送至数据接收方，以便于所述数据接收方对所述数据文件进行校验，在校验通过的情况下，存储所述数据文件。
10.一种电子设备，其特征在于，包括存储器和处理器；
所述存储器，用于存储计算机程序指令；
所述处理器，用于执行所述计算机程序指令以实现以下步骤：获取目标产品的产品标识；基于所述产品标识从产品的消费数据中查找所述目标产品的消费数据；所述消费数据表征产品的销售情况；将所述目标产品的消费数据转换为预设格式的数据文件；将所述数据文件发送至数据接收方，以便于所述数据接收方对所述数据文件进行校验，在校验通过的情况下，存储所述数据文件。
11.一种数据采集方法，其特征在于，所述方法包括：
获取数据发送方提供的数据文件；其中，所述数据文件为所述数据发送方根据以下方式得到：获取目标产品的产品标识；基于所述产品标识从产品的消费数据中查找所述目标产品的消费数据；所述消费数据表征产品的销售情况；将所述目标产品的消费数据转换为预设格式的数据文件；
对所述数据文件进行校验；
在校验通过的情况下，存储所述数据文件。
12.根据权利要求11所述的方法，其特征在于，所述对所述数据文件进行校验包括：
对所述数据文件的字段和字段格式进行校验，在所述数据文件的字段包含预设字段，且所述数据文件的字段为预设格式的情况下，确定校验通过。
13.一种数据采集装置，其特征在于，所述装置包括：
获取模块，用于获取数据发送方提供的数据文件；其中，所述数据文件为所述数据发送方根据以下方式得到：获取目标产品的产品标识；基于所述产品标识从产品的消费数据中查找所述目标产品的消费数据；所述消费数据表征产品的销售情况；将所述目标产品的消费数据转换为预设格式的数据文件；
校验模块，用于对所述数据文件进行校验；
存储模块，用于在校验通过的情况下，存储所述数据文件。
14.一种电子设备，其特征在于，包括存储器和处理器；
所述存储器，用于存储计算机程序指令；
所述处理器，用于执行所述计算机程序指令以实现以下步骤：获取数据发送方提供的数据文件；其中，所述数据文件为所述数据发送方根据以下方式得到：获取目标产品的产品标识；基于所述产品标识从产品的消费数据中查找所述目标产品的消费数据；所述消费数据表征产品的销售情况；将所述目标产品的消费数据转换为预设格式的数据文件；对所述数据文件进行校验；在校验通过的情况下，存储所述数据文件。
CN202110170929.9A 2021-02-08 2021-02-08 一种数据采集***、方法及装置 Pending CN113157785A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110170929.9A CN113157785A (zh) 2021-02-08 2021-02-08 一种数据采集***、方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110170929.9A CN113157785A (zh) 2021-02-08 2021-02-08 一种数据采集***、方法及装置

Publications (1)

Publication Number Publication Date
CN113157785A true CN113157785A (zh) 2021-07-23

Family

ID=76882897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110170929.9A Pending CN113157785A (zh) 2021-02-08 2021-02-08 一种数据采集***、方法及装置

Country Status (1)

Country Link
CN (1) CN113157785A (zh)

Similar Documents

Publication Publication Date Title
CN109299164B (zh) 一种数据查询方法、计算机可读存储介质及终端设备
CN111352902A (zh) 日志处理方法、装置、终端设备及存储介质
CN112307057A (zh) 数据的处理方法及装置、电子设备、计算机存储介质
CN113704243A (zh) 数据分析方法、装置、计算机装置及存储介质
CN110704486B (zh) 数据处理方法、装置、***、存储介质和服务器
CN110781203A (zh) 一种数据宽表的确定方法及装置
CN108334609A (zh) Oracle中实现JSON格式数据存取的方法、装置、设备及存储介质
CN110765750A (zh) 报表数据录入方法及终端设备
CN113704307A (zh) 数据查询方法、装置、服务器及计算机可读存储介质
CN113129150A (zh) 交易数据的处理方法、装置、终端设备及可读存储介质
CN112801546A (zh) 一种任务调度方法、装置及存储介质
CN111258819A (zh) MySQL数据库备份文件的数据获取方法、装置和***
CN111159040A (zh) 一种测试数据生成方法、装置、设备及存储介质
CN114066533A (zh) 产品推荐方法、装置、电子设备及存储介质
CN109901991A (zh) 一种分析异常调用的方法、装置和电子设备
CN112052259A (zh) 数据处理方法、装置、设备及计算机存储介质
CN112671878A (zh) 一种区块链的信息订阅方法、装置、服务器和存储介质
CN113157785A (zh) 一种数据采集***、方法及装置
CN105677776A (zh) 一种数据处理方法及装置
CN116048981A (zh) 一种后端接口测试用例设计方法、装置、介质及设备
CN111611056A (zh) 数据处理方法、装置、计算机设备及存储介质
CN113722321A (zh) 数据导出方法、装置和电子设备
CN113778996A (zh) 一种大数据流数据处理方法、装置、电子设备及存储介质
CN113722296A (zh) 一种农业信息处理方法、装置、电子设备及存储介质
CN112699149A (zh) 目标数据获取方法、装置和存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination