CN111695126A - 一种众包数据解密方法、装置、电子设备及存储介质 - Google Patents

一种众包数据解密方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111695126A
CN111695126A CN202010470210.2A CN202010470210A CN111695126A CN 111695126 A CN111695126 A CN 111695126A CN 202010470210 A CN202010470210 A CN 202010470210A CN 111695126 A CN111695126 A CN 111695126A
Authority
CN
China
Prior art keywords
data
crowdsourcing data
crowdsourcing
topology
setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010470210.2A
Other languages
English (en)
Inventor
李兵松
甘霖
尹玉成
刘奋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heading Data Intelligence Co Ltd
Original Assignee
Heading Data Intelligence Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heading Data Intelligence Co Ltd filed Critical Heading Data Intelligence Co Ltd
Priority to CN202010470210.2A priority Critical patent/CN111695126A/zh
Publication of CN111695126A publication Critical patent/CN111695126A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种众包数据解密方法、装置、电子设备及存储介质，该方法包括：构建众包数据接入管道，通过Kafka将众包数据传输至流数据处理引擎storm中；创建topology对象，设置topology对象的spout组件，并将众包数据转化为log对象；通过dispatchBolt加载自定义解密算法包解密log对象，并设置topology对象的bolt组件；根据解密后众包数据的类型，将解密后众包数据传入对应的bolt组件进行处理。通过该方案解决了的众包数据解密处理效率低问题，可以有效提高众包数据处理效率，保障众包数据实时同步进行数据解密分类处理。

Description

一种众包数据解密方法、装置、电子设备及存储介质
技术领域
本发明涉及分布式处理领域，尤其涉及一种众包数据解密方法、装置、电子设备及存储介质。
背景技术
在高精度地图制作过程中，相对于传统实地测绘，通过众包方式制作的高精度地图时效性更好、效率更高，但众包地图数据量大、种类多，同时需要进行实时处理，这对服务器的数据处理能力提出了更高的要求。
一般众包获取的数据都是需要进行加密传输的，目前，针对众包加密数据处理多是基于单线程方式对数据进行顺序处理，而这种方式对于需要同步处理的数据，处理效率较低。
发明内容
有鉴于此，本发明实施例提供了一种众包数据解密方法、装置、电子设备及存储介质，以解决现有众包数据解密处理效率低的问题。
在本发明实施例的第一方面，提供了一种众包数据解密方法，包括：
构建众包数据接入管道，通过Kafka将众包数据传输至流数据处理引擎storm中；
创建topology对象，设置topology对象的spout组件，并将众包数据转化为log对象；
通过dispatchBolt加载自定义解密算法包解密log对象，并设置topology对象的bolt组件；
根据解密后众包数据的类型，将解密后众包数据传入对应的bolt组件进行处理。
在本发明实施例的第二方面，提供了一种众包数据解密装置，包括：
接入模块，用于构建众包数据接入管道，通过Kafka将众包数据传输至流数据处理引擎storm中；
转化模块，用于创建topology对象，设置topology对象的spout组件，并将众包数据转化为log对象；
解密模块，用于通过dispatchBolt加载自定义解密算法包解密log对象，并设置topology对象的bolt组件；
分类模块，用于根据解密后众包数据的类型，将解密后众包数据传入对应的bolt组件进行处理。
在本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例第一方面所述方法的步骤。
本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面提供的所述方法的步骤。
本发明实施例中，构建众包数据接入管道，通过Kafka将众包数据传输至流数据处理引擎storm中，创建topology对象，设置topology对象的spout组件，并将众包数据转化为log对象，通过dispatchBolt加载自定义解密算法包解密log对象，并设置topology对象的bolt组件，根据解密后众包数据的类型，将解密后众包数据传入对应的bolt组件进行处理。从而解决了高精度地图众包数据处理效率低的问题，基于kafka消息处理机制和storm流处理可以实现分布式众包数据解密处理，可以有效提高处理效率。同时，减少服务中断和数据丢失的风险，保障数据传输安全，实现数据解密和分类的同步处理。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他附图。
图1为本发明的一个实施例提供的一种众包数据解密方法的流程示意图；
图2为本发明的一个实施例提供的一种众包数据解密方法的原理示意图；
图3为本发明的一个实施例提供的一种用于众包数据解密的装置的结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
本发明的说明书或权利要求书及上述附图中的术语“包括”以及其他相近意思表述，意指覆盖不排他的包含，如包含一系列步骤或单元的过程、方法或***、设备没有限定于已列出的步骤或单元。
请参阅图1，图1为本发明一个实施例提供的一种众包数据解密方法的流程示意图，包括：
S101、构建众包数据接入管道，通过Kafka将众包数据传输至流数据处理引擎storm中；
所述Kafka为一种分布式发布订阅消息***，用于记录用户行为及一系列日志消息，并支持数据流处理，具有吞吐量高、持久化操作和易于扩展的特点。所述storm为一份分布式的高容错实时计算***，可以处理流式数据消息并将结果保存至持久化层中。将Kafka作为众包数据消息传送载体，将数据引入到流数据处理引擎storm，通过storm对众包数据进行解密分类处理。
S102、创建topology对象，设置topology对象的spout组件，并将众包数据转化为log对象；
storm集群中的任务称为topology，topology组件从数据源获取数据，并进行后续处理，一般topology中从外部数据源获取数据的组件为spout，处理数据的组件为bolt。
利用storm的TopologyBuilde对象来创建topology对象，基于当前业务流topology对象进行数据处理，在topology对象中设置数据接收源KafkaConsumerSpout，其中，所述数据接收源KafkaConsumerSpout表示Kafka消费者中数据，可通过Spout组件获取到。
设置topology对象的Spout组件处理数据来源，通过setSpout方法设置Spout组件参数及处理方法，示例性的，自定义HDJSpout，spout参数可包括：DATA_Spout_Name、HDJSpout、setMaxspoutPending(1000)。
其中，通过setSpout方法设置spout组件，并通过collector.emit()方法将最大待处理的tuple元组数量传送到disptachBolt，最大待处理的tuple元组数量即等待ACK的tuple的最大数量。
所述log对象即加密数据的文件对象。
S103、通过dispatchBolt加载自定义解密算法包解密log对象，并设置topology对象的bolt组件；
通过dispatchBolt方法加载自定义的解密算法包，所述解密算法包中定义有众包数据的解密算法，基于一种或多种特定的解密算法，解密log对象，具体的，通过setdispatchBolt方法定义数据加载解密算法包的方法，基于topology对象的bolt组件加载解密算法包进行数据解密处理。
所述bolt组件用于消息数据的处理，对于获取到的log对象，在bolt组件中通过自定义算法包进行解密处理。进一步的，对于解密后的众包数据，同样通过bolt组件进行分类存储至对应的数据仓。
S104、根据解密后众包数据的类型，将解密后众包数据传入对应的bolt组件进行处理。
通过setBolt方法设置topology对象的bolt组件，在该方法中定义数据处理过程。具体的，根据众包数据解密后的类型，将数据传入对应的bolt组件处理。
示例性的，在设置bolt组件中参数可包括：Constants.DATA_Spout_Name、NewBolt()及setMaxBoltPending(1000)。
优选的，将解密后的众包数据分类处理后，存储至HDFS文件***中，并通过zookeeper进行协调管理。
在本发明的另一实施例中，如图2所示，众包数据经Kafka发布订阅后，接入到流数据处理引擎storm，通过topology对象中的Spout组件接收数据，再通过dispatchBolt方法加载解密算法包，最后由Bolt组件进行数据分类归仓，将众包数据存储至对应的数据仓中。
通过本实施例提供的方法，采用分布式众包数据解密，基于Kafka的消息发布订阅和流处理storm中spout组件、bolt组件等保障数据实时高效处理，同时可减少服务中断和数据丢失风险。
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
图3为本发明实施例提供的一种用于众包数据解密的装置结构示意图，该装置包括：
接入模块310，用于构建众包数据接入管道，通过Kafka将众包数据传输至流数据处理引擎storm中；
转化模块320，用于创建topology对象，设置topology对象的spout组件，并将众包数据转化为log对象；
具体的，所述创建topology对象包括：
通过storm中的topologybuilder类创建topology对象，在topology中设置数据接收源KafkaConsumerSpout。
解密模块330，用于通过dispatchBolt加载自定义解密算法包解密log对象，并设置topology对象的bolt组件；
具体的，所述设置topology对象的spout组件包括：
通过setSpout方法设置spout组件，并通过collector.emit()方法将最大待处理的tuple元组数量传送到disptachBolt。
分类模块340，用于根据解密后众包数据的类型，将解密后众包数据传入对应的bolt组件进行处理。
优选的，所述分类模块还包括：
存储模块，用于将解密后的众包数据分类处理后，存储至HDFS文件***中，并通过zookeeper进行协调管理。
可以理解的是，在一个实施例中，所述电子设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序执行如实施例一中步骤S101～S104，处理器执行所述计算机程序时实现众包数据解密。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括步骤S101～S104，所述的存储介质包括如：ROM/RAM、磁碟、光盘等。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种众包数据解密方法，其特征在于，包括：
构建众包数据接入管道，通过Kafka将众包数据传输至流数据处理引擎storm中；
创建topology对象，设置topology对象的spout组件，并将众包数据转化为log对象；
通过dispatchBolt加载自定义解密算法包解密log对象，并设置topology对象的bolt组件；
根据解密后众包数据的类型，将解密后众包数据传入对应的bolt组件进行处理。
2.根据权利要求1所述的方法，其特征在于，所述创建topology对象包括：
通过storm中的topologybuilder类创建topology对象，在topology中设置数据接收源KafkaConsumerSpout。
3.根据权利要求1所述方法，其特征在于，所述设置topology对象的spout组件包括：
通过setSpout方法设置spout组件，并通过collector.emit()方法将最大待处理的tuple元组数量传送到disptachBolt。
4.根据权利要求1所述的方法，其特征在于，所述根据解密后众包数据的类型，将解密后众包数据传入对应的bolt组件进行处理还包括:
将解密后的众包数据分类处理后，存储至HDFS文件***中，并通过zookeeper进行协调管理。
5.一种用于众包数据解密的装置，其特征在于，包括：
接入模块，用于构建众包数据接入管道，通过Kafka将众包数据传输至流数据处理引擎storm中；
转化模块，用于创建topology对象，设置topology对象的spout组件，并将众包数据转化为log对象；
解密模块，用于通过dispatchBolt加载自定义解密算法包解密log对象，并设置topology对象的bolt组件；
分类模块，用于根据解密后众包数据的类型，将解密后众包数据传入对应的bolt组件进行处理。
6.根据权利要求5所述的装置，其特征在于，所述创建topology对象包括：
通过storm中的topologybuilder类创建topology对象，在topology中设置数据接收源KafkaConsumerSpout。
7.根据权利要求5所述的装置，其特征在于，所述设置topology对象的spout组件包括：
通过setSpout方法设置spout组件，并通过collector.emit()方法将最大待处理的tuple元组数量传送到disptachBolt。
8.根据权利要求5所述的装置，其特征在于，所述分类模块还包括：
存储模块，用于将解密后的众包数据分类处理后，存储至HDFS文件***中，并通过zookeeper进行协调管理。
9.一种电子设备，包括处理器、存储器以及存储在所述存储器中并在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述众包数据解密方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述众包数据解密方法的步骤。
CN202010470210.2A 2020-05-28 2020-05-28 一种众包数据解密方法、装置、电子设备及存储介质 Pending CN111695126A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010470210.2A CN111695126A (zh) 2020-05-28 2020-05-28 一种众包数据解密方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010470210.2A CN111695126A (zh) 2020-05-28 2020-05-28 一种众包数据解密方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111695126A true CN111695126A (zh) 2020-09-22

Family

ID=72478501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010470210.2A Pending CN111695126A (zh) 2020-05-28 2020-05-28 一种众包数据解密方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111695126A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103680143A (zh) * 2013-12-30 2014-03-26 北京世纪高通科技有限公司 一种交通信息处理方法和装置
CN104036025A (zh) * 2014-06-27 2014-09-10 蓝盾信息安全技术有限公司 一种基于分布式的海量日志采集***
CN105468626A (zh) * 2014-09-04 2016-04-06 腾讯科技（北京）有限公司 数据处理方法及***
CN105631026A (zh) * 2015-12-30 2016-06-01 北京奇艺世纪科技有限公司 一种安全数据分析***
CN106446221A (zh) * 2016-09-30 2017-02-22 北京奇虎科技有限公司 数据分析方法及装置
CN107103064A (zh) * 2017-04-17 2017-08-29 北京五八信息技术有限公司 数据统计方法及装置
CN109542733A (zh) * 2018-12-05 2019-03-29 焦点科技股份有限公司 一种高可靠的实时日志收集及可视化检索方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103680143A (zh) * 2013-12-30 2014-03-26 北京世纪高通科技有限公司 一种交通信息处理方法和装置
CN104036025A (zh) * 2014-06-27 2014-09-10 蓝盾信息安全技术有限公司 一种基于分布式的海量日志采集***
CN105468626A (zh) * 2014-09-04 2016-04-06 腾讯科技（北京）有限公司 数据处理方法及***
CN105631026A (zh) * 2015-12-30 2016-06-01 北京奇艺世纪科技有限公司 一种安全数据分析***
CN106446221A (zh) * 2016-09-30 2017-02-22 北京奇虎科技有限公司 数据分析方法及装置
CN107103064A (zh) * 2017-04-17 2017-08-29 北京五八信息技术有限公司 数据统计方法及装置
CN109542733A (zh) * 2018-12-05 2019-03-29 焦点科技股份有限公司 一种高可靠的实时日志收集及可视化检索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡昌旭: "基于Internet的网页防篡改技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Similar Documents

Publication Publication Date Title
US9313134B2 (en) Leveraging hardware accelerators for scalable distributed stream processing in a network environment
US20190068702A1 (en) Processing search responses retunred by search peers
CN110716744A (zh) 一种数据流处理方法、***和计算机可读存储介质
US20140055347A1 (en) Imaging task pipeline acceleration
US11431496B2 (en) Secret search device and secret search method
WO2022252717A1 (zh) 一种实现电力数据处理的同异构混合多核芯片架构
US20210044653A1 (en) Method, apparatus, client terminal, and server for data processing
CN110851234A (zh) 基于docker容器的日志处理方法及装置
CN104199912A (zh) 一种任务处理的方法及装置
CN108182281B (zh) 基于流式计算的数据处理控制方法、装置、服务器及介质
CN114710571B (zh) 数据包处理***
CN111695126A (zh) 一种众包数据解密方法、装置、电子设备及存储介质
Pei et al. A video encryption service based on cloud computing
CN109756481B (zh) 基于互联网异地分布式对接第三方***的实现方法及***
US10019296B2 (en) Addressable dispatchers in distributed computing
Pellegrino et al. Towards a scalable cloud-based RDF storage offering a pub/sub query service
CN116431324A (zh) 一种基于Kafka高并发数据采集与分发的边缘***
CN113792934B (zh) 一种光伏发电电力并网***、方法、设备及介质
CN112019689A (zh) 来电秀业务处理***及方法
CN115185543A (zh) 模型部署方法、打包方法、装置、设备及存储介质
CN116248304A (zh) 一种高性能计算的云服务消息传递监测***及其使用方法
Kim et al. A scalable pub/sub system for ndn
CN104618219A (zh) 一种进行跨机房数据同步的方法和装置
CN114547113A (zh) 海量数据对账***、方法、网络设备和存储介质
CN112165529A (zh) 一种低成本跨网络数据交换的方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200922