CN116561474A - 一种面向社交平台的数据采集***及其方法 - Google Patents
一种面向社交平台的数据采集***及其方法 Download PDFInfo
- Publication number
- CN116561474A CN116561474A CN202310615834.2A CN202310615834A CN116561474A CN 116561474 A CN116561474 A CN 116561474A CN 202310615834 A CN202310615834 A CN 202310615834A CN 116561474 A CN116561474 A CN 116561474A
- Authority
- CN
- China
- Prior art keywords
- data
- unit
- module
- social platform
- app
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 11
- 238000013480 data collection Methods 0.000 claims abstract description 49
- 230000010354 integration Effects 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000006243 chemical reaction Methods 0.000 claims description 26
- 238000012423 maintenance Methods 0.000 claims description 18
- 238000012544 monitoring process Methods 0.000 claims description 16
- 238000004088 simulation Methods 0.000 claims description 11
- 238000013524 data verification Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 8
- 238000013500 data storage Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 238000007726 management method Methods 0.000 claims description 2
- 238000007405 data analysis Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种面向社交平台的数据采集***及其方法，涉及网络数据采集技术领域。该面向社交平台的数据采集***，包括服务器，所述服务器与用户端模块相连，所述用户端模块分别与网页数据收集模块和APP数据收集模块相连，所述网页数据收集模块和APP数据收集模块分别用于收集网页和APP的数据，并将数据传送至数据整合模块，所述数据整合模块用于将对数据进行整合以及处理，并将处理后的数据传输至数据库模块。通过两种不同的端口针对与社交平台进行数据收集，避免了数据收集遗漏、缺失、不完整的情况发生，同时减少了因***故障带来的数据信息漏采集的情况发生，保证该***能够高效稳定地运行。
Description
技术领域
本发明涉及网络数据采集技术领域，具体为一种面向社交平台的数据采集***及其方法。
背景技术
社交网站是一种基于互联网的服务。它允许个体在一个封闭***内建立一个公共或半公共性质的个人主页，与其他用户建立连接，并在个人主页上呈现联系人的列表，以及观看并穿梭于自己和他人在***内建立的连接列表，这些连接的本质和命名可能会因网站而异，随着互联网技术的发展，网络成为新兴舆论场，加之其价值之大，因而对网络进行数据采集已进入各大小型企业的战略规划，然而现有的网络数据采集手段大多是针对单一端口进行，虽然其采集较为稳定，但在互联快速发展的今日，已跟不上发展的脚步，同时在现有的网络采集***中，缺少对***整体的检测，发生故障时，若不能及时发现，则会导致数据信息漏采集的情况发生，因此，我们提出了一种面向社交平台的数据采集***及其方法。
发明内容
针对现有技术的不足，本发明提供了一种面向社交平台的数据采集***及其方法，解决了现有网络数据采集手段单一以及现有采集***缺少对***整体的检测的问题。
为实现以上目的，本发明通过以下技术方案予以实现：一种面向社交平台的数据采集***，包括服务器，所述服务器与用户端模块相连，所述用户端模块分别与网页数据收集模块和APP数据收集模块相连，所述网页数据收集模块和APP数据收集模块分别用于收集网页和APP的数据，并将数据传送至数据整合模块，所述数据整合模块用于将对数据进行整合以及处理，并将处理后的数据传输至数据库模块，所述服务器与实时监测模块相连，所述实时监测模块用于对服务器进行实时监测，所述实时监测模块与***维护模块相连。
优选的，所述实时监测模块包括运行信号读取单元，所述运行信号读取单元的输入端与***信号收发单元的输出端相连，所述***信号收发单元的输出端与***数据反馈单元的输入端相连，所述***数据反馈单元用于对服务器反馈的信号进行收集，所述***数据反馈单元与定时控制单元相连，所述定时控制单元与运行信号读取单元相连，所述***数据反馈单元与***重启单元相连，所述***重启单元用于对服务器发送重启指令，所述***重启单元与服务器相连，所述***重启单元与***维护模块相连。
优选的，所述用户端模块包括用户注册模块，所述用户注册模块用于用户进行注册，并将注册后的用户行为信息传输至用户行为模拟模块，所述用户行为模拟模块用于对用户的使用行为进行模拟，并将数据传送至用户行为记录模块，所述用户行为记录模块与用户行为存储模块相连。
优选的，所述网页数据收集模块包括网页源代码获取单元和编程模型库，所述网页源代码获取单元与数据处理模块相连，所述编程模型库用于将现有的编程模型库内部的信息传输至数据处理模块，所述数据处理模块与数据缓存单元相连，所述数据缓存单元用于对数据进行缓存，并将数据发送至数据收发单元，所述数据收发单元与数据整合模块相连。
优选的，所述数据处理模块包括网页源代码接收单元，所述网页源代码接收单元的输出端与数据预转换单元的输入端相连，所述数据预转换单元的输出端与数据分析单元的输入端相连，所述数据分析单元用于对收集的信息进行分析分类，并将数据传送至数据配比转换单元，所述数据分析单元与数据缓存单元相连。
优选的，所述APP数据收集模块包括数据接收单元，所述用户行为信息分析单元与APP数据代码采集单元相连，所述APP数据代码采集单元用于对APP上的数据代码进行收集，并将数据转入至数据转化单元内，所述数据转化单元与数据发送单元相连，所述数据发送单元用于将转化后的数据传送至数据整合模块。
优选的，所述数据整合模块包括数据接收单元，所述数据接收单元的输出端与数据查重单元的输入端相连，所述数据查重单元的输出端与数据核实过滤单元的输入端相连，所述数据核实过滤单元用于对数据进行真实性核实，将真实有效的数据信息传送至数据库模块；将不真实的数据信息传送至数据核销单元。
优选的，所述数据库模块包括数据分类单元，所述数据分类单元用于对数据进行分类，并将分类后的数据输入至数据存储单元内进行存储，所述数据存储单元与数据加密单元相连，所述数据加密单元用于对收集的数据信息进行加密，并将加密后的数据输入至云端备份单元内，通过云端备份单元进行备份。
优选的，所述数据配比转换单元与编程模型库相连，所述数据配比转换单元将收集的网页数据与编程模型库内现有的编程模型进行匹配处理。
优选的，一种面向社交平台的数据采集方法，包括以下步骤：
步骤一、首先通过服务器对用户端模块进行启动，通过用户端模块进行用户注册以及用户行为模拟记录；
步骤二、根据用户端模块中用户在网页的行为，使用网页数据收集模块将信息收集并转换匹配，并将处理后的数据传入数据整合模块内，同时根据用户端模块中用户在APP的行为，使用APP数据收集模块将信息收集并转换匹配，并将处理后的数据传入数据整合模块内；
步骤三、通过数据整合模块对网页数据收集模块和APP数据收集模块中得到的数据进行接收、查重以及核实；
步骤四、通过数据库模块对整合模块中传输的真实数据进行分类整理，并进行云端备份；
步骤五、通过实时监测模块对服务器进行实时监测管理，当服务器发生异常时，通过***维护模块的提示，告知技术人员需对整体***进行维护。
本发明提供了一种面向社交平台的数据采集***及其方法。具备以下有益效果：
1、本发明通过设置网页数据收集模块和APP数据收集模块，通过两种不同的端口针对与社交平台进行数据收集，避免了数据收集遗漏、缺失、不完整的情况发生，并通过数据整合模块对双端口所收集的数据进行整合、查重、过滤，继而提高了数据采集的质量。
2、本发明通过实时监测模块中的运行信号读取单元、***信号收发单元、***数据反馈单元、定时控制单元、***重启单元等单元的相互配合下，实现对整个***进行实时监测，当***信号数据反馈异常时，命令指令重启服务器，若重启失败则会自动将信息传入***维护模块中，通过***维护模块告知技术人员需对***进行维护，继而减少了因***故障带来的数据信息漏采集的情况发生，保证该***能够高效稳定地运行。
附图说明
图1为本发明的主流程图；
图2为本发明的用户端模块流程图；
图3为本发明的网页数据收集模块流程图；
图4为本发明的数据处理模块流程图；
图5为本发明的APP数据收集模块流程图；
图6为本发明的数据整合模块流程图；
图7为本发明的数据库模块流程图；
图8为本发明的实时监测模块流程图。
其中，1、服务器；2、用户端模块；21、用户注册模块；22、用户行为模拟模块；23、用户行为记录模块；24、用户行为存储模块；3、网页数据收集模块；31、网页源代码获取单元；32、数据处理模块；3201、网页源代码接收单元；3202、数据预转换单元；3203、数据分析单元；3204、数据配比转换单元；33、数据缓存单元；34、数据收发单元；35、编程模型库；4、APP数据收集模块；41、用户行为信息分析单元；42、APP数据代码采集单元；43、数据转化单元；44、数据发送单元；5、数据整合模块；51、数据接收单元；52、数据查重单元；53、数据核实过滤单元；54、数据核销单元；6、数据库模块；61、数据分类单元；62、数据存储单元；63、数据加密单元；64、云端备份单元；7、实时监测模块；71、运行信号读取单元；72、***信号收发单元；73、***数据反馈单元；74、定时控制单元；75、***重启单元；8、***维护模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
请参阅附图1，本发明实施例提供一种面向社交平台的数据采集***，包括服务器1，服务器1与用户端模块2相连，用户端模块2分别与网页数据收集模块3和APP数据收集模块4相连，网页数据收集模块3和APP数据收集模块4分别用于收集网页和APP的数据，并将数据传送至数据整合模块5，数据整合模块5用于将对数据进行整合以及处理，并将处理后的数据传输至数据库模块6，服务器1与实时监测模块7相连，实时监测模块7用于对服务器1进行实时监测，实时监测模块7与***维护模块8相连，通过实时监测模块7，实现对整个***进行实时监测，当***信号数据反馈异常时，命令指令重启服务器1，若重启失败则会自动将信息传入***维护模块8中，通过***维护模块8告知技术人员需对***进行维护，继而减少了因***故障带来的数据信息漏采集的情况发生，保证该***能够高效稳定地运行。
请参阅附图8，实时监测模块7包括运行信号读取单元71，运行信号读取单元71的输入端与***信号收发单元72的输出端相连，***信号收发单元72的输出端与***数据反馈单元73的输入端相连，***数据反馈单元73用于对服务器1反馈的信号进行收集，***数据反馈单元73与定时控制单元74相连，定时控制单元74与运行信号读取单元71相连，***数据反馈单元73与***重启单元75相连，***重启单元75用于对服务器1发送重启指令，***重启单元75与服务器1相连，***重启单元75与***维护模块8相连。
请参阅附图2，用户端模块2包括用户注册模块21，用户注册模块21用于用户进行注册，并将注册后的用户行为信息传输至用户行为模拟模块22，用户行为模拟模块22用于对用户的使用行为进行模拟，并将数据传送至用户行为记录模块23，用户行为记录模块23与用户行为存储模块24相连。
请参阅附图3，网页数据收集模块3包括网页源代码获取单元31和编程模型库35，网页源代码获取单元31与数据处理模块32相连，编程模型库35用于将现有的编程模型库35内部的信息传输至数据处理模块32，数据处理模块32与数据缓存单元33相连，数据缓存单元33用于对数据进行缓存，并将数据发送至数据收发单元34，数据收发单元34与数据整合模块5相连，分别通过两种不同的端口针对与社交平台进行数据收集，避免了数据收集遗漏、缺失、不完整的情况发生。
请参阅附图4，数据处理模块32包括网页源代码接收单元3201，网页源代码接收单元3201的输出端与数据预转换单元3202的输入端相连，数据预转换单元3202的输出端与数据分析单元3203的输入端相连，数据分析单元3203用于对收集的信息进行分析分类，并将数据传送至数据配比转换单元3204，数据分析单元3203与数据缓存单元33相连。
请参阅附图5，APP数据收集模块4包括数据接收单元51，用户行为信息分析单元41与APP数据代码采集单元42相连，APP数据代码采集单元42用于对APP上的数据代码进行收集，并将数据转入至数据转化单元43内，数据转化单元43与数据发送单元44相连，数据发送单元44用于将转化后的数据传送至数据整合模块5。
请参阅附图6，数据整合模块5包括数据接收单元51，数据接收单元51的输出端与数据查重单元52的输入端相连，数据查重单元52的输出端与数据核实过滤单元53的输入端相连，数据核实过滤单元53用于对数据进行真实性核实，将真实有效的数据信息传送至数据库模块6；将不真实的数据信息传送至数据核销单元54，通过数据整合模块5对双端口所收集的数据进行整合、查重、过滤，继而提高了数据采集的质量。
请参阅附图7，数据库模块6包括数据分类单元61，数据分类单元61用于对数据进行分类，并将分类后的数据输入至数据存储单元62内进行存储，数据存储单元62与数据加密单元63相连，数据加密单元63用于对收集的数据信息进行加密，并将加密后的数据输入至云端备份单元64内，通过云端备份单元64进行备份。
请参阅附图4，数据配比转换单元3204与编程模型库35相连，数据配比转换单元3204将收集的网页数据与编程模型库35内现有的编程模型进行匹配处理。
进一步的，本实施例还提供了一种面向社交平台的数据采集方法，包括以下步骤：
步骤一、首先通过服务器1对用户端模块2进行启动，通过用户注册模块21用于用户进行注册，并将注册后的用户行为信息传输至用户行为模拟模块22，通过用户行为模拟模块22用于对用户的使用行为进行模拟，并将数据传送至用户行为记录模块23，通过用户行为存储模块24对用户行为记录模块23所传输的行为进行存储；
步骤二、根据用户行为存储模块24中用户在网页的行为，使用网页源代码获取单元31进行获取，并将网页数据传送至数据处理模块32内，通过网页源代码接收单元3201对数据进行接收，并通过数据预转换单元3202将网页源代码接收单元3201中的数据转换成XML，通过数据分析单元3203对数据预转换单元3202中的XML数据进行收集，并进行分析，通过数据配比转换单元3204接收数据分析单元3203中的数据，并依据编程模型库35内部的数据对接收的数据进行分析转换匹配，匹配后数据传送至数据缓存单元33内进行缓存，由数据缓存单元33将缓存的数据继续传入数据分析单元3203中，并进行再次分析匹配，最后由数据收发单元34将转换匹配后的数据传入数据整合模块5内，根据用户行为存储模块24中用户在APP的行为，使用用户行为信息分析单元41进行分析，并通过APP数据代码采集单元42对用户行为信息分析单元41数据中的APP代码数据进行采集，通过数据转化单元43对APP数据代码采集单元42中采集的APP信息进行转化，并将转化数据通过数据发送单元44发送至数据整合模块5内；
步骤三、通过数据接收单元51对网页数据收集模块3和APP数据收集模块4中得到的数据进行接收，并通过数据查重单元52对两方获取的数据进行查重处理，剔除重复数据，通过数据核实过滤单元53对收集的数据进行真实性核实，真实数据发送至数据库模块6，不真实数据发送至数据核销单元54，并通过数据核销单元54进行核销；
步骤四、通过数据分类单元61对真实数据进行分类整理，并将整理后的数据传入数据存储单元62进行存储，通过数据加密单元63对数据存储单元62中的数据进行加密，同时将数据发送至云端备份单元64中，进行云端备份；
步骤五、通过运行信号读取单元71读取服务器1的运行信息，通过***信号收发单元72接收并发送***信号，通过***数据反馈单元73获取服务器1所反馈的信号，当反馈信号正常时，发送指令到定时控制单元74，通过定时控制单元74对运行信号读取单元71进行间歇定时控制；当反馈信号异常时，发送指令至***重启单元75中，通过***重启单元75对服务器1发出指令，使其重启，当重启失败时，***重启单元75发送信息并传送至***维护模块8内，通过***维护模块8的提示，告知技术人员需对整体***进行维护。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种面向社交平台的数据采集***，包括服务器(1)，其特征在于，所述服务器(1)与用户端模块(2)相连，所述用户端模块(2)分别与网页数据收集模块(3)和APP数据收集模块(4)相连，所述网页数据收集模块(3)和APP数据收集模块(4)分别用于收集网页和APP的数据，并将数据传送至数据整合模块(5)，所述数据整合模块(5)用于将对数据进行整合以及处理，并将处理后的数据传输至数据库模块(6)，所述服务器(1)与实时监测模块(7)相连，所述实时监测模块(7)用于对服务器(1)进行实时监测，所述实时监测模块(7)与***维护模块(8)相连。
2.根据权利要求1所述的一种面向社交平台的数据采集***，其特征在于，所述实时监测模块(7)包括运行信号读取单元(71)，所述运行信号读取单元(71)的输入端与***信号收发单元(72)的输出端相连，所述***信号收发单元(72)的输出端与***数据反馈单元(73)的输入端相连，所述***数据反馈单元(73)用于对服务器(1)反馈的信号进行收集，所述***数据反馈单元(73)与定时控制单元(74)相连，所述定时控制单元(74)与运行信号读取单元(71)相连，所述***数据反馈单元(73)与***重启单元(75)相连，所述***重启单元(75)用于对服务器(1)发送重启指令，所述***重启单元(75)与服务器(1)相连，所述***重启单元(75)与***维护模块(8)相连。
3.根据权利要求1所述的一种面向社交平台的数据采集***，其特征在于，所述用户端模块(2)包括用户注册模块(21)，所述用户注册模块(21)用于用户进行注册，并将注册后的用户行为信息传输至用户行为模拟模块(22)，所述用户行为模拟模块(22)用于对用户的使用行为进行模拟，并将数据传送至用户行为记录模块(23)，所述用户行为记录模块(23)与用户行为存储模块(24)相连。
4.根据权利要求1所述的一种面向社交平台的数据采集***，其特征在于，所述网页数据收集模块(3)包括网页源代码获取单元(31)和编程模型库(35)，所述网页源代码获取单元(31)与数据处理模块(32)相连，所述编程模型库(35)用于将现有的编程模型库(35)内部的信息传输至数据处理模块(32)，所述数据处理模块(32)与数据缓存单元(33)相连，所述数据缓存单元(33)用于对数据进行缓存，并将数据发送至数据收发单元(34)，所述数据收发单元(34)与数据整合模块(5)相连。
5.根据权利要求4所述的一种面向社交平台的数据采集***，其特征在于，所述数据处理模块(32)包括网页源代码接收单元(3201)，所述网页源代码接收单元(3201)的输出端与数据预转换单元(3202)的输入端相连，所述数据预转换单元(3202)的输出端与数据分析单元(3203)的输入端相连，所述数据分析单元(3203)用于对收集的信息进行分析分类，并将数据传送至数据配比转换单元(3204)，所述数据分析单元(3203)与数据缓存单元(33)相连。
6.根据权利要求1所述的一种面向社交平台的数据采集***，其特征在于，所述APP数据收集模块(4)包括数据接收单元(51)，所述用户行为信息分析单元(41)与APP数据代码采集单元(42)相连，所述APP数据代码采集单元(42)用于对APP上的数据代码进行收集，并将数据转入至数据转化单元(43)内，所述数据转化单元(43)与数据发送单元(44)相连，所述数据发送单元(44)用于将转化后的数据传送至数据整合模块(5)。
7.根据权利要求1所述的一种面向社交平台的数据采集***，其特征在于，所述数据整合模块(5)包括数据接收单元(51)，所述数据接收单元(51)的输出端与数据查重单元(52)的输入端相连，所述数据查重单元(52)的输出端与数据核实过滤单元(53)的输入端相连，所述数据核实过滤单元(53)用于对数据进行真实性核实，将真实有效的数据信息传送至数据库模块(6)；将不真实的数据信息传送至数据核销单元(54)。
8.根据权利要求1所述的一种面向社交平台的数据采集***，其特征在于，所述数据库模块(6)包括数据分类单元(61)，所述数据分类单元(61)用于对数据进行分类，并将分类后的数据输入至数据存储单元(62)内进行存储，所述数据存储单元(62)与数据加密单元(63)相连，所述数据加密单元(63)用于对收集的数据信息进行加密，并将加密后的数据输入至云端备份单元(64)内，通过云端备份单元(64)进行备份。
9.根据权利要求5所述的一种面向社交平台的数据采集***，其特征在于，所述数据配比转换单元(3204)与编程模型库(35)相连，所述数据配比转换单元(3204)将收集的网页数据与编程模型库(35)内现有的编程模型进行匹配处理。
10.一种面向社交平台的数据采集方法，其特征在于，使用权利要求1-9任一项所述的一种面向社交平台的数据采集***，包括以下步骤：
步骤一、通过用户端模块(2)进行用户注册以及用户行为模拟记录；
步骤二、根据用户在网页的行为，使用网页数据收集模块(3)将信息收集并转换匹配，并将处理后的数据传入数据整合模块(5)内，同时根据用户端模块(2)中用户在APP的行为，使用APP数据收集模块(4)将信息收集并转换匹配，并将处理后的数据传入数据整合模块(5)内；
步骤三、通过数据整合模块(5)对网页数据收集模块(3)和APP数据收集模块(4)中得到的数据进行接收、查重以及核实；
步骤四、通过数据库模块(6)对整合模块(5)中传输的真实数据进行分类整理，并进行云端备份；
步骤五、通过实时监测模块(7)对服务器(1)进行实时监测管理，当服务器(1)发生异常时，通过***维护模块(8)的提示，告知技术人员需对整体***进行维护。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310615834.2A CN116561474A (zh) | 2023-05-27 | 2023-05-27 | 一种面向社交平台的数据采集***及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310615834.2A CN116561474A (zh) | 2023-05-27 | 2023-05-27 | 一种面向社交平台的数据采集***及其方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116561474A true CN116561474A (zh) | 2023-08-08 |
Family
ID=87496395
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310615834.2A Pending CN116561474A (zh) | 2023-05-27 | 2023-05-27 | 一种面向社交平台的数据采集***及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116561474A (zh) |
-
2023
- 2023-05-27 CN CN202310615834.2A patent/CN116561474A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103246265B (zh) | 机电设备检测维护方法 | |
| CN101001183A (zh) | 一种网络应用软件的测试方法和*** | |
| CN106709069B (zh) | 高可靠性的大数据日志采集与传输方法 | |
| CN103428042B (zh) | 对服务器进行压力测试的方法及*** | |
| CN110298662B (zh) | 交易重复提交的自动化检测方法及装置 | |
| CN105956987A (zh) | 一种公路交通工程试验检测数据采集和评价*** | |
| CN106407078A (zh) | 基于信息交互的客户端性能监控装置及方法 | |
| CN105095052A (zh) | Soa环境下的故障检测方法及装置 | |
| CN112860676B (zh) | 应用于大数据挖掘和业务分析的数据清洗方法及云服务器 | |
| CN115982012A (zh) | 一种接口管理能力成熟度的评估模型及方法 | |
| CN111666193B (zh) | 基于实时日志解析的终端功能监控与测试的方法与*** | |
| CN106201887B (zh) | 一种离线数据任务的验证方法及装置 | |
| CN111935269B (zh) | 一种数据交换方法及*** | |
| CN116828087B (zh) | 基于区块链连接的信息安全*** | |
| CN117370286A (zh) | 一种基于云平台的数据存储方法、***及设备 | |
| CN109885706A (zh) | 一种汽车质量检测信息处理方法 | |
| CN116561474A (zh) | 一种面向社交平台的数据采集***及其方法 | |
| CN110769076B (zh) | 一种dns测试方法和*** | |
| CN114116831B (zh) | 一种大数据挖掘处理方法及装置 | |
| US11693750B2 (en) | Virtual device for providing test data | |
| CN115330407A (zh) | 农业生产溯源管理*** | |
| CN115659214A (zh) | 一种基于PaaS平台的能源行业数据可信评价方法 | |
| CN114430413A (zh) | 一种基于区块链的IIoT智慧运维管理方法 | |
| CN112633900A (zh) | 基于机器学习的工业物联网数据验证方法 | |
| CN110515955A (zh) | 数据的存储、查询方法、***、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20230808 |