CN111198707A - 一种基于数据分析对***软件进行维护的方法及*** - Google Patents
一种基于数据分析对***软件进行维护的方法及*** Download PDFInfo
- Publication number
- CN111198707A CN111198707A CN201911386019.3A CN201911386019A CN111198707A CN 111198707 A CN111198707 A CN 111198707A CN 201911386019 A CN201911386019 A CN 201911386019A CN 111198707 A CN111198707 A CN 111198707A
- Authority
- CN
- China
- Prior art keywords
- system software
- format
- data
- format file
- preset format
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000007405 data analysis Methods 0.000 title claims abstract description 12
- 238000012423 maintenance Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 30
- 230000000007 visual effect Effects 0.000 claims abstract description 18
- 238000004458 analytical method Methods 0.000 claims abstract description 7
- 230000006399 behavior Effects 0.000 claims description 28
- 238000004220 aggregation Methods 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000012800 visualization Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 230000003542 behavioural effect Effects 0.000 claims description 4
- 238000011161 development Methods 0.000 abstract description 4
- 238000003384 imaging method Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/2107—File encryption
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Databases & Information Systems (AREA)
- Stored Programmes (AREA)
Abstract
本发明公开了一种基于数据分析对***软件进行维护的方法及***，属于数据处理技术领域。本发明方法，包括：采集使用***软件的多个用户的用户信息和行为数据，生成预设格式的格式文件；确定数据文件是否符合入库条件，并将符合入库条件的数据文件存储至原始数据库，对不符合入库条件的数据文件进行丢弃；获取主题信息，并将主题信息分类存储至主题信息表；获取主题信息表的用户行为的可视图，根据可视图确定***软件的维护方案，并根据维护方案，对***软件进行维护。本发明贯穿用户行为的产生到分析图像化，充分利用了用户行为数据，帮助软件开发人员、运维人员直观的采集数据、分析数据，极大地简化了开发运维工作。
Description
技术领域
本发明涉及数据处理技术领域，并且更具体地，涉及一种基于数据分析对***软件进行维护的方法及***。
背景技术
传统***软件的开发运维如果出现问题，需要从用户层层反馈回软件公司，时间久，效率低下，用户体验较差，影响比较大。然后，现在针对于***软件的维护问题，还是层层反馈，或者定期维护，不能够很好的解决这样的问题。
发明内容
针对上述问题，本发明提出了一种基于数据分析对***软件进行维护的方法，包括：
采集使用***软件的多个用户的用户信息和行为数据，对用户信息和行为数据，进行预处理，生成预设格式的格式文件，对预设格式的格式文件进行加密处理传输至服务器并进行存储；
调用服务器存储的加密后的预设格式的格式文件，对加密后的预设格式的格式文件进行解密，获取预设格式的格式文件，对预设格式的格式文件进行处理，获取多个数据文件，确定数据文件是否符合入库条件，并将符合入库条件的数据文件存储至原始数据库，对不符合入库条件的数据文件进行丢弃；
对原始数据库中存储的数据文件，进行离线聚合处理，获取主题信息，并将主题信息分类存储至主题信息表；
对主题信息表进行可视化处理，获取主题信息表的用户行为的可视图，根据可视图确定***软件的维护方案，并根据维护方案，对***软件进行维护。
可选的，用户信息，包括：用户的名称、用户地址、使用***软件的设备类型、使用的***软件版本和使用的***软件的底层固件版本。
可选的，行为数据，包括：***软件的登录时间、登录地区、退出时间、执行功能、执行时间和错误代码。
可选的，可视图，包括：饼图、折线图和网状图。
可选的，对预设格式的格式文件进行处理，具体为，对预设格式的格式文件，进行抽取、过滤、转换和计算。
本发明还提出了一种基于数据分析对***软件进行维护的***，包括：
采集模块，采集使用***软件的多个用户的用户信息和行为数据，对用户信息和行为数据，进行预处理，生成预设格式的格式文件，对预设格式的格式文件进行加密处理传输至服务器并进行存储；
处理模块，调用服务器存储的加密后的预设格式的格式文件，对加密后的预设格式的格式文件进行解密，获取预设格式的格式文件，对预设格式的格式文件进行处理，获取多个数据文件，确定数据文件是否符合入库条件，并将符合入库条件的数据文件存储至原始数据库，对不符合入库条件的数据文件进行丢弃；
分析模块，对原始数据库中存储的数据文件，进行离线聚合处理，获取主题信息，并将主题信息分类存储至主题信息表；
维护模块，对主题信息表进行可视化处理，获取主题信息表的用户行为的可视图，根据可视图确定***软件的维护方案，并根据维护方案，对***软件进行维护。
可选的，用户信息，包括：用户的名称、用户地址、使用***软件的设备类型、使用的***软件版本和使用的***软件的底层固件版本。
可选的，行为数据，包括：***软件的登录时间、登录地区、退出时间、执行功能、执行时间和错误代码。
可选的，可视图，包括：饼图、折线图和网状图。
可选的，对预设格式的格式文件进行处理，具体为，对预设格式的格式文件，进行抽取、过滤、转换和计算。
本发明贯穿用户行为的产生到分析图像化，充分利用了用户行为数据，帮助软件开发人员、运维人员直观的采集数据、分析数据，极大地简化了开发运维工作。
本发明极大的减少了人工使用，操作十分简便，便于各种软件的集成。
本发明通过对用户行为的分析，运维开发人员可以便捷的查询用户行为数据，更好地制定软件升级措施以及实现对开票软件的便捷维护。
附图说明
图1为本发明一种基于数据分析对***软件进行维护的方法流程图；
图2为本发明一种基于数据分析对***软件进行维护的***结构图。
具体实施方式
现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。
除非另有说明，此处使用的术语(包括科技术语)对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。
本发明提出了一种基于数据分析对***软件进行维护的方法，如图1所示，包括：
采集使用***软件的多个用户的用户信息和行为数据，对用户信息和行为数据，进行预处理，生成预设格式的格式文件，对预设格式的格式文件进行加密处理传输至服务器并进行存储；
用户信息，包括：用户的名称、用户地址、使用***软件的设备类型、使用的***软件版本和使用的***软件的底层固件版本。
行为数据，包括：***软件的登录时间、登录地区、退出时间、执行功能、执行时间和错误代码。
调用服务器存储的加密后的预设格式的格式文件，对加密后的预设格式的格式文件进行解密，获取预设格式的格式文件，对预设格式的格式文件进行处理，具体为，对预设格式的格式文件，进行抽取、过滤、转换和计算；
获取多个数据文件，确定数据文件是否符合入库条件，并将符合入库条件的数据文件存储至原始数据库，对不符合入库条件的数据文件进行丢弃；
本发明中，确定数据文件是否符合入库条件的过程，使用分布式消息队列进行处理，分布式消息队列由Kafka实现，接口数据通过消息队列进入大数据数据库；
分布式消息队列采用发布订阅模式，即发布者发送的数据，多个订阅者都会受到消息，Spark Streaming消费Kafka数据，实时的进行抽取、过滤、转换、分析计算，把实时分析结果存入ElasticSearch；Spark Streaming消费Kafka数据，然后把数据存储到Hbase的原始数据库中；消息队列确保数据库安全，不符合入库条件的Json数据直接丢弃或进一步处理，例如：将null的字段修正为字段默认值。
对原始数据库中存储的数据文件，进行离线聚合处理，获取主题信息，并将主题信息分类存储至主题信息表；
对主题信息表进行可视化处理，获取主题信息表的用户行为的可视图，根据可视图确定***软件的维护方案，并根据维护方案，对***软件进行维护。
可视图，包括：饼图、折线图和网状图。
本发明还提出了一种基于数据分析对***软件进行维护的***200，包括：
采集模块201，采集使用***软件的多个用户的用户信息和行为数据，对用户信息和行为数据，进行预处理，生成预设格式的格式文件，对预设格式的格式文件进行加密处理传输至服务器并进行存储；
用户信息，包括：用户的名称、用户地址、使用***软件的设备类型、使用的***软件版本和使用的***软件的底层固件版本。
行为数据，包括：***软件的登录时间、登录地区、退出时间、执行功能、执行时间和错误代码。
处理模块202，调用服务器存储的加密后的预设格式的格式文件，对加密后的预设格式的格式文件进行解密，获取预设格式的格式文件，对预设格式的格式文件进行处理，获取多个数据文件，确定数据文件是否符合入库条件，并将符合入库条件的数据文件存储至原始数据库，对不符合入库条件的数据文件进行丢弃；
对预设格式的格式文件进行处理，具体为，对预设格式的格式文件，进行抽取、过滤、转换和计算。
分析模块203，对原始数据库中存储的数据文件，进行离线聚合处理，获取主题信息，并将主题信息分类存储至主题信息表；
维护模块204，对主题信息表进行可视化处理，获取主题信息表的用户行为的可视图，根据可视图确定***软件的维护方案，并根据维护方案，对***软件进行维护。
可视图，包括：饼图、折线图和网状图。
本发明贯穿用户行为的产生到分析图像化，充分利用了用户行为数据，帮助软件开发人员、运维人员直观的采集数据、分析数据，极大地简化了开发运维工作。
本发明极大的减少了人工使用，操作十分简便，便于各种软件的集成。
本发明通过对用户行为的分析，运维开发人员可以便捷的查询用户行为数据，更好地制定软件升级措施以及实现对开票软件的便捷维护。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (10)
1.一种基于数据分析对***软件进行维护的方法，所述方法包括：
采集使用***软件的多个用户的用户信息和行为数据，对用户信息和行为数据，进行预处理，生成预设格式的格式文件，对预设格式的格式文件进行加密处理传输至服务器并进行存储；
调用服务器存储的加密后的预设格式的格式文件，对加密后的预设格式的格式文件进行解密，获取预设格式的格式文件，对预设格式的格式文件进行处理，获取多个数据文件，确定数据文件是否符合入库条件，并将符合入库条件的数据文件存储至原始数据库，对不符合入库条件的数据文件进行丢弃；
对原始数据库中存储的数据文件，进行离线聚合处理，获取主题信息，并将主题信息分类存储至主题信息表；
对主题信息表进行可视化处理，获取主题信息表的用户行为的可视图，根据可视图确定***软件的维护方案，并根据维护方案，对***软件进行维护。
2.根据权利要求1所述的方法，所述用户信息，包括：用户的名称、用户地址、使用***软件的设备类型、使用的***软件版本和使用的***软件的底层固件版本。
3.根据权利要求1所述的方法，所述行为数据，包括：***软件的登录时间、登录地区、退出时间、执行功能、执行时间和错误代码。
4.根据权利要求1所述的方法，所述可视图，包括：饼图、折线图和网状图。
5.根据权利要求1所述的方法，所述对预设格式的格式文件进行处理，具体为，对预设格式的格式文件，进行抽取、过滤、转换和计算。
6.一种基于数据分析对***软件进行维护的***，所述***包括：
采集模块，采集使用***软件的多个用户的用户信息和行为数据，对用户信息和行为数据，进行预处理，生成预设格式的格式文件，对预设格式的格式文件进行加密处理传输至服务器并进行存储；
处理模块，调用服务器存储的加密后的预设格式的格式文件，对加密后的预设格式的格式文件进行解密，获取预设格式的格式文件，对预设格式的格式文件进行处理，获取多个数据文件，确定数据文件是否符合入库条件，并将符合入库条件的数据文件存储至原始数据库，对不符合入库条件的数据文件进行丢弃；
分析模块，对原始数据库中存储的数据文件，进行离线聚合处理，获取主题信息，并将主题信息分类存储至主题信息表；
维护模块，对主题信息表进行可视化处理，获取主题信息表的用户行为的可视图，根据可视图确定***软件的维护方案，并根据维护方案，对***软件进行维护。
7.根据权利要求6所述的***，所述用户信息，包括：用户的名称、用户地址、使用***软件的设备类型、使用的***软件版本和使用的***软件的底层固件版本。
8.根据权利要求6所述的***，所述行为数据，包括：***软件的登录时间、登录地区、退出时间、执行功能、执行时间和错误代码。
9.根据权利要求6所述的***，所述可视图，包括：饼图、折线图和网状图。
10.根据权利要求6所述的***，所述对预设格式的格式文件进行处理，具体为，对预设格式的格式文件，进行抽取、过滤、转换和计算。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911386019.3A CN111198707A (zh) | 2019-12-29 | 2019-12-29 | 一种基于数据分析对***软件进行维护的方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911386019.3A CN111198707A (zh) | 2019-12-29 | 2019-12-29 | 一种基于数据分析对***软件进行维护的方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111198707A true CN111198707A (zh) | 2020-05-26 |
Family
ID=70744412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911386019.3A Pending CN111198707A (zh) | 2019-12-29 | 2019-12-29 | 一种基于数据分析对***软件进行维护的方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111198707A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105608223A (zh) * | 2016-01-12 | 2016-05-25 | 北京中交兴路车联网科技有限公司 | 针对kafka的Hbase数据库的入库方法和*** |
| CN108073625A (zh) * | 2016-11-14 | 2018-05-25 | 北京京东尚科信息技术有限公司 | 用于元数据信息管理的***及方法 |
| CN109299187A (zh) * | 2018-11-05 | 2019-02-01 | 用友网络科技股份有限公司 | 数据分析方法、装置及设备 |
| CN110555028A (zh) * | 2019-08-22 | 2019-12-10 | 上海数禾信息科技有限公司 | 数据展示方法以及装置 |
-
2019
- 2019-12-29 CN CN201911386019.3A patent/CN111198707A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105608223A (zh) * | 2016-01-12 | 2016-05-25 | 北京中交兴路车联网科技有限公司 | 针对kafka的Hbase数据库的入库方法和*** |
| CN108073625A (zh) * | 2016-11-14 | 2018-05-25 | 北京京东尚科信息技术有限公司 | 用于元数据信息管理的***及方法 |
| CN109299187A (zh) * | 2018-11-05 | 2019-02-01 | 用友网络科技股份有限公司 | 数据分析方法、装置及设备 |
| CN110555028A (zh) * | 2019-08-22 | 2019-12-10 | 上海数禾信息科技有限公司 | 数据展示方法以及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019178979A1 (zh) | 报表数据查询方法、装置、存储介质和服务器 | |
| CN112650762B (zh) | 数据质量监控的方法、装置、电子设备以及存储介质 | |
| CN106649239A (zh) | 一种基于可视化的云监控***中报表生成方法及装置 | |
| CN106254145A (zh) | 网络请求跟踪处理方法和装置 | |
| JP2021128776A5 (zh) | ||
| CN111881193B (zh) | 一种基于机器学习的绩效方案测算***、设备及介质 | |
| CN104199889A (zh) | 基于CEP技术的RTLogic大数据处理***及方法 | |
| CN105243499A (zh) | 订单分配方法及*** | |
| EP2590038B1 (en) | Method and System for storage of data collected from a real time process | |
| CN114185750A (zh) | 流程监控方法、装置、设备及存储介质 | |
| CN111198707A (zh) | 一种基于数据分析对***软件进行维护的方法及*** | |
| KR101600275B1 (ko) | 실시간 빅 데이터 이벤트 처리 시스템 | |
| CN111556098B (zh) | 一种基于人工智能的物联网数据的分析***和分析方法 | |
| CN112232960B (zh) | 交易应用***监控方法及装置 | |
| US20130159327A1 (en) | Apparatus and method for visualizing data | |
| CN114430421A (zh) | 一种基于多种车型功能集自动产生告警规则的方法和*** | |
| CN114510708A (zh) | 实时数据仓库构建、异常检测方法、装置、设备及产品 | |
| CN111107154B (zh) | 数据上报方法与装置 | |
| KR20160031807A (ko) | 스프레드시트 기반 빅데이터 분석 시스템 및 그 방법 | |
| CN113238742B (zh) | 一种直流控保页面程序修改回放方法、装置、终端及介质 | |
| CN111767275B (zh) | 数据的处理方法及装置、数据处理*** | |
| CN106777168A (zh) | 数据管理方法及数据管理*** | |
| Fan et al. | Design of Intelligent Human Resource Information Collection System Based on Decision Tree Algorithm | |
| CN116662433A (zh) | 增量数据处理方法、装置、计算机设备及可读存储介质 | |
| CN113609096A (zh) | 一种数据处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |