CN105260835A

CN105260835A - 多来源业务大数据的建模、分析、自我优化的方法

Info

Publication number: CN105260835A
Application number: CN201510657534.6A
Authority: CN
Inventors: 张健; 董恒
Original assignee: Beijing Alazin Technology Co Ltd
Current assignee: Beijing Alazin Technology Co Ltd
Priority date: 2015-10-13
Filing date: 2015-10-13
Publication date: 2016-01-20

Abstract

本发明提出了一种多来源业务大数据的建模、分析、自我优化的方法，包括：接收来自企业***的内部数据和来自互联网的外部数据；对内部数据和外部数据进行分析以分类为结构数据和非结构数据；对非结构数据进行转换以转换为对应的文本内容，对数据进行抽取和清洗；根据企业的内部需求建立多个业务模型，业务模型根据数据流入自我学习和优化，自动生成主数据中心；对主数据中心中的数据进行处理分析以得到业务分析结果；将业务分析结果通过数字化和图形化界面进行展示。本发明在保证数据真实性下进行准确分析业务数据、使得业务数据模型进行自动化建立、优化、扩展，针对个性化需求进行相关性分析和展示得到解决。

Description

多来源业务大数据的建模、分析、自我优化的方法

技术领域

本发明涉及数据处理技术领域，特别涉及一种多来源业务大数据的建模、分析、自我优化的方法。

背景技术

随着机构日常运营结构化数据的积累，互联网上发布的行业相关数据不断的增加，业务相关的数据激增。应用大数据技术提升业绩对于机构来说是当下的紧急需求。

但是，激增数据存在结数据质量低、构差异性大、收集范围广泛、处理起来复杂度高，数据模型扩展性差、数据分析算法结果不准确的问题，无法做到将采集到的数据完整的汇集到主数据中心，从而无法实现对数据进行全面的分析和展示。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种多来源业务大数据的建模、分析、自我优化的方法，在保证数据真实性下进行准确分析业务数据、使得业务数据模型进行自动化建立、优化、扩展，针对个性化需求进行相关性分析和展示得到解决。

为了实现上述目的，本发明的实施例提供一种多来源业务数据的管理方法，包括如下步骤：

步骤S1，接收来自企业***的内部数据和来自互联网的外部数据；

步骤S2，对所述内部数据和外部数据进行分析以分类为结构数据和非结构数据；

步骤S3，对所述非结构数据进行转换以转换为对应的文本内容，对转换后的非结构数据和所述结构数据进行抽取和清洗；

步骤S4，根据企业的内部需求建立多个业务模型，其中，所述多个业务模型通过机器与步骤S3中抽取和清洗后的非结构数据和结构数据进行结合，所述业务模型根据数据流入自我学习和优化，自动生成主数据中心；

步骤S5，对所述主数据中心中的数据进行处理分析以得到业务分析结果，所述业务分析结果包括不同业务之间的联系信息、业务与外部因素的联系信息和业务与时间的联系信息；

步骤S6，将所述业务分析结果通过数字化和图形化界面进行展示。

进一步，所述内部数据为企业***的业务数据，所述业务数据包括：管理数据、营销数据、采购数据、库存数据、质量数据、成本数据、财务数据、流程控制数据和工业链数据。

进一步，所述结构数据为文本格式数据，所述非结构数据包括：PDF文件、WORD文档、XML库和语音文件。

进一步，在所述步骤S3中，对所述非结构数据进行转换以转换为对应的文本内容，包括如下步骤：

建立语音模型，根据所述语音模型将所述语音文件转换为文本内容；

建立内容抽取模型，根据所述内容抽取模型将所述PDF文件、WORD文档和XML库转换为文本内容。

进一步，在所述步骤S3中，还包括如下步骤：对所述结构化数据建立数据质量指标。

进一步，在所述步骤S5中，对所述主数据中心中的数据进行处理分析，包括如下步骤：对所述主数据中心中的数据进行分类、聚类、回归、关联、神经网络、数据预测和业务模型的扩建。

进一步，所述业务分析结果还包括：业务流程的关系信息、数据与数据之间的关系信息、外部因素与内部因素的关系信息。

进一步，在所述步骤S6中，所述业务分析结果以报表、静态图和动态图的形式展现。

根据本发明实施例的多来源业务大数据的建模、分析、自我优化的方法，在导入内部的业务数据和外部的互联网数据的同时，对结构数据和非结构数据进行抽取、清洗，对非结构数据进行人工转义、合并、分类，并对业务数据和互联网数据建立数据质量指标后，采用多台机器分布式计算和存储，这样很大的提高了数据收集能力。本发明基于所关注的业务模型，自动化的分析和展示，能够快速发现与业务相关性的问题。在保证数据真实性下进行准确分析业务数据、使得业务数据模型进行自动化建立、优化、扩展，针对个性化需求进行相关性分析和展示得到解决，并且解决了现有业务数据的收集、处理、汇集、分析、展现方法的不足，能够查找出隐藏在机构运营的误区，对运营过程加深监控和管理。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的多来源业务大数据的建模、分析、自我优化的方法的流程框图；

图2为根据本发明实施例的多来源业务大数据的建模、分析、自我优化的方法的框架图；

图3为根据本发明实施例的多来源业务大数据的建模、分析、自我优化的方法的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本发明提供了一种多来源业务大数据的建模、分析、自我优化的方法，该方法提供对业务数据的收集、处理、汇集、分析、展现的功能，可以在收集数据和处理多样性业务数据来源过程中建立流程规范性，并和业务需求相互结合，通过机器学习自动构建业务模型，将有效数据汇集到主数据中心。主数据中心的数据通过分析后的结果进行数据展示。

下面参考图1至图3对本发明实施例的多来源业务大数据的建模、分析、自我优化的方法进行说明。

如图1所示，本发明实施例的多来源业务大数据的建模、分析、自我优化的方法，包括如下步骤：

步骤S1，接收来自企业***的内部数据和来自互联网的外部数据。

在本发明的一个实施例中，内部数据为企业***的业务数据，包括来自ERP(EnterpriseResourcePlanning，企业资源计划)***、CRM(CustomerRelationshipManagement，客户关系管理)***、OA(OfficeAutomation，办公自动化)***。

其中，业务数据包括：管理数据、营销数据、采购数据、库存数据、质量数据、成本数据、财务数据、流程控制数据和供应链数据。

需要说明的是，因每个机构业务类型的差异，内部数据来源的数据类型也可以是多样的。

步骤S2，对内部数据和外部数据进行分析以分类为结构数据和非结构数据。

具体地，根据内部数据和外部数据的文件格式进行分析，将数据划分为结构数据和非结构数据。其中，结构数据为文本格式数据。非结构数据包括：PDF文件、WORD文档、XML库和语音文件。

步骤S3，对非结构数据进行转换以转换为对应的文本内容，对转换后的非结构数据和结构数据进行抽取和清洗。

在本步骤中，对非结构数据进行转换以转换为对应的文本内容，包括如下步骤：

(1)针对语音文件：

建立语音模型，根据语音模型将语音文件转换为文本内容进行输出。

(2)针对PDF文件、WORD文档和XML库文件：

建立内容抽取模型，根据内容抽取模型将PDF文件、WORD文档和XML库转换为文本内容进行输出。

需要说明的是，在本步骤中，还需要对结构化数据建立数据质量指标。

具体地，结构化数据需要建立数据质量指标，其中数据质量指标包括：数据的准确性、完整性、一致性、完备性、唯一性、可访问性、精确性、及时性、相关性、可使用性、明确性、客观性等。其中，数据质量指标的内容可以根据用户的需要进行设置，添加或删除，在此不再赘述。

然后，参考图2，由核心处理器对上述结构数据和非结构数据进行抽取和清洗。

步骤S4，根据企业的内部需求建立多个业务模型，其中，多个业务模型通过机器与步骤S3中抽取和清洗后的非结构数据和结构数据进行结合，业务模型根据数据流入自我学习和优化，自动生成主数据中心。

在本发明的一个实施例中，建立多个业务模型包括如下步骤：首先构建模型、然后部署模型、评估模型及模型测试。

针对每个机构不同的业务需求，每个机构结合自身业务特点，通过主数据中心对数据的构建、评估、部署、测试等一系列流程，形成精准的业务模型。业务模型在机器学习中通过算法不断自我完善，从而达到业务模型的最优，达到全生命周期管理业务模型化效果。

由核心处理器对使业务模型与抽取及清洗处理后的数据进行整合通过一系列的正确性校验和评估，业务模型就能够在测试后进行部署，通过数据的不断流入，使得业务模型也会发生改变。

业务模型与处理后的数据相互结合，并通过机器自我学习和优化，自动形成主数据中心。具体地，结构化数据和非结构化数据经过数据清洗后结合业务模型及核心处理器进行处理，在达到可读性强、易用性高、数据唯一的要求后，最终转到主数据中心。

步骤S5，对主数据中心中的数据进行处理分析以得到业务分析结果，业务分析结果包括不同业务之间的联系信息、业务与外部因素的联系信息和业务与时间的联系信息。

在本步骤中，参考图3，对主数据中心中的数据进行处理分析，包括如下步骤：对主数据中心中的数据进行分类、聚类、回归、关联、神经网络、数据预测和业务模型的扩建，由此，可以得到业务分析结果。

其中，业务分析结果为业务领域内之间的关系，包括：不同业务之间(业务与业务之间)的关系(例如：生产业务与营销之间的关系)、业务流程的关系(例如：影响生产业务的有哪些)、数据与数据间的关系(例如：上个月的销售额的差值的原因)、外部因素与内部因素的关系(例如：政策的调整对内部战略的影响)、业务与外部因素的联系信息和业务与时间的联系信息。

主数据中心的数据进行聚合、分类等综合分析后计算的结果可以拖拽计算，让数据自我演绎、表达业务自我观点。主数据中心提供的数据能够更好的体现业务层次和结构，数据更加集中，质量更加精确。主数据中心的数据分析可以根据业务的需求进行扩展，进行数据算法的集成，从而可以分析多种应用场景，提升现有业务对未知领域的分析结果。

步骤S6，将业务分析结果通过数字化和图形化界面进行展示。

具体地，步骤S5得到的业务分析结果可以通过数字化和图形化进行展示，例如报表、静态图和动态图的形式展现。将业务分析结果进行数据展示，通过Stroage(M):shap数CURD管理、Painter(V):canvase元素生命周期管理、视图渲染、绘画、更新控制、Handler(C):事件交互处理，创建业务参数坐标系、图例、提示、工具箱等基础组件，并在此上构建出多样性的表现形式。例如：折线图、柱状图、散点图、K线图、饼图、雷达图、地图、和弦图、力导向布局图、时间图、仪表盘以及漏斗图，同时支持任意维度的堆积和多图表混合展现。

用户可以通过业务的需求，对这些图表进行标线辅助、事件交互、动态添加数据等用户交互行为。通过分析结果的可视化展示，快速的表明数据的级联性和涌动性，更直接、更高效的反应了业务的状态和趋势。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求极其等同限定。

Claims

1.一种多来源业务大数据的建模、分析、自我优化的方法，其特征在于，包括如下步骤：

2.如权利要求1所述的多来源业务大数据的建模、分析、自我优化的方法，其特征在于，所述内部数据为企业***的业务数据，所述业务数据包括：管理数据、营销数据、采购数据、库存数据、质量数据、成本数据、财务数据、流程控制数据和工业链数据。

3.如权利要求1所述的多来源业务大数据的建模、分析、自我优化的方法，其特征在于，所述结构数据为文本格式数据，所述非结构数据包括：PDF文件、WORD文档、XML库和语音文件。

4.如权利要求3所述的多来源业务大数据的建模、分析、自我优化的方法，其特征在于，在所述步骤S3中，对所述非结构数据进行转换以转换为对应的文本内容，包括如下步骤：

5.如权利要求1所述的多来源业务大数据的建模、分析、自我优化的方法，其特征在于，在所述步骤S3中，还包括如下步骤：对所述结构化数据建立数据质量指标。

6.如权利要求1所述的多来源业务大数据的建模、分析、自我优化的方法，其特征在于，在所述步骤S5中，对所述主数据中心中的数据进行处理分析，包括如下步骤：对所述主数据中心中的数据进行分类、聚类、回归、关联、神经网络、数据预测和业务模型的扩建。

7.如权利要求1所述的多来源业务大数据的建模、分析、自我优化的方法，其特征在于，所述业务分析结果还包括：业务流程的关系信息、数据与数据之间的关系信息、外部因素与内部因素的关系信息。

8.如权利要求1所述的多来源业务大数据的建模、分析、自我优化的方法，其特征在于，在所述步骤S6中，所述业务分析结果以报表、静态图和动态图的形式展现。