CN107122464B - 一种辅助决策***及方法 - Google Patents

Abstract

本发明提供一种辅助决策***及方法，包括：数据采集模块，用于采集原始数据，所述原始数据包括结构化数据、半结构化数据和非结构化数据中的至少一种；数据抽取模块，用于针对除结构化数据之外的待抽取原始数据，从所述待抽取原始数据中抽取有效数据；数据存储模块，用于按照与有效数据的数据类型对应的预设存储格式，将有效数据进行分布式存储；辅助决策模块，用于根据辅助决策需求，确定对应的辅助决策训练模型；并确定作为所述辅助决策训练模型输入的目标数据；以及将所述目标数据输入所述辅助决策训练模型，得到辅助决策结果；输出模块，用于输出所述辅助决策结果。具有大数据处理能力，保证了辅助决策结果的准确性。

Description

一种辅助决策***及方法

技术领域

本发明涉及数据挖掘技术领域，具体而言，涉及一种辅助决策***及方法。

背景技术

统计信息化体系建设是经济信息工作重要的发展方向，是信息发展的重要战略。目前政府主要采用联网直报***获取各地方企事业单位上报的数据，进而对数据进行统计分析。

相关技术中的联网直报***通过门户网站获取各地方企事业单位上报的数据，对数据进行统计分析、存储以及显示等操作。然而，该联网直报***只能处理单一格式的少量数据，对大数据的处理能力不足，无法基于大数据为决策者提供决策帮助。

针对上述提出的相关技术中的联网直报***对大数据的处理能力不足，无法基于大数据为决策者提供决策帮助的问题，目前尚未提出有效的解决方案。

发明内容

有鉴于此，本发明的目的在于提供一种辅助决策***及方法，以解决相关技术中的联网直报***对大数据的处理能力不足，无法基于大数据为决策者提供决策帮助的问题。

第一方面，本发明实施例提供了一种辅助决策***，包括：

数据采集模块，用于采集原始数据，所述原始数据包括结构化数据、半结构化数据和非结构化数据中的至少一种；

数据抽取模块，用于针对除结构化数据之外的待抽取原始数据，从所述待抽取原始数据中抽取有效数据；

数据存储模块，用于按照与有效数据的数据类型对应的预设存储格式，将有效数据进行分布式存储；

辅助决策模块，用于根据辅助决策需求，确定对应的辅助决策训练模型；并确定作为所述辅助决策训练模型输入的目标数据；以及将所述目标数据输入所述辅助决策训练模型，得到辅助决策结果；

输出模块，用于输出所述辅助决策结果。

第二方面，本发明实施例提供了一种辅助决策方法，包括：

采集原始数据，所述原始数据包括结构化数据、半结构化数据和非结构化数据中的至少一种；

针对采集的除结构化数据之外的待抽取原始数据，从所述待抽取原始数据中抽取有效数据；

按照与有效数据的数据类型对应的预设存储格式，将有效数据进行分布式存储；

根据辅助决策需求，确定对应的辅助决策训练模型；并

确定作为所述辅助决策训练模型输入的目标数据；以及

将所述目标数据输入所述辅助决策训练模型，得到并输出辅助决策结果。

本发明实施例中的辅助决策***及方法，包括：采集原始数据；针对采集的除结构化数据之外的待抽取原始数据，从所述待抽取原始数据中抽取有效数据；按照与有效数据的数据类型对应的预设存储格式，将有效数据进行分布式存储；根据辅助决策需求，确定对应的辅助决策训练模型；并确定作为所述辅助决策训练模型输入的目标数据；以及将所述目标数据输入所述辅助决策训练模型，得到并输出辅助决策结果。由于本发明实施例中的***及方法与现有技术中的联网直报***相比不但能够处理结构化数据，还能够处理半结构化数据和非结构化数据，具有大数据处理能力，并会确定与决策请求对应的目标辅助决策模型，使得基于大数据和目标辅助决策模型得到的辅助决策结果与决策请求相匹配，保证了辅助决策结果的准确性，进而保证为用户提供准确的辅助决策帮助。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明一实施例所提供的一种辅助决策***的结构示意图；

图2示出了本发明另一实施例所提供的一种辅助决策***的结构示意图；

图3示出了本发明实施例所提供的数据集成模块中消息中间件、和数据转换加载单元的工作原理示意图；

图4示出了本发明又一实施例所提供的一种辅助决策方法的流程示意图；

图5示出了本发明再一实施例所提供的一种辅助决策方法的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明一实施例提供了一种辅助决策***，如图1所示，该辅助决策***包括如下模块：

数据采集模块101，用于采集原始数据，该原始数据包括结构化数据、半结构化数据和非结构化数据中的至少一种；

数据抽取模块102，用于针对除结构化数据之外的待抽取原始数据，从该待抽取原始数据中抽取有效数据；

数据存储模块103，用于按照与有效数据的数据类型对应的预设存储格式，将有效数据进行分布式存储；

辅助决策模块104，用于根据辅助决策需求，确定对应的辅助决策训练模型；并确定作为该辅助决策训练模型输入的目标数据；以及将确定的目标数据输入辅助决策训练模型，得到辅助决策结果；

输出模块105，用于输出辅助决策结果。

本发明实施例中，结构化数据可以包括传统数据库，SQL等；半结构化数据可以包括网页等；非结构化数据可以包括多媒体文件等，例如：视频、音频、图片、图像、文档、文本等。对于结构化数据可以认为包括的信息通常为有效信息，可以不进行抽取直接进行存储；而半结构化数据和非结构化数据可能包括了有效信息和无效信息，为了便于后续数据处理也避免无效数据占用存储空间，需要数据抽取模块102对除结构化数据之外的待抽取原始数据进行抽取，得到半结构化数据和非结构化数据中的有效数据。例如：对于网页这种半结构化数据，可以包括文字、图片、动画广告等，数据抽取模块可以根据实际需要将其中的文字和/或图片作为有效信息抽取出来；对于视频这种非结构化数据，可以包括关键帧和非关键帧，非关键帧与关键帧相比内容差别不大，数据抽取模块可以根据实际需要将其中的关键帧作为有效信息抽取出来。而

另外，抽取出的有效数据可以由数据存储模块103按照与其数据类型对应的预设存储格式进行分布式存储。例如：抽取的文字信息可以以文档格式存储，抽取的图片信息可以以jpg格式存储，抽取的视频数据可以以mp4格式存储等。

进一步地，针对不同的决策需求可以预先训练对应的辅助决策训练模型。例如：针对某地区餐馆营业额预测需求，可以采集该地区餐馆营业额以及作为该地区餐馆营业额影响因素的相关历史大数据，包括：预设时间段内该餐馆营业额数据、预设时间段内该地区的天气数据、预设时间段内该地区的治安情况数据等。通过现有技术提供的机器学习等算法，将大数据输入对应模型对该模型进行训练，可以得到天气和治安等因素与该餐馆营业额之间的变化关系模型，即针对某地区餐馆营业额预测需求的辅助决策训练模型。在辅助决策训练模型确定之后，即可确定作为该辅助决策训练模型输入的目标数据，将该目标数据输入该辅助决策训练模型，可以得到辅助决策结果，实现对餐馆营业额的预测。

还可以将辅助决策结果进行输出。例如：本发明实施例提供的辅助决策***可以支持可视化，将辅助决策结果向用户显示，也可以通过智能推送将辅助决策结果推送到用户终端。

本发明实施例提供的一种辅助决策***与现有技术中的联网直报***相比不但能够处理结构化数据，还能够处理半结构化数据和非结构化数据，具有大数据处理能力，并会确定与决策请求对应的目标辅助决策模型，使得基于大数据和目标辅助决策模型得到的辅助决策结果与决策请求相匹配，保证了辅助决策结果的准确性，进而保证为用户提供准确的辅助决策帮助。

进一步地，数据抽取模块102，还用于对抽取的有效数据进行解析；根据解析结果，为有效数据确定至少一个数据属性，并使用确定的数据属性对有效数据进行标识。

与传统的关系型数据库不同，抽取的有效数据通常不会按数据间的关系来组织和存储，而是单独进行存储。因此，为了后续对数据进行处理时能够使单独存储的数据产生联系便于使用，可以为有效数据确定数据属性，并使用数据属性对数据进行标识。具体实施时，数据抽取模块102可以对抽取的有效数据的内容进行解析，根据解析结果确定出至少一个数据属性。例如：针对文本形式的有效数据可以对文本内容进行解析，解析出包含的至少一个关键字，将该至少一个关键字作为该有效数据的数据属性；针对图像形式的有效数据可以对图像内容和/或对图像的描述信息进行解析，解析出文本包含关键字和/或图像涉及的关键内容并作为该有效数据的数据属性；针对视频形式的有效数据可以对视频关键帧和/或对视频的描述信息进行解析，解析出文本包含关键字和/或关键帧涉及的关键内容并作为该有效数据的数据属性。

本发明另一实施例提供了一种辅助决策***，如图2所示，该辅助决策***与图1提供的辅助决策***相比，还可以包括如下模块：数据集成模块201和数据中心202。

数据存储模块103可以包括多个分布式存储设备；其中，分布式存储设备所存储数据对应不同数据源；以及为每个数据源设置数据提取器1031；

数据提取器1031，用于根据辅助决策训练模型，确定所需数据所属的一种或多种业务种类，以及所需数据具有的数据属性；并从所在数据源所储存的对应业务种类数据中，提取具有所述数据属性的数据；并将提取的数据提供给所述数据集成模块201；

数据集成模块201，用于根据辅助决策训练模型确定所需数据的目标数据结构；将提取的数据转换成对应的目标数据结构并汇总；并将汇总的数据加载到数据中心202，以供辅助决策模块104调用。

由于大数据的数据量太大，通常采用分布式存储方式进行存储。而分布式存储设备所存储数据可能对应不同数据源(可以一个存储设备对应一个数据源，也可以多个存储设备对应一个数据源)。又由于各数据源的数据处理能力不同，当辅助决策模块104需要从数据存储模块103获取数据进行处理时，对应数据源可能正在进行数据写入等数据处理操作，而无法对辅助决策模块104的需求及时响应，可见，当辅助决策模块104和数据存储模块103的处理速度不能匹配时，辅助决策模块104的处理效率会降低。因此，本发明实施例提供了数据中心202，可以将辅助决策模块104所需数据存储在数据中心202，与各数据源相比，数据中心202需要处理的数据量相对较小，能够随时对辅助决策模块104的获取数据请求进行响应，即使数据存储模块103的处理速度跟不上辅助决策模块104的处理速度，也不会影响辅助决策模块104的效率。

另外，本发明实施例为数据存储模块103设置了数据提取器1031，并提供了数据集成模块201。数据提取器1031的数据提取功能以及数据集成模块201的功能可以通过现有技术中的ETL技术实现。与现有ETL技术不同，本发明实施例将数据提取功能与数据转换加载功能分离，使数据提取功能通过数据源中的数据提取器1031实现，而不是数据集成模块201实现，这就使得位于对应数据源中的数据提取器1031能够及时监测所在数据源中的数据更新情况，并及时对更新数据进行处理，即：

数据提取器1031，还用于对所在数据源数据更新情况进行监控；响应于监控到对应业务种类数据发生更新，将更新的对应业务种类数据提供给数据集成模块201。

本发明另一实施例提供的一种辅助决策***中，数据集成模块201可以包括：消息中间件2011、和数据转换加载单元2012；

消息中间件2011，用于为每个数据源分别设置消息队列；其中，消息队列用于接收对应数据源提供的数据，并将接收的数据提供给数据转换加载单元2012处理；

数据转换加载单元2012，用于启动一个或多个数据转换加载任务，每个数据转换加载任务用于根据辅助决策训练模型确定所需数据的目标数据结构；将当前处理数据转换成对应的目标数据结构并汇总；并将汇总的数据加载到数据中心202；并在当前处理数据完成后，按照预设规则从对应消息队列获取新的当前处理数据。

本发明实施例中，可以分别为每个数据源设置消息队列，消息中间件201可以接收对应数据源的数据提取器1031发送的数据并存储在对应的消息队列中，随时提供数据转换加载单元2012处理。数据转换加载单元2012可以启动一个或多个数据转换加载任务，每个任务根据自身的处理情况对数据进行处理，并在当前处理数据完成后，再按照预设规则从对应消息队列获取新的数据进行处理。可见，当数据提取器1031数据提取速度较快，而数据加载单元2012的处理速度较慢时，可以通过消息中间件2011对提取的数据进行缓冲，随时提供数据转换加载单元2012的一个或多个加载任务进行处理。从而使得数据的提取与数据的转换加载可以异步处理，缓解数据提取速度与转换加载速度不匹配的矛盾，提高数据提取效率。另外，这里的预设规则可以根据实际情况进行设置，例如：随机选取规则，这里并不限制。

图3为本发明实施例提供的数据集成模块201中消息中间件2011、和数据转换加载单元2012的工作原理示意图。

进一步地，数据转换加载单元2012，具体用于针对每次完成汇总的数据，确定该数据的大小；响应于该数据的大小超过预设数据大小阈值，按照预设规则定义的数据大小将该数据划分成多个部分；并按照预设规则定义的将数据加载到数据中心202的时间，将每个部分的数据按照所述时间依次加载到数据中心202。

在向数据中心202加载数据时，如果一次加载数据量太大同样会使得数据中心202占用较多资源接收数据，可能造成此时数据中心202对辅助决策模块104的请求响应速度变慢，甚至无法及时响应辅助决策模块104的请求，降低辅助决策模块104的效率。因此，本发明实施例采用了微批量加载的方法向数据中心202加载数据。也就是说，如果需要加载的数据大小超过预设数据大小阈值，可以按照预设规则定义的数据大小将数据划分成多个部分，并且由预设规则确定向数据中心202加载数据的时间，每当加载数据的时间到来时，依次将划分的一个部分的数据加载到数据中心202，使得每次加载数据的量不会占用数据中心202太多的资源，保证数据中心202能够及时对辅助决策模块104的请求进行响应，进而保证了辅助决策模块104的处理效率。

进一步地，辅助决策模块104，具体用于根据作为辅助决策训练模型输入的目标数据，确定对应的预设数据统计模型；并将数据中心202存储和/或更新的数据输入预设数据统计模型，得到数据统计结果；将该数据统计结果确定为输入辅助决策训练模型的目标数据。

作为辅助决策训练模型输入的目标数据可以不是数据中心202直接提供的数据，而是对数据中心202提供数据进行统计分析之后的统计数据。也就是说，本发明实施例中，还需要确定辅助决策训练模型需要的目标数据是何种统计数据，从而确定对应的预设数据统计模型，将数据中心202存储和/或更新的数据输入该预设数据统计模型，得到数据统计结果，并将该数据统计结果确定为目标数据。

进一步地，预设数据统计模型可以包括：预设数值统计模型；辅助决策模块104，具体用于将获取的一种或多种业务种类数据输入预设数值统计模型，得到对应业务种类数据所表征业务的统计数值；

所需数据属于多种业务种类；且多种业务种类数据包括一种主业务种类数据和至少一种辅助业务种类数据；

预设数据统计模型还可以包括：预设业务关***计模型；辅助决策模块104，具体用于将获取的多种业务种类数据输入预设业务关***计模型，得到至少一种辅助业务种类数据所表征业务分别与主业务种类数据所表征的业务之间的变化关系；和/或

预设数据统计模型还可以包括：预设业务占比统计模型；辅助决策模块104，具体用于将获取的多种业务种类数据输入预设业务占比统计模型，得到至少一种辅助业务种类数据所表征业务分别对主业务种类数据所表征业务的影响程度占比。

作为目标数据的数据统计结果可以包括一种或多种形式，针对所需数据属于一种或多种业务种类数据的情况，数据统计结果可以为统计数值，例如：指数、总数、平均值、方差等；针对所需数据属于多种业务种类的情况，该多种业务种类数据可以包括一种主业务种类数据和至少一种辅助业务种类数据，数据统计结果可以为辅助业务种类数据所表征业务分别与主业务种类数据所表征的业务之间的变化关系，也可以为至少一种辅助业务种类数据所表征业务分别对主业务种类数据所表征业务的影响程度占比等。

以针对某地区餐馆营业额预测需求为例，当需要通过餐馆营业额指数对餐馆未来预设时间营业额进行预测时，可以提供该地区餐馆营业额历史数据，并输入预设数值统计模型(这里假设是预设指数统计模型)，得到餐馆营业额指数；当需要确定该地区天气和治安情况对餐馆营业额影响时，可以将预设时间段内该餐馆营业额数据、预设时间段内该地区的天气数据、预设时间段内该地区的治安情况数据输入预设业务关***计模型，得到预设时间段内天气的变化和治安情况的变化与营业额之间的变化关系；当餐馆营业额下降时，可以将预设时间段内该餐馆营业额数据、预设时间段内该地区的天气数据、预设时间段内该地区的治安情况数据输入预设业务占比统计模型，得到天气和治安情况分别对营业额下降产生影响的占比。

本发明另一实施例提供的一种辅助决策***中，辅助决策模块104可以包括：预测单元1041、专家***单元1042、商业智能单元1043中的至少一种；

针对目标数据包括一种业务种类数据的情况：

预测单元1041，用于将目标数据输入预设预测模型，得到目标数据所表征业务在未来预设时间段内的变化趋势信息，并将变化趋势信息作为辅助决策结果；

专家***单元1042，用于将目标数据输入预设专家***模型，得到目标数据所表征业务对应的政策目标达到时需满足条件的决策建议，并将该决策建议作为辅助决策结果；

商业智能单元1043，用于将目标数据输入预设商业智能模型，得到目标数据所表征业务在预设时间段内的发展趋势信息和/或在预设环境中的分布情况信息；

针对目标数据包括多种业务种类数据的情况：多种业务种类数据可以包括一种主业务种类数据和至少一种辅助业务种类数据；

预测单元1041，用于将目标数据输入预设预测模型，得到所述多种业务种类数据分别表征业务在未来预设时间段内的变化趋势信息，并将所述变化趋势信息作为所述辅助决策结果；

专家***单元1042，用于将目标数据输入预设专家***模型，得到所述主业务种类数据所表征业务对应的政策目标达到时，辅助业务种类数据所表征业务需满足条件的决策建议，并将该决策建议作为所述辅助决策结果；

商业智能单元1043，用于将目标数据输入预设商业智能模型，得到该至少一种辅助业务种类数据所表征业务分别对主业务种类数据所表征业务的影响程度信息。

进一步地，专家***单元1042和商业智能单元1043还可以将预测单元1041的结果作为目标数据输入对应模型。

延续上述餐馆的例子，针对目标数据包括一种业务种类数据的情况，可以将指数输入预设预测模型，得到餐馆营业额在未来预设时间段内的变化趋势信息，并将变化趋势信息作为辅助决策结果；也可以将指数输入预设专家***模型，得到若要餐馆营业额达到1万，需要满足的条件的决策建议；也可以将指数输入预设商业智能模型，得到餐馆运营的历史时间段内营业额的变化趋势等；

针对目标数据包括多种业务种类数据的情况，可以将餐馆营业额指数、天气指数、治安指数输入预设预测模型，得到餐馆营业额、天气、治安情况在未来预设时间段内的变化趋势信息，并将变化趋势信息作为辅助决策结果；也可以将餐馆营业额指数、天气指数、治安指数输入预设专家***模型，得到若要餐馆营业额达到1万，天气需要满足的条件以及治安情况需要满足的条件等的决策建议；也可以将餐馆营业额指数、天气指数、治安指数输入预设商业智能模型，得到造成餐馆营业额下降的原因中，天气和治安分别的占比等。

本发明又一实施例提供一种辅助决策方法，如图4所示，包括如下步骤：

S401、采集原始数据，该原始数据包括结构化数据、半结构化数据和非结构化数据中的至少一种。

S402、针对S401中采集的除结构化数据之外的待抽取原始数据，从该待抽取原始数据中抽取有效数据。

S403、按照与S402中抽取的有效数据的数据类型对应的预设存储格式，将有效数据进行分布式存储。

S404、根据辅助决策需求，确定对应的辅助决策训练模型。

S405、确定作为S404中确定的辅助决策训练模型输入的目标数据。

S406、将S405中确定的目标数据输入S404中确定的辅助决策训练模型，得到并输出辅助决策结果。

本发明实施例提供的一种辅助决策***与现有技术中的联网直报***相比不但能够处理结构化数据，还能够处理半结构化数据和非结构化数据，具有大数据处理能力，并会确定与决策请求对应的目标辅助决策模型，使得基于大数据和目标辅助决策模型得到的辅助决策结果与决策请求相匹配，保证了辅助决策结果的准确性，进而保证为用户提供准确的辅助决策帮助。

本发明再一实施例提供一种辅助决策方法，如图5所示，包括如下步骤：

S501、采集原始数据，该原始数据包括结构化数据、半结构化数据和非结构化数据中的至少一种。

S502、针对S501中采集的除结构化数据之外的待抽取原始数据，从该待抽取原始数据中抽取有效数据。

S503、对S502中抽取的有效数据进行解析。

S504、根据S503得到的解析结果，为有效数据确定至少一个数据属性，并使用确定的数据属性对有效数据进行标识。

本步骤中，可以针对抽取的每个条目的有效数据进行数据属性确定并进行标识。

S505、按照与S502中抽取的有效数据的数据类型对应的预设存储格式，将有效数据进行分布式存储。

其中，分布式存储数据可以对应不同数据源。

S506、根据辅助决策需求，确定对应的辅助决策训练模型。

S507、确定S506确定的辅助决策训练模型所需数据所属的一种或多种业务种类，以及所需数据具有的数据属性。

S508、针对每个数据源，从该数据源所储存的对应业务种类数据中，提取具有S507中确定的数据属性的数据。

具体实施时，可以为每个数据源设置数据提取器，通过数据提取器从所在数据源的对应业务种类数据中，提取具有S507中确定的数据属性的数据。

进一步地，数据提取器，还可以对所在数据源数据更新情况进行监控；响应于监控到对应业务种类数据发生更新，将更新的对应业务种类数据提取。保证了对更新数据处理的实时性。

S509、根据辅助决策训练模型确定所需数据的目标数据结构；将提取的数据转换成对应的目标数据结构并汇总。

具体实施时，可以设置消息中间件，该消息中间件包括为每个数据源分别设置的消息队列；其中，消息队列用于接收对应数据源提供的数据，并将接收的数据提供给后续的数据转换加载操作；

在对数据进行转换加载时，可以启动一个或多个数据转换加载任务，每个数据转换加载任务用于根据辅助决策训练模型确定所需数据的目标数据结构；将当前处理数据转换成对应的目标数据结构并汇总；并将汇总的数据加载到所述数据中心；并在当前处理数据完成后，按照预设规则从对应消息队列获取新的当前处理数据。

S510、将S509中汇总的数据加载到数据中心。

具体实施时，可以针对每次完成汇总的数据，确定该数据的大小；响应于该数据的大小超过预设数据大小阈值，按照预设规则定义的数据大小将该数据划分成多个部分；并按照预设规则定义的将数据加载到所述数据中心的时间，将每个部分的数据按照所述时间依次加载到所述数据中心。

S511、根据作为辅助决策训练模型输入的目标数据，确定对应的预设数据统计模型。

S512、将数据中心存储和/或更新的数据输入S511中确定的预设数据统计模型，得到数据统计结果；并将该数据统计结果确定为输入辅助决策训练模型的目标数据。

S513、将S512确定的目标数据输入辅助决策训练模型，得到辅助决策结果。

关于预设数据统计模型，以及辅助决策模块包括的预测单元、专家***单元、商业智能单元以及其他步骤的相关介绍其实现原理及产生的技术效果和前述辅助决策***实施例相同，为简要描述，方法实施例部分未提及之处，可参考前述***实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的方法的具体工作过程，均可以参考上述***实施例中的对应过程，在此不再赘述。

在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种辅助决策***，其特征在于，包括：

数据采集模块，用于采集原始数据，所述原始数据包括结构化数据、半结构化数据和非结构化数据中的至少一种；

数据抽取模块，用于针对除结构化数据之外的待抽取原始数据，从所述待抽取原始数据中抽取有效数据；

数据存储模块，用于按照与有效数据的数据类型对应的预设存储格式，将有效数据进行分布式存储，其中，抽取的文字信息以文档格式存储，抽取的图片信息以jpg格式存储，抽取的视频数据以mp4格式存储；

辅助决策模块，用于根据辅助决策需求，确定对应的辅助决策训练模型；并确定作为所述辅助决策训练模型输入的目标数据；以及将所述目标数据输入所述辅助决策训练模型，得到辅助决策结果；

输出模块，用于输出所述辅助决策结果。

2.根据权利要求1所述的***，其特征在于，所述数据抽取模块，还用于对抽取的有效数据进行解析；根据解析结果，为所述有效数据确定至少一个数据属性，并使用确定的数据属性对所述有效数据进行标识。

3.根据权利要求2所述的***，其特征在于，还包括：数据集成模块和数据中心；

所述数据存储模块包括多个分布式存储设备；其中，所述分布式存储设备所存储数据对应不同数据源；以及为每个数据源设置数据提取器；

所述数据提取器，用于根据所述辅助决策训练模型，确定所需数据所属的一种或多种业务种类，以及所需数据具有的数据属性；并从所在数据源所储存的对应业务种类数据中，提取具有所述数据属性的数据；并将提取的数据提供给所述数据集成模块；

所述数据集成模块，用于根据所述辅助决策训练模型确定所需数据的目标数据结构；将提取的数据转换成对应的目标数据结构并汇总；并将汇总的数据加载到所述数据中心，以供所述辅助决策模块调用。

4.根据权利要求3所述的***，其特征在于，所述数据提取器，还用于对所在数据源数据更新情况进行监控；响应于监控到对应业务种类数据发生更新，将更新的对应业务种类数据提供给所述数据集成模块。

5.根据权利要求3或4所述的***，其特征在于，所述数据集成模块包括：消息中间件、和数据转换加载单元；

所述消息中间件，用于为每个数据源分别设置消息队列；其中，所述消息队列用于接收对应数据源提供的数据，并将接收的数据提供给所述数据转换加载单元处理；

所述数据转换加载单元，用于启动一个或多个数据转换加载任务，每个数据转换加载任务用于根据所述辅助决策训练模型确定所需数据的目标数据结构；将当前处理数据转换成对应的目标数据结构并汇总；并将汇总的数据加载到所述数据中心；并在当前处理数据完成后，按照预设规则从对应消息队列获取新的当前处理数据。

6.根据权利要求5所述的***，其特征在于，所述数据转换加载单元，具体用于针对每次完成汇总的数据，确定该数据的大小；响应于该数据的大小超过预设数据大小阈值，按照预设规则定义的数据大小将该数据划分成多个部分；并按照预设规则定义的将数据加载到所述数据中心的时间，将每个部分的数据按照所述时间依次加载到所述数据中心。

7.根据权利要求3或4所述的***，其特征在于，所述辅助决策模块，具体用于根据作为所述辅助决策训练模型输入的目标数据，确定对应的预设数据统计模型；并将所述数据中心存储和/或更新的数据输入预设数据统计模型，得到数据统计结果；将所述数据统计结果确定为输入所述辅助决策训练模型的目标数据。

8.根据权利要求7所述的***，其特征在于，所述预设数据统计模型包括：预设数值统计模型；所述辅助决策模块，具体用于将获取的一种或多种业务种类数据输入所述预设数值统计模型，得到对应业务种类数据所表征业务的统计数值；

所需数据属于多种业务种类；且所述多种业务种类数据包括一种主业务种类数据和至少一种辅助业务种类数据；

所述预设数据统计模型还包括：预设业务关***计模型；

所述辅助决策模块，具体用于将获取的多种业务种类数据输入所述预设业务关***计模型，得到所述至少一种辅助业务种类数据所表征业务分别与所述主业务种类数据所表征的业务之间的变化关系；和/或

所述预设数据统计模型还包括：预设业务占比统计模型；

所述辅助决策模块，具体用于将获取的多种业务种类数据输入所述预设业务占比统计模型，得到所述至少一种辅助业务种类数据所表征业务分别对所述主业务种类数据所表征业务的影响程度占比。

9.根据权利要求1所述的***，其特征在于，所述辅助决策模块包括：预测单元、专家***单元、商业智能单元中的至少一种；

针对所述目标数据包括一种业务种类数据的情况：

所述预测单元，用于将所述目标数据输入预设预测模型，得到所述目标数据所表征业务在未来预设时间段内的变化趋势信息，并将所述变化趋势信息作为所述辅助决策结果；

所述专家***单元，用于将所述目标数据输入预设专家***模型，得到所述目标数据所表征业务对应的政策目标达到时需满足条件的决策建议，并将所述决策建议作为所述辅助决策结果；

所述商业智能单元，用于将所述目标数据输入预设商业智能模型，得到所述目标数据所表征业务在预设时间段内的发展趋势信息和/或在预设环境中的分布情况信息；

针对所述目标数据包括多种业务种类数据的情况：所述多种业务种类数据包括一种主业务种类数据和至少一种辅助业务种类数据；

所述预测单元，用于将所述目标数据输入预设预测模型，得到所述多种业务种类数据分别表征业务在未来预设时间段内的变化趋势信息，并将所述变化趋势信息作为所述辅助决策结果；

所述专家***单元，用于将所述目标数据输入预设专家***模型，得到所述主业务种类数据所表征业务对应的政策目标达到时，辅助业务种类数据所表征业务需满足条件的决策建议，并将所述决策建议作为所述辅助决策结果；

所述商业智能单元，用于将所述目标数据输入预设商业智能模型，得到所述至少一种辅助业务种类数据所表征业务分别对所述主业务种类数据所表征业务的影响程度信息。

10.一种辅助决策方法，其特征在于，包括：

采集原始数据，所述原始数据包括结构化数据、半结构化数据和非结构化数据中的至少一种；

针对采集的除结构化数据之外的待抽取原始数据，从所述待抽取原始数据中抽取有效数据；

按照与有效数据的数据类型对应的预设存储格式，将有效数据进行分布式存储，其中，抽取的文字信息以文档格式存储，抽取的图片信息以jpg格式存储，抽取的视频数据以mp4格式存储；

根据辅助决策需求，确定对应的辅助决策训练模型；并

确定作为所述辅助决策训练模型输入的目标数据；以及

将所述目标数据输入所述辅助决策训练模型，得到并输出辅助决策结果。

Images