CN111831636A - 一种数据处理方法、装置、计算机***及可读存储介质 - Google Patents
一种数据处理方法、装置、计算机***及可读存储介质 Download PDFInfo
- Publication number
- CN111831636A CN111831636A CN202010740433.6A CN202010740433A CN111831636A CN 111831636 A CN111831636 A CN 111831636A CN 202010740433 A CN202010740433 A CN 202010740433A CN 111831636 A CN111831636 A CN 111831636A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- analysis
- query request
- basic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000003860 storage Methods 0.000 title claims abstract description 24
- 238000004458 analytical method Methods 0.000 claims abstract description 146
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000007405 data analysis Methods 0.000 description 19
- 238000000034 method Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 238000012502 risk assessment Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012954 risk control Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3325—Reformulation based on results of preceding query
- G06F16/3326—Reformulation based on results of preceding query using relevance feedback from the user, e.g. relevance feedback on documents, documents sets, document terms or passages
- G06F16/3328—Reformulation based on results of preceding query using relevance feedback from the user, e.g. relevance feedback on documents, documents sets, document terms or passages using graphical result space presentation or visualisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据处理方法、装置、计算机***及可读存储介质，涉及人工智能的数据处理技术领域，包括：实时采集数据，并对所述采集获得的数据进行预处理，获得基础数据；根据所述基础数据确定至少一个目标对象，基于所述目标对象对所述基础数据进行分析，生成带有关键词标识的数据集合；接收客户端发出的查询请求，基于所述查询请求匹配与所述查询请求对应的数据集合作为目标数据；基于所述目标数据生成目标报表，并将目标报表发送至客户端；通过预先生成各个维度下的数据集合，解决了现有报表无法对某一类或某一维度数据进行具呈现，需要用户自主查找寻找相关数据再进行人工分析，查询速度较慢，且操作繁琐，工作效率较低的问题。
Description
技术领域
本发明涉及人工智能的数据处理技术领域，尤其涉及一种数据处理方法、装置、计算机***及可读存储介质。
背景技术
随着信息科技的不断发展，尤其是社交网络、电子商务与移动通讯把人类社会带入“大数据”时代，大数据为云计算的大规模与分布式的计算能力提供了应用的空间，解决了传统计算机无法解决的问题。大数据时代，数据分析是指对规模巨大的数据进行分析，数据分析组件成为企业决策的坚实后台，越来越多的企业依靠大数据分析实现价值落地，在生产、市场、内部管理等方面实现智慧化运营。
本发明创造的发明人在研究中发现，大多数据分析结果均是以报表的形式进行最终分析结果的可视化呈现，用户可通过报表查看全部数据的展示结果，但是当用户需要具体查看某一类数据或某一维度数据分析结果时，则需要自主寻找相关数据再进行人工分析，查询速度较慢，且操作繁琐，工作效率较低。
发明内容
本发明的目的是提供一种数据处理方法、装置、计算机***及可读存储介质，用于解决现有技术常用报表等形式对最终分析结果进行可视化呈现，但无法对某一类或某一维度数据进行具象呈现，需要用户自主查找寻找相关数据再进行人工分析，查询速度较慢，且操作繁琐，工作效率较低的问题。
为实现上述目的，本发明提供一种数据处理方法，包括：
实时采集数据，并对所述采集获得的数据进行预处理，获得基础数据；
根据所述基础数据确定至少一个目标对象，基于所述目标对象对所述基础数据进行分析，生成与所述目标对象关联的带有关键词标识的数据集合；
接收客户端发出的查询请求，基于所述查询请求匹配与所述查询请求对应的数据集合作为目标数据；
基于所述目标数据生成目标报表，并将所述目标报表发送至客户端。
进一步的，对所述采集获得的数据进行预处理，获得基础数据，包括：
根据数据来源对所述采集获得的数据进行标记，获得第一处理数据；
根据数据来源从预设方案数据库中匹配对应的处理规则，采用所述处理规则对所述第一处理数据进行清洗，获得基础数据。
进一步的，基于所述目标对象对所述基础数据进行分析，生成与所述目标对象关联的带有关键词标识的数据集合，包括：
获取任一目标对象，从模型数据库中匹配与所述目标对象对应的分析模型；
根据所述分析模型对对应的基础数据进行处理，获得所述目标对象的分析结果；
对所述分析结果进行解析，生成与所述目标对象关联的带有关键词标识的数据集合。
进一步的，对所述分析结果进行解析，生成与所述目标对象关联的带有关键词标识的数据集合，包括：
基于所述目标分析对象获取至少一个维度数据；
基于所述维度数据对所述分析结果进行拆解，生成与各个维度数据对应的数据集合；
采用所述维度数据对相应的数据集合进行标记，获得与所述目标对象关联的带有关键词标识的数据集合；
将所述基础数据、分析结果及带有关键词标识的数据集合上传至区块链中。
进一步的，基于所述查询请求获取与所述查询请求对应的数据集合作为目标数据，包括：
基于所述查询请求获取用户权限和关键词；
验证所述关键词对应的查看权限与所述用户权限是否匹配；
若匹配，则根据所述关键词获取与所述查询请求匹配的数据集合作为目标数据；
若不匹配，则获得不可查询结果作为目标数据。
进一步的，基于所述目标数据生成目标报表，包括：
基于所述目标数据的数据类型从模板数据库中匹配对应模板数据；
根据所述模板数据和所述数据集合生成所述目标报表。
为实现上述目的，本发明还提供一种数据处理装置，包括：
采集模块，用于实时采集数据，并对所述采集获得的数据进行预处理，获得基础数据；
分析模块，用于对所述基础数据进行分析，生成多个带有关键词标识的数据集合；
匹配模块，用于接收客户端发出的查询请求，基于所述查询请求匹配与所述查询请求对应的数据集合作为目标数据；
生成模块，用于基于所述目标数据生成目标报表，并将所述目标报表发送至客户端。
进一步的，所述分析模块包括：
分析对象确定单元，用于基于所述基础数据获取至少一个目标分析对象；
分析模型获取单元，用于从模型数据库中匹配于各个所述目标分析对象对应的分析模型；
处理单元，用于逐个采用所述分析模型对所述基础数据进行处理，获得分析结果；
解析单元，用于对所述分析结果进行解析，生成带有关键词标识的数据集合。
为实现上述目的，本发明还提供一种计算机***，其包括多个计算机设备，各计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述多个计算机设备的处理器执行所述计算机程序时共同实现上述一种数据处理方法的步骤。
为实现上述目的，本发明还提供一种计算机可读存储介质，其包括多个存储介质，各存储介质上存储有计算机程序，所述多个存储介质存储的所述计算机程序被处理器执行时共同实现上述一种数据处理方法的步骤。
本发明提供的数据处理方法、装置、计算机***及可读存储介质，通过采集实时数据并对获得的数据进行处理分析后确定目标对象，并基于目标对象的分析，预先生成多个带有关键词标识的数据集合，当用户发出查询请求后，根据用户请求匹配对应的数据集合直接生成目标报表，解决了现有技术常用报表等形式对最终分析结果进行可视化呈现，但无法对某一类或某一维度数据进行具象呈现，需要用户自主查找寻找相关数据再进行人工分析，查询速度较慢，且操作繁琐，工作效率较低的问题。
附图说明
图1为本发明所述数据处理方法实施例一的流程图；
图2为本发明所述数据处理方法实施例一中对所述采集获得的数据进行预处理，获得基础数据的具体流程图；
图3为本发明所述数据处理方法实施例一中对所述基础数据进行分析，生成多个带有关键词标识的数据集合的具体流程图；
图4为本发明所述数据处理方法实施例一中对所述分析结果进行解析，生成带有关键词标识的数据集合的具体流程图；
图5为本发明所述数据处理方法实施例一中基于所述查询请求获取与所述查询请求对应的数据集合作为目标数据的具体流程图；
图6为本发明所述数据处理方法实施例一中基于所述目标数据生成目标报表的具体流程图；
图7为本发明所述数据处理装置实施例二的程序模块示意图；
图8为本发明所述数据处理装置实施例二中分析模块的模块示意图；
图9为本发明计算机***实施例三中计算机设备的硬件结构示意图。
附图标记：
5、数据处理装置510、采集模块520、分析模块530、匹配模块
540、生成模块521、分析对象确定单元522、分析模型获取单元
523、处理单元524、解析单元6、计算机设备61、存储器
62、处理器
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的所述数据处理方法、装置、计算机***及可读存储介质，适用于人工智能技术的数据处理领域，为提供一种采集模块、分析模块、匹配模块、生成模块的数据处理方法。本发明通过采集模块采集实时数据，并对采集获得的数据进行预处理获得基础数据，再通过分析模块对所述基础数据进行分析，先匹配合适的分析模型对基础数据分析获得分析结果，再基于分析模型的各个维度数据对所述分析结果进行拆解，生成与各个维度数据对应的带有关键字标识的数据集合，当接收到用户发出的查询请求后，再采用匹配模块基于所述查询请求匹配与所述查询请求对应的数据集合作为目标数据，最后利用生成模块基于所述目标数据生成目标报表并发送至用户端进行可视化展示，通过预先对分析结果进行拆分生成多个数据集合的形式，对基础数据和分析结果进行打包，以便于用户根据需求查询对应的分析结果时，可直接获取打包好的分析数据进行展示，区别于现有技术中仅仅将最终分析结果均展示在同一组报表内，解决了现有报表需要用户自主查找部分数据再进行人工分析才可获得某一具体维度下的数据分析结果，查询速度较慢，且操作繁琐，工作效率较低的问题。
实施例一
请参阅图1，本实施例的一种数据处理方法，包括：
S100：实时采集数据，并对所述采集获得的数据进行预处理，获得基础数据；
在上述实施方式中，所述被采集的数据包括但不限于数据库(如Oracle数据库)、客户录入(如账单数据等)以及其他外部数据。
具体的，对所述采集获得的数据进行预处理，获得基础数据，参阅图2，包括：
S110：根据数据来源对所述采集获得的数据进行标记，获得第一处理数据；
在上述实施方式中，所述数据来源包括但不限于以下：终端(Web、App、H5)的用户行为、后端服务器日志(Log)以及业务数据(DataBase)。
S120：根据数据来源从预设方案数据库中匹配对应的处理规则，采用所述处理规则对所述第一处理数据进行清洗，获得基础数据。
在本实施方式中，根据数据来源可以将数据划分成带有场景标签的数据，例如：大数据平台数据、图数据以及其他数据，针对不同的场景标签，可以配置一条或多条的数据清洗规则，作为举例而非限定，对于大数据平台数据采用python脚本调用hive实现清洗，对于图像数据采用OCR识别技术进行识别和清洗处理等。
S200：根据所述基础数据确定至少一个目标对象，基于所述目标对象对所述基础数据进行分析，生成与所述目标对象关联的带有关键词标识的数据集合，生成多个带有关键词标识的数据集合；
在上述实施方式中，所述目标分析对象为数据分析的最终呈现结果，根据基础数据预先判断需要分析的对象，比如对各类风险数据分析、对经营数据分析等等。根据基础数据确定目标对象，可以预设目标对象，也可以预先提供一表单，所述表单中预设有多个目标对象，每一所述目标对象关联多个维度数据，对所述基础数据进行维度分类，而后根据基础数据对应的维度确定目标对象。
具体的，基于所述目标对象对所述基础数据进行分析，生成与所述目标对象关联的带有关键词标识的数据集合，请参阅图3，包括：
S210：获取任一目标对象，从模型数据库中匹配与所述目标对象对应的分析模型；
在上述实施方式中，所述模型数据库中预存有多个分析模型，且基于业务需求变化不断更新或添加新的分析模型，所述分析模型根据多种业务逻辑训练获得，根据目标分析对象选择对应的分析模型对数据进行处理，即通过确定一个分析模型，将输入特征映射到预测的输出，所述分析模型可是风险控制模型、收益预测模型、数据分类模型等，可应用于反欺诈、贷后监控、群体案件查找等场景下，作为举例而非限定的，对于上述大数据平台类型的数据采用python脚本调用spark实现数据建模，对于上述图像类型数据采用OCR识别技术后使用图数据库基于图关系建模进行分析等。
S220：根据所述分析模型对对应的基础数据进行处理，获得所述目标对象的分析结果；
作为举例而非限定的，以借款风险分析为例，当用户借款金额为小额，则获取用户的基本信息进行分析获得该用户的借贷风险程度，并基于该风险程度来判断是否通过该用户的借款请求，当用户借款金额为大额，则获取用户的基本信息、企业营业信息、负债比等多维度信息进行分析来判断是否通过该用户的借款请求，更具体的，例如基于上述基本信息、企业营业信息、负债比等多维度信息进行打分或加权获得最终的风险结果，所述风险结果即为所述分析结果，该分析结果可以是图表呈现，也可以是数值集合展示。
S230：对所述分析结果进行解析，生成与所述目标对象关联的带有关键词标识的数据集合。
具体的，对所述分析结果进行解析，生成带有关键词标识的数据集合，请参阅图4，包括：
S231：基于所述目标分析对象获取至少一个维度数据；
在本方案中，基于所述目标分析对象逐个获取分析模型以及作用在各类型分析模型中的维度指标，即获取分析模型中各个维度指标作为维度数据，作为举例的，某一目标分析对象为某一APP用户数据，其对应分析结果包括但不限于以下维度指标：作业时效分析、APP线上经营分析、实时埋点数据分析、最细粒度台账等等，作为解释的，上述作业时效分析为对每一项数据调度进程的时效进行分析；上述APP线上经营分析则是采集经营数据进行分析，上述埋点数据分析指的是针对特定用户行为或事件进行捕获、处理和发送的相关技术及其实施过程，比如用户某个按钮点击次数、浏览某个内容时长等，埋点获取用户日志数据，通过对数据的处理、分析、建模，可以挖掘用户的喜好、需求，判断产品的效果和未来走向，还可监控各项***指标；上述最细粒度台账是指将在作业过程中由作业人员从机台记录中直接记录的数据细分并分析；则上述作业时效分析、APP线上经营分析、实时埋点数据分析、最细粒度台账均为该目标分析对象(即APP用户数据)对应的维度数据。
S232：基于所述维度数据对所述分析结果进行拆解，生成与各个维度数据对应的数据集合；
在上述实施方式，基于任一维度数据对所述分析结果进行拆解，主要是获取与该维度数据对应的分析结果和基础数据，剔除与该维度数据无关的分析数据，即将分析结果和基础数据划分成多个维度指标对应的数据集合；作为举例的，设某一分析结果中包含多个维度的分析数据M、N、O、P，其中数据M为来访时间、访客地域、来路页面、当前停留页面等；数据N访客浏览次数、站内总浏览次数等；数据O、P则为其他APP经营管理数据，则维度数据“埋点数据分析”对应数据集合为{数据M、数据N}，维度数据“线上经营分析”对应的数据集合为{数据O、数据P}
S233：采用所述维度数据对相应的数据集合进行标记，获得带有关键词标识的数据集合。
需要说明的是，上述关键词为基于维度数据获得的，每一维度数据均对应一关键词，带有关键词标识的数据集合即为与各个维度数据对应的数据集合，如上述S242中举例“埋点数据分析”对应数据集合为{数据M、数据N}，基于数据M、Q建立埋点数据分析模型预测产品未来趋势，即可获得一个包含数据M、N的数据集合定义为带有埋点数据分析标识的数据集合。
作为举例便于理解上述步骤S241～S243的，以上述S230中所述简单的借款风险分析场景为例，借款风险分析包括基本信息、企业营业信息、负债比等维度数据，每一维度数据均对应一个数据集合，采用对应维度数据对各个数据集合进行标记就得到多个带有关键词标识(对应基本信息、企业信息、负债比信息等关键词)的数据集合，设采用分析模型最终获得一个以图形式展示的分析结果，所述分析结果中包含多个维度数据对应的子标签(即关键词标签)，当用户查询某一维度数据对应的分析数据时，基于用户点击的子标签获取对应的数据集合并进行展示即可，无需将各个维度指标对应分析数据均呈现在分析结果中，用户查找对应维度指标即可。
在上述方案中，采用预先生成各个维度数据对应的数据集合的方式相当于对分析结果中每一维度数据对应的分析数据和基础数据进行打包，以便于用户根据需求查询对应维度下的分析结果时，可直接获取打包好的数据几个进行展示，区别于现有技术中的将所有分析数据均展示在同一组报表内，提高用户查询效率。
本实施方式中，还可将所述基础数据、分析结果及带有关键词标识的数据集合上传至区块链中，用户设备可以从区块链中下载得基础数据、分析结果及带有关键词标识的数据集合，以便查证上述数据是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
S300：接收客户端发出的查询请求，基于所述查询请求匹配与所述查询请求对应的数据集合作为目标数据；
基于所述查询请求获取与所述查询请求对应的数据集合作为目标数据，请参阅图5，包括：
S310：基于所述查询请求获取用户权限和关键词；
S320：验证所述查询数据对应的查看权限与所述用户权限是否匹配；
具体的，对所述分析结果和带有关键词标识的数据集合设置权限，以提高数据安全性，当用户权限高于查询数据匹配的数据权限才可查看查询数据对应的结果展示。
S330：若匹配，则根据所述查询请求获取关键词，基于所述关键词获取与所述查询请求匹配的数据集合作为目标数据；
S340：若不匹配，则获得不可查询结果作为目标数据。
通过上述S31-S34设置权限的方式，可以依据架构自主将数据划分成不同层次，不同用户查看不同维度的数据，通过权限控制，形成不同工作界面以及定制化各种报表。
在上述实施方式中，基于所述查询请求可以获得用户权限和关键词，通过查询请求获得关键词时可以是关键词的部分一致，也可以是与关键词完全一致，当出现两个关键词均与所述查询请求部分匹配的情况，则优先展示与关键词一致较多的分析结果，以便减少部分用户输入较少信息而无法获得目标报表的情况。
S400：基于所述目标数据生成目标报表，并将所述目标报表发送至客户端。
具体的，上述基于所述目标数据生成目标报表，请参阅图6，包括：
S410：基于所述目标数据的数据类型从模板数据库中匹配对应模板数据；
具体的，所述模板类型包括但不限于上述类型包括但不限于表格、折线图、曲线图、扇形图等方式。
S420：根据所述模板数据和所述数据集合生成所述目标报表。
在上述方案中，预先设置一模板数据库，所述模板数据库中与多个数据集合类型匹配的模板数据。当基于用户需求获取到对应数据集合后，与模板数据配合生成目标报表，缩短用户发出查询请求至目标报表生成的实现，实现秒级展现效果，进一步有效缩短查询时间，提高用户工作效率。
本方案中通过采集数据并对数据分析后再对获得分析结果进行拆解，预先生成多个带有关键词标识的数据集合，当用户发出查询请求后，根据用户请求匹配对应的数据集合直接生成目标报表，大大缩短了用户查询的时间，解决了现有技术常用报表等形式对最终分析结果进行可视化呈现，但无法对某一类或某一维度数据进行具象呈现，需要用户自主查找寻找相关数据再进行人工分析，查询速度较慢，且操作繁琐，工作效率较低的问题。
同时，本方案中还通过设置权限的方式控制各个维度数据对应的数据集合的展示，利用权限控制，可以依据架构自主将分析结果和基础数据划分成不同层次，不同等级用户可以查看不同层次下的数据，形成不同工作界面以及定制化各种报表。
实施例二：
请参阅图7，本实施例的一种数据处理装置5，包括：
采集模块510，用于实时采集数据，并对所述采集获得的数据进行预处理，获得基础数据；
所述被采集的数据包括但不限于数据库(如Oracle数据库)、客户录入(如账单数据等)以及其他外部数据。
分析模块520，用于对所述基础数据进行分析，生成多个带有关键词标识的数据集合；
请参阅图8，所述分析模块520还包括以下：
分析对象确定单元521，用于基于所述基础数据获取至少一个目标分析对象；
在本方案中，所述目标分析对象为数据分析的最终呈现结果，根据基础数据预先判断需要分析的对象，比如对各类风险数据分析、对经营数据分析等等。
分析模型获取单元522，用于从模型数据库中匹配于各个所述目标分析对象对应的分析模型；
具体的，所述分析模型可是风险控制模型、收益预测模型、数据分类模型等，应用于反欺诈、贷后监控、群体案件查找等场景下获得的数据分析。
处理单元523，用于逐个采用所述分析模型对所述基础数据进行处理，获得分析结果；
解析单元524，用于对所述分析结果进行解析，生成带有关键词标识的数据集合。
在上述实施方式，基于任一维度数据对上述分析结果进行拆解，主要是获取与该维度数据对应的分析结果和基础数据，剔除与该维度数据无关的分析数据，即将分析结果和基础数据划分成多个维度指标对应的数据集合并标记，即可生成带有关键词标识的数据集合。
需要说明的是，为进一步保证上述采集获得的数据、基础数据、分析结果、关键词、数据集合的私密性和安全性，可将上述公开的采集获得的数据、基础数据、分析结果、关键词、数据集合存储于一区块链的节点中，本申请的技术方案还可适用于其他存储于区块链上的文档的分类，本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
匹配模块530，用于接收客户端发出的查询请求，基于所述查询请求匹配与所述查询请求对应的数据集合作为目标数据；
生成模块540，用于基于所述目标数据生成目标报表，并将所述目标报表发送至客户端。
本技术方案基于大数据的数据展示下的数据报表，通过采集模块采集实时数据，并对采集获得的数据进行预处理获得基础数据，再通过分析模块对所述基础数据进行分析，生成与各个维度数据对应的带有关键字标识的数据集合，当接收到用户发出的查询请求后，再采用匹配模块基于所述查询请求匹配与所述查询请求对应的数据集合作为目标数据，最后利用生成模块基于所述目标数据生成目标报表并发送至用户端进行可视化展示。
在生成带有关键字标识的数据集合时，先采用分析对象确定单元获取目标分析对象并根据目标分析对象和分析模型获取单元匹配合适的分析模型并对基础数据进行分析，获得分析结果以便用于常规展示，最后再利用解析单元对分析结果按照维度数据进行解析，获得与各个维度数据对应的数据集合，以便后续接收到用户请求，根据用户请求匹配对应维度下的数据集合进行展示，通过上述方式对各个维度下数据进行分类打包，大大缩短了用户查询的时间，解决了现有技术常用报表等形式对最终分析结果进行可视化呈现，但无法对某一类或某一维度数据进行具象呈现，需要用户自主查找寻找相关数据再进行人工分析，查询速度较慢，且操作繁琐，工作效率较低的问题。
实施例三：
为实现上述目的，本发明还提供一种计算机***，该计算机***包括多个计算机设备6，实施例二的数据处理装置1的组成部分可分散于不同的计算机设备中，计算机设备可以是执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。本实施例的计算机设备至少包括但不限于：可通过***总线相互通信连接的存储器61、处理器62，如图9所示。需要指出的是，图9仅示出了具有组件-的计算机设备，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
本实施例中，存储器61(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器61可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，存储器61也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器61还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器61的数据处理装置的程序代码等。此外，存储器51还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器62在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器62通常用于控制计算机设备的总体操作。本实施例中，处理器62用于运行存储器61中存储的程序代码或者处理数据，例如运行知识图谱构建装置，以实现实施例一的数据处理方法。
实施例四：
为实现上述目的，本发明还提供一种计算机可读存储***，其包括多个存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器62执行时实现相应功能。本实施例的计算机可读存储介质用于存储知识图谱构建装置，被处理器62执行时实现实施例一的数据处理方法。
在一实施例中，所述计算机可读存储介质，包括存储数据区和存储程序区，存储数据区存储根据区块链节点的使用所创建的数据，存储程序区存储有计算机程序；其中，所述计算机程序被处理器62执行时实现任一实施例所述的数据处理方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种数据处理方法，其特征在于，包括：
实时采集数据，并对所述采集获得的数据进行预处理，获得基础数据；
根据所述基础数据确定至少一个目标对象，基于所述目标对象对所述基础数据进行分析，生成与所述目标对象关联的带有关键词标识的数据集合；
接收客户端发出的查询请求，基于所述查询请求匹配与所述查询请求对应的数据集合作为目标数据；
基于所述目标数据生成目标报表，并将所述目标报表发送至客户端。
2.根据权利要求1所述的一种数据处理方法，其特征在于，对所述采集获得的数据进行预处理，获得基础数据，包括：
根据数据来源对所述采集获得的数据进行标记，获得第一处理数据；
根据数据来源从预设方案数据库中匹配对应的处理规则，采用所述处理规则对所述第一处理数据进行清洗，获得基础数据。
3.根据权利要求1所述的一种数据处理方法，其特征在于，基于所述目标对象对所述基础数据进行分析，生成与所述目标对象关联的带有关键词标识的数据集合，包括：
获取任一目标对象，从模型数据库中匹配与所述目标对象对应的分析模型；
根据所述分析模型对对应的基础数据进行处理，获得所述目标对象的分析结果；
对所述分析结果进行解析，生成与所述目标对象关联的带有关键词标识的数据集合。
4.根据权利要求3所述的一种数据处理方法，其特征在于，对所述分析结果进行解析，生成与所述目标对象关联的带有关键词标识的数据集合，包括：
基于所述目标分析对象获取至少一个维度数据；
基于所述维度数据对所述分析结果进行拆解，生成与各个维度数据对应的数据集合；
采用所述维度数据对相应的数据集合进行标记，获得与所述目标对象关联的带有关键词标识的数据集合；
将所述基础数据、分析结果及带有关键词标识的数据集合上传至区块链中。
5.根据权利要求1所述的一种数据处理方法，其特征在于，基于所述查询请求获取与所述查询请求对应的数据集合作为目标数据，包括：
基于所述查询请求获取用户权限和关键词；
验证所述关键词对应的查看权限与所述用户权限是否匹配；
若匹配，则根据所述关键词获取与所述查询请求匹配的数据集合作为目标数据；
若不匹配，则获得不可查询结果作为目标数据。
6.根据权利要求1所述的一种数据处理方法，其特征在于，基于所述目标数据生成目标报表，包括：
基于所述目标数据的数据类型从模板数据库中匹配对应模板数据；
根据所述模板数据和所述数据集合生成所述目标报表。
7.一种数据处理装置，其特征在于，包括以下：
采集模块，用于实时采集数据，并对所述采集获得的数据进行预处理，获得基础数据；
分析模块，用于对所述基础数据进行分析，生成多个带有关键词标识的数据集合；
匹配模块，用于接收客户端发出的查询请求，基于所述查询请求匹配与所述查询请求对应的数据集合作为目标数据；
生成模块，用于基于所述目标数据生成目标报表，并将所述目标报表发送至客户端。
8.根据权利要求7所述的一种数据处理装置，其特征在于，所述分析模块包括：
分析对象确定单元，用于基于所述基础数据获取至少一个目标分析对象；
分析模型获取单元，用于从模型数据库中匹配于各个所述目标分析对象对应的分析模型；
处理单元，用于逐个采用所述分析模型对所述基础数据进行处理，获得分析结果；
解析单元，用于对所述分析结果进行解析，生成带有关键词标识的数据集合。
9.一种计算机***，其包括多个计算机设备，各计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述多个计算机设备的处理器执行所述计算机程序时共同实现权利要求1至6任一项所述一种数据处理方法的步骤。
10.一种计算机可读存储介质，其包括多个存储介质，各存储介质上存储有计算机程序，其特征在于，所述多个存储介质存储的所述计算机程序被处理器执行时共同实现权利要求1至6任一项所述一种数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010740433.6A CN111831636B (zh) | 2020-07-28 | 2020-07-28 | 一种数据处理方法、装置、计算机***及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010740433.6A CN111831636B (zh) | 2020-07-28 | 2020-07-28 | 一种数据处理方法、装置、计算机***及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111831636A true CN111831636A (zh) | 2020-10-27 |
| CN111831636B CN111831636B (zh) | 2024-07-09 |
Family
ID=72921024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010740433.6A Active CN111831636B (zh) | 2020-07-28 | 2020-07-28 | 一种数据处理方法、装置、计算机***及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111831636B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112436963A (zh) * | 2020-11-12 | 2021-03-02 | 中国联合网络通信集团有限公司 | 一种数据分析方法及装置 |
| CN112527848A (zh) * | 2020-12-22 | 2021-03-19 | 苏州科达科技股份有限公司 | 基于多数据源的报表数据查询方法、装置、***及存储介质 |
| CN112597745A (zh) * | 2020-12-23 | 2021-04-02 | 深圳赛安特技术服务有限公司 | 一种智能图表的生成方法、装置、计算机***及可读存储介质 |
| CN112817951A (zh) * | 2021-01-19 | 2021-05-18 | 立梦(上海)企业管理咨询有限公司 | 一种用于新媒体营销的数据分析方法 |
| CN112818007A (zh) * | 2021-02-03 | 2021-05-18 | 中科驭数（北京）科技有限公司 | 数据处理方法、装置及可读存储介质 |
| CN112926984A (zh) * | 2021-04-13 | 2021-06-08 | 郭栋 | 基于区块链安全大数据的信息预测方法及区块链服务*** |
| CN113312350A (zh) * | 2021-05-27 | 2021-08-27 | 广东电网有限责任公司东莞供电局 | 仓储配送管理报表生成方法、装置和存储介质 |
| CN113888056A (zh) * | 2021-11-22 | 2022-01-04 | 中国工商银行股份有限公司 | 报表生成方法及装置 |
| CN114970480A (zh) * | 2021-12-23 | 2022-08-30 | 广东轻工职业技术学院 | 一种生成报表的方法及电子设备 |
| CN115080150A (zh) * | 2022-07-19 | 2022-09-20 | 北京达佳互联信息技术有限公司 | 数据处理方法、装置、电子设备和存储介质 |
| CN116151694A (zh) * | 2023-04-19 | 2023-05-23 | 中国建筑科学研究院有限公司 | 数据管理***、方法及计算设备 |
| CN117171308A (zh) * | 2023-07-28 | 2023-12-05 | 至本医疗科技（上海）有限公司 | 用于生成科研数据分析应答信息的方法、设备和介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107908606A (zh) * | 2017-10-31 | 2018-04-13 | 上海壹账通金融科技有限公司 | 基于不同信息源自动生成报表的方法和*** |
| CN107943913A (zh) * | 2017-11-20 | 2018-04-20 | 深圳市启明星电子商务有限公司 | 一种数据报表分析*** |
| US10366079B1 (en) * | 2015-01-26 | 2019-07-30 | Microstrategy Incorporated | Enterprise connectivity |
| CN110334122A (zh) * | 2019-07-11 | 2019-10-15 | 江苏曲速教育科技有限公司 | 教育数据的查询分析方法及*** |
| CN110688541A (zh) * | 2019-10-08 | 2020-01-14 | 中国建设银行股份有限公司 | 一种报表数据的查询方法、装置、存储介质及电子设备 |
-
2020
- 2020-07-28 CN CN202010740433.6A patent/CN111831636B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10366079B1 (en) * | 2015-01-26 | 2019-07-30 | Microstrategy Incorporated | Enterprise connectivity |
| CN107908606A (zh) * | 2017-10-31 | 2018-04-13 | 上海壹账通金融科技有限公司 | 基于不同信息源自动生成报表的方法和*** |
| CN107943913A (zh) * | 2017-11-20 | 2018-04-20 | 深圳市启明星电子商务有限公司 | 一种数据报表分析*** |
| CN110334122A (zh) * | 2019-07-11 | 2019-10-15 | 江苏曲速教育科技有限公司 | 教育数据的查询分析方法及*** |
| CN110688541A (zh) * | 2019-10-08 | 2020-01-14 | 中国建设银行股份有限公司 | 一种报表数据的查询方法、装置、存储介质及电子设备 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112436963A (zh) * | 2020-11-12 | 2021-03-02 | 中国联合网络通信集团有限公司 | 一种数据分析方法及装置 |
| CN112527848B (zh) * | 2020-12-22 | 2023-05-12 | 苏州科达科技股份有限公司 | 基于多数据源的报表数据查询方法、装置、***及存储介质 |
| CN112527848A (zh) * | 2020-12-22 | 2021-03-19 | 苏州科达科技股份有限公司 | 基于多数据源的报表数据查询方法、装置、***及存储介质 |
| CN112597745A (zh) * | 2020-12-23 | 2021-04-02 | 深圳赛安特技术服务有限公司 | 一种智能图表的生成方法、装置、计算机***及可读存储介质 |
| CN112817951A (zh) * | 2021-01-19 | 2021-05-18 | 立梦(上海)企业管理咨询有限公司 | 一种用于新媒体营销的数据分析方法 |
| CN112818007A (zh) * | 2021-02-03 | 2021-05-18 | 中科驭数（北京）科技有限公司 | 数据处理方法、装置及可读存储介质 |
| CN112818007B (zh) * | 2021-02-03 | 2021-10-19 | 中科驭数（北京）科技有限公司 | 数据处理方法、装置及可读存储介质 |
| CN112926984A (zh) * | 2021-04-13 | 2021-06-08 | 郭栋 | 基于区块链安全大数据的信息预测方法及区块链服务*** |
| CN113312350A (zh) * | 2021-05-27 | 2021-08-27 | 广东电网有限责任公司东莞供电局 | 仓储配送管理报表生成方法、装置和存储介质 |
| CN113888056A (zh) * | 2021-11-22 | 2022-01-04 | 中国工商银行股份有限公司 | 报表生成方法及装置 |
| CN114970480A (zh) * | 2021-12-23 | 2022-08-30 | 广东轻工职业技术学院 | 一种生成报表的方法及电子设备 |
| CN115080150A (zh) * | 2022-07-19 | 2022-09-20 | 北京达佳互联信息技术有限公司 | 数据处理方法、装置、电子设备和存储介质 |
| CN116151694A (zh) * | 2023-04-19 | 2023-05-23 | 中国建筑科学研究院有限公司 | 数据管理***、方法及计算设备 |
| CN116151694B (zh) * | 2023-04-19 | 2023-06-20 | 中国建筑科学研究院有限公司 | 数据管理***、方法及计算设备 |
| CN117171308A (zh) * | 2023-07-28 | 2023-12-05 | 至本医疗科技（上海）有限公司 | 用于生成科研数据分析应答信息的方法、设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111831636B (zh) | 2024-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111831636B (zh) | 一种数据处理方法、装置、计算机***及可读存储介质 | |
| CN111339427B (zh) | 一种图书信息推荐方法、装置、***及存储介质 | |
| CN113836131B (zh) | 一种大数据清洗方法、装置、计算机设备及存储介质 | |
| CN112632405B (zh) | 一种推荐方法、装置、设备及存储介质 | |
| CN107818491A (zh) | 电子装置、基于用户上网数据的产品推荐方法及存储介质 | |
| CN114398557B (zh) | 基于双画像的信息推荐方法、装置、电子设备及存储介质 | |
| CN113946690A (zh) | 潜在客户挖掘方法、装置、电子设备及存储介质 | |
| CN116362684A (zh) | 一种基于图书馆集群的图书管理方法、装置、设备及存储介质 | |
| CN117217710B (zh) | 一种虚拟商品与快捷服务的智能化管理方法及*** | |
| CN110442614B (zh) | 元数据的搜索方法及装置、电子设备、存储介质 | |
| CN116956326A (zh) | 权限数据的处理方法、装置、计算机设备及存储介质 | |
| CN116860311A (zh) | 脚本分析方法、装置、计算机设备及存储介质 | |
| CN114841165B (zh) | 用户数据分析及展示方法、装置、电子设备及存储介质 | |
| CN116843395A (zh) | 一种业务***的告警分级方法、装置、设备及存储介质 | |
| CN115860835A (zh) | 基于人工智能的广告推荐方法、装置、设备及存储介质 | |
| CN115114519A (zh) | 基于人工智能的推荐方法、装置、电子设备及存储介质 | |
| CN114416806A (zh) | 电力安全知识数据的采集方法、装置及计算机设备 | |
| CN111460300A (zh) | 网络内容推送方法、装置及存储介质 | |
| CN113724065B (zh) | 基于流程指导的辅助催收方法、装置、设备及存储介质 | |
| CN114510662B (zh) | 一种多源数据卡片展示方法、***及存储介质 | |
| CN116662606B (zh) | 新视频事件的确定方法和***、存储介质及电子设备 | |
| CN116737713A (zh) | Ab实验数据处理方法、装置、计算机设备及存储介质 | |
| CN115630170A (zh) | 一种文档推荐方法、***、终端机及存储介质 | |
| CN117611271A (zh) | 一种供应商资质能力评估标签体系构建方法及*** | |
| CN118277739A (zh) | 关联账户的分析方法、***、设备、介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |