CN115239060A - 基于大数据分析的适航审定风险评定***及其方法 - Google Patents

Abstract

本发明涉及一种基于大数据分析的适航审定风险评定***及其方法包括数据采集模块，进行数据采集；汇总数据处理模块，用于对收集到的数据进行清洗及模型化处理；数据路由模块，用于对数据进行输入输出路由配置；结果数据输出模块，用于面向外部对接***提供输出数据，同时对异常进行监控处理；实时数据流量计算模块，用于数据流量的实时计算；海量数据实时检索模块，用于数据的实时检索；安全保护模块，用于数据的安全保护。本发明的优点是：将适航审定流程中的庞大数据进行归类整理，实现用户画像的建立，对用户操作进行推荐和提示，通过智能匹配***内子模块来极大减轻用户申请适航审定流程操作的复杂程度，极大的提升了适航审定的效率。

Description

基于大数据分析的适航审定风险评定***及其方法

技术领域

本发明涉及一种基于大数据分析的适航审定风险评定***方法，涉及大数据处理技术领域领域。

背景技术

民用航空器要实现最终的商业成功，必须达到安全、经济、舒适三个重要目标。判断飞机的经济性和舒适度，有待于民用飞机投入市场后的检验。然而，对飞机安全性的判断事关人民群众生命财产的安全，绝不能待飞机投入市场后由“实践”进行检验。因此，适航是用于表征航空器及其相关产品安全性的重要品质。可知，适航是关乎整个航空领域长效运行的重要堡垒，亟需我们的高度重视。正因适航审定如此重要，导致适航审定流程分支众多、操作复杂、数据繁琐，用户申请、工作人员审批流程复杂，通过大数据分析来对适航审定风险评定对优化适航审定流程变得尤其重要。

适航线上***通过信息检索能够获取到全面准确的信息，为实际生产生活提供有效可靠的指导。信息服务器在向用户终端推送对应的检索结果之后，会将检索结果与用户终端进行绑定，从而实现对用户终端的用户画像的建立。并在后续接收到用户终端的信息检索请求时结合信息检索请求和已建立的用户画像进行检索。

如专利申请号为202010752316.1，发明名称为：适航数据传输方法，***，装置及存储介质，申请方平台发起适航数据传输流程，根据数据传输协议通过手动或自动方式生成适航数据包，由审查方平台自动解析校验并导入，审查方平台发起适航数据传输流程，根据数据传输协议通过手动或自动方式生成适航数据包，由申请方平台自动解析校验并导入，本发明确定了适航审查方与被审查方的数据传输协议，明确适航数据的传输范围、传输方式和协议格式，规范化适航数据交换过程。

此方案的重点在于是提供一种适航数据传输方法，***、装置及存储介质，以规范化适航数据交换过程。我们的方案重点在于在根据大数据分析数据传输，收集数据信息，建立用户画像。

如专利申请号为：202010762494.2，发明名称为：一种适航审定协同工作平台及方法，提出了符合性目标、符合性对象、符合性活动和符合性案例为核心建立适航领域本体知识库，提出由符合性目标、符合性对象和符合性活动三个维度构成的符合性向量概念，以此进行符合性案例推荐，解决了大量样本情况下符合性案例知识经验的推荐问题，同时，通过文本特征提取能够挖掘适航指令中的问题描述和相关设计特征，最后通过面向自然语言需求的辅助审查方法，达到了适航符合性工作中的符合性辅助评价的目的。

此方案的重点在于是提供一种适航审定协同工作平台及方法，建立了以适航知识本体为核心的数据模型，形成了适航审查的业务核心能力以及知识推送的基础框架。我们的方案重点在于运用大数据分析技术，简化用户操作流程。

如专利申请号为：202010632680.4，发明名称为：一种大数据快速检索***及方法，通过信息检索能够获取到全面准确的信息，为实际生产生活提供有效可靠的指导。在相关技术中，信息服务器在向用户终端推送对应的检索结果之后，会将检索结果与用户终端进行绑定，从而实现对用户终端的用户画像的建立。并在后续接收到用户终端的信息检索请求时结合信息检索请求和已建立的用户画像进行检索，发明提供了一种大数据快速检索***及方法。

此方案的重点在于实现大数据快速检索，其中提到了绑定用户检索结果与用户端来建立用户画像，但仅涉及对用户的检索结果进行分析。我们的方案重点在于根据用户在***内的操作来进行用户画像的建立，可以实现更加全面的用户画像建立，来对用户提供更为便捷的操作提示。

如专利申请号为：201510316749.1，发明名称为：一种应用于轨道交通工具的云端大数据分析***，本发明能够根据由车载数据集中器所采集和整合的用户宏观数据进行大数据分析计算，并且向车载数据集中器传输利用大数据分析计算结果生成的推送模式方案。所述车载数据集中器定期更新并离线存储进行信息与服务推送所需要的基本内容数据，并且在提供高铁WIFI接入服务的过程中实时采集通过该服务接入网络的用户终端的行为数据，通过将用户的行为数据进行整合生成用户宏观数据，将用户宏观数据上传至云端大数据分析服务器，并且获得反馈的所述推送模式方案；按照所述推送模式方案选择和组织所述基本内容数据，生成推送信息和服务数据，并通过车内WIFI路径传输至用户终端。

此方案的重点在于通过轨道交通工具内硬件设施来收集用户行为的方法进行数据分析后向用户推送信息。我们的方案重点在于根据用户在适航***内的操作、数据传输来收集用户行为，并加以大数据分析处理建立用户画像，来对用户在***的操作进行优化。

从现有专利和其他文献的检索结果来分析，大数据分析技术已经在业务流程优化、提升用户体验等方面有所应用。但是其核心是通过收集用户操作数据信息，分析用户习惯、喜好，为用户建立用户画像，从而达到对用户进行精确推送目的。本提案的技术核心是在以适航审定复杂业务的基础上，收集用户操作数据，进行分析归类建立适航审定相关的用户画像，从而实现优化适航审定流程效果。

发明内容

为克服现有技术的缺陷，本发明提供一种基于大数据分析的适航审定风险评定方法，本发明的技术方案是：

基于大数据分析的适航审定风险评定***，包括

数据采集模块，用于对接外部接口，针对信息资源目录、元数据、主数据、数据标准、数据质量以及数据安全提供接口管理、数据导入管理、设计管理、异常管理以及监控管理，进行数据采集；

汇总数据处理模块，用于对收集到的数据进行清洗及模型化处理，提供数据清洗管理、数据清洗监控、数据模型化、数据存储和数据计算查询，使数据有效处理及存储；

数据路由模块，用于对数据进行输入输出路由配置，提供规则管理、路由监控、异常管理、审计管理和配置管理；

结果数据输出模块，用于面向外部对接***提供输出数据，提供接口管理、审计管理、异常管理、监控管理和协议管理，满足不同对接***协议需求，同时对异常进行监控处理；

实时数据流量计算模块，用于数据流量的实时计算；

海量数据实时检索模块，用于数据的实时检索；

安全保护模块，用于数据的安全保护。

所述的汇总数据处理模块包括：

存储层，用来存放从ODS、OMIS、ACARS、SITA***收集获取的适航审定相关机构化和半结构化的海量数据；其中，结构化数据和有预设格式的半结构化数据存放在适航审定关系型数据仓库中，并根据适航审定不同业务需求，根据业务主题进行数据集市的构建；半结构化的数据用XML格式来组织并保存到CLOB字段中；非结构化数据，根据文件大小以及检索需求分别存放在HDFS中或者Ceph中，将每一家公司的数据同一收集到指定的存储介质中，汇集成数据分析池；

计算层，用于通过对存储层存储的每家公司的数据内容进行检验，然后进行建模分析；对每一项资料的风险进行处理计算其值为R，再乘以其风险系数α，以及其所属流程模块的关注占比β，通过计算总和后，再加上去年累计风险基础值得到其最终的风险总值，其公式如下：

当风险总值达到预设的临界值A时，***自动向有关部门和用户提示当前公司的风险值达到高风险情况，需及时进行人工干预审核；每年年底最终算出的E，乘以预置系数γ，得出下一年的累计风险基础值，即：E′_下一年＝E_当年*γ；

除计算某一公司的风险总值外，***还对地区进行风险汇总处理；根据公司和地区的关联关系，计算出某一地区的风险总值E_总和

平均风险值

即：

功能层：用于对平台的集中管理，包括作业管理、安全管理、用户管理、平台监控和部署管理。

所述的实时数据流计算模块包括：

数据总线：选用Kafka，构建高吞吐、高可用、可扩展的数据交换中心；

缓存中心：选用Codis，构建高性能、高可用、可扩展的分布式内存数据存储中心；

流计算平台引擎：基于内存的迭代计算框架的Spark Streaming,SparkStreaming提供的数据集直接对HDFS进行数据的读写，同样支持Spark on YARN。

所述的海量数据实时检索模块用于面向结构化数据、半结构化数据以及非结构化数据的全文索引，具体实现方式如下：

HBase通过对要查询的列建立索引，先根据建立的列索引查询到rowkey，再根据rowkey查询到需要的数据；

HBase写入的线程进行写入操作时，通过协处理器同步处理索引表数据，然后通过观察者模式同步索引数据到ElasticSearch中，并且根据多源数据特性，将实时查询的数据添加到内存索引缓冲区；

当发起数据读取过程时，首先进行查询，当数据读取时，首先访问ElasticSearch，根据查找到的索引表中的结果，调用协处理器进行数据实际行键查找，访问数据表，从而得到数据，从协处理器返回给客户端。

一种基于大数据分析的适航审定风险评定***的评定方法，包括以下步骤：

S1、针对信息资源目录、元数据、主数据、数据标准、数据质量以及数据安全提供接口管理、数据导入管理、设计管理、异常管理以及监控管理，进行数据采集；

S2、对收集到的数据进行清洗及模型化处理，提供数据清洗管理、数据清洗监控、数据模型化、数据存储和数据计算查询，使数据有效处理及存储；

S3、对数据进行输入输出路由配置，提供规则管理、路由监控、异常管理、审计管理和配置管理；

S4、面向外部对接***提供输出数据，提供接口管理、审计管理、异常管理、监控管理和协议管理，满足不同对接***协议需求，同时对异常进行监控处理。

本发明的优点是：对适航审定大数据分析之后，可将适航审定流程中的庞大数据进行归类整理，实现用户画像的建立，对用户操作进行推荐和提示，通过智能匹配***内子模块来极大减轻用户申请适航审定流程操作的复杂程度，同时再本提案的大数据分析支持下，适航证件的审批工作也变得更加智能化，极大的提升了适航审定的效率。

附图说明

图1是本发明的主体结构示意框图。

图2是图1中汇总数据处理模块的结构示意图。

图3是图1中实时数据流计算模块的工作流程示意图。

具体实施方式

下面结合具体实施例来进一步描述本发明，本发明的优点和特点将会随着描述而更为清楚。但这些实施例仅是范例性的，并不对本发明的范围构成任何限制。本领域技术人员应该理解的是，在不偏离本发明的精神和范围下可以对本发明技术方案的细节和形式进行修改或替换，但这些修改和替换均落入本发明的保护范围内。

参见图1至图3，本发明涉及一种基于大数据分析的适航审定风险评定***，包括

数据采集模块1，用于对接外部接口，针对信息资源目录、元数据、主数据、数据标准、数据质量以及数据安全提供接口管理、数据导入管理、设计管理、异常管理以及监控管理，进行数据采集；

汇总数据处理模块2，用于对收集到的数据进行清洗及模型化处理，提供数据清洗管理、数据清洗监控、数据模型化、数据存储和数据计算查询，使数据有效处理及存储；

数据路由模块3，用于对数据进行输入输出路由配置，提供规则管理、路由监控、异常管理、审计管理和配置管理；

结果数据输出模块4，用于面向外部对接***提供输出数据，提供接口管理、审计管理、异常管理、监控管理和协议管理，满足不同对接***协议需求，同时对异常进行监控处理；

还包括：实时数据流量计算模块，用于数据流量的实时计算；

海量数据实时检索模块，用于数据的实时检索；

安全保护模块，用于数据的安全保护(其中，安全保护模块可通过数据加密和秘钥管理来实现的，数据加密：数据加密是一个常规的数据保护技术，通过对数据加密，只有获得密钥的用户才能够读取数据。如：符号化：一种可逆转换，通常是基于替换原始值的一个随机生成的值。通过使用查找表，一个给定的值，例如***数据，将始终标记化为相同的随机值。数据屏蔽：采用多种方法的不可逆转的数据转换，比如对于一个给定的数据类型把一个替换为另一个值。密钥管理：加密需要加密密钥，有上述的数据保护技术包括加密，甚至符号化和屏蔽使用加密保护的内部表。密钥生成，存储和访问都需要认真加以管理，以避免出现安全漏洞或数据丢失。例如，密钥必须不能和数据存储到一起，从而使加密数据即使被盗了也没用。适航审定大数据平台提供了企业级的密钥管理机制)。

所述的汇总数据处理模块2包括：

存储层，用来存放从ODS、OMIS、ACARS、SITA***收集获取的适航审定相关机构化和半结构化的海量数据；其中，结构化数据和有预设格式的半结构化数据存放在适航审定关系型数据仓库中，并根据适航审定不同业务需求，根据业务主题进行数据集市的构建；半结构化的数据用XML格式来组织并保存到CLOB字段中；非结构化数据(如知识库音视频、电子签章、电子模板等)，根据文件大小以及检索需求分别存放在HDFS中或者Ceph中，将每一家公司的数据同一收集到指定的存储介质中，汇集成数据分析池；

计算层，用于通过对存储层存储的每家公司的数据内容进行检验，然后进行建模分析(用于针对适航审定的数据分析的实时性和延时性需求，进行搭建不同的大数据计算框架：Spark Streaming实时大数据分析：一个分布式的、实时的内存流式计算***；Hadoop离线大数据分析：大数据离线批处理***，大量离线数据计算MapReduce。Spark并行大数据计算：不同于MapReduce，Job中间输出结果可以保存在内存中，从而不再需要读写HDFS)；对每一项资料的风险进行处理计算其值为R，再乘以其风险系数α，以及其所属流程模块的关注占比β，通过计算总和后，再加上去年累计风险基础值得到其最终的风险总值，其公式如下：

当风险总值达到预设的临界值A时，***自动向有关部门和用户提示当前公司的风险值达到高风险情况，需及时进行人工干预审核；每年年底最终算出的E，乘以预置系数γ，得出下一年的累计风险基础值，即：E′_下一年＝E_当年*γ；

除计算某一公司的风险总值外，***还对地区进行风险汇总处理；根据公司和地区的关联关系，计算出某一地区的风险总值E_总和

平均风险值

即：

功能层：用于对平台的集中管理，包括作业管理、安全管理、用户管理、平台监控和部署管理。

所述的实时数据流计算模块包括：

数据总线：选用Kafka，构建高吞吐、高可用、可扩展的数据交换中心；

缓存中心：选用Codis，构建高性能、高可用、可扩展的分布式内存数据存储中心；

流计算平台引擎：基于内存的迭代计算框架的Spark Streaming,SparkStreaming提供的数据集直接对HDFS进行数据的读写，同样支持Spark onYARN。

所述的海量数据实时检索模块用于面向结构化数据、半结构化数据以及非结构化数据的全文索引，具体实现方式如下：

HBase通过对要查询的列建立索引，先根据建立的列索引查询到rowkey，再根据rowkey查询到需要的数据；

HBase写入的线程进行写入操作时，通过协处理器同步处理索引表数据，然后通过观察者模式同步索引数据到ElasticSearch中，并且根据多源数据特性，将实时查询的数据添加到内存索引缓冲区；

当发起数据读取过程时，首先进行查询，当数据读取时，首先访问ElasticSearch，根据查找到的索引表中的结果，调用协处理器进行数据实际行键查找，访问数据表，从而得到数据，从协处理器返回给客户端。

本发明还涉及一种基于大数据分析的适航审定风险评定***的评定方法，包括以下步骤：

S1、针对信息资源目录、元数据、主数据、数据标准、数据质量以及数据安全提供接口管理、数据导入管理、设计管理、异常管理以及监控管理，进行数据采集；

S2、对收集到的数据进行清洗及模型化处理，提供数据清洗管理、数据清洗监控、数据模型化、数据存储和数据计算查询，使数据有效处理及存储；

S3、对数据进行输入输出路由配置，提供规则管理、路由监控、异常管理、审计管理和配置管理；

S4、面向外部对接***提供输出数据，提供接口管理、审计管理、异常管理、监控管理和协议管理，满足不同对接***协议需求，同时对异常进行监控处理。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.基于大数据分析的适航审定风险评定***，其特征在于，包括

数据采集模块，用于对接外部接口，针对信息资源目录、元数据、主数据、数据标准、数据质量以及数据安全提供接口管理、数据导入管理、设计管理、异常管理以及监控管理，进行数据采集；

汇总数据处理模块，用于对收集到的数据进行清洗及模型化处理，提供数据清洗管理、数据清洗监控、数据模型化、数据存储和数据计算查询，使数据有效处理及存储；

数据路由模块，用于对数据进行输入输出路由配置，提供规则管理、路由监控、异常管理、审计管理和配置管理；

结果数据输出模块，用于面向外部对接***提供输出数据，提供接口管理、审计管理、异常管理、监控管理和协议管理，满足不同对接***协议需求，同时对异常进行监控处理；

实时数据流量计算模块，用于数据流量的实时计算；

海量数据实时检索模块，用于数据的实时检索；

安全保护模块，用于数据的安全保护。

2.根据权利要求1所述的基于大数据分析的适航审定风险评定***，其特征在于，所述的汇总数据处理模块包括：

存储层，用来存放从ODS、OMIS、ACARS、SITA***收集获取的适航审定相关机构化和半结构化的海量数据；其中，结构化数据和有预设格式的半结构化数据存放在适航审定关系型数据仓库中，并根据适航审定不同业务需求，根据业务主题进行数据集市的构建；半结构化的数据用XML格式来组织并保存到CLOB字段中；非结构化数据，根据文件大小以及检索需求分别存放在HDFS中或者Ceph中，将每一家公司的数据同一收集到指定的存储介质中，汇集成数据分析池；

计算层，用于通过对存储层存储的每家公司的数据内容进行检验，然后进行建模分析；对每一项资料的风险进行处理计算其值为R，再乘以其风险系数α，以及其所属流程模块的关注占比β，通过计算总和后，再加上去年累计风险基础值得到其最终的风险总值，其公式如下：

当风险总值达到预设的临界值A时，***自动向有关部门和用户提示当前公司的风险值达到高风险情况，需及时进行人工干预审核；每年年底最终算出的E，乘以预置系数γ，得出下一年的累计风险基础值，即：E′_下一年＝E_当年*γ；

除计算某一公司的风险总值外，***还对地区进行风险汇总处理；根据公司和地区的关联关系，计算出某一地区的风险总值E_总和

平均风险值

即：

功能层：用于对平台的集中管理，包括作业管理、安全管理、用户管理、平台监控和部署管理。

3.根据权利要求1所述的基于大数据分析的适航审定风险评定***，其特征在于，所述的实时数据流计算模块包括：

数据总线：选用Kafka，构建高吞吐、高可用、可扩展的数据交换中心；

缓存中心：选用Codis，构建高性能、高可用、可扩展的分布式内存数据存储中心；

流计算平台引擎：基于内存的迭代计算框架的Spark Streaming,Spark Streaming提供的数据集直接对HDFS进行数据的读写，同样支持Spark on YARN。

4.根据权利要求1所述的基于大数据分析的适航审定风险评定***，其特征在于，所述的海量数据实时检索模块用于面向结构化数据、半结构化数据以及非结构化数据的全文索引，具体实现方式如下：

HBase通过对要查询的列建立索引，先根据建立的列索引查询到rowkey，再根据rowkey查询到需要的数据；

HBase写入的线程进行写入操作时，通过协处理器同步处理索引表数据，然后通过观察者模式同步索引数据到ElasticSearch中，并且根据多源数据特性，将实时查询的数据添加到内存索引缓冲区；

当发起数据读取过程时，首先进行查询，当数据读取时，首先访问ElasticSearch，根据查找到的索引表中的结果，调用协处理器进行数据实际行键查找，访问数据表，从而得到数据，从协处理器返回给客户端。

5.一种根据权利要求1至4任意一项所述的基于大数据分析的适航审定风险评定***的评定方法，其特征在于，包括以下步骤：

S1、针对信息资源目录、元数据、主数据、数据标准、数据质量以及数据安全提供接口管理、数据导入管理、设计管理、异常管理以及监控管理，进行数据采集；

S2、对收集到的数据进行清洗及模型化处理，提供数据清洗管理、数据清洗监控、数据模型化、数据存储和数据计算查询，使数据有效处理及存储；

S3、对数据进行输入输出路由配置，提供规则管理、路由监控、异常管理、审计管理和配置管理；

S4、面向外部对接***提供输出数据，提供接口管理、审计管理、异常管理、监控管理和协议管理，满足不同对接***协议需求，同时对异常进行监控处理。

Images