CN112598443A - 一种基于深度学习的线上渠道业务数据处理方法及*** - Google Patents
一种基于深度学习的线上渠道业务数据处理方法及*** Download PDFInfo
- Publication number
- CN112598443A CN112598443A CN202011565296.3A CN202011565296A CN112598443A CN 112598443 A CN112598443 A CN 112598443A CN 202011565296 A CN202011565296 A CN 202011565296A CN 112598443 A CN112598443 A CN 112598443A
- Authority
- CN
- China
- Prior art keywords
- data
- deep learning
- channel
- business
- online channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 37
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 230000007787 long-term memory Effects 0.000 claims abstract description 10
- 238000003062 neural network model Methods 0.000 claims abstract description 10
- 230000006403 short-term memory Effects 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 11
- 230000005611 electricity Effects 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 7
- 230000006399 behavior Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 5
- 238000005192 partition Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 241000282813 Aepyceros melampus Species 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000013500 data storage Methods 0.000 claims description 2
- 238000012423 maintenance Methods 0.000 claims description 2
- 238000007689 inspection Methods 0.000 claims 1
- 238000004458 analytical method Methods 0.000 abstract description 16
- 238000007418 data mining Methods 0.000 abstract description 4
- 230000008447 perception Effects 0.000 abstract 1
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013079 data visualisation Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 241000220317 Rosa Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000013486 operation strategy Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000012954 risk control Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/904—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Accounting & Taxation (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Finance (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Game Theory and Decision Science (AREA)
- Tourism & Hospitality (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Primary Health Care (AREA)
- Educational Administration (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开提供了一种基于深度学习的线上渠道业务数据处理方法及***，获取线上各渠道的运营数据和用电客户数据；对获取的数据进行预处理，得到格式统一的数据；将预处理后的数据输入到预设长短期记忆神经网络模型中，得到线上渠道各类业务办理趋势数据和风险点数据；将历史数据以及业务办理趋势数据和风险点数据进行融合，得到基于日期、单位和渠道的多维度数据，根据获取的多维度数据进行业务引导；本公开采用深度学习，扩展多元数据挖掘分析模型，提高了数据预测精度，实现了对预测线上渠道各类业务办理趋势以及可能存在的风险点的预测，以数字化驱动营销精益化管理，提高了对营销运营情况的感知、分析和管控能力。
Description
技术领域
本公开涉及数据处理技术领域，特别涉及一种基于深度学习的线上渠道业务数据处理方法及***。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。
目前，针对电力公司各对外服务线上渠道，强化了渠道运营数据分析，深度融合移动作业应用、营业厅智能化、数据挖掘和共享，打造线上线下一体化服务模式，挖掘分析渠道服务业务模式与用户画像，研究中短期线上渠道业务行为趋势预测，并有针对性的制定运营策略，全面支撑网上国网APP以及其他渠道各类运营活动，促进各类业务价值共创，全面深化服务渠道应用。
目前电力公司在渠道运营分析方面存在的问题主要包括：
(1)现公司线上渠道分散，渠道业务交叉，公共类服务未共享，各单位业务独立纵向开展，横向没有融通，业务数据资源分散，跨专业数据集成关系复杂，各渠道数据无法统一。各渠道的分析运营缺乏有力的技术支撑，缺乏对渠道的业务发展趋势预测，缺乏服务资源调度分配的依据和机制。
(2)在深入推进“互联网+”供电服务的过程中，省市县一体化系协同和线上线下服务协同机制不够健全，需要加快从线下到线上的服务融合转变。结合公司电网、技术、信息平台的优势，进一步整合内外部资源，为用户提供跨领域、多维度的增值服务,提升公司各自有渠道市场影响力。
(3)存量数据多，数据价值利用不高，各线上渠道上线以来，积累大量业务数据，业务办理实时办理量巨大，各渠道的数据来源以及记录方式等影响因素的不同，造成大量数据为不相关信息，渠道运营数据的价值密度、真实性受到极大程度的影响，而这种差异会极大程度地影响各渠道运营数据分析的准确性，目前数据价值利用较低。
发明内容
为了解决现有技术的不足，本公开提供了一种基于深度学习的线上渠道业务数据处理方法及***，以实现对线上线下渠道的运行监控及运营管理为目标，构建了渠道服务全景视图，为渠道运营管控提供了数据支撑，即结合渠道、日期、单位等变量信息，通过收集各渠道、各单位的推广、注册、绑定、活跃等账号信息和用户行为数据，根据对大量实时数据、历史数据、结构化数据、非结构化数据通过深度学习进行业务分析与趋势预测，预测量化线上渠道各类业务办理趋势以及可能存在的风险点，提高了预测精度，展示了各时间段的数据变化趋势，为渠道的运营活动策划与风险管控提供了数据支撑，促进了各类业务价值共创。
为了实现上述目的，本公开采用如下技术方案：
本公开第一方面提供了一种基于深度学习的线上渠道业务数据处理方法。
一种基于深度学习的线上渠道业务数据处理方法，包括以下步骤：
获取线上各渠道的运营数据和用电客户数据；
对获取的数据进行预处理，得到格式统一的数据；
将预处理后的数据输入到预设长短期记忆神经网络模型中，得到线上渠道各类业务办理趋势数据和风险点数据；
将历史数据以及业务办理趋势数据和风险点数据进行融合，得到基于日期、单位和渠道的多维度数据，根据获取的多维度数据进行业务引导。
本公开第二方面提供了一种基于深度学习的线上渠道业务数据处理***。
一种基于深度学习的线上渠道业务数据处理***，包括：
数据获取模块，被配置为：获取线上各渠道的运营数据和用电客户数据；
数据预处理模块，被配置为：对获取的数据进行预处理，得到格式统一的数据；
数据预测模块，被配置为：将预处理后的数据输入到预设长短期记忆神经网络模型中，得到线上渠道各类业务办理趋势数据和风险点数据；
数据融合模块，被配置为：将历史数据以及业务办理趋势数据和风险点数据进行融合，得到基于日期、单位和渠道的多维度数据，根据获取的多维度数据进行业务引导。
本公开第三方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开第一方面所述的基于深度学习的线上渠道业务数据处理方法中的步骤。
本公开第四方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第一方面所述的基于深度学习的线上渠道业务数据处理方法中的步骤。
与现有技术相比，本公开的有益效果是：
1、本公开所述的内容，通过基于深度学习的线上渠道业务数据处理方法，采用深度学习，扩展多元数据挖掘分析模型，提高了数据预测精度，实现了对预测线上渠道各类业务办理趋势以及可能存在的风险点的预测，以数字化驱动营销精益化管理，提高了对营销运营情况的感知、分析和管控能力。
2、本公开所述的内容，通过基于深度学习的线上渠道业务数据处理方法，强化了渠道运营数据分析，深度融合移动作业应用、营业厅智能化、数据挖掘和共享，全面支撑各渠道运营活动，促进各类业务价值共创，全面深化服务渠道应用。
3、本公开所述的内容，通过基于深度学习的线上渠道业务数据处理方法，加快从线下到线上的服务融合转变，整合内外部资源，为用户提供跨领域、多维度的增值服务，提升电力公司自有渠道的市场占有率和影响力。
本公开附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为本公开实施例1提供的基于深度学习的线上渠道业务数据处理方法的流程示意图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
实施例1：
如图1所示，本公开实施例1提供了一种基于深度学习的线上渠道业务数据处理方法，包括以下步骤：
获取线上各渠道的运营数据和用电客户数据；
对获取的数据进行预处理，得到格式统一的数据；
将预处理后的数据输入到预设长短期记忆神经网络模型中，得到线上渠道各类业务办理趋势数据和风险点数据；
将历史数据以及业务办理趋势数据和风险点数据进行融合，得到基于日期、单位和渠道的多维度数据，根据获取的多维度数据进行业务引导。
具体的，包括以下内容：
S1：业务诊断及需求调研
梳理电力公司业务痛点及渠道典型应用场景相关业务数据，进而分析业务需求。
业务痛点：每个渠道都有一个网站或APP软件，管理起来很麻烦；每个渠道统计的数据不一致，不知道哪个渠道统计的数据为准；渠道对应的产品太多，推广起来很麻烦；看不到，每个渠道对应的业务不一样，无法全面的了解各业务的情况等。
业务数据：网上国网、掌上电力SD、95598智能网站等渠道的运营数据、业务数据、活动数据以及用电客户档案信息等，类型包括结构化的数据与非结构化数据。
业务需求：结合渠道、日期、单位等变量信息，通过收集各渠道、各单位的推广、注册、绑定、活跃等账号信息和用户行为数据，根据对大量实时数据、历史数据进行业务分析与预测，掌握渠道运营发展规律，准确展示各时间段的数据变化趋势，并结合各渠道的运营规律和时间变化趋势，为渠道的运营活动策划及风险管控提供数据支撑。
S2：数据接入
基于云平台与Hadoop大数据平台，构建数据中台架构，应用kudu、hdfs、hive、impala、spark、flink、kafka、rds、drds、dts、gbase等组件，实现对接入的历史数据、实时数据、结构化数据与非结构化数据的存储与归类。
将网上国网的用户信息、订单类、运营类、积分活动类等结构化数据及用户操作行为日志非结构化数据，掌上电力SD的用户操作行为数据，支付宝、微信等的交费数据，营销***的办电工单、流程以及用电客户数据，以及营业厅视频的非结构化数据，根据外部***数据的类型、实时性、数据量的不同，部署实时消息队列、ETL、Webservie、ESB、OGG等多种数据接入方式，分别接入至数据中台及云平台的OSS内。
根据数据来源和数据接入方式不同，制定相应的数据存储和数据处理方案。网上国网的运营数据接入后存储在Gbase，数据处理过程在Gbase中进行，通过创建Mysql分区表存储数据，根据业务逻辑进行数据处理，形成指标结果表，判断结果是否准确，若准确利用kettle发送到RDS，设置每日自动运行工作流，包括历史数据工作流和数据传输工作流，若不准确，再次分析业务进行数据处理。
掌上电力SD运营数据、交费办电业务数据由营销稽查平台IDM接入，根据业务逻辑使用IMPALA计算方法形成指标结果表，判断结果数据是否准确，若准确将计算结果存入到HIVE库中同时利用DataX发送到RSD里，设置每日工作流将HIVE按照时间、指标类型、频度进行分区，以方便后期维护，若不准确，再次分析业务进行数据处理。
S3：数据治理与清洗：将从网上国网、掌上电力SD、95598智能网站、支付宝、微信等渠道收集的运营数据和用电客户数据进行数据清洗和数据转换工作，以形成具有典型特征、可供分析的数据集。
S4：选取数据训练样本，训练数据集：按照长短期记忆神经网络训练的特性，选择特征数据训练样本集，定义结构化数据关键数据类别与标签，提取非结构化数据底层特征与标签，将数据加载到python可视化工具中进行初步分析，初步选定200000条样本；
确定RNN结构和网络结构，初步确定：RNN分为2类长度分别为24和30，网络层数为3层；将处理好的样本分为训练集、验证集和测试集，分别占总样本比例为：60％、10％、30％；
确定单一的评估算法的指标，主要关注查准率(precision)和查全率(recall)两个指标，两者都要考虑(F1或者ROC曲线下面积)，本次结合使用模型损失率；
对训练集和测试集数据进行归一化/标准化处理：统一量纲、便于梯度的计算、加快收敛等，主要是获取数据的最大值、最小值、平均值、方差、标准差，并且打印输出，使用max-min归一化或者z-scores标准化，并在后续训练过程中选择一个最优的处理方式。
S5：训练神经网络算法模型，获得最优算法模型与参数：本方案选择了TensorFlow深度学习技术框架和Python语言开展具体训练工作。
选择构建长短期记忆神经网络(LSTM)回归预测模型；设置初始参数，主要参数为：神经元个数为40，网络层数为3层(隐藏层为1)，时间步为24，输入层维度为6，输出层为1，初始学习率为0.01；定义损失函数；初始训练次数为10000次；dropout设置为0.5；选择自适应梯度下降算法进行训练。
使用训练样本集和验证样本集对算法模型进行正式训练，随时观察模型损失率、查准率和查全率训练指标，当训练指标(查准率)小于99％时、则丢弃，达到99％以上时，得到一次全连接层的权重和带验证的算法模型。利用该模型进行结果识别，进行加权求和，得到预测值。将预测值与测试集进行检查比对(主要通过曲线叠加比对)，并进行参数和网络结构调整和重复训练过程，共开展了超过1000次的优化调整调试，选取了相对最优的算法模型，预测准确率达到99.5％以上。
针对训练过程中的过拟合问题采用了正则化与丢弃法以及dropout、BN层等手段和方法；针对欠拟合问题主要采用了增加网络深度(层数)和神经元个数的方法；增加训练集的数据量；同步进行了预测值代入还原业务数据，与各渠道访问、缴费、业务办理、活动等场景模拟验证，获得了最接近业务实际的作为最优算法与参数。
S6：模型应用与数据可视化分析：应用以上模型，进行渠道业务预测分析，预测量化线上渠道各类业务办理趋势以及可能存在的风险点，提高预测精度。基于历史数据与预测趋势，制定数据可视化展示方式，根据日期、单位、渠道等维度开展地域分析、时间分析、渠道分析等多维度的数据分析预测工作，服务渠道运营管控与风险防控。
S6中，数据可视化展示方式，主要包括柱状图、圆环图、雷达图、玫瑰图、饼状图、折线图等展示方式，利用混合使用的展示方式完成繁杂图型和多层次数据信息的展现。
实施例2：
本公开实施例2提供了一种基于深度学习的线上渠道业务数据处理***，包括：
数据获取模块，被配置为：获取线上各渠道的运营数据和用电客户数据；
数据预处理模块，被配置为：对获取的数据进行预处理，得到格式统一的数据；
数据预测模块，被配置为：将预处理后的数据输入到预设长短期记忆神经网络模型中，得到线上渠道各类业务办理趋势数据和风险点数据；
数据融合模块，被配置为：将历史数据以及业务办理趋势数据和风险点数据进行融合，得到基于日期、单位和渠道的多维度数据，根据获取的多维度数据进行业务引导。
所述***的工作方法与实施例1提供的基于深度学习的线上渠道业务数据处理方法相同，这里不再赘述。
实施例3：
本公开实施例3提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开实施例1所述的基于深度学习的线上渠道业务数据处理方法中的步骤，所述步骤为：
获取线上各渠道的运营数据和用电客户数据；
对获取的数据进行预处理，得到格式统一的数据；
将预处理后的数据输入到预设长短期记忆神经网络模型中，得到线上渠道各类业务办理趋势数据和风险点数据；
将历史数据以及业务办理趋势数据和风险点数据进行融合，得到基于日期、单位和渠道的多维度数据，根据获取的多维度数据进行业务引导。
详细步骤与实施例1提供的基于深度学习的线上渠道业务数据处理方法相同，这里不再赘述。
实施例4：
本公开实施例4提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第一方面所述的基于深度学习的线上渠道业务数据处理方法中的步骤，所述步骤为：
获取线上各渠道的运营数据和用电客户数据；
对获取的数据进行预处理，得到格式统一的数据；
将预处理后的数据输入到预设长短期记忆神经网络模型中，得到线上渠道各类业务办理趋势数据和风险点数据；
将历史数据以及业务办理趋势数据和风险点数据进行融合，得到基于日期、单位和渠道的多维度数据，根据获取的多维度数据进行业务引导。
详细步骤与实施例1提供的基于深度学习的线上渠道业务数据处理方法相同，这里不再赘述。
本领域内的技术人员应明白，本公开的实施例可提供为方法、***、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (10)
1.一种基于深度学习的线上渠道业务数据处理方法，其特征在于：包括以下步骤：
获取线上各渠道的运营数据和用电客户数据；
对获取的数据进行预处理，得到格式统一的数据；
将预处理后的数据输入到预设长短期记忆神经网络模型中，得到线上渠道各类业务办理趋势数据和风险点数据；
将历史数据以及业务办理趋势数据和风险点数据进行融合，得到基于日期、单位和渠道的多维度数据，根据获取的多维度数据进行业务引导。
2.如权利要求1所述的基于深度学习的线上渠道业务数据处理方法，其特征在于：
各渠道的运营数据和用电客户数据至少包括：网上国网、掌上电力SD和95598智能网站的运营数据、业务数据、活动数据以及用电客户档案信息数据。
3.如权利要求1所述的基于深度学习的线上渠道业务数据处理方法，其特征在于：
结合渠道、日期和单位变量信息，获取各渠道、各单位的各个日期的推广、注册、绑定和活跃账号信息和用户行为数据。
4.如权利要求1所述的基于深度学习的线上渠道业务数据处理方法，其特征在于：
长短期记忆神经网络模型的训练，包括：
选择特征数据训练样本集，定义结构化数据关键数据类别与标签，提取非结构化数据底层特征与标签，选定预设数量的样本数据；
确定RNN结构和网络结构，将处理好的样本分为训练集、验证集和测试集，并进行数据集的比例分配；
利用分配好的数据集，采用TensorFlow深度学习技术框架和Python语言进行模型训练和验证。
5.如权利要求1所述的基于深度学习的线上渠道业务数据处理方法，其特征在于：
根据外部***数据的类型、实时性和数据量的不同，部署多种数据接入方式，分别接入至数据中台及云平台的OSS内，根据数据来源和数据接入方式不同，进行数据存储和数据处理。
6.如权利要求1所述的基于深度学习的线上渠道业务数据处理方法，其特征在于：
网上国网的运营数据接入后存储在Gbase，数据处理过程在Gbase中进行，通过创建Mysql分区表存储数据；
根据业务逻辑进行数据处理，形成指标结果表，判断结果是否准确，若准确利用kettle发送到RDS；
设置每日自动运行工作流，包括历史数据工作流和数据传输工作流，若不准确，再次分析业务进行数据处理。
7.如权利要求1所述的基于深度学习的线上渠道业务数据处理方法，其特征在于：
掌上电力SD运营数据、交费办电业务数据由营销稽查平台IDM接入，根据业务逻辑使用IMPALA计算方法形成指标结果表；
判断结果数据是否准确，若准确将计算结果存入到HIVE库中同时利用DataX发送到RSD里，设置每日工作流将HIVE按照时间、指标类型、频度进行分区，以方便后期维护，若不准确，再次分析业务进行数据处理。
8.一种基于深度学习的线上渠道业务数据处理***，其特征在于：包括：
数据获取模块，被配置为：获取线上各渠道的运营数据和用电客户数据；
数据预处理模块，被配置为：对获取的数据进行预处理，得到格式统一的数据；
数据预测模块，被配置为：将预处理后的数据输入到预设长短期记忆神经网络模型中，得到线上渠道各类业务办理趋势数据和风险点数据；
数据融合模块，被配置为：将历史数据以及业务办理趋势数据和风险点数据进行融合，得到基于日期、单位和渠道的多维度数据，根据获取的多维度数据进行业务引导。
9.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的基于深度学习的线上渠道业务数据处理方法中的步骤。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的基于深度学习的线上渠道业务数据处理方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011565296.3A CN112598443A (zh) | 2020-12-25 | 2020-12-25 | 一种基于深度学习的线上渠道业务数据处理方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011565296.3A CN112598443A (zh) | 2020-12-25 | 2020-12-25 | 一种基于深度学习的线上渠道业务数据处理方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112598443A true CN112598443A (zh) | 2021-04-02 |
Family
ID=75202443
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011565296.3A Pending CN112598443A (zh) | 2020-12-25 | 2020-12-25 | 一种基于深度学习的线上渠道业务数据处理方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112598443A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113570205A (zh) * | 2021-07-07 | 2021-10-29 | 北京淇瑀信息科技有限公司 | 基于单分类的api风险设备识别方法、装置及电子设备 |
| CN114237762A (zh) * | 2021-12-22 | 2022-03-25 | 中国建设银行股份有限公司 | 积分文件处理方法、装置、设备、介质和程序产品 |
| CN114491168A (zh) * | 2022-01-27 | 2022-05-13 | 中国电力科学研究院有限公司 | 调控云样本数据共享方法、***、计算机设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105335816A (zh) * | 2015-10-13 | 2016-02-17 | 国网安徽省电力公司铜陵供电公司 | 基于深度学习的电力通信网运行趋势与业务风险分析方法 |
| CN109685240A (zh) * | 2018-10-24 | 2019-04-26 | 国网浙江省电力有限公司 | 一种基于lstm深度学习的95598话务工单预测与异动预警方法 |
| CN110489459A (zh) * | 2019-08-07 | 2019-11-22 | 国网安徽省电力有限公司 | 一种基于大数据平台的企业级业数融合数据分析*** |
| CN110674100A (zh) * | 2019-09-28 | 2020-01-10 | 上海浦东发展银行股份有限公司***中心 | 一种基于全渠道运营数据的用户需求预测方法及架构 |
| CN111709566A (zh) * | 2020-06-09 | 2020-09-25 | 信雅达***工程股份有限公司 | 一种银行网点业务预测及调度方法 |
| CN112015952A (zh) * | 2019-06-03 | 2020-12-01 | 食亨(上海)科技服务有限公司 | 数据处理***及方法 |
-
2020
- 2020-12-25 CN CN202011565296.3A patent/CN112598443A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105335816A (zh) * | 2015-10-13 | 2016-02-17 | 国网安徽省电力公司铜陵供电公司 | 基于深度学习的电力通信网运行趋势与业务风险分析方法 |
| CN109685240A (zh) * | 2018-10-24 | 2019-04-26 | 国网浙江省电力有限公司 | 一种基于lstm深度学习的95598话务工单预测与异动预警方法 |
| CN112015952A (zh) * | 2019-06-03 | 2020-12-01 | 食亨(上海)科技服务有限公司 | 数据处理***及方法 |
| CN110489459A (zh) * | 2019-08-07 | 2019-11-22 | 国网安徽省电力有限公司 | 一种基于大数据平台的企业级业数融合数据分析*** |
| CN110674100A (zh) * | 2019-09-28 | 2020-01-10 | 上海浦东发展银行股份有限公司***中心 | 一种基于全渠道运营数据的用户需求预测方法及架构 |
| CN111709566A (zh) * | 2020-06-09 | 2020-09-25 | 信雅达***工程股份有限公司 | 一种银行网点业务预测及调度方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113570205A (zh) * | 2021-07-07 | 2021-10-29 | 北京淇瑀信息科技有限公司 | 基于单分类的api风险设备识别方法、装置及电子设备 |
| CN114237762A (zh) * | 2021-12-22 | 2022-03-25 | 中国建设银行股份有限公司 | 积分文件处理方法、装置、设备、介质和程序产品 |
| CN114491168A (zh) * | 2022-01-27 | 2022-05-13 | 中国电力科学研究院有限公司 | 调控云样本数据共享方法、***、计算机设备及存储介质 |
| CN114491168B (zh) * | 2022-01-27 | 2022-12-13 | 中国电力科学研究院有限公司 | 调控云样本数据共享方法、***、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bi et al. | Temporal prediction of multiapplication consolidated workloads in distributed clouds | |
| CN106951984B (zh) | 一种***健康度动态分析预测方法及装置 | |
| CN112598443A (zh) | 一种基于深度学习的线上渠道业务数据处理方法及*** | |
| Hompes et al. | Discovering causal factors explaining business process performance variation | |
| CN112100219B (zh) | 基于数据库查询处理的报表生成方法、装置、设备和介质 | |
| Vajgel et al. | Development of intelligent robotic process automation: A utility case study in Brazil | |
| CN106886481A (zh) | 一种***健康度静态分析预测方法及装置 | |
| US10671926B2 (en) | Method and system for generating predictive models for scoring and prioritizing opportunities | |
| CN112183990B (zh) | 基于大数据机器学***台及方法 | |
| US20170124459A1 (en) | Method and system for generating predictive models for scoring and prioritizing leads | |
| JP2023504103A (ja) | モデル更新システム、モデル更新方法及び関連装置 | |
| CN111242430A (zh) | 电力设备供应商评价方法和装置 | |
| CN112508723A (zh) | 基于自动择优建模的金融风险预测方法、装置和电子设备 | |
| CN113450158A (zh) | 银行活动信息推送方法及装置 | |
| CN110910241B (zh) | 现金流评估方法、装置、服务器设备及存储介质 | |
| CN117408561A (zh) | 一种住宅工程建设监理方法、装置及电子设备 | |
| WO2024065776A1 (en) | Method for data processing, apparatus for data processing, electronic device, and storage medium | |
| CN117196630A (zh) | 交易风险预测方法、装置、终端设备以及存储介质 | |
| CN111352820A (zh) | 一种高性能应用运行状态预测和监控方法、设备和装置 | |
| CN115827232A (zh) | 一种为业务模型确定配置的方法、装置、***及设备 | |
| CN114429297A (zh) | 项目的风险监控方法、装置、计算机设备及存储介质 | |
| CN113837481A (zh) | 一种基于区块链的金融大数据管理*** | |
| Wang et al. | A simulation study of workforce management for a two-stage multi-skill customer service center | |
| CN113869973A (zh) | 产品推荐方法、产品推荐***和计算机可读存储介质 | |
| Mahalle et al. | Data Acquisition and Preparation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210402 |
|
| RJ01 | Rejection of invention patent application after publication |