CN111191529B - 一种处理异常工单的方法及*** - Google Patents
一种处理异常工单的方法及*** Download PDFInfo
- Publication number
- CN111191529B CN111191529B CN201911298894.6A CN201911298894A CN111191529B CN 111191529 B CN111191529 B CN 111191529B CN 201911298894 A CN201911298894 A CN 201911298894A CN 111191529 B CN111191529 B CN 111191529B
- Authority
- CN
- China
- Prior art keywords
- work order
- model
- sample
- abnormal work
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 109
- 238000012545 processing Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000011159 matrix material Substances 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 18
- 238000007689 inspection Methods 0.000 claims abstract description 16
- 238000003062 neural network model Methods 0.000 claims abstract description 15
- 230000002787 reinforcement Effects 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 6
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims description 3
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000010420 art technique Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
- G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- General Factory Administration (AREA)
Abstract
本发明的实施方式提供了一种处理异常工单的方法，其中，所述异常工单为除质检结论为合格的工单以外的其他工单。所述处理异常工单的方法包括：通过深度神经网络模型从所述异常工单中提取特征属性，其中，该特征属性具有m个维度，m>200；将所述特征属性转换成状态矩阵；将所述状态矩阵输入到异常工单决策模型中，其中，所述异常工单决策模型是以经过人工处理的异常工单的信息记录为样本数据通过深度强化学习算法训练得到的，所述异常工单决策模型的输入量为所述状态矩阵，所述异常工单决策模型的输出量为表征处理方案的权重向量；及通过所述异常工单决策模型计算出针对所述异常工单的处理方案。
Description
技术领域
本发明实施例涉及计算机技术领域，特别涉及一种处理异常工单的方法及***。
背景技术
传统的工单质检结果分析方式是人工审核不合格、无法识别的工单图片，并将同一类的问题工单汇总反馈给装维人员，并指导他们进行改进，或者反馈给质检***开发人员，让其优化***。然而，人工审核的需求成本高，要求必须熟悉项目和了解算法模型，并且人工审核后还需要大量的工作去汇总并反馈，因而技术人员就想到利用机器来完成工单的审核过程。
一种现有技术是利用计算机来提取工单图片中的信息，并用标签来表征图片的信息，然后设定与该标签匹配的处理方案，使标签和处理方案一一匹配，并将匹配规则存储到***中。这样计算机能够根据所提取出来的标签来自动对应处理方案；然而，这种人为设定好的一一对应的匹配规则泛化能力很差，而且对于新的特征标签不具备学习能力。
另外，由于工单图片中的特征信息是高维的，现有的强化学习模型会对高维特征属性进行降维处理，或者对于同一属性的特征标签，人为的设定低维特征去表征其特征属性，这种方法虽然降低了计算的复杂度，但是低维的特征很难表征工单图片真实的特征属性，因而会影响处理方***性。
发明内容
本发明实施方式的目的在于提供一种处理异常工单的方法，可以通过计算机自动的完成异常工单的处理过程，且提高处理方***性。
为解决上述技术问题，本发明的实施方式提供了一种处理异常工单的方法，其中，所述异常工单为除质检结论为合格的工单以外的其他工单。所述处理异常工单的方法包括：通过深度神经网络模型从所述异常工单中提取特征属性，其中，该特征属性具有m个维度，m>200；将所述特征属性转换成状态矩阵；将所述状态矩阵输入到异常工单决策模型中，其中，所述异常工单决策模型是以经过人工处理的异常工单的信息记录为样本数据通过深度强化学习算法训练得到的，所述异常工单决策模型的输入量为所述状态矩阵，所述异常工单决策模型的输出量为表征处理方案的权重向量；及通过所述异常工单决策模型计算出针对所述异常工单的处理方案。
本发明实施方式相对于现有技术而言，通过深度强化学习算法来训练异常工单的决策模型，该决策模型可直接对由深度神经网络模型提取出的工单图片的高维特征属性进行处理，然后输出相应的处理方案。由于这些高维的特征属性可以更准确地表达异常工单的特征，所以本实施方式可以大大提高输出的处理方***性。
另外，所述训练异常工单决策模型的步骤具体为：步骤a)：基于经过人工处理的异常工单的信息记录来建立样本池，所述样本池包括H条样本，每条样本包括工单图片、质检结果、处理方案及客户反馈数据，其中H>4000；步骤b)：通过所述深度神经网络模型从所述每条样本的工单图片中提取特征属性，并转换成状态矩阵，其中，所述特征属性具有m个维度，m>200；步骤c)：基于马尔科夫决策过程和策略逼近算法建立初始模型，所述初始模型的各个参数被设置成初始值；步骤d)：将所述每条样本的状态矩阵输入到所述初始模型中，以得到多个中间动作及相应的多个中间回报值，并累加所述多个中间回报值以得到在所述初始模型下该条样本可获得的总回报值，且在所述样本池中新增一条训练数据；步骤e)：将每条样本的总回报值进行累加，以得到在所述初始模型下所有样本能够获得的累积回报值；步骤f)：更新目前的模型中的各个参数，以得到迭代模型；步骤g)：将每条样本的所述状态矩阵输入到所述迭代模型中，以得到多个中间动作及相应的多个中间回报值，并累加所述多个中间回报值，以得到在所述迭代模型下该条样本可获得的总回报值，且在所述样本池中新增一条训练数据；步骤h：将每条样本的总回报值进行累加，以得到在所述迭代模型下所有样本能够获得的累积回报值；步骤i)：重复步骤f)至步骤h)，直到所述各个参数收敛，或所述样本池中存放W个训练数据，其中，W>80000。
与现有技术相比，上述实施方式采用深度神经网络从样本中的工单图片提取出高维的特征属性，并将高维的特征属性经权重处理后直接作为异常工单决策模型的训练，这样能够使异常工单决策模型在训练的过程中更好的学习异常工单的特征，以提高模型的准确性。
另外，所述质检结果包括：不合格、疑似不合格、无法识别及场景不支持，所述每一种质检结果在所述样本池中的数量均分。所述客户反馈数据包括：合理、需明确及不合理，每一种客户反馈数据在所述样本池中的数量均分。这样，能够使样本池中的样本涵盖各种情况，以提供给决策模型进行学习。
另外，所述特征属性X＝(X1,X2,X3,…,Xm)，所述状态矩阵S＝WX，其中，W为所述各特征属性的权重向量，W＝(ω1,ω2,...,ωm)。
另外，所述初始模型为
其中，θ为参数向量，θ＝(θ1,θ2,...,θm)，
为第i维的排序权重分，
另外，所述初始模型或所述迭代模型μθ的累计回报值
本发明的实施方式还提供了一种异常工单处理***，其包括：特征提取器，其用于通过深度神经网络模型从所述异常工单中提取特征属性，其中，该特征属性具有m个维度，m>200；特征转换器，其用于将所述特征属性转换成状态矩阵；异常工单决策模型，其用于接受所述状态矩阵，并计算出表征所述异常工单的处理方案的权重向量，其中，所述异常工单决策模型是以经过人工处理的异常工单的信息记录为样本数据通过深度强化学习算法训练得到的。
本发明的实施方式还提供了一种异常工单处理***，其包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述处理异常工单的方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行上述处理异常工单的方法。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是根据本发明第一实施方式的处理异常工单的方法的流程示意图；
图2是本发明第一实施方式中的训练异常工单决策模型的步骤的示意图；
图3是根据本发明第二实施方式的异常工单处理***的示意图；
图4是根据本发明第三实施方式的异常工单处理***的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
本发明的第一实施方式涉及一种处理异常工单的方法，其中，所述异常工单为除质检结论为合格的工单以外的其他工单。本实施方式的核心在于通过深度强化学习算法训练异常工单决策模型，该决策模型可直接对由深度神经网络模型提取出的工单图片的高维特征属性进行处理，然后输出相应的处理方案。由于这些高维的特征属性可以更准确地表达异常工单的特征，所以本实施方式可以大大提高输出的处理方***性。下面对本实施方式的处理异常工单的方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。
本发明第一实施方式的处理异常工单的方法的流程示意图如图1所示，处理异常工单的方法100包括步骤101至步骤104。
步骤101：通过深度神经网络模型从异常工单中提取特征属性X，其中，该特征属性X具有m个维度，m>200，X可以表达成一个1*m的矩阵。例如，异常工单通过深度神经网络模型提取出来的特征属性有：分光器端口插头数、分光器排数、标签、通过文字识别模型对标签进行识别而得的标签文本、二维码、通过二维码识别模型对二维码进行识别而得二维码文本信息。较佳的，特征属性具有268个维度，即：m＝268。
步骤102：将特征属性X转换成状态矩阵S，其中，S＝WX，W是权重向量，其可表达成一个m*1的矩阵，W＝(ω1,ω2,...,ωm)，这样状态矩阵S为m*m的矩阵。
步骤103：将状态矩阵S输入到异常工单决策模型中，其中，异常工单决策模型是以经过人工处理的异常工单的信息记录为样本数据通过深度强化学习算法训练得到的，异常工单决策模型的输入量为状态矩阵S，异常工单决策模型的输出量为表征处理方案的权重向量。
步骤104：通过所述异常工单决策模型计算出针对所述异常工单的处理方案。
与现有技术相比，本发明实施方式通过深度强化学习算法来训练异常工单的决策模型，该决策模型可直接对由深度神经网络模型提取出的工单图片的高维特征属性进行处理，然后输出相应的处理方案。由于这些高维的特征属性可以更准确地表达异常工单的特征，所以本实施方式可以大大提高输出的处理方***性。
图2是本发明第一实施方式中的训练异常工单决策模型的步骤的示意图，参见图2，训练异常工单决策模型的步骤具体为：
步骤201：基于经过人工处理的异常工单的信息记录来建立样本池，样本池包括H条样本，每条样本包括工单图片、质检结果、处理方案及客户反馈数据。其中，H>4000；较佳地，H＝5000。
在一些实施例中，质检结果包括：不合格、疑似不合格、无法识别及场景不支持，每一种质检结果在所述样本池中的数量均分。在一些实施例中，客户反馈数据包括：合理、需明确及不合理，每一种客户反馈数据在所述样本池中的数量均分。这样，能够使样本池中的样本涵盖各种情况，以提供给决策模型进行学习。在一些实施例中，合理用2分表示，需明确用1分表示，不合理用0分表示。
步骤202：通过深度神经网络模型从所述每条样本的工单图片中提取特征属性X，并转换成状态矩阵S，其中，所述特征属性具有m个维度，m>200，较佳地，m＝268。
具体地，特征属性X＝(X1,X2,X3,…,Xm)，其为一个1*m的矩阵；各特征属性的权重向量W＝(ω1,ω2,...,ωm)，其为一个m*1的矩阵，状态矩阵S＝WX，状态矩阵S为m*m的矩阵。
步骤203：基于马尔科夫决策过程和策略逼近算法建立初始模型，所述初始模型的各个参数被设置成初始值。具体地，初始模型为
其中，θ为参数向量，θ＝(θ1,θ2,...,θm)，
为第i维的排序权重分，
因为S＝(ω1,ω2,...,ωm)*(X1,X2,X3,...,Xm,)，所以初始模型的参数为θ和ω。
步骤204：将所述每条样本的状态矩阵S输入到初始模型中，以得到多个中间动作a及相应的多个中间回报值r，并累加所述多个中间回报值r以得到在所述初始模型下该条样本可获得的总回报值R，且在所述样本池中新增一条训练数据。
步骤205：将每条样本的总回报值R进行累加，以得到在所述初始模型下所有样本能够获得的累积回报值J。在一些实施例中，初始模型μθ的累计回报值
步骤206：更新目前的模型中的各个参数，如：θ和ω，以得到迭代模型。
步骤207：将每条样本的状态矩阵S输入到迭代模型中，以得到多个中间动作a及相应的多个中间回报值r，并累加所述多个中间回报值r，以得到在所述迭代模型下该条样本可获得的总回报值R，且在所述样本池中新增一条训练数据。
步骤208：将每条样本的总回报值R进行累加，以得到在所述迭代模型下所有样本能够获得的累积回报值J。在一些实施例中，迭代模型μθ的累计回报值
步骤209：重复步骤206至步骤208，直到所述各个参数收敛，或所述样本池中存放W个训练数据，其中，W>80000；较佳地，W＝100000。
与现有技术相比，本发明实施方式采用深度神经网络从样本中的工单图片提取出高维的特征属性，并将高维的特征属性经权重处理后直接作为异常工单决策模型的训练，这样能够使异常工单决策模型在训练的过程中更好的学习异常工单的特征，以提高模型的准确性。另外，为了让模型能够学习到最优的策略方案，采用的是策略逼近和确定性策略梯度算法，策略逼近方法是解决连续状态问题的有效方法之一，确定性策略梯度算法则是使迭代过程中策略改进更方便更有目的性。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
图3是根据本发明第二实施方式的异常工单处理***的示意图，参见图3，异常工单处理***300包括：特征提取器301、特征转换器302和异常工单决策模型303。特征提取器301用于通过深度神经网络模型从所述异常工单中提取特征属性，其中，该特征属性具有m个维度，m>200。特征转换器302与所述特征提取器301连接，其用于将所述特征属性转换成状态矩阵。异常工单决策模型303与所述特征转换器302连接，其用于接受所述状态矩阵，并计算出表征所述异常工单的处理方案的权重向量，其中，所述异常工单决策模型是以经过人工处理的异常工单的信息记录为样本数据通过深度强化学习算法训练得到的。
本发明第三实施方式涉及一种异常工单处理***，如图4所示，包括至少一个处理器401；以及，与至少一个处理器401通信连接的存储器402；其中，存储器402存储有可被至少一个处理器401执行的指令，指令被至少一个处理器401执行，以使至少一个处理器401能够执行上述的处理异常工单的方法。
其中，存储器402和处理器401采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器401和存储器402的各种电路连接在一起。总线还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器401处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器401。
处理器401负责管理总线和通常的处理，还可以提供各种功能，包括定时、***接口、电压调节、电源管理以及其他控制功能。而存储器402可以被用于存储处理器401在执行操作时所使用的数据。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述处理异常工单的方法。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。
Claims (9)
1.一种处理异常工单的方法，所述异常工单为除质检结论为合格的工单以外的其他工单，其特征在于，包括：
通过深度神经网络模型从所述异常工单中提取特征属性，其中，该特征属性具有m个维度，m>200；
将所述特征属性转换成状态矩阵；
将所述状态矩阵输入到异常工单决策模型中，其中，所述异常工单决策模型是以经过人工处理的异常工单的信息记录为样本数据通过深度强化学习算法训练得到的，所述异常工单决策模型的输入量为所述状态矩阵，所述异常工单决策模型的输出量为处理方案；及
通过所述异常工单决策模型计算出针对所述异常工单的处理方案；
其中，训练所述异常工单决策模型的步骤具体为：
步骤a）：基于经过人工处理的异常工单的信息记录来建立样本池，所述样本池包括H条样本，每条样本包括工单图片、质检结果、处理方案及客户反馈数据，其中H>4000；
步骤b）：通过所述深度神经网络模型从所述每条样本的工单图片中提取特征属性，并转换成状态矩阵，其中，所述特征属性具有m个维度，m>200；
步骤c）：基于马尔科夫决策过程和策略逼近算法建立初始模型，所述初始模型的各个参数被设置成初始值；
步骤d）：将所述每条样本的状态矩阵输入到所述初始模型中，以得到多个中间动作及相应的多个中间回报值，并累加所述多个中间回报值以得到在所述初始模型下该条样本可获得的总回报值，且在所述样本池中新增一条训练数据；
步骤e）：将每条样本的总回报值进行累加，以得到在所述初始模型下所有样本能够获得的累积回报值；
步骤f）：更新目前的模型中的各个参数，以得到迭代模型；
步骤g）：将每条样本的所述状态矩阵输入到所述迭代模型中，以得到多个中间动作及相应的多个中间回报值，并累加所述多个中间回报值，以得到在所述迭代模型下该条样本可获得的总回报值，且在所述样本池中新增一条训练数据；
步骤h）：将每条样本的总回报值进行累加，以得到在所述迭代模型下所有样本能够获得的累积回报值；
步骤i）：重复步骤f）至步骤h)，直到所述各个参数收敛，或所述样本池中存放W个训练数据，其中，W>80000。
2.根据权利要求1所述的处理异常工单的方法，其特征在于，所述质检结果包括：不合格、疑似不合格、无法识别及场景不支持，每一种质检结果在所述样本池中的数量均分。
3.根据权利要求1所述的处理异常工单的方法，其特征在于，所述客户反馈数据包括：合理、需明确及不合理，每一种客户反馈数据在所述样本池中的数量均分。
4.根据权利要求1所述的处理异常工单的方法，其特征在于，所述特征属性X=(X1,X2,X3,…,Xm），所述状态矩阵，其中，W为所述各特征属性的权重向量，。
5.根据权利要求1所述的处理异常工单的方法，其特征在于，所述初始模型为，其中，θ为参数向量，，为第i维的排序权重分，。
6.根据权利要求1所述的处理异常工单的方法，其特征在于，所述初始模型或所述迭代模型的累计回报值；其中，J为所述累积回报值。
7.一种异常工单处理***，所述异常工单为除质检结论为合格的工单以外的其他工单，其特征在于，包括：
特征提取器，其用于通过深度神经网络模型从所述异常工单中提取特征属性，其中，该特征属性具有m个维度，m>200；
特征转换器，其用于将所述特征属性转换成状态矩阵；
异常工单决策模型，其用于接受所述状态矩阵，并计算出表征所述异常工单的处理方案的权重向量，其中，所述异常工单决策模型是以经过人工处理的异常工单的信息记录为样本数据通过深度强化学习算法训练得到的；其中，训练所述异常工单决策模型的步骤具体为：步骤a）：基于经过人工处理的异常工单的信息记录来建立样本池，所述样本池包括H条样本，每条样本包括工单图片、质检结果、处理方案及客户反馈数据，其中H>4000；步骤b）：通过所述深度神经网络模型从所述每条样本的工单图片中提取特征属性，并转换成状态矩阵，其中，所述特征属性具有m个维度，m>200；步骤c）：基于马尔科夫决策过程和策略逼近算法建立初始模型，所述初始模型的各个参数被设置成初始值；步骤d）：将所述每条样本的状态矩阵输入到所述初始模型中，以得到多个中间动作及相应的多个中间回报值，并累加所述多个中间回报值以得到在所述初始模型下该条样本可获得的总回报值，且在所述样本池中新增一条训练数据；步骤e）：将每条样本的总回报值进行累加，以得到在所述初始模型下所有样本能够获得的累积回报值；步骤f）：更新目前的模型中的各个参数，以得到迭代模型；步骤g）：将每条样本的所述状态矩阵输入到所述迭代模型中，以得到多个中间动作及相应的多个中间回报值，并累加所述多个中间回报值，以得到在所述迭代模型下该条样本可获得的总回报值，且在所述样本池中新增一条训练数据；步骤h）：将每条样本的总回报值进行累加，以得到在所述迭代模型下所有样本能够获得的累积回报值；步骤i）：重复步骤f）至步骤h)，直到所述各个参数收敛，或所述样本池中存放W个训练数据，其中，W>80000。
8.一种异常工单处理***，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至6中任一所述的处理异常工单的方法。
9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一所述的处理异常工单的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911298894.6A CN111191529B (zh) | 2019-12-17 | 2019-12-17 | 一种处理异常工单的方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911298894.6A CN111191529B (zh) | 2019-12-17 | 2019-12-17 | 一种处理异常工单的方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111191529A CN111191529A (zh) | 2020-05-22 |
| CN111191529B true CN111191529B (zh) | 2023-04-28 |
Family
ID=70710992
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911298894.6A Active CN111191529B (zh) | 2019-12-17 | 2019-12-17 | 一种处理异常工单的方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111191529B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016188279A1 (zh) * | 2015-05-25 | 2016-12-01 | 阿里巴巴集团控股有限公司 | 一种故障谱的生成、基于故障谱的检测方法和装置 |
| CN106709449A (zh) * | 2016-12-22 | 2017-05-24 | 深圳市深网视界科技有限公司 | 一种基于深度学习和强化学习的行人重识别方法及*** |
| CN107861942A (zh) * | 2017-10-11 | 2018-03-30 | 国网浙江省电力公司电力科学研究院 | 一种基于深度学习的电力疑似投诉工单识别方法 |
| CN108268632A (zh) * | 2018-01-16 | 2018-07-10 | 中国人民解放军海军航空大学 | 异常情报数据识别机器学习方法 |
| CN108427985A (zh) * | 2018-01-02 | 2018-08-21 | 北京理工大学 | 一种基于深度强化学习的插电式混合动力车辆能量管理方法 |
| CN108520472A (zh) * | 2018-02-28 | 2018-09-11 | 北京邮电大学 | 一种处理电力***数据的方法、装置及电子设备 |
| CN109102157A (zh) * | 2018-07-11 | 2018-12-28 | 交通银行股份有限公司 | 一种基于深度学习的银行工单派单方法及*** |
| CN109154944A (zh) * | 2016-04-29 | 2019-01-04 | 微软技术许可有限责任公司 | 集合预测器 |
| CN110232188A (zh) * | 2019-06-04 | 2019-09-13 | 上海电力学院 | 电网用户故障报修工单的文本自动分类方法 |
| CN110516736A (zh) * | 2019-06-04 | 2019-11-29 | 沈阳瑞初科技有限公司 | 多维可视化的多源异构数据多层drnn深度融合方法 |
-
2019
- 2019-12-17 CN CN201911298894.6A patent/CN111191529B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016188279A1 (zh) * | 2015-05-25 | 2016-12-01 | 阿里巴巴集团控股有限公司 | 一种故障谱的生成、基于故障谱的检测方法和装置 |
| CN109154944A (zh) * | 2016-04-29 | 2019-01-04 | 微软技术许可有限责任公司 | 集合预测器 |
| CN106709449A (zh) * | 2016-12-22 | 2017-05-24 | 深圳市深网视界科技有限公司 | 一种基于深度学习和强化学习的行人重识别方法及*** |
| CN107861942A (zh) * | 2017-10-11 | 2018-03-30 | 国网浙江省电力公司电力科学研究院 | 一种基于深度学习的电力疑似投诉工单识别方法 |
| CN108427985A (zh) * | 2018-01-02 | 2018-08-21 | 北京理工大学 | 一种基于深度强化学习的插电式混合动力车辆能量管理方法 |
| CN108268632A (zh) * | 2018-01-16 | 2018-07-10 | 中国人民解放军海军航空大学 | 异常情报数据识别机器学习方法 |
| CN108520472A (zh) * | 2018-02-28 | 2018-09-11 | 北京邮电大学 | 一种处理电力***数据的方法、装置及电子设备 |
| CN109102157A (zh) * | 2018-07-11 | 2018-12-28 | 交通银行股份有限公司 | 一种基于深度学习的银行工单派单方法及*** |
| CN110232188A (zh) * | 2019-06-04 | 2019-09-13 | 上海电力学院 | 电网用户故障报修工单的文本自动分类方法 |
| CN110516736A (zh) * | 2019-06-04 | 2019-11-29 | 沈阳瑞初科技有限公司 | 多维可视化的多源异构数据多层drnn深度融合方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王西点 ; 王磊 ; 龙泉 ; 薛阳 ; .人工智能及其在网络优化运维中的应用.电信工程技术与标准化.2018,(第07期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111191529A (zh) | 2020-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110489749B (zh) | 一种智能办公自动化***的业务流程优化方法 | |
| CN108153729A (zh) | 一种面向金融领域的知识抽取方法 | |
| DE112020003909T5 (de) | Verfahren zum multimodalen abrufen bzw. wiedergewinnen und clustern unter verwendung einer tiefen cca und aktiver paarweiser abfragen | |
| CN111324738B (zh) | 一种确定文本标签的方法和*** | |
| CN107844558A (zh) | 一种分类信息的确定方法以及相关装置 | |
| CN116662552A (zh) | 金融文本数据分类方法、装置、终端设备及介质 | |
| CN111382248A (zh) | 一种问题回复方法、装置、存储介质及终端设备 | |
| JP2022020543A (ja) | 技能用語評定方法および装置、電子機器、コンピュータ読み取り可能な媒体 | |
| CN116775879A (zh) | 大语言模型的微调训练方法、合同风险评审方法及*** | |
| CN110490304B (zh) | 一种数据处理方法及设备 | |
| CN110310012B (zh) | 数据分析方法、装置、设备及计算机可读存储介质 | |
| CN114118370A (zh) | 模型训练方法、电子设备和计算机可读存储介质 | |
| CN111191529B (zh) | 一种处理异常工单的方法及*** | |
| CN112241785A (zh) | 一种基于深度强化学习的图书采访方法 | |
| CN116842263A (zh) | 一种智能问答式理财顾问模型的训练处理方法及装置 | |
| CN116541711A (zh) | 模型训练方法、课程推荐方法、装置、设备及介质 | |
| WO2023071129A1 (zh) | 绿色资产的占比的识别方法及相关产品 | |
| CN116071150A (zh) | 数据处理方法、银行产品推广、风控***、服务器及介质 | |
| CN115293867A (zh) | 财务报销用户画像优化方法、装置、设备及存储介质 | |
| CN113254612A (zh) | 知识问答处理方法、装置、设备及存储介质 | |
| CN116523032B (zh) | 一种图像文本双端迁移攻击方法、装置和介质 | |
| CN114385805B (zh) | 一种提高深度文本匹配模型适应性的小样本学习方法 | |
| CN117591657B (zh) | 一种基于ai的智能对话管理***及方法 | |
| CN116310648B (zh) | 模型训练方法、人脸识别方法、电子设备和存储介质 | |
| CN116955642A (zh) | 一种基于深度强化学习的知识图谱构建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |