CN112862459A - 试验异常监控方法、装置、计算机设备和存储介质 - Google Patents
试验异常监控方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112862459A CN112862459A CN202110228630.4A CN202110228630A CN112862459A CN 112862459 A CN112862459 A CN 112862459A CN 202110228630 A CN202110228630 A CN 202110228630A CN 112862459 A CN112862459 A CN 112862459A
- Authority
- CN
- China
- Prior art keywords
- test
- work order
- current
- information
- test work
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 692
- 238000000034 method Methods 0.000 title claims abstract description 109
- 238000012544 monitoring process Methods 0.000 title claims abstract description 85
- 238000012806 monitoring device Methods 0.000 claims abstract description 6
- 230000002159 abnormal effect Effects 0.000 claims description 68
- 238000012549 training Methods 0.000 claims description 53
- 230000005856 abnormality Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 12
- 238000003556 assay Methods 0.000 claims description 3
- 239000010410 layer Substances 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 230000000737 periodic effect Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000001149 cognitive effect Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000010998 test method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000012093 association test Methods 0.000 description 2
- 230000008667 sleep stage Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 239000003758 nuclear fuel Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Tourism & Hospitality (AREA)
- Entrepreneurship & Innovation (AREA)
- Molecular Biology (AREA)
- General Business, Economics & Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Marketing (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Primary Health Care (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本申请涉及一种试验异常监控方法、装置、计算机设备和存储介质。所述方法包括:获取多个试验工单对应的当前试验信息,获取各个试验工单对应的参考试验信息;将同一试验工单对应的当前试验信息和参考试验信息进行比较,根据比较结果确定各个试验工单的当前试验结果;接收试验异常监控指令,根据试验异常监控指令从当前试验工单集合中获取目标试验工单,目标试验工单的当前试验结果为试验异常;将目标试验工单的当前试验信息发送至试验异常监控指令对应的发送终端,以使发送终端将目标试验工单的当前试验信息进行展示。采用本方法能够提高试验异常监控效率。
Description
技术领域
本申请涉及信息化建设技术领域,特别是涉及一种试验异常监控方法、装置、计算机设备和存储介质。
背景技术
核电厂是通过核燃料在核反应堆中产生的热能来进行发电。由于核电厂的特殊性,需要保证核电厂最基本的安全。而定期试验作为保证核电厂安全的一个重要过程,是指根据运行技术规格书的要求,在特定的时间间隔内,按照试验工序所规定的方法,对机组、***、部件或构筑物所进行的测定性能参数或检查其可用性的工作。
目前,进行定期试验时,每天需要执行大量的试验工单。传统方法中,由于各个试验工单都是独立进行的,工作人员只能在各个试验工单执行结束之后分别评估试验结果,无法及时监控试验工单的执行情况,无法及时发现试验工单执行过程中的异常情况,进而导致试验异常监控效率低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高试验异常监控效率的试验异常监控方法、装置、计算机设备和存储介质。
一种试验异常监控方法,其特征在于,所述方法包括:
获取多个试验工单对应的当前试验信息,获取各个试验工单对应的参考试验信息,当前试验信息是由试验工单对应的执行终端根据作用于当前工序对应控件的触发操作发送的;
将同一试验工单对应的当前试验信息和参考试验信息进行比较,根据比较结果确定各个试验工单的当前试验结果,当前试验结果包括试验正常和试验异常;
接收试验异常监控指令,根据试验异常监控指令从当前试验工单集合中获取目标试验工单,目标试验工单的当前试验结果为试验异常;
将目标试验工单的当前试验信息发送至试验异常监控指令对应的发送终端,以使发送终端将目标试验工单的当前试验信息进行展示。
在其中一个实施例中,所述方法还包括:
获取关联试验工单集合,关联试验工单集合包括多个存在关联关系的已执行试验工单;将关联试验工单集合输入至已训练的异常预测模型中,输出关联试验工单集合对应的目标试验异常类型;将目标试验异常类型发送至所述发送终端。
在其中一个实施例中,获取关联试验工单集合之前,所述方法还包括:
获取多个训练关联试验工单集合,各个训练关联试验工单集合存在对应的试验异常类型;将各个训练关联试验工单集合作为待训练的异常预测模型的输入,对待训练的异常预测模型进行无监督训练;将各个训练关联试验工单集合作为待训练的异常预测模型的输入数据,将相应的试验异常类型作为待训练的异常预测模型的预期输出,对待训练的异常预测模型进行有监督训练;得到已训练的异常预测模型。
在其中一个实施例中,将同一试验工单对应的当前试验信息和参考试验信息进行比较,根据比较结果确定所述各个试验工单的当前试验结果,包括:
当当前试验信息满足相应的参考试验信息时,确定试验工单对应的试验结果为执行正常;当当前试验信息不满足相应的参考执行结果时,确定试验工单对应的当前执行结果为执行异常。
在其中一个实施例中,所述方法还包括:
获取发送终端返回的试验异常解决信息;将试验异常解决信息发送至审批终端,以使审批终端对试验异常解决信息进行审批;获取审批终端返回的审批结果,当审批结果为审批通过时,将试验异常解决信息发送至目标试验工单对应的执行终端。
一种试验异常监控装置,所述装置包括:
试验信息获取模块,用于获取多个试验工单对应的当前试验信息,获取各个试验工单对应的参考试验信息,当前试验信息是由试验工单对应的执行终端根据作用于当前工序对应控件的触发操作发送的;
当前试验结果确定模块,用于将同一试验工单对应的当前试验信息和参考试验信息进行比较,根据比较结果确定各个试验工单的当前试验结果,当前试验结果包括试验正常和试验异常;
试验异常监控指令接收模块,用于接收试验异常监控指令,根据试验异常监控指令从当前试验工单集合中获取目标试验工单,目标试验工单的当前试验结果为试验异常;
目标试验工单发送模块,用于将目标试验工单的当前试验信息发送至试验异常监控指令对应的发送终端,以使发送终端将目标试验工单的当前试验信息进行展示。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取多个试验工单对应的当前试验信息,获取各个试验工单对应的参考试验信息,当前试验信息是由试验工单对应的执行终端根据作用于当前工序对应控件的触发操作发送的;
将同一试验工单对应的当前试验信息和参考试验信息进行比较,根据比较结果确定各个试验工单的当前试验结果,当前试验结果包括试验正常和试验异常;
接收试验异常监控指令,根据试验异常监控指令从当前试验工单集合中获取目标试验工单,目标试验工单的当前试验结果为试验异常;
将目标试验工单的当前试验信息发送至试验异常监控指令对应的发送终端,以使发送终端将目标试验工单的当前试验信息进行展示。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取多个试验工单对应的当前试验信息,获取各个试验工单对应的参考试验信息,当前试验信息是由试验工单对应的执行终端根据作用于当前工序对应控件的触发操作发送的;
将同一试验工单对应的当前试验信息和参考试验信息进行比较,根据比较结果确定各个试验工单的当前试验结果,当前试验结果包括试验正常和试验异常;
接收试验异常监控指令,根据试验异常监控指令从当前试验工单集合中获取目标试验工单,目标试验工单的当前试验结果为试验异常;
将目标试验工单的当前试验信息发送至试验异常监控指令对应的发送终端,以使发送终端将目标试验工单的当前试验信息进行展示。
上述试验异常监控方法、装置、计算机设备和存储介质,通过获取多个试验工单对应的当前试验信息,获取各个试验工单对应的参考试验信息,当前试验信息是由试验工单对应的执行终端根据作用于当前工序对应控件的触发操作发送的,将同一试验工单对应的当前试验信息和参考试验信息进行比较,根据比较结果确定各个试验工单的当前试验结果,当前试验结果包括试验正常和试验异常,从而实现了实时获取各个正在进行试验的试验工单中当前工序的执行情况,实时自动判断试验是否出现异常。另外,当接收到试验异常监控指令时,能够将当前试验结果为试验异常的试验工单返回至试验异常监控指令对应的发送端,由发送端对正在进行试验的试验工单的试验异常信息进行展示,实现对异常试验工单的监控,提高试验异常监控效率。
附图说明
图1为一个实施例中试验异常监控方法的应用环境图;
图2为一个实施例中试验异常监控方法的流程示意图;
图2A为一个实施例中执行终端工序执行页面的页面示意图;
图3为一个实施例中使用异常预测模型的流程示意图;
图4为一个实施例中训练异常预测模型的流程示意图;
图5为一个实施例中反馈解决方案的流程示意图;
图5A为一个实施例中管理终端试验异常监控页面的页面示意图;
图6为一个实施例中试验异常监控装置的结构框图;
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的试验异常监控方法,可以应用于如图1所示的应用环境中。其中,终端102、终端106通过网络与服务器104进行通信。当终端102检测到作用于当前工序对应控件的触发操作时,终端102可以将当前试验工单对应的当前试验信息上传至服务器104。服务器104可以接收多个试验工单对应的当前试验信息。服务器104可以获取各个试验工单对应的参考试验信息,将同一试验工单的当前试验信息和参考试验信息进行比较,根据比较结果确定各个试验工单的当前试验结果。当前试验结果包括试验成功和试验异常。在各个试验工单的试验过程中,终端106可以向服务器发送试验异常监控指令。服务器104接收到试验异常监控指令之后,可以从各个试验工单中获取当前试验结果为试验异常的试验工单作为目标试验工单,向终端106返回该目标试验工单。终端106可以将目标试验工单进行展示,实现对异常试验工单的监控。其中,终端102和终端106可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种试验异常监控方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
S202,获取多个试验工单对应的当前试验信息,获取各个试验工单对应的参考试验信息,当前试验信息是由试验工单对应的执行终端根据作用于当前工序对应控件的触发操作发送的。
其中,试验工单是指核电厂定期试验的现场操作文件,用于指示现场执行人员按照标准流程和准则进行现场试验。试验工单包括试验说明、试验工序、验收准则、附表和附件。当前试验信息包括当前工序的实际执行结果。当前试验信息携带试验工单标识、工序标识和执行人员标识。试验工单标识是一种标识,用于唯一标识试验工单,具体可以包括字母、数字和符号中至少一种字符的字符串。试验工单标识具体可以是试验工单编号。工序标识是一种标识,用于唯一标识工序,具体可以包括字母、数字和符号中至少一种字符的字符串。工序标识具体可以是工序编号。参考试验信息是指当前工序的参考执行结果。参考试验信息携带试验工单标识和工序标识。触发操作具体可以是单击操作、双击操作、长按操作或语音操作等。
具体地,执行人员对应的执行终端安装有定期试验相关的应用程序。执行终端可以通过应用程序和服务器进行数据传输。执行终端可以获取执行人员对试验工单的选择操作,进入工序执行页面,显示选中的试验工单的相关信息。执行人员可以根据工序执行界面上显示的工序按顺序进行试验,并在工序的对应位置输入实际执行结果。各个工序中显示有用于触发试验信息发送动作的控件。当检测到作用于该控件的触发操作时,终端可以将当前工序对应的当前试验信息发送至服务器。由于同一时间内有多个试验工单在不同的区域进行试验,因此服务器可以接收到多个试验工单对应的当前试验信息。服务器预先存储有各个试验工单对应的参考试验信息。当接收到试验工单对应的当前试验信息时,服务器可以根据该当前试验信息携带的试验工单标识和工序标识,从本地查找与该试验工单标识和工序标识对应的参考试验信息。例如,当前试验信息携带的试验工单标识和工序标识可以是试验工单编号为DPT1R1C001,工序编号为90,服务器可以从存储的数据中查找试验工单编号为DPT1R1C001,工序编号为90关联存储的参考试验信息。
在一个实施例中,如图2A所示,执行终端上的工序执行页面包括工序编号框、工序描述框、工序执行结果框、“上一步”按钮和“下一步”按钮。工序编号框用于显示工序编号。工序描述框用于显示工序描述信息。工序执行结果框用于输入实际执行结果。执行人员根据工序描述框内显示的工序描述信息进行试验,并将实际执行结果输入至工序执行结果框。当检测到执行人员对于“下一步”按钮的触发操作时,执行终端将工序执行结果框内的输入信息和试验工单编号、工序编号打包发送至服务器。当检测到执行人员对于“下一步”按钮的触发操作时,执行终端显示下一个工序的相关信息,执行人员根据显示的相关信息继续进行试验。
在一个实施例中,可以根据试验工单的历史试验信息对参考试验信息进行更新。当同一试验工单的执行次数小于预设阈值时,服务器所存储的参考试验信息可以由核电厂的专业人员提供。当同一试验工单的执行次数大于预设阈值时,可以根据试验工单的历史试验信息对参考试验信息进行更新。由于同一试验工单会定期执行,例如每一个月执行一次,因此可以统计试验工单的历史试验信息,根据统计结果更新试验工单的参考试验信息。当工序的执行结果为数值型结果时,则可以根据该工序的历史执行结果中的最大值和最小值确定参考数值范围,将该参考数值范围作为该工序的初始更新参考执行结果。初始更新参考执行结果可以直接作为目标更新参考试验信息,也可以将初始更新参考执行结果发送至专业人员进行审核,专业人员审核通过后作为目标参考试验信息。其中,预设阈值可以根据需要自定义,例如设置为6。
S204,将同一试验工单对应的当前试验信息和参考试验信息进行比较,根据比较结果确定各个试验工单的当前试验结果,当前试验结果包括试验正常和试验异常。
具体地,服务器可以将同一试验工单对应的当前试验信息和参考试验信息进行比较,根据比较结果确定各个当前正在进行试验的试验工单是否出现异常。
在一个实施例中,将同一试验工单对应的当前试验信息和参考试验信息进行比较,根据比较结果确定各个试验工单的当前试验结果,包括:当当前试验信息满足相应的参考试验信息时,确定试验工单对应的试验结果为执行正常;当当前试验信息不满足相应的参考执行结果时,确定试验工单对应的当前执行结果为执行异常。
具体地,当当前试验信息为数值型结果时,若实际数值在对应的参考数值范围内,则确定当前试验信息满足对应的参考试验信息,试验工单对应的当前试验结果为试验正常。若实际数值超出对应的参考数值范围内,则确定当前试验信息不满足对应的参考试验信息,试验工单对应的当前试验结果为试验异常。例如,当前试验信息为电动机轴承温度为52摄氏度,对应的参考试验信息为电动机轴承温度在50-53摄氏度范围内,则当前试验信息满足参考试验信息,试验正常。当当前试验信息为文本型结果时,若实际文本信息和对应的参考文本信息一致,则确定当前试验信息满足对应的参考试验信息,试验工单对应的当前试验结果为试验正常。若实际文本信息和对应的参考文本信息不一致,则确定当前试验信息不满足对应的参考试验信息,试验工单对应的当前试验结果为试验异常。例如,当前试验信息为报警灯闪烁,对应的参考试验信息为报警灯熄灭,则确定当前试验信息不满足对应的参考试验信息,试验出现异常。这样,根据参考试验信息可以自动快速确定试验工单对应的试验结果。
S206,接收试验异常监控指令,根据试验异常监控指令从各个试验工单中获取目标试验工单,目标试验工单的当前试验结果为试验异常。
具体地,试验管理人员对应的管理终端安装有定期试验相关的客户端。管理终端可以通过客户端展示试验工单管理界面,并在试验工单管理界面中展示有用于触发试验异常监控动作的控件。当检测到作用于该控件的触发操作时,管理终端可以根据管理终端的终端标识生成试验异常监控指令,向服务器发送试验异常监控指令。服务器接收到该试验异常监控指令后,从各个当前正在进行试验的试验工单中,获取当前试验结果为试验异常的试验工单作为目标试验工单。可以理解,若各个当前正在进行试验的试验工单中存在多个当前试验结果为试验异常的试验工单,则目标试验工单为多个。
S208,将目标试验工单的当前试验信息发送至试验异常监控指令对应的发送终端,以使发送终端将目标试验工单的当前试验信息进行展示。
具体地,当服务器获取到目标试验工单时,响应于试验异常监控指令反馈该目标试验工单对应的当前试验信息至管理终端。当检测到作用于触发试验异常监控动作控件的触发操作时,管理终端展示试验异常监控界面。管理终端接收到服务器反馈的目标试验工单对应的当前试验信息后,将目标试验工单的当前试验信息在试验异常监控界面上进行显示,以便管理人员对异常试验工单进行监控,也可以实现执行终端和管理终端之间的信息共享。
上述试验异常监控方法,通过获取多个试验工单对应的当前试验信息,获取各个试验工单对应的参考试验信息,当前试验信息是由试验工单对应的执行终端根据作用于当前工序对应控件的触发操作发送的,将同一试验工单对应的当前试验信息和参考试验信息进行比较,根据比较结果确定各个试验工单的当前试验结果,当前试验结果包括试验正常和试验异常,从而实现了实时获取各个正在进行试验的试验工单中当前工序的执行情况,实时自动判断试验是否出现异常。另外,当接收到试验异常监控指令时,能够将当前试验结果为试验异常的试验工单返回至试验异常监控指令对应的发送端,由发送端对正在进行试验的试验工单的试验异常信息进行展示,实现对异常试验工单的监控,提高试验异常监控效率。
在一个实施例中,如图3所示,试验异常监控方法还包括:
S302,获取关联试验工单集合,关联试验工单集合包括多个存在关联关系的已执行试验工单。
其中,已执行试验工单是指试验工单中所有工序已经执行完毕,并记录有各个工序实际执行结果的试验工单。存在关联关系的已执行试验工单可以是多个关联的设备对应的已执行试验工单。关联的设备可以是同一运行***对应的设备,例如同一反应堆保护***对应的设备,同一生产***对应的设备。试验工单是对试验设备进行相关性能测试的文件,因此试验工单与试验设备存在对应关系。一个试验工单对应一个试验设备,不同的试验工单可以对应不同的试验设备,也可以对应相同的试验设备。
在一个实施例中,服务器可以将不同运行***的相关数据存储在不同的数据库。例如,同一反应堆保护***的相关数据存储在一个数据库。同一生产***对应的相关数据存储在另一个数据库。不同的数据库可以根据***标识进行区分。一个运行***的相关数据包括该运行***对应的多个试验设备,各个试验设备对应的试验工单,各个试验工单对应的参考试验信息,各个试验工单对应的历史试验信息。
S304,将关联试验工单集合输入至已训练的异常预测模型中,输出关联试验工单集合对应的目标试验异常类型。
其中,异常预测模型可以是机器学习、深度学习中的具体一种或者多种算法,例如支持向量机、AdaBoosting、卷积神经网络等。得到的预测模型就是具体的算法根据训练数据学习后的结果。可通过离线训练的方式采用大量的训练数据得到准确的模型。异常预测模型的输出结果可以为无异常、具体的异常类型和异常等级。
具体地,当检测到同一***对应的各个试验工单均已执行完毕时,服务器可以自动获取已训练的异常预测模型,将同一***对应的各个已执行试验工单输入至该已训练的异常预测模型。已训练的异常预测模型可以对输入的已执行试验工单进行分析,预测该***对应的目标试验异常类型。
在一个实施例中,当接收到试验工单的第一个工序的试验信息时,服务器将该试验工单的执行状态修改为执行中。当接收到试验工单的最后一个工序的试验信息时,服务器将该试验工单的执行状态修改为已执行。因此,根据试验工单的执行状态可以确定试验工单是否已执行完毕。
在一个实施例中,可针对不同的***生成对应的不同的已训练的异常预测模型,提高不同***异常预测的适应度和准确性。例如,用于预测反应堆保护***异常的异常预测模型,用于预测生产***异常的异常预测模型。
S306,将目标试验异常类型发送至发送终端。
具体地,服务器可以将目标试验异常类型发送至试验管理人员对应的终端,以及时通知试验管理人员***可能存在的风险,从而试验管理人员可以及时采取相应的异常应对策略,避免异常发生。
上述实施例中,可以对多个试验工单进行全局监控,通过异常预测模型可以预测***性问题,进一步提高试验异常监控效率。
在一个实施例中,如图4所示,获取关联试验工单集合之前,试验异常监控方法还包括:
S402,获取多个训练关联试验工单集合,各个训练关联试验工单集合存在对应的试验异常类型。
其中,训练关联试验工单集合是指用于训练异常检测模型的关联试验工单集合。各个关联试验工单集合包括不同***对应的关联试验工单集合,各个关联试验工单集合存在对应的试验异常类型,试验异常类型包括无异常、具体的异常类型和异常等级。可以理解,可以针对不同的***分别采用对应***的关联试验工单集合训练得到与***对应的异常预测模型。因为不同的***由于设备和试验工序的差异在异常类型上也存在差异。针对不同***形成不同的异常预测模型有利于提高各个***的异常预测准确性。
具体地,可以获取各个***的历史试验工单集合作为对应的训练关联试验工单集合。
S404,将各个训练关联试验工单集合作为待训练的异常预测模型的输入,对所述待训练的异常预测模型进行无监督训练。
具体地,异常预测模型可以是深度学习神经网络模型。将各个训练关联试验工单集合分别输入异常预测模型,进行无监督训练。采用自下而上的无监督训练,逐层构建单层神经元,每层采用wake-sleep算法进行调优。每次仅调整一层,逐层调整。其中wake-sleep算法分为wake阶段和sleep阶段,其中wake阶段是认知过程,通过下层的输入特征(Input)和向上的认知(Encoder)权重产生每一层的抽象表示(Code),再通过当前的生成(Decoder)权重产生一个重建信息(Reconstruction),计算输入特征和重建信息残差,使用梯度下降修改层间的下行生成(Decoder)权重。sleep阶段是生成过程,通过上层概念(Code)和向下的生成(Decoder)权重,生成下层的状态,再利用认知(Encoder)权重产生一个抽象景象。利用初始上层概念和新建抽象景象的残差,利用梯度下降修改层间向上的认知(Encoder)权重。无监督训练时,不需要预期输出,无监督训练的目的并不是为了预测输出,而是为了感知输入。
S406,将各个训练关联试验工单集合作为待训练的异常预测模型的输入数据,将相应的试验异常类型作为待训练的异常预测模型的预期输出,对待训练的异常预测模型进行有监督训练。
具体地,训练关联试验工单集合存在对应的试验异常类型,将训练关联试验工单集合作为待训练的异常预测模型的输入数据,将相应的试验异常类型作为待训练的异常预测模型的预期输出,进行有监督训练。
进行自顶向下的有监督训练,这一步是在第一步学习获得各层参数的基础上,在最顶的编码层添加一个分类器,例如罗杰斯特回归、SVM等,而后通过带标签数据的监督训练,利用梯度下降法去微调整个网络参数。深度学习的第一步实质上是一个网络参数初始化过程,区别于传统神经网络初值随机初始化,深度学习神经网络是通过无监督训练输入数据的结构得到的,因而这个初值更接近全局最优,从而能够取得更好的效果。
S408,得到已训练的异常预测模型。
具体地,经过上面的无监督训练和有监督训练后,得到已训练的异常预测模型。
在一个实施例中,如图5所示,试验异常监控方法还包括:
S502,获取发送终端返回的试验异常解决信息。
S504,将试验异常解决信息发送至审批终端,以使审批终端对试验异常解决信息进行审批。
S506,获取审批终端返回的审批结果,当审批结果为审批通过时,将试验异常解决信息发送至目标试验工单对应的执行终端。
其中,试验异常解决信息包括管理人员标识、目标试验工单对应的当前试验信息、试验异常解决方案和执行人员标识。审批终端是指审批人员进行审批时操作的终端。
具体地,管理人员可以根据试验异常监控页面上显示的试验异常信息向目标试验工单对应的执行终端反馈试验异常解决信息,以使执行人员根据试验异常解决信息中的试验异常解决方案解决异常问题。试验异常解决信息需要相关的审批人员进行审批。服务器可以将发送终端返回的试验异常解决信息转发至审批终端,审批终端可以向服务器返回相应的审批结果。当解决方案的审批结果为审批通过时,服务器将该试验异常解决信息发送至目标试验工单对应的执行终端。
在一个实施例中,审批人员可以为一个或者多个,例如审批人员为组长、主任、经理中的至少一个。当审批人员为多个时,可以设置审批人员的审批顺序,审批顺序可以是按照审批人员的职位信息设置,例如审批人员包括组长、主任、经理,审批顺序依次为组长、主任和经理。审批顺序靠后的审批人员可以对审批顺序靠前的审批人员的审批结果进行修改。当多个审批终端返回的审批结果不同时,以审批顺序靠后的审批终端返回的审批结果作为最终的审批结果。
在一个实施例中,如图5A所示,管理终端的试验异常监控页面可以显示多个目标试验工单的当前试验信息,具体包括试验工单编号、工序编号、工序描述、当前试验信息、参考试验信息和执行人员。在每条当前试验信息的对应位置还设置有“反馈”按钮。当获取到管理人员对“反馈”按钮的点击操作时,显示反馈页面。反馈页面包括信息输入框和“确定”按钮。管理人员可以在反馈页面中输入试验异常解决方案。当获取到管理人员对“确定”按钮的点击操作时,将试验异常解决方案和其他相关信息打包成试验异常解决信息发送至服务器,由服务器转发至审批终端进行审批。
上述实施例中,对试验异常解决信息进行审批可以提高试验异常解决方***性。同时,试验工单的当前试验信息和试验异常解决信息在管理终端和执行终端之间传输,实现了管理终端和执行终端的信息共享。
应该理解的是,上述流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图6所示,提供了一种试验异常监控装置,包括:试验信息获取模块602、当前试验结果确定模块604、试验异常监控指令接收模块606和目标试验工单发送模块608,其中:
试验信息获取模块602,用于获取多个试验工单对应的当前试验信息,获取各个试验工单对应的参考试验信息,当前试验信息是由试验工单对应的执行终端根据作用于当前工序对应控件的触发操作发送的;
当前试验结果确定模块604,用于将同一试验工单对应的当前试验信息和参考试验信息进行比较,根据比较结果确定各个试验工单的当前试验结果,当前试验结果包括试验正常和试验异常;
试验异常监控指令接收模块606,用于接收试验异常监控指令,根据试验异常监控指令从当前试验工单集合中获取目标试验工单,目标试验工单的当前试验结果为试验异常;
目标试验工单发送模块608,用于将目标试验工单的当前试验信息发送至试验异常监控指令对应的发送终端,以使发送终端将目标试验工单的当前试验信息进行展示。
在一个实施例中,该试验异常监控装置还包括:
模型使用模块,用于获取关联试验工单集合,关联试验工单集合包括多个存在关联关系的已执行试验工单;将关联试验工单集合输入至已训练的异常预测模型中,输出关联试验工单集合对应的目标试验异常类型;将目标试验异常类型发送至所述发送终端。
在一个实施例中,该试验异常监控装置还包括:
模型训练模块,用于获取多个训练关联试验工单集合,各个训练关联试验工单集合存在对应的试验异常类型;将各个训练关联试验工单集合作为待训练的异常预测模型的输入,对待训练的异常预测模型进行无监督训练;将各个训练关联试验工单集合作为待训练的异常预测模型的输入数据,将相应的试验异常类型作为待训练的异常预测模型的预期输出,对待训练的异常预测模型进行有监督训练;得到已训练的异常预测模型。
在一个实施例中,当前试验结果确定模块还用于当当前试验信息满足相应的参考试验信息时,确定试验工单对应的试验结果为执行正常;当当前试验信息不满足相应的参考执行结果时,确定试验工单对应的当前执行结果为执行异常。
在一个实施例中,该试验异常监控装置还包括:
试验异常解决信息发送模块,用于获取发送终端返回的试验异常解决信息;将试验异常解决信息发送至审批终端,以使审批终端对试验异常解决信息进行审批;获取审批终端返回的审批结果,当审批结果为审批通过时,将试验异常解决信息发送至目标试验工单对应的执行终端。
关于试验异常监控装置的具体限定可以参见上文中对于试验异常监控方法的限定,在此不再赘述。上述试验异常监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图7所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储试验异常监控的相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种试验异常监控方法。
本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述试验异常监控方法的步骤。此处试验异常监控方法的步骤可以是上述各个实施例的试验异常监控方法中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,计算机程序被处理器执行时,使得处理器执行上述试验异常监控方法的步骤。此处试验异常监控方法的步骤可以是上述各个实施例的试验异常监控方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种试验异常监控方法,其特征在于,所述方法包括:
获取多个试验工单对应的当前试验信息,获取各个试验工单对应的参考试验信息,所述当前试验信息是由试验工单对应的执行终端根据作用于当前工序对应控件的触发操作发送的;
将同一试验工单对应的当前试验信息和参考试验信息进行比较,根据比较结果确定所述各个试验工单的当前试验结果,所述当前试验结果包括试验正常和试验异常;
接收试验异常监控指令,根据所述试验异常监控指令从所述各个试验工单中获取目标试验工单,所述目标试验工单的当前试验结果为试验异常;
将所述目标试验工单的当前试验信息发送至所述试验异常监控指令对应的发送终端,以使所述发送终端将所述目标试验工单的当前试验信息进行展示。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取关联试验工单集合,所述关联试验工单集合包括多个存在关联关系的已执行试验工单;
将所述关联试验工单集合输入至已训练的异常预测模型中,输出所述关联试验工单集合对应的目标试验异常类型;
将所述目标试验异常类型发送至所述发送终端。
3.根据权利要求2所述的方法,其特征在于,所述获取关联试验工单集合之前,所述方法还包括:
获取多个训练关联试验工单集合,各个训练关联试验工单集合存在对应的试验异常类型;
将各个训练关联试验工单集合作为待训练的异常预测模型的输入,对所述待训练的异常预测模型进行无监督训练;
将所述各个训练关联试验工单集合作为所述待训练的异常预测模型的输入数据,将相应的试验异常类型作为所述待训练的异常预测模型的预期输出,对所述待训练的异常预测模型进行有监督训练;
得到所述已训练的异常预测模型。
4.根据权利要求1所述的方法,其特征在于,所述将同一试验工单对应的当前试验信息和参考试验信息进行比较,根据比较结果确定所述各个试验工单的当前试验结果,包括:
当所述当前试验信息满足相应的参考试验信息时,确定试验工单对应的试验结果为执行正常;
当所述当前试验信息不满足相应的参考执行结果时,确定所述试验工单对应的当前执行结果为执行异常。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述发送终端返回的试验异常解决信息;
将所述试验异常解决信息发送至审批终端,以使所述审批终端对所述试验异常解决信息进行审批;
获取所述审批终端返回的审批结果,当所述审批结果为审批通过时,将所述试验异常解决信息发送至所述目标试验工单对应的执行终端。
6.一种试验异常监控装置,其特征在于,所述装置包括:
试验信息获取模块,用于获取多个试验工单对应的当前试验信息,获取各个试验工单对应的参考试验信息,所述当前试验信息是由试验工单对应的执行终端根据作用于当前工序对应控件的触发操作发送的;
当前试验结果确定模块,用于将同一试验工单对应的当前试验信息和参考试验信息进行比较,根据比较结果确定所述各个试验工单的当前试验结果,所述当前试验结果包括试验正常和试验异常;
试验异常监控指令接收模块,用于接收试验异常监控指令,根据所述试验异常监控指令从所述各个试验工单中获取目标试验工单,所述目标试验工单的当前试验结果为试验异常;
目标试验工单发送模块,用于将所述目标试验工单的当前试验信息发送至所述试验异常监控指令对应的发送终端,以使所述发送终端将所述目标试验工单的当前试验信息进行展示。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
模型使用模块,用于获取关联试验工单集合,所述关联试验工单集合包括多个存在关联关系的已执行试验工单;将所述关联试验工单集合输入至已训练的异常预测模型中,输出所述关联试验工单集合对应的目标试验异常类型;将所述目标试验异常类型发送至所述发送终端。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
模型训练模块,用于获取多个训练关联试验工单集合,各个训练关联试验工单集合存在对应的试验异常类型;将各个训练关联试验工单集合作为待训练的异常预测模型的输入,对所述待训练的异常预测模型进行无监督训练;将所述各个训练关联试验工单集合作为所述待训练的异常预测模型的输入数据,将相应的试验异常类型作为所述待训练的异常预测模型的预期输出,对所述待训练的异常预测模型进行有监督训练;得到所述已训练的异常预测模型。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110228630.4A CN112862459A (zh) | 2021-03-02 | 2021-03-02 | 试验异常监控方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110228630.4A CN112862459A (zh) | 2021-03-02 | 2021-03-02 | 试验异常监控方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112862459A true CN112862459A (zh) | 2021-05-28 |
Family
ID=75990824
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110228630.4A Pending CN112862459A (zh) | 2021-03-02 | 2021-03-02 | 试验异常监控方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112862459A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114529218A (zh) * | 2022-03-04 | 2022-05-24 | 三门核电有限公司 | 一种用于核电机组生产工作的风险挑战管理方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111091278A (zh) * | 2019-12-04 | 2020-05-01 | 湃方科技(天津)有限责任公司 | 机械设备异常检测的边缘检测模型构建方法及装置 |
CN111353482A (zh) * | 2020-05-25 | 2020-06-30 | 天津开发区精诺瀚海数据科技有限公司 | 一种基于lstm的疲劳因子隐性异常检测及故障诊断方法 |
CN111429087A (zh) * | 2020-03-10 | 2020-07-17 | 岭东核电有限公司 | 基于核电试验的试验工序信息处理方法和装置 |
CN112257610A (zh) * | 2020-10-23 | 2021-01-22 | 岭东核电有限公司 | 核电设备监控方法、装置、计算机设备和存储介质 |
-
2021
- 2021-03-02 CN CN202110228630.4A patent/CN112862459A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111091278A (zh) * | 2019-12-04 | 2020-05-01 | 湃方科技(天津)有限责任公司 | 机械设备异常检测的边缘检测模型构建方法及装置 |
CN111429087A (zh) * | 2020-03-10 | 2020-07-17 | 岭东核电有限公司 | 基于核电试验的试验工序信息处理方法和装置 |
CN111353482A (zh) * | 2020-05-25 | 2020-06-30 | 天津开发区精诺瀚海数据科技有限公司 | 一种基于lstm的疲劳因子隐性异常检测及故障诊断方法 |
CN112257610A (zh) * | 2020-10-23 | 2021-01-22 | 岭东核电有限公司 | 核电设备监控方法、装置、计算机设备和存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114529218A (zh) * | 2022-03-04 | 2022-05-24 | 三门核电有限公司 | 一种用于核电机组生产工作的风险挑战管理方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11119878B2 (en) | System to manage economics and operational dynamics of IT systems and infrastructure in a multi-vendor service environment | |
CN111191871A (zh) | 项目基线数据生成方法、装置、计算机设备和存储介质 | |
CN112884199B (zh) | 水电站设备故障预测方法、装置、计算机设备和存储介质 | |
CN112100575A (zh) | 设备状态趋势预测方法、装置、计算机设备和存储介质 | |
EP4028963A1 (en) | Systems and methods for predicting manufacturing process risks | |
CN115562225A (zh) | 工业机器人运维管理方法、装置、计算机设备和存储介质 | |
CN111027116A (zh) | 建筑物运维管理方法、装置、计算机设备和存储介质 | |
JP2019028834A (ja) | 異常値診断装置、異常値診断方法、およびプログラム | |
CN111581191B (zh) | 核安全数据校验方法、装置、计算机设备及存储介质 | |
CN110866634A (zh) | 基于模型选择的地下电缆故障预警方法和装置 | |
JP2020160528A (ja) | 劣化推定装置、学習装置、劣化推定方法、学習方法、劣化推定プログラム、および、学習プログラム | |
Bülbül et al. | Exact and heuristic approaches for joint maintenance and spare parts planning | |
CN112862459A (zh) | 试验异常监控方法、装置、计算机设备和存储介质 | |
CN112379913B (zh) | 基于风险识别的软件优化方法、装置、设备及存储介质 | |
Choubey et al. | Prescriptive equipment maintenance: a framework | |
CN117829816A (zh) | 一种智能化的设备维修指导方法及*** | |
US20180089637A1 (en) | Framework for industrial asset repair recommendations | |
CN112363848B (zh) | 移动终端远程控制方法、装置、计算机设备和存储介质 | |
CN115601013A (zh) | 核反应堆故障判定方法、装置、设备、存储介质和产品 | |
CN110865939B (zh) | 应用程序质量监测方法、装置、计算机设备和存储介质 | |
CN113808727A (zh) | 设备监控方法、装置、计算机设备和可读存储介质 | |
CN112862460A (zh) | 工单处理方法、装置、计算机设备和存储介质 | |
CN113689042A (zh) | 监测节点的故障源预测方法 | |
CN111141981A (zh) | 线损点检方法、装置、计算机设备和存储介质 | |
CN115499289B (zh) | 一种设备状态评估预警方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |