CN114821396A - Lng卸车作业流程的规范性检测方法、设备及存储介质 - Google Patents

Lng卸车作业流程的规范性检测方法、设备及存储介质 Download PDF

Info

Publication number
CN114821396A
CN114821396A CN202210324112.7A CN202210324112A CN114821396A CN 114821396 A CN114821396 A CN 114821396A CN 202210324112 A CN202210324112 A CN 202210324112A CN 114821396 A CN114821396 A CN 114821396A
Authority
CN
China
Prior art keywords
unloading
picture
sequence
lng
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210324112.7A
Other languages
English (en)
Inventor
朱瑞
童随兵
元方
张凡超
宋开
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinao Xinzhi Technology Co ltd
Original Assignee
Xinao Xinzhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinao Xinzhi Technology Co ltd filed Critical Xinao Xinzhi Technology Co ltd
Priority to CN202210324112.7A priority Critical patent/CN114821396A/zh
Publication of CN114821396A publication Critical patent/CN114821396A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种LNG卸车作业流程的规范性检测方法、设备及存储介质，先由卸车动作分类模型识别待检测的LNG卸车图片序列对应的卸车动作，再由循环神经网络模型提取各卸车动作之间的顺序信息，最有由二分类模型判断顺序信息是否符合规范，由此本发明与现有技术相比，不仅能对单个卸车动作进行识别，更能深层地挖掘动作间必要的次序关系，能够更合理、准确地识别LNG卸车作业流程是否规范。

Description

LNG卸车作业流程的规范性检测方法、设备及存储介质
技术领域
本发明属于LNG卸车作业技术领域，尤其涉及一种LNG卸车作业流程的规范性检测方法、设备及存储介质。
背景技术
LNG(Liquefied Natural Gas，液化天然气)加气站的作业流程中最重要的一步就是槽车卸液，即LNG低温槽车从气源生产企业或接收站运送LNG至加气站，将槽罐内LNG卸到加气站储罐中。由于LNG的物理特性，在卸车过程中，会面临燃烧、气化损失、排放、卸车不充分、低温灼伤等许多风险和问题，因此，为了防范LNG卸车过程中的风险，有一套规范化的标准流程动作。但现有的LNG卸车作业流程的规范性检测方法仅仅检查各个独立的动作是否按规定执行，并未考虑各个动作之间的次序依赖关系，而即使各个独立的动作都按要求做好，但动作顺序出错也是不符合规范的。
发明内容
基于此，针对上述技术问题，提供一种LNG卸车作业流程的规范性检测方法、设备及存储介质。
本发明采用的技术方案如下：
一方面，提供一种LNG卸车作业流程的规范性检测方法，包括：
将待检测的LNG卸车图片序列依次输入训练好的卸车动作分类模型，由所述卸车动作分类模型依次识别各图片对应的卸车动作，从所述卸车动作分类模型依次取表示图片对应的卸车动作的图片特征向量，得到图片特征向量序列，所述待检测的LNG卸车图片序列为从现场LNG卸车作业流程视频中按时间顺序截取的多个关键卸车动作图片；
将所述图片特征向量序列依次输入训练好的循环神经网络模型，得到图片序列特征向量，所述图片序列特征向量中包含了关键卸车动作之间的顺序信息；
将所述图片序列特征向量输入训练好的二分类模型，确定相应的现场LNG卸车作业流程是否规范。
另一方面，提供一种电子设备，包括存储模块，所述存储模块包括由处理器加载并执行的指令，所述指令在被执行时使所述处理器执行上述的一种LNG卸车作业流程的规范性检测方法。
再一方面，提供一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现上述的一种LNG卸车作业流程的规范性检测方法。
本发明先由卸车动作分类模型识别待检测的LNG卸车图片序列对应的卸车动作，再由循环神经网络模型提取各卸车动作之间的顺序信息，最有由二分类模型判断顺序信息是否符合规范，由此本发明与现有技术相比，不仅能对单个卸车动作进行识别，更能深层地挖掘动作间必要的次序关系，能够更合理、准确地识别LNG卸车作业流程是否规范。
附图说明
下面结合附图和具体实施方式对本发明进行详细说明：
图1为本发明的的流程图。
具体实施方式
如图1所示，本说明书实施例提供一种LNG卸车作业流程的规范性检测方法，包括：
S101、将待检测的LNG卸车图片序列依次输入训练好的卸车动作分类模型，由卸车动作分类模型依次识别各图片对应的卸车动作，从卸车动作分类模型依次取表示图片对应的卸车动作的图片特征向量，得到图片特征向量序列。
其中，待检测的LNG卸车图片序列为从现场LNG卸车作业流程视频中按时间顺序截取的多个关键卸车动作图片，现场LNG卸车作业流程视频由摄像头实时抓取，关键卸车动作为人为定义的LNG卸车作业规范中的重要动作，一个重要动作用于代表一个卸车作业步骤，如动作1代表启动移动式可燃气体报警器步骤。
训练时，将各关键卸车动作的样本图片集输入卸车动作分类模型进行学习，优化模型的参数，使卸车动作分类模型能根据给定的一张关键卸车动作图片，分辨图片对应哪一个关键卸车动作，并将该图像进行特征提取和向量化表示，得到的图片特征向量可以在模型中表示该图片中描述的关键卸车动作。
如关键卸车动作有动作1、动作2、动作3...动作8，收集大量的动作1的样本图片形成动作1的样本图片集，同理，可以得到动作2的样本图片集...动作8的样本图片集，然后，用这些样本图片集中的图片对卸车动作分类模型进行训练，使其能分辨输入的图片为8个动作中的哪一个动作，并得到相应的图片特征向量。
得到各图片的图片特征向量后，将各个图片向量按次序排列，形成矩阵，即图片特征向量序列。
在本实施例中，卸车动作分类模型采用ResNet-34模型，从ResNet-34模型的倒数第二层的全连接层的取上述图片特征向量。如图片拍摄到槽车司机正在拆除盲板，ResNet-34模型能对图片进行正确分类，并用一个512维的向量表示槽车司机拆除盲板这一动作。
S102、将图片特征向量序列依次输入训练好的循环神经网络模型，得到图片序列特征向量。
由循环神经网络模型进行时序建模和特征融合，循环神经网络的处理单元的数量与序列中向量的数量相等，由于循环神经网络的递归特性，每一步的输入不仅依赖于当前步的输入特征，也依赖上一步的状态信息，因此循环神经网络能够很好的学习到图片序列的次序信息，训练好的循环神经网络模型最后输出的向量作为整个图片序列的向量化表示，即图片序列特征向量，该图片序列特征向量中包含了关键卸车动作之间的顺序信息。
S103、将图片序列特征向量输入训练好的二分类模型(如Keras-LSTM模型)，确定相应的现场LNG卸车作业流程是否规范。
训练好的二分类模型可以识别输入的图片序列特征向量所包含的顺序信息是否正确，如果正确，则代表相应的现场LNG卸车作业流程符合规范，反之，则不符合规范。
例如，在规范流程中，卸车步骤的实施需要依赖于启动移动式可燃气体报警器步骤，在将卸车的关键动作对应的图片特征向量输入循环神经网络模型时，模型还需要从之前获取启动移动式可燃气体报警器步骤的关键动作的状态信息，模型会结合当前输入和之前的状态信息，两部分信息结合才能正确地进行特征融合并向后传播，如果操作人员在卸车之前没有启动移动式可燃气体报警器，模型得不到对应的状态信息，输出的图片序列特征向量会被二分类模型识别为不符合规范。
循环神经网络模型以及二分类模型的训练过程如下：
1、采集多个正样本，将从规范的LNG卸车作业流程视频中按时间顺序截取的多个关键卸车动作图片作为正样本，规范的LNG卸车作业流程视频由摄像头抓取，要求视频必须按规范要求顺序完成卸车作业流程，正样本中多个关键卸车动作图片对应的关键卸车动作必须按顺序执行，如必须先连接静电接地线，才能开始车辆检查，必须先启动移动式可燃气体报警器，才能开始卸车等等。
2、采集多个负样本，将从规范的LNG卸车作业流程视频中按时间顺序截取的多个关键卸车动作图片的顺序打乱，形成负样本，相当于打乱了对应动作的顺序，如先开始车辆检查，再连接静电接地线，先开始卸车，后启动移动式可燃气体报警器等。
3、将多个正样本、负样本分别输入训练好的卸车动作分类模型，得到对应正样本的图片特征向量序列以及对应负样本的图片特征向量序列。
4、将各图片特征向量序列分别输入循环神经网络模型，分别得到相应的图片序列特征向量。
5、将各图片序列特征向量依次输入二分类模型，进行二分类预测，并将预测结果与正、负样本的标签进行对比，优化循环神经网络模型以及二分类模型的参数。
基于同一发明构思，本说明书实施例还提供一种电子设备，包括存储模块，存储模块包括由处理器加载并执行的指令，指令在被执行时使处理器执行本说明书上述一种LNG卸车作业流程的规范性检测方法部分中描述的根据本发明各种示例性实施方式的步骤。
其中，存储模块可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)和/或高速缓存存储单元，还可以进一步包括只读存储单元(ROM)。
基于同一发明构思，本说明书实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，一个或多个程序当被处理器执行时，实现本说明书上述一种LNG卸车作业流程的规范性检测方法部分中描述的根据本发明各种示例性实施方式的步骤。
计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。计算机可读存储介质的更具体示例包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
但是，本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。

Claims (8)

1.一种LNG卸车作业流程的规范性检测方法，其特征在于，包括：
将待检测的LNG卸车图片序列依次输入训练好的卸车动作分类模型，由所述卸车动作分类模型依次识别各图片对应的卸车动作，从所述卸车动作分类模型依次取表示图片对应的卸车动作的图片特征向量，得到图片特征向量序列，所述待检测的LNG卸车图片序列为从现场LNG卸车作业流程视频中按时间顺序截取的多个关键卸车动作图片；
将所述图片特征向量序列依次输入训练好的循环神经网络模型，得到图片序列特征向量，所述图片序列特征向量中包含了关键卸车动作之间的顺序信息；
将所述图片序列特征向量输入训练好的二分类模型，确定相应的现场LNG卸车作业流程是否规范。
2.根据权利要求1所述的一种LNG卸车作业流程的规范性检测方法，其特征在于，将各关键卸车动作的样本图片集输入所述卸车动作分类模型进行训练。
3.根据权利要求2所述的一种LNG卸车作业流程的规范性检测方法，其特征在于，所述卸车动作分类模型采用ResNet-34模型。
4.根据权利要求3所述的一种LNG卸车作业流程的规范性检测方法，其特征在于，从所述ResNet-34模型的倒数第二层的全连接层依次取表示图片对应的卸车动作的图片特征向量。
5.根据权利要求1所述的一种LNG卸车作业流程的规范性检测方法，其特征在于，所述循环神经网络模型以及二分类模型的训练包括：
将从规范的LNG卸车作业流程视频中按时间顺序截取的多个关键卸车动作图片作为正样本；
将从规范的LNG卸车作业流程视频中按时间顺序截取的多个关键卸车动作图片的顺序打乱，形成负样本；
将正样本、负样本分别输入训练好的卸车动作分类模型，得到对应正样本的图片特征向量序列以及对应负样本的图片特征向量序列；
将各图片特征向量序列分别输入所述循环神经网络模型，分别得到相应的图片序列特征向量；
将各图片序列特征向量依次输入所述二分类模型，进行二分类预测，并将预测结果与正负样本标签进行对比，优化所述循环神经网络模型以及二分类模型的参数。
6.根据权利要求5所述的一种LNG卸车作业流程的规范性检测方法，其特征在于，所述二分类模型采用Keras-LSTM模型。
7.一种电子设备，其特征在于，包括存储模块，所述存储模块包括由处理器加载并执行的指令，所述指令在被执行时使所述处理器执行根据权利要求1-6任一项所述的一种LNG卸车作业流程的规范性检测方法。
8.一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，其特征在于，所述一个或多个程序当被处理器执行时，实现权利要求1-6任一项所述的一种LNG卸车作业流程的规范性检测方法。
CN202210324112.7A 2022-03-29 2022-03-29 Lng卸车作业流程的规范性检测方法、设备及存储介质 Pending CN114821396A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210324112.7A CN114821396A (zh) 2022-03-29 2022-03-29 Lng卸车作业流程的规范性检测方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210324112.7A CN114821396A (zh) 2022-03-29 2022-03-29 Lng卸车作业流程的规范性检测方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114821396A true CN114821396A (zh) 2022-07-29

Family

ID=82533450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210324112.7A Pending CN114821396A (zh) 2022-03-29 2022-03-29 Lng卸车作业流程的规范性检测方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114821396A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116070152A (zh) * 2023-03-30 2023-05-05 北京徐工汉云技术有限公司 基于多维运行特征的挖掘机工作量识别方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116070152A (zh) * 2023-03-30 2023-05-05 北京徐工汉云技术有限公司 基于多维运行特征的挖掘机工作量识别方法和装置

Similar Documents

Publication Publication Date Title
CN109104620B (zh) 一种短视频推荐方法、装置和可读介质
CN111460250B (zh) 用于画像的数据的清洗方法、装置、介质及电子设备
CN113486833B (zh) 多模态特征提取模型训练方法、装置、电子设备
CN112712069B (zh) 一种判题方法、装置、电子设备及存储介质
CN111931809A (zh) 数据的处理方法、装置、存储介质及电子设备
CN112995690B (zh) 直播内容品类识别方法、装置、电子设备和可读存储介质
CN110675359A (zh) 一种钢卷表面的缺陷样本生成方法、***及电子设备
CN112115131A (zh) 数据去噪方法、装置、设备及计算机可读存储介质
CN117520503A (zh) 基于llm模型的金融客服对话生成方法、装置、设备及介质
CN114821396A (zh) Lng卸车作业流程的规范性检测方法、设备及存储介质
CN112287144B (zh) 图片检索方法、设备及存储介质
CN113780469A (zh) 图像识别模型的训练方法、介质、装置和计算设备
CN112434953A (zh) 一种基于计算机数据处理的客服人员考核方法和装置
CN116863116A (zh) 基于人工智能的图像识别方法、装置、设备及介质
CN115908977A (zh) 一种图像数据标注方法、装置、电子设备及存储介质
CN112949777B (zh) 相似图像确定方法及装置、电子设备和存储介质
CN114494971A (zh) 视频涉黄检测方法、装置、电子设备及存储介质
CN113986823A (zh) 一种通信机房的图片归档方法、装置、介质及设备
CN114708470A (zh) 违规图片的识别方法、介质和计算设备
CN113900935A (zh) 一种缺陷自动识别方法、装置、计算机设备及存储介质
CN112131378A (zh) 用于识别民生问题类别的方法、装置及电子设备
CN116451678B (zh) 数据关系识别及数据表整合方法
CN112131418A (zh) 目标标注方法、目标标注装置和计算机可读存储介质
CN117611845B (zh) 多模态数据的关联识别方法、装置、设备及存储介质
CN112966752B (zh) 图像匹配方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination