CN113283849A - 基于视频上下文联系的物流异常智能检测方法 - Google Patents
基于视频上下文联系的物流异常智能检测方法 Download PDFInfo
- Publication number
- CN113283849A CN113283849A CN202110840803.8A CN202110840803A CN113283849A CN 113283849 A CN113283849 A CN 113283849A CN 202110840803 A CN202110840803 A CN 202110840803A CN 113283849 A CN113283849 A CN 113283849A
- Authority
- CN
- China
- Prior art keywords
- video
- frame
- video frame
- calculating
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/083—Shipping
- G06Q10/0832—Special goods or special handling procedures, e.g. handling of hazardous or fragile goods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Economics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Development Economics (AREA)
- Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
一种基于视频上下文联系的物流异常智能检测方法,通过两个时序方向得到的预测帧综合判断当前视频帧是否是异常事件。避免了人工检测方法存在的异常定义模糊、特征提取繁琐的问题。通过联系上下文语义的方法可以解决物流异常智能检测方法及***上缺乏视频上下文信息的问题,完善视频上下文的概念能全面地判断视频帧发生的事件是否为异常事件。此外,生成对抗网络中两个生成器的分支不仅用于预测与回溯,因为两个生成器在时序上生成的是同一个视频帧,所以两个生成器的结果对比使得生成的视频帧更加相同,增加生成器的约束。
Description
技术领域
本发明涉及人工智能技术领域,具体涉及一种基于视频上下文联系的物流异常智能检测方法。
背景技术
人工智能被运用到物流中做分拣、运送、识别等领域,实现识别流程监控,商品仓储、配送流程监控等环节中的多种功能,随着生产、物流或仓储配送过程中的物品、设备、人物等目标物流量的数量的不断增多,难免在进行以上流程中会发生异常事件。例如,在物流进行分拣时,若物流的处理方式出现不同于其他正常的事件则发生异常,出现如机器停顿,故障失控,以及部件损坏等异常事件。在工业生产流程中,出现操作人员错误操作等异常行为。这些异常事件或行为仅靠人工的识别和查看,显然费事费力,效率低下。因此,人工智能技术的应用是非常必要的,但是现有技术中,上下文语境的技术还没有应用到视频异常检测中使用。现有基于深度学习的方法,在单一时序上预测未来的视频帧,这样的视频异常检测技术由于没有考虑到当前视频帧的上下文语境,缺少可解释性,所以还不能够精确的判断与检测。
发明内容
本发明为了克服以上技术的不足,提供了一种综合物流对象的前后行为判断是否发生异常事件,提高物流异常智能检测的精确度的基于视频上下文联系的物流异常智能检测方法。
本发明克服其技术问题所采用的技术方案是:
一种基于视频上下文联系的物流异常智能检测方法,包括如下步骤:
d)计算损失函数;
e)利用损失函数优化GAN网络判别器,得到优化的生成器模型;
f)重复步骤c)至步骤e)M次,得到迭代后的生成器模型;
进一步的,步骤d)包括如下步骤:
优选的,步骤f)中M的取值大于10000。
进一步的,步骤i)中判定的发生异常事件的视频帧以高亮的形式在视频中显示。
本发明的有益效果是:通过两个时序方向得到的预测帧综合判断当前视频帧是否是异常事件。避免了人工检测方法存在的异常定义模糊、特征提取繁琐的问题。通过联系上下文语义的方法可以解决物流异常智能检测方法及***上缺乏视频上下文信息的问题,完善视频上下文的概念能全面地判断视频帧发生的事件是否为异常事件。此外,生成对抗网络中两个生成器的分支不仅用于预测与回溯,因为两个生成器在时序上生成的是同一个视频帧,所以两个生成器的结果对比使得生成的视频帧更加相同,增加生成器的约束。
具体实施方式
下面对本发明做进一步说明。
一种基于视频上下文联系的物流异常智能检测方法,包括如下步骤:
b)训练数据中,需要逆置输入视频帧的顺序,即正向输入视频帧片段和逆向输入视频帧片段,具体的对视频帧集合做调换视频帧顺序处理,形成正向输入视频帧片段、逆向输入视频片段以及作为与生成帧做误差分析的视频帧(真实帧)。
c)将正向输入视频帧片段和逆向输入视频片段分别输入到GAN网络的生成器中,分别得到在时刻富含多等级特征的预测帧和。具体的生成器的卷积神经网络学习正常事件视频帧的不同等级的特征信息,包括高级特征、中级特征和低级特征,通过四张连续的视频帧的多等级特征“预测”未来视频帧。由高级特征开始进行逆卷积操作,得到的特征图尺寸到达中级特征时将其进行叠操作,即同时运用中级特征完成下一步逆卷积操作;得到的特征图尺寸到达低级特征时将其进行叠操作,即同时运用低级特征完成下一步逆卷积操作,最终前向和逆向预测生成器分别得到在时刻富含多等级特征的预测帧和。
d)生成的预测帧和需要与视频帧作对比得到误差,误差由多项约束条件组成,以不断生成更加真实的视频帧。由于两个生成器同时预测同一视频帧,所有在以下部分约束条件中生成得到的未来帧和之间同样存在对应的约束条件,各个约束条件为损失函数。
e)利用损失函数优化GAN网络判别器,得到优化的生成器模型;
f)重复步骤c)至步骤e)M次,得到迭代后的生成器模型;
通过生成对抗网络进行上下文联系的物流异常智能检测方法及***建立在人工智能的技术的基础上实现,采用深度学习的框架完成。利用深度学习的框架结合视频的上下文信息实现对当前视频的预测帧与回溯帧进行预测,基于U-Net网络使用两个生成器,分别得到预测帧和回溯帧,通过两个时序方向得到的预测帧综合判断当前视频帧是否是异常事件。避免了人工检测方法存在的异常定义模糊、特征提取繁琐的问题。同时,基于深度学习的方法,物流异常智能检测方法及***的训练阶段不需要做复杂的标注,只需要在训练集中放入正常事件供网络学习即可。除此之外,该技术的网络模型结构直观,容易部署实现。在物流异常智能检测中可以无错误的完成检测工作,以设定的综合正常得分阈值为准判断当前视频帧是否发生异常事件。而且,通过联系上下文语义的方法可以解决物流异常智能检测方法及***上缺乏视频上下文信息的问题,完善视频上下文的概念能全面地判断视频帧发生的事件是否为异常事件。此外,生成对抗网络中两个生成器的分支不仅用于预测与回溯,因为两个生成器在时序上生成的是同一个视频帧,所以两个生成器的结果对比使得生成的视频帧更加相同,增加生成器的约束。
进一步的,步骤d)包括如下步骤:
d-1)生成的帧的大小和真实帧应该是一样的,所以增加一个梯度损失可以帮助保持所有帧的大小,具体的,通过公式
计算梯度损失值,式中为二维图像的横坐标,为二维图像的横坐标,为计算二维图像中沿轴的梯度,轴为横坐标轴和纵坐标轴的集合。以该公式计算,比简单的长宽像素值比做差更加精确,并且能够同时约束前向和逆向两张视频帧的生成效果。
d-2)因为生成帧的图像应该接近真实帧的颜色,所以需要对其进行约束,使所有像素分布在同一个RGB空间中,因此通过公式
d-3) 视频异常检测中对象的动作是非常重要的,在此技术中,使用光流信息表示对象的动作,具体的:
d-5)GAN网络的判别器对视频帧进行判断,判别器在图像空间中需要不断训练以提高其鉴别视频帧真伪的能力,具体的通过公式
计算判别器损失函数。前向和逆向预测视频帧的特征作乘积后和全为1的特征向量作对比,以此约束生成的视频帧与真实帧之间的损失计算。同时两张生成的视频帧应该尽可能的相同,所以将两张生成的视频帧也做损失计算,以此提高鉴别器对时刻的生成帧和的判断能力。
优选的,步骤f)中M的取值大于10000。
优选的,步骤i)中判定的发生异常事件的视频帧以高亮的形式在视频中显示。通过高亮显示异常的视频帧可以起到警示作用。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于视频上下文联系的物流异常智能检测方法,其特征在于,包括如下步骤:
d)通过步骤d-1)至d-5)计算损失函数:
e)利用损失函数优化GAN网络判别器,得到优化的生成器模型;
f)重复步骤c)至步骤e)M次,得到迭代后的生成器模型;
3.根据权利要求1所述的基于视频上下文联系的物流异常智能检测方法,其特征在于:步骤f)中M的取值大于10000。
4.根据权利要求1所述的基于视频上下文联系的物流异常智能检测方法,其特征在于:步骤i)中判定的发生异常事件的视频帧以高亮的形式在视频中显示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110840803.8A CN113283849B (zh) | 2021-07-26 | 2021-07-26 | 基于视频上下文联系的物流异常智能检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110840803.8A CN113283849B (zh) | 2021-07-26 | 2021-07-26 | 基于视频上下文联系的物流异常智能检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113283849A true CN113283849A (zh) | 2021-08-20 |
CN113283849B CN113283849B (zh) | 2021-11-02 |
Family
ID=77287209
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110840803.8A Active CN113283849B (zh) | 2021-07-26 | 2021-07-26 | 基于视频上下文联系的物流异常智能检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113283849B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107358195A (zh) * | 2017-07-11 | 2017-11-17 | 成都考拉悠然科技有限公司 | 基于重建误差的非特定异常事件检测及定位方法、计算机 |
CN107844770A (zh) * | 2017-11-03 | 2018-03-27 | 东北大学 | 一种基于视频的电熔镁炉异常工况自动识别*** |
EP3582143A1 (en) * | 2018-06-13 | 2019-12-18 | Cosmo Artificial Intelligence - AI Limited | Systems and methods for training generative adversarial networks and use of trained generative adversarial networks |
CN110705376A (zh) * | 2019-09-11 | 2020-01-17 | 南京邮电大学 | 一种基于生成式对抗网络的异常行为检测方法 |
CN111881750A (zh) * | 2020-06-24 | 2020-11-03 | 北京工业大学 | 基于生成对抗网络的人群异常检测方法 |
CN112052763A (zh) * | 2020-08-27 | 2020-12-08 | 西安电子科技大学 | 基于双向回顾生成对抗网络的视频异常事件检测方法 |
-
2021
- 2021-07-26 CN CN202110840803.8A patent/CN113283849B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107358195A (zh) * | 2017-07-11 | 2017-11-17 | 成都考拉悠然科技有限公司 | 基于重建误差的非特定异常事件检测及定位方法、计算机 |
CN107844770A (zh) * | 2017-11-03 | 2018-03-27 | 东北大学 | 一种基于视频的电熔镁炉异常工况自动识别*** |
EP3582143A1 (en) * | 2018-06-13 | 2019-12-18 | Cosmo Artificial Intelligence - AI Limited | Systems and methods for training generative adversarial networks and use of trained generative adversarial networks |
CN110705376A (zh) * | 2019-09-11 | 2020-01-17 | 南京邮电大学 | 一种基于生成式对抗网络的异常行为检测方法 |
CN111881750A (zh) * | 2020-06-24 | 2020-11-03 | 北京工业大学 | 基于生成对抗网络的人群异常检测方法 |
CN112052763A (zh) * | 2020-08-27 | 2020-12-08 | 西安电子科技大学 | 基于双向回顾生成对抗网络的视频异常事件检测方法 |
Non-Patent Citations (2)
Title |
---|
SINUO FAN: "Video Prediction and Anomaly Detection Algorithm Based On Dual Discriminator", 《 2020 5TH INTERNATIONAL CONFERENCE ON COMPUTATIONAL INTELLIGENCE AND APPLICATIONS (ICCIA)》 * |
朱弈霖: "基于视频的公共场所人群异常行为检测***的设计与实现", 《中国优秀硕士学位论文全文数据库(社会科学I辑)》 * |
Also Published As
Publication number | Publication date |
---|---|
CN113283849B (zh) | 2021-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109063723B (zh) | 基于迭代挖掘物体共同特征的弱监督图像语义分割方法 | |
Faghih-Roohi et al. | Deep convolutional neural networks for detection of rail surface defects | |
CN111126115B (zh) | 暴力分拣行为识别方法和装置 | |
CN112381788B (zh) | 一种基于双分支匹配网络的零部件表面缺陷增量检测方法 | |
CN112561910A (zh) | 一种基于多尺度特征融合的工业表面缺陷检测方法 | |
CN110569843B (zh) | 一种矿井目标智能检测与识别方法 | |
CN110648310A (zh) | 基于注意力机制的弱监督铸件缺陷识别方法 | |
CN110895814B (zh) | 基于上下文编码网络的航空发动机孔探图像损伤分割方法 | |
CN106815576B (zh) | 基于连续时空置信图和半监督极限学习机的目标追踪方法 | |
CN113362277A (zh) | 一种基于深度学习的工件表面缺陷检测和分割方法 | |
Zhao et al. | Large scale autonomous driving scenarios clustering with self-supervised feature extraction | |
CN111079348B (zh) | 一种缓变信号检测方法和装置 | |
CN115761881A (zh) | 一种基于改进yolov5-SFF的检测方法及*** | |
Jiang et al. | Attention M-net for automatic pixel-level micro-crack detection of photovoltaic module cells in electroluminescence images | |
CN115147418A (zh) | 缺陷检测模型的压缩训练方法和装置 | |
CN114943840A (zh) | 机器学习模型的训练方法、图像的处理方法和电子设备 | |
US11210775B1 (en) | Gradient-embedded video anomaly detection | |
CN113283849B (zh) | 基于视频上下文联系的物流异常智能检测方法 | |
CN115700737A (zh) | 一种基于视频监控的溢油检测方法 | |
CN117485842A (zh) | 门式斗轮机轮斗横梁姿态实时监测方法及其*** | |
Bayram et al. | Anomaly detection of multivariate image time series based on Gramian angular field using convolutional autoencoder | |
CN113642473A (zh) | 一种基于计算机视觉的矿下煤机状态识别方法 | |
Huang et al. | Quality control on manufacturing computer keyboards using multilevel deep neural networks | |
Jiang et al. | Does background really matter? Worker activity recognition in unconstrained construction environment | |
CN117333726B (zh) | 基于深度学习的石英晶体切割异常监测方法、***及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 250101 1000, Feng Ming Road, Lingang Development Zone, Licheng District, Ji'nan, Shandong Applicant after: SHANDONG JIANZHU University Applicant after: SHANDONG NEW BEIYANG INFORMATION TECHNOLOGY Co.,Ltd. Address before: 264203 No. 126, Kunlun Road, Weihai City, Shandong Province (Science and Technology Park) Applicant before: SHANDONG NEW BEIYANG INFORMATION TECHNOLOGY Co.,Ltd. Applicant before: SHANDONG JIANZHU University |
|
GR01 | Patent grant | ||
GR01 | Patent grant |