CN113283849A - 基于视频上下文联系的物流异常智能检测方法 - Google Patents

基于视频上下文联系的物流异常智能检测方法 Download PDF

Info

Publication number
CN113283849A
CN113283849A CN202110840803.8A CN202110840803A CN113283849A CN 113283849 A CN113283849 A CN 113283849A CN 202110840803 A CN202110840803 A CN 202110840803A CN 113283849 A CN113283849 A CN 113283849A
Authority
CN
China
Prior art keywords
video
frame
video frame
calculating
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110840803.8A
Other languages
English (en)
Other versions
CN113283849B (zh
Inventor
聂秀山
李道恒
王春涛
陶鹏
郭杰
李晓峰
王少华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong New Beiyang Information Technology Co Ltd
Shandong Jianzhu University
Original Assignee
Shandong New Beiyang Information Technology Co Ltd
Shandong Jianzhu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong New Beiyang Information Technology Co Ltd, Shandong Jianzhu University filed Critical Shandong New Beiyang Information Technology Co Ltd
Priority to CN202110840803.8A priority Critical patent/CN113283849B/zh
Publication of CN113283849A publication Critical patent/CN113283849A/zh
Application granted granted Critical
Publication of CN113283849B publication Critical patent/CN113283849B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G06Q10/0832—Special goods or special handling procedures, e.g. handling of hazardous or fragile goods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种基于视频上下文联系的物流异常智能检测方法，通过两个时序方向得到的预测帧综合判断当前视频帧是否是异常事件。避免了人工检测方法存在的异常定义模糊、特征提取繁琐的问题。通过联系上下文语义的方法可以解决物流异常智能检测方法及***上缺乏视频上下文信息的问题，完善视频上下文的概念能全面地判断视频帧发生的事件是否为异常事件。此外，生成对抗网络中两个生成器的分支不仅用于预测与回溯，因为两个生成器在时序上生成的是同一个视频帧，所以两个生成器的结果对比使得生成的视频帧更加相同，增加生成器的约束。

Description

基于视频上下文联系的物流异常智能检测方法
技术领域
本发明涉及人工智能技术领域，具体涉及一种基于视频上下文联系的物流异常智能检测方法。
背景技术
人工智能被运用到物流中做分拣、运送、识别等领域，实现识别流程监控，商品仓储、配送流程监控等环节中的多种功能，随着生产、物流或仓储配送过程中的物品、设备、人物等目标物流量的数量的不断增多，难免在进行以上流程中会发生异常事件。例如，在物流进行分拣时，若物流的处理方式出现不同于其他正常的事件则发生异常，出现如机器停顿，故障失控，以及部件损坏等异常事件。在工业生产流程中，出现操作人员错误操作等异常行为。这些异常事件或行为仅靠人工的识别和查看，显然费事费力，效率低下。因此，人工智能技术的应用是非常必要的，但是现有技术中，上下文语境的技术还没有应用到视频异常检测中使用。现有基于深度学习的方法，在单一时序上预测未来的视频帧，这样的视频异常检测技术由于没有考虑到当前视频帧的上下文语境，缺少可解释性，所以还不能够精确的判断与检测。
发明内容
本发明为了克服以上技术的不足，提供了一种综合物流对象的前后行为判断是否发生异常事件，提高物流异常智能检测的精确度的基于视频上下文联系的物流异常智能检测方法。
本发明克服其技术问题所采用的技术方案是：
一种基于视频上下文联系的物流异常智能检测方法，包括如下步骤：
a)将N条监控视频作为训练集，每条监控视频划分为K张视频帧，从K张视频帧中取9张视频帧构成视频帧集合I，
Figure 940334DEST_PATH_IMAGE001
，
Figure 326316DEST_PATH_IMAGE002
为时刻
Figure 184682DEST_PATH_IMAGE003
的视频帧；
b)对视频帧集合
Figure 907788DEST_PATH_IMAGE004
做调换视频帧顺序处理，形成正向输入视频帧片段
Figure 535209DEST_PATH_IMAGE005
、逆向输入视频片段
Figure 560934DEST_PATH_IMAGE006
以及作为与生成帧做误差分析的视频帧
Figure 155863DEST_PATH_IMAGE002
；
c)将正向输入视频帧片段
Figure 436322DEST_PATH_IMAGE007
和逆向输入视频片段
Figure 574042DEST_PATH_IMAGE008
分别输入到GAN网络的生成器中，分别得到在
Figure 629723DEST_PATH_IMAGE003
时刻富含多等级特征的预测帧
Figure 728260DEST_PATH_IMAGE009
和
Figure 793168DEST_PATH_IMAGE010
；
d)计算损失函数；
e)利用损失函数优化GAN网络判别器，得到优化的生成器模型；
f)重复步骤c)至步骤e)M次，得到迭代后的生成器模型；
g)将一监控视频输入至步骤f)中迭代后的生成器模型中，分别计算时刻
Figure 519815DEST_PATH_IMAGE003
的视频帧
Figure 293867DEST_PATH_IMAGE002
与预测帧
Figure 863389DEST_PATH_IMAGE009
的PSNR值
Figure 607354DEST_PATH_IMAGE011
和视频帧
Figure 329454DEST_PATH_IMAGE002
与预测帧
Figure 133462DEST_PATH_IMAGE010
的PSNR值
Figure 190279DEST_PATH_IMAGE012
；
h)通过公式
Figure 344793DEST_PATH_IMAGE013
将两个PSNR值加权计算，得到当前视频帧的总和正常事件得分
Figure 311612DEST_PATH_IMAGE014
；
i)如果
Figure 411155DEST_PATH_IMAGE015
，则表明当前视频帧没有发生异常事件，如果
Figure 174842DEST_PATH_IMAGE016
，则表明当前视频帧发生异常事件，
Figure 385244DEST_PATH_IMAGE017
为认为设定的正常事件得分阈值。
进一步的，步骤d)包括如下步骤：
d-1)通过公式
Figure 816356DEST_PATH_IMAGE018
计算梯度损失值
Figure 227746DEST_PATH_IMAGE019
，式中
Figure 727998DEST_PATH_IMAGE020
为二维图像的横坐标，
Figure 227243DEST_PATH_IMAGE021
为二维图像的横坐标，
Figure 27709DEST_PATH_IMAGE022
为计算二维图像中沿
Figure 610000DEST_PATH_IMAGE023
轴的梯度，
Figure 628508DEST_PATH_IMAGE023
轴为横坐标轴
Figure 321657DEST_PATH_IMAGE020
和纵坐标轴
Figure 711050DEST_PATH_IMAGE021
的集合；
d-2)通过公式
Figure 74030DEST_PATH_IMAGE024
计算得到强度损失值
Figure 814452DEST_PATH_IMAGE025
，式中
Figure 311293DEST_PATH_IMAGE026
为将视频帧转换为数值矩阵的函数；
d-3)通过公式
Figure 305925DEST_PATH_IMAGE027
计算得到光流损失值
Figure 823494DEST_PATH_IMAGE028
，式中
Figure 192158DEST_PATH_IMAGE029
为时刻
Figure 571318DEST_PATH_IMAGE003
的视频帧
Figure 200883DEST_PATH_IMAGE002
与前一帧的光流向量，
Figure 637156DEST_PATH_IMAGE030
为时刻
Figure 493116DEST_PATH_IMAGE003
的预测帧
Figure 190814DEST_PATH_IMAGE009
与前一帧的光流向量，
Figure 425617DEST_PATH_IMAGE031
为时刻
Figure 691513DEST_PATH_IMAGE003
的预测帧
Figure 628245DEST_PATH_IMAGE010
与前一帧的光流向量，
Figure 880366DEST_PATH_IMAGE032
为光流向量转化为浮点数值的函数；
d-4)视频帧被分为
Figure 94310DEST_PATH_IMAGE033
个块，通过公式
Figure 390162DEST_PATH_IMAGE034
计算对抗损失值
Figure 564923DEST_PATH_IMAGE035
，
Figure 604423DEST_PATH_IMAGE036
为GAN网络中判别器在图像空间的特征提取函数；
d-5)通过公式
Figure 938452DEST_PATH_IMAGE037
计算判别器损失函数
Figure 893288DEST_PATH_IMAGE038
。
进一步的，步骤e)中：将梯度损失值
Figure 804613DEST_PATH_IMAGE019
、强度损失值
Figure 132957DEST_PATH_IMAGE025
、光流损失值
Figure 587072DEST_PATH_IMAGE039
、对抗损失值
Figure 224727DEST_PATH_IMAGE035
、判别器损失函数
Figure 764293DEST_PATH_IMAGE038
加和计算，将加和后的损失函数优化GAN网络生成器，得到优化后的生成器模型。
优选的，步骤f)中M的取值大于10000。
进一步的，步骤i)中判定的发生异常事件的视频帧以高亮的形式在视频中显示。
本发明的有益效果是：通过两个时序方向得到的预测帧综合判断当前视频帧是否是异常事件。避免了人工检测方法存在的异常定义模糊、特征提取繁琐的问题。通过联系上下文语义的方法可以解决物流异常智能检测方法及***上缺乏视频上下文信息的问题，完善视频上下文的概念能全面地判断视频帧发生的事件是否为异常事件。此外，生成对抗网络中两个生成器的分支不仅用于预测与回溯，因为两个生成器在时序上生成的是同一个视频帧，所以两个生成器的结果对比使得生成的视频帧更加相同，增加生成器的约束。
具体实施方式
下面对本发明做进一步说明。
一种基于视频上下文联系的物流异常智能检测方法，包括如下步骤：
a)将N条监控视频作为训练集，每条监控视频划分为K张视频帧。将视频划分为多个连续9张视频帧作为检测的输入单位，具体的从K张视频帧中取9张视频帧构成视频帧集合I，
Figure 896328DEST_PATH_IMAGE001
，
Figure 329583DEST_PATH_IMAGE002
为时刻
Figure 13505DEST_PATH_IMAGE003
的视频帧。
b)训练数据中，需要逆置输入视频帧的顺序，即正向输入视频帧片段和逆向输入视频帧片段，具体的对视频帧集合
Figure 384575DEST_PATH_IMAGE004
做调换视频帧顺序处理，形成正向输入视频帧片段
Figure 569569DEST_PATH_IMAGE005
、逆向输入视频片段
Figure 732697DEST_PATH_IMAGE006
以及作为与生成帧做误差分析的视频帧
Figure 459957DEST_PATH_IMAGE002
（真实帧）。
c)将正向输入视频帧片段
Figure 833169DEST_PATH_IMAGE007
和逆向输入视频片段
Figure 697220DEST_PATH_IMAGE008
分别输入到GAN网络的生成器中，分别得到在
Figure 324642DEST_PATH_IMAGE003
时刻富含多等级特征的预测帧
Figure 6159DEST_PATH_IMAGE009
和
Figure 476454DEST_PATH_IMAGE010
。具体的生成器的卷积神经网络学习正常事件视频帧的不同等级的特征信息，包括高级特征
Figure 19562DEST_PATH_IMAGE040
、中级特征
Figure 750758DEST_PATH_IMAGE041
和低级特征
Figure 212963DEST_PATH_IMAGE042
，通过四张连续的视频帧的多等级特征“预测”未来视频帧。由高级特征
Figure 45921DEST_PATH_IMAGE040
开始进行逆卷积操作，得到的特征图尺寸到达中级特征
Figure 110829DEST_PATH_IMAGE041
时将其进行叠操作，即同时运用中级特征
Figure 103056DEST_PATH_IMAGE041
完成下一步逆卷积操作；得到的特征图尺寸到达低级特征
Figure 602740DEST_PATH_IMAGE042
时将其进行叠操作，即同时运用低级特征
Figure 906682DEST_PATH_IMAGE042
完成下一步逆卷积操作，最终前向和逆向预测生成器分别得到在
Figure 916226DEST_PATH_IMAGE003
时刻富含多等级特征的预测帧
Figure 638326DEST_PATH_IMAGE009
和
Figure 566968DEST_PATH_IMAGE010
。
d)生成的预测帧
Figure 499152DEST_PATH_IMAGE009
和
Figure 922174DEST_PATH_IMAGE010
需要与视频帧
Figure 748047DEST_PATH_IMAGE002
作对比得到误差，误差由多项约束条件组成，以不断生成更加真实的视频帧。由于两个生成器同时预测同一视频帧，所有在以下部分约束条件中生成得到的未来帧
Figure 457377DEST_PATH_IMAGE009
和
Figure 17803DEST_PATH_IMAGE010
之间同样存在对应的约束条件，各个约束条件为损失函数。
e)利用损失函数优化GAN网络判别器，得到优化的生成器模型；
f)重复步骤c)至步骤e)M次，得到迭代后的生成器模型；
g)将一监控视频输入至步骤f)中迭代后的生成器模型中，分别计算时刻
Figure 369150DEST_PATH_IMAGE003
的视频帧
Figure 49530DEST_PATH_IMAGE002
与预测帧
Figure 333356DEST_PATH_IMAGE009
的PSNR值
Figure 974553DEST_PATH_IMAGE011
和视频帧
Figure 988645DEST_PATH_IMAGE002
与预测帧
Figure 539843DEST_PATH_IMAGE010
的PSNR值
Figure 856555DEST_PATH_IMAGE012
；
h)通过公式
Figure 109682DEST_PATH_IMAGE013
将两个PSNR值加权计算，得到当前视频帧的总和正常事件得分
Figure 412619DEST_PATH_IMAGE014
；
i)如果
Figure 942957DEST_PATH_IMAGE015
，则表明当前视频帧没有发生异常事件，如果
Figure 820783DEST_PATH_IMAGE016
，则表明当前视频帧发生异常事件，
Figure 311939DEST_PATH_IMAGE017
为认为设定的正常事件得分阈值。
通过生成对抗网络进行上下文联系的物流异常智能检测方法及***建立在人工智能的技术的基础上实现，采用深度学习的框架完成。利用深度学习的框架结合视频的上下文信息实现对当前视频的预测帧与回溯帧进行预测，基于U-Net网络使用两个生成器，分别得到预测帧和回溯帧，通过两个时序方向得到的预测帧综合判断当前视频帧是否是异常事件。避免了人工检测方法存在的异常定义模糊、特征提取繁琐的问题。同时，基于深度学习的方法，物流异常智能检测方法及***的训练阶段不需要做复杂的标注，只需要在训练集中放入正常事件供网络学习即可。除此之外，该技术的网络模型结构直观，容易部署实现。在物流异常智能检测中可以无错误的完成检测工作，以设定的综合正常得分阈值为准判断当前视频帧是否发生异常事件。而且，通过联系上下文语义的方法可以解决物流异常智能检测方法及***上缺乏视频上下文信息的问题，完善视频上下文的概念能全面地判断视频帧发生的事件是否为异常事件。此外，生成对抗网络中两个生成器的分支不仅用于预测与回溯，因为两个生成器在时序上生成的是同一个视频帧，所以两个生成器的结果对比使得生成的视频帧更加相同，增加生成器的约束。
进一步的，步骤d)包括如下步骤：
d-1)生成的帧的大小和真实帧应该是一样的，所以增加一个梯度损失可以帮助保持所有帧的大小，具体的，通过公式
Figure 543200DEST_PATH_IMAGE018
计算梯度损失值
Figure 52679DEST_PATH_IMAGE019
，式中
Figure 976772DEST_PATH_IMAGE020
为二维图像的横坐标，
Figure 223733DEST_PATH_IMAGE021
为二维图像的横坐标，
Figure 117739DEST_PATH_IMAGE022
为计算二维图像中沿
Figure 357091DEST_PATH_IMAGE023
轴的梯度，
Figure 327452DEST_PATH_IMAGE023
轴为横坐标轴
Figure 42467DEST_PATH_IMAGE020
和纵坐标轴
Figure 349952DEST_PATH_IMAGE021
的集合。以该公式计算，比简单的长宽像素值比做差更加精确，并且能够同时约束前向和逆向两张视频帧的生成效果。
d-2)因为生成帧的图像应该接近真实帧的颜色，所以需要对其进行约束，使所有像素分布在同一个RGB空间中，因此通过公式
Figure 850334DEST_PATH_IMAGE024
计算得到强度损失值
Figure 116230DEST_PATH_IMAGE025
，式中
Figure 52962DEST_PATH_IMAGE026
为将视频帧转换为数值矩阵的函数。以该公式计算，能够同时约束前向和逆向两张视频帧的生成效果。
d-3) 视频异常检测中对象的动作是非常重要的，在此技术中，使用光流信息表示对象的动作，具体的：
通过公式
Figure 570662DEST_PATH_IMAGE027
计算得到光流损失值
Figure 784606DEST_PATH_IMAGE028
，式中
Figure 346038DEST_PATH_IMAGE029
为时刻
Figure 911011DEST_PATH_IMAGE003
的视频帧
Figure 432735DEST_PATH_IMAGE002
与前一帧的光流向量，
Figure 891398DEST_PATH_IMAGE030
为时刻
Figure 843305DEST_PATH_IMAGE003
的预测帧
Figure 754629DEST_PATH_IMAGE009
与前一帧的光流向量，
Figure 473186DEST_PATH_IMAGE031
为时刻
Figure 537088DEST_PATH_IMAGE003
的预测帧
Figure 174743DEST_PATH_IMAGE010
与前一帧的光流向量，
Figure 714309DEST_PATH_IMAGE032
为光流向量转化为浮点数值的函数。
d-4) 为了向生成器添加约束，我们的技术中考虑了对抗性损失，使用鉴别器对生成的视频帧进行判断，如果鉴别器认为生成器得到的生成帧不是真实帧，则视频帧被分为
Figure 111923DEST_PATH_IMAGE033
个块，通过公式
Figure 420545DEST_PATH_IMAGE034
计算对抗损失值
Figure 229101DEST_PATH_IMAGE035
，
Figure 990383DEST_PATH_IMAGE036
为GAN网络中判别器在图像空间的特征提取函数。前向和逆向预测视频帧的特征作乘积后和全为1的特征向量作对比，以此约束生成的视频帧与真实帧之间的误差。
d-5)GAN网络的判别器对视频帧进行判断，判别器在图像空间中需要不断训练以提高其鉴别视频帧真伪的能力，具体的通过公式
Figure 940758DEST_PATH_IMAGE037
计算判别器损失函数
Figure 228520DEST_PATH_IMAGE038
。前向和逆向预测视频帧的特征作乘积后和全为1的特征向量作对比，以此约束生成的视频帧与真实帧之间的损失计算。同时两张生成的视频帧应该尽可能的相同，所以将两张生成的视频帧也做损失计算，以此提高鉴别器对时刻
Figure 348922DEST_PATH_IMAGE003
的生成帧
Figure 472867DEST_PATH_IMAGE009
和
Figure 195973DEST_PATH_IMAGE010
的判断能力。
进一步的，步骤e)中：将梯度损失值
Figure 213607DEST_PATH_IMAGE019
、强度损失值
Figure 380278DEST_PATH_IMAGE025
、光流损失值
Figure 116152DEST_PATH_IMAGE039
、对抗损失值
Figure 377369DEST_PATH_IMAGE035
、判别器损失函数
Figure 390456DEST_PATH_IMAGE038
加和计算，将加和后的损失函数优化GAN网络生成器，得到优化后的生成器模型。
优选的，步骤f)中M的取值大于10000。
优选的，步骤i)中判定的发生异常事件的视频帧以高亮的形式在视频中显示。通过高亮显示异常的视频帧可以起到警示作用。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于视频上下文联系的物流异常智能检测方法，其特征在于，包括如下步骤：
a)将N条监控视频作为训练集，每条监控视频划分为K张视频帧，从K张视频帧中取9张视频帧构成视频帧集合I，
Figure 884219DEST_PATH_IMAGE001
，
Figure 20802DEST_PATH_IMAGE002
为时刻
Figure 220839DEST_PATH_IMAGE003
的视频帧；
b)对视频帧集合
Figure 620728DEST_PATH_IMAGE004
做调换视频帧顺序处理，形成正向输入视频帧片段
Figure 640636DEST_PATH_IMAGE005
、逆向输入视频片段
Figure 846490DEST_PATH_IMAGE006
以及作为与生成帧做误差分析的视频帧
Figure 510820DEST_PATH_IMAGE002
；
c)将正向输入视频帧片段
Figure 206244DEST_PATH_IMAGE007
和逆向输入视频片段
Figure 651132DEST_PATH_IMAGE008
分别输入到GAN网络的生成器中，分别得到在
Figure 332780DEST_PATH_IMAGE003
时刻富含多等级特征的预测帧
Figure 241830DEST_PATH_IMAGE009
和
Figure 45838DEST_PATH_IMAGE010
；
d)通过步骤d-1)至d-5)计算损失函数：
d-1)通过公式
Figure 446863DEST_PATH_IMAGE011
计算梯度损失值
Figure 197782DEST_PATH_IMAGE012
，式中
Figure 961338DEST_PATH_IMAGE013
为二维图像的横坐标，
Figure 873931DEST_PATH_IMAGE014
为二维图像的横坐标，
Figure 621307DEST_PATH_IMAGE015
为计算二维图像中沿
Figure 701215DEST_PATH_IMAGE016
轴的梯度，
Figure 460224DEST_PATH_IMAGE016
轴为横坐标轴
Figure 668351DEST_PATH_IMAGE013
和纵坐标轴
Figure 247231DEST_PATH_IMAGE014
的集合；
d-2)通过公式
Figure 464586DEST_PATH_IMAGE017
计算得到强度损失值
Figure 874839DEST_PATH_IMAGE018
，式中
Figure 129234DEST_PATH_IMAGE019
为将视频帧转换为数值矩阵的函数；
d-3)通过公式
Figure 585623DEST_PATH_IMAGE020
计算得到光流损失值
Figure 13193DEST_PATH_IMAGE021
，式中
Figure 481215DEST_PATH_IMAGE022
为时刻
Figure 703249DEST_PATH_IMAGE003
的视频帧
Figure 381355DEST_PATH_IMAGE002
与前一帧的光流向量，
Figure 612616DEST_PATH_IMAGE023
为时刻
Figure 200723DEST_PATH_IMAGE003
的预测帧
Figure 921554DEST_PATH_IMAGE009
与前一帧的光流向量，
Figure 227902DEST_PATH_IMAGE024
为时刻
Figure 997275DEST_PATH_IMAGE003
的预测帧
Figure 564522DEST_PATH_IMAGE010
与前一帧的光流向量，
Figure 597201DEST_PATH_IMAGE025
为光流向量转化为浮点数值的函数；
d-4)视频帧被分为
Figure 984320DEST_PATH_IMAGE026
个块，通过公式
Figure 291804DEST_PATH_IMAGE027
计算对抗损失值
Figure 854504DEST_PATH_IMAGE028
，
Figure 854821DEST_PATH_IMAGE029
为GAN网络中判别器在图像空间的特征提取函数；
d-5)通过公式
Figure 994815DEST_PATH_IMAGE030
计算判别器损失函数
Figure 834552DEST_PATH_IMAGE031
；
e)利用损失函数优化GAN网络判别器，得到优化的生成器模型；
f)重复步骤c)至步骤e)M次，得到迭代后的生成器模型；
g)将一监控视频输入至步骤f)中迭代后的生成器模型中，分别计算时刻
Figure 986179DEST_PATH_IMAGE003
的视频帧
Figure 485293DEST_PATH_IMAGE002
与预测帧
Figure 784687DEST_PATH_IMAGE009
的PSNR值
Figure 902816DEST_PATH_IMAGE032
和视频帧
Figure 299162DEST_PATH_IMAGE002
与预测帧
Figure 844544DEST_PATH_IMAGE010
的PSNR值
Figure 693552DEST_PATH_IMAGE033
；
h)通过公式
Figure 412109DEST_PATH_IMAGE034
将两个PSNR值加权计算，得到当前视频帧的总和正常事件得分
Figure 538328DEST_PATH_IMAGE035
；
i)如果
Figure 785770DEST_PATH_IMAGE036
，则表明当前视频帧没有发生异常事件，如果
Figure 794177DEST_PATH_IMAGE037
，则表明当前视频帧发生异常事件，
Figure 378742DEST_PATH_IMAGE038
为认为设定的正常事件得分阈值。
2.根据权利要求1所述的基于视频上下文联系的物流异常智能检测方法，其特征在于， 步骤e)中：将梯度损失值、强度损失值、光流损失值
Figure 132568DEST_PATH_IMAGE039
、对抗损失值、判别 器损失函数加和计算，将加和后的损失函数优化GAN网络生成器，得到优化后的生成器 模型。
3.根据权利要求1所述的基于视频上下文联系的物流异常智能检测方法，其特征在于：步骤f)中M的取值大于10000。
4.根据权利要求1所述的基于视频上下文联系的物流异常智能检测方法，其特征在于：步骤i)中判定的发生异常事件的视频帧以高亮的形式在视频中显示。
CN202110840803.8A 2021-07-26 2021-07-26 基于视频上下文联系的物流异常智能检测方法 Active CN113283849B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110840803.8A CN113283849B (zh) 2021-07-26 2021-07-26 基于视频上下文联系的物流异常智能检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110840803.8A CN113283849B (zh) 2021-07-26 2021-07-26 基于视频上下文联系的物流异常智能检测方法

Publications (2)

Publication Number Publication Date
CN113283849A true CN113283849A (zh) 2021-08-20
CN113283849B CN113283849B (zh) 2021-11-02

Family

ID=77287209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110840803.8A Active CN113283849B (zh) 2021-07-26 2021-07-26 基于视频上下文联系的物流异常智能检测方法

Country Status (1)

Country Link
CN (1) CN113283849B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358195A (zh) * 2017-07-11 2017-11-17 成都考拉悠然科技有限公司 基于重建误差的非特定异常事件检测及定位方法、计算机
CN107844770A (zh) * 2017-11-03 2018-03-27 东北大学 一种基于视频的电熔镁炉异常工况自动识别***
EP3582143A1 (en) * 2018-06-13 2019-12-18 Cosmo Artificial Intelligence - AI Limited Systems and methods for training generative adversarial networks and use of trained generative adversarial networks
CN110705376A (zh) * 2019-09-11 2020-01-17 南京邮电大学 一种基于生成式对抗网络的异常行为检测方法
CN111881750A (zh) * 2020-06-24 2020-11-03 北京工业大学 基于生成对抗网络的人群异常检测方法
CN112052763A (zh) * 2020-08-27 2020-12-08 西安电子科技大学 基于双向回顾生成对抗网络的视频异常事件检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358195A (zh) * 2017-07-11 2017-11-17 成都考拉悠然科技有限公司 基于重建误差的非特定异常事件检测及定位方法、计算机
CN107844770A (zh) * 2017-11-03 2018-03-27 东北大学 一种基于视频的电熔镁炉异常工况自动识别***
EP3582143A1 (en) * 2018-06-13 2019-12-18 Cosmo Artificial Intelligence - AI Limited Systems and methods for training generative adversarial networks and use of trained generative adversarial networks
CN110705376A (zh) * 2019-09-11 2020-01-17 南京邮电大学 一种基于生成式对抗网络的异常行为检测方法
CN111881750A (zh) * 2020-06-24 2020-11-03 北京工业大学 基于生成对抗网络的人群异常检测方法
CN112052763A (zh) * 2020-08-27 2020-12-08 西安电子科技大学 基于双向回顾生成对抗网络的视频异常事件检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SINUO FAN: "Video Prediction and Anomaly Detection Algorithm Based On Dual Discriminator", 《 2020 5TH INTERNATIONAL CONFERENCE ON COMPUTATIONAL INTELLIGENCE AND APPLICATIONS (ICCIA)》 *
朱弈霖: "基于视频的公共场所人群异常行为检测***的设计与实现", 《中国优秀硕士学位论文全文数据库（社会科学I辑）》 *

Also Published As

Publication number Publication date
CN113283849B (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
CN109063723B (zh) 基于迭代挖掘物体共同特征的弱监督图像语义分割方法
Faghih-Roohi et al. Deep convolutional neural networks for detection of rail surface defects
CN111126115B (zh) 暴力分拣行为识别方法和装置
CN112381788B (zh) 一种基于双分支匹配网络的零部件表面缺陷增量检测方法
CN112561910A (zh) 一种基于多尺度特征融合的工业表面缺陷检测方法
CN110569843B (zh) 一种矿井目标智能检测与识别方法
CN110648310A (zh) 基于注意力机制的弱监督铸件缺陷识别方法
CN110895814B (zh) 基于上下文编码网络的航空发动机孔探图像损伤分割方法
CN106815576B (zh) 基于连续时空置信图和半监督极限学习机的目标追踪方法
CN113362277A (zh) 一种基于深度学习的工件表面缺陷检测和分割方法
Zhao et al. Large scale autonomous driving scenarios clustering with self-supervised feature extraction
CN111079348B (zh) 一种缓变信号检测方法和装置
CN115761881A (zh) 一种基于改进yolov5-SFF的检测方法及***
Jiang et al. Attention M-net for automatic pixel-level micro-crack detection of photovoltaic module cells in electroluminescence images
CN115147418A (zh) 缺陷检测模型的压缩训练方法和装置
CN114943840A (zh) 机器学习模型的训练方法、图像的处理方法和电子设备
US11210775B1 (en) Gradient-embedded video anomaly detection
CN113283849B (zh) 基于视频上下文联系的物流异常智能检测方法
CN115700737A (zh) 一种基于视频监控的溢油检测方法
CN117485842A (zh) 门式斗轮机轮斗横梁姿态实时监测方法及其***
Bayram et al. Anomaly detection of multivariate image time series based on Gramian angular field using convolutional autoencoder
CN113642473A (zh) 一种基于计算机视觉的矿下煤机状态识别方法
Huang et al. Quality control on manufacturing computer keyboards using multilevel deep neural networks
Jiang et al. Does background really matter? Worker activity recognition in unconstrained construction environment
CN117333726B (zh) 基于深度学习的石英晶体切割异常监测方法、***及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 250101 1000, Feng Ming Road, Lingang Development Zone, Licheng District, Ji'nan, Shandong

Applicant after: SHANDONG JIANZHU University

Applicant after: SHANDONG NEW BEIYANG INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 264203 No. 126, Kunlun Road, Weihai City, Shandong Province (Science and Technology Park)

Applicant before: SHANDONG NEW BEIYANG INFORMATION TECHNOLOGY Co.,Ltd.

Applicant before: SHANDONG JIANZHU University

GR01 Patent grant
GR01 Patent grant