CN114022759A - 一种融合神经网络时空特性的空域有限像素目标检测***及方法 - Google Patents

一种融合神经网络时空特性的空域有限像素目标检测***及方法 Download PDF

Info

Publication number
CN114022759A
CN114022759A CN202111160863.1A CN202111160863A CN114022759A CN 114022759 A CN114022759 A CN 114022759A CN 202111160863 A CN202111160863 A CN 202111160863A CN 114022759 A CN114022759 A CN 114022759A
Authority
CN
China
Prior art keywords
image
module
target
information
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111160863.1A
Other languages
English (en)
Other versions
CN114022759B (zh
Inventor
薛晗庆
王晓天
于雪洁
窦小明
陈超
潘红九
胡煜
尹琼
张运
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Near Space Vehicles System Engineering
Original Assignee
Beijing Institute of Near Space Vehicles System Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Near Space Vehicles System Engineering filed Critical Beijing Institute of Near Space Vehicles System Engineering
Priority to CN202111160863.1A priority Critical patent/CN114022759B/zh
Publication of CN114022759A publication Critical patent/CN114022759A/zh
Application granted granted Critical
Publication of CN114022759B publication Critical patent/CN114022759B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

一种融合神经网络时空特性的空域有限像素目标检测***及方法。***包括数据增强模块、深度学习目标检测模块、时序信号处理模块、光流检测模块、结果融合模块；数据增强模块使用滤波算法去除图像中随机噪声、使用频域处理技术去除频域内噪声、使用直方图均衡增加图像对比度；深度学习检测模块完成模型训练过程，得到稳定深度学习目标检测器，给出单帧目标检测的结果；时序信号处理模块判定图像中目标检测结果是否由背景干扰、噪声干扰造成虚警结果；光流检测模块计算其光流信息，通过图像运动的光流特征判断目标检测结果是否由背景干扰、噪声干扰造成虚警结果，给出了有限像素目标在相邻两帧图像上的时间域信息；结果融合模块将信息进行融合，通过聚类分析方式综合判定目标检测有效性。

Description

一种融合神经网络时空特性的空域有限像素目标检测***及 方法
技术领域
本发明涉及航空航天、目标检测、时频信号分析、海面舰船识别、地物目标识别、遥感图像解译等领域特别涉及一种融合神经网络时空特性的空域有限像素目标检测***及方法。
背景技术
随着深度学习技术的发展，目标检测技术成为人工智能最为重要且核心的技术方向已经在多个领域取得应用。在经典场景的目标检测任务中，目标尺寸大、目标语义信息明确、目标样本数量较大一些经典神经网络算法在这些目标检测的任务中取得了较为良好效果。然而在部分应用场景中，如航空航天领域，目标呈现出更为复杂的特性：目标尺寸小，相对图像整体容易湮灭，光学特性弱、像素少、形态变化多样等。传统的计算机视觉技术难以发掘此类目标，有限像素块的弱目标特性造成识别检测算法的漏检、错检影响在实际***中的应用效能。经典的恒虚警检测只对背景信息统计建模，没有考虑对目标信息的完整建模，只是利用目标成像区域的部分特征来检测，没有充分利用全局特征，漏警率较高；传统特征提取方法需要考虑特定环境下信息建模或者规则匹配，特定统计建模方法和规则匹配方式只适用于既定的环境。同时目标本身轮廓、方位、尺寸、背景干扰等变化均会对实际的目标检测造成显著地影响，人工设定的背景信息建模和规则匹配难以实现通用，局限性较大。综上可知，现有的检测方法在有限像素目标检测任务上存在较大局限性，为解决此类为解决此类特殊目标的高准度检测问题，提升算法检测准确率，降低准确度和虚警率，亟需发展一种新型的目标检测技术。
目前在工程中应用的有限像素目标识别算法大部分属于基于背景建模和特征匹配类，这类算法由于需要设定具体的使用场景，因此在使用上具有较大的局限性。
发明内容
本发明解决的技术问题是：克服现有技术的不足，提供一种融合神经网络时空特性的空域有限像素目标检测***及方法，通过目标检测网络、时序信号处理网络、光流检测网络，从时间域、空间域两个维度考虑了有限像素目标的特性，降低了背景干扰、***噪声、典型环境干扰对检测过程的影响。相较于背景建模等方法，该方法实用性更强，通过多模型融合方式，避免单一模型学习程度不足导致的模型准确率低问题。
本发明的技术方案是：一种融合神经网络时空特性的空域有限像素目标检测***，包括数据增强模块、深度学习目标检测模块、时序信号处理模块、光流检测模块、结果融合模块；
数据增强模块接收数据集图像作为输入，使用滤波算法去除图像中随机噪声、使用频域处理技术去除频域内噪声、使用直方图均衡增加图像对比度；图像预处理完成后，图像和图像标注信息输入到数据增强模块，数据增强模块根据标注信息中旋转字段、剪切字段来决定图像是否旋转、裁剪，此外图像还会被翻转、镜像、缩放、加入随机噪声以生成新图像和注释；
深度学习检测模块以训练数据作为输入完成模型训练过程，得到一个稳定深度学习目标检测器，给出单帧目标检测的结果；并将n帧的检测信息送入时序信号处理模块；
时序信号处理模块以n帧图像检测坐标作为输入，通过LSTM模型预测结果，判定第n帧图像中目标检测结果是否由背景干扰、噪声干扰造成虚警结果，通过LSTM挖掘目标在时间域上信息；
光流检测模块读取T时刻和T-1时空图像，计算其光流信息，通过图像运动的光流特征判断目标检测结果是否由背景干扰、噪声干扰造成虚警结果，给出了有限像素目标在相邻两帧图像上的时间域信息；
结果融合模块，将目标检测模块、时序信号处理模块、光流检测模块的信息进行融合，通过构造样本集D和聚类目标集K，通过聚类分析方式综合判定目标检测有效性。
所述数据增强模块包括基于生成对抗网络的数据增强子模块和传统数据增强子模块；基于生成对抗网络的数据增强模块，使用了深度学习理论中生成对抗技术，网络由生成器和对抗器组成，生成器负责样本数据的生成工作，对抗器则负责纠正生成器的错误，二者彼此迭代，直至收敛，即可得到用于生产训练样本的稳定模型；传统数据增强子模块使用了经典的图像增强技术，包括图像复制、旋转、剪切、加噪，以一定数量的图像数据为输入，实现样本增强与扩增。
所述传统图像增强子模块内部具体工作流程为：
11)读入上述数据集中的图像数据；
12)使用高斯滤波器去除图像中随机噪声，使用中值滤波器去除椒盐噪声、使用双边滤波器去除其余噪声，得到滤波后图像blurImg；
13)对图像blurImg进行快速傅里叶变换，将图像变换频域内，使用频域中值滤波器去除频域内噪声，处理完成后通过逆变换得到图像fftImg；
14)统计图像fftImg的像素得到灰度分布直方图，将直方图归一化到0-1区间，使用归一化灰度直方图计算累积分布，使用量化公式计算原图和直方图均衡化后图像灰度变换关系f，将原图灰度值按照f进行计算并替换，得到图像histImg；
15)定义图像对比增强函数F，将图像histImg输入到函数F中得到对比增强后的图像Fimg,完成对比增强后图像预处理工作结束；
16)读入已经预处理的图像及图像标注信息，从标注信息中读取图像名和对应图像名的标注信息；
17)判断标注信息中旋转信息字段是否为True,如果不满足则跳转到步骤14，如果满足条件则转步骤18)；
18)生成一个开区间(0，360)之间的随机数R，以目标外接矩形的中心为旋转中心旋转R度，对应地按照变换关系计算旋转后图像标注信息，包括矩形位置框坐标、图像像素级位置信息；
19)判断标注信息中裁剪信息字段是否为True,如果不满足则跳转到步骤16)，满足则跳转步骤110)；
110)获取目标左上角点(x,y)，高度ht,宽度wt,获取图像高度h,宽度w,生成随机数Δw∈(0,w-wt)，Δh∈(0,h-ht)，获得剪裁区域左角点(x-Δw,y-Δh)，裁剪区域宽度w+2Δw，裁剪区域高度h+2Δh，对应地按照变换关系计算旋转后图像标注信息，包括矩形位置框坐标、图像像素级位置信息，得到目标裁剪后新生成的图像与注释；
111)将图像翻转、镜像，生成新图片和注释文件；
112)将图像缩放形成新的图片，按照缩放变换关系生成新图片和注释文件；
113)在图像中加入随机噪声，生成新图片和注释文件。
所述基于生成对抗网络的数据增强子模块工作流程为：
21)读取训练图像I,设Pr为真实训练图像的分布，Pz为隐变量的数据分布，生成网络G，判别网络D，生成网络迭代次数k；
22)判读生成网络G是否收敛，若收敛则跳转至步骤211)；
23)迭代计数器n设置为0；
24)从Pz～N(0,I)中采样m个样本{z(1),z(2)...z(m)}；
25)从Pr中采样m个真实样本{x(1),x(2)...x(m)}；
26)计算损失函数值；
27)使用梯度上升法更新网络D，更新迭代次数n；
28)判断n是否小于k，若否跳转至步骤24)；
29)从Pz～N(0,I)中采样m个样本{z(1),z(2)...z(m)}；
210)使用梯度下降法更新网络G，跳转至步骤22)；
211)读取k张图像K；
212)将图像送入生成网络G；
213)模型前向推理；
214)获取生成后样本K’。
所述深度学习目标模块工作流程为：
31)读入预处理后的去噪图像数据，并将其展开为神经网络张量；
32)读入图像标注文件，解析目标外接矩阵坐标；
33)读取图像掩码标注信息，创建与待处理图像等尺寸掩码图像，将目标区域填充为白色，背景填充为黑色；
34)读取神经网络超参，包括学习率、迭代次数、收敛误差区间，同时读取图像尺度参数；
35)按照尺度缩放参数，进行图像缩放；
36)按照超参中，图像批次数据构建一个批次训练数据，送入深度神经网络；
37)求神经网络各隐藏层、输出层的值；
38)求神经网络输出层与标注信息的实际值之间的误差e；
39)若误差在超参规定的范围，训练结束，跳转到步骤313)；
310)计算各层神经元误差量；
311)求误差梯度；
312)使用误差梯度更新权重，跳转到步骤36)；
313)与其他尺度下深度神经网络模型集成，训练过程结束，进入图像推理阶段步骤314)；
314)经预处理数据增强的图像和注释文件输入特征提取网络；
315)特征提取网络经过卷积运算获得图像的feature Map；
316)为feature Map中的每一个点设立感兴趣的图像区域ROI；
317)获取ROI的个数Num；
318)选择一个ROI送入RPN网络，RPN网络生成一个候选目标区域；
319)ROI候选目标区域进行二值化分类，区分前景和背景；
320)对候选区域的边框进行回归；
321)判断ROI处理个数是否得到了NUM,也就是说是否所有的候选ROI都经过了处理，如果不满足条件，跳到步骤35)；
322)根据ROI分类和边框回归结果，使用超参中设定的阈值进行ROI区域筛选过滤；
323)获取筛选后ROI的个数；
324)选择一个ROI区域进行多分类；
325)对ROI区域的边框再次进行回归；
326)对ROI区域内目标进行图像掩码生成，获取目标准确的像素级位置信息计算；
327)判断ROI区域是否均处理完成，若处理完成，则结束深度学习目标模块工作流程,否则跳转步骤324)。
所述时序信号处理模块内部具体工作流程为：
41)获取n帧图像输出静态目标检测坐标信息包括第n帧图像坐标信息Cn；
42)将上述n帧图像目标检测坐标结果，构造为LSTM模型输入序列S；
43)将序列S输入到LSTM模型，获取LSTM模型对第n帧图像对应时刻坐标预测Sn；
44)判断Cn结果是否Sn一致，如是则跳转步骤46)，否则转步骤45)；
45)将第n帧图像预测结果更新为LSTM的预测结果；
46)以LSTM的预测结果作为第n帧图像的预测结果。
所述光流检测模块内部的具体工作流程为：
51)读入两张图像ImgT和ImgT-1；
52)逐像素计算两张图像在x方向上光流信息，获得光流特征图X；
53)逐像素计算两张图像在x方向上光流信息，获得光流特征图Y；
54)构造光流检测网络输入I；
55)将I输入卷积层、全链接层进行特征提取，得到特征图M；
56)将M输入坐标回归模型，计算目标坐标信息；
57)输出目标坐标。
所述结果融合模块工作流程为：
61)将检测网络识别到的目标个数设置为聚类中心数k，将静态检测结果、时序信号检测结果、光流检测结果构造为样本空间D；
62)从D中随机筛选K个样本作为中心；
63)将其他|D|-k个样本按照距离函数聚集到k个中心样本上；
64)更新中心坐标；
65)若中心坐标发生了变化，则转步骤63)；
66)取K个簇中的一个元素E；
67)判定E的大小是否等于3，若否则转步骤69)；
68)加入神经网络训练步骤中预留结果预测集即样本中抽样得到图像和标注信息；
69)判定K个簇是否遍历完成，若是则时序信号工作模块结束，否则转步骤66。
一种融合神经网络时空特性的空域有限像素目标检测方法，步骤如下：
1)数据增强模块接收数据集图像作为输入，使用滤波算法去除图像中随机噪声、使用频域处理技术去除频域内噪声、使用直方图均衡增加图像对比度；图像预处理完成后，图像和图像标注信息输入到数据增强模块，数据增强模块根据标注信息中旋转字段、剪切字段来决定图像是否旋转、裁剪，此外图像还会被翻转、镜像、缩放、加入随机噪声以生成新图像和注释；
2)深度学习检测模块以训练数据作为输入完成模型训练过程，得到一个稳定深度学习目标检测器，给出单帧目标检测的结果；并将n帧的检测信息送入时序信号处理模块；
3)时序信号处理模块以n帧图像检测坐标作为输入，通过LSTM模型预测结果，判定第n帧图像中目标检测结果是否由背景干扰、噪声干扰造成虚警结果，通过LSTM挖掘目标在时间域上信息；
4)光流检测模块读取T时刻和T-1时空图像，计算其光流信息，通过图像运动的光流特征判断目标检测结果是否由背景干扰、噪声干扰造成虚警结果，给出了有限像素目标在相邻两帧图像上的时间域信息；
5)结果融合模块将目标检测模块、时序信号处理模块、光流检测模块的信息进行融合，通过构造样本集D和聚类目标集K，通过聚类分析方式综合判定目标检测有效性。
所述数据增强模块包括基于生成对抗网络的数据增强子模块和传统数据增强子模块；基于生成对抗网络的数据增强模块，使用了深度学习理论中生成对抗技术，网络由生成器和对抗器组成，生成器负责样本数据的生成工作，对抗器则负责纠正生成器的错误，二者彼此迭代，直至收敛，即可得到用于生产训练样本的稳定模型；传统数据增强子模块使用了经典的图像增强技术，包括图像复制、旋转、剪切、加噪，以一定数量的图像数据为输入，实现样本增强与扩增。
本发明与现有技术相比的优点在于：
(1)本发明提出的有限像素目标识别算法，考虑了有限像素目标图像特性，通过构造深度学习检测网络，提升了目标检测的准确率并且实现数据驱动，较传统背景建模和模式匹配方法，具有更好的泛化能力；
(2)本发明提出的有限像素目标识别算法，考虑了有些像素目标时间特性，即从时间域角度考虑了有限像素目标的检测任务，通过融合时间域和空间域信息提升了目标检测准确度；
(3)本发明提出的多模型融合方法，考虑了单一模型对有限像素目标检测任务准确度不足的问题，避免了单一模型对检测任务整体精度和整体能力的影响。
(4)通过本发明可显著提升目标检测的准确度，使用生成对抗网络和经典数据增强方式增加了样本数量和丰富程度，所述目标检测网络较好地利用有限像素目标时间和空间特性，有效降低算法漏检率，进一步提高目标检测的效率。因此，将该技术应用于工程实际具有重要意义。
附图说明
图1为***结构图。
图2为传统图像增强模块工作流程图。
图3为基于生成对抗网络的数据增强子模块工作流程图。
图4为深度学习目标检测模块工作流程图。
图5为时序信号处理模块工作流程图。
图6为光流检测模块工作流程图。
图7为结果融合模块工作流程图。
具体实施方式
随着深度学习技术的发展，目标检测技术成为人工智能最为重要且核心的技术方向已经在多个领域取得应用。在经典场景的目标检测任务中，目标尺寸大、目标语义信息明确、目标样本数量较大一些经典神经网络算法在这些目标检测的任务中取得了较为良好效果。然而在部分应用场景中，如航空航天领域，目标呈现出更为复杂的特性：目标尺寸小，相对图像整体容易湮灭，光学特性弱、像素少、形态变化多样等。传统的计算机视觉技术难以发掘此类目标，有限像素块的弱目标特性造成识别检测算法的漏检、错检影响在实际***中的应用效能。使用深度学习算法融合图像序列上时间空间特征将有效避免传统算法带来的错检和漏检误检问题，将有效提升有限像素目标识别精度，具有较强工程实践应用价值。
如图1所示，本发明一种融合神经网络时空特性的空域有限像素目标检测***，包含5个模块，分别是数据增强模块、深度学习目标检测模块、时序信号处理模块、光流检测模块、结果融合模块；其中，数据增强模块涉及基于生成对抗网络的数据增强子模块和传统数据增强子模块。
所述的数据增强模块接受数据集图像作为输入，使用滤波算法去除图像中随机噪声、使用频域处理技术去除频域内噪声、使用直方图均衡增加图像对比度；图像预处理完成后，图像和图像标注信息输入到数据增强模块，该模块根据标注信息中旋转字段、剪切字段来决定图像是否旋转、裁剪，此外图像还会被翻转、镜像、缩放、加入随机噪声以生成新图像和注释，目的在于增加图像数量和目标多样性。在经典数据增强基础上，数据增强模块引入了生产对抗网络技术，使用生成对抗网络构造了训练样本生成器，增加了训练样本的数量。
深度学习检测模块以训练数据作为输入完成模型训练过程得到一个稳定深度学习目标检测器，可以给出单帧目标检测的结果。并将n帧的检测信息送入时序信号处理模块。
时序信号处理模块以n帧图像检测坐标作为输入，通过LSTM模型预测结果，判定第n帧图像中目标检测结果是否由背景干扰、噪声干扰等干扰信号造成虚警结果，通过LSTM挖掘目标在时间域上信息。
光流检测模块，读取T时刻和T-1时空图像，计算其光流信息，通过图像运动的光流特征判断目标检测结果是否由背景干扰、噪声干扰等干扰信号造成虚警结果，给出了有限像素目标在相邻两帧图像上的时间域信息。
结果融合模块，将目标检测模块、时序信号处理模块、光流检测模块的信息进行融合，通过构造样本集D和聚类目标集K，通过聚类分析方式综合判定目标检测有效性，考虑了单一模型对有限像素目标检测任务准确度不足的问题，避免了单一模型对检测任务整体精度和整体能力的影响。
如图2所示，所述传统图像增强子模块工作流程为：
1.读入上述数据集中的图像数据；
2.使用高斯滤波器去除图像中随机噪声，使用中值滤波器去除椒盐噪声、使用双边滤波器去除其余噪声，得到滤波后图像blurImg；
3.blurImg进行快速傅里叶变换，将图像变换频域内，使用频域中值滤波器去除频域内噪声，处理完成后通过逆变换得到图像fftImg；
4.统计fftImg的像素得到灰度分布直方图，将直方图归一化到0-1区间，使用归一化灰度直方图计算累积分布，使用量化公式计算原图和直方图均衡化后图像灰度变换关系f，将原图灰度值按照f进行计算并替换，得到图像histImg；
5.定义图像对比增强函数F，将histImg输入到函数F中得到对比增强后的图像Fimg,完成对比增强后图像预处理工作结束。
6.读入已经预处理的图像及图像标注信息，从标注信息中读取图像名和对应图像名的标注信息；
7.判断标注信息中旋转信息字段是否为True,如果不满足则跳转到步骤4，判定图像是否可以剪裁；
8.生成一个开区间(0，360)之间的随机数R，以目标外接矩形的中心为旋转中心旋转R度，对应地按照变换关系计算旋转后图像标注信息，如矩形位置框坐标、图像像素级位置信息；
9.判断标注信息中裁剪信息字段是否为True,如果不满足则跳转到步骤6，判定图像是否可以剪裁；
10.获取目标左上角点(x,y)，高度ht,宽度wt,获取图像高度h,宽度w,生成随机数Δw∈(0,w-wt)，Δh∈(0,h-ht)，获得剪裁区域左角点(x-Δw,y-Δh)，裁剪区域宽度w+2Δw，裁剪区域高度h+2Δh，对应地按照变换关系计算旋转后图像标注信息，如矩形位置框坐标、图像像素级位置信息，得到目标裁剪后新生成的图像与注释；
11.将图像翻转、镜像，生成新图片和注释文件；
12.将图像缩放形成新的图片，按照缩放变换关系生成新图片和注释文件；
13.在图像中加入随机噪声，生成新图片和注释文件，此步骤结束后，跳出图像增强模块。
如图3所示，所述基于生成对抗网络的数据增强子模块工作流程为：
1.读取训练图像I,设Pr为真实训练图像的分布，Pz为隐变量的数据分布，生成网络G，判别网络D，生成网络迭代次数k；
2.判读生成网络G是否收敛，若收敛则转第11步；
3.迭代计数器n设置为0；
4.从Pz～N(0,I)中采样m个样本{z(1),z(2)...z(m)}；
5.从Pr中采样m个真实样本{x(1),x(2)...x(m)}；
6.计算损失函数值；
7.使用梯度上升法更新网络D，更新迭代次数n；
8.判断n是否小于k，若否转第4步；
9.从Pz～N(0,I)中采样m个样本{z(1),z(2)...z(m)}；
10.使用梯度下降法更新网络G，转第2步；
11.读取k张图像K；
12.将图像送入生成网络G；
13.模型前向推理；
14.获取生成后样本K’。
如图4所示，所述深度学习目标模块工作流程为：
1.读入预处理后的去噪图像数据，并将其展开为神经网络张量；
2.读入图像标注文件，解析目标外接矩阵坐标；
3.读取图像掩码标注信息，创建与待处理图像等尺寸掩码图像，将目标区域填充为白色，背景填充为黑色；
4.读取神经网络超参包括学习率、迭代次数、收敛误差区间等，同时读取图像尺度参数(大L、中M、小S)；
5.按照尺度缩放参数，进行图像缩放；
6.按照超参中，图像批次数据构建一个批次训练数据，送入深度神经网络；
7.求神经网络各隐藏层、输出层的值；
8.求神经网络输出层与标注信息的实际值之间的误差e；
9.若误差在超参规定的范围，训练结束，跳转到步骤13；
10.计算各层神经元误差量；
11.求误差梯度；
12.使用误差梯度更新权重，跳转到步骤6
13.与其他尺度下深度神经网络模型集成，训练过程结束，进入图像推理阶段；
14.经预处理数据增强的图像和注释文件输入特征提取网络；
15.特征提取网络经过卷积运算获得图像的feature Map；
16.为feature Map中的每一个点设立感兴趣的图像区域ROI；
17.获取ROI的个数Num；
18.选择一个ROI送入RPN网络，RPN网络生成一个候选目标区域；
19.ROI候选目标区域进行二值化分类，区分前景和背景；
20.对候选区域的边框进行回归；
21.判断ROI处理个数是否得到了NUM,也就是说是否所有的候选ROI都经过了处理，如果不满足条件，跳到步骤5；
22.根据ROI分类和边框回归结果，使用超参中设定的阈值进行ROI区域筛选过滤；
23.获取筛选后ROI的个数；
24.选择一个ROI区域进行多分类；
25.对ROI区域的边框再次进行回归；
26.对ROI区域内目标进行图像掩码生成，获取目标准确的像素级位置信息计算；
27.判断ROI区域是否均处理完成，否则跳转步骤24；
如图5所示，所述时序信号处理模块工作流程为：
1.获取n帧图像输出静态目标检测坐标信息包括第n帧图像坐标信息Cn；
2.将上述n帧图像目标检测坐标结果，构造为LSTM模型输入序列S；
3.将序列S输入到LSTM模型，获取LSTM模型对第n帧图像对应时刻坐标预测Sn；
4.判断Cn结果是否Sn一致，如是则转步骤6；
5.将第n帧图像预测结果更新为LSTM的预测结果；
6.以LSTM的预测结果作为第n帧图像的预测结果。
如图6所示，所述光流检测模块工作流程为：
1.读入两张图像ImgT和ImgT-1；
2.逐像素计算两张图像在x方向上光流信息，获得光流特征图X；
3.逐像素计算两张图像在x方向上光流信息，获得光流特征图Y；
4.构造光流检测网络输入I；
5.将I输入卷积层、全链接层进行特征提取，得到特征图M；
6.将M输入坐标回归模型，计算目标坐标信息；
7.输出目标坐标；
如图7所示，所述结果融合模块工作流程为：
1.将检测网络识别到的目标个数设置为聚类中心数k，将静态检测结果、时序信号检测结果、光流检测结果构造为样本空间D；
2.从D中随机筛选K个样本作为中心；
3.将其他|D|-k个样本按照距离函数聚集到k个中心样本上；
4.更新中心坐标；
5.若中心坐标发生了变化，则转第3步；
6.取K个簇中的一个元素E；
7.判定E的大小是否等于3，若否则转步骤9；
8.加入结果预测集；
9.判定K个簇是否遍历完成，若否则转步骤6。
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (10)

1.一种融合神经网络时空特性的空域有限像素目标检测***，其特征在于：包括数据增强模块、深度学习目标检测模块、时序信号处理模块、光流检测模块、结果融合模块；
数据增强模块接收数据集图像作为输入，使用滤波算法去除图像中随机噪声、使用频域处理技术去除频域内噪声、使用直方图均衡增加图像对比度；图像预处理完成后，图像和图像标注信息输入到数据增强模块，数据增强模块根据标注信息中旋转字段、剪切字段来决定图像是否旋转、裁剪，此外图像还会被翻转、镜像、缩放、加入随机噪声以生成新图像和注释；
深度学习检测模块以训练数据作为输入完成模型训练过程，得到一个稳定深度学习目标检测器，给出单帧目标检测的结果；并将n帧的检测信息送入时序信号处理模块；
时序信号处理模块以n帧图像检测坐标作为输入，通过LSTM模型预测结果，判定第n帧图像中目标检测结果是否由背景干扰、噪声干扰造成虚警结果，通过LSTM挖掘目标在时间域上信息；
光流检测模块读取T时刻和T-1时空图像，计算其光流信息，通过图像运动的光流特征判断目标检测结果是否由背景干扰、噪声干扰造成虚警结果，给出了有限像素目标在相邻两帧图像上的时间域信息；
结果融合模块，将目标检测模块、时序信号处理模块、光流检测模块的信息进行融合，通过构造样本集D和聚类目标集K，通过聚类分析方式综合判定目标检测有效性。
2.根据权利要求1所述的一种融合神经网络时空特性的空域有限像素目标检测***，其特征在于：所述数据增强模块包括基于生成对抗网络的数据增强子模块和传统数据增强子模块；基于生成对抗网络的数据增强模块，使用了深度学习理论中生成对抗技术，网络由生成器和对抗器组成，生成器负责样本数据的生成工作，对抗器则负责纠正生成器的错误，二者彼此迭代，直至收敛，即可得到用于生产训练样本的稳定模型；传统数据增强子模块使用了经典的图像增强技术，包括图像复制、旋转、剪切、加噪，以一定数量的图像数据为输入，实现样本增强与扩增。
3.根据权利要求2所述的一种融合神经网络时空特性的空域有限像素目标检测***，其特征在于：所述传统图像增强子模块内部具体工作流程为：
11)读入上述数据集中的图像数据；
12)使用高斯滤波器去除图像中随机噪声，使用中值滤波器去除椒盐噪声、使用双边滤波器去除其余噪声，得到滤波后图像blurImg；
13)对图像blurImg进行快速傅里叶变换，将图像变换频域内，使用频域中值滤波器去除频域内噪声，处理完成后通过逆变换得到图像fftImg；
14)统计图像fftImg的像素得到灰度分布直方图，将直方图归一化到0-1区间，使用归一化灰度直方图计算累积分布，使用量化公式计算原图和直方图均衡化后图像灰度变换关系f，将原图灰度值按照f进行计算并替换，得到图像histImg；
15)定义图像对比增强函数F，将图像histImg输入到函数F中得到对比增强后的图像Fimg,完成对比增强后图像预处理工作结束；
16)读入已经预处理的图像及图像标注信息，从标注信息中读取图像名和对应图像名的标注信息；
17)判断标注信息中旋转信息字段是否为True,如果不满足则跳转到步骤14，如果满足条件则转步骤18)；
18)生成一个开区间(0，360)之间的随机数R，以目标外接矩形的中心为旋转中心旋转R度，对应地按照变换关系计算旋转后图像标注信息，包括矩形位置框坐标、图像像素级位置信息；
19)判断标注信息中裁剪信息字段是否为True,如果不满足则跳转到步骤16)，满足则跳转步骤110)；
110)获取目标左上角点(x,y)，高度ht,宽度wt,获取图像高度h,宽度w,生成随机数Δw∈(0,w-wt)，Δh∈(0,h-ht)，获得剪裁区域左角点(x-Δw,y-Δh)，裁剪区域宽度w+2Δw，裁剪区域高度h+2Δh，对应地按照变换关系计算旋转后图像标注信息，包括矩形位置框坐标、图像像素级位置信息，得到目标裁剪后新生成的图像与注释；
111)将图像翻转、镜像，生成新图片和注释文件；
112)将图像缩放形成新的图片，按照缩放变换关系生成新图片和注释文件；
113)在图像中加入随机噪声，生成新图片和注释文件。
4.根据权利要求3所述的一种融合神经网络时空特性的空域有限像素目标检测***，其特征在于：所述基于生成对抗网络的数据增强子模块工作流程为：
21)读取训练图像I,设Pr为真实训练图像的分布，Pz为隐变量的数据分布，生成网络G，判别网络D，生成网络迭代次数k；
22)判读生成网络G是否收敛，若收敛则跳转至步骤211)；
23)迭代计数器n设置为0；
24)从Pz～N(0,I)中采样m个样本{z(1),z(2)...z(m)}；
25)从Pr中采样m个真实样本{x(1),x(2)...x(m)}；
26)计算损失函数值；
27)使用梯度上升法更新网络D，更新迭代次数n；
28)判断n是否小于k，若否跳转至步骤24)；
29)从Pz～N(0,I)中采样m个样本{z(1),z(2)...z(m)}；
210)使用梯度下降法更新网络G，跳转至步骤22)；
211)读取k张图像K；
212)将图像送入生成网络G；
213)模型前向推理；
214)获取生成后样本K’。
5.根据权利要求1所述的一种融合神经网络时空特性的空域有限像素目标检测***，其特征在于：所述深度学习目标模块工作流程为：
31)读入预处理后的去噪图像数据，并将其展开为神经网络张量；
32)读入图像标注文件，解析目标外接矩阵坐标；
33)读取图像掩码标注信息，创建与待处理图像等尺寸掩码图像，将目标区域填充为白色，背景填充为黑色；
34)读取神经网络超参，包括学习率、迭代次数、收敛误差区间，同时读取图像尺度参数；
35)按照尺度缩放参数，进行图像缩放；
36)按照超参中，图像批次数据构建一个批次训练数据，送入深度神经网络；
37)求神经网络各隐藏层、输出层的值；
38)求神经网络输出层与标注信息的实际值之间的误差e；
39)若误差在超参规定的范围，训练结束，跳转到步骤313)；
310)计算各层神经元误差量；
311)求误差梯度；
312)使用误差梯度更新权重，跳转到步骤36)；
313)与其他尺度下深度神经网络模型集成，训练过程结束，进入图像推理阶段步骤314)；
314)经预处理数据增强的图像和注释文件输入特征提取网络；
315)特征提取网络经过卷积运算获得图像的feature Map；
316)为feature Map中的每一个点设立感兴趣的图像区域ROI；
317)获取ROI的个数Num；
318)选择一个ROI送入RPN网络，RPN网络生成一个候选目标区域；
319)ROI候选目标区域进行二值化分类，区分前景和背景；
320)对候选区域的边框进行回归；
321)判断ROI处理个数是否得到了NUM,也就是说是否所有的候选ROI都经过了处理，如果不满足条件，跳到步骤35)；
322)根据ROI分类和边框回归结果，使用超参中设定的阈值进行ROI区域筛选过滤；
323)获取筛选后ROI的个数；
324)选择一个ROI区域进行多分类；
325)对ROI区域的边框再次进行回归；
326)对ROI区域内目标进行图像掩码生成，获取目标准确的像素级位置信息计算；
327)判断ROI区域是否均处理完成，若处理完成，则结束深度学习目标模块工作流程,否则跳转步骤324)。
6.根据权利要求1所述的一种融合神经网络时空特性的空域有限像素目标检测***，其特征在于：所述时序信号处理模块内部具体工作流程为：
41)获取n帧图像输出静态目标检测坐标信息包括第n帧图像坐标信息Cn；
42)将上述n帧图像目标检测坐标结果，构造为LSTM模型输入序列S；
43)将序列S输入到LSTM模型，获取LSTM模型对第n帧图像对应时刻坐标预测Sn；
44)判断Cn结果是否Sn一致，如是则跳转步骤46)，否则转步骤45)；
45)将第n帧图像预测结果更新为LSTM的预测结果；
46)以LSTM的预测结果作为第n帧图像的预测结果。
7.根据权利要求1所述的一种融合神经网络时空特性的空域有限像素目标检测***，其特征在于：所述光流检测模块内部的具体工作流程为：
51)读入两张图像ImgT和ImgT-1；
52)逐像素计算两张图像在x方向上光流信息，获得光流特征图X；
53)逐像素计算两张图像在x方向上光流信息，获得光流特征图Y；
54)构造光流检测网络输入I；
55)将I输入卷积层、全链接层进行特征提取，得到特征图M；
56)将M输入坐标回归模型，计算目标坐标信息；
57)输出目标坐标。
8.根据权利要求1所述的一种融合神经网络时空特性的空域有限像素目标检测***，其特征在于：所述结果融合模块工作流程为：
61)将检测网络识别到的目标个数设置为聚类中心数k，将静态检测结果、时序信号检测结果、光流检测结果构造为样本空间D；
62)从D中随机筛选K个样本作为中心；
63)将其他|D|-k个样本按照距离函数聚集到k个中心样本上；
64)更新中心坐标；
65)若中心坐标发生了变化，则转步骤63)；
66)取K个簇中的一个元素E；
67)判定E的大小是否等于3，若否则转步骤69)；
68)加入神经网络训练步骤中预留结果预测集即样本中抽样得到图像和标注信息；
69)判定K个簇是否遍历完成，若是则时序信号工作模块结束，否则转步骤66。
9.一种融合神经网络时空特性的空域有限像素目标检测方法，其特征在于步骤如下：
1)数据增强模块接收数据集图像作为输入，使用滤波算法去除图像中随机噪声、使用频域处理技术去除频域内噪声、使用直方图均衡增加图像对比度；图像预处理完成后，图像和图像标注信息输入到数据增强模块，数据增强模块根据标注信息中旋转字段、剪切字段来决定图像是否旋转、裁剪，此外图像还会被翻转、镜像、缩放、加入随机噪声以生成新图像和注释；
2)深度学习检测模块以训练数据作为输入完成模型训练过程，得到一个稳定深度学习目标检测器，给出单帧目标检测的结果；并将n帧的检测信息送入时序信号处理模块；
3)时序信号处理模块以n帧图像检测坐标作为输入，通过LSTM模型预测结果，判定第n帧图像中目标检测结果是否由背景干扰、噪声干扰造成虚警结果，通过LSTM挖掘目标在时间域上信息；
4)光流检测模块读取T时刻和T-1时空图像，计算其光流信息，通过图像运动的光流特征判断目标检测结果是否由背景干扰、噪声干扰造成虚警结果，给出了有限像素目标在相邻两帧图像上的时间域信息；
5)结果融合模块将目标检测模块、时序信号处理模块、光流检测模块的信息进行融合，通过构造样本集D和聚类目标集K，通过聚类分析方式综合判定目标检测有效性。
10.根据权利要求9所述的一种融合神经网络时空特性的空域有限像素目标检测方法，其特征在于：所述数据增强模块包括基于生成对抗网络的数据增强子模块和传统数据增强子模块；基于生成对抗网络的数据增强模块，使用了深度学习理论中生成对抗技术，网络由生成器和对抗器组成，生成器负责样本数据的生成工作，对抗器则负责纠正生成器的错误，二者彼此迭代，直至收敛，即可得到用于生产训练样本的稳定模型；传统数据增强子模块使用了经典的图像增强技术，包括图像复制、旋转、剪切、加噪，以一定数量的图像数据为输入，实现样本增强与扩增。
CN202111160863.1A 2021-09-30 2021-09-30 一种融合神经网络时空特性的空域有限像素目标检测***及方法 Active CN114022759B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111160863.1A CN114022759B (zh) 2021-09-30 2021-09-30 一种融合神经网络时空特性的空域有限像素目标检测***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111160863.1A CN114022759B (zh) 2021-09-30 2021-09-30 一种融合神经网络时空特性的空域有限像素目标检测***及方法

Publications (2)

Publication Number Publication Date
CN114022759A true CN114022759A (zh) 2022-02-08
CN114022759B CN114022759B (zh) 2024-07-12

Family

ID=80055327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111160863.1A Active CN114022759B (zh) 2021-09-30 2021-09-30 一种融合神经网络时空特性的空域有限像素目标检测***及方法

Country Status (1)

Country Link
CN (1) CN114022759B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114842308A (zh) * 2022-03-16 2022-08-02 电子科技大学 一种基于全特征融合建立目标预判优化模型的方法
CN115187950A (zh) * 2022-09-13 2022-10-14 安徽中科星驰自动驾驶技术有限责任公司 用于深度学***衡掩码二次采样方法
CN115359240A (zh) * 2022-07-15 2022-11-18 北京中科思创云智能科技有限公司 基于多帧图像运动特征的小目标检测方法、装置和设备
CN116012283A (zh) * 2022-09-28 2023-04-25 逸超医疗科技(北京)有限公司 一种全自动超声图像量测方法、设备及存储介质
CN116030247A (zh) * 2023-03-20 2023-04-28 之江实验室 一种医学图像样本生成方法、装置、存储介质及电子设备
CN116310356A (zh) * 2023-03-23 2023-06-23 昆仑芯(北京)科技有限公司 深度学习模型的训练方法、目标检测方法、装置及设备
CN116449332A (zh) * 2023-06-14 2023-07-18 西安晟昕科技股份有限公司 一种基于mimo雷达的空域目标检测方法
CN116506261A (zh) * 2023-06-27 2023-07-28 南昌大学 一种可见光通信感知方法及***
WO2023160448A1 (zh) * 2022-02-24 2023-08-31 北京字跳网络技术有限公司 图像处理方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111950583A (zh) * 2020-06-05 2020-11-17 杭州电子科技大学 一种基于gmm聚类的多尺度识别交通信号标志的方法
CN112307991A (zh) * 2020-11-04 2021-02-02 北京临近空间飞行器***工程研究所 一种图像识别方法、装置及存储介质
WO2021035807A1 (zh) * 2019-08-23 2021-03-04 深圳大学 一种融合光流信息和Siamese框架的目标跟踪方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021035807A1 (zh) * 2019-08-23 2021-03-04 深圳大学 一种融合光流信息和Siamese框架的目标跟踪方法及装置
CN111950583A (zh) * 2020-06-05 2020-11-17 杭州电子科技大学 一种基于gmm聚类的多尺度识别交通信号标志的方法
CN112307991A (zh) * 2020-11-04 2021-02-02 北京临近空间飞行器***工程研究所 一种图像识别方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周泳;陶兆胜;阮孟丽;王丽华;: "基于FlowNet2.0网络的目标光流检测方法", 龙岩学院学报, no. 02, 25 March 2020 (2020-03-25) *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023160448A1 (zh) * 2022-02-24 2023-08-31 北京字跳网络技术有限公司 图像处理方法、装置、设备及存储介质
CN114842308A (zh) * 2022-03-16 2022-08-02 电子科技大学 一种基于全特征融合建立目标预判优化模型的方法
CN115359240A (zh) * 2022-07-15 2022-11-18 北京中科思创云智能科技有限公司 基于多帧图像运动特征的小目标检测方法、装置和设备
CN115359240B (zh) * 2022-07-15 2024-03-15 北京中科思创云智能科技有限公司 基于多帧图像运动特征的小目标检测方法、装置和设备
CN115187950A (zh) * 2022-09-13 2022-10-14 安徽中科星驰自动驾驶技术有限责任公司 用于深度学***衡掩码二次采样方法
CN115187950B (zh) * 2022-09-13 2022-11-22 安徽中科星驰自动驾驶技术有限责任公司 用于深度学***衡掩码二次采样方法
CN116012283A (zh) * 2022-09-28 2023-04-25 逸超医疗科技(北京)有限公司 一种全自动超声图像量测方法、设备及存储介质
CN116012283B (zh) * 2022-09-28 2023-10-13 逸超医疗科技(北京)有限公司 一种全自动超声图像量测方法、设备及存储介质
CN116030247A (zh) * 2023-03-20 2023-04-28 之江实验室 一种医学图像样本生成方法、装置、存储介质及电子设备
CN116310356A (zh) * 2023-03-23 2023-06-23 昆仑芯(北京)科技有限公司 深度学习模型的训练方法、目标检测方法、装置及设备
CN116310356B (zh) * 2023-03-23 2024-03-29 昆仑芯(北京)科技有限公司 深度学习模型的训练方法、目标检测方法、装置及设备
CN116449332B (zh) * 2023-06-14 2023-08-25 西安晟昕科技股份有限公司 一种基于mimo雷达的空域目标检测方法
CN116449332A (zh) * 2023-06-14 2023-07-18 西安晟昕科技股份有限公司 一种基于mimo雷达的空域目标检测方法
CN116506261B (zh) * 2023-06-27 2023-09-08 南昌大学 一种可见光通信感知方法及***
CN116506261A (zh) * 2023-06-27 2023-07-28 南昌大学 一种可见光通信感知方法及***

Also Published As

Publication number Publication date
CN114022759B (zh) 2024-07-12

Similar Documents

Publication Publication Date Title
CN114022759B (zh) 一种融合神经网络时空特性的空域有限像素目标检测***及方法
CN110097568B (zh) 一种基于时空双分支网络的视频对象检测与分割方法
Chen et al. Automatic graph learning convolutional networks for hyperspectral image classification
CN108764085B (zh) 基于生成对抗网络的人群计数方法
CN111723693B (zh) 一种基于小样本学习的人群计数方法
CN107977661B (zh) 基于fcn与低秩稀疏分解的感兴趣区域检测方法
Long et al. Object detection in aerial images using feature fusion deep networks
CN107590427B (zh) 基于时空兴趣点降噪的监控视频异常事件检测方法
CN110929593A (zh) 一种基于细节辨别区别的实时显著性行人检测方法
CN111310622A (zh) 一种面向水下机器人智能作业的鱼群目标识别方法
Roy et al. Foreground segmentation using adaptive 3 phase background model
JP2024513596A (ja) 画像処理方法および装置、ならびにコンピュータ可読ストレージ媒体
CN108537825B (zh) 一种基于迁移学习回归网络的目标跟踪方法
Subudhi et al. Moving object detection using spatio-temporal multilayer compound Markov Random Field and histogram thresholding based change detection
CN112149612A (zh) 一种基于深度神经网络的海洋生物识别***及识别方法
Lei et al. Image Segmentation: Principles, Techniques, and Applications
Khoshboresh-Masouleh et al. Robust building footprint extraction from big multi-sensor data using deep competition network
Al-Shammri et al. A combined method for object detection under rain conditions using deep learning
Thangaraj et al. A competent frame work for efficient object detection, tracking and classification
CN113962968B (zh) 面向复杂电磁环境下多源混合干扰雷达图像目标检测***
Majidizadeh et al. Semantic segmentation of UAV images based on U-NET in urban area
CN114511740A (zh) 车辆图像分类方法、车辆轨迹还原方法、装置及设备
Wang et al. Sonar image detection based on multi-scale multi-column convolution neural networks
Beknazarova et al. Machine learning algorithms are used to detect and track objects on video images
Balachandran et al. Machine learning based video segmentation of moving scene by motion index using IO detector and shot segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant