CN112507840B - 一种人机混合增强的小目标检测和跟踪方法及*** - Google Patents
一种人机混合增强的小目标检测和跟踪方法及*** Download PDFInfo
- Publication number
- CN112507840B CN112507840B CN202011388969.2A CN202011388969A CN112507840B CN 112507840 B CN112507840 B CN 112507840B CN 202011388969 A CN202011388969 A CN 202011388969A CN 112507840 B CN112507840 B CN 112507840B
- Authority
- CN
- China
- Prior art keywords
- small target
- tracking
- model
- target detection
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000013528 artificial neural network Methods 0.000 claims abstract description 18
- 238000005516 engineering process Methods 0.000 claims abstract description 14
- 238000004891 communication Methods 0.000 claims abstract description 10
- 238000013508 migration Methods 0.000 claims abstract description 10
- 230000005012 migration Effects 0.000 claims abstract description 10
- 238000001914 filtration Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 22
- 210000001747 pupil Anatomy 0.000 claims description 20
- 210000004087 cornea Anatomy 0.000 claims description 13
- 210000001508 eye Anatomy 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 210000005252 bulbus oculi Anatomy 0.000 claims description 4
- 230000001351 cycling effect Effects 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 1
- 238000013135 deep learning Methods 0.000 description 10
- 230000004424 eye movement Effects 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000540325 Prays epsilon Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种人机混合增强的小目标检测和跟踪方法及***，方法包括：定位目标区域位置，获取小目标区域图像；提取出小目标区域图像的具体图像信息，得到小目标细节图像；构建基于穿戴式设备的小目标检测与跟踪模型，通过设计并训练轻量级神经网络目标检测模型，结合上下文信息技术、卡尔曼滤波算法，使用小目标细节图像优化小目标的检测和跟踪能力；利用上述步骤循环获得新的图像信息，作为丰富小目标检测与跟踪模型的训练集，利用更新后的训练集对小目标检测与跟踪模型进行迁移训练，得到小目标检测与跟踪增强模型；所述***包括采集识别模块、传感器模块、检测与跟踪模块以及通信模块。本发明提高了图像中小目标检测和跟踪的准确度。
Description
技术领域
本发明涉及实时图像中的小目标检测和跟踪，特别涉及一种人机混合增强的小目标检测和跟踪方法及***。
背景技术
当前，实时、高精度的目标检测是计算机视觉领域必须要面对和解决的重点、难点技术。近年来，神经网络和深度学***台时，现有的深度网络模型进行轻量化处理后，不能有效地检测出小尺度的目标。
在实际穿戴式设备应用场景中，目前的深度学习网络模型经过轻量化处理适应穿戴式设备算力后，对于小目标的检测与识别的性能根本无法满足大量实际场景的需求。
现有的小目标检测增强手段，主要关注点在深度学习网络模型本身的改进上，通常采用的手段可以较全面的概括为两类：①针对深度学习网络模型训练过程，采用多种数据增强手段，直接对训练时的输入数据集进行翻转、灰度化等手段，利用增强输入图像的手段提升模型对目标检测和识别的泛化能力，从而提升模型对小目标的检测精度；②针对深度学习网络模型本身的结构，采取增强模型主干(backbone)部分、加入目标上下文信息特征融合等技术手段，增强模型自身的体征提取和检测能力。数据增强算法大致可以分为两类：第一类是基于基本图像处理技术的数据增强，第二个类别是基于深度学习的数据增强算法，通过增强小目标信息提升模型精确度；利用FPN(Feature Pyramid network)上下文信息特征融合算法，对多个不同尺度之间的特征图像进行一定程度上的融合，使得特征图像之间能够兼具低层图像的信息量多以及高层图像的语义强的特点，更好的用于小目标检测。然而，这些方法只是简单的考虑了深度学习网络模型本身，而从未将使用者、深度学习目标检测模型和其他设备增强手段联合应用起来，充分发掘对小目标检测和跟踪的能力。
目前深度学习目标检测模型用于小目标方法存在以下问题：
(1)针对穿戴式设备上的嵌入式设备对于神经网络模型计算能力有限的情况，直接限制了使用增强模型主干(backbone)部分来增强模型对于小目标检测的能力，代表在嵌入式设备的常用能力下，目标检测模型对于小目标的提升就只能更侧重于数据增强方面。同时，数据增强一般考虑增强整体数据集，对于提升模型小目标检测能力局限性较大；
(2)已有的提升小目标检测的能力，通常只针对深度学习网络模型本身的结构(比如，加入FPN上下文特征融合部分等)，而未考虑到其他辅助设备(多焦段传感器等)的能力，局限于模型本身能力，对小目标的检测能力提升有限。
发明内容
本发明的目的在于提供一种人机混合增强的小目标检测和跟踪方法及***，通过多方面技术手段联合的方式，提升整体模型对小目标的检测能力。
实现本发明目的的技术方案为：
一种人机混合增强的小目标检测和跟踪方法，包括以下步骤：
(1)定位目标区域位置，获取小目标区域图像；
(2)提取出小目标区域图像的具体图像信息，得到小目标细节图像；
(3)构建小目标检测与跟踪模型：构建轻量级神经网络目标检测模型，融合上下文信息，结合focal loss损失函数和迁移学习方法进行模型训练，再联合目标跟踪模型，得到小目标检测与跟踪模型，小目标细节图像通过小目标检测与跟踪模型得到新的图像信息；
(4)循环步骤(1)～(3)，将获得的新的图像信息，作为小目标检测与跟踪模型的训练集，利用更新后的训练集对小目标检测与跟踪模型进行迁移训练，直至收敛，得到小目标检测与跟踪增强模型；
(5)执行步骤(1)和步骤(2)获取小目标细节图像，将其输入到小目标检测与跟踪增强模型对小目标检测和跟踪。
进一步的，所述步骤(1)具体为：
使用图像处理算法识别眼部图像上的瞳孔中心和角膜反射中心，利用亮瞳孔、暗瞳孔原理以及处理器，提取所拍图像中的瞳孔和角膜，把角膜反射中心作为眼睛跟踪相机和眼球相对位置的基点，瞳孔中心位置坐标表示凝视点位置；然后用光斑和瞳孔的相对位置确定视线方向；根据视线方向，利用瞳孔角膜反射技术获得观测者注视点中心，利用注视点中心进行像素范围32*32的区域扩展，得到小目标区域图像。
进一步的，所述相对位置确定视线方向具体为：相对位置通过视线映射函数模型确定视线方向，视线映射函数模型如下：
其中，(Px,Py)为注视点坐标，(Vx,Vy)为瞳孔反射光斑向量。
进一步的，所述步骤(3)中构建轻量级神经网络目标检测模型具体为：
该模型包含轻量级深度可分离主干网络Mobilenet和SSD单阶段目标检测算法；轻量级深度可分离主干网络Mobilenet配合SSD单阶段目标检测算法对输入的小目标感兴趣区域图像采用MobileNet神经网络获得不同尺度的特征图后，对这些特征图进行密集采样生成多个先验框，然后对先验框进行偏移得到预测框，再对预测框中的对象进行分类，然后进行非极大值抑制操作，最后采用卷积方法得到检测值。
进一步的，所述轻量级深度可分离主干网络Mobilenet使用深度可分离卷积方法进行构建；深度可分离卷积方法包括depthwise convolution和pointwise convolution；深度可分离卷积方法首先采用depthwise convolution对不同输入通道分别进行卷积，然后采用pointwiseconvolution将卷积后的输出进行结合。
进一步的，所述步骤(3)中融合上下文信息具体为：对轻量级神经网络目标检测模型加入FPN上下文信息特征融合算法，该算法采用自上而下的路径对不同尺度的特征图像进行融合，将上层的特征金字塔空间上获得语义融合到下层的特征金字塔底部空间。
进一步的，所述步骤(3)中focal loss损失函数公式如下：
FL(pt)＝-αt(1-pt)γlog(pt) (2)
其中，聚焦参数 y∈{1,0}代表真实类别，p∈[0,1]是对于类别为y类时模型所预测的概率值，α∈[0,1]是对于类别为y类时的权重因子。
进一步的，所述目标跟踪模型是基于卡尔曼滤波算法构建的：首先基于卡尔曼滤波协同算法建立状态方程，然后将小目标细节图像作为状态方程输入，根据状态方程的输出结果调整状态方程的参数。
一种人机混合增强的小目标检测和跟踪***，包括采集识别模块、传感器模块、检测与跟踪模块以及通信模块；其中：
所述采集识别模块用于采集眼部图像并对图像识别定位目标区域位置，获取小目标感兴趣区域图像；
所述传感器模块用于提取出小目标感兴趣区域图像的具体图像信息，得到小目标细节图像；
所述目标跟踪模块包含小目标检测与跟踪增强模型，通过目标感兴趣区域图像的具体图像信息对小目标检测和跟踪；
所述通信模块用于各模块之间的信息通信。
进一步的，所述传感器模块为多个不同焦距的图像传感器或一个变焦图像传感器，小目标细节图像像素大于300*300。
与现有技术相比，本发明的有益效果为：(1)本发明采用轻量级神经网络目标检测模型融合上下文信息，结合focal loss损失函数和迁移学习方法进行模型训练，再联合目标跟踪模型得到小目标检测与跟踪模型，提升了对小目标的检测能力；(2)本发明将小目标检测与跟踪模型的输出作为训练集，对小目标检测与跟踪模型进行迁移训练得到小目标检测与跟踪增强模型，提高了图像中小目标检测和跟踪的准确度；(3)本发明可以应用到其他实际场景，推广到消防穿戴式设备、公安训练等领域。
附图说明
图1为本发明的一种人机混合增强的小目标检测和跟踪方法流程图。
图2为本发明中构建轻量级神经网络目标检测模型的流程图。
图3为本发明中眼动注意力追踪技术联合小目标检测与跟踪模型的场景应用示意图。
具体实施方式
本发明提供一种人机混合增强的小目标检测和跟踪方法，下面结合附图，对本发明的实施方式进行详细说明。
如图1所示，一种人机混合增强的小目标检测和跟踪方法，包括以下步骤：
(1)将基于可穿戴式设备上的“眼动”注意力跟踪装置定位该观测者感兴趣的局部区域位置，得到小目标感兴趣区域图像；
步骤(1)的具体实现步骤为：
穿戴式设备上的“眼动”注意力跟踪装置使用图像处理算法来识别穿戴式设备上眼睛跟踪相机发送的每个图像上的两个关键位置—瞳孔中心和角膜反射中心。角膜反射点是固定光源(红外照明器)发出的光在角膜上反射回来的点。用相机拍摄红外光照射眼睛后的反射图像，利用亮瞳孔和暗瞳孔原理，然后通过穿戴式设备上的计算硬件(处理器)处理，提取所拍图像中的瞳孔和角膜，把角膜反射点作为相机和眼球相对位置的基点，瞳孔中心位置坐标就表示凝视点位置。光斑和瞳孔的相对位置会随着眼球转动而发生明显的变化，然后用相对位置来确定出视线方向。相对位置视线确定方法通过一个视线映射函数模型来确定视线方向，将从眼睛图像提取的二维眼动特征作为映射函数的自变量输入，函数的因变量即为所求的视线方向或注视点。为了得到视线映射函数，需要对每个使用者进行在线校准。视线映射函数模型用如下公式表示：
其中，Px、Py为视线落点的坐标(注视点坐标)，Vx、Vy为瞳孔反射光斑向量的坐标。
利用瞳孔角膜反射技术可以获得单兵注视点中心，利用得到的注意力中心进行像素范围32*32区域扩展，得到小目标所在的感兴趣区域位置，即小目标感兴趣区域图像。
(2)利用穿戴式设备上的多焦段传感器提取出小目标感兴趣区域图像的具体图像信息，得到小目标细节图像；
步骤(2)的具体实现步骤为：
使用穿戴式设备上的多个不同焦距的图像传感器或者直接采用变焦图像传感器，从而对单兵注视点中心所在的局部区域图像进行大于300*300像素的提取，使得该区域图像后续可被轻量级神经网络模型更好的利用，避免出现局部区域图像像素过低，深度学习模型无法进行有效的特征提取情况发生。联合上述不同焦段的镜头或者直接采用变焦传感器，获取更为细节的局部特征，方便模型对于小目标的检测。
(3)构建基于穿戴式设备的小目标检测与跟踪模型，通过设计轻量级神经网络目标检测模型，融合上下文信息技术，结合focal loss损失函数和迁移学习手段进行模型训练，联合基于卡尔曼滤波算法的目标跟踪技术，得到小目标检测与跟踪模型，小目标细节图像通过小目标检测与跟踪模型得到新的图像信息，新的图像信息用于优化检测与跟踪模型对小目标的检测和跟踪能力；
如图2所示，步骤(3)的具体实现步骤为：
1)在得到小目标所在区域的细节图像后，设计基于深度可分离卷积的轻量级神经网络目标检测模型的整体模型，该模型包含轻量级深度可分离主干网络Mobilenet配合SSD单阶段目标检测算法。MobileNet使用深度可分离卷积方法来构建轻量级深度神经网络。深度可分离卷积可以分解为两个更小的操作：depthwise convolution和pointwiseconvolution。对于depthwise separable convolution，其首先是采用depthwiseconvolution对不同输入通道分别进行卷积，然后采用pointwise convolution将上面depthwise convolution对不同输入通道分别进行卷积后的输出进行结合；轻量级深度可分离主干网络Mobilenet配合SSD单阶段目标检测算法的总体结构可描述为对输入的图像采用MobileNet神经网络获得不同尺度的特征图后，对这些特征图进行密集采样生成多个Anchors(先验框)，对先验框进行偏移得到Bounding Box(预测框)，对于预测框中的对象进行分类，然后进行非极大值抑制(non-maximum suppression，简称NMS)操作，最后直接采用卷积的方式得到检测值。
2)针对深度可分离卷积的轻量级神经网络目标检测模型采用多尺度特征图进行预测的方式，对于得到的多尺度特征图信息加入FPN(Feature Pyramid network)上下文信息特征融合算法，对于多个不同尺度之间的特征图像进行一定程度上的融合。FPN特征融合算法采用自上而下的路径进行特征图像融合，将上层的特征金字塔空间上获得的语义融合到下层的特征金字塔底部空间，使得特征图像之间能够兼具低层图像的信息量多以及高层图像的语义强的特点。
3)基于融合上下文信息的轻量级目标检测网络，在该网络生成的候选框的过程中，不包含目标的候选框总要远比包含目标的候选框多，为平衡正负样本不均衡的问题，替换原有网络分类损失函数为focal loss损失函数，focal loss损失函数以交叉熵损失函数为基础，因此先介绍二分类的交叉熵损失函数(CE)：
上面公式中y∈{1,0}代表了真实类别，p∈[0,1]是对于类别为y类时模型所预测的概率值。为了标志方便，定义pt如下：
一般情况下用来平衡正负样本比例不均的方法是加入权重因子α，α∈[0,1]。对于类别1是α，对于类别0是(1-α)，为了方便表示，对于αt可以采用和pt同样的方式来定义，即
在原有的交叉熵损失函数上，加入(1-pt)γ调节因子，其中聚焦参数γ＞0。因此focal loss损失函数公式如下：
FL(pt)＝-αt(1-pt)γlog(pt) (4)
focal loss损失函数以交叉熵损失函数为基础，解决了目标检测网络分类器分类问题中的正负样本不均衡以及分类难度差异。完成整体轻量级目标检测模型后对该轻量级目标检测网络训练，配合COCO数据集预训练对实际战场中可能遇到的目标数据集进行迁移训练。
4)为了解决神经网络目标检测网络对小目标检测后，无法完成连续对相同小目标进行检测，采用基于卡尔曼滤波协同算法的目标跟踪技术使得依靠眼动辅助完成小目标检测后做到可维持目标跟踪。基于卡尔曼滤波协同算法的目标跟踪技术建立状态方程，将目标检测的小目标细节图像作为状态输入，对方程参数进行优化。通过对前n帧数据的输入，可以有效地预测第n帧中目标的位置。因此，在目标跟踪过程中，当目标出现遮挡或者消失时，加入卡尔曼滤波协同算法可以有效地解决这种问题。
(4)利用骤循上述步环获得新的图像信息，作为小目标检测与跟踪模型的训练集，利用更新后的训练集对小目标检测与跟踪模型进行迁移训练，直至收敛，得到小目标检测与跟踪增强模型。
步骤(4)的具体实现步骤为：
结合图3，将步骤(1)中的可穿戴式设备上的“眼动”注意力跟踪技术定位到的观测者的感兴趣的局部区域位置，通过步骤(2)多焦段传感器提取出该感兴趣区域的具体图像信息，将该图像输入进步骤(3)的目标检测与跟踪模型，进行小目标检测与跟踪，通过循环上述步骤，不断收集新的环境图像信息，用来丰富轻量级神经网络模型(目标检测与跟踪模型)的训练集，利用更新后的训练集对轻量级神经网络模型进行再训练，不断优化模型对于小目标的检测和跟踪能力，最终得到基于“人-机”混合技术的小目标检测和跟踪增强模型。
(5)将获取的小目标细节图像输入到小目标检测与跟踪增强模型实现对小目标检测和跟踪。
一种人机混合增强的小目标检测和跟踪***，包括采集识别模块、传感器模块、检测与跟踪模块以及通信模块；其中：
所述采集识别模块用于采集眼部图像并对图像识别定位目标区域位置，获取小目标感兴趣区域图像；
所述传感器模块用于提取出小目标感兴趣区域图像的具体图像信息，得到小目标细节图像，所述传感器模块为多个不同焦距的图像传感器或一个变焦图像传感器，小目标细节图像像素大于300*300；
所述目标跟踪模块包含小目标检测与跟踪增强模型，通过目标感兴趣区域图像的具体图像信息对小目标检测和跟踪；
所述通信模块用于各模块之间的信息通信。
关于人机混合增强的小目标检测和跟踪***的具体限定可以参见上文中对于小目标检测和跟踪方法的限定，在此不再赘述。
本发明的技术内容及技术特点已揭示如上，然而熟悉本领域的技术人员仍可能基于本发明的教示及揭示而作种种不背离本发明精神的替换及修饰。因此，本发明的保护范围应不限于实施例所揭示的内容，而应包括各种不背离本发明的替换及修饰，并为本专利申请权利要求书所涵盖。
Claims (5)
1.一种人机混合增强的小目标检测和跟踪方法，其特征在于，包括以下步骤：
(1)定位目标区域位置，获取小目标区域图像；
(2)提取出小目标区域图像的具体图像信息，得到小目标细节图像；
(3)构建小目标检测与跟踪模型：构建轻量级神经网络目标检测模型，融合上下文信息，结合focal loss损失函数和迁移学习方法进行模型训练，再联合目标跟踪模型，得到小目标检测与跟踪模型，小目标细节图像通过小目标检测与跟踪模型得到新的图像信息；构建轻量级神经网络目标检测模型具体为：
该模型包含轻量级深度可分离主干网络Mobilenet和SSD单阶段目标检测算法；轻量级深度可分离主干网络Mobilenet配合SSD单阶段目标检测算法对输入的小目标感兴趣区域图像采用MobileNet神经网络获得不同尺度的特征图后，对这些特征图进行密集采样生成多个先验框，然后对先验框进行偏移得到预测框，再对预测框中的对象进行分类，然后进行非极大值抑制操作，最后采用卷积方法得到检测值；
(4)循环步骤(1)～步骤(3)，将获得的新的图像信息，作为小目标检测与跟踪模型的训练集，利用更新后的训练集对小目标检测与跟踪模型进行迁移训练，直至收敛，得到小目标检测与跟踪增强模型；
(5)执行步骤(1)和步骤(2)获取小目标细节图像，将其输入到小目标检测与跟踪增强模型对小目标检测和跟踪；
所述步骤(1)具体为：
使用图像处理算法识别眼部图像上的瞳孔中心和角膜反射中心，利用亮瞳孔、暗瞳孔原理以及处理器，提取所拍图像中的瞳孔和角膜，把角膜反射中心作为眼睛跟踪相机和眼球相对位置的基点，瞳孔中心位置坐标表示凝视点位置；然后用光斑和瞳孔的相对位置确定视线方向；根据视线方向，利用瞳孔角膜反射技术获得观测者注视点中心，利用注视点中心进行像素范围32*32的区域扩展，得到小目标区域图像；
所述相对位置确定视线方向具体为：相对位置通过视线映射函数模型确定视线方向，视线映射函数模型如下：
其中，(Px,Py)为注视点坐标，(Vx,Vy)为瞳孔反射光斑向量；
所述轻量级深度可分离主干网络Mobilenet使用深度可分离卷积方法进行构建；深度可分离卷积方法包括depthwise convolution和pointwise convolution；深度可分离卷积方法首先采用depthwise convolution对不同输入通道分别进行卷积，然后采用pointwiseconvolution将卷积后的输出进行结合；
所述步骤(3)中融合上下文信息具体为：对轻量级神经网络目标检测模型加入FPN上下文信息特征融合算法，该算法采用自上而下的路径对不同尺度的特征图像进行融合，将上层的特征金字塔空间上获得语义融合到下层的特征金字塔底部空间。
2.根据权利要求1所述的一种人机混合增强的小目标检测和跟踪方法，其特征在于，所述步骤(3)中focal loss损失函数公式如下：
FL(pt)＝-αt(1-pt)γlog(pt) (2)
其中，聚焦参数γ＞0，y∈{1,0}代表真实类别，p∈[0,1]是对于类别为y类时模型所预测的概率值，α∈[0,1]是对于类别为y类时的权重因子。
3.根据权利要求1所述的一种人机混合增强的小目标检测和跟踪方法，其特征在于，所述目标跟踪模型是基于卡尔曼滤波算法构建的：首先基于卡尔曼滤波协同算法的建立状态方程，然后将小目标细节图像作为状态方程输入，根据状态方程的输出结果调整状态方程的参数。
4.一种实现权利要求1所述方法的人机混合增强的小目标检测和跟踪***，其特征在于，包括采集识别模块、传感器模块、检测与跟踪模块以及通信模块；其中：
所述采集识别模块用于采集眼部图像并对图像识别定位目标区域位置，获取小目标感兴趣区域图像；
所述传感器模块用于提取出小目标感兴趣区域图像的具体图像信息，得到小目标细节图像；
所述检测与跟踪模块包含小目标检测与跟踪增强模型，通过目标感兴趣区域图像的具体图像信息对小目标检测和跟踪；
所述通信模块用于各模块之间的信息通信。
5.根据权利要求4所述的一种人机混合增强的小目标检测和跟踪***，其特征在于，所述传感器模块为多个不同焦距的图像传感器或一个变焦图像传感器，小目标细节图像像素大于300*300。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011388969.2A CN112507840B (zh) | 2020-12-02 | 2020-12-02 | 一种人机混合增强的小目标检测和跟踪方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011388969.2A CN112507840B (zh) | 2020-12-02 | 2020-12-02 | 一种人机混合增强的小目标检测和跟踪方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112507840A CN112507840A (zh) | 2021-03-16 |
| CN112507840B true CN112507840B (zh) | 2024-06-18 |
Family
ID=74969109
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011388969.2A Active CN112507840B (zh) | 2020-12-02 | 2020-12-02 | 一种人机混合增强的小目标检测和跟踪方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112507840B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109002848B (zh) * | 2018-07-05 | 2021-11-05 | 西华大学 | 一种基于特征映射神经网络的弱小目标检测方法 |
| CN113327253B (zh) * | 2021-05-24 | 2024-05-24 | 北京市遥感信息研究所 | 一种基于星载红外遥感影像的弱小目标检测方法 |
| CN113380033B (zh) * | 2021-06-09 | 2022-08-16 | 山东交通学院 | 基于人机混合增强智能的城市交通安全预警方法及*** |
| CN113762166A (zh) * | 2021-09-09 | 2021-12-07 | 中国矿业大学 | 一种基于可穿戴式装备的小目标检测改善方法及*** |
| US11881020B1 (en) | 2022-11-24 | 2024-01-23 | Nanjing University Of Posts And Telecommunications | Method for small object detection in drone scene based on deep learning |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109766769A (zh) * | 2018-12-18 | 2019-05-17 | 四川大学 | 一种基于单目视觉与深度学习的道路目标检测识别方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101748563B1 (ko) * | 2016-09-26 | 2017-06-20 | 유비씨엔(주) | 양안기반 시선추적 방법 |
| CN108985172A (zh) * | 2018-06-15 | 2018-12-11 | 北京七鑫易维信息技术有限公司 | 一种基于结构光的视线追踪方法、装置、设备及存储介质 |
-
2020
- 2020-12-02 CN CN202011388969.2A patent/CN112507840B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109766769A (zh) * | 2018-12-18 | 2019-05-17 | 四川大学 | 一种基于单目视觉与深度学习的道路目标检测识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112507840A (zh) | 2021-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112507840B (zh) | 一种人机混合增强的小目标检测和跟踪方法及*** | |
| CN111209810B (zh) | 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构 | |
| CN110543867A (zh) | 一种多摄像头条件下的人群密度估测***及方法 | |
| CN105930822A (zh) | 一种人脸抓拍方法及*** | |
| US10884494B1 (en) | Eye tracking device calibration | |
| CN113762009B (zh) | 一种基于多尺度特征融合及双注意力机制的人群计数方法 | |
| US11361534B2 (en) | Method for glass detection in real scenes | |
| CN110456904B (zh) | 一种无需标定的增强现实眼镜眼动交互方法及*** | |
| CN116187398B (zh) | 一种无人机海洋图像检测用轻量神经网络搭建方法及设备 | |
| WO2022257120A1 (zh) | 瞳孔位置的确定方法、装置及*** | |
| CN116863286B (zh) | 一种双流目标检测方法及其模型搭建方法 | |
| Zhang et al. | MMFNet: Forest fire smoke detection using multiscale convergence coordinated pyramid network with mixed attention and fast-robust NMS | |
| CN111767879A (zh) | 一种活体检测方法 | |
| CN114170537A (zh) | 一种多模态三维视觉注意力预测方法及其应用 | |
| CN114202563A (zh) | 一种基于平衡性联合网络的鱼类多目标跟踪方法 | |
| CN112465704A (zh) | 一种全局-局部自适应优化的全景光场拼接方法 | |
| CN116503725A (zh) | 红外弱小目标实时检测方法及装置 | |
| CN116824533A (zh) | 一种基于注意力机制的远小目标点云数据特征增强方法 | |
| Miao et al. | Abnormal behavior learning based on edge computing toward a crowd monitoring system | |
| CN110866426A (zh) | 基于光场相机和深度学习的行人识别方法 | |
| CN117576149A (zh) | 一种基于注意力机制的单目标跟踪方法 | |
| CN112069997B (zh) | 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置 | |
| CN114677620A (zh) | 对焦方法、电子设备和计算机可读介质 | |
| CN103257442B (zh) | 一种基于图像识别的电子望远镜***及其图像处理方法 | |
| Hu et al. | Iris image acquisition and real-time detection system using convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 222001 No.18 Shenghu Road, Lianyungang City, Jiangsu Province Applicant after: The 716th Research Institute of China Shipbuilding Corp. Address before: 222001 No.18 Shenghu Road, Lianyungang City, Jiangsu Province Applicant before: 716TH RESEARCH INSTITUTE OF CHINA SHIPBUILDING INDUSTRY Corp. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |