CN112818883B - 基于眼动信号的感兴趣目标深度学习检测与定位方法 - Google Patents
基于眼动信号的感兴趣目标深度学习检测与定位方法 Download PDFInfo
- Publication number
- CN112818883B CN112818883B CN202110169344.5A CN202110169344A CN112818883B CN 112818883 B CN112818883 B CN 112818883B CN 202110169344 A CN202110169344 A CN 202110169344A CN 112818883 B CN112818883 B CN 112818883B
- Authority
- CN
- China
- Prior art keywords
- eye movement
- data
- staring
- sequence
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004424 eye movement Effects 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000001514 detection method Methods 0.000 title claims abstract description 26
- 238000013135 deep learning Methods 0.000 title claims abstract description 18
- 238000013528 artificial neural network Methods 0.000 claims abstract description 24
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 20
- 230000002159 abnormal effect Effects 0.000 claims abstract description 18
- 238000001914 filtration Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 8
- 230000003044 adaptive effect Effects 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000005516 engineering process Methods 0.000 claims description 14
- 230000001133 acceleration Effects 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000002474 experimental method Methods 0.000 claims description 4
- 230000000873 masking effect Effects 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims 7
- 230000004397 blinking Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004434 saccadic eye movement Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- XEBWQGVWTUSTLN-UHFFFAOYSA-M phenylmercury acetate Chemical compound CC(=O)O[Hg]C1=CC=CC=C1 XEBWQGVWTUSTLN-UHFFFAOYSA-M 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明公开了一种基于眼动信号的感兴趣目标深度学习检测与定位方法，包括以下步骤：获取眼动仪的原始输出数据；对原始数据预处理，包括剔除异常数据及数据滤波；采用自适应阈值算法从预处理后的眼动数据中区分出凝视事件和扫视事件；手动标记凝视序列并设计处理不等长序列的深度神经网络，训练ConvLSTM神经网络,并使用该网络检测刻意凝视簇和非刻意凝视簇,将刻意凝视簇与原图叠加即可定位感兴趣目标在图片中的具***置，该方法中的自适应阈值算法识别凝视事件和扫视事件，对不同的被试具有更高的识别精度，深度神经网络也提高了感兴趣目标检测与定位精度，尤其是在遮挡目标、不完整目标以及不确定目标等检测与定位精度远高于基于计算机视觉的方法。
Description
技术领域
本发明涉及眼动追踪技术技术领域，尤其涉及基于眼动信号的感兴趣目标深度学习检测与定位方法。
背景技术
目标检测是计算机视觉和数字图像处理的一个热门方向，在军事和民用领域有着广泛的应用。军事方面，可用于军事目标的搜索和检测；民用方面，可用于气象、农业、安防等诸多行业。现有的基于计算机视觉的感兴趣目标检测技术，对特定的图像目标已经取得了较好的检测结果，然而这类方法高度依赖于先验信息和图像目标的特征，对于图像中不确定目标、遮挡目标以及不完整目标仍难以进行有效的检测，同时检测精度受到图片的景深、分辨率、天气、光照条件等影响。眼动追踪技术的发展为解决该问题提供了可能，眼动信号的时空特征是视觉信息提取过程中的生理和行为体现，大量研究表明，人眼的凝视模式与人类的认知过程密切相关。例如，凝视和扫视行为在瞳孔大小、注视时长和注视次数等会表现出差异，被试的刻意凝视为检测和定位感兴趣目标提供了依据。
利用眼动信号检测和定位感兴趣目标首先要将眼动事件分类，该领域已经有诸多成熟的眼动事件分类算法，如基于速度阈值的I-VT算法，基于分布的I-DT算法，基于机器学习的I-HMM隐马尔可夫模型算法等等，这些算法的目标是分类出各种眼动事件，并没有做后续的目标检测和定位分析。近些年也有研究基于注视区域关注度预测遥感图像中感兴趣目标，通过注视区域聚类算法，对被试的关注区域进行提取，利用被试对区域的关注度不同实现对区域是否包含目标的判断，实验结果表明，该方法将基于眼动的感兴趣区域分析技术与认知分析技术相结合，在一定程度上实现对复杂背景图像目标的检测与定位。也有研究者通过聚类方法获得被试的凝视簇，手动提取的凝视特征并标记，采用机器学习的方法识别刻意凝视簇和非刻意凝视簇，以实现感兴趣目标的检测，具有一定的识别效果，但识别效果高度依赖于提取的特征。
随着人工智能技术的发展，出现了大量优秀的神经网络模型和算法，深度学习在图像分类与识别、文本分类、语音处理等领域得到了广泛应用并取得了无与伦比的效果。卷积神经网络和长短时记忆网络时深度学习的主流算法，相比而言，CNN更适合进行空间扩展，提取数据的局部特征，卷积抽象成高维特征，因此CNN常用于图像的特征提取，而LSTM更适合建模时序数据，善于捕捉时间序列前后的关联，因此LSTM常用于文本、语音、视频等数据的特征提取。眼动信号由于其特殊性具有空域和时域特征。对于类似信号，如脑电信号，已有研究者采用ConvLSTM网络处理，相比单独的CNN网络和单独LSTM网络能更好的提取信号特征，取得了较好的分类效果。
发明内容
为了解决上述背景技术提出的技术问题，本发明旨在提供基于眼动信号的感兴趣目标深度学习检测和定位方法，通过原始注视点提取凝视序列，送入神经网络检测出刻意凝视簇，将其与原图叠加定位感兴趣目标在图片中的位置。
为了实现上述技术目的，本发明的技术方案为：
基于眼动信号的感兴趣目标深度学习检测方法，包括：
步骤1、实时获取眼动仪的原始输出数据，包括时间戳timestamp、水平方向坐标x、垂直方向坐标y和数据有效性validity；
步骤2、对原始输出数据进行预处理，剔除异常数据和异常数据附近的一些有效数据，进行数据滤波；
步骤3、从预处理后的数据中计算出眼动角速度v和眼动角加速度a，采用自适应阈值算法将预处理后的数据区分出凝视事件和扫视事件，得到凝视序列；
步骤4、将凝视序列可视化并与对应的实验图片叠加，然后辅助手动标记凝视序列类别。
步骤5、使用手动标记后的凝视序列处理不等长序列的深度神经网络，使用不同长序列的深度神经网络进行感兴趣目标的检测与定位。
进一步，步骤1原始输出数据由程序自动地从眼动仪实时读取，为了计算眼动角速度和眼动角加速度方便，眼动仪输出坐标(x，y)需要转换为屏幕像素坐标(xs，ys)，转换公式如下：
xs＝x*rv
ys＝y*rh
其中，x为眼动仪输出的水平方向坐标，y为眼动仪输出的垂直方向坐标，xs为水平方法屏幕像素坐标，ys为垂直方法屏幕像素坐标，rv为水平方向屏幕分辨率，rh为垂直方向屏幕分辨率。
进一步，步骤2对进行坐标转换后的数据进行预处理，首先要剔除异常数据，异常数据是由被试眨眼，外界噪声或被试看向屏幕外等产生，需要定位到无效数据序列的中心，同时将异常数据及异常数据附近的小部分有效数据剔除，保证剔除的鲁棒性，之后应用尖峰滤波、中值滤波和巴特沃斯滤波，降低信号噪声。
进一步，步骤3所述的眼动速度v为眼动角速度a，眼动加速度为眼动角加速度，计算公式如下：
其中，v代表眼动角速度，a代表眼动加速度，t是不同注视点之间的时间间隔，x0，y0是起始时刻的屏幕像素坐标，xt，yt是t时刻的屏幕像素坐标，d是被试距离屏幕的距离。
进一步，步骤3所述分类眼动事件的自适应阈值算法，首先计算整个眼动数据的速度阈值，分类出扫视事件，然后用扫视事件把数据分割成小窗口，计算扫视窗口内的局部速度阈值，分类出扫视和凝视事件，相比直接用全部数据计算统一的速度阈值，在扫视窗口内自适应的计算速度阈值更为合理，处理了被试间的个体差异性。
进一步，步骤4所述的手动标记凝视序列，采用步骤3分类的凝视序列可视化并与对应的实验图片叠加，根据实验时指定的目标物体标记凝视序列类别，在目标物体附近标记的凝视序列标记为刻意凝视簇，否则标记为非刻意凝视簇。
进一步，步骤5所述的处理不等长序列的神经网络采用Making技术。显然，不同的凝视序列长度未必相同，但网络要求输入数据维度一致，因此需要设计处理不等长序列的深度神经网络。通常的处理是用零填充为等长或直接截断成等长序列，缺点是小幅改变了凝视序列分类特征。步骤5所述的处理不等长序列的神经网络虽然用零补充，但采用Masking技术将序列中零在网络中不参与计算，既保证了网络处理不等长序列，又可以去除用零补充对凝视序列分类特征的影响。
进一步，步骤5所述深度神经网络的结构采用CNN+LSTM结合构成ConvLSTM网络，该网络能够处理具有时空特征的数据，CNN学习数据的空间局部特征，并通过卷积抽象成高维特征，LSTM学习数据的时间序列特征。
进一步，用手动标记的凝视序列训练ConvLSTM深度神经网络，新采集的眼动数据首先经过自适应阈值算法分出凝视簇，然后使用训练后的ConvLSTM网络检测刻意凝视簇和非刻意凝视簇,将刻意凝视簇与原图叠加即可定位感兴趣目标在图片中的具***置。
本发明与现有技术相比，具有的有益效果是：
(1)基于眼动信号的感兴趣目标深度学习检测与定位方法，通过眼动信号，充分利用被试在遮挡目标、不完整目标以及不确定目标的检测能力，提高在复杂环境下感兴趣目标检测与定位的精度；
(2)该方法分类眼动事件的算法采用自适应阈值，考虑了被试间的个体差异性，可实现较高精度的眼动事件分类，有利于提取出凝视序列做手动标记和提高训练数据的可靠度，进而提高深度神经网络训练效果；
(3)该方法采用ConvLSTM深度神经网络来识别刻意凝视序列和非刻意凝视序列，综合了CNN和LSTM的优点，能够同时处理具有时空特征的数据，对刻意凝视序列识别精度更高，从而实现高精度的感兴趣目标检测与定位。
附图说明
图1是本发明的总体框架流程图；
图2是深度神经网络结构。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
本发明中所指感兴趣目标，通常指图片中被试感兴趣目标对象，亦可是实验指定目标对象，譬如飞机、轮船、坦克等军事目标。在这里，被试自由浏览含有不等量感兴趣目标的图片，眼动仪记录被试的眼动信号，用于后续分析和处理以检测被试感兴趣目标。
如图1所示，本发明实例提供的一种基于眼动信号的感兴趣目标深度学习检测方法包括如下步骤：
(1)眼动信号获取和预处理
眼动追踪技术是多模态交互技术的重要组成部分，视觉***是人类获取外部信息的重要途经，提供了人类视觉探索世界的独特信息来源。眼动追踪技术利用传感器感应眼珠的转动，通过微处理器计算眼睛凝视的方向和角度，从而达到追踪凝视位置的目标。眼动仪是利用眼动追踪技术记录眼动轨迹的重要仪器，可以记录下用户当前的注视位置，瞳孔直径等信息。眼动仪记录的眼动信号可以按照眼动速度分为多种眼动事件类型，凝视，扫视，平滑追踪等等。其中凝视表示用户注意力集中的位置，极有可能是图片中的感兴趣区域。
实例中利用用眼动仪设计图片切换实验，记录被试自由浏览每张图片的眼动信号，眼动仪输出的原始数据包括时间戳timestamp、水平方向坐标x、垂直方向坐标y和数据有效性validity。眼动仪输出坐标为[0，1]，需要转换到屏幕像素坐标以方便计算眼动角速度和眼动角加速度，转换公式如下：
xs＝x*rv
ys＝y*rh
其中，x为眼动仪输出的水平方向坐标，y为眼动仪输出的垂直方向坐标，xs为水平方法屏幕像素坐标，ys为垂直方法屏幕像素坐标，rv为水平方向屏幕分辨率，rh为垂直方向屏幕分辨率。
对坐标转换后的数据进行预处理，首先要剔除异常数据，异常数据是由被试眨眼，外界噪声或被试看向屏幕外等产生，需要定位到无效数据序列的中心，同时将异常数据及异常数据附近的小部分有效数据剔除，保证剔除的鲁棒性。之后应用尖峰滤波、中值滤波和巴特沃斯滤波，降低信号噪声。
(2)眼动事件标记算法
利用预处理后的眼动数据计算出眼动速度和眼动加速度，采用自适应阈值算法区分出凝视事件和扫视事件。此处，眼动速度为眼动角速度，眼动加速度为眼动角加速度，计算公式如下：
其中，v代表眼动角速度，a代表眼动加速度，t是不同注视点之间的时间间隔，x0，y0是起始时刻的屏幕像素坐标，xt，yt是t时刻的屏幕像素坐标，d是被试距离屏幕的距离。
分类眼动事件的自适应算法，首先计算整个数据的眼动速度阈值，分类出扫视事件，然后利用扫视事件把数据分割成小窗口，计算扫视窗口内的局部速度阈值，分类出扫视和凝视事件。相比直接用全部数据计算速度阈值，在扫视窗口内自适应的计算速度阈值更为合理，算法很好的解决了被试的个体差异性造成的阈值差异问题。
(3)凝视序列标记和深度神经网络训练
将每张实验图片与其对应凝视序列相叠加，得到一系列叠加图片用于辅助手动标记凝视序列类别。标记的准则是实验时指定的目标物体与凝视序列是否重合，在目标物体附近的凝视序列标记为刻意凝视序列，否则标记为非刻意凝视序列。
显然，不同的凝视序列是不等长的，需要设计处理不等长序列的神经网络，如果不处理，将无法训练深度神经网络，因为神经网络要求输入数据的维度一致。通常的做法是用零填充为等长序列或直接截断成等长序列，缺点是损失了部分序列分类特征。本发明所述的处理不等长序列方法借用了用零补充为等长序列的思想，但采用Masking技术将序列中零在网络计算结果的代价函数删除，既保证了网络处理不等长序列，又可以去除用零补充对序列特征产生的影响。
眼动信号由于其特殊性，既含有空间局部特征，又是一个随时间连续变化的信号，故将卷积神经网络CNN和长短时记忆网络LSTM融合构成ConvLSTM网络，结合CNN的空域特征提取和LSTM的时序特征提取，能更好的提取眼动信号的特征，网络结构示意图如图2所示，包含卷积层、池化层、Dropout层、LSTM层和全连接层。
(4)使用训练后的网络
ConvLSTM深度神经网络训练之后，可用于感兴趣目标的检测和定位，新采集的眼动数据首先经过自适应阈值算法分出凝视簇，然后使用训练后的ConvLSTM网络检测刻意凝视簇和非刻意凝视簇,将刻意凝视簇与原图叠加即可定位感兴趣目标在图片中的具***置。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.基于眼动信号的感兴趣目标深度学习检测与定位方法，其特征在于：包括以下步骤：
步骤1、实时获取眼动仪的原始输出数据，所述原始输出数据包括时间戳timestamp、水平方向坐标x、垂直方向坐标y和数据有效性validity；
步骤2、对原始输出数据进行预处理，剔除异常数据和异常数据附近的一些有效数据，进行数据滤波；
步骤3、从预处理后的数据中计算出眼动角速度v和眼动角加速度a，采用自适应阈值算法将预处理后的数据区分出凝视事件和扫视事件，得到凝视序列；
步骤4、将凝视序列可视化并与对应的实验图片叠加，然后手动标记凝视序列类别；
步骤5、使用手动标记后的凝视序列处理不等长序列的深度神经网络，使用不同长序列的深度神经网络进行感兴趣目标的检测与定位。
2.根据权利要求1所述的基于眼动信号的感兴趣目标深度学习检测与定位方法，其特征在于：步骤1所述原始输出数据由程序自动地从眼动仪实时读取。
3.根据权利要求1所述的基于眼动信号的感兴趣目标深度学习检测与定位方法，其特征在于：步骤2所述预处理包括剔除异常数据和滤波处理数据，所述异常数据是由被试眨眼,外界噪声或被试看向屏幕外等产生，需要定位到无效数据序列的中心，同时将异常数据及异常数据附近的小部分有效数据剔除，保证剔除的鲁棒性，所述滤波处理数据采用尖峰滤波、中值滤波和巴特沃斯滤波，降低信号噪声。
4.根据权利要求1所述的基于眼动信号的感兴趣目标深度学习检测与定位方法，其特征在于：步骤3所述的眼动角速度v，眼动角加速度a，计算公式如下：
其中，v代表眼动角速度，a代表眼动加速度，t是不同注视点之间的时间间隔，x0,y0是起始时刻的坐标，xt,yt是t时刻的坐标，d是被试距离屏幕的距离；
所述自适应阈值算法包括以下步骤，首先计算整个眼动数据的速度阈值，分类出扫视事件，然后用扫视事件把眼动数据分割成小窗口，计算扫视窗口内的局部速度阈值，分类出扫视和凝视事件。
5.根据权利要求1所述的基于眼动信号的感兴趣目标深度学习检测与定位方法，其特征在于：步骤4所述的手动标记凝视序列，采用步骤3分类的凝视序列可视化并与对应的实验图片叠加，根据实验时指定的目标物体标记凝视序列类别，在目标物体附近标记的凝视序列标记为刻意凝视簇，否则标记为非刻意凝视簇。
6.根据权利要求1所述的基于眼动信号的感兴趣目标深度学习检测与定位方法，其特征在于：步骤5处理不等长序列的神经网络过程中使用零补充，并且采用Masking技术使序列中的补零在网络中不参与计算。
7.根据权利要求1所述的基于眼动信号的感兴趣目标深度学习检测与定位方法，其特征在于：步骤5中所述深度神经网络的结构采用CNN+LSTM结合构成ConvLSTM网络，所述ConvLSTM网络能够处理具有时空特征的数据，其中CNN学习数据带有空间局部特征，能够通过卷积抽象成高维特征，LSTM学习数据带有时间序列特征。
8.根据权利要求7所述的基于眼动信号的感兴趣目标深度学习检测与定位方法，其特征在于：采用手动标记的凝视序列训练ConvLSTM深度神经网络，新采集的眼动数据首先经过自适应阈值算法分出凝视簇，然后使用训练后的ConvLSTM网络检测刻意凝视簇和非刻意凝视簇,将刻意凝视簇与原图叠加即可定位感兴趣目标在图片中的具***置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110169344.5A CN112818883B (zh) | 2021-02-07 | 2021-02-07 | 基于眼动信号的感兴趣目标深度学习检测与定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110169344.5A CN112818883B (zh) | 2021-02-07 | 2021-02-07 | 基于眼动信号的感兴趣目标深度学习检测与定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112818883A CN112818883A (zh) | 2021-05-18 |
| CN112818883B true CN112818883B (zh) | 2024-03-26 |
Family
ID=75862240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110169344.5A Active CN112818883B (zh) | 2021-02-07 | 2021-02-07 | 基于眼动信号的感兴趣目标深度学习检测与定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112818883B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113827238A (zh) * | 2021-09-02 | 2021-12-24 | 苏州中科先进技术研究院有限公司 | 基于虚拟现实和眼动信息的情绪评估方法、装置 |
| CN115439921A (zh) * | 2022-09-22 | 2022-12-06 | 徐州华讯科技有限公司 | 一种基于眼动图推理的图像偏好预测方法 |
| CN117763230A (zh) * | 2023-12-21 | 2024-03-26 | 海南柠柠柒科技有限公司 | 基于神经网络模型的数据分析方法及*** |
| CN118053196B (zh) * | 2024-04-15 | 2024-07-05 | 北京航空航天大学 | 基于扫视与凝视的单波段骨干网络架构的特征提取方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190100982A (ko) * | 2018-02-05 | 2019-08-30 | 동국대학교 산학협력단 | 딥 러닝 기반의 차량 운전자 시선 추적 장치 및 방법 |
| CN110298303A (zh) * | 2019-06-27 | 2019-10-01 | 西北工业大学 | 一种基于长短时记忆网络扫视路径学习的人群识别方法 |
-
2021
- 2021-02-07 CN CN202110169344.5A patent/CN112818883B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190100982A (ko) * | 2018-02-05 | 2019-08-30 | 동국대학교 산학협력단 | 딥 러닝 기반의 차량 운전자 시선 추적 장치 및 방법 |
| CN110298303A (zh) * | 2019-06-27 | 2019-10-01 | 西北工业大学 | 一种基于长短时记忆网络扫视路径学习的人群识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112818883A (zh) | 2021-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112818883B (zh) | 基于眼动信号的感兴趣目标深度学习检测与定位方法 | |
| CN102324166B (zh) | 一种疲劳驾驶检测方法及装置 | |
| Oliva et al. | Top-down control of visual attention in object detection | |
| CN102663452B (zh) | 基于视频分析的可疑行为检测方法 | |
| Pediaditis et al. | Vision-based motion detection, analysis and recognition of epileptic seizures—a systematic review | |
| CN105809144A (zh) | 一种采用动作切分的手势识别***和方法 | |
| Younis et al. | A hazard detection and tracking system for people with peripheral vision loss using smart glasses and augmented reality | |
| CN111460950B (zh) | 自然驾驶通话行为中基于头-眼证据融合的认知分心方法 | |
| CN110490905A (zh) | 一种基于YOLOv3和DSST算法的目标跟踪方法 | |
| CN106446002A (zh) | 一种基于运动目标在地图中轨迹的视频检索方法 | |
| CN111860274A (zh) | 基于头部朝向与上半身骨架特征的交警指挥手势识别方法 | |
| CN111563452A (zh) | 一种基于实例分割的多人体姿态检测及状态判别方法 | |
| CN113743471A (zh) | 一种驾驶评估方法及其*** | |
| CN109063545B (zh) | 一种疲劳驾驶检测方法及装置 | |
| Monir et al. | Rotation and scale invariant posture recognition using Microsoft Kinect skeletal tracking feature | |
| CN108898621B (zh) | 一种基于实例感知目标建议窗口的相关滤波跟踪方法 | |
| CN109063643A (zh) | 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法 | |
| CN114005167A (zh) | 基于人体骨骼关键点的远距离视线估计方法和装置 | |
| CN111814751A (zh) | 基于深度学习目标检测和图像识别的车辆属性分析方法及*** | |
| CN113963399A (zh) | 基于多算法融合应用的人员轨迹检索方法及装置 | |
| CN112270807A (zh) | 一种老人跌倒预警*** | |
| CN107480635A (zh) | 一种基于双模态分类模型融合的扫视信号识别方法及*** | |
| Kielty et al. | Neuromorphic sensing for yawn detection in driver drowsiness | |
| CN110502995B (zh) | 基于细微面部动作识别的驾驶员打哈欠检测方法 | |
| Chen et al. | Attention estimation system via smart glasses |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |