CN110139597B - 利用神经生理信号进行迭代分类的***和方法 - Google Patents

利用神经生理信号进行迭代分类的***和方法 Download PDF

Info

Publication number
CN110139597B
CN110139597B CN201780081627.6A CN201780081627A CN110139597B CN 110139597 B CN110139597 B CN 110139597B CN 201780081627 A CN201780081627 A CN 201780081627A CN 110139597 B CN110139597 B CN 110139597B
Authority
CN
China
Prior art keywords
image
images
neural network
target
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780081627.6A
Other languages
English (en)
Other versions
CN110139597A (zh
Inventor
埃米尔·B·杰瓦
艾坦·内泽尔
然艾·马诺尔
谢尔盖·魏斯曼
利昂·Y·迪欧尔
乌里·安特曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innereye Ltd
Original Assignee
Innereye Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innereye Ltd filed Critical Innereye Ltd
Publication of CN110139597A publication Critical patent/CN110139597A/zh
Application granted granted Critical
Publication of CN110139597B publication Critical patent/CN110139597B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

一种训练图像分类神经网络的方法，包括：将第一多个图像作为视觉刺激呈现给观察者，同时从观察者的大脑收集神经生理信号；处理神经生理信号以识别表示观察者在第一多个图像的至少一个图像中检测到目标的神经生理事件；基于神经生理事件的识别，训练图像分类神经网络以识别图像中的目标；以及将训练的图像分类神经网络存储在计算机可读存储介质中。

Description

利用神经生理信号进行迭代分类的***和方法
相关申请
本申请要求申请号为No.62/437,065，提交日为2016年12月21日的美国临时发明申请的优先权，其内容通过整体引用并入本申请。
技术领域
在本发明的一些实施例中，本发明涉及脑计算机接口(Brain ComputerInterface，BCI)，更具体地但非排他地，涉及使用神经生理信号进行迭代分类的***和方法。
背景技术
BCI应用依赖于解码大脑活动以响应单个事件(试验)，而非基础研究中经常研究的平均响应的描述。脑电图(Electroencephalography，EEG)是一种非侵入性记录技术，是监测大脑活动的常用***之一。从多个通道中以高时间分辨率同时收集EEG数据，从而产生用于表示单个试验大脑活动的高维数据矩阵。除了其卓越的时间分辨率之外，EEG是非侵入性的、可穿戴的，并且比其他神经成像技术更实惠，因此是任何类型实用BCI的首选。
传统的分类技术使用机器学习算法基于矩阵的统计特性对单个试验的时空活动矩阵进行分类。这些方法基于两个主要组成部分：用于有效降维的特征提取机法和分类算法。典型的分类器使用样本数据来学习映射规则，通过该规则可以将其他测试数据分类为两个或更多个类别中的一个。分类器可大致分为线性分类器和非线性分类学。非线性分类器，例如神经网络、隐马尔可夫模型和k最近邻算法(k-nearest neighbor)，与广泛的函数近似，可识别复杂的数据结构。虽然非线性分类器具有捕获复杂判别函数的潜力，但是它们的复杂性也可能导致过度拟合并承受非常大的计算量，因此不太适合于实时应用。
另一方面，线性分类器相较没那么复杂，因此对数据过度拟合更健壮。线性分类器对可以线性分离的数据执行得特别好。线性分类器的示例有Fisher线性判别式(FisherLinear discriminant，FLD)，线性支持向量机(Support Vector Machine，SVM)以及Logistic回归(Logistic Regression，LR)。FLD可找到将两个类的数据映射到可分离投影轴上的特征的线性组合。类别之间的距离与类别内的方差之比是分离的标准。SVM可找到可将两个类之间的边距最大化的分离超平面。LR，顾名思义，则将数据投射到逻辑函数上。
国际公布No.WO2014/170897(其内容通过引用结合于此)公开了一种用于进行响应于包含目标图像和非目标图像的一系列图像而生成的人类对象的EEG信号的单次试验分类的方法。该方法包括：以时空表示获得EEG信号，该时空表示包括EEG信号的时间点和相应的空间分布；使用线性判别分类器对时间点进行独立分类，从而计算时空判别权重；使用时空判别权重分别通过时空点处的时空判别权重来放大该时空表示，从而生成空间加权表示；在时域上使用主成分分析(Principal Component Analysis，PCA)分别针对EEG信号的每个空间通道进行降维，从而创建PCA投影；将PCA投影应用于空间加权表示到第一多个主分量上，从而创建包含每个空间通道、用于多个主时间投影的PCA系数的时间近似空间加权表示；以及使用线性判别分类器在频道数上对时间近似空间加权表示进行分类，以产生指示图像序列的每个图像属于目标图像或非目标图像的二元判定系列。
国际公开号WO2016/193979(其内容通过引用结合到本文中)公开了一种对图像分类的方法。其将计算机视觉程序应用于图像以在其中检测怀疑被目标占据的候选图像区域；向观察者呈现作为视觉刺激的每个候选图像区域，同时从观察者的大脑收集神经生理信号；处理神经生理信号以识别指示观察者检测到目标的神经生理事件；以及基于神经生理事件的识别来确定图像中目标的存在。
发明内容
根据本发明的一些实施例的一方面，提供了一种训练图像分类神经网络的方法。该方法包括：将第一多个图像作为视觉刺激呈现给观察者，同时从所述观察者的大脑收集神经生理信号；处理所述神经生理信号以识别所述观察者在所述第一多个图像的至少一个图像中检测到目标的神经生理事件；基于所述神经生理事件的所述识别，训练图像分类神经网络以识别所述图像中的所述目标；以及将训练的所述图像分类神经网络存储在计算机可读存储介质中。
根据本发明的一些实施例，该方法还包括将无监督聚类应用于第二多个图像，并基于所述无监督聚类从所述第二多个图像中选择所述第一多个图像。
根据本发明的一些实施例，将所述训练的图像分类神经网络应用于第二多个图像以在其中检测怀疑被所述目标占据的候选图像，其中所述第二多个图像包括所述第一多个图像中的至少一个图像；重新定义所述第二多个图像，其中被重新定义的所述第二多个图像中的至少一个图像是由所述训练图像分类神经网络检测到的候选图像；以及重复所述呈现、所述神经生理信号的所述收集和所述处理、以及对所述重新定义的第一多个图像的至少一个图像进行的所述训练，从而迭代地训练所述图像分类神经网络。
根据本发明的一些实施例，该方法包括将输入图像平铺成多个图像块，其中所述第一多个图像包括所述多个图像块的一部分。
根据本发明的一些实施例，所述第二多个图像包括所述多个图像块。
根据本发明的一些实施例，所述重新定义所述第二多个图像，包括将所述输入图像重新平铺为多个图像，其中被重新平铺的所述输入图像的至少一个图像包括所述候选图像
根据本发明的一些实施例，该方法还包括还包括：将无监督聚类应用于所述第二多个图像，并基于所述无监督聚类从所述第二多个图像中选择所述第一多个图像。
根据本发明的一些实施例，该方法包括从第二多个图像中随机选择所述第一多个图像。
根据本发明的一些实施例，该方法包括接收包括所述目标的参考图像，并响应于所述参考图像从所述第二多个图像中选择所述第一多个图像。
根据本发明的一些实施例，所述图像分类神经网络为卷积神经网络。
根据本发明的一些实施例，所述图像分类神经网络包括：被配置用于接收和处理所述神经生理数据的第一神经子网络、被配置用于接收和处理所述第二多个图像的第二神经子网络，以及具有用于接收和组合来自所述第一神经子网和所述第二神经子网络的输出的神经网络层的共享子网络。
根据本发明的一些实施例，所述图像分类神经网络为卷积神经网络，并且所述第一神经子网络和所述第二神经子网络中的至少一个为卷积神经子网络。
根据本发明的一些实施例，所述图像分类神经网络包括用于输出第一分数的所述第一神经子网络的第一单独输出层，以及用于输出第二分数的所述第二神经子网络的第二单独输出层，其中所述方法包括将所述第一分数与所述第二分数组合以获得一组合分数，用所述组合分数标记所述图像，并在所述训练的至少一次迭代中使用所述标记。
根据本发明的一些实施例，所述组合分数为所述第一分数和所述第二分数的加权和。
根据本发明的一些实施例，所述图像分类神经网络包括用于无监督特征学习的自动编码器子网络。
根据本发明的一些实施例，所述自动编码器子网用于选择所述第一多个图像。
根据本发明的一些实施例，该方法包括使用所述神经生理信号对所述神经生理事件进行分数评定，其中所述训练至少部分地基于所述分数。
根据本发明的一些实施例，该方法包括使用所述分数来确定所述目标与由所述观察者观察的图像中的对象的相似度。
根据本发明的一些实施例，该方法包括在所述第一多个图像被呈现之前向观察者呈现描述所述目标的刺激，其中所述刺激包括视觉刺激、文本刺激、听觉刺激和嗅觉刺激中的至少一个。
根据本发明的一些实施例，该方法包括在所述第一多个图像被呈现之前向观察者呈现与所述目标互补的刺激，其中所述刺激包括视觉刺激、文本刺激、听觉刺激和嗅觉刺激中的至少一个。
根据本发明的一些实施例的另一方面，提供了一种训练图像分类神经网络的***。该***包括：神经生理信号采集***，用于收集观察者大脑的神经生理信号；以及数据处理器，与所述神经生理信号收集***通信，且被配置用于执行上述的方法。
根据本发明的一些实施例的另一方面，提供了一种图像分类的方法。该方法包括：执行如上述的方法以训练图像分类神经网络；以及将所述训练的图像分类神经网络应用于所述图像，以基于由所述训练的图像分类神经网络的输出层生成的分数来确定图像中的所述目标的存在。
根据本发明的一些实施例的另一方面，提供了一种图像分类的方法。该方法包括：将如上述的方法应用于图像；将所述训练的图像分类神经网络应用于所述图像以确定所述图像是否被怀疑为被目标占据；将所述图像作为视觉刺激呈现给观察者，同时从所述观察者的大脑收集神经生理信号；至少部分地基于所述神经生理事件的所述识别来确定所述图像中所述目标的存在。
根据本发明的一些实施例的另一方面，提供了一种图像分类的方法。该方法包括：将训练的图像分类神经网络应用于图像，以在其中检测怀疑被目标占据的候选图像区域；向观察者呈现作为视觉刺激的每个候选图像区域，同时从所述观察者的大脑收集神经生理信号；至少部分地基于所述神经生理事件的所述识别来确定所述图像中所述目标的存在。
根据本发明的一些实施例的另一方面，提供了一种图像分类的方法。该方法包括：将训练的图像分类神经网络应用于多个图像中的每一个，以在其中检测怀疑被目标占据的候选图像；向观察者呈现作为视觉刺激的每个候选图像，同时从所述观察者的大脑收集神经生理信号；至少部分地基于所述神经生理事件的所述识别来确定所述图像中所述目标的存在。
根据本发明的一些实施例的另一方面，提供了一种图像分类的***。该***包括：神经生理信号采集***，用于收集观察者大脑的神经生理信号；以及数据处理器，与所述神经生理学信号采集***通信，并被配置用于执行如上所述的方法。
除非另外定义，否则本文使用的所有技术和/或科学术语具有与本发明所属领域的普通技术人员通常理解的含义相同的含义。尽管与本文描述的那些类似或等同的方法和材料可用于实践或测试本发明的实施方案，但下文描述了典型的方法和/或材料。如有冲突，具有界定的该专利说明书可以控制。另外，材料、方法和实施例仅是说明性的，并不受限制。
本发明的实施例的方法和/或***的实现可以包括手动、自动或其组合地执行或完成所选任务。此外，根据本发明的方法和/或***的实施例的实际仪器和设备，所选任务可通过硬件、软件、固件或其组合使用操作***来实现。
例如，根据本发明实施例的用于执行所选任务的硬件可以为芯片或电路。而软件，根据本发明实施例的所选任务可以为由计算机使用任何合适的操作***执行的多个软件指令。在本发明的示例性实施例中，根据本文描述的方法和/或***的示例性实施例的一个或多个任务由数据处理器执行，诸如用于执行多个指令的计算平台。可选地，数据处理器包括用于存储指令和/或数据的易失性存储器和/或用于存储指令和/或数据的非易失性存储器，例如磁性硬盘和/或可移动介质。可选地，还可提供网络连接。可选地，还可提供显示器和/或用户输入设备，例如键盘或鼠标。
附图说明
在此结合附图和图片仅通过举例的方式描述了本发明的一些实施例。请具体参考附图，需强调的是，所示的细节是作为示例且出于说明性讨论本发明的实施例的目的。就该点而言，结合附图进行的描述，本领域技术人员可清楚得知本发明的实施例是如何实施。
在图中：
图1为根据本发明的一些实施例的适用于训练图像分类神经网络的方法的流程图；
图2为根据本发明的一些实施例的图像分类神经网络的示意图。
图3为根据本发明的一些实施例的适合于图像分类的方法的流程图；
图4为根据本发明的一些实施例的***的示意图。
图5为本发明一些实施例的代表性实施的示意图；
图6为用于图像分类的多模态EEG图像神经网络的示意图，用于根据本发明的一些实施例执行的实验；
图7为在根据本发明的一些实施例执行的模拟中用作输入图像的航空影像；
图8A-D展示根据本发明的一些实施例在图7的航空影像上的模拟中获得的目标识别映射；
图9A-D展示在根据本发明的一些实施例进行的实验中获得的人工神经网络之间的比较。
具体实施方式
在本发明的一些实施例中，本发明涉及脑计算机接口(BCI)，更具体地但非排他地，涉及使用神经生理信号进行迭代分类的***和方法。
在详细解释本发明的至少一个实施例之前，应理解，本发明不一定限于其应用于以下描述中阐述的或在附图和/或实施例中说明的构造细节、组件和/或方法的布置。本发明能够具有其他实施例或以各种方式实践或实施。
只要所寻找的对象被很好地定义且其样品在训练数据集中可用，通过计算机视觉进行视觉对象分类是非常快速和准确的。然而，发明人发现，在某些情况下，可视化数据解释任务必须处理各种潜在目标，甚至是与训练集的样品不匹配的未知目标。发明人还发现目标定义可能在解释任务期间发生变化。发明人发现人类视觉感知能够以高精度处理这些挑战。发明人意识到，在大型高分辨率图像或大量离散图像的情况下，由于人类分析师的吞吐量很低(例如，手动浏览单个图像可能需要几秒钟)，因此分析图像并检测其中感兴趣的目标或物体可能需要几十分钟甚至几小时。
因此，发明人设计了一种技术，其结合了图像的快速串行视觉呈现(Rapid SerialVisual Presentation，RSVP)以及EEG采集，优选地为实时EEG采集(例如，在小于1秒内)。本发明的技术可以以比传统分类技术快得多的速率进行分类。本实施例的方法和***可选且优选地提供迭代过程，其中基于人类观察者的分类的输出迭代地更新神经网络的训练，其中从记录的EEG信号中提取与人类观察者的分类有关的输入。而人类观察者则进行分类。然后，更新的神经网络的输出可选且优选地用于选择迭代地显示给人类观察者的更新的图像组。
本实施例的技术可以应用于大图像，例如但不限于来自覆盖广域的相机的航空影像或高分辨率图像。本实施例的技术可以替代地应用于图像集，例如，包含10个或更多个、50个或更多个、250个或更多个，或1250个或更多个图像的集合，其中至少一部分图像包含目标，本实施例的方法和***识别或标记该部分图像。本实施例的技术可以应用于单个图像或者自动确定单个图像是否包含目标。
本实施例的技术既可以用于图像的二进制识别，也可以用于包含目标的图像部分，以及用于图像或图像部分的非二进制分类，其中二进制分类提供一个二进制分数以表示该图像或该图像部分是否包含目标；非二进制分类提供一个非二进制分数以表示该图像或图像部分包含目标的可能性，或目标与图像或图像部分中对象之间的相似度。在本发明的一些实施例中，二进制分数和非二进制分数中的任何一个被用于训练神经网络。
这里描述的操作的至少一部分可以由数据处理***实现，例如专用电路或通用计算机，被配置用于接收数据和执行下面描述的操作。至少部分操作可以由远程位置的云计算设施实现。
实现本实施例的方法的计算机程序通常可以通过通信网络或分发介质分发给用户，例如但不限于软盘，CD-ROM，闪存设备和便携式硬盘驱动器。从通信网络或分发介质，可以将计算机程序复制到硬盘或类似的中间存储介质。可以通过将代码指令从其分发介质或其中间存储介质加载到计算机的执行存储器中来运行计算机程序，从而将计算机配置成如本发明的方法。所有这些操作都是计算机***领域的技术人员所熟知的。
这里描述的处理操作可以借助于处理器电路来执行，例如DSP，微控制器，FPGA，ASIC等，或任何其他传统和/或专用计算***。
本实施例的方法可以以多种形式体现。例如，它可以体现在诸如计算机之类的有形介质上，从而执行该方法操作。它可以体现在计算机可读介质上，包括用于执行方法操作的计算机可读指令。它还可以体现在具有数字计算机能力的电子设备中，该数字计算机能力用于在有形介质上运行计算机程序或在计算机可读介质上执行指令。
本发明的一些实施例涉及适用于训练图像分类神经网络的方法和***。
神经网络是一类基于互连“神经元”概念的计算机实现技术。在典型的神经网络中，神经元包含数据值，每个数据值根据具有预定义强度的连接影响连接的神经元的值，以及与每个特定神经元的连接总和是否满足预定阈值。通过确定适当的连接强度和阈值(过程也称为训练)，神经网络可以实现图像和字符的有效识别。通常，这些神经元被分组成层，以使各组之间的连接更加明显。网络的每个层可以具有不同数量的神经元，这些可以与输入数据的特定质量相关或不相关。
在称为全连接的神经网络的一个实现中，特定层中的每个神经元连接到下一层中的那些神经元并向其提供输入值。然后将这些输入值相加，并将该总和与偏差或阈值进行比较。如果该值超过特定神经元的阈值，则该神经元保持正值，该正值可用作下一层神经元中的神经元的输入。在神经网络的各个层都继续该计算，直到最终层。此时，可以从最终层中的值读取神经网络例程的输出。
与将单个值与网络或子网络的每个神经元相关联的全连接的网络或子网络不同，卷积神经网络或卷积神经子网络通过将值阵列与每个神经元相关联来操作。从概念上讲，该阵列可以被认为是要被分类的图像小块。后续层的神经元值的变换从乘法到卷积被一般化。这意味着连接强度是卷积核而不是标量值。这些更复杂的变换涉及更复杂的神经网络矩阵。因此，当全连接的网络或子网中的矩阵包括数值的数组时，在卷积神经网络或卷积神经子网络中，每个矩阵条目都是像素块。
待训练的神经网络可选且优选地但非必须地为卷积神经网络。下面描述适用于本实施例的图像分类神经网络的代表性示例。
现在参考附图，图1是根据本发明的各种示例性实施例的方法的流程图。应当理解，除非另外定义，否则下文描述的操作可以同时或以许多组合或执行顺序按顺序执行。具体地，流程图的排序不应被视为限制。例如，以特定顺序出现在以下描述或流程图中的两个或更多个操作可以以不同的顺序(例如，相反的顺序)或大致同时地执行。另外，下面描述的若干操作是可选的，并且可能不被执行。
该方法从步骤10开始并且可选地且优选地继续到步骤11，在该处接收一个或多个输入图像。当所接收的图像较大时(例如，航空影像或由覆盖宽视野的相机捕获的图像，如全景图像)，该方法可选地且优选地继续到步骤12，在该步骤将图像平铺成多个图块，每个图块将在该方法中被用作单独的输入图像。或者，该方法可以在步骤11接收多个输入图像，在这种情况下可以跳过步骤12。还考虑了这样的实施例：该方法接收多个图像，并且平铺这些图像中的一个或多个或每个。通常，在步骤11处接收的任何输入图像可以用于训练图像分类神经网络的方法，无论其是否被平铺。
该方法可选地且优选地继续到步骤13，在该步骤中选择一部分图像。这可以通过多种方式完成。
在本发明的一些实施例中，根据均匀分布或任何其他分布随机选择图像。
在本发明的一些实施例中，接收包括目标的参考图像，并且响应于该参考图像选择该部分。例如，可以采用粗略图像处理程序来选择与参考图像之间比较的相似度高于预定阈值的图像。优选地，还选择相似度低于预定阈值的至少几个图像，以允许更好的训练。与参考图像之间比较，相似度高的图像和相似度低的图像的比率可选且优选为从约1到约10。可选地或另外地，可以通过增加参考图像(例如，通过创建旋转图像)来建立初始目标模型，且使用无监督自动编码器来学习表示参考图像的特征。此后，可以基于距均值图像的距离来选择部分图像。具有长距离(例如，高于预定阈值)的图像与具有短距离(例如，小于预定阈值)图像的比率可选且优选为约1到约10。
在本发明的一些实施例中，将无监督聚类应用于图像，并且基于无监督聚类来选择该部分。群集可以匹配图像中呈现的不同类型的对象，其中一个群集为类似于目标的对象。该方法可以对一部分群集进行采样，并从每个群集中选择几个图像。来自类似于目标的图像群集的图像与来自其他群集的图像的比率可选且优选为从大约1到大约10。最大的群集可以包含分散特征。在一些实施例中，可省略该群集以减少观察者要审阅的数据量。
在步骤14中，优选地，将图像或部分图像作为视觉刺激呈现给观察者，并且在步骤15从观察者的大脑收集神经生理信号。步骤15优选地与视觉刺激步骤14同时执行，使得所收集的信号还包括指示观察者对视觉刺激的响应的信号。
优选地，图像以足够高的速率连续呈现。这种呈现被称为快速序列视觉呈现(Rapid Serial Visual Presentation，RSVP)。优选地，选择速率使得它可以在快速系列的视觉呈现中处理重叠响应。适用于本发明实施例的代表性的呈现速率为约2Hz-约20Hz，约2Hz-约15Hz，约2Hz-约10Hz，约5Hz-约20Hz，约5Hz-约15Hz，或约5Hz-约10Hz。
神经生理信号优选为脑造影图(encephalogram，EG)信号，例如脑电图(electroencephalogram，EEG)信号或脑磁图(magnetoencephalogram，MEG)信号。其他类型的信号亦可被考虑，但本发明人发现EEG信号是优选的。
EEG信号优选地从多个电极(例如，至少4个或至少16个或至少32个或至少64个电极)可选且优选地同时收集，可选且优选地以足够高的时间分辨率收集。在本发明的一些实施例中，以至少150Hz或至少200Hz或至少250Hz(例如，约256Hz)的采样率对信号进行采样。可选地，可采用低通滤波器来防止高频混叠。低通滤波器的典型截止频率约为51Hz，但并不限于此。
当神经生理信号是EEG信号时，可以定义以下频带中的一个或多个：δ频带(通常从大约1Hz到大约4Hz)，θ频带(通常从大约3Hz到大约8Hz)，α频带(通常为约7Hz至约13Hz)，低β频带(通常为约12Hz至约18Hz)，β频带(通常为约17Hz至约23Hz)和高β频带(通常为约22至约30Hz)。更高的频带，例如但不限于伽马频带(通常为约30Hz至约80Hz)也可被考虑。
电极可以放置在以下位置中的一个或多个，可选且优选为以下全部位置：两个在乳突上，两个水平EOG通道分别位于左眼和右眼的外部，两个垂直EOG通道：一个在右眼下面，一个在右眼上方，一个通道位于鼻尖上。
该方法继续到步骤16，在该步骤中，处理神经生理信号以识别指示观察者检测到目标的神经生理事件。根据一些实施例，向观察者提供关于要在图像中识别的目标的先验知识。
例如，可以向观察者呈现描述目标的刺激，并且可以要求观察者记住该目标。描述目标的该刺激可以是任何类型，包括但不限于视觉刺激(例如，目标的图像)、文本刺激(例如，目标的书面描述)、听觉刺激(例如，(目标的口头描述)、嗅觉刺激(例如，和目标的气味相似的样品)。还考虑了这样的实施例：向观察者呈现与目标互补的刺激。例如，可以请求观察者记忆一目标对象，其中该目标被定义为除目标之外的任何东西。互补刺激可以是任何上述类型。
处理步骤16可以以多种方式完成。以下是可用于识别神经生理信号中的神经生理事件的若干技术的描述。
该处理通常包括从信号生成数字数据的数字化过程。这些数据通常被布置为时空矩阵，其中空间维度对应于观察者头皮上的电极位置，时间维度是时间轴到多个时间点或时刻的离散化，其可重叠也可不重叠。然后可以对数据进行维数减少过程，以将数据映射到较低维空间。可选地，但非必须地，该处理基于与目标检测相关的频带。具体地，该处理可以主要基于P300EEG波。
优选地该处理是自动的，其可基于来自训练数据集的监督学习或无监督学习。有助于识别目标检测事件的学习技术包括但不限于公共空间模式(Common SpatialPatterns，CSP)，自回归模型(Autoregressive，AR)和主成分分析(Principal ComponentAnalysis，PCA)。CSP通过最大化一个类的方差同时最小化第二类的方差来提取空间权重以区分两个类。而AR则关注可能包含判别信息的信号中的时间相关性，而非空间相关性。可以使用线性分类器来选择判别AR系数。
PCA对于无监督学习特别有用。PCA将数据映射到新的、通常是不相关的空间上，其中轴按照沿轴的投影数据样本的方差排序，并且仅维持反映大部分方差的轴。其结果为数据的一种新的表示，其保留了关于原始数据的最大信息，还可有效降维。
用于识别目标检测事件的另一种方法采用空间独立分量分析(IndependentComponent Analysis，ICA)来提取一组空间权重并获得最大独立的时空源。在频域中执行平行ICA阶段以学习独立时频分量的频谱权重。PCA可以在空间源和光谱源上单独使用，以减少数据的维数。可以使用费歇线性判别(Fisher Linear Discriminants，FLD)分别对每个特征集进行分类，可选且优选地，然后可使用朴素贝叶斯融合(通过后验概率的乘法)来组合。
另一种技术采用时间轴和空间轴上的事件相关数据的双线性时空投影。这些投影可以以多种方式实施。例如，空间投影可以被实现为到下层来源空间的信号线性变换，或被实现为ICA。时间投影可以用作过滤器。双重投影可以在单试验数据矩阵的非重叠时间窗口上实现，从而产生表示每个窗口的分数的标量。窗口的分数可以加总或分类，以提供整个单一试验的分类分数。除了选择这种技术外，还支持对投影矩阵结构的附加约束。例如，其中一种选择是分别学习每个通道的最佳时间窗口，然后训练该空间术语。
在本发明的各种示例性实施例中，该方法对神经生理信号采用空间加权费歇线性判别(Spatially Weighted Fisher Linear Discriminant，SWFLD)分类器，该分类器可通过执行以下的至少一些操作来获得。时间点可被独立分类从而计算区分权重的时空矩阵。继而，通过每个时空点处的区分权重，该矩阵可被用于放大原始时空矩阵，从而获得空间加权矩阵。
优选地，SWFLD由PCA补充。在这些实施例中，可选且优选地，对于每个空间通道，PCA独立应用到在时域上。这将时间序列数据表示为分量的线性组合。可选且优选地，PCA同样独立地应用在空间加权矩阵的每个行向量上。PCA的这两个独立应用提供投影矩阵，其可用于减小每个通道的维数，从而获得降维的数据矩阵。
继而，可把该降维度矩阵的行连接起来以提供一个特征表示向量，表示该信号的近似时间的空间加权活动。然后，可以在特征向量上训练FLD分类器以将时空矩阵分为两个类中的一类。在本实施例中，一个类对应于一个目标识别事件，另一个类对应于其他事件。关于根据本发明的一些实施方案的SWFLD分类器的更多细节在下面的实施例部分中记载。
在本发明的各种示例性实施例中，该方法对神经生理信号采用神经网络分类器，更优选为卷积神经网络(Convolutional neural network，CNN)分类器。在这些实施例中，CNN接收信号作为一时空矩阵并产生通常在[0,1]范围内的分数，该分数用于估计所呈现的视觉刺激为目标的可能性。可选且优选地，使用随机梯度下降法(stochastic gradientdescent，SGD)来训练网络以使逻辑回归成本函数最小化。在优选实施例中，CNN包括第一卷积层及第二卷积层。第一卷积层对表征神经生理信号的多个时间点中的每一个进行空间滤波，第二卷积层对由第一卷积层提供的输出进行时域滤波，可选且优选地，该CNN还具有第三卷积层，该第三卷积层对第二卷积层提供的输出进行时域滤波。第二和第三卷积层通常用于学习信号中的时间模式，该信号表示由第一卷积层学习的空间映射的幅度变化，分类准确度被提高，可见该三个卷积层是具有益效果的。
CNN还可以包括两个或更多个全连接层，每个层提供由相应的全连接层之前的层提供的输出的非线性组合。优选地，第一全连接层接收来自第三卷积层的输出(在采用第三卷积层的情况下)或来自第二卷积层(优选但非必须地，在不采用第三卷积层的情况下)的输出。优选地，第二全连接层接收来自第一全连接层的第一输出。可选地，CNN包括两个或更多个池化层，例如最大池化层，以降低维数。关于优选的CNN的更多细节在随后的实施例部分中描述。
处理步骤16可选且优选地包括计算用于描述目标存在于图像中的可能性的分数或者计算呈现图像中的对象与目标之间的相似度。使用相应的分类器计算该得分。例如，当分类器是SWFLD分类器时，可以计算Fisher分数；当分类器是CNN分类器时，该分数可以是CNN的逻辑回归层的输出。
在优选实施例中，该方法采用观察者特定的分数归一化函数来归一化被计算出的分数。这种观察者特定的得分归一化函数通常在训练阶段准备，其中使用图像的训练数据集对同一观察者重复执行该方法，其中训练数据集的每个图像被分类为包含或不包含目标。观察者特定的得分归一化函数也可以是目标特定的，在这种情况下，对于待检测的每个目标都重复此训练阶段。然而，情况未必如此，因为对于某些应用可能没有必要为每个目标重复该训练，这是由于观察者检测不同目标的能力可能是相似的，特别是在不同目标属于同一类(例如，不同的车辆，不同的面孔等)的情况下。在训练阶段期间，针对被分类为包含目标的目标计算第一得分分布函数，针对分类为不包含目标的目标计算第二得分分布函数。在训练阶段计算出的得分分布函数，在后续被用于将在运行阶段提供的分数归一化。例如，第一得分分布函数表示为g1，第二得分分布函数表示为g0，对在运行阶段中分类器提供的得分s进行归一化从而得到归一化得分
Figure BDA0002112286540000141
第一和第二得分分布函数可以在分数空间中具有预定形状。通常，该形状是局部的。适合用作第一和第二得分分布函数的分布函数类型的代表性示例包括但不限于高斯函数，洛伦兹函数和修正贝塞尔函数。
可以将归一化分数与预定的置信度阈值进行比较，以确定所识别的检测事件的置信水平。当归一化低于预定置信度阈值时，该方法可选且优选地循环回到步骤14以将相应图像区域或图像区域组重新呈现给观察者并重新计算归一化分数。
在一些实施例中，可使用两种不同类型的分类器，并且计算用于权重由各个分类器提供的分数的分数。例如，该方法可以采用SWFLD分类器并基于SWFLD分类器计算SWFLD分类分数，采用CNN分类器并基于CNN分类器计算CNN分类分数，并组合SWFLD分类分数和CNN分类分数。可选且优选地，这两个分数的组合可以在分数重调操作之后，该分数重调操作将两个分数调整到相似的比例。使用第一和第二得分分布函数的上述归一化也可用于重调该分数。
在本发明的一些实施方案中，该方法还包括处理神经生理信号以识别眨眼。在这些实施例中，当在向观察者呈现图像区域或图像区域组的期间肯定识别出眨眼时，该方法可选且优选地循环回到步骤14并重新将相应的图像区域或图像区域组呈现给观察者。可以使用本领域已知的任何技术识别眨眼，例如美国专利No.5,513,649和美国公开申请No.20150018704中公开的技术，其内容通过引用结合到本文中。
在识别神经生理事件之后，该方法进行到步骤17，在该步骤基于神经生理事件的识别，训练图像分类神经网络以识别图像中的目标。这可以通过为图像分配标签或分配分数并将该图像反馈给图像分类神经网络来完成。该标签或分数可以是二进制的，在这种情况下，当图像被识别为包含目标时，它可以假定一个值(例如，“1”)；而当图像被识别为不包含目标时，它可以假定另一个值(例如，“0”)。该标签或分数可以是非二进制的，在这种情况下，它可以假定为离散指或连续值范围内的值，该值表示图像包含目标的可能性或者目标与图像中的对象之间的相似度。该分数可以是例如在步骤16中计算的分数。
如果图像分类神经网络已经在同一图像上受过训练，则本发明还包括对训练进行更新。根据需要，训练或再训练可以应用于图像分类神经网络的一个或多个层。对于深层网络，可以将训练或再训练应用于最后的隐藏层的一个或多个层，这些隐藏层包含较少的通用特征和更多细节特定的特征。可选地，训练或再训练可以应用于图像分类神经网络的输出层。在本发明的一些实施例中，训练或再训练应用于该图像分类神经网络的所有层。
可选且优选地，该方法进行到步骤18，在该步骤中，将训练的图像分类神经网络应用于在步骤11处接收的至少一部分图像上，更优选为应用到所有图像，以在其中检测被怀疑为被目标占据的候选图像。可选地，然后使用网络检测来重新定义图像。例如，可以减少图像的数量，使得怀疑被目标占据的候选图像与被怀疑为未被目标占据的图像之间的比率在预定的比率区间内(例如，在1-10之间)。可选且优选地，重新定义的图像组的至少一个图像为由训练的图像分类神经网络检测的候选图像。然后，该方法可以循环回到步骤13或14并且重复该步骤中描述的至少一些操作，从而，使用神经生理信号以迭代方式使图像分类神经网络得到训练。当图像是较大输入图像的图像块时，该方法可以循环回到步骤12而不是步骤13或14，从而可以通过将较大的输入图像重新平铺为多个图像。
在该方法的任何执行阶段之后，例如，在步骤17之后，该方法可以进行到步骤19，在该步骤，将图像分类神经网络存储到计算机可读存储介质中。该方法于步骤20结束。
使用该方法10的优点是大脑处理视觉刺激的能力被自动用于训练人工神经网络。在训练后，显著提高了人工神经网络准确分类图像的能力，且减少了训练时间，因此也减少了所需的计算机资源。
图2为图像分类神经网络30的示意图，该图像分类神经网络30可以使用本实施例的方法和***进行训练，并且一旦训练就可以至少部分地使用(例如，使用本实施例的方法和***)用于分类图像。优选地，该神经网络30包括：第一神经子网络32、第二神经子网络36以及共享子网络40。其中第一神经自网络32被配置用于接收和处理神经生理数据34；第二神经子网络3,被配置用于接收和处理图像38；共享子网络40具有神经网络层42，用于接收和组合来自第一神经子网络32和第二神经子网络36的输出。共享子网络40还可以具有一个或多个附加神经网络层，例如，一个或多个隐藏层44和输出层46。该神经网络层42优选地为连接两个子网络32、36的输出特征的级联层。共享子网络40的隐藏层44可以是全连接层，输出层46可以是柔性最大值传输函数(softmax)层。子网络32和36可选且优选地被构造用于监督的机器学习。
在子网络36的训练期间，神经子网络32的输出可选且优选地作为反馈58馈送到子网络36。例如，当子网络36的输出层为子网络36处理的特定图像提供二进制或非二进制分数时，该分数可用于标记该特定图像。可以将图像和相关标签馈送到子网络36中，从而便于子网络36的监督或半监督学习。
网络30可选且优选地包括自动编码器子网络48，该自动编码子网络接收图像38，从该图像38中提取特征并将它们作为输入提供给子网络36。在本发明的各种示例性实施例中，在网络30的训练期间采用自动编码器子网络48，而不是在网络30之后用于图像分类。与子网络32和36不同，该自动编码器子网48优选地被构造用于无监督的机器学习。具有自动编码器子网络48的优点在于它可以更好地训练子网络36。
在网络30的训练的初始阶段，自动编码器子网络48可选且优选地由标记为不包含目标的图像馈送，该自动编码器子网络48从非目标的图像中提取。这模拟了目标形状未知的场景。自动编码器子网络48学习对包含非目标的图像建模的特征。在训练的后期阶段，自动编码器子网络48可以可选且优选地由附加图像馈送，其中该附加图像可以包括与任何标签无关的图像(即，不知道其是否包含目标的图像)，和/或与二进制标签或无二进制标签或分数相关联的图像。
该自动编码器子网络48可以是CNN，该CNN除了具有输入和输出层之外，还具有两组或更多组并行特征映射层和一个或多个全连接层。一组或多组并行特征映射层可以对全连接层执行卷积和馈送特征向量。全连接层可选且优选地在尺寸(神经元元件的数量)上小于特征映射层，并且可以用于对从并行特征映射层接收的特征进行编码。一个或多个其他组的并行特征映射层可以从全连接层接收编码的特征，并且通过对编码的特征执行反卷积来重建或近似地重建特征向量。这些特征映射层的尺寸可选且优选地大于全连接层的尺寸，并且优选地被选择为使得重建的特征向量的维度与从图像38生成的特征向量相同或相近。输出层可选且优选地与重建的特征向量连接以恢复输入图像38的尺寸。
在自动编码器子网络48中，可采用卷积内核通过输入层馈送上述一组或多组平行特征映射层。可选且优选地，在多组并行特征映射层之间使用下采样内核(例如，最大池内核(max pooling kernel))，该下采样内核也可以用在最后一组并行特征映射层与输出层之间。可选且优选地，可采用上采样内核通过全连接层馈送一组并行特征映射层。
第二神经子网络36可以是具有输入层、一组或多组并行特征映射层以及一个或多个输出层的CNN。可采用卷积内核从而从输入层接收特征并向一组并行特征映射层提供特征，可选且优选地，在多组并行特征映射层之间使用下采样内核(例如，最大池内核)。可选且优选地，输出层(连接在子网络40的层42处)可为全连接层，可选且优选地从最后一组并行特征映射层接收特征。
第一神经子网络32可以是具有输入层，一组或多组并行特征映射层以及一个或多个输出层的CNN。可在多组并行特征映射层之间交替使用卷积核和下采样内核(例如，最大池内核)。可选且优选地，在输入层和第一组并行特征映射层之间使用卷积核。
虽然子网络40组合了子网络32和36的输出，但是本发明的发明人发现，将子网络32和36的最后一个的输出分割也是有益的，使得其各自的输出由共享子网络40组合，但各自的输出是单独处理的。这可以通过附加的神经网络层或附加子网络来完成，该子网络接收各自子网络的输出但不接收其他子网络的输出。如图2所示，其展示接收子网络32的输出的第一附加神经网络层52和接收子网络36的输出的第二神经网络层56。附加层52和56中的每一层可使用各自子网络的输出向量分别计算得分。这些实施例的优点在于它们允许区分两个网络的检测精度。例如，可以为图像分配由附加层52计算的第一检测分数和由附加层56计算的第二检测分数，这些分数可以通过加权和来进行比较或组合。
在没有子网络32的情况下，可以使用包括输出层56的子网络48和30来生成图像的训练子集。在训练集中的图像数量很大并且希望在图像呈现到人类观察者之前先用机器(例如，包括子网络48和30以及输出层56但不包括子网络32的网络)对图像进行分类的情况下，该设置尤其有用。在这些实施例中，输出层56的输出可用于初始选择图像的训练子集，这些图像可以是，例如，仅被怀疑包含目标的图像，或具有预定比率的被怀疑包含目标的图像和被怀疑不包含目标的图像。
一旦获得图像的训练子集，通过使用包括子网络48和30以及输出层56但不包括子网络32的网络，可以在使用子网络32和36，但不使用自动编码器子网络48的情况下执行一个或多个训练迭代。在这些迭代中，层52的输出被馈送到子网络36中，而无需经过自动编码器子网络48。
图3为根据本发明的一些实施例的适合于图像分类的方法的流程图。该方法从步骤60开始并继续到步骤61，在该步骤接收一个或多个图像。当接收的图像很大时，可选且优选地，该图像被平铺成多个图像块，每个图像块将被该方法用作单独的输入图像，如上文的详细描述。或者，该方法可以在步骤61处接收多个输入图像。还可考虑在其他实施例中，该方法接收多个图像且将这些图像中的一个或多个或每个平铺成图像块。
该方法进行到步骤62，在该步骤，将训练的图像分类神经网络(例如但不限于网络30)应用于每个图像以检测怀疑被目标占据的候选图像。该方法可选且优选地进行到步骤63，在该步骤向观察者呈现每个候选图像从而作为视觉刺激，到步骤64从观察者大脑收集神经生理信号，在到步骤65处理该神经生理信号以识别表示观察者检测到目标的神经生理事件，如上文的详细描述。然后该方法进行到步骤66，其中至少部分地基于神经生理事件的识别来确定图像中的目标的存在。该步骤66中的确定可以是二进制的，在这种情况下，图像被分配二进制分数，当图像被识别为包含目标时，该二进制分数可以假定为一个值(例如，“1”)，当图像被识别为不包含目标时，可以假定为另一个值(例如，“0”)。可选地，该步骤66中的确定可以是非二进制的，在这种情况下，图像被分配有非二进制分数，该非二进制分数可以假定为在离散或连续值范围内的值，该值表示该图像包含目标的可能性或者该图像中对象和目标之间的相似度。例如，该分数可以是在处理神经生理信号期间计算的分数，如上文详细描述。
该方法在步骤67结束。
使用该方法60的优点在于仅向观察者呈现已经由神经网络初步识别为候选图像的图像。这大大提高检测精度，减少处理时间和观察者的疲劳。
现在参考图4，其为根据本发明的一些实施例的***130的示意图。该***130包括数据处理器132、与数据处理器132通信的显示设备160，以及神经生理信号收集***146。该***130可用于执行任何操作，例如，上述方法的所有操作。该***130可以是固定目标识别***，或者是移动***，或者是与移动***组合，例如但不限于增强现实***的虚拟现实***。
可选且优选地，神经生理信号收集***146与数据处理器132通信，并且被配置用于收集来自观察者的大脑的神经生理信号，该观察者被呈现图像148作为视觉刺激，以检测图像148中的目标153。
数据处理器132通常包括输入/输出(I/O)电路134、数据处理电路136，例如中央处理器(CPU)，如微处理器，以及存储器138，其通常包括易失性存储器和非易失性存储器。I/O电路134用于以适当结构的形式向其他CPU 136和其他设备或***130以外的网络传送信息。CPU 136与I/O电路134和存储器138进行通信。这些元件可以是那些在大多数通用计算机中找到并且本身是已知的。
显示设备160通常通过I/O电路134与数据处理器132通信。数据处理器132向显示设备160发送由CPU 136产生的图形和/或文本输出图像。也可采用键盘142与数据通信处理器132通信，通常通过I/O电路134来进行。
图中还展示了远程计算机150，其可以根据本发明的一些实施例可选且优选地使用，该远程计算机150类似地包括硬件处理器152，I/O电路154，硬件CPU156，硬件存储器158。该远程计算机150可以包括图形用户接口166。***130和计算机150的I/O电路134和154可以用作收发器：通过有线或无线通信彼此传递信息。例如，***130和计算机150可以通过网络140进行通信，例如局域网(LAN)，广域网(WAN)或因特网。在一些实施例中，处理器132和152中的任一个可以是云计算设施的云计算资源的一部分。
客户端130和远程计算机150还可以分别包括一个或多个计算机可读存储介质144、164。该介质144和164优选为存储用于执行如本文进一步详述的所选操作的计算机代码指令的非暂时性存储媒介，这些代码指令由处理器132和152执行。可以通过将相应的代码指令加载到相应的处理器132和152的相应的执行存储器138和158中以运行该代码指令。存储介质144、164均可以存储程序指令，当由相应的处理器读取时，该程序指令使得处理器执行如本文所述的方法。
神经生理信号收集***146可选且优选地与数据处理器132通信，并且被配置用于从观察者162的大脑收集神经生理信号，如上文进一步详细描述。
在本发明的一些实施例中，***130的数据处理器132被配置用于执行本文描述的方法。该方法使用的图像可以由处理器132从存储器144检索，或者可以通过网络140从计算机150发送到处理器152。还考虑了这样的实施例：处理器132从存储器144检索一个或多个图像，通过网络140从计算机150发送一个或多个图像到处理器152。例如，可以从存储器144检索形成训练集的图像，且可以将由本实施例的方法进行分类的图像通过网络140传送。一旦图像分类方法确定了图像中存在目标，就可以将检测分数从***130发送到计算机150，从而将该检测分数显示，可选且优选地，该图像也可以在GUI 166上显示。
如本文所用，术语“约”是指±10％。
本文使用的“示例性”一词意味着“用作示例，实例或说明”。被描述为“示例性”的任何实施例不必被解释为比其他实施例优选或有利和/或排除将特征与其他实施例结合。
词语“可选地”在本文中用于表示“在一些实施例中提供而在其他实施例中未提供”。除非这些特征冲突，否则本发明的任何特定实施例可包括多个“可选”特征。
术语“包括”、“包含”、“含有”、“具有”及其缀合物表示“包括但不限于”。
术语“由...组成”表示“包括但限于”。
术语“基本上由......组成”是指组合物，方法或结构可包括另外的成分、步骤和/或部分，但仅在附加成分、步骤和/或部分不实质上改变所要求保护的组成、方法或结构的基本和新颖特征的情况下。
如本文所用，单数形式“一”，“一个”和“该”包括复数指代，除非上下文另有明确说明。例如，术语“化合物”或“至少一种化合物”可包括多种化合物，包括其混合物。
在整个申请中，本发明的各种实施例可以以范围格式呈现。应当理解，范围形式的描述仅仅是为了方便和简洁，不应该被解释为对本发明范围的不可改变的限制。因此，应该认为范围的描述已经具体公开了所有可能的子范围以及该范围内的各个数值。例如，应当认为对诸如1-6的范围的描述具有特定公开的子范围，例如1-3、1-4、1-5、2-4、2-6，或来自在该范围内的个别数字，例如，1、2、3、4、5、6。无论范围的广度如何，这都适用。
无论何时在本文中指示数值范围，其意图包括在所指示的范围内的任何引用的数字(分数或整数)。短语在第一指示数字和第二指示数字之间的“范围”，以及第一指示数字“至”/“-”第二指示数字在本文中可互换使用，且此意味着包括第一和第二指示数字以及它们之间的所有分数和整数。
应当理解，为了清楚起见，在单个的实施方案的上下文中描述的本发明的某些特征也可以在单个实施方案中组合提供。相反，为简洁起见，在单个实施方案的上下文中描述的本发明的各种特征也可以单独提供或以任何合适的子组合提供，或者适合于本发明的任何其他描述的实施方案。在各种实施例的上下文中描述的某些特征不被认定为该实施例的必要特征，除非该实施例在没有那些元件的情况下不起作用。
如上所述和如下面的权利要求部分所要求保护的本发明的各种实施方案和方面在以下实施例中找到实验支持。
实施例
现在参考以下实施例，其与上文描述一同以非限制性方式说明本发明的一些实施方案。
实施例1
代表性实施
该示例描述了本实施例的技术的代表性实施。该实施是针对通过该方法将大输入图像进行平铺的情况进行描述。本领域普通技术人员在结合本文描述的细节后将知道针对图像集的各个图像如何实施该技术。
在大图像，例如来自覆盖广阔区域的照相机的航空影像或高分辨率图像的情况下，可以将那些可能包含潜在目标或感兴趣的对象的图像部分可选且优选地以RSVP模式呈现给有经验的人类观察者，从而提高观察效率。在本发明的各种示例性实施例中，图像的其他部分未呈现给观察者。
本发明的一些实施例提供了一种迭代过程，该过程简化了使用视觉对象识别神经网络的输出向人类观察者显示的图像选择过程，并使用人类观察者的分类输出改进了神经网络的训练。
代表性架构包括以下一个或多个操作阶段。
1.训练，或使用预先训练的神经网络进行视觉对象识别。该网络可被训练以检测与任务中的感兴趣对象类似的对象。
2.使用训练的对象识别神经网络从输入图像中提取特征。
3.为无监督的特征学习添加额外的自动编码器层，以更好地表示该输入图像。
4.形成N个图像块的块，可选且优选地设定尺寸以允许在RSVP模式中进行有序的人类观察。该初始的块可以使用以下一个或多个步骤来形成：
4.1.将提取的特征无监督聚类到K个群集。群集可以匹配图像中呈现的不同类型的对象，其中一个群集是类似于目标的对象。然后，对K个群集进行采样以形成图像块：从每个群集中选择N个表示并从它们中重建多个小图像块以优化RSVP模式中的人类观察。
为了引出所寻求的目标检测ERP响应(例如，根据刺激序列)，目标与非目标的比率可选且优选地从大约1到大约10。因此，K可以选择为例如约10。最大的群集可能包含分散特征。在一些实施例中，可省略该群集以减少要审阅的数据量。
4.2.对N个图像块进行随机抽样
4.3.在目标示例可用的情况下(例如，以参考图像的形式)，初始目标模型可选且优选地通过增加参考图像(例如，通过创建旋转图像)来构建，以便增加训练的数据量，以及使用无监督自动编码器来学***均图像的距离来选择N个图像块。
5.图像块可选且优选地以RSVP模式呈现给人类观察者，且单个试验的EEG响应按照分配给每个图像的分类分数被分类。
6.通过EEG响应分类的图像基于分类分数被分配标签并被反馈到对象识别神经网络以便更新其训练，该过程被称为微调。可对网络的所有层进行微调，或仅调整后面的层，后面的这些层包含不通用的、更多细节特定的功能。
7.重复2-6阶段的几次迭代，直到达到预定义的转换阈值。对于每次新的迭代，可选且优选地，选择向人类观察者显示的图像是基于能更准确地描述潜在目标的特征。
图5示意性地示出了根据本发明的一些实施例的代表性实施。
下面的实施例2和实施例3包括使用图1中所示的框架在大型卫星图像上运行的模拟结果。其中，标签被引入以模拟EEG分类阶段(参见上文的第6阶段)。
可选且优选地，在图像分类中可采用多模EEG图像神经网络从而提高检测的准确度和训练的效率，如图6所示。该网络可选且优选地接收一图像以及对应于该图像的脑响应的单试验EEG数据(作为输入)。训练该网络采用特征级融合将这些输入分类为检测分数。具体地，该网络分别对数据的每种类型进行特征学习，然后为最终的层加入这些特征。另外，当两种模态中的一种模态不足以支持时，还允许该网络使用来自两种模态的特征来提供检测分数并识别。
要分类的目标可能是未知的或变化的。在这种情况下，无法在目标图像上训练网络的该图像部分。为了解决这个问题，首先使用无监督自动编码器模型仅在不包含目标的图像上训练网络(称为“半监督网络”)。自动编码器模型学习如何从特征重建图像，并产生表示关于该图像的相关信息的特征。然后，自动编码器提取的特征作为多模网络的一个输入，而不是原始图像。被标记的EEG数据作为另一个输入。可选且优选地，该网络从每个输入的单独层开始，然后在与每个输入的特征连接的层上继续，最后在最终分类层上结束。下面的实施例2和3包括在图像数据上应用多模网络的结果。
实施例2
计算机模拟
框架的输入图像是图7所示的大空间图像。该目标被定义为人造建筑物，该输入图像包括总共101个目标。
图8A展示描述该输入图像的初始映射。矩形块符号表示被识别为目标的对象，圆点符号表示被识别为非目标的对象。
图8B展示第一次迭代之后的映射。随机选择的要呈现给观察者的图像部分约占图像总数的1.5％，通过聚类选择的要呈现给观察者的图像部分约为10％。RSVP中的目标数为24，RSVP中的非目标数为276。
图8C展示第二次迭代之后的映射。随机选择的要呈现给观察者的图像部分约占图像总数的1.5％，通过聚类选择的要呈现给观察者的图像部分约为10.2％。RSVP中的目标数为76，RSVP中的非目标数为224。
图8D展示第三次迭代之后的映射。随机选择的要呈现给观察者的图像部分约占图像总数的1.5％，通过聚类选择呈现给观察者的图像部分约为10.19％。RSVP中的目标数为1，RSVP中的非目标数为299。
被检测到的目标总数为24(第一次迭代)+76(第二次迭代)+1(第三次迭代)＝101。因此，在三次迭代之后，该技术可选且优选地能够以100％的准确度识别所有目标并且无误差检测。
实施例3
具有自动编码器的多模网络性能
性能评估在12个不同的RSVP项目上进行，涉及2个被试者(每个被试者6个项目)，下面称为被试者A和被试者B。任务是检测人造物体。以下表1总结了每个项目的性能。
Figure BDA0002112286540000261
表1
其中进行了三次附加性能分析。在第一附加性能分析中评估了图6的EEG网络；在第二附加性能分析中评估了图6中的图像网络；在第三附加性能分析中评估了图6的EEG网络和图像网络两者的组合(不带自动编码器)。在这三个分析中，该图像被先验地标记为包含或不包含目标(二元标记)，并且该二元标记被馈送到相应的网络用于监督学习。
图9A-D比较了图6中所示的多模网络与其他网络的性能。对于本示例中的每个分析网络，图9A为表示正确分类百分比的直方图，图9B为表示命中百分比的直方图，图9C为表示错误警报百分比的直方图，图9D为表示平衡精度的直方图。在图9A-D中，标示为EEGIMGAeNet的结果与图6中的具有自动编码器的多模网络对应，标示为EegNet的结果与图6中的EEG网络对应，标示为ImgNet的结果与图6中的图像网络对应，标示为EegImgNet的结果与图6中的EEG网络和图像网络的组合(不带自动编码器)。
尽管已经结合本发明的具体实施方案描述了本发明，但显然许多替代、修改和变化对于本领域技术人员而言是显而易见的。因此，凡在本发明权利要求的精神和原则之内，所做的任何替代、修改、变化等，均应包含在本发明的保护范围之内。
本说明书中提及的所有出版物、专利和专利申请均通过引用整体并入本说明书中，其引用程度如同每个单独的出版物、专利或专利申请被具体和单独地指出通过引用并入本文。另外，本申请中任何参考文献的引用或标识不应被解释为承认这样的参考可用作本发明的现有技术。论及使用章节标题，它们不应被解释为必然的限制。

Claims (27)

1.一种训练图像分类神经网络的方法，其特征在于，包括：
将第一多个图像作为视觉刺激呈现给观察者，同时从所述观察者的大脑收集神经生理信号；
处理所述神经生理信号以识别所述观察者在所述第一多个图像的至少一个图像中检测到目标的神经生理事件；
基于所述神经生理事件的所述识别，分配一标签或分数至所述图像，并将所述图像馈送至图像分类神经网络并训练所述图像分类神经网络以识别所述图像中的所述目标；以及
将训练的所述图像分类神经网络存储在计算机可读存储介质中。
2.如权利要求1所述的方法，其特征在于，还包括：将无监督聚类应用于第二多个图像，并基于所述无监督聚类从所述第二多个图像中选择所述第一多个图像。
3.如权利要求1所述的方法，其特征在于，包括：从第二多个图像中随机选择所述第一多个图像。
4.如权利要求1所述的方法，其特征在于，包括：接收包括所述目标的参考图像，并响应于所述参考图像从第二多个图像中选择所述第一多个图像。
5.如权利要求1-4任一项所述的方法，其特征在于，还包括：将输入图像平铺成多个图像块，其中所述第一多个图像包括所述多个图像块的一部分。
6.如权利要求2-4任一项所述的方法，其特征在于，还包括：将输入图像平铺成多个图像块，其中所述第二多个图像包括所述多个图像块，所述第一多个图像包括所述多个图像块的一部分。
7.如权利要求1所述的方法，其特征在于，还包括：
将所述训练的图像分类神经网络应用于第二多个图像以在其中检测怀疑被所述目标占据的候选图像，其中所述第二多个图像包括所述第一多个图像中的至少一个图像；
重新定义所述第二多个图像，其中被重新定义的所述第二多个图像中的至少一个图像是由所述训练图像分类神经网络检测到的候选图像；以及
重复所述呈现、所述神经生理信号的所述收集和所述处理、以及对所述重新定义的第一多个图像的至少一个图像进行的所述训练，从而迭代地训练所述图像分类神经网络。
8.如权利要求7所述的方法，其特征在于，还包括：将输入图像平铺成多个图像块，其中所述第二多个图像包括所述多个图像块，所述第一多个图像包括所述多个图像块的一部分。
9.如权利要求8所述的方法，其特征在于：所述重新定义所述第二多个图像，包括将所述输入图像重新平铺为多个图像，其中被重新平铺的所述输入图像的至少一个图像包括所述候选图像。
10.如权利要求7-9任一项所述的方法，其特征在于，还包括：将无监督聚类应用于所述第二多个图像，并基于所述无监督聚类从所述第二多个图像中选择所述第一多个图像。
11.如权利要求7-9任一项所述的方法，其特征在于，包括：从第二多个图像中随机选择所述第一多个图像。
12.如权利要求7-9任一项所述的方法，其特征在于，包括：接收包括所述目标的参考图像，并响应于所述参考图像从所述第二多个图像中选择所述第一多个图像。
13.如权利要求1-4、7-9任一项所述的方法，其特征在于，所述图像分类神经网络为卷积神经网络。
14.如权利要求2-4、7-9任一项所述的方法，其特征在于：所述图像分类神经网络包括：被配置用于接收和处理所述神经生理信号的第一神经子网络、被配置用于接收和处理所述第二多个图像的第二神经子网络，以及具有用于接收和组合来自所述第一神经子网和所述第二神经子网络的输出的神经网络层的共享子网络。
15.如权利要求14所述的方法，其特征在于：所述图像分类神经网络为卷积神经网络，并且所述第一神经子网络和所述第二神经子网络中的至少一个为卷积神经子网络。
16.如权利要求14所述的方法，其特征在于：所述图像分类神经网络包括用于输出第一分数的所述第一神经子网络的第一单独输出层，以及用于输出第二分数的所述第二神经子网络的第二单独输出层，其中所述方法包括将所述第一分数与所述第二分数组合以获得一组合分数，用所述组合分数标记所述图像，并在所述训练的至少一次迭代中使用所述标记。
17.如权利要求16所述的方法，其特征在于：所述组合分数为所述第一分数和所述第二分数的加权和。
18.如权利要求1-4、7-9任一项所述的方法，其特征在于：所述图像分类神经网络包括用于无监督特征学习的自动编码器子网络。
19.如权利要求18所述的方法，其特征在于：所述自动编码器子网用于选择所述第一多个图像。
20.如权利要求18所述的方法，其特征在于：所述自动编码器子网仅用于选择所述第一多个图像，而不用于基于所述神经生理事件的所述识别的所述训练。
21.如权利要求1-4、7-9任一项所述的方法，其特征在于，还包括：使用所述神经生理信号对所述神经生理事件进行分数评定，其中所述训练至少部分地基于所述分数。
22.如权利要求21所述的方法，其特征在于，还包括：使用所述分数来确定所述目标与由所述观察者观察的图像中的对象的相似度。
23.如权利要求1-4、7-9任一项所述的方法，其特征在于，还包括：在所述第一多个图像被呈现之前向观察者呈现描述所述目标的刺激，其中所述刺激包括视觉刺激、文本刺激、听觉刺激和嗅觉刺激中的至少一个。
24.如权利要求1-4、7-9任一项所述的方法，其特征在于，还包括：在所述第一多个图像被呈现之前向观察者呈现与所述目标互补的刺激，其中所述刺激包括视觉刺激、文本刺激、听觉刺激和嗅觉刺激中的至少一个。
25.一种训练图像分类神经网络的***，包括：
神经生理信号采集***，用于收集观察者大脑的神经生理信号；以及
数据处理器，与所述神经生理信号收集***通信，且被配置用于执行如权利要求1-4、7-9中任一项所述的方法。
26.一种图像分类的方法，包括：
执行如权利要求1-4、7-9中任一项所述的方法以训练图像分类神经网络；以及
将所述训练的图像分类神经网络应用于所述图像，以基于由所述训练的图像分类神经网络的输出层生成的分数来确定图像中的所述目标的存在。
27.一种图像分类的方法，包括：
将如权利要求1-4、7-9中任一项所述的方法训练的图像分类神经网络应用于图像以确定所述图像是否被怀疑为被目标占据；
将所述图像作为视觉刺激呈现给观察者，同时从所述观察者的大脑收集神经生理信号；
在所述神经生理信号中识别表示所述观察者在所述图像中检测到目标的神经生理事件；
至少部分地基于所述神经生理事件的所述识别来确定所述图像中所述目标的存在。
CN201780081627.6A 2016-12-21 2017-12-21 利用神经生理信号进行迭代分类的***和方法 Active CN110139597B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662437065P 2016-12-21 2016-12-21
US62/437,065 2016-12-21
PCT/IB2017/058297 WO2018116248A1 (en) 2016-12-21 2017-12-21 System and method for iterative classification using neurophysiological signals

Publications (2)

Publication Number Publication Date
CN110139597A CN110139597A (zh) 2019-08-16
CN110139597B true CN110139597B (zh) 2022-12-30

Family

ID=62626017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780081627.6A Active CN110139597B (zh) 2016-12-21 2017-12-21 利用神经生理信号进行迭代分类的***和方法

Country Status (7)

Country Link
US (2) US11580409B2 (zh)
EP (1) EP3558102A4 (zh)
JP (1) JP6998959B2 (zh)
CN (1) CN110139597B (zh)
CA (1) CA3046939A1 (zh)
IL (1) IL267518B2 (zh)
WO (1) WO2018116248A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11580409B2 (en) 2016-12-21 2023-02-14 Innereye Ltd. System and method for iterative classification using neurophysiological signals
US11586928B2 (en) * 2018-03-09 2023-02-21 Tata Consultancy Services Limited Method and system for incorporating regression into stacked auto encoder (SAE)
KR102695519B1 (ko) * 2018-07-02 2024-08-14 삼성전자주식회사 영상 모델 구축 장치 및 방법
GB2575852B (en) * 2018-07-26 2021-06-09 Advanced Risc Mach Ltd Image processing
US11158063B2 (en) * 2018-07-30 2021-10-26 Hewlett Packard Enterprise Development Lp Objects and features neural network
KR102608981B1 (ko) * 2018-10-24 2023-12-01 한국전자통신연구원 향 시각화 시스템 및 방법
JP7103237B2 (ja) * 2019-01-09 2022-07-20 株式会社明電舎 流量予測装置及び流量予測方法
US11715043B2 (en) * 2019-03-01 2023-08-01 Apple Inc. Semantics preservation for machine learning models deployed as dependent on other machine learning models
US10878298B2 (en) * 2019-03-06 2020-12-29 Adobe Inc. Tag-based font recognition by utilizing an implicit font classification attention neural network
US10803231B1 (en) 2019-03-29 2020-10-13 Adobe Inc. Performing tag-based font retrieval using combined font tag recognition and tag-based font retrieval neural networks
US10984560B1 (en) * 2019-03-29 2021-04-20 Amazon Technologies, Inc. Computer vision using learnt lossy image compression representations
CN110084309B (zh) * 2019-04-30 2022-06-21 北京市商汤科技开发有限公司 特征图放大方法、装置和设备及计算机可读存储介质
US11361189B2 (en) * 2019-12-03 2022-06-14 Ping An Technology (Shenzhen) Co., Ltd. Image generation method and computing device
CN111338482B (zh) * 2020-03-04 2023-04-25 太原理工大学 一种基于监督自编码的脑控字符拼写识别方法及***
CN111783942B (zh) * 2020-06-08 2023-08-01 北京航天自动控制研究所 一种基于卷积循环神经网络的脑认知过程模拟方法
AU2021419211A1 (en) * 2021-01-14 2023-06-22 Brainvivo Ltd. Classifying discipline-specific content using a general-content brain-response model
CN112800971B (zh) * 2021-01-29 2024-07-16 深圳市商汤科技有限公司 神经网络训练及点云数据处理方法、装置、设备和介质
CN113116306A (zh) * 2021-04-21 2021-07-16 复旦大学 一种基于听觉诱发脑电信号分析的意识障碍辅助诊断***
CN113095297B (zh) * 2021-05-11 2022-07-15 昆明理工大学 一种基于一维投影跟踪眼动速率的疲劳检测方法
CN113995423B (zh) * 2021-06-21 2022-12-02 西安电子科技大学 基于相位保持网络的连续快速视觉演示脑电信号分类方法
EP4300265A1 (en) * 2022-06-29 2024-01-03 Copysan Communicaciones, SL Method, system and computer programs for the automatic labeling of images for defect detection
CN116383600A (zh) * 2023-03-16 2023-07-04 上海外国语大学 一种单试次脑电波信号分析方法和***
CN117056831A (zh) * 2023-10-13 2023-11-14 南京龙垣信息科技有限公司 基于卷积神经网络的内心独白识别方法
CN117494061A (zh) * 2024-01-03 2024-02-02 中国科学院自动化研究所 用户兴趣挖掘方法、装置、电子设备及介质

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5513649A (en) 1994-03-22 1996-05-07 Sam Technology, Inc. Adaptive interference canceler for EEG movement and eye artifacts
US6278961B1 (en) * 1997-07-02 2001-08-21 Nonlinear Solutions, Inc. Signal and pattern detection or classification by estimation of continuous dynamical models
US20080137969A1 (en) * 2004-04-14 2008-06-12 Imperial College Innovations Limited Electrical And Electronic Engineering Building Estimation of Within-Class Matrix in Image Classification
US8374687B2 (en) 2006-01-21 2013-02-12 Honeywell International Inc. Rapid serial visual presentation triage prioritization based on user state assessment
US8244475B2 (en) * 2007-12-27 2012-08-14 Teledyne Scientific & Imaging, Llc Coupling human neural response with computer pattern analysis for single-event detection of significant brain responses for task-relevant stimuli
JP5544620B2 (ja) * 2010-09-01 2014-07-09 独立行政法人産業技術総合研究所 意思伝達支援装置及び方法
US8792974B2 (en) 2012-01-18 2014-07-29 Brainscope Company, Inc. Method and device for multimodal neurological evaluation
US9269046B2 (en) 2012-01-18 2016-02-23 Brainscope Company, Inc. Method and device for multimodal neurological evaluation
US9111125B2 (en) * 2013-02-08 2015-08-18 Apple Inc. Fingerprint imaging and quality characterization
JP6125670B2 (ja) * 2013-03-15 2017-05-10 インテル コーポレイション 収集された生物物理的信号の時間的パターンおよび空間的パターンに基づく脳‐コンピューターインターフェース（ｂｃｉ）システム
CA2909017C (en) 2013-04-14 2022-10-18 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Classifying eeg signals in response to visual stimulus
TWI508702B (zh) 2013-07-10 2015-11-21 Univ Nat Chiao Tung 即時多通道自動眼動雜訊去除器
US9436279B2 (en) * 2014-03-31 2016-09-06 Rovi Guides, Inc. Systems and methods for controlling user devices based on brain activity
CN106462796A (zh) 2014-05-30 2017-02-22 密歇根大学董事会 用于促进多项选择答案的直接选择和状态变化的识别的脑机接口
US10130813B2 (en) 2015-02-10 2018-11-20 Neuropace, Inc. Seizure onset classification and stimulation parameter selection
IL239191A0 (en) 2015-06-03 2015-11-30 Amir B Geva Image sorting system
US11071501B2 (en) * 2015-08-14 2021-07-27 Elucid Bioiwaging Inc. Quantitative imaging for determining time to adverse event (TTE)
US10413724B2 (en) * 2015-10-23 2019-09-17 Hrl Laboratories, Llc Method for low latency automated closed-loop synchronization of neurostimulation interventions to neurophysiological activity
CN105868712A (zh) 2016-03-28 2016-08-17 中国人民解放军信息工程大学 基于后验概率模型的脑电与机器视觉目标图像检索方法
KR20180053108A (ko) * 2016-11-11 2018-05-21 삼성전자주식회사 홍채 영역 추출 방법 및 장치
US11580409B2 (en) 2016-12-21 2023-02-14 Innereye Ltd. System and method for iterative classification using neurophysiological signals
US10546242B2 (en) * 2017-03-03 2020-01-28 General Electric Company Image analysis neural network systems
US20190035113A1 (en) * 2017-07-27 2019-01-31 Nvidia Corporation Temporally stable data reconstruction with an external recurrent neural network
US11154251B2 (en) * 2018-02-10 2021-10-26 The Governing Council Of The University Of Toronto System and method for classifying time series data for state identification
JP7165207B2 (ja) 2018-05-01 2022-11-02 ブラックソーン セラピューティクス インコーポレイテッド 機械学習ベースの診断分類器
EP3674999A1 (en) * 2018-12-27 2020-07-01 Bull SAS Method of classification of images among different classes
EP3674994A1 (en) * 2018-12-27 2020-07-01 Bull SAS Method of blocking or passing messages sent via a firewall based on parsing of symbols strings contained in messages among different keywords
US11423118B2 (en) * 2019-01-07 2022-08-23 Massachusetts Institute Of Technology Model agnostic time series analysis via matrix estimation
US11481578B2 (en) * 2019-02-22 2022-10-25 Neuropace, Inc. Systems and methods for labeling large datasets of physiological records based on unsupervised machine learning
US11562278B2 (en) * 2019-05-16 2023-01-24 Siemens Aktiengesellschaft Quantum machine learning algorithm for knowledge graphs
US10803646B1 (en) * 2019-08-19 2020-10-13 Neon Evolution Inc. Methods and systems for image and voice processing
US11620487B2 (en) * 2019-12-31 2023-04-04 X Development Llc Neural architecture search based on synaptic connectivity graphs
US11593617B2 (en) * 2019-12-31 2023-02-28 X Development Llc Reservoir computing neural networks based on synaptic connectivity graphs
WO2021195784A1 (en) * 2020-04-03 2021-10-07 Armstrong Caitrin Systems and methods for treatment selection
US11468288B2 (en) * 2020-07-28 2022-10-11 Oken Technologies, Inc. Method of and system for evaluating consumption of visual information displayed to a user by analyzing user's eye tracking and bioresponse data
US20220122250A1 (en) * 2020-10-19 2022-04-21 Northwestern University Brain feature prediction using geometric deep learning on graph representations of medical image data
KR102321601B1 (ko) * 2020-11-19 2021-11-05 주식회사 휴런 뇌 영상을 이용한 알츠하이머병의 생물학적 분류 장치 및 방법
JP2022083484A (ja) * 2020-11-25 2022-06-06 セイコーエプソン株式会社 物体検出方法、物体検出装置、及び、コンピュータープログラム
US20220301718A1 (en) * 2021-03-16 2022-09-22 Seshadri Paravastu System, Device, and Method of Determining Anisomelia or Leg Length Discrepancy (LLD) of a Subject by Using Image Analysis and Machine Learning
US11645836B1 (en) * 2022-06-30 2023-05-09 Intuit Inc. Adversarial detection using discriminator model of generative adversarial network architecture

Also Published As

Publication number Publication date
US12001607B2 (en) 2024-06-04
US11580409B2 (en) 2023-02-14
EP3558102A1 (en) 2019-10-30
CN110139597A (zh) 2019-08-16
JP6998959B2 (ja) 2022-01-18
CA3046939A1 (en) 2018-06-28
WO2018116248A1 (en) 2018-06-28
US20200193299A1 (en) 2020-06-18
US20230185377A1 (en) 2023-06-15
IL267518B1 (en) 2023-12-01
IL267518B2 (en) 2024-04-01
EP3558102A4 (en) 2020-07-22
JP2020502683A (ja) 2020-01-23
IL267518A (en) 2019-08-29

Similar Documents

Publication Publication Date Title
CN110139597B (zh) 利用神经生理信号进行迭代分类的***和方法
CN107924472B (zh) 基于脑部计算机界面的图像分类的方法及***
Yu et al. Image quality classification for DR screening using deep learning
Kremic et al. Performance of random forest and SVM in face recognition.
US9798923B2 (en) System and method for tracking and recognizing people
CN107506692A (zh) 一种基于深度学习的密集人群计数与人员分布估计方法
Filipe et al. From the human visual system to the computational models of visual attention: a survey
Salve et al. Iris recognition using SVM and ANN
He et al. What catches the eye? Visualizing and understanding deep saliency models
CN115862120A (zh) 可分离变分自编码器解耦的面部动作单元识别方法及设备
Cecotti Convolutional neural networks for event-related potential detection: impact of the architecture
Tseng et al. Deep learning on natural viewing behaviors to differentiate children with fetal alcohol spectrum disorder
Ng et al. Visual words selection for human action recognition using rbfnn via the minimization of L-GEM
Patil et al. Analysis of Facial Expression using Deep Learning Techniques
Gawande et al. Deep-Learning Approach for Efficient Eye-blink Detection with Hybrid Optimization Concept
CN111325131B (zh) 基于自适应去除过渡帧深度网络的微表情检测方法
Arif Person of interest rapid identification and tracking (POIRIT) assistance system
Jayadurga et al. Leveraging Ensemble Techniques for Enhanced Eye State Classification with EEG Data
CN115424191A (zh) 异常场景识别方法、装置、电子设备及存储介质
Mukundan et al. Model for ISL (Alphabet) Recognition
Sinha et al. Hybrid Classification with Score Level Fusion for Human Activity Recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: P.O. Box 12952, Building G, No. 85, Hayehudim Street, Medinat, Hezria, Israel

Applicant after: INNEREYE LTD.

Address before: 14 Masky Street, 4673316, Pitucci, Hozlia, Israel

Applicant before: INNEREYE LTD.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant