CN1981296A - 用于现实世界环境中的移动的基于大脑的设备 - Google Patents

用于现实世界环境中的移动的基于大脑的设备 Download PDF

Info

Publication number
CN1981296A
CN1981296A CNA2005800193357A CN200580019335A CN1981296A CN 1981296 A CN1981296 A CN 1981296A CN A2005800193357 A CNA2005800193357 A CN A2005800193357A CN 200580019335 A CN200580019335 A CN 200580019335A CN 1981296 A CN1981296 A CN 1981296A
Authority
CN
China
Prior art keywords
district
brain
neural
neuron
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005800193357A
Other languages
English (en)
Other versions
CN1981296B (zh
Inventor
埃尼尔·K·塞思
杰弗里·L·麦克金斯基
杰拉尔德·M·埃德尔曼
杰弗里·L·克里查玛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neurosciences Research Foundation Inc
Original Assignee
Neurosciences Research Foundation Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neurosciences Research Foundation Inc filed Critical Neurosciences Research Foundation Inc
Publication of CN1981296A publication Critical patent/CN1981296A/zh
Application granted granted Critical
Publication of CN1981296B publication Critical patent/CN1981296B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Neurology (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

移动的基于大脑的设备BBD包括装配了传感器和效应器的移动底座(神经组织移动自适应设备或NOMAD)，所述设备由模拟神经***指导，模拟神经***类似于视觉处理、作出判决、奖赏和电动机响应所需的大脑的皮层和皮层下区域。这些模拟的皮层和皮层下区域是可重入连接的，以及每个区域包含神经元单元，所述神经元单元代表神经元组活动的平均活动等级和相对定时。BBD学习在具有共享视觉特征的多个对象中进行辨别，以及将"目标"对象与先天优选的听觉暗示相关联。激励与NOMAD 10的视野中的不同对象相对应的全局分布式神经元电路。这些电路导致了对对象的成功辨别，其中，这些电路由可重入神经解剖来进行限制，以及通过行为和突触可塑性来进行调制。在丰富的现实世界环境中，BBD是可移动的，其中，所述环境包括在由于自我生成或自主的运动而导致的视觉刺激的大小和位置的连续改变，以及BBD示出了可重入连接性和动态同步提供了绑定视觉对象特征的有效机制，以便在辨别环境中的不同对象时，识别诸如颜色、形状和运动之类的对象特征。

Description

用于现实世界环境中的移动的基于大脑的设备
本申请要求由Anil K.Seth等人在2004年4月15日提交的名为“Mobile Brain-Based Device for Use in a Real World Environment”的美国临时专利申请No.60/562,376(代理号No.NSRF-01000US0)的优先权益；以及由Anil K.Seth等人在2005年4月13日提交的名为“Mobile Brain-Based Device for Use in a Real World Environment”的美国专利申请No.11/105,019(代理号No.NSRF-01000US1)的优先权益。
本专利文献公开的一部分包含受到版权保护的材料。版权所有者不反对由专利文献或专利公开中的(如出现在专利商标局专利文件或记录中的)任何人再现复印件，但是保留所有版权权力。
技术领域
本发明涉及具有用于指导设备在现实世界环境中的行为的模拟神经***的基于大脑的设备这一领域。
背景技术
基于大脑的设备是这样的设备：具有感应***，用于接收信息；效应器，用于使设备能够四处移动；以及模拟神经***，用于响应来自感应***的输入，控制效应器的运动，以指导现实世界环境中的基于大脑的设备的行为。感应***可以包括视频和音频传感器，用于从设备移动的现实世界环境中接收图像和音频信息。模拟神经***可以实现为基于计算机的***，用于接收和处理输入基于大脑的设备的图像和听觉信息，以及将命令输出至效应器，来控制设备在环境中的行为。
当在基于计算机的***中实现时，模拟神经***仿真人类大脑，而不是典型地遵循一组精确的可执行指令或执行计算的编程计算机。即，大脑不是计算机，以及在它的结构中，遵循神经生物学而不是计算原理。大脑具有特定的特征或组织和功能，这些特定的特征或组织和功能并不被认为是由遵循一组精确的指令以编程计算机的方式进行计算的思想相一致。大脑接收的信号与计算机信号的比较示出了大脑特定的多个特征。例如，现实世界并不呈现给大脑，而数据存储介质存储了呈现给编程计算机的一系列明确信号。但是，大脑使人类(和动物)能够感知他们的环境、对大量可变信号进行模式分类、以及发起运动。神经***执行视觉、声音等不同信号的知觉分类化，以及在没有预先安排的代码的情况下将这些信号分为相干种类的能力是特殊的，以及现今的计算机无论是基于人工智能(AI)原理还是基于神经网络结构，都不可与之匹配。
大脑的视觉***包含多个皮层区域，这些皮层区域专用于不同的视觉特征。例如，一个区域响应对象的颜色，另一独立区域响应对象的形状，而另一区域响应对象的任何动作。例如，大脑将会使人类能够看到并区别场景中的均在蓝色天空背景下运动的红色飞机与灰色云彩。然而，没有单个的大脑区域具有对响应颜色、形状和运动的独立区域(用于协调颜色、形状和运动)的最高控制，使得我们看到和区别单个对象(例如，飞机)，以及将单个对象与场景中的其它对象(例如，云彩和天空)进行区分。
在大脑中没有这样的单个最高控制区域的事实提出了所谓的“绑定问题”。为了关联属于各个对象的特征，以及在不同的对象中进行区分，大脑的这些功能上独立的区域怎样协调它们的活动呢？正是大脑关联和区分不同对象的这种能力使我们能够在现实世界环境中四处移动。具有模拟神经***的移动的基于大脑的设备能够控制设备在现实世界丰富环境中的行为，因此将会具有许多优点和应用。
用于解决“绑定问题”的机制通常落入两类中的一类：(i)通过大脑的“较高”注意机制的影响进行绑定，以及(ii)选择性地同步在大脑中动态形成的神经元组的“激发(firing)”。在(i)中，看法是，大脑通过前额区域的腔壁，通过执行机制(例如，将组合出现在空间中的单独位置处的视觉特征)来“绑定”对象(例如，蓝色天空背景下的红色飞机或灰色云彩)。在(ii)中，看法是，大脑通过选择性地同步神经元的激发来进行链接的神经元组，在自动、动态和预先注意的过程中“绑定”对象。这些同步的神经元组在大脑内形成与知觉类别相对应的活动或电路的全局模式。这使我们可以看到，例如，红色的飞行的飞机，作为与诸如灰色的移动的云彩之类的其它对象不同的单个对象。
视觉绑定的基于计算机的计算模型和具有模拟神经***的物理的、移动的基于大脑的设备是已知的。然而，二者均不在计算机模型中或物理的基于大脑的设备的模拟神经***中提供紧急电路，其中，物理的、基于大脑的设备使得在现实世界环境中、尤其在需要对场景中许多对象中的一个对象实施优先行为的环境中，提供了具有丰富和可变行为的设备。例如，期望使移动的基于大脑的设备在环境中四处移动，以及具有对场景中许多对象中的一个对象的优先行为，使得能够通过车载摄像头获得该对象的图像，并通过车载夹具选择该对象。
现有的计算计算机模型通过提供类似于大脑视觉***的九个皮层区的九个神经区，来模拟神经***。这种模型还模拟了神经***的“奖赏”和电动机***。这种模型在九个不同的皮层区之间具有“可重入(reentrant)连接”或电路，这是允许皮层区彼此互相作用的连接。这种计算模型示出了可重入电路导致绑定的能力；然而，这种计算机模型具有多个限制。模型化神经***的刺激来自一组预定的模拟对象形状，以及这些激励具有统一的大小比例，与在现实世界环境中发现的相反。此外，所得到的模型化行为没有出现在通过现实世界中的有机体的活动而体验到的丰富和嘈杂的环境中。在1992年7/8月的Cerebral Cortex中的Tononi和Edelman所著的名为“Reentry and theProblem of Integrating Multiple Cortical Areas：Simulation of DynamicIntegration in the Visual System”的论文中，给出了对这种计算模型更加详细的描述。
现有的具有模拟神经***的物理的、移动的基于大脑的设备探察了它的环境，以及通过该实验，学习开发自适应行为。由在计算机***上实现的模拟神经***来指导这样的现有的移动的基于大脑的设备。神经***的模拟是基于脊椎动物神经***的解剖学和生理学，但是，作为使用的任何模拟神经***，具有比在大脑中发现的少的神经元和比在大脑中发现的简单的构造。对于这种物理的、移动的基于大脑的设备，神经***由类似于皮层和皮层下的大脑区域的六个主要神经区构成。这六个主要区包括：听觉***、视觉***、味觉***、能够触发行为的电动机***、视觉跟踪***和值***。在2002年8月的Cerebral Cortex中的Krichmar和Edelman所著的名为“MachinePsychology：Autonomous Behavior，Perceptual Categorization andConditioning in a Brain-based Device”的论文中，给出了对这种移动的、基于大脑的设备的详细描述。尽管这种基于大脑的设备在现实世界环境中工作，但是它尤其不实现可重入连接，从而限制了从事视觉指导行为以及现实世界环境中的对象辨别的能力。
发明内容
本发明是具有模拟神经***的物理的、移动的基于大脑的设备(“BBD”)，用于指导现实世界环境中的设备丰富的探察和选择性行为。该设备的模拟神经***包含类似于大脑视觉***腹侧流的模拟神经区，已知为神经区V1、V2、V4，影响视觉跟踪(神经区C)的IT，以及具有值***(区S)的神经区。这些神经区在彼此内或彼此之间具有可重入连接，可重入连接引起电动机活动中的偏置，这调动了支持场景中的视觉对象辨别的移动设备中的行为响应。
每个神经区由许多神经元单元组成。以及，为了表示神经元活动的相对时间，由激发速率变量和相位变量来描述每个神经区中的每个神经元单元，其中，相似的相位反映同步激发。因此，在本发明中，基于根据可重入连接和同步神经元激发原理的输入，解决了绑定问题。
当本发明的物理的、移动的设备在现实世界中的条件作用或训练阶段移动和相互作用时，该设备获知什么对象在它的环境中，即，在模拟中，没有将对象作为预定数据给予该设备。也就是说，在给出的环境中，本发明基于大脑的设备获知什么是特定对象(如，绿色菱形)、什么是地板、什么是墙壁等。此外，通过在环境中运动和相互作用的这种学习产生了具有不变的对象识别的基于大脑的设备。这意味着，例如，一旦该设备在训练阶段获知了作为对象的绿色菱形是什么，则该设备将在测试阶段随着设备在现实世界环境中四处移动，识别该对象是否与设备位于房间的两侧、直接在设备前面、在设备的左侧、在设备的右侧等。
附图说明
图1是物理的、移动的基于大脑的设备的图示。
图2是图1基于大脑的设备的模拟神经***的区域和功能的神经解剖示意图。
图3A-3E是三个神经元单元的简单网络的图示，用于解释图2中示出的本发明的神经解剖。
图4A-4E在图形上示出了活动对神经元单元相位。
图5A-5B示意性地和在影像上分别示出了现实世界环境的实验上的建立，图1和2的移动的基于大脑的设备在其中活动。
图6A-6B用于分别解释图1和2的基于大脑的设备的训练和测试协议。
图7A-7B是示出了遵循条件作用的图1和2基于大脑的设备的行为的图示。
图8是在行为实验期间，图1和2的基于大脑的设备的神经元单元活动的快照。
图9A-9B分别示出了遵循条件作用的图1和2的基于大脑的设备的具有或不具有可重入连接的相位响应。
图10A-10C用于解释适于优选或辨别红色菱形作为单个目标对象的图1和2的基于大脑的设备神经区中的相位相关。
图11A-11B是用于解释神经值区S对在不同现实世界位置中以及在不同大小比例上的目标对象的响应的示例。
图12A-12B示出了在图1和2的基于大脑的设备在条件作用或训练期间神经区S、IT和C的神经活动。
图13是根据本发明不同实施例的***的示例性说明。
图14是神经模拟器初始化的流程图示例。
图15是根据本发明不同实施例的主机(master)组件的流程图示例。
图16是根据本发明不同实施例的神经模拟器的流程图示例。
具体实施方式
在附图的图中，作为示例以及并不作为限制来示出本发明的方案，其中，相似的参考数字表示相似的元件。应当注意，在该公开中参考的“一”、“一个”和“不同”实施例不必是相同的实施例，以及这样的参考意味着至少一个。在以下描述中，提出了许多特定的细节来提供对本发明的详尽描述。然而，对于本领域技术人员来说，很明显，可以在没有这些特定细节的情况下实践本发明。在其它示例中，不对熟知的特征进行详细描述，以不会使本发明难以理解。
图1是本发明的基于大脑的设备(BBD)的图示，该设备在物理上包括示例性的移动神经组织移动自适应设备(NOMAD)10，NOMAD10可以探察它的环境，并在体验的同时发展自适应行为。基于大脑的设备BBD还包括用于指导现实世界环境中的NOMAD 10的模拟神经***12(图2)。在一个实施例中，将进一步描述的模拟神经***12可以在远离NOMAD 10的计算机工作站集群(见图13)上运行。在该实施例中，NOMAD 10和计算机工作站通过无线通信来进行彼此的通信，从而实现NOMAD 10的无约束探察。
NOMAD 10通过使用模拟神经***12获知环境，来发展或适应它的行为。当NOMAD 10在它的环境中自主地移动时，该设备将会接近和看到多个对象，这些对象共享视觉特征(如，相同的颜色)、以及具有的不同视觉特征(如，形状)，例如，红色方块对红色三角形。通过学习经验，NOMAD 10可以在它视觉中的场景的多个干扰项或非目标对象(如，红色方块和绿色菱形)上适于优选一个目标对象(如，红色菱形)。NOMAD 10在它的环境中移动的同时，通过使自己朝向目标对象定位，在行为上获知该优选项，以响应可听音(audible tone)。
NOMAD 10具有用于视觉的CCD摄像头16、以及在摄像头16每一侧上的麦克风18、20，它们可以向模拟神经***12提供视觉和听觉感官输入，以及用于运动的效应器或轮22。在NOMAD 10的前面还具有红外(IR)传感器24，用于通过感应所运动的表面的反射率来避免障碍物，以及用于在环境中触发NOMAD 10的反身转弯。NOMAD 10还包括无线调制解调器，用于将状态、IR传感器信息以及听觉信息传输至通过模拟神经***12来执行神经模拟的计算机工作站，以及用于从模拟神经***12中接收电动机命令来控制效应器22。可以通过RF传输，将摄像头16的视频输出发送至计算机工作站。除了IR反身转弯之外，由从模拟神经***12中接收的信号来调动NOMAD 10的所有行为活动。
图2是指导环境中NOMAD 10的行为的模拟神经***12的区域和功能的神经解剖示意图。模拟神经***12在哺乳动物神经***解剖学和生理学的基础上建模，但是，如可以理解的，具有少得多的神经元和简单得多的构造。模拟神经***12包括根据人类大脑类似的皮层和皮层下的区域标记的多个神经区。因此，图2示出了标记为V1、V2、V4、IT、S、A-left、Mic-left、A-right、Mic-right和C的各个神经区，它们的活动控制对NOMAD 10的跟踪。每个神经区V1、V2等包括不同类型的神经元单元，每个神经元单元表示众多本地神经元(a localpopulation of neurons)。图2示出的每个椭圆(除“Tracking”之外)表示不同的神经区，每个这样的神经区具有许多神经元单元。为了从哺乳动物神经***中的相应区域中区分建模的或模拟的神经区，以斜体字标识模拟区，如，IT。
图2的神经解剖还示意性地示出了整个模拟神经***12中的不同的投射P。投射可以从一个神经区“前馈”至另一神经区，如从神经区V1至神经区V2的投射P1。投射P还可以在神经区之间“重入”，如从神经区IT至神经区V4的可重入投射P2和从神经区V4至神经区V2的可重入投射P4。在将进一步描述的“有损伤(lesion)”实验期间，将标有“X”的可重入投射P从模拟神经***12中去除。此外，投射P具有图2中的图例所指示的特性，(1)“兴奋性电压无关”，(2)“兴奋性电压相关”，(3)“可塑的(plastic)”，(4)“抑制性”，以及(5)“数值相关”。
图2中示出的模拟神经***12包括四个***：视觉***、跟踪***、听觉***和值***。
图2—视觉***。神经区V1、V2、V4、IT
视觉***在灵长类枕颞部或腹侧皮层通路上建模，以及包括神经区V1→V2→V4→IT，其中，连续区域内的神经元逐渐扩大接收域，直至在下颞叶皮层中，接收域覆盖几乎整个视野。针对颜色和边缘，过滤来自NOMAD 10的CCD摄像头16的视觉图像，以及过滤的输出直接影响区V1中的神经活动。将V1分成子区域(未示出)，每个子区域具有优先响应绿色(V1-green)、红色(V1-red)、水平线段(V1-horizontal)、垂直线段(V1-vertical)、45度线(V1-diagonal-right)、以及135度线(V1-diagonal-left)的神经元单元。该视觉***为分析视觉***内、以及视觉***与其它皮层区域之间的较高级(higher-level)交互提供了在计算上易于处理的基础。
神经区V1的子区域在地形上(topographically)投射至神经区V2的相应子区域。区V2中的神经元单元的接收域狭窄，以及与CCD摄像头16图像中的像素精确对应。在子区域内或之间，神经区V2具有兴奋性和抑制性可重入连接。每个V2子区域在地形上但宽广地投射至相应的V4子区域，使得神经区V4’的接收域大于神经区V2的接收域。神经区V4子区域使用非地形可重入连接，投射回相应的神经区V2子区域。区V4的子区域内或之间的可重入连接性与区V2中的相似。接着，V4非地形地投射至神经区IT，使得神经区IT中的每个神经元单元，从三个不同的V4子区域中随机选择的三个V4神经元单元中接收输入。因此，当IT中的神经元单元响应视觉输入的组合时，给定的IT神经元单元的突触输入的等级十分统一；这防止了各个IT神经元单元的活动支配了整个活动模式。IT神经元单元通过可塑连接投射至其它IT神经元单元，以及通过非地形的可重入连接投射回神经区V4。
图2—跟踪***—神经区C
跟踪***允许NOMAD 10朝向听觉和视觉刺激定位。神经区C(类似于上丘)的活动表示NOMAD 10指示它的摄像头视线。基于区C中神经元单元活动的矢量和，通过轮22的信号实现NOMAD 10的跟踪。区C中的每个神经元单元具有与优选方向匹配的接收域，以及该区具有地形排列，使得如果活动主要在区C的左侧，则发出NOMAD10的轮22的信号，该信号调动朝左的转弯。听觉神经区(A-left和A-right)具有至区C各个同侧的强兴奋性投射，使得NOMAD 10朝向声源定位。神经区V4在地形上投射至区C，神经区V4的活动使得NOMAD 10将它的视线集中在视觉对象(例如，红色三角形)上。神经区IT和值***S投射至区C，以及通路中的可塑连接IT→C和IT→S通过产生活动中的偏置、反映突出的(salient)知觉类别(见以下的值***)。如将在以下描述的，在条件作用或训练阶段之前，由于缺少偏置，NOMAD 10将指示它的视线主要注视环境中的两个对象(例如，红色三角形和红色方块)之间。在学习优选视觉对象(例如，红色三角形)之后，可塑连接强度中的改变导致了在区C与优选对象的位置相对应的那些部分中的较大活动。
图2—听觉***—神经区Mic-left、Mic-right、A-left、A-right
该***将来自麦克风16、18的输入转换为模拟神经单元活动。无论何时相应的麦克风16、18检测到特定频率范围内足够幅度的声音，则分别激励神经区Mic-left和Mic-right。Mic-left/Mic-right投射至区A-left/A-right中的神经单元。来自一侧的声音导致了听觉***同侧上的活动，接着生成了区C同侧上的活动，引起NOMAD 10朝向声源的定位。
图2—值***—神经区S
模拟值***中的活动发信号通知突出的感官事件的出现，以及这种行为导致了对通路IT→S和IT→C中的连接强度的调制。最初，在以下将要描述的学习阶段中，由听觉***检测的声音来激活神经区S(见神经***12的A-left→S和A-right→S)。区S中的活动类似于上行神经调节***的活动，其中，上行神经调节***的活动由突出的事件触发，影响了模拟神经***的较大区域(在以下的突触(Synaptic)可塑性部分中描述)，以及持续多个周期。此外，由于投射至跟踪区C，所以区S对现实世界环境中NOMAD 10的行为具有直接影响。
在表1中给出了图2中示出的各个神经区V1、V2等内的神经元单元的特定参数值的细节，在以下进行描述。在表2中示出了神经区V1、V2等的神经元单元的解剖学投射和连接类型的细节，在以下进行描述。如已知的，神经元单元可以考虑突触前或突触后(见Edelman和Tononi的“A Universe of Consciousness”，Basic Books，2000，Fig.4.3，对于突触和突触前后神经元的描述)。以下描述的用于实验中的模拟神经***12包含28个神经区V1、V2等、53，450个神经元单元、以及大约170万个突触连接。
神经元单元—通常地
在一个实施例中，通过平均激发速率模型对模拟神经***12的神经区V1、V2等内的神经元单元进行模拟。每个神经元单元的状态由平均激发速率变量(σ)和相位变量(P)确定。每个神经元单元的平均激发速率变量与在大约100毫秒的时间段内的一组大致100个的神经元的平均活动或激发速率相对应。说明激发活动相对时间的相位变量在没有引起与各个神经元尖峰活动(spiking activity)的实时建模相关联的计算成本的情况下，提供了时间特异性(见以下的神经元单元活动和相位)。
突触连接—通常地
在一个实施例中，将在给定的神经区(例如，V1或C)内和神经区之间(例如，V2→V4或C→V4)的神经元单元之间的突触连接设置为电压无关的或电压相关的，相位无关的或相位相关的，以及可塑或非可塑的，如图2中的图例所表示。无论神经元的突触后状态如何，电压无关的连接向突触后神经元提供突触输入。电压相关的连接表示需要激活突触后去极化的感受器(例如，NMDA感受器)类型的结构。换言之，突触前神经元将会沿轴突，通过突触，将信号发送至突触后神经元。突触后神经元接收该信号，以及使用从其它突触前神经元处接收的其他信号来对该信号进行综合。
电压无关的连接是，如果突触前神经元以高速率激发，则通过突触与突触前神经元连接的突触后神经元将会以高速率激发。
电压相关的连接是不同的，如果当突触后神经元接收到突触前输入信号时，突触后神经元已经以某一速率激发，则电压相关的连接将会引起突触后神经元激发得更多。由于突触后神经元是活跃的，即，已经激发，所以该神经元在某一阈值电平上。因此，突触前连接将会调制突触后神经元激发得更多。无论突触前神经元怎样活跃，如果突触后神经元不在阈值之上，则电压相关的连接将不会对突触后神经元产生影响。即，突触后神经元必须具有要由响应于或由电压相关的突触连接调制的活动的某个给定阈值。
在图2的模拟神经***12中，所有神经内区(within-neural area)兴奋性连接和所有神经间区(between-neural area)可重入兴奋性连接都是电压相关的(见图2和表2)。如上所述，这些电压相关的连接在神经元动态学中扮演调制的角色。
相位相关的突触连接影响活动(即，激发速率)和突触后神经元单元的相位，而相位无关的突触连接仅影响它们的活动。除了那些包含于电动机输出(见表2：A-left/A-right→C，C C)、或者感观输入(见表2：Mic-left/Mic-right→A-left/A-right，A-leftA-right，V1→V2)中的突触通路之外(这是由于在这些接口处的信号仅由量值定义)，模拟神经***12中的所有突触通路都是相位相关的。如下所述，可塑连接是数值无关的或数值相关的。
简单网络模型中的神经元同步
图3A-3E示出了神经元中的可重入连接可以怎样使用如上所示的相位参数，来导致平均激发速率模型中的神经元同步，从而帮助解决以上所述的“绑定问题”。图3A示出了由三个神经元单元(n1-n3)组成的简单网络模型。单元n1和n2分别稳定相位无关的输入(实输入箭头)，以及通过各个电压无关的连接投射至第三神经元单元n3(实输入箭头)。通过可重入的电压相关的连接(由虚箭头示出)，单元n1和n2向彼此投射，以及单元n3投射回单元n1和n2。
图3B是相位对周期的图示，以及示出了在该简化模型中，所有神经元单元n1-n3在10个模拟周期内变同步。通过对比，如果去除可重入连接(“有损伤”的图3A中的虚箭头)，使得仅保留前馈投射(图3A中剩余的实箭头)，则如图3C的图示所示出的，不能实现同步。尽管为了清楚，图3B-3C仅示出了前15个模拟周期，但是这些周期代表了在诸如10,000个周期之类的长持续时间内NOMAD 10在现实世界中的网络行为。
图3D和3E示出了概率分布，从该概率分布中，为每个神经元单元选择突触后相位。在完整的(intact)可重入连接的情况下(图3D)，所有神经元n1-n3在相同的相位处达到峰值。在缺少可重入连接、即无重入的情况下(图3E，“有损伤(lesioned)”网络)，由于神经元单元n1和n2的相位无关的输入，神经元单元n1和n2的概率分布保持平坦，以及单元n3的分布随着时间而随机地改变。
为了探察连接强度的突触特性对于网络行为来说是否重要，使用不同的随机种子(seed)多次重复上述分析，以及比较将所有权重设置为均值(1.45)的网络。在10,000个周期之后，定性地相同的结果出现于图3B-3E中示出的那些中。为了探察连接可塑性特性的效果，对于为神经元单元n1→n3和n2→n3的前馈投射(实箭头)启用数值无关的可塑性的网络，重复以上。如前所述，使用随机选择的权重、以及具有设置为均值(1.45)的所有权重的网络，来分析网络。在这两种情况下，发生完整的可重入网络中的同步和有损伤网络中的同步。此外，由于突触前和突触后神经元单元在活动和相位上相关，所以在完整的网络中的可塑连接的强度在1000个周期上增加了近100％。然而，在有损伤的网络中，由于突触前和突触后单元彼此不同相，所以在相同的持续时间内，这些连接减小至初始值的10％。
上述表示了可重入连接对“绑定问题”的重要性。即，图3A减少的模型中的结果示出了，可重入连接的出现可以促进神经区中的同步活动，该同步不依据特定的或微分的连接强度，以及突触可塑性不补偿可重入的缺失。本发明的模拟神经***12具有与图3A该减少的模型的三个主要差别。***12具有基于图2中示意性地示出、以及在以下的表1和表2中详细示出的脊椎动物的视觉皮层的大型可重入神经解剖；它包括数值相关的和数值无关的突触可塑性；以及允许NOMAD 10在现实世界环境中的自主行为。
神经元单元活动和相位—细节
在不同的实施例中，每个神经元单元的平均激发速率范围连续地从0(静态)至1(最大激发)。将相位(p)分为32个离散的间隔(bin)，这些间隔通过从0至2π范围的角来表示神经元单元活动的相对时间。依据神经元单元的当前状态和电压无关、电压相关、以及相位无关的突触连接器的贡献，来更新神经元单元的状态。从单元j至神经元单元i的电压无关的输入c是：
A ij VI ( t ) = c ij s j ( t )
其中，Sj(t)是单元j的活动，以及cij是从单元j至单元i的连接强度。通过将该值卷积为所有相位上的余弦调谐曲线，来计算对单元i的电压无关的突触后影响：
POST i VI = Σ l = 1 M Σ j = 1 N 1 ( A ij VI ( t ) Σ k = 1 32 ( cos ( ( 2 π / 32 ) ( k - p j ( t ) ) ) + 1 2 ) tw ) ,
其中，M是不同的解剖学上定义的连接类型个数(见表2)；Nl是投射至神经元单元i的类型M连接个数；pj(t)是时间t处的神经元单元j的相位；以及tw是调谐宽度，在一个实施例中，可以设置为10，使得调谐曲线的宽度相对尖锐(～5个相位间隔)。
从神经元单元j至神经元单元i的电压相关的输入是：
A ij VD ( t ) = Φ ( POST i VI ( p j ( t ) ) ) c ij s j ( t ) ,
其中，
Figure A20058001933500192
其中，σi vdep是突触后活动的阈值，在该阈值之下，电压相关的连接不起作用(见表1)。
由下式给出对单元i的电压相关的突触后影响：
POST i VD = Σ l = 1 M Σ j = 1 N 1 ( A ij VD ( t ) Σ k = 1 32 ( cos ( ( 2 π / 32 ) ( k - p j ( t ) ) ) + 1 2 ) tw )
从单元i至单元j的相位无关的活动是：
A ij PI ( t ) = Cij s ( t )
对单元i的相位无关的突触后影响是基于所有相位无关的输入除以相位间隔数(32)的均匀分布。
POST i PI ( p ) = Σ l = 1 M Σ j = 1 N 1 ( A ij PI ( t ) 32 )
基于将对神经元单元i的突触后影响线性加和产生的分布，来选择新相位pi(t+1)和活动si(t+1)(见图4A-4E)：
POST i = Σ j = 1 N VI POST j VI + Σ k = 1 N VD POST k VD + Σ l = 1 N PI POST l PI
从分布POSTi中减去神经元单元的相位阈值σi phase，以及使用与结果分布成正比的概率来计算新相位pi(t+1)(图4E)。如果结果分布具有小于0的区域(即，没有输入在相位阈值之上)，则随机地选择新相位pi(t+1)。神经元单元的新活动是最新选择的相位上的活动电平，该活动电平然后受到以下活动函数的作用：
si(t+1)＝φ(tanh(gi(POSTi(pi(t+1))+ωsi(t))))
其中，
Figure A20058001933500201
其中，ω确定从一个周期至下一周期的单元活动的持续性，gi是比例因子，以及σi fire是单元特定激发阈值。
表1中给出了神经元单元的特定参数值，以及表2中说明了突触连接。
区域  大小 σ-fire  σ-phase   σ-vdep   ω     g
V1(6)V2(6)V4(6)CITSMic-rightMic-leftA-leftA-right  60×8030×4015×2015×2030×304×41×11×14×44×4  -0.100.200.100.200.10--0.000.00  -0.450.450.100.200.00--0.000.00   -0.050.100.100.100.00--0.100.10   -0.300.500.500.750.15--0.500.50     -1.0*1.0*1.01.01.0--1.01.0
表1.神经元单元参数
如表1中所示出的，区域V1是输入神经区，以及基于图1摄像头16的图像来设置V1的活动。神经区V1、V2和V4每个都具有六个子区域，具有选择颜色(例如，红色和绿色)，以及直线定位(例如，0、45、90和135度)的神经元单元。神经区Mic-left和Mic-right是输入神经区，以及基于来自麦克风18、20(图1)的输入来设置这些神经区的活动。
表1还指示了每个神经区或子区中的神经元单元数(“大小”栏)。远离神经区V1的每个区Mic-left和Mic-right中的神经元单元具有特定的激发阈值(σ-fire)、相位阈值((σ-phase)，在其上电压相关的连接可以起作用的阈值(σ-vdep)、持续性参数(ω)、以及比例因子(g)。表1中的星号标记了针对具有损伤的可重入连接的模拟神经***12(图2)设置为1.0的值(见表2)。
投射 Arbor  P  cij(0) type η θ1 θ2  k1  k2
V1→V2V2→V2(之内)V2→V2(之间)(×)V2→V2(之内)V2→V2(之间)V2→V4V4→V2(×)V4→V4(之间)(×)V4→V4(之内)V4→V4(之间)V4→V4(之间)V4→CV4→ITIT→V4(×)IT→ITIT→C#IT→S#C→V4(×)C→CC→MleftC→MrightS→CS→SA-left→CA-right→CA-left→CA-right→CA-left→SA-right→SA-leftA-rightA-leftA-rightMic-left，Mic-right→A-left，A-right []0×0[]3×3[]2×2Θ18，25[]2×2[]3×3[]1×1[]2×2Θ10，15Θ10，15[]2×2[]3×3特定non-toponon-toponon-toponon-toponon-topoΘ6，12non-toponon-toponon-toponon-topoleft-onlyright-onlyright-onlyleft-onlynon-toponon-toponon-toponon-toponon-topo  1.000.750.400.100.050.400.100.400.100.100.031.00-0.010.100.101.000.010.50-1.001.000.500.501.001.001.001.001.001.001.001.001.00  1，20.45，0.850.5，0.65-0.05，-0.1-0.05，-0.10.1，0.120.25，0.51.75，2.75-0.15，-0.25-0.15，-0.25-0.15，-0.250.002，0.00250.1，0.150.05，0.070.14，0.150.2，0.20.0005，0.0010.05，0.07-0.05，-0.1535，3535，350.5，050.7，0.80.5，0.50.5，0.5-0.15，-0.15-0.15，-0.1535，3535，35-1，-1-0.5，-0.55，5 PIVDVDVIVIVIVDVDVIVIVIVIVIVDVDVDVIVDPIVDVDVDVDVDVDPIPIVDVDPIVDPI  0.000.000.000.000.000.000.000.000.000.000.000.000.000.000.101.000.100.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00  00000000000000000000000000000000  000000000000000.8660.7070.707000000000000000  0.000.000.000.000.000.000.000.000.000.000.000.000.000.000.900.450.450.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00  0.000.000.000.000.000.000.000.000.000.000.000.000.000.000.450.650.450.000.000.000.000.000.000.000.000.000.000.000.000.000.000.00
表2.  解剖学投射和连接类型的特性
表2示出了模拟神经***12的解剖学投射和连接类型的特性。突触前神经元单元使用给定的概率(P)和给定的投射形状(Arbor)与突触后神经元单元连接。该树枝状的形状(arborization shape)可以是具有高度和宽度(h×w)的矩形
Figure A20058001933500231
具有由内和外半径(r1，r2)所限制的形状的环形的“Θ”、仅投射至突触后区域的左(右)侧的突触前神经元单元的left-only(right-only)、或者任何突触前和突触后神经元单元对给定了连接概率的非地形(“non-topo”)。在由最小和最大值(min，max)给定的范围内随机地设置初始连接强度Cij(O)。Cij(O)的负值指示抑制性连接。标记了“之内”的连接表示在视觉子区域内的那些连接，以及标记了“之间”的连接表示在视觉子区域之间的那些连接。抑制性“之间”投射连接仅响应形状、或者仅响应颜色的视觉子区域(例如，V4-红色V4-绿色，V4-水平V4-垂直)，兴奋性“之间”投射将形状子区域与颜色子区域连接(例如，V4-红色V4-垂直)。标记了#的投射是数值相关的。连接类型可以是相位无关/电压无关的(PI)、相位相关/电压无关的(VI)、或者相位相关/电压相关的(VD)。η、θ1、θ2、k1和k2的非零值表示可塑连接。在区域IT中给定的神经元单元与从三个不同的V4子区域至随机选择的三个神经元单元连接中，从V4至IT的连接是特定的。在有损伤实验中，去除标记了“×”的投射。
在神经元单元的该模型中，突触后相位倾向于与最强活跃的突触前输入的相位相关。该神经元单元模型促进了在简单网络(见以上图3A，简单网络模型中的神经元同步)和在完全的模拟神经***(图2)中的同步活跃神经元电路的出现，在该***中，这样的出现包括由可重入连接性、可塑性和行为施加的附加限制。
突触可塑性
根据依据突触前和突触后神经元单元的相位和活动的突触规则，对突触强度进行修改。可塑的突触连接是数值无关的(见图2中的IT→IT)、或者数值相关的(见图2中的IT→S、IT→C)。这些规则都是基于修改后的BCM学习规则的，其中，定义了抑制和增强区域的阈值是突触前与突触后神经元单元之间相位差的函数(见图2，插图)。在图2中示出的图形插图示出了已知的BCM规则的形式，其中，突触改变(ΔCij)是突触后与突触前神经元单元之间相位差(ΔP)和两个阈值(θ1和θ2)的函数。
具有强相关激发相位的神经元之间的突触是增强性的，以及具有弱相关相位的神经元单元之间的突触是抑制性的；改变的幅度也由突触前和突触后活动确定。该学习规则与应用于抖动尖峰串(jitteredspike train)的尖峰时间相关的可塑性规则相似，其中，增强区域具有高峰值和细拖尾，以及抑制区域具有相对小的峰值和胖拖尾。
由下式给出cij中的数值无关的突触改变：
Δcij(t+1)＝ηsi(t)sj(t)BCM(Δp)，
其中，si(t)和sj(t)分别是突触后和突触前单元的活动，η是固定的学习速率，以及 Δp = cos ( ( 2 π / 32 ) ( p i ( t ) - p j ( t ) ) ) + 1 2 , 其中，pi(t)和pj(t)是突触后和突触前单元的相位(0.0≤Δp≤1.0)。靠近1.0的Δp值表示突触前和突触后单元具有相似的相位，以及靠近0.0的Δp值表示突触前和突触后单元相位相异。以分段线性函数来实现函数BCM，将Δp作为输入，由两个阈值(弧度形式的θ1，θ2)、两个斜率(k1，k2)和饱和参数ρ(始终，ρ＝6)来定义：
在表2中给出了用于精细比例突触制作(confection)的特定参数设置。
数值相关的突触可塑性规则与数值无关的规则的不同之处在于，基于值***(神经区)的活动和相位的附加时期(term)对突触强度的改变进行调制。增强了端接于与值***同相的神经元单元上的突触连接，以及抑制了端接于与值***异相的单元上的连接。
由下式给出了数值相关的突触可塑性的突触改变：
Δcij(t+1)＝ηsi(t)sj(t)BCM(Δp)V(t)BCMv(Δpv)，
其中，V(t)是时间t处的值区域S中的平均活动。注意，BCMv函数与以上的BCM函数的微小不同之处在于，BCMv使用区域S和作为输入的突触后神经单元之间的相位差
( Δp v = cos ( ( 2 π / 32 ) ( p v ( t ) - p i ( t ) ) ) + 1 2
其中，pv(t)是区域S中的平均相位。当BCM和BCMv返回负数时，将BCMv设为1以确保，当突触前神经元单元和值***(神经区)均与突触后神经元单元异相时，突触连接不是增强的。
模拟周期计算
在模拟神经***12的每个模拟周期期间，处理感官输入，计算所有神经元单元的状态，确定所有可塑连接的连接强度，以及生成电动机输出。在以下描述的实验中，执行近似100毫秒的实时所需要的每个模拟周期。
实验条件
图5A示出了NOMAD 10的环境图示。该环境由具有黑色墙壁的封闭区域组成。在两个相对的墙壁上悬挂多对形状，所述形状是从由绿色菱形、绿色方块、红色菱形和红色方块组成的组中选择的。地板覆盖了透明的黑色塑料面板，以及包含由反射结构纸张制成的边界。当由附在NOMAD 12前面并面向地板的红外(IR)检测器检测到该边界时，NOMAD 10产生两种反身运动之一：(i)如果对象在它的视场中，则后退、停止，然后大致转180度，(ii)如果没有对象在它的视场中，则NOMAD大致转90度，因而朝向远离没有视觉刺激的墙壁。靠近包含视觉形状的墙壁边界，在房间一侧的红外发射机(IR)与包含扬声器的在另一侧的IR传感器配对(如图5A中所示)，以产生IR光束。如果NOMAD 10的运动阻断了任何一个IR光束，则由扬声器发出声音。由NOMAD 10检测到的声音通过模拟神经***12，得出朝向声源的定向运动。
实验协议—图6A-6B
图6A-6B示出了NOMAD 10实验的建立。NOMAD 10查看在区域(大约“90×66”)两个墙壁上的对象。如图6A和6B所示，分别将实验分为两个阶段，训练和测试。在这两个阶段期间，记录神经区V1，V2等所有神经元单元的活动和相位响应，用于分析。
在如图6A所示的训练期间，NOMAD 10在与前往所示不同对象对的大致24种途径相对应的10,000个模拟周期内探察它的范围。对扬声器(可听提示)所发出声音的响应引起NOMAD 10朝向目标(在该示例中是红色菱形)。干扰项是绿色菱形和红色方块，在每六种方式之前进行交换、以确保NOMAD 10的左右朝向没有混淆目标关系。对于如图6B中示出的测试，关闭扬声器，以及允许NOMAD 10在15,000个模拟周期内探察环境。当目标对象连续出现了这些15,000个周期时，每5,000个周期对干扰项进行改变。
训练阶段细节—图6A
在图6A中示出的训练阶段中，NOMAD 10自主地在10,000个模拟周期内探察它的范围，其中，这些模拟周期与实时的15-20分钟相对应，以及与前往不同的视觉形状对(图6A左侧的红色菱形和红色方块，以及图6A右侧的红色菱形和绿色菱形)的大约24种途径相对应。因此，每对包含了“目标”形状(红色菱形)和“干扰项”形状(红色方块上的绿色菱形)。故意设计干扰项来与目标分享属性，例如，当红色菱形是目标时，红色菱形/红色方块对悬挂在一面墙壁上(在图6A的左侧上示出)，以及红色菱形/绿色菱形对悬挂在另一面墙壁上(在图6A的右侧上示出)。如图所示，在这两种情况下，在房间任何一侧上的红色菱形都与扬声器最接近。为了确保在目标-干扰项对(例如，左边的红色方块，右边的绿色菱形)中对形状的左右定位不会混淆目标选择，每观察一对六次时，对干扰项侧进行交换。在训练阶段，对扬声器的响应引起NOMAD 10朝向目标。
测试阶段细节—图6B
如图6B所示，在测试期间，关闭扬声器(因此未示出)，以及允许NOMAD 10在15,000个模拟周期内自主地探察它的范围。前10,000个周期包含与在图6A的训练阶段期间呈现的相同目标和干扰项的冲突。后5,000个周期将遇到目标和与目标不共享任何特征的一组四个形状(左和右)中的一个形状(例如，由作为目标的红色菱形和作为干扰项的绿色方块组成的一对)。
使用四个形状中的每个作为目标，利用基于大脑的设备BBD的三个不同的“主题(subject)”，来重复训练和测试(总共12个训练和测试会话)。每个BBD“主题”具有NOMAD 10的相同的物理设备，但是每个都拥有唯一的模拟神经***24。“主题”中的这种可变性是各个神经元单元之间的连接性和这些神经元单元之间的初始连接强度的微观细节中的随机初始化的结果。然而，由于突触通路、树枝模式、以及初始连接强度的范围限制了该连接性，所以神经元单元中的整个连接性在不同的“主题”中保持相似(详见图2和表2)。
目标跟踪行为—通常地—图7A-7B
如图7A-7B所示，通过在条件作用或训练之后缺少可听提示时，“主题”多好地跟踪目标对象，来评估基于大脑的BBD的每个“主题”的区别性能。这作为时间片断进行计算，在该时间片段内，在每次靠近图6B中示出的视觉对象对期间，通过摄像头16将目标集中在NOMAD 10的视场中。三个独立的“主题”***均百分比跟踪时间和具有表示标准偏离的差错条形。如图7A所示，在所有途径(*表示使用成对的采样非参数符号测试的p＜0.01)上取平均，具有完整的可重入连接器的BBD“主题”跟踪的对象(白色条形)明显地多于每个目标形状的干扰项(灰色条形)。如图7B所示，具有完整的可重入连接“主题”(白色条形)跟踪的对象显著好于仅在测试期间具有“损伤”的“主题”(浅灰色条形)，以及在训练和测试期间具有损伤的主题(黑色条形)(*表示使用RankSum测试的p＜0.01)。
图7A示出了所有“主题”经过80％的时间，成功地跟踪了四个不同的目标。不管当NOMAD 10探察它的环境时(以下描述的不变对象识别)，目标和干扰项出现在摄像头16的视野中的许多不同规模和许多不同位置的事实。此外，即使由于共享特性(例如，相同的颜色或相同的形状)，仅基于颜色或形状，不能可靠地区分目标和干扰项，NOMAD 10仍能实现该过程。
为了调查在基于大脑的设备BBD的不同“主题”中可重入连接出现的重要性，在以在图7B中示出结果的实验范例的不同阶段，特定的区域间可重入连接有损伤。在一种情况下，在损伤之后，对先前训练的“主题”进行重新测试。在第二种情况下，在训练和测试阶段，可重入连接均有损伤。将损伤施加于区域间兴奋性可重入连接的子集(见图2和表2中标有“×”的投射)，这具有将模拟神经***12变换为视觉处理的“前馈”模型的作用。为了补偿由于这些损伤而导致的活动的减少，放大区V2和V4中的神经元单元输出(见表1)。图7B示出了具有完整的可重入连接的“主题”的执行明显好于任何一个有损伤组。在缺少可重入连接器时观察到的性能的降低表示，在对象辨别任务中，在机会之上，可重入连接对于行为来说至关重要。
行为期间的神经动态特性—图8
NOMAD 10在其环境中的行为期间，在模拟神经***12中的不同神经区中分布由同步活跃神经元组构成的电路。环境中的多个对象可由相应的活跃电路之间的相位差来区别。图8中给出了典型行为运行期间神经响应的快照。该快照示出了在至训练会话结束、靠近红色菱形目标和绿色菱形干扰项的期间(图6A)的NOMAD 10。在所描述的神经区V2、V4、IT、C和S中的每个像素表示在各个给定的神经区内单个神经元单元的活动和相位。因此，例如，图8示出了对神经区V2和V4的响应，尤其，在颜色(红色、绿色)和线定向(垂直线、对角线)中的神经子区。由每个像素的颜色来表示相位，以及由像素的亮度来表示活动(黑色是无活动；非常明亮的是最大活动)。
图8示出了两个神经电路，这两个神经电路由不同的相位来区分，以及分别由红色菱形和绿色菱形得到。如图中所示，NOMAD 10还未到达触发环境中的扬声器以发声的IR光束(见图6A)。神经区S(值***)的活动仍然与同目标相对应的神经区V2和V4中的活动同相，因而神经区S的活动预测目标的突出性(saliency)或值。区域IT具有由两个不同相位的颜色表示的两种模式的活动，反映了两个感观类别。由来自摄像头16的视觉输入带来这些模式，其中，该视觉输入在NOMAD 10在该环境中的运动期间生成。最后，神经区C在促进NOMAD 10朝目标(即，红色菱形)定向的一侧具有更多活动。
神经响应的动态特性—图9A和图9B
为了分析这些神经响应的动态特性，对在测试会话中向目标-干扰项对靠近期间活跃神经元单元的相位分布进行检测。图9A示出了完整“主题”(具有可重入连接)在出现红色方块干扰项时靠近红色菱形目标的期间，在不同神经区内的神经元相位的分布。图9A示出了在神经子区V4R(红色)、V4H(水平的)和V4D(对角线的)中的相位分布中的一致相关性。神经子区V4R中的双峰分布反映了NOMAD 10的环境中两个红色形状(菱形、方块)的出现：一个轨道可靠地与神经子区V4D(对角线的)相关，因而可以与红色菱形相关联；另一个可靠地与子区V4H(水平的)相关，因而可以与红色方块相关联(未在该期间保持不活跃的区V4G中示出)。与红色方块干扰项相反，在区S、IT和C中的活跃的神经元单元的相位与红色菱形目标强相关，反映了由测试阶段期间先前的条件作用带来的优选红色菱形的突触改变。因此，网络活动的整个模式显示了有利于目标的偏置相位分布。
偏置相位分布的量化—图9A-9C：表3
为了对该偏置进行量化、以及评估该偏置的通用性，在图6B中示出的测试期间，与目标相关联的区S、IT和C中的神经元单元的比例、以及与干扰项相关联的比例。表3示出了在所有“主题”和所有四个目标形状上计算的这些比例的平均值。
区域 ％响应目标的单元  ％响应干扰项的单元  响应目标的单元的平均激发速率   响应干扰项的单元的平均激发速率
 SITCV4 61.25(17.78)*4.29(0.495)*19.04(1.45)*14.83(0.833)*  10.34(4.88)2.91(0.366)10.80(1.93)11.61(0.819)  0.537(0.089)0.579(0.064)*0.626(0.062)*0.829(0.003)*   0.495(0.080)0.467(0.015)0.398(0.032)0.823(0.002)
表3.与目标和干扰项对象相对应的功能电路的神经元组成和平均活动
与目标相关联的功能电路部分的神经元单元的比例明显大于与干扰项相关联的电路部分的神经元单元的比例。此外，与目标相关联的这些神经元单元具有明显高于与干扰项相关联的电路中的神经元单元的激发速率。
以上示出了，如由可重入连接处于中间的，由模拟神经***12的本地和全局神经元电路处理的相关的相互作用，使得NOMAD 10能够辨别感性分类和视觉对象。本地处理与每个神经区中的活动相对应，而全局处理与不同的、但分布式的功能电路相对应，其中，该功能电路始终在模拟神经***12中出现。在图9A中，这些相互作用是明显的，其中，在每个本地区域中的活动强烈地反映了有利于红色菱形目标的全局偏置(也见表3)。
重入对神经动态特性的影响
可重入连接的损伤明显干扰了以上提及的本地和全局处理之间的相互作用。即使在非常简单的网络模型中，可重入连接的去除也可以阻止出现神经元同步(见图3A-3E)。在更大的规模内，图9B示出了在区域间兴奋性可重入连接的损伤之后，由图9A中描述的相同NOMAD 10“主题”前往相同的目标/干扰项对的途径。尽管一些个体区域连续在相位分布中示出峰值(例如，神经子区V4R)，但是许多不能够示出峰值，以及神经区之间的相位相关严重减少。这不仅出现于不同的V4神经区(图2)中，而且出现于区V4和区S、IT和C中。在有损伤的“主题”中几乎完全地缺少了在完整“主题”中非常明显的动态形成和全局相关的电路。例如，图9B示出了，区S中的活动不再唯一地与区V4中的单个轨迹相关；作为替代，区S中的活动在两个不同状态之间改变。还示出了神经区IT和C中的主要轨迹的缺失。
具有完整可重入连接的“主题”的神经区之间的相位相关性明显高于任一有损伤组中的“主题”的神经区之间的相位相关性。完整“主题”的整个中间等级相关性系数是0.36，仅在测试阶段期间有损伤的“主题”的整个中间等级相关性系数是0.21，在训练和测试阶段中均有损伤的“主题”的整个中间等级相关性系数是0.17。此外，仅在测试期间有损伤的“主题”具有比在训练和测试期间均有损伤的“主题”明显高的相关性系数。这反映了在训练期间，形成全局电路的可重入连接的构造(图6A)。所有这些发现与缺少可重入连接时的行为性能下降相一致。
神经区中的相位相关性—以红色菱形形状为条件的单个“主题”
图10A-10C在地理位置上示出了以优选红色菱形目标为条件之后的“主题”的神经区中的相位相关性的代表示例。图示是彩色编码的(暗蓝色表示不相关，暗红色表示高相关性)，以及每个彩色区域示出了给定的神经区对的平均相位之间的相关系数。图10A示出了当可重入连接完整时的相关系数。与图9中示出的数据一致，在与特定目标特征(V4D和V4R)相关联的区、以及在这些区和区S、IT和C之间，发现了强相位相关性。具有测试期间有损伤的可重入连接(图10B)和具有条件作用、和测试期间均有损伤的可重入连接(图10C)的相同“主题”的神经区中的相关性均相对较弱。如在图形上示出的，与目标相关联的神经区V1、V2等之间的连接，在具有完整的可重入连接(图10A)的情况下明显高于在任一有损伤的情况。
不变对象识别—图11A和11B
图11A-11B是示出了神经值区S对NOMAD 10视场中不同位置、不同大小的目标对象的响应的图示。使用指示标准差的偏差条形，为NOMAD 10“主题”至所有目标对象的所有途径来计算平均值。图11A以视场(135°)内目标位置的函数形式示出了平均响应。图11B示出了平均响应，作为从8°至27°视觉角度范围的可看见的目标大小。图11A和11B中的插图表示，方块目标如何以极限位置和大小出现在NOMAD 10的视场中。
由于视觉对象的图像在大小和位置上随NOMAD 10探察它的范围而明显变化，所以成功的辨别需要不变的对象识别。为了分析该能力，检测在条件作用之后，由于通路IT→S中的可塑性，优先响应目标对象而非干扰项的值***(即，神经区S)。在典型的途径中，当NOMAD 10从环境的一侧移动至另一侧时，神经区S强烈地响应，并与对应于目标属性的区V2、V4和IT中的神经元单元同相。计算所有“主题”和所有目标形状的平均值，发现了区S可靠地对目标图像进行响应，该目标图像出现于视图区域中心的120°内(视场的范围大约是±35°)，以及可以看见的目标大小的视觉角度范围从8°至27°。因此，当在环境中的自主移动时，本发明基于大脑的设备BBD的对象识别是位置和比例不变的。
条件作用期间的值***(神经区S)活动—图12A和12B
在图12A中，以早先阶段(左面板，时间步长750-1165)示出了在前往目标形状的单个途径期间，对于神经区S、IT和C的单个“主题”的条件作用期间的神经活动；以及在图12B中示出了条件作用的后来阶段(右面板，时间步长6775-7170)。每个面板示出了相应的神经区中的神经元单元相位随时间的分布。如在图9中的，灰度级表示在特定相位处的每个神经区中的神经元单元的比例。每个面板底部的实线表示呈现来自扬声器的音的时间步长(见图6A)。在早期条件作用训练阶段(左面板)，区S是不活跃的，直至发音(即，可听活动)，在该点，区S变得非常活跃，与同目标相关联的区IT和C中的上轨迹同相。同时，与干扰项相对应的区IT和C中的下轨迹变得相对受到抑制。之后，在条件作用(右面板)中，在发出声音之前，区S、IT和C与对应于目标(下轨迹)的视觉***活动同相，以及在发音之前，与干扰项相关联的活动相对受到抑制。
作为在条件作用期间数值相关的突触可塑性的结果(即，突触连接器的可塑性是数值相关的)，目标对象的视觉属性变为值的预测。如图12A所示，在早先条件作用期间，区S直到UCS(无条件刺激；即，音)出现才变得活跃。如由这些区中的初始双峰相位分布的快速取消示出的，USC还引发了区IT和C中的偏置。
在条件作用的后来阶段，CS(有条件刺激；即，目标视觉特征)变得与值相关联，使得区S中的活动现在开始超过UCS(见图12B)。刺激一出现于NOMAD 10的视场中，区S就响应目标刺激。然后，如图12A-12B所示，区S中的活动通过在UCS出现之前，在每个区中的单个相位分布峰值的出现，促进了区IT和C中的偏置。由早先试验中的听觉UCS触发的活动(即，听觉输入提供值)至由后来的试验中的视觉CS触发的活动(即，视觉输入现在提供值)的在值相关活动的时间上的平移，与条件作用期间在灵长类中脑腹侧被盖区中发现的多巴胺能的神经活动中的平移类似。数值相关的突触可塑性还与有条件的刺激变为值的预测的“时间差”学习类似。
计算机***和流程图
图13是根据本发明不同实施例的***的示例性示例。尽管该图示描述了逻辑上独立的组件，但是描述仅用于示例性目的。对于本领域技术人员来说，很明显，在该图中绘出的组件可以任意组合或划分为独立的软件、固件和/或硬件组件。此外，对于本领域技术人员来说，还很明显，无论怎样组合或划分，这样的组件可以在相同的计算设备上执行，或者可以在由一个或多个网络或其它适合的通信装置连接的不同的计算设备中进行分布。
在不同的实施例中，图13中示出的组件可以以一种或多种编程语言(例如，C、C++、JavaTM、和其它适合的语言)来实现。组件可以使用消息传输接口(MPI)或其它适合的通信装置(包括但不局限于共享存储器)、分布式对象和简单对象访问协议(SOAP)进行通信。MPI是用于计算设备(或节点)之间的信息通信的工业标准协议。在一个实施例中，可以在诸如(但不局限于)Beowulf集群之类的多处理器计算机结构上配置该***。典型地，Beowulf集群由通过以太网或一些其它网络连接的标准硬件组件(例如，运行Linux操作***的个人计算机)组成。该公开不局限于任何特定类型的并行计算结构。可以是许多其它这样的结构，以及这些结构完全落入该公开的范围和精神内。
参照图13，主机组件1302可以根据从客户机1304处接收的命令，来协调其它组件的活动。在一个实施例中，客户机可以是单机处理，该单击处理根据脚本或其它场景，和/或对从主机处接收的客户机信息(例如，神经活动、传感器读数和摄像头输入)的作用，来编程控制主机。客户机命令指导主机开始或停止基于大脑的设备BBD的实验，在数据存储器1312上存储实验状态，从该数据存储器中读取该实验状态，以及设置神经模拟器1310的参数。
在另一实施例中，客户机可以是用户接口，用于从主机中接收信息，以及允许用户交互式地控制***。通过非限制性示例，用户接口可以包括以下的一个或多个：1)图形用户界面(GUI)(例如，以超文本标记语言来创建)；2)响应声音和/或语音命令的能力；3)响应来自遥控设备的输入的能力(例如，蜂窝电话、PDA、或者其它适合的遥控)；4)响应表情动作的能力(例如，面部或其它)；5)响应来自在相同或另一计算设备上处理中的命令的能力；以及6)响应来自计算机鼠标和/或键盘的输入的能力。该公开并不局限于任何特定的UI。本领域技术人员将认识到，可能是许多其它用户接口，以及这些用户接口完全落入该公开的范围和精神内。
将每个神经区的神经元单元(例如，V1，V2，V4，IT，C，S，Mic-left，A-left，Mic-right，A-right)的每个都分配给神经模拟器1310。每个神经模拟器1310负责计算已经分配给它的神经元单元的活动。给定的神经区的神经元单元可以在一个或多个神经模拟器1310上分布。在不同的实施例中，每个Beowulf节点可以有一个神经模拟器。为了优化性能，可以在神经模拟器中分布神经元单元，使得神经模拟器上的突触连接的平均数近似相同。在其它实施例中，可以分布神经元单元，使得每个神经模拟器的神经元单元的平均数近似相同。神经模拟器周期性地或连续地与其它神经模拟器和主机交换神经元单元活动的计算结果。需要该信息，使得其它神经模拟器上的神经元单元具有更新的突触前输入。主机基于从神经模拟器中接收的神经活动，向NOMAD提供激励器命令。
主机周期性地接收来自图像抓取器1306中的图像数据，并且将该图像数据分发给神经模拟器和客户机。在一个实施例中，从安装在NOMAD 10上的CCD摄像头16中得到的图像，其中，CCD摄像头16通过RF发射机，将320×240像素的RGB视频图像发送至ImageNation PXC200帧抓取器。然后，在空间上对图像进行平均，以产生80×60像素的图像。Gabor滤波器可以用于检测垂直、水平和对角线(45和135度)定向(如以上简要描述的)的边缘。Gabor函数的输出直接映射至相应的V1子区的神经元单元上。彩色滤光片(具有绿色负片围边的红色正片中心，或者具有绿色正片围边的红色负片中心)还应用于图像。彩色滤光片的输出直接映射至神经元单元V1-Red和V1-Green上。V1神经元单元按照视网膜的分布(retinotopically)投射至神经区V2中的神经元单元。
主机组件还周期性地从NOMAD 10组件1308中获得传感器数据，并将该传感器数据分发给神经模拟器。在一个实施例中，NOMAD10上承载的微控制器(PIC17C756A)对输入和来自传感器的状态进行采样，并控制NOMAD底座和主机之间的RS-232通信。除了先前描述的视频和音频信息之外，传感器信息可以包括夹取状态、摄像头位置、红外检测器、触须偏差、轮速和方向、里程表计数和麦克风输入。在一个实施例中，均方根(RMS)芯片测量了麦克风输入信号的振幅，以及比较器芯片产生允许测量频率的方波。NOMAD 10上的微控制器通过将当前信号振幅测量值与先前的三个测量值进行平均，来周期性地计算整个麦克风的振幅。微控制器通过取最后八个方波的平均周期的倒数，计算麦克风信号在每个时间点的频率。神经区Mic-left或Mic-right响应具有最大值的至少40％的振幅的2.9与3.5kHz之间的音。由下式给出神经区Mic-left或Mic-right中的神经元单元的活动：
s i mic ( t + 1 ) = tanh ( 0.9 s i mic ( t ) + 0.1 a i mic )
其中，si mic(t)是Mic-left或Mic-right中的神经元单元i的先前值，以及ai mic是麦克风输出的当前振幅。
图14是根据本发明不同实施例的神经模拟器初始化的流程图示例。尽管该图示出于示例目的，描述了特定顺序的功能步骤，但是该过程不必局限于任何特定顺序或步骤的安排。本领域技术人员将理解，可以省略、重新排列、并行执行、组合、和/或以不同的方式适应该图中描述的不同的步骤。在步骤1402中，基于来自客户机1304的命令，来确定是否应当从数据存储器1312中检索所存储的实验，或者是否应当开始新的实验。如果要从数据存储器检索实验，则在步骤1410中执行。在不同的实施例中，试验状态可以存储为可扩展标记语言(XML)文档、纯文本文件或二进制文件。否则，在步骤1404中，根据表1中给出的参数来创建神经元单元。接下来，在步骤1406中，根据表2中的参数，在神经元单元之间创建突触连接。最后，在步骤1408中，将每个神经元单元分配给神经模拟器。
图15是根据本发明不同实施例的主机组件的流程图示例。尽管该图示出于示例目的，描述了特定顺序的功能步骤，但是该过程不必局限于任何特定顺序或步骤的安排。本领域技术人员将理解，可以省略、重新排列、并行执行、组合、和/或以不同的方式适应该图中描述的不同的步骤。
在步骤1502中，主机将从图像抓取器和NOMAD 10中获取的图像和传感器数据广播至神经模拟器和客户机。在步骤1504中，主机将已经接收的任何命令广播至神经模拟器。在步骤1506中，确定客户机是否指示主机退出该实验。如果这样，主机停止实验(可以包括将该实验的状态存储至数据存储器)。否则，在步骤1508中，将更新的信息提供至可以用于更新GUI的客户机。在步骤1510中，在所有组件中(例如，通过MPI)共享来自神经模拟器的神经元单元活动。最后确定是否在该模拟中留下任何剩余周期。如果没有，则该实验终止。否则，主机返回至步骤1502。
图16是根据本发明不同实施例的神经模拟器的流程图示例。尽管该图示出于示例目的，描述了特定顺序的功能步骤，但是该过程不必局限于任何特定顺序或步骤的安排。本领域技术人员将理解，可以省略、重新排列、并行执行、组合、和/或以不同的方式适应该图中描述的不同的步骤。
在步骤1602中，神经模拟器接受由主机广播的图像和传感器数据。在步骤1604中，接受由主机广播的客户机命令。在步骤1606中，确定客户机是否指示主机退出该实验。如果这样，神经模拟器完成它的执行。否则，在步骤1608中，计算所分配给神经模拟器的神经元单元的值。在步骤1610中，计算可塑连接的强度。在步骤1612中，与其它神经模拟器和主机一起共享本地神经元单元活动。此外，需要和使用来自其它神经模拟器的神经元活动，来刷新本地值。最后，在步骤1614中确定是否在该模拟中留下任何剩余周期。如果没有，则该实验终止。否则，神经模拟器返回至步骤1602。
如对计算机领域技术人员显而易见的，根据该公开的教义，可以使用编程的传统通用或专用数字计算机或微处理器来实现不同的实施例。如对软件领域技术人员显而易见的，基于该公开的教义，熟练的程序员易于准备适合的软件编码。如对本领域技术人员显而易见的，本发明还可以通过准备集成电路、或者使传统组件电路的适合网络互联，来实现本发明。
不同的实施例包括计算机程序产品，该计算机程序产品是具有存储其上/内的指令的存储介质，可以用于对通用或专用计算处理器/设备进行编程，来执行呈现于此的任何特征。存储介质可以包括、但不局限于，以下的一个或多个：包括软盘、光盘、DVD、CD-ROM、微驱动器、磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪存设备、磁或光卡、纳米***(包括分子存储器IC)的任何类型的物理介质；以及适于存储指令和/或数据的任何类型的介质或设备。不同的实施例包括计算机程序产品，该计算机产品可以在一个或多个公共和/或专有网络上传输，其中，传输包括可用于对计算机设备编程以执行这里呈现的任何特征的指令。
存储了计算机可读介质中的一个或多个，该公开包括软件，该软件用于控制通用/专用计算机的硬件或微处理器，以及用于使计算机或微处理器能够利用本发明的结果，与人类用户或其它机制进行交互。这样的软件可以包括、但不局限于，设备驱动器、操作***、执行环境/容器和应用程序。
总结
讨论了基于大脑的设备(BBD)，包括由模拟神经***12控制的NOMAD 10，该BBD设备绑定了不同刺激的视觉属性。作为包括可重入神经解剖(图2，表1和表2)的多级交互、神经元组的动态同步、以及由突触可塑性和在其环境中移动的NOMAD 10的自主行为生成的相关性的结果，出现基于大脑的设备BBD中的绑定。具体地，在靠近视觉对象期间，对于NOMAD 10视场中的每个对象，发生同步活跃的神经元电路的形成。由神经区V1、V2等中间的可重入连接启用的这些电路引发电动机区的活动，该活动依次引起了NOMAD 10的辨别行为。这提供了对大脑、人体和在有效视觉对象识别之下的行为之间的复杂的、动态的交互作用的理解。
本发明的基于大脑的设备BBD具有先天特定行为(即，朝向听觉或视觉刺激跟踪)以及特定环境信号(例如，声音的正值)的先天特定值或突出性。BBD自主地学习将声音值与最靠近音源的视觉刺激的属性相关联，以及成功地定向于仅基于视觉属性的目标对象(见图7A)。
基于大脑的设备的物理实施例对于综合该对象辨别任务的有挑战的方面中的许多(如，位置的改变、视觉图像的规模和亮度、声音反射和运动期间的滑移量)来说非常重要。对精细的计算机模拟的信任存在引入含糊指令形式的先验偏置的风险，其中，该指令对代理与环境之间的交互作用进行管理。然而，通过使用现实世界的环境，不但避免了引入这样的偏置的风险，而且消除了对高复杂度模拟环境构造的需求。
本发明的模拟神经***12包含与视觉***的腹侧枕颞部流相类似的皮层区(区V2，V4和IT)、电动机***(区C)、以及与扩散上行神经调节***相类似的奖赏或值***(区S)。然而，这些专区中的任何一个、以及信息流的优选方向(例如，“自顶向下”或“自底向上”)都不足以由它们自己绑定视觉对象的特征。而是，通过本地处理(即，每个模拟神经区中的活动)、以及全局处理(即，通过在模拟神经***12上分布的同步活动来表征的出现的功能电路)的交互作用，来实现基于大脑的设备BBD中的视觉绑定。发现分布式神经区V1、V2等中的可重入连接，对于这些电路的形成(见图9、10和12)、以及对于在请求具有共享特征的多个对象(见图7)之间的辨别的任务中的成功性能来说，是至关重要的。本发明基于大脑的设备BBD实现了视场中的可靠辨别，这源于丰富的现实世界环境中的自我生成或自主的运动(见图11)。
已经通过激发速率变量和相位变量，对模拟神经***12中的每个神经元单元的状态进行了描述，其中，突触后相位趋向于与最强活跃的突触前输入的相位相关联。该建模策略在不引起与各个神经元的尖峰活动的建模相关联的计算成本的情况下，提供了表示神经同步所需的时间精度。尽管精确尖峰时刻的表达对于特定神经元交互作用的建模来说是必要的，但是所公开的模型建议，为了示出视觉绑定的机制，不需要这样的细节。还非常重要的是，强调在所描述模型中的相位并不意在作为振荡活动之下的可能反射，具体地，该相位不应当意味着，特定频率处的规则大脑振荡是绑定的神经机制的重要成分。
尽管模拟神经***12中的本地区域基于输入和连接分离了功能，但是对象识别和对象辨别行为是整个***(而不是任何单个区域)中出现的特性。在朝目标定向的运动期间，基于大脑的设备BBD的神经响应示出了不同神经区中的一组动态神经元单元中的同步活动这一全局特性(见图8和9A)。两个对象的同步观看清楚地调动了两组不同的电路，该电路在模拟神经***12中分布，以及由活动的相对时间差来进行区分。当通过模拟损伤去除神经区V1、V2等之间的可重入连接时，破坏了这些神经区中相干的相互作用(见图9B、10B和10C)，导致了在对象知觉种类和对象辨别行为中的失败(见图7B)。
实验和值形成了模拟神经***12的全局特性。这清楚地在图12中示出，其中，在早先的训练期间，区S示出无活动，以及区C直至出现听觉暗示时才示出朝向目标对象的偏置，即，值。在训练后期，作为从区IT至区S的数值相关的可塑连接的结果(即，视觉刺激值)，区S在听觉暗示出现之前变得活跃。因此，区S中的活动变为无条件刺激的预测(即，听觉音)。从区IT至区C的数值相关的可塑连接和从区S至区C的兴奋性连接确保了，值相关活动的时间上的平移导致了区C活动中的偏置，该偏置支持朝向目标而不是干扰项的运动。这强调了，在修改分布式神经连接的效力的过程中，值***的角色是保证自适应行为。在视场中的对象中的对象辨别任务中的成功的性能需要神经同步的补充动作和以实验为依据的神经元激发速率的改变(见表3)。由共享相似相位的神经元单元组表示的神经元同步，对于与所考虑的每个对象相对应的多个全局电路的形成来说是必要的。同时，在这些电路中的神经元单元的活动影响了区V4、IT和C中的活动等级，使得NOMAD 10倾向于目标对象而非干扰项。这些观察建议，不需要认为平均激发速率“码”和基于同步的“码”是神经元功能的相互排它的解释。
所描述模型的预测(其中，神经元单元表示小组的神经元的活动)是，在组等级上的神经同步(而不是各个神经元之间的零相位滞后)足以用于感官绑定。尽管一些单个单元记录研究示出，由所受刺激激励的神经元比由无人刺激激励的神经元更加同步，但是，单个单元中的同步活动在需要绑定的任务中检测非常困难。此外，来自灵长类前额皮层的微电极记录示出了比兴奋性、长期锥体神经元中的相关激发等级高的在本地、抑制性神经元中的相关激发等级。另一方面，与有意识地察觉到的刺激相比，人类主题在双眼竞争期间的神经磁性记录表明：与知觉上显著的刺激相关联的信号的半球内和半球间相干中的增加。然而，神经磁性信号不反映单个神经元之间的可重入关系；而是表示大神经元数量上的平均。因此，这与以上描述的本发明的模型符合，建议可以在神经元组等级和在单个神经元等级上操作同步。
更高级的大脑功能依据整个神经***的合作活动，反映形态学、动态学和与人体和环境的交互作用。根据强调了通过同步绑定的重要性的理论观点，本发明基于大脑的设备BBD示出了，作为限制重入和行为对于本地处理(特定神经区中的活动)和全局处理(同步活跃和广分布的神经电路)之间交互作用的影响的结果，可以出现视觉绑定和对象辨别。这些处理之间的交互作用非常重要，而特定区域和单独的信息流的确定优选方向均不足以实现视觉绑定。
出于示例和描述的目的，提供了本发明优选实施例的以上描述。这并不意在专有地或将本发明局限于所公开的精确形式。许多修改和变化对于本领域技术人员来说是显而易见的。为了最好地解释本发明的原理和实践应用，选择并描述了实施例，从而使得本领域的技术人员理解本发明，不同的实施例和不同的修改适于所预期的特定使用。以在通过权利要求及其等同物来限定本发明的范围。

Claims (15)

1.一种移动的基于大脑的设备，用于在现实世界环境中行动以综合视觉场景，所述设备包括：
a)移动自适应设备，具有
i)视觉输入传感器，用于接收视觉信息；
ii)听觉输入传感器，用于接收听觉信息；以及
iii)效应器，用于使所述移动自适应设备能够运动；
b)基于计算机的模拟神经***，所述***与人类大脑的皮层区域相对应，用于绑定视觉场景内对象的不同视觉特征，所述基于计算机的模拟神经***包括
i)第一神经区，用于形成视觉***，以及响应来自所述视觉输入传感器的视觉输入，以产生视觉刺激，所述第一神经区与产生视觉刺激的大脑的腹侧皮层通路相对应；
ii)第二神经区，用于形成听觉***，以及响应来自所述听觉输入传感器的听觉输入，以产生听觉刺激；
iii)第三神经区，类似于上行神经调节***，响应由所述移动的基于大脑的设备所经历的现实世界的突出事件，以产生值刺激；以及
iv)第四神经区，用于形成跟踪***，以及响应所述听觉、视觉和值刺激，以控制所述效应器来使所述移动自适应设备朝向针对所述移动自适应设备的听觉和视觉输入信息进行定向，所述第四神经区与大脑的上丘区相对应；以及
c)其中，在所述移动自适应设备通过所述第一、第二、第三和第四神经区中的每个区内的神经元单元的可重入连接，通过所述第一、第二、第三和第四神经区之间的可重入连接，以及通过本地处理和全局处理的交互作用，来进行现实世界的移动的期间，可实现视觉绑定，其中，所述本地处理是所述第一、第二、第三和第四神经区中的每个区内的活动，以及所述全局处理在现实世界操作期间形成功能神经电路，并具有所述第一、第二、第三和第四神经区之间的同步活动。
2.如权利要求1所述的移动的基于大脑的设备，其中，在所述第一、第二、第三和第四神经区中的每个神经元单元具有相对的神经元活动，由激发速率变量来表示对这些活动的定时，以及由相位变量来表示对这些活动的相对定时，其中，神经元单元类似的激发相位反映了同步活动。
3.如权利要求1所述的移动的基于大脑的设备，其中，所述值刺激修改在所述第一、第二、第三和第四神经区之间的突触连接的强度，以提供所述移动的基于大脑的设备在现实世界环境中的自适应行为。
4.如权利要求1所述的移动的基于大脑的设备，其中，所述第一神经区与垂直皮层通路V1→V2→V4→IT相对应。
5.如权利要求4所述的移动的基于大脑的设备，其中，将所述神经区V1划分为子区域，所述子区域具有响应视觉对象的颜色和线段的神经元单元。
6.如权利要求4所述的移动的基于大脑的设备，其中，所述神经区V2具有神经元单元，所述神经元单元的各个域与所述视觉感官输入的像素相对应。
7.如权利要求1所述的移动的基于大脑的设备，其中，在所述第一、第二、第三和第四神经区中的神经元单元具有在它们自身之间的兴奋性突触连接，以及所述兴奋性突触连接中的每个是电压相关的。
8.如权利要求7所述的移动的基于大脑的设备，其中，所述第一、第二、第三和第四神经区具有在所述区之间的可重入兴奋性连接，以及所有所述可重入兴奋性连接是电压相关的。
9.如权利要求1所述的移动的基于大脑的设备，其中，所述值刺激导致了对从所述第一神经区至所述第三神经区、以及从所述第一神经区至所述第四神经区的神经通路中的突触连接强度的调制。
10.一种移动的基于大脑的设备，用于在现实世界环境中学习，以将给定的视觉对象与具有共享视觉特征的其它视觉对象相区分，所述设备包括：
a)移动自适应设备，具有摄像头，用于接收与视场中的视觉对象相关的视觉信息；音频接收机，用于接收音频信息；以及跟踪***，用于使所述移动自适应设备朝向从所述摄像头中接收的视觉刺激、以及从所述音频接收机中接收的听觉刺激进行定向；以及
b)模拟大规模可重入神经解剖***，所述***与绑定视觉对象的人类的皮层和皮层下大脑区域相对应，用于响应所述视觉和听觉刺激来控制所述跟踪***，所述神经解剖***具有多个神经区，每个神经区由神经元单元组成，以及在所述多个神经区之间具有可重入突触连接，以及在所述神经区中的每个神经区中的神经元单元之间具有可重入突触连接，其中，所述可重入突触连接有利于所述多个神经区之间的同步活动，而与所述可重入突触连接的强度无关，并具有数值相关和数值无关的突触可塑性，以及所述模拟大规模可重入神经解剖***提供了所述移动的基于大脑的设备的自主行为。
11.如权利要求10所述的移动的基于大脑的设备，其中，所述模拟大规模可重入神经解剖***针对所述视野内的每个对象，在所述多个神经区之间、以及在所述神经区中的每个区中的神经元单元之间，形成不同的活跃的可重入神经元电路。
12.如权利要求11所述的移动的基于大脑的设备，其中，所述不同的活跃的可重入神经元电路具有所述电路相对活动的定时差。
13.如权利要求10所述的移动的基于大脑的设备，其中，所述模拟大规模可重入神经解剖***包括四个神经区***，包括视觉***、跟踪***、听觉***和值***。
14.如权利要求13所述的移动的基于大脑的设备，还包括计算机***，用于执行模拟大规模可重入神经解剖，其中，所述计算机***存储了所述可重入神经解剖的解剖投射和连接类型的特性的表格，以及所述表格代表用于在所述设备在其环境中移动时控制所述移动自适应设备的大脑的神经解剖。
15.如权利要求14所述的移动的基于大脑的设备，其中，所述神经区中的每个包括神经元单元，以及所述计算机***存储另一参数表，这些参数之一定义了所述神经区中的每个的大小。
CN2005800193357A 2004-04-15 2005-04-14 用于现实世界环境中的移动的基于大脑的设备 Expired - Fee Related CN1981296B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US56237604P 2004-04-15 2004-04-15
US60/562,376 2004-04-15
US11/105,019 2005-04-13
US11/105,019 US7519452B2 (en) 2004-04-15 2005-04-13 Mobile brain-based device for use in a real world environment
PCT/US2005/012541 WO2005106762A2 (en) 2004-04-15 2005-04-14 Mobile brain-based device for use in a real world environment

Publications (2)

Publication Number Publication Date
CN1981296A true CN1981296A (zh) 2007-06-13
CN1981296B CN1981296B (zh) 2012-03-14

Family

ID=35242324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800193357A Expired - Fee Related CN1981296B (zh) 2004-04-15 2005-04-14 用于现实世界环境中的移动的基于大脑的设备

Country Status (5)

Country Link
US (4) US7519452B2 (zh)
EP (2) EP1763811A4 (zh)
JP (1) JP5175089B2 (zh)
CN (1) CN1981296B (zh)
WO (1) WO2005106762A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109147928A (zh) * 2011-07-05 2019-01-04 沙特***石油公司 通过增强现实显示为雇员提供健康信息的***、计算机介质和计算机实现方法
CN109376853A (zh) * 2018-10-26 2019-02-22 电子科技大学 回声状态神经网络输出轴突电路
CN114175046A (zh) * 2019-08-05 2022-03-11 蒙特利尔大学 模拟哺乳动物大脑中关于视觉观察到的身体的运动的决策过程的***

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7765029B2 (en) * 2005-09-13 2010-07-27 Neurosciences Research Foundation, Inc. Hybrid control device
EP1955190B1 (en) 2005-11-10 2018-08-29 In Silico Biosciences, Inc. Method and apparatus for computer modeling the human brain for predicting drug effects
EP1969513A4 (en) * 2005-12-28 2010-05-05 Neurosciences Res Found BRAIN BASED DEVICE WITH A SMALL BRAIN MODEL FOR PREDICTIVE MOTOR CONTROL
EP2024901A2 (en) 2006-05-25 2009-02-18 Elminda Ltd. Neuropsychological spatiotemporal pattern recognition
US20080004749A1 (en) * 2006-06-30 2008-01-03 Honeywell International, Inc. System and method for generating instructions for a robot
US8103602B2 (en) 2006-12-29 2012-01-24 Neurosciences Research Foundation, Inc. Solving the distal reward problem through linkage of STDP and dopamine signaling
WO2009069135A2 (en) * 2007-11-29 2009-06-04 Elminda Ltd. System and method for neural modeling of neurophysiological data
US20110004412A1 (en) * 2007-11-29 2011-01-06 Elminda Ltd. Clinical applications of neuropsychological pattern analysis and modeling
US8473436B2 (en) * 2009-11-18 2013-06-25 The Intellisis Corporation Neural segmentation of an input signal and applications using simulated neurons, and a phase modulator
US9405975B2 (en) 2010-03-26 2016-08-02 Brain Corporation Apparatus and methods for pulse-code invariant object recognition
US9129220B2 (en) * 2010-07-07 2015-09-08 Qualcomm Incorporated Methods and systems for digital neural processing with discrete-level synapes and probabilistic STDP
US9906838B2 (en) 2010-07-12 2018-02-27 Time Warner Cable Enterprises Llc Apparatus and methods for content delivery and message exchange across multiple content delivery networks
US8860787B1 (en) 2011-05-11 2014-10-14 Google Inc. Method and apparatus for telepresence sharing
US8862764B1 (en) * 2012-03-16 2014-10-14 Google Inc. Method and Apparatus for providing Media Information to Mobile Devices
US9129221B2 (en) * 2012-05-07 2015-09-08 Brain Corporation Spiking neural network feedback apparatus and methods
US20130297539A1 (en) * 2012-05-07 2013-11-07 Filip Piekniewski Spiking neural network object recognition apparatus and methods
US9224090B2 (en) * 2012-05-07 2015-12-29 Brain Corporation Sensory input processing apparatus in a spiking neural network
US9412041B1 (en) 2012-06-29 2016-08-09 Brain Corporation Retinal apparatus and methods
US9186793B1 (en) 2012-08-31 2015-11-17 Brain Corporation Apparatus and methods for controlling attention of a robot
US9311594B1 (en) 2012-09-20 2016-04-12 Brain Corporation Spiking neuron network apparatus and methods for encoding of sensory data
US9218563B2 (en) 2012-10-25 2015-12-22 Brain Corporation Spiking neuron sensory processing apparatus and methods for saliency detection
US9275326B2 (en) 2012-11-30 2016-03-01 Brain Corporation Rate stabilization through plasticity in spiking neuron network
US9904889B2 (en) 2012-12-05 2018-02-27 Applied Brain Research Inc. Methods and systems for artificial cognition
US9436908B2 (en) * 2013-02-22 2016-09-06 Qualcomm Technologies Inc. Apparatus and methods for rate-modulated plasticity in a neuron network
US9436909B2 (en) 2013-06-19 2016-09-06 Brain Corporation Increased dynamic range artificial neuron network apparatus and methods
US9239985B2 (en) 2013-06-19 2016-01-19 Brain Corporation Apparatus and methods for processing inputs in an artificial neuron network
US9552546B1 (en) 2013-07-30 2017-01-24 Brain Corporation Apparatus and methods for efficacy balancing in a spiking neuron network
CN104541306B (zh) * 2013-08-02 2019-10-25 索美智能有限公司 神经行为动画***
US10552734B2 (en) * 2014-02-21 2020-02-04 Qualcomm Incorporated Dynamic spatial target selection
US9533413B2 (en) 2014-03-13 2017-01-03 Brain Corporation Trainable modular robotic apparatus and methods
US9987743B2 (en) 2014-03-13 2018-06-05 Brain Corporation Trainable modular robotic apparatus and methods
US9881349B1 (en) 2014-10-24 2018-01-30 Gopro, Inc. Apparatus and methods for computerized object identification
FR3028743B1 (fr) * 2014-11-21 2021-02-19 Univ Centre Hospitalier Dispositif pour la mesure des signaux de l'activite cerebrale d'un individu
US9840003B2 (en) 2015-06-24 2017-12-12 Brain Corporation Apparatus and methods for safe navigation of robotic devices
WO2018200541A1 (en) 2017-04-24 2018-11-01 Carnegie Mellon University Virtual sensor system
US11151440B2 (en) 2017-11-08 2021-10-19 International Business Machines Corporation Neural response human detector
US11669914B2 (en) 2018-05-06 2023-06-06 Strong Force TX Portfolio 2018, LLC Adaptive intelligence and shared infrastructure lending transaction enablement platform responsive to crowd sourced information
EP4100893A4 (en) * 2020-02-03 2024-03-20 Strong Force TX Portfolio 2018, LLC SELECTION AND CONFIGURATION OF ARTIFICIAL INTELLIGENCE
CN111338482B (zh) * 2020-03-04 2023-04-25 太原理工大学 一种基于监督自编码的脑控字符拼写识别方法及***
JP2024070488A (ja) * 2022-11-11 2024-05-23 ソフトバンク株式会社 情報処理装置、プログラム、及び情報処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5136687A (en) * 1989-10-10 1992-08-04 Edelman Gerald M Categorization automata employing neuronal group selection with reentry
US6507828B1 (en) * 1998-06-19 2003-01-14 Jason Leonard Neuron circuit and related techniques
WO2002015125A2 (en) * 2000-08-16 2002-02-21 Research Foundation Of State University Of New York Neural network device for evolving appropriate connections
JP2002301674A (ja) * 2001-04-03 2002-10-15 Sony Corp 脚式移動ロボット及びその運動教示方法、並びに記憶媒体
US6999953B2 (en) * 2002-07-03 2006-02-14 Energy Conversion Devices, Inc. Analog neurons and neurosynaptic networks
US20040138780A1 (en) * 2002-11-15 2004-07-15 Lewis Murray Anthony Certain principles of biomorphic robots

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109147928A (zh) * 2011-07-05 2019-01-04 沙特***石油公司 通过增强现实显示为雇员提供健康信息的***、计算机介质和计算机实现方法
CN109376853A (zh) * 2018-10-26 2019-02-22 电子科技大学 回声状态神经网络输出轴突电路
CN109376853B (zh) * 2018-10-26 2021-09-24 电子科技大学 回声状态神经网络输出轴突电路
CN114175046A (zh) * 2019-08-05 2022-03-11 蒙特利尔大学 模拟哺乳动物大脑中关于视觉观察到的身体的运动的决策过程的***

Also Published As

Publication number Publication date
WO2005106762A2 (en) 2005-11-10
US20050261803A1 (en) 2005-11-24
EP1763811A4 (en) 2010-04-21
JP5175089B2 (ja) 2013-04-03
US20130274919A1 (en) 2013-10-17
WO2005106762A3 (en) 2007-02-22
JP2007536610A (ja) 2007-12-13
US7519452B2 (en) 2009-04-14
US20120173020A1 (en) 2012-07-05
EP1763811A2 (en) 2007-03-21
CN1981296B (zh) 2012-03-14
US20110184556A1 (en) 2011-07-28
EP2437205A1 (en) 2012-04-04

Similar Documents

Publication Publication Date Title
CN1981296A (zh) 用于现实世界环境中的移动的基于大脑的设备
Iordanescu et al. Characteristic sounds facilitate visual search
Rucci et al. Adaptation of orienting behavior: From the barn owl to a robotic system
Trehub Space, self, and the theater of consciousness
Vallet et al. The perceptual nature of audiovisual interactions for semantic knowledge in young and elderly adults
Rounds et al. Using posterior eeg theta band to assess the effects of architectural designs on landmark recognition in an urban setting
Halko et al. Real world navigation independence in the early blind correlates with differential brain activity associated with virtual navigation
Baldo et al. Computational neurobiology of the flash-lag effect
Grossberg The embodied brain of SOVEREIGN2: from space-variant conscious percepts during visual search and navigation to learning invariant object categories and cognitive-emotional plans for acquiring valued goals
Jaakkola et al. Switching strategies: a dolphin’s use of passive and active acoustics to imitate motor actions
Rucci et al. Robust localization of auditory and visual targets in a robotic barn owl
Grossberg Developmental designs and adult functions of cortical maps in multiple modalities: Perception, attention, navigation, numbers, streaming, speech, and cognition
Bornet et al. Running large-scale simulations on the Neurorobotics Platform to understand vision–the case of visual crowding
Baars et al. The global workspace theory
Rucci et al. Integrating robotics and neuroscience: brains for robots, bodies for brains
Laeng Representation of spatial relations
Zhong Dynamic spatial hearing by human and robot listeners
US20200410244A1 (en) System for quantitative analysis of educational activities of a child
VanRullen et al. Spatial attention in asynchronous neural networks
Emerson et al. Visual experience and the concept of compensatory spatial hearing abilities
Macera et al. Remote-neocortex control of robotic search and threat identification
Mets Can artificial intelligence become a member of the society as an autonomous personality?
Borst et al. Modelling the auditory system: preprocessing and associative memories using spiking neurons
Charitha et al. Framework for modeling of regaining the attention
Yu et al. Neural implementation of categorization in a motion discrimination task

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120314

Termination date: 20190414

CF01 Termination of patent right due to non-payment of annual fee