CN109262656A - 一种基于机器视觉的动物机器人刺激参数测定***和方法 - Google Patents
一种基于机器视觉的动物机器人刺激参数测定***和方法 Download PDFInfo
- Publication number
- CN109262656A CN109262656A CN201811283293.3A CN201811283293A CN109262656A CN 109262656 A CN109262656 A CN 109262656A CN 201811283293 A CN201811283293 A CN 201811283293A CN 109262656 A CN109262656 A CN 109262656A
- Authority
- CN
- China
- Prior art keywords
- stimulation
- robot
- stimulus
- animal
- animal robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000638 stimulation Effects 0.000 title claims abstract description 103
- 241001465754 Metazoa Species 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000005259 measurement Methods 0.000 title claims abstract description 18
- 238000002474 experimental method Methods 0.000 claims abstract description 27
- 230000033001 locomotion Effects 0.000 claims abstract description 13
- 230000009471 action Effects 0.000 claims abstract description 10
- 238000004891 communication Methods 0.000 claims description 35
- 238000012360 testing method Methods 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 10
- 210000004556 brain Anatomy 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000007405 data analysis Methods 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 5
- 230000000153 supplemental effect Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 239000003086 colorant Substances 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims 1
- 238000011160 research Methods 0.000 abstract description 7
- 238000011002 quantification Methods 0.000 abstract description 3
- 238000004445 quantitative analysis Methods 0.000 abstract description 2
- 230000004936 stimulating effect Effects 0.000 abstract description 2
- 230000006399 behavior Effects 0.000 description 5
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000019637 foraging behavior Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000005424 photoluminescence Methods 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/0095—Means or methods for testing manipulators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Toys (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于机器视觉的动物机器人刺激参数测定***和方法，属于动物机器人控制领域，该***利用机器视觉技术获取动物机器人的运动轨迹和转动方向，可更精确和定量化的分析动物机器人的运动行为；并进一步地定量化分析出刺激参数与动物机器人受控行为的对应关系，从而确定出适于特定动物个体的最佳刺激参数，为动物机器人的实用化研究提供必要信息；通过机器视觉代替了人工判断，基于本发明所提出的方法不仅保证了实验流程的标准性和实验数据的客观性，进而得到客观一致的刺激参数测定结果；同时，大大减少了原来由人工刺激参数测定实验所带来的低价值劳动，提高了动物机器人的研究效率。
Description
技术领域
本发明属于动物机器人控制领域，具体涉及一种基于机器视觉的动物机器人刺激参数测定***及方法。
背景技术
动物机器人是指利用动物的运动机能，通过对动物的感觉传入神经进行刺激，实现人为的控制或引导动物的某些行为，也称“半电子人(cyborg)。动物机器人利用脑机接口(Brain Computer Interface，BCI)技术，实现外部控制与生物脑区之间的直接信息交互，完成精确的控制动物机器人的行为。相比传统的机械式机器人，动物机器人由于利用了生物作为其驱动载体，大大简化了机器人设计中的运动控制等模块。同时动物机器人在面对突发状况或者复杂的地理环境时，能够依靠其生物本能对突发状况做出快速有效的处理，有更高的灵活性、环境适应性能力和隐蔽性。而且动物机器人依靠其觅食行为，不需要外部设备提供运动所需能源，极大减少了机器人的能源消耗，提升续航时间。
所谓动物机器人，就是以活体动物为本体、用编码电信号控制其大脑神经或肌肉，以实现对本体控制的智能动物。但由于动物个体差别和手术过程中定位误差，使得控制动物机器人所需要的电刺激参数具有差异性。因此，通过刺激实验为每一个动物机器人的每一刺激通道获取实验数据进而选定适宜的刺激参数是动物机器人研究过程中的重要环节，我们称这一实验环节为“刺激参数测定实验”。该实验对动物机器人研究至关重要，它将为后期的动物机器人实用化研究提供先验信息。
现阶段的刺激参数测定实验，主要依靠人工操作，需要实验人员结合自身操作经验，不断调整刺激参数并持续观察动物的运动行为，同时记录实验过程中刺激参数数据，进而确定出最合适的刺激参数。但这种工作方式有很多的不足之处：其一，实验存在因人而异的随意性，不同的实验人员由于其经验和理解等方面的差异，加之实验人员的主观性，致使在相同实验过程并不能得到一致性的记录结果，比如记录特定参数电刺激下的动物机器人转动角度，通过人眼判断转动角度，偏差在所难免。这种由人为因素带来的不一致性记录结果，将给刺激参数与转动角度的对应关系的分析和研究带来不利影响，最终导致不能得到两者关系的客观规律。其二，由于操作人员注意力、体力等生理局限无法做到长时间、高标准的投入到实验过程中，时常会漏掉一些关键的测试环节，尽管漏掉的测试可以补做，但已破坏了实验流程的一致性，没有标准化的实验流程将不能得到一致的实验结果。其三，基于人工操作的刺激参数测定实验消耗时间长，同时也增加人力和财力成本。
发明内容
针对现有技术中存在的上述技术问题，本发明提出了一种基于机器视觉的动物机器人刺激参数测定***及方法，设计合理，克服了现有技术的不足，具有良好的效果。
为了实现上述目的，本发明采用如下技术方案：
一种基于机器视觉的动物机器人刺激参数测定***，包括测控***和刺激器；测控***主要由工业相机、PC机和无线通讯模块A组成；刺激器主要由微处理器、多通道编码信号发生器、无线通讯模块B和基本功能电路组成；
工业相机，通过USB接口与PC机连接，被配置为用于采集刺激实验过程中的动物机器人的运动状态，将视频数据传送给PC机；
无线通讯模块A，通过串口与PC机连接，被配置为用于将来自PC机的数据无线发射出去；
PC机，使用基于OpenCV库所开发的数据分析***，对传输来的刺激信号和检测画面进行分析与处理，通过检测大鼠机器人特征点的方法分析出所处状态，计算出大鼠机器人转动的角度；结合每次转动所对应的刺激信号，筛选出对大鼠机器人有效控制的录像画面，自动保存这些可控制的录相；最后将刺激信号强度和转动角度进行分析、比对，得到被测大鼠机器人的转动角度与刺激强度之间对应关系，计算出可控灵敏度；
无线通讯模块B，通过串口与微处理器连接，被配置为用于无线接收来自PC机的数据；
微处理器，通过串口与无线通讯模块B连接，同时，通过I/O口控制多通道编码信号发生器的工作状态；微处理器基于无线通讯模块B接收的信息产生期望的编码电刺激信号，并将其施加到动物机器人的目标脑区上，使动物产生期望的运行行为；
多通道编码信号发生器，被配置为用于对微处理器的原始信号进行处理和变换，并在微处理器的控制下实现刺激通道的选择、启动和停止功能，进而产生一个刺激信号频率、刺激信号幅值和刺激信号时程均可调的编码刺激信号，并将这个编码刺激信号施加到目标脑区；
基本功能电路，被配置为用于为微处理器和无线通讯模块B提供电能；
基于PC机的测控***按照设定的规律生成刺激参数和控制命令，并通过无线通讯设备A发送给刺激器；同时，基于PC机的测控***同步记录和保存实验过程中的刺激参数信息和反映动物机器人的受控行为的视频文件；最后，基于视频文件和相应的刺激参数，分析出受控行为与刺激参数的对应关系。
优选地，刺激器上设置有标识块，标识块被配置为用于标准化刺激实验过程中动物机器人转向角的测量，在实际的转向角测量中，取三个标识线转向角的平均值作为最终的转向角；标识块由三条不同颜色的线条组成，每个线条均标有一个用于标识该线条的方向的箭头，三个线条交叉于一点，在平面上平均分布两两相差120度。
优选地，无线通讯模块A和无线通讯模块B均选择无线通讯芯片NRF9E5；工业相机选择具有USB3.0数据接口的500万像素工业相机；刺激器的微处理器选择C8051F410芯片；编码信号发生器由4组对称的三极管和2个MAX309芯片组成。
此外，本发明还提到一种基于机器视觉的动物机器人刺激参数测定方法，该方法采用如上所述的基于机器视觉的动物机器人刺激参数测定***，按照如下步骤进行：
步骤1：将带有标识块的刺激器安装固定于动物机器人的背上，其输出端与预先植入的电极接口插槽连接，并开启测控***；
步骤2：将动物机器人放置于背景为纯色的平面上，以定位和分割标识块中的特征线条；
步骤3：进行参数设定；其中，起始参数设定如下：电流幅值为50uA，脉冲宽度为2，脉冲个数为5，脉冲频率为90Hz；最大值参数设定如下：电流幅值为130uA，脉冲宽度为9，脉冲个数为30，脉冲频率为130Hz；
步骤4：测控***初始化完成后，首先根据来自工业相机的实时图像信息，分析判断动物机器人当前的位置，选择刺激类型；每种刺激类型的参数变化都遵循刺激强度由弱到强渐变递增的规律；
步骤5：刺激类型确定后，测控***根据该刺激类型的进度，遵循刺激强度渐变递增的规律，通过无线通讯模块A将参数数据和刺激类型命令一起发送到刺激器；
步骤6：刺激器上电后由微处理器完成初始化后，进行等待状态，当通过无线通讯模块B接收到来自测控***的参数数据和刺激命令后，微处理器根据接收的信息，控制多通道编码信号发生器的工作状态，使其产生相应的编码刺激电信号，并将刺激电信号施加于动物机器人对应的脑神经核团，控制动物机器人的运动行为；上述刺激电信号在5秒内被重复10次；产生刺激的同时，刺激器通过无线通讯模块B向测控***发送刺激开始标识，测控***收到刺激开始标识后，启动录相功能开始录相，并将视频文件分类保存在三个不同的文件夹中；本次刺激结束后，刺激器发送结束标识信号到测控***，然后进入等待状态，测控***收到结束标识信号后，延迟2秒后结束录相；
步骤7：全部实验结束后，通过PC机进行视频数据分析，根据视频文件绘制动物机器人运动轨迹，测控***读取视频文件中的每一帧数字图像，根据标识块中的特定颜色定位出三条线的交点，并计算出该交点在图像中的坐标，最后将每一帧中该交点的坐标连接起来，就可得到动物机器人的运动轨迹；同时，从视频文件中取出第一帧和最后一帧数字图像，针对第一帧图像进行处理，根据色彩信息提取出图像中的三条标识线，并计算出每一条线在图像平面上的方向角，分别记为A，B，C；按同样的方式对最后一帧图像进行处理，方向角分别记为a，b，c；则动物机器人的转向角度为((a-A)+(B-B)+(c-C))/3；
步骤8：完成上述处理后，利用图像处理技术，将同类刺激具有相同刺激参数的轨迹图像，拼接到一起，并将转向角显示于每一个对应的轨迹图上形成一个图像，根据图像检测相同刺激参数下控制结果的一致性和控制效果的稳定性，最后将具有稳定性的结果作为选定参数。
优选地，在步骤4中，刺激类型分为三种：左转向刺激类型、右转向刺激类型和前进刺激类型；测控***根据实验过程中动物所处的位置和每一种类型的实验进程选取刺激类型：如果动物机器人的右边靠近场地边缘，则选择左转向刺激类型；如果动物机器人的左边靠近场地边缘，则选择右转向刺激类型；如果动物机器人不在场地边缘，测控***根据左转、右转和前进三种刺激类型各自的实验进程，选择进度较慢的那个刺激类型进行前进刺激实验，直到三种刺激类型都完成。
优选地，在步骤4中，刺激强度渐变递增的规律是：按幅值、宽度、个数和频率的先后次序，每次参数变化交替增大上述4个参数中的一个变量，各个变量的增量如下：电流幅值增量为5uA，脉冲宽度增量为1，脉冲个数增量为5，脉冲频率增量为10Hz；直到与刺激强度有关的4个变量都达到设定的最大值，当某一刺激类型的参数达到最大值时，标志着该类实验完成了一个循环测试，然后再进行下一个循环测试。
优选地，在步骤6中，三个不同的文件夹以刺激类型代码+循环次数+刺激参数的格式命名；刺激类型代码分别为：左转代码为1，右转代码为2，前进代码为3；循环次数从1开始，每完成一次循环后加1；刺激参数按幅值、脉冲宽度、脉冲个数和刺激信号频率的先后顺序组合而成。
本发明所带来的有益技术效果：
本发明***通过机器视觉技术获取动物机器人的行为特征，可对动物机器人的动作做出更加精确和定量化的分析和判断，并结合本发明方法自动分析出每一刺激通道的适宜刺激参数范围，有效克服了先前的不足，不仅保证了实验流程标准的性和实验数据的客观性，得到客观一致的刺激参数测定结果，而且大大减轻了由刺激参数测定实验所带来的低价值劳动，提高了动物机器人的研究效率。
附图说明
图1为基于机器视觉的动物机器人实验数据采集***结构示意图。
图2为基于机器视觉的动物机器人实验数据采集***工作原理示意图。
图3为测控***工作流程图。
图4为刺激器工作流程图。
图5为标识线提取与角度计算示意图。
图6为基于机器视觉的刺激参数测定实验结果示意图。
具体实施方式
下面结合附图以及具体实施方式对本发明作进一步详细说明：
一种基于机器视觉的动物机器人刺激参数测定***，如图1所示，包括测控***和刺激器；测控***主要由工业相机、PC机和无线通讯模块A组成；刺激器主要由微处理器、多通道编码信号发生器、无线通讯模块B和基本功能电路组成；
工业相机，通过USB接口与PC机连接，被配置为用于采集刺激实验过程中的动物机器人的运动状态，将视频数据传送给PC机；
无线通讯模块A，通过串口与PC机连接，被配置为用于将来自PC机的数据无线发射出去；
PC机，使用基于OpenCV库所开发的数据分析***，对传输来的刺激信号和检测画面进行分析与处理，通过检测大鼠机器人特征点的方法分析出所处状态，计算出大鼠机器人转动的角度；结合每次转动所对应的刺激信号，筛选出对大鼠机器人有效控制的录像画面，自动保存这些可控制的录相；最后将刺激信号强度和转动角度进行分析、比对，得到被测大鼠机器人的转动角度与刺激强度之间对应关系，计算出可控灵敏度；
无线通讯模块B，通过串口与微处理器连接，被配置为用于无线接收来自PC机的数据；
微处理器，通过串口与无线通讯模块B连接，同时，通过I/O口控制多通道编码信号发生器的工作状态；微处理器基于无线通讯模块B接收的信息产生期望的编码电刺激信号，并将其施加到动物机器人的目标脑区上，使动物产生期望的运行行为；
多通道编码信号发生器，被配置为用于对微处理器的原始信号进行处理和变换，并在微处理器的控制下实现刺激通道的选择、启动和停止功能，进而产生一个刺激信号频率、刺激信号幅值和刺激信号时程均可调的编码刺激信号，并将这个编码刺激信号施加到目标脑区；
基本功能电路，被配置为用于为微处理器和无线通讯模块B提供电能；
基于PC机的测控***按照设定的规律生成刺激参数和控制命令，并通过无线通讯设备A发送给刺激器；同时，基于PC机的测控***同步记录和保存实验过程中的刺激参数信息和反映动物机器人的受控行为的视频文件；最后，基于视频文件和相应的刺激参数，分析出受控行为与刺激参数的对应关系。
以机器人鼠为例说明本发明的实施方式，基于机器视觉的动物机器人实验数据采集***工作原理如图2所示。实验时将带有红、绿、蓝三色标识线的标识板安装在刺激器表面，一起固定于大鼠的背上。刺激器的输出端与预先植入的电极接口插槽连接。工业相机固定于实验场地的正上方，PC机通过USB接口读取来自工业相机的视频数据。测控***负责分析图像信息，以判断出大鼠在实验场地的位置，并以无线通讯的方式与刺激器交互信息，控制刺激器的工作状态，同时接收刺激器的反馈数据。
测控***工作流程如图3所示，测控***首先根据来自工业相机的实时图像分析大鼠在场地中的位置，若大鼠的左侧靠近场地的边缘，测控***选择右转刺激类型；若大鼠的右侧靠近场地的边缘，测控***选择左转刺激类型；若大鼠位于场地中心测控***根据三种刺激类型的实验进程，选择进度较慢的刺激类型进行刺激实验。刺激类型确定后，测控***根据该类型的进度，推算出本次测试所需的刺激参数，然后通过无线通讯模块A将参数数据和刺激类型命令一起发送到刺激器，同时，等待刺激器的反馈信息，当接收到开始信号后，启动录相功能开始录制机器人鼠实验视频，直到接收来自刺激器的结束标识延迟2秒后结束录相，将刚刚录制的实验视频分类保存在指定的文件夹中。同时，以“刺激类型代码+循环次数+刺激参数”的格式命名该视频文件，比如当前的刺激类型为第二次循环进程的左转刺激，刺激参数为电流幅值100uA，脉冲宽度为5，脉冲个数为20，脉冲频率为90Hz。除刺激类型代码不变外，其余信息被通过在前方补0的方式扩成3位，即循环次数002、电流幅值100、脉冲宽度005、脉冲个数为020、脉冲频率090。将以上数据组合起来，则该视频的文件名为1002100005020090。然后进入下一次循环。
刺激器工作流程如图4所示，刺激器上电后由微处理器C8051F410完成初始化后，进行等待状态，当通过无线通讯模块B接收到来自测控测控***的参数和命令后，微处理器C8051F410根据接收的信息控制编码信息发生器的工作状态，使其产生相应的编码刺激电信号，并将刺激信号施加于大鼠对应的脑神经核团，控制大鼠的运动行为。上述刺激信号在5秒内被重复10次。产生刺激的同时，通过无线通讯芯片发开始标志到测控***，本次刺激结束后发送结束标志，然后进入等待状态，重复以上过程。
实验结束后，测控***对记录的视频文件进行逐个分析，测控***根据视频文件的名称可以得到与视频文件对应的刺激参数及刺激类型信息，然后读取视频中的每一帧图像数据，如图5所示根据预设的颜色褐色提取标记点O点，并计算出该点的坐标。最后将所有的点坐标连接起来，并显示在一张图像上得到机器人鼠的运动轨迹。另外，读取视频中的第一帧和最后一帧图像并定位分割出图像中的标识块，按如图5所示的方法，将标识块中的三条线根据颜色信息提取出来，并计算出每条线两个端点在图像中的坐标，以水平右向为参考方向，根据线段两端点的坐标可以分别得到红色标识线CD的角度为θ1，绿色标识线AB的方向角为360-θ2，蓝色标识线EF的方向角为180-θ3。假设图3所示的是第一帧图像中的标识块，三个角度分别记为A,B,C。按同样的方法可以得到最后一帧图像标识块中三条线的方向角，分别记为a,b,c。则机器人鼠的转向角为an＝((a-A)+(b-B)+(c-C))/3。若an大于零则机器人鼠左转了an度，若an小于零则说明机器人鼠右转了an度。
完成上述处理后，根据视频文件名称查找出具有相同刺激类型且具有相同刺激参数的轨迹图像并将其拼接到一起，并将转向角显示于每一个对应的轨迹图上形成一个大的图像，如图6所示，a1a2…nN代表与相应轨迹对应的转向角。根据这个图像可以检测相同刺激参数下控制结果的一致性和控制效果的稳定性，最后将具有稳定性控制效果的参数筛选出来，作为被测试机器人鼠的有效刺激参数保存在电脑文件中，以方便后期的深入动物机器人实用化研究。
基于机器视觉的动物机器人实验数据采集方法和***，利用机器视觉技术获取动物机器人的运动轨迹和转动方向，可更精确和定量化的分析和判断动物机器人的运动行为。进一步地定量化分析出刺激参数与动物机器人受控行为的对应关系，从而确定出适于特定动物个体的最佳刺激参数，为动物机器人的实用化研究提供必要信息。机器视觉代替了人眼，该方法不仅保证了实验流程标准性和实验数据的客观性，而且得到客观一致的刺激参数测定结果。同时，大大减轻了原来由人工刺激参数测定实验所带来的低价值劳动，提高了动物机器人的研究效率。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。
Claims (7)
1.一种基于机器视觉的动物机器人刺激参数测定***，其特征在于：包括测控***和刺激器；测控***主要由工业相机、PC机和无线通讯模块A组成；刺激器主要由微处理器、多通道编码信号发生器、无线通讯模块B和基本功能电路组成；
工业相机，通过USB接口与PC机连接，被配置为用于采集刺激实验过程中的动物机器人的运动状态，将视频数据传送给PC机；
无线通讯模块A，通过串口与PC机连接，被配置为用于将来自PC机的数据无线发射出去；
PC机，使用基于OpenCV库所开发的数据分析***，对传输来的刺激信号和检测画面进行分析与处理，通过检测大鼠机器人特征点的方法分析出所处状态，计算出大鼠机器人转动的角度；结合每次转动所对应的刺激信号，筛选出对大鼠机器人有效控制的录像画面，自动保存这些可控制的录相；最后将刺激信号强度和转动角度进行分析、比对，得到被测大鼠机器人的转动角度与刺激强度之间对应关系，计算出可控灵敏度；
无线通讯模块B，通过串口与微处理器连接，被配置为用于无线接收来自PC机的数据；
微处理器，通过串口与无线通讯模块B连接，同时，通过I/O口控制多通道编码信号发生器的工作状态；微处理器基于无线通讯模块B接收的信息产生期望的编码电刺激信号，并将其施加到动物机器人的目标脑区上，使动物产生期望的运行行为；
多通道编码信号发生器，被配置为用于对微处理器的原始信号进行处理和变换，并在微处理器的控制下实现刺激通道的选择、启动和停止功能，进而产生一个刺激信号频率、刺激信号幅值和刺激信号时程均可调的编码刺激信号，并将这个编码刺激信号施加到目标脑区；
基本功能电路，被配置为用于为微处理器和无线通讯模块B提供电能；
基于PC机的测控***按照设定的规律生成刺激参数和控制命令，并通过无线通讯设备A发送给刺激器；同时，基于PC机的测控***同步记录和保存实验过程中的刺激参数信息和反映动物机器人的受控行为的视频文件；最后，基于视频文件和相应的刺激参数，分析出受控行为与刺激参数的对应关系。
2.根据权利要求1所述的基于机器视觉的动物机器人刺激参数测定***，其特征在于：刺激器上设置有标识块，标识块被配置为用于标准化刺激实验过程中动物机器人转向角的测量，在实际的转向角测量中，取三个标识线转向角的平均值作为最终的转向角；标识块由三条不同颜色的线条组成，每个线条均标有一个用于标识该线条的方向的箭头，三个线条交叉于一点，在平面上平均分布两两相差120度。
3.根据权利要求1所述的基于机器视觉的动物机器人刺激参数测定***，其特征在于：无线通讯模块A和无线通讯模块B均选择无线通讯芯片NRF9E5；工业相机选择具有USB3.0数据接口的500万像素工业相机；刺激器的微处理器选择C8051F410芯片；编码信号发生器由4组对称的三极管和2个MAX309芯片组成。
4.一种基于机器视觉的动物机器人刺激参数测定方法，其特征在于：采用如权利要求1所述的基于机器视觉的动物机器人刺激参数测定***，按照如下步骤进行：
步骤1：将带有标识块的刺激器安装固定于动物机器人的背上，其输出端与预先植入的电极接口插槽连接，并开启测控***；
步骤2：将动物机器人放置于背景为纯色的平面上，以定位和分割标识块中的特征线条；
步骤3：进行参数设定；其中，起始参数设定如下：电流幅值为50uA，脉冲宽度为2，脉冲个数为5，脉冲频率为90Hz；最大值参数设定如下：电流幅值为130uA，脉冲宽度为9，脉冲个数为30，脉冲频率为130Hz；
步骤4：测控***初始化完成后，首先根据来自工业相机的实时图像信息，分析判断动物机器人当前的位置，选择刺激类型；每种刺激类型的参数变化都遵循刺激强度由弱到强渐变递增的规律；
步骤5：刺激类型确定后，测控***根据该刺激类型的进度，遵循刺激强度渐变递增的规律，通过无线通讯模块A将参数数据和刺激类型命令一起发送到刺激器；
步骤6：刺激器上电后由微处理器完成初始化后，进行等待状态，当通过无线通讯模块B接收到来自测控***的参数数据和刺激命令后，微处理器根据接收的信息，控制多通道编码信号发生器的工作状态，使其产生相应的编码刺激电信号，并将刺激电信号施加于动物机器人对应的脑神经核团，控制动物机器人的运动行为；上述刺激电信号在5秒内被重复10次；产生刺激的同时，刺激器通过无线通讯模块B向测控***发送刺激开始标识，测控***收到刺激开始标识后，启动录相功能开始录相，并将视频文件分类保存在三个不同的文件夹中；本次刺激结束后，刺激器发送结束标识信号到测控***，然后进入等待状态，测控***收到结束标识信号后，延迟2秒后结束录相；
步骤7：全部实验结束后，通过PC机进行视频数据分析，根据视频文件绘制动物机器人运动轨迹，测控***读取视频文件中的每一帧数字图像，根据标识块中的特定颜色定位出三条线的交点，并计算出该交点在图像中的坐标，最后将每一帧中该交点的坐标连接起来，就可得到动物机器人的运动轨迹；同时，从视频文件中取出第一帧和最后一帧数字图像，针对第一帧图像进行处理，根据色彩信息提取出图像中的三条标识线，并计算出每一条线在图像平面上的方向角，分别记为A，B，C；按同样的方式对最后一帧图像进行处理，方向角分别记为a，b，c；则动物机器人的转向角度为((a-A)+(B-B)+(c-C))/3；
步骤8：完成上述处理后，利用图像处理技术，将同类刺激具有相同刺激参数的轨迹图像，拼接到一起，并将转向角显示于每一个对应的轨迹图上形成一个新的图像，根据图像检测相同刺激参数下控制结果的一致性和控制效果的稳定性，最后将具有稳定性的结果作为选定参数。
5.根据权利要求4所述的基于机器视觉的动物机器人刺激参数测定方法，其特征在于：在步骤4中，刺激类型分为三种：左转向刺激类型、右转向刺激类型和前进刺激类型；测控***根据实验过程中动物所处的位置和每一种类型的实验进程选取刺激类型：如果动物机器人的右边靠近场地边缘，则选择左转向刺激类型；如果动物机器人的左边靠近场地边缘，则选择右转向刺激类型；如果动物机器人不在场地边缘，测控***根据左转、右转和前进三种刺激类型各自的实验进程，选择进度较慢的那个刺激类型进行前进刺激实验，直到三种刺激类型都完成。
6.根据权利要求4所述的基于机器视觉的动物机器人刺激参数测定方法，其特征在于：在步骤4中，刺激强度渐变递增的规律是：按幅值、宽度、个数和频率的先后次序，每次参数变化交替增大上述4个参数中的一个变量，各个变量的增量如下：电流幅值增量为5uA，脉冲宽度增量为1，脉冲个数增量为5，脉冲频率增量为10Hz；直到与刺激强度有关的4个变量都达到设定的最大值，当某一刺激类型的参数达到最大值时，标志着该类实验完成了一个循环测试，然后再进行下一个循环测试。
7.根据权利要求4所述的基于机器视觉的动物机器人刺激参数测定方法，其特征在于：在步骤6中，三个不同的文件夹以刺激类型代码+循环次数+刺激参数的格式命名；刺激类型代码分别为：左转代码为1，右转代码为2，前进代码为3；循环次数从1开始，每完成一次循环后加1；刺激参数按幅值、脉冲宽度、脉冲个数和刺激信号频率的先后顺序组合而成。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811283293.3A CN109262656B (zh) | 2018-10-31 | 2018-10-31 | 一种基于机器视觉的动物机器人刺激参数测定***和方法 |
| PCT/CN2018/123659 WO2020087717A1 (zh) | 2018-10-31 | 2018-12-25 | 一种基于机器视觉的动物机器人刺激参数测定***和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811283293.3A CN109262656B (zh) | 2018-10-31 | 2018-10-31 | 一种基于机器视觉的动物机器人刺激参数测定***和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109262656A true CN109262656A (zh) | 2019-01-25 |
| CN109262656B CN109262656B (zh) | 2019-05-28 |
Family
ID=65190945
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811283293.3A Active CN109262656B (zh) | 2018-10-31 | 2018-10-31 | 一种基于机器视觉的动物机器人刺激参数测定***和方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109262656B (zh) |
| WO (1) | WO2020087717A1 (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109675171A (zh) * | 2019-03-04 | 2019-04-26 | 中国科学院深圳先进技术研究院 | 动物刺激方法、装置、设备和存储介质 |
| CN110275532A (zh) * | 2019-06-21 | 2019-09-24 | 珠海格力智能装备有限公司 | 机器人的控制方法及装置、视觉设备的控制方法及装置 |
| CN113384234A (zh) * | 2021-07-08 | 2021-09-14 | 中山大学 | 动物三维视觉测量装置及方法 |
| CN113627256A (zh) * | 2021-07-09 | 2021-11-09 | 武汉大学 | 基于眨眼同步及双目移动检测的伪造视频检验方法及*** |
| CN114532242A (zh) * | 2022-02-16 | 2022-05-27 | 深圳市元疆科技有限公司 | 一种小型动物行为研究实验箱 |
| CN115056235A (zh) * | 2022-05-27 | 2022-09-16 | 浙江大学 | 基于多模态融合定位的大鼠搜救机器人及搜救方法 |
| CN115607143A (zh) * | 2022-11-10 | 2023-01-17 | 大连理工大学 | 一种基于无线实时姿态检测的脑机接口行为调控评价方法 |
| CN117310508A (zh) * | 2023-11-30 | 2023-12-29 | 山东科技大学 | 一种快速准确测量锂电池电变量的方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1848951A (zh) * | 2006-03-09 | 2006-10-18 | 西安交通大学 | 一种集成视觉监控的多模式无线脑机交互装置 |
| WO2013057544A1 (en) * | 2011-10-21 | 2013-04-25 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | A method of calibrating and operating a direct neural interface system |
| CN104199446A (zh) * | 2014-09-18 | 2014-12-10 | 山东科技大学 | 机器人鸟飞行可控性测评***及测评方法 |
| CN107351080A (zh) * | 2017-06-16 | 2017-11-17 | 浙江大学 | 一种基于相机单元阵列的混合智能研究***及控制方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5857433A (en) * | 1996-07-22 | 1999-01-12 | John C. Files | Animal training and tracking device having global positioning satellite unit |
| US7970476B2 (en) * | 2002-02-08 | 2011-06-28 | The Research Foundation Of The State University Of New York | Method and apparatus for guiding movement of a freely roaming animal through brain stimulation |
| CN100467087C (zh) * | 2005-09-30 | 2009-03-11 | 东北大学 | 可遥控运动行为的脑神经电刺激装置 |
| CN100515187C (zh) * | 2007-03-23 | 2009-07-22 | 浙江大学 | Bci动物实验***的脑神经电刺激/采集器 |
-
2018
- 2018-10-31 CN CN201811283293.3A patent/CN109262656B/zh active Active
- 2018-12-25 WO PCT/CN2018/123659 patent/WO2020087717A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1848951A (zh) * | 2006-03-09 | 2006-10-18 | 西安交通大学 | 一种集成视觉监控的多模式无线脑机交互装置 |
| WO2013057544A1 (en) * | 2011-10-21 | 2013-04-25 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | A method of calibrating and operating a direct neural interface system |
| CN104199446A (zh) * | 2014-09-18 | 2014-12-10 | 山东科技大学 | 机器人鸟飞行可控性测评***及测评方法 |
| CN107351080A (zh) * | 2017-06-16 | 2017-11-17 | 浙江大学 | 一种基于相机单元阵列的混合智能研究***及控制方法 |
Non-Patent Citations (1)
| Title |
|---|
| 杨俊卿 等: "基于新型多通道脑神经刺激遥控***的动物机器人研究", 《自然科学进展》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109675171A (zh) * | 2019-03-04 | 2019-04-26 | 中国科学院深圳先进技术研究院 | 动物刺激方法、装置、设备和存储介质 |
| CN110275532A (zh) * | 2019-06-21 | 2019-09-24 | 珠海格力智能装备有限公司 | 机器人的控制方法及装置、视觉设备的控制方法及装置 |
| CN110275532B (zh) * | 2019-06-21 | 2020-12-15 | 珠海格力智能装备有限公司 | 机器人的控制方法及装置、视觉设备的控制方法及装置 |
| CN113384234B (zh) * | 2021-07-08 | 2022-10-25 | 中山大学 | 动物三维视觉测量装置及方法 |
| CN113384234A (zh) * | 2021-07-08 | 2021-09-14 | 中山大学 | 动物三维视觉测量装置及方法 |
| CN113627256A (zh) * | 2021-07-09 | 2021-11-09 | 武汉大学 | 基于眨眼同步及双目移动检测的伪造视频检验方法及*** |
| CN113627256B (zh) * | 2021-07-09 | 2023-08-18 | 武汉大学 | 基于眨眼同步及双目移动检测的伪造视频检验方法及*** |
| CN114532242B (zh) * | 2022-02-16 | 2023-02-28 | 深圳市元疆科技有限公司 | 一种小型动物行为研究实验箱 |
| CN114532242A (zh) * | 2022-02-16 | 2022-05-27 | 深圳市元疆科技有限公司 | 一种小型动物行为研究实验箱 |
| CN115056235A (zh) * | 2022-05-27 | 2022-09-16 | 浙江大学 | 基于多模态融合定位的大鼠搜救机器人及搜救方法 |
| CN115056235B (zh) * | 2022-05-27 | 2023-09-05 | 浙江大学 | 基于多模态融合定位的大鼠搜救机器人及搜救方法 |
| CN115607143A (zh) * | 2022-11-10 | 2023-01-17 | 大连理工大学 | 一种基于无线实时姿态检测的脑机接口行为调控评价方法 |
| CN117310508A (zh) * | 2023-11-30 | 2023-12-29 | 山东科技大学 | 一种快速准确测量锂电池电变量的方法 |
| CN117310508B (zh) * | 2023-11-30 | 2024-02-27 | 山东科技大学 | 一种快速准确测量锂电池电变量的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020087717A1 (zh) | 2020-05-07 |
| CN109262656B (zh) | 2019-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109262656B (zh) | 一种基于机器视觉的动物机器人刺激参数测定***和方法 | |
| CN105354548B (zh) | 一种基于ImageNet检索的监控视频行人重识别方法 | |
| CN105740602B (zh) | 一种试验电磁信号环境构建方法及*** | |
| CN109635875A (zh) | 一种基于深度学习的端到端网口检测方法 | |
| CN111294565A (zh) | 一种智能化养猪监测方法和管理端 | |
| CN110211173A (zh) | 一种基于深度学习的古生物化石定位和识别方法 | |
| CN110222701A (zh) | 一种桥梁病害自动识别方法 | |
| CN107085696A (zh) | 一种基于卡口图像的车辆定位及型号识别方法 | |
| CN109377441A (zh) | 具有隐私保护功能的舌像采集方法和*** | |
| CN108921814A (zh) | 一种基于深度学习的柑橘黄龙病在线快速检测***及方法 | |
| CN107241572A (zh) | 学员实训视频追踪评价*** | |
| CN109859146A (zh) | 一种基于U-net卷积神经网络的彩色眼底图像血管分割方法 | |
| CN110348349A (zh) | 一种收集、分析猪行为视频数据的方法和*** | |
| CN109871911A (zh) | 无人机监测动物健康的方法和监测动物健康的无人机 | |
| CN109816636A (zh) | 一种基于智能终端的裂缝检测方法 | |
| CN108491830A (zh) | 一种基于深度学习的施工现场人员制服穿着识别的方法 | |
| CN109977768A (zh) | 一种闭环反馈式动物行为分析***、方法及装置 | |
| CN202050784U (zh) | 多路穿梭避暗视频分析*** | |
| CN104199446B (zh) | 机器人鸟飞行可控性测评***及测评方法 | |
| CN103345624A (zh) | 一种多通道脉冲耦合神经网络的加权特征人脸识别方法 | |
| CN110457989A (zh) | 基于卷积神经网络提取多维度扩展特征的稻田杂草识别方法 | |
| CN109657722A (zh) | 基于深度学习算法的舌苔图像识别方法及*** | |
| CN206948499U (zh) | 学员实训视频追踪监控、评价*** | |
| CN116580349A (zh) | 一种基于yolov7建筑工地安全帽佩戴检测方法 | |
| CN116798066A (zh) | 一种基于深度度量学习的羊只个体身份识别方法和*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |