CN113095268B - 一种基于视频流的机器人步态学习方法、***及存储介质 - Google Patents
一种基于视频流的机器人步态学习方法、***及存储介质 Download PDFInfo
- Publication number
- CN113095268B CN113095268B CN202110438406.8A CN202110438406A CN113095268B CN 113095268 B CN113095268 B CN 113095268B CN 202110438406 A CN202110438406 A CN 202110438406A CN 113095268 B CN113095268 B CN 113095268B
- Authority
- CN
- China
- Prior art keywords
- gait
- foot
- node
- coordinates
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005021 gait Effects 0.000 title claims abstract description 113
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013528 artificial neural network Methods 0.000 claims abstract description 27
- 238000013135 deep learning Methods 0.000 claims abstract description 22
- 239000011664 nicotinic acid Substances 0.000 claims abstract description 13
- 230000004044 response Effects 0.000 claims abstract description 13
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 210000000988 bone and bone Anatomy 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 206010034701 Peroneal nerve palsy Diseases 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 210000003414 extremity Anatomy 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 2
- 230000007797 corrosion Effects 0.000 claims description 2
- 230000003447 ipsilateral effect Effects 0.000 claims description 2
- 210000003141 lower extremity Anatomy 0.000 claims description 2
- 210000001364 upper extremity Anatomy 0.000 claims description 2
- 230000009471 action Effects 0.000 abstract description 4
- 238000010801 machine learning Methods 0.000 abstract description 4
- 230000007613 environmental effect Effects 0.000 description 5
- 210000002414 leg Anatomy 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Geometry (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种基于视频流的机器人步态学习方法、***及存储介质，该方法首先分别采集在不同环境下运动的四足生物的运动视频流，响应于关键帧图像，提取关键帧图像中的四足生物骨骼的关键像素点，利用神经网络对不同环境所对应的不同步态信息进行深度学习，识别视觉设备中当前帧图像的环境信息，根据步态信息中的足点坐标建立离散化步态模型，在离散化步态模型中求取四足仿生机器人运动时下一个落足点的足点坐标。本发明通过海量视频进行提取特征点，以获取骨骼动作，从而利用视频特征点数据进行稳定的仿生步态的机器学习。
Description
技术领域
本发明涉及机器人步态学习领域，具体涉及一种基于视频流的机器人步态学习方法、***及存储介质。
背景技术
在多足机器人的研究工作中，模仿人或生物的学习能力、进化能力和控制决策能力，赋予机器人智能，是机器人适应复杂环境、完成复杂作业任务、实施自身进化的必要条件，是当前和未来机器人研究领域的核心内容与重要方向。
当前图像识别领域的应用已经日趋成熟,流媒体本身由众多的数据帧组成,因此在图像识别技术成熟的基础之上应用到流媒体领域，无论从技术还是价值方面都有一定的积极价值，从应用的角度看,众多领域都存在显著需求。
现有技术中，公开号为CN112220650A的专利公开了一种外骨骼机器人对侧训练用在线步态生成控制***，包括健侧预运动数据采集模块、传感器信号采集与处理模块、健侧患侧数据转换模块和患侧步态修正模块；通过健侧预运动数据采集模块采集的数据建立步态相位标本集，通过传感器信号采集与处理模块采集健侧运动数据,健侧患侧数据转换模块结合健侧运动数据和步态相位标本集预测患侧运动数据,通过患侧步态修正模块对预测结果修正，最终得到患侧的髋关节直流伺服电机和患侧膝关节直流伺服电机的输出位置和插值时间。可见，传统的都是利用传感器采集数据从而对机器人进行训练，这样的训练方式智能化低，需要大量的传感器，工程量大，且训练效率低下，且不能够调整机器人运动时的稳定步态。
因此，提供一种通过海量视频进行提取特征点，以获取骨骼动作，从而利用视频特征点数据进行稳定的仿生步态的机器学习的基于视频流的机器人步态学习方法亟待解决。
发明内容
本发明实施例的目的在于提出了一种基于视频流的机器人步态学习方法、***及存储介质，来解决以上背景技术部分提到的技术问题。
第一方面，本发明提供了一种基于视频流的机器人步态学习方法，包括如下步骤：
S1，分别采集在不同环境下运动的四足生物的运动视频流，提取视频流中在不同环境下的关键帧图像；
S2，响应于提取关键帧图像，提取关键帧图像中的四足生物骨骼的关键像素点，其中，四足生物骨骼包括基节、股节和胫节，其中，关键像素点包括基节和股节连接的第一连接点、股节和胫节连接的第二连接点和连接于胫节的足点；
S3，响应于提取关键像素点，利用神经网络对不同环境对应的不同步态信息进行深度学习，其中，步态信息包括足点坐标X1、第一节点坐标X2、第二节点做坐标X3、表示第一连接点之间的距离的节距R、表示足点在周期内移动的距离的步距M、抬腿迈步时的第一连接点的位置坐标X4和步态周期T，步态周期T为同一足部相邻两次触地的时间间隔；
S4，识别视觉设备中当前帧图像的环境信息，基于深度学习的神经网络判断相应的步态信息，根据步态信息中的足点坐标建立离散化步态模型，在离散化步态模型中求取四足仿生机器人运动时下一个落足点的足点坐标。
进一步的，步骤S2具体为：对关键帧图像进行预处理，利用数学形态学方法提取预处理后的前景图像中的四足生物骨骼。
进一步的，关键帧图像预处理具体为：
S11，求取关键帧图像的像素平均值作为背景图像的像素，根据背景图像的像素识别视频流的当前帧的背景图像；
S12，响应于视频流的当前帧的背景图像，将视频流的当前帧与背景图像做灰度减运算处理获得前景图像，对灰度减运算处理的运算结果取绝对值；
S13，响应于获得前景图像，利用中值滤波算法对前景图像进行滤波处理；
S14，响应于前景图像的滤波处理，对前景图像进行二值化后膨胀腐蚀处理，对前景图像做归一化处理。
进一步的，根据步骤S3中足点坐标和节点坐标的求取方法为：响应于提取关键帧图像的前景图像的四足生物骨骼，求取前景图像的质心坐标，以四足生物骨骼中的离质心坐标最接近的骨骼点作为坐标原点，建立空间直角坐标系，在空间直接坐标系中分别求取不同环境下的第一节点、第二节点和足点的坐标。
进一步的，对神经网络的训练如下：采集视频流中环境信息和步态信息，所述环境信息形成数据集Y，步态信息形成数据集W(X1,X2,X3,R,M,T)，将数据集Y与数据集W建立对应的映射关系，神经网络接收数据集Y和数据集W进行深度学习得到函数F，Y＝F(W)。
进一步的，步骤S4中离散化步态模型的建立如下：在步距中***N个等距的步距离散点，其中N大于等于2，N个步距离散点在机器人空间直角坐标系中记为集合N1(N1n，N1n-1，N1n-2……N12)，与步距离散点沿纵轴对称的坐标点记为集合N2(N1n’，N1n-1’，N1n-2’……N12')，X1n和X1n’所在直线的方向记为支撑相，坐标X4与集合N2任意一点坐标的方向记为摆动相。
进一步的，步骤S4中离散化步态模型中求取四足仿生机器人运动时下一个落足点的足点坐标具体为：
将坐标X1分别记做和/>其中，为/>的同肢腿运动的下个足点坐标，其中,/>为左前肢足点坐标，/>为右前肢足点坐标，/>为左后肢足点坐标，/>为右后肢足点坐标；
利用sgn函数计算与坐标X1对应的足点稳定裕量
其中，N为步距离散点的个数，m的取值范围为0<m<2，V为四足机器人在步态周期为T时的运动速度。
进一步的，V的方程式为V＝(N-2)(U/T)，其中，U为单足步距M任意相邻两个离散点间的距离，与/>的关系为：
其中，random(1，2……n)为当所述S1i＜0时，继续在1～n范围内寻找直到计算出的S1i≥0。
第二方面，本发明提供了一种基于视频流的机器人步态学习***，
包括如下单元：
图像处理单元，配置于分别采集在不同环境下运动的四足生物的运动视频流，提取视频流中在不同环境下的关键帧图像；
图像骨骼信息提取单元，配置于响应于关键帧图像，提取关键帧图像中的四足生物骨骼的关键像素点，其中，四足生物骨骼包括基节、股节和胫节，其中，关键像素点包括基节和股节连接的第一连接点、股节和胫节连接的第二连接点和连接于胫节的足点；
神经网络单元，配置于响应于提取关键像素点，利用神经网络对不同环境对应的不同步态信息进行深度学习，其中，步态信息包括足点坐标X1、第一节点坐标X2、第二节点做坐标X3、表示第一连接点之间的距离的节距R、表示足点在周期内移动的距离的步距M、抬腿迈步时的第一连接点的位置坐标X4和步态周期T,步态周期T为同一足部相邻两次触地的时间间隔；
稳定步态计算单元，配置于识别视觉设备中当前帧图像的环境信息，基于深度学习的神经网络判断相应的步态信息，根据步态信息中的足点坐标建立离散化步态模型，在离散化步态模型中求取四足仿生机器人运动时下一个落足点的足点坐标。
第三方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本发明实施例提供的基于视频流的机器人步态学习方法、***及存储介质，该方法和***首先分别采集在不同环境下运动的四足生物的运动视频流，响应于提取关键帧图像，提取关键帧图像中的四足生物骨骼的关键像素点，利用神经网络对不同环境对应的不同步态信息进行深度学习，识别视觉设备中当前帧图像的环境信息，根据步态信息中的足点坐标建立离散化步态模型，在离散化步态模型中求取四足仿生机器人运动时下一个落足点的足点坐标。本发明通过海量视频进行提取特征点，以获取骨骼动作，利用神经网络深度学习的方法，具有高速寻找优化解的能力，进而利用视频特征点数据进行稳定的仿生步态的机器学习。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是基于视频流的机器人步态学习方法的一个实施例的整体流程图；
图2是基于视频流的机器人步态学习***的一个实施例的示意图；
图3是基于视频流的机器人步态学习方法的离散化步态模型的示意图；
图4是基于视频流的机器人步态学习***的示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
请参考图1，本发明实施例提供了一种基于视频流的机器人步态学习方法，包括如下步骤：
步骤S101，分别采集在不同环境下运动的四足生物的运动视频流，提取视频流中在不同环境下的关键帧图像，其中，不同环境包括平坦水平面、平坦坡面、崎岖水平面和崎岖坡面；
在本实施例中，可以提取四足生物运动一个周期的图像作为关键帧图像，可以采用运动分析的方法提取关键帧，从视频设备中获取视频流，分析物体运动的光流量，每次选择视频镜头中光流移动次数最少的视频帧作为提取到的关键帧。这样可以从大部分视频镜头中提取适量的关键帧，提取到的关键帧也可以有效地表达出视频运动的特征。
步骤S102，响应于提取关键帧图像，提取关键帧图像中的四足生物骨骼的关键像素点，其中，四足生物骨骼包括基节、股节和胫节，其中，关键像素点包括基节和股节连接的第一连接点、股节和胫节连接的第二连接点和连接于胫节的足点；
在本实施例中，生物骨骼关键点对于描述生物姿态，预测生物行为至关重要。因此生物骨骼关键点检测是诸多计算机视觉任务的基础，例如动作分类，异常行为检测，因此获取四足生物骨骼的关键像素点对研究四足生物的步态极为重要。
步骤S103，响应于提取关键像素点，利用神经网络对不同环境对应的不同步态信息进行深度学习，其中，步态信息包括足点坐标X1、第一节点坐标X2、第二节点做坐标X3、表示第一连接点之间的距离的节距R、表示足点在周期内移动的距离的步距M、抬腿迈步时的第一连接点的位置坐标X4和步态周期T，步态周期T为同一足部相邻两次触地的时间间隔；
在本实施例中，可以利用卷积神经网络对不同环境下的生物的步态进行深度学习，深度学习是机器学习的一种，而机器学习是实现人工智能的必经路径。深度学习的概念源于人工神经网络的研究，含多个隐藏层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。
步骤S104，识别视觉设备中当前帧图像的环境信息，基于深度学习的神经网络判断相应的步态信息，根据步态信息中的足点坐标建立离散化步态模型，在离散化步态模型中求取四足仿生机器人运动时下一个落足点的足点坐标，以获得更加稳定的足点坐标。
在本实施例中，四足机器人在实际运动时，可以通过自身的视觉设备获取当前帧图像，并识别当前所处的环境，利用神经网络计算计算应做出的相应步态的相关信息，自身中的控制单元可以根据神经网络中的步态信息控制四肢运动的位置，并在运动中离散化步态信息中的布距，进而判断落足是否满足稳定的状态，若没有则通过离散化模型进行调整。
进一步的，关键帧图像预处理的具体步骤如下：
步骤S201，求取关键帧图像的像素平均值作为背景图像的像素，根据背景图像的像素识别视频流的当前帧的背景图像；
步骤S202，响应于视频流的当前帧的背景图像，将视频流的当前帧与背景图像做灰度减运算处理获得前景图像，对灰度减运算处理的运算结果取绝对值；即视频流的当前帧的灰度值减去背景图像灰度值的结果取绝对值；
步骤S203，响应于获得前景图像，利用中值滤波算法对前景图像进行滤波处理；
步骤S204，响应于前景图像的滤波处理，对前景图像进行二值化后膨胀腐蚀处理，对前景图像做归一化处理。
在本实施例中，将当前获取的图像帧与背景图像做减运算，得到目标运动区域的灰度图，对灰度图进行阈值化提取运动区域，而且为避免环境光照变化影响，背景图像根据当前获取图像帧进行更新。算法比较简单，克服了环境光线的影响。
响应于前景图像的归一化处理，利用数学形态学方法提取归一化处理后的前景图像中的四足生物骨骼，并获取四足生物骨骼的关键像素点，其中，四足生物骨骼包括基节、股节和胫节。归一化处理包括获取图像的较小外接举行框，除去过多与前景图形无关的背景信息。
在本实施例中，数学形态学方法具体为：将多足生物的骨骼图像进行三维重建，获得骨骼的关键像素点。多足生物的骨骼二维图像边缘提取是三维重建的第一步，获得二维边界坐标，再通过三维插值得到重建的肯骼图像。
首先，对多足生物的骨骼二维图像边缘提取获得由连续、封闭的边缘线构成的骨骼轮廓，基于所述骨骼轮廓对骨骼图像进行三维重建。多足生物的骨骼包覆在皮肤、肌肉等组织之内，由于构成成分不同，骨骼与其他生物组织以及背景在骨骼图像上表现出不同的灰度值，图像中的边缘即为灰度的局部极值点或灰度发生急剧变化的点的集合。可以用非线性小波边缘检测或神经网络边缘检测算法。
请参考图2，响应于提取前景图像的四足生物骨骼，求取前景图像的质心坐标，以四足生物骨骼中的离质心坐标最接近的骨骼点作为坐标原点，建立空间直角坐标系，在空间直接坐标系中分别求取不同环境下的第一节点、第二节点和足点的坐标。
根据第一连接点、第二连接连接点和足点的坐标进一步求取视频流中四足生物在不同环境下的步态，步态包括足点坐标X1、第一节点坐标X2、第二节点做坐标X3、节距R、步距M、抬腿时第二关节位置坐标X4，和步态周期T，步态周期T为同一足部相邻两次触地的时间间隔；
采集视频流中环境信息和步态信息，环境信息形成数据集Y，步态信息形成数据集W(X1,X2,X3,R,M,T)，将数据集Y与数据集W建立对应的映射关系，二者的关系以函数F表示：Y＝F(W)。
在本实施例中，环境信息的识别利用景物图像的外观信息,如色彩、纹理等全局特征进行环境识，在得到环境图像后,为进行学习,机器人首先由人操作或自动地在工作环境中漫游,并获取该环境的大量图像序列。然后进行手动或自动地环境分类与学习,并通常手工进行分类标记。在环境分类与学习方面主要使用的技术有多维直方图、主成分分析等方法。
在本实施例中，四足机器人通过视觉设备获取运动状态下的环境状态信息，利用神经网络学习获得相应的步态以调整四足的足点位置，将在骨骼图下的空间直接坐标转换为机器人空间直角坐标系。
请继续参考图3，建立离散化步态模型，在步距M中***N个等距的步距离散点，其中N大于等于2，N个步距离散点在机器人空间直角坐标系中记为集合N1(N1n，N1n-1，N1n-2……N12)，与步距离散点沿纵轴对称的坐标点记为集合N2(N1n’，N1n-1’，N1n-2’……N12')，X1n到X1n’的方向记为支撑相，坐标X4与集合N2任意一点坐标的方向记为摆动相；
基于离散化步态模和步态周期T，计算四足机器人的运动速度V＝(N-2)(U/T)其中，U为单足步距M任意相邻两个离散点间的距离；
将坐标X1分别记做和/> 为的同支腿的下个足点坐标，其中,/>为左前支足点坐标，/>为右前支足点坐标，/>为左后支足点坐标，/>为右后支足点坐标；
利用sgn函数计算与坐标X1对应的足点稳定裕量其中，Sgn函数为软件OpenAI里的库函数。
S1i＝[sgn(N+m-X1i-V)+1]/2,其中，N为步距离散点的个数，m的取值范围为0<m<2，V为四足机器人在步态周期为T时的运动速度；
与/>的关系为：
当稳定裕量S的值大于等于零时，足点的一个位置坐标为目前的坐标中下x，y，Z都加上V*T得到下一个位置坐标，如果稳态裕量的值小于零，则搜索1～n的值直到稳定裕量S的值大于零。
请参考图4，图4为基于视频流的机器人步态学习***，包括：
图像处理单元501，配置于分别采集在不同环境下运动的四足生物的运动视频流，提取视频流中在不同环境下的关键帧图像，其中，不同环境包括平坦水平面、平坦坡面、崎岖水平面和崎岖坡面；
图像骨骼信息提取单元502，配置于响应于关键帧图像，提取关键帧图像中的四足生物骨骼的关键像素点，其中，四足生物骨骼包括基节、股节和胫节，其中，关键像素点包括基节和股节连接的第一连接点、股节和胫节连接的第二连接点和连接于胫节的足点；
神经网络单元503，配置于响应于提取关键像素点，利用神经网络对不同环境对应的不同步态信息进行深度学习，其中，步态信息包括足点坐标X1、第一节点坐标X2、第二节点做坐标X3、表示第一连接点之间的距离的节距R、表示足点在周期内移动的距离的步距M、抬腿迈步时的第一连接点的位置坐标X4和步态周期T,步态周期T为同一足部相邻两次触地的时间间隔；
稳定步态计算单元504，配置于识别视觉设备中当前帧图像的环境信息，基于深度学习的神经网络判断相应的步态信息，根据步态信息中的足点坐标建立离散化步态模型，在离散化步态模型中求取四足仿生机器人运动时下一个落足点的足点坐标，以获得更加稳定的足点坐标。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上集成的电子设备；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行本实施例中介绍的基于视频流的机器人步态学习方法的相关步骤。
需要说明的是，上述基于视频流的机器人步态学习方法、基于视频流的机器人步态学习***及计算机可读存储介质属于一个总的发明构思，其内容可相互适用。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种基于视频流的机器人步态学习方法，其特征在于，包括如下步骤：
S1，分别采集在不同环境下运动的四足生物的运动视频流，提取所述视频流中在所述不同环境下的关键帧图像；
S2，响应于提取所述关键帧图像，提取所述关键帧图像中的四足生物骨骼的关键像素点，其中，所述四足生物骨骼包括基节、股节和胫节，其中，所述关键像素点包括所述基节和所述股节连接的第一连接点、所述股节和所述胫节连接的第二连接点和连接于所述胫节的足点；
S3，响应于提取所述关键像素点，利用神经网络对所述不同环境对应的不同步态信息进行深度学习，其中，所述步态信息包括足点坐标X1、第一节点坐标X2、第二节点做坐标X3、表示第一连接点之间的距离的节距R、表示足点在周期内移动的距离的步距M、抬腿迈步时的第一连接点的位置坐标X4和步态周期T，所述步态周期T为同一足部相邻两次触地的时间间隔；
S4，识别视觉设备中当前帧图像的环境信息，基于所述深度学习的神经网络判断相应的步态信息，根据所述步态信息中的足点坐标建立离散化步态模型，在所述离散化步态模型中求取四足仿生机器人运动时下一个落足点的足点坐标。
2.根据权利要求1所述的基于视频流的机器人步态学习方法，其特征在于，步骤S2具体为：对所述关键帧图像进行预处理，利用数学形态学方法提取预处理后的前景图像中的四足生物骨骼。
3.根据权利要求2所述的基于视频流的机器人步态学习方法，其特征在于，所述关键帧图像预处理具体为：
S11，求取所述关键帧图像的像素平均值作为背景图像的像素，根据所述背景图像的像素识别所述视频流的当前帧的背景图像；
S12，响应于所述视频流的当前帧的背景图像，将所述视频流的当前帧与所述背景图像做灰度减运算处理获得前景图像，对所述灰度减运算处理的运算结果取绝对值；
S13，响应于所述获得前景图像，利用中值滤波算法对所述前景图像进行滤波处理；
S14，响应于所述前景图像的滤波处理，对所述前景图像进行二值化后膨胀腐蚀处理，对所述前景图像做归一化处理。
4.根据权利要求1所述的基于视频流的机器人步态学习方法，其特征在于，根据所述S3中所述足点坐标和所述节点坐标的求取方法为：响应于提取所述关键帧图像的前景图像的四足生物骨骼，求取所述前景图像的质心坐标，以所述四足生物骨骼中的离所述质心坐标最接近的骨骼点作为坐标原点，建立空间直角坐标系，在所述空间直接坐标系中分别求取所述不同环境下的所述第一节点、所述第二节点和所述足点的坐标。
5.根据权利要求1所述的基于视频流的机器人步态学习方法，其特征在于，对所述神经网络的训练如下：采集所述视频流中环境信息和步态信息，所述环境信息形成数据集Y，所述步态信息形成数据集W(X1,X2,X3,R,M,T)，将所述数据集Y与所述数据集W建立对应的映射关系，所述神经网络接收所述数据集Y和所述数据集W进行深度学习得到函数F，Y＝F(W)。
6.根据权利要求1所述的基于视频流的机器人步态学习方法，其特征在于，所述S4中离散化步态模型的建立如下：在所述步距中***N个等距的步距离散点，其中N大于等于2，所述N个步距离散点在所述机器人空间直角坐标系中记为集合N1(N1n，N1n-1，N1n-2……N12)，与所述步距离散点沿纵轴对称的坐标点记为集合N2(N1n’，N1n-1’，N1n-2’……N12')，X1n和X1n’所在直线的方向记为肢撑相，坐标X4与集合N2任意一点坐标的方向记为摆动相。
7.根据权利要求1所述的基于视频流的机器人步态学习方法，其特征在于，所述S4中所述离散化步态模型中求取四足仿生机器人运动时下一个落足点的足点坐标具体为：
将坐标X1分别记做和/>其中，/>为/>的同肢腿运动的下个足点坐标，其中,/>为左前肢足点坐标，/>为右前肢足点坐标，为左后肢足点坐标，/>为右后肢足点坐标；
利用sgn函数计算与所述坐标X1对应的足点稳定裕量
S1i＝[sgn(N+m-X1i-V)+1]/2,其中，N为步距离散点的个数，m的取值范围为0<m<2，V为四足机器人在步态周期为T时的运动速度。
8.根据权利要求7所述的基于视频流的机器人步态学习方法，其特征在于，所述V的方程式为V＝(N-2)(U/T)，其中，所述U为单足步距M中任意相邻两个离散点间的距离，所述与/>的关系为：/>
其中，random(1，2......n)为当所述S1i＜0时，继续在1～n范围内寻找直到计算出的S1i≥0。
9.一种基于视频流的机器人步态学习***，其特征在于，包括如下单元：
图像处理单元，配置于分别采集在不同环境下运动的四足生物的运动视频流，提取所述视频流中在所述不同环境下的关键帧图像；
图像骨骼信息提取单元，配置于响应于所述关键帧图像，提取所述关键帧图像中的四足生物骨骼的关键像素点，其中，所述四足生物骨骼包括基节、股节和胫节，其中，所述关键像素点包括所述基节和所述股节连接的第一连接点、所述股节和所述胫节连接的第二连接点和连接于所述胫节的足点；
神经网络单元，配置于响应于提取所述关键像素点，利用神经网络对所述不同环境对应的不同步态信息进行深度学习，其中，所述步态信息包括足点坐标X1、第一节点坐标X2、第二节点做坐标X3、表示第一连接点之间的距离的节距R、表示足点在周期内移动的距离的步距M、抬腿迈步时的第一连接点的位置坐标X4和步态周期T,所述步态周期T为同一足部相邻两次触地的时间间隔；
稳定步态计算单元，配置于识别视觉设备中当前帧图像的环境信息，基于所述深度学习的神经网络判断相应的步态信息，根据所述步态信息中的足点坐标建立离散化步态模型，在所述离散化步态模型中求取四足仿生机器人运动时下一个落足点的足点坐标。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110438406.8A CN113095268B (zh) | 2021-04-22 | 2021-04-22 | 一种基于视频流的机器人步态学习方法、***及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110438406.8A CN113095268B (zh) | 2021-04-22 | 2021-04-22 | 一种基于视频流的机器人步态学习方法、***及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113095268A CN113095268A (zh) | 2021-07-09 |
| CN113095268B true CN113095268B (zh) | 2023-11-21 |
Family
ID=76679780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110438406.8A Active CN113095268B (zh) | 2021-04-22 | 2021-04-22 | 一种基于视频流的机器人步态学习方法、***及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113095268B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113688701B (zh) * | 2021-08-10 | 2022-04-22 | 江苏仁和医疗器械有限公司 | 一种基于计算机视觉的面瘫检测方法及*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017133009A1 (zh) * | 2016-02-04 | 2017-08-10 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
| WO2019032622A1 (en) * | 2017-08-07 | 2019-02-14 | The Jackson Laboratory | BEHAVIORAL ANIMAL BEHAVIORAL SURVEILLANCE CONTINUES |
| CN110801233A (zh) * | 2019-11-05 | 2020-02-18 | 上海电气集团股份有限公司 | 一种人体步态监测方法及装置 |
| CN111027432A (zh) * | 2019-12-02 | 2020-04-17 | 大连理工大学 | 基于步态特征的视觉跟随机器人方法 |
-
2021
- 2021-04-22 CN CN202110438406.8A patent/CN113095268B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017133009A1 (zh) * | 2016-02-04 | 2017-08-10 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
| WO2019032622A1 (en) * | 2017-08-07 | 2019-02-14 | The Jackson Laboratory | BEHAVIORAL ANIMAL BEHAVIORAL SURVEILLANCE CONTINUES |
| CN110801233A (zh) * | 2019-11-05 | 2020-02-18 | 上海电气集团股份有限公司 | 一种人体步态监测方法及装置 |
| CN111027432A (zh) * | 2019-12-02 | 2020-04-17 | 大连理工大学 | 基于步态特征的视觉跟随机器人方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于神经网络的四足机器人运动目标检测;吴宝江;张怡;;数字技术与应用(第11期);全文 * |
| 基于视频的步态特征提取技术及其应用;郭建林;高原;;电脑知识与技术(第S2期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113095268A (zh) | 2021-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111126272B (zh) | 姿态获取方法、关键点坐标定位模型的训练方法和装置 | |
| Rodríguez et al. | Agents and computer vision for processing stereoscopic images | |
| CN111160294B (zh) | 基于图卷积网络的步态识别方法 | |
| CN113658211B (zh) | 一种用户姿态的评估方法、装置以及处理设备 | |
| CN110427900A (zh) | 一种智能指导健身的方法、装置和设备 | |
| CN113095268B (zh) | 一种基于视频流的机器人步态学习方法、***及存储介质 | |
| Seo et al. | A yolo-based separation of touching-pigs for smart pig farm applications | |
| CN110543817A (zh) | 基于姿势指导特征学习的行人再识别方法 | |
| Zhang et al. | Directional PointNet: 3D environmental classification for wearable robotics | |
| CN108664942A (zh) | 小鼠视频多维特征值的提取方法及视频分类方法 | |
| CN115346272A (zh) | 基于深度图像序列的实时摔倒检测方法 | |
| CN113177564B (zh) | 一种计算机视觉猪只关键点识别方法 | |
| CN113033501A (zh) | 一种基于关节四元数的人体分类方法及装置 | |
| CN112001240B (zh) | 活体检测方法、装置、计算机设备和存储介质 | |
| CN113920020B (zh) | 一种基于深度生成模型的人体点云实时修复方法 | |
| Kuang et al. | An effective skeleton extraction method based on Kinect depth image | |
| CN114596632A (zh) | 基于架构搜索图卷积网络的中大型四足动物行为识别方法 | |
| Ramasamy et al. | Object detection and tracking in video using deep learning techniques: A review | |
| WO2005125210A1 (en) | Methods and apparatus for motion capture | |
| CN113255514A (zh) | 基于局部场景感知图卷积网络的行为识别方法 | |
| Hazra et al. | A pilot study for investigating gait signatures in multi-scenario applications | |
| Zhang et al. | Recent development in human motion and gait prediction | |
| Zelman et al. | Nearly automatic motion capture system for tracking octopus arm movements in 3D space | |
| Marfil et al. | A novel hierarchical framework for object-based visual attention | |
| Xiong et al. | Enhancing Human Motion Prediction through Joint-based Analysis and AVI Video Conversion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |