CN107230219A - 一种单目机器人上的目标人发现与跟随方法 - Google Patents
一种单目机器人上的目标人发现与跟随方法 Download PDFInfo
- Publication number
- CN107230219A CN107230219A CN201710309607.1A CN201710309607A CN107230219A CN 107230219 A CN107230219 A CN 107230219A CN 201710309607 A CN201710309607 A CN 201710309607A CN 107230219 A CN107230219 A CN 107230219A
- Authority
- CN
- China
- Prior art keywords
- pixel
- super
- mrow
- target
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明属于计算机图像处理技术领域，具体为一种单目机器人上的目标人发现与跟随方法。本发明步骤包括：机器人同时定位和建图，运动帧与运动区域检测，在运动帧的运动区域进行视觉目标检测，视觉目标人追踪，视觉目标人跟随。本发明利用机器人移动过程中的场景变化检测来分析需要进行目标检测的区域，利用深度网络进行室内人的检测，利用视觉追踪算法对目标进行追踪，并控制机器人进行主动跟随。本发明基于对象视觉特征，结合机器人同时定位和见图过程对场景的估计，能够对室内目标人进行有效的发现和跟随。本发明能够在多样的图像和复杂的背景下，在室内场景对目标人进行有效的发现、追踪与跟随。
Description
技术领域
本发明属于计算机图像处理技术领域，具体涉及一种单目机器人上的目标人发现与跟随方法。
背景技术
随着服务机器人得到越来越多的研究和应用。如何在室内环境下的低成本轮式单目机器人上实现对人的有效准确的发现和跟随也是目前的研究热点之一。服务机器人在对人进行发现和跟随的基础上，可以为人提供具体的服务，提高人们的生活品质。
利用计算机视觉的技术进行目标人的发现和主动跟随是一个非常具有挑战性的工作。首先，我们需要在机器人运动过程中采集的图像上进行场景变化的分析，以确定需要检测的图像帧和区域。在图像的变化区域进行目标检测来发现目标位置。在获取目标位置之后，目标追踪算法对目标持续进行追踪，并为机器人主动跟随提供方向信息。
在机器人上进行视觉目标人的发现和跟随，通常过程就是从图像中检测人的位置，并对目标人进行持续的视觉追踪，使用视觉追踪的结果来控制机器人前进的方向。这个过程中目标人的检测算法运行速度快慢，视觉目标人的追踪算法的鲁棒性、高效性和适应性均是相关研究领域的热点。由于较好的目标检测算法一般不能够达到实时应用，所以出现了很多对于场景变化进行研究的成果。总体而言，视觉目标人检测算法的研究和视觉目标人追踪的研究中，视觉特征的选取和设计表现了由低到高，即从底层特征向高层特征特征过度的趋势。底层特征通常没有包含与目标整体相关的语义信息，一些常用的底层特征例如：颜色特征、纹理特征、形状特征等。高层特征在考虑了目标的整体特点之后，对底层的特征进行组合。
到目前为止，很多研究者提出了许多的基于计算机视觉的目标检测算法。比如，有的研究者利用图像的纹理信息，统计直方图作为特征来训练一个分类模型。有的研究者利用图像的随机区域内的灰度作为特征，使用带有特征选择能力的分类器建立分类模型。很多研究者提出了许多的基于计算机视觉的目标追踪算法。比如，有的研究者利用图像区域内的灰度值，提取压缩感知特征来表示目标的位置。在视觉目标追踪对于图像信息的利用这个层面来讲，以往的工作主要集中在使用更高级的模型来从图像中提取目标的信息。
发明内容
本发明的目的在于提供一种能够提供鲁棒的、高效的、准确的、适应性强的基于计算机视觉的室内低成本轮式单目机器人上的目标发现和跟随方法。
本发明提供的基于计算机视觉的室内低成本轮式单目机器人上的目标发现和跟随方法，利用机器人移动过程中的场景变化检测来分析需要进行目标检测的区域，利用深度网络进行室内人的检测，利用视觉追踪算法对目标进行追踪，并控制机器人进行主动跟随。
本发明提出的基于计算机视觉的室内低成本轮式单目机器人上的目标发现和跟随方法，是基于对象视觉特征，结合机器人同时定位和见图过程对场景的估计，能够对室内目标人进行有效的发现和跟随。在多样的图像和复杂的背景下，该方法能够较为准确地在室内发现人并且控制机器人跟随人。其具体步骤如下：
(1)机器人同时定位和建图；
(2)运动帧与运动区域检测；
(3)在运动帧的运动区域进行视觉目标检测；
(4)视觉目标人追踪；
(5)视觉目标人跟随；
其中：
步骤(2)所述运动帧与运动区域检测，具体过程如下：
(21)对于机器人运动过程中所经过的关键场景，采样关键场景前后位置图像及关键帧图像进行超像素分割。提取将第t帧图像进行超像素分割，得到Nt个超像素。每个超像素sp(t，r)(t＝1，...，m，r＝1，...，Nt)由一个特征向量来表示；
(22)在HSI空间中对超像素的HS通道信息进行聚类，建立场景模型。使用meanshift聚类算法对特征池进行聚类，得到n个聚类。每个聚类clst(i)(i＝1，...，n)由聚类中心fc(i)和聚类半径rc(i)表示；
(23)在获取到新的图像帧之后，选取场景模型来分析该帧是否包含运动区域；
步骤(3)所述在运动帧的运动区域进行视觉目标人检测，具体过程如下：
(31)使用训练图片及其中的目标位置来训练深度神经网络，得到目标检测模型；
(32)在运动帧的运动区域使用分类器对图像帧进行检测，得到目标位置。
步骤(4)所述视觉目标人追踪，具体过程如下：
(41)将每个初始帧进行超像素分割，聚类，得到目标人表观模型；
(42)对新的图像帧使用表观模型和地图点信息得到目标位置；
(46)每追踪一定数量的图像帧之后，更新表观模型；
步骤(5)所述视觉目标人跟随，具体过程如下：
(51)计算步骤(42)得到的目标位置的水平中心位置；
(52)控制机器人移动，使得目标人位于机器人采集的图像水平中心位置；
步骤(23)中所述的选取场景模型来分析该帧是否包含运动区域，具体过程如下：
(231)选取该图像帧采集时机器人位置最为相似的关键场景，获取对应场景下的场景模型。
(232)将该图像帧进行超像素分割，得到N个超像素。每个超像素sp(r)(r＝1，...，N)由一个特征向量fr来表示；
(233)计算该帧中的超像素sp(r)和对应场景下场景模型的超像素点sp(t，r)之间的距离，选取距离最近的点所在的聚类为该帧中超像素sp(r)的类别。距离计算公式如下：
(234)依据超像素和对应的聚类中心之间的距离来计算该每个超像素属于变化区域的概率,概率计算公式如下：
超像素r属于聚类i
其中,参数rc(i)代表了clst(i)在特征空间中的聚类半径，λd是一个归一化项(在实验中设置为2)。综合考虑超像素sp(r)所属于的聚类，以及和对应的聚类中心之间的距离，得出该超像素的目标置信度值将每个超像素所对应的像素位置属于变化区域的概率设置为得到概率图。如果则认为该超像素为变化区域；
(235)分析概率图中联通的属于变化区域的尺寸大小，如果大于阈值则认为该区域为潜在目标人区域，选取周围的部分为潜在目标人位置；
步骤(41)中所述将每个初始帧进行超像素分割，聚类，得到目标人表观模型，具体过程如下：
(411)将第t帧中的目标周围区域进行超像素分割，得到Nt个超像素。每个超像素sp(t，r)(t＝1，...，m，r＝1，...，Nt)由一个特征向量来表示；
(412)使用meanshift聚类算法对特征池进行聚类，得到n个聚类。每个聚类clst(i)(i＝1，...，n)由聚类中心fc(i)和聚类半径rc(i)表示；
(413)每个clst(i)对应于训练帧中的图像区域S(i),对每个clst(i)计算两个得分，S+(i),S-(i)。前一个分数表示聚类面积S(i)和目标区域的交集大小，后面一个分数表示聚类面积S(i)在目标区域外的大小。S+(i)/S-(i)的值越大，在训练帧中区域S(i)属于目标的可能性越大。我们给每个聚类一个介于[1,-1]之间的打分来代表每个聚类的前景-背景置信度，记为其中特征表示使用归一化的HSI颜色空间直方图。sp代表super pixel(超像素),clst代表cluster(聚类)；
步骤(42)中所述对新的图像帧使用表观模型和地图点信息得到目标位置，具体过程如下：
(421)当新的图像帧到达的时候，首先在前一帧的目标区域周围提取一个搜索区域，并且分割为Nt个超像素。
(422)聚类到目标人表观模型，依据所属于的聚类中心属性进行打分，得到置信度图，公式如下；
其中,w(r，i)表示基于特征(第t帧中第r个超像素sp(t，r)的特征)和fc(i)(sp(t，r)属于的聚类的特征中心)的权重。参数rc(i)表示clst(i)在特征空间中的聚类半径，λd是一个归一化项(在试验中设置为2)。综合考虑超像素sp(t，r)所属于的聚类，以及和对应的聚类中心之间的聚类，得出该超像素的置信度值
对于整个图像帧，通过以下步骤得到每个像素的置信值。对于搜索区域内每个属于超像素sp(t，r)的像素打分为对于搜索领域之外的像素打分为-1。
(423)地图点打分，公式如下：
如果sp(t,r)和地图点k相邻
n(t，k)代表图像帧t中地图点k的共见次数。
(424)表观模型的得分和地图点的得分通过求均值的方式进行融合，融合的位置仅限地图点周围的超像素，没有地图点的超像素的打分仅由表观模型决定，公式如下：
(425)选择属于目标的得分最高的区域为目标位置；
(426)调整将地图点所在超像素属于目标人的概率，以备表观模型更新。
与现有技术相比，本发明的有益效果为：
1、对于关键场景进行建模，降低了目标人检测算法的调用此时，减少机器人在运行时候的卡顿现象；
2、在家用机器人追踪目标的应用场景下，整合图像帧中的图像表观和地图点信息，调整当前帧搜索区域属于目标的置信度，提升目标定位的效果、提供可靠的遮挡判定、矫正错误分类的图像区域，减少目标错误定位将背景信息误认为是目标，控制目标表观模型漂移。面对经常出现的长期部分遮挡，光线变化，目标尺度变化等问题时，本文提出的算法相对于未利用地图点信息的算法而言效果更好；
3、本发明可在低成本轮式单目机器人上对室内人进行高效的发现和跟随，以便机器人为人提供服务。
附图说明
图1为本发明的新型单目机器人上的目标人发现与跟随算法的总流程框图。
图2为步骤(23)所述的获取潜在目标人区域的流程图。
图3为图2步骤(234)所得到的变化概率结果图和分割显示。
图4为步骤(41)所述的将每个初始帧进行超像素分割，聚类，得到目标人表观模型的流程图。
图5为步骤(42)所述的对新的图像帧使用表观模型和地图点信息得到目标位置的流程图。
图6为图5步骤(425)视觉目标追踪算法过程中的分割，置信度和最终得到的目标位置。
图7为整体的机器人跟随过程截图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明。
参照图1，新型单目机器人上的目标人发现与跟随方法，其具体步骤如下：
(1)机器人同时定位和建图；
(2)运动帧与运动区域检测，具体步骤如下；
(21)对于机器人运动过程中所经过的关键场景，采样关键场景前后位置图像及关键帧图像进行超像素分割。提取将第t帧图像进行超像素分割，得到Nt个超像素。每个超像素sp(t，r)(t＝1，...，m，r＝1，...，Nt)由一个特征向量来表示；
(22)在HSI空间中对超像素的HS通道信息进行聚类，建立场景模型。使用meanshift聚类算法对特征池进行聚类，得到n个聚类。每个聚类clst(i)(i＝1，...，n)由聚类中心fc(i)和聚类半径rc(i)表示；
(23)在获取到新的图像帧之后，选取场景模型来分析该帧是否包含运动区域，具体步骤为(参见图2所示):
(231)选取该图像帧采集时机器人位置最为相似的关键场景，获取对应场景下的场景模型；
(232)将该图像帧进行超像素分割，得到N个超像素。每个超像素sp(r)(r＝1，...，N)由一个特征向量fr来表示；
(233)计算该帧中的超像素sp(r)和对应场景下场景模型的超像素点sp(t，r)之间的距离，选取距离最近的点所在的聚类为该帧中超像素sp(r)的类别。距离计算公式如下：
(234)依据超像素和对应的聚类中心之间的距离来计算该每个超像素属于变化区域的概率,概率计算公式如下：
其中参数rc(i)代表了clst(i)在特征空间中的聚类半径，λd是一个归一化项(在实验中设置为2)。综合考虑超像素sp(r)所属于的聚类，以及和对应的聚类中心之间的距离，得出该超像素的目标置信度值将每个超像素所对应的像素位置属于变化区域的概率设置为得到概率图。如果则认为该超像素为变化区域；
(235)分析概率图中联通的属于变化区域的尺寸大小，如果大于阈值则认为该区域为潜在目标人区域，选取周围的部分为潜在目标人位置。图3表示场景变化检测的结果；
步骤(3)所述在运动帧的运动区域进行视觉目标人检测，具体过程如下：
(31)使用训练图片及其中的目标位置来训练深度神经网络，得到目标检测模型；
(32)在运动帧的运动区域使用分类器对图像帧进行检测，得到目标位置。
步骤(4)所述视觉目标人追踪，具体过程如下：
(41)将每个初始帧进行超像素分割，聚类，得到目标人表观模型，具体步骤为(参见图4所示):
(411)将第t帧中的目标周围区域进行超像素分割，得到Nt个超像素。每个超像素sp(t，r)(t＝1，...，m，r＝1，...，Nt)由一个特征向量来表示；
(412)使用meanshift聚类算法对特征池进行聚类，得到n个聚类。每个聚类clst(i)(i＝1，...，n)由聚类中心fc(i)和聚类半径rc(i)表示；
(413)每个clst(i)对应于训练帧中的图像区域S(i),对每个clst(i)计算两个得分，S+(i),S-(i)。前一个分数表示聚类面积S(i)和目标区域的交集大小，后面一个分数表示聚类面积S(i)在目标区域外的大小。S+(i)/S-(i)的值越大，在训练帧中区域S(i)属于目标的可能性越大。我们给每个聚类一个介于[1,-1]之间的打分来代表每个聚类的前景-背景置信度，记为其中特征表示使用归一化的HSI颜色空间直方图。sp代表super pixel(超像素),clst代表cluster(聚类)；
(42)对新的图像帧使用表观模型和地图点信息得到目标位置，具体步骤为(参见图5所示):
(421)当新的图像帧到达的时候，首先在前一帧的目标区域周围提取一个搜索区域，并且分割为Nt个超像素。
(422)聚类到目标人表观模型，依据所属于的聚类中心属性进行打分，得到置信度图，公式如下；
其中w(r，i)表示基于特征(第t帧中第r个超像素sp(t，r)的特征)和fc(i)(sp(t，r)属于的聚类的特征中心)的权重。参数rc(i)表示clst(i)在特征空间中的聚类半径，λd是一个归一化项(在试验中设置为2)。综合考虑超像素sp(t，r)所属于的聚类，以及和对应的聚类中心之间的聚类，得出该超像素的置信度值
对于整个图像帧，通过以下步骤得到每个像素的置信值。对于搜索区域内每个属于超像素sp(t，r)的像素打分为对于搜索领域之外的像素打分为-1。
(423)地图点打分，公式如下：
如果sp(t,r)和地图点k相邻
n(t，k)代表图像帧t中地图点k的共见次数。
(424)表观模型的得分和地图点的得分通过求均值的方式进行融合，融合的位置仅限地图点周围的超像素，没有地图点的超像素的打分仅由表观模型决定，公式如下：
(425)选择属于目标的得分最高的区域为目标位置。图6为追踪结果；
(426)调整将地图点所在超像素属于目标人的概率，以备表观模型更新。
(43)每追踪一定数量的图像帧之后，更新表观模型；
步骤(5)所述视觉目标人跟随，具体过程如下：
(51)计算步骤(42)得到的目标位置的水平中心位置；
(52)控制机器人移动，使得目标人位于机器人采集的图像水平中心位置。
整体的机器人跟随过程图如图7所示。
Claims (4)
1.一种单目机器人上的目标人发现与跟随算法，其特征在于结合机器人同时定位和建图得到的空间信息与单纯图像中的视觉信息，具体步骤如下：
(1)机器人同时定位和建图；
(2)运动帧与运动区域检测；
(3)在运动帧的运动区域进行视觉目标检测；
(4)视觉目标人追踪；
(5)视觉目标人跟随；
其中：
步骤(2)所述运动帧与运动区域检测，具体过程如下：
(21)对于机器人运动过程中所经过的关键场景，采样关键场景前后位置图像及关键帧图像进行超像素分割；提取将第t帧图像进行超像素分割，得到Nt个超像素；每个超像素sp(t，r)(t＝1，...，m，r＝1，...，Nt)由一个特征向量来表示；
(22)在HSI空间中对超像素的HS通道信息进行聚类，建立场景模型；使用meanshift聚类算法对特征池进行聚类，得到n个聚类；每个聚类clst(i)(i＝1，...，n)由聚类中心fc(i)和聚类半径rc(i)表示；
(23)在获取到新的图像帧之后，选取场景模型来分析该帧是否包含运动区域；
步骤(3)所述在运动帧的运动区域进行视觉目标人检测，具体过程如下：
(31)使用训练图片及其中的目标位置来训练深度神经网络，得到目标检测模型；
(32)在运动帧的运动区域使用分类器对图像帧进行检测，得到目标位置；
步骤(4)所述视觉目标人追踪，具体过程如下：
(41)将每个初始帧进行超像素分割，聚类，得到目标人表观模型；
(42)对新的图像帧使用表观模型和地图点信息得到目标位置；
(46)每追踪一定数量的图像帧之后，更新表观模型；
步骤(5)所述视觉目标人跟随，具体过程如下：
(51)计算步骤(42)得到的目标位置的水平中心位置；
(52)控制机器人移动，使得目标人位于机器人采集的图像水平中心位置。
2.根据权利要求1所述的单目机器人上的目标人发现与跟随算法，其特征在于,步骤(23)中所述的选取场景模型来分析该帧是否包含运动区域，具体过程如下：
(231)选取该图像帧采集时机器人位置最为相似的关键场景，获取对应场景下的场景模型；
(232)将该图像帧进行超像素分割，得到N个超像素,每个超像素sp(r)(r＝1，...，N)由一个特征向量fr来表示；
(233)计算该帧中的超像素sp(r)和对应场景下场景模型的超像素点sp(t，r)之间的距离，选取距离最近的点所在的聚类为该帧中超像素sp(r)的类别；距离计算公式如下：
<mrow>
<mi>d</mi>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<msup>
<mi>f</mi>
<mi>r</mi>
</msup>
<mo>-</mo>
<msubsup>
<mi>f</mi>
<mi>t</mi>
<mi>r</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
(234)依据超像素和对应的聚类中心之间的距离来计算该每个超像素属于变化区域的概率,概率计算公式如下：
超像素r属于聚类i
其中,参数rc(i)代表了clst(i)在特征空间中的聚类半径，λd是一个归一化项；综合考虑超像素sp(r)所属于的聚类，以及和对应的聚类中心之间的距离，得出该超像素的目标置信度值将每个超像素所对应的像素位置属于变化区域的概率设置为得到概率图；如果则认为该超像素为变化区域；
(235)分析概率图中联通的属于变化区域的尺寸大小，如果大于阈值则认为该区域为潜在目标人区域，选取周围的部分为潜在目标人位置。
3.根据权利要求2所述的单目机器人上的目标人发现与跟随算法，其特征在于，步骤(41)中所述将每个初始帧进行超像素分割，聚类，得到目标人表观模型，具体过程如下：
(411)将第t帧中的目标周围区域进行超像素分割，得到Nt个超像素，每个超像素sp(t，r)(t＝1，...，m，r＝1，...，Nt)由一个特征向量来表示；
(412)使用meanshift聚类算法对特征池进行聚类，得到n个聚类；每个聚类clst(i)(i＝1，...，n)由聚类中心fc(i)和聚类半径rc(i)表示；
(413)每个clst(i)对应于训练帧中的图像区域S(i),对每个clst(i)计算两个得分，S+(i),S-(i)；前一个分数表示聚类面积S(i)和目标区域的交集大小，后面一个分数表示聚类面积S(i)在目标区域外的大小；S+(i)/S-(i)的值越大，在训练帧中区域S(i)属于目标的可能性越大；给每个聚类一个介于[1,-1]之间的打分来代表每个聚类的前景-背景置信度，记为其中特征表示使用归一化的HSI颜色空间直方图；sp代表超像素,clst代表聚类。
4.根据权利要求3所述的单目机器人上的目标人发现与跟随算法，其特征在于，步骤(42)中所述对新的图像帧使用表观模型和地图点信息得到目标位置，具体过程如下：
(421)当新的图像帧到达的时候，首先在前一帧的目标区域周围提取一个搜索区域，并且分割为Nt个超像素；
(422)聚类到目标人表观模型，依据所属于的聚类中心属性进行打分，得到置信度图，公式如下；
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>w</mi>
<mrow>
<mo>(</mo>
<mi>r</mi>
<mo>,</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<msub>
<mi>&lambda;</mi>
<mi>d</mi>
</msub>
<mo>&times;</mo>
<mfrac>
<mrow>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>f</mi>
<mi>t</mi>
<mi>r</mi>
</msubsup>
<mo>-</mo>
<msub>
<mi>f</mi>
<mi>c</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<msub>
<mi>r</mi>
<mi>c</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>&ForAll;</mo>
<mi>r</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>N</mi>
<mi>t</mi>
</msub>
<mo>,</mo>
<mo>&ForAll;</mo>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mo>...</mo>
<mi>n</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mrow>
<msubsup>
<mi>C</mi>
<mi>r</mi>
<mi>s</mi>
</msubsup>
<mo>=</mo>
<mi>w</mi>
<mrow>
<mo>(</mo>
<mi>r</mi>
<mo>,</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>&times;</mo>
<msubsup>
<mi>C</mi>
<mi>i</mi>
<mi>c</mi>
</msubsup>
<mo>,</mo>
<mo>&ForAll;</mo>
<mi>r</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mo>...</mo>
<mo>,</mo>
<msub>
<mi>N</mi>
<mi>t</mi>
</msub>
</mrow>
其中，w(r，i)表示基于特征(第t帧中第r个超像素sp(t，r)的特征)和fc(i)(sp(t，r)属于的聚类的特征中心)的权重，参数rc(i)表示clst(i)在特征空间中的聚类半径，λd是一个归一化项；综合考虑超像素sp(t，r)所属于的聚类，以及和对应的聚类中心之间的聚类，得出该超像素的置信度值
对于整个图像帧，通过以下步骤得到每个像素的置信值；对于搜索区域内每个属于超像素sp(t，r)的像素打分为对于搜索领域之外的像素打分为-1；
(423)地图点打分，公式如下：
<mrow>
<msubsup>
<mi>C</mi>
<mi>r</mi>
<mi>m</mi>
</msubsup>
<mo>=</mo>
<mo>-</mo>
<mn>2</mn>
<mo>*</mo>
<mrow>
<mo>(</mo>
<mi>s</mi>
<mi>i</mi>
<mi>g</mi>
<mi>m</mi>
<mi>o</mi>
<mi>i</mi>
<mi>d</mi>
<mo>(</mo>
<mrow>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mrow>
<mi>r</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mn>10</mn>
</mrow>
<mo>)</mo>
<mo>-</mo>
<mn>0.5</mn>
<mo>)</mo>
</mrow>
</mrow>
如果sp(t,r)和地图点k相邻
n(t，k)代表图像帧t中地图点k的共见次数；
(424)表观模型的得分和地图点的得分通过求均值的方式进行融合，融合的位置仅限地图点周围的超像素，没有地图点的超像素的打分仅由表观模型决定，公式如下：
(425)选择属于目标的得分最高的区域为目标位置；
(426)调整将地图点所在超像素属于目标人的概率，以备表观模型更新。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710309607.1A CN107230219B (zh) | 2017-05-04 | 2017-05-04 | 一种单目机器人上的目标人发现与跟随方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710309607.1A CN107230219B (zh) | 2017-05-04 | 2017-05-04 | 一种单目机器人上的目标人发现与跟随方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107230219A true CN107230219A (zh) | 2017-10-03 |
| CN107230219B CN107230219B (zh) | 2021-06-04 |
Family
ID=59933284
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710309607.1A Active CN107230219B (zh) | 2017-05-04 | 2017-05-04 | 一种单目机器人上的目标人发现与跟随方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107230219B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109977884A (zh) * | 2019-03-29 | 2019-07-05 | 北京易达图灵科技有限公司 | 目标跟随方法和装置 |
| CN111144406A (zh) * | 2019-12-22 | 2020-05-12 | 复旦大学 | 一种太阳能面板清扫机器人自适应目标roi定位方法 |
| CN111815678A (zh) * | 2020-07-10 | 2020-10-23 | 北京猎户星空科技有限公司 | 目标跟随方法、装置和电子设备 |
| CN112233141A (zh) * | 2020-09-28 | 2021-01-15 | 国网浙江省电力有限公司杭州供电公司 | 电力场景下基于无人机视觉的运动目标追踪方法及*** |
| CN112970034A (zh) * | 2018-10-30 | 2021-06-15 | 索尼集团公司 | 信息处理设备、信息处理方法和程序 |
| CN114347030A (zh) * | 2022-01-13 | 2022-04-15 | 中通服创立信息科技有限责任公司 | 机器人视觉跟随方法及视觉跟随机器人 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103366382A (zh) * | 2013-07-04 | 2013-10-23 | 电子科技大学 | 一种基于超像素的主动轮廓跟踪方法 |
| CN103871076A (zh) * | 2014-02-27 | 2014-06-18 | 西安电子科技大学 | 基于光流法和超像素分割的运动目标提取方法 |
| CN103886619A (zh) * | 2014-03-18 | 2014-06-25 | 电子科技大学 | 一种融合多尺度超像素的目标跟踪方法 |
| CN103903278A (zh) * | 2012-12-28 | 2014-07-02 | 重庆凯泽科技有限公司 | 运动目标检测与跟踪*** |
| CN104298968A (zh) * | 2014-09-25 | 2015-01-21 | 电子科技大学 | 一种基于超像素的复杂场景下的目标跟踪方法 |
-
2017
- 2017-05-04 CN CN201710309607.1A patent/CN107230219B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103903278A (zh) * | 2012-12-28 | 2014-07-02 | 重庆凯泽科技有限公司 | 运动目标检测与跟踪*** |
| CN103366382A (zh) * | 2013-07-04 | 2013-10-23 | 电子科技大学 | 一种基于超像素的主动轮廓跟踪方法 |
| CN103871076A (zh) * | 2014-02-27 | 2014-06-18 | 西安电子科技大学 | 基于光流法和超像素分割的运动目标提取方法 |
| CN103886619A (zh) * | 2014-03-18 | 2014-06-25 | 电子科技大学 | 一种融合多尺度超像素的目标跟踪方法 |
| CN104298968A (zh) * | 2014-09-25 | 2015-01-21 | 电子科技大学 | 一种基于超像素的复杂场景下的目标跟踪方法 |
Non-Patent Citations (2)
| Title |
|---|
| RAUL MUR-ARTAL等: ""ORB-SLAM: A Versatile and Accurate Monocular SLAM System"", 《IEEE TRANSACTIONS ON ROBOTICS》 * |
| SHU WANG等: ""Superpixel tracking"", 《2011 INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112970034A (zh) * | 2018-10-30 | 2021-06-15 | 索尼集团公司 | 信息处理设备、信息处理方法和程序 |
| CN109977884A (zh) * | 2019-03-29 | 2019-07-05 | 北京易达图灵科技有限公司 | 目标跟随方法和装置 |
| CN111144406A (zh) * | 2019-12-22 | 2020-05-12 | 复旦大学 | 一种太阳能面板清扫机器人自适应目标roi定位方法 |
| CN111815678A (zh) * | 2020-07-10 | 2020-10-23 | 北京猎户星空科技有限公司 | 目标跟随方法、装置和电子设备 |
| CN111815678B (zh) * | 2020-07-10 | 2024-01-23 | 北京猎户星空科技有限公司 | 目标跟随方法、装置和电子设备 |
| CN112233141A (zh) * | 2020-09-28 | 2021-01-15 | 国网浙江省电力有限公司杭州供电公司 | 电力场景下基于无人机视觉的运动目标追踪方法及*** |
| CN112233141B (zh) * | 2020-09-28 | 2022-10-14 | 国网浙江省电力有限公司杭州供电公司 | 电力场景下基于无人机视觉的运动目标追踪方法及*** |
| CN114347030A (zh) * | 2022-01-13 | 2022-04-15 | 中通服创立信息科技有限责任公司 | 机器人视觉跟随方法及视觉跟随机器人 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107230219B (zh) | 2021-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107230219A (zh) | 一种单目机器人上的目标人发现与跟随方法 | |
| WO2021208275A1 (zh) | 一种交通视频背景建模方法及*** | |
| CN105160310A (zh) | 基于3d卷积神经网络的人体行为识别方法 | |
| CN103745203B (zh) | 基于视觉注意和均值漂移的目标检测与跟踪方法 | |
| CN102214309B (zh) | 一种基于头肩模型的特定人体识别方法 | |
| CN103413120B (zh) | 基于物体整体性和局部性识别的跟踪方法 | |
| CN105022982B (zh) | 手部运动识别方法和装置 | |
| CN104200485B (zh) | 一种面向视频监控的人体跟踪方法 | |
| CN104835175B (zh) | 一种基于视觉注意机制的核环境中目标检测方法 | |
| CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
| CN106529499A (zh) | 基于傅里叶描述子和步态能量图融合特征的步态识别方法 | |
| CN106600625A (zh) | 检测小型生物的图像处理方法及装置 | |
| CN110008867A (zh) | 一种基于人物异常行为的预警方法、装置及存储介质 | |
| CN110135282B (zh) | 一种基于深度卷积神经网络模型的考生回头抄袭作弊检测方法 | |
| CN106682641A (zh) | 基于fhog‑lbph特征的图像行人识别方法 | |
| CN107256386A (zh) | 基于深度学习的人类行为分析方法 | |
| CN109255298A (zh) | 一种动态背景中的安全帽检测方法与*** | |
| CN104881671B (zh) | 一种基于2D‑Gabor的高分遥感影像局部特征提取方法 | |
| CN107564035B (zh) | 基于重要区域识别和匹配的视频跟踪方法 | |
| CN108648211A (zh) | 一种基于深度学习的小目标检测方法、装置、设备和介质 | |
| CN110032932B (zh) | 一种基于视频处理和决策树设定阈值的人体姿态识别方法 | |
| CN107808376A (zh) | 一种基于深度学习的举手检测方法 | |
| CN109359549A (zh) | 一种基于混合高斯和hog_lbp的行人检测方法 | |
| CN110991398A (zh) | 一种基于改进步态能量图的步态识别方法及*** | |
| CN106529441B (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |