CN114972415A - 机器人视觉跟踪方法、***、电子设备及介质 - Google Patents

Abstract

本发明涉及数字图像处理技术领域，其目的在于提供一种机器人视觉跟踪方法、***、电子设备及介质。其中，机器人视觉跟踪方法包括：实时采集监控视频数据；实时判断是否接收到目标监控指令，若是，则进入下一步；输出目标信息获取请求，直到接收到监控视频数据内最新视频帧中的目标的轮廓图像框；根据所述轮廓图像框，在监控视频数据中对当前目标进行追踪，并获取当前目标的移动数据；根据所述移动数据生成位移指令，以便驱动当前机器人调整监控视频数据的采集方位，然后重新获取当前目标的轮廓图像框。本发明可实现对指定目标的自动监控，便于减轻用户手动监控的工作量。

Description

机器人视觉跟踪方法、***、电子设备及介质

技术领域

本发明涉及数字图像处理技术领域，特别是涉及一种机器人视觉跟踪方法、***、电子设备及介质。

背景技术

机器人是一种能够半自主或全自主工作的智能机器，其具有感知、决策、执行等基本特征，可以辅助甚至替代人类完成危险、繁重、复杂的工作，提高工作效率与质量，服务人类生活，扩大或延伸人的活动及能力范围。随着计算机科学和自动控制技术的发展，越来越多的不同种类的智能机器人出现在生产生活中。

目前，在犯罪行为监控、室内宠物行为监控、野生动物行为监控等场景中，通常需要持续追踪某一目标，以便于用户了解当前目标的行为，现有技术中，通常通过预设的摄像头采集对应目标的监控视频，当目标移动时，需要用户远程操控摄像头转动等，以便于目标持续处于监控画面中。但是，在使用现有技术过程中，发明人发现现有技术中至少存在如下问题：进行目标行为监控时，需要用户持续观看监控画面，并在目标移动时控制摄像头向指定方向转动，造成人力资源的浪费。

发明内容

本发明旨在至少在一定程度上解决上述技术问题，本发明提供了一种机器人视觉跟踪方法、***、电子设备及介质。

本发明采用的技术方案是：

第一方面，本发明提供了一种机器人视觉跟踪方法，包括：

实时采集监控视频数据；

实时判断是否接收到目标监控指令，若是，则进入下一步；

输出目标信息获取请求，直到接收到监控视频数据内最新视频帧中的目标的轮廓图像框；

根据所述轮廓图像框，在监控视频数据中对当前目标进行追踪，并获取当前目标的移动数据；

根据所述移动数据生成位移指令，以便驱动当前机器人调整监控视频数据的采集方位，然后重新获取当前目标的轮廓图像框。

本发明可实现对指定目标的自动监控，便于减轻用户手动监控的工作量。具体地，本发明在实施过程中，当接收到目标监控指令后，输出目标信息获取请求，直到接收到监控视频数据内最新视频帧中的目标的轮廓图像框；随后，可根据轮廓图像框，在监控视频数据中对当前目标进行追踪，进而获取当前目标的移动数据；最后，可根据位艺术家生成驱动当前机器人调整采集方位的位移指令，进而使得机器人可持续对目标进行追踪并采集监控视频数据。本发明可应用于现有的监控***，机器人获取目标的轮廓图像框后，即可自动对当前目标进行追踪，并根据目标的位置实时调整其采集方位，可有效减轻用户手动监控的工作量。

在一个可能的设计中，输出目标信息获取请求后，还包括：

实时判断是否接收到移动指令，若是，则根据所述移动指令驱动当前机器人调整监控视频数据的采集方位。

在一个可能的设计中，根据所述轮廓图像框，在监控视频数据中对当前目标进行追踪，并获取当前目标的移动数据，包括：

根据所述轮廓图像框，获取原视频帧中所述轮廓图像框平移指定距离后的多个相关图像框；

获取监控视频数据内的最新视频帧；

获取最新视频帧中与原视频帧中多个相关图像框的位置对应的多个对照图像框；

获取所述轮廓图像框与多个所述对照图像框的相关度，并定义相关度最大的对照图像框为所述目标的最新轮廓图像框；

根据所述轮廓图像框和所述最新轮廓图像框，得到当前目标的移动数据。

在一个可能的设计中，根据所述轮廓图像框和所述最新轮廓图像框，得到当前目标的移动数据，包括：

获取所述轮廓图像框的中心点坐标及所述最新轮廓图像框的中心点坐标；

根据所述轮廓图像框的中心点坐标及所述最新轮廓图像框的中心点坐标，得到当前目标的移动数据。

在一个可能的设计中，获取所述轮廓图像框与多个所述对照图像框的相关度，包括：

分别对所述轮廓图像框与多个所述对照图像框进行图像分割；

分别对分割后的轮廓图像框与多个对照图像框进行中心加权；

计算所述轮廓图像框与多个所述对照图像框的相关度；其中，所述轮廓图像框与任一所述对照图像框的相关度为：

；

式中，L表示所述对照图像框，M表示所述轮廓图像框，w表示所述轮廓图像框的总面积，n表示所述轮廓图像框和任一所述对照图像框分割后的区域数目，α _i 表示所述轮廓图像框和对照图像框中第i个区域的加权函数，r _i 表示所述轮廓图像框中第i个区域的面积，l _i 表示所述轮廓图像框和对照图像框中第i个区域重叠的面积。

在一个可能的设计中，实时采集监控视频数据后，所述机器人视觉跟踪方法还包括：

将监控视频数据进行解码处理和帧截取处理，得到连续的视频帧；

对连续的视频帧依次进行图像增强处理、平滑处理及锐化处理，得到处理后视频帧。

在一个可能的设计中，所述机器人视觉跟踪方法还包括：

实时判断是否接收到停止监控指令，若是，则删除目标信息，并重置机器人，以便于进行下一次的目标跟踪。

第二方面，本发明提供了一种机器人视觉跟踪***，用于实现上述任一项所述的机器人视觉跟踪方法；所述机器人视觉跟踪***包括视频数据采集模块、监控指令获取模块、数据处理模块、目标追踪模块和机器人控制模块，所述视频数据采集模块、监控指令获取模块均与数据处理模块通信连接，所述数据处理模块通过目标追踪模块与机器人控制模块通信连接，其中，

所述视频数据采集模块，用于实时采集监控视频数据，并将监控视频数据发送至数据处理模块；

所述监控指令获取模块，用于接收目标监控指令，并在接收到目标监控指令后将其发送至数据处理模块；

所述数据处理模块，用于实时判断是否接收到目标监控指令，并在接收到目标监控指令后输出目标信息获取请求，直到接收到监控视频数据内最新视频帧中的目标的轮廓图像框；

所述目标追踪模块，用于根据所述轮廓图像框，在监控视频数据中对当前目标进行追踪，并获取当前目标的移动数据；

所述机器人控制模块，用于根据所述移动数据生成位移指令，以便驱动当前机器人调整监控视频数据的采集方位。

第三方面，本发明提供了一种电子设备，包括：

存储器，用于存储计算机程序指令；以及，

处理器，用于执行所述计算机程序指令从而完成上述任一项所述的机器人视觉跟踪方法的操作。

第四方面，本发明提供了一种计算机可读存储介质，用于存储计算机可读取的计算机程序指令，所述计算机程序指令被配置为运行时执行上述任一项所述的机器人视觉跟踪方法的操作。

附图说明

图1是本发明中一种机器人视觉跟踪方法的流程图；

图2是本发明中一种机器人视觉跟踪***模块框图；

图3是本发明中一种电子设备的模块框图。

具体实施方式

下面结合附图及具体实施例来对本发明作进一步阐述。

应当理解，在一些实施例中，所出现的功能/动作可能与附图出现的顺序不同。例如，取决于所涉及的功能/动作，实际上可以实质上并发地执行，或者有时可以以相反的顺序来执行连续示出的两个图。

实施例1：

本实施例第一方面提供了一种机器人视觉跟踪方法、***、电子设备及介质，可以但不限于由具有一定计算资源的计算机设备或虚拟机执行，例如由个人计算机（PersonalComputer，PC，指一种大小、价格和性能适用于个人使用的多用途计算机；台式机、笔记本电脑到小型笔记本电脑和平板电脑以及超级本等都属于个人计算机）、智能手机、个人数字助理（Personal digital assistant，PAD）或可穿戴设备等电子设备执行，或者由虚拟机执行，以便实现对指定目标的自动监控。

如图1所示，一种机器人视觉跟踪方法、***、电子设备及介质，可以但不限于包括有如下步骤：

S1.实时采集监控视频数据；

本实施例中，实时采集监控视频数据后，所述机器人视觉跟踪方法还包括：

将监控视频数据进行解码处理和帧截取处理，得到连续的视频帧；

对连续的视频帧依次进行图像增强处理、平滑处理及锐化处理，得到处理后视频帧。

需要说明的是，图像增强处理、平滑处理及锐化处理均采用现有技术，本实施例中，对视频帧进行图像增强处理、平滑处理及锐化处理等预处理，可保证输出视频帧的质量得到改善，便于后续对视频帧内目标的追踪。

S2.实时判断是否接收到目标监控指令，若是，则进入步骤S3，若否，则不动作；

S3.输出目标信息获取请求；

S4.实时判断是否接收到移动指令，若是，则根据所述移动指令驱动当前机器人调整监控视频数据的采集方位，若否，则不动作。

需要说明的是，在对指定目标进行监控时，可能存在目标脱离监控画面的情况，当目标未处于监控画面中时，机器人可通过接收用户发出的移动指令调整机器人的位置和/或监控视频数据采集模块的转向，直到目标处于监控画面中，从而拓展本实施例的应用场景。

S5.接收监控视频数据内最新视频帧中的目标的轮廓图像框；

S6.根据所述轮廓图像框，在监控视频数据中对当前目标进行追踪，并获取当前目标的移动数据；

本实施例中，步骤S6的具体步骤如下：

S601.根据所述轮廓图像框，获取原视频帧中所述轮廓图像框平移指定距离后的多个相关图像框；

S602.获取监控视频数据内的最新视频帧；

S603.获取最新视频帧中与原视频帧中多个相关图像框的位置对应的多个对照图像框；

S604.获取所述轮廓图像框与多个所述对照图像框的相关度，并定义相关度最大的对照图像框为所述目标的最新轮廓图像框；

本实施例中，获取所述轮廓图像框与多个所述对照图像框的相关度，包括：

A1.分别对所述轮廓图像框与多个所述对照图像框进行图像分割；需要说明的是，图像分割是根据图像的一致性属性（例如灰度图像的灰度值等），将图像中的像素点按照一定规则分到表示特定的灰度特征的不同区域中，以便进行后续的相关度计算。

A2.分别对分割后的轮廓图像框与多个对照图像框进行中心加权，使各个区域在匹配相关度时的贡献率从中心到边缘由大变小，以减少噪声和目标变形对相关度计算的影响；

A3.计算所述轮廓图像框与多个所述对照图像框的相关度；其中，所述轮廓图像框与任一所述对照图像框的相关度为：

；

式中，L表示所述对照图像框，M表示所述轮廓图像框，w表示所述轮廓图像框的总面积，n表示所述轮廓图像框和任一所述对照图像框分割后的区域数目，α _i 表示所述轮廓图像框和对照图像框中第i个区域的加权函数，r _i 表示所述轮廓图像框中第i个区域的面积，l _i 表示所述轮廓图像框和对照图像框中第i个区域重叠的面积。

本实施例中，α _i 具体为：

；

其中，(x _i ,y _i )为所述轮廓图像框和对照图像框中第i个区域的质心坐标，a、b均为常数。

本实施例中，引入加权函数α _i ，利于提高轮廓图像框与多个所述对照图像框匹配结果的准确性。

S605.根据所述轮廓图像框和所述最新轮廓图像框，得到当前目标的移动数据。

具体地，步骤S605包括：

B1.获取所述轮廓图像框的中心点坐标及所述最新轮廓图像框的中心点坐标；

B2.根据所述轮廓图像框的中心点坐标及所述最新轮廓图像框的中心点坐标，得到当前目标的移动数据。

S7.根据所述移动数据生成位移指令，以便驱动当前机器人调整监控视频数据的采集方位，进而保证目标持续位于监控视频内，然后重新获取当前目标的轮廓图像框，再返回步骤S6，以便对当前目标的轮廓图像框进行更新；

S8.实时判断是否接收到停止监控指令，若是，则删除目标信息，并重置机器人，以便于进行下一次的目标跟踪。

本实施例可实现对指定目标的自动监控，便于减轻用户手动监控的工作量。具体地，本实施例在实施过程中，当接收到目标监控指令后，输出目标信息获取请求，直到接收到监控视频数据内最新视频帧中的目标的轮廓图像框；随后，可根据轮廓图像框，在监控视频数据中对当前目标进行追踪，进而获取当前目标的移动数据；最后，可根据位艺术家生成驱动当前机器人调整采集方位的位移指令，进而使得机器人可持续对目标进行追踪并采集监控视频数据。本实施例可应用于现有的监控***，机器人获取目标的轮廓图像框后，即可自动对当前目标进行追踪，并根据目标的位置实时调整其采集方位，可有效减轻用户手动监控的工作量。

实施例2：

本实施例提供一种机器人视觉跟踪***，用于实现实施例1中机器人视觉跟踪方法；如图2所示，所述机器人视觉跟踪***包括视频数据采集模块、监控指令获取模块、数据处理模块、目标追踪模块和机器人控制模块，所述视频数据采集模块、监控指令获取模块均与数据处理模块通信连接，所述数据处理模块通过目标追踪模块与机器人控制模块通信连接，其中，

所述视频数据采集模块，用于实时采集监控视频数据，并将监控视频数据发送至数据处理模块；

所述监控指令获取模块，用于接收目标监控指令，并在接收到目标监控指令后将其发送至数据处理模块；

所述数据处理模块，用于实时判断是否接收到目标监控指令，并在接收到目标监控指令后输出目标信息获取请求，直到接收到监控视频数据内最新视频帧中的目标的轮廓图像框；

所述目标追踪模块，用于根据所述轮廓图像框，在监控视频数据中对当前目标进行追踪，并获取当前目标的移动数据；

所述机器人控制模块，用于根据所述移动数据生成位移指令，以便驱动当前机器人调整监控视频数据的采集方位。

实施例3：

在实施例1或2的基础上，本实施例公开了一种电子设备，该设备可以是智能手机、平板电脑、笔记本电脑或者台式电脑等。电子设备可能被称为用于终端、便携式终端、台式终端等，如图3所示，电子设备包括：

存储器，用于存储计算机程序指令；以及，

处理器，用于执行所述计算机程序指令从而完成如实施例1中任一所述的机器人视觉跟踪方法的操作。

具体地，处理器301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器301可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable LogicArray，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(CentralProcessing Unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器301可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。

存储器302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器302中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器801所执行以实现本申请中方法实施例提供的机器人视觉跟踪方法。

在一些实施例中，终端还可选包括有：通信接口303和至少一个***设备。处理器301、存储器302和通信接口303之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与通信接口303相连。具体地，***设备包括：射频电路304、显示屏305和电源306中的至少一种。

通信接口303可被用于将I/O(Input/ Output，输入/输出)相关的至少一个***设备连接到处理器301和存储器302。在一些实施例中，处理器301、存储器302和通信接口303被集成在同一芯片或电路板上；在一些其他实施例中，处理器301、存储器302和通信接口303中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路304用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路304通过电磁信号与通信网络以及其他通信设备进行通信。

显示屏305用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。

电源306用于为电子设备中的各个组件进行供电。

实施例4：

在实施例1至3任一项实施例的基础上，本实施例公开了一种计算机可读存储介质，用于存储计算机可读取的计算机程序指令，所述计算机程序指令被配置为运行时执行如实施例1所述的机器人视觉跟踪方法的操作。

需要说明的是，所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

最后应说明的是，本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。

Claims (10)

1.一种机器人视觉跟踪方法，其特征在于：包括：

实时采集监控视频数据；

实时判断是否接收到目标监控指令，若是，则进入下一步；

输出目标信息获取请求，直到接收到监控视频数据内最新视频帧中的目标的轮廓图像框；

根据所述轮廓图像框，在监控视频数据中对当前目标进行追踪，并获取当前目标的移动数据；

根据所述移动数据生成位移指令，以便驱动当前机器人调整监控视频数据的采集方位，然后重新获取当前目标的轮廓图像框。

2.根据权利要求1所述的一种机器人视觉跟踪方法，其特征在于：输出目标信息获取请求后，还包括：

实时判断是否接收到移动指令，若是，则根据所述移动指令驱动当前机器人调整监控视频数据的采集方位。

3.根据权利要求1所述的一种机器人视觉跟踪方法，其特征在于：根据所述轮廓图像框，在监控视频数据中对当前目标进行追踪，并获取当前目标的移动数据，包括：

根据所述轮廓图像框，获取原视频帧中所述轮廓图像框平移指定距离后的多个相关图像框；

获取监控视频数据内的最新视频帧；

获取最新视频帧中与原视频帧中多个相关图像框的位置对应的多个对照图像框；

获取所述轮廓图像框与多个所述对照图像框的相关度，并定义相关度最大的对照图像框为所述目标的最新轮廓图像框；

根据所述轮廓图像框和所述最新轮廓图像框，得到当前目标的移动数据。

4.根据权利要求3所述的一种机器人视觉跟踪方法，其特征在于：根据所述轮廓图像框和所述最新轮廓图像框，得到当前目标的移动数据，包括：

获取所述轮廓图像框的中心点坐标及所述最新轮廓图像框的中心点坐标；

根据所述轮廓图像框的中心点坐标及所述最新轮廓图像框的中心点坐标，得到当前目标的移动数据。

5.根据权利要求3所述的一种机器人视觉跟踪方法，其特征在于：获取所述轮廓图像框与多个所述对照图像框的相关度，包括：

分别对所述轮廓图像框与多个所述对照图像框进行图像分割；

分别对分割后的轮廓图像框与多个对照图像框进行中心加权；

计算所述轮廓图像框与多个所述对照图像框的相关度；其中，所述轮廓图像框与任一所述对照图像框的相关度为：

；

式中，L表示所述对照图像框，M表示所述轮廓图像框，w表示所述轮廓图像框的总面积，n表示所述轮廓图像框和任一所述对照图像框分割后的区域数目，α _i 表示所述轮廓图像框和对照图像框中第i个区域的加权函数，r _i 表示所述轮廓图像框中第i个区域的面积，l _i 表示所述轮廓图像框和对照图像框中第i个区域重叠的面积。

6.根据权利要求1所述的一种机器人视觉跟踪方法，其特征在于：实时采集监控视频数据后，所述机器人视觉跟踪方法还包括：

将监控视频数据进行解码处理和帧截取处理，得到连续的视频帧；

对连续的视频帧依次进行图像增强处理、平滑处理及锐化处理，得到处理后视频帧。

7.根据权利要求1所述的一种机器人视觉跟踪方法，其特征在于：所述机器人视觉跟踪方法还包括：

实时判断是否接收到停止监控指令，若是，则删除目标信息，并重置机器人，以便于进行下一次的目标跟踪。

8.一种机器人视觉跟踪***，其特征在于：用于实现如权利要求1至7中任一项所述的机器人视觉跟踪方法；所述机器人视觉跟踪***包括视频数据采集模块、监控指令获取模块、数据处理模块、目标追踪模块和机器人控制模块，所述视频数据采集模块、监控指令获取模块均与数据处理模块通信连接，所述数据处理模块通过目标追踪模块与机器人控制模块通信连接，其中，

所述视频数据采集模块，用于实时采集监控视频数据，并将监控视频数据发送至数据处理模块；

所述监控指令获取模块，用于接收目标监控指令，并在接收到目标监控指令后将其发送至数据处理模块；

所述数据处理模块，用于实时判断是否接收到目标监控指令，并在接收到目标监控指令后输出目标信息获取请求，直到接收到监控视频数据内最新视频帧中的目标的轮廓图像框；

所述目标追踪模块，用于根据所述轮廓图像框，在监控视频数据中对当前目标进行追踪，并获取当前目标的移动数据；

所述机器人控制模块，用于根据所述移动数据生成位移指令，以便驱动当前机器人调整监控视频数据的采集方位。

9.一种电子设备，其特征在于：包括：

存储器，用于存储计算机程序指令；以及，

处理器，用于执行所述计算机程序指令从而完成如权利要求1至7中任一项所述的机器人视觉跟踪方法的操作。

10.一种计算机可读存储介质，用于存储计算机可读取的计算机程序指令，其特征在于：所述计算机程序指令被配置为运行时执行如权利要求1至7中任一项所述的机器人视觉跟踪方法的操作。

Images