CN110147750B - 一种基于运动加速度的图像搜索方法、***及电子设备 - Google Patents
一种基于运动加速度的图像搜索方法、***及电子设备 Download PDFInfo
- Publication number
- CN110147750B CN110147750B CN201910393254.7A CN201910393254A CN110147750B CN 110147750 B CN110147750 B CN 110147750B CN 201910393254 A CN201910393254 A CN 201910393254A CN 110147750 B CN110147750 B CN 110147750B
- Authority
- CN
- China
- Prior art keywords
- target
- frame
- tracked
- search range
- acceleration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001133 acceleration Effects 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000004364 calculation method Methods 0.000 claims abstract description 42
- 238000006073 displacement reaction Methods 0.000 claims abstract description 16
- 238000004458 analytical method Methods 0.000 claims abstract description 14
- 230000015654 memory Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
- G06V20/47—Detecting features for summarising video content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种基于运动加速度的图像搜索方法、***及电子设备。所述方法包括：步骤a：根据前两帧图像的位移计算出待追踪目标在当前帧图像中的加速度；步骤b：根据所述加速度计算结果确定待追踪目标在当前帧图像中的搜索范围矩形框；步骤c：通过RPN网络沿所述搜索范围矩形框的对角线提取待追踪目标在当前帧图像中的候选框，并对所述候选框进行特征分析，得到所述待追踪目标在当前帧图像中的位置。本申请利用加速度计算方式确定的一个有限的搜索范围矩形框，并沿搜索范围矩形框对角线进行追踪目标的候选框选定，确定了一个更小的检索范围，无需进行全局检索，大大缩小了搜索范围从而减少了计算量，提高了计算速度。
Description
技术领域
本申请属于图像搜索技术领域，特别涉及一种基于运动加速度的图像搜索方法、***及电子设备。
背景技术
随着人工智能技术的发展，越来越多的前沿知识实现了落地，其中，视频中的物体(目标)追踪技术受到了高校和企业界的广泛关注。目前，对于视频中的目标追踪，一般采用的技术方案是在视频的开始的第一帧标记出待追踪目标位置，然后再接下来的每一帧中，进行全局搜索从而找到下一帧中的待追踪目标。通常采用以下几种方式实现：
一、对全局图像进行滑动窗口方式下的搜索[Girshick R B,Donahue J,DarrellT,et al.Rich Feature Hierarchies for Accurate Object Detection and SemanticSegmentation[J].computer vision and pattern recognition,2014:580-587.]，这种搜索方式的效率相对低下，并不能克服物体在运动过程中的形变。
二、采用区域提议网络(RPN，Region Proposal Network，区域生成网络)进行[RenS,He K,Girshick R B,et al.Faster R-CNN:Towards Real-Time Object Detectionwith Region Proposal Networks[J].IEEE Transactions on Pattern Analysis andMachine Intelligence,2017,39(6):1137-1149.]，这种网络的好处在于人为设置了全局目标的搜索方式，但是这种方式仍然要计算大量的图像，搜索范围广。
如上所述，现有的图像搜索技术都是全局范围搜索，都会产生较长的检索时间和比较多的计算冗余。
发明内容
本申请提供了一种基于运动加速度的图像搜索方法、***及电子设备，旨在至少在一定程度上解决现有技术中的上述技术问题之一。
为了解决上述问题，本申请提供了如下技术方案：
一种基于运动加速度的图像搜索方法，包括以下步骤：
步骤a：根据前两帧图像的位移计算出待追踪目标在当前帧图像中的加速度；
步骤b：根据所述加速度计算结果确定待追踪目标在当前帧图像中的搜索范围矩形框；
步骤c：通过RPN网络沿所述搜索范围矩形框的对角线提取待追踪目标在当前帧图像中的候选框，并对所述候选框进行特征分析，得到所述待追踪目标在当前帧图像中的位置。
本申请实施例采取的技术方案还包括：在所述步骤a中，所述加速度为矢量单位，既有速度也有方向，所述加速度计算公式为：
本申请实施例采取的技术方案还包括：在所述步骤b中，所述根据加速度计算结果确定待追踪目标在当前帧图像中的搜索范围矩形框具体包括：将第i+1帧图像中待追踪目标的中心位置作为搜索范围矩形框对角线的交点，定义
分别表示待追踪目标的中心位置的横、纵坐标，定义下一帧即i+2帧的起始搜索原点为：
则i+2帧的搜索范围矩形框的起始点为
搜索范围矩形框的长宽分别为：
widthi+2＝2*widthi+1，heighti+2＝2*heighti+2。
本申请实施例采取的技术方案还包括：在所述步骤c中，所述通过RPN网络沿搜索范围矩形框的对角线提取待追踪目标在当前帧图像中的候选框具体为：在所述搜索范围矩形框的斜对角线上分别按照预设的间隔距离取得三个点，然后分别按照设定的三种长宽尺度比进行再次缩放，得到九个候选框。
本申请实施例采取的技术方案还包括：所述步骤a中，所述前两帧图像具体为连续的两帧图像、离散间隔的两帧图像或任意时刻的两帧图像。
本申请实施例采取的另一技术方案为：一种基于运动加速度的图像搜索***，包括：
加速度计算模块：用于根据前两帧图像的位移计算出待追踪目标在当前帧图像中的加速度；
搜索范围计算模块：用于根据所述加速度计算结果确定待追踪目标在当前帧图像中的搜索范围矩形框；
候选框提取模块：用于通过RPN网络沿所述搜索范围矩形框的对角线提取待追踪目标在当前帧图像中的候选框；
目标检索模块：用于对所述候选框进行特征分析，得到所述待追踪目标在当前帧图像中的位置。
本申请实施例采取的技术方案还包括：所述加速度为矢量单位，既有速度也有方向，所述加速度计算公式为：
本申请实施例采取的技术方案还包括：所述搜索范围计算模块根据加速度计算结果确定待追踪目标在当前帧图像中的搜索范围矩形框具体包括：将第i+1帧图像中待追踪目标的中心位置作为搜索范围矩形框对角线的交点，定义
分别表示待追踪目标的中心位置的横、纵坐标，定义下一帧即i+2帧的起始搜索原点为：
则i+2帧的搜索范围矩形框的起始点为
搜索范围矩形框的长宽分别为：
widthi+2＝2*widthi+1，heighti+2＝2*heighti+2。
本申请实施例采取的技术方案还包括：所述候选框提取模块通过RPN网络沿搜索范围矩形框的对角线提取待追踪目标在当前帧图像中的候选框具体为：在所述搜索范围矩形框的斜对角线上分别按照预设的间隔距离取得三个点，然后分别按照设定的三种长宽尺度比进行再次缩放，得到九个候选框。
本申请实施例采取的技术方案还包括：所述前两帧图像具体为连续的两帧图像、离散间隔的两帧图像或任意时刻的两帧图像。
本申请实施例采取的又一技术方案为：一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的基于运动加速度的图像搜索方法的以下操作：
步骤a：根据前两帧图像的位移计算出待追踪目标在当前帧图像中的加速度；
步骤b：根据所述加速度计算结果确定待追踪目标在当前帧图像中的搜索范围矩形框；
步骤c：通过RPN网络沿所述搜索范围矩形框的对角线提取待追踪目标在当前帧图像中的候选框，并对所述候选框进行特征分析，得到所述待追踪目标在当前帧图像中的位置。
相对于现有技术，本申请实施例产生的有益效果在于：本申请实施例的基于运动加速度的图像搜索方法、***及电子设备利用加速度计算方式确定的一个有限的搜索范围矩形框，并沿搜索范围矩形框对角线上三个点进行追踪目标的候选框选定，从而确定了一个更小的检索范围，相对于现有技术，本申请无需进行全局检索，大大缩小了搜索范围从而减少了计算量，提高了计算速度。
附图说明
图1是本申请实施例的基于运动加速度的图像搜索方法的流程图；
图2(a)为待追踪目标在第i帧的目标画面，图2(b)为待追踪目标在第(i+1)帧的目标画面；
图3为同一拍摄画面下(摄像头固定不动)的加速度计算方式示意图；
图4为i+2帧搜索范围矩形框示意图；
图5为本申请实施例的RPN网络的生成规则示意图；
图6是本申请实施例的基于运动加速度的图像搜索***的结构示意图；
图7是本申请实施例提供的基于运动加速度的图像搜索方法的硬件设备结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
请参阅图1，是本申请实施例的基于运动加速度的图像搜索方法的流程图。本申请实施例的基于运动加速度的图像搜索方法包括以下步骤：
步骤100：在视频开始的第一帧图像中标记出待追踪目标的位置；
步骤200：根据前两帧图像的位移计算出待追踪目标在当前帧图像中的加速度及其可能的方向；
步骤200中，如图2所示，其中，图2(a)为待追踪目标在第i帧的目标画面，图2(b)为待追踪目标在第(i+1)帧的目标画面。将该图的目标追踪过程抽象为数学形式，即可表示为图3所示，为同一拍摄画面下(摄像头固定不动)的加速度计算方式。本申请实施例中，加速度同样和物理学中的加速度保持一样的性质，均为矢量单位，既有速度也有方向。加速度计算公式具体为：
可以理解，本申请不仅限于根据连续的前两帧图像位移来确定第三帧的加速度，还可以采用离散间隔的帧或任意时刻两帧图片中的目标位移进行当前帧的加速度计算。
步骤300：根据加速度和方向计算结果确定待追踪目标在当前帧图像中的搜索范围矩形框；
步骤300中，搜索范围矩形框计算方式具体为：将第i+1帧中待追踪目标的中心位置作为搜索范围矩形框对角线的交点，定义
分别表示待追踪目标的中心位置的横、纵坐标，定义下一帧即i+2帧的起始搜索原点为：
公式(2)、(3)确定了i+2帧起始搜索的左下原点位置，则i+2帧的搜索范围矩形框的起始点为
搜索范围矩形框长宽分别为：
widthi+2＝2*widthi+1，heighti+2＝2*heighti+2 (4)
将上述过程绘制成如图4所示，即为i+2帧搜索范围矩形框示意图。如图所示，i+2帧的实际检测范围由传统算法的整张图片变为了右上方图片中方框内的矩形框(为清晰显示，i+2帧的图片尺寸做了放大，实际上整张图片尺寸一直不变，变的只有搜索范围矩形框)，从而减少目标搜索的计算量。
可以理解，因为全等四边形的中心和四个点均能确定唯一的矩形框，因此无论是通过坐标原点还是通过前一帧的四个边界顶点都可以确定下一帧的起始搜索原点。
步骤400：通过RPN网络沿搜索范围矩形框的对角线按照设定的间隔距离取三个点，并分别按照三种长宽比提取到待追踪目标在当前帧图像中的9个候选框；
步骤400中，现有的检测方式为在整张图像中，先对图像每一个选出的中心位置分别进行原始尺寸不变、0.5缩放原始图片、2倍扩大原始图像的操作，继而在这三种图像的尺寸上进行长宽比分别为1:1、1:2、2:1的改变。所以每一个中心点位置可以找到3*3种候选框进行选择。该方式生成的冗余候选框比较多，为了节省计算力并且提升速度，本申请不再采用三种尺度的候选框，即不再进行原始图片的原始尺寸不变、0.5缩放原始图片、2倍扩大原始图片的操作，而是采用沿搜索范围矩形框对角线上三个点进行候选框的选定。
步骤500：对9个候选框进行特征分析，得到待追踪目标在当前帧图像中的位置。
具体请参阅图5，为本申请实施例的候选框生成规则示意图。图5中的九个框即为生成的待追踪目标的候选框。这九个框都是将固定大小的候选框统一放大1.25倍后再按照三种不同的长宽比提取得到的。图5中的D即为搜索范围矩形框的斜对角线直径长，在斜对角线上分别按照0.25、0.5、0.75的间隔距离取得三个点，然后分别按照1:1、1:2、2:1的三种长宽尺度比进行再次缩放，从而得到九个候选框。现有的RPN网络是在全部的图片上进行N个中心点的9N个候选框检测和对比，而本申请只需要在确定搜索范围矩形框后进行9个候选框的检测，极大地缩小了检索范围。可以理解，斜对角线上取点的间隔距离以及缩放长宽尺度比等参数都可以根据实际操作进行设定。
另外，如果候选框缩放后超过了搜索范围矩形框，则在这一步保留上一帧图片这个位置的像素值或者特征值，直到选出的候选框能够准确捕捉到所有搜索范围矩形框。
请参阅图6，是本申请实施例的基于运动加速度的图像搜索***的结构示意图。本申请实施例的基于运动加速度的图像搜索***包括位置标记模块、加速度计算模块、搜索范围计算模块、候选框提取模块和目标检索模块。
位置标记模块：用于在视频开始的第一帧图像中标记出待追踪目标的位置；
加速度计算模块：用于根据前两帧图像的位移计算出待追踪目标在当前帧图像中的加速度及其可能的方向；具体的，如图2所示，其中，图2(a)为待追踪目标在第i帧的目标画面，图2(b)为待追踪目标在第(i+1)帧的目标画面。将该图的目标追踪过程抽象为数学形式，即可表示为图3所示，为同一拍摄画面下(摄像头固定不动)的加速度计算方式。本申请实施例中，加速度同样和物理学中的加速度保持一样的性质，均为矢量单位，既有速度也有方向。加速度计算公式具体为：
可以理解，本申请不仅限于根据图像前两帧位移来确定第三帧的加速度，还可以采用离散间隔的帧或任意时刻两帧图片中的目标位移进行加速度计算。
搜索范围计算模块：用于根据加速度和方向计算结果确定待追踪目标在当前帧图像中的搜索范围矩形框；其中，搜索范围矩形框计算方式具体为：将第i+1帧中待追踪目标的中心位置作为搜索范围矩形框对角线的交点，定义
分别表示待追踪目标的中心位置的横、纵坐标，定义下一帧即i+2帧的起始搜索原点为：
公式(2)、(3)确定了i+2帧起始搜索的左下原点位置，则i+2帧的搜索范围矩形框的起始点为
矩形框长宽分别为：
widthi+2＝2*widthi+1，heighti+2＝2*heighti+2 (4)
将上述过程绘制成如图4所示，即为i+2帧搜索范围矩形框示意图。如图所示，i+2帧的实际检测范围由传统算法的整张图片变为了右上方图片中方框内的搜索范围矩形框(为清晰显示，i+2帧的图片尺寸做了放大，实际上整张图片尺寸一直不变，变的只有搜索范围矩形框)，从而减少目标搜索的计算量。
可以理解，因为全等四边形的中心和四个点均能确定唯一的矩形框，因此无论是通过坐标原点还是通过前一帧的四个边界顶点都可以确定下一帧的起始搜索原点。
候选框提取模块：用于通过RPN网络沿搜索范围矩形框对角线按照设定的间隔距离取三个点，并分别按照三种长宽比提取到待追踪目标在当前帧图像中的9个候选框；其中，为了节省计算力并且提升速度，本申请不再采用三种尺度的候选框，即不再进行原始图片的原始尺寸不变、0.5缩放原始图片、2倍扩大原始图片的操作，而是采用沿搜索范围矩形框对角线上三个点进行候选框的选定。
具体请参阅图5，为本申请实施例的RPN网络的生成规则示意图。图中的九个框即为生成的待追踪目标的候选框。这九个框都是将固定大小的候选框统一放大1.25倍后再按照三种不同的长宽比提取得到的。图4中的D即为搜索范围矩形框的斜对角线直径长，在斜对角线上分别按照0.25、0.5、0.75的间隔距离取得三个点，然后分别按照1:1、1:2、2:1的三种长宽尺度比进行再次缩放，从而得到九个候选框。现有的RPN网络是在全部的图片上进行N个中心点的9N个候选框检测和对比，而本申请只需要在确定搜索范围矩形框后进行9个候选框的检测，极大地缩小了检索范围。可以理解，斜对角线上取点的间隔距离以及缩放长宽尺度比等参数都可以根据实际操作进行设定。
另外，如果候选框缩放后超过了搜索范围矩形框，则在这一步保留上一帧图片这个位置的像素值或者特征值，直到选出的候选框能够准确捕捉到所有搜索范围矩形框。
目标检索模块：用于对9个候选框进行特征分析，得到待追踪目标在当前帧图像中的位置。
图7是本申请实施例提供的基于运动加速度的图像搜索方法的硬件设备结构示意图。如图7所示，该设备包括一个或多个处理器以及存储器。以一个处理器为例，该设备还可以包括：输入***和输出***。
处理器、存储器、输入***和输出***可以通过总线或者其他方式连接，图7中以通过总线连接为例。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例的处理方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理***。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入***可接收输入的数字或字符信息，以及产生信号输入。输出***可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个处理器执行时，执行上述任一方法实施例的以下操作：
步骤a：根据前两帧图像的位移计算出待追踪目标在当前帧图像中的加速度；
步骤b：根据所述加速度计算结果确定待追踪目标在当前帧图像中的搜索范围矩形框；
步骤c：通过RPN网络沿所述搜索范围矩形框的对角线提取待追踪目标在当前帧图像中的候选框，并对所述候选框进行特征分析，得到所述待追踪目标在当前帧图像中的位置。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例提供的方法。
本申请实施例提供了一种非暂态(非易失性)计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行以下操作：
步骤a：根据前两帧图像的位移计算出待追踪目标在当前帧图像中的加速度；
步骤b：根据所述加速度计算结果确定待追踪目标在当前帧图像中的搜索范围矩形框；
步骤c：通过RPN网络沿所述搜索范围矩形框的对角线提取待追踪目标在当前帧图像中的候选框，并对所述候选框进行特征分析，得到所述待追踪目标在当前帧图像中的位置。
本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行以下操作：
步骤a：根据前两帧图像的位移计算出待追踪目标在当前帧图像中的加速度；
步骤b：根据所述加速度计算结果确定待追踪目标在当前帧图像中的搜索范围矩形框；
步骤c：通过RPN网络沿所述搜索范围矩形框的对角线提取待追踪目标在当前帧图像中的候选框，并对所述候选框进行特征分析，得到所述待追踪目标在当前帧图像中的位置。
本申请实施例的基于运动加速度的图像搜索方法、***及电子设备利用加速度计算方式确定的一个有限的搜索范围矩形框，并沿搜索范围矩形框对角线上三个点进行追踪目标的候选框选定，从而确定了一个更小的检索范围，相对于现有技术，本申请无需进行全局检索，大大缩小了搜索范围从而减少了计算量，提高了计算速度。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本申请中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本申请所示的这些实施例，而是要符合与本申请所公开的原理和新颖特点相一致的最宽的范围。
Claims (7)
1.一种基于运动加速度的图像搜索方法，其特征在于，包括以下步骤：
步骤a：根据前两帧图像的位移计算出待追踪目标在当前帧图像中的加速度；
步骤b：根据所述加速度计算结果确定待追踪目标在当前帧图像中的搜索范围矩形框；
步骤c：通过RPN网络沿所述搜索范围矩形框的对角线提取待追踪目标在当前帧图像中的候选框，并对所述候选框进行特征分析，得到所述待追踪目标在当前帧图像中的位置；
在所述步骤a中，所述加速度为矢量单位，既有大小也有方向，所述加速度表达式为：
在所述步骤c中，所述通过RPN网络沿搜索范围矩形框的对角线提取待追踪目标在当前帧图像中的候选框具体为：在所述搜索范围矩形框的斜对角线上分别按照预设的间隔距离取得三个点，然后分别按照设定的三种长宽尺度比进行再次缩放，得到九个候选框；所述三个点分别位于所述斜对角线长度的0.25倍处、0.5倍处和0.75倍处；所述三种长宽尺度分别为：1:1、1:2和2:1。
2.根据权利要求1所述的基于运动加速度的图像搜索方法，其特征在于，在所述步骤b中，所述根据加速度计算结果确定待追踪目标在当前帧图像中的搜索范围矩形框具体包括：将第i+1帧图像中待追踪目标的中心位置作为搜索范围矩形框对角线的交点，定义
分别表示待追踪目标的中心位置的横、纵坐标，定义下一帧即i+2帧的起始搜索原点为：
则i+2帧的搜索范围矩形框的起始点为
搜索范围矩形框的长宽分别为：
widthi+2＝2*widthi+1,heighti+2＝2*heighti+1。
3.根据权利要求1至2任一项所述的基于运动加速度的图像搜索方法，其特征在于，所述步骤a中，所述前两帧图像具体为连续的两帧图像或离散间隔的两帧图像。
4.一种基于运动加速度的图像搜索***，其特征在于，包括：
加速度计算模块：用于根据前两帧图像的位移计算出待追踪目标在当前帧图像中的加速度；
搜索范围计算模块：用于根据所述加速度计算结果确定待追踪目标在当前帧图像中的搜索范围矩形框；
候选框提取模块：用于通过RPN网络沿所述搜索范围矩形框的对角线提取待追踪目标在当前帧图像中的候选框；
目标检索模块：用于对所述候选框进行特征分析，得到所述待追踪目标在当前帧图像中的位置；
所述加速度为矢量单位，既有大小也有方向，所述加速度表达式为：
所述候选框提取模块通过RPN网络沿搜索范围矩形框的对角线提取待追踪目标在当前帧图像中的候选框具体为：在所述搜索范围矩形框的斜对角线上分别按照预设的间隔距离取得三个点，然后分别按照设定的三种长宽尺度比进行再次缩放，得到九个候选框；所述三个点分别位于所述斜对角线长度的0.25倍处、0.5倍处和0.75倍处；所述三种长宽尺度分别为：1:1、1:2和2:1。
5.根据权利要求4所述的基于运动加速度的图像搜索***，其特征在于，所述搜索范围计算模块根据加速度计算结果确定待追踪目标在当前帧图像中的搜索范围矩形框具体包括：将第i+1帧图像中待追踪目标的中心位置作为搜索范围矩形框对角线的交点，定义
分别表示待追踪目标的中心位置的横、纵坐标，定义下一帧即i+2帧的起始搜索原点为：
则i+2帧的搜索范围矩形框的起始点为
搜索范围矩形框的长宽分别为：
widthi+2＝2*widthi+1,heighti+2＝2*heighti+1。
6.根据权利要求4至5任一项所述的基于运动加速度的图像搜索***，其特征在于，所述前两帧图像具体为连续的两帧图像或离散间隔的两帧图像。
7.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述1至3任一项所述的基于运动加速度的图像搜索方法的以下操作：
步骤a：根据前两帧图像的位移计算出待追踪目标在当前帧图像中的加速度；
步骤b：根据所述加速度计算结果确定待追踪目标在当前帧图像中的搜索范围矩形框；
步骤c：通过RPN网络沿所述搜索范围矩形框的对角线提取待追踪目标在当前帧图像中的候选框，并对所述候选框进行特征分析，得到所述待追踪目标在当前帧图像中的位置；
在所述步骤a中，所述加速度为矢量单位，既有大小也有方向，所述加速度表达式为：
在所述步骤c中，所述通过RPN网络沿搜索范围矩形框的对角线提取待追踪目标在当前帧图像中的候选框具体为：在所述搜索范围矩形框的斜对角线上分别按照预设的间隔距离取得三个点，然后分别按照设定的三种长宽尺度比进行再次缩放，得到九个候选框；所述三个点分别位于所述斜对角线长度的0.25倍处、0.5倍处和0.75倍处；所述三种长宽尺度分别为：1:1、1:2和2:1。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910393254.7A CN110147750B (zh) | 2019-05-13 | 2019-05-13 | 一种基于运动加速度的图像搜索方法、***及电子设备 |
| PCT/CN2019/130538 WO2020228353A1 (zh) | 2019-05-13 | 2019-12-31 | 一种基于运动加速度的图像搜索方法、***及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910393254.7A CN110147750B (zh) | 2019-05-13 | 2019-05-13 | 一种基于运动加速度的图像搜索方法、***及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110147750A CN110147750A (zh) | 2019-08-20 |
| CN110147750B true CN110147750B (zh) | 2021-08-24 |
Family
ID=67595163
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910393254.7A Active CN110147750B (zh) | 2019-05-13 | 2019-05-13 | 一种基于运动加速度的图像搜索方法、***及电子设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110147750B (zh) |
| WO (1) | WO2020228353A1 (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110147750B (zh) * | 2019-05-13 | 2021-08-24 | 深圳先进技术研究院 | 一种基于运动加速度的图像搜索方法、***及电子设备 |
| CN112800811B (zh) * | 2019-11-13 | 2023-10-13 | 深圳市优必选科技股份有限公司 | 一种色块追踪方法、装置及终端设备 |
| CN111008305B (zh) | 2019-11-29 | 2023-06-23 | 百度在线网络技术（北京）有限公司 | 一种视觉搜索方法、装置以及电子设备 |
| CN113177918B (zh) * | 2021-04-28 | 2022-04-19 | 上海大学 | 一种无人机对电力杆塔的智能精准巡检方法及*** |
| CN114708306A (zh) * | 2022-03-10 | 2022-07-05 | 南京邮电大学 | 一种单目标追踪方法、装置及存储介质 |
| CN116205914B (zh) * | 2023-04-28 | 2023-07-21 | 山东中胜涂料有限公司 | 一种防水涂料生产智能监测*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102915552A (zh) * | 2012-09-18 | 2013-02-06 | 中国科学院计算技术研究所 | 一种可控的火焰动画生成方法及其*** |
| CN106403976A (zh) * | 2016-08-30 | 2017-02-15 | 哈尔滨航天恒星数据***科技有限公司 | 一种基于阻抗匹配的Dijkstra最优交通路径规划方法及*** |
| CN106604035A (zh) * | 2017-01-22 | 2017-04-26 | 北京君泊网络科技有限责任公司 | 一种用于视频编码和压缩的运动估计的方法 |
| CN106877237A (zh) * | 2017-03-16 | 2017-06-20 | 天津大学 | 一种基于航拍图像的检测输电线路中绝缘子缺失的方法 |
| CN107180435A (zh) * | 2017-05-09 | 2017-09-19 | 杭州电子科技大学 | 一种适用于深度图像的人体目标跟踪方法 |
| CN109635821A (zh) * | 2018-12-04 | 2019-04-16 | 北京字节跳动网络技术有限公司 | 图像区域的特征提取方法、装置、设备及可读介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104933064B (zh) * | 2014-03-19 | 2018-02-23 | 株式会社理光 | 预测目标对象的运动参数的方法和装置 |
| CN106373143A (zh) * | 2015-07-22 | 2017-02-01 | 中兴通讯股份有限公司 | 一种自适应跨摄像机多目标跟踪方法及*** |
| CN105678808A (zh) * | 2016-01-08 | 2016-06-15 | 浙江宇视科技有限公司 | 运动目标跟踪方法及装置 |
| CN107346538A (zh) * | 2016-05-06 | 2017-11-14 | 株式会社理光 | 对象跟踪方法及设备 |
| CN109559330B (zh) * | 2017-09-25 | 2021-09-10 | 北京金山云网络技术有限公司 | 运动目标的视觉跟踪方法、装置、电子设备及存储介质 |
| CN108363998A (zh) * | 2018-03-21 | 2018-08-03 | 北京迈格威科技有限公司 | 一种对象的检测方法、装置、***和电子设备 |
| CN110147750B (zh) * | 2019-05-13 | 2021-08-24 | 深圳先进技术研究院 | 一种基于运动加速度的图像搜索方法、***及电子设备 |
-
2019
- 2019-05-13 CN CN201910393254.7A patent/CN110147750B/zh active Active
- 2019-12-31 WO PCT/CN2019/130538 patent/WO2020228353A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102915552A (zh) * | 2012-09-18 | 2013-02-06 | 中国科学院计算技术研究所 | 一种可控的火焰动画生成方法及其*** |
| CN106403976A (zh) * | 2016-08-30 | 2017-02-15 | 哈尔滨航天恒星数据***科技有限公司 | 一种基于阻抗匹配的Dijkstra最优交通路径规划方法及*** |
| CN106604035A (zh) * | 2017-01-22 | 2017-04-26 | 北京君泊网络科技有限责任公司 | 一种用于视频编码和压缩的运动估计的方法 |
| CN106877237A (zh) * | 2017-03-16 | 2017-06-20 | 天津大学 | 一种基于航拍图像的检测输电线路中绝缘子缺失的方法 |
| CN107180435A (zh) * | 2017-05-09 | 2017-09-19 | 杭州电子科技大学 | 一种适用于深度图像的人体目标跟踪方法 |
| CN109635821A (zh) * | 2018-12-04 | 2019-04-16 | 北京字节跳动网络技术有限公司 | 图像区域的特征提取方法、装置、设备及可读介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110147750A (zh) | 2019-08-20 |
| WO2020228353A1 (zh) | 2020-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110147750B (zh) | 一种基于运动加速度的图像搜索方法、***及电子设备 | |
| US11062123B2 (en) | Method, terminal, and storage medium for tracking facial critical area | |
| CN108257146B (zh) | 运动轨迹显示方法及装置 | |
| CN108986152B (zh) | 一种基于差分图像的异物检测方法及装置 | |
| CN111047626B (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
| CN112597837B (zh) | 图像检测方法、装置、设备、存储介质和计算机程序产品 | |
| Tau et al. | Dense correspondences across scenes and scales | |
| US20180181816A1 (en) | Handling Perspective Magnification in Optical Flow Proessing | |
| US11367195B2 (en) | Image segmentation method, image segmentation apparatus, image segmentation device | |
| JP7273129B2 (ja) | 車線検出方法、装置、電子機器、記憶媒体及び車両 | |
| CN110866497B (zh) | 基于点线特征融合的机器人定位与建图方法和装置 | |
| CN111640089A (zh) | 一种基于特征图中心点的缺陷检测方法及装置 | |
| CN111310759B (zh) | 双模式协作的目标检测抑制优化方法及设备 | |
| US20220172376A1 (en) | Target Tracking Method and Device, and Electronic Apparatus | |
| CN112967341A (zh) | 基于实景图像的室内视觉定位方法、***、设备及存储介质 | |
| CN110956131B (zh) | 单目标追踪方法、装置及*** | |
| CN103440667A (zh) | 一种遮挡状态下运动目标稳定追踪的自动装置 | |
| CN113850136A (zh) | 基于yolov5与BCNN的车辆朝向识别方法及*** | |
| CN111914756A (zh) | 一种视频数据处理方法和装置 | |
| CN111177811A (zh) | 一种应用于云平台的消防点位自动布图的方法 | |
| CN113112542A (zh) | 一种视觉定位方法、装置、电子设备及存储介质 | |
| CN103744903A (zh) | 一种基于草图的场景图像检索方法 | |
| CN105608423A (zh) | 一种视频匹配方法及装置 | |
| CN113011327A (zh) | 一种三维图形识别方法、装置、设备及存储介质 | |
| CN111753766A (zh) | 一种图像处理方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |