CN113012194B - 目标追踪方法、装置、介质和设备 - Google Patents
目标追踪方法、装置、介质和设备 Download PDFInfo
- Publication number
- CN113012194B CN113012194B CN202011562357.0A CN202011562357A CN113012194B CN 113012194 B CN113012194 B CN 113012194B CN 202011562357 A CN202011562357 A CN 202011562357A CN 113012194 B CN113012194 B CN 113012194B
- Authority
- CN
- China
- Prior art keywords
- tracking
- long
- camera
- point
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000001514 detection method Methods 0.000 claims abstract description 76
- 238000009499 grossing Methods 0.000 claims description 29
- 239000013598 vector Substances 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000017105 transposition Effects 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及一种目标追踪方法、装置、介质和设备,属于计算机技术领域,能够保证追踪的完整性。一种目标追踪方法,包括:对多相机***中的长焦相机拍摄的所有长焦图像帧进行对象检测,并针对每一帧长焦图像,基于对象检测结果构建检测点集合;基于起始追踪点,从每个所述检测点集合中选取对应于所述起始追踪点的目标追踪点;将所选取的目标追踪点连接起来,作为针对所述起始追踪点的追踪序列。
Description
技术领域
本公开涉及计算机技术领域,具体地,涉及一种目标追踪方法、装置、 介质和设备。
背景技术
由于视野有限,单相机的物体或人员追踪只能在有限空间内进行,这使 得很难获得物体或人员运动的完整轨迹,只能通过一小段一小段的轨迹来认 知其运动过程。在对这些轨迹进行整合时,物体或人员的再识别成为一个巨 大的挑战,很难保证追踪的完整性。
发明内容
本公开的目的是提供一种目标追踪方法、装置、介质和设备,能够保证 追踪的完整性。
根据本公开的第一实施例,提供一种目标追踪方法,包括:对多相机系 统中的长焦相机拍摄的所有长焦图像帧进行对象检测,并针对每一帧长焦图 像,基于对象检测结果构建检测点集合;基于起始追踪点,从每个所述检测 点集合中选取对应于所述起始追踪点的目标追踪点;将所选取的目标追踪点 连接起来,作为针对所述起始追踪点的追踪序列。
根据本公开的第二实施例,提供一种目标追踪装置,包括:检测模块, 用于对多相机***中的长焦相机拍摄的所有长焦图像帧进行对象检测,并针 对每一帧长焦图像,基于对象检测结果构建检测点集合;追踪模块,用于基 于起始追踪点,从每个所述检测点集合中选取对应于所述起始追踪点的目标 追踪点;追踪序列确定模块,用于将所选取的目标追踪点连接起来,作为针 对所述起始追踪点的追踪序列。
根据本公开的第三实施例,提供一种计算机可读存储介质,其上存储有 计算机程序,该程序被处理器执行时实现根据本公开第一实施例所述方法的 步骤。
根据本公开的第四实施例,提供一种电子设备,包括:存储器,其上存 储有计算机程序;处理器,用于执行所述存储器中的所述计算机程序,以实 现根据本公开第一实施例所述方法的步骤。
通过采用上述技术方案,能够在多相机***下实现较好的追踪效果,而 且既能输出追踪视频,也可以将追踪画面作为小窗结合到广角视频中,以兼 顾细节和大场面。这种全程追踪的能力为多相机***在更多领域中的应用打 下了基础。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与 下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在 附图中:
图1是根据本公开一种实施例的目标追踪方法的流程图。
图2示出了以每一个为中心,在几组不同焦距、不同距离下的检 测结果对比图。
图3示出了几段追踪效果。
图4展示了几组相机间追踪的示意图。
图5示出了其中一个相机的候选框参数示意图。
图6示出了以候选框中心点的横坐标为例,多项式拟合效果随多项式阶 数的变化的示意图。
图7示出了选用多阶次n=6来对各变量进行多项式拟合平滑的结果示 意图。
图8示出了相机间平滑效果示意图。
图9示出了候选框直接拼接的效果示意图。
图10示出了完成坐标对齐之后的拼接效果示意图。
图11示出了经过泊松图像编辑后的拼接效果示意图。
图12是候选框过度平滑的后果示意图。
图13示出了,对于拍摄的25fps视频素材而言,应用了不同窗长的高斯 滤波器进行滤波操作之后得到的实验结果示意图。
图14示出了动作对比追踪效果示意图。
图15是根据本公开一种实施例的目标追踪装置的示意框图。
图16是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是, 此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
图1是根据本公开一种实施例的目标追踪方法的流程图。如图1所示, 该方法包括以下步骤S11至S13。
在步骤S11中,对多相机***中的长焦相机拍摄的所有长焦图像帧进行 对象检测,并针对每一帧长焦图像,基于对象检测结果构建检测点集合。
多相机***是将广角镜头和长焦镜头相互配合的相机***,其既能覆盖 很大的场景,又能获取足够的精度以进行追踪。
对象指的是诸如人员、物体等。
由于在同一帧长焦图像中通常会存在着多个同一类型的对象,因此,这 里的检测点集合是包括了被追踪对象(也即下文中的目标追踪点)在内的所 有同一类型的对象。举例而言,假设是用多相机***对运动员A进行追踪, 由于同时参与比赛的还有运动员B、运动员C,所以检测点集合里包括了关于运动员A、B和C的检测点,而下文中提及的起始追踪点和目标追踪点均 是指的是运动员A。
为了进行对象检测,可以采用诸如神经网络(例如OpenPose检测框架)、 利用HOG算子的特征提取算法等来实现。
以OpenPose检测框架为例,为了追求检测结果的准确性,在实际检测 过程中可以采用滑动窗的方法将长焦图像送入OpenPose检测框架的例如25 点人体模型中进行检测,其中,滑动窗的高度Hb可以根据人体高度Hh,底 片高度Hs,图像整体高度Hi,镜头焦距f以及相机到被摄人员的距离D,依照 如下经验公式1-1算出:
完成25个关键点检测之后,对每一个关键点都会得到{x,y,P}三元组数 据,其中{x,y}为关键点坐标,P为置信度。对于一些置信度较低的点,检测 结果会将其舍去,导致并非每一个人都有完整的25个关键点检测数据。为 了便于后续处理,可以对每一个人身上检出的有效点坐标求平均得到平均坐 标用这一/>坐标来标记检测到的人的位置,以供后续做追踪处理。 图2示出了以每一个/>为中心,在几组不同焦距、不同距离下的检测结果 对比图。
在步骤S12中,基于起始追踪点,从每个检测点集合中选取对应于起始 追踪点的目标追踪点。
经过步骤S11的对象检测过程,对视频的每一帧t都构建了一个检测点 集合St,则,在步骤S12中,会从检测点集合St中选取目标检测点Pt,将其 连接起来作为追踪序列。这一过程需要给定起始追踪点P0,来标出整个视频 序列中待追踪的目标,而整个过程可以分为单相机的追踪和相机间的追踪。
对于单相机视频序列的追踪,可以采用如下的算法以生成追踪序列,具 体算法流程如下:
其中表示最终生成的追踪点序列,包括对应于每一帧的追踪点Pt;P0表 示一段视频序列中的起始追踪点;Pf表示追踪算法中上一帧的追踪点;St表 示每一帧的检测点集合;/>表示上一次检测点的移动矢量;D(P1,P2)表示计 算P1和P2两点之间的欧氏距离。
根据本公开实施例的追踪算法的基本思想是:对于每一帧图像It,通过 诸如OpenPose的对象检测算法检测出该帧图像的检测点集合St,然后计算St中每一个点St[i]同上一个追踪点Pf之间的欧式距离,找到距离最小的点 P′=St[it],计算出最小距离d′=D(P′,Pf)。若这一最小距离小于阈值d0, 则表明当前点P′到上一追踪点Pf的距离足够小,可以被纳入,在计入的同 时计算本次追踪点的移动矢量/>若这一最小距离大于阈值d0,则表明当前 点P′可能是一个错误检测点,此时利用运动轨迹的延续性,在Pf的基础上沿用上一次的移动矢量,计算/>计入追踪序列/>
遍历同一个相机的所有帧,直到追踪点离开画面边界,即完成了单相机 的目标追踪。图3示出了几段追踪效果,可以看出对于遮挡等情况的鲁棒性 比较高。
对于相机间的追踪而言,由于在多相机***中,相机覆盖区域基本互相 连通,因此可以通过利用相机之间的相对位置关系,对离开上一相机视野的 目标做持续追踪。
假设将目标即将离开的相机记作CF,在其中的最后一个追踪点记作Pt, 所在的图像帧为第t帧。把目标即将进入的相机记作CN,用St+1表示在相机CN的第t+1帧画面中所有的检测点。只需要利用相机之间的位置关系,将Pt的 位置和St+1中各点的位置转移到同一坐标系下,就可以沿用前面描述的单相 机追踪过程进行追踪了。把相机CF到广角相机CO重映射的单应性矩阵记作 HFO,广角相机CO到相机CN重映射的单应性矩阵记作HON,由公式1-2将Pt转 换至CN坐标系下的表示P′t:
P′t=[PNx,PNy] (1-2)
其中,HFO是上一所述长焦相机到所述多相机***中的广角相机重映射 的单应性矩阵;HON是所述多相机***中的广角相机到下一所述长焦相机重 映射的单应性矩阵;是上一所述长焦相机中二维追踪点的齐次坐标、Ptx是 上一所述长焦相机中二维追踪点的横坐标;Pty是上一所述长焦相机中二维 追踪点的纵坐标;/>所述广角相机中二维追踪点的齐次坐标;/>是/>向量 的转置;POz是齐次坐标/>的z分量;/>是下一所述长焦相机中二维追踪点 的齐次坐标;/>是/>向量的转置;PNz是齐次坐标/>的z分量;P′t是下一所述长焦相机中二维追踪点的坐标;PNx、PNy分别是下一所述长焦相机中二维 追踪点的横坐标和纵坐标。
在得到P′t之后,将其作为CN单相机追踪里的初始追踪点P0,沿用前面描 述的单相机追踪算法,即可在相机CN中继续追踪目标。图4展示了几组相机 间追踪的示意图。其中,图4中的上图为CF追踪结果,下图为CN追踪结果。 可以看出,利用多相机***中相机间的相对位置,能够非常简便地完成相机 间的追踪,减小了整个追踪算法的不必要的开销。
在步骤S13中,将所选取的目标追踪点连接起来,作为针对起始追踪点 的追踪序列。
在完成对象追踪之后,还需要以各个追踪点为中心绘制候选框,将候选 框中的内容逐帧输出作为一镜到底视频流。但此时的候选框位置仅仅取决于 目标检测点的位置,抖动非常大,观看体验极差,因此需要对候选框位置做 时域平滑,让输出的视频更加稳定。
下面描述单相机候选框平滑。
用{Cx,Cy,W,H}四元组表示一个候选框,其中(Cx,Cy)代表候选框中心点 的位置,(W,H)代表候选框的宽度和高度。在单相机的画面中,候选框的大 小(W0,H0)都是固定的,因此只需要考虑(Cx,Cy)这两个变量的平滑即可。将 其中一个相机的候选框参数绘制如图5所示。
采用多项式拟合来消除过多的抖动,对(Cx,Cy)这两个变量分别做平滑。 为了保证候选框的初始和最终位置相同,在多项式平滑的过程中需要将首尾 两点固定住,以保证平滑后轨迹的正确性。以候选框中心点的横坐标为例, 多项式拟合效果随多项式阶数的变化如图6所示。
可以观察到,对于这一组数据而言,在多项式阶次达到6之后,拟合效 果并不会随着阶次升高而继续变好,反而在阶次n=7,8时,在曲线末端容 易出现较为明显的凸起。因此本文选用多阶次n=6来对各变量进行多项式 拟合平滑,其平滑结果如图7所示。可见,经过这一平滑操作,同一相机内 部截取的视频画面将不会有剧烈的抖动。
接下来描述相机间候选框平滑。
当追踪目标由相机CF视野移动到相机CN视野中时,如果两相机的焦距相 同,则无需其他操作,直接播放候选框内容即可。如果两相机的焦距不同, 则切换时会产生瞬间的缩放,让观众感觉卡顿,为了解决这一现象,需要在 相机焦距切换时做平滑,将瞬间的焦距切换更改为连续的焦距变化。
分别用fF和fN表示两台相机的焦距,假设在t帧处切换至CN的视频画面, 希望在N帧之内完成焦段的过渡,则相机CN在t至t+N之间帧的候选框大小 需要做下式1-3中的调整:
其中,t是追踪切换时刻下一所述长焦相机的视频帧序号;N是追踪切 换时过渡视频帧的数目;i是从t到N的遍历序号;Wi是第i帧中候选框的宽 度;W0是追踪切换前上一所述长焦相机画面中的候选框宽度;fF是上一所述 长焦相机的焦距;fN是下一所述长焦相机的焦距;Hi是第i帧中候选框的高 度;H0是追踪切换前上一所述长焦相机画面中的候选框高度。
当i=t时,为了匹配焦段而改变候选框大小,当i=t+N 时,Wi=W0,恢复到正常的候选框大小,在i取中间值时,候选框大小以指 数变化率缓缓过渡。N=10的过渡效果(过渡顺序为从左至右、从上至下) 如图8所示,其中第一帧取自CF,后七帧取自CN,可以看到运动员的大小在 逐渐变化,不再有突变。因此,对于焦距不同的相机间切换,使用上述方法 可以对候选框实现较好的平滑效果。
通过采用上述技术方案,能够在多相机***下实现较好的追踪效果,而 且既能输出追踪视频,也可以将追踪画面作为小窗结合到广角视频中,以兼 顾细节和大场面。这种全程追踪的能力为多相机***在更多领域中的应用打 下了基础。
对于高山滑雪这样的运动项目,出于安全考虑,选手们只能单人依次完 成比赛,而无法同台竞技。这使得运动员在训练过程中无法方便地对比自己 同冠军选手在路径选择、动作规范等方面的差别。而根据本公开的实施例则 可以解决这一问题,也即结合协同追踪算法,可以将两位运动员的比赛过程 合成到同一幅画面中,完整地追踪他们“同台竞技”的过程,可以为运动员的训练提供重要参考。
为了实现同框对比,需要利用前面描述的追踪算法得到的候选框序列:
其中下标A和B用于区分两位运动员,XA1(t)用来代指运动员A的广角画 面1中的候选框序列,依此类推。每一个候选框X都由{Cx,Cy,W,H}四元组表 示。为了调节运动员的先后位置,序列和/>之间应当有一定的延迟, 可以用T0来表示这一延迟。则为了合成同框对比效果,需要将任意长焦画面 i的每一组候选框XAi(t),XBi(t+T0)中的内容进行处理,得到合成候选框Xi(t)。
整体而言,根据本公开实施例的同框合成思路如下:将XBi(t+T0)候选 框中的内容PBi(t+T0)拼接到XAi(t)对应的整幅画面IAi(t)中,得到拼接后的画 面Ii(t)。再根据两个候选框的位置给出最终候选框Xi(t),并根据这一候选框 从Ii(t)中选取对应内容,作为输出。
首先是图像拼接,为了将PBi(t+T0)很好地拼接到IAi(t)中,做到同框对 比的效果,可以分两步完成。
第一步是坐标对齐。
由于处在同一相机的视野中,XAi(t)和XBi(t+T0)两个候选框的坐标本身 处于同一坐标系,无需进行坐标变换。但拍摄过程中相机位置不够稳定,如 果直接将PBi(t+T0)这一图像块拼接到图像IAi(t)中,会出现如图9所示细微 的错位现象。这一现象的存在将为后续的拼接效果优化提出挑战。
为了解决这一问题,将IBi(t+T0)这一帧向IAi(t)对齐。用SIFT算子对两 张图提取特征并进行匹配,利用这些匹配点对拟合单应性重映射矩阵HBA。 利用HBA将IBi(t+T0)做重映射,得到图像I′Bi(t+T0)。再利用XBi(t+T0)这 一候选框从I′Bi(t+T0)中框选出图像块P′Bi(t+T0),拼接到图像IAi(t)中即可。 完成坐标对齐之后的拼接效果如图10所示。
第二步是平滑拼接。
如果仅仅是将P′Bi(t+T0)拼接到图像IAi(t)的相应位置,会存在两个问题: 由于颜色不同产生的拼接缝;图像块会对运动员产生遮挡。为了解决这两个 问题,可以采用泊松图像编辑(Poisson Image Editing)进行处理,能对绝大多数的图像拼接做到较好的平滑效果。图11示出了经过泊松图像编辑后的 拼接效果示意图。
经过上述两步拼接过程,可以将两位运动员很好地拼接到了一起,最后 完成候选框的计算即可。对于候选框XAi(t)和XBi(t+T0),只需要取其最小的 包围框,并对包围框的大小做宽高比16:9补全即可。得到的候选框内容如图 11所示。
经过前面描述的平滑拼接之后,得到了最终的候选框序列但如果 对这一序列直接执行如步骤S13中所述的平滑操作,则容易出现图12中所 示的问题,由于平滑过度导致候选框大小偏离实际需要,无法准确地将运动 员框起来,导致一镜到底的效果变差。这一现象的问题主要出在候选框大小 的平滑上。对于多项式拟合这一平滑方法而言,无论将多项式阶数调整至多 高,都无法应对候选框大小较为急剧的变化(如图12)。从而导致需要较大 候选框时,平滑结果给出的候选框偏小,无法把运动员框起来。
这一问题之所以不会在单人追踪中出现,是因为单人追踪时的候选框全 部是以运动员为中心的,候选框大小的轻微改变并不会影响追踪效果。而在 多人动作对比过程中,候选框经过合并,已经不再以运动员为中心了,很可 能出现运动员位于画面边缘的情况。此时如果候选框大小发生改变,就很容 易导致追踪失败。
为了避免上述情况的发生,可以采用高斯滤波来进行平滑,也即,可以 提取平滑拼接后追踪序列的中心点,作为追踪点序列;通过对所述追踪点序 列进行高斯滤波,对平滑拼接后的追踪序列做平滑处理。这样,在保证曲线 整体变化趋势的同时,除去了输出画面里不必要的抖动。图13示出了,对于拍摄的25fps视频素材而言,应用了不同窗长的高斯滤波器进行滤波操作 之后得到的实验结果示意图。实验结果证明了高斯滤波的效果,选用窗长为 13的高斯核进行滤波,取得了不错的效果。图14示出了动作对比追踪效果 示意图。
图15是根据本公开一种实施例的目标追踪装置的示意框图。如图15所 示,该装置包括:检测模块151,用于对多相机***中的长焦相机拍摄的所 有长焦图像帧进行对象检测,并针对每一帧长焦图像,基于对象检测结果构 建检测点集合;追踪模块152,用于基于起始追踪点,从每个检测点集合中选取对应于起始追踪点的目标追踪点;追踪序列确定模块153,用于将所选 取的目标追踪点连接起来,作为针对起始追踪点的追踪序列。
通过采用上述技术方案,能够在多相机***下实现较好的追踪效果,而 且既能输出追踪视频,也可以将追踪画面作为小窗结合到广角视频中,以兼 顾细节和大场面。这种全程追踪的能力为多相机***在更多领域中的应用打 下了基础。
可选地,对于所述多相机***中的各个所述长焦相机的单相机追踪而言, 所述基于起始追踪点,从每个所述检测点集合中选取对应于所述起始追踪点 的目标追踪点,包括:
基于该长焦相机的下一帧长焦图像中的各个检测点与上一帧长焦图像 中的目标追踪点之间的欧式距离,确定所述下一帧长焦图像中的目标追踪点。
可选地,所述基于该长焦相机的下一帧长焦图像中的各个检测点与上一 帧长焦图像中的目标追踪点之间的欧式距离,确定所述下一帧长焦图像中的 目标追踪点,包括:
若该长焦相机的下一帧长焦图像中的各个检测点与上一帧长焦图像中 的目标追踪点之间的欧式距离中的最小欧式距离小于预设阈值,则将最小欧 式距离所对应的检测点作为所述下一帧长焦图像中的目标追踪点,并计算最 小欧式距离所对应的检测点与上一帧长焦图像中的目标追踪点之间的移动矢量;
若该长焦相机的下一帧长焦图像中的各个检测点与上一帧长焦图像中 的目标追踪点之间的欧式距离中的最小欧式距离大于所述预设阈值,则基于 上一帧长焦图像中的目标追踪点及其移动矢量来确定下一帧长焦图像中的 目标追踪点。
可选地,对于所述多相机***中的长焦相机间的追踪而言,所述追踪模 块152还用于:
利用各个所述长焦相机之间的相对位置关系,将上一所述长焦相机的目 标追踪点的位置转换到下一所述长焦相机的坐标系下,得到下一所述长焦相 机的单相机追踪的起始追踪点。
可选地,所述利用各个所述长焦相机之间的相对位置关系,将上一所述 长焦相机的目标追踪点的位置转换到下一所述长焦相机的坐标系下,得到下 一所述长焦相机的单相机追踪的起始追踪点,是利用下述公式来实现的:
P′t=[PNx,PNy]
其中,HFO是上一所述长焦相机到所述多相机***中的广角相机重映射 的单应性矩阵;HON是所述多相机***中的广角相机到下一所述长焦相机重 映射的单应性矩阵;是上一所述长焦相机中二维追踪点的齐次坐标、Ptx是 上一所述长焦相机中二维追踪点的横坐标;Pty是上一所述长焦相机中二维 追踪点的纵坐标;/>所述广角相机中二维追踪点的齐次坐标;/>是/>向量 的转置;POz是齐次坐标/>的z分量;/>是下一所述长焦相机中二维追踪点 的齐次坐标;/>是/>向量的转置;PNz是齐次坐标/>的z分量;P′t是下一所述长焦相机中二维追踪点的坐标;PNx、PNy分别是下一所述长焦相机中二维 追踪点的横坐标和纵坐标。
可选地,所述将所选取的目标追踪点连接起来,作为针对所述起始追踪 点的追踪序列,包括:以各个所述目标追踪点为中心绘制候选框;对所述候 选框进行平滑处理,得到针对所述起始追踪点的追踪序列。
可选地,对于所述多相机***中的各个所述长焦相机的单相机追踪而言, 所述对所述候选框进行平滑处理,包括:通过多项式拟合,对所述候选框进 行平滑处理。
可选地,对于所述多相机***中的长焦相机间的追踪而言,所述对所述 候选框进行平滑处理,包括:基于上一长焦相机与下一长焦相机的焦距,对 下一长焦相机的候选框大小进行调整。
可选地,利用下式对下一长焦相机的候选框大小进行调整:
其中,t是追踪切换时刻下一所述长焦相机的视频帧序号;N是追踪切 换时过渡视频帧的数目;i是从t到N的遍历序号;Wi是第i帧中候选框的宽 度;W0是追踪切换前上一所述长焦相机画面中的候选框宽度;fF是上一所述 长焦相机的焦距;fN是下一所述长焦相机的焦距;Hi是第i帧中候选框的高 度;H0是追踪切换前上一所述长焦相机画面中的候选框高度。
可选地,所述装置还包括合成模块,用于:将不同对象的所述追踪序列 合成到同一画面中。
可选地,所述将不同对象的所述追踪序列合成到同一画面中,包括:将 不同对象的所述追踪序列进行坐标对齐;将坐标对齐后的所述追踪序列平滑 拼接到同一画面中。
可选地,所述合成模块还用于:提取平滑拼接后追踪序列的中心点,作 为追踪点序列;通过对所述追踪点序列进行高斯滤波,对所述平滑拼接后的 追踪序列做平滑处理。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有 关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图16是根据一示例性实施例示出的一种电子设备700的框图。如图16 所示,该电子设备700可以包括:处理器701,存储器702。该电子设备700 还可以包括多媒体组件703,输入/输出(I/O)接口704,以及通信组件705 中的一者或多者。
其中,处理器701用于控制该电子设备700的整体操作,以完成上述的 目标追踪方法中的全部或部分步骤。存储器702用于存储各种类型的数据以 支持在该电子设备700的操作,这些数据例如可以包括用于在该电子设备 700上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任 何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存 取存储器(StaticRandomAccessMemory,简称SRAM),电可擦除可编程只读存储器(ElectricallyErasableProgrammableRead-OnlyMemory,简称EEPROM),可擦除可编程只读存储器 (ErasableProgrammableRead-OnlyMemory,简称EPROM),可编程只读存储器(ProgrammableRead-OnlyMemory,简称PROM),只读存储器 (Read-OnlyMemory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音 频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风, 麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储 器702或通过通信组件705发送。音频组件还包括至少一个扬声器,用于输 出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口,上 述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者 实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无 线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(NearFieldCommunication, 简称NFC),2G、3G或4G,或它们中的一种或几种的组合,因此相应的该通信组件705可以包括:Wi-Fi模块,蓝牙模块,NFC模块。
在一示例性实施例中,电子设备700可以被一个或多个应用专用集成电 路(ApplicationSpecificIntegratedCircuit,简称ASIC)、数字信号处理器(DigitalSignalProcessor,简称DSP)、数字信号处理设备(DigitalSignalProcessingDevice,简称DSPD)、可编程逻辑器件(ProgrammableLogicDevice,简称PLD)、现场可编程门阵列(FieldProgrammableGateArray,简称FPGA)、控制器、微控制器、微处理 器或其他电子元件实现,用于执行上述的目标追踪方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储 介质,该程序指令被处理器执行时实现上述的目标追踪方法的步骤。例如, 该计算机可读存储介质可以为上述包括程序指令的存储器702,上述程序指 令可由电子设备700的处理器701执行以完成上述的目标追踪方法。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限 于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开 的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征, 在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的 重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其 不违背本公开的思想,其同样应当视为本公开所公开的内容。
Claims (13)
1.一种目标追踪方法,其特征在于,包括:
对多相机***中的长焦相机拍摄的所有长焦图像帧进行对象检测,并针对每一帧长焦图像,基于对象检测结果构建检测点集合;
基于起始追踪点,从每个所述检测点集合中选取对应于所述起始追踪点的目标追踪点;
将所选取的目标追踪点连接起来,作为针对所述起始追踪点的追踪序列;
其中,对于所述多相机***中的各个所述长焦相机的单相机追踪而言,所述基于起始追踪点,从每个所述检测点集合中选取对应于所述起始追踪点的目标追踪点,包括:
基于该长焦相机的下一帧长焦图像中的各个检测点与上一帧长焦图像中的目标追踪点之间的欧式距离,确定所述下一帧长焦图像中的目标追踪点;
其中,所述基于该长焦相机的下一帧长焦图像中的各个检测点与上一帧长焦图像中的目标追踪点之间的欧式距离,确定所述下一帧长焦图像中的目标追踪点,包括:
若该长焦相机的下一帧长焦图像中的各个检测点与上一帧长焦图像中的目标追踪点之间的欧式距离中的最小欧式距离小于预设阈值,则将最小欧式距离所对应的检测点作为所述下一帧长焦图像中的目标追踪点,并计算最小欧式距离所对应的检测点与上一帧长焦图像中的目标追踪点之间的移动矢量;
若该长焦相机的下一帧长焦图像中的各个检测点与上一帧长焦图像中的目标追踪点之间的欧式距离中的最小欧式距离大于所述预设阈值,则利用运动轨迹的延续性,基于上一帧长焦图像中的目标追踪点及其移动矢量来确定下一帧长焦图像中的目标追踪点。
2.根据权利要求1所述的方法,其特征在于,对于所述多相机***中的长焦相机间的追踪而言,所述方法还包括:
利用各个所述长焦相机之间的相对位置关系,将上一所述长焦相机的目标追踪点的位置转换到下一所述长焦相机的坐标系下,得到下一所述长焦相机的单相机追踪的起始追踪点。
3.根据权利要求2所述的方法,其特征在于,所述利用各个所述长焦相机之间的相对位置关系,将上一所述长焦相机的目标追踪点的位置转换到下一所述长焦相机的坐标系下,得到下一所述长焦相机的单相机追踪的起始追踪点,是利用下述公式来实现的:
P′t=[PNx,PNy]
其中,HFO是上一所述长焦相机到所述多相机***中的广角相机重映射的单应性矩阵;HON是所述多相机***中的广角相机到下一所述长焦相机重映射的单应性矩阵;是上一所述长焦相机中二维追踪点的齐次坐标、Ptx是上一所述长焦相机中二维追踪点的横坐标;Pty是上一所述长焦相机中二维追踪点的纵坐标;/>所述广角相机中二维追踪点的齐次坐标;/>是/>向量的转置;POz是齐次坐标/>的z分量;/>是下一所述长焦相机中二维追踪点的齐次坐标;/>是/>向量的转置;PNz是齐次坐标/>的z分量;P′t是下一所述长焦相机中二维追踪点的坐标;PNx、PNy分别是下一所述长焦相机中二维追踪点的横坐标和纵坐标。
4.根据权利要求1所述的方法,其特征在于,所述将所选取的目标追踪点连接起来,作为针对所述起始追踪点的追踪序列,包括:
以各个所述目标追踪点为中心绘制候选框;
对所述候选框进行平滑处理,得到针对所述起始追踪点的追踪序列。
5.根据权利要求4所述的方法,其特征在于,对于所述多相机***中的各个所述长焦相机的单相机追踪而言,所述对所述候选框进行平滑处理,包括:
通过多项式拟合,对所述候选框进行平滑处理。
6.根据权利要求4所述的方法,其特征在于,对于所述多相机***中的长焦相机间的追踪而言,所述对所述候选框进行平滑处理,包括:
基于上一长焦相机与下一长焦相机的焦距,对下一长焦相机的候选框大小进行调整。
7.根据权利要求6所述的方法,其特征在于,利用下式对下一长焦相机的候选框大小进行调整:
其中,t是追踪切换时刻下一所述长焦相机的视频帧序号;N是追踪切换时过渡视频帧的数目;i是从t到N的遍历序号;Wi是第i帧中候选框的宽度;W0是追踪切换前上一所述长焦相机画面中的候选框宽度;fF是上一所述长焦相机的焦距;fN是下一所述长焦相机的焦距;Hi是第i帧中候选框的高度;H0是追踪切换前上一所述长焦相机画面中的候选框高度。
8.根据权利要求1至7中任一权利要求所述的方法,其特征在于,所述方法还包括:
将不同对象的所述追踪序列合成到同一画面中。
9.根据权利要求8所述的方法,其特征在于,所述将不同对象的所述追踪序列合成到同一画面中,包括:
将不同对象的所述追踪序列进行坐标对齐;
将坐标对齐后的所述追踪序列平滑拼接到同一画面中。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
提取平滑拼接后追踪序列的中心点,作为追踪点序列;
通过对所述追踪点序列进行高斯滤波,对所述平滑拼接后的追踪序列做平滑处理。
11.一种目标追踪装置,其特征在于,包括:
检测模块,用于对多相机***中的长焦相机拍摄的所有长焦图像帧进行对象检测,并针对每一帧长焦图像,基于对象检测结果构建检测点集合;
追踪模块,用于基于起始追踪点,从每个所述检测点集合中选取对应于所述起始追踪点的目标追踪点;
追踪序列确定模块,用于将所选取的目标追踪点连接起来,作为针对所述起始追踪点的追踪序列;
其中,对于所述多相机***中的各个所述长焦相机的单相机追踪而言,所述追踪模块基于起始追踪点,从每个所述检测点集合中选取对应于所述起始追踪点的目标追踪点,包括:
基于该长焦相机的下一帧长焦图像中的各个检测点与上一帧长焦图像中的目标追踪点之间的欧式距离,确定所述下一帧长焦图像中的目标追踪点;
其中,所述追踪模块基于该长焦相机的下一帧长焦图像中的各个检测点与上一帧长焦图像中的目标追踪点之间的欧式距离,确定所述下一帧长焦图像中的目标追踪点,包括:
若该长焦相机的下一帧长焦图像中的各个检测点与上一帧长焦图像中的目标追踪点之间的欧式距离中的最小欧式距离小于预设阈值,则将最小欧式距离所对应的检测点作为所述下一帧长焦图像中的目标追踪点,并计算最小欧式距离所对应的检测点与上一帧长焦图像中的目标追踪点之间的移动矢量;
若该长焦相机的下一帧长焦图像中的各个检测点与上一帧长焦图像中的目标追踪点之间的欧式距离中的最小欧式距离大于所述预设阈值,则利用运动轨迹的延续性,基于上一帧长焦图像中的目标追踪点及其移动矢量来确定下一帧长焦图像中的目标追踪点。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-10中任一项所述方法的步骤。
13.一种电子设备,其特征在于,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1-10中任一项所述方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011562357.0A CN113012194B (zh) | 2020-12-25 | 2020-12-25 | 目标追踪方法、装置、介质和设备 |
US17/235,237 US11734840B2 (en) | 2020-12-25 | 2021-04-20 | Target tracking method, device, medium and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011562357.0A CN113012194B (zh) | 2020-12-25 | 2020-12-25 | 目标追踪方法、装置、介质和设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113012194A CN113012194A (zh) | 2021-06-22 |
CN113012194B true CN113012194B (zh) | 2024-04-09 |
Family
ID=76383741
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011562357.0A Active CN113012194B (zh) | 2020-12-25 | 2020-12-25 | 目标追踪方法、装置、介质和设备 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11734840B2 (zh) |
CN (1) | CN113012194B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104751136A (zh) * | 2015-03-11 | 2015-07-01 | 西安理工大学 | 一种基于人脸识别的多相机视频事件回溯追踪方法 |
CN106127802A (zh) * | 2016-06-16 | 2016-11-16 | 南京邮电大学盐城大数据研究院有限公司 | 一种运动目标轨迹追踪方法 |
CN106709938A (zh) * | 2016-11-18 | 2017-05-24 | 电子科技大学 | 基于改进tld的多目标追踪方法 |
CN107194954A (zh) * | 2017-03-31 | 2017-09-22 | 上海体育学院 | 多视角视频的球员追踪方法和装置 |
WO2018135922A1 (ko) * | 2017-01-23 | 2018-07-26 | 광주과학기술원 | 다중 카메라 환경에서의 관심 객체를 실시간으로 추적하기 위한 방법 및 시스템 |
CN108615248A (zh) * | 2018-04-27 | 2018-10-02 | 腾讯科技(深圳)有限公司 | 相机姿态追踪过程的重定位方法、装置、设备及存储介质 |
CN109191497A (zh) * | 2018-08-15 | 2019-01-11 | 南京理工大学 | 一种基于多种信息融合的实时在线多目标跟踪方法 |
CN111161313A (zh) * | 2019-12-16 | 2020-05-15 | 华中科技大学鄂州工业技术研究院 | 一种视频流中的多目标追踪方法及装置 |
CN111383252A (zh) * | 2018-12-29 | 2020-07-07 | 曜科智能科技(上海)有限公司 | 多相机目标追踪方法、***、装置及存储介质 |
CN111954886A (zh) * | 2019-06-14 | 2020-11-17 | 北京嘀嘀无限科技发展有限公司 | 对象追踪的***和方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ATE280978T1 (de) * | 1997-01-30 | 2004-11-15 | Yissum Res Dev Co | Mosaikbildverarbeitungssystem |
US8180107B2 (en) * | 2009-02-13 | 2012-05-15 | Sri International | Active coordinated tracking for multi-camera systems |
JP6755713B2 (ja) * | 2016-05-25 | 2020-09-16 | キヤノン株式会社 | 追尾装置、追尾方法及びプログラム |
EP3506201A1 (fr) * | 2017-12-26 | 2019-07-03 | Bull Sas | Système et procédé adaptatifs de suivi automatique d au moins une cible dans au moins un flux vidéo |
CN109033972A (zh) * | 2018-06-27 | 2018-12-18 | 上海数迹智能科技有限公司 | 一种目标检测方法、装置、设备及存储介质 |
US11809998B2 (en) * | 2020-05-20 | 2023-11-07 | Qualcomm Incorporated | Maintaining fixed sizes for target objects in frames |
CN111833383B (zh) * | 2020-07-27 | 2021-02-09 | 西南石油大学 | 二维联合局部位移拟合的区域增长贝叶斯运动追踪方法 |
-
2020
- 2020-12-25 CN CN202011562357.0A patent/CN113012194B/zh active Active
-
2021
- 2021-04-20 US US17/235,237 patent/US11734840B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104751136A (zh) * | 2015-03-11 | 2015-07-01 | 西安理工大学 | 一种基于人脸识别的多相机视频事件回溯追踪方法 |
CN106127802A (zh) * | 2016-06-16 | 2016-11-16 | 南京邮电大学盐城大数据研究院有限公司 | 一种运动目标轨迹追踪方法 |
CN106709938A (zh) * | 2016-11-18 | 2017-05-24 | 电子科技大学 | 基于改进tld的多目标追踪方法 |
WO2018135922A1 (ko) * | 2017-01-23 | 2018-07-26 | 광주과학기술원 | 다중 카메라 환경에서의 관심 객체를 실시간으로 추적하기 위한 방법 및 시스템 |
CN107194954A (zh) * | 2017-03-31 | 2017-09-22 | 上海体育学院 | 多视角视频的球员追踪方法和装置 |
CN108615248A (zh) * | 2018-04-27 | 2018-10-02 | 腾讯科技(深圳)有限公司 | 相机姿态追踪过程的重定位方法、装置、设备及存储介质 |
CN109191497A (zh) * | 2018-08-15 | 2019-01-11 | 南京理工大学 | 一种基于多种信息融合的实时在线多目标跟踪方法 |
CN111383252A (zh) * | 2018-12-29 | 2020-07-07 | 曜科智能科技(上海)有限公司 | 多相机目标追踪方法、***、装置及存储介质 |
CN111954886A (zh) * | 2019-06-14 | 2020-11-17 | 北京嘀嘀无限科技发展有限公司 | 对象追踪的***和方法 |
CN111161313A (zh) * | 2019-12-16 | 2020-05-15 | 华中科技大学鄂州工业技术研究院 | 一种视频流中的多目标追踪方法及装置 |
Non-Patent Citations (2)
Title |
---|
Xindi Zhang ; Ebroul Izquierdo.Real-Time Multi-Target Multi-Camera Tracking with Spatial-Temporal Information.《2019 IEEE Visual Communications and Image Processing (VCIP)》.2019,全文. * |
基于视觉技术的蛋鸡信息监测方法与应用研究;刘修林;《CNKI》;全文 * |
Also Published As
Publication number | Publication date |
---|---|
US11734840B2 (en) | 2023-08-22 |
CN113012194A (zh) | 2021-06-22 |
US20220207754A1 (en) | 2022-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110969097B (zh) | 监控目标联动跟踪控制方法、设备及存储装置 | |
US9786064B2 (en) | Multi-camera control apparatus and method to maintain location and size of object in continuous viewpoint switching service | |
CN103988227B (zh) | 用于图像捕获目标锁定的方法和装置 | |
CN111888762A (zh) | 游戏中镜头视角的调整方法及电子设备 | |
JP4586709B2 (ja) | 撮像装置 | |
US20230132407A1 (en) | Method and device of video virtual background image processing and computer apparatus | |
KR20150050172A (ko) | 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법 | |
US20210051273A1 (en) | Photographing control method, device, apparatus and storage medium | |
KR20140009489A (ko) | 파노라마 포토그래피에 대한 위치 센서-보조 이미지 등록 | |
JP4389901B2 (ja) | スポーツ競技におけるカメラ自動制御システム、カメラ自動制御方法、カメラ自動制御装置、およびプログラム | |
CN112016371B (zh) | 人脸关键点检测方法、装置、设备及存储介质 | |
CN112381003B (zh) | 动作捕捉方法、装置、设备及存储介质 | |
KR101804199B1 (ko) | 입체 파노라마 영상을 생성하는 장치 및 방법 | |
CN115731266A (zh) | 跨相机多目标跟踪方法、装置、设备及可读存储介质 | |
Sabirin et al. | Toward real-time delivery of immersive sports content | |
JP6055223B2 (ja) | 射影変換映像生成装置及びそのプログラム、並びに、多視点映像表現装置 | |
KR102037997B1 (ko) | 전자 장치 및 콘텐츠 생성 방법 | |
CN113012194B (zh) | 目标追踪方法、装置、介质和设备 | |
CN109978908A (zh) | 一种适应大尺度形变的单目标快速跟踪定位方法 | |
JP2011101165A (ja) | 連動撮影システム | |
JPH042281A (ja) | 自動合焦装置 | |
CN112001224A (zh) | 基于卷积神经网络的视频采集方法和视频采集*** | |
Kakli et al. | Minimization of parallax artifacts in video stitching for moving foregrounds | |
CN115589532A (zh) | 防抖处理方法、装置、电子设备和可读存储介质 | |
Xu et al. | Generating VR live videos with tripod panoramic rig |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |