CN116132798B - 一种智能摄像头的自动跟拍方法 - Google Patents

一种智能摄像头的自动跟拍方法 Download PDF

Info

Publication number
CN116132798B
CN116132798B CN202310051676.2A CN202310051676A CN116132798B CN 116132798 B CN116132798 B CN 116132798B CN 202310051676 A CN202310051676 A CN 202310051676A CN 116132798 B CN116132798 B CN 116132798B
Authority
CN
China
Prior art keywords
image
target
analyzed
feature points
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310051676.2A
Other languages
English (en)
Other versions
CN116132798A (zh
Inventor
程伟
杨丽丹
杨顺作
杨丽香
杨金燕
杨丽霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Telesin Digital Ltd
Original Assignee
Shenzhen Telesin Digital Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Telesin Digital Ltd filed Critical Shenzhen Telesin Digital Ltd
Priority to CN202310051676.2A priority Critical patent/CN116132798B/zh
Publication of CN116132798A publication Critical patent/CN116132798A/zh
Application granted granted Critical
Publication of CN116132798B publication Critical patent/CN116132798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理领域,具体涉及一种智能摄像头的自动跟拍方法,包括:获取待分析图像的各个目标特征点以及各个目标特征点的移动方向以及移动幅度;根据待分析图像中各个目标特征点与其他目标特征点之间的方向相似性以及幅度相似性得到各个目标特征点的稳定程度;根据各个目标特征点对应的横向均匀程度以及第一横向均匀程度得到各个目标特征点的横向特征强度;获取各个目标特征点的纵向特征强度,得到各个目标特征点的整体特征强度,进而得到各个目标特征点的参考权重;根据待分析图像中各个目标特征点的参考权重以及坐标、移动方向和移动幅度得到摄像头的移动方向和移动角度。本发明可以更加快速、稳定地对固定目标进行跟拍。

Description

一种智能摄像头的自动跟拍方法
技术领域
本发明涉及图像处理领域,具体涉及一种智能摄像头的自动跟拍方法。
背景技术
摄像头自动跟拍功能目前的应用较为广泛,主要用于对移动物体的自动跟踪,自动追踪等等,例如户外直播以及线上会议等存在人员走动现象的场景,常规的摄像头自动跟拍技术利用被动红外追踪功能或者在目标物体上设置目标点进行跟踪,跟踪完成之后还需要获取整体的目标,在获取整体目标的中心部位作为对焦中心,使得整个流程较为繁琐,计算量大,使得摄像头自动跟拍功能也存在一定的缺陷,例如,摄像头无法对焦拍摄清晰的视频或者图像,以及摄像头的跟踪速度无法赶上目标的移动速度,使得摄像头的跟踪速度始终滞后于目标的移动速度,从而拍摄的视频或者图像存在一定的滞后性,影响观感;此外,目标物体在移动过程中,目标物体在一种可图像中的特征也会发生变化,因此设计一种可以快速、稳定地对固定目标进行跟拍的方法是非常重要的。
发明内容
本发明提供一种智能摄像头的自动跟拍方法,以解决现有的问题。
本发明的一种智能摄像头的自动跟拍方法采用如下技术方案:
本发明一个实施例提供了一种智能摄像头的自动跟拍方法,该方法包括以下步骤:
获取目标物体的第一参考图像、待分析图像以及待分析图像的第二参考图像;
将第一参考图像以及第二参考图像中各个特征点与待参考图像中各个特征点进行匹配,得到待分析图像的各个目标特征点;
根据待分析图像中各个目标特征点与第二参考图像中相匹配的特征点的坐标得到各个目标特征点的移动方向以及移动幅度;根据待分析图像中各个目标特征点与其他目标特征点之间的方向相似性以及幅度相似性得到各个目标特征点的稳定程度;
根据待分析图像中所有目标特征点的横坐标得到第一横向均匀程度;根据去除待分析图像中各个目标特征点后,剩余目标特征点的横坐标得到各个目标特征点对应的横向均匀程度;根据待分析图像中各个目标特征点对应的横向均匀程度以及第一横向均匀程度得到各个目标特征点的横向特征强度;获取各个目标特征点的纵向特征强度;根据各个目标特征点的横向特征强度以及纵向特征强度得到各个目标特征点的整体特征强度;根据各个目标特征点的稳定程度以及整体特征强度得到各个目标特征点的参考权重;
根据待分析图像中各个目标特征点的参考权重以及坐标、移动方向和移动幅度得到待分析图像的中心点、整体移动方向以及整体移动幅度;根据待分析图像的中心点以及整体移动方向得到预测对焦中心;根据待分析图像的中心点与预测对焦中心的坐标、整体移动幅度得到摄像头的移动方向和移动角度。
优选的,所述获取目标物体的第一参考图像、待分析图像以及待分析图像的第二参考图像的方法为:将摄像头跟拍之前采集的目标物体图像记为第一参考图像;将当前时刻采集的图像称为待分析图像;将上一时刻采集的图像称为待分析图像的第二参考图像。
优选的,所述第一参考图像以及第二参考图像中各个特征点是指目标物体在第一参考图像与第二参考图像对应区域中的特征点。
优选的,所述待分析图像的各个目标特征点的获取步骤包括:
计算待分析图像的各个特征点与第一参考图像中相匹配的特征点的描述子之间的欧氏距离,记为待分析图像的各个特征点的第一欧氏距离;计算待分析图像的各个特征点与第二参考图像中相匹配的特征点的描述子之间的欧氏距离,记为待分析图像的各个特征点的第二欧氏距离,根据所述第一欧式距离与所述第二欧式距离得到待分析图像的各个特征点的目标概率;根据各个特征点的目标概率得到待分析图像的各个目标特征点。
优选的,所述各个目标特征点的稳定程度的获取方法为:
以任意一个目标特征点为待分析特征点;计算待分析特征点与其他各个目标特征点的移动方向之间的夹角得到待分析特征点与其他各个特征点的方向相似性;根据待分析特征点与其他各个目标特征点的移动幅度之间的差值得到待分析特征点与其他各个目标特征点的幅度相似性;将待分析特征点与其他各个目标特征点的方向相似性与幅度相似性相乘,计算待分析特征点与其他所有目标特征点对应的乘积之间的累加和作为待分析特征点的稳定程度;
以待分析图像中的各个目标特征点为待分析特征点,得到各个目标特征点的稳定程度。
优选的,所述第一横向均匀程度的获取表达式为:
Figure SMS_1
式中,
Figure SMS_2
为第一横向均匀程度;M为待分析图像中所有目标特征点的横坐标种类 数;
Figure SMS_3
表示第u种横坐标的值;
Figure SMS_4
为第u+1种横坐标的值;
Figure SMS_5
为待分析图像中的所有目标 特征点的最大横坐标;
Figure SMS_6
为待分析图像中的所有目标特征点的最小横坐标。
优选的,所述待分析图像中所有目标特征点的横坐标种类数的获取方法为:将具有相同值的所有横坐标称为一种横坐标,得到所有目标特征点的横坐标种类数。
优选的,所述各个目标特征点的横向特征强度的获取方法包括:
计算各个目标特征点对应的横向均匀程度与第一横向均匀程度之间的比值,使用特征强度映射模型对所得比值进行映射,将所得映射结果作为各个目标特征点的横向特征强度。
本发明的有益效果是:首先根据第一参考图像与第二参考图像对待分析图像进行目标物体对应的各个目标特征点进行提取,从而避免因目标物体的运动过程中部分特征发生丢失而导致地对目标物体识别的准确性较低的现象出现;然后根据待分析图像中各个目标特征点的稳定程度以及整体特征强度对各个目标特征点设置参考权重,结合各个目标特征点的坐标得到摄像头的预测对焦中心,其中通过各个目标特征点的稳定程度避免目标物体因存在局部移动,导致摄像头对焦中心不断发生变化,进而避免画面频繁抖动,保证用户体验;通过各个目标特征点在目标物体对应区域的分布情况得到各个目标特征点的整体特征强度,使得目标特征点可以尽量均匀地分布在目标物体对应区域内,可以更加准确地反映目标物体的整体特征;最后根据各个目标特征点的参考权重、移动方向以及移动幅度得到目标物体的整体移动方向以及整体移动幅度,根据预测对焦中心的坐标、整体移动方向以及整体移动幅度确定摄像头的移动方向以及移动角度,由此实现对摄像头的位姿进行调整,并根据预测对焦中心提前对目标物体在下一时刻进行对焦,以保证目标物体在摄像头采集的图像中始终位于图像中央并始终保持清晰状态。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的一种智能摄像头的自动跟拍方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种智能摄像头的自动跟拍方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种智能摄像头的自动跟拍方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种智能摄像头的自动跟拍方法的步骤流程图,该方法包括以下步骤:
步骤S001:获取目标物体的第一参考图像、待分析图像以及待分析图像的第二参考图像。
由于实际环境可能较为复杂,对于固定目标的识别,首先需要对目标物体进行图像采集,得到第一参考图像;
但是目标物体在运动过程中,相对于摄像头的角度会发生变化,使得不同时刻采集的图像中目标物体的特征会出现丢失,导致会将实际环境中的其他物体错误地识别为目标物体,而摄像头具有较高的采集频率,因此目标物体在相邻时刻中是连续变化的,也就是说,当前时刻所采集的图像中目标物体与上一时刻的目标物体具有较高地相似性,为了保证对目标物体识别地准确性,本实施例将上一时刻采集的图像作为第二参考图像,用以在待分析图像中目标物体特征丢失较为严重时,辅助目标物体的识别。
设当前时刻为第t个时刻,则以第t-1个时刻采集的图像为第二参考图像;当t=1时,该时刻的第二参考图像也是第一参考图像,即本实施例将当前第t个时刻采集的图像称为待分析图像;将第t-1个时刻采集的图像作为待分析图像的第二参考图像;将跟拍之前采集的目标物体图像称为待分析图像的第一参考图像,并使用矩形框人工标注出目标物体区域,例如在户外直播中,将需要跟拍的主播的人脸图像作为第一参考图像。
步骤S002:根据第一参考图像以及第二参考图像得到待参考图像中的各个目标特征点。
要对目标物体进行识别,需要先提取出目标物体在图像中对应的区域,但是由于目标物体所处环境较为复杂,待分析图像中对应的各个特征点并不完全是目标物体,因此需要提取出待分析图像中目标物体对应的各个特征点,故首先使用SIFT算子对待分析图像、第一参考图像以及第二参考图像分别进行特征点检测,得到待分析图像、第一参考图像以及第二参考图像对应的各个特征点以及各个特征点对应的描述子,后续对待分析图像与第一参考图像以及第二参考图像进行特征点匹配时,只对第一参考图像与第二参考图像的目标物体对应的特征点进行分析,即后续分析过程中,本实施例的第一参考图像以及第二参考图像中各个特征点是指目标物体在第一参考图像与第二参考图像对应区域中的特征点;
然后将待分析图像中的各个特征点与第一参考图像中的各个特征点进行特征点匹配,即计算待分析图像中每个特征点与第一参考图像中所有特征点的描述子之间的欧氏距离,将第一参考图像中最小欧氏距离对应的特征点作为与待分析图像中该特征点相匹配的特征点,特征点匹配方法为公知技术,此处不再赘述。由此得到待分析图像中各个特征点在第一参考图像中相匹配的特征点,同理,获取待分析图像中各个特征点在第二参考图像中相匹配的特征点;
当待分析图像中与第一参考图像中相互匹配的特征点对的数量较少时,表示此时待分析图像中目标物体的特征丢失较为严重,为了保证对目标物体的准确识别,需要结合第二参考图像进行目标物体的识别,从而得到待分析图像中属于目标物体的各个特征点,将这些特征点称为待分析图像中的各个目标特征点;需要说明的是,由于待分析图像中的第二参考图像为上一时刻采集的图像,因此本实施例中第一参考图像以及当前第t个时刻之前采集的每个图像中目标物体对应的特征点都是可以确定的,即第二参考图像中目标物体对应特征点是已知的;
由于第二参考图像中目标物体也已经发生了丢失,可能会将实际场景中的其他非目标物体错误地识别为目标物体,而由于待分析图像中目标物体发生了角度变化,可能也会出现新的特征点,即无法在第一参考图像中找到相匹配的特征点,因此需要结合第一参考图像以及第二参考图像对待分析图像中的目标物体进行识别,而当待分析图像中的一个特征点在第一参考图像与第二参考图像中均存在时,表示该特征点具有更强的特征性,对应其属于目标物体的概率更高;本实施例以待分析图像中各个特征点与第一参考图像中相匹配的特征点之间的欧氏距离以及各个特征点与第二参考图像中相匹配的特征点之间的欧氏距离得到各个特征点的目标概率,则待分析图像中第i个特征点属于目标物体的目标概率可表示为:
Figure SMS_7
式中,
Figure SMS_8
为待分析图像中第i个特征点的目标概率;
Figure SMS_9
为待分析图像中第i个特征点 与第一参考图像中相匹配的特征点的描述子之间的欧氏距离,即第i个特征点的第一欧式 距离,用以表征这两个特征点之间的相似度;
Figure SMS_10
为该第i个特征点与第二参考图像中相匹配 的特征点的描述子之间的欧氏距离,即第i个特征点的第二欧式距离;e为自然常数。
Figure SMS_11
越小,表示待分析图像中第i个特征点与第一参考图像中相匹配的特征点之 间的匹配程度越高,该第i个特征点属于目标特征点的目标概率越高,因此
Figure SMS_12
Figure SMS_13
与第i个特 征点的目标概率呈负相关关系,
设置概率阈值
Figure SMS_14
,该值可根据实际情况自行设定,本实施例中设置的概率阈值为 0.8,当
Figure SMS_15
时,认为该第i个特征点为待分析图像的目标特征点,否则认为该第i个特征点 不为待分析图像的目标特征点,由此得到待分析图像中的各个目标特征点。
步骤S003:根据待分析图像中各个目标特征点的移动方向以及移动幅度得到各个目标特征点的稳定程度;根据各个目标特征点的横向特征强度以及纵向特征强度得到各个目标特征点的整体特征强度;根据各个目标特征点的稳定程度以及整体特征强度得到各个目标特征点的参考权重。
在摄像头的跟拍过程中,为了保证目标物体在图像中保持清晰,通常会对焦到目标物体的重心,即将目标物体的重心作为对焦中心,但是由于人会存在局部移动,这些局部移动区域会使目标物体的重心发生移动,导致摄像头的对焦中心发生抖动;因此在获取目标物体的对焦中心的过程中,往往更倾向于参考移动幅度较小的稳定特征点,例如:相对于人的四肢对应的特征点,人的躯干对应的特征点往往具有更高稳定性,因此对焦中心的获取应该对躯干部分的特征点设置更高的参考权重。
其中稳定性高的目标特征点可以表征目标物体在移动过程中的整体移动方向,即 目标物体的大多数目标特征点具有相同的移动方向以及移动幅度,因此本实施例根据各个 目标特征点的移动程度以及各个目标特征点的特征点强度得到各个目标特征点的稳定程 度,其中待分析图像中第k个目标特征点的稳定程度
Figure SMS_16
可以表示为;
Figure SMS_17
式中,
Figure SMS_18
为待分析图像中第k个目标特征点在第二参考图像中相匹配的特征点坐 标之间的欧氏距离,用以表征该第k个目标特征点的移动幅度;
Figure SMS_19
为待分析图像中第j个目 标特征点的移动幅度;N为待参考图像中目标特征点的个数;
Figure SMS_20
为待分析图像中的第k个目 标特征点的移动方向,该移动方向是指以该第k个目标特征点的坐标为起点,以该目标特征 点在第二参考图像中相匹配的特征点为终点得到的方向向量;
Figure SMS_21
为待分析图像中的第j个 目标特征点的移动方向;
Figure SMS_22
为以自然常数为底的指数函数。
Figure SMS_23
表示待分析图像中第k个目标特征点与第j个目标特征点的幅度相 似性,当第k个目标特征点特征点与第j个目标特征点之间的移动幅度差值越小时,表示这 两个目标特征点的移动幅度越相似,对应的幅度相似度越高;
Figure SMS_24
表示待分析图像中第k个目标特征点与第j个目标特征点的方向相似性,当 第i个目标特征点与待分析图像中的其他目标特征点之间的移动方向之间的夹角越小,对 应该目标特征点与其他目标特征点的移动方向之间具有较高的相似性;
由于待分析图像中稳定性较高的目标特征点需要保证其与待分析图像中大多数目标特征点之间的移动方向以及移动幅度具有较高相似性,如果一个目标特征点与待分析图像中其他目标特征点对应移动幅度以及移动方向之间均具有较高的相似性,此时才认为该目标特征点可以表征目标物体的整体移动方向,二者缺一不可;本实施例根据待分析图像中各个目标特征点与其他目标特征点之间的方向相似性以及移动幅度相似性得到各个目标特征点的稳定程度。
由于实际跟拍过程中需要对目标物体整体进行跟拍,因此本实施例除了要保证获 取对焦中心所需参考的目标特征点具有较高的稳定性之外,还期望这些目标特征点可以反 映目标物体的整体特征,即这些目标特征点尽量均匀地分布在目标物体对应区域,如果此 时这些目标特征点分布越均匀,各个目标特征点的稳定程度越高,根据这些目标特征点获 取的对焦中心位置才会更准确,故获取待分析图像中的所有目标特征点的最大横坐标
Figure SMS_25
与最小横坐标
Figure SMS_26
将待分析图像中各个目标特征点在横轴方向以及纵轴方向上对目标特征点的分布均匀性的影响程度得到各个目标特征点的特征强度,例如,对于横轴方向上的一个目标特征点,判断去除该目标特征点后,剩余的目标特征点的均匀程度得到该目标特征点的重要程度,当去除该目标特征点后,剩余目标特征点的均匀程度降低时,表示该目标特征点的重要程度越高,对应其越能表征目标物体的整体特征,即该目标特征点的整体特征强度越高;
统计待分析图像中所有目标特征点的横坐标种类数,本实施例中具有相同横坐标 的一个或多个目标特征点划分为一类,由此得到M个类别,将所得各个类别按照对应横坐标 从小到大进行排序,则每个类别对应一种横坐标,即本实施例中将相同值的所有横坐标称 为一种横坐标,所得类别的个数M即为待分析图像中所有目标特征点的横坐标种类数;则待 分析图像中第k个目标特征点的横向特征强度
Figure SMS_27
可表示为:
Figure SMS_28
Figure SMS_29
式中,
Figure SMS_30
表示未去除目标特征点时,待分析图像中所有目标特征点的横向均匀程 度,即第一横向均匀程度;
Figure SMS_31
未去除第k个目标特征点后,待分析图像的横向均匀程度,即第 k个目标特征点对应的横向均匀程度;M为待分析图像中所有目标特征点的横坐标种类数;
Figure SMS_32
表示第u种横坐标的值;
Figure SMS_33
为第u+1种横坐标的值;
Figure SMS_34
为待分析图像中的所有目标特征 点的最大横坐标;
Figure SMS_35
为待分析图像中的所有目标特征点的最小横坐标,
Figure SMS_36
为以2为底的 对数函数。
理想情况下,待分析图像中所有目标特征点的各种横坐标应该均匀分布在目标物 体的横向分布范围
Figure SMS_37
内,即理想情况下,每种横坐标之间的平均间隔应为
Figure SMS_38
, 但是由于目标物体存在多样性,在实际采集的图像中目标物体可以获取到的特征点可能本 身分布并不均匀,因此本实施例以未去除目标特征点时待分析图像的横向均匀程度
Figure SMS_39
作为 参照值,当相邻的两种横坐标之间的间隔越接***均间隔时,表示此时目标特征点的分布 越均匀,此时
Figure SMS_40
越接近于1,对应的
Figure SMS_41
越大,反之,则
Figure SMS_42
越小;
当去除第k个目标特征点后,根据剩余的目标特征点的横坐标得到的横向均匀程 度越接近于
Figure SMS_43
,即
Figure SMS_44
越接近于1时,表示去除该目标特征点前与去除后,目标物体对应的目标 特征点的分布并不会发生变化,即存在与该目标特征点的横坐标相同的目标特征点,也就 是说去除该目标特征点后,并不影响待分析图像整体特征的表达,对应该目标特征点的横 向特征强度越小,本实施例将此时的目标特征点称为冗余特征点;
当去除掉第k个目标特征点后,每种横坐标之间横向均匀程度越小于
Figure SMS_45
,即
Figure SMS_46
越小 于1时,表示去除该目标特征点后,剩余的目标特征点的横向均匀程度减小,例如,不存在与 该目标特征点横坐标相同的目标特征点,且该目标特征点附近的目标特征点也较为稀疏, 此时去除该目标特征点会对目标物体整体特征的表达产生影响,所得映射结果越大,对应 该目标特征点的横向特征强度也越大,本实施例中将此时的目标特征点称为关键特征点;
当去除掉第k个目标特征点后,根据剩余的目标特征点的横坐标得到的横向均匀 程度越大于
Figure SMS_47
,即
Figure SMS_48
越大于1时,表示去除该目标特征点后,剩余的目标特征点的分布更加均 匀,例如此时虽然不存在与该目标特征点横坐标相同的目标特征点,但是由于该目标特征 点处于目标特征点分布较为密集的区域,因此去除该目标特征点也不会影响待分析图像中 目标物体整体特征的表达,此时该目标特征点的横向特征强度虽然也会变大,但是相对于 关键特征点,其横向特征强度的变化趋势较为缓慢,因此该目标特征点的横向特征强度实 际是相对较小的,本实施例将此时的目标特征点称为可去特征点;
故根据各个目标特征点为冗余特征点、可去特征点还是关键特征点可以得到不同 目标特征点对目标物体整体特征表达的影响程度,影响程度越大的目标特征点对应的横向 特征强度也越大,而冗余特征点的影响程度小于可去特征点以及关键特征点,而相对于会 使横向均匀程度增加的可去特征点,使横向均匀程度减少的关键特征点对目标物体整体特 征表达的影响程度越大,即横向均匀程度变化大小相同的情况下,关键特征点的影响程度 要大于可去特征点,因此使用
Figure SMS_49
为本实施例的特征强度映射模型。
重复上述方法,得到各个目标特征点的横向特征点强度;同理,根据待分析图像中所有目标特征点的纵坐标得到各个目标特征点的纵向特征强度;将各个目标特征点的横向特征强度与纵向特征强度之和得到各个目标特征点的整体特征强度,然后使用线性归一化方法,对各个目标特征点的整体特征强度进行归一化处理,即首先获取所有目标特征点的最大特征强度与最小特征强度;计算各个目标特征点的整体特征强度与最小整体特征强度之间的差值,记为各个目标特征点的第一差值;然后计算最大整体特征强度与最小整体特征强度之间的差值,记为第二差值,最后将各个目标特征点的第一差值与第二差值之间的比值作为各个目标特征点归一化后的整体特征强度,本实施例中,将各个目标特征点归一化后的整体特征强度仍称为各个目标特征点的整体特征强度。
将各个目标特征点的整体特征强度与各个目标特征点的稳定程度进行相乘,所得乘积作为各个目标特征点的参考权重,使用softmax归一化方法对各个目标特征点的参考权重进行归一化处理,将各个目标特征点归一化后的参考权重仍然称为各个目标特征点的参考权重。
步骤S004:根据待分析图像中各个目标特征点的参考权重以及坐标、移动方向和移动幅度得到摄像头的移动方向和移动角度。
以待分析图像中各个目标特征点的参考权重,对各个目标特征点的横坐标进行加权求和,将所得求和结果作为待分析图像的中心点的横坐标;以待分析图像中各个目标特征点的参考权重,对各个目标特征点的纵坐标进行加权求和,将所得求和结果作为待分析图像的中心点的纵坐标,由此得到待分析图像的中心点;
以待分析图像中各个目标特征点的参考权重,对各个目标特征点的移动方向进行加权求和,即对各个移动方向对应的方向向量进行加权求和,将所得结果作为目标物体的整体移动方向,以待分析图像中各个目标特征点的参考权重,对各个目标特征点的移动幅度进行加权求和,将所得结果作为目标物体的整体移动幅度;
然后将待分析图像的中心点按照所得整体移动方向进行移动,将移动后对应位置 的坐标作为下一时刻的预测对焦中心;根据预测对焦中心与待分析图像对应中心点之间的 坐标差异,结合摄像头成像原理得到摄像头的移动方向以及移动角度,其中摄像头的移动 方向与目标物体的整体移动方向相同,摄像头的移动角度可表示为
Figure SMS_50
,其中x为目 标物体的整体移动幅度,f为摄像头的焦距,由此实现对摄像头的位姿进行调整,并根据预 测对焦中心提前对目标物体在下一时刻进行对焦,以保证目标物体在摄像头采集的图像中 始终位于图像中央并始终保持清晰状态。
通过以上步骤,完成了对下一时刻的目标物体的自动跟拍,利用本发明实施例的方法完成之后所有时刻的目标物体的自动跟拍。
本实施例首先根据第一参考图像与第二参考图像对待分析图像进行目标物体对应的各个目标特征点进行提取,从而避免因目标物体的运动过程中部分特征发生丢失而导致地对目标物体识别的准确性较低的现象出现;然后根据待分析图像中各个目标特征点的稳定程度以及整体特征强度对各个目标特征点设置参考权重,结合各个目标特征点的坐标得到摄像头的预测对焦中心,其中通过各个目标特征点的稳定程度避免目标物体因存在局部移动,导致摄像头对焦中心不断发生变化,进而避免画面频繁抖动,保证用户体验;通过各个目标特征点在目标物体对应区域的分布情况得到各个目标特征点的整体特征强度,使得目标特征点可以尽量均匀地分布在目标物体对应区域内,可以更加准确地反映目标物体的整体特征;最后根据各个目标特征点的参考权重、移动方向以及移动幅度得到目标物体的整体移动方向以及整体移动幅度,根据预测对焦中心的坐标、整体移动方向以及整体移动幅度确定摄像头的移动方向以及移动角度,由此实现对摄像头的位姿进行调整,并根据预测对焦中心提前对目标物体在下一时刻进行对焦,以保证目标物体在摄像头采集的图像中始终位于图像中央并始终保持清晰状态。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种智能摄像头的自动跟拍方法,其特征在于,该方法包括以下步骤:
获取目标物体的第一参考图像、待分析图像以及待分析图像的第二参考图像;
将第一参考图像以及第二参考图像中各个特征点与待分析图像中各个特征点进行匹配,得到待分析图像的各个目标特征点;
根据待分析图像中各个目标特征点与第二参考图像中相匹配的特征点的坐标得到各个目标特征点的移动方向以及移动幅度;根据待分析图像中各个目标特征点与其他目标特征点之间的方向相似性以及幅度相似性得到各个目标特征点的稳定程度;
根据待分析图像中所有目标特征点的横坐标得到第一横向均匀程度;根据去除待分析图像中各个目标特征点后,剩余目标特征点的横坐标得到各个目标特征点对应的横向均匀程度;根据待分析图像中各个目标特征点对应的横向均匀程度以及第一横向均匀程度得到各个目标特征点的横向特征强度;获取各个目标特征点的纵向特征强度;根据各个目标特征点的横向特征强度以及纵向特征强度得到各个目标特征点的整体特征强度;根据各个目标特征点的稳定程度以及整体特征强度得到各个目标特征点的参考权重;
根据待分析图像中各个目标特征点的参考权重以及坐标、移动方向和移动幅度得到待分析图像的中心点、整体移动方向以及整体移动幅度;根据待分析图像的中心点以及整体移动方向得到预测对焦中心;根据待分析图像的中心点与预测对焦中心的坐标、整体移动幅度得到摄像头的移动方向和移动角度;
所述获取目标物体的第一参考图像、待分析图像以及待分析图像的第二参考图像的方法为:将摄像头跟拍之前采集的目标物体图像记为第一参考图像;将当前时刻采集的图像称为待分析图像;将上一时刻采集的图像称为待分析图像的第二参考图像;
所述各个目标特征点的横向特征强度的获取方法包括:
计算各个目标特征点对应的横向均匀程度与第一横向均匀程度之间的比值,使用特征强度映射模型对所得比值进行映射,将所得映射结果作为各个目标特征点的横向特征强度;
采用计算横向特征强度相同的方式计算纵向特征强度。
2.根据权利要求1所述的一种智能摄像头的自动跟拍方法,其特征在于,所述第一参考图像以及第二参考图像中各个特征点是指目标物体在第一参考图像与第二参考图像对应区域中的特征点。
3.根据权利要求1所述的一种智能摄像头的自动跟拍方法,其特征在于,所述待分析图像的各个目标特征点的获取步骤包括:
计算待分析图像的各个特征点与第一参考图像中相匹配的特征点的描述子之间的欧氏距离,记为待分析图像的各个特征点的第一欧氏距离;计算待分析图像的各个特征点与第二参考图像中相匹配的特征点的描述子之间的欧氏距离,记为待分析图像的各个特征点的第二欧氏距离,根据所述第一欧氏距离与所述第二欧氏距离得到待分析图像的各个特征点的目标概率;根据各个特征点的目标概率得到待分析图像的各个目标特征点。
4.根据权利要求1所述的一种智能摄像头的自动跟拍方法,其特征在于,所述各个目标特征点的稳定程度的获取方法为:
以任意一个目标特征点为待分析特征点;计算待分析特征点与其他各个目标特征点的移动方向之间的夹角得到待分析特征点与其他各个特征点的方向相似性;根据待分析特征点与其他各个目标特征点的移动幅度之间的差值得到待分析特征点与其他各个目标特征点的幅度相似性;将待分析特征点与其他各个目标特征点的方向相似性与幅度相似性相乘,计算待分析特征点与其他所有目标特征点对应的乘积之间的累加和作为待分析特征点的稳定程度;
以待分析图像中的各个目标特征点为待分析特征点,得到各个目标特征点的稳定程度。
5.根据权利要求1所述的一种智能摄像头的自动跟拍方法,其特征在于,所述第一横向均匀程度的获取表达式为:
Figure QLYQS_1
式中,
Figure QLYQS_2
为第一横向均匀程度;M为待分析图像中所有目标特征点的横坐标种类数;/>
Figure QLYQS_3
表示第u种横坐标的值;/>
Figure QLYQS_4
为第u+1种横坐标的值;/>
Figure QLYQS_5
为待分析图像中的所有目标特征点的最大横坐标;/>
Figure QLYQS_6
为待分析图像中的所有目标特征点的最小横坐标。
6.根据权利要求5所述的一种智能摄像头的自动跟拍方法,其特征在于,所述待分析图像中所有目标特征点的横坐标种类数的获取方法为:将具有相同值的所有横坐标称为一种横坐标,得到所有目标特征点的横坐标种类数。
CN202310051676.2A 2023-02-02 2023-02-02 一种智能摄像头的自动跟拍方法 Active CN116132798B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310051676.2A CN116132798B (zh) 2023-02-02 2023-02-02 一种智能摄像头的自动跟拍方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310051676.2A CN116132798B (zh) 2023-02-02 2023-02-02 一种智能摄像头的自动跟拍方法

Publications (2)

Publication Number Publication Date
CN116132798A CN116132798A (zh) 2023-05-16
CN116132798B true CN116132798B (zh) 2023-06-30

Family

ID=86295199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310051676.2A Active CN116132798B (zh) 2023-02-02 2023-02-02 一种智能摄像头的自动跟拍方法

Country Status (1)

Country Link
CN (1) CN116132798B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102208035A (zh) * 2010-03-31 2011-10-05 爱信艾达株式会社 图像处理***及位置测量***
CN102236901A (zh) * 2011-06-30 2011-11-09 南京大学 基于图论聚类和色彩不变空间的目标跟踪方法
CN103793894A (zh) * 2013-12-04 2014-05-14 国家电网公司 基于云模型元胞自动机角点检测的变电站遥视图像拼接方法
KR20150017832A (ko) * 2013-08-08 2015-02-23 삼성전자주식회사 3d 객체 제어 방법 및 그 장치
CN111147740A (zh) * 2019-12-27 2020-05-12 青岛海信智慧家居***股份有限公司 一种控制智能摄像头的方法及装置
CN113610895A (zh) * 2021-08-06 2021-11-05 烟台艾睿光电科技有限公司 目标跟踪方法、装置、电子设备及可读存储介质
CN113992848A (zh) * 2019-04-22 2022-01-28 深圳市商汤科技有限公司 视频图像处理方法及装置
CN114170267A (zh) * 2020-09-10 2022-03-11 华为技术有限公司 目标跟踪方法、装置、设备及计算机可读存储介质
US11487360B1 (en) * 2021-12-21 2022-11-01 Industrial Technology Research Institute Gaze tracking method and gaze tracking device using ihe same
CN115576329A (zh) * 2022-11-17 2023-01-06 西北工业大学 一种基于计算机视觉的无人驾驶agv小车的避障方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171712B (zh) * 2016-12-07 2022-02-11 富士通株式会社 确定图像相似度的方法和装置
CN112567201B (zh) * 2018-08-21 2024-04-16 深圳市大疆创新科技有限公司 距离测量方法以及设备
CN110895699B (zh) * 2018-09-12 2022-09-13 北京字节跳动网络技术有限公司 用于处理图像的特征点的方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102208035A (zh) * 2010-03-31 2011-10-05 爱信艾达株式会社 图像处理***及位置测量***
CN102236901A (zh) * 2011-06-30 2011-11-09 南京大学 基于图论聚类和色彩不变空间的目标跟踪方法
KR20150017832A (ko) * 2013-08-08 2015-02-23 삼성전자주식회사 3d 객체 제어 방법 및 그 장치
CN103793894A (zh) * 2013-12-04 2014-05-14 国家电网公司 基于云模型元胞自动机角点检测的变电站遥视图像拼接方法
CN113992848A (zh) * 2019-04-22 2022-01-28 深圳市商汤科技有限公司 视频图像处理方法及装置
CN111147740A (zh) * 2019-12-27 2020-05-12 青岛海信智慧家居***股份有限公司 一种控制智能摄像头的方法及装置
CN114170267A (zh) * 2020-09-10 2022-03-11 华为技术有限公司 目标跟踪方法、装置、设备及计算机可读存储介质
CN113610895A (zh) * 2021-08-06 2021-11-05 烟台艾睿光电科技有限公司 目标跟踪方法、装置、电子设备及可读存储介质
US11487360B1 (en) * 2021-12-21 2022-11-01 Industrial Technology Research Institute Gaze tracking method and gaze tracking device using ihe same
CN115576329A (zh) * 2022-11-17 2023-01-06 西北工业大学 一种基于计算机视觉的无人驾驶agv小车的避障方法

Also Published As

Publication number Publication date
CN116132798A (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
Bochinski et al. High-speed tracking-by-detection without using image information
CN109882019B (zh) 一种基于目标检测和动作识别的汽车电动尾门开启方法
KR101615254B1 (ko) 디지털 이미지들에서 얼굴 표정들을 검출
CN114972418B (zh) 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法
Kobayashi et al. 3D Head Tracking using the Particle Filter with Cascaded Classifiers.
CN113592911B (zh) 表观增强深度目标跟踪方法
CN107330918B (zh) 一种基于在线多示例学习的足球视频球员跟踪方法
CN111931654A (zh) 一种人员跟踪智能监测方法、***和装置
CN105913069A (zh) 一种图像识别方法
CN116132798B (zh) 一种智能摄像头的自动跟拍方法
CN109063774B (zh) 图像追踪效果评价方法、装置、设备及可读存储介质
CN114463664B (zh) 一种用于冰球运动的新型冰球追踪方法
CN109359649B (zh) 一种储物装置的存取物识别方法、存储介质及储物装置
CN113763432B (zh) 基于图像清晰度与跟踪稳定性条件的目标检测跟踪方法
CN115457595A (zh) 人脸与人体的关联方法、电子设备以及存储介质
CN109146850B (zh) 一种多色球形目标检测定位方法及执行该方法的存储介质
CN108376394B (zh) 一种基于频域直方图分析的摄像头自动对焦方法和***
Pelisson et al. Brand identification using gaussian derivative histograms
Wang et al. Flow guided siamese network for visual tracking
Kumar et al. Human Face Recognition and Detection System with Genetic and Ant Colony Optimization Algorithm
Badal et al. Multi-object trajectory coupling using online target specific decision making
Feng et al. An improved vibe algorithm of moving target extraction for night infrared surveillance video
Sudeep et al. Tracking players in broadcast sports
CN108965688A (zh) 眼镜拍摄方法、眼镜和存储介质
Chiang et al. An improved mean shift algorithm based tracking system for soccer game analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant