CN107025659B - 基于单位球面坐标映射的全景目标跟踪方法 - Google Patents

基于单位球面坐标映射的全景目标跟踪方法 Download PDF

Info

Publication number
CN107025659B
CN107025659B CN201710231523.0A CN201710231523A CN107025659B CN 107025659 B CN107025659 B CN 107025659B CN 201710231523 A CN201710231523 A CN 201710231523A CN 107025659 B CN107025659 B CN 107025659B
Authority
CN
China
Prior art keywords
target
coordinate
theta
coordinates
phi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710231523.0A
Other languages
English (en)
Other versions
CN107025659A (zh
Inventor
刘龙
潘亚峰
冯宇辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201710231523.0A priority Critical patent/CN107025659B/zh
Publication of CN107025659A publication Critical patent/CN107025659A/zh
Application granted granted Critical
Publication of CN107025659B publication Critical patent/CN107025659B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于单位球面坐标映射的全景目标跟踪方法，具体包括如下步骤：步骤1，选取目标，获取目标中心点坐标
Figure DDA0001266735540000011
并跟踪目标所占有的像素点的个数k1、k2；步骤2，将目标中心点坐标
Figure DDA0001266735540000012
由全景图像坐标系映射到单位球面坐标系得到角度坐标(θ,φ)；步骤3，统计目标模版的颜色直方图信息；步骤4，用粒子滤波方法跟踪更新目标状态，获得最优粒子的角度坐标(θ',φ')；步骤5：将更新后的坐标(θ',φ')映射到图像坐标系得到
Figure DDA0001266735540000013
步骤6：显示跟踪结果；步骤7：读取视频下一帧图像；步骤8：更新坐标点
Figure DDA0001266735540000014
即用坐标点
Figure DDA0001266735540000015
的坐标参数替换
Figure DDA0001266735540000016
中的坐标参数；步骤9：重复步骤2～8直到视频结束帧。解决了由于全景图像畸变导致现有粒子滤波算法不能直接适用于全景图像目标跟踪上的问题。

Description

基于单位球面坐标映射的全景目标跟踪方法
技术领域
本发明属于视觉目标跟踪技术领域，涉及一种基于单位球面坐标映射的全景目标跟踪方法。
背景技术
近年来，视觉跟踪已经成为人工智能、模式识别、计算机图形学、计算机视觉和数字图像处理等领域的主要研究工作之一。目前，国内外各类目标跟踪算法中，基于粒子滤波框架的跟踪算法是使用最多也是跟踪效果最好的。所谓粒子滤波是指：通过寻找一组在状态空间中传播的随机样本来近似的表示概率密度函数，用样本均值代替积分运算，进而获得***状态的最小方差估计的过程，这些样本被形象的称为“粒子”，故而称为粒子滤波。粒子滤波(Particle Filter)的思想基于蒙特卡洛方法(MC)，它是利用粒子集来表示概率，可以用在任何形式的状态空间模型上。其核心思想是通过从后验概率中抽取的随机状态粒子来表达其分布。
普通摄像机的成像范围只有90°左右，视野范围依然很小，缺乏获取大量信息的能力。近几年来，为了弥补普通相机的缺陷，全景成像***逐渐进入了我们的视野当中。学者们利用一个普通CCD摄像机和一个曲面折反射镜搭建出折反射全景成像***。反射镜的类型分为：抛物面反射镜(参见图1(a))、双曲面反射镜(参见图1(b))和椭圆面反射镜(参见图1(c))。
目标在全景相机中形状会发生很大的畸变，普通面阵图像中的目标也会发生畸变，但一般情况下畸变程度都不大，对跟踪鲁棒性的影响可以忽略。而在全景图像中由于全景镜头的几何特性致使全景图像拥有非线性分辨率的特性，这样就会导致目标在全景图像内会发生畸变，发生畸变的目标是无法通过常规计算特征直方图的方法来进行模板匹配的，并且目标在全景图像中不同位置的畸变程度也不一样，由此导致粒子滤波的方法无法应用到全景图像目标跟踪中。
发明内容
本发明的目的是提供一种基于单位球面坐标映射的全景目标跟踪方法，解决了由于全景图像畸变导致现有粒子滤波算法不能直接适用于全景图像目标跟踪上的问题。
本发明所采用的技术方案是，基于单位球面坐标映射的全景目标跟踪方法，具体包括如下步骤：
步骤1，初始化参数，读取第一帧图像，选取目标并用矩形框框选目标，获取目标中心点坐标
Figure GDA0002161926550000021
并跟踪矩形框的长和宽上所占有的像素点的个数t1，t2；
步骤2，将步骤1获取的目标中心点图像坐标
Figure GDA0002161926550000022
由全景图像坐标系映射到单位球面坐标系得到角度坐标(θ,φ)；
步骤3，根据步骤2得到的角度坐标(θ,φ)统计目标模版的颜色直方图信息；
步骤4，用粒子滤波方法跟踪更新目标状态向量
Figure GDA0002161926550000023
得到新的目标状态向量
Figure GDA0002161926550000024
获得最优粒子的角度坐标(θ',φ')；
步骤5：将步骤4更新后得到的最优粒子的角度坐标(θ',φ')映射到图像坐标系得到
Figure GDA0002161926550000031
步骤6：显示跟踪结果；
步骤7：读取视频下一帧图像；
步骤8：更新步骤2中的坐标点
Figure GDA0002161926550000032
即用步骤5最终得到的坐标点
Figure GDA0002161926550000033
的坐标参数替换
Figure GDA0002161926550000034
中的坐标参数；
步骤9：重复步骤2到步骤8直到视频结束帧。
本发明的特点还在于，
其中步骤1的具体过程如下：
步骤1.1，设定粒子数为N，定义单位球面为Xs＝(cos(φ)sinθ,sin(φ)cos(θ),cos(φ))T，其中，φ∈[0,π],θ∈[0,2π]，φ、θ分别表示球面坐标的纬度和经度，设目标状态向量为
Figure GDA0002161926550000035
其中
Figure GDA0002161926550000036
和
Figure GDA0002161926550000037
分别表示球面坐标的纬度φ和经度θ的导数；
步骤1.2，通过如下公式(1)获取摄像机内参数矩阵Kc：
Figure GDA0002161926550000038
其中，fx,fy分别表示在笛卡尔坐标下X轴和Y轴方向下的等效焦距，cx,cy分别表示物理世界一点投影到成像平面在横向和纵向上产生的偏移量；
步骤1.3，读入视频，读取视频的第一帧图像，在视频起始帧图像中手动选取跟踪目标，获取目标中心点图像坐标
Figure GDA0002161926550000039
获取跟踪矩形框的长和宽上所占有的像素点的个数t1，t2。
其中步骤2的具体过程如下：
步骤2.1，根据步骤1中得到的全景图像平面上的目标中心点图像坐标
Figure GDA0002161926550000041
通过如下公式(2)求目标中心点映射为单位球面上的一点
Figure GDA0002161926550000042
Figure GDA0002161926550000043
设一中间变量
Figure GDA0002161926550000044
由如下公式(3)得：
Figure GDA0002161926550000045
通过如下公式(4)求Hc：
Hc＝KcMcRc (4)；
其中，Rc为3×3旋转矩阵，对于抛物镜面，Rc为单位矩阵；Mc仅由镜面类型决定，通过如下公式(5)求Mc：
Figure GDA0002161926550000046
其中，对于抛物镜面，ξ＝1，
Figure GDA0002161926550000047
镜面的通径为4p；
根据公式(3)得到的结果，通过如下公式(6)求得
Figure GDA0002161926550000048
Figure GDA0002161926550000049
其中，对于抛物镜面，ξ＝1；
步骤2.2，将步骤2.1求得的点
Figure GDA00021619265500000410
转化为球面坐标系下角度坐标(θ,φ)，具体过程如下：
根据直角坐标系与球面坐标系间的转换关系，通过如下公式(7)求球面半径r：
Figure GDA0002161926550000051
其中，φ∈[0,π],θ∈[0,2π]；
Figure GDA0002161926550000052
Figure GDA0002161926550000053
其中步骤3的具体过程如下：
步骤3.1，在球面坐标系上，以步骤2中得到的目标中心坐标(θ,φ)为中心以
Figure GDA0002161926550000054
为边界选取一个扇形区域，将该扇形区域在经度方向上分为k1等份，纬度方向分为k2等份，获取该扇形区域内全部k1×k2个等分点的角度坐标(θi,φi)，i＝1,2,...,k1×k2；
其中，
Figure GDA0002161926550000055
为角度偏移量，在1920×1080的图像分辨率下，
Figure GDA0002161926550000056
的取值范围为：
Figure GDA0002161926550000057
Figure GDA0002161926550000058
的取值范围为：
Figure GDA0002161926550000059
其中，a、b为正值的常数，a的变化范围为40～140，b的变化范围为20～70，且
Figure GDA00021619265500000510
步骤3.2，将步骤3.1所得的角度坐标点(θi,φi)，其中，i＝1,2,...,k1×k2映射回全景图像坐标系得到点
Figure GDA00021619265500000511
i＝1,2,...,k1×k2；
具体过程如下：
将角度坐标(θi,φi)，i＝1,2,...,k1×k2转化为直角坐标
Figure GDA00021619265500000512
i＝1,2,...,k1×k2；根据直角坐标系与球面坐标系间的转换关系，通过如下公式(12)求点
Figure GDA0002161926550000061
的坐标为：
Figure GDA0002161926550000062
其中，i＝1,2,...,k1×k2；
通过如下根据公式(13)，将直角坐标点
Figure GDA0002161926550000063
i＝1,2,...,k1×k2映射回图像坐标系：
Figure GDA0002161926550000064
其中，通过如下公式(14)，求
Figure GDA0002161926550000065
Figure GDA0002161926550000066
其中i＝1,2,...,k1×k2，对于抛物镜面，ξ＝1；
步骤3.3，取步骤3.2所得的全景图像坐标点
Figure GDA0002161926550000067
i＝1,2,...,k1×k2对应的灰度值来统计目标的颜色直方图信息。
其中步骤5的具体过程如下：
将角度坐标(θ',φ')转化为直角坐标
Figure GDA0002161926550000068
根据直角坐标系与球面坐标系间的转换关系，有如下公式，
Figure GDA0002161926550000069
根据如下公式(20)，将直角坐标系点
Figure GDA00021619265500000610
映射回图像坐标系：
Figure GDA0002161926550000071
通过如下公式(21)求
Figure GDA0002161926550000072
Figure GDA0002161926550000073
其中对于抛物镜面，ξ＝1。
本发明的有益效果是，本发明提供的一种基于单位球面坐标映射的全景目标跟踪方法，依据全景成像原理将全景图像坐标系映射到一个单位球面坐标系中，在这个单位球面做坐标系中进行重要性采样，解决了由于全景图像畸变导致现有粒子滤波算法不能直接适用于全景图像目标跟踪上的问题。
附图说明
图1是几种常见的中心折反射全景视觉***类型示意图；
图2是本发明基于单位球面坐标映射的全景目标跟踪方法中选取跟踪目标示意图；
图3是本发明基于单位球面坐标映射的全景目标跟踪方法中单位球面坐标系示意图；
图4是本发明基于单位球面坐标映射的全景目标跟踪方法中抛物面反射镜全景***成像原理示意图；
图5是本发明基于单位球面坐标映射的全景目标跟踪方法中标模版直方图的计算过程示意图；
图6是本发明基于单位球面坐标映射的全景目标跟踪方法中目标跟踪结果示意图；
图7是采用本发明基于单位球面坐标映射的全景目标跟踪方法进行目标跟踪的跟踪过程示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于单位球面坐标映射的全景目标跟踪方法，首先在研究全景图像坐标系和单位球面坐标系变换的基础上，将全景图像坐标系映射到单位球面坐标系上，在这个球面坐标系上，以目标中心坐标为中心根据目标大小选取扇形区域，统计得到该扇形区域内的一系列坐标点，然后将这些扇形区域内的坐标点映射回全景图像坐标，再取这些全景图像坐标对应的灰度值来计算目标的直方图，这样算出的灰度直方图能更好的表示目标而不会参入过多的背景噪声。最后在球面坐标系上进行粒子滤波重要性采样和重采样，将得到的最优结果映射回全景图像坐标系，从而得到最优的跟踪结果。
本发明基于单位球面坐标映射的全景目标跟踪方法，本方法实际应用过程中使用的是中心折反射成像***，具体类别为抛物面反射镜，具体包括以下步骤：
步骤1，初始化参数，读取第一帧图像，选取目标并用矩形框框选目标，如图2所示，获取目标中心点坐标
Figure GDA0002161926550000081
并跟踪矩形框的长和宽上所占有的像素点的个数t1，t2；
步骤1.1，设定粒子数为N，定义单位球面为Xs＝(cos(φ)sinθ,sin(φ)cos(θ),cos(φ))T，如图3，其中，φ∈[0,π],θ∈[0,2π]，φ、θ分别表示球面坐标的纬度和经度，设目标状态向量为
Figure GDA0002161926550000091
其中
Figure GDA0002161926550000092
和
Figure GDA0002161926550000093
分别表示球面坐标的纬度φ和经度θ的导数；
步骤1.2，通过如下公式(1)获取摄像机内参数矩阵Kc；
Figure GDA0002161926550000094
其中fx,fy分别表示在笛卡尔坐标下X轴和Y轴方向下的等效焦距，cx,cy分别表示物理世界一点投影到成像平面在横向和纵向上产生的偏移量。这四个参数均可通过相机标定获得；
步骤1.3，读入视频，读取视频的第一帧图像，在视频起始帧图像中手动选取跟踪目标，获取目标中心点图像坐标
Figure GDA0002161926550000095
获取跟踪矩形框的长和宽上所占有的像素点的个数t1，t2；
步骤2，将目标中心点图像坐标
Figure GDA0002161926550000096
由全景图像坐标系映射到单位球面坐标系得到角度坐标(θ,φ)；
步骤2.1，根据步骤1中得到的全景图像平面上的目标中心点图像坐标
Figure GDA0002161926550000097
根据如下公式(2)求将目标中心点映射为单位球面上的一点
Figure GDA0002161926550000098
Figure GDA0002161926550000099
设一中间变量
Figure GDA00021619265500000910
根据如下公式(3)计算，
Figure GDA00021619265500000911
通过如下公式(4)求Hc：
Hc＝KcMcRc (4)；
其中，Rc为3×3旋转矩阵，对于抛物镜面，Rc为单位矩阵，Kc为相机内参，在公式1中已给出，Mc仅由镜面类型决定，由公式5给出
Figure GDA0002161926550000101
其中，对于抛物镜面，ξ＝1为常数，
Figure GDA0002161926550000102
镜面的通径为4p；如图4所示；图4为抛物面反射镜全景***成像原理示意图，有坐标系R和Rcam，R是反射平面坐标系，该坐标系下z轴和镜面轴一致，原点O与抛物面反射镜全景***反射平面的内焦点重合。Rcam是相机坐标系。Rcam的z轴依然与镜面轴一致，中心折反射全景图像是由投影中心在Ocam的普通相机获得的。Rc为旋转矩阵。设世界坐标系下有一个可见的世界点Xh，每一个可见点都可以通过射线xray与抛物面反射镜全景***的内焦点连接在一起。射线xray与镜面相交于点Xm。然后通过投影射线xcam将世界点Xh映射到全景图像平面上；
根据公式(3)得到的结果，通过如下公式(6)求得h-1(X～)：
Figure GDA0002161926550000103
步骤2.2，将点
Figure GDA0002161926550000104
转化为球面坐标系下角度坐标(θ,φ)；
根据直角坐标系与球面坐标系间的转换关系，有如下公式，但同时需保证角度满足φ∈[0,π],θ∈[0,2π]：
Figure GDA0002161926550000105
其中，r为球面半径；
Figure GDA0002161926550000111
Figure GDA0002161926550000112
步骤3，根据步骤2得到的角度坐标(θ,φ)统计目标模版的颜色直方图信息；
步骤3.1，在球面坐标系上，以步骤2中得到的目标中心坐标(θ,φ)为中心以
Figure GDA0002161926550000113
为边界选取一个扇形区域，将该扇形区域在经度方向上分为k1等份，纬度方向分为k2等份，如图5所示，获取该扇形区域内全部k1×k2个等分点的角度坐标(θi,φi)，i＝1,2,...,k1×k2；
其中，
Figure GDA0002161926550000114
为角度偏移量，在1920×1080的图像分辨率下，
Figure GDA0002161926550000115
的取值范围为：
Figure GDA0002161926550000116
Figure GDA0002161926550000117
的取值范围为：
Figure GDA0002161926550000118
其中，a、b为正值的常数，a的变化范围为40～140，b的变化范围为20～70，且
Figure GDA0002161926550000119
步骤3.2，将步骤3.1所得的角度坐标点(θi,φi)，其中，i＝1,2,...,k1×k2映射回全景图像坐标得到点
Figure GDA00021619265500001110
i＝1,2,...,k1×k2；
具体过程如下：
将角度坐标(θi,φi)，i＝1,2,...,k1×k2转化为直角坐标
Figure GDA00021619265500001111
i＝1,2,...,k1×k2；根据直角坐标系与球面坐标系间的转换关系，通过如下公式(12)求点
Figure GDA0002161926550000121
的坐标为：
Figure GDA0002161926550000122
其中，i＝1,2,...,k1×k2；
通过如下根据公式(13)，将直角坐标点
Figure GDA0002161926550000123
i＝1,2,...,k1×k2映射回图像坐标系：
Figure GDA0002161926550000124
其中，通过如下公式(14)，求
Figure GDA0002161926550000125
Figure GDA0002161926550000126
其中i＝1,2,...,k1×k2，对于抛物镜面，ξ＝1；
步骤3.3，取步骤3.2所得的全景图像坐标点
Figure GDA0002161926550000127
i＝1,2,...,k1×k2对应的灰度值来统计目标的颜色直方图信息。
步骤4：用粒子滤波方法跟踪更新目标状态向量
Figure GDA0002161926550000128
得到新的目标状态向量
Figure GDA0002161926550000129
获得新的目标角度坐标(θ',φ')；本发明采用的粒子滤波算法参考[科学出版社]2010年8月出版的第一版《粒子滤波原理及其应用》[28页～29页]。
假设t-1时刻目标的粒子集为
Figure GDA00021619265500001210
其中，
Figure GDA00021619265500001211
代表t-1时刻第j个粒子的状态；
Figure GDA00021619265500001212
代表t-1时刻第j个粒子的权重，N表示粒子总数；
则粒子滤波算法的具体步骤为：
步骤4.1，重要性采样
对于粒子数j＝1,..,N，根据重要性采样密度函数
Figure GDA0002161926550000131
采样新的粒子
Figure GDA0002161926550000132
其中，zt为观测值，在本方法中为步骤3所最终得到的目标的颜色直方图信息；
步骤4.2，粒子权值更新
依据步骤4.1中的观测值zt，通过如下公式(14)计算每个粒子
Figure GDA0002161926550000133
j＝1,..,N的权值，得粒子
Figure GDA0002161926550000134
的权值
Figure GDA0002161926550000135
为：
Figure GDA0002161926550000136
其中，j＝1,..,N
并归一化粒子权值：
Figure GDA0002161926550000137
步骤4.3，重采样
首先计算有效粒子数：
Figure GDA0002161926550000138
如果
Figure GDA0002161926550000139
则进行重采样，获得新的粒子集合
Figure GDA00021619265500001310
否则，
Figure GDA00021619265500001311
步骤4.4，得出更新后的最优结果
Figure GDA00021619265500001312
其中，s'表示t时刻的粒子的最优状态。
步骤5：将步骤4更新后得到的最优粒子的角度坐标(θ',φ')映射到图像坐标系得到
Figure GDA0002161926550000141
具体过程如下：
将角度坐标(θ',φ')转化为直角坐标
Figure GDA0002161926550000142
根据直角坐标系与球面坐标系间的转换关系，有如下公式，
Figure GDA0002161926550000143
根据如下公式(20)，将直角坐标系点
Figure GDA0002161926550000144
映射回图像坐标系：
Figure GDA0002161926550000145
通过如下公式(21)求
Figure GDA0002161926550000146
Figure GDA0002161926550000147
其中对于抛物镜面，ξ＝1；
步骤6：显示跟踪结果，如图6；
步骤7：读取视频下一帧图像
步骤8：更新步骤2中的坐标点
Figure GDA0002161926550000148
即用步骤5最终得到的坐标点
Figure GDA0002161926550000149
的坐标参数替换
Figure GDA00021619265500001410
中的坐标参数。
步骤9：重复步骤2到步骤8直到视频结束帧，实验结果如图7所示，其中图7(a)为第0帧，图7(b)为第20帧，图7(c)为第40帧，图7(d)为第60帧，图7(e)为第80帧，图7(f)为第100帧。
本发明基于单位球面坐标映射的全景目标跟踪方法全景图像具有非线性分辨率的几何特性，因此目标在全景图像中会发生外形畸变，这种畸变会导致传统的粒子滤波算法在进行重要性采样时无法选择与全景图像几何特性相适应的采样方法，而且，这种畸变会导致无法利用传统方法对目标外观进行建模。针对此问题，本发明依据全景成像原理将全景图像坐标系映射到一个单位球面坐标系中，在这个单位球面做坐标系中进行重要性采样，解决了全景图像中由于目标畸变给目标跟踪带来的问题。

Claims (5)

1.基于单位球面坐标映射的全景目标跟踪方法，其特征在于：具体包括如下步骤：
步骤1，初始化参数，读取第一帧图像，选取目标并用矩形框框选目标，获取目标中心点坐标
Figure FDA0002161926540000011
并跟踪矩形框的长和宽上所占有的像素点的个数t1，t2；
步骤2，将步骤1获取的目标中心点图像坐标
Figure FDA0002161926540000012
由全景图像坐标系映射到单位球面坐标系得到角度坐标(θ,φ)；
步骤3，根据步骤2得到的角度坐标(θ,φ)统计目标模版的颜色直方图信息；
步骤4，用粒子滤波方法跟踪更新目标状态向量
Figure FDA0002161926540000013
得到新的目标状态向量
Figure FDA0002161926540000014
获得最优粒子的角度坐标(θ',φ')，其中
Figure FDA0002161926540000015
和
Figure FDA0002161926540000016
分别表示球面坐标的纬度φ和经度θ的导数；
步骤5：将步骤4更新后得到的最优粒子的角度坐标(θ',φ')映射到图像坐标系得到
Figure FDA0002161926540000017
步骤6：显示跟踪结果；
步骤7：读取视频下一帧图像；
步骤8：更新步骤2中的坐标点
Figure FDA0002161926540000018
即用步骤5最终得到的坐标点
Figure FDA0002161926540000019
的坐标参数替换
Figure FDA00021619265400000110
中的坐标参数；
步骤9：重复步骤2到步骤8直到视频结束帧。
2.根据权利要求1所述的基于单位球面坐标映射的全景目标跟踪方法，其特征在于：所述步骤1的具体过程如下：
步骤1.1，设定粒子数为N，定义单位球面为Xs＝(cos(φ)sinθ,sin(φ)cos(θ),cos(φ))T，其中，φ∈[0,π],θ∈[0,2π]，φ、θ分别表示球面坐标的纬度和经度，设目标状态向量为
Figure FDA0002161926540000021
其中
Figure FDA0002161926540000022
和
Figure FDA0002161926540000023
分别表示球面坐标的纬度φ和经度θ的导数；
步骤1.2，通过如下公式(1)获取摄像机内参数矩阵Kc：
Figure FDA0002161926540000024
其中，fx,fy分别表示在笛卡尔坐标下X轴和Y轴方向下的等效焦距，cx,cy分别表示物理世界一点投影到成像平面在横向和纵向上产生的偏移量；
步骤1.3，读入视频，读取视频的第一帧图像，在视频起始帧图像中手动选取跟踪目标，获取目标中心点图像坐标
Figure FDA0002161926540000025
获取跟踪矩形框的长和宽上所占有的像素点的个数t1，t2。
3.根据权利要求1所述的基于单位球面坐标映射的全景目标跟踪方法，其特征在于：所述步骤2的具体过程如下：
步骤2.1，根据步骤1中得到的全景图像平面上的目标中心点图像坐标
Figure FDA0002161926540000026
通过如下公式(2)求目标中心点映射为单位球面上的一点
Figure FDA0002161926540000027
Figure FDA0002161926540000028
设一中间变量
Figure FDA0002161926540000029
由如下公式(3)得：
Figure FDA00021619265400000210
通过如下公式(4)求Hc：
Hc＝KcMcRc (4)；
其中，Rc为3×3旋转矩阵，对于抛物镜面，Rc为单位矩阵，Mc仅由镜面类型决定，通过如下公式(5)求Mc：
Figure FDA0002161926540000031
其中，对于抛物镜面，ξ＝1，
Figure FDA0002161926540000032
镜面的通径为4p；
根据公式(3)得到的结果，通过如下公式(6)求得
Figure FDA0002161926540000033
Figure FDA0002161926540000034
其中，对于抛物镜面，ξ＝1；
步骤2.2，将步骤2.1求得的点
Figure FDA0002161926540000035
转化为球面坐标系下角度坐标(θ,φ)，具体过程如下：
根据直角坐标系与球面坐标系间的转换关系，通过如下公式(7)求球面半径r：
Figure FDA0002161926540000036
其中，φ∈[0,π],θ∈[0,2π]；
Figure FDA0002161926540000037
Figure FDA0002161926540000038
4.根据权利要求1所述的基于单位球面坐标映射的全景目标跟踪方法，其特征在于：所述步骤3的具体过程如下：
步骤3.1，在球面坐标系上，以步骤2中得到的目标中心坐标(θ,φ)为中心以
Figure FDA0002161926540000041
为边界选取一个扇形区域，将该扇形区域在经度方向上分为k1等份，纬度方向分为k2等份，获取该扇形区域内全部k1×k2个等分点的角度坐标(θi,φi)，i＝1,2,…,k1×k2；
其中，
Figure FDA0002161926540000042
为角度偏移量，在1920×1080的图像分辨率下，
Figure FDA0002161926540000043
的取值范围为：
Figure FDA0002161926540000044
Figure FDA0002161926540000045
的取值范围为：
Figure FDA0002161926540000046
其中，a、b为正值的常数，a的变化范围为40～140，b的变化范围为20～70，且
Figure FDA0002161926540000047
步骤3.2，将步骤3.1所得的角度坐标点(θi,φi)，其中，i＝1,2,…,k1×k2映射回全景图像坐标系得到点
Figure FDA0002161926540000048
具体过程如下：
将角度坐标(θi,φi)，i＝1,2,…,k1×k2转化为直角坐标
Figure FDA0002161926540000049
Figure FDA00021619265400000410
根据直角坐标系与球面坐标系间的转换关系，通过如下公式(12)求点
Figure FDA00021619265400000411
的坐标为：
Figure FDA00021619265400000412
其中，i＝1,2,…,k1×k2；
通过如下根据公式(13)，将直角坐标点
Figure FDA0002161926540000051
映射回图像坐标系：
Figure FDA0002161926540000052
其中，通过如下公式(14)，求
Figure FDA0002161926540000053
Figure FDA0002161926540000054
其中i＝1,2,…,k1×k2，对于抛物镜面，ξ＝1；
步骤3.3，取步骤3.2所得的全景图像坐标点
Figure FDA0002161926540000055
对应的灰度值来统计目标的颜色直方图信息。
5.根据权利要求1所述的基于单位球面坐标映射的全景目标跟踪方法，其特征在于：所述步骤5的具体过程如下：
将角度坐标(θ',φ')转化为直角坐标
Figure FDA0002161926540000056
根据直角坐标系与球面坐标系间的转换关系，有如下公式，
Figure FDA0002161926540000057
根据如下公式(20)，将直角坐标系点
Figure FDA0002161926540000058
映射回图像坐标系：
Figure FDA0002161926540000059
通过如下公式(21)求
Figure FDA00021619265400000510
Figure FDA0002161926540000061
其中，对于抛物镜面，ξ＝1。
CN201710231523.0A 2017-04-11 2017-04-11 基于单位球面坐标映射的全景目标跟踪方法 Expired - Fee Related CN107025659B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710231523.0A CN107025659B (zh) 2017-04-11 2017-04-11 基于单位球面坐标映射的全景目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710231523.0A CN107025659B (zh) 2017-04-11 2017-04-11 基于单位球面坐标映射的全景目标跟踪方法

Publications (2)

Publication Number Publication Date
CN107025659A CN107025659A (zh) 2017-08-08
CN107025659B true CN107025659B (zh) 2020-03-31

Family

ID=59526815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710231523.0A Expired - Fee Related CN107025659B (zh) 2017-04-11 2017-04-11 基于单位球面坐标映射的全景目标跟踪方法

Country Status (1)

Country Link
CN (1) CN107025659B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108848304B (zh) 2018-05-30 2020-08-11 影石创新科技股份有限公司 一种全景视频的目标跟踪方法、装置和全景相机
CN110826218B (zh) * 2019-11-01 2023-03-21 成都景中教育软件有限公司 一种动态几何软件中基于参数的坐标系实现方法
CN113168716A (zh) * 2020-03-19 2021-07-23 深圳市大疆创新科技有限公司 对象解算、绕点飞行方法及设备
US11647294B2 (en) 2021-05-25 2023-05-09 Shanghai Bilibili Technology Co., Ltd. Panoramic video data process
CN113518214B (zh) * 2021-05-25 2022-03-15 上海哔哩哔哩科技有限公司 全景视频数据处理方法及装置
CN113315914B (zh) * 2021-05-25 2022-05-17 上海哔哩哔哩科技有限公司 全景视频数据处理方法及装置
CN113313735B (zh) * 2021-05-25 2023-04-07 上海哔哩哔哩科技有限公司 全景视频数据处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101447075A (zh) * 2008-12-31 2009-06-03 天津理工大学 基于大广角镜头的fpga+dsp嵌入式多值目标阈值分类跟踪装置
CN103826103A (zh) * 2014-02-27 2014-05-28 浙江宇视科技有限公司 云台摄像机巡航控制方法
CN104639916A (zh) * 2015-03-04 2015-05-20 合肥巨清信息科技有限公司 一种大场景多目标跟踪拍摄视频监控***及其监控方法
CN106096573A (zh) * 2016-06-23 2016-11-09 乐视控股（北京）有限公司 目标跟踪方法、装置、***及远程监控***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101447075A (zh) * 2008-12-31 2009-06-03 天津理工大学 基于大广角镜头的fpga+dsp嵌入式多值目标阈值分类跟踪装置
CN103826103A (zh) * 2014-02-27 2014-05-28 浙江宇视科技有限公司 云台摄像机巡航控制方法
CN104639916A (zh) * 2015-03-04 2015-05-20 合肥巨清信息科技有限公司 一种大场景多目标跟踪拍摄视频监控***及其监控方法
CN106096573A (zh) * 2016-06-23 2016-11-09 乐视控股（北京）有限公司 目标跟踪方法、装置、***及远程监控***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Visual Attention Model Based on Particle Filter";Long liu etc,;《KSII TRANSACTION ON INTERNET AND INFORMATION SYSTEMS》;20161231;第10卷(第8期);第3791-3805页 *
"自主导航农业车辆的全景视觉多运动目标识别跟踪";李胜辉;《农业机械学报》;20150131;第46卷(第1期);第1-7页 *

Also Published As

Publication number Publication date
CN107025659A (zh) 2017-08-08

Similar Documents

Publication Publication Date Title
CN107025659B (zh) 基于单位球面坐标映射的全景目标跟踪方法
CN110197466B (zh) 一种广角鱼眼图像矫正方法
CN111260731B (zh) 一种棋盘格亚像素级角点自适应检测的方法
CN110288657B (zh) 一种基于Kinect的增强现实三维注册方法
CN107705252B (zh) 适用于双目鱼眼图像拼接展开校正的方法及***
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
CN108470370B (zh) 三维激光扫描仪外置相机联合获取三维彩色点云的方法
CN107679537B (zh) 一种基于轮廓点orb特征匹配的无纹理空间目标姿态估计算法
WO2021098083A1 (zh) 基于显著特征的多光谱相机动态立体标定算法
CN109118544B (zh) 基于透视变换的合成孔径成像方法
CN104599258B (zh) 一种基于各向异性特征描述符的图像拼接方法
CN107016646A (zh) 一种基于改进的逼近投影变换图像拼接方法
WO2021098080A1 (zh) 基于边缘特征的多光谱相机外参自校正算法
CN105844584B (zh) 校正鱼眼镜头图像畸变的方法
CN111899290B (zh) 一种联合偏振和双目视觉的三维重建方法
CN111507908B (zh) 图像矫正处理方法、装置、存储介质及计算机设备
CN106023187A (zh) 一种基于sift特征和角度相对距离的图像配准方法
CN105825470A (zh) 基于点云影像的鱼眼影像纠正方法
CN116740288B (zh) 一种融合激光雷达、倾斜摄影的三维重建方法
CN115049935B (zh) 一种城市违章建筑分割检测方法
CN113012234A (zh) 基于平面变换的高精度相机标定方法
CN108961283A (zh) 基于特征对应的图像变形方法及装置
CN114266947A (zh) 一种基于激光点云和可见光图像融合的分类方法及装置
CN107610216B (zh) 基于粒子群优化多视角立体点云生成方法及应用的摄像机
CN109859276A (zh) 一种鱼眼镜头内部参数自标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200331