CN112019747B - 基于云台传感器的前景跟踪方法 - Google Patents
基于云台传感器的前景跟踪方法 Download PDFInfo
- Publication number
- CN112019747B CN112019747B CN202010903700.7A CN202010903700A CN112019747B CN 112019747 B CN112019747 B CN 112019747B CN 202010903700 A CN202010903700 A CN 202010903700A CN 112019747 B CN112019747 B CN 112019747B
- Authority
- CN
- China
- Prior art keywords
- lens
- camera
- paper
- adjusting
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
一种基于云台传感器的前景跟踪方法,包括:通过传感器云台摇臂***,取得摄像机的状态参数,以实时传入三维引擎并应用到场景,同时三维场景内模拟镜头的畸变,并调节画面与相机参数变化的延迟不一样的问题;状态参数包括:镜头的位置、镜头的朝向、镜头的变焦数据、镜头的聚焦数据;镜头的变焦数据:镜头变焦与FOV的变化间的关系是非线性的,而且每只镜头的参数都不一样,无法通过数学计算出准确结构,这里采用均匀采集多个焦段的对应FOV,并进行曲线拟合,最终精度和采集的焦段密度成正比;畸变模拟:结合正弦函数的周期特点,通过周期函数实时改变画面FOV,使整个画面的边缘和非边缘具有不同的FOV。
Description
技术领域
本发明属于涉及虚拟现实技术领域,尤其涉及一种基于云台传感器的前景跟踪方法。
背景技术
随着数字化技术的发展,越来越多的电影/电视节目是在虚拟场景下录制的。以广播电视领域广泛应用的虚拟演播室为例,其是运用三维虚拟现实技术制作出让人身临其境的虚拟场景和虚拟动画角色,而真实的演员可以与虚拟动画角色同台进行交互,大大增加了节目的娱乐性;这样可以大幅度节省节目制作的成本,并提高了节目制作的效率。
在影视制作过程中,拍摄的视频有需要叠加其他元素的需求,例如动画、粒子特效、三维场景模型等,这些元素也称为前景;在叠加时如果是移动机位(包括镜头旋转,变焦,推拉,移动位置等)拍摄,须使前景跟随机位拍摄的实物移动(称为前景跟踪),否则效果会穿帮。前景跟踪技术在做虚拟演播室行业内是一个绕不开的问题,国外技术实力强的公司已经能做到肉眼无法察觉的跟踪精度,但是国内对于此技术的发展非常不足。
发明内容
针对现有技术中对于前景跟踪技术的发展不同,本发明实施例提出了一种基于云台传感器的前景跟踪方法,能够更好对虚拟演播室的数据进行处理。
为了解决上述问题,本发明实施例提出了一种基于云台传感器的前景跟踪方法,包括:
通过传感器云台摇臂***,取得摄像机的状态参数,以实时传入三维引擎并应用到场景,同时三维场景内模拟镜头的畸变,并调节画面与相机参数变化的延迟不一样的问题;其中状态参数包括:镜头的位置、镜头的朝向、镜头的变焦数据、镜头的聚焦数据;
其中所述镜头的变焦数据通过以下方式确定:镜头变焦与FOV的变化间的关系是非线性的,而且每只镜头的参数都不一样,无法通过数学计算出准确结构,这里采用均匀采集多个焦段的对应FOV,并进行曲线拟合,最终精度和采集的焦段密度成正比;
其中畸变模拟通过以下的方式确定:结合正弦函数的周期特点,通过周期函数实时改变画面FOV,使整个画面的边缘和非边缘具有不同的FOV,来近似模拟拍摄画面。
在一些实施例中,其中畸变参数包括:K1、K2和scale调节,K1和K2为径向畸变率,Scale为缩放率;其中CCD偏移参数包括:镜头成像点(CCD)与云台旋转轴心的偏移;当摄像机固定在云台上,调节好动平衡后再调节,在镜头校准时确定下来。
在一些实施例中,所述方法还包括:
设置云台的参数;其中云台跟踪分为镜头校准和实时跟踪两种模式;
其中镜头校准模式是指:针对单个镜头进行校准;由于不同摄像机镜头的变焦范围不同,畸变率也不同,因此如果***中没有该镜头的校准参数时候需要对镜头进行校准;
其中实时跟踪是指:针对所有镜头或选中的镜头进行跟踪。
在一些实施例中,所述镜头校准模式具体包括:将云台以及摄像机架假设好后,通过串口将云台接入前景服务器;将两张用于校准的A4纸固定好,并确保两张A4纸和云台的位置关系应保持3点一线;测量摄像机高度、两张A4纸中心点的高度、两张A4纸距离摄像机的距离;
启动FOV_project插件,其中跟踪设置中的PlayerPosition调整到x=0y=0z=摄像机高度
PlayerRotation x=90 y=0 z=0;
打开视图菜单下的互动面板,调节Red和Green节点,
Red节点对应离相机近的A4纸,位置调整为X=0 Y=离相机的距离(单位为米)Z=A4纸高度,
Green节点对应离相机远的A4纸,位置调整为X=0 Y=离相机的距离(单位为米)Z=A4纸高度;
将摄像机焦距调至最大,转动摄像机使A4纸处于画面中心,将云台数据置零,观察A4纸和场景虚拟片是否重合,如不重合,调整PanOffset值,使两者位置上重合,然后调整PlayerFov使两者大小近似相等;
进入镜头校准模式:
①Pan、Tilt和Zoom参数的方向及范围调整,左右摇动相机,观看摄像机图像与场景物体的移动方向是否一致,如不一致,调整Pan方向后,再试试是否一致;
Tilt的调整和Pan相似,区别在于上下摇动相机,Zoom方向无须调整,调整摄像机Zoom值到最大,将实时Zoom里的值填入ZoomMax;
②再将镜头焦距调整到最广角端,开始校准,摇动相机使A4纸居中,微调Tilt偏移和Pan偏移,使虚拟纸张和真实纸张重合,然后摇动相机,使A4纸到画面最左边,调整PlayerFov和K1,使虚拟和真实纸张重合,再摇回镜头中心看是否重合,反复调整几次后,将确定的参数加入当前点;
③推动镜头焦距,重复②过程,一般推动整个焦距范围的5%,如果有更高精度要求,或者更快的校准要求,可以调大或调小推动量。
实时跟踪模式包括;启动实时跟踪模式后,选择对应的镜头以及镜头的配置文件,开启实时跟踪。
本发明的上述技术方案的有益效果如下:上述的技术方案提出了一种基于云台传感器的前景跟踪方法,能够在基于LED的全景仿真环境中加入远程直播流。该技术方案能够将本地真实场景、远程真实场景和本地虚拟三维背景画面融为一个完整的并且同步的画面,大大降低了拍摄的难度,增强了节目交互效果,节省了节目摄制成本。
附图说明
图1是本发明实施例的方法流程示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
本发明实施例提出了一种适用于广电领域的基于云台传感器的前景跟踪方法。现有技术中能够达到高精度前景跟踪的都是国外大厂,且其算法都集成在成套设备上,因此价格非常昂贵。本发明实施例提出了一种适用于广电领域的基于云台传感器的前景跟踪方法,包括:
通过传感器云台摇臂***,取得摄像机的状态参数,以实时传入三维引擎并应用到场景,同时三维场景内模拟镜头的畸变,并调节画面与相机参数变化的延迟不一样的问题;其中状态参数包括:镜头的位置、镜头的朝向、镜头的变焦数据、镜头的聚焦数据;
其中所述镜头的变焦数据;
其中镜头变焦数据的跟踪较为复杂,畸变模拟较为复杂;
镜头变焦与FOV的变化间的关系是非线性的,而且每只镜头的参数都不一样,无法通过数学计算出准确结构,这里采用均匀采集多个焦段的对应FOV,并进行曲线拟合,最终精度和采集的焦段密度成正比;FOV是指三维场景内的视角范围;
畸变模拟,由于摄像机内本身内置了去畸变功能,而且并不能完全去掉畸变,导致模拟这种畸变很困难,如果不内置去畸变功能,整个画面的畸变是规律的,去掉后边缘畸变明显大于非边缘,三维引擎模拟这种效果较难,算法内结合了正弦函数的周期特点,通过周期函数实时改变画面FOV,使整个画面的边缘和非边缘具有不同的FOV,来近似模拟拍摄画面,达到肉眼无法分辨的跟踪效果
在一些实施例中,本发明实施例的方案可以包括以下步骤:
1.启动场景后,默认未开启跟踪;
2.设置开启“跟踪设置”功能,以调节以下参数显示:畸变、CCD偏移、位置调节、角度调节、FOV(视场角)调节;其中,FOV调节功能能够用于镜头校准;在本发明的实施例中,参数只能在开启跟踪之前进行设定和调节,而开启跟踪后会显示出各种数据,但是无法进行调节;
其中,畸变参数包括:K1、K2和scale调节,K1和K2为径向畸变率,Scale为缩放率;其中CCD偏移参数包括:镜头成像点(CCD)与云台旋转轴心的偏移;当摄像机固定在云台上,调节好动平衡后再调节,在镜头校准时确定下来;
3.启动云台跟踪;并设置云台的参数;其中云台跟踪分为镜头校准和实时跟踪两种模式;
其中镜头校准模式是指:针对单个镜头进行校准;由于不同摄像机镜头的变焦范围不同,畸变率也不同,因此如果***中没有该镜头的校准参数时候需要对镜头进行校准;
其中实时跟踪是指:针对所有镜头或选中的镜头进行跟踪;
镜头校准模式具体包括:将云台以及摄像机架假设好后,通过串口将云台接入前景服务器;将两张用于校准的A4纸固定好,并确保两张A4纸和云台的位置关系应保持3点一线;测量摄像机高度、两张A4纸中心点的高度、两张A4纸距离摄像机的距离;
启动FOV_project插件,其中跟踪设置中的PlayerPosition调整到x=0y=0z=摄像机高度
PlayerRotation x=90 y=0 z=0;
打开视图菜单下的互动面板,调节Red和Green节点,
Red节点对应离相机近的A4纸,位置调整为X=0 Y=离相机的距离(单位为米)Z=A4纸高度,
Green节点对应离相机远的A4纸,位置调整为X=0 Y=离相机的距离(单位为米)Z=A4纸高度;
将摄像机焦距调至最大,转动摄像机使A4纸处于画面中心,将云台数据置零,观察A4纸和场景虚拟片是否重合,如不重合,调整PanOffset值,使两者位置上重合,然后调整PlayerFov使两者大小近似相等,
点击镜头校准复选框,进入镜头校准模式:
①Pan、Tilt和Zoom参数的方向及范围调整,左右摇动相机,观看摄像机图像与场景物体的移动方向是否一致,如不一致,调整Pan方向后,再试试是否一致;
Tilt的调整和Pan相似,区别在于上下摇动相机,Zoom方向无须调整,调整摄像机Zoom值到最大,将实时Zoom里的值填入ZoomMax;
②再将镜头焦距调整到最广角端,开始校准,摇动相机使A4纸居中,微调Tilt偏移和Pan偏移,使虚拟纸张和真实纸张重合,然后摇动相机,使A4纸到画面最左边,调整PlayerFov和K1,使虚拟和真实纸张重合,再摇回镜头中心看是否重合,反复调整几次后,将确定的参数加入当前点;
③推动镜头焦距,重复②过程,一般推动整个焦距范围的5%,如果有更高精度要求,或者更快的校准要求,可以调大或调小推动量。
实时跟踪模式包括;启动实时跟踪模式后,选择对应的镜头以及镜头的配置文件,开启实时跟踪。
在本发明实施例中,三维场景模拟镜头畸变、镜头边角跟踪、镜头位移和旋转跟踪,其实现的算法可以包括:
1.三维场景模拟镜头畸变的算法如下
STRUCT(FRAGMENT_IN)
INIT_POSITION
INIT_IN(float2,0)
INIT_IN(float3,1)
END
INIT_TEXTURE(0,TEX_COLOR)
float_distortion=0.0f;//range(-3,3)
float_cubicDistortion=0.0f;//range(0,3)
float_nodal=0.0f;//range(0,3)
float_scale=1.0f;//range(0,3)
MAIN_BEGIN(FRAGMENT_OUT,FRAGMENT_IN)
floatleftval=0.25;
floatrightval=0.75;
float2coords=IN_DATA(0).xy;
float2fov=coords;
floathres;
floathresy;
float2 h=coords-float2(0.5,0.5);
float r2=h.x*h.x+h.y*h.y;
float x=1.0+cos(3.14*h.x)*_nodal+r2*(_distortion+_cubicDistortion*sqrt(r2));
float y=1.0+cos(3.14*h.y)*_nodal+r2*(_distortion+_cubicDistortion*sqrt(r2));
float2realCoordOffs=h;
realCoordOffs.x=h.x*_scale*x+0.5f;
realCoordOffs.y=h.y*_scale*y+0.5f;
OUT_COLOR=TEXTURE_BIAS_ZERO(TEX_COLOR,realCoordOffs);
MAIN_END
2.镜头变焦跟踪的算法如下
3.镜头位移和旋转跟踪算法可以为:
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (1)
1.一种基于云台传感器的前景跟踪方法,其特征在于,包括:
通过传感器云台摇臂***,取得摄像机的状态参数,以实时传入三维引擎并应用到场景,同时三维场景内模拟镜头的畸变,并调节画面与相机参数变化的延迟不一样的问题;其中状态参数包括:镜头的位置、镜头的朝向、镜头的变焦数据、镜头的聚焦数据;
其中所述镜头的变焦数据通过以下方式确定:采用均匀采集多个焦段的对应FOV,并进行曲线拟合,最终精度和采集的焦段密度成正比;
其中维场景内模拟镜头的畸变通过以下的方式确定:结合正弦函数的周期特点,通过周期函数实时改变画面FOV,使整个画面的边缘和非边缘具有不同的FOV,来近似模拟拍摄画面;
所述方法还包括:启动云台跟踪,并设置云台的参数;其中云台跟踪分为镜头校准和实时跟踪两种模式;
其中镜头校准模式是指:针对单个镜头进行校准;不同摄像机镜头的变焦范围不同,畸变率也不同,如果***中没有该镜头的校准参数时候需要对镜头进行校准;
其中实时跟踪是指:针对所有镜头或选中的镜头进行跟踪;
其中,所述镜头校准模式具体包括:将云台以及摄像机架架设好后,通过串口将云台接入前景服务器;将两张用于校准的A4纸固定好,并确保两张A4纸和云台的位置关系应保持3点一线;测量摄像机高度、两张A4纸中心点的高度、两张A4纸距离摄像机的距离;
启动FOV_project插件,其中跟踪设置中的PlayerPosition调整到x=0、y=0、z=摄像机高度;
PlayerRotationx=90、y=0、z=0;
打开视图菜单下的互动面板,调节Red和Green节点,
Red节点对应离相机近的A4纸,位置调整为X=0、Y=离相机的距离,单位为米;Z=A4纸高度,
Green节点对应离相机远的A4纸,位置调整为X=0、Y=离相机的距离,单位为米;Z=A4纸高度;
将摄像机焦距调至最大,转动摄像机使A4纸处于画面中心,将云台数据置零,观察A4纸和场景虚拟片是否重合,如不重合,调整PanOffset值,使两者位置上重合,然后调整PlayerFov使两者大小近似相等;
进入镜头校准模式:
①Pan、Tilt和Zoom参数的方向及范围调整,左右摇动相机,观看摄像机图像与场景物体的移动方向是否一致,如不一致,调整Pan方向后,再试试是否一致;
Tilt的调整和Pan相似,区别在于上下摇动相机,Zoom方向无须调整,调整摄像机Zoom值到最大,将实时Zoom里的值填入ZoomMax;
②再将镜头焦距调整到最广角端,开始校准,摇动相机使A4纸居中,微调Tilt偏移和Pan偏移,使虚拟纸张和真实纸张重合,然后摇动相机,使A4纸到画面最左边,调整PlayerFov和K1,使虚拟纸张和真实纸张重合,再摇回镜头中心看是否重合,反复调整几次后,将确定的参数加入当前点;
③推动镜头焦距,重复②过程,推动整个焦距范围的5%,如果有更高精度要求则调小推动量,如果有更快的校准要求则调大推动量;
实时跟踪模式包括;启动实时跟踪模式后,选择对应的镜头以及镜头的配置文件,开启实时跟踪;
其中镜头校准的畸变参数包括:K1、K2和scale调节,K1和K2为径向畸变率,Scale为缩放率;其中CCD偏移参数包括:镜头成像点CCD与云台旋转轴心的偏移;其中所述镜头成像点CCD为:当摄像机固定在云台上,调节好动平衡后再调节,在镜头校准时确定下来。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010903700.7A CN112019747B (zh) | 2020-09-01 | 2020-09-01 | 基于云台传感器的前景跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010903700.7A CN112019747B (zh) | 2020-09-01 | 2020-09-01 | 基于云台传感器的前景跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112019747A CN112019747A (zh) | 2020-12-01 |
CN112019747B true CN112019747B (zh) | 2022-06-17 |
Family
ID=73517097
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010903700.7A Active CN112019747B (zh) | 2020-09-01 | 2020-09-01 | 基于云台传感器的前景跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112019747B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116847193B (zh) * | 2023-07-03 | 2023-12-19 | 上海随幻智能科技有限公司 | 基于方程拟合的变焦镜头校准方法、电子设备、介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104504685A (zh) * | 2014-12-04 | 2015-04-08 | 高新兴科技集团股份有限公司 | 一种增强现实摄像机虚拟标签实时高精度定位方法 |
CN109345620A (zh) * | 2018-08-13 | 2019-02-15 | 浙江大学 | 融合快速点特征直方图的改进icp待测物体点云拼接方法 |
CN110675348A (zh) * | 2019-09-30 | 2020-01-10 | 杭州栖金科技有限公司 | 增强现实图像显示方法、装置及图像处理设备 |
CN110691175A (zh) * | 2019-08-19 | 2020-01-14 | 深圳市励得数码科技有限公司 | 演播室中模拟摄像机运动跟踪的视频处理方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109842756A (zh) * | 2017-11-28 | 2019-06-04 | 东莞市普灵思智能电子有限公司 | 一种镜头畸变矫正和特征提取的方法及*** |
-
2020
- 2020-09-01 CN CN202010903700.7A patent/CN112019747B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104504685A (zh) * | 2014-12-04 | 2015-04-08 | 高新兴科技集团股份有限公司 | 一种增强现实摄像机虚拟标签实时高精度定位方法 |
CN109345620A (zh) * | 2018-08-13 | 2019-02-15 | 浙江大学 | 融合快速点特征直方图的改进icp待测物体点云拼接方法 |
CN110691175A (zh) * | 2019-08-19 | 2020-01-14 | 深圳市励得数码科技有限公司 | 演播室中模拟摄像机运动跟踪的视频处理方法及装置 |
CN110675348A (zh) * | 2019-09-30 | 2020-01-10 | 杭州栖金科技有限公司 | 增强现实图像显示方法、装置及图像处理设备 |
Also Published As
Publication number | Publication date |
---|---|
CN112019747A (zh) | 2020-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10848743B2 (en) | 3D Camera calibration for adjustable camera settings | |
CN101872491B (zh) | 基于光度立体的自由视角重光照方法和*** | |
US10425638B2 (en) | Equipment and method for promptly performing calibration and verification of intrinsic and extrinsic parameters of a plurality of image capturing elements installed on electronic device | |
Zilly et al. | Production rules for stereo acquisition | |
CN105530431A (zh) | 一种反射式全景成像***及方法 | |
US5594845A (en) | Method and device for processing an image in order to construct a target image from a plurality of contiguous source images | |
US20060165310A1 (en) | Method and apparatus for a virtual scene previewing system | |
CN105072314A (zh) | 一种可自动跟踪目标的虚拟演播室实现方法 | |
US10778955B2 (en) | Methods for controlling scene, camera and viewing parameters for altering perception of 3D imagery | |
WO2019041351A1 (zh) | 一种3d vr视频与虚拟三维场景实时混叠渲染的方法 | |
CN107341832B (zh) | 一种基于红外定位***的多视角切换拍摄***和方法 | |
CN104954769B (zh) | 一种浸入式超高清视频处理***及方法 | |
CN110213475A (zh) | 一种全景图像的拍摄方法 | |
CN104601978A (zh) | 自由视点图像的获取***与方法 | |
CN101616237A (zh) | 图像处理装置、图像处理方法、程序和记录介质 | |
CN107358577B (zh) | 一种立方体全景图的快速拼接方法 | |
CN106162203A (zh) | 全景视频播放方法、播放器与头戴式虚拟现实设备 | |
WO2009093136A2 (en) | Image capture and motion picture generation | |
CN106981085A (zh) | 基于数码摄影和云计算的物体对比与模拟三维展示*** | |
CN112019747B (zh) | 基于云台传感器的前景跟踪方法 | |
CN107743222B (zh) | 一种基于采集器的图像数据处理方法及三维全景vr采集器 | |
US20050168485A1 (en) | System for combining a sequence of images with computer-generated 3D graphics | |
US11792511B2 (en) | Camera system utilizing auxiliary image sensors | |
CN113763545A (zh) | 图像确定方法、装置、电子设备和计算机可读存储介质 | |
CN117527992B (zh) | 一种空间模拟拍摄的摄影机校正方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |