CN110933391B - 投影***的标定参数补偿方法、装置及可读存储介质 - Google Patents

投影***的标定参数补偿方法、装置及可读存储介质 Download PDF

Info

Publication number
CN110933391B
CN110933391B CN201911325236.1A CN201911325236A CN110933391B CN 110933391 B CN110933391 B CN 110933391B CN 201911325236 A CN201911325236 A CN 201911325236A CN 110933391 B CN110933391 B CN 110933391B
Authority
CN
China
Prior art keywords
projection
acquisition device
image
preset
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911325236.1A
Other languages
English (en)
Other versions
CN110933391A (zh
Inventor
钟波
肖适
王鑫
余金清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Jimi Technology Co Ltd
Original Assignee
Chengdu Jimi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Jimi Technology Co Ltd filed Critical Chengdu Jimi Technology Co Ltd
Priority to CN201911325236.1A priority Critical patent/CN110933391B/zh
Publication of CN110933391A publication Critical patent/CN110933391A/zh
Application granted granted Critical
Publication of CN110933391B publication Critical patent/CN110933391B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)

Abstract

本发明涉及投影***标定技术领域,实施例具体公开一种投影***的标定参数补偿方法、装置及可读存储介质。本申请通过控制投影装置投射预设图像到投影面,同时控制采集装置拍摄投影面上的投影画面获得投影面图像;根据投影面图像、投影装置内部参数、采集装置内部参数和投影装置与采集装置初始姿态参数,计算投影装置与采集装置实际姿态参数的方法,解决了用户使用过程中由于投影装置和采集装置发生相对位移导致预标定参数失效影响投影效果的问题,采用算法补偿投影装置与采集装置之间的姿态变化量,减少了投影***成本,保证了投影***使用的稳定性。

Description

投影***的标定参数补偿方法、装置及可读存储介质
技术领域
本发明涉及投影***标定技术领域,具体涉及一种投影***的标定参数补偿方法、装置及可读存储介质。
背景技术
在投影***中,通过结构光,相移法进行深度测量时,投影仪与采集装置***需要进行严格标定。标定之后,采集装置与投影仪的相对位置即对焦状态就不能进行改变,否则会影响后续测量的精度。而投影仪在运输,使用等的过程中极有可能使投影仪与采集装置***发生相对移动,对最终结果产生影响。现有方案包括设计更复杂的结构,使投影仪与采集装置之间的相对位置关系更加的牢固等。这种方法设计更为复杂,成本更高。
发明内容
有鉴于此,本申请提供一种投影***的标定参数补偿方法、装置及可读存储介质,能够通过算法解决工厂端精细标定在使用过程中由于相对位移导致失效的问题。
为解决以上技术问题,本发明提供的技术方案是一种投影***的标定参数补偿方法,所述投影***包括投影装置和采集装置,所述标定参数包括:投影装置内部参数、采集装置内部参数、投影装置与采集装置初始姿态参数,所述补偿方法包括:
控制投影装置投射预设图像到投影面,所述预设图像中至少包含9个已知像素坐标的特征点,同时控制采集装置拍摄所述投影面上的投影画面获得投影面图像;
根据所述投影面图像、投影装置内部参数、采集装置内部参数和投影装置与采集装置初始姿态参数,计算投影装置与采集装置实际姿态参数。
优选的,所述控制投影装置投射预设图像到投影面,所述预设图像中至少包含9个已知像素坐标的特征点,同时控制采集装置拍摄所述投影面上的投影画面获得投影面图像的方法包括:
控制投影装置从不同角度投射预设图像到投影面,所述预设图像中至少包含9个已知像素坐标的特征点,同时控制采集装置拍摄所述投影面上的投影画面获得对应的多张投影面图像。
优选的,所述根据所述投影面图像、投影装置内部参数、采集装置内部参数和投影装置与采集装置初始姿态参数,计算投影装置与采集装置实际姿态参数的方法包括:
对预设图像和投影面图像进行特征点提取匹配;
根据投影装置与采集装置初始姿态参数、投影装置内部参数和采集装置内部参数,对匹配特征点进行极线校正;
计算极线校正后的匹配特征点之间在预设第一方向上的坐标差异量,即视差;
根据视差和投影装置与采集装置初始姿态参数,获得各个特征点的三维坐标;
根据各个特征点的三维坐标,利用最小二乘法获得一个拟合平面;
计算各个特征点到该拟合平面的距离值的平均值,获得距离平均值;
计算极线校正后的匹配特征点之间在预设第二方向上的坐标差异量的平均值,获得差异平均值;
将距离平均值和差异平均值累加的结果作为评价函数,采用优化算法对投影装置与采集装置初始姿态参数进行优化,获得投影装置与采集装置实际姿态参数。
优选的,所述控制投影装置投射预设图像到投影面,所述预设图像中至少包含9个已知像素坐标的特征点,同时控制采集装置拍摄所述投影面上的投影画面获得投影面图像的步骤前,还包括:判断梯形校正的效果是否满足预设要求,若否,则进入后续步骤。
优选的,所述判断梯形校正的效果是否满足预设要求的方法包括:
控制投影装置投射预设图像到投影面,所述预设图像中至少包含9个已知像素坐标的特征点;
控制采集装置拍摄所述投影面上的投影画面获得投影面图像;
对预设图像和投影面图像进行特征点提取匹配;
对匹配特征点进行极线校正,计算极线校正后的匹配特征点之间在预设第二方向上的坐标差值的平均值;
当坐标差值的平均值大于预设阈值时,进入标定参数补偿步骤。
本发明还提供一种投影***的标定参数补偿装置,所述投影***包括投影装置和采集装置,所述标定参数包括:投影装置内部参数、采集装置内部参数、投影装置与采集装置初始姿态参数,所述补偿装置包括:
投射采集控制模块,用于控制投影装置投射预设图像到投影面,所述预设图像中至少包含9个已知像素坐标的特征点,同时控制采集装置拍摄所述投影面上的投影画面获得投影面图像;
姿态参数计算模块,用于根据所述投影面图像、投影装置内部参数、采集装置内部参数和投影装置与采集装置初始姿态参数,计算投影装置与采集装置实际姿态参数。
优选的,所述投射采集控制模块还用于控制投影装置从不同角度投射预设图像到投影面,所述预设图像中至少包含9个已知像素坐标的特征点,同时控制采集装置拍摄所述投影面上的投影画面获得对应的多张投影面图像。
优选的,所述姿态参数计算模块包括:
特征点匹配单元,用于对预设图像和投影面图像进行特征点提取匹配;
极线校正单元,用于根据投影装置与采集装置初始姿态参数、投影装置内部参数和采集装置内部参数,对匹配特征点进行极线校正;
视差计算单元,用于计算极线校正后的匹配特征点之间在预设第一方向上的坐标差异量,即视差;
坐标计算单元,用于根据视差和投影装置与采集装置初始姿态参数,获得各个特征点的三维坐标;
平面拟合单元,用于根据各个特征点的三维坐标,利用最小二乘法获得一个拟合平面;
距离计算单元,用于计算各个特征点到该拟合平面的距离值的平均值,获得距离平均值;
差异计算单元,用于计算极线校正后的匹配特征点之间在预设第二方向上的坐标差异量的平均值,获得差异平均值;
参数优化单元,用于将距离平均值和差异平均值累加的结果作为评价函数,采用优化算法对投影装置与采集装置初始姿态参数进行优化,获得投影装置与采集装置实际姿态参数。
优选的,所述投影***的标定参数补偿装置还包括梯形校正判断模块,用于判断梯形校正的效果是否满足预设要求,若否,则进入投射采集控制模块。
优选的,所述梯形校正判断模块包括:
图像投射控制单元,用于控制投影装置投射预设图像到投影面,所述预设图像中至少包含9个已知像素坐标的特征点;
图像采集控制单元,用于控制采集装置拍摄所述投影面上的投影画面获得投影面图像;
参数补偿判断单元,用于对预设图像和投影面图像进行特征点提取匹配;对匹配特征点进行极线校正,计算极线校正后的匹配特征点之间在预设第二方向上的坐标差值平均值;当坐标差值平均值大于预设阈值时,进入投射采集控制模块。
本发明还提供一种投影***的标定参数补偿装置,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序以实现如上述投影***的标定参数补偿方法的步骤。
本发明还提供一种可读存储介质,所述可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述投影***的标定参数补偿方法的步骤。
本申请与现有技术相比,其有益效果详细说明如下:本申请通过控制投影装置投射预设图像到投影面,同时控制采集装置拍摄投影面上的投影画面获得投影面图像;根据投影面图像、投影装置内部参数、采集装置内部参数和投影装置与采集装置初始姿态参数,计算投影装置与采集装置实际姿态参数的方法,解决了用户使用过程中由于投影装置和采集装置发生相对位移导致预标定参数失效影响投影效果的问题,采用算法补偿投影装置与采集装置之间的姿态变化量,减少了投影***成本,保证了投影***使用的稳定性。
附图说明
为了更清楚地说明本发明实施例,下面将对实施例中所需要使用的附图做简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种投影***的标定参数补偿方法流程示意图;
图2为本发明实施例提供的一种预设图像示意图;
图3为本发明实施例提供的一种计算投影装置与采集装置实际姿态参数方法流程的示意图;
图4为本发明实施例提供的一种投影***的标定参数补偿装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下,所获得的所有其他实施例,都属于本发明保护范围。
为了使本领域的技术人员更好地理解本发明的技术方案,下面结合附图和具体实施例对本发明作进一步的详细说明。
如图1所示,本发明实施例提供一种投影***的标定参数补偿方法,投影***包括投影装置和采集装置,预存的标定参数包括:投影装置内部参数、采集装置内部参数、投影装置与采集装置初始姿态参数,补偿方法包括:
S11:控制投影装置投射预设图像到投影面,预设图像中至少包含9个已知像素坐标的特征点,同时控制采集装置拍摄投影面上的投影画面获得投影面图像;
S12:根据投影面图像、投影装置内部参数、采集装置内部参数和投影装置与采集装置初始姿态参数,计算投影装置与采集装置实际姿态参数。
具体的,投影***包括投影装置和采集装置,投影装置是指具有投影功能的设备、装置或者模块,即可以为投影仪、投影机等,采集装置是指具有拍照功能的设备、装置或者模块,即可以为采集装置、摄像头等,投影装置与采集装置可以一体装配,也可以为分体装配,例如在装有摄像机的无屏电视上,投影仪与摄像机就构成了一个投影***。
投影***出厂前,在工厂端对投影装置和采集装置进行标定,获得了固定距离下精确的***标定参数,包括投影装置与采集装置之间的姿态参数R,T,其中R表示两个光学装置之间的旋转参数,T表示两个光学装置之间的偏移量,还包括投影装置内参Kc,以及采集装置内参Kp。投影***在出厂后,由于运输、使用等情况造成了投影***的相对偏移,但是并未改变投影装置与采集装置的内部参数,在进行动态补偿时,这部分参数仍然可以继续保持,补偿主要针对投影装置与采集装置之间的姿态。
需要说明的是,步骤S11的方法包括:
控制投影装置从不同角度投射预设图像到投影面,预设图像中至少包含9个已知像素坐标的特征点,同时控制采集装置拍摄投影面上的投影画面获得对应的多张投影面图像。
具体的,在进行补偿时,待补偿参数为R、T,这两个参数各由3个参数表示,而进行投影时,投影面可以由3个参数表示,因此要求解这9个参数,至少需要9个特征点。在特殊情况下,如正投影时,投影面可以只用1个参数表示,那么求解这些参数,只需7个参数。这里我们为了减少用户正投时摆放的要求,要求至少9个特征点。
具体的,如图2所示,为了获得更好的补偿效果,可以要求用户按不同角度投射预设图像到投影平面上,并利用采集装置对投影画面进行采集;具体流程为:(1)提示用户将投影范围放到同一投影平面上,并投射包含有大量已知像素坐标的特征点的预设图像至投影平面(预设图像中特征点数量大于等于9个),其中特征点可以是棋盘格角点,圆形中心,环形中心,orb特征等,容易实现匹配及亚像素精度的特征。(2)控制采集装置采集该投影图像;(3)提示用户是否继续采集,若继续采集则重复步骤(1)、(2),若不采集,则完成采集流程,进入后面的标定参数补偿流程。
具体的,若只采集一张投影面图像,投影装置光机的光轴与投影面夹角一般在90°左右,采集的投影面图像越多,补偿效果更好,但是计算时间会更长。若采集大于或等于12张,且投影装置光机的光轴与投影面夹角在45~135°之间均匀分布采集获得投影图像时,可以获得更好的补偿效果。
需要说明的是,步骤S12的方法包括:
S121:对预设图像和投影面图像进行特征点提取匹配;
S122:根据投影装置与采集装置初始姿态参数、投影装置内部参数和采集装置内部参数,对匹配特征点进行极线校正;
S123:计算极线校正后的匹配特征点之间在预设第一方向上的坐标差异量,即视差;
S124:根据视差和投影装置与采集装置初始姿态参数,获得各个特征点的三维坐标;
S125:根据各个特征点的三维坐标,利用最小二乘法获得一个拟合平面;
S126:计算各个特征点到该拟合平面的距离值的平均值,获得距离平均值;
S127:计算极线校正后的匹配特征点之间在预设第二方向上的坐标差异量的平均值,获得差异平均值;
S128:将距离平均值和差异平均值累加的结果作为评价函数,采用优化算法对投影装置与采集装置初始姿态参数进行优化,获得投影装置与采集装置实际姿态参数。
其中,预设第一方向是指:与采集装置和投影装置的排列方向一致的方向,预设第二方向是指:与采集装置和投影装置的排列方向相对的方向,若预设第一方向为水平方向,则预设第二方向为垂直方向,若预设第一方向为垂直方向,则预设第二方向为水平方向。
具体的,如图3所示,根据预先标定的装置内部参数,即分别根据采集装置的内参、投影装置的内参,分别计算出投射的特征点在投影装置坐标系与采集装置坐标系下的立体坐标。根据匹配好的特征点,建立合理的约束关系,对R和T进行优化。具体的流程包括:
(1)对预设图像和上一步骤采集的投影面图像进行特征点提取匹配。
具体的,假设使用棋盘格的角点作为特征点,软件分别在预设图像与采集的投影面图像上使用openCV开源库所带有的角点检测算法,获得两组排列顺序相同的亚像素角点坐标,坐标相对于各自的图像坐标系。由于角点坐标的顺序相同,因此每组角点坐标中,相同索引号的角点对应到同一特征点,即完成提取与匹配的过程。
(2)根据投影装置与采集装置初始姿态参数R,T,采集装置内参畸变和投影装置内参畸变,对这些特征点进行极线校正。
具体的,使用openCV中的极线校正函数,输入预先标定好的装置内参,畸变与姿态参数,获得极线校正后特征点的坐标。
(3)如果采集装置与投影装置是水平方向排列,计算极线校正后匹配特征点之间在水平方向上的坐标差异量,即视差。如果是垂直方向排列,则计算极线校正后匹配特征点之间在垂直方向上的坐标差异量,该实施例以采集装置与投影装置是水平方向(预设第一方向)排列为例。
具体计算方法为:步骤(2)中极线校正后的特征点坐标仍然为x,y二维,由于极线约束,此时匹配的特征点应该只在某一坐标方向上存在差异,假设此时在x方向有差异,那么视差即为两个匹配点极线校正后的坐标在x方向上的差。
(4)根据视差和投影装置与采集装置初始姿态参数R,T,根据立体视觉的三角测距法,软件能够获得这些特征点的三维坐标,P1(x,y,z),P2(x,y,z)等。但由于R,T与实际情况并不符合,这个三维坐标并不准确。
具体的,利用三角测距法,获得最终的立体点三维坐标z=b*f/d,x=z*xl/d,y=z*yl/f,其中b,f分别为基线长度与焦距,这两个参数在极线校正计算时获得。d为视差,xl,yl为该立体点对应的投影装置特征点在极线校正后的坐标。
(5)根据提取出来的特征点三维坐标,利用最小二乘法获得一个拟合平面,平面形式为:ax+by+c=z。由于实际采集这些特征点时,这些特征点是处于一个平面,软件利用这个特点作为评价函数对R,T进行优化。首先对计算出来的三维特征点进行平面拟合。
具体的,根据最小二乘法,将步骤(4)中所有的特征点放入以上等式,用矩阵形式来表示为Ax=B,其中A=(x1,y1,1;x2,y2,1...xn,yn,1);B=(z1;z2;...zn);x=A\B,根据矩阵伪逆与乘法获得x,此时x=(a,b,c)即为软件想要求解的参数。
(6)计算这些特征点到这个平面的距离,取平均值。
具体的,根据点到平面的计算公式获得,d=|ax+by+c-z|/(sqrt(a^2+b^2+1))。
(7)计算极线校正后的垂直方向上(预设第二方向)的差异的平均值。
具体计算方法为:步骤(2)中极线校正后的特征点坐标仍然为x,y二维,由于极线约束,此时匹配的特征点应该只在某一坐标方向上存在视差,假设此时视差在x方向,那么y方向的差异理论上应该为0。软件用绝对值或者差的平方等方法,来表示这部分差异,并计算这部分差异的平均值。
(8)累加步骤(6)和步骤(7)的结果作为优化算法的评价函数。R,T正确时,该评价函数应该为0。可选的是,可以调节这两个累加因子的权重。
具体的,非线性优化方法需要评价函数与优化因子,评价函数即为这里所描述的累加,优化因子为R和T。
(9)使用LM优化算法或高斯牛顿法优化算法,对R和T进行优化,获得投影装置与采集装置实际姿态参数。
需要说明的是,投影***的标定参数补偿方法还包括步骤S10:判断梯形校正的效果是否满足预设要求,若否,则进入后续步骤。
具体的,步骤S10的方法包括:
S101:控制投影装置投射预设图像到投影面,预设图像中至少包含9个已知像素坐标的特征点;
S102:控制采集装置拍摄投影面上的投影画面获得投影面图像;
S103:对预设图像和投影面图像进行特征点提取匹配;
S104:对匹配特征点进行极线校正,计算极线校正后的匹配特征点之间在预设第二方向上的坐标差值的平均值;
S105:当坐标差值的平均值大于预设阈值时,进入标定参数补偿步骤。
具体的,用户打开投影***后,投影***自动进行梯形校正,投影***会检测梯形校正的效果,如果效果不如预期,则确认需要进行参数补偿。具体的效果确认方法通过极线约束来确认:经过极线校正过后的两个光学装置,应该只会在一个方向上存在视差,此时软件计算另一方向差异的平均值,当大于一定阈值时,软件认为需要重新进行标定,或者外部输入信号,触发重新标定流程。
极线约束的计算过程为:
(1)投影装置投射包含特征点的预设图像至投影面;
(2)采集装置拍摄该投影画面获得投影面图像,根据预设图像和投影面图像匹配其中特征点;
(3)对这些匹配的特征点进行极线校正,计算匹配的特征点在垂直极线方向上的差值平均值;
具体计算方法为:步骤(2)中极线校正后的特征点坐标仍然为x,y二维,由于极线约束,此时匹配的特征点应该只在某一坐标方向上存在视差,假设此时视差在x方向,那么为两个匹配点极线校正后的坐标在y方向上的差,理论上应该为0。
(4)当平均值大于预设阈值时,***则认为需要重新进行标定。
综上,本申请的技术方案通过采用在投影***使用时,动态优化预标定参数的办法来使预标定参数能够满足各个不同投影距离的使用需求,操作简单且适于广泛推广。
如图4所示,本发明实施例还提供一种投影***的标定参数补偿装置,投影***包括投影装置和采集装置,标定参数包括:投影装置内部参数、采集装置内部参数、投影装置与采集装置初始姿态参数,补偿装置包括:
投射采集控制模块21,用于控制投影装置投射预设图像到投影面,预设图像中至少包含9个已知像素坐标的特征点,同时控制采集装置拍摄投影面上的投影画面获得投影面图像;
姿态参数计算模块22,用于根据投影面图像、投影装置内部参数、采集装置内部参数和投影装置与采集装置初始姿态参数,计算投影装置与采集装置实际姿态参数。
需要说明的是,投射采集控制模块21还用于控制投影装置从不同角度投射预设图像到投影面,预设图像中至少包含9个已知像素坐标的特征点,同时控制采集装置拍摄投影面上的投影画面获得对应的多张投影面图像。
需要说明的是,姿态参数计算模块22包括:
特征点匹配单元,用于对预设图像和投影面图像进行特征点提取匹配;
极线校正单元,用于根据投影装置与采集装置初始姿态参数、投影装置内部参数和采集装置内部参数,对匹配特征点进行极线校正;
视差计算单元,用于计算极线校正后的匹配特征点之间在预设第一方向上的坐标差异量,即视差;
坐标计算单元,用于根据视差和投影装置与采集装置初始姿态参数,获得各个特征点的三维坐标;
平面拟合单元,用于根据各个特征点的三维坐标,利用最小二乘法获得一个拟合平面;
距离计算单元,用于计算各个特征点到该拟合平面的距离值的平均值,获得距离平均值;
差异计算单元,用于计算极线校正后的匹配特征点之间在预设第二方向上的坐标差异量的平均值,获得差异平均值;
参数优化单元,用于将距离平均值和差异平均值累加的结果作为评价函数,采用优化算法对投影装置与采集装置初始姿态参数进行优化,获得投影装置与采集装置实际姿态参数。
需要说明的是,投影***的标定参数补偿装置还包括梯形校正判断模块20,用于判断梯形校正的效果是否满足预设要求,若否,则进入投射采集控制模块。
需要说明的是,梯形校正判断模块20包括:
图像投射控制单元,用于控制投影装置投射预设图像到投影面,预设图像中至少包含9个已知像素坐标的特征点;
图像采集控制单元,用于控制采集装置拍摄投影面上的投影画面获得投影面图像;
参数补偿判断单元,用于对预设图像和投影面图像进行特征点提取匹配;对匹配特征点进行极线校正,计算极线校正后的匹配特征点之间在预设第二方向上的坐标差值平均值;当坐标差值平均值大于预设阈值时,进入投射采集控制模块。
本发明实施例还提供一种投影***的标定参数补偿装置,包括:存储器,用于存储计算机程序;处理器,用于执行计算机程序以实现如上述投影***的标定参数补偿方法的步骤。
本发明实施例还提供一种可读存储介质,可读存储介质存储有计算机程序,计算机程序被处理器执行时实现如上述投影***的标定参数补偿方法的步骤。
图4所对应实施例中特征的说明可以参见图1-图3所对应实施例的相关说明,这里不再一一赘述。
以上对本发明实施例所提供的一种投影***的标定参数补偿方法、装置和可读存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

Claims (10)

1.一种投影***的标定参数补偿方法,其特征在于,所述投影***包括投影装置和采集装置,所述标定参数包括:投影装置内部参数、采集装置内部参数、投影装置与采集装置初始姿态参数,所述补偿方法包括:
控制投影装置投射预设图像到投影面,所述预设图像中至少包含9个已知像素坐标的特征点,同时控制采集装置拍摄所述投影面上的投影画面获得投影面图像;
根据所述预设图像、投影面图像、投影装置内部参数、采集装置内部参数和投影装置与采集装置初始姿态参数,对所述预设图像和所述投影面图像进行特征点提取匹配,分别计算特征点在投影装置坐标系和采集装置坐标系的立体坐标,根据特征点的匹配关系和对应的立体坐标建立约束关系对投影装置与采集装置的初始姿态参数进行优化,获得投影装置与采集装置实际姿态参数。
2.根据权利要求1所述的投影***的标定参数补偿方法,其特征在于,所述控制投影装置投射预设图像到投影面,所述预设图像中至少包含9个已知像素坐标的特征点,同时控制采集装置拍摄所述投影面上的投影画面获得投影面图像的方法包括:
控制投影装置从不同角度投射预设图像到投影面,所述预设图像中至少包含9个已知像素坐标的特征点,同时控制采集装置拍摄所述投影面上的投影画面获得对应的多张投影面图像。
3.根据权利要求1所述的投影***的标定参数补偿方法,其特征在于,所述根据所述预设图像、投影面图像、投影装置内部参数、采集装置内部参数和投影装置与采集装置初始姿态参数,对所述预设图像和所述投影面图像进行特征点提取匹配,分别计算特征点在投影装置坐标系和采集装置坐标系的立体坐标,根据特征点的匹配关系和对应的立体坐标建立约束关系对投影装置与采集装置的初始姿态参数进行优化,获得投影装置与采集装置实际姿态参数的方法包括:
对预设图像和投影面图像进行特征点提取匹配;
根据投影装置与采集装置初始姿态参数、投影装置内部参数和采集装置内部参数,对匹配特征点进行极线校正;
计算极线校正后的匹配特征点之间在预设第一方向上的坐标差异量,即视差;
根据视差和投影装置与采集装置初始姿态参数,获得各个特征点的三维坐标;
根据各个特征点的三维坐标,利用最小二乘法获得一个拟合平面;
计算各个特征点到该拟合平面的距离值的平均值,获得距离平均值;
计算极线校正后的匹配特征点之间在预设第二方向上的坐标差异量的平均值,获得差异平均值;
将距离平均值和差异平均值累加的结果作为评价函数,采用优化算法对投影装置与采集装置初始姿态参数进行优化,获得投影装置与采集装置实际姿态参数。
4.根据权利要求1所述的投影***的标定参数补偿方法,其特征在于,所述控制投影装置投射预设图像到投影面,所述预设图像中至少包含9个已知像素坐标的特征点,同时控制采集装置拍摄所述投影面上的投影画面获得投影面图像的步骤前,还包括:判断梯形校正的效果是否满足预设要求,若否,则进入后续步骤;所述判断梯形校正的效果是否满足预设要求的方法包括:
控制投影装置投射预设图像到投影面,所述预设图像中至少包含9个已知像素坐标的特征点;
控制采集装置拍摄所述投影面上的投影画面获得投影面图像;
对预设图像和投影面图像进行特征点提取匹配;
对匹配特征点进行极线校正,计算极线校正后的匹配特征点之间在预设第二方向上的坐标差值的平均值;
当坐标差值的平均值大于预设阈值时,进入标定参数补偿步骤。
5.一种投影***的标定参数补偿装置,其特征在于,所述投影***包括投影装置和采集装置,所述标定参数包括:投影装置内部参数、采集装置内部参数、投影装置与采集装置初始姿态参数,所述补偿装置包括:
投射采集控制模块,用于控制投影装置投射预设图像到投影面,所述预设图像中至少包含9个已知像素坐标的特征点,同时控制采集装置拍摄所述投影面上的投影画面获得投影面图像;
姿态参数计算模块,用于根据所述预设图像、投影面图像、投影装置内部参数、采集装置内部参数和投影装置与采集装置初始姿态参数,对所述预设图像和所述投影面图像进行特征点提取匹配,分别计算特征点在投影装置坐标系和采集装置坐标系的立体坐标,根据特征点的匹配关系和对应的立体坐标建立约束关系对投影装置与采集装置的初始姿态参数进行优化,获得投影装置与采集装置实际姿态参数。
6.根据权利要求5所述的投影***的标定参数补偿装置,其特征在于,所述投射采集控制模块还用于控制投影装置从不同角度投射预设图像到投影面,所述预设图像中至少包含9个已知像素坐标的特征点,同时控制采集装置拍摄所述投影面上的投影画面获得对应的多张投影面图像。
7.根据权利要求5所述的投影***的标定参数补偿装置,其特征在于,所述姿态参数计算模块包括:
特征点匹配单元,用于对预设图像和投影面图像进行特征点提取匹配;
极线校正单元,用于根据投影装置与采集装置初始姿态参数、投影装置内部参数和采集装置内部参数,对匹配特征点进行极线校正;
视差计算单元,用于计算极线校正后的匹配特征点之间在预设第一方向上的坐标差异量,即视差;
坐标计算单元,用于根据视差和投影装置与采集装置初始姿态参数,获得各个特征点的三维坐标;
平面拟合单元,用于根据各个特征点的三维坐标,利用最小二乘法获得一个拟合平面;
距离计算单元,用于计算各个特征点到该拟合平面的距离值的平均值,获得距离平均值;
差异计算单元,用于计算极线校正后的匹配特征点之间在预设第二方向上的坐标差异量的平均值,获得差异平均值;
参数优化单元,用于将距离平均值和差异平均值累加的结果作为评价函数,采用优化算法对投影装置与采集装置初始姿态参数进行优化,获得投影装置与采集装置实际姿态参数。
8.根据权利要求5所述的投影***的标定参数补偿装置,其特征在于,还包括梯形校正判断模块,用于判断梯形校正的效果是否满足预设要求,若否,则进入投射采集控制模块;所述梯形校正判断模块包括:
图像投射控制单元,用于控制投影装置投射预设图像到投影面,所述预设图像中至少包含9个已知像素坐标的特征点;
图像采集控制单元,用于控制采集装置拍摄所述投影面上的投影画面获得投影面图像;
参数补偿判断单元,用于对预设图像和投影面图像进行特征点提取匹配;对匹配特征点进行极线校正,计算极线校正后的匹配特征点之间在预设第二方向上的坐标差值平均值;当坐标差值平均值大于预设阈值时,进入投射采集控制模块。
9.一种投影***的标定参数补偿装置,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序以实现如权利要求1至4中任一项所述投影***的标定参数补偿方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述投影***的标定参数补偿方法的步骤。
CN201911325236.1A 2019-12-20 2019-12-20 投影***的标定参数补偿方法、装置及可读存储介质 Active CN110933391B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911325236.1A CN110933391B (zh) 2019-12-20 2019-12-20 投影***的标定参数补偿方法、装置及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911325236.1A CN110933391B (zh) 2019-12-20 2019-12-20 投影***的标定参数补偿方法、装置及可读存储介质

Publications (2)

Publication Number Publication Date
CN110933391A CN110933391A (zh) 2020-03-27
CN110933391B true CN110933391B (zh) 2021-11-09

Family

ID=69864528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911325236.1A Active CN110933391B (zh) 2019-12-20 2019-12-20 投影***的标定参数补偿方法、装置及可读存储介质

Country Status (1)

Country Link
CN (1) CN110933391B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111487043B (zh) * 2020-05-07 2021-11-09 北京的卢深视科技有限公司 单目散斑结构光***的散斑投射器标定参数确定方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103047943A (zh) * 2012-12-31 2013-04-17 吉林大学 基于单投射编码结构光的车门外板形状尺寸检测方法
CN103234482A (zh) * 2013-04-07 2013-08-07 哈尔滨工程大学 一种基于正弦光栅的结构光测量***标定方法
CN103942796A (zh) * 2014-04-23 2014-07-23 清华大学 一种高精度的投影仪-摄像机标定***及标定方法
CN108269288A (zh) * 2017-12-28 2018-07-10 中国科学院自动化研究所 智能异形投影非接触式交互***和方法
CN108362228A (zh) * 2018-02-11 2018-08-03 西安知象光电科技有限公司 一种基于双光机的光刀光栅混合式三维测量装置及测量方法
JP2019007995A (ja) * 2017-06-20 2019-01-17 パナソニックIpマネジメント株式会社 投写型表示装置の較正装置、較正方法、プログラム、投写型表示装置、及び投写型表示システム
CN110099267A (zh) * 2019-05-27 2019-08-06 广州市讯码通讯科技有限公司 梯形校正***、方法以及投影仪

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI592020B (zh) * 2016-08-23 2017-07-11 國立臺灣科技大學 投影機的影像校正方法及影像校正系統
US20190052851A1 (en) * 2017-08-11 2019-02-14 Hilti Aktiengesellschaft System and Method for Recalibrating a Projector System
CN107680159B (zh) * 2017-10-16 2020-12-08 西北工业大学 一种基于投影矩阵的空间非合作目标三维重建方法
CN108171759A (zh) * 2018-01-26 2018-06-15 上海小蚁科技有限公司 双鱼眼镜头全景相机的标定方法及装置、存储介质、终端

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103047943A (zh) * 2012-12-31 2013-04-17 吉林大学 基于单投射编码结构光的车门外板形状尺寸检测方法
CN103234482A (zh) * 2013-04-07 2013-08-07 哈尔滨工程大学 一种基于正弦光栅的结构光测量***标定方法
CN103942796A (zh) * 2014-04-23 2014-07-23 清华大学 一种高精度的投影仪-摄像机标定***及标定方法
JP2019007995A (ja) * 2017-06-20 2019-01-17 パナソニックIpマネジメント株式会社 投写型表示装置の較正装置、較正方法、プログラム、投写型表示装置、及び投写型表示システム
CN108269288A (zh) * 2017-12-28 2018-07-10 中国科学院自动化研究所 智能异形投影非接触式交互***和方法
CN108362228A (zh) * 2018-02-11 2018-08-03 西安知象光电科技有限公司 一种基于双光机的光刀光栅混合式三维测量装置及测量方法
CN110099267A (zh) * 2019-05-27 2019-08-06 广州市讯码通讯科技有限公司 梯形校正***、方法以及投影仪

Also Published As

Publication number Publication date
CN110933391A (zh) 2020-03-27

Similar Documents

Publication Publication Date Title
CN110677634B (zh) 投影仪的梯形校正方法、装置、***及可读存储介质
CN109887087B (zh) 一种车辆的slam建图方法及***
CN103776419B (zh) 一种提高测量范围的双目视觉测距方法
KR102085228B1 (ko) 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치
CN100442141C (zh) 图像投影方法和设备
TWI520098B (zh) 影像擷取裝置及其影像形變偵測方法
CN109410140B (zh) 一种畸变校正方法、装置、***及计算机可读存储介质
JP2019510234A (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
CN104820978B (zh) 一种ccd相机的基准定位方法
WO2020228694A1 (zh) 一种相机姿态信息检测方法、装置以及相应的智能驾驶设备
CN102661717A (zh) 铁塔单目视觉测量方法
CN102436660A (zh) 3d相机图像自动校正方法及装置
CN104836960A (zh) 一种图像采集***和图像采集方法
CN104089628A (zh) 光场相机的自适应几何定标方法
CN103017666A (zh) 用于确定几何空间中测量点的位置的过程和装置
KR20130121290A (ko) 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법
WO2023201578A1 (zh) 单目激光散斑投影***的外参数标定方法和装置
CN110933391B (zh) 投影***的标定参数补偿方法、装置及可读存储介质
CN109084959B (zh) 一种基于双目测距算法的光轴平行度校正方法
US20200260029A1 (en) Image processing system for measuring depth and operating method of the same
US11956537B2 (en) Location positioning device for moving body and location positioning method for moving body
CN116363226A (zh) 一种实时的多相机多投影仪3d成像处理方法及装置
Chatterjee et al. A nonlinear Gauss–Seidel algorithm for noncoplanar and coplanar camera calibration with convergence analysis
WO2023040095A1 (zh) 相机的标定方法、装置、电子设备及存储介质
CN114972534A (zh) 移轴相机双目标定方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant