CN116743973A - 无感投影图像自动校正方法 - Google Patents
无感投影图像自动校正方法 Download PDFInfo
- Publication number
- CN116743973A CN116743973A CN202310710687.7A CN202310710687A CN116743973A CN 116743973 A CN116743973 A CN 116743973A CN 202310710687 A CN202310710687 A CN 202310710687A CN 116743973 A CN116743973 A CN 116743973A
- Authority
- CN
- China
- Prior art keywords
- projection
- projector
- image
- tan
- projection plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000012937 correction Methods 0.000 title claims abstract description 14
- 230000001939 inductive effect Effects 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 18
- 238000003384 imaging method Methods 0.000 claims description 15
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 8
- 238000003702 image correction Methods 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
本发明涉及投影图像校正领域，为了提高校正时的用户使用体验感，提供了无感投影图像自动校正方法，利用TOF传感器和IMU惯性传感器获取投影设备与投影平面之间的姿态角度，根据姿态角度和投影设备本身投影的投射角点的固定射线向量，计算得到投影设备和投影平面的相对坐标状态，再根据图像投影透视变换原理进行投影顶点的位置调节。整个校正过程无需投射特征图像，相比传统摄像头读取图像以及对图像解码的处理过程，处理速度能提升1倍左右，从而提升了用户使用体验感。
Description
技术领域
本发明涉及投影图像校正领域，具体是一种无感投影图像自动校正方法。
背景技术
目前的LED微投产品中，由于使用场景的特点，位置经常被移动，整机移动之后，投射在屏幕或者墙壁之上的图像就发生了变形，如果希望投射出的图像保证矩形和比例，就需要调整投影图像的顶点坐标位置，保证投出图像的矩形和比例正确。通常做法是采用自动梯形校正功能来实现投影画面的自动调节。
自动梯形校正功能需要投影机投出一种带有特征图像的画面，通过本机的摄像头，抓取投出的图像，通过图像处理算法，把不成正矩形的图像调整为正矩形。这种方法投出带有特征的图像后，会打断用户的正常使用，同时处理时间也比较长，通常需要5～6秒，对用户来说，使用体验不是很友好。
发明内容
为了提高校正时的用户使用体验感，本申请提供了一种无感投影图像自动校正方法。
本发明解决上述问题所采用的技术方案是：
无感投影图像自动校正方法，包括：
步骤1、获取投影机与投影平面的姿态角度信息；
步骤2、获取当前投影图像四个顶点的三维坐标；
步骤3、根据姿态角度信息分别对四个顶点的三维坐标进行向量分解以获取当前状态下投影图像在投影平面上的二维成像顶点坐标；
步骤4、获取四个二维成像顶点坐标对应的最大内接矩形，所述最大内接矩形的长宽比为投影显示比；
步骤5、根据内接矩形的顶点坐标及图像投影透视变换原理获取顶点坐标在投影设备中的投影二维顶点坐标；
步骤6、根据投影二维顶点坐标进行投影。
进一步地，所述步骤1中姿态角度信息包括：深度信息及角度信息，采用TOF传感器获取投影机与投影平面间的深度信息，采用IMU惯性传感器获取投影机与水平面偏差的角度信息。
进一步地，所述步骤1具体为：
步骤11、获取IMU惯性传感器角度和各轴数值之间的线性关系；
步骤12、根据IMU惯性传感器测量值及线性关系分别获取Y轴方向和Z轴方向投影机与投影平面的相对角度；
步骤13、通过TOF传感器获取投影平面上固定角度的光点P1及P2的深度信息；
步骤14、根据固定角度及深度信息计算X轴方向投影机与投影平面的相对角度。
进一步地，所述步骤13中固定角度为30°。
进一步地，所述步骤2具体为：
定义投影机与投影平面的预设距离为L，w为预设距离下投影图像的宽度，h为预设距离下投影图像的高度；若投影平面与微投机的实际距离为L′，则投影图像四个顶点A、B、C、D的三维成像顶点坐标分别为：A(-L′×tanθ，L′×tanγ，L′)，B(L′×tanθ，L′×tanγ，L′)，C(-L′×tanθ，0，L′)，D(L′×tanθ，0，L′)，其中，tanθ＝w/(2×L)，tanγ＝h/L。
进一步地，所述步骤4中投影显示比为16:9。
本发明相比于现有技术具有的有益效果是：本申请利用TOF(飞行时间)传感器和IMU惯性传感器获取投影设备与投影平面之间的姿态角度，根据姿态角度和投影设备本身投影的投射角点的固定射线向量，计算得到投影设备和投影平面的相对坐标状态，再根据图像投影透视变换原理进行投影顶点的位置调节。整个校正过程无需投射特征图像，相比传统摄像头读取图像以及对图像解码的处理过程，处理速度能提升1倍左右，从而提升了用户使用体验感。
附图说明
图1为无感投影图像自动校正方法流程图；
图2为X方向投影机和投影平面相对角度获取原理图；
图3为计算标准图像的三维成像顶点坐标的原理示意图；
图4为投影矩形调整示意图；
图5为Z轴角度偏移情况下4点校正效果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，无感投影图像自动校正方法，包括：
步骤1、获取投影机与投影平面的姿态角度信息；
步骤2、获取当前投影图像四个顶点的三维坐标；
步骤3、根据姿态角度信息分别对四个顶点的三维坐标进行向量分解以获取当前状态下投影图像在投影平面上的二维成像顶点坐标；
步骤4、获取四个二维成像顶点坐标对应的最大内接矩形，所述最大内接矩形的长宽比为投影显示比；
步骤5、根据内接矩形的顶点坐标及图像投影透视变换原理获取顶点坐标在投影设备中的投影二维顶点坐标；
步骤6、根据投影二维顶点坐标进行投影。
具体的，所述步骤1中采用TOF传感器获取投影机与投影平面间的深度信息，采用IMU惯性传感器获取投影机与水平面偏差的角度信息。
首先，读取IMU惯性传感器数据，实时读取X、Y、Z轴的值，通过对不同角度下，各轴变化的记录，得到一个角度和各轴数值之间的线性关系。在实际测试时，线性关系仅在投影机Y、Z方向上是起效的，X方向无法判断。因此X方向就需要通过TOF测距仪获取的数据来进行分析，而Y、Z方向的角度通过IMU惯性传感器就可直接得到。除了采用IMU惯性传感器、TOF传感器外还可以采用其他测量方式，如水平仪、激光测距等。
控制投影机的TOF传感器对投影平面进行测量，获得TOF传感器照射在投影平面上的多个光点的深度信息。
通过固定角度的两个光点P1、P2的深度信息，可以求出X方向投影机和投影平面的相对角度：
如图2所示，光点P1、P2的深度信息分别是L1、L2，固定角度是α，根据公式(1)可求出X方向投影机和投影平面的相对角度β：
通过以上步骤可得到投影机和投影平面在X、Y、Z方向上的相对角度。
根据投影图像的顶点与投影机的光心之间的连线的向量，计算投影图像顶点的三维坐标。计算过程如下：
如图3所示，标准图像存在四个顶点，分别为点A、点B、点C及点D。
定义预设距离为L，w为预设距离下投影图像的宽度，h为预设距离下投影图像的高度。根据投影机参数和三角关系，假设投影平面与投影机的距离为L’,则点A的三维成像顶点坐标为：
同理，可求出顶点B、顶点C及顶点D的三维成像顶点坐标向量分别为：B(L′×tanθ，L′×tanγ，L′)，C(-L′×tanθ，0，L′)，D(L′×tanθ，0，L′)。
利用投影机和投影平面的相对角度位置信息，将计算得到投影图像的三维顶点坐标向量进行向量分解，就可得到当前状态下投影图像在投影平面上的二维成像顶点坐标。具体的向量分解过程在此不再赘述。
得到投影平面上的二维成像顶点坐标后，此时图像不是正矩形，是梯形四边形。在此四边形形状上，计算获取四边形内最大显示比例的内接矩形，如图4所示。
如图5所示，若Z方向有旋转角度φ，则还需根据Z方向角度信息，将最大内接矩阵的四个顶点坐标的x,y坐标值进行角度旋转处理计算。
基于最终得到的四个顶点坐标值，利用图像投影透视变换原理即可得到校正后的图像在投影设备中的投影二维顶点坐标。投影机使用校正后的二维顶点坐标进行投影，在用户视野中呈现的图像就是矩形了。
实施例
IMU惯性传感器设置在投影机内部，TOF传感器设置在投影光机旁。获取IMU传感器角度和各轴数值之间的线性关系：Y_angle＝0.876×ty+2.862，Z_angle＝1.796×tz-56.596，ty为Y轴的测量数据，tz为Z轴的测量数据。
自动校正功能被触发后，读取IMU传感器数据Y、Z轴的值，
根据实际测量的数据，ty＝8.15,tz＝31.5，此时，投影机和投影平面相对角度在Y和Z方向上分别是10°和0°。
如图2所示，取光点P1、P2的固定角度是30°，读取TOF传感器数据，其中L1＝1.2m，L2＝1m，根据公式1可求出投影机和投影平面相对角度在X方向上是-10.3°。
根据投影图像的顶点与投影机的光心之间的连线的向量，可得到投影图像顶点的三维坐标向量。当投影机与投影平面水平距离1m时，采集的投影图像宽度和高度分别为864cm，486cm，则根据公式2，点A的坐标向量为(-0.432,0.486，1)，点B的坐标向量为(0.432,0.486，1)，点C的坐标向量为(-0.432,0，1)，点D的坐标向量为(0.432,0，1)。
根据4个顶点的坐标向量，结合投影机和投影平面相对角度，对三维顶点坐标向量进行向量分解，得到当前状态下投影图像的二维成像顶点坐标。本实施例为了便于计算，以D点为原点进行分解：点A(-76.47,726.41)，点B(1122.19,607.28)，点C(1102.51,2.38)，点D(0,0)。
得到平面上的二维成像顶点坐标后，此时图像是梯形四边形，如图4所示，在此四边形上，计算获取四边形内最大16：9的内接矩阵，得到点A(23.51,609.29),点B(1102.51,609.29)，点C(1102.51,2.38)，点D(23.51,2.38)。显示比例可根据实际需要设置其他值。
根据上面求解的最大内接矩阵的四个顶点坐标值，利用投影透视变换原理计算得到校正后的原始图像的二维顶点坐标：点A(81.98,858.61),点B(1690.33,1065.25),点C(1764.54,86.21),点D(39.81,0)。
若Z方向有旋转角度5°，直接根据Z方向角度信息，将最大内接矩阵的四个顶点坐标的x,y坐标值进行角度旋转处理计算，可得到旋转后的校正顶点坐标点A’(91.348,609.29),点B’(1083.49,522.49),点C’(1034.672,2.38),点D’(42.52,89.178)。本实施例中Z方向为0°，可跳过这一步。
投影机使用校正后的二维顶点坐标：点A(81.98,858.61),点B(1690.33,1065.25),点C(1764.54,86.21),点D(39.81,0)进行投影即可得到想要的矩形显示。
Claims (6)
1.无感投影图像自动校正方法，其特征在于，包括：
步骤1、获取投影机与投影平面的姿态角度信息；
步骤2、获取当前投影图像四个顶点的三维坐标；
步骤3、根据姿态角度信息分别对四个顶点的三维坐标进行向量分解以获取当前状态下投影图像在投影平面上的二维成像顶点坐标；
步骤4、获取四个二维成像顶点坐标对应的最大内接矩形，所述最大内接矩形的长宽比为投影显示比；
步骤5、根据内接矩形的顶点坐标及图像投影透视变换原理获取顶点坐标在投影设备中的投影二维顶点坐标；
步骤6、根据投影二维顶点坐标进行投影。
2.根据权利要求1所述的无感投影图像自动校正方法，其特征在于，所述步骤1中姿态角度信息包括：深度信息及角度信息，采用TOF传感器获取投影机与投影平面间的深度信息，采用IMU惯性传感器获取投影机与水平面偏差的角度信息。
3.根据权利要求2所述的无感投影图像自动校正方法，其特征在于，所述步骤1具体为：
步骤11、获取IMU惯性传感器角度和各轴数值之间的线性关系；
步骤12、根据IMU惯性传感器测量值及线性关系分别获取Y轴方向和Z轴方向投影机与投影平面的相对角度；
步骤13、通过TOF传感器获取投影平面上固定角度的光点P1及P2的深度信息；
步骤14、根据固定角度及深度信息计算X轴方向投影机与投影平面的相对角度。
4.根据权利要求3所述的无感投影图像自动校正方法，其特征在于，所述步骤13中固定角度为30°。
5.根据权利要求2所述的无感投影图像自动校正方法，其特征在于，所述步骤2具体为：
定义投影机与投影平面的预设距离为L，w为预设距离下投影图像的宽度，h为预设距离下投影图像的高度；若投影平面与微投机的实际距离为L′，则投影图像四个顶点A、B、C、D的三维成像顶点坐标分别为：A(-L′×tanθ，L′×tanγ，L′)，B(L′×tanθ，L′×tanγ，L′)，C(-L′×tanθ，0，L′)，D(L′×tanθ，0，L′)，其中，tanθ＝w/(2×L)，tanγ＝h/L。
6.根据权利要求1-5任意一项所述的无感投影图像自动校正方法，其特征在于，所述步骤4中投影显示比为16:9。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310710687.7A CN116743973A (zh) | 2023-06-15 | 2023-06-15 | 无感投影图像自动校正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310710687.7A CN116743973A (zh) | 2023-06-15 | 2023-06-15 | 无感投影图像自动校正方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116743973A true CN116743973A (zh) | 2023-09-12 |
Family
ID=87910995
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310710687.7A Pending CN116743973A (zh) | 2023-06-15 | 2023-06-15 | 无感投影图像自动校正方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116743973A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117570853A (zh) * | 2024-01-16 | 2024-02-20 | 深圳新智联软件有限公司 | 计算投影界面内四点坐标的方法、装置、设备及存储介质 |
-
2023
- 2023-06-15 CN CN202310710687.7A patent/CN116743973A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117570853A (zh) * | 2024-01-16 | 2024-02-20 | 深圳新智联软件有限公司 | 计算投影界面内四点坐标的方法、装置、设备及存储介质 |
| CN117570853B (zh) * | 2024-01-16 | 2024-04-09 | 深圳新智联软件有限公司 | 计算投影界面内四点坐标的方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240153143A1 (en) | Multi view camera registration | |
| CN112804507B (zh) | 投影仪校正方法、***、存储介质以及电子设备 | |
| CN110191326B (zh) | 一种投影***分辨率扩展方法、装置和投影*** | |
| JP4245963B2 (ja) | 較正物体を用いて複数のカメラを較正するための方法およびシステム | |
| US8107722B2 (en) | System and method for automatic stereo measurement of a point of interest in a scene | |
| EP2631740A2 (en) | System for reproducing virtual objects | |
| US20150116691A1 (en) | Indoor surveying apparatus and method | |
| CN109215108A (zh) | 基于激光扫描的全景三维重建***及方法 | |
| US9449433B2 (en) | System for reproducing virtual objects | |
| JP2007036482A (ja) | 情報投影表示装置およびプログラム | |
| EP2022007A2 (en) | System and architecture for automatic image registration | |
| US20210364900A1 (en) | Projection Method of Projection System for Use to Correct Image Distortion on Uneven Surface | |
| CN113824942B (zh) | 梯形校正方法、装置、投影仪及计算机可读存储介质 | |
| JP4052382B2 (ja) | 非接触画像計測装置 | |
| CN110555813B (zh) | 一种无人机遥感影像的快速几何校正方法及*** | |
| CN110490943B (zh) | 4d全息捕捉***的快速精确标定方法、***及存储介质 | |
| JP2010287074A (ja) | カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびプログラムを記録した記録媒体 | |
| CN116743973A (zh) | 无感投影图像自动校正方法 | |
| CN110044266B (zh) | 基于散斑投影的摄影测量*** | |
| JP2011155412A (ja) | 投影システムおよび投影システムにおける歪み修正方法 | |
| JP3842988B2 (ja) | 両眼立体視によって物体の３次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体 | |
| CN111131801A (zh) | 投影仪校正***、方法及投影仪 | |
| Martínez et al. | Non-contact 3D measurement of buildings through close range photogrammetry and a laser distance meter | |
| CN116563370A (zh) | 基于单目计算机视觉的测距方法和测速方法 | |
| JP2980194B2 (ja) | 鉄筋の配筋位置及び姿勢の計測方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |