CN113340235B - 基于动态投影的投影***及相位移动图案生成方法 - Google Patents
基于动态投影的投影***及相位移动图案生成方法 Download PDFInfo
- Publication number
- CN113340235B CN113340235B CN202110460297.XA CN202110460297A CN113340235B CN 113340235 B CN113340235 B CN 113340235B CN 202110460297 A CN202110460297 A CN 202110460297A CN 113340235 B CN113340235 B CN 113340235B
- Authority
- CN
- China
- Prior art keywords
- overexposure
- underexposure
- projection
- pattern
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010363 phase shift Effects 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012937 correction Methods 0.000 claims abstract description 22
- 238000012795 verification Methods 0.000 claims abstract description 8
- 238000002310 reflectometry Methods 0.000 claims description 25
- 238000013461 design Methods 0.000 claims description 18
- 230000001419 dependent effect Effects 0.000 claims description 15
- 238000005316 response function Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 230000008447 perception Effects 0.000 description 13
- 238000005259 measurement Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 5
- 229910052751 metal Inorganic materials 0.000 description 5
- 239000002184 metal Substances 0.000 description 5
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000002905 metal composite material Substances 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 239000010936 titanium Substances 0.000 description 1
- 229910052719 titanium Inorganic materials 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/02—Illuminating scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
一种基于动态投影的投影***，包括多光强投影图案与采集单元、区域引导动态投影图案生成单元、局部过曝欠曝强度修正单元和动态投影图案综合校验单元，并基于该***提出一种基于动态投影的相位移动图案生成方法，包括以下步骤：多光强投影图案的投影与采集‑区域引导动态投影图案的生成‑动态投影采集图像局部过曝欠曝强度修正‑动态投影图案综合校验，基于多级差光强图像，分析坐标邻域的过曝欠曝状态，生成逐像素的过曝欠曝灰度级，由此提高或降低生成图案所有相位移动的光强属性，并对动态投影采集图案中仍存在的过曝欠曝点进行局部强度修正，能较好地解决被测对象在相机视野下的过曝欠曝现象带来的光强信息失真问题。
Description
技术领域
本发明涉及动态投影领域，特别涉及一种基于动态投影的投影***及相位移动图案生成方法。
背景技术
结构光三维感知是一种主动视觉三维感知方法。该技术广泛应用于逆向工程、生物医学、航空检测等领域。在实际工业测量环境中，对于铆钉或螺钉等紧固件或连接件的测量中，可能存在钢、铝、钛、复合材料等多种不同材质。金属材质和复合材质的反射率分布特性较为复杂，其中较高反射率物体容易造成采集设备的成像结果光强信息过高而失真，即过曝现象。过曝现象产生的过曝信息无法获取其编码信息，因此造成结构光解码失准而感知结果产生误差。当被测对象反射率较低时，容易造成拒不光强信息较弱，导致相位信息无法有效解码。
对于不同材质测量对象，其表面反射率分布特性各异，单一特征的结构光投影图案无法满足多样化的测量对象。降低采集图案的强度可以有效降低过曝现象，由于采集图像整体强度下降，相应的三维测量精度随之下降。当被测对象在相机视野下同时存在过曝和欠曝现象，光强信息失真问题无法通过设备光圈单向调节光强特征解决。因此需要针对被测目标反射特性设计投影强度动态自适应的投影图案。
发明内容
本发明的目的在于：提供了一种基于动态投影的投影***，并基于该***设计出了一种基于动态投影的相位移动图案生成方法，基于多级差光强图像，分析坐标邻域的过曝欠曝状态，生成逐像素的过曝欠曝灰度级，解决了上述问题。
本发明采用的技术方案如下：
一种基于动态投影的投影***，包括多光强投影图案与采集单元、区域引导动态投影图案生成单元、局部过曝欠曝强度修正单元和动态投影图案综合校验单元，所述多光强投影图案投影与采集单元包括多光强投影图案设计模块、结构光***设计与标定模块和结构光设备硬触发投影采集模块，所述多光强投影图案设计模块生成多级差光强特性的单值灰度图像，所述结构光***设计与标定模块构建结构光三维感知***，所述结构光设备硬触发投影采集模块用于快速投影和采集预设投影图案；
所述区域引导动态投影图案生成单元包括多级差光强图像邻域特性分析模块和区域光强修正模块，所述多级差光强图像邻域特性分析模块用于分析采集多级光强图像坐标邻域的过曝欠曝状态，并基于采集图案生成逐像素的过曝欠曝灰度级，所述区域光强修正模块用于修正投影图案在过曝欠曝区域的强度特性；
所述局部过曝欠曝强度修正单元包括过曝欠曝点邻域序列提取模块和区域样条插值计算模块，所述过曝欠曝点邻域序列提取模块用于在相机图像上提取过曝欠曝点在同一行及同一列的未过曝欠曝点，并将相机图像坐标生成相应的自变量序列，未过曝欠曝点解码的投影图案坐标生成相应的因变量序列；所述区域样条插值计算模块用于估计动态投影采集图案中的过曝欠曝点的投影仪坐标信息，通过构建过曝欠曝点的相机与投影仪像素间响应函数，获得未过曝欠曝点的投影仪坐标系中的坐标值；
所述动态投影图案综合校验单元包括相位移动线性校验模块、反射率光度一致性校验模块和切向畸变校验模块，所述相位移动线性校验模块用于校验动态投影***相位移动解码的线性特征，所述反射率光度一致性校验模块用于校验非均匀反射率被测目标的光度一致性特征，分析非均匀反射率被测目标在相机坐标系的光度一致性特性，所述切向畸变校验模块用于校验动态投影图案的切向畸变特性，基于标准块和标准板校验相机坐标系和投影仪坐标系的切向畸变特性。
为了更好地实现本方案，进一步地，所述结构光***设计与标定模块基于由投影仪和相机构成的结构光***，采用圆点特征伪相机标定法获取***内部参数和外部参数。
为了更好地实现本方案，进一步地，所述区域光强修正模块修正投影图案在过曝欠曝区域的强度特性的方法，基于逐像素的过曝欠曝信息，提高或降低生成图案所有相位移动的光强属性。
为了更好地实现本方案，进一步地，所述区域样条插值计算模块构建过曝欠曝点的相机与投影仪像素间响应函数后，采用样条插值对自变量与因变量序列进行插值拟合，获得未过曝欠曝点的投影仪坐标系中的坐标值。
为了更好地实现本方案，进一步地，所述相位移动线性校验模块是基于白平衡板的相位解码计算投影仪坐标与相位的线性特性，校验动态投影***相位移动解码的线性特征。
一种基于动态投影的相位移动图案生成方法，基于上述任一项投影***，包括以下步骤：
步骤S1，多光强投影图案的投影与采集：所述多光强投影图案为多级差光强特性的单值灰度图像，在纯黑图像和纯白图像间定义N级光强，生成N级光强投影图案P(N)，采用圆点特征伪相机法获取投影仪与相机关于世界坐标系点的对应关系，依据张正友标定法计算***内部参数和外部参数；
步骤S2，区域引导动态投影图案的生成：分析采集的多级差光强特性的图案坐标中像素的过曝欠曝状态，生成逐像素的过曝欠曝信息，设定全局过曝阈值θover和欠曝阈值θunder，计算多光强投影图案的多级光强中的过曝欠曝区域，计算逐像素的非过曝最大灰度级Gray(x，y)max和非欠曝最小灰度级Gray(x，y)min：
并计算修正的投影图案在过曝欠曝区域的强度特性：
其中：I(x，y)表示修正的投影图案光强信息，m为相位移动步长，n表示当前步长；由此生成m步相位移动动态投影图案；
步骤S3，动态投影采集图像局部过曝欠曝强度修正：通过相位解码算法和未过曝欠曝点，计算过曝欠曝点在投影仪坐标系中的坐标值，当采集的多光强投影图案中存在过曝欠曝现象时，在相位解码算法中加入图像强度得到解码相位校正；
步骤S4，动态投影图案综合校验：校验相位信息在相机坐标系下的线性特征，设定强度不均匀的动态投影相位移动图案，将投影图案投射到白平衡板并由相机采集，基于相位移动解码方法计算动态投影图案的相位信息；基于线性拟合计算方差，当方差小于预设阈值σL时，表示投影仪动态投影图案的相位移动线性特性较好，可以用于结构光三维感知编码图案；
校验全局光度一致性特性，基于金属局部磨砂设置局部反射率不均匀平板，将投影图案投射到金属板并由相机采集，基于相位移动解码方法计算动态投影图案的相位信息，计算区域光度信息，当全局光度方差小于预设阈值σθ时，表示投影仪动态投影图案的反射率光度一致性特性较好，可以用于结构光三维感知编码图案；
校验动态投影图案的切向畸变特性，将标准块随机放置在投影设备与采集设备的交叠区域，投影图案投射到标准块并由相机采集，基于相位移动解码方法计算动态投影图案的相位信息，计算标准块的尺寸特征，当横向精度和纵向精度小于预设阈值μθ时，表示投影仪动态投影图案的切向畸变特性较好，可以用于结构光三维感知编码图案。
为了更好地实现本方案，进一步地，所述步骤S3中计算过曝欠曝点在投影仪坐标系中的坐标值的方法具体为：基于过曝欠曝点邻域里的未过曝欠曝点(u,v)的强度信息，通过相移法解码获得过曝欠曝点的相机与投影仪像素坐标响应函数F(u,v)，并确定出过曝欠曝点的投影仪像素坐标(i,j)。
为了更好地实现本方案，进一步地，步骤S3中计算过曝欠曝点在投影仪坐标系中的坐标值的方法具体为：针对每个过曝欠曝点的横纵坐标，分别提取相机图像上与其在同一行及同一列的未过曝欠曝点，并将相机图像坐标生成相应的自变量序列，由未过曝欠曝点解码的投影图案坐标生成相应的因变量序列；对已有的未过曝欠曝点的像素坐标进行内插值，并通过误差补偿估计出过曝欠曝点的对应的投影区域，得到采集图像中每一个过曝欠曝点对应的投影仪坐标系坐标值；根据过曝欠曝区域大小，估计插值误差ae个像素，将估计的投影像素坐标扩展为以其为中心的，边长为2ae+1的正方形估计域并将估计的过曝欠曝点坐标扩展为正方形的过曝欠曝区域。
本发明所述的一种基于动态投影的投影***，并基于该***设计出了一种基于动态投影的相位移动图案生成方法，基于多级差光强的图像，分析坐标邻域的过曝欠曝状态，生成逐像素的过曝欠曝灰度级，由此提高或降低生成图案所有相位移动的光强属性，生成用于动态投影的相位移动图案。
另外，还会针对动态投影采集图案中仍存在的过曝欠曝点进行局部强度修正，通过提取过曝欠曝点邻域序列，在采集到的图像上提取过曝欠曝点在同一行及同一列的未过曝欠曝点，并将相机图像坐标生成相应的自变量序列，未过曝欠曝点解码出的投影图案坐标生成相应的因变量序列，构建过曝欠曝点的相机与投影仪像素间的响应函数，采用样条插值对自变量与因变量序列进行插值拟合方法，获得过曝欠曝点的投影仪坐标系中的坐标值。最后校验动态投影图案在结构光深度感知中的相位移动线性特性、反射率光度一致性特性和切向畸变特性。本方案可行性高，能适用于各种不同材质测量对象在相机视野下的过曝欠曝区域的修复。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1.本发明所述的一种基于动态投影的投影***，并基于该***设计出了一种基于动态投影的相位移动图案生成方法，基于多级差光强图像，分析坐标邻域的过曝欠曝状态，生成逐像素的过曝欠曝灰度级，由此提高或降低生成图案所有相位移动的光强属性，并对动态投影采集图案中仍存在的过曝欠曝点进行局部强度修正，能较好地解决被测对象在相机视野下的过曝欠曝现象带来的光强信息失真问题；
2.本发明所述的一种基于动态投影的投影***，并基于该***设计出了一种基于动态投影的相位移动图案生成方法，基于多级差光强图像，分析坐标邻域的过曝欠曝状态，生成逐像素的过曝欠曝灰度级，由此提高或降低生成图案所有相位移动的光强属性，并对动态投影采集图案中仍存在的过曝欠曝点进行局部强度修正，本***及方法适用于各种不同材质的测量对象。
附图说明
为了更清楚地说明本技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图，其中：
图1是本发明的***框架图。
具体实施方式
为了更清楚地说明本发明实施例的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，因此不应被看作是对保护范围的限定。基于本发明中的实施例，本领域普通技术工作人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“设置”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；也可以是直接相连，也可以是通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
下面结合图1对本发明作详细说明。
实施例1
一种基于动态投影的投影***，包括多光强投影图案与采集单元、区域引导动态投影图案生成单元、局部过曝欠曝强度修正单元和动态投影图案综合校验单元，所述多光强投影图案投影与采集单元包括多光强投影图案设计模块、结构光***设计与标定模块和结构光设备硬触发投影采集模块，所述多光强投影图案设计模块生成多级差光强特性的单值灰度图像，所述结构光***设计与标定模块构建结构光三维感知***，所述结构光设备硬触发投影采集模块用于快速投影和采集预设投影图案；
所述区域引导动态投影图案生成单元包括多级差光强图像邻域特性分析模块和区域光强修正模块，所述多级差光强图像邻域特性分析模块用于分析采集多级光强图像坐标邻域的过曝欠曝状态，并基于采集图案生成逐像素的过曝欠曝灰度级，所述区域光强修正模块用于修正投影图案在过曝欠曝区域的强度特性；
所述局部过曝欠曝强度修正单元包括过曝欠曝点邻域序列提取模块和区域样条插值计算模块，所述过曝欠曝点邻域序列提取模块用于在相机图像上提取过曝欠曝点在同一行及同一列的未过曝欠曝点，并将相机图像坐标生成相应的自变量序列，未过曝欠曝点解码的投影图案坐标生成相应的因变量序列；所述区域样条插值计算模块用于估计动态投影采集图案中的过曝欠曝点的投影仪坐标信息，通过构建过曝欠曝点的相机与投影仪像素间响应函数，获得未过曝欠曝点的投影仪坐标系中的坐标值；
所述动态投影图案综合校验单元包括相位移动线性校验模块、反射率光度一致性校验模块和切向畸变校验模块，所述相位移动线性校验模块用于校验动态投影***相位移动解码的线性特征，所述反射率光度一致性校验模块用于校验非均匀反射率被测目标的光度一致性特征，分析非均匀反射率被测目标在相机坐标系的光度一致性特性，所述切向畸变校验模块用于校验动态投影图案的切向畸变特性，基于标准块和标准板校验相机坐标系和投影仪坐标系的切向畸变特性。
实施例2
本发明在上述实施例1的基础上，所述结构光***设计与标定模块基于由投影仪和相机构成的结构光***，采用圆点特征伪相机标定法获取***内部参数和外部参数。
所述区域光强修正模块修正投影图案在过曝欠曝区域的强度特性的方法，基于逐像素的过曝欠曝信息，提高或降低生成图案所有相位移动的光强属性。
所述区域样条插值计算模块构建过曝欠曝点的相机与投影仪像素间响应函数后，采用样条插值对自变量与因变量序列进行插值拟合，获得未过曝欠曝点的投影仪坐标系中的坐标值。
所述相位移动线性校验模块是基于白平衡板的相位解码计算投影仪坐标与相位的线性特性，校验动态投影***相位移动解码的线性特征。
实施例3
一种基于动态投影的相位移动图案生成方法，基于上述实施例1或2任一项所述的投影***，包括以下步骤：
步骤S1，多光强投影图案的投影与采集：所述多光强投影图案为多级差光强特性的单值灰度图像，在纯黑图像和纯白图像间定义N级光强，生成N级光强投影图案P(N)，采用圆点特征伪相机法获取投影仪与相机关于世界坐标系点的对应关系，依据张正友标定法计算***内部参数和外部参数；
步骤S2，区域引导动态投影图案的生成：分析采集的多级差光强特性的图案坐标中像素的过曝欠曝状态，生成逐像素的过曝欠曝信息，设定全局过曝阈值θover和欠曝阈值θunder，计算多光强投影图案的多级光强中的过曝欠曝区域，计算逐像素的非过曝最大灰度级Gray(x，y)max和非欠曝最小灰度级Gray(x，y)min：
并计算修正的投影图案在过曝欠曝区域的强度特性：
其中：I(x，y)表示修正的投影图案光强信息，m为相位移动步长，n表示当前步长，生成m步相位移动动态投影图案；
步骤S3，动态投影采集图像局部过曝欠曝强度修正：通过相位解码算法和未过曝欠曝点，计算过曝欠曝点在投影仪坐标系中的坐标值，当采集的多光强投影图案中存在过曝欠曝现象时，在相位解码算法中加入图像强度得到解码相位校正；
步骤S4，动态投影图案综合校验：校验相位信息在相机坐标系下的线性特征，设定强度不均匀的动态投影相位移动图案，将投影图案投射到白平衡板并由相机采集，基于相位移动解码方法计算动态投影图案的相位信息；基于线性拟合计算方差，当方差小于预设阈值σL时，表示投影仪动态投影图案的相位移动线性特性较好，可以用于结构光三维感知编码图案；
校验全局光度一致性特性，基于金属局部磨砂设置局部反射率不均匀平板，将投影图案投射到金属板并由相机采集，基于相位移动解码方法计算动态投影图案的相位信息，计算区域光度信息，当全局光度方差小于预设阈值σθ时，表示投影仪动态投影图案的反射率光度一致性特性较好，可以用于结构光三维感知编码图案；
校验动态投影图案的切向畸变特性，将标准块随机放置在投影设备与采集设备的交叠区域，投影图案投射到标准块并由相机采集，基于相位移动解码方法计算动态投影图案的相位信息，计算标准块的尺寸特征，当横向精度和纵向精度小于预设阈值μθ时，表示投影仪动态投影图案的切向畸变特性较好，可以用于结构光三维感知编码图案。
工作原理：本实施例所述的一种基于动态投影的投影***，并基于该***设计出了一种基于动态投影的相位移动图案生成方法，基于多级差光强的图像，分析坐标邻域的过曝欠曝状态，生成逐像素的过曝欠曝灰度级，由此提高或降低生成图案所有相位移动的光强属性，生成用于动态投影的相位移动图案。
另外，还会针对动态投影采集图案中仍存在的过曝欠曝点进行局部强度修正，通过提取过曝欠曝点邻域序列，在采集到的图像上提取过曝欠曝点在同一行及同一列的未过曝欠曝点，并将相机图像坐标生成相应的自变量序列，未过曝欠曝点解码出的投影图案坐标生成相应的因变量序列，构建过曝欠曝点的相机与投影仪像素间的响应函数，采用样条插值对自变量与因变量序列进行插值拟合方法，获得过曝欠曝点的投影仪坐标系中的坐标值。最后校验动态投影图案在结构光深度感知中的相位移动线性特性、反射率光度一致性特性和切向畸变特性。本方案可行性高，能适用于各种不同材质测量对象在相机视野下的过曝欠曝区域的修复。
实施例4
本实施例在实施例3的基础上，所述步骤S3中计算过曝欠曝点在投影仪坐标系中的坐标值的方法具体为：基于过曝欠曝点邻域里的未过曝欠曝点(u,v)的强度信息，通过相移法解码获得过曝欠曝点的相机与投影仪像素坐标响应函数F(u,v)，并确定出过曝欠曝点的投影仪像素坐标(i,j)。
步骤S3中计算过曝欠曝点在投影仪坐标系中的坐标值的方法具体为：针对每个过曝欠曝点的横纵坐标，分别提取相机图像上与其在同一行及同一列的未过曝欠曝点，并将相机图像坐标生成相应的自变量序列，由未过曝欠曝点解码的投影图案坐标生成相应的因变量序列；对已有的未过曝欠曝点的像素坐标进行内插值，并通过误差补偿估计出过曝欠曝点的对应的投影区域，得到采集图像中每一个过曝欠曝点对应的投影仪坐标系坐标值；根据过曝欠曝区域大小，估计过插值误差ae个像素，将估计的投影像素坐标扩展为以其为中心的，边长为2ae+1的正方形估计域并将估计的过曝欠曝点坐标扩展为正方形的过曝欠曝区域。
工作原理：本实施例所述的一种基于动态投影的投影***，并基于该***设计出了一种基于动态投影的相位移动图案生成方法，基于多级差光强的图像，分析坐标邻域的过曝欠曝状态，生成逐像素的过曝欠曝灰度级，由此提高或降低生成图案所有相位移动的光强属性，生成用于动态投影的相位移动图案。
另外，还会针对动态投影采集图案中仍存在的过曝欠曝点进行局部强度修正，通过提取过曝欠曝点邻域序列，在采集到的图像上提取过曝欠曝点在同一行及同一列的未过曝欠曝点，并将相机图像坐标生成相应的自变量序列，未过曝欠曝点解码出的投影图案坐标生成相应的因变量序列，构建过曝欠曝点的相机与投影仪像素间的响应函数，采用样条插值对自变量与因变量序列进行插值拟合方法，获得过曝欠曝点的投影仪坐标系中的坐标值。最后校验动态投影图案在结构光深度感知中的相位移动线性特性、反射率光度一致性特性和切向畸变特性。本方案可行性高，能适用于各种不同材质测量对象在相机视野下的过曝欠曝区域的修复。
本实施例的其他部分与上述实施例1相同，故不再赘述。
实施例5
一种基于动态投影的相位移动图案生成方法，包括以下步骤：
步骤S1，多光强投影图案投影与采集：多光强投影图案为多级差光强特性的单值灰度图像，在纯黑图像和纯白图像间定义N级光强，其中纯白图像色值为(255,255,255)，纯黑图像色值为(0,0,0)，生成N级光强投影图案P(N)。构建结构光三维感知***，结构光***由一个投影仪和一个相机构成，结构光***中投影仪与相机水平放置，距离设定为10cm，竖直方向设备保持高度相等。待测圆形紧固件孔位目标距离结构光***距离为40cm-50cm。采用圆点特征伪相机法获取投影仪与相机关于世界坐标系点的对应关系，依据张正友标定法计算***内部参数和外部参数。结构光设备硬触发投影与采集模块，用于快速投影与采集预设投影图案。投影设备与采集设备间采用影硬触发之间连接；
步骤S2，区域引导动态投影图案的生成：分析采集多级差光强图像坐标邻域的过曝欠曝状态，基于采集图案生成逐像素的过曝欠曝信息。设定全局过曝阈值θover设定为240，欠曝阈值θunder设定为15，计算多光强投影图案的多级光强中的过曝欠曝区域，计算逐像素的非过曝最大灰度级Gray(x，y)max和非欠曝最小灰度级Gray(x，y)min：
并计算修正的投影图案在过曝欠曝区域的强度特性：
其中：I(x，y)表示修正的投影图案光强信息，m为相位移动步长，n表示当前步长；由此生成m步相位移动动态投影图案；
步骤S3，动态投影采集图像局部过曝欠曝强度修正：当采集的动态投影相位移动图案中存在过曝欠曝现象时，在解码算法中加入图像强度即解码相位校正。通过相位解码算法和未过曝欠曝点，计算过曝欠曝点在投影仪坐标系中的坐标值，对于每个过曝欠曝点的横纵坐标，分别提取相机图像上与其在同一行及同一列的未过曝欠曝点，并将相机图像坐标生成相应的自变量序列，未过曝欠曝点解码的投影图案坐标生成相应的因变量序列。对已有的未过曝欠曝点的像素坐标进行内插值，并通过误差补偿估计出过曝欠曝点的大致对应的投影区域，得到采集图像中每一个过曝欠曝点对应的投影仪坐标系坐标值。根据过曝欠曝区域大小，估计插值误差ae个像素，将估计的投影像素坐标扩展为以其为中心的，边长为2ae+1的正方形估计域并将估计的过曝欠曝点坐标扩展为正方形的过曝欠曝区域。
其中最大估计误差设为等同于过曝欠曝区域宽度的十分之一，并不超过7个像素值。当不同的过曝欠曝点的投影估计域发生重叠，选择最大的修正系数对进行修改。过曝区域存在较大、突变、阴影等情况，导致估算的投影像素坐标误差较大，无法通过一次校正实现整个过曝区域的测量，通过后续的动态投影迭代逐步减小过曝区域，降低误差。
步骤S4，动态投影图案综合校验：校验相位信息在相机坐标系下的线性特征，设定强度不均匀的动态投影相位移动图案，计算动态投影图案的相位信息，基于线性拟合计算方差，设定方差预设阈值σL为0.03，当线性曲率方差小于σL时，表示投影仪动态投影图案的相位移动线性特性较好。
校验全局光度一致性特性，基于金属局部磨砂设置局部反射率不均匀平板，计算相位移动投影图案的区域光度信息，设定全局光度方差预设阈值σθ为0.07，当全局光度方差小于σθ时，表示投影仪动态投影图案的反射率光度一致性特性较好。
校验动态投影图案的切向畸变特性，基于标准块计算动态投影三维感知的标准块尺寸特征，设定精度预设阈值μθ为0.15，当横向精度和纵向精度小于μθ时，表示投影仪动态投影图案的切向畸变特性较好。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。
Claims (5)
1.一种基于动态投影的投影***，包括多光强投影图案与采集单元、区域引导动态投影图案生成单元、局部过曝欠曝强度修正单元和动态投影图案综合校验单元，其特征在于：所述多光强投影图案与采集单元包括多光强投影图案设计模块、结构光***设计与标定模块和结构光设备硬触发投影采集模块，所述多光强投影图案设计模块生成多级差光强特性的单值灰度图像，所述结构光***设计与标定模块构建结构光三维感知***，所述结构光设备硬触发投影采集模块用于快速投影和采集预设投影图案；
所述区域引导动态投影图案生成单元包括多级差光强图像邻域特性分析模块和区域光强修正模块，所述多级差光强图像邻域特性分析模块用于分析采集多级光强图像坐标邻域的过曝欠曝状态，并基于采集图案生成逐像素的过曝欠曝灰度级，所述区域光强修正模块用于修正投影图案在过曝欠曝区域的强度特性；
所述局部过曝欠曝强度修正单元包括过曝欠曝点邻域序列提取模块和区域样条插值计算模块，所述过曝欠曝点邻域序列提取模块用于在相机图像上提取过曝欠曝点在同一行及同一列的未过曝欠曝点，并将相机图像坐标生成相应的自变量序列，未过曝欠曝点解码的投影图案坐标生成相应的因变量序列；所述区域样条插值计算模块用于估计动态投影采集图案中的过曝欠曝点的投影仪坐标信息，通过构建过曝欠曝点的相机与投影仪像素间响应函数，获得过曝欠曝点的投影仪坐标系中的坐标值；
所述动态投影图案综合校验单元包括相位移动线性校验模块、反射率光度一致性校验模块和切向畸变校验模块，所述相位移动线性校验模块用于校验动态投影***相位移动解码的线性特征，所述反射率光度一致性校验模块用于校验非均匀反射率被测目标的光度一致性特征，分析非均匀反射率被测目标在相机坐标系的光度一致性特性，所述切向畸变校验模块用于校验动态投影图案的切向畸变特性，基于标准块和标准板校验相机坐标系和投影仪坐标系的切向畸变特性。
2.根据权利要求1所述的一种基于动态投影的投影***，其特征在于：所述结构光***设计与标定模块基于由投影仪和相机构成的结构光***，采用圆点特征伪相机标定法获取***内部参数和外部参数。
3.根据权利要求1所述的一种基于动态投影的投影***，其特征在于：所述区域光强修正模块修正投影图案在过曝欠曝区域的强度特性的方法，基于逐像素的过曝欠曝信息，提高或降低生成图案所有相位移动的光强属性。
4.根据权利要求1所述的一种基于动态投影的投影***，其特征在于：所述区域样条插值计算模块构建过曝欠曝点的相机与投影仪像素间响应函数后，采用样条插值对自变量与因变量序列进行插值拟合，获得过曝欠曝点的投影仪坐标系中的坐标值。
5.根据权利要求1所述的一种基于动态投影的投影***，其特征在于：所述相位移动线性校验模块是基于白平衡板的相位解码计算投影仪坐标与相位的线性特性，校验动态投影***相位移动解码的线性特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110460297.XA CN113340235B (zh) | 2021-04-27 | 2021-04-27 | 基于动态投影的投影***及相位移动图案生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110460297.XA CN113340235B (zh) | 2021-04-27 | 2021-04-27 | 基于动态投影的投影***及相位移动图案生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113340235A CN113340235A (zh) | 2021-09-03 |
| CN113340235B true CN113340235B (zh) | 2022-08-12 |
Family
ID=77468763
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110460297.XA Active CN113340235B (zh) | 2021-04-27 | 2021-04-27 | 基于动态投影的投影***及相位移动图案生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113340235B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH113857A (ja) * | 1997-04-14 | 1999-01-06 | Nikon Corp | 投影光学系のディストーション測定方法及びディストーションを補正して行う半導体デバイスの製造方法 |
| CN102779334A (zh) * | 2012-07-20 | 2012-11-14 | 华为技术有限公司 | 一种多曝光运动图像的校正方法及装置 |
| CN104769388A (zh) * | 2012-11-14 | 2015-07-08 | 高通股份有限公司 | 结构光主动深度感测***中对光源功率的动态调整 |
| CN105651203A (zh) * | 2016-03-16 | 2016-06-08 | 广东工业大学 | 一种自适应条纹亮度的高动态范围三维形貌测量方法 |
| CN106767407A (zh) * | 2016-12-21 | 2017-05-31 | 清华大学 | 对过曝物体表面三维信息测量的方法 |
| CN106996754A (zh) * | 2017-03-02 | 2017-08-01 | 天津大学 | 一种基于正弦光栅投影的自适应照明优化方法 |
| TWI622755B (zh) * | 2016-12-23 | 2018-05-01 | 致茂電子股份有限公司 | 表面形貌的量測方法 |
| CN109510948A (zh) * | 2018-09-30 | 2019-03-22 | 先临三维科技股份有限公司 | 曝光调整方法、装置、计算机设备和存储介质 |
| CN110398289A (zh) * | 2019-07-30 | 2019-11-01 | 清华大学 | 一种图像采集方法和图像采集装置 |
| CN110702034A (zh) * | 2019-10-25 | 2020-01-17 | 湖北工业大学 | 高反光表面三维面形测量方法、服务器及*** |
| CN110891170A (zh) * | 2018-09-11 | 2020-03-17 | 康耐视公司 | 对经受光照图案的对象的图像获取进行优化的方法和设备 |
| CN112118435A (zh) * | 2020-08-04 | 2020-12-22 | 山东大学 | 面向异形金属屏幕的多投影融合方法及*** |
| CN112469361A (zh) * | 2018-06-08 | 2021-03-09 | 登士柏希罗纳有限公司 | 用于在共焦相机中生成动态投影图案的设备、方法和*** |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103197500B (zh) * | 2012-01-05 | 2015-09-30 | 上海微电子装备有限公司 | 一种测量镜面形补偿效果的方法 |
| JP6695746B2 (ja) * | 2016-06-27 | 2020-05-20 | 株式会社キーエンス | 測定装置 |
| CN106705855B (zh) * | 2017-03-10 | 2018-12-14 | 东南大学 | 一种基于自适应光栅投影的高动态性能三维测量方法 |
| CN108827184B (zh) * | 2018-04-28 | 2020-04-28 | 南京航空航天大学 | 一种基于相机响应曲线的结构光自适应三维测量方法 |
-
2021
- 2021-04-27 CN CN202110460297.XA patent/CN113340235B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH113857A (ja) * | 1997-04-14 | 1999-01-06 | Nikon Corp | 投影光学系のディストーション測定方法及びディストーションを補正して行う半導体デバイスの製造方法 |
| CN102779334A (zh) * | 2012-07-20 | 2012-11-14 | 华为技术有限公司 | 一种多曝光运动图像的校正方法及装置 |
| CN104769388A (zh) * | 2012-11-14 | 2015-07-08 | 高通股份有限公司 | 结构光主动深度感测***中对光源功率的动态调整 |
| CN104769387A (zh) * | 2012-11-14 | 2015-07-08 | 高通股份有限公司 | 组合多个图像以补偿反射率和/或吸收的差别的结构光主动深度感测*** |
| CN105651203A (zh) * | 2016-03-16 | 2016-06-08 | 广东工业大学 | 一种自适应条纹亮度的高动态范围三维形貌测量方法 |
| CN106767407A (zh) * | 2016-12-21 | 2017-05-31 | 清华大学 | 对过曝物体表面三维信息测量的方法 |
| TWI622755B (zh) * | 2016-12-23 | 2018-05-01 | 致茂電子股份有限公司 | 表面形貌的量測方法 |
| CN106996754A (zh) * | 2017-03-02 | 2017-08-01 | 天津大学 | 一种基于正弦光栅投影的自适应照明优化方法 |
| CN112469361A (zh) * | 2018-06-08 | 2021-03-09 | 登士柏希罗纳有限公司 | 用于在共焦相机中生成动态投影图案的设备、方法和*** |
| CN110891170A (zh) * | 2018-09-11 | 2020-03-17 | 康耐视公司 | 对经受光照图案的对象的图像获取进行优化的方法和设备 |
| CN109510948A (zh) * | 2018-09-30 | 2019-03-22 | 先临三维科技股份有限公司 | 曝光调整方法、装置、计算机设备和存储介质 |
| CN110398289A (zh) * | 2019-07-30 | 2019-11-01 | 清华大学 | 一种图像采集方法和图像采集装置 |
| CN110702034A (zh) * | 2019-10-25 | 2020-01-17 | 湖北工业大学 | 高反光表面三维面形测量方法、服务器及*** |
| CN112118435A (zh) * | 2020-08-04 | 2020-12-22 | 山东大学 | 面向异形金属屏幕的多投影融合方法及*** |
Non-Patent Citations (2)
| Title |
|---|
| 《3D reconstruction of specular surface via a novel structured light approach》;Haibo Lin 等;《2015 IEEE International Conference on Information and Automation》;20151001;全文 * |
| 《基于自适应条纹投影的高反光物体三维面形测量》;王柳 等;《应用光学》;20180515;第39卷(第3期);第373-378页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113340235A (zh) | 2021-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11763518B2 (en) | Method and system for generating a three-dimensional image of an object | |
| CN106874949B (zh) | 基于红外图像的运动成像平台运动目标检测方法及*** | |
| US9819872B2 (en) | Image processing apparatus and image processing method that adjust, based on a target object distance, at least one of brightness of emitted pattern light and an exposure amount | |
| US8970853B2 (en) | Three-dimensional measurement apparatus, three-dimensional measurement method, and storage medium | |
| US10255682B2 (en) | Image detection system using differences in illumination conditions | |
| CN108168464B (zh) | 针对条纹投影三维测量***离焦现象的相位误差校正方法 | |
| US7499600B2 (en) | Method for characterizing a digital imaging system | |
| CN107917679B (zh) | 一种高亮、过暗区域动态检测、补偿的方法 | |
| CN101326549B (zh) | 检测数字图像中的条纹的方法 | |
| CN110702034A (zh) | 高反光表面三维面形测量方法、服务器及*** | |
| US10593050B2 (en) | Apparatus and method for dividing of static scene based on statistics of images | |
| CN111220235B (zh) | 水位监测方法及装置 | |
| CN108063932A (zh) | 一种光度标定的方法及装置 | |
| CN112200848B (zh) | 低光照弱对比复杂环境下的深度相机视觉增强方法及*** | |
| JP2014197243A (ja) | パターン処理装置、パターン処理方法、パターン処理プログラム | |
| WO2019215172A1 (en) | Device and method | |
| JP2024507089A (ja) | 画像のコレスポンデンス分析装置およびその分析方法 | |
| KR101550070B1 (ko) | 입력영상에서 용이하게 에지를 검출할 수 있는 영상처리방법 및 장치 | |
| CN104751458A (zh) | 一种基于180°旋转算子的标定角点检测方法 | |
| CN113822942A (zh) | 一种基于二维码的单目摄像头测量物体尺寸的方法 | |
| CN113340235B (zh) | 基于动态投影的投影***及相位移动图案生成方法 | |
| CN111540042B (zh) | 用于三维重构的方法、装置以及相关设备 | |
| CN113749646A (zh) | 基于单目视觉的人体身高测量方法、装置及电子设备 | |
| JP6232933B2 (ja) | 放射歪み補正装置、道路環境認識装置、放射歪み補正方法およびプログラム | |
| JP2002330343A (ja) | 放射線画像処理装置、画像処理システム、放射線画像処理方法、記憶媒体、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |