CN111145344B - 一种用于雪雕3d重建的结构光测量方法 - Google Patents

一种用于雪雕3d重建的结构光测量方法 Download PDF

Info

Publication number
CN111145344B
CN111145344B CN201911405700.8A CN201911405700A CN111145344B CN 111145344 B CN111145344 B CN 111145344B CN 201911405700 A CN201911405700 A CN 201911405700A CN 111145344 B CN111145344 B CN 111145344B
Authority
CN
China
Prior art keywords
image
probability
structured light
constructing
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911405700.8A
Other languages
English (en)
Other versions
CN111145344A (zh
Inventor
刘万村
张晓琳
唐文彦
张立国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Harbin Engineering University
Harbin Vocational and Technical College
Original Assignee
Harbin Institute of Technology
Harbin Engineering University
Harbin Vocational and Technical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology, Harbin Engineering University, Harbin Vocational and Technical College filed Critical Harbin Institute of Technology
Priority to CN201911405700.8A priority Critical patent/CN111145344B/zh
Publication of CN111145344A publication Critical patent/CN111145344A/zh
Application granted granted Critical
Publication of CN111145344B publication Critical patent/CN111145344B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/2433Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures for measuring outlines by shadow casting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/06Ray-tracing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种用于雪雕3D重建的结构光测量方法,涉及结构光测量技术领域,针对现有技术中雪雕3D重建测量时,由于作业场景、强烈的环境噪声和特殊的表面光学特性的影响,导致测量准确性低的问题,本发明在不改变结构光传感器结构的前提下,通过数字图像处理手段提高***抗噪能力,保证测量结果的精度和实时性,使传感器能够作业于野外复杂环境中,扩大了结构光传感器的应用范围,提高了测量的准确性。本发明整个处理过程将结构光图像中的关键问题集中到一个时空跟踪框架中,测量结果兼顾鲁棒性、准确性和实时性。

Description

一种用于雪雕3D重建的结构光测量方法
技术领域
本发明涉及结构光测量技术领域,具体为一种用于雪雕3D重建的结构光测量方法。
背景技术
雪雕是我国北方特有冰雪雕刻艺术形式,尤其是艺术家根据雪坯的形状、质地并结合 周围场景、融合了作者当时的思想和灵感现场创作的“雪雕艺术品”更是具有极高的艺术价 值和经济价值,雪雕塑艺术品的数字化建档是突破时空藩篱、实现冰雪艺术信息化传播拓展的重要手段,是冰雪博物馆数字化存档和展示中不可或缺的部分。
现有的冰雪雕塑数字化存档主要采用摄像机拍摄雪雕的视频和照片,尽管这些二维影 像记录了雕塑的很多原有信息,但从艺术档案保存和生动再现艺术品的角度来说,现有二 维平面数据信息已难以满足如今更加细致的文物建档与研究需求。详细记录每件雕塑的三维信息,这在摄像机上是无法实现的。设计者和相关单位更是需要将雪雕艺术品在计算机 上实现数字化保存,以便于通过3D电影、3D打印等技术重现雕塑的原貌。
但由于雪雕直接暴露于户外环境中,阳光、阴影、反光等环境噪声随处可见,且雪雕 体积较大,无法一次性完成扫描,并且表面反光强烈,大部分面积颜色单一,相对于传统的3D测量,雪雕3D重建的最大难题在于复杂的作业场景、强烈的环境噪声和特殊的表面 光学特性。
发明内容
本发明的目的是:针对现有技术中雪雕3D重建测量时,由于作业场景、强烈的环境噪声和特殊的表面光学特性的影响,导致测量准确性低的问题,提出一种用于雪雕3D重 建的结构光测量方法。
本发明为了解决上述技术问题采取的技术方案是:
一种用于雪雕3D重建的结构光测量方法,包括以下步骤:
步骤一:首先布置结构光传感器,所述结构光传感器由摄像机和一字激光器组成,然 后根据张正友标定法对结构光传感器进行标定,最后采集混有噪声的视频序列;
步骤二:采用极大似然估计方法区分视频序列中的环境噪声;
步骤三:构建RGB权重函数进行颜色空间变换,生成单色值图像;
步骤四:对单色值图像进行阈值分割;
步骤五:在单色值图像上做边缘检测,量化光条为点对([t,pn(t)],[t,pn+1(t)]),采用重 心计算法计算亮度重心位置,将其作为光条潜在位置的状态xn(t),n表示在第t步上的状态 索引,n∈[1,X(t)],X(t)表示第t步上的状态量总数,将点对之间的距离定义为观测量 yn(t)=|pn(t)-pn+1(t)|得到空间上下文,其中[t,pn(t)]为第t步上的边缘像素点的坐标;
步骤六:利用空间上下文的空间约束建立帧间关联,然后构造参数:初始概率分布、 状态转移概率分布和观测概率分布,最后构建空间轴上的HMM模型,即S-HMM;
步骤七:最大化步骤五中产生观测序列Y={y(1),…,y(N)}的概率,通过Viterbi解码, 提取光条中心线;
步骤八:建立全局及区域综合搜索策略,将若干疑似光条区域定义为一系列子窗口 wn=(α,β,I,Δ,s),其中α,β为窗口尺寸,I表示窗口内的光条亮度均值,Δ为相对前一帧 跟踪结果的变化率,s为尺度因子;
步骤九:定义每一窗口为当前帧的一个状态量,窗口内的特征参数作为观测量,并构 造参数:初始概率分布、状态转移概率分布和观测概率分布,然后构建时间轴上的HMM模型,即T-HMM,通过Viterbi解码,获得光条最优跟踪轨迹;
步骤十:将结构光传感器采集的视频信息输入构建好的ST-HMM,求解模型的全局最 优解,输出结果为一系列光滑的光条中心线的扫描轨迹;
步骤十一:将提取和跟踪的光条跟踪轨迹进行图像坐标系-传感器坐标系-世界坐标系 的换算,得到雪雕表面的点云数据,形成3D形貌。
进一步的,所述极大似然估计方法的具体步骤是:首先以参数向量θ12,…,θc表示各 种噪声,然后以若干标定好的噪声图像构建样本集合D={D1,D2…Dc},求解分布密度p(D|θ)达到极大值的参数向量
Figure SMS_1
即为估计的噪声。
进一步的,所述单色值图像为灰度图像,灰度图像的RGB权重系数为(wr,wg,wb),由极大似然估计噪声分类结果决策,原彩色图像与单色值图像的转换关系为: Fij=wrRij+wgGij+wbBij
其中,F是变换后得到的单色值图像,i和j分别表示像素的行列索引。
进一步的,所述权重函数使用峭度概念来定义,公式为:
Figure SMS_2
其中,κ4为亮度分布的四阶累积量,
Figure SMS_3
为二阶累积量κ2的平方,μ4和σ4分别为图 像亮度的四阶中心矩和概率分布方差。
进一步的,所述权重函数利用最小熵模型求解,通过令
Figure SMS_4
求解K的 最大值。
进一步的,所述步骤六中构造参数的具体步骤为:
(1)产生观测序列Y的概率定义为:
Figure SMS_5
(2)初始概率分布定义为等概率分布,即
Figure SMS_6
(3)观测概率方程
Figure SMS_7
/>
其中,Te是根据经验定义的一个上限宽度阈值,
(4)状态转移概率为
Figure SMS_8
其中,dij是状态间的是欧式距离,kij是状态间的亮度均值之差;
Figure SMS_9
和/>
Figure SMS_10
分别为dij和kij的方差;w1和w2是一对权值,通过极大似然估计法或最大后验概率估计法训练数据得到,且w1+w2=1。
进一步的,所述步骤九中构造参数具体步骤为:
(1)初始概率分布定义为等概率分布,即
Figure SMS_11
(2)观测概率方程
Figure SMS_12
其中,Te是经验性地定义的一个上限宽度阈值,
(3)状态转移概率为
Figure SMS_13
其中w1,2,3,4分别表示窗口尺寸α、β、亮度均值I和变化率Δ的权值,δα 2、δβ 2、δI 2和δΔ 2表示相邻状态之间的观测差异,σα 2、σβ 2、σI 2和σΔ 2为上述观测量的方差。
本发明的有益效果是:
1.本发明在不改变结构光传感器结构的前提下,通过数字图像处理手段提高***抗噪 能力,保证测量结果的精度和实时性,使传感器能够作业于野外复杂环境中,扩大了结构 光传感器的应用范围,提高了测量的准确性;
2.本发明整个处理过程将结构光图像中的关键问题(噪声干扰、光条形变等)集中到 一个时空跟踪框架中,测量结果兼顾鲁棒性、准确性和实时性;
3.本发明采用结构光传感器测量,操作便捷,价格相对于激光扫描仪价格更低廉,降 低了测量成本。
附图说明
图1为本发明整体步骤示意图;
图2a为阳光下的结构光扫描雪雕图像;
图2b为在R空间上的颜色直方图;
图2c为在G空间上的颜色直方图;
图2d为在B空间上的颜色直方图;
图3a为传感器采集的原始图像;
图3b为传感器采集的红色分量图;
图3c为传感器采集的灰度图;
图3d为传感器采集的单色值图像;
图4为任取三列像素为例说明S-HMM状态转换关系图;
图5为T-HMM模型及光条跟踪图;
图6为雪雕3D重建结果图。
具体实施方式
具体实施方式一:参照图1具体说明本实施方式,本实施方式所述的一种用于雪雕3D 重建的结构光测量方法,包括以下步骤:
步骤一:首先布置结构光传感器,所述结构光传感器由摄像机和一字激光器组成,然 后根据张正友标定法对结构光传感器进行标定,最后采集混有噪声的视频序列;
步骤二:采用极大似然估计方法区分视频序列中的环境噪声;
步骤三:构建RGB权重函数进行颜色空间变换,生成单色值图像;
步骤四:对单色值图像进行阈值分割;
步骤五:在单色值图像上做边缘检测,量化光条为点对([t,pn(t)],[t,pn+1(t)]),采用重 心计算法计算亮度重心位置,将其作为光条潜在位置的状态xn(t),n表示在第t步上的状态 索引,n∈[1,X(t)],X(t)表示第t步上的状态量总数,将点对之间的距离定义为观测量 yn(t)=|pn(t)-pn+1(t)|得到空间上下文,其中[t,pn(t)]为第t步上的边缘像素点的坐标;
步骤六:利用空间上下文的空间约束建立帧间关联,然后构造参数:初始概率分布、 状态转移概率分布和观测概率分布,最后构建空间轴上的HMM模型,即S-HMM;
步骤七:最大化步骤五中产生观测序列Y={y(1),…,y(N)}的概率,通过Viterbi解码, 提取光条中心线;
步骤八:建立全局及区域综合搜索策略,将若干疑似光条区域定义为一系列子窗口 wn=(α,β,I,Δ,s),其中α,β为窗口尺寸,I表示窗口内的光条亮度均值,Δ为相对前一帧 跟踪结果的变化率,s为尺度因子;
步骤九:定义每一窗口为当前帧的一个状态量,窗口内的特征参数作为观测量,并构 造参数:初始概率分布、状态转移概率分布和观测概率分布,然后构建时间轴上的HMM模型,即T-HMM,通过Viterbi解码,获得光条最优跟踪轨迹;
步骤十:将结构光传感器采集的视频信息输入构建好的ST-HMM,求解模型的全局最 优解,输出结果为一系列光滑的光条中心线的扫描轨迹;
步骤十一:将提取和跟踪的光条跟踪轨迹进行图像坐标系-传感器坐标系-世界坐标系 的换算,得到雪雕表面的点云数据,形成3D形貌。
本发明测量步骤如下:
第一步:图像采集
使用抗噪性能明显的固定模式结构光测量装置,由光源(激光器或投影仪等)+摄像机 (单目或双目)组成,采用经典的张正友标定法对传感器***进行标定,获取被测目标的 3D形状和表面结构信息,生成带有噪声的视频序列,如图1所示。
第二步:图像预处理
1.噪声分类
结构光图像中光条区域为图像前景,而影响光条提取的其他干扰则视为噪声。野外复 杂环境的噪声源以阳光为主,兼具少数阴影、雪雕表面颜色、表面反光以及偶尔的有色光 照噪声等。多种噪声在图像上呈加性噪声属性,即噪声与图像信号之间是混合叠加的关系,通过构建光路传播模型解析上述多源噪声是非常困难的。
分析噪声特性,在空间分布上,光照和表面颜色噪声具有全局性,而阴影、表面纹理 及反光则属于局部噪声。在颜色分布上,阳光与阴影噪声通常具有相似的R、G、B分量,而有色光照噪声和目标表面颜色噪声通常在某一颜色维度上有较高的色值。反光噪声与光照条件和目标表面特性相关,在空间分布上表现为局部的高亮度。从图2可见,在阳光下 光条被大量环境噪声淹没;三个颜色空间上的亮度分布和直方图都非常接近,直方图呈单 峰值状态。反之,在有色光照或目标表面颜色干扰的情况下,三个直方图相似度会大大降低。而在表面反光情况下,亮度空间分布的相似度则会降低。
采用极大似然估计分类噪声,以参数向量θ12,…,θc表示各种噪声,以若干标定好的 噪声图像构建样本集合D={D1,D2…Dc}。通过求解θ的期望值,也就是使p(D|θ)达到极大 值的参数向量
Figure SMS_14
即可获得最优噪声类别估计,以此对环境噪声给出一个定性的描述并指 导色值空间变换的决策。
2.生成单色值图像
颜色直方图和向量空间被大量应用于图像理解与分析,并取得了显著成果。但RGB向 量空间有时并不容易显现出我们需要的信息。相对于非线性变换来说,线性变换不会引起 大的跳变、不存在奇异值点和间断、花费的时间也较少。灰度图是线性变换产生的最典型 的单色值图像,转换关系如(1)式所示,一般灰度图像的RGB权重(系数)为:(wr,wg,wb)=(0.3, 0.59,0.11)。
Fij=wrRij+wgGij+wbBij (1)
这里的F是变换后得到的单色值图像,i和j分别表示像素的行列索引。本发明采用的 单色值技术是通过求解最优GRB权重函数(即求(wr,wg,wb)的最佳组合),由原彩色图像经 变换得到的一个单色值图像,而不是简单地取某一颜色分量或转换成灰度图。求解的权重 函数应能够最大程度地提高信噪比。
在以激光器为代表的固定模式结构光光源上,其投影的光条能量分布相对集中,并且 呈现出简练的结构。所以我们建立的权重函数要尽可能利用这两个特性,使得在转换后, 图像中光条与背景有较高的区分度。因此,权重函数应该是衡量对比度的函数。光条内的像素具有较高的亮度值,在亮度分布上,光条区域的波形陡峭,峭度高。故使用峭度概念来定义权重函数是一种合理的选择,如式(2)所示。
Figure SMS_15
这里的峭度K的定义为亮度分布的四阶累积量κ4除以二阶累积量κ2的平方,μ4和σ2分别 为图像亮度的四阶中心矩和概率分布方差。特殊情况是:正态分布的峭度为0。K刻画了图 像的能量集中程度和结构化程度。K越大,转换后的单色值图像的亮度值分布越有序,对 应的结构化程度和能量集中度越高、光强的变化梯度越大;从总体来看光条区域越尖锐, 熵越小。当K达到最大值时,在图像像素值矩阵中,只有少数元素拥有很大的值,而其他元 素接近零值。因此,最小熵模型可用于求解最佳权重函数。欲求K的最大值,只需令
Figure SMS_16
显然,求解式(3)十分繁琐,但均匀采样(三个系数不能同时为0),然后穷举求解是一 个比较简便的方法。因阳光噪声具有相似的RGB分量,取(wr,wg,wb)=(1,-1,0)的处理结果 如图3d所示。与红色分量图和灰度图相比,单色值图像显然具有更高的信噪比,经过阈值 分割之后,光条区域可被比较完整的分割出来。
第三步:建立光条提取的空间约束条件
马尔可夫模型是一种与时间相关的状态转移模型,具体来说可以解释为在某一时刻t发 生的事件x(t)直接取决于t-1时刻的事件x(t-1)的状态。模型的每个状态都是确定的,但在很 多情况下状态量不能直接获得,却可以通过一些观测量来间接判断,模型的状态量则被视 为一系列隐状态。HMM就是这个可以由观测量间接估计状态量的统计学模型。
作为局部信息,光条自身及其附近区域的背景之间必然存在着某些特定的上下文关联。 这些关联包括两个基本的空间约束条件:连续性和唯一性;1.光条作为一条(或一簇)曲 线,在图像上应该是连续且光滑的,跳跃或间断点说明发生了遮挡情况;2.在同一帧图像上,光条不能出现在多个位置上(平行或网格光条视为一个整体)。在此基础上可以将图像 上每列(或行)像素作为一个时间节点,从左到右视为光条的N步状态转移过程。首先,在阈 值分割的基础上量化光条特征;其次,定义S-HMM的观测概率和转移概率方程,实时更新模型参数;最后,通过Viterbi解码获得光条的最优分布路径。
1.特征选择
在单色值图像上做边缘检测,将每行(列)上相邻边缘像素点两两组合成一个“点对”,这 样光条呈现出一系列的点对。这些点对之间的距离相对较小而且位置相对集中。另外,在 对应的单色值图上,点对位置间的亮度信息也非常相似。基于这些可观测到的特征,可采 用重心法(center of mass)计算每个点对之间的亮度重心位置,光条就被细化为一连串的骨架线。当然,在噪声干扰下,每列(行)上不可能只有一个重心点,光条的骨架线也必然伴随着 个别的噪声点。
将每列上得到的所有重心位置作为光条潜在位置的状态集合,则每个重心点作为一个 状态xn(t),n表示在第t步上的状态索引,n∈[1,X(t)],X(t)表示第t步上的状态量总数。每一 列上的重心数量不可能完全一样,因此整个状态阵列x是一个非齐次矩阵。假设这些状态可 以通过一个观测序列Y={y(1),…,y(N)}来观测得到。在第t步上的边缘像素点的坐标为[t, pn(t)]。将点对([t,pn(t)],[t,pn+1(t)])之间的距离定于为S-HMM的观测量yn(t):
yn(t)=|pn(t)-pn+1(t)| (4)
点对([t,pn(t)],[t,pn+1(t)])间所有像素的亮度平均值为mn(t),这个均值量将用于计算状态 转移概率。
2.S-HMM参数构造及更新
构建S-HMM模型的目的是选择一组状态序列xn(t)={xn(1),…,xn(N)},作为光条延伸的 一个最优路径,其产生观测序列Y的概率定义为:
Figure SMS_17
/>
为了尽量不忽略初始步上的每一状态,在S-HMM中,初始概率分布被定义为等概率分布,即
Figure SMS_18
S-HMM的观测量只有两种情况:光条和非光条。因此可将观测概率设计成一个贝努利 分布(0-1分布)形式。观测概率方程:
Figure SMS_19
这里的Te是根据经验定义的一个上限宽度阈值。在强光干扰下,光条在图像中看起来 非常“淡”,这对阈值分割影响很大,容易导致其被分割的过“细”。所以为了尽量不漏掉任 何可能的状态量,在式(7)中并没有设置一个下限阈值,尽管在理想环境下,增加一个下限阈值可以在一定程度上提高***的运算速度。
图4中,空心方框表示边缘点,实心方框表示重心点(S-HMM的状态量)。Pij表示 从t-1步的第i个状态到第t步上第j个状态的转移概率。
S-HMM的状态转换关系如图4所示,其转移概率基于相邻步的状态之间的空间位置信
Figure SMS_20
此处dij是状态间的是欧式距离,kij是状态间的亮度均值之差;/>
Figure SMS_21
和/>
Figure SMS_22
分别为dij和kij的 方差;w1和w2是一对权值,用于权衡状态间空间距离和亮度差的重要性,可以通过极大似 然估计法或最大后验概率估计法训练数据得到,且有w1+w2=1。
此处dij是状态间的是欧式距离,kij是状态间的亮度均值之差;
Figure SMS_23
和/>
Figure SMS_24
分别为dij和kij的 方差;w1和w2是一对权值,用于权衡状态间空间距离和亮度差的重要性,可以通过极大似 然估计法或最大后验概率估计法训练数据得到,且有w1+w2=1。
从式(5)-(8)可见:每一帧图像上的S-HMM参数:初始概率分布π、状态转移矩阵 A=[aij]N×M和状态观察概率矩阵B=[br]都是根据光条及其环境的光照,颜色和位置信息进行自适应调整的。光条中心线提取问题可通过最大化式(5)求解,Viterbi算法可用来解决这个 S-HMM的解码问题。
第四步:建立光条跟踪的时间约束条件
与空间上下文关联类似,在视频帧序列中光条及其背景之间也存在着很强的时间关系。 这对于处理雪雕表面凹凸造成的光条遮挡、结构光传感器移动造成的尺度变化以及个别区 域反光造成的光条提取误差有很高的参考价值。传统的目标跟踪认为:当前帧局部上下文会有助于预测下一帧中的光条位置,邻近帧间目标的形状和颜色变化不会很大,其变化率 会相对稳定,目标位置也不会发生突变。结构光图像同样具有上述的时间上下文关系,但 雪雕自身反光会像遮挡一样,容易造成光条位置和形状的突变,因此局限于搜索区域的跟 踪方法虽然提高了计算速度,但跟踪结果会受影响。而针对整个图像空间的目标搜索会使效率下降,但能保证跟踪精度。
本发明将区域搜索和全局搜索综合起来,将若干疑似光条区域(由S-HMM解码结果中最优解和若干次优解组成)定义为一系列子窗口wn=(α,β,I,Δ,s),其中α,β为窗口尺寸, I表示窗口内的光条亮度均值,Δ为相对前一帧跟踪结果的变化率,s为尺度因子。定义每 一窗口为当前帧的一个状态量,即隐含的光条位置;窗口内的特征参数作为观测量;进而 构建一组时间轴上的HMM模型,即T-HMM,如图5所示。
在T-HMM上,初始概率服从式(6)的概率分布;观测概率仍采用伯努利分布以方便计 算;转移概率如式(9)描述:
Figure SMS_25
其中w1,2,3,4分别表示窗口尺寸α、β、亮度均值I和变化率Δ的权值,δα 2、δβ 2、δI 2和δΔ 2表示相邻状态之间的观测差异,σα 2、σβ 2、σI 2和σΔ 2为上述观测量的方差。从式(9)可以看 出相邻帧间的转移矩阵也是动态的,随着观测量的变化而自适应调整。至此,ST-HMM被 构建完毕,仍然可以通过Viterbi算法实现解码。
第五步:三维重建
将结构光传感器采集的视频信息输入构建好的ST-HMM,输出结果为一系列光滑的光 条中心线的扫描轨迹,也是模型的全局最优解。ST-HMM所处理的时间和空间上的信息组合即是时空上下文,模型充分尊重了客观世界的时空约束条件。按照传感器本身固有的标定方程,将提取和跟踪的光条跟踪轨迹进行图像坐标系-传感器坐标系-世界坐标系上的换算,可得到雪雕表面的点云数据,形成3D形貌,实验结果如图6所示,测量过程完成。
需要注意的是,具体实施方式仅仅是对本发明技术方案的解释和说明,不能以此限定 权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的,仍应落入本 发明的保护范围内。

Claims (2)

1.一种用于雪雕3D重建的结构光测量方法,其特征在于包括以下步骤:
步骤一:首先布置结构光传感器,所述结构光传感器由摄像机和一字激光器组成,然后根据张正友标定法对结构光传感器进行标定,最后采集混有噪声的视频序列;
步骤二:采用极大似然估计方法区分视频序列中的环境噪声;
步骤三:构建RGB权重函数进行颜色空间变换,生成单色值图像;
步骤四:对单色值图像进行阈值分割;
步骤五:在单色值图像上做边缘检测,量化光条为点对([t,pn(t)],[t,pn+1(t)]),采用重心计算法计算亮度重心位置,将其作为光条潜在位置的状态xn(t),n表示在第t步上的状态索引,n∈[1,X(t)],X(t)表示第t步上的状态量总数,将点对之间的距离定义为观测量
yn(t)=|pn(t)-pn+1(t)|得到空间上下文,其中[t,pn(t)]为第t步上的边缘像素点的坐标;
步骤六:利用空间上下文的空间约束建立帧间关联,然后构造参数:初始概率分布、状态转移概率分布和观测概率分布,最后构建空间轴上的HMM模型,即S-HMM;
步骤七:最大化步骤五中产生观测序列Y={y(1),…,y(N)}的概率,通过Viterbi解码,提取光条中心线;
步骤八:建立全局及区域综合搜索策略,将若干疑似光条区域定义为一系列子窗口wn=(α,β,I,Δ,s),其中α,β为窗口尺寸,I表示窗口内的光条亮度均值,Δ为相对前一帧跟踪结果的变化率,s为尺度因子;
步骤九:定义每一窗口为当前帧的一个状态量,窗口内的特征参数作为观测量,并构造参数:初始概率分布、状态转移概率分布和观测概率分布,然后构建时间轴上的HMM模型,即T-HMM,通过Viterbi解码,获得光条最优跟踪轨迹;
步骤十:将结构光传感器采集的视频信息输入构建好的ST-HMM,求解模型的全局最优解,输出结果为一系列光滑的光条中心线的扫描轨迹;
步骤十一:将提取和跟踪的光条跟踪轨迹进行图像坐标系-传感器坐标系-世界坐标系的换算,得到雪雕表面的点云数据,形成3D形貌;
所述单色值图像为灰度图像,灰度图像的RGB权重系数为(wr,wg,wb),由极大似然估计噪声分类结果决策,原彩色图像与单色值图像的转换关系为:Fij=wrRij+wgGij+wbBij
其中,F是变换后得到的单色值图像,i和j分别表示像素的行列索引;
所述权重函数使用峭度概念来定义,公式为:
Figure FDA0004059864470000011
其中,κ4为亮度分布的四阶累积量,
Figure FDA0004059864470000012
为二阶累积量κ2的平方,μ4和σ4分别为图像亮度的四阶中心矩和概率分布方差;
所述权重函数利用最小熵模型求解,通过令
Figure FDA0004059864470000021
求解K的最大值;
所述步骤六中构造参数的具体步骤为:
(1)产生观测序列Y的概率定义为:
Figure FDA0004059864470000022
/>
(2)初始概率分布定义为等概率分布,即
Figure FDA0004059864470000023
(3)观测概率方程
Figure FDA0004059864470000024
其中,Te是根据经验定义的一个上限宽度阈值,
(4)状态转移概率为
Figure FDA0004059864470000025
其中,dij是状态间的是欧式距离,kij是状态间的亮度均值之差;
Figure FDA0004059864470000026
和/>
Figure FDA0004059864470000027
分别为dij和kij的方差;w1和w2是一对权值,通过极大似然估计法或最大后验概率估计法训练数据得到,且w1+w2=1;
所述步骤九中构造参数具体步骤为:
(1)初始概率分布定义为等概率分布,即
Figure FDA0004059864470000028
(2)观测概率方程
Figure FDA0004059864470000029
其中,Te是经验性地定义的一个上限宽度阈值,
(3)状态转移概率为
Figure FDA0004059864470000031
其中w1,2,3,4分别表示窗口尺寸α、β、亮度均值I和变化率Δ的权值,δα 2、δβ 2、δI 2和δΔ 2表示相邻状态之间的观测差异,σα 2、σβ 2、σI 2和σΔ 2为上述观测量的方差。
2.根据权利要求1所述的一种用于雪雕3D重建的结构光测量方法,其特征在于所述极大似然估计方法的具体步骤是:首先以参数向量θ12,…,θc表示各种噪声,然后以若干标定好的噪声图像构建样本集合D={D1,D2…Dc},求解分布密度p(D|θ)达到极大值的参数向量
Figure FDA0004059864470000032
即为估计的噪声。/>
CN201911405700.8A 2019-12-30 2019-12-30 一种用于雪雕3d重建的结构光测量方法 Active CN111145344B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911405700.8A CN111145344B (zh) 2019-12-30 2019-12-30 一种用于雪雕3d重建的结构光测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911405700.8A CN111145344B (zh) 2019-12-30 2019-12-30 一种用于雪雕3d重建的结构光测量方法

Publications (2)

Publication Number Publication Date
CN111145344A CN111145344A (zh) 2020-05-12
CN111145344B true CN111145344B (zh) 2023-03-28

Family

ID=70522801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911405700.8A Active CN111145344B (zh) 2019-12-30 2019-12-30 一种用于雪雕3d重建的结构光测量方法

Country Status (1)

Country Link
CN (1) CN111145344B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114164790B (zh) * 2021-12-27 2022-05-10 哈尔滨职业技术学院 一种智能化路面清压实冰雪设备及其使用方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102110296A (zh) * 2011-02-24 2011-06-29 上海大学 一种复杂场景下的运动目标跟踪方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2007237336A1 (en) * 2001-05-15 2008-01-10 Psychogenics Inc. Systems and methods for monitoring behaviour informatics
US6882959B2 (en) * 2003-05-02 2005-04-19 Microsoft Corporation System and process for tracking an object state using a particle filter sensor fusion technique
KR101640077B1 (ko) * 2009-06-05 2016-07-15 삼성전자주식회사 인체 동작 및 얼굴 표정 모델링 및 인식을 위한 비디오 센서 기반의 장치 및 방법
JP2013207530A (ja) * 2012-03-28 2013-10-07 Sony Corp 情報処理装置、情報処理方法、及びプログラム
DE102013114860B3 (de) * 2013-12-23 2015-05-28 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und Vorrichtung zur Bestimmung der Orte einzelner Moleküle einer Substanz in einer Probe
CN104392414A (zh) * 2014-11-04 2015-03-04 河海大学 一种区域cors坐标时间序列噪声模型的建立方法
CN104457741A (zh) * 2014-12-08 2015-03-25 燕山大学 一种基于蚁群算法误差修正的人体手臂运动跟踪方法
CN106096615A (zh) * 2015-11-25 2016-11-09 北京邮电大学 一种基于随机游走的图像显著区域提取方法
CN105842642B (zh) * 2016-03-17 2019-04-05 天津大学 基于峰度张量分数各向异性微结构特征提取方法与装置
CN107680120B (zh) * 2017-09-05 2021-04-16 南京理工大学 基于稀疏表示和转移受限粒子滤波的红外小目标跟踪方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102110296A (zh) * 2011-02-24 2011-06-29 上海大学 一种复杂场景下的运动目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
梅天灿 ; 仲思东 ; 何对燕 ; .可变环境光照条件下的结构光条纹检测.仪器仪表学报.(第12期),全文. *

Also Published As

Publication number Publication date
CN111145344A (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
CN110675418B (zh) 一种基于ds证据理论的目标轨迹优化方法
CN111563447B (zh) 一种基于密度图的人群密度分析与检测定位方法
CN104850850B (zh) 一种结合形状和颜色的双目立体视觉图像特征提取方法
CN110689562A (zh) 一种基于生成对抗网络的轨迹回环检测优化方法
CN110188835B (zh) 基于生成式对抗网络模型的数据增强行人再识别方法
CN111539273A (zh) 一种交通视频背景建模方法及***
CN104978567B (zh) 基于场景分类的车辆检测方法
CN112686928B (zh) 一种基于多源信息融合的运动目标视觉跟踪方法
CN106991686B (zh) 一种基于超像素光流场的水平集轮廓跟踪方法
CN107784663A (zh) 基于深度信息的相关滤波跟踪方法及装置
CN110046659B (zh) 一种基于tld的长时间单目标跟踪方法
CN104063871B (zh) 可穿戴设备的图像序列场景分割方法
CN104794737A (zh) 一种深度信息辅助粒子滤波跟踪方法
CN109063549A (zh) 基于深度神经网络的高分辨率航拍视频运动目标检测方法
CN116883588A (zh) 一种大场景下的三维点云快速稠密重建方法及***
CN116468769A (zh) 一种基于图像的深度信息估计方法
CN111814696A (zh) 一种基于改进YOLOv3的视频船舶目标检测方法
CN114926826A (zh) 场景文本检测***
CN111145344B (zh) 一种用于雪雕3d重建的结构光测量方法
Li et al. Blinkflow: A dataset to push the limits of event-based optical flow estimation
CN113570554A (zh) 一种基于场景深度的单幅图像能见度检测方法
Zhang et al. Robust water level measurement method based on computer vision
CN106709977B (zh) 一种基于场景夜景图的光源自动排列方法
Jacobs et al. Two cloud-based cues for estimating scene structure and camera calibration
CN114882095A (zh) 一种基于轮廓匹配的物体高度在线测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant