CN110060240B - 一种基于摄像的轮胎轮廓测量方法 - Google Patents

一种基于摄像的轮胎轮廓测量方法 Download PDF

Info

Publication number
CN110060240B
CN110060240B CN201910282290.6A CN201910282290A CN110060240B CN 110060240 B CN110060240 B CN 110060240B CN 201910282290 A CN201910282290 A CN 201910282290A CN 110060240 B CN110060240 B CN 110060240B
Authority
CN
China
Prior art keywords
tire
camera
point
image
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910282290.6A
Other languages
English (en)
Other versions
CN110060240A (zh
Inventor
向卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Lian He Technology Co ltd
Original Assignee
Nanjing Lian He Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Lian He Technology Co ltd filed Critical Nanjing Lian He Technology Co ltd
Priority to CN201910282290.6A priority Critical patent/CN110060240B/zh
Publication of CN110060240A publication Critical patent/CN110060240A/zh
Application granted granted Critical
Publication of CN110060240B publication Critical patent/CN110060240B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于摄像的轮胎轮廓测量方法，步骤包括：首先，在不同位置拍摄的同一轮胎胎纹图像，在单幅二维图像中提取出胎纹轮廓稀疏图像和关键点特征值；其次，根据轮胎胎纹建立图像像素灰度值的变化率和变化方向关键点特征矩阵，计算出在2张和多张胎纹稀疏图像中的多个同一关键点特征值；然后，通过比较计算相机内参和三维空间相机位姿外参变化预测值与投射在2张或多张二维空间像素值实际观测值，拟合出三维轮胎胎纹轮廓空间曲线；最后，通过比较任意时间段之间获得的胎纹实际三维空间变化数据，可以计算出轮胎在该时间段的使用磨损量。本发明提出的胎纹测量反馈方法，在保证轮胎安全行驶的同时，也为轮胎按使用付费提供计算依据。

Description

一种基于摄像的轮胎轮廓测量方法
技术领域
本发明公开了一种轮胎磨损测量方法，具体涉及图形处理测量技术领域。
背景技术
轮胎磨损主要由轮胎与地面间滑动产生的摩擦力产生，与车辆起步、转弯、制动等行驶条件紧密关联，车辆转弯速度越快、起步越快、制动越快，轮胎磨损越快。
轮胎磨损严重或者轮胎面变得很光滑，对行车安全造成一定隐患，因此对轮胎胎纹磨损和使用状态，需要一种实时、方便、低成本的胎纹测量反馈方法，在保证轮胎安全行驶的同时，为轮胎按使用付费提供计算依据，目前尚缺少关于胎纹磨损和使用状态的实时检测方法。
发明内容
本发明所要解决的技术问题是：提出了一种基于摄像的轮胎轮廓测量方法，可实时、方便的实现对胎纹测量反馈，判断轮胎使用磨损量。
本发明为解决上述技术问题采用以下技术方案：
本发明提出一种基于摄像的轮胎轮廓测量方法，具体包括：
步骤1、利用移动终端的相机，在不同位置拍摄同一轮胎胎纹图像，在每个单幅二维图像中提取出胎纹轮廓稀疏图像和关键点特征值；
步骤2、根据轮胎胎纹建立图像像素灰度值的变化率和变化方向关键点特征矩阵，计算出在2张和多张胎纹稀疏图像中的多个同一关键点特征值；
步骤3、通过比较计算相机内参和三维空间相机位姿外参的变化预测值与投射在2张或多张二维空间像素值实际观测值，拟合出三维轮胎胎纹轮廓空间曲线；
步骤4、通过比较任意时间段之间获得的胎纹实际三维空间变化数据，计算出轮胎在该时间段的使用磨损量。
进一步的，本发明所提出的轮胎轮廓测量方法，步骤1是采用SIFT特征提取出胎纹轮廓稀疏图像。
进一步的，本发明所提出的轮胎轮廓测量方法，步骤2是基于尺度空间、图像缩放、旋转放射不变性的特征匹配算法，对提取的胎纹图像特征描述向量进行相似性匹配，具体步骤如下：
2.1、采用高斯卷积核实现尺度变换唯一线性核，在不同尺度下的尺度空间，单幅胎纹的二维图像与高斯核卷积为：
L(u,v,σ)＝G(u,v,σ)*I(u,v)
其中，G(u,v,σ)为尺度可变高斯函数，σ为尺度空间因子，代表图像的平滑度；I(u,v)为胎纹二维图像像素灰度值，u为像素的X轴值，v为像素的Y轴值；L(u,v,σ)为胎纹图像经高斯函数模糊后的胎纹图像；
2.2、采用DOG算子精确定位SIFT关键点：
对于相邻尺度L(u,v,σ)的差，用DOG算子表示：
D(u,v,σ)＝(G(u,v,kσ)-G(u,v,σ))*I(u,v)＝L(u,v,kσ)-L(u,v,σ)
其中k为常数，
设(u,v,σ)为三维数值M，则在关键点处D值泰勒展开为：
令求出M的极值/>
如果M‘在任一方向上大于0.5，则该关键点与另一采样点接近，则用插值代替该关键点位置；
2.3、剔除不稳定点：
令来衡量特征点的对比度，如果D(M‘)<β，则剔除该关键点；其中β为调节阈值；
2.4、确定关键点的主方向：
设关键点的局部影像梯度特征最大的方向为关键点主方向，则有：
2.5、确定关键点描述子：
对每个关键点使用4*4＝16个种子点来描述，产生128个数据，形成128位的SIFT特征向量。
进一步的，本发明所提出的轮胎轮廓测量方法，步骤3中，通过2张或多张胎纹图像中每个关键点的SIFT描述子匹配，计算出胎纹的三维轮廓尺寸，具体如下：
3.1、建立2张胎纹图像的相机位姿方程：
设P为在2张胎纹图像中的同一点，C1和C2为2张胎纹图像中的相机光轴中心点，Π1和Π2为照相机在2个图像下的成像平面；C1C2P平面为C1、C2和P三点构成的外极平面；外极线m1e1和m2e2为外极平面与成像平面的交线；外极点e1和e2为2张图像中相机光轴中心点C1和C2与成像平面的交点；基线C1C2为2张图中相机光轴中心的连线；
3.2、通过块搜索极线，建立特征点的匹配关系，具体为：
3.2.1、在第一张胎纹图中取关键点p1并建立p1周边小块像素点矩阵A∈RW*W,沿极线搜索第2张图与第1张图SIFT描述子对应的匹配点小块，把极线e2m2上的n个小块记作Bi，i＝1,…,n；R是小块构成的像素图像点集合，w是集合的横纵坐标值；
3.2.2计算A、B的NCC归一化相关性S：
取S的阈值为α，当S大于阈值α时表示小块A对应的点p1与极线上小块B对应的点p2是匹配点，同时剔除不在该轮廓线上的匹配点；
3.3、建立不同图像的相机极线约束方程：
设相机采用4参数模型，设空间点P的位置为P＝|X,Y,Z|T，
则空间点P在相机坐标下的归一化坐标位置与世界坐标系下坐标位置有下列方程：
其中，kx为X轴方向的放大系数；ky为Y轴方向上的放大系数；(u0,v0)为光轴中心点图像坐标；R为外参数中的旋转矩阵；p为外参数的位移向量；(u,v)为空间点P的图像点坐标；(xw,yw,zw)是胎纹上点P的世界坐标；M为基本矩阵；
3.4、通过关键点计算两张图像的位姿与相机内参，解算出空间点的世界坐标，具体为：
3.4.1、相机2个位姿到对极几何约束：
设P点分别在2张胎纹图像中的相机归一化平面坐标为x1,x2.
根据单孔相机成像原理，有s1p1＝KP,s2p2＝K(RP+t)
其中，K为相机的内参，R为相机拍摄时2个位置的旋转矩阵，t为2个位置的位移矩阵，s1，s2为参数；
相机2个位姿对极几何约束为C1C2P共面
即
相机本质矩阵E＝t^R是3X3矩阵
E的SVD分解为U∑VT
其中U，V为正交解，∑为奇异值矩阵；
3.4.2、估算本质矩阵E，
E的线性方程为[u1u2,u1v2,u1,v1u2,v1v2,v1,u2,v2,1]*e＝0
其中，(u1,v1)、(u2,v2)为空间点P的图像点在2张归一化平面的像素坐标；
同理，对i个关键点pi都有：
[ui 1ui 2,ui 1vi 2,ui 1,vi 1ui 2,vi 1vi 2,vi 1,ui 2,vi 2,1]*e＝0
通过结算线性方程组[ui 1ui 2,ui 1vi 2,ui 1,vi 1ui 2,vi 1vi 2,vi 1,ui 2,vi 2,1]*e＝0
解算出相机的本质矩阵E；
3.4.3、通过本质矩阵恢复出相机到旋转和位移位姿R,t：
其中，U,V为正交阵，∑为奇异值矩阵，有∑＝diag(σ1,σ2,σ3)；
3.4.4、通过多张图像两辆比对，计算出胎纹轮廓三维尺寸
通过相机连续拍摄，取2n张图片，用第1张图片与第n+1张比对，用第i张与第i+n张图片比对，计算出空间点尺寸Pi(i＝1,n)；
令最终取轮廓线均值尺寸/>
进一步的，本发明所提出的轮胎轮廓测量方法，步骤4中，是通过比较任意2个时间段之间的胎纹三维空间尺寸差，计算出轮胎的使用磨损量，具体如下：
4.1、连接三维空间相邻轮廓线的紧邻端点，形成轮廓线角点特征值；
4.2、搜寻胎纹立体空间中的封闭曲线和直线轮廓，连接相邻轮廓线角点，形成半封闭轮廓；
4.3、利用轮胎胎纹处于轮胎的旋转体的表面，将胎纹轮廓线投影射到以轮胎旋转中心线的平面上，计算平面二维图像中胎纹的深度尺寸，作为胎纹使用磨损的尺寸依据。
进一步的，本发明所提出的轮胎轮廓测量方法，步骤4.3具体为：
在轮胎图像中，近似理解轮廓线在过轮胎旋转轴线平面的投影为直线段，计算2个时间段之间的磨损差轮廓线距离d的平均值：其中，Di为轮胎第一次使用时的轮胎胎纹深度，di为第二次时间段胎纹深度。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
本发明快速方便地实时测量轮胎磨损使用情况，在保证轮胎安全行驶的同时，也为轮胎按使用付费提供计算依据。
附图说明
图1是本发明的方法流程示意图。
图2是SIFT特征向量示意图。
图3是建立2张胎纹图像的相机位姿方程的示意图。
图4是轮胎图像中近似理解轮廓线在过轮胎旋转轴线平面的投影示意图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明：
本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
本发明通过利用移动终端的相机，在不同位置拍摄的同一轮胎胎纹图像，在单幅二维图像中提取出胎纹轮廓稀疏图像和关键点特征值，根据轮胎胎纹建立图像像素灰度值的变化率和变化方向关键点特征矩阵，计算出在2张和多张胎纹稀疏图像中的多个同一关键点特征值，通过比较计算相机内参和三维空间相机位姿外参变化预测值与投射在2张或多张二维空间像素值实际观测值，拟合出三维轮胎胎纹轮廓空间曲线。通过比较在任意地方，获得任意时间段之间获得的胎纹实际三维空间变化数据，可以计算出轮胎在该时间段的使用磨损量。
参见图1所示，本发明的具体步骤如下：
1、在轮胎使用者或测量者手机或移动终端(简称C端)安装APP应用平台。该APP可以调用C端摄像机，照射光源，移动通讯方式，其功能在于拍摄胎纹图像，传送到C端自带计算资源或传送到云端后台计算胎纹三维空间，并将计算结果反馈在C端显示端口。
2、在单幅二维图像上采用SIFT特征提取出轮胎轮廓稀疏图像。
SIFT(scale invariant feature transform)基于尺度空间、图像缩放、旋转放射不变性的特征匹配算法，对提取的胎纹图像特征描述向量进行相似性匹配。
2.1采用高斯卷积核实现尺度变换唯一线性核，若方差为σ的二维高斯函数为G(u,v,σ)，则在不同尺度下的尺度空间，单幅胎纹的二维图像与高斯核卷积为：
L(u,v,σ)＝G(u,v,σ)*I(u,v)
其中，I(u,v)为胎纹二维图像像素灰度值，u为像素的X轴值，v为像素的Y轴值；
G(u,v,σ)为尺度可变高斯函数，其中σ为尺度空间因子，代表图像的平滑度；
L(u,v,σ)为胎纹图像经高斯函数模糊后的胎纹图像。
2.2采用DOG算子精确定位SIFT关键点，
对于相邻尺度L(u,v,σ)的差，用DOG算子表示：
D(u,v,σ)＝(G(u,v,kσ)-G(u,v,σ))*I(u,v)＝L(u,v,kσ)-L(u,v,σ)
其中k为常数，
设(u,v,σ)为三维数值M,则在关键点处D值泰勒展开为：
令求出M的极值/>
如果M‘在任一方向上大于0.5，则该关键点与另一采样点接近，则用插值代替该关键点位置。
2.3剔除不稳定点
令来衡量特征点的对比度，如果D(M‘)<β，则剔除该关键点。其中β为调节阈值，一般取0.03。
2.4确定关键点的主方向
设关键点的局部影像梯度特征最大的方向为关键点主方向，则有：
2.5确定关键点描述子
对每个关键点使用4*4＝16个种子点来描述，产生128个数据，形成128为的SIFT特征向量，见图2。
3、通过2或多张胎纹图像中每个关键点的SIFT描述子匹配，计算出胎纹的三维轮廓尺寸。
3.1建立2张胎纹图像的相机位姿方程：
图3中，P为在摄像的2张胎纹图像中的同一点，C1和C2为2张胎纹图像中的相机光轴中心点，Π1和Π2为照相机在2个图像下的成像平面；C1C2P平面为C1、C2和P三点构成的外极平面；外极线m1e1和m2e2为外极平面与成像平面的交线；外极点e1和e2为2张图像中相机光轴中心点C1和C2与成像平面的交点；基线C1C2为2张图中相机光轴中心的连线。
3.2通过块搜索极线，建立特征点的匹配关系：
3.2.1在第一张胎纹图中取关键点p1并建立p1周边小块像素点矩阵A∈RW*W,沿极线搜索第2张图与第1图SIFT描述子对应的匹配点小块，把极线e2m2上的n个小块记作Bi，i＝1,…,n。
3.2.2计算A、B的NCC归一化相关性S：
取S的阈值为α(可以取0.8)，当S大于阈值α时表示小块A对应的点p1与极线上小块B对应的点p2是匹配点，同时剔除不在该轮廓线上的匹配点。
3.3建立不同图像的相机极线约束方程：
相机采用4参数模型，设空间点P的位置为P＝|X,Y,Z|T，
则空间点P在相机坐标下的归一化坐标位置与世界坐标系下坐标位置有下列方程：
其中，kx为X轴方向的放大系数；ky为Y轴方向上的放大系数；(u0,v0)为光轴中心点图像坐标；R为外参数中的旋转矩阵；p为外参数的位移向量；(u,v)为空间点P的图像点坐标；(xw,yw,zw)是胎纹上点P的世界坐标；M为基本矩阵。
3.4通过关键点计算两张图像的位姿与相机内参，解算出空间点的世界坐标
3.4.1相机2个位姿到对极几何约束
设P点分别在2张胎纹图像中的相机归一化平面坐标为x1,x2.
根据单孔相机成像原理，有s1p1＝KP,s2p2＝K(RP+t)
其中，K为相机的内参，R为相机拍摄时2个位置的旋转矩阵，t为2个位置的位移矩阵,s1，s2为参数。
相机2个位姿对极几何约束为C1C2P共面
即
相机本质矩阵E＝t^R是3X3矩阵
E的SVD分解为U∑VT
其中U，V为正交解，∑为奇异值矩阵。
3.4.2估算本质矩阵E，
E的线性方程为[u1u2,u1v2,u1,v1u2,v1v2,v1,u2,v2,1]*e＝0
其中，(u1,v1)、(u2,v2)为空间点P的图像点在2张归一化平面的像素坐标.
同理，对i个关键点pi都有：
[ui 1ui2,ui 1vi 2,ui 1,vi 1ui 2,vi 1vi 2,vi 1,ui 2,vi 2,1]*e＝0
通过结算线性方程组[ui 1ui 2,ui 1vi 2,ui 1,vi 1ui 2,vi 1vi 2,vi 1,ui 2,vi 2,1]*e＝0
可以解算出相机的本质矩阵E.
3.4.3通过本质矩阵恢复出相机到旋转和位移位姿R,t：
其中，U,V为正交阵，∑为奇异值矩阵，有∑＝diag(σ1,σ2,σ3)
3.4.4通过多张图像两辆比对，计算出胎纹轮廓三维尺寸
相机连续拍摄，取2n张图片，用第1张图片与第n+1张比对，用第i(i＝1,n)张与第i+n张图片比对，计算出空间点尺寸Pi(i＝1,n)。
令最终取轮廓线均值尺寸/>
4、比较任意2个时间段之间的胎纹三维空间尺寸差，计算出轮胎的使用磨损量：
4.1连接三维空间相邻轮廓线的紧邻端点，形成轮廓线角点特征值
4.2搜寻胎纹立体空间中的封闭曲线和直线轮廓，连接相邻轮廓线角点，形成半封闭轮廓
4.3利用轮胎胎纹处于轮胎的旋转体的表面，将胎纹轮廓线投影射到以轮胎旋转中心线的平面上，计算平面二维图像中胎纹的深度尺寸，作为胎纹使用磨损的尺寸依据。
如图4所示的轮胎图像中，近似理解轮廓线在过轮胎旋转轴线平面的投影为直线段，
计算2个时间段之间的磨损差轮廓线距离d
平均值
其中，Di为轮胎第一次使用时的轮胎胎纹深度，di为第二次时间段胎纹深度。
通过比较在任意地方，获得任意时间段之间获得的胎纹实际三维空间变化数据可以计算出轮胎在该时间段的使用磨损量。
本发明未涉及部分均有现有技术相同或可采用现有技术加以实现。
上面结合附图对本发明的实施方式作了详细地说明，但是本发明并不局限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (5)

1.一种基于摄像的轮胎轮廓测量方法，其特征在于，步骤包括：
步骤1、利用移动终端的相机，在不同位置拍摄同一轮胎胎纹图像，在每个单幅二维图像中提取出胎纹轮廓稀疏图像和关键点特征值；
步骤2、根据轮胎胎纹建立图像像素灰度值的变化率和变化方向关键点特征矩阵，计算出在2张或多张胎纹稀疏图像中的多个同一关键点特征值；包括：采用高斯卷积核实现尺度变换唯一线性核、采用DOG算子精确定位SIFT关键点、剔除不稳定点、确定关键点的主方向，以及确定关键点描述子；
步骤3、通过比较计算相机内参和三维空间相机位姿外参的变化预测值与投射在2张或多张二维空间像素值实际观测值，拟合出三维轮胎胎纹轮廓空间曲线；通过2张或多张胎纹图像中每个关键点的SIFT描述子匹配，计算出胎纹的三维轮廓尺寸，具体如下：
3.1、建立2张胎纹图像的相机位姿方程；
3.2、通过块搜索极线，建立特征点的匹配关系；
3.3、建立不同图像的相机极线约束方程；
3.4、通过关键点计算2张图像的位姿与相机内参，解算出空间点的世界坐标；
步骤4、通过比较任意2个时间段之间的胎纹三维空间尺寸差，计算出轮胎的使用磨损量，具体如下：
4.1、连接三维空间相邻轮廓线的紧邻端点，形成轮廓线角点特征值；
4.2、搜寻胎纹立体空间中的封闭曲线和直线轮廓，连接相邻轮廓线角点，形成半封闭轮廓；
4.3、利用轮胎胎纹处于轮胎的旋转体的表面，将胎纹轮廓线投影射到以轮胎旋转中心线的平面上，计算平面二维图像中胎纹的深度尺寸，作为胎纹使用磨损的尺寸依据。
2.根据权利要求1所述的方法，其特征在于，步骤1是采用SIFT特征提取出胎纹轮廓稀疏图像。
3.根据权利要求2所述的方法，其特征在于，步骤2的具体步骤如下：
2.1、采用高斯卷积核实现尺度变换唯一线性核，在不同尺度下的尺度空间，单幅胎纹的二维图像与高斯核卷积为：
L(u,v,σ)＝G(u,v,σ)*I(u,v)
其中，G(u,v,σ)为尺度可变高斯函数，σ为尺度空间因子，代表图像的平滑度；I(u,v)为胎纹二维图像像素灰度值，u为像素的X轴值，v为像素的Y轴值；L(u,v,σ)为胎纹图像经高斯函数模糊后的胎纹图像；
2.2、采用DOG算子精确定位SIFT关键点：
对于相邻尺度L(u,v,σ)的差，用DOG算子表示：
D(u,v,σ)＝(G(u,v,kσ)-G(u,v,σ))*I(u,v)＝L(u,v,kσ)-L(u,v,σ)
其中k为常数，
设(u,v,σ)为三维数值M，则在关键点处D值泰勒展开为：
令求出M的极值/>
如果Mmax在任一方向上大于0.5，则该关键点与另一采样点接近，则用插值代替该关键点位置；
2.3、剔除不稳定点：
令来衡量特征点的对比度，如果D(Mmax)<β，则剔除该关键点；其中β为调节阈值；
2.4、确定关键点的主方向：
设关键点的局部影像梯度特征最大的方向为关键点主方向，则有：
2.5、确定关键点描述子：
对每个关键点使用4*4＝16个种子点来描述，产生128个数据，形成128位的SIFT特征向量。
4.根据权利要求3所述的方法，其特征在于，步骤3中，通过2张或多张胎纹图像中每个关键点的SIFT描述子匹配，计算出胎纹的三维轮廓尺寸，具体如下：
3.1、建立2张胎纹图像的相机位姿方程：
设P为在2张胎纹图像中的同一点，C1和C2为2张胎纹图像中的相机光轴中心点，Π1和Π2为照相机在2个图像下的成像平面；C1C2P平面为C1、C2和P三点构成的外极平面；外极线m1e1和m2e2为外极平面与成像平面的交线；外极点e1和e2为2张图像中相机光轴中心点C1和C2与成像平面的交点；基线C1C2为2张图中相机光轴中心的连线；
3.2、通过块搜索极线，建立特征点的匹配关系，具体为：
3.2.1、在第一张胎纹图中取关键点p1并建立p1周边小块像素点矩阵A∈RW*W,沿极线搜索第2张图与第1张图SIFT描述子对应的匹配点小块，把极线e2m2上的n个小块记作Bi，i＝1,…,n；R是小块构成的像素图像点集合，w是集合的横纵坐标值；
3.2.2计算A、B的NCC归一化相关性S：
取S的阈值为α，当S大于阈值α时表示小块A对应的点p1与极线上小块B对应的点p2是匹配点，同时剔除不在轮廓线上的匹配点；
3.3、建立不同图像的相机极线约束方程：
设相机采用4参数模型，设空间点P的位置为P＝|X,Y,Z|T，
则空间点P在相机坐标下的归一化坐标位置zc与世界坐标系下坐标位置有下列方程：
其中，kx为X轴方向的放大系数；ky为Y轴方向上的放大系数；(u0,v0)为光轴中心点图像坐标；R为外参数中的旋转矩阵；t为外参数的位移向量；(u,v)为空间点P的图像点坐标；(xw,yw,zw)是胎纹上点P的世界坐标；M’为基本矩阵；
3.4、通过关键点计算两张图像的位姿与相机内参，解算出空间点的世界坐标，具体为：
3.4.1、相机2个位姿到对极几何约束：
设P点分别在2张胎纹图像中的相机归一化平面坐标为x1,x2.
根据单孔相机成像原理，有s1p1＝KP,s2p2＝K(RP+t)
其中，K为相机的内参，R为相机拍摄时2个位置的旋转矩阵，t为2个位置的位移矩阵，s1，s2为参数；
相机2个位姿对极几何约束为C1C2P共面
即
相机本质矩阵E＝t^R是3X3矩阵
E的SVD分解为U∑VT
其中U，V为正交解，∑为奇异值矩阵；
3.4.2、估算本质矩阵E，
E的线性方程为[u1u2,u1v2,u1,v1u2,v1v2,v1,u2,v2,1]*e＝0
其中，(u1,v1)、(u2,v2)为空间点P的图像点在2张归一化平面的像素坐标；
同理，对i个关键点pi都有：
[ui 1ui 2,ui 1vi 2,ui 1,vi 1ui 2,vi 1vi 2,vi 1,ui 2,vi 2,1]*e＝0
通过解算线性方程组[ui 1ui 2,ui 1vi 2,ui 1,vi 1ui 2,vi 1vi 2,vi 1,ui 2,vi 2,1]*e＝0
解算出相机的本质矩阵E；
3.4.3、通过本质矩阵恢复出相机到旋转和位移位姿R,t：
其中，U,V为正交阵，∑为奇异值矩阵，有∑＝diag(σ1,σ2,σ3)；
3.4.4、通过多张图像两两比对，计算出胎纹轮廓三维尺寸
通过相机连续拍摄，取2n张图片，用第1张图片与第n+1张比对，用第i张与第i+n张图片比对，计算出空间点尺寸Pi,i＝1,...,n；
令最终取轮廓线均值尺寸/>
5.根据权利要求1所述的方法，其特征在于，步骤4.3具体为：
在轮胎图像中，近似理解轮廓线在过轮胎旋转轴线平面的投影为直线段，计算2个时间段之间的磨损差轮廓线距离d的平均值：其中，Di为轮胎第一次使用时的轮胎胎纹深度，di为第二次时间段胎纹深度。
CN201910282290.6A 2019-04-09 2019-04-09 一种基于摄像的轮胎轮廓测量方法 Active CN110060240B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910282290.6A CN110060240B (zh) 2019-04-09 2019-04-09 一种基于摄像的轮胎轮廓测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910282290.6A CN110060240B (zh) 2019-04-09 2019-04-09 一种基于摄像的轮胎轮廓测量方法

Publications (2)

Publication Number Publication Date
CN110060240A CN110060240A (zh) 2019-07-26
CN110060240B true CN110060240B (zh) 2023-08-01

Family

ID=67317545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910282290.6A Active CN110060240B (zh) 2019-04-09 2019-04-09 一种基于摄像的轮胎轮廓测量方法

Country Status (1)

Country Link
CN (1) CN110060240B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062912B (zh) * 2019-11-20 2023-05-26 杭州睿眼科技有限公司 一种轮胎断面关键目标的特征提取与检测定位方法
CN110942460B (zh) * 2019-12-12 2023-01-31 湖南省鹰眼在线电子科技有限公司 一种轮胎花纹深度测量方法、***及存储介质
CN111862048B (zh) * 2020-07-22 2021-01-29 浙大城市学院 基于关键点检测和深度卷积神经网络的鱼体姿态与长度自动分析方法
CN112150527B (zh) * 2020-08-31 2024-05-17 深圳市慧鲤科技有限公司 测量方法及装置、电子设备及存储介质
CN114485527A (zh) * 2020-10-26 2022-05-13 王运斌 一种轮胎内轮廓测量方法
CN114046746A (zh) * 2021-12-08 2022-02-15 北京汇***智能科技有限公司 一种车辆轮胎磨损3d扫描在线光学检测装置及检测方法
CN115147616A (zh) * 2022-07-27 2022-10-04 安徽清洛数字科技有限公司 一种基于车辆轮胎关键点的路面积水深度检测方法
CN117291893A (zh) * 2023-09-28 2023-12-26 广州市西克传感器有限公司 基于3d图像的轮胎胎面磨损度的检测方法
CN118096759B (zh) * 2024-04-26 2024-07-12 深圳市二郎神视觉科技有限公司 检测轮胎花纹图案的方法、装置及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102435188A (zh) * 2011-09-15 2012-05-02 南京航空航天大学 一种用于室内环境的单目视觉/惯性全自主导航方法
CN103456022A (zh) * 2013-09-24 2013-12-18 中国科学院自动化研究所 一种高分辨率遥感图像特征匹配方法
CN103759716A (zh) * 2014-01-14 2014-04-30 清华大学 基于机械臂末端单目视觉的动态目标位置和姿态测量方法
CN104778721A (zh) * 2015-05-08 2015-07-15 哈尔滨工业大学 一种双目图像中显著性目标的距离测量方法
CN106097436A (zh) * 2016-06-12 2016-11-09 广西大学 一种大场景对象的三维重建方法
CN106996750A (zh) * 2017-03-15 2017-08-01 山东交通学院 一种轮胎花纹深度测量装置及轮胎花纹深度计算方法
CN107657130A (zh) * 2017-10-18 2018-02-02 安徽佳通乘用子午线轮胎有限公司 一种面向轮胎花纹结构设计参数的逆向建模方法
CN108765298A (zh) * 2018-06-15 2018-11-06 中国科学院遥感与数字地球研究所 基于三维重建的无人机图像拼接方法和***
CN109523595A (zh) * 2018-11-21 2019-03-26 南京链和科技有限公司 一种建筑工程直线棱角间距视觉测量方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE502008001233D1 (de) * 2007-05-10 2010-10-14 Atmel Automotive Gmbh Radelektronik und Reifenkontrollsystem zur Messung einer Messgröße

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102435188A (zh) * 2011-09-15 2012-05-02 南京航空航天大学 一种用于室内环境的单目视觉/惯性全自主导航方法
CN103456022A (zh) * 2013-09-24 2013-12-18 中国科学院自动化研究所 一种高分辨率遥感图像特征匹配方法
CN103759716A (zh) * 2014-01-14 2014-04-30 清华大学 基于机械臂末端单目视觉的动态目标位置和姿态测量方法
CN104778721A (zh) * 2015-05-08 2015-07-15 哈尔滨工业大学 一种双目图像中显著性目标的距离测量方法
CN106097436A (zh) * 2016-06-12 2016-11-09 广西大学 一种大场景对象的三维重建方法
CN106996750A (zh) * 2017-03-15 2017-08-01 山东交通学院 一种轮胎花纹深度测量装置及轮胎花纹深度计算方法
CN107657130A (zh) * 2017-10-18 2018-02-02 安徽佳通乘用子午线轮胎有限公司 一种面向轮胎花纹结构设计参数的逆向建模方法
CN108765298A (zh) * 2018-06-15 2018-11-06 中国科学院遥感与数字地球研究所 基于三维重建的无人机图像拼接方法和***
CN109523595A (zh) * 2018-11-21 2019-03-26 南京链和科技有限公司 一种建筑工程直线棱角间距视觉测量方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"基于双目相机的车道线检测研究";刘燕东;《中国优秀硕士学位论文全文数据库信息科技辑》;20190215;全文 *
"计算机视觉测量结构件尺寸技术";侯跃谦;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120415;全文 *

Also Published As

Publication number Publication date
CN110060240A (zh) 2019-07-26

Similar Documents

Publication Publication Date Title
CN110060240B (zh) 一种基于摄像的轮胎轮廓测量方法
He et al. Sparse template-based 6-D pose estimation of metal parts using a monocular camera
Yu et al. Learning dense facial correspondences in unconstrained images
JP2022552833A (ja) 偏光による面法線計測のためのシステム及び方法
Leroy et al. Shape reconstruction using volume sweeping and learned photoconsistency
CN108381549B (zh) 一种双目视觉引导机器人快速抓取方法、装置及存储介质
CN110310331B (zh) 一种基于直线特征与点云特征结合的位姿估计方法
EP2234064B1 (en) Method for estimating 3D pose of specular objects
CN110634161A (zh) 一种基于点云数据的工件位姿快速高精度估算方法及装置
CN111897349A (zh) 一种基于双目视觉的水下机器人自主避障方法
CN110866969A (zh) 基于神经网络与点云配准的发动机叶片重构方法
CN113393524B (zh) 一种结合深度学习和轮廓点云重建的目标位姿估计方法
CN109272577B (zh) 一种基于Kinect的视觉SLAM方法
CN110956661A (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
CN114029946A (zh) 一种基于3d光栅引导机器人定位抓取的方法、装置及设备
CN104331907A (zh) 一种基于orb特征检测测量载体速度的方法
Chen et al. A comparative analysis between active structured light and multi-view stereo vision technique for 3D reconstruction of face model surface
CN111435429B (zh) 一种基于双目立体数据动态认知的手势识别方法及***
Han et al. Target positioning method in binocular vision manipulator control based on improved canny operator
CN110517323A (zh) 基于机械手单相机多目视觉的三维定位***及方法
Ventura et al. Structure and motion in urban environments using upright panoramas
CN109345570B (zh) 一种基于几何形状的多通道三维彩色点云配准方法
Verma et al. Vision based object follower automated guided vehicle using compressive tracking and stereo-vision
CN106056599B (zh) 一种基于物体深度数据的物体识别算法及装置
Kallasi et al. Object detection and pose estimation algorithms for underwater manipulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant