CN113096188A - 一种基于高光像素检测的视觉里程计位姿优化方法 - Google Patents

一种基于高光像素检测的视觉里程计位姿优化方法 Download PDF

Info

Publication number
CN113096188A
CN113096188A CN202110642779.7A CN202110642779A CN113096188A CN 113096188 A CN113096188 A CN 113096188A CN 202110642779 A CN202110642779 A CN 202110642779A CN 113096188 A CN113096188 A CN 113096188A
Authority
CN
China
Prior art keywords
highlight
pixel
calculating
psf
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110642779.7A
Other languages
English (en)
Other versions
CN113096188B (zh
Inventor
宋伟
王程
朱世强
廖建峰
郑涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202110642779.7A priority Critical patent/CN113096188B/zh
Publication of CN113096188A publication Critical patent/CN113096188A/zh
Application granted granted Critical
Publication of CN113096188B publication Critical patent/CN113096188B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于高光像素检测的视觉里程计位姿优化方法，主要步骤包括：高光像素检测、权重矩阵计算、特征描述子计算、最小二乘优化。在金属、部分光滑物体表面常常发生镜面反射，导致相机捕获到的图像存在高光像素。而高光像素位置会随相机视角移动而改变，导致视觉定位中相邻图像匹配错误，从而定位精度下降。本发明的核心在于引入了高光像素检测，将检测结果转换成权重矩阵加入到位姿优化过程中，该方法剔除高光像素带来的错误匹配，有效提高了视觉定位的精度。

Description

一种基于高光像素检测的视觉里程计位姿优化方法
技术领域
本发明涉及机器人视觉定位领域，尤其是涉及一种基于高光像素检测的视觉里程计位姿优化方法。
背景技术
在金属等光滑物体表面常常发生镜面反射，导致相机捕获到的图像存在高光像素。而高光像素位置会随相机视角和光源位置移动而改变，导致视觉定位中相邻图像匹配错误，从而导致定位精度下降。
发明内容
为解决现有技术的不足，本发明在传统视觉里程计位姿求解中引入高光权重矩阵，实现提高视觉里程计定位精度的目的，本发明采用如下的技术方案：
一种基于高光像素检测的视觉里程计位姿优化方法，包括如下步骤：
S1，按照固定帧数实时获取环境彩色图像信息；
S2，计算彩色图像中高光像素图片；
S3，通过高光像素图片，计算各像素高光权重矩阵W highlight ；
S4，计算各像素梯度权重矩阵W grad ；
S5，计算最终权重矩阵W=W highlight •W grad ；
S6，计算各像素点描述子；
S7，建立最小二乘优化方程，代入权重矩阵和像素点描述子，进行非线性优化求解位姿信息。
进一步地，所述S2中，将所有彩色图像像素对应的色度值，引入到最小色度-最大色度二维空间进行聚类，通过聚类得到的I ratio (i)计算高光像素成分I highlight 。
进一步地，所述I ratio (i)，通过计算彩色图像最小强度值I min ，最大强度值I max ，将得到的色度值Λ psf (i)，投影到最小色度-最大色度二维空间进行聚类得到，表达式如下：
Figure 74398DEST_PATH_IMAGE001
其中，I r (i)、I g (i)、I b (i)分别表示彩色图像第i个像素点的红、绿、蓝色强度值，将 其分别作为I psf (i)=I(i)- I min (i)中的I(i)，得到的I r psf (i)、I g psf (i)、I b psf (i)分别作为
Figure 522697DEST_PATH_IMAGE002
中的I psf (i)，得到的Λ r psf (i)、Λ g psf (i)、 Λ b psf (i)用于求取最小色度值
Figure 708959DEST_PATH_IMAGE003
和最大色度值
Figure 369747DEST_PATH_IMAGE004
，将最小色度值
Figure 856224DEST_PATH_IMAGE003
和最大色度值
Figure 209844DEST_PATH_IMAGE004
，投影到最小色度-最大色度二维空间的坐标点x’，y’， 对应到平面坐标系中就会有很多个图像坐标点，采用kmeans算法对坐标点进行聚类，将坐 标点聚成红、绿、蓝三类，对每类中的I max (i)和I range (i)，通过med( )求解中位数作为I ratio (i)。
进一步地，所述高光像素成分I highlight ，通过I ratio (i)计算图像中漫反射成分I diffuse ，再由漫反射成分I diffuse 得到，表达式如下：
I range (i)=I max (i)- I min (i)
I diffuse =I ratio (i)I range (i)
I highlight =I max (i)- I diffuse 。
进一步地，所述S3中，设置高光阈值I th1 ，计算像素点i高光权重矩阵：
Figure 148982DEST_PATH_IMAGE005
。
进一步地，所述S4包括如下步骤：
S41，将彩色图像灰度化，对图像进行高斯模糊处理，计算像素点在x和y方向上的梯度幅值：
G x (i)=I x+1,y +I x-1,y -2I x,y
G y (i)=I x,y+1 +I x,y-1 -2I x,y
其中，G x (i)、G y (i)分别为像素点i在图像x方向和y方向上的梯度幅值，I x,y 为像素点i对应强度，I x-1,y 为像素点i左侧相邻像素点对应强度，I x+1,y 为像素点i右侧相邻像素点对应强度，I x,y-1 为像素点i上侧相邻像素点对应强度，I x,y+1 为像素点i上侧相邻像素点对应强度；
S42，设置梯度阈值I th2 ，计算像素点i梯度权重矩阵W grad ：
Figure 754406DEST_PATH_IMAGE006
。
进一步地，所述S6中，通过表示当前帧图像中像素对应的特征描述子计算函数I(w(p,θ+△θ))得到，其中w( )表示相机成像模型中的变换函数，将当前帧中像素坐标投影到参考帧中，p为图像中像素坐标位置，θ为相机变换位姿信息。
进一步地，所述S7中，最小二乘优化方程：
Figure 954444DEST_PATH_IMAGE007
其中，I’( )表示参考帧图像中像素的特征描述子计算函数。
进一步地，所述w( )为warp函数。
进一步地，所述θ=[R T]，其中R为相机旋转矩阵，T为相机位移。
本发明的优势和有益效果在于：
本发明在传统视觉里程计位姿求解中引入高光权重矩阵，避免了图像存在高光像素，且位置会随相机视角和光源位置移动而改变，导致视觉定位中相邻图像匹配错误，有效提高视觉里程计定位精度。
附图说明
图1是本发明的方法流程图。
图2a是本发明中聚类后的最小色度-最大色度二维空间示意图。
图2b是本发明中聚类并计算中位数后的最小色度-最大色度二维空间示意图。
图3a是本发明中的原始图。
图3b是本发明中检测到高光像素的示意图。
图4是本发明的定位精度对比示意图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
如图1所示，本发明的具体实施如下：
S1：相机搭载在移动平台上，固定其位置与视角，按照固定帧数实时获取环境彩色图像信息；
S2：计算彩色图像中高光像素图片：计算彩色图像最小强度I min ，最大强度I max ，色度值Λ psf (i)，将所有像素对应色度值引入到最小色度-最大色度二维空间进行聚类，聚类后计算得到I ratio ，具体计算表达式如下所示：
Figure 876701DEST_PATH_IMAGE001
通过I ratio 计算图像中漫反射成分I diffuse 与高光像素成分I highlight ，表达式如下所示：
I range (i)=I max (i)- I min (i)
I diffuse =I ratio (i)I range (i)
I highlight =I max (i)- I diffuse ；
其中，I r (i)、I g (i)、I b (i)分别表示彩色图像第i个像素点的红、绿、蓝色强度值，将 其分别作为I psf (i)=I(i)- I min (i)中的I(i)，得到的I r psf (i)、I g psf (i)、I b psf (i)分别作为
Figure 37556DEST_PATH_IMAGE002
中的I psf (i)，得到的Λ r psf (i)、Λ g psf (i)、 Λ b psf (i)用于求取最小色度值
Figure 305726DEST_PATH_IMAGE008
和最大色度值
Figure 235636DEST_PATH_IMAGE009
；
将最小色度值
Figure 196638DEST_PATH_IMAGE003
和最大色度值
Figure 703843DEST_PATH_IMAGE004
，投影到最小色度-最大色度二 维空间的坐标点x’，y’，对应到平面坐标系中就会有很多个图像坐标点，如图2a所示，采用 kmeans算法对坐标点进行聚类，将坐标点聚成红、绿、蓝三类，如图2b所示，对每个类中的I max (i)和I range (i)通过med( )求解中位数作为I ratio (i)。
如图3a所示为原始图像，如图3b所示为检测到的高光像素示意图。图中白色像素为图像高光区域。
S3：计算各像素高光权重矩阵W highlight ，具体步骤为：设置高光阈值I th1 ，计算像素点高光权重矩阵，表达式如下所示：
Figure 385491DEST_PATH_IMAGE005
S4：计算各像素梯度权重矩阵W grad ，具体步骤为：先将彩色图像灰度化，对图像进行高斯模糊处理，计算像素点在x和y方向上的梯度幅值，表达式如下所示：
G x (i)=I x+1,y +I x-1,y -2I x,y
G y (i)=I x,y+1 +I x,y-1 -2I x,y
上式中G x (i)、G y (i)分别为像素点在图像x方向和y方向上的梯度幅值，I x,y 为像素点i对应强度，I x-1,y 为像素点i左侧相邻像素点对应强度，I x+1,y 为像素点i右侧相邻像素点对应强度，I x,y-1 为像素点上侧相邻像素点对应强度，I x,y+1 为像素点上侧相邻像素点对应强度；
然后设置梯度阈值I th2 ，计算权重矩阵W grad ，表达式如下所示：
Figure 560121DEST_PATH_IMAGE006
S5：计算最终权重矩阵W，表达式如下所示：
W=W highlight •W grad
S6：计算各像素点描述子；
S7：建立最小二乘优化方程，代入权重矩阵W，进行非线性优化求解位姿信息△θ，方程表达式如下：
Figure 36233DEST_PATH_IMAGE007
上式中p为图像中像素坐标位置，w( )为warp函数，即相机成像模型中的变换函数，主要作用是将当前帧中像素坐标投影到参考帧中。I( )表示的是当前帧图像中像素对应的特征描述子计算函数，I’( )表示的是参考帧图像中像素的特征描述子计算函数，θ为相机变换位姿信息，具体为θ=[R T]，其中R为相机旋转矩阵，T为相机位移。
如图4所示为视觉里程计引入高光像素检测与未引入高光像素检测的定位精度对比示意图。图中虚线为真实轨迹，深色直线为引入高光像素权重矩阵的视觉里程计定位轨迹，浅色直线为引入高光像素权重矩阵的视觉里程计定位轨迹。由实验结果可知，引入高光像素检测的视觉里程计能够提供更高的定位精度。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (10)

1.一种基于高光像素检测的视觉里程计位姿优化方法，其特征在于包括如下步骤：
S1，获取彩色图像信息；
S2，计算彩色图像中高光像素图片；
S3，通过高光像素图片，计算各像素高光权重矩阵W highlight ；
S4，计算各像素梯度权重矩阵W grad ；
S5，计算最终权重矩阵W=W highlight •W grad ；
S6，计算各像素点描述子；
S7，建立最小二乘优化方程，代入权重矩阵和像素点描述子，进行非线性优化求解位姿信息△θ。
2.根据权利要求1所述的一种基于高光像素检测的视觉里程计位姿优化方法，其特征在于所述S2中，将彩色图像像素对应的色度值，引入到最小色度-最大色度二维空间进行聚类，通过聚类得到的I ratio (i)计算高光像素成分I highlight 。
3.根据权利要求2所述的一种基于高光像素检测的视觉里程计位姿优化方法，其特征在于所述I ratio (i)，通过计算彩色图像最小强度值I min ，最大强度值I max ，将得到的色度值Λ psf (i)，投影到最小色度-最大色度二维空间进行聚类得到，表达式如下：
Figure 89846DEST_PATH_IMAGE001
其中，I r (i)、I g (i)、I b (i)分别表示彩色图像第i个像素点的红、绿、蓝色强度值，将其分 别作为I psf (i)=I(i)- I min (i)中的I(i)，得到的I r psf (i)、I g psf (i)、I b psf (i)分别作为
Figure 575185DEST_PATH_IMAGE002
中的I psf (i)，得到的Λ r psf (i)、Λ g psf (i)、 Λ b psf (i)用于求取最小色度值
Figure 745266DEST_PATH_IMAGE003
和最大色度值
Figure 782493DEST_PATH_IMAGE004
，将最小色度值
Figure 264289DEST_PATH_IMAGE003
和最大色度值
Figure 553319DEST_PATH_IMAGE004
，投影到最小色度-最大色度二维空间的坐标点，对坐 标点进行聚类，将坐标点聚成红、绿、蓝三类，对每类中的I max (i)和I range (i)，通过med( )求 解中位数作为I ratio (i)。
4.根据权利要求2所述的一种基于高光像素检测的视觉里程计位姿优化方法，其特征在于所述高光像素成分I highlight ，通过I ratio (i)计算图像中漫反射成分I diffuse ，再由漫反射成分I diffuse 得到，表达式如下：
I range (i)=I max (i)- I min (i)
I diffuse =I ratio (i)I range (i)
I highlight =I max (i)- I diffuse 。
5.根据权利要求2所述的一种基于高光像素检测的视觉里程计位姿优化方法，其特征在于所述S3中，设置高光阈值I th1 ，计算像素点i高光权重矩阵：
Figure 436962DEST_PATH_IMAGE005
。
6.根据权利要求1所述的一种基于高光像素检测的视觉里程计位姿优化方法，其特征在于所述S4包括如下步骤：
S41，将彩色图像灰度化，对图像进行模糊处理，计算像素点在x和y方向上的梯度幅值：
G x (i)=I x+1,y +I x-1,y -2I x,y
G y (i)=I x,y+1 +I x,y-1 -2I x,y
其中，G x (i)、G y (i)分别为像素点i在图像x方向和y方向上的梯度幅值，I x,y 为像素点i对应强度，I x-1,y 为像素点i左侧相邻像素点对应强度，I x+1,y 为像素点i右侧相邻像素点对应强度，I x,y-1 为像素点i上侧相邻像素点对应强度，I x,y+1 为像素点i上侧相邻像素点对应强度；
S42，设置梯度阈值I th2 ，计算像素点i梯度权重矩阵W grad ：
Figure 786035DEST_PATH_IMAGE006
。
7.根据权利要求1所述的一种基于高光像素检测的视觉里程计位姿优化方法，其特征在于所述S6中，通过表示当前帧图像中像素对应的特征描述子计算函数I(w(p,θ+△θ))得到，其中w( )表示变换函数，将当前帧中像素坐标投影到参考帧中，p为图像中像素坐标位置，θ为相机变换位姿信息。
8.根据权利要求7所述的一种基于高光像素检测的视觉里程计位姿优化方法，其特征在于所述S7中，最小二乘优化方程：
Figure 755128DEST_PATH_IMAGE007
其中，I’( )表示参考帧图像中像素的特征描述子计算函数。
9.根据权利要求7所述的一种基于高光像素检测的视觉里程计位姿优化方法，其特征在于所述w( )为warp函数。
10.根据权利要求7所述的一种基于高光像素检测的视觉里程计位姿优化方法，其特征在于所述θ=[R T]，其中R为相机旋转矩阵，T为相机位移。
CN202110642779.7A 2021-06-09 2021-06-09 一种基于高光像素检测的视觉里程计位姿优化方法 Active CN113096188B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110642779.7A CN113096188B (zh) 2021-06-09 2021-06-09 一种基于高光像素检测的视觉里程计位姿优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110642779.7A CN113096188B (zh) 2021-06-09 2021-06-09 一种基于高光像素检测的视觉里程计位姿优化方法

Publications (2)

Publication Number Publication Date
CN113096188A true CN113096188A (zh) 2021-07-09
CN113096188B CN113096188B (zh) 2021-09-21

Family

ID=76665915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110642779.7A Active CN113096188B (zh) 2021-06-09 2021-06-09 一种基于高光像素检测的视觉里程计位姿优化方法

Country Status (1)

Country Link
CN (1) CN113096188B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170053007A (ko) * 2015-11-05 2017-05-15 삼성전자주식회사 자세 추정 방법 및 자세 추정 장치
CN108010081A (zh) * 2017-12-01 2018-05-08 中山大学 一种基于Census变换和局部图优化的RGB-D视觉里程计方法
CN110346116A (zh) * 2019-06-14 2019-10-18 东南大学 一种基于图像采集的场景照度计算方法
CN110390648A (zh) * 2019-06-24 2019-10-29 浙江大学 一种基于非饱和与饱和高光区分的图像高光去除方法
CN112734845A (zh) * 2021-01-08 2021-04-30 浙江大学 一种融合场景语义的室外单目同步建图与定位方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170053007A (ko) * 2015-11-05 2017-05-15 삼성전자주식회사 자세 추정 방법 및 자세 추정 장치
CN108010081A (zh) * 2017-12-01 2018-05-08 中山大学 一种基于Census变换和局部图优化的RGB-D视觉里程计方法
CN110346116A (zh) * 2019-06-14 2019-10-18 东南大学 一种基于图像采集的场景照度计算方法
CN110390648A (zh) * 2019-06-24 2019-10-29 浙江大学 一种基于非饱和与饱和高光区分的图像高光去除方法
CN112734845A (zh) * 2021-01-08 2021-04-30 浙江大学 一种融合场景语义的室外单目同步建图与定位方法

Also Published As

Publication number Publication date
CN113096188B (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
CN108760767B (zh) 基于机器视觉的大尺寸液晶屏缺陷检测方法
US6768509B1 (en) Method and apparatus for determining points of interest on an image of a camera calibration object
US8724885B2 (en) Integrated image processor
CN108629756B (zh) 一种Kinectv2深度图像无效点修复方法
CN112304954B (zh) 一种基于线激光扫描及机器视觉的零件表面缺陷检测方法
KR101589167B1 (ko) 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법
US10992913B2 (en) Image processing apparatus, method, and storage medium storing program for transforming distortion of image projected by projection apparatus
CN114820817A (zh) 基于高精度线激光3d相机的标定方法和三维重建方法
CN107367515B (zh) 一种超薄柔性ic基板油墨异物检测方法
CN114241438B (zh) 一种基于先验信息的交通信号灯快速精确的识别方法
TW201740311A (zh) 人臉影像處理方法及其系統
CN113870146A (zh) 一种彩色相机图像边缘伪彩的校正方法
CN113096188B (zh) 一种基于高光像素检测的视觉里程计位姿优化方法
JP2005345290A (ja) 筋状欠陥検出方法及び装置
CN110501339B (zh) 一种复杂环境下的布面定位方法
CN105005985B (zh) 背光图像微米级边缘检测方法
CN113554672B (zh) 一种基于机器视觉的气密性检测中相机位姿检测方法及***
CN108428250B (zh) 一种应用于视觉定位和标定的x角点检测方法
CN111667429A (zh) 一种巡检机器人目标定位校正方法
CN113255455B (zh) 基于矢量去光照影响算法的单目相机物体识别与定位方法
CN115235335A (zh) 一种高铁动车组走行部尺寸智能检测方法
CN113610091A (zh) 一种空气开关状态的智能识别方法、识别装置及存储介质
CN113834488B (zh) 基于结构光阵列远程识别的机器人空间姿态解算方法
CN113222986B (zh) 连铸坯角点及边缘轮廓点集定位方法、***、介质及装置
CN115409890B (zh) 基于msr和广义霍夫变换的自定义标志检测方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant