CN102708379B - 一种立体视觉的遮挡像素分类算法 - Google Patents
一种立体视觉的遮挡像素分类算法 Download PDFInfo
- Publication number
- CN102708379B CN102708379B CN201210141038.1A CN201210141038A CN102708379B CN 102708379 B CN102708379 B CN 102708379B CN 201210141038 A CN201210141038 A CN 201210141038A CN 102708379 B CN102708379 B CN 102708379B
- Authority
- CN
- China
- Prior art keywords
- pixel
- occluded pixels
- average
- euclidean distance
- sample set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
公开一种立体视觉的遮挡像素分类算法，以基准图像中的像素为基准，在参照图像中寻找匹配点，形成视差图，并列出为遮挡像素点，然后执行一下步骤：1：在所述的基准图像中，选定所述的遮挡像素点相邻左端的连续匹配成功的像素区域作为第一样本集，并计算该样本集的平均视差；选定相邻右端的连续匹配成功的像素区域作为的第二样本集,并计算该样本集的平均视差；2：围绕遮挡像素点选取相邻的遮挡像素点，构成遮挡像素集，并计算该遮挡像素集的像素均值；3：以所述的遮挡像素集的像素均值计算所述的遮挡像素集与所述的第一像素集的平均欧式距离和与所述的第二像素集的平均欧式距离；4：根据平均欧式距离的大小，确定所述的遮挡像素点的视差值。
Description
技术领域
本发明涉及一种立体视觉的遮挡像素分类算法，属于计算机立体视觉领域。
背景技术
图像匹配是立体视觉中恢复三维信息的关键环节。在图像匹配过程中，由于左右视角所限形成了遮挡区域，左图像中物体的左边界区域往往在右图像中找不到对应点，同时右图像的右边界区域在左图像中找不到对应点，以及图像的噪声也会导致图像匹配失败。由于这些因素使像素匹配失败，不能获得有效的视差值和深度信息。目前常用的处理办法是直接将匹配失败点的视差值直接等于邻近像素的视差值。那么这种方法明显存在弊端，就是在边界位置，也即使在视差值发生突变的位置，匹配失败点的视差值误差有可能会很大。
发明内容
本发明的目的是为了解决上述的视差计算问题，提出一种立体视觉的遮挡像素分类算法，该算法基于相似性原理，将匹配失败点进行相似性比较，其视差值等于与之最为相似的像素区域的视差值。
本发明解决其技术问题所采用的技术方案是：
一种立体视觉的遮挡像素分类算法，以基准图像f B(i, j)中的像素为基准，在参照图像f C(i, j)中寻找匹配点，形成视差图d(i, j)，其中不能匹配成功的像素点，被列为遮挡像素点O(m, j)，其中，0≤i< M，0≤j< N，0<m< M，系数M为图像的像素宽度，系数N为图像的像素高度，包括以下步骤：
（1）在所述的基准图像f B(i, j)中，选定所述的遮挡像素点O(m, j)相邻左端的连续匹配成功的像素区域作为第一样本集{x(n,j), n<m},计算所述的第一样本集的视差均值D1= d(n,j)/K；选定相邻右端的连续匹配成功的像素区域作为第二样本集{y(l,j),m<l<M},计算所述的第二样本集的视差均值D2=
d(l,j)/K,其中，系数K为所述的第一样本集和第二样本集的像素个数；
（2）围绕所述的遮挡像素点O(m, j)取相邻的遮挡像素点，构成遮挡像素集{ O(m, j),O(m±1, j),O(m, j±1)}，计算所述的遮挡像素集的像素均值为[f B(m, j)+ f B(m+1, j)+ f B(m-1, j)+ f B(m, j+1)+ f B(m, j-1)]/5;
（3）以所述的遮挡像素集的像素均值计算所述的遮挡像素集与所述的第一样本集的平均欧式距离L1和与所述的第二样本集的平均欧式距离L2；
（4）根据所述的平均欧式距离L1和平均欧式距离L2的大小，确定所述的遮挡像素点O(m, j)的视差值：当L1>L2时，d(m, j)=D2；当L1<L2时，d(m, j)=D1。
对于灰度图像，所述的平均欧式距离L1=
[ f B(n, j)- f B(m, j)/5- f B(m+1, j)/5- f B(m-1, j)/5- f B(m, j+1)/5- f B(m, j-1)/5]/K。
对于灰度图像，所述的平均欧式距离L2=[ f B(l, j)- f B(m, j)/5- f B(m+1, j)/5- f B(m-1, j)/5- f B(m, j+1)/5- f B(m, j-1)/5]/K。
对于彩色图像，所述的基准图像f B(i, j)为多维函数f B(i, j)=(RB(i, j),GB(i, j),BB(i, j))，所述的遮挡像素集的像素均值为(α(m, j), β(m, j), θ(m, j))= ( RB(m, j)/5+RB(m+1, j)/5+RB(m-1, j)/5+RB(m, j+1)/5+RB(m, j-1)/5, GB(m, j) /5+ G B(m+1, j) /5+GB(m-1, j) /5+GB(m, j+1) /5+GB(m, j-1) /5, BB(m, j) /5+BB(m+1, j) /5+BB(m-1, j) /5+BB(m, j+1) /5+BB(m, j-1)/5)，所述的平均欧式距离L1 = 
/K。
对于彩色图像，所述的平均欧式距离L2 = 
/K。
附图说明
图1是遮挡区域示意图；
图2是遮挡像素分类算法的流程图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1－2，一种立体视觉的遮挡像素分类算法，以基准图像f B(i, j)中的像素为基准，在参照图像f C(i, j)中寻找匹配点，形成视差图d(i, j)，其中不能匹配成功的像素点，被列为遮挡像素点O(m, j)，其中，0≤i< M，0≤j< N，0<m< M，系数M为图像的像素宽度，系数N为图像的像素高度，该遮挡像素分类算法包括以下步骤：
（1）在所述的基准图像f B(i, j)中，选定所述的遮挡像素点O(m, j)相邻左端的连续匹配成功的像素区域作为第一样本集{x(n,j), n<m},计算所述的第一样本集的视差均值D1= d(n,j)/K；选定相邻右端的连续匹配成功的像素区域作为第二样本集{y(l,j),m<l<M},计算所述的第二样本集的视差均值D2=
d(l,j)/K,其中，系数K为所述的第一样本集和第二样本集的像素个数。
其中，所述的系数K为经验系数，也可以将所述的系数K设置为按比例根据所述的系数M动态调整，这样可以适应不同的相机分辨率。所述的第一样本集和第二样本集与所述的遮挡像素点O(m, j)相邻，与所述的遮挡像素点O(m, j)的视差值与所述的第一样本集或者第二样本集的视差值最为接近。因此，只需要确定所述的遮挡像素点O(m, j)与所述的第一样本集更为相似，还是与第二样本集更为相似，从而确定所述的遮挡像素点O(m, j)的视差值。
（2）围绕所述的遮挡像素点O(m, j)取相邻的遮挡像素点，构成遮挡像素集{ O(m, j),O(m±1, j),O(m, j±1)}，计算所述的遮挡像素集的像素均值为[f B(m, j)+ f B(m+1, j)+ f B(m-1, j)+ f B(m, j+1)+ f B(m, j-1)]/5。
在步骤（2）中，围绕所述的遮挡像素点O(m, j)取多个遮挡像素点组成一个集合，并取平均值作为后续比较的依据，这样可以避免单个像素由于噪声或者图案的原因导致比较结果错误。
（3）以所述的遮挡像素集的像素均值计算所述的遮挡像素集与所述的第一样本集的平均欧式距离L1和与所述的第二样本集的平均欧式距离L2。
在步骤（3），欧式距离计算，存在两种情况：
第一种情况：基准图像f B(i, j)和参照图像f C(i, j)为灰度图像。
所述的平均欧式距离L1=[ f B(n, j)- f B(m, j)/5- f B(m+1, j)/5- f B(m-1, j)/5- f B(m, j+1)/5- f B(m, j-1)/5]/K。
所述的平均欧式距离L2=
[ f B(l, j)- f B(m, j)/5- f B(m+1, j)/5- f B(m-1, j)/5- f B(m, j+1)/5- f B(m, j-1)/5]/K。
第二种情况：基准图像f B(i, j)和参照图像f C(i, j)为彩色图像，包括了R、G、B信息，为多维函数。所述的基准图像f B(i, j)为多维函数f B(i, j)=(RB(i, j),GB(i, j),BB(i, j))，则所述的遮挡像素集的像素均值为(α(m, j), β(m, j), θ(m, j))= ( RB(m, j)/5+RB(m+1, j)/5+RB(m-1, j)/5+RB(m, j+1)/5+RB(m, j-1)/5, GB(m, j) /5+ G B(m+1, j) /5+GB(m-1, j) /5+GB(m, j+1) /5+GB(m, j-1) /5, BB(m, j) /5+BB(m+1, j) /5+BB(m-1, j) /5+BB(m, j+1) /5+BB(m, j-1)/5)。
所述的平均欧式距离L1 = 
/K。
对于彩色图像，所述的平均欧式距离L2 = 
/K。
（4）根据所述的平均欧式距离L1和平均欧式距离L2的大小，确定所述的遮挡像素点O(m, j)的视差值：当L1>L2时，d(m, j)=D2；当L1<L2时，d(m, j)=D1。
如果所述的平均欧式距离L1大于所述的平均欧式距离L2，则所述的遮挡像素点O(m, j)更有可能属于第二样本集，因此d(m, j)=D2；所述的遮挡像素点O(m, j)更有可能属于第一样本集，因此d(m, j)=D1。
综上所述，本发明根据最大相似性原则，通过对遮挡像素点归类的方法获得其视差值，这样可以将遮挡像素视差的计算错误降到最低，并且以遮挡像素点为中心构造像素块，以像素块的平均值作为归类比较的参数，避免由于噪声或者图案的原因对分类对产生影响。
Claims (2)
1.一种立体视觉的遮挡像素分类算法，以基准图像f B(i, j)中的像素为基准，在参照图像f C(i, j)中寻找匹配点，形成视差图d(i, j)，其中不能匹配成功的像素点，被列为遮挡像素点O(m, j)，其中，0≤i< M，0≤j< N，0<m< M，系数M为图像的像素宽度，系数N为图像的像素高度，其特征在于：包括以下步骤：
（1）在所述的基准图像f B(i, j)中，选定所述的遮挡像素点O(m, j)相邻左端的连续匹配成功的像素区域作为第一样本集{x(n,j), n<m},计算所述的第一样本集的视差均值D1= d(n,j)/K；选定所述的遮挡像素点O(m, j)相邻右端的连续匹配成功的像素区域作为第二样本集{y(l,j),m<l<M},计算所述的第二样本集的视差均值D2=
d(l,j)/K,其中，系数K为所述的第一样本集和第二样本集的像素个数；
（2）围绕所述的遮挡像素点O(m, j)取相邻的遮挡像素点，构成遮挡像素集{ O(m, j),O(m±1, j),O(m, j±1)}，计算所述的遮挡像素集的像素均值为[f B(m, j)+ f B(m+1, j)+ f B(m-1, j)+ f B(m, j+1)+ f B(m, j-1)]/5;
（3）以所述的遮挡像素集的像素均值计算所述的遮挡像素集与所述的第一样本集的平均欧式距离L1和与所述的第二样本集的平均欧式距离L2，对于灰度图像，所述的平均欧式距离L1=
[ f B(n, j)- f B(m, j)/5- f B(m+1, j)/5- f B(m-1, j)/5- f B(m, j+1)/5- f B(m, j-1)/5]/K，所述的平均欧式距离L2=
[ f B(l, j)- f B(m, j)/5- f B(m+1, j)/5- f B(m-1, j)/5- f B(m, j+1)/5- f B(m, j-1)/5]/K；
（4）根据所述的平均欧式距离L1和平均欧式距离L2的大小，确定所述的遮挡像素点O(m, j)的视差值：当L1>L2时，d(m, j)=D2；当L1<L2时，d(m, j)=D1。
2.如权利要求1所述的一种立体视觉的遮挡像素分类算法，其特征在于：对于彩色图像，所述的基准图像f B(i, j)为多维函数f B(i, j)=(RB(i, j),GB(i, j),BB(i, j))，所述的遮挡像素集的像素均值为(α(m, j), β(m, j), θ(m, j))=( RB(m, j)/5+RB(m+1, j)/5+RB(m-1, j)/5+RB(m, j+1)/5+RB(m, j-1)/5, GB(m, j) /5+ G B(m+1, j) /5+GB(m-1, j) /5+GB(m, j+1) /5+GB(m, j-1) /5, BB(m, j) /5+BB(m+1, j) /5+BB(m-1, j) /5+BB(m, j+1) /5+BB(m, j-1)/5)，所述的平均欧式距离L1 = 
/K，所述的平均欧式距离L2 = 
/K。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210141038.1A CN102708379B (zh) | 2012-05-09 | 2012-05-09 | 一种立体视觉的遮挡像素分类算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210141038.1A CN102708379B (zh) | 2012-05-09 | 2012-05-09 | 一种立体视觉的遮挡像素分类算法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102708379A CN102708379A (zh) | 2012-10-03 |
| CN102708379B true CN102708379B (zh) | 2014-05-14 |
Family
ID=46901122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210141038.1A Expired - Fee Related CN102708379B (zh) | 2012-05-09 | 2012-05-09 | 一种立体视觉的遮挡像素分类算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102708379B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103106664A (zh) * | 2013-02-27 | 2013-05-15 | 慈溪思达电子科技有限公司 | 基于像素块的遮挡区域图像匹配方法 |
| CN107710091B (zh) * | 2015-06-26 | 2021-07-16 | 深圳市大疆创新科技有限公司 | 用于选择移动平台的操作模式的***和方法 |
| CN112747818B (zh) * | 2019-11-11 | 2022-11-04 | 中建大成绿色智能科技(北京)有限责任公司 | 遮挡视角测量平台、方法及存储介质 |
| CN114945936A (zh) * | 2020-01-09 | 2022-08-26 | Oppo广东移动通信有限公司 | 多帧降噪方法、终端、以及*** |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101321299B (zh) * | 2007-06-04 | 2011-06-01 | 华为技术有限公司 | 视差生成方法、生成单元以及三维视频生成方法及装置 |
| JP5366619B2 (ja) * | 2008-08-12 | 2013-12-11 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム |
| CN101877796B (zh) * | 2009-04-28 | 2013-07-24 | 海信集团有限公司 | 一种视差获取方法、装置和*** |
| CN101808251B (zh) * | 2010-04-06 | 2011-07-20 | 浙江大学 | 立体图像对中遮挡信息的提取方法 |
-
2012
- 2012-05-09 CN CN201210141038.1A patent/CN102708379B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN102708379A (zh) | 2012-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110310320B (zh) | 一种双目视觉匹配代价聚合优化方法 | |
| US9070042B2 (en) | Image processing apparatus, image processing method, and program thereof | |
| CN103116896B (zh) | 一种基于视觉显著性模型的自动检测跟踪方法 | |
| US9311542B2 (en) | Method and apparatus for detecting continuous road partition | |
| CN102999913B (zh) | 一种基于可信点传播的局部立体匹配方法 | |
| CN103530599A (zh) | 一种真实人脸和图片人脸的区别方法和*** | |
| CN106341676B (zh) | 基于超像素的深度图像预处理和深度空洞填充方法 | |
| CN108257165B (zh) | 图像立体匹配方法、双目视觉设备 | |
| CN102136136A (zh) | 基于自适应Census变换的光度不敏感立体匹配方法 | |
| CN106651836B (zh) | 一种基于双目视觉的地平面检测方法 | |
| CN104079912A (zh) | 图像处理装置和图像处理方法 | |
| CN102708379B (zh) | 一种立体视觉的遮挡像素分类算法 | |
| WO2011071467A1 (en) | Method for distinguishing a 3d image from a 2d image and for identifying the presence of a 3d image format by feature correspondence determination | |
| CN104616297A (zh) | 一种用于图像篡改取证的改进型sift算法 | |
| CN104331890B (zh) | 一种全局视差估计方法和*** | |
| CN114255197A (zh) | 一种红外与可见光图像自适应融合对齐方法及*** | |
| CN103679739A (zh) | 基于遮挡区域检测的虚拟视图生成方法 | |
| CN103337064A (zh) | 图像立体匹配中的一种误匹配点剔除方法 | |
| CN110675442A (zh) | 一种结合目标识别技术的局部立体匹配方法及*** | |
| Jung et al. | Boundary-preserving stereo matching with certain region detection and adaptive disparity adjustment | |
| CN114187208A (zh) | 基于融合代价和自适应惩罚项系数的半全局立体匹配方法 | |
| CN103489183A (zh) | 一种基于边缘分割和种子点的局部立体匹配方法 | |
| CN105631868A (zh) | 一种基于图像分类的深度信息提取方法 | |
| Farid et al. | Edge enhancement of depth based rendered images | |
| CN102567992B (zh) | 遮挡区域的图像匹配方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140514 Termination date: 20150509 |
|
| EXPY | Termination of patent right or utility model |