CN103700071A - 一种深度图上采样边缘增强方法 - Google Patents
一种深度图上采样边缘增强方法 Download PDFInfo
- Publication number
- CN103700071A CN103700071A CN201310688388.4A CN201310688388A CN103700071A CN 103700071 A CN103700071 A CN 103700071A CN 201310688388 A CN201310688388 A CN 201310688388A CN 103700071 A CN103700071 A CN 103700071A
- Authority
- CN
- China
- Prior art keywords
- depth map
- edge
- pixel value
- sampling
- low resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于局部像素统计特性的深度图上采样边缘增强方法,包括:对低分辨率的深度图进行上采样得到高分辨率的深度图;对低分辨率和高分辨率的深度图分别进行直方图统计,得出每个像素值对应的像素点个数,对比分析得到高分辨率图中新增的像素值,利用低、高分辨率直方图统计结果对这些新增像素值进行校正。本发明使得上采样之后的深度图边缘的模糊、锯齿现象得到一定的改善,从而得到更清晰的高分辨率深度图。
Description
技术领域
本发明涉及图像处理技术,具体涉及一种深度图上采样边缘增强方法。
背景技术
3D视频(3D video)与传统的2D视频相比,因为蕴含了景物的深度信息,能够产生视觉立体感受,使观众获得更好的真实感、临场感与沉浸感的特点成为多媒体领域发展的一个重要趋势。而深度相机由于能够实时的获取动态深度图像信息而成为目前常用的技术手段。尽管它使用方便且通常能提供较好的效果,但由于噪声干扰和技术限制,采集得到的都是小尺寸低分辨率的深度图。
随着现在多媒体设备分辨率的提高,低分辨率显然已经不能满足需求,因此,研究者们提出了一系列提高深度图分辨率的方法。深度上采样方法可分为两类:独立深度上采样和联合纹理/深度上采样。独立深度上采样是只利用深度自身的信息进行上采样,比如双线性插值、双三次插值利用了周围像素的距离信息以及相似性,虽然方法简单,复杂度低,但往往会带来边缘模糊或者锯齿线性。联合纹理/深度上采样同时利用了深度和对应纹理的相关性,比如联合双边上采样滤波器(Joint Bilateral Upsampling,JBU)对保留物体边缘有效果,然而在深度图重构中,由于深度边缘与纹理边缘不一致,往往容易造成纹理拷贝的现象。因此,边缘轮廓质量的提升成为了深度图上采样的一个难题。
发明内容
针对现有技术的不足,本发明的目的在于提供一种深度图上采样边缘增强方法,利用低分辨率与高分辨率深度图应该具有相同的像素统计特性的性质,并用直方图来进行统计表示,对上采样之后深度图的模糊边缘地带进行增强和校正,从而获得最佳的增强效果。
本发明是通过以下技术方案实现的:
一种深度图上采样边缘增强方法,包括以下步骤:
(1)对低分辨率的深度图D进行上采样得到高分辨的深度图H;
(2)对低分辨率的深度图D和高分辨率的深度图H分别进行像素统计出对应于每个像素值的像素点个数,并用直方图进行表示;
(3)将得到的低分辨率统计直方图Dh与高分辨率统计直方图Hh进行对比分析,判断出新增的像素值P(i,j);
(4)利用统计出的低分辨率直方图统计结果对这些新增像素值P(i,j)进行校正:
(4-1)对低分辨率深度图进行边缘提取,并根据低分辨率直方图统计的结果分别求出边缘两侧一定区域内出现频率最高的像素值Plmax、Prmax;
(4-2)将提取的低分辨率的边缘图像进行上采样,得到高分辨的精细边缘,并定位边缘的两侧;
(4-3)检测高分辨率深度图边缘地带的新增像素值所在的位置Ploc(i,j),按下述公式进行校正,直到边缘地带的新增像素值全部处理完为止:
其中,Ω1为边缘左侧区域,Ω2为边缘右侧区域。
与传统深度图上采样的方法相比,本发明具有以下的优点和技术效果:
1、本发明充分考虑了低分辨率深度图与高分辨率深度图的统计特征的一致性;
2、本发明是在传统的上采样结果的基础上再进行图像边缘的增强,因此对于任何上采样方法,都可以适用。
附图说明
参照下面的说明,结合附图,可以对本发明有最佳的理解。在附图中,相同的部分可由相同的标号表示。
图1是本发明基于局部像素统计特性的深度图上采样边缘增强方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及示例性实施例,对本发明进行进一步详细说明。应当理解,此处所描述的示例性实施例仅用以解释本发明,并不用于限定本发明的适用范围。
以下首先对本发明的技术术语进行解释和说明:
深度(深度图):视频编码技术中的一个基本概念。深度反映的是空间物体表现到成像平面的几何距离。而深度图就是来记录视点下各个像素点的深度的灰度图。
下面结合附图对本发明的技术方案作进一步的描述。
如图1所示,本发明基于局像素统计特性的深度图上采样边缘增强方法包括以下步骤:
(1)对低分辨率深度图D用上采样方法(如双线性插值法,Bilinear Interpolation)进行上采样得到高分辨率的深度图H;在数学上,双线性插值是有两个变量的插值函数的线性插值扩展,其核心思想是在x和y两个方向分别进行一次线性插值。根据(u0,v0)点的四个相邻点的灰度值,插值计算出f(u0,v0)值。即根据f(u,v)、f(u+1,v)、f(u,v+1)、f(u+1,v+1)四个整数点的灰度值做两次线性插值(即双线性插值)而得到。上述f(u0,v0)插值计算方程可改写为:
f(u0,v0)=[f(u+1,v)-f(u,v)]α+[f(u,v+1)-f(u,v)]β+
[f(u+1,v+1)+f(u,v)-f(u,v+1)-f(u+1,v)]αβ+f(u,v)
其中,α、β为插值系数。此方法考虑了(u0,v0)点的直接邻点对它的影响,因此一般可以得到令人满意的插值效果。但这种方法具有低通滤波性质,使高频分量受到损失,图像的轮廓变得模糊。
(2)对低分辨率和高分辨率的深度图分别进行边缘像素统计,统计的内容包括对应于每个像素值的像素点个数。由于本发明中处理的区域是边缘地带,统计的直方图整体呈双峰状。
(3)将得到的低分辨率统计直方图Dh与高分辨率统计直方图Hh进行对比分析,判断出新增的像素值P(i,j)。因为高分辨率的深度图中存在插值操作,因此其中肯定存在一些低分辨率深度图中没有的像素值,即新增的像素值。边缘模糊是由于插值导致边缘界限不尖锐,进而造成视觉上的模糊,因而这些新增像素值被视为造成边缘模糊的原因。
(4)利用统计出的低分辨率直方图统计结果对这些新增像素值进行校正:
(4-1)用边缘提取方法(如canny算子)对低分辨率深度图进行边缘提取,并根据直方图统计的结果分别求出边缘两侧一定区域内出现频率最高的像素值Plmax、Prmax,其中Plmax是边缘左侧出现频率最高的像素值,Prmax是边缘右侧出现频率最高的像素值。图象的边缘是指图象局部区域亮度变化显著的部分,既从一个灰度值在很小的缓冲区域内急剧变化到另一个灰度相差较大的灰度值。边缘检测主要是图象的灰度变化的度量、检测和定位,Canny算法通常处理的图像为灰度图,关于图像灰度值得梯度可使用一阶有限差分来进行近似,这样就可以得图像在x和y方向上偏导数的两个矩阵,Canny算子梯度算子为:
其x向、y向的一阶偏导数矩阵,梯度幅值以及梯度方向的数学表达式为:
P[i,j]=(f[i,j+1]-f[i,j]+f[i+1,j+1]-f[i+1,j])/2
Q[i,j]=(f[i,j]-f[i+1,j]+f[i,j+1]-f[i+1,j+1])/2
θ[i,j]=arctan(Q[i,j]/P[i,j])
(4-2)将提取的低分辨率的边缘图像用上采样方法(如双线性插值法,Bilinear Interpolation)进行插值处理,得到高分辨的精细边缘,并定位边缘的两侧(边缘可以任意归为一侧),比如左侧区域定义为Ω1,右侧则定义为Ω2;
(4-3)检测高分辨率深度图边缘地带的新增像素值所在的位置P loc(i,j),按下述公式进行校正,直到边缘地带的新增像素值全部处理完为止:
综上,传统的双线性插值可以很快速的得到上采样的结果,但是边缘明显的由于插值变得模糊,而本发明着重提升了边缘地带的主观质量。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (2)
1.一种基于局部像素统计特性的深度图上采样边缘增强方法,包括以下步骤:
(1)对低分辨率的深度图D进行上采样得到高分辨的深度图H;
(2)对低分辨率的深度图D和高分辨率的深度图H分别进行像素统计,统计出对应于每个像素值的像素点个数,并用直方图进行表示;
(3)将得到的低分辨率统计直方图Dh与高分辨率统计直方图Hh进行对比分析,判断出新增的像素值P(i,j);
(4)利用统计出的低分辨率直方图统计结果对这些新增像素值P(i,j)进行校正:
(4-1)对低分辨率深度图进行边缘提取,并根据低分辨率直方图统计的结果分别求出边缘两侧一定区域内出现频率最高的像素值Plmax、Prmax,其中Plmax是边缘左侧出现频率最高的像素值,Prmax是边缘右侧出现频率最高的像素值;
(4-2)将提取的低分辨率的边缘图像进行上采样,得到高分辨的精细边缘,并定位边缘的两侧;
(4-3)检测高分辨率深度图边缘地带的新增像素值所在的位置Ploc(i,j),按下述公式进行校正,直到边缘地带的新增像素值全部处理完为止:
其中,Ω1为边缘的左侧区域,Ω2为边缘的右侧区域。
2.根据权利要求1所述的方法,其中,所述上采样方法优选采用双线性插值法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310688388.4A CN103700071B (zh) | 2013-12-16 | 2013-12-16 | 一种深度图上采样边缘增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310688388.4A CN103700071B (zh) | 2013-12-16 | 2013-12-16 | 一种深度图上采样边缘增强方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103700071A true CN103700071A (zh) | 2014-04-02 |
CN103700071B CN103700071B (zh) | 2016-08-31 |
Family
ID=50361590
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310688388.4A Active CN103700071B (zh) | 2013-12-16 | 2013-12-16 | 一种深度图上采样边缘增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103700071B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105530502A (zh) * | 2014-09-28 | 2016-04-27 | 株式会社理光 | 根据立体相机拍摄的图像帧生成视差图的方法和装置 |
CN106095773A (zh) * | 2016-05-19 | 2016-11-09 | 西安电子科技大学 | 基于最短联合路径的深度图上采样方法 |
CN106325750A (zh) * | 2016-08-26 | 2017-01-11 | 曹蕊 | 一种应用于终端设备的文字识别方法及*** |
CN109544490A (zh) * | 2018-10-17 | 2019-03-29 | 北京达佳互联信息技术有限公司 | 图像增强方法、装置和计算机可读存储介质 |
WO2021014799A1 (ja) * | 2019-07-19 | 2021-01-28 | ソニーセミコンダクタソリューションズ株式会社 | 信号処理装置、信号処理方法 |
CN112597916A (zh) * | 2020-12-24 | 2021-04-02 | 中标慧安信息技术股份有限公司 | 人脸图像抓拍质量分析方法和*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102714741A (zh) * | 2009-10-14 | 2012-10-03 | 汤姆森特许公司 | 深度图处理的方法和设备 |
CN102761764A (zh) * | 2012-07-16 | 2012-10-31 | 清华大学 | 一种用于三维立体视频的深度图片的上采样方法 |
KR20130036430A (ko) * | 2011-10-04 | 2013-04-12 | 강원대학교산학협력단 | 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법 및 이를 기록한 기록매체 |
CN103049914A (zh) * | 2012-12-19 | 2013-04-17 | 香港应用科技研究院有限公司 | 基于边界的高分辨率深度图生成 |
-
2013
- 2013-12-16 CN CN201310688388.4A patent/CN103700071B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102714741A (zh) * | 2009-10-14 | 2012-10-03 | 汤姆森特许公司 | 深度图处理的方法和设备 |
KR20130036430A (ko) * | 2011-10-04 | 2013-04-12 | 강원대학교산학협력단 | 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법 및 이를 기록한 기록매체 |
CN102761764A (zh) * | 2012-07-16 | 2012-10-31 | 清华大学 | 一种用于三维立体视频的深度图片的上采样方法 |
CN103049914A (zh) * | 2012-12-19 | 2013-04-17 | 香港应用科技研究院有限公司 | 基于边界的高分辨率深度图生成 |
Non-Patent Citations (2)
Title |
---|
HUIPING DENG ET AL: "A joint texture/depth edge directed up sampling algorithm for depth map coding", 《IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO》 * |
高凯等: "面向虚拟视点绘制的深度图滤波及上采样方法", 《中国图象图形学报》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105530502A (zh) * | 2014-09-28 | 2016-04-27 | 株式会社理光 | 根据立体相机拍摄的图像帧生成视差图的方法和装置 |
CN105530502B (zh) * | 2014-09-28 | 2018-05-22 | 株式会社理光 | 根据立体相机拍摄的图像帧生成视差图的方法和装置 |
CN106095773A (zh) * | 2016-05-19 | 2016-11-09 | 西安电子科技大学 | 基于最短联合路径的深度图上采样方法 |
CN106095773B (zh) * | 2016-05-19 | 2019-04-23 | 西安电子科技大学 | 基于最短联合路径的深度图上采样方法 |
CN106325750A (zh) * | 2016-08-26 | 2017-01-11 | 曹蕊 | 一种应用于终端设备的文字识别方法及*** |
CN109544490A (zh) * | 2018-10-17 | 2019-03-29 | 北京达佳互联信息技术有限公司 | 图像增强方法、装置和计算机可读存储介质 |
CN109544490B (zh) * | 2018-10-17 | 2021-07-13 | 北京达佳互联信息技术有限公司 | 图像增强方法、装置和计算机可读存储介质 |
WO2021014799A1 (ja) * | 2019-07-19 | 2021-01-28 | ソニーセミコンダクタソリューションズ株式会社 | 信号処理装置、信号処理方法 |
CN112597916A (zh) * | 2020-12-24 | 2021-04-02 | 中标慧安信息技术股份有限公司 | 人脸图像抓拍质量分析方法和*** |
CN112597916B (zh) * | 2020-12-24 | 2021-10-26 | 中标慧安信息技术股份有限公司 | 人脸图像抓拍质量分析方法和*** |
Also Published As
Publication number | Publication date |
---|---|
CN103700071B (zh) | 2016-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109242888B (zh) | 一种结合图像显著性和非下采样轮廓波变换的红外与可见光图像融合方法 | |
CN103700071A (zh) | 一种深度图上采样边缘增强方法 | |
CN109580630B (zh) | 一种机械零部件缺陷的视觉检测方法 | |
CN101477684B (zh) | 一种利用位置图像块重建的人脸图像超分辨率方法 | |
CN101499164B (zh) | 一种基于单张低分辨率图像的图像插值重构方法 | |
CN102930518B (zh) | 基于改进的稀疏表示的图像超分辨率方法 | |
CN105335972B (zh) | 基于小波轮廓波变换与视觉显著性的经编织物疵点检测方法 | |
CN107895345A (zh) | 一种提高人脸图像分辨率的方法和装置 | |
CN104574277A (zh) | 图像插值方法和图像插值装置 | |
CN106934806B (zh) | 一种基于结构清晰度的无参考图失焦模糊区域分割方法 | |
CN102930576A (zh) | 一种基于特征流的抽象线条画生成方法 | |
CN102420985B (zh) | 一种多视点视频对象提取方法 | |
CN101587189B (zh) | 用于合成孔径雷达图像的纹理基元特征提取方法 | |
CN106355552B (zh) | 一种基于虚拟视点绘制质量的深度图上采样方法 | |
KR20180097342A (ko) | 영상 아티팩트를 최소화하는 초해상도 영상 선명화 방법 및 장치 | |
CN104077743A (zh) | 一种x射线图像中滤线栅伪影的抑制方法及装置 | |
CN105139410B (zh) | 使用空间截面投影的脑肿瘤mri图像分割方法 | |
EP2071513A1 (en) | Method of generating a multiscale contrast enhanced image | |
CN105469358B (zh) | 一种图像处理方法 | |
DE102011012920A1 (de) | System, Verfahren und Computerprogrammartikel zur Bildgrössenänderung | |
CN105241886B (zh) | 一种基于hvs与引导滤波器的土遗址裂缝检测方法 | |
CN112634470B (zh) | 三维阈值立体图形展开方法 | |
KR101599143B1 (ko) | 베이스 시프트를 이용한 영상 디테일 향상 방법 및 장치 | |
Krishnamurthy et al. | Image-guided depth map upsampling using normalized cuts-based segmentation and smoothness priors | |
Zeng et al. | Distance map based enhancement for interpolated images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |