CN105869115B - 一种基于kinect2.0的深度图像超分辨率方法 - Google Patents
一种基于kinect2.0的深度图像超分辨率方法 Download PDFInfo
- Publication number
- CN105869115B CN105869115B CN201610179705.3A CN201610179705A CN105869115B CN 105869115 B CN105869115 B CN 105869115B CN 201610179705 A CN201610179705 A CN 201610179705A CN 105869115 B CN105869115 B CN 105869115B
- Authority
- CN
- China
- Prior art keywords
- pixel
- depth
- resolution
- block
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 10
- 239000000284 extract Substances 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 230000002146 bilateral effect Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 4
- 238000001914 filtration Methods 0.000 abstract description 4
- 238000010276 construction Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于kinect2.0的深度图像超分辨率方法。首先,将kinect2.0采集的深度图像和彩色图像进行对齐,获取分布离散深度值的高分辨率深度图像。接着,对该深度图像进行图像超分割,逐块选取标记像素点,作为训练数据。然后,利用非线性LapRLS函数构造回归函数,对每个像素点的深度值进行估计。最后,用双边滤波对超分辨率的深度图像进行平滑和去噪。本方法适用于大面积的深度图像缺失和边缘修复,对复杂场景的深度图像超分辨率有很好的效果。
Description
技术领域
本发明涉及深度图像超分辨率技术,LapRLS回归函数模型和高斯核函数算法以及联合双边滤波算法。
背景技术
随着数码相机等图像、视频采集工具的快速发展以及智能手机的不断普及,人们获取图像视频变得越来越容易,其中的数据在生活中的应用也变得更加广泛。因而,如何更好的理解和分析图像和视频中的内容也成为了计算机视觉和多媒体领域中的一个重要课题。然而,常见的图像和视频信息是基于可见光成像原理获取的,包括借助红外传感器所采集的图像,都不可避免地在从现实三维空间到二维平面投影过程中丢失了深度信息。因此,3D技术的概念被提出。
3D技术从提出到发展已有数十年时间,目前已广泛应用于安防、军工、医学等领域。在3D图像和视频的应用中,获取高分辨率的深度信息成为关键。利用深度传感器采集到的深度图像数据,可以弥补可见光图像与红外图像采集过程中所造成的从现实三维空间到图像二维平面投影过程中场景深度信息的缺失。相对于彩色图像和红外图像,利用深度图像,我们可以更容易实现对人体行为的分析和识别,包括背景剔除、前景人体检测和提取,甚至可以相对可靠地恢复出三维人体姿态数据。目前,利用激光测距扫描仪可以获取高分辨率的准确三维深度信息。然而,这些传统的激光测距扫描仪不仅价格昂贵,而且每次只能扫描一个点,在实际应用中不仅受制于过长的扫描时间,而且只能扫描静止的物体。Kinect是微软推出的一款体感设备,可以同时采集彩色图像、深度图像和人体骨架等多种模态数据。Kinect代码开源、功能强大、价格低廉,逐渐被应用于很多领域。然而,2014年7月推出的新版Kinect在深度图像上的分辨率只有424×512,远低于彩色图像1080×1920的分辨率,精度上也与扫描仪有一定差距。相对于已经存在的众多针对旧版Kinect的深度图像超分辨算法,基于Kinect2.0的深度图像超分辨算法十分有限,所以,提高Kinect2.0深度图像的分辨率对于Kinect的应用有着重要意义,也成为众多学者努力的方向。
发明内容
本发明的目的是为了解决在使用Kinect2.0时因为深度图像分辨率低而出现对人体识别错误的问题,提供了一种基于kinect2.0的深度图像超分辨率方法,
本发明的技术方案具体包括如下步骤:
1)Kinect2.0采集的深度图像分辨率是424×512,彩色图像分辨率是1080×1920,利用sdk for kinect先对两种模态的图像数据进行像素对齐,获得一张分布离散深度值的高分辨率深度图像;
2)将彩色图像由RGB颜色空间转化为YUV空间,提取亮度信号Y获得亮度图像,对亮度值大于160的像素的亮度值,线性压缩到区间[160,165]之间,然后再将所有的像素的亮度值线性拉伸到区间[0,255],最后对亮度图像进行直方图均衡化以减小光照对结果的影响;
3)对步骤2)处理后的亮度图像超分割并逐块进行标记像素点选取,如果该块像素点个数占全部像素点个数的比例小于阈值t,那就随机在该块选取一个有深度值的像素点;反之,就在该块内每t个百分点的像素随机选取一个有深度值的像素点,若块内所有像素都没有深度值,那就不选取任何标记像素点;
4)用1×7的向量x表示像素点,七个分量分别为像素点的亮度值、横坐标、纵坐标以及该像素与上下左右像素点的亮度差值,将其代入到非线性LapRLS函数中算出回归模型:
y=αTKXX
α=(KXZKZX+λ1KXXLKXX+λ2KXX)-1KXZY
其中y表示观测值,KXX,ij=κ(xi,xj)表示向量xi与xj的高斯核函数,KXZ,ij=κ(xi,zj)表示向量xi与zj的高斯核函数,Y表示标记像素Z所对应的深度值,λ1,λ2,λ3是常量参数;
5)利用步骤4)算出的回归模型计算出所有像素点的深度值y,利用联合双边滤波对高分辨率深度图像进行平滑和去噪。
本发明所提出的方法与传统深度图像超分辨算法相比,具有以下优势:
1.对深度图像的边缘信息的保护和修复效果十分突出,清晰度能够达到高分辨率彩色图像的效果。
2.对深度图像大面积的深度值缺失以及复杂场景的超分辨率和修复效果较好,准确性较高。
附图说明
图1是低分辨率深度图像;
图2是与彩色图像对齐后的深度图像;
图3是选取的标记像素点位置;
图4是超分辨率后的深度图像。
具体实施方式
下面结合说明书附图对本发明作进一步说明。
本发明的基于Kinect2.0的深度图像超分辨方法,包括如下步骤:
1)如图1所示,Kinect2.0采集的深度图像分辨率是424×512,彩色图像分辨率是1080×1920,利用sdk for kinect先对两种模态的图像数据进行像素对齐,获得一张分布离散深度值的高分辨率深度图像,如图2所示;
2)将彩色图像由RGB颜色空间转化为YUV空间,提取亮度信号Y获得亮度图像,对亮度值大于160的像素的亮度值,线性压缩到区间[160,165]之间,然后再将所有的像素的亮度值线性拉伸到区间[0,255],最后对亮度图像进行直方图均衡化以减小光照对结果的影响;
3)对步骤2)处理后的亮度图像超分割并逐块进行标记像素点选取,如果该块像素点个数占全部像素点个数的比例小于阈值t,那就随机在该块选取一个有深度值的像素点;反之,就在该块内每t个百分点的像素随机选取一个有深度值的像素点,若块内所有像素都没有深度值,那就不选取任何标记像素点,如图3所示,亮度图像中纹理比较丰富的区域选取的像素点较多,从而提高纹理丰富区域深度值的准确性,避免深度图像引入过多亮度图像的纹理;
4)用1×7的向量x表示像素点,七个分量分别为像素点的亮度值、横坐标、纵坐标以及该像素与上下左右像素点的亮度差值,将其代入到非线性LapRLS函数中算出回归模型:
y=αTKXX
α=(KXZKZX+λ1KXXLKXX+λ2KXX)-1KXZY
其中y表示观测值,KXX,ij=κ(xi,xj)表示向量xi与xj的高斯核函数,KXZ,ij=κ(xi,zj)表示向量xi与zj的高斯核函数,Y表示标记像素Z所对应的深度值,λ1,λ2,λ3是常量参数
5)利用步骤4)算出的回归模型计算出所有像素点的深度值y,结果如图4所示,利用联合双边滤波对高分辨率深度图像进行平滑和去噪。
Claims (1)
1.一种基于kinect2.0的深度图像超分辨率方法,其特征在于包括如下步骤:
1)Kinect2.0采集的深度图像分辨率是424×512,彩色图像分辨率是1080×1920,利用sdk for kinect先对两种模态的图像数据进行像素对齐,获得一张分布离散深度值的高分辨率深度图像;
2)将彩色图像由RGB颜色空间转化为YUV空间,提取亮度信号Y获得亮度图像,对亮度值大于160的像素的亮度值,线性压缩到区间[160,165]之间,然后再将所有的像素的亮度值线性拉伸到区间[0,255],最后对亮度图像进行直方图均衡化以减小光照对结果的影响;
3)对步骤2)处理后的亮度图像超分割并逐块进行标记像素点选取,如果该块像素点个数占全部像素点个数的比例小于阈值t,那就随机在该块选取一个有深度值的像素点;反之,就在该块内每T个像素随机选取一个有深度值的像素点,其中T=t*总像素点个数,若块内所有像素都没有深度值,那就不选取任何标记像素点;
4)用1×7的向量x表示像素点,七个分量分别为像素点的亮度值、横坐标、纵坐标以及该像素与上下左右像素点的亮度差值,将其代入到非线性LapRLS函数中算出回归模型:
y=αTKXX
α=(KXZKZX+λ1KXXLKXX+λ2KXX)-1KXZY
其中y表示观测值,KXX,ij=κ(xi,xj)表示向量xi与xj的高斯核函数,KXZ,ij=κ(xi,zj)表示向量xi与zj的高斯核函数,Y表示标记像素Z所对应的深度值,λ1,λ2,λ3是常量参数;
5)利用步骤4)算出的回归模型计算出所有像素点的深度值y。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610179705.3A CN105869115B (zh) | 2016-03-25 | 2016-03-25 | 一种基于kinect2.0的深度图像超分辨率方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610179705.3A CN105869115B (zh) | 2016-03-25 | 2016-03-25 | 一种基于kinect2.0的深度图像超分辨率方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105869115A CN105869115A (zh) | 2016-08-17 |
CN105869115B true CN105869115B (zh) | 2019-02-22 |
Family
ID=56626096
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610179705.3A Active CN105869115B (zh) | 2016-03-25 | 2016-03-25 | 一种基于kinect2.0的深度图像超分辨率方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105869115B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107067367A (zh) * | 2016-09-08 | 2017-08-18 | 南京工程学院 | 一种图像超分辨重建处理方法 |
CN106548449A (zh) * | 2016-09-18 | 2017-03-29 | 北京市商汤科技开发有限公司 | 生成超分辨率深度图的方法、装置及*** |
CN106920263B (zh) * | 2017-03-10 | 2019-07-16 | 大连理工大学 | 基于Kinect的无畸变集成成像三维显示方法 |
CN108629733B (zh) * | 2017-03-17 | 2021-12-24 | 北京大学 | 获取高分辨率图像的方法与装置 |
CN109978929B (zh) * | 2017-12-28 | 2021-04-23 | 舜宇光学(浙江)研究院有限公司 | 深度信息摄像模组的rgb-d图像合成优化***及其方法 |
CN114396875B (zh) * | 2022-01-18 | 2023-11-10 | 安徽工业大学 | 一种基于深度相机垂直拍摄的长方形包裹体积测量方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103440662A (zh) * | 2013-09-04 | 2013-12-11 | 清华大学深圳研究生院 | Kinect深度图像获取方法与装置 |
CN103561258A (zh) * | 2013-09-25 | 2014-02-05 | 同济大学 | 一种Kinect深度视频时空联合修复方法 |
CN103810685A (zh) * | 2014-02-25 | 2014-05-21 | 清华大学深圳研究生院 | 一种深度图的超分辨率处理方法 |
-
2016
- 2016-03-25 CN CN201610179705.3A patent/CN105869115B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103440662A (zh) * | 2013-09-04 | 2013-12-11 | 清华大学深圳研究生院 | Kinect深度图像获取方法与装置 |
CN103561258A (zh) * | 2013-09-25 | 2014-02-05 | 同济大学 | 一种Kinect深度视频时空联合修复方法 |
CN103810685A (zh) * | 2014-02-25 | 2014-05-21 | 清华大学深圳研究生院 | 一种深度图的超分辨率处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105869115A (zh) | 2016-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105869115B (zh) | 一种基于kinect2.0的深度图像超分辨率方法 | |
KR101758058B1 (ko) | 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템 | |
DE112020004813T5 (de) | Systeme und verfahren zur erweiterung von sensorsystemen und bildgebungssystemen mit polarisation | |
US20150279121A1 (en) | Active Point Cloud Modeling | |
CN111062905A (zh) | 一种基于显著图增强的红外和可见光融合方法 | |
CN101996407B (zh) | 一种多相机颜色标定方法 | |
CN109523551B (zh) | 一种获取机器人行走姿态的方法及*** | |
CN110503620B (zh) | 一种基于傅立叶频谱提取的图像融合方法 | |
CN110827193A (zh) | 基于多通道特征的全景视频显著性检测方法 | |
Han et al. | Glass reflection removal using co-saliency-based image alignment and low-rank matrix completion in gradient domain | |
Sharma et al. | Nighttime stereo depth estimation using joint translation-stereo learning: Light effects and uninformative regions | |
CN115035147A (zh) | 基于虚拟拍摄的抠图方法、装置、***及图像融合方法 | |
CN104813341A (zh) | 使用差分相机的图像处理设备 | |
CN111914790B (zh) | 基于双摄像头的不同场景下实时人体转动角度识别方法 | |
Liu et al. | Real time tracking method by using color markers | |
Prasad et al. | Grayscale to color map transformation for efficient image analysis on low processing devices | |
CN108830804A (zh) | 基于线扩展函数标准差的虚实融合模糊一致性处理方法 | |
Guo et al. | Fast Defogging and Restoration Assessment Approach to Road Scene Images*. | |
Sun et al. | Color fusion of SAR and FLIR images using a natural color transfer technique | |
JP2011113177A (ja) | 被写体3次元モデルを構築する方法およびプログラム | |
GB2573593A8 (en) | Augmented reality rendering method and apparatus | |
Toyoura et al. | Silhouette extraction with random pattern backgrounds for the volume intersection method | |
An et al. | A Novel Fast Image Stitching Method Based on the Combination of SURF and Cell | |
Kuo et al. | Depth estimation from a monocular outdoor image | |
Yuandari | Improving the quality of digital images using the image averaging method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |