CN105739106B - 一种体感多视点大尺寸光场真三维显示装置及方法 - Google Patents
一种体感多视点大尺寸光场真三维显示装置及方法 Download PDFInfo
- Publication number
- CN105739106B CN105739106B CN201510325032.3A CN201510325032A CN105739106B CN 105739106 B CN105739106 B CN 105739106B CN 201510325032 A CN201510325032 A CN 201510325032A CN 105739106 B CN105739106 B CN 105739106B
- Authority
- CN
- China
- Prior art keywords
- gesture
- projector
- array
- image
- projectors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000033001 locomotion Effects 0.000 claims abstract description 19
- 238000009877 rendering Methods 0.000 claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000003287 optical effect Effects 0.000 claims description 13
- 238000005452 bending Methods 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 7
- 230000000877 morphologic effect Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 7
- 238000004458 analytical method Methods 0.000 abstract description 4
- 230000003993 interaction Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 10
- 235000011034 Rubus glaucus Nutrition 0.000 description 9
- 235000009122 Rubus idaeus Nutrition 0.000 description 9
- 240000007651 Rubus glaucus Species 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000013256 coordination polymer Substances 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241000408659 Darpa Species 0.000 description 1
- 244000235659 Rubus idaeus Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种体感多视点大尺寸光场真三维显示装置及方法,通过工业相机采集投影仪所投影的已知的彩色标定图案的图像,传输入计算机控制***;投影仪阵列中每台投影仪与所述卡片电脑阵列中的一个卡片电脑连接;卡片电脑接入局域网与计算机控制***进行实时视频数据互传;投影仪阵列输出到作为显示屏的垂直散射膜上;体感控制装置包括摄像头和FPGA,通过摄像头识别用户的手势传输到FPGA中进行识别,将识别结果输入计算机控制***。通过建立投影光场分析模型,提出了基于场景渲染的投影图像生成方法,用户可在多角度裸眼观察到高清晰度的场景三维显示,感受到近乎真实的三维效果,并能够通过手势控制图像旋转、移动、缩放,实现良好的交互。
Description
技术领域
本发明涉及多视点光场三维显示技术领域,具体涉及一种体感多视点大尺寸光场真三维显示装置及方法。
背景技术
二维显示技术使人们无法从被显示的图像上获得物体的三维信息或感受到物体的物理深度,剥夺了物体的第三维特征,具有极大的局限性,因此三维显示应运而生。在发展过程中出现了双目立体显示(立体眼镜)和裸眼3D电视等“伪”三维显示技术,此类显示技术视点数极少,只能通过双目视差形成立体效果,基本没有实现物体的移动视差。
进入20世纪90年代后,由于激光、电子、计算机等技术的迅速发展,许多国家开始活跃在真三维显示技术的相关研究工作中,如美国、德国、日本、韩国和中国等,并获得了相当大的进展,其中以美国和德国取得的成果最为显著。美国斯坦福大学(StanfordUniversity)的3DTL实验室(3D Technology Laboratories)提出的基于红外激光二极管的三维实体显示装置,获得美国《探索》(Discover)及《工业周刊》(Industry Week)杂志颁发的“卓越技术奖”。同年,美国海军海洋***中心(NOSC)在美国国防部(DARPA)和海军(Navy)的资金资助下推出了第二代基于氪氩离子激光器的体三维显示装置,预计将应用在浅水域潜艇导航、多鱼雷位置监控和空中交通管制等多个方面。而美国空军和美国航空航天局(NASA)也非常重视真三维技术,投入了大量的资金资助研究。德州仪器公司(TI)在美国空军的支持下,经过多年对激光扫描***的研究,提出一个基于DMD的真三维投影技术。GENEX等多家美国公司,也致力于研究将具有真实物理深度和全视景观察的真三维旋转面技术应用于航空宇航和地球科学研究等领域。
然而,目前高清晰度真三维显示***笨重复杂且成本高昂,无法满足现有技术的需求。
发明内容
发明目的:为了克服现有技术中存在的不足,本发明提供一种体感多视点大尺寸光场真三维显示装置及方法,通过建立投影光场分析模型,提出了基于场景渲染的投影图像生成方法,解决了现有技术的不足。
技术方案:为实现上述目的,本发明采用的技术方案为:一种体感多视点大尺寸光场真三维显示装置,其特征在于,该装置包括垂直散射膜、投影仪阵列、计算机控制***、卡片电脑阵列、体感控制装置和工业相机;
所述工业相机采集投影仪所投影的已知的彩色标定图案的图像,传输入计算机控制***;
所述投影仪阵列中每台投影仪通过高清晰多媒体接口线与所述卡片电脑阵列中的一个卡片电脑连接;所述卡片电脑接入局域网与计算机控制***进行实时视频数据互传;所述投影仪阵列输出到作为显示屏的垂直散射膜上;
所述体感控制装置包括摄像头和FPGA,通过摄像头识别用户的手势传输到FPGA中进行识别,将识别结果输入计算机控制***。
进一步的,投影仪阵列为一组投影仪阵列,包括16台投影仪,投影仪呈圆弧形分布,该圆弧半径为2m;相邻两投影仪的间隔角度为1.36°。
进一步的,投影仪的最大分辨率为1920*1080。
进一步的,可拼接多个投影仪阵列,投影仪个数按16递加,投影仪个数不超过64台;所述拼接为沿投影仪圆弧形分布的圆弧继续排布若干组投影仪阵列;
一种体感多视点大尺寸光场真三维显示方法,其特征在于,该方法包括以下步骤:
1)基于场景渲染的投影图像生成:利用OpenGL对分别对水平方向和垂直方向的图像渲染出投影仪对应的图像;
2)投影仪标定与校正;
3)实现体感控制。
进一步的,步骤1)中所述垂直方向的图像渲染包括以下步骤:
定义相机和视点所确定的竖直平面上的三维点P1=(Xp,Yp,Zp),该点在屏幕上所成的像为从视点Oc投影得到的点p1=(XOc,YOc,ZOc),点在该列上的归一化坐标为:
水平方向上投影仪光心Op位置为:Op=(XOp,YOp,ZOp)
水平坐标为:px=(Xp-Xop)/(Zp-Zop)
三维场景中的点P1在投影图像上对应的归一化坐标应为:
px=(Xp-Xop)/(Zp-Zop)
py=(Yp-Yoc)/(Zp-Zoc)
使用投影仪作为光心投影得到点p′1进行渲染得到:
p′y=(Yp-Yop)/(Zp-Zop)
令Yoc=Yop,对投影仪光心投影得到的点的横坐标y乘以一个系数,实现正确的投影过程得到py=p′y(Zp-Zop)/(Zp-Zoc)。
进一步的,步骤2)包括对投影仪阵列中的每台投影仪进行如下操作:
2.1)用工业相机采集棋盘图案,将该棋盘图案投影到屏幕上;
2.2)对采集到的棋盘图案进行特征检测,提取角点并计算出棋盘角点与投影仪所投影的图案之间的单应矩阵H1,提取棋盘角点与目标棋盘图案之间的单应矩阵H2;
2.3)校正该投影仪单应矩H阵表示为:
进一步的,步骤3)包括以下步骤:
3.1)建立样本库:通过常用的不变矩算法计算几个特定手势的Hu不变矩,并与手势的面积周长比构成这些模板手势的特征参数向量。
3.2)采集:通过摄像头采集用户手势输入FPGA中进行处理;
3.3)将手势从背景中分割:通过中值滤波算法对输入的图像进行去噪的预处理,然后在YCbCr空间进行基于肤色的手势分割,使用阂值分割模型,根据统计结果确定一个阂值,在该阂值范围内为肤色,反之为非肤色,完成图像的二值化,将手势从背景中分割出来;
3.4)去噪:分割后的手势通过形态学处理去噪点得到完整图像;所述形态学处理包括腐蚀法和膨胀法;
3.5)获得突出手势的图像信息:用Sobel算子对图像进行边缘检测,并对手势区域进行扫描,定义手势区域的边界线上所有像素点个数为手势的周长,定义手势区域内所有像素点个数为手势面积,获得面积周长比参数;
3.6)获得最匹配手势:通过计算待识别目标与模板的欧式距离判断目标与模板的匹配程度,代表目标手势特征的点(x1,x2,...,xn)与代表所述模板的手势特征的点(y1,y2,...,yn)的欧式距离d计算公式为:
将手势图像的7个Hu不变矩以及面积周长比提取为特征参数,并与各模板所对应的特征向量计算欧式距离,最短距离所对应的模板为最匹配的手势。
有益效果:
本发明提出了体感多视点大尺寸光场真三维显示***,所述包括树莓派卡片电脑阵列、计算机控制***、投影仪阵列和体感控制模块。树莓派卡片电脑阵列进行分布式数据处理,并与投影仪阵列将处理后的视频信息实时显示;计算机控制***与树莓派卡片电脑阵列通过局域网通讯;体感控制模块与计算机控制***连接,通过采集、识别用户手势达到对显示图像的旋转、移动、缩放功能。用户可在多角度裸眼观察到高清晰度的场景三维显示,感受到近乎真实的三维效果,并能够通过手势控制图像旋转、移动、缩放,实现良好的交互。
附图说明
图1为本发明的***结构图
图2为多视点光场三维显示技术原理示意图
图3为投影仪阵列单元排列示意图
图4为基于场景渲染的垂直方向投影分析示意图
图5为基于FPGA的手势识别流程图
具体实施方式
下面结合附图对本发明作更进一步的说明。
一种体感多视点大尺寸光场真三维显示装置,其特征在于,该装置包括垂直散射膜、投影仪阵列、计算机控制***、卡片电脑阵列、体感控制装置和工业相机;
所述工业相机采集投影仪所投影的已知的彩色标定图案的图像,传输入计算机控制***;投影仪阵列为一组投影仪阵列,包括16台投影仪,投影仪呈圆弧形分布,该圆弧半径为2m;相邻两投影仪的间隔角度为1.36°。投影仪的最大分辨率为1920*1080。可拼接多个投影仪阵列,投影仪个数按16递加,投影仪个数不超过64台;所述拼接为沿投影仪圆弧形分布的圆弧继续排布若干组投影仪阵列;
所述投影仪阵列中每台投影仪通过高清晰多媒体接口线与所述卡片电脑阵列中的一个卡片电脑连接;所述卡片电脑接入局域网与计算机控制***进行实时视频数据互传;所述投影仪阵列输出到作为显示屏的垂直散射膜上;
所述体感控制装置包括摄像头和FPGA,通过摄像头识别用户的手势传输到FPGA中进行识别,将识别结果输入计算机控制***。
一种体感多视点大尺寸光场真三维显示方法,其特征在于,该方法包括以下步骤:
1)基于场景渲染的投影图像生成:利用OpenGL对分别对水平方向和垂直方向的图像渲染出投影仪对应的图像;
所述垂直方向的图像渲染包括以下步骤:
定义相机和视点所确定的竖直平面上的三维点P1=(Xp,Yp,Zp),该点在屏幕上所成的像为从视点Oc投影得到的点p1=(XOc,YOc,ZOc),点在该列上的归一化坐标为:
水平方向上投影仪光心Op位置为:Op=(XOp,YOp,ZOp)
水平坐标为:px=(Xp-Xop)/(Zp-Zop)
三维场景中的点P1在投影图像上对应的归一化坐标应为:
px=(Xp-Xop)/(Zp-Zop)
py=(Yp-Yoc)/(Zp-Zoc)
使用投影仪作为光心投影得到点p′1进行渲染得到:
p′y=(Yp-Yop)/(Zp-Zop)
令Yoc=Yop,对投影仪光心投影得到的点的横坐标y乘以一个系数,实现正确的投影过程得到py=p′y(Zp-Zop)/(Zp-Zoc)。
2)投影仪标定与校正,对投影仪阵列中的每台投影仪进行如下操作:
2.1)用工业相机采集棋盘图案,将该棋盘图案投影到屏幕上;
2.2)对采集到的棋盘图案进行特征检测,提取角点并计算出棋盘角点与投影仪所投影的图案之间的单应矩阵H1,提取棋盘角点与目标棋盘图案之间的单应矩阵H2;
2.3)校正该投影仪单应矩H阵表示为:
3)实现体感控制:
3.1)建立样本库:通过常用的不变矩算法计算几个特定手势的Hu不变矩,并与手势的面积周长比构成这些模板手势的特征参数向量。
3.2)采集:通过摄像头采集用户手势输入FPGA中进行处理;
3.3)将手势从背景中分割:通过中值滤波算法对输入的图像进行去噪的预处理,然后在YCbCr空间进行基于肤色的手势分割,使用阂值分割模型,根据统计结果确定一个阂值,在该阂值范围内为肤色,反之为非肤色,完成图像的二值化,将手势从背景中分割出来;
3.4)去噪:分割后的手势通过形态学处理去噪点得到完整图像;所述形态学处理包括腐蚀法和膨胀法;
3.5)获得突出手势的图像信息:用Sobel算子对图像进行边缘检测,并对手势区域进行扫描,定义手势区域的边界线上所有像素点个数为手势的周长,定义手势区域内所有像素点个数为手势面积,获得面积周长比参数;
3.6)获得最匹配手势:通过计算待识别目标与模板的欧式距离判断目标与模板的匹配程度,代表目标手势特征的点(x1,x2,...,xn)与代表所述模板的手势特征的点(y1,y2,...,yn)的欧式距离d计算公式为:
将手势图像的7个Hu不变矩以及面积周长比提取为特征参数,并与各模板所对应的特征向量计算欧式距离,最短距离所对应的模板为最匹配的手势。
实施例:
体感多视点大尺寸光场真三维显示装置,所述装置包括垂直散射膜、投影仪阵列、计算机控制***、树莓派卡片电脑阵列、体感控制装置和一台用于标定的工业相机。投影仪阵列中的每台投影仪通过HDMI线与一个树莓派卡片电脑连接,各树莓派接入局域网,通过TCP传输协议与PC进行实时视频数据传输。PC与树莓派卡片电脑阵列对所需处理的数据进行分布式处理,实现海量光场数据的传输、处理和同步显示。通过使用工业相机采集已知投影图像,计算出将所有投影仪投影图像对齐所需要的单应矩阵,实现对投影仪的几何矫正;用工业相机采集投影仪所投影的已知的彩色标定图案的图像,通过最小二乘法计算出颜色变换矩阵以实现颜色亮度标定。所述体感控制装置采用摄像头采集用户手势,通过FPGA实现手势的识别,从而对所显示图像进行移动、旋转、缩放的控制。
所述投影仪的最大分辨率为1920*1080。
显示屏幕大小为39英寸,由两层垂直散射膜组成。
为安装和运输方便,本发明设计了16台投影仪为一组的投影仪阵列单元,使用时只要将多个投影仪阵列单元拼装组合起来,即可搭建成16个、32个或64个光场的三维显示***。所述投影仪阵列单元上投影仪分布圆半径为2m,相邻投影仪间隔角度为1.36度。
与投影仪阵列单元对应,每16个树莓派卡片电脑与其电源、网络交换机一起作为一个树莓派卡片电脑阵列单元,安装在塑料模具中,便于安装和运输。
所述的垂直散射膜作为显示屏幕,由于其表面存在特殊形状与微结构,因此对光线的反射或透射存在各向异性,当激光通过垂直散射膜后,由于垂直散射特性,线束激光将变成扇束激光。本***使用水平均匀分布投影仪阵列向垂直散射屏幕进行投影,投影仪投出的光线在经过垂直散射膜后会形成一个特殊的光场。我们设计了投影图像生成算法使得该特殊光场非常接近真实物体的光场,在不同视点上可以产生物体不同角度的图像,达成三维显示效果。
如图1所示,本发明体感多视点大尺寸光场真三维显示***,其实施过程如下:
(1)多视点大尺寸真三维显示
多视点光场三维显示技术是利用水平方向上双目及移动视差来产生三维效果的。真实的物理光场不仅具有水平方向上的视差,还具有垂直方向的视差。由于人的两个眼睛之间的基线为水平方向,因此在正常使用***方向的视差。如图2所示,本发明使用水平均匀分布投影仪阵列向垂直散射屏幕进行投影,由于垂直散射膜表面具有特殊的微结构,具有光学各向异性,投影仪投出的光线在经过垂直散射膜后会形成一个特殊的光场。本发明设计出了一种投影图像生成算法使得该特殊光场非常接近真实物体的光场,在不同视点上可以产生物体不同角度的图像,达成三维显示效果。
通常垂直散射膜实际散射角度范围为0.5到60°之间,假设散射强度关于角度为二维正态分布,水平散射角度为σφ=1°,垂直散射角度为σφ=60°。那么反射或透射函数可以写作:
其中函数可以近似下图所示的两个相互独立的概率分布的联合分布函数。
将单向散射膜对应的透射函数与投影光场进行卷积可以得到如下光场函数
当使用多个投影阵列进行投影时,得到的光场是分别的光场的线性叠加。假设使用n个投影仪进行投影,第i个投影仪对应的光场为投影图像为Ii(x,y),那么n个投影仪的产生的光场可以表示:
根据上式,我们可以推导出从空间中某个视点Oc观察到的多视点光场三维显示的图像:
通过上面推导得到的等式可以看出,对于任意视点,多视点光场三维显示***产生的图像是多个投影仪图像和一个分布函数调制叠加而成。因此使用多视点光场三维显示对某视点图像进行显示,需要将该视点的图像进行分割,并使用不同的投影仪进行投影,即从采集到的光场到显示光场需要使用一个图像变换处理来实现。
本发明利用多台投影仪通过垂直散射膜的拼接显示来实现多视点大尺寸的真三维显示。采用小体积高分辨率的投影仪,适合紧凑的摆放形式,并且投影距离和分辨率均满足需求。如图3所示,由16台投影仪按照自主设计的摆放方式构成一个投影仪阵列单元,投影仪紧密排列,每台投影仪之间角度为1.36度,投影仪分布圆半径为2米。多个投影仪阵列单元可拼接成投影仪阵列以满足不同显示效果的需求。
(2)基于场景渲染的投影图像生成方法
通过3DMAX构建出场景的模型,可通过渲染得到任意视点的图像,因此可使用上述基于多视点图像的方法,计算出投影图像集合。但这种方法需渲染出不同视点的图像,并利用压缩感知的方法进行处理,针对这整个过程的相对较为低效的缺陷,实际上在己知场景模型的情况下,本发明以虚拟投影仪为投影中心,利用OpenGL直接渲染出投影仪对应的图像。由于显示屏幕的散射具有方向性,图像在水平和垂直方向具有不同性质,因此需分别对水平和垂直方向图像进行渲染。
垂直方向上,如图4所示,相机和视点所确定的竖直平面上的三维点P1=(xp,yp,zp),该点在屏幕上所成的像应该为从视点Oc投影得到的点p1,不是由投影仪光心Op投影得到的p′1,点p1在该列上的归一化坐标为:
水平方向上,因为投影仪和视点确定的平面上任意三维点对应的列图像的归一化水平坐标相同,设投影仪光心位置为:
Op=(XOp,YOp,ZOp)
则该水平坐标可表示为:
px=(Xp-Xop)/(Zp-Zop)
因此三维场景中的点P1在投影图像上对应的归一化坐标应为:
px=(Xp-Xop)/(Zp-Zop)
py=(Yp-Yoc)/(Zp-Zoc)
综合投影分析:
如果直接使用投影仪作为光心进行渲染将会得到下面的结果:
px=(Xp-Xop)/(Zp-Zop)
p′y=(Yp-Yop)/(Zp-Zop)
若令
Yoc=Yop,
则
py=p′y(Zp-Zop)/(Zp-Zoc)
可知在计算出投影坐标后,对y乘以一个系数,即实现正确的投影过程。
(3)投影仪的标定与校正
由于投影仪投影角度不同,安装过程中无法保证安装位置角度和设计完全一致,同时,投影仪之间存在一定的参数差异,因此在安装完成之后,需要对投影仪进行标定。除了几何标定以外,由于光源参数差异,还需要进行颜色亮度标定。
几何标定是通过类似于投影仪标定方法实现。通过使用工业相机采集已知投影图像,计算出将所有投影仪投影图像对齐所需要的单应矩阵,实现对投影仪的几何矫正。实现对投影仪的矫正需要对每个投影仪进行如下操作:
1.将已知的棋盘图案投影到屏幕上,使用工业相机采集投影出来的棋盘图案。
2.对采集到的棋盘图案进行特征检测,提取角点并计算出棋盘角点与投影仪所投影的图案之间的单应矩阵H1,和棋盘角点与目标棋盘图案之间的单应矩阵H2。
3.矫正该投影仪单应矩阵可以表示为:
对投影仪进行亮度和颜色标定需要使用工业相机采集投影仪所投影的已知的彩色标定图案的图像。由于相机通常会存在色彩失真,因此首先需要计算出相机的颜色校正参数HC,假设实际颜色为CC相机所采集到的颜色为C′C,使用最小二乘法可以计算出相机的颜色矫正矩阵HC=C′C+CC。在计算出相机的颜色矫正矩阵之后,即可对投影仪进行色彩矫正。假设投影颜色为CP,经过投影后由相机采集到的颜色为CPC,则相机实际投影颜色为C′P=CPCHC,通过最小二乘法计算出颜色变换矩阵HP=C′P+CP即可实现对颜色的矫正。
(4)体感控制的实现
体感部分采用自制的体感设备,通过摄像头采集用户手势,将图像传输到FPGA中进行处理,FPGA选用Xilinx公司的Spartan6系列的芯片,使用SP605开发套件,传感器采用mt9v032,通过FMC-LPC扩展板与FPAG连接,该传感器具有全局曝光功能,能够拍摄快速运动的物体,不会像逐行曝光传感器那样存在运动物体倾斜,另外,此传感器在暗光线时性能超过一般的CCD传感器,可满足设计需求。FPGA通过千兆以太网连入局域网,将识别的图像信息传输到计算机控制***,控制***通过识别到的手势信息,完成对显示图像的旋转、移动、缩放。
具体实现过程由图5所示,样本库中存放的模板是几个固定的手势的特征参数,包括7个Hu不变矩和手势轮廓的面积周长比。摄像头采集到手势图像信息后输入FPGA,由于输入的图像中有大量噪声,本发明通过中值滤波算法对输入的图像进行去噪的预处理,然后在YCbCr空间进行基于肤色的手势分割,使用阂值分割模型,根据统计结果确定一个阂值,在阂值范围内为肤色,反之为非肤色,以此完成图像的二值化。当手势已基本从背景中分割出来以后,通过腐蚀和膨胀等形态学处理来去除图像中的噪点。在经过以上处理后,完整的图像已经得到,为了突出手势的结构特征、简化图像信息,本***采用较易在FPGA中实现的Sobel算子对图像进行边缘检测,并对手势区域进行扫描,手势边界线上所有像素点个数即为手势的周长,手势区域内所有像素点个数即为手势面积,将面积周长比作为一个重要的特征参数。然后应用不变矩算法计算出手势图像的7个Hu不变矩,并与前面的面积周长比共同构成特征参数向量,最后通过计算待识别目标与各模板的欧式距离来判断目标与模板的匹配程度,代表目标手势特征的点(x1,x2,...,xn)与代表模板手势特征的点(y1,y2,...,yn)的的欧式距离计算公式为:
将手势图像的几个特征参数看成特征向量,并与各模板所对应的特征向量计算欧式距离,最短距离所对应的模板即为最匹配的手势。
以上所述仅是本发明的优选实施方式,应当指出:对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (6)
1.一种体感多视点大尺寸光场真三维显示装置,其特征在于,该装置包括垂直散射膜、投影仪阵列、计算机控制***、卡片电脑阵列、体感控制装置和工业相机;
所述工业相机采集投影仪所投影的已知的彩色标定图案的图像,传输入计算机控制***;
所述投影仪阵列中每台投影仪通过高清晰多媒体接口线与所述卡片电脑阵列中的一个卡片电脑连接;所述卡片电脑接入局域网与计算机控制***进行实时视频数据互传;所述投影仪阵列输出到作为显示屏的垂直散射膜上;
所述体感控制装置包括摄像头和FPGA,通过摄像头识别用户的手势传输到FPGA中进行识别,将识别结果输入计算机控制***;
所述投影仪阵列为一组投影仪阵列,包括16台投影仪,投影仪呈圆弧形分布,该圆弧半径为2m;相邻两投影仪的间隔角度为1.36°。
2.如权利要求1所述的一种体感多视点大尺寸光场真三维显示装置,所述投影仪的最大分辨率为1920*1080。
3.如权利要求2所述的一种体感多视点大尺寸光场真三维显示装置,其特征在于,可拼接多个投影仪阵列,投影仪个数按16递加,投影仪个数不超过64台;所述拼接为沿投影仪圆弧形分布的圆弧继续排布若干组投影仪阵列。
4.一种体感多视点大尺寸光场真三维显示方法,其特征在于,该方法包括以下步骤:
1)基于场景渲染的投影图像生成:利用OpenGL对分别对水平方向和垂直方向的图像渲染出投影仪对应的图像;
2)投影仪标定与校正;
3)实现体感控制;
步骤1)中所述垂直方向的图像渲染包括以下步骤:
定义相机和视点所确定的竖直平面上的三维点P1=(Xp,Yp,Zp),该点在屏幕上所成的像为从视点Oc投影得到的点p1=(XOc,YOc,ZOc),该点在该点所在的一列上的归一化坐标为:
水平方向上投影仪光心Op位置为:Op=(XOp,YOp,ZOp)
水平坐标为:px=(Xp-Xop)/(Zp-Zop)
三维场景中的点P1在投影图像上对应的归一化坐标应为:
px=(Xp-Xop)/(Zp-Zop)
py=(Yp-Yoc)/(Zp-Zoc)
使用投影仪作为光心投影得到点p'1进行渲染得到:
p'y=(Yp-Yop)/(Zp-Zop)
令Yoc=Yop,对投影仪光心投影得到的点的横坐标y乘以一个系数(Zp-Zop)/(Zp-Zoc),实现正确的投影过程得到py=p'y(Zp-Zop)/(Zp-Zoc)。
5.如权利要求4所述一种体感多视点大尺寸光场真三维显示方法,其特征在于,步骤2)包括对投影仪阵列中的每台投影仪进行如下操作:
2.1)用工业相机采集棋盘图案,将该棋盘图案投影到屏幕上;
2.2)对采集到的棋盘图案进行特征检测,提取角点并计算出棋盘角点与投影仪所投影的图案之间的单应矩阵H1,提取棋盘角点与目标棋盘图案之间的单应矩阵H2;
2.3)校正该投影仪单应矩H阵表示为:
6.如权利要求4所述一种体感多视点大尺寸光场真三维显示方法,其特征在于,步骤3)包括以下步骤:
3.1)建立样本库:通过常用的不变矩算法计算几个特定手势的Hu不变矩,并与手势的面积周长比构成这些模板手势的特征参数向量;
3.2)采集:通过摄像头采集用户手势输入FPGA中进行处理;
3.3)将手势从背景中分割:通过中值滤波算法对输入的图像进行去噪的预处理,然后在YCbCr空间进行基于肤色的手势分割,使用阈值分割模型,根据统计结果确定一个阈值,在该阈值范围内为肤色,反之为非肤色,完成图像的二值化,将手势从背景中分割出来;
3.4)去噪:分割后的手势通过形态学处理去噪点得到完整图像;所述形态学处理包括腐蚀法和膨胀法;
3.5)获得突出手势的图像信息:用Sobel算子对图像进行边缘检测,并对手势区域进行扫描,定义手势区域的边界线上所有像素点个数为手势的周长,定义手势区域内所有像素点个数为手势面积,获得面积周长比参数;
3.6)获得最匹配手势:通过计算待识别目标与模板的欧式距离判断目标与模板的匹配程度,代表目标手势特征的点(x1,x2,...,xn)与代表所述模板的手势特征的点(y1,y2,...,yn)的欧式距离d计算公式为:
将手势图像的7个Hu不变矩以及面积周长比提取为特征参数,并与各模板所对应的特征向量计算欧式距离,最短距离所对应的模板为最匹配的手势。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510325032.3A CN105739106B (zh) | 2015-06-12 | 2015-06-12 | 一种体感多视点大尺寸光场真三维显示装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510325032.3A CN105739106B (zh) | 2015-06-12 | 2015-06-12 | 一种体感多视点大尺寸光场真三维显示装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105739106A CN105739106A (zh) | 2016-07-06 |
CN105739106B true CN105739106B (zh) | 2019-07-09 |
Family
ID=56295924
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510325032.3A Expired - Fee Related CN105739106B (zh) | 2015-06-12 | 2015-06-12 | 一种体感多视点大尺寸光场真三维显示装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105739106B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106887005B (zh) * | 2017-03-03 | 2019-07-30 | 湖南大学 | 一种基于视觉检测的空管复合滤棒段长测量方法 |
CN108828893A (zh) * | 2018-06-06 | 2018-11-16 | 北京邮电大学 | 基于柱透镜光栅的三维显示*** |
CN109255832A (zh) * | 2018-09-21 | 2019-01-22 | 四川长虹电器股份有限公司 | 一种基于OpenGL的目标光场创建方法 |
CN110309806B (zh) * | 2019-07-08 | 2020-12-11 | 哈尔滨理工大学 | 一种基于视频图像处理的手势识别***及其方法 |
CN110908510B (zh) * | 2019-11-08 | 2022-09-02 | 四川大学 | 一种倾斜摄影建模数据在沉浸式显示设备中的应用方法 |
CN111228792B (zh) * | 2020-01-14 | 2023-05-05 | 深圳十米网络科技有限公司 | 体感游戏动作识别方法、装置、计算机设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102404598A (zh) * | 2011-11-22 | 2012-04-04 | 浙江大学 | 用于体视三维显示图像生成***及方法 |
CN103083901A (zh) * | 2011-10-31 | 2013-05-08 | 北京德信互动网络技术有限公司 | 全息投影体感互动***和方法 |
CN103440677A (zh) * | 2013-07-30 | 2013-12-11 | 四川大学 | 一种基于Kinect体感设备的多视点自由立体交互*** |
CN104011788A (zh) * | 2011-10-28 | 2014-08-27 | 奇跃公司 | 用于增强和虚拟现实的***和方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102116938A (zh) * | 2011-03-30 | 2011-07-06 | 浙江大学 | 一种基于柱面会聚定向屏的全景视场三维显示装置 |
KR101922722B1 (ko) * | 2012-08-22 | 2018-11-27 | 엘지디스플레이 주식회사 | 입체영상표시장치 |
-
2015
- 2015-06-12 CN CN201510325032.3A patent/CN105739106B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104011788A (zh) * | 2011-10-28 | 2014-08-27 | 奇跃公司 | 用于增强和虚拟现实的***和方法 |
CN103083901A (zh) * | 2011-10-31 | 2013-05-08 | 北京德信互动网络技术有限公司 | 全息投影体感互动***和方法 |
CN102404598A (zh) * | 2011-11-22 | 2012-04-04 | 浙江大学 | 用于体视三维显示图像生成***及方法 |
CN103440677A (zh) * | 2013-07-30 | 2013-12-11 | 四川大学 | 一种基于Kinect体感设备的多视点自由立体交互*** |
Non-Patent Citations (1)
Title |
---|
基于三维模型的多视图像采集与显示方法;龙吉昌 等;《计算机与现代化》;20150531(第237期);第57-61页 |
Also Published As
Publication number | Publication date |
---|---|
CN105739106A (zh) | 2016-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105739106B (zh) | 一种体感多视点大尺寸光场真三维显示装置及方法 | |
CN104933718B (zh) | 一种基于双目视觉的物理坐标定位方法 | |
CN113412614B (zh) | 使用深度图像的三维定位 | |
US10977818B2 (en) | Machine learning based model localization system | |
KR101666959B1 (ko) | 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법 | |
US20180247456A1 (en) | Method and device for augmented reality display of real physical model | |
CN107016704A (zh) | 一种基于增强现实的虚拟现实实现方法 | |
CN105469389B (zh) | 一种用于视觉传感器标定的网格球靶标及相应标定方法 | |
CN101673394A (zh) | 内容感知的广角图像 | |
CN107111598A (zh) | 使用超声深度感测的光流成像***以及方法 | |
CN111275731B (zh) | 面向中学实验的投影式实物交互桌面***和方法 | |
CN104599317A (zh) | 一种实现3d扫描建模功能的移动终端及方法 | |
CN110838164A (zh) | 基于物体点深度的单目图像三维重建方法、***及装置 | |
CN104200476B (zh) | 利用双平面镜装置中的圆周运动求解摄像机内参数的方法 | |
CN110880161A (zh) | 一种多主机多深度摄像头的深度图像拼接融合方法及*** | |
CN111914790B (zh) | 基于双摄像头的不同场景下实时人体转动角度识别方法 | |
CN108564654A (zh) | 三维大场景的画面进入方式 | |
JP6304815B2 (ja) | 画像処理装置ならびにその画像特徴検出方法、プログラムおよび装置 | |
Gurrieri et al. | Depth consistency and vertical disparities in stereoscopic panoramas | |
Apartment et al. | Kinect sensor based object feature estimation in depth images | |
CN112085777A (zh) | 六自由度vr眼镜 | |
CN106713741B (zh) | 全景视频的质量诊断方法及装置 | |
Pramod et al. | Techniques in Virtual Reality | |
Fudono et al. | Interactive 3-D modeling system using a hand-held video camera | |
Tsai | Light-field features for robotic vision in the presence of refractive objects |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190709 Termination date: 20210612 |
|
CF01 | Termination of patent right due to non-payment of annual fee |