CN108111834A - 一种沙地的构建方法 - Google Patents
一种沙地的构建方法 Download PDFInfo
- Publication number
- CN108111834A CN108111834A CN201711433817.8A CN201711433817A CN108111834A CN 108111834 A CN108111834 A CN 108111834A CN 201711433817 A CN201711433817 A CN 201711433817A CN 108111834 A CN108111834 A CN 108111834A
- Authority
- CN
- China
- Prior art keywords
- depth
- sand ground
- kinect
- image
- realsense
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明属于人机交互技术领域，具体涉及一种魔幻沙地的构建方法。一种魔幻沙地的构建方法，其特征在于，该方法是基于Kinect/RealSense深度相机的深度捕捉技术所完成的。本发明的方法对硬件的要求较低，只需要中等配置即可，因为在目前Intel和AMD最新一代处理器以及NVIDIA Pascal和AMD Vega最新一代显卡运算架构的支持下，硬件配置这一影响对于魔幻沙地来说是几乎可以忽略不计的。
Description
技术领域
本发明属于人机交互技术领域，具体涉及一种魔幻沙地的构建方法。
背景技术
现阶段市场上人机交互是利用人与计算机的间接交互，也就是由人去控制计算机，改变其内部变量，在传统的显示设备上进行交互，而不是通过改变外部变量从而使计算机改变进行交互。在人机交互方面，传统的需要输出、输入设备的，只通过改变内部变量的人机交互不适于诸如儿童游乐场和类实景教育等场合，因为传统的人机交互方式过于繁琐，同时上手度也不是那么的高，因为使用者面对的是一大堆的UI界面。
发明内容
本发明的目的是为了解决现有技术的不足，提供一种利用Kinect/RealSense深度相机的深度捕捉技术可以实现使用者是以一个造物主的视角去创建一切的魔幻沙地的构建方法。
本发明是通过如下技术方案来实现的：
一种魔幻沙地的构建方法，该方法是基于Kinect/RealSense深度相机的深度捕捉技术所完成的。
该方法包含如下步骤：
（1）以尺度空间为起点，Kinect/RealSense深度相机的红外摄像头发射出红外光线，确定沙地的相对于尺度空间的相对高度，之后将这些数据在图像空间中对其进行三角化，将其全部变为三维数据;
（2）Kinect/RealSense深度相机对图像空间中的三角形进行判定，如果生成的两个单三角形之间的深度大于一个特定的阈值，则判定其不连续，移除该三角形，阈值的大小由像素大小来决定，像素大小是指像素在UV图中的范围，之后将三维图像映射到分层有向距离场，每一个层级对应一个原始八叉树，Kinect/RealSense深度相机不断地对深度图像进行三角化，每***一个三角形，就对其八叉树进行一次判定；
（3）在分层有向距离场上包含了所有尺度上输入的深度图像，Kinect/RealSense深度相机对传输距离进行检测，当其对所有体素处理完成之后，Kinect/RealSense深度相机以从精细体素到粗体素的顺序进行遍历，删除较低层级中重复的体素；
（4）通过对原始深度数据的处理，将原始的分层有向距离场转换为分散有向距离场，将每一个体素添加一个属于它自己的距离值以及相关属性，之后运用Marching Tetrahedra算法，提取自适应等值面，创建出一张深度图像；
（5）获取默认的传感器，并且开启深度数据流，根据深度信息的大小，开辟出一个储存空间，之后将获取到的深度数据流拷贝到_Data数组；
（6）将得到的深度数据流也就是_Data数组，同时定义要显示的图片或者动画以及可检测的距离，然后对彩色图像的数据进行初始化，定义存放图像的字节数组长度，也就是帧长度乘以帧宽度，之后获取深度数据流每一个像素的深度值，然后建立一个专用储存颜色的数组生成图片，最后将所有的深度值对应相关的数组图片，再通过投影机在沙地上进行效果的呈现。
所述的尺度空间是指3D空间中的一个虚拟水平面。
所述的UV图是指三维图像在二维空间中展开的拓扑坐标图。
所述的Kinect为Kinect2.0。
与现有技术相比，本发明具有如下有益效果：本发明利用Kinect/RealSense深度相机的深度捕捉技术来实现，通过本发明的方法所构建的魔幻沙地可以实现通过改变外部环境变量即可直接进行人机交互，使人机交互最大程度的简单化，不需要太繁琐的操作。通过本发明的方法所构建的魔幻沙地可以广泛的应用于教育、军事、商业等领域，用途极为广泛。本发明的方法对硬件的要求较低，只需要中等配置即可，因为在目前Intel和AMD最新一代处理器以及NVIDIA Pascal和AMD Vega最新一代显卡运算架构的支持下，硬件配置这一影响对于魔幻沙地来说是几乎可以忽略不计的。
具体实施方式
下面结合实施例对本发明做进一步说明，但本发明的保护范围不受实施例所限制。
实施例1
Kinect魔幻沙地是通过投影机将图像投射至目标区域，再通过Kinect计算深度信息转换为图像加以叠加，从而在沙地上呈现出不同的效果。该技术使得用户使用最自然的方式与机器互动，不需要任何的键盘鼠标以及显示设备，从而让用户成为真正的控制者，从而达到人机交互的目的。
通过Kinect的红外摄像机发射出红外光线，由于红外摄像机的视场是金字塔形的，这意味着离摄像机进的物体就会拥有更大的横截面面积。这样一来就通过红外摄像机获取到了沙地各个区域的深度和宽度，而且每个像素的深度是和视场中物体距离摄像机的距离是对应的，在深度数据中，每一个像素的深度数据占16位，将沙地的几何信息在尺度空间画面进行融合，并选择一个合适的尺度进行最终的表面提取。尺度空间即将3D空间中的一个虚拟水平面，如果目标与尺度空间的距离不同，则红外图像上的激光散斑位置会发生偏移，利用Kinect传感器自带的相关图像程序根据偏移量即可生成深度图像。
这里的深度和尺度空间水平面可以引用地理中的等高线原理进行理解和说明，以尺度空间（虚拟水平面）为起点，Kinect的红外摄像头发射出红外光线，确定沙地的相对于尺度空间的相对高度，之后将这些深度数据在图像空间中对其进行三角化，将其全部变为三维数据。
之后Kinect会对图像空间中的三角形进行判定，如果生成的两个单三角形之间的深度大于一个特定的阈值，则判定其不连续，移除该三角形，阈值的大小由像素大小来决定，像素大小是之像素在UV图（三维图像在二维空间中展开的拓扑坐标图）中的范围，之后将三维图像映射到分层有向距离场，每一个层级对应一个原始八叉树，Kinect会不断地对深度图像进行三角化，每***一个三角形，就对其八叉树进行一次判定。
在分层有向距离场上包含了所有尺度上输入的深度图像，由于Kinect传感器自身的条件限制，生成的深度图像不可避免的存在噪声和无法获取深度信息的孔洞，Kinect则会对传输距离进行检测，提高深度图的可信度，当其对所有体素处理完成之后，Kinect会以从精细体素到粗体素的顺序进行遍历，删除较低层级中重复的体素。
通过对原始深度数据的处理，将原始的分层有向距离场转换为分散有向距离场，将每一个体素添加一个属于它自己的距离值以及相关属性，之后运用MarchingTetrahedra算法，提取自适应等值面，创建出一张深度图像。
unity的Kinect SDK已经有获取深度图像的API了，首先获取默认的传感器，并且开启深度数据流，根据深度信息的大小，开辟出一个储存空间。之后将获取到的深度数据流拷贝到_Data数组。
将得到的深度数据流也就是_Data数组，同时定义要显示的图片或者动画以及可检测的距离，然后对彩色图像的数据进行初始化，定义存放图像的字节数组长度，也就是帧长度乘以帧宽度，之后获取深度数据流每一个像素的深度值，然后建立一个专用储存颜色的数组生成图片，最后将所有的深度值对应相关的数组图片，再通过投影机在沙地上进行效果的呈现。
该套魔幻沙地使用的是Kinect 2.0，该设备可以同时识别六人，也就是说在多人同时使用的环境下，该设备依然可以正常工作与运行。在***运行后可以实现无人值守，从而最大程度的解放人力资源。
关于设备的安装及相关硬件要求如下：
该套魔幻沙地对于硬件的要求只需要中等配置即可，因为在目前Intel和AMD最新一代处理器以及NVIDIA Pascal和AMD Vega最新一代显卡运算架构的支持下，硬件配置这一影响对于魔幻沙地来说是几乎可以忽略不计的。但是魔幻沙地因为是借助Kinect的深度捕捉，这样一来，就要求需要捕捉深度的是一个实体，然后呈现工具是投影机，那么受制于投影机光线的制约，故该套魔幻沙地***只能在室内或者是光线较暗的地方使用。如果在有光线干扰的情况下，魔幻沙地的呈现效果是由干扰光线的强度而定的。
安装方式及建议：
因为涉及到Kinect的深度捕捉，故Kinect和投影机需要垂直于地面安装，如果是场地较大，建议可以使用多画面融合技术进行投影机的拼接于融合，从而使画面效果达到最佳。同时，由于Kinect的最佳捕捉距离是在四米内，所以安装高度最好不要超过四米。
安装时可以通过在魔幻沙地上方安装平台的方式做到，这样既保护了主机，又保证了Kinect的正常运行和魔幻沙地效果的完美呈现。
实施例2
RealSense深度相机魔幻沙地是通过投影机将图像投射至目标区域，再通过RealSense深度相机深度相机计算深度信息转换为图像加以叠加，从而在沙地上呈现出不同的效果。该技术使得用户使用最自然的方式与机器互动，不需要任何的键盘鼠标以及显示设备，从而让用户成为真正的控制者，从而达到人机交互的目的。
RealSense深度相机首先会发射出一束红外光线，由于红外摄像机的视场是金字塔形的，这意味着离摄像机进的物体就会拥有更大的横截面面积。之后RealSense深度相机的两个深度相机将会同时捕捉该束红外光线，由于RealSense深度相机的深度相机是模仿人眼的视差原理，这样一来，当其捕获深度数据之后就会利用三角定位的原理来计算出深度信息
这里的三角定位原理是基于光学三角原理根据光源（红外光）、物体（沙地）、检测器（RealSense深度相机双目摄像机）之间做构成的几何关系来确定沙地各个位置在空间中的三维坐标，之后再利用主动成像原理将深度信息反馈至处理器，处理出一张深度图像。
RealSense深度相机的驱动以及SDK已经有获取深度图像的API了，需要创建一个PXCMSenseManager的实例，通过这个实例可以访问深度摄像机的数据以及其他相关关键算法的主要接口，通过PXCMSenseManager这一实例，便可激活PXCMCapture.StreamType的三大流模块，之后再通过Enable来激活不同的算法模块，在魔幻沙地中需要激活的是深度数据流。
之后利用Init（）对深度数据流管道进行初始化便于使用，当深度数据流管道初始化成功后也就完成了对RealSense深度相机的初始化工作，完成后便可以获取和调用深度数据了。
程序会通过AcquireFrame访问高度数据，在之后程序将会将这一帧进行锁定便于处理，在使用完AcquireFrame后尽快的使用ReleaseFrame释放资源，之后程序会在AcquireFrame和ReleaseFrame之间来回切换以获取最新的高度数据进行处理。之后使用一个Sample的实例对高度数据的类型进行访问，在访问之后sample将会返回一个Sample的值或者一个null的数据。
之后在unity中创建一个平面，通过挂载depthImage的脚本，同时创建一个Texture2D的变量储存image，在此之后创建一个ImageData的数据存储图像。在ImageData中包含了图像储存的细节信息，之后调用AcquireAccess锁定Image的缓存，之后输出ImageData结构的内部缓存指针。随后调用ToTexture2D的方法，将imageData格式转化为Texture2D的格式，这样一来，就完成了对深度数据的转化工作。
之后将深度数据与RGB的颜色进行匹配，之后再将数据传输至投影机，再有投影机将处理过的深度数据投射至沙地平面，这样一来，就完成了利用深度相机进行魔幻沙地的构建。
该套魔幻沙地使用的是RealSense深度相机，该设备可以同时识别六人，也就是说在多人同时使用的环境下，该设备依然可以正常工作与运行。在***运行后可以实现无人值守，从而最大程度的解放人力资源。
关于设备的安装及相关硬件要求如下：
该套魔幻沙地对于硬件的要求只需要中等配置即可，因为在目前Intel和AMD最新一代处理器以及NVIDIA Pascal和AMD Vega最新一代显卡运算架构的支持下，硬件配置这一影响对于魔幻沙地来说是几乎可以忽略不计的。但是魔幻沙地因为是借助RealSense深度相机的深度捕捉，这样一来，就要求需要捕捉深度的是一个实体，然后呈现工具是投影机，那么受制于投影机光线的制约，故该套魔幻沙地***只能在室内或者是光线较暗的地方使用。如果在有光线干扰的情况下，魔幻沙地的呈现效果是由干扰光线的强度而定的。
安装方式及建议：
因为涉及到RealSense深度相机的深度捕捉，故RealSense深度相机t和投影机需要垂直于地面安装，如果是场地较大，建议可以使用多画面融合技术进行投影机的拼接于融合，从而使画面效果达到最佳。
安装时可以通过在魔幻沙地上方安装平台的方式做到，这样既保护了主机，又保证了RealSense深度相机的正常运行和魔幻沙地效果的完美呈现。
Claims (5)
1.一种魔幻沙地的构建方法，其特征在于，该方法是基于Kinect/RealSense深度相机的深度捕捉技术所完成的。
2.根据权利要求1所述的一种魔幻沙地的构建方法，其特征在于，包含如下步骤：
（1）以尺度空间为起点，Kinect/RealSense深度相机的红外摄像头发射出红外光线，确定沙地的相对于尺度空间的相对高度，之后将这些数据在图像空间中对其进行三角化，将其全部变为三维数据;
（2）Kinect/RealSense深度相机对图像空间中的三角形进行判定，如果生成的两个单三角形之间的深度大于一个特定的阈值，则判定其不连续，移除该三角形，阈值的大小由像素大小来决定，像素大小是指像素在UV图中的范围，之后将三维图像映射到分层有向距离场，每一个层级对应一个原始八叉树，Kinect/RealSense深度相机不断地对深度图像进行三角化，每***一个三角形，就对其八叉树进行一次判定；
（3）在分层有向距离场上包含了所有尺度上输入的深度图像，Kinect/RealSense深度相机对传输距离进行检测，当其对所有体素处理完成之后，Kinect/RealSense深度相机以从精细体素到粗体素的顺序进行遍历，删除较低层级中重复的体素；
（4）通过对原始深度数据的处理，将原始的分层有向距离场转换为分散有向距离场，将每一个体素添加一个属于它自己的距离值以及相关属性，之后运用Marching Tetrahedra算法，提取自适应等值面，创建出一张深度图像；
（5）获取默认的传感器，并且开启深度数据流，根据深度信息的大小，开辟出一个储存空间，之后将获取到的深度数据流拷贝到_Data数组；
（6）将得到的深度数据流也就是_Data数组，同时定义要显示的图片或者动画以及可检测的距离，然后对彩色图像的数据进行初始化，定义存放图像的字节数组长度，也就是帧长度乘以帧宽度，之后获取深度数据流每一个像素的深度值，然后建立一个专用储存颜色的数组生成图片，最后将所有的深度值对应相关的数组图片，再通过投影机在沙地上进行效果的呈现。
3.根据权利要求2所述的一种魔幻沙地的构建方法，其特征在于，所述的尺度空间是指3D空间中的一个虚拟水平面。
4.根据权利要求2所述的一种魔幻沙地的构建方法，其特征在于，所述的UV图是指三维图像在二维空间中展开的拓扑坐标图。
5.根据权利要求1-4中任意一项所述的一种魔幻沙地的构建方法，其特征在于，所述的Kinect为Kinect2.0。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711433817.8A CN108111834A (zh) | 2017-12-26 | 2017-12-26 | 一种沙地的构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711433817.8A CN108111834A (zh) | 2017-12-26 | 2017-12-26 | 一种沙地的构建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108111834A true CN108111834A (zh) | 2018-06-01 |
Family
ID=62213515
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711433817.8A Pending CN108111834A (zh) | 2017-12-26 | 2017-12-26 | 一种沙地的构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108111834A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001058538A (ja) * | 1999-06-14 | 2001-03-06 | Katsuyuki Hasegawa | 牽引式ベッセル |
| CN105045389A (zh) * | 2015-07-07 | 2015-11-11 | 深圳水晶石数字科技有限公司 | 一种互动式沙盘***的演示方法 |
| CN205121943U (zh) * | 2015-09-16 | 2016-03-30 | 长春大学 | 一种基于kinect深度摄影机的交互式模拟仿真沙盘 |
| CN106228513A (zh) * | 2016-07-18 | 2016-12-14 | 黄河科技学院 | 一种计算机图像处理*** |
| CN106980366A (zh) * | 2017-02-27 | 2017-07-25 | 合肥安达创展科技股份有限公司 | 地形精准捕捉***和精细高清投影成像*** |
-
2017
- 2017-12-26 CN CN201711433817.8A patent/CN108111834A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001058538A (ja) * | 1999-06-14 | 2001-03-06 | Katsuyuki Hasegawa | 牽引式ベッセル |
| CN105045389A (zh) * | 2015-07-07 | 2015-11-11 | 深圳水晶石数字科技有限公司 | 一种互动式沙盘***的演示方法 |
| CN205121943U (zh) * | 2015-09-16 | 2016-03-30 | 长春大学 | 一种基于kinect深度摄影机的交互式模拟仿真沙盘 |
| CN106228513A (zh) * | 2016-07-18 | 2016-12-14 | 黄河科技学院 | 一种计算机图像处理*** |
| CN106980366A (zh) * | 2017-02-27 | 2017-07-25 | 合肥安达创展科技股份有限公司 | 地形精准捕捉***和精细高清投影成像*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Du et al. | DepthLab: Real-time 3D interaction with depth maps for mobile augmented reality | |
| CN109754471B (zh) | 增强现实中的图像处理方法及装置、存储介质、电子设备 | |
| KR102164471B1 (ko) | 복합 현실 환경을 작성하기 위한 시스템 등 | |
| KR101809067B1 (ko) | 마이크로파워 임펄스 레이더를 사용한 모바일 디스플레이 포지션 및 배향의 판정 기법 | |
| CN100594519C (zh) | 用球面全景摄像机实时生成增强现实环境光照模型的方法 | |
| US20130207962A1 (en) | User interactive kiosk with three-dimensional display | |
| JP2006053694A (ja) | 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体 | |
| CN109255749B (zh) | 自主和非自主平台中的地图构建优化 | |
| CN104322052A (zh) | 用于实时混合或复合计算机生成的三维对象和电影摄影机馈送视频的*** | |
| MX2013003853A (es) | Modelado tridimensional rápido. | |
| CN103226830A (zh) | 三维虚实融合环境中视频纹理投影的自动匹配校正方法 | |
| CN106462943A (zh) | 将全景成像与航拍成像对齐 | |
| KR102317182B1 (ko) | 3차원 객체와 2차원 배경을 이용한 합성 이미지 생성 장치 | |
| CN116485984B (zh) | 全景影像车辆模型全局光照模拟方法、装置、设备及介质 | |
| CN108629828B (zh) | 三维大场景的移动过程中的场景渲染过渡方法 | |
| US20230245396A1 (en) | System and method for three-dimensional scene reconstruction and understanding in extended reality (xr) applications | |
| CN115591234A (zh) | 虚拟场景的显示控制方法、装置、存储介质及电子设备 | |
| Marelli et al. | ENRICH: Multi-purposE dataset for beNchmaRking In Computer vision and pHotogrammetry | |
| Sweet et al. | Depth perception, cueing, and control | |
| CN108111834A (zh) | 一种沙地的构建方法 | |
| Frueh | Automated 3D model generation for urban environments | |
| JP2017228268A (ja) | 複合現実環境を作成するためのシステム等 | |
| Yang et al. | User-Perspective Rendering for Handheld Applications | |
| KR20210042476A (ko) | 프로젝션 기술을 이용한 증강현실 제공방법 및 시스템 | |
| Kim et al. | Environment modelling using spherical stereo imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180601 |