CN111913577A - 一种基于Kinect的三维空间交互方法 - Google Patents
一种基于Kinect的三维空间交互方法 Download PDFInfo
- Publication number
- CN111913577A CN111913577A CN202010763675.7A CN202010763675A CN111913577A CN 111913577 A CN111913577 A CN 111913577A CN 202010763675 A CN202010763675 A CN 202010763675A CN 111913577 A CN111913577 A CN 111913577A
- Authority
- CN
- China
- Prior art keywords
- color
- kinect
- partition image
- dimensional space
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000005192 partition Methods 0.000 claims abstract description 31
- 230000002452 interceptive effect Effects 0.000 claims abstract description 5
- 230000003238 somatosensory effect Effects 0.000 claims description 10
- 239000003086 colorant Substances 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 4
- 230000001788 irregular Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010009232 Clang associations Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009154 spontaneous behavior Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种基于Kinect的三维空间交互方法，包括如下步骤：创建颜色分区图像，所述颜色分区图像与Kinect深度图分辨率相同；加载所述颜色分区图像并存储每个像素所对应的坐标和颜色信息；获取当前目标的中心位置在Kinect深度图中的坐标，根据所述坐标获取当前目标在颜色分区图像中颜色信息；根据目标在所述颜色分区图像中的颜色信息和深度信息，判断目标是否位于触发交互操作的空间中。本发明其利用图片颜色划分区域，图片可自定义图案，对非规则区域交互检测更准确且灵活。
Description
技术领域
本发明涉及计算机图像处理领域，涉及一种三维空间交互技术，特别涉及一种基于Kinect的三维空间交互方法。
背景技术
NUI是基于人体本能的交互模式，人们可以利用语音、手势、眼神、肢体等方式实现人机交互，这种交互方式更接近人类自发的行为方式，能减轻用户的学习负担。体感交互(somatosensory interaction)是NUI的主流趋势，因此成为目前自然交互研究领域中最热门的方向。
体感交互指用户不借助任何控制设备，直接使用肢体动作与周边的装置或环境互动，使用户有身临其境的感觉。体感技术一般需要手势识别、骨锵追踪、脸部表情识别等计算机技术的支持。常见的体感交互设备有日本任天堂公司推出的Wii，微软的Kinect以及体感控制器制造公司Leap发布的体感控制器LeapMotion等，用户在与机器设备互动的过程中可以通过手势、姿势或动作发出指令，实现自然的交互方式。
Kinect V2一共有三个摄像头，左边的RGB摄像头用来获取最大分辨率为1920×1080的彩色图像，每秒最多获取30帧图像；剩下的两个摄像头是深度传感器，左侧是红外线发射器，右侧是红外线接收器，用来获取操作者的位置：Kinect两侧是麦克风阵列，可以获得稳定的语音信息，它配合Microsoft Speech Plarform SDK可用于语音识另：底座内置马达，可以随着物体的移动而左右转动。
发明内容
本发明针对现有技术中存在的技术问题，提供了一种基于Kinect的三维空间交互方法，包括如下步骤：创建颜色分区图像，所述颜色分区图像与Kinect深度图分辨率相同；存储每个像素所对应的坐标和颜色信息；获取当前目标的中心位置在Kinect深度图中的坐标，根据所述坐标获取当前目标在颜色分区图像中颜色信息；根据目标在所述颜色分区图像中的颜色信息和深度信息，判断目标是否位于触发交互操作的空间中。
在本发明的一些实施例中，所述颜色分区图像通过不同颜色来区分深度信息不同的区域。优选的，所述颜色分区图像可自定义。进一步的，所述颜色分区图像与Kinect深度图完全重合。
在本发明的一些实施例中，所述颜色信息包括颜色的名称或像素的数值表示。具体地，颜色名称可用中文、英文等语言来表示，或采用常见的RGB、YUV形式来标识。
在本发明的一些实施例中，所述当前目标的中心位置在深度图中的坐标和深度信息还包括对深度图进行阈值滤波处理。
在本发明的一些实施例中，所述获取当前目标的中心位置在Kinect深度图中的坐标通过OpenCV实现。
在本发明的一些实施例中，所述交互操作包括体感交互。
采用上述进一步方案的有益效果是：利用图片颜色划分区域，图片可自定义图案，对非规则区域交互检测更准确且灵活。
附图说明
图1为本发明中的一些实施例基于Kinect的三维空间交互方法基本步骤图；
图2为本发明中的一些实施例基于Kinect的三维空间交互方法基本步骤图；
图3a为本发明中的一些实施例的颜色分区图像；图3b为本发明中的一些实施例的Kinect实测深度图；
图4为常见的手势交互示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，一种基于Kinect的三维空间交互方法，包括如下步骤：S1.创建颜色分区图像，所述颜色分区图像与Kinect深度图分辨率相同；S2.加载所述颜色分区图像，存储每个像素所对应的坐标和颜色信息；S3.获取当前目标的中心位置在Kinect深度图中的坐标，根据所述坐标获取当前目标在颜色分区图像中颜色信息；S4.根据目标在所述颜色分区图像中的颜色信息和深度信息，判断目标是否位于触发交互操作的空间中。
需要说明的是，第一代Kinect的RGB相机分辨率是640*480(Kinect v1)，深度相机的分辨率为320*240,；第二代RGB相机分辨率为1920*1080，深度相机的分辨率为512*424(Kinect v2)。上述交互方法包括但不限于Kinect一代或二代。
在本发明的一些实施例中，上述颜色分区图像通过不同颜色来区分深度信息不同的区域。优选的，所述颜色分区图像可自定义。在图3中的颜色分区图中，该分区图总体上类呈椭圆形，根据不同颜色划分了上、中、下三个区域，每个区域分别代表了不同的深度信息，在同一区域内的深度信息相同或处在同一属于数值区间内。特别的，为了调试的方便或计算的方便，所述颜色分区图像与Kinect深度图完全重合。
在本发明的一些实施例中，所述颜色信息包括颜色的名称或像素的数值表示。具体地，颜色名称可用中文、英文等语言来表示，像素的数值可采用常见的RGB、HIS、HSV、CMYK、YUV等形式来表示。
如图2与图3所示，在本发明的一些实施例中，一种基于Kinect的三维空间交互方法，具体步骤如下：步骤S1，安装电脑和Kinect软硬件环境，确认驱动和运行正常。将Kinect悬挂朝下安装，安装高度低于Kinect深度摄像头的检测有效范围4.5米。
步骤S2，加载图3a中的图片，并将每个像素存储到数组中如：ColorArray＝[(x1,y1,black)，(x1,y2,black)…(x512,y424,color)],数组的每个元素包含像素坐标信息x，y和当前像素的颜色信息。
步骤S3，获取每帧Kinect红外深度图并确定是否检测到物体，并将深度图的信息存储到数组中如：
DepthArray＝[(x1,y1,4),(x1,y2,4)…(x512,y424,depth)]。
步骤S4，当有物体(目标)进入Kinect深度相机检测区域，如图3b中的白点，通过OpenCV处理深度图获取白点的中心位置坐标。
步骤S5，由于深度图与图3a颜色分区图坐标重合，在步骤S4中获取图2白点坐标后，即得到白点在图3a的坐标，然后从步骤S2中的ColorArray数组得到当前坐标位置像素颜色color，于是就可根据颜色获取当前物体所处的平面区域。
步骤S6，在步骤S4中获取物体坐标后从步骤S3数组DepthArray中获取物体的深度信息depth，得到当前物体所处的空间区域。从而可以判断有物体进入特定的三维空间区域触发交互操作。
在本发明的一些实施例中，所述交互操作包括体感交互。具体地，图4中示出了常见的用于3D交互的手势操作。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于Kinect的三维空间交互方法，其特征在于，包括如下步骤：
创建颜色分区图像，所述颜色分区图像与Kinect深度图分辨率相同；
加载所述颜色分区图像并存储每个像素所对应的坐标和颜色信息；
获取当前目标的中心位置在Kinect深度图中的坐标，根据所述坐标获取当前目标在颜色分区图像中颜色信息；
根据目标在所述颜色分区图像中的颜色信息和深度信息，判断目标是否位于触发交互操作的空间中。
2.根据权利要求1所述的基于Kinect的三维空间交互方法，其特征在于，所述颜色分区图像通过不同颜色来区分深度信息不同的区域。
3.根据权利要求1或2中任一所述的基于Kinect的三维空间交互方法，其特征在于，所述颜色分区图像可自定义。
4.根据权利要求3所述的基于Kinect的三维空间交互方法，其特征在于，所述颜色分区图像与Kinect深度图完全重合。
5.根据权利要求1或2所述的基于Kinect的三维空间交互方法，其特征在于，所述颜色信息包括颜色的名称或像素的数值表示。
6.根据权利要求1或2所述的Kinect的三维空间交互方法，其特征在于，所述当前目标的中心位置在深度图中的坐标和深度信息还包括对深度图进行阈值滤波处理。
7.根据权利要求1或2所述的Kinect的三维空间交互方法，其特征在于，所述获取当前目标的中心位置在Kinect深度图中的坐标通过OpenCV实现。
8.根据权利要求1或2所述的Kinect的三维空间交互方法，所述交互操作包括体感交互。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010763675.7A CN111913577A (zh) | 2020-07-31 | 2020-07-31 | 一种基于Kinect的三维空间交互方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010763675.7A CN111913577A (zh) | 2020-07-31 | 2020-07-31 | 一种基于Kinect的三维空间交互方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111913577A true CN111913577A (zh) | 2020-11-10 |
Family
ID=73287562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010763675.7A Pending CN111913577A (zh) | 2020-07-31 | 2020-07-31 | 一种基于Kinect的三维空间交互方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111913577A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103207709A (zh) * | 2013-04-07 | 2013-07-17 | 布法罗机器人科技（苏州）有限公司 | 一种多点触摸***及方法 |
| US20150002419A1 (en) * | 2013-06-26 | 2015-01-01 | Microsoft Corporation | Recognizing interactions with hot zones |
| CN104360729A (zh) * | 2014-08-05 | 2015-02-18 | 北京农业信息技术研究中心 | 基于Kinect和Unity3D的多交互方法与装置 |
| US20160191879A1 (en) * | 2014-12-30 | 2016-06-30 | Stephen Howard | System and method for interactive projection |
| CN109145802A (zh) * | 2018-08-14 | 2019-01-04 | 清华大学 | 基于Kinect的多人手势人机交互方法及装置 |
| CN109513157A (zh) * | 2018-10-16 | 2019-03-26 | 广州嘉影软件有限公司 | 基于Kinect体感的灭火演练交互方法与*** |
| CN110045821A (zh) * | 2019-03-12 | 2019-07-23 | 杭州电子科技大学 | 一种面向虚拟演播厅的增强现实交互方法 |
-
2020
- 2020-07-31 CN CN202010763675.7A patent/CN111913577A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103207709A (zh) * | 2013-04-07 | 2013-07-17 | 布法罗机器人科技（苏州）有限公司 | 一种多点触摸***及方法 |
| US20150002419A1 (en) * | 2013-06-26 | 2015-01-01 | Microsoft Corporation | Recognizing interactions with hot zones |
| CN105518584A (zh) * | 2013-06-26 | 2016-04-20 | 微软技术许可有限责任公司 | 利用热区识别交互 |
| CN104360729A (zh) * | 2014-08-05 | 2015-02-18 | 北京农业信息技术研究中心 | 基于Kinect和Unity3D的多交互方法与装置 |
| US20160191879A1 (en) * | 2014-12-30 | 2016-06-30 | Stephen Howard | System and method for interactive projection |
| CN109145802A (zh) * | 2018-08-14 | 2019-01-04 | 清华大学 | 基于Kinect的多人手势人机交互方法及装置 |
| CN109513157A (zh) * | 2018-10-16 | 2019-03-26 | 广州嘉影软件有限公司 | 基于Kinect体感的灭火演练交互方法与*** |
| CN110045821A (zh) * | 2019-03-12 | 2019-07-23 | 杭州电子科技大学 | 一种面向虚拟演播厅的增强现实交互方法 |
Non-Patent Citations (2)
| Title |
|---|
| 裴以建;韩甲甲;闫哲;薛端;: "Kinect彩色图像在光标移动控制中的应用", 计算机工程, no. 10, pages 241 - 245 * |
| 贾丙佳;李平;: "人机交互过程中数字手势的识别方法", 华侨大学学报(自然科学版), no. 02 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11896893B2 (en) | Information processing device, control method of information processing device, and program | |
| CN111880657B (zh) | 一种虚拟对象的控制方法、装置、电子设备及存储介质 | |
| EP2956882B1 (en) | Managed biometric identity | |
| KR20200124280A (ko) | 동작 인식, 운전 동작 분석 방법 및 장치, 전자 기기 | |
| CN109996051B (zh) | 一种投影区域自适应的动向投影方法、装置及*** | |
| US20120135803A1 (en) | Game device utilizing stereoscopic display, method of providing game, recording medium storing game program, and game system | |
| CN111353930B (zh) | 数据处理方法及装置、电子设备及存储介质 | |
| US20150002419A1 (en) | Recognizing interactions with hot zones | |
| JP5161435B2 (ja) | 画像処理装置、画像処理システム、コンピュータの制御方法及びプログラム | |
| CN111417989B (zh) | 程序、信息处理方法、信息处理***、头戴式显示装置和信息处理装置 | |
| US11340714B2 (en) | Information processing device, information processing method and program | |
| KR20170014491A (ko) | 움직임 인식 방법 및 움직임 인식 장치 | |
| CN111199583B (zh) | 一种虚拟内容显示方法、装置、终端设备及存储介质 | |
| CN108563327B (zh) | 增强现实方法、装置、存储介质及电子设备 | |
| JP7162079B2 (ja) | 頭部のジェスチャーを介してディスプレイ装置を遠隔制御する方法、システムおよびコンピュータプログラムを記録する記録媒体 | |
| CN110489027A (zh) | 手持输入设备及其指示图标的显示位置控制方法和装置 | |
| KR20130018004A (ko) | 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템 | |
| CN105468249B (zh) | 智能互动***及其控制方法 | |
| WO2023142555A1 (zh) | 数据处理方法和装置、计算机设备、存储介质及计算机程序产品 | |
| CN111913577A (zh) | 一种基于Kinect的三维空间交互方法 | |
| CN109144598A (zh) | 基于手势的电子面罩人机交互方法与*** | |
| CN110597397A (zh) | 增强现实的实现方法、移动终端及存储介质 | |
| KR102565444B1 (ko) | 객체를 식별하기 위한 장치 및 방법 | |
| KR102572675B1 (ko) | 사용자 인터페이스를 적응적으로 구성하기 위한 장치 및 방법 | |
| JP2017068763A (ja) | 情報処理装置および位置情報取得方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |