CN102221887A - 互动投影***及方法 - Google Patents

互动投影***及方法 Download PDF

Info

Publication number
CN102221887A
CN102221887A CN2011101710663A CN201110171066A CN102221887A CN 102221887 A CN102221887 A CN 102221887A CN 2011101710663 A CN2011101710663 A CN 2011101710663A CN 201110171066 A CN201110171066 A CN 201110171066A CN 102221887 A CN102221887 A CN 102221887A
Authority
CN
China
Prior art keywords
depth image
unit
interaction content
image processing
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011101710663A
Other languages
English (en)
Other versions
CN102221887B (zh
Inventor
陈大炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konka Group Co Ltd
Original Assignee
Konka Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konka Group Co Ltd filed Critical Konka Group Co Ltd
Priority to CN201110171066.3A priority Critical patent/CN102221887B/zh
Publication of CN102221887A publication Critical patent/CN102221887A/zh
Application granted granted Critical
Publication of CN102221887B publication Critical patent/CN102221887B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)
  • Projection Apparatus (AREA)

Abstract

本发明公开了一种互动投影***及方法，要解决的技术问题是达到更加真实的互动投影效果，而且影像捕捉设备不需要再安装至高处，可以方便调试和使用。本发明采用以下技术方案：一种互动投影***，所述互动投影***包括以下部件：深度图像采集单元、深度图像处理单元、肢体目标跟踪单元、互动内容控制单元及投影显示单元，所述深度图像采集单元连接深度图像处理单元，深度图像处理单元连接肢体目标跟踪单元，肢体目标跟踪单元连接互动内容控制单元，所述互动内容控制单元连接投影显示单元。与现有技术相比，采用基于深度图像感应的深度图像采集单元，配合相应的深度图像处理和肢体识别单元，从而达到更加真实的互动投影效果。

Description

互动投影***及方法
技术领域
本发明涉及一种立体显示领域，特别是一种互动投影***及方法。
背景技术
互动投影是一种近年来比较流行的多媒体展示平台，采用计算机视觉技术和投影显示技术，用户可以直接使用脚或手与投影区域上的虚拟场景进行交互，来营造一种动感的交互体验。互动投影***的基本原理首先是通过图像捕捉设备对目标影像进行捕捉拍摄，然后由影像分析***分析，从而产生被捕捉物体的运动，该运动数据结合实时影像互动***，使参与者与投影区域之间产生互动效果。一般来说，常见的互动投影***使用投影机作为成像设备，将计算机画面投射到地面或墙面上，形成超大的成像屏幕，并使用红外摄像机作为视频捕捉设备分析投影画面内参与者的运动，将运动信息作为计算机输入来控制投影画面，但是目前常见的互动***中，视频捕捉设备必须位于高处投影设备附近，安装调试都不十分不方便。另一方面，目前的影像分析***基本都是以运动检测为主，即只要是运动的物体都会导致与投影内容的互动，而并不是真正的对人体运动的感应，经常会出现摄像头附近飞过的飞虫等都会对***产生作用。更进一步的，对于运动检测结果而言，参与者在视频中的成像范围越小，则运动检测结果转换为计算机的输入控制信号就越精确，互动效果就更逼真，因此就要求投影设备和摄像机位置尽可能高，这反过来又会对工程施工、安装调试带来更大的困难。
发明内容
本发明的目的是提供一种互动投影***及方法，要解决的技术问题是达到更加真实的互动投影效果，而且影像捕捉设备不需要再安装至高处，可以方便调试和使用。
本发明采用以下技术方案：一种互动投影***，其特征在于：所述互动投影***包括以下部件：
深度图像采集单元，用于接收并感应投影范围内的深度图像信号；
深度图像处理单元，用于根据深度图像采集单元收集的深度图像信号，将运动的人体从深度图像中分离出来；
肢体目标跟踪单元，用于根据深度图像处理单元的处理结果，，并根据互动内容的需要，跟踪用户手部或者脚部的运动轨迹，并将结果发送给互动控制单元；
互动内容控制单元，用于根据肢体目标跟踪单元的用户手部或脚部的运动轨迹跟踪结果，与预定的交互内容进行响应，控制并更新交互内容；
投影显示单元，用于投影显示交互内容；
所述深度图像采集单元连接深度图像处理单元，深度图像处理单元连接肢体目标跟踪单元，肢体目标跟踪单元连接互动内容控制单元，所述互动内容控制单元连接投影显示单元。
本发明的深度图像采集单元为深度摄像头。
本发明的投影显示单元为投影机。
本发明的采集单元设置在1000mm水平方向能够感应投影显示单元投影区域所在空间范围内。
一种互动投影方法，包括以下步骤：一、深度图像采集单元感应并采集包括用户在内的深度图像；二、深度图像采集单元判断用户是否有肢体动作，是则将深度图像发送到深度图像处理单元，深度图像处理单元将用户肢体信息从深度图像中分离处理，并将处理结果发送至肢体目标跟踪单元，否则继续感应并采集；三、肢体目标跟踪单元根据互动内容需要，确定跟踪目标，获取跟踪目标的动作坐标位置，并将跟踪结果发送至互动内容控制单元；四、互动内容控制单元获取用户的坐标位置后，将其映射到投影空间坐标系中，得出用户在地面投影画面上的绝对坐标位置；五、投影显示单元得到绝对坐标位置后，将交互效果投射到投影幕上。
本发明与现有技术相比，采用基于深度图像感应的深度图像采集单元，配合相应的深度图像处理和肢体识别单元，从而达到更加真实的互动投影效果，而且影响捕捉设备不需要再安装在高处，可以方便调试和使用。
附图说明
图1为本发明的结构框图。
图2为本发明的流程图。
图3为本发明的摆放空间区域示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明。
如图1所示，本发明的互动投影***包括以下部件：
深度图像采集单元，用于接收并感应投影范围内的深度图像信号；
深度图像处理单元，用于根据结构光编码技术原理，通过对比三维环境对象结构光编码和原始平面结构光编码，来获取结构光传感器可视范围内场景深度信息，即用户经过投影范围内的深度信息，将运动的人体从深度图像中分离出来；
肢体目标跟踪单元，用于根据深度图像处理单元的处理结果，，并根据互动内容的需要，跟踪用户手部或者脚部的运动轨迹，并将结果发送给互动控制单元；
互动内容控制单元，用于根据肢体目标跟踪单元的用户手部或脚部的运动轨迹跟踪结果，与预定的交互内容进行响应，控制并更新交互内容；
投影显示单元，用于投影显示交互内容；
所述深度图像采集单元连接深度图像处理单元，深度图像处理单元连接肢体目标跟踪单元，肢体目标跟踪单元连接互动内容控制单元，所述互动内容控制单元连接投影显示单元。
所述深度图像采集单元为深度摄像头，负责接收并感应投影范围内的红外深度图像信号，根据应用的深度图像感应技术的不同可以选择使用结构光编码技术或者飞行时间技术，不失一般性，该深度摄像头由红外结构光发射单元和红外结构光传感器单元组成，其中红外结构光发射单元向投影区域所在范围发射经过编码的结构光平面，红外结构光传感器单元则接收经由用户经过投影范围时反射回来的红外结构光。
所述投影显示单元为投影机。
所述采集单元设置在1000mm水平方向能够感应投影显示单元投影区域所在空间范围内。
所述投影显示单元将投影显示单元安装在高处，将互动内容投影在目标表面，比如地面或者特殊造型的桌面上。
作为最佳实施例，本发明的深度摄像头采用PrimeSense公司生产的摄像头；红外结构光传感器单元采用PrimeSense公司生产的PS 1080型红外结构光传感器芯片；深度图像处理单元采用PrimeSensor公司生产的NITE中间件；肢体目标跟踪单元采用康佳集团股份有限公司生产的KK-Montion型的肢体目标***；互动内容控制单元采用康佳集团股份有限公司生产的KK-InterActive型的互动内容控制器；投影显示单元采用索尼公司生产的VPL-DX11型投影机。
如图2所示，本发明采用以下方法实现：一、深度图像采集单元感应并采集包括用户在内的深度图像；二、深度图像采集单元判断用户是否有肢体动作，是则将深度图像发送到深度图像处理单元，深度图像处理单元将用户肢体信息从深度图像中分离处理，并将处理结果发送至肢体目标跟踪单元，否则继续感应并采集；三、肢体目标跟踪单元根据互动内容需要，确定跟踪目标，获取跟踪目标的动作坐标位置，并将跟踪结果发送至互动内容控制单元；四、互动内容控制单元获取用户的坐标位置后，将其映射到投影空间坐标系中，得出用户在地面投影画面上的绝对坐标位置；五、投影显示单元得到绝对坐标位置后，将交互效果投射到投影幕上。
如图3所示本发明的深度图像采集单元与投影显示单元可以采用相互90度夹角设置，替代传统的视频捕捉设备必须安装在位于高处投影设备附近。

Claims (5)

1.一种互动投影***，其特征在于：所述互动投影***包括以下部件：
深度图像采集单元，用于接收并感应投影范围内的深度图像信号；
深度图像处理单元，用于根据深度图像采集单元收集的深度图像信号，将运动的人体从深度图像中分离出来；
肢体目标跟踪单元，用于根据深度图像处理单元的处理结果，，并根据互动内容的需要，跟踪用户手部或者脚部的运动轨迹，并将结果发送给互动控制单元；
互动内容控制单元，用于根据肢体目标跟踪单元的用户手部或脚部的运动轨迹跟踪结果，与预定的交互内容进行响应，控制并更新交互内容；
投影显示单元，用于投影显示交互内容；
所述深度图像采集单元连接深度图像处理单元，深度图像处理单元连接肢体目标跟踪单元，肢体目标跟踪单元连接互动内容控制单元，所述互动内容控制单元连接投影显示单元。
2.根据权利要求1所述的互动投影***，其特征在于：所述深度图像采集单元为深度摄像头。
3.根据权利要求1所述的互动投影***，其特征在于：所述投影显示单元为投影机。
4.根据权利要求1所述的互动投影***，其特征在于：所述采集单元设置在1000mm水平方向能够感应投影显示单元投影区域所在空间范围内。
5.一种互动投影方法，包括以下步骤：一、深度图像采集单元感应并采集包括用户在内的深度图像；二、深度图像采集单元判断用户是否有肢体动作，是则将深度图像发送到深度图像处理单元，深度图像处理单元将用户肢体信息从深度图像中分离处理，并将处理结果发送至肢体目标跟踪单元，否则继续感应并采集；三、肢体目标跟踪单元根据互动内容需要，确定跟踪目标，获取跟踪目标的动作坐标位置，并将跟踪结果发送至互动内容控制单元；四、互动内容控制单元获取用户的坐标位置后，将其映射到投影空间坐标系中，得出用户在地面投影画面上的绝对坐标位置；五、投影显示单元得到绝对坐标位置后，将交互效果投射到投影幕上。
CN201110171066.3A 2011-06-23 2011-06-23 互动投影***及方法 Active CN102221887B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110171066.3A CN102221887B (zh) 2011-06-23 2011-06-23 互动投影***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110171066.3A CN102221887B (zh) 2011-06-23 2011-06-23 互动投影***及方法

Publications (2)

Publication Number Publication Date
CN102221887A true CN102221887A (zh) 2011-10-19
CN102221887B CN102221887B (zh) 2016-05-04

Family

ID=44778452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110171066.3A Active CN102221887B (zh) 2011-06-23 2011-06-23 互动投影***及方法

Country Status (1)

Country Link
CN (1) CN102221887B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102375542A (zh) * 2011-10-27 2012-03-14 Tcl集团股份有限公司 一种肢体遥控电视的方法及电视遥控装置
CN102779359A (zh) * 2012-07-13 2012-11-14 南京大学 基于深度图像进行通行检测的自动检票装置
CN102968222A (zh) * 2012-11-07 2013-03-13 电子科技大学 一种基于深度摄像机的多点触摸设备
CN103376897A (zh) * 2012-04-25 2013-10-30 罗伯特·博世有限公司 用于确定在所投影的图像的光锥中执行的手势的方法和设备
CN103455141A (zh) * 2013-08-15 2013-12-18 无锡触角科技有限公司 互动投影***及其深度传感器和投影仪的校准方法
CN104284119A (zh) * 2013-07-10 2015-01-14 科视数字***加拿大股份有限公司 在对象的预定义部分上投影图像的设备、***和方法
CN104349096A (zh) * 2013-08-09 2015-02-11 联想(北京)有限公司 一种图像标定方法、装置及电子设备
CN104915010A (zh) * 2015-06-28 2015-09-16 合肥金诺数码科技股份有限公司 一种基于手势识别的虚拟翻书***
CN104951200A (zh) * 2014-03-26 2015-09-30 联想(北京)有限公司 一种执行界面操作的方法和装置
CN105824173A (zh) * 2015-01-27 2016-08-03 财团法人工业技术研究院 交互式投影仪及其用于确定对象的深度信息的操作方法
CN105843378A (zh) * 2016-03-17 2016-08-10 中国农业大学 基于体感交互控制的服务终端及其控制方法
CN106251387A (zh) * 2016-07-29 2016-12-21 武汉光之谷文化科技股份有限公司 一种基于动作捕捉的成像***
US9691357B2 (en) 2013-08-09 2017-06-27 Lenovo (Beijing) Co., Ltd. Information processing method and electronic device thereof, image calibration method and apparatus, and electronic device thereof
CN107027014A (zh) * 2017-03-23 2017-08-08 广景视睿科技（深圳）有限公司 一种动向智能投影***及其方法
CN107426554A (zh) * 2016-05-24 2017-12-01 仁宝电脑工业股份有限公司 投影装置
CN108259740A (zh) * 2017-12-29 2018-07-06 维沃移动通信有限公司 一种全景图像生成的方法、装置以及移动终端
CN108322639A (zh) * 2017-12-29 2018-07-24 维沃移动通信有限公司 一种图像处理的方法、装置以及移动终端
CN108347558A (zh) * 2017-12-29 2018-07-31 维沃移动通信有限公司 一种图像优化的方法、装置以及移动终端
CN109521879A (zh) * 2018-11-19 2019-03-26 网易（杭州）网络有限公司 交互式投影控制方法、装置、存储介质及电子设备
WO2019100547A1 (zh) * 2017-11-21 2019-05-31 深圳光峰科技股份有限公司 投影控制方法、装置、投影交互***及存储介质
CN109993835A (zh) * 2017-12-31 2019-07-09 广景视睿科技（深圳）有限公司 一种舞台互动投影方法、装置以及***
CN111258410A (zh) * 2020-05-06 2020-06-09 北京深光科技有限公司 一种人机交互设备
CN112702587A (zh) * 2020-12-29 2021-04-23 广景视睿科技（深圳）有限公司 一种智能跟踪投影方法及***
CN114253452A (zh) * 2021-11-16 2022-03-29 深圳市普渡科技有限公司 机器人、人机交互方法、装置和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101699370A (zh) * 2009-11-10 2010-04-28 北京思比科微电子技术有限公司 基于深度检测的身体识别控制装置
CN201699871U (zh) * 2010-01-29 2011-01-05 联动天下科技（大连）有限公司 互动投影装置
WO2011007746A1 (ja) * 2009-07-17 2011-01-20 大日本印刷株式会社 指先操作型情報提供システム、対話操作装置、コンピュータープログラム、及び記録媒体
CN102033608A (zh) * 2001-06-05 2011-04-27 瑞克楚斯***公司 交互式视频显示***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102033608A (zh) * 2001-06-05 2011-04-27 瑞克楚斯***公司 交互式视频显示***
WO2011007746A1 (ja) * 2009-07-17 2011-01-20 大日本印刷株式会社 指先操作型情報提供システム、対話操作装置、コンピュータープログラム、及び記録媒体
CN101699370A (zh) * 2009-11-10 2010-04-28 北京思比科微电子技术有限公司 基于深度检测的身体识别控制装置
CN201699871U (zh) * 2010-01-29 2011-01-05 联动天下科技（大连）有限公司 互动投影装置

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102375542B (zh) * 2011-10-27 2015-02-11 Tcl集团股份有限公司 一种肢体遥控电视的方法及电视遥控装置
CN102375542A (zh) * 2011-10-27 2012-03-14 Tcl集团股份有限公司 一种肢体遥控电视的方法及电视遥控装置
CN103376897A (zh) * 2012-04-25 2013-10-30 罗伯特·博世有限公司 用于确定在所投影的图像的光锥中执行的手势的方法和设备
CN102779359A (zh) * 2012-07-13 2012-11-14 南京大学 基于深度图像进行通行检测的自动检票装置
CN102779359B (zh) * 2012-07-13 2015-07-15 南京大学 基于深度图像进行通行检测的自动检票装置
CN102968222A (zh) * 2012-11-07 2013-03-13 电子科技大学 一种基于深度摄像机的多点触摸设备
CN104284119B (zh) * 2013-07-10 2019-05-03 科视数字***加拿大股份有限公司 在对象的预定义部分上投影图像的设备、***和方法
CN104284119A (zh) * 2013-07-10 2015-01-14 科视数字***加拿大股份有限公司 在对象的预定义部分上投影图像的设备、***和方法
CN104349096B (zh) * 2013-08-09 2017-12-29 联想(北京)有限公司 一种图像标定方法、装置及电子设备
CN104349096A (zh) * 2013-08-09 2015-02-11 联想(北京)有限公司 一种图像标定方法、装置及电子设备
US9691357B2 (en) 2013-08-09 2017-06-27 Lenovo (Beijing) Co., Ltd. Information processing method and electronic device thereof, image calibration method and apparatus, and electronic device thereof
CN103455141B (zh) * 2013-08-15 2016-07-06 无锡触角科技有限公司 互动投影***及其深度传感器和投影仪的校准方法
CN103455141A (zh) * 2013-08-15 2013-12-18 无锡触角科技有限公司 互动投影***及其深度传感器和投影仪的校准方法
CN104951200A (zh) * 2014-03-26 2015-09-30 联想(北京)有限公司 一种执行界面操作的方法和装置
CN104951200B (zh) * 2014-03-26 2018-02-27 联想(北京)有限公司 一种执行界面操作的方法和装置
CN105824173A (zh) * 2015-01-27 2016-08-03 财团法人工业技术研究院 交互式投影仪及其用于确定对象的深度信息的操作方法
CN104915010A (zh) * 2015-06-28 2015-09-16 合肥金诺数码科技股份有限公司 一种基于手势识别的虚拟翻书***
CN105843378A (zh) * 2016-03-17 2016-08-10 中国农业大学 基于体感交互控制的服务终端及其控制方法
CN107426554A (zh) * 2016-05-24 2017-12-01 仁宝电脑工业股份有限公司 投影装置
CN107426554B (zh) * 2016-05-24 2019-09-24 仁宝电脑工业股份有限公司 投影装置
CN106251387A (zh) * 2016-07-29 2016-12-21 武汉光之谷文化科技股份有限公司 一种基于动作捕捉的成像***
CN107027014A (zh) * 2017-03-23 2017-08-08 广景视睿科技（深圳）有限公司 一种动向智能投影***及其方法
WO2019100547A1 (zh) * 2017-11-21 2019-05-31 深圳光峰科技股份有限公司 投影控制方法、装置、投影交互***及存储介质
CN108322639A (zh) * 2017-12-29 2018-07-24 维沃移动通信有限公司 一种图像处理的方法、装置以及移动终端
CN108347558A (zh) * 2017-12-29 2018-07-31 维沃移动通信有限公司 一种图像优化的方法、装置以及移动终端
CN108259740A (zh) * 2017-12-29 2018-07-06 维沃移动通信有限公司 一种全景图像生成的方法、装置以及移动终端
CN109993835A (zh) * 2017-12-31 2019-07-09 广景视睿科技（深圳）有限公司 一种舞台互动投影方法、装置以及***
CN109521879A (zh) * 2018-11-19 2019-03-26 网易（杭州）网络有限公司 交互式投影控制方法、装置、存储介质及电子设备
CN109521879B (zh) * 2018-11-19 2022-02-18 杭州易现先进科技有限公司 交互式投影控制方法、装置、存储介质及电子设备
CN111258410A (zh) * 2020-05-06 2020-06-09 北京深光科技有限公司 一种人机交互设备
CN111258410B (zh) * 2020-05-06 2020-08-04 北京深光科技有限公司 一种人机交互设备
CN112702587A (zh) * 2020-12-29 2021-04-23 广景视睿科技（深圳）有限公司 一种智能跟踪投影方法及***
CN114253452A (zh) * 2021-11-16 2022-03-29 深圳市普渡科技有限公司 机器人、人机交互方法、装置和存储介质

Also Published As

Publication number Publication date
CN102221887B (zh) 2016-05-04

Similar Documents

Publication Publication Date Title
CN102221887A (zh) 互动投影***及方法
CN108986189B (zh) 基于三维动画中实时多人动作捕捉并直播的方法和***
WO2018171041A1 (zh) 一种动向智能投影***及其方法
WO2014071254A4 (en) Wireless wrist computing and control device and method for 3d imaging, mapping, networking and interfacing
CN103399637A (zh) 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法
CN103619090A (zh) 基于微型惯性传感器舞台灯光自动定位和追踪***和方法
EP1292877A1 (en) Apparatus and method for indicating a target by image processing without three-dimensional modeling
CN104516492A (zh) 一种基于3d全息投影的人机交互技术
CN104952105A (zh) 一种三维人体姿态估计方法和装置
CN201194061Y (zh) 互动投影***
CN105630134A (zh) 识别操作事件的方法和装置
CN103327385B (zh) 基于单一图像传感器的距离识别方法及装置
US20200230488A1 (en) Pre-Visualization Device
CN204808201U (zh) 基于视觉的手势识别控制***
CN201839377U (zh) 全场景红外分离自动跟踪装置
TWM474185U (zh) 遠距手勢操控系統
JPWO2020262261A5 (zh)
CN203324924U (zh) 一种墙面互动***
CN211787033U (zh) 一种基于固态激光雷达的多人多点互动投影***
CN104460971A (zh) 一种人体运动快速捕捉方法
CN202995247U (zh) 一种带有动作捕捉功能的投影机
CN101246220A (zh) 一种便携式跟踪装置及其位置姿态跟踪方法和***
CN208027076U (zh) 球形多屏联动***
CN204270281U (zh) 一种支撑大屏互动的***装置
CN107392199A (zh) 一种用于vr摄影的光学动作捕捉***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant