CN106502424A - 基于语音手势及肢体动作互动的增强现实*** - Google Patents

基于语音手势及肢体动作互动的增强现实*** Download PDF

Info

Publication number
CN106502424A
CN106502424A CN201611070594.9A CN201611070594A CN106502424A CN 106502424 A CN106502424 A CN 106502424A CN 201611070594 A CN201611070594 A CN 201611070594A CN 106502424 A CN106502424 A CN 106502424A
Authority
CN
China
Prior art keywords
augmented reality
video
limb action
module
interactive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611070594.9A
Other languages
English (en)
Inventor
覃永平
蒋武锋
李晓城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Smart Technology Co Ltd
Original Assignee
Shanghai Smart Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Smart Technology Co Ltd filed Critical Shanghai Smart Technology Co Ltd
Priority to CN201611070594.9A priority Critical patent/CN106502424A/zh
Publication of CN106502424A publication Critical patent/CN106502424A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于语音手势及肢体动作互动的增强现实***，包括视频采集模块：采集视频；肢***置变化采集模块：采集肢***置变化的信息；手势和肢体动作识别模块：对视频流或者肢***置变化的信息进行识别处理；音频采集模块：采集音频；语音控制指令识别模块：对采集到的音频进行解析与识别，生成语音指令；增强现实控制模块：接收到语音指令、手势指令与肢体动作的输入后改变增强现实***中的视频和音频进行互动处理；增强现实输出模块：对增强现实的视频的内容进行显示，同时播放增强现实中的音频内容。本发明可以广泛用于家庭投影、投影机器人、影视盒子等场景，为用户提供更加便捷，更加自然和更加智能的服务。

Description

基于语音手势及肢体动作互动的增强现实***
技术领域
本发明涉及一种增强现实(AR)***，尤其涉及一种基于语音手势及肢体动作互动的增强现实***。
背景技术
目前与人互动的增强现实(AR)的方法和***，主要通过人的手势指令输入，来实现与增强现实(AR)互动。基于只有手势指令互动的增强现实(AR)的方法和***的缺点是，用户体验不够便捷，不够自然和不够智能。其原因是手势指令单一，再有目前机器视觉对人的手势识别程度还比较低，造成只通过人的手势来交互的增强***的功能单一和交互用户体验比较低。同时手势指令存在比较明显的缺陷有以下几点：1、人能完成一个手势指令的速度比较慢。2、目前计算机视觉水平只能识别出数量非常有限的手势指令。3、人对于不常用的手势指令比较难以精确表示出来。这些缺点决定了只通过手势与增强现实(AR)互动的方法和***的功能比较单一，造成了其用户体验不够智能，不够便捷和不够自然。
发明内容
本发明所要解决的技术问题是提供一种基于语音手势及肢体动作互动的增强现实***，能够基于语音、手势以及肢体动作等输入实现增强现实的互动操作，可以广泛用于家庭投影、投影机器人、影视盒子等场景，为用户提供更加便捷，更加自然和更加智能的服务。
本发明为解决上述技术问题而采用的技术方案是提供一种基于语音手势及肢体动作互动的增强现实***，包括视频采集模块：通过单个高清摄像头采集视频，或者是通过多个高清摄像头采集具有景深的视频；肢***置变化采集模块：通过传感器采集肢***置变化的信息；手势和肢体动作识别模块：对来自视频采集模块的视频流进行解析，识别出手势指令和肢体动作，以及人体在场景中的位置；或者对来自传感器的肢***置变化的信息进行处理，识别出肢体动作；音频采集模块：通过单MIC或者空间分布的MIC阵列来采集音频；语音控制指令识别模块：对采集到的音频进行解析与识别，生成语音指令；增强现实控制模块：接收到语音指令、手势指令与肢体动作的输入后改变增强现实***中的视频和音频进行互动处理；增强现实输出模块：对增强现实的视频的内容进行显示，同时播放增强现实中的音频内容。
上述的基于语音手势及肢体动作互动的增强现实***，其中，所述肢***置变化采集模块通过陀螺仪、加速度、红外线或重力传感器采集肢***置变化的信息。
上述的基于语音手势及肢体动作互动的增强现实***，其中，所述增强现实控制模块接收到语音指令、手势指令与肢体动作后，通过改变显示的场景和虚拟物体的状态，实时完成相应的互动处理。
上述的基于语音手势及肢体动作互动的增强现实***，其中，所述增强现实输出模块采用液晶屏幕或投影仪显示视频内容。
本发明对比现有技术有如下的有益效果：本发明提供的基于语音手势及肢体动作互动的增强现实***，能够广泛用于家庭投影、投影机器人、影视盒子等场景，为用户提供更加便捷，更加智能的服务。
附图说明
图1为本发明基于语音手势及肢体动作互动的增强现实***架构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的描述。
图1为本发明基于语音手势及肢体动作互动的增强现实***架构示意图。
请参见图1，本发明提供的基于语音手势及肢体动作互动的增强现实***，包括如下七个模块：
1.视频采集模块
高清摄像头采集视频，或者用多高清摄像头采集带有景深的视频；
2.肢***置变化采集模块：通过陀螺仪、加速度、红外线或重力传感器采集肢***置变化的信息。
3.手势和肢体动作识别模块：对来自视频采集模块的视频流进行解析，识别手势指令和肢体动作，及其人体在场景中的位置；或者通过解析陀螺仪等传感器采集的肢***置变化的信息，识别肢体动作。
4.音频采集模块
音频通过单MIC或者空间分布的多MIC阵列来采集。
5.语音控制指令识别模块
指令通过语音识别模块翻译成可以操作的命令。
6.增强现实(AR)控制模块
接收到语音指令、手势指令与肢体动作的输入后翻译成增强现实***的操作命令，根据增强现实***的操作命令改变增强现实(AR)***中的视频(包括显示的场景和虚拟物体的状态)和音频，完成通过人的指令控制增强现实(AR)的视频(包括显示的场景和虚拟物体的状态)和音频。
7.增强现实(AR)输出模块
把增强现实(AR)的视频(包括显示的场景和虚拟物体的状态)的内容显示到屏幕、投影仪等显示设备中。同时播放增强现实中的音频内容；本发明的增强现实***首先通过单高清摄像头或者是多个摄像头收集图像信息，再通过机器视觉识别图像中的手势指令。或者通过陀螺仪、加速度、红外线、重力等传感器收集到的肢***置变化的信息，再解析收集到的位置信息，识别肢体指令。再通过语音MIC或MIC阵列采集语音，解析收集到的语音，识别语音指令。然后增强现实(AR)控制模块在接收到语音指令、手势指令与肢体动作的输入后翻译成增强现实***的操作命令，根据增强现实***的操作命令改变增强现实(AR)***中的视频(包括显示的场景和虚拟物体的状态)和音频内容，完成通过人的指令控制增强现实(AR)的视频(包括显示的场景和虚拟物体的状态)和音频；。增强现实(AR)输出模块把增强现实(AR)的视频(包括显示的场景和虚拟物体的状态)的内容显示到屏幕、投影仪等显示设备中，同时播放增强现实中的音频内容；从而实现与人互动的增强现实(AR)的方法和***从而实现基于语音，手势与肢体动作互动的增强现实(AR)的方法和***。
本发明提供的基于语音手势及肢体动作互动的增强现实***，能够广泛用于家庭投影、投影机器人、影视盒子等场景，为用户提供更加便捷，更加智能的服务。具体优点如下：1、交互的方法很丰富。2、此类的交互方法是人们的生活中非常通用。3、此类交互也是人们生活中简单和实用的方法。通过此类的交互方法与增强现实(AR)互动，可以实现出功能非常丰富的增强现实***。它的交互方式与人的生活方式非常接近，使得此类与人交互的增强现实(AR)方法与***的用户体验更加便捷，更加自然和更加智能。
虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。

Claims (4)

1.一种基于语音手势和肢体动作互动的增强现实***，其特征在于，包括：
视频采集模块：通过单个高清摄像头采集视频，或者是通过多个高清摄像头采集具有景深的视频；
肢***置变化采集模块：通过传感器采集肢***置变化的信息；
手势和肢体动作识别模块：对来自视频采集模块的视频流进行解析，识别出手势指令和肢体动作，以及人体在场景中的位置；或者对来自传感器的肢***置变化的信息进行处理，识别出肢体动作；
音频采集模块：通过单MIC或者空间分布的MIC阵列来采集音频；
语音控制指令识别模块：对采集到的音频进行解析与识别，生成语音指令；
增强现实控制模块：接收到语音指令、手势指令与肢体动作的输入后改变增强现实***中的视频和音频进行互动处理；
增强现实输出模块：对增强现实的视频的内容进行显示，同时播放增强现实中的音频内容。
2.如权利要求1所述的基于语音手势及肢体动作互动的增强现实***，其特征在于，所述肢***置变化采集模块通过陀螺仪、加速度、红外线或重力传感器采集肢***置变化的信息。
3.如权利要求1所述的基于语音手势及肢体动作互动的增强现实***，其特征在于，所述增强现实控制模块接收到语音指令、手势指令与肢体动作后，通过改变显示的场景和虚拟物体的状态，实时完成相应的互动处理。
4.如权利要求1所述的基于语音手势及肢体动作互动的增强现实***，其特征在于，所述增强现实输出模块采用液晶屏幕或投影仪显示视频内容。
CN201611070594.9A 2016-11-29 2016-11-29 基于语音手势及肢体动作互动的增强现实*** Pending CN106502424A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611070594.9A CN106502424A (zh) 2016-11-29 2016-11-29 基于语音手势及肢体动作互动的增强现实***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611070594.9A CN106502424A (zh) 2016-11-29 2016-11-29 基于语音手势及肢体动作互动的增强现实***

Publications (1)

Publication Number Publication Date
CN106502424A true CN106502424A (zh) 2017-03-15

Family

ID=58328761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611070594.9A Pending CN106502424A (zh) 2016-11-29 2016-11-29 基于语音手势及肢体动作互动的增强现实***

Country Status (1)

Country Link
CN (1) CN106502424A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919120A (zh) * 2017-05-05 2017-07-04 美载（厦门）网络科技有限公司 一种可交互投影机器人
CN107564521A (zh) * 2017-09-10 2018-01-09 绵阳西真科技有限公司 一种迎宾机器人语音互动方法及***
CN108052927A (zh) * 2017-12-29 2018-05-18 北京奇虎科技有限公司 基于视频数据的手势处理方法及装置、计算设备
CN108062533A (zh) * 2017-12-28 2018-05-22 北京达佳互联信息技术有限公司 用户肢体动作的解析方法、***及移动终端
CN108733200A (zh) * 2017-04-18 2018-11-02 芦伟杰 一种ar屏幕体感控制权分配方法
CN109032358A (zh) * 2018-08-27 2018-12-18 百度在线网络技术（北京）有限公司 基于手势识别的ar交互虚拟模型的控制方法及装置
CN109828660A (zh) * 2018-12-29 2019-05-31 深圳云天励飞技术有限公司 一种基于增强现实的控制应用操作的方法及装置
CN109976519A (zh) * 2019-03-14 2019-07-05 浙江工业大学 一种基于增强现实的交互显示装置及其交互显示方法
CN110244837A (zh) * 2019-04-26 2019-09-17 北京圣威特科技有限公司 增强现实且具有虚拟影像叠加的体验眼镜及其成像方法
CN110262662A (zh) * 2019-06-20 2019-09-20 河北识缘信息科技发展有限公司 一种智能人机交互方法
CN110941328A (zh) * 2018-09-25 2020-03-31 未来市股份有限公司 基于手势辨认的互动显示方法和装置
CN111045510A (zh) * 2018-10-15 2020-04-21 ***通信集团山东有限公司 基于增强现实的人机交互方法及***
CN111093036A (zh) * 2020-01-17 2020-05-01 福州大学 一种基于肢体识别的vr全景视频交互播放方法
CN112462939A (zh) * 2020-11-24 2021-03-09 苏州华恒展览设计营造有限公司 一种互动投影方法及***
CN112904999A (zh) * 2020-12-30 2021-06-04 江苏奥格视特信息科技有限公司 一种基于激光雷达的增强现实体感交互方法及***
CN113160806A (zh) * 2020-01-07 2021-07-23 京东方科技集团股份有限公司 投影***及其控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063039A (zh) * 2013-03-18 2014-09-24 朱慧灵 一种穿戴式计算机智能终端的人机交互方法
CN104615243A (zh) * 2015-01-15 2015-05-13 深圳市掌网立体时代视讯技术有限公司 一种头戴式多通道交互***及多通道交互方法
CN205507230U (zh) * 2015-12-18 2016-08-24 济南中景电子科技有限公司 虚拟现实眼镜

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063039A (zh) * 2013-03-18 2014-09-24 朱慧灵 一种穿戴式计算机智能终端的人机交互方法
CN104615243A (zh) * 2015-01-15 2015-05-13 深圳市掌网立体时代视讯技术有限公司 一种头戴式多通道交互***及多通道交互方法
CN205507230U (zh) * 2015-12-18 2016-08-24 济南中景电子科技有限公司 虚拟现实眼镜

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108733200A (zh) * 2017-04-18 2018-11-02 芦伟杰 一种ar屏幕体感控制权分配方法
CN106919120A (zh) * 2017-05-05 2017-07-04 美载（厦门）网络科技有限公司 一种可交互投影机器人
CN107564521A (zh) * 2017-09-10 2018-01-09 绵阳西真科技有限公司 一种迎宾机器人语音互动方法及***
CN108062533A (zh) * 2017-12-28 2018-05-22 北京达佳互联信息技术有限公司 用户肢体动作的解析方法、***及移动终端
CN108052927B (zh) * 2017-12-29 2021-06-01 北京奇虎科技有限公司 基于视频数据的手势处理方法及装置、计算设备
CN108052927A (zh) * 2017-12-29 2018-05-18 北京奇虎科技有限公司 基于视频数据的手势处理方法及装置、计算设备
CN109032358A (zh) * 2018-08-27 2018-12-18 百度在线网络技术（北京）有限公司 基于手势识别的ar交互虚拟模型的控制方法及装置
CN110941328A (zh) * 2018-09-25 2020-03-31 未来市股份有限公司 基于手势辨认的互动显示方法和装置
CN111045510A (zh) * 2018-10-15 2020-04-21 ***通信集团山东有限公司 基于增强现实的人机交互方法及***
CN109828660A (zh) * 2018-12-29 2019-05-31 深圳云天励飞技术有限公司 一种基于增强现实的控制应用操作的方法及装置
CN109976519A (zh) * 2019-03-14 2019-07-05 浙江工业大学 一种基于增强现实的交互显示装置及其交互显示方法
CN109976519B (zh) * 2019-03-14 2022-05-03 浙江工业大学 一种基于增强现实的交互显示装置及其交互显示方法
CN110244837A (zh) * 2019-04-26 2019-09-17 北京圣威特科技有限公司 增强现实且具有虚拟影像叠加的体验眼镜及其成像方法
CN110262662A (zh) * 2019-06-20 2019-09-20 河北识缘信息科技发展有限公司 一种智能人机交互方法
CN113160806A (zh) * 2020-01-07 2021-07-23 京东方科技集团股份有限公司 投影***及其控制方法
CN111093036A (zh) * 2020-01-17 2020-05-01 福州大学 一种基于肢体识别的vr全景视频交互播放方法
CN112462939A (zh) * 2020-11-24 2021-03-09 苏州华恒展览设计营造有限公司 一种互动投影方法及***
CN112904999A (zh) * 2020-12-30 2021-06-04 江苏奥格视特信息科技有限公司 一种基于激光雷达的增强现实体感交互方法及***

Similar Documents

Publication Publication Date Title
CN106502424A (zh) 基于语音手势及肢体动作互动的增强现实***
CN104219584B (zh) 基于增强现实的全景视频交互方法和***
CN106358036B (zh) 一种以预设视角观看虚拟现实视频的方法
CN108986189B (zh) 基于三维动画中实时多人动作捕捉并直播的方法和***
CN105340014B (zh) 用于视频编辑的触摸优化设计
CN105549725B (zh) 一种三维场景互动展示装置及方法
CN106730815B (zh) 一种易实现的体感互动方法及***
CN205622745U (zh) 虚拟现实真人实时合成***
CN201570011U (zh) 一种终端控制装置及终端
CN103533445B (zh) 一种基于主动交互的飞翔影院播放***
CN104396234B (zh) 视频传输和重构
CN104007826A (zh) 基于脸部动作识别技术的视频控制方法和***
CN102724492A (zh) 视频图像传输、播放方法和***
CN113537056A (zh) 虚拟形象驱动方法、装置、设备和介质
CN104606882A (zh) 一种体感游戏互动方法及***
CN103841299A (zh) 虚拟演播室***
CN207123961U (zh) 用于变电站培训的立体弧幕式的沉浸式多人协同训练装置
CN106412718A (zh) 一种字幕在3d空间中的渲染方法及其装置
CN106210562A (zh) 一种直播特效的实现方法
CN109116987A (zh) 一种基于Kinect手势控制的全息展示***
KR20210132157A (ko) 착용가능한 헤드 마운트 디스플레이들을 위한 장치, 시스템들, 및 방법들
CN106571108A (zh) 一种具备语音交互功能的广告机
CN203607077U (zh) 虚拟旅行机
CN203085064U (zh) 一种虚拟星空教学设备
CN107566863A (zh) 一种交流信息展示方法、装置及设备、机顶盒

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170315