CN110737338A - 一种特效自动跟随角色的全息投影方法及*** - Google Patents
一种特效自动跟随角色的全息投影方法及*** Download PDFInfo
- Publication number
- CN110737338A CN110737338A CN201910997051.9A CN201910997051A CN110737338A CN 110737338 A CN110737338 A CN 110737338A CN 201910997051 A CN201910997051 A CN 201910997051A CN 110737338 A CN110737338 A CN 110737338A
- Authority
- CN
- China
- Prior art keywords
- holographic projection
- light source
- special effect
- infrared light
- curtain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
- G09F19/00—Advertising or display means not otherwise provided for
- G09F19/12—Advertising or display means not otherwise provided for using special optical effects
- G09F19/18—Advertising or display means not otherwise provided for using special optical effects involving the use of optical projection means, e.g. projection of images on clouds
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
- G09F27/00—Combined visual and audible advertising or displaying, e.g. for public address
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Marketing (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本发明提供一种特效自动跟随角色的全息投影***。本发明包括透明的全息投影幕布,所述透明的全息投影幕布的一侧布置有投影仪、PC主机、体感设备、麦克风阵列,所述全息投影幕布的另一侧设置有用于演员穿戴的穿戴红外光源,所述的体感设备和所述麦克风阵列连接所述的PC主机。本发明通过深度摄像头捕捉投影幕布前人员的骨骼信息和人员穿戴的红外灯位置,将采集到的骨骼信息和穿戴红外灯位置与投影区域进行校准。计算出投影幕布上特效出现的区域并投影。后续只要人员不走出深度摄像头的捕捉范围,则特效可以实时跟随人员进行移动。节省大量影视后期工作难度和工作量。也使得舞台人员不用再去配合特效的位置,极大减轻舞台人员的工作量。
Description
技术领域:
本发明涉及一种特效自动跟随角色的全息投影方法及***,属于影视特效技术领域。
背景技术:
现有的影视特效,主要通过影视后期软件来融合。需要演员先表演完毕后,由后期制作人员使用类似Adobe After Effects等软件去修改原片,为原片中的人员添加各种特效。制作时需要根据演员在镜头中的位置以及姿态来融合特效,耗时耗力对后期制作人员的要求很高。
而现有的舞台剧则是根据剧情事先制作好特效,然后根据时间自动在特定的位置显示。需要舞台剧演员去记住每个特效出现的时间点及位置,提前做出反应进行表演。对舞台剧演员的要求也很高。
发明内容:
本发明的目的是针对上述存在的问题提供一种特效自动跟随角色的全息投影方法及***,通过深度摄像头捕捉投影幕布前人员的骨骼信息和人员穿戴的红外灯位置,将采集到的骨骼信息和穿戴红外灯位置与投影区域进行校准。计算出投影幕布上特效出现的区域并投影。后续只要人员不走出深度摄像头的捕捉范围,则特效可以实时跟随人员进行移动。节省大量影视后期工作难度和工作量。也使得舞台人员不用再去配合特效的位置,极大减轻舞台人员的工作量。
上述的目的通过以下的技术方案实现:
一种特效自动跟随角色的全息投影***,包括透明的全息投影幕布,所述透明的全息投影幕布的一侧布置有投影仪、PC主机、体感设备、麦克风阵列,所述全息投影幕布的另一侧设置有用于演员穿戴的穿戴红外光源,所述的体感设备和所述麦克风阵列连接所述的PC主机。
所述的特效自动跟随角色的全息投影***,所述体感设备采用深度红外摄像头。
用上述特效自动跟随角色的全息投影***进行特效自动跟随角色的影视特效融合方法,该方法包括如下步骤:
步骤1. 部署好PC主机、体感设备、麦克风阵列、投影仪和透明的全息投影幕布,将PC视频信号输出到投影仪,并将投影仪投向全息投影幕布,其中PC主机、体感设备、麦克风阵列、投影仪位于全息投影幕布的一侧,用于演员穿戴的穿戴红外光源位于全息投影幕布的另一侧,使得体感设备透过透明的全息投影幕布对准红外光源;
步骤2. 当体感设备检测到演员信息,则通过3D引擎把骨骼信息和空间坐标输出到幕布上;同时当体感设备捕捉到红外光源,则***把红外光源的位置换算成屏幕坐标也输出到幕布;
步骤3. ***通过姿态识别和穿戴红外光源的开闭,来给幕布上骨骼位置和红外光源位置加上预制好的特效。
所述的特效自动跟随角色的影视特效融合方法,步骤2中所述的体感设备检测到演员信息以及感设备捕捉到红外光源后还设置有抗干扰处理流程。
所述的特效自动跟随角色的影视特效融合方法,所述3D引擎采用unity3d。
所述的特效自动跟随角色的影视特效融合方法,***过过麦克风阵列检测到的语音识别设置触发关键字,来作为特效追踪的开关。
所述的特效自动跟随角色的影视特效融合方法,所述***过过麦克风阵列检测到的语音识别关键字后设置有抗干扰处理流程。
有益效果:
采用本发明的***和方法,演绎人员不需要提前记住特效出现的位置,现在是由***主动去追踪人员然后给投影幕布上人员位置加上特效。可以使演绎人员可以全部精力投入演出。
本发明的***和方法,当体感设备捕捉不到演绎人员骨骼时,还可以通过计算出人员穿戴的红外光源位置来给人员加特效配合剧情演出。
将本发明的特效自动跟随的全息投影***,在不同场景下多次反复测试效果显著。
附图说明:
图1是本发明的***示意图;
图2是本发明的原理框架图;
图3是本发明综合处理流程示意图。
具体实施方式:
如图1所示,本实施例的一种特效自动跟随角色的全息投影***,包括透明的全息投影幕布1,所述透明的全息投影幕布的一侧布置有投影仪2、PC主机3、体感设备4、麦克风阵列5,所述全息投影幕布的另一侧设置有用于演员穿戴的穿戴红外光源6,所述的体感设备和所述麦克风阵列连接所述的PC主机。
所述的特效自动跟随角色的全息投影***,所述体感设备采用深度红外摄像头。
如图1-3所示,用上述特效自动跟随角色的全息投影***进行特效自动跟随角色的影视特效融合方法,该方法包括如下步骤:
步骤1. 部署好PC主机、体感设备、麦克风阵列、投影仪和透明的全息投影幕布,将PC视频信号输出到投影仪,并将投影仪投向全息投影幕布,其中PC主机、体感设备、麦克风阵列、投影仪位于全息投影幕布的一侧,用于演员穿戴的穿戴红外光源位于全息投影幕布的另一侧,使得体感设备透过透明的全息投影幕布对准红外光源;
步骤2. 当体感设备检测到演员信息,则通过3D引擎把骨骼信息和空间坐标输出到幕布上;同时当体感设备捕捉到红外光源,则***把红外光源的位置换算成屏幕坐标也输出到幕布;
步骤3. ***通过姿态识别和穿戴红外光源的开闭,来给幕布上骨骼位置和红外光源位置加上预制好的特效。
所述的特效自动跟随角色的影视特效融合方法,步骤2中所述的体感设备检测到演员信息以及感设备捕捉到红外光源后还设置有抗干扰处理流程。
所述的特效自动跟随角色的影视特效融合方法,所述3D引擎采用unity3d。
所述的特效自动跟随角色的影视特效融合方法,***过过麦克风阵列检测到的语音识别设置触发关键字,来作为特效追踪的开关。
所述的特效自动跟随角色的影视特效融合方法,所述***过过麦克风阵列检测到的语音识别关键字后设置有抗干扰处理流程。
工作过程:
体感设备用来捕捉人体骨骼,当识别到一个人体骨骼时,产生一个追踪信号,***开始在幕布上对应位置给幕布后人员叠加特效,当识别到多个人体骨骼时,***按骨骼的识别顺序为人员添加各自的特效;
体感设备上的红外摄像头检测幕布后人员的穿戴式红外光源有没有笔激发。穿戴式红外光源有两个用处,一是当人员因为侧身或背向体感设备骨骼信息不全时充当第二个追踪标记,二是可以给人员在特定的部位更加准确的加上特效;
语音识别模块里可以设置触发关键字,来作为特效追踪的开关。当检测到人员说出关键字后来开启或关闭特效。
如图2所示,三个模块在后端都增加了去干扰模块进行抗干扰处理。
抗干扰处理流程:
抗干扰后,当人体骨骼捕捉形成事件A【-1,0,1】,1表示检测到骨骼,0表示无变化,-1在检测到骨骼丢失,;每个信号处理后,最后都输出值为这三种状态【-1,0,1】之一。
抗干扰后,红外光源识别形成事件B【-1,0,1】,1为红外光源打开,0为无变化,-1为红外光源关闭。每个信号处理后,最后都输出值为这三种状态【-1,0,1】之一。
抗干扰后,声音传感器形成事件C【-1,0,1】,1为有声音并识别到关键字,0为无变化,-1为有声音但未识别到关键字。每个信号处理后,最后都输出值为这三种状态【-1,0,1】之一。
然后我们针对这三路输入及三种状态进行处理,处理流程如下:
综合处理流程:
通常本投影***处于待机状态,当输入环境发生变化时,本***会根据不同的输出来采取不同的策略。输出参数我们可以归类为三种,一是捕捉到人体骨骼,二是穿戴的红外光源开闭,三是是否识别到语音关键字:
如图3所示,定义状态组合【A,B,C】
针对情况一:通过体感设备,当检测到人体骨骼时,***开始在幕布上对应位置给幕布后人员叠加特效,当识别到多个人体骨骼时,***按骨骼的识别顺序为人员添加各自的特效;反之,当检测丢失人体骨骼时,清除原有位置上的特效。
针对情况二:通过红外传感器,当检测到红外光源打开时,***先将红外光源位置换算成屏幕坐标。然后在投影幕布对应位置开启特效并追踪红外光源。当检测到红外光源关闭时,***清除对应位置的特效并停止追踪。
针对情况三:通过麦克风阵列,识别到开启/关闭的关键字时。立即对音源方位骨骼位置进行特效的开启/关闭操作。
此实施例仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种特效自动跟随角色的全息投影***,其特征是:包括透明的全息投影幕布,所述透明的全息投影幕布的一侧布置有投影仪、PC主机、体感设备、麦克风阵列,所述全息投影幕布的另一侧设置有用于演员穿戴的穿戴红外光源,所述的体感设备和所述麦克风阵列连接所述的PC主机。
2.根据权利要求1所述的特效自动跟随角色的全息投影***,其特征是:所述体感设备采用深度红外摄像头。
3.一种用上述特效自动跟随角色的全息投影***进行特效自动跟随角色的影视特效融合方法,其特征是:该方法包括如下步骤:
步骤1. 部署好PC主机、体感设备、麦克风阵列、投影仪和透明的全息投影幕布,将PC视频信号输出到投影仪,并将投影仪投向全息投影幕布,其中PC主机、体感设备、麦克风阵列、投影仪位于全息投影幕布的一侧,用于演员穿戴的穿戴红外光源位于全息投影幕布的另一侧,使得体感设备透过透明的全息投影幕布对准红外光源;
步骤2. 当体感设备检测到演员信息,则通过3D引擎把骨骼信息和空间坐标输出到幕布上;同时当体感设备捕捉到红外光源,则***把红外光源的位置换算成屏幕坐标也输出到幕布;
步骤3. ***通过姿态识别和穿戴红外光源的开闭,来给幕布上骨骼位置和红外光源位置加上预制好的特效。
4.根据权利要求3所述的特效自动跟随角色的影视特效融合方法,其特征是:步骤2中所述的体感设备检测到演员信息以及感设备捕捉到红外光源后还设置有抗干扰处理流程。
5.根据权利要求3所述的特效自动跟随角色的影视特效融合方法,其特征是:所述3D引擎采用unity3d。
6.根据权利要求3所述的特效自动跟随角色的影视特效融合方法,其特征是:***过过麦克风阵列检测到的语音识别设置触发关键字,来作为特效追踪的开关。
7.根据权利要求3所述的特效自动跟随角色的影视特效融合方法,其特征是:所述***过过麦克风阵列检测到的语音识别关键字后设置有抗干扰处理流程。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910997051.9A CN110737338A (zh) | 2019-10-20 | 2019-10-20 | 一种特效自动跟随角色的全息投影方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910997051.9A CN110737338A (zh) | 2019-10-20 | 2019-10-20 | 一种特效自动跟随角色的全息投影方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110737338A true CN110737338A (zh) | 2020-01-31 |
Family
ID=69270173
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910997051.9A Pending CN110737338A (zh) | 2019-10-20 | 2019-10-20 | 一种特效自动跟随角色的全息投影方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110737338A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112379774A (zh) * | 2020-11-12 | 2021-02-19 | 歌尔光学科技有限公司 | Vr眼镜与腕带设备的交互方法及相关组件 |
CN112714305A (zh) * | 2020-12-25 | 2021-04-27 | 北京市商汤科技开发有限公司 | 展示方法、装置、设备和计算机可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102688603A (zh) * | 2011-03-22 | 2012-09-26 | 王鹏勃 | 基于增强现实与动作识别技术的实时魔幻类舞台表演的***与方法 |
CN105513436A (zh) * | 2014-10-17 | 2016-04-20 | 北方工业大学 | 交互式全息幻象教学***及方法 |
CN206325235U (zh) * | 2016-11-11 | 2017-07-14 | 张燕翔 | 一种戏曲舞台虚实融合互动表演*** |
CN109936735A (zh) * | 2019-04-09 | 2019-06-25 | 深圳市远望淦拓科技有限公司 | 一种影子投影***及控制方法 |
-
2019
- 2019-10-20 CN CN201910997051.9A patent/CN110737338A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102688603A (zh) * | 2011-03-22 | 2012-09-26 | 王鹏勃 | 基于增强现实与动作识别技术的实时魔幻类舞台表演的***与方法 |
CN105513436A (zh) * | 2014-10-17 | 2016-04-20 | 北方工业大学 | 交互式全息幻象教学***及方法 |
CN206325235U (zh) * | 2016-11-11 | 2017-07-14 | 张燕翔 | 一种戏曲舞台虚实融合互动表演*** |
CN109936735A (zh) * | 2019-04-09 | 2019-06-25 | 深圳市远望淦拓科技有限公司 | 一种影子投影***及控制方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112379774A (zh) * | 2020-11-12 | 2021-02-19 | 歌尔光学科技有限公司 | Vr眼镜与腕带设备的交互方法及相关组件 |
CN112714305A (zh) * | 2020-12-25 | 2021-04-27 | 北京市商汤科技开发有限公司 | 展示方法、装置、设备和计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10956725B2 (en) | Automated sign language translation and communication using multiple input and output modalities | |
US11087488B2 (en) | Automated gesture identification using neural networks | |
CN108986189B (zh) | 基于三维动画中实时多人动作捕捉并直播的方法和*** | |
CN102221887B (zh) | 互动投影***及方法 | |
US20180173300A1 (en) | Interactive virtual objects in mixed reality environments | |
CN102622108B (zh) | 一种交互式投影***及其实现方法 | |
JP7143847B2 (ja) | 情報処理システム、情報処理方法、およびプログラム | |
JP2017156511A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2010511958A (ja) | ジェスチャー/音声統合認識システム及び方法 | |
CN101510121A (zh) | 一种基于手势识别的界面漫游操作方法与装置 | |
CN110737338A (zh) | 一种特效自动跟随角色的全息投影方法及*** | |
TWI677751B (zh) | 攝像裝置與運作攝像裝置的方法 | |
CN101872329A (zh) | 保护演讲人眼睛的智能视频投影*** | |
CN114779922A (zh) | 教学设备的控制方法、控制设备、教学***和存储介质 | |
CN111726921A (zh) | 一种体感交互灯光控制*** | |
Sanchez-Riera et al. | Online multimodal speaker detection for humanoid robots | |
KR101375186B1 (ko) | 감시 카메라 교란 검출 방법 | |
CN113920354A (zh) | 一种基于事件相机的动作识别方法 | |
WO2019119290A1 (zh) | 提示信息确定方法、装置、电子设备和计算机程序产品 | |
CN204808201U (zh) | 基于视觉的手势识别控制*** | |
KR102012719B1 (ko) | 전방위 영상 기반 화상회의 발언자 인식 장치 및 방법 | |
CN202196425U (zh) | 增强现实中的逆向红外动作捕捉装置 | |
TW201709022A (zh) | 非接觸式控制系統及方法 | |
CN105354539B (zh) | 一种智能显示***和一种显示方法 | |
Garcia et al. | AI Smart Security Camera for Person Detection, Face Recognition, Tracking and Logging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |