CN108038911B - 一种基于ar技术的全息成像控制方法 - Google Patents
一种基于ar技术的全息成像控制方法 Download PDFInfo
- Publication number
- CN108038911B CN108038911B CN201711203198.3A CN201711203198A CN108038911B CN 108038911 B CN108038911 B CN 108038911B CN 201711203198 A CN201711203198 A CN 201711203198A CN 108038911 B CN108038911 B CN 108038911B
- Authority
- CN
- China
- Prior art keywords
- identification
- information
- holographic imaging
- holographic
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Holo Graphy (AREA)
Abstract
本发明提供了一种基于AR技术的全息成像控制方法,属于全息成像控制领域,包括如下步骤,建立特征库,摄像头采集,识别库检索,跟踪定位,全息成像的三维模型实时显示,现实识别物控制全息成像。本发明使全息成像***对现实世界是可感知的,虚拟内容由现实世界来决定显示的形态,并可通过现实世界的物品或环境进行控制和操作。本发明用于改进现有的全息成像***的内容生成方式和控制方式,使得全息成像***在实际的应用场景中有着更直观的展示性、更有趣的互动性、更友好的操作性,在商业展示应用上达到良好的效果。
Description
技术领域
本发明涉及全息成像控制领域,特别地,涉及一种基于AR技术的全息成像控制方法。
背景技术
AR技术:AR技术是增强现实(Augmented Reality)技术的简称,它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术,是把原本在现实世界的一定时间空间范围内很难体验到的实体信息,通过电脑等科学技术,模拟仿真后再叠加,将虚拟的信息应用到真实世界,被人类感官所感知,从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。AR技术不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来,两种信息相互补充、叠加。
全息技术:全息技术第一步是利用干涉原理记录物体光波信息,即拍摄过程:被拍摄物体在激光辐照下形成漫射式的物光束;另一部分激光作为参考光束射到全息底片上,和物光束叠加产生干涉,把物体光波上各点的位相和振幅转换成在空间上变化的强度,从而利用干涉条纹间的反差和间隔将物体光波的全部信息记录下来。记录着干涉条纹的底片经过显影、定影等处理程序后,便成为一张全息图,或称全息照片;其第二步是利用衍射原理再现物体光波信息,这是成像过程:全息图犹如一个复杂的光栅,在相干激光照射下,一张线性记录的正弦型全息图的衍射光波一般可给出两个象,即原始象(又称初始象)和共轭象。再现的图像立体感强,具有真实的视觉效应。全息图的每一部分都记录了物体上各点的光信息,故原则上它的每一部分都能再现原物的整个图像,通过多次曝光还可以在同一张底片上记录多个不同的图像,而且能互不干扰地分别显示出来。
现有的全息成像***不能感知现实世界,不能根据现实世界中物体及环境的变化作出反馈,全息成像的内容是和现实世界无关的,由于这种全息成像***内容是预制的,缺少与现实世界的互动性,全息成像的内容太过于死板,在实际应用过程中显得枯燥无味。
发明内容
本发明目的在于提供一种基于AR技术的全息成像控制方法,以解决现有全息成像控制只能是通过触摸屏来进行控制,使得实际应用过程中显得枯燥无味的技术问题。
为实现上述目的,本发明提供了一种基于AR技术的全息成像控制方法,包括如下步骤,
步骤1:建立特征库,将要感知的现实物体拍摄成图片并进行单***切,去除颜色,保留灰度信息,按照图片像素行列遍历,提取识别特征,把识别特征进行编码并存入到识别特征库中,完成特征库建立;
步骤2:摄像头采集模块采集物体图像信息,把采集的信息传给跟踪模块;
步骤3:跟踪模块把收到的信息与特征库中的识别特征信息进行比对搜索,比对后判断结果是新发现识别特征还是跟踪已有的识别特征;
步骤4:当比对完成后会对该识别特征进行跟踪,将三维模型内容在全息画面预渲染周期进行叠加在识别特征的位置之上,同时识别特征跟踪状态消息发送给业务模块;
步骤5:业务模块进行业务逻辑的判断及运算,渲染输出完整的增强现实3D渲染帧,进行帧叠加,当多帧叠加后,形成动态的可交互的三维全息动画;
步骤6:把三维全息动画传到全息成像模块上形成全息三维物体;
步骤7:全息成像的三维物体跟随现实世界中的识别物的状态变化而变化,变化的控制过程为:摄像头时刻记录识别物相对位移、距离摄像头的距离、识别物自身的旋转三个维度的状态信息,将这些状态信息映射到全息成像的三维物体的移动、缩放、旋转属性上,最终可通过控制现实世界中的物体来操作全息成像中的虚拟三维物体。
所述步骤1中的遍历过程为:对小于90度的像素角,标记为一个识别点,当对所有像素遍历判断之后,抽取出识别点,记录识别点的x,y坐标,组合起来就是识别特征。
所述步骤2中采集物体信息的过程为:摄像头采集模块每秒采集25帧的图像帧,对每一帧相机帧进行像素级的格式装换,转换后的帧数据传给跟踪模块。
所述步骤3中识别特征的比对搜索的过程为:将接收到的图像信息拆分成单帧,每一帧进行格式编码转换,转换成为像素矩阵,通过遍历像素矩阵,同时在识别库中进行检索,当检索出完全一致或者类似的识别特征后,进行抽取放入结果队列,但结果队列中有多个识别特征时,还要进行一次筛选甄别,以评分最高的特征为最后返回结果,将该结果返回。
所述步骤4中跟踪的具体过程为:当确定唯一的识别特征之后,随后的图像帧需要判断该识别特征是否已经离开摄像头画面,如果离开,则返回离开标志位,如未离开,则进行定位跟踪,定位跟踪包含三维空间的距离、大小、旋转,这些信息都以Matrix 4x4格式存储,并反馈到对应的三维模型的位移、旋转、缩放属性。
所述步骤5中动画显示的过程为:采用三维模型格式,包含三角面网模型、贴图、材质、uv信息,模型配合实时灯光渲染,在三维场景中设置与现实接近的光源,以平行灯为主,在受光面叠加高亮度的光照信息,在暗面减弱亮度的光照信息,同时还投影出阴影到投影范围内的物体。
本发明具有以下有益效果:
本发明使全息成像***对现实世界是可感知的,虚拟内容由现实世界来决定显示的形态,并可通过现实世界的物品或环境进行控制和操作;本发明用于改进现有的全息成像***的内容生成方式和控制方式,使得全息成像***在实际的应用场景中有着更直观的展示性、更有趣的互动性、更友好的操作性,在商业展示应用上达到良好的效果;解决现有全息成像控制只能是通过触摸屏来进行控制,使得实际应用过程中显得枯燥无味的技术问题。
除了上面所描述的目的、特征和优点之外,本发明还有其它的目的、特征和优点。下面将参照图,对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是本发明的流程图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明,但是本发明可以根据权利要求限定和覆盖的多种不同方式实施。
一种基于AR技术的全息成像控制方法,如图1所示,包括如下步骤,
步骤1:建立特征库,将要感知的现实物体拍摄成图片并进行单***切,去除颜色,保留灰度信息,按照图片像素行列遍历。对小于90度的像素角,标记为一个识别点,当对所有像素遍历判断之后,抽取出识别点,记录识别点的x,y坐标,组合起来就是识别特征。提取识别特征,把识别特征进行编码并存入到识别特征库中,完成特征库建立。现实物体包括识别卡、三维物体或场景等现实的真实物体。
步骤2:摄像头采集模块采集物体图像信息,把采集的信息传给跟踪模块。摄像头采集模块每秒采集25帧的图像帧,对每一帧相机帧进行像素级的格式装换,转换后的帧数据传给跟踪模块。摄像头采集模块采集物体的物体一般为在建立特征库时拍摄的一些物体或者镜像物体或者克隆物体等。
步骤3:跟踪模块把收到的信息与特征库中的识别特征信息进行比对搜索,比对后判断结果是新发现识别特征还是跟踪已有的识别特征。识别特征的比对搜索的过程为:将接收到的图像信息拆分成单帧;每一帧进行格式编码转换,转换成为像素矩阵。通过遍历像素矩阵,同时在识别库中进行检索,当检索出完全一致或者类似的识别特征后,进行抽取放入结果队列,但结果队列中有多个识别特征时,还要进行一次筛选甄别,以评分最高的特征为最后返回结果,将该结果返回。
步骤4:当比对完成后会对该识别特征进行跟踪,将三维模型等内容在全息画面预渲染周期进行叠加在识别特征的位置之上,同时识别特征跟踪状态消息发送给业务模块。跟踪的具体过程为:当确定唯一的识别特征之后,随后的图像帧需要判断该识别特征是否已经离开摄像头画面,如果离开,则返回离开标志位,如未离开,则进行定位跟踪,定位跟踪包含三维空间的距离、大小、旋转,这些信息都以Matrix 4x4格式存储,并反馈到对应的三维模型的位移、旋转、缩放属性,使得全息成像三维模型的空间属性与现实场景中的识别物保持一致。
步骤5:业务模块进行业务逻辑的判断及运算,渲染输出完整的虚拟现实3D渲染帧,进行帧叠加,形成动态的可交互的三维全息动画。采用三维模型格式,包含三角面网模型、贴图、材质、uv信息,模型配合实时灯光渲染,在三维场景中设置与现实接近的光源,以平行灯为主,在受光面叠加高亮度的光照信息,在暗面减弱亮度的光照信息,同时还投影出阴影到投影范围内的物体。为了保持三维物体的真实性,还采用了Shader算法来模拟现实的材质,如金属,玻璃,水,木头,植物等等,通过模型,贴图,灯光,材质多方面的表现,让整个景点模型达到高保真的效果。
步骤6:把三维全息动画传到全息成像上形成全息三维物体。传输通过有线或者无线传输,一般是选择无线传输。
步骤7:全息成像的三维物体跟随现实世界中的识别物的状态变化而变化。摄像头时刻记录识别物相对位移、距离摄像头的距离、识别物自身的旋转三个维度的状态信息,将这些状态信息映射到全息成像的三维物体的移动、缩放、旋转属性上,最终可通过控制现实世界中的物体来操作全息成像中的虚拟三维物体。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于AR技术的全息成像控制方法,其特征在于,包括如下步骤,
步骤1:建立特征库,将要感知的现实物体拍摄成图片并进行单***切,去除颜色,保留灰度信息,按照图片像素行列遍历,提取识别特征,把识别特征进行编码并存入到识别特征库中,完成特征库建立;
步骤2:摄像头采集模块采集现实物体图像信息,把采集的信息传给跟踪模块;
步骤3:跟踪模块把收到的信息与特征库中的识别特征信息进行比对搜索,比对后判断结果是新发现识别特征还是跟踪已有的识别特征;
步骤4:当比对完成后会对该识别特征进行跟踪,将三维模型内容在全息画面预渲染周期进行叠加在识别特征的位置之上,同时识别特征跟踪状态消息发送给业务模块;
步骤5:业务模块进行业务逻辑的判断及运算,渲染输出完整的增强现实3D渲染帧,进行帧叠加,当多帧叠加后,形成动态的可交互的三维全息动画;
步骤6:把三维全息动画传到全息成像模块上形成全息三维物体;
步骤7:全息成像的三维物体跟随现实世界中的识别物的状态变化而变化,变化的控制过程为:摄像头时刻记录识别物相对位移、距离摄像头的距离、识别物自身的旋转三个维度的状态信息,将这些状态信息映射到全息成像的三维物体的移动、缩放、旋转属性上,最终可通过控制现实世界中的物体来操作全息成像中的虚拟三维物体。
2.根据权利要求1所述的一种基于AR技术的全息成像控制方法,其特征在于,所述步骤1中的遍历过程为:对小于90度的像素角,标记为一个识别点,当对所有像素遍历判断之后,抽取出识别点,记录识别点的x,y坐标,组合起来就是识别特征。
3.根据权利要求1所述的一种基于AR技术的全息成像控制方法,其特征在于,所述步骤2中采集物体信息的过程为:摄像头采集模块每秒采集25帧的图像帧,对每一帧相机帧进行像素级的格式装换,转换后的帧数据传给跟踪模块。
4.根据权利要求1所述的一种基于AR技术的全息成像控制方法,其特征在于,所述步骤3中识别特征的比对搜索的过程为:将接收到的图像信息拆分成单帧,每一帧进行格式编码转换,转换成为像素矩阵,通过遍历像素矩阵,同时在识别库中进行检索,当检索出完全一致或者类似的识别特征后,进行抽取放入结果队列,但结果队列中有多个识别特征时,还要进行一次筛选甄别,以评分最高的特征为最后返回结果,将该结果返回。
5.根据权利要求1所述的一种基于AR技术的全息成像控制方法,其特征在于,所述步骤4中跟踪的具体过程为:当确定唯一的识别特征之后,随后的图像帧需要判断该识别特征是否已经离开摄像头画面,如果离开,则返回离开标志位,如未离开,则进行定位跟踪,定位跟踪包含三维空间的距离、大小、旋转,这些信息都以Matrix 4x4格式存储,并反馈到对应的三维模型的位移、旋转、缩放属性。
6.根据权利要求1所述的一种基于AR技术的全息成像控制方法,其特征在于,所述步骤5中动画显示的过程为:采用三维模型格式,包含三角面网模型、贴图、材质、uv信息,模型配合实时灯光渲染,在三维场景中设置与现实接近的光源,以平行灯为主,在受光面叠加高亮度的光照信息,在暗面减弱亮度的光照信息,同时还投影出阴影到投影范围内的物体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711203198.3A CN108038911B (zh) | 2017-11-27 | 2017-11-27 | 一种基于ar技术的全息成像控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711203198.3A CN108038911B (zh) | 2017-11-27 | 2017-11-27 | 一种基于ar技术的全息成像控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108038911A CN108038911A (zh) | 2018-05-15 |
CN108038911B true CN108038911B (zh) | 2022-03-11 |
Family
ID=62092992
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711203198.3A Active CN108038911B (zh) | 2017-11-27 | 2017-11-27 | 一种基于ar技术的全息成像控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108038911B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200082630A1 (en) * | 2018-09-07 | 2020-03-12 | Anuj Sharma | Augmented reality platform and method for nautical applications |
CN109240631A (zh) * | 2018-09-17 | 2019-01-18 | 北京唐冠天朗科技开发有限公司 | 一种基于人工智能的展示平台和展示方法 |
US20200126302A1 (en) * | 2018-10-20 | 2020-04-23 | Anuj Sharma | Augmented Reality Platform and Method |
GB2578181A (en) * | 2018-10-20 | 2020-04-22 | Sharma Anuj | Rudra smart city |
GB2578337A (en) * | 2018-10-22 | 2020-05-06 | Sharma Anuj | The infinity project |
GB2579256A (en) * | 2018-11-27 | 2020-06-17 | Sharma Anuj | The Krishi project |
CN110022452B (zh) * | 2019-05-16 | 2021-04-30 | 深圳市芯动电子科技有限公司 | 一种适于全息显示装置的视频抽帧方法及*** |
CN111119887B (zh) * | 2020-02-19 | 2021-06-11 | 太原理工大学 | 一种全息技术下矿井综采工作面的远程干预ar巡检*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106200831A (zh) * | 2016-08-31 | 2016-12-07 | 广州数娱信息科技有限公司 | 一种ar、全息智能装置 |
CN106325035A (zh) * | 2016-11-09 | 2017-01-11 | 微美光速资本投资管理(北京)有限公司 | 一种全息智能眼镜的使用方法 |
CN106355153A (zh) * | 2016-08-31 | 2017-01-25 | 上海新镜科技有限公司 | 一种基于增强现实的虚拟对象显示方法、装置以及*** |
CN106874865A (zh) * | 2017-02-10 | 2017-06-20 | 深圳前海大造科技有限公司 | 一种基于图像识别的扩增实境实现方法 |
CN106340217B (zh) * | 2016-10-31 | 2019-05-03 | 华中科技大学 | 基于增强现实技术的制造装备智能***及其实现方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN202600354U (zh) * | 2012-03-26 | 2012-12-12 | 上海摩奇贝斯展示设计营造有限公司 | 互动虚拟实景全息成像*** |
CN107533356A (zh) * | 2015-03-09 | 2018-01-02 | 文塔纳3D有限责任公司 | 头像控制*** |
CN106228523A (zh) * | 2016-07-28 | 2016-12-14 | 新疆大学 | 一种提高含噪数字全息图再现质量的方法 |
CN106383587B (zh) * | 2016-10-26 | 2020-08-04 | 腾讯科技(深圳)有限公司 | 一种增强现实场景生成方法、装置及设备 |
-
2017
- 2017-11-27 CN CN201711203198.3A patent/CN108038911B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106200831A (zh) * | 2016-08-31 | 2016-12-07 | 广州数娱信息科技有限公司 | 一种ar、全息智能装置 |
CN106355153A (zh) * | 2016-08-31 | 2017-01-25 | 上海新镜科技有限公司 | 一种基于增强现实的虚拟对象显示方法、装置以及*** |
CN106340217B (zh) * | 2016-10-31 | 2019-05-03 | 华中科技大学 | 基于增强现实技术的制造装备智能***及其实现方法 |
CN106325035A (zh) * | 2016-11-09 | 2017-01-11 | 微美光速资本投资管理(北京)有限公司 | 一种全息智能眼镜的使用方法 |
CN106874865A (zh) * | 2017-02-10 | 2017-06-20 | 深圳前海大造科技有限公司 | 一种基于图像识别的扩增实境实现方法 |
Non-Patent Citations (1)
Title |
---|
虚拟现实技术的发展现状及在设计艺术中的应用愿景;李伟 等;《创意与设计》;20170430(第2期);87-90 * |
Also Published As
Publication number | Publication date |
---|---|
CN108038911A (zh) | 2018-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108038911B (zh) | 一种基于ar技术的全息成像控制方法 | |
US20090021513A1 (en) | Method of Customizing 3D Computer-Generated Scenes | |
US20110057941A1 (en) | System and method for inserting content into an image sequence | |
CN104298065B (zh) | 基于多台高速投影机拼接的360°三维显示装置和方法 | |
US20080246759A1 (en) | Automatic Scene Modeling for the 3D Camera and 3D Video | |
KR101177408B1 (ko) | 시청자의 시점에 따라 홀로그래픽 영상을 복원하는 다시점 기반 대화형 홀로그래픽 복원 장치 및 시스템 | |
US6822648B2 (en) | Method for occlusion of movable objects and people in augmented reality scenes | |
KR20130074936A (ko) | 디지털 홀로그래픽 콘텐츠 제작 시스템 | |
CN109696961A (zh) | 基于vr技术的文物虚拟拆装导赏实现***及方法、介质 | |
CN103293935A (zh) | 用于生成全息图的全息显示装置和方法 | |
KR101299191B1 (ko) | 3차원 모형에 영상을 투사하는 장치 및 방법 | |
TW202240530A (zh) | 用於新穎視圖合成之神經混合 | |
CN110335300A (zh) | 基于视频融合的场景动态模拟方法、***及存储介质 | |
KR20140126120A (ko) | 디지털 홀로그램 합성 방법 및 그 장치 | |
CN207541417U (zh) | 一种能减少再现浪费信息的计算全息三维显示装置 | |
CN106502075A (zh) | 一种全息投影方法 | |
Belhi et al. | An integrated framework for the interaction and 3D visualization of cultural heritage | |
CN106483814A (zh) | 一种基于增强现实的3d全息投影***及其使用方法 | |
CN113671813B (zh) | 一种虚实场景融合的全视差全息体视图制作方法及*** | |
CN105573095A (zh) | 电子设备及其显示处理方法 | |
Pioaru et al. | A comparative analysis of virtual-reality art-making software for the production of VR digital holograms | |
Zhou | Accurate depth based post-processing for perception enhancement in real time three-dimensional graphics | |
Barabas | Holographic television: measuring visual performance with holographic and other 3D television technologies | |
KR102685040B1 (ko) | 사용자 움직임 기록 기반의 영상 제작 장치 및 방법 | |
Paneva-Marinova et al. | Presentation Layer in a Virtual Museum for Cultural Heritage Artefacts |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |