CN113160337B - 一种ar/vr虚拟现实融合相机控制方法 - Google Patents

一种ar/vr虚拟现实融合相机控制方法 Download PDF

Info

Publication number
CN113160337B
CN113160337B CN202110536436.2A CN202110536436A CN113160337B CN 113160337 B CN113160337 B CN 113160337B CN 202110536436 A CN202110536436 A CN 202110536436A CN 113160337 B CN113160337 B CN 113160337B
Authority
CN
China
Prior art keywords
image
camera
module
processor
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110536436.2A
Other languages
English (en)
Other versions
CN113160337A (zh
Inventor
杨凯雪
张鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vision Technology Shenzhen Co ltd
Original Assignee
Vision Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vision Technology Shenzhen Co ltd filed Critical Vision Technology Shenzhen Co ltd
Priority to CN202110536436.2A priority Critical patent/CN113160337B/zh
Publication of CN113160337A publication Critical patent/CN113160337A/zh
Application granted granted Critical
Publication of CN113160337B publication Critical patent/CN113160337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种AR/VR虚拟现实融合相机控制方法,包括RGB相机采集器、单片机、VR处理器、AR处理器、感应器、显示器,首先通过RGB相机采集器对图像视频进行采集,单片机对图像进行处理,并由其内部的射频通信模块将图像视频传输到VR处理器上,VR处理器识别图像视频内部标志性物质,并对图像视频进行图像分割和阈值分割,然后对标示性物质进行轮廓提取,并生成三维坐标,图像视频的仿射不变性原理重建预定义标志物坐标到当前场景标志物坐标的位姿变化矩阵,来完成虚拟信息的跟踪注册,并重新进行渲染,存储至存储模块内,AR处理器通过GPS三维坐标跟踪并从VR内存储模块中调取对应坐标图像,并再次进行识别,提取轮廓,渲染,然后呈现在显示器中。

Description

一种AR/VR虚拟现实融合相机控制方法
技术领域
本发明涉及AR/VR虚实融合技术领域,具体为一种AR/VR虚拟现实融合相机控制方法。
背景技术
VR(VirtualReality,虚拟现实)技术是一种可以创建和体验虚拟世界的计算机仿真***,它利用计算机生成一种模拟环境,并通过多源信息融合的、交互式的三维动态视景和实体行为的***仿真使用户沉浸到该模拟环境中。在用户使用VR眼镜的过程中,如果用户需要观测现实环境,比如要拿桌上的水杯喝水,就需要摘下VR眼镜去取,操作比较麻烦,增强现实(Augmented Reality,简称AR),增强现实技术也被称为扩增现实,AR增强现实技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容,其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上,实施模拟仿真处理,叠加将虚拟信息内容在真实世界中加以有效应用,并且在这一过程中能够被人类感官所感知,从而实现超越现实的感官体验。真实环境和虚拟物体之间重叠之后,能够在同一个画面以及空间中同时存在。
现有的控制***中,VR和AR的控制***是单独存在的,无法进行融合入控制,以此,本发明提供了一种AR/VR虚拟现实融合相机控制方法。
发明内容
本发明的目的在于提供一种AR/VR虚拟现实融合相机控制方法,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:一种AR/VR虚拟现实融合相机控制方法,包括RGB相机采集器、单片机、VR处理器、AR处理器、感应器、显示器。
优选的,所述单片机的内腔设置有图像处理模块、射频通信模块,所述VR处理器的内腔设置有标志物识别模块、存储模块、指令收发元件、渲染模块、坐标生成模块,所述AR处理器的内腔设置有三维坐标跟踪模块、GPS模块、轮廓提取模块、多边形转化模块、渲染模块。
优选的,所述RGB相机采集器的输出端与单片机的输入端电连接,所述单片机的输出端与VR处理器的输入端电连接,所述VR处理器的输出端与AR处理器的输入端电连接,所述AR处理器的输出端与感应器的输入端电连接,所述感应器的输出端与VR处理器的输入端电连接。
优选的,所述一种AR/VR虚拟现实融合相机控制方法,步骤如下:
第一步,RGB相机采集器对图像视频进行采集;
第二步,单片机对图像进行处理,并由其内部的射频通信模块将图像视频传输到VR处理器上;
第三步,VR处理器识别图像视频内部标志性物质,并对图像视频进行图像分割和阈值分割,然后对标示性物质进行轮廓提取,并生成三维坐标;
第四步,图像视频的仿射不变性原理重建预定义标志物坐标到当前场景标志物坐标的位姿变化矩阵,来完成虚拟信息的跟踪注册,并重新进行渲染,存储至存储模块内;
第五步,AR处理器通过GPS三维坐标跟踪并从VR内存储模块中调取对应坐标图像,并再次进行识别,提取轮廓,渲染,然后呈现在显示器中。
优选的,所述步骤二中,对图像处理时,需要确定摄像机的具***置,相机和投影安装平行,投影先采用梯形校正相机的视野比投影的范围大,确定相机视野中物体真实长与像素比,测量相机视野中真实物体的边长Lreal,对应物体边长在图像中的像素值Lpixel,确定投影的真实长,在投影的四个边界点上放四个小球,方便检测,通过相机检测投影的边界,求得像素值Ppixel。
优选的,所述步骤三中利用摄像机对预定义标志物进行识别并获得标志物顶点信息,其中标志性物质的识别可以基于图像匹配的标志物识别,也可以是基于编码特征的标志物识别。
优选的,所述步骤五中感应器可以根据人体的触碰、手势、按动按钮等交互动作进行感应,GPS根据当前的三维坐标并由AR处理器调取VR存储模块中对应的三维坐标,并对物体进行识别和外轮廓提取。
与现有技术相比,本发明的有益效果是:
1、该AR/VR虚拟现实融合相机控制方法,通过相机中的采集器对图像视频进行采集,然后通过图像处理模块对图像处理,期间,需要确定摄像机的具***置,相机和投影安装平行,投影先采用梯形校正相机的视野比投影的范围大,确定相机视野中物体真实长与像素比,测量相机视野中真实物体的边长Lreal,对应物体边长在图像中的像素值Lpixel,确定投影的真实长,在投影的四个边界点上放四个小球,方便检测,通过相机检测投影的边界,求得像素值Ppixel,然后利用VR处理器中的标志物识别模块对预定义标志物进行识别并获得标志物顶点信息,其中标志性物质的识别可以基于图像匹配的标志物识别,也可以是基于编码特征的标志物识别,在使用时,感应器可以根据人体的触碰、手势、按动按钮等交互动作进行感应,GPS根据当前的三维坐标并由AR处理器调取VR存储模块中对应的三维坐标,并对物体进行识别和外轮廓提取,然后呈现在显示屏上,本发明通过以上的控制方法,能够将AR/VR虚实图像视频进行融合。
附图说明
图1为本发明组成结构框架图;
图2为本发明整体流程图;
图3为本发明标志物检测流程图;
图4为本发明AR处理器流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例:请参阅图1-4,本发明提供一种技术方案:一种AR/VR虚拟现实融合相机控制方法,包括RGB相机采集器、单片机、VR处理器、AR处理器、感应器、显示器。
其中,单片机的内腔设置有图像处理模块、射频通信模块,VR处理器的内腔设置有标志物识别模块、存储模块、指令收发元件、渲染模块、坐标生成模块,AR处理器的内腔设置有三维坐标跟踪模块、GPS模块、轮廓提取模块、多边形转化模块、渲染模块,RGB相机采集器的输出端与单片机的输入端电连接,单片机的输出端与VR处理器的输入端电连接,VR处理器的输出端与AR处理器的输入端电连接,AR处理器的输出端与感应器的输入端电连接,感应器的输出端与VR处理器的输入端电连接。
其中,一种AR/VR虚拟现实融合相机控制方法,步骤如下:
第一步,RGB相机采集器对图像视频进行采集;
第二步,单片机对图像进行处理,并由其内部的射频通信模块将图像视频传输到VR处理器上;
第三步,VR处理器识别图像视频内部标志性物质,并对图像视频进行图像分割和阈值分割,然后对标示性物质进行轮廓提取,并生成三维坐标;
第四步,图像视频的仿射不变性原理重建预定义标志物坐标到当前场景标志物坐标的位姿变化矩阵,来完成虚拟信息的跟踪注册,并重新进行渲染,存储至存储模块内;
第五步,AR处理器通过GPS三维坐标跟踪并从VR内存储模块中调取对应坐标图像,并再次进行识别,提取轮廓,渲染,然后呈现在显示器中。
其中,步骤二中,对图像处理时,需要确定摄像机的具***置,相机和投影安装平行,投影先采用梯形校正相机的视野比投影的范围大,确定相机视野中物体真实长与像素比,测量相机视野中真实物体的边长Lreal,对应物体边长在图像中的像素值Lpixel,确定投影的真实长,在投影的四个边界点上放四个小球,方便检测,通过相机检测投影的边界,求得像素值Ppixel。
其中,步骤三中利用摄像机对预定义标志物进行识别并获得标志物顶点信息,其中标志性物质的识别可以基于图像匹配的标志物识别,也可以是基于编码特征的标志物识别。
其中,步骤五中感应器可以根据人体的触碰、手势、按动按钮等交互动作进行感应,GPS根据当前的三维坐标并由AR处理器调取VR存储模块中对应的三维坐标,并对物体进行识别和外轮廓提取。
本实施例中,通过相机中的采集器对图像视频进行采集,然后通过图像处理模块对图像处理,期间,需要确定摄像机的具***置,相机和投影安装平行,投影先采用梯形校正相机的视野比投影的范围大,确定相机视野中物体真实长与像素比,测量相机视野中真实物体的边长Lreal,对应物体边长在图像中的像素值Lpixel,确定投影的真实长,在投影的四个边界点上放四个小球,方便检测,通过相机检测投影的边界,求得像素值Ppixel,然后利用VR处理器中的标志物识别模块对预定义标志物进行识别并获得标志物顶点信息,其中标志性物质的识别可以基于图像匹配的标志物识别,也可以是基于编码特征的标志物识别,在使用时,感应器可以根据人体的触碰、手势、按动按钮等交互动作进行感应,GPS根据当前的三维坐标并由AR处理器调取VR存储模块中对应的三维坐标,并对物体进行识别和外轮廓提取,然后呈现在显示屏上。
工作原理:通过相机中的采集器对图像视频进行采集,然后通过图像处理模块对图像处理,期间,需要确定摄像机的具***置,相机和投影安装平行,投影先采用梯形校正相机的视野比投影的范围大,确定相机视野中物体真实长与像素比,测量相机视野中真实物体的边长Lreal,对应物体边长在图像中的像素值Lpixel,确定投影的真实长,在投影的四个边界点上放四个小球,方便检测,通过相机检测投影的边界,求得像素值Ppixel,然后利用VR处理器中的标志物识别模块对预定义标志物进行识别并获得标志物顶点信息,其中标志性物质的识别可以基于图像匹配的标志物识别,也可以是基于编码特征的标志物识别,在使用时,感应器可以根据人体的触碰、手势、按动按钮等交互动作进行感应,GPS根据当前的三维坐标并由AR处理器调取VR存储模块中对应的三维坐标,并对物体进行识别和外轮廓提取,然后呈现在显示屏上。
在本发明的描述中,还需要说明的是,除非另有明确的规定和限定,术语“设置”、“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种AR/VR虚拟现实融合相机控制方法,包括RGB相机采集器、单片机、VR处理器、AR处理器、感应器、显示器,所述单片机的内腔设置有图像处理模块、射频通信模块,所述VR处理器的内腔设置有标志物识别模块、存储模块、指令收发元件、渲染模块、坐标生成模块,所述AR处理器的内腔设置有三维坐标跟踪模块、GPS模块、轮廓提取模块、多边形转化模块、渲染模块,所述RGB相机采集器的输出端与单片机的输入端电连接,所述单片机的输出端与VR处理器的输入端电连接,所述VR处理器的输出端与AR处理器的输入端电连接,所述AR处理器的输出端与感应器的输入端电连接,所述感应器的输出端与VR处理器的输入端电连接,具体步骤如下:
第一步,RGB相机采集器对图像视频进行采集;
第二步,单片机对图像进行处理,并由其内部的射频通信模块将图像视频传输到VR处理器上;
第三步,VR处理器识别图像视频内部标志性物质,并对图像视频进行图像分割和阈值分割,然后对标示性物质进行轮廓提取,并生成三维坐标;
第四步,图像视频的仿射不变性原理重建预定义标志物坐标到当前场景标志物坐标的位姿变化矩阵,来完成虚拟信息的跟踪注册,并重新进行渲染,存储至存储模块内;
第五步,AR处理器通过GPS三维坐标跟踪并从VR内存储模块中调取对应坐标图像,并再次进行识别,提取轮廓,渲染,然后呈现在显示器中。
2.根据权利要求1所述的一种AR/VR虚拟现实融合相机控制方法,其特征在于:所述步骤二中,对图像处理时,需要确定摄像机的具***置,相机和投影安装平行,投影先采用梯形校正相机的视野比投影的范围大,确定相机视野中物体真实长与像素比,测量相机视野中真实物体的边长Lreal,对应物体边长在图像中的像素值Lpixel,确定投影的真实长,在投影的四个边界点上放四个小球,方便检测,通过相机检测投影的边界,求得像素值Ppixel。
3.根据权利要求2所述的一种AR/VR虚拟现实融合相机控制方法,其特征在于:所述步骤三中利用摄像机对预定义标志物进行识别并获得标志物顶点信息,其中标志性物质的识别可以基于图像匹配的标志物识别,也可以是基于编码特征的标志物识别。
4.根据权利要求3所述的一种AR/VR虚拟现实融合相机控制方法,其特征在于:所述步骤五中感应器可以根据人体的触碰、手势、按动按钮交互动作进行感应,GPS根据当前的三维坐标并由AR处理器调取VR存储模块中对应的三维坐标,并对物体进行识别和外轮廓提取。
CN202110536436.2A 2021-05-17 2021-05-17 一种ar/vr虚拟现实融合相机控制方法 Active CN113160337B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110536436.2A CN113160337B (zh) 2021-05-17 2021-05-17 一种ar/vr虚拟现实融合相机控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110536436.2A CN113160337B (zh) 2021-05-17 2021-05-17 一种ar/vr虚拟现实融合相机控制方法

Publications (2)

Publication Number Publication Date
CN113160337A CN113160337A (zh) 2021-07-23
CN113160337B true CN113160337B (zh) 2024-02-06

Family

ID=76876417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110536436.2A Active CN113160337B (zh) 2021-05-17 2021-05-17 一种ar/vr虚拟现实融合相机控制方法

Country Status (1)

Country Link
CN (1) CN113160337B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105955456A (zh) * 2016-04-15 2016-09-21 深圳超多维光电子有限公司 虚拟现实与增强现实融合的方法、装置及智能穿戴设备
CN106981100A (zh) * 2017-04-14 2017-07-25 陈柳华 一种虚拟现实与真实场景融合的装置
CN107340870A (zh) * 2017-07-13 2017-11-10 深圳市未来感知科技有限公司 一种融合vr和ar的虚拟现实展示***及其实现方法
CN108268138A (zh) * 2018-01-29 2018-07-10 广州市动景计算机科技有限公司 增强现实的处理方法、装置及电子设备
CN110618751A (zh) * 2018-06-19 2019-12-27 广东虚拟现实科技有限公司 虚拟对象的显示方法、装置、终端设备及存储介质
CN110858414A (zh) * 2018-08-13 2020-03-03 北京嘀嘀无限科技发展有限公司 图像处理方法、装置、可读存储介质与增强现实***
US10726597B1 (en) * 2018-02-22 2020-07-28 A9.Com, Inc. Optically challenging surface detection for augmented reality
US10803665B1 (en) * 2017-09-26 2020-10-13 Amazon Technologies, Inc. Data aggregation for augmented reality applications
CN112258658A (zh) * 2020-10-21 2021-01-22 河北工业大学 一种基于深度相机的增强现实可视化方法及应用

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105955456A (zh) * 2016-04-15 2016-09-21 深圳超多维光电子有限公司 虚拟现实与增强现实融合的方法、装置及智能穿戴设备
CN106981100A (zh) * 2017-04-14 2017-07-25 陈柳华 一种虚拟现实与真实场景融合的装置
CN107340870A (zh) * 2017-07-13 2017-11-10 深圳市未来感知科技有限公司 一种融合vr和ar的虚拟现实展示***及其实现方法
US10803665B1 (en) * 2017-09-26 2020-10-13 Amazon Technologies, Inc. Data aggregation for augmented reality applications
CN108268138A (zh) * 2018-01-29 2018-07-10 广州市动景计算机科技有限公司 增强现实的处理方法、装置及电子设备
US10726597B1 (en) * 2018-02-22 2020-07-28 A9.Com, Inc. Optically challenging surface detection for augmented reality
CN110618751A (zh) * 2018-06-19 2019-12-27 广东虚拟现实科技有限公司 虚拟对象的显示方法、装置、终端设备及存储介质
CN110858414A (zh) * 2018-08-13 2020-03-03 北京嘀嘀无限科技发展有限公司 图像处理方法、装置、可读存储介质与增强现实***
CN112258658A (zh) * 2020-10-21 2021-01-22 河北工业大学 一种基于深度相机的增强现实可视化方法及应用

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于三维标识物的虚实配准方法研究;卢韶芳;韩雪;关馨;;吉林大学学报(信息科学版)(第03期);第71-78页 *
基于计算机视觉的虚实场景合成方法研究;熊怡;计算机工程与设计;第第29卷卷(第第11期期);第2838-2840页 *

Also Published As

Publication number Publication date
CN113160337A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
Rekimoto Matrix: A realtime object identification and registration method for augmented reality
CN102902355B (zh) 移动设备的空间交互方法
US8933966B2 (en) Image processing device, image processing method and program
CN107665505B (zh) 基于平面检测实现增强现实的方法及装置
CN106875431B (zh) 具有移动预测的图像追踪方法及扩增实境实现方法
CN103839277B (zh) 一种户外大范围自然场景的移动增强现实注册方法
CN111369666A (zh) 一种基于多台rgbd相机的动态目标重建方法和装置
CN108320333B (zh) 场景适应型虚拟现实转换设备和虚拟现实的场景适应方法
CN110827376A (zh) 增强现实多平面模型动画交互方法、装置、设备及存储介质
KR20150082379A (ko) 단안 시각 slam 을 위한 고속 초기화
CN112954292B (zh) 一种基于增强现实的数字博物馆导览***和方法
CN104156998A (zh) 一种基于图片虚拟内容融合真实场景的实现方法及***
CN109035307B (zh) 基于自然光双目视觉的设定区域目标追踪方法及***
CN110456904B (zh) 一种无需标定的增强现实眼镜眼动交互方法及***
CN116012445A (zh) 一种基于深度相机的导览机器人感知行人三维空间信息的方法和***
CN111399634B (zh) 一种手势引导物体识别的方法及装置
CN113160337B (zh) 一种ar/vr虚拟现实融合相机控制方法
KR20100006736A (ko) 이미지 및 문자를 인식하는 심플 프레임 마커를 구비하는 증강현실 시스템과 그 장치, 및 상기 시스템 또는 상기 장치를 이용한 증강현실 구현방법
CN109426336A (zh) 一种虚拟现实辅助选型设备
CN112288876A (zh) 远距离ar识别服务器及***
CN116843867A (zh) 增强现实虚实融合方法、电子设备和存储介质
CN112651270A (zh) 一种注视信息确定方法、装置、终端设备及展示对象
WO2019109492A1 (zh) 虚拟现实场景模拟装置
CN113961068A (zh) 一种基于增强现实头盔的近距离实物眼动交互方法
CN115482285A (zh) 图像对齐方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant