CN101231752A - 无标定真三维全景显示与交互装置 - Google Patents

无标定真三维全景显示与交互装置 Download PDF

Info

Publication number
CN101231752A
CN101231752A CNA2008100573050A CN200810057305A CN101231752A CN 101231752 A CN101231752 A CN 101231752A CN A2008100573050 A CNA2008100573050 A CN A2008100573050A CN 200810057305 A CN200810057305 A CN 200810057305A CN 101231752 A CN101231752 A CN 101231752A
Authority
CN
China
Prior art keywords
image
observer
true
dimensional
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008100573050A
Other languages
English (en)
Other versions
CN101231752B (zh
Inventor
吴威
张淑军
周忠
赵沁平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN2008100573050A priority Critical patent/CN101231752B/zh
Publication of CN101231752A publication Critical patent/CN101231752A/zh
Application granted granted Critical
Publication of CN101231752B publication Critical patent/CN101231752B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

一种无标定真三维全景显示与交互装置包括主体支架、头盔显示器、图像存储和处理器、主机，主体支架上设有安装多个摄像机的云台，云台上装有摄像机；观察者站在主体支架内部空间中，通过头盔显示器即可实时观看一个虚拟场景，观察者可做空间上的自由移动，包括头部转向、自由行走、转动，并能与场景实时交互，多个摄像机采集观察者的图像信息，经过图像预处理后由主机对多幅图像进行分析、匹配和计算，实时解算出人的位置、姿态和动作信息，来控制头盔显示器中的虚拟场景产生相应的变化，实现虚拟显示产生交互效应。本发明无须对观察者进行标定，其在工作空间内可以自然的转动头部和身体以改变视点，实现真三维全景的显示与交互，具有较好的浸入感和灵活性。

Description

无标定真三维全景显示与交互装置
技术领域
本发明涉及一种无标定真三维全景显示与交互装置及方法，属于计算机视觉和人机交互领域。
背景技术
沉浸是使人具有真实感并获得体验的根本，而交互是实现人机和谐的关键。虚拟场景的显示和交互是虚拟现实的核心所在，目前显示部分主要通过各种不同的显示设备实现，如立体显示器、柱幕或环幕***、CAVE***，以提供给人沉浸感；而交互主要通过各种输入设备如数据手套、光学标志点、位置***等实现。如要跟踪人头部的运动，需要专门的位置***，体积大，价格高，且有较大的重量，使用不方便。而人如果要用手与虚拟场景交互，必须戴数据手套，也只能捕捉几个自由度的信息，不够灵活。在人***置和姿态动作的捕捉和识别方面，目前也有做的，但都有标定。
发明内容
本发明所要解决的技术问题是：克服现有技术存在的不足，提供一种可以实现无标定真三维全景显示和交互的装置及方法，无须对观察者进行标定，观察者在工作空间内可以自然的转动头部和身体以改变视点，实现真三维全景的显示与交互，具有较好的浸入感和灵活性。
本发明的技术解决方案：一种无标定真三维全景显示与交互装置，包括主体支架、头盔显示器、图像存储和处理器、能够进行高速运算和实时处理的主机，所述主体支架上设置有多个可安装摄像机的云台，所述云台上装有摄像机，观察者站在主体支架内部空间中，通过头盔显示器即可实时观看一个虚拟场景，观察者可做空间上的自由移动，包括头部转向、自由行走、转动，并能与场景实时交互，所述的多个摄像机通过从多个角度同步采集观察者的图像信息，输入到图像存储和处理器进行图像的预处理，预处理后的图像再输入到主机，由主机对多幅图像通过进行分析、匹配和计算，实时解算出人的位置、姿态和动作信息，并由此来控制头盔显示器中的虚拟场景产生相应的变化，以实现虚拟显示并产生交互效应。
所述主体支架上还安装有传感器的固定件，所述传感器固定件上可安装红外传感器、或声音传感器、或温度传感器，红外传感器用于识别人体信息后，或声音传感器采集人的自然语言后，或温度传感器采集工作空间的温度后输入主机进行识别、处理和存储，作为对场景信息的记录和分析，可用来模拟和恢复场景。
本发明的另一目的是提供一种无标定真三维全景显示与交互方法，其步骤如下：
(1)对摄像机进行标定；
(2)进行图像采集：观察者站在主体支架内部空间中，通过头盔显示器即可实时观看一个虚拟场景，观察者可做空间上的自由移动，包括头部转向、自由行走、转动，多个摄像机从不同角度同步采集观察者的图像；
(3)图像预处理：摄像机采集的图像送入图像存储和处理器进行存储和预处理；
(4)图像信息提取：预处理的图像传送到主机，主机对接收到的多幅图像进行分析、匹配和计算，提取其中的关键信息，包括人头部和手部的轮廓及头部和手部在不同图像上对应的特征点对的图像坐标；
(5)根据所提取的关键信息实时解算人的位置、姿态和动作信息；
(6)更新虚拟场景的显示：根据位移和姿态的改变控制头盔显示器的虚拟场景产生相应的变化，以实现虚拟显示并产生交互效应。
本发明与现有技术相比的优点在于：
(1)本装置可容纳多人同时在工作空间内，观察者可以自然的在三维空间内运动，实现了真三维的效果；
(2)由于设置了多个摄像机，从而可以在无须对观察者进行标定的情况下，通过图像的采集和模式识别技术实时获取观察者的头部和手部的位置、姿态和动作信息，实现了跟踪和定位；
(3)观察者转动头部和身体以改变视点，所看到的场景即计算机生成的虚拟世界将实时发生变化；
(4)观察者可以以自然的方式直接与虚拟环境中的对象进行交互操作。
总之，本发明创建了一个酷似客观环境又超越客观时空、既能够沉浸其中又能驾驭其上的和谐的人机交互环境，即一个由多维信息所构造的可操纵的立体空间，其主要目标是实现人类在计算机控制的虚拟环境中获得最真实的体验，且以方便自然的方式进行人与环境之间的交互。观察者不用透过外部显示器，而能够直接沉浸在计算机控制下的虚拟环境当中，如同人类日常生活在真实世界一样。
附图说明
图1是本发明装置的结构示意图；
图2是本发明的方法流程图。
具体实施方式
如图1所示，本发明的装置由主体支架1、云台2、固定件3、摄像机4、红外传感器5、声音传感器6、温度传感器7、图像存储和处理器8、头盔显示器9和主机10组成。主体支架1上设置有多个安装摄像机4的云台2和安装传感器的固定件3，云台2上装有摄像机4，传感器固定件3上装有红外传感器5、声音传感器6、温度传感器7；支架1、云台2和固定件3均是可移动的，多个摄像机都能够通过外触发进行图像采集，每个摄像机与一个图像存储和处理器8相连接；头盔显示器9是封闭式头盔显示器。观察者站在装置的工作空间内，头戴头盔显示器9，显示器上显示计算机控制的虚拟场景。观察者可以走动、转动头部或移动手的位置，装置内架设的多个摄像机实时采集观察者的图像，送入图像存储和处理器8进行图像的预处理，提取前景信息即观察者的轮廓信息。图像存储和处理器8将图像送入主机10，主机10得到同一时刻采集到的不同位置和角度的观察者的图像，对这组图像进行分割和模式匹配，得到头部和手部的位置和姿态，作为输入控制虚拟场景产生相应的位移和角度变化，并送到头盔显示器中进行显示，这样，观察者即可以通过转动头部和身体来改变视点，也可以通过手的移动和触摸来与场景交互。
此外，红外传感器5、或声音传感器6、或温度传感器7用来做数据采集，作为场景信息的记录和分析，可用来模拟和恢复场景。红外传感器用于识别人体信息，可用来记录场景中出现过的人的信息；声音传感器采集人的自然语言，经过识别和处理，可以转化为指令，控制虚拟场景产生相应的变化；温度传感器采集工作区的温度，可作为历史信息存储到主机中，根据这些信息可以重现某时间段内的场景。
本发明方法的具体工作过程如下：
第一步，摄像机标定；
第二步，图像采集：观察者站在主体支架内部空间中，通过头盔显示器即可实时观看一个虚拟场景，观察者可做空间上的自由移动，包括头部转向、自由行走、转动，多个摄像机从不同角度同步采集观察者的图像；
第三步，图像预处理：摄像机采集的图像送入图像存储和处理器进行存储和预处理；
第四步，图像信息提取：预处理的图像传送到主机，主机对接收到的多幅图像进行分析、匹配和计算，提取其中的关键信息；
第五步，解算人的位置、姿态和动作信息；
第六步，更新虚拟场景的显示：根据位移和姿态的改变控制头盔显示器的虚拟场景产生相应的变化，以实现虚拟显示并产生交互效应。
上述的主机进行分析、匹配和计算，提取其中的关键信息，实时解算出人的位置、姿态和动作信息的过程如下：
(1)图像分割和提取：对输入的一组图像进行图像分割，从每幅图像人的轮廓信息中提取出头部的轮廓和手的轮廓；
(2)立体匹配：根据立体匹配的原理(两个摄像机即可对其重叠区域的目标物体进行空间定位)，由这组已经进行分割和提取的图像对头部和手部分别进行特征点匹配，计算出特征点的深度信息和三维坐标；
(3)差值计算：由于图像是实时采集的，根据当前时刻采集的图像帧计算出的三维坐标跟前一帧的一组图像计算出的三维坐标进行差值，计算出人头部的位移和旋转量以及手部的动作信息。
图像存储和处理器进行存储和预处理的方法如下：
(1)多个摄像机同步采集观察者不同角度的图像，存储到图像存储和处理器中；
(2)图像存储和处理器对存储的图像进行前景提取，去除背景，得到目标对象即人的轮廓信息。
摄像机标定的方法如下：用一个均匀的黑白棋盘格模板作为目标对象，摄像机固定好之后，采集不同位置和角度的模板的图像，用这组图像进行角点的提取和计算，从而求出摄像机的模型，即摄像机的内外参数。

Claims (10)

1.一种无标定真三维全景显示与交互装置，其特征在于：包括主体支架、头盔显示器、图像存储和处理器、能够进行高速运算和实时处理的主机，所述主体支架上设置有多个可安装摄像机的云台，所述云台上装有摄像机，观察者站在主体支架内部空间中，通过头盔显示器即可实时观看一个虚拟场景，观察者可做空间上的自由移动，包括头部转向、自由行走、转动，并能与场景实时交互，所述的多个摄像机通过从多个角度同步采集观察者的图像信息，输入到图像存储和处理器进行图像的预处理，预处理后的图像再输入到主机，由主机对多幅图像进行分析、匹配和计算，实时解算出人的位置、姿态和动作信息，并由此来控制头盔显示器中的虚拟场景产生相应的变化，以实现虚拟显示并产生交互效应。
2.根据权利要求1所述的无标定真三维全景显示与交互装置，其特征在于：所述主体支架上还安装有传感器的固定件，所述传感器固定件上可安装红外传感器、或声音传感器、或温度传感器，红外传感器用于识别人体信息后，或声音传感器采集人的自然语言后，或温度传感器采集工作空间的温度后输入主机进行识别、处理和存储，作为对场景信息的记录和分析，可用来模拟和恢复场景。
3.根据权利要求1或2所述的无标定真三维全景显示与交互装置，其特征在于：所述的支架和云台均是可移动的。
4.根据权利要求1或2所述的无标定真三维全景显示与交互装置，其特征在于：所述的多个摄像机都能够通过外触发进行图像采集。
5.根据权利要求1或2所述的无标定真三维全景显示与交互装置，其特征在于：所述的多个摄像机中，每个摄像机与一个图像存储和处理器相连接。
6.根据权利要求1或2所述的无标定真三维全景显示与交互装置，其特征在于：所述的头盔显示器是封闭式头盔显示器。
7.根据权利要求1或2所述的无标定真三维全景显示与交互装置，其特征在于：所述的主机进行分析、匹配和计算，实时解算出人的位置、姿态和动作信息的过程如下：
(1)进行图像分割和提取：对输入的一组图像进行图像分割，从每幅图像人的轮廓信息中提取出头部的轮廓和手的轮廓；
(2)然后进行立体匹配：根据立体匹配的原理，通过两个摄像机对其重叠区域的目标物体进行空间定位，由所述的一组已经进行分割和提取的图像对头部和手部分别进行特征点匹配，计算出特征点的深度信息和三维坐标；
(3)最后进行差值计算：由于图像是实时采集的，根据当前时刻采集的图像帧计算出的三维坐标跟前一帧的一组图像计算出的三维坐标进行差值，计算出人头部的位移和旋转量以及手部的动作信息。
8.一种采用权利要求1所述的无标定真三维全景显示与交互装置的实现显示与交互的方法，其特征在于：
(1)对摄像机进行标定；
(2)进行图像采集：观察者站在主体支架内部空间中，通过头盔显示器即可实时观看一个虚拟场景，观察者可做空间上的自由移动，包括头部转向、自由行走、转动，多个摄像机从不同角度同步采集观察者的图像；
(3)图像预处理：摄像机采集的图像送入图像存储和处理器进行存储和预处理；
(4)图像信息提取：预处理的图像传送到主机，主机对接收到的多幅图像进行分析、匹配和计算，提取其中的关键信息，包括人头部和手部的轮廓及头部和手部在不同图像上对应的特征点对的图像坐标；
(5)根据所提取的关键信息实时解算人的位置、姿态和动作信息；
(6)更新虚拟场景的显示：根据位移和姿态的改变控制头盔显示器的虚拟场景产生相应的变化，以实现虚拟显示并产生交互效应。
9.根据权利要求8所述的无标定真三维全景显示与交互方法，其特征在于：所述的步骤(4)中实时解算出人的位置、姿态和动作信息的过程如下：
(1)图像分割和提取：对输入的一组图像进行图像分割，从每幅图像人的轮廓信息中提取出头部的轮廓和手的轮廓；
(2)立体匹配：根据立体匹配的原理，通过两个摄像机可对其重叠区域的目标物体进行空间定位，由所述的一组已经进行分割和提取的图像对头部和手部分别进行特征点匹配，计算出特征点的深度信息和三维坐标；
(3)差值计算：由于图像是实时采集的，根据当前时刻采集的图像帧计算出的三维坐标跟前一帧的一组图像计算出的三维坐标进行差值，计算出人头部的位移和旋转量以及手部的动作信息。
10.根据权利要求8所述的无标定真三维全景显示与交互方法，其特征在于：所述的步骤(3)中图像预处理的方法如下：
(1)多个摄像机同步采集观察者不同角度的图像，存储到图像存储和处理器中；
(2)图像存储和处理器对存储的图像进行前景提取，去除背景，得到目标对象即人的轮廓信息。
CN2008100573050A 2008-01-31 2008-01-31 无标记真三维全景显示与交互装置 Expired - Fee Related CN101231752B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2008100573050A CN101231752B (zh) 2008-01-31 2008-01-31 无标记真三维全景显示与交互装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2008100573050A CN101231752B (zh) 2008-01-31 2008-01-31 无标记真三维全景显示与交互装置

Publications (2)

Publication Number Publication Date
CN101231752A true CN101231752A (zh) 2008-07-30
CN101231752B CN101231752B (zh) 2011-03-23

Family

ID=39898197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008100573050A Expired - Fee Related CN101231752B (zh) 2008-01-31 2008-01-31 无标记真三维全景显示与交互装置

Country Status (1)

Country Link
CN (1) CN101231752B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011054132A1 (en) * 2009-11-06 2011-05-12 Thomson Licensing Method and device for adaptive 3d rendering
CN101644989B (zh) * 2009-09-08 2011-12-21 南京师范大学 基于数字头盔的通用三维虚拟场景实时交互方法
CN102414640A (zh) * 2009-04-28 2012-04-11 索尼公司 信息处理装置、信息处理方法和程序
CN102591014A (zh) * 2011-01-07 2012-07-18 刘立东 一种全景视觉观察***及其工作方法
CN103226390A (zh) * 2013-05-15 2013-07-31 清华大学 全景式火灾紧急逃生的虚拟现实***
CN104052980A (zh) * 2013-03-12 2014-09-17 耿征 真三维图像采集装置、显示***及显示控制方法
CN104902263A (zh) * 2015-05-26 2015-09-09 深圳市圆周率软件科技有限责任公司 一种图像信息展现***和方法
CN105056500A (zh) * 2015-07-22 2015-11-18 陈飞 一种情境模拟训练/游戏***
CN103763472B (zh) * 2009-02-19 2017-03-01 奥林巴斯株式会社 照相机、佩戴型图像显示装置、摄影***以及摄影方法
CN106888369A (zh) * 2015-01-13 2017-06-23 苏州创捷传媒展览股份有限公司 虚拟望远镜互动装置
WO2018129664A1 (zh) * 2017-01-10 2018-07-19 深圳市柔宇科技有限公司 显示内容的调整方法、***及头戴式显示设备
WO2018161323A1 (zh) * 2017-03-09 2018-09-13 广东欧珀移动通信有限公司 基于深度的控制方法、控制装置及电子装置
CN108648218A (zh) * 2018-04-04 2018-10-12 广州市安晓科技有限责任公司 一种汽车环视全景中模糊棋盘格的匹配方法及***
CN110060340A (zh) * 2019-04-26 2019-07-26 湖南科技学院 一种云计算三维图像处理交互***
CN113221953A (zh) * 2021-04-14 2021-08-06 上海交通大学宁波人工智能研究院 基于实例分割和双目深度估计的目标姿态识别***与方法
CN114281193A (zh) * 2021-12-24 2022-04-05 杭州电子科技大学 环幕场景下基于手势识别的虚拟现实交互装置
CN117111873A (zh) * 2023-10-23 2023-11-24 南昌市一境信息技术有限公司 一种基于cave环境的沉浸交互***

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103763472B (zh) * 2009-02-19 2017-03-01 奥林巴斯株式会社 照相机、佩戴型图像显示装置、摄影***以及摄影方法
CN102414640A (zh) * 2009-04-28 2012-04-11 索尼公司 信息处理装置、信息处理方法和程序
CN102414640B (zh) * 2009-04-28 2016-01-20 索尼公司 信息处理装置、信息处理方法和程序
CN101644989B (zh) * 2009-09-08 2011-12-21 南京师范大学 基于数字头盔的通用三维虚拟场景实时交互方法
WO2011054132A1 (en) * 2009-11-06 2011-05-12 Thomson Licensing Method and device for adaptive 3d rendering
CN102591014B (zh) * 2011-01-07 2015-04-08 北京航天万方科技有限公司 一种全景视觉观察***及其工作方法
CN102591014A (zh) * 2011-01-07 2012-07-18 刘立东 一种全景视觉观察***及其工作方法
CN104052980A (zh) * 2013-03-12 2014-09-17 耿征 真三维图像采集装置、显示***及显示控制方法
CN103226390A (zh) * 2013-05-15 2013-07-31 清华大学 全景式火灾紧急逃生的虚拟现实***
CN103226390B (zh) * 2013-05-15 2016-02-24 清华大学 全景式火灾紧急逃生的虚拟现实***
CN106888369A (zh) * 2015-01-13 2017-06-23 苏州创捷传媒展览股份有限公司 虚拟望远镜互动装置
CN104902263A (zh) * 2015-05-26 2015-09-09 深圳市圆周率软件科技有限责任公司 一种图像信息展现***和方法
WO2016187924A1 (zh) * 2015-05-26 2016-12-01 深圳市圆周率软件科技有限责任公司 一种图像信息展现***和方法
CN105056500B (zh) * 2015-07-22 2017-08-29 陈飞 一种情境模拟训练/游戏***
CN105056500A (zh) * 2015-07-22 2015-11-18 陈飞 一种情境模拟训练/游戏***
WO2018129664A1 (zh) * 2017-01-10 2018-07-19 深圳市柔宇科技有限公司 显示内容的调整方法、***及头戴式显示设备
WO2018161323A1 (zh) * 2017-03-09 2018-09-13 广东欧珀移动通信有限公司 基于深度的控制方法、控制装置及电子装置
US11145086B2 (en) 2017-03-09 2021-10-12 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Electronic device, and method and apparatus for controlling the same
CN108648218A (zh) * 2018-04-04 2018-10-12 广州市安晓科技有限责任公司 一种汽车环视全景中模糊棋盘格的匹配方法及***
CN110060340A (zh) * 2019-04-26 2019-07-26 湖南科技学院 一种云计算三维图像处理交互***
CN110060340B (zh) * 2019-04-26 2022-11-04 湖南科技学院 一种云计算三维图像处理交互***
CN113221953A (zh) * 2021-04-14 2021-08-06 上海交通大学宁波人工智能研究院 基于实例分割和双目深度估计的目标姿态识别***与方法
CN114281193A (zh) * 2021-12-24 2022-04-05 杭州电子科技大学 环幕场景下基于手势识别的虚拟现实交互装置
CN117111873A (zh) * 2023-10-23 2023-11-24 南昌市一境信息技术有限公司 一种基于cave环境的沉浸交互***
CN117111873B (zh) * 2023-10-23 2024-01-09 南昌市一境信息技术有限公司 一种基于cave环境的沉浸交互***

Also Published As

Publication number Publication date
CN101231752B (zh) 2011-03-23

Similar Documents

Publication Publication Date Title
CN101231752B (zh) 无标记真三维全景显示与交互装置
CN106363637B (zh) 一种机器人快速示教方法及装置
AU2018297358B2 (en) Cloud enabled augmented reality
Zollmann et al. Augmented reality for construction site monitoring and documentation
Rabbi et al. A survey on augmented reality challenges and tracking
CN105094335B (zh) 场景提取方法、物体定位方法及其***
CN103019024B (zh) 实时精确观测和分析乒乓球旋转***与***运行方法
CN109268010B (zh) 一种虚拟现实矿井综采工作面的远程巡检干预方法
CN104050859A (zh) 可交互数字化立体沙盘***
CN102981616A (zh) 增强现实中对象的识别方法及***和计算机
CN103793060A (zh) 一种用户交互***和方法
CN103257707B (zh) 利用视线跟踪技术和常规鼠标控制设备的三维漫游方法
CN104536579A (zh) 交互式三维实景与数字图像高速融合处理***及处理方法
Mutis et al. Challenges and enablers of augmented reality technology for in situ walkthrough applications.
JP2024054137A (ja) 画像表示システム
CN102184342B (zh) 一种虚实融合的手功能康复训练***及方法
CN107122045A (zh) 一种基于混合现实技术的虚拟人机示教***及方法
US10964104B2 (en) Remote monitoring and assistance techniques with volumetric three-dimensional imaging
CN202003298U (zh) 三维无标定显示交互装置
KR102199772B1 (ko) 3차원 모델 데이터 생성 방법
CN108416255B (zh) 基于三维动画中角色实时面部表情动画捕捉的***和方法
CN114020978B (zh) 基于多源信息融合的园区数字化漫游展示方法及***
Kluckner et al. AVSS 2011 demo session: Construction site monitoring from highly-overlapping MAV images
US20230162458A1 (en) Information processing apparatus, information processing method, and program
CN109643182A (zh) 信息处理方法、装置、云处理设备及计算机程序产品

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110323

Termination date: 20140131