CN106843460B - 基于多摄像头的多目标位置捕获定位***及方法 - Google Patents

基于多摄像头的多目标位置捕获定位***及方法 Download PDF

Info

Publication number
CN106843460B
CN106843460B CN201611144669.3A CN201611144669A CN106843460B CN 106843460 B CN106843460 B CN 106843460B CN 201611144669 A CN201611144669 A CN 201611144669A CN 106843460 B CN106843460 B CN 106843460B
Authority
CN
China
Prior art keywords
coordinate
camera
led light
server
glasses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611144669.3A
Other languages
English (en)
Other versions
CN106843460A (zh
Inventor
赵万青
李光辉
罗迒哉
范建平
彭进业
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest University
Original Assignee
Northwest University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest University filed Critical Northwest University
Priority to CN201611144669.3A priority Critical patent/CN106843460B/zh
Publication of CN106843460A publication Critical patent/CN106843460A/zh
Application granted granted Critical
Publication of CN106843460B publication Critical patent/CN106843460B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于多摄像头的多目标位置捕获定位***,包括服务端、至少两个摄像头、多个VR眼镜、客户端和光球;客户端、光球和VR眼镜的个数均相同;LED光球为摄像头提供体验者位置;服务端接收摄像头发送的图像数据并处理得到体验者位置数据;客户端读取VR眼镜发送的数据并发给服务端;接收和处理由服务端发来的体验者位置数据,将所有体验者的位置数据换算为虚拟环境的坐标,实时生成虚拟环境或模型,将虚拟画面实时渲染给VR眼镜。本发明克服了现有的VR眼镜只支持小范围头部运动和通过手柄操作运动的局限性,使得体验者完全脱离之前的限制自由移动,提供跟接近真实环境的虚拟现实体验;能支持多人共同在同一虚拟环境中交互。

Description

基于多摄像头的多目标位置捕获定位***及方法
技术领域
本发明属于虚拟现实多位置追踪领域,具体涉及一种定位***及方法,特别是一种基于多摄像头的多目标位置捕获定位***及方法。
背景技术
虚拟现实(Virtual Reality:VR)是近年来出现的高新技术:利用电脑模拟产生的一个三维空间的虚拟环境,通过提供给体验者视觉、听觉、触觉等感官上的模拟体验,让体验着身临其境的感受这个虚拟环境,甚至同虚拟环境进行交互。近年来,虚拟现实在某些专业领域,如军事、医疗甚至房地产开发等方面都有了较大应用。但随着美国公司Oculus开发的一款沉浸式虚拟现实眼镜Oculus Rift,拉近了虚拟现实和普通民用的距离。OculusRift内置高分辨显示屏可以给用户提供1280X800分辨率的高清画面,水平可视角度为90度,垂直可视角度为110度,9自由度的姿态与运动传感器以1000HZ的频率追踪头部运动轨迹,以全方位的视觉体验为使用者提供一种全新的虚拟感受。随着Oculus Rift的推出,国外和国内各大厂商以及一些初创公司都推出了各自的虚拟现实眼镜。它们存在以下不足:对头部位置捕捉的局限性使得体验者只能坐在椅子上通过键盘、鼠标或者手柄进行交互或者控制运动,无法让体验者感受到身临其境,真正融入到虚拟环境中,体验效果不佳。
VR眼镜作为虚拟视觉的提供者只能作为虚拟现实整个框架下的一部分,如何将体验者投影到虚拟的环境中并通过体验者自身的运动来控制虚拟人物的运动将是虚拟现实下一步亟待解决的问题。而这一问题的解决最直接的方法便是利用室内定位、位置捕获技术;现有的室内无线定位***主要采用移动基站、红外、超声波、蓝牙、Wi-Fi、RFID等短距离无线技术,这些设备不仅价格高昂,安装配置复杂,同时精度也无法满足虚拟现实体验的要求。目前,采用计算机视觉技术通过摄像头捕捉眼镜的位置移动被各大厂商广泛使用,但由于单摄像头的局限性,也只能对单目标小范围的头部简单运动进行捕捉,无法扩展到整个房间或更大区域。
发明内容
针对以上现有技术存在的不足,本发明的目的在于,提供一种基于多摄像头的多目标位置捕获定位***及方法。本发明的***和方法能够实现捕获多名体验者的全向立体运动,并准确实时反馈到虚拟环境。
为了实现上述目的,本发明采用如下技术方案予以解决:
一种基于多摄像头的多目标位置捕获定位***,包括服务端、客户端和VR眼镜,其特征在于,所述客户端和VR眼镜均有多个,还包括至少两个摄像头、服务端、多个LED光球;其中,客户端、LED光球和VR眼镜的个数均相同;每个摄像头均与服务端连接;VR眼镜与客户端连接;服务端与客户端通过无线网络连接;多个摄像头均匀分布在体验室顶部;服务端安装在体验室内。
以上各部件用于完成如下功能:
所述摄像头用于采集体验者佩戴光球的图像数据,并传送给所述服务端;
所述LED光球用于发光为摄像头提供体验者的位置;
所述服务端用于对VR眼镜、LED光球、摄像头进行初始化;用于接收所有摄像头发送的图像数据并进行处理,将处理得到的体验者位置数据分发给每个客户端;
所述客户端采用便携式计算机,用于读取VR眼镜发送的数据并发给服务端;并用于接收和处理由服务端发来的体验者位置数据,将所有体验者的位置数据换算为虚拟环境的坐标,并实时生成虚拟环境或模型,最终将虚拟画面实时渲染给VR眼镜;
所述VR眼镜实时自动获取内置的陀螺仪数据、磁力计数据、重力计数值,并用来显示3D虚拟场景,显示佩戴该VR眼镜的体验者和其他体验者的位置。
进一步的,所述服务端包括如下相连接的功能模块:
去噪及二值化模块,用于实现:对所有摄像头传来的图像数据进行高斯平滑去除噪声;对去除噪声后的图像处理得到二值化图像;
轮廓图像提取模块,用于实现:对二值化图像处理得到轮廓图像,并得到该二值化图像中的轮廓个数;
轮廓坐标图像提取模块,用于实现:对每个轮廓图像提取坐标序列;
光球提取模块,用于实现:对每个坐标序列利用最小二乘法拟合圆曲线,判断每个坐标序列是否符合圆曲线,是则将该坐标序列的半径作为LED光球半径,并记录光球中心点坐标;否则,删去坐标序列;
光球坐标计算模块,用于实现:确定LED光球半径,获得每个LED光球相对于捕获摄像头坐标系的坐标:
光球真实三维坐标计算模块,用于实现:通过得到的坐标及捕获摄像头的相对坐标,实时计算得到每个LED光球对应的体验者在房间内的真实三维坐标。
进一步的,所述光球坐标计算模块用于实现:确定LED光球半径,获得每个LED光球相对于捕获摄像头坐标系的坐标,具体是指:
根据摄像头投影原理、摄像头广角、广角投影角度这三个预设参数及光球半径,利用皮尔森型分布算法计算每个LED光球到摄像头距离:最终获得每个LED光球相对于捕获摄像头坐标系的坐标值(x,y,distance):
其中,radius=R;公式中其余参数为函数内参。
一种基于多摄像头的多目标位置捕获定位方法,包括以下步骤:
步骤1:服务端初始化VR眼镜、LED光球、摄像头,与客户端建立tcp连接;同时为每个体验者分配不同颜色的LED光球;
步骤2:每个摄像头实时拍摄,当摄像头视场范围内出现LED光球时,摄像头将图像数据发传送到服务端;每个客户端读取与自身连接的VR眼镜的姿态陀螺仪数据、磁力计数据、重力计数值,实时传送到服务端;
步骤3:服务端根据接收到的图像数据,实时计算每个LED光球在摄像机捕获画面上的平面坐标和光球大小;再通过LED光球的平面坐标和光球大小计算得到每个LED光球的所处房间内的真实三维坐标。
步骤4:服务端将每个LED光球在房间的真实三维坐标连同该VR眼镜的陀螺仪姿态数据、磁力计数据和重力计数据打包,实时分发给每个VR眼镜对应的客户端;
步骤5:客户端将所有体验者的真实三维坐标换算为虚拟环境的坐标,并实时生成虚拟环境或模型,最终将虚拟画面实时渲染给体验者的VR眼镜。
进一步的,所述步骤1中,服务端对摄像头初始化设置包括摄像头坐标;所述摄像头坐标初始化包括:
设定其中一个摄像头二维基坐标为(0,0),一个体验者佩戴LED光球环绕体验室内一周,其他摄像头通过与基准摄像头的相互关系以及获取的重叠区域LED光球坐标位置,生成自身的相对坐标参数并保存。其中,第i个摄像头的相对坐标(xi,yi)由以下公式计算:
(xi,yi)=(x-x,y-y)
式中,(x,y)为根据基准摄像头捕获LED光球的标准室内平面坐标;(x,y)为第i个摄像头所捕获图像中的LED光球坐标;i=2,…,p;p为体验室中摄像头的数量。
进一步的,步骤3的具体步骤如下:
步骤31:服务端对所有摄像头传来的图像数据进行高斯平滑去除噪声;然后对去除噪声后的图像进行处理得到二值化图像;
步骤32:服务端利用对二值化图像处理得到轮廓图像,并得到该二值化图像中的轮廓个数;
步骤33:对每个轮廓图像提取坐标序列;
步骤34:对每个坐标序列利用最小二乘法拟合圆曲线,判断每个坐标序列是否符合圆曲线,是则将该坐标序列的半径作为LED光球半径,并记录光球中心点坐标;否则,删去坐标序列;
步骤35:确定LED光球半径,获得每个LED光球相对于捕获摄像头坐标系的坐标:
步骤36:通过步骤35得到的坐标值及捕获摄像头的相对坐标,计算得到每个LED光球对应的体验者在房间内的真实三维坐标;
进一步的,所述步骤35,确定LED光球半径,获得每个LED光球相对于捕获摄像头坐标系的坐标具体包括:
根据摄像头投影原理、摄像头广角、广角投影角度这三个预设参数及LED光球半径,利用皮尔森型分布算法计算每个LED光球到摄像头距离:最终获得每个LED光球相对于捕获摄像头坐标系的坐标值(x,y,distance):
其中,radius=R;其余参数为函数内参。
本发明的有益效果如下:
1、克服了现有的VR眼镜只支持小范围头部运动和通过手柄操作运动的局限性,通过多种设备和广阔的场地结合,使得体验者完全脱离之前的限制自由移动,提供跟接近真实环境的虚拟现实体验。
2、相比目前的单人单机的虚拟现实体验,本发明通过多个客户端、多个VR眼镜和多个光球的配合,能够支持多人共同在同一虚拟环境中交互,通过捕获多人位置信息从而实现相互可见并可进行共同活动,虚拟现实的体验更丰富多样。
3、将真实环境坐标和虚拟环境坐标建立联系,真正使虚拟和真实挂钩,为虚拟现实体验提供更多的可能性。
4、本发明环境布置搭设简单,针对不同环境只需对摄像头数量和参数进行修改,整个***具有较高的扩展性和移植性。
附图说明
图1为本发明的基于多摄像头的多目标位置捕获定位方法的流程图。
图2为本发明的基于多摄像头的多目标位置捕获定位***的示意图。
图3为本发明虚拟现实多目标追踪定位***室内设备实施方式示意图。
图4为本发明摄像头捕捉光球图像并计算所处平面坐标及半径示意图。其中,图(a)和图(b)分别是当有光球同时出现在相邻摄像头的重叠拍摄范围内,两个摄像头分别捕获的画面;图(c)是当2个光球同时出现在一个摄像头拍摄范围内时,捕获的画面;图(d)和图(e)分别是当光球离开相邻摄像头重叠拍摄区域时,两个摄像头分别捕获的画面。
图5为本发明中服务端进行光球追踪的流程图。
下面结合附图对本发明作进一步的阐述。
具体实施方式
如图1、图2所示,本发明的基于多摄像头的多目标位置捕获定位***,包括至少两个摄像头31、服务端33、多个客户端36、多个LED光球34和多个VR眼镜35;其中,客户端36、LED光球34和VR眼镜35的个数均相同;每个摄像头31均通过USB连接线与服务端33连接;VR眼镜35与客户端36通过HDMI和USB连接线连接;服务端33与客户端36通过无线网络连接;摄像头31均匀分布在体验室顶部;服务端33安装在体验室内;LED光球34和VR眼镜35分别佩戴在体验者头部;客户端36佩戴在体验者身上。
以上各部件用于完成如下功能:
摄像头31用于采集体验者佩戴光球的图像数据,并传送给服务端33;
LED光球34用于发光从而为摄像头提供体验者的位置,光球颜色与体验者一一对应;
服务端33用于对VR眼镜、LED光球、摄像头进行初始化;用于接收所有摄像头31 发送的图像数据并进行处理,将处理得到的体验者位置数据通过Wi-Fi分发给每个客户端36;
客户端36采用便携式计算机,用于读取VR眼镜35发送的姿态陀螺仪数据、磁力计数据、重力计数值,发给服务端;并用于接收并处理由服务端发来的体验者位置数据,将所有体验者的位置数据换算为虚拟环境的坐标,并实时生成虚拟环境或模型,最终将虚拟画面实时渲染给体验者的VR眼镜;
VR眼镜35实时自动获取内置的陀螺仪数据、磁力计数据、重力计数值,并用来显示3D虚拟场景,显示佩戴该VR眼镜的体验者和其他体验者的位置。
优选的,服务端包括如下相连接的功能模块:
去噪及二值化模块,用于实现如下功能:对所有摄像头传来的图像数据进行高斯平滑去除噪声;然后根据体验者佩戴LED光球初始化颜色RPG,对图像中每个单通道数组应用固定阈值操作,得到二值化图像;
轮廓图像提取模块,用于实现如下功能:服务端利用二值图像轮廓提取算法对二值化图像处理得到轮廓图像,并得到该二值化图像中的轮廓个数;
轮廓坐标图像提取模块,用于实现如下功能:对每个轮廓图像提取坐标序列:{xi,yi}j,其中j为1,2,...,n,n表示轮廓图像的坐标序列的个数,i为1,2,...,m,m表示第j个轮廓坐标序列中包含的点坐标个数;
光球提取模块,用于实现如下功能:对每个坐标序列利用最小二乘法拟合圆曲线:R2=(x-A)2+(y-B)2,判断每个坐标序列是否符合圆曲线,是则将该坐标序列的半径R作为LED光球半径,并记录光球中心点坐标(A,B);否则,删去坐标序列,从而过滤掉非圆形轮廓;
本模块中使用最小二乘法,能够实现在某个LED光球被部分遮挡时的完整统计。可以通过部分轮廓图像估算整体轮廓面积,该轮廓面积由轮廓弧线和连接两端点的弦围成的区域面积进行估算;然后通过估算的整体轮廓面积计算LED光球坐标及光球半径。综上,使用最小二乘法对轮廓进行判断处理,能够避免当LID光球被部分遮挡时的遗漏统计,从而能够完整准确地得显示每一个体验者,保证了体验者的体验效果准确、完整。
光球坐标计算模块,用于实现如下功能:根据摄像头投影原理、摄像头广角、广角投影角度这三个预设参数及步骤33得到的光球半径,利用皮尔森型分布算法计算每个LED光球到摄像头距离:最终获得每个LED光球相对于捕获摄像头坐标系的坐标值(x,y,distance):
其中,radius=R,其余为函数内参;
光球真实三维坐标计算模块,用于实现如下功能:通过坐标值(x,y,distance)及捕获摄像头的相对坐标(xi,yi),计算得到每个LED光球对应的体验者在房间内的真实三维坐标(x+xi,y+yi,distance)。
如图3所示,本发明提供的一种基于多摄像头的多目标位置捕获定位方法,包括以下步骤:
步骤1:服务端初始化VR眼镜、LED光球、摄像头,与客户端建立tcp连接;同时为每个体验者分配不同颜色的光球,光球颜色与体验者身份对应匹配;
其中,服务端对摄像头初始化设置包括摄像头坐标、频率、亮度初始化;可选的,服务端对每个摄像头进行坐标初始化的具体操作:设定其中一个摄像头二维基坐标为(0,0),一个体验者佩戴LED光球环绕体验室内一周,其他摄像头通过与基准摄像头的相互关系以及获取的重叠区域LED光球坐标位置,生成自身的相对坐标参数并保存。其中,第i个摄像头的相对坐标(xi,yi)由以下公式计算:
(xi,yi)=(x-x,y-y)
式中,(x,y)为根据基准摄像头捕获LED光球的标准室内平面坐标;(x,y)为第i个摄像头所捕获图像中的LED光球坐标;i=2,…,p;p为体验室中摄像头的数量。
本发明中,使用光球佩戴在体验者身上,能够在体验者运动过程中被摄像头迅速、准确捕捉到动作图像以及体验者位置。
步骤2:每个摄像头实时拍摄,当摄像头视场范围内出现LED光球时,摄像头将图像数据发传送到服务端;每个客户端读取与自身连接的VR眼镜的姿态陀螺仪数据、磁力计数据、重力计数值,实时传送到服务端;
步骤3:服务端根据接收到的图像数据,实时计算每个LED光球在摄像机捕获画面上的平面坐标和光球大小;再通过LED光球的平面坐标和光球大小计算得到每个LED光球的所处房间内的真实三维坐标。
可选的,服务端利用计算机视觉算法计算每个LED光球在摄像机捕获画面上的平面坐标和光球大小;经试验,OPENCV提供的开源算法较为适用。
步骤3的具体步骤如下:
步骤31:服务端对所有摄像头传来的图像数据进行高斯平滑去除噪声;然后根据体验者佩戴LED光球初始化颜色RPG,对图像单通道数组应用固定阈值操作,得到二值化图像;
步骤32:服务端利用二值图像轮廓提取算法对二值化图像处理得到轮廓图像,并得到该二值化图像中的轮廓个数;
二值图像轮廓提取算法的原理是通过挖空内部像素点产生轮廓,亮点的8个相邻像素点全部为亮点,则该点为内部像素点,反之为轮廓点。将所有内部像素点设置为背景色,完成轮廓提取。并因为本发明所适用的LED光球均为圆形,判断轮廓形状对非圆形轮廓进行过滤。
步骤33:对步骤32得到的每个轮廓图像提取坐标序列:{xi,yi}j,其中j为1,2,...,n,n表示轮廓图像的坐标序列的个数,i为1,2,...,m,m表示第j个轮廓坐标序列中包含的点坐标的个数;
步骤34:对步骤33得到的每个坐标序列利用最小二乘法拟合圆曲线:R2=(x-A)2+(y-B)2,判断每个坐标序列是否符合圆曲线,是则将该坐标序列的半径R作为LED光球半径,并记录光球中心点坐标(A,B);否则,删去坐标序列,从而过滤掉非圆形轮廓;
本步骤中使用最小二乘法,能够实现在某个LED光球被部分遮挡时的完整统计。可以通过部分轮廓图像估算整体轮廓面积,该轮廓面积由轮廓弧线和连接两端点的弦围成的区域面积进行估算;然后通过估算的整体轮廓面积计算LED光球坐标及光球半径。综上,使用最小二乘法对轮廓进行判断处理,能够避免当LID光球被部分遮挡时的遗漏统计,从而能够完整准确地得显示每一个体验者,保证了体验者的体验效果准确、完整。
步骤35:根据摄像头投影原理、摄像头广角、广角投影角度这三个预设参数及步骤33得到的光球半径,利用皮尔森型分布算法计算每个LED光球到摄像头距离:最终获得每个LED光球相对于捕获摄像头坐标系的坐标值(x,y,distance):
其中,radius=R;其余参数为函数内参。
步骤36:通过步骤35得到的坐标值(x,y,distance)及捕获摄像头的相对坐标(xi,yi),计算得到每个LED光球对应的体验者在房间内的真实三维坐标(x+xi,y+yi,distance)。
在***运行过程中该算法对摄像头坐标进行动态调整,保证不会因为摄像头的移动或其他原因导致体验者的位置错误,大大提高了***的稳定性和鲁棒性。
步骤4:服务端将每个LED光球在房间的真实三维坐标连同该VR眼镜的陀螺仪姿态数据、磁力计数据和重力计数据打包,实时分发给每个VR眼镜对应的客户端。
步骤5:客户端针对不同应用(如:VR游戏、虚拟商城、仿真体验等),将所有体验者的真实三维坐标换算为虚拟环境的坐标,并实时生成虚拟环境或模型,最终将虚拟画面实时渲染给体验者的VR眼镜(渲染是指计算机图像引擎将三维画面实时呈现到VR眼镜的屏幕),使得体验者通过VR眼镜看到自己和其他体验者在虚拟世界的动作。
服务端实时判断客户端是否终止运行,是则返回步骤2。
实施例1:
发明人在真实房间内对该发明进行了实际场景实验验证,实验中使用PSEYE作为实验摄像头,其中参数为:
pseye_distance_parameters={
/*height=*/517.281,
/*center=*/1.297338,
/*hwhm=*/3.752844,
/*shape=*/0.4762335,
}。
具体场景如下:
步骤一,部署试验场地:
该实例在一块20m2的室内空间内配置4个pseye 120°广角摄像头并连接到服务端计算机,单摄像头离地高度3m,覆盖区域10.392m2。共2名体验者佩戴Oculus DK2、psmove光球设备及便捷电脑客户端。服务端计算机及客户端便捷计算机共同接入同一无线局域网内。
步骤二,设备,环境初始化:
本发明只需为一个摄像头设置初始化基坐标(0,0),启动程序后,其中一名体验者在室内行走一圈即可完成所有摄像头的坐标初始化工作,并且初始化的坐标将会自动保存在服务端,所以本***在某一房间只需初始化一次,无需重复操作。在客户端初始化时,服务器会与客户端建立稳定TCP连接,并为客户端分配光球颜色以区别不同体验者的身份。
步骤三,服务端实时检测并定位:
服务端计算机汇集4个pseye摄像头采集到的画面按照上述步骤31-36算法描述方式对2名体验者进行检测和定位,同时服务端收集客户端发来的头部陀螺仪数据并将位置信息进行整合打包分发给2个体验者。其中对图像单通道数组应用固定阈值操作固定阈值为128。
在实验中我们人为的轻微移动某一个摄像头位置,但由于我们的***可以动态调整更新摄像头坐标,所以体验者并为发现这一情况,证明我们的***具有一定的鲁棒性和抗干扰能力。
步骤四,客户端VR画面渲染:
2名体验者客户段不断地收到自身的位置坐标及对方的位置及头部转动数据,从而可以映射到虚拟环境的位置,使得自己可以在虚拟环境自由移动并且两名体验者可以相互看见。由于我们的真实房间坐标与虚拟环境坐标具有相互映射关系,所以我们在虚拟环境中也设置了墙及桌子等,与真实房间相互对应。使得体验者具有更真实的感受同时也不会出现撞墙或者2个体验者相互碰撞的情况。
最终,通过体验者的亲身体验,证明该***可以准确实时地捕获体验者位置并反馈到虚拟环境,体验者在多组摄像头间过渡平滑,无任何顿挫感。同时,本发明的***配置便捷,无需手工设置每个摄像头的坐标值并可在运行过程中自适应调节坐标参数,不会因摄像头位置、角度的轻微变动影响体验效果,具有较高的稳定性及鲁棒性。
实施例2:
本实施例与实施例1的步骤相同,区别在于扩大了室内空间面积到40m2,同时增加到8个摄像头。实验结果与实施例1相同。
通过实施例1及实施例2的实际测试,证明本***具有一定的扩展性,可以胜任更广阔区域的虚拟现实任务。

Claims (3)

1.一种基于多摄像头的多目标位置捕获定位***,其特征在于,包括服务端、客户端和VR眼镜,其特征在于,所述客户端和VR眼镜均有多个,还包括至少两个摄像头、服务端、多个LED光球;其中,客户端、LED光球和VR眼镜的个数均相同;每个摄像头均与服务端连接;VR眼镜与客户端连接;服务端与客户端通过无线网络连接;多个摄像头均匀分布在体验室顶部;服务端安装在体验室内;
以上各部件用于完成如下功能:
所述摄像头用于采集体验者佩戴光球的图像数据,并传送给所述服务端;
所述LED光球用于发光为摄像头提供体验者的位置;
所述服务端用于对VR眼镜、LED光球、摄像头进行初始化;用于接收所有摄像头发送的图像数据并进行处理,将处理得到的体验者位置数据分发给每个客户端;
所述客户端采用便携式计算机,用于读取VR眼镜发送的数据并发给服务端;并用于接收和处理由服务端发来的体验者位置数据,将所有体验者的位置数据换算为虚拟环境的坐标,并实时生成虚拟环境或模型,最终将虚拟画面实时渲染给VR眼镜;
所述VR眼镜实时自动获取内置的陀螺仪数据、磁力计数据、重力计数值,并用来显示3D虚拟场景,显示佩戴该VR眼镜的体验者和其他体验者的位置;
所述服务端包括如下相连接的功能模块:
去噪及二值化模块,用于实现:对所有摄像头传来的图像数据进行高斯平滑去除噪声;对去除噪声后的图像处理得到二值化图像;
轮廓图像提取模块,用于实现:对二值化图像处理得到轮廓图像,并得到该二值化图像中的轮廓个数;
轮廓坐标图像提取模块,用于实现:对每个轮廓图像提取坐标序列;
光球提取模块,用于实现:对每个坐标序列利用最小二乘法拟合圆曲线,判断每个坐标序列是否符合圆曲线,是则将该坐标序列的半径作为LED光球半径,并记录光球中心点坐标;否则,删去坐标序列;
光球坐标计算模块,用于实现:确定LED光球半径,获得每个LED光球相对于捕获摄像头坐标系的坐标:
光球真实三维坐标计算模块,用于实现:通过得到的坐标及捕获摄像头的相对坐标,实时计算得到每个LED光球对应的体验者在房间内的真实三维坐标;
所述光球坐标计算模块用于实现:确定LED光球半径,获得每个LED光球相对于捕获摄像头坐标系的坐标,具体是指:
根据摄像头投影原理、摄像头广角、广角投影角度这三个预设参数及光球半径,利用皮尔森型分布算法计算每个LED光球到摄像头距离:最终获得每个LED光球相对于捕获摄像头坐标系的坐标值(x,y,distance):
其中,radius=R;distance是指每个LED光球到摄像头距离;公式中其余参数为函数内参,height=517.281,center=1.297338,hwhm=3.752844,shape=0.4762335。
2.一种基于多摄像头的多目标位置捕获定位方法,其特征在于,包括以下步骤:
步骤1:服务端初始化VR眼镜、LED光球、摄像头,与客户端建立tcp连接;同时为每个体验者分配不同颜色的LED光球;
步骤2:每个摄像头实时拍摄,当摄像头视场范围内出现LED光球时,摄像头将图像数据发传送到服务端;每个客户端读取与自身连接的VR眼镜的姿态陀螺仪数据、磁力计数据、重力计数值,实时传送到服务端;
步骤3:服务端根据接收到的图像数据,实时计算每个LED光球在摄像机捕获画面上的平面坐标和光球大小;再通过LED光球的平面坐标和光球大小计算得到每个LED光球的所处房间内的真实三维坐标;
所述步骤3的具体步骤如下:
步骤31:服务端对所有摄像头传来的图像数据进行高斯平滑去除噪声;然后对去除噪声后的图像进行处理得到二值化图像;
步骤32:服务端利用对二值化图像处理得到轮廓图像,并得到该二值化图像中的轮廓个数;
步骤33:对每个轮廓图像提取坐标序列;
步骤34:对每个坐标序列利用最小二乘法拟合圆曲线,判断每个坐标序列是否符合圆曲线,是则将该坐标序列的半径作为LED光球半径,并记录光球中心点坐标;否则,删去坐标序列;
步骤35:确定LED光球半径,获得每个LED光球相对于捕获摄像头坐标系的坐标:
步骤36:通过步骤35得到的坐标值及捕获摄像头的相对坐标,计算得到每个LED光球对应的体验者在房间内的真实三维坐标;
步骤4:服务端将每个LED光球在房间的真实三维坐标连同该VR眼镜的陀螺仪姿态数据、磁力计数据和重力计数据打包,实时分发给每个VR眼镜对应的客户端;
步骤5:客户端将所有体验者的真实三维坐标换算为虚拟环境的坐标,并实时生成虚拟环境或模型,最终将虚拟画面实时渲染给体验者的VR眼镜;
所述步骤35,确定LED光球半径,获得每个LED光球相对于捕获摄像头坐标系的坐标具体包括:
根据摄像头投影原理、摄像头广角、广角投影角度这三个预设参数及LED光球半径,利用皮尔森型分布算法计算每个LED光球到摄像头距离:最终获得每个LED光球相对于捕获摄像头坐标系的坐标值(x,y,distance):
其中,radius=R;distance是指每个LED光球到摄像头距离;公式中其余参数为函数内参,height=517.281,center=1.297338,hwhm=3.752844,shape=0.4762335。
3.如权利要求2所述的基于多摄像头的多目标位置捕获定位方法,其特征在于,所述步骤1中,服务端对摄像头初始化设置包括摄像头坐标;所述摄像头坐标初始化包括:
设定其中一个摄像头二维基坐标为(0,0),一个体验者佩戴LED光球环绕体验室内一周,其他摄像头通过与基准摄像头的相互关系以及获取的重叠区域LED光球坐标位置,生成自身的相对坐标参数并保存;其中,第i个摄像头的相对坐标(xi,yi)由以下公式计算:
(xi,yi)=(x-x,y-y)
式中,(x,y)为根据基准摄像头捕获LED光球的标准室内平面坐标;(x,y)为第i个摄像头所捕获图像中的LED光球坐标;i=2,…,p;p为体验室中摄像头的数量。
CN201611144669.3A 2016-12-13 2016-12-13 基于多摄像头的多目标位置捕获定位***及方法 Active CN106843460B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611144669.3A CN106843460B (zh) 2016-12-13 2016-12-13 基于多摄像头的多目标位置捕获定位***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611144669.3A CN106843460B (zh) 2016-12-13 2016-12-13 基于多摄像头的多目标位置捕获定位***及方法

Publications (2)

Publication Number Publication Date
CN106843460A CN106843460A (zh) 2017-06-13
CN106843460B true CN106843460B (zh) 2019-08-02

Family

ID=59139917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611144669.3A Active CN106843460B (zh) 2016-12-13 2016-12-13 基于多摄像头的多目标位置捕获定位***及方法

Country Status (1)

Country Link
CN (1) CN106843460B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107329593B (zh) * 2017-06-28 2020-10-09 歌尔科技有限公司 一种vr手柄定位方法及装置
CN107479699A (zh) * 2017-07-28 2017-12-15 深圳市瑞立视多媒体科技有限公司 虚拟现实交互方法、装置及***
CN107820593B (zh) * 2017-07-28 2020-04-17 深圳市瑞立视多媒体科技有限公司 一种虚拟现实交互方法、装置及***
WO2019019248A1 (zh) * 2017-07-28 2019-01-31 深圳市瑞立视多媒体科技有限公司 一种虚拟现实交互方法、装置及***
CN109313484B (zh) * 2017-08-25 2022-02-01 深圳市瑞立视多媒体科技有限公司 虚拟现实交互***、方法及计算机存储介质
CN108364034B (zh) * 2018-04-02 2023-09-22 北京大学 一种多模式耦合的动作捕捉方法及装置
CN108445891A (zh) * 2018-05-28 2018-08-24 山东华力机电有限公司 一种agv小车光学导航***和导航方法
CN109146961B (zh) * 2018-09-05 2019-12-31 天目爱视(北京)科技有限公司 一种基于虚拟矩阵的3d测量及获取装置
CN109300163B (zh) * 2018-09-14 2021-09-24 高新兴科技集团股份有限公司 室内全景相机的空间标定方法、存储介质及电子设备
CN109410283B (zh) * 2018-09-14 2021-09-24 高新兴科技集团股份有限公司 室内全景相机的空间标定装置和具有其的定位装置
CN109817031B (zh) * 2019-01-15 2021-02-05 张赛 一种基于vr技术的肢体运动教学方法
CN111984114B (zh) * 2020-07-20 2024-06-18 深圳盈天下视觉科技有限公司 基于虚拟空间的多人交互***及其多人交互方法
CN111988375B (zh) * 2020-08-04 2023-10-27 瑞立视多媒体科技(北京)有限公司 终端的定位方法、装置、设备及存储介质
CN112040092B (zh) * 2020-09-08 2021-05-07 杭州时光坐标影视传媒股份有限公司 一种实时虚拟场景led拍摄***及方法
CN115346419B (zh) * 2022-07-11 2023-08-29 南昌大学 一种基于可见光通信的训练辅助***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1838032A (zh) * 2005-06-28 2006-09-27 钟煜曦 一种基于计算机图像和纯色物体的互动输入控制方法
CN105051648A (zh) * 2013-01-22 2015-11-11 微软技术许可有限责任公司 混合现实过滤
CN105445937A (zh) * 2015-12-27 2016-03-30 深圳游视虚拟现实技术有限公司 基于标记点的多目标实时定位追踪装置、方法及***
CN205581785U (zh) * 2016-04-15 2016-09-14 向京晶 一种多人室内虚拟现实互动***
CN106228127A (zh) * 2016-07-18 2016-12-14 乐视控股(北京)有限公司 室内定位方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1838032A (zh) * 2005-06-28 2006-09-27 钟煜曦 一种基于计算机图像和纯色物体的互动输入控制方法
CN105051648A (zh) * 2013-01-22 2015-11-11 微软技术许可有限责任公司 混合现实过滤
CN105445937A (zh) * 2015-12-27 2016-03-30 深圳游视虚拟现实技术有限公司 基于标记点的多目标实时定位追踪装置、方法及***
CN205581785U (zh) * 2016-04-15 2016-09-14 向京晶 一种多人室内虚拟现实互动***
CN106228127A (zh) * 2016-07-18 2016-12-14 乐视控股(北京)有限公司 室内定位方法及装置

Also Published As

Publication number Publication date
CN106843460A (zh) 2017-06-13

Similar Documents

Publication Publication Date Title
CN106843460B (zh) 基于多摄像头的多目标位置捕获定位***及方法
US9690376B2 (en) Wireless wrist computing and control device and method for 3D imaging, mapping, networking and interfacing
US9628755B2 (en) Automatically tracking user movement in a video chat application
US9047507B2 (en) Upper-body skeleton extraction from depth maps
CN102549619B (zh) 人类跟踪***
CN105279795B (zh) 基于3d标记的增强现实***
WO2018171041A1 (zh) 一种动向智能投影***及其方法
CN105094335B (zh) 场景提取方法、物体定位方法及其***
CN108154550A (zh) 基于rgbd相机的人脸实时三维重建方法
CN106133796A (zh) 用于在真实环境的视图中表示虚拟对象的方法和***
Rudoy et al. Viewpoint selection for human actions
EP2391983A1 (en) Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
CN107211165A (zh) 用于自动延迟视频演示的装置、***和方法
CN105760809A (zh) 用于头部姿态估计的方法和设备
JP2024054137A (ja) 画像表示システム
CN103593641B (zh) 基于立体摄像机的物体检测方法和装置
Wang et al. Image-based occupancy positioning system using pose-estimation model for demand-oriented ventilation
CN206575538U (zh) 一种动向智能投影显示***
CN109445598A (zh) 一种基于视觉的增强现实***装置
Chen et al. Camera networks for healthcare, teleimmersion, and surveillance
US11273374B2 (en) Information processing system, player-side apparatus control method, and program
Chen et al. Real-time 3d face reconstruction and gaze tracking for virtual reality
Mikawa et al. Dynamic projection mapping for robust sphere posture tracking using uniform/biased circumferential markers
CN112330753A (zh) 一种增强现实***的目标检测方法
EP2830728B1 (en) Entertainment system and method of providing entertainment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant