CN104010179B - 基于立体多画的多用户聚类与视点计算***及方法 - Google Patents

Abstract

本发明公开了一种基于立体多画的多用户聚类与视点计算***及方法，包括红外捕获模块、位置映射模块和实时聚类模块，其中，红外捕获模块，用于获取用户位置信息，并实时跟踪用户，所述位置映射模块，用于将红外捕获阶段的物理坐标映射到虚拟空间坐标；所述实时聚类模块，根据用户分布特征，对虚拟空间用户进行实时动态聚类，并将聚类块的中心位置作为用户的视点信息，为后续画面渲染提供数据。本发明在观众数目超过***显示画面数目情况下，位置差别较大观众在同一投影屏幕上看到不同视点的立体画面，而位置相近的观众在同一投影屏幕上可以看到相同视点的立体画面，创造能让用户感受到的更强更自然的沉浸式、真实感体验。

Description

基于立体多画的多用户聚类与视点计算***及方法

技术领域

本发明涉及一种基于立体多画的多用户聚类与视点计算***及方法。

背景技术

在目前市面上的大多数立体显示设备中，当多个用户观看同一屏幕显示器时，他们看到的画面往往是一致的。即当显示器的画面上有物体运动时，他们所看到的物体的运动方向也是一致的。但是在现实世界中，当有物体朝我们“飞”来时，不同视角位置的人看到的物体的运动轨迹其实是不同的。针对这种问题，三星公司在2013年下半年推出了首款曲面OLED电视55S9C，实现了3D智能双画，使得两个观看者可在同一时间观看不同内容，同时利用配套的3D眼镜和内置立体声耳机来观看和收听两个不同画面。另外，索尼也提出过针对分屏游戏的解决方案。在传统的两人分屏游戏中，屏幕被分成两部分，每位玩家所看到的画面各占据一半的屏幕。在其相关专利中，通过对快门眼镜进行同步遮挡，每位玩家都可以看到自己视角的全屏画面。但是，它们只能提供固定视角位置的立体视像体验，不能满足用户或者玩家在移动过程中因视角位置改变而引起的画面实时变化的需求。目前有一些基于投影屏幕的多画显示***，对于同一个三维场景，可根据不同观众用户的(视点)位置渲染不同的画面，并通过主动式快门眼镜显示给该用户。这样，每个用户看到的画面可以不同。但是这些***中，人数受限于***可显示的画面数，如可现实6个画面的***只支持6个人使用。也有***可支持超过显示画面数(如2个)的用户使用，但是都是根据可显示画面数事先划定好固定的观看区域(如2个)，画面真实感不强。因此，本发明设计了一种支持立体多画投影显示的多用户位置聚类与视点计算方法，在***显示画面数的约束下，对不同时刻观众的动态位置进行聚类，计算出不超过***显示画面数的视点数目，使得位置相近的人看到的画面相同，位置差别较大的观众在同一投影屏幕上看到不同视点的立体画面，从而可支持超过***显示画面数目的观众进行观看合适的画面，增强观众真实感体验。

目前，基于大屏幕投影的立体显示***主要存在的问题有：

(1)不同位置的观众在同一投影屏幕上只能看到同一视角的立体画面；

(2)观众可以看到几个有限固定视点的画面，但是画面是预先渲染好的，存储、通讯量大，观众人数较少；或者观看区域是事先划分好的，缺少真实感。

(3)在观看过程中，观众活动范围小、位置信息单一。

发明内容

本发明为了解决上述问题，提出了一种基于立体多画的多用户聚类与视点计算***及方法，本方法根据捕获的用户位置信息，实时对用户进行跟踪、聚类，并计算合理的用户视点信息。对于移动的用户群体，根据不同时刻用户的聚集特征，实时计算、优化视点区域，动态确定视点数目，为后续画面渲染提供数据来源。

为了实现上述目的，本发明采用如下技术方案：

一种基于立体多画的多用户聚类与视点计算***，包括红外捕获模块、位置映射模块和实时聚类模块，其中：

所述红外捕获模块，用于获取用户位置信息，并实时跟踪用户，为实时聚类模块提供输入数据；

所述位置映射模块，用于将红外捕获阶段的物理坐标映射到虚拟空间坐标，即对红外捕获模块捕获到的人物位置信息进行坐标转换，以便使用后续算法完成聚类；

所述实时聚类模块，根据用户分布特征，对虚拟空间用户进行实时动态聚类，并将聚类块的中心位置作为用户的视点信息，为后续画面渲染提供数据。

所述红外捕获模块包括主动式红外摄像头。

基于上述多用户位置聚类与视点计算的方法，包括以下步骤：

(1)开启红外捕获模块：利用红外摄像头捕获用户的图像，得到用户位置信息；

(2)开启位置映射模块：对获得的人物位置信息进行坐标转换，将其映射到虚拟空间；

(3)开启实时聚类模块：根据用户分布特征，进行实时动态聚类，并将聚类块的中心位置作为用户的视点信息。

所述步骤(1)中红外摄像头捕获用户位置信息方法，具体包括以下步骤：

(1-1)获取背景图像；

(1-2)红外摄像头实时捕获图像，并和步骤(1-1)中获取的背景图像进行相减运算：若差值大于预先设置的阈值，则认为生成图像是前景图像，并标记为黑色；若差值不大于预先设置的阈值，则认为场景区域内没有用户；

(1-3)对目标图像进行去噪处理，消除目标图像中的杂点；对前景图像中每个像素点(x,y)的8邻域((x-1,y-1),(x,y-1),(x+1,y-1),(x-1,y),(x+1,y),(x-1,y+1),(x,y+1),(x+1,y+1))进行噪声点的判断，如果像素点的8邻域内至少存在5个黑像素点，则该像素点属于前景图像；否则，属于噪声点；

(1-4)对前景图像进行形态学处理，包括膨胀和腐蚀操作；

(1-5)输出目标图像；

(1-6)采用移动窗口法对前景图像中人数和位置进行跟踪。

所述步骤(2)位置映射方法，具体包括以下步骤：

(2-1)选定物理场景中的三个已知点，通过坐标映射将已知点转换到虚拟坐标空间中；

(2-2)将用户在物理坐标中的位置通过同样的坐标映射将其映射到虚拟坐标空间内完成位置映射。

所述步骤(2-1)中三个已知点的选取方法为：随机选择三个已知点，保证三个点不重合、不在一条线上。

所述步骤(3)中根据用户位置信息实时动态聚类方法，具体包括以下步骤：

(3-1)利用重心Voronoi算法将初始聚类中心均匀地分布在整个虚拟空间中；

(3-2)利用(3-1)所得区域的重心作为k-means算法的初始参数；

(3-3)对虚拟空间中的用户位置点进行动态k-means聚类，所得聚类块的数目为k，且k≤n，n表示***允许显示画面数目的最大值；

(3-4)输出聚类块中心位置，即位置加权平均数，作为渲染模块的视点输入数据；输出聚类块的数目k，作为渲染立体图像的数目；

(3-5)根据聚类块的数目k、渲染模块的视点位置，渲染服务器完成k个画面的渲染，并通过投影显示；

(3-6)如果检测跟踪时刻未结束，则跳转至步骤(3-3)，否则结束算法。

本发明的有益效果为：

(1)在***显示画面数目的限制下，观众数目不受显示画面数目的约束，允许观众数目超过***显示画面数目，且观众人数可以随时动态增减；

(2)在观众数目超过***显示画面数目情况下，位置差别较大观众在同一投影屏幕上看到不同视点的立体画面，而位置相近的观众在同一投影屏幕上可以看到相同视点的立体画面，创造能让用户感受到的更强更自然的沉浸式、真实感体验；

(3)具有动态渲染立体图像的能力；可以根据用户的不同时刻位置分布特征，动态划分视点区域，实时渲染出以相应位置为视点的画面。

附图说明

图1为本发明的硬件组成结构图；

图2为利用本发明搭建的***框架图；

图3为基于红外摄像头的用户位置信息捕获方法示意图；

图4为根据用户位置信息实时动态聚类方法示意图；

图5为本发明应用于群体射击类体感游戏的实例示意图。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

如图1所示，本发明所需的关键设备包括：立体DLP投影仪、主动式网络红外摄像头、金属幕布、可编程主动式快门眼镜、环绕声立体耳机。将投影机安装在影厅中的天棚上或墙壁上；采用环绕声立体耳机，用户可听到基于其位置生成的立体声音，且用户之间声音无干扰，以造成身临其境的震撼感。捕获用户位置信息的红外摄像头设备安装在金属幕布对面的墙壁上。

如图2所示，以双画显示为例。本发明的操作流程为：

(1)红外摄像头获取观众的位置信息并实时跟踪；

(2)将步骤(1)中获取的现实场景中的观众位置映射到虚拟空间中相应点的位置，即完成物理空间到虚拟空间的坐标转换；

(3)将虚拟空间中的点利用本发明的方法完成聚类，如图2所示，将虚拟场景中的点划分为两部分；

(4)分别以实时划分的聚类块的中心为视点对画面进行渲染；

(5)输出这些渲染画面，使不同位置的观众看到其所在聚类块中心为视点的立体画面。

如图3所示，基于红外的用户位置信息捕获方法的实现流程为：

(1)获取背景图像；

(2)红外摄像头实时捕获图像，并和步骤(1)中获取的背景图像进行相减运算：若差值大于预先设置的阈值，则认为生成图像是前景图像，并标记为黑色；若差值不大于预先设置的阈值，则认为场景区域内没有用户；

(3)对目标图像进行去噪处理，目的是消除目标图像中的杂点。对前景图像中每个像素点的8邻域进行噪声点的判断，如果像素点的8邻域内至少存在5个黑像素点，则该像素点属于前景图像；否则，属于噪声点；

(4)对前景图像进行形态学处理，包括膨胀和腐蚀操作；

(5)输出目标二值图像；

(6)采用移动窗口法对输出的二值图像中人数和位置进行识别和跟踪。

设头部跟踪使用的窗口大小为hw×hh，用户头部到左肩或右肩的宽度为bw，头部检测的高度误差阈值为dh，宽度误差阈值为dw，人数识别跟踪帧数为F，其中，hw＝hh＝30，bw＝40，dh＝dw＝5，F＝1000。

设窗口的中心位置作为该窗口的坐标：

(6-1)判断该帧是否为第一帧；

(6-1-1)如果该帧为第一帧，转向步骤(6-2)；

(6-1-2)如果该帧不是第一帧，转向步骤(6-7)；

(6-2)将窗口移动到坐标点点；

(6-3)从当前位置按列进行扫描；

(6-4)统计移动窗口hw×hh内的黑点个数N，即属于目标的像素点个数；

(6-4-1)如果说明当前位置存在用户，为该用户设置唯一标识符，记录黑点区域的中心位置p(px,py），作为该用户位置信息；

(6-4-2)如果则当前位置不存在用户；

(6-5)当移动窗口移动到或窗口移动时判断水平方向跳转越界，即大于width时，该帧处理完毕，转向步骤(6-6)；

(6-6)判断当前帧是否小于F；

(6-6-1)如果当前帧小于F，则当前帧数加1，并将当前帧中用户群位置信息

P(px,py){p₁,p₂,…,p_m}(m为场景内用户的个数)赋值给前一帧用户群位置信息

PRE(prex,prey)，返回到步骤(1)；

(6-6-2)否则，算法结束。

(6-7)利用前一帧位置信息，使用粒子滤波跟踪方法完成对各个目标的跟踪，得到当前用户位置信息p(px,py)，返回步骤(6-6)。

所述步骤(6-4-1)的详细操作步骤为：

(a)当窗口当前x坐标px+hw+bw>width时，该帧处理完毕，转向步骤(6-6)。

(b)否则将窗口移动到像素点。例如，当前点为x,y，则移动到点，返回到步骤(6-3)；

所述步骤(6-4-2)的详细操作步骤为：

(a)当窗口当前y坐标时，则该列遍历完毕；

(a-1)判断px+hw+bw>width是否成立，如果成立，则该帧处理完毕，转向步骤(6-6)；

(a-2)否则将窗口移动到像素点。返回到步骤(6-3)。

(b)当y坐标时，将窗口移动到(px,py+span)像素点。例如，当前点为(x,y)，则移动到(x,y+span)点，返回到步骤(6-3)；至此，红外摄像头捕获观众位置的步骤完成。

如图4所示，首先根据重心Voronoi算法将初始聚类中心均衡地分布在整个空间中，然后利用划分区域的重心作为k-means算法的初始参数，对场景空间进行动态划分，得到视点的有效区域划分，保持位置上聚集的观众看到的画面视角基本一致。

基于用户位置信息的实时动态聚类方法，具体实现过程是：

假设屏幕的刷新率为n*120Hz，即屏幕最多能够以帧序列格式交替显示n个不同的3D视频，用户数为m。

(1)当m<＝n时，将每个用户看成一个对象，每一时刻用其当前位置作为实时渲染视点。

(2)当m>n时，视点渲染画面的区域数目受显示设备刷新频率的限制，最多区域数目为n。此时，根据用户的分布特征对群体进行动态划分。

(2-1)利用重心Voronoi划分将初始聚类中心x＝{x_i}，i＝1,2,…,n，均衡地分布在整个虚拟空间R中；

(2-2)集合x作为k-means算法的初始参数；

(2-3)对虚拟空间中的用户位置点进行动态k-means聚类，所得聚类块的数目为k，这里要求k≤n；

(2-4)输出聚类块中心位置，作为渲染模块的视点输入数据；输出聚类块的数目k，作为渲染立体图像的数目；

(2-5)输出渲染画面；

(2-6)如果检测跟踪时刻未结束，则跳转至步骤(2-3)，否则结束算法。

如图5所示，是本发明应用于群体射击类体感游戏的一个实例。在这个多人射击体感游戏中，共有6名玩家与虚拟世界中敌人(骷髅)进行射击对抗。在投影刷新率(240Hz)的限制下，最多只能显示两个不同视角的3D画面，即n＝2，m＝6。为此，采用图4实时动态聚类方法，对移动的用户群体进行实时聚类，为其呈现最优视角的画面。例如，玩家A、C在移动过程中的某个时刻由于距离较近，所以为他们呈现的是同一视点的画面，该视点的位置由其所在聚集块的中心得到。而远离A、C的玩家B、D、E、F呈现其所在聚类块中心为视点的画面。玩家A、C由于虚拟世界中墙体的遮挡，所以通过快门眼镜看不到敌人。而玩家B、D、E、F因与敌人处于墙体的同一侧，所以可以通过快门眼镜看到对面的两个骷髅。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.一种基于立体多画的多用户聚类与视点计算***，其特征是：包括红外捕获模块、位置映射模块和实时聚类模块，其中：

所述红外捕获模块，用于获取背景图像、将红外摄像头实时捕获的图像与获取的背景图像进行相减运算，判断是否为前景图像，对目标图像进行去噪处理，消除目标图像中的杂点，对前景图像进行形态学处理，以获取用户位置信息，并实时跟踪用户，为实时聚类模块提供输入数据；

所述位置映射模块，用于将红外捕获阶段的物理坐标映射到虚拟空间坐标，即对红外捕获模块捕获到的人物位置信息进行坐标转换，以便使用后续算法完成聚类；

所述实时聚类模块，根据用户分布特征，进行实时动态聚类，利用重心Voronoi算法将初始聚类中心均匀地分布在整个虚拟空间中，对虚拟空间中的用户位置点进行动态k-means聚类，并将聚类块的中心位置作为用户的视点信息，根据聚类块的数目、渲染模块的视点位置，渲染服务器完成画面的渲染，并通过投影显示，为后续画面渲染提供数据。

2.如权利要求1所述的一种基于立体多画的多用户聚类与视点计算***，其特征是：所述红外捕获模块包括主动式红外摄像头。

3.如权利要求1-2中任一项所述的多用户位置聚类与视点计算***的方法，其特征是：包括以下步骤：

(1)开启红外捕获模块：获取背景图像、将红外摄像头实时捕获的图像与获取的背景图像进行相减运算，判断是否为前景图像，对目标图像进行去噪处理，消除目标图像中的杂点，对前景图像进行形态学处理，以获取用户位置信息，并实时跟踪用户，为实时聚类模块提供输入数据；

(2)开启位置映射模块：对获得的人物位置信息进行坐标转换，将其映射到虚拟空间；

(3)开启实时聚类模块：根据用户分布特征，进行实时动态聚类，利用重心Voronoi算法将初始聚类中心均匀地分布在整个虚拟空间中，对虚拟空间中的用户位置点进行动态k-means聚类，并将聚类块的中心位置作为用户的视点信息，根据聚类块的数目、渲染模块的视点位置，渲染服务器完成画面的渲染，并通过投影显示。

4.如权利要求3所述的的方法，其特征是：所述步骤(1)中红外摄像头捕获用户位置信息方法，具体包括以下步骤：

(1-1)获取背景图像；

(1-2)红外摄像头实时捕获图像，并和步骤(1-1)中获取的背景图像进行相减运算：若差值大于预先设置的阈值，则认为生成图像是前景图像，并标记为黑色；若差值不大于预先设置的阈值，则认为场景区域内没有用户；

(1-3)对目标图像进行去噪处理，消除目标图像中的杂点；对前景图像中每个像素点(x,y)的8邻域((x-1,y-1),(x,y-1),(x+1,y-1),(x-1,y),(x+1,y),(x-1,y+1),(x,y+1),(x+1,y+1))进行噪声点的判断，如果像素点的8邻域内至少存在5个黑像素点，则该像素点属于前景图像；否则，属于噪声点；

(1-4)对前景图像进行形态学处理，包括膨胀和腐蚀操作；

(1-5)输出目标图像；

(1-6)采用移动窗口法对前景图像中人数和位置进行跟踪。

5.如权利要求3所述的的方法，其特征是：所述步骤(2)位置映射方法，具体包括以下步骤：

(2-1)选定物理场景中的三个已知点，通过坐标映射将已知点转换到虚拟坐标空间中；

(2-2)将用户在物理坐标中的位置通过同样的坐标映射将其映射到虚拟坐标空间内完成位置映射。

6.如权利要求5所述的的方法，其特征是：所述步骤(2-1)中三个已知点的选取方法为：随机选择三个已知点，保证三个点不重合、不在一条线上。

7.如权利要求3所述的的方法，其特征是：所述步骤(3)中根据用户位置信息实时动态聚类方法，具体包括以下步骤：

(3-1)利用重心Voronoi算法将初始聚类中心均匀地分布在整个虚拟空间中；

(3-2)利用(3-1)所得区域的重心作为k-means算法的初始参数；

(3-3)对虚拟空间中的用户位置点进行动态k-means聚类，所得聚类块的数目为k，且k≤n，n表示***允许显示画面数目的最大值；

(3-4)输出聚类块中心位置，即位置加权平均数，作为渲染模块的视点输入数据；输出聚类块的数目k，作为渲染立体图像的数目；

(3-5)根据聚类块的数目k、渲染模块的视点位置，渲染服务器完成k个画面的渲染，并通过投影显示；

(3-6)如果检测跟踪时刻未结束，则跳转至步骤(3-3)，否则结束算法。