CN104038726A - 实现裸眼3d视频会议的方法 - Google Patents

Abstract

本发明公开了实现裸眼3D视频会议的方法,包括以下步骤：(1)用于采集第一用户多角度图像信息的摄像机组装置；(2)将步骤(1)中所述摄像机组装置采集的多角度图像信息实时转换成适合图像编码和图像存储的恩式3D图像格式数据；(3)用于接收第二用户3D图像的接收显示软件转换器，所述接收显示软件转换器用于接收步骤(2)中所述图像数据软件融合器产生的恩式3D图像格式数据；本发明的优点是在视频发送端对采集到的3D视频数据经图像数据软件融合器转换成恩式3D图像格式数据，更适合3D图像的存储和标准化编解码；在视频接收端以接收显示软件转换器将恩式3D图像格式数据转换成与显示设备相匹配的裸眼3D数据，使观看者摆脱了3D眼镜的束缚。

Description

实现裸眼3D视频会议的方法

技术领域

本发明涉及实现裸眼3D视频会议的方法,属于自动控制技术领域。

背景技术

视频会议***在全世界范围内有着广泛应用，而远程传输高清3D视频能够使用户得到更多有用的图像信息，从而满足机械设计、远程诊疗等进一步的需求，但3D视频会议的多数据流同步、视频编码、实时传输和裸眼显示等一系列技术问题尚未得到充分解决，3D视频会议***的实现有着诸多技术瓶颈。

经对现有技术文献和专利的检索发现，皇家飞利浦电子股份有限公司2004年申请的3D视频会议专利中提出以一种双视频的照相机和立体图像显象的光学装置实现3D视频会议的方法，但该专利使用3D左右眼图像切换的显像方式，必须配套使用特制的3D眼镜，因此***实现复杂；且该专利着重定义了3D采集设备和显示设备，而对3D图像的数字化编码、传输和存储方法没有明确给出，因此研究有效的3D图像编码、传输、存储和裸眼3D成像方法对于3D视频会议***的实现具有重要的意义。

在进一步的检索中，尚未发现任何与本文类似的实现裸眼3D视频会议方法的文献和报道。

发明内容

本发明的目的在于提供一种能够克服上述技术问题的实现裸眼3D视频会议的方法，本发明包括以下步骤：

(1)用于采集第一用户多角度图像信息的摄像机组装置，该摄像机组装置包括N(N>＝1)个摄像机；

(2)图像数据软件融合器，将步骤(1)中所述摄像机组装置采集的多角度图像信息实时转换成适合图像编码和图像存储的恩式3D图像格式数据；

(3)用于接收第二用户3D图像的接收显示软件转换器，所述接收显示软件转换器用于接收步骤(2)中所述图像数据软件融合器产生的恩式3D图像格式数据，并将恩式3D图像格式数据与不同显示设备进行匹配，使图像能够在包括但不限于裸眼3D设备上正确显示。

所述恩式3D图像格式是一种3D图像存储格式，其特征在于，对同一时刻的多幅图像采用分割16x16像素宏块并交织排列存储的方式，该格式采用宏块交织结构，因此更适合3D图像的存储和对3D图像进行标准压缩编解码。

其一，步骤(1)中所述的摄像机组装置，其特征在于，

1)所述摄像机组装置包括一个，或二个，或三个，甚至更多个采集摄像机，面对第一用户进行多角度图像信息采集；

2)所述摄像机组装置的摄像机分布的方法为均匀围绕用户；

3)所述摄像机组装置采集的图像信息包括：连续拍摄动态视频图像和单帧拍摄静态图像。其二，步骤(2)中所述的图像数据软件融合器，其特征在于，

1)所述图像数据软件融合器将步骤(1)中所述的摄像机组采集的同一个时刻的N个图像进行融合，融合成恩式格式图像数据；

2)所述恩式3D图像格式为适合3D图像编码和图像存储的宏块排列方式；具体包括以下步骤：

步骤一：将同一个时刻的N幅图像按照摄像机位置相邻顺序依次编号为1,2,...,N，其中N为摄像机个数；

步骤二：将同一个时刻的N幅图像分别分割成16x16像素的宏块，得到第1幅图像为宏块集合{MB₁₁,MB₁₂,...,MB_1k},第2幅图像为宏块集合{MB₂₁,MB₂₂,...,MB_2k}，……，得到第N幅图像为宏块集合{MB_N1,MB_N2,...,MB_Nk},其中k=M/(16×16),M为每幅图像包含的像素个数；

步骤三：将N幅图像包含的宏块集合按{MB₁₁,MB₂₁,...,MB_N1,MB₁₂,MB₂₂,...,MB_N2,...,MB_1k,MB_2k,...,MB_Nk}的交错顺序排列成恩式3D图像格式；

3)对恩式3D图像格式数据进行H.264图像编码，连同G.729编码的实时音频数据，通过以太网传输到第二用户。

其三，步骤(3)中所述的接收显示软件转换器，其特征在于，

1)第二用户获得数据后，进行图像H.264解压缩，重新获得恩式3D图像格式数据；

2)对恩式3D图像格式数据进行数据宏块拆分，重新获得分离的N幅图像；

3)将N幅图像对不同的显示设备进行匹配，本发明对于裸眼3D，即柱镜式免眼镜的3D显示屏幕，提供算法。算法如下：

步骤一：检测3D显示屏幕设备，获得该设备支持显示的视点图数目W；

步骤二：根据3D显示屏幕设备要求的视点图产生视点数据；

(i)若W=N，则直接将N幅图像输出为视点数据；

(ii)若W＜N，则将N幅图序列以第N/2幅图像为中点(假设第N/2幅图像为第一用户的正面图像)，按均匀分布对称减少图像数目，直至N=W，此时将W幅图像输出为视点数据。以W＝5,N＝9为例，恩式格式图像数据分离得到9幅图像{1,2,3,4,5,6,7,8,9}，根据3D显示屏幕设备要求最终输出视点数据包括5幅图像{1,3,5,7,9}；

(iii)若W＞N，则将N幅图序列以第N/2幅图像为中点(假设第N/2幅图像为第一用户的正面图像)，按均匀分布对称增加图像数目，增加合成图像算法采用相邻两幅图像空域均值法，直至N=W，此时将W幅图像输出为视点数据。以W＝9,N＝5为例，恩式格式图像数据分离得到5幅图像{1,2,3,4,5}，根据3D显示屏幕设备要求，使用相邻两幅图像空域均值法，最终输出视点数据包括9幅图像{1,(1+2)',2,(2+3)',3,(3+4)',4,(4+5)',5}；

4)获得相应视点数据后，按照合成柱镜格式像素排练要求，以裸眼3D柱镜或者全息的方式显示。

显示采用微透镜光栅屏幕，利用一组倾斜排列的凸透镜阵列，通过仅在水平方向上发生的折射来为双眼提供不同的透视图像。

本发明的优点是在视频发送端对采集到的3D视频数据经图像数据软件融合器转换成恩式3D图像格式数据，该格式为16X16宏块交织结构，更适合3D图像的存储和标准化编解码；在视频接收端以接收显示软件转换器将恩式3D图像格式数据转换成与显示设备相匹配的裸眼3D数据，使观看者摆脱了3D眼镜的束缚。

附图说明

图1是本发明所述实现裸眼3D视频会议的方法的第一用户摄像机组装置图；

图2是本发明所述实现裸眼3D视频会议的方法的图像数据软件融合器框图；

图3是本发明所述实现裸眼3D视频会议的方法的恩式3D图像格式数据生成原理图；

图4是本发明所述实现裸眼3D视频会议的方法的第二用户视点数据生成原理图(W＜N)；

图5是本发明所述实现裸眼3D视频会议的方法的第二用户视点数据生成原理图(W＞N)；

图6是本发明所述实现裸眼3D视频会议的方法的第二用户LCD显示板排列图；

图7是本发明所述实现裸眼3D视频会议的方法的子像素所对应视点图；

图8是本发明所述实现裸眼3D视频会议的方法的子像素点在LCD上的映射图；

图9是本发明所述实现裸眼3D视频会议的方法的接收显示软件转换器输出的视点数据；

图10是本发明所述实现裸眼3D视频会议的方法的最终合成的裸眼3D显示图像。

具体实施方式

下面结合附图和实施例对本发明进行详细描述。如图1所示是第一用户摄像机组装置图；如图2所示是图像数据软件融合器框图；如图3所示是恩式3D图像格式数据生成原理图；如图4所示是第二用户视点数据生成原理图(W＜N)；如图5所示是第二用户视点数据生成原理图(W＞N)。

如图6所示，LCD板上排列的是原多视点图像上的R.G.B子像素；如图7所示，计算子像素所对应的视点数，每个柱镜光栅单元的栅距为P，在水平方向上覆盖RGB子像素的个数为X，透镜轴相对于LCD显示屏垂直轴的倾斜角为α。

由图7可得W个视点图子像素映射通用计算公式：

Pixel=(((y-3xtanα+Offset)modX)*W)/X

a)Pixel表示每个子像素对应的视点号,Pixel最终取四舍五入；

b)x,y为子像素在图像阵列中的下标；

c)α为光栅倾斜角(本示例取13.8432)；

d)Offset为显示器偏移量(本示例取-3.90)；

e)X为一个柱镜光栅所能容纳的视点个数；

f)W为视点个数(本实施例中取9)。

本实施例中，采用9个640*360大小视点图像，实际中还有8个视点或者26视点等多个视点的基于柱镜的裸眼3D成像技术，根据棱镜光栅自由立体显示成像原理，利用计算机软件设计对9视点图像的像素点进行融合。

因此，通过给定的子像素坐标(x,y),可以计算出每一个子像素点对应的视点图像序号，然后根据视点序号进行图像融合，如图8所示，图8即是子像素点在LCD上的映射图。

第二用户解码、重组得到的9幅图像，如图9所示，图9即是接收显示软件转换器输出的视点数据，视点数据按照合成柱镜格式像素排练要求，以裸眼3D柱镜显示方式合成后的图像如图10所示，图10即是最终合成的裸眼3D显示图像,图10完全符合裸眼3D显示设备的要求。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明公开的范围内，能够轻易想到的变化或替换，都应涵盖在本发明权利要求的保护范围内。

Claims (4)

1.实现裸眼3D视频会议的方法，其特征在于，包括以下步骤：

(1)用于采集第一用户多角度图像信息的摄像机组装置，该摄像机组装置包括N个摄像机，N>＝1)；

(2)图像数据软件融合器，将步骤(1)中所述摄像机组装置采集的多角度图像信息实时转换成适合图像编码和图像存储的恩式3D图像格式数据；

(3)用于接收第二用户3D图像的接收显示软件转换器，所述接收显示软件转换器用于接收步骤(2)中所述图像数据软件融合器产生的恩式3D图像格式数据，并将恩式3D图像格式数据与不同显示设备进行匹配，使图像能够在包括但不限于裸眼3D设备上正确显示；

所述恩式3D图像格式是一种3D图像存储格式，其对同一时刻的多幅图像采用分割16x16像素宏块并交织排列存储的方式，该格式采用宏块交织结构，因此更适合3D图像的存储和对3D图像进行标准压缩编解码。

2.根据权利要求1所述的实现裸眼3D视频会议的方法，其特征在于，步骤(1)中所述的摄像机组装置的特征是：

1)所述摄像机组装置包括一个，或二个，或三个，甚至更多个采集摄像机，面对第一用户进行多角度图像信息采集；

2)所述摄像机组装置的摄像机分布的方法为均匀围绕用户；

3)所述摄像机组装置采集的图像信息包括：连续拍摄动态视频图像和单帧拍摄静态图像。

3.根据权利要求1所述的实现裸眼3D视频会议的方法，其特征在于，步骤(2)中所述的图像数据软件融合器的特征是：

1)所述图像数据软件融合器将步骤(1)中所述的摄像机组采集的同一个时刻的N个图像进行融合，融合成恩式格式图像数据；

2)所述恩式3D图像格式为适合3D图像编码和图像存储的宏块排列方式；具体包括以下步骤：

步骤一：将同一个时刻的N幅图像按照摄像机位置相邻顺序依次编号为1,2,...,N，其中N为摄像机个数；

步骤二：将同一个时刻的N幅图像分别分割成16x16像素的宏块，得到第1幅图像为宏块集合{MB₁₁,MB₁₂,...,MB_1k},第2幅图像为宏块集合{MB₂₁,MB₂₂,...,MB_2k}，……，得到第N幅图像为宏块集合{MB_N1,MB_N2,...,MB_Nk},其中k=M/(16×16),M为每幅图像包含的像素个数；

步骤三：将N幅图像包含的宏块集合按{MB₁₁,MB₂₁,...,MB_N1,MB₁₂,MB₂₂,...,MB_N2,...,MB_1k,MB_2k,...,MB_Nk}的交错顺序排列成恩式3D图像格式；

3)对恩式3D图像格式数据进行H.264图像编码，连同G.729编码的实时音频数据，通过以太网传输到第二用户。

4.根据权利要求1所述的实现裸眼3D视频会议的方法，其特征在于，步骤(3)中所述的接收显示软件转换器的特征是：

1)第二用户获得数据后，进行图像H.264解压缩，重新获得恩式3D图像格式数据；

2)对恩式3D图像格式数据进行数据宏块拆分，重新获得分离的N幅图像；

3)将N幅图像对不同的显示设备进行匹配，本发明对于裸眼3D，即柱镜式免眼镜的3D显示屏幕，提供算法。算法如下：

步骤一：检测3D显示屏幕设备，获得该设备支持显示的视点图数目W；

步骤二：根据3D显示屏幕设备要求的视点图产生视点数据；

(i)若W=N，则直接将N幅图像输出为视点数据；

(ii)若W＜N，则将N幅图序列以第N/2幅图像为中点(假设第N/2幅图像为第一用户的正面图像)，按均匀分布对称减少图像数目，直至N=W，此时将W幅图像输出为视点数据。以W＝5,N＝9为例，恩式格式图像数据分离得到9幅图像{1,2,3,4,5,6,7,8,9}，根据3D显示屏幕设备要求最终输出视点数据包括5幅图像{1,3,5,7,9}；

(iii)若W＞N，则将N幅图序列以第N/2幅图像为中点(假设第N/2幅图像为第一用户的正面图像)，按均匀分布对称增加图像数目，增加合成图像算法采用相邻两幅图像空域均值法，直至N=W，此时将W幅图像输出为视点数据。以W＝9,N＝5为例，恩式格式图像数据分离得到5幅图像{1,2,3,4,5}，根据3D显示屏幕设备要求，使用相邻两幅图像空域均值法，最终输出视点数据包括9幅图像{1,(1+2)',2,(2+3)',3,(3+4)',4,(4+5)',5}；

4)获得相应视点数据后，按照合成柱镜格式像素排练要求，以裸眼3D柱镜或者全息的方式显示。