CN103281507B - 基于真三维显示的可视电话***及方法 - Google Patents

Abstract

本发明涉及一种基于真三维显示的可视电话***及方法。本***包括第一摄像机、第二摄像机、横向偏振片、偏振反射片、立体影像投影机、投影机、第一计算机、第二计算机、纵向偏振片、反射镜、转台、漫反射屏幕、保护支架、USB集线器、三条USB线，通信线，HDMI视频线，红外光源、红外滤镜。本方法通过三维图像采集子***采集到视频信号，经由计算机计算换成三维人脸模型，三维人脸模型由通信网传输给另一套可视电话***进行三维成像。本发明成本低、容易实现、运行可靠、稳定性高、裸视立体感强。

Description

基于真三维显示的可视电话***及方法

技术领域

本发明涉及三维立体可视电话***及方法，具体涉及一种基于真三维显示的可视电话***及方法，属于三维图像获取与显示技术领域。

背景技术

客观世界是存在三维尺寸的立体空间。显示设备诞生以来，为了可以真实地再现客观世界，人们从未间断对于立体显示技术的研究。所谓立体显示是指能显示图像深度(第三维)效果，就像我们看真实世界一样，是立体的。立体显示技术按是否添加立体眼镜的角度来说可分为裸眼立体显示技术和非裸眼立体显示技术。

目前的裸视立体显示技术主要包含全息三维显示、体显示技术和自由立体显示三种。全息三维显示设法重构眼睛能得到的物体的光波，使即便物体不在原处也能看到该物体的逼真映像，目前存在的最大问题是三维光场信息重现较为复杂，不方便大面积应用。第二种是体显示技术即真三维显示技术，它通过适当方式激励显示体内的介质产生可见光辐射形成体像素，这些分散在三维空间的体像素构成了立体图像。体三维显示的图像存在于真实三维空间，展示一个最接近真实物体的立体画面，符合人们观察世界场景的真实感受，满足所有生理和心理深度暗示，可同时允许多人、多角度、裸眼观看场景，无需任何辅助眼镜，较之其他两种裸视立体显示技术，更接近于终极显示的目标，但由于显示部件跟随运动，其显示空间较小。第三种是自由立体显示技术，通常使用柱透镜、微透镜等材料覆盖在平面显示器前方，将原先一幅三维图像分解成多幅相互关联的两维图像，通过双眼视差形成立体视觉。该方法的缺陷是视区与分辨率之间的矛盾，分辨率大，视区才广，但是目前分辨率不可能大幅度提升，这就限制了视区广度的扩展，导致观察时眼部不适，观众可在屏幕前方正负约30度观看到较好的视差立体影像，立体视区少于48个，有效视点少于42，最多可容纳十名观众同时观看。

在国内，立体可视电话***的普遍采用助视立体显示器，用户佩戴偏振式或快门式眼睛实现立体视觉，然而对话双方将互相看到佩戴立体的电话用户。上海大学设计制作的基于自由立体显示器的可视电话***，虽然无需佩戴立体眼睛，但8视点拍摄的立体数据量大，对通信网络带宽的要求高，很难在市场上普及。

上述方案虽然都可实现了立体可视通信，但都存在立体效果和通信带宽的不足。它们以平面图像为基础，立体视区分辨率低、立体视角小、立体数据量大。

发明内容

鉴于以上所述现有技术的存在的问题和不足，本发明的目的是提供一种基于真三维显示的可视电话***及方法，实现真三维显示与可视三维通信。

本发明采用以下技术方案实现：

一种基于真三维显示的可视电话***，包括第一摄像机、第二摄像机、横向偏振片、偏振反射片、立体影像投影机、投影机、第一计算机、第二计算机、纵向偏振片、反射镜、转台、漫反射屏幕、保护支架、USB集线器、三条USB线，通信线，HDMI视频线，红外光源、红外滤镜，用于贴图图像采集的第一摄像机通过横向偏振片和偏振反射片拍摄人脸，其镜像点位于虚拟三维影像的眼睛位置，用于结构光生成的投影机和结构光获取第二摄像机对准人脸并通过USB线和USB集线器连接计算机，计算机通过HDMI视频线连接立体影像投影机，所述漫反射屏幕垂直固定在转台上，转台固定在保护支架上；所述纵向偏振片位于立体影像投影机的正前方，所述反射镜斜置位于纵向偏振片前方，使立体影像投影机的投影照射在漫反射屏幕上；所述红外光源位于投影机内部，红外滤镜位于第二摄像机正前方。

一种基于真三维显示的可视电话方法，采用上述成像***进行成像操作，操作步骤如下：

1)基于投影结构光扫描的真三维人脸模型生成，步骤为：

a结构光***标定：确定红外结构光投影机与第二摄像机的位置和角度关系，建立结构光***的透视投影模型，输入空间坐标点，对物理坐标和摄像机图像坐标进行拟合，建立图像坐标和物理坐标的标定映射表；

b建立二值编码图案：二值码图案用m个图案来编码，m为自然数，相邻图案的条纹数以2的倍数增加，在条纹数最多的图案中,属于相同条纹的所有像素具有相同的码字；

c三维人脸点云重建方法：投射二值编码图案，通过红外滤镜后，摄像机获取原始红外图像，经过背景滤除、二值化、几何校正、分辨率匹配后，获取单帧结构光投影图像，通过标定映射表重建三维人脸点云；

d基于虚拟视点图像的人脸模型贴图方法：基于虚拟视点的摄像机拍摄人脸的正面彩色图像，经过点云位置匹配、颜色填充后，实现人脸模型彩色贴图。

2)以体帧为单元，按时间序列将三维点云和贴图数据传输到远端计算机上，远端立体影像投影机投射编码影像并通过漫反射屏成像；

3)使用大规模现场可编程门阵列FPGA和大容量同步动态随机存储器DDRRAM作为投影单元的核心，向DMD驱动模块传输三维图像。

所述的基于真三维显示的可视电话方法中，偏振反射片透射纵向偏振光且反射横向偏振光，贴图图像采集的摄像机通过横向偏振片和偏振反射片拍摄人脸，与立体影像投影机的纵向偏振光互不干扰，摄像机镜像点位于虚拟三维影像的眼睛位置，对方可按实际眼睛位置看到人脸三维影像。

所述的基于真三维显示的可视电话方法中，FPGA和DDRRAM作为立体影像投影机的核心，FPGA通过HDMI视频线获得视频帧，实时解码分离出各角度子帧，实现真三维投影。

所述的基于真三维显示的可视电话方法中，ARM处理器作为摄像机的核心，ARM通过FIFO存储器获得CMOS输出的原始图像，丢弃色彩信号并获取图像亮度信号后实现红外图像的重建。

与现有技术相比，本发明具有如下的突出的实质性特点和显著地优点：

本发明与采用8至9台摄像机同步拍摄的多视点自由立体可视电话相比，使用2台摄像机重建三维影像模型，模型数据小，便于压缩与通信。本发明采用真三维显示终端，立体感真实可信，可视角度不限，不出现重影和头晕等现象。本发明成本较低、实现容易、运行可靠、稳定性高。

附图说明

图1基于真三维显示的可视电话***示意图。

图2投影机内部结构图。

图3结构光***标定结构图。

图4结构光***标定流程图。

图5二值编码图案。

图6三维人脸点云重建算法流程。

图7真三维体帧编码图。

具体实施方式

下面结合附图，对本发明的优选实施例描述如下：

实施例一：

参照图1，一种基于真三维显示的可视电话***，包括第一摄像机9、第二摄像机17、横向偏振片7、偏振反射片6、立体影像投影机1、投影机8、第一计算机18、第二计算机23、纵向偏振片19、反射镜2、转台4、漫反射屏幕5、保护支架3、USB集线器14、三条USB线15，通信线16，HDMI视频线20，红外光源21、红外滤镜22，用于贴图图像采集的第一摄像机9通过横向偏振片7和偏振反射片6拍摄人脸10，其镜像点位于虚拟三维影像11的眼睛位置，用于结构光生成的投影机8和结构光获取第二摄像机17对准人脸10并通过USB线15和USB集线器14连接计算机18，计算机18通过HDMI视频线20连接立体影像投影机1，所述漫反射屏幕5垂直固定在转台4上，转台4固定在保护支架3上；所述纵向偏振片19位于立体影像投影机1的正前方，所述反射镜2斜置位于纵向偏振片19前方，使立体影像投影机1的投影照射在漫反射屏幕5上；所述红外光源21位于投影机8内部，红外滤镜22位于第二摄像机17正前方。

一套三维重建子***：

三维重建子***中采用了一个投影机8和第二摄像机17，通过USB线15连接在计算机18上，采集到的视频信号经由图像采集卡转换成数字视频数据，处理速度可达25帧/秒。

一套真三维成像子***

参照图2，立体影像投影机1内部采用0.95DMD(DigitalMirrorDevice，数字微镜器件)晶片，分辨率达到1920*1080，镜元尺寸为10.8um。立体影像投影机1包括完整的通信接口，通过HDMI视频线20向立体影像投影机1中的数据处理模块传输用于显示的数据；数据处理模块包括一片FPGA和DD2DRRAM，FPGA用于对传输的真三维立体数据进行解码，为后级DMD时序和复位电路提供信号；4G容量的DD2DRRAM为真三维影像文件提供储存；DMD复位和时序电路包括DAD2000复位驱动、DDC4100控制器，完成DMD晶片的复位和控制；DAD2000复位驱动为DMD提供复位信号和高压信号。立体影像投影机1还包括FPGA调试接口、DMD连接器、GPIO(GeneralPurposeInputOutput，通用输入输出)连接器、电池、电源、电源连接器、模块内部工作电源。

本***漫反射屏幕5垂直固定在转台4上，转台4固定在保护支架3上。

所述纵向偏振片19位于立体影像投影机1的正前方；所述反射镜2斜置位于纵向偏振片19前方，使立体影像投影机1的投影照射在漫反射屏幕5上，通过偏振片实现立体影像和视点拍摄的分离。

实施例二：

参见图3、图4、图5和图6，本基于真三维显示的可视电话***方法，采用上述可视电话***进行操作，操作步骤如下：

基于投影结构光扫描的真三维人脸模型生成，步骤为：

a结构光***标定：确定红外结构光投影机8与第二摄像机17的位置和角度关系，建立结构光***的透视投影模型，输入空间坐标点，对物理坐标和摄像机图像坐标进行拟合，建立图像坐标和物理坐标的标定映射表；

b建立二值编码图案：二值码图案用m个图案来编码，相邻图案的条纹数以2的倍数增加，在条纹数最多的图案中,属于相同条纹的所有像素具有相同的码字；

c三维人脸点云重建方法：投射二值编码图案，通过红外滤镜22后，第二摄像机17获取原始红外图像，经过背景滤除、二值化、几何校正、分辨率匹配后，获取单帧结构光投影图像，通过标定映射表重建三维人脸点云；

d基于虚拟视点图像的人脸模型贴图方法：基于虚拟视点的第一摄像机9拍摄人脸的正面彩色图像，经过点云位置匹配、颜色填充后，实现人脸模型彩色贴图。

以体帧为单元，按时间序列将三维点云和贴图数据传输到远端计算机上，远端立体影像投影机投射编码影像并通过漫反射屏成像；

使用大规模现场可编程门阵列FPGA和大容量同步动态随机存储器DDRRAM作为投影单元的核心，向DMD驱动模块传输三维图像。

所述偏振反射片6透射纵向偏振光且反射横向偏振光，贴图图像采集的第二摄像机22通过横向偏振片7和偏振反射片6拍摄人脸，与立体影像投影机1的纵向偏振光互不干扰，第一摄像机9镜像点位于虚拟三维影像的眼睛位置，对方可按实际眼睛位置看到人脸三维影像。

FPGA和DDRRAM作为立体影像投影机的核心，FPGA通过HDMI视频线获得视频帧，实时解码分离出各角度子帧，实现真三维投影。

ARM处理器作为摄像机的核心，ARM通过FIFO存储器获得CMOS输出的原始图像，丢弃色彩信号并获取图像亮度信号后实现红外图像的重建。

下面对本发明的技术方案作较详细原理说明：

一种基于光线跟踪的结构光***标定方法，结构图如图3所示，流程如图4所示，具体为：

投影机投射的光平面和模型相交形成一条明亮的轮廓线，轮廓线通过预处理后得到一系列点，它们可通过光线跟踪法求得物理空间的坐标值。投影机镜头中心位于相机镜头中心正下方，它们之间距离为。为镜头中心与参考幕墙间的距离。在处各投影光平面与x轴的垂直距离为。投影机的分辨率为，的范围是，为行数，为投影画面高度。投影机投射出的光平面方程可由、、确定。光平面经过点，,为方位矢量，600个投影平面对应的平面方程如下：

(1)

CCD出射光线的投影平面方程：

(2)

基于光平面和光线跟踪法获得的深度信息可按摄像机分辨率、摄像机视锥角、摄像机透镜光轴倾斜角度、摄像机与线激光源的距离、光平面参数、空间点在CCD上的成像坐标确定。

一种二值编码图案方法，编码图案如图5所示，具体为：

二值码用m个图案来编码，相邻图案的条纹数以2的倍数增加。在条纹数最多的图案中,属于相同条纹的所有像素具有相同的码字。码字是由m个图案得到的0和1的序列，0对应于黑色，1对应于白色。

一种基于区域增长的真三维人脸点云重建方法，流程如图6所示，具体为：

对红外光照射下拍摄得到的结构光编码图像，经过背景滤除、二值化、几何校正、分辨率匹配处理后，获取一帧投影图像；在通过标定映射表查询后进行单个体帧的真三维人脸点云重建，即获得人脸点云。经过三角网络扩展与三角面片的彩色贴图后实现人脸模型的三维重建。

三角网格扩展过程中，同一时间内存在的候选三角形规模能够达到十万甚至百万级，对于每一次区域增长，都需要从大量的候选三角片中选出一个最优三角片生长。基于区域增长的真三维人脸点云重建方法引入二叉排序树，以解决候选三角片队列的查找遍历问题。

已知空间中一个三角片，对应的三条边分别是、、，最小外接球半径的计算如下：

(3)

以作为节点优先级，为候选三角片队列建立二叉排序树。在初始化种子三角片过程中，选取第一个候选三角片作为根root，剩下的根据优先级左小右大的规则***到二又排序树中。每次生长所产生的新候选三角片，都***到树中。

一种基于抖动处理的真三维体帧编码方法，编码结果如图7所示，具体为：

采用基于误差扩散的抖动算法。首先建立加网标识，按128作为加网阈值，进行误差保留：

(4)

向右扩散误差的7/16，向下扩散误差的5/16，向右下扩散误差的1/16，向左下扩散误差的3/16：

(5)

获得视点累计图：

(6)

按计算机能够显示的灰度值映射视点累计图，获得真三维体帧编码图：

(7)

真三维显示器采用漫反射屏幕作为空间像素的载体，屏幕具有180度的可视角。旋转屏幕一周产生一个静态体帧，屏幕每秒旋转25周，实现用户人脸的实时三维显示。

Claims (4)

1.一种基于真三维显示的可视电话***，包括第一摄像机（9）、第二摄像机（17）、横向偏振片（7）、偏振反射片（6）、立体影像投影机（1）、投影机（8）、第一计算机（18）、第二计算机（23）、纵向偏振片（19）、反射镜（2）、转台（4）、漫反射屏幕（5）、保护支架（3）、USB集线器（14）、三条USB线（15），通信线（16），HDMI视频线（20），红外光源（21）、红外滤镜（22），其特征在于，用于贴图图像采集的第一摄像机（9）通过横向偏振片（7）和偏振反射片（6）拍摄人脸（10），其镜像点位于虚拟三维影像（11）的眼睛位置，用于结构光生成的投影机（8）和结构光获取第二摄像机（17）对准人脸（10）并通过USB线（15）和USB集线器（14）连接计算机（18），计算机（18）通过HDMI视频线（20）连接立体影像投影机（1），所述漫反射屏幕（5）垂直固定在转台（4）上，转台（4）固定在保护支架（3）上；所述纵向偏振片（19）位于立体影像投影机（1）的正前方，所述反射镜（2）斜置位于纵向偏振片（19）前方，使立体影像投影机（1）的投影照射在漫反射屏幕（5）上；所述红外光源（21）位于投影机（8）内部，红外滤镜（22）位于第二摄像机（17）正前方。

2.一种基于真三维显示的可视电话的方法，采用根据权利要求1所述的一种基于真三维显示的可视电话***进行拍摄与成像操作，其特征在于，操作步骤如下：

1)基于投影结构光扫描的真三维人脸模型生成，步骤为：

a结构光***标定：确定红外结构光投影机与第二摄像机（17）的位置和角度关系，建立结构光***的透视投影模型，输入空间坐标点，对物理坐标和摄像机图像坐标进行拟合，建立图像坐标和物理坐标的标定映射表；

b建立二值编码图案：二值码图案用m个图案来编码，m为自然数，相邻图案的条纹数以2的倍数增加，在条纹数最多的图案中,属于相同条纹的所有像素具有相同的码字；

c三维人脸点云重建方法：投射二值编码图案，通过红外滤镜后，摄像机获取原始红外图像，经过背景滤除、二值化、几何校正、分辨率匹配后，获取单帧结构光投影图像，通过标定映射表重建三维人脸点云；

d基于虚拟视点图像的人脸模型贴图方法：基于虚拟视点的摄像机拍摄人脸的正面彩色图像，经过点云位置匹配、颜色填充后，实现人脸模型彩色贴图。

2)以体帧为单元，按时间序列将三维点云和贴图数据传输到远端计算机上，远端立体影像投影机投射编码影像并通过漫反射屏成像；

3)使用大规模现场可编程门阵列FPGA和大容量同步动态随机存储器DDRRAM作为投影单元的核心，向DMD驱动模块传输三维图像。

3.根据权利要求2所述的基于真三维显示的可视电话方法，其特征在于，所述偏振反射片透射纵向偏振光且反射横向偏振光，贴图图像采集的摄像机通过横向偏振片和偏振反射片拍摄人脸，与立体影像投影机的纵向偏振光互不干扰，摄像机镜像点位于虚拟三维影像的眼睛位置，对方可按实际眼睛位置看到人脸三维影像。

4.根据权利要求2所述的基于真三维显示的可视电话方法，其特征在于，采用ARM处理器作为摄像机的核心，ARM通过FIFO存储器获得CMOS输出的原始图像，丢弃色彩信号并获取图像亮度信号后实现红外图像的重建。