CN111683238B - 基于观察跟踪的3d图像融合方法及装置 - Google Patents

Abstract

本发明实施例公开了一种基于观察跟踪的3D图像融合方法及装置，涉及3D显示技术领域，主要技术方案包括：获取观察者在3D显示屏的观察区域，所述观察区域为观察者双目视野与3D显示屏所在平面投影剪切区域；确定所述观察区域与3D显示屏的相交区域是否满足预设相交阈值；若确定所述相交区域满足预设相交阈值，则在相交区域内计算当前视点图像交织采样视点图像序号，得到视点序号及其尾数；根据所述视点序号及其尾数计算待融合视点序号及其融合的权重，并依据所述待融合视点序号及其融合的权重对相交区域内的视点图像进行融合输出，直到遍历、融合完相交区域内的所有视点图像。主要应用于根据眼动追踪3D显示图像的过程中。

Description

基于观察跟踪的3D图像融合方法及装置

技术领域

本发明实施例涉及3D显示技术领域，特别是涉及一种基于观察跟踪的3D图像融合方法及装置。

背景技术

在2D显示装置上实现3D图像显示，一般需要通过时分复用(如快门式3D显示)或空分复用(如偏光3D显示、柱镜光栅3D显示)方式实现3D显示。空分复用3D显示需要根据3D显示装置的实现原理(如偏光、柱镜光栅、光栅屏障等)以及设计参数选择合适的视点图像交织融合算法，将左右眼视差图内容按照一定规则进行交织融合处理，3D显示装置将交织融合后的图像在2D显示平面上显示，通过分光装置(如偏光眼镜、柱镜光栅、狭缝光栅等)将融合后的图像重新分配到观察者的左右眼，从而使观察者实现3D视觉。

目前，常见的3D图像交织融合算法采用全局计算方式实现，即不关注显示的图像内容，只关注视点图像(两视点或多视点)交织和融合计算，需要按照显示屏像素排列结构逐次像素计算，对于裸眼3D显示(如柱镜光栅裸眼3D显示)，一般需要4K显示分辨率，显示刷新率在60Hz以上，因此3D图像交织融合计算工作量很大，需要较多的计算资源和处理时间。对于需要跟踪显示的3D显示应用场景，不仅仅需要按照设计参数实现左右视点图像交织融合，由于观察者眼睛的位置变化会影响观察者观察的效果，如观察者移动眼睛会进入视差图像的逆视区(即左眼投射右眼的视点图像，右眼投射左眼的视点图像)，会导致观察者空间错乱，引发眩晕感，因此需要增加观察者眼睛运动跟踪，根据观察者眼睛三维坐标变化调整视点图像排列计算参数，达到跟踪显示的目标，由于增加跟踪显示，***计算量会进一步增加，而且没有很好的计算优化方案以减少***计算量。

发明内容

有鉴于此，本发明实施例提供了一种基于观察跟踪的3D图像融合方法及装置，主要目的在于实现在能够达到跟踪显示的基础上，还能减少***资源消耗量。

为了解决上述问题，本发明实施例主要提供如下技术方案：

第一方面，本发明实施例还提供一种基于观察跟踪的3D图像融合方法，包括：

获取观察者在3D显示屏的观察区域，所述观察区域为观察者双目视野与3D显示屏所在平面投影剪切区域；

确定所述观察区域与3D显示屏的相交区域是否满足预设相交阈值；

若确定所述相交区域满足预设相交阈值，则在相交区域内计算当前视点图像交织采样视点图像序号，得到视点序号及其尾数；

根据所述视点序号及其尾数计算待融合视点序号及其融合的权重，并依据所述待融合视点序号及其融合的权重对相交区域内的视点图像进行融合输出，直到遍历、融合完相交区域内的所有视点图像。

可选的，确定所述观察区域与3D显示屏的相交区域是否满足预设相交阈值包括：

当所述观察者与3D显示屏之间的距离小于预设观测范围，且3D显示屏在所述观察区域内时，确定所述观察区域与所述3D显示屏有第一相交区域；

或，当所述观察者与3D显示屏之间的距离小于预设观测范围，且所述观察区域小于3D显示屏时，确定所述观察区域与所述3D显示屏有第二相交区域。

可选的，观察区域与3D显示屏相交于所述第二相交区域，

在依据所述待融合视点序号及其融合的权重对相交区域内的视点图像进行融合输出之前，所述方法还包括：

将3D显示屏的显示区域划分为三部分：关注区、过渡区及非关注区；

对所述过渡区的视点图像进行过渡处理；

所述依据所述待融合视点序号及其融合的权重对相交区域内的视点图像进行融合输出包括：

针对关注区内的视点图像，依据所述待融合视点序号及其融合的权重进行间隔融合输出；

针对所述关注区内未进行间隔融合输出处理的视点图像，采用线性视点图像插值处理。

可选的，所述方法还包括：

当确定所述观察区域与所述3D显示屏没有相交区域时，在所述3D显示屏中输出2D视点图像。

可选的，获取观察者在3D显示屏的观察区域包括：

通过3D显示装置上的TOF相机、RGB相机以及红外灯，确定观察者人眼三维坐标以及人眼瞳孔坐标；

根据所述人眼三维坐标获取人眼相对3D显示屏平面的距离以及人眼与3D显示屏平面的交点坐标；

通过所述人眼瞳孔坐标获取人眼在3D显示屏平面的注视点坐标；

获取垂直方向与水平方向的人眼视场角，计算观察者在3D显示屏平面投影裁剪区域的顶点坐标，以确认观察者在3D显示屏的观察区域。

可选的，在相交区域内计算当前视点图像交织采样视点图像序号采用以下公式：

其中，i代表LCD像素列序数，0到横向分辨率最大值Hmax-1；

j代表LCD像素行序数，0到纵向分辨率最大值Vmax-1；

k代表LCD亚像素序数，RGB排列方式取值0，1，2；BGR排列方式取值2，1，0；

p₀代表与光栅和LCD像素的起始偏移位相相关的参数；

p₁代表与光栅倾角正切值相关的参数；

p₂代表与视点图映射排图周期相关的参数；

p₃代表与光栅和像素的起始偏移位相相关的参数，与观察者眼睛位置相关；

N代表视点数。

可选的，计算观察者在3D显示屏平面投影裁剪区域的顶点坐标包括：

其中，tl左上角顶点坐标，tr右上角顶点坐标，bl左下角顶点坐标，br右下角顶点坐标，人眼水平视场角为α，垂直视场角为β；

通过所述人眼瞳孔坐标获取人眼在3D显示屏平面的注视点坐标包括：

其中，注视点坐标(x，y)，人眼瞳孔坐标(x₁，y₁)，a₀～a₅，b₀～b₅为未知参数，通校正过标定获得。

第二方面，本发明实施例还提供一种基于观察跟踪的3D图像融合装置，包括：

获取单元，用于获取观察者在3D显示屏的观察区域，所述观察区域为观察者双目视野与3D显示屏所在平面投影剪切区域；

确定单元，用于确定所述获取单元获取的所述观察区域与3D显示屏的相交区域是否满足预设相交阈值；

第一计算单元，用于当所述确定单元确定所述相交区域满足预设相交阈值时，在相交区域内计算当前视点图像交织采样视点图像序号，得到视点序号及其尾数；

第二计算单元，用于根据所述视点序号及其尾数计算待融合视点序号及其融合的权重；

处理单元，用于依据所述待融合视点序号及其融合的权重对相交区域内的视点图像进行融合输出，直到遍历、融合完相交区域内的所有视点图像。

可选的，所述确定单元包括：

第一确定模块，用于当所述观察者与3D显示屏之间的距离小于预设观测范围，且3D显示屏在所述观察区域内时，确定所述观察区域与所述3D显示屏有第一相交区域；

第二确定模块，用于当所述观察者与3D显示屏之间的距离小于预设观测范围，且所述观察区域小于3D显示屏时，确定所述观察区域与所述3D显示屏有第二相交区域。

可选的，观察区域与3D显示屏相交于所述第二相交区域，

所述装置还包括：

划分单元，用于在所述处理单元依据所述待融合视点序号及其融合的权重对相交区域内的视点图像进行融合输出之前，将3D显示屏的显示区域划分为三部分：关注区、过渡区及非关注区；

过渡单元，用于对所述过渡区的视点图像进行过渡处理；

所述处理单元包括：

第一处理模块，用于针对关注区内的视点图像，依据所述待融合视点序号及其融合的权重进行间隔融合输出；

第二处理模块，用于针对所述关注区内未进行间隔融合输出处理的视点图像，采用线性视点图像插值处理。

可选的，所述装置还包括：

输出单元，用于当确定所述观察区域与所述3D显示屏没有相交区域时，在所述3D显示屏中输出2D视点图像。

可选的，所述获取单元包括：

确定模块，用于通过3D显示装置上的TOF相机、RGB相机以及红外灯，确定观察者人眼三维坐标以及人眼瞳孔坐标；

第一获取模块，用于根据所述人眼三维坐标获取人眼相对3D显示屏平面的距离以及人眼与3D显示屏平面的交点坐标；

第二获取模块，用于通过所述人眼瞳孔坐标获取人眼在3D显示屏平面的注视点坐标；

第三获取模块，用于获取垂直方向与水平方向的人眼视场角；

计算模块，用于计算观察者在3D显示屏平面投影裁剪区域的顶点坐标，以确认观察者在3D显示屏的观察区域。

可选的，所述第一计算单元在相交区域内计算当前视点图像交织采样视点图像序号采用以下公式：

其中，i代表LCD像素列序数，0到横向分辨率最大值Hmax-1；

j代表LCD像素行序数，0到纵向分辨率最大值Vmax-1；

k代表LCD亚像素序数，RGB排列方式取值0，1，2；BGR排列方式取值2，1，0；

p₀代表与光栅和LCD像素的起始偏移位相相关的参数；

p₁代表与光栅倾角正切值相关的参数；

p₂代表与视点图映射排图周期相关的参数；

p₃代表与光栅和像素的起始偏移位相相关的参数，与观察者眼睛位置相关；

N代表视点数。

可选的，所述计算模块，还用于计算观察者在3D显示屏平面投影裁剪区域的顶点坐标包括：

其中，tl左上角顶点坐标，tr右上角顶点坐标，bl左下角顶点坐标，br右下角顶点坐标，人眼水平视场角为α，垂直视场角为β；

通过所述人眼瞳孔坐标获取人眼在3D显示屏平面的注视点坐标包括：

其中，注视点坐标(x，y)，人眼瞳孔坐标(x₁，y₁)，a₀～a₅，b₀～b₅为未知参数，通校正过标定获得。

借由上述技术方案，本发明实施例提供的技术方案至少具有下列优点：

本发明实施例提供的基于观察跟踪的3D图像融合方法及装置，获取观察者在3D显示屏的观察区域，所述观察区域为观察者双目视野与3D显示屏所在平面投影剪切区域；确定所述观察区域与3D显示屏的相交区域是否满足预设相交阈值；若确定所述相交区域满足预设相交阈值，则在相交区域内计算当前视点图像交织采样视点图像序号，得到视点序号及其尾数；根据所述视点序号及其尾数计算待融合视点序号及其融合的权重，并依据所述待融合视点序号及其融合的权重对相交区域内的视点图像进行融合输出，直到遍历、融合完相交区域内的所有视点图像，本发明实施例能够在实现达到跟踪显示的基础上，还能减少***资源消耗量。

上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明实施例的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明实施例的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种基于观察跟踪的3D图像融合方法的流程图；

图2示出了本发明实施例提供的一种观察者距离3D显示屏较远时的使用场景的示意图；

图3示出了本发明实施例提供的一种观察者距离3D显示屏相对合适位置时的使用场景的示意图；

图4示出了本发明实施例提供的一种观察者大多数观看3D显示屏的使用场景的示意图；

图5示出了本发明实施例提供的一种视点图像交织融合输出(局部细节)的示意图；

图6示出了本发明实施例提供的另一种基于观察跟踪的3D图像融合方法的流程图；

图7示出了本发明实施例提供的一种获取观察者在3D显示屏的观察区域的流程图；

图8示出了本发明实施例提供的一种3D显示装置的示意图；

图9示出了本发明实施例提供的一种将显示屏进行优化划分的示意图；

图10示出了本发明实施例提供的一种基于观察跟踪的3D图像融合装置的组成框图；

图11示出了本发明实施例提供的另一种基于观察跟踪的3D图像融合装置的组成框图；

图12示出了本发明实施例提供的一种电子设备的架构图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例提供一种基于观察跟踪的3D图像融合方法，如图1所示，包括：

101、获取观察者在3D显示屏的观察区域。

本发明实施例所述的观察区域为观察者双目视野与3D显示屏所在平面投影剪切区域，共分为三种情况，为了更好的理解，以图示的形式进行说明，图2示出了本发明实施例提供的一种观察者距离3D显示屏较远时的使用场景的示意图、图3示出了本发明实施例提供的一种观察者距离3D显示屏相对合适位置时的使用场景的示意图，图4示出了本发明实施例提供的一种观察者大多数观看3D显示屏的使用场景的示意图。

图2中，当观察者距离3D显示屏较远时(如超过预设观测范围(即最佳观看距离)的距离)，该种应用场景下观察者看不到3D合成效果；图3中，观察者距离3D显示屏在合适的位置，即观察者眼睛距离显示屏合适观察区域以内(即小于预设观测范围(即最佳观看距离)，3D显示屏在观察者双目视野范围与3D显示屏所在平面投影剪切范围内)；图4中，观察者双目视野范围与3D显示屏所在平面投影剪切区域小于3D显示屏，且观察区域与显示屏相交。

102、确定所述观察区域与3D显示屏的相交区域是否满足预设相交阈值。

本发明实施例所述的预设相交阈值为一经验值，具体要依据显示屏幕的大小和/或观察者与现实屏幕时间的距离进行确定。

示例性的，请继续参与图2，该该图中，由于观察者与显示屏幕的距离超过预设观测范围，使得观察区域远远大于显示屏，因此该种应用场景下，确定所述观察区域与3D显示屏的相交区域不满足预设相交阈值。

还存在一种应用场景与上述应用场景相对，即观察者与显示屏幕太近时，会出现观察区域仅占显示屏幕很小的比例，如观察区域仅占显示屏幕的千分之一，该种应用场景下观察者无法看到全屏的显示屏幕，因此也可确定所述观察区域与3D显示屏的相交区域不满足预设相交阈值。

图3图4均为观察区域与3D显示屏的相交区域是否满足预设相交阈值的应用场景，对于图4而言，在具体应用过程中，并不会限定观察区域与3D显示屏之间的位置关系，除了图4中的位置关系还，观察区域还可以位于3D显示屏的右上角，左下角等等，其观察区域的大小也可比图4所示的大一点，或者小一点均能够确定所述观察区域与3D显示屏的相交区域满足预设相交阈值。

103、若确定存在相交区域，则在相交区域内计算当前视点图像交织采样视点图像序号，得到视点序号及其尾数。

本发明实施例中仅对相交区域内的视点图像进行融合处理(步骤103至步骤104)，以节省***资源消耗。以柱镜光栅为例，视点图像交织融合处理过程如下：

1)按照3D显示屏支持的分辨率逐像素进行图像采样、交织、融合；

2)当前视点图像交织采样视点图像序号按式(1)获取；

其中，i代表LCD像素列序数，0到横向分辨率最大值Hmax-1；j代表LCD像素行序数，0到纵向分辨率最大值Vmax-1；k代表LCD亚像素序数，RGB排列方式取值0，1，2；BGR排列方式取值2，1，0；p₀代表与光栅和LCD像素的起始偏移位相相关的参数；p₁代表与光栅倾角正切值相关的参数；p₂代表与视点图映射排图周期相关的参数；p₃代表与光栅和像素的起始偏移位相相关的参数，与观察者眼睛位置相关；N代表视点数。

依据(1)式计算得到视点序数及其尾数(小数部分)。

104、根据所述视点序号及其尾数计算待融合视点序号及其融合的权重，并依据所述待融合视点序号及其融合的权重对相交区域内的视点图像进行融合输出，直到遍历、融合完相交区域内的所有视点图像。

依据(1)式计算的视点序数及其尾数(小数部分)确定当前采样的视点图序号及视点图采样权重w，并计算需要融合的视点图像序号(Vn2＝Vn+1)及其融合权重(w2＝1-w)，并对视点图像进行融合处理；融合输出即为当前次像素点的灰阶输出；依次遍历，完成整个视点图像的交织和融合。

为了便于理解如图5所示，图5示出了本发明实施例提供的一种视点图像交织融合输出(局部细节)的示意图。

进一步的，在步骤102执行确定所述观察区域与3D显示屏的相交区域是否满足预设相交阈值时，可以包含但不限于以下两种：

当所述观察者与3D显示屏之间的距离小于预设观测范围，且3D显示屏在所述观察区域内时，确定所述观察区域与所述3D显示屏有第一相交区域；(图3代表的应用场景)

或，当所述观察者与3D显示屏之间的距离小于预设观测范围，且所述观察区域小于3D显示屏时，确定所述观察区域与所述3D显示屏有第二相交区域(图4代表的应用场景)。

在实际应用中，上述图3的应用场景的发生频率少于图4的应用场景，当观察者是正常使用3D显示装置时，大多数情况只会关注显示屏的某一个区域(图4的应用场景)，针对图4的使用场景，其计算量相比于图3所示应用场景的计算量小很多，因此，本发明实施例所述的方法能够大大降低计算量，进而节省***消耗资源。

需要说明的是，上述所述的第一第二，仅仅是为了区分不同的相交区域，并不代表先后优先级等概念。

后续实施例以观察区域与3D显示屏相交于所述第二相交区域为例进行说明，在依据所述待融合视点序号及其融合的权重对相交区域内的视点图像进行融合输出之前，如图6所示，所述方法还包括：

201、获取观察者在3D显示屏的观察区域，所述观察区域为观察者双目视野与3D显示屏所在平面投影剪切区域。

包括但不限于以下方法，如图7所示，包括：

2011、通过3D显示装置上的TOF相机、RGB相机以及红外灯，确定观察者人眼三维坐标以及人眼瞳孔坐标。

本发明实施例适用的自由立体显示装置的视点图像交织融合计算，自由立体3D显示装置需支持人眼跟踪、眼睛三维坐标测量、眼动跟踪，具体安装方式可参考图8，图8示出了本发明实施例提供的一种3D显示装置的示意图。采用TOF相机和RGB相机实现观察者人脸检测、人眼三维坐标测量以及人眼瞳孔坐标(x1、y1)测量，通过红外灯和RGB相机实现眼动跟踪。

有关确定观察者人眼三维坐标以及人眼瞳孔坐标的具体实现方法可参考现有技术中人任意实现形式，本发明实施例在此不再进行一一赘述。

2012、根据所述人眼三维坐标获取人眼相对3D显示屏平面的距离以及人眼与3D显示屏平面的交点坐标。

通过人脸检测可以获取是否有人在使用3D显示装置，通过人眼瞳孔坐标可以获取人眼在显示屏平面的注视点坐标(x、y)，所述人眼三维坐标获取人眼相对3D显示屏平面的距离l。

2013、通过所述人眼瞳孔坐标获取人眼在3D显示屏平面的注视点坐标；

注视点坐标(x，y)的计算方法为：

其中，人眼瞳孔坐标(x₁，y₁)，a₀～a₅，b₀～b₅为未知参数，通校正过标定获得。

2014、获取垂直方向与水平方向的人眼视场角，计算观察者在3D显示屏平面投影裁剪区域的顶点坐标，以确认观察者在3D显示屏的观察区域；

假定人眼水平视场角为α，垂直视场角为β，测量的人眼与显示屏平面的距离为l，可通过下式计算观察区域ROI的顶点坐标，

其中，tl左上角顶点坐标，tr右上角顶点坐标，bl左下角顶点坐标，br右下角顶点坐标，人眼水平视场角为α，垂直视场角为β。

202、确定观察区域与3D显示屏相交于所述第二相交区域。

为了更加直观的理解，请您参阅图9，图9示出了本发明实施例提供的一种将显示屏进行优化划分的示意图，将3D显示屏的显示区域划分为三部分：关注区、过渡区及非关注区；

非关注区存在的原因可能在于未检测到观测者(未检测到人脸)，或，观察者距离3D显示设备比较远，或者，观察者眼睛在显示屏平面的裁剪区域在显示屏之外，即当确定所述观察区域与所述3D显示屏没有相交区域时，3D显示装置不做任何图像交织融合处理，直接在所述3D显示屏中输出2D视点图像。

在关注区内，可直接采用图1所示的方法进行全局的视点图像交织融合计算。

在过渡区内，为适应不同观察者之间的差异及减轻视线移动的影响，需要继续对该区域内的视点图像进行优化，具体为步骤203。

203、对所述过渡区的视点图像进行过渡处理。

非关注区和关注区之间***一个过渡区对图像进行缓冲处理，缓冲处理包含颜色的递减变化处理。

204、针对关注区域内的视点图像，依据所述待融合视点序号及其融合的权重进行间隔融合输出。

与图1所示的全局融合处理不同的是，在此关注区域内不做逐像素遍历，而是间隔处理，越接近非关注区的区域非关注区输出视点图像权重逐步加大。

205、针对所述关注区域内未进行间隔融合输出处理的视点图像，采用线性视点图像插值处理。

由于本实施例所介绍的基于观察跟踪的3D图像融合装置为可以执行本发明实施例中的基于观察跟踪的3D图像融合方法的装置，故而基于本发明实施例中所介绍的基于观察跟踪的3D图像融合方法，本领域所属技术人员能够了解本实施例的基于观察跟踪的3D图像融合装置的具体实施方式以及其各种变化形式，所以在此对于该基于观察跟踪的3D图像融合装置如何实现本发明实施例中的基于观察跟踪的3D图像融合方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中基于观察跟踪的3D图像融合方法所采用的装置，都属于本申请所欲保护的范围。

本发明实施例还提供一种基于观察跟踪的3D图像融合装置，如图10所示，包括：

获取单元31，用于获取观察者在3D显示屏的观察区域，所述观察区域为观察者双目视野与3D显示屏所在平面投影剪切区域；

确定单元32，用于确定所述第一获取单元31获取的所述观察区域与3D显示屏的相交区域是否满足预设相交阈值；

第一计算单元33，用于当所述确定单元32确定所述相交区域满足预设相交阈值时，在相交区域内计算当前视点图像交织采样视点图像序号，得到视点序号及其尾数；

第二计算单元34，用于根据所述视点序号及其尾数计算待融合视点序号及其融合的权重；

处理单元35，用于依据所述待融合视点序号及其融合的权重对相交区域内的视点图像进行融合输出，直到遍历、融合完相交区域内的所有视点图像。

进一步的，如图11所示，所述确定单元32包括：

第一确定模块321，用于当所述观察者与3D显示屏之间的距离小于预设观测范围，且3D显示屏在所述观察区域内时，确定所述观察区域与所述3D显示屏有第一相交区域；

第二确定模块322，用于当所述观察者与3D显示屏之间的距离小于预设观测范围，且所述观察区域小于3D显示屏时，确定所述观察区域与所述3D显示屏有第二相交区域。

进一步的，如图11所示，观察区域与3D显示屏相交于所述第二相交区域，

所述装置还包括：

划分单元36，用于在所述处理单元35依据所述待融合视点序号及其融合的权重对相交区域内的视点图像进行融合输出之前，将3D显示屏的显示区域划分为三部分：关注区、过渡区及非关注区；

过渡单元37，用于对所述过渡区的视点图像进行过渡处理；

所述处理单元35包括：

第一处理模块351，用于针对关注区内的视点图像，依据所述待融合视点序号及其融合的权重进行间隔融合输出；

第二处理模块352，用于针对所述关注区内未进行间隔融合输出处理的视点图像，采用线性视点图像插值处理。

进一步的，如图11所示，所述装置还包括：

输出单元38，用于当确定所述观察区域与所述3D显示屏没有相交区域时，在所述3D显示屏中输出2D视点图像。

进一步的，如图11所示，所述获取单元31包括：

确定模块311，用于通过3D显示装置上的TOF相机、RGB相机以及红外灯，确定观察者人眼三维坐标以及人眼瞳孔坐标；

第一获取模块312，用于根据所述人眼三维坐标获取人眼相对3D显示屏平面的距离以及人眼与3D显示屏平面的交点坐标；

第二获取模块313，用于通过所述人眼瞳孔坐标获取人眼在3D显示屏平面的注视点坐标；

第三获取模块314，用于获取垂直方向与水平方向的人眼视场角；

计算模块315，用于计算观察者在3D显示屏平面投影裁剪区域的顶点坐标，以确认观察者在3D显示屏的观察区域。

进一步的，如图11所示，所述第一计算单元33在相交区域内计算当前视点图像交织采样视点图像序号采用以下公式：

其中，i代表LCD像素列序数，0到横向分辨率最大值Hmax-1；

j代表LCD像素行序数，0到纵向分辨率最大值Vmax-1；

k代表LCD亚像素序数，RGB排列方式取值0，1，2；BGR排列方式取值2，1，0；

p₀代表与光栅和LCD像素的起始偏移位相相关的参数；

p₁代表与光栅倾角正切值相关的参数；

p₂代表与视点图映射排图周期相关的参数；

p₃代表与光栅和像素的起始偏移位相相关的参数，与观察者眼睛位置相关；

N代表视点数。

进一步的，如图11所示，所述计算模块315，还用于计算观察者在3D显示屏平面投影裁剪区域的顶点坐标包括：

其中，tl左上角顶点坐标，tr右上角顶点坐标，bl左下角顶点坐标，br右下角顶点坐标，人眼水平视场角为α，垂直视场角为β；

通过所述人眼瞳孔坐标获取人眼在3D显示屏平面的注视点坐标包括：

其中，注视点坐标(x，y)，人眼瞳孔坐标(x₁，y₁)，a₀～a₅，b₀～b₅为未知参数，通校正过标定获得。

本发明实施例提供了一种电子设备(3D显示装置)，如图12所示，包括：至少一个处理器(processor)41；以及与所述处理器41连接的至少一个存储器(memory)42、总线43；其中，

所述处理器41、存储器42通过所述总线43完成相互间的通信；

所述处理器41用于调用所述存储器42中的程序指令，以执行上述方法实施例中的步骤。

本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种基于观察跟踪的3D图像融合方法，其特征在于，包括：

获取观察者在3D显示屏的观察区域，所述观察区域为观察者双目视野与3D显示屏所在平面投影剪切区域；

确定所述观察区域与3D显示屏的相交区域是否满足预设相交阈值；

若确定所述相交区域满足预设相交阈值，则在相交区域内计算当前视点图像交织采样视点图像序号，得到视点序号及其尾数；

根据所述视点序号及其尾数计算待融合视点序号及其融合的权重，并依据所述待融合视点序号及其融合的权重对相交区域内的视点图像进行融合输出，直到遍历、融合完相交区域内的所有视点图像；

当确定所述观察区域与所述3D显示屏没有相交区域时，在所述3D显示屏中输出2D视点图像。

2.根据权利要求1所述的方法，其特征在于，确定所述观察区域与3D显示屏的相交区域是否满足预设相交阈值包括：

当所述观察者与3D显示屏之间的距离小于预设观测范围，且3D显示屏在所述观察区域内时，确定所述观察区域与所述3D显示屏有第一相交区域；

或，当所述观察者与3D显示屏之间的距离小于预设观测范围，且所述观察区域小于3D显示屏时，确定所述观察区域与所述3D显示屏有第二相交区域。

3.根据权利要求2所述的方法，其特征在于，观察区域与3D显示屏相交于所述第二相交区域，

在依据所述待融合视点序号及其融合的权重对相交区域内的视点图像进行融合输出之前，所述方法还包括：

将3D显示屏的显示区域划分为三部分：关注区、过渡区及非关注区；

对所述过渡区的视点图像进行过渡处理；

所述依据所述待融合视点序号及其融合的权重对相交区域内的视点图像进行融合输出包括：

针对关注区内的视点图像，依据所述待融合视点序号及其融合的权重进行间隔融合输出；

针对所述关注区内未进行间隔融合输出处理的视点图像，采用线性视点图像插值处理。

4.根据权利要求1至3中任一项所述的方法，其特征在于，获取观察者在3D显示屏的观察区域包括：

通过3D显示装置上的TOF相机、RGB相机以及红外灯，确定观察者人眼三维坐标以及人眼瞳孔坐标；

根据所述人眼三维坐标获取人眼相对3D显示屏平面的距离以及人眼与3D显示屏平面的交点坐标；

通过所述人眼瞳孔坐标获取人眼在3D显示屏平面的注视点坐标；

获取垂直方向与水平方向的人眼视场角，计算观察者在3D显示屏平面投影裁剪区域的顶点坐标，以确认观察者在3D显示屏的观察区域。

5.根据权利要求4所述的方法，其特征在于，在相交区域内计算当前视点图像交织采样视点图像序号采用以下公式：

其中，i代表LCD像素列序数，0到横向分辨率最大值Hmax-1；

j代表LCD像素行序数，0到纵向分辨率最大值Vmax-1；

k代表LCD亚像素序数，RGB排列方式取值0，1，2；BGR排列方式取值2，1，0；

p₀代表与光栅和LCD像素的起始偏移位相相关的参数；

p₁代表与光栅倾角正切值相关的参数；

p₂代表与视点图映射排图周期相关的参数；

p₃代表与光栅和像素的起始偏移位相相关的参数，与观察者眼睛位置相关；

N代表视点数。

6.根据权利要求4所述的方法，其特征在于，计算观察者在3D显示屏平面投影裁剪区域的顶点坐标包括：

其中，tl左上角顶点坐标，tr右上角顶点坐标，bl左下角顶点坐标，br右下角顶点坐标，人眼水平视场角为α，垂直视场角为β，测量的人眼与显示屏平面的距离为l，人眼瞳孔坐标(x₁，y₁)；

通过所述人眼瞳孔坐标获取人眼在3D显示屏平面的注视点坐标包括：

其中，注视点坐标(x，y)，a₀～a₅，b₀～b₅为未知参数，通过 校正标定获得。

7.一种基于观察跟踪的3D图像融合装置，其特征在于，包括：

获取单元，用于获取观察者在3D显示屏的观察区域，所述观察区域为观察者双目视野与3D显示屏所在平面投影剪切区域；

确定单元，用于确定所述获取单元获取的所述观察区域与3D显示屏的相交区域是否满足预设相交阈值；当确定所述观察区域与所述3D显示屏没有相交区域时，在所述3D显示屏中输出2D视点图像；

第一计算单元，用于当所述确定单元确定所述相交区域满足预设相交阈值时，在相交区域内计算当前视点图像交织采样视点图像序号，得到视点序号及其尾数；

第二计算单元，用于根据所述视点序号及其尾数计算待融合视点序号及其融合的权重；

处理单元，用于依据所述待融合视点序号及其融合的权重对相交区域内的视点图像进行融合输出，直到遍历、融合完相交区域内的所有视点图像。

8.根据权利要求7所述的装置，其特征在于，所述确定单元包括：

第一确定模块，用于当所述观察者与3D显示屏之间的距离小于预设观测范围，且3D显示屏在所述观察区域内时，确定所述观察区域与所述3D 显示屏有第一相交区域；

第二确定模块，用于当所述观察者与3D显示屏之间的距离小于预设观测范围，且所述观察区域小于3D显示屏时，确定所述观察区域与所述3D显示屏有第二相交区域。

9.根据权利要求8所述的装置，其特征在于，观察区域与3D显示屏相交于所述第二相交区域，

所述装置还包括：

划分单元，用于在所述处理单元依据所述待融合视点序号及其融合的权重对相交区域内的视点图像进行融合输出之前，将3D显示屏的显示区域划分为三部分：关注区、过渡区及非关注区；

过渡单元，用于对所述过渡区的视点图像进行过渡处理；

所述处理单元包括：

第一处理模块，用于针对关注区内的视点图像，依据所述待融合视点序号及其融合的权重进行间隔融合输出；

第二处理模块，用于针对所述关注区内未进行间隔融合输出处理的视点图像，采用线性视点图像插值处理。

Images