CN118092633A - 一种裸眼3d图像显示控制方法及相关设备 - Google Patents

Abstract

本申请实施例公开了一种裸眼3D图像显示控制方法及相关设备。该方法包括：基于目标用户的生理动作信息获取上述目标用户当前对显示画面的关注物；计算上述关注物在上述显示画面的所属显示区域的当前图像显示深度；在上述当前图像显示深度与目标图像显示深度不同的情况下，将上述关注物在上述显示画面的所属显示区域的图像显示深度向靠近上述目标图像显示深度的方向调整，以改善上述关注物在上述显示画面的所属显示区域的3D显示效果。

Description

一种裸眼3D图像显示控制方法及相关设备

技术领域

本说明书涉及裸眼3D成像领域，更具体地说，本申请涉及一种裸眼3D图像显示控制方法及相关设备。

背景技术

裸眼立体显示技术可以不借助3D眼镜、虚拟头显等外部设备实现立体内容呈现，具有沉浸感、多感知性、交互性、构想性的特点。它打破了传统的2D显示形态，是显示领域正在大力发展的技术路线，可以适用于多种应用场景，有广泛的应用空间。

以3D平板为例，屏幕具有3D显示功能，在进行3D显示的过程中，很难做到保证画面中深度适中和较近及较远的物体均有较好的3D效果，不能满足用户的使用需求。

发明内容

在发明内容部分中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明。本申请的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。

为了提供一种能够根据用户不同观看需求而自动调节不同物体的3D显示效果的产品，第一方面，本申请提出一种裸眼3D图像显示控制方法，上述方法包括：

基于目标用户的生理动作信息获取上述目标用户当前对显示画面的关注物；

计算上述关注物在上述显示画面的所属显示区域的当前图像显示深度；

在上述当前图像显示深度与目标图像显示深度不同的情况下，将上述关注物在上述显示画面的所属显示区域的图像显示深度向靠近上述目标图像显示深度的方向调整，以改善上述关注物在上述显示画面的所属显示区域的3D显示效果。

可选的，上述目标图像显示深度为最佳3D效果显示深度，上述在上述当前图像显示深度与目标图像显示深度不同的情况下，将上述关注物在上述显示画面的所属显示区域的图像显示深度向靠近上述目标图像显示深度的方向调整，包括：

在上述当前图像显示深度与目标图像显示深度不同的情况下，将上述关注物在上述显示画面的所属显示区域的图像显示深度调整至上述目标图像显示深度。

可选的，上述目标图像显示深度为阈值范围，上述阈值范围的最大值是根据能够完整拍摄上述关注物且基线长度最大的两个拍摄单元的理论位置和上述拍摄单元的视场范围确定的，上述阈值范围的最小值是根据能够完整拍摄上述关注物且视差满足预设视差值的两个拍摄单元的理论位置和上述拍摄单元的视场范围确定的。

可选的，上述将上述关注物在上述显示画面的所属显示区域的图像显示深度向靠近上述目标图像显示深度的方向调整，以改善上述关注物在上述显示画面的所属显示区域的3D显示效果，包括：

通过上述当前图像显示深度和上述目标图像显示深度确定出入屏调整深度；

基于上述出入屏调整深度对上述当前显示深度进行调整以改善上述关注物在上述显示画面的所属显示区域的3D显示效果。

可选的，上述基于上述出入屏调整深度对上述当前显示深度进行调整，包括：

获取左眼图像对应的第一拍摄单元的第一位置信息，其中，上述左眼图像为3D屏幕经过排图显像后进入左眼视线范围的图像；

获取右眼图像对应的第二拍摄单元的第二位置信息，其中，上述右眼图像为3D屏幕经过排图显像后进入右眼视线范围的图像；

获取上述第一拍摄单元和/或上述第二拍摄单元的焦距信息；

根据上述第一位置信息、上述焦距信息和上述出入屏调整深度确定左眼图像偏移距离和左眼图像偏移方向；

根据上述第二位置信息、上述焦距信息和上述出入屏调整深度确定右眼图像偏移距离和右眼图像偏移方向；

基于上述左眼图像偏移距离和左眼图像偏移方向调整上述左眼图像，并基于上述右眼图像偏移距离和右眼图像偏移方向调整上述右眼图像，以对上述当前显示深度进行调整。

可选的，上述基于上述左眼图像偏移距离和左眼图像偏移方向调整上述左眼图像，并基于上述右眼图像偏移距离和右眼图像偏移方向调整上述右眼图像，以对上述当前显示深度进行调整，包括：

在上述出入屏深度的方向为出屏方向的情况下，上述左眼图像偏移方向为向右平移，上述右眼图像偏移方向为向左平移，以对上述当前显示深度进行调整；

和/或，

在上述出入屏深度的方向为入屏方向的情况下，上述左眼图像偏移方向为向左平移，上述右眼图像偏移方向为向右平移,以对上述当前显示深度进行调整。

可选的，上述计算上述关注物在上述显示画面的所属显示区域的当前图像显示深度，包括：

获取两个拍摄单元之间的基线长度、上述拍摄单元的焦距信息和两个上述拍摄单元与上述关注物在上述焦距信息下对应的视差信息，其中，上述两个拍摄单元分别为在拍摄过程中获取左眼图像和右眼图像对应的拍摄单元；

根据上述视差信息、上述基线长度和上述焦距信息确定上述当前图像显示深度。

可选的，上述两个拍摄单元为能够完整拍摄到上述关注物且基线长度最大的两个拍摄单元。

可选的，上述生理动作信息包括眼球动作信息；

基于目标用户的生理动作信息获取上述目标用户当前对显示画面的关注物，包括：

通过用户动作捕捉相机获取上述目标用户的眼球动作信息；

根据上述眼球动作信息确定视线方向信息；

根据上述用户动作捕捉相机的位置信息和3D屏幕的位置信息进行坐标转换以使上述视线方向信息转换至屏幕坐标系确定上述目标用户当前对显示画面的关注物。

可选的，上述根据上述眼球动作信息确定视线方向信息，包括：

基于深度学习算法和上述眼球动作信息获取上述目标用户的人脸区域并提取眼部区域特征信息；

利用上述眼部区域特征信息采用Haar特征检测瞳孔区域并使用Canny算子进行瞳孔边缘检测以获取上述目标用户的瞳孔信息；

通过上述瞳孔信息获取上述目标用户的视线方向信息。

可选的，上述生理动作信息还包括手势动作信息；

基于目标用户的生理动作信息获取上述目标用户当前对显示画面的关注物，包括：

在上述手势动作信息对应的指向位置与上述当前显示画面中的出屏图像有重合区域的情况下，将上述出屏图像对应的物体确定为上述关注物；

或，

在上述手势动作信息对应的在3D屏幕的点击位置与上述当前显示画面中的入屏物有重合区域的情况下，将上述入屏图像对应的物体确定为上述关注物。

可选的，上述方法还包括：

在上述手势动作信息选取的关注物与上述眼球动作信息选取的关注物不一致的情况下，将上述手势动作信息对应的关注物作为上述关注物。

第二方面，本申请还提出一种裸眼3D图像显示控制装置，包括：

获取单元，用于基于目标用户的生理动作信息获取上述目标用户当前对显示画面的关注物；

计算单元，用于计算上述关注物在上述显示画面的所属显示区域的当前图像显示深度；

调整单元，用于在上述当前图像显示深度与目标图像显示深度不同的情况下，将上述关注物在上述显示画面的所属显示区域的图像显示深度向靠近上述目标图像显示深度的方向调整，以改善上述关注物在上述显示画面的所属显示区域的3D显示效果。

第三方面，本申请还提出一种电子设备，包括：存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器用于执行存储器中存储的计算机程序时实现如上述的第一方面任一项的裸眼3D图像显示控制方法的步骤。

第四方面，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现第一方面上述任一项的裸眼3D图像显示控制方法。

综上，本申请实施例提出的裸眼3D图像显示控制方法包括：基于目标用户的生理动作信息获取上述目标用户当前对显示画面的关注物；计算上述关注物在上述显示画面的所属显示区域的当前图像显示深度；在上述当前图像显示深度与目标图像显示深度不同的情况下，将上述关注物在上述显示画面的所属显示区域的图像显示深度向靠近上述目标图像显示深度的方向调整，以改善上述关注物在上述显示画面的所属显示区域的3D显示效果。本申请实施例提供的裸眼3D图像显示控制方法通过相机等传感器捕捉目标用户的生理动作确定目标用户的关注物，并通过计算关注物在当前显示画面中的当前图像显示深度，通过将当前图像显示深度向目标图像显示深度的方向上调整，从而改善关注物的3D显示效果。本申请实施例提供的方案，能够灵活地根据用户关注物，通过调整关注物的显示深度应提升其关注物的3D显示效果。克服了捕获图像的拍摄单元在位置固定的情况下3D效果只在现实中某一固定距离深度范围内才能达到较好的3D效果的缺陷，为用户提供了一种更为灵活、更具吸引力的裸眼3D图像显示效果，大大提升了用户的观看体验。

本申请实施例提出的裸眼3D图像显示控制方法，本申请的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本申请的研究和实践而为本领域的技术人员所理解。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本说明书的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本申请实施例提供的一种裸眼3D图像显示控制方法的示意性流程图；

图2为本申请实施例提供的一种图像3D效果示意图；

图3为本申请实施例提供的一种成像原理示意图；

图4为本申请实施例提供的一种眼球动作交互原理示意图；

图5为本申请实施例提供的一种眼球捕获原理示意图；

图6为本申请实施例提供的一种视线确定原理示意图；

图7为本申请实施例提供的一种手势动作交互原理示意图；

图8为本申请实施例提供的一种裸眼3D显示***的工作原理示意图；

图9为本申请实施例提供的一种光栅3D显示***成像原理示意图；

图10为本申请实施例提供的一种裸眼3D图像显示控制装置结构示意图；

图11为本申请实施例提供的一种裸眼3D图像显示控制电子设备结构示意图。

具体实施方式

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。

裸眼3D屏可以呈现虚拟内容与真实内容。虚拟内容通常使用Unity等软件工具，构建一个虚拟的3D场景，并在场景中放置至少2个场景相机，从不同位置或视角拍摄3D虚拟场景，得到具有视差信息的一组图像。真实内容也是使用至少2个相机，从不同位置或视角拍摄3D真实场景，得到具有视差信息的一组图像。基于裸眼3D屏的透镜或光栅、屏幕分辨率等参数，设计排图算法，把这组图像处理成一张图像在屏幕上显示。用户通过透镜或光栅，即可观看到3D的虚拟内容或真实内容。

本申请实施例主要以3D平板为例展开说明本申请的具体方案，3D平板的3D屏幕具有3D显示功能，整机也集成了前置多相机与后置多相机，在设计阶段就已经确定了相机与相机之间的间距，所以最佳的拍摄深度也是唯一确定的。那么如果用户某一时刻可能想拍摄近处的桌面上的物体，如水杯、书本等；下一时刻可能想拍摄远处的物体，如衣架、柜子等，则不能针对远处和近处的物体对3D显示效果进行调整。对于3D显示效果而言，物体在最佳拍摄深度范围内，3D显示效果最好；如果物体距离较远，则几乎没有3D效果；如果物体距离较近，由于视差太大，使人眼观看时产生强烈的不适感，甚至产生串扰，无法合成3D效果。

此外本申请提出的方法也可以用于工业设计、电影娱乐、虚拟购物、安全识别、3D直播等多个领域，通过在直播或者视频交互的过程中在多个预设位置分别设置摄像单元获取多个角度和位置的2D图像，远端的3D屏幕可以通过调整不同2D图像之间的视差，生成具有3D效果的图像，可以帮助创意多维度呈现，通过多种交互方式实现内容的快速响应，提升沉浸感。

本申请提出了一种裸眼3D图像显示控制方法，请参阅图1，为本申请实施例提供的一种裸眼3D图像显示控制方法流程示意图，具体可以包括：

S110、基于目标用户的生理动作信息获取上述目标用户当前对显示画面的关注物；

示例性的，通过相机等传感器捕捉目标用户的生理动作，相机或其他传感器可以是安装在3D屏幕上的，也可以是安装在于目标用户在一定距离范围内的空间中的，还可以是佩戴在目标用户身体上的。生理动作信息可以包括目标用户的肢体动作、面部表情等。根据相机等传感器捕获的目标用户的生理动作信息可以通过智能识别算法和既定的判定策略获取目标用户对3D屏幕中当前显示画面的关注物。

S120、计算上述关注物在上述显示画面的所属显示区域的当前图像显示深度；

示例性的，根据步骤S110获取的目标用户的关注物，根据图像信息和获取图像信息的拍摄单元之间的位置关系计算关注物在显示画面中所述显示区域的当前图像显示深度。以图2为例，图像中有多个物体，椭球形物体距离较近，其对应的3D效果差，距离适中圆柱体的3D效果好，距离较远的长方体3D效果差。物体的3D效果与距离屏幕的远近，即当前图像的显示深度有关。

S130、在上述当前图像显示深度与目标图像显示深度不同的情况下，将上述关注物在上述显示画面的所属显示区域的图像显示深度向靠近上述目标图像显示深度的方向调整，以改善上述关注物在上述显示画面的所属显示区域的3D显示效果。

示例性的，当目标用户关注物的当前图像显示深度与目标图像显示深度不同的情况下，仍以图2为例，如果关注的物体是距离较近的人，此时该物体的3D显示效果较差，画面中中间的物体的3D效果较好，为了提升关注物体的3D显示效果，需要将当前关注的深度向3D显示效果较好的图像的目标显示深度的方向上调整，即将图像显示深度调深。可以理解的是，如果关注的物体是由于距离屏幕较远，关注物在显示画面的所属显示区域的图像显示深度太深，那么将其显示深度向变浅的方向上调整，以改善关注物体的3D显示效果。

综上，本申请实施例提供的裸眼3D图像显示控制方法通过相机等传感器捕捉目标用户的生理动作确定目标用户的关注物，并通过计算关注物在当前显示画面中的当前图像显示深度，通过将当前图像显示深度向目标图像显示深度的方向上调整，从而改善关注物的3D显示效果。本申请实施例提供的方案，能够灵活地根据用户关注物，通过调整关注物的显示深度应提升其关注物的3D显示效果。克服了捕获图像的拍摄单元在位置固定的情况下3D效果只在现实中某一固定距离深度范围内才能达到较好的3D效果的缺陷，为用户提供了一种更为灵活、更具吸引力的裸眼3D图像显示效果，大大提升了用户的观看体验。

在一些示例中，上述目标图像显示深度为最佳3D效果显示深度，上述在上述当前图像显示深度与目标图像显示深度不同的情况下，将上述关注物在上述显示画面的所属显示区域的图像显示深度向靠近上述目标图像显示深度的方向调整，包括：

在上述当前图像显示深度与目标图像显示深度不同的情况下，将上述关注物在上述显示画面的所属显示区域的图像显示深度调整至上述目标图像显示深度。

示例性的，目标图像显示深度为最佳3D效果显示深度，以3D平板为例，在3D屏幕设计时光栅和柱透镜阵列就已经确定了屏幕最佳的观看距离以及出入屏的深度，根据出入屏的深度来确定双目拍摄单元或光场拍摄单元的摆放距离和角度，拍摄单元为摄像头等具有拍摄功能的光学器件，拍摄单元的位置和角度一旦固定后，就确定了拍摄单元拍摄的最佳距离，这个距离刚好对应屏幕的观看距离与出入屏深度，有最佳的显示效果。如果当前图像显示深度与目标图像显示深度不同的情况下，将关注物在显示画面上对应的显示区域的图像显示深度调整为最佳3D效果显示深度，可以将目标用户的关注物的3D效果提升为最佳，提升目标用户的观看体验。

综上，本申请实施例提供的裸眼3D图像显示控制方法，当目标用户关注物的当前图像显示深度与目标图像显示深度不同的情况下，将当前图像的显示深度调整为目标图像显示深度，从而可以将目标用户的关注物的3D效果提升为最佳，提升目标用户的观看体验。

在一些示例中，上述目标图像显示深度为阈值范围，上述阈值范围的最大值是根据能够完整拍摄上述关注物且基线长度最大的两个拍摄单元的理论位置和上述拍摄单元的视场范围确定的，上述阈值范围的最小值是根据能够完整拍摄上述关注物且视差满足预设视差值的两个拍摄单元的理论位置和上述拍摄单元的视场范围确定的。

示例性的，目标图像显示深度(即最佳3D效果显示深度)为一个阈值范围，以3D平板为例，在整机在设计时，会综合考虑两点，一是屏幕在深度方向上的距离，比如能出屏5cm，入屏3cm，那3D效果的显示深度就是8cm；二是相机拍摄的最佳深度范围Dmax-Dmin也应该设置为8cm左右，其中，Dmax为阈值范围的最大值，Dmin为阈值范围的最小值。阈值范围的最大值是由能够能够完整拍摄到上述关注物且基线长度最大的两个拍摄单元的理论位置和上述拍摄单元的视场范围确定的。以图3所述的成像原理为例，Cam-1与Cam-n的基线长度为Lm+Ln，以Cam-1与Cam-n两个拍摄单元为例，观察当前立方体实际位置时(实线物体轮廓)的视差为V1-A1的长度与An-Vn长度之和，V1和Vn为拍摄单元在成平面的垂足，A1和An为拍摄单元与关注物在成像平面的交点，F为拍摄单元的焦距，每个拍摄单元都对应一个呈一定角度的视场范围。能够完整拍摄关注物且基线长度最大的两个拍摄单元的理论位置是指能够完整拍摄到关注物且左边的拍摄单元拍摄到关注物位于该拍摄单元捕获图像的最右侧，右边的拍摄单元拍摄到的关注物位于该拍摄单元捕获图像的最左侧。而阈值范围的最小值是根据能够完整拍摄上述关注物且视差满足预设视差值的两个拍摄单元的理论位置和上述拍摄单元的视场范围确定，满足预设视差值是指左侧拍摄单元和右侧拍摄单元的视差值要至少保证大于或等于预设视差值，一般取20～30个像素值，只有保证左右两侧拍摄单元有足够大的视差值，计算出的关注物的深度才足够准确。需要说明的是，阈值范围的最大值和最小值是通过拍摄单元在最近和最远的极限理论位置计算得到的，上述理论位置可能与某一拍摄单元的位置重合，也可能在理论位置未布置拍摄单元。

综上，本申请实施例提供的裸眼3D图像显示控制方法，根据成像原理和预设视差值的要求，能够准确地确定目标图像显示深度为阈值范围的最大值和最小值，从而为调整关注物的图像显示深度提供了理论依据。

在一些示例中，上述将上述关注物在上述显示画面的所属显示区域的图像显示深度向靠近上述目标图像显示深度的方向调整，以改善上述关注物在上述显示画面的所属显示区域的3D显示效果，包括：

通过上述当前图像显示深度和上述目标图像显示深度确定出入屏调整深度；

基于上述出入屏调整深度对上述当前显示深度进行调整以改善上述关注物在上述显示画面的所属显示区域的3D显示效果。

示例性的，根据当前图像显示深度和目标图像显示深度可以计算出出入屏调整深度，即二者作差，如果当前图像显示深度和目标图像显示深度的差为正值，则调整的方向为出屏方向，如果当前图像显示深度和目标图像显示深度的差为负值，则调整的方向为入屏方向。以图3的成像原理为例，当前关注物的深度为D，而目标图像显示深度为Dm，D-Dm＝Dd，Dd为正值，则深度调整方向为出屏方向，调整的图像深度为Dd，从而将显示的图像调整到虚线图像位置，改善关注物在显示画面的所属显示区域的3D显示效果。

综上，本申请实施例提供的裸眼3D图像显示控制方法，通过计算当前图像显示深度和上述目标图像显示深度确定出入屏调整深度，通过对关注物对应图像区域的当前显示深度进行调整，能够到达改善关注物在显示画面的所属显示区域的3D显示效果的目的。

在一些示例中，上述基于上述出入屏调整深度对上述当前显示深度进行调整，包括：

获取左眼图像对应的第一拍摄单元的第一位置信息，其中，上述左眼图像为3D屏幕经过排图显像后进入左眼视线范围的图像；

获取右眼图像对应的第二拍摄单元的第二位置信息，其中，上述右眼图像为3D屏幕经过排图显像后进入右眼视线范围的图像；

获取上述第一拍摄单元和/或上述第二拍摄单元的焦距信息；

根据上述第一位置信息、上述焦距信息和上述出入屏调整深度确定左眼图像偏移距离和左眼图像偏移方向；

根据上述第二位置信息、上述焦距信息和上述出入屏调整深度确定右眼图像偏移距离和右眼图像偏移方向；

基于上述左眼图像偏移距离和左眼图像偏移方向调整上述左眼图像，并基于上述右眼图像偏移距离和右眼图像偏移方向调整上述右眼图像，以对上述当前显示深度进行调整。

示例性的，3D屏幕在成像时，实际上是控制进入观看用户左眼和右眼之间图像的视差来呈现3D效果的，在改善3D效果调整成像深度同样是基于此原理。以图3所示的成像原理为例，左眼图像对应的第一拍摄单元的第一位置信息即Cam-1的位置信息，右眼图像对应的第二拍摄单元的第二位置信息即Cam-n的位置信息，第一拍摄单元和/或上述第二拍摄单元的焦距信息均为F，经过上述实施例计算出的出入屏调整深度为D-Dm＝Dd，则根据当前关注物成像形成的成像三角形，和调整后关注物的成像三角形，通过三角形内部的几何关系，根据第一位置信息、焦距信息和出入屏调整深度确定左眼图像偏移距离和左眼图像偏移方向，根据第二位置信息、焦距信息和出入屏调整深度确定右眼图像偏移距离和右眼图像偏移方向。图3中左眼图像偏移距离为A1-B1的长度，左眼图像的偏移方向为向右，右眼图像偏移距离为Bn-An的长度，右眼图像的偏移方向为向左。实际上通过这样调整是改变了两个拍摄单元之间的视差。调整前的视差为V1-A1的长度与An-Vn的长度之和，而调整后的视差为V1-B1的长度与An-Bn的长度之和，通过改变进入目标用户左眼与右眼之间图像的视差，从而改善关注物在目标用户眼中的3D成像效果。

综上，本申请实施例提供的裸眼3D图像显示控制方法通过分别计算左眼图像和右眼图像的调整方向和图像偏移距离，对左眼图像和右眼图像分别做定量调整，从而改变了进入用户左眼与右眼之间图像的视差，改善了关注物在目标用户眼中的3D成像效果

在一些示例中，上述基于上述左眼图像偏移距离和左眼图像偏移方向调整上述左眼图像，并基于上述右眼图像偏移距离和右眼图像偏移方向调整上述右眼图像，以对上述当前显示深度进行调整，包括：

在上述出入屏深度的方向为出屏方向的情况下，上述左眼图像偏移方向为向右平移，上述右眼图像偏移方向为向左平移，以对上述当前显示深度进行调整；

和/或，

在上述出入屏深度的方向为入屏方向的情况下，上述左眼图像偏移方向为向左平移，上述右眼图像偏移方向为向右平移,以对上述当前显示深度进行调整。

示例性的，如果出入屏深度的方向为出屏方向的情况下，即需要增大左眼图像和右眼图像之间的视差，此时需要将左眼图像偏移方向为向右平移，右眼图像偏移方向为向左平移，将当前显示深度调浅，以靠近目标图像显示深度，以改善3D成像效果。如果出入屏深度的方向为入屏方向的情况下，即需要减小左眼图像和右眼图像之间的视差，此时需要将左眼图像偏移方向为向左平移，右眼图像偏移方向为向右平移，将当前显示深度调深，以靠近目标图像显示深度，以改善3D成像效果。

综上，本申请实施例提供的裸眼3D图像显示控制方法，通过出入屏深度的方向控制左眼图像和右眼图像的偏移方向，来控制当前显示深度靠近目标图像显示深度，从而达到改善3D成像效果的目的。

在一些示例中，上述计算上述关注物在上述显示画面的所属显示区域的当前图像显示深度，包括：

获取两个拍摄单元之间的基线长度、上述拍摄单元的焦距信息和两个上述拍摄单元与上述关注物在上述焦距信息下对应的视差信息，其中，上述两个拍摄单元分别为在拍摄过程中获取左眼图像和右眼图像对应的拍摄单元；

根据上述视差信息、上述基线长度和上述焦距信息确定上述当前图像显示深度。

示例性的，以图3为例，通过拍摄单元Cam-1与Cam-n计算关注物在显示画面的所属显示区域的当前图像显示深度D可以通过下式计算得到：

D ＝ F×(Lm + Ln)/Disp (1)

式中，F为拍摄单元的焦距信息，(Lm+Ln)为两个拍摄单元之间的基线长度，Disp为拍摄单元与关注物在焦距信息下对应的视差信息。Cam-1与Cam-n的视差信息为为V1-A1的长度与An-Vn长度之和。

通过式(1)可以看出当前图像显示深度为视差信息的倒数、基线长度和焦距信息的乘积。

综上，本申请实施例提供的裸眼3D图像显示控制方法，通过计算视差信息的倒数、基线长度和焦距信息的乘积可以快速得出当前图像显示深度，从而为可以根据当前图像显示深度调整关注物的深度以改善3D显示效果。

在一些示例中，上述两个拍摄单元为能够完整拍摄到上述关注物且基线长度最大的两个拍摄单元。

示例性的，在实际的3D成像产品或3D拍摄场景中，可能布置有多个拍摄单元，在计算关注物对应的当前图像显示深度，选用能够完整拍摄到上述关注物且基线长度最大的两个拍摄单元获取的图像信息进行计算，这样视差最大，深度计算精度也最准确。

在一些示例中，上述生理动作信息包括眼球动作信息；

基于目标用户的生理动作信息获取上述目标用户当前对显示画面的关注物，包括：

通过用户动作捕捉相机获取上述目标用户的眼球动作信息；

根据上述眼球动作信息确定视线方向信息；

根据上述用户动作捕捉相机的位置信息和3D屏幕的位置信息进行坐标转换以使上述视线方向信息转换至屏幕坐标系确定上述目标用户当前对显示画面的关注物。

示例性的，如图4所示，通过用户动作捕捉相机可以获取目标用户的眼球动作信息，根据深度学***移向量t。在屏幕坐标系下，计算向量与屏幕所在平面的交点P，沿着向量方向从瞳孔中心向交点P进行搜索，结合屏幕坐标系下的内容坐标，当发现搜索到内容后，将此物体作为根据用户眼球动作信息确定的关注物。

综上，本申请实施例提供的裸眼3D图像显示控制方法通过用户动作捕捉相机获取上述目标用户的眼球动作信息从而确定目标用户的视线向量，通过坐标转化确定视线对应的物体，从而快速定位关注物，用户能够根据视线移动更换关注物，从而达到用户看到的位置即为3D效果最佳的位置，提升了用户的视觉体验。

在一些示例中，上述根据上述眼球动作信息确定视线方向信息，包括：

基于深度学习算法和上述眼球动作信息获取上述目标用户的人脸区域并提取眼部区域特征信息；

利用上述眼部区域特征信息采用Haar特征检测瞳孔区域并使用Canny算子进行瞳孔边缘检测以获取上述目标用户的瞳孔信息；

通过上述瞳孔信息获取上述目标用户的视线方向信息。

示例性的，通过深度学习算法和上述眼球动作信息获取上述目标用户的人脸区域并提取眼部区域特征信息，然后如图5所示，使用Haar特征检测瞳孔区域，由于瞳孔可描述为被浅色区域包围的深色区域，Haar环绕特征能很好的表征特征；然后，使用Canny算子进行瞳孔边缘检测，分析轮廓序列筛选出目标轮廓并进行椭圆拟合，椭圆中心为瞳孔中心。如图6所示，基于眼球单球模型对视线进行估计，人眼瞳孔抽象为圆形，瞳孔中心为圆心，瞳孔中心的运动轨迹为一个球面，该球面有一个球心，从圆心指向瞳孔作为视线的方向向量，它垂直于瞳孔的法向量。

综上，本申请实施例提供的裸眼3D图像显示控制方法，通过Haar特征检测瞳孔区域并使用Canny算子获取通过信息，并根据眼球单球模型对视线进行估计，可以准确定位关注物。

在一些示例中，上述生理动作信息还包括手势动作信息；

基于目标用户的生理动作信息获取上述目标用户当前对显示画面的关注物，包括：

在上述手势动作信息对应的指向位置与上述当前显示画面中的出屏图像有重合区域的情况下，将上述出屏图像对应的物体确定为上述关注物；

或，

在上述手势动作信息对应的在3D屏幕的点击位置与上述当前显示画面中的入屏物有重合区域的情况下，将上述入屏图像对应的物体确定为上述关注物。

示例性的，生理动作信息还包括手势动作信息，用户的手势动作信可以包括两种，针对出屏图像通过相机采集的目标手势图像，经手势识别、位置检测、坐标系转换等处理过程，获得目标用户当前在屏幕坐标系下的交互位置。如图7所示，使用关注物的实际3D位置作为交互是否成功的判定条件，即在屏幕坐标系下，只有当手势所在的3D位置与关注物的实际3D位置重合时，才认为交互成功，并选定为关注物，方向发生偏差或者距离发生偏差都认定为交互失败。

而对于入屏的3D内容，手无法直接触摸到，可考虑使用Touch进行选定，即用户触摸3D屏幕后，可获得触控点在屏幕坐标系下的坐标(x,y,0)，以此为起点，向入屏方向延伸，碰到物体后停止，并将碰到物体选定为关注物。

综上，本申请实施例提供的裸眼3D图像显示控制方法，为入屏图像和出屏图像提供了两种不同的手势交互方式，通过手势动作信息用户可以轻松确定关注物，提升用户交互的流畅性。

在一些示例中，上述方法还包括：

在上述手势动作信息选取的关注物与上述眼球动作信息选取的关注物不一致的情况下，将上述手势动作信息对应的关注物作为上述关注物。

示例性的，目标用户一般对某一物体做手势交互时，眼睛的视线落点通常手势动作信息对应的关注物为同一个，但当手势动作信息选取的关注物与上述眼球动作信息选取的关注物不一致的情况下，以手势动作信息对对应的关注物为准。

在一些实例中，一种裸眼3D显示***包括采集单元、处理单元和显示单元三部分，如图8所示。

采集单元包括：

3D内容采集模块，包含在虚拟场景中设置的虚拟相机组，真实场景中与裸眼3D显示器集成的前置相机组或后置相机组，相机数量至少为2个，并且是在不同视角下采集。

眼球采集模块，是指与裸眼3D显示器集成的相机，用于采集用户的当前观看位置信息。

手势采集模块，是指与裸眼3D显示器集成的相机，用于采集用户的手势交互信息。也可包含Touch面板，用于采集用户的触控交互信息。

显示单元是指具有3D显示功能的显示器，可通过透镜阵列、光栅等方法实现。

处理单元包括：

眼球处理模块：模块输入为相机采集的眼球图像，经人脸检测、瞳孔定位、视线计算等处理过程，获得用户当前的视线落点在相机坐标系下的位置。由于相机与屏幕的位置关系是固定的，因此，经坐标系转换后，即可获得用户当前的视线落点在屏幕坐标系下的位置。最后，将落点位置作为关注物。

手势处理模块：模块输入为相机采集的手势图像，经手势识别、位置检测、坐标系转换等处理过程，获得目标用户当前在屏幕坐标系下的交互位置。如图7所示，使用关注物的实际3D位置作为交互是否成功的判定条件，即在屏幕坐标系下，只有当手势所在的3D位置与关注物的实际3D位置重合时，才认为交互成功，并选定为感兴趣区域，方向发生偏差或者距离发生偏差都认定为交互失败。而对于入屏的3D内容，手无法直接触摸到，可考虑使用Touch进行选定，即用户触摸3D屏幕后，可获得触控点在屏幕坐标系下的坐标(x,y,0)，以此为起点，向入屏方向延伸，碰到物体后停止，并将碰到物体选定为关注物。目标用户一般对某一物体做手势交互时，眼睛的视线落点通常手势动作信息对应的关注物为同一个，但当手势动作信息选取的关注物与上述眼球动作信息选取的关注物不一致的情况下，以手势动作信息对对应的关注物为准。

深度计算模块：3D内容采集模块输出的一组图像是多个相机从不同视角拍摄的，因此，它是带有视差信息的，可通过三角测距等方法计算关注物的深度。实际计算时，可考虑采用最左侧与最右侧相机采集的两幅图像进行深度计算，这样视差最大，深度计算精度也最准确。计算公式为：D＝F×(L1+L2)/Disp，其中Disp为上述两幅图像的视差，F是焦距，L1+L2为基线长度。

图像微调模块：计算关注物的深度与相机最佳拍摄深度范围[Dmin,Dmax]的差值Dd，计算每个相机采集的图像的微调幅度，如图3中的线A1-B1和Bn-An所示，分别对左眼图像和右眼图像进行微调，使整体视差增大或减小，达到最佳的3D显示效果。实际调整时，需要以像素为单位进行调整。

3D排图更新模块：使用图像微调模块输出的结果，更新3D排图结果，在显示模块上显示更新后的3D效果。以光栅3D屏幕为例，3D原理如图9所示(俯视图)，最上方为屏幕背光，常亮显示，往下依次为光栅模块、panel模块，光栅逐列开启或关闭，以此保证进入用户左眼和右眼的内容不一致，例如pixel2D 0-1,2-3,4-5等像素信息进入左眼，1-2,3-4,5-6等像素信息进入右眼，当进入左眼和右眼的图像存在视差时，在大脑中就会合成3D显示效果。排图过程就是根据左相机采集的左目图像和右相机采集的右目图像逐列进行排图，如第1,3,5,…列图像数据从左目图像中提取，第2,4,6,…列图像数据从右目图像中提取，进而排成一幅完整的图，该图显示在屏幕上，结合光栅的开口位置，人眼就能看到3D效果。

综上所述，3D平板以用户的眼睛注视区域或手势交互区域为关注物对应的区域，对图像序列做不同程度的图像微调，达到改善3D显示效果的目的。该***可应用于3D实时采集与显示、直播领域等。当主播没有展示商品时，用户可清晰观看主播本人，当展示商品时，用户可清晰观看商品，实现3D清晰聚焦的目的。

请参阅图10，本申请实施例中裸眼3D图像显示控制装置的一个实施例，可以包括：

获取单元21，用于基于目标用户的生理动作信息获取上述目标用户当前对显示画面的关注物；

计算单元22，用于计算上述关注物在上述显示画面的所属显示区域的当前图像显示深度；

调整单元23，用于在上述当前图像显示深度与目标图像显示深度不同的情况下，将上述关注物在上述显示画面的所属显示区域的图像显示深度向靠近上述目标图像显示深度的方向调整，以改善上述关注物在上述显示画面的所属显示区域的3D显示效果。

如图11所示，本申请实施例还提供一种电子设备600，包括存储器610、处理器620及存储在存储器620上并可在处理器上运行的计算机程序611，处理器620执行计算机程序611时实现上述裸眼3D图像显示控制的任一方法的步骤。

由于本实施例所介绍的电子设备为实施本申请实施例中一种裸眼3D图像显示控制装置所采用的设备，故而基于本申请实施例中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本申请实施例中的方法不再详细介绍，只要本领域所属技术人员实施本申请实施例中的方法所采用的设备，都属于本申请所欲保护的范围。

在具体实施过程中，该计算机程序611被处理器执行时可以实现图1对应的实施例中任一实施方式。

需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机软件指令，当计算机软件指令在处理设备上运行时，使得处理设备执行如图1对应实施例中的裸眼3D图像显示控制的流程。

计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (15)

1.一种裸眼3D图像显示控制方法，其特征在于，包括：

基于目标用户的生理动作信息获取所述目标用户当前对显示画面的关注物；

计算所述关注物在所述显示画面的所属显示区域的当前图像显示深度；

在所述当前图像显示深度与目标图像显示深度不同的情况下，将所述关注物在所述显示画面的所属显示区域的图像显示深度向靠近所述目标图像显示深度的方向调整，以改善所述关注物在所述显示画面的所属显示区域的3D显示效果。

2.如权利要求1所述的方法，其特征在于，所述目标图像显示深度为最佳3D效果显示深度，所述在所述当前图像显示深度与目标图像显示深度不同的情况下，将所述关注物在所述显示画面的所属显示区域的图像显示深度向靠近所述目标图像显示深度的方向调整，包括：

在所述当前图像显示深度与目标图像显示深度不同的情况下，将所述关注物在所述显示画面的所属显示区域的图像显示深度调整至所述目标图像显示深度。

3.如权利要求1所述的方法，其特征在于，所述目标图像显示深度为阈值范围，所述阈值范围的最大值是根据能够完整拍摄所述关注物且基线长度最大的两个拍摄单元的理论位置和所述拍摄单元的视场范围确定的，所述阈值范围的最小值是根据能够完整拍摄所述关注物且视差满足预设视差值的两个拍摄单元的理论位置和所述拍摄单元的视场范围确定的。

4.如权利要求1所述的方法，其特征在于，所述将所述关注物在所述显示画面的所属显示区域的图像显示深度向靠近所述目标图像显示深度的方向调整，以改善所述关注物在所述显示画面的所属显示区域的3D显示效果，包括：

通过所述当前图像显示深度和所述目标图像显示深度确定出入屏调整深度；

基于所述出入屏调整深度对所述当前显示深度进行调整以改善所述关注物在所述显示画面的所属显示区域的3D显示效果。

5.如权利要求4所述的方法，其特征在于，所述基于所述出入屏调整深度对所述当前显示深度进行调整，包括：

获取左眼图像对应的第一拍摄单元的第一位置信息，其中，所述左眼图像为3D屏幕经过排图显像后进入左眼视线范围的图像；

获取右眼图像对应的第二拍摄单元的第二位置信息，其中，所述右眼图像为3D屏幕经过排图显像后进入右眼视线范围的图像；

获取所述第一拍摄单元和/或所述第二拍摄单元的焦距信息；

根据所述第一位置信息、所述焦距信息和所述出入屏调整深度确定左眼图像偏移距离和左眼图像偏移方向；

根据所述第二位置信息、所述焦距信息和所述出入屏调整深度确定右眼图像偏移距离和右眼图像偏移方向；

基于所述左眼图像偏移距离和左眼图像偏移方向调整所述左眼图像，并基于所述右眼图像偏移距离和右眼图像偏移方向调整所述右眼图像，以对所述当前显示深度进行调整。

6.如权利要求5所述的方法，其特征在于，所述基于所述左眼图像偏移距离和左眼图像偏移方向调整所述左眼图像，并基于所述右眼图像偏移距离和右眼图像偏移方向调整所述右眼图像，以对所述当前显示深度进行调整，包括：

在所述出入屏深度的方向为出屏方向的情况下，所述左眼图像偏移方向为向右平移，所述右眼图像偏移方向为向左平移，以对所述当前显示深度进行调整；

和/或，

在所述出入屏深度的方向为入屏方向的情况下，所述左眼图像偏移方向为向左平移，所述右眼图像偏移方向为向右平移,以对所述当前显示深度进行调整。

7.如权利要求1所述的方法，其特征在于，所述计算所述关注物在所述显示画面的所属显示区域的当前图像显示深度，包括：

获取两个拍摄单元之间的基线长度、所述拍摄单元的焦距信息和两个所述拍摄单元与所述关注物在所述焦距信息下对应的视差信息，其中，所述两个拍摄单元分别为在拍摄过程中获取左眼图像和右眼图像对应的拍摄单元；

根据所述视差信息、所述基线长度和所述焦距信息确定所述当前图像显示深度。

8.如权利要求5所述的方法，其特征在于，所述两个拍摄单元为能够完整拍摄到所述关注物且基线长度最大的两个拍摄单元。

9.如权利要求1所述的方法，其特征在于，所述生理动作信息包括眼球动作信息；

基于目标用户的生理动作信息获取所述目标用户当前对显示画面的关注物，包括：

通过用户动作捕捉相机获取所述目标用户的眼球动作信息；

根据所述眼球动作信息确定视线方向信息；

根据所述用户动作捕捉相机的位置信息和3D屏幕的位置信息进行坐标转换以使所述视线方向信息转换至屏幕坐标系确定所述目标用户当前对显示画面的关注物。

10.如权利要求9所述的方法，其特征在于，所述根据所述眼球动作信息确定视线方向信息，包括：

基于深度学习算法和所述眼球动作信息获取所述目标用户的人脸区域并提取眼部区域特征信息；

利用所述眼部区域特征信息采用Haar特征检测瞳孔区域并使用Canny算子进行瞳孔边缘检测以获取所述目标用户的瞳孔信息；

通过所述瞳孔信息获取所述目标用户的视线方向信息。

11.如权利要求9述的方法，其特征在于，所述生理动作信息还包括手势动作信息；

基于目标用户的生理动作信息获取所述目标用户当前对显示画面的关注物，包括：

在所述手势动作信息对应的指向位置与所述当前显示画面中的出屏图像有重合区域的情况下，将所述出屏图像对应的物体确定为所述关注物；

或，

在所述手势动作信息对应的在3D屏幕的点击位置与所述当前显示画面中的入屏物有重合区域的情况下，将所述入屏图像对应的物体确定为所述关注物。

12.如权利要求11所述的方法，其特征在于，还包括：

在所述手势动作信息选取的关注物与所述眼球动作信息选取的关注物不一致的情况下，将所述手势动作信息对应的关注物作为所述关注物。

13.一种裸眼3D图像显示控制装置，其特征在于，包括：

获取单元，用于基于目标用户的生理动作信息获取所述目标用户当前对显示画面的关注物；

计算单元，用于计算所述关注物在所述显示画面的所属显示区域的当前图像显示深度；

调整单元，用于在所述当前图像显示深度与目标图像显示深度不同的情况下，将所述关注物在所述显示画面的所属显示区域的图像显示深度向靠近所述目标图像显示深度的方向调整，以改善所述关注物在所述显示画面的所属显示区域的3D显示效果。

14.一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-12中任一项所述的裸眼3D图像显示控制方法的步骤。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-12中任一项所述的裸眼3D图像显示控制方法。