CN112929645A - 3d显示设备、***和方法及3d视频数据通信方法 - Google Patents

Abstract

本申请公开了一种3D显示设备，包括：多视点裸眼3D显示屏，包括多个复合像素，多个复合像素中的每个复合像素包括多个复合子像素，多个复合子像素中的每个复合子像素由对应于多个视点的多个子像素构成；信号接口，被配置为接收3D信号中的视频帧，其中，视频帧包含至少三幅图像或者由至少三幅图像构成的复合图像；3D处理装置，被配置为基于视频帧中的至少三幅图像中至少一幅或复合图像渲染多个复合子像素中至少一个子像素。上述设备能够实现针对对应于多个视点的图像，同时渲染各复合子像素中对应于多个视点的多个子像素。本申请还公开了3D显示***、3D显示方法及3D视频数据通信方法。

Description

3D显示设备、***和方法及3D视频数据通信方法

技术领域

本申请涉及裸眼式3D显示技术，例如涉及3D显示设备、***和方法及3D视频数据通信方法。

背景技术

3D影像是视像行业中热点的技术之一，推动着从平面显示向3D显示的技术变革。3D显示技术是3D影像产业中的关键一环，主要分为两类，即眼镜式3D显示和裸眼式3D显示技术。裸眼式3D显示技术是一种用户无需佩戴眼镜而能够之间观看到3D显示画面的技术。与眼镜式3D显示相比，裸眼式3D显示属于自由3D显示技术，减少了对用户的约束。

裸眼式3D显示是基于视点的，近来还提出了多视点的裸眼3D显示，从而在空间中不同位置处形成视差图像(帧)的序列，使得具有视差关系的3D图像对可以分别进入人的左右眼当中，从而给用户带来3D感。对于具有例如N个视点的传统的多视点裸眼3D显示器，3D图像或视频的传输和显示均是以2D显示面板为基础的，要用显示面板上的多个独立像素来投射空间的多个视点。这带来了显示分辨率下降和渲染计算量激增的两难问题。

由于2D显示面板的显示分辨率总数为定值，因此显示分辨率会急剧下降，例如列分辨率降为原分辨率的1/N。由于多视点显示器的像素排布，这还会导致水平与竖直方向分辨率降低倍数不同。

要想维持高清晰度的显示，在提供高清晰度例如N倍于2D显示器件的N视点3D显示器件的情况下，将会占用的终端到显示器的传输带宽也以N倍倍增，导致信号传输量太大。而且，对于这种N倍的高分辨率图像的像素级渲染会严重占用终端或显示器自身的计算资源，造成性能大幅下降。

而且，由于3D图像或视频的传输和显示以2D显示面板为基础，还可能存在多次格式调整和图像或视频显示适配的问题。这一方面可能会造成渲染计算量的进一步增加，另一方面可能会影响3D图像或视频的显示效果。

此外，在传统的裸眼式3D显示技术中，显示画面通常是基于单幅二维图像生成左右眼观看的图像、再根据视点位置调整为最终显示出的视点图像。在这个过程中的多重计算步骤会大量占用终端或显示器自身的计算资源，造成性能大幅下降。

本背景技术仅为了便于了解本领域的相关技术，并不视作对现有技术的承认。

发明内容

为了对披露的实施例的一些方面有基本的理解，下面给出了实施例的概括，其不是要确定关键/重要组成元素或描绘发明的保护范围，而是作为后面的详细说明的序言。

本申请的实施例意图提供3D显示设备、***和方法及3D视频数据通信方法，意图克服或缓解上文提到的至少一些问题。

在一个方案中，提供了一种3D显示设备，包括：多视点裸眼3D显示屏，包括多个复合像素，多个复合像素中的每个复合像素包括多个复合子像素，多个复合子像素中的每个复合子像素由对应于多个视点的多个子像素构成；信号接口，被配置为接收3D信号中的视频帧，其中，视频帧包含至少三幅图像或者由至少三幅图像构成的复合图像；3D处理装置，被配置为基于视频帧中的至少三幅图像中至少一幅或复合图像渲染多个复合子像素中至少一个子像素。

通过这种3D显示设备，能够实现针对对应于多个视点的图像，同时渲染各复合子像素中对应于多个视点的多个子像素。由此，省去了上述传统的裸眼式3D显示技术中的生成左右眼图像的步骤、以及省去了根据视点位置调整为视点图像的步骤；节省了大量计算资源，并且提升了渲染效率。在一些实施例中，对应于多个视点的多个子像素为多个同色子像素；多视点裸眼3D显示屏包括m×n个复合像素并因此限定出m×n的显示分辨率；且至少三幅图像分别具有m×n的图像分辨率。

在本公开实施例中，以复合像素的方式定义多视点裸眼3D显示屏的显示分辨率，因此在传输和显示时均以由复合像素定义的显示分辨率为考量因素，这能够有效实现传输和渲染计算量的减少，且仍具有优良的显示效果。相比之下，常规的3D显示器在3D图像或视频的传输和显示仍是以2D显示面板为基础进行考量，这在进行多视点裸眼3D显示时面临的分辨率下降和计算量激增的问题，以及存在多次格式调整和图像或视频显示适配的问题。

在一些实施例中，信号接口还被配置为传输表明图像与视点之间对应关系的标识数据。

在一些实施例中，信号接口为高清多媒体接口HDMI。

在一些实施例中，HDMI被配置为传输包括表明图像与视点之间对应关系的标识数据的扩展显示标识数据EDID。

在一些实施例中，至少三幅图像的排列方式为左右排列或上下排列；或复合图像为左右交织复合图像或上下交织复合图像。

在一些实施例中，多个复合子像素中的至少一个包括单行或单列或成阵列形式的多个子像素。

在一些实施例中，3D处理装置包括现场可编程门阵列FPGA芯片、专用集成电路ASIC芯片中至少之一。

在一些实施例中，3D显示设备还包括：眼部位置获取装置，被配置为获取用户眼部位置。

在另一方案中，提供一种3D显示***，包括：终端；和如上文描述的3D显示设备；其中，终端通信连接信号接口。

在一些实施例中，终端包括处理器、存储器和图像处理装置，存储器被配置为存储3D信号；图像处理装置被配置为对3D信号进行处理，获得3D信号中的视频帧，视频帧包含至少三幅图像或者由至少三幅图像构成的复合图像。

在一些实施例中，3D显示***还包括：格式调整器，被配置为处理3D信号中的视频帧使得至少三幅图像中每一幅具有与多视点裸眼3D显示屏的显示分辨率一致的图像分辨率；其中多视点裸眼3D显示屏的显示分辨率是由复合像素限定出的。

在另一方案中，提供一种3D显示方法，包括：

传输3D信号中的视频帧，其中，视频帧包含至少三幅图像或者由至少三幅图像构成的复合图像；和基于至少三幅图像中至少一幅或复合图像渲染多视点裸眼3D显示屏中的多个复合子像素中至少一个子像素；其中，多视点裸眼3D显示屏包括多个复合像素，多个复合像素中的每个复合像素包括多个复合子像素，多个复合子像素中的每个复合子像素由对应于多个视点的多个子像素构成。在一些实施例中，对应于多个视点的多个子像素为多个同色子像素；多视点裸眼3D显示屏包括m×n个复合像素并因此限定出m×n的显示分辨率；且至少三幅图像分别具有m×n的图像分辨率。

在本公开实施例中，由于多视点裸眼3D显示屏的显示分辨率与3D信号的视频帧的分辨率一致，所以传输3D信号的视频帧不会占用额外的传输带宽资源；并且由于显示屏的显示分辨率与视频帧所包含的图像的图像分辨率一致，所以无需对生成的图像进行格式调整。

在另一方案中，提供一种3D视频数据通信方法，包括：获取表明图像与视点之间对应关系的标识数据；基于标识数据对初始3D视频数据进行转换，得到包含视频帧的转换后3D视频数据；其中，视频帧包含至少三幅图像或者由至少三幅图像构成的复合图像。

在一些实施例中，3D视频数据通信方法还包括：传送转换后3D视频数据。

在一些实施例中，获取表明图像与视点之间对应关系的标识数据和传送转换后3D视频数据经由高清多媒体接口HDMI实施。

在一些实施例中，获取表明图像与视点之间对应关系的标识数据包括：经由HDMI接收扩展显示标识数据EDID，EDID包括表明图像与视点之间对应关系的标识数据。

在一些实施例中，传送转换后3D视频数据包括：经由HDMI以同步的时序传送转换后3D视频数据。

在一些实施例中，3D视频数据通信方法还包括：准备用于多视点裸眼3D显示的初始3D视频数据。

在一些实施例中，准备用于多视点裸眼3D显示的初始3D视频数据包括：读取存储的压缩3D视频数据或者接收压缩3D视频数据。

以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。

附图说明

一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图不构成比例限制，并且其中：

图1A至图1C是根据本公开实施例的3D显示设备的结构示意图；

图2是根据本公开实施例的3D显示设备的硬件结构示意图；

图3是根据本公开实施例的3D显示设备的软件结构示意图；

图4A至图4C是根据本公开实施例的复合像素的示意图；

图5A至图5D是根据本公开实施例的3D信号的视频帧所包含图像的格式的示意图；

图6A是根据本公开实施例的3D信号的视频帧所包含的上下格式的对应于6个视点的6幅图像的示意图；

图6B是根据本公开实施例的扩展显示标识数据(EDID)或增强型扩展显示标识数据(E-EDID)的供应商专用数据块(VSDB)的内容结构示意图；

图6C是根据本公开实施例的供应商专用信息帧的打包内容的内容结构示意图；

图7是根据本公开实施例的3D显示方法的步骤示意图；

图8是根据本公开实施例的3D视频数据通信方法的步骤示意图；

图9是根据本公开实施例的3D显示***的结构示意图。

附图标记：

100：3D显示设备；101：处理器；122：寄存器；110：多视点裸眼3D显示屏；130：3D处理装置；131：缓存器；140：信号接口；150：眼部追踪装置；151：眼部追踪数据接口；CP：复合像素；CSP：复合子像素；200：3D显示设备；201：处理器；202：外部存储器接口；203：存储器；204：USB接口；205：充电管理模块；206：电源管理模块；207：电池；208：移动通信模块；209：天线；210：无线通信模块；211：天线；212：音频模块；213：扬声器；214：受话器；215：麦克风；216：耳机接口；217：按键；218：马达；219：指示器；220：SIM卡接口；221：摄像单元；222：寄存器；223：GPU；224：编解码器；230：传感器模块；2301：接近光传感器；2302：环境光传感器；2303：压力传感器；2304：气压传感器；2305：磁传感器；2306：重力传感器；2307：陀螺仪传感器；2308：加速度传感器；2309：距离传感器；2310：温度传感器；2311：指纹传感器；2312：触摸传感器；2313：骨传导传感器；310：应用程序层；320：框架层；330：核心类库和运行时(Runtime)；340：内核层；400：复合像素；410、420、430：成单列布置的复合子像素；411、421、431：成单行布置的子像素；440、450、460：成单行布置的复合子像素；441、451、461：成单列布置的子像素；470、480、490：成“品”字状布置的复合子像素；471、481、491：成阵列形式布置的子像素；501、502、503：左右排列的三幅图像；504、505、506：上下排列的三幅图像；507：左右交织的复合图像；508：上下交织的复合图像；601、602、603、604、605、606：对应于6个视点的6幅图像；AS：有效空间；900：3D显示***；910：终端；911：处理器；912：存储器；913：外部接口；914：图像处理装置；920：3D显示设备；930：总线；940：通信接口。

具体实施方式

为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。

在本文中，“裸眼3D(立体)显示”涉及用户(例如观看者)无需佩戴3D显示用的眼镜而能在平面显示器上观察到3D的显示图像的技术，包括但不限于“视差屏障”、“柱状透镜”、“指向式背光”技术。

在本文中，“多视点”具有本领域的常规含义，意指在空间中不同位置(视点)处能观看到显示屏的不同像素或子像素显示的不同图像。在本文中，多视点将意味着至少3个视点。

在本文中，“光栅”具有本领域中广义的解释，包括但不限于“视差屏障”光栅和“透镜”光栅、如“柱状透镜”光栅。

在本文中，“透镜”或“透镜光栅”具有本领域的常规含义，例如包括柱状透镜和球面透镜。

常规的“像素”意指2D显示器或者作为2D显示器显示时就其分辨率而言的最小显示单位。

然而，在本文的一些实施例中，当应用于裸眼3D显示领域的多视点技术时所称的“复合像素”指裸眼3D显示器提供多视点显示时的最小显示单位，但不排除用于多视点技术的单个复合像素可包括或呈现为多个2D显示的像素。在本文中，除非具体说明为“3D显示”或“多视点”应用的复合像素或3D像素，像素将指2D显示时的最小显示单位。同样，当描述为多视点的裸眼3D显示“复合子像素”时，将指裸眼3D显示器提供多视点显示时的复合像素中呈现的单个颜色的复合子像素。在本文中，“复合子像素”中的子像素将指单个颜色的最小显示单位，其往往是与视点相对应的。

在本公开实施例中，提供了一种3D显示设备，包括：多视点裸眼3D显示屏，包括多个复合像素，多个复合像素中的每个复合像素包括多个复合子像素；多个复合子像素中的每个复合子像素由对应于i个视点的i个子像素构成，其中i≥3；配置为接收3D信号的视频帧的信号接口，其中，3D信号的视频帧包含至少三幅图像或者由至少三幅图像构成的复合图像；3D处理装置，被配置为基于至少三幅图像中至少一幅或复合图像渲染多个复合子像素中至少一个子像素。

在本公开实施例中，提供一种3D显示***，包括：终端；和如上文描述的3D显示设备；其中，终端通信连接信号接口。

在本公开实施例中，提供一种用于多视点裸眼3D显示屏的3D显示方法，其中，多视点裸眼3D显示屏包括多个复合像素，多个复合像素中的每个复合像素包括多个复合子像素，多个复合子像素中的每个复合子像素由对应于i个视点的i个子像素构成，其中i≥3，3D显示方法包括：传输3D信号的视频帧，其中，3D信号的视频帧包含至少三幅图像或者由至少三幅图像构成的复合图像；和基于至少三幅图像中至少一幅或复合图像渲染各复合子像素中至少一个子像素。

在本公开实施例中，提供一种用于多视点裸眼3D显示的3D视频数据通信方法，包括：准备用于多视点裸眼3D显示的初始3D视频数据；在建立通信时接收获取表明图像与视点之间对应关系的标识数据；基于所接收的标识数据，将初始3D视频数据转换为转换后3D视频数据，转换后3D视频数据包括具有对应于多视点的多幅图像的视频帧；传送转换后3D视频数据。

图1A示出了根据本公开实施例的3D显示设备100的示意性结构。参考图1A，3D显示设备100包括多视点裸眼3D显示屏110、3D处理装置130和用于接收3D信号的视频帧的信号接口140。

多视点裸眼3D显示屏110可包括显示面板和覆盖在显示面板上的光栅(未标识)。在图1A所示的实施例中，多视点裸眼3D显示屏110可包括m列n行、亦即m×n个复合像素并因此限定出m×n的显示分辨率。

在一些实施例中，3D处理装置与多视点裸眼3D显示屏通信连接。

在一些实施例中，3D处理装置与多视点裸眼3D显示屏的驱动装置通信连接。

在一些实施例中，每个复合像素包括多个复合子像素，各复合子像素由对应于i个视点的i个同色子像素构成，i≥3。在图1A所示的实施例中，i＝6，但可以想到i为其他数值，即相应地具有更多或更少个视点。

结合参考图1A和图4A，在所示的实施例中，每个复合像素包括三个复合子像素，并且每个复合子像素由对应于6个视点(i＝6)的6个同色子像素构成。三个复合子像素分别对应于三种颜色，即红(R)、绿(G)和蓝(B)。

如图4A所示，复合像素400中的三个复合子像素410、420、430成单列布置。各复合子像素410、420、430包括成单行布置的子像素411、421、431。

如图4B所示，复合像素400中的三个复合子像素440、450、460成单行布置。各复合子像素440、450、460包括成单列形式的子像素441、451、461。

如图4C所示，复合像素400中的三个复合子像素470、480、490例如成“品”字状布置。各复合子像素470、480、490中的子像素471、481、491可成阵列形式(3×2)。

但可以想到，复合像素中的复合子像素的不同排布方式或复合子像素中的子像素的不同排布形式。

在一些实施例中，例如图1A-1C所示，3D显示设备100可设置有单个3D处理装置130。单个3D处理装置130同时处理对裸眼3D显示屏110的各复合像素的各复合子像素的渲染。

在另一些实施例中，3D显示设备100可设置有至少两个3D处理装置130，它们并行、串行、串并行结合地或以其他方式处理对裸眼3D显示屏110的各复合像素的各复合子像素的渲染。

在一些实施例中，3D处理装置130还可以选择性地包括缓存器131，以便缓存所接收到的视频帧。

在一些实施例中，3D处理装置为FPGA或ASIC芯片或FPGA或ASIC芯片组。

继续参考图1A，3D显示设备100还可包括通过信号接口140通信连接至3D处理装置130的处理器101。在本文所示的一些实施例中，处理器101被包括在计算机或智能终端、如移动终端中或作为其处理器单元。但是可以想到，在一些实施例中，处理器101可以设置在3D显示设备的外部，例如3D显示设备可以为带有3D处理装置的多视点裸眼3D显示器，例如非智能的裸眼3D电视。

为简单起见，在下文中，3D显示设备的示例性实施例内部包括处理器。进而，信号接口140构造为连接处理器101和3D处理装置130的内部接口，参考图2和图3所示的以移动终端方式实施的3D显示设备200可更明确这种结构。在一些实施例中，作为3D显示设备200的内部接口的信号接口140可以为MIPI、mini-MIPI接口、LVDS接口、min-LVDS接口或Display Port接口。在一些实施例中，如图1A所示，3D显示设备100的处理器101还可包括寄存器122。寄存器122可用于暂存指令、数据和地址。

在一些实施例中，3D显示设备100还可包括用于实时获取人眼追踪数据的眼部位置获取装置，例如眼部追踪装置或眼部追踪数据接口，从而3D处理装置130可以基于人眼追踪数据渲染复合像素的复合子像素中的相应子像素。例如在图1B所示的实施例中，3D显示设备100包括通信连接至3D处理装置130的眼部追踪装置150,由此3D处理装置130可以直接接收人眼追踪数据。在图1C所示的实施例中，设置有眼部追踪数据接口151，眼部追踪装置(未示出)可以直接连接处理器101，3D处理装置经由眼部追踪数据接口151从处理器获得人眼追踪数据。在另一些实施例中，眼部追踪装置可同时连接处理器和3D处理装置，这一方面3D处理装置可以直接从眼部追踪装置获取人眼追踪数据，另一方面可以使得眼部追踪装置获取的其他信息可以被处理器处理。

结合参考图1A-1C和图5A-5D，描述本公开实施例的3D显示设备内的3D信号传输和显示。在所示的实施例中，多视点裸眼3D显示屏110可以限定出6个视点V1-V6，用户的眼睛在各视点(空间位置)可看到多视点裸眼3D显示屏110的显示面板中各复合像素的复合子像素中相应的子像素的显示。用户的两只眼睛在不同的视点看到的两个不同画面形成视差，在大脑中合成3D的画面。

在一些实施例中，3D处理装置130通过例如作为内部接口的信号接口140从处理器101接收例如为解压缩的3D信号的视频帧。各视频帧可包含具有m×n图像分辨率的至少三幅图像或者包含由具有m×n图像分辨率的至少三幅图像构成的复合图像。

在一些实施例中，至少三幅图像或复合图像可以成各种排布形式。

如图5A所示，3D信号的视频帧包含左右排列的具有m×n图像分辨率的三幅图像501、502、503。

如图5B所示，3D信号的视频帧包含上下排列的具有m×n图像分辨率的三幅图像504、505、506。

如图5C所示，3D信号的视频帧包含左右交织格式的具有3m×n图像分辨率的复合图像507。

如图5D所示，3D信号的视频帧包含上下交织格式的具有3m×n图像分辨率的复合图像508。

本领域技术人员将明白，附图所示的实施例仅是示意性的，3D信号的视频帧所包含的至少三幅图像或复合图像可以包括其他数量的图像以及可以呈其他排布形式，这落入本公开实施例的范围内。

在一些实施例中，m×n的显示分辨率可以为全高清(FHD)以上的分辨率，包括但不限于，1920×1080、1920×1200、2048×1280、2560×1440、3840×2160等。

在一些实施例中，3D处理装置130在接收到包含至少三幅图像的视频帧后，基于至少三幅图像中至少一幅渲染复合像素的各复合子像素中至少一个子像素。类似地，在一些实施例中，3D处理装置在接收到包含复合图像的视频帧后，基于复合图像渲染复合像素的各复合子像素中至少一个子像素。

在一些实施例中，这例如是基于人眼追踪数据、例如用户双眼的空间位置或用户视角等来渲染。

在一些实施例中，显示面板可定义有多个校正区域，每个复合子像素中的子像素与视点的对应关系数据是与每个校正区域相关联的。

作为解释而非限制地，由于在本公开实施例中的3D处理装置130通过例如构造为内部接口的信号接口140接收到的视频帧包含至少三幅图像，各图像的分辨率(或复合图像分辨率的以至少三幅图像的数量为倍数之一)与按照视点划分的复合像素(其包括按照视点划分的复合子像素)相对应。一方面，由于视点信息与传输过程无关，这能够实现处理计算量小且分辨率不受损失的裸眼3D显示；另一方面，由于复合像素的各复合子像素中的子像素对应于视点设置，显示屏的渲染能够以“点对点”的方式实现，大大降低了计算量。相比之下，常规的裸眼3D显示器的图像或视频的传输和显示仍以2D显示面板为基础，不仅存在分辨率下降和渲染计算量剧增的问题，还可能存在多次格式调整和图像或视频显示适配的问题。

在一些实施例中，处理器101的寄存器122可用于接收有关多视点裸眼3D显示屏110的显示要求的信息，信息典型地为与i个视点无关地且与多视点裸眼3D显示屏110的m×n显示分辨率相关的信息，以便处理器101向多视点裸眼3D显示屏110发送符合其显示要求的3D信号的视频帧。信息例如可以为用于初始建立视频传输发送的数据包。

因此，在传输3D信号的视频帧时，处理器101无需考虑与多视点裸眼3D显示屏110的i个视点相关的信息(i≥3)。而是，处理器101凭借寄存器122接收到的与多视点裸眼3D显示屏110的m×n显示分辨率相关的信息就能够向多视点裸眼3D显示屏110发送符合其要求的3D信号的视频帧。

在一些实施例中，3D显示设备100还可以包括编解码器，配置为对压缩的3D信号解压缩和编解码并将解压缩的3D信号经信号接口140发送至3D处理装置130。

在一些实施例中，3D显示设备100的处理器101从存储器读取或从3D显示设备100以外、例如通过外部接口接收3D信号的视频帧，然后经由信号接口140将读取到的或接收到的3D信号的视频帧传输到3D处理装置130。

在一些实施例中，3D显示设备100还包括格式调整器(未示出)，其例如集成在处理器101中，构造为编解码器或者作为GPU的一部分，用于预处理3D信号的视频帧，以使其包含的至少三幅图像具有m×n的图像分辨率或者使其包含的复合图像具有例如3m×n或m×3n的图像分辨率或其他合适的图像分辨率。

如前所述，本公开实施例提供的3D显示设备可以是包含处理器的3D显示设备。在一些实施例中，3D显示设备可构造为智能蜂窝电话、平板电脑、智能电视、可穿戴设备、车载设备、笔记本电脑、超级移动个人计算机(UMPC)、上网本、个人数字助理(PDA)等。

示例性的，图2示出了实施为移动终端、如智能蜂窝电话或平板电脑的3D显示设备200的硬件结构示意图。3D显示设备200可以包括处理器201，外部存储接口202，(内部)存储器203，通用串行总线(USB)接口204，充电管理模块205，电源管理模块206，电池207，移动通信模块208，无线通信模块210，天线209、211，音频模块212，扬声器213，受话器214，麦克风215，耳机接口216，按键217，马达218，指示器219，用户标识模块(SIM)卡接口220，多视点裸眼3D显示屏110，3D处理装置130，信号接口140，眼部追踪装置150,摄像单元221，以及传感器模块230等。其中传感器模块230可以包括接近光传感器2301，环境光传感器2302，压力传感器2303，气压传感器2304，磁传感器2305，重力传感器2306，陀螺仪传感器2307，加速度传感器2308，距离传感器2309，温度传感器2310，指纹传感器2311，触摸传感器2312，骨传导传感器2313等。

可以理解的是，图2中示意的结构并不构成对3D显示设备200的具体限定。在另一些实施例中，3D显示设备200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器201可以包括一个或一个以上处理单元，例如：处理器201可以包括应用处理器(AP)，调制解调处理器，基带处理器，图形处理器(GPU)223，图像信号处理器(ISP)，控制器，存储器，视频编解码器224，数字信号处理器(DSP)，基带处理器、神经网络处理器(NPU)等或它们的组合。

在一些实施例中，处理器201可以包括一个或一个以上接口。接口可以包括集成电路(I2C)接口、集成电路内置音频(I2S)接口、脉冲编码调制(PCM)接口、通用异步收发传输器(UART)接口、移动产业处理器接口(MIPI)、通用输入输出(GPIO)接口、用户标识模块(SIM)接口、通用串行总线(USB)接口等。

3D显示设备200的无线通信功能可以通过天线209、211，移动通信模块208，无线通信模块210，调制解调处理器或基带处理器等实现。

天线209、211用于发射和接收电磁波信号。3D显示设备200中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。

移动通信模块208可以提供应用在3D显示设备200上的包括2G/3G/4G/5G等无线通信的解决方案。

无线通信模块210可以提供应用在3D显示设备200上的包括无线局域网(WLAN)，蓝牙(BT)，全球导航卫星***(GNSS)，调频(FM)，近距离无线通信技术(NFC)，红外技术(IR)等无线通信的解决方案。

在一些实施例中，3D显示设备200的天线209和移动通信模块208耦合，天线211和无线通信模块210耦合，使得3D显示设备200可以通过无线通信技术与网络以及其他设备通信。

在一些实施例中，用于接收3D信号的外部接口可以包括USB接口204、移动通信模块208、无线通信模块209或其组合。此外，还可以想到其他可行的用于接收3D信号的接口，例如上述的接口。

在一些实施例中，3D显示设备的存储器可以包括(内部)存储器203、外部存储器接口202连接的外部存储卡或其组合。在另一些实施例中，信号接口也可以采用上述实施例中不同的内部接口连接方式或其组合。

在一些实施例中，摄像单元221可以采集图像或视频。

在一些实施例中，3D显示设备200通过信号接口140、3D处理装置130、多视点裸眼3D显示屏110，以及应用处理器等实现显示功能。

在一些实施例中，3D显示设备200可包括GPU，例如在处理器201内用于对3D视频图像进行处理，也可以对2D视频图像进行处理。

在一些实施例中，3D显示设备200还包括视频编解码器224，用于对数字视频压缩或解压缩。

在一些实施例中，信号接口140用于将经GPU或编解码器224或两者处理的3D信号、例如解压缩的3D信号的视频帧输出至3D处理装置130。

在一些实施例中，GPU或编解码器224集成有格式调整器。

多视点裸眼3D显示屏110用于显示3D(立体)图像或视频等。多视点裸眼3D显示屏110包括显示面板。显示面板可以采用液晶显示屏(LCD)，有机发光二极管(OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(AMOLED)，柔性发光二极管(FLED)，Mini-LED，Micro-LED，Micro-OLED，量子点发光二极管(QLED)等。

在一些实施例中，眼部追踪装置150通信连接至3D处理装置130。在一些实施例中，眼部追踪装置150还可连接处理器201，例如旁路连接处理器201。

3D显示设备200可以通过音频模块212，扬声器213，受话器214，麦克风215，耳机接口216，以及应用处理器等实现音频功能。

3D显示设备200的软件***可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。下文以分层架构的安卓***为例，示例性说明3D显示设备200的软件结构。但可以想到，本公开实施例可以在不同的软件***、如操作***中实施。

图3是本公开实施例的3D显示设备200的软件结构示意图。分层架构将软件分成若干个层。层与层之间通过软件接口通信。在一些实施例中，将安卓***分为四层，从上至下分别为应用程序层310，框架层320，核心类库和运行时(Runtime)330，以及内核层340。

应用程序层310可以包括一系列应用程序包。如图3所示，应用程序包可以包括蓝牙，WLAN，导航，音乐，相机，日历，通话，视频，图库，地图，短信息等应用程序。根据本公开实施例的3D显示方法，例如可以在视频应用程序中实施。

框架层320为应用程序层的应用程序提供应用编程接口(API)和编程框架。框架层包括一些预先定义的函数。例如，在本公开的一些实施例中，对所采集的3D视频图像进行识别的函数或者算法以及处理图像的算法等可以包括在框架层。

如图3所示，框架层320可以包括资源管理器、电话管理器、内容管理器、通知管理器、窗口管理器，视图***，安装包管理器等。

安卓Runtime(运行时)包括核心库和虚拟机。安卓Runtime负责安卓***的调度和管理。

核心库包含两部分：一部分是java语言要调用的功能函数，另一部分是安卓的核心库。

应用程序层和框架层运行在虚拟机中。虚拟机将应用程序层和框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

核心类库可以包括多个功能模块。例如：3D图形处理库(例如：OpenGL ES)，表面管理器，图像处理库，媒体库，图形引擎(例如：SGL)等。

内核层340是硬件和软件之间的层。内核层至少包含摄像头驱动，音视频接口，通话接口，Wifi接口，传感器驱动，电源管理，GPS接口。

在此，以具有图2和图3所示结构的作为移动终端的3D显示设备为例，描述3D显示设备中的3D视频传输和显示的实施例；但是，可以想到，在另一些实施例中可以包括更多或更少的特征或对其中的特征进行改变。

在一些实施例中，例如为移动终端、如智能蜂窝电话或平板电脑的3D显示设备200例如借助作为外部接口的移动通信模块208及天线209或者无线通信模块210及天线211从网络、如蜂窝网络、WLAN网络、蓝牙接收例如压缩的3D信号，压缩的3D信号例如经GPU 223进行图像处理、编解码器224编解码和解压缩，然后例如经作为内部接口的信号接口140、如MIPI接口或mini-MIPI接口将解压缩的3D信号发送至3D处理装置130，解压缩的3D信号的视频帧包括本公开实施例的至少三幅图像或复合图像。进而，3D处理装置130相应地渲染显示屏的复合像素的各复合子像素中的子像素，由此实现3D视频播放。

在另一些实施例中，3D显示设备200读取(内部)存储器203或通过外部存储器接口202读取外部存储卡中存储的压缩的3D信号，并经相应的处理、传输和渲染来实现3D视频播放。

在一些实施例中，上述3D视频的播放是在安卓***应用程序层310中的视频应用程序中实施的。

在一些实施例中，信号接口140配置为接收3D信号的视频帧，视频帧包含的至少三幅图像为i幅图像，3D处理装置130配置为基于i幅图像逐一对应地渲染多视点裸眼3D显示屏110的m×n个复合像素的各复合子像素中对应于i个视点的i个子像素。

在一些实施例中，3D显示设备100配置为传输与i个视点相关的标识数据，即表明图像与视点之间对应关系的标识数据。通过标识数据来确定i幅图像与i个视点的逐一对应关系。

如图6A所示，3D信号的视频帧示例性地包含上下格式的6幅图像601、602、603、604、605和606(i＝6)，每幅图像具有m×n的图像分辨率。在每两幅图像之间具有有效空间AS。

结合图1A、图4A和图6A，3D信号的视频帧所包含的6幅图像与6个视点逐一对应，亦即与各复合子像素的6个子像素逐一对应。

继续结合图1A，3D显示设备100包括信号接口140，通过信号接口140接收3D信号的视频帧，并且通过信号接口140传输与上述6个视点(i＝6)相关的标识数据。

在一些实施例中，信号接口140构造为高清多媒体接口(HDMI)。在这种情况下，通过HDMI的显示数据通道(DDC)可传输扩展显示标识数据(EDID)，也可传输增强型扩展显示标识数据(E-EDID)，在EDID或E-EDID的供应商专用数据块(VSDB)中可包括与上述6个视点(i＝6)相关的标识数据。

参考图6B，示例性地示出EDID或E-EDID的VSDB的内容结构。其中，与上述6个视点(i＝6)相关的标识数据可以限定在预留位中。

在一些实施例中，可通过HDMI的最小化传输差分信号通道(TMDS通道)传输供应商专用信息帧(Vendor Specific InfoFrame)。在供应商专用信息帧的打包内容(PacketContents)中可包括与上述6个视点(i＝6)相关的标识数据。

参考图6C，示例性地示出供应商专用信息帧的打包内容的内容结构。其中，与上述6个视点(i＝6)相关的标识数据可以限定在预留位中。结合图6A，与上述6个视点(i＝6)相关的标识数据可以位于有效空间AS中。

示例性而非限制性地，在另一些实施例中，传输对应于j个视点的j幅图像，其中j≤i。当i＝6时，这种情况例如为，当通过眼部追踪装置或眼部追踪数据接口获取到两个用户的分别处于4个视点(j＝4)的4只眼睛的人眼追踪数据时，那么就传输对应于这4个视点的4幅图像，并且3D处理装置配置为基于这4幅图像逐一对应地渲染多视点裸眼3D显示屏的m×n个复合像素的各复合子像素中对应于这4个视点的4个子像素。

本公开实施例还提供一种用于多视点裸眼3D显示屏的3D显示方法，其中，多视点裸眼3D显示屏包括多个复合像素，多个复合像素中的每个复合像素包括多个复合子像素，多个复合子像素中的每个复合子像素由对应于多个视点的多个子像素构成。

参考图7，在一些实施例中，3D显示方法包括：

S701：传输3D信号的视频帧，其中，视频帧包含至少三幅图像或者由至少三幅图像构成的复合图像；

S702：基于至少三幅图像中至少一幅或复合图像渲染多视点裸眼3D显示屏中的多个复合子像素中至少一个子像素。

在一些实施例中，每个复合子像素的对应于i个视点的i个子像素构造为i个同色子像素，其中i≥3。

在一些实施例中，多视点裸眼3D显示屏包括m×n个复合像素并因此限定出m×n的显示分辨率。

在一些实施例中，3D信号的视频帧所包含的至少三幅图像分别具有m×n的图像分辨率。

本公开实施例还提供一种3D视频数据通信方法。

参考图8，在一些实施例中，3D视频数据通信方法包括：

S801：获取表明图像与视点之间对应关系的标识数据；

S802：基于标识数据对初始3D视频数据进行转换，得到包含视频帧的转换后3D视频数据；其中，视频帧包含至少三幅图像或者由至少三幅图像构成的复合图像。

在一些实施例中，3D视频数据通信方法还包括：传送转换后3D视频数据。

在一些实施例中，获取表明图像与视点之间对应关系的标识数据和传送转换后3D视频数据经由高清多媒体接口HDMI实施

在一些实施例中，获取表明图像与视点之间对应关系的标识数据包括：经由HDMI接收扩展显示标识数据EDID，EDID包括表明图像与视点之间对应关系的标识数据

在一些实施例中，传送转换后3D视频数据包括：经由HDMI以同步的时序传送转换后3D视频数据。

在一些实施例中，3D视频数据通信方法还包括准备用于多视点裸眼3D显示的初始3D视频数据，包括：读取存储的压缩3D视频数据或者接收压缩3D视频数据。

本公开实施例提供了一种3D显示***900，参考图9，3D显示***900包括终端910、如上文描述的3D显示设备920，其中终端910通信连接3D显示设备920的信号接口。

在一些实施例中，终端910包括处理器911、存储器912、外部接口913和包括编解码器的图像处理装置914；存储器912配置为存储压缩的3D信号或者外部接口1313配置为接收压缩的3D信号；图像处理装置914配置为对压缩的3D信号解压缩和编解码并将解压缩的3D信号处理为包括至少三幅图像的3D信号。

在一些实施例中，3D显示***900还包括配置为预处理3D信号的视频帧使得至少三幅图像中每一幅具有m×n的图像分辨率的格式调整器。

3D显示***900还可以包括通信接口940和总线930。其中，处理器911、通信接口940、存储器912以通过总线930完成相互间的通信。通信接口940可以用于信息传输。处理器911可以调用存储器912中的逻辑指令，以执行上述实施例的3D显示方法和3D视频数据通信方法。

此外，上述的存储器912中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器912作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器911通过运行存储在存储器912中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的3D显示方法和3D视频数据通信方法。

存储器912可包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器912可以包括高速随机存取存储器，还可以包括非易失性存储器。

本公开实施例提供了一种产品、例如智能电视、智能蜂窝电话、平板电脑、个人计算机或可穿戴设备，其构造为或包含上述的3D显示设备或***。

在本申请的实施例的方法、程序、***、装置、设备等，可以在单个或多个连网的计算机中执行或实现，也可以在分布式计算环境中实践。在本说明书实施例中，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。

本领域技术人员应明白，本说明书的实施例可提供为方法、***或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。

除非明确指出，根据本申请实施例记载的方法、程序的动作或步骤并不必须按照特定的顺序来执行并且仍然可以实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

已参考上述实施例具体示出并描述了本申请的示例性设备、***及方法，其仅为实施本设备、***及方法的最佳模式的示例。本领域的技术人员可以理解的是可以在实施本设备、***及方法时对这里描述的设备、***及方法的实施例做各种改变而不脱离界定在所附权利要求中的本申请的精神及范围。所附权利要求意在界定本设备、***及方法的范围，故落入这些权利要求中及与其等同的***及方法可被涵盖。

Claims (19)

1.一种3D显示设备，其特征在于，包括：

多视点裸眼3D显示屏，包括多个复合像素，所述多个复合像素中的每个复合像素包括多个复合子像素，所述多个复合子像素中的每个复合子像素由对应于多个视点的多个子像素构成；

信号接口，被配置为接收3D信号中的视频帧，其中，所述视频帧包含至少三幅图像或者由至少三幅图像构成的复合图像；

3D处理装置，被配置为基于所述视频帧中的至少三幅图像中至少一幅或所述复合图像渲染所述多个复合子像素中至少一个子像素。

2.根据权利要求1所述的3D显示设备，其特征在于，

所述信号接口还被配置为传输表明图像与视点之间对应关系的标识数据。

3.根据权利要求2所述的3D显示设备，其特征在于，

所述信号接口为高清多媒体接口HDMI。

4.根据权利要求3所述的3D显示设备，其特征在于，

所述HDMI被配置为传输包括所述表明图像与视点之间对应关系的标识数据的扩展显示标识数据EDID。

5.根据权利要求1至4任一项所述的3D显示设备，其特征在于，

所述至少三幅图像的排列方式为左右排列或上下排列；或

所述复合图像为左右交织复合图像或上下交织复合图像。

6.根据权利要求1至4任一项所述的3D显示设备，其特征在于，所述多个复合子像素中的至少一个包括单行或单列或成阵列形式的多个子像素。

7.根据权利要求1至4任一项所述的3D显示设备，其特征在于，所述3D处理装置包括现场可编程门阵列FPGA芯片、专用集成电路ASIC芯片中至少之一。

8.根据权利要求1至4任一项所述的3D显示设备，其特征在于，还包括：

眼部位置获取装置，被配置为获取用户眼部位置。

9.一种3D显示***，其特征在于，包括：

终端；和

根据权利要求1至8任一项所述的3D显示设备；

其中，所述终端通信连接所述信号接口。

10.根据权利要求9所述的3D显示***，其特征在于，所述终端包括处理器、存储器和图像处理装置，所述存储器被配置为存储3D信号；所述图像处理装置被配置为对所述3D信号进行处理，获得所述3D信号中的视频帧，所述视频帧包含至少三幅图像或者由至少三幅图像构成的复合图像。

11.根据权利要求9或10所述的3D显示***，其特征在于，还包括：

格式调整器，被配置为处理所述3D信号中的视频帧使得所述至少三幅图像中每一幅具有与所述多视点裸眼3D显示屏的显示分辨率一致的图像分辨率；

其中所述多视点裸眼3D显示屏的显示分辨率是由复合像素限定出的。

12.一种3D显示方法，包括：

传输3D信号中的视频帧，其中，所述视频帧包含至少三幅图像或者由至少三幅图像构成的复合图像；和

基于所述至少三幅图像中至少一幅或所述复合图像渲染多视点裸眼3D显示屏中的多个复合子像素中至少一个子像素；

其中，所述多视点裸眼3D显示屏包括多个复合像素，所述多个复合像素中的每个复合像素包括多个复合子像素，所述多个复合子像素中的每个复合子像素由对应于多个视点的多个子像素构成。

13.一种3D视频数据通信方法，其特征在于，包括：

获取表明图像与视点之间对应关系的标识数据；

基于所述标识数据对初始3D视频数据进行转换，得到包含视频帧的转换后3D视频数据；其中，所述视频帧包含至少三幅图像或者由至少三幅图像构成的复合图像。

14.根据权利要求13所述的方法，其特征在于，还包括：传送所述转换后3D视频数据。

15.根据权利要求14所述的方法，其特征在于，获取表明图像与视点之间对应关系的标识数据和传送所述转换后3D视频数据经由高清多媒体接口HDMI实施。

16.根据权利要求15所述的方法，其特征在于，获取表明图像与视点之间对应关系的标识数据包括：经由所述HDMI接收扩展显示标识数据EDID，所述EDID包括所述表明图像与视点之间对应关系的标识数据。

17.根据权利要求15或16所述的方法，其特征在于，传送所述转换后3D视频数据包括：经由所述HDMI以同步的时序传送所述转换后3D视频数据。

18.根据权利要求13至16任一项所述的方法，其特征在于，还包括：准备用于多视点裸眼3D显示的初始3D视频数据。

19.根据权利要求18所述的方法，其特征在于，准备用于多视点裸眼3D显示的初始3D视频数据包括：读取存储的压缩3D视频数据或者接收压缩3D视频数据。

Images