CN106060523A - 全景立体图像采集、显示方法及相应的装置 - Google Patents

Abstract

本发明涉及一种全景立体图像采集方法和装置以及显示方法和装置。在全景立体图像采集装置中生成立体图像的方法步骤如下：接收不少于三对摄像单元采集的平面图像；结合摄像单元的空间方位信息将平面图像处理成能用于立体成像的左眼区域图像和右眼区域图像；将同一时刻左眼区域图像和右眼区域图像合并到同一数据帧中并传送至显示设备/服务器。显示设备显示立体图像的方法步骤如下：通过获取传感器的数据确定空间方位信息，扫描接收的区域图像，根据区域图像的标签信息调用对应的区域图像显示在显示设备的屏幕上。本发明提高了立体图像的成像品质和传输效率。在服务器或显示终端提高处理和传输效率，尤其节省了显示终端的耗电量，改善用户体验。

Description

全景立体图像采集、显示方法及相应的装置

技术领域

本发明涉及全景立体图像摄像机领域，具体而言，本发明涉及一种全景立体图像采集、显示方法及其相应的装置。

背景技术

近年来，虚拟现实技术发展迅速，短短时间内已经成为新的科技发展趋势。360度全景立体图像作为虚拟现实技术的一种，广泛运用于旅游景点虚拟导览、城市环境三维全景虚拟、导航街景虚拟等等，有着非常实际的应用价值，虚拟现实的三维环境需要图像采集设备能够以360度全方位拍摄，这极大的增加拍摄的技术要求。

现有技术中，其方法为通过单一相机在不同方位采集若干能够覆盖整个可视空间的平面图像或视频，经立体图像处理软件处理后生成全景立体图像，此方法中，由于用户拍摄时的拍摄方向及移动方向不规则，因此，处理成的全景立体图像会产生缺陷或失真；另一方法为使用多个摄像机在固定位置同时向不同方向进行图像拍摄，此方法中，由于各摄像机独立拍摄，所拍摄的平面图像需后期另行处理，成本高且无法随时的在虚拟现实显示设备中观看。

发明内容

本发明的首要目的旨在提供一种全景立体图像采集的方法及其相应原装置

本发明的另一目的在于提供一种全景立体图像显示的方法及其相应原装置。

为了实现上述目的，本发明提供了一种全景立体图像采集方法，包括如下步骤:

接收覆盖全景视角的至少三对摄像单元中的每个摄像单元所采集的平面图像；

结合摄像单元的空间方位信息将所述平面图像处理成用于立体成像的左眼区域图像和右眼区域图像；

将左眼区域图像和右眼区域图像相关联传送至显示设备/服务器。

优选地，至少三对摄像单元同时采集围绕同一圆周范围的平面图像，每对摄像单元中的两个摄像单元分别采集适于分别形成左眼区域图像和右眼区域图像的两幅平面图像。

优选地，各摄像单元所采集的平面图像与其相邻摄像单元所采集的平面图像部分重叠。一般地，摄像单元越多，采集的平面图像重叠部分越大，需要进行裁剪的部分越小，产生的立体图像失真度越低。

优选地，每对摄像单元中位于左边的摄像单元所采集的平面图像用于形成左眼区域图像，位于右边的摄像单元所采集的平面图像为用于形成右眼区域图像。

上述采用多对双目摄像单元模拟人双眼采集图像的实现方式，由于双目摄像单元从不同的角度采集两幅平面图像，因此本质上是对距离的探测，通过双目实时深度计算，恢复出三维几何信息，由此产生立体视觉。

优选地，结合摄像单元的空间方位信息将平面图像处理成用于立体成像的左眼区域图像和右眼区域图像的步骤具体包括：

将每对摄像单元所采集的两张平面图像根据双目立体成像原理进行剪裁，形成相对应的左眼区域图像和右眼区域图像，其中，左眼区域图像和右眼区域图像至少有部分景物内容相重叠；

建立各区域图像及其相应的摄像单元的空间方位信息的对应关系，使显示设备端能匹配并调用对应空间方位信息的区域图像显示在平面两侧。

优选地，结合摄像单元的空间方位信息将平面图像处理成用于立体成像的左眼区域图像和右眼区域图像的步骤具体包括：

将各对摄像单元的同一侧的摄像单元所获取的平面图像拼接成全景平面图像；

根据双目立体成像原理，将所形成的两幅全景平面图像进行处理，使其分别成为左眼区域图像和右眼区域图像；

基于摄像单元的空间方位信息建立左眼区域图像与右眼区域图像的具体部分之间的对应关系，使显示设备端能匹配并调用对应空间方位信息的区域图像显示在平面两侧。

优选地，将左眼区域图像和右眼区域图像相关联传送至显示设备的步骤中，通过将同一时刻获取并生成的左眼区域图像和右眼区域图像合并到同一数据帧中传输而实现相关联。

优选地，显示设备为移动终端或虚拟现实头显设备。

优选地，在同一所述的数据帧中，包含按照摄像单元所居空间位置对应设置的的左眼区域图像与右眼区域图像的空间方位信息。

优选地，空间方位信息以标签信息进行标示。

优选地，摄像单元处于摄影模式以实时获取所述平面图像，本方法按照摄像单元在该摄像模式下的帧速率，针对摄像单元获取每一帧平面图像而对应循环执行一次。

优选地，本方法被配置为接收覆盖全景视角的四对摄像单元所采集的平面图像，其中，每个摄像单元所获取的平面图像具有大于90度的空间广角。

第二方面，本发明提供了一种全景立体图像采集装置，包括至少三对以上摄像单元，用于采集覆盖全景视角的图像，此装置包括:

接收模块，用于接收覆盖全景视角的至少三对摄像单元中的每个摄像单元所采集的平面图像；

图像处理模块，用于结合摄像单元的空间方位信息将所述平面图像处理成用于立体成像的左眼区域图像和右眼区域图像；

传输模块，用于将左眼区域图像和右眼区域图像相关联并传送至显示设备/服务器。

优选地，至少三对摄像单元等距环绕于装置外侧，采集围绕同一圆周范围的平面图像，每对摄像单元中的两个摄像单元分别采集适于形成左眼区域图像和右眼区域图像的两幅平面图像。

优选地，各摄像单元所采集的平面图像与其相邻摄像单元所采集的平面图像部分重叠。

优选地，每对摄像单元中位于左侧的摄像单元所采集的平面图像用于形成左眼区域图像，位于右侧的摄像单元所采集的平面图像为用于形成右眼区域图像。

优选地，图像处理模块包括：

裁剪单元，将每对摄像单元所采集的两张平面图像根据双目立体成像原理进行剪裁，形成相对应的左眼区域图像和右眼区域图像，其中，左眼区域图像和右眼区域图像至少有部分景物内容相重叠；

标示单元，建立各区域图像及其相应的摄像单元的空间方位信息的对应关系。

优选地，图像处理模块包括：

拼接单元，用于将各对摄像单元的同一侧的摄像单元所获取的平面图像拼接成全景平面图像；

处理单元，根据双目立体成像原理，将所形成的两幅全景平面图像进行处理，使其分别成为左眼区域图像和右眼区域图像；

标示单元，基于所述摄像单元的空间方位信息建立左眼区域图像与右眼区域图像的具体部分之间的对应关系。

优选地，传输模块包括：

合并单元，将同一时刻获取并生成的所述左眼区域图像和右眼区域图像合并到同一数据帧中而实现关联；

传送单元，将相关联后左眼区域图像和右眼区域图像传送至显示设备/服务器。

优选地，显示设备为移动终端或虚拟现实头显设备。

优选地，在同一数据帧中，包含按照摄像单元所居空间位置对应设置的的左眼区域图像与右眼区域图像的空间方位信息。

优选地，空间方位信息以标签信息进行标示。

优选地，摄像单元处于摄影模式以实时获取所述平面图像，按照摄像单元在该摄像模式下的帧速率，针对摄像单元获取每一帧平面图像全景立体图像采集的方法对应循环执行一次。

优选地，本装置配置了覆盖全景视角的四对摄像单元，其中，每个摄像单元所获取的平面图像具有大于90度的空间广角。

第三方面，本发明提供了一种显示全景立体图像的方法，包括如下步骤：

获取传感器数据，依据传感器数据确定空间方位信息；

对所接收的数据帧进行解析，获取其中加载的与空间方位信息相对应的左眼区域图像和右眼区域图像；

将与空间方位信息相对应的左眼区域图像和右眼区域图像分别对应显示在屏幕两侧。

具体地，获取传感器数据步骤中，通过获取传感器测量当前空间方位信息和人头部运动轨迹数据估计下一空间方位信息，将下一空间方位信息作为确定出的空间方位信息。

具体地，对所接收的数据帧进行解析，获取其中加载的与空间方位信息相对应的左眼区域图像和右眼区域图像的步骤具体包括：

根据传感器所测量的空间方位信息，读取所接收数据帧中的区域图像；

根据区域图像的标签信息，确定与传感器所测量的空间方位信息相对应的左眼区域图像和右眼区域图像；

调用该空间方位信息相对应的左眼区域图像和右眼区域图像。

具体地，将与空间方位信息相对应的左眼区域图像和右眼区域图像分别对应显示在屏幕两侧显示的步骤中，显示设备屏幕平均分为左侧显示区域和右侧显示区域，所述左眼区域图像显示在左侧显示区域，右眼区域图像显示在右侧显示区域。

具体地，显示设备按照摄像单元摄像模式下的帧速率接收数据帧，对于通过传感器数据确定的每一空间方位信息，显示设备每接收一数据帧，本方法对应循环执行一次。

第四方面，本发明提供了一种显示全景立体图像的装置，此装置包括控制部和显示屏，所述控制部具体包括：

获取模块，用于获取传感器数据，依据传感器数据确定空间方位信息；

解析模块，用于对所接收的数据帧进行解析，获取其中加载的与所述空间方位信息相对应的左眼区域图像和右眼区域图像；

显示模块，用于将所述与空间方位信息相对应的左眼区域图像和右眼区域图像分别对应显示在屏幕两侧。

优选地，通过获取传感器测量当前空间方位信息和人头部运动轨迹数据估计下一空间方位信息，将下一空间方位信息作为确定出的空间方位信息。

优选地，解析模块包括：

读取单元，用于根据传感器所测量的空间方位信息，读取所接收数据帧中的区域图像；

匹配单元，用于根据区域图像的标签信息，确定与传感器所测量的空间方位信息相对应的左眼区域图像和右眼区域图像；

提取单元，用于调用与该空间方位信息相对应的左眼区域图像和右眼区域图像。

优选地，显示设备屏幕平均分为左侧显示区域和右侧显示区域，所述左眼区域图像显示在左侧显示区域，右眼区域图像显示在右侧显示区域。

优选地，显示设备按照摄像单元摄像模式下的帧速率接收数据帧，对于通过传感器数据确定的每一空间方位信息，显示设备每接收一数据帧，显示全景立体图像的方法对应循环执行一次。

相比现有技术，本发明的方案具有以下优点：

本发明基于双目成像原理，借助三对以上的摄像单元围绕同一圆周取得全景立体图像的基础素材，经过初步处理后发送到接收方，以供暂存或直接显示。由于其从硬件层面解决了立体成像的图像素材获取的问题，因此，其输出的图像能够不经复制处理便能加以利用，提高了立体图像的成像品质和传输效率。进一步，在服务器或显示终端也能够在较大程度上节省处理时间，提高处理和传输效率，尤其能够节省显示终端的耗电量，提高所显示的立体图像的流畅度和整体成像品质，改善用户体验。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例全景立体图像生成方法的流程图

图2为本发明一实施例摄像单元覆盖视角区域框图

图3为本发明一实施例全景立体图像采集装置结构框图

图4为本发明一实施例全景立体图像采集装置中央处理器CPU的模块图

图5为本发明一实施例的图像处理模块的详细模块图

图6为本发明另一实施例的图像处理模块的详细模块图

图7为本发明一实施例传输模块的详细模块图

图8为本发明一实施例显示全景立体图像的方法的流程图

图9为本发明一实施例显示设备的控制部的模块图

图10为本发明一实施例解析模块的详细模块图

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

对于本发明中用到的专有名词解释如下：

左眼区域图像、右眼区域图像，在本发明中，左眼区域图像和右眼区域图像指的是平面图像经过处理后能用于产生立体视觉显示在显示设备的图像。

空间方位信息，在本发明中，空间方位信息指的是摄像单元采集图片时的方位信息。

数据帧，数据链路层的协议数据单元，包括三部分：帧头，数据部分，帧尾。帧头和帧尾包含一些必要的控制信息，比如同步信息、地址信息、差错控制信息等；数据部分则包含网络层传下来的数据，比如IP数据包。

帧速率，指的是每秒所显示的静止帧格数。

传感器数据，本发明中指的是传感器检测到的空间方位信息。

第一方面，在本发明中的一个实施例中，提供了一种全景立体图像采集的方法流程图如图1所示，包括：

S310：接收覆盖全景视角的至少三对摄像单元中的每个摄像单元所采集的平面图像。

本领域技术人员可以理解，至少三对摄像单元呈环绕阵列式等距排布于采集装置的外侧，以四对摄像单元为例，可参考图2，每个摄像单元采集所获取的平面图像具有大于90度的空间广角，8个摄像单元所获取的平面图像的空间广角之和大于360度，即覆盖全景视角。

具体地，至少三对摄像单元同时采集围绕同一圆周范围的平面图像，每对摄像单元中的两个摄像单元分别采集适于分别形成左眼区域图像和右眼区域图像的两幅平面图像。本领域技术人员可以理解，在一定的空间角度范围内摄像单元的对数越多，采集的平面图像重叠部分越多，三维立体还原度越高。

具体地，各摄像单元所采集的平面图像与其相邻摄像单元所采集的平面图像部分重叠。本领域技术人员可以理解，根据三角原理来获得所拍摄图像的三维几何信息，左边摄像单元所采集的平面图像上的任意一点可以在右边摄像单元采集的平面图像的同一水平极线上找到匹配点，构建三角关系，推算出三维空间关系即立体空间关系。

具体地，每对摄像单元中位于左边的摄像单元所采集的平面图像用于形成左眼区域图像，位于右边的摄像单元所采集的平面图像为用于形成右眼区域图像。

具体地，本方法被配置为接收覆盖全景视角的四对摄像单元所采集的所述平面图像，其中，每个摄像单元所获取的平面图像具有大于90度的空间广角。本领域技术人员可以理解，当有四对摄像单元时，每个摄像单元所获取的平面图像具有大于90度的空间广角，当有N对摄像单元时，每个摄像单元所获取的平面图像具有大于360/N度的空间广角，由此，各摄像单元所采集的平面图像能覆盖全景视角。

本方法的目的之一是采集全景图像，因此采用至少三对摄像单元同时采集围绕同一圆周范围的平面图像，各摄像单元所采集的平面图像与其相邻摄像单元所采集的平面图像部分重叠且各摄像单元的拍摄视角之和大于360度，采集的平面图像覆盖全景视角。本方法的目的之二是生成立体图像，根据双目立体成像原理，每对摄像单元中的两个摄像单元分别采集适于分别形成左眼区域图像和右眼区域图像的两幅平面图像。每对摄像单元中位于左边的摄像单元所采集的平面图像用于形成左眼区域图像，位于右边的摄像单元所采集的平面图像为用于形成右眼区域图像。由于每对摄像单元中的左侧摄像单元和右侧摄像单元从不同的角度采集两幅平面图像，因此本质上是对距离的探测，通过双目实时深度计算恢复出三维几何信息，由此产生立体视觉。

S320：结合摄像单元的空间方位信息将所述平面图像处理成用于立体成像的左眼区域图像和右眼区域图像。

本发明中，多对摄像单元呈环绕阵列式等距固定于装置外侧，因此，每个摄像单元具有特定的空间方位，所述空间方位信息指每张平面图像生成时对应的摄像单元的空间方位。

具体地，本方法提供了一种将平面图像处理成用于立体成像的左眼区域图像和右眼区域图像的具体实施例，具体步骤包括：

将每对摄像单元所采集的两张平面图像根据双目立体成像原理进行剪裁，形成相对应的左眼区域图像和右眼区域图像，其中，左眼区域图像和右眼区域图像至少有部分景物内容相重叠；

建立各区域图像及其相应的摄像单元的空间方位信息的对应关系。

本领域技术人员可以理解，双目立体成像是基于视差的原理，分别用左右两个摄像单元对目标物体的世界坐标系进行摄像机坐标系成像，再利用摄像单元坐标系中相对应的坐标和摄像机的中心点距离、焦距进行数学转换，以此求出目标点真实三维信息。采集目标点时需要用不同的角度，将不同角度拍摄的图像进行距离的探测，最后实现反映目标物体的三维信息。双目图像通常都是由同一个水平的两个摄像单元在不同视差角度下采集一个目标物体的两幅图像。

一般地，同一对摄像单元中左侧摄像单元采集的平面图像和右侧摄像单元采集的平面图像有大部分区域都是基本重合的，然而由于左侧摄像单元和右侧摄像单元所在位置的视点不一致，左侧摄像单元采集的平面图像和右侧摄像单元采集的平面图像肯定有一定的偏差，即两图像肯定存在不重合的区域。通常而言，左侧摄像单元所采集的平面图像的左边缘是右侧摄像单元所采集的平面图像所没有的，而右侧摄像单元所采集的平面图像的右边缘是侧摄像单元所采集的平面图像所没有的，即上述两个边缘部分是不重合的区域，需要剪裁掉，不然后续合成的立体图像两个边缘部分仍然是二维的平面图像。因此，在此实施例中，对同一对摄像单元中的左侧摄像单元和右侧摄像单元所采集的平面图像进行图像剪裁包括：分别将左侧摄像单元采集的平面图像和右侧摄像单元采集的平面图像之间没有重合的部分剪裁掉。剪裁掉的通常是左侧摄像单元采集的平面图像的左边缘部分和右侧摄像单元采集的平面图像的右边缘部分。裁剪后的平面图像分别成为左眼区域图像和右眼区域图像。左眼区域图像和右眼区域图像的视野区域是完全重合的，但是由于左眼区域图像和右眼区域图像分别为同一对摄像单元中的左侧摄像单元和右侧摄像单元采集并生成的，因而左侧摄像单元和右侧摄像单元又具有一定的视差，在显示时将左眼区域图像与有眼区域图像的视线隔离，即左眼只看左眼区域图像，有眼只看右眼区域图像，由此，两幅存在视差的区域图像经过大脑的合成，在用户的双眼处产生立体图像。

由于后续步骤中需要将同时刻采集并生成的区域图像合并到同一数据帧中并根据显示设备获取的传感器数据匹配对用空间方位信息的左眼区域图像和右眼区域图像，因此，需要对区域图像进行标示以与采集并生成区域图像的摄像单元的空间方位信息相对应。本实施例中以标签信息的方式进行标示，即每个数据帧中都包含有标示空间方位信息的字段。以四对摄像单元为例，八个摄像单元分别固定对应有一个空间方位，因此有八个空间方位信息，假设该字段有三个字节，000代表第一个摄像单元的空间方位，001代表第二个摄像单元的空间方位，以此例推，八个摄像单元的空间方位均有相应的数值与之对应。当显示设备需要调用如图2右上方的该对摄像单元的区域图像时，根据接收并解析数据帧中标示区域图像的空间方位信息的标签信息便能找出对应空间方向的摄像单元所采集并生成的区域图像。本发明中，对建立摄像单元空间方位信息与摄像单元所采集并生成的区域图像之间对应关系的技术不做限定，不排除有使用能够建立该对应关系的技术。

具体地，本方法提供了第二种将平面图像处理成用于立体成像的左眼区域图像和右眼区域图像的具体实施例，具体步骤包括：

将各对摄像单元的同一侧的摄像单元所获取的平面图像拼接成全景平面图像；

根据双目立体成像原理，将所形成的两幅全景平面图像进行处理，使其分别成为左眼区域图像和右眼区域图像；

基于所述摄像单元的空间方位信息建立左眼区域图像与右眼区域图像的具体部分之间的对应关系。

本领域技术人员可以理解，一般地，将所提取的左侧区域图像拼接成左侧全景图像，将提取的右侧区域图像拼接成右侧全景图像，其拼接的方法可采用块匹配拼接法，首先对两幅相邻图像进行特征点提取，然后根据特征点的位置在第一副图像确定模板块的大小，在第二幅图像确定搜索范围，然后进行匹配计算，完成图像拼接。以图2所示四对摄像单元为例，对同一时刻左侧摄像单元采集的四个平面图像进行拼接，先提取第一幅图像和第二幅图像的特征点，根据特征点的位置在第一幅图像确定模块板的大小，在第二幅图像确定搜索范围，进行匹配计算，完成第一幅平面图像和第二幅平面图像的拼接，第三幅平面图像和第四幅图像重复此过程，将四副拍摄于不同方位覆盖全景视角的的平面图像拼接成一幅全景平面图像。本发明中，对拼接方法图像的不做限定，不排除采用基于网格的拼接、基于比值法的拼接和基于FFT的相位相关拼接等方法对采集的平面图像进行拼接。

本领域技术人员可以理解，双目立体成像是基于视差的原理，分别用左右两个摄像单元对目标物体的世界坐标系进行摄像机坐标系成像，再利用摄像单元坐标系中相对应的坐标和摄像机的中心点距离、焦距进行数学转换，以此求出目标点真实三维信息。采集目标点时需要用不同的角度，将不同角度拍摄的图像进行距离的探测，最后实现反映目标物体的三维信息。双目图像通常都是由同一个水平的两个摄像单元在不同视差角度下采集一个目标物体的两幅图像。

一般地，将同一侧的摄像单元采集的平面图像拼接形成全景平面图像过后，需要对全景平面图像进行进一步地处理才能形成用于显示的左眼区域图像和右眼区域图像。例如，进行图像增强，图像一般不能增加原图像信息，但是会针对部分成像条件将弱信号凸显，使得图像信息更容易分辨。图像增强包括频域和空域两部分，空域法主要针对图像中的各像素点进行操作；频域法是在图像的一个变换域内修改如傅里叶系数、DTC变换系数对图像进行操作。本发明中，对全景平面图像的处理不仅仅包含图像增强技术，不排除采用其他有助于全景平面图像生成用于显示立体成像的区域图像的其他技术，如图像缝合、图像融合技术等。

进一步地，由于后续步骤中需要将同时刻采集并生成的区域图像合并到同一数据帧中并根据显示设备获取的传感器数据匹配对用空间方位信息的左眼区域图像和右眼区域图像中的具体部分，因此，需要对区域图像具体与部分之间的关系进行标示以与采集并生成区域图像的摄像单元的空间方位信息相对应。本实施例中以标签信息的方式进行标示，即每个数据帧中都包含有标示空间方位信息的字段。以四对摄像单元为例，八个摄像单元分别固定对应有一个空间方位，因此有八个空间方位信息，假设该字段有三个字节，000代表第一个摄像单元的空间方位，001代表第二个摄像单元的空间方位，以此例推，八个摄像单元的空间方位均有相应的数值与之对应。当显示设备需要调用如图2右上方的该对摄像单元的区域图像时，根据接收并解析数据帧中标示区域图像的空间方位信息的标签信息便能找出对应空间方向的摄像单元所采集并生成的图像，该图像为全景的区域图像的一部分。本发明中，对建立摄像单元空间方位信息与区域图像中具体部分之间对应关系的技术不做限定，不排除有使用能够建立该对应关系的技术。

S330：将左眼区域图像和右眼区域图像相关联传送至显示设备/服务器。

本领域技术人员可以理解，本发明中的全景立体图像采集装置处于实时拍摄模式，因此将会产生海量的图像，服务器作为网络的中转点，其具备有存储容量大的特点，将图像传输至服务器存储，有利于图像的管理与数据共享，显示设备可通过发送请求至服务器，服务器将响应其请求传输对应空间方位的区域图像至显示设备中显示。

本领域技术人员可以理解，本发明中全景立体图像采集装置采集的平面图像可直接传输至显示设备中显示。

具体地，通过将同一时刻获取并生成的所述左眼区域图像和右眼区域图像合并到同一数据帧中传输而实现相关联。本领域技术人员可以理解，将同一时刻的左眼区域图像和右眼区域图像合并到同一数据帧中进行传输有助于提高数据处理速度。

具体地，在同一数据帧中，包含按照摄像单元所居空间位置对应设置的所述的左眼区域图像与右眼区域图像的空间方位信息。

具体地，所述空间方位信息以标签信息进行标示。本领域技术人员可以理解，每一数据帧中，包含有标示空间方位信息的字段，即标签信息。

具体地，所述摄像单元处于摄影模式以实时获取所述平面图像，本方法按照摄像单元在该摄像模式下的帧速率，针对摄像单元获取每一帧平面图像而对应循环执行一次。本领域技术人员可以理解，典型的帧速率为24帧/秒～30帧/秒，在此帧速率下，能够产生平滑和连续的效果。

第二方面，在本发明的一个实施例中，提供了一种全景立体图像采集装置1000用于执行第一方面中所述的全景立体图像生成方法，参考图3所示，包括不少于三对的摄像单元100，用于采集覆盖全景视角的平面图像。

本领域技术人员可以理解，至少三对摄像单元呈环绕阵列式等距排布与采集装置的外侧，以四对摄像单元为例，可参考图2，每个摄像单元采集所获取的平面图像具有大于90度的空间广角，8个摄像单元所获取的平面图像的空间广角之和大于360度，称为覆盖全景视角。

具体地，所述至少三对摄像单元等距环绕于装置外侧，采集围绕同一圆周范围的平面图像，每对摄像单元中的两个摄像单元分别采集适于形成左眼区域图像和右眼区域图像的两幅平面图像。本领域技术人员可以理解，在一定的空间角度范围内摄像单元的对数越多，采集的平面图像重叠部分越多，三维立体还原度越高。

具体地，各摄像单元所采集的平面图像与其相邻摄像单元所采集的平面图像部分重叠。本领域技术人员可以理解，根据三角原理来获得所拍摄图像的三维几何信息，左边摄像单元所采集的平面图像上的任意一点可以在右边摄像单元采集的平面图像的同一水平极线上找到匹配点，构建三角关系，推算出三维空间关系即立体空间关系。

具体地，每对摄像单元中位于左侧的摄像单元所采集的平面图像用于形成左眼区域图像，位于右侧的摄像单元所采集的平面图像为用于形成右眼区域图像。

具体地，本装置上配置有可采集覆盖全景视角的平面图像的四对摄像单元，其中，每个摄像单元所获取的平面图像具有大于90度的空间广角。本领域技术人员可以理解，当有四对摄像单元时，每个摄像单元所获取的平面图像具有大于90度的空间广角，当有N对摄像单元时，每个摄像单元所获取的平面图像具有大于360/N度的空间广角，由此，各摄像单元所采集的平面图像能覆盖全景视角。

本装置的目的之一是采集全景图像，因此采用至少三对摄像单元同时采集围绕同一圆周范围的平面图像，各摄像单元所采集的平面图像与其相邻摄像单元所采集的平面图像部分重叠且各摄像单元的拍摄视角之和大于360度，采集的平面图像覆盖全景视角。本装置的目的之二是生成立体图像，根据双目立体成像原理，每对摄像单元中的两个摄像单元分别采集适于分别形成左眼区域图像和右眼区域图像的两幅平面图像。每对摄像单元中位于左边的摄像单元所采集的平面图像用于形成左眼区域图像，位于右边的摄像单元所采集的平面图像为用于形成右眼区域图像。由于每对摄像单元中的左侧摄像单元和右侧摄像单元从不同的角度采集两幅平面图像，因此本质上是对距离的探测，通过双目实时深度计算恢复出三维几何信息，由此产生立体视觉。

本装置还包括中央处理器CPU200。主要用于接收摄像单元采集的平面图像，对所接收的平面图像做进一步的处理并合并至同一数据帧传输至显示设备或服务器。以四对摄像单元为例，各摄像单元100采集空间广角大于90度的平面图像并传输至中央处理器CPU200，中央处理器200对接收的平面图像进行处理，并将同一时刻生成左眼区域图像和右眼区域图像并合并到同一数据帧中，传输至显示设备端或服务器。

具体地，中央处理器CPU200包括：

接收模块201，用于接收覆盖全景视角的至少三对摄像单元中的每个摄像单元所采集的平面图像；本领域技术人员可以理解，至少三对摄像单元呈环绕阵列式等距排布与采集装置的外侧，以四对摄像单元为例，可参考图2，每个摄像单元采集所获取的平面图像具有大于90度的空间广角，8个摄像单元所获取的平面图像的空间广角之和大于360度，即覆盖全景视角。

图像处理模块202，用于结合摄像单元的空间方位信息将所述平面图像处理成用于立体成像的左眼区域图像和右眼区域图像；本发明中，多对摄像单元呈环绕阵列式等距固定于装置外侧，因此，每个摄像单元具有特定的空间方位，所述空间方位信息指每张平面图像生成时对应的摄像单元的空间方位。

传输模块203，用于将左眼区域图像和右眼区域图像相关联并传送至显示设备/服务器。本领域技术人员可以理解，本发明中的全景立体图像采集装置处于实时拍摄模式，因此将会产生海量的图像，服务器作为网络的中转点，其具备有存储容量大的特点，将图像传输至服务器存储，有利于图像的管理与数据共享，显示设备可通过发送请求至服务器，服务器将响应请求传输对应空间方位的区域图像至显示设备中显示。

本领域技术人员可以理解，本发明中全景立体图像采集装置采集的平面图像可直接传输至显示设备中显示。

进一步地，图像处理模块包括：

裁剪单元2021，将每对摄像单元所采集的两张平面图像根据双目立体成像原理进行剪裁，形成相对应的左眼区域图像和右眼区域图像，其中，左眼区域图像和右眼区域图像至少有部分景物内容相重叠；

一般地，同一对摄像单元中左侧摄像单元采集的平面图像和右侧摄像单元采集的平面图像有大部分区域都是基本重合的，然而由于左侧摄像单元和右侧摄像单元所在位置的视点不一致，左侧摄像单元采集的平面图像和右侧摄像单元采集的平面图像存在一定的偏差，即两图像肯定存在不重合的区域。通常而言，左侧摄像单元所采集的平面图像的左边缘是右侧摄像单元所采集的平面图像所没有的，而右侧摄像单元所采集的平面图像的右边缘是侧摄像单元所采集的平面图像所没有的，即上述两个边缘部分是不重合的区域，需要剪裁掉，不然后续合成的立体图像两个边缘部分仍然是二维的平面图像。因此，在此实施例中，对同一对摄像单元中的左侧摄像单元和右侧摄像单元所采集的平面图像进行图像剪裁包括：分别将左侧摄像单元采集的平面图像和右侧摄像单元采集的平面图像之间没有重合的部分剪裁掉。剪裁掉的通常是左侧摄像单元采集的平面图像的左边缘部分和右侧摄像单元采集的平面图像的右边缘部分。裁剪后的平面图像分别成为左眼区域图像和右眼区域图像。左眼区域图像和右眼区域图像的视野区域是完全重合的，但是由于左眼区域图像和右眼区域图像分别为同一对摄像单元中的左侧摄像单元和右侧摄像单元采集并生成的，因而左侧摄像单元和右侧摄像单元又具有一定的视差，在显示时将左眼区域图像与有眼区域图像的视线隔离，即左眼只看左眼区域图像，有眼只看右眼区域图像，由此，两幅存在视差的区域图像经过大脑的合成，在用户的双眼处产生立体图像。

标示单元2022，建立各区域图像及其相应的摄像单元的空间方位信息的对应关系。由于后续步骤中需要将同时刻采集并生成的区域图像合并到同一数据帧中并根据显示设备获取的传感器数据匹配对用空间方位信息的左眼区域图像和右眼区域图像，因此，需要对区域图像进行标示以与采集并生成区域图像的摄像单元的空间方位信息相对应。本实施例中以标签信息的方式进行标示。即每个数据帧中都包含有标示空间方位信息的字段。以四对摄像单元为例，八个摄像单元分别固定对应有一个空间方位，因此有八个空间方位信息，假设该字段有三个字节，000代表第一个摄像单元的空间方位，001代表第二个摄像单元的空间方位，以此例推，八个摄像单元的空间方位均有相应的数值与之对应。当显示设备需要调用如图2右上方的该对摄像单元的区域图像时，根据接收并解析数据帧中标示区域图像的空间方位信息的标签信息便能找出对应空间方向的摄像单元所采集并生成的区域图像。本发明中，对建立摄像单元空间方位信息与摄像单元所采集并生成的区域图像之间对应关系的技术不做限定，不排除有使用能够建立该对应关系的技术。

进一步地，图像处理模块包括：

拼接单元2023，用于将各对摄像单元的同一侧的摄像单元所获取的平面图像拼接成全景平面图像；

本领域技术人员可以理解，一般地，将所提取的左侧区域图像拼接成左侧全景图像，将提取的右侧区域图像拼接成右侧全景图像，其拼接的方法可采用块匹配拼接法，首先对两幅相邻图像进行特征点提取，然后根据特征点的位置在第一副图像确定模板块的大小，在第二幅图像确定搜索范围，然后进行匹配计算，完成图像拼接。以图2所示四对摄像单元为例，对同一时刻左侧摄像单元采集的四个平面图像进行拼接，先提取第一幅图像和第二幅图像的特征点，根据特征点的位置在第一幅图像确定模块板的大小，在第二幅图像确定搜索范围，进行匹配计算，完成第一幅平面图像和第二幅平面图像的拼接，第三幅平面图像和第四幅图像重复此过程，将四副拍摄于不同方位覆盖全景视角的的平面图像拼接成一幅全景平面图像。本发明中，对图像的拼接单元的工作方式不做限定，不排除采用基于网格的拼接、基于比值法的拼接和基于FFT的相位相关拼接等方法对采集的平面图像进行拼接。

处理单元2024，根据双目立体成像原理，将所形成的两幅全景平面图像进行处理，使其分别成为左眼区域图像和右眼区域图像；

本领域技术人员可以理解，双目立体成像是基于视差的原理，分别用左右两个摄像单元对目标物体的世界坐标系进行摄像机坐标系成像，再利用摄像单元坐标系中相对应的坐标和摄像机的中心点距离、焦距进行数学转换，以此求出目标点真实三维信息。采集目标点时需要用不同的角度，将不同角度拍摄的图像进行距离的探测，最后实现反映目标物体的三维信息。双目图像通常都是由同一个水平的两个摄像单元在不同视差角度下采集一个目标物体的两幅图像。

一般地，将同一侧的摄像单元采集的平面图像拼接形成全景平面图像过后，需要对全景平面图像进行进一步地处理才能形成用于显示的左眼区域图像和右眼区域图像。例如，进行图像增强，图像一般不能增加原图像信息，但是会针对部分成像条件将弱信号凸显，使得图像信息更容易分辨。图像增强包括频域和空域两部分，空域法主要针对图像中的各像素点进行操作；频域法是在图像的一个变换域内修改如傅里叶系数、DTC变换系数对图像进行操作。本发明中，对全景平面图像的处理不仅仅包含图像增强技术，不排除采用其他有助于全景平面图像生成用于显示立体成像的区域图像的其他技术，如图像缝合、图像融合技术等。

标示单元2025，基于所述摄像单元的空间方位信息建立左眼区域图像与右眼区域图像的具体部分之间的对应关系。

进一步地，由于后续步骤中需要将同时刻采集并生成的区域图像合并到同一数据帧中并根据显示设备获取的传感器数据匹配对用空间方位信息的左眼区域图像和右眼区域图像中的具体部分，因此，需要对区域图像具体与部分之间的关系进行标示以与采集并生成区域图像的摄像单元的空间方位信息相对应。本实施例中以标签信息的方式进行标示，即每个数据帧中都包含有标示空间方位信息的字段。以四对摄像单元为例，八个摄像单元分别固定对应有一个空间方位，因此有八个空间方位信息，假设该字段有三个字节，000代表第一个摄像单元的空间方位，001代表第二个摄像单元的空间方位，以此例推，八个摄像单元的空间方位均有相应的数值与之对应。当显示设备需要调用如图2右上方的该对摄像单元的区域图像时，根据接收并解析数据帧中标示区域图像的空间方位信息的标签信息便能找出对应空间方向的摄像单元所采集并生成的图像，该图像为全景的区域图像的一部分。本发明中，对建立摄像单元空间方位信息与区域图像中具体部分之间对应关系的技术不做限定，不排除有使用能够建立该对应关系的技术。

进一步地，传输模块包括：

合并单元2031，将同一时刻获取并生成的所述左眼区域图像和右眼区域图像合并到同一数据帧中而实现关联；本领域技术人员可以理解，将同一时刻的左眼区域图像和右眼区域图像合并到同一数据帧中进行传输有助于提高数据处理速度。

传送单元2032，将相关联后左眼区域图像和右眼区域图像传送至显示设备/服务器。本领域技术人员可以理解，本发明中的全景立体图像采集装置处于实时拍摄模式，因此将会产生海量的图像，服务器作为网络的中转点，其具备有存储容量大的特点，将图像传输至服务器存储，有利于图像的管理与数据共享，显示设备可通过发送请求至服务器，服务器将响应请求传输对应空间方位的区域图像至显示设备中显示。

具体地，所述显示设备为移动终端或虚拟现实头显设备。

具体地，在同一所述的数据帧中，包含按照摄像单元所居空间位置对应设置的所述的左眼区域图像与右眼区域图像的空间方位信息。

具体地，所述空间方位信息以标签信息进行标示。本领域技术人员可以理解，每一数据帧中，包含有标示空间方位信息的字段，即标签信息。

进一步地，所述摄像单元100处于摄影模式以实时获取所述平面图像，按照摄像单元在该摄像模式下的帧速率，针对摄像单元获取每一帧平面图像全景立体图像采集的方法对应循环执行一次。本领域技术人员可以理解，典型的帧速率为24帧/秒～30帧/秒，在此帧速率下，能够产生平滑和连续的效果。

较佳地，本装置配置了覆盖全景视角的四对摄像单元，其中，每个摄像单元所获取的平面图像具有大于90度的空间广角。本领域技术人员可以理解，当有N对摄像单元时，每个摄像单元所获取的平面图像具有大于360/N度的空间广角，由此，各摄像单元所采集的平面图像能覆盖全景视角。

进一步地，CPU处理器200还包括通信模块204和存储模块205。

通信模块204主要用于执行与显示设备/服务器的数据通信，具体包括：

有线通信单元，有线通信单元可以是向显示设备提供接口的HDMI单元或USB单元；

无线通信单元，无线通信单元包括近距离通信单元和远距离通信单元，近距离通信单元可以是WiFi通信单元、红外通信单元或蓝牙通信单元中至少一种；远距离通信单元可以是蜂窝通信、3G移动通信单元或4G移动通信单元中至少一种。

存储模块205主要用来存储各摄像单元所采集的平面图像以及经处理后形成的左眼区域图像和右眼区域图像。

第三方面，本发明还提供了一种显示全景立体图像的方法，如图8所示，包括：

S410：获取传感器数据，依据传感器数据确定空间方位信息；

具体地，通过获取传感器测量当前空间方位信息和人头部运动轨迹数据估计下一空间方位信息，将下一空间方位信息作为确定出的空间方位信息。

所述运动传感数据为显示设备移动过程中至少一个方位传感器采集的多个采样点的数据，所述人头部运动轨迹是由连接多个采样点的数据而形成。人头部运动轨迹的生成方法遵照连点成线的方法，采样点越多，则生成的初步轨迹就越精确。在本实施例中，生成人头部运动轨迹的方法是将多个采样点的运动传感数据连点成线，生成一个头部运动轨迹的运动传感数据既可以是单个传感器采集的数据，也可以是多个传感器采集的数据。例如，在显示设备上一共有两个惯性传感器和一个方向传感器，惯性传感器是陀螺仪和加速度传感器，经过惯性传感器的轨迹运动变化数据可以得到设备的状态，方向传感器是磁力计，采用磁强计可以检测出绝对的地理方向而作为确定所述空间活动轨迹的轨迹方向变化数据，则第一条头部运动轨迹可以由加速度传感器采集的多个点的数据拟合生成；第二条头部运动轨迹可以由陀螺仪采集的多个点的数据综合磁力计采集的多个点的数据拟合生成；第三条头部运动轨迹可以由加速度传感器采集的多个点的数据综合磁力计拟合生成。最终确定了多条头部运动轨迹后，可以根据多条轨迹的偏差程度确定出空间活动轨迹和空间方位信息。

S420：对所接收的数据帧进行解析，获取其中加载的与所述空间方位信息相对应的左眼区域图像和右眼区域图像。

具体地，所述对所接收的数据帧进行解析，获取其中加载的与所述空间方位信息相对应的左眼区域图像和右眼区域图像的具体步骤包括：

根据传感器所测量的空间方位信息，读取所接收数据帧中的区域图像；

根据区域图像的标签信息，确定与传感器所测量的空间方位信息相对应的左眼区域图像和右眼区域图像；

调用该空间方位信息相对应的左眼区域图像和右眼区域图像。

一般地，包含区域图像的数据帧中也同时包含区域图像对应的空间方位信息，如前所述，数据帧中分配有包含区域图像的空间方位信息的字段，即标签信息，因而，要获取区域图像以及其对应的空间方位信息等信息需要对数据帧中的信息进行解析，一般地，包括数据帧格式解析和数据帧参数解析。例如，可采用树形结构的解析方式对数据帧进行解析，首先对数据处理过程进行抽象，根据数据处理过程逐层条件解析的特点列出树形结构。原始数据帧经过解析树根节点解析，得到帧参数和待解析数据，解析树将根据帧参数选择下一步的解析路径；将待解析数据交给解析树二层节点继续解析；依此类推，逐层解析。在此解析过程，包含对数据帧中各区域图像的空间方位信息的解析。本发明对数据帧的解析方式不做限定，不排除其他适合图像数据帧解析的解析方式，如形式化描述驱动的数据帧解析和链式结构数据帧解析等。

本领域技术人员可以理解，确定与传感器测量的数据空间方位信息相对应的区域图像后，显示设备可自动加载该区域图像并调用该区域图像显示在显示屏幕上。

S430：将所述与空间方位信息相对应的左眼区域图像和右眼区域图像分别对应显示在屏幕两侧。

具体地，将所述与空间方位信息相对应的左眼区域图像和右眼区域图像分别对应显示在屏幕两侧显示的步骤中，显示设备屏幕平均分为左侧显示区域和右侧显示区域，所述左眼区域图像显示在左侧显示区域，右眼区域图像显示在右侧显示区域。本领域技术人员可以理解，本发明采用视差法构建三维立体成像，根据双目立体成像原理，需要将左眼和右眼的视线隔离，使左眼和右眼分别观看具有视差的两幅区域图像，经过大脑合成后，在两眼处产生立体视觉。

具体地，显示设备按照摄像单元摄像模式下的帧速率接收数据帧，对于通过传感器数据确定的每一空间方位信息，显示设备每接收一数据帧，显示全景立体图像的方法对应循环执行一次。本领域技术人员可以理解，显示设备按照摄像单元在摄像模式下的帧速率接收图像，经过处理后按该速率显示在显示屏上，典型的帧速率为24帧/秒～30帧/秒，在此帧速率下，才能产生平滑和连续的效果。

第四方面，本发明还提供了一种显示全景立体图像的装置，用于执行显示全景立体图像的方法，所述装置包括控制部500和显示屏，参考图9所述控制部500具体包括：

获取模块510，用于获取传感器数据，依据传感器数据确定空间方位信息；

所述传感器可以为惯性传感器和方向传感器。

惯性传感器，为陀螺仪和加速度传感器，经过惯性传感器的轨迹运动变化数据可以得到设备的状态。

方向传感器，采用磁强计可以检测出绝对的地理方向而作为确定所述空间活动轨迹的轨迹方向变化数据。

具体地，通过获取传感器测量当前空间方位信息和人头部运动轨迹数据估计下一空间方位信息，将下一空间方位信息作为确定出的空间方位信息。一般地，所述运动传感数据为显示设备移动过程中至少一个方位传感器采集的多个采样点的数据，所述人头部运动轨迹是由连接多个采样点的数据而形成。在本装置中，传感器生成人头部运动轨迹的方式是将多个采样点的运动传感数据连点成线，生成一个头部运动轨迹的运动传感数据既可以是单个传感器采集的数据，也可以是多个传感器采集的数据。例如，在显示设备上一共有两个惯性传感器和一个方向传感器，则第一条头部运动轨迹可以由加速度传感器采集的多个点的数据拟合生成；第二条头部运动轨迹可以由陀螺仪采集的多个点的数据综合磁力计采集的多个点的数据拟合生成；第三条头部运动轨迹可以由加速度传感器采集的多个点的数据综合磁力计拟合生成。最终确定了多条头部运动轨迹后，可以根据多条轨迹的偏差程度确定出空间活动轨迹和空间方位信息。

本领域技术人员可以理解，通过将多个传感器数据连点成线，可生成头部运动轨迹，采样点越多，则头部运动轨迹越精确，由该运动轨迹可确定对应的空间方位信息。

解析模块520，用于对所接收的数据帧进行解析，获取其中加载的与所述空间方位信息相对应的左眼区域图像和右眼区域图像；本领域技术人员可以理解，包含区域图像的数据帧中也同时包含区域图像对应的空间方位信息，要获取区域图像以及其对应的空间方位信息等信息需要对数据帧中的信息进行解析。

具体地，如图10所示，所述解析模块包括：

读取单元5201，用于根据传感器所测量的空间方位信息，读取所接收数据帧中的区域图像。本领域技术人员可以理解，读取单元读取数据帧中用于标示区域图像空间方位信息的标签信息，例如，以四对摄像单元为例，读取数据帧中表示空间方位信息字段的三个字节中对应的二进制数值，如000，查询该二进制数值对应的摄像单元的空间方位信息。

匹配单元5202，根据区域图像的标签信息，确定与传感器所测量的空间方位信息相对应的左眼区域图像和右眼区域图像；

提取单元5203，调用与该空间方位信息相对应的左眼区域图像和右眼区域图像。

显示模块530，用于将所述与空间方位信息相对应的左眼区域图像和右眼区域图像分别对应显示在屏幕两侧。

一般地，数据帧解析包括数据帧格式解析和数据帧参数解析。例如，可采用树形结构的解析方式对数据帧进行解析，首先对数据处理过程进行抽象，根据数据处理过程逐层条件解析的特点列出树形结构。原始数据帧经过解析树根节点解析，得到帧参数和待解析数据，解析树将根据帧参数选择下一步的解析路径；将待解析数据交给解析树二层节点继续解析；依此类推，逐层解析。在此解析过程，包含对数据帧中各区域图像的空间方位信息的解析。本发明对数据帧的解析方式不做限定，不排除其他适合图像数据帧解析的解析方式，如形式化描述驱动的数据帧解析和链式结构数据帧解析等。

具体地，显示设备屏幕平均分为左侧显示区域和右侧显示区域，所述左眼区域图像显示在左侧显示区域，右眼区域图像显示在右侧显示区域。本领域技术人员可以理解，本发明采用视差法构建三维立体成像，根据双目立体成像原理，需要将左眼和右眼的视线隔离，使左眼和右眼分别观看具有视差的两幅区域图像，经过大脑合成后，在两眼处产生立体视觉。

具体地，显示设备按照摄像单元摄像模式下的帧速率接收数据帧，对于通过传感器数据确定的每一空间方位信息，显示设备每接收一数据帧，显示全景立体图像的方法对应循环执行一次。本领域技术人员可以理解，显示设备按照摄像单元在摄像模式下的帧速率接收图像，经过处理后按该速率显示在显示屏上，典型的帧速率为24帧/秒～30帧/秒，在此帧速率下，能够产生平滑和连续的效果。

综上所述，本发明提供了一种全景立体图像采集的方法，通过在采集装置上配置至少三对的摄像单元，采集覆盖全景的平面图像；对采集的平面图像进行裁剪、拼接等后期处理，将平面图像处理成用于立体成像的区域图像；将同一时刻采集并生成的区域图像合并至同一数据帧后传输至显示设备直接显示或传输至服务器以暂存。本方法按照摄像单元在摄像模式进行实时拍摄的速率，针对摄像单元每获取一帧平面图像，对应循环执行一次。本发明还提供了一种全景立体图像采集装置，用于执行全景立体图像采集的方法。进一步地，本发明提供了一种显示全景立体图像的方法，通过获取用户佩戴的显示设备上的传感器数据，确定显示设备所对的空间方位；将从采集装置接收的数据帧进行解析，匹配并获取与传感器数据确定的空间方位信息相对应的区域图像；根据视差三维立体构建方法，分别将左眼区域图像和右眼区域图像显示在显示屏的左侧显示区域和右侧显示区域，使用户双眼独立观看景象，经大脑合成后在眼睛处产生立体视觉效果。本方法按照摄像单元在摄像模式下进行实时拍摄的速率接收区域图像，针对每接收的一帧图像，对应循环执行一次。本发明还提供了一种用于显示全景立体图像的装置，用于执行显示全景立体图像的方法。通过本发明的实施方式，可实现观看全景立体图像，提供给用户身临其境的体验。由于其从硬件层面解决了立体成像的图像素材获取的问题，因此，其输出的图像能够不经复制处理便能加以利用，提高了立体图像的成像品质和传输效率。进一步，在服务器或显示终端也能够在较大程度上节省处理时间，提高处理和传输效率，尤其能够节省显示终端的耗电量，提高所显示的立体图像的流畅度和整体成像品质，改善用户体验。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种全景立体图像采集方法，其特征在于，包括如下步骤:

接收覆盖全景视角的至少三对摄像单元中的每个摄像单元所采集的平面图像；

结合摄像单元的空间方位信息将所述平面图像处理成用于立体成像的左眼区域图像和右眼区域图像；

将左眼区域图像和右眼区域图像相关联传送至显示设备/服务器。

2.根据权利要求1所述全景立体图像采集方法，其特征在于，结合摄像单元的空间方位信息将所述平面图像处理成用于立体成像的左眼区域图像和右眼区域图像的步骤包括如下具体步骤：

将每对摄像单元所采集的两张平面图像根据双目立体成像原理进行剪裁，形成相对应的左眼区域图像和右眼区域图像，其中，左眼区域图像和右眼区域图像至少有部分景物内容相重叠；

建立各区域图像及其相应的摄像单元的空间方位信息的对应关系。

3.根据权利要求1所述全景立体图像采集方法，其特征在于，所述结合摄像单元的空间方位信息将平面图像处理成用于立体成像的左眼区域图像和右眼区域图像的步骤具体包括：

将各对摄像单元的同一侧的摄像单元所获取的平面图像拼接成全景平面图像；

根据双目立体成像原理，将所形成的两幅全景平面图像进行处理，使其分别成为左眼区域图像和右眼区域图像；

基于所述摄像单元的空间方位信息建立左眼区域图像与右眼区域图像的具体部分之间的对应关系。

4.根据权利要求1至3任意一项所述的全景立体图像采集方法，其特征在于，所述摄像单元处于摄影模式以实时获取所述平面图像，本方法按照摄像单元在该摄像模式下的帧速率，针对摄像单元获取每一帧平面图像而对应循环执行一次。

5.一种全景立体图像采集装置，其特征在于，包括至少三对以上摄像单元，用于采集覆盖全景视角的图像，所述装置包括:

接收模块，用于接收覆盖全景视角的至少三对摄像单元中的每个摄像单元所采集的平面图像；

图像处理模块，用于结合摄像单元的空间方位信息将所述平面图像处理成用于立体成像的左眼区域图像和右眼区域图像；

传输模块，用于将左眼区域图像和右眼区域图像相关联并传送至显示设备/服务器。

6.一种显示全景立体图像的方法，其特征在于，包括如下步骤：

获取传感器数据，依据传感器数据确定空间方位信息；

对所接收的数据帧进行解析，获取其中加载的与所述空间方位信息相对应的左眼区域图像和右眼区域图像；

将所述与空间方位信息相对应的左眼区域图像和右眼区域图像分别对应显示在屏幕两侧。

7.根据权利要求6所述显示全景立体图像的方法，其特征在于，所述获取传感器数据步骤中，通过获取传感器测量当前空间方位信息和人头部运动轨迹数据估计下一空间方位信息，将下一空间方位信息作为确定出的空间方位信息。

8.根据权利要求6所述显示全景立体图像的方法，其特征在于，所述对所接收的数据帧进行解析，获取其中加载的与所述空间方位信息相对应的左眼区域图像和右眼区域图像的步骤具体包括：

根据传感器所测量的空间方位信息，读取所接收数据帧中的区域图像；

根据区域图像的标签信息，确定与传感器所测量的空间方位信息相对应的左眼区域图像和右眼区域图像；

调用该空间方位信息相对应的左眼区域图像和右眼区域图像。

9.根据权利要求6～8所述显示全景立体图像的方法，其特征在于，显示设备按照摄像单元摄像模式下的帧速率接收数据帧，对于通过传感器数据确定的每一空间方位信息，显示设备每接收一数据帧，本方法对应循环执行一次。

10.一种显示全景立体图像的装置，其特征在于，所述装置包括控制部和显示屏，所述控制部具体包括：

获取模块，用于获取传感器数据，依据传感器数据确定空间方位信息；

解析模块，用于对所接收的数据帧进行解析，获取其中加载的与所述空间方位信息相对应的左眼区域图像和右眼区域图像；

显示模块，用于将所述与空间方位信息相对应的左眼区域图像和右眼区域图像分别对应显示在屏幕两侧。