CN116939186B - 一种自动联想性遮盖视差裸眼空间计算的处理方法及装置 - Google Patents

Abstract

本发明实施例提供一种自动联想性遮盖视差裸眼空间计算的处理方法及装置，该方法包括：获取输入源的物理图像序列源的第一特征数据；根据第一特征数据的二维图像重建三维全景空间，融合三维拍摄数据与二维图像得到融合数据；调整融合数据的遮幅，以确定三维全景空间的空间视差参数变化；根据三维全景空间的空间视差参数变化，将三维全景空间转为二维全景图像，获取二维全景图像的三维视差关系的空间参数；对空间参数进行调整和转换得到第二特征数据；组合第二特征数据和三维全景空间中的三维拍摄数据得到组合数据；根据组合数据实时输出立体效果图像。该方法可以精准控制裸眼视差的视差效果，使观测者能够看到更好的立体效果。

Description

一种自动联想性遮盖视差裸眼空间计算的处理方法及装置

技术领域

本发明涉及3D显示算法技术领域，具体地涉及一种自动联想性遮盖视差裸眼空间计算的处理方法及装置。

背景技术

现有的3D制作有很多方式，其中最为常见的方式为采用多个实际摄像机进行真实机位拍摄，然后通过多机位的视察来计算出立体视察，最后在对应的立体投影或者播放设备进行播放。

市面上3D影视通常采用2D屏幕，例如通过全息膜贴到二维屏幕上实现立体的效果，但该方法制作复杂，成本昂贵，而且整体观感差。而现有的视察裸眼3D为通过欺骗大脑，通过图像之间的大小对比，以及参照物的变化，实现联想性视差的3D效果，但这些效果对于图像处理较差，且该方法需要离线处理或者人工手动计算，效率低，且不能够直接得到具有立体效果的二维图像。

发明内容

本发明实施例的目的是提供一种自动联想性遮盖视差裸眼空间计算的处理方法及装置，该方法可以精准控制裸眼视差的视差效果，使观测者能够看到更好的立体效果。

为了实现上述目的，本发明实施例提供一种自动联想性遮盖视差裸眼空间计算的处理方法，该方法包括：

获取输入源的物理图像序列源的第一特征数据，所述输入源为图像和/或视频；

根据所述第一特征数据的二维图像重建三维全景空间，获取所述三维全景空间的三维拍摄数据，融合所述三维拍摄数据与二维图像得到融合数据；

根据需求对象的视差要求调整所述融合数据的遮幅，以确定所述三维全景空间的空间视差参数变化；

根据所述三维全景空间的空间视差参数变化，将所述三维全景空间转为二维全景图像，获取所述二维全景图像的三维视差关系的空间参数；

对所述空间参数进行调整和转换得到第二特征数据，所述第二特征数据为具有正确视差关系的三维空间转二维空间的二维图像像素信息；

组合第二特征数据和所述三维全景空间中的三维拍摄数据得到组合数据；

根据所述组合数据实时输出立体效果图像。

可选的，所述获取输入源的物理图像序列源的第一特征数据，包括：

获取所述输入源中不同时间、不同方位的多个图像，将二维图像关系映射到三维空间关系中；

从所述多个图像中提取相似的视差关系图像序列数据，得到第一特征数据；

所述第一特征数据为物理图像序列源的视差关系数据。

可选的， 所述融合所述三维拍摄数据与二维图像得到融合数据，包括：

所述三维拍摄数据为三维全景空间中的空间视差关系参数和遮幅参数；

所述二维图像是为虚拟摄像机对遮幅和视差调整后的三维全景空间进行拍摄得到的二维图像；获取所述三维拍摄数据的遮幅值和视差参数，根据遮幅值和视差参数融合所述三维拍摄数据与二维图像得到融合数据。

可选的，所述根据需求对象的视差要求调整所述融合数据的遮幅，以确定所述三维全景空间的空间视差参数变化，包括：

在三维全景空间设置遮幅，以得到所需视差关系的三维全景空间；

通过虚拟摄像机在所述三维全景空间下拍摄，用于改变呈现给观测者的二维画面的三维立体长宽高比。

可选的，获取视差的方法为绝对视差法、图割法、基于固定窗口的区域匹配法、左右一致性法中的至少一种。

另一方面，本发明还提供一种自动联想性遮盖视差裸眼空间计算的处理装置，该装置包括：

获取模块， 用于获取输入源的物理图像序列源的第一特征数据，所述输入源为图像和/或视频；

第一处理模块，用于根据所述第一特征数据的二维图像重建三维全景空间，获取所述三维全景空间的三维拍摄数据，融合所述三维拍摄数据与二维图像得到融合数据；

第二处理模块，用于根据需求对象的视差要求调整所述融合数据的遮幅，以确定所述三维全景空间的空间视差参数变化；

第三处理模块，用于根据所述三维全景空间的空间视差参数变化，将三维全景空间转为二维全景图像，获取所述二维全景图像的三维视差关系的空间参数；

第四处理模块，用于对所述空间参数进行调整和转换得到第二特征数据，所述第二特征数据为具有正确视差关系的三维空间转二维空间的二维图像像素信息；

第五处理模块，用于组合第二特征数据和所述三维全景空间中的三维拍摄数据得到组合数据；

输出模块，用于根据所述组合数据实时输出立体效果图像。

可选的，所述获取输入源的物理图像序列源的第一特征数据，包括：

获取所述输入图源中不同时间、不同方位的多个图像，将二维图像关系映射到三维空间关系中；

从所述多个图像中提取相似的视差关系图像序列数据，得到第一特征数据；

所述第一特征数据为物理图像序列源的视差关系数据。

可选的，所述融合所述三维拍摄数据与二维图像得到融合数据，包括：

所述三维拍摄数据为三维全景空间中的空间视差关系参数和遮幅参数；

所述二维图像是为虚拟摄像机对遮幅和视差调整后的三维全景空间进行拍摄得到的二维图像；获取所述三维拍摄数据的遮幅值和视差参数，根据遮幅值和视差参数融合所述三维拍摄数据与二维图像得到融合数据。

可选的，所述根据需求对象的视差要求调整所述融合数据的遮幅，以确定所述三维全景空间的空间视差参数变化，包括：

在三维全景空间设置遮幅，以得到所需视差关系的三维全景空间；

通过虚拟摄像机在所述三维全景空间下拍摄，用于改变呈现给观测者的二维画面的三维立体长宽高比。

可选的，获取视差的方法为绝对视差法、图割法、基于固定窗口的区域匹配法、左右一致性法中的至少一种。

本发明的一种自动联想性遮盖视差裸眼空间计算的处理方法包括：获取输入源的物理图像序列源的第一特征数据，所述输入源为图像和/或视频；根据所述第一特征数据的二维图像重建三维全景空间，获取所述三维全景空间的三维拍摄数据，融合所述三维拍摄数据与二维图像得到融合数据；根据需求对象的视差要求调整所述融合数据的遮幅，以确定所述三维全景空间的空间视差参数变化；根据所述三维全景空间的空间视差参数变化，将所述三维全景空间转为二维全景图像，获取所述二维全景图像的三维视差关系的空间参数；对所述空间参数进行调整和转换得到第二特征数据，所述第二特征数据为具有正确视差关系的三维空间转二维空间的二维图像像素信息；组合第二特征数据和所述三维全景空间中的三维拍摄数据得到组合数据；根据所述组合数据实时输出立体效果图像。本发明基于实时制作和人工智能所开发的技术，有效地弥补传统裸眼3D视察技术的劣势，加速制作周期，降低制作成本，通过人工智能精准的控制裸眼视差的视差效果，使观测者能够看到更好的立体效果。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1是本发明的一种自动联想性遮盖视差裸眼空间计算的处理方法的流程示意图；

图2是本发明的一种自动联想性遮盖视差裸眼空间计算的处理方法的实施例示意图；

图3是本发明的二维运动投射至三维空间的示意图；

图4是本发明的随机变量关系示意图；

图5是本发明的三维全景图像示意图；

图6是本发明的遮幅对比图；

图7是本发明的立体显示空间示意图；

图8是本发明的另一种实施例示意图。

附图标记说明

501-第一平面遮幅；

502-第二平面遮幅；

503-第三平面遮幅；

504-第四平面遮幅；

505-第一效果图；

506-第二效果图；

507-第一虚拟相机；

601-第二虚拟相机；

602-第三虚拟相机；

701-第一立体显示空间；

702-第一三维全景空间；

703-自动填充遮幅；

704-第一立体视差；

801-第一拍摄图像；

802-第二拍摄图像；

803-数据存储模块；

804-第一数据组合模块；

805-第二三维全景空间；

806-第二组合模块。

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

图1是本发明的一种自动联想性遮盖视差裸眼空间计算的处理方法的流程示意图，如图1所示，本发明的自动联想性遮盖视差裸眼空间计算的处理方法包括：

步骤S101为获取输入源的物理图像序列源的第一特征数据，所述输入源为图像和/或视频。

具体的，所述获取输入源的物理图像序列源的第一特征数据，包括：获取所述输入源中不同时间、不同方位的多个图像，将二维图像关系映射到三维空间关系中；从所述多个图像中提取相似的视差关系图像序列数据，得到第一特征数据；所述第一特征数据为物理图像序列源的视差关系数据。

按照一种具体的实施方式，本发明对物理图像进行自动识别，得到图像内容的数据信息，识别图像基于神经网络的物理图像序列识别，物理图像序列提供丰富的信息，物理图像序列的意义是将图像处理学图像上，通过对多帧连续图像进行分析，可以获得传统获取图像方式得不到的图像信息。按照时间码提取图像数据信息，通过捕获物理图像的像素运动数据作为输入源的物理图像序列源的数据信息。

所述第一特征数据是序列通过AI模块检测、AI模块加工及一些特殊的程序处理得到的物理图像序列源数据信息，在不同时间、不同方位对目标依序连续获取的系列图像。通过从每张图像序列中提取信息的组分可以得到像素运动的相似性即为第一特征数据，所述第一特征数据是提取相同视差关系的图像信息。根据所述第一特征数据，解析单元和AI模块智能实现信号转换，将转换完成后的信号传输存储序列单元，得到第二特征数据。所述第二特征数据是指在第一特征数据的基础上得到更多影射到三维空间上的数据信。解析单元主要用于从所述第一特征数据中检测出像素运动信息和像素目标、识别像素、追踪像素目标、追踪运动目标，估计运动像素的三维运动及其三维结构参数。

步骤S102为根据所述第一特征数据的二维图像重建三维全景空间，获取所述三维全景空间的三维拍摄数据，融合所述三维拍摄数据与二维图像得到融合数据。

具体的，所述融合所述三维拍摄数据与二维图像得到融合数据，包括：所述三维拍摄数据为三维全景空间中的空间视差关系参数和遮幅参数；所述二维图像是为虚拟摄像机对遮幅和视差调整后的三维全景空间进行拍摄得到的二维图像；获取所述三维拍摄数据的遮幅值和视差参数，根据遮幅值和视差参数融合所述三维拍摄数据与二维图像得到融合数据。

本发明中的立体显示空间属于一种空间概念，物理学中以维度来形容是空间坐标的数目。传统的裸眼3D通常是通过屏幕视差来实现人眼看到的3D效果，使用两个屏幕显示或者多个屏幕来显示。而本发明依靠重建的三维全景空间，虚拟摄像***根据需求得到三维全景空间的连续图像用来显示出现三维效果，并且在立体显示空间中至少一个三维全景空间。当出现多个三维全景空间时对多个三维全景空间进行融合等一系列处理，AI模块进行自动调整。本发明中的虚拟摄像机可以有多个，并且其空间的长宽高可以调整，进而对拍摄***的拍摄参数进行调整。

步骤S103为根据需求对象的视差要求调整所述融合数据的遮幅，以确定所述三维全景空间的空间视差参数变化。

具体的，所述根据需求对象的视差要求调整所述融合数据的遮幅，以确定所述三维全景空间的空间视差参数变化，包括：在三维全景空间设置遮幅，以得到所需视差关系的三维全景空间；通过虚拟摄像机在所述三维全景空间下拍摄，用于改变呈现给观测者的二维画面的宽高比。获取视差的方法为绝对视差法、图割法、基于固定窗口的区域匹配法、左右一致性法中的至少一种。

按照一种具体的实施方式，根据所述融合数据，综合模块和AI模块自动/手动分析视差进而调节平面遮幅，使得三维全景空间的空间参数产生变化。所述综合模块是指对复杂***综合进行计算，包括***集成和功能实现。***的集成是将多个部件组合成一个整体；功能实现是根据***需求，将不同模块组根据立体视差程度得到三维信息。综合模块将多个三维全景空间和多个虚拟摄像机的数据进行分类、分析、计算、整合、调整得到三维信息。每个数据参数都可以独立调整，也可以自动/手动的修改。综合模块将立体显示空间的信息综合在一起进行计算，当一个数据参数发生改变其他数据参数自动做出相对应的改变，并且实时得到自适应的结果。立体视差的调节就是通过调节平面遮幅的可调调节参数来对视差进行计算。

步骤S104为根据所述三维全景空间的空间视差参数变化，将所述三维全景空间转为二维全景图像，获取所述二维全景图像的三维视差关系的空间参数。

按照一种具体的实施方式，根据所述三维全景空间的空间视差参数变化，成像单元对空间参数变化的三维空间进行拍摄，通过对三维空间中的阴影、双面材质、反射捕捉、光照阴影进行深度渲染（主要通道渲染，获取周边色彩填充等三维空间参数）。获取单元根据用户输入的信息确定成像单元的工作方式，以满足用户需求。所述获取单元由信息采集和输出两部分组成。采集部分的任务是从成像单元获得三维数据信息，包括像素空间位置和像素灰度值。在成像单元中，像素空间位置是由用户提供的，像素灰度值是由携带单元器件输出的。像素空间位置是指成像单元对立体显示空间中每一个像素点所赋予的编码值。灰度值指成像单元对立体显示空间中每个像素点所赋予的灰度值，它表示了图像中每个像素点在像素空间中的位置上的差异。获取单元得到立体显示空间和三维全景空间的空间参数变化，渲染模块将变化部分的像素改变，不改变未改变部分的像素。

步骤S105为对所述空间参数进行调整和转换得到第二特征数据，所述第二特征数据为具有正确视差关系的三维空间转二维空间的二维图像像素信息。

步骤S106为组合第二特征数据和所述三维全景空间中的三维拍摄数据得到组合数据。

按照一种具体的实施方式，所述空间参数经过第一处理模块得到第二特征参数，控制终端将第二特征参数和三维拍摄数据传输至数据组合模块，得到组合数据。组合模块从成像单元得到的拍摄数据视场角（fov）、传感器、焦距、变形透视等参数和成像单元携带的第一处理模块对平面遮幅的可调整参数长度、角度、宽度等，以及综合模块对所有数据参数的计算结果。通过调整遮幅的三维全景空间产生效果图像，得到正确的三维视差关系，将三维全景空间和和遮幅以及视差场进行组合得到具有三维效果的二维图像。

步骤S107为根据所述组合数据实时输出立体效果图像。

按照一种具体的实施方式，将三维的组合数据生成观测者看到三维效果的二维图像，控制终端将组合数据传输至显示单元和记录单元。所述记录单元记录所有数据，显示单元实时输出效果立体图像到终端。本发明的记录单元是将操作数和存储单元之间的数据进行存储的单元。通过记录单元可以实现将字符串转换为二进制数字。记录单元还可以对数据进行压缩，提高传输速度。记录单元位于***的中央，是本发明中数据的主要存储装置。显示单元输出立体显示空间到终端；传输单元将组合数据传输至显示单元和记录单元。传在本发明中的显示方式是通过立体显示空间。在显示单元线立体显示空间前，需要对记录单元存储的数据进行校验，再一次采用用多路复用技术对存储的所有数据进行校验和渲染，得到的效果立体图像输出到控制终端，控制终端将最终效果立体图像在立体显示空间中的显示单元上显示，所述效果立体图像是观测者能够看到三维效果的二维图像，效果图像为二维图像。

图2是本发明的一种自动联想性遮盖视差裸眼空间计算的处理方法的实施例示意图。如图2所示，本发明包括成像单元，用于空间中建立虚拟摄像机对空间进行拍摄并成像；综合模块，用于处理平面遮幅的长度、宽度、角度等；渲染模块，用于对空间中阴影、双面材质、反射捕捉、光照阴影进行深度渲染；组合模块，用于将各部分得到的数据进行组合；显示单元，用于显示最终呈现的效果。

首先，获取输入源的物理图像序列源数据信息，以得到特征数据。通过识别单元识别输入源（输入源包括绿幕图像等）。识别单元用于自动识别物理图像得到图像内容的数据信息。识别图像基于神经网络的物理图像序列识别，将图像处理学图像上，通过对多帧连续图像进行分析，以获得传统获取图像方式得不到的图像信息。按照时间码提取图像数据信息，通过捕获物理图像的像素运动数据作为输入源的物理图像序列源数据信息。第一特征数据就是序列通过AI模块检测、AI模块加工、一些特殊的程序处理得到的物理图像序列源数据信息。在不同时间、不同方位对目标依序连续获取的系列图像。通过从每张图像序列中提取信息的组分可以得到像素运动的相似性，即得到第一特征数据；

根据所述第一特征数据，解析单元和AI模块智能实现信号转换，将转换完成后的信号传输存储序列单元，得到第二特征数据。解析单元主要用于从第一特征数据中检测出像素运动信息和像素目标、识别像素、追踪像素目标、追踪运动目标，估计运动像素的三维运动及其三维结构参数。解析单元还用于将各个模块和各个单元的信号进行频率响应、谐波失真、信噪比进行处理，最终以一种理想的状态传输给各个播放器，将电信号转换为数字信号，实现信号转换，是其符合各个模块和各个单元的多个类型的信号要求。

对所述第一特征数据行运动估计，运动主要包括拍摄***的运动和场景中的目标物体运动，三维运动通过投影到二维图像平面上形成二维运动。运动估计包括模型选择、估计准则及搜索策略。在连续图像解析处理中，运动信息广泛应用于运动补偿（制式转换）、滤波（去噪）、复原（去模糊）等。解析单元还可以将数字信号转换为模拟信号，用于提供模拟数据信息，以便于成像单元选择最优效果图像。解析单元还具备分类功能，具体包括将物理图像序列源分类得到序列信息。存储序列单元能够采取多种方式获取序列，实时得到更好的图像（更好的图像是指图像的质量、清晰度、饱和度、对比度更强的图像）。物理图像序列源存储在存储单元。通常将操作数所对应的地址称为一个存储单元，即一个存储序列。这里的操作数指的是一组指令，而不是一个字符串。在一个存储序列中，有且只有两个元素，即一个存储序列单元中的值（或地址）和另一个存储序列单元的值（或地址）。存储序列是一组指令的集合，每一条指令都有一个或者多个存储序列，在本发明中每个元素都被称为字节(byte)或者字（bit）。每一个字节都由一组符号组成，因此字节在本发明中也被称为“符号”。将所有的序列信息都存储在存储序列单元。

本申请将二维运动投射到三维空间上，以下是解析单元运动估计包括：模型选择，运动表示像素运动，以及运动边缘与遮挡等建模。运动表示的核心为运动场的模型参数化，这些模型及其参数的选择往与应用及场景对象有关。考虑到一个物体点在三维空间中运动，设其目标像素在时刻t的位置（摄像机坐标系），三维运动轨迹为一条四维时空曲线，对于任意两个时刻的目标物体或者目标像素的三维位移。图像序列与运动之间的关系，三维场景投射到二维平面上。传统的方式使用二维运动来表示三维时空。如图3所示，本发明是将二维转化为三维运动并且模拟此二维转三维的运动，在三维空间轴上模拟运动变化得到模拟数据，根据模拟数据，对数据进行估计。三维是由无数个二维组成的，所以如下图3所示实现二维转换三维的图示是将无数个二维运动的点投射到三维空间中。

对所述模拟数据进行估计时的估计准则即运动估计中模型参数的优化准则，其形式多样，如关于块的均匀方差、贝叶斯准则、马尔可夫模型等。其中，均方差表示第一特征数据的变异程度，即像素变化程度，用于度量数据组的离散程度，其可以衡量出每一组特征数据中的每个像素值到数据组均值的变异程度，检验数据组之间的差异是具有统计学意义的（每个像素值和其他值差异大小）。均方差法对于分析、预测各种数据时非常有用，可以通过分析第一特征数据即得到像素变异数据。

贝叶斯准则是对全局第一特征数据进行优化，贝叶斯方法在离散空间和在连续空间中具有代表性的应用方法，其更依赖于连续分布。贝叶斯网络推理算法是基于多元统计分析技术的一种统计推理方法，通过有方向的图形来表达事件像素之间的概率关系，每个像素之间通过有方向的箭头连接的节点组成，每一个像素节点表示一个随机变量，而且每个变量之间都是相互独立的，箭头表示变量之间的原因与结果关系。箭头方向的意义在于一个变量的变化可以引起另一个变量的变化。如图4所示，贝叶斯网络是因果概率用于像素行为分析。得到像素行为分析数据。像素的变化称为随机变量，空间中像素变化可以是从A变到E，也可以是从A-B-D-E。像素的运动轨迹可以有很多种，一个像素点运动到另外一个像素点的运动轨迹也可以有很多条。图4是像素作为随机变量的运动状态和运动轨迹产生的随机事件。贝叶斯准则和框架就是将连续的像素分布的推理，不仅用来独立每一个像素，还能对像素联合分析，对连续的像素变化进行多元统计。

获取第一特征数据的像素变异数据和像素行为分析数据之后，对像素变异数据和像素行为分析数据的策略进行搜索。本发明为了实现高效的性能和运行效率。搜索策略反映了状态空间的方法，包括穷举方法、松弛迭代方法、条件迭代和最高置信优先方法。根据这些方法得到第二特征数据，第二特征数据指像素投射到三维空间中的最终运动方式的数据。通过将特征数据传输至成像单元。

根据所述特征数据，成像单元在立体显示空间中建立实时虚拟全景拍摄***，得到三维拍摄数据。成像单元将三维拍摄数据信息传输至携带单元，得到二维图像，二维图像到携带单元进行融合得到融合数据。本发明的立体显示空间是一种空间概念，属于四维世界。传统的裸眼3D通常通过视差来实现人眼看到的3D效果，使用两个屏幕显示或者多个屏幕来显示。而本发明依靠重建的三维全景空间，虚拟摄像***根据需求得到三维全景空间的连续图像用来显示出现三维效果。并且立体显示空间中设置至少一个三维全景空间。通过AI模块自动调整融合多个三维全景空间。在所述三维全景空间种设置多个虚拟摄像机。

如图5所示，在三维全景空间中的物体可以是任意物体，也可以是绿幕图像转换为三维的物体。图5中设有第一平面遮幅501、第二平面遮幅502、第三平面遮幅503、第四平面遮幅504。其中第一平面遮幅501为视差遮幅的上方平面遮幅，上方平面遮幅的高度、长度、宽度、水平倾斜角度、垂直倾斜角度等是平面遮幅的可调整参数。第二平面遮幅502、第三平面遮幅503及第四平面遮幅504为不同方向的平面遮幅。第一效果图505和第二效果图506分别是立体显示空间生成的三维全景图像。第一虚拟相机507设于遮幅之间，也可以有很多个虚拟摄像机来对三维全景空间中的物体进行拍摄。

基于多台虚拟摄像机确定多张二维图像，通过对所述二维图像进行全局匹配算法从而得到三维全景空间的视差图像。也可以通过一台虚拟摄影机与真实摄影机的图像空间关系判断建立对应的关系图。对四个平面遮幅的可调整参数进行调节，设置虚拟摄像机的拍摄参数，设置虚拟摄像机的景别是通过确定摄像机位置、朝向、视场角度和其他参数来构建一个视图。

具体的，设置虚拟摄像机景别的步骤包括确定摄像机的位置，确定摄像机在虚拟场景中的位置，可以根据需要进行调整。位置的选择应当考虑到所需的拍摄效果和角度；确定摄像机的朝向，摄像机的朝向决定了观察者所看到的场景。可以通过调整摄像机的旋转角度来改变朝向，或者通过目标对象来指示摄像机的朝向；设置视场角度，视场角度决定了摄像机能够看到的景象范围。较小的视场角度可以使画面看起来更加放大，较大的视场角度则可以拍摄更广阔的场景。根据需要还可以调整视场角度以实现所需的效果；调整摄像机的参数包括根据需要调整一些附加参数来改善拍摄效果。例如调整摄像机的焦距、光圈、快门速度等参数，以达到所需的视觉效果。测试和调整包括在设置完摄像机景别之后，可以进行测试并根据需要进行调整。观察结果，如果不满意可以再次调整摄像机的位置、朝向和参数，直到达到理想的效果。

通过调整摄像机的位置、朝向、视场角度和其他参数，可以创建出视觉上吸引人的场景。调节平面遮幅的可调整参数和虚拟摄像机拍摄参数得到不同的三维全景图像。本申请中的三维全景图像是基于人的视觉重建的三维视差关系。其中三维全景空间中的物体可以随意替换。

所述携带单元是绑定虚拟摄像机和平面遮幅的，当虚拟摄像机移动时平面遮幅跟随虚拟摄像机一起移动，又可以调节平面遮幅和虚拟摄像机的每一个参数。可以对遮幅的长度、角度、宽度进行调节，成像单元中的虚拟摄像机拍摄出的二维图像也是不同效果的图像。通过第一处理模块调节平面遮幅的参数，得到融合数据。

通过第一效果图505和第二效果图506能清晰的看到图像中的物体与黑色选中区域边界的不同，黑色边界即第一平面遮幅501、第二平面遮幅502、第三平面遮幅503、第四平面遮幅504，通过调节上述遮幅，使得空间中的视差关系产生变化。需求对象可根据所需的视差关系调整遮幅，调节遮幅成像单元对调节后的三维全景空间机进行拍摄实时得到组合后的效果图像，效果图像如图5中的第一效果图505和第二效果图506所示。

根据所述融合数据，综合模块和AI模块自动/手动分析视差，调节平面遮幅，使得三维全景空间的空间参数产生变化。首先综合模块进行计算（综合模块是指对复杂***综合进行计算，各个模块/单元存在着各种联系，构成了一个复杂的***）。立体视差的调节就是通过调节平面遮幅的可调调节参数来对视差进行计算。

在本发明中重建三维全景空间的过程中是要在三维空间建立视差场，使得观测者看到的画面是不一样的，使得观测者出现的看到立体影像。

视差计算的方式包括绝对视差法、图割法、基于固定窗口的区域匹配法、左右一致性约束原理。

绝对视差法为在立体显示空间中建立正确的左视图和右视图视差。左视图和右视图的绝对差值图的亮度值。绝对差值图的计算方式简单、速度快。

图割法为全局匹配算法，是立体匹配的一类主要算法。通过全局能量函数来表征立体图像的匹配情况，并设法将这个全局能量函数最小化，从而得到立体图像的视差图像，即全局立体匹配算法的框架。全局立体匹配算法能够避免很多区域立体匹配算法中常见的错误，在低纹理区域有着很好的表现。图割法是全局匹配算法的一种代表算法。一次性将所有视差图中视差等于某个值的区域进行优化。算法采用图割法的思路，根据相邻点的相关度以及相邻点与假设视差的匹配程度，对原有像素和视差值之间的关系进行重新分配与调整，将立体匹配问题转换为求解最大流最小割的问题，直至全局能量函数最小化。

基于固定窗口的区域匹配法包括：区域匹配最为简单的形式就是将整幅图像分割成许多子区域，然后对所有子区域的亮度信息或灰度分布信息进行相似性度量。它是以基准图的待匹配点为中心创建一个窗口，当窗口大小固定时，该区域匹配法就是基于固定窗口的。用该窗口内的灰度值分布来表征该像素，然后在对准图中搜索这么一个像素，以其为中心创建同样的一个窗口，并用其邻域像素的灰度值分布来表征它，根据匹配准则约束来搜索最佳的匹配，两者间的相似性必须满足一定的阈值条件。实质是利用局部窗口之间的灰度信息的相关度，将图像对量化为许多图像块而确定对应的区域。

左右一致性约束原理包括：一个像素点只能对应一个视差值，这种约束称为立体匹配当中的唯一性约束。由于一个像素点不会有两个以上的视差值，这种约束也可以描述为参考图像与目标图像中匹配点都应是一一对应的，即左右一致性约束。左右一致性检测后，排除了不精确部分，提高了所获取的深度信息的准确度，计算经过左右一致性检测的区域视差图的速度也很快。

图割法计算的视差图最为准确，但是它的速度非常慢。本申请中AI模块根据不同的视图采用不同的视差处理方法，当使用图割法时AI模块辅助计算使得实时得到计算结果。本发明中处理视差的几种方式，确定绝对视差法、图割法、基于固定窗口的区域匹配法、左右一致性约束原理。将几种方式联合使用，绝对视差的计算方式简单、速度快；图割法使用全局匹配算法来实现建立视差，图割法计算得视差最为准确；利用基于固定窗口的区域匹配法计算得到的视差图准确度很差，但是它的速度非常快。左右一致性检测后，排除了不精确部分，提高了所获取的深度信息的准确度，计算经过左右一致性检测的区域视差图的速度也很快。

遮幅处理的作用为改变画面比例及构图给影片加上遮幅之后，可以改变画面的宽高比，更符合人眼的审美。例如遮幅改变是通过加遮幅使得画面的比例4:3变为16:9的变化，图6中的左图指平面遮幅，通过第二虚拟相机601得到有光影变化的图像。如图6中的右图指空间不规则遮幅，第三虚拟相机602获取拍摄图像时不会影响三维全景空间中原本的光照。传统的处理方式是通图像一帧一帧来处理，把人物、物体按照一定的模式画出这种遮罩再对单帧处理或者连续帧处理。而本申请是通过在空间中建立空间遮幅，使得虚拟摄像机在空间遮幅下进行拍摄，连续实时获得已经建立了正确视差的三维全景图像，实时计算和实时生产出拍摄图像。

AI模块自动调节画面比例根据显示的萨那为全景空间。观测者观看的时候会觉得构图更好看。当需要3D效果时需要将一些部分遮住来达到肉眼3D效果并且不影响观看效果。如图7所示，图7中包括第一立体显示空间701、第一三维全景空间702、自动填充遮幅703、第一立体视差704。其遮幅代表当重建出三维全景空间后，使得三维全景空间为3D显示，AI模块自动填充三维全景空间的外部区域，使得观测者能够看到更好的立体效果。

其中，立体视差又称为立体视像、立体知觉。基于双眼视差所获得的深度知觉。立体技术的效应是通过在图像中产生视差所产生的。在本发明中三维全景空间的视差调整多用于会聚调节和视差校正，为准确地计算出立体图像视差调整量的取值范围，建立了立体视差调整的快速估计方法。AI算法首先将模拟人类视觉融合应用于三维全景空间中，用于立体显示空间进行显示。然后推导出立体显示屏幕融合区对视差调整量。最后通过对三维全景空间的深度线索的稀疏匹配快速估计出融合区域。准确地得到视差调整量的范围，最大限度地将三维全景空间展显示在屏幕上，并且使得观测者能够从多个角度看见不同的3D效果。图7实现了两个空间的融合，将立体显示空间和三维全景空间进行交互和融合，AI模块调节立体显示空间的立体视差、遮幅以及AI模块和虚拟摄像机的定位跟踪。

立体显示空间用来显示3D影像以及至少一个三维全景空间，立体视差模拟单元用来模拟立体显示空间中的显示状态。在本发明中立体视差模拟单元是用来模拟观测者至少两个位置看到同一个物体的方向之差。视差可以用观测者的多个不同位置之间的距离（又称为基线）在物体处的张角来表示，物体的视差与物体到观测者的距离之间存在着简单的三角关系。测出物体的视差即可以确定物体的距离。当存在多个三维全景空间时AI模块自动调节空间中的数据参数空间遮幅、空间长度、空间角度、空间物体材质、空间深度、空间光照影响、空间色彩填充、空间深度渲染（一个空间的所有深度图，深度图渲染）、空间阴影、及其空间色彩融合、空间色彩填充和空间的长度、宽度、高度等。

每个数据参数都可以通过综合模块中的AI模块自动调节，也可以手动调节。综合模块可以高效的计算出***所需要的所有数据，实时得到结果数据。综合模块和AI模块对全部的第二特征数据进行解析计算得到结果数据，成像单元根据结果数据的信息重建三维全景空间；成像单元重建三维全景空间。成像单元重建三维全景空间和立体显示空间，成像单元将模拟信号经过放大、缩小、旋转、滤波、隔离等处理后，成像单元将模拟数据信息传输到输出单元，输出单元与成像单元联合，在立体显示空间中显示三维全景空间、显示正确的遮幅关系、显示正确的视差关系。成像单元保证了图像的清晰度和立体感。在本发明中的三维全景空间是实时三维显示的，不是二维显示。相当于在立体显示空间中存在着一个三维全景空间，在立体显示空间中建立至少一个虚拟摄像机可以实时跟踪三维全景空间获取三维全景空间中的三维全景影像。将立体显示空间中的三维信息传输至携带单元。立体显示空间中的三维信息有三维全景空间信息、虚拟摄像机的数据信息、空间遮幅信息、立体视差信息、立体视差距离信息等多种三维数据信息。

根据所述三维全景空间的空间视差参数变化，成像单元拍对空间参数变化的三维空间进行拍摄，对三维空间中的阴影、双面材质、反射捕捉、光照阴影的深度渲染、主要通道渲染，获取周边色彩填充等三维空间参数。其中获取单元的功能是根据用户输入的信息，确定成像单元的工作方式，以满足用户需求。获取单元由信息采集和输出两部分组成。其中采集部分的信息采集单元是从成像单元获得三维数据信息。成像单元中的像素空间位置是由用户提供的，像素灰度值是由携带单元器件输出的。像素空间位置是指成像单元对立体显示空间中每一个像素点所赋予的编码值。灰度值指成像单元对立体显示空间中每个像素点所赋予的灰度值，它表示了图像中每个像素点在像素空间中的位置上的差异。

根据所述空间参数，经过第一处理模块得到第一处理数据，控制终端将第一处理数据和三维拍摄数据传输至数据组合模块得到组合数据。如图8所示，第一拍摄图像801是虚拟摄像机的拍摄图像，第二拍摄图像802是当存在多个虚拟摄像机时其他虚拟摄像机的拍摄图像，其还包括数据存储模块803、第一数据组合模块804、第二三维全景空间805及第二组合模块806。输出单元先将所述多空间融合数据传输至第一处理模块。所述输出单元是AI自动传输，有序稳定的传输数据，在输出单元自动筛选出错误信息，使得传输数据不会出现错误，不会导致***紊乱。多空间融合数据中的每一个像素值信息在第一处理模块中都会被实时计算。第一处理模块是空间遮幅对于每一个空间中的每个像素，需要对它进行一个值的计算，将其转换为二进制数字信号。在每个像素点的值AI计算和综合计算完成后，就可以进行二进制编码。四维是由无数个三维空间组成的，三维是由无数个二维图像组成的。在现有技术中将一幅灰度图像直接转换为二进制信号是比较难实现的，因为这个过程会引入相当多的失真。但是本发明中解决了图像失真问题，并且在三维空间中使得空间的每一个像素无损变化，得到高度清晰的三维全景空间。例如在一个灰度图像空间中只能看到一部分像素点由于灰度图像空间中每一个像素都需要进行一个值的计算（一般称为灰度值），即会引入相当大的误差。 第一处理模块、综合模块、解析单元和AI模块协同合作对像素进行计算。解析单元先将变化像素计算，不变化像素将不进行计算，因此解析单元获取像素信息、分类像素得到变化像素和不变化像素的数据信息。综合模块对变化像素进行实时计算，综合模块实时得出计算结果，第一处理模块实时进行编码将灰度图像直接转换为二进制数字信号，传统处理会造成数字信号处理失真；在本发明中经过第一处理模块进行特殊处理和AI筛除错误，得到特征数字信号，此特征数字信号不会出现失真，得到的结果是无损结果数据。多空间融合数据经过第一处理模块和其他模块辅助处理之后得到无损结果数据。输出单元再将无损结果数据传输至渲染模块，渲染出最终显示的效果立体图像。

在本发明中个中渲染模块是指对空间进行集合变换和空间结构处理， 渲染模块通过对输入的空间几何图形进行数学变，AI模块辅助自动调整空间的结构和空间的几何变换，将其转换为计算机所能识别的二进制数字信号。由于像素是点或线组成的，所以将像素转换为二进制数字信号，就必须要对输入的每个空间的像素进行相对应的处理，AI模块自动做出对应的处理结果。渲染处理单元主要是指将灰度图像渲染生成色彩图像。色彩空间是指整体空间色彩融合度高、高清的空间像素。色彩空间存储在记录单元。

渲染模块得到高清的立体显示空间和三维全景空间，输出单元将所述高清的立体显示空间和三维全景空间传输至组合模块。组合模块指滤波、通道选择、量化、滤波器组、数字信号处理、功率计算、数字滤波器涉及、波形合成与显示在这个组合模块中，组合模块组合空间之间的遮幅、视差距离、立体视差程度。

本申请要解决的是色彩像素在传输过程中的丢失和错误码的问题，传统方式不能将原始图像中的每个像素都显示出来，而在本发明中可以将每一个三维全景空间以及立体显示空间（立体显示空间更像是四维的空间概念，立体显示空间就是那个将三维全景空间和多个遮幅及视差场进行组合的空间，立体显示空间中的空间参数是本发明中的空间参数）的每个像素完全的还原，并且在组合模块中不会存在丢失数据和传输错误码的现象，这是传统处理方式不能实现的。本发明中的组合单元还可以进行自动选择相适应的通道。组合模块还可以进行功率计算，组合模块计算出最小的功率，AI模块自动匹配数据分配路线和数据处理路线，使得***消耗最小的功率。传统的裸眼3D存在着图像不清晰和功率消耗大导致生成的图像不稳定的问题，而本发明中采用多路复用技术，即把数据在接收端进行再次处理，AI模块自动匹配。多路复用技术将一个立体显示空间分成多个独立的三维全景空间，然后分别对每个子空间进行处理，最后合并起来，输出完整的立体显示空间，即多路复用。本申请以最低的功率生成高清的多个三维全景空间，并且立体显示空间的像素数据在任何状态传输、发送都不会丢失和失真，也不会产生错误码。

将三维的组合数据生成观测者看到三维效果的二维图像，控制终端将组合数据传输至显示单元和记录单元，记录单元记录所有数据，显示单元实时输出效果立体图像到终端。记录单元是将操作数和存储单元之间的数据进行存储的单元。通过记录单元可以实现将字符串转换为二进制数字。记录单元还可以对数据进行压缩，提高传输速度。记录单元是本发明中数据的主要存储装置。显示单元输出立体显示空间到终端；传输单元将组合数据传输至显示单元和记录单元。显示方式通过立体显示空间。在显示单元线立体显示空间前需要对记录单元存储的数据进行校验，再一次采用多路复用技术对存储的所有数据进行校验和渲染，得到的效果立体图像输出到控制终端，控制终端将最终效果立体图像在立体显示空间中的显示单元上显示。得到的效果图像是指呈现给观测者的具有三维效果的二维图像，效果图像本身是指二维图像。

本发明的一种自动联想性遮盖视差裸眼空间计算的处理方法包括：获取输入源的物理图像序列源的第一特征数据，所述输入源为图像和/或视频；根据所述第一特征数据的二维图像重建三维全景空间，获取所述三维全景空间的三维拍摄数据，融合所述三维拍摄数据与二维图像得到融合数据；根据需求对象的视差要求调整所述融合数据的遮幅，以确定所述三维全景空间的空间视差参数变化；根据所述三维全景空间的空间视差参数变化，将所述三维全景空间转为二维全景图像，获取所述二维全景图像的三维视差关系的空间参数；对所述空间参数进行调整和转换得到第二特征数据，所述第二特征数据为具有正确视差关系的三维空间转二维空间的二维图像像素信息；组合第二特征数据和所述三维全景空间中的三维拍摄数据得到组合数据；根据所述组合数据实时输出立体效果图像。本发明基于实时制作和人工智能所开发的技术，有效地弥补传统裸眼3D视察技术的劣势，加速制作周期，降低制作成本，通过人工智能精准的控制裸眼视差的视差效果，使观测者能够看到更好的立体效果。

以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。

Claims (8)

1.一种自动联想性遮盖视差裸眼空间计算的处理方法，其特征在于，该方法包括：

获取输入源的物理图像序列源的第一特征数据，所述输入源为图像和/或视频；

根据所述第一特征数据的二维图像重建三维全景空间，获取所述三维全景空间的三维拍摄数据，融合所述三维拍摄数据与二维图像得到融合数据；

根据需求对象的视差要求调整所述融合数据的遮幅，以确定所述三维全景空间的空间视差参数变化；

根据所述三维全景空间的空间视差参数变化，将所述三维全景空间转为二维全景图像，获取所述二维全景图像的三维视差关系的空间参数；

对所述空间参数进行调整和转换得到第二特征数据，所述第二特征数据为具有正确视差关系的三维空间转二维空间的二维图像像素信息；

组合第二特征数据和所述三维全景空间中的三维拍摄数据得到组合数据；

根据所述组合数据实时输出立体效果图像；

所述第一特征数据为物理图像序列源的视差关系数据；

所述融合所述三维拍摄数据与二维图像得到融合数据，包括：获取所述三维拍摄数据的遮幅值和视差参数，根据遮幅值和视差参数融合所述三维拍摄数据与二维图像得到融合数据；

所述根据需求对象的视差要求调整所述融合数据的遮幅，以确定所述三维全景空间的空间视差参数变化，包括：

在三维全景空间设置遮幅，以得到所需视差关系的三维全景空间；

通过虚拟摄像机在所述三维全景空间下拍摄，用于改变呈现给观测者的二维画面的三维立体长宽高比。

2.根据权利要求1所述的方法，其特征在于，所述获取输入源的物理图像序列源的第一特征数据，包括：

获取所述输入源中不同时间、不同方位的多个图像，将二维图像关系映射到三维空间关系中；

从所述多个图像中提取相似的视差关系图像序列数据，得到第一特征数据。

3.根据权利要求1所述的方法，其特征在于，

所述三维拍摄数据为三维全景空间中的空间视差关系参数和遮幅参数；

所述二维图像为虚拟摄像机对遮幅和视差调整后的三维全景空间进行拍摄得到的二维图像。

4.根据权利要求1所述的方法，其特征在于，

获取视差的方法为绝对视差法、图割法、基于固定窗口的区域匹配法、左右一致性法中的至少一种。

5.一种自动联想性遮盖视差裸眼空间计算的处理装置，其特征在于，该装置包括：

获取模块， 用于获取输入源的物理图像序列源的第一特征数据，所述输入源为图像和/或视频；

第一处理模块，用于根据所述第一特征数据的二维图像重建三维全景空间，获取所述三维全景空间的三维拍摄数据，融合所述三维拍摄数据与二维图像得到融合数据；

第二处理模块，用于根据需求对象的视差要求调整所述融合数据的遮幅，以确定所述三维全景空间的空间视差参数变化；

第三处理模块，用于根据所述三维全景空间的空间视差参数变化，将三维全景空间转为二维全景图像，获取所述二维全景图像的三维视差关系的空间参数；

第四处理模块，用于对所述空间参数进行调整和转换得到第二特征数据，所述第二特征数据为具有正确视差关系的三维空间转二维空间的二维图像像素信息；

第五处理模块，用于组合第二特征数据和所述三维全景空间中的三维拍摄数据得到组合数据；

输出模块，用于根据所述组合数据实时输出立体效果图像；

所述第一特征数据为物理图像序列源的视差关系数据；

所述融合所述三维拍摄数据与二维图像得到融合数据，包括：获取所述三维拍摄数据的遮幅值和视差参数，根据遮幅值和视差参数融合所述三维拍摄数据与二维图像得到融合数据；

所述根据需求对象的视差要求调整所述融合数据的遮幅，以确定所述三维全景空间的空间视差参数变化，包括：

在三维全景空间设置遮幅，以得到所需视差关系的三维全景空间；

通过虚拟摄像机在所述三维全景空间下拍摄，用于改变呈现给观测者的二维画面的三维立体长宽高比。

6.根据权利要求5所述的装置，其特征在于，所述获取输入源的物理图像序列源的第一特征数据，包括：

获取所述输入源中不同时间、不同方位的多个图像，将二维图像关系映射到三维空间关系中；

从所述多个图像中提取相似的视差关系图像序列数据，得到第一特征数据。

7.根据权利要求5所述的装置，其特征在于，所述三维拍摄数据为三维全景空间中的空间视差关系参数和遮幅参数；

所述二维图像为虚拟摄像机对遮幅和视差调整后的三维全景空间进行拍摄得到的二维图像。

8.根据权利要求5所述的装置，其特征在于，

获取视差的方法为绝对视差法、图割法、基于固定窗口的区域匹配法、左右一致性法中的至少一种。