CN113421313B - 一种图像构建方法、装置、电子设备及存储介质 - Google Patents
一种图像构建方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113421313B CN113421313B CN202110529506.1A CN202110529506A CN113421313B CN 113421313 B CN113421313 B CN 113421313B CN 202110529506 A CN202110529506 A CN 202110529506A CN 113421313 B CN113421313 B CN 113421313B
- Authority
- CN
- China
- Prior art keywords
- sampling
- point
- target
- image
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本公开关于一种图像构建方法、装置、电子设备及存储介质，所述方法包括：获取在目标观察点对目标场景进行图像采集时的目标投影矩阵；对于待构建图像中的每个目标像素点，确定与所述目标像素点对应的目标光线；采用所述目标投影矩阵对所述目标光线进行投影，得到所述目标光线在预设采样面上的投影信息；其中，所述预设采样面包括对所述目标场景进行图像采集的若干预设图像采样点；基于所述投影信息以及所述若干预设图像采样点，确定所述目标像素点的颜色；根据所述待构建图像中每个目标像素点的颜色，构建与所述目标观察点对应的目标图像。本公开能够解决图像构建过程中图像渲染结果损失真实性以及大量存储空间消耗的问题。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像构建方法、装置、电子设备及存储介质。
背景技术
在电子商务、虚拟展览、交互体验等各种领域中，需要从多个角度对目标场景进行描述，以使得用户可以在实时浏览时可以为用户呈现相应角度对应的目标场景的图像。
相关技术中，主要可通过两种方法对目标场景进行多角度描述，一种方法是通过三维网格模型(包括通过三角面片位置、法向、纹理数据)和相关信息(例如光照，环境纹理等)描述整个场景，在实时浏览的时候，将虚拟的摄像机放在观察点，然后通过标准渲染管线将三维场景渲染出来，但是由于三维建模的建模过程高度抽象以及三维模型绘制过程简化了光学过程，使得模型渲染的结果损失真实性；另一种方法是将被表达的场景放置入一个空间内，以预先设定好的模式对这个场景从多个角度进行多次的图像采集，进而得到从这些角度观察目标场景的图像数据；如果采样覆盖更多维度，例如摄像机距离目标场景中心的距离、采集图像时的俯仰角度、水平转动角度等，会使得采集得到的图像数量激增，需要消耗大量的存储空间，不具备实用性。
发明内容
本公开提供一种图像构建方法、装置、电子设备及存储介质，以至少解决相关技术中三维模型绘制导致的图像渲染结果损失真实性以及通过采集大量图像进行图像重建所带来的大量存储空间消耗的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种图像构建方法，包括：
获取在目标观察点对目标场景进行图像采集时的目标投影矩阵；
对于待构建图像中的每个目标像素点，确定与所述目标像素点对应的目标光线；所述待构建图像用于表征在所述目标观察点对所述目标场景进行图像采集得到的图像信息，所述目标光线从所述目标像素点发出，垂直于所述待构建图像所在的平面；
采用所述目标投影矩阵对所述目标光线进行投影，得到所述目标光线在预设采样面上的投影信息；其中，所述预设采样面包括对所述目标场景进行图像采集的若干预设图像采样点；
基于所述投影信息以及所述若干预设图像采样点，确定所述目标像素点的颜色；
根据所述待构建图像中每个目标像素点的颜色，构建与所述目标观察点对应的目标图像。
在一示例性实施例中，所述采用所述目标投影矩阵对所述目标光线进行投影，得到所述目标光线在预设采样面上的投影信息包括：
基于所述目标投影矩阵，将所述目标光线在屏幕坐标系中位置信息的表示形式转化为全局空间坐标系中位置信息的表示形式；
当根据所述目标光线在全局空间坐标系中位置信息的表示形式，确定所述目标光线与所述预设采样面存在交点时，确定所述目标光线与所述预设采样面的交点为采样面交点，以及确定所述投影信息为所述采样面交点的坐标信息；
当根据所述目标光线在全局空间坐标系中位置信息的表示形式，确定所述目标光线与所述预设采样面上不存在交点时，确定所述投影信息为空值。
在一示例性实施例中，所述基于所述投影信息以及所述若干预设图像采样点，得到所述目标像素点的颜色包括：
当所述投影信息为所述采样面交点的坐标信息时，根据所述目标像素点的坐标信息，计算所述目标像素点的对应像素点的坐标信息；所述对应像素点为目标采样图像中的一个像素点，所述目标采样图像用于表征在所述采样面交点处对所述目标场景进行图像采集得到的图像信息；
当根据所述采样面交点的坐标信息确定所述采样面交点为任一所述预设图像采样点时，获取在所述采样面交点处对所述目标场景进行采集得到的预设采样图像；
根据所述对应像素点的坐标信息，在所述采样面交点对应的预设采样图像中查找所述对应像素点；
基于所述对应像素点的像素值得到所述目标像素点的颜色。
在一示例性实施例中，所述方法还包括：
当所述采样面交点不为预设图像采样点时，从所述若干预设图像采样点中确定出与所述采样面交点对应的多个关联采样点；所述多个关联采样点与所述采样面交点的距离均小于等于预设值；
获取在每个所述关联采样点处，对所述目标场景进行图像采集得到的预设采样图像；
基于与每个所述关联采样点对应的预设采样图像，计算与每个所述关联采样点对应的转移张量；
根据每个所述关联采样点对应的转移张量，在每个所述关联采样点对应的预设采样图像中确定与所述对应像素点对应的关联像素点，以及所述关联像素点的像素值；
对多个关联像素点的像素值进行加权求和，得到所述目标像素点的像素值。
在一示例性实施例中，所述基于与每个所述关联采样点对应的预设采样图像，计算与每个所述关联采样点对应的转移张量包括：
遍历每个关联采样点；
对于当前关联采样点，在所述当前关联采样点对应的预设采样图像中确定参照像素点；所述参照像素点为所述当前关联采样点对应的预设采样图像中的任一像素点；
在非当前关联采样点对应的预设采样图像中确定与所述参照像素点对应的匹配像素点；
根据所述参照像素点以及所述匹配像素点，计算所述当前关联采样点对应的预设采样图像中的像素点与所述非当前关联采样点对应的预设采样图像中的像素点的运动向量；
基于所述多个关联采样点的坐标信息以及所述运动向量，计算所述当前关联采样点的转移张量。
在一示例性实施例中，所述在非当前关联采样点对应的预设采样图像中确定与所述参照像素点对应的匹配像素点包括：
在所述当前关联采样点对应的预设采样图像中，确定所述参照像素点的邻域图像内容；
在非当前关联采样点对应的预设采样图像中，确定与所述邻域图像内容的相似度大于预设阈值的像素点为所述匹配像素点。
在一示例性实施例中，所述对多个关联像素点的像素值进行加权求和，得到所述目标像素点的像素值包括：
基于所述多个关联采样点与所述采样面交点的距离，确定与每个关联采样点对应的权重；所述每个关联采样点对应的权重，与所述每个关联采样点到所述采样面交点的距离呈负相关；
基于与每个关联采样点对应的权重对多个关联像素点的像素值进行加权求和，得到所述目标像素点的像素值。
在一示例性实施例中，所述基于所述投影信息以及所述若干预设图像采样点，得到所述目标像素点的颜色包括：
当所述投影信息为空值时，确定所述目标像素点的颜色为透明。
在一示例性实施例中，所述方法还包括：
确定所述目标观察点的坐标信息，以及所述目标场景的中心坐标信息；
基于所述目标观察点的坐标信息和所述目标场景的中心坐标信息，确定在所述目标观察点对所述目标场景进行图像采集的图像采集角度；
根据所述目标观察点的坐标信息和所述图像采集角度生成所述目标投影矩阵。
根据本公开实施例的第二方面，提供一种图像构建装置，包括：
矩阵获取单元，被配置为执行获取在目标观察点对目标场景进行图像采集时的目标投影矩阵；
目标光线确定单元，被配置为执行对于待构建图像中的每个目标像素点，确定与所述目标像素点对应的目标光线；所述待构建图像用于表征在所述目标观察点对所述目标场景进行图像采集得到的图像信息，所述目标光线从所述目标像素点发出，垂直于所述待构建图像所在的平面；
目标光线投影单元，被配置为执行采用所述目标投影矩阵对所述目标光线进行投影，得到所述目标光线在预设采样面上的投影信息；其中，所述预设采样面包括对所述目标场景进行图像采集的若干预设图像采样点；
颜色确定单元，被配置为执行基于所述投影信息以及所述若干预设图像采样点，确定所述目标像素点的颜色；
图像构建单元，被配置为执行根据所述待构建图像中每个目标像素点的颜色，构建与所述目标观察点对应的目标图像。
在一示例性实施例中，所述目标光线投影单元包括：
形式转换单元，被配置为执行基于所述目标投影矩阵，将所述目标光线在屏幕坐标系中位置信息的表示形式转化为全局空间坐标系中位置信息的表示形式；
第一确定单元，被配置为执行当根据所述目标光线在全局空间坐标系中位置信息的表示形式，确定所述目标光线与所述预设采样面存在交点时，确定所述目标光线与所述预设采样面的交点为采样面交点，以及确定所述投影信息为所述采样面交点的坐标信息；
第二确定单元，被配置为执行当根据所述目标光线在全局空间坐标系中位置信息的表示形式，确定所述目标光线与所述预设采样面上不存在交点时，确定所述投影信息为空值。
在一示例性实施例中，所述颜色确定单元包括：
坐标信息计算单元，被配置为执行当所述投影信息为所述采样面交点的坐标信息时，根据所述目标像素点的坐标信息，计算所述目标像素点的对应像素点的坐标信息；所述对应像素点为目标采样图像中的一个像素点，所述目标采样图像用于表征在所述采样面交点处对所述目标场景进行图像采集得到的图像信息；
第一获取单元，被配置为执行当根据所述采样面交点的坐标信息确定所述采样面交点为任一所述预设图像采样点时，获取在所述采样面交点处对所述目标场景进行采集得到的预设采样图像；
像素点查找单元，被配置为执行根据所述对应像素点的坐标信息，在所述采样面交点对应的预设采样图像中查找所述对应像素点；
第三确定单元，被配置为执行基于所述对应像素点的像素值得到所述目标像素点的颜色。
在一示例性实施例中，所述装置还包括：
关联采样点确定单元，被配置为执行当所述采样面交点不为预设图像采样点时，从所述若干预设图像采样点中确定出与所述采样面交点对应的多个关联采样点；所述多个关联采样点与所述采样面交点的距离均小于等于预设值；
第二获取单元，被配置为执行获取在每个所述关联采样点处，对所述目标场景进行图像采集得到的预设采样图像；
转移张量计算单元，被配置为执行基于与每个所述关联采样点对应的预设采样图像，计算与每个所述关联采样点对应的转移张量；
第四确定单元，被配置为执行根据每个所述关联采样点对应的转移张量，在每个所述关联采样点对应的预设采样图像中确定与所述对应像素点对应的关联像素点，以及所述关联像素点的像素值；
像素值加权单元，被配置为执行对多个关联像素点的像素值进行加权求和，得到所述目标像素点的像素值。
在一示例性实施例中，所述转移张量计算单元包括：
关联采样点遍历单元，被配置为执行遍历每个关联采样点；
参照像素点确定单元，被配置为执行对于当前关联采样点，在所述当前关联采样点对应的预设采样图像中确定参照像素点；所述参照像素点为所述当前关联采样点对应的预设采样图像中的任一像素点；
匹配像素点确定单元，被配置为执行在非当前关联采样点对应的预设采样图像中确定与所述参照像素点对应的匹配像素点；
运动向量计算单元，被配置为执行根据所述参照像素点以及所述匹配像素点，计算所述当前关联采样点对应的预设采样图像中的像素点与所述非当前关联采样点对应的预设采样图像中的像素点的运动向量；
第一计算单元，被配置为执行基于所述多个关联采样点的坐标信息以及所述运动向量，计算所述当前关联采样点的转移张量。
在一示例性实施例中，所述匹配像素点确定单元包括：
邻域确定单元，被配置为执行在所述当前关联采样点对应的预设采样图像中，确定所述参照像素点的邻域图像内容；
第五确定单元，被配置为执行在非当前关联采样点对应的预设采样图像中，确定与所述邻域图像内容的相似度大于预设阈值的像素点为所述匹配像素点。
在一示例性实施例中，所述像素值加权单元包括：
权重确定单元，被配置为执行基于所述多个关联采样点与所述采样面交点的距离，确定与每个关联采样点对应的权重；所述每个关联采样点对应的权重，与所述每个关联采样点到所述采样面交点的距离呈负相关；
第一加权单元，被配置为执行基于与每个关联采样点对应的权重对多个关联像素点的像素值进行加权求和，得到所述目标像素点的像素值。
在一示例性实施例中，所述颜色确定单元包括：
第六确定单元，被配置为执行当所述投影信息为空值时，确定所述目标像素点的颜色为透明。
在一示例性实施例中，所述装置还包括：
第七确定单元，被配置为执行确定所述目标观察点的坐标信息，以及所述目标场景的中心坐标信息；
采集角度确定单元，被配置为执行基于所述目标观察点的坐标信息和所述目标场景的中心坐标信息，确定在所述目标观察点对所述目标场景进行图像采集的图像采集角度；
目标投影矩阵生成单元，被配置为执行根据所述目标观察点的坐标信息和所述图像采集角度生成所述目标投影矩阵。
根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上所述的图像构建方法。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上所述的图像构建方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，计算机设备的至少一个处理器从所述可读存储介质读取并执行所述计算机程序，使得设备执行上述的图像构建方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
本公开中，当需要构建在目标观察点对目标场景进行观察的图像时，对于待构建图像中的每个目标像素点，分别确定相应的目标光线；通过与目标观察点对应的目标投影矩阵，对目标光线进行投影，得到目标光线在预设采样面上的投影信息，所述预设采样面包括对所述目标场景进行图像采集的若干预设图像采样点；基于投影信息以及若干预设图像采样点，确定目标像素点的颜色；从而根据待构建图像中每个目标像素点的颜色，构建与目标观察点对应的目标图像，该目标图像即可被作为在目标观察点对目标场景进行观察时所得到的图像。本公开能够基于预先采集的原始图像信息进行图像的构建，保留了原始图像的大量细节，使得构建的图像具备真实性；同时，通过有限的图像采集数据，实时绘制在任意位置及角度对目标场景进行观察所获得的图像，节约了采集数据的存储空间，增强了图像重建的实用性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种实施环境示意图。
图2是根据一示例性实施例示出的一种图像构建方法流程图。
图3是根据一示例性实施例示出的一种目标投影矩阵的生成方法流程图。
图4是根据一示例性实施例示出的一种目标光线投影方法流程图。
图5是根据一示例性实施例示出的一种目标像素点的颜色确定方法流程图。
图6是根据一示例性实施例示出的一种目标像素点的像素值确定方法流程图。
图7是根据一示例性实施例示出的一种转移张量计算方法流程图。
图8是根据一示例性实施例示出的一种匹配像素点确定方法流程图。
图9是根据一示例性实施例示出的一种通过加权求和计算像素值的方法流程图。
图10是根据一示例性实施例示出的一种示例示意图。
图11是根据一示例性实施例示出的一种图像构建装置示意图。
图12是根据一示例性实施例示出的一种电子设备结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
请参阅图1，其示出了本公开实施例提供的实施环境示意图，该实施环境可包括：至少一个第一终端110和第二终端120，所述第一终端110和所述第二终端120可通过网络进行数据通信。
具体地，所述第一终端110根据业务需求生成场景浏览请求，并发送给第二终端120，其中场景浏览请求中可包括对目标场景进行观察的观察点；第二终端120接收到所述场景浏览请求后，基于预先采集的相关图像数据，生成在所述观察点对目标场景进行观察时所得到的场景图像，并返回给所述第一终端110；所述第一终端110接收到相应的场景图像后进行显示。
所述第一终端110可以基于浏览器/服务器模式(Browser/Server，B/S)或客户端/服务器模式(Client/Server，C/S)与第二终端120进行通信。所述第一终端110可以包括：智能手机、平板电脑、笔记本电脑、数字助理、智能可穿戴设备、车载终端、服务器等类型的实体设备，也可以包括运行于实体设备中的软体，例如应用程序等。本公开实施例中的第一终端110上运行的操作***可以包括但不限于安卓***、IOS***、linux、windows等。
所述第二终端120与第一终端110可以通过有线或者无线建立通信连接，所述第二终端120可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群，其中服务器可以是云端服务器。
为了解决相关技术中三维模型绘制导致的图像渲染结果损失真实性以及通过采集大量图像进行图像重建所带来的大量存储空间消耗的问题。请参阅图2，其示出了一种图像构建方法，该方法可应用于第二终端，在具体应用过程中，第二终端可以为后台服务器，该方法具体可包括：
S210.获取在目标观察点对目标场景进行图像采集时的目标投影矩阵。
在具体应用过程中，后台服务器可接收到场景浏览请求，该场景浏览请求中可包括目标观察点，即可假设图像采集设备，例如摄像机等，被设置在目标观察点处，从而在目标观察点处对目标场景进行图像采集。
本公开实施例中，对于图像采集设备，其瞄准的是目标场景的中心位置，从而使得图像采集设备的姿态正对目标场景的中心，即在知道了图像采集设备的位置信息以后，就可以确定相应的图像采集设备的姿态，例如角度信息等。
在确定了在目标观察点之后，图像采集设备的位置信息和姿态信息便可确定，从而可相应确定图像采集设备在目标观察点的投影矩阵，具体请参阅图3，其示出了目标投影矩阵的生成方法，该方法可包括：
S310.确定所述目标观察点的坐标信息，以及所述目标场景的中心坐标信息。
S320.基于所述目标观察点的坐标信息和所述目标场景的中心坐标信息，确定在所述目标观察点对所述目标场景进行图像采集的图像采集角度。
S330.根据所述目标观察点的坐标信息和所述图像采集角度生成所述目标投影矩阵。
从而对于给定的图像采集设备的位置信息以及图像采集角度，可适应性的确定投影矩阵，一般用4*4矩阵V表示齐次坐标系中的投影矩阵，即空间中的任何一点p，投影到V*p即映射到了屏幕空间。
S220.对于待构建图像中的每个目标像素点，确定与所述目标像素点对应的目标光线；所述待构建图像用于表征在所述目标观察点对所述目标场景进行图像采集得到的图像信息，所述目标光线从所述目标像素点发出，垂直于所述待构建图像所在的平面。
需要说明的是，本公开中的待构建图像能够用于表征在目标观察点对目标场景进行图像采集得到的图像信息，即待构建图像中包含在目标观察点处对目标场景进行图像采集所得到的图像信息，其并不是由图像采集设备实际在目标观察点进行图像采集所得到的图像。
对于每个目标像素点，分别对应一条射线，该射线从目标像素点发出，且垂直于待构建图像所在的平面；例如对于给定的像素点(x，y)，发出一条射线，用齐次坐标表示为(x，y，t，1)(其中t任意)。
S230.采用所述目标投影矩阵对所述目标光线进行投影，得到所述目标光线在预设采样面上的投影信息；其中，所述预设采样面包括对所述目标场景进行图像采集的若干预设图像采样点。
这里的预设采样面可以是由若干预设采样点所形成的，这若干预设采样点距离目标场景中心的距离相等或者等效地符合特定规律，例如采样面可以是球面、椭球面或者平面等，可根据具体实施情况来确定。采样面尽量是规则形状，这样在后续计算的时候，可根据特定的公式进行求解，从而能够简化问题的处理过程。
请参阅图4，其示出了一种目标光线投影方法，该方法可包括：
S410.基于所述目标投影矩阵，将所述目标光线在屏幕坐标系中位置信息的表示形式转化为全局空间坐标系中位置信息的表示形式。
S420.根据所述目标光线在全局空间坐标系中位置信息的表示形式，判断所述目标光线与所述预设采样面是否存在交点。
S430.当所述目标光线与所述预设采样面存在交点时，确定所述目标光线与所述预设采样面的交点为采样面交点，以及确定所述投影信息为所述采样面交点的坐标信息。
S440.当所述目标光线与所述预设采样面上不存在交点时，确定所述投影信息为空值。
具体地，对于上述射线在屏幕坐标系中位置信息的表示形式为(x，y，t，1)(其中t任意)，经过投影矩阵进行投影之后，得到该射线在全局空间坐标系中位置信息的表示形式的表达式如式(1)所示：
其中，A＝(a0,a1,a2,a3)和B＝(b0,b1,b2,b3)是一个齐次坐标系下的向量，A和B是经过等式(1)左边的内容进行整理后得到的。
进一步地，以预设采样面为球面进行说明，那么可通过式(2)判断该射线与预设采样面是否存在交点：
|((a0+b0*t)/(a3+b3*t),(a1+b1*t)/(a3+b3*t),(a2+b2*t)/(a3+b3*t))2＝R2 (2)
其中，R是图像采集设备预先进行图像采集时所在点形成的球面的半径，即预设采样点所在球面的半径。
对于式(2)中的一元二次方程，如果无解，则说明目标光线与预设采样面不存在交点，确定投影信息为空值；如果有两个解，可以取较小值t(对应距离目标观察点较近的点)；如果有一个解，即为t的值。根据解方程所得到的t可相应计算出目标光线与预设采样面的交点的坐标信息，即采样面交点的坐标信息。
通过将目标光线投影到预设采样面上，即可将构建在目标观察点得到的图像转换为基于预设采样面上的点构建图像，从而便于后续对目标图像进行构建，提高图像构建的易操作性。
S240.基于所述投影信息以及所述若干预设图像采样点，确定所述目标像素点的颜色。
请参阅图5，其示出了一种目标像素点的颜色确定方法，该方法可包括：
S510.当所述投影信息为所述采样面交点的坐标信息时，根据所述目标像素点的坐标信息，计算所述目标像素点的对应像素点的坐标信息；所述对应像素点为目标采样图像中的一个像素点，所述目标采样图像用于表征在所述采样面交点处对所述目标场景进行图像采集得到的图像信息。
这里的目标采样图像并不是实际已经采集得到的图像，和上述的待构建图像的含义类似，目标采样图像能够用于表征在采样面交点处对目标场景进行图像采集得到的图像信息，即待构建图像中包含在目标观察点处对目标场景进行图像采集所得到的图像信息。
当所述投影信息为采样面交点的坐标信息时，确定目标光线与采样面交点所在投影面的交点为投影面交点，计算投影面交点的坐标信息；其中投影面交点与待构建图像中的所述目标像素点相对应。
目标采样图像即为在Q处对目标场景进行图像采集时可能会得到的图像，从而可得到与待构建图像中的目标像素点(x，y)相对应的目标采样图像中的对应像素点(x’，y’)，可通过上述射线V-1*(x,y,t,1)T与Q点所在投影面进行求交来具体计算对应像素点：
假设采样面交点为Q，根据采样面交点Q的坐标信息，可计算得到该点在预设采样面上的经度和纬度(以目标场景中心为原点的球体坐标系中的经度和纬度)，相应可确定Q点对应的投影矩阵U；对于上述射线(x，y，t，1)(其中t任意)，在Q点所在屏幕空间中的参数方程为
U*V-1*(x,y,t,1)T＝(r1(t),r2(t),r3(t),r4(t)) (3)
其中，r1～r4表示这个参数向量的四个元素，求式(3)中的直线与Q点所在空间的(x’，y’，0)的交点，根据齐次坐标的定义，求解r3(t)＝0；得到t以后，将其带入表达式，得到x'＝r1(t)/r4(t),y'＝r2(t)/r4(t)，从而即可得到对应像素点的坐标信息。
S520.根据所述采样面交点的坐标信息判断所述采样面交点是否为任一所述预设图像采样点。
对于预设图像采样点均会记录相应的坐标信息，从而通过坐标信息的匹配，可以判断当前的采样面交点是否为任一预设图像采样点。
S530.当所述采样面交点为任一所述预设图像采样点时，获取在所述采样面交点处对所述目标场景进行采集得到的预设采样图像。
S540.根据所述对应像素点的坐标信息，在所述采样面交点对应的预设采样图像中查找所述对应像素点。
S550.基于所述对应像素点的像素值得到所述目标像素点的颜色。
当采样面交点为预设图像采样点时，说明在该点处有与其对应的预设采样图像，即目标采样图像，而不需要去重新构建，根据上述计算得到的对应像素点的坐标信息在目标采样图像中找到对应像素点，然后获取对应像素点的像素值，该对应像素点的像素值即为相应目标像素点的像素值，从而确定了目标像素点的颜色。
当采样面交点为预设图像采样点时，能够直接在相应预设采样图像中进行目标像素点的快速查找，从而提高了目标像素点颜色确定的效率和准确率。
S560.当所述投影信息为空值时，确定所述目标像素点的颜色为透明。
对于上述方程(2)无解的情况，即射线与预设投影面没有交点，此时确定目标像素点的颜色为透明。另外，当预设采样面的R较小，目标观察点又比较远时，目标像素点对应的射线与预设采样面很难有交点，这可能对应一种情况：目标场景显示的细节较小，很难被采集到。
上述步骤S530～步骤S550中涉及的是采样面交点为预设图像采样点时，相应目标像素点像素值的确定方法；当采样面交点不为预设图像采样点时，请参阅图6，其示出了一种目标像素点的像素值确定方法，该方法可包括：
S610.当所述采样面交点不为预设图像采样点时，从所述若干预设图像采样点中确定出与所述采样面交点满足预设条件的多个关联采样点；所述多个关联采样点与所述采样面交点的距离均小于等于预设值。
对于采样面交点的坐标信息，以及每个预设图像采样点的坐标信息均是已知的，从而可分别计算出每个预设图像采样点与采样面交点的距离。
这里的预设值可以是预先设置的固定值，在计算出每个预设图像采样点与采样面交点的距离后，直接筛选出与采样面交点的距离小于等于预设值的预设图像采样点作为关联采样点；另外也可以预先确定关联采样点的数量N，具体可确定与采样面交点距离最小的N个预设图像采样点为关联采样点，此时这N个预设图像采样点中与采样面交点的最大距离即可被确定为预设值。
这里的多个关联采样点可基于预设的规则进行确定，这里以关联采样点为三个进行说明；例如可以是通过计算确定预设采样面上与采样面交点Q点距离最近的三个预设图像采样点，也可以是预设采样面上包围Q点的最小三角形，这里的最小三角形可以为面积最小的三角形，其中最小三角形的三个顶点均为预设图像采样点；对于关联采样点的确定方法也可以通过其他方式来实现，本公开实施例不做具体限定。
S620.获取在每个所述关联采样点处，对所述目标场景进行图像采集得到的预设采样图像。
S630.基于与每个所述关联采样点对应的预设采样图像，计算与每个所述关联采样点对应的转移张量。
S640.根据每个所述关联采样点对应的转移张量，在每个所述关联采样点对应的预设采样图像中确定与所述对应像素点对应的关联像素点，以及所述关联像素点的像素值。
S650.对多个关联像素点的像素值进行加权求和，得到所述目标像素点的像素值。
在采样面交点不为预设图像采样点时，联合多个关联像素点的像素值，得到目标像素点的像素值，由于这多个关联像素点与采样面交点的距离相对接近，基于距离相近的像素点的像素值相接近，不会产生突变的原理，能够根据目标像素点周围相近的关联像素点的像素值计算目标像素点的像素值，另外基于多个关联像素点的像素值确定目标像素点的像素值，能够避免只根据单个关联像素点的像素值确定目标像素点的像素值带来的偶然性，从而能够提高目标像素点像素值确定的准确性。
请参阅图7，其示出了一种转移张量计算方法，该方法可包括：
S710.遍历每个关联采样点。
S720.对于当前关联采样点，在所述当前关联采样点对应的预设采样图像中确定参照像素点；所述参照像素点为所述当前关联采样点对应的预设采样图像中的任一像素点。
S730.在非当前关联采样点对应的预设采样图像中确定与所述参照像素点对应的匹配像素点。
S740.根据所述参照像素点以及所述匹配像素点，计算所述当前关联采样点对应的预设采样图像中的像素点与所述非当前关联采样点对应的预设采样图像中的像素点的运动向量。
S750.基于所述多个关联采样点的坐标信息以及所述运动向量，计算所述当前关联采样点的转移张量。
在预设采样面上找到距离Q点最近的三个预设图像采样点P[0]、P[1]和P[2]，这里的点的表示形式具体可通过经度和纬度的二维向量即可确定。对于任意一个采样点P[i]，确定采样点P[i]所对应的预设采样图像中的参照像素点，这里的参照像素点为采样点P[i]所对应的预设采样图像中的任一像素点，例如可以取图像的顶点，也可以取图像中的特征点，本公开实施例中不做具体限定；根据当前图像中的参照像素点与另一图像中的匹配像素点，即可得到参照像素点与匹配像素点的相对移动值，进而得到相应的运动向量。
转移张量能够标识在不同预设图像采样点对同一目标场景所采集的图像的变化情况，各预设采样图像中的相关像素点之间的运动向量可直接通过参照像素点和匹配像素点来确定，从而通过各预设采样图像中的相关像素点之间的运动向量来计算转移张量，提高了转移张量计算的简便性。
请参阅图8，其示出了一种匹配像素点确定方法，该方法可包括：
S810.在所述当前关联采样点对应的预设采样图像中，确定所述参照像素点的邻域图像内容。
S820.在非当前关联采样点对应的预设采样图像中，确定与所述邻域图像内容的相似度大于预设阈值的像素点为所述匹配像素点。
具体地，对于三个预设图像采样点P[0]、P[1]和P[2]，对任意一个预设图像采样点P[i]，通过光流跟踪，分别计算P[i]对应的预设采样图像上(x’,y’)点对应于P[(i+1)％3]、P[(i+2)％3]上的运动向量，记作m[i,1]、m[i,2]，从而对于预设图像采样点P[i]对应的转移张量M[i]：
其中，M[i]为2*2的矩阵，其中含有4个未知数；P[i]为坐标信息，其中包含经度和纬度两个维度的信息；m[i,1]是一个二维向量，表示光流跟踪时，参照像素点在P[i]对应的预设采样图像中的邻域(局部特征)运动到P[(i+1)％3]对应的预设图像中的运动量，也就是说，P[i]对应的预设采样图像中的参照像素点(假设位置为(a，b))附近取一个邻域(小方块图)，在P[(i+1)％3]对应的预设图像中内容与之最接近的位置是(c，d)，那么m[i,1]＝(c-a，d-b)。
具体对于参照像素点的选取，可以是图像中具有代表性的特征像素点或者易于与其周围像素点相区分的像素点；例如，在两个不同采样点对同一片叶子进行图像采集，得到图像1和图像2，在图1中确定参照像素点，由于参照像素点可以是任一像素点，可选取叶尖所在的像素点为参照像素点；那么在图2中找到叶尖所在的像素点，从而可将图2中叶尖所在的像素点作为图1中参照像素点对应的匹配像素点，即在不同采样点对同一片叶子进行图像采集，得到的两幅图像中叶尖在不同的像素位置上。
这里在确定匹配像素点时引入了邻域图像的概念，从而使得基于参照像素点的邻域图像内容确定相应的匹配像素点，能够增大像素点的匹配范围和匹配内容，避免仅仅根据单个匹配像素点来确定相应匹配像素点的偶然性，从而提高匹配像素点确定的准确性。
根据步骤S640：根据每个所述关联采样点对应的转移张量，在每个所述关联采样点对应的预设采样图像中确定与所述对应像素点对应的关联像素点，以及所述关联像素点的像素值；在得到每个关联采样点对应的转移张量之后，对于关联采样点P[i]对应的预设采样图像中与对应像素点对应的关联像素点的坐标信息可表示为：
(x',y')-M[i]*(Q-P[i]) (5)
其中，式(5)中的坐标信息可能并非为整数，可通过图像插值的方式，比如线性插值，得到该关联像素点的坐标信息，并可将该关联像素点的像素值记为c[i]。
请参阅图9，其示出了一种通过加权求和计算像素值的方法，该方法可包括：
S910.基于所述多个关联采样点与所述采样面交点的距离，确定与每个关联采样点对应的权重；所述每个关联采样点对应的权重，与所述每个关联采样点到所述采样面交点的距离呈负相关。
S920.基于与每个关联采样点对应的权重对多个关联像素点的像素值进行加权求和，得到所述目标像素点的像素值。
对于三个关联采样点对应的像素值可记为c[0]、c[1]和c[2]，相应的权重为w[0]、w[1]和w[2]，权重与Q和P[0]，P[1]，P[2]的距离有关，距离越近权重越大。例如，可以用线性插值：
计算得到w[0]、w[1]和w[2]之后，通过线性插值得到：
c＝c[0]*w[0]+c[1]*w[1]+c[2]*w[2] (7)
将该像素值确定为目标像素的像素值，从而确定目标像素的颜色。
对于上述的处理过程可以通过预处理缓存大部分的计算过程。例如，上面计算转移张量的过程由于要引入光流跟踪计算，可能速度较慢，可以引入前处理过程，将每个图像上固定选择一些较密集的采样点，逐点计算转移矩阵，然后实施运行的时候，可以采用相邻采样点的转移矩阵插值得到任一点的转移矩阵。
通过距离上的远近确定相应权重值的大小，与采样面交点距离较近的关联采样点对采样面交点的影响较大，与采样面交点距离较远的关联采样点对采样面交点的影响较小，使得距离近的有较大权重值，距离远的有较小权重值，从而使得权重值得确定更加合理，进而提高权重值确定的准确性。
S250.根据所述待构建图像中每个目标像素点的颜色，构建与所述目标观察点对应的目标图像。
下面以一示例说明本公开的具体实施过程，模型的输入可以是一台拍照设备，或者是离线真实感渲染绘制的图像，不论什么方法，得到在某个特定的光照下，某个特定的场景或物体从一些特定角度的拍摄的图像。以上，特定光照可以是恒定的光照，也可以是变化的几组光照，但每组得到的图像需要对应于唯一的光照条件；特定角度可以是以一个恒定的距离观察场景得到的若干摄像头姿态和位置，也可以是按一定规律变化距离的，称过所有这些采样角度的虚拟的面为采样面，当等距拍摄的时候，采样面就是球形。这些特定的角度可以是均匀间隔一定角度选取的，也可以是任意的，或者是符合一些特定的规律的；得到的图像可以是经过绿幕抠图的(具有透明度通道)，也可以是未经绿幕抠图的，这根据后续叠加的业务需求确定。请参阅图10，图中目标观察点在右上角的位置，图像采集设备具体可以为摄像机，为了构建对于在目标观察点处观察目标场景得到的图像，对于待构建图像中的每个像素点对应的光线分别进行投影，当投影点在采样面上时，例如Q点，基于相应的预设采样图像计算像素点的像素值；当投影点不在采样面上时，例如图中右下角的与采样面没有交点的射线，确定相应的像素点颜色为透明。
本公开利用距离场景中心相等距离(或等效地符合某些规律)采集的图像进行数据重建，求解并恢复出任意位置、任意角度的视图。这里输入的图像是摄像机距离场景中心相同距离(或等效地符合某些规律)、稀疏点位采集的图像(包括图像内容，以及这些姿态(可以用经度和纬度描述))，输出是在任意给定的方向、位置观察场景，得到的真实感渲染图像；在重现的过程中，对于任意实时给定的摄像机位置和姿态，对输入的图像进行变换和插值，合成合理的图像，使得可以通过记录有限数量的角度采样照片，附加一些信息和加速结构，实现实时绘制的过程。
本公开中，当需要构建在目标观察点对目标场景进行观察的图像时，对于待构建图像中的每个目标像素点，分别确定相应的目标光线；通过与目标观察点对应的目标投影矩阵，对目标光线进行投影，得到目标光线在预设采样面上的投影信息，所述预设采样面包括对所述目标场景进行图像采集的若干预设图像采样点；基于投影信息以及若干预设图像采样点，确定目标像素点的颜色；从而根据待构建图像中每个目标像素点的颜色，构建与目标观察点对应的目标图像，该目标图像即可被作为在目标观察点对目标场景进行观察时所得到的图像。本公开能够基于预先采集的原始图像信息进行图像的构建，保留了原始图像的大量细节，使得构建的图像具备真实性；同时，通过有限的图像采集数据，实时绘制在任意位置及角度对目标场景进行观察所获得的图像，节约了采集数据的存储空间，增强了图像重建的实用性。
请参阅图11，其示出了一种图像构建装置，包括：
矩阵获取单元1110，被配置为执行获取在目标观察点对目标场景进行图像采集时的目标投影矩阵；
目标光线确定单元1120，被配置为执行对于待构建图像中的每个目标像素点，确定与所述目标像素点对应的目标光线；所述待构建图像用于表征在所述目标观察点对所述目标场景进行图像采集得到的图像信息，所述目标光线从所述目标像素点发出，垂直于所述待构建图像所在的平面；
目标光线投影单元1130，被配置为执行采用所述目标投影矩阵对所述目标光线进行投影，得到所述目标光线在预设采样面上的投影信息；其中，所述预设采样面包括对所述目标场景进行图像采集的若干预设图像采样点；
颜色确定单元1140，被配置为执行基于所述投影信息以及所述若干预设图像采样点，确定所述目标像素点的颜色；
图像构建单元1150，被配置为执行根据所述待构建图像中每个目标像素点的颜色，构建与所述目标观察点对应的目标图像。
在一示例性实施例中，所述目标光线投影单元1130包括：
形式转换单元，被配置为执行基于所述目标投影矩阵，将所述目标光线在屏幕坐标系中位置信息的表示形式转化为全局空间坐标系中位置信息的表示形式；
第一确定单元，被配置为执行当根据所述目标光线在全局空间坐标系中位置信息的表示形式，确定所述目标光线与所述预设采样面存在交点时，确定所述目标光线与所述预设采样面的交点为采样面交点，以及确定所述投影信息为所述采样面交点的坐标信息；
第二确定单元，被配置为执行当根据所述目标光线在全局空间坐标系中位置信息的表示形式，确定所述目标光线与所述预设采样面上不存在交点时，确定所述投影信息为空值。
在一示例性实施例中，所述颜色确定单元1140包括：
坐标信息计算单元，被配置为执行当所述投影信息为所述采样面交点的坐标信息时，根据所述目标像素点的坐标信息，计算所述目标像素点的对应像素点的坐标信息；所述对应像素点为目标采样图像中的一个像素点，所述目标采样图像用于表征在所述采样面交点处对所述目标场景进行图像采集得到的图像信息；
第一获取单元，被配置为执行当根据所述采样面交点的坐标信息确定所述采样面交点为任一所述预设图像采样点时，获取在所述采样面交点处对所述目标场景进行采集得到的预设采样图像；
像素点查找单元，被配置为执行根据所述对应像素点的坐标信息，在所述采样面交点对应的预设采样图像中查找所述对应像素点；
第三确定单元，被配置为执行基于所述对应像素点的像素值得到所述目标像素点的颜色。
在一示例性实施例中，所述装置还包括：
关联采样点确定单元，被配置为执行当所述采样面交点不为预设图像采样点时，从所述若干预设图像采样点中确定出与所述采样面交点对应的多个关联采样点；所述多个关联采样点与所述采样面交点的距离均小于等于预设值；
第二获取单元，被配置为执行获取在每个所述关联采样点处，对所述目标场景进行图像采集得到的预设采样图像；
转移张量计算单元，被配置为执行基于与每个所述关联采样点对应的预设采样图像，计算与每个所述关联采样点对应的转移张量；
第四确定单元，被配置为执行根据每个所述关联采样点对应的转移张量，在每个所述关联采样点对应的预设采样图像中确定与所述对应像素点对应的关联像素点，以及所述关联像素点的像素值；
像素值加权单元，被配置为执行对多个关联像素点的像素值进行加权求和，得到所述目标像素点的像素值。
在一示例性实施例中，所述转移张量计算单元包括：
关联采样点遍历单元，被配置为执行遍历每个关联采样点；
参照像素点确定单元，被配置为执行对于当前关联采样点，在所述当前关联采样点对应的预设采样图像中确定参照像素点；所述参照像素点为所述当前关联采样点对应的预设采样图像中的任一像素点；
匹配像素点确定单元，被配置为执行在非当前关联采样点对应的预设采样图像中确定与所述参照像素点对应的匹配像素点；
运动向量计算单元，被配置为执行根据所述参照像素点以及所述匹配像素点，计算所述当前关联采样点对应的预设采样图像中的像素点与所述非当前关联采样点对应的预设采样图像中的像素点的运动向量；
第一计算单元，被配置为执行基于所述多个关联采样点的坐标信息以及所述运动向量，计算所述当前关联采样点的转移张量。
在一示例性实施例中，所述匹配像素点确定单元包括：
邻域确定单元，被配置为执行在所述当前关联采样点对应的预设采样图像中，确定所述参照像素点的邻域图像内容；
第五确定单元，被配置为执行在非当前关联采样点对应的预设采样图像中，确定与所述邻域图像内容的相似度大于预设阈值的像素点为所述匹配像素点。
在一示例性实施例中，所述像素值加权单元包括：
权重确定单元，被配置为执行基于所述多个关联采样点与所述采样面交点的距离，确定与每个关联采样点对应的权重；所述每个关联采样点对应的权重，与所述每个关联采样点到所述采样面交点的距离呈负相关；
第一加权单元，被配置为执行基于与每个关联采样点对应的权重对多个关联像素点的像素值进行加权求和，得到所述目标像素点的像素值。
在一示例性实施例中，所述颜色确定单元1140包括：
第六确定单元，被配置为执行当所述投影信息为空值时，确定所述目标像素点的颜色为透明。
在一示例性实施例中，所述装置还包括：
第七确定单元，被配置为执行确定所述目标观察点的坐标信息，以及所述目标场景的中心坐标信息；
采集角度确定单元，被配置为执行基于所述目标观察点的坐标信息和所述目标场景的中心坐标信息，确定在所述目标观察点对所述目标场景进行图像采集的图像采集角度；
目标投影矩阵生成单元，被配置为执行根据所述目标观察点的坐标信息和所述图像采集角度生成所述目标投影矩阵。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，可选地，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等；当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如本实施例所述的任一方法。
在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，计算机设备的至少一个处理器从所述可读存储介质读取并执行所述计算机程序，使得设备执行本实施例的任一方法。
本实施例还提供了一种电子设备，其结构图请参见图12，该设备1200可因配置或性能不同而产生比较大的差异，可以包括一个或一个以***处理器(centralprocessing units，CPU)1222(例如，一个或一个以上处理器)和存储器1232，一个或一个以上存储应用程序1242或数据1244的存储媒体1230(例如一个或一个以上海量存储设备)。其中，存储器1232和存储媒体1230可以是短暂存储或持久存储。存储在存储媒体1230的程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对设备中的一系列指令操作。更进一步地，中央处理器1222可以设置为与存储媒体1230通信，在设备1200上执行存储媒体1230中的一系列指令操作。设备1200还可以包括一个或一个以上电源1226，一个或一个以上有线或无线网络接口1250，一个或一个以上输入输出接口1258，和/或，一个或一个以上操作***1241，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。本实施例上述的任一方法均可基于图12所示的电子设备进行实施。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (18)
1.一种图像构建方法，其特征在于，包括：
获取在目标观察点对目标场景进行图像采集时的目标投影矩阵；
对于待构建图像中的每个目标像素点，确定与所述目标像素点对应的目标光线；所述待构建图像用于表征在所述目标观察点对所述目标场景进行图像采集得到的图像信息，所述目标光线从所述目标像素点发出，垂直于所述待构建图像所在的平面；
采用所述目标投影矩阵对所述目标光线进行投影，得到所述目标光线在预设采样面上的投影信息；其中，所述预设采样面包括对所述目标场景进行图像采集的若干预设图像采样点；所述采用所述目标投影矩阵对所述目标光线进行投影，得到所述目标光线在预设采样面上的投影信息包括：
基于所述目标投影矩阵，将所述目标光线在屏幕坐标系中位置信息的表示形式转化为全局空间坐标系中位置信息的表示形式；
当根据所述目标光线在全局空间坐标系中位置信息的表示形式，确定所述目标光线与所述预设采样面存在交点时，确定所述目标光线与所述预设采样面的交点为采样面交点，以及确定所述投影信息为所述采样面交点的坐标信息；
基于所述投影信息以及所述若干预设图像采样点，确定所述目标像素点的颜色；所述基于所述投影信息以及所述若干预设图像采样点，得到所述目标像素点的颜色包括：
当所述投影信息为所述采样面交点的坐标信息时，根据所述目标像素点的坐标信息，计算所述目标像素点的对应像素点的坐标信息；所述对应像素点为目标采样图像中的一个像素点，所述目标采样图像用于表征在所述采样面交点处对所述目标场景进行图像采集得到的图像信息；
当根据所述采样面交点的坐标信息确定所述采样面交点为任一所述预设图像采样点时，获取在所述采样面交点处对所述目标场景进行采集得到的预设采样图像；
根据所述对应像素点的坐标信息，在所述采样面交点对应的预设采样图像中查找所述对应像素点；
基于所述对应像素点的像素值得到所述目标像素点的颜色；
根据所述待构建图像中每个目标像素点的颜色，构建与所述目标观察点对应的目标图像。
2.根据权利要求1所述的一种图像构建方法，其特征在于，所述方法还包括：
当根据所述目标光线在全局空间坐标系中位置信息的表示形式，确定所述目标光线与所述预设采样面上不存在交点时，确定所述投影信息为空值。
3.根据权利要求2所述的一种图像构建方法，其特征在于，所述方法还包括：
当所述采样面交点不为预设图像采样点时，从所述若干预设图像采样点中确定出与所述采样面交点对应的多个关联采样点；所述多个关联采样点与所述采样面交点的距离均小于等于预设值；
获取在每个所述关联采样点处，对所述目标场景进行图像采集得到的预设采样图像；
基于与每个所述关联采样点对应的预设采样图像，计算与每个所述关联采样点对应的转移张量；
根据每个所述关联采样点对应的转移张量，在每个所述关联采样点对应的预设采样图像中确定与所述对应像素点对应的关联像素点，以及所述关联像素点的像素值；
对多个关联像素点的像素值进行加权求和，得到所述目标像素点的像素值。
4.根据权利要求3所述的一种图像构建方法，其特征在于，所述基于与每个所述关联采样点对应的预设采样图像，计算与每个所述关联采样点对应的转移张量包括：
遍历每个关联采样点；
对于当前关联采样点，在所述当前关联采样点对应的预设采样图像中确定参照像素点；所述参照像素点为所述当前关联采样点对应的预设采样图像中的任一像素点；
在非当前关联采样点对应的预设采样图像中确定与所述参照像素点对应的匹配像素点；
根据所述参照像素点以及所述匹配像素点，计算所述当前关联采样点对应的预设采样图像中的像素点与所述非当前关联采样点对应的预设采样图像中的像素点的运动向量；
基于所述多个关联采样点的坐标信息以及所述运动向量，计算所述当前关联采样点的转移张量。
5.根据权利要求4所述的一种图像构建方法，其特征在于，所述在非当前关联采样点对应的预设采样图像中确定与所述参照像素点对应的匹配像素点包括：
在所述当前关联采样点对应的预设采样图像中，确定所述参照像素点的邻域图像内容；
在非当前关联采样点对应的预设采样图像中，确定与所述邻域图像内容的相似度大于预设阈值的像素点为所述匹配像素点。
6.根据权利要求3所述的一种图像构建方法，其特征在于，所述对多个关联像素点的像素值进行加权求和，得到所述目标像素点的像素值包括：
基于所述多个关联采样点与所述采样面交点的距离，确定与每个关联采样点对应的权重；所述每个关联采样点对应的权重，与所述每个关联采样点到所述采样面交点的距离呈负相关；
基于与每个关联采样点对应的权重对多个关联像素点的像素值进行加权求和，得到所述目标像素点的像素值。
7.根据权利要求2所述的一种图像构建方法，其特征在于，所述基于所述投影信息以及所述若干预设图像采样点，得到所述目标像素点的颜色包括：
当所述投影信息为空值时，确定所述目标像素点的颜色为透明。
8.根据权利要求1所述的一种图像构建方法，其特征在于，所述方法还包括：
确定所述目标观察点的坐标信息，以及所述目标场景的中心坐标信息；
基于所述目标观察点的坐标信息和所述目标场景的中心坐标信息，确定在所述目标观察点对所述目标场景进行图像采集的图像采集角度；
根据所述目标观察点的坐标信息和所述图像采集角度生成所述目标投影矩阵。
9.一种图像构建装置，其特征在于，包括：
矩阵获取单元，被配置为执行获取在目标观察点对目标场景进行图像采集时的目标投影矩阵；
目标光线确定单元，被配置为执行对于待构建图像中的每个目标像素点，确定与所述目标像素点对应的目标光线；所述待构建图像用于表征在所述目标观察点对所述目标场景进行图像采集得到的图像信息，所述目标光线从所述目标像素点发出，垂直于所述待构建图像所在的平面；
目标光线投影单元，被配置为执行采用所述目标投影矩阵对所述目标光线进行投影，得到所述目标光线在预设采样面上的投影信息；其中，所述预设采样面包括对所述目标场景进行图像采集的若干预设图像采样点；所述目标光线投影单元包括：
形式转换单元，被配置为执行基于所述目标投影矩阵，将所述目标光线在屏幕坐标系中位置信息的表示形式转化为全局空间坐标系中位置信息的表示形式；
第一确定单元，被配置为执行当根据所述目标光线在全局空间坐标系中位置信息的表示形式，确定所述目标光线与所述预设采样面存在交点时，确定所述目标光线与所述预设采样面的交点为采样面交点，以及确定所述投影信息为所述采样面交点的坐标信息；
颜色确定单元，被配置为执行基于所述投影信息以及所述若干预设图像采样点，确定所述目标像素点的颜色；所述颜色确定单元包括：
坐标信息计算单元，被配置为执行当所述投影信息为所述采样面交点的坐标信息时，根据所述目标像素点的坐标信息，计算所述目标像素点的对应像素点的坐标信息；所述对应像素点为目标采样图像中的一个像素点，所述目标采样图像用于表征在所述采样面交点处对所述目标场景进行图像采集得到的图像信息；
第一获取单元，被配置为执行当根据所述采样面交点的坐标信息确定所述采样面交点为任一所述预设图像采样点时，获取在所述采样面交点处对所述目标场景进行采集得到的预设采样图像；
像素点查找单元，被配置为执行根据所述对应像素点的坐标信息，在所述采样面交点对应的预设采样图像中查找所述对应像素点；
第三确定单元，被配置为执行基于所述对应像素点的像素值得到所述目标像素点的颜色；
图像构建单元，被配置为执行根据所述待构建图像中每个目标像素点的颜色，构建与所述目标观察点对应的目标图像。
10.根据权利要求9所述的一种图像构建装置，其特征在于，所述目标光线投影单元还包括：
第二确定单元，被配置为执行当根据所述目标光线在全局空间坐标系中位置信息的表示形式，确定所述目标光线与所述预设采样面上不存在交点时，确定所述投影信息为空值。
11.根据权利要求10所述的一种图像构建装置，其特征在于，所述装置还包括：
关联采样点确定单元，被配置为执行当所述采样面交点不为预设图像采样点时，从所述若干预设图像采样点中确定出与所述采样面交点对应的多个关联采样点；所述多个关联采样点与所述采样面交点的距离均小于等于预设值；
第二获取单元，被配置为执行获取在每个所述关联采样点处，对所述目标场景进行图像采集得到的预设采样图像；
转移张量计算单元，被配置为执行基于与每个所述关联采样点对应的预设采样图像，计算与每个所述关联采样点对应的转移张量；
第四确定单元，被配置为执行根据每个所述关联采样点对应的转移张量，在每个所述关联采样点对应的预设采样图像中确定与所述对应像素点对应的关联像素点，以及所述关联像素点的像素值；
像素值加权单元，被配置为执行对多个关联像素点的像素值进行加权求和，得到所述目标像素点的像素值。
12.根据权利要求11所述的一种图像构建装置，其特征在于，所述转移张量计算单元包括：
关联采样点遍历单元，被配置为执行遍历每个关联采样点；
参照像素点确定单元，被配置为执行对于当前关联采样点，在所述当前关联采样点对应的预设采样图像中确定参照像素点；所述参照像素点为所述当前关联采样点对应的预设采样图像中的任一像素点；
匹配像素点确定单元，被配置为执行在非当前关联采样点对应的预设采样图像中确定与所述参照像素点对应的匹配像素点；
运动向量计算单元，被配置为执行根据所述参照像素点以及所述匹配像素点，计算所述当前关联采样点对应的预设采样图像中的像素点与所述非当前关联采样点对应的预设采样图像中的像素点的运动向量；
第一计算单元，被配置为执行基于所述多个关联采样点的坐标信息以及所述运动向量，计算所述当前关联采样点的转移张量。
13.根据权利要求12所述的一种图像构建装置，其特征在于，所述匹配像素点确定单元包括：
邻域确定单元，被配置为执行在所述当前关联采样点对应的预设采样图像中，确定所述参照像素点的邻域图像内容；
第五确定单元，被配置为执行在非当前关联采样点对应的预设采样图像中，确定与所述邻域图像内容的相似度大于预设阈值的像素点为所述匹配像素点。
14.根据权利要求11所述的一种图像构建装置，其特征在于，所述像素值加权单元包括：
权重确定单元，被配置为执行基于所述多个关联采样点与所述采样面交点的距离，确定与每个关联采样点对应的权重；所述每个关联采样点对应的权重，与所述每个关联采样点到所述采样面交点的距离呈负相关；
第一加权单元，被配置为执行基于与每个关联采样点对应的权重对多个关联像素点的像素值进行加权求和，得到所述目标像素点的像素值。
15.根据权利要求10所述的一种图像构建装置，其特征在于，所述颜色确定单元包括：
第六确定单元，被配置为执行当所述投影信息为空值时，确定所述目标像素点的颜色为透明。
16.根据权利要求9所述的一种图像构建装置，其特征在于，所述装置还包括：
第七确定单元，被配置为执行确定所述目标观察点的坐标信息，以及所述目标场景的中心坐标信息；
采集角度确定单元，被配置为执行基于所述目标观察点的坐标信息和所述目标场景的中心坐标信息，确定在所述目标观察点对所述目标场景进行图像采集的图像采集角度；
目标投影矩阵生成单元，被配置为执行根据所述目标观察点的坐标信息和所述图像采集角度生成所述目标投影矩阵。
17.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至8中任一项所述的图像构建方法。
18.一种计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至8中任一项所述的图像构建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110529506.1A CN113421313B (zh) | 2021-05-14 | 2021-05-14 | 一种图像构建方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110529506.1A CN113421313B (zh) | 2021-05-14 | 2021-05-14 | 一种图像构建方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113421313A CN113421313A (zh) | 2021-09-21 |
| CN113421313B true CN113421313B (zh) | 2023-07-25 |
Family
ID=77712335
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110529506.1A Active CN113421313B (zh) | 2021-05-14 | 2021-05-14 | 一种图像构建方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113421313B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104202547A (zh) * | 2014-08-27 | 2014-12-10 | 广东威创视讯科技股份有限公司 | 投影画面中提取目标物体的方法、投影互动方法及其*** |
| CN111369655A (zh) * | 2020-03-02 | 2020-07-03 | 网易（杭州）网络有限公司 | 渲染方法、装置和终端设备 |
| CN112200902A (zh) * | 2020-09-30 | 2021-01-08 | 北京达佳互联信息技术有限公司 | 图像渲染方法、装置、电子设备及存储介质 |
| CN112509127A (zh) * | 2020-12-18 | 2021-03-16 | 华南理工大学 | 一种高精度仿真点云模型的生成方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102110308A (zh) * | 2009-12-24 | 2011-06-29 | 鸿富锦精密工业（深圳）有限公司 | 三维实心图形显示***及方法 |
-
2021
- 2021-05-14 CN CN202110529506.1A patent/CN113421313B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104202547A (zh) * | 2014-08-27 | 2014-12-10 | 广东威创视讯科技股份有限公司 | 投影画面中提取目标物体的方法、投影互动方法及其*** |
| CN111369655A (zh) * | 2020-03-02 | 2020-07-03 | 网易（杭州）网络有限公司 | 渲染方法、装置和终端设备 |
| CN112200902A (zh) * | 2020-09-30 | 2021-01-08 | 北京达佳互联信息技术有限公司 | 图像渲染方法、装置、电子设备及存储介质 |
| CN112509127A (zh) * | 2020-12-18 | 2021-03-16 | 华南理工大学 | 一种高精度仿真点云模型的生成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113421313A (zh) | 2021-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210110599A1 (en) | Depth camera-based three-dimensional reconstruction method and apparatus, device, and storage medium | |
| Zhuang et al. | Acdnet: Adaptively combined dilated convolution for monocular panorama depth estimation | |
| EP4365841A1 (en) | Object pose detection method and apparatus, computer device, and storage medium | |
| CN113220251B (zh) | 物体显示方法、装置、电子设备及存储介质 | |
| CN113313832B (zh) | 三维模型的语义生成方法、装置、存储介质与电子设备 | |
| CN111161398B (zh) | 一种图像生成方法、装置、设备及存储介质 | |
| CN113989376B (zh) | 室内深度信息的获取方法、装置和可读存储介质 | |
| Kim et al. | Interactive 3D building modeling method using panoramic image sequences and digital map | |
| CN116246023A (zh) | 三维模型重建方法、装置、设备、存储介质及程序产品 | |
| CN114627244A (zh) | 三维重建方法及装置、电子设备、计算机可读介质 | |
| WO2024060952A1 (zh) | 用于渲染虚拟对象的方法、装置、设备和介质 | |
| WO2023093085A1 (zh) | 重建物体表面的方法、装置、计算机存储介质和计算机程序产品 | |
| CN116563493A (zh) | 基于三维重建的模型训练方法、三维重建方法及装置 | |
| CN113284237A (zh) | 一种三维重建方法、***、电子设备及存储介质 | |
| Cui et al. | Fusing surveillance videos and three‐dimensional scene: A mixed reality system | |
| CN113421313B (zh) | 一种图像构建方法、装置、电子设备及存储介质 | |
| CN117132649A (zh) | 人工智能融合北斗卫星导航的船舶视频定位方法及装置 | |
| CN116503474A (zh) | 位姿获取方法、装置、电子设备、存储介质及程序产品 | |
| CN107248138B (zh) | 虚拟现实环境中的人类视觉显著性预测方法 | |
| CN112598732B (zh) | 目标设备定位方法、地图构建方法及装置、介质、设备 | |
| CN111652831B (zh) | 对象融合方法、装置、计算机可读存储介质及电子设备 | |
| CN115409949A (zh) | 模型训练方法、视角图像生成方法、装置、设备及介质 | |
| CN114913287A (zh) | 一种三维人体模型重建方法及*** | |
| CN113592990A (zh) | 针对二维图像的三维效果生成方法、装置、设备及介质 | |
| JPWO2020072972A5 (zh) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |