CN107993276A - 一种全景图像的生成方法及装置 - Google Patents
一种全景图像的生成方法及装置 Download PDFInfo
- Publication number
- CN107993276A CN107993276A CN201610935069.2A CN201610935069A CN107993276A CN 107993276 A CN107993276 A CN 107993276A CN 201610935069 A CN201610935069 A CN 201610935069A CN 107993276 A CN107993276 A CN 107993276A
- Authority
- CN
- China
- Prior art keywords
- view
- cuboid
- local space
- original
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000000007 visual effect Effects 0.000 claims abstract description 18
- 238000002156 mixing Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 10
- 238000012545 processing Methods 0.000 description 18
- 238000004422 calculation algorithm Methods 0.000 description 16
- 230000007704 transition Effects 0.000 description 16
- 238000003860 storage Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000001788 irregular Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 241000251468 Actinopterygii Species 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000004040 coloring Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000002910 structure generation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请公开了一种全景图像的生成方法及装置。根据整体空间中各局部空间的原始二维图像和各局部空间分别对应的预设长方体模型，确定各局部空间的长方体三维图像，进而由确定出的各长方体三维图像生成整体空间的全景三维图像。由于整体空间全景三维图像是根据各局部空间的长方体三维图像生成的，因而可以以三维的视角直观浏览该整体空间，实现三维实景效果。
Description
技术领域
本申请涉及图像处理领域，尤其涉及一种全景图像的生成方法及装置。
背景技术
全景图像，又称三维实景图像，利用摄像头从不同角度对某整体空间进行拍摄，将采集到的图像进行拼接，得到的图像便是该整体空间的全景图像。全景图像的最大特点是，观赏者可以通过一幅图像方便地浏览该整体空间的“全景”。
现有的全景图像的生成方法主要有以下三种。其一，将多个普通摄像头固定在该整体空间的中心，各普通摄像头从不同角度对该整体空间进行拍摄，将得到的图像通过图像拼接算法拼接成一个球体图像，观赏者被设置于球心，无需切换场景，仅通过转动视角实现对该整体空间的全景的浏览，该球体图像就是该整体空间的全景图像；其二，利用单个普通摄像头或者航拍器，在该整体空间的中心分别从不同角度对该整体空间进行拍摄，将得到的图像通过图像拼接算法进行拼接，得到如第一种方法所述的球体图像；其三，利用单个全景摄像头的超大视场角，对该整体空间进行拍摄，然后通过虚拟云台控制(Pan/Tilt/Zoom，PTZ)矫正技术对得到的图像进行矫正，获得对应的矩形展开图，将该矩形展开图作为该整体空间的全景展开图(全景图像)，观赏者通过设定PTZ参数，浏览全景展开图上的某个区域。
针对视野开阔的整体空间，通过以上三种方法生成的全景图像可以在覆盖该空间的“全景”，但是，针对结构不规则的整体空间(如墙面较多，拐角较多的居室)，通过现有的全景图像的生成方法生成的全景图像并不能覆盖该整体空间的“全景”，没有三维实景效果，不能以三维的视角直观浏览该整体空间。具体地，一方面，就上述前两种方法而言，由于该整体空间的结构不规则，倘若通过固定在该整体空间中心的多个普通摄像头或位于该整体空间中心的单个普通摄像头从不同角度进行拍摄，则该整体空间的墙面后以及拐角另一侧的局部空间无法被摄像头的拍摄范围覆盖到，如此以来，基于拍摄到的图像拼接成的球体图像也就不能覆盖该整体空间的各局部空间，不能实现三维实景效果的目的，退一步讲，即使针对该整体空间的各局部空间分别生成多个球体图像，但球体图像之间是无法拼接的，观赏者想要浏览该整体空间的全景需要在多个球体间来回切换，而无法通过一幅图像浏览该整体空间的全景；另一方面，就上述第三种方法而言，由于只利用了单个全景摄像头，无法覆盖结构不规则的整体空间的各局部空间，得到的矩形展开图也并没有覆盖该整体空间的各局部空间，因此也就无法支持观赏者浏览该整体空间的全景，并且，由上述第三种方法得到的全景展开图实际上是一幅二维图像，，没有三维实景效果，不能以三维的视角直观浏览该整体空间，并不是真正意义上的全景图像。
可见，如何设计一种能够覆盖结构不规则的整体空间的各局部空间的全景图像的生成方法，是本领域急需解决的技术问题。
发明内容
本申请实施例提供一种全景图像的生成方法及装置，用于解决现有技术中针对结构不规则的整体空间，生成的全景图像不能覆盖该整体空间的各局部空间的问题。
本申请实施例提供的一种全景图像的生成方法，包括：
获取各全景摄像头分别采集的整体空间中各局部空间的原始二维图像；
针对每个局部空间，根据该局部空间的原始二维图像和该局部空间对应的预设长方体模型，确定该局部空间的长方体三维图像；
根据确定出的各局部空间的长方体三维图像，生成所述整体空间的全景三维图像。
可选地，根据该局部空间的原始二维图像和该局部空间对应的预设长方体模型，确定该局部空间的长方体三维图像，具体包括：根据该局部空间的原始二维图像上的各原始像素点，分别确定所述各原始像素点在该局部空间对应的预设长方体模型上投影得到的各投影像素点；根据确定出的各投影像素点，确定该局部空间的长方体三维图像。
可选地,根据该局部空间的原始二维图像上的各原始像素点，分别确定所述各原始像素点在该局部空间对应的预设长方体模型上投影得到的各投影像素点，具体包括：确定该局部空间对应的预设长方体模型的外接球面，所述外接球面的半径不大于所述全景摄像头的可视距离，该局部空间的原始二维图像位于该局部空间对应的预设长方体模型的正下方；针对该局部空间的原始二维图像上的每个原始像素点，在垂直于所述原始二维图像所在平面的方向上，确定该原始像素点在所述外接球面上的投影，作为球面像素点；确定所述外接球面的球心与该球面像素点的连线；将该连线与该局部空间对应的预设长方体模型的面的交点，作为该原始像素点在该局部空间对应的预设长方体模型上投影得到的投影像素点；将该原始像素点的像素值，作为该原始像素点对应的投影像素点的像素值。
可选地,根据确定出的各局部空间的长方体三维图像，生成所述整体空间的全景三维图像，具体包括：根据各局部空间分别对应的各预设长方体模型之间的相对位置，拼接各局部空间分别对应的长方体三维图像，以生成所述空间的全景三维图像。
可选地,根据各局部空间分别对应的各预设长方体模型之间的相对位置，拼接各局部空间分别对应的长方体三维图像，具体包括：根据各局部空间分别对应的各预设长方体模型之间的相对位置，放置各长方体三维图像；根据各相邻的长方体三维图像，确定各相邻的长方体三维图像之间的拼接区域；针对每个拼接区域，将落入该拼接区域的各长方体三维图像的混合像素点进行混合，以生成该拼接区域对应的长方体图像；根据各拼接区域对应的长方体图像，对各局部空间分别对应的长方体三维图像进行拼接。
可选地,根据各相邻的长方体三维图像，确定各相邻的长方体三维图像之间的拼接区域，具体包括：针对每一对相邻的长方体三维图像，确定该对长方体三维图像的重叠部分；将该对长方体三维图像的中心连线的中点，作为所述拼接区域的中心；根据所述拼接区域的中心以及所述重叠部分，将全部或部分的所述重叠部分作为所述拼接区域；将落入该拼接区域的各长方体三维图像的像素点进行混合，具体包括：将该对长方体三维图像在所述拼接区域重叠的混合像素点的像素值进行加权混合，以作为所述拼接区域的拼接像素点的像素值。本申请实施例提供的一种全景图像的生成装置，包括：
原始二维图像获取模块，用于获取各全景摄像头分别采集的整体空间中各局部空间的原始二维图像；
长方体三维图像确定模块，用于针对每个局部空间，根据该局部空间的原始二维图像和该局部空间对应的预设长方体模型，确定该局部空间的长方体三维图像；
全景三维图像生成模块，用于根据确定出的各局部空间的长方体三维图像，生成所述整体空间的全景三维图像。
可选地,所述长方体三维图像确定模块，具体用于根据该局部空间的原始二维图像上的各原始像素点，分别确定所述各原始像素点在该局部空间对应的预设长方体模型上投影得到的各投影像素点；根据确定出的各投影像素点，确定该局部空间的长方体三维图像。
可选地,所述长方体三维图像确定模块，具体用于确定该局部空间对应的预设长方体模型的外接球面，所述外接球面的半径不大于所述全景摄像头的可视距离，该局部空间的原始二维图像位于该局部空间对应的预设长方体模型的正下方；针对该局部空间的原始二维图像上的每个原始像素点，在垂直于所述原始二维图像所在平面的方向上，确定该原始像素点在所述外接球面上的投影，作为球面像素点；确定所述外接球面的球心与该球面像素点的连线；将该连线与该局部空间对应的预设长方体模型的面的交点，作为该原始像素点在该局部空间对应的预设长方体模型上投影得到的投影像素点；将该原始像素点的像素值，作为该原始像素点对应的投影像素点的像素值。
可选地,所述全景三维图像生成模块，具体用于根据各局部空间分别对应的各预设长方体模型之间的相对位置，拼接各局部空间分别对应的长方体三维图像，以生成所述空间的全景三维图像。
可选地,所述全景三维图像生成模块，具体用于根据各局部空间分别对应的各预设长方体模型之间的相对位置，放置各长方体三维图像；根据各相邻的长方体三维图像，确定各相邻的长方体三维图像之间的拼接区域；针对每个拼接区域，将落入该拼接区域的各长方体三维图像的混合像素点进行混合，以生成该拼接区域对应的长方体图像；根据各拼接区域对应的长方体图像，对各局部空间分别对应的长方体三维图像进行拼接。
可选地,所述全景三维图像生成模块，具体用于针对每一对相邻的长方体三维图像，确定该对长方体三维图像的重叠部分；将该对长方体三维图像的中心连线的中点，作为所述拼接区域的中心；根据所述拼接区域的中心以及所述重叠部分，将全部或部分的所述重叠部分作为所述拼接区域；将该对长方体三维图像在所述拼接区域重叠的混合像素点的像素值进行加权混合，以作为所述拼接区域的拼接像素点的像素值。本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：
根据整体空间中各局部空间的原始二维图像和各局部空间分别对应的预设长方体模型，确定各局部空间的长方体三维图像，进而由确定出的各长方体三维图像生成整体空间的全景三维图像。由于整体空间全景三维图像是根据各局部空间的长方体三维图像生成的，因而可以以三维的视角直观浏览该整体空间，实现三维实景效果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本申请实施例提供的一种全景图像的生成方法的流程图；
图2a是本申请实施例提供的一种结构不规则的整体空间的平面俯视图；
图2b是本申请实施例提供的对图2a所示的整体空间划分后的平面俯视图；
图2c是本申请实施例提供的图2b所示的整体空间中各局部空间对应的预设长方体模型的平面俯视图；
图3是本申请实施例提供的图2c所示的三个鱼眼摄像头分别采集的三个局部空间的原始二维图像；
图4是本申请实施例提供的一种鱼眼摄像头的投影模型示意图；
图5是本申请实施例提供的另一种鱼眼摄像头的投影模型示意图；
图6是本申请提供的利用图4所示的投影模型确定长方体图像的方法示意图；
图7是本申请实施例提供的，基于图3所示的原始二维图像分别对应生成的长方体三维图像的效果图；
图8是本申请实施例提供的将各长方体三维图像直接进行拼接后生成的所述整体空间的全景三维图像效果图；
图9是本申请实施例提供的一种过渡处理算法的平面示意图；
图10是本申请实施例提供的经过渡处理后的全景三维图像的效果图；
图11是本申请实施例提供的一种全景图像的生成装置示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
图1是本申请实施例提供的一种全景图像的生成方法的流程图，包括以下步骤：
S101：获取各全景摄像头分别采集的整体空间中各局部空间的原始二维图像。
在本申请实施例中，本方法的执行主体可以是任何具备图像处理功能的设备，例如电子计算机、图像处理设备等，例如可以是视频监控***的控制设备。
在本申请实施例中，全景摄像头可以是具有超大视场角，能够以大范围无盲角的方式对特定空间进行拍摄的摄像头，例如可以是鱼眼摄像头。为了描述的方便，本申请实施例以鱼眼摄像头为例展开解释，这并不构成对本申请的限制。
在本申请实施例中，整体空间的结构可以是不规则的，例如，整体空间中可以存在较多的墙面以及拐角，致使该整体空间的视野并不开阔，利用多视角拍摄或单个全景摄像头拍摄并不能采集到该整体空间的全景。
图2a是本申请实施例提供的一种结构不规则的整体空间的平面俯视图。如图2a所示，该整体空间的边界不规则，存在较多遮挡视野的墙面以及拐角，该整体空间大致呈“L”形。
在本申请的一个实施例中，全景图像的生成方法将整体空间划分为能够被单个鱼眼摄像头的拍摄范围所覆盖的若干个局部空间，并建立各局部空间的预设长方体模型；然后，基于鱼眼摄像头的投影原理，根据各鱼眼摄像头采集的各局部空间的原始二维图像，对各预设长方体模型进行着色，将着色后的预设长方体模型作为长方体三维图像；最后根据各长方体三维图像，生成整体空间的全景三维图像。
因此，在执行步骤S101之前，可以由技术人员预先完成一些准备工作，包括对整体空间的参数的测量，对整体空间中各局部空间的划分，在各局部空间内安装单个鱼眼摄像头，以及建立各局部空间的预设长方体模型，或者，上述准备工作也可以基于机器视觉和智能算法依照预先设定的测量规则、划分规则和模型建立规则实现。
以图2a所示的整体空间为例，根据整体空间的结构，预先将整体空间划分为若干局部空间，其中，划分的标准是，每个局部空间的视野是开阔的且不大于鱼眼摄像头的可视域，以保证安装于该局部空间上表面的单个鱼眼摄像头的拍摄范围能够没有死角，基于此标准，划分整体空间的方式可以有多种，本申请对此不作限制。值得强调的是，划分好的各局部空间之间可以有重合的部分，也可以没有重合部分。图2b是本申请实施例提供的对图2a所示的整体空间划分后的平面俯视图。如图2b所示，将整体空间划分为三个部分，三个局部空间的划分线分别用不同的线条表示，局部空间一对应短虚线的划分线，局部空间二对应点虚线的划分线，局部空间三对应长虚线的划分线，三个局部空间之间有重合部分。
划分局部空间完毕后，根据各局部空间的结构，分别确定各局部空间对应的预设长方体模型，其中，各预设长方体模型的上表面的中心位置可以是安装于对应的各局部空间内的鱼眼摄像头的位置，所述预设长方体模型可以是能够完全包裹对应的局部空间的长方体，尤其可以是对应的局部空间的最小外接长方体。图2c是本申请实施例提供的图2b所示的整体空间中各局部空间对应的预设长方体模型的平面俯视图。如图2c所示，黑色大圆点代表鱼眼摄像头，三个预设长方体模型新增的边界分别用不同的线条表示，对应关系同图2b。
在本申请实施例中，各鱼眼摄像头分别采集到的各局部空间的原始二维图像是呈圆形的平面二维图像。图3是本申请实施例提供的图2c所示的三个鱼眼摄像头分别采集的三个局部空间的原始二维图像。
S102：针对每个局部空间，根据该局部空间的原始二维图像和该局部空间对应的预设长方体模型，确定该局部空间的长方体三维图像。
在本申请实施例中，可以根据该局部空间的原始二维图像上的特定数量的原始像素点，分别确定所述特定数量的原始像素点中的每个原始像素点在该局部空间对应的预设长方体模型投影得到的各投影像素点；再根据确定出的各投影像素点，确定该局部空间的长方体三维图像。
在本申请实施例中，所述特定数量可以是所述原始二维图像中的各原始像素点，也可以是所述原始二维图像中的部分原始像素点。具体地，该局部空间的原始二维图像上的部分的原始像素点，具体可以是在所述原始二维图像的各原始像素点中，按各原始像素点的排列顺序，以一定间隔抽取的部分原始像素点。抽取部分原始像素点的方式可以有多种，只要抽取出的部分原始像素点组成的低分辨率二维图像能在一定程度上保留原始二维图像的主要信息即可。
作为本申请实施例将详细解释的一种确定该局部空间的长方体三维图像方式，为了尽可能得到高分辨率的该局部空间的长方体三维图像，可以根据该局部空间的原始二维图像上的各原始像素点，分别确定所述各原始像素点在该局部空间对应的预设长方体模型上投影得到的各投影像素点；根据确定出的各投影像素点，确定该局部空间的长方体三维图像。
由于鱼眼摄像头的投影原理，可以将鱼眼摄像头的可视域视为一个半球球面，将采集到的原始二维图像视为该半球球面向自身正下方投影得到的平面图像。图4是本申请实施例提供的一种鱼眼摄像头的投影模型示意图。如图4所示，该局部空间对应的预设长方体模型的外接球面的球心可视为鱼眼摄像头所安装的位置，所述预设长方体模型的，在水平方向上且包含球心的中截面可视为该局部空间的上表面，所述预设长方体模型的下半部分可视为该局部空间，所述外接球面的下半球面可视为鱼眼摄像头的可视域，那么，鱼眼摄像头的可视域向自身正下方投影得到的平面图像，就是所述原始二维图像，其中，点1是该局部空间的预设长方体模型下表面上的投影像素点，点2是与点1对应的，投影到球面上的球面像素点，点3是点2在垂直方向上投影到平面上的原始像素点。
图5是本申请实施例提供的另一种鱼眼摄像头的投影模型示意图。基于鱼眼摄像头的投影原理，也可以将所述预设长方体模型的上表面的中心位置视为鱼眼摄像头所安装的位置，所述预设长方体模型的上表面可视为该局部空间的上表面，所述预设长方体模型可以视为该局部空间，位于所述预设长方体模型上表面之下的部分外接球球面可视为鱼眼摄像头的可视域，那么，鱼眼摄像头的可视域向自身正下方投影得到的平面图像，就是所述原始二维图像，其中，点1、点2、点3与图4中的相同。在本申请中，鱼眼摄像头的投影模型可以有多种，并且各种投影模型可以如图4、图5所示的水平放置，也可以倾斜放置。总之，只要基于鱼眼摄像头的投影原理，可以建立长方体各表面上的投影像素点与原始二维图像上的原始像素点的对应关系即可，本申请对具体的投影模型不作限制。
值得强调的是，利用有些投影模型(如图5所示的投影模型)确定出的该局部空间的长方体三维图像会存在一定的图像冗余，后续处理中将该图像冗余弃掉即可。不同的鱼眼摄像头的投影模型，对应着不同的确定各投影像素点的方式。具体地，基于图4所示的鱼眼摄像头的投影模型，本申请实施例提供了一种根据该局部空间的原始二维图像上的各原始像素点，分别确定所述各原始像素点在该局部空间对应的预设长方体模型上投影得到的各投影像素点的方式，即：
确定该局部空间对应的预设长方体模型的外接球面，所述外接球面的半径不大于所述全景摄像头的可视距离，该局部空间的原始二维图像位于该局部空间对应的预设长方体模型的正下方；针对该局部空间的原始二维图像上的每个原始像素点，在垂直于所述原始二维图像所在平面的方向上，确定该原始像素点在所述外接球面上的投影，作为球面像素点；确定所述外接球面的球心与该球面像素点的连线；将该连线与该局部空间对应的预设长方体模型的面的交点，作为该原始像素点在该局部空间对应的预设长方体模型上投影得到的投影像素点；将该原始像素点的像素值，作为该原始像素点对应的投影像素点的像素值。
其中，该局部空间的原始二维图像位于该局部空间对应的预设长方体模型的正下方，具体可以是所述原始二维图像位于与预设长方体模型的上表面或下表面平行的平面上，并且，所述与预设长方体模型的上表面或下表面平行的平面可以是所述外接球面之外的平面。
图6是本申请提供的利用图4所示的投影模型确定长方体图像的方法示意图。如图6所示，假设该局部空间的原始二维图像的左上角的坐标为(0，0)，右下角的坐标为(1，1)，已知该局部空间的原始二维图像中的某一点Q(u，v)，在图4所示的投影模型中，假设所述外接球面的直径为1，与点Q对应的点分别为球面上的点，即球面像素点P(x，y，z)和位于预设长方体模型底面上的交点，即投影像素点S(x’，y’，z’)，预设长方体模型的长宽高(预先测量得到)分别为L，W，H，则在所述连线与该局部空间对应的预设长方体模型的面的交点在所述预设长方体模型的底面的情况下，通过以下公式可以计算出x、y、z、x’、y’、z’的值：
u-0.5＝x＝0.5*cos(α)*cos(θ)；
v-0.5＝y＝0.5*cos(α)*sin(θ)；
z＝0.5*sin(α)；
x’＝(y’/y)*x；
y’＝(0.5H/z)*y；
z’＝0.5H；
其中，u、v、H、是已知的，此外，由于点S位于预设长方体模型的底面上，因此在本例中无需用到参数L和W。
根据类似的计算方法可以得到与所述原始二维图像上的各原始像素点分别对应的各投射像素点的坐标。值得强调是，上述计算公式只是适用于当所述投影像素点位于预设长方体模型底面上的情况的计算公式，当所述投影像素点位于预设长方体模型的其他表面上时，计算公式会有所不同，但计算思路相同，在此不再赘述。
在本申请实施例中，确定出各原始像素点在该局部空间对应的预设长方体模型上投影得到的各投影像素点后，对该局部空间对应的预设长方体模型进行着色，将着色后的该局部空间的预设长方体模型作为该局部空间的长方体三维图像。图7是本申请实施例提供的，基于图3所示的原始二维图像分别对应生成的长方体三维图像的效果图。
S103：根据确定出的各局部空间的长方体三维图像，生成所述整体空间的全景三维图像。
在本申请实施例中，可以根据各局部空间分别对应的各预设长方体模型的相对位置，放置各长方体三维图像，然后对各长方体三维图像之间的拼接处进行调整，直至各长方体三维图像之间完全融合，得到的便是所述整体空间的全景三维图像，参见图8。图8是本申请实施例提供的将各长方体三维图像直接进行拼接后生成的所述整体空间的全景三维图像效果图。
但是，如图8所示，在对各长方体三维图像之间进行直接拼接和调整得到的全景三维图像中，有明显的折痕，折痕处的颜色过渡不自然，因此有必要对其进行进一步的过渡处理。
在本申请实施例中，过渡处理的方法可以是根据各局部空间分别对应的各预设长方体模型的相对位置，放置各长方体三维图像；根据各相邻的长方体三维图像，确定各相邻的长方体三维图像之间的拼接区域；针对每个拼接区域，将落入该拼接区域的各长方体三维图像的混合像素点进行混合，以生成该拼接区域对应的长方体图像；根据各拼接区域对应的长方体图像，对各局部空间分别对应的长方体三维图像进行拼接。
具体地，对各长方体三维图像的拼接进行过渡处理的方法有多种，例如可以针对各拼接区域中的重叠各混合像素点的像素值取平均值，将该平均值作为重叠的各混合像素点对应的拼接像素点的像素值；也可以在对各混合像素点的像素值取平均值之后，将像素值最接近该平均值的混合像素点的像素值作为各混合像素点对应的拼接像素点的像素值。总之，过渡处理的方法有多种，本申请对此不作限制。
此外，针对每个拼接区域，该拼接区域对应的相邻的长方体三维图像的数量可以是不止两个。根据拼接区域对应相邻的两个长方体三维图像的拼接算法，基于同样的技术思想，直接推导出拼接区域对应相邻的多个长方体三维图像的拼接算法，对本领域技术人员而言，是显而易见的。
但是，需要特别强调的是，由于传统的图像拼接过程需要在设备的中央处理器(Central Processing Unit，CPU)中进行，而纹理内容需要从设备的图形处理器(GraphicsProcessing Unit，GPU)中拷贝，因此整个图像拼接过程非常耗时，影响观赏者浏览全景三维图像的实时性，而本申请可以采用一种GPU过渡处理方案，将拼接的过渡处理算法写入到GPU中，直接由GPU执行，如此以来，可以避免纹理内容的拷贝耗时，同时，为了达到较好的拼接效果，本申请所采用的拼接的过渡处理算法，可以是在拼接处将两个长方体三维图像在所述拼接区域重叠的混合像素点进行加权混合。
以下是本申请实施例提供了一种能实现较好的拼接效果的拼接各长方体三维图像的过渡处理算法，即，以各拼接区域对应的相邻的长方体三维图像的数量是两个为例，针对每一对相邻的长方体三维图像，确定该对长方体三维图像的重叠部分；将该对长方体三维图像的中心连线的中点，作为所述拼接区域的中心；根据所述拼接区域的中心以及所述重叠部分，将全部或部分的所述重叠部分作为所述拼接区域；将该对长方体三维图像在所述拼接区域重叠的混合像素点的像素值进行加权混合，以作为所述拼接区域的拼接像素点的像素值。当然，也可以不将每一对相邻的预设长方体模型的中心连线的中点作为所述拼接区域的中心，而是取所述中心连线的中点附近的某个点作为所述拼接区域的中心，本申请对此不作限制。
由于在执行本申请所要求保护的方法之前的准备工作中，为了保证分别安装于各局部空间上表面的单个鱼眼摄像头的拍摄范围能够没有死角，预先确定的各局部空间的预设长方体模型之间可以有重合部分，因而最终确定出的各长方体三维图像之间有重叠部分。在实际操作中，为了完成对各长方体三维图像的拼接，对所述重叠部分中的一部分进行裁剪，将部分的所述重叠部分作为拼接区域已经足够实现使颜色过渡自然的目的。
具体而言，将每一对相邻的预设长方体模型的中心连线的中点作为所述拼接区域的中心，将部分的所述重叠部分作为所述拼接区域，所述拼接区域的长度可以是20～25个连续像素点的距离，所述拼接区域的宽和高与所述重叠部分相同，具体的加权混合算法可以根据该对相邻的长方体三维图像的各重叠的混合像素点在拼接区域中的位置确定。
图9是本申请实施例提供的一种过渡处理算法的平面示意图。如图9所示，对相邻的两个长方体三维图像中的每个而言，浅色区域为被裁减的一部分重叠部分，深色区域为部分的所述重叠区域，即所述拼接区域，拼接线1和2都是经过所述拼接区域的中点的垂线，所述拼接区域的长度为a(20～25个连续像素点的距离)，拼接线1方程为x＝w，拼接线2方程为x＝w’。对相邻的两个长方体三维图像在所述拼接区域重叠的混合像素点的纹理text1与text2进行混合，以text1上任意一点P为例，其坐标为(Px，Py)，P点需要混合的Q点位于text2上，坐标为(Qx，Qy)，混合公式如下：
Alpha＝abs(Px–w)/a；
Color＝Alpha*Tex1(Px，Py)+(1-Alpha)*Tex2(Qx，Qy)；
其中，Alpha表示对点P和点Q进行混合时，点P的权重，Color表示点P和点Q对应的拼接像素点的像素值，abs表示对目标值取绝对值，R为旋转矩阵，T为平移矩阵。
由于在GPU写入了本算法，而GPU所处理的数据范围限于0～1，故需要先对各长方体三维图像的尺寸数据进行归一化，以便GPU读取。当然，倘若不将本算法写入GPU中，由CPU执行本算法，这种情况下，便不需要执行上述的归一化步骤。
在本算法中，由于对每对混合像素点而言，需要用同一坐标系为基准，分别确定二者的坐标，才能适用上述计算公式Alpha＝abs(Px–w)/a，以及Color＝Alpha*Tex1(Px，Py)+(1-Alpha)*Tex2(Qx，Qy)，因此，有必要利用旋转矩阵R和平移矩阵T，建立每对混合像素点坐标的对应关系，即公式也就是说，对点P和点Q而言，旋转矩阵R和平移矩阵T的作用是可以使得将点P的坐标和点Q坐标统一在同一坐标系基准之下。
由于对各对需要拼接的相邻的长方体三维图像而言，其R和T不同，因此GPU在计算各拼接像素点的像素值之前，需要先求解当前需要拼接的相邻的长方体三维图像的R和T。
如图9所示，对GPU而言，虽然在R和T未知的情况下，在同一坐标系基准下，已知点P无法确定其对应的混合像素点Q，但拼接区域的端点是明确的，A与A’的对应关系也是明确的，GPU可以根据如图9所示的端点A的坐标得到对应的端点A’在同一坐标系基准下的坐标，对于点B、C、D，类同。然后，通过对上述公式代入获取到的各端点坐标解得R和T。例如，代入端点A和A’的坐标，则代入其他端点的坐标类同。
解得R和T之后，在拼接过程中，例如对一对混合像素点P和Q而言，已知点P的坐标，可以根据上述公式计算出对应的混合像素点Q的坐标。随后，根据点P的坐标和点Q的坐标，适用公式Alpha＝abs(Px–w)/a，以及Color＝Alpha*Tex1(Px，Py)+(1-Alpha)*Tex2(Qx，Qy)，可以解得拼接像素点的像素值Color。
通过以上过渡处理算法，可以确定拼接区域中各拼接像素点的像素值。图10是本申请实施例提供的经过渡处理后的全景三维图像的效果图。如图10所示，不再有明显的折痕。
通过图1所示的方法，根据整体空间中各局部空间的原始二维图像和各局部空间分别对应的预设长方体模型，确定该局部空间的长方体三维图像，进而由确定出的各长方体三维图像生成整体空间的全景三维图像。由于整体空间全景三维图像是根据各局部空间的长方体三维图像生成的，因而可以以三维的视角直观浏览该整体空间，实现三维实景效果。
除解决背景技术所述的技术问题，实现上述技术效果之外，本申请所要求保护的技术方案还能达到更进一步的技术效果，即通过图1所示的方法生成的全景三维图像，一方面区别于传统的多视角拍摄多幅图像后拼接的现有技术，可以营造更为逼真的现场感，支持观赏者对其进行俯瞰、正视、侧视以及场景漫游；另一方面，又区别于现有的单全景摄像头拍摄后经PTZ矫正得到的平面二维全景展开图，是三维的全景图像。
基于图1所示的全景图像的生成方法，本申请实施例还对应提供一种全景图像的生成装置，如图11所示。
图11是本申请实施例提供的一种全景图像的生成装置示意图，包括：
原始二维图像获取模块111，用于获取各全景摄像头分别采集的整体空间中各局部空间的原始二维图像；
长方体三维图像确定模块112，用于针对每个局部空间，根据该局部空间的原始二维图像和该局部空间对应的预设长方体模型，确定该局部空间的长方体三维图像；
全景三维图像生成模块113，用于根据确定出的各局部空间的长方体三维图像，生成所述整体空间的全景三维图像。
所述长方体三维图像确定模块112，具体用于根据该局部空间的原始二维图像上的各原始像素点，分别确定所述各原始像素点在该局部空间对应的预设长方体模型上投影得到的各投影像素点；根据确定出的各投影像素点，确定该局部空间的长方体三维图像。
所述长方体三维图像确定模块112，具体用于确定该局部空间对应的预设长方体模型的外接球面，所述外接球面的半径不大于所述全景摄像头的可视距离，该局部空间的原始二维图像位于该局部空间对应的预设长方体模型的正下方；针对该局部空间的原始二维图像上的每个原始像素点，在垂直于所述原始二维图像所在平面的方向上，确定该原始像素点在所述外接球面上的投影，作为球面像素点；确定所述外接球面的球心与该球面像素点的连线；将该连线与该局部空间对应的预设长方体模型的面的交点，作为该原始像素点在该局部空间对应的预设长方体模型上投影得到的投影像素点；将该原始像素点的像素值，作为该原始像素点对应的投影像素点的像素值。
所述全景三维图像生成模块113，具体用于根据各局部空间分别对应的各预设长方体模型之间的相对位置，拼接各局部空间分别对应的长方体三维图像，以生成所述空间的全景三维图像。
所述全景三维图像生成模块113，具体用于根据各局部空间分别对应的各预设长方体模型之间的相对位置，放置各长方体三维图像；根据各相邻的长方体三维图像，确定各相邻的长方体三维图像之间的拼接区域；针对每个拼接区域，将落入该拼接区域的各长方体三维图像的混合像素点进行混合，以生成该拼接区域对应的长方体图像；根据各拼接区域对应的长方体图像，对各局部空间分别对应的长方体三维图像进行拼接。
所述全景三维图像生成模块113，具体用于针对每一对相邻的长方体三维图像，确定该对长方体三维图像的重叠部分；将该对长方体三维图像的中心连线的中点，作为所述拼接区域的中心；根据所述拼接区域的中心以及所述重叠部分，将全部或部分的所述重叠部分作为所述拼接区域；将该对长方体三维图像在所述拼接区域重叠的混合像素点的像素值进行加权混合，以作为所述拼接区域的拼接像素点的像素值。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (12)
1.一种全景图像的生成方法，其特征在于，包括:
获取各全景摄像头分别采集的整体空间中各局部空间的原始二维图像；
针对每个局部空间，根据该局部空间的原始二维图像和该局部空间对应的预设长方体模型，确定该局部空间的长方体三维图像；
根据确定出的各局部空间的长方体三维图像，生成所述整体空间的全景三维图像。
2.根据权利要求1所述的方法，其特征在于，根据该局部空间的原始二维图像和该局部空间对应的预设长方体模型，确定该局部空间的长方体三维图像，具体包括：
根据该局部空间的原始二维图像上的各原始像素点，分别确定所述各原始像素点在该局部空间对应的预设长方体模型上投影得到的各投影像素点；
根据确定出的各投影像素点，确定该局部空间的长方体三维图像。
3.根据权利要求2所述的方法，其特征在于，根据该局部空间的原始二维图像上的各原始像素点，分别确定所述各原始像素点在该局部空间对应的预设长方体模型上投影得到的各投影像素点，具体包括：
确定该局部空间对应的预设长方体模型的外接球面，所述外接球面的半径不大于所述全景摄像头的可视距离，该局部空间的原始二维图像位于该局部空间对应的预设长方体模型的正下方；
针对该局部空间的原始二维图像上的每个原始像素点，在垂直于所述原始二维图像所在平面的方向上，确定该原始像素点在所述外接球面上的投影，作为球面像素点；
确定所述外接球面的球心与该球面像素点的连线；
将该连线与该局部空间对应的预设长方体模型的面的交点，作为该原始像素点在该局部空间对应的预设长方体模型上投影得到的投影像素点；
将该原始像素点的像素值，作为该原始像素点对应的投影像素点的像素值。
4.根据权利要求1所述的方法，其特征在于，根据确定出的各局部空间的长方体三维图像，生成所述整体空间的全景三维图像，具体包括：
根据各局部空间分别对应的各预设长方体模型之间的相对位置，拼接各局部空间分别对应的长方体三维图像，以生成所述空间的全景三维图像。
5.根据权利要求4所述的方法，其特征在于，根据各局部空间分别对应的各预设长方体模型之间的相对位置，拼接各局部空间分别对应的长方体三维图像，具体包括：
根据各局部空间分别对应的各预设长方体模型之间的相对位置，放置各长方体三维图像；
根据各相邻的长方体三维图像，确定各相邻的长方体三维图像之间的拼接区域；
针对每个拼接区域，将落入该拼接区域的各长方体三维图像的混合像素点进行混合，以生成该拼接区域对应的长方体图像；
根据各拼接区域对应的长方体图像，对各局部空间分别对应的长方体三维图像进行拼接。
6.根据权利要求5所述的方法，其特征在于，根据各相邻的长方体三维图像，确定各相邻的长方体三维图像之间的拼接区域，具体包括：
针对每一对相邻的长方体三维图像，确定该对长方体三维图像的重叠部分；
将该对长方体三维图像的中心连线的中点，作为所述拼接区域的中心；
根据所述拼接区域的中心以及所述重叠部分，将全部或部分的所述重叠部分作为所述拼接区域；
将落入该拼接区域的各长方体三维图像的像素点进行混合，具体包括：
将该对长方体三维图像在所述拼接区域重叠的混合像素点的像素值进行加权混合，以作为所述拼接区域的拼接像素点的像素值。
7.一种全景视频的生成装置，其特征在于，包括：
原始二维图像获取模块，用于获取各全景摄像头分别采集的整体空间中各局部空间的原始二维图像；
长方体三维图像确定模块，用于针对每个局部空间，根据该局部空间的原始二维图像和该局部空间对应的预设长方体模型，确定该局部空间的长方体三维图像；
全景三维图像生成模块，用于根据确定出的各局部空间的长方体三维图像，生成所述整体空间的全景三维图像。
8.根据权利要求7所述的装置，其特征在于，所述长方体三维图像确定模块，具体用于根据该局部空间的原始二维图像上的各原始像素点，分别确定所述各原始像素点在该局部空间对应的预设长方体模型上投影得到的各投影像素点；根据确定出的各投影像素点，确定该局部空间的长方体三维图像。
9.根据权利要求8所述的装置，其特征在于，所述长方体三维图像确定模块，具体用于确定该局部空间对应的预设长方体模型的外接球面，所述外接球面的半径不大于所述全景摄像头的可视距离，该局部空间的原始二维图像位于该局部空间对应的预设长方体模型的正下方；针对该局部空间的原始二维图像上的每个原始像素点，在垂直于所述原始二维图像所在平面的方向上，确定该原始像素点在所述外接球面上的投影，作为球面像素点；确定所述外接球面的球心与该球面像素点的连线；将该连线与该局部空间对应的预设长方体模型的面的交点，作为该原始像素点在该局部空间对应的预设长方体模型上投影得到的投影像素点；将该原始像素点的像素值，作为该原始像素点对应的投影像素点的像素值。
10.根据权利要求7所述的装置，其特征在于，所述全景三维图像生成模块，具体用于根据各局部空间分别对应的各预设长方体模型之间的相对位置，拼接各局部空间分别对应的长方体三维图像，以生成所述空间的全景三维图像。
11.根据权利要求10所述的装置，其特征在于，所述全景三维图像生成模块，具体用于根据各局部空间分别对应的各预设长方体模型之间的相对位置，放置各长方体三维图像；根据各相邻的长方体三维图像，确定各相邻的长方体三维图像之间的拼接区域；针对每个拼接区域，将落入该拼接区域的各长方体三维图像的混合像素点进行混合，以生成该拼接区域对应的长方体图像；根据各拼接区域对应的长方体图像，对各局部空间分别对应的长方体三维图像进行拼接。
12.根据权利要求11所述的装置，其特征在于，所述全景三维图像生成模块，具体用于针对每一对相邻的长方体三维图像，确定该对长方体三维图像的重叠部分；将该对长方体三维图像的中心连线的中点，作为所述拼接区域的中心；根据所述拼接区域的中心以及所述重叠部分，将全部或部分的所述重叠部分作为所述拼接区域；将该对长方体三维图像在所述拼接区域重叠的混合像素点的像素值进行加权混合，以作为所述拼接区域的拼接像素点的像素值。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610935069.2A CN107993276B (zh) | 2016-10-25 | 2016-10-25 | 一种全景图像的生成方法及装置 |
| PCT/CN2017/106533 WO2018077071A1 (zh) | 2016-10-25 | 2017-10-17 | 一种全景图像的生成方法及装置 |
| EP17865971.0A EP3534336B1 (en) | 2016-10-25 | 2017-10-17 | Panoramic image generating method and apparatus |
| US16/344,534 US11330172B2 (en) | 2016-10-25 | 2017-10-17 | Panoramic image generating method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610935069.2A CN107993276B (zh) | 2016-10-25 | 2016-10-25 | 一种全景图像的生成方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107993276A true CN107993276A (zh) | 2018-05-04 |
| CN107993276B CN107993276B (zh) | 2021-11-23 |
Family
ID=62024396
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610935069.2A Active CN107993276B (zh) | 2016-10-25 | 2016-10-25 | 一种全景图像的生成方法及装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11330172B2 (zh) |
| EP (1) | EP3534336B1 (zh) |
| CN (1) | CN107993276B (zh) |
| WO (1) | WO2018077071A1 (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108765269A (zh) * | 2018-05-29 | 2018-11-06 | 广州梦映动漫网络科技有限公司 | 一种全景漫画的生成方法以及电子设备 |
| CN109714590A (zh) * | 2018-12-17 | 2019-05-03 | 广东工业大学 | 一种基于全景技术的环幕电影制作及播放方法 |
| CN111105343A (zh) * | 2018-10-26 | 2020-05-05 | Oppo广东移动通信有限公司 | 物体三维模型的生成方法和装置 |
| CN111949122A (zh) * | 2020-06-23 | 2020-11-17 | 微幻科技(北京)有限公司 | 一种虚拟漫游数据的生成方法及装置 |
| CN112383746A (zh) * | 2020-10-29 | 2021-02-19 | 北京软通智慧城市科技有限公司 | 一种三维场景中的视频监控方法、装置、电子设备和存储介质 |
| CN112530173A (zh) * | 2020-12-03 | 2021-03-19 | 北京百度网讯科技有限公司 | 路侧感知方法、装置、电子设备、存储介质及路侧设备 |
| CN112597573A (zh) * | 2020-12-18 | 2021-04-02 | 中建钢构武汉有限公司 | 空间三维放样方法、装置、设备及存储介质 |
| CN112907451A (zh) * | 2021-03-26 | 2021-06-04 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN113674138A (zh) * | 2020-05-14 | 2021-11-19 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置及*** |
| CN115278064A (zh) * | 2022-07-11 | 2022-11-01 | 北京五八信息技术有限公司 | 一种全景图像生成方法、装置、终端设备及存储介质 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3523777A4 (en) * | 2016-12-06 | 2019-11-13 | SZ DJI Technology Co., Ltd. | SYSTEM AND METHOD FOR CONFIGURING A WIDE ANGLE IMAGE |
| US10861359B2 (en) * | 2017-05-16 | 2020-12-08 | Texas Instruments Incorporated | Surround-view with seamless transition to 3D view system and method |
| KR102126561B1 (ko) * | 2018-07-23 | 2020-06-24 | 주식회사 쓰리아이 | 적응적 삼차원 공간 생성방법 및 그 시스템 |
| US11341607B2 (en) * | 2019-06-07 | 2022-05-24 | Texas Instruments Incorporated | Enhanced rendering of surround view images |
| CN112565730B (zh) * | 2020-12-03 | 2023-07-25 | 阿波罗智联(北京)科技有限公司 | 路侧感知方法、装置、电子设备、存储介质及路侧设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101271582A (zh) * | 2008-04-10 | 2008-09-24 | 清华大学 | 基于多视角二维图像并结合sift算法的三维重建方法 |
| US20090079730A1 (en) * | 2007-09-21 | 2009-03-26 | Samsung Electronics Co., Ltd. | Method and apparatus for generating 3D image using 2D photograph images |
| CN101814181A (zh) * | 2010-03-17 | 2010-08-25 | 天津理工大学 | 一种鱼眼图像复原的展开方法 |
| CN101968890A (zh) * | 2009-07-27 | 2011-02-09 | 西安费斯达自动化工程有限公司 | 基于球面显示的360°全景仿真*** |
| CN102013110A (zh) * | 2010-11-23 | 2011-04-13 | 李建成 | 三维全景图像生成方法及*** |
| CN103971399A (zh) * | 2013-01-30 | 2014-08-06 | 深圳市腾讯计算机***有限公司 | 街景图像过渡方法和装置 |
| CN105678729A (zh) * | 2016-02-24 | 2016-06-15 | 段梦凡 | 鱼眼镜头全景图像拼接方法 |
| US9400939B2 (en) * | 2014-04-13 | 2016-07-26 | International Business Machines Corporation | System and method for relating corresponding points in images with different viewing angles |
Family Cites Families (56)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070086037A (ko) * | 2004-11-12 | 2007-08-27 | 목3, 인크. | 장면 간 전환 방법 |
| DE102006062061B4 (de) * | 2006-12-29 | 2010-06-10 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung, Verfahren und Computerprogramm zum Bestimmen einer Position basierend auf einem Kamerabild von einer Kamera |
| US10872322B2 (en) * | 2008-03-21 | 2020-12-22 | Dressbot, Inc. | System and method for collaborative shopping, business and entertainment |
| US8319825B1 (en) * | 2008-06-16 | 2012-11-27 | Julian Urbach | Re-utilization of render assets for video compression |
| CN101625766A (zh) * | 2009-08-03 | 2010-01-13 | 深圳先进技术研究院 | 医学图像处理方法 |
| CN101895693A (zh) * | 2010-06-07 | 2010-11-24 | 北京高森明晨信息科技有限公司 | 生成全景图像的方法及装置 |
| US9599715B2 (en) * | 2010-08-03 | 2017-03-21 | Faro Technologies, Inc. | Scanner display |
| US9282321B2 (en) * | 2011-02-17 | 2016-03-08 | Legend3D, Inc. | 3D model multi-reviewer system |
| US9288476B2 (en) * | 2011-02-17 | 2016-03-15 | Legend3D, Inc. | System and method for real-time depth modification of stereo images of a virtual reality environment |
| US9521398B1 (en) * | 2011-04-03 | 2016-12-13 | Gopro, Inc. | Modular configurable camera system |
| JP5896424B2 (ja) * | 2011-04-25 | 2016-03-30 | 光雄 林 | 全方位画像編集プログラム及び全方位画像編集装置 |
| US9600933B2 (en) * | 2011-07-01 | 2017-03-21 | Intel Corporation | Mobile augmented reality system |
| CA2861391A1 (en) * | 2012-01-18 | 2013-07-25 | Logos Technologies Llc | Method, device, and system for computing a spherical projection image based on two-dimensional images |
| JP6186775B2 (ja) * | 2012-05-31 | 2017-08-30 | 株式会社リコー | 通信端末、表示方法、及びプログラム |
| JP5992210B2 (ja) * | 2012-06-01 | 2016-09-14 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 |
| US10127722B2 (en) * | 2015-06-30 | 2018-11-13 | Matterport, Inc. | Mobile capture visualization incorporating three-dimensional and two-dimensional imagery |
| JP5891131B2 (ja) * | 2012-07-11 | 2016-03-22 | 株式会社ソニー・コンピュータエンタテインメント | 画像生成装置および画像生成方法 |
| US9270885B2 (en) * | 2012-10-26 | 2016-02-23 | Google Inc. | Method, system, and computer program product for gamifying the process of obtaining panoramic images |
| CN103873758B (zh) * | 2012-12-17 | 2018-09-21 | 北京三星通信技术研究有限公司 | 全景图实时生成的方法、装置及设备 |
| JP2014165841A (ja) * | 2013-02-27 | 2014-09-08 | Brother Ind Ltd | 情報処理装置及び情報処理方法 |
| GB201303707D0 (en) * | 2013-03-01 | 2013-04-17 | Tosas Bautista Martin | System and method of interaction for mobile devices |
| KR102003383B1 (ko) * | 2013-03-14 | 2019-07-24 | 삼성전자주식회사 | 전자 장치에서 이미지를 촬영하는 위한 장치 및 방법 |
| NL2010463C2 (nl) * | 2013-03-15 | 2014-09-16 | Cyclomedia Technology B V | Werkwijze voor het genereren van een panoramabeeld. |
| US10229477B2 (en) * | 2013-04-30 | 2019-03-12 | Sony Corporation | Image processing device, image processing method, and program |
| US9451162B2 (en) * | 2013-08-21 | 2016-09-20 | Jaunt Inc. | Camera array including camera modules |
| CA2924156A1 (en) * | 2013-09-17 | 2015-03-26 | Societe Des Arts Technologiques | Method, system and apparatus for capture-based immersive telepresence in virtual environment |
| US8988509B1 (en) * | 2014-03-20 | 2015-03-24 | Gopro, Inc. | Auto-alignment of image sensors in a multi-camera system |
| US9972121B2 (en) * | 2014-04-22 | 2018-05-15 | Google Llc | Selecting time-distributed panoramic images for display |
| US9098754B1 (en) * | 2014-04-25 | 2015-08-04 | Google Inc. | Methods and systems for object detection using laser point clouds |
| US9986154B2 (en) * | 2014-05-21 | 2018-05-29 | Here Global B.V. | Developing a panoramic image |
| US9772405B2 (en) * | 2014-10-06 | 2017-09-26 | The Boeing Company | Backfilling clouds of 3D coordinates |
| US9369689B1 (en) * | 2015-02-24 | 2016-06-14 | HypeVR | Lidar stereo fusion live action 3D model video reconstruction for six degrees of freedom 360° volumetric virtual reality video |
| JP6685995B2 (ja) * | 2015-03-05 | 2020-04-22 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| JP6688469B2 (ja) * | 2015-03-05 | 2020-04-28 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| US9754413B1 (en) * | 2015-03-26 | 2017-09-05 | Google Inc. | Method and system for navigating in panoramic images using voxel maps |
| US10038887B2 (en) * | 2015-05-27 | 2018-07-31 | Google Llc | Capture and render of panoramic virtual reality content |
| US9877016B2 (en) * | 2015-05-27 | 2018-01-23 | Google Llc | Omnistereo capture and render of panoramic virtual reality content |
| US9866752B2 (en) * | 2015-06-02 | 2018-01-09 | Qualcomm Incorporated | Systems and methods for producing a combined view from fisheye cameras |
| US10277813B1 (en) * | 2015-06-25 | 2019-04-30 | Amazon Technologies, Inc. | Remote immersive user experience from panoramic video |
| WO2017011793A1 (en) * | 2015-07-16 | 2017-01-19 | Google Inc. | Camera pose estimation for mobile devices |
| DE102015213832B4 (de) * | 2015-07-22 | 2023-07-13 | Adidas Ag | Verfahren und Vorrichtung zum Erzeugen eines künstlichen Bildes |
| US9277122B1 (en) * | 2015-08-13 | 2016-03-01 | Legend3D, Inc. | System and method for removing camera rotation from a panoramic video |
| US10217189B2 (en) * | 2015-09-16 | 2019-02-26 | Google Llc | General spherical capture methods |
| US10027888B1 (en) * | 2015-09-28 | 2018-07-17 | Amazon Technologies, Inc. | Determining area of interest in a panoramic video or photo |
| US20170127045A1 (en) * | 2015-10-28 | 2017-05-04 | Toppano Co., Ltd. | Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof |
| TWI555379B (zh) * | 2015-11-06 | 2016-10-21 | 輿圖行動股份有限公司 | 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 |
| US20170195560A1 (en) * | 2015-12-31 | 2017-07-06 | Nokia Technologies Oy | Method and apparatus for generating a panoramic view with regions of different dimensionality |
| US10225546B2 (en) * | 2016-02-26 | 2019-03-05 | Qualcomm Incorporated | Independent multi-resolution coding |
| CN105791695B (zh) * | 2016-03-30 | 2019-06-11 | 沈阳泰科易科技有限公司 | 全景图像的生成方法和装置 |
| US10102610B2 (en) * | 2016-04-05 | 2018-10-16 | Qualcomm Incorporated | Dual fisheye images stitching for spherical video |
| US10187629B2 (en) * | 2016-04-06 | 2019-01-22 | Facebook, Inc. | Camera calibration system |
| US10142540B1 (en) * | 2016-07-26 | 2018-11-27 | 360fly, Inc. | Panoramic video cameras, camera systems, and methods that provide data stream management for control and image streams in multi-camera environment with object tracking |
| US20180040164A1 (en) * | 2016-08-05 | 2018-02-08 | Gopro, Inc. | Apparatus and methods for selective coding of images |
| US10127632B1 (en) * | 2016-09-05 | 2018-11-13 | Google Llc | Display and update of panoramic image montages |
| US9881425B1 (en) * | 2016-09-09 | 2018-01-30 | The Boeing Company | Synchronized side-by-side display of real and virtual environments |
| US10242714B2 (en) * | 2016-12-19 | 2019-03-26 | Microsoft Technology Licensing, Llc | Interface for application-specified playback of panoramic video |
-
2016
- 2016-10-25 CN CN201610935069.2A patent/CN107993276B/zh active Active
-
2017
- 2017-10-17 US US16/344,534 patent/US11330172B2/en active Active
- 2017-10-17 WO PCT/CN2017/106533 patent/WO2018077071A1/zh unknown
- 2017-10-17 EP EP17865971.0A patent/EP3534336B1/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090079730A1 (en) * | 2007-09-21 | 2009-03-26 | Samsung Electronics Co., Ltd. | Method and apparatus for generating 3D image using 2D photograph images |
| CN101271582A (zh) * | 2008-04-10 | 2008-09-24 | 清华大学 | 基于多视角二维图像并结合sift算法的三维重建方法 |
| CN101968890A (zh) * | 2009-07-27 | 2011-02-09 | 西安费斯达自动化工程有限公司 | 基于球面显示的360°全景仿真*** |
| CN101814181A (zh) * | 2010-03-17 | 2010-08-25 | 天津理工大学 | 一种鱼眼图像复原的展开方法 |
| CN102013110A (zh) * | 2010-11-23 | 2011-04-13 | 李建成 | 三维全景图像生成方法及*** |
| CN103971399A (zh) * | 2013-01-30 | 2014-08-06 | 深圳市腾讯计算机***有限公司 | 街景图像过渡方法和装置 |
| US9400939B2 (en) * | 2014-04-13 | 2016-07-26 | International Business Machines Corporation | System and method for relating corresponding points in images with different viewing angles |
| CN105678729A (zh) * | 2016-02-24 | 2016-06-15 | 段梦凡 | 鱼眼镜头全景图像拼接方法 |
Non-Patent Citations (4)
| Title |
|---|
| K. KOTTARI等: "Shape reconstruction using fisheye and projective cameras", 《2016 IEEE INTERNATIONAL CONFERENCE ON IMAGING SYSTEMS AND TECHNIQUES (IST)》 * |
| RICARDO CABRAL等: "Piecewise Planar and Compact Floorplan Reconstruction from Images", 《2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| 周静恺: "基于主动全景立体视觉传感器的室内场景三维重建", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 缪君 等: "基于稀疏点云的多平面场景稠密重建", 《自动化学报》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108765269A (zh) * | 2018-05-29 | 2018-11-06 | 广州梦映动漫网络科技有限公司 | 一种全景漫画的生成方法以及电子设备 |
| CN111105343B (zh) * | 2018-10-26 | 2023-06-09 | Oppo广东移动通信有限公司 | 物体三维模型的生成方法和装置 |
| CN111105343A (zh) * | 2018-10-26 | 2020-05-05 | Oppo广东移动通信有限公司 | 物体三维模型的生成方法和装置 |
| CN109714590A (zh) * | 2018-12-17 | 2019-05-03 | 广东工业大学 | 一种基于全景技术的环幕电影制作及播放方法 |
| CN113674138B (zh) * | 2020-05-14 | 2023-09-01 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置及*** |
| CN113674138A (zh) * | 2020-05-14 | 2021-11-19 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置及*** |
| CN111949122A (zh) * | 2020-06-23 | 2020-11-17 | 微幻科技(北京)有限公司 | 一种虚拟漫游数据的生成方法及装置 |
| CN112383746A (zh) * | 2020-10-29 | 2021-02-19 | 北京软通智慧城市科技有限公司 | 一种三维场景中的视频监控方法、装置、电子设备和存储介质 |
| CN112530173A (zh) * | 2020-12-03 | 2021-03-19 | 北京百度网讯科技有限公司 | 路侧感知方法、装置、电子设备、存储介质及路侧设备 |
| CN112597573A (zh) * | 2020-12-18 | 2021-04-02 | 中建钢构武汉有限公司 | 空间三维放样方法、装置、设备及存储介质 |
| CN112597573B (zh) * | 2020-12-18 | 2024-04-19 | 中建钢构武汉有限公司 | 空间三维放样方法、装置、设备及存储介质 |
| CN112907451A (zh) * | 2021-03-26 | 2021-06-04 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN115278064A (zh) * | 2022-07-11 | 2022-11-01 | 北京五八信息技术有限公司 | 一种全景图像生成方法、装置、终端设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018077071A1 (zh) | 2018-05-03 |
| EP3534336A4 (en) | 2019-11-13 |
| US20190289205A1 (en) | 2019-09-19 |
| EP3534336A1 (en) | 2019-09-04 |
| US11330172B2 (en) | 2022-05-10 |
| EP3534336B1 (en) | 2022-03-02 |
| CN107993276B (zh) | 2021-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107993276A (zh) | 一种全景图像的生成方法及装置 | |
| CN108470379B (zh) | 三维图像融合方法和装置 | |
| CN106375748B (zh) | 立体虚拟现实全景视图拼接方法、装置及电子设备 | |
| US6271853B1 (en) | Method for generating and interactively viewing spherical image data | |
| US6791598B1 (en) | Methods and apparatus for information capture and steroscopic display of panoramic images | |
| US20160295108A1 (en) | System and method for panoramic imaging | |
| US20020113865A1 (en) | Image processing method and apparatus | |
| CN108205797A (zh) | 一种全景视频融合方法及装置 | |
| CN105137705B (zh) | 一种虚拟球幕的创建方法和装置 | |
| US11995793B2 (en) | Generation method for 3D asteroid dynamic map and portable terminal | |
| CN106921824A (zh) | 环绕式混合光场成像装置及方法 | |
| CN111866523B (zh) | 全景视频合成方法、装置、电子设备和计算机存储介质 | |
| CN105809729B (zh) | 一种虚拟场景的球形全景渲染方法 | |
| CN106534670A (zh) | 一种基于固联鱼眼镜头摄像机组的全景视频生成方法 | |
| CN107146197A (zh) | 一种缩略图生成方法及装置 | |
| CN110458960A (zh) | 一种基于偏振的彩色物体三维重建方法 | |
| CN109685879A (zh) | 多视影像纹理分布的确定方法、装置、设备和存储介质 | |
| CN110807413B (zh) | 目标显示方法以及相关装置 | |
| US11288774B2 (en) | Image processing method and apparatus, storage medium, and electronic apparatus | |
| CN114926612A (zh) | 空中全景图像处理与沉浸式显示*** | |
| KR102362492B1 (ko) | 멀티뷰 사진 측량법에 의한 3d 씬 모델링 시스템 | |
| Wegner et al. | Depth estimation from stereoscopic 360-degree video | |
| WO2019042028A1 (zh) | 全视向的球体光场渲染方法 | |
| JP4554231B2 (ja) | 歪みパラメータの生成方法及び映像発生方法並びに歪みパラメータ生成装置及び映像発生装置 | |
| CN112102169A (zh) | 一种红外图像拼接方法、装置和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |