CN111275750B - 基于多传感器融合的室内空间全景图像生成方法 - Google Patents
基于多传感器融合的室内空间全景图像生成方法 Download PDFInfo
- Publication number
- CN111275750B CN111275750B CN202010059963.4A CN202010059963A CN111275750B CN 111275750 B CN111275750 B CN 111275750B CN 202010059963 A CN202010059963 A CN 202010059963A CN 111275750 B CN111275750 B CN 111275750B
- Authority
- CN
- China
- Prior art keywords
- image
- station
- images
- panoramic image
- panoramic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000005259 measurement Methods 0.000 claims abstract description 16
- 230000033001 locomotion Effects 0.000 claims abstract description 11
- 238000013507 mapping Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Optics & Photonics (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种能够生成具有深度信息且图像分辨率清晰的全景图像的基于多传感器融合的室内空间全景图像生成方法，该方法包括：基于预定移动规则移动测量车从而进行每一站的图像或点云数据的采集；将每个图像采集器采集到的图像与点云数据融合，生成对应的高质量的深度图；构建虚拟像中心，将每个深度图的深度值作为投影距离进行球面投影，得到对应的配准图像；根据上一站图像和下一站图像对当前站的图像进行底部填洞；对配准图像的重叠区域进行拼接与融合处理，最后输出具有深度信息且图像分辨率清晰的全景图像，该全景图像实现可以量测、三维重建和用于视觉定位等功能。
Description
技术领域
本发明属于图像测绘处理技术领域，具体地涉及一种能够生成具有深度信息且图像分辨率清晰的全景图像的基于多传感器融合的室内空间全景图像生成方法。
背景技术
数字孪生是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程。而全景图是室内数字孪生***的关键数字化资料；全景图，具有丰富的色彩信息，并具有使观看者能体验到较强的沉浸感，对机场或火车站等大型公共场所的监测、数字化城市、医学图像分析等起到关键作用。
但是，目前市场上的全景图大多只能浏览，而没有深度信息即尺度信息，无法通过全景图像进行量测、三维重建等操作；而且，由于室内视差大，多相机平台进行全景拼接时，如果没有精确的深度信息，拼接处容易出现错层、重影，导致全景图像的质量低。
发明内容
本发明是为了解决上述问题而进行的，目的在于提供一种能够生成具有深度信息且图像分辨率清晰的全景图像的基于多传感器融合的室内空间全景图像生成方法。
本发明提供了一种基于多传感器融合的室内空间全景图像生成方法，其特征在于，包括：图像采集步骤：基于预定移动规则移动测量车从而进行每一站的图像或点云数据的采集，所述测量车具有多个传感器和多个图像采集器；深度图生成步骤：将所述多个传感器和所述多个图像采集器之间的标定关***一至一个坐标系下，进一步将每个所述图像采集器采集到的图像与点云数据融合，从而生成对应的深度图；图像配准步骤：构建所述多个图像采集器的虚拟像中心，进一步通过将每个所述深度图的深度值作为投影距离进行球面投影来实现配准处理，从而得到对应的配准图像；底部图像填充步骤：根据所述测量车移动采集到的上一站图像和下一站图像对当前站的图像进行底部填洞；以及图像拼接融合步骤：将每一站所有的所述配准图像的重叠区域进行拼接与融合处理，从而得到具有深度信息的全景图像。
在本发明提供的基于多传感器融合的室内空间全景图像生成方法中，还可以具有这样的特征，其中，所述多个传感器包括惯性测量单元和三个激光雷达，所述多个图像采集器包括六台鱼眼相机，一台所述鱼眼相机朝向顶部进行图像采集，五台所述鱼眼相机沿水平方向呈圆形均匀分布，在所述图像采集步骤中，所述惯性测量单元和所述激光雷达自主感知测量车的运动状态，在没有GNSS信号的环境中，自主确定所述测量车的地理位置和精确的位姿信息，所述鱼眼相机在行进中进行拍照，获取多站的图像信息。
在本发明提供的基于多传感器融合的室内空间全景图像生成方法中，还可以具有这样的特征，其中，在所述深度图生成步骤中，通过所述鱼眼相机自身之间、所述鱼眼相机与所述激光雷达之间、所述激光雷达与所述惯性测量单元之间、所述激光雷达自身之间的标定确定所述惯性测量单元、所述激光雷达与所述鱼眼相机之间的相对位姿，而后统一到一个坐标系下，实现图像与点云的融合，从而得到图像对应的所述深度图。
在本发明提供的基于多传感器融合的室内空间全景图像生成方法中，还可以具有这样的特征，其中，在所述图像配准步骤中，基于六台所述鱼眼相机构建一个虚拟像空间坐标系，转换后的深度值作为球的半径，将对应的图像投影到球面上，球面与全景图像建立映射关系，实现将每一个图像配准到全景图像区域从而得到对应的配准图像。
在本发明提供的基于多传感器融合的室内空间全景图像生成方法中，还可以具有这样的特征，其中，在所述底部图像填充步骤中，基于虚拟的像空间坐标系的虚拟光心到地面的垂直距离，通过三角函数得到底部空洞到所述虚拟光心的距离，进而计算得到底部空洞三维坐标，再分别投影到上一站和下一站的所述鱼眼相机获取相应的图像来填充底部。
在本发明提供的基于多传感器融合的室内空间全景图像生成方法中，还可以具有这样的特征，其中，在所述图像拼接融合步骤中，执行最优拼接线获取步骤和图像融合步骤，所述最优拼接线获取步骤，对多张图像的重合区域建立图割模型，将图像的颜色、梯度和纹理作为能量因子，获取一条能量最低的分割线作为最优拼接线，所述图像融合步骤，在所述最优拼接线附近进行图像融合，分别建立各个图像的拉普拉斯金字塔，然后针对重叠区域，把对应的金字塔的相同层进行合并，最后对该合并后的金字塔进行逆拉普拉斯变换，从而得到最终的融合图像作为所述全景图像。
在本发明提供的基于多传感器融合的室内空间全景图像生成方法中，还可以具有这样的特征，其中，在所述最优拼接线获取步骤中，针对重叠区域内，首先，融合颜色、梯度及纹理信息计算每个像素的能量；其次，构建图割模型，每个像素被视为一个结点，并且假设每个像素有四个邻接像素，分别为其上下左右四个方位的像素，在每个结点之间，都有一条边将其连接，边的能量定位为其连接的两个像素的能量和；最后，基于图割模型，对构建的图进行优化，寻找一条能量最低的一条分割线作为所述最优拼接线。
发明的作用与效果
根据本发明所涉及的基于多传感器融合的室内空间全景图像生成方法，首先，基于预定移动规则移动测量车从而采集每一站的图像或点云数据，然后对每一站采集到的多个图像依次进行深度图生成、图像配准、底部图像填充以及图像拼接融合处理，实现图像与点云的融合，输出高质量的深度图，并利用深度值作为投影距离进行球面投影，最后输出具有深度信息且图像分辨率清晰的全景图像，该全景图像实现可以量测、三维重建和用于视觉定位等功能。
附图说明
图1是本发明的实施例中基于多传感器融合的室内空间全景图像生成方法的流程示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
<实施例>
图1是本发明的实施例中基于多传感器融合的室内空间全景图像生成方法的流程示意图。
如图1所示，在本实施例中，基于多传感器融合的室内空间全景图像生成方法是一种结合多传感器融合的室内空间数字孪生数据来生成可测量的全景图像的方法，这里的可测量体现在该方法生成的全景图像具有深度信息而且图像分辨率非常清晰。该方法包括以下步骤：
S1、图像采集步骤：基于预定移动规则移动测量车从而进行每一站的图像或点云数据的采集。这里所用的测量车融合了多传感器，在室内移动，能够提供影像、点云等数据源，包括图像(2D)、三维激光扫描点云(3D)。测量车具有多个传感器和多个图像采集器。
在本实施例中，多个传感器包括惯性测量单元(IMU)和三个激光雷达(LiDAR)；多个图像采集器包括六台鱼眼相机，一台鱼眼相机朝向室内的顶部进行图像采集，其它五台鱼眼相机沿水平方向呈圆形均匀分布，用于采集室内的每个侧面的图像。在进行图像采集之前，标定相机的内参数，以及相机与相机、相机与激光雷达、激光雷达之间、激光雷达与IMU之间的相对位置与姿态信息。而且，在图像采集过程中，移动测量车进行图像采集，每隔一米左右提示拍照采集图像数据。
在图像采集步骤S1中，采用的是多源数据融合的原理和方法，如同步定位与测图SLAM方法。惯性测量单元和激光雷达自主感知测量车的运动状态，在没有GNSS信号的环境中，能够自主确定测量车的地理位置和精确的位姿信息，鱼眼相机在行进中进行拍照，获取多站的图像信息。
S2深度图生成步骤：将多个传感器和多个图像采集器之间的标定关***一至一个坐标系下，进一步将每个图像采集器采集到的图像与点云数据融合，从而生成对应的深度图。
在深度图生成步骤S2中，精确确定多个传感器和多个图像采集器的相对位置和姿态，即传感器和图像采集器的位置和姿态的标定。具体地，通过鱼眼相机自身之间、鱼眼相机与激光雷达之间、激光雷达与惯性测量单元之间、激光雷达自身之间的标定确定惯性测量单元、激光雷达与鱼眼相机之间的相对位姿，而后统一到一个坐标系下，便于多源数据融合和数据处理计算，实现图像与点云的融合，从而得到图像对应的高质量的深度图。这里，深度图的数量与鱼眼相机的数量对应，即六张深度图。
在该步骤S2中，实现点云与图像的融合，生成图像对应的高质量的深度图，需要对点云进行处理去噪和三角构网处理。通过slam不同帧的数据来剔除噪点，去除噪点障碍物对深度图生成的影响；另外，对点云进行三角构网处理，一方面，去除后面的点通过前面点的缝隙造成深度不准的影响，另一方面，由于点云与图像分辨率不一，利于插值。
S3、图像配准步骤：构建多个图像采集器的虚拟像中心，进一步通过将每个深度图的深度值作为投影距离进行球面投影，实现配准处理，从而得到对应的配准图像，使图像具有深度信息，可以进行量测、三维重建等。
在图像配准步骤S3中，基于六台鱼眼相机构建一个虚拟像空间坐标系，转换后的深度值作为球的半径，将对应的图像投影到球面上，球面与全景图像建立映射关系，就可以将每一张图像配准到全景图像上，即、实现将每一个图像配准到全景图像区域从而得到对应的配准图像。这里，配准图像的数量为六张。
S4、底部图像填充步骤：根据测量车移动采集到的上一站图像和下一站图像对当前站的图像进行底部填洞。
在本实施例中，底部填洞，是由于底部没有相机进行图像采集，需要利用上一站和下一站的图像信息来进行底部填补。
在底部图像填充步骤S4中，基于虚拟的像空间坐标系的虚拟光心到地面的垂直距离，通过三角函数得到底部空洞到虚拟光心的距离，进而计算得到底部空洞三维坐标，再分别投影到上一站和下一站的鱼眼相机获取相应的图像来填充底部。
S5、图像拼接融合步骤：将每一站所有的配准图像的重叠区域进行拼接与融合处理，从而得到具有深度信息的全景图像。
在图像拼接融合步骤S5中，执行最优拼接线获取步骤S51和图像融合步骤S52。
S51、最优拼接线获取步骤，在得到六张配准了的全景图像后，需要对重叠区域寻找一条最优拼接线，线的一侧只选择该侧的图像部分，线的另一侧只选择这一侧的图像部分，这样使图像过渡自然，减小错层与重影。通过对多张图像的重合区域建立图割模型，将图像的颜色、梯度和纹理作为能量因子，获取一条能量最低的分割线作为最优拼接线。
在最优拼接线获取步骤S51中，针对重叠区域内，
首先，融合颜色、梯度及纹理信息计算每个像素的能量.
其次，构建图割模型，每个像素被视为一个结点，并且假设每个像素有四个邻接像素，分别为其上下左右四个方位的像素，在每个结点之间，都有一条边将其连接，边的能量定位为其连接的两个像素的能量和。
最后，基于图割模型，对构建的图进行优化，寻找一条能量最低的分割线作为最优拼接线。
S52、图像融合步骤，在最优拼接线附近进行图像融合，使图像之间过渡自然，不会突兀。具体地，分别建立各个图像的拉普拉斯金字塔，然后针对重叠区域，把对应的金字塔的相同层进行合并，最后对该合并后的金字塔进行逆拉普拉斯变换，从而得到最终的融合图像作为全景图像。
实施例的作用与效果
根据本实施例所涉及的基于多传感器融合的室内空间全景图像生成方法，采用在室内移动的测量车进行每站图像采集，该测量车集成了惯导传感器、鱼眼相机、激光雷达LiDAR等传感器，对多传感器之间进行标定比如：相机与相机、相机与激光雷达、激光雷达与IMU、激光雷达之间标定，标定出它们的相对位姿信息，就可以统一到一个坐标系下，实现点云与图像的融合，生成高质量的深度图，将深度值作为投影距离进行球面投影配准到一个全景图像上，利用上一站和下一站的图像来进行底部填洞，对图像重合区域寻找最优拼接线减小错层与重影，对拼接线附近进行图像金字塔融合，这样生成的全景图像拼接质量高且具有深度信息和准确的位姿信息。
根据本实施例的基于多传感器融合的室内空间全景图像生成方法，能够输出室内多站全景图，每相邻的两张全景图间距为1m，角分辨率小于0.3°，图像分辨率3千万以上，并且都具有三维信息，可以反算出物点相对三维坐标，可以实现可量测、三维重建等功能，并为室内视觉定位提供数据。
本实施例结合了影像与LiDAR点云数据各有自己的优势。影像可以获取物方的色彩信息，而LiDAR点云数据反映的是物方的坐标信息，将二者进行配准，就是将这两种信息做融合，从而将两种信息互补起来，得到更加完整的有用的信息。点云可以提供深度信息，利用深度信息可以作为投影距离进行球面投影，实现生成的全景图像具有深度信息。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。
Claims (6)
1.一种基于多传感器融合的室内空间全景图像生成方法，其特征在于，包括以下步骤：
图像采集步骤：基于预定移动规则移动测量车从而进行每一站的图像或点云数据的采集，所述测量车具有多个传感器和多个图像采集器；
深度图生成步骤：将所述多个传感器和所述多个图像采集器之间的标定关***一至一个坐标系下，进一步将每个所述图像采集器采集到的图像与点云数据融合，从而生成对应的深度图；
图像配准步骤：构建所述多个图像采集器的虚拟像中心，进一步通过将每个所述深度图的深度值作为投影距离进行球面投影来实现配准处理，从而得到对应的配准图像；
底部图像填充步骤：根据所述测量车移动采集到的上一站图像和下一站图像对当前站的图像进行底部填洞；所述底部填洞是通过利用上一站和下一站的图像信息实现对没有相机进行图像采集的底部进行底部填补；所述底部图像填充步骤包括：基于虚拟的像空间坐标系的虚拟光心到地面的垂直距离，通过三角函数得到底部空洞到所述虚拟光心的距离，进而计算得到底部空洞三维坐标，再分别投影到上一站和下一站的鱼眼相机获取相应的图像来填充底部；以及
图像拼接融合步骤：将每一站所有的所述配准图像的重叠区域进行拼接与融合处理，从而得到具有深度信息的全景图像。
2.如权利要求1所述的基于多传感器融合的室内空间全景图像生成方法，其特征在于：
所述多个传感器包括惯性测量单元和三个激光雷达，
所述多个图像采集器包括六台鱼眼相机，一台所述鱼眼相机朝向顶部进行图像采集，五台所述鱼眼相机沿水平方向呈圆形均匀分布，
在所述图像采集步骤中，所述惯性测量单元和所述激光雷达自主感知测量车的运动状态，在没有GNSS信号的环境中，自主确定所述测量车的地理位置和精确的位姿信息，所述鱼眼相机在行进中进行拍照，获取多站的图像信息。
3.如权利要求2所述的基于多传感器融合的室内空间全景图像生成方法，其特征在于：
在所述深度图生成步骤中，通过所述鱼眼相机自身之间、所述鱼眼相机与所述激光雷达之间、所述激光雷达与所述惯性测量单元之间、所述激光雷达自身之间的标定确定所述惯性测量单元、所述激光雷达与所述鱼眼相机之间的相对位姿，而后统一到一个坐标系下，实现图像与点云的融合，从而得到图像对应的所述深度图。
4.如权利要求3所述的基于多传感器融合的室内空间全景图像生成方法，其特征在于：
在所述图像配准步骤中，基于六台所述鱼眼相机构建一个虚拟像空间坐标系，转换后的深度值作为球的半径，将对应的图像投影到球面上，球面与全景图像建立映射关系，实现将每一个图像配准到全景图像区域从而得到对应的配准图像。
5.如权利要求1所述的基于多传感器融合的室内空间全景图像生成方法，其特征在于：
在所述图像拼接融合步骤中，执行最优拼接线获取步骤和图像融合步骤，
所述最优拼接线获取步骤，对多张图像的重合区域建立图割模型，将图像的颜色、梯度和纹理作为能量因子，获取一条能量最低的分割线作为最优拼接线，
所述图像融合步骤，在所述最优拼接线附近进行图像融合，分别建立各个图像的拉普拉斯金字塔，然后针对重叠区域，把对应的金字塔的相同层进行合并，最后对该合并后的金字塔进行逆拉普拉斯变换，从而得到最终的融合图像作为所述全景图像。
6.如权利要求5所述的基于多传感器融合的室内空间全景图像生成方法，其特征在于：
在所述最优拼接线获取步骤中，针对重叠区域内，
首先，融合颜色、梯度及纹理信息计算每个像素的能量；
其次，构建图割模型，每个像素被视为一个结点，并且假设每个像素有四个邻接像素，分别为其上下左右四个方位的像素，在每个结点之间，都有一条边将其连接，边的能量定位为其连接的两个像素的能量和；
最后，基于图割模型，对构建的图进行优化，寻找一条能量最低的一条分割线作为所述最优拼接线。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010059963.4A CN111275750B (zh) | 2020-01-19 | 2020-01-19 | 基于多传感器融合的室内空间全景图像生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010059963.4A CN111275750B (zh) | 2020-01-19 | 2020-01-19 | 基于多传感器融合的室内空间全景图像生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111275750A CN111275750A (zh) | 2020-06-12 |
| CN111275750B true CN111275750B (zh) | 2022-05-13 |
Family
ID=71002009
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010059963.4A Active CN111275750B (zh) | 2020-01-19 | 2020-01-19 | 基于多传感器融合的室内空间全景图像生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111275750B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112085653B (zh) * | 2020-08-07 | 2022-09-16 | 四川九洲电器集团有限责任公司 | 基于景深补偿的视差图像拼接方法 |
| CN114079768B (zh) * | 2020-08-18 | 2023-12-05 | 杭州海康汽车软件有限公司 | 图像的清晰度测试方法及装置 |
| CN114078325B (zh) * | 2020-08-19 | 2023-09-05 | 北京万集科技股份有限公司 | 多感知***配准方法、装置、计算机设备和存储介质 |
| CN112308778B (zh) * | 2020-10-16 | 2021-08-10 | 香港理工大学深圳研究院 | 一种利用空间三维信息辅助全景相机拼接的方法及终端 |
| CN114511596A (zh) * | 2020-10-23 | 2022-05-17 | 华为技术有限公司 | 一种数据处理方法及相关设备 |
| CN112990373B (zh) * | 2021-04-28 | 2021-08-03 | 四川大学 | 基于多尺度特征融合的卷积孪生点网络叶片轮廓拼接*** |
| CN113240615B (zh) * | 2021-05-20 | 2022-06-07 | 北京城市网邻信息技术有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN113720852A (zh) * | 2021-08-16 | 2021-11-30 | 中国飞机强度研究所 | 一种多相机图像采集监测装置 |
| CN114066723A (zh) * | 2021-11-11 | 2022-02-18 | 贝壳找房(北京)科技有限公司 | 设备检测方法、装置及存储介质 |
| CN113920270B (zh) * | 2021-12-15 | 2022-08-19 | 深圳市其域创新科技有限公司 | 一种基于多视角全景的布局重建方法及其*** |
| CN114757834B (zh) * | 2022-06-16 | 2022-09-27 | 北京建筑大学 | 一种全景图像处理方法和全景图像处理装置 |
| CN114943940A (zh) * | 2022-07-26 | 2022-08-26 | 山东金宇信息科技集团有限公司 | 一种隧道内车辆可视化监测的方法、设备及存储介质 |
| CN115291767A (zh) * | 2022-08-01 | 2022-11-04 | 北京奇岱松科技有限公司 | 物联网设备的控制方法、装置、电子设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105488775A (zh) * | 2014-10-09 | 2016-04-13 | 东北大学 | 一种基于六摄像机环视的柱面全景生成装置及方法 |
| CN105931234A (zh) * | 2016-04-19 | 2016-09-07 | 东北林业大学 | 一种地面三维激光扫描点云与影像融合及配准的方法 |
| CN106647148A (zh) * | 2017-01-25 | 2017-05-10 | 成都中信华瑞科技有限公司 | 一种获取全景图像的装置及其组装方法 |
| CN107292965A (zh) * | 2017-08-03 | 2017-10-24 | 北京航空航天大学青岛研究院 | 一种基于深度图像数据流的虚实遮挡处理方法 |
| CN108198248A (zh) * | 2018-01-18 | 2018-06-22 | 维森软件技术（上海）有限公司 | 一种车辆底部图像3d显示方法 |
| CN108765475A (zh) * | 2018-05-25 | 2018-11-06 | 厦门大学 | 一种基于深度学习的建筑物三维点云配准方法 |
| CN109115186A (zh) * | 2018-09-03 | 2019-01-01 | 山东科技大学 | 一种针对车载移动测量***的360°可量测全景影像生成方法 |
| CN109360150A (zh) * | 2018-09-27 | 2019-02-19 | 轻客小觅智能科技（北京）有限公司 | 一种基于深度相机的全景深度图的拼接方法及装置 |
| CN109600556A (zh) * | 2019-02-18 | 2019-04-09 | 武汉大学 | 一种基于单反相机的高质量精密全景成像***及方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130047822A (ko) * | 2011-11-01 | 2013-05-09 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
| US9269187B2 (en) * | 2013-03-20 | 2016-02-23 | Siemens Product Lifecycle Management Software Inc. | Image-based 3D panorama |
| CN106681330A (zh) * | 2017-01-25 | 2017-05-17 | 北京航空航天大学 | 基于多传感器数据融合的机器人导航方法及装置 |
| CN110415342B (zh) * | 2019-08-02 | 2023-04-18 | 深圳市唯特视科技有限公司 | 一种基于多融合传感器的三维点云重建装置与方法 |
-
2020
- 2020-01-19 CN CN202010059963.4A patent/CN111275750B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105488775A (zh) * | 2014-10-09 | 2016-04-13 | 东北大学 | 一种基于六摄像机环视的柱面全景生成装置及方法 |
| CN105931234A (zh) * | 2016-04-19 | 2016-09-07 | 东北林业大学 | 一种地面三维激光扫描点云与影像融合及配准的方法 |
| CN106647148A (zh) * | 2017-01-25 | 2017-05-10 | 成都中信华瑞科技有限公司 | 一种获取全景图像的装置及其组装方法 |
| CN107292965A (zh) * | 2017-08-03 | 2017-10-24 | 北京航空航天大学青岛研究院 | 一种基于深度图像数据流的虚实遮挡处理方法 |
| CN108198248A (zh) * | 2018-01-18 | 2018-06-22 | 维森软件技术（上海）有限公司 | 一种车辆底部图像3d显示方法 |
| CN108765475A (zh) * | 2018-05-25 | 2018-11-06 | 厦门大学 | 一种基于深度学习的建筑物三维点云配准方法 |
| CN109115186A (zh) * | 2018-09-03 | 2019-01-01 | 山东科技大学 | 一种针对车载移动测量***的360°可量测全景影像生成方法 |
| CN109360150A (zh) * | 2018-09-27 | 2019-02-19 | 轻客小觅智能科技（北京）有限公司 | 一种基于深度相机的全景深度图的拼接方法及装置 |
| CN109600556A (zh) * | 2019-02-18 | 2019-04-09 | 武汉大学 | 一种基于单反相机的高质量精密全景成像***及方法 |
Non-Patent Citations (2)
| Title |
|---|
| Visual and LiDAR-based for the mobile 3D mapping;Qiao Wu等;《2016 IEEE International Conference on Robotics and Biomimetics (ROBIO)》;20170302;第1522-1527页 * |
| 基于Kinect传感器的移动机器人室内三维环境创建;刘继忠 等;《广西大学学报(自然科学版)》;20171231;第2134-2139页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111275750A (zh) | 2020-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111275750B (zh) | 基于多传感器融合的室内空间全景图像生成方法 | |
| CN112132972B (zh) | 一种激光与图像数据融合的三维重建方法及*** | |
| CN112894832B (zh) | 三维建模方法、装置、电子设备和存储介质 | |
| CN106327573B (zh) | 一种针对城市建筑的实景三维建模方法 | |
| CN112367514B (zh) | 三维场景构建方法、装置、***和存储介质 | |
| WO2019127445A1 (zh) | 三维建图方法、装置、***、云端平台、电子设备和计算机程序产品 | |
| KR100912715B1 (ko) | 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치 | |
| JP4685313B2 (ja) | 任意の局面の受動的な体積画像の処理方法 | |
| CN106780712B (zh) | 联合激光扫描和影像匹配的三维点云生成方法 | |
| CN111060924B (zh) | 一种slam与目标跟踪方法 | |
| CN111141264B (zh) | 一种基于无人机的城市三维测绘方法和*** | |
| CN109472865B (zh) | 一种基于图像模型绘制的自由可量测全景再现方法 | |
| KR20220064524A (ko) | 이미지 기반 측위 방법 및 시스템 | |
| CN109709977B (zh) | 移动轨迹规划的方法、装置及移动物体 | |
| CN112465732A (zh) | 一种车载激光点云与序列全景影像的配准方法 | |
| CN112461210A (zh) | 一种空地协同建筑测绘机器人***及其测绘方法 | |
| Li et al. | Dense surface reconstruction from monocular vision and LiDAR | |
| CN112862966B (zh) | 地表三维模型构建方法、装置、设备及存储介质 | |
| US20230351625A1 (en) | A method for measuring the topography of an environment | |
| CN113608234A (zh) | 一种城市数据采集*** | |
| CN113345084B (zh) | 三维建模***及三维建模方法 | |
| CN111197986B (zh) | 一种无人机三维路径实时预警避障方法 | |
| Zhao et al. | Alignment of continuous video onto 3D point clouds | |
| CN114972672B (zh) | 输电线路实景三维模型构建方法、装置、设备和存储介质 | |
| CN113129422A (zh) | 一种三维模型构建方法、装置、存储介质和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |