CN116188275A - 一种单塔机全景图像拼接方法和*** - Google Patents
一种单塔机全景图像拼接方法和*** Download PDFInfo
- Publication number
- CN116188275A CN116188275A CN202310474098.3A CN202310474098A CN116188275A CN 116188275 A CN116188275 A CN 116188275A CN 202310474098 A CN202310474098 A CN 202310474098A CN 116188275 A CN116188275 A CN 116188275A
- Authority
- CN
- China
- Prior art keywords
- image
- frame
- camera
- images
- panoramic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000012937 correction Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 230000009467 reduction Effects 0.000 claims abstract description 8
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims abstract description 6
- 238000013139 quantization Methods 0.000 claims abstract description 6
- 230000004927 fusion Effects 0.000 claims description 40
- 238000001228 spectrum Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 21
- 239000000203 mixture Substances 0.000 claims description 15
- 238000002156 mixing Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 229910052704 radon Inorganic materials 0.000 claims description 8
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 claims description 8
- 230000035945 sensitivity Effects 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 8
- 238000012546 transfer Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 239000000758 substrate Substances 0.000 claims 2
- 239000000523 sample Substances 0.000 claims 1
- 238000003672 processing method Methods 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000003416 augmentation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例提供一种单塔机全景图像拼接方法和***。该方法包括：在塔机的大臂的四个位置设置相同高度的摄像头获取整个塔机的视野图片；获取每个摄像头的视频流，取同一拍摄时刻每个摄像头拍摄的一帧图像并做图像灰度处理；针对每个摄像头拍摄的一帧图像，做水平梯度和垂直梯度图，根据梯度图做模糊度量化，检测该同一拍摄时刻的每个摄像头拍摄的图像是否出现模糊；如果没有出现模糊，则对四帧摄像头图像进行图像缩小、视角修正、特征提取、特征匹配操作；将该同一时刻所有摄像头的拍摄图像进行全景拼接得到全景图像。本申请能够智能的检测到图像模糊问题，并采用图像处理方法来消除拼接图像的模糊。
Description
技术领域
本申请涉及智能塔吊技术领域，尤其涉及一种单塔机全景图像拼接方法和***。
背景技术
塔吊（或塔机）的监控目前依赖于多个不同部位的摄像头分别监控一片区域，但是这种监控方式可能导致某个监控位置或者方向并未被所有的摄像头所覆盖，容易出现监控死角；另外，由于施工中塔吊经常处于震动、晃动之中，导致摄像头也随即晃动、抖动，使得摄像头采集的监控画面容易出现模糊等情况，影响生产安全的监控。
发明内容
有鉴于此，本申请的目的在于提出一种单塔机全景图像拼接方法和装置，本申请能够针对性的解决现有的塔吊监控问题。
基于上述目的，本申请提出了一种单塔机全景图像拼接方法，包括：
在塔机的大臂的四个位置设置相同高度的摄像头获取整个塔机的视野图片，当大臂旋转一周时，全景图像由四个摄像头实时拼接而成；其中每个摄像头安装在云台上；
在对云台进行增稳处理后，获取每个摄像头的视频流，取同一拍摄时刻每个摄像头拍摄的一帧图像并做图像灰度处理；
针对每个摄像头拍摄的一帧图像，做水平梯度和垂直梯度图，根据梯度图做模糊度量化，检测该同一拍摄时刻的每个摄像头拍摄的图像是否出现模糊；
如果出现模糊，则重新回到取一帧图像做图像灰度处理的步骤，如果没有出现模糊，则对四帧摄像头图像进行图像缩小、视角修正、特征提取、特征匹配操作；
将该同一时刻所有摄像头的拍摄图像进行全景拼接得到全景图像。
进一步地，当至少一个拍摄图像出现模糊时，则判断所述至少一个拍摄图像对应的摄像头发生了抖动，刷新该至少一个摄像头的拍摄图像直到其拍摄图像未出现模糊，重新使用所有摄像头的拍摄图像进行上述全景拼接，或者在该同一拍摄时刻后预设时长的多个刷新图像仍然出现模糊时，使用出现模糊的摄像头的上一个未出现模糊的图像与其他摄像头的拍摄图像进行全景拼接。
进一步地，所述检测该同一拍摄时刻的每个摄像头拍摄的图像是否出现模糊，包括：
对于每个摄像头，确定该同一拍摄时刻的拍摄图像的功率谱；
通过检测所述功率谱的Radon变换投影方差最大的方向，确定模糊的方向；
在模糊方向选择图像功率谱的Radon变换；
应用滤波器平滑功率谱并去除噪声；
计算平滑后的功率谱的第一关键位置，其中关键位置包括功率谱的波峰和波谷处的点；
使用快门序列，计算快门序列的调制传递函数；
计算调制传递函数的第二关键位置；
根据第一关键位置和第二关键位置的比率的加权和计算图像中的模糊程度。
进一步地，所述检测该同一拍摄时刻的每个摄像头拍摄的图像是否出现模糊，包括：
提取参考帧和待测试帧图像的梯度图和边缘信息；
将参考帧和待测试帧的梯度图按照人眼视觉***的对比度敏感特性函数进行加权处理；
对参考帧和待测试帧的梯度图进行分割，提取结构信息丰富的对应块；
计算对应块的结构相似度指标，并求和平均计算整幅待测试帧图像的模糊度指标值。
进一步地，所述将该同一拍摄时刻所有摄像头的拍摄图像进行全景拼接得到全景图像，包括：对于相邻的每两个摄像头，均执行以下拼接操作：
接收由第一摄像头捕获的第一帧，第一帧包括像素值的第一空间排列；
确定第一重叠区域，该第一重叠区域包括来自第一摄像头的第一视场的与第二摄像头的第二视场重叠的第一部分的像素值；
接收由第二摄像头捕获的第二帧，第二帧包括像素值的第二空间排列；
确定第二重叠区域，该第二重叠区域包括来自与第一摄像头的第一视场重叠的第二摄像头的第二视场的第二部分的像素值；
基于包括第一帧和第二帧的一组帧生成全景帧，全景帧包括像素值的第三空间排列，其中像素值的第三空间排列包括：
第一帧区域包括选自第一帧的像素值；
第二帧区域包括选自第二帧的像素值；和
混合帧区域包括从第一重叠区域和第二重叠区域导出的像素值。
进一步地，所述基于包括第一帧和第二帧的一组帧生成全景帧之后，进一步包括：
接收混合帧区域中的缝合接缝的第一指示；
在拼接接缝的第一侧接收混合帧区域中的第一混合限制的第二指示；
在拼接接缝的第二侧接收混合帧区域中的第二混合限制的第三指示；
在第一重叠区域的第一位置处确定第一重叠区域混合限制，该第一位置相当于混合帧区域中的第一混合限制的第二位置；
识别第一重叠区域的第一非重复部分，其中第一重叠区域的非重复部分包括从第一帧的第一边缘到第一重叠区域混合限制的像素值的第一空间排列的像素位置；
在第二重叠区域的第三位置处确定第二重叠区域混合限制，该第三位置相当于混合帧区域中的第二混合限制的第四位置；
识别第二重叠区域的第二非重复部分，其中第二重叠区域的非重复部分包括从第二帧的第二边缘到第二重叠区域混合限制的像素值的第二空间排列的像素位置。
进一步地，所述将该同一拍摄时刻所有摄像头的拍摄图像进行全景拼接得到全景图像，包括：将该同一拍摄时刻所有摄像头的拍摄图像进行图像畸变矫正和缩放处理得到全部待融合图像；
计算同一拍摄时刻所有摄像头的全部待融合图像在融合区内的最优缝合中心线，融合区包括第一融合区和第二融合区，第一融合区由位于各待融合图像的底部且相互重叠的区域构成，第二融合区由相邻两幅待融合图像其边缘相互重叠的区域构成；
基于最优缝合中心线计算第一融合区与第二融合区的权重表；
根据第一融合区和第二融合区的权重表对所有待融合图像进行融合和图像拉伸。
本申请还提出了一种单塔机全景图像拼接***，包括：
传感器模块，用于在塔机的大臂的四个位置设置相同高度的摄像头获取整个塔机的视野图片，当大臂旋转一周时，全景图像由四个摄像头实时拼接而成；其中每个摄像头安装在云台上；
图像获取模块，用于在对云台进行增稳处理后，获取每个摄像头的视频流，取同一拍摄时刻每个摄像头拍摄的一帧图像并做图像灰度处理；
模糊检测模块，用于针对每个摄像头拍摄的一帧图像，做水平梯度和垂直梯度图，根据梯度图做模糊度量化，检测该同一拍摄时刻的每个摄像头拍摄的图像是否出现模糊；
特征处理模块，用于如果出现模糊，则重新回到取一帧图像做图像灰度处理的步骤，如果没有出现模糊，则对四帧摄像头图像进行图像缩小、视角修正、特征提取、特征匹配操作；
全景拼接模块，用于将该同一时刻所有摄像头的拍摄图像进行全景拼接得到全景图像。
总的来说，本申请的优势及给用户带来的体验在于：
本申请使用多个不同部位的摄像头分别采集不同区域的图像或视频，再将所有图像进行拼接，得到塔机全景图像，从而消除了监控死角；另外，能够智能的检测到摄像头由于晃动、抖动产生的图像模糊问题，并采用图像处理方法来消除拼接图像的模糊，从而保证塔机全景图像的始终清晰，保证了生产安全的有效监控。本发明采用的创新性的模糊判断方法，能够准确的对模糊程度进行定量分析和测定，并据此进行相应的模糊处理，能够更加有效的消除模糊；本发明采用的创新性的全景拼接方法，相对于现有技术而言，能够消除图像拼接过程中的卡顿感，以及实现无缝拼接，使得观感效果优秀。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请公开的一些实施方式，而不应将其视为是对本申请范围的限制。
图1示出本申请的摄像头安装位置示意图。
图2示出根据本申请实施例的单塔机全景图像拼接方法的流程图。
图3示出本申请的第一种全景拼接方式示意图。
图4示出本申请的第二种全景拼接方式示意图。
图5示出根据本申请实施例的单塔机全景图像拼接装置的构成图。
图6示出了本申请一实施例所提供的一种电子设备的结构示意图。
图7示出了本申请一实施例所提供的一种存储介质的示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出本申请的摄像头安装位置示意图。本申请的实施例中，在大臂的四个位置设置相同高度的摄像头即可获取整个塔机的视野图片，全景图像由四个摄像头实时拼接而成。每个摄像头的拍摄角度可以根据图像拼接的需求而进行设置。每个摄像头安装在云台上。
图2示出根据本申请实施例的单塔机全景图像拼接方法的流程图。如图2所示，该单塔机全景图像拼接方法包括：
在对云台进行增稳（电子增稳或光学增稳）处理后，获取每个摄像头的视频流，取同一拍摄时刻每个摄像头拍摄的一帧图像并做图像灰度处理；
针对每个摄像头拍摄的一帧图像，通过Tenengrad梯度方法做水平梯度和垂直梯度图，根据梯度图做模糊度量化（例如基于像素灰度值平方和），检测该同一拍摄时刻的每个摄像头拍摄的图像是否出现模糊；
如果出现模糊，则重新回到取一帧图像做图像灰度处理的步骤，如果没有出现模糊，则为了保证拼接的前提下使得图像尽可能小，对四帧摄像头图像进行图像缩小、视角修正（透视变换）、用深度学习做特征提取、特征匹配操作；由于图像缩小、视角修正（透视变换）、用深度学习做特征提取、特征匹配属于本领域公知常识，不属于本申请的创新点，在此不再赘述。
将该同一时刻所有摄像头的拍摄图像进行全景拼接得到全景图像。
进一步的，本实施例还可以包括以下步骤：如果当至少一个拍摄图像出现模糊时，则判断所述至少一个拍摄图像对应的摄像头发生了抖动，刷新该至少一个摄像头的拍摄图像直到其拍摄图像未出现模糊，重新使用所有摄像头的拍摄图像进行上述全景拼接，或者在该同一拍摄时刻后预设时长的多个刷新图像仍然出现模糊时，使用出现模糊的摄像头的上一个未出现模糊的图像与其他摄像头的拍摄图像进行全景拼接。
本申请的重点技术创新包含两个方面，一个方面是塔机图像拍摄中模糊的检测方式（本申请设计了二种不同的检测方式），一个方面是全景拼接的方法（本申请设计了二种不同的拼接方式），以下分别进行阐述。
在本申请的第一个实施例中，所述检测该同一拍摄时刻的每个摄像头拍摄的图像是否出现模糊，包括：
对于每个摄像头，确定该同一拍摄时刻的拍摄图像的功率谱；图像的功率谱,是指在每个频带中，该频带内所有像素强度值的总平方和。这个总和表示了图像在对应频带内的能量分布情况,又称为该频带内的功率。
通过检测所述功率谱的Radon变换（拉东变换）投影方差最大的方向，确定模糊的方向；拉东变换是一个积分变换，它将定义在二维平面上的一个函数 f(x,y) 沿着平面上的任意一条直线做线积分，相当于对函数 f(x,y) 做CT扫描。其基本应用是根据 CT 的透射光强重建出投影前的函数 f(x,y)，即拉东变换的反演问题。
在模糊方向选择图像功率谱的Radon变换；
应用滤波器平滑功率谱并去除噪声；
计算平滑后的功率谱的第一关键位置，其中第一关键位置包括功率谱的波峰和波谷处的点；
获取所述摄像头的快门序列，计算快门序列的调制传递函数；ModulationTransfer Function（调制传递函数）是分析镜头的解像比较科学的方法，近来有越来越多人发现这虽然是一种标准，但有些影像非标准化能够衡量出来的，所以MTF只是个参考值而非全部。
计算调制传递函数的第二关键位置；本***、方法利用快门被触发的方式（快门序列）的先验知识从单个图像估计一维运动模糊，模糊程度基于图像的傅里叶频谱的主旁瓣的位置与快门序列的傅里叶变换的位置的比率。
根据第一关键位置和第二关键位置的比率的加权和计算图像中的模糊程度。即使模糊图像的所得傅立叶频谱的细节和振幅因图像内容而改变，傅立叶频谱的主瓣和旁瓣的主要峰谷的一般形状仍然类似于PSF（点扩散函数)的快门序列。因此，模糊量沿着空间频率轴扩展或收缩频谱，并且使用该技术特征来估计模糊。
在本申请的第二个实施例中，所述检测该同一拍摄时刻的每个摄像头拍摄的图像是否出现模糊，包括：
提取参考帧和待测试帧图像的梯度图和边缘信息；此处参考帧是已知的清晰图像，用于作为待测试帧的参照图像。
将参考帧和待测试帧的梯度图按照人眼视觉***的对比度敏感特性函数进行加权处理；人眼视觉***特性是图像显示、处理、理解等技术的理论基础,对比度敏感函数(Contrast Sensitivity Functions:CSF)是描述视觉***空间特性的主要指标之一,对比度敏感函数是反映空间频率和在不同的条件下的对比度觉察阈值的关系。对比敏感度函数（CSF）可以衡量HVS对各种视觉刺激频率的敏感性。它反映了在不同的空间频率上，人眼对目标亮度的辨别力不同。该函数用于梯度图像处理属于本领域公知常识，在此不再详细描述。
对参考帧和待测试帧的梯度图进行分割，提取结构信息丰富的对应块；将参考帧和待测试帧的梯度图进行网状分割，选取梯度变化较大的块作为结构信息丰富的对应块，如此可以进一步快速比对出测试帧与参考帧之间的差异信息。
计算对应块的结构相似度指标，并求和平均计算整幅待测试帧图像的模糊度指标值。在这个步骤中，对于参考帧和待测试帧之间对应块的结构相似度进行计算，计算过程为对参考帧和待测试帧相同坐标像素的梯度差值进行累加，能够得到一个参考帧和待测试帧对应块之间总的梯度差值之和，根据这个差异之和，就能够衡量拍摄图像的模糊是否达到了一定的程度。通过求和平均计算整幅待测试帧图像的模糊度指标值与预设阈值的大小关系，判断待测试帧是否为模糊图像。当模糊度指标值大于预设的阈值，可以认定参考帧和待测试帧之间的差异过大，可以肯定待测试帧必然出现了较大范围的模糊情况。
在本申请的第三个实施例中，所述将该同一时刻所有摄像头的拍摄图像进行全景拼接得到全景图像，包括：对于相邻的每两个摄像头，如图3所示，均执行以下拼接操作：
接收由第一摄像头捕获的第一帧，第一帧包括像素值的第一空间排列；
确定第一重叠区域，该第一重叠区域包括来自第一摄像头的第一视场的与第二摄像头的第二视场重叠的第一部分的像素值；
接收由第二摄像头捕获的第二帧，第二帧包括像素值的第二空间排列；
确定第二重叠区域，该第二重叠区域包括来自与第一摄像头的第一视场重叠的第二摄像头的第二视场的第二部分的像素值；
基于包括第一帧和第二帧的一组帧生成全景帧，全景帧包括像素值的第三空间排列，其中像素值的第三空间排列包括：
第一帧区域包括选自第一帧的像素值；
第二帧区域包括选自第二帧的像素值；和
混合帧区域包括从第一重叠区域和第二重叠区域导出的像素值。
所述基于包括第一帧和第二帧的一组帧生成全景帧之后，进一步包括：
接收混合帧区域中的缝合接缝的第一指示；
在拼接接缝的第一侧接收混合帧区域中的第一混合限制的第二指示；
在拼接接缝的第二侧接收混合帧区域中的第二混合限制的第三指示；
识别第一重叠区域的第一非重复部分，其中第一重叠区域的非重复部分包括从第一帧的第一边缘到第一重叠区域混合限制的像素值的第一空间排列的像素位置；
识别第二重叠区域的第二非重复部分，其中第二重叠区域的非重复部分包括从第二帧的第二边缘到第二重叠区域混合限制的像素值的第二空间排列的像素位置；
将所述第一非重复部分、第二非重复部分以及第一重叠区域和第二重叠区域的重复部分整体作为完成拼接的传输帧。
在本申请的第四个实施例中，所述将该同一拍摄时刻所有摄像头的拍摄图像进行全景拼接得到全景图像，包括：将该同一拍摄时刻所有摄像头的拍摄图像进行图像畸变矫正和缩放处理得到全部待融合图像；如图4所示，取三幅相邻的待融合图像，其底部相互重叠的区域分别为Img1、Img2、Img3构成第一融合区；相邻的两幅待融合图像相互重叠的区域2和3、4和5、6和1分别构成了第二融合区，总共有三个第二融合区。
计算同一拍摄时刻所有摄像头的全部待融合图像在融合区内的最优缝合中心线，融合区包括第一融合区和第二融合区，第一融合区由位于各待融合图像的底部且相互重叠的区域构成，第二融合区由相邻两幅待融合图像其边缘相互重叠的区域构成；最优缝合中心线为第一融合区内部两个图像之间，第二融合区内部两个图像之间的重复部分的中心线。例如2和3之间会有对于同一部分景象的完全重复的部分，即包括多个完全相同的像素列，最优缝合中心线就选择多个完全相同的像素列中的中间那列。
基于最优缝合中心线计算第一融合区与第二融合区的权重表；类似图3，第一融合区内部两个图像之间、第二融合区内部两个图像之间类似于重叠区域，而同一部分景象的完全重复的部分就是类似图3中的第一重叠区域和第二重叠区域的重复部分，那么第一融合区内部两个图像之间的非重复部分、重复部分，第二融合区内部两个图像之间的非重复部分、重复部分一起共同构成了缝合部分，分别对这三个部分的像素列数所占比重进行计算，可以得到每个部分在缝合部分中的占比，作为第一融合区和第二融合区的权重表。以下为权重表的一个具体示例（以下仅为示意，实际计算按照实际图像拍摄结果而计算和确定）：
根据第一融合区和第二融合区的权重表对所有待融合图像进行融合和图像拉伸。
本申请使用多个不同部位的摄像头分别采集不同区域的图像或视频，再将所有图像进行拼接，得到塔机全景图像，从而消除了监控死角；另外，能够智能的检测到摄像头由于晃动、抖动产生的图像模糊问题，并采用图像处理方法来消除拼接图像的模糊，从而保证塔机全景图像的始终清晰，保证了生产安全的有效监控。
申请实施例提供了一种单塔机全景图像拼接装置，该装置用于执行上述实施例所述的单塔机全景图像拼接方法，如图5所示，该装置包括：
本申请还提出了一种单塔机全景图像拼接***，包括：
传感器模块501，用于在塔机的大臂的四个位置设置相同高度的摄像头获取整个塔机的视野图片，当大臂旋转一周时，全景图像由四个摄像头实时拼接而成；其中每个摄像头安装在云台上；
图像获取模块502，用于在对云台进行增稳处理后，获取每个摄像头的视频流，取同一拍摄时刻每个摄像头拍摄的一帧图像并做图像灰度处理；
模糊检测模块503，用于针对每个摄像头拍摄的一帧图像，做水平梯度和垂直梯度图，根据梯度图做模糊度量化，检测该同一拍摄时刻的每个摄像头拍摄的图像是否出现模糊；
特征处理模块504，用于如果出现模糊，则重新回到取一帧图像做图像灰度处理的步骤，如果没有出现模糊，则对四帧摄像头图像进行图像缩小、视角修正、特征提取、特征匹配操作；
全景拼接模块505，用于将该同一时刻所有摄像头的拍摄图像进行全景拼接得到全景图像。
本申请的上述实施例提供的单塔机全景图像拼接装置与本申请实施例提供的单塔机全景图像拼接方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的单塔机全景图像拼接方法对应的电子设备，以执行上单塔机全景图像拼接方法。本申请实施例不做限定。
请参考图6，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图6所示，所述电子设备2包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的单塔机全景图像拼接方法。
其中，存储器201可能包含高速随机存取存储器（RAM：Random Access Memory），也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口203（可以是有线或者无线）实现该***网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述单塔机全景图像拼接方法可以应用于处理器200中，或者由处理器200实现。
处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。
本申请实施例提供的电子设备与本申请实施例提供的单塔机全景图像拼接方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的单塔机全景图像拼接方法对应的计算机可读存储介质，请参考图7，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序（即程序产品），所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的单塔机全景图像拼接方法。
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的单塔机全景图像拼接方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟***或者其它设备有固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述，构造这类***所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器( DSP )来实现根据本申请实施例的虚拟机的创建***中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者***程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干***的单元权利要求中，这些***中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种单塔机全景图像拼接方法，其特征在于，包括：
在塔机的大臂的四个位置设置相同高度的摄像头获取整个塔机的视野图片，当大臂旋转一周时，全景图像由四个摄像头实时拼接而成；其中每个摄像头安装在云台上；
在对云台进行增稳处理后，获取每个摄像头的视频流，取同一拍摄时刻每个摄像头拍摄的一帧图像并做图像灰度处理；
针对每个摄像头拍摄的一帧图像，做水平梯度和垂直梯度图，根据梯度图做模糊度量化，检测该同一拍摄时刻的每个摄像头拍摄的图像是否出现模糊；
如果出现模糊，则重新回到取一帧图像做图像灰度处理的步骤，如果没有出现模糊，则对四帧摄像头图像进行图像缩小、视角修正、特征提取、特征匹配操作；
将该同一时刻所有摄像头的拍摄图像进行全景拼接得到全景图像。
2.根据权利要求1所述的方法，其特征在于，进一步包括：
当至少一个拍摄图像出现模糊时，则判断所述至少一个拍摄图像对应的摄像头发生了抖动，刷新该至少一个摄像头的拍摄图像直到其拍摄图像未出现模糊，重新使用所有摄像头的拍摄图像进行上述全景拼接，或者在该同一拍摄时刻后预设时长的多个刷新图像仍然出现模糊时，使用出现模糊的摄像头的上一个未出现模糊的图像与其他摄像头的拍摄图像进行全景拼接。
3.根据权利要求1所述的方法，其特征在于，
所述检测该同一拍摄时刻的每个摄像头拍摄的图像是否出现模糊，包括：
对于每个摄像头，确定该同一拍摄时刻的拍摄图像的功率谱；
通过检测所述功率谱的Radon变换投影方差最大的方向，确定模糊的方向；
在模糊方向选择图像功率谱的Radon变换；
应用滤波器平滑功率谱并去除噪声；
计算平滑后的功率谱的第一关键位置，其中第一关键位置包括功率谱的波峰和波谷处的点；
使用快门序列，计算快门序列的调制传递函数；
计算调制传递函数的第二关键位置；
根据第一关键位置和第二关键位置的比率的加权和计算图像中的模糊程度。
4.根据权利要求1所述的方法，其特征在于，
所述检测该同一拍摄时刻的每个摄像头拍摄的图像是否出现模糊，包括：
提取参考帧和待测试帧图像的梯度图和边缘信息；
将参考帧和待测试帧的梯度图按照人眼视觉***的对比度敏感特性函数进行加权处理；
对参考帧和待测试帧的梯度图进行分割，提取结构信息丰富的对应块；
计算对应块的结构相似度指标，并求和平均计算整幅待测试帧图像的模糊度指标值。
5.根据权利要求2-4任一项所述的方法，其特征在于，
所述将该同一拍摄时刻所有摄像头的拍摄图像进行全景拼接得到全景图像，包括：对于相邻的每两个摄像头，均执行以下拼接操作：
接收由第一摄像头捕获的第一帧，第一帧包括像素值的第一空间排列；
确定第一重叠区域，该第一重叠区域包括来自第一摄像头的第一视场的与第二摄像头的第二视场重叠的第一部分的像素值；
接收由第二摄像头捕获的第二帧，第二帧包括像素值的第二空间排列；
确定第二重叠区域，该第二重叠区域包括来自与第一摄像头的第一视场重叠的第二摄像头的第二视场的第二部分的像素值；
基于包括第一帧和第二帧的一组帧生成全景帧，全景帧包括像素值的第三空间排列，其中像素值的第三空间排列包括：
第一帧区域包括选自第一帧的像素值；
第二帧区域包括选自第二帧的像素值；和
混合帧区域包括从第一重叠区域和第二重叠区域导出的像素值。
6.根据权利要求5所述的方法，其特征在于，
所述基于包括第一帧和第二帧的一组帧生成全景帧之后，进一步包括：
接收混合帧区域中的缝合接缝的第一指示；
在拼接接缝的第一侧接收混合帧区域中的第一混合限制的第二指示；
在拼接接缝的第二侧接收混合帧区域中的第二混合限制的第三指示；
在第一重叠区域的第一位置处确定第一重叠区域混合限制，该第一位置相当于混合帧区域中的第一混合限制的第二位置；
识别第一重叠区域的第一非重复部分，其中第一重叠区域的非重复部分包括从第一帧的第一边缘到第一重叠区域混合限制的像素值的第一空间排列的像素位置；
在第二重叠区域的第三位置处确定第二重叠区域混合限制，该第三位置相当于混合帧区域中的第二混合限制的第四位置；
识别第二重叠区域的第二非重复部分，其中第二重叠区域的非重复部分包括从第二帧的第二边缘到第二重叠区域混合限制的像素值的第二空间排列的像素位置。
7.根据权利要求2-4任一项所述的方法，其特征在于，
所述将该同一拍摄时刻所有摄像头的拍摄图像进行全景拼接得到全景图像，包括：将该同一拍摄时刻所有摄像头的拍摄图像进行图像畸变矫正和缩放处理得到全部待融合图像；
计算同一拍摄时刻所有摄像头的全部待融合图像在融合区内的最优缝合中心线，融合区包括第一融合区和第二融合区，第一融合区由位于各待融合图像的底部且相互重叠的区域构成，第二融合区由相邻两幅待融合图像其边缘相互重叠的区域构成；
基于最优缝合中心线计算第一融合区与第二融合区的权重表；
根据第一融合区和第二融合区的权重表对所有待融合图像进行融合和图像拉伸。
8.一种单塔机全景图像拼接***，其特征在于，包括：
传感器模块，用于在塔机的大臂的四个位置设置相同高度的摄像头获取整个塔机的视野图片，当大臂旋转一周时，全景图像由四个摄像头实时拼接而成；其中每个摄像头安装在云台上；
图像获取模块，用于在对云台进行增稳处理后，获取每个摄像头的视频流，取同一拍摄时刻每个摄像头拍摄的一帧图像并做图像灰度处理；
模糊检测模块，用于针对每个摄像头拍摄的一帧图像，做水平梯度和垂直梯度图，根据梯度图做模糊度量化，检测该同一拍摄时刻的每个摄像头拍摄的图像是否出现模糊；
特征处理模块，用于如果出现模糊，则重新回到取一帧图像做图像灰度处理的步骤，如果没有出现模糊，则对四帧摄像头图像进行图像缩小、视角修正、特征提取、特征匹配操作；
全景拼接模块，用于将该同一时刻所有摄像头的拍摄图像进行全景拼接得到全景图像。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序以实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310474098.3A CN116188275B (zh) | 2023-04-28 | 2023-04-28 | 一种单塔机全景图像拼接方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310474098.3A CN116188275B (zh) | 2023-04-28 | 2023-04-28 | 一种单塔机全景图像拼接方法和*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116188275A true CN116188275A (zh) | 2023-05-30 |
| CN116188275B CN116188275B (zh) | 2023-10-20 |
Family
ID=86447492
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310474098.3A Active CN116188275B (zh) | 2023-04-28 | 2023-04-28 | 一种单塔机全景图像拼接方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116188275B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101616310A (zh) * | 2009-07-17 | 2009-12-30 | 清华大学 | 可变视角及分辨率的双目视觉***目标图像稳定化方法 |
| US20120162448A1 (en) * | 2010-04-30 | 2012-06-28 | Honeywell International Inc. | Method and system for detecting motion blur |
| CN202444572U (zh) * | 2012-02-29 | 2012-09-19 | 上海海事大学 | 一种无参考的视频监控图像模糊质量检测装置 |
| CN105357433A (zh) * | 2015-10-13 | 2016-02-24 | 哈尔滨工程大学 | 一种高速旋转焦距自适应全景成像方法 |
| US10063792B1 (en) * | 2015-09-30 | 2018-08-28 | Amazon Technologies, Inc. | Formatting stitched panoramic frames for transmission |
| CN108510445A (zh) * | 2018-03-30 | 2018-09-07 | 长沙全度影像科技有限公司 | 一种全景图像拼接方法 |
| US10104286B1 (en) * | 2015-08-27 | 2018-10-16 | Amazon Technologies, Inc. | Motion de-blurring for panoramic frames |
| CN108933899A (zh) * | 2018-08-22 | 2018-12-04 | Oppo广东移动通信有限公司 | 全景拍摄方法、装置、终端及计算机可读存储介质 |
| CN109272456A (zh) * | 2018-07-25 | 2019-01-25 | 大连理工大学 | 基于视觉先验信息的模糊图像高精度还原方法 |
| CN112991175A (zh) * | 2021-03-18 | 2021-06-18 | 中国平安人寿保险股份有限公司 | 一种基于单ptz摄像头的全景图片生成方法及设备 |
| CN113938647A (zh) * | 2021-09-13 | 2022-01-14 | 杭州大杰智能传动科技有限公司 | 用于智慧工地的智能塔吊作业全景监控还原方法和*** |
| CN114331835A (zh) * | 2021-12-15 | 2022-04-12 | 中国飞行试验研究院 | 一种基于最优映射矩阵的全景图像拼接方法及装置 |
| CN115439424A (zh) * | 2022-08-23 | 2022-12-06 | 成都飞机工业（集团）有限责任公司 | 一种无人机航拍视频图像智能检测方法 |
| CN115631094A (zh) * | 2022-11-09 | 2023-01-20 | 北京航空航天大学 | 基于球形校正的无人机实时图像拼接方法 |
-
2023
- 2023-04-28 CN CN202310474098.3A patent/CN116188275B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101616310A (zh) * | 2009-07-17 | 2009-12-30 | 清华大学 | 可变视角及分辨率的双目视觉***目标图像稳定化方法 |
| US20120162448A1 (en) * | 2010-04-30 | 2012-06-28 | Honeywell International Inc. | Method and system for detecting motion blur |
| CN202444572U (zh) * | 2012-02-29 | 2012-09-19 | 上海海事大学 | 一种无参考的视频监控图像模糊质量检测装置 |
| US10104286B1 (en) * | 2015-08-27 | 2018-10-16 | Amazon Technologies, Inc. | Motion de-blurring for panoramic frames |
| US10063792B1 (en) * | 2015-09-30 | 2018-08-28 | Amazon Technologies, Inc. | Formatting stitched panoramic frames for transmission |
| CN105357433A (zh) * | 2015-10-13 | 2016-02-24 | 哈尔滨工程大学 | 一种高速旋转焦距自适应全景成像方法 |
| CN108510445A (zh) * | 2018-03-30 | 2018-09-07 | 长沙全度影像科技有限公司 | 一种全景图像拼接方法 |
| CN109272456A (zh) * | 2018-07-25 | 2019-01-25 | 大连理工大学 | 基于视觉先验信息的模糊图像高精度还原方法 |
| CN108933899A (zh) * | 2018-08-22 | 2018-12-04 | Oppo广东移动通信有限公司 | 全景拍摄方法、装置、终端及计算机可读存储介质 |
| CN112991175A (zh) * | 2021-03-18 | 2021-06-18 | 中国平安人寿保险股份有限公司 | 一种基于单ptz摄像头的全景图片生成方法及设备 |
| CN113938647A (zh) * | 2021-09-13 | 2022-01-14 | 杭州大杰智能传动科技有限公司 | 用于智慧工地的智能塔吊作业全景监控还原方法和*** |
| CN114331835A (zh) * | 2021-12-15 | 2022-04-12 | 中国飞行试验研究院 | 一种基于最优映射矩阵的全景图像拼接方法及装置 |
| CN115439424A (zh) * | 2022-08-23 | 2022-12-06 | 成都飞机工业（集团）有限责任公司 | 一种无人机航拍视频图像智能检测方法 |
| CN115631094A (zh) * | 2022-11-09 | 2023-01-20 | 北京航空航天大学 | 基于球形校正的无人机实时图像拼接方法 |
Non-Patent Citations (2)
| Title |
|---|
| CHEN GUAN-HAO 等: "Gradient-Based Structural Similarity for Image Quality Assessment", 《2006 INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》, pages 2929 - 2932 * |
| 张炳文 等: "多摄像头侧视钻孔全景图像拼接", 《广西大学学报(自然科学版)》, vol. 42, no. 03, pages 1092 - 1098 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116188275B (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11665427B2 (en) | Still image stabilization/optical image stabilization synchronization in multi-camera image capture | |
| CN106650665B (zh) | 人脸跟踪方法及装置 | |
| CN110717942B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| US9843787B2 (en) | Generation and use of a 3D radon image | |
| TWI527448B (zh) | 成像設備，影像處理方法，及用以記錄程式於其上之記錄媒體 | |
| US20060119710A1 (en) | Systems and methods for de-blurring motion blurred images | |
| WO2023134103A1 (zh) | 图像融合方法、设备以及存储介质 | |
| JP2005521927A (ja) | デジタルスチルカメラにおける取り込み画像の写真品質を評価する方法及び装置 | |
| CN110915193B (zh) | 图像处理***、服务器装置、图像处理方法及记录介质 | |
| CN112822402B (zh) | 图像拍摄方法、装置、电子设备和可读存储介质 | |
| CN109447902B (zh) | 一种图像拼接方法、装置、储存介质及设备 | |
| US20190287223A1 (en) | Blurring Panoramic Image Blurring Method, Terminal And Computer Readable Storage Medium | |
| US20150170331A1 (en) | Method and Device for Transforming an Image | |
| CN111105351B (zh) | 一种视频序列影像拼接方法及装置 | |
| CN110658918B (zh) | 用于视频眼镜的眼球追踪相机的定位方法、设备及介质 | |
| CN113159229B (zh) | 图像融合方法、电子设备及相关产品 | |
| CN116188275B (zh) | 一种单塔机全景图像拼接方法和*** | |
| JP2996067B2 (ja) | 三次元計測装置 | |
| CN106469435A (zh) | 图像处理方法、装置及设备 | |
| CN106791800B (zh) | 全景视频的质量诊断方法及装置 | |
| CN106713741B (zh) | 全景视频的质量诊断方法及装置 | |
| CN113538477B (zh) | 平面位姿的获取方法、装置、电子设备及存储介质 | |
| CN112989866B (zh) | 对象识别方法、装置、电子设备和可读存储介质 | |
| Moon et al. | A fast low-light multi-image fusion with online image restoration | |
| CN110610171A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20230530 Assignee: Zhejiang Visual Intelligence Innovation Center Co.,Ltd. Assignor: Institute of Information Technology, Zhejiang Peking University|Hangzhou Weiming Information Technology Co.,Ltd. Contract record no.: X2023330000928 Denomination of invention: A panoramic image stitching method and system for a single tower crane Granted publication date: 20231020 License type: Common License Record date: 20231219 |