CN117218212B - 相机标定自适应调整方法、装置、计算机设备及存储介质 - Google Patents
相机标定自适应调整方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN117218212B CN117218212B CN202311484465.4A CN202311484465A CN117218212B CN 117218212 B CN117218212 B CN 117218212B CN 202311484465 A CN202311484465 A CN 202311484465A CN 117218212 B CN117218212 B CN 117218212B
- Authority
- CN
- China
- Prior art keywords
- camera
- calibration
- result
- boat
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000000605 extraction Methods 0.000 claims description 53
- 230000009471 action Effects 0.000 claims description 50
- 230000004913 activation Effects 0.000 claims description 31
- 230000003287 optical effect Effects 0.000 claims description 30
- 230000003044 adaptive effect Effects 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000000354 decomposition reaction Methods 0.000 claims description 16
- 238000013136 deep learning model Methods 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 10
- 239000012634 fragment Substances 0.000 claims description 7
- 230000009182 swimming Effects 0.000 abstract description 11
- 238000012545 processing Methods 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 239000000243 solution Substances 0.000 description 4
- 239000003550 marker Substances 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000013255 MILs Substances 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000012482 calibration solution Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
Landscapes
- Studio Devices (AREA)
Abstract
本发明实施例公开了相机标定自适应调整方法、装置、计算机设备及存储介质。所述方法包括：获取安装在携带有定位传感器和避障传感器的小船的相机拍摄的视频帧；根据所述视频帧确定相机的内部参数和外部参数，以得到标定信息；根据预设的路径自主移动所述小船，并判断是否需要更新所述标定信息；若所述标定信息需要更新，则调整小船上的机械臂地位置和角度，以调整标定板的位置和角度，并执行所述获取安装在携带有定位传感器和避障传感器的小船的相机拍摄的视频帧。通过实施本发明实施例的方法可实现对于泳池环境下的标定板的自动调整和相机标定的实时处理。
Description
技术领域
本发明涉及相机标定方法，更具体地说是指相机标定自适应调整方法、装置、计算机设备及存储介质。
背景技术
在现代科技发展的背景下，计算机视觉和自动控制等领域取得了显著的进步。相机标定作为计算机视觉和摄影测量中的重要环节，用于确定相机的内部参数如焦距、主点等和外部参数如位置和朝向，是实现高精度图像处理和计算的关键步骤。
传统相机标定方法通常采用人工举着标定板在不同位置和角度进行标定，但这种方法存在着显著的局限性。首先，人工操作耗时费力且容易受到人为误差的影响，导致标定结果不稳定；其次，对于一些复杂场景或水中环境，人工标定方法难以适用，限制了在水池等特殊环境中进行相机标定的应用；为了解决传统方法的局限性，近年来，自动化相机标定技术得到了快速发展。自动化标定设备通过集成相机和机械臂等组件，可以自主地移动和调整标定板的位置和角度，从而实现自动化的相机标定。然而，目前现有的自动化标定设备大多数用于实验室或工业环境，其复杂性和成本使得其在泳池等户外环境中的应用受到限制。
发明内容
本发明提供相机标定自适应调整方法，实现对于泳池环境下的标定板的自动调整和相机标定的实时处理。
为实现上述目的，本发明采用以下技术方案：相机标定自适应调整方法，包括：
获取安装在携带有定位传感器和避障传感器的小船的相机拍摄的视频帧；
根据所述视频帧确定相机的内部参数和外部参数，以得到标定信息；
根据预设的路径自主移动所述小船，并判断是否需要更新所述标定信息；
若所述标定信息需要更新，则调整小船上的机械臂地位置和角度，以调整标定板的位置和角度，并执行所述获取安装在携带有定位传感器和避障传感器的小船的相机拍摄的视频帧。
其进一步技术方案为：所述根据所述视频帧确定相机的内部参数和外部参数，以得到标定信息，包括：
使用深度学习模型提取所述视频帧的RGB特征和光流特征，以得到提取结果；
通过动作定位算法识别所述提取结果中的动作区域，以生成伪标签；
利用所述伪标签以及相机视角信息计算相机的内部参数和外部参数。
其进一步技术方案为：所述使用深度学习模型提取所述视频帧的RGB特征和光流特征，以得到提取结果，包括：
将所述视频帧分解为不重叠的16帧片段，以得到分解结果；
通过Kinetics-40预训练的I3D模型提取所述分解结果中的RGB特征和光流特征；
沿通道维度连接所述RGB特征和光流特征，以得到提取结果。
其进一步技术方案为：所述通过动作定位算法识别所述提取结果中的动作区域，以生成伪标签，包括：
将所述提取结果输入全连接层，以得到时间类激活序列；
采用注意力模块计算所述提取结果的注意力权重矩阵；
将所述注意力权重矩阵与时间类激活序列相乘，以得到注意力加权的时间类激活序列；
根据MIL公式以及注意力加权的时间类激活序列计算视频级别的动作概率；
根据所述动作概率确定动作区域，并生成伪标签。
其进一步技术方案为：所述根据预设的路径自主移动所述小船，包括：
根据小船当前位置以及目标位置确定所述小船需要移动的方向和距离，并驱动所述小船按照方向和距离移动。
其进一步技术方案为：所述调整小船上的机械臂地位置和角度，以调整标定板的位置和角度，包括：
检测相机和标定板的相对位置和朝向，以得到第一结果；
计算相机和标定板的距离和角度差，以得到第二结果；
根据所述第一结果以及所述第二结果确定是否需要对相机进行标定；
当需要对相机进行标定时，根据所述第一结果以及第二结果调整所述机械臂的位置和角度，以使得相机与所述标定板对齐。
其进一步技术方案为：所述当需要对相机进行标定时，根据所述第一结果以及第二结果调整所述机械臂的位置和角度，以使得相机与所述标定板对齐，包括：
当需要对相机进行标定时，根据所述第一结果以及第二结果采用视觉反馈控制方法调整所述机械臂的位置和角度，以使得相机与所述标定板对齐。
本发明还提供了相机标定自适应调整装置，包括：
视频帧获取单元，用于获取安装在携带有定位传感器和避障传感器的小船的相机拍摄的视频帧；
标定信息获取单元，用于根据所述视频帧确定相机的内部参数和外部参数，以得到标定信息；
判断单元，用于根据预设的路径自主移动所述小船；并判断是否需要更新所述标定信息；
调整单元，用于若所述标定信息需要更新，则调整小船上的机械臂地位置和角度，以调整标定板的位置和角度，并执行所述获取安装在携带有定位传感器和避障传感器的小船的相机拍摄的视频帧。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
本发明与现有技术相比的有益效果是：本发明通过将相机安装在携带有定位传感器和避障传感器的小船上，且在小船上安装可调整标定板位置和角度的机械臂，根据获取的视频帧确定标定信息，在小船移动过程中，实时判断是否需要更新标定信息，当需要时，调整小船上的机械臂地位置和角度，以调整标定板的位置和角度，重新进行标定，实现对于泳池环境下的标定板的自动调整和相机标定的实时处理。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的相机标定自适应调整方法的应用场景示意图；
图2为本发明实施例提供的相机标定自适应调整方法的流程示意图；
图3为本发明实施例提供的相机标定自适应调整方法的子流程示意图；
图4为本发明实施例提供的相机标定自适应调整方法的子流程示意图；
图5为本发明实施例提供的相机标定自适应调整方法的子流程示意图；
图6为本发明实施例提供的相机标定自适应调整方法的子流程示意图；
图7为本发明实施例提供的相机标定自适应调整装置的示意性框图；
图8为本发明实施例提供的相机标定自适应调整装置的标定信息获取单元的示意性框图；
图9为本发明实施例提供的相机标定自适应调整装置的提取子单元的示意性框图；
图10为本发明实施例提供的相机标定自适应调整装置的识别子单元的示意性框图；
图11为本发明实施例提供的相机标定自适应调整装置的调整单元的示意性框图；
图12为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的相机标定自适应调整方法的应用场景示意图。图2为本发明实施例提供的相机标定自适应调整方法的示意性流程图。该相机标定自适应调整方法应用于服务器中。该服务器与相机、机械臂以及小船进行数据交互，实现在小船上配置机械臂以及相机，并由机械臂调整标定板的位置和角度，对标定板的自动调整和相机标定的实时处理，小船可以置于泳池环境中，这将为水下摄影、监测和导航等应用提供一种高效、准确的相机标定解决方案；在解决传统人工标定方法的局限性，为泳池或类似环境中的多个相机提供高效、准确的内外参标定，通过自主船体、机械臂、服务器和相机等组件的协同作用，实现全自动、实时的相机标定。
图2是本发明实施例提供的相机标定自适应调整方法的流程示意图。如图2所示，该方法包括以下步骤S110至S140。
S110、获取安装在携带有定位传感器和避障传感器的小船的相机拍摄的视频帧。
在本实施例中，视频帧是指安装在小船上的相机拍摄所得的图像。
具体地，配置一艘小型自主泳池船，该小船配备定位传感器和避障传感器，以实时感知泳池环境和小船的位置，并具备稳定性和可操控性。小船上还安装了服务器、机械臂和相机支架。其中，该机械臂能够携带标定板，并根据相机的标定需求自动调整标定板的位置和角度，以确保标定板出现在相机视野内。相机支架上装有相机，用于拍摄标定板上的标记点。
在本实施例中，服务器可以以嵌入式电脑呈现，该电脑搭载运行Ubuntu***。嵌入式电脑与相机、定位传感器和机械臂进行联动，负责控制整个***的运行。嵌入式电脑接收相机拍摄的图像数据，并通过特定的算法和计算机视觉技术实现相机标定过程。
S120、根据所述视频帧确定相机的内部参数和外部参数，以得到标定信息。
在本实施例中，标定信息是指相机的内部参数以及外部参数。
在嵌入式电脑上运行实时标定算法，该算法根据标定板上的标记点和相机视角的信息，计算相机的内部参数如焦距和主点等、外部参数如位置和朝向。标定过程通过机械臂的动作实时调整标定板的位置，以适应不同相机的标定需求。
小船上安装有多个不同的相机，通过机械臂调整标定板的位置，使得标定板出现在相机视野内，并以此作为基础，进行相机实时标定。
在一实施例中，请参阅图3，上述的步骤S120可包括步骤S121~S123。
S121、使用深度学习模型提取所述视频帧的RGB特征和光流特征，以得到提取结果。
在本实施例中，提取结果是指视频帧的RGB特征和光流特征。
在一实施例中，请参阅图4，上述的步骤S121可包括步骤S1211~S1213。
S1211、将所述视频帧分解为不重叠的16帧片段，以得到分解结果；
S1212、通过Kinetics-40预训练的I3D模型提取所述分解结果中的RGB特征和光流特征；
S1213、沿通道维度连接所述RGB特征和光流特征，以得到提取结果。
在本实施例中，将相机拍摄的无剪辑视频帧分解为不重叠的16帧片段。通过Kinetics-40预训练的I3D模型，提取RGB特征和光流特征。然后沿通道维度连接这两种特征，得到输入特征序列即提取结果，；其中，/>表示RGB特征，/>表示光流特征，T表示视频片段数，D表示特征维度，提取结果为F。
S122、通过动作定位算法识别所述提取结果中的动作区域，以生成伪标签。
在本实施例中，伪标签是指用于表示动作区域位置的虚拟标签，而不是传统意义上的分类或类别标签。
在一实施例中，请参阅图4，上述的步骤S122可包括步骤S1221~S1225。
S1221、将所述提取结果输入全连接层，以得到时间类激活序列；
S1222、采用注意力模块计算所述提取结果的注意力权重矩阵；
S1223、将所述注意力权重矩阵与时间类激活序列相乘，以得到注意力加权的时间类激活序列；
S1224、根据MIL公式以及注意力加权的时间类激活序列计算视频级别的动作概率；
S1225、根据所述动作概率确定动作区域，并生成伪标签。
在本实施例中，将输入特征序列F输入全连接层，得到时间类激活序列CAS，，其中，C表示动作类别数目，C+1表示同时包含背景类。
为区分前景和背景片段，引入注意力模块，计算注意力权重矩阵。通过Softmax操作对每个时间步的两个权重值进行归一化，分别获得前景和背景注意力权重。；/>;将注意力权重与时间类激活序列相乘，得到注意力加权的时间类激活序列/> ，其中/>；根据MIL公式，计算视频级别的动作概率/>;/>，该动作概率/>高于设定阈值时，则该区域设定为动作区域。
S123、利用所述伪标签以及相机视角信息计算相机的内部参数和外部参数。
在本实施例中，根据伪标签确定标定板上的角点，根据角点以及相机视角信息计算相机的内部参数和外部参数。
具体地，采用张正友法进行标定，在服务器上运行实时标定算法，通过相机捕获实时图像，提取图像中的角点，即标定板的角点，并利用张正友标定方法计算相机的内外参数。随着相机的移动和标定板的位置变化，相机的内外参数会实时更新，保持标定的准确性。张正友标定方法的公式为：，其中/> ，(u，v)是图像上的像素坐标，(X，Y，Z)是世界坐标系中的三维点，/>和/>是相机在x和y轴上的焦距，/>和/>是主点的坐标。这个公式将世界坐标(X，Y，Z)映射到图像坐标(u，v)，其中，K是相机的内部参数，它包含了焦距和主点的信息。
张正友标定方法的目标是通过已知的标定板上的角点和对应的图像像素坐标，来求解相机的内部参数K。为了求解K，需要收集多个标定板图像，并从每个图像中提取角点。然后使用这些已知的世界坐标和图像像素坐标的对应关系，利用最小二乘法求解相机的内部参数。实际中，可能会收集多个标定板的角点，因此可以得到多个K的估计。为了得到最终的相机内部参数K，可以将这些估计求平均或者进行其他优化方法。
最终的相机内部参数矩阵K包含了焦距和主点的信息，它能够将世界坐标映射到图像坐标，从而实现相机的投影过程。有了准确的相机内部参数，就可以在实时标定过程中，根据标定板上的角点信息，计算相机的内部参数，并保持标定的准确性和稳定性。而为了使得不同相机都可以标定内部参数，则需要调整标定板的位置和角度，以使得不同相机均可以拍摄到整个标定板。
S130、根据预设的路径自主移动所述小船，并判断是否需要更新所述标定信息。
在本实施例中，当相机的标定需求发生变化、或者是当前的标定板无法与相机对齐等，则需要对标定信息进行更新，以满足不同标定需求的相机的需求，这个判断是在移动小船的过程中实时执行。
具体地，通过实时计算出的rms误差参数来判断是否需要更新，当计算出的误差大于所设置误差的值则需要更新标定信息。
在本实施例中，根据小船当前位置以及目标位置即标定板位置确定所述小船需要移动的方向和距离，并驱动所述小船按照方向和距离移动。
具体地，一旦***配置完成，自主标定泳池船可以在泳池中自由移动。当需要对泳池中的多个相机进行标定时，***会根据预设的路径和标定需求，自主移动和调整机械臂位置，确保相机视野覆盖标定板上的标记点。服务器会实时处理相机拍摄的图像数据，根据实时标定算法计算相机的内外参，并完成相机标定。
小船配备了定位传感器和避障传感器，可以实时感知泳池的环境和船的位置。基于定位信息，小船可以实现自主的路径规划和导航。
设小船当前位置为，目标位置为 ，小船的路径规划算法可以计算小船需要移动的方向和距离，然后通过控制小船的舵角和推进器，实现自主的导航。
假设小船的朝向角为，目标朝向角为/>。则小船的运动方程可以表示为：/>；/>； ；其中，/>和/>是小船需要移动的水平和垂直距离，是小船需要调整的朝向角度。
小船可以根据定位传感器和路径规划算法计算出，/>和/>，然后通过控制小船的舵角和推进器，实现自主的导航。
S140、调整小船上的机械臂地位置和角度，以调整标定板的位置和角度，并执行所述获取安装在携带有定位传感器和避障传感器的小船的相机拍摄的视频帧。
在一实施例中，请参阅图6，上述的步骤S140可包括步骤S141~S144。
S141、检测相机和标定板的相对位置和朝向，以得到第一结果；
S142、计算相机和标定板的距离和角度差，以得到第二结果；
在本实施例中，通过标定所得到的初始外参R、T矩阵来检测相机和标定板的相对位置和朝向以及相机和标定板的距离和角度差。
S143、根据所述第一结果以及所述第二结果确定是否需要对相机进行标定；
S144、当需要对相机进行标定时，根据所述第一结果以及第二结果调整所述机械臂的位置和角度，以使得相机与所述标定板对齐。
具体地，当需要对相机进行标定时，根据所述第一结果以及第二结果采用视觉反馈控制方法调整所述机械臂的位置和角度，以使得相机与所述标定板对齐。
根据第一结果和第二结果初步计算的标定结果，如果标定结果在所设误差范围以外，随机调整机械臂的角度。
在本实施例中，为了实现机械臂的自动调整，可以采用视觉反馈控制方法。机械臂上装有摄像头，用于实时获取标定板的图像。对于标记点的识别，常规的图像识别技术可以作为出发点。为了提高***的鲁棒性和准确性，可结合深度学习技术采用卷积神经网络（CNN）或其他适用的模型来进行标记点的检测和识别。这将使***更加适应不同光照、角度和遮挡等变化情况下的标记点识别。还可以引入特征点匹配和姿态估计方法，以提高标记点定位的准确性。通过在不同视频帧之间寻找匹配的特征点，并利用这些特征点之间的几何关系，可以更精确地计算机械臂需要调整的位置和角度。具体地，多个相机同时拍摄，通过多视图几何以及匹配算法利用特征点之间的几何关系计算需要调整的角度。
这可以进一步增强***在复杂环境中的性能，并计算机械臂需要调整的位置和角度。
假设机械臂的末端执行器在世界坐标系下的位置为,计算出机械臂需要调整的位置为/>，则机械臂的运动控制方程可以表示为：；其中，/>和分别为位置和速度控制增益，用于控制机械臂的响应速度和稳定性。/>是目标位置与当前位置的速度差，用于控制机械臂的运动平滑性。
若所述标定信息不需要更新，则进入结束步骤。
本实施例的方法实现了多个相机的自主、实时标定，同时能够实现小船的自动移动，极大地提高了标定效率和准确性，该方法可应用于水池等特殊环境下的图像处理、监测和导航等领域。
上述的相机标定自适应调整方法，通过将相机安装在携带有定位传感器和避障传感器的小船上，且在小船上安装可调整标定板位置和角度的机械臂，根据获取的视频帧确定标定信息，在小船移动过程中，实时判断是否需要更新标定信息，当需要时，调整小船上的机械臂地位置和角度，以调整标定板的位置和角度，重新进行标定，实现对于泳池环境下的标定板的自动调整和相机标定的实时处理。
图7是本发明实施例提供的一种相机标定自适应调整装置300的示意性框图。如图7所示，对应于以上相机标定自适应调整方法，本发明还提供一种相机标定自适应调整装置300。该相机标定自适应调整装置300包括用于执行上述相机标定自适应调整方法的单元，该装置可以被配置于服务器中。具体地，请参阅图7，该相机标定自适应调整装置300包括视频帧获取单元301、标定信息获取单元302、判断单元303以及调整单元304。
视频帧获取单元301，用于获取安装在携带有定位传感器和避障传感器的小船的相机拍摄的视频帧；标定信息获取单元302，用于根据所述视频帧确定相机的内部参数和外部参数，以得到标定信息；判断单元303，用于根据预设的路径自主移动所述小船；并判断是否需要更新所述标定信息；调整单元304，用于若所述标定信息需要更新，则调整小船上的机械臂地位置和角度，以调整标定板的位置和角度，并执行所述获取安装在携带有定位传感器和避障传感器的小船的相机拍摄的视频帧。
在一实施例中，如图8所示，所述标定信息获取单元302包括提取子单元3021、识别子单元3022以及参数计算子单元3023。
提取子单元3021，用于使用深度学习模型提取所述视频帧的RGB特征和光流特征，以得到提取结果；识别子单元3022，用于通过动作定位算法识别所述提取结果中的动作区域，以生成伪标签；参数计算子单元3023，用于利用所述伪标签以及相机视角信息计算相机的内部参数和外部参数。
在一实施例中，如图9所示，所述提取子单元3021包括分解模块30211、特征提取模块30212以及连接模块30213。
分解模块30211，用于将所述视频帧分解为不重叠的16帧片段，以得到分解结果；特征提取模块30212，用于通过Kinetics-40预训练的I3D模型提取所述分解结果中的RGB特征和光流特征；连接模块30213，用于沿通道维度连接所述RGB特征和光流特征，以得到提取结果。
在一实施例中，如图10所示，所述识别子单元3022包括输入模块30221、矩阵计算模块30222、相乘模块30223、概率计算模块30224以及区域确定模块30225。
输入模块30221，用于将所述提取结果输入全连接层，以得到时间类激活序列；矩阵计算模块30222，用于采用注意力模块计算所述提取结果的注意力权重矩阵；相乘模块30223，用于将所述注意力权重矩阵与时间类激活序列相乘，以得到注意力加权的时间类激活序列；概率计算模块30224，用于根据MIL公式以及注意力加权的时间类激活序列计算视频级别的动作概率；区域确定模块30225，用于根据所述动作概率确定动作区域，并生成伪标签。
在一实施例中，如图11所示，所述调整单元304包括检测子单元3041、差值计算子单元3042、标定确定子单元3043以及内容调整子单元3044。
检测子单元3041，用于检测相机和标定板的相对位置和朝向，以得到第一结果；差值计算子单元3042，用于计算相机和标定板的距离和角度差，以得到第二结果；标定确定子单元3043，用于根据所述第一结果以及所述第二结果确定是否需要对相机进行标定；内容调整子单元3044，用于当需要对相机进行标定时，根据所述第一结果以及第二结果调整所述机械臂的位置和角度，以使得相机与所述标定板对齐。
在一实施例中，所述内容调整子单元3044，用于当需要对相机进行标定时，根据所述第一结果以及第二结果采用视觉反馈控制方法调整所述机械臂的位置和角度，以使得相机与所述标定板对齐。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述相机标定自适应调整装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述相机标定自适应调整装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图12所示的计算机设备上运行。
请参阅图12，图12是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图12，该计算机设备500包括通过***总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作***5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种相机标定自适应调整方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种相机标定自适应调整方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取安装在携带有定位传感器和避障传感器的小船的相机拍摄的视频帧；根据所述视频帧确定相机的内部参数和外部参数，以得到标定信息；根据预设的路径自主移动所述小船，并判断是否需要更新所述标定信息；若所述标定信息需要更新，则调整小船上的机械臂地位置和角度，以调整标定板的位置和角度，并执行所述获取安装在携带有定位传感器和避障传感器的小船的相机拍摄的视频帧。
在一实施例中，处理器502在实现所述根据所述视频帧确定相机的内部参数和外部参数，以得到标定信息步骤时，具体实现如下步骤：
使用深度学习模型提取所述视频帧的RGB特征和光流特征，以得到提取结果；通过动作定位算法识别所述提取结果中的动作区域，以生成伪标签；利用所述伪标签以及相机视角信息计算相机的内部参数和外部参数。
在一实施例中，处理器502在实现所述使用深度学习模型提取所述视频帧的RGB特征和光流特征，以得到提取结果步骤时，具体实现如下步骤：
将所述视频帧分解为不重叠的16帧片段，以得到分解结果；通过Kinetics-40预训练的I3D模型提取所述分解结果中的RGB特征和光流特征；沿通道维度连接所述RGB特征和光流特征，以得到提取结果。
在一实施例中，处理器502在实现所述通过动作定位算法识别所述提取结果中的动作区域，以生成伪标签步骤时，具体实现如下步骤：
将所述提取结果输入全连接层，以得到时间类激活序列；采用注意力模块计算所述提取结果的注意力权重矩阵；将所述注意力权重矩阵与时间类激活序列相乘，以得到注意力加权的时间类激活序列；根据MIL公式以及注意力加权的时间类激活序列计算视频级别的动作概率；根据所述动作概率确定动作区域，并生成伪标签。
在一实施例中，处理器502在实现所述根据预设的路径自主移动所述小船步骤时，具体实现如下步骤：
根据小船当前位置以及目标位置确定所述小船需要移动的方向和距离，并驱动所述小船按照方向和距离移动。
在一实施例中，处理器502在实现所述调整小船上的机械臂地位置和角度，以调整标定板的位置和角度步骤时，具体实现如下步骤：
检测相机和标定板的相对位置和朝向，以得到第一结果；计算相机和标定板的距离和角度差，以得到第二结果；根据所述第一结果以及所述第二结果确定是否需要对相机进行标定；当需要对相机进行标定时，根据所述第一结果以及第二结果调整所述机械臂的位置和角度，以使得相机与所述标定板对齐。
在一实施例中，处理器502在实现所述当需要对相机进行标定时，根据所述第一结果以及第二结果调整所述机械臂的位置和角度，以使得相机与所述标定板对齐步骤时，具体实现如下步骤：
当需要对相机进行标定时，根据所述第一结果以及第二结果采用视觉反馈控制方法调整所述机械臂的位置和角度，以使得相机与所述标定板对齐。
应当理解，在本申请实施例中，处理器502可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机***中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取安装在携带有定位传感器和避障传感器的小船的相机拍摄的视频帧；根据所述视频帧确定相机的内部参数和外部参数，以得到标定信息；根据预设的路径自主移动所述小船，并判断是否需要更新所述标定信息；若所述标定信息需要更新，则调整小船上的机械臂地位置和角度，以调整标定板的位置和角度，并执行所述获取安装在携带有定位传感器和避障传感器的小船的相机拍摄的视频帧。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据所述视频帧确定相机的内部参数和外部参数，以得到标定信息步骤时，具体实现如下步骤：
使用深度学习模型提取所述视频帧的RGB特征和光流特征，以得到提取结果；通过动作定位算法识别所述提取结果中的动作区域，以生成伪标签；利用所述伪标签以及相机视角信息计算相机的内部参数和外部参数。
在一实施例中，所述处理器在执行所述计算机程序而实现所述使用深度学习模型提取所述视频帧的RGB特征和光流特征，以得到提取结果步骤时，具体实现如下步骤：
将所述视频帧分解为不重叠的16帧片段，以得到分解结果；通过Kinetics-40预训练的I3D模型提取所述分解结果中的RGB特征和光流特征；沿通道维度连接所述RGB特征和光流特征，以得到提取结果。
在一实施例中，所述处理器在执行所述计算机程序而实现所述通过动作定位算法识别所述提取结果中的动作区域，以生成伪标签步骤时，具体实现如下步骤：
将所述提取结果输入全连接层，以得到时间类激活序列；采用注意力模块计算所述提取结果的注意力权重矩阵；将所述注意力权重矩阵与时间类激活序列相乘，以得到注意力加权的时间类激活序列；根据MIL公式以及注意力加权的时间类激活序列计算视频级别的动作概率；根据所述动作概率确定动作区域，并生成伪标签。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据预设的路径自主移动所述小船步骤时，具体实现如下步骤：
根据小船当前位置以及目标位置确定所述小船需要移动的方向和距离，并驱动所述小船按照方向和距离移动。
在一实施例中，所述处理器在执行所述计算机程序而实现所述调整小船上的机械臂地位置和角度，以调整标定板的位置和角度步骤时，具体实现如下步骤：
检测相机和标定板的相对位置和朝向，以得到第一结果；计算相机和标定板的距离和角度差，以得到第二结果；根据所述第一结果以及所述第二结果确定是否需要对相机进行标定；当需要对相机进行标定时，根据所述第一结果以及第二结果调整所述机械臂的位置和角度，以使得相机与所述标定板对齐。
在一实施例中，所述处理器在执行所述计算机程序而实现所述当需要对相机进行标定时，根据所述第一结果以及第二结果调整所述机械臂的位置和角度，以使得相机与所述标定板对齐步骤时，具体实现如下步骤：
当需要对相机进行标定时，根据所述第一结果以及第二结果采用视觉反馈控制方法调整所述机械臂的位置和角度，以使得相机与所述标定板对齐。
所述存储介质可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，终端，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (7)
1.相机标定自适应调整方法，其特征在于，包括：
获取安装在携带有定位传感器和避障传感器的小船的相机拍摄的视频帧；
根据所述视频帧确定相机的内部参数和外部参数，以得到标定信息；
根据预设的路径自主移动所述小船，并判断是否需要更新所述标定信息；
若所述标定信息需要更新，则调整小船上的机械臂地位置和角度，以调整标定板的位置和角度，并执行所述获取安装在携带有定位传感器和避障传感器的小船的相机拍摄的视频帧；
其中，所述根据所述视频帧确定相机的内部参数和外部参数，以得到标定信息，包括：
使用深度学习模型提取所述视频帧的RGB特征和光流特征，以得到提取结果；
通过动作定位算法识别所述提取结果中的动作区域，以生成伪标签；
利用所述伪标签以及相机视角信息计算相机的内部参数和外部参数；
所述使用深度学习模型提取所述视频帧的RGB特征和光流特征，以得到提取结果，包括：
将所述视频帧分解为不重叠的16帧片段，以得到分解结果；
通过Kinetics-40预训练的I3D模型提取所述分解结果中的RGB特征和光流特征；
沿通道维度连接所述RGB特征和光流特征，以得到提取结果；
所述通过动作定位算法识别所述提取结果中的动作区域，以生成伪标签，包括：
将所述提取结果输入全连接层，以得到时间类激活序列；
采用注意力模块计算所述提取结果的注意力权重矩阵；
将所述注意力权重矩阵与时间类激活序列相乘，以得到注意力加权的时间类激活序列；
根据MIL公式以及注意力加权的时间类激活序列计算视频级别的动作概率；
根据所述动作概率确定动作区域，并生成伪标签。
2.根据权利要求1所述的相机标定自适应调整方法，其特征在于，所述根据预设的路径自主移动所述小船，包括：
根据小船当前位置以及目标位置确定所述小船需要移动的方向和距离，并驱动所述小船按照方向和距离移动。
3.根据权利要求1所述的相机标定自适应调整方法，其特征在于，所述调整小船上的机械臂地位置和角度，以调整标定板的位置和角度，包括：
检测相机和标定板的相对位置和朝向，以得到第一结果；
计算相机和标定板的距离和角度差，以得到第二结果；
根据所述第一结果以及所述第二结果确定是否需要对相机进行标定；
当需要对相机进行标定时，根据所述第一结果以及第二结果调整所述机械臂的位置和角度，以使得相机与所述标定板对齐。
4.根据权利要求3所述的相机标定自适应调整方法，其特征在于，所述当需要对相机进行标定时，根据所述第一结果以及第二结果调整所述机械臂的位置和角度，以使得相机与所述标定板对齐，包括：
当需要对相机进行标定时，根据所述第一结果以及第二结果采用视觉反馈控制方法调整所述机械臂的位置和角度，以使得相机与所述标定板对齐。
5.相机标定自适应调整装置，其特征在于，包括：
视频帧获取单元，用于获取安装在携带有定位传感器和避障传感器的小船的相机拍摄的视频帧；
标定信息获取单元，用于根据所述视频帧确定相机的内部参数和外部参数，以得到标定信息；
判断单元，用于根据预设的路径自主移动所述小船；并判断是否需要更新所述标定信息；
调整单元，用于若所述标定信息需要更新，则调整小船上的机械臂地位置和角度，以调整标定板的位置和角度，并执行所述获取安装在携带有定位传感器和避障传感器的小船的相机拍摄的视频帧；
其中，所述根据所述视频帧确定相机的内部参数和外部参数，以得到标定信息，包括：
使用深度学习模型提取所述视频帧的RGB特征和光流特征，以得到提取结果；
通过动作定位算法识别所述提取结果中的动作区域，以生成伪标签；
利用所述伪标签以及相机视角信息计算相机的内部参数和外部参数；
所述使用深度学习模型提取所述视频帧的RGB特征和光流特征，以得到提取结果，包括：
将所述视频帧分解为不重叠的16帧片段，以得到分解结果；
通过Kinetics-40预训练的I3D模型提取所述分解结果中的RGB特征和光流特征；
沿通道维度连接所述RGB特征和光流特征，以得到提取结果；
所述通过动作定位算法识别所述提取结果中的动作区域，以生成伪标签，包括：
将所述提取结果输入全连接层，以得到时间类激活序列；
采用注意力模块计算所述提取结果的注意力权重矩阵；
将所述注意力权重矩阵与时间类激活序列相乘，以得到注意力加权的时间类激活序列；
根据MIL公式以及注意力加权的时间类激活序列计算视频级别的动作概率；
根据所述动作概率确定动作区域，并生成伪标签。
6.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的方法。
7.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311484465.4A CN117218212B (zh) | 2023-11-09 | 2023-11-09 | 相机标定自适应调整方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311484465.4A CN117218212B (zh) | 2023-11-09 | 2023-11-09 | 相机标定自适应调整方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117218212A CN117218212A (zh) | 2023-12-12 |
| CN117218212B true CN117218212B (zh) | 2024-02-13 |
Family
ID=89037516
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311484465.4A Active CN117218212B (zh) | 2023-11-09 | 2023-11-09 | 相机标定自适应调整方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117218212B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110599541A (zh) * | 2019-08-28 | 2019-12-20 | 贝壳技术有限公司 | 一种对多传感器进行标定的方法、装置和存储介质 |
| CN113743385A (zh) * | 2021-11-05 | 2021-12-03 | 陕西欧卡电子智能科技有限公司 | 一种无人船水面目标检测方法、装置及无人船 |
| CN114359373A (zh) * | 2022-01-10 | 2022-04-15 | 杭州巨岩欣成科技有限公司 | 泳池防溺水目标行为识别方法、装置、计算机设备及存储介质 |
| WO2022194158A1 (zh) * | 2021-03-15 | 2022-09-22 | 北京字跳网络技术有限公司 | 一种目标跟踪方法、装置、设备及介质 |
| CN115953483A (zh) * | 2022-12-30 | 2023-04-11 | 深圳云天励飞技术股份有限公司 | 一种参数标定方法、装置、计算机设备及存储介质 |
| WO2023103377A1 (zh) * | 2021-12-09 | 2023-06-15 | 上海商汤智能科技有限公司 | 标定方法及装置、电子设备、存储介质及计算机程序产品 |
| CN116310679A (zh) * | 2023-03-04 | 2023-06-23 | 西安电子科技大学青岛计算技术研究院 | 多传感器融合目标检测方法、***、介质、设备及终端 |
| CN116430069A (zh) * | 2023-02-09 | 2023-07-14 | 杭州鲁尔物联科技有限公司 | 机器视觉流体流速测量方法、装置、计算机设备及存储介质 |
| CN116740649A (zh) * | 2023-08-07 | 2023-09-12 | 山东科技大学 | 一种基于深度学习的船员越界落水行为实时检测方法 |
-
2023
- 2023-11-09 CN CN202311484465.4A patent/CN117218212B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110599541A (zh) * | 2019-08-28 | 2019-12-20 | 贝壳技术有限公司 | 一种对多传感器进行标定的方法、装置和存储介质 |
| WO2022194158A1 (zh) * | 2021-03-15 | 2022-09-22 | 北京字跳网络技术有限公司 | 一种目标跟踪方法、装置、设备及介质 |
| CN113743385A (zh) * | 2021-11-05 | 2021-12-03 | 陕西欧卡电子智能科技有限公司 | 一种无人船水面目标检测方法、装置及无人船 |
| WO2023103377A1 (zh) * | 2021-12-09 | 2023-06-15 | 上海商汤智能科技有限公司 | 标定方法及装置、电子设备、存储介质及计算机程序产品 |
| CN114359373A (zh) * | 2022-01-10 | 2022-04-15 | 杭州巨岩欣成科技有限公司 | 泳池防溺水目标行为识别方法、装置、计算机设备及存储介质 |
| CN115953483A (zh) * | 2022-12-30 | 2023-04-11 | 深圳云天励飞技术股份有限公司 | 一种参数标定方法、装置、计算机设备及存储介质 |
| CN116430069A (zh) * | 2023-02-09 | 2023-07-14 | 杭州鲁尔物联科技有限公司 | 机器视觉流体流速测量方法、装置、计算机设备及存储介质 |
| CN116310679A (zh) * | 2023-03-04 | 2023-06-23 | 西安电子科技大学青岛计算技术研究院 | 多传感器融合目标检测方法、***、介质、设备及终端 |
| CN116740649A (zh) * | 2023-08-07 | 2023-09-12 | 山东科技大学 | 一种基于深度学习的船员越界落水行为实时检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| Development of a high-speed, high-resolution multispectral camera system for airborne applications;Stemmler, S.;《 MULTIMODAL SENSING AND ARTIFICIAL INTELLIGENCE: TECHNOLOGIES AND APPLICATIONS II》;第1-5页 * |
| 基于机器视觉的目标定位与机器人规划***研究;杨三永;曾碧;;计算机测量与控制(12);第页 * |
| 点云下地平面检测的RGB-D相机外参自动标定;孙士杰;宋焕生;张朝阳;张文涛;王璇;;中国图象图形学报(06);第页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117218212A (zh) | 2023-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110686677B (zh) | 一种基于几何信息的全局定位方法 | |
| Levinson et al. | Automatic online calibration of cameras and lasers. | |
| KR102054455B1 (ko) | 이종 센서 간의 캘리브레이션 장치 및 방법 | |
| CN110807809B (zh) | 基于点线特征和深度滤波器的轻量级单目视觉定位方法 | |
| Zhang et al. | Robust appearance based visual route following for navigation in large-scale outdoor environments | |
| US11315264B2 (en) | Laser sensor-based map generation | |
| CN111897349A (zh) | 一种基于双目视觉的水下机器人自主避障方法 | |
| CN108151713A (zh) | 一种单目vo快速位姿估计方法 | |
| CN110827353B (zh) | 一种基于单目摄像头辅助的机器人定位方法 | |
| CN110488838B (zh) | 一种室内自主导航机器人精确重复定位方法 | |
| CN110675341B (zh) | 一种单目光视觉引导的水下机器人与海底平台对接方法 | |
| Yan et al. | Joint camera intrinsic and lidar-camera extrinsic calibration | |
| CN109145902B (zh) | 一种利用泛化特征对几何标识进行识别及定位的方法 | |
| CN112862818B (zh) | 惯性传感器和多鱼眼相机联合的地下停车场车辆定位方法 | |
| Hakeem et al. | Estimating geospatial trajectory of a moving camera | |
| CN117218212B (zh) | 相机标定自适应调整方法、装置、计算机设备及存储介质 | |
| CN112304322B (zh) | 一种视觉定位失效后的重启方法及车载终端 | |
| CN115511970B (zh) | 一种面向自主泊车的视觉定位方法 | |
| Zhang et al. | Camera-IMU-based underwater localization | |
| CN113504385B (zh) | 复数相机测速方法及测速装置 | |
| CN115393299A (zh) | 一种基于单目视觉的流水线工件距离测量方法以及装置 | |
| Lin et al. | A visual positioning system for vehicle or mobile robot navigation | |
| Lee et al. | Visual odometry for absolute position estimation using template matching on known environment | |
| CN110232711B (zh) | 面向海产品抓取的双目视觉实时感知定位方法、***、装置 | |
| JP2018116147A (ja) | 地図作成装置、地図作成方法及び地図作成用コンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |